]> git.openstreetmap.org Git - chef.git/blob - cookbooks/overpass/recipes/default.rb
Improve sandboxing of prometheus collectors
[chef.git] / cookbooks / overpass / recipes / default.rb
1 #
2 # Cookbook:: overpass
3 # Recipe:: default
4 #
5 # Copyright:: 2021, OpenStreetMap Foundation
6 #
7 # Licensed under the Apache License, Version 2.0 (the "License");
8 # you may not use this file except in compliance with the License.
9 # You may obtain a copy of the License at
10 #
11 #     https://www.apache.org/licenses/LICENSE-2.0
12 #
13 # Unless required by applicable law or agreed to in writing, software
14 # distributed under the License is distributed on an "AS IS" BASIS,
15 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
16 # See the License for the specific language governing permissions and
17 # limitations under the License.
18 #
19
20 include_recipe "accounts"
21 include_recipe "apache"
22 include_recipe "munin"
23 include_recipe "prometheus"
24 include_recipe "ruby"
25
26 username = "overpass"
27 basedir = data_bag_item("accounts", username)["home"]
28 web_passwords = data_bag_item("web", "passwords")
29
30 %w[bin site diffs db src munin].each do |dirname|
31   directory "#{basedir}/#{dirname}" do
32     owner username
33     group username
34     mode "755"
35     recursive true
36   end
37 end
38
39 ## Install overpass from source
40
41 srcdir = "#{basedir}/src/osm-3s_v#{node[:overpass][:version]}"
42
43 package %w[
44   build-essential
45   libexpat1-dev
46   zlib1g-dev
47   liblz4-dev
48   pyosmium
49   osmium-tool
50 ]
51
52 remote_file "#{srcdir}.tar.gz" do
53   action :create
54   source "https://dev.overpass-api.de/releases/osm-3s_v#{node[:overpass][:version]}.tar.gz"
55   owner username
56   group username
57   mode "644"
58 end
59
60 execute "source_tarball" do
61   cwd "#{basedir}/src"
62   command "tar -xf #{srcdir}.tar.gz"
63   user username
64   notifies :run, "execute[install_overpass]"
65   not_if { ::File.exist?(srcdir) }
66 end
67
68 execute "install_overpass" do
69   action :nothing
70   user username
71   cwd srcdir
72   command "./configure --enable-lz4 --prefix=#{basedir} && make install"
73   notifies :restart, "service[overpass-dispatcher]"
74   notifies :restart, "service[overpass-area-dispatcher]"
75 end
76
77 ## Setup Apache
78
79 gem_package "rotp" do
80   gem_binary node[:ruby][:gem]
81 end
82
83 directory "#{basedir}/apache" do
84   owner "root"
85   group "root"
86   mode "755"
87 end
88
89 template "#{basedir}/apache/totp-filter" do
90   source "totp-filter.erb"
91   owner "root"
92   group "root"
93   mode "755"
94   variables :totp_key => web_passwords["totp_key"]
95 end
96
97 ssl_certificate node[:fqdn] do
98   domains [node[:fqdn],
99            node[:overpass][:fqdn]]
100   notifies :reload, "service[apache2]"
101 end
102
103 apache_module "cgi"
104 apache_module "headers"
105 apache_module "rewrite"
106
107 apache_site "default" do
108   action :disable
109 end
110
111 apache_site "#{node[:overpass][:fqdn]}" do
112   template "apache.erb"
113   directory "#{basedir}/site"
114   variables :script_directory => "#{basedir}/cgi-bin"
115 end
116
117 ## Overpass deamons
118
119 meta_map_short = {
120   "no" => "",
121   "meta" => "--meta",
122   "attic" => "--attic"
123 }
124
125 logdir = node[:overpass][:logdir]
126
127 directory logdir do
128   owner username
129   group username
130   mode "755"
131   recursive true
132 end
133
134 %w[overpass-update-db overpass-update-areas].each do |fname|
135   template "#{basedir}/bin/#{fname}" do
136     source "#{fname}.erb"
137     owner "overpass"
138     group "overpass"
139     mode "700"
140     variables :basedir => basedir, :srcdir => srcdir
141   end
142 end
143
144 template "#{basedir}/bin/overpass-import-db" do
145   source "overpass-import-db.erb"
146   owner "root"
147   group "root"
148   mode "755"
149   variables :basedir => basedir, :username => username, :srcdir => srcdir
150 end
151
152 systemd_service "overpass-dispatcher" do
153   description "Overpass Main Dispatcher"
154   wants ["overpass-area-dispatcher.service"]
155   working_directory basedir
156   exec_start "#{basedir}/bin/dispatcher --osm-base #{meta_map_short[node[:overpass][:meta_mode]]} --db-dir=#{basedir}/db --rate-limit=#{node[:overpass][:rate_limit]} --space=#{node[:overpass][:dispatcher_space]}"
157   exec_stop "#{basedir}/bin/dispatcher --osm-base --terminate"
158   standard_output "append:#{logdir}/osm_base.log"
159   user username
160 end
161
162 service "overpass-dispatcher" do
163   action [:enable]
164 end
165
166 systemd_service "overpass-area-dispatcher" do
167   description "Overpass Area Dispatcher"
168   after ["overpass-dispatcher.service"]
169   working_directory basedir
170   exec_start "#{basedir}/bin/dispatcher --areas #{meta_map_short[node[:overpass][:meta_mode]]} --db-dir=#{basedir}/db"
171   exec_stop "#{basedir}/bin/dispatcher --areas --terminate"
172   standard_output "append:#{logdir}/areas.log"
173   user username
174 end
175
176 service "overpass-area-dispatcher" do
177   action [:enable]
178 end
179
180 systemd_service "overpass-update" do
181   description "Overpass Update Application"
182   after ["overpass-dispatcher.service"]
183   wants ["overpass-area-processor.service"]
184   working_directory basedir
185   exec_start "#{basedir}/bin/overpass-update-db"
186   standard_output "append:#{logdir}/update.log"
187   user username
188   restart "on-success"
189 end
190
191 if node[:overpass][:meta_mode] == "attic"
192   systemd_service "overpass-area-processor" do
193     description "Overpass Area Processor"
194     after ["overpass-area-dispatcher.service", "overpass-update.service"]
195     working_directory basedir
196     exec_start "#{basedir}/bin/overpass-update-areas"
197     standard_output "append:#{logdir}/area-processor.log"
198     restart "on-success"
199     nice 19
200     user username
201   end
202 else
203   systemd_service "overpass-area-processor" do
204     description "Overpass Area Processor"
205     after ["overpass-area-dispatcher.service", "overpass-update.service"]
206     working_directory basedir
207     exec_start "#{basedir}/bin/osm3s_query --progress --rules"
208     standard_input "file:#{srcdir}/rules/areas.osm3s"
209     standard_output "append:#{logdir}/area-processor.log"
210     restart "on-success"
211     nice 19
212     user username
213   end
214 end
215
216 systemd_timer "overpass-area-processor" do
217   action :delete
218 end
219
220 service "overpass-area-processor" do
221   action [:disable]
222 end
223
224 template "/etc/logrotate.d/overpass" do
225   source "logrotate.erb"
226   owner "root"
227   group "root"
228   mode "644"
229   variables :logdir => logdir
230 end
231
232 # Munin scripts
233
234 %w[db_lag request_count].each do |name|
235   template "#{basedir}/munin/overpass_#{name}" do
236     source "munin_#{name}.erb"
237     owner username
238     group username
239     mode "755"
240     variables :basedir => basedir
241   end
242
243   munin_plugin "overpass_#{name}" do
244     target "#{basedir}/munin/overpass_#{name}"
245     conf "munin.erb"
246     conf_variables :user => username
247   end
248 end
249
250 prometheus_exporter "overpass" do
251   port 9898
252   user username
253   restrict_address_families "AF_UNIX"
254   options [
255     "--overpass.base-directory=#{basedir}"
256   ]
257 end