]> git.openstreetmap.org Git - chef.git/blob - cookbooks/nominatim/recipes/version4.rb
nominatim: complete rework of the setup
[chef.git] / cookbooks / nominatim / recipes / version4.rb
1 #
2 # Cookbook:: nominatim
3 # Recipe:: base
4 #
5 # Copyright:: 2015, OpenStreetMap Foundation
6 #
7 # Licensed under the Apache License, Version 2.0 (the "License");
8 # you may not use this file except in compliance with the License.
9 # You may obtain a copy of the License at
10 #
11 #     https://www.apache.org/licenses/LICENSE-2.0
12 #
13 # Unless required by applicable law or agreed to in writing, software
14 # distributed under the License is distributed on an "AS IS" BASIS,
15 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
16 # See the License for the specific language governing permissions and
17 # limitations under the License.
18 #
19
20 include_recipe "accounts"
21 include_recipe "munin"
22 include_recipe "php::fpm"
23 include_recipe "prometheus"
24
25 basedir = data_bag_item("accounts", "nominatim")["home"]
26 email_errors = data_bag_item("accounts", "lonvia")["email"]
27
28 directory basedir do
29   owner "nominatim"
30   group "nominatim"
31   mode "755"
32   recursive true
33 end
34
35 ## Log directory setup
36
37 directory node[:nominatim][:logdir] do
38   owner "nominatim"
39   group "nominatim"
40   mode "755"
41   recursive true
42 end
43
44 file "#{node[:nominatim][:logdir]}/query.log" do
45   action :create_if_missing
46   owner "www-data"
47   group "adm"
48   mode "664"
49 end
50
51 file "#{node[:nominatim][:logdir]}/update.log" do
52   action :create_if_missing
53   owner "nominatim"
54   group "adm"
55   mode "664"
56 end
57
58 ## Postgresql
59
60 include_recipe "postgresql"
61
62 postgresql_version = node[:nominatim][:dbcluster].split("/").first
63 postgis_version = node[:nominatim][:postgis]
64
65 package "postgresql-#{postgresql_version}-postgis-#{postgis_version}"
66
67 postgresql_user "nominatim" do
68   cluster node[:nominatim][:dbcluster]
69   superuser true
70   only_if { node[:nominatim][:state] != "slave" }
71 end
72
73 postgresql_user "www-data" do
74   cluster node[:nominatim][:dbcluster]
75   only_if { node[:nominatim][:state] != "slave" }
76 end
77
78 postgresql_munin "nominatim" do
79   cluster node[:nominatim][:dbcluster]
80   database node[:nominatim][:dbname]
81 end
82
83 directory "#{basedir}/tablespaces" do
84   owner "postgres"
85   group "postgres"
86   mode "700"
87 end
88
89 # NOTE: tablespaces must be exactly in the same location on each
90 #       Nominatim instance when replication is in use. Therefore
91 #       use symlinks to canonical directory locations.
92 node[:nominatim][:tablespaces].each do |name, location|
93   directory location do
94     owner "postgres"
95     group "postgres"
96     mode "700"
97     recursive true
98   end
99
100   link "#{basedir}/tablespaces/#{name}" do
101     to location
102   end
103
104   postgresql_tablespace name do
105     cluster node[:nominatim][:dbcluster]
106     location "#{basedir}/tablespaces/#{name}"
107   end
108 end
109
110 ## Nominatim backend
111
112 include_recipe "git"
113
114 package %w[
115   build-essential
116   cmake
117   g++
118   libboost-dev
119   libboost-system-dev
120   libboost-filesystem-dev
121   libexpat1-dev
122   zlib1g-dev
123   libbz2-dev
124   libpq-dev
125   libproj-dev
126   python3-pyosmium
127   python3-psycopg2
128   python3-dotenv
129   python3-psutil
130   python3-jinja2
131   python3-icu
132   python3-datrie
133   python3-yaml
134   php-pgsql
135   php-intl
136   ruby
137   ruby-file-tail
138   ruby-pg
139   ruby-webrick
140 ]
141
142 source_directory = "#{basedir}/src/nominatim"
143 build_directory = "#{basedir}/src/build"
144 project_directory = "#{basedir}/planet-project"
145 bin_directory = "#{basedir}/bin"
146 cfg_directory = "#{basedir}/etc"
147 ui_directory = "#{basedir}/ui"
148 qa_bin_directory = "#{basedir}/src/Nominatim-Data-Analyser"
149 qa_data_directory = "#{basedir}/qa-data"
150
151 [basedir, "#{basedir}/src", cfg_directory, bin_directory, build_directory, project_directory].each do |path|
152   directory path do
153     owner "nominatim"
154     group "nominatim"
155     mode "755"
156     recursive true
157   end
158 end
159
160 directory "#{bin_directory}/maintenance" do
161   owner "nominatim"
162   group "nominatim"
163   mode "775"
164 end
165
166 if node[:nominatim][:flatnode_file]
167   directory File.dirname(node[:nominatim][:flatnode_file]) do
168     recursive true
169   end
170 end
171
172 # Normally syncing via chef is a bad idea because syncing might involve
173 # an update of database functions which should not be done while an update
174 # is ongoing. Therefore we sync in between update cycles. There is an
175 # exception for slaves: they get DB function updates from the master, so
176 # only the source code needs to be updated, which chef may do.
177 git source_directory do
178   action node[:nominatim][:state] == "slave" ? :sync : :checkout
179   repository node[:nominatim][:repository]
180   revision node[:nominatim][:revision]
181   enable_submodules true
182   user "nominatim"
183   group "nominatim"
184   not_if { node[:nominatim][:state] != "slave" && File.exist?("#{source_directory}/README.md") }
185   notifies :run, "execute[compile_nominatim]"
186 end
187
188 remote_file "#{source_directory}/data/country_osm_grid.sql.gz" do
189   action :create_if_missing
190   source "https://www.nominatim.org/data/country_grid.sql.gz"
191   owner "nominatim"
192   group "nominatim"
193   mode "644"
194 end
195
196 execute "compile_nominatim" do
197   action :nothing
198   user "nominatim"
199   cwd build_directory
200   command "cmake #{source_directory} && make"
201   notifies :run, "execute[install_nominatim]"
202 end
203
204 execute "install_nominatim" do
205   action :nothing
206   cwd build_directory
207   command "make install"
208 end
209
210 # Project directory
211
212 template "#{project_directory}/.env" do
213   source "nominatim.env.erb"
214   owner "nominatim"
215   group "nominatim"
216   mode "664"
217   variables :base_url => node[:nominatim][:state] == "off" ? node[:fqdn] : "nominatim.openstreetmap.org",
218             :dbname => node[:nominatim][:dbname],
219             :flatnode_file => node[:nominatim][:flatnode_file],
220             :log_file => "#{node[:nominatim][:logdir]}/query.log",
221             :tokenizer => node[:nominatim][:config][:tokenizer]
222 end
223
224 #%w[wikimedia-importance.sql.gz gb_postcodes.csv.gz us_postcodes.csv.gz].each do |fname|
225 #  remote_file "#{project_directory}/#{fname}" do
226 #    action :create
227 #    source "https://www.nominatim.org/data/#{fname}"
228 #    owner "nominatim"
229 #    group "nominatim"
230 #    mode "644"
231 #  end
232 #end
233
234 # Webserver + frontend
235
236 %w[user_agent referrer email generic].each do |name|
237   file "#{cfg_directory}/nginx_blocked_#{name}.conf" do
238     action :create_if_missing
239     owner "nominatim"
240     group "adm"
241     mode "664"
242   end
243 end
244
245 node[:nominatim][:fpm_pools].each do |name, data|
246   php_fpm name do
247     port data[:port]
248     pm data[:pm]
249     pm_max_children data[:max_children]
250     pm_start_servers 20
251     pm_min_spare_servers 10
252     pm_max_spare_servers 20
253     pm_max_requests 10000
254     prometheus_port data[:prometheus_port]
255   end
256 end
257
258 ssl_certificate node[:fqdn] do
259   domains [node[:fqdn],
260            "nominatim.openstreetmap.org",
261            "nominatim.osm.org",
262            "nominatim.openstreetmap.com",
263            "nominatim.openstreetmap.net",
264            "nominatim.openstreetmaps.org",
265            "nominatim.openmaps.org",
266            "nominatim.qgis.org"]
267   notifies :reload, "service[nginx]"
268 end
269
270 include_recipe "nginx"
271
272 nginx_site "default" do
273   action [:delete]
274 end
275
276 frontends = search(:node, "recipes:web\\:\\:frontend").sort_by(&:name)
277
278 nginx_site "nominatim" do
279   template "nginx.erb"
280   directory build_directory
281   variables :pools => node[:nominatim][:fpm_pools],
282             :frontends => frontends,
283             :confdir => "#{basedir}/etc",
284             :ui_directory => ui_directory
285 end
286
287 template "/etc/logrotate.d/nginx" do
288   source "logrotate.nginx.erb"
289   owner "root"
290   group "root"
291   mode "644"
292 end
293
294 # Updates
295
296 %w[nominatim-update
297    nominatim-update-source
298    nominatim-update-refresh-db
299    nominatim-update-data
300    nominatim-daily-maintenance].each do |fname|
301   template "#{bin_directory}/#{fname}" do
302     source "#{fname}.erb"
303     owner "nominatim"
304     group "nominatim"
305     mode "554"
306     variables :bindir => bin_directory,
307               :srcdir => source_directory,
308               :builddir => build_directory,
309               :projectdir => project_directory,
310               :qabindir => qa_bin_directory,
311               :qadatadir => qa_data_directory
312   end
313 end
314
315 systemd_service "nominatim-update" do
316   description "Update the Nominatim database"
317   exec_start "#{bin_directory}/nominatim-update"
318   restart "on-success"
319   standard_output "append:#{node[:nominatim][:logdir]}/update.log"
320   standard_error "inherit"
321   working_directory project_directory
322 end
323
324 systemd_service "nominatim-update-maintenance-trigger" do
325   description "Trigger daily maintenance tasks for Nominatim DB"
326   exec_start "ln -sf #{bin_directory}/nominatim-daily-maintenance #{bin_directory}/maintenance/"
327   user "nominatim"
328 end
329
330 systemd_timer "nominatim-update-maintenance-trigger" do
331   action node[:nominatim][:state] != "off" ? :create : :delete
332   description "Schedule daily maintenance tasks for Nominatim DB"
333   on_calendar "*-*-* 02:03:00 UTC"
334 end
335
336 service "nominatim-update-maintenance-trigger" do
337   action node[:nominatim][:state] != "off" ? :enable : :disable
338 end
339
340 # Nominatim UI
341
342 git ui_directory do
343   action :sync
344   repository node[:nominatim][:ui_repository]
345   revision node[:nominatim][:ui_revision]
346   user "nominatim"
347   group "nominatim"
348 end
349
350 template "#{ui_directory}/dist/theme/config.theme.js" do
351   source "ui-config.js.erb"
352   owner "nominatim"
353   group "nominatim"
354   mode "664"
355 end
356
357 # Nominatim QA
358
359 if node[:nominatim][:enable_qa_tiles]
360   package "python3-geojson"
361
362   git qa_bin_directory do
363     repository node[:nominatim][:qa_repository]
364     revision node[:nominatim][:qa_revision]
365     enable_submodules true
366     user "nominatim"
367     group "nominatim"
368     notifies :run, "execute[compile_qa]"
369   end
370
371   execute "compile_qa" do
372     action :nothing
373     user "nominatim"
374     cwd "#{qa_bin_directory}/clustering-vt"
375     command "make"
376   end
377
378   directory qa_data_directory do
379     owner "nominatim"
380     group "nominatim"
381     mode "755"
382     recursive true
383   end
384
385   template "#{qa_bin_directory}/analyser/config/config.yaml" do
386     source "qa_config.erb"
387     owner "nominatim"
388     group "nominatim"
389     mode "755"
390     variables :outputdir => "#{qa_data_directory}/new"
391   end
392
393   ssl_certificate "qa-tile.nominatim.openstreetmap.org" do
394     domains ["qa-tile.nominatim.openstreetmap.org"]
395     notifies :reload, "service[nginx]"
396   end
397
398   nginx_site "qa-tiles.nominatim" do
399     template "nginx-qa-tiles.erb"
400     directory build_directory
401     variables :qa_data_directory => qa_data_directory
402   end
403
404 end
405
406 # Replication
407
408 cron_d "nominatim-clean-db" do
409   action node[:nominatim][:state] == "master" ? :create : :delete
410   minute "5"
411   hour "*/4"
412   user "postgres"
413   command "#{bin_directory}/clean-db-nominatim"
414   mailto email_errors
415 end
416
417 if node[:nominatim][:state] == "master"
418   postgresql_user "replication" do
419     cluster node[:nominatim][:dbcluster]
420     password data_bag_item("nominatim", "passwords")["replication"]
421     replication true
422   end
423
424   directory node[:rsyncd][:modules][:archive][:path] do
425     owner "postgres"
426     group "postgres"
427     mode "700"
428   end
429
430   template "#{bin_directory}/clean-db-nominatim" do
431     source "clean-db-nominatim.erb"
432     owner "nominatim"
433     group "nominatim"
434     mode "755"
435     variables :archive_dir => node[:rsyncd][:modules][:archive][:path],
436               :update_stop_file => "#{basedir}/status/updates_disabled",
437               :streaming_clients => search(:node, "nominatim_state:slave").map { |slave| slave[:fqdn] }.join(" ")
438   end
439 end
440
441 # Maintenance
442
443 cron_d "nominatim-backup" do
444   action (node[:nominatim][:enable_backup] && node[:nominatim][:state] != "off") ? :create : :delete
445   minute "0"
446   hour "3"
447   day "1"
448   user "nominatim"
449   command "#{bin_directory}/backup-nominatim"
450   mailto email_errors
451 end
452
453 cron_d "nominatim-vacuum-db" do
454   action node[:nominatim][:state] != "off" ? :create : :delete
455   minute "20"
456   hour "0"
457   user "postgres"
458   command "#{bin_directory}/vacuum-db-nominatim"
459   mailto email_errors
460 end
461
462 %w[backup-nominatim vacuum-db-nominatim].each do |fname|
463   template "#{bin_directory}/#{fname}" do
464     source "#{fname}.erb"
465     owner "nominatim"
466     group "nominatim"
467     mode "755"
468     variables :db => node[:nominatim][:dbname]
469   end
470 end
471
472 # Logging
473
474 template "/etc/logrotate.d/nominatim" do
475   source "logrotate.nominatim.erb"
476   owner "root"
477   group "root"
478   mode "644"
479 end
480
481 # Monitoring
482
483 munin_plugin_conf "nominatim" do
484   template "munin.erb"
485   variables :db => node[:nominatim][:dbname],
486             :querylog => "#{node[:nominatim][:logdir]}/query.log"
487 end
488
489 munin_plugin "nominatim_importlag" do
490   target "#{source_directory}/munin/nominatim_importlag"
491 end
492
493 munin_plugin "nominatim_query_speed" do
494   target "#{source_directory}/munin/nominatim_query_speed_querylog"
495 end
496
497 munin_plugin "nominatim_requests" do
498   target "#{source_directory}/munin/nominatim_requests_querylog"
499 end
500
501 prometheus_exporter "nominatim" do
502   port 8082
503   user "www-data"
504   options [
505     "--nominatim.query-log=#{node[:nominatim][:logdir]}/query.log",
506     "--nominatim.database-name=#{node[:nominatim][:dbname]}"
507   ]
508 end
509
510 include_recipe "fail2ban"
511
512 frontend_addresses = frontends.collect { |f| f.ipaddresses(:role => :external) }
513
514 fail2ban_jail "nominatim_limit_req" do
515   filter "nginx-limit-req"
516   logpath "#{node[:nominatim][:logdir]}/nominatim.openstreetmap.org-error.log"
517   ports [80, 443]
518   maxretry 20
519   ignoreips frontend_addresses.flatten.sort
520 end