]> git.openstreetmap.org Git - chef.git/blob - cookbooks/nominatim/recipes/default.rb
Increase memory limit for refresh-links
[chef.git] / cookbooks / nominatim / recipes / default.rb
1 #
2 # Cookbook:: nominatim
3 # Recipe:: base
4 #
5 # Copyright:: 2015, OpenStreetMap Foundation
6 #
7 # Licensed under the Apache License, Version 2.0 (the "License");
8 # you may not use this file except in compliance with the License.
9 # You may obtain a copy of the License at
10 #
11 #     https://www.apache.org/licenses/LICENSE-2.0
12 #
13 # Unless required by applicable law or agreed to in writing, software
14 # distributed under the License is distributed on an "AS IS" BASIS,
15 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
16 # See the License for the specific language governing permissions and
17 # limitations under the License.
18 #
19
20 include_recipe "accounts"
21 include_recipe "munin"
22 include_recipe "php::fpm"
23 include_recipe "prometheus"
24
25 basedir = data_bag_item("accounts", "nominatim")["home"]
26 email_errors = data_bag_item("accounts", "lonvia")["email"]
27
28 directory basedir do
29   owner "nominatim"
30   group "nominatim"
31   mode "755"
32   recursive true
33 end
34
35 ## Log directory setup
36
37 directory node[:nominatim][:logdir] do
38   owner "nominatim"
39   group "nominatim"
40   mode "755"
41   recursive true
42 end
43
44 file "#{node[:nominatim][:logdir]}/query.log" do
45   action :create_if_missing
46   owner "www-data"
47   group "adm"
48   mode "664"
49 end
50
51 file "#{node[:nominatim][:logdir]}/update.log" do
52   action :create_if_missing
53   owner "nominatim"
54   group "adm"
55   mode "664"
56 end
57
58 ## Postgresql
59
60 include_recipe "postgresql"
61
62 postgresql_version = node[:nominatim][:dbcluster].split("/").first
63 postgis_version = node[:nominatim][:postgis]
64
65 package "postgresql-#{postgresql_version}-postgis-#{postgis_version}"
66
67 node[:nominatim][:dbadmins].each do |user|
68   postgresql_user user do
69     cluster node[:nominatim][:dbcluster]
70     superuser true
71     only_if { node[:nominatim][:state] != "slave" }
72   end
73 end
74
75 postgresql_user "nominatim" do
76   cluster node[:nominatim][:dbcluster]
77   superuser true
78   only_if { node[:nominatim][:state] != "slave" }
79 end
80
81 postgresql_user "www-data" do
82   cluster node[:nominatim][:dbcluster]
83   only_if { node[:nominatim][:state] != "slave" }
84 end
85
86 postgresql_munin "nominatim" do
87   cluster node[:nominatim][:dbcluster]
88   database node[:nominatim][:dbname]
89 end
90
91 directory "#{basedir}/tablespaces" do
92   owner "postgres"
93   group "postgres"
94   mode "700"
95 end
96
97 # NOTE: tablespaces must be exactly in the same location on each
98 #       Nominatim instance when replication is in use. Therefore
99 #       use symlinks to canonical directory locations.
100 node[:nominatim][:tablespaces].each do |name, location|
101   directory location do
102     owner "postgres"
103     group "postgres"
104     mode "700"
105     recursive true
106   end
107
108   link "#{basedir}/tablespaces/#{name}" do
109     to location
110   end
111
112   postgresql_tablespace name do
113     cluster node[:nominatim][:dbcluster]
114     location "#{basedir}/tablespaces/#{name}"
115   end
116 end
117
118 ## Nominatim backend
119
120 include_recipe "git"
121
122 package %w[
123   build-essential
124   cmake
125   g++
126   libboost-dev
127   libboost-system-dev
128   libboost-filesystem-dev
129   libexpat1-dev
130   zlib1g-dev
131   libbz2-dev
132   libpq-dev
133   libproj-dev
134   liblua5.3-dev
135   libluajit-5.1-dev
136   lua5.3
137   python3-pyosmium
138   python3-psycopg2
139   python3-dotenv
140   python3-psutil
141   python3-jinja2
142   python3-icu
143   python3-datrie
144   python3-yaml
145   python3-sqlalchemy-ext
146   python3-asyncpg
147   php-pgsql
148   php-intl
149   ruby
150   ruby-file-tail
151   ruby-pg
152   ruby-webrick
153 ]
154
155 source_directory = "#{basedir}/src/nominatim"
156 build_directory = "#{basedir}/src/build"
157 project_directory = "#{basedir}/planet-project"
158 bin_directory = "#{basedir}/bin"
159 cfg_directory = "#{basedir}/etc"
160 ui_directory = "#{basedir}/ui"
161 qa_bin_directory = "#{basedir}/src/Nominatim-Data-Analyser"
162 qa_data_directory = "#{basedir}/qa-data"
163
164 [basedir, "#{basedir}/src", cfg_directory, bin_directory, build_directory, project_directory].each do |path|
165   directory path do
166     owner "nominatim"
167     group "nominatim"
168     mode "755"
169     recursive true
170   end
171 end
172
173 directory "#{bin_directory}/maintenance" do
174   owner "nominatim"
175   group "nominatim"
176   mode "775"
177 end
178
179 if node[:nominatim][:flatnode_file]
180   directory File.dirname(node[:nominatim][:flatnode_file]) do
181     recursive true
182   end
183 end
184
185 # Normally syncing via chef is a bad idea because syncing might involve
186 # an update of database functions which should not be done while an update
187 # is ongoing. Therefore we sync in between update cycles. There is an
188 # exception for slaves: they get DB function updates from the master, so
189 # only the source code needs to be updated, which chef may do.
190 git source_directory do
191   action node[:nominatim][:state] == "slave" ? :sync : :checkout
192   repository node[:nominatim][:repository]
193   revision node[:nominatim][:revision]
194   enable_submodules true
195   user "nominatim"
196   group "nominatim"
197   not_if { node[:nominatim][:state] != "slave" && File.exist?("#{source_directory}/README.md") }
198   notifies :run, "execute[compile_nominatim]"
199 end
200
201 remote_file "#{source_directory}/data/country_osm_grid.sql.gz" do
202   action :create_if_missing
203   source "https://nominatim.org/data/country_grid.sql.gz"
204   owner "nominatim"
205   group "nominatim"
206   mode "644"
207 end
208
209 execute "compile_nominatim" do
210   action :nothing
211   user "nominatim"
212   cwd build_directory
213   command "cmake -D WITH_LUAJIT=ON #{source_directory} && make"
214   notifies :run, "execute[install_nominatim]"
215 end
216
217 execute "install_nominatim" do
218   action :nothing
219   cwd build_directory
220   command "make install"
221 end
222
223 # Project directory
224
225 template "#{project_directory}/.env" do
226   source "nominatim.env.erb"
227   owner "nominatim"
228   group "nominatim"
229   mode "664"
230   variables :base_url => node[:nominatim][:state] == "off" ? node[:fqdn] : "nominatim.openstreetmap.org",
231             :dbname => node[:nominatim][:dbname],
232             :flatnode_file => node[:nominatim][:flatnode_file],
233             :log_file => "#{node[:nominatim][:logdir]}/query.log",
234             :tokenizer => node[:nominatim][:config][:tokenizer],
235             :forward_dependencies => node[:nominatim][:config][:forward_dependencies]
236 end
237
238 remote_file "#{project_directory}/wikimedia-importance.sql.gz" do
239   action :create_if_missing
240   source "https://nominatim.org/data/wikimedia-importance.sql.gz"
241   owner "nominatim"
242   group "nominatim"
243   mode "644"
244 end
245
246 %w[gb_postcodes.csv.gz us_postcodes.csv.gz].each do |fname|
247   remote_file "#{project_directory}/#{fname}" do
248     action :create
249     source "https://nominatim.org/data/#{fname}"
250     owner "nominatim"
251     group "nominatim"
252     mode "644"
253   end
254 end
255
256 # Webserver + frontend
257
258 %w[user_agent referrer email generic].each do |name|
259   file "#{cfg_directory}/nginx_blocked_#{name}.conf" do
260     action :create_if_missing
261     owner "nominatim"
262     group "adm"
263     mode "664"
264   end
265 end
266
267 node[:nominatim][:fpm_pools].each do |name, data|
268   php_fpm name do
269     port data[:port]
270     pm data[:pm]
271     pm_max_children data[:max_children]
272     pm_start_servers 20
273     pm_min_spare_servers 10
274     pm_max_spare_servers 20
275     pm_max_requests 10000
276     prometheus_port data[:prometheus_port]
277   end
278 end
279
280 ssl_certificate node[:fqdn] do
281   domains [node[:fqdn],
282            "nominatim.openstreetmap.org",
283            "nominatim.osm.org",
284            "nominatim.openstreetmap.com",
285            "nominatim.openstreetmap.net",
286            "nominatim.openstreetmaps.org",
287            "nominatim.openmaps.org",
288            "nominatim.qgis.org"]
289   notifies :reload, "service[nginx]"
290 end
291
292 include_recipe "nginx"
293
294 nginx_site "default" do
295   action [:delete]
296 end
297
298 frontends = search(:node, "recipes:web\\:\\:frontend").sort_by(&:name)
299
300 nginx_site "nominatim" do
301   template "nginx.erb"
302   directory project_directory
303   variables :pools => node[:nominatim][:fpm_pools],
304             :frontends => frontends,
305             :confdir => "#{basedir}/etc",
306             :ui_directory => ui_directory
307 end
308
309 template "/etc/logrotate.d/nginx" do
310   source "logrotate.nginx.erb"
311   owner "root"
312   group "root"
313   mode "644"
314 end
315
316 # Updates
317
318 %w[nominatim-update
319    nominatim-update-source
320    nominatim-update-refresh-db
321    nominatim-update-data
322    nominatim-daily-maintenance].each do |fname|
323   template "#{bin_directory}/#{fname}" do
324     source "#{fname}.erb"
325     owner "nominatim"
326     group "nominatim"
327     mode "554"
328     variables :bindir => bin_directory,
329               :srcdir => source_directory,
330               :builddir => build_directory,
331               :projectdir => project_directory,
332               :qabindir => qa_bin_directory,
333               :qadatadir => qa_data_directory
334   end
335 end
336
337 systemd_service "nominatim-update" do
338   description "Update the Nominatim database"
339   exec_start "#{bin_directory}/nominatim-update"
340   restart "on-success"
341   standard_output "append:#{node[:nominatim][:logdir]}/update.log"
342   standard_error "inherit"
343   working_directory project_directory
344 end
345
346 systemd_service "nominatim-update-maintenance-trigger" do
347   description "Trigger daily maintenance tasks for Nominatim DB"
348   exec_start "ln -sf #{bin_directory}/nominatim-daily-maintenance #{bin_directory}/maintenance/"
349   user "nominatim"
350 end
351
352 systemd_timer "nominatim-update-maintenance-trigger" do
353   action node[:nominatim][:state] != "off" ? :create : :delete
354   description "Schedule daily maintenance tasks for Nominatim DB"
355   on_calendar "*-*-* 02:03:00 UTC"
356 end
357
358 service "nominatim-update-maintenance-trigger" do
359   action node[:nominatim][:state] != "off" ? :enable : :disable
360 end
361
362 # Nominatim UI
363
364 git ui_directory do
365   action :sync
366   repository node[:nominatim][:ui_repository]
367   revision node[:nominatim][:ui_revision]
368   user "nominatim"
369   group "nominatim"
370 end
371
372 template "#{ui_directory}/dist/theme/config.theme.js" do
373   source "ui-config.js.erb"
374   owner "nominatim"
375   group "nominatim"
376   mode "664"
377 end
378
379 # Nominatim QA
380
381 if node[:nominatim][:enable_qa_tiles]
382   package "python3-geojson"
383
384   git qa_bin_directory do
385     repository node[:nominatim][:qa_repository]
386     revision node[:nominatim][:qa_revision]
387     enable_submodules true
388     user "nominatim"
389     group "nominatim"
390     notifies :run, "execute[compile_qa]"
391   end
392
393   execute "compile_qa" do
394     action :nothing
395     user "nominatim"
396     cwd "#{qa_bin_directory}/clustering-vt"
397     command "make"
398   end
399
400   directory qa_data_directory do
401     owner "nominatim"
402     group "nominatim"
403     mode "755"
404     recursive true
405   end
406
407   template "#{qa_bin_directory}/analyser/config/config.yaml" do
408     source "qa_config.erb"
409     owner "nominatim"
410     group "nominatim"
411     mode "755"
412     variables :outputdir => "#{qa_data_directory}/new"
413   end
414
415   ssl_certificate "qa-tile.nominatim.openstreetmap.org" do
416     domains ["qa-tile.nominatim.openstreetmap.org"]
417     notifies :reload, "service[nginx]"
418   end
419
420   nginx_site "qa-tiles.nominatim" do
421     template "nginx-qa-tiles.erb"
422     directory build_directory
423     variables :qa_data_directory => qa_data_directory
424   end
425
426 end
427
428 # Replication
429
430 cron_d "nominatim-clean-db" do
431   action node[:nominatim][:state] == "master" ? :create : :delete
432   minute "5"
433   hour "*/4"
434   user "postgres"
435   command "#{bin_directory}/clean-db-nominatim"
436   mailto email_errors
437 end
438
439 if node[:nominatim][:state] == "master"
440   postgresql_user "replication" do
441     cluster node[:nominatim][:dbcluster]
442     password data_bag_item("nominatim", "passwords")["replication"]
443     replication true
444   end
445
446   directory node[:rsyncd][:modules][:archive][:path] do
447     owner "postgres"
448     group "postgres"
449     mode "700"
450   end
451
452   template "#{bin_directory}/clean-db-nominatim" do
453     source "clean-db-nominatim.erb"
454     owner "nominatim"
455     group "nominatim"
456     mode "755"
457     variables :archive_dir => node[:rsyncd][:modules][:archive][:path],
458               :update_stop_file => "#{basedir}/status/updates_disabled",
459               :streaming_clients => search(:node, "nominatim_state:slave").map { |slave| slave[:fqdn] }.join(" ")
460   end
461 end
462
463 # Maintenance
464
465 cron_d "nominatim-backup" do
466   action (node[:nominatim][:enable_backup] && node[:nominatim][:state] != "off") ? :create : :delete
467   minute "0"
468   hour "3"
469   day "1"
470   user "nominatim"
471   command "#{bin_directory}/backup-nominatim"
472   mailto email_errors
473 end
474
475 cron_d "nominatim-vacuum-db" do
476   action node[:nominatim][:state] != "off" ? :create : :delete
477   minute "20"
478   hour "0"
479   user "postgres"
480   command "#{bin_directory}/vacuum-db-nominatim"
481   mailto email_errors
482 end
483
484 %w[backup-nominatim vacuum-db-nominatim].each do |fname|
485   template "#{bin_directory}/#{fname}" do
486     source "#{fname}.erb"
487     owner "nominatim"
488     group "nominatim"
489     mode "755"
490     variables :db => node[:nominatim][:dbname]
491   end
492 end
493
494 # Logging
495
496 template "/etc/logrotate.d/nominatim" do
497   source "logrotate.nominatim.erb"
498   owner "root"
499   group "root"
500   mode "644"
501 end
502
503 # Monitoring
504
505 munin_plugin_conf "nominatim" do
506   template "munin.erb"
507   variables :db => node[:nominatim][:dbname],
508             :querylog => "#{node[:nominatim][:logdir]}/query.log"
509 end
510
511 munin_plugin "nominatim_importlag" do
512   target "#{source_directory}/munin/nominatim_importlag"
513 end
514
515 munin_plugin "nominatim_query_speed" do
516   target "#{source_directory}/munin/nominatim_query_speed_querylog"
517 end
518
519 munin_plugin "nominatim_requests" do
520   target "#{source_directory}/munin/nominatim_requests_querylog"
521 end
522
523 prometheus_exporter "nominatim" do
524   port 8082
525   user "www-data"
526   restrict_address_families "AF_UNIX"
527   options [
528     "--nominatim.query-log=#{node[:nominatim][:logdir]}/query.log",
529     "--nominatim.database-name=#{node[:nominatim][:dbname]}"
530   ]
531 end
532
533 include_recipe "fail2ban"
534
535 frontend_addresses = frontends.collect { |f| f.ipaddresses(:role => :external) }
536
537 fail2ban_jail "nominatim_limit_req" do
538   filter "nginx-limit-req"
539   logpath "#{node[:nominatim][:logdir]}/nominatim.openstreetmap.org-error.log"
540   ports [80, 443]
541   maxretry 20
542   ignoreips frontend_addresses.flatten.sort
543 end