Configure modtile and renderd collectors
[chef.git] / cookbooks / tile / recipes / default.rb
1 #
2 # Cookbook:: tile
3 # Recipe:: default
4 #
5 # Copyright:: 2013, OpenStreetMap Foundation
6 #
7 # Licensed under the Apache License, Version 2.0 (the "License");
8 # you may not use this file except in compliance with the License.
9 # You may obtain a copy of the License at
10 #
11 #     https://www.apache.org/licenses/LICENSE-2.0
12 #
13 # Unless required by applicable law or agreed to in writing, software
14 # distributed under the License is distributed on an "AS IS" BASIS,
15 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
16 # See the License for the specific language governing permissions and
17 # limitations under the License.
18 #
19
20 include_recipe "accounts"
21 include_recipe "apache"
22 include_recipe "git"
23 include_recipe "munin"
24 include_recipe "nodejs"
25 include_recipe "postgresql"
26 include_recipe "prometheus"
27 include_recipe "python"
28 include_recipe "tools"
29
30 blocks = data_bag_item("tile", "blocks")
31 web_passwords = data_bag_item("web", "passwords")
32
33 apache_module "alias"
34 apache_module "cgi"
35 apache_module "expires"
36 apache_module "headers"
37 apache_module "remoteip"
38 apache_module "rewrite"
39
40 apache_module "tile" do
41   conf "tile.conf.erb"
42 end
43
44 ssl_certificate node[:fqdn] do
45   domains [node[:fqdn], "tile.openstreetmap.org", "render.openstreetmap.org"]
46   notifies :reload, "service[apache2]"
47 end
48
49 tilecaches = search(:node, "roles:tilecache").sort_by { |n| n[:hostname] }
50
51 apache_site "default" do
52   action [:disable]
53 end
54
55 apache_site "tile.openstreetmap.org" do
56   template "apache.erb"
57   variables :caches => tilecaches
58 end
59
60 template "/etc/logrotate.d/apache2" do
61   source "logrotate.apache.erb"
62   owner "root"
63   group "root"
64   mode "644"
65 end
66
67 directory "/srv/tile.openstreetmap.org" do
68   owner "tile"
69   group "tile"
70   mode "755"
71 end
72
73 package "renderd"
74
75 systemd_service "renderd" do
76   description "Mapnik rendering daemon"
77   after "postgresql.service"
78   wants "postgresql.service"
79   user "www-data"
80   exec_start "/usr/bin/renderd -f"
81   runtime_directory "renderd"
82   standard_error "null"
83   private_tmp true
84   private_devices true
85   private_network true
86   protect_system "full"
87   protect_home true
88   no_new_privileges true
89   restart "on-failure"
90 end
91
92 service "renderd" do
93   action [:enable, :start]
94   subscribes :restart, "systemd_service[renderd]"
95 end
96
97 directory "/srv/tile.openstreetmap.org/tiles" do
98   owner "tile"
99   group "tile"
100   mode "755"
101 end
102
103 template "/etc/renderd.conf" do
104   source "renderd.conf.erb"
105   owner "root"
106   group "root"
107   mode "644"
108   notifies :reload, "service[apache2]"
109   notifies :restart, "service[renderd]"
110 end
111
112 remote_directory "/srv/tile.openstreetmap.org/html" do
113   source "html"
114   owner "tile"
115   group "tile"
116   mode "755"
117   files_owner "tile"
118   files_group "tile"
119   files_mode "644"
120 end
121
122 template "/srv/tile.openstreetmap.org/html/index.html" do
123   source "index.html.erb"
124   owner "tile"
125   group "tile"
126   mode "644"
127 end
128
129 package %w[
130   python3-cairo
131   python3-mapnik
132   python3-setuptools
133 ]
134
135 python_package "pyotp" do
136   python_version "3"
137 end
138
139 package %w[
140   fonts-noto-cjk
141   fonts-noto-hinted
142   fonts-noto-unhinted
143   fonts-hanazono
144   ttf-unifont
145 ]
146
147 ["NotoSansArabicUI-Regular.ttf", "NotoSansArabicUI-Bold.ttf"].each do |font|
148   remote_file "/usr/share/fonts/truetype/noto/#{font}" do
149     action :create_if_missing
150     source "https://github.com/googlei18n/noto-fonts/raw/master/hinted/#{font}"
151     owner "root"
152     group "root"
153     mode "644"
154   end
155 end
156
157 directory "/srv/tile.openstreetmap.org/cgi-bin" do
158   owner "tile"
159   group "tile"
160   mode "755"
161 end
162
163 template "/srv/tile.openstreetmap.org/cgi-bin/export" do
164   source "export.erb"
165   owner "tile"
166   group "tile"
167   mode "755"
168   variables :blocks => blocks, :totp_key => web_passwords["totp_key"]
169 end
170
171 template "/srv/tile.openstreetmap.org/cgi-bin/debug" do
172   source "debug.erb"
173   owner "tile"
174   group "tile"
175   mode "755"
176 end
177
178 template "/etc/cron.hourly/export" do
179   source "export.cron.erb"
180   owner "root"
181   group "root"
182   mode "755"
183 end
184
185 directory "/srv/tile.openstreetmap.org/data" do
186   owner "tile"
187   group "tile"
188   mode "755"
189 end
190
191 package "mapnik-utils"
192
193 node[:tile][:data].each_value do |data|
194   url = data[:url]
195   file = "/srv/tile.openstreetmap.org/data/#{File.basename(url)}"
196
197   if data[:directory]
198     directory = "/srv/tile.openstreetmap.org/data/#{data[:directory]}"
199
200     directory directory do
201       owner "tile"
202       group "tile"
203       mode "755"
204     end
205   else
206     directory = "/srv/tile.openstreetmap.org/data"
207   end
208
209   if file =~ /\.tgz$/
210     package "tar"
211
212     execute file do
213       action :nothing
214       command "tar -zxf #{file} -C #{directory}"
215       user "tile"
216       group "tile"
217     end
218   elsif file =~ /\.tar\.bz2$/
219     package "tar"
220
221     execute file do
222       action :nothing
223       command "tar -jxf #{file} -C #{directory}"
224       user "tile"
225       group "tile"
226     end
227   elsif file =~ /\.zip$/
228     package "unzip"
229
230     execute file do
231       action :nothing
232       command "unzip -qq -o #{file} -d #{directory}"
233       user "tile"
234       group "tile"
235     end
236   end
237
238   execute "#{file}_shapeindex" do
239     action :nothing
240     command "find #{directory} -type f -iname '*.shp' -print0 | xargs -0 --no-run-if-empty shapeindex --shape_files"
241     user "tile"
242     group "tile"
243     subscribes :run, "execute[#{file}]", :immediately
244   end
245
246   remote_file file do
247     if data[:refresh]
248       action :create
249       use_conditional_get true
250       ignore_failure true
251     else
252       action :create_if_missing
253     end
254
255     source url
256     owner "tile"
257     group "tile"
258     mode "644"
259     backup false
260     notifies :run, "execute[#{file}]", :immediately
261     notifies :restart, "service[renderd]"
262   end
263 end
264
265 nodejs_package "carto"
266
267 systemd_service "update-lowzoom@" do
268   description "Low zoom tile update service for %i layer"
269   user "tile"
270   exec_start "/bin/bash /usr/local/bin/update-lowzoom-%i"
271   private_tmp true
272   private_devices true
273   private_network true
274   protect_system "full"
275   protect_home true
276   no_new_privileges true
277   restart "on-failure"
278 end
279
280 directory "/srv/tile.openstreetmap.org/styles" do
281   owner "tile"
282   group "tile"
283   mode "755"
284 end
285
286 node[:tile][:styles].each do |name, details|
287   style_directory = "/srv/tile.openstreetmap.org/styles/#{name}"
288   tile_directory = "/srv/tile.openstreetmap.org/tiles/#{name}"
289
290   template "/usr/local/bin/update-lowzoom-#{name}" do
291     source "update-lowzoom.erb"
292     owner "root"
293     group "root"
294     mode "755"
295     variables :style => name
296   end
297
298   service "update-lowzoom@#{name}" do
299     action :disable
300     supports :restart => true
301   end
302
303   directory tile_directory do
304     owner "tile"
305     group "tile"
306     mode "755"
307   end
308
309   details[:tile_directories].each do |directory|
310     directory directory[:name] do
311       owner "www-data"
312       group "www-data"
313       mode "755"
314     end
315
316     directory[:min_zoom].upto(directory[:max_zoom]) do |zoom|
317       directory "#{directory[:name]}/#{zoom}" do
318         owner "www-data"
319         group "www-data"
320         mode "755"
321       end
322
323       link "#{tile_directory}/#{zoom}" do
324         to "#{directory[:name]}/#{zoom}"
325         owner "tile"
326         group "tile"
327       end
328     end
329   end
330
331   file "#{tile_directory}/planet-import-complete" do
332     action :create_if_missing
333     owner "tile"
334     group "tile"
335     mode "444"
336   end
337
338   git style_directory do
339     action :sync
340     repository details[:repository]
341     revision details[:revision]
342     user "tile"
343     group "tile"
344   end
345
346   link "#{style_directory}/data" do
347     to "/srv/tile.openstreetmap.org/data"
348     owner "tile"
349     group "tile"
350   end
351
352   execute "#{style_directory}/project.mml" do
353     action :nothing
354     command "carto -a 3.0.0 project.mml > project.xml"
355     cwd style_directory
356     user "tile"
357     group "tile"
358     subscribes :run, "git[#{style_directory}]"
359     notifies :restart, "service[renderd]", :immediately
360     notifies :restart, "service[update-lowzoom@#{name}]"
361   end
362 end
363
364 postgresql_version = node[:tile][:database][:cluster].split("/").first
365 postgis_version = node[:tile][:database][:postgis]
366
367 package "postgresql-#{postgresql_version}-postgis-#{postgis_version}"
368
369 postgresql_user "jburgess" do
370   cluster node[:tile][:database][:cluster]
371   superuser true
372 end
373
374 postgresql_user "tomh" do
375   cluster node[:tile][:database][:cluster]
376   superuser true
377 end
378
379 postgresql_user "tile" do
380   cluster node[:tile][:database][:cluster]
381 end
382
383 postgresql_user "www-data" do
384   cluster node[:tile][:database][:cluster]
385 end
386
387 postgresql_database "gis" do
388   cluster node[:tile][:database][:cluster]
389   owner "tile"
390 end
391
392 postgresql_extension "postgis" do
393   cluster node[:tile][:database][:cluster]
394   database "gis"
395 end
396
397 postgresql_extension "hstore" do
398   cluster node[:tile][:database][:cluster]
399   database "gis"
400   only_if { node[:tile][:database][:hstore] }
401 end
402
403 %w[geography_columns planet_osm_nodes planet_osm_rels planet_osm_ways raster_columns raster_overviews spatial_ref_sys].each do |table|
404   postgresql_table table do
405     cluster node[:tile][:database][:cluster]
406     database "gis"
407     owner "tile"
408     permissions "tile" => :all
409   end
410 end
411
412 %w[geometry_columns planet_osm_line planet_osm_point planet_osm_polygon planet_osm_roads].each do |table|
413   postgresql_table table do
414     cluster node[:tile][:database][:cluster]
415     database "gis"
416     owner "tile"
417     permissions "tile" => :all, "www-data" => :select
418   end
419 end
420
421 postgresql_munin "gis" do
422   cluster node[:tile][:database][:cluster]
423   database "gis"
424 end
425
426 directory File.dirname(node[:tile][:database][:node_file]) do
427   owner "root"
428   group "root"
429   mode "755"
430   recursive true
431 end
432
433 file node[:tile][:database][:node_file] do
434   owner "tile"
435   group "www-data"
436   mode "660"
437 end
438
439 directory "/var/log/tile" do
440   owner "tile"
441   group "tile"
442   mode "755"
443 end
444
445 package %w[
446   osm2pgsql
447   ruby
448   osmium-tool
449   pyosmium
450   python3-pyproj
451 ]
452
453 remote_directory "/usr/local/bin" do
454   source "bin"
455   owner "root"
456   group "root"
457   mode "755"
458   files_owner "root"
459   files_group "root"
460   files_mode "755"
461 end
462
463 template "/usr/local/bin/expire-tiles" do
464   source "expire-tiles.erb"
465   owner "root"
466   group "root"
467   mode "755"
468 end
469
470 directory "/var/lib/replicate" do
471   owner "tile"
472   group "tile"
473   mode "755"
474 end
475
476 directory "/var/lib/replicate/expire-queue" do
477   owner "tile"
478   group "www-data"
479   mode "775"
480 end
481
482 template "/usr/local/bin/replicate" do
483   source "replicate.erb"
484   owner "root"
485   group "root"
486   mode "755"
487   variables :postgresql_version => postgresql_version.to_f
488 end
489
490 systemd_service "expire-tiles" do
491   description "Tile dirtying service"
492   type "simple"
493   user "www-data"
494   exec_start "/usr/local/bin/expire-tiles"
495   standard_output "null"
496   private_tmp true
497   private_devices true
498   protect_system "full"
499   protect_home true
500   no_new_privileges true
501 end
502
503 systemd_path "expire-tiles" do
504   description "Tile dirtying trigger"
505   directory_not_empty "/var/lib/replicate/expire-queue"
506 end
507
508 service "expire-tiles.path" do
509   action [:enable, :start]
510   subscribes :restart, "systemd_path[expire-tiles]"
511 end
512
513 systemd_service "replicate" do
514   description "Rendering database replication service"
515   after "postgresql.service"
516   wants "postgresql.service"
517   user "tile"
518   exec_start "/usr/local/bin/replicate"
519   private_tmp true
520   private_devices true
521   protect_system "full"
522   protect_home true
523   no_new_privileges true
524   restart "on-failure"
525 end
526
527 service "replicate" do
528   action [:enable, :start]
529   subscribes :restart, "template[/usr/local/bin/replicate]"
530   subscribes :restart, "systemd_service[replicate]"
531 end
532
533 template "/etc/logrotate.d/replicate" do
534   source "replicate.logrotate.erb"
535   owner "root"
536   group "root"
537   mode "644"
538 end
539
540 template "/usr/local/bin/render-lowzoom" do
541   source "render-lowzoom.erb"
542   owner "root"
543   group "root"
544   mode "755"
545 end
546
547 systemd_service "render-lowzoom" do
548   description "Render low zoom tiles"
549   user "tile"
550   exec_start "/usr/local/bin/render-lowzoom"
551   private_tmp true
552   private_devices true
553   private_network true
554   protect_system "full"
555   protect_home true
556   no_new_privileges true
557 end
558
559 systemd_timer "render-lowzoom" do
560   description "Render low zoom tiles"
561   on_calendar "Sun *-*~07/1 01:00:00"
562 end
563
564 service "render-lowzoom.timer" do
565   action [:enable, :start]
566 end
567
568 package "liblockfile-simple-perl"
569 package "libfilesys-df-perl"
570
571 template "/usr/local/bin/cleanup-tiles" do
572   source "cleanup-tiles.erb"
573   owner "root"
574   group "root"
575   mode "755"
576 end
577
578 tile_directories = node[:tile][:styles].collect do |_, style|
579   style[:tile_directories].collect { |directory| directory[:name] }
580 end.flatten.sort.uniq
581
582 tile_directories.each do |directory|
583   label = directory.gsub("/", "-")
584
585   cron_d "cleanup-tiles#{label}" do
586     minute "0"
587     user "www-data"
588     command "ionice -c 3 /usr/local/bin/cleanup-tiles #{directory}"
589     mailto "admins@openstreetmap.org"
590   end
591 end
592
593 munin_plugin "mod_tile_fresh"
594 munin_plugin "mod_tile_latency"
595 munin_plugin "mod_tile_response"
596 munin_plugin "mod_tile_zoom"
597
598 munin_plugin "renderd_processed"
599 munin_plugin "renderd_queue"
600 munin_plugin "renderd_queue_time"
601 munin_plugin "renderd_zoom"
602 munin_plugin "renderd_zoom_time"
603
604 munin_plugin "replication_delay"
605
606 prometheus_collector "modtile" do
607   interval "1m"
608 end
609
610 prometheus_collector "renderd" do
611   interval "1m"
612 end