Ignore failures starting shorewall
[chef.git] / cookbooks / tile / recipes / default.rb
1 #
2 # Cookbook:: tile
3 # Recipe:: default
4 #
5 # Copyright:: 2013, OpenStreetMap Foundation
6 #
7 # Licensed under the Apache License, Version 2.0 (the "License");
8 # you may not use this file except in compliance with the License.
9 # You may obtain a copy of the License at
10 #
11 #     https://www.apache.org/licenses/LICENSE-2.0
12 #
13 # Unless required by applicable law or agreed to in writing, software
14 # distributed under the License is distributed on an "AS IS" BASIS,
15 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
16 # See the License for the specific language governing permissions and
17 # limitations under the License.
18 #
19
20 include_recipe "accounts"
21 include_recipe "apache"
22 include_recipe "git"
23 include_recipe "munin"
24 include_recipe "nodejs"
25 include_recipe "postgresql"
26 include_recipe "python"
27 include_recipe "tools"
28
29 blocks = data_bag_item("tile", "blocks")
30 web_passwords = data_bag_item("web", "passwords")
31
32 apache_module "alias"
33 apache_module "cgi"
34 apache_module "expires"
35 apache_module "headers"
36 apache_module "remoteip"
37 apache_module "rewrite"
38
39 apache_module "tile" do
40   conf "tile.conf.erb"
41 end
42
43 ssl_certificate node[:fqdn] do
44   domains [node[:fqdn], "tile.openstreetmap.org", "render.openstreetmap.org"]
45   notifies :reload, "service[apache2]"
46 end
47
48 tilecaches = search(:node, "roles:tilecache").sort_by { |n| n[:hostname] }
49
50 apache_site "default" do
51   action [:disable]
52 end
53
54 apache_site "tile.openstreetmap.org" do
55   template "apache.erb"
56   variables :caches => tilecaches
57 end
58
59 template "/etc/logrotate.d/apache2" do
60   source "logrotate.apache.erb"
61   owner "root"
62   group "root"
63   mode "644"
64 end
65
66 directory "/srv/tile.openstreetmap.org" do
67   owner "tile"
68   group "tile"
69   mode "755"
70 end
71
72 package "renderd"
73
74 systemd_service "renderd" do
75   description "Mapnik rendering daemon"
76   after "postgresql.service"
77   wants "postgresql.service"
78   user "www-data"
79   exec_start "/usr/bin/renderd -f"
80   runtime_directory "renderd"
81   standard_error "null"
82   private_tmp true
83   private_devices true
84   private_network true
85   protect_system "full"
86   protect_home true
87   no_new_privileges true
88   restart "on-failure"
89 end
90
91 service "renderd" do
92   action [:enable, :start]
93   subscribes :restart, "systemd_service[renderd]"
94 end
95
96 directory "/srv/tile.openstreetmap.org/tiles" do
97   owner "tile"
98   group "tile"
99   mode "755"
100 end
101
102 template "/etc/renderd.conf" do
103   source "renderd.conf.erb"
104   owner "root"
105   group "root"
106   mode "644"
107   notifies :reload, "service[apache2]"
108   notifies :restart, "service[renderd]"
109 end
110
111 remote_directory "/srv/tile.openstreetmap.org/html" do
112   source "html"
113   owner "tile"
114   group "tile"
115   mode "755"
116   files_owner "tile"
117   files_group "tile"
118   files_mode "644"
119 end
120
121 template "/srv/tile.openstreetmap.org/html/index.html" do
122   source "index.html.erb"
123   owner "tile"
124   group "tile"
125   mode "644"
126 end
127
128 package %w[
129   python3-cairo
130   python3-mapnik
131   python3-setuptools
132 ]
133
134 python_package "pyotp" do
135   python_version "3"
136 end
137
138 package %w[
139   fonts-noto-cjk
140   fonts-noto-hinted
141   fonts-noto-unhinted
142   fonts-hanazono
143   ttf-unifont
144 ]
145
146 ["NotoSansArabicUI-Regular.ttf", "NotoSansArabicUI-Bold.ttf"].each do |font|
147   remote_file "/usr/share/fonts/truetype/noto/#{font}" do
148     action :create_if_missing
149     source "https://github.com/googlei18n/noto-fonts/raw/master/hinted/#{font}"
150     owner "root"
151     group "root"
152     mode "644"
153   end
154 end
155
156 directory "/srv/tile.openstreetmap.org/cgi-bin" do
157   owner "tile"
158   group "tile"
159   mode "755"
160 end
161
162 template "/srv/tile.openstreetmap.org/cgi-bin/export" do
163   source "export.erb"
164   owner "tile"
165   group "tile"
166   mode "755"
167   variables :blocks => blocks, :totp_key => web_passwords["totp_key"]
168 end
169
170 template "/srv/tile.openstreetmap.org/cgi-bin/debug" do
171   source "debug.erb"
172   owner "tile"
173   group "tile"
174   mode "755"
175 end
176
177 template "/etc/cron.hourly/export" do
178   source "export.cron.erb"
179   owner "root"
180   group "root"
181   mode "755"
182 end
183
184 directory "/srv/tile.openstreetmap.org/data" do
185   owner "tile"
186   group "tile"
187   mode "755"
188 end
189
190 package "mapnik-utils"
191
192 node[:tile][:data].each_value do |data|
193   url = data[:url]
194   file = "/srv/tile.openstreetmap.org/data/#{File.basename(url)}"
195
196   if data[:directory]
197     directory = "/srv/tile.openstreetmap.org/data/#{data[:directory]}"
198
199     directory directory do
200       owner "tile"
201       group "tile"
202       mode "755"
203     end
204   else
205     directory = "/srv/tile.openstreetmap.org/data"
206   end
207
208   if file =~ /\.tgz$/
209     package "tar"
210
211     execute file do
212       action :nothing
213       command "tar -zxf #{file} -C #{directory}"
214       user "tile"
215       group "tile"
216     end
217   elsif file =~ /\.tar\.bz2$/
218     package "tar"
219
220     execute file do
221       action :nothing
222       command "tar -jxf #{file} -C #{directory}"
223       user "tile"
224       group "tile"
225     end
226   elsif file =~ /\.zip$/
227     package "unzip"
228
229     execute file do
230       action :nothing
231       command "unzip -qq -o #{file} -d #{directory}"
232       user "tile"
233       group "tile"
234     end
235   end
236
237   execute "#{file}_shapeindex" do
238     action :nothing
239     command "find #{directory} -type f -iname '*.shp' -print0 | xargs -0 --no-run-if-empty shapeindex --shape_files"
240     user "tile"
241     group "tile"
242     subscribes :run, "execute[#{file}]", :immediately
243   end
244
245   remote_file file do
246     if data[:refresh]
247       action :create
248       use_conditional_get true
249       ignore_failure true
250     else
251       action :create_if_missing
252     end
253
254     source url
255     owner "tile"
256     group "tile"
257     mode "644"
258     backup false
259     notifies :run, "execute[#{file}]", :immediately
260     notifies :restart, "service[renderd]"
261   end
262 end
263
264 nodejs_package "carto"
265
266 systemd_service "update-lowzoom@" do
267   description "Low zoom tile update service for %i layer"
268   user "tile"
269   exec_start "/bin/bash /usr/local/bin/update-lowzoom-%i"
270   private_tmp true
271   private_devices true
272   private_network true
273   protect_system "full"
274   protect_home true
275   no_new_privileges true
276   restart "on-failure"
277 end
278
279 directory "/srv/tile.openstreetmap.org/styles" do
280   owner "tile"
281   group "tile"
282   mode "755"
283 end
284
285 node[:tile][:styles].each do |name, details|
286   style_directory = "/srv/tile.openstreetmap.org/styles/#{name}"
287   tile_directory = "/srv/tile.openstreetmap.org/tiles/#{name}"
288
289   template "/usr/local/bin/update-lowzoom-#{name}" do
290     source "update-lowzoom.erb"
291     owner "root"
292     group "root"
293     mode "755"
294     variables :style => name
295   end
296
297   service "update-lowzoom@#{name}" do
298     action :disable
299     supports :restart => true
300   end
301
302   directory tile_directory do
303     owner "tile"
304     group "tile"
305     mode "755"
306   end
307
308   details[:tile_directories].each do |directory|
309     directory directory[:name] do
310       owner "www-data"
311       group "www-data"
312       mode "755"
313     end
314
315     directory[:min_zoom].upto(directory[:max_zoom]) do |zoom|
316       directory "#{directory[:name]}/#{zoom}" do
317         owner "www-data"
318         group "www-data"
319         mode "755"
320       end
321
322       link "#{tile_directory}/#{zoom}" do
323         to "#{directory[:name]}/#{zoom}"
324         owner "tile"
325         group "tile"
326       end
327     end
328   end
329
330   file "#{tile_directory}/planet-import-complete" do
331     action :create_if_missing
332     owner "tile"
333     group "tile"
334     mode "444"
335   end
336
337   git style_directory do
338     action :sync
339     repository details[:repository]
340     revision details[:revision]
341     user "tile"
342     group "tile"
343   end
344
345   link "#{style_directory}/data" do
346     to "/srv/tile.openstreetmap.org/data"
347     owner "tile"
348     group "tile"
349   end
350
351   execute "#{style_directory}/project.mml" do
352     action :nothing
353     command "carto -a 3.0.0 project.mml > project.xml"
354     cwd style_directory
355     user "tile"
356     group "tile"
357     subscribes :run, "git[#{style_directory}]"
358     notifies :restart, "service[renderd]", :immediately
359     notifies :restart, "service[update-lowzoom@#{name}]"
360   end
361 end
362
363 postgresql_version = node[:tile][:database][:cluster].split("/").first
364 postgis_version = node[:tile][:database][:postgis]
365
366 package "postgresql-#{postgresql_version}-postgis-#{postgis_version}"
367
368 postgresql_user "jburgess" do
369   cluster node[:tile][:database][:cluster]
370   superuser true
371 end
372
373 postgresql_user "tomh" do
374   cluster node[:tile][:database][:cluster]
375   superuser true
376 end
377
378 postgresql_user "tile" do
379   cluster node[:tile][:database][:cluster]
380 end
381
382 postgresql_user "www-data" do
383   cluster node[:tile][:database][:cluster]
384 end
385
386 postgresql_database "gis" do
387   cluster node[:tile][:database][:cluster]
388   owner "tile"
389 end
390
391 postgresql_extension "postgis" do
392   cluster node[:tile][:database][:cluster]
393   database "gis"
394 end
395
396 postgresql_extension "hstore" do
397   cluster node[:tile][:database][:cluster]
398   database "gis"
399   only_if { node[:tile][:database][:hstore] }
400 end
401
402 %w[geography_columns planet_osm_nodes planet_osm_rels planet_osm_ways raster_columns raster_overviews spatial_ref_sys].each do |table|
403   postgresql_table table do
404     cluster node[:tile][:database][:cluster]
405     database "gis"
406     owner "tile"
407     permissions "tile" => :all
408   end
409 end
410
411 %w[geometry_columns planet_osm_line planet_osm_point planet_osm_polygon planet_osm_roads].each do |table|
412   postgresql_table table do
413     cluster node[:tile][:database][:cluster]
414     database "gis"
415     owner "tile"
416     permissions "tile" => :all, "www-data" => :select
417   end
418 end
419
420 postgresql_munin "gis" do
421   cluster node[:tile][:database][:cluster]
422   database "gis"
423 end
424
425 directory File.dirname(node[:tile][:database][:node_file]) do
426   owner "root"
427   group "root"
428   mode "755"
429   recursive true
430 end
431
432 file node[:tile][:database][:node_file] do
433   owner "tile"
434   group "www-data"
435   mode "660"
436 end
437
438 directory "/var/log/tile" do
439   owner "tile"
440   group "tile"
441   mode "755"
442 end
443
444 package %w[
445   osm2pgsql
446   ruby
447   osmium-tool
448   pyosmium
449   python3-pyproj
450 ]
451
452 remote_directory "/usr/local/bin" do
453   source "bin"
454   owner "root"
455   group "root"
456   mode "755"
457   files_owner "root"
458   files_group "root"
459   files_mode "755"
460 end
461
462 template "/usr/local/bin/expire-tiles" do
463   source "expire-tiles.erb"
464   owner "root"
465   group "root"
466   mode "755"
467 end
468
469 directory "/var/lib/replicate" do
470   owner "tile"
471   group "tile"
472   mode "755"
473 end
474
475 directory "/var/lib/replicate/expire-queue" do
476   owner "tile"
477   group "www-data"
478   mode "775"
479 end
480
481 template "/usr/local/bin/replicate" do
482   source "replicate.erb"
483   owner "root"
484   group "root"
485   mode "755"
486   variables :postgresql_version => postgresql_version.to_f
487 end
488
489 systemd_service "expire-tiles" do
490   description "Tile dirtying service"
491   type "simple"
492   user "www-data"
493   exec_start "/usr/local/bin/expire-tiles"
494   standard_output "null"
495   private_tmp true
496   private_devices true
497   protect_system "full"
498   protect_home true
499   no_new_privileges true
500 end
501
502 systemd_path "expire-tiles" do
503   description "Tile dirtying trigger"
504   directory_not_empty "/var/lib/replicate/expire-queue"
505 end
506
507 service "expire-tiles.path" do
508   action [:enable, :start]
509   subscribes :restart, "systemd_path[expire-tiles]"
510 end
511
512 systemd_service "replicate" do
513   description "Rendering database replication service"
514   after "postgresql.service"
515   wants "postgresql.service"
516   user "tile"
517   exec_start "/usr/local/bin/replicate"
518   private_tmp true
519   private_devices true
520   protect_system "full"
521   protect_home true
522   no_new_privileges true
523   restart "on-failure"
524 end
525
526 service "replicate" do
527   action [:enable, :start]
528   subscribes :restart, "template[/usr/local/bin/replicate]"
529   subscribes :restart, "systemd_service[replicate]"
530 end
531
532 template "/etc/logrotate.d/replicate" do
533   source "replicate.logrotate.erb"
534   owner "root"
535   group "root"
536   mode "644"
537 end
538
539 template "/usr/local/bin/render-lowzoom" do
540   source "render-lowzoom.erb"
541   owner "root"
542   group "root"
543   mode "755"
544 end
545
546 systemd_service "render-lowzoom" do
547   description "Render low zoom tiles"
548   user "tile"
549   exec_start "/usr/local/bin/render-lowzoom"
550   private_tmp true
551   private_devices true
552   private_network true
553   protect_system "full"
554   protect_home true
555   no_new_privileges true
556 end
557
558 systemd_timer "render-lowzoom" do
559   description "Render low zoom tiles"
560   on_calendar "Sun *-*~07/1 01:00:00"
561 end
562
563 service "render-lowzoom.timer" do
564   action [:enable, :start]
565 end
566
567 package "liblockfile-simple-perl"
568 package "libfilesys-df-perl"
569
570 template "/usr/local/bin/cleanup-tiles" do
571   source "cleanup-tiles.erb"
572   owner "root"
573   group "root"
574   mode "755"
575 end
576
577 tile_directories = node[:tile][:styles].collect do |_, style|
578   style[:tile_directories].collect { |directory| directory[:name] }
579 end.flatten.sort.uniq
580
581 tile_directories.each do |directory|
582   label = directory.gsub("/", "-")
583
584   cron_d "cleanup-tiles#{label}" do
585     minute "0"
586     user "www-data"
587     command "ionice -c 3 /usr/local/bin/cleanup-tiles #{directory}"
588     mailto "admins@openstreetmap.org"
589   end
590 end
591
592 munin_plugin "mod_tile_fresh"
593 munin_plugin "mod_tile_latency"
594 munin_plugin "mod_tile_response"
595 munin_plugin "mod_tile_zoom"
596
597 munin_plugin "renderd_processed"
598 munin_plugin "renderd_queue"
599 munin_plugin "renderd_queue_time"
600 munin_plugin "renderd_zoom"
601 munin_plugin "renderd_zoom_time"
602
603 munin_plugin "replication_delay"