]> git.openstreetmap.org Git - chef.git/blob - cookbooks/tile/recipes/default.rb
Remove cleanup code
[chef.git] / cookbooks / tile / recipes / default.rb
1 #
2 # Cookbook:: tile
3 # Recipe:: default
4 #
5 # Copyright:: 2013, OpenStreetMap Foundation
6 #
7 # Licensed under the Apache License, Version 2.0 (the "License");
8 # you may not use this file except in compliance with the License.
9 # You may obtain a copy of the License at
10 #
11 #     https://www.apache.org/licenses/LICENSE-2.0
12 #
13 # Unless required by applicable law or agreed to in writing, software
14 # distributed under the License is distributed on an "AS IS" BASIS,
15 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
16 # See the License for the specific language governing permissions and
17 # limitations under the License.
18 #
19
20 include_recipe "accounts"
21 include_recipe "apache"
22 include_recipe "git"
23 include_recipe "munin"
24 include_recipe "nodejs"
25 include_recipe "postgresql"
26 include_recipe "prometheus"
27 include_recipe "python"
28 include_recipe "tools"
29
30 blocks = data_bag_item("tile", "blocks")
31 web_passwords = data_bag_item("web", "passwords")
32
33 apache_module "alias"
34 apache_module "cgi"
35 apache_module "expires"
36 apache_module "headers"
37 apache_module "remoteip"
38 apache_module "rewrite"
39
40 apache_module "tile" do
41   conf "tile.conf.erb"
42 end
43
44 ssl_certificate node[:fqdn] do
45   domains [node[:fqdn], "tile.openstreetmap.org", "render.openstreetmap.org"]
46   notifies :reload, "service[apache2]"
47 end
48
49 remote_file "#{Chef::Config[:file_cache_path]}/fastly-ip-list.json" do
50   source "https://api.fastly.com/public-ip-list"
51   compile_time true
52 end
53
54 tilecaches = search(:node, "roles:tilecache").sort_by { |n| n[:hostname] }
55 fastlyips = JSON.parse(IO.read("#{Chef::Config[:file_cache_path]}/fastly-ip-list.json"))
56
57 apache_site "default" do
58   action [:disable]
59 end
60
61 apache_site "tile.openstreetmap.org" do
62   template "apache.erb"
63   variables :caches => tilecaches, :fastly => fastlyips["addresses"]
64 end
65
66 template "/etc/logrotate.d/apache2" do
67   source "logrotate.apache.erb"
68   owner "root"
69   group "root"
70   mode "644"
71 end
72
73 directory "/srv/tile.openstreetmap.org" do
74   owner "tile"
75   group "tile"
76   mode "755"
77 end
78
79 package "renderd"
80
81 systemd_service "renderd" do
82   description "Mapnik rendering daemon"
83   after "postgresql.service"
84   wants "postgresql.service"
85   user "www-data"
86   exec_start "/usr/bin/renderd -f"
87   runtime_directory "renderd"
88   standard_error "null"
89   limit_nofile 4096
90   private_tmp true
91   private_devices true
92   private_network true
93   protect_system "full"
94   protect_home true
95   no_new_privileges true
96   restart "on-failure"
97 end
98
99 service "renderd" do
100   action [:enable, :start]
101   subscribes :restart, "systemd_service[renderd]"
102 end
103
104 directory "/srv/tile.openstreetmap.org/tiles" do
105   owner "tile"
106   group "tile"
107   mode "755"
108 end
109
110 template "/etc/renderd.conf" do
111   source "renderd.conf.erb"
112   owner "root"
113   group "root"
114   mode "644"
115   notifies :reload, "service[apache2]"
116   notifies :restart, "service[renderd]"
117 end
118
119 remote_directory "/srv/tile.openstreetmap.org/html" do
120   source "html"
121   owner "tile"
122   group "tile"
123   mode "755"
124   files_owner "tile"
125   files_group "tile"
126   files_mode "644"
127 end
128
129 template "/srv/tile.openstreetmap.org/html/index.html" do
130   source "index.html.erb"
131   owner "tile"
132   group "tile"
133   mode "644"
134 end
135
136 package %w[
137   python3-cairo
138   python3-mapnik
139   python3-setuptools
140 ]
141
142 python_package "pyotp" do
143   python_version "3"
144 end
145
146 package %w[
147   fonts-noto-cjk
148   fonts-noto-hinted
149   fonts-noto-unhinted
150   fonts-hanazono
151   ttf-unifont
152 ]
153
154 ["NotoSansArabicUI-Regular.ttf", "NotoSansArabicUI-Bold.ttf"].each do |font|
155   remote_file "/usr/share/fonts/truetype/noto/#{font}" do
156     action :create_if_missing
157     source "https://github.com/googlei18n/noto-fonts/raw/master/hinted/#{font}"
158     owner "root"
159     group "root"
160     mode "644"
161   end
162 end
163
164 directory "/srv/tile.openstreetmap.org/cgi-bin" do
165   owner "tile"
166   group "tile"
167   mode "755"
168 end
169
170 template "/srv/tile.openstreetmap.org/cgi-bin/export" do
171   source "export.erb"
172   owner "tile"
173   group "tile"
174   mode "755"
175   variables :blocks => blocks, :totp_key => web_passwords["totp_key"]
176 end
177
178 template "/srv/tile.openstreetmap.org/cgi-bin/debug" do
179   source "debug.erb"
180   owner "tile"
181   group "tile"
182   mode "755"
183 end
184
185 template "/etc/cron.hourly/export" do
186   source "export.cron.erb"
187   owner "root"
188   group "root"
189   mode "755"
190 end
191
192 directory "/srv/tile.openstreetmap.org/data" do
193   owner "tile"
194   group "tile"
195   mode "755"
196 end
197
198 package "mapnik-utils"
199
200 node[:tile][:data].each_value do |data|
201   url = data[:url]
202   file = "/srv/tile.openstreetmap.org/data/#{File.basename(url)}"
203
204   if data[:directory]
205     directory = "/srv/tile.openstreetmap.org/data/#{data[:directory]}"
206
207     directory directory do
208       owner "tile"
209       group "tile"
210       mode "755"
211     end
212   else
213     directory = "/srv/tile.openstreetmap.org/data"
214   end
215
216   if file =~ /\.tgz$/
217     package "tar"
218
219     execute file do
220       action :nothing
221       command "tar -zxf #{file} -C #{directory}"
222       user "tile"
223       group "tile"
224     end
225   elsif file =~ /\.tar\.bz2$/
226     package "tar"
227
228     execute file do
229       action :nothing
230       command "tar -jxf #{file} -C #{directory}"
231       user "tile"
232       group "tile"
233     end
234   elsif file =~ /\.zip$/
235     package "unzip"
236
237     execute file do
238       action :nothing
239       command "unzip -qq -o #{file} -d #{directory}"
240       user "tile"
241       group "tile"
242     end
243   end
244
245   execute "#{file}_shapeindex" do
246     action :nothing
247     command "find #{directory} -type f -iname '*.shp' -print0 | xargs -0 --no-run-if-empty shapeindex --shape_files"
248     user "tile"
249     group "tile"
250     subscribes :run, "execute[#{file}]", :immediately
251   end
252
253   remote_file file do
254     if data[:refresh]
255       action :create
256       use_conditional_get true
257       ignore_failure true
258     else
259       action :create_if_missing
260     end
261
262     source url
263     owner "tile"
264     group "tile"
265     mode "644"
266     backup false
267     notifies :run, "execute[#{file}]", :immediately
268     notifies :restart, "service[renderd]"
269   end
270 end
271
272 nodejs_package "carto"
273
274 systemd_service "update-lowzoom@" do
275   description "Low zoom tile update service for %i layer"
276   user "tile"
277   exec_start "/bin/bash /usr/local/bin/update-lowzoom-%i"
278   private_tmp true
279   private_devices true
280   private_network true
281   protect_system "full"
282   protect_home true
283   no_new_privileges true
284   restart "on-failure"
285 end
286
287 directory "/srv/tile.openstreetmap.org/styles" do
288   owner "tile"
289   group "tile"
290   mode "755"
291 end
292
293 node[:tile][:styles].each do |name, details|
294   style_directory = "/srv/tile.openstreetmap.org/styles/#{name}"
295   tile_directory = "/srv/tile.openstreetmap.org/tiles/#{name}"
296
297   template "/usr/local/bin/update-lowzoom-#{name}" do
298     source "update-lowzoom.erb"
299     owner "root"
300     group "root"
301     mode "755"
302     variables :style => name
303   end
304
305   service "update-lowzoom@#{name}" do
306     action :disable
307     supports :restart => true
308   end
309
310   directory tile_directory do
311     owner "tile"
312     group "tile"
313     mode "755"
314   end
315
316   details[:tile_directories].each do |directory|
317     directory directory[:name] do
318       owner "www-data"
319       group "www-data"
320       mode "755"
321     end
322
323     directory[:min_zoom].upto(directory[:max_zoom]) do |zoom|
324       directory "#{directory[:name]}/#{zoom}" do
325         owner "www-data"
326         group "www-data"
327         mode "755"
328       end
329
330       link "#{tile_directory}/#{zoom}" do
331         to "#{directory[:name]}/#{zoom}"
332         owner "tile"
333         group "tile"
334       end
335     end
336   end
337
338   file "#{tile_directory}/planet-import-complete" do
339     action :create_if_missing
340     owner "tile"
341     group "tile"
342     mode "444"
343   end
344
345   git style_directory do
346     action :sync
347     repository details[:repository]
348     revision details[:revision]
349     user "tile"
350     group "tile"
351   end
352
353   link "#{style_directory}/data" do
354     to "/srv/tile.openstreetmap.org/data"
355     owner "tile"
356     group "tile"
357   end
358
359   execute "#{style_directory}/project.mml" do
360     action :nothing
361     command "carto -a 3.0.0 project.mml > project.xml"
362     cwd style_directory
363     user "tile"
364     group "tile"
365     subscribes :run, "git[#{style_directory}]"
366     notifies :restart, "service[renderd]", :immediately
367     notifies :restart, "service[update-lowzoom@#{name}]"
368   end
369 end
370
371 postgresql_version = node[:tile][:database][:cluster].split("/").first
372 postgis_version = node[:tile][:database][:postgis]
373
374 package "postgresql-#{postgresql_version}-postgis-#{postgis_version}"
375
376 postgresql_user "jburgess" do
377   cluster node[:tile][:database][:cluster]
378   superuser true
379 end
380
381 postgresql_user "tomh" do
382   cluster node[:tile][:database][:cluster]
383   superuser true
384 end
385
386 postgresql_user "tile" do
387   cluster node[:tile][:database][:cluster]
388 end
389
390 postgresql_user "www-data" do
391   cluster node[:tile][:database][:cluster]
392 end
393
394 postgresql_database "gis" do
395   cluster node[:tile][:database][:cluster]
396   owner "tile"
397 end
398
399 postgresql_extension "postgis" do
400   cluster node[:tile][:database][:cluster]
401   database "gis"
402 end
403
404 postgresql_extension "hstore" do
405   cluster node[:tile][:database][:cluster]
406   database "gis"
407   only_if { node[:tile][:database][:hstore] }
408 end
409
410 %w[geography_columns planet_osm_nodes planet_osm_rels planet_osm_ways raster_columns raster_overviews spatial_ref_sys].each do |table|
411   postgresql_table table do
412     cluster node[:tile][:database][:cluster]
413     database "gis"
414     owner "tile"
415     permissions "tile" => :all
416   end
417 end
418
419 %w[geometry_columns planet_osm_line planet_osm_point planet_osm_polygon planet_osm_roads].each do |table|
420   postgresql_table table do
421     cluster node[:tile][:database][:cluster]
422     database "gis"
423     owner "tile"
424     permissions "tile" => :all, "www-data" => :select
425   end
426 end
427
428 postgresql_munin "gis" do
429   cluster node[:tile][:database][:cluster]
430   database "gis"
431 end
432
433 directory File.dirname(node[:tile][:database][:node_file]) do
434   owner "root"
435   group "root"
436   mode "755"
437   recursive true
438 end
439
440 file node[:tile][:database][:node_file] do
441   owner "tile"
442   group "www-data"
443   mode "660"
444 end
445
446 directory "/var/log/tile" do
447   owner "tile"
448   group "tile"
449   mode "755"
450 end
451
452 package %w[
453   osm2pgsql
454   ruby
455   osmium-tool
456   pyosmium
457   python3-pyproj
458 ]
459
460 remote_directory "/usr/local/bin" do
461   source "bin"
462   owner "root"
463   group "root"
464   mode "755"
465   files_owner "root"
466   files_group "root"
467   files_mode "755"
468 end
469
470 template "/usr/local/bin/expire-tiles" do
471   source "expire-tiles.erb"
472   owner "root"
473   group "root"
474   mode "755"
475 end
476
477 directory "/var/lib/replicate" do
478   owner "tile"
479   group "tile"
480   mode "755"
481 end
482
483 directory "/var/lib/replicate/expire-queue" do
484   owner "tile"
485   group "www-data"
486   mode "775"
487 end
488
489 template "/usr/local/bin/replicate" do
490   source "replicate.erb"
491   owner "root"
492   group "root"
493   mode "755"
494   variables :postgresql_version => postgresql_version.to_f
495 end
496
497 systemd_service "expire-tiles" do
498   description "Tile dirtying service"
499   type "simple"
500   user "www-data"
501   exec_start "/usr/local/bin/expire-tiles"
502   standard_output "null"
503   private_tmp true
504   private_devices true
505   protect_system "full"
506   protect_home true
507   no_new_privileges true
508 end
509
510 systemd_path "expire-tiles" do
511   description "Tile dirtying trigger"
512   directory_not_empty "/var/lib/replicate/expire-queue"
513 end
514
515 service "expire-tiles.path" do
516   action [:enable, :start]
517   subscribes :restart, "systemd_path[expire-tiles]"
518 end
519
520 systemd_service "replicate" do
521   description "Rendering database replication service"
522   after "postgresql.service"
523   wants "postgresql.service"
524   user "tile"
525   exec_start "/usr/local/bin/replicate"
526   private_tmp true
527   private_devices true
528   protect_system "full"
529   protect_home true
530   no_new_privileges true
531   restart "on-failure"
532 end
533
534 service "replicate" do
535   action [:enable, :start]
536   subscribes :restart, "template[/usr/local/bin/replicate]"
537   subscribes :restart, "systemd_service[replicate]"
538 end
539
540 template "/etc/logrotate.d/replicate" do
541   source "replicate.logrotate.erb"
542   owner "root"
543   group "root"
544   mode "644"
545 end
546
547 template "/usr/local/bin/render-lowzoom" do
548   source "render-lowzoom.erb"
549   owner "root"
550   group "root"
551   mode "755"
552 end
553
554 systemd_service "render-lowzoom" do
555   description "Render low zoom tiles"
556   user "tile"
557   exec_start "/usr/local/bin/render-lowzoom"
558   private_tmp true
559   private_devices true
560   private_network true
561   protect_system "full"
562   protect_home true
563   no_new_privileges true
564 end
565
566 systemd_timer "render-lowzoom" do
567   description "Render low zoom tiles"
568   on_calendar "Sun *-*~07/1 01:00:00"
569 end
570
571 service "render-lowzoom.timer" do
572   action [:enable, :start]
573 end
574
575 package "liblockfile-simple-perl"
576 package "libfilesys-df-perl"
577
578 template "/usr/local/bin/cleanup-tiles" do
579   source "cleanup-tiles.erb"
580   owner "root"
581   group "root"
582   mode "755"
583 end
584
585 tile_directories = node[:tile][:styles].collect do |_, style|
586   style[:tile_directories].collect { |directory| directory[:name] }
587 end.flatten.sort.uniq
588
589 tile_directories.each do |directory|
590   label = directory.gsub("/", "-")
591
592   cron_d "cleanup-tiles#{label}" do
593     minute "0"
594     user "www-data"
595     command "ionice -c 3 /usr/local/bin/cleanup-tiles #{directory}"
596     mailto "admins@openstreetmap.org"
597   end
598 end
599
600 munin_plugin "mod_tile_fresh"
601 munin_plugin "mod_tile_latency"
602 munin_plugin "mod_tile_response"
603 munin_plugin "mod_tile_zoom"
604
605 munin_plugin "renderd_processed"
606 munin_plugin "renderd_queue"
607 munin_plugin "renderd_queue_time"
608 munin_plugin "renderd_zoom"
609 munin_plugin "renderd_zoom_time"
610
611 munin_plugin "replication_delay"
612
613 prometheus_exporter "modtile" do
614   port 9494
615 end
616
617 prometheus_exporter "renderd" do
618   port 9393
619 end