cookbooks/tile/recipes/default.rb

   1 #
   2 # Cookbook:: tile
   3 # Recipe:: default
   4 #
   5 # Copyright:: 2013, OpenStreetMap Foundation
   6 #
   7 # Licensed under the Apache License, Version 2.0 (the "License");
   8 # you may not use this file except in compliance with the License.
   9 # You may obtain a copy of the License at
  10 #
  11 #     https://www.apache.org/licenses/LICENSE-2.0
  12 #
  13 # Unless required by applicable law or agreed to in writing, software
  14 # distributed under the License is distributed on an "AS IS" BASIS,
  15 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  16 # See the License for the specific language governing permissions and
  17 # limitations under the License.
  18 #
  19
  20 include_recipe "accounts"
  21 include_recipe "apache"
  22 include_recipe "git"
  23 include_recipe "munin"
  24 include_recipe "nodejs"
  25 include_recipe "postgresql"
  26 include_recipe "prometheus"
  27 include_recipe "python"
  28 include_recipe "ruby"
  29 include_recipe "tools"
  30
  31 blocks = data_bag_item("tile", "blocks")
  32 admins = data_bag_item("apache", "admins")
  33 web_passwords = data_bag_item("web", "passwords")
  34
  35 apache_module "alias"
  36 apache_module "cgi"
  37 apache_module "expires"
  38 apache_module "headers"
  39 apache_module "remoteip"
  40 apache_module "rewrite"
  41
  42 apache_module "tile" do
  43   conf "tile.conf.erb"
  44 end
  45
  46 apache_conf "renderd" do
  47   action :disable
  48 end
  49
  50 ssl_certificate node[:fqdn] do
  51   domains [node[:fqdn], "tile.openstreetmap.org", "render.openstreetmap.org"]
  52   notifies :reload, "service[apache2]"
  53 end
  54
  55 remote_file "#{Chef::Config[:file_cache_path]}/fastly-ip-list.json" do
  56   source "https://api.fastly.com/public-ip-list"
  57   compile_time true
  58   ignore_failure true
  59 end
  60
  61 fastlyips = JSON.parse(IO.read("#{Chef::Config[:file_cache_path]}/fastly-ip-list.json"))
  62
  63 remote_file "#{Chef::Config[:file_cache_path]}/statuscake-locations.json" do
  64   source "https://app.statuscake.com/Workfloor/Locations.php?format=json"
  65   compile_time true
  66   ignore_failure true
  67 end
  68
  69 statuscakelocations = JSON.parse(IO.read("#{Chef::Config[:file_cache_path]}/statuscake-locations.json"))
  70
  71 apache_site "default" do
  72   action :disable
  73 end
  74
  75 apache_site "tileserver_site" do
  76   action :disable
  77 end
  78
  79 apache_site "tile.openstreetmap.org" do
  80   template "apache.erb"
  81   variables :fastly => fastlyips["addresses"] + fastlyips["ipv6_addresses"],
  82             :statuscake => statuscakelocations.flat_map { |_, v| [v["ip"], v["ipv6"]] },
  83             :admins => admins["hosts"]
  84 end
  85
  86 template "/etc/logrotate.d/apache2" do
  87   source "logrotate.apache.erb"
  88   owner "root"
  89   group "root"
  90   mode "644"
  91 end
  92
  93 directory "/srv/tile.openstreetmap.org" do
  94   owner "tile"
  95   group "tile"
  96   mode "755"
  97 end
  98
  99 # Old directory for IP rate limiting, now on the CDN
 100 directory "/srv/tile.openstreetmap.org/conf" do
 101   action :delete
 102   recursive true
 103 end
 104
 105 tile_directories = node[:tile][:styles].collect do |_, style|
 106   style[:tile_directories].collect { |directory| directory[:name] }
 107 end.flatten.sort.uniq
 108
 109 package "renderd"
 110
 111 systemd_service "renderd" do
 112   dropin "chef"
 113   after "postgresql.service"
 114   wants "postgresql.service"
 115   limit_nofile 4096
 116   sandbox true
 117   restrict_address_families "AF_UNIX"
 118   read_write_paths tile_directories
 119   restart "on-failure"
 120 end
 121
 122 service "renderd" do
 123   action [:enable, :start]
 124   subscribes :restart, "systemd_service[renderd]"
 125 end
 126
 127 directory "/srv/tile.openstreetmap.org/tiles" do
 128   owner "tile"
 129   group "tile"
 130   mode "755"
 131 end
 132
 133 template "/etc/renderd.conf" do
 134   source "renderd.conf.erb"
 135   owner "root"
 136   group "root"
 137   mode "644"
 138   notifies :reload, "service[apache2]"
 139   notifies :restart, "service[renderd]"
 140 end
 141
 142 remote_directory "/srv/tile.openstreetmap.org/html" do
 143   source "html"
 144   owner "tile"
 145   group "tile"
 146   mode "755"
 147   files_owner "tile"
 148   files_group "tile"
 149   files_mode "644"
 150 end
 151
 152 template "/srv/tile.openstreetmap.org/html/index.html" do
 153   source "index.html.erb"
 154   owner "tile"
 155   group "tile"
 156   mode "644"
 157 end
 158
 159 package %w[
 160   python3-cairo
 161   python3-mapnik
 162   python3-pyproj
 163   python3-setuptools
 164 ]
 165
 166 python_package "pyotp" do
 167   python_version "3"
 168 end
 169
 170 directory "/srv/tile.openstreetmap.org/cgi-bin" do
 171   owner "tile"
 172   group "tile"
 173   mode "755"
 174 end
 175
 176 template "/srv/tile.openstreetmap.org/cgi-bin/export" do
 177   source "export.erb"
 178   owner "tile"
 179   group "tile"
 180   mode "755"
 181   variables :blocks => blocks, :totp_key => web_passwords["totp_key"]
 182 end
 183
 184 template "/srv/tile.openstreetmap.org/cgi-bin/debug" do
 185   source "debug.erb"
 186   owner "tile"
 187   group "tile"
 188   mode "755"
 189 end
 190
 191 systemd_service "export-cleanup" do
 192   description "Cleanup stale export temporary files"
 193   joins_namespace_of "apache2.service"
 194   exec_start "find /tmp -ignore_readdir_race -name 'export??????' -mmin +60 -delete"
 195   user "www-data"
 196   sandbox true
 197 end
 198
 199 systemd_timer "export-cleanup" do
 200   description "Cleanup stale export temporary files"
 201   on_boot_sec "60m"
 202   on_unit_inactive_sec "60m"
 203 end
 204
 205 service "export-cleanup.timer" do
 206   action [:enable, :start]
 207 end
 208
 209 directory "/srv/tile.openstreetmap.org/data" do
 210   owner "tile"
 211   group "tile"
 212   mode "755"
 213 end
 214
 215 package %w[
 216   mapnik-utils
 217   tar
 218   unzip
 219 ]
 220
 221 node[:tile][:data].each_value do |data|
 222   url = data[:url]
 223   file = "/srv/tile.openstreetmap.org/data/#{File.basename(url)}"
 224
 225   if data[:directory]
 226     directory = "/srv/tile.openstreetmap.org/data/#{data[:directory]}"
 227
 228     directory directory do
 229       owner "tile"
 230       group "tile"
 231       mode "755"
 232     end
 233   else
 234     directory = "/srv/tile.openstreetmap.org/data"
 235   end
 236
 237   if file =~ /\.tgz$/
 238     execute file do
 239       action :nothing
 240       command "tar -zxf #{file} -C #{directory}"
 241       user "tile"
 242       group "tile"
 243     end
 244   elsif file =~ /\.tar\.bz2$/
 245     execute file do
 246       action :nothing
 247       command "tar -jxf #{file} -C #{directory}"
 248       user "tile"
 249       group "tile"
 250     end
 251   elsif file =~ /\.zip$/
 252     execute file do
 253       action :nothing
 254       command "unzip -qq -o #{file} -d #{directory}"
 255       user "tile"
 256       group "tile"
 257     end
 258   end
 259
 260   execute "#{file}_shapeindex" do
 261     action :nothing
 262     command "find #{directory} -type f -iname '*.shp' -print0 | xargs -0 --no-run-if-empty shapeindex --shape_files"
 263     user "tile"
 264     group "tile"
 265     subscribes :run, "execute[#{file}]", :immediately
 266   end
 267
 268   remote_file file do
 269     if data[:refresh]
 270       action :create
 271       use_conditional_get true
 272       ignore_failure true
 273     else
 274       action :create_if_missing
 275     end
 276
 277     source url
 278     owner "tile"
 279     group "tile"
 280     mode "644"
 281     backup false
 282     notifies :run, "execute[#{file}]", :immediately
 283     notifies :restart, "service[renderd]"
 284   end
 285 end
 286
 287 nodejs_package "carto"
 288
 289 systemd_service "update-lowzoom@" do
 290   description "Low zoom tile update service for %i layer"
 291   user "tile"
 292   exec_start_pre "+/bin/systemctl stop render-lowzoom.service"
 293   exec_start "/bin/bash /usr/local/bin/update-lowzoom-%i"
 294   runtime_directory "update-lowzoom-%i"
 295   sandbox true
 296   restrict_address_families "AF_UNIX"
 297   read_write_paths [
 298     "/srv/tile.openstreetmap.org/tiles/%i",
 299     "/var/log/tile"
 300   ]
 301   restart "on-failure"
 302 end
 303
 304 directory "/srv/tile.openstreetmap.org/styles" do
 305   owner "tile"
 306   group "tile"
 307   mode "755"
 308 end
 309
 310 node[:tile][:styles].each do |name, details|
 311   style_directory = "/srv/tile.openstreetmap.org/styles/#{name}"
 312   tile_directory = "/srv/tile.openstreetmap.org/tiles/#{name}"
 313
 314   template "/usr/local/bin/update-lowzoom-#{name}" do
 315     source "update-lowzoom.erb"
 316     owner "root"
 317     group "root"
 318     mode "755"
 319     variables :style => name
 320   end
 321
 322   service "update-lowzoom@#{name}" do
 323     action :disable
 324     supports :restart => true
 325   end
 326
 327   directory tile_directory do
 328     owner "tile"
 329     group "tile"
 330     mode "755"
 331   end
 332
 333   details[:tile_directories].each do |directory|
 334     directory directory[:name] do
 335       owner "_renderd"
 336       group "_renderd"
 337       mode "755"
 338     end
 339
 340     directory[:min_zoom].upto(directory[:max_zoom]) do |zoom|
 341       directory "#{directory[:name]}/#{zoom}" do
 342         owner "_renderd"
 343         group "_renderd"
 344         mode "755"
 345       end
 346
 347       link "#{tile_directory}/#{zoom}" do
 348         to "#{directory[:name]}/#{zoom}"
 349         owner "tile"
 350         group "tile"
 351       end
 352     end
 353   end
 354
 355   file "#{tile_directory}/planet-import-complete" do
 356     action :create_if_missing
 357     owner "tile"
 358     group "tile"
 359     mode "444"
 360   end
 361
 362   git style_directory do
 363     action :sync
 364     repository details[:repository]
 365     revision details[:revision]
 366     user "tile"
 367     group "tile"
 368   end
 369
 370   link "#{style_directory}/data" do
 371     to "/srv/tile.openstreetmap.org/data"
 372     owner "tile"
 373     group "tile"
 374   end
 375
 376   if details[:fonts_script]
 377     execute details[:fonts_script] do
 378       action :nothing
 379       command details[:fonts_script]
 380       cwd style_directory
 381       user "tile"
 382       group "tile"
 383       subscribes :run, "git[#{style_directory}]"
 384     end
 385   end
 386
 387   execute "#{style_directory}/project.mml" do
 388     action :nothing
 389     command "carto -a 3.0.22 project.mml > project.xml"
 390     cwd style_directory
 391     user "tile"
 392     group "tile"
 393     subscribes :run, "git[#{style_directory}]"
 394     notifies :restart, "service[renderd]", :immediately
 395     notifies :restart, "service[update-lowzoom@#{name}]"
 396   end
 397 end
 398
 399 postgresql_version = node[:tile][:database][:cluster].split("/").first
 400 postgis_version = node[:tile][:database][:postgis]
 401
 402 package "postgresql-#{postgresql_version}-postgis-#{postgis_version}"
 403
 404 postgresql_user "jburgess" do
 405   cluster node[:tile][:database][:cluster]
 406   superuser true
 407 end
 408
 409 postgresql_user "tomh" do
 410   cluster node[:tile][:database][:cluster]
 411   superuser true
 412 end
 413
 414 postgresql_user "pnorman" do
 415   cluster node[:tile][:database][:cluster]
 416   superuser true
 417 end
 418
 419 postgresql_user "tile" do
 420   cluster node[:tile][:database][:cluster]
 421 end
 422
 423 postgresql_user "www-data" do
 424   cluster node[:tile][:database][:cluster]
 425 end
 426
 427 postgresql_user "_renderd" do
 428   cluster node[:tile][:database][:cluster]
 429 end
 430
 431 postgresql_database "gis" do
 432   cluster node[:tile][:database][:cluster]
 433   owner "tile"
 434 end
 435
 436 postgresql_extension "postgis" do
 437   cluster node[:tile][:database][:cluster]
 438   database "gis"
 439 end
 440
 441 postgresql_extension "hstore" do
 442   cluster node[:tile][:database][:cluster]
 443   database "gis"
 444   only_if { node[:tile][:database][:hstore] }
 445 end
 446
 447 %w[geography_columns planet_osm_nodes planet_osm_rels planet_osm_ways raster_columns raster_overviews].each do |table|
 448   postgresql_table table do
 449     cluster node[:tile][:database][:cluster]
 450     database "gis"
 451     owner "tile"
 452     permissions "tile" => :all
 453   end
 454 end
 455
 456 %w[geometry_columns planet_osm_line planet_osm_point planet_osm_polygon planet_osm_roads spatial_ref_sys].each do |table|
 457   postgresql_table table do
 458     cluster node[:tile][:database][:cluster]
 459     database "gis"
 460     owner "tile"
 461     permissions "tile" => :all, "www-data" => :select, "_renderd" => :select
 462   end
 463 end
 464
 465 package %w[
 466   gdal-bin
 467   python3-yaml
 468   python3-psycopg2
 469 ]
 470
 471 if node[:tile][:database][:external_data_script]
 472   execute node[:tile][:database][:external_data_script] do
 473     command "#{node[:tile][:database][:external_data_script]} -R _renderd"
 474     cwd "/srv/tile.openstreetmap.org"
 475     user "tile"
 476     group "tile"
 477     ignore_failure true
 478   end
 479
 480   Array(node[:tile][:database][:external_data_tables]).each do |table|
 481     postgresql_table table do
 482       cluster node[:tile][:database][:cluster]
 483       database "gis"
 484       owner "tile"
 485       permissions "tile" => :all, "www-data" => :select, "_renderd" => :select
 486     end
 487   end
 488 end
 489
 490 postgresql_munin "gis" do
 491   cluster node[:tile][:database][:cluster]
 492   database "gis"
 493 end
 494
 495 directory File.dirname(node[:tile][:database][:node_file]) do
 496   owner "root"
 497   group "root"
 498   mode "755"
 499   recursive true
 500 end
 501
 502 file node[:tile][:database][:node_file] do
 503   owner "tile"
 504   group "_renderd"
 505   mode "660"
 506 end
 507
 508 directory "/var/log/tile" do
 509   owner "tile"
 510   group "tile"
 511   mode "755"
 512 end
 513
 514 package %w[
 515   osm2pgsql
 516   osmium-tool
 517   pyosmium
 518   python3-pyproj
 519 ]
 520
 521 remote_directory "/usr/local/bin" do
 522   source "bin"
 523   owner "root"
 524   group "root"
 525   mode "755"
 526   files_owner "root"
 527   files_group "root"
 528   files_mode "755"
 529 end
 530
 531 file "/usr/local/bin/tile-ratelimit" do
 532   action :delete
 533 end
 534
 535 service "tile-ratelimit" do
 536   action [:stop, :disable]
 537 end
 538
 539 systemd_service "tile-ratelimit" do
 540   action :delete
 541 end
 542
 543 template "/usr/local/bin/expire-tiles" do
 544   source "expire-tiles.erb"
 545   owner "root"
 546   group "root"
 547   mode "755"
 548 end
 549
 550 directory "/var/lib/replicate" do
 551   owner "tile"
 552   group "tile"
 553   mode "755"
 554 end
 555
 556 directory "/var/lib/replicate/expire-queue" do
 557   owner "tile"
 558   group "_renderd"
 559   mode "775"
 560 end
 561
 562 template "/usr/local/bin/replicate" do
 563   source "replicate.erb"
 564   owner "root"
 565   group "root"
 566   mode "755"
 567   variables :postgresql_version => postgresql_version.to_f
 568 end
 569
 570 systemd_service "expire-tiles" do
 571   description "Tile dirtying service"
 572   type "simple"
 573   user "_renderd"
 574   exec_start "/usr/local/bin/expire-tiles"
 575   nice 10
 576   standard_output "null"
 577   sandbox true
 578   read_write_paths tile_directories + [
 579     "/store/database/nodes",
 580     "/var/lib/replicate/expire-queue",
 581     "/var/log/tile"
 582   ]
 583 end
 584
 585 systemd_path "expire-tiles" do
 586   description "Tile dirtying trigger"
 587   directory_not_empty "/var/lib/replicate/expire-queue"
 588 end
 589
 590 service "expire-tiles.path" do
 591   action [:enable, :start]
 592   subscribes :restart, "systemd_path[expire-tiles]"
 593 end
 594
 595 systemd_service "replicate" do
 596   description "Rendering database replication service"
 597   after "postgresql.service"
 598   wants "postgresql.service"
 599   user "tile"
 600   exec_start "/usr/local/bin/replicate"
 601   sandbox :enable_network => true
 602   restrict_address_families "AF_UNIX"
 603   read_write_paths [
 604     "/store/database/nodes",
 605     "/var/lib/replicate",
 606     "/var/log/tile"
 607   ]
 608   restart "on-failure"
 609 end
 610
 611 service "replicate" do
 612   action [:enable, :start]
 613   subscribes :restart, "template[/usr/local/bin/replicate]"
 614   subscribes :restart, "systemd_service[replicate]"
 615 end
 616
 617 # FIXME: cleanup old replicate logrotate
 618 file "/etc/logrotate.d/replicate" do
 619   action :delete
 620 end
 621
 622 template "/usr/local/bin/render-lowzoom" do
 623   source "render-lowzoom.erb"
 624   owner "root"
 625   group "root"
 626   mode "755"
 627 end
 628
 629 systemd_service "render-lowzoom" do
 630   description "Render low zoom tiles"
 631   condition_path_exists_glob "!/run/update-lowzoom-*"
 632   user "tile"
 633   exec_start "/usr/local/bin/render-lowzoom"
 634   sandbox true
 635   restrict_address_families "AF_UNIX"
 636   read_write_paths "/var/log/tile"
 637 end
 638
 639 systemd_timer "render-lowzoom" do
 640   description "Render low zoom tiles"
 641   on_calendar "Fri *-*-* 23:00:00 UTC"
 642 end
 643
 644 service "render-lowzoom.timer" do
 645   action [:enable, :start]
 646 end
 647
 648 package "liblockfile-simple-perl"
 649 package "libfilesys-df-perl"
 650
 651 template "/usr/local/bin/cleanup-tiles" do
 652   source "cleanup-tiles.erb"
 653   owner "root"
 654   group "root"
 655   mode "755"
 656 end
 657
 658 systemd_service "cleanup-tiles@" do
 659   description "Cleanup old tiles for /%I"
 660   exec_start "/usr/local/bin/cleanup-tiles /%I"
 661   user "_renderd"
 662   io_scheduling_class "idle"
 663   sandbox true
 664   read_write_paths "/%I"
 665 end
 666
 667 systemd_timer "cleanup-tiles@" do
 668   description "Cleanup old tiles for /%I"
 669   on_boot_sec "30m"
 670   on_unit_inactive_sec "60m"
 671   randomized_delay_sec "10m"
 672 end
 673
 674 tile_directories.each do |directory|
 675   label = directory[1..].gsub("/", "-")
 676
 677   service "cleanup-tiles@#{label}.timer" do
 678     action [:enable, :start]
 679   end
 680 end
 681
 682 munin_plugin "mod_tile_fresh"
 683 munin_plugin "mod_tile_latency"
 684 munin_plugin "mod_tile_response"
 685 munin_plugin "mod_tile_zoom"
 686
 687 munin_plugin "renderd_processed"
 688 munin_plugin "renderd_queue"
 689 munin_plugin "renderd_queue_time"
 690 munin_plugin "renderd_zoom"
 691 munin_plugin "renderd_zoom_time"
 692
 693 munin_plugin "replication_delay"
 694
 695 package "ruby-webrick"
 696
 697 prometheus_exporter "modtile" do
 698   port 9494
 699 end
 700
 701 prometheus_exporter "renderd" do
 702   port 9393
 703 end