cookbooks/tile/recipes/default.rb

   1 #
   2 # Cookbook:: tile
   3 # Recipe:: default
   4 #
   5 # Copyright:: 2013, OpenStreetMap Foundation
   6 #
   7 # Licensed under the Apache License, Version 2.0 (the "License");
   8 # you may not use this file except in compliance with the License.
   9 # You may obtain a copy of the License at
  10 #
  11 #     https://www.apache.org/licenses/LICENSE-2.0
  12 #
  13 # Unless required by applicable law or agreed to in writing, software
  14 # distributed under the License is distributed on an "AS IS" BASIS,
  15 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  16 # See the License for the specific language governing permissions and
  17 # limitations under the License.
  18 #
  19
  20 include_recipe "accounts"
  21 include_recipe "apache"
  22 include_recipe "git"
  23 include_recipe "munin"
  24 include_recipe "nodejs"
  25 include_recipe "postgresql"
  26 include_recipe "python"
  27 include_recipe "tools"
  28
  29 blocks = data_bag_item("tile", "blocks")
  30 web_passwords = data_bag_item("web", "passwords")
  31
  32 apache_module "alias"
  33 apache_module "cgi"
  34 apache_module "expires"
  35 apache_module "headers"
  36 apache_module "remoteip"
  37 apache_module "rewrite"
  38
  39 apache_module "tile" do
  40   conf "tile.conf.erb"
  41 end
  42
  43 ssl_certificate node[:fqdn] do
  44   domains [node[:fqdn], "tile.openstreetmap.org", "render.openstreetmap.org"]
  45   notifies :reload, "service[apache2]"
  46 end
  47
  48 tilecaches = search(:node, "roles:tilecache").sort_by { |n| n[:hostname] }
  49
  50 apache_site "default" do
  51   action [:disable]
  52 end
  53
  54 apache_site "tile.openstreetmap.org" do
  55   template "apache.erb"
  56   variables :caches => tilecaches
  57 end
  58
  59 template "/etc/logrotate.d/apache2" do
  60   source "logrotate.apache.erb"
  61   owner "root"
  62   group "root"
  63   mode 0o644
  64 end
  65
  66 directory "/srv/tile.openstreetmap.org" do
  67   owner "tile"
  68   group "tile"
  69   mode 0o755
  70 end
  71
  72 package "renderd"
  73
  74 systemd_service "renderd" do
  75   description "Mapnik rendering daemon"
  76   after "postgresql.service"
  77   wants "postgresql.service"
  78   user "www-data"
  79   exec_start "/usr/bin/renderd -f"
  80   runtime_directory "renderd"
  81   standard_error "null"
  82   private_tmp true
  83   private_devices true
  84   private_network true
  85   protect_system "full"
  86   protect_home true
  87   no_new_privileges true
  88   restart "on-failure"
  89 end
  90
  91 service "renderd" do
  92   action [:enable, :start]
  93   subscribes :restart, "systemd_service[renderd]"
  94 end
  95
  96 directory "/srv/tile.openstreetmap.org/tiles" do
  97   owner "tile"
  98   group "tile"
  99   mode 0o755
 100 end
 101
 102 template "/etc/renderd.conf" do
 103   source "renderd.conf.erb"
 104   owner "root"
 105   group "root"
 106   mode 0o644
 107   notifies :reload, "service[apache2]"
 108   notifies :restart, "service[renderd]"
 109 end
 110
 111 remote_directory "/srv/tile.openstreetmap.org/html" do
 112   source "html"
 113   owner "tile"
 114   group "tile"
 115   mode 0o755
 116   files_owner "tile"
 117   files_group "tile"
 118   files_mode 0o644
 119 end
 120
 121 template "/srv/tile.openstreetmap.org/html/index.html" do
 122   source "index.html.erb"
 123   owner "tile"
 124   group "tile"
 125   mode 0o644
 126 end
 127
 128 package %w[
 129   python3-cairo
 130   python3-mapnik
 131   python3-setuptools
 132 ]
 133
 134 python_package "pyotp" do
 135   python_version "3"
 136 end
 137
 138 package %w[
 139   fonts-noto-cjk
 140   fonts-noto-hinted
 141   fonts-noto-unhinted
 142   fonts-hanazono
 143   ttf-unifont
 144 ]
 145
 146 ["NotoSansArabicUI-Regular.ttf", "NotoSansArabicUI-Bold.ttf"].each do |font|
 147   remote_file "/usr/share/fonts/truetype/noto/#{font}" do
 148     action :create_if_missing
 149     source "https://github.com/googlei18n/noto-fonts/raw/master/hinted/#{font}"
 150     owner "root"
 151     group "root"
 152     mode 0o644
 153   end
 154 end
 155
 156 directory "/srv/tile.openstreetmap.org/cgi-bin" do
 157   owner "tile"
 158   group "tile"
 159   mode 0o755
 160 end
 161
 162 template "/srv/tile.openstreetmap.org/cgi-bin/export" do
 163   source "export.erb"
 164   owner "tile"
 165   group "tile"
 166   mode 0o755
 167   variables :blocks => blocks, :totp_key => web_passwords["totp_key"]
 168 end
 169
 170 template "/srv/tile.openstreetmap.org/cgi-bin/debug" do
 171   source "debug.erb"
 172   owner "tile"
 173   group "tile"
 174   mode 0o755
 175 end
 176
 177 template "/etc/cron.hourly/export" do
 178   source "export.cron.erb"
 179   owner "root"
 180   group "root"
 181   mode 0o755
 182 end
 183
 184 directory "/srv/tile.openstreetmap.org/data" do
 185   owner "tile"
 186   group "tile"
 187   mode 0o755
 188 end
 189
 190 package "mapnik-utils"
 191
 192 node[:tile][:data].each_value do |data|
 193   url = data[:url]
 194   file = "/srv/tile.openstreetmap.org/data/#{File.basename(url)}"
 195
 196   if data[:directory]
 197     directory = "/srv/tile.openstreetmap.org/data/#{data[:directory]}"
 198
 199     directory directory do
 200       owner "tile"
 201       group "tile"
 202       mode 0o755
 203     end
 204   else
 205     directory = "/srv/tile.openstreetmap.org/data"
 206   end
 207
 208   if file =~ /\.tgz$/
 209     package "tar"
 210
 211     execute file do
 212       action :nothing
 213       command "tar -zxf #{file} -C #{directory}"
 214       user "tile"
 215       group "tile"
 216     end
 217   elsif file =~ /\.tar\.bz2$/
 218     package "tar"
 219
 220     execute file do
 221       action :nothing
 222       command "tar -jxf #{file} -C #{directory}"
 223       user "tile"
 224       group "tile"
 225     end
 226   elsif file =~ /\.zip$/
 227     package "unzip"
 228
 229     execute file do
 230       action :nothing
 231       command "unzip -qq -o #{file} -d #{directory}"
 232       user "tile"
 233       group "tile"
 234     end
 235   end
 236
 237   execute "#{file}_shapeindex" do
 238     action :nothing
 239     command "find #{directory} -type f -iname '*.shp' -print0 | xargs -0 --no-run-if-empty shapeindex --shape_files"
 240     user "tile"
 241     group "tile"
 242     subscribes :run, "execute[#{file}]", :immediately
 243   end
 244
 245   remote_file file do
 246     if data[:refresh]
 247       action :create
 248       use_conditional_get true
 249       ignore_failure true
 250     else
 251       action :create_if_missing
 252     end
 253
 254     source url
 255     owner "tile"
 256     group "tile"
 257     mode 0o644
 258     backup false
 259     notifies :run, "execute[#{file}]", :immediately
 260     notifies :restart, "service[renderd]"
 261   end
 262 end
 263
 264 nodejs_package "carto"
 265 nodejs_package "millstone"
 266
 267 systemd_service "update-lowzoom@" do
 268   description "Low zoom tile update service for %i layer"
 269   user "tile"
 270   exec_start "/bin/bash /usr/local/bin/update-lowzoom-%i"
 271   private_tmp true
 272   private_devices true
 273   private_network true
 274   protect_system "full"
 275   protect_home true
 276   no_new_privileges true
 277   restart "on-failure"
 278 end
 279
 280 directory "/srv/tile.openstreetmap.org/styles" do
 281   owner "tile"
 282   group "tile"
 283   mode 0o755
 284 end
 285
 286 node[:tile][:styles].each do |name, details|
 287   style_directory = "/srv/tile.openstreetmap.org/styles/#{name}"
 288   tile_directory = "/srv/tile.openstreetmap.org/tiles/#{name}"
 289
 290   template "/usr/local/bin/update-lowzoom-#{name}" do
 291     source "update-lowzoom.erb"
 292     owner "root"
 293     group "root"
 294     mode 0o755
 295     variables :style => name
 296   end
 297
 298   service "update-lowzoom@#{name}" do
 299     action :disable
 300     supports :restart => true
 301   end
 302
 303   directory tile_directory do
 304     owner "tile"
 305     group "tile"
 306     mode 0o755
 307   end
 308
 309   details[:tile_directories].each do |directory|
 310     directory directory[:name] do
 311       owner "www-data"
 312       group "www-data"
 313       mode 0o755
 314     end
 315
 316     directory[:min_zoom].upto(directory[:max_zoom]) do |zoom|
 317       directory "#{directory[:name]}/#{zoom}" do
 318         owner "www-data"
 319         group "www-data"
 320         mode 0o755
 321       end
 322
 323       link "#{tile_directory}/#{zoom}" do
 324         to "#{directory[:name]}/#{zoom}"
 325         owner "tile"
 326         group "tile"
 327       end
 328     end
 329   end
 330
 331   file "#{tile_directory}/planet-import-complete" do
 332     action :create_if_missing
 333     owner "tile"
 334     group "tile"
 335     mode 0o444
 336   end
 337
 338   git style_directory do
 339     action :sync
 340     repository details[:repository]
 341     revision details[:revision]
 342     user "tile"
 343     group "tile"
 344   end
 345
 346   link "#{style_directory}/data" do
 347     to "/srv/tile.openstreetmap.org/data"
 348     owner "tile"
 349     group "tile"
 350   end
 351
 352   execute "#{style_directory}/project.mml" do
 353     action :nothing
 354     command "carto -a 3.0.0 project.mml > project.xml"
 355     cwd style_directory
 356     user "tile"
 357     group "tile"
 358     subscribes :run, "git[#{style_directory}]"
 359     notifies :restart, "service[renderd]", :immediately
 360     notifies :restart, "service[update-lowzoom@#{name}]"
 361   end
 362 end
 363
 364 postgresql_version = node[:tile][:database][:cluster].split("/").first
 365 postgis_version = node[:tile][:database][:postgis]
 366
 367 package "postgresql-#{postgresql_version}-postgis-#{postgis_version}"
 368
 369 postgresql_user "jburgess" do
 370   cluster node[:tile][:database][:cluster]
 371   superuser true
 372 end
 373
 374 postgresql_user "tomh" do
 375   cluster node[:tile][:database][:cluster]
 376   superuser true
 377 end
 378
 379 postgresql_user "tile" do
 380   cluster node[:tile][:database][:cluster]
 381 end
 382
 383 postgresql_user "www-data" do
 384   cluster node[:tile][:database][:cluster]
 385 end
 386
 387 postgresql_database "gis" do
 388   cluster node[:tile][:database][:cluster]
 389   owner "tile"
 390 end
 391
 392 postgresql_extension "postgis" do
 393   cluster node[:tile][:database][:cluster]
 394   database "gis"
 395 end
 396
 397 postgresql_extension "hstore" do
 398   cluster node[:tile][:database][:cluster]
 399   database "gis"
 400   only_if { node[:tile][:database][:hstore] }
 401 end
 402
 403 %w[geography_columns planet_osm_nodes planet_osm_rels planet_osm_ways raster_columns raster_overviews spatial_ref_sys].each do |table|
 404   postgresql_table table do
 405     cluster node[:tile][:database][:cluster]
 406     database "gis"
 407     owner "tile"
 408     permissions "tile" => :all
 409   end
 410 end
 411
 412 %w[geometry_columns planet_osm_line planet_osm_point planet_osm_polygon planet_osm_roads].each do |table|
 413   postgresql_table table do
 414     cluster node[:tile][:database][:cluster]
 415     database "gis"
 416     owner "tile"
 417     permissions "tile" => :all, "www-data" => :select
 418   end
 419 end
 420
 421 postgresql_munin "gis" do
 422   cluster node[:tile][:database][:cluster]
 423   database "gis"
 424 end
 425
 426 directory File.dirname(node[:tile][:database][:node_file]) do
 427   owner "root"
 428   group "root"
 429   mode 0o755
 430   recursive true
 431 end
 432
 433 file node[:tile][:database][:node_file] do
 434   owner "tile"
 435   group "www-data"
 436   mode 0o660
 437 end
 438
 439 directory "/var/log/tile" do
 440   owner "tile"
 441   group "tile"
 442   mode 0o755
 443 end
 444
 445 package %w[
 446   osm2pgsql
 447   ruby
 448   osmium-tool
 449   pyosmium
 450   python3-pyproj
 451 ]
 452
 453 remote_directory "/usr/local/bin" do
 454   source "bin"
 455   owner "root"
 456   group "root"
 457   mode 0o755
 458   files_owner "root"
 459   files_group "root"
 460   files_mode 0o755
 461 end
 462
 463 template "/usr/local/bin/expire-tiles" do
 464   source "expire-tiles.erb"
 465   owner "root"
 466   group "root"
 467   mode 0o755
 468 end
 469
 470 directory "/var/lib/replicate" do
 471   owner "tile"
 472   group "tile"
 473   mode 0o755
 474 end
 475
 476 directory "/var/lib/replicate/expire-queue" do
 477   owner "tile"
 478   group "www-data"
 479   mode 0o775
 480 end
 481
 482 template "/usr/local/bin/replicate" do
 483   source "replicate.erb"
 484   owner "root"
 485   group "root"
 486   mode 0o755
 487   variables :postgresql_version => postgresql_version.to_f
 488 end
 489
 490 systemd_service "expire-tiles" do
 491   description "Tile dirtying service"
 492   type "simple"
 493   user "www-data"
 494   exec_start "/usr/local/bin/expire-tiles"
 495   standard_output "null"
 496   private_tmp true
 497   private_devices true
 498   protect_system "full"
 499   protect_home true
 500   no_new_privileges true
 501 end
 502
 503 systemd_path "expire-tiles" do
 504   description "Tile dirtying trigger"
 505   directory_not_empty "/var/lib/replicate/expire-queue"
 506 end
 507
 508 service "expire-tiles.path" do
 509   action [:enable, :start]
 510   subscribes :restart, "systemd_path[expire-tiles]"
 511 end
 512
 513 systemd_service "replicate" do
 514   description "Rendering database replication service"
 515   after "postgresql.service"
 516   wants "postgresql.service"
 517   user "tile"
 518   exec_start "/usr/local/bin/replicate"
 519   private_tmp true
 520   private_devices true
 521   protect_system "full"
 522   protect_home true
 523   no_new_privileges true
 524   restart "on-failure"
 525 end
 526
 527 service "replicate" do
 528   action [:enable, :start]
 529   subscribes :restart, "template[/usr/local/bin/replicate]"
 530   subscribes :restart, "systemd_service[replicate]"
 531 end
 532
 533 template "/etc/logrotate.d/replicate" do
 534   source "replicate.logrotate.erb"
 535   owner "root"
 536   group "root"
 537   mode 0o644
 538 end
 539
 540 template "/usr/local/bin/render-lowzoom" do
 541   source "render-lowzoom.erb"
 542   owner "root"
 543   group "root"
 544   mode 0o755
 545 end
 546
 547 systemd_service "render-lowzoom" do
 548   description "Render low zoom tiles"
 549   user "tile"
 550   exec_start "/usr/local/bin/render-lowzoom"
 551   private_tmp true
 552   private_devices true
 553   private_network true
 554   protect_system "full"
 555   protect_home true
 556   no_new_privileges true
 557 end
 558
 559 systemd_timer "render-lowzoom" do
 560   description "Render low zoom tiles"
 561   on_calendar "Sun *-*~07/1 01:00:00"
 562 end
 563
 564 service "render-lowzoom.timer" do
 565   action [:enable, :start]
 566 end
 567
 568 file "/etc/cron.d/render-lowzoom" do
 569   action :delete
 570 end
 571
 572 package "liblockfile-simple-perl"
 573 package "libfilesys-df-perl"
 574
 575 template "/usr/local/bin/cleanup-tiles" do
 576   source "cleanup-tiles.erb"
 577   owner "root"
 578   group "root"
 579   mode 0o755
 580 end
 581
 582 tile_directories = node[:tile][:styles].collect do |_, style|
 583   style[:tile_directories].collect { |directory| directory[:name] }
 584 end.flatten.sort.uniq
 585
 586 template "/etc/cron.d/cleanup-tiles" do
 587   source "cleanup-tiles.cron.erb"
 588   owner "root"
 589   group "root"
 590   mode 0o644
 591   variables :directories => tile_directories
 592 end
 593
 594 munin_plugin "mod_tile_fresh"
 595 munin_plugin "mod_tile_latency"
 596 munin_plugin "mod_tile_response"
 597 munin_plugin "mod_tile_zoom"
 598
 599 munin_plugin "renderd_processed"
 600 munin_plugin "renderd_queue"
 601 munin_plugin "renderd_queue_time"
 602 munin_plugin "renderd_zoom"
 603 munin_plugin "renderd_zoom_time"
 604
 605 munin_plugin "replication_delay"