cookbooks/tile/recipes/default.rb

   1 #
   2 # Cookbook Name:: tile
   3 # Recipe:: default
   4 #
   5 # Copyright 2013, OpenStreetMap Foundation
   6 #
   7 # Licensed under the Apache License, Version 2.0 (the "License");
   8 # you may not use this file except in compliance with the License.
   9 # You may obtain a copy of the License at
  10 #
  11 #     http://www.apache.org/licenses/LICENSE-2.0
  12 #
  13 # Unless required by applicable law or agreed to in writing, software
  14 # distributed under the License is distributed on an "AS IS" BASIS,
  15 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  16 # See the License for the specific language governing permissions and
  17 # limitations under the License.
  18 #
  19
  20 include_recipe "apache"
  21 include_recipe "git"
  22 include_recipe "nodejs"
  23 include_recipe "postgresql"
  24 include_recipe "tools"
  25
  26 blocks = data_bag_item("tile", "blocks")
  27
  28 apache_module "alias"
  29 apache_module "cgi"
  30 apache_module "expires"
  31 apache_module "headers"
  32 apache_module "remoteip"
  33 apache_module "rewrite"
  34
  35 apache_module "tile" do
  36   conf "tile.conf.erb"
  37 end
  38
  39 tilecaches = search(:node, "roles:tilecache").sort_by { |n| n[:hostname] }
  40
  41 apache_site "default" do
  42   action [:disable]
  43 end
  44
  45 apache_site "tile.openstreetmap.org" do
  46   template "apache.erb"
  47   variables :caches => tilecaches
  48 end
  49
  50 template "/etc/logrotate.d/apache2" do
  51   source "logrotate.apache.erb"
  52   owner "root"
  53   group "root"
  54   mode 0o644
  55 end
  56
  57 directory "/srv/tile.openstreetmap.org" do
  58   owner "tile"
  59   group "tile"
  60   mode 0o755
  61 end
  62
  63 package "renderd"
  64
  65 service "renderd" do
  66   action [:enable, :start]
  67   supports :status => false, :restart => true, :reload => false
  68 end
  69
  70 directory "/srv/tile.openstreetmap.org/tiles" do
  71   owner "tile"
  72   group "tile"
  73   mode 0o755
  74 end
  75
  76 template "/etc/renderd.conf" do
  77   source "renderd.conf.erb"
  78   owner "root"
  79   group "root"
  80   mode 0o644
  81   notifies :reload, "service[apache2]"
  82   notifies :restart, "service[renderd]"
  83 end
  84
  85 remote_directory "/srv/tile.openstreetmap.org/html" do
  86   source "html"
  87   owner "tile"
  88   group "tile"
  89   mode 0o755
  90   files_owner "tile"
  91   files_group "tile"
  92   files_mode 0o644
  93 end
  94
  95 template "/srv/tile.openstreetmap.org/html/index.html" do
  96   source "index.html.erb"
  97   owner "tile"
  98   group "tile"
  99   mode 0o644
 100 end
 101
 102 package "python-cairo"
 103 package "python-mapnik"
 104
 105 package "ttf-dejavu"
 106 package "fonts-droid"
 107 package "ttf-unifont"
 108 package "fonts-sipa-arundina"
 109 package "fonts-sil-padauk"
 110 package "fonts-khmeros"
 111 package "fonts-beng-extra"
 112 package "fonts-gargi"
 113 package "fonts-taml-tscu"
 114 package "fonts-tibetan-machine"
 115
 116 directory "/srv/tile.openstreetmap.org/cgi-bin" do
 117   owner "tile"
 118   group "tile"
 119   mode 0o755
 120 end
 121
 122 template "/srv/tile.openstreetmap.org/cgi-bin/export" do
 123   source "export.erb"
 124   owner "tile"
 125   group "tile"
 126   mode 0o755
 127   variables :blocks => blocks
 128 end
 129
 130 template "/srv/tile.openstreetmap.org/cgi-bin/debug" do
 131   source "debug.erb"
 132   owner "tile"
 133   group "tile"
 134   mode 0o755
 135 end
 136
 137 template "/etc/cron.hourly/export" do
 138   source "export.cron.erb"
 139   owner "root"
 140   group "root"
 141   mode 0o755
 142 end
 143
 144 directory "/srv/tile.openstreetmap.org/data" do
 145   owner "tile"
 146   group "tile"
 147   mode 0o755
 148 end
 149
 150 package "mapnik-utils"
 151
 152 node[:tile][:data].each_value do |data|
 153   url = data[:url]
 154   file = "/srv/tile.openstreetmap.org/data/#{File.basename(url)}"
 155   directory = "/srv/tile.openstreetmap.org/data/#{data[:directory]}"
 156
 157   directory directory do
 158     owner "tile"
 159     group "tile"
 160     mode 0o755
 161   end
 162
 163   if file =~ /\.tgz$/
 164     package "tar"
 165
 166     execute file do
 167       action :nothing
 168       command "tar -zxf #{file} -C #{directory}"
 169       user "tile"
 170       group "tile"
 171     end
 172   elsif file =~ /\.tar\.bz2$/
 173     package "tar"
 174
 175     execute file do
 176       action :nothing
 177       command "tar -jxf #{file} -C #{directory}"
 178       user "tile"
 179       group "tile"
 180     end
 181   elsif file =~ /\.zip$/
 182     package "unzip"
 183
 184     execute file do
 185       action :nothing
 186       command "unzip -qq -o #{file} -d #{directory}"
 187       user "tile"
 188       group "tile"
 189     end
 190   end
 191
 192   execute "#{file}_shapeindex" do
 193     action :nothing
 194     command "find #{directory} -type f -iname '*.shp' -print0 | xargs -0 --no-run-if-empty shapeindex --shape_files"
 195     user "tile"
 196     group "tile"
 197     subscribes :run, "execute[#{file}]", :immediately
 198   end
 199
 200   remote_file file do
 201     if data[:refresh]
 202       action :create
 203       use_conditional_get true
 204       ignore_failure true
 205     else
 206       action :create_if_missing
 207     end
 208
 209     source url
 210     owner "tile"
 211     group "tile"
 212     mode 0o644
 213     backup false
 214     notifies :run, "execute[#{file}]", :immediately
 215     notifies :restart, "service[renderd]"
 216   end
 217 end
 218
 219 nodejs_package "carto"
 220 nodejs_package "millstone"
 221
 222 directory "/srv/tile.openstreetmap.org/styles" do
 223   owner "tile"
 224   group "tile"
 225   mode 0o755
 226 end
 227
 228 node[:tile][:styles].each do |name, details|
 229   style_directory = "/srv/tile.openstreetmap.org/styles/#{name}"
 230   tile_directory = "/srv/tile.openstreetmap.org/tiles/#{name}"
 231
 232   template "/usr/local/bin/update-lowzoom-#{name}" do
 233     source "update-lowzoom.erb"
 234     owner "root"
 235     group "root"
 236     mode 0o755
 237     variables :style => name
 238   end
 239
 240   template "/etc/init.d/update-lowzoom-#{name}" do
 241     source "update-lowzoom.init.erb"
 242     owner "root"
 243     group "root"
 244     mode 0o755
 245     variables :style => name
 246   end
 247
 248   service "update-lowzoom-#{name}" do
 249     action :disable
 250     supports :restart => true
 251   end
 252
 253   directory tile_directory do
 254     owner "tile"
 255     group "tile"
 256     mode 0o755
 257   end
 258
 259   details[:tile_directories].each do |directory|
 260     directory directory[:name] do
 261       owner "www-data"
 262       group "www-data"
 263       mode 0o755
 264     end
 265
 266     directory[:min_zoom].upto(directory[:max_zoom]) do |zoom|
 267       directory "#{directory[:name]}/#{zoom}" do
 268         owner "www-data"
 269         group "www-data"
 270         mode 0o755
 271       end
 272
 273       link "#{tile_directory}/#{zoom}" do
 274         to "#{directory[:name]}/#{zoom}"
 275         owner "tile"
 276         group "tile"
 277       end
 278     end
 279   end
 280
 281   file "#{tile_directory}/planet-import-complete" do
 282     action :create_if_missing
 283     owner "tile"
 284     group "tile"
 285     mode 0o444
 286   end
 287
 288   git style_directory do
 289     action :sync
 290     repository details[:repository]
 291     revision details[:revision]
 292     user "tile"
 293     group "tile"
 294   end
 295
 296   link "#{style_directory}/data" do
 297     to "/srv/tile.openstreetmap.org/data"
 298     owner "tile"
 299     group "tile"
 300   end
 301
 302   execute "#{style_directory}/project.mml" do
 303     action :nothing
 304     command "carto project.mml > project.xml"
 305     cwd style_directory
 306     user "tile"
 307     group "tile"
 308     subscribes :run, "git[#{style_directory}]"
 309     notifies :restart, "service[renderd]", :immediately
 310     notifies :restart, "service[update-lowzoom-#{name}]"
 311   end
 312 end
 313
 314 package "postgis"
 315
 316 postgresql_user "jburgess" do
 317   cluster node[:tile][:database][:cluster]
 318   superuser true
 319 end
 320
 321 postgresql_user "tomh" do
 322   cluster node[:tile][:database][:cluster]
 323   superuser true
 324 end
 325
 326 postgresql_user "tile" do
 327   cluster node[:tile][:database][:cluster]
 328 end
 329
 330 postgresql_user "www-data" do
 331   cluster node[:tile][:database][:cluster]
 332 end
 333
 334 postgresql_database "gis" do
 335   cluster node[:tile][:database][:cluster]
 336   owner "tile"
 337 end
 338
 339 postgresql_extension "postgis" do
 340   cluster node[:tile][:database][:cluster]
 341   database "gis"
 342 end
 343
 344 %w(geography_columns planet_osm_nodes planet_osm_rels planet_osm_ways raster_columns raster_overviews spatial_ref_sys).each do |table|
 345   postgresql_table table do
 346     cluster node[:tile][:database][:cluster]
 347     database "gis"
 348     owner "tile"
 349     permissions "tile" => :all
 350   end
 351 end
 352
 353 %w(geometry_columns planet_osm_line planet_osm_point planet_osm_polygon planet_osm_roads).each do |table|
 354   postgresql_table table do
 355     cluster node[:tile][:database][:cluster]
 356     database "gis"
 357     owner "tile"
 358     permissions "tile" => :all, "www-data" => :select
 359   end
 360 end
 361
 362 postgresql_munin "gis" do
 363   cluster node[:tile][:database][:cluster]
 364   database "gis"
 365 end
 366
 367 file node[:tile][:node_file] do
 368   owner "tile"
 369   group "www-data"
 370   mode 0o640
 371 end
 372
 373 directory "/var/log/tile" do
 374   owner "tile"
 375   group "tile"
 376   mode 0o755
 377 end
 378
 379 package "osm2pgsql"
 380 package "osmosis"
 381
 382 package "ruby"
 383 package "ruby-dev"
 384
 385 package "libproj-dev"
 386 package "libxml2-dev"
 387
 388 gem_package "proj4rb"
 389 gem_package "libxml-ruby"
 390
 391 remote_directory "/usr/local/lib/site_ruby" do
 392   source "ruby"
 393   owner "root"
 394   group "root"
 395   mode 0o755
 396   files_owner "root"
 397   files_group "root"
 398   files_mode 0o644
 399 end
 400
 401 template "/usr/local/bin/expire-tiles" do
 402   source "expire-tiles.erb"
 403   owner "root"
 404   group "root"
 405   mode 0o755
 406 end
 407
 408 template "/etc/sudoers.d/tile" do
 409   source "sudoers.erb"
 410   owner "root"
 411   group "root"
 412   mode 0o440
 413 end
 414
 415 directory "/var/lib/replicate" do
 416   owner "tile"
 417   group "tile"
 418   mode 0o755
 419 end
 420
 421 template "/var/lib/replicate/configuration.txt" do
 422   source "replicate.configuration.erb"
 423   owner "tile"
 424   group "tile"
 425   mode 0o644
 426 end
 427
 428 template "/usr/local/bin/replicate" do
 429   source "replicate.erb"
 430   owner "root"
 431   group "root"
 432   mode 0o755
 433 end
 434
 435 template "/etc/init.d/replicate" do
 436   source "replicate.init.erb"
 437   owner "root"
 438   group "root"
 439   mode 0o755
 440 end
 441
 442 service "replicate" do
 443   action [:enable, :start]
 444   supports :restart => true
 445   subscribes :restart, "template[/usr/local/bin/replicate]"
 446   subscribes :restart, "template[/etc/init.d/replicate]"
 447 end
 448
 449 template "/etc/logrotate.d/replicate" do
 450   source "replicate.logrotate.erb"
 451   owner "root"
 452   group "root"
 453   mode 0o644
 454 end
 455
 456 template "/usr/local/bin/render-lowzoom" do
 457   source "render-lowzoom.erb"
 458   owner "root"
 459   group "root"
 460   mode 0o755
 461 end
 462
 463 template "/etc/cron.d/render-lowzoom" do
 464   source "render-lowzoom.cron.erb"
 465   owner "root"
 466   group "root"
 467   mode 0o644
 468 end
 469
 470 template "/etc/rsyslog.d/20-renderd.conf" do
 471   source "renderd.rsyslog.erb"
 472   owner "root"
 473   group "root"
 474   mode 0o644
 475   notifies :restart, "service[rsyslog]"
 476 end
 477
 478 template "/etc/logrotate.d/renderd" do
 479   source "renderd.logrotate.erb"
 480   owner "root"
 481   group "root"
 482   mode 0o644
 483 end
 484
 485 package "liblockfile-simple-perl"
 486 package "libfilesys-df-perl"
 487
 488 template "/usr/local/bin/cleanup-tiles" do
 489   source "cleanup-tiles.erb"
 490   owner "root"
 491   group "root"
 492   mode 0o755
 493 end
 494
 495 tile_directories = node[:tile][:styles].collect do |_, style|
 496   style[:tile_directories].collect { |directory| directory[:name] }
 497 end.flatten.sort.uniq
 498
 499 template "/etc/cron.d/cleanup-tiles" do
 500   source "cleanup-tiles.cron.erb"
 501   owner "root"
 502   group "root"
 503   mode 0o644
 504   variables :directories => tile_directories
 505 end
 506
 507 munin_plugin "mod_tile_fresh"
 508 munin_plugin "mod_tile_latency"
 509 munin_plugin "mod_tile_response"
 510 munin_plugin "mod_tile_zoom"
 511
 512 munin_plugin "renderd_processed"
 513 munin_plugin "renderd_queue"
 514 munin_plugin "renderd_queue_time"
 515 munin_plugin "renderd_zoom"
 516 munin_plugin "renderd_zoom_time"
 517
 518 munin_plugin "replication_delay" do
 519   conf "munin.erb"
 520 end