cookbooks/vectortile/recipes/default.rb

   1 #
   2 # Cookbook:: vectortile
   3 # Recipe:: default
   4 #
   5 # Copyright:: 2024, OpenStreetMap Foundation
   6 #
   7 # Licensed under the Apache License, Version 2.0 (the "License");
   8 # you may not use this file except in compliance with the License.
   9 # You may obtain a copy of the License at
  10 #
  11 #     https://www.apache.org/licenses/LICENSE-2.0
  12 #
  13 # Unless required by applicable law or agreed to in writing, software
  14 # distributed under the License is distributed on an "AS IS" BASIS,
  15 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  16 # See the License for the specific language governing permissions and
  17 # limitations under the License.
  18 #
  19
  20 include_recipe "accounts"
  21 include_recipe "git"
  22 include_recipe "nginx"
  23 include_recipe "podman"
  24 include_recipe "postgresql"
  25 include_recipe "prometheus"
  26 include_recipe "python"
  27 include_recipe "tools"
  28
  29 directory "/srv/vector.openstreetmap.org" do
  30   user "tileupdate"
  31   group "tileupdate"
  32   mode "755"
  33 end
  34
  35 nginx_site "default" do
  36   action [:delete]
  37 end
  38
  39 nginx_site "vector.openstreetmap.org" do
  40   template "nginx.erb"
  41 end
  42
  43 ssl_certificate node[:fqdn] do
  44   domains [node[:fqdn]]
  45   notifies :reload, "service[nginx]"
  46 end
  47
  48 remote_directory "/srv/vector.openstreetmap.org/html" do
  49   source "html"
  50   owner "www-data"
  51   group "www-data"
  52   mode "755"
  53   files_owner "www-data"
  54   files_group "www-data"
  55   files_mode "644"
  56 end
  57
  58 template "/srv/vector.openstreetmap.org/html/index.html" do
  59   source "index.html.erb"
  60   owner "www-data"
  61   group "www-data"
  62   mode "644"
  63 end
  64
  65 postgresql_version = node[:vectortile][:database][:cluster].split("/").first
  66 postgis_version = node[:vectortile][:database][:postgis]
  67
  68 package "postgresql-#{postgresql_version}-postgis-#{postgis_version}"
  69
  70 # Spirit dependencies
  71 package %w[
  72   osm2pgsql
  73   gdal-bin
  74   python3-yaml
  75   python3-psycopg2
  76 ]
  77
  78 style_directory = "/srv/vector.openstreetmap.org/spirit"
  79 git style_directory do
  80   repository "https://github.com/pnorman/spirit.git"
  81   revision node[:vectortile][:spirit][:version]
  82   user "tileupdate"
  83   group "tileupdate"
  84 end
  85
  86 shortbread_config = "#{style_directory}/shortbread.yaml"
  87
  88 themepark_directory = "/srv/vector.openstreetmap.org/osm2pgsql-themepark"
  89 git themepark_directory do
  90   repository "https://github.com/osm2pgsql-dev/osm2pgsql-themepark.git"
  91   revision node[:vectortile][:themepark][:version]
  92   user "tileupdate"
  93   group "tileupdate"
  94 end
  95
  96 tilekiln_directory = "/opt/tilekiln"
  97
  98 python_virtualenv tilekiln_directory do
  99   interpreter "/usr/bin/python3"
 100 end
 101
 102 python_package "tilekiln" do
 103   python_virtualenv tilekiln_directory
 104   python_version "3"
 105   version node[:vectortile][:tilekiln][:version]
 106 end
 107
 108 template "/srv/vector.openstreetmap.org/html/index.html" do
 109   source "index.html.erb"
 110   owner "www-data"
 111   group "www-data"
 112   mode "644"
 113 end
 114
 115 directory "/srv/vector.openstreetmap.org/data" do
 116   user "tileupdate"
 117   group "tileupdate"
 118   mode "755"
 119 end
 120
 121 node_store_options = node[:vectortile][:database][:nodes_store] == :flat ? "--flat-nodes '/srv/vector.openstreetmap.org/data/nodes.bin'" : ""
 122 template "/usr/local/bin/import-planet" do
 123   source "import-planet.erb"
 124   owner "root"
 125   group "root"
 126   mode "755"
 127   variables :node_store_options => node_store_options
 128 end
 129
 130 template "/usr/local/bin/tilekiln-storage-init" do
 131   source "tilekiln-storage-init.erb"
 132   owner "root"
 133   group "root"
 134   mode "755"
 135   variables :tilekiln_bin => "#{tilekiln_directory}/bin/tilekiln", :storage_database => "tiles", :config_path => shortbread_config
 136 end
 137
 138 postgresql_user "tomh" do
 139   cluster node[:vectortile][:database][:cluster]
 140   superuser true
 141 end
 142
 143 postgresql_user "pnorman" do
 144   cluster node[:vectortile][:database][:cluster]
 145   superuser true
 146 end
 147
 148 postgresql_user "tilekiln" do
 149   cluster node[:vectortile][:database][:cluster]
 150 end
 151
 152 postgresql_user "tileupdate" do
 153   cluster node[:vectortile][:database][:cluster]
 154 end
 155
 156 postgresql_database "tiles" do
 157   cluster node[:vectortile][:database][:cluster]
 158   owner "tileupdate"
 159 end
 160
 161 postgresql_database "spirit" do
 162   cluster node[:vectortile][:database][:cluster]
 163   owner "tileupdate"
 164 end
 165
 166 postgresql_extension "postgis" do
 167   cluster node[:vectortile][:database][:cluster]
 168   database "spirit"
 169 end
 170
 171 postgresql_schema "tilekiln" do
 172   cluster node[:vectortile][:database][:cluster]
 173   database "tiles"
 174   owner "tileupdate"
 175   permissions "tileupdate" => :all, "tilekiln" => :usage
 176   notifies :run, "execute[tilekiln-storage-init]", :immediately
 177 end
 178
 179 execute "tilekiln-storage-init" do
 180   action :nothing
 181   command "/usr/local/bin/tilekiln-storage-init"
 182   user "tileupdate"
 183 end
 184
 185 %w[metadata shortbread_v1].each do |table|
 186   postgresql_table table do
 187     cluster node[:vectortile][:database][:cluster]
 188     database "tiles"
 189     schema "tilekiln"
 190     owner "tileupdate"
 191     permissions "tileupdate" => :all, "tilekiln" => :select
 192   end
 193 end
 194
 195 postgresql_table "tile_stats" do
 196   cluster node[:vectortile][:database][:cluster]
 197   database "tiles"
 198   schema "tilekiln"
 199   owner "tilekiln"
 200 end
 201
 202 (0..14).each do |zoom|
 203   postgresql_table "shortbread_v1_z#{zoom}" do
 204     cluster node[:vectortile][:database][:cluster]
 205     database "tiles"
 206     schema "tilekiln"
 207     owner "tileupdate"
 208     permissions "tileupdate" => :all, "tilekiln" => node[:vectortile][:serve][:mode] == :live ? [:select, :insert, :update] : :select
 209   end
 210 end
 211
 212 %w[addresses aerialways aeroways boundaries boundary_labels bridges buildings
 213    dam_lines dam_polygons ferries land pier_lines pier_polygons place_labels
 214    planet_osm_nodes planet_osm_rels planet_osm_ways pois public_transport railways
 215    road_routes roads sites street_polygons street_labels_points
 216    streets_polygons_labels water_area_labels water_areas water_lines water_lines_labels].each do |table|
 217   postgresql_table table do
 218     cluster node[:vectortile][:database][:cluster]
 219     database "spirit"
 220     schema "public"
 221     owner "tileupdate"
 222     permissions "tileupdate" => :all, "tilekiln" => :select
 223   end
 224 end
 225
 226 tilekiln_mode = node[:vectortile][:serve][:mode] == :live ? "live --config #{shortbread_config} --source-dbname spirit" : "static"
 227
 228 systemd_service "tilekiln" do
 229   description "Tilekiln vector tile server"
 230   user "tilekiln"
 231   after "postgresql.service"
 232   wants "postgresql.service"
 233   sandbox :enable_network => true
 234   restrict_address_families "AF_UNIX"
 235   exec_start "#{tilekiln_directory}/bin/tilekiln serve #{tilekiln_mode} --storage-dbname tiles --num-threads #{node[:vectortile][:serve][:threads]} --base-url 'https://vector.openstreetmap.org'"
 236 end
 237
 238 service "tilekiln" do
 239   action [:enable, :start]
 240 end
 241
 242 execute "/srv/vector.openstreetmap.org/spirit/scripts/get-external-data.py" do
 243   command "/srv/vector.openstreetmap.org/spirit/scripts/get-external-data.py -R tilekiln"
 244   cwd "/srv/vector.openstreetmap.org/spirit"
 245   user "tileupdate"
 246   group "tileupdate"
 247   ignore_failure true
 248 end
 249
 250 template "/usr/local/bin/vector-update" do
 251   source node[:vectortile][:replication][:tileupdate] ? "vector-update-tile.erb" : "vector-update-notile.erb"
 252   owner "root"
 253   group "root"
 254   mode "755"
 255   variables :tilekiln_bin => "#{tilekiln_directory}/bin/tilekiln", :source_database => "spirit", :config_path => shortbread_config, :diff_size => "1000", :expiry_dir => "/srv/vector.openstreetmap.org/data/", :post_processing => "/usr/local/bin/tiles-rerender"
 256 end
 257
 258 rerender_layers = %w[addresses boundaries bridges buildings land pois public_transport sites street_polygons streets water_lines_labels water_lines water_polygons].join(" ")
 259
 260 template "/usr/local/bin/tiles-rerender" do
 261   source "tiles-rerender.erb"
 262   owner "root"
 263   group "root"
 264   mode "755"
 265   variables :tilekiln_bin => "#{tilekiln_directory}/bin/tilekiln", :source_database => "spirit", :storage_database => "tiles", :config_path => shortbread_config, :expiry_dir => "/srv/vector.openstreetmap.org/data/", :update_threads => 4, :layers => rerender_layers.to_s
 266 end
 267
 268 systemd_service "replicate" do
 269   description "Get replication updates"
 270   user "tileupdate"
 271   after "postgresql.service"
 272   wants "postgresql.service"
 273   sandbox :enable_network => true
 274   restrict_address_families "AF_UNIX"
 275   read_write_paths ["/srv/vector.openstreetmap.org/data/"]
 276   exec_start "/usr/local/bin/vector-update"
 277 end
 278
 279 systemd_timer "replicate" do
 280   description "Get replication updates"
 281   on_boot_sec 60
 282   on_unit_active_sec 30
 283   accuracy_sec 5
 284 end
 285
 286 if node[:vectortile][:replication][:enabled]
 287   service "replicate.timer" do
 288     action [:enable, :start]
 289   end
 290 else
 291   service "replicate.timer" do
 292     action [:stop, :disable]
 293   end
 294 end
 295
 296 template "/usr/local/bin/render-lowzoom" do
 297   source "render-lowzoom.erb"
 298   owner "root"
 299   group "root"
 300   mode "755"
 301   variables :tilekiln_bin => "#{tilekiln_directory}/bin/tilekiln", :source_database => "spirit", :storage_database => "tiles", :config_path => shortbread_config, :min_zoom => 0, :max_zoom => node[:vectortile][:rerender][:lowzoom][:maxzoom]
 302 end
 303
 304 systemd_service "render-lowzoom" do
 305   description "Render low zoom tiles"
 306   user "tileupdate"
 307   after "postgresql.service"
 308   wants "postgresql.service"
 309   restrict_address_families "AF_UNIX"
 310   sandbox true
 311   exec_start "/usr/local/bin/render-lowzoom"
 312 end
 313
 314 systemd_timer "render-lowzoom" do
 315   description "Render low zoom tiles"
 316   on_calendar "23:00 #{node[:timezone]}"
 317 end
 318
 319 if node[:vectortile][:rerender][:lowzoom][:enabled]
 320   service "render-lowzoom.timer" do
 321     action [:enable, :start]
 322   end
 323 else
 324   service "render-lowzoom.timer" do
 325     action [:stop, :disable]
 326   end
 327 end
 328
 329 package %w[
 330   ruby-pg
 331   ruby-webrick
 332 ]
 333
 334 prometheus_exporter "osm2pgsql" do
 335   port 10027
 336   user "tileupdate"
 337   restrict_address_families "AF_UNIX"
 338   options [
 339     "--database-name=spirit"
 340   ]
 341 end
 342
 343 systemd_service "tilekiln-prometheus" do
 344   description "Tilekiln vector tile server"
 345   user "tilekiln"
 346   after "postgresql.service"
 347   wants "postgresql.service"
 348   sandbox :enable_network => true
 349   restrict_address_families "AF_UNIX"
 350   exec_start "#{tilekiln_directory}/bin/tilekiln prometheus --bind-host #{node[:prometheus][:address]} --storage-dbname tiles"
 351 end
 352
 353 service "tilekiln-prometheus" do
 354   action [:enable, :start]
 355 end
 356
 357 node.default[:prometheus][:exporters][10013] = {
 358   :name => "tilekiln",
 359   :address => "#{node[:prometheus][:address]}:10013",
 360 }
 361
 362 podman_service "vectortile_demo" do
 363   description "Container service for /demo pages"
 364   image "ghcr.io/openstreetmap/vectortile-website:latest"
 365   ports 8080 => 8080
 366 end