cookbooks/nominatim/recipes/default.rb

   1 #
   2 # Cookbook Name:: nominatim
   3 # Recipe:: base
   4 #
   5 # Copyright 2015, OpenStreetMap Foundation
   6 #
   7 # Licensed under the Apache License, Version 2.0 (the "License");
   8 # you may not use this file except in compliance with the License.
   9 # You may obtain a copy of the License at
  10 #
  11 #     http://www.apache.org/licenses/LICENSE-2.0
  12 #
  13 # Unless required by applicable law or agreed to in writing, software
  14 # distributed under the License is distributed on an "AS IS" BASIS,
  15 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  16 # See the License for the specific language governing permissions and
  17 # limitations under the License.
  18 #
  19
  20 basedir = data_bag_item("accounts", "nominatim")["home"]
  21 email_errors = data_bag_item("accounts", "lonvia")["email"]
  22
  23 directory "#{basedir}" do
  24   owner "nominatim"
  25   group "nominatim"
  26   mode 0o755
  27   recursive true
  28 end
  29
  30
  31 directory node[:nominatim][:logdir] do
  32   owner "nominatim"
  33   group "nominatim"
  34   mode 0o755
  35   recursive true
  36 end
  37
  38 file "#{node[:nominatim][:logdir]}/query.log" do
  39   action :create_if_missing
  40   owner "www-data"
  41   group "adm"
  42   mode 0o664
  43 end
  44
  45 file "#{node[:nominatim][:logdir]}/update.log" do
  46   action :create_if_missing
  47   owner "nominatim"
  48   group "adm"
  49   mode 0o664
  50 end
  51
  52 ## Postgresql
  53
  54 include_recipe "postgresql"
  55
  56 package "postgis"
  57
  58 node[:nominatim][:dbadmins].each do |user|
  59   postgresql_user user do
  60     cluster node[:nominatim][:dbcluster]
  61     superuser true
  62     only_if { node[:nominatim][:state] != "slave" }
  63   end
  64 end
  65
  66 postgresql_user "nominatim" do
  67   cluster node[:nominatim][:dbcluster]
  68   superuser true
  69   only_if { node[:nominatim][:state] != "slave" }
  70 end
  71
  72 postgresql_user "www-data" do
  73   cluster node[:nominatim][:dbcluster]
  74   only_if { node[:nominatim][:state] != "slave" }
  75 end
  76
  77 postgresql_munin "nominatim" do
  78   cluster node[:nominatim][:dbcluster]
  79   database node[:nominatim][:dbname]
  80 end
  81
  82 directory "#{basedir}/tablespaces" do
  83   owner "postgres"
  84   group "postgres"
  85   mode 0o700
  86 end
  87
  88 # Note: tablespaces must be exactly in the same location on each
  89 #       Nominatim instance when replication is in use. Therefore
  90 #       use symlinks to canonical directory locations.
  91 node[:nominatim][:tablespaces].each do |name, location|
  92   directory location do
  93     owner "postgres"
  94     group "postgres"
  95     mode 0o700
  96     recursive true
  97   end
  98
  99   link "#{basedir}/tablespaces/#{name}" do
 100     to location
 101   end
 102
 103   postgresql_tablespace name do
 104     cluster node[:nominatim][:dbcluster]
 105     location "#{basedir}/tablespaces/#{name}"
 106   end
 107 end
 108
 109 if node[:nominatim][:state] == "master" # ~FC023
 110   postgresql_user "replication" do
 111     cluster node[:nominatim][:dbcluster]
 112     password data_bag_item("nominatim", "passwords")["replication"]
 113     replication true
 114   end
 115
 116   directory node[:rsyncd][:modules][:archive][:path] do
 117     owner "postgres"
 118     group "postgres"
 119     mode 0o700
 120   end
 121
 122   template "/usr/local/bin/clean-db-nominatim" do
 123     source "clean-db-nominatim.erb"
 124     owner "root"
 125     group "root"
 126     mode 0o755
 127     variables :archive_dir => node[:rsyncd][:modules][:archive][:path],
 128               :update_stop_file => "#{basedir}/status/updates_disabled",
 129               :streaming_clients => search(:node, "nominatim_state:slave").map { |slave| slave[:fqdn] }.join(" ")
 130   end
 131 end
 132
 133 ## Nominatim backend
 134
 135 include_recipe "git"
 136
 137 package "build-essential"
 138 package "cmake"
 139 package "g++"
 140 package "libboost-dev"
 141 package "libboost-system-dev"
 142 package "libboost-filesystem-dev"
 143 package "libexpat1-dev"
 144 package "zlib1g-dev"
 145 package "libxml2-dev"
 146 package "libbz2-dev"
 147 package "libpq-dev"
 148 package "libgeos++-dev"
 149 package "libproj-dev"
 150 package "osmosis"
 151
 152 source_directory = "#{basedir}/nominatim"
 153 build_directory = "#{basedir}/bin"
 154
 155 directory build_directory do
 156   owner "nominatim"
 157   group "nominatim"
 158   mode 0o755
 159   recursive true
 160 end
 161
 162 # Normally syncing via chef is a bad idea because syncing might involve
 163 # an update of database functions which should not be done while an update
 164 # is ongoing. Therefore we sync in between update cycles. There is an
 165 # exception for slaves: they get DB function updates from the master, so
 166 # only the source code needs to be updated, which chef may do.
 167 git source_directory do
 168   action node[:nominatim][:state] == "slave" ? :sync : :checkout
 169   repository node[:nominatim][:repository]
 170   revision node[:nominatim][:revision]
 171   enable_submodules true
 172   user "nominatim"
 173   group "nominatim"
 174   notifies :run, "execute[compile_nominatim]", :immediately
 175 end
 176
 177 execute "compile_nominatim" do
 178   action :nothing
 179   user "nominatim"
 180   cwd build_directory
 181   command "cmake #{source_directory} && make"
 182 end
 183
 184 template "#{source_directory}/.git/hooks/post-merge" do
 185   source "git-post-merge-hook.erb"
 186   owner "nominatim"
 187   group "nominatim"
 188   mode 0o755
 189   variables :srcdir => source_directory,
 190             :builddir => build_directory,
 191             :dbname => node[:nominatim][:dbname]
 192 end
 193
 194 template "#{build_directory}/settings/local.php" do
 195   source "settings.erb"
 196   owner "nominatim"
 197   group "nominatim"
 198   mode 0o664
 199   variables :base_url => node[:nominatim][:state] == "off" ? node[:fqdn] : "nominatim.openstreetmap.org",
 200             :dbname => node[:nominatim][:dbname],
 201             :flatnode_file => node[:nominatim][:flatnode_file],
 202             :log_file => "#{node[:nominatim][:logdir]}/query.log"
 203 end
 204
 205 if node[:nominatim][:flatnode_file] # ~FC023
 206   directory File.dirname(node[:nominatim][:flatnode_file]) do
 207     recursive true
 208   end
 209 end
 210
 211 template "/etc/logrotate.d/nominatim" do
 212   source "logrotate.nominatim.erb"
 213   owner "root"
 214   group "root"
 215   mode 0o644
 216 end
 217
 218 external_data = [
 219   "wikipedia_article.sql.bin",
 220   "wikipedia_redirect.sql.bin",
 221   "gb_postcode_data.sql.gz"
 222 ]
 223
 224 external_data.each do |fname|
 225   remote_file "#{source_directory}/data/#{fname}" do
 226     action :create_if_missing
 227     source "http://www.nominatim.org/data/#{fname}"
 228     owner "nominatim"
 229     group "nominatim"
 230     mode 0o644
 231   end
 232 end
 233
 234 template "/etc/cron.d/nominatim" do
 235   action node[:nominatim][:state] == :off ? :delete : :create
 236   source "nominatim.cron.erb"
 237   owner "root"
 238   group "root"
 239   mode "0644"
 240   variables :bin_directory => "#{source_directory}/utils", :mailto => email_errors
 241 end
 242
 243 template "#{source_directory}/utils/nominatim-update" do
 244   source "updater.erb"
 245   user "nominatim"
 246   group "nominatim"
 247   mode 0o755
 248   variables :bindir => build_directory,
 249             :srcdir => source_directory,
 250             :logfile => "#{node[:nominatim][:logdir]}/update.log",
 251             :branch => node[:nominatim][:revision],
 252             :update_stop_file => "#{basedir}/status/updates_disabled"
 253 end
 254
 255 template "/etc/init.d/nominatim-update" do
 256   source "updater.init.erb"
 257   user "nominatim"
 258   group "nominatim"
 259   mode 0o755
 260   variables :source_directory => source_directory
 261 end
 262
 263 %w(backup-nominatim vacuum-db-nominatim).each do |fname|
 264   template "/usr/local/bin/#{fname}" do
 265     source "#{fname}.erb"
 266     owner "root"
 267     group "root"
 268     mode 0o755
 269     variables :db => node[:nominatim][:dbname]
 270   end
 271 end
 272
 273 ## webserver frontend
 274
 275 template "#{build_directory}/settings/ip_blocks.conf" do
 276   action :create_if_missing
 277   source "ipblocks.erb"
 278   owner "nominatim"
 279   group "nominatim"
 280   mode 0o664
 281 end
 282
 283 file "#{build_directory}/settings/apache_blocks.conf" do
 284   action :create_if_missing
 285   owner "nominatim"
 286   group "nominatim"
 287   mode 0o664
 288 end
 289
 290 file "#{build_directory}/settings/ip_blocks.map" do
 291   action :create_if_missing
 292   owner "nominatim"
 293   group "nominatim"
 294   mode 0o664
 295 end
 296
 297 include_recipe "apache::ssl"
 298
 299 package "php"
 300 package "php-fpm"
 301 package "php-pgsql"
 302 package "php-pear"
 303 package "php-db"
 304
 305 apache_module "rewrite"
 306 apache_module "proxy"
 307 apache_module "proxy_fcgi"
 308 apache_module "proxy_http"
 309 apache_module "headers"
 310
 311 service "php5-fpm" do
 312   if node[:lsb][:release].to_f >= 15.10
 313     provider Chef::Provider::Service::Systemd
 314     service_name "php7.0-fpm"
 315   elsif node[:lsb][:release].to_f >= 14.04
 316     provider Chef::Provider::Service::Upstart
 317   end
 318   action [:enable, :start]
 319   supports :status => true, :restart => true, :reload => true
 320 end
 321
 322 php_confdir = node[:lsb][:release].to_f >= 15.10 ? "/etc/php/7.0" : "/etc/php5"
 323
 324 node[:nominatim][:fpm_pools].each do |name, data|
 325   template "#{php_confdir}/fpm/pool.d/#{name}.conf" do
 326     source "fpm.conf.erb"
 327     owner "root"
 328     group "root"
 329     mode 0o644
 330     variables data.merge(:name => name)
 331     notifies :reload, "service[php5-fpm]"
 332   end
 333 end
 334
 335 apache_site "nominatim.openstreetmap.org" do
 336   template "apache.erb"
 337   directory build_directory
 338   variables :pools => node[:nominatim][:fpm_pools]
 339 end
 340
 341 apache_site "default" do
 342   action [:disable]
 343 end
 344
 345 template "/etc/logrotate.d/apache2" do
 346   source "logrotate.apache.erb"
 347   owner "root"
 348   group "root"
 349   mode 0o644
 350 end
 351
 352 include_recipe "fail2ban"
 353
 354 fail2ban_filter "nominatim" do
 355   failregex '^<HOST> - - \[[^]]+\] "[^"]+" 429 '
 356 end
 357
 358 fail2ban_jail "nominatim" do
 359   filter "nominatim"
 360   logpath "/var/log/apache2/nominatim.openstreetmap.org-access.log"
 361   ports [80, 443]
 362   maxretry 100
 363 end
 364
 365 munin_plugin_conf "nominatim" do
 366   template "munin.erb"
 367   variables :db => node[:nominatim][:dbname],
 368             :querylog => "#{node[:nominatim][:logdir]}/query.log"
 369 end
 370
 371 munin_plugin "nominatim_importlag" do
 372   target "#{source_directory}/munin/nominatim_importlag"
 373 end
 374
 375 munin_plugin "nominatim_query_speed" do
 376   target "#{source_directory}/munin/nominatim_query_speed_querylog"
 377 end
 378
 379 munin_plugin "nominatim_requests" do
 380   target "#{source_directory}/munin/nominatim_requests_querylog"
 381 end
 382
 383 munin_plugin "nominatim_throttled_ips" do
 384   target "#{source_directory}/munin/nominatim_throttled_ips"
 385 end
 386
 387 directory "#{basedir}/status" do
 388   owner "nominatim"
 389   group "postgres"
 390   mode 0o775
 391 end