cookbooks/nominatim/recipes/base.rb

   1 #
   2 # Cookbook Name:: nominatim
   3 # Recipe:: base
   4 #
   5 # Copyright 2015, OpenStreetMap Foundation
   6 #
   7 # Licensed under the Apache License, Version 2.0 (the "License");
   8 # you may not use this file except in compliance with the License.
   9 # You may obtain a copy of the License at
  10 #
  11 #     http://www.apache.org/licenses/LICENSE-2.0
  12 #
  13 # Unless required by applicable law or agreed to in writing, software
  14 # distributed under the License is distributed on an "AS IS" BASIS,
  15 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  16 # See the License for the specific language governing permissions and
  17 # limitations under the License.
  18 #
  19
  20 include_recipe "apache::ssl"
  21 include_recipe "postgresql"
  22
  23 package "php"
  24 package "php-cli"
  25 package "php-pgsql"
  26 package "php-fpm"
  27 package "php-pear"
  28 package "php-db"
  29
  30 apache_module "rewrite"
  31 apache_module "proxy"
  32 apache_module "proxy_fcgi"
  33 apache_module "proxy_http"
  34 apache_module "headers"
  35
  36 home_directory = data_bag_item("accounts", "nominatim")["home"]
  37 source_directory = "#{home_directory}/nominatim"
  38 email_errors = data_bag_item("accounts", "lonvia")["email"]
  39
  40 database_cluster = node[:nominatim][:database][:cluster]
  41 database_version = database_cluster.sub(%r{/.*}, "")
  42 database_name = node[:nominatim][:database][:dbname]
  43
  44 postgis_version = node[:nominatim][:database][:postgis]
  45
  46 service "php7.0-fpm" do
  47   action [:enable, :start]
  48 end
  49
  50 node[:nominatim][:fpm_pools].each do |name, data|
  51   template "/etc/php/7.0/fpm/pool.d/#{name}.conf" do
  52     source "fpm.conf.erb"
  53     owner "root"
  54     group "root"
  55     mode 0o644
  56     variables data.merge(:name => name, :port => data[:port])
  57     notifies :reload, "service[php7.0-fpm]"
  58   end
  59 end
  60
  61 postgresql_munin "nominatim" do
  62   cluster database_cluster
  63   database database_name
  64 end
  65
  66 directory node[:nominatim][:logdir] do
  67   owner "nominatim"
  68   group "nominatim"
  69   mode 0o755
  70   recursive true
  71 end
  72
  73 file "#{node[:nominatim][:logdir]}/query.log" do
  74   action :create_if_missing
  75   owner "www-data"
  76   group "adm"
  77   mode 0o664
  78 end
  79
  80 file "#{node[:nominatim][:logdir]}/update.log" do
  81   action :create_if_missing
  82   owner "nominatim"
  83   group "adm"
  84   mode 0o664
  85 end
  86
  87 directory "#{home_directory}/status" do
  88   owner "nominatim"
  89   group "postgres"
  90   mode 0o775
  91 end
  92
  93 template "/etc/logrotate.d/nominatim" do
  94   source "logrotate.nominatim.erb"
  95   owner "root"
  96   group "root"
  97   mode 0o644
  98 end
  99
 100 template "/etc/logrotate.d/apache2" do
 101   source "logrotate.apache.erb"
 102   owner "root"
 103   group "root"
 104   mode 0o644
 105 end
 106
 107 package "osmosis"
 108 package "gcc"
 109 package "proj-bin"
 110 package "libgeos-c1"
 111 package "postgresql-#{database_version}-postgis-#{postgis_version}"
 112 package "postgresql-server-dev-#{database_version}"
 113 package "build-essential"
 114 package "libxml2-dev"
 115 package "libexpat-dev"
 116 package "libgeos-dev"
 117 package "libgeos++-dev"
 118 package "libpq-dev"
 119 package "libbz2-dev"
 120 package "libtool"
 121 package "automake"
 122 package "libproj-dev"
 123 package "libprotobuf-c0-dev"
 124 package "protobuf-c-compiler"
 125 package "python-psycopg2"
 126 package "libboost-dev"
 127 package "libboost-system-dev"
 128 package "libboost-filesystem-dev"
 129 package "libboost-thread-dev"
 130
 131 execute "compile_nominatim" do
 132   action :nothing
 133   command "cd #{source_directory} && ./autogen.sh && ./configure && make"
 134   user "nominatim"
 135 end
 136
 137 template "#{source_directory}/.git/hooks/post-merge" do
 138   source "update_source.erb"
 139   owner "nominatim"
 140   group "nominatim"
 141   mode 0o755
 142   variables :source_directory => source_directory
 143 end
 144
 145 template "#{source_directory}/settings/local.php" do
 146   source "nominatim.erb"
 147   owner "nominatim"
 148   group "nominatim"
 149   mode 0o664
 150   variables :postgres_version => database_version
 151 end
 152
 153 template "#{source_directory}/settings/ip_blocks.conf" do
 154   action :create_if_missing
 155   source "ipblocks.erb"
 156   owner "nominatim"
 157   group "nominatim"
 158   mode 0o664
 159 end
 160
 161 file "#{source_directory}/settings/apache_blocks.conf" do
 162   action :create_if_missing
 163   owner "nominatim"
 164   group "nominatim"
 165   mode 0o664
 166 end
 167
 168 file "#{source_directory}/settings/ip_blocks.map" do
 169   action :create_if_missing
 170   owner "nominatim"
 171   group "nominatim"
 172   mode 0o664
 173 end
 174
 175 cron_action = if node[:nominatim][:enabled]
 176                 :create
 177               else
 178                 :delete
 179               end
 180
 181 template "/etc/cron.d/nominatim" do
 182   action cron_action
 183   source "cron.erb"
 184   owner "root"
 185   group "root"
 186   mode "0644"
 187   variables :bin_directory => "#{source_directory}/utils", :mailto => email_errors
 188 end
 189
 190 template "#{source_directory}/utils/nominatim-update" do
 191   source "updater.erb"
 192   user "nominatim"
 193   group "nominatim"
 194   mode 0o755
 195   variables :bindir => source_directory,
 196             :srcdir => source_directory,
 197             :logfile => "#{node[:nominatim][:logdir]}/update.log",
 198             :branch => node[:nominatim][:revision],
 199             :update_stop_file => "#{home_directory}/status/updates_disabled"
 200 end
 201
 202 template "/etc/init.d/nominatim-update" do
 203   source "updater.init.erb"
 204   user "nominatim"
 205   group "nominatim"
 206   mode 0o755
 207   variables :source_directory => source_directory
 208 end
 209
 210 munin_plugin_conf "nominatim" do
 211   template "munin.erb"
 212   variables :db => node[:nominatim][:database][:dbname],
 213             :querylog => "#{node[:nominatim][:logdir]}/query.log"
 214 end
 215
 216 munin_plugin "nominatim_importlag" do
 217   target "#{source_directory}/munin/nominatim_importlag"
 218 end
 219
 220 munin_plugin "nominatim_query_speed" do
 221   target "#{source_directory}/munin/nominatim_query_speed_querylog"
 222 end
 223
 224 munin_plugin "nominatim_requests" do
 225   target "#{source_directory}/munin/nominatim_requests_querylog"
 226 end
 227
 228 munin_plugin "nominatim_throttled_ips" do
 229   target "#{source_directory}/munin/nominatim_throttled_ips"
 230 end
 231
 232 external_data = [
 233   "wikipedia_article.sql.bin",
 234   "wikipedia_redirect.sql.bin",
 235   "gb_postcode_data.sql.gz"
 236 ]
 237
 238 external_data.each do |fname|
 239   remote_file "#{source_directory}/data/#{fname}" do
 240     action :create_if_missing
 241     source "http://www.nominatim.org/data/#{fname}"
 242     owner "nominatim"
 243     group "nominatim"
 244     mode 0o644
 245   end
 246 end
 247
 248 additional_scripts = %w(backup-nominatim vacuum-db-nominatim)
 249
 250 additional_scripts.each do |fname|
 251   template "/usr/local/bin/#{fname}" do
 252     source "#{fname}.erb"
 253     owner "root"
 254     group "root"
 255     mode 0o755
 256     variables :db => node[:nominatim][:database][:dbname]
 257   end
 258 end
 259
 260 directory File.dirname(node[:nominatim][:flatnode_file]) do
 261   owner "nominatim"
 262   group "nominatim"
 263   mode 0o755
 264   recursive true
 265 end
 266
 267 apache_site "nominatim.openstreetmap.org" do
 268   template "apache.erb"
 269   directory source_directory
 270   variables :pools => node[:nominatim][:fpm_pools]
 271 end
 272
 273 apache_site "default" do
 274   action [:disable]
 275 end
 276
 277 fail2ban_filter "nominatim" do
 278   failregex '^<HOST> - - \[[^]]+\] "[^"]+" 429 '
 279 end
 280
 281 fail2ban_jail "nominatim" do
 282   filter "nominatim"
 283   logpath "/var/log/apache2/nominatim.openstreetmap.org-access.log"
 284   ports [80, 443]
 285   maxretry 100
 286 end