cookbooks/nominatim/recipes/base.rb

   1 #
   2 # Cookbook Name:: nominatim
   3 # Recipe:: base
   4 #
   5 # Copyright 2015, OpenStreetMap Foundation
   6 #
   7 # Licensed under the Apache License, Version 2.0 (the "License");
   8 # you may not use this file except in compliance with the License.
   9 # You may obtain a copy of the License at
  10 #
  11 #     http://www.apache.org/licenses/LICENSE-2.0
  12 #
  13 # Unless required by applicable law or agreed to in writing, software
  14 # distributed under the License is distributed on an "AS IS" BASIS,
  15 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  16 # See the License for the specific language governing permissions and
  17 # limitations under the License.
  18 #
  19
  20 include_recipe "apache::ssl"
  21 include_recipe "postgresql"
  22
  23 package "php5"
  24 package "php5-cli"
  25 package "php5-pgsql"
  26 package "php5-fpm"
  27 package "php-pear"
  28 package "php-apc"
  29
  30 apache_module "rewrite"
  31 apache_module "proxy"
  32 apache_module "proxy_fcgi"
  33 apache_module "proxy_http"
  34
  35 home_directory = data_bag_item("accounts", "nominatim")["home"]
  36 source_directory = "#{home_directory}/nominatim"
  37 email_errors = data_bag_item("accounts", "lonvia")["email"]
  38
  39 database_cluster = node[:nominatim][:database][:cluster]
  40 database_version = database_cluster.sub(%r{/.*}, "")
  41 database_name = node[:nominatim][:database][:dbname]
  42
  43 postgis_version = node[:nominatim][:database][:postgis]
  44
  45 service "php5-fpm" do
  46   provider Chef::Provider::Service::Upstart
  47   action [:enable, :start]
  48   supports :status => true, :restart => true, :reload => true
  49 end
  50
  51 node[:nominatim][:fpm_pools].each do |name, data|
  52   template "/etc/php5/fpm/pool.d/#{name}.conf" do
  53     source "fpm.conf.erb"
  54     owner "root"
  55     group "root"
  56     mode 0644
  57     variables data.merge(:name => name, :port => data[:port])
  58     notifies :reload, "service[php5-fpm]"
  59   end
  60 end
  61
  62 postgresql_munin "nominatim" do
  63   cluster database_cluster
  64   database database_name
  65 end
  66
  67 directory "/var/log/nominatim" do
  68   owner "nominatim"
  69   group "nominatim"
  70   mode 0755
  71 end
  72
  73 template "/etc/logrotate.d/nominatim" do
  74   source "logrotate.nominatim.erb"
  75   owner "root"
  76   group "root"
  77   mode 0644
  78 end
  79
  80 package "osmosis"
  81 package "gcc"
  82 package "proj-bin"
  83 package "libgeos-c1"
  84 package "postgresql-#{database_version}-postgis-#{postgis_version}"
  85 package "postgresql-server-dev-#{database_version}"
  86 package "build-essential"
  87 package "libxml2-dev"
  88 package "libgeos-dev"
  89 package "libgeos++-dev"
  90 package "libpq-dev"
  91 package "libbz2-dev"
  92 package "libtool"
  93 package "automake"
  94 package "libproj-dev"
  95 package "libprotobuf-c0-dev"
  96 package "protobuf-c-compiler"
  97 package "python-psycopg2"
  98 package "libboost-dev"
  99 package "libboost-system-dev"
 100 package "libboost-filesystem-dev"
 101 package "libboost-thread-dev"
 102
 103 execute "php-pear-db" do
 104   command "pear install DB"
 105   not_if { File.exist?("/usr/share/php/DB") }
 106 end
 107
 108 execute "compile_nominatim" do
 109   action :nothing
 110   command "cd #{source_directory} && ./autogen.sh && ./configure && make"
 111   user "nominatim"
 112 end
 113
 114 directory "#{source_directory}/log" do
 115   owner "nominatim"
 116   group "nominatim"
 117   mode 0755
 118 end
 119
 120 template "#{source_directory}/.git/hooks/post-merge" do
 121   source "update_source.erb"
 122   owner "nominatim"
 123   group "nominatim"
 124   mode 0755
 125   variables :source_directory => source_directory
 126 end
 127
 128 template "#{source_directory}/settings/local.php" do
 129   source "nominatim.erb"
 130   owner "nominatim"
 131   group "nominatim"
 132   mode 0664
 133   variables :postgres_version => database_version
 134 end
 135
 136 template "#{source_directory}/settings/ip_blocks.conf" do
 137   action :create_if_missing
 138   source "ipblocks.erb"
 139   owner "nominatim"
 140   group "nominatim"
 141   mode 0664
 142 end
 143
 144 file "#{source_directory}/settings/apache_blocks.conf" do
 145   action :create_if_missing
 146   owner "nominatim"
 147   group "nominatim"
 148   mode 0664
 149 end
 150
 151 file "#{source_directory}/settings/ip_blocks.map" do
 152   action :create_if_missing
 153   owner "nominatim"
 154   group "nominatim"
 155   mode 0664
 156 end
 157
 158 if node[:nominatim][:enabled]
 159   cron_action = :create
 160 else
 161   cron_action = :delete
 162 end
 163
 164 template "/etc/cron.d/nominatim" do
 165   action cron_action
 166   source "cron.erb"
 167   owner "root"
 168   group "root"
 169   mode "0644"
 170   variables :bin_directory => "#{source_directory}/utils", :mailto => email_errors
 171 end
 172
 173 template "#{source_directory}/utils/nominatim-update" do
 174   source "updater.erb"
 175   user "nominatim"
 176   group "nominatim"
 177   mode 0755
 178 end
 179
 180 template "/etc/init.d/nominatim-update" do
 181   source "updater.init.erb"
 182   user "nominatim"
 183   group "nominatim"
 184   mode 0755
 185   variables :source_directory => source_directory
 186 end
 187
 188 munin_plugin_conf "nominatim" do
 189   template "munin.erb"
 190 end
 191
 192 munin_plugin "nominatim_importlag" do
 193   target "#{source_directory}/munin/nominatim_importlag"
 194 end
 195
 196 munin_plugin "nominatim_query_speed" do
 197   target "#{source_directory}/munin/nominatim_query_speed_querylog"
 198 end
 199
 200 munin_plugin "nominatim_requests" do
 201   target "#{source_directory}/munin/nominatim_requests_querylog"
 202 end
 203
 204 munin_plugin "nominatim_throttled_ips" do
 205   target "#{source_directory}/munin/nominatim_throttled_ips"
 206 end
 207
 208 external_data = [
 209   "wikipedia_article.sql.bin",
 210   "wikipedia_redirect.sql.bin",
 211   "gb_postcode_data.sql.gz"
 212 ]
 213
 214 external_data.each do |fname|
 215   remote_file "#{source_directory}/data/#{fname}" do
 216     action :create_if_missing
 217     source "http://www.nominatim.org/data/#{fname}"
 218     owner "nominatim"
 219     group "nominatim"
 220     mode 0644
 221   end
 222 end
 223
 224 additional_scripts = %w(backup-nominatim clean-db-nominatim)
 225
 226 additional_scripts.each do |fname|
 227   template "/usr/local/bin/#{fname}" do
 228     source "#{fname}.erb"
 229     owner "root"
 230     group "root"
 231     mode 0755
 232   end
 233 end
 234
 235 directory File.dirname(node[:nominatim][:flatnode_file]) do
 236   owner "nominatim"
 237   group "nominatim"
 238   mode 0755
 239   recursive true
 240 end
 241
 242 directory "/data/postgresql-archive" do
 243   owner "postgres"
 244   group "postgres"
 245   mode 0700
 246   only_if { node[:postgresql][:settings][:defaults][:archive_mode] == "on" }
 247 end
 248
 249 apache_site "nominatim.openstreetmap.org" do
 250   template "apache.erb"
 251   directory source_directory
 252   variables :pools => node[:nominatim][:fpm_pools]
 253 end
 254
 255 apache_site "default" do
 256   action [:disable]
 257 end
 258
 259 fail2ban_filter "nominatim" do
 260   failregex '^<HOST> - - \[[^]]+\] "[^"]+" 429 '
 261 end
 262
 263 fail2ban_jail "nominatim" do
 264   filter "nominatim"
 265   logpath "/var/log/apache2/nominatim.openstreetmap.org-access.log"
 266   ports [80, 443]
 267   maxretry 100
 268 end