cookbooks/nominatim/recipes/base.rb

   1 #
   2 # Cookbook Name:: nominatim
   3 # Recipe:: base
   4 #
   5 # Copyright 2015, OpenStreetMap Foundation
   6 #
   7 # Licensed under the Apache License, Version 2.0 (the "License");
   8 # you may not use this file except in compliance with the License.
   9 # You may obtain a copy of the License at
  10 #
  11 #     http://www.apache.org/licenses/LICENSE-2.0
  12 #
  13 # Unless required by applicable law or agreed to in writing, software
  14 # distributed under the License is distributed on an "AS IS" BASIS,
  15 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  16 # See the License for the specific language governing permissions and
  17 # limitations under the License.
  18 #
  19
  20 include_recipe "apache::ssl"
  21 include_recipe "postgresql"
  22 include_recipe "git"
  23
  24 package "php5"
  25 package "php5-cli"
  26 package "php5-pgsql"
  27 package "php5-fpm"
  28 package "php-pear"
  29 package "php-apc"
  30
  31 apache_module "rewrite"
  32 apache_module "proxy"
  33 apache_module "proxy_fcgi"
  34
  35 home_directory = data_bag_item("accounts", "nominatim")["home"]
  36 source_directory = "#{home_directory}/nominatim"
  37 email_errors = data_bag_item("accounts", "lonvia")["email"]
  38
  39 database_cluster = node[:nominatim][:database][:cluster]
  40 database_version = database_cluster.sub(%r{/.*}, "")
  41 database_name = node[:nominatim][:database][:dbname]
  42
  43 postgis_version = node[:nominatim][:database][:postgis]
  44
  45 service "php5-fpm" do
  46   provider Chef::Provider::Service::Upstart
  47   action [:enable, :start]
  48   supports :status => true, :restart => true, :reload => true
  49 end
  50
  51 apache_site "nominatim.openstreetmap.org" do
  52   template "apache.erb"
  53   directory source_directory
  54   variables :pools => node[:nominatim][:fpm_pools]
  55 end
  56
  57 apache_site "default" do
  58   action [:disable]
  59 end
  60
  61 node[:nominatim][:fpm_pools].each do |name, data|
  62   template "/etc/php5/fpm/pool.d/#{name}.conf" do
  63     source "fpm.conf.erb"
  64     owner "root"
  65     group "root"
  66     mode 0644
  67     variables data.merge(:name => name, :port => data[:port])
  68     notifies :reload, "service[php5-fpm]"
  69   end
  70 end
  71
  72 postgresql_munin "nominatim" do
  73   cluster database_cluster
  74   database database_name
  75 end
  76
  77 directory "/var/log/nominatim" do
  78   owner "nominatim"
  79   group "nominatim"
  80   mode 0755
  81 end
  82
  83 template "/etc/logrotate.d/nominatim" do
  84   source "logrotate.nominatim.erb"
  85   owner "root"
  86   group "root"
  87   mode 0644
  88 end
  89
  90 package "osmosis"
  91 package "gcc"
  92 package "proj-bin"
  93 package "libgeos-c1"
  94 package "postgresql-#{database_version}-postgis-#{postgis_version}"
  95 package "postgresql-server-dev-#{database_version}"
  96 package "build-essential"
  97 package "libxml2-dev"
  98 package "libgeos-dev"
  99 package "libgeos++-dev"
 100 package "libpq-dev"
 101 package "libbz2-dev"
 102 package "libtool"
 103 package "automake"
 104 package "libproj-dev"
 105 package "libprotobuf-c0-dev"
 106 package "protobuf-c-compiler"
 107 package "python-psycopg2"
 108 package "libboost-dev"
 109 package "libboost-system-dev"
 110 package "libboost-filesystem-dev"
 111 package "libboost-thread-dev"
 112
 113 execute "php-pear-db" do
 114   command "pear install DB"
 115   not_if { File.exist?("/usr/share/php/DB") }
 116 end
 117
 118 execute "compile_nominatim" do
 119   action :nothing
 120   command "cd #{source_directory} && ./autogen.sh && ./configure && make"
 121   user "nominatim"
 122 end
 123
 124
 125 directory "#{source_directory}/log" do
 126   owner "nominatim"
 127   group "nominatim"
 128   mode 0755
 129 end
 130
 131 template "#{source_directory}/.git/hooks/post-merge" do
 132   source "update_source.erb"
 133   owner "nominatim"
 134   group "nominatim"
 135   mode 0755
 136   variables :source_directory => source_directory
 137 end
 138
 139 template "#{source_directory}/settings/local.php" do
 140   source "nominatim.erb"
 141   owner "nominatim"
 142   group "nominatim"
 143   mode 0664
 144   variables :postgres_version => database_version
 145 end
 146
 147 template "#{source_directory}/settings/ip_blocks.conf" do
 148   action :create_if_missing
 149   source "ipblocks.erb"
 150   owner "nominatim"
 151   group "nominatim"
 152   mode 0664
 153 end
 154
 155 file "#{source_directory}/settings/apache_blocks.conf" do
 156   action :create_if_missing
 157   owner "nominatim"
 158   group "nominatim"
 159   mode 0664
 160 end
 161
 162 file "#{source_directory}/settings/ip_blocks.map" do
 163   action :create_if_missing
 164   owner "nominatim"
 165   group "nominatim"
 166   mode 0664
 167 end
 168
 169 if node[:nominatim][:enabled]
 170   cron_action = :create
 171 else
 172   cron_action = :delete
 173 end
 174
 175 template "/etc/cron.d/nominatim" do
 176   action cron_action
 177   source "cron.erb"
 178   owner "root"
 179   group "root"
 180   mode "0644"
 181   variables :bin_directory => "#{source_directory}/utils", :mailto => email_errors
 182 end
 183
 184 template "#{source_directory}/utils/nominatim-update" do
 185   source "updater.erb"
 186   user "nominatim"
 187   group "nominatim"
 188   mode 0755
 189 end
 190
 191 template "/etc/init.d/nominatim-update" do
 192   source "updater.init.erb"
 193   user "nominatim"
 194   group "nominatim"
 195   mode 0755
 196   variables :source_directory => source_directory
 197 end
 198
 199 munin_plugin_conf "nominatim" do
 200   template "munin.erb"
 201 end
 202
 203 munin_plugin "nominatim_importlag" do
 204   target "#{source_directory}/munin/nominatim_importlag"
 205 end
 206
 207 munin_plugin "nominatim_query_speed" do
 208   target "#{source_directory}/munin/nominatim_query_speed_querylog"
 209 end
 210
 211 munin_plugin "nominatim_requests" do
 212   target "#{source_directory}/munin/nominatim_requests_querylog"
 213 end
 214
 215 munin_plugin "nominatim_throttled_ips" do
 216   target "#{source_directory}/munin/nominatim_throttled_ips"
 217 end
 218
 219 external_data = [
 220   "wikipedia_article.sql.bin",
 221   "wikipedia_redirect.sql.bin",
 222   "gb_postcode_data.sql.gz"
 223 ]
 224
 225 external_data.each do |fname|
 226   remote_file "#{source_directory}/data/#{fname}" do
 227     action :create_if_missing
 228     source "http://www.nominatim.org/data/#{fname}"
 229     owner "nominatim"
 230     group "nominatim"
 231     mode 0644
 232   end
 233 end
 234
 235 additional_scripts = %w(backup-nominatim clean-db-nominatim)
 236
 237 additional_scripts.each do |fname|
 238   template "/usr/local/bin/#{fname}" do
 239     source "#{fname}.erb"
 240     owner "root"
 241     group "root"
 242     mode 0755
 243   end
 244 end
 245
 246 directory File.dirname(node[:nominatim][:flatnode_file]) do
 247   owner "nominatim"
 248   group "nominatim"
 249   mode 0755
 250   recursive true
 251 end
 252
 253 directory "/data/postgresql-archive" do
 254   owner "postgres"
 255   group "postgres"
 256   mode 0700
 257   only_if { node[:postgresql][:settings][:defaults][:archive_mode] == "on" }
 258 end
 259
 260 fail2ban_filter "nominatim" do
 261   failregex '^<HOST> - - \[[^]]+\] "[^"]+" (403|429) '
 262 end
 263
 264 fail2ban_jail "nominatim" do
 265   filter "nominatim"
 266   logpath "/var/log/apache2/nominatim.openstreetmap.org-access.log"
 267   ports [80, 443]
 268   maxretry 100
 269 end