nominatim: restrict fail2ban to 429 abusers
[chef.git] / cookbooks / nominatim / recipes / base.rb
1 #
2 # Cookbook Name:: nominatim
3 # Recipe:: base
4 #
5 # Copyright 2015, OpenStreetMap Foundation
6 #
7 # Licensed under the Apache License, Version 2.0 (the "License");
8 # you may not use this file except in compliance with the License.
9 # You may obtain a copy of the License at
10 #
11 #     http://www.apache.org/licenses/LICENSE-2.0
12 #
13 # Unless required by applicable law or agreed to in writing, software
14 # distributed under the License is distributed on an "AS IS" BASIS,
15 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
16 # See the License for the specific language governing permissions and
17 # limitations under the License.
18 #
19
20 include_recipe "apache::ssl"
21 include_recipe "postgresql"
22 include_recipe "git"
23
24 package "php5"
25 package "php5-cli"
26 package "php5-pgsql"
27 package "php5-fpm"
28 package "php-pear"
29 package "php-apc"
30
31 apache_module "rewrite"
32 apache_module "proxy"
33 apache_module "proxy_fcgi"
34 apache_module "proxy_http"
35
36 home_directory = data_bag_item("accounts", "nominatim")["home"]
37 source_directory = "#{home_directory}/nominatim"
38 email_errors = data_bag_item("accounts", "lonvia")["email"]
39
40 database_cluster = node[:nominatim][:database][:cluster]
41 database_version = database_cluster.sub(%r{/.*}, "")
42 database_name = node[:nominatim][:database][:dbname]
43
44 postgis_version = node[:nominatim][:database][:postgis]
45
46 service "php5-fpm" do
47   provider Chef::Provider::Service::Upstart
48   action [:enable, :start]
49   supports :status => true, :restart => true, :reload => true
50 end
51
52 apache_site "nominatim.openstreetmap.org" do
53   template "apache.erb"
54   directory source_directory
55   variables :pools => node[:nominatim][:fpm_pools]
56 end
57
58 apache_site "default" do
59   action [:disable]
60 end
61
62 node[:nominatim][:fpm_pools].each do |name, data|
63   template "/etc/php5/fpm/pool.d/#{name}.conf" do
64     source "fpm.conf.erb"
65     owner "root"
66     group "root"
67     mode 0644
68     variables data.merge(:name => name, :port => data[:port])
69     notifies :reload, "service[php5-fpm]"
70   end
71 end
72
73 postgresql_munin "nominatim" do
74   cluster database_cluster
75   database database_name
76 end
77
78 directory "/var/log/nominatim" do
79   owner "nominatim"
80   group "nominatim"
81   mode 0755
82 end
83
84 template "/etc/logrotate.d/nominatim" do
85   source "logrotate.nominatim.erb"
86   owner "root"
87   group "root"
88   mode 0644
89 end
90
91 package "osmosis"
92 package "gcc"
93 package "proj-bin"
94 package "libgeos-c1"
95 package "postgresql-#{database_version}-postgis-#{postgis_version}"
96 package "postgresql-server-dev-#{database_version}"
97 package "build-essential"
98 package "libxml2-dev"
99 package "libgeos-dev"
100 package "libgeos++-dev"
101 package "libpq-dev"
102 package "libbz2-dev"
103 package "libtool"
104 package "automake"
105 package "libproj-dev"
106 package "libprotobuf-c0-dev"
107 package "protobuf-c-compiler"
108 package "python-psycopg2"
109 package "libboost-dev"
110 package "libboost-system-dev"
111 package "libboost-filesystem-dev"
112 package "libboost-thread-dev"
113
114 execute "php-pear-db" do
115   command "pear install DB"
116   not_if { File.exist?("/usr/share/php/DB") }
117 end
118
119 execute "compile_nominatim" do
120   action :nothing
121   command "cd #{source_directory} && ./autogen.sh && ./configure && make"
122   user "nominatim"
123 end
124
125 directory "#{source_directory}/log" do
126   owner "nominatim"
127   group "nominatim"
128   mode 0755
129 end
130
131 template "#{source_directory}/.git/hooks/post-merge" do
132   source "update_source.erb"
133   owner "nominatim"
134   group "nominatim"
135   mode 0755
136   variables :source_directory => source_directory
137 end
138
139 template "#{source_directory}/settings/local.php" do
140   source "nominatim.erb"
141   owner "nominatim"
142   group "nominatim"
143   mode 0664
144   variables :postgres_version => database_version
145 end
146
147 template "#{source_directory}/settings/ip_blocks.conf" do
148   action :create_if_missing
149   source "ipblocks.erb"
150   owner "nominatim"
151   group "nominatim"
152   mode 0664
153 end
154
155 file "#{source_directory}/settings/apache_blocks.conf" do
156   action :create_if_missing
157   owner "nominatim"
158   group "nominatim"
159   mode 0664
160 end
161
162 file "#{source_directory}/settings/ip_blocks.map" do
163   action :create_if_missing
164   owner "nominatim"
165   group "nominatim"
166   mode 0664
167 end
168
169 if node[:nominatim][:enabled]
170   cron_action = :create
171 else
172   cron_action = :delete
173 end
174
175 template "/etc/cron.d/nominatim" do
176   action cron_action
177   source "cron.erb"
178   owner "root"
179   group "root"
180   mode "0644"
181   variables :bin_directory => "#{source_directory}/utils", :mailto => email_errors
182 end
183
184 template "#{source_directory}/utils/nominatim-update" do
185   source "updater.erb"
186   user "nominatim"
187   group "nominatim"
188   mode 0755
189 end
190
191 template "/etc/init.d/nominatim-update" do
192   source "updater.init.erb"
193   user "nominatim"
194   group "nominatim"
195   mode 0755
196   variables :source_directory => source_directory
197 end
198
199 munin_plugin_conf "nominatim" do
200   template "munin.erb"
201 end
202
203 munin_plugin "nominatim_importlag" do
204   target "#{source_directory}/munin/nominatim_importlag"
205 end
206
207 munin_plugin "nominatim_query_speed" do
208   target "#{source_directory}/munin/nominatim_query_speed_querylog"
209 end
210
211 munin_plugin "nominatim_requests" do
212   target "#{source_directory}/munin/nominatim_requests_querylog"
213 end
214
215 munin_plugin "nominatim_throttled_ips" do
216   target "#{source_directory}/munin/nominatim_throttled_ips"
217 end
218
219 external_data = [
220   "wikipedia_article.sql.bin",
221   "wikipedia_redirect.sql.bin",
222   "gb_postcode_data.sql.gz"
223 ]
224
225 external_data.each do |fname|
226   remote_file "#{source_directory}/data/#{fname}" do
227     action :create_if_missing
228     source "http://www.nominatim.org/data/#{fname}"
229     owner "nominatim"
230     group "nominatim"
231     mode 0644
232   end
233 end
234
235 additional_scripts = %w(backup-nominatim clean-db-nominatim)
236
237 additional_scripts.each do |fname|
238   template "/usr/local/bin/#{fname}" do
239     source "#{fname}.erb"
240     owner "root"
241     group "root"
242     mode 0755
243   end
244 end
245
246 directory File.dirname(node[:nominatim][:flatnode_file]) do
247   owner "nominatim"
248   group "nominatim"
249   mode 0755
250   recursive true
251 end
252
253 directory "/data/postgresql-archive" do
254   owner "postgres"
255   group "postgres"
256   mode 0700
257   only_if { node[:postgresql][:settings][:defaults][:archive_mode] == "on" }
258 end
259
260 fail2ban_filter "nominatim" do
261   failregex '^<HOST> - - \[[^]]+\] "[^"]+" 429 '
262 end
263
264 fail2ban_jail "nominatim" do
265   filter "nominatim"
266   logpath "/var/log/apache2/nominatim.openstreetmap.org-access.log"
267   ports [80, 443]
268   maxretry 100
269 end