remove date from nominatim fail2ban regex
[chef.git] / cookbooks / nominatim / recipes / base.rb
1 #
2 # Cookbook Name:: nominatim
3 # Recipe:: base
4 #
5 # Copyright 2015, OpenStreetMap Foundation
6 #
7 # Licensed under the Apache License, Version 2.0 (the "License");
8 # you may not use this file except in compliance with the License.
9 # You may obtain a copy of the License at
10 #
11 #     http://www.apache.org/licenses/LICENSE-2.0
12 #
13 # Unless required by applicable law or agreed to in writing, software
14 # distributed under the License is distributed on an "AS IS" BASIS,
15 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
16 # See the License for the specific language governing permissions and
17 # limitations under the License.
18 #
19
20 include_recipe "apache::ssl"
21 include_recipe "postgresql"
22
23 package "php"
24 package "php-cli"
25 package "php-pgsql"
26 package "php-fpm"
27 package "php-pear"
28 package "php-db"
29
30 apache_module "rewrite"
31 apache_module "proxy"
32 apache_module "proxy_fcgi"
33 apache_module "proxy_http"
34 apache_module "headers"
35
36 home_directory = data_bag_item("accounts", "nominatim")["home"]
37 source_directory = "#{home_directory}/nominatim"
38 email_errors = data_bag_item("accounts", "lonvia")["email"]
39
40 database_cluster = node[:nominatim][:database][:cluster]
41 database_version = database_cluster.sub(%r{/.*}, "")
42 database_name = node[:nominatim][:database][:dbname]
43
44 postgis_version = node[:nominatim][:database][:postgis]
45
46 service "php7.0-fpm" do
47   action [:enable, :start]
48 end
49
50 node[:nominatim][:fpm_pools].each do |name, data|
51   template "/etc/php/7.0/fpm/pool.d/#{name}.conf" do
52     source "fpm.conf.erb"
53     owner "root"
54     group "root"
55     mode 0o644
56     variables data.merge(:name => name, :port => data[:port])
57     notifies :reload, "service[php7.0-fpm]"
58   end
59 end
60
61 postgresql_munin "nominatim" do
62   cluster database_cluster
63   database database_name
64 end
65
66 directory node[:nominatim][:logdir] do
67   owner "nominatim"
68   group "nominatim"
69   mode 0o755
70   recursive true
71 end
72
73 file "#{node[:nominatim][:logdir]}/query.log" do
74   action :create_if_missing
75   owner "www-data"
76   group "adm"
77   mode 0o664
78 end
79
80 file "#{node[:nominatim][:logdir]}/update.log" do
81   action :create_if_missing
82   owner "nominatim"
83   group "adm"
84   mode 0o664
85 end
86
87 directory "#{home_directory}/status" do
88   owner "nominatim"
89   group "postgres"
90   mode 0o775
91 end
92
93 template "/etc/logrotate.d/nominatim" do
94   source "logrotate.nominatim.erb"
95   owner "root"
96   group "root"
97   mode 0o644
98 end
99
100 template "/etc/logrotate.d/apache2" do
101   source "logrotate.apache.erb"
102   owner "root"
103   group "root"
104   mode 0o644
105 end
106
107 package "osmosis"
108 package "gcc"
109 package "proj-bin"
110 package "libgeos-c1v5"
111 package "postgresql-#{database_version}-postgis-#{postgis_version}"
112 package "postgresql-server-dev-#{database_version}"
113 package "build-essential"
114 package "libxml2-dev"
115 package "libexpat-dev"
116 package "libgeos-dev"
117 package "libgeos++-dev"
118 package "libpq-dev"
119 package "libbz2-dev"
120 package "libtool"
121 package "automake"
122 package "libproj-dev"
123 package "libprotobuf-c0-dev"
124 package "protobuf-c-compiler"
125 package "python-psycopg2"
126 package "libboost-dev"
127 package "libboost-system-dev"
128 package "libboost-filesystem-dev"
129 package "libboost-thread-dev"
130
131 execute "compile_nominatim" do
132   action :nothing
133   command "cd #{source_directory} && ./autogen.sh && ./configure && make"
134   user "nominatim"
135 end
136
137 template "#{source_directory}/.git/hooks/post-merge" do
138   source "update_source.erb"
139   owner "nominatim"
140   group "nominatim"
141   mode 0o755
142   variables :source_directory => source_directory
143 end
144
145 template "#{source_directory}/settings/local.php" do
146   source "nominatim.erb"
147   owner "nominatim"
148   group "nominatim"
149   mode 0o664
150   variables :postgres_version => database_version
151 end
152
153 template "#{source_directory}/settings/ip_blocks.conf" do
154   action :create_if_missing
155   source "ipblocks.erb"
156   owner "nominatim"
157   group "nominatim"
158   mode 0o664
159 end
160
161 file "#{source_directory}/settings/apache_blocks.conf" do
162   action :create_if_missing
163   owner "nominatim"
164   group "nominatim"
165   mode 0o664
166 end
167
168 file "#{source_directory}/settings/ip_blocks.map" do
169   action :create_if_missing
170   owner "nominatim"
171   group "nominatim"
172   mode 0o664
173 end
174
175 cron_action = if node[:nominatim][:enabled]
176                 :create
177               else
178                 :delete
179               end
180
181 template "/etc/cron.d/nominatim" do
182   action cron_action
183   source "cron.erb"
184   owner "root"
185   group "root"
186   mode "0644"
187   variables :bin_directory => "#{source_directory}/utils", :mailto => email_errors
188 end
189
190 template "#{source_directory}/utils/nominatim-update" do
191   source "updater.erb"
192   user "nominatim"
193   group "nominatim"
194   mode 0o755
195   variables :bindir => source_directory,
196             :srcdir => source_directory,
197             :logfile => "#{node[:nominatim][:logdir]}/update.log",
198             :branch => node[:nominatim][:revision],
199             :update_stop_file => "#{home_directory}/status/updates_disabled"
200 end
201
202 template "/etc/init.d/nominatim-update" do
203   source "updater.init.erb"
204   user "nominatim"
205   group "nominatim"
206   mode 0o755
207   variables :source_directory => source_directory
208 end
209
210 munin_plugin_conf "nominatim" do
211   template "munin.erb"
212   variables :db => node[:nominatim][:database][:dbname],
213             :querylog => "#{node[:nominatim][:logdir]}/query.log"
214 end
215
216 munin_plugin "nominatim_importlag" do
217   target "#{source_directory}/munin/nominatim_importlag"
218 end
219
220 munin_plugin "nominatim_query_speed" do
221   target "#{source_directory}/munin/nominatim_query_speed_querylog"
222 end
223
224 munin_plugin "nominatim_requests" do
225   target "#{source_directory}/munin/nominatim_requests_querylog"
226 end
227
228 munin_plugin "nominatim_throttled_ips" do
229   target "#{source_directory}/munin/nominatim_throttled_ips"
230 end
231
232 external_data = [
233   "wikipedia_article.sql.bin",
234   "wikipedia_redirect.sql.bin",
235   "gb_postcode_data.sql.gz"
236 ]
237
238 external_data.each do |fname|
239   remote_file "#{source_directory}/data/#{fname}" do
240     action :create_if_missing
241     source "http://www.nominatim.org/data/#{fname}"
242     owner "nominatim"
243     group "nominatim"
244     mode 0o644
245   end
246 end
247
248 additional_scripts = %w(backup-nominatim vacuum-db-nominatim)
249
250 additional_scripts.each do |fname|
251   template "/usr/local/bin/#{fname}" do
252     source "#{fname}.erb"
253     owner "root"
254     group "root"
255     mode 0o755
256     variables :db => node[:nominatim][:database][:dbname]
257   end
258 end
259
260 directory File.dirname(node[:nominatim][:flatnode_file]) do
261   owner "nominatim"
262   group "nominatim"
263   mode 0o755
264   recursive true
265 end
266
267 apache_site "nominatim.openstreetmap.org" do
268   template "apache.erb"
269   directory source_directory
270   variables :pools => node[:nominatim][:fpm_pools]
271 end
272
273 apache_site "default" do
274   action [:disable]
275 end
276
277 fail2ban_filter "nominatim" do
278   failregex '^<HOST> - - \[[^]]+\] "[^"]+" 429 '
279 end
280
281 fail2ban_jail "nominatim" do
282   filter "nominatim"
283   logpath "/var/log/apache2/nominatim.openstreetmap.org-access.log"
284   ports [80, 443]
285   maxretry 100
286 end