nominatim: make log dir configurable and move it to ssd on dulcy
[chef.git] / cookbooks / nominatim / recipes / base.rb
1 #
2 # Cookbook Name:: nominatim
3 # Recipe:: base
4 #
5 # Copyright 2015, OpenStreetMap Foundation
6 #
7 # Licensed under the Apache License, Version 2.0 (the "License");
8 # you may not use this file except in compliance with the License.
9 # You may obtain a copy of the License at
10 #
11 #     http://www.apache.org/licenses/LICENSE-2.0
12 #
13 # Unless required by applicable law or agreed to in writing, software
14 # distributed under the License is distributed on an "AS IS" BASIS,
15 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
16 # See the License for the specific language governing permissions and
17 # limitations under the License.
18 #
19
20 include_recipe "apache::ssl"
21 include_recipe "postgresql"
22
23 package "php5"
24 package "php5-cli"
25 package "php5-pgsql"
26 package "php5-fpm"
27 package "php-pear"
28 package "php-apc"
29 package "php-db"
30
31 apache_module "rewrite"
32 apache_module "proxy"
33 apache_module "proxy_fcgi"
34 apache_module "proxy_http"
35
36 home_directory = data_bag_item("accounts", "nominatim")["home"]
37 source_directory = "#{home_directory}/nominatim"
38 email_errors = data_bag_item("accounts", "lonvia")["email"]
39
40 database_cluster = node[:nominatim][:database][:cluster]
41 database_version = database_cluster.sub(%r{/.*}, "")
42 database_name = node[:nominatim][:database][:dbname]
43
44 postgis_version = node[:nominatim][:database][:postgis]
45
46 service "php5-fpm" do
47   provider Chef::Provider::Service::Upstart
48   action [:enable, :start]
49   supports :status => true, :restart => true, :reload => true
50 end
51
52 node[:nominatim][:fpm_pools].each do |name, data|
53   template "/etc/php5/fpm/pool.d/#{name}.conf" do
54     source "fpm.conf.erb"
55     owner "root"
56     group "root"
57     mode 0644
58     variables data.merge(:name => name, :port => data[:port])
59     notifies :reload, "service[php5-fpm]"
60   end
61 end
62
63 postgresql_munin "nominatim" do
64   cluster database_cluster
65   database database_name
66 end
67
68 directory node[:nominatim][:logdir] do
69   owner "nominatim"
70   group "nominatim"
71   mode 0755
72   recursive true
73 end
74
75 file "#{node[:nominatim][:logdir]}/query.log" do
76   action :create_if_missing
77   owner "www-data"
78   group "adm"
79   mode 0664
80 end
81
82 file "#{node[:nominatim][:logdir]}/update.log" do
83   action :create_if_missing
84   owner "nominatim"
85   group "adm"
86   mode 0664
87 end
88
89 directory "#{home_directory}/status" do
90   owner "nominatim"
91   group "postgres"
92   mode 0775
93 end
94
95 template "/etc/logrotate.d/nominatim" do
96   source "logrotate.nominatim.erb"
97   owner "root"
98   group "root"
99   mode 0644
100 end
101
102 template "/etc/logrotate.d/apache2" do
103   source "logrotate.apache.erb"
104   owner "root"
105   group "root"
106   mode 0644
107 end
108
109 package "osmosis"
110 package "gcc"
111 package "proj-bin"
112 package "libgeos-c1"
113 package "postgresql-#{database_version}-postgis-#{postgis_version}"
114 package "postgresql-server-dev-#{database_version}"
115 package "build-essential"
116 package "libxml2-dev"
117 package "libexpat-dev"
118 package "libgeos-dev"
119 package "libgeos++-dev"
120 package "libpq-dev"
121 package "libbz2-dev"
122 package "libtool"
123 package "automake"
124 package "libproj-dev"
125 package "libprotobuf-c0-dev"
126 package "protobuf-c-compiler"
127 package "python-psycopg2"
128 package "libboost-dev"
129 package "libboost-system-dev"
130 package "libboost-filesystem-dev"
131 package "libboost-thread-dev"
132
133 execute "compile_nominatim" do
134   action :nothing
135   command "cd #{source_directory} && ./autogen.sh && ./configure && make"
136   user "nominatim"
137 end
138
139 template "#{source_directory}/.git/hooks/post-merge" do
140   source "update_source.erb"
141   owner "nominatim"
142   group "nominatim"
143   mode 0755
144   variables :source_directory => source_directory
145 end
146
147 template "#{source_directory}/settings/local.php" do
148   source "nominatim.erb"
149   owner "nominatim"
150   group "nominatim"
151   mode 0664
152   variables :postgres_version => database_version
153 end
154
155 template "#{source_directory}/settings/ip_blocks.conf" do
156   action :create_if_missing
157   source "ipblocks.erb"
158   owner "nominatim"
159   group "nominatim"
160   mode 0664
161 end
162
163 file "#{source_directory}/settings/apache_blocks.conf" do
164   action :create_if_missing
165   owner "nominatim"
166   group "nominatim"
167   mode 0664
168 end
169
170 file "#{source_directory}/settings/ip_blocks.map" do
171   action :create_if_missing
172   owner "nominatim"
173   group "nominatim"
174   mode 0664
175 end
176
177 cron_action = if node[:nominatim][:enabled]
178                 :create
179               else
180                 :delete
181               end
182
183 template "/etc/cron.d/nominatim" do
184   action cron_action
185   source "cron.erb"
186   owner "root"
187   group "root"
188   mode "0644"
189   variables :bin_directory => "#{source_directory}/utils", :mailto => email_errors
190 end
191
192 template "#{source_directory}/utils/nominatim-update" do
193   source "updater.erb"
194   user "nominatim"
195   group "nominatim"
196   mode 0755
197 end
198
199 template "/etc/init.d/nominatim-update" do
200   source "updater.init.erb"
201   user "nominatim"
202   group "nominatim"
203   mode 0755
204   variables :source_directory => source_directory
205 end
206
207 munin_plugin_conf "nominatim" do
208   template "munin.erb"
209 end
210
211 munin_plugin "nominatim_importlag" do
212   target "#{source_directory}/munin/nominatim_importlag"
213 end
214
215 munin_plugin "nominatim_query_speed" do
216   target "#{source_directory}/munin/nominatim_query_speed_querylog"
217 end
218
219 munin_plugin "nominatim_requests" do
220   target "#{source_directory}/munin/nominatim_requests_querylog"
221 end
222
223 munin_plugin "nominatim_throttled_ips" do
224   target "#{source_directory}/munin/nominatim_throttled_ips"
225 end
226
227 external_data = [
228   "wikipedia_article.sql.bin",
229   "wikipedia_redirect.sql.bin",
230   "gb_postcode_data.sql.gz"
231 ]
232
233 external_data.each do |fname|
234   remote_file "#{source_directory}/data/#{fname}" do
235     action :create_if_missing
236     source "http://www.nominatim.org/data/#{fname}"
237     owner "nominatim"
238     group "nominatim"
239     mode 0644
240   end
241 end
242
243 additional_scripts = %w(backup-nominatim vacuum-db-nominatim)
244
245 additional_scripts.each do |fname|
246   template "/usr/local/bin/#{fname}" do
247     source "#{fname}.erb"
248     owner "root"
249     group "root"
250     mode 0755
251   end
252 end
253
254 directory File.dirname(node[:nominatim][:flatnode_file]) do
255   owner "nominatim"
256   group "nominatim"
257   mode 0755
258   recursive true
259 end
260
261 apache_site "nominatim.openstreetmap.org" do
262   template "apache.erb"
263   directory source_directory
264   variables :pools => node[:nominatim][:fpm_pools]
265 end
266
267 apache_site "default" do
268   action [:disable]
269 end
270
271 fail2ban_filter "nominatim" do
272   failregex '^<HOST> - - \[[^]]+\] "[^"]+" 429 '
273 end
274
275 fail2ban_jail "nominatim" do
276   filter "nominatim"
277   logpath "/var/log/apache2/nominatim.openstreetmap.org-access.log"
278   ports [80, 443]
279   maxretry 100
280 end