nominatim: run git update in source directory
[chef.git] / cookbooks / nominatim / recipes / base.rb
1 #
2 # Cookbook Name:: nominatim
3 # Recipe:: base
4 #
5 # Copyright 2015, OpenStreetMap Foundation
6 #
7 # Licensed under the Apache License, Version 2.0 (the "License");
8 # you may not use this file except in compliance with the License.
9 # You may obtain a copy of the License at
10 #
11 #     http://www.apache.org/licenses/LICENSE-2.0
12 #
13 # Unless required by applicable law or agreed to in writing, software
14 # distributed under the License is distributed on an "AS IS" BASIS,
15 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
16 # See the License for the specific language governing permissions and
17 # limitations under the License.
18 #
19
20 include_recipe "apache::ssl"
21 include_recipe "postgresql"
22
23 package "php5"
24 package "php5-cli"
25 package "php5-pgsql"
26 package "php5-fpm"
27 package "php-pear"
28 package "php-apc"
29 package "php-db"
30
31 apache_module "rewrite"
32 apache_module "proxy"
33 apache_module "proxy_fcgi"
34 apache_module "proxy_http"
35 apache_module "headers"
36
37 home_directory = data_bag_item("accounts", "nominatim")["home"]
38 source_directory = "#{home_directory}/nominatim"
39 email_errors = data_bag_item("accounts", "lonvia")["email"]
40
41 database_cluster = node[:nominatim][:database][:cluster]
42 database_version = database_cluster.sub(%r{/.*}, "")
43 database_name = node[:nominatim][:database][:dbname]
44
45 postgis_version = node[:nominatim][:database][:postgis]
46
47 service "php5-fpm" do
48   provider Chef::Provider::Service::Upstart
49   action [:enable, :start]
50   supports :status => true, :restart => true, :reload => true
51 end
52
53 node[:nominatim][:fpm_pools].each do |name, data|
54   template "/etc/php5/fpm/pool.d/#{name}.conf" do
55     source "fpm.conf.erb"
56     owner "root"
57     group "root"
58     mode 0o644
59     variables data.merge(:name => name, :port => data[:port])
60     notifies :reload, "service[php5-fpm]"
61   end
62 end
63
64 postgresql_munin "nominatim" do
65   cluster database_cluster
66   database database_name
67 end
68
69 directory node[:nominatim][:logdir] do
70   owner "nominatim"
71   group "nominatim"
72   mode 0o755
73   recursive true
74 end
75
76 file "#{node[:nominatim][:logdir]}/query.log" do
77   action :create_if_missing
78   owner "www-data"
79   group "adm"
80   mode 0o664
81 end
82
83 file "#{node[:nominatim][:logdir]}/update.log" do
84   action :create_if_missing
85   owner "nominatim"
86   group "adm"
87   mode 0o664
88 end
89
90 directory "#{home_directory}/status" do
91   owner "nominatim"
92   group "postgres"
93   mode 0o775
94 end
95
96 template "/etc/logrotate.d/nominatim" do
97   source "logrotate.nominatim.erb"
98   owner "root"
99   group "root"
100   mode 0o644
101 end
102
103 template "/etc/logrotate.d/apache2" do
104   source "logrotate.apache.erb"
105   owner "root"
106   group "root"
107   mode 0o644
108 end
109
110 package "osmosis"
111 package "gcc"
112 package "proj-bin"
113 package "libgeos-c1"
114 package "postgresql-#{database_version}-postgis-#{postgis_version}"
115 package "postgresql-server-dev-#{database_version}"
116 package "build-essential"
117 package "libxml2-dev"
118 package "libexpat-dev"
119 package "libgeos-dev"
120 package "libgeos++-dev"
121 package "libpq-dev"
122 package "libbz2-dev"
123 package "libtool"
124 package "automake"
125 package "libproj-dev"
126 package "libprotobuf-c0-dev"
127 package "protobuf-c-compiler"
128 package "python-psycopg2"
129 package "libboost-dev"
130 package "libboost-system-dev"
131 package "libboost-filesystem-dev"
132 package "libboost-thread-dev"
133
134 execute "compile_nominatim" do
135   action :nothing
136   command "cd #{source_directory} && ./autogen.sh && ./configure && make"
137   user "nominatim"
138 end
139
140 template "#{source_directory}/.git/hooks/post-merge" do
141   source "update_source.erb"
142   owner "nominatim"
143   group "nominatim"
144   mode 0o755
145   variables :source_directory => source_directory
146 end
147
148 template "#{source_directory}/settings/local.php" do
149   source "nominatim.erb"
150   owner "nominatim"
151   group "nominatim"
152   mode 0o664
153   variables :postgres_version => database_version
154 end
155
156 template "#{source_directory}/settings/ip_blocks.conf" do
157   action :create_if_missing
158   source "ipblocks.erb"
159   owner "nominatim"
160   group "nominatim"
161   mode 0o664
162 end
163
164 file "#{source_directory}/settings/apache_blocks.conf" do
165   action :create_if_missing
166   owner "nominatim"
167   group "nominatim"
168   mode 0o664
169 end
170
171 file "#{source_directory}/settings/ip_blocks.map" do
172   action :create_if_missing
173   owner "nominatim"
174   group "nominatim"
175   mode 0o664
176 end
177
178 cron_action = if node[:nominatim][:enabled]
179                 :create
180               else
181                 :delete
182               end
183
184 template "/etc/cron.d/nominatim" do
185   action cron_action
186   source "cron.erb"
187   owner "root"
188   group "root"
189   mode "0644"
190   variables :bin_directory => "#{source_directory}/utils", :mailto => email_errors
191 end
192
193 template "#{source_directory}/utils/nominatim-update" do
194   source "updater.erb"
195   user "nominatim"
196   group "nominatim"
197   mode 0o755
198   variables :bindir => source_directory,
199             :srcdir => source_directory,
200             :logfile => "#{node[:nominatim][:logdir]}/update.log",
201             :branch => node[:nominatim][:revision],
202             :update_stop_file => "#{home_directory}/status/updates_disabled"
203 end
204
205 template "/etc/init.d/nominatim-update" do
206   source "updater.init.erb"
207   user "nominatim"
208   group "nominatim"
209   mode 0o755
210   variables :source_directory => source_directory
211 end
212
213 munin_plugin_conf "nominatim" do
214   template "munin.erb"
215   variables :db => node[:nominatim][:database][:dbname],
216             :querylog => "#{node[:nominatim][:logdir]}/query.log"
217 end
218
219 munin_plugin "nominatim_importlag" do
220   target "#{source_directory}/munin/nominatim_importlag"
221 end
222
223 munin_plugin "nominatim_query_speed" do
224   target "#{source_directory}/munin/nominatim_query_speed_querylog"
225 end
226
227 munin_plugin "nominatim_requests" do
228   target "#{source_directory}/munin/nominatim_requests_querylog"
229 end
230
231 munin_plugin "nominatim_throttled_ips" do
232   target "#{source_directory}/munin/nominatim_throttled_ips"
233 end
234
235 external_data = [
236   "wikipedia_article.sql.bin",
237   "wikipedia_redirect.sql.bin",
238   "gb_postcode_data.sql.gz"
239 ]
240
241 external_data.each do |fname|
242   remote_file "#{source_directory}/data/#{fname}" do
243     action :create_if_missing
244     source "http://www.nominatim.org/data/#{fname}"
245     owner "nominatim"
246     group "nominatim"
247     mode 0o644
248   end
249 end
250
251 additional_scripts = %w(backup-nominatim vacuum-db-nominatim)
252
253 additional_scripts.each do |fname|
254   template "/usr/local/bin/#{fname}" do
255     source "#{fname}.erb"
256     owner "root"
257     group "root"
258     mode 0o755
259     variables :db => node[:nominatim][:database][:dbname]
260   end
261 end
262
263 directory File.dirname(node[:nominatim][:flatnode_file]) do
264   owner "nominatim"
265   group "nominatim"
266   mode 0o755
267   recursive true
268 end
269
270 apache_site "nominatim.openstreetmap.org" do
271   template "apache.erb"
272   directory source_directory
273   variables :pools => node[:nominatim][:fpm_pools]
274 end
275
276 apache_site "default" do
277   action [:disable]
278 end
279
280 fail2ban_filter "nominatim" do
281   failregex '^<HOST> - - \[[^]]+\] "[^"]+" 429 '
282 end
283
284 fail2ban_jail "nominatim" do
285   filter "nominatim"
286   logpath "/var/log/apache2/nominatim.openstreetmap.org-access.log"
287   ports [80, 443]
288   maxretry 100
289 end