run git checkout before the rest of the nominatim setup
[chef.git] / cookbooks / nominatim / recipes / base.rb
1 #
2 # Cookbook Name:: nominatim
3 # Recipe:: base
4 #
5 # Copyright 2015, OpenStreetMap Foundation
6 #
7 # Licensed under the Apache License, Version 2.0 (the "License");
8 # you may not use this file except in compliance with the License.
9 # You may obtain a copy of the License at
10 #
11 #     http://www.apache.org/licenses/LICENSE-2.0
12 #
13 # Unless required by applicable law or agreed to in writing, software
14 # distributed under the License is distributed on an "AS IS" BASIS,
15 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
16 # See the License for the specific language governing permissions and
17 # limitations under the License.
18 #
19
20 include_recipe "apache::ssl"
21 include_recipe "postgresql"
22
23 package "php5"
24 package "php5-cli"
25 package "php5-pgsql"
26 package "php5-fpm"
27 package "php-pear"
28 package "php-apc"
29
30 apache_module "rewrite"
31 apache_module "proxy"
32 apache_module "proxy_fcgi"
33 apache_module "proxy_http"
34
35 home_directory = data_bag_item("accounts", "nominatim")["home"]
36 source_directory = "#{home_directory}/nominatim"
37 email_errors = data_bag_item("accounts", "lonvia")["email"]
38
39 database_cluster = node[:nominatim][:database][:cluster]
40 database_version = database_cluster.sub(%r{/.*}, "")
41 database_name = node[:nominatim][:database][:dbname]
42
43 postgis_version = node[:nominatim][:database][:postgis]
44
45 service "php5-fpm" do
46   provider Chef::Provider::Service::Upstart
47   action [:enable, :start]
48   supports :status => true, :restart => true, :reload => true
49 end
50
51 node[:nominatim][:fpm_pools].each do |name, data|
52   template "/etc/php5/fpm/pool.d/#{name}.conf" do
53     source "fpm.conf.erb"
54     owner "root"
55     group "root"
56     mode 0644
57     variables data.merge(:name => name, :port => data[:port])
58     notifies :reload, "service[php5-fpm]"
59   end
60 end
61
62 postgresql_munin "nominatim" do
63   cluster database_cluster
64   database database_name
65 end
66
67 directory "/var/log/nominatim" do
68   owner "nominatim"
69   group "nominatim"
70   mode 0755
71 end
72
73 template "/etc/logrotate.d/nominatim" do
74   source "logrotate.nominatim.erb"
75   owner "root"
76   group "root"
77   mode 0644
78 end
79
80 package "osmosis"
81 package "gcc"
82 package "proj-bin"
83 package "libgeos-c1"
84 package "postgresql-#{database_version}-postgis-#{postgis_version}"
85 package "postgresql-server-dev-#{database_version}"
86 package "build-essential"
87 package "libxml2-dev"
88 package "libgeos-dev"
89 package "libgeos++-dev"
90 package "libpq-dev"
91 package "libbz2-dev"
92 package "libtool"
93 package "automake"
94 package "libproj-dev"
95 package "libprotobuf-c0-dev"
96 package "protobuf-c-compiler"
97 package "python-psycopg2"
98 package "libboost-dev"
99 package "libboost-system-dev"
100 package "libboost-filesystem-dev"
101 package "libboost-thread-dev"
102
103 execute "php-pear-db" do
104   command "pear install DB"
105   not_if { File.exist?("/usr/share/php/DB") }
106 end
107
108 execute "compile_nominatim" do
109   action :nothing
110   command "cd #{source_directory} && ./autogen.sh && ./configure && make"
111   user "nominatim"
112 end
113
114 directory "#{source_directory}/log" do
115   owner "nominatim"
116   group "nominatim"
117   mode 0755
118 end
119
120 template "#{source_directory}/.git/hooks/post-merge" do
121   source "update_source.erb"
122   owner "nominatim"
123   group "nominatim"
124   mode 0755
125   variables :source_directory => source_directory
126 end
127
128 template "#{source_directory}/settings/local.php" do
129   source "nominatim.erb"
130   owner "nominatim"
131   group "nominatim"
132   mode 0664
133   variables :postgres_version => database_version
134 end
135
136 template "#{source_directory}/settings/ip_blocks.conf" do
137   action :create_if_missing
138   source "ipblocks.erb"
139   owner "nominatim"
140   group "nominatim"
141   mode 0664
142 end
143
144 file "#{source_directory}/settings/apache_blocks.conf" do
145   action :create_if_missing
146   owner "nominatim"
147   group "nominatim"
148   mode 0664
149 end
150
151 file "#{source_directory}/settings/ip_blocks.map" do
152   action :create_if_missing
153   owner "nominatim"
154   group "nominatim"
155   mode 0664
156 end
157
158 if node[:nominatim][:enabled]
159   cron_action = :create
160 else
161   cron_action = :delete
162 end
163
164 template "/etc/cron.d/nominatim" do
165   action cron_action
166   source "cron.erb"
167   owner "root"
168   group "root"
169   mode "0644"
170   variables :bin_directory => "#{source_directory}/utils", :mailto => email_errors
171 end
172
173 template "#{source_directory}/utils/nominatim-update" do
174   source "updater.erb"
175   user "nominatim"
176   group "nominatim"
177   mode 0755
178 end
179
180 template "/etc/init.d/nominatim-update" do
181   source "updater.init.erb"
182   user "nominatim"
183   group "nominatim"
184   mode 0755
185   variables :source_directory => source_directory
186 end
187
188 munin_plugin_conf "nominatim" do
189   template "munin.erb"
190 end
191
192 munin_plugin "nominatim_importlag" do
193   target "#{source_directory}/munin/nominatim_importlag"
194 end
195
196 munin_plugin "nominatim_query_speed" do
197   target "#{source_directory}/munin/nominatim_query_speed_querylog"
198 end
199
200 munin_plugin "nominatim_requests" do
201   target "#{source_directory}/munin/nominatim_requests_querylog"
202 end
203
204 munin_plugin "nominatim_throttled_ips" do
205   target "#{source_directory}/munin/nominatim_throttled_ips"
206 end
207
208 external_data = [
209   "wikipedia_article.sql.bin",
210   "wikipedia_redirect.sql.bin",
211   "gb_postcode_data.sql.gz"
212 ]
213
214 external_data.each do |fname|
215   remote_file "#{source_directory}/data/#{fname}" do
216     action :create_if_missing
217     source "http://www.nominatim.org/data/#{fname}"
218     owner "nominatim"
219     group "nominatim"
220     mode 0644
221   end
222 end
223
224 additional_scripts = %w(backup-nominatim clean-db-nominatim)
225
226 additional_scripts.each do |fname|
227   template "/usr/local/bin/#{fname}" do
228     source "#{fname}.erb"
229     owner "root"
230     group "root"
231     mode 0755
232   end
233 end
234
235 directory File.dirname(node[:nominatim][:flatnode_file]) do
236   owner "nominatim"
237   group "nominatim"
238   mode 0755
239   recursive true
240 end
241
242 directory "/data/postgresql-archive" do
243   owner "postgres"
244   group "postgres"
245   mode 0700
246   only_if { node[:postgresql][:settings][:defaults][:archive_mode] == "on" }
247 end
248
249 apache_site "nominatim.openstreetmap.org" do
250   template "apache.erb"
251   directory source_directory
252   variables :pools => node[:nominatim][:fpm_pools]
253 end
254
255 apache_site "default" do
256   action [:disable]
257 end
258
259 fail2ban_filter "nominatim" do
260   failregex '^<HOST> - - \[[^]]+\] "[^"]+" 429 '
261 end
262
263 fail2ban_jail "nominatim" do
264   filter "nominatim"
265   logpath "/var/log/apache2/nominatim.openstreetmap.org-access.log"
266   ports [80, 443]
267   maxretry 100
268 end