use distro-provided php-db instead of manually installed one
[chef.git] / cookbooks / nominatim / recipes / base.rb
1 #
2 # Cookbook Name:: nominatim
3 # Recipe:: base
4 #
5 # Copyright 2015, OpenStreetMap Foundation
6 #
7 # Licensed under the Apache License, Version 2.0 (the "License");
8 # you may not use this file except in compliance with the License.
9 # You may obtain a copy of the License at
10 #
11 #     http://www.apache.org/licenses/LICENSE-2.0
12 #
13 # Unless required by applicable law or agreed to in writing, software
14 # distributed under the License is distributed on an "AS IS" BASIS,
15 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
16 # See the License for the specific language governing permissions and
17 # limitations under the License.
18 #
19
20 include_recipe "apache::ssl"
21 include_recipe "postgresql"
22
23 package "php5"
24 package "php5-cli"
25 package "php5-pgsql"
26 package "php5-fpm"
27 package "php-pear"
28 package "php-apc"
29 package "php-db"
30
31 apache_module "rewrite"
32 apache_module "proxy"
33 apache_module "proxy_fcgi"
34 apache_module "proxy_http"
35
36 home_directory = data_bag_item("accounts", "nominatim")["home"]
37 source_directory = "#{home_directory}/nominatim"
38 email_errors = data_bag_item("accounts", "lonvia")["email"]
39
40 database_cluster = node[:nominatim][:database][:cluster]
41 database_version = database_cluster.sub(%r{/.*}, "")
42 database_name = node[:nominatim][:database][:dbname]
43
44 postgis_version = node[:nominatim][:database][:postgis]
45
46 service "php5-fpm" do
47   provider Chef::Provider::Service::Upstart
48   action [:enable, :start]
49   supports :status => true, :restart => true, :reload => true
50 end
51
52 node[:nominatim][:fpm_pools].each do |name, data|
53   template "/etc/php5/fpm/pool.d/#{name}.conf" do
54     source "fpm.conf.erb"
55     owner "root"
56     group "root"
57     mode 0644
58     variables data.merge(:name => name, :port => data[:port])
59     notifies :reload, "service[php5-fpm]"
60   end
61 end
62
63 postgresql_munin "nominatim" do
64   cluster database_cluster
65   database database_name
66 end
67
68 directory "/var/log/nominatim" do
69   owner "nominatim"
70   group "nominatim"
71   mode 0755
72 end
73
74 directory "#{home_directory}/status" do
75   owner "nominatim"
76   group "postgres"
77   mode 0775
78 end
79
80 template "/etc/logrotate.d/nominatim" do
81   source "logrotate.nominatim.erb"
82   owner "root"
83   group "root"
84   mode 0644
85 end
86
87 package "osmosis"
88 package "gcc"
89 package "proj-bin"
90 package "libgeos-c1"
91 package "postgresql-#{database_version}-postgis-#{postgis_version}"
92 package "postgresql-server-dev-#{database_version}"
93 package "build-essential"
94 package "libxml2-dev"
95 package "libgeos-dev"
96 package "libgeos++-dev"
97 package "libpq-dev"
98 package "libbz2-dev"
99 package "libtool"
100 package "automake"
101 package "libproj-dev"
102 package "libprotobuf-c0-dev"
103 package "protobuf-c-compiler"
104 package "python-psycopg2"
105 package "libboost-dev"
106 package "libboost-system-dev"
107 package "libboost-filesystem-dev"
108 package "libboost-thread-dev"
109
110 execute "compile_nominatim" do
111   action :nothing
112   command "cd #{source_directory} && ./autogen.sh && ./configure && make"
113   user "nominatim"
114 end
115
116 directory "#{source_directory}/log" do
117   owner "nominatim"
118   group "nominatim"
119   mode 0755
120 end
121
122 template "#{source_directory}/.git/hooks/post-merge" do
123   source "update_source.erb"
124   owner "nominatim"
125   group "nominatim"
126   mode 0755
127   variables :source_directory => source_directory
128 end
129
130 template "#{source_directory}/settings/local.php" do
131   source "nominatim.erb"
132   owner "nominatim"
133   group "nominatim"
134   mode 0664
135   variables :postgres_version => database_version
136 end
137
138 template "#{source_directory}/settings/ip_blocks.conf" do
139   action :create_if_missing
140   source "ipblocks.erb"
141   owner "nominatim"
142   group "nominatim"
143   mode 0664
144 end
145
146 file "#{source_directory}/settings/apache_blocks.conf" do
147   action :create_if_missing
148   owner "nominatim"
149   group "nominatim"
150   mode 0664
151 end
152
153 file "#{source_directory}/settings/ip_blocks.map" do
154   action :create_if_missing
155   owner "nominatim"
156   group "nominatim"
157   mode 0664
158 end
159
160 if node[:nominatim][:enabled]
161   cron_action = :create
162 else
163   cron_action = :delete
164 end
165
166 template "/etc/cron.d/nominatim" do
167   action cron_action
168   source "cron.erb"
169   owner "root"
170   group "root"
171   mode "0644"
172   variables :bin_directory => "#{source_directory}/utils", :mailto => email_errors
173 end
174
175 template "#{source_directory}/utils/nominatim-update" do
176   source "updater.erb"
177   user "nominatim"
178   group "nominatim"
179   mode 0755
180 end
181
182 template "/etc/init.d/nominatim-update" do
183   source "updater.init.erb"
184   user "nominatim"
185   group "nominatim"
186   mode 0755
187   variables :source_directory => source_directory
188 end
189
190 munin_plugin_conf "nominatim" do
191   template "munin.erb"
192 end
193
194 munin_plugin "nominatim_importlag" do
195   target "#{source_directory}/munin/nominatim_importlag"
196 end
197
198 munin_plugin "nominatim_query_speed" do
199   target "#{source_directory}/munin/nominatim_query_speed_querylog"
200 end
201
202 munin_plugin "nominatim_requests" do
203   target "#{source_directory}/munin/nominatim_requests_querylog"
204 end
205
206 munin_plugin "nominatim_throttled_ips" do
207   target "#{source_directory}/munin/nominatim_throttled_ips"
208 end
209
210 external_data = [
211   "wikipedia_article.sql.bin",
212   "wikipedia_redirect.sql.bin",
213   "gb_postcode_data.sql.gz"
214 ]
215
216 external_data.each do |fname|
217   remote_file "#{source_directory}/data/#{fname}" do
218     action :create_if_missing
219     source "http://www.nominatim.org/data/#{fname}"
220     owner "nominatim"
221     group "nominatim"
222     mode 0644
223   end
224 end
225
226 additional_scripts = %w(backup-nominatim vacuum-db-nominatim)
227
228 additional_scripts.each do |fname|
229   template "/usr/local/bin/#{fname}" do
230     source "#{fname}.erb"
231     owner "root"
232     group "root"
233     mode 0755
234   end
235 end
236
237 directory File.dirname(node[:nominatim][:flatnode_file]) do
238   owner "nominatim"
239   group "nominatim"
240   mode 0755
241   recursive true
242 end
243
244 apache_site "nominatim.openstreetmap.org" do
245   template "apache.erb"
246   directory source_directory
247   variables :pools => node[:nominatim][:fpm_pools]
248 end
249
250 apache_site "default" do
251   action [:disable]
252 end
253
254 fail2ban_filter "nominatim" do
255   failregex '^<HOST> - - \[[^]]+\] "[^"]+" 429 '
256 end
257
258 fail2ban_jail "nominatim" do
259   filter "nominatim"
260   logpath "/var/log/apache2/nominatim.openstreetmap.org-access.log"
261   ports [80, 443]
262   maxretry 100
263 end