Install GeoLite2 databases on rails machines
[chef.git] / cookbooks / dev / recipes / default.rb
1 #
2 # Cookbook:: dev
3 # Recipe:: default
4 #
5 # Copyright:: 2011, OpenStreetMap Foundation
6 #
7 # Licensed under the Apache License, Version 2.0 (the "License");
8 # you may not use this file except in compliance with the License.
9 # You may obtain a copy of the License at
10 #
11 #     https://www.apache.org/licenses/LICENSE-2.0
12 #
13 # Unless required by applicable law or agreed to in writing, software
14 # distributed under the License is distributed on an "AS IS" BASIS,
15 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
16 # See the License for the specific language governing permissions and
17 # limitations under the License.
18 #
19
20 require "yaml"
21 require "securerandom"
22
23 include_recipe "apache"
24 include_recipe "passenger"
25 include_recipe "geoipupdate"
26 include_recipe "git"
27 include_recipe "memcached"
28 include_recipe "mysql"
29 include_recipe "nodejs"
30 include_recipe "postgresql"
31 include_recipe "python"
32
33 package %w[
34   php
35   php-cgi
36   php-cli
37   php-curl
38   php-db
39   php-fpm
40   php-imagick
41   php-mysql
42   php-pear
43   php-pgsql
44   php-sqlite3
45   pngcrush
46   pngquant
47   python
48   python-argparse
49   python-beautifulsoup
50   python-cheetah
51   python-dateutil
52   python-magic
53   python-psycopg2
54   python-gdal
55   g++
56   gcc
57   make
58   autoconf
59   automake
60   libtool
61   libfcgi-dev
62   libxml2-dev
63   libmemcached-dev
64   libboost-regex-dev
65   libboost-system-dev
66   libboost-program-options-dev
67   libboost-date-time-dev
68   libboost-filesystem-dev
69   libboost-locale-dev
70   libpqxx-dev
71   libcrypto++-dev
72   libyajl-dev
73   zlib1g-dev
74 ]
75
76 nodejs_package "svgo"
77
78 python_package "geojson"
79
80 apache_module "env"
81 apache_module "expires"
82 apache_module "headers"
83 apache_module "proxy"
84 apache_module "proxy_fcgi"
85 apache_module "rewrite"
86 apache_module "suexec"
87 apache_module "userdir"
88 apache_module "wsgi"
89
90 package "apache2-suexec-pristine"
91
92 service "php7.2-fpm" do
93   action [:enable, :start]
94 end
95
96 template "/etc/php/7.2/fpm/pool.d/default.conf" do
97   source "fpm-default.conf.erb"
98   owner "root"
99   group "root"
100   mode 0o644
101   notifies :reload, "service[php7.2-fpm]"
102 end
103
104 file "/etc/php/7.2/fpm/pool.d/www.conf" do
105   action :delete
106   notifies :reload, "service[php7.2-fpm]"
107 end
108
109 directory "/srv/dev.openstreetmap.org" do
110   owner "root"
111   group "root"
112   mode 0o755
113 end
114
115 template "/srv/dev.openstreetmap.org/index.html" do
116   source "dev.html.erb"
117   owner "root"
118   group "root"
119   mode 0o644
120 end
121
122 ssl_certificate "dev.openstreetmap.org" do
123   domains "dev.openstreetmap.org"
124   notifies :reload, "service[apache2]"
125 end
126
127 apache_site "dev.openstreetmap.org" do
128   template "apache.dev.erb"
129 end
130
131 package "phppgadmin"
132
133 template "/etc/phppgadmin/config.inc.php" do
134   source "phppgadmin.conf.erb"
135   owner "root"
136   group "root"
137   mode 0o644
138 end
139
140 file "/etc/apache2/conf.d/phppgadmin" do
141   action :delete
142 end
143
144 ssl_certificate "phppgadmin.dev.openstreetmap.org" do
145   domains "phppgadmin.dev.openstreetmap.org"
146   notifies :reload, "service[apache2]"
147 end
148
149 apache_site "phppgadmin.dev.openstreetmap.org" do
150   template "apache.phppgadmin.erb"
151 end
152
153 search(:accounts, "*:*").each do |account|
154   name = account["id"]
155   details = node[:accounts][:users][name] || {}
156
157   next unless %w[user administrator].include?(details[:status])
158
159   user_home = details[:home] || account["home"] || "#{node[:accounts][:home]}/#{name}"
160
161   next unless File.directory?("#{user_home}/public_html")
162
163   port = 7000 + account["uid"].to_i
164
165   template "/etc/php/7.2/fpm/pool.d/#{name}.conf" do
166     source "fpm.conf.erb"
167     owner "root"
168     group "root"
169     mode 0o644
170     variables :user => name, :port => port
171     notifies :reload, "service[php7.2-fpm]"
172   end
173
174   ssl_certificate "#{name}.dev.openstreetmap.org" do
175     domains ["#{name}.dev.openstreetmap.org", "#{name}.dev.osm.org"]
176     notifies :reload, "service[apache2]"
177   end
178
179   apache_site "#{name}.dev.openstreetmap.org" do
180     template "apache.user.erb"
181     directory "#{user_home}/public_html"
182     variables :user => name, :port => port
183   end
184
185   template "/etc/sudoers.d/#{name}" do
186     source "sudoers.user.erb"
187     owner "root"
188     group "root"
189     mode 0o440
190     variables :user => name
191   end
192 end
193
194 if node[:postgresql][:clusters][:"9.5/main"]
195   postgresql_user "apis" do
196     cluster "9.5/main"
197   end
198
199   template "/usr/local/bin/cleanup-rails-assets" do
200     cookbook "web"
201     source "cleanup-assets.erb"
202     owner "root"
203     group "root"
204     mode 0o755
205   end
206
207   ruby_version = node[:passenger][:ruby_version]
208
209   systemd_service "rails-jobs@" do
210     description "Rails job queue runner"
211     type "simple"
212     user "apis"
213     working_directory "/srv/%i.apis.dev.openstreetmap.org/rails"
214     exec_start "/usr/local/bin/bundle#{ruby_version} exec rake jobs:work"
215     restart "on-failure"
216     private_tmp true
217     private_devices true
218     protect_system "full"
219     protect_home true
220     no_new_privileges true
221   end
222
223   systemd_service "cgimap@" do
224     description "OpenStreetMap API Server"
225     type "forking"
226     environment_file "/etc/default/cgimap-%i"
227     user "apis"
228     exec_start "/srv/%i.apis.dev.openstreetmap.org/cgimap/openstreetmap-cgimap --daemon --port $CGIMAP_PORT --instances 5"
229     exec_reload "/bin/kill -HUP $MAINPID"
230     private_tmp true
231     private_devices true
232     protect_system "full"
233     protect_home true
234     no_new_privileges true
235     restart "on-failure"
236   end
237
238   cgimap_port = 9000
239
240   node[:dev][:rails].each do |name, details|
241     database_name = details[:database] || "apis_#{name}"
242     site_name = "#{name}.apis.dev.openstreetmap.org"
243     site_directory = "/srv/#{name}.apis.dev.openstreetmap.org"
244     log_directory = "#{site_directory}/logs"
245     rails_directory = "#{site_directory}/rails"
246     cgimap_directory = "#{site_directory}/cgimap"
247     gpx_directory = "#{site_directory}/gpx"
248
249     if details[:repository]
250       site_aliases = details[:aliases] || []
251       secret_key_base = details[:secret_key_base] || SecureRandom.base64(96)
252
253       node.normal[:dev][:rails][name][:secret_key_base] = secret_key_base
254
255       postgresql_database database_name do
256         cluster "9.5/main"
257         owner "apis"
258       end
259
260       postgresql_extension "#{database_name}_btree_gist" do
261         cluster "9.5/main"
262         database database_name
263         extension "btree_gist"
264       end
265
266       directory site_directory do
267         owner "apis"
268         group "apis"
269         mode 0o755
270       end
271
272       directory log_directory do
273         owner "apis"
274         group "apis"
275         mode 0o755
276       end
277
278       directory gpx_directory do
279         owner "apis"
280         group "apis"
281         mode 0o755
282       end
283
284       directory "#{gpx_directory}/traces" do
285         owner "apis"
286         group "apis"
287         mode 0o755
288       end
289
290       directory "#{gpx_directory}/images" do
291         owner "apis"
292         group "apis"
293         mode 0o755
294       end
295
296       rails_port site_name do
297         ruby ruby_version
298         directory rails_directory
299         user "apis"
300         group "apis"
301         repository details[:repository]
302         revision details[:revision]
303         database_port node[:postgresql][:clusters][:"9.5/main"][:port]
304         database_name database_name
305         database_username "apis"
306         gpx_dir gpx_directory
307         log_path "#{log_directory}/rails.log"
308         memcache_servers ["127.0.0.1"]
309         csp_enforce true
310         run_migrations true
311         trace_use_job_queue true
312       end
313
314       template "#{rails_directory}/config/initializers/setup.rb" do
315         source "rails.setup.rb.erb"
316         owner "apis"
317         group "apis"
318         mode 0o644
319         variables :site => site_name
320         notifies :restart, "rails_port[#{site_name}]"
321       end
322
323       service "rails-jobs@#{name}" do
324         action [:enable, :start]
325         supports :restart => true
326         subscribes :restart, "rails_port[#{site_name}]"
327         subscribes :restart, "systemd_service[#{name}]"
328         only_if "fgrep -q delayed_job #{rails_directory}/Gemfile.lock"
329       end
330
331       if details[:cgimap_repository]
332         git cgimap_directory do
333           action :sync
334           repository details[:cgimap_repository]
335           revision details[:cgimap_revision]
336           user "apis"
337           group "apis"
338         end
339
340         execute "#{cgimap_directory}/autogen.sh" do
341           action :nothing
342           command "./autogen.sh"
343           cwd cgimap_directory
344           user "apis"
345           group "apis"
346           subscribes :run, "git[#{cgimap_directory}]", :immediate
347         end
348
349         execute "#{cgimap_directory}/configure" do
350           action :nothing
351           command "./configure --with-fcgi=/usr --with-boost-libdir=/usr/lib/x86_64-linux-gnu --enable-yajl"
352           cwd cgimap_directory
353           user "apis"
354           group "apis"
355           subscribes :run, "execute[#{cgimap_directory}/autogen.sh]", :immediate
356         end
357
358         execute "#{cgimap_directory}/Makefile" do
359           action :nothing
360           command "make -j"
361           cwd cgimap_directory
362           user "apis"
363           group "apis"
364           subscribes :run, "execute[#{cgimap_directory}/configure]", :immediate
365           notifies :restart, "service[cgimap@#{name}]"
366         end
367
368         template "/etc/default/cgimap-#{name}" do
369           source "cgimap.environment.erb"
370           owner "root"
371           group "root"
372           mode 0o640
373           variables :cgimap_port => cgimap_port,
374                     :database_port => node[:postgresql][:clusters][:"9.5/main"][:port],
375                     :database_name => database_name,
376                     :log_directory => log_directory
377           notifies :restart, "service[cgimap@#{name}]"
378         end
379
380         service "cgimap@#{name}" do
381           action [:start, :enable]
382         end
383       end
384
385       ssl_certificate site_name do
386         domains [site_name] + site_aliases
387         notifies :reload, "service[apache2]"
388       end
389
390       apache_site site_name do
391         template "apache.rails.erb"
392         variables :application_name => name,
393                   :aliases => site_aliases,
394                   :secret_key_base => secret_key_base,
395                   :cgimap_enabled => details.key?(:cgimap_repository),
396                   :cgimap_port => cgimap_port
397       end
398
399       template "/etc/logrotate.d/apis-#{name}" do
400         source "logrotate.apis.erb"
401         owner "root"
402         group "root"
403         mode 0o644
404         variables :name => name,
405                   :log_directory => log_directory,
406                   :rails_directory => rails_directory
407       end
408
409       cgimap_port += 1
410     else
411       file "/etc/logrotate.d/apis-#{name}" do
412         action :delete
413       end
414
415       apache_site site_name do
416         action [:delete]
417       end
418
419       service "cgimap@#{name}" do
420         action [:stop, :disable]
421       end
422
423       file "/etc/default/cgimap-#{name}" do
424         action :delete
425       end
426
427       directory site_directory do
428         action :delete
429         recursive true
430       end
431
432       file "/etc/cron.daily/rails-#{site_name.tr('.', '-')}" do
433         action :delete
434       end
435
436       postgresql_database database_name do
437         action :drop
438         cluster "9.5/main"
439       end
440
441       node.normal[:dev][:rails].delete(name)
442     end
443   end
444
445   directory "/srv/apis.dev.openstreetmap.org" do
446     owner "apis"
447     group "apis"
448     mode 0o755
449   end
450
451   template "/srv/apis.dev.openstreetmap.org/index.html" do
452     source "apis.html.erb"
453     owner "apis"
454     group "apis"
455     mode 0o644
456   end
457
458   ssl_certificate "apis.dev.openstreetmap.org" do
459     domains "apis.dev.openstreetmap.org"
460     notifies :reload, "service[apache2]"
461   end
462
463   apache_site "apis.dev.openstreetmap.org" do
464     template "apache.apis.erb"
465   end
466
467   node[:postgresql][:clusters].each_key do |name|
468     postgresql_munin name do
469       cluster name
470       database "ALL"
471     end
472   end
473 end
474
475 directory "/srv/ooc.openstreetmap.org" do
476   owner "root"
477   group "root"
478   mode 0o755
479 end
480
481 remote_directory "/srv/ooc.openstreetmap.org/html" do
482   source "ooc"
483   owner "root"
484   group "root"
485   mode 0o755
486   files_owner "root"
487   files_group "root"
488   files_mode 0o644
489 end
490
491 ssl_certificate "ooc.openstreetmap.org" do
492   domains ["ooc.openstreetmap.org",
493            "a.ooc.openstreetmap.org",
494            "b.ooc.openstreetmap.org",
495            "c.ooc.openstreetmap.org"]
496   notifies :reload, "service[apache2]"
497 end
498
499 apache_site "ooc.openstreetmap.org" do
500   template "apache.ooc.erb"
501 end