]> git.openstreetmap.org Git - chef.git/blob - cookbooks/dev/recipes/default.rb
63d82b37d2774e22c577effb0f89609589f7aab4
[chef.git] / cookbooks / dev / recipes / default.rb
1 #
2 # Cookbook Name:: dev
3 # Recipe:: default
4 #
5 # Copyright 2011, OpenStreetMap Foundation
6 #
7 # Licensed under the Apache License, Version 2.0 (the "License");
8 # you may not use this file except in compliance with the License.
9 # You may obtain a copy of the License at
10 #
11 #     https://www.apache.org/licenses/LICENSE-2.0
12 #
13 # Unless required by applicable law or agreed to in writing, software
14 # distributed under the License is distributed on an "AS IS" BASIS,
15 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
16 # See the License for the specific language governing permissions and
17 # limitations under the License.
18 #
19
20 require "yaml"
21 require "securerandom"
22
23 include_recipe "apache"
24 include_recipe "passenger"
25 include_recipe "git"
26 include_recipe "memcached"
27 include_recipe "mysql"
28 include_recipe "nodejs"
29 include_recipe "postgresql"
30 include_recipe "python"
31
32 package %w[
33   php
34   php-cgi
35   php-cli
36   php-curl
37   php-db
38   php-fpm
39   php-imagick
40   php-mysql
41   php-pear
42   php-pgsql
43   php-sqlite3
44   pngcrush
45   pngquant
46   python
47   python-argparse
48   python-beautifulsoup
49   python-cheetah
50   python-dateutil
51   python-magic
52   python-psycopg2
53   python-gdal
54   g++
55   gcc
56   make
57   autoconf
58   automake
59   libtool
60   libfcgi-dev
61   libxml2-dev
62   libmemcached-dev
63   libboost-regex-dev
64   libboost-system-dev
65   libboost-program-options-dev
66   libboost-date-time-dev
67   libboost-filesystem-dev
68   libboost-locale-dev
69   libpqxx-dev
70   libcrypto++-dev
71   libyajl-dev
72   zlib1g-dev
73 ]
74
75 nodejs_package "svgo"
76
77 python_package "geojson"
78
79 apache_module "env"
80 apache_module "expires"
81 apache_module "headers"
82 apache_module "proxy"
83 apache_module "proxy_fcgi"
84 apache_module "rewrite"
85 apache_module "suexec"
86 apache_module "userdir"
87 apache_module "wsgi"
88
89 package "apache2-suexec-pristine"
90
91 service "php7.2-fpm" do
92   action [:enable, :start]
93 end
94
95 template "/etc/php/7.2/fpm/pool.d/default.conf" do
96   source "fpm-default.conf.erb"
97   owner "root"
98   group "root"
99   mode 0o644
100   notifies :reload, "service[php7.2-fpm]"
101 end
102
103 file "/etc/php/7.2/fpm/pool.d/www.conf" do
104   action :delete
105   notifies :reload, "service[php7.2-fpm]"
106 end
107
108 directory "/srv/dev.openstreetmap.org" do
109   owner "root"
110   group "root"
111   mode 0o755
112 end
113
114 template "/srv/dev.openstreetmap.org/index.html" do
115   source "dev.html.erb"
116   owner "root"
117   group "root"
118   mode 0o644
119 end
120
121 ssl_certificate "dev.openstreetmap.org" do
122   domains "dev.openstreetmap.org"
123   notifies :reload, "service[apache2]"
124 end
125
126 apache_site "dev.openstreetmap.org" do
127   template "apache.dev.erb"
128 end
129
130 package "phppgadmin"
131
132 template "/etc/phppgadmin/config.inc.php" do
133   source "phppgadmin.conf.erb"
134   owner "root"
135   group "root"
136   mode 0o644
137 end
138
139 file "/etc/apache2/conf.d/phppgadmin" do
140   action :delete
141 end
142
143 ssl_certificate "phppgadmin.dev.openstreetmap.org" do
144   domains "phppgadmin.dev.openstreetmap.org"
145   notifies :reload, "service[apache2]"
146 end
147
148 apache_site "phppgadmin.dev.openstreetmap.org" do
149   template "apache.phppgadmin.erb"
150 end
151
152 search(:accounts, "*:*").each do |account|
153   name = account["id"]
154   details = node[:accounts][:users][name] || {}
155
156   next unless %w[user administrator].include?(details[:status])
157
158   user_home = details[:home] || account["home"] || "#{node[:accounts][:home]}/#{name}"
159
160   next unless File.directory?("#{user_home}/public_html")
161
162   port = 7000 + account["uid"].to_i
163
164   template "/etc/php/7.2/fpm/pool.d/#{name}.conf" do
165     source "fpm.conf.erb"
166     owner "root"
167     group "root"
168     mode 0o644
169     variables :user => name, :port => port
170     notifies :reload, "service[php7.2-fpm]"
171   end
172
173   ssl_certificate "#{name}.dev.openstreetmap.org" do
174     domains ["#{name}.dev.openstreetmap.org", "#{name}.dev.osm.org"]
175     notifies :reload, "service[apache2]"
176   end
177
178   apache_site "#{name}.dev.openstreetmap.org" do
179     template "apache.user.erb"
180     directory "#{user_home}/public_html"
181     variables :user => name, :port => port
182   end
183
184   template "/etc/sudoers.d/#{name}" do
185     source "sudoers.user.erb"
186     owner "root"
187     group "root"
188     mode 0o440
189     variables :user => name
190   end
191 end
192
193 if node[:postgresql][:clusters][:"9.5/main"]
194   postgresql_user "apis" do
195     cluster "9.5/main"
196   end
197
198   template "/usr/local/bin/cleanup-rails-assets" do
199     cookbook "web"
200     source "cleanup-assets.erb"
201     owner "root"
202     group "root"
203     mode 0o755
204   end
205
206   ruby_version = node[:passenger][:ruby_version]
207
208   systemd_service "rails-jobs@" do
209     description "Rails job queue runner"
210     type "simple"
211     user "apis"
212     working_directory "/srv/%i.apis.dev.openstreetmap.org/rails"
213     exec_start "/usr/local/bin/bundle#{ruby_version} exec rake jobs:work"
214     restart "on-failure"
215     private_tmp true
216     private_devices true
217     protect_system "full"
218     protect_home true
219     no_new_privileges true
220   end
221
222   systemd_service "cgimap@" do
223     description "OpenStreetMap API Server"
224     type "forking"
225     environment_file "/etc/default/cgimap-%i"
226     user "apis"
227     exec_start "/srv/%i.apis.dev.openstreetmap.org/cgimap/openstreetmap-cgimap --daemon --port $CGIMAP_PORT --instances 5"
228     exec_reload "/bin/kill -HUP $MAINPID"
229     private_tmp true
230     private_devices true
231     protect_system "full"
232     protect_home true
233     no_new_privileges true
234     restart "on-failure"
235   end
236
237   cgimap_port = 9000
238
239   node[:dev][:rails].each do |name, details|
240     database_name = details[:database] || "apis_#{name}"
241     site_name = "#{name}.apis.dev.openstreetmap.org"
242     site_directory = "/srv/#{name}.apis.dev.openstreetmap.org"
243     log_directory = "#{site_directory}/logs"
244     rails_directory = "#{site_directory}/rails"
245     cgimap_directory = "#{site_directory}/cgimap"
246     gpx_directory = "#{site_directory}/gpx"
247
248     if details[:repository]
249       site_aliases = details[:aliases] || []
250       secret_key_base = details[:secret_key_base] || SecureRandom.base64(96)
251
252       node.normal[:dev][:rails][name][:secret_key_base] = secret_key_base
253
254       postgresql_database database_name do
255         cluster "9.5/main"
256         owner "apis"
257       end
258
259       postgresql_extension "#{database_name}_btree_gist" do
260         cluster "9.5/main"
261         database database_name
262         extension "btree_gist"
263       end
264
265       directory site_directory do
266         owner "apis"
267         group "apis"
268         mode 0o755
269       end
270
271       directory log_directory do
272         owner "apis"
273         group "apis"
274         mode 0o755
275       end
276
277       directory gpx_directory do
278         owner "apis"
279         group "apis"
280         mode 0o755
281       end
282
283       directory "#{gpx_directory}/traces" do
284         owner "apis"
285         group "apis"
286         mode 0o755
287       end
288
289       directory "#{gpx_directory}/images" do
290         owner "apis"
291         group "apis"
292         mode 0o755
293       end
294
295       rails_port site_name do
296         ruby ruby_version
297         directory rails_directory
298         user "apis"
299         group "apis"
300         repository details[:repository]
301         revision details[:revision]
302         database_port node[:postgresql][:clusters][:"9.5/main"][:port]
303         database_name database_name
304         database_username "apis"
305         gpx_dir gpx_directory
306         log_path "#{log_directory}/rails.log"
307         memcache_servers ["127.0.0.1"]
308         csp_enforce true
309         run_migrations true
310         trace_use_job_queue true
311       end
312
313       template "#{rails_directory}/config/initializers/setup.rb" do
314         source "rails.setup.rb.erb"
315         owner "apis"
316         group "apis"
317         mode 0o644
318         variables :site => site_name
319         notifies :restart, "rails_port[#{site_name}]"
320       end
321
322       service "rails-jobs@#{name}" do
323         action [:enable, :start]
324         supports :restart => true
325         subscribes :restart, "rails_port[#{site_name}]"
326         subscribes :restart, "systemd_service[#{name}]"
327         only_if "fgrep -q delayed_job #{rails_directory}/Gemfile.lock"
328       end
329
330       if details[:cgimap_repository]
331         git cgimap_directory do
332           action :sync
333           repository details[:cgimap_repository]
334           revision details[:cgimap_revision]
335           user "apis"
336           group "apis"
337         end
338
339         execute "#{cgimap_directory}/autogen.sh" do
340           action :nothing
341           command "./autogen.sh"
342           cwd cgimap_directory
343           user "apis"
344           group "apis"
345           subscribes :run, "git[#{cgimap_directory}]", :immediate
346         end
347
348         execute "#{cgimap_directory}/configure" do
349           action :nothing
350           command "./configure --with-fcgi=/usr --with-boost-libdir=/usr/lib/x86_64-linux-gnu --enable-yajl"
351           cwd cgimap_directory
352           user "apis"
353           group "apis"
354           subscribes :run, "execute[#{cgimap_directory}/autogen.sh]", :immediate
355         end
356
357         execute "#{cgimap_directory}/Makefile" do
358           action :nothing
359           command "make -j"
360           cwd cgimap_directory
361           user "apis"
362           group "apis"
363           subscribes :run, "execute[#{cgimap_directory}/configure]", :immediate
364           notifies :restart, "service[cgimap@#{name}]"
365         end
366
367         template "/etc/default/cgimap-#{name}" do
368           source "cgimap.environment.erb"
369           owner "root"
370           group "root"
371           mode 0o640
372           variables :cgimap_port => cgimap_port,
373                     :database_port => node[:postgresql][:clusters][:"9.5/main"][:port],
374                     :database_name => database_name,
375                     :log_directory => log_directory
376           notifies :restart, "service[cgimap@#{name}]"
377         end
378
379         service "cgimap@#{name}" do
380           action [:start, :enable]
381         end
382       end
383
384       ssl_certificate site_name do
385         domains [site_name] + site_aliases
386         notifies :reload, "service[apache2]"
387       end
388
389       apache_site site_name do
390         template "apache.rails.erb"
391         variables :application_name => name,
392                   :aliases => site_aliases,
393                   :secret_key_base => secret_key_base,
394                   :cgimap_enabled => details.key?(:cgimap_repository),
395                   :cgimap_port => cgimap_port
396       end
397
398       template "/etc/logrotate.d/apis-#{name}" do
399         source "logrotate.apis.erb"
400         owner "root"
401         group "root"
402         mode 0o644
403         variables :name => name,
404                   :log_directory => log_directory,
405                   :rails_directory => rails_directory
406       end
407
408       cgimap_port += 1
409     else
410       file "/etc/logrotate.d/apis-#{name}" do
411         action :delete
412       end
413
414       apache_site site_name do
415         action [:delete]
416       end
417
418       service "cgimap@#{name}" do
419         action [:stop, :disable]
420       end
421
422       file "/etc/default/cgimap-#{name}" do
423         action :delete
424       end
425
426       directory site_directory do
427         action :delete
428         recursive true
429       end
430
431       file "/etc/cron.daily/rails-#{site_name.tr('.', '-')}" do
432         action :delete
433       end
434
435       postgresql_database database_name do
436         action :drop
437         cluster "9.5/main"
438       end
439
440       node.normal[:dev][:rails].delete(name)
441     end
442   end
443
444   directory "/srv/apis.dev.openstreetmap.org" do
445     owner "apis"
446     group "apis"
447     mode 0o755
448   end
449
450   template "/srv/apis.dev.openstreetmap.org/index.html" do
451     source "apis.html.erb"
452     owner "apis"
453     group "apis"
454     mode 0o644
455   end
456
457   ssl_certificate "apis.dev.openstreetmap.org" do
458     domains "apis.dev.openstreetmap.org"
459     notifies :reload, "service[apache2]"
460   end
461
462   apache_site "apis.dev.openstreetmap.org" do
463     template "apache.apis.erb"
464   end
465
466   node[:postgresql][:clusters].each_key do |name|
467     postgresql_munin name do
468       cluster name
469       database "ALL"
470     end
471   end
472 end
473
474 directory "/srv/ooc.openstreetmap.org" do
475   owner "root"
476   group "root"
477   mode 0o755
478 end
479
480 remote_directory "/srv/ooc.openstreetmap.org/html" do
481   source "ooc"
482   owner "root"
483   group "root"
484   mode 0o755
485   files_owner "root"
486   files_group "root"
487   files_mode 0o644
488 end
489
490 ssl_certificate "ooc.openstreetmap.org" do
491   domains ["ooc.openstreetmap.org",
492            "a.ooc.openstreetmap.org",
493            "b.ooc.openstreetmap.org",
494            "c.ooc.openstreetmap.org"]
495   notifies :reload, "service[apache2]"
496 end
497
498 apache_site "ooc.openstreetmap.org" do
499   template "apache.ooc.erb"
500 end