Fix typo in microcosms name
[chef.git] / cookbooks / dev / recipes / default.rb
1 #
2 # Cookbook:: dev
3 # Recipe:: default
4 #
5 # Copyright:: 2011, OpenStreetMap Foundation
6 #
7 # Licensed under the Apache License, Version 2.0 (the "License");
8 # you may not use this file except in compliance with the License.
9 # You may obtain a copy of the License at
10 #
11 #     https://www.apache.org/licenses/LICENSE-2.0
12 #
13 # Unless required by applicable law or agreed to in writing, software
14 # distributed under the License is distributed on an "AS IS" BASIS,
15 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
16 # See the License for the specific language governing permissions and
17 # limitations under the License.
18 #
19
20 require "yaml"
21 require "securerandom"
22
23 include_recipe "apache"
24 include_recipe "passenger"
25 include_recipe "geoipupdate"
26 include_recipe "git"
27 include_recipe "memcached"
28 include_recipe "munin"
29 include_recipe "mysql"
30 include_recipe "nodejs"
31 include_recipe "php::fpm"
32 include_recipe "postgresql"
33 include_recipe "python"
34
35 package %w[
36   php-cgi
37   php-cli
38   php-curl
39   php-db
40   php-imagick
41   php-mysql
42   php-pear
43   php-pgsql
44   php-sqlite3
45   pngcrush
46   pngquant
47   python
48   python-argparse
49   python-beautifulsoup
50   python-cheetah
51   python-dateutil
52   python-magic
53   python-psycopg2
54   python-gdal
55   g++
56   gcc
57   make
58   autoconf
59   automake
60   libtool
61   libfcgi-dev
62   libxml2-dev
63   libmemcached-dev
64   libboost-regex-dev
65   libboost-system-dev
66   libboost-program-options-dev
67   libboost-date-time-dev
68   libboost-filesystem-dev
69   libboost-locale-dev
70   libpqxx-dev
71   libcrypto++-dev
72   libyajl-dev
73   zlib1g-dev
74 ]
75
76 nodejs_package "svgo"
77
78 python_package "geojson"
79
80 apache_module "env"
81 apache_module "expires"
82 apache_module "headers"
83 apache_module "proxy"
84 apache_module "proxy_fcgi"
85 apache_module "rewrite"
86 apache_module "suexec"
87 apache_module "userdir"
88 apache_module "wsgi"
89
90 package "apache2-suexec-pristine"
91
92 php_fpm "default" do
93   template "fpm-default.conf.erb"
94 end
95
96 php_fpm "www" do
97   action :delete
98 end
99
100 directory "/srv/dev.openstreetmap.org" do
101   owner "root"
102   group "root"
103   mode 0o755
104 end
105
106 template "/srv/dev.openstreetmap.org/index.html" do
107   source "dev.html.erb"
108   owner "root"
109   group "root"
110   mode 0o644
111 end
112
113 ssl_certificate "dev.openstreetmap.org" do
114   domains "dev.openstreetmap.org"
115   notifies :reload, "service[apache2]"
116 end
117
118 apache_site "dev.openstreetmap.org" do
119   template "apache.dev.erb"
120 end
121
122 package "phppgadmin"
123
124 template "/etc/phppgadmin/config.inc.php" do
125   source "phppgadmin.conf.erb"
126   owner "root"
127   group "root"
128   mode 0o644
129 end
130
131 file "/etc/apache2/conf.d/phppgadmin" do
132   action :delete
133 end
134
135 ssl_certificate "phppgadmin.dev.openstreetmap.org" do
136   domains "phppgadmin.dev.openstreetmap.org"
137   notifies :reload, "service[apache2]"
138 end
139
140 apache_site "phppgadmin.dev.openstreetmap.org" do
141   template "apache.phppgadmin.erb"
142 end
143
144 search(:accounts, "*:*").each do |account|
145   name = account["id"]
146   details = node[:accounts][:users][name] || {}
147
148   next unless %w[user administrator].include?(details[:status])
149
150   user_home = details[:home] || account["home"] || "#{node[:accounts][:home]}/#{name}"
151
152   next unless File.directory?("#{user_home}/public_html")
153
154   port = 7000 + account["uid"].to_i
155
156   php_fpm name do
157     template "fpm.conf.erb"
158     variables :user => name, :port => port
159   end
160
161   ssl_certificate "#{name}.dev.openstreetmap.org" do
162     domains ["#{name}.dev.openstreetmap.org", "#{name}.dev.osm.org"]
163     notifies :reload, "service[apache2]"
164   end
165
166   apache_site "#{name}.dev.openstreetmap.org" do
167     template "apache.user.erb"
168     directory "#{user_home}/public_html"
169     variables :user => name, :port => port
170   end
171
172   template "/etc/sudoers.d/#{name}" do
173     source "sudoers.user.erb"
174     owner "root"
175     group "root"
176     mode 0o440
177     variables :user => name
178   end
179 end
180
181 if node[:postgresql][:clusters][:"12/main"]
182   postgresql_user "apis" do
183     cluster "12/main"
184   end
185
186   template "/usr/local/bin/cleanup-rails-assets" do
187     cookbook "web"
188     source "cleanup-assets.erb"
189     owner "root"
190     group "root"
191     mode 0o755
192   end
193
194   ruby_version = node[:passenger][:ruby_version]
195
196   systemd_service "rails-jobs@" do
197     description "Rails job queue runner"
198     type "simple"
199     user "apis"
200     working_directory "/srv/%i.apis.dev.openstreetmap.org/rails"
201     exec_start "/usr/local/bin/bundle#{ruby_version} exec rake jobs:work"
202     restart "on-failure"
203     private_tmp true
204     private_devices true
205     protect_system "full"
206     protect_home true
207     no_new_privileges true
208   end
209
210   systemd_service "cgimap@" do
211     description "OpenStreetMap API Server"
212     type "forking"
213     environment_file "/etc/default/cgimap-%i"
214     user "apis"
215     exec_start "/srv/%i.apis.dev.openstreetmap.org/cgimap/openstreetmap-cgimap --daemon --port $CGIMAP_PORT --instances 5"
216     exec_reload "/bin/kill -HUP $MAINPID"
217     private_tmp true
218     private_devices true
219     protect_system "full"
220     protect_home true
221     no_new_privileges true
222     restart "on-failure"
223   end
224
225   cgimap_port = 9000
226
227   node[:dev][:rails].each do |name, details|
228     database_name = details[:database] || "apis_#{name}"
229     site_name = "#{name}.apis.dev.openstreetmap.org"
230     site_directory = "/srv/#{name}.apis.dev.openstreetmap.org"
231     log_directory = "#{site_directory}/logs"
232     rails_directory = "#{site_directory}/rails"
233     cgimap_directory = "#{site_directory}/cgimap"
234     gpx_directory = "#{site_directory}/gpx"
235
236     if details[:repository]
237       site_aliases = details[:aliases] || []
238       secret_key_base = details[:secret_key_base] || SecureRandom.base64(96)
239
240       node.normal[:dev][:rails][name][:secret_key_base] = secret_key_base
241
242       postgresql_database database_name do
243         cluster "12/main"
244         owner "apis"
245       end
246
247       postgresql_extension "#{database_name}_btree_gist" do
248         cluster "12/main"
249         database database_name
250         extension "btree_gist"
251       end
252
253       directory site_directory do
254         owner "apis"
255         group "apis"
256         mode 0o755
257       end
258
259       directory log_directory do
260         owner "apis"
261         group "apis"
262         mode 0o755
263       end
264
265       directory gpx_directory do
266         owner "apis"
267         group "apis"
268         mode 0o755
269       end
270
271       directory "#{gpx_directory}/traces" do
272         owner "apis"
273         group "apis"
274         mode 0o755
275       end
276
277       directory "#{gpx_directory}/images" do
278         owner "apis"
279         group "apis"
280         mode 0o755
281       end
282
283       rails_port site_name do
284         ruby ruby_version
285         directory rails_directory
286         user "apis"
287         group "apis"
288         repository details[:repository]
289         revision details[:revision]
290         database_port node[:postgresql][:clusters][:"12/main"][:port]
291         database_name database_name
292         database_username "apis"
293         gpx_dir gpx_directory
294         log_path "#{log_directory}/rails.log"
295         memcache_servers ["127.0.0.1"]
296         csp_enforce true
297         run_migrations true
298         trace_use_job_queue true
299       end
300
301       template "#{rails_directory}/config/initializers/setup.rb" do
302         source "rails.setup.rb.erb"
303         owner "apis"
304         group "apis"
305         mode 0o644
306         variables :site => site_name
307         notifies :restart, "rails_port[#{site_name}]"
308       end
309
310       service "rails-jobs@#{name}" do
311         action [:enable, :start]
312         supports :restart => true
313         subscribes :restart, "rails_port[#{site_name}]"
314         subscribes :restart, "systemd_service[#{name}]"
315         only_if "fgrep -q delayed_job #{rails_directory}/Gemfile.lock"
316       end
317
318       if details[:cgimap_repository]
319         git cgimap_directory do
320           action :sync
321           repository details[:cgimap_repository]
322           revision details[:cgimap_revision]
323           user "apis"
324           group "apis"
325         end
326
327         execute "#{cgimap_directory}/autogen.sh" do
328           action :nothing
329           command "./autogen.sh"
330           cwd cgimap_directory
331           user "apis"
332           group "apis"
333           subscribes :run, "git[#{cgimap_directory}]", :immediate
334         end
335
336         execute "#{cgimap_directory}/configure" do
337           action :nothing
338           command "./configure --with-fcgi=/usr --with-boost-libdir=/usr/lib/x86_64-linux-gnu --enable-yajl"
339           cwd cgimap_directory
340           user "apis"
341           group "apis"
342           subscribes :run, "execute[#{cgimap_directory}/autogen.sh]", :immediate
343         end
344
345         execute "#{cgimap_directory}/Makefile" do
346           action :nothing
347           command "make -j"
348           cwd cgimap_directory
349           user "apis"
350           group "apis"
351           subscribes :run, "execute[#{cgimap_directory}/configure]", :immediate
352           notifies :restart, "service[cgimap@#{name}]"
353         end
354
355         template "/etc/default/cgimap-#{name}" do
356           source "cgimap.environment.erb"
357           owner "root"
358           group "root"
359           mode 0o640
360           variables :cgimap_port => cgimap_port,
361                     :database_port => node[:postgresql][:clusters][:"12/main"][:port],
362                     :database_name => database_name,
363                     :log_directory => log_directory
364           notifies :restart, "service[cgimap@#{name}]"
365         end
366
367         service "cgimap@#{name}" do
368           action [:start, :enable]
369         end
370       end
371
372       ssl_certificate site_name do
373         domains [site_name] + site_aliases
374         notifies :reload, "service[apache2]"
375       end
376
377       apache_site site_name do
378         template "apache.rails.erb"
379         variables :application_name => name,
380                   :aliases => site_aliases,
381                   :secret_key_base => secret_key_base,
382                   :cgimap_enabled => details.key?(:cgimap_repository),
383                   :cgimap_port => cgimap_port
384       end
385
386       template "/etc/logrotate.d/apis-#{name}" do
387         source "logrotate.apis.erb"
388         owner "root"
389         group "root"
390         mode 0o644
391         variables :name => name,
392                   :log_directory => log_directory,
393                   :rails_directory => rails_directory
394       end
395
396       cgimap_port += 1
397     else
398       file "/etc/logrotate.d/apis-#{name}" do
399         action :delete
400       end
401
402       apache_site site_name do
403         action [:delete]
404       end
405
406       service "cgimap@#{name}" do
407         action [:stop, :disable]
408       end
409
410       file "/etc/default/cgimap-#{name}" do
411         action :delete
412       end
413
414       directory site_directory do
415         action :delete
416         recursive true
417       end
418
419       file "/etc/cron.daily/rails-#{site_name.tr('.', '-')}" do
420         action :delete
421       end
422
423       postgresql_database database_name do
424         action :drop
425         cluster "12/main"
426       end
427
428       node.normal[:dev][:rails].delete(name)
429     end
430   end
431
432   directory "/srv/apis.dev.openstreetmap.org" do
433     owner "apis"
434     group "apis"
435     mode 0o755
436   end
437
438   template "/srv/apis.dev.openstreetmap.org/index.html" do
439     source "apis.html.erb"
440     owner "apis"
441     group "apis"
442     mode 0o644
443   end
444
445   ssl_certificate "apis.dev.openstreetmap.org" do
446     domains "apis.dev.openstreetmap.org"
447     notifies :reload, "service[apache2]"
448   end
449
450   apache_site "apis.dev.openstreetmap.org" do
451     template "apache.apis.erb"
452   end
453
454   node[:postgresql][:clusters].each_key do |name|
455     postgresql_munin name do
456       cluster name
457       database "ALL"
458     end
459   end
460 end
461
462 directory "/srv/ooc.openstreetmap.org" do
463   owner "root"
464   group "root"
465   mode 0o755
466 end
467
468 remote_directory "/srv/ooc.openstreetmap.org/html" do
469   source "ooc"
470   owner "root"
471   group "root"
472   mode 0o755
473   files_owner "root"
474   files_group "root"
475   files_mode 0o644
476 end
477
478 ssl_certificate "ooc.openstreetmap.org" do
479   domains ["ooc.openstreetmap.org",
480            "a.ooc.openstreetmap.org",
481            "b.ooc.openstreetmap.org",
482            "c.ooc.openstreetmap.org"]
483   notifies :reload, "service[apache2]"
484 end
485
486 apache_site "ooc.openstreetmap.org" do
487   template "apache.ooc.erb"
488 end