]> git.openstreetmap.org Git - chef.git/blob - cookbooks/dev/recipes/default.rb
Merge branch 'patch-2' of https://github.com/Tigerfell/chef into pr257
[chef.git] / cookbooks / dev / recipes / default.rb
1 #
2 # Cookbook:: dev
3 # Recipe:: default
4 #
5 # Copyright:: 2011, OpenStreetMap Foundation
6 #
7 # Licensed under the Apache License, Version 2.0 (the "License");
8 # you may not use this file except in compliance with the License.
9 # You may obtain a copy of the License at
10 #
11 #     https://www.apache.org/licenses/LICENSE-2.0
12 #
13 # Unless required by applicable law or agreed to in writing, software
14 # distributed under the License is distributed on an "AS IS" BASIS,
15 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
16 # See the License for the specific language governing permissions and
17 # limitations under the License.
18 #
19
20 require "yaml"
21 require "securerandom"
22
23 include_recipe "apache"
24 include_recipe "passenger"
25 include_recipe "geoipupdate"
26 include_recipe "git"
27 include_recipe "memcached"
28 include_recipe "munin"
29 include_recipe "mysql"
30 include_recipe "nodejs"
31 include_recipe "php::fpm"
32 include_recipe "postgresql"
33 include_recipe "python"
34
35 package %w[
36   php-cgi
37   php-cli
38   php-curl
39   php-db
40   php-imagick
41   php-mysql
42   php-pear
43   php-pgsql
44   php-sqlite3
45   pngcrush
46   pngquant
47   python3
48   python3-bs4
49   python3-cheetah
50   python3-dateutil
51   python3-magic
52   python3-psycopg2
53   python3-gdal
54   g++
55   gcc
56   make
57   autoconf
58   automake
59   libtool
60   libfcgi-dev
61   libxml2-dev
62   libmemcached-dev
63   libboost-regex-dev
64   libboost-system-dev
65   libboost-program-options-dev
66   libboost-date-time-dev
67   libboost-filesystem-dev
68   libboost-locale-dev
69   libpqxx-dev
70   libcrypto++-dev
71   libyajl-dev
72   zlib1g-dev
73 ]
74
75 nodejs_package "svgo"
76
77 python_package "geojson" do
78   python_version "3"
79 end
80
81 apache_module "env"
82 apache_module "expires"
83 apache_module "headers"
84 apache_module "proxy"
85 apache_module "proxy_fcgi"
86 apache_module "rewrite"
87 apache_module "suexec"
88 apache_module "userdir"
89
90 apache_module "wsgi" do
91   package "libapache2-mod-wsgi-py3"
92 end
93
94 package "apache2-suexec-pristine"
95
96 php_fpm "default" do
97   pm_max_children 10
98   pm_start_servers 4
99   pm_min_spare_servers 2
100   pm_max_spare_servers 6
101 end
102
103 php_fpm "www" do
104   action :delete
105 end
106
107 directory "/srv/dev.openstreetmap.org" do
108   owner "root"
109   group "root"
110   mode "755"
111 end
112
113 template "/srv/dev.openstreetmap.org/index.html" do
114   source "dev.html.erb"
115   owner "root"
116   group "root"
117   mode "644"
118 end
119
120 ssl_certificate "dev.openstreetmap.org" do
121   domains "dev.openstreetmap.org"
122   notifies :reload, "service[apache2]"
123 end
124
125 apache_site "dev.openstreetmap.org" do
126   template "apache.dev.erb"
127 end
128
129 package "phppgadmin"
130
131 template "/etc/phppgadmin/config.inc.php" do
132   source "phppgadmin.conf.erb"
133   owner "root"
134   group "root"
135   mode "644"
136 end
137
138 file "/etc/apache2/conf.d/phppgadmin" do
139   action :delete
140 end
141
142 ssl_certificate "phppgadmin.dev.openstreetmap.org" do
143   domains "phppgadmin.dev.openstreetmap.org"
144   notifies :reload, "service[apache2]"
145 end
146
147 apache_site "phppgadmin.dev.openstreetmap.org" do
148   template "apache.phppgadmin.erb"
149 end
150
151 search(:accounts, "*:*").each do |account|
152   name = account["id"]
153   details = node[:accounts][:users][name] || {}
154
155   next unless %w[user administrator].include?(details[:status])
156
157   user_home = details[:home] || account["home"] || "#{node[:accounts][:home]}/#{name}"
158
159   next unless File.directory?("#{user_home}/public_html")
160
161   php_fpm name do
162     user name
163     group name
164     pm_max_children 10
165     pm_start_servers 4
166     pm_min_spare_servers 2
167     pm_max_spare_servers 6
168     pm_max_requests 10000
169     request_terminate_timeout 1800
170     environment "HOSTNAME" => "$HOSTNAME",
171                 "PATH" => "/usr/local/bin:/usr/bin:/bin",
172                 "TMP" => "/tmp",
173                 "TMPDIR" => "/tmp",
174                 "TEMP" => "/tmp"
175     php_values "max_execution_time" => "300",
176                "memory_limit" => "128M",
177                "post_max_size" => "32M",
178                "upload_max_filesize" => "32M"
179     php_admin_values "sendmail_path" => "/usr/sbin/sendmail -t -i -f #{name}@errol.openstreetmap.org",
180                      "open_basedir" => "/home/#{name}/:/tmp/:/usr/share/php/"
181     php_flags "display_errors" => "on"
182   end
183
184   ssl_certificate "#{name}.dev.openstreetmap.org" do
185     domains ["#{name}.dev.openstreetmap.org", "#{name}.dev.osm.org"]
186     notifies :reload, "service[apache2]"
187   end
188
189   apache_site "#{name}.dev.openstreetmap.org" do
190     template "apache.user.erb"
191     directory "#{user_home}/public_html"
192     variables :user => name
193   end
194
195   template "/etc/sudoers.d/#{name}" do
196     source "sudoers.user.erb"
197     owner "root"
198     group "root"
199     mode "440"
200     variables :user => name
201   end
202 end
203
204 if node[:postgresql][:clusters][:"12/main"]
205   postgresql_user "apis" do
206     cluster "12/main"
207   end
208
209   template "/usr/local/bin/cleanup-rails-assets" do
210     cookbook "web"
211     source "cleanup-assets.erb"
212     owner "root"
213     group "root"
214     mode "755"
215   end
216
217   ruby_version = node[:passenger][:ruby_version]
218
219   systemd_service "rails-jobs@" do
220     description "Rails job queue runner"
221     type "simple"
222     user "apis"
223     working_directory "/srv/%i.apis.dev.openstreetmap.org/rails"
224     exec_start "/usr/local/bin/bundle#{ruby_version} exec rake jobs:work"
225     restart "on-failure"
226     private_tmp true
227     private_devices true
228     protect_system "full"
229     protect_home true
230     no_new_privileges true
231   end
232
233   systemd_service "cgimap@" do
234     description "OpenStreetMap API Server"
235     type "forking"
236     environment_file "/etc/default/cgimap-%i"
237     user "apis"
238     exec_start "/srv/%i.apis.dev.openstreetmap.org/cgimap/openstreetmap-cgimap --daemon --port $CGIMAP_PORT --instances 5"
239     exec_reload "/bin/kill -HUP $MAINPID"
240     private_tmp true
241     private_devices true
242     protect_system "full"
243     protect_home true
244     no_new_privileges true
245     restart "on-failure"
246   end
247
248   cgimap_port = 9000
249
250   node[:dev][:rails].each do |name, details|
251     database_name = details[:database] || "apis_#{name}"
252     site_name = "#{name}.apis.dev.openstreetmap.org"
253     site_directory = "/srv/#{name}.apis.dev.openstreetmap.org"
254     log_directory = "#{site_directory}/logs"
255     rails_directory = "#{site_directory}/rails"
256     cgimap_directory = "#{site_directory}/cgimap"
257     gpx_directory = "#{site_directory}/gpx"
258
259     if details[:repository]
260       site_aliases = details[:aliases] || []
261       secret_key_base = persistent_token("dev", "rails", name, "secret_key_base")
262
263       postgresql_database database_name do
264         cluster "12/main"
265         owner "apis"
266       end
267
268       postgresql_extension "#{database_name}_btree_gist" do
269         cluster "12/main"
270         database database_name
271         extension "btree_gist"
272       end
273
274       directory site_directory do
275         owner "apis"
276         group "apis"
277         mode "755"
278       end
279
280       directory log_directory do
281         owner "apis"
282         group "apis"
283         mode "755"
284       end
285
286       directory gpx_directory do
287         owner "apis"
288         group "apis"
289         mode "755"
290       end
291
292       directory "#{gpx_directory}/traces" do
293         owner "apis"
294         group "apis"
295         mode "755"
296       end
297
298       directory "#{gpx_directory}/images" do
299         owner "apis"
300         group "apis"
301         mode "755"
302       end
303
304       rails_port site_name do
305         ruby ruby_version
306         directory rails_directory
307         user "apis"
308         group "apis"
309         repository details[:repository]
310         revision details[:revision]
311         database_port node[:postgresql][:clusters][:"12/main"][:port]
312         database_name database_name
313         database_username "apis"
314         email_from "OpenStreetMap <web@noreply.openstreetmap.org>"
315         gpx_dir gpx_directory
316         log_path "#{log_directory}/rails.log"
317         memcache_servers ["127.0.0.1"]
318         csp_enforce true
319         run_migrations true
320         trace_use_job_queue true
321       end
322
323       template "#{rails_directory}/config/initializers/setup.rb" do
324         source "rails.setup.rb.erb"
325         owner "apis"
326         group "apis"
327         mode "644"
328         variables :site => site_name
329         notifies :restart, "rails_port[#{site_name}]"
330       end
331
332       service "rails-jobs@#{name}" do
333         action [:enable, :start]
334         supports :restart => true
335         subscribes :restart, "rails_port[#{site_name}]"
336         subscribes :restart, "systemd_service[#{name}]"
337         only_if "fgrep -q delayed_job #{rails_directory}/Gemfile.lock"
338       end
339
340       if details[:cgimap_repository]
341         git cgimap_directory do
342           action :sync
343           repository details[:cgimap_repository]
344           revision details[:cgimap_revision]
345           user "apis"
346           group "apis"
347         end
348
349         execute "#{cgimap_directory}/autogen.sh" do
350           action :nothing
351           command "./autogen.sh"
352           cwd cgimap_directory
353           user "apis"
354           group "apis"
355           subscribes :run, "git[#{cgimap_directory}]", :immediate
356         end
357
358         execute "#{cgimap_directory}/configure" do
359           action :nothing
360           command "./configure --with-fcgi=/usr --with-boost-libdir=/usr/lib/x86_64-linux-gnu --enable-yajl"
361           cwd cgimap_directory
362           user "apis"
363           group "apis"
364           subscribes :run, "execute[#{cgimap_directory}/autogen.sh]", :immediate
365         end
366
367         execute "#{cgimap_directory}/Makefile" do
368           action :nothing
369           command "make -j"
370           cwd cgimap_directory
371           user "apis"
372           group "apis"
373           subscribes :run, "execute[#{cgimap_directory}/configure]", :immediate
374           notifies :restart, "service[cgimap@#{name}]"
375         end
376
377         template "/etc/default/cgimap-#{name}" do
378           source "cgimap.environment.erb"
379           owner "root"
380           group "root"
381           mode "640"
382           variables :cgimap_port => cgimap_port,
383                     :database_port => node[:postgresql][:clusters][:"12/main"][:port],
384                     :database_name => database_name,
385                     :log_directory => log_directory
386           notifies :restart, "service[cgimap@#{name}]"
387         end
388
389         service "cgimap@#{name}" do
390           action [:start, :enable]
391         end
392       end
393
394       ssl_certificate site_name do
395         domains [site_name] + site_aliases
396         notifies :reload, "service[apache2]"
397       end
398
399       apache_site site_name do
400         template "apache.rails.erb"
401         variables :application_name => name,
402                   :aliases => site_aliases,
403                   :secret_key_base => secret_key_base,
404                   :cgimap_enabled => details.key?(:cgimap_repository),
405                   :cgimap_port => cgimap_port
406       end
407
408       template "/etc/logrotate.d/apis-#{name}" do
409         source "logrotate.apis.erb"
410         owner "root"
411         group "root"
412         mode "644"
413         variables :name => name,
414                   :log_directory => log_directory,
415                   :rails_directory => rails_directory
416       end
417
418       cgimap_port += 1
419     else
420       file "/etc/logrotate.d/apis-#{name}" do
421         action :delete
422       end
423
424       apache_site site_name do
425         action [:delete]
426       end
427
428       service "cgimap@#{name}" do
429         action [:stop, :disable]
430       end
431
432       file "/etc/default/cgimap-#{name}" do
433         action :delete
434       end
435
436       directory site_directory do
437         action :delete
438         recursive true
439       end
440
441       file "/etc/cron.daily/rails-#{site_name.tr('.', '-')}" do
442         action :delete
443       end
444
445       postgresql_database database_name do
446         action :drop
447         cluster "12/main"
448       end
449     end
450   end
451
452   directory "/srv/apis.dev.openstreetmap.org" do
453     owner "apis"
454     group "apis"
455     mode "755"
456   end
457
458   template "/srv/apis.dev.openstreetmap.org/index.html" do
459     source "apis.html.erb"
460     owner "apis"
461     group "apis"
462     mode "644"
463   end
464
465   ssl_certificate "apis.dev.openstreetmap.org" do
466     domains "apis.dev.openstreetmap.org"
467     notifies :reload, "service[apache2]"
468   end
469
470   apache_site "apis.dev.openstreetmap.org" do
471     template "apache.apis.erb"
472   end
473
474   node[:postgresql][:clusters].each_key do |name|
475     postgresql_munin name do
476       cluster name
477       database "ALL"
478     end
479   end
480 end
481
482 directory "/srv/ooc.openstreetmap.org" do
483   owner "root"
484   group "root"
485   mode "755"
486 end
487
488 remote_directory "/srv/ooc.openstreetmap.org/html" do
489   source "ooc"
490   owner "root"
491   group "root"
492   mode "755"
493   files_owner "root"
494   files_group "root"
495   files_mode "644"
496 end
497
498 ssl_certificate "ooc.openstreetmap.org" do
499   domains ["ooc.openstreetmap.org",
500            "a.ooc.openstreetmap.org",
501            "b.ooc.openstreetmap.org",
502            "c.ooc.openstreetmap.org"]
503   notifies :reload, "service[apache2]"
504 end
505
506 apache_site "ooc.openstreetmap.org" do
507   template "apache.ooc.erb"
508 end