]> git.openstreetmap.org Git - chef.git/blob - cookbooks/dev/recipes/default.rb
Merge remote-tracking branch 'github/pull/508'
[chef.git] / cookbooks / dev / recipes / default.rb
1 #
2 # Cookbook:: dev
3 # Recipe:: default
4 #
5 # Copyright:: 2011, OpenStreetMap Foundation
6 #
7 # Licensed under the Apache License, Version 2.0 (the "License");
8 # you may not use this file except in compliance with the License.
9 # You may obtain a copy of the License at
10 #
11 #     https://www.apache.org/licenses/LICENSE-2.0
12 #
13 # Unless required by applicable law or agreed to in writing, software
14 # distributed under the License is distributed on an "AS IS" BASIS,
15 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
16 # See the License for the specific language governing permissions and
17 # limitations under the License.
18 #
19
20 require "yaml"
21 require "securerandom"
22
23 include_recipe "apache"
24 include_recipe "passenger"
25 include_recipe "geoipupdate"
26 include_recipe "git"
27 include_recipe "memcached"
28 include_recipe "munin"
29 include_recipe "mysql"
30 include_recipe "nodejs"
31 include_recipe "php::fpm"
32 include_recipe "postgresql"
33 include_recipe "python"
34 include_recipe "ruby"
35
36 package %w[
37   php-cgi
38   php-cli
39   php-curl
40   php-db
41   php-imagick
42   php-mysql
43   php-pear
44   php-pgsql
45   php-sqlite3
46   pngcrush
47   pngquant
48   python3
49   python3-bs4
50   python3-cheetah
51   python3-dateutil
52   python3-magic
53   python3-psycopg2
54   python3-gdal
55   g++
56   gcc
57   make
58   autoconf
59   automake
60   libtool
61   libargon2-dev
62   libfcgi-dev
63   libxml2-dev
64   libmemcached-dev
65   libboost-regex-dev
66   libboost-system-dev
67   libboost-program-options-dev
68   libboost-date-time-dev
69   libboost-filesystem-dev
70   libboost-locale-dev
71   libpqxx-dev
72   libcrypto++-dev
73   libyajl-dev
74   libfmt-dev
75   zlib1g-dev
76 ]
77
78 nodejs_package "svgo"
79
80 python_package "geojson" do
81   python_version "3"
82 end
83
84 apache_module "env"
85 apache_module "expires"
86 apache_module "headers"
87 apache_module "proxy"
88 apache_module "proxy_fcgi"
89 apache_module "rewrite"
90 apache_module "suexec"
91 apache_module "userdir"
92
93 apache_module "wsgi" do
94   package "libapache2-mod-wsgi-py3"
95 end
96
97 package "apache2-suexec-pristine"
98
99 php_fpm "default" do
100   pm_max_children 10
101   pm_start_servers 4
102   pm_min_spare_servers 2
103   pm_max_spare_servers 6
104 end
105
106 php_fpm "www" do
107   action :delete
108 end
109
110 directory "/srv/dev.openstreetmap.org" do
111   owner "root"
112   group "root"
113   mode "755"
114 end
115
116 template "/srv/dev.openstreetmap.org/index.html" do
117   source "dev.html.erb"
118   owner "root"
119   group "root"
120   mode "644"
121 end
122
123 ssl_certificate "dev.openstreetmap.org" do
124   domains "dev.openstreetmap.org"
125   notifies :reload, "service[apache2]"
126 end
127
128 apache_site "dev.openstreetmap.org" do
129   template "apache.dev.erb"
130 end
131
132 package "phppgadmin"
133
134 template "/etc/phppgadmin/config.inc.php" do
135   source "phppgadmin.conf.erb"
136   owner "root"
137   group "root"
138   mode "644"
139 end
140
141 file "/etc/apache2/conf.d/phppgadmin" do
142   action :delete
143 end
144
145 ssl_certificate "phppgadmin.dev.openstreetmap.org" do
146   domains "phppgadmin.dev.openstreetmap.org"
147   notifies :reload, "service[apache2]"
148 end
149
150 apache_site "phppgadmin.dev.openstreetmap.org" do
151   template "apache.phppgadmin.erb"
152 end
153
154 search(:accounts, "*:*").each do |account|
155   name = account["id"]
156   details = node[:accounts][:users][name] || {}
157
158   next unless %w[user administrator].include?(details[:status])
159
160   user_home = details[:home] || account["home"] || "#{node[:accounts][:home]}/#{name}"
161
162   next unless File.directory?("#{user_home}/public_html")
163
164   php_fpm name do
165     user name
166     group name
167     pm_max_children 10
168     pm_start_servers 4
169     pm_min_spare_servers 2
170     pm_max_spare_servers 6
171     pm_max_requests 10000
172     request_terminate_timeout 1800
173     environment "HOSTNAME" => "$HOSTNAME",
174                 "PATH" => "/usr/local/bin:/usr/bin:/bin",
175                 "TMP" => "/tmp",
176                 "TMPDIR" => "/tmp",
177                 "TEMP" => "/tmp"
178     php_values "max_execution_time" => "300",
179                "memory_limit" => "128M",
180                "post_max_size" => "32M",
181                "upload_max_filesize" => "32M"
182     php_admin_values "sendmail_path" => "/usr/sbin/sendmail -t -i -f #{name}@errol.openstreetmap.org",
183                      "open_basedir" => "/home/#{name}/:/tmp/:/usr/share/php/"
184     php_flags "display_errors" => "on"
185   end
186
187   ssl_certificate "#{name}.dev.openstreetmap.org" do
188     domains ["#{name}.dev.openstreetmap.org", "#{name}.dev.osm.org"]
189     notifies :reload, "service[apache2]"
190   end
191
192   apache_site "#{name}.dev.openstreetmap.org" do
193     template "apache.user.erb"
194     directory "#{user_home}/public_html"
195     variables :user => name
196   end
197
198   template "/etc/sudoers.d/#{name}" do
199     source "sudoers.user.erb"
200     owner "root"
201     group "root"
202     mode "440"
203     variables :user => name
204   end
205 end
206
207 if node[:postgresql][:clusters][:"14/main"]
208   postgresql_user "apis" do
209     cluster "14/main"
210   end
211
212   template "/usr/local/bin/cleanup-rails-assets" do
213     cookbook "web"
214     source "cleanup-assets.erb"
215     owner "root"
216     group "root"
217     mode "755"
218   end
219
220   systemd_service "rails-jobs@" do
221     description "Rails job queue runner"
222     type "simple"
223     user "apis"
224     working_directory "/srv/%i.apis.dev.openstreetmap.org/rails"
225     exec_start "#{node[:ruby][:bundle]} exec rake jobs:work"
226     restart "on-failure"
227     private_tmp true
228     private_devices true
229     protect_system "full"
230     protect_home true
231     no_new_privileges true
232   end
233
234   systemd_service "cgimap@" do
235     description "OpenStreetMap API Server"
236     type "forking"
237     environment_file "/etc/default/cgimap-%i"
238     user "apis"
239     exec_start "/srv/%i.apis.dev.openstreetmap.org/cgimap/openstreetmap-cgimap --daemon --port $CGIMAP_PORT --instances 5"
240     exec_reload "/bin/kill -HUP $MAINPID"
241     private_tmp true
242     private_devices true
243     protect_system "full"
244     protect_home true
245     no_new_privileges true
246     restart "on-failure"
247   end
248
249   cgimap_port = 9000
250
251   Dir.glob("/srv/*.apis.dev.openstreetmap.org").each do |dir|
252     node.default_unless[:dev][:rails][File.basename(dir).split(".").first] = {}
253   end
254
255   node[:dev][:rails].each do |name, details|
256     database_name = details[:database] || "apis_#{name}"
257     site_name = "#{name}.apis.dev.openstreetmap.org"
258     site_directory = "/srv/#{name}.apis.dev.openstreetmap.org"
259     log_directory = "#{site_directory}/logs"
260     rails_directory = "#{site_directory}/rails"
261     cgimap_directory = "#{site_directory}/cgimap"
262     gpx_directory = "#{site_directory}/gpx"
263
264     if details[:repository]
265       site_aliases = details[:aliases] || []
266       secret_key_base = persistent_token("dev", "rails", name, "secret_key_base")
267
268       postgresql_database database_name do
269         cluster "14/main"
270         owner "apis"
271       end
272
273       postgresql_extension "#{database_name}_btree_gist" do
274         cluster "14/main"
275         database database_name
276         extension "btree_gist"
277       end
278
279       directory site_directory do
280         owner "apis"
281         group "apis"
282         mode "755"
283       end
284
285       directory log_directory do
286         owner "apis"
287         group "apis"
288         mode "755"
289       end
290
291       directory gpx_directory do
292         owner "apis"
293         group "apis"
294         mode "755"
295       end
296
297       directory "#{gpx_directory}/traces" do
298         owner "apis"
299         group "apis"
300         mode "755"
301       end
302
303       directory "#{gpx_directory}/images" do
304         owner "apis"
305         group "apis"
306         mode "755"
307       end
308
309       rails_port site_name do
310         directory rails_directory
311         user "apis"
312         group "apis"
313         repository details[:repository]
314         revision details[:revision]
315         database_port node[:postgresql][:clusters][:"14/main"][:port]
316         database_name database_name
317         database_username "apis"
318         email_from "OpenStreetMap <web@noreply.openstreetmap.org>"
319         gpx_dir gpx_directory
320         log_path "#{log_directory}/rails.log"
321         memcache_servers ["127.0.0.1"]
322         csp_enforce true
323         run_migrations true
324         trace_use_job_queue true
325       end
326
327       template "#{rails_directory}/config/initializers/setup.rb" do
328         source "rails.setup.rb.erb"
329         owner "apis"
330         group "apis"
331         mode "644"
332         variables :site => site_name
333         notifies :restart, "rails_port[#{site_name}]"
334       end
335
336       service "rails-jobs@#{name}" do
337         action [:enable, :start]
338         supports :restart => true
339         subscribes :restart, "rails_port[#{site_name}]"
340         subscribes :restart, "systemd_service[#{name}]"
341         only_if "fgrep -q delayed_job #{rails_directory}/Gemfile.lock"
342       end
343
344       if details[:cgimap_repository]
345         git cgimap_directory do
346           action :sync
347           repository details[:cgimap_repository]
348           revision details[:cgimap_revision]
349           user "apis"
350           group "apis"
351         end
352
353         execute "#{cgimap_directory}/autogen.sh" do
354           action :nothing
355           command "./autogen.sh"
356           cwd cgimap_directory
357           user "apis"
358           group "apis"
359           subscribes :run, "git[#{cgimap_directory}]", :immediately
360         end
361
362         execute "#{cgimap_directory}/configure" do
363           action :nothing
364           command "./configure --with-fcgi=/usr --with-boost-libdir=/usr/lib/x86_64-linux-gnu --enable-yajl"
365           cwd cgimap_directory
366           user "apis"
367           group "apis"
368           subscribes :run, "execute[#{cgimap_directory}/autogen.sh]", :immediately
369         end
370
371         execute "#{cgimap_directory}/Makefile" do
372           action :nothing
373           command "make -j"
374           cwd cgimap_directory
375           user "apis"
376           group "apis"
377           subscribes :run, "execute[#{cgimap_directory}/configure]", :immediately
378           notifies :restart, "service[cgimap@#{name}]"
379         end
380
381         template "/etc/default/cgimap-#{name}" do
382           source "cgimap.environment.erb"
383           owner "root"
384           group "root"
385           mode "640"
386           variables :cgimap_port => cgimap_port,
387                     :database_port => node[:postgresql][:clusters][:"14/main"][:port],
388                     :database_name => database_name,
389                     :log_directory => log_directory
390           notifies :restart, "service[cgimap@#{name}]"
391         end
392
393         service "cgimap@#{name}" do
394           action [:start, :enable]
395         end
396       end
397
398       ssl_certificate site_name do
399         domains [site_name] + site_aliases
400         notifies :reload, "service[apache2]"
401       end
402
403       apache_site site_name do
404         template "apache.rails.erb"
405         variables :application_name => name,
406                   :aliases => site_aliases,
407                   :secret_key_base => secret_key_base,
408                   :cgimap_enabled => details.key?(:cgimap_repository),
409                   :cgimap_port => cgimap_port
410       end
411
412       template "/etc/logrotate.d/apis-#{name}" do
413         source "logrotate.apis.erb"
414         owner "root"
415         group "root"
416         mode "644"
417         variables :name => name,
418                   :log_directory => log_directory,
419                   :rails_directory => rails_directory
420       end
421
422       cgimap_port += 1
423     else
424       file "/etc/logrotate.d/apis-#{name}" do
425         action :delete
426       end
427
428       apache_site site_name do
429         action [:delete]
430       end
431
432       service "cgimap@#{name}" do
433         action [:stop, :disable]
434       end
435
436       file "/etc/default/cgimap-#{name}" do
437         action :delete
438       end
439
440       service "rails-jobs@#{name}" do
441         action [:stop, :disable]
442       end
443
444       directory site_directory do
445         action :delete
446         recursive true
447       end
448
449       file "/etc/cron.daily/rails-#{site_name.tr('.', '-')}" do
450         action :delete
451       end
452
453       postgresql_database database_name do
454         action :drop
455         cluster "14/main"
456       end
457     end
458   end
459
460   directory "/srv/apis.dev.openstreetmap.org" do
461     owner "apis"
462     group "apis"
463     mode "755"
464   end
465
466   template "/srv/apis.dev.openstreetmap.org/index.html" do
467     source "apis.html.erb"
468     owner "apis"
469     group "apis"
470     mode "644"
471   end
472
473   ssl_certificate "apis.dev.openstreetmap.org" do
474     domains "apis.dev.openstreetmap.org"
475     notifies :reload, "service[apache2]"
476   end
477
478   apache_site "apis.dev.openstreetmap.org" do
479     template "apache.apis.erb"
480   end
481
482   node[:postgresql][:clusters].each_key do |name|
483     postgresql_munin name do
484       cluster name
485       database "ALL"
486     end
487   end
488 end
489
490 directory "/srv/ooc.openstreetmap.org" do
491   owner "root"
492   group "root"
493   mode "755"
494 end
495
496 remote_directory "/srv/ooc.openstreetmap.org/html" do
497   source "ooc"
498   owner "root"
499   group "root"
500   mode "755"
501   files_owner "root"
502   files_group "root"
503   files_mode "644"
504 end
505
506 ssl_certificate "ooc.openstreetmap.org" do
507   domains ["ooc.openstreetmap.org",
508            "a.ooc.openstreetmap.org",
509            "b.ooc.openstreetmap.org",
510            "c.ooc.openstreetmap.org"]
511   notifies :reload, "service[apache2]"
512 end
513
514 apache_site "ooc.openstreetmap.org" do
515   template "apache.ooc.erb"
516 end