]> git.openstreetmap.org Git - chef.git/blob - cookbooks/dev/recipes/default.rb
Make sure old APIs are cleaned up on dev
[chef.git] / cookbooks / dev / recipes / default.rb
1 #
2 # Cookbook:: dev
3 # Recipe:: default
4 #
5 # Copyright:: 2011, OpenStreetMap Foundation
6 #
7 # Licensed under the Apache License, Version 2.0 (the "License");
8 # you may not use this file except in compliance with the License.
9 # You may obtain a copy of the License at
10 #
11 #     https://www.apache.org/licenses/LICENSE-2.0
12 #
13 # Unless required by applicable law or agreed to in writing, software
14 # distributed under the License is distributed on an "AS IS" BASIS,
15 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
16 # See the License for the specific language governing permissions and
17 # limitations under the License.
18 #
19
20 require "yaml"
21 require "securerandom"
22
23 include_recipe "apache"
24 include_recipe "passenger"
25 include_recipe "geoipupdate"
26 include_recipe "git"
27 include_recipe "memcached"
28 include_recipe "munin"
29 include_recipe "mysql"
30 include_recipe "nodejs"
31 include_recipe "php::fpm"
32 include_recipe "postgresql"
33 include_recipe "python"
34
35 package %w[
36   php-cgi
37   php-cli
38   php-curl
39   php-db
40   php-imagick
41   php-mysql
42   php-pear
43   php-pgsql
44   php-sqlite3
45   pngcrush
46   pngquant
47   python3
48   python3-bs4
49   python3-cheetah
50   python3-dateutil
51   python3-magic
52   python3-psycopg2
53   python3-gdal
54   g++
55   gcc
56   make
57   autoconf
58   automake
59   libtool
60   libargon2-dev
61   libfcgi-dev
62   libxml2-dev
63   libmemcached-dev
64   libboost-regex-dev
65   libboost-system-dev
66   libboost-program-options-dev
67   libboost-date-time-dev
68   libboost-filesystem-dev
69   libboost-locale-dev
70   libpqxx-dev
71   libcrypto++-dev
72   libyajl-dev
73   zlib1g-dev
74 ]
75
76 nodejs_package "svgo"
77
78 python_package "geojson" do
79   python_version "3"
80 end
81
82 apache_module "env"
83 apache_module "expires"
84 apache_module "headers"
85 apache_module "proxy"
86 apache_module "proxy_fcgi"
87 apache_module "rewrite"
88 apache_module "suexec"
89 apache_module "userdir"
90
91 apache_module "wsgi" do
92   package "libapache2-mod-wsgi-py3"
93 end
94
95 package "apache2-suexec-pristine"
96
97 php_fpm "default" do
98   pm_max_children 10
99   pm_start_servers 4
100   pm_min_spare_servers 2
101   pm_max_spare_servers 6
102 end
103
104 php_fpm "www" do
105   action :delete
106 end
107
108 directory "/srv/dev.openstreetmap.org" do
109   owner "root"
110   group "root"
111   mode "755"
112 end
113
114 template "/srv/dev.openstreetmap.org/index.html" do
115   source "dev.html.erb"
116   owner "root"
117   group "root"
118   mode "644"
119 end
120
121 ssl_certificate "dev.openstreetmap.org" do
122   domains "dev.openstreetmap.org"
123   notifies :reload, "service[apache2]"
124 end
125
126 apache_site "dev.openstreetmap.org" do
127   template "apache.dev.erb"
128 end
129
130 package "phppgadmin"
131
132 template "/etc/phppgadmin/config.inc.php" do
133   source "phppgadmin.conf.erb"
134   owner "root"
135   group "root"
136   mode "644"
137 end
138
139 file "/etc/apache2/conf.d/phppgadmin" do
140   action :delete
141 end
142
143 ssl_certificate "phppgadmin.dev.openstreetmap.org" do
144   domains "phppgadmin.dev.openstreetmap.org"
145   notifies :reload, "service[apache2]"
146 end
147
148 apache_site "phppgadmin.dev.openstreetmap.org" do
149   template "apache.phppgadmin.erb"
150 end
151
152 search(:accounts, "*:*").each do |account|
153   name = account["id"]
154   details = node[:accounts][:users][name] || {}
155
156   next unless %w[user administrator].include?(details[:status])
157
158   user_home = details[:home] || account["home"] || "#{node[:accounts][:home]}/#{name}"
159
160   next unless File.directory?("#{user_home}/public_html")
161
162   php_fpm name do
163     user name
164     group name
165     pm_max_children 10
166     pm_start_servers 4
167     pm_min_spare_servers 2
168     pm_max_spare_servers 6
169     pm_max_requests 10000
170     request_terminate_timeout 1800
171     environment "HOSTNAME" => "$HOSTNAME",
172                 "PATH" => "/usr/local/bin:/usr/bin:/bin",
173                 "TMP" => "/tmp",
174                 "TMPDIR" => "/tmp",
175                 "TEMP" => "/tmp"
176     php_values "max_execution_time" => "300",
177                "memory_limit" => "128M",
178                "post_max_size" => "32M",
179                "upload_max_filesize" => "32M"
180     php_admin_values "sendmail_path" => "/usr/sbin/sendmail -t -i -f #{name}@errol.openstreetmap.org",
181                      "open_basedir" => "/home/#{name}/:/tmp/:/usr/share/php/"
182     php_flags "display_errors" => "on"
183   end
184
185   ssl_certificate "#{name}.dev.openstreetmap.org" do
186     domains ["#{name}.dev.openstreetmap.org", "#{name}.dev.osm.org"]
187     notifies :reload, "service[apache2]"
188   end
189
190   apache_site "#{name}.dev.openstreetmap.org" do
191     template "apache.user.erb"
192     directory "#{user_home}/public_html"
193     variables :user => name
194   end
195
196   template "/etc/sudoers.d/#{name}" do
197     source "sudoers.user.erb"
198     owner "root"
199     group "root"
200     mode "440"
201     variables :user => name
202   end
203 end
204
205 if node[:postgresql][:clusters][:"14/main"]
206   postgresql_user "apis" do
207     cluster "14/main"
208   end
209
210   template "/usr/local/bin/cleanup-rails-assets" do
211     cookbook "web"
212     source "cleanup-assets.erb"
213     owner "root"
214     group "root"
215     mode "755"
216   end
217
218   ruby_version = node[:passenger][:ruby_version]
219
220   systemd_service "rails-jobs@" do
221     description "Rails job queue runner"
222     type "simple"
223     user "apis"
224     working_directory "/srv/%i.apis.dev.openstreetmap.org/rails"
225     exec_start "/usr/local/bin/bundle#{ruby_version} exec rake jobs:work"
226     restart "on-failure"
227     private_tmp true
228     private_devices true
229     protect_system "full"
230     protect_home true
231     no_new_privileges true
232   end
233
234   systemd_service "cgimap@" do
235     description "OpenStreetMap API Server"
236     type "forking"
237     environment_file "/etc/default/cgimap-%i"
238     user "apis"
239     exec_start "/srv/%i.apis.dev.openstreetmap.org/cgimap/openstreetmap-cgimap --daemon --port $CGIMAP_PORT --instances 5"
240     exec_reload "/bin/kill -HUP $MAINPID"
241     private_tmp true
242     private_devices true
243     protect_system "full"
244     protect_home true
245     no_new_privileges true
246     restart "on-failure"
247   end
248
249   cgimap_port = 9000
250
251   Dir.glob("/srv/*.apis.dev.openstreetmap.org").each do |dir|
252     node.default_unless[:dev][:rails][File.basename(dir).split(".").first] = {}
253   end
254
255   node[:dev][:rails].each do |name, details|
256     database_name = details[:database] || "apis_#{name}"
257     site_name = "#{name}.apis.dev.openstreetmap.org"
258     site_directory = "/srv/#{name}.apis.dev.openstreetmap.org"
259     log_directory = "#{site_directory}/logs"
260     rails_directory = "#{site_directory}/rails"
261     cgimap_directory = "#{site_directory}/cgimap"
262     gpx_directory = "#{site_directory}/gpx"
263
264     if details[:repository]
265       site_aliases = details[:aliases] || []
266       secret_key_base = persistent_token("dev", "rails", name, "secret_key_base")
267
268       postgresql_database database_name do
269         cluster "14/main"
270         owner "apis"
271       end
272
273       postgresql_extension "#{database_name}_btree_gist" do
274         cluster "14/main"
275         database database_name
276         extension "btree_gist"
277       end
278
279       directory site_directory do
280         owner "apis"
281         group "apis"
282         mode "755"
283       end
284
285       directory log_directory do
286         owner "apis"
287         group "apis"
288         mode "755"
289       end
290
291       directory gpx_directory do
292         owner "apis"
293         group "apis"
294         mode "755"
295       end
296
297       directory "#{gpx_directory}/traces" do
298         owner "apis"
299         group "apis"
300         mode "755"
301       end
302
303       directory "#{gpx_directory}/images" do
304         owner "apis"
305         group "apis"
306         mode "755"
307       end
308
309       rails_port site_name do
310         ruby ruby_version
311         directory rails_directory
312         user "apis"
313         group "apis"
314         repository details[:repository]
315         revision details[:revision]
316         database_port node[:postgresql][:clusters][:"14/main"][:port]
317         database_name database_name
318         database_username "apis"
319         email_from "OpenStreetMap <web@noreply.openstreetmap.org>"
320         gpx_dir gpx_directory
321         log_path "#{log_directory}/rails.log"
322         memcache_servers ["127.0.0.1"]
323         csp_enforce true
324         run_migrations true
325         trace_use_job_queue true
326       end
327
328       template "#{rails_directory}/config/initializers/setup.rb" do
329         source "rails.setup.rb.erb"
330         owner "apis"
331         group "apis"
332         mode "644"
333         variables :site => site_name
334         notifies :restart, "rails_port[#{site_name}]"
335       end
336
337       service "rails-jobs@#{name}" do
338         action [:enable, :start]
339         supports :restart => true
340         subscribes :restart, "rails_port[#{site_name}]"
341         subscribes :restart, "systemd_service[#{name}]"
342         only_if "fgrep -q delayed_job #{rails_directory}/Gemfile.lock"
343       end
344
345       if details[:cgimap_repository]
346         git cgimap_directory do
347           action :sync
348           repository details[:cgimap_repository]
349           revision details[:cgimap_revision]
350           user "apis"
351           group "apis"
352         end
353
354         execute "#{cgimap_directory}/autogen.sh" do
355           action :nothing
356           command "./autogen.sh"
357           cwd cgimap_directory
358           user "apis"
359           group "apis"
360           subscribes :run, "git[#{cgimap_directory}]", :immediately
361         end
362
363         execute "#{cgimap_directory}/configure" do
364           action :nothing
365           command "./configure --with-fcgi=/usr --with-boost-libdir=/usr/lib/x86_64-linux-gnu --enable-yajl"
366           cwd cgimap_directory
367           user "apis"
368           group "apis"
369           subscribes :run, "execute[#{cgimap_directory}/autogen.sh]", :immediately
370         end
371
372         execute "#{cgimap_directory}/Makefile" do
373           action :nothing
374           command "make -j"
375           cwd cgimap_directory
376           user "apis"
377           group "apis"
378           subscribes :run, "execute[#{cgimap_directory}/configure]", :immediately
379           notifies :restart, "service[cgimap@#{name}]"
380         end
381
382         template "/etc/default/cgimap-#{name}" do
383           source "cgimap.environment.erb"
384           owner "root"
385           group "root"
386           mode "640"
387           variables :cgimap_port => cgimap_port,
388                     :database_port => node[:postgresql][:clusters][:"14/main"][:port],
389                     :database_name => database_name,
390                     :log_directory => log_directory
391           notifies :restart, "service[cgimap@#{name}]"
392         end
393
394         service "cgimap@#{name}" do
395           action [:start, :enable]
396         end
397       end
398
399       ssl_certificate site_name do
400         domains [site_name] + site_aliases
401         notifies :reload, "service[apache2]"
402       end
403
404       apache_site site_name do
405         template "apache.rails.erb"
406         variables :application_name => name,
407                   :aliases => site_aliases,
408                   :secret_key_base => secret_key_base,
409                   :cgimap_enabled => details.key?(:cgimap_repository),
410                   :cgimap_port => cgimap_port
411       end
412
413       template "/etc/logrotate.d/apis-#{name}" do
414         source "logrotate.apis.erb"
415         owner "root"
416         group "root"
417         mode "644"
418         variables :name => name,
419                   :log_directory => log_directory,
420                   :rails_directory => rails_directory
421       end
422
423       cgimap_port += 1
424     else
425       file "/etc/logrotate.d/apis-#{name}" do
426         action :delete
427       end
428
429       apache_site site_name do
430         action [:delete]
431       end
432
433       service "cgimap@#{name}" do
434         action [:stop, :disable]
435       end
436
437       file "/etc/default/cgimap-#{name}" do
438         action :delete
439       end
440
441       directory site_directory do
442         action :delete
443         recursive true
444       end
445
446       file "/etc/cron.daily/rails-#{site_name.tr('.', '-')}" do
447         action :delete
448       end
449
450       postgresql_database database_name do
451         action :drop
452         cluster "14/main"
453       end
454     end
455   end
456
457   directory "/srv/apis.dev.openstreetmap.org" do
458     owner "apis"
459     group "apis"
460     mode "755"
461   end
462
463   template "/srv/apis.dev.openstreetmap.org/index.html" do
464     source "apis.html.erb"
465     owner "apis"
466     group "apis"
467     mode "644"
468   end
469
470   ssl_certificate "apis.dev.openstreetmap.org" do
471     domains "apis.dev.openstreetmap.org"
472     notifies :reload, "service[apache2]"
473   end
474
475   apache_site "apis.dev.openstreetmap.org" do
476     template "apache.apis.erb"
477   end
478
479   node[:postgresql][:clusters].each_key do |name|
480     postgresql_munin name do
481       cluster name
482       database "ALL"
483     end
484   end
485 end
486
487 directory "/srv/ooc.openstreetmap.org" do
488   owner "root"
489   group "root"
490   mode "755"
491 end
492
493 remote_directory "/srv/ooc.openstreetmap.org/html" do
494   source "ooc"
495   owner "root"
496   group "root"
497   mode "755"
498   files_owner "root"
499   files_group "root"
500   files_mode "644"
501 end
502
503 ssl_certificate "ooc.openstreetmap.org" do
504   domains ["ooc.openstreetmap.org",
505            "a.ooc.openstreetmap.org",
506            "b.ooc.openstreetmap.org",
507            "c.ooc.openstreetmap.org"]
508   notifies :reload, "service[apache2]"
509 end
510
511 apache_site "ooc.openstreetmap.org" do
512   template "apache.ooc.erb"
513 end