]> git.openstreetmap.org Git - chef.git/blob - cookbooks/dev/recipes/default.rb
Upgrade dev server to postgres 14
[chef.git] / cookbooks / dev / recipes / default.rb
1 #
2 # Cookbook:: dev
3 # Recipe:: default
4 #
5 # Copyright:: 2011, OpenStreetMap Foundation
6 #
7 # Licensed under the Apache License, Version 2.0 (the "License");
8 # you may not use this file except in compliance with the License.
9 # You may obtain a copy of the License at
10 #
11 #     https://www.apache.org/licenses/LICENSE-2.0
12 #
13 # Unless required by applicable law or agreed to in writing, software
14 # distributed under the License is distributed on an "AS IS" BASIS,
15 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
16 # See the License for the specific language governing permissions and
17 # limitations under the License.
18 #
19
20 require "yaml"
21 require "securerandom"
22
23 include_recipe "apache"
24 include_recipe "passenger"
25 include_recipe "geoipupdate"
26 include_recipe "git"
27 include_recipe "memcached"
28 include_recipe "munin"
29 include_recipe "mysql"
30 include_recipe "nodejs"
31 include_recipe "php::fpm"
32 include_recipe "postgresql"
33 include_recipe "python"
34
35 package %w[
36   php-cgi
37   php-cli
38   php-curl
39   php-db
40   php-imagick
41   php-mysql
42   php-pear
43   php-pgsql
44   php-sqlite3
45   pngcrush
46   pngquant
47   python3
48   python3-bs4
49   python3-cheetah
50   python3-dateutil
51   python3-magic
52   python3-psycopg2
53   python3-gdal
54   g++
55   gcc
56   make
57   autoconf
58   automake
59   libtool
60   libargon2-dev
61   libfcgi-dev
62   libxml2-dev
63   libmemcached-dev
64   libboost-regex-dev
65   libboost-system-dev
66   libboost-program-options-dev
67   libboost-date-time-dev
68   libboost-filesystem-dev
69   libboost-locale-dev
70   libpqxx-dev
71   libcrypto++-dev
72   libyajl-dev
73   zlib1g-dev
74 ]
75
76 nodejs_package "svgo"
77
78 python_package "geojson" do
79   python_version "3"
80 end
81
82 apache_module "env"
83 apache_module "expires"
84 apache_module "headers"
85 apache_module "proxy"
86 apache_module "proxy_fcgi"
87 apache_module "rewrite"
88 apache_module "suexec"
89 apache_module "userdir"
90
91 apache_module "wsgi" do
92   package "libapache2-mod-wsgi-py3"
93 end
94
95 package "apache2-suexec-pristine"
96
97 php_fpm "default" do
98   pm_max_children 10
99   pm_start_servers 4
100   pm_min_spare_servers 2
101   pm_max_spare_servers 6
102 end
103
104 php_fpm "www" do
105   action :delete
106 end
107
108 directory "/srv/dev.openstreetmap.org" do
109   owner "root"
110   group "root"
111   mode "755"
112 end
113
114 template "/srv/dev.openstreetmap.org/index.html" do
115   source "dev.html.erb"
116   owner "root"
117   group "root"
118   mode "644"
119 end
120
121 ssl_certificate "dev.openstreetmap.org" do
122   domains "dev.openstreetmap.org"
123   notifies :reload, "service[apache2]"
124 end
125
126 apache_site "dev.openstreetmap.org" do
127   template "apache.dev.erb"
128 end
129
130 package "phppgadmin"
131
132 template "/etc/phppgadmin/config.inc.php" do
133   source "phppgadmin.conf.erb"
134   owner "root"
135   group "root"
136   mode "644"
137 end
138
139 file "/etc/apache2/conf.d/phppgadmin" do
140   action :delete
141 end
142
143 ssl_certificate "phppgadmin.dev.openstreetmap.org" do
144   domains "phppgadmin.dev.openstreetmap.org"
145   notifies :reload, "service[apache2]"
146 end
147
148 apache_site "phppgadmin.dev.openstreetmap.org" do
149   template "apache.phppgadmin.erb"
150 end
151
152 search(:accounts, "*:*").each do |account|
153   name = account["id"]
154   details = node[:accounts][:users][name] || {}
155
156   next unless %w[user administrator].include?(details[:status])
157
158   user_home = details[:home] || account["home"] || "#{node[:accounts][:home]}/#{name}"
159
160   next unless File.directory?("#{user_home}/public_html")
161
162   php_fpm name do
163     user name
164     group name
165     pm_max_children 10
166     pm_start_servers 4
167     pm_min_spare_servers 2
168     pm_max_spare_servers 6
169     pm_max_requests 10000
170     request_terminate_timeout 1800
171     environment "HOSTNAME" => "$HOSTNAME",
172                 "PATH" => "/usr/local/bin:/usr/bin:/bin",
173                 "TMP" => "/tmp",
174                 "TMPDIR" => "/tmp",
175                 "TEMP" => "/tmp"
176     php_values "max_execution_time" => "300",
177                "memory_limit" => "128M",
178                "post_max_size" => "32M",
179                "upload_max_filesize" => "32M"
180     php_admin_values "sendmail_path" => "/usr/sbin/sendmail -t -i -f #{name}@errol.openstreetmap.org",
181                      "open_basedir" => "/home/#{name}/:/tmp/:/usr/share/php/"
182     php_flags "display_errors" => "on"
183   end
184
185   ssl_certificate "#{name}.dev.openstreetmap.org" do
186     domains ["#{name}.dev.openstreetmap.org", "#{name}.dev.osm.org"]
187     notifies :reload, "service[apache2]"
188   end
189
190   apache_site "#{name}.dev.openstreetmap.org" do
191     template "apache.user.erb"
192     directory "#{user_home}/public_html"
193     variables :user => name
194   end
195
196   template "/etc/sudoers.d/#{name}" do
197     source "sudoers.user.erb"
198     owner "root"
199     group "root"
200     mode "440"
201     variables :user => name
202   end
203 end
204
205 if node[:postgresql][:clusters][:"14/main"]
206   postgresql_user "apis" do
207     cluster "14/main"
208   end
209
210   template "/usr/local/bin/cleanup-rails-assets" do
211     cookbook "web"
212     source "cleanup-assets.erb"
213     owner "root"
214     group "root"
215     mode "755"
216   end
217
218   ruby_version = node[:passenger][:ruby_version]
219
220   systemd_service "rails-jobs@" do
221     description "Rails job queue runner"
222     type "simple"
223     user "apis"
224     working_directory "/srv/%i.apis.dev.openstreetmap.org/rails"
225     exec_start "/usr/local/bin/bundle#{ruby_version} exec rake jobs:work"
226     restart "on-failure"
227     private_tmp true
228     private_devices true
229     protect_system "full"
230     protect_home true
231     no_new_privileges true
232   end
233
234   systemd_service "cgimap@" do
235     description "OpenStreetMap API Server"
236     type "forking"
237     environment_file "/etc/default/cgimap-%i"
238     user "apis"
239     exec_start "/srv/%i.apis.dev.openstreetmap.org/cgimap/openstreetmap-cgimap --daemon --port $CGIMAP_PORT --instances 5"
240     exec_reload "/bin/kill -HUP $MAINPID"
241     private_tmp true
242     private_devices true
243     protect_system "full"
244     protect_home true
245     no_new_privileges true
246     restart "on-failure"
247   end
248
249   cgimap_port = 9000
250
251   node[:dev][:rails].each do |name, details|
252     database_name = details[:database] || "apis_#{name}"
253     site_name = "#{name}.apis.dev.openstreetmap.org"
254     site_directory = "/srv/#{name}.apis.dev.openstreetmap.org"
255     log_directory = "#{site_directory}/logs"
256     rails_directory = "#{site_directory}/rails"
257     cgimap_directory = "#{site_directory}/cgimap"
258     gpx_directory = "#{site_directory}/gpx"
259
260     if details[:repository]
261       site_aliases = details[:aliases] || []
262       secret_key_base = persistent_token("dev", "rails", name, "secret_key_base")
263
264       postgresql_database database_name do
265         cluster "14/main"
266         owner "apis"
267       end
268
269       postgresql_extension "#{database_name}_btree_gist" do
270         cluster "14/main"
271         database database_name
272         extension "btree_gist"
273       end
274
275       directory site_directory do
276         owner "apis"
277         group "apis"
278         mode "755"
279       end
280
281       directory log_directory do
282         owner "apis"
283         group "apis"
284         mode "755"
285       end
286
287       directory gpx_directory do
288         owner "apis"
289         group "apis"
290         mode "755"
291       end
292
293       directory "#{gpx_directory}/traces" do
294         owner "apis"
295         group "apis"
296         mode "755"
297       end
298
299       directory "#{gpx_directory}/images" do
300         owner "apis"
301         group "apis"
302         mode "755"
303       end
304
305       rails_port site_name do
306         ruby ruby_version
307         directory rails_directory
308         user "apis"
309         group "apis"
310         repository details[:repository]
311         revision details[:revision]
312         database_port node[:postgresql][:clusters][:"14/main"][:port]
313         database_name database_name
314         database_username "apis"
315         email_from "OpenStreetMap <web@noreply.openstreetmap.org>"
316         gpx_dir gpx_directory
317         log_path "#{log_directory}/rails.log"
318         memcache_servers ["127.0.0.1"]
319         csp_enforce true
320         run_migrations true
321         trace_use_job_queue true
322       end
323
324       template "#{rails_directory}/config/initializers/setup.rb" do
325         source "rails.setup.rb.erb"
326         owner "apis"
327         group "apis"
328         mode "644"
329         variables :site => site_name
330         notifies :restart, "rails_port[#{site_name}]"
331       end
332
333       service "rails-jobs@#{name}" do
334         action [:enable, :start]
335         supports :restart => true
336         subscribes :restart, "rails_port[#{site_name}]"
337         subscribes :restart, "systemd_service[#{name}]"
338         only_if "fgrep -q delayed_job #{rails_directory}/Gemfile.lock"
339       end
340
341       if details[:cgimap_repository]
342         git cgimap_directory do
343           action :sync
344           repository details[:cgimap_repository]
345           revision details[:cgimap_revision]
346           user "apis"
347           group "apis"
348         end
349
350         execute "#{cgimap_directory}/autogen.sh" do
351           action :nothing
352           command "./autogen.sh"
353           cwd cgimap_directory
354           user "apis"
355           group "apis"
356           subscribes :run, "git[#{cgimap_directory}]", :immediately
357         end
358
359         execute "#{cgimap_directory}/configure" do
360           action :nothing
361           command "./configure --with-fcgi=/usr --with-boost-libdir=/usr/lib/x86_64-linux-gnu --enable-yajl"
362           cwd cgimap_directory
363           user "apis"
364           group "apis"
365           subscribes :run, "execute[#{cgimap_directory}/autogen.sh]", :immediately
366         end
367
368         execute "#{cgimap_directory}/Makefile" do
369           action :nothing
370           command "make -j"
371           cwd cgimap_directory
372           user "apis"
373           group "apis"
374           subscribes :run, "execute[#{cgimap_directory}/configure]", :immediately
375           notifies :restart, "service[cgimap@#{name}]"
376         end
377
378         template "/etc/default/cgimap-#{name}" do
379           source "cgimap.environment.erb"
380           owner "root"
381           group "root"
382           mode "640"
383           variables :cgimap_port => cgimap_port,
384                     :database_port => node[:postgresql][:clusters][:"14/main"][:port],
385                     :database_name => database_name,
386                     :log_directory => log_directory
387           notifies :restart, "service[cgimap@#{name}]"
388         end
389
390         service "cgimap@#{name}" do
391           action [:start, :enable]
392         end
393       end
394
395       ssl_certificate site_name do
396         domains [site_name] + site_aliases
397         notifies :reload, "service[apache2]"
398       end
399
400       apache_site site_name do
401         template "apache.rails.erb"
402         variables :application_name => name,
403                   :aliases => site_aliases,
404                   :secret_key_base => secret_key_base,
405                   :cgimap_enabled => details.key?(:cgimap_repository),
406                   :cgimap_port => cgimap_port
407       end
408
409       template "/etc/logrotate.d/apis-#{name}" do
410         source "logrotate.apis.erb"
411         owner "root"
412         group "root"
413         mode "644"
414         variables :name => name,
415                   :log_directory => log_directory,
416                   :rails_directory => rails_directory
417       end
418
419       cgimap_port += 1
420     else
421       file "/etc/logrotate.d/apis-#{name}" do
422         action :delete
423       end
424
425       apache_site site_name do
426         action [:delete]
427       end
428
429       service "cgimap@#{name}" do
430         action [:stop, :disable]
431       end
432
433       file "/etc/default/cgimap-#{name}" do
434         action :delete
435       end
436
437       directory site_directory do
438         action :delete
439         recursive true
440       end
441
442       file "/etc/cron.daily/rails-#{site_name.tr('.', '-')}" do
443         action :delete
444       end
445
446       postgresql_database database_name do
447         action :drop
448         cluster "14/main"
449       end
450     end
451   end
452
453   directory "/srv/apis.dev.openstreetmap.org" do
454     owner "apis"
455     group "apis"
456     mode "755"
457   end
458
459   template "/srv/apis.dev.openstreetmap.org/index.html" do
460     source "apis.html.erb"
461     owner "apis"
462     group "apis"
463     mode "644"
464   end
465
466   ssl_certificate "apis.dev.openstreetmap.org" do
467     domains "apis.dev.openstreetmap.org"
468     notifies :reload, "service[apache2]"
469   end
470
471   apache_site "apis.dev.openstreetmap.org" do
472     template "apache.apis.erb"
473   end
474
475   node[:postgresql][:clusters].each_key do |name|
476     postgresql_munin name do
477       cluster name
478       database "ALL"
479     end
480   end
481 end
482
483 directory "/srv/ooc.openstreetmap.org" do
484   owner "root"
485   group "root"
486   mode "755"
487 end
488
489 remote_directory "/srv/ooc.openstreetmap.org/html" do
490   source "ooc"
491   owner "root"
492   group "root"
493   mode "755"
494   files_owner "root"
495   files_group "root"
496   files_mode "644"
497 end
498
499 ssl_certificate "ooc.openstreetmap.org" do
500   domains ["ooc.openstreetmap.org",
501            "a.ooc.openstreetmap.org",
502            "b.ooc.openstreetmap.org",
503            "c.ooc.openstreetmap.org"]
504   notifies :reload, "service[apache2]"
505 end
506
507 apache_site "ooc.openstreetmap.org" do
508   template "apache.ooc.erb"
509 end