]> git.openstreetmap.org Git - chef.git/blob - cookbooks/dev/recipes/default.rb
Add hourly and daily replication to the test stream
[chef.git] / cookbooks / dev / recipes / default.rb
1 #
2 # Cookbook:: dev
3 # Recipe:: default
4 #
5 # Copyright:: 2011, OpenStreetMap Foundation
6 #
7 # Licensed under the Apache License, Version 2.0 (the "License");
8 # you may not use this file except in compliance with the License.
9 # You may obtain a copy of the License at
10 #
11 #     https://www.apache.org/licenses/LICENSE-2.0
12 #
13 # Unless required by applicable law or agreed to in writing, software
14 # distributed under the License is distributed on an "AS IS" BASIS,
15 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
16 # See the License for the specific language governing permissions and
17 # limitations under the License.
18 #
19
20 require "yaml"
21 require "securerandom"
22
23 include_recipe "apache"
24 include_recipe "passenger"
25 include_recipe "geoipupdate"
26 include_recipe "git"
27 include_recipe "memcached"
28 include_recipe "munin"
29 include_recipe "mysql"
30 include_recipe "nodejs"
31 include_recipe "php::fpm"
32 include_recipe "postgresql"
33 include_recipe "python"
34
35 package %w[
36   php-cgi
37   php-cli
38   php-curl
39   php-db
40   php-imagick
41   php-mysql
42   php-pear
43   php-pgsql
44   php-sqlite3
45   pngcrush
46   pngquant
47   python3
48   python3-bs4
49   python3-cheetah
50   python3-dateutil
51   python3-magic
52   python3-psycopg2
53   python3-gdal
54   g++
55   gcc
56   make
57   autoconf
58   automake
59   libtool
60   libfcgi-dev
61   libxml2-dev
62   libmemcached-dev
63   libboost-regex-dev
64   libboost-system-dev
65   libboost-program-options-dev
66   libboost-date-time-dev
67   libboost-filesystem-dev
68   libboost-locale-dev
69   libpqxx-dev
70   libcrypto++-dev
71   libyajl-dev
72   zlib1g-dev
73 ]
74
75 nodejs_package "svgo"
76
77 python_package "geojson" do
78   python_version "3"
79 end
80
81 apache_module "env"
82 apache_module "expires"
83 apache_module "headers"
84 apache_module "proxy"
85 apache_module "proxy_fcgi"
86 apache_module "rewrite"
87 apache_module "suexec"
88 apache_module "userdir"
89
90 apache_module "wsgi" do
91   package "libapache2-mod-wsgi-py3"
92 end
93
94 package "apache2-suexec-pristine"
95
96 php_fpm "default" do
97   pm_max_children 10
98   pm_start_servers 4
99   pm_min_spare_servers 2
100   pm_max_spare_servers 6
101 end
102
103 php_fpm "www" do
104   action :delete
105 end
106
107 directory "/srv/dev.openstreetmap.org" do
108   owner "root"
109   group "root"
110   mode "755"
111 end
112
113 template "/srv/dev.openstreetmap.org/index.html" do
114   source "dev.html.erb"
115   owner "root"
116   group "root"
117   mode "644"
118 end
119
120 ssl_certificate "dev.openstreetmap.org" do
121   domains "dev.openstreetmap.org"
122   notifies :reload, "service[apache2]"
123 end
124
125 apache_site "dev.openstreetmap.org" do
126   template "apache.dev.erb"
127 end
128
129 package "phppgadmin"
130
131 template "/etc/phppgadmin/config.inc.php" do
132   source "phppgadmin.conf.erb"
133   owner "root"
134   group "root"
135   mode "644"
136 end
137
138 file "/etc/apache2/conf.d/phppgadmin" do
139   action :delete
140 end
141
142 ssl_certificate "phppgadmin.dev.openstreetmap.org" do
143   domains "phppgadmin.dev.openstreetmap.org"
144   notifies :reload, "service[apache2]"
145 end
146
147 apache_site "phppgadmin.dev.openstreetmap.org" do
148   template "apache.phppgadmin.erb"
149 end
150
151 search(:accounts, "*:*").each do |account|
152   name = account["id"]
153   details = node[:accounts][:users][name] || {}
154
155   next unless %w[user administrator].include?(details[:status])
156
157   user_home = details[:home] || account["home"] || "#{node[:accounts][:home]}/#{name}"
158
159   next unless File.directory?("#{user_home}/public_html")
160
161   php_fpm name do
162     user name
163     group name
164     pm_max_children 10
165     pm_start_servers 4
166     pm_min_spare_servers 2
167     pm_max_spare_servers 6
168     pm_max_requests 10000
169     request_terminate_timeout 1800
170     environment "HOSTNAME" => "$HOSTNAME",
171                 "PATH" => "/usr/local/bin:/usr/bin:/bin",
172                 "TMP" => "/tmp",
173                 "TMPDIR" => "/tmp",
174                 "TEMP" => "/tmp"
175     php_values "max_execution_time" => "300",
176                "memory_limit" => "128M",
177                "post_max_size" => "32M",
178                "upload_max_filesize" => "32M"
179     php_admin_values "sendmail_path" => "/usr/sbin/sendmail -t -i -f #{name}@errol.openstreetmap.org",
180                      "open_basedir" => "/home/#{name}/:/tmp/:/usr/share/php/"
181     php_flags "display_errors" => "on"
182   end
183
184   ssl_certificate "#{name}.dev.openstreetmap.org" do
185     domains ["#{name}.dev.openstreetmap.org", "#{name}.dev.osm.org"]
186     notifies :reload, "service[apache2]"
187   end
188
189   apache_site "#{name}.dev.openstreetmap.org" do
190     template "apache.user.erb"
191     directory "#{user_home}/public_html"
192     variables :user => name
193   end
194
195   template "/etc/sudoers.d/#{name}" do
196     source "sudoers.user.erb"
197     owner "root"
198     group "root"
199     mode "440"
200     variables :user => name
201   end
202 end
203
204 if node[:postgresql][:clusters][:"12/main"]
205   postgresql_user "apis" do
206     cluster "12/main"
207   end
208
209   template "/usr/local/bin/cleanup-rails-assets" do
210     cookbook "web"
211     source "cleanup-assets.erb"
212     owner "root"
213     group "root"
214     mode "755"
215   end
216
217   ruby_version = node[:passenger][:ruby_version]
218
219   systemd_service "rails-jobs@" do
220     description "Rails job queue runner"
221     type "simple"
222     user "apis"
223     working_directory "/srv/%i.apis.dev.openstreetmap.org/rails"
224     exec_start "/usr/local/bin/bundle#{ruby_version} exec rake jobs:work"
225     restart "on-failure"
226     private_tmp true
227     private_devices true
228     protect_system "full"
229     protect_home true
230     no_new_privileges true
231   end
232
233   systemd_service "cgimap@" do
234     description "OpenStreetMap API Server"
235     type "forking"
236     environment_file "/etc/default/cgimap-%i"
237     user "apis"
238     exec_start "/srv/%i.apis.dev.openstreetmap.org/cgimap/openstreetmap-cgimap --daemon --port $CGIMAP_PORT --instances 5"
239     exec_reload "/bin/kill -HUP $MAINPID"
240     private_tmp true
241     private_devices true
242     protect_system "full"
243     protect_home true
244     no_new_privileges true
245     restart "on-failure"
246   end
247
248   cgimap_port = 9000
249
250   node[:dev][:rails].each do |name, details|
251     database_name = details[:database] || "apis_#{name}"
252     site_name = "#{name}.apis.dev.openstreetmap.org"
253     site_directory = "/srv/#{name}.apis.dev.openstreetmap.org"
254     log_directory = "#{site_directory}/logs"
255     rails_directory = "#{site_directory}/rails"
256     cgimap_directory = "#{site_directory}/cgimap"
257     gpx_directory = "#{site_directory}/gpx"
258
259     if details[:repository]
260       site_aliases = details[:aliases] || []
261       secret_key_base = persistent_token("dev", "rails", name, "secret_key_base")
262
263       postgresql_database database_name do
264         cluster "12/main"
265         owner "apis"
266       end
267
268       postgresql_extension "#{database_name}_btree_gist" do
269         cluster "12/main"
270         database database_name
271         extension "btree_gist"
272       end
273
274       directory site_directory do
275         owner "apis"
276         group "apis"
277         mode "755"
278       end
279
280       directory log_directory do
281         owner "apis"
282         group "apis"
283         mode "755"
284       end
285
286       directory gpx_directory do
287         owner "apis"
288         group "apis"
289         mode "755"
290       end
291
292       directory "#{gpx_directory}/traces" do
293         owner "apis"
294         group "apis"
295         mode "755"
296       end
297
298       directory "#{gpx_directory}/images" do
299         owner "apis"
300         group "apis"
301         mode "755"
302       end
303
304       rails_port site_name do
305         ruby ruby_version
306         directory rails_directory
307         user "apis"
308         group "apis"
309         repository details[:repository]
310         revision details[:revision]
311         database_port node[:postgresql][:clusters][:"12/main"][:port]
312         database_name database_name
313         database_username "apis"
314         gpx_dir gpx_directory
315         log_path "#{log_directory}/rails.log"
316         memcache_servers ["127.0.0.1"]
317         csp_enforce true
318         run_migrations true
319         trace_use_job_queue true
320       end
321
322       template "#{rails_directory}/config/initializers/setup.rb" do
323         source "rails.setup.rb.erb"
324         owner "apis"
325         group "apis"
326         mode "644"
327         variables :site => site_name
328         notifies :restart, "rails_port[#{site_name}]"
329       end
330
331       service "rails-jobs@#{name}" do
332         action [:enable, :start]
333         supports :restart => true
334         subscribes :restart, "rails_port[#{site_name}]"
335         subscribes :restart, "systemd_service[#{name}]"
336         only_if "fgrep -q delayed_job #{rails_directory}/Gemfile.lock"
337       end
338
339       if details[:cgimap_repository]
340         git cgimap_directory do
341           action :sync
342           repository details[:cgimap_repository]
343           revision details[:cgimap_revision]
344           user "apis"
345           group "apis"
346         end
347
348         execute "#{cgimap_directory}/autogen.sh" do
349           action :nothing
350           command "./autogen.sh"
351           cwd cgimap_directory
352           user "apis"
353           group "apis"
354           subscribes :run, "git[#{cgimap_directory}]", :immediate
355         end
356
357         execute "#{cgimap_directory}/configure" do
358           action :nothing
359           command "./configure --with-fcgi=/usr --with-boost-libdir=/usr/lib/x86_64-linux-gnu --enable-yajl"
360           cwd cgimap_directory
361           user "apis"
362           group "apis"
363           subscribes :run, "execute[#{cgimap_directory}/autogen.sh]", :immediate
364         end
365
366         execute "#{cgimap_directory}/Makefile" do
367           action :nothing
368           command "make -j"
369           cwd cgimap_directory
370           user "apis"
371           group "apis"
372           subscribes :run, "execute[#{cgimap_directory}/configure]", :immediate
373           notifies :restart, "service[cgimap@#{name}]"
374         end
375
376         template "/etc/default/cgimap-#{name}" do
377           source "cgimap.environment.erb"
378           owner "root"
379           group "root"
380           mode "640"
381           variables :cgimap_port => cgimap_port,
382                     :database_port => node[:postgresql][:clusters][:"12/main"][:port],
383                     :database_name => database_name,
384                     :log_directory => log_directory
385           notifies :restart, "service[cgimap@#{name}]"
386         end
387
388         service "cgimap@#{name}" do
389           action [:start, :enable]
390         end
391       end
392
393       ssl_certificate site_name do
394         domains [site_name] + site_aliases
395         notifies :reload, "service[apache2]"
396       end
397
398       apache_site site_name do
399         template "apache.rails.erb"
400         variables :application_name => name,
401                   :aliases => site_aliases,
402                   :secret_key_base => secret_key_base,
403                   :cgimap_enabled => details.key?(:cgimap_repository),
404                   :cgimap_port => cgimap_port
405       end
406
407       template "/etc/logrotate.d/apis-#{name}" do
408         source "logrotate.apis.erb"
409         owner "root"
410         group "root"
411         mode "644"
412         variables :name => name,
413                   :log_directory => log_directory,
414                   :rails_directory => rails_directory
415       end
416
417       cgimap_port += 1
418     else
419       file "/etc/logrotate.d/apis-#{name}" do
420         action :delete
421       end
422
423       apache_site site_name do
424         action [:delete]
425       end
426
427       service "cgimap@#{name}" do
428         action [:stop, :disable]
429       end
430
431       file "/etc/default/cgimap-#{name}" do
432         action :delete
433       end
434
435       directory site_directory do
436         action :delete
437         recursive true
438       end
439
440       file "/etc/cron.daily/rails-#{site_name.tr('.', '-')}" do
441         action :delete
442       end
443
444       postgresql_database database_name do
445         action :drop
446         cluster "12/main"
447       end
448     end
449   end
450
451   directory "/srv/apis.dev.openstreetmap.org" do
452     owner "apis"
453     group "apis"
454     mode "755"
455   end
456
457   template "/srv/apis.dev.openstreetmap.org/index.html" do
458     source "apis.html.erb"
459     owner "apis"
460     group "apis"
461     mode "644"
462   end
463
464   ssl_certificate "apis.dev.openstreetmap.org" do
465     domains "apis.dev.openstreetmap.org"
466     notifies :reload, "service[apache2]"
467   end
468
469   apache_site "apis.dev.openstreetmap.org" do
470     template "apache.apis.erb"
471   end
472
473   node[:postgresql][:clusters].each_key do |name|
474     postgresql_munin name do
475       cluster name
476       database "ALL"
477     end
478   end
479 end
480
481 directory "/srv/ooc.openstreetmap.org" do
482   owner "root"
483   group "root"
484   mode "755"
485 end
486
487 remote_directory "/srv/ooc.openstreetmap.org/html" do
488   source "ooc"
489   owner "root"
490   group "root"
491   mode "755"
492   files_owner "root"
493   files_group "root"
494   files_mode "644"
495 end
496
497 ssl_certificate "ooc.openstreetmap.org" do
498   domains ["ooc.openstreetmap.org",
499            "a.ooc.openstreetmap.org",
500            "b.ooc.openstreetmap.org",
501            "c.ooc.openstreetmap.org"]
502   notifies :reload, "service[apache2]"
503 end
504
505 apache_site "ooc.openstreetmap.org" do
506   template "apache.ooc.erb"
507 end