]> git.openstreetmap.org Git - chef.git/blob - cookbooks/dev/recipes/default.rb
exim: Increase message_linelength_limit to avoid dropping emails
[chef.git] / cookbooks / dev / recipes / default.rb
1 #
2 # Cookbook:: dev
3 # Recipe:: default
4 #
5 # Copyright:: 2011, OpenStreetMap Foundation
6 #
7 # Licensed under the Apache License, Version 2.0 (the "License");
8 # you may not use this file except in compliance with the License.
9 # You may obtain a copy of the License at
10 #
11 #     https://www.apache.org/licenses/LICENSE-2.0
12 #
13 # Unless required by applicable law or agreed to in writing, software
14 # distributed under the License is distributed on an "AS IS" BASIS,
15 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
16 # See the License for the specific language governing permissions and
17 # limitations under the License.
18 #
19
20 require "yaml"
21 require "securerandom"
22
23 include_recipe "accounts"
24 include_recipe "apache"
25 include_recipe "passenger"
26 include_recipe "geoipupdate"
27 include_recipe "git"
28 include_recipe "memcached"
29 include_recipe "mysql"
30 include_recipe "nodejs"
31 include_recipe "php::fpm"
32 include_recipe "podman"
33 include_recipe "postgresql"
34 include_recipe "python"
35 include_recipe "ruby"
36
37 package %w[
38   ant
39   apache2-dev
40   aria2
41   at
42   autoconf
43   automake
44   awscli
45   cmake
46   composer
47   curl
48   default-jdk-headless
49   default-jre-headless
50   eatmydata
51   fonts-dejavu
52   fonts-dejavu-core
53   fonts-dejavu-extra
54   fonts-droid-fallback
55   fonts-liberation
56   fonts-noto-mono
57   g++
58   gcc
59   gdal-bin
60   gfortran
61   gnuplot-nox
62   golang
63   graphviz
64   htop
65   irssi
66   jq
67   libargon2-dev
68   libboost-date-time-dev
69   libboost-dev
70   libboost-filesystem-dev
71   libboost-locale-dev
72   libboost-program-options-dev
73   libboost-regex-dev
74   libboost-system-dev
75   libbrotli-dev
76   libbytes-random-secure-perl
77   libcairo2-dev
78   libcrypto++-dev
79   libcurl4-openssl-dev
80   libfcgi-dev
81   libfmt-dev
82   libglib2.0-dev
83   libiniparser-dev
84   libjson-xs-perl
85   libmapnik-dev
86   libmemcached-dev
87   libpqxx-dev
88   libtool
89   libxml-twig-perl
90   libxml2-dev
91   libxml2-utils
92   libyajl-dev
93   lua-any
94   luajit
95   lz4
96   lzip
97   lzop
98   mailutils
99   moreutils
100   make
101   nano
102   ncftp
103   netcat-openbsd
104   osm2pgsql
105   osmium-tool
106   osmosis
107   pandoc
108   pbzip2
109   php-apcu
110   php-cgi
111   php-cli
112   php-curl
113   php-db
114   php-gd
115   php-igbinary
116   php-imagick
117   php-intl
118   php-mbstring
119   php-memcache
120   php-mysql
121   php-pear
122   php-pgsql
123   php-sqlite3
124   php-xml
125   pigz
126   pngcrush
127   pngquant
128   proj-bin
129   pyosmium
130   python-is-python3
131   python3
132   python3-brotli
133   python3-bs4
134   python3-cheetah
135   python3-dateutil
136   python3-dev
137   python3-dotenv
138   python3-gdal
139   python3-geojson
140   python3-lxml
141   python3-lz4
142   python3-magic
143   python3-pil
144   python3-psycopg2
145   python3-pyproj
146   python3-venv
147   r-base
148   redis
149   siege
150   tmux
151   unrar
152   unzip
153   whois
154   xxd
155   zip
156   zlib1g-dev
157 ]
158
159 # Add uk_os_OSTN15_NTv2_OSGBtoETRS.tif used for reprojecting OS data
160 execute "uk_os_OSTN15_NTv2_OSGBtoETRS.tif" do
161   command "projsync --file uk_os_OSTN15_NTv2_OSGBtoETRS.tif --system-directory"
162   not_if { ::File.exist?("/usr/share/proj/uk_os_OSTN15_NTv2_OSGBtoETRS.tif") }
163 end
164
165 nodejs_package "svgo"
166
167 apache_module "env"
168 apache_module "expires"
169 apache_module "headers"
170 apache_module "proxy"
171 apache_module "proxy_fcgi"
172 apache_module "rewrite"
173 apache_module "suexec"
174 apache_module "userdir"
175
176 apache_module "wsgi" do
177   package "libapache2-mod-wsgi-py3"
178 end
179
180 package "apache2-suexec-pristine"
181
182 php_fpm "default" do
183   pm_max_children 10
184   pm_start_servers 4
185   pm_min_spare_servers 2
186   pm_max_spare_servers 6
187 end
188
189 php_fpm "www" do
190   action :delete
191 end
192
193 directory "/srv/dev.openstreetmap.org" do
194   owner "root"
195   group "root"
196   mode "755"
197 end
198
199 template "/srv/dev.openstreetmap.org/index.html" do
200   source "dev.html.erb"
201   owner "root"
202   group "root"
203   mode "644"
204 end
205
206 ssl_certificate "dev.openstreetmap.org" do
207   domains ["dev.openstreetmap.org", "dev.osm.org"]
208   notifies :reload, "service[apache2]"
209 end
210
211 apache_site "dev.openstreetmap.org" do
212   template "apache.dev.erb"
213 end
214
215 package "phppgadmin"
216
217 template "/etc/phppgadmin/config.inc.php" do
218   source "phppgadmin.conf.erb"
219   owner "root"
220   group "root"
221   mode "644"
222 end
223
224 file "/etc/apache2/conf.d/phppgadmin" do
225   action :delete
226 end
227
228 ssl_certificate "phppgadmin.dev.openstreetmap.org" do
229   domains ["phppgadmin.dev.openstreetmap.org", "phppgadmin.dev.osm.org"]
230   notifies :reload, "service[apache2]"
231 end
232
233 apache_site "phppgadmin.dev.openstreetmap.org" do
234   template "apache.phppgadmin.erb"
235 end
236
237 search(:accounts, "*:*").each do |account|
238   name = account["id"]
239   details = node[:accounts][:users][name] || {}
240
241   next unless %w[user administrator].include?(details[:status])
242
243   user_home = details[:home] || account["home"] || "#{node[:accounts][:home]}/#{name}"
244
245   next unless File.directory?("#{user_home}/public_html")
246
247   php_fpm name do
248     user name
249     group name
250     pm_max_children 10
251     pm_start_servers 4
252     pm_min_spare_servers 2
253     pm_max_spare_servers 6
254     pm_max_requests 10000
255     request_terminate_timeout 1800
256     environment "HOSTNAME" => "$HOSTNAME",
257                 "PATH" => "/usr/local/bin:/usr/bin:/bin",
258                 "TMP" => "/tmp",
259                 "TMPDIR" => "/tmp",
260                 "TEMP" => "/tmp"
261     php_values "max_execution_time" => "300",
262                "memory_limit" => "128M",
263                "post_max_size" => "32M",
264                "upload_max_filesize" => "32M"
265     php_admin_values "sendmail_path" => "/usr/sbin/sendmail -t -i -f #{name}@dev.openstreetmap.org",
266                      "open_basedir" => "/home/#{name}/:/tmp/:/usr/share/php/"
267     php_flags "display_errors" => "on"
268   end
269
270   ssl_certificate "#{name}.dev.openstreetmap.org" do
271     domains ["#{name}.dev.openstreetmap.org", "#{name}.dev.osm.org"]
272     notifies :reload, "service[apache2]"
273   end
274
275   apache_site "#{name}.dev.openstreetmap.org" do
276     template "apache.user.erb"
277     directory "#{user_home}/public_html"
278     variables :user => name
279   end
280
281   template "/etc/sudoers.d/#{name}" do
282     source "sudoers.user.erb"
283     owner "root"
284     group "root"
285     mode "440"
286     variables :user => name
287   end
288 end
289
290 node[:postgresql][:versions].each do |version|
291   package "postgresql-#{version}-postgis-3"
292 end
293
294 if node[:postgresql][:clusters][:"15/main"]
295   postgresql_user "apis" do
296     cluster "15/main"
297   end
298
299   template "/usr/local/bin/cleanup-rails-assets" do
300     cookbook "web"
301     source "cleanup-assets.erb"
302     owner "root"
303     group "root"
304     mode "755"
305   end
306
307   systemd_service "rails-jobs@" do
308     description "Rails job queue runner"
309     type "simple"
310     environment_file "/etc/default/rails-%i"
311     user "apis"
312     working_directory "/srv/%i.apis.dev.openstreetmap.org/rails"
313     exec_start "#{node[:ruby][:bundle]} exec rails jobs:work"
314     restart "on-failure"
315     nice 10
316     sandbox :enable_network => true
317     restrict_address_families "AF_UNIX"
318     memory_deny_write_execute false
319     read_write_paths [
320       "/srv/%i.apis.dev.openstreetmap.org/logs",
321       "/srv/%i.apis.dev.openstreetmap.org/rails/storage"
322     ]
323   end
324
325   systemd_service "cgimap@" do
326     description "OpenStreetMap API Server"
327     type "forking"
328     environment_file "/etc/default/cgimap-%i"
329     user "apis"
330     group "www-data"
331     umask "0002"
332     exec_start "/srv/%i.apis.dev.openstreetmap.org/cgimap/build/openstreetmap-cgimap --daemon --instances 5"
333     exec_reload "/bin/kill -HUP $MAINPID"
334     runtime_directory "cgimap-%i"
335     sandbox :enable_network => true
336     restrict_address_families "AF_UNIX"
337     read_write_paths ["/srv/%i.apis.dev.openstreetmap.org/logs", "/srv/%i.apis.dev.openstreetmap.org/rails/tmp"]
338     restart "on-failure"
339   end
340
341   Dir.glob("/srv/*.apis.dev.openstreetmap.org").each do |dir|
342     node.default_unless[:dev][:rails][File.basename(dir).split(".").first] = {}
343   end
344
345   node[:dev][:rails].each do |name, details|
346     database_name = details[:database] || "apis_#{name}"
347     site_name = "#{name}.apis.dev.openstreetmap.org"
348     site_directory = "/srv/#{name}.apis.dev.openstreetmap.org"
349     log_directory = "#{site_directory}/logs"
350     rails_directory = "#{site_directory}/rails"
351     cgimap_directory = "#{site_directory}/cgimap"
352     gpx_directory = "#{site_directory}/gpx"
353
354     if details[:repository]
355       site_aliases = details[:aliases] || ["#{name}.apis.dev.osm.org"]
356       secret_key_base = persistent_token("dev", "rails", name, "secret_key_base")
357
358       postgresql_database database_name do
359         cluster "15/main"
360         owner "apis"
361       end
362
363       postgresql_extension "#{database_name}_btree_gist" do
364         cluster "15/main"
365         database database_name
366         extension "btree_gist"
367       end
368
369       directory site_directory do
370         owner "apis"
371         group "apis"
372         mode "755"
373       end
374
375       directory log_directory do
376         owner "apis"
377         group "apis"
378         mode "755"
379       end
380
381       directory gpx_directory do
382         owner "apis"
383         group "apis"
384         mode "755"
385       end
386
387       directory "#{gpx_directory}/traces" do
388         owner "apis"
389         group "apis"
390         mode "755"
391       end
392
393       directory "#{gpx_directory}/images" do
394         owner "apis"
395         group "apis"
396         mode "755"
397       end
398
399       openssl_rsa_private_key "#{site_directory}/doorkeeper.key" do
400         owner "root"
401         group "root"
402         mode "0400"
403       end
404
405       rails_port site_name do
406         directory rails_directory
407         user "apis"
408         group "apis"
409         repository details[:repository]
410         revision details[:revision]
411         database_port node[:postgresql][:clusters][:"15/main"][:port]
412         database_name database_name
413         database_username "apis"
414         email_from "OpenStreetMap <web@noreply.openstreetmap.org>"
415         gpx_dir gpx_directory
416         log_path "#{log_directory}/rails.log"
417         memcache_servers ["127.0.0.1"]
418         csp_enforce true
419         run_migrations true
420         trace_use_job_queue true
421         doorkeeper_signing_key lazy { File.read("#{site_directory}/doorkeeper.key") }
422       end
423
424       template "#{rails_directory}/config/initializers/setup.rb" do
425         source "rails.setup.rb.erb"
426         owner "apis"
427         group "apis"
428         mode "644"
429         variables :site => site_name
430         notifies :restart, "rails_port[#{site_name}]"
431       end
432
433       template "/etc/default/rails-#{name}" do
434         source "rails.environment.erb"
435         owner "root"
436         group "root"
437         mode "0600"
438         variables :secret_key_base => secret_key_base
439       end
440
441       service "rails-jobs@#{name}" do
442         action [:enable, :start]
443         supports :restart => true
444         subscribes :restart, "rails_port[#{site_name}]"
445         subscribes :restart, "systemd_service[rails-jobs@]"
446         only_if "fgrep -q delayed_job #{rails_directory}/Gemfile.lock"
447       end
448
449       if details[:cgimap_repository]
450         git cgimap_directory do
451           action :sync
452           repository details[:cgimap_repository]
453           revision details[:cgimap_revision]
454           user "apis"
455           group "apis"
456         end
457
458         directory "#{cgimap_directory}/build" do
459           user "apis"
460           group "apis"
461           mode "0755"
462         end
463
464         execute "#{cgimap_directory}/CMakeLists.txt" do
465           action :nothing
466           command "cmake .."
467           cwd "#{cgimap_directory}/build"
468           user "apis"
469           group "apis"
470           subscribes :run, "git[#{cgimap_directory}]", :immediately
471         end
472
473         execute "#{cgimap_directory}/build/Makefile" do
474           action :nothing
475           command "make -j"
476           cwd "#{cgimap_directory}/build"
477           user "apis"
478           group "apis"
479           subscribes :run, "execute[#{cgimap_directory}/CMakeLists.txt]", :immediately
480         end
481
482         template "/etc/default/cgimap-#{name}" do
483           source "cgimap.environment.erb"
484           owner "root"
485           group "root"
486           mode "640"
487           variables :cgimap_socket => "/run/cgimap-#{name}/socket",
488                     :database_port => node[:postgresql][:clusters][:"15/main"][:port],
489                     :database_name => database_name,
490                     :log_directory => log_directory,
491                     :options => details[:cgimap_options]
492         end
493
494         service "cgimap@#{name}" do
495           action [:start, :enable]
496           subscribes :restart, "execute[#{cgimap_directory}/build/Makefile]"
497           subscribes :restart, "template[/etc/default/cgimap-#{name}]"
498           subscribes :restart, "systemd_service[cgimap@]"
499         end
500       end
501
502       ssl_certificate site_name do
503         domains [site_name] + site_aliases
504         notifies :reload, "service[apache2]"
505       end
506
507       apache_site site_name do
508         template "apache.rails.erb"
509         variables :application_name => name,
510                   :aliases => site_aliases,
511                   :secret_key_base => secret_key_base,
512                   :cgimap_enabled => details.key?(:cgimap_repository),
513                   :cgimap_socket => "/run/cgimap-#{name}/socket"
514       end
515
516       template "/etc/logrotate.d/apis-#{name}" do
517         source "logrotate.apis.erb"
518         owner "root"
519         group "root"
520         mode "644"
521         variables :name => name,
522                   :log_directory => log_directory,
523                   :rails_directory => rails_directory
524       end
525     else
526       file "/etc/logrotate.d/apis-#{name}" do
527         action :delete
528       end
529
530       apache_site site_name do
531         action [:delete]
532       end
533
534       service "cgimap@#{name}" do
535         action [:stop, :disable]
536       end
537
538       file "/etc/default/cgimap-#{name}" do
539         action :delete
540       end
541
542       service "rails-jobs@#{name}" do
543         action [:stop, :disable]
544       end
545
546       directory site_directory do
547         action :delete
548         recursive true
549       end
550
551       file "/etc/cron.daily/rails-#{site_name.tr('.', '-')}" do
552         action :delete
553       end
554
555       postgresql_database database_name do
556         action :drop
557         cluster "15/main"
558       end
559     end
560   end
561
562   directory "/srv/apis.dev.openstreetmap.org" do
563     owner "apis"
564     group "apis"
565     mode "755"
566   end
567
568   template "/srv/apis.dev.openstreetmap.org/index.html" do
569     source "apis.html.erb"
570     owner "apis"
571     group "apis"
572     mode "644"
573   end
574
575   ssl_certificate "apis.dev.openstreetmap.org" do
576     domains ["apis.dev.openstreetmap.org", "apis.dev.osm.org"]
577     notifies :reload, "service[apache2]"
578   end
579
580   apache_site "apis.dev.openstreetmap.org" do
581     template "apache.apis.erb"
582   end
583 end
584
585 directory "/srv/ooc.openstreetmap.org" do
586   owner "root"
587   group "root"
588   mode "755"
589 end
590
591 remote_directory "/srv/ooc.openstreetmap.org/html" do
592   source "ooc"
593   owner "root"
594   group "root"
595   mode "755"
596   files_owner "root"
597   files_group "root"
598   files_mode "644"
599 end
600
601 ssl_certificate "ooc.openstreetmap.org" do
602   domains ["ooc.openstreetmap.org",
603            "a.ooc.openstreetmap.org",
604            "b.ooc.openstreetmap.org",
605            "c.ooc.openstreetmap.org",
606            "ooc.osm.org"]
607   notifies :reload, "service[apache2]"
608 end
609
610 apache_site "ooc.openstreetmap.org" do
611   template "apache.ooc.erb"
612 end
613
614 directory "/etc/systemd/system/user-.slice.d" do
615   owner "root"
616   group "root"
617   mode "0755"
618 end
619
620 template "/etc/systemd/system/user-.slice.d/99-chef.conf" do
621   source "user-slice.conf.erb"
622   owner "root"
623   group "root"
624   mode "0644"
625 end