cookbooks/dev/recipes/default.rb

   1 #
   2 # Cookbook:: dev
   3 # Recipe:: default
   4 #
   5 # Copyright:: 2011, OpenStreetMap Foundation
   6 #
   7 # Licensed under the Apache License, Version 2.0 (the "License");
   8 # you may not use this file except in compliance with the License.
   9 # You may obtain a copy of the License at
  10 #
  11 #     https://www.apache.org/licenses/LICENSE-2.0
  12 #
  13 # Unless required by applicable law or agreed to in writing, software
  14 # distributed under the License is distributed on an "AS IS" BASIS,
  15 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  16 # See the License for the specific language governing permissions and
  17 # limitations under the License.
  18 #
  19
  20 require "yaml"
  21 require "securerandom"
  22
  23 include_recipe "apache"
  24 include_recipe "passenger"
  25 include_recipe "geoipupdate"
  26 include_recipe "git"
  27 include_recipe "memcached"
  28 include_recipe "munin"
  29 include_recipe "mysql"
  30 include_recipe "nodejs"
  31 include_recipe "php::fpm"
  32 include_recipe "postgresql"
  33 include_recipe "python"
  34 include_recipe "ruby"
  35
  36 package %w[
  37   composer
  38   php-apcu
  39   php-cgi
  40   php-cli
  41   php-curl
  42   php-db
  43   php-gd
  44   php-igbinary
  45   php-imagick
  46   php-intl
  47   php-mbstring
  48   php-memcache
  49   php-mysql
  50   php-pear
  51   php-pgsql
  52   php-sqlite3
  53   php-xml
  54   pngcrush
  55   pngquant
  56   python3
  57   python3-bs4
  58   python3-cheetah
  59   python3-dateutil
  60   python3-magic
  61   python3-psycopg2
  62   python3-gdal
  63   g++
  64   gcc
  65   make
  66   autoconf
  67   automake
  68   libtool
  69   libargon2-dev
  70   libfcgi-dev
  71   libxml2-dev
  72   libmemcached-dev
  73   libboost-regex-dev
  74   libboost-system-dev
  75   libboost-program-options-dev
  76   libboost-date-time-dev
  77   libboost-filesystem-dev
  78   libboost-locale-dev
  79   libpqxx-dev
  80   libcrypto++-dev
  81   libyajl-dev
  82   libfmt-dev
  83   zlib1g-dev
  84   nano
  85   osm2pgsql
  86 ]
  87
  88 nodejs_package "svgo"
  89
  90 python_package "geojson" do
  91   python_version "3"
  92 end
  93
  94 apache_module "env"
  95 apache_module "expires"
  96 apache_module "headers"
  97 apache_module "proxy"
  98 apache_module "proxy_fcgi"
  99 apache_module "rewrite"
 100 apache_module "suexec"
 101 apache_module "userdir"
 102
 103 apache_module "wsgi" do
 104   package "libapache2-mod-wsgi-py3"
 105 end
 106
 107 package "apache2-suexec-pristine"
 108
 109 php_fpm "default" do
 110   pm_max_children 10
 111   pm_start_servers 4
 112   pm_min_spare_servers 2
 113   pm_max_spare_servers 6
 114 end
 115
 116 php_fpm "www" do
 117   action :delete
 118 end
 119
 120 directory "/srv/dev.openstreetmap.org" do
 121   owner "root"
 122   group "root"
 123   mode "755"
 124 end
 125
 126 template "/srv/dev.openstreetmap.org/index.html" do
 127   source "dev.html.erb"
 128   owner "root"
 129   group "root"
 130   mode "644"
 131 end
 132
 133 ssl_certificate "dev.openstreetmap.org" do
 134   domains "dev.openstreetmap.org"
 135   notifies :reload, "service[apache2]"
 136 end
 137
 138 apache_site "dev.openstreetmap.org" do
 139   template "apache.dev.erb"
 140 end
 141
 142 package "phppgadmin"
 143
 144 template "/etc/phppgadmin/config.inc.php" do
 145   source "phppgadmin.conf.erb"
 146   owner "root"
 147   group "root"
 148   mode "644"
 149 end
 150
 151 file "/etc/apache2/conf.d/phppgadmin" do
 152   action :delete
 153 end
 154
 155 ssl_certificate "phppgadmin.dev.openstreetmap.org" do
 156   domains "phppgadmin.dev.openstreetmap.org"
 157   notifies :reload, "service[apache2]"
 158 end
 159
 160 apache_site "phppgadmin.dev.openstreetmap.org" do
 161   template "apache.phppgadmin.erb"
 162 end
 163
 164 search(:accounts, "*:*").each do |account|
 165   name = account["id"]
 166   details = node[:accounts][:users][name] || {}
 167
 168   next unless %w[user administrator].include?(details[:status])
 169
 170   user_home = details[:home] || account["home"] || "#{node[:accounts][:home]}/#{name}"
 171
 172   next unless File.directory?("#{user_home}/public_html")
 173
 174   php_fpm name do
 175     user name
 176     group name
 177     pm_max_children 10
 178     pm_start_servers 4
 179     pm_min_spare_servers 2
 180     pm_max_spare_servers 6
 181     pm_max_requests 10000
 182     request_terminate_timeout 1800
 183     environment "HOSTNAME" => "$HOSTNAME",
 184                 "PATH" => "/usr/local/bin:/usr/bin:/bin",
 185                 "TMP" => "/tmp",
 186                 "TMPDIR" => "/tmp",
 187                 "TEMP" => "/tmp"
 188     php_values "max_execution_time" => "300",
 189                "memory_limit" => "128M",
 190                "post_max_size" => "32M",
 191                "upload_max_filesize" => "32M"
 192     php_admin_values "sendmail_path" => "/usr/sbin/sendmail -t -i -f #{name}@errol.openstreetmap.org",
 193                      "open_basedir" => "/home/#{name}/:/tmp/:/usr/share/php/"
 194     php_flags "display_errors" => "on"
 195   end
 196
 197   ssl_certificate "#{name}.dev.openstreetmap.org" do
 198     domains ["#{name}.dev.openstreetmap.org", "#{name}.dev.osm.org"]
 199     notifies :reload, "service[apache2]"
 200   end
 201
 202   apache_site "#{name}.dev.openstreetmap.org" do
 203     template "apache.user.erb"
 204     directory "#{user_home}/public_html"
 205     variables :user => name
 206   end
 207
 208   template "/etc/sudoers.d/#{name}" do
 209     source "sudoers.user.erb"
 210     owner "root"
 211     group "root"
 212     mode "440"
 213     variables :user => name
 214   end
 215 end
 216
 217 node[:postgresql][:versions].each do |version|
 218   package "postgresql-#{version}-postgis-3"
 219 end
 220
 221 if node[:postgresql][:clusters][:"14/main"]
 222   postgresql_user "apis" do
 223     cluster "14/main"
 224   end
 225
 226   template "/usr/local/bin/cleanup-rails-assets" do
 227     cookbook "web"
 228     source "cleanup-assets.erb"
 229     owner "root"
 230     group "root"
 231     mode "755"
 232   end
 233
 234   systemd_service "rails-jobs@" do
 235     description "Rails job queue runner"
 236     type "simple"
 237     environment "RAILS_ENV" => "production", "SLEEP_DELAY" => "60"
 238     user "apis"
 239     working_directory "/srv/%i.apis.dev.openstreetmap.org/rails"
 240     exec_start "#{node[:ruby][:bundle]} exec rails jobs:work"
 241     restart "on-failure"
 242     nice 10
 243     private_tmp true
 244     private_devices true
 245     protect_system "full"
 246     protect_home true
 247     no_new_privileges true
 248   end
 249
 250   systemd_service "cgimap@" do
 251     description "OpenStreetMap API Server"
 252     type "forking"
 253     environment_file "/etc/default/cgimap-%i"
 254     user "apis"
 255     exec_start "/srv/%i.apis.dev.openstreetmap.org/cgimap/openstreetmap-cgimap --daemon --port $CGIMAP_PORT --instances 5"
 256     exec_reload "/bin/kill -HUP $MAINPID"
 257     private_tmp true
 258     private_devices true
 259     protect_system "full"
 260     protect_home true
 261     no_new_privileges true
 262     restart "on-failure"
 263   end
 264
 265   cgimap_port = 9000
 266
 267   Dir.glob("/srv/*.apis.dev.openstreetmap.org").each do |dir|
 268     node.default_unless[:dev][:rails][File.basename(dir).split(".").first] = {}
 269   end
 270
 271   node[:dev][:rails].each do |name, details|
 272     database_name = details[:database] || "apis_#{name}"
 273     site_name = "#{name}.apis.dev.openstreetmap.org"
 274     site_directory = "/srv/#{name}.apis.dev.openstreetmap.org"
 275     log_directory = "#{site_directory}/logs"
 276     rails_directory = "#{site_directory}/rails"
 277     cgimap_directory = "#{site_directory}/cgimap"
 278     gpx_directory = "#{site_directory}/gpx"
 279
 280     if details[:repository]
 281       site_aliases = details[:aliases] || []
 282       secret_key_base = persistent_token("dev", "rails", name, "secret_key_base")
 283
 284       postgresql_database database_name do
 285         cluster "14/main"
 286         owner "apis"
 287       end
 288
 289       postgresql_extension "#{database_name}_btree_gist" do
 290         cluster "14/main"
 291         database database_name
 292         extension "btree_gist"
 293       end
 294
 295       directory site_directory do
 296         owner "apis"
 297         group "apis"
 298         mode "755"
 299       end
 300
 301       directory log_directory do
 302         owner "apis"
 303         group "apis"
 304         mode "755"
 305       end
 306
 307       directory gpx_directory do
 308         owner "apis"
 309         group "apis"
 310         mode "755"
 311       end
 312
 313       directory "#{gpx_directory}/traces" do
 314         owner "apis"
 315         group "apis"
 316         mode "755"
 317       end
 318
 319       directory "#{gpx_directory}/images" do
 320         owner "apis"
 321         group "apis"
 322         mode "755"
 323       end
 324
 325       rails_port site_name do
 326         directory rails_directory
 327         user "apis"
 328         group "apis"
 329         repository details[:repository]
 330         revision details[:revision]
 331         database_port node[:postgresql][:clusters][:"14/main"][:port]
 332         database_name database_name
 333         database_username "apis"
 334         email_from "OpenStreetMap <web@noreply.openstreetmap.org>"
 335         gpx_dir gpx_directory
 336         log_path "#{log_directory}/rails.log"
 337         memcache_servers ["127.0.0.1"]
 338         csp_enforce true
 339         run_migrations true
 340         trace_use_job_queue true
 341       end
 342
 343       template "#{rails_directory}/config/initializers/setup.rb" do
 344         source "rails.setup.rb.erb"
 345         owner "apis"
 346         group "apis"
 347         mode "644"
 348         variables :site => site_name
 349         notifies :restart, "rails_port[#{site_name}]"
 350       end
 351
 352       service "rails-jobs@#{name}" do
 353         action [:enable, :start]
 354         supports :restart => true
 355         subscribes :restart, "rails_port[#{site_name}]"
 356         subscribes :restart, "systemd_service[#{name}]"
 357         only_if "fgrep -q delayed_job #{rails_directory}/Gemfile.lock"
 358       end
 359
 360       if details[:cgimap_repository]
 361         git cgimap_directory do
 362           action :sync
 363           repository details[:cgimap_repository]
 364           revision details[:cgimap_revision]
 365           user "apis"
 366           group "apis"
 367         end
 368
 369         execute "#{cgimap_directory}/autogen.sh" do
 370           action :nothing
 371           command "./autogen.sh"
 372           cwd cgimap_directory
 373           user "apis"
 374           group "apis"
 375           subscribes :run, "git[#{cgimap_directory}]", :immediately
 376         end
 377
 378         execute "#{cgimap_directory}/configure" do
 379           action :nothing
 380           command "./configure --with-fcgi=/usr --with-boost-libdir=/usr/lib/x86_64-linux-gnu --enable-yajl"
 381           cwd cgimap_directory
 382           user "apis"
 383           group "apis"
 384           subscribes :run, "execute[#{cgimap_directory}/autogen.sh]", :immediately
 385         end
 386
 387         execute "#{cgimap_directory}/Makefile" do
 388           action :nothing
 389           command "make -j"
 390           cwd cgimap_directory
 391           user "apis"
 392           group "apis"
 393           subscribes :run, "execute[#{cgimap_directory}/configure]", :immediately
 394           notifies :restart, "service[cgimap@#{name}]"
 395         end
 396
 397         template "/etc/default/cgimap-#{name}" do
 398           source "cgimap.environment.erb"
 399           owner "root"
 400           group "root"
 401           mode "640"
 402           variables :cgimap_port => cgimap_port,
 403                     :database_port => node[:postgresql][:clusters][:"14/main"][:port],
 404                     :database_name => database_name,
 405                     :log_directory => log_directory
 406           notifies :restart, "service[cgimap@#{name}]"
 407         end
 408
 409         service "cgimap@#{name}" do
 410           action [:start, :enable]
 411         end
 412       end
 413
 414       ssl_certificate site_name do
 415         domains [site_name] + site_aliases
 416         notifies :reload, "service[apache2]"
 417       end
 418
 419       apache_site site_name do
 420         template "apache.rails.erb"
 421         variables :application_name => name,
 422                   :aliases => site_aliases,
 423                   :secret_key_base => secret_key_base,
 424                   :cgimap_enabled => details.key?(:cgimap_repository),
 425                   :cgimap_port => cgimap_port
 426       end
 427
 428       template "/etc/logrotate.d/apis-#{name}" do
 429         source "logrotate.apis.erb"
 430         owner "root"
 431         group "root"
 432         mode "644"
 433         variables :name => name,
 434                   :log_directory => log_directory,
 435                   :rails_directory => rails_directory
 436       end
 437
 438       cgimap_port += 1
 439     else
 440       file "/etc/logrotate.d/apis-#{name}" do
 441         action :delete
 442       end
 443
 444       apache_site site_name do
 445         action [:delete]
 446       end
 447
 448       service "cgimap@#{name}" do
 449         action [:stop, :disable]
 450       end
 451
 452       file "/etc/default/cgimap-#{name}" do
 453         action :delete
 454       end
 455
 456       service "rails-jobs@#{name}" do
 457         action [:stop, :disable]
 458       end
 459
 460       directory site_directory do
 461         action :delete
 462         recursive true
 463       end
 464
 465       file "/etc/cron.daily/rails-#{site_name.tr('.', '-')}" do
 466         action :delete
 467       end
 468
 469       postgresql_database database_name do
 470         action :drop
 471         cluster "14/main"
 472       end
 473     end
 474   end
 475
 476   directory "/srv/apis.dev.openstreetmap.org" do
 477     owner "apis"
 478     group "apis"
 479     mode "755"
 480   end
 481
 482   template "/srv/apis.dev.openstreetmap.org/index.html" do
 483     source "apis.html.erb"
 484     owner "apis"
 485     group "apis"
 486     mode "644"
 487   end
 488
 489   ssl_certificate "apis.dev.openstreetmap.org" do
 490     domains "apis.dev.openstreetmap.org"
 491     notifies :reload, "service[apache2]"
 492   end
 493
 494   apache_site "apis.dev.openstreetmap.org" do
 495     template "apache.apis.erb"
 496   end
 497
 498   node[:postgresql][:clusters].each_key do |name|
 499     postgresql_munin name do
 500       cluster name
 501       database "ALL"
 502     end
 503   end
 504 end
 505
 506 directory "/srv/ooc.openstreetmap.org" do
 507   owner "root"
 508   group "root"
 509   mode "755"
 510 end
 511
 512 remote_directory "/srv/ooc.openstreetmap.org/html" do
 513   source "ooc"
 514   owner "root"
 515   group "root"
 516   mode "755"
 517   files_owner "root"
 518   files_group "root"
 519   files_mode "644"
 520 end
 521
 522 ssl_certificate "ooc.openstreetmap.org" do
 523   domains ["ooc.openstreetmap.org",
 524            "a.ooc.openstreetmap.org",
 525            "b.ooc.openstreetmap.org",
 526            "c.ooc.openstreetmap.org"]
 527   notifies :reload, "service[apache2]"
 528 end
 529
 530 apache_site "ooc.openstreetmap.org" do
 531   template "apache.ooc.erb"
 532 end