cookbooks/dev/recipes/default.rb

   1 #
   2 # Cookbook:: dev
   3 # Recipe:: default
   4 #
   5 # Copyright:: 2011, OpenStreetMap Foundation
   6 #
   7 # Licensed under the Apache License, Version 2.0 (the "License");
   8 # you may not use this file except in compliance with the License.
   9 # You may obtain a copy of the License at
  10 #
  11 #     https://www.apache.org/licenses/LICENSE-2.0
  12 #
  13 # Unless required by applicable law or agreed to in writing, software
  14 # distributed under the License is distributed on an "AS IS" BASIS,
  15 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  16 # See the License for the specific language governing permissions and
  17 # limitations under the License.
  18 #
  19
  20 require "yaml"
  21 require "securerandom"
  22
  23 include_recipe "apache"
  24 include_recipe "passenger"
  25 include_recipe "geoipupdate"
  26 include_recipe "git"
  27 include_recipe "memcached"
  28 include_recipe "munin"
  29 include_recipe "mysql"
  30 include_recipe "nodejs"
  31 include_recipe "php::fpm"
  32 include_recipe "postgresql"
  33 include_recipe "python"
  34 include_recipe "ruby"
  35
  36 package %w[
  37   composer
  38   php-apcu
  39   php-cgi
  40   php-cli
  41   php-curl
  42   php-db
  43   php-gd
  44   php-igbinary
  45   php-imagick
  46   php-intl
  47   php-mbstring
  48   php-memcache
  49   php-mysql
  50   php-pear
  51   php-pgsql
  52   php-sqlite3
  53   php-xml
  54   pngcrush
  55   pngquant
  56   python3
  57   python3-bs4
  58   python3-cheetah
  59   python3-dateutil
  60   python3-magic
  61   python3-psycopg2
  62   python3-gdal
  63   g++
  64   gcc
  65   make
  66   autoconf
  67   automake
  68   libtool
  69   libargon2-dev
  70   libfcgi-dev
  71   libxml2-dev
  72   libmemcached-dev
  73   libboost-regex-dev
  74   libboost-system-dev
  75   libboost-program-options-dev
  76   libboost-date-time-dev
  77   libboost-filesystem-dev
  78   libboost-locale-dev
  79   libpqxx-dev
  80   libcrypto++-dev
  81   libyajl-dev
  82   libfmt-dev
  83   zlib1g-dev
  84   nano
  85   osm2pgsql
  86 ]
  87
  88 nodejs_package "svgo"
  89
  90 python_package "geojson" do
  91   python_version "3"
  92 end
  93
  94 apache_module "env"
  95 apache_module "expires"
  96 apache_module "headers"
  97 apache_module "proxy"
  98 apache_module "proxy_fcgi"
  99 apache_module "rewrite"
 100 apache_module "suexec"
 101 apache_module "userdir"
 102
 103 apache_module "wsgi" do
 104   package "libapache2-mod-wsgi-py3"
 105 end
 106
 107 package "apache2-suexec-pristine"
 108
 109 php_fpm "default" do
 110   pm_max_children 10
 111   pm_start_servers 4
 112   pm_min_spare_servers 2
 113   pm_max_spare_servers 6
 114 end
 115
 116 php_fpm "www" do
 117   action :delete
 118 end
 119
 120 directory "/srv/dev.openstreetmap.org" do
 121   owner "root"
 122   group "root"
 123   mode "755"
 124 end
 125
 126 template "/srv/dev.openstreetmap.org/index.html" do
 127   source "dev.html.erb"
 128   owner "root"
 129   group "root"
 130   mode "644"
 131 end
 132
 133 ssl_certificate "dev.openstreetmap.org" do
 134   domains "dev.openstreetmap.org"
 135   notifies :reload, "service[apache2]"
 136 end
 137
 138 apache_site "dev.openstreetmap.org" do
 139   template "apache.dev.erb"
 140 end
 141
 142 package "phppgadmin"
 143
 144 template "/etc/phppgadmin/config.inc.php" do
 145   source "phppgadmin.conf.erb"
 146   owner "root"
 147   group "root"
 148   mode "644"
 149 end
 150
 151 file "/etc/apache2/conf.d/phppgadmin" do
 152   action :delete
 153 end
 154
 155 ssl_certificate "phppgadmin.dev.openstreetmap.org" do
 156   domains "phppgadmin.dev.openstreetmap.org"
 157   notifies :reload, "service[apache2]"
 158 end
 159
 160 apache_site "phppgadmin.dev.openstreetmap.org" do
 161   template "apache.phppgadmin.erb"
 162 end
 163
 164 search(:accounts, "*:*").each do |account|
 165   name = account["id"]
 166   details = node[:accounts][:users][name] || {}
 167
 168   next unless %w[user administrator].include?(details[:status])
 169
 170   user_home = details[:home] || account["home"] || "#{node[:accounts][:home]}/#{name}"
 171
 172   next unless File.directory?("#{user_home}/public_html")
 173
 174   php_fpm name do
 175     user name
 176     group name
 177     pm_max_children 10
 178     pm_start_servers 4
 179     pm_min_spare_servers 2
 180     pm_max_spare_servers 6
 181     pm_max_requests 10000
 182     request_terminate_timeout 1800
 183     environment "HOSTNAME" => "$HOSTNAME",
 184                 "PATH" => "/usr/local/bin:/usr/bin:/bin",
 185                 "TMP" => "/tmp",
 186                 "TMPDIR" => "/tmp",
 187                 "TEMP" => "/tmp"
 188     php_values "max_execution_time" => "300",
 189                "memory_limit" => "128M",
 190                "post_max_size" => "32M",
 191                "upload_max_filesize" => "32M"
 192     php_admin_values "sendmail_path" => "/usr/sbin/sendmail -t -i -f #{name}@errol.openstreetmap.org",
 193                      "open_basedir" => "/home/#{name}/:/tmp/:/usr/share/php/"
 194     php_flags "display_errors" => "on"
 195   end
 196
 197   ssl_certificate "#{name}.dev.openstreetmap.org" do
 198     domains ["#{name}.dev.openstreetmap.org", "#{name}.dev.osm.org"]
 199     notifies :reload, "service[apache2]"
 200   end
 201
 202   apache_site "#{name}.dev.openstreetmap.org" do
 203     template "apache.user.erb"
 204     directory "#{user_home}/public_html"
 205     variables :user => name
 206   end
 207
 208   template "/etc/sudoers.d/#{name}" do
 209     source "sudoers.user.erb"
 210     owner "root"
 211     group "root"
 212     mode "440"
 213     variables :user => name
 214   end
 215 end
 216
 217 if node[:postgresql][:clusters][:"14/main"]
 218   postgresql_user "apis" do
 219     cluster "14/main"
 220   end
 221
 222   template "/usr/local/bin/cleanup-rails-assets" do
 223     cookbook "web"
 224     source "cleanup-assets.erb"
 225     owner "root"
 226     group "root"
 227     mode "755"
 228   end
 229
 230   systemd_service "rails-jobs@" do
 231     description "Rails job queue runner"
 232     type "simple"
 233     environment "RAILS_ENV" => "production", "SLEEP_DELAY" => "60"
 234     user "apis"
 235     working_directory "/srv/%i.apis.dev.openstreetmap.org/rails"
 236     exec_start "#{node[:ruby][:bundle]} exec rails jobs:work"
 237     restart "on-failure"
 238     nice 10
 239     private_tmp true
 240     private_devices true
 241     protect_system "full"
 242     protect_home true
 243     no_new_privileges true
 244   end
 245
 246   systemd_service "cgimap@" do
 247     description "OpenStreetMap API Server"
 248     type "forking"
 249     environment_file "/etc/default/cgimap-%i"
 250     user "apis"
 251     exec_start "/srv/%i.apis.dev.openstreetmap.org/cgimap/openstreetmap-cgimap --daemon --port $CGIMAP_PORT --instances 5"
 252     exec_reload "/bin/kill -HUP $MAINPID"
 253     private_tmp true
 254     private_devices true
 255     protect_system "full"
 256     protect_home true
 257     no_new_privileges true
 258     restart "on-failure"
 259   end
 260
 261   cgimap_port = 9000
 262
 263   Dir.glob("/srv/*.apis.dev.openstreetmap.org").each do |dir|
 264     node.default_unless[:dev][:rails][File.basename(dir).split(".").first] = {}
 265   end
 266
 267   node[:dev][:rails].each do |name, details|
 268     database_name = details[:database] || "apis_#{name}"
 269     site_name = "#{name}.apis.dev.openstreetmap.org"
 270     site_directory = "/srv/#{name}.apis.dev.openstreetmap.org"
 271     log_directory = "#{site_directory}/logs"
 272     rails_directory = "#{site_directory}/rails"
 273     cgimap_directory = "#{site_directory}/cgimap"
 274     gpx_directory = "#{site_directory}/gpx"
 275
 276     if details[:repository]
 277       site_aliases = details[:aliases] || []
 278       secret_key_base = persistent_token("dev", "rails", name, "secret_key_base")
 279
 280       postgresql_database database_name do
 281         cluster "14/main"
 282         owner "apis"
 283       end
 284
 285       postgresql_extension "#{database_name}_btree_gist" do
 286         cluster "14/main"
 287         database database_name
 288         extension "btree_gist"
 289       end
 290
 291       directory site_directory do
 292         owner "apis"
 293         group "apis"
 294         mode "755"
 295       end
 296
 297       directory log_directory do
 298         owner "apis"
 299         group "apis"
 300         mode "755"
 301       end
 302
 303       directory gpx_directory do
 304         owner "apis"
 305         group "apis"
 306         mode "755"
 307       end
 308
 309       directory "#{gpx_directory}/traces" do
 310         owner "apis"
 311         group "apis"
 312         mode "755"
 313       end
 314
 315       directory "#{gpx_directory}/images" do
 316         owner "apis"
 317         group "apis"
 318         mode "755"
 319       end
 320
 321       rails_port site_name do
 322         directory rails_directory
 323         user "apis"
 324         group "apis"
 325         repository details[:repository]
 326         revision details[:revision]
 327         database_port node[:postgresql][:clusters][:"14/main"][:port]
 328         database_name database_name
 329         database_username "apis"
 330         email_from "OpenStreetMap <web@noreply.openstreetmap.org>"
 331         gpx_dir gpx_directory
 332         log_path "#{log_directory}/rails.log"
 333         memcache_servers ["127.0.0.1"]
 334         csp_enforce true
 335         run_migrations true
 336         trace_use_job_queue true
 337       end
 338
 339       template "#{rails_directory}/config/initializers/setup.rb" do
 340         source "rails.setup.rb.erb"
 341         owner "apis"
 342         group "apis"
 343         mode "644"
 344         variables :site => site_name
 345         notifies :restart, "rails_port[#{site_name}]"
 346       end
 347
 348       service "rails-jobs@#{name}" do
 349         action [:enable, :start]
 350         supports :restart => true
 351         subscribes :restart, "rails_port[#{site_name}]"
 352         subscribes :restart, "systemd_service[#{name}]"
 353         only_if "fgrep -q delayed_job #{rails_directory}/Gemfile.lock"
 354       end
 355
 356       if details[:cgimap_repository]
 357         git cgimap_directory do
 358           action :sync
 359           repository details[:cgimap_repository]
 360           revision details[:cgimap_revision]
 361           user "apis"
 362           group "apis"
 363         end
 364
 365         execute "#{cgimap_directory}/autogen.sh" do
 366           action :nothing
 367           command "./autogen.sh"
 368           cwd cgimap_directory
 369           user "apis"
 370           group "apis"
 371           subscribes :run, "git[#{cgimap_directory}]", :immediately
 372         end
 373
 374         execute "#{cgimap_directory}/configure" do
 375           action :nothing
 376           command "./configure --with-fcgi=/usr --with-boost-libdir=/usr/lib/x86_64-linux-gnu --enable-yajl"
 377           cwd cgimap_directory
 378           user "apis"
 379           group "apis"
 380           subscribes :run, "execute[#{cgimap_directory}/autogen.sh]", :immediately
 381         end
 382
 383         execute "#{cgimap_directory}/Makefile" do
 384           action :nothing
 385           command "make -j"
 386           cwd cgimap_directory
 387           user "apis"
 388           group "apis"
 389           subscribes :run, "execute[#{cgimap_directory}/configure]", :immediately
 390           notifies :restart, "service[cgimap@#{name}]"
 391         end
 392
 393         template "/etc/default/cgimap-#{name}" do
 394           source "cgimap.environment.erb"
 395           owner "root"
 396           group "root"
 397           mode "640"
 398           variables :cgimap_port => cgimap_port,
 399                     :database_port => node[:postgresql][:clusters][:"14/main"][:port],
 400                     :database_name => database_name,
 401                     :log_directory => log_directory
 402           notifies :restart, "service[cgimap@#{name}]"
 403         end
 404
 405         service "cgimap@#{name}" do
 406           action [:start, :enable]
 407         end
 408       end
 409
 410       ssl_certificate site_name do
 411         domains [site_name] + site_aliases
 412         notifies :reload, "service[apache2]"
 413       end
 414
 415       apache_site site_name do
 416         template "apache.rails.erb"
 417         variables :application_name => name,
 418                   :aliases => site_aliases,
 419                   :secret_key_base => secret_key_base,
 420                   :cgimap_enabled => details.key?(:cgimap_repository),
 421                   :cgimap_port => cgimap_port
 422       end
 423
 424       template "/etc/logrotate.d/apis-#{name}" do
 425         source "logrotate.apis.erb"
 426         owner "root"
 427         group "root"
 428         mode "644"
 429         variables :name => name,
 430                   :log_directory => log_directory,
 431                   :rails_directory => rails_directory
 432       end
 433
 434       cgimap_port += 1
 435     else
 436       file "/etc/logrotate.d/apis-#{name}" do
 437         action :delete
 438       end
 439
 440       apache_site site_name do
 441         action [:delete]
 442       end
 443
 444       service "cgimap@#{name}" do
 445         action [:stop, :disable]
 446       end
 447
 448       file "/etc/default/cgimap-#{name}" do
 449         action :delete
 450       end
 451
 452       service "rails-jobs@#{name}" do
 453         action [:stop, :disable]
 454       end
 455
 456       directory site_directory do
 457         action :delete
 458         recursive true
 459       end
 460
 461       file "/etc/cron.daily/rails-#{site_name.tr('.', '-')}" do
 462         action :delete
 463       end
 464
 465       postgresql_database database_name do
 466         action :drop
 467         cluster "14/main"
 468       end
 469     end
 470   end
 471
 472   directory "/srv/apis.dev.openstreetmap.org" do
 473     owner "apis"
 474     group "apis"
 475     mode "755"
 476   end
 477
 478   template "/srv/apis.dev.openstreetmap.org/index.html" do
 479     source "apis.html.erb"
 480     owner "apis"
 481     group "apis"
 482     mode "644"
 483   end
 484
 485   ssl_certificate "apis.dev.openstreetmap.org" do
 486     domains "apis.dev.openstreetmap.org"
 487     notifies :reload, "service[apache2]"
 488   end
 489
 490   apache_site "apis.dev.openstreetmap.org" do
 491     template "apache.apis.erb"
 492   end
 493
 494   node[:postgresql][:clusters].each_key do |name|
 495     postgresql_munin name do
 496       cluster name
 497       database "ALL"
 498     end
 499   end
 500 end
 501
 502 directory "/srv/ooc.openstreetmap.org" do
 503   owner "root"
 504   group "root"
 505   mode "755"
 506 end
 507
 508 remote_directory "/srv/ooc.openstreetmap.org/html" do
 509   source "ooc"
 510   owner "root"
 511   group "root"
 512   mode "755"
 513   files_owner "root"
 514   files_group "root"
 515   files_mode "644"
 516 end
 517
 518 ssl_certificate "ooc.openstreetmap.org" do
 519   domains ["ooc.openstreetmap.org",
 520            "a.ooc.openstreetmap.org",
 521            "b.ooc.openstreetmap.org",
 522            "c.ooc.openstreetmap.org"]
 523   notifies :reload, "service[apache2]"
 524 end
 525
 526 apache_site "ooc.openstreetmap.org" do
 527   template "apache.ooc.erb"
 528 end