cookbooks/community/recipes/default.rb

   1 #
   2 # Cookbook:: community
   3 # Recipe:: default
   4 #
   5 # Copyright:: 2021, OpenStreetMap Foundation
   6 #
   7 # Licensed under the Apache License, Version 2.0 (the "License");
   8 # you may not use this file except in compliance with the License.
   9 # You may obtain a copy of the License at
  10 #
  11 #     https://www.apache.org/licenses/LICENSE-2.0
  12 #
  13 # Unless required by applicable law or agreed to in writing, software
  14 # distributed under the License is distributed on an "AS IS" BASIS,
  15 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  16 # See the License for the specific language governing permissions and
  17 # limitations under the License.
  18 #
  19
  20 include_recipe "accounts"
  21 include_recipe "docker"
  22 include_recipe "git"
  23 include_recipe "ssl"
  24
  25 passwords = data_bag_item("community", "passwords")
  26 license_keys = data_bag_item("geoipupdate", "license-keys") unless kitchen?
  27
  28 prometheus_servers = search(:node, "recipes:prometheus\\:\\:server").map do |server|
  29   server.ipaddresses(:role => :external)
  30 end.flatten
  31
  32 # Disable any default installed apache2 service. Web server is embedded within the discourse docker container
  33 service "apache2" do
  34   action [:disable, :stop]
  35 end
  36
  37 directory "/srv/community.openstreetmap.org" do
  38   owner "root"
  39   group "root"
  40   mode "755"
  41 end
  42
  43 directory "/srv/community.openstreetmap.org/shared" do
  44   owner "community"
  45   group "community"
  46   mode "755"
  47 end
  48
  49 directory "/srv/community.openstreetmap.org/files" do
  50   owner "community"
  51   group "community"
  52   mode "755"
  53 end
  54
  55 template "/srv/community.openstreetmap.org/files/update-feeds.atom" do
  56   source "update-feeds.atom.erb"
  57   owner "community"
  58   group "community"
  59   mode "644"
  60 end
  61
  62 git "/srv/community.openstreetmap.org/docker" do
  63   action :sync
  64   repository "https://github.com/discourse/discourse_docker.git"
  65   # DANGER launch wrapper automatically updates git repo if rebuild method used: https://github.com/discourse/discourse_docker/blob/107ffb40fe8b1ea40e00814468db974a4f3f8e8f/launcher#L799
  66   revision "b81256c5f1fc1b43ffc52f492cb2935ba9825a2c"
  67   user "root"
  68   group "root"
  69   notifies :run, "notify_group[discourse_container_new_data]"
  70   notifies :run, "notify_group[discourse_container_new_web_only]"
  71   notifies :run, "notify_group[discourse_container_new_mail_receiver]"
  72 end
  73
  74 template "/srv/community.openstreetmap.org/docker/containers/data.yml" do
  75   source "data.yml.erb"
  76   owner "root"
  77   group "root"
  78   mode "640"
  79   variables :passwords => passwords
  80   notifies :run, "notify_group[discourse_container_new_data]"
  81 end
  82
  83 resolvers = node[:networking][:nameservers].map do |resolver|
  84   resolver =~ /:/ ? "[#{resolver}]" : resolver
  85 end
  86
  87 template "/srv/community.openstreetmap.org/docker/containers/web_only.yml" do
  88   source "web_only.yml.erb"
  89   owner "root"
  90   group "root"
  91   mode "640"
  92   variables :license_keys => license_keys, :passwords => passwords,
  93             :prometheus_servers => prometheus_servers, :resolvers => resolvers
  94   notifies :run, "notify_group[discourse_container_new_web_only]"
  95 end
  96
  97 template "/srv/community.openstreetmap.org/files/policyd-spf.conf" do
  98   source "policyd-spf.conf.erb"
  99   owner "community"
 100   group "community"
 101   mode "644"
 102   notifies :run, "notify_group[discourse_container_new_mail_receiver]"
 103 end
 104
 105 template "/srv/community.openstreetmap.org/docker/containers/mail-receiver.yml" do
 106   source "mail-receiver.yml.erb"
 107   owner "root"
 108   group "root"
 109   mode "640"
 110   variables :passwords => passwords
 111   notifies :run, "notify_group[discourse_container_new_mail_receiver]"
 112 end
 113
 114 ssl_certificate "community.openstreetmap.org" do
 115   domains ["community.openstreetmap.org", "community.osm.org", "communities.openstreetmap.org", "communities.osm.org", "c.openstreetmap.org", "c.osm.org", "forum.openstreetmap.org", "forum.osm.org"]
 116   notifies :run, "notify_group[discourse_container_new_web_only]"
 117   notifies :run, "notify_group[discourse_container_new_mail_receiver]"
 118 end
 119
 120 notify_group "discourse_container_new_web_only" do
 121   notifies :run, "execute[discourse_container_data_start]", :immediately # noop if site up
 122   notifies :run, "execute[discourse_container_web_only_bootstrap]", :immediately # site up but runs in parallel. Slow
 123   notifies :run, "execute[discourse_container_web_only_destroy]", :immediately # site down
 124   notifies :run, "execute[discourse_container_data_destroy]", :immediately # site down
 125   notifies :run, "execute[discourse_container_data_bootstrap]", :immediately # site down
 126   notifies :run, "execute[discourse_container_data_start]", :immediately # site down
 127   notifies :run, "execute[discourse_container_web_only_start]", :immediately # site restore
 128 end
 129
 130 notify_group "discourse_container_new_data" do
 131   notifies :run, "execute[discourse_container_web_only_destroy]", :immediately # site down
 132   notifies :run, "execute[discourse_container_data_destroy]", :immediately # site down
 133   notifies :run, "execute[discourse_container_data_bootstrap]", :immediately # site down
 134   notifies :run, "execute[discourse_container_data_start]", :immediately # site down
 135   notifies :run, "execute[discourse_container_web_only_start]", :immediately # site restore
 136 end
 137
 138 notify_group "discourse_container_new_mail_receiver" do
 139   notifies :run, "execute[discourse_container_mail_receiver_destroy]", :immediately
 140   notifies :run, "execute[discourse_container_mail_receiver_bootstrap]", :immediately
 141   notifies :run, "execute[discourse_container_mail_receiver_start]", :immediately
 142 end
 143
 144 # Attempt at a failsafe to ensure all containers are running
 145 notify_group "discourse_container_ensure_all_running" do
 146   action :run
 147   notifies :run, "execute[discourse_container_data_start]", :delayed
 148   notifies :run, "execute[discourse_container_web_only_start]", :delayed
 149   notifies :run, "execute[discourse_container_mail_receiver_start]", :delayed
 150 end
 151
 152 execute "discourse_container_data_bootstrap" do
 153   action :nothing
 154   command "./launcher bootstrap data"
 155   cwd "/srv/community.openstreetmap.org/docker/"
 156   user "root"
 157   group "root"
 158   retries 2 # Postgres upgrades required a second run
 159 end
 160
 161 execute "discourse_container_data_destroy" do
 162   action :nothing
 163   command "./launcher destroy data"
 164   cwd "/srv/community.openstreetmap.org/docker/"
 165   user "root"
 166   group "root"
 167 end
 168
 169 execute "discourse_container_data_start" do
 170   action :nothing
 171   command "./launcher start data"
 172   cwd "/srv/community.openstreetmap.org/docker/"
 173   user "root"
 174   group "root"
 175 end
 176
 177 execute "discourse_container_web_only_bootstrap" do
 178   action :nothing
 179   command "./launcher bootstrap web_only"
 180   cwd "/srv/community.openstreetmap.org/docker/"
 181   user "root"
 182   group "root"
 183 end
 184
 185 execute "discourse_container_web_only_destroy" do
 186   action :nothing
 187   command "./launcher destroy web_only"
 188   cwd "/srv/community.openstreetmap.org/docker/"
 189   user "root"
 190   group "root"
 191 end
 192
 193 execute "discourse_container_web_only_start" do
 194   action :nothing
 195   command "./launcher start web_only"
 196   cwd "/srv/community.openstreetmap.org/docker/"
 197   user "root"
 198   group "root"
 199 end
 200
 201 execute "discourse_container_mail_receiver_bootstrap" do
 202   action :nothing
 203   command "./launcher bootstrap mail-receiver"
 204   cwd "/srv/community.openstreetmap.org/docker/"
 205   user "root"
 206   group "root"
 207   not_if { arm? } # Not yet supported on ARM https://github.com/discourse/mail-receiver/pull/28
 208 end
 209
 210 execute "discourse_container_mail_receiver_destroy" do
 211   action :nothing
 212   command "./launcher destroy mail-receiver"
 213   cwd "/srv/community.openstreetmap.org/docker/"
 214   user "root"
 215   group "root"
 216   not_if { arm? } # Not yet supported on ARM https://github.com/discourse/mail-receiver/pull/28
 217 end
 218
 219 execute "discourse_container_mail_receiver_start" do
 220   action :nothing
 221   command "./launcher start mail-receiver"
 222   cwd "/srv/community.openstreetmap.org/docker/"
 223   user "root"
 224   group "root"
 225   not_if { arm? } # Not yet supported on ARM https://github.com/discourse/mail-receiver/pull/28
 226 end
 227
 228 template "/etc/cron.daily/community-backup" do
 229   source "backup.cron.erb"
 230   owner "root"
 231   group "root"
 232   mode "750"
 233 end
 234
 235 node.default[:prometheus][:exporters][443] = {
 236   :name => "community",
 237   :address => "#{node[:prometheus][:address]}:443",
 238   :sni => "community.openstreetmap.org"
 239 }