cookbooks/db/recipes/base.rb

   1 #
   2 # Cookbook:: db
   3 # Recipe:: base
   4 #
   5 # Copyright:: 2011, OpenStreetMap Foundation
   6 #
   7 # Licensed under the Apache License, Version 2.0 (the "License");
   8 # you may not use this file except in compliance with the License.
   9 # You may obtain a copy of the License at
  10 #
  11 #     https://www.apache.org/licenses/LICENSE-2.0
  12 #
  13 # Unless required by applicable law or agreed to in writing, software
  14 # distributed under the License is distributed on an "AS IS" BASIS,
  15 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  16 # See the License for the specific language governing permissions and
  17 # limitations under the License.
  18 #
  19
  20 include_recipe "accounts"
  21 include_recipe "git"
  22 include_recipe "postgresql"
  23 include_recipe "python"
  24
  25 passwords = data_bag_item("db", "passwords")
  26 wal_secrets = data_bag_item("db", "wal-secrets")
  27
  28 ruby_version = node[:passenger][:ruby_version]
  29
  30 postgresql_munin "openstreetmap" do
  31   cluster node[:db][:cluster]
  32   database "openstreetmap"
  33 end
  34
  35 directory "/srv/www.openstreetmap.org" do
  36   group "rails"
  37   mode "2775"
  38 end
  39
  40 rails_port "www.openstreetmap.org" do
  41   ruby ruby_version
  42   directory "/srv/www.openstreetmap.org/rails"
  43   user "rails"
  44   group "rails"
  45   repository "https://git.openstreetmap.org/public/rails.git"
  46   revision "live"
  47   build_assets false
  48   database_host "localhost"
  49   database_name "openstreetmap"
  50   database_username "openstreetmap"
  51   database_password passwords["openstreetmap"]
  52 end
  53
  54 package %w[
  55   cmake
  56   libosmium2-dev
  57   libprotozero-dev
  58   libboost-filesystem-dev
  59   libboost-program-options-dev
  60   libbz2-dev
  61   zlib1g-dev
  62   libexpat1-dev
  63   libyaml-cpp-dev
  64   libpqxx-dev
  65 ]
  66
  67 git "/opt/osmdbt" do
  68   action :sync
  69   repository "https://github.com/openstreetmap/osmdbt.git"
  70   revision "v0.2"
  71   depth 1
  72   user "root"
  73   group "root"
  74 end
  75
  76 node[:postgresql][:versions].each do |db_version|
  77   pg_config = "/usr/lib/postgresql/#{db_version}/bin/pg_config"
  78   function_directory = "/srv/www.openstreetmap.org/rails/db/functions/#{db_version}"
  79
  80   directory function_directory do
  81     owner "rails"
  82     group "rails"
  83     mode "755"
  84   end
  85
  86   execute function_directory do
  87     action :nothing
  88     command "make BUNDLE=bundle#{ruby_version} PG_CONFIG=#{pg_config} DESTDIR=#{function_directory}"
  89     cwd "/srv/www.openstreetmap.org/rails/db/functions"
  90     user "rails"
  91     group "rails"
  92     subscribes :run, "directory[#{function_directory}]"
  93     subscribes :run, "git[/srv/www.openstreetmap.org/rails]"
  94   end
  95
  96   link "/usr/lib/postgresql/#{db_version}/lib/libpgosm.so" do
  97     to "#{function_directory}/libpgosm.so"
  98     owner "root"
  99     group "root"
 100   end
 101
 102   directory "/opt/osmdbt/build-#{db_version}" do
 103     owner "root"
 104     group "root"
 105     mode "755"
 106   end
 107
 108   execute "/opt/osmdbt/build-#{db_version}" do
 109     action :nothing
 110     command "cmake -DPG_CONFIG=/usr/lib/postgresql/#{db_version}/bin/pg_config .."
 111     cwd "/opt/osmdbt/build-#{db_version}"
 112     user "root"
 113     group "root"
 114     subscribes :run, "directory[/opt/osmdbt/build-#{db_version}]"
 115     subscribes :run, "git[/opt/osmdbt]"
 116   end
 117
 118   execute "/opt/osmdbt/build-#{db_version}/postgresql-plugin/Makefile" do
 119     action :nothing
 120     command "make"
 121     cwd "/opt/osmdbt/build-#{db_version}/postgresql-plugin"
 122     user "root"
 123     group "root"
 124     subscribes :run, "execute[/opt/osmdbt/build-#{db_version}]"
 125   end
 126
 127   link "/usr/lib/postgresql/#{db_version}/lib/osm-logical.so" do
 128     to "/opt/osmdbt/build-#{db_version}/postgresql-plugin/osm-logical.so"
 129     owner "root"
 130     group "root"
 131   end
 132 end
 133
 134 package "lzop"
 135
 136 python_package "wal-e" do
 137   python_version "3"
 138 end
 139
 140 python_package "boto" do
 141   python_version "3"
 142 end
 143
 144 template "/usr/local/bin/openstreetmap-wal-e" do
 145   source "wal-e.erb"
 146   owner "root"
 147   group "postgres"
 148   mode "750"
 149   variables :s3_key => wal_secrets["s3_key"]
 150 end
 151
 152 remote_file "/usr/local/bin/wal-g" do
 153   action :create
 154   source "https://github.com/wal-g/wal-g/releases/download/v1.1/wal-g-pg-ubuntu-20.04-amd64"
 155   owner "root"
 156   group "root"
 157   mode "755"
 158 end
 159
 160 template "/usr/local/bin/openstreetmap-wal-g" do
 161   source "wal-g.erb"
 162   owner "root"
 163   group "postgres"
 164   mode "750"
 165   variables :s3_key => wal_secrets["s3_key"]
 166 end