cookbooks/overpass/recipes/default.rb

   1 #
   2 # Cookbook:: overpass
   3 # Recipe:: default
   4 #
   5 # Copyright:: 2021, OpenStreetMap Foundation
   6 #
   7 # Licensed under the Apache License, Version 2.0 (the "License");
   8 # you may not use this file except in compliance with the License.
   9 # You may obtain a copy of the License at
  10 #
  11 #     https://www.apache.org/licenses/LICENSE-2.0
  12 #
  13 # Unless required by applicable law or agreed to in writing, software
  14 # distributed under the License is distributed on an "AS IS" BASIS,
  15 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  16 # See the License for the specific language governing permissions and
  17 # limitations under the License.
  18 #
  19
  20 include_recipe "accounts"
  21 include_recipe "apache"
  22 include_recipe "munin"
  23 include_recipe "prometheus"
  24 include_recipe "ruby"
  25
  26 username = "overpass"
  27 basedir = data_bag_item("accounts", username)["home"]
  28 web_passwords = data_bag_item("web", "passwords")
  29
  30 %w[bin site diffs db src munin].each do |dirname|
  31   directory "#{basedir}/#{dirname}" do
  32     owner username
  33     group username
  34     mode "755"
  35     recursive true
  36   end
  37 end
  38
  39 ## Install overpass from source
  40
  41 srcdir = "#{basedir}/src/osm-3s_v#{node[:overpass][:full_version]}"
  42
  43 package %w[
  44   build-essential
  45   libexpat1-dev
  46   zlib1g-dev
  47   liblz4-dev
  48   pyosmium
  49   osmium-tool
  50 ]
  51
  52 remote_file "#{srcdir}.tar.gz" do
  53   action :create
  54   source "https://dev.overpass-api.de/releases/osm-3s_v#{node[:overpass][:version]}.tar.gz"
  55   owner username
  56   group username
  57   mode "644"
  58 end
  59
  60 execute "source_tarball" do
  61   cwd "#{basedir}/src"
  62   command "tar -xf #{srcdir}.tar.gz"
  63   user username
  64   notifies :run, "execute[install_overpass]"
  65   not_if { ::File.exist?(srcdir) }
  66 end
  67
  68 execute "install_overpass" do
  69   action :nothing
  70   user username
  71   cwd srcdir
  72   command "./configure --enable-lz4 --prefix=#{basedir} && make install"
  73 end
  74
  75 ## Setup Apache
  76
  77 gem_package "rotp" do
  78   gem_binary node[:ruby][:gem]
  79 end
  80
  81 directory "#{basedir}/apache" do
  82   owner "root"
  83   group "root"
  84   mode "755"
  85 end
  86
  87 template "#{basedir}/apache/totp-filter" do
  88   source "totp-filter.erb"
  89   owner "root"
  90   group "root"
  91   mode "755"
  92   variables :totp_key => web_passwords["totp_key"]
  93 end
  94
  95 ssl_certificate node[:fqdn] do
  96   domains [node[:fqdn],
  97            node[:overpass][:fqdn]]
  98   notifies :reload, "service[apache2]"
  99 end
 100
 101 apache_module "cgi"
 102 apache_module "headers"
 103 apache_module "rewrite"
 104
 105 apache_site "default" do
 106   action :disable
 107 end
 108
 109 apache_site "#{node[:overpass][:fqdn]}" do
 110   template "apache.erb"
 111   directory "#{basedir}/site"
 112   variables :script_directory => "#{basedir}/cgi-bin"
 113 end
 114
 115 ## Overpass deamons
 116
 117 meta_map_short = {
 118   "no" => "",
 119   "meta" => "--meta",
 120   "attic" => "--attic"
 121 }
 122
 123 logdir = node[:overpass][:logdir]
 124
 125 directory logdir do
 126   owner username
 127   group username
 128   mode "755"
 129   recursive true
 130 end
 131
 132 %w[overpass-update-db overpass-update-areas].each do |fname|
 133   template "#{basedir}/bin/#{fname}" do
 134     source "#{fname}.erb"
 135     owner "overpass"
 136     group "overpass"
 137     mode "700"
 138     variables :basedir => basedir, :srcdir => srcdir
 139   end
 140 end
 141
 142 template "#{basedir}/bin/overpass-import-db" do
 143   source "overpass-import-db.erb"
 144   owner "root"
 145   group "root"
 146   mode "755"
 147   variables :basedir => basedir, :username => username, :srcdir => srcdir
 148 end
 149
 150 systemd_service "overpass-dispatcher" do
 151   description "Overpass Main Dispatcher"
 152   working_directory basedir
 153   exec_start "#{basedir}/bin/dispatcher --osm-base #{meta_map_short[node[:overpass][:meta_mode]]} --db-dir=#{basedir}/db --rate-limit=#{node[:overpass][:rate_limit]} --space=#{node[:overpass][:dispatcher_space]}"
 154   exec_stop "#{basedir}/bin/dispatcher --osm-base --terminate"
 155   standard_output "append:#{logdir}/osm_base.log"
 156   user username
 157 end
 158
 159 service "overpass-dispatcher" do
 160   action [:enable]
 161 end
 162
 163 systemd_service "overpass-area-dispatcher" do
 164   description "Overpass Area Dispatcher"
 165   after ["overpass-dispatcher"]
 166   working_directory basedir
 167   exec_start "#{basedir}/bin/dispatcher --areas #{meta_map_short[node[:overpass][:meta_mode]]} --db-dir=#{basedir}/db"
 168   exec_stop "#{basedir}/bin/dispatcher --areas --terminate"
 169   standard_output "append:#{logdir}/areas.log"
 170   user username
 171 end
 172
 173 service "overpass-area-dispatcher" do
 174   action [:enable]
 175 end
 176
 177 systemd_service "overpass-update" do
 178   description "Overpass Update Application"
 179   after ["overpass-dispatcher"]
 180   working_directory basedir
 181   exec_start "#{basedir}/bin/overpass-update-db"
 182   standard_output "append:#{logdir}/update.log"
 183   user username
 184 end
 185
 186 if node[:overpass][:meta_mode] == "attic"
 187   systemd_service "overpass-area-processor" do
 188     description "Overpass Area Processor"
 189     after ["overpass-area-dispatcher"]
 190     working_directory basedir
 191     exec_start "#{basedir}/bin/overpass-update-areas"
 192     standard_output "append:#{logdir}/area-processor.log"
 193     nice 19
 194     user username
 195   end
 196 else
 197   systemd_service "overpass-area-processor" do
 198     description "Overpass Area Processor"
 199     after ["overpass-area-dispatcher"]
 200     working_directory basedir
 201     exec_start "#{basedir}/bin/osm3s_query --progress --rules"
 202     standard_input "file:#{srcdir}/rules/areas.osm3s"
 203     standard_output "append:#{logdir}/area-processor.log"
 204     nice 19
 205     user username
 206   end
 207 end
 208
 209 systemd_timer "overpass-area-processor" do
 210   description "Update areas in Overpass"
 211   on_calendar "*-*-* *:*:00"
 212 end
 213
 214 service "overpass-area-processor" do
 215   action [:enable]
 216 end
 217
 218 template "/etc/logrotate.d/overpass" do
 219   source "logrotate.erb"
 220   owner "root"
 221   group "root"
 222   mode "644"
 223   variables :logdir => logdir
 224 end
 225
 226 # Munin scripts
 227
 228 %w[db_lag request_count].each do |name|
 229   template "#{basedir}/munin/overpass_#{name}" do
 230     source "munin_#{name}.erb"
 231     owner username
 232     group username
 233     mode "755"
 234     variables :basedir => basedir
 235   end
 236
 237   munin_plugin "overpass_#{name}" do
 238     target "#{basedir}/munin/overpass_#{name}"
 239     conf "munin.erb"
 240     conf_variables :user => username
 241   end
 242 end
 243
 244 prometheus_exporter "overpass" do
 245   port 9898
 246   user username
 247   options [
 248     "--overpass.base-directory=#{basedir}"
 249   ]
 250 end