cookbooks/overpass/recipes/default.rb

   1 #
   2 # Cookbook:: overpass
   3 # Recipe:: default
   4 #
   5 # Copyright:: 2021, OpenStreetMap Foundation
   6 #
   7 # Licensed under the Apache License, Version 2.0 (the "License");
   8 # you may not use this file except in compliance with the License.
   9 # You may obtain a copy of the License at
  10 #
  11 #     https://www.apache.org/licenses/LICENSE-2.0
  12 #
  13 # Unless required by applicable law or agreed to in writing, software
  14 # distributed under the License is distributed on an "AS IS" BASIS,
  15 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  16 # See the License for the specific language governing permissions and
  17 # limitations under the License.
  18 #
  19
  20 include_recipe "accounts"
  21 include_recipe "apache"
  22 include_recipe "munin"
  23 include_recipe "prometheus"
  24 include_recipe "ruby"
  25
  26 username = "overpass"
  27 basedir = data_bag_item("accounts", username)["home"]
  28 web_passwords = data_bag_item("web", "passwords")
  29
  30 %w[bin site diffs db src munin].each do |dirname|
  31   directory "#{basedir}/#{dirname}" do
  32     owner username
  33     group username
  34     mode "755"
  35     recursive true
  36   end
  37 end
  38
  39 ## Install overpass from source
  40
  41 srcdir = "#{basedir}/src/osm-3s_v#{node[:overpass][:version]}"
  42
  43 package %w[
  44   build-essential
  45   libexpat1-dev
  46   zlib1g-dev
  47   liblz4-dev
  48   pyosmium
  49   osmium-tool
  50 ]
  51
  52 remote_file "#{srcdir}.tar.gz" do
  53   action :create
  54   source "https://dev.overpass-api.de/releases/osm-3s_v#{node[:overpass][:version]}.tar.gz"
  55   owner username
  56   group username
  57   mode "644"
  58 end
  59
  60 execute "source_tarball" do
  61   cwd "#{basedir}/src"
  62   command "tar -xf #{srcdir}.tar.gz"
  63   user username
  64   notifies :run, "execute[install_overpass]"
  65   not_if { ::File.exist?(srcdir) }
  66 end
  67
  68 execute "install_overpass" do
  69   action :nothing
  70   user username
  71   cwd srcdir
  72   command "./configure --enable-lz4 --prefix=#{basedir} && make install"
  73   notifies :restart, "service[overpass-dispatcher]"
  74   notifies :restart, "service[overpass-area-dispatcher]"
  75 end
  76
  77 ## Setup Apache
  78
  79 gem_package "rotp" do
  80   gem_binary node[:ruby][:gem]
  81 end
  82
  83 directory "#{basedir}/apache" do
  84   owner "root"
  85   group "root"
  86   mode "755"
  87 end
  88
  89 template "#{basedir}/apache/totp-filter" do
  90   source "totp-filter.erb"
  91   owner "root"
  92   group "root"
  93   mode "755"
  94   variables :totp_key => web_passwords["totp_key"]
  95 end
  96
  97 ssl_certificate node[:fqdn] do
  98   domains [node[:fqdn],
  99            node[:overpass][:fqdn]]
 100   notifies :reload, "service[apache2]"
 101 end
 102
 103 apache_module "cgi"
 104 apache_module "headers"
 105 apache_module "rewrite"
 106
 107 apache_site "default" do
 108   action :disable
 109 end
 110
 111 apache_site "#{node[:overpass][:fqdn]}" do
 112   template "apache.erb"
 113   directory "#{basedir}/site"
 114   variables :script_directory => "#{basedir}/cgi-bin"
 115 end
 116
 117 ## Overpass deamons
 118
 119 meta_map_short = {
 120   "no" => "",
 121   "meta" => "--meta",
 122   "attic" => "--attic"
 123 }
 124
 125 logdir = node[:overpass][:logdir]
 126
 127 directory logdir do
 128   owner username
 129   group username
 130   mode "755"
 131   recursive true
 132 end
 133
 134 %w[overpass-update-db overpass-update-areas].each do |fname|
 135   template "#{basedir}/bin/#{fname}" do
 136     source "#{fname}.erb"
 137     owner "overpass"
 138     group "overpass"
 139     mode "700"
 140     variables :basedir => basedir, :srcdir => srcdir
 141   end
 142 end
 143
 144 template "#{basedir}/bin/overpass-import-db" do
 145   source "overpass-import-db.erb"
 146   owner "root"
 147   group "root"
 148   mode "755"
 149   variables :basedir => basedir, :username => username, :srcdir => srcdir
 150 end
 151
 152 systemd_service "overpass-dispatcher" do
 153   description "Overpass Main Dispatcher"
 154   wants ["overpass-area-dispatcher.service"]
 155   working_directory basedir
 156   exec_start "#{basedir}/bin/dispatcher --osm-base #{meta_map_short[node[:overpass][:meta_mode]]} --db-dir=#{basedir}/db --rate-limit=#{node[:overpass][:rate_limit]} --space=#{node[:overpass][:dispatcher_space]}"
 157   exec_stop "#{basedir}/bin/dispatcher --osm-base --terminate"
 158   standard_output "append:#{logdir}/osm_base.log"
 159   user username
 160 end
 161
 162 service "overpass-dispatcher" do
 163   action [:enable]
 164 end
 165
 166 systemd_service "overpass-area-dispatcher" do
 167   description "Overpass Area Dispatcher"
 168   after ["overpass-dispatcher.service"]
 169   working_directory basedir
 170   exec_start "#{basedir}/bin/dispatcher --areas #{meta_map_short[node[:overpass][:meta_mode]]} --db-dir=#{basedir}/db"
 171   exec_stop "#{basedir}/bin/dispatcher --areas --terminate"
 172   standard_output "append:#{logdir}/areas.log"
 173   user username
 174 end
 175
 176 service "overpass-area-dispatcher" do
 177   action [:enable]
 178 end
 179
 180 systemd_service "overpass-update" do
 181   description "Overpass Update Application"
 182   after ["overpass-dispatcher.service"]
 183   wants ["overpass-area-processor.service"]
 184   working_directory basedir
 185   exec_start "#{basedir}/bin/overpass-update-db"
 186   standard_output "append:#{logdir}/update.log"
 187   user username
 188   restart "on-success"
 189 end
 190
 191 if node[:overpass][:meta_mode] == "attic"
 192   systemd_service "overpass-area-processor" do
 193     description "Overpass Area Processor"
 194     after ["overpass-area-dispatcher.service", "overpass-update.service"]
 195     working_directory basedir
 196     exec_start "#{basedir}/bin/overpass-update-areas"
 197     standard_output "append:#{logdir}/area-processor.log"
 198     restart "on-success"
 199     nice 19
 200     user username
 201   end
 202 else
 203   systemd_service "overpass-area-processor" do
 204     description "Overpass Area Processor"
 205     after ["overpass-area-dispatcher.service", "overpass-update.service"]
 206     working_directory basedir
 207     exec_start "#{basedir}/bin/osm3s_query --progress --rules"
 208     standard_input "file:#{srcdir}/rules/areas.osm3s"
 209     standard_output "append:#{logdir}/area-processor.log"
 210     restart "on-success"
 211     nice 19
 212     user username
 213   end
 214 end
 215
 216 systemd_timer "overpass-area-processor" do
 217   action :delete
 218 end
 219
 220 service "overpass-area-processor" do
 221   action [:disable]
 222 end
 223
 224 template "/etc/logrotate.d/overpass" do
 225   source "logrotate.erb"
 226   owner "root"
 227   group "root"
 228   mode "644"
 229   variables :logdir => logdir
 230 end
 231
 232 # Munin scripts
 233
 234 %w[db_lag request_count].each do |name|
 235   template "#{basedir}/munin/overpass_#{name}" do
 236     source "munin_#{name}.erb"
 237     owner username
 238     group username
 239     mode "755"
 240     variables :basedir => basedir
 241   end
 242
 243   munin_plugin "overpass_#{name}" do
 244     target "#{basedir}/munin/overpass_#{name}"
 245     conf "munin.erb"
 246     conf_variables :user => username
 247   end
 248 end
 249
 250 prometheus_exporter "overpass" do
 251   port 9898
 252   user username
 253   options [
 254     "--overpass.base-directory=#{basedir}"
 255   ]
 256 end