cookbooks/overpass/recipes/default.rb

   1 #
   2 # Cookbook:: overpass
   3 # Recipe:: default
   4 #
   5 # Copyright:: 2021, OpenStreetMap Foundation
   6 #
   7 # Licensed under the Apache License, Version 2.0 (the "License");
   8 # you may not use this file except in compliance with the License.
   9 # You may obtain a copy of the License at
  10 #
  11 #     https://www.apache.org/licenses/LICENSE-2.0
  12 #
  13 # Unless required by applicable law or agreed to in writing, software
  14 # distributed under the License is distributed on an "AS IS" BASIS,
  15 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  16 # See the License for the specific language governing permissions and
  17 # limitations under the License.
  18 #
  19
  20 include_recipe "accounts"
  21 include_recipe "apache"
  22 include_recipe "munin"
  23 include_recipe "prometheus"
  24 include_recipe "ruby"
  25
  26 username = "overpass"
  27 basedir = data_bag_item("accounts", username)["home"]
  28 web_passwords = data_bag_item("web", "passwords")
  29
  30 %w[bin site diffs db src munin].each do |dirname|
  31   directory "#{basedir}/#{dirname}" do
  32     owner username
  33     group username
  34     mode "755"
  35     recursive true
  36   end
  37 end
  38
  39 ## Install overpass from source
  40
  41 srcdir = "#{basedir}/src/osm-3s_v#{node[:overpass][:version]}"
  42
  43 package %w[
  44   build-essential
  45   libexpat1-dev
  46   zlib1g-dev
  47   liblz4-dev
  48   pyosmium
  49   osmium-tool
  50 ]
  51
  52 remote_file "#{srcdir}.tar.gz" do
  53   action :create
  54   source "https://dev.overpass-api.de/releases/osm-3s_v#{node[:overpass][:version]}.tar.gz"
  55   owner username
  56   group username
  57   mode "644"
  58 end
  59
  60 execute "source_tarball" do
  61   cwd "#{basedir}/src"
  62   command "tar -xf #{srcdir}.tar.gz"
  63   user username
  64   notifies :run, "execute[install_overpass]"
  65   not_if { ::File.exist?(srcdir) }
  66 end
  67
  68 execute "install_overpass" do
  69   action :nothing
  70   user username
  71   cwd srcdir
  72   command "./configure --enable-lz4 --prefix=#{basedir} && make install"
  73   notifies :restart, "service[overpass-dispatcher]"
  74   notifies :restart, "service[overpass-area-dispatcher]"
  75 end
  76
  77 ## Setup Apache
  78
  79 gem_package "rotp" do
  80   gem_binary node[:ruby][:gem]
  81 end
  82
  83 directory "#{basedir}/apache" do
  84   owner "root"
  85   group "root"
  86   mode "755"
  87 end
  88
  89 template "#{basedir}/apache/totp-filter" do
  90   source "totp-filter.erb"
  91   owner "root"
  92   group "root"
  93   mode "755"
  94   variables :totp_key => web_passwords["totp_key"]
  95 end
  96
  97 ssl_certificate node[:fqdn] do
  98   domains [node[:fqdn],
  99            node[:overpass][:fqdn]]
 100   notifies :reload, "service[apache2]"
 101 end
 102
 103 apache_module "cgi"
 104 apache_module "headers"
 105 apache_module "rewrite"
 106
 107 apache_site "default" do
 108   action :disable
 109 end
 110
 111 apache_site "#{node[:overpass][:fqdn]}" do
 112   template "apache.erb"
 113   directory "#{basedir}/site"
 114   variables :script_directory => "#{basedir}/cgi-bin"
 115 end
 116
 117 ## Overpass deamons
 118
 119 meta_map_short = {
 120   "no" => "",
 121   "meta" => "--meta",
 122   "attic" => "--attic"
 123 }
 124
 125 logdir = node[:overpass][:logdir]
 126
 127 directory logdir do
 128   owner username
 129   group username
 130   mode "755"
 131   recursive true
 132 end
 133
 134 %w[overpass-update-db overpass-update-areas].each do |fname|
 135   template "#{basedir}/bin/#{fname}" do
 136     source "#{fname}.erb"
 137     owner "overpass"
 138     group "overpass"
 139     mode "700"
 140     variables :basedir => basedir, :srcdir => srcdir
 141   end
 142 end
 143
 144 template "#{basedir}/bin/overpass-import-db" do
 145   source "overpass-import-db.erb"
 146   owner "root"
 147   group "root"
 148   mode "755"
 149   variables :basedir => basedir, :username => username, :srcdir => srcdir
 150 end
 151
 152 systemd_service "overpass-dispatcher" do
 153   description "Overpass Main Dispatcher"
 154   working_directory basedir
 155   exec_start "#{basedir}/bin/dispatcher --osm-base #{meta_map_short[node[:overpass][:meta_mode]]} --db-dir=#{basedir}/db --rate-limit=#{node[:overpass][:rate_limit]} --space=#{node[:overpass][:dispatcher_space]}"
 156   exec_stop "#{basedir}/bin/dispatcher --osm-base --terminate"
 157   standard_output "append:#{logdir}/osm_base.log"
 158   user username
 159 end
 160
 161 service "overpass-dispatcher" do
 162   action [:enable]
 163 end
 164
 165 systemd_service "overpass-area-dispatcher" do
 166   description "Overpass Area Dispatcher"
 167   after ["overpass-dispatcher"]
 168   working_directory basedir
 169   exec_start "#{basedir}/bin/dispatcher --areas #{meta_map_short[node[:overpass][:meta_mode]]} --db-dir=#{basedir}/db"
 170   exec_stop "#{basedir}/bin/dispatcher --areas --terminate"
 171   standard_output "append:#{logdir}/areas.log"
 172   user username
 173 end
 174
 175 service "overpass-area-dispatcher" do
 176   action [:enable]
 177 end
 178
 179 systemd_service "overpass-update" do
 180   description "Overpass Update Application"
 181   after ["overpass-dispatcher"]
 182   working_directory basedir
 183   exec_start "#{basedir}/bin/overpass-update-db"
 184   standard_output "append:#{logdir}/update.log"
 185   user username
 186 end
 187
 188 if node[:overpass][:meta_mode] == "attic"
 189   systemd_service "overpass-area-processor" do
 190     description "Overpass Area Processor"
 191     after ["overpass-area-dispatcher"]
 192     working_directory basedir
 193     exec_start "#{basedir}/bin/overpass-update-areas"
 194     standard_output "append:#{logdir}/area-processor.log"
 195     nice 19
 196     user username
 197   end
 198 else
 199   systemd_service "overpass-area-processor" do
 200     description "Overpass Area Processor"
 201     after ["overpass-area-dispatcher"]
 202     working_directory basedir
 203     exec_start "#{basedir}/bin/osm3s_query --progress --rules"
 204     standard_input "file:#{srcdir}/rules/areas.osm3s"
 205     standard_output "append:#{logdir}/area-processor.log"
 206     nice 19
 207     user username
 208   end
 209 end
 210
 211 systemd_timer "overpass-area-processor" do
 212   description "Update areas in Overpass"
 213   on_calendar "*-*-* *:*:00"
 214 end
 215
 216 service "overpass-area-processor" do
 217   action [:enable]
 218 end
 219
 220 template "/etc/logrotate.d/overpass" do
 221   source "logrotate.erb"
 222   owner "root"
 223   group "root"
 224   mode "644"
 225   variables :logdir => logdir
 226 end
 227
 228 # Munin scripts
 229
 230 %w[db_lag request_count].each do |name|
 231   template "#{basedir}/munin/overpass_#{name}" do
 232     source "munin_#{name}.erb"
 233     owner username
 234     group username
 235     mode "755"
 236     variables :basedir => basedir
 237   end
 238
 239   munin_plugin "overpass_#{name}" do
 240     target "#{basedir}/munin/overpass_#{name}"
 241     conf "munin.erb"
 242     conf_variables :user => username
 243   end
 244 end
 245
 246 prometheus_exporter "overpass" do
 247   port 9898
 248   user username
 249   options [
 250     "--overpass.base-directory=#{basedir}"
 251   ]
 252 end