]> git.openstreetmap.org Git - chef.git/blob - cookbooks/overpass/recipes/default.rb
Merge remote-tracking branch 'github/pull/513'
[chef.git] / cookbooks / overpass / recipes / default.rb
1 #
2 # Cookbook:: overpass
3 # Recipe:: default
4 #
5 # Copyright:: 2021, OpenStreetMap Foundation
6 #
7 # Licensed under the Apache License, Version 2.0 (the "License");
8 # you may not use this file except in compliance with the License.
9 # You may obtain a copy of the License at
10 #
11 #     https://www.apache.org/licenses/LICENSE-2.0
12 #
13 # Unless required by applicable law or agreed to in writing, software
14 # distributed under the License is distributed on an "AS IS" BASIS,
15 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
16 # See the License for the specific language governing permissions and
17 # limitations under the License.
18 #
19
20 include_recipe "accounts"
21 include_recipe "apache"
22 include_recipe "munin"
23 include_recipe "ruby"
24
25 username = "overpass"
26 basedir = data_bag_item("accounts", username)["home"]
27 web_passwords = data_bag_item("web", "passwords")
28
29 %w[bin site diffs db src munin].each do |dirname|
30   directory "#{basedir}/#{dirname}" do
31     owner username
32     group username
33     mode "755"
34     recursive true
35   end
36 end
37
38 ## Install overpass from source
39
40 srcdir = "#{basedir}/src/osm-3s_v#{node[:overpass][:full_version]}"
41
42 package %w[
43   build-essential
44   libexpat1-dev
45   zlib1g-dev
46   liblz4-dev
47   pyosmium
48   osmium-tool
49 ]
50
51 remote_file "#{srcdir}.tar.gz" do
52   action :create
53   source "https://dev.overpass-api.de/releases/osm-3s_v#{node[:overpass][:version]}.tar.gz"
54   owner username
55   group username
56   mode "644"
57 end
58
59 execute "source_tarball" do
60   cwd "#{basedir}/src"
61   command "tar -xf #{srcdir}.tar.gz"
62   user username
63   notifies :run, "execute[install_overpass]"
64   not_if { ::File.exist?(srcdir) }
65 end
66
67 execute "install_overpass" do
68   action :nothing
69   user username
70   cwd srcdir
71   command "./configure --enable-lz4 --prefix=#{basedir} && make install"
72 end
73
74 ## Setup Apache
75
76 gem_package "rotp" do
77   gem_binary node[:ruby][:gem]
78 end
79
80 directory "#{basedir}/apache" do
81   owner "root"
82   group "root"
83   mode "755"
84 end
85
86 template "#{basedir}/apache/totp-filter" do
87   source "totp-filter.erb"
88   owner "root"
89   group "root"
90   mode "755"
91   variables :totp_key => web_passwords["totp_key"]
92 end
93
94 ssl_certificate node[:fqdn] do
95   domains [node[:fqdn],
96            node[:overpass][:fqdn]]
97   notifies :reload, "service[apache2]"
98 end
99
100 apache_module "cgi"
101 apache_module "headers"
102 apache_module "rewrite"
103
104 apache_site "default" do
105   action :disable
106 end
107
108 apache_site "#{node[:overpass][:fqdn]}" do
109   template "apache.erb"
110   directory "#{basedir}/site"
111   variables :script_directory => "#{basedir}/cgi-bin"
112 end
113
114 ## Overpass deamons
115
116 meta_map_short = {
117   "no" => "",
118   "meta" => "--meta",
119   "attic" => "--attic"
120 }
121
122 logdir = node[:overpass][:logdir]
123
124 directory logdir do
125   owner username
126   group username
127   mode "755"
128   recursive true
129 end
130
131 %w[overpass-update-db overpass-update-areas].each do |fname|
132   template "#{basedir}/bin/#{fname}" do
133     source "#{fname}.erb"
134     owner "overpass"
135     group "overpass"
136     mode "700"
137     variables :basedir => basedir, :srcdir => srcdir
138   end
139 end
140
141 template "#{basedir}/bin/overpass-import-db" do
142   source "overpass-import-db.erb"
143   owner "root"
144   group "root"
145   mode "755"
146   variables :basedir => basedir, :username => username, :srcdir => srcdir
147 end
148
149 systemd_service "overpass-dispatcher" do
150   description "Overpass Main Dispatcher"
151   working_directory basedir
152   exec_start "#{basedir}/bin/dispatcher --osm-base #{meta_map_short[node[:overpass][:meta_mode]]} --db-dir=#{basedir}/db --rate-limit=#{node[:overpass][:rate_limit]} --space=#{node[:overpass][:dispatcher_space]}"
153   exec_stop "#{basedir}/bin/dispatcher --osm-base --terminate"
154   standard_output "append:#{logdir}/osm_base.log"
155   user username
156 end
157
158 service "overpass-dispatcher" do
159   action [:enable]
160 end
161
162 systemd_service "overpass-area-dispatcher" do
163   description "Overpass Area Dispatcher"
164   after ["overpass-dispatcher"]
165   working_directory basedir
166   exec_start "#{basedir}/bin/dispatcher --areas #{meta_map_short[node[:overpass][:meta_mode]]} --db-dir=#{basedir}/db"
167   exec_stop "#{basedir}/bin/dispatcher --areas --terminate"
168   standard_output "append:#{logdir}/areas.log"
169   user username
170 end
171
172 service "overpass-area-dispatcher" do
173   action [:enable]
174 end
175
176 systemd_service "overpass-update" do
177   description "Overpass Update Application"
178   after ["overpass-dispatcher"]
179   working_directory basedir
180   exec_start "#{basedir}/bin/overpass-update-db"
181   standard_output "append:#{logdir}/update.log"
182   user username
183 end
184
185 if node[:overpass][:meta_mode] == "attic"
186   systemd_service "overpass-area-processor" do
187     description "Overpass Area Processor"
188     after ["overpass-area-dispatcher"]
189     working_directory basedir
190     exec_start "#{basedir}/bin/overpass-update-areas"
191     standard_output "append:#{logdir}/area-processor.log"
192     nice 19
193     user username
194   end
195 else
196   systemd_service "overpass-area-processor" do
197     description "Overpass Area Processor"
198     after ["overpass-area-dispatcher"]
199     working_directory basedir
200     exec_start "#{basedir}/bin/osm3s_query --progress --rules"
201     standard_input "file:#{srcdir}/rules/areas.osm3s"
202     standard_output "append:#{logdir}/area-processor.log"
203     nice 19
204     user username
205   end
206 end
207
208 systemd_timer "overpass-area-processor" do
209   description "Update areas in Overpass"
210   on_calendar "*-*-* *:*:00"
211 end
212
213 service "overpass-area-processor" do
214   action [:enable]
215 end
216
217 template "/etc/logrotate.d/overpass" do
218   source "logrotate.erb"
219   owner "root"
220   group "root"
221   mode "644"
222   variables :logdir => logdir
223 end
224
225 # Munin scripts
226
227 %w[db_lag request_count].each do |name|
228   template "#{basedir}/munin/overpass_#{name}" do
229     source "munin_#{name}.erb"
230     owner username
231     group username
232     mode "755"
233     variables :basedir => basedir
234   end
235
236   munin_plugin "overpass_#{name}" do
237     target "#{basedir}/munin/overpass_#{name}"
238     conf "munin.erb"
239     conf_variables :user => username
240   end
241 end