]> git.openstreetmap.org Git - chef.git/blob - cookbooks/overpass/recipes/default.rb
Scrub last munin traces
[chef.git] / cookbooks / overpass / recipes / default.rb
1 #
2 # Cookbook:: overpass
3 # Recipe:: default
4 #
5 # Copyright:: 2021, OpenStreetMap Foundation
6 #
7 # Licensed under the Apache License, Version 2.0 (the "License");
8 # you may not use this file except in compliance with the License.
9 # You may obtain a copy of the License at
10 #
11 #     https://www.apache.org/licenses/LICENSE-2.0
12 #
13 # Unless required by applicable law or agreed to in writing, software
14 # distributed under the License is distributed on an "AS IS" BASIS,
15 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
16 # See the License for the specific language governing permissions and
17 # limitations under the License.
18 #
19
20 include_recipe "accounts"
21 include_recipe "apache"
22 include_recipe "prometheus"
23 include_recipe "ruby"
24
25 username = "overpass"
26 basedir = data_bag_item("accounts", username)["home"]
27 web_passwords = data_bag_item("web", "passwords")
28
29 %w[bin site diffs db src].each do |dirname|
30   directory "#{basedir}/#{dirname}" do
31     owner username
32     group username
33     mode "755"
34     recursive true
35   end
36 end
37
38 ## Install overpass from source
39
40 srcdir = "#{basedir}/src/osm-3s_v#{node[:overpass][:version]}"
41
42 package %w[
43   build-essential
44   libexpat1-dev
45   zlib1g-dev
46   liblz4-dev
47   pyosmium
48   osmium-tool
49 ]
50
51 remote_file "#{srcdir}.tar.gz" do
52   action :create
53   source "https://dev.overpass-api.de/releases/osm-3s_v#{node[:overpass][:version]}.tar.gz"
54   owner username
55   group username
56   mode "644"
57 end
58
59 execute "source_tarball" do
60   cwd "#{basedir}/src"
61   command "tar -xf #{srcdir}.tar.gz"
62   user username
63   notifies :run, "execute[install_overpass]"
64   not_if { ::File.exist?(srcdir) }
65 end
66
67 execute "install_overpass" do
68   action :nothing
69   user username
70   cwd srcdir
71   command "./configure --enable-lz4 --prefix=#{basedir} && make install"
72   notifies :restart, "service[overpass-dispatcher]"
73   notifies :restart, "service[overpass-area-dispatcher]"
74 end
75
76 ## Setup Apache
77
78 gem_package "rotp" do
79   gem_binary node[:ruby][:gem]
80 end
81
82 directory "#{basedir}/apache" do
83   owner "root"
84   group "root"
85   mode "755"
86 end
87
88 template "#{basedir}/apache/totp-filter" do
89   source "totp-filter.erb"
90   owner "root"
91   group "root"
92   mode "755"
93   variables :totp_key => web_passwords["totp_key"]
94 end
95
96 ssl_certificate node[:fqdn] do
97   domains [node[:fqdn],
98            node[:overpass][:fqdn]]
99   notifies :reload, "service[apache2]"
100 end
101
102 apache_module "cgi"
103 apache_module "headers"
104 apache_module "rewrite"
105
106 apache_site "default" do
107   action :disable
108 end
109
110 apache_site "#{node[:overpass][:fqdn]}" do
111   template "apache.erb"
112   directory "#{basedir}/site"
113   variables :script_directory => "#{basedir}/cgi-bin"
114 end
115
116 ## Overpass deamons
117
118 meta_map_short = {
119   "no" => "",
120   "meta" => "--meta",
121   "attic" => "--attic"
122 }
123
124 logdir = node[:overpass][:logdir]
125
126 directory logdir do
127   owner username
128   group username
129   mode "755"
130   recursive true
131 end
132
133 %w[overpass-update-db overpass-update-areas].each do |fname|
134   template "#{basedir}/bin/#{fname}" do
135     source "#{fname}.erb"
136     owner "overpass"
137     group "overpass"
138     mode "700"
139     variables :basedir => basedir, :srcdir => srcdir
140   end
141 end
142
143 template "#{basedir}/bin/overpass-import-db" do
144   source "overpass-import-db.erb"
145   owner "root"
146   group "root"
147   mode "755"
148   variables :basedir => basedir, :username => username, :srcdir => srcdir
149 end
150
151 systemd_service "overpass-dispatcher" do
152   description "Overpass Main Dispatcher"
153   wants ["overpass-area-dispatcher.service"]
154   working_directory basedir
155   exec_start "#{basedir}/bin/dispatcher --osm-base #{meta_map_short[node[:overpass][:meta_mode]]} --db-dir=#{basedir}/db --rate-limit=#{node[:overpass][:rate_limit]} --space=#{node[:overpass][:dispatcher_space]}"
156   exec_stop "#{basedir}/bin/dispatcher --osm-base --terminate"
157   standard_output "append:#{logdir}/osm_base.log"
158   user username
159 end
160
161 service "overpass-dispatcher" do
162   action [:enable]
163 end
164
165 systemd_service "overpass-area-dispatcher" do
166   description "Overpass Area Dispatcher"
167   after ["overpass-dispatcher.service"]
168   working_directory basedir
169   exec_start "#{basedir}/bin/dispatcher --areas #{meta_map_short[node[:overpass][:meta_mode]]} --db-dir=#{basedir}/db"
170   exec_stop "#{basedir}/bin/dispatcher --areas --terminate"
171   standard_output "append:#{logdir}/areas.log"
172   user username
173 end
174
175 service "overpass-area-dispatcher" do
176   action [:enable]
177 end
178
179 systemd_service "overpass-update" do
180   description "Overpass Update Application"
181   after ["overpass-dispatcher.service"]
182   wants ["overpass-area-processor.service"]
183   working_directory basedir
184   exec_start "#{basedir}/bin/overpass-update-db"
185   standard_output "append:#{logdir}/update.log"
186   user username
187   restart "on-success"
188 end
189
190 if node[:overpass][:meta_mode] == "attic"
191   systemd_service "overpass-area-processor" do
192     description "Overpass Area Processor"
193     after ["overpass-area-dispatcher.service", "overpass-update.service"]
194     working_directory basedir
195     exec_start "#{basedir}/bin/overpass-update-areas"
196     standard_output "append:#{logdir}/area-processor.log"
197     restart "on-success"
198     nice 19
199     user username
200   end
201 else
202   systemd_service "overpass-area-processor" do
203     description "Overpass Area Processor"
204     after ["overpass-area-dispatcher.service", "overpass-update.service"]
205     working_directory basedir
206     exec_start "#{basedir}/bin/osm3s_query --progress --rules"
207     standard_input "file:#{srcdir}/rules/areas.osm3s"
208     standard_output "append:#{logdir}/area-processor.log"
209     restart "on-success"
210     nice 19
211     user username
212   end
213 end
214
215 systemd_timer "overpass-area-processor" do
216   action :delete
217 end
218
219 service "overpass-area-processor" do
220   action [:disable]
221 end
222
223 template "/etc/logrotate.d/overpass" do
224   source "logrotate.erb"
225   owner "root"
226   group "root"
227   mode "644"
228   variables :logdir => logdir
229 end
230
231 prometheus_exporter "overpass" do
232   port 9898
233   user username
234   restrict_address_families "AF_UNIX"
235   options [
236     "--overpass.base-directory=#{basedir}"
237   ]
238 end