]> git.openstreetmap.org Git - chef.git/blob - cookbooks/overpass/recipes/default.rb
47469716875a78bbdfb801df44f002addb2959ea
[chef.git] / cookbooks / overpass / recipes / default.rb
1 #
2 # Cookbook:: overpass
3 # Recipe:: default
4 #
5 # Copyright:: 2021, OpenStreetMap Foundation
6 #
7 # Licensed under the Apache License, Version 2.0 (the "License");
8 # you may not use this file except in compliance with the License.
9 # You may obtain a copy of the License at
10 #
11 #     https://www.apache.org/licenses/LICENSE-2.0
12 #
13 # Unless required by applicable law or agreed to in writing, software
14 # distributed under the License is distributed on an "AS IS" BASIS,
15 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
16 # See the License for the specific language governing permissions and
17 # limitations under the License.
18 #
19
20 include_recipe "accounts"
21 include_recipe "apache"
22 include_recipe "munin"
23 include_recipe "prometheus"
24 include_recipe "ruby"
25
26 username = "overpass"
27 basedir = data_bag_item("accounts", username)["home"]
28 web_passwords = data_bag_item("web", "passwords")
29
30 %w[bin site diffs db src].each do |dirname|
31   directory "#{basedir}/#{dirname}" do
32     owner username
33     group username
34     mode "755"
35     recursive true
36   end
37 end
38
39 # FIXME: Remove purge post munin removal
40 directory "#{basedir}/munin" do
41   action :delete
42   recursive true
43 end
44
45 ## Install overpass from source
46
47 srcdir = "#{basedir}/src/osm-3s_v#{node[:overpass][:version]}"
48
49 package %w[
50   build-essential
51   libexpat1-dev
52   zlib1g-dev
53   liblz4-dev
54   pyosmium
55   osmium-tool
56 ]
57
58 remote_file "#{srcdir}.tar.gz" do
59   action :create
60   source "https://dev.overpass-api.de/releases/osm-3s_v#{node[:overpass][:version]}.tar.gz"
61   owner username
62   group username
63   mode "644"
64 end
65
66 execute "source_tarball" do
67   cwd "#{basedir}/src"
68   command "tar -xf #{srcdir}.tar.gz"
69   user username
70   notifies :run, "execute[install_overpass]"
71   not_if { ::File.exist?(srcdir) }
72 end
73
74 execute "install_overpass" do
75   action :nothing
76   user username
77   cwd srcdir
78   command "./configure --enable-lz4 --prefix=#{basedir} && make install"
79   notifies :restart, "service[overpass-dispatcher]"
80   notifies :restart, "service[overpass-area-dispatcher]"
81 end
82
83 ## Setup Apache
84
85 gem_package "rotp" do
86   gem_binary node[:ruby][:gem]
87 end
88
89 directory "#{basedir}/apache" do
90   owner "root"
91   group "root"
92   mode "755"
93 end
94
95 template "#{basedir}/apache/totp-filter" do
96   source "totp-filter.erb"
97   owner "root"
98   group "root"
99   mode "755"
100   variables :totp_key => web_passwords["totp_key"]
101 end
102
103 ssl_certificate node[:fqdn] do
104   domains [node[:fqdn],
105            node[:overpass][:fqdn]]
106   notifies :reload, "service[apache2]"
107 end
108
109 apache_module "cgi"
110 apache_module "headers"
111 apache_module "rewrite"
112
113 apache_site "default" do
114   action :disable
115 end
116
117 apache_site "#{node[:overpass][:fqdn]}" do
118   template "apache.erb"
119   directory "#{basedir}/site"
120   variables :script_directory => "#{basedir}/cgi-bin"
121 end
122
123 ## Overpass deamons
124
125 meta_map_short = {
126   "no" => "",
127   "meta" => "--meta",
128   "attic" => "--attic"
129 }
130
131 logdir = node[:overpass][:logdir]
132
133 directory logdir do
134   owner username
135   group username
136   mode "755"
137   recursive true
138 end
139
140 %w[overpass-update-db overpass-update-areas].each do |fname|
141   template "#{basedir}/bin/#{fname}" do
142     source "#{fname}.erb"
143     owner "overpass"
144     group "overpass"
145     mode "700"
146     variables :basedir => basedir, :srcdir => srcdir
147   end
148 end
149
150 template "#{basedir}/bin/overpass-import-db" do
151   source "overpass-import-db.erb"
152   owner "root"
153   group "root"
154   mode "755"
155   variables :basedir => basedir, :username => username, :srcdir => srcdir
156 end
157
158 systemd_service "overpass-dispatcher" do
159   description "Overpass Main Dispatcher"
160   wants ["overpass-area-dispatcher.service"]
161   working_directory basedir
162   exec_start "#{basedir}/bin/dispatcher --osm-base #{meta_map_short[node[:overpass][:meta_mode]]} --db-dir=#{basedir}/db --rate-limit=#{node[:overpass][:rate_limit]} --space=#{node[:overpass][:dispatcher_space]}"
163   exec_stop "#{basedir}/bin/dispatcher --osm-base --terminate"
164   standard_output "append:#{logdir}/osm_base.log"
165   user username
166 end
167
168 service "overpass-dispatcher" do
169   action [:enable]
170 end
171
172 systemd_service "overpass-area-dispatcher" do
173   description "Overpass Area Dispatcher"
174   after ["overpass-dispatcher.service"]
175   working_directory basedir
176   exec_start "#{basedir}/bin/dispatcher --areas #{meta_map_short[node[:overpass][:meta_mode]]} --db-dir=#{basedir}/db"
177   exec_stop "#{basedir}/bin/dispatcher --areas --terminate"
178   standard_output "append:#{logdir}/areas.log"
179   user username
180 end
181
182 service "overpass-area-dispatcher" do
183   action [:enable]
184 end
185
186 systemd_service "overpass-update" do
187   description "Overpass Update Application"
188   after ["overpass-dispatcher.service"]
189   wants ["overpass-area-processor.service"]
190   working_directory basedir
191   exec_start "#{basedir}/bin/overpass-update-db"
192   standard_output "append:#{logdir}/update.log"
193   user username
194   restart "on-success"
195 end
196
197 if node[:overpass][:meta_mode] == "attic"
198   systemd_service "overpass-area-processor" do
199     description "Overpass Area Processor"
200     after ["overpass-area-dispatcher.service", "overpass-update.service"]
201     working_directory basedir
202     exec_start "#{basedir}/bin/overpass-update-areas"
203     standard_output "append:#{logdir}/area-processor.log"
204     restart "on-success"
205     nice 19
206     user username
207   end
208 else
209   systemd_service "overpass-area-processor" do
210     description "Overpass Area Processor"
211     after ["overpass-area-dispatcher.service", "overpass-update.service"]
212     working_directory basedir
213     exec_start "#{basedir}/bin/osm3s_query --progress --rules"
214     standard_input "file:#{srcdir}/rules/areas.osm3s"
215     standard_output "append:#{logdir}/area-processor.log"
216     restart "on-success"
217     nice 19
218     user username
219   end
220 end
221
222 systemd_timer "overpass-area-processor" do
223   action :delete
224 end
225
226 service "overpass-area-processor" do
227   action [:disable]
228 end
229
230 template "/etc/logrotate.d/overpass" do
231   source "logrotate.erb"
232   owner "root"
233   group "root"
234   mode "644"
235   variables :logdir => logdir
236 end
237
238 prometheus_exporter "overpass" do
239   port 9898
240   user username
241   restrict_address_families "AF_UNIX"
242   options [
243     "--overpass.base-directory=#{basedir}"
244   ]
245 end