]> git.openstreetmap.org Git - chef.git/blob - cookbooks/prometheus/recipes/server.rb
Update karma to v0.105
[chef.git] / cookbooks / prometheus / recipes / server.rb
1 #
2 # Cookbook:: prometheus
3 # Recipe:: server
4 #
5 # Copyright:: 2020, OpenStreetMap Foundation
6 #
7 # Licensed under the Apache License, Version 2.0 (the "License");
8 # you may not use this file except in compliance with the License.
9 # You may obtain a copy of the License at
10 #
11 #     https://www.apache.org/licenses/LICENSE-2.0
12 #
13 # Unless required by applicable law or agreed to in writing, software
14 # distributed under the License is distributed on an "AS IS" BASIS,
15 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
16 # See the License for the specific language governing permissions and
17 # limitations under the License.
18 #
19
20 include_recipe "apache"
21 include_recipe "apt"
22 include_recipe "networking"
23 include_recipe "timescaledb"
24
25 passwords = data_bag_item("prometheus", "passwords")
26 tokens = data_bag_item("prometheus", "tokens")
27 admins = data_bag_item("apache", "admins")
28
29 prometheus_exporter "fastly" do
30   port 8080
31   listen_switch "listen"
32   environment "FASTLY_API_TOKEN" => tokens["fastly"]
33 end
34
35 prometheus_exporter "fastly_healthcheck" do
36   port 9696
37   scrape_interval "1m"
38   environment "FASTLY_API_TOKEN" => tokens["fastly"]
39 end
40
41 prometheus_exporter "statuscake" do
42   port 9595
43   environment "STATUSCAKE_APIKEY" => tokens["statuscake"]
44 end
45
46 cache_dir = Chef::Config[:file_cache_path]
47
48 prometheus_version = "2.31.1"
49 alertmanager_version = "0.23.0"
50 karma_version = "0.105"
51
52 directory "/opt/prometheus-server" do
53   owner "root"
54   group "root"
55   mode "755"
56 end
57
58 remote_file "#{cache_dir}/prometheus.linux-amd64.tar.gz" do
59   source "https://github.com/prometheus/prometheus/releases/download/v#{prometheus_version}/prometheus-#{prometheus_version}.linux-amd64.tar.gz"
60   owner "root"
61   group "root"
62   mode "644"
63   backup false
64 end
65
66 archive_file "#{cache_dir}/prometheus.linux-amd64.tar.gz" do
67   action :nothing
68   destination "/opt/prometheus-server/prometheus"
69   overwrite true
70   strip_components 1
71   owner "root"
72   group "root"
73   subscribes :extract, "remote_file[#{cache_dir}/prometheus.linux-amd64.tar.gz]"
74 end
75
76 remote_file "#{cache_dir}/alertmanager.linux-amd64.tar.gz" do
77   source "https://github.com/prometheus/alertmanager/releases/download/v#{alertmanager_version}/alertmanager-#{alertmanager_version}.linux-amd64.tar.gz"
78   owner "root"
79   group "root"
80   mode "644"
81   backup false
82 end
83
84 archive_file "#{cache_dir}/alertmanager.linux-amd64.tar.gz" do
85   action :nothing
86   destination "/opt/prometheus-server/alertmanager"
87   overwrite true
88   strip_components 1
89   owner "root"
90   group "root"
91   subscribes :extract, "remote_file[#{cache_dir}/alertmanager.linux-amd64.tar.gz]"
92 end
93
94 remote_file "#{cache_dir}/karma-linux-amd64.tar.gz" do
95   source "https://github.com/prymitive/karma/releases/download/v#{karma_version}/karma-linux-amd64.tar.gz"
96   owner "root"
97   group "root"
98   mode "644"
99   backup false
100 end
101
102 archive_file "#{cache_dir}/karma-linux-amd64.tar.gz" do
103   action :nothing
104   destination "/opt/prometheus-server/karma"
105   overwrite true
106   owner "root"
107   group "root"
108   subscribes :extract, "remote_file[#{cache_dir}/karma-linux-amd64.tar.gz]"
109 end
110
111 promscale_version = "0.11.0"
112
113 database_version = node[:timescaledb][:database_version]
114 database_cluster = "#{database_version}/main"
115
116 package %W[
117   prometheus
118   prometheus-alertmanager
119   promscale-extension-postgresql-#{database_version}
120 ]
121
122 postgresql_user "prometheus" do
123   cluster database_cluster
124   superuser true
125 end
126
127 postgresql_database "promscale" do
128   cluster database_cluster
129   owner "prometheus"
130 end
131
132 directory "/opt/promscale" do
133   owner "root"
134   group "root"
135   mode "755"
136 end
137
138 directory "/opt/promscale/bin" do
139   owner "root"
140   group "root"
141   mode "755"
142 end
143
144 remote_file "/opt/promscale/bin/promscale" do
145   action :create
146   source "https://github.com/timescale/promscale/releases/download/#{promscale_version}/promscale_#{promscale_version}_Linux_x86_64"
147   owner "root"
148   group "root"
149   mode "755"
150 end
151
152 systemd_service "promscale" do
153   description "Promscale Connector"
154   type "simple"
155   user "prometheus"
156   exec_start "/opt/promscale/bin/promscale --db.uri postgresql:///promscale?host=/run/postgresql&port=5432 --db.connections-max 400"
157   limit_nofile 16384
158   private_tmp true
159   protect_system "strict"
160   protect_home true
161   no_new_privileges true
162 end
163
164 if node[:prometheus][:promscale]
165   service "promscale" do
166     action [:enable, :start]
167     subscribes :restart, "remote_file[/opt/promscale/bin/promscale]"
168     subscribes :restart, "systemd_service[promscale]"
169   end
170 else
171   service "promscale" do
172     action [:disable, :stop]
173   end
174 end
175
176 search(:node, "roles:gateway") do |gateway|
177   allowed_ips = gateway.interfaces(:role => :internal).map do |interface|
178     "#{interface[:network]}/#{interface[:prefix]}"
179   end
180
181   node.default[:networking][:wireguard][:peers] << {
182     :public_key => gateway[:networking][:wireguard][:public_key],
183     :allowed_ips => allowed_ips,
184     :endpoint => "#{gateway.name}:51820"
185   }
186 end
187
188 jobs = {}
189 snmp_targets = []
190
191 search(:node, "recipes:prometheus\\:\\:default").sort_by(&:name).each do |client|
192   if client[:prometheus][:mode] == "wireguard"
193     node.default[:networking][:wireguard][:peers] << {
194       :public_key => client[:networking][:wireguard][:public_key],
195       :allowed_ips => client[:networking][:wireguard][:address],
196       :endpoint => "#{client.name}:51820"
197     }
198   end
199
200   client[:prometheus][:exporters].each do |key, exporter|
201     if exporter.is_a?(Hash)
202       name = exporter[:name]
203       address = exporter[:address]
204       sni = exporter[:sni]
205       scrape_interval = exporter[:scrape_interval]
206       metric_relabel = exporter[:metric_relabel] || []
207     else
208       name = key
209       address = exporter
210       sni = nil
211       scrape_interval = nil
212       metric_relabel = []
213     end
214
215     jobs[name] ||= []
216     jobs[name] << {
217       :address => address,
218       :sni => sni,
219       :instance => client.name.split(".").first,
220       :scrape_interval => scrape_interval,
221       :metric_relabel => metric_relabel
222     }
223   end
224
225   Hash(client[:prometheus][:snmp]).each do |instance, details|
226     snmp_targets << {
227       :instance => instance,
228       :target => details[:address],
229       :modules => details[:modules],
230       :address => client[:prometheus][:addresses]["snmp"],
231       :labels => Array(details[:labels])
232     }
233   end
234 end
235
236 certificates = search(:node, "letsencrypt:certificates").each_with_object({}) do |n, c|
237   n[:letsencrypt][:certificates].each do |name, details|
238     c[name] ||= details.merge(:nodes => [])
239
240     c[name][:nodes] << {
241       :name => n[:fqdn],
242       :address => n.external_ipaddress || n.internal_ipaddress
243     }
244   end
245 end
246
247 template "/etc/prometheus/ssl.yml" do
248   source "ssl.yml.erb"
249   owner "root"
250   group "root"
251   mode "644"
252   variables :certificates => certificates
253 end
254
255 prometheus_exporter "ssl" do
256   address "127.0.0.1"
257   port 9219
258   options "--config.file=/etc/prometheus/ssl.yml"
259   register_target false
260 end
261
262 systemd_service "prometheus-executable" do
263   service "prometheus"
264   dropin "executable"
265   exec_start "/opt/prometheus-server/prometheus/prometheus --config.file=/etc/prometheus/prometheus.yml --web.external-url=https://prometheus.openstreetmap.org/prometheus --storage.tsdb.path=/var/lib/prometheus/metrics2 --storage.tsdb.retention.time=30d"
266   timeout_stop_sec 300
267   notifies :restart, "service[prometheus]"
268 end
269
270 template "/etc/prometheus/prometheus.yml" do
271   source "prometheus.yml.erb"
272   owner "root"
273   group "root"
274   mode "644"
275   variables :jobs => jobs, :snmp_targets => snmp_targets, :certificates => certificates
276 end
277
278 template "/etc/prometheus/alert_rules.yml" do
279   source "alert_rules.yml.erb"
280   owner "root"
281   group "root"
282   mode "644"
283 end
284
285 service "prometheus" do
286   action [:enable, :start]
287   subscribes :reload, "template[/etc/prometheus/prometheus.yml]"
288   subscribes :reload, "template[/etc/prometheus/alert_rules.yml]"
289   subscribes :restart, "archive_file[#{cache_dir}/prometheus.linux-amd64.tar.gz]"
290 end
291
292 systemd_service "prometheus-alertmanager-executable" do
293   service "prometheus-alertmanager"
294   dropin "executable"
295   exec_start "/opt/prometheus-server/alertmanager/alertmanager --config.file=/etc/prometheus/alertmanager.yml --storage.path=/var/lib/prometheus/alertmanager --web.external-url=https://prometheus.openstreetmap.org/alertmanager"
296   notifies :restart, "service[prometheus-alertmanager]"
297 end
298
299 template "/etc/prometheus/alertmanager.yml" do
300   source "alertmanager.yml.erb"
301   owner "root"
302   group "root"
303   mode "644"
304 end
305
306 service "prometheus-alertmanager" do
307   action [:enable, :start]
308   subscribes :reload, "template[/etc/prometheus/alertmanager.yml]"
309   subscribes :restart, "archive_file[#{cache_dir}/alertmanager.linux-amd64.tar.gz]"
310 end
311
312 template "/etc/prometheus/amtool.yml" do
313   source "amtool.yml.erb"
314   owner "root"
315   group "root"
316   mode "644"
317 end
318
319 template "/etc/prometheus/karma.yml" do
320   source "karma.yml.erb"
321   owner "root"
322   group "root"
323   mode "644"
324 end
325
326 systemd_service "prometheus-karma" do
327   description "Alert dashboard for Prometheus Alertmanager"
328   user "prometheus"
329   exec_start "/opt/prometheus-server/karma/karma-linux-amd64 --config.file=/etc/prometheus/karma.yml"
330   private_tmp true
331   private_devices true
332   protect_system "full"
333   protect_home true
334   no_new_privileges true
335   restart "on-failure"
336 end
337
338 service "prometheus-karma" do
339   action [:enable, :start]
340   subscribes :reload, "template[/etc/prometheus/karma.yml]"
341   subscribes :restart, "archive_file[#{cache_dir}/karma-linux-amd64.tar.gz]"
342 end
343
344 package "grafana-enterprise"
345
346 template "/etc/grafana/grafana.ini" do
347   source "grafana.ini.erb"
348   owner "root"
349   group "grafana"
350   mode "640"
351   variables :passwords => passwords
352 end
353
354 service "grafana-server" do
355   action [:enable, :start]
356   subscribes :restart, "template[/etc/grafana/grafana.ini]"
357 end
358
359 apache_module "alias"
360 apache_module "proxy_http"
361
362 ssl_certificate "prometheus.openstreetmap.org" do
363   domains ["prometheus.openstreetmap.org", "prometheus.osm.org"]
364   notifies :reload, "service[apache2]"
365 end
366
367 apache_site "prometheus.openstreetmap.org" do
368   template "apache.erb"
369   variables :admin_hosts => admins["hosts"]
370 end
371
372 template "/etc/cron.daily/prometheus-backup" do
373   source "backup.cron.erb"
374   owner "root"
375   group "root"
376   mode "750"
377 end