]> git.openstreetmap.org Git - chef.git/blob - cookbooks/prometheus/recipes/server.rb
Increase prometheus retention time to 30d
[chef.git] / cookbooks / prometheus / recipes / server.rb
1 #
2 # Cookbook:: prometheus
3 # Recipe:: server
4 #
5 # Copyright:: 2020, OpenStreetMap Foundation
6 #
7 # Licensed under the Apache License, Version 2.0 (the "License");
8 # you may not use this file except in compliance with the License.
9 # You may obtain a copy of the License at
10 #
11 #     https://www.apache.org/licenses/LICENSE-2.0
12 #
13 # Unless required by applicable law or agreed to in writing, software
14 # distributed under the License is distributed on an "AS IS" BASIS,
15 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
16 # See the License for the specific language governing permissions and
17 # limitations under the License.
18 #
19
20 include_recipe "apache"
21 include_recipe "apt"
22 include_recipe "networking"
23 include_recipe "timescaledb"
24
25 passwords = data_bag_item("prometheus", "passwords")
26 tokens = data_bag_item("prometheus", "tokens")
27 admins = data_bag_item("apache", "admins")
28
29 prometheus_exporter "fastly" do
30   port 8080
31   listen_switch "listen"
32   environment "FASTLY_API_TOKEN" => tokens["fastly"]
33 end
34
35 cache_dir = Chef::Config[:file_cache_path]
36
37 prometheus_version = "2.31.1"
38 alertmanager_version = "0.23.0"
39 karma_version = "0.93"
40
41 directory "/opt/prometheus-server" do
42   owner "root"
43   group "root"
44   mode "755"
45 end
46
47 remote_file "#{cache_dir}/prometheus.linux-amd64.tar.gz" do
48   source "https://github.com/prometheus/prometheus/releases/download/v#{prometheus_version}/prometheus-#{prometheus_version}.linux-amd64.tar.gz"
49   owner "root"
50   group "root"
51   mode "644"
52   backup false
53 end
54
55 archive_file "#{cache_dir}/prometheus.linux-amd64.tar.gz" do
56   action :nothing
57   destination "/opt/prometheus-server/prometheus"
58   overwrite true
59   strip_components 1
60   owner "root"
61   group "root"
62   subscribes :extract, "remote_file[#{cache_dir}/prometheus.linux-amd64.tar.gz]"
63 end
64
65 remote_file "#{cache_dir}/alertmanager.linux-amd64.tar.gz" do
66   source "https://github.com/prometheus/alertmanager/releases/download/v#{alertmanager_version}/alertmanager-#{alertmanager_version}.linux-amd64.tar.gz"
67   owner "root"
68   group "root"
69   mode "644"
70   backup false
71 end
72
73 archive_file "#{cache_dir}/alertmanager.linux-amd64.tar.gz" do
74   action :nothing
75   destination "/opt/prometheus-server/alertmanager"
76   overwrite true
77   strip_components 1
78   owner "root"
79   group "root"
80   subscribes :extract, "remote_file[#{cache_dir}/alertmanager.linux-amd64.tar.gz]"
81 end
82
83 remote_file "#{cache_dir}/karma-linux-amd64.tar.gz" do
84   source "https://github.com/prymitive/karma/releases/download/v#{karma_version}/karma-linux-amd64.tar.gz"
85   owner "root"
86   group "root"
87   mode "644"
88   backup false
89 end
90
91 archive_file "#{cache_dir}/karma-linux-amd64.tar.gz" do
92   action :nothing
93   destination "/opt/prometheus-server/karma"
94   overwrite true
95   owner "root"
96   group "root"
97   subscribes :extract, "remote_file[#{cache_dir}/karma-linux-amd64.tar.gz]"
98 end
99
100 promscale_version = "0.11.0"
101
102 database_version = node[:timescaledb][:database_version]
103 database_cluster = "#{database_version}/main"
104
105 package %W[
106   prometheus
107   prometheus-alertmanager
108   promscale-extension-postgresql-#{database_version}
109 ]
110
111 postgresql_user "prometheus" do
112   cluster database_cluster
113   superuser true
114 end
115
116 postgresql_database "promscale" do
117   cluster database_cluster
118   owner "prometheus"
119 end
120
121 directory "/opt/promscale" do
122   owner "root"
123   group "root"
124   mode "755"
125 end
126
127 directory "/opt/promscale/bin" do
128   owner "root"
129   group "root"
130   mode "755"
131 end
132
133 remote_file "/opt/promscale/bin/promscale" do
134   action :create
135   source "https://github.com/timescale/promscale/releases/download/#{promscale_version}/promscale_#{promscale_version}_Linux_x86_64"
136   owner "root"
137   group "root"
138   mode "755"
139 end
140
141 systemd_service "promscale" do
142   description "Promscale Connector"
143   type "simple"
144   user "prometheus"
145   exec_start "/opt/promscale/bin/promscale --db.uri postgresql:///promscale?host=/run/postgresql&port=5432 --db.connections-max 400"
146   limit_nofile 16384
147   private_tmp true
148   protect_system "strict"
149   protect_home true
150   no_new_privileges true
151 end
152
153 if node[:prometheus][:promscale]
154   service "promscale" do
155     action [:enable, :start]
156     subscribes :restart, "remote_file[/opt/promscale/bin/promscale]"
157     subscribes :restart, "systemd_service[promscale]"
158   end
159 else
160   service "promscale" do
161     action [:disable, :stop]
162   end
163 end
164
165 search(:node, "roles:gateway") do |gateway|
166   allowed_ips = gateway.interfaces(:role => :internal).map do |interface|
167     "#{interface[:network]}/#{interface[:prefix]}"
168   end
169
170   node.default[:networking][:wireguard][:peers] << {
171     :public_key => gateway[:networking][:wireguard][:public_key],
172     :allowed_ips => allowed_ips,
173     :endpoint => "#{gateway.name}:51820"
174   }
175 end
176
177 jobs = {}
178 snmp_targets = []
179
180 search(:node, "recipes:prometheus\\:\\:default").sort_by(&:name).each do |client|
181   if client[:prometheus][:mode] == "wireguard"
182     node.default[:networking][:wireguard][:peers] << {
183       :public_key => client[:networking][:wireguard][:public_key],
184       :allowed_ips => client[:networking][:wireguard][:address],
185       :endpoint => "#{client.name}:51820"
186     }
187   end
188
189   client[:prometheus][:exporters].each do |key, exporter|
190     if exporter.is_a?(Hash)
191       name = exporter[:name]
192       address = exporter[:address]
193       sni = exporter[:sni]
194       metric_relabel = exporter[:metric_relabel] || []
195     else
196       name = key
197       address = exporter
198       sni = nil
199       metric_relabel = []
200     end
201
202     jobs[name] ||= []
203     jobs[name] << {
204       :address => address,
205       :sni => sni,
206       :instance => client.name.split(".").first,
207       :metric_relabel => metric_relabel
208     }
209   end
210
211   Hash(client[:prometheus][:snmp]).each do |instance, details|
212     snmp_targets << {
213       :instance => instance,
214       :target => details[:address],
215       :module => details[:module],
216       :address => client[:prometheus][:addresses]["snmp"],
217       :labels => Array(details[:labels])
218     }
219   end
220 end
221
222 certificates = search(:node, "letsencrypt:certificates").each_with_object({}) do |n, c|
223   n[:letsencrypt][:certificates].each do |name, details|
224     c[name] ||= details.merge(:nodes => [])
225
226     c[name][:nodes] << {
227       :name => n[:fqdn],
228       :address => n.external_ipaddress || n.internal_ipaddress
229     }
230   end
231 end
232
233 template "/etc/prometheus/ssl.yml" do
234   source "ssl.yml.erb"
235   owner "root"
236   group "root"
237   mode "644"
238   variables :certificates => certificates
239 end
240
241 prometheus_exporter "ssl" do
242   address "127.0.0.1"
243   port 9219
244   options "--config.file=/etc/prometheus/ssl.yml"
245   register_target false
246 end
247
248 systemd_service "prometheus-executable" do
249   service "prometheus"
250   dropin "executable"
251   exec_start "/opt/prometheus-server/prometheus/prometheus --config.file=/etc/prometheus/prometheus.yml --web.external-url=https://prometheus.openstreetmap.org/prometheus --storage.tsdb.path=/var/lib/prometheus/metrics2 --storage.tsdb.retention.time=30d"
252   notifies :restart, "service[prometheus]"
253 end
254
255 template "/etc/prometheus/prometheus.yml" do
256   source "prometheus.yml.erb"
257   owner "root"
258   group "root"
259   mode "644"
260   variables :jobs => jobs, :snmp_targets => snmp_targets, :certificates => certificates
261 end
262
263 template "/etc/prometheus/alert_rules.yml" do
264   source "alert_rules.yml.erb"
265   owner "root"
266   group "root"
267   mode "644"
268 end
269
270 service "prometheus" do
271   action [:enable, :start]
272   subscribes :reload, "template[/etc/prometheus/prometheus.yml]"
273   subscribes :reload, "template[/etc/prometheus/alert_rules.yml]"
274   subscribes :restart, "archive_file[#{cache_dir}/prometheus.linux-amd64.tar.gz]"
275 end
276
277 systemd_service "prometheus-alertmanager-executable" do
278   service "prometheus-alertmanager"
279   dropin "executable"
280   exec_start "/opt/prometheus-server/alertmanager/alertmanager --config.file=/etc/prometheus/alertmanager.yml --storage.path=/var/lib/prometheus/alertmanager --web.external-url=https://prometheus.openstreetmap.org/alertmanager"
281   notifies :restart, "service[prometheus-alertmanager]"
282 end
283
284 template "/etc/prometheus/alertmanager.yml" do
285   source "alertmanager.yml.erb"
286   owner "root"
287   group "root"
288   mode "644"
289 end
290
291 service "prometheus-alertmanager" do
292   action [:enable, :start]
293   subscribes :reload, "template[/etc/prometheus/alertmanager.yml]"
294   subscribes :restart, "archive_file[#{cache_dir}/alertmanager.linux-amd64.tar.gz]"
295 end
296
297 template "/etc/prometheus/amtool.yml" do
298   source "amtool.yml.erb"
299   owner "root"
300   group "root"
301   mode "644"
302 end
303
304 template "/etc/prometheus/karma.yml" do
305   source "karma.yml.erb"
306   owner "root"
307   group "root"
308   mode "644"
309 end
310
311 systemd_service "prometheus-karma" do
312   description "Alert dashboard for Prometheus Alertmanager"
313   user "prometheus"
314   exec_start "/opt/prometheus-server/karma/karma-linux-amd64 --config.file=/etc/prometheus/karma.yml"
315   private_tmp true
316   private_devices true
317   protect_system "full"
318   protect_home true
319   no_new_privileges true
320   restart "on-failure"
321 end
322
323 service "prometheus-karma" do
324   action [:enable, :start]
325   subscribes :reload, "template[/etc/prometheus/karma.yml]"
326   subscribes :restart, "archive_file[#{cache_dir}/karma-linux-amd64.tar.gz]"
327 end
328
329 package "grafana-enterprise"
330
331 template "/etc/grafana/grafana.ini" do
332   source "grafana.ini.erb"
333   owner "root"
334   group "grafana"
335   mode "640"
336   variables :passwords => passwords
337 end
338
339 service "grafana-server" do
340   action [:enable, :start]
341   subscribes :restart, "template[/etc/grafana/grafana.ini]"
342 end
343
344 apache_module "alias"
345 apache_module "proxy_http"
346
347 ssl_certificate "prometheus.openstreetmap.org" do
348   domains ["prometheus.openstreetmap.org", "prometheus.osm.org"]
349   notifies :reload, "service[apache2]"
350 end
351
352 apache_site "prometheus.openstreetmap.org" do
353   template "apache.erb"
354   variables :admin_hosts => admins["hosts"]
355 end
356
357 template "/etc/cron.daily/prometheus-backup" do
358   source "backup.cron.erb"
359   owner "root"
360   group "root"
361   mode "750"
362 end