]> git.openstreetmap.org Git - chef.git/blob - cookbooks/prometheus/recipes/server.rb
9c215778e202a0ee035d9ccf60601f0105b9a330
[chef.git] / cookbooks / prometheus / recipes / server.rb
1 #
2 # Cookbook:: prometheus
3 # Recipe:: server
4 #
5 # Copyright:: 2020, OpenStreetMap Foundation
6 #
7 # Licensed under the Apache License, Version 2.0 (the "License");
8 # you may not use this file except in compliance with the License.
9 # You may obtain a copy of the License at
10 #
11 #     https://www.apache.org/licenses/LICENSE-2.0
12 #
13 # Unless required by applicable law or agreed to in writing, software
14 # distributed under the License is distributed on an "AS IS" BASIS,
15 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
16 # See the License for the specific language governing permissions and
17 # limitations under the License.
18 #
19
20 include_recipe "apache"
21 include_recipe "apt"
22 include_recipe "networking"
23 include_recipe "timescaledb"
24
25 passwords = data_bag_item("prometheus", "passwords")
26 tokens = data_bag_item("prometheus", "tokens")
27
28 prometheus_exporter "fastly" do
29   port 8080
30   listen_switch "endpoint"
31   listen_type "url"
32   environment "FASTLY_API_TOKEN" => tokens["fastly"]
33 end
34
35 cache_dir = Chef::Config[:file_cache_path]
36
37 prometheus_version = "2.31.1"
38 alertmanager_version = "0.23.0"
39
40 directory "/opt/prometheus-server" do
41   owner "root"
42   group "root"
43   mode "755"
44 end
45
46 remote_file "#{cache_dir}/prometheus.linux-amd64.tar.gz" do
47   source "https://github.com/prometheus/prometheus/releases/download/v#{prometheus_version}/prometheus-#{prometheus_version}.linux-amd64.tar.gz"
48   owner "root"
49   group "root"
50   mode "644"
51   backup false
52 end
53
54 archive_file "#{cache_dir}/prometheus.linux-amd64.tar.gz" do
55   action :nothing
56   destination "/opt/prometheus-server/prometheus"
57   overwrite true
58   strip_components 1
59   owner "root"
60   group "root"
61   subscribes :extract, "remote_file[#{cache_dir}/prometheus.linux-amd64.tar.gz]"
62 end
63
64 remote_file "#{cache_dir}/alertmanager.linux-amd64.tar.gz" do
65   source "https://github.com/prometheus/alertmanager/releases/download/v#{alertmanager_version}/alertmanager-#{alertmanager_version}.linux-amd64.tar.gz"
66   owner "root"
67   group "root"
68   mode "644"
69   backup false
70 end
71
72 archive_file "#{cache_dir}/alertmanager.linux-amd64.tar.gz" do
73   action :nothing
74   destination "/opt/prometheus-server/alertmanager"
75   overwrite true
76   strip_components 1
77   owner "root"
78   group "root"
79   subscribes :extract, "remote_file[#{cache_dir}/alertmanager.linux-amd64.tar.gz]"
80 end
81
82 package %w[
83   prometheus
84   prometheus-alertmanager
85 ]
86
87 promscale_version = "0.6.2"
88
89 database_version = node[:timescaledb][:database_version]
90 database_cluster = "#{database_version}/main"
91
92 postgresql_user "prometheus" do
93   cluster database_cluster
94   superuser true
95 end
96
97 postgresql_database "promscale" do
98   cluster database_cluster
99   owner "prometheus"
100 end
101
102 directory "/opt/promscale" do
103   owner "root"
104   group "root"
105   mode "755"
106 end
107
108 cookbook_file "/usr/lib/postgresql/#{database_version}/lib/promscale.so" do
109   source "postgresql-#{database_version}-promscale.so"
110   owner "root"
111   group "root"
112   mode "644"
113 end
114
115 directory "/opt/promscale/bin" do
116   owner "root"
117   group "root"
118   mode "755"
119 end
120
121 remote_file "/opt/promscale/bin/promscale" do
122   action :create
123   source "https://github.com/timescale/promscale/releases/download/#{promscale_version}/promscale_#{promscale_version}_Linux_x86_64"
124   owner "root"
125   group "root"
126   mode "755"
127 end
128
129 systemd_service "promscale" do
130   description "Promscale Connector"
131   type "simple"
132   user "prometheus"
133   exec_start "/opt/promscale/bin/promscale --db-uri postgresql:///promscale?host=/run/postgresql&port=5432 --db-connections-max 400"
134   # exec_start lazy { "/opt/promscale/bin/promscale --db-host /run/postgresql --db-port #{node[:postgresql][:clusters][database_cluster][:port]} --db-user prometheus --db-name promscale --db-max-connections 400" }
135   limit_nofile 16384
136   private_tmp true
137   protect_system "strict"
138   protect_home true
139   no_new_privileges true
140 end
141
142 systemd_service "promscale-maintenance" do
143   description "Promscale Maintenance"
144   type "simple"
145   user "prometheus"
146   exec_start "/usr/bin/psql --command='CALL prom_api.execute_maintenance()' promscale"
147   private_tmp true
148   protect_system "strict"
149   protect_home true
150   no_new_privileges true
151 end
152
153 systemd_timer "promscale-maintenance" do
154   description "Promscale Maintenace"
155   on_active_sec 1800
156   on_unit_inactive_sec 1800
157 end
158
159 if node[:prometheus][:promscale]
160   service "promscale" do
161     action [:enable, :start]
162     subscribes :restart, "remote_file[/opt/promscale/bin/promscale]"
163     subscribes :restart, "systemd_service[promscale]"
164   end
165
166   service "promscale-maintenance.timer" do
167     action [:enable, :start]
168   end
169 else
170   service "promscale" do
171     action [:disable, :stop]
172   end
173
174   service "promscale-maintenance.timer" do
175     action [:disable, :stop]
176   end
177 end
178
179 search(:node, "roles:gateway") do |gateway|
180   allowed_ips = gateway.interfaces(:role => :internal).map do |interface|
181     "#{interface[:network]}/#{interface[:prefix]}"
182   end
183
184   node.default[:networking][:wireguard][:peers] << {
185     :public_key => gateway[:networking][:wireguard][:public_key],
186     :allowed_ips => allowed_ips,
187     :endpoint => "#{gateway.name}:51820"
188   }
189 end
190
191 jobs = {}
192 snmp_targets = []
193
194 search(:node, "recipes:prometheus\\:\\:default").sort_by(&:name).each do |client|
195   if client[:prometheus][:mode] == "wireguard"
196     node.default[:networking][:wireguard][:peers] << {
197       :public_key => client[:networking][:wireguard][:public_key],
198       :allowed_ips => client[:networking][:wireguard][:address],
199       :endpoint => "#{client.name}:51820"
200     }
201   end
202
203   client[:prometheus][:exporters].each do |key, exporter|
204     if exporter.is_a?(Hash)
205       name = exporter[:name]
206       address = exporter[:address]
207       metric_relabel = exporter[:metric_relabel] || []
208     else
209       name = key
210       address = exporter
211       metric_relabel = []
212     end
213
214     jobs[name] ||= []
215     jobs[name] << {
216       :address => address,
217       :instance => client.name.split(".").first,
218       :metric_relabel => metric_relabel
219     }
220   end
221
222   Hash(client[:prometheus][:snmp]).each do |instance, details|
223     snmp_targets << {
224       :instance => instance,
225       :target => details[:address],
226       :module => details[:module],
227       :address => client[:prometheus][:addresses]["snmp"],
228       :labels => Array(details[:labels])
229     }
230   end
231 end
232
233 certificates = search(:node, "letsencrypt:certificates").each_with_object({}) do |n, c|
234   n[:letsencrypt][:certificates].each do |name, details|
235     c[name] ||= details.merge(:nodes => [])
236
237     c[name][:nodes] << {
238       :name => n[:fqdn],
239       :address => n.external_ipaddress || n.internal_ipaddress
240     }
241   end
242 end
243
244 template "/etc/prometheus/ssl.yml" do
245   source "ssl.yml.erb"
246   owner "root"
247   group "root"
248   mode "644"
249   variables :certificates => certificates
250 end
251
252 prometheus_exporter "ssl" do
253   address "127.0.0.1"
254   port 9219
255   options "--config.file=/etc/prometheus/ssl.yml"
256   register_target false
257 end
258
259 systemd_service "prometheus-executable" do
260   service "prometheus"
261   dropin "executable"
262   exec_start "/opt/prometheus-server/prometheus/prometheus --config.file=/etc/prometheus/prometheus.yml --web.external-url=https://prometheus.openstreetmap.org/prometheus --storage.tsdb.path=/var/lib/prometheus/metrics2"
263   notifies :restart, "service[prometheus]"
264 end
265
266 template "/etc/prometheus/prometheus.yml" do
267   source "prometheus.yml.erb"
268   owner "root"
269   group "root"
270   mode "644"
271   variables :jobs => jobs, :snmp_targets => snmp_targets, :certificates => certificates
272 end
273
274 template "/etc/prometheus/alert_rules.yml" do
275   source "alert_rules.yml.erb"
276   owner "root"
277   group "root"
278   mode "644"
279 end
280
281 service "prometheus" do
282   action [:enable, :start]
283   subscribes :reload, "template[/etc/prometheus/prometheus.yml]"
284   subscribes :reload, "template[/etc/prometheus/alert_rules.yml]"
285 end
286
287 systemd_service "prometheus-alertmanager-executable" do
288   service "prometheus-alertmanager"
289   dropin "executable"
290   exec_start "/opt/prometheus-server/alertmanager/alertmanager --config.file=/etc/prometheus/alertmanager.yml --storage.path=/var/lib/prometheus/alertmanager --web.external-url=https://prometheus.openstreetmap.org/alertmanager"
291   notifies :restart, "service[prometheus-alertmanager]"
292 end
293
294 template "/etc/prometheus/alertmanager.yml" do
295   source "alertmanager.yml.erb"
296   owner "root"
297   group "root"
298   mode "644"
299 end
300
301 service "prometheus-alertmanager" do
302   action [:enable, :start]
303   subscribes :reload, "template[/etc/prometheus/alertmanager.yml]"
304 end
305
306 template "/etc/prometheus/amtool.yml" do
307   source "amtool.yml.erb"
308   owner "root"
309   group "root"
310   mode "644"
311 end
312
313 package "grafana-enterprise"
314
315 template "/etc/grafana/grafana.ini" do
316   source "grafana.ini.erb"
317   owner "root"
318   group "grafana"
319   mode "640"
320   variables :passwords => passwords
321 end
322
323 service "grafana-server" do
324   action [:enable, :start]
325   subscribes :restart, "template[/etc/grafana/grafana.ini]"
326 end
327
328 apache_module "alias"
329 apache_module "proxy_http"
330
331 ssl_certificate "prometheus.openstreetmap.org" do
332   domains ["prometheus.openstreetmap.org", "prometheus.osm.org"]
333   notifies :reload, "service[apache2]"
334 end
335
336 apache_site "prometheus.openstreetmap.org" do
337   template "apache.erb"
338 end
339
340 template "/etc/cron.daily/prometheus-backup" do
341   source "backup.cron.erb"
342   owner "root"
343   group "root"
344   mode "750"
345 end