cookbooks/prometheus/recipes/server.rb

   1 #
   2 # Cookbook:: prometheus
   3 # Recipe:: server
   4 #
   5 # Copyright:: 2020, OpenStreetMap Foundation
   6 #
   7 # Licensed under the Apache License, Version 2.0 (the "License");
   8 # you may not use this file except in compliance with the License.
   9 # You may obtain a copy of the License at
  10 #
  11 #     https://www.apache.org/licenses/LICENSE-2.0
  12 #
  13 # Unless required by applicable law or agreed to in writing, software
  14 # distributed under the License is distributed on an "AS IS" BASIS,
  15 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  16 # See the License for the specific language governing permissions and
  17 # limitations under the License.
  18 #
  19
  20 include_recipe "apache"
  21 include_recipe "apt::grafana"
  22 include_recipe "awscli"
  23 include_recipe "networking"
  24
  25 passwords = data_bag_item("prometheus", "passwords")
  26 tokens = data_bag_item("prometheus", "tokens")
  27 admins = data_bag_item("apache", "admins")
  28
  29 prometheus_exporter "fastly" do
  30   port 8080
  31   listen_switch "listen"
  32   environment "FASTLY_API_TOKEN" => tokens["fastly"]
  33 end
  34
  35 prometheus_exporter "fastly_healthcheck" do
  36   port 9696
  37   scrape_interval "1m"
  38   scrape_timeout "1m"
  39   environment "FASTLY_API_TOKEN" => tokens["fastly"]
  40 end
  41
  42 prometheus_exporter "statuscake" do
  43   port 9595
  44   scrape_interval "5m"
  45   scrape_timeout "2m"
  46   environment "STATUSCAKE_APIKEY" => tokens["statuscake"]
  47 end
  48
  49 template "/etc/prometheus/cloudwatch.yml" do
  50   source "cloudwatch.yml.erb"
  51   owner "root"
  52   group "root"
  53   mode "644"
  54 end
  55
  56 prometheus_exporter "cloudwatch" do
  57   address "127.0.0.1"
  58   port 5000
  59   listen_switch "listen-address"
  60   options %w[
  61     --config.file=/etc/prometheus/cloudwatch.yml
  62     --enable-feature=aws-sdk-v2
  63     --enable-feature=always-return-info-metrics
  64   ]
  65   environment "AWS_ACCESS_KEY_ID" => "AKIASQUXHPE7JHG37EA6",
  66               "AWS_SECRET_ACCESS_KEY" => tokens["cloudwatch"]
  67   subscribes :restart, "template[/etc/prometheus/cloudwatch.yml]"
  68 end
  69
  70 cache_dir = Chef::Config[:file_cache_path]
  71
  72 prometheus_version = "3.5.0"
  73 alertmanager_version = "0.28.1"
  74 karma_version = "0.121"
  75
  76 directory "/opt/prometheus-server" do
  77   owner "root"
  78   group "root"
  79   mode "755"
  80 end
  81
  82 prometheus_arch = if arm?
  83                     "arm64"
  84                   else
  85                     "amd64"
  86                   end
  87
  88 remote_file "#{cache_dir}/prometheus.linux.tar.gz" do
  89   source "https://github.com/prometheus/prometheus/releases/download/v#{prometheus_version}/prometheus-#{prometheus_version}.linux-#{prometheus_arch}.tar.gz"
  90   owner "root"
  91   group "root"
  92   mode "644"
  93   backup false
  94 end
  95
  96 archive_file "#{cache_dir}/prometheus.linux.tar.gz" do
  97   action :nothing
  98   destination "/opt/prometheus-server/prometheus"
  99   overwrite true
 100   strip_components 1
 101   owner "root"
 102   group "root"
 103   subscribes :extract, "remote_file[#{cache_dir}/prometheus.linux.tar.gz]", :immediately
 104 end
 105
 106 remote_file "#{cache_dir}/alertmanager.linux.tar.gz" do
 107   source "https://github.com/prometheus/alertmanager/releases/download/v#{alertmanager_version}/alertmanager-#{alertmanager_version}.linux-#{prometheus_arch}.tar.gz"
 108   owner "root"
 109   group "root"
 110   mode "644"
 111   backup false
 112 end
 113
 114 archive_file "#{cache_dir}/alertmanager.linux.tar.gz" do
 115   action :nothing
 116   destination "/opt/prometheus-server/alertmanager"
 117   overwrite true
 118   strip_components 1
 119   owner "root"
 120   group "root"
 121   subscribes :extract, "remote_file[#{cache_dir}/alertmanager.linux.tar.gz]", :immediately
 122 end
 123
 124 remote_file "#{cache_dir}/karma-linux.tar.gz" do
 125   source "https://github.com/prymitive/karma/releases/download/v#{karma_version}/karma-linux-#{prometheus_arch}.tar.gz"
 126   owner "root"
 127   group "root"
 128   mode "644"
 129   backup false
 130 end
 131
 132 archive_file "#{cache_dir}/karma-linux.tar.gz" do
 133   action :nothing
 134   destination "/opt/prometheus-server/karma"
 135   overwrite true
 136   owner "root"
 137   group "root"
 138   subscribes :extract, "remote_file[#{cache_dir}/karma-linux.tar.gz]", :immediately
 139 end
 140
 141 search(:node, "roles:gateway") do |gateway|
 142   allowed_ips = gateway.ipaddresses(:role => :internal).map(&:subnet)
 143
 144   node.default[:networking][:wireguard][:peers] << {
 145     :public_key => gateway[:networking][:wireguard][:public_key],
 146     :allowed_ips => allowed_ips,
 147     :endpoint => "#{gateway.name}:51820"
 148   }
 149 end
 150
 151 jobs = {}
 152 junos_targets = []
 153 snmp_targets = []
 154
 155 search(:node, "recipes:prometheus\\:\\:default").sort_by(&:name).each do |client|
 156   if client[:prometheus][:mode] == "wireguard"
 157     node.default[:networking][:wireguard][:peers] << {
 158       :public_key => client[:networking][:wireguard][:public_key],
 159       :allowed_ips => client[:networking][:wireguard][:address],
 160       :endpoint => "#{client.name}:51820"
 161     }
 162   end
 163
 164   client[:prometheus][:exporters].each do |key, exporter|
 165     if exporter.is_a?(Hash)
 166       name = exporter[:name]
 167       address = exporter[:address]
 168       sni = exporter[:sni]
 169       labels = Array(exporter[:labels])
 170       scrape_interval = exporter[:scrape_interval]
 171       scrape_timeout = exporter[:scrape_timeout]
 172       metric_relabel = exporter[:metric_relabel] || []
 173     else
 174       name = key
 175       address = exporter
 176       sni = nil
 177       labels = []
 178       scrape_interval = nil
 179       scrape_timeout = nil
 180       metric_relabel = []
 181     end
 182
 183     jobs[name] ||= []
 184     jobs[name] << {
 185       :address => address,
 186       :sni => sni,
 187       :instance => client.name.split(".").first,
 188       :labels => labels,
 189       :scrape_interval => scrape_interval,
 190       :scrape_timeout => scrape_timeout,
 191       :metric_relabel => metric_relabel
 192     }
 193   end
 194
 195   Hash(client[:prometheus][:junos]).each do |instance, details|
 196     junos_targets << {
 197       :instance => instance,
 198       :target => details[:address],
 199       :address => client[:prometheus][:addresses]["junos"],
 200       :labels => Array(details[:labels])
 201     }
 202   end
 203
 204   Hash(client[:prometheus][:snmp]).each do |instance, details|
 205     snmp_targets << {
 206       :instance => instance,
 207       :target => details[:address],
 208       :modules => details[:modules],
 209       :address => client[:prometheus][:addresses]["snmp"],
 210       :labels => Array(details[:labels])
 211     }
 212   end
 213 end
 214
 215 certificates = search(:node, "letsencrypt:certificates").each_with_object({}) do |n, c|
 216   n[:letsencrypt][:certificates].each do |name, details|
 217     c[name] ||= details.merge(:nodes => [])
 218
 219     c[name][:nodes] << {
 220       :name => n[:fqdn],
 221       :address => n.external_ipaddress || n.internal_ipaddress
 222     }
 223   end
 224 end
 225
 226 template "/etc/prometheus/ssl.yml" do
 227   source "ssl.yml.erb"
 228   owner "root"
 229   group "root"
 230   mode "644"
 231   variables :certificates => certificates
 232 end
 233
 234 prometheus_exporter "ssl" do
 235   address "127.0.0.1"
 236   port 9219
 237   options "--config.file=/etc/prometheus/ssl.yml"
 238   register_target false
 239 end
 240
 241 package "prometheus"
 242
 243 systemd_service "prometheus-executable" do
 244   service "prometheus"
 245   dropin "executable"
 246   exec_start "/opt/prometheus-server/prometheus/prometheus --config.file=/etc/prometheus/prometheus.yml --web.enable-admin-api --web.external-url=https://prometheus.openstreetmap.org/prometheus --storage.tsdb.path=/var/lib/prometheus/metrics2 --storage.tsdb.retention.time=540d"
 247   timeout_stop_sec 300
 248   notifies :restart, "service[prometheus]"
 249 end
 250
 251 template "/etc/prometheus/prometheus.yml" do
 252   source "prometheus.yml.erb"
 253   owner "root"
 254   group "root"
 255   mode "644"
 256   variables :jobs => jobs, :junos_targets => junos_targets, :snmp_targets => snmp_targets, :certificates => certificates
 257 end
 258
 259 template "/etc/prometheus/alert_rules.yml" do
 260   source "alert_rules.yml.erb"
 261   owner "root"
 262   group "root"
 263   mode "644"
 264 end
 265
 266 service "prometheus" do
 267   action [:enable, :start]
 268   subscribes :reload, "template[/etc/prometheus/prometheus.yml]"
 269   subscribes :reload, "template[/etc/prometheus/alert_rules.yml]"
 270   subscribes :restart, "archive_file[#{cache_dir}/prometheus.linux.tar.gz]"
 271 end
 272
 273 systemd_service "prometheus-alertmanager" do
 274   description "Prometheus alert manager"
 275   type "simple"
 276   user "prometheus"
 277   exec_start "/opt/prometheus-server/alertmanager/alertmanager --config.file=/etc/prometheus/alertmanager.yml --storage.path=/var/lib/prometheus/alertmanager --web.external-url=https://prometheus.openstreetmap.org/alertmanager"
 278   exec_reload "/bin/kill -HUP $MAINPID"
 279   timeout_stop_sec 20
 280   restart "on-failure"
 281   notifies :restart, "service[prometheus-alertmanager]"
 282 end
 283
 284 link "/usr/local/bin/promtool" do
 285   to "/opt/prometheus-server/prometheus/promtool"
 286 end
 287
 288 template "/etc/prometheus/alertmanager.yml" do
 289   source "alertmanager.yml.erb"
 290   owner "root"
 291   group "root"
 292   mode "644"
 293 end
 294
 295 directory "/var/lib/prometheus/alertmanager" do
 296   owner "prometheus"
 297   group "prometheus"
 298   mode "755"
 299 end
 300
 301 service "prometheus-alertmanager" do
 302   action [:enable, :start]
 303   subscribes :reload, "template[/etc/prometheus/alertmanager.yml]"
 304   subscribes :restart, "systemd_service[prometheus-alertmanager]"
 305   subscribes :restart, "archive_file[#{cache_dir}/alertmanager.linux.tar.gz]"
 306 end
 307
 308 directory "/etc/amtool" do
 309   owner "root"
 310   group "root"
 311   mode "755"
 312 end
 313
 314 template "/etc/amtool/config.yml" do
 315   source "amtool.yml.erb"
 316   owner "root"
 317   group "root"
 318   mode "644"
 319 end
 320
 321 link "/usr/local/bin/amtool" do
 322   to "/opt/prometheus-server/alertmanager/amtool"
 323 end
 324
 325 template "/etc/prometheus/karma.yml" do
 326   source "karma.yml.erb"
 327   owner "root"
 328   group "root"
 329   mode "644"
 330 end
 331
 332 systemd_service "prometheus-karma" do
 333   description "Alert dashboard for Prometheus Alertmanager"
 334   user "prometheus"
 335   exec_start "/opt/prometheus-server/karma/karma-linux-#{prometheus_arch} --config.file=/etc/prometheus/karma.yml"
 336   sandbox :enable_network => true
 337   restart "on-failure"
 338 end
 339
 340 service "prometheus-karma" do
 341   action [:enable, :start]
 342   subscribes :restart, "template[/etc/prometheus/karma.yml]"
 343   subscribes :restart, "archive_file[#{cache_dir}/karma-linux.tar.gz]"
 344   subscribes :restart, "systemd_service[prometheus-karma]"
 345 end
 346
 347 package "grafana-enterprise"
 348
 349 template "/etc/grafana/grafana.ini" do
 350   source "grafana.ini.erb"
 351   owner "root"
 352   group "grafana"
 353   mode "640"
 354   variables :passwords => passwords
 355 end
 356
 357 service "grafana-server" do
 358   action [:enable, :start]
 359   subscribes :restart, "template[/etc/grafana/grafana.ini]"
 360 end
 361
 362 apache_module "alias"
 363 apache_module "proxy_http"
 364 apache_module "proxy_wstunnel"
 365
 366 ssl_certificate "prometheus.openstreetmap.org" do
 367   domains ["prometheus.openstreetmap.org", "prometheus.osm.org", "munin.openstreetmap.org", "munin.osm.org"]
 368   notifies :reload, "service[apache2]"
 369 end
 370
 371 apache_site "prometheus.openstreetmap.org" do
 372   template "apache.erb"
 373   variables :admin_hosts => admins["hosts"]
 374 end
 375
 376 template "/etc/cron.daily/prometheus-backup" do
 377   source "backup.cron.erb"
 378   owner "root"
 379   group "root"
 380   mode "750"
 381 end
 382
 383 package %w[
 384   curl
 385   jq
 386 ]
 387
 388 directory "/var/lib/prometheus/.aws" do
 389   user "prometheus"
 390   group "prometheus"
 391   mode "755"
 392 end
 393
 394 template "/var/lib/prometheus/.aws/credentials" do
 395   source "aws-credentials.erb"
 396   user "prometheus"
 397   group "prometheus"
 398   mode "600"
 399   variables :passwords => passwords
 400 end
 401
 402 template "/usr/local/bin/prometheus-backup-data" do
 403   source "backup-data.erb"
 404   owner "root"
 405   group "root"
 406   mode "755"
 407 end
 408
 409 systemd_service "prometheus-backup-data" do
 410   description "Backup prometheus data to S3"
 411   user "prometheus"
 412   exec_start "/usr/local/bin/prometheus-backup-data"
 413   read_write_paths %w[
 414     /var/lib/prometheus/.aws
 415     /var/lib/prometheus/metrics2/snapshots
 416   ]
 417   sandbox :enable_network => true
 418 end
 419
 420 systemd_timer "prometheus-backup-data" do
 421   description "Backup prometheus data to S3"
 422   on_calendar "03:11"
 423 end
 424
 425 service "prometheus-backup-data.timer" do
 426   action [:enable, :start]
 427 end