cookbooks/prometheus/recipes/server.rb

   1 #
   2 # Cookbook:: prometheus
   3 # Recipe:: server
   4 #
   5 # Copyright:: 2020, OpenStreetMap Foundation
   6 #
   7 # Licensed under the Apache License, Version 2.0 (the "License");
   8 # you may not use this file except in compliance with the License.
   9 # You may obtain a copy of the License at
  10 #
  11 #     https://www.apache.org/licenses/LICENSE-2.0
  12 #
  13 # Unless required by applicable law or agreed to in writing, software
  14 # distributed under the License is distributed on an "AS IS" BASIS,
  15 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  16 # See the License for the specific language governing permissions and
  17 # limitations under the License.
  18 #
  19
  20 include_recipe "apache"
  21 include_recipe "apt"
  22 include_recipe "networking"
  23 include_recipe "timescaledb"
  24
  25 passwords = data_bag_item("prometheus", "passwords")
  26 tokens = data_bag_item("prometheus", "tokens")
  27
  28 prometheus_exporter "fastly" do
  29   port 8080
  30   listen_switch "endpoint"
  31   listen_type "url"
  32   environment "FASTLY_API_TOKEN" => tokens["fastly"]
  33 end
  34
  35 package %w[
  36   prometheus
  37   prometheus-alertmanager
  38 ]
  39
  40 promscale_version = "0.2.0"
  41
  42 database_cluster = "#{node[:timescaledb][:database_version]}/main"
  43
  44 postgresql_user "prometheus" do
  45   cluster database_cluster
  46   superuser true
  47 end
  48
  49 postgresql_database "promscale" do
  50   cluster database_cluster
  51   owner "prometheus"
  52 end
  53
  54 directory "/opt/promscale" do
  55   owner "root"
  56   group "root"
  57   mode "755"
  58 end
  59
  60 package %w[
  61   make
  62   gcc
  63   clang-9
  64   llvm-9
  65   cargo
  66 ]
  67
  68 git "/opt/promscale/extension" do
  69   action :sync
  70   repository "https://github.com/timescale/promscale_extension.git"
  71   revision "0.1.1"
  72   user "root"
  73   group "root"
  74 end
  75
  76 execute "/opt/promscale/extension/Makefile" do
  77   action :nothing
  78   command "make install"
  79   cwd "/opt/promscale/extension"
  80   user "root"
  81   group "root"
  82   subscribes :run, "git[/opt/promscale/extension]", :immediately
  83   notifies :restart, "service[postgresql]", :immediately
  84 end
  85
  86 directory "/opt/promscale/bin" do
  87   owner "root"
  88   group "root"
  89   mode "755"
  90 end
  91
  92 remote_file "/opt/promscale/bin/promscale" do
  93   action :create
  94   source "https://github.com/timescale/promscale/releases/download/#{promscale_version}/promscale_#{promscale_version}_Linux_x86_64"
  95   owner "root"
  96   group "root"
  97   mode "755"
  98 end
  99
 100 systemd_service "promscale" do
 101   description "Promscale Connector"
 102   type "simple"
 103   user "prometheus"
 104   exec_start "/opt/promscale/bin/promscale --db-host /run/postgresql --db-port 5432 --db-user prometheus --db-name promscale --db-connections-max 400"
 105   # exec_start lazy { "/opt/promscale/bin/promscale --db-host /run/postgresql --db-port #{node[:postgresql][:clusters][database_cluster][:port]} --db-user prometheus --db-name promscale --db-max-connections 400" }
 106   limit_nofile 16384
 107   private_tmp true
 108   protect_system "strict"
 109   protect_home true
 110   no_new_privileges true
 111 end
 112
 113 service "promscale" do
 114   action [:enable, :start]
 115   subscribes :restart, "remote_file[/opt/promscale/bin/promscale]"
 116   subscribes :restart, "systemd_service[promscale]"
 117 end
 118
 119 systemd_service "promscale-maintenance" do
 120   description "Promscale Maintenace"
 121   type "simple"
 122   user "prometheus"
 123   exec_start "/usr/bin/psql --command='CALL prom_api.execute_maintenance()' promscale"
 124   private_tmp true
 125   protect_system "strict"
 126   protect_home true
 127   no_new_privileges true
 128 end
 129
 130 systemd_timer "promscale-maintenance" do
 131   description "Promscale Maintenace"
 132   on_active_sec 1800
 133   on_unit_inactive_sec 1800
 134 end
 135
 136 service "promscale-maintenance.timer" do
 137   action [:enable, :start]
 138 end
 139
 140 search(:node, "roles:gateway") do |gateway|
 141   allowed_ips = gateway.interfaces(:role => :internal).map do |interface|
 142     "#{interface[:network]}/#{interface[:prefix]}"
 143   end
 144
 145   node.default[:networking][:wireguard][:peers] << {
 146     :public_key => gateway[:networking][:wireguard][:public_key],
 147     :allowed_ips => allowed_ips,
 148     :endpoint => "#{gateway.name}:51820"
 149   }
 150 end
 151
 152 jobs = {}
 153 snmp_targets = []
 154
 155 search(:node, "recipes:prometheus\\:\\:default").sort_by(&:name).each do |client|
 156   if client[:prometheus][:mode] == "wireguard"
 157     node.default[:networking][:wireguard][:peers] << {
 158       :public_key => client[:networking][:wireguard][:public_key],
 159       :allowed_ips => client[:networking][:wireguard][:address],
 160       :endpoint => "#{client.name}:51820"
 161     }
 162   end
 163
 164   client[:prometheus][:exporters].each do |key, exporter|
 165     if exporter.is_a?(Hash)
 166       name = exporter[:name]
 167       address = exporter[:address]
 168       metric_relabel = exporter[:metric_relabel] || []
 169     else
 170       name = key
 171       address = exporter
 172       metric_relabel = []
 173     end
 174
 175     jobs[name] ||= []
 176     jobs[name] << {
 177       :address => address,
 178       :instance => client.name.split(".").first,
 179       :metric_relabel => metric_relabel
 180     }
 181   end
 182
 183   Hash(client[:prometheus][:snmp]).each do |instance, details|
 184     snmp_targets << {
 185       :instance => instance,
 186       :target => details[:address],
 187       :module => details[:module],
 188       :address => client[:prometheus][:addresses]["snmp"]
 189     }
 190   end
 191 end
 192
 193 certificates = search(:node, "letsencrypt:certificates").each_with_object({}) do |n, c|
 194   n[:letsencrypt][:certificates].each do |name, details|
 195     c[name] ||= details.merge(:nodes => [])
 196
 197     c[name][:nodes] << {
 198       :name => n[:fqdn],
 199       :address => n.external_ipaddress || n.internal_ipaddress
 200     }
 201   end
 202 end
 203
 204 template "/etc/prometheus/ssl.yml" do
 205   source "ssl.yml.erb"
 206   owner "root"
 207   group "root"
 208   mode "644"
 209   variables :certificates => certificates
 210 end
 211
 212 prometheus_exporter "ssl" do
 213   address "127.0.0.1"
 214   port 9219
 215   options "--config.file=/etc/prometheus/ssl.yml"
 216   register_target false
 217 end
 218
 219 template "/etc/default/prometheus" do
 220   source "default.prometheus.erb"
 221   owner "root"
 222   group "root"
 223   mode "644"
 224 end
 225
 226 template "/etc/prometheus/prometheus.yml" do
 227   source "prometheus.yml.erb"
 228   owner "root"
 229   group "root"
 230   mode "644"
 231   variables :jobs => jobs, :snmp_targets => snmp_targets, :certificates => certificates
 232 end
 233
 234 template "/etc/prometheus/alert_rules.yml" do
 235   source "alert_rules.yml.erb"
 236   owner "root"
 237   group "root"
 238   mode "644"
 239 end
 240
 241 service "prometheus" do
 242   action [:enable, :start]
 243   subscribes :restart, "template[/etc/default/prometheus]"
 244   subscribes :reload, "template[/etc/prometheus/prometheus.yml]"
 245   subscribes :reload, "template[/etc/prometheus/alert_rules.yml]"
 246 end
 247
 248 template "/etc/default/prometheus-alertmanager" do
 249   source "default.alertmanager.erb"
 250   owner "root"
 251   group "root"
 252   mode "644"
 253 end
 254
 255 template "/etc/prometheus/alertmanager.yml" do
 256   source "alertmanager.yml.erb"
 257   owner "root"
 258   group "root"
 259   mode "644"
 260 end
 261
 262 service "prometheus-alertmanager" do
 263   action [:enable, :start]
 264   subscribes :restart, "template[/etc/default/prometheus-alertmanager]"
 265   subscribes :reload, "template[/etc/prometheus/alertmanager.yml]"
 266 end
 267
 268 template "/etc/prometheus/amtool.yml" do
 269   source "amtool.yml.erb"
 270   owner "root"
 271   group "root"
 272   mode "644"
 273 end
 274
 275 package "grafana-enterprise"
 276
 277 template "/etc/grafana/grafana.ini" do
 278   source "grafana.ini.erb"
 279   owner "root"
 280   group "grafana"
 281   mode "640"
 282   variables :passwords => passwords
 283 end
 284
 285 service "grafana-server" do
 286   action [:enable, :start]
 287   subscribes :restart, "template[/etc/grafana/grafana.ini]"
 288 end
 289
 290 apache_module "alias"
 291 apache_module "proxy_http"
 292
 293 ssl_certificate "prometheus.openstreetmap.org" do
 294   domains ["prometheus.openstreetmap.org", "prometheus.osm.org"]
 295   notifies :reload, "service[apache2]"
 296 end
 297
 298 apache_site "prometheus.openstreetmap.org" do
 299   template "apache.erb"
 300 end
 301
 302 template "/etc/cron.daily/prometheus-backup" do
 303   source "backup.cron.erb"
 304   owner "root"
 305   group "root"
 306   mode "750"
 307 end