cookbooks/prometheus/recipes/server.rb

   1 #
   2 # Cookbook:: prometheus
   3 # Recipe:: server
   4 #
   5 # Copyright:: 2020, OpenStreetMap Foundation
   6 #
   7 # Licensed under the Apache License, Version 2.0 (the "License");
   8 # you may not use this file except in compliance with the License.
   9 # You may obtain a copy of the License at
  10 #
  11 #     https://www.apache.org/licenses/LICENSE-2.0
  12 #
  13 # Unless required by applicable law or agreed to in writing, software
  14 # distributed under the License is distributed on an "AS IS" BASIS,
  15 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  16 # See the License for the specific language governing permissions and
  17 # limitations under the License.
  18 #
  19
  20 include_recipe "apache"
  21 include_recipe "apt"
  22 include_recipe "networking"
  23 include_recipe "timescaledb"
  24
  25 passwords = data_bag_item("prometheus", "passwords")
  26 tokens = data_bag_item("prometheus", "tokens")
  27
  28 prometheus_exporter "fastly" do
  29   port 8080
  30   listen_switch "endpoint"
  31   listen_type "url"
  32   environment "FASTLY_API_TOKEN" => tokens["fastly"]
  33 end
  34
  35 package "prometheus"
  36
  37 promscale_version = "0.1.4"
  38
  39 database_cluster = node[:timescaledb][:cluster]
  40
  41 postgresql_user "prometheus" do
  42   cluster database_cluster
  43   createrole true
  44 end
  45
  46 postgresql_database "promscale" do
  47   cluster database_cluster
  48   owner "prometheus"
  49 end
  50
  51 postgresql_extension "timescaledb" do
  52   cluster database_cluster
  53   database "promscale"
  54 end
  55
  56 directory "/opt/promscale" do
  57   owner "root"
  58   group "root"
  59   mode "755"
  60 end
  61
  62 package %w[
  63   make
  64   gcc
  65   clang-9
  66   llvm-9
  67   cargo
  68 ]
  69
  70 git "/opt/promscale/extension" do
  71   action :sync
  72   repository "https://github.com/timescale/promscale_extension.git"
  73   revision "0.1.1"
  74   user "root"
  75   group "root"
  76 end
  77
  78 execute "/opt/promscale/extension/Makefile" do
  79   action :nothing
  80   command "make install"
  81   cwd "/opt/promscale/extension"
  82   user "root"
  83   group "root"
  84   subscribes :run, "git[/opt/promscale/extension]", :immediately
  85   notifies :restart, "service[postgresql]", :immediately
  86 end
  87
  88 directory "/opt/promscale/bin" do
  89   owner "root"
  90   group "root"
  91   mode "755"
  92 end
  93
  94 remote_file "/opt/promscale/bin/promscale" do
  95   action :create
  96   source "https://github.com/timescale/promscale/releases/download/#{promscale_version}/promscale_#{promscale_version}_Linux_x86_64"
  97   owner "root"
  98   group "root"
  99   mode "755"
 100 end
 101
 102 systemd_service "promscale" do
 103   description "Promscale Connector"
 104   type "simple"
 105   user "prometheus"
 106   exec_start "/opt/promscale/bin/promscale --db-host /run/postgresql --db-port 5432 --db-user prometheus --db-name promscale --db-connections-max 400"
 107   # exec_start lazy { "/opt/promscale/bin/promscale --db-host /run/postgresql --db-port #{node[:postgresql][:clusters][database_cluster][:port]} --db-user prometheus --db-name promscale --db-max-connections 400" }
 108   limit_nofile 16384
 109   private_tmp true
 110   protect_system "strict"
 111   protect_home true
 112   no_new_privileges true
 113 end
 114
 115 service "promscale" do
 116   action [:enable, :start]
 117   subscribes :restart, "remote_file[/opt/promscale/bin/promscale]"
 118   subscribes :restart, "systemd_service[promscale]"
 119 end
 120
 121 postgresql_extension "promscale" do
 122   cluster database_cluster
 123   database "promscale"
 124   notifies :restart, "service[promscale]"
 125 end
 126
 127 systemd_service "promscale-maintenance" do
 128   description "Promscale Maintenace"
 129   type "simple"
 130   user "prometheus"
 131   exec_start "/usr/bin/psql --command='CALL prom_api.execute_maintenance()' promscale"
 132   private_tmp true
 133   protect_system "strict"
 134   protect_home true
 135   no_new_privileges true
 136 end
 137
 138 systemd_timer "promscale-maintenance" do
 139   description "Promscale Maintenace"
 140   on_active_sec 1800
 141   on_unit_inactive_sec 1800
 142 end
 143
 144 jobs = {}
 145
 146 search(:node, "recipes:prometheus\\:\\:default").sort_by(&:name).each do |client|
 147   if client[:prometheus][:mode] == "wireguard"
 148     node.default[:networking][:wireguard][:peers] << {
 149       :public_key => client[:networking][:wireguard][:public_key],
 150       :allowed_ips => client[:networking][:wireguard][:address],
 151       :endpoint => "#{client.name}:51820"
 152     }
 153   end
 154
 155   client[:prometheus][:exporters].each do |key, exporter|
 156     if exporter.is_a?(Hash)
 157       name = exporter[:name]
 158       address = exporter[:address]
 159     else
 160       name = key
 161       address = exporter
 162     end
 163
 164     jobs[name] ||= []
 165     jobs[name] << { :address => address, :name => client.name }
 166   end
 167 end
 168
 169 template "/etc/prometheus/prometheus.yml" do
 170   source "prometheus.yml.erb"
 171   owner "root"
 172   group "root"
 173   mode "644"
 174   variables :jobs => jobs
 175 end
 176
 177 service "prometheus" do
 178   action [:enable, :start]
 179   subscribes :reload, "template[/etc/prometheus/prometheus.yml]"
 180 end
 181
 182 package "grafana-enterprise"
 183
 184 template "/etc/grafana/grafana.ini" do
 185   source "grafana.ini.erb"
 186   owner "root"
 187   group "grafana"
 188   mode "640"
 189   variables :passwords => passwords
 190 end
 191
 192 service "grafana-server" do
 193   action [:enable, :start]
 194   subscribes :restart, "template[/etc/grafana/grafana.ini]"
 195 end
 196
 197 apache_module "alias"
 198 apache_module "proxy_http"
 199
 200 ssl_certificate "prometheus.openstreetmap.org" do
 201   domains ["prometheus.openstreetmap.org", "prometheus.osm.org"]
 202   notifies :reload, "service[apache2]"
 203 end
 204
 205 apache_site "prometheus.openstreetmap.org" do
 206   template "apache.erb"
 207 end