]> git.openstreetmap.org Git - chef.git/blob - cookbooks/dev/recipes/default.rb
Use memcached for the dev apis
[chef.git] / cookbooks / dev / recipes / default.rb
1 #
2 # Cookbook Name:: dev
3 # Recipe:: default
4 #
5 # Copyright 2011, OpenStreetMap Foundation
6 #
7 # Licensed under the Apache License, Version 2.0 (the "License");
8 # you may not use this file except in compliance with the License.
9 # You may obtain a copy of the License at
10 #
11 #     https://www.apache.org/licenses/LICENSE-2.0
12 #
13 # Unless required by applicable law or agreed to in writing, software
14 # distributed under the License is distributed on an "AS IS" BASIS,
15 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
16 # See the License for the specific language governing permissions and
17 # limitations under the License.
18 #
19
20 require "yaml"
21 require "securerandom"
22
23 include_recipe "apache"
24 include_recipe "passenger"
25 include_recipe "git"
26 include_recipe "memcached"
27 include_recipe "mysql"
28 include_recipe "nodejs"
29 include_recipe "postgresql"
30 include_recipe "python"
31
32 package %w[
33   php
34   php-cgi
35   php-cli
36   php-curl
37   php-db
38   php-fpm
39   php-imagick
40   php-mcrypt
41   php-mysql
42   php-pear
43   php-pgsql
44   php-sqlite3
45 ]
46
47 package %w[
48   pngcrush
49   pngquant
50 ]
51
52 package %w[
53   python
54   python-argparse
55   python-beautifulsoup
56   python-cheetah
57   python-dateutil
58   python-magic
59   python-psycopg2
60   python-gdal
61 ]
62
63 nodejs_package "svgo"
64
65 python_package "geojson"
66
67 apache_module "env"
68 apache_module "expires"
69 apache_module "headers"
70 apache_module "proxy"
71 apache_module "proxy_fcgi"
72 apache_module "rewrite"
73 apache_module "suexec"
74 apache_module "userdir"
75 apache_module "wsgi"
76
77 package "apache2-suexec-pristine"
78
79 gem_package "sqlite3"
80
81 gem_package "rails" do
82   version "3.0.9"
83 end
84
85 service "php7.0-fpm" do
86   action [:enable, :start]
87 end
88
89 template "/etc/php/7.0/fpm/pool.d/default.conf" do
90   source "fpm-default.conf.erb"
91   owner "root"
92   group "root"
93   mode 0o644
94   notifies :reload, "service[php7.0-fpm]"
95 end
96
97 file "/etc/php/7.0/fpm/pool.d/www.conf" do
98   action :delete
99   notifies :reload, "service[php7.0-fpm]"
100 end
101
102 directory "/srv/dev.openstreetmap.org" do
103   owner "root"
104   group "root"
105   mode 0o755
106 end
107
108 template "/srv/dev.openstreetmap.org/index.html" do
109   source "dev.html.erb"
110   owner "root"
111   group "root"
112   mode 0o644
113 end
114
115 ssl_certificate "dev.openstreetmap.org" do
116   domains "dev.openstreetmap.org"
117   notifies :reload, "service[apache2]"
118 end
119
120 apache_site "dev.openstreetmap.org" do
121   template "apache.dev.erb"
122 end
123
124 package "phppgadmin"
125
126 template "/etc/phppgadmin/config.inc.php" do
127   source "phppgadmin.conf.erb"
128   owner "root"
129   group "root"
130   mode 0o644
131 end
132
133 file "/etc/apache2/conf.d/phppgadmin" do
134   action :delete
135 end
136
137 ssl_certificate "phppgadmin.dev.openstreetmap.org" do
138   domains "phppgadmin.dev.openstreetmap.org"
139   notifies :reload, "service[apache2]"
140 end
141
142 apache_site "phppgadmin.dev.openstreetmap.org" do
143   template "apache.phppgadmin.erb"
144 end
145
146 search(:accounts, "*:*").each do |account|
147   name = account["id"]
148   details = node[:accounts][:users][name] || {}
149
150   next unless %w[user administrator].include?(details[:status])
151
152   user_home = details[:home] || account["home"] || "#{node[:accounts][:home]}/#{name}"
153
154   next unless File.directory?("#{user_home}/public_html")
155
156   port = 7000 + account["uid"].to_i
157
158   template "/etc/php/7.0/fpm/pool.d/#{name}.conf" do
159     source "fpm.conf.erb"
160     owner "root"
161     group "root"
162     mode 0o644
163     variables :user => name, :port => port
164     notifies :reload, "service[php7.0-fpm]"
165   end
166
167   ssl_certificate "#{name}.dev.openstreetmap.org" do
168     domains ["#{name}.dev.openstreetmap.org", "#{name}.dev.osm.org"]
169     notifies :reload, "service[apache2]"
170   end
171
172   apache_site "#{name}.dev.openstreetmap.org" do
173     template "apache.user.erb"
174     directory "#{user_home}/public_html"
175     variables :user => name, :port => port
176   end
177
178   template "/etc/sudoers.d/#{name}" do
179     source "sudoers.user.erb"
180     owner "root"
181     group "root"
182     mode 0o440
183     variables :user => name
184   end
185 end
186
187 if node[:postgresql][:clusters][:"9.5/main"]
188   postgresql_user "apis" do
189     cluster "9.5/main"
190   end
191
192   template "/usr/local/bin/cleanup-rails-assets" do
193     cookbook "web"
194     source "cleanup-assets.erb"
195     owner "root"
196     group "root"
197     mode 0o755
198   end
199
200   node[:dev][:rails].each do |name, details|
201     database_name = details[:database] || "apis_#{name}"
202     site_name = "#{name}.apis.dev.openstreetmap.org"
203     rails_directory = "/srv/#{name}.apis.dev.openstreetmap.org"
204
205     if details[:repository]
206       site_aliases = details[:aliases] || []
207       secret_key_base = details[:secret_key_base] || SecureRandom.base64(96)
208
209       node.normal[:dev][:rails][name][:secret_key_base] = secret_key_base
210
211       postgresql_database database_name do
212         cluster "9.5/main"
213         owner "apis"
214       end
215
216       postgresql_extension "#{database_name}_btree_gist" do
217         cluster "9.5/main"
218         database database_name
219         extension "btree_gist"
220       end
221
222       rails_port site_name do
223         ruby node[:passenger][:ruby_version]
224         directory rails_directory
225         user "apis"
226         group "apis"
227         repository details[:repository]
228         revision details[:revision]
229         database_port node[:postgresql][:clusters][:"9.5/main"][:port]
230         database_name database_name
231         database_username "apis"
232         memcache_servers ["127.0.0.1"]
233         run_migrations true
234       end
235
236       template "#{rails_directory}/config/initializers/setup.rb" do
237         source "rails.setup.rb.erb"
238         owner "apis"
239         group "apis"
240         mode 0o644
241         variables :site => site_name
242         notifies :restart, "rails_port[#{site_name}]"
243       end
244
245       ssl_certificate site_name do
246         domains [site_name] + site_aliases
247         notifies :reload, "service[apache2]"
248       end
249
250       apache_site site_name do
251         template "apache.rails.erb"
252         variables :name => site_name, :aliases => site_aliases, :secret_key_base => secret_key_base
253       end
254     else
255       apache_site site_name do
256         action [:delete]
257       end
258
259       directory rails_directory do
260         action :delete
261         recursive true
262       end
263
264       file "/etc/cron.daily/rails-#{site_name.tr('.', '-')}" do
265         action :delete
266       end
267
268       postgresql_database database_name do
269         action :drop
270         cluster "9.5/main"
271       end
272
273       node.normal[:dev][:rails].delete(name)
274     end
275   end
276
277   directory "/srv/apis.dev.openstreetmap.org" do
278     owner "apis"
279     group "apis"
280     mode 0o755
281   end
282
283   template "/srv/apis.dev.openstreetmap.org/index.html" do
284     source "apis.html.erb"
285     owner "apis"
286     group "apis"
287     mode 0o644
288   end
289
290   ssl_certificate "apis.dev.openstreetmap.org" do
291     domains "apis.dev.openstreetmap.org"
292     notifies :reload, "service[apache2]"
293   end
294
295   apache_site "apis.dev.openstreetmap.org" do
296     template "apache.apis.erb"
297   end
298
299   node[:postgresql][:clusters].each_key do |name|
300     postgresql_munin name do
301       cluster name
302       database "ALL"
303     end
304   end
305 end
306
307 directory "/srv/ooc.openstreetmap.org" do
308   owner "root"
309   group "root"
310   mode 0o755
311 end
312
313 remote_directory "/srv/ooc.openstreetmap.org/html" do
314   source "ooc"
315   owner "root"
316   group "root"
317   mode 0o755
318   files_owner "root"
319   files_group "root"
320   files_mode 0o644
321 end
322
323 ssl_certificate "ooc.openstreetmap.org" do
324   domains ["ooc.openstreetmap.org",
325            "a.ooc.openstreetmap.org",
326            "b.ooc.openstreetmap.org",
327            "c.ooc.openstreetmap.org"]
328   notifies :reload, "service[apache2]"
329 end
330
331 apache_site "ooc.openstreetmap.org" do
332   template "apache.ooc.erb"
333 end