]> git.openstreetmap.org Git - chef.git/blob - cookbooks/taginfo/recipes/default.rb
taginfo: use pyosmium for planet updates
[chef.git] / cookbooks / taginfo / recipes / default.rb
1 #
2 # Cookbook Name:: taginfo
3 # Recipe:: default
4 #
5 # Copyright 2014, OpenStreetMap Foundation
6 #
7 # Licensed under the Apache License, Version 2.0 (the "License");
8 # you may not use this file except in compliance with the License.
9 # You may obtain a copy of the License at
10 #
11 #     https://www.apache.org/licenses/LICENSE-2.0
12 #
13 # Unless required by applicable law or agreed to in writing, software
14 # distributed under the License is distributed on an "AS IS" BASIS,
15 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
16 # See the License for the specific language governing permissions and
17 # limitations under the License.
18 #
19
20 require "json"
21
22 include_recipe "apache"
23 include_recipe "passenger"
24 include_recipe "git"
25
26 package %w[
27   libsqlite3-dev
28   zlib1g-dev
29   libbz2-dev
30   libboost-dev
31   libexpat1-dev
32   libsparsehash-dev
33   libgd-dev
34   libicu-dev
35   libboost-program-options-dev
36   cmake
37   make
38   g++
39 ]
40
41 package %w[
42   sqlite3
43   pyosmium
44   curl
45   pbzip2
46 ]
47
48 ruby_version = node[:passenger][:ruby_version]
49
50 package "ruby#{ruby_version}"
51
52 gem_package "bundler#{ruby_version}" do
53   package_name "bundler"
54   gem_binary "gem#{ruby_version}"
55   options "--format-executable"
56 end
57
58 apache_module "cache"
59 apache_module "cache_disk"
60 apache_module "headers"
61
62 template "/etc/cron.d/taginfo" do
63   source "cron.erb"
64   owner "root"
65   group "root"
66   mode 0o644
67 end
68
69 directory "/var/log/taginfo" do
70   owner "taginfo"
71   group "taginfo"
72   mode 0o755
73 end
74
75 file "/etc/logrotate.d/taginfo" do
76   action :delete
77 end
78
79 template "/etc/sudoers.d/taginfo" do
80   source "sudoers.erb"
81   owner "root"
82   group "root"
83   mode 0o440
84 end
85
86 node[:taginfo][:sites].each do |site|
87   site_name = site[:name]
88   site_aliases = Array(site[:aliases])
89   directory = site[:directory] || "/srv/#{site_name}"
90   description = site[:description]
91   about = site[:about]
92   icon = site[:icon]
93   contact = site[:contact]
94
95   directory "/var/log/taginfo/#{site_name}" do
96     owner "taginfo"
97     group "taginfo"
98     mode 0o755
99   end
100
101   directory directory do
102     owner "taginfo"
103     group "taginfo"
104     mode 0o755
105   end
106
107   git "#{directory}/libosmium" do
108     action :sync
109     repository "git://github.com/osmcode/libosmium.git"
110     revision "v2.12.1"
111     user "taginfo"
112     group "taginfo"
113   end
114
115   git "#{directory}/osmium-tool" do
116     action :sync
117     repository "git://github.com/osmcode/osmium-tool.git"
118     revision "v1.6.1"
119     user "taginfo"
120     group "taginfo"
121   end
122
123   git "#{directory}/taginfo" do
124     action :sync
125     repository "git://github.com/taginfo/taginfo.git"
126     revision "osmorg-taginfo-live"
127     user "taginfo"
128     group "taginfo"
129   end
130
131   settings = Chef::DelayedEvaluator.new do
132     settings = JSON.parse(IO.read("#{directory}/taginfo/taginfo-config-example.json"))
133
134     settings["instance"]["url"] = "https://#{site_name}/"
135     settings["instance"]["description"] = description
136     settings["instance"]["about"] = about
137     settings["instance"]["icon"] = "/img/logo/#{icon}.png"
138     settings["instance"]["contact"] = contact
139     settings["instance"]["access_control_allow_origin"] = ""
140     settings["logging"]["directory"] = "/var/log/taginfo/#{site_name}"
141     settings["opensearch"]["shortname"] = "Taginfo"
142     settings["opensearch"]["contact"] = "webmaster@openstreetmap.org"
143     settings["sources"]["download"] = ""
144     settings["sources"]["create"] = "db languages projects wiki"
145     settings["sources"]["db"]["planetfile"] = "#{directory}/planet/planet.pbf"
146     settings["sources"]["db"]["bindir"] = "#{directory}/taginfo/tagstats"
147     settings["tagstats"]["cxxflags"] = "-I../../libosmium/include"
148     settings["tagstats"]["geodistribution"] = "DenseMmapArray"
149
150     JSON.pretty_generate(settings)
151   end
152
153   file "#{directory}/taginfo-config.json" do
154     owner "taginfo"
155     group "taginfo"
156     mode 0o644
157     content settings
158     notifies :restart, "service[apache2]"
159   end
160
161   execute "#{directory}/taginfo/tagstats/Makefile" do
162     action :nothing
163     command "make"
164     cwd "#{directory}/taginfo/tagstats"
165     user "taginfo"
166     group "taginfo"
167     subscribes :run, "git[#{directory}/libosmium]"
168     subscribes :run, "git[#{directory}/taginfo]"
169     notifies :restart, "service[apache2]"
170   end
171
172   directory "#{directory}/osmium-tool/build" do
173     owner "taginfo"
174     group "taginfo"
175     mode "0755"
176   end
177
178   execute "compile-osmium" do
179     action :nothing
180     command "cmake .. && make"
181     cwd "#{directory}/osmium-tool/build"
182     user "taginfo"
183     group "taginfo"
184     subscribes :run, "git[#{directory}/libosmium]"
185     subscribes :run, "git[#{directory}/osmium-tool]"
186   end
187
188   execute "#{directory}/taginfo/Gemfile" do
189     action :nothing
190     command "bundle#{ruby_version} install"
191     cwd "#{directory}/taginfo"
192     user "root"
193     group "root"
194     subscribes :run, "gem_package[bundler#{ruby_version}]"
195     subscribes :run, "git[#{directory}/taginfo]"
196     notifies :restart, "passenger_application[#{directory}/taginfo/web/public]"
197   end
198
199   %w[taginfo/web/tmp bin data data/old download sources planet planet/log].each do |dir|
200     directory "#{directory}/#{dir}" do
201       owner "taginfo"
202       group "taginfo"
203       mode 0o755
204     end
205   end
206
207   remote_file "#{directory}/planet/planet.pbf" do
208     action :create_if_missing
209     source "https://planet.openstreetmap.org/pbf/planet-latest.osm.pbf"
210     owner "taginfo"
211     group "taginfo"
212     mode 0o644
213   end
214
215   template "#{directory}/bin/update-planet" do
216     source "update-planet.erb"
217     owner "taginfo"
218     group "taginfo"
219     mode 0o755
220     variables :directory => directory
221   end
222
223   template "#{directory}/bin/update-taginfo" do
224     source "update-taginfo.erb"
225     owner "taginfo"
226     group "taginfo"
227     mode 0o755
228     variables :directory => directory
229   end
230
231   template "#{directory}/bin/update" do
232     source "update.erb"
233     owner "taginfo"
234     group "taginfo"
235     mode 0o755
236     variables :name => site_name, :directory => directory
237   end
238
239   passenger_application "#{directory}/taginfo/web/public"
240
241   ssl_certificate site_name do
242     domains [site_name] + site_aliases
243     notifies :reload, "service[apache2]"
244   end
245
246   apache_site site_name do
247     template "apache.erb"
248     directory "#{directory}/taginfo/web/public"
249     variables :aliases => site_aliases
250   end
251 end