]> git.openstreetmap.org Git - chef.git/blob - cookbooks/mediawiki/resources/site.rb
ef3d7c20b656d5697eb99384e1bd67cd3b0db6e7
[chef.git] / cookbooks / mediawiki / resources / site.rb
1 #
2 # Cookbook:: mediawiki
3 # Resource:: mediawiki_site
4 #
5 # Copyright:: 2015, OpenStreetMap Foundation
6 #
7 # Licensed under the Apache License, Version 2.0 (the "License");
8 # you may not use this file except in compliance with the License.
9 # You may obtain a copy of the License at
10 #
11 # https://www.apache.org/licenses/LICENSE-2.0
12 #
13 # Unless required by applicable law or agreed to in writing, software
14 # distributed under the License is distributed on an "AS IS" BASIS,
15 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
16 # See the License for the specific language governing permissions and
17 # limitations under the License.
18 #
19
20 unified_mode true
21
22 default_action :create
23
24 property :site, :kind_of => String, :name_property => true
25 property :aliases, :kind_of => [String, Array]
26 property :version, :kind_of => String, :default => "1.39"
27 property :database_name, :kind_of => String, :required => true
28 property :database_user, :kind_of => String, :required => [:create, :update]
29 property :database_password, :kind_of => String, :required => [:create, :update]
30 property :sitename, :kind_of => String, :default => "OpenStreetMap Wiki"
31 property :metanamespace, :kind_of => String, :default => "OpenStreetMap"
32 property :logo, :kind_of => String, :default => "$wgStylePath/common/images/wiki.png"
33 property :email_contact, :kind_of => String, :default => ""
34 property :email_sender, :kind_of => String, :default => ""
35 property :email_sender_name, :kind_of => String, :default => "MediaWiki Mail"
36 property :commons, :kind_of => [TrueClass, FalseClass], :default => true
37 property :skin, :kind_of => String, :default => "vector"
38 property :site_notice, :kind_of => [String, TrueClass, FalseClass], :default => false
39 property :site_readonly, :kind_of => [String, TrueClass, FalseClass], :default => false
40 property :admin_user, :kind_of => String, :default => "Admin"
41 property :admin_password, :kind_of => String, :required => [:create]
42 property :private_accounts, :kind_of => [TrueClass, FalseClass], :default => false
43 property :private_site, :kind_of => [TrueClass, FalseClass], :default => false
44 property :hcaptcha_public_key, :kind_of => String, :default => ""
45 property :hcaptcha_private_key, :kind_of => String, :default => ""
46 property :extra_file_extensions, :kind_of => [String, Array], :default => []
47 property :fpm_max_children, :kind_of => Integer, :default => 5
48 property :fpm_start_servers, :kind_of => Integer, :default => 2
49 property :fpm_min_spare_servers, :kind_of => Integer, :default => 1
50 property :fpm_max_spare_servers, :kind_of => Integer, :default => 3
51 property :fpm_request_terminate_timeout, :kind_of => Integer, :default => 300
52 property :fpm_prometheus_port, :kind_of => Integer
53 property :reload_apache, :kind_of => [TrueClass, FalseClass], :default => true
54
55 action :create do
56   node.default[:mediawiki][:sites][new_resource.site] = {
57     :directory => site_directory,
58     :version => new_resource.version
59   }
60
61   mysql_user "#{new_resource.database_user}@localhost" do
62     password new_resource.database_password
63     reload true
64   end
65
66   mysql_database new_resource.database_name do
67     permissions "#{new_resource.database_user}@localhost" => :all
68   end
69
70   mediawiki_directory = "#{site_directory}/w"
71
72   declare_resource :directory, site_directory do
73     owner node[:mediawiki][:user]
74     group node[:mediawiki][:group]
75     mode "775"
76   end
77
78   declare_resource :directory, mediawiki_directory do
79     owner node[:mediawiki][:user]
80     group node[:mediawiki][:group]
81     mode "775"
82   end
83
84   git mediawiki_directory do
85     action :sync
86     repository "https://gerrit.wikimedia.org/r/mediawiki/core.git"
87     revision mediawiki_reference
88     depth 1
89     user node[:mediawiki][:user]
90     group node[:mediawiki][:group]
91   end
92
93   template "#{mediawiki_directory}/composer.local.json" do
94     cookbook "mediawiki"
95     source "composer.local.json.erb"
96     owner node[:mediawiki][:user]
97     group node[:mediawiki][:group]
98     mode "664"
99   end
100
101   execute "#{mediawiki_directory}/composer.json" do
102     command "composer update --no-dev"
103     cwd mediawiki_directory
104     user node[:mediawiki][:user]
105     group node[:mediawiki][:group]
106     environment "COMPOSER_HOME" => site_directory
107     not_if { ::File.exist?("#{mediawiki_directory}/composer.lock") }
108   end
109
110   execute "#{mediawiki_directory}/maintenance/install.php" do
111     # Use metanamespace as Site Name to ensure correct set namespace
112     command "php maintenance/install.php --server '#{name}' --dbtype 'mysql' --dbname '#{new_resource.database_name}' --dbuser '#{new_resource.database_user}' --dbpass '#{new_resource.database_password}' --dbserver 'localhost' --scriptpath /w --pass '#{new_resource.admin_password}' '#{new_resource.metanamespace}' '#{new_resource.admin_user}'"
113     cwd mediawiki_directory
114     user node[:mediawiki][:user]
115     group node[:mediawiki][:group]
116     not_if { ::File.exist?("#{mediawiki_directory}/LocalSettings.php") }
117   end
118
119   declare_resource :directory, "#{mediawiki_directory}/images" do
120     owner "www-data"
121     group node[:mediawiki][:group]
122     mode "775"
123   end
124
125   declare_resource :directory, "#{mediawiki_directory}/cache" do
126     owner "www-data"
127     group node[:mediawiki][:group]
128     mode "775"
129   end
130
131   declare_resource :directory, "#{mediawiki_directory}/LocalSettings.d" do
132     user node[:mediawiki][:user]
133     group node[:mediawiki][:group]
134     mode "775"
135   end
136
137   template "#{mediawiki_directory}/LocalSettings.php" do
138     cookbook "mediawiki"
139     source "LocalSettings.php.erb"
140     owner node[:mediawiki][:user]
141     group node[:mediawiki][:group]
142     mode "664"
143     variables :name => new_resource.site,
144               :directory => mediawiki_directory,
145               :database_params => database_params,
146               :mediawiki => mediawiki_params,
147               :secret_key => secret_key
148   end
149
150   service "mediawiki-sitemap@#{new_resource.site}.timer" do
151     action [:enable, :start]
152     only_if { ::File.exist?("#{mediawiki_directory}/LocalSettings.php") }
153   end
154
155   service "mediawiki-jobs@#{new_resource.site}.timer" do
156     action [:enable, :start]
157     only_if { ::File.exist?("#{mediawiki_directory}/LocalSettings.php") }
158   end
159
160   service "mediawiki-email-jobs@#{new_resource.site}.timer" do
161     action [:enable, :start]
162     only_if { ::File.exist?("#{mediawiki_directory}/LocalSettings.php") }
163   end
164
165   template "/etc/cron.daily/mediawiki-#{cron_name}-backup" do
166     cookbook "mediawiki"
167     source "mediawiki-backup.cron.erb"
168     owner "root"
169     group "root"
170     mode "700"
171     variables :name => new_resource.site,
172               :directory => site_directory,
173               :database_params => database_params
174     only_if { ::File.exist?("#{mediawiki_directory}/LocalSettings.php") }
175   end
176
177   # MobileFrontend extension is required by MinervaNeue skin
178   mediawiki_extension "MobileFrontend" do
179     site new_resource.site
180     template "mw-ext-MobileFrontend.inc.php.erb"
181     update_site false
182   end
183
184   # MobileFrontend extension is required by MinervaNeue skin
185   mediawiki_skin "MinervaNeue" do
186     site new_resource.site
187     update_site false
188     legacy false
189   end
190
191   mediawiki_skin "CologneBlue" do
192     site new_resource.site
193     update_site false
194     legacy false
195   end
196
197   mediawiki_skin "Modern" do
198     site new_resource.site
199     update_site false
200     legacy false
201   end
202
203   mediawiki_skin "MonoBook" do
204     site new_resource.site
205     update_site false
206     legacy false
207   end
208
209   mediawiki_skin "Vector" do
210     site new_resource.site
211     update_site false
212     legacy false
213   end
214
215   mediawiki_extension "Cite" do
216     site new_resource.site
217     update_site false
218   end
219
220   mediawiki_extension "CiteThisPage" do
221     site new_resource.site
222     update_site false
223   end
224
225   if new_resource.private_accounts || new_resource.private_site
226     mediawiki_extension "ConfirmEdit" do
227       site new_resource.site
228       update_site false
229       action :delete
230     end
231   else
232     mediawiki_extension "ConfirmEdit" do
233       site new_resource.site
234       template "mw-ext-ConfirmEdit.inc.php.erb"
235       variables :public_key => new_resource.hcaptcha_public_key,
236                 :private_key => new_resource.hcaptcha_private_key
237       update_site false
238     end
239   end
240
241   mediawiki_extension "Gadgets" do
242     site new_resource.site
243     update_site false
244   end
245
246   mediawiki_extension "ImageMap" do
247     site new_resource.site
248     update_site false
249   end
250
251   mediawiki_extension "InputBox" do
252     site new_resource.site
253     update_site false
254   end
255
256   mediawiki_extension "Interwiki" do
257     site new_resource.site
258     template "mw-ext-Interwiki.inc.php.erb"
259     update_site false
260   end
261
262   mediawiki_extension "Nuke" do
263     site new_resource.site
264     update_site false
265   end
266
267   mediawiki_extension "ParserFunctions" do
268     site new_resource.site
269     template "mw-ext-ParserFunctions.inc.php.erb"
270     update_site false
271   end
272
273   mediawiki_extension "PdfHandler" do
274     site new_resource.site
275     template "mw-ext-PdfHandler.inc.php.erb"
276     update_site false
277   end
278
279   mediawiki_extension "Poem" do
280     site new_resource.site
281     update_site false
282   end
283
284   mediawiki_extension "Renameuser" do
285     site new_resource.site
286     update_site false
287   end
288
289   mediawiki_extension "SimpleAntiSpam" do
290     site new_resource.site
291     update_site false
292     action :delete
293   end
294
295   mediawiki_extension "SpamBlacklist" do
296     site new_resource.site
297     template "mw-ext-SpamBlacklist.inc.php.erb"
298     update_site false
299   end
300
301   mediawiki_extension "SyntaxHighlight_GeSHi" do
302     site new_resource.site
303     template "mw-ext-SyntaxHighlight.inc.php.erb"
304     update_site false
305   end
306
307   mediawiki_extension "TitleBlacklist" do
308     site new_resource.site
309     template "mw-ext-TitleBlacklist.inc.php.erb"
310     update_site false
311   end
312
313   mediawiki_extension "WikiEditor" do
314     site new_resource.site
315     update_site false
316   end
317
318   mediawiki_extension "Babel" do
319     site new_resource.site
320     template "mw-ext-Babel.inc.php.erb"
321     update_site false
322   end
323
324   mediawiki_extension "CategoryTree" do
325     site new_resource.site
326     update_site false
327   end
328
329   mediawiki_extension "cldr" do
330     site new_resource.site
331     template "mw-ext-cldr.inc.php.erb"
332     update_site false
333   end
334
335   mediawiki_extension "CleanChanges" do
336     site new_resource.site
337     template "mw-ext-CleanChanges.inc.php.erb"
338     update_site false
339   end
340
341   mediawiki_extension "LocalisationUpdate" do
342     site new_resource.site
343     template "mw-ext-LocalisationUpdate.inc.php.erb"
344     update_site false
345   end
346
347   # mediawiki_extension "Translate" do
348   #   site new_resource.site
349   #   template "mw-ext-Translate.inc.php.erb"
350   #   update_site false
351   # end
352
353   mediawiki_extension "UniversalLanguageSelector" do
354     site new_resource.site
355     template "mw-ext-UniversalLanguageSelector.inc.php.erb"
356     update_site false
357   end
358
359   mediawiki_extension "AntiSpoof" do
360     site new_resource.site
361     template "mw-ext-AntiSpoof.inc.php.erb"
362     update_site false
363   end
364
365   mediawiki_extension "AbuseFilter" do
366     site new_resource.site
367     template "mw-ext-AbuseFilter.inc.php.erb"
368     update_site false
369   end
370
371   mediawiki_extension "CheckUser" do
372     site new_resource.site
373     template "mw-ext-CheckUser.inc.php.erb"
374     update_site false
375   end
376
377   mediawiki_extension "DismissableSiteNotice" do
378     site new_resource.site
379     update_site false
380   end
381
382   mediawiki_extension "Elastica" do
383     site new_resource.site
384     update_site false
385   end
386
387   mediawiki_extension "CirrusSearch" do
388     site new_resource.site
389     template "mw-ext-CirrusSearch.inc.php.erb"
390     update_site false
391   end
392
393   mediawiki_extension "osmtaginfo" do
394     site new_resource.site
395     repository "https://github.com/openstreetmap/osmtaginfo.git"
396     tag "live"
397     update_site false
398   end
399
400   mediawiki_extension "OSMCALWikiWidget" do
401     site new_resource.site
402     repository "https://github.com/thomersch/OSMCALWikiWidget.git"
403     tag "live"
404     update_site false
405   end
406
407   mediawiki_extension "DisableAccount" do
408     site new_resource.site
409     template "mw-ext-DisableAccount.inc.php.erb"
410     update_site false
411   end
412
413   mediawiki_extension "VisualEditor" do
414     site new_resource.site
415     template "mw-ext-VisualEditor.inc.php.erb"
416     variables :version => new_resource.version
417     update_site false
418   end
419
420   mediawiki_extension "TemplateData" do
421     site new_resource.site
422     update_site false
423   end
424
425   if new_resource.commons
426     mediawiki_extension "QuickInstantCommons" do
427       site new_resource.site
428       update_site false
429     end
430   else
431     mediawiki_extension "QuickInstantCommons" do
432       site new_resource.site
433       update_site false
434       action :delete
435     end
436   end
437
438   cookbook_file "#{site_directory}/cc-wiki.png" do
439     cookbook "mediawiki"
440     owner node[:mediawiki][:user]
441     group node[:mediawiki][:group]
442     mode "644"
443     backup false
444   end
445
446   cookbook_file "#{site_directory}/googled06a989d1ccc8364.html" do
447     cookbook "mediawiki"
448     owner node[:mediawiki][:user]
449     group node[:mediawiki][:group]
450     mode "644"
451     backup false
452   end
453
454   cookbook_file "#{site_directory}/googlefac54c35e800caab.html" do
455     cookbook "mediawiki"
456     owner node[:mediawiki][:user]
457     group node[:mediawiki][:group]
458     mode "644"
459     backup false
460   end
461
462   ssl_certificate new_resource.site do
463     domains [new_resource.site] + Array(new_resource.aliases)
464   end
465
466   php_fpm new_resource.site do
467     pm_max_children new_resource.fpm_max_children
468     pm_start_servers new_resource.fpm_start_servers
469     pm_min_spare_servers new_resource.fpm_min_spare_servers
470     pm_max_spare_servers new_resource.fpm_max_spare_servers
471     request_terminate_timeout new_resource.fpm_request_terminate_timeout
472     php_admin_values "open_basedir" => "#{site_directory}/:/usr/share/php/:/dev/null:/tmp/"
473     php_values "memory_limit" => "500M",
474                "max_execution_time" => "240",
475                "upload_max_filesize" => "70M",
476                "post_max_size" => "100M"
477     prometheus_port new_resource.fpm_prometheus_port
478   end
479
480   apache_site new_resource.site do
481     cookbook "mediawiki"
482     template "apache.erb"
483     directory site_directory
484     variables :aliases => Array(new_resource.aliases),
485               :private_site => new_resource.private_site
486     reload_apache false
487   end
488
489   # FIXME: needs to run one
490   execute "#{mediawiki_directory}/extensions/CirrusSearch/maintenance/updateSearchIndexConfig.php" do
491     action :nothing
492     command "php extensions/CirrusSearch/maintenance/updateSearchIndexConfig.php"
493     cwd mediawiki_directory
494     user node[:mediawiki][:user]
495     group node[:mediawiki][:group]
496   end
497 end
498
499 action :update do
500   mediawiki_directory = "#{site_directory}/w"
501
502   execute "#{mediawiki_directory}/composer.json" do
503     command "composer update --no-dev"
504     cwd mediawiki_directory
505     user node[:mediawiki][:user]
506     group node[:mediawiki][:group]
507     environment "COMPOSER_HOME" => site_directory
508   end
509
510   template "#{mediawiki_directory}/LocalSettings.php" do
511     cookbook "mediawiki"
512     source "LocalSettings.php.erb"
513     owner node[:mediawiki][:user]
514     group node[:mediawiki][:group]
515     mode "664"
516     variables :name => new_resource.site,
517               :directory => mediawiki_directory,
518               :database_params => database_params,
519               :mediawiki => mediawiki_params,
520               :secret_key => secret_key
521   end
522
523   execute "#{mediawiki_directory}/maintenance/update.php" do
524     action :run
525     command "php maintenance/update.php --quick"
526     cwd mediawiki_directory
527     user node[:mediawiki][:user]
528     group node[:mediawiki][:group]
529     timeout 86400
530   end
531 end
532
533 action :delete do
534   apache_site new_resource.site do
535     action :delete
536     reload_apache false
537   end
538
539   declare_resource :directory, site_directory do
540     action :delete
541     recursive true
542   end
543
544   mysql_database new_resource.database_name do
545     action :drop
546   end
547
548   mysql_user "#{new_resource.database_user}@localhost" do
549     action :drop
550   end
551 end
552
553 action_class do
554   include OpenStreetMap::Mixin::PersistentToken
555
556   def site_directory
557     "/srv/#{new_resource.site}"
558   end
559
560   def mediawiki_reference
561     shell_out!("git", "ls-remote", "--refs", "--sort=-version:refname",
562                "https://gerrit.wikimedia.org/r/mediawiki/core.git",
563                "refs/tags/#{new_resource.version}.*")
564       .stdout
565       .split("\n")
566       .first
567       .split("/")
568       .last
569   end
570
571   def cron_name
572     new_resource.site.tr(".", "_")
573   end
574
575   def database_params
576     {
577       :host => "localhost",
578       :name => new_resource.database_name,
579       :username => new_resource.database_user,
580       :password => new_resource.database_password
581     }
582   end
583
584   def mediawiki_params
585     {
586       :sitename => new_resource.sitename,
587       :metanamespace => new_resource.metanamespace,
588       :logo => new_resource.logo,
589       :email_contact => new_resource.email_contact,
590       :email_sender => new_resource.email_sender,
591       :email_sender_name => new_resource.email_sender_name,
592       :commons => new_resource.commons,
593       :skin => new_resource.skin,
594       :site_notice => new_resource.site_notice,
595       :site_readonly => new_resource.site_readonly,
596       :extra_file_extensions => new_resource.extra_file_extensions,
597       :private_accounts => new_resource.private_accounts,
598       :private_site => new_resource.private_site
599     }
600   end
601
602   def secret_key
603     persistent_token("mediawiki", new_resource.site, "wgSecretKey")
604   end
605 end
606
607 def after_created
608   notifies :update, "mediawiki_site[#{site}]"
609   notifies :reload, "service[apache2]" if reload_apache
610 end