]> git.openstreetmap.org Git - chef.git/blob - cookbooks/mediawiki/resources/site.rb
Merge remote-tracking branch 'github/pull/781'
[chef.git] / cookbooks / mediawiki / resources / site.rb
1 #
2 # Cookbook:: mediawiki
3 # Resource:: mediawiki_site
4 #
5 # Copyright:: 2015, OpenStreetMap Foundation
6 #
7 # Licensed under the Apache License, Version 2.0 (the "License");
8 # you may not use this file except in compliance with the License.
9 # You may obtain a copy of the License at
10 #
11 # https://www.apache.org/licenses/LICENSE-2.0
12 #
13 # Unless required by applicable law or agreed to in writing, software
14 # distributed under the License is distributed on an "AS IS" BASIS,
15 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
16 # See the License for the specific language governing permissions and
17 # limitations under the License.
18 #
19
20 unified_mode true
21
22 default_action :create
23
24 property :site, :kind_of => String, :name_property => true
25 property :aliases, :kind_of => [String, Array]
26 property :version, :kind_of => String, :default => "1.39"
27 property :database_name, :kind_of => String, :required => true
28 property :database_user, :kind_of => String, :required => [:create, :update]
29 property :database_password, :kind_of => String, :required => [:create, :update]
30 property :sitename, :kind_of => String, :default => "OpenStreetMap Wiki"
31 property :metanamespace, :kind_of => String, :default => "OpenStreetMap"
32 property :logo, :kind_of => String, :default => "$wgStylePath/common/images/wiki.png"
33 property :email_contact, :kind_of => String, :default => ""
34 property :email_sender, :kind_of => String, :default => ""
35 property :email_sender_name, :kind_of => String, :default => "MediaWiki Mail"
36 property :commons, :kind_of => [TrueClass, FalseClass], :default => true
37 property :skin, :kind_of => String, :default => "vector"
38 property :site_notice, :kind_of => [String, TrueClass, FalseClass], :default => false
39 property :site_readonly, :kind_of => [String, TrueClass, FalseClass], :default => false
40 property :admin_user, :kind_of => String, :default => "Admin"
41 property :admin_password, :kind_of => String, :required => [:create]
42 property :private_accounts, :kind_of => [TrueClass, FalseClass], :default => false
43 property :private_site, :kind_of => [TrueClass, FalseClass], :default => false
44 property :hcaptcha_public_key, :kind_of => String, :default => ""
45 property :hcaptcha_private_key, :kind_of => String, :default => ""
46 property :extra_file_extensions, :kind_of => [String, Array], :default => []
47 property :namespaces, :kind_of => Hash, :default => {}
48 property :force_ui_messages, :kind_of => Array, :default => []
49 property :watch_category_membership, :kind_of => [TrueClass, FalseClass], :default => false
50 property :fpm_max_children, :kind_of => Integer, :default => 5
51 property :fpm_start_servers, :kind_of => Integer, :default => 2
52 property :fpm_min_spare_servers, :kind_of => Integer, :default => 1
53 property :fpm_max_spare_servers, :kind_of => Integer, :default => 3
54 property :fpm_request_terminate_timeout, :kind_of => Integer, :default => 120
55 property :fpm_prometheus_port, :kind_of => Integer
56 property :reload_apache, :kind_of => [TrueClass, FalseClass], :default => true
57 property :backup_enabled, :kind_of => [TrueClass, FalseClass], :default => true
58
59 action :create do
60   node.default[:mediawiki][:sites][new_resource.site] = {
61     :directory => site_directory,
62     :version => new_resource.version
63   }
64
65   mysql_user "#{new_resource.database_user}@localhost" do
66     password new_resource.database_password
67     reload true
68   end
69
70   mysql_database new_resource.database_name do
71     permissions "#{new_resource.database_user}@localhost" => :all
72   end
73
74   mediawiki_directory = "#{site_directory}/w"
75
76   declare_resource :directory, site_directory do
77     owner node[:mediawiki][:user]
78     group node[:mediawiki][:group]
79     mode "775"
80   end
81
82   declare_resource :directory, mediawiki_directory do
83     owner node[:mediawiki][:user]
84     group node[:mediawiki][:group]
85     mode "775"
86   end
87
88   git mediawiki_directory do
89     action :sync
90     repository "https://gerrit.wikimedia.org/r/mediawiki/core.git"
91     revision mediawiki_reference
92     depth 1
93     user node[:mediawiki][:user]
94     group node[:mediawiki][:group]
95   end
96
97   template "#{mediawiki_directory}/composer.local.json" do
98     cookbook "mediawiki"
99     source "composer.local.json.erb"
100     owner node[:mediawiki][:user]
101     group node[:mediawiki][:group]
102     mode "664"
103     variables :version => new_resource.version
104   end
105
106   execute "#{mediawiki_directory}/composer.json" do
107     command "composer update --no-dev"
108     cwd mediawiki_directory
109     user node[:mediawiki][:user]
110     group node[:mediawiki][:group]
111     environment "COMPOSER_HOME" => site_directory
112     not_if { ::File.exist?("#{mediawiki_directory}/composer.lock") }
113   end
114
115   execute "#{mediawiki_directory}/maintenance/install.php" do
116     # Use metanamespace as Site Name to ensure correct set namespace
117     command "php maintenance/install.php --server '#{name}' --dbtype 'mysql' --dbname '#{new_resource.database_name}' --dbuser '#{new_resource.database_user}' --dbpass '#{new_resource.database_password}' --dbserver 'localhost' --scriptpath /w --pass '#{new_resource.admin_password}' '#{new_resource.metanamespace}' '#{new_resource.admin_user}'"
118     cwd mediawiki_directory
119     user node[:mediawiki][:user]
120     group node[:mediawiki][:group]
121     not_if { ::File.exist?("#{mediawiki_directory}/LocalSettings.php") }
122   end
123
124   declare_resource :directory, "#{mediawiki_directory}/images" do
125     owner "www-data"
126     group node[:mediawiki][:group]
127     mode "775"
128   end
129
130   declare_resource :directory, "#{mediawiki_directory}/cache" do
131     owner "www-data"
132     group node[:mediawiki][:group]
133     mode "775"
134   end
135
136   declare_resource :directory, "#{mediawiki_directory}/LocalSettings.d" do
137     user node[:mediawiki][:user]
138     group node[:mediawiki][:group]
139     mode "775"
140   end
141
142   template "#{mediawiki_directory}/LocalSettings.php" do
143     cookbook "mediawiki"
144     source "LocalSettings.php.erb"
145     owner node[:mediawiki][:user]
146     group node[:mediawiki][:group]
147     mode "664"
148     variables :name => new_resource.site,
149               :directory => mediawiki_directory,
150               :database_params => database_params,
151               :mediawiki => mediawiki_params,
152               :secret_key => secret_key
153   end
154
155   service "mediawiki-sitemap@#{new_resource.site}.timer" do
156     action [:enable, :start]
157     only_if { ::File.exist?("#{mediawiki_directory}/LocalSettings.php") }
158   end
159
160   service "mediawiki-jobs@#{new_resource.site}.timer" do
161     action [:enable, :start]
162     only_if { ::File.exist?("#{mediawiki_directory}/LocalSettings.php") }
163   end
164
165   service "mediawiki-email-jobs@#{new_resource.site}.timer" do
166     action [:enable, :start]
167     only_if { ::File.exist?("#{mediawiki_directory}/LocalSettings.php") }
168   end
169
170   template "/etc/cron.daily/mediawiki-#{cron_name}-backup" do
171     cookbook "mediawiki"
172     source "mediawiki-backup.cron.erb"
173     owner "root"
174     group "root"
175     mode "700"
176     variables :name => new_resource.site,
177               :directory => site_directory,
178               :database_params => database_params
179     only_if { ::File.exist?("#{mediawiki_directory}/LocalSettings.php") }
180     only_if { new_resource.backup_enabled }
181   end
182
183   file "/etc/cron.daily/mediawiki-#{cron_name}-backup" do
184     action :delete
185     not_if { new_resource.backup_enabled }
186   end
187
188   # MobileFrontend extension is required by MinervaNeue skin
189   mediawiki_extension "MobileFrontend" do
190     site new_resource.site
191     template "mw-ext-MobileFrontend.inc.php.erb"
192     update_site false
193   end
194
195   # MobileFrontend extension is required by MinervaNeue skin
196   mediawiki_skin "MinervaNeue" do
197     site new_resource.site
198     update_site false
199     legacy false
200   end
201
202   mediawiki_skin "CologneBlue" do
203     site new_resource.site
204     update_site false
205     legacy false
206   end
207
208   mediawiki_skin "Modern" do
209     site new_resource.site
210     update_site false
211     legacy false
212   end
213
214   mediawiki_skin "MonoBook" do
215     site new_resource.site
216     update_site false
217     legacy false
218   end
219
220   mediawiki_skin "Vector" do
221     site new_resource.site
222     update_site false
223     legacy false
224   end
225
226   mediawiki_extension "Cite" do
227     site new_resource.site
228     update_site false
229   end
230
231   mediawiki_extension "CiteThisPage" do
232     site new_resource.site
233     update_site false
234   end
235
236   if new_resource.private_accounts || new_resource.private_site
237     mediawiki_extension "ConfirmEdit" do
238       site new_resource.site
239       update_site false
240       action :delete
241     end
242   else
243     mediawiki_extension "ConfirmEdit" do
244       site new_resource.site
245       template "mw-ext-ConfirmEdit.inc.php.erb"
246       variables :public_key => new_resource.hcaptcha_public_key,
247                 :private_key => new_resource.hcaptcha_private_key
248       update_site false
249     end
250   end
251
252   mediawiki_extension "Gadgets" do
253     site new_resource.site
254     update_site false
255   end
256
257   mediawiki_extension "ImageMap" do
258     site new_resource.site
259     update_site false
260   end
261
262   mediawiki_extension "InputBox" do
263     site new_resource.site
264     update_site false
265   end
266
267   mediawiki_extension "Interwiki" do
268     site new_resource.site
269     template "mw-ext-Interwiki.inc.php.erb"
270     update_site false
271   end
272
273   mediawiki_extension "Nuke" do
274     site new_resource.site
275     update_site false
276   end
277
278   mediawiki_extension "ParserFunctions" do
279     site new_resource.site
280     template "mw-ext-ParserFunctions.inc.php.erb"
281     update_site false
282   end
283
284   mediawiki_extension "PdfHandler" do
285     site new_resource.site
286     template "mw-ext-PdfHandler.inc.php.erb"
287     update_site false
288   end
289
290   mediawiki_extension "Poem" do
291     site new_resource.site
292     update_site false
293   end
294
295   mediawiki_extension "Renameuser" do
296     site new_resource.site
297     update_site false
298   end
299
300   mediawiki_extension "SimpleAntiSpam" do
301     site new_resource.site
302     update_site false
303     action :delete
304   end
305
306   mediawiki_extension "SpamBlacklist" do
307     site new_resource.site
308     template "mw-ext-SpamBlacklist.inc.php.erb"
309     update_site false
310   end
311
312   mediawiki_extension "SyntaxHighlight_GeSHi" do
313     site new_resource.site
314     template "mw-ext-SyntaxHighlight.inc.php.erb"
315     update_site false
316   end
317
318   mediawiki_extension "TitleBlacklist" do
319     site new_resource.site
320     template "mw-ext-TitleBlacklist.inc.php.erb"
321     update_site false
322   end
323
324   mediawiki_extension "WikiEditor" do
325     site new_resource.site
326     update_site false
327   end
328
329   mediawiki_extension "Babel" do
330     site new_resource.site
331     template "mw-ext-Babel.inc.php.erb"
332     update_site false
333   end
334
335   mediawiki_extension "CategoryTree" do
336     site new_resource.site
337     update_site false
338   end
339
340   mediawiki_extension "cldr" do
341     site new_resource.site
342     template "mw-ext-cldr.inc.php.erb"
343     update_site false
344   end
345
346   mediawiki_extension "CleanChanges" do
347     site new_resource.site
348     template "mw-ext-CleanChanges.inc.php.erb"
349     update_site false
350   end
351
352   # Extension has been archived: https://www.mediawiki.org/wiki/Extension:LocalisationUpdate
353   mediawiki_extension "LocalisationUpdate" do
354     site new_resource.site
355     action :delete
356   end
357
358   # mediawiki_extension "Translate" do
359   #   site new_resource.site
360   #   template "mw-ext-Translate.inc.php.erb"
361   #   update_site false
362   # end
363
364   mediawiki_extension "UniversalLanguageSelector" do
365     site new_resource.site
366     template "mw-ext-UniversalLanguageSelector.inc.php.erb"
367     update_site false
368   end
369
370   mediawiki_extension "AntiSpoof" do
371     site new_resource.site
372     template "mw-ext-AntiSpoof.inc.php.erb"
373     update_site false
374   end
375
376   mediawiki_extension "AbuseFilter" do
377     site new_resource.site
378     template "mw-ext-AbuseFilter.inc.php.erb"
379     update_site false
380   end
381
382   mediawiki_extension "CheckUser" do
383     site new_resource.site
384     template "mw-ext-CheckUser.inc.php.erb"
385     update_site false
386   end
387
388   mediawiki_extension "DismissableSiteNotice" do
389     site new_resource.site
390     update_site false
391   end
392
393   mediawiki_extension "Elastica" do
394     site new_resource.site
395     update_site false
396   end
397
398   mediawiki_extension "CirrusSearch" do
399     site new_resource.site
400     template "mw-ext-CirrusSearch.inc.php.erb"
401     update_site false
402   end
403
404   mediawiki_extension "osmtaginfo" do
405     site new_resource.site
406     repository "https://github.com/openstreetmap/osmtaginfo.git"
407     tag "live"
408     update_site false
409   end
410
411   mediawiki_extension "OSMCALWikiWidget" do
412     site new_resource.site
413     repository "https://github.com/thomersch/OSMCALWikiWidget.git"
414     tag "live"
415     update_site false
416   end
417
418   mediawiki_extension "DisableAccount" do
419     site new_resource.site
420     template "mw-ext-DisableAccount.inc.php.erb"
421     update_site false
422   end
423
424   mediawiki_extension "VisualEditor" do
425     site new_resource.site
426     template "mw-ext-VisualEditor.inc.php.erb"
427     variables :version => new_resource.version
428     update_site false
429   end
430
431   mediawiki_extension "TemplateData" do
432     site new_resource.site
433     update_site false
434   end
435
436   if new_resource.commons
437     mediawiki_extension "QuickInstantCommons" do
438       site new_resource.site
439       template "mw-ext-QuickInstantCommons.inc.php.erb"
440       update_site false
441     end
442   else
443     mediawiki_extension "QuickInstantCommons" do
444       site new_resource.site
445       update_site false
446       action :delete
447     end
448   end
449
450   cookbook_file "#{site_directory}/cc-wiki.png" do
451     cookbook "mediawiki"
452     owner node[:mediawiki][:user]
453     group node[:mediawiki][:group]
454     mode "644"
455     backup false
456   end
457
458   cookbook_file "#{site_directory}/googled06a989d1ccc8364.html" do
459     cookbook "mediawiki"
460     owner node[:mediawiki][:user]
461     group node[:mediawiki][:group]
462     mode "644"
463     backup false
464   end
465
466   cookbook_file "#{site_directory}/googlefac54c35e800caab.html" do
467     cookbook "mediawiki"
468     owner node[:mediawiki][:user]
469     group node[:mediawiki][:group]
470     mode "644"
471     backup false
472   end
473
474   ssl_certificate new_resource.site do
475     domains [new_resource.site] + Array(new_resource.aliases)
476   end
477
478   php_fpm new_resource.site do
479     pm_max_children new_resource.fpm_max_children
480     pm_start_servers new_resource.fpm_start_servers
481     pm_min_spare_servers new_resource.fpm_min_spare_servers
482     pm_max_spare_servers new_resource.fpm_max_spare_servers
483     request_terminate_timeout new_resource.fpm_request_terminate_timeout
484     php_admin_values "open_basedir" => "#{site_directory}/:/usr/share/php/:/dev/null:/tmp/"
485     php_values "memory_limit" => "500M",
486                "max_execution_time" => "60",
487                "upload_max_filesize" => "70M",
488                "post_max_size" => "100M"
489     prometheus_port new_resource.fpm_prometheus_port
490   end
491
492   apache_site new_resource.site do
493     cookbook "mediawiki"
494     template "apache.erb"
495     directory site_directory
496     variables :aliases => Array(new_resource.aliases),
497               :private_site => new_resource.private_site
498     reload_apache false
499   end
500
501   # FIXME: needs to run one
502   execute "#{mediawiki_directory}/extensions/CirrusSearch/maintenance/updateSearchIndexConfig.php" do
503     action :nothing
504     command "php extensions/CirrusSearch/maintenance/updateSearchIndexConfig.php"
505     cwd mediawiki_directory
506     user node[:mediawiki][:user]
507     group node[:mediawiki][:group]
508   end
509 end
510
511 action :update do
512   mediawiki_directory = "#{site_directory}/w"
513
514   execute "#{mediawiki_directory}/composer.json" do
515     command "composer update --no-dev"
516     cwd mediawiki_directory
517     user node[:mediawiki][:user]
518     group node[:mediawiki][:group]
519     environment "COMPOSER_HOME" => site_directory
520   end
521
522   template "#{mediawiki_directory}/LocalSettings.php" do
523     cookbook "mediawiki"
524     source "LocalSettings.php.erb"
525     owner node[:mediawiki][:user]
526     group node[:mediawiki][:group]
527     mode "664"
528     variables :name => new_resource.site,
529               :directory => mediawiki_directory,
530               :database_params => database_params,
531               :mediawiki => mediawiki_params,
532               :secret_key => secret_key
533   end
534
535   execute "#{mediawiki_directory}/maintenance/update.php" do
536     action :run
537     command "php maintenance/update.php --quick"
538     cwd mediawiki_directory
539     user node[:mediawiki][:user]
540     group node[:mediawiki][:group]
541     timeout 86400
542   end
543 end
544
545 action :delete do
546   apache_site new_resource.site do
547     action :delete
548     reload_apache false
549   end
550
551   declare_resource :directory, site_directory do
552     action :delete
553     recursive true
554   end
555
556   mysql_database new_resource.database_name do
557     action :drop
558   end
559
560   mysql_user "#{new_resource.database_user}@localhost" do
561     action :drop
562   end
563 end
564
565 action_class do
566   include OpenStreetMap::Mixin::PersistentToken
567
568   def site_directory
569     "/srv/#{new_resource.site}"
570   end
571
572   def mediawiki_reference
573     shell_out!("git", "-c", "versionsort.suffix=-rc",
574                "ls-remote", "--refs", "--sort=-version:refname",
575                "https://gerrit.wikimedia.org/r/mediawiki/core.git",
576                "refs/tags/#{new_resource.version}.*")
577       .stdout
578       .split("\n")
579       .first
580       .split("/")
581       .last
582   end
583
584   def cron_name
585     new_resource.site.tr(".", "_")
586   end
587
588   def database_params
589     {
590       :host => "localhost",
591       :name => new_resource.database_name,
592       :username => new_resource.database_user,
593       :password => new_resource.database_password
594     }
595   end
596
597   def mediawiki_params
598     {
599       :sitename => new_resource.sitename,
600       :metanamespace => new_resource.metanamespace,
601       :logo => new_resource.logo,
602       :email_contact => new_resource.email_contact,
603       :email_sender => new_resource.email_sender,
604       :email_sender_name => new_resource.email_sender_name,
605       :commons => new_resource.commons,
606       :skin => new_resource.skin,
607       :site_notice => new_resource.site_notice,
608       :site_readonly => new_resource.site_readonly,
609       :extra_file_extensions => new_resource.extra_file_extensions,
610       :private_accounts => new_resource.private_accounts,
611       :private_site => new_resource.private_site,
612       :namespaces => new_resource.namespaces,
613       :force_ui_messages => new_resource.force_ui_messages,
614       :watch_category_membership => new_resource.watch_category_membership
615     }
616   end
617
618   def secret_key
619     persistent_token("mediawiki", new_resource.site, "wgSecretKey")
620   end
621 end
622
623 def after_created
624   notifies :update, "mediawiki_site[#{site}]"
625   notifies :reload, "service[apache2]" if reload_apache
626 end