]> git.openstreetmap.org Git - chef.git/blob - cookbooks/mediawiki/resources/site.rb
mediawiki: clean remove of QuickInstantCommons
[chef.git] / cookbooks / mediawiki / resources / site.rb
1 #
2 # Cookbook:: mediawiki
3 # Resource:: mediawiki_site
4 #
5 # Copyright:: 2015, OpenStreetMap Foundation
6 #
7 # Licensed under the Apache License, Version 2.0 (the "License");
8 # you may not use this file except in compliance with the License.
9 # You may obtain a copy of the License at
10 #
11 # https://www.apache.org/licenses/LICENSE-2.0
12 #
13 # Unless required by applicable law or agreed to in writing, software
14 # distributed under the License is distributed on an "AS IS" BASIS,
15 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
16 # See the License for the specific language governing permissions and
17 # limitations under the License.
18 #
19
20 unified_mode true
21
22 default_action :create
23
24 property :site, :kind_of => String, :name_property => true
25 property :aliases, :kind_of => [String, Array]
26 property :directory, :kind_of => String
27 property :version, :kind_of => String, :default => "1.35"
28 property :database_name, :kind_of => String, :required => true
29 property :database_user, :kind_of => String, :required => [:create, :update]
30 property :database_password, :kind_of => String, :required => [:create, :update]
31 property :sitename, :kind_of => String, :default => "OpenStreetMap Wiki"
32 property :metanamespace, :kind_of => String, :default => "OpenStreetMap"
33 property :logo, :kind_of => String, :default => "$wgStylePath/common/images/wiki.png"
34 property :email_contact, :kind_of => String, :default => ""
35 property :email_sender, :kind_of => String, :default => ""
36 property :email_sender_name, :kind_of => String, :default => "MediaWiki Mail"
37 property :commons, :kind_of => [TrueClass, FalseClass], :default => true
38 property :skin, :kind_of => String, :default => "vector"
39 property :site_notice, :kind_of => [String, TrueClass, FalseClass], :default => false
40 property :site_readonly, :kind_of => [String, TrueClass, FalseClass], :default => false
41 property :admin_user, :kind_of => String, :default => "Admin"
42 property :admin_password, :kind_of => String, :required => [:create]
43 property :private_accounts, :kind_of => [TrueClass, FalseClass], :default => false
44 property :private_site, :kind_of => [TrueClass, FalseClass], :default => false
45 property :recaptcha_public_key, :kind_of => String
46 property :recaptcha_private_key, :kind_of => String
47 property :extra_file_extensions, :kind_of => [String, Array], :default => []
48 property :fpm_max_children, :kind_of => Integer, :default => 5
49 property :fpm_start_servers, :kind_of => Integer, :default => 2
50 property :fpm_min_spare_servers, :kind_of => Integer, :default => 1
51 property :fpm_max_spare_servers, :kind_of => Integer, :default => 3
52 property :fpm_request_terminate_timeout, :kind_of => Integer, :default => 300
53 property :fpm_prometheus_port, :kind_of => Integer
54 property :reload_apache, :kind_of => [TrueClass, FalseClass], :default => true
55
56 action :create do
57   node.default[:mediawiki][:sites][new_resource.site] = {
58     :directory => site_directory,
59     :version => new_resource.version
60   }
61
62   secret_key = persistent_token("mediawiki", new_resource.site, "wgSecretKey")
63
64   mysql_user "#{new_resource.database_user}@localhost" do
65     password new_resource.database_password
66   end
67
68   mysql_database new_resource.database_name do
69     permissions "#{new_resource.database_user}@localhost" => :all
70   end
71
72   mediawiki_directory = "#{site_directory}/w"
73
74   ruby_block "rename-installer-localsettings" do
75     action :nothing
76     block do
77       ::File.rename("#{mediawiki_directory}/LocalSettings.php", "#{mediawiki_directory}/LocalSettings-install.php")
78     end
79   end
80
81   declare_resource :directory, site_directory do
82     owner node[:mediawiki][:user]
83     group node[:mediawiki][:group]
84     mode "775"
85   end
86
87   declare_resource :directory, mediawiki_directory do
88     owner node[:mediawiki][:user]
89     group node[:mediawiki][:group]
90     mode "775"
91   end
92
93   git mediawiki_directory do
94     action :sync
95     repository "https://gerrit.wikimedia.org/r/mediawiki/core.git"
96     revision mediawiki_reference
97     depth 1
98     user node[:mediawiki][:user]
99     group node[:mediawiki][:group]
100     notifies :run, "execute[#{mediawiki_directory}/composer.json]", :immediately
101     notifies :run, "execute[#{mediawiki_directory}/maintenance/install.php]", :immediately
102     notifies :run, "execute[#{mediawiki_directory}/maintenance/update.php]"
103   end
104
105   template "#{mediawiki_directory}/composer.local.json" do
106     cookbook "mediawiki"
107     source "composer.local.json.erb"
108     owner node[:mediawiki][:user]
109     group node[:mediawiki][:group]
110     mode "664"
111   end
112
113   execute "#{mediawiki_directory}/composer.json" do
114     action :nothing
115     command "composer update --no-dev"
116     cwd mediawiki_directory
117     user node[:mediawiki][:user]
118     group node[:mediawiki][:group]
119     environment "COMPOSER_HOME" => site_directory
120   end
121
122   execute "#{mediawiki_directory}/maintenance/install.php" do
123     action :nothing
124     # Use metanamespace as Site Name to ensure correct set namespace
125     command "php maintenance/install.php --server '#{name}' --dbtype 'mysql' --dbname '#{new_resource.database_name}' --dbuser '#{new_resource.database_user}' --dbpass '#{new_resource.database_password}' --dbserver 'localhost' --scriptpath /w --pass '#{new_resource.admin_password}' '#{new_resource.metanamespace}' '#{new_resource.admin_user}'"
126     cwd mediawiki_directory
127     user node[:mediawiki][:user]
128     group node[:mediawiki][:group]
129     not_if do
130       ::File.exist?("#{mediawiki_directory}/LocalSettings-install.php")
131     end
132     notifies :run, "ruby_block[rename-installer-localsettings]", :immediately
133   end
134
135   execute "#{mediawiki_directory}/maintenance/update.php" do
136     action :nothing
137     command "php maintenance/update.php --quick"
138     cwd mediawiki_directory
139     user node[:mediawiki][:user]
140     group node[:mediawiki][:group]
141   end
142
143   # Safety catch if git doesn't update but install.php hasn't run
144   ruby_block "catch-installer-localsettings-run" do
145     action :run
146     block do
147     end
148     not_if do
149       ::File.exist?("#{mediawiki_directory}/LocalSettings-install.php")
150     end
151     notifies :run, "execute[#{mediawiki_directory}/maintenance/install.php]", :immediately
152   end
153
154   declare_resource :directory, "#{mediawiki_directory}/images" do
155     owner "www-data"
156     group node[:mediawiki][:group]
157     mode "775"
158   end
159
160   declare_resource :directory, "#{mediawiki_directory}/cache" do
161     owner "www-data"
162     group node[:mediawiki][:group]
163     mode "775"
164   end
165
166   declare_resource :directory, "#{mediawiki_directory}/LocalSettings.d" do
167     user node[:mediawiki][:user]
168     group node[:mediawiki][:group]
169     mode "775"
170   end
171
172   template "#{mediawiki_directory}/LocalSettings.php" do
173     cookbook "mediawiki"
174     source "LocalSettings.php.erb"
175     owner node[:mediawiki][:user]
176     group node[:mediawiki][:group]
177     mode "664"
178     variables :name => new_resource.site,
179               :directory => mediawiki_directory,
180               :database_params => database_params,
181               :mediawiki => mediawiki_params,
182               :secret_key => secret_key
183     notifies :run, "execute[#{mediawiki_directory}/maintenance/update.php]"
184   end
185
186   cron_d "mediawiki-#{cron_name}-sitemap" do
187     comment "Generate sitemap.xml daily"
188     minute "30"
189     hour "0"
190     user node[:mediawiki][:user]
191     command "/usr/bin/nice /usr/bin/php -d memory_limit=2048M -d error_reporting=22517 #{site_directory}/w/maintenance/generateSitemap.php --server=https://#{new_resource.site} --urlpath=https://#{new_resource.site}/ --fspath=#{site_directory} --quiet --skip-redirects"
192   end
193
194   cron_d "mediawiki-#{cron_name}-jobs" do
195     comment "Run mediawiki jobs"
196     minute "*/3"
197     user node[:mediawiki][:user]
198     command "/usr/bin/nice /usr/bin/php -d memory_limit=2048M -d error_reporting=22517 #{site_directory}/w/maintenance/runJobs.php --server=https://#{new_resource.site} --maxtime=160 --memory-limit=2048M --procs=8 --quiet"
199   end
200
201   cron_d "mediawiki-#{cron_name}-email-jobs" do
202     comment "Run mediawiki email jobs"
203     user node[:mediawiki][:user]
204     command "/usr/bin/nice /usr/bin/php -d memory_limit=2048M -d error_reporting=22517 #{site_directory}/w/maintenance/runJobs.php --server=https://#{new_resource.site} --maxtime=30 --type=enotifNotify --memory-limit=2048M --procs=4 --quiet"
205   end
206
207   cron_d "mediawiki-#{cron_name}-refresh-links" do
208     comment "Run mediawiki refresh links table weekly"
209     minute "5"
210     hour "0"
211     weekday "0"
212     user node[:mediawiki][:user]
213     command "/usr/bin/nice /usr/bin/php -d memory_limit=2048M -d error_reporting=22517 #{site_directory}/w/maintenance/refreshLinks.php --server=https://#{new_resource.site} --memory-limit=2048M --quiet"
214   end
215
216   cron_d "mediawiki-#{cron_name}-cleanup-gs" do
217     comment "Clean up imagemagick garbage"
218     minute "10"
219     hour "2"
220     user node[:mediawiki][:user]
221     command "/usr/bin/find /tmp/ -maxdepth 1 -type f -user www-data -mmin +90 -name 'gs_*' -delete"
222   end
223
224   cron_d "mediawiki-#{cron_name}-cleanup-magick" do
225     comment "Clean up imagemagick garbage"
226     minute "20"
227     hour "2"
228     user node[:mediawiki][:user]
229     command "/usr/bin/find /tmp/ -maxdepth 1 -type f -user www-data -mmin +90 -name 'magick-*' -delete"
230   end
231
232   template "/etc/cron.daily/mediawiki-#{cron_name}-backup" do
233     cookbook "mediawiki"
234     source "mediawiki-backup.cron.erb"
235     owner "root"
236     group "root"
237     mode "700"
238     variables :name => new_resource.site,
239               :directory => site_directory,
240               :database_params => database_params
241   end
242
243   # MobileFrontend extension is required by MinervaNeue skin
244   mediawiki_extension "MobileFrontend" do
245     site new_resource.site
246     template "mw-ext-MobileFrontend.inc.php.erb"
247   end
248
249   # MobileFrontend extension is required by MinervaNeue skin
250   mediawiki_skin "MinervaNeue" do
251     site new_resource.site
252     update_site false
253     legacy false
254   end
255
256   mediawiki_skin "CologneBlue" do
257     site new_resource.site
258     update_site false
259     legacy false
260   end
261
262   mediawiki_skin "Modern" do
263     site new_resource.site
264     update_site false
265     legacy false
266   end
267
268   mediawiki_skin "MonoBook" do
269     site new_resource.site
270     update_site false
271     legacy false
272   end
273
274   mediawiki_skin "Vector" do
275     site new_resource.site
276     update_site false
277     legacy false
278   end
279
280   mediawiki_extension "Cite" do
281     site new_resource.site
282     update_site false
283   end
284
285   mediawiki_extension "CiteThisPage" do
286     site new_resource.site
287     update_site false
288   end
289
290   if new_resource.private_accounts || new_resource.private_site
291     mediawiki_extension "ConfirmEdit" do
292       site new_resource.site
293       update_site false
294       action :delete
295     end
296   else
297     mediawiki_extension "ConfirmEdit" do
298       site new_resource.site
299       template "mw-ext-ConfirmEdit.inc.php.erb"
300       variables :public_key => new_resource.recaptcha_public_key,
301                 :private_key => new_resource.recaptcha_private_key
302       update_site false
303     end
304   end
305
306   mediawiki_extension "Gadgets" do
307     site new_resource.site
308     update_site false
309   end
310
311   mediawiki_extension "ImageMap" do
312     site new_resource.site
313     update_site false
314   end
315
316   mediawiki_extension "InputBox" do
317     site new_resource.site
318     update_site false
319   end
320
321   mediawiki_extension "Interwiki" do
322     site new_resource.site
323     template "mw-ext-Interwiki.inc.php.erb"
324     update_site false
325   end
326
327   mediawiki_extension "Nuke" do
328     site new_resource.site
329     update_site false
330   end
331
332   mediawiki_extension "ParserFunctions" do
333     site new_resource.site
334     template "mw-ext-ParserFunctions.inc.php.erb"
335     update_site false
336   end
337
338   mediawiki_extension "PdfHandler" do
339     site new_resource.site
340     template "mw-ext-PdfHandler.inc.php.erb"
341     update_site false
342   end
343
344   mediawiki_extension "Poem" do
345     site new_resource.site
346     update_site false
347   end
348
349   mediawiki_extension "Renameuser" do
350     site new_resource.site
351     update_site false
352   end
353
354   mediawiki_extension "SimpleAntiSpam" do
355     site new_resource.site
356     update_site false
357     action :delete
358   end
359
360   mediawiki_extension "SpamBlacklist" do
361     site new_resource.site
362     template "mw-ext-SpamBlacklist.inc.php.erb"
363     update_site false
364   end
365
366   mediawiki_extension "SyntaxHighlight_GeSHi" do
367     site new_resource.site
368     template "mw-ext-SyntaxHighlight.inc.php.erb"
369     update_site false
370   end
371
372   mediawiki_extension "TitleBlacklist" do
373     site new_resource.site
374     template "mw-ext-TitleBlacklist.inc.php.erb"
375     update_site false
376   end
377
378   mediawiki_extension "WikiEditor" do
379     site new_resource.site
380     update_site false
381   end
382
383   mediawiki_extension "Babel" do
384     site new_resource.site
385     template "mw-ext-Babel.inc.php.erb"
386     update_site false
387   end
388
389   mediawiki_extension "cldr" do
390     site new_resource.site
391     template "mw-ext-cldr.inc.php.erb"
392     update_site false
393   end
394
395   mediawiki_extension "CleanChanges" do
396     site new_resource.site
397     template "mw-ext-CleanChanges.inc.php.erb"
398     update_site false
399   end
400
401   mediawiki_extension "LocalisationUpdate" do
402     site new_resource.site
403     template "mw-ext-LocalisationUpdate.inc.php.erb"
404     update_site false
405   end
406
407   # mediawiki_extension "Translate" do
408   #   site new_resource.site
409   #   template "mw-ext-Translate.inc.php.erb"
410   #   update_site false
411   # end
412
413   mediawiki_extension "UniversalLanguageSelector" do
414     site new_resource.site
415     template "mw-ext-UniversalLanguageSelector.inc.php.erb"
416     update_site false
417   end
418
419   mediawiki_extension "AntiSpoof" do
420     site new_resource.site
421     template "mw-ext-AntiSpoof.inc.php.erb"
422     update_site false
423   end
424
425   mediawiki_extension "AbuseFilter" do
426     site new_resource.site
427     template "mw-ext-AbuseFilter.inc.php.erb"
428     update_site false
429   end
430
431   mediawiki_extension "CheckUser" do
432     site new_resource.site
433     template "mw-ext-CheckUser.inc.php.erb"
434     update_site false
435   end
436
437   mediawiki_extension "DismissableSiteNotice" do
438     site new_resource.site
439     update_site false
440   end
441
442   mediawiki_extension "Elastica" do
443     site new_resource.site
444     update_site false
445   end
446
447   mediawiki_extension "CirrusSearch" do
448     site new_resource.site
449     template "mw-ext-CirrusSearch.inc.php.erb"
450     update_site false
451   end
452
453   mediawiki_extension "osmtaginfo" do
454     site new_resource.site
455     repository "https://github.com/Firefishy/osmtaginfo.git"
456     tag "live"
457     update_site false
458   end
459
460   mediawiki_extension "OSMCALWikiWidget" do
461     site new_resource.site
462     repository "https://github.com/thomersch/OSMCALWikiWidget.git"
463     tag "live"
464     update_site false
465   end
466
467   mediawiki_extension "SimpleMap" do
468     site new_resource.site
469     template "mw-ext-SimpleMap.inc.php.erb"
470     repository "https://github.com/Firefishy/SimpleMap.git"
471     tag "live"
472     update_site false
473     action :delete
474   end
475
476   mediawiki_extension "SlippyMap" do
477     site new_resource.site
478     update_site false
479     action :delete
480   end
481
482   mediawiki_extension "Mantle" do
483     site new_resource.site
484     update_site false
485     action :delete
486   end
487
488   mediawiki_extension "DisableAccount" do
489     site new_resource.site
490     template "mw-ext-DisableAccount.inc.php.erb"
491     update_site false
492   end
493
494   mediawiki_extension "VisualEditor" do
495     site new_resource.site
496     template "mw-ext-VisualEditor.inc.php.erb"
497     variables :version => new_resource.version
498     update_site false
499   end
500
501   mediawiki_extension "TemplateData" do
502     site new_resource.site
503     update_site false
504   end
505
506   # Broken Extension - 3 April 2022 - Remove. See https://github.com/openstreetmap/chef/pull/491#issuecomment-1086759504
507   mediawiki_extension "QuickInstantCommons" do
508     site new_resource.site
509     update_site false
510     action :delete
511   end
512
513   cookbook_file "#{site_directory}/cc-wiki.png" do
514     cookbook "mediawiki"
515     owner node[:mediawiki][:user]
516     group node[:mediawiki][:group]
517     mode "644"
518     backup false
519   end
520
521   cookbook_file "#{site_directory}/googled06a989d1ccc8364.html" do
522     cookbook "mediawiki"
523     owner node[:mediawiki][:user]
524     group node[:mediawiki][:group]
525     mode "644"
526     backup false
527   end
528
529   cookbook_file "#{site_directory}/googlefac54c35e800caab.html" do
530     cookbook "mediawiki"
531     owner node[:mediawiki][:user]
532     group node[:mediawiki][:group]
533     mode "644"
534     backup false
535   end
536
537   ssl_certificate new_resource.site do
538     domains [new_resource.site] + Array(new_resource.aliases)
539   end
540
541   php_fpm new_resource.site do
542     pm_max_children new_resource.fpm_max_children
543     pm_start_servers new_resource.fpm_start_servers
544     pm_min_spare_servers new_resource.fpm_min_spare_servers
545     pm_max_spare_servers new_resource.fpm_max_spare_servers
546     request_terminate_timeout new_resource.fpm_request_terminate_timeout
547     php_admin_values "open_basedir" => "#{site_directory}/:/usr/share/php/:/dev/null:/tmp/"
548     php_values "memory_limit" => "500M",
549                "max_execution_time" => "240",
550                "upload_max_filesize" => "70M",
551                "post_max_size" => "100M"
552     prometheus_port new_resource.fpm_prometheus_port
553   end
554
555   apache_site new_resource.site do
556     cookbook "mediawiki"
557     template "apache.erb"
558     directory site_directory
559     variables :aliases => Array(new_resource.aliases),
560               :private_site => new_resource.private_site
561     reload_apache false
562   end
563
564   # FIXME: needs to run one
565   execute "#{mediawiki_directory}/extensions/CirrusSearch/maintenance/updateSearchIndexConfig.php" do
566     action :nothing
567     command "php extensions/CirrusSearch/maintenance/updateSearchIndexConfig.php"
568     cwd mediawiki_directory
569     user node[:mediawiki][:user]
570     group node[:mediawiki][:group]
571   end
572 end
573
574 action :update do
575   mediawiki_directory = "#{site_directory}/w"
576
577   template "#{mediawiki_directory}/LocalSettings.php" do
578     cookbook "mediawiki"
579     source "LocalSettings.php.erb"
580     owner node[:mediawiki][:user]
581     group node[:mediawiki][:group]
582     mode "664"
583     variables :name => new_resource.site,
584               :directory => mediawiki_directory,
585               :database_params => database_params,
586               :mediawiki => mediawiki_params
587     notifies :run, "execute[#{mediawiki_directory}/maintenance/update.php]"
588   end
589
590   execute "#{mediawiki_directory}/maintenance/update.php" do
591     action :run
592     command "php maintenance/update.php --quick"
593     cwd mediawiki_directory
594     user node[:mediawiki][:user]
595     group node[:mediawiki][:group]
596   end
597 end
598
599 action :delete do
600   apache_site new_resource.site do
601     action :delete
602     reload_apache false
603   end
604
605   declare_resource :directory, site_directory do
606     action :delete
607     recursive true
608   end
609
610   mysql_database new_resource.database_name do
611     action :drop
612   end
613
614   mysql_user "#{new_resource.database_user}@localhost" do
615     action :drop
616   end
617 end
618
619 action_class do
620   include Chef::Mixin::PersistentToken
621
622   def site_directory
623     new_resource.directory || "/srv/#{new_resource.site}"
624   end
625
626   def mediawiki_reference
627     shell_out!("git", "ls-remote", "--refs", "--sort=-version:refname",
628                "https://gerrit.wikimedia.org/r/mediawiki/core.git",
629                "refs/tags/#{new_resource.version}.*")
630       .stdout
631       .split("\n")
632       .first
633       .split("/")
634       .last
635   end
636
637   def cron_name
638     new_resource.site.tr(".", "_")
639   end
640
641   def database_params
642     {
643       :host => "localhost",
644       :name => new_resource.database_name,
645       :username => new_resource.database_user,
646       :password => new_resource.database_password
647     }
648   end
649
650   def mediawiki_params
651     {
652       :sitename => new_resource.sitename,
653       :metanamespace => new_resource.metanamespace,
654       :logo => new_resource.logo,
655       :email_contact => new_resource.email_contact,
656       :email_sender => new_resource.email_sender,
657       :email_sender_name => new_resource.email_sender_name,
658       :commons => new_resource.commons,
659       :skin => new_resource.skin,
660       :site_notice => new_resource.site_notice,
661       :site_readonly => new_resource.site_readonly,
662       :extra_file_extensions => new_resource.extra_file_extensions,
663       :private_accounts => new_resource.private_accounts,
664       :private_site => new_resource.private_site
665     }
666   end
667 end
668
669 def after_created
670   notifies :reload, "service[apache2]" if reload_apache
671 end