]> git.openstreetmap.org Git - chef.git/blob - cookbooks/mediawiki/resources/site.rb
split configuration in two, include new templates
[chef.git] / cookbooks / mediawiki / resources / site.rb
1 #
2 # Cookbook:: mediawiki
3 # Resource:: mediawiki_site
4 #
5 # Copyright:: 2015, OpenStreetMap Foundation
6 #
7 # Licensed under the Apache License, Version 2.0 (the "License");
8 # you may not use this file except in compliance with the License.
9 # You may obtain a copy of the License at
10 #
11 # https://www.apache.org/licenses/LICENSE-2.0
12 #
13 # Unless required by applicable law or agreed to in writing, software
14 # distributed under the License is distributed on an "AS IS" BASIS,
15 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
16 # See the License for the specific language governing permissions and
17 # limitations under the License.
18 #
19
20 default_action :create
21
22 property :site, :kind_of => String, :name_property => true
23 property :aliases, :kind_of => [String, Array]
24 property :directory, :kind_of => String
25 property :version, :kind_of => String, :default => "1.35"
26 property :database_name, :kind_of => String, :required => true
27 property :database_user, :kind_of => String, :required => [:create, :update]
28 property :database_password, :kind_of => String, :required => [:create, :update]
29 property :sitename, :kind_of => String, :default => "OpenStreetMap Wiki"
30 property :metanamespace, :kind_of => String, :default => "OpenStreetMap"
31 property :logo, :kind_of => String, :default => "$wgStylePath/common/images/wiki.png"
32 property :email_contact, :kind_of => String, :default => ""
33 property :email_sender, :kind_of => String, :default => ""
34 property :email_sender_name, :kind_of => String, :default => "MediaWiki Mail"
35 property :commons, :kind_of => [TrueClass, FalseClass], :default => true
36 property :skin, :kind_of => String, :default => "vector"
37 property :site_notice, :kind_of => [String, TrueClass, FalseClass], :default => false
38 property :site_readonly, :kind_of => [String, TrueClass, FalseClass], :default => false
39 property :admin_user, :kind_of => String, :default => "Admin"
40 property :admin_password, :kind_of => String, :required => [:create]
41 property :private_accounts, :kind_of => [TrueClass, FalseClass], :default => false
42 property :private_site, :kind_of => [TrueClass, FalseClass], :default => false
43 property :recaptcha_public_key, :kind_of => String
44 property :recaptcha_private_key, :kind_of => String
45 property :extra_file_extensions, :kind_of => [String, Array], :default => []
46 property :fpm_max_children, :kind_of => Integer, :default => 5
47 property :fpm_start_servers, :kind_of => Integer, :default => 2
48 property :fpm_min_spare_servers, :kind_of => Integer, :default => 1
49 property :fpm_max_spare_servers, :kind_of => Integer, :default => 3
50 property :fpm_request_terminate_timeout, :kind_of => Integer, :default => 300
51 property :fpm_prometheus_port, :kind_of => Integer
52 property :reload_apache, :kind_of => [TrueClass, FalseClass], :default => true
53
54 action :create do
55   node.default[:mediawiki][:sites][new_resource.site] = {
56     :directory => site_directory,
57     :version => new_resource.version
58   }
59
60   secret_key = persistent_token("mediawiki", new_resource.site, "wgSecretKey")
61
62   mysql_user "#{new_resource.database_user}@localhost" do
63     password new_resource.database_password
64   end
65
66   mysql_database new_resource.database_name do
67     permissions "#{new_resource.database_user}@localhost" => :all
68   end
69
70   mediawiki_directory = "#{site_directory}/w"
71
72   ruby_block "rename-installer-localsettings" do
73     action :nothing
74     block do
75       ::File.rename("#{mediawiki_directory}/LocalSettings.php", "#{mediawiki_directory}/LocalSettings-install.php")
76     end
77   end
78
79   execute "#{mediawiki_directory}/maintenance/install.php" do
80     action :nothing
81     # Use metanamespace as Site Name to ensure correct set namespace
82     command "php maintenance/install.php --server '#{name}' --dbtype 'mysql' --dbname '#{new_resource.database_name}' --dbuser '#{new_resource.database_user}' --dbpass '#{new_resource.database_password}' --dbserver 'localhost' --scriptpath /w --pass '#{new_resource.admin_password}' '#{new_resource.metanamespace}' '#{new_resource.admin_user}'"
83     cwd mediawiki_directory
84     user node[:mediawiki][:user]
85     group node[:mediawiki][:group]
86     not_if do
87       ::File.exist?("#{mediawiki_directory}/LocalSettings-install.php")
88     end
89     notifies :run, "ruby_block[rename-installer-localsettings]", :immediately
90   end
91
92   execute "#{mediawiki_directory}/maintenance/update.php" do
93     action :nothing
94     command "php maintenance/update.php --quick"
95     cwd mediawiki_directory
96     user node[:mediawiki][:user]
97     group node[:mediawiki][:group]
98   end
99
100   declare_resource :directory, site_directory do
101     owner node[:mediawiki][:user]
102     group node[:mediawiki][:group]
103     mode "775"
104   end
105
106   declare_resource :directory, mediawiki_directory do
107     owner node[:mediawiki][:user]
108     group node[:mediawiki][:group]
109     mode "775"
110   end
111
112   git mediawiki_directory do
113     action :sync
114     repository "https://gerrit.wikimedia.org/r/mediawiki/core.git"
115     revision mediawiki_reference
116     depth 1
117     user node[:mediawiki][:user]
118     group node[:mediawiki][:group]
119     notifies :run, "execute[#{mediawiki_directory}/composer.json]", :immediately
120     notifies :run, "execute[#{mediawiki_directory}/maintenance/install.php]", :immediately
121     notifies :run, "execute[#{mediawiki_directory}/maintenance/update.php]"
122   end
123
124   execute "#{mediawiki_directory}/composer.json" do
125     action :nothing
126     command "composer update --no-dev"
127     cwd mediawiki_directory
128     user node[:mediawiki][:user]
129     group node[:mediawiki][:group]
130     environment "COMPOSER_HOME" => site_directory
131   end
132
133   template "#{mediawiki_directory}/composer.local.json" do
134     cookbook "mediawiki"
135     source "composer.local.json.erb"
136     owner node[:mediawiki][:user]
137     group node[:mediawiki][:group]
138     mode "664"
139   end
140
141   # Safety catch if git doesn't update but install.php hasn't run
142   ruby_block "catch-installer-localsettings-run" do
143     action :run
144     block do
145     end
146     not_if do
147       ::File.exist?("#{mediawiki_directory}/LocalSettings-install.php")
148     end
149     notifies :run, "execute[#{mediawiki_directory}/maintenance/install.php]", :immediately
150   end
151
152   declare_resource :directory, "#{mediawiki_directory}/images" do
153     owner "www-data"
154     group node[:mediawiki][:group]
155     mode "775"
156   end
157
158   declare_resource :directory, "#{mediawiki_directory}/cache" do
159     owner "www-data"
160     group node[:mediawiki][:group]
161     mode "775"
162   end
163
164   declare_resource :directory, "#{mediawiki_directory}/LocalSettings.d" do
165     user node[:mediawiki][:user]
166     group node[:mediawiki][:group]
167     mode "775"
168   end
169
170   template "#{mediawiki_directory}/LocalSettings.php" do
171     cookbook "mediawiki"
172     source "LocalSettings.php.erb"
173     owner node[:mediawiki][:user]
174     group node[:mediawiki][:group]
175     mode "664"
176     variables :name => new_resource.site,
177               :directory => mediawiki_directory,
178               :database_params => database_params,
179               :mediawiki => mediawiki_params,
180               :secret_key => secret_key
181     notifies :run, "execute[#{mediawiki_directory}/maintenance/update.php]"
182   end
183
184   cron_d "mediawiki-#{cron_name}-sitemap" do
185     comment "Generate sitemap.xml daily"
186     minute "30"
187     hour "0"
188     user node[:mediawiki][:user]
189     command "/usr/bin/nice /usr/bin/php -d memory_limit=2048M -d error_reporting=22517 #{site_directory}/w/maintenance/generateSitemap.php --server=https://#{new_resource.site} --urlpath=https://#{new_resource.site}/ --fspath=#{site_directory} --quiet --skip-redirects"
190   end
191
192   cron_d "mediawiki-#{cron_name}-jobs" do
193     comment "Run mediawiki jobs"
194     minute "*/3"
195     user node[:mediawiki][:user]
196     command "/usr/bin/nice /usr/bin/php -d memory_limit=2048M -d error_reporting=22517 #{site_directory}/w/maintenance/runJobs.php --server=https://#{new_resource.site} --maxtime=160 --memory-limit=2048M --procs=8 --quiet"
197   end
198
199   cron_d "mediawiki-#{cron_name}-email-jobs" do
200     comment "Run mediawiki email jobs"
201     user node[:mediawiki][:user]
202     command "/usr/bin/nice /usr/bin/php -d memory_limit=2048M -d error_reporting=22517 #{site_directory}/w/maintenance/runJobs.php --server=https://#{new_resource.site} --maxtime=30 --type=enotifNotify --memory-limit=2048M --procs=4 --quiet"
203   end
204
205   cron_d "mediawiki-#{cron_name}-refresh-links" do
206     comment "Run mediawiki refresh links table weekly"
207     minute "5"
208     hour "0"
209     weekday "0"
210     user node[:mediawiki][:user]
211     command "/usr/bin/nice /usr/bin/php -d memory_limit=2048M -d error_reporting=22517 #{site_directory}/w/maintenance/refreshLinks.php --server=https://#{new_resource.site} --memory-limit=2048M --quiet"
212   end
213
214   cron_d "mediawiki-#{cron_name}-cleanup-gs" do
215     comment "Clean up imagemagick garbage"
216     minute "10"
217     hour "2"
218     user node[:mediawiki][:user]
219     command "/usr/bin/find /tmp/ -maxdepth 1 -type f -user www-data -mmin +90 -name 'gs_*' -delete"
220   end
221
222   cron_d "mediawiki-#{cron_name}-cleanup-magick" do
223     comment "Clean up imagemagick garbage"
224     minute "20"
225     hour "2"
226     user node[:mediawiki][:user]
227     command "/usr/bin/find /tmp/ -maxdepth 1 -type f -user www-data -mmin +90 -name 'magick-*' -delete"
228   end
229
230   template "/etc/cron.daily/mediawiki-#{cron_name}-backup" do
231     cookbook "mediawiki"
232     source "mediawiki-backup.cron.erb"
233     owner "root"
234     group "root"
235     mode "700"
236     variables :name => new_resource.site,
237               :directory => site_directory,
238               :database_params => database_params
239   end
240
241   # MobileFrontend extension is required by MinervaNeue skin
242   mediawiki_extension "MobileFrontend" do
243     site new_resource.site
244     template "mw-ext-MobileFrontend.inc.php.erb"
245   end
246
247   # MobileFrontend extension is required by MinervaNeue skin
248   mediawiki_skin "MinervaNeue" do
249     site new_resource.site
250     update_site false
251     legacy false
252   end
253
254   mediawiki_skin "CologneBlue" do
255     site new_resource.site
256     update_site false
257     legacy false
258   end
259
260   mediawiki_skin "Modern" do
261     site new_resource.site
262     update_site false
263     legacy false
264   end
265
266   mediawiki_skin "MonoBook" do
267     site new_resource.site
268     update_site false
269     legacy false
270   end
271
272   mediawiki_skin "Vector" do
273     site new_resource.site
274     update_site false
275     legacy false
276   end
277
278   mediawiki_extension "Cite" do
279     site new_resource.site
280     update_site false
281   end
282
283   mediawiki_extension "CiteThisPage" do
284     site new_resource.site
285     update_site false
286   end
287
288   if new_resource.private_accounts || new_resource.private_site
289     mediawiki_extension "ConfirmEdit" do
290       site new_resource.site
291       update_site false
292       action :delete
293     end
294   else
295     mediawiki_extension "ConfirmEdit" do
296       site new_resource.site
297       template "mw-ext-ConfirmEdit.inc.php.erb"
298       variables :public_key => new_resource.recaptcha_public_key,
299                 :private_key => new_resource.recaptcha_private_key
300       update_site false
301     end
302   end
303
304   mediawiki_extension "Gadgets" do
305     site new_resource.site
306     update_site false
307   end
308
309   mediawiki_extension "ImageMap" do
310     site new_resource.site
311     update_site false
312   end
313
314   mediawiki_extension "InputBox" do
315     site new_resource.site
316     update_site false
317   end
318
319   mediawiki_extension "Interwiki" do
320     site new_resource.site
321     template "mw-ext-Interwiki.inc.php.erb"
322     update_site false
323   end
324
325   mediawiki_extension "Nuke" do
326     site new_resource.site
327     update_site false
328   end
329
330   mediawiki_extension "ParserFunctions" do
331     site new_resource.site
332     template "mw-ext-ParserFunctions.inc.php.erb"
333     update_site false
334   end
335
336   mediawiki_extension "PdfHandler" do
337     site new_resource.site
338     template "mw-ext-PdfHandler.inc.php.erb"
339     update_site false
340   end
341
342   mediawiki_extension "Poem" do
343     site new_resource.site
344     update_site false
345   end
346
347   mediawiki_extension "Renameuser" do
348     site new_resource.site
349     update_site false
350   end
351
352   mediawiki_extension "SimpleAntiSpam" do
353     site new_resource.site
354     update_site false
355     action :delete
356   end
357
358   mediawiki_extension "SpamBlacklist" do
359     site new_resource.site
360     template "mw-ext-SpamBlacklist.inc.php.erb"
361     update_site false
362   end
363
364   mediawiki_extension "SyntaxHighlight_GeSHi" do
365     site new_resource.site
366     template "mw-ext-SyntaxHighlight.inc.php.erb"
367     update_site false
368   end
369
370   mediawiki_extension "TitleBlacklist" do
371     site new_resource.site
372     template "mw-ext-TitleBlacklist.inc.php.erb"
373     update_site false
374   end
375
376   mediawiki_extension "WikiEditor" do
377     site new_resource.site
378     update_site false
379   end
380
381   mediawiki_extension "Babel" do
382     site new_resource.site
383     template "mw-ext-Babel.inc.php.erb"
384     update_site false
385   end
386
387   mediawiki_extension "cldr" do
388     site new_resource.site
389     template "mw-ext-cldr.inc.php.erb"
390     update_site false
391   end
392
393   mediawiki_extension "CleanChanges" do
394     site new_resource.site
395     template "mw-ext-CleanChanges.inc.php.erb"
396     update_site false
397   end
398
399   mediawiki_extension "LocalisationUpdate" do
400     site new_resource.site
401     template "mw-ext-LocalisationUpdate.inc.php.erb"
402     update_site false
403   end
404
405   # mediawiki_extension "Translate" do
406   #   site new_resource.site
407   #   template "mw-ext-Translate.inc.php.erb"
408   #   update_site false
409   # end
410
411   mediawiki_extension "UniversalLanguageSelector" do
412     site new_resource.site
413     template "mw-ext-UniversalLanguageSelector.inc.php.erb"
414     update_site false
415   end
416
417   mediawiki_extension "AntiSpoof" do
418     site new_resource.site
419     template "mw-ext-AntiSpoof.inc.php.erb"
420     update_site false
421   end
422
423   mediawiki_extension "AbuseFilter" do
424     site new_resource.site
425     template "mw-ext-AbuseFilter.inc.php.erb"
426     update_site false
427   end
428
429   mediawiki_extension "CheckUser" do
430     site new_resource.site
431     template "mw-ext-CheckUser.inc.php.erb"
432     update_site false
433   end
434
435   mediawiki_extension "DismissableSiteNotice" do
436     site new_resource.site
437     update_site false
438   end
439
440   mediawiki_extension "Elastica" do
441     site new_resource.site
442     update_site false
443   end
444
445   mediawiki_extension "CirrusSearch" do
446     site new_resource.site
447     template "mw-ext-CirrusSearch.inc.php.erb"
448     update_site false
449   end
450
451   mediawiki_extension "osmtaginfo" do
452     site new_resource.site
453     template "mw-ext-osmtaginfo.inc.php.erb"
454     repository "https://github.com/Firefishy/osmtaginfo.git"
455     tag "live"
456     update_site false
457   end
458
459   mediawiki_extension "OSMCALWikiWidget" do
460     site new_resource.site
461     repository "https://github.com/thomersch/OSMCALWikiWidget.git"
462     tag "live"
463     update_site false
464   end
465
466   mediawiki_extension "SimpleMap" do
467     site new_resource.site
468     template "mw-ext-SimpleMap.inc.php.erb"
469     repository "https://github.com/Firefishy/SimpleMap.git"
470     tag "live"
471     update_site false
472   end
473
474   mediawiki_extension "SlippyMap" do
475     site new_resource.site
476     update_site false
477     action :delete
478   end
479
480   mediawiki_extension "Mantle" do
481     site new_resource.site
482     update_site false
483     action :delete
484   end
485
486   mediawiki_extension "DisableAccount" do
487     site new_resource.site
488     template "mw-ext-DisableAccount.inc.php.erb"
489     update_site false
490   end
491
492   mediawiki_extension "VisualEditor" do
493     site new_resource.site
494     template "mw-ext-VisualEditor.inc.php.erb"
495     update_site false
496   end
497
498   mediawiki_extension "TemplateData" do
499     site new_resource.site
500     update_site false
501   end
502
503   cookbook_file "#{site_directory}/cc-wiki.png" do
504     cookbook "mediawiki"
505     owner node[:mediawiki][:user]
506     group node[:mediawiki][:group]
507     mode "644"
508     backup false
509   end
510
511   cookbook_file "#{site_directory}/googled06a989d1ccc8364.html" do
512     cookbook "mediawiki"
513     owner node[:mediawiki][:user]
514     group node[:mediawiki][:group]
515     mode "644"
516     backup false
517   end
518
519   cookbook_file "#{site_directory}/googlefac54c35e800caab.html" do
520     cookbook "mediawiki"
521     owner node[:mediawiki][:user]
522     group node[:mediawiki][:group]
523     mode "644"
524     backup false
525   end
526
527   ssl_certificate new_resource.site do
528     domains [new_resource.site] + Array(new_resource.aliases)
529   end
530
531   php_fpm new_resource.site do
532     pm_max_children new_resource.fpm_max_children
533     pm_start_servers new_resource.fpm_start_servers
534     pm_min_spare_servers new_resource.fpm_min_spare_servers
535     pm_max_spare_servers new_resource.fpm_max_spare_servers
536     request_terminate_timeout new_resource.fpm_request_terminate_timeout
537     php_admin_values "open_basedir" => "#{site_directory}/:/usr/share/php/:/dev/null:/tmp/"
538     php_values "memory_limit" => "500M",
539                "max_execution_time" => "240",
540                "upload_max_filesize" => "70M",
541                "post_max_size" => "100M"
542     prometheus_port new_resource.fpm_prometheus_port
543   end
544
545   apache_site new_resource.site do
546     cookbook "mediawiki"
547     template "apache.erb"
548     directory site_directory
549     variables :aliases => Array(new_resource.aliases),
550               :private_site => new_resource.private_site
551     reload_apache false
552   end
553
554   # FIXME: needs to run one
555   execute "#{mediawiki_directory}/extensions/CirrusSearch/maintenance/updateSearchIndexConfig.php" do
556     action :nothing
557     command "php extensions/CirrusSearch/maintenance/updateSearchIndexConfig.php"
558     cwd mediawiki_directory
559     user node[:mediawiki][:user]
560     group node[:mediawiki][:group]
561   end
562 end
563
564 action :update do
565   mediawiki_directory = "#{site_directory}/w"
566
567   template "#{mediawiki_directory}/LocalSettings.php" do
568     cookbook "mediawiki"
569     source "LocalSettings.php.erb"
570     owner node[:mediawiki][:user]
571     group node[:mediawiki][:group]
572     mode "664"
573     variables :name => new_resource.site,
574               :directory => mediawiki_directory,
575               :database_params => database_params,
576               :mediawiki => mediawiki_params
577     notifies :run, "execute[#{mediawiki_directory}/maintenance/update.php]"
578   end
579
580   execute "#{mediawiki_directory}/maintenance/update.php" do
581     action :run
582     command "php maintenance/update.php --quick"
583     cwd mediawiki_directory
584     user node[:mediawiki][:user]
585     group node[:mediawiki][:group]
586   end
587 end
588
589 action :delete do
590   apache_site new_resource.site do
591     action :delete
592     reload_apache false
593   end
594
595   declare_resource :directory, site_directory do
596     action :delete
597     recursive true
598   end
599
600   mysql_database new_resource.database_name do
601     action :drop
602   end
603
604   mysql_user "#{new_resource.database_user}@localhost" do
605     action :drop
606   end
607 end
608
609 action_class do
610   include Chef::Mixin::PersistentToken
611
612   def site_directory
613     new_resource.directory || "/srv/#{new_resource.site}"
614   end
615
616   def mediawiki_reference
617     shell_out!("git", "ls-remote", "--refs", "--sort=-version:refname",
618                "https://gerrit.wikimedia.org/r/mediawiki/core.git",
619                "refs/tags/#{new_resource.version}.*")
620       .stdout
621       .split("\n")
622       .first
623       .split("/")
624       .last
625   end
626
627   def cron_name
628     new_resource.site.tr(".", "_")
629   end
630
631   def database_params
632     {
633       :host => "localhost",
634       :name => new_resource.database_name,
635       :username => new_resource.database_user,
636       :password => new_resource.database_password
637     }
638   end
639
640   def mediawiki_params
641     {
642       :sitename => new_resource.sitename,
643       :metanamespace => new_resource.metanamespace,
644       :logo => new_resource.logo,
645       :email_contact => new_resource.email_contact,
646       :email_sender => new_resource.email_sender,
647       :email_sender_name => new_resource.email_sender_name,
648       :commons => new_resource.commons,
649       :skin => new_resource.skin,
650       :site_notice => new_resource.site_notice,
651       :site_readonly => new_resource.site_readonly,
652       :extra_file_extensions => new_resource.extra_file_extensions,
653       :private_accounts => new_resource.private_accounts,
654       :private_site => new_resource.private_site
655     }
656   end
657 end
658
659 def after_created
660   notifies :reload, "service[apache2]" if reload_apache
661 end