]> git.openstreetmap.org Git - chef.git/blob - cookbooks/mediawiki/resources/site.rb
Merge remote-tracking branch 'github/pull/328'
[chef.git] / cookbooks / mediawiki / resources / site.rb
1 #
2 # Cookbook:: mediawiki
3 # Resource:: mediawiki_site
4 #
5 # Copyright:: 2015, OpenStreetMap Foundation
6 #
7 # Licensed under the Apache License, Version 2.0 (the "License");
8 # you may not use this file except in compliance with the License.
9 # You may obtain a copy of the License at
10 #
11 # https://www.apache.org/licenses/LICENSE-2.0
12 #
13 # Unless required by applicable law or agreed to in writing, software
14 # distributed under the License is distributed on an "AS IS" BASIS,
15 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
16 # See the License for the specific language governing permissions and
17 # limitations under the License.
18 #
19
20 default_action :create
21
22 property :site, :kind_of => String, :name_property => true
23 property :aliases, :kind_of => [String, Array]
24 property :directory, :kind_of => String
25 property :version, :kind_of => String, :default => "1.33"
26 property :database_name, :kind_of => String, :required => true
27 property :database_user, :kind_of => String, :required => [:create, :update]
28 property :database_password, :kind_of => String, :required => [:create, :update]
29 property :sitename, :kind_of => String, :default => "OpenStreetMap Wiki"
30 property :metanamespace, :kind_of => String, :default => "OpenStreetMap"
31 property :logo, :kind_of => String, :default => "$wgStylePath/common/images/wiki.png"
32 property :email_contact, :kind_of => String, :default => ""
33 property :email_sender, :kind_of => String, :default => ""
34 property :email_sender_name, :kind_of => String, :default => "MediaWiki Mail"
35 property :commons, :kind_of => [TrueClass, FalseClass], :default => true
36 property :skin, :kind_of => String, :default => "vector"
37 property :site_notice, :kind_of => [String, TrueClass, FalseClass], :default => false
38 property :site_readonly, :kind_of => [String, TrueClass, FalseClass], :default => false
39 property :admin_user, :kind_of => String, :default => "Admin"
40 property :admin_password, :kind_of => String, :required => [:create]
41 property :private_accounts, :kind_of => [TrueClass, FalseClass], :default => false
42 property :private_site, :kind_of => [TrueClass, FalseClass], :default => false
43 property :recaptcha_public_key, :kind_of => String
44 property :recaptcha_private_key, :kind_of => String
45 property :extra_file_extensions, :kind_of => [String, Array], :default => []
46 property :fpm_max_children, :kind_of => Integer, :default => 5
47 property :reload_apache, :kind_of => [TrueClass, FalseClass], :default => true
48
49 action :create do
50   node.default[:mediawiki][:sites][new_resource.site] = {
51     :directory => site_directory,
52     :version => new_resource.version
53   }
54
55   secret_key = persistent_token("mediawiki", new_resource.site, "wgSecretKey")
56
57   mysql_user "#{new_resource.database_user}@localhost" do
58     password new_resource.database_password
59   end
60
61   mysql_database new_resource.database_name do
62     permissions "#{new_resource.database_user}@localhost" => :all
63   end
64
65   mediawiki_directory = "#{site_directory}/w"
66
67   ruby_block "rename-installer-localsettings" do
68     action :nothing
69     block do
70       ::File.rename("#{mediawiki_directory}/LocalSettings.php", "#{mediawiki_directory}/LocalSettings-install.php")
71     end
72   end
73
74   execute "#{mediawiki_directory}/maintenance/install.php" do
75     action :nothing
76     # Use metanamespace as Site Name to ensure correct set namespace
77     command "php maintenance/install.php --server '#{name}' --dbtype 'mysql' --dbname '#{new_resource.database_name}' --dbuser '#{new_resource.database_user}' --dbpass '#{new_resource.database_password}' --dbserver 'localhost' --scriptpath /w --pass '#{new_resource.admin_password}' '#{new_resource.metanamespace}' '#{new_resource.admin_user}'"
78     cwd mediawiki_directory
79     user node[:mediawiki][:user]
80     group node[:mediawiki][:group]
81     not_if do
82       ::File.exist?("#{mediawiki_directory}/LocalSettings-install.php")
83     end
84     notifies :run, "ruby_block[rename-installer-localsettings]", :immediately
85   end
86
87   execute "#{mediawiki_directory}/maintenance/update.php" do
88     action :nothing
89     command "php maintenance/update.php --quick"
90     cwd mediawiki_directory
91     user node[:mediawiki][:user]
92     group node[:mediawiki][:group]
93   end
94
95   declare_resource :directory, site_directory do
96     owner node[:mediawiki][:user]
97     group node[:mediawiki][:group]
98     mode "775"
99   end
100
101   declare_resource :directory, mediawiki_directory do
102     owner node[:mediawiki][:user]
103     group node[:mediawiki][:group]
104     mode "775"
105   end
106
107   mediawiki_reference = "REL#{new_resource.version}".tr(".", "_")
108
109   git mediawiki_directory do
110     action :sync
111     repository "https://gerrit.wikimedia.org/r/p/mediawiki/core.git"
112     revision mediawiki_reference
113     depth 1
114     user node[:mediawiki][:user]
115     group node[:mediawiki][:group]
116     notifies :run, "execute[#{mediawiki_directory}/composer.json]", :immediately
117     notifies :run, "execute[#{mediawiki_directory}/maintenance/install.php]", :immediately
118     notifies :run, "execute[#{mediawiki_directory}/maintenance/update.php]"
119   end
120
121   execute "#{mediawiki_directory}/composer.json" do
122     action :nothing
123     command "composer update --no-dev"
124     cwd mediawiki_directory
125     user node[:mediawiki][:user]
126     group node[:mediawiki][:group]
127   end
128
129   template "#{mediawiki_directory}/composer.local.json" do
130     cookbook "mediawiki"
131     source "composer.local.json.erb"
132     owner node[:mediawiki][:user]
133     group node[:mediawiki][:group]
134     mode "664"
135   end
136
137   # Safety catch if git doesn't update but install.php hasn't run
138   ruby_block "catch-installer-localsettings-run" do
139     action :run
140     block do
141     end
142     not_if do
143       ::File.exist?("#{mediawiki_directory}/LocalSettings-install.php")
144     end
145     notifies :run, "execute[#{mediawiki_directory}/maintenance/install.php]", :immediately
146   end
147
148   declare_resource :directory, "#{mediawiki_directory}/images" do
149     owner "www-data"
150     group node[:mediawiki][:group]
151     mode "775"
152   end
153
154   declare_resource :directory, "#{mediawiki_directory}/cache" do
155     owner "www-data"
156     group node[:mediawiki][:group]
157     mode "775"
158   end
159
160   declare_resource :directory, "#{mediawiki_directory}/LocalSettings.d" do
161     user node[:mediawiki][:user]
162     group node[:mediawiki][:group]
163     mode "775"
164   end
165
166   template "#{mediawiki_directory}/LocalSettings.php" do
167     cookbook "mediawiki"
168     source "LocalSettings.php.erb"
169     owner node[:mediawiki][:user]
170     group node[:mediawiki][:group]
171     mode "664"
172     variables :name => new_resource.site,
173               :directory => mediawiki_directory,
174               :database_params => database_params,
175               :mediawiki => mediawiki_params,
176               :secret_key => secret_key
177     notifies :run, "execute[#{mediawiki_directory}/maintenance/update.php]"
178   end
179
180   cron_d "mediawiki-#{cron_name}-sitemap" do
181     comment "Generate sitemap.xml daily"
182     minute "30"
183     hour "0"
184     user node[:mediawiki][:user]
185     command "/usr/bin/nice /usr/bin/php -d memory_limit=2048M -d error_reporting=22517 #{site_directory}/w/maintenance/generateSitemap.php --server=https://#{new_resource.site} --urlpath=https://#{new_resource.site}/ --fspath=#{site_directory} --quiet --skip-redirects"
186   end
187
188   cron_d "mediawiki-#{cron_name}-jobs" do
189     comment "Run mediawiki jobs"
190     minute "*/3"
191     user node[:mediawiki][:user]
192     command "/usr/bin/nice /usr/bin/php -d memory_limit=2048M -d error_reporting=22517 #{site_directory}/w/maintenance/runJobs.php --server=https://#{new_resource.site} --maxtime=160 --memory-limit=2048M --procs=8 --quiet"
193   end
194
195   cron_d "mediawiki-#{cron_name}-email-jobs" do
196     comment "Run mediawiki email jobs"
197     user node[:mediawiki][:user]
198     command "/usr/bin/nice /usr/bin/php -d memory_limit=2048M -d error_reporting=22517 #{site_directory}/w/maintenance/runJobs.php --server=https://#{new_resource.site} --maxtime=30 --type=enotifNotify --memory-limit=2048M --procs=4 --quiet"
199   end
200
201   cron_d "mediawiki-#{cron_name}-refresh-links" do
202     comment "Run mediawiki refresh links table weekly"
203     minute "5"
204     hour "0"
205     weekday "0"
206     user node[:mediawiki][:user]
207     command "/usr/bin/nice /usr/bin/php -d memory_limit=2048M -d error_reporting=22517 #{site_directory}/w/maintenance/refreshLinks.php --server=https://#{new_resource.site} --memory-limit=2048M --quiet"
208   end
209
210   cron_d "mediawiki-#{cron_name}-cleanup-gs" do
211     comment "Clean up imagemagick garbage"
212     minute "10"
213     hour "2"
214     user node[:mediawiki][:user]
215     command "/usr/bin/find /tmp/ -maxdepth 1 -type f -user www-data -mmin +90 -name 'gs_*' -delete"
216   end
217
218   cron_d "mediawiki-#{cron_name}-cleanup-magick" do
219     comment "Clean up imagemagick garbage"
220     minute "20"
221     hour "2"
222     user node[:mediawiki][:user]
223     command "/usr/bin/find /tmp/ -maxdepth 1 -type f -user www-data -mmin +90 -name 'magick-*' -delete"
224   end
225
226   template "/etc/cron.daily/mediawiki-#{cron_name}-backup" do
227     cookbook "mediawiki"
228     source "mediawiki-backup.cron.erb"
229     owner "root"
230     group "root"
231     mode "700"
232     variables :name => new_resource.site,
233               :directory => site_directory,
234               :database_params => database_params
235   end
236
237   # MobileFrontend extension is required by MinervaNeue skin
238   mediawiki_extension "MobileFrontend" do
239     site new_resource.site
240     template "mw-ext-MobileFrontend.inc.php.erb"
241   end
242
243   # MobileFrontend extension is required by MinervaNeue skin
244   mediawiki_skin "MinervaNeue" do
245     site new_resource.site
246     update_site false
247     legacy false
248   end
249
250   mediawiki_skin "CologneBlue" do
251     site new_resource.site
252     update_site false
253     legacy false
254   end
255
256   mediawiki_skin "Modern" do
257     site new_resource.site
258     update_site false
259     legacy false
260   end
261
262   mediawiki_skin "MonoBook" do
263     site new_resource.site
264     update_site false
265     legacy false
266   end
267
268   mediawiki_skin "Vector" do
269     site new_resource.site
270     update_site false
271     legacy false
272   end
273
274   mediawiki_extension "Cite" do
275     site new_resource.site
276     update_site false
277   end
278
279   mediawiki_extension "CiteThisPage" do
280     site new_resource.site
281     update_site false
282   end
283
284   if new_resource.private_accounts || new_resource.private_site
285     mediawiki_extension "ConfirmEdit" do
286       site new_resource.site
287       update_site false
288       action :delete
289     end
290   else
291     mediawiki_extension "ConfirmEdit" do
292       site new_resource.site
293       template "mw-ext-ConfirmEdit.inc.php.erb"
294       variables :public_key => new_resource.recaptcha_public_key,
295                 :private_key => new_resource.recaptcha_private_key
296       update_site false
297     end
298   end
299
300   mediawiki_extension "Gadgets" do
301     site new_resource.site
302     update_site false
303   end
304
305   mediawiki_extension "ImageMap" do
306     site new_resource.site
307     update_site false
308   end
309
310   mediawiki_extension "InputBox" do
311     site new_resource.site
312     update_site false
313   end
314
315   mediawiki_extension "Interwiki" do
316     site new_resource.site
317     template "mw-ext-Interwiki.inc.php.erb"
318     update_site false
319   end
320
321   mediawiki_extension "Nuke" do
322     site new_resource.site
323     update_site false
324   end
325
326   mediawiki_extension "ParserFunctions" do
327     site new_resource.site
328     template "mw-ext-ParserFunctions.inc.php.erb"
329     update_site false
330   end
331
332   mediawiki_extension "PdfHandler" do
333     site new_resource.site
334     template "mw-ext-PdfHandler.inc.php.erb"
335     update_site false
336   end
337
338   mediawiki_extension "Poem" do
339     site new_resource.site
340     update_site false
341   end
342
343   mediawiki_extension "Renameuser" do
344     site new_resource.site
345     update_site false
346   end
347
348   mediawiki_extension "SimpleAntiSpam" do
349     site new_resource.site
350     update_site false
351     action :delete
352   end
353
354   mediawiki_extension "SpamBlacklist" do
355     site new_resource.site
356     template "mw-ext-SpamBlacklist.inc.php.erb"
357     update_site false
358   end
359
360   mediawiki_extension "SyntaxHighlight_GeSHi" do
361     site new_resource.site
362     template "mw-ext-SyntaxHighlight.inc.php.erb"
363     update_site false
364   end
365
366   mediawiki_extension "TitleBlacklist" do
367     site new_resource.site
368     template "mw-ext-TitleBlacklist.inc.php.erb"
369     update_site false
370   end
371
372   mediawiki_extension "WikiEditor" do
373     site new_resource.site
374     update_site false
375   end
376
377   mediawiki_extension "Babel" do
378     site new_resource.site
379     template "mw-ext-Babel.inc.php.erb"
380     update_site false
381   end
382
383   mediawiki_extension "cldr" do
384     site new_resource.site
385     template "mw-ext-cldr.inc.php.erb"
386     update_site false
387   end
388
389   mediawiki_extension "CleanChanges" do
390     site new_resource.site
391     template "mw-ext-CleanChanges.inc.php.erb"
392     update_site false
393   end
394
395   mediawiki_extension "LocalisationUpdate" do
396     site new_resource.site
397     template "mw-ext-LocalisationUpdate.inc.php.erb"
398     update_site false
399   end
400
401   # mediawiki_extension "Translate" do
402   #   site new_resource.site
403   #   template "mw-ext-Translate.inc.php.erb"
404   #   update_site false
405   # end
406
407   mediawiki_extension "UniversalLanguageSelector" do
408     site new_resource.site
409     template "mw-ext-UniversalLanguageSelector.inc.php.erb"
410     update_site false
411   end
412
413   mediawiki_extension "AntiSpoof" do
414     site new_resource.site
415     template "mw-ext-AntiSpoof.inc.php.erb"
416     update_site false
417   end
418
419   mediawiki_extension "AbuseFilter" do
420     site new_resource.site
421     template "mw-ext-AbuseFilter.inc.php.erb"
422     update_site false
423   end
424
425   mediawiki_extension "CheckUser" do
426     site new_resource.site
427     template "mw-ext-CheckUser.inc.php.erb"
428     update_site false
429   end
430
431   mediawiki_extension "DismissableSiteNotice" do
432     site new_resource.site
433     update_site false
434   end
435
436   mediawiki_extension "Elastica" do
437     site new_resource.site
438     update_site false
439   end
440
441   mediawiki_extension "CirrusSearch" do
442     site new_resource.site
443     template "mw-ext-CirrusSearch.inc.php.erb"
444     update_site false
445   end
446
447   mediawiki_extension "osmtaginfo" do
448     site new_resource.site
449     template "mw-ext-osmtaginfo.inc.php.erb"
450     repository "https://github.com/Firefishy/osmtaginfo.git"
451     tag "live"
452     update_site false
453   end
454
455   mediawiki_extension "SimpleMap" do
456     site new_resource.site
457     template "mw-ext-SimpleMap.inc.php.erb"
458     repository "https://github.com/Firefishy/SimpleMap.git"
459     tag "live"
460     update_site false
461   end
462
463   mediawiki_extension "SlippyMap" do
464     site new_resource.site
465     template "mw-ext-SlippyMap.inc.php.erb"
466     repository "https://github.com/Firefishy/SlippyMap.git"
467     tag "live"
468     update_site false
469   end
470
471   mediawiki_extension "Mantle" do
472     site new_resource.site
473     update_site false
474     action :delete
475   end
476
477   mediawiki_extension "DisableAccount" do
478     site new_resource.site
479     template "mw-ext-DisableAccount.inc.php.erb"
480     update_site false
481   end
482
483   mediawiki_extension "VisualEditor" do
484     site new_resource.site
485     template "mw-ext-VisualEditor.inc.php.erb"
486     update_site false
487   end
488
489   mediawiki_extension "TemplateData" do
490     site new_resource.site
491     update_site false
492   end
493
494   cookbook_file "#{site_directory}/cc-wiki.png" do
495     cookbook "mediawiki"
496     owner node[:mediawiki][:user]
497     group node[:mediawiki][:group]
498     mode "644"
499     backup false
500   end
501
502   cookbook_file "#{site_directory}/googled06a989d1ccc8364.html" do
503     cookbook "mediawiki"
504     owner node[:mediawiki][:user]
505     group node[:mediawiki][:group]
506     mode "644"
507     backup false
508   end
509
510   cookbook_file "#{site_directory}/googlefac54c35e800caab.html" do
511     cookbook "mediawiki"
512     owner node[:mediawiki][:user]
513     group node[:mediawiki][:group]
514     mode "644"
515     backup false
516   end
517
518   ssl_certificate new_resource.site do
519     domains [new_resource.site] + Array(new_resource.aliases)
520   end
521
522   php_fpm new_resource.site do
523     pm_max_children new_resource.fpm_max_children
524     php_admin_values "open_basedir" => "#{site_directory}/:/usr/share/php/:/dev/null:/tmp/"
525     php_values "memory_limit" => "500M",
526                "max_execution_time" => "240",
527                "upload_max_filesize" => "70M",
528                "post_max_size" => "100M"
529   end
530
531   apache_site new_resource.site do
532     cookbook "mediawiki"
533     template "apache.erb"
534     directory site_directory
535     variables :aliases => Array(new_resource.aliases),
536               :private_site => new_resource.private_site
537     reload_apache false
538   end
539
540   # FIXME: needs to run one
541   execute "#{mediawiki_directory}/extensions/CirrusSearch/maintenance/updateSearchIndexConfig.php" do
542     action :nothing
543     command "php extensions/CirrusSearch/maintenance/updateSearchIndexConfig.php"
544     cwd mediawiki_directory
545     user node[:mediawiki][:user]
546     group node[:mediawiki][:group]
547   end
548 end
549
550 action :update do
551   mediawiki_directory = "#{site_directory}/w"
552
553   template "#{mediawiki_directory}/LocalSettings.php" do
554     cookbook "mediawiki"
555     source "LocalSettings.php.erb"
556     owner node[:mediawiki][:user]
557     group node[:mediawiki][:group]
558     mode "664"
559     variables :name => new_resource.site,
560               :directory => mediawiki_directory,
561               :database_params => database_params,
562               :mediawiki => mediawiki_params
563     notifies :run, "execute[#{mediawiki_directory}/maintenance/update.php]"
564   end
565
566   execute "#{mediawiki_directory}/maintenance/update.php" do
567     action :run
568     command "php maintenance/update.php --quick"
569     cwd mediawiki_directory
570     user node[:mediawiki][:user]
571     group node[:mediawiki][:group]
572   end
573 end
574
575 action :delete do
576   apache_site new_resource.site do
577     action :delete
578     reload_apache false
579   end
580
581   declare_resource :directory, site_directory do
582     action :delete
583     recursive true
584   end
585
586   mysql_database new_resource.database_name do
587     action :drop
588   end
589
590   mysql_user "#{new_resource.database_user}@localhost" do
591     action :drop
592   end
593 end
594
595 action_class do
596   include Chef::Mixin::PersistentToken
597
598   def site_directory
599     new_resource.directory || "/srv/#{new_resource.site}"
600   end
601
602   def cron_name
603     new_resource.site.tr(".", "_")
604   end
605
606   def database_params
607     {
608       :host => "localhost",
609       :name => new_resource.database_name,
610       :username => new_resource.database_user,
611       :password => new_resource.database_password
612     }
613   end
614
615   def mediawiki_params
616     {
617       :sitename => new_resource.sitename,
618       :metanamespace => new_resource.metanamespace,
619       :logo => new_resource.logo,
620       :email_contact => new_resource.email_contact,
621       :email_sender => new_resource.email_sender,
622       :email_sender_name => new_resource.email_sender_name,
623       :commons => new_resource.commons,
624       :skin => new_resource.skin,
625       :site_notice => new_resource.site_notice,
626       :site_readonly => new_resource.site_readonly,
627       :extra_file_extensions => new_resource.extra_file_extensions,
628       :private_accounts => new_resource.private_accounts,
629       :private_site => new_resource.private_site
630     }
631   end
632 end
633
634 def after_created
635   notifies :reload, "service[apache2]" if reload_apache
636 end