]> git.openstreetmap.org Git - chef.git/blob - cookbooks/mediawiki/resources/site.rb
Add web_path to planetdump
[chef.git] / cookbooks / mediawiki / resources / site.rb
1 #
2 # Cookbook:: mediawiki
3 # Resource:: mediawiki_site
4 #
5 # Copyright:: 2015, OpenStreetMap Foundation
6 #
7 # Licensed under the Apache License, Version 2.0 (the "License");
8 # you may not use this file except in compliance with the License.
9 # You may obtain a copy of the License at
10 #
11 # https://www.apache.org/licenses/LICENSE-2.0
12 #
13 # Unless required by applicable law or agreed to in writing, software
14 # distributed under the License is distributed on an "AS IS" BASIS,
15 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
16 # See the License for the specific language governing permissions and
17 # limitations under the License.
18 #
19
20 default_action :create
21
22 property :site, :kind_of => String, :name_property => true
23 property :aliases, :kind_of => [String, Array]
24 property :directory, :kind_of => String
25 property :version, :kind_of => String, :default => "1.35"
26 property :database_name, :kind_of => String, :required => true
27 property :database_user, :kind_of => String, :required => [:create, :update]
28 property :database_password, :kind_of => String, :required => [:create, :update]
29 property :sitename, :kind_of => String, :default => "OpenStreetMap Wiki"
30 property :metanamespace, :kind_of => String, :default => "OpenStreetMap"
31 property :logo, :kind_of => String, :default => "$wgStylePath/common/images/wiki.png"
32 property :email_contact, :kind_of => String, :default => ""
33 property :email_sender, :kind_of => String, :default => ""
34 property :email_sender_name, :kind_of => String, :default => "MediaWiki Mail"
35 property :commons, :kind_of => [TrueClass, FalseClass], :default => true
36 property :skin, :kind_of => String, :default => "vector"
37 property :site_notice, :kind_of => [String, TrueClass, FalseClass], :default => false
38 property :site_readonly, :kind_of => [String, TrueClass, FalseClass], :default => false
39 property :admin_user, :kind_of => String, :default => "Admin"
40 property :admin_password, :kind_of => String, :required => [:create]
41 property :private_accounts, :kind_of => [TrueClass, FalseClass], :default => false
42 property :private_site, :kind_of => [TrueClass, FalseClass], :default => false
43 property :recaptcha_public_key, :kind_of => String
44 property :recaptcha_private_key, :kind_of => String
45 property :extra_file_extensions, :kind_of => [String, Array], :default => []
46 property :fpm_max_children, :kind_of => Integer, :default => 5
47 property :fpm_start_servers, :kind_of => Integer, :default => 2
48 property :fpm_min_spare_servers, :kind_of => Integer, :default => 1
49 property :fpm_max_spare_servers, :kind_of => Integer, :default => 3
50 property :fpm_request_terminate_timeout, :kind_of => Integer, :default => 300
51 property :fpm_prometheus_port, :kind_of => Integer
52 property :reload_apache, :kind_of => [TrueClass, FalseClass], :default => true
53
54 action :create do
55   node.default[:mediawiki][:sites][new_resource.site] = {
56     :directory => site_directory,
57     :version => new_resource.version
58   }
59
60   secret_key = persistent_token("mediawiki", new_resource.site, "wgSecretKey")
61
62   mysql_user "#{new_resource.database_user}@localhost" do
63     password new_resource.database_password
64   end
65
66   mysql_database new_resource.database_name do
67     permissions "#{new_resource.database_user}@localhost" => :all
68   end
69
70   mediawiki_directory = "#{site_directory}/w"
71
72   ruby_block "rename-installer-localsettings" do
73     action :nothing
74     block do
75       ::File.rename("#{mediawiki_directory}/LocalSettings.php", "#{mediawiki_directory}/LocalSettings-install.php")
76     end
77   end
78
79   execute "#{mediawiki_directory}/maintenance/install.php" do
80     action :nothing
81     # Use metanamespace as Site Name to ensure correct set namespace
82     command "php maintenance/install.php --server '#{name}' --dbtype 'mysql' --dbname '#{new_resource.database_name}' --dbuser '#{new_resource.database_user}' --dbpass '#{new_resource.database_password}' --dbserver 'localhost' --scriptpath /w --pass '#{new_resource.admin_password}' '#{new_resource.metanamespace}' '#{new_resource.admin_user}'"
83     cwd mediawiki_directory
84     user node[:mediawiki][:user]
85     group node[:mediawiki][:group]
86     not_if do
87       ::File.exist?("#{mediawiki_directory}/LocalSettings-install.php")
88     end
89     notifies :run, "ruby_block[rename-installer-localsettings]", :immediately
90   end
91
92   execute "#{mediawiki_directory}/maintenance/update.php" do
93     action :nothing
94     command "php maintenance/update.php --quick"
95     cwd mediawiki_directory
96     user node[:mediawiki][:user]
97     group node[:mediawiki][:group]
98   end
99
100   declare_resource :directory, site_directory do
101     owner node[:mediawiki][:user]
102     group node[:mediawiki][:group]
103     mode "775"
104   end
105
106   declare_resource :directory, mediawiki_directory do
107     owner node[:mediawiki][:user]
108     group node[:mediawiki][:group]
109     mode "775"
110   end
111
112   mediawiki_reference = "REL#{new_resource.version}".tr(".", "_")
113
114   git mediawiki_directory do
115     action :sync
116     repository "https://gerrit.wikimedia.org/r/mediawiki/core.git"
117     revision mediawiki_reference
118     depth 1
119     user node[:mediawiki][:user]
120     group node[:mediawiki][:group]
121     notifies :run, "execute[#{mediawiki_directory}/composer.json]", :immediately
122     notifies :run, "execute[#{mediawiki_directory}/maintenance/install.php]", :immediately
123     notifies :run, "execute[#{mediawiki_directory}/maintenance/update.php]"
124   end
125
126   execute "#{mediawiki_directory}/composer.json" do
127     action :nothing
128     command "composer update --no-dev"
129     cwd mediawiki_directory
130     user node[:mediawiki][:user]
131     group node[:mediawiki][:group]
132     environment "COMPOSER_HOME" => site_directory
133   end
134
135   template "#{mediawiki_directory}/composer.local.json" do
136     cookbook "mediawiki"
137     source "composer.local.json.erb"
138     owner node[:mediawiki][:user]
139     group node[:mediawiki][:group]
140     mode "664"
141   end
142
143   # Safety catch if git doesn't update but install.php hasn't run
144   ruby_block "catch-installer-localsettings-run" do
145     action :run
146     block do
147     end
148     not_if do
149       ::File.exist?("#{mediawiki_directory}/LocalSettings-install.php")
150     end
151     notifies :run, "execute[#{mediawiki_directory}/maintenance/install.php]", :immediately
152   end
153
154   declare_resource :directory, "#{mediawiki_directory}/images" do
155     owner "www-data"
156     group node[:mediawiki][:group]
157     mode "775"
158   end
159
160   declare_resource :directory, "#{mediawiki_directory}/cache" do
161     owner "www-data"
162     group node[:mediawiki][:group]
163     mode "775"
164   end
165
166   declare_resource :directory, "#{mediawiki_directory}/LocalSettings.d" do
167     user node[:mediawiki][:user]
168     group node[:mediawiki][:group]
169     mode "775"
170   end
171
172   template "#{mediawiki_directory}/LocalSettings.php" do
173     cookbook "mediawiki"
174     source "LocalSettings.php.erb"
175     owner node[:mediawiki][:user]
176     group node[:mediawiki][:group]
177     mode "664"
178     variables :name => new_resource.site,
179               :directory => mediawiki_directory,
180               :database_params => database_params,
181               :mediawiki => mediawiki_params,
182               :secret_key => secret_key
183     notifies :run, "execute[#{mediawiki_directory}/maintenance/update.php]"
184   end
185
186   cron_d "mediawiki-#{cron_name}-sitemap" do
187     comment "Generate sitemap.xml daily"
188     minute "30"
189     hour "0"
190     user node[:mediawiki][:user]
191     command "/usr/bin/nice /usr/bin/php -d memory_limit=2048M -d error_reporting=22517 #{site_directory}/w/maintenance/generateSitemap.php --server=https://#{new_resource.site} --urlpath=https://#{new_resource.site}/ --fspath=#{site_directory} --quiet --skip-redirects"
192   end
193
194   cron_d "mediawiki-#{cron_name}-jobs" do
195     comment "Run mediawiki jobs"
196     minute "*/3"
197     user node[:mediawiki][:user]
198     command "/usr/bin/nice /usr/bin/php -d memory_limit=2048M -d error_reporting=22517 #{site_directory}/w/maintenance/runJobs.php --server=https://#{new_resource.site} --maxtime=160 --memory-limit=2048M --procs=8 --quiet"
199   end
200
201   cron_d "mediawiki-#{cron_name}-email-jobs" do
202     comment "Run mediawiki email jobs"
203     user node[:mediawiki][:user]
204     command "/usr/bin/nice /usr/bin/php -d memory_limit=2048M -d error_reporting=22517 #{site_directory}/w/maintenance/runJobs.php --server=https://#{new_resource.site} --maxtime=30 --type=enotifNotify --memory-limit=2048M --procs=4 --quiet"
205   end
206
207   cron_d "mediawiki-#{cron_name}-refresh-links" do
208     comment "Run mediawiki refresh links table weekly"
209     minute "5"
210     hour "0"
211     weekday "0"
212     user node[:mediawiki][:user]
213     command "/usr/bin/nice /usr/bin/php -d memory_limit=2048M -d error_reporting=22517 #{site_directory}/w/maintenance/refreshLinks.php --server=https://#{new_resource.site} --memory-limit=2048M --quiet"
214   end
215
216   cron_d "mediawiki-#{cron_name}-cleanup-gs" do
217     comment "Clean up imagemagick garbage"
218     minute "10"
219     hour "2"
220     user node[:mediawiki][:user]
221     command "/usr/bin/find /tmp/ -maxdepth 1 -type f -user www-data -mmin +90 -name 'gs_*' -delete"
222   end
223
224   cron_d "mediawiki-#{cron_name}-cleanup-magick" do
225     comment "Clean up imagemagick garbage"
226     minute "20"
227     hour "2"
228     user node[:mediawiki][:user]
229     command "/usr/bin/find /tmp/ -maxdepth 1 -type f -user www-data -mmin +90 -name 'magick-*' -delete"
230   end
231
232   template "/etc/cron.daily/mediawiki-#{cron_name}-backup" do
233     cookbook "mediawiki"
234     source "mediawiki-backup.cron.erb"
235     owner "root"
236     group "root"
237     mode "700"
238     variables :name => new_resource.site,
239               :directory => site_directory,
240               :database_params => database_params
241   end
242
243   # MobileFrontend extension is required by MinervaNeue skin
244   mediawiki_extension "MobileFrontend" do
245     site new_resource.site
246     template "mw-ext-MobileFrontend.inc.php.erb"
247   end
248
249   # MobileFrontend extension is required by MinervaNeue skin
250   mediawiki_skin "MinervaNeue" do
251     site new_resource.site
252     update_site false
253     legacy false
254   end
255
256   mediawiki_skin "CologneBlue" do
257     site new_resource.site
258     update_site false
259     legacy false
260   end
261
262   mediawiki_skin "Modern" do
263     site new_resource.site
264     update_site false
265     legacy false
266   end
267
268   mediawiki_skin "MonoBook" do
269     site new_resource.site
270     update_site false
271     legacy false
272   end
273
274   mediawiki_skin "Vector" do
275     site new_resource.site
276     update_site false
277     legacy false
278   end
279
280   mediawiki_extension "Cite" do
281     site new_resource.site
282     update_site false
283   end
284
285   mediawiki_extension "CiteThisPage" do
286     site new_resource.site
287     update_site false
288   end
289
290   if new_resource.private_accounts || new_resource.private_site
291     mediawiki_extension "ConfirmEdit" do
292       site new_resource.site
293       update_site false
294       action :delete
295     end
296   else
297     mediawiki_extension "ConfirmEdit" do
298       site new_resource.site
299       template "mw-ext-ConfirmEdit.inc.php.erb"
300       variables :public_key => new_resource.recaptcha_public_key,
301                 :private_key => new_resource.recaptcha_private_key
302       update_site false
303     end
304   end
305
306   mediawiki_extension "Gadgets" do
307     site new_resource.site
308     update_site false
309   end
310
311   mediawiki_extension "ImageMap" do
312     site new_resource.site
313     update_site false
314   end
315
316   mediawiki_extension "InputBox" do
317     site new_resource.site
318     update_site false
319   end
320
321   mediawiki_extension "Interwiki" do
322     site new_resource.site
323     template "mw-ext-Interwiki.inc.php.erb"
324     update_site false
325   end
326
327   mediawiki_extension "Nuke" do
328     site new_resource.site
329     update_site false
330   end
331
332   mediawiki_extension "ParserFunctions" do
333     site new_resource.site
334     template "mw-ext-ParserFunctions.inc.php.erb"
335     update_site false
336   end
337
338   mediawiki_extension "PdfHandler" do
339     site new_resource.site
340     template "mw-ext-PdfHandler.inc.php.erb"
341     update_site false
342   end
343
344   mediawiki_extension "Poem" do
345     site new_resource.site
346     update_site false
347   end
348
349   mediawiki_extension "Renameuser" do
350     site new_resource.site
351     update_site false
352   end
353
354   mediawiki_extension "SimpleAntiSpam" do
355     site new_resource.site
356     update_site false
357     action :delete
358   end
359
360   mediawiki_extension "SpamBlacklist" do
361     site new_resource.site
362     template "mw-ext-SpamBlacklist.inc.php.erb"
363     update_site false
364   end
365
366   mediawiki_extension "SyntaxHighlight_GeSHi" do
367     site new_resource.site
368     template "mw-ext-SyntaxHighlight.inc.php.erb"
369     update_site false
370   end
371
372   mediawiki_extension "TitleBlacklist" do
373     site new_resource.site
374     template "mw-ext-TitleBlacklist.inc.php.erb"
375     update_site false
376   end
377
378   mediawiki_extension "WikiEditor" do
379     site new_resource.site
380     update_site false
381   end
382
383   mediawiki_extension "Babel" do
384     site new_resource.site
385     template "mw-ext-Babel.inc.php.erb"
386     update_site false
387   end
388
389   mediawiki_extension "cldr" do
390     site new_resource.site
391     template "mw-ext-cldr.inc.php.erb"
392     update_site false
393   end
394
395   mediawiki_extension "CleanChanges" do
396     site new_resource.site
397     template "mw-ext-CleanChanges.inc.php.erb"
398     update_site false
399   end
400
401   mediawiki_extension "LocalisationUpdate" do
402     site new_resource.site
403     template "mw-ext-LocalisationUpdate.inc.php.erb"
404     update_site false
405   end
406
407   # mediawiki_extension "Translate" do
408   #   site new_resource.site
409   #   template "mw-ext-Translate.inc.php.erb"
410   #   update_site false
411   # end
412
413   mediawiki_extension "UniversalLanguageSelector" do
414     site new_resource.site
415     template "mw-ext-UniversalLanguageSelector.inc.php.erb"
416     update_site false
417   end
418
419   mediawiki_extension "AntiSpoof" do
420     site new_resource.site
421     template "mw-ext-AntiSpoof.inc.php.erb"
422     update_site false
423   end
424
425   mediawiki_extension "AbuseFilter" do
426     site new_resource.site
427     template "mw-ext-AbuseFilter.inc.php.erb"
428     update_site false
429   end
430
431   mediawiki_extension "CheckUser" do
432     site new_resource.site
433     template "mw-ext-CheckUser.inc.php.erb"
434     update_site false
435   end
436
437   mediawiki_extension "DismissableSiteNotice" do
438     site new_resource.site
439     update_site false
440   end
441
442   mediawiki_extension "Elastica" do
443     site new_resource.site
444     update_site false
445   end
446
447   mediawiki_extension "CirrusSearch" do
448     site new_resource.site
449     template "mw-ext-CirrusSearch.inc.php.erb"
450     update_site false
451   end
452
453   mediawiki_extension "osmtaginfo" do
454     site new_resource.site
455     template "mw-ext-osmtaginfo.inc.php.erb"
456     repository "https://github.com/Firefishy/osmtaginfo.git"
457     tag "live"
458     update_site false
459   end
460
461   mediawiki_extension "SimpleMap" do
462     site new_resource.site
463     template "mw-ext-SimpleMap.inc.php.erb"
464     repository "https://github.com/Firefishy/SimpleMap.git"
465     tag "live"
466     update_site false
467   end
468
469   mediawiki_extension "SlippyMap" do
470     site new_resource.site
471     update_site false
472     action :delete
473   end
474
475   mediawiki_extension "Mantle" do
476     site new_resource.site
477     update_site false
478     action :delete
479   end
480
481   mediawiki_extension "DisableAccount" do
482     site new_resource.site
483     template "mw-ext-DisableAccount.inc.php.erb"
484     update_site false
485   end
486
487   mediawiki_extension "VisualEditor" do
488     site new_resource.site
489     template "mw-ext-VisualEditor.inc.php.erb"
490     update_site false
491   end
492
493   mediawiki_extension "TemplateData" do
494     site new_resource.site
495     update_site false
496   end
497
498   cookbook_file "#{site_directory}/cc-wiki.png" do
499     cookbook "mediawiki"
500     owner node[:mediawiki][:user]
501     group node[:mediawiki][:group]
502     mode "644"
503     backup false
504   end
505
506   cookbook_file "#{site_directory}/googled06a989d1ccc8364.html" do
507     cookbook "mediawiki"
508     owner node[:mediawiki][:user]
509     group node[:mediawiki][:group]
510     mode "644"
511     backup false
512   end
513
514   cookbook_file "#{site_directory}/googlefac54c35e800caab.html" do
515     cookbook "mediawiki"
516     owner node[:mediawiki][:user]
517     group node[:mediawiki][:group]
518     mode "644"
519     backup false
520   end
521
522   ssl_certificate new_resource.site do
523     domains [new_resource.site] + Array(new_resource.aliases)
524   end
525
526   php_fpm new_resource.site do
527     pm_max_children new_resource.fpm_max_children
528     pm_start_servers new_resource.fpm_start_servers
529     pm_min_spare_servers new_resource.fpm_min_spare_servers
530     pm_max_spare_servers new_resource.fpm_max_spare_servers
531     request_terminate_timeout new_resource.fpm_request_terminate_timeout
532     php_admin_values "open_basedir" => "#{site_directory}/:/usr/share/php/:/dev/null:/tmp/"
533     php_values "memory_limit" => "500M",
534                "max_execution_time" => "240",
535                "upload_max_filesize" => "70M",
536                "post_max_size" => "100M"
537     prometheus_port new_resource.fpm_prometheus_port
538   end
539
540   apache_site new_resource.site do
541     cookbook "mediawiki"
542     template "apache.erb"
543     directory site_directory
544     variables :aliases => Array(new_resource.aliases),
545               :private_site => new_resource.private_site
546     reload_apache false
547   end
548
549   # FIXME: needs to run one
550   execute "#{mediawiki_directory}/extensions/CirrusSearch/maintenance/updateSearchIndexConfig.php" do
551     action :nothing
552     command "php extensions/CirrusSearch/maintenance/updateSearchIndexConfig.php"
553     cwd mediawiki_directory
554     user node[:mediawiki][:user]
555     group node[:mediawiki][:group]
556   end
557 end
558
559 action :update do
560   mediawiki_directory = "#{site_directory}/w"
561
562   template "#{mediawiki_directory}/LocalSettings.php" do
563     cookbook "mediawiki"
564     source "LocalSettings.php.erb"
565     owner node[:mediawiki][:user]
566     group node[:mediawiki][:group]
567     mode "664"
568     variables :name => new_resource.site,
569               :directory => mediawiki_directory,
570               :database_params => database_params,
571               :mediawiki => mediawiki_params
572     notifies :run, "execute[#{mediawiki_directory}/maintenance/update.php]"
573   end
574
575   execute "#{mediawiki_directory}/maintenance/update.php" do
576     action :run
577     command "php maintenance/update.php --quick"
578     cwd mediawiki_directory
579     user node[:mediawiki][:user]
580     group node[:mediawiki][:group]
581   end
582 end
583
584 action :delete do
585   apache_site new_resource.site do
586     action :delete
587     reload_apache false
588   end
589
590   declare_resource :directory, site_directory do
591     action :delete
592     recursive true
593   end
594
595   mysql_database new_resource.database_name do
596     action :drop
597   end
598
599   mysql_user "#{new_resource.database_user}@localhost" do
600     action :drop
601   end
602 end
603
604 action_class do
605   include Chef::Mixin::PersistentToken
606
607   def site_directory
608     new_resource.directory || "/srv/#{new_resource.site}"
609   end
610
611   def cron_name
612     new_resource.site.tr(".", "_")
613   end
614
615   def database_params
616     {
617       :host => "localhost",
618       :name => new_resource.database_name,
619       :username => new_resource.database_user,
620       :password => new_resource.database_password
621     }
622   end
623
624   def mediawiki_params
625     {
626       :sitename => new_resource.sitename,
627       :metanamespace => new_resource.metanamespace,
628       :logo => new_resource.logo,
629       :email_contact => new_resource.email_contact,
630       :email_sender => new_resource.email_sender,
631       :email_sender_name => new_resource.email_sender_name,
632       :commons => new_resource.commons,
633       :skin => new_resource.skin,
634       :site_notice => new_resource.site_notice,
635       :site_readonly => new_resource.site_readonly,
636       :extra_file_extensions => new_resource.extra_file_extensions,
637       :private_accounts => new_resource.private_accounts,
638       :private_site => new_resource.private_site
639     }
640   end
641 end
642
643 def after_created
644   notifies :reload, "service[apache2]" if reload_apache
645 end