cookbooks/mediawiki/resources/site.rb

   1 #
   2 # Cookbook:: mediawiki
   3 # Resource:: mediawiki_site
   4 #
   5 # Copyright:: 2015, OpenStreetMap Foundation
   6 #
   7 # Licensed under the Apache License, Version 2.0 (the "License");
   8 # you may not use this file except in compliance with the License.
   9 # You may obtain a copy of the License at
  10 #
  11 # https://www.apache.org/licenses/LICENSE-2.0
  12 #
  13 # Unless required by applicable law or agreed to in writing, software
  14 # distributed under the License is distributed on an "AS IS" BASIS,
  15 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  16 # See the License for the specific language governing permissions and
  17 # limitations under the License.
  18 #
  19
  20 default_action :create
  21
  22 property :site, :kind_of => String, :name_property => true
  23 property :aliases, :kind_of => [String, Array]
  24 property :directory, :kind_of => String
  25 property :version, :kind_of => String, :default => "1.33"
  26 property :database_name, :kind_of => String, :required => true
  27 property :database_user, :kind_of => String, :required => [:create, :update]
  28 property :database_password, :kind_of => String, :required => [:create, :update]
  29 property :sitename, :kind_of => String, :default => "OpenStreetMap Wiki"
  30 property :metanamespace, :kind_of => String, :default => "OpenStreetMap"
  31 property :logo, :kind_of => String, :default => "$wgStylePath/common/images/wiki.png"
  32 property :email_contact, :kind_of => String, :default => ""
  33 property :email_sender, :kind_of => String, :default => ""
  34 property :email_sender_name, :kind_of => String, :default => "MediaWiki Mail"
  35 property :commons, :kind_of => [TrueClass, FalseClass], :default => true
  36 property :skin, :kind_of => String, :default => "vector"
  37 property :site_notice, :kind_of => [String, TrueClass, FalseClass], :default => false
  38 property :site_readonly, :kind_of => [String, TrueClass, FalseClass], :default => false
  39 property :admin_user, :kind_of => String, :default => "Admin"
  40 property :admin_password, :kind_of => String, :required => [:create]
  41 property :private_accounts, :kind_of => [TrueClass, FalseClass], :default => false
  42 property :private_site, :kind_of => [TrueClass, FalseClass], :default => false
  43 property :recaptcha_public_key, :kind_of => String
  44 property :recaptcha_private_key, :kind_of => String
  45 property :extra_file_extensions, :kind_of => [String, Array], :default => []
  46 property :fpm_max_children, :kind_of => Integer, :default => 5
  47 property :fpm_request_terminate_timeout, :kind_of => Integer, :default => 300
  48 property :reload_apache, :kind_of => [TrueClass, FalseClass], :default => true
  49
  50 action :create do
  51   node.default[:mediawiki][:sites][new_resource.site] = {
  52     :directory => site_directory,
  53     :version => new_resource.version
  54   }
  55
  56   secret_key = persistent_token("mediawiki", new_resource.site, "wgSecretKey")
  57
  58   mysql_user "#{new_resource.database_user}@localhost" do
  59     password new_resource.database_password
  60   end
  61
  62   mysql_database new_resource.database_name do
  63     permissions "#{new_resource.database_user}@localhost" => :all
  64   end
  65
  66   mediawiki_directory = "#{site_directory}/w"
  67
  68   ruby_block "rename-installer-localsettings" do
  69     action :nothing
  70     block do
  71       ::File.rename("#{mediawiki_directory}/LocalSettings.php", "#{mediawiki_directory}/LocalSettings-install.php")
  72     end
  73   end
  74
  75   execute "#{mediawiki_directory}/maintenance/install.php" do
  76     action :nothing
  77     # Use metanamespace as Site Name to ensure correct set namespace
  78     command "php maintenance/install.php --server '#{name}' --dbtype 'mysql' --dbname '#{new_resource.database_name}' --dbuser '#{new_resource.database_user}' --dbpass '#{new_resource.database_password}' --dbserver 'localhost' --scriptpath /w --pass '#{new_resource.admin_password}' '#{new_resource.metanamespace}' '#{new_resource.admin_user}'"
  79     cwd mediawiki_directory
  80     user node[:mediawiki][:user]
  81     group node[:mediawiki][:group]
  82     not_if do
  83       ::File.exist?("#{mediawiki_directory}/LocalSettings-install.php")
  84     end
  85     notifies :run, "ruby_block[rename-installer-localsettings]", :immediately
  86   end
  87
  88   execute "#{mediawiki_directory}/maintenance/update.php" do
  89     action :nothing
  90     command "php maintenance/update.php --quick"
  91     cwd mediawiki_directory
  92     user node[:mediawiki][:user]
  93     group node[:mediawiki][:group]
  94   end
  95
  96   declare_resource :directory, site_directory do
  97     owner node[:mediawiki][:user]
  98     group node[:mediawiki][:group]
  99     mode "775"
 100   end
 101
 102   declare_resource :directory, mediawiki_directory do
 103     owner node[:mediawiki][:user]
 104     group node[:mediawiki][:group]
 105     mode "775"
 106   end
 107
 108   mediawiki_reference = "REL#{new_resource.version}".tr(".", "_")
 109
 110   git mediawiki_directory do
 111     action :sync
 112     repository "https://gerrit.wikimedia.org/r/p/mediawiki/core.git"
 113     revision mediawiki_reference
 114     depth 1
 115     user node[:mediawiki][:user]
 116     group node[:mediawiki][:group]
 117     notifies :run, "execute[#{mediawiki_directory}/composer.json]", :immediately
 118     notifies :run, "execute[#{mediawiki_directory}/maintenance/install.php]", :immediately
 119     notifies :run, "execute[#{mediawiki_directory}/maintenance/update.php]"
 120   end
 121
 122   execute "#{mediawiki_directory}/composer.json" do
 123     action :nothing
 124     command "composer update --no-dev"
 125     cwd mediawiki_directory
 126     user node[:mediawiki][:user]
 127     group node[:mediawiki][:group]
 128     environment "COMPOSER_HOME" => site_directory
 129   end
 130
 131   template "#{mediawiki_directory}/composer.local.json" do
 132     cookbook "mediawiki"
 133     source "composer.local.json.erb"
 134     owner node[:mediawiki][:user]
 135     group node[:mediawiki][:group]
 136     mode "664"
 137   end
 138
 139   # Safety catch if git doesn't update but install.php hasn't run
 140   ruby_block "catch-installer-localsettings-run" do
 141     action :run
 142     block do
 143     end
 144     not_if do
 145       ::File.exist?("#{mediawiki_directory}/LocalSettings-install.php")
 146     end
 147     notifies :run, "execute[#{mediawiki_directory}/maintenance/install.php]", :immediately
 148   end
 149
 150   declare_resource :directory, "#{mediawiki_directory}/images" do
 151     owner "www-data"
 152     group node[:mediawiki][:group]
 153     mode "775"
 154   end
 155
 156   declare_resource :directory, "#{mediawiki_directory}/cache" do
 157     owner "www-data"
 158     group node[:mediawiki][:group]
 159     mode "775"
 160   end
 161
 162   declare_resource :directory, "#{mediawiki_directory}/LocalSettings.d" do
 163     user node[:mediawiki][:user]
 164     group node[:mediawiki][:group]
 165     mode "775"
 166   end
 167
 168   template "#{mediawiki_directory}/LocalSettings.php" do
 169     cookbook "mediawiki"
 170     source "LocalSettings.php.erb"
 171     owner node[:mediawiki][:user]
 172     group node[:mediawiki][:group]
 173     mode "664"
 174     variables :name => new_resource.site,
 175               :directory => mediawiki_directory,
 176               :database_params => database_params,
 177               :mediawiki => mediawiki_params,
 178               :secret_key => secret_key
 179     notifies :run, "execute[#{mediawiki_directory}/maintenance/update.php]"
 180   end
 181
 182   cron_d "mediawiki-#{cron_name}-sitemap" do
 183     comment "Generate sitemap.xml daily"
 184     minute "30"
 185     hour "0"
 186     user node[:mediawiki][:user]
 187     command "/usr/bin/nice /usr/bin/php -d memory_limit=2048M -d error_reporting=22517 #{site_directory}/w/maintenance/generateSitemap.php --server=https://#{new_resource.site} --urlpath=https://#{new_resource.site}/ --fspath=#{site_directory} --quiet --skip-redirects"
 188   end
 189
 190   cron_d "mediawiki-#{cron_name}-jobs" do
 191     comment "Run mediawiki jobs"
 192     minute "*/3"
 193     user node[:mediawiki][:user]
 194     command "/usr/bin/nice /usr/bin/php -d memory_limit=2048M -d error_reporting=22517 #{site_directory}/w/maintenance/runJobs.php --server=https://#{new_resource.site} --maxtime=160 --memory-limit=2048M --procs=8 --quiet"
 195   end
 196
 197   cron_d "mediawiki-#{cron_name}-email-jobs" do
 198     comment "Run mediawiki email jobs"
 199     user node[:mediawiki][:user]
 200     command "/usr/bin/nice /usr/bin/php -d memory_limit=2048M -d error_reporting=22517 #{site_directory}/w/maintenance/runJobs.php --server=https://#{new_resource.site} --maxtime=30 --type=enotifNotify --memory-limit=2048M --procs=4 --quiet"
 201   end
 202
 203   cron_d "mediawiki-#{cron_name}-refresh-links" do
 204     comment "Run mediawiki refresh links table weekly"
 205     minute "5"
 206     hour "0"
 207     weekday "0"
 208     user node[:mediawiki][:user]
 209     command "/usr/bin/nice /usr/bin/php -d memory_limit=2048M -d error_reporting=22517 #{site_directory}/w/maintenance/refreshLinks.php --server=https://#{new_resource.site} --memory-limit=2048M --quiet"
 210   end
 211
 212   cron_d "mediawiki-#{cron_name}-cleanup-gs" do
 213     comment "Clean up imagemagick garbage"
 214     minute "10"
 215     hour "2"
 216     user node[:mediawiki][:user]
 217     command "/usr/bin/find /tmp/ -maxdepth 1 -type f -user www-data -mmin +90 -name 'gs_*' -delete"
 218   end
 219
 220   cron_d "mediawiki-#{cron_name}-cleanup-magick" do
 221     comment "Clean up imagemagick garbage"
 222     minute "20"
 223     hour "2"
 224     user node[:mediawiki][:user]
 225     command "/usr/bin/find /tmp/ -maxdepth 1 -type f -user www-data -mmin +90 -name 'magick-*' -delete"
 226   end
 227
 228   template "/etc/cron.daily/mediawiki-#{cron_name}-backup" do
 229     cookbook "mediawiki"
 230     source "mediawiki-backup.cron.erb"
 231     owner "root"
 232     group "root"
 233     mode "700"
 234     variables :name => new_resource.site,
 235               :directory => site_directory,
 236               :database_params => database_params
 237   end
 238
 239   # MobileFrontend extension is required by MinervaNeue skin
 240   mediawiki_extension "MobileFrontend" do
 241     site new_resource.site
 242     template "mw-ext-MobileFrontend.inc.php.erb"
 243   end
 244
 245   # MobileFrontend extension is required by MinervaNeue skin
 246   mediawiki_skin "MinervaNeue" do
 247     site new_resource.site
 248     update_site false
 249     legacy false
 250   end
 251
 252   mediawiki_skin "CologneBlue" do
 253     site new_resource.site
 254     update_site false
 255     legacy false
 256   end
 257
 258   mediawiki_skin "Modern" do
 259     site new_resource.site
 260     update_site false
 261     legacy false
 262   end
 263
 264   mediawiki_skin "MonoBook" do
 265     site new_resource.site
 266     update_site false
 267     legacy false
 268   end
 269
 270   mediawiki_skin "Vector" do
 271     site new_resource.site
 272     update_site false
 273     legacy false
 274   end
 275
 276   mediawiki_extension "Cite" do
 277     site new_resource.site
 278     update_site false
 279   end
 280
 281   mediawiki_extension "CiteThisPage" do
 282     site new_resource.site
 283     update_site false
 284   end
 285
 286   if new_resource.private_accounts || new_resource.private_site
 287     mediawiki_extension "ConfirmEdit" do
 288       site new_resource.site
 289       update_site false
 290       action :delete
 291     end
 292   else
 293     mediawiki_extension "ConfirmEdit" do
 294       site new_resource.site
 295       template "mw-ext-ConfirmEdit.inc.php.erb"
 296       variables :public_key => new_resource.recaptcha_public_key,
 297                 :private_key => new_resource.recaptcha_private_key
 298       update_site false
 299     end
 300   end
 301
 302   mediawiki_extension "Gadgets" do
 303     site new_resource.site
 304     update_site false
 305   end
 306
 307   mediawiki_extension "ImageMap" do
 308     site new_resource.site
 309     update_site false
 310   end
 311
 312   mediawiki_extension "InputBox" do
 313     site new_resource.site
 314     update_site false
 315   end
 316
 317   mediawiki_extension "Interwiki" do
 318     site new_resource.site
 319     template "mw-ext-Interwiki.inc.php.erb"
 320     update_site false
 321   end
 322
 323   mediawiki_extension "Nuke" do
 324     site new_resource.site
 325     update_site false
 326   end
 327
 328   mediawiki_extension "ParserFunctions" do
 329     site new_resource.site
 330     template "mw-ext-ParserFunctions.inc.php.erb"
 331     update_site false
 332   end
 333
 334   mediawiki_extension "PdfHandler" do
 335     site new_resource.site
 336     template "mw-ext-PdfHandler.inc.php.erb"
 337     update_site false
 338   end
 339
 340   mediawiki_extension "Poem" do
 341     site new_resource.site
 342     update_site false
 343   end
 344
 345   mediawiki_extension "Renameuser" do
 346     site new_resource.site
 347     update_site false
 348   end
 349
 350   mediawiki_extension "SimpleAntiSpam" do
 351     site new_resource.site
 352     update_site false
 353     action :delete
 354   end
 355
 356   mediawiki_extension "SpamBlacklist" do
 357     site new_resource.site
 358     template "mw-ext-SpamBlacklist.inc.php.erb"
 359     update_site false
 360   end
 361
 362   mediawiki_extension "SyntaxHighlight_GeSHi" do
 363     site new_resource.site
 364     template "mw-ext-SyntaxHighlight.inc.php.erb"
 365     update_site false
 366   end
 367
 368   mediawiki_extension "TitleBlacklist" do
 369     site new_resource.site
 370     template "mw-ext-TitleBlacklist.inc.php.erb"
 371     update_site false
 372   end
 373
 374   mediawiki_extension "WikiEditor" do
 375     site new_resource.site
 376     update_site false
 377   end
 378
 379   mediawiki_extension "Babel" do
 380     site new_resource.site
 381     template "mw-ext-Babel.inc.php.erb"
 382     update_site false
 383   end
 384
 385   mediawiki_extension "cldr" do
 386     site new_resource.site
 387     template "mw-ext-cldr.inc.php.erb"
 388     update_site false
 389   end
 390
 391   mediawiki_extension "CleanChanges" do
 392     site new_resource.site
 393     template "mw-ext-CleanChanges.inc.php.erb"
 394     update_site false
 395   end
 396
 397   mediawiki_extension "LocalisationUpdate" do
 398     site new_resource.site
 399     template "mw-ext-LocalisationUpdate.inc.php.erb"
 400     update_site false
 401   end
 402
 403   # mediawiki_extension "Translate" do
 404   #   site new_resource.site
 405   #   template "mw-ext-Translate.inc.php.erb"
 406   #   update_site false
 407   # end
 408
 409   mediawiki_extension "UniversalLanguageSelector" do
 410     site new_resource.site
 411     template "mw-ext-UniversalLanguageSelector.inc.php.erb"
 412     update_site false
 413   end
 414
 415   mediawiki_extension "AntiSpoof" do
 416     site new_resource.site
 417     template "mw-ext-AntiSpoof.inc.php.erb"
 418     update_site false
 419   end
 420
 421   mediawiki_extension "AbuseFilter" do
 422     site new_resource.site
 423     template "mw-ext-AbuseFilter.inc.php.erb"
 424     update_site false
 425   end
 426
 427   mediawiki_extension "CheckUser" do
 428     site new_resource.site
 429     template "mw-ext-CheckUser.inc.php.erb"
 430     update_site false
 431   end
 432
 433   mediawiki_extension "DismissableSiteNotice" do
 434     site new_resource.site
 435     update_site false
 436   end
 437
 438   mediawiki_extension "Elastica" do
 439     site new_resource.site
 440     update_site false
 441   end
 442
 443   mediawiki_extension "CirrusSearch" do
 444     site new_resource.site
 445     template "mw-ext-CirrusSearch.inc.php.erb"
 446     update_site false
 447   end
 448
 449   mediawiki_extension "osmtaginfo" do
 450     site new_resource.site
 451     template "mw-ext-osmtaginfo.inc.php.erb"
 452     repository "https://github.com/Firefishy/osmtaginfo.git"
 453     tag "live"
 454     update_site false
 455   end
 456
 457   mediawiki_extension "SimpleMap" do
 458     site new_resource.site
 459     template "mw-ext-SimpleMap.inc.php.erb"
 460     repository "https://github.com/Firefishy/SimpleMap.git"
 461     tag "live"
 462     update_site false
 463   end
 464
 465   mediawiki_extension "SlippyMap" do
 466     site new_resource.site
 467     update_site false
 468     action :delete
 469   end
 470
 471   mediawiki_extension "Mantle" do
 472     site new_resource.site
 473     update_site false
 474     action :delete
 475   end
 476
 477   mediawiki_extension "DisableAccount" do
 478     site new_resource.site
 479     template "mw-ext-DisableAccount.inc.php.erb"
 480     update_site false
 481   end
 482
 483   mediawiki_extension "VisualEditor" do
 484     site new_resource.site
 485     template "mw-ext-VisualEditor.inc.php.erb"
 486     update_site false
 487   end
 488
 489   mediawiki_extension "TemplateData" do
 490     site new_resource.site
 491     update_site false
 492   end
 493
 494   cookbook_file "#{site_directory}/cc-wiki.png" do
 495     cookbook "mediawiki"
 496     owner node[:mediawiki][:user]
 497     group node[:mediawiki][:group]
 498     mode "644"
 499     backup false
 500   end
 501
 502   cookbook_file "#{site_directory}/googled06a989d1ccc8364.html" do
 503     cookbook "mediawiki"
 504     owner node[:mediawiki][:user]
 505     group node[:mediawiki][:group]
 506     mode "644"
 507     backup false
 508   end
 509
 510   cookbook_file "#{site_directory}/googlefac54c35e800caab.html" do
 511     cookbook "mediawiki"
 512     owner node[:mediawiki][:user]
 513     group node[:mediawiki][:group]
 514     mode "644"
 515     backup false
 516   end
 517
 518   ssl_certificate new_resource.site do
 519     domains [new_resource.site] + Array(new_resource.aliases)
 520   end
 521
 522   php_fpm new_resource.site do
 523     pm_max_children new_resource.fpm_max_children
 524     request_terminate_timeout new_resource.fpm_request_terminate_timeout
 525     php_admin_values "open_basedir" => "#{site_directory}/:/usr/share/php/:/dev/null:/tmp/"
 526     php_values "memory_limit" => "500M",
 527                "max_execution_time" => "240",
 528                "upload_max_filesize" => "70M",
 529                "post_max_size" => "100M"
 530   end
 531
 532   apache_site new_resource.site do
 533     cookbook "mediawiki"
 534     template "apache.erb"
 535     directory site_directory
 536     variables :aliases => Array(new_resource.aliases),
 537               :private_site => new_resource.private_site
 538     reload_apache false
 539   end
 540
 541   # FIXME: needs to run one
 542   execute "#{mediawiki_directory}/extensions/CirrusSearch/maintenance/updateSearchIndexConfig.php" do
 543     action :nothing
 544     command "php extensions/CirrusSearch/maintenance/updateSearchIndexConfig.php"
 545     cwd mediawiki_directory
 546     user node[:mediawiki][:user]
 547     group node[:mediawiki][:group]
 548   end
 549 end
 550
 551 action :update do
 552   mediawiki_directory = "#{site_directory}/w"
 553
 554   template "#{mediawiki_directory}/LocalSettings.php" do
 555     cookbook "mediawiki"
 556     source "LocalSettings.php.erb"
 557     owner node[:mediawiki][:user]
 558     group node[:mediawiki][:group]
 559     mode "664"
 560     variables :name => new_resource.site,
 561               :directory => mediawiki_directory,
 562               :database_params => database_params,
 563               :mediawiki => mediawiki_params
 564     notifies :run, "execute[#{mediawiki_directory}/maintenance/update.php]"
 565   end
 566
 567   execute "#{mediawiki_directory}/maintenance/update.php" do
 568     action :run
 569     command "php maintenance/update.php --quick"
 570     cwd mediawiki_directory
 571     user node[:mediawiki][:user]
 572     group node[:mediawiki][:group]
 573   end
 574 end
 575
 576 action :delete do
 577   apache_site new_resource.site do
 578     action :delete
 579     reload_apache false
 580   end
 581
 582   declare_resource :directory, site_directory do
 583     action :delete
 584     recursive true
 585   end
 586
 587   mysql_database new_resource.database_name do
 588     action :drop
 589   end
 590
 591   mysql_user "#{new_resource.database_user}@localhost" do
 592     action :drop
 593   end
 594 end
 595
 596 action_class do
 597   include Chef::Mixin::PersistentToken
 598
 599   def site_directory
 600     new_resource.directory || "/srv/#{new_resource.site}"
 601   end
 602
 603   def cron_name
 604     new_resource.site.tr(".", "_")
 605   end
 606
 607   def database_params
 608     {
 609       :host => "localhost",
 610       :name => new_resource.database_name,
 611       :username => new_resource.database_user,
 612       :password => new_resource.database_password
 613     }
 614   end
 615
 616   def mediawiki_params
 617     {
 618       :sitename => new_resource.sitename,
 619       :metanamespace => new_resource.metanamespace,
 620       :logo => new_resource.logo,
 621       :email_contact => new_resource.email_contact,
 622       :email_sender => new_resource.email_sender,
 623       :email_sender_name => new_resource.email_sender_name,
 624       :commons => new_resource.commons,
 625       :skin => new_resource.skin,
 626       :site_notice => new_resource.site_notice,
 627       :site_readonly => new_resource.site_readonly,
 628       :extra_file_extensions => new_resource.extra_file_extensions,
 629       :private_accounts => new_resource.private_accounts,
 630       :private_site => new_resource.private_site
 631     }
 632   end
 633 end
 634
 635 def after_created
 636   notifies :reload, "service[apache2]" if reload_apache
 637 end