cookbooks/mediawiki/resources/site.rb

   1 #
   2 # Cookbook:: mediawiki
   3 # Resource:: mediawiki_site
   4 #
   5 # Copyright:: 2015, OpenStreetMap Foundation
   6 #
   7 # Licensed under the Apache License, Version 2.0 (the "License");
   8 # you may not use this file except in compliance with the License.
   9 # You may obtain a copy of the License at
  10 #
  11 # https://www.apache.org/licenses/LICENSE-2.0
  12 #
  13 # Unless required by applicable law or agreed to in writing, software
  14 # distributed under the License is distributed on an "AS IS" BASIS,
  15 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  16 # See the License for the specific language governing permissions and
  17 # limitations under the License.
  18 #
  19
  20 unified_mode true
  21
  22 default_action :create
  23
  24 property :site, :kind_of => String, :name_property => true
  25 property :aliases, :kind_of => [String, Array]
  26 property :version, :kind_of => String, :default => "1.39"
  27 property :database_name, :kind_of => String, :required => true
  28 property :database_user, :kind_of => String, :required => [:create, :update]
  29 property :database_password, :kind_of => String, :required => [:create, :update]
  30 property :sitename, :kind_of => String, :default => "OpenStreetMap Wiki"
  31 property :metanamespace, :kind_of => String, :default => "OpenStreetMap"
  32 property :logo, :kind_of => String, :default => "$wgStylePath/common/images/wiki.png"
  33 property :email_contact, :kind_of => String, :default => ""
  34 property :email_sender, :kind_of => String, :default => ""
  35 property :email_sender_name, :kind_of => String, :default => "MediaWiki Mail"
  36 property :commons, :kind_of => [TrueClass, FalseClass], :default => true
  37 property :skin, :kind_of => String, :default => "vector"
  38 property :site_notice, :kind_of => [String, TrueClass, FalseClass], :default => false
  39 property :site_readonly, :kind_of => [String, TrueClass, FalseClass], :default => false
  40 property :admin_user, :kind_of => String, :default => "Admin"
  41 property :admin_password, :kind_of => String, :required => [:create]
  42 property :private_accounts, :kind_of => [TrueClass, FalseClass], :default => false
  43 property :private_site, :kind_of => [TrueClass, FalseClass], :default => false
  44 property :hcaptcha_public_key, :kind_of => String, :default => ""
  45 property :hcaptcha_private_key, :kind_of => String, :default => ""
  46 property :extra_file_extensions, :kind_of => [String, Array], :default => []
  47 property :namespaces, :kind_of => Hash, :default => {}
  48 property :force_ui_messages, :kind_of => Array, :default => []
  49 property :watch_category_membership, :kind_of => [TrueClass, FalseClass], :default => false
  50 property :fpm_max_children, :kind_of => Integer, :default => 5
  51 property :fpm_start_servers, :kind_of => Integer, :default => 2
  52 property :fpm_min_spare_servers, :kind_of => Integer, :default => 1
  53 property :fpm_max_spare_servers, :kind_of => Integer, :default => 3
  54 property :fpm_request_terminate_timeout, :kind_of => Integer, :default => 120
  55 property :fpm_prometheus_port, :kind_of => Integer
  56 property :reload_apache, :kind_of => [TrueClass, FalseClass], :default => true
  57 property :backup_enabled, :kind_of => [TrueClass, FalseClass], :default => true
  58
  59 action :create do
  60   node.default[:mediawiki][:sites][new_resource.site] = {
  61     :directory => site_directory,
  62     :version => new_resource.version
  63   }
  64
  65   mysql_user "#{new_resource.database_user}@localhost" do
  66     password new_resource.database_password
  67     reload true
  68   end
  69
  70   mysql_database new_resource.database_name do
  71     permissions "#{new_resource.database_user}@localhost" => :all
  72   end
  73
  74   mediawiki_directory = "#{site_directory}/w"
  75
  76   declare_resource :directory, site_directory do
  77     owner node[:mediawiki][:user]
  78     group node[:mediawiki][:group]
  79     mode "775"
  80   end
  81
  82   declare_resource :directory, mediawiki_directory do
  83     owner node[:mediawiki][:user]
  84     group node[:mediawiki][:group]
  85     mode "775"
  86   end
  87
  88   git mediawiki_directory do
  89     action :sync
  90     repository "https://gerrit.wikimedia.org/r/mediawiki/core.git"
  91     revision mediawiki_reference
  92     depth 1
  93     user node[:mediawiki][:user]
  94     group node[:mediawiki][:group]
  95   end
  96
  97   template "#{mediawiki_directory}/composer.local.json" do
  98     cookbook "mediawiki"
  99     source "composer.local.json.erb"
 100     owner node[:mediawiki][:user]
 101     group node[:mediawiki][:group]
 102     mode "664"
 103     variables :version => new_resource.version
 104   end
 105
 106   execute "#{mediawiki_directory}/composer.json" do
 107     command "composer update --no-dev"
 108     cwd mediawiki_directory
 109     user node[:mediawiki][:user]
 110     group node[:mediawiki][:group]
 111     environment "COMPOSER_HOME" => site_directory
 112     not_if { ::File.exist?("#{mediawiki_directory}/composer.lock") }
 113   end
 114
 115   execute "#{mediawiki_directory}/maintenance/install.php" do
 116     # Use metanamespace as Site Name to ensure correct set namespace
 117     command "php maintenance/install.php --server '#{name}' --dbtype 'mysql' --dbname '#{new_resource.database_name}' --dbuser '#{new_resource.database_user}' --dbpass '#{new_resource.database_password}' --dbserver 'localhost' --scriptpath /w --pass '#{new_resource.admin_password}' '#{new_resource.metanamespace}' '#{new_resource.admin_user}'"
 118     cwd mediawiki_directory
 119     user node[:mediawiki][:user]
 120     group node[:mediawiki][:group]
 121     not_if { ::File.exist?("#{mediawiki_directory}/LocalSettings.php") }
 122   end
 123
 124   declare_resource :directory, "#{mediawiki_directory}/images" do
 125     owner "www-data"
 126     group node[:mediawiki][:group]
 127     mode "775"
 128   end
 129
 130   declare_resource :directory, "#{mediawiki_directory}/cache" do
 131     owner "www-data"
 132     group node[:mediawiki][:group]
 133     mode "775"
 134   end
 135
 136   declare_resource :directory, "#{mediawiki_directory}/LocalSettings.d" do
 137     user node[:mediawiki][:user]
 138     group node[:mediawiki][:group]
 139     mode "775"
 140   end
 141
 142   template "#{mediawiki_directory}/LocalSettings.php" do
 143     cookbook "mediawiki"
 144     source "LocalSettings.php.erb"
 145     owner node[:mediawiki][:user]
 146     group node[:mediawiki][:group]
 147     mode "664"
 148     variables :name => new_resource.site,
 149               :directory => mediawiki_directory,
 150               :database_params => database_params,
 151               :mediawiki => mediawiki_params,
 152               :secret_key => secret_key
 153   end
 154
 155   service "mediawiki-sitemap@#{new_resource.site}.timer" do
 156     action [:enable, :start]
 157     only_if { ::File.exist?("#{mediawiki_directory}/LocalSettings.php") }
 158   end
 159
 160   service "mediawiki-jobs@#{new_resource.site}.timer" do
 161     action [:enable, :start]
 162     only_if { ::File.exist?("#{mediawiki_directory}/LocalSettings.php") }
 163   end
 164
 165   service "mediawiki-email-jobs@#{new_resource.site}.timer" do
 166     action [:enable, :start]
 167     only_if { ::File.exist?("#{mediawiki_directory}/LocalSettings.php") }
 168   end
 169
 170   template "/etc/cron.daily/mediawiki-#{cron_name}-backup" do
 171     cookbook "mediawiki"
 172     source "mediawiki-backup.cron.erb"
 173     owner "root"
 174     group "root"
 175     mode "700"
 176     variables :name => new_resource.site,
 177               :directory => site_directory,
 178               :database_params => database_params
 179     only_if { ::File.exist?("#{mediawiki_directory}/LocalSettings.php") }
 180     only_if { new_resource.backup_enabled }
 181   end
 182
 183   file "/etc/cron.daily/mediawiki-#{cron_name}-backup" do
 184     action :delete
 185     not_if { new_resource.backup_enabled }
 186   end
 187
 188   # MobileFrontend extension is required by MinervaNeue skin
 189   mediawiki_extension "MobileFrontend" do
 190     site new_resource.site
 191     template "mw-ext-MobileFrontend.inc.php.erb"
 192     update_site false
 193   end
 194
 195   # MobileFrontend extension is required by MinervaNeue skin
 196   mediawiki_skin "MinervaNeue" do
 197     site new_resource.site
 198     update_site false
 199     legacy false
 200   end
 201
 202   mediawiki_skin "CologneBlue" do
 203     site new_resource.site
 204     update_site false
 205     legacy false
 206   end
 207
 208   mediawiki_skin "Modern" do
 209     site new_resource.site
 210     update_site false
 211     legacy false
 212   end
 213
 214   mediawiki_skin "MonoBook" do
 215     site new_resource.site
 216     update_site false
 217     legacy false
 218   end
 219
 220   mediawiki_skin "Vector" do
 221     site new_resource.site
 222     update_site false
 223     legacy false
 224   end
 225
 226   mediawiki_extension "Cite" do
 227     site new_resource.site
 228     update_site false
 229   end
 230
 231   mediawiki_extension "CiteThisPage" do
 232     site new_resource.site
 233     update_site false
 234   end
 235
 236   if new_resource.private_accounts || new_resource.private_site
 237     mediawiki_extension "ConfirmEdit" do
 238       site new_resource.site
 239       update_site false
 240       action :delete
 241     end
 242   else
 243     mediawiki_extension "ConfirmEdit" do
 244       site new_resource.site
 245       template "mw-ext-ConfirmEdit.inc.php.erb"
 246       variables :public_key => new_resource.hcaptcha_public_key,
 247                 :private_key => new_resource.hcaptcha_private_key
 248       update_site false
 249     end
 250   end
 251
 252   mediawiki_extension "Gadgets" do
 253     site new_resource.site
 254     update_site false
 255   end
 256
 257   mediawiki_extension "ImageMap" do
 258     site new_resource.site
 259     update_site false
 260   end
 261
 262   mediawiki_extension "InputBox" do
 263     site new_resource.site
 264     update_site false
 265   end
 266
 267   mediawiki_extension "Interwiki" do
 268     site new_resource.site
 269     template "mw-ext-Interwiki.inc.php.erb"
 270     update_site false
 271   end
 272
 273   mediawiki_extension "Nuke" do
 274     site new_resource.site
 275     update_site false
 276   end
 277
 278   mediawiki_extension "ParserFunctions" do
 279     site new_resource.site
 280     template "mw-ext-ParserFunctions.inc.php.erb"
 281     update_site false
 282   end
 283
 284   mediawiki_extension "PdfHandler" do
 285     site new_resource.site
 286     template "mw-ext-PdfHandler.inc.php.erb"
 287     update_site false
 288   end
 289
 290   mediawiki_extension "Poem" do
 291     site new_resource.site
 292     update_site false
 293   end
 294
 295   mediawiki_extension "Renameuser" do
 296     site new_resource.site
 297     update_site false
 298   end
 299
 300   mediawiki_extension "SimpleAntiSpam" do
 301     site new_resource.site
 302     update_site false
 303     action :delete
 304   end
 305
 306   mediawiki_extension "SpamBlacklist" do
 307     site new_resource.site
 308     template "mw-ext-SpamBlacklist.inc.php.erb"
 309     update_site false
 310   end
 311
 312   mediawiki_extension "SyntaxHighlight_GeSHi" do
 313     site new_resource.site
 314     template "mw-ext-SyntaxHighlight.inc.php.erb"
 315     update_site false
 316   end
 317
 318   mediawiki_extension "TitleBlacklist" do
 319     site new_resource.site
 320     template "mw-ext-TitleBlacklist.inc.php.erb"
 321     update_site false
 322   end
 323
 324   mediawiki_extension "WikiEditor" do
 325     site new_resource.site
 326     update_site false
 327   end
 328
 329   mediawiki_extension "Babel" do
 330     site new_resource.site
 331     template "mw-ext-Babel.inc.php.erb"
 332     update_site false
 333   end
 334
 335   mediawiki_extension "CategoryTree" do
 336     site new_resource.site
 337     update_site false
 338   end
 339
 340   mediawiki_extension "cldr" do
 341     site new_resource.site
 342     template "mw-ext-cldr.inc.php.erb"
 343     update_site false
 344   end
 345
 346   mediawiki_extension "CleanChanges" do
 347     site new_resource.site
 348     template "mw-ext-CleanChanges.inc.php.erb"
 349     update_site false
 350   end
 351
 352   # Extension has been archived: https://www.mediawiki.org/wiki/Extension:LocalisationUpdate
 353   mediawiki_extension "LocalisationUpdate" do
 354     site new_resource.site
 355     action :delete
 356   end
 357
 358   # mediawiki_extension "Translate" do
 359   #   site new_resource.site
 360   #   template "mw-ext-Translate.inc.php.erb"
 361   #   update_site false
 362   # end
 363
 364   mediawiki_extension "UniversalLanguageSelector" do
 365     site new_resource.site
 366     template "mw-ext-UniversalLanguageSelector.inc.php.erb"
 367     update_site false
 368   end
 369
 370   mediawiki_extension "AntiSpoof" do
 371     site new_resource.site
 372     template "mw-ext-AntiSpoof.inc.php.erb"
 373     update_site false
 374   end
 375
 376   mediawiki_extension "AbuseFilter" do
 377     site new_resource.site
 378     template "mw-ext-AbuseFilter.inc.php.erb"
 379     update_site false
 380   end
 381
 382   mediawiki_extension "CheckUser" do
 383     site new_resource.site
 384     template "mw-ext-CheckUser.inc.php.erb"
 385     update_site false
 386   end
 387
 388   mediawiki_extension "DismissableSiteNotice" do
 389     site new_resource.site
 390     update_site false
 391   end
 392
 393   mediawiki_extension "Elastica" do
 394     site new_resource.site
 395     update_site false
 396   end
 397
 398   mediawiki_extension "CirrusSearch" do
 399     site new_resource.site
 400     template "mw-ext-CirrusSearch.inc.php.erb"
 401     update_site false
 402   end
 403
 404   mediawiki_extension "osmtaginfo" do
 405     site new_resource.site
 406     repository "https://github.com/openstreetmap/osmtaginfo.git"
 407     tag "live"
 408     update_site false
 409   end
 410
 411   mediawiki_extension "OSMCALWikiWidget" do
 412     site new_resource.site
 413     repository "https://github.com/thomersch/OSMCALWikiWidget.git"
 414     tag "live"
 415     update_site false
 416   end
 417
 418   mediawiki_extension "DisableAccount" do
 419     site new_resource.site
 420     template "mw-ext-DisableAccount.inc.php.erb"
 421     update_site false
 422   end
 423
 424   mediawiki_extension "VisualEditor" do
 425     site new_resource.site
 426     template "mw-ext-VisualEditor.inc.php.erb"
 427     variables :version => new_resource.version
 428     update_site false
 429   end
 430
 431   mediawiki_extension "TemplateData" do
 432     site new_resource.site
 433     update_site false
 434   end
 435
 436   if new_resource.commons
 437     mediawiki_extension "QuickInstantCommons" do
 438       site new_resource.site
 439       template "mw-ext-QuickInstantCommons.inc.php.erb"
 440       update_site false
 441     end
 442   else
 443     mediawiki_extension "QuickInstantCommons" do
 444       site new_resource.site
 445       update_site false
 446       action :delete
 447     end
 448   end
 449
 450   cookbook_file "#{site_directory}/cc-wiki.png" do
 451     cookbook "mediawiki"
 452     owner node[:mediawiki][:user]
 453     group node[:mediawiki][:group]
 454     mode "644"
 455     backup false
 456   end
 457
 458   cookbook_file "#{site_directory}/googled06a989d1ccc8364.html" do
 459     cookbook "mediawiki"
 460     owner node[:mediawiki][:user]
 461     group node[:mediawiki][:group]
 462     mode "644"
 463     backup false
 464   end
 465
 466   cookbook_file "#{site_directory}/googlefac54c35e800caab.html" do
 467     cookbook "mediawiki"
 468     owner node[:mediawiki][:user]
 469     group node[:mediawiki][:group]
 470     mode "644"
 471     backup false
 472   end
 473
 474   ssl_certificate new_resource.site do
 475     domains [new_resource.site] + Array(new_resource.aliases)
 476   end
 477
 478   php_fpm new_resource.site do
 479     pm_max_children new_resource.fpm_max_children
 480     pm_start_servers new_resource.fpm_start_servers
 481     pm_min_spare_servers new_resource.fpm_min_spare_servers
 482     pm_max_spare_servers new_resource.fpm_max_spare_servers
 483     request_terminate_timeout new_resource.fpm_request_terminate_timeout
 484     php_admin_values "open_basedir" => "#{site_directory}/:/usr/share/php/:/dev/null:/tmp/"
 485     php_values "memory_limit" => "500M",
 486                "max_execution_time" => "60",
 487                "upload_max_filesize" => "70M",
 488                "post_max_size" => "100M"
 489     prometheus_port new_resource.fpm_prometheus_port
 490   end
 491
 492   apache_site new_resource.site do
 493     cookbook "mediawiki"
 494     template "apache.erb"
 495     directory site_directory
 496     variables :aliases => Array(new_resource.aliases),
 497               :private_site => new_resource.private_site
 498     reload_apache false
 499   end
 500
 501   # FIXME: needs to run one
 502   execute "#{mediawiki_directory}/extensions/CirrusSearch/maintenance/updateSearchIndexConfig.php" do
 503     action :nothing
 504     command "php extensions/CirrusSearch/maintenance/updateSearchIndexConfig.php"
 505     cwd mediawiki_directory
 506     user node[:mediawiki][:user]
 507     group node[:mediawiki][:group]
 508   end
 509 end
 510
 511 action :update do
 512   mediawiki_directory = "#{site_directory}/w"
 513
 514   execute "#{mediawiki_directory}/composer.json" do
 515     command "composer update --no-dev"
 516     cwd mediawiki_directory
 517     user node[:mediawiki][:user]
 518     group node[:mediawiki][:group]
 519     environment "COMPOSER_HOME" => site_directory
 520   end
 521
 522   template "#{mediawiki_directory}/LocalSettings.php" do
 523     cookbook "mediawiki"
 524     source "LocalSettings.php.erb"
 525     owner node[:mediawiki][:user]
 526     group node[:mediawiki][:group]
 527     mode "664"
 528     variables :name => new_resource.site,
 529               :directory => mediawiki_directory,
 530               :database_params => database_params,
 531               :mediawiki => mediawiki_params,
 532               :secret_key => secret_key
 533   end
 534
 535   execute "#{mediawiki_directory}/maintenance/update.php" do
 536     action :run
 537     command "php maintenance/update.php --quick"
 538     cwd mediawiki_directory
 539     user node[:mediawiki][:user]
 540     group node[:mediawiki][:group]
 541     timeout 86400
 542   end
 543 end
 544
 545 action :delete do
 546   apache_site new_resource.site do
 547     action :delete
 548     reload_apache false
 549   end
 550
 551   declare_resource :directory, site_directory do
 552     action :delete
 553     recursive true
 554   end
 555
 556   mysql_database new_resource.database_name do
 557     action :drop
 558   end
 559
 560   mysql_user "#{new_resource.database_user}@localhost" do
 561     action :drop
 562   end
 563 end
 564
 565 action_class do
 566   include OpenStreetMap::Mixin::PersistentToken
 567
 568   def site_directory
 569     "/srv/#{new_resource.site}"
 570   end
 571
 572   def mediawiki_reference
 573     shell_out!("git", "-c", "versionsort.suffix=-rc",
 574                "ls-remote", "--refs", "--sort=-version:refname",
 575                "https://gerrit.wikimedia.org/r/mediawiki/core.git",
 576                "refs/tags/#{new_resource.version}.*")
 577       .stdout
 578       .split("\n")
 579       .first
 580       .split("/")
 581       .last
 582   end
 583
 584   def cron_name
 585     new_resource.site.tr(".", "_")
 586   end
 587
 588   def database_params
 589     {
 590       :host => "localhost",
 591       :name => new_resource.database_name,
 592       :username => new_resource.database_user,
 593       :password => new_resource.database_password
 594     }
 595   end
 596
 597   def mediawiki_params
 598     {
 599       :sitename => new_resource.sitename,
 600       :metanamespace => new_resource.metanamespace,
 601       :logo => new_resource.logo,
 602       :email_contact => new_resource.email_contact,
 603       :email_sender => new_resource.email_sender,
 604       :email_sender_name => new_resource.email_sender_name,
 605       :commons => new_resource.commons,
 606       :skin => new_resource.skin,
 607       :site_notice => new_resource.site_notice,
 608       :site_readonly => new_resource.site_readonly,
 609       :extra_file_extensions => new_resource.extra_file_extensions,
 610       :private_accounts => new_resource.private_accounts,
 611       :private_site => new_resource.private_site,
 612       :namespaces => new_resource.namespaces,
 613       :force_ui_messages => new_resource.force_ui_messages,
 614       :watch_category_membership => new_resource.watch_category_membership
 615     }
 616   end
 617
 618   def secret_key
 619     persistent_token("mediawiki", new_resource.site, "wgSecretKey")
 620   end
 621 end
 622
 623 def after_created
 624   notifies :update, "mediawiki_site[#{site}]"
 625   notifies :reload, "service[apache2]" if reload_apache
 626 end