cookbooks/mediawiki/resources/site.rb

   1 #
   2 # Cookbook:: mediawiki
   3 # Resource:: mediawiki_site
   4 #
   5 # Copyright:: 2015, OpenStreetMap Foundation
   6 #
   7 # Licensed under the Apache License, Version 2.0 (the "License");
   8 # you may not use this file except in compliance with the License.
   9 # You may obtain a copy of the License at
  10 #
  11 # https://www.apache.org/licenses/LICENSE-2.0
  12 #
  13 # Unless required by applicable law or agreed to in writing, software
  14 # distributed under the License is distributed on an "AS IS" BASIS,
  15 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  16 # See the License for the specific language governing permissions and
  17 # limitations under the License.
  18 #
  19
  20 unified_mode true
  21
  22 default_action :create
  23
  24 property :site, :kind_of => String, :name_property => true
  25 property :aliases, :kind_of => [String, Array]
  26 property :version, :kind_of => String, :default => "1.39"
  27 property :database_name, :kind_of => String, :required => true
  28 property :database_user, :kind_of => String, :required => [:create, :update]
  29 property :database_password, :kind_of => String, :required => [:create, :update]
  30 property :sitename, :kind_of => String, :default => "OpenStreetMap Wiki"
  31 property :metanamespace, :kind_of => String, :default => "OpenStreetMap"
  32 property :logo, :kind_of => String, :default => "$wgStylePath/common/images/wiki.png"
  33 property :email_contact, :kind_of => String, :default => ""
  34 property :email_sender, :kind_of => String, :default => ""
  35 property :email_sender_name, :kind_of => String, :default => "MediaWiki Mail"
  36 property :commons, :kind_of => [TrueClass, FalseClass], :default => true
  37 property :skin, :kind_of => String, :default => "vector"
  38 property :site_notice, :kind_of => [String, TrueClass, FalseClass], :default => false
  39 property :site_readonly, :kind_of => [String, TrueClass, FalseClass], :default => false
  40 property :admin_user, :kind_of => String, :default => "Admin"
  41 property :admin_password, :kind_of => String, :required => [:create]
  42 property :private_accounts, :kind_of => [TrueClass, FalseClass], :default => false
  43 property :private_site, :kind_of => [TrueClass, FalseClass], :default => false
  44 property :hcaptcha_public_key, :kind_of => String, :default => ""
  45 property :hcaptcha_private_key, :kind_of => String, :default => ""
  46 property :extra_file_extensions, :kind_of => [String, Array], :default => []
  47 property :namespaces, :kind_of => Hash, :default => {}
  48 property :force_ui_messages, :kind_of => Array, :default => []
  49 property :watch_category_membership, :kind_of => [TrueClass, FalseClass], :default => false
  50 property :fpm_max_children, :kind_of => Integer, :default => 5
  51 property :fpm_start_servers, :kind_of => Integer, :default => 2
  52 property :fpm_min_spare_servers, :kind_of => Integer, :default => 1
  53 property :fpm_max_spare_servers, :kind_of => Integer, :default => 3
  54 property :fpm_request_terminate_timeout, :kind_of => Integer, :default => 300
  55 property :fpm_prometheus_port, :kind_of => Integer
  56 property :reload_apache, :kind_of => [TrueClass, FalseClass], :default => true
  57
  58 action :create do
  59   node.default[:mediawiki][:sites][new_resource.site] = {
  60     :directory => site_directory,
  61     :version => new_resource.version
  62   }
  63
  64   mysql_user "#{new_resource.database_user}@localhost" do
  65     password new_resource.database_password
  66     reload true
  67   end
  68
  69   mysql_database new_resource.database_name do
  70     permissions "#{new_resource.database_user}@localhost" => :all
  71   end
  72
  73   mediawiki_directory = "#{site_directory}/w"
  74
  75   declare_resource :directory, site_directory do
  76     owner node[:mediawiki][:user]
  77     group node[:mediawiki][:group]
  78     mode "775"
  79   end
  80
  81   declare_resource :directory, mediawiki_directory do
  82     owner node[:mediawiki][:user]
  83     group node[:mediawiki][:group]
  84     mode "775"
  85   end
  86
  87   git mediawiki_directory do
  88     action :sync
  89     repository "https://gerrit.wikimedia.org/r/mediawiki/core.git"
  90     revision mediawiki_reference
  91     depth 1
  92     user node[:mediawiki][:user]
  93     group node[:mediawiki][:group]
  94   end
  95
  96   template "#{mediawiki_directory}/composer.local.json" do
  97     cookbook "mediawiki"
  98     source "composer.local.json.erb"
  99     owner node[:mediawiki][:user]
 100     group node[:mediawiki][:group]
 101     mode "664"
 102     variables :version => new_resource.version
 103   end
 104
 105   execute "#{mediawiki_directory}/composer.json" do
 106     command "composer update --no-dev"
 107     cwd mediawiki_directory
 108     user node[:mediawiki][:user]
 109     group node[:mediawiki][:group]
 110     environment "COMPOSER_HOME" => site_directory
 111     not_if { ::File.exist?("#{mediawiki_directory}/composer.lock") }
 112   end
 113
 114   execute "#{mediawiki_directory}/maintenance/install.php" do
 115     # Use metanamespace as Site Name to ensure correct set namespace
 116     command "php maintenance/install.php --server '#{name}' --dbtype 'mysql' --dbname '#{new_resource.database_name}' --dbuser '#{new_resource.database_user}' --dbpass '#{new_resource.database_password}' --dbserver 'localhost' --scriptpath /w --pass '#{new_resource.admin_password}' '#{new_resource.metanamespace}' '#{new_resource.admin_user}'"
 117     cwd mediawiki_directory
 118     user node[:mediawiki][:user]
 119     group node[:mediawiki][:group]
 120     not_if { ::File.exist?("#{mediawiki_directory}/LocalSettings.php") }
 121   end
 122
 123   declare_resource :directory, "#{mediawiki_directory}/images" do
 124     owner "www-data"
 125     group node[:mediawiki][:group]
 126     mode "775"
 127   end
 128
 129   declare_resource :directory, "#{mediawiki_directory}/cache" do
 130     owner "www-data"
 131     group node[:mediawiki][:group]
 132     mode "775"
 133   end
 134
 135   declare_resource :directory, "#{mediawiki_directory}/LocalSettings.d" do
 136     user node[:mediawiki][:user]
 137     group node[:mediawiki][:group]
 138     mode "775"
 139   end
 140
 141   template "#{mediawiki_directory}/LocalSettings.php" do
 142     cookbook "mediawiki"
 143     source "LocalSettings.php.erb"
 144     owner node[:mediawiki][:user]
 145     group node[:mediawiki][:group]
 146     mode "664"
 147     variables :name => new_resource.site,
 148               :directory => mediawiki_directory,
 149               :database_params => database_params,
 150               :mediawiki => mediawiki_params,
 151               :secret_key => secret_key
 152   end
 153
 154   service "mediawiki-sitemap@#{new_resource.site}.timer" do
 155     action [:enable, :start]
 156     only_if { ::File.exist?("#{mediawiki_directory}/LocalSettings.php") }
 157   end
 158
 159   service "mediawiki-jobs@#{new_resource.site}.timer" do
 160     action [:enable, :start]
 161     only_if { ::File.exist?("#{mediawiki_directory}/LocalSettings.php") }
 162   end
 163
 164   service "mediawiki-email-jobs@#{new_resource.site}.timer" do
 165     action [:enable, :start]
 166     only_if { ::File.exist?("#{mediawiki_directory}/LocalSettings.php") }
 167   end
 168
 169   template "/etc/cron.daily/mediawiki-#{cron_name}-backup" do
 170     cookbook "mediawiki"
 171     source "mediawiki-backup.cron.erb"
 172     owner "root"
 173     group "root"
 174     mode "700"
 175     variables :name => new_resource.site,
 176               :directory => site_directory,
 177               :database_params => database_params
 178     only_if { ::File.exist?("#{mediawiki_directory}/LocalSettings.php") }
 179   end
 180
 181   # MobileFrontend extension is required by MinervaNeue skin
 182   mediawiki_extension "MobileFrontend" do
 183     site new_resource.site
 184     template "mw-ext-MobileFrontend.inc.php.erb"
 185     update_site false
 186   end
 187
 188   # MobileFrontend extension is required by MinervaNeue skin
 189   mediawiki_skin "MinervaNeue" do
 190     site new_resource.site
 191     update_site false
 192     legacy false
 193   end
 194
 195   mediawiki_skin "CologneBlue" do
 196     site new_resource.site
 197     update_site false
 198     legacy false
 199   end
 200
 201   mediawiki_skin "Modern" do
 202     site new_resource.site
 203     update_site false
 204     legacy false
 205   end
 206
 207   mediawiki_skin "MonoBook" do
 208     site new_resource.site
 209     update_site false
 210     legacy false
 211   end
 212
 213   mediawiki_skin "Vector" do
 214     site new_resource.site
 215     update_site false
 216     legacy false
 217   end
 218
 219   mediawiki_extension "Cite" do
 220     site new_resource.site
 221     update_site false
 222   end
 223
 224   mediawiki_extension "CiteThisPage" do
 225     site new_resource.site
 226     update_site false
 227   end
 228
 229   if new_resource.private_accounts || new_resource.private_site
 230     mediawiki_extension "ConfirmEdit" do
 231       site new_resource.site
 232       update_site false
 233       action :delete
 234     end
 235   else
 236     mediawiki_extension "ConfirmEdit" do
 237       site new_resource.site
 238       template "mw-ext-ConfirmEdit.inc.php.erb"
 239       variables :public_key => new_resource.hcaptcha_public_key,
 240                 :private_key => new_resource.hcaptcha_private_key
 241       update_site false
 242     end
 243   end
 244
 245   mediawiki_extension "Gadgets" do
 246     site new_resource.site
 247     update_site false
 248   end
 249
 250   mediawiki_extension "ImageMap" do
 251     site new_resource.site
 252     update_site false
 253   end
 254
 255   mediawiki_extension "InputBox" do
 256     site new_resource.site
 257     update_site false
 258   end
 259
 260   mediawiki_extension "Interwiki" do
 261     site new_resource.site
 262     template "mw-ext-Interwiki.inc.php.erb"
 263     update_site false
 264   end
 265
 266   mediawiki_extension "Nuke" do
 267     site new_resource.site
 268     update_site false
 269   end
 270
 271   mediawiki_extension "ParserFunctions" do
 272     site new_resource.site
 273     template "mw-ext-ParserFunctions.inc.php.erb"
 274     update_site false
 275   end
 276
 277   mediawiki_extension "PdfHandler" do
 278     site new_resource.site
 279     template "mw-ext-PdfHandler.inc.php.erb"
 280     update_site false
 281   end
 282
 283   mediawiki_extension "Poem" do
 284     site new_resource.site
 285     update_site false
 286   end
 287
 288   mediawiki_extension "Renameuser" do
 289     site new_resource.site
 290     update_site false
 291   end
 292
 293   mediawiki_extension "SimpleAntiSpam" do
 294     site new_resource.site
 295     update_site false
 296     action :delete
 297   end
 298
 299   mediawiki_extension "SpamBlacklist" do
 300     site new_resource.site
 301     template "mw-ext-SpamBlacklist.inc.php.erb"
 302     update_site false
 303   end
 304
 305   mediawiki_extension "SyntaxHighlight_GeSHi" do
 306     site new_resource.site
 307     template "mw-ext-SyntaxHighlight.inc.php.erb"
 308     update_site false
 309   end
 310
 311   mediawiki_extension "TitleBlacklist" do
 312     site new_resource.site
 313     template "mw-ext-TitleBlacklist.inc.php.erb"
 314     update_site false
 315   end
 316
 317   mediawiki_extension "WikiEditor" do
 318     site new_resource.site
 319     update_site false
 320   end
 321
 322   mediawiki_extension "Babel" do
 323     site new_resource.site
 324     template "mw-ext-Babel.inc.php.erb"
 325     update_site false
 326   end
 327
 328   mediawiki_extension "CategoryTree" do
 329     site new_resource.site
 330     update_site false
 331   end
 332
 333   mediawiki_extension "cldr" do
 334     site new_resource.site
 335     template "mw-ext-cldr.inc.php.erb"
 336     update_site false
 337   end
 338
 339   mediawiki_extension "CleanChanges" do
 340     site new_resource.site
 341     template "mw-ext-CleanChanges.inc.php.erb"
 342     update_site false
 343   end
 344
 345   # Extension has been archived: https://www.mediawiki.org/wiki/Extension:LocalisationUpdate
 346   mediawiki_extension "LocalisationUpdate" do
 347     site new_resource.site
 348     action :delete
 349   end
 350
 351   # mediawiki_extension "Translate" do
 352   #   site new_resource.site
 353   #   template "mw-ext-Translate.inc.php.erb"
 354   #   update_site false
 355   # end
 356
 357   mediawiki_extension "UniversalLanguageSelector" do
 358     site new_resource.site
 359     template "mw-ext-UniversalLanguageSelector.inc.php.erb"
 360     update_site false
 361   end
 362
 363   mediawiki_extension "AntiSpoof" do
 364     site new_resource.site
 365     template "mw-ext-AntiSpoof.inc.php.erb"
 366     update_site false
 367   end
 368
 369   mediawiki_extension "AbuseFilter" do
 370     site new_resource.site
 371     template "mw-ext-AbuseFilter.inc.php.erb"
 372     update_site false
 373   end
 374
 375   mediawiki_extension "CheckUser" do
 376     site new_resource.site
 377     template "mw-ext-CheckUser.inc.php.erb"
 378     update_site false
 379   end
 380
 381   mediawiki_extension "DismissableSiteNotice" do
 382     site new_resource.site
 383     update_site false
 384   end
 385
 386   mediawiki_extension "Elastica" do
 387     site new_resource.site
 388     update_site false
 389   end
 390
 391   mediawiki_extension "CirrusSearch" do
 392     site new_resource.site
 393     template "mw-ext-CirrusSearch.inc.php.erb"
 394     update_site false
 395   end
 396
 397   mediawiki_extension "osmtaginfo" do
 398     site new_resource.site
 399     repository "https://github.com/openstreetmap/osmtaginfo.git"
 400     tag "live"
 401     update_site false
 402   end
 403
 404   mediawiki_extension "OSMCALWikiWidget" do
 405     site new_resource.site
 406     repository "https://github.com/thomersch/OSMCALWikiWidget.git"
 407     tag "live"
 408     update_site false
 409   end
 410
 411   mediawiki_extension "DisableAccount" do
 412     site new_resource.site
 413     template "mw-ext-DisableAccount.inc.php.erb"
 414     update_site false
 415   end
 416
 417   mediawiki_extension "VisualEditor" do
 418     site new_resource.site
 419     template "mw-ext-VisualEditor.inc.php.erb"
 420     variables :version => new_resource.version
 421     update_site false
 422   end
 423
 424   mediawiki_extension "TemplateData" do
 425     site new_resource.site
 426     update_site false
 427   end
 428
 429   if new_resource.commons
 430     mediawiki_extension "QuickInstantCommons" do
 431       site new_resource.site
 432       template "mw-ext-QuickInstantCommons.inc.php.erb"
 433       update_site false
 434     end
 435   else
 436     mediawiki_extension "QuickInstantCommons" do
 437       site new_resource.site
 438       update_site false
 439       action :delete
 440     end
 441   end
 442
 443   cookbook_file "#{site_directory}/cc-wiki.png" do
 444     cookbook "mediawiki"
 445     owner node[:mediawiki][:user]
 446     group node[:mediawiki][:group]
 447     mode "644"
 448     backup false
 449   end
 450
 451   cookbook_file "#{site_directory}/googled06a989d1ccc8364.html" do
 452     cookbook "mediawiki"
 453     owner node[:mediawiki][:user]
 454     group node[:mediawiki][:group]
 455     mode "644"
 456     backup false
 457   end
 458
 459   cookbook_file "#{site_directory}/googlefac54c35e800caab.html" do
 460     cookbook "mediawiki"
 461     owner node[:mediawiki][:user]
 462     group node[:mediawiki][:group]
 463     mode "644"
 464     backup false
 465   end
 466
 467   ssl_certificate new_resource.site do
 468     domains [new_resource.site] + Array(new_resource.aliases)
 469   end
 470
 471   php_fpm new_resource.site do
 472     pm_max_children new_resource.fpm_max_children
 473     pm_start_servers new_resource.fpm_start_servers
 474     pm_min_spare_servers new_resource.fpm_min_spare_servers
 475     pm_max_spare_servers new_resource.fpm_max_spare_servers
 476     request_terminate_timeout new_resource.fpm_request_terminate_timeout
 477     php_admin_values "open_basedir" => "#{site_directory}/:/usr/share/php/:/dev/null:/tmp/"
 478     php_values "memory_limit" => "500M",
 479                "max_execution_time" => "240",
 480                "upload_max_filesize" => "70M",
 481                "post_max_size" => "100M"
 482     prometheus_port new_resource.fpm_prometheus_port
 483   end
 484
 485   apache_site new_resource.site do
 486     cookbook "mediawiki"
 487     template "apache.erb"
 488     directory site_directory
 489     variables :aliases => Array(new_resource.aliases),
 490               :private_site => new_resource.private_site
 491     reload_apache false
 492   end
 493
 494   # FIXME: needs to run one
 495   execute "#{mediawiki_directory}/extensions/CirrusSearch/maintenance/updateSearchIndexConfig.php" do
 496     action :nothing
 497     command "php extensions/CirrusSearch/maintenance/updateSearchIndexConfig.php"
 498     cwd mediawiki_directory
 499     user node[:mediawiki][:user]
 500     group node[:mediawiki][:group]
 501   end
 502 end
 503
 504 action :update do
 505   mediawiki_directory = "#{site_directory}/w"
 506
 507   execute "#{mediawiki_directory}/composer.json" do
 508     command "composer update --no-dev"
 509     cwd mediawiki_directory
 510     user node[:mediawiki][:user]
 511     group node[:mediawiki][:group]
 512     environment "COMPOSER_HOME" => site_directory
 513   end
 514
 515   template "#{mediawiki_directory}/LocalSettings.php" do
 516     cookbook "mediawiki"
 517     source "LocalSettings.php.erb"
 518     owner node[:mediawiki][:user]
 519     group node[:mediawiki][:group]
 520     mode "664"
 521     variables :name => new_resource.site,
 522               :directory => mediawiki_directory,
 523               :database_params => database_params,
 524               :mediawiki => mediawiki_params,
 525               :secret_key => secret_key
 526   end
 527
 528   execute "#{mediawiki_directory}/maintenance/update.php" do
 529     action :run
 530     command "php maintenance/update.php --quick"
 531     cwd mediawiki_directory
 532     user node[:mediawiki][:user]
 533     group node[:mediawiki][:group]
 534     timeout 86400
 535   end
 536 end
 537
 538 action :delete do
 539   apache_site new_resource.site do
 540     action :delete
 541     reload_apache false
 542   end
 543
 544   declare_resource :directory, site_directory do
 545     action :delete
 546     recursive true
 547   end
 548
 549   mysql_database new_resource.database_name do
 550     action :drop
 551   end
 552
 553   mysql_user "#{new_resource.database_user}@localhost" do
 554     action :drop
 555   end
 556 end
 557
 558 action_class do
 559   include OpenStreetMap::Mixin::PersistentToken
 560
 561   def site_directory
 562     "/srv/#{new_resource.site}"
 563   end
 564
 565   def mediawiki_reference
 566     shell_out!("git", "-c", "versionsort.suffix=-rc",
 567                "ls-remote", "--refs", "--sort=-version:refname",
 568                "https://gerrit.wikimedia.org/r/mediawiki/core.git",
 569                "refs/tags/#{new_resource.version}.*")
 570       .stdout
 571       .split("\n")
 572       .first
 573       .split("/")
 574       .last
 575   end
 576
 577   def cron_name
 578     new_resource.site.tr(".", "_")
 579   end
 580
 581   def database_params
 582     {
 583       :host => "localhost",
 584       :name => new_resource.database_name,
 585       :username => new_resource.database_user,
 586       :password => new_resource.database_password
 587     }
 588   end
 589
 590   def mediawiki_params
 591     {
 592       :sitename => new_resource.sitename,
 593       :metanamespace => new_resource.metanamespace,
 594       :logo => new_resource.logo,
 595       :email_contact => new_resource.email_contact,
 596       :email_sender => new_resource.email_sender,
 597       :email_sender_name => new_resource.email_sender_name,
 598       :commons => new_resource.commons,
 599       :skin => new_resource.skin,
 600       :site_notice => new_resource.site_notice,
 601       :site_readonly => new_resource.site_readonly,
 602       :extra_file_extensions => new_resource.extra_file_extensions,
 603       :private_accounts => new_resource.private_accounts,
 604       :private_site => new_resource.private_site,
 605       :namespaces => new_resource.namespaces,
 606       :force_ui_messages => new_resource.force_ui_messages,
 607       :watch_category_membership => new_resource.watch_category_membership
 608     }
 609   end
 610
 611   def secret_key
 612     persistent_token("mediawiki", new_resource.site, "wgSecretKey")
 613   end
 614 end
 615
 616 def after_created
 617   notifies :update, "mediawiki_site[#{site}]"
 618   notifies :reload, "service[apache2]" if reload_apache
 619 end