cookbooks/mediawiki/resources/site.rb

   1 #
   2 # Cookbook:: mediawiki
   3 # Resource:: mediawiki_site
   4 #
   5 # Copyright:: 2015, OpenStreetMap Foundation
   6 #
   7 # Licensed under the Apache License, Version 2.0 (the "License");
   8 # you may not use this file except in compliance with the License.
   9 # You may obtain a copy of the License at
  10 #
  11 # https://www.apache.org/licenses/LICENSE-2.0
  12 #
  13 # Unless required by applicable law or agreed to in writing, software
  14 # distributed under the License is distributed on an "AS IS" BASIS,
  15 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  16 # See the License for the specific language governing permissions and
  17 # limitations under the License.
  18 #
  19
  20 unified_mode true
  21
  22 default_action :create
  23
  24 property :site, :kind_of => String, :name_property => true
  25 property :aliases, :kind_of => [String, Array]
  26 property :directory, :kind_of => String
  27 property :version, :kind_of => String, :default => "1.39"
  28 property :database_name, :kind_of => String, :required => true
  29 property :database_user, :kind_of => String, :required => [:create, :update]
  30 property :database_password, :kind_of => String, :required => [:create, :update]
  31 property :sitename, :kind_of => String, :default => "OpenStreetMap Wiki"
  32 property :metanamespace, :kind_of => String, :default => "OpenStreetMap"
  33 property :logo, :kind_of => String, :default => "$wgStylePath/common/images/wiki.png"
  34 property :email_contact, :kind_of => String, :default => ""
  35 property :email_sender, :kind_of => String, :default => ""
  36 property :email_sender_name, :kind_of => String, :default => "MediaWiki Mail"
  37 property :commons, :kind_of => [TrueClass, FalseClass], :default => true
  38 property :skin, :kind_of => String, :default => "vector"
  39 property :site_notice, :kind_of => [String, TrueClass, FalseClass], :default => false
  40 property :site_readonly, :kind_of => [String, TrueClass, FalseClass], :default => false
  41 property :admin_user, :kind_of => String, :default => "Admin"
  42 property :admin_password, :kind_of => String, :required => [:create]
  43 property :private_accounts, :kind_of => [TrueClass, FalseClass], :default => false
  44 property :private_site, :kind_of => [TrueClass, FalseClass], :default => false
  45 property :hcaptcha_public_key, :kind_of => String, :default => ""
  46 property :hcaptcha_private_key, :kind_of => String, :default => ""
  47 property :extra_file_extensions, :kind_of => [String, Array], :default => []
  48 property :fpm_max_children, :kind_of => Integer, :default => 5
  49 property :fpm_start_servers, :kind_of => Integer, :default => 2
  50 property :fpm_min_spare_servers, :kind_of => Integer, :default => 1
  51 property :fpm_max_spare_servers, :kind_of => Integer, :default => 3
  52 property :fpm_request_terminate_timeout, :kind_of => Integer, :default => 300
  53 property :fpm_prometheus_port, :kind_of => Integer
  54 property :reload_apache, :kind_of => [TrueClass, FalseClass], :default => true
  55
  56 action :create do
  57   node.default[:mediawiki][:sites][new_resource.site] = {
  58     :directory => site_directory,
  59     :version => new_resource.version
  60   }
  61
  62   mysql_user "#{new_resource.database_user}@localhost" do
  63     password new_resource.database_password
  64   end
  65
  66   mysql_database new_resource.database_name do
  67     permissions "#{new_resource.database_user}@localhost" => :all
  68   end
  69
  70   mediawiki_directory = "#{site_directory}/w"
  71
  72   declare_resource :directory, site_directory do
  73     owner node[:mediawiki][:user]
  74     group node[:mediawiki][:group]
  75     mode "775"
  76   end
  77
  78   declare_resource :directory, mediawiki_directory do
  79     owner node[:mediawiki][:user]
  80     group node[:mediawiki][:group]
  81     mode "775"
  82   end
  83
  84   git mediawiki_directory do
  85     action :sync
  86     repository "https://gerrit.wikimedia.org/r/mediawiki/core.git"
  87     revision mediawiki_reference
  88     depth 1
  89     user node[:mediawiki][:user]
  90     group node[:mediawiki][:group]
  91   end
  92
  93   template "#{mediawiki_directory}/composer.local.json" do
  94     cookbook "mediawiki"
  95     source "composer.local.json.erb"
  96     owner node[:mediawiki][:user]
  97     group node[:mediawiki][:group]
  98     mode "664"
  99   end
 100
 101   execute "#{mediawiki_directory}/composer.json" do
 102     command "composer update --no-dev"
 103     cwd mediawiki_directory
 104     user node[:mediawiki][:user]
 105     group node[:mediawiki][:group]
 106     environment "COMPOSER_HOME" => site_directory
 107     not_if { ::File.exist?("#{mediawiki_directory}/composer.lock") }
 108   end
 109
 110   execute "#{mediawiki_directory}/maintenance/install.php" do
 111     # Use metanamespace as Site Name to ensure correct set namespace
 112     command "php maintenance/install.php --server '#{name}' --dbtype 'mysql' --dbname '#{new_resource.database_name}' --dbuser '#{new_resource.database_user}' --dbpass '#{new_resource.database_password}' --dbserver 'localhost' --scriptpath /w --pass '#{new_resource.admin_password}' '#{new_resource.metanamespace}' '#{new_resource.admin_user}'"
 113     cwd mediawiki_directory
 114     user node[:mediawiki][:user]
 115     group node[:mediawiki][:group]
 116     not_if { ::File.exist?("#{mediawiki_directory}/LocalSettings.php") }
 117   end
 118
 119   declare_resource :directory, "#{mediawiki_directory}/images" do
 120     owner "www-data"
 121     group node[:mediawiki][:group]
 122     mode "775"
 123   end
 124
 125   declare_resource :directory, "#{mediawiki_directory}/cache" do
 126     owner "www-data"
 127     group node[:mediawiki][:group]
 128     mode "775"
 129   end
 130
 131   declare_resource :directory, "#{mediawiki_directory}/LocalSettings.d" do
 132     user node[:mediawiki][:user]
 133     group node[:mediawiki][:group]
 134     mode "775"
 135   end
 136
 137   template "#{mediawiki_directory}/LocalSettings.php" do
 138     cookbook "mediawiki"
 139     source "LocalSettings.php.erb"
 140     owner node[:mediawiki][:user]
 141     group node[:mediawiki][:group]
 142     mode "664"
 143     variables :name => new_resource.site,
 144               :directory => mediawiki_directory,
 145               :database_params => database_params,
 146               :mediawiki => mediawiki_params,
 147               :secret_key => secret_key
 148   end
 149
 150   service "mediawiki-sitemap@#{new_resource.site}.timer" do
 151     action [:enable, :start]
 152     only_if { ::File.exist?("#{mediawiki_directory}/LocalSettings.php") }
 153   end
 154
 155   service "mediawiki-jobs@#{new_resource.site}.timer" do
 156     action [:enable, :start]
 157     only_if { ::File.exist?("#{mediawiki_directory}/LocalSettings.php") }
 158   end
 159
 160   service "mediawiki-email-jobs@#{new_resource.site}.timer" do
 161     action [:enable, :start]
 162     only_if { ::File.exist?("#{mediawiki_directory}/LocalSettings.php") }
 163   end
 164
 165   service "mediawiki-refresh-links@#{new_resource.site}.timer" do
 166     action [:enable, :start]
 167     only_if { ::File.exist?("#{mediawiki_directory}/LocalSettings.php") }
 168   end
 169
 170   template "/etc/cron.daily/mediawiki-#{cron_name}-backup" do
 171     cookbook "mediawiki"
 172     source "mediawiki-backup.cron.erb"
 173     owner "root"
 174     group "root"
 175     mode "700"
 176     variables :name => new_resource.site,
 177               :directory => site_directory,
 178               :database_params => database_params
 179     only_if { ::File.exist?("#{mediawiki_directory}/LocalSettings.php") }
 180   end
 181
 182   # MobileFrontend extension is required by MinervaNeue skin
 183   mediawiki_extension "MobileFrontend" do
 184     site new_resource.site
 185     template "mw-ext-MobileFrontend.inc.php.erb"
 186     update_site false
 187   end
 188
 189   # MobileFrontend extension is required by MinervaNeue skin
 190   mediawiki_skin "MinervaNeue" do
 191     site new_resource.site
 192     update_site false
 193     legacy false
 194   end
 195
 196   mediawiki_skin "CologneBlue" do
 197     site new_resource.site
 198     update_site false
 199     legacy false
 200   end
 201
 202   mediawiki_skin "Modern" do
 203     site new_resource.site
 204     update_site false
 205     legacy false
 206   end
 207
 208   mediawiki_skin "MonoBook" do
 209     site new_resource.site
 210     update_site false
 211     legacy false
 212   end
 213
 214   mediawiki_skin "Vector" do
 215     site new_resource.site
 216     update_site false
 217     legacy false
 218   end
 219
 220   mediawiki_extension "Cite" do
 221     site new_resource.site
 222     update_site false
 223   end
 224
 225   mediawiki_extension "CiteThisPage" do
 226     site new_resource.site
 227     update_site false
 228   end
 229
 230   if new_resource.private_accounts || new_resource.private_site
 231     mediawiki_extension "ConfirmEdit" do
 232       site new_resource.site
 233       update_site false
 234       action :delete
 235     end
 236   else
 237     mediawiki_extension "ConfirmEdit" do
 238       site new_resource.site
 239       template "mw-ext-ConfirmEdit.inc.php.erb"
 240       variables :public_key => new_resource.hcaptcha_public_key,
 241                 :private_key => new_resource.hcaptcha_private_key
 242       update_site false
 243     end
 244   end
 245
 246   mediawiki_extension "Gadgets" do
 247     site new_resource.site
 248     update_site false
 249   end
 250
 251   mediawiki_extension "ImageMap" do
 252     site new_resource.site
 253     update_site false
 254   end
 255
 256   mediawiki_extension "InputBox" do
 257     site new_resource.site
 258     update_site false
 259   end
 260
 261   mediawiki_extension "Interwiki" do
 262     site new_resource.site
 263     template "mw-ext-Interwiki.inc.php.erb"
 264     update_site false
 265   end
 266
 267   mediawiki_extension "Nuke" do
 268     site new_resource.site
 269     update_site false
 270   end
 271
 272   mediawiki_extension "ParserFunctions" do
 273     site new_resource.site
 274     template "mw-ext-ParserFunctions.inc.php.erb"
 275     update_site false
 276   end
 277
 278   mediawiki_extension "PdfHandler" do
 279     site new_resource.site
 280     template "mw-ext-PdfHandler.inc.php.erb"
 281     update_site false
 282   end
 283
 284   mediawiki_extension "Poem" do
 285     site new_resource.site
 286     update_site false
 287   end
 288
 289   mediawiki_extension "Renameuser" do
 290     site new_resource.site
 291     update_site false
 292   end
 293
 294   mediawiki_extension "SimpleAntiSpam" do
 295     site new_resource.site
 296     update_site false
 297     action :delete
 298   end
 299
 300   mediawiki_extension "SpamBlacklist" do
 301     site new_resource.site
 302     template "mw-ext-SpamBlacklist.inc.php.erb"
 303     update_site false
 304   end
 305
 306   mediawiki_extension "SyntaxHighlight_GeSHi" do
 307     site new_resource.site
 308     template "mw-ext-SyntaxHighlight.inc.php.erb"
 309     update_site false
 310   end
 311
 312   mediawiki_extension "TitleBlacklist" do
 313     site new_resource.site
 314     template "mw-ext-TitleBlacklist.inc.php.erb"
 315     update_site false
 316   end
 317
 318   mediawiki_extension "WikiEditor" do
 319     site new_resource.site
 320     update_site false
 321   end
 322
 323   mediawiki_extension "Babel" do
 324     site new_resource.site
 325     template "mw-ext-Babel.inc.php.erb"
 326     update_site false
 327   end
 328
 329   mediawiki_extension "CategoryTree" do
 330     site new_resource.site
 331     update_site false
 332   end
 333
 334   mediawiki_extension "cldr" do
 335     site new_resource.site
 336     template "mw-ext-cldr.inc.php.erb"
 337     update_site false
 338   end
 339
 340   mediawiki_extension "CleanChanges" do
 341     site new_resource.site
 342     template "mw-ext-CleanChanges.inc.php.erb"
 343     update_site false
 344   end
 345
 346   mediawiki_extension "LocalisationUpdate" do
 347     site new_resource.site
 348     template "mw-ext-LocalisationUpdate.inc.php.erb"
 349     update_site false
 350   end
 351
 352   # mediawiki_extension "Translate" do
 353   #   site new_resource.site
 354   #   template "mw-ext-Translate.inc.php.erb"
 355   #   update_site false
 356   # end
 357
 358   mediawiki_extension "UniversalLanguageSelector" do
 359     site new_resource.site
 360     template "mw-ext-UniversalLanguageSelector.inc.php.erb"
 361     update_site false
 362   end
 363
 364   mediawiki_extension "AntiSpoof" do
 365     site new_resource.site
 366     template "mw-ext-AntiSpoof.inc.php.erb"
 367     update_site false
 368   end
 369
 370   mediawiki_extension "AbuseFilter" do
 371     site new_resource.site
 372     template "mw-ext-AbuseFilter.inc.php.erb"
 373     update_site false
 374   end
 375
 376   mediawiki_extension "CheckUser" do
 377     site new_resource.site
 378     template "mw-ext-CheckUser.inc.php.erb"
 379     update_site false
 380   end
 381
 382   mediawiki_extension "DismissableSiteNotice" do
 383     site new_resource.site
 384     update_site false
 385   end
 386
 387   mediawiki_extension "Elastica" do
 388     site new_resource.site
 389     update_site false
 390   end
 391
 392   mediawiki_extension "CirrusSearch" do
 393     site new_resource.site
 394     template "mw-ext-CirrusSearch.inc.php.erb"
 395     update_site false
 396   end
 397
 398   mediawiki_extension "osmtaginfo" do
 399     site new_resource.site
 400     repository "https://github.com/openstreetmap/osmtaginfo.git"
 401     tag "live"
 402     update_site false
 403   end
 404
 405   mediawiki_extension "OSMCALWikiWidget" do
 406     site new_resource.site
 407     repository "https://github.com/thomersch/OSMCALWikiWidget.git"
 408     tag "live"
 409     update_site false
 410   end
 411
 412   mediawiki_extension "DisableAccount" do
 413     site new_resource.site
 414     template "mw-ext-DisableAccount.inc.php.erb"
 415     update_site false
 416   end
 417
 418   mediawiki_extension "VisualEditor" do
 419     site new_resource.site
 420     template "mw-ext-VisualEditor.inc.php.erb"
 421     variables :version => new_resource.version
 422     update_site false
 423   end
 424
 425   mediawiki_extension "TemplateData" do
 426     site new_resource.site
 427     update_site false
 428   end
 429
 430   if new_resource.commons
 431     mediawiki_extension "QuickInstantCommons" do
 432       site new_resource.site
 433       update_site false
 434     end
 435   else
 436     mediawiki_extension "QuickInstantCommons" do
 437       site new_resource.site
 438       update_site false
 439       action :delete
 440     end
 441   end
 442
 443   cookbook_file "#{site_directory}/cc-wiki.png" do
 444     cookbook "mediawiki"
 445     owner node[:mediawiki][:user]
 446     group node[:mediawiki][:group]
 447     mode "644"
 448     backup false
 449   end
 450
 451   cookbook_file "#{site_directory}/googled06a989d1ccc8364.html" do
 452     cookbook "mediawiki"
 453     owner node[:mediawiki][:user]
 454     group node[:mediawiki][:group]
 455     mode "644"
 456     backup false
 457   end
 458
 459   cookbook_file "#{site_directory}/googlefac54c35e800caab.html" do
 460     cookbook "mediawiki"
 461     owner node[:mediawiki][:user]
 462     group node[:mediawiki][:group]
 463     mode "644"
 464     backup false
 465   end
 466
 467   ssl_certificate new_resource.site do
 468     domains [new_resource.site] + Array(new_resource.aliases)
 469   end
 470
 471   php_fpm new_resource.site do
 472     pm_max_children new_resource.fpm_max_children
 473     pm_start_servers new_resource.fpm_start_servers
 474     pm_min_spare_servers new_resource.fpm_min_spare_servers
 475     pm_max_spare_servers new_resource.fpm_max_spare_servers
 476     request_terminate_timeout new_resource.fpm_request_terminate_timeout
 477     php_admin_values "open_basedir" => "#{site_directory}/:/usr/share/php/:/dev/null:/tmp/"
 478     php_values "memory_limit" => "500M",
 479                "max_execution_time" => "240",
 480                "upload_max_filesize" => "70M",
 481                "post_max_size" => "100M"
 482     prometheus_port new_resource.fpm_prometheus_port
 483   end
 484
 485   apache_site new_resource.site do
 486     cookbook "mediawiki"
 487     template "apache.erb"
 488     directory site_directory
 489     variables :aliases => Array(new_resource.aliases),
 490               :private_site => new_resource.private_site
 491     reload_apache false
 492   end
 493
 494   # FIXME: needs to run one
 495   execute "#{mediawiki_directory}/extensions/CirrusSearch/maintenance/updateSearchIndexConfig.php" do
 496     action :nothing
 497     command "php extensions/CirrusSearch/maintenance/updateSearchIndexConfig.php"
 498     cwd mediawiki_directory
 499     user node[:mediawiki][:user]
 500     group node[:mediawiki][:group]
 501   end
 502 end
 503
 504 action :update do
 505   mediawiki_directory = "#{site_directory}/w"
 506
 507   execute "#{mediawiki_directory}/composer.json" do
 508     command "composer update --no-dev"
 509     cwd mediawiki_directory
 510     user node[:mediawiki][:user]
 511     group node[:mediawiki][:group]
 512     environment "COMPOSER_HOME" => site_directory
 513   end
 514
 515   template "#{mediawiki_directory}/LocalSettings.php" do
 516     cookbook "mediawiki"
 517     source "LocalSettings.php.erb"
 518     owner node[:mediawiki][:user]
 519     group node[:mediawiki][:group]
 520     mode "664"
 521     variables :name => new_resource.site,
 522               :directory => mediawiki_directory,
 523               :database_params => database_params,
 524               :mediawiki => mediawiki_params,
 525               :secret_key => secret_key
 526   end
 527
 528   execute "#{mediawiki_directory}/maintenance/update.php" do
 529     action :run
 530     command "php maintenance/update.php --quick"
 531     cwd mediawiki_directory
 532     user node[:mediawiki][:user]
 533     group node[:mediawiki][:group]
 534     timeout 86400
 535   end
 536 end
 537
 538 action :delete do
 539   apache_site new_resource.site do
 540     action :delete
 541     reload_apache false
 542   end
 543
 544   declare_resource :directory, site_directory do
 545     action :delete
 546     recursive true
 547   end
 548
 549   mysql_database new_resource.database_name do
 550     action :drop
 551   end
 552
 553   mysql_user "#{new_resource.database_user}@localhost" do
 554     action :drop
 555   end
 556 end
 557
 558 action_class do
 559   include OpenStreetMap::Mixin::PersistentToken
 560
 561   def site_directory
 562     new_resource.directory || "/srv/#{new_resource.site}"
 563   end
 564
 565   def mediawiki_reference
 566     shell_out!("git", "ls-remote", "--refs", "--sort=-version:refname",
 567                "https://gerrit.wikimedia.org/r/mediawiki/core.git",
 568                "refs/tags/#{new_resource.version}.*")
 569       .stdout
 570       .split("\n")
 571       .first
 572       .split("/")
 573       .last
 574   end
 575
 576   def cron_name
 577     new_resource.site.tr(".", "_")
 578   end
 579
 580   def database_params
 581     {
 582       :host => "localhost",
 583       :name => new_resource.database_name,
 584       :username => new_resource.database_user,
 585       :password => new_resource.database_password
 586     }
 587   end
 588
 589   def mediawiki_params
 590     {
 591       :sitename => new_resource.sitename,
 592       :metanamespace => new_resource.metanamespace,
 593       :logo => new_resource.logo,
 594       :email_contact => new_resource.email_contact,
 595       :email_sender => new_resource.email_sender,
 596       :email_sender_name => new_resource.email_sender_name,
 597       :commons => new_resource.commons,
 598       :skin => new_resource.skin,
 599       :site_notice => new_resource.site_notice,
 600       :site_readonly => new_resource.site_readonly,
 601       :extra_file_extensions => new_resource.extra_file_extensions,
 602       :private_accounts => new_resource.private_accounts,
 603       :private_site => new_resource.private_site
 604     }
 605   end
 606
 607   def secret_key
 608     persistent_token("mediawiki", new_resource.site, "wgSecretKey")
 609   end
 610 end
 611
 612 def after_created
 613   notifies :update, "mediawiki_site[#{site}]"
 614   notifies :reload, "service[apache2]" if reload_apache
 615 end