cookbooks/mediawiki/resources/site.rb

   1 #
   2 # Cookbook:: mediawiki
   3 # Resource:: mediawiki_site
   4 #
   5 # Copyright:: 2015, OpenStreetMap Foundation
   6 #
   7 # Licensed under the Apache License, Version 2.0 (the "License");
   8 # you may not use this file except in compliance with the License.
   9 # You may obtain a copy of the License at
  10 #
  11 # https://www.apache.org/licenses/LICENSE-2.0
  12 #
  13 # Unless required by applicable law or agreed to in writing, software
  14 # distributed under the License is distributed on an "AS IS" BASIS,
  15 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  16 # See the License for the specific language governing permissions and
  17 # limitations under the License.
  18 #
  19
  20 default_action :create
  21
  22 property :site, :kind_of => String, :name_property => true
  23 property :aliases, :kind_of => [String, Array]
  24 property :directory, :kind_of => String
  25 property :version, :kind_of => String, :default => "1.33"
  26 property :database_name, :kind_of => String, :required => true
  27 property :database_user, :kind_of => String, :required => [:create, :update]
  28 property :database_password, :kind_of => String, :required => [:create, :update]
  29 property :sitename, :kind_of => String, :default => "OpenStreetMap Wiki"
  30 property :metanamespace, :kind_of => String, :default => "OpenStreetMap"
  31 property :logo, :kind_of => String, :default => "$wgStylePath/common/images/wiki.png"
  32 property :email_contact, :kind_of => String, :default => ""
  33 property :email_sender, :kind_of => String, :default => ""
  34 property :email_sender_name, :kind_of => String, :default => "MediaWiki Mail"
  35 property :commons, :kind_of => [TrueClass, FalseClass], :default => true
  36 property :skin, :kind_of => String, :default => "vector"
  37 property :site_notice, :kind_of => [String, TrueClass, FalseClass], :default => false
  38 property :site_readonly, :kind_of => [String, TrueClass, FalseClass], :default => false
  39 property :admin_user, :kind_of => String, :default => "Admin"
  40 property :admin_password, :kind_of => String, :required => [:create]
  41 property :private_accounts, :kind_of => [TrueClass, FalseClass], :default => false
  42 property :private_site, :kind_of => [TrueClass, FalseClass], :default => false
  43 property :recaptcha_public_key, :kind_of => String
  44 property :recaptcha_private_key, :kind_of => String
  45 property :extra_file_extensions, :kind_of => [String, Array], :default => []
  46 property :fpm_max_children, :kind_of => Integer, :default => 5
  47 property :fpm_request_terminate_timeout, :kind_of => Integer, :default => 300
  48 property :reload_apache, :kind_of => [TrueClass, FalseClass], :default => true
  49
  50 action :create do
  51   node.default[:mediawiki][:sites][new_resource.site] = {
  52     :directory => site_directory,
  53     :version => new_resource.version
  54   }
  55
  56   secret_key = persistent_token("mediawiki", new_resource.site, "wgSecretKey")
  57
  58   mysql_user "#{new_resource.database_user}@localhost" do
  59     password new_resource.database_password
  60   end
  61
  62   mysql_database new_resource.database_name do
  63     permissions "#{new_resource.database_user}@localhost" => :all
  64   end
  65
  66   mediawiki_directory = "#{site_directory}/w"
  67
  68   ruby_block "rename-installer-localsettings" do
  69     action :nothing
  70     block do
  71       ::File.rename("#{mediawiki_directory}/LocalSettings.php", "#{mediawiki_directory}/LocalSettings-install.php")
  72     end
  73   end
  74
  75   execute "#{mediawiki_directory}/maintenance/install.php" do
  76     action :nothing
  77     # Use metanamespace as Site Name to ensure correct set namespace
  78     command "php maintenance/install.php --server '#{name}' --dbtype 'mysql' --dbname '#{new_resource.database_name}' --dbuser '#{new_resource.database_user}' --dbpass '#{new_resource.database_password}' --dbserver 'localhost' --scriptpath /w --pass '#{new_resource.admin_password}' '#{new_resource.metanamespace}' '#{new_resource.admin_user}'"
  79     cwd mediawiki_directory
  80     user node[:mediawiki][:user]
  81     group node[:mediawiki][:group]
  82     not_if do
  83       ::File.exist?("#{mediawiki_directory}/LocalSettings-install.php")
  84     end
  85     notifies :run, "ruby_block[rename-installer-localsettings]", :immediately
  86   end
  87
  88   execute "#{mediawiki_directory}/maintenance/update.php" do
  89     action :nothing
  90     command "php maintenance/update.php --quick"
  91     cwd mediawiki_directory
  92     user node[:mediawiki][:user]
  93     group node[:mediawiki][:group]
  94   end
  95
  96   declare_resource :directory, site_directory do
  97     owner node[:mediawiki][:user]
  98     group node[:mediawiki][:group]
  99     mode "775"
 100   end
 101
 102   declare_resource :directory, mediawiki_directory do
 103     owner node[:mediawiki][:user]
 104     group node[:mediawiki][:group]
 105     mode "775"
 106   end
 107
 108   mediawiki_reference = "REL#{new_resource.version}".tr(".", "_")
 109
 110   git mediawiki_directory do
 111     action :sync
 112     repository "https://gerrit.wikimedia.org/r/p/mediawiki/core.git"
 113     revision mediawiki_reference
 114     depth 1
 115     user node[:mediawiki][:user]
 116     group node[:mediawiki][:group]
 117     notifies :run, "execute[#{mediawiki_directory}/composer.json]", :immediately
 118     notifies :run, "execute[#{mediawiki_directory}/maintenance/install.php]", :immediately
 119     notifies :run, "execute[#{mediawiki_directory}/maintenance/update.php]"
 120   end
 121
 122   execute "#{mediawiki_directory}/composer.json" do
 123     action :nothing
 124     command "composer update --no-dev"
 125     cwd mediawiki_directory
 126     user node[:mediawiki][:user]
 127     group node[:mediawiki][:group]
 128   end
 129
 130   template "#{mediawiki_directory}/composer.local.json" do
 131     cookbook "mediawiki"
 132     source "composer.local.json.erb"
 133     owner node[:mediawiki][:user]
 134     group node[:mediawiki][:group]
 135     mode "664"
 136   end
 137
 138   # Safety catch if git doesn't update but install.php hasn't run
 139   ruby_block "catch-installer-localsettings-run" do
 140     action :run
 141     block do
 142     end
 143     not_if do
 144       ::File.exist?("#{mediawiki_directory}/LocalSettings-install.php")
 145     end
 146     notifies :run, "execute[#{mediawiki_directory}/maintenance/install.php]", :immediately
 147   end
 148
 149   declare_resource :directory, "#{mediawiki_directory}/images" do
 150     owner "www-data"
 151     group node[:mediawiki][:group]
 152     mode "775"
 153   end
 154
 155   declare_resource :directory, "#{mediawiki_directory}/cache" do
 156     owner "www-data"
 157     group node[:mediawiki][:group]
 158     mode "775"
 159   end
 160
 161   declare_resource :directory, "#{mediawiki_directory}/LocalSettings.d" do
 162     user node[:mediawiki][:user]
 163     group node[:mediawiki][:group]
 164     mode "775"
 165   end
 166
 167   template "#{mediawiki_directory}/LocalSettings.php" do
 168     cookbook "mediawiki"
 169     source "LocalSettings.php.erb"
 170     owner node[:mediawiki][:user]
 171     group node[:mediawiki][:group]
 172     mode "664"
 173     variables :name => new_resource.site,
 174               :directory => mediawiki_directory,
 175               :database_params => database_params,
 176               :mediawiki => mediawiki_params,
 177               :secret_key => secret_key
 178     notifies :run, "execute[#{mediawiki_directory}/maintenance/update.php]"
 179   end
 180
 181   cron_d "mediawiki-#{cron_name}-sitemap" do
 182     comment "Generate sitemap.xml daily"
 183     minute "30"
 184     hour "0"
 185     user node[:mediawiki][:user]
 186     command "/usr/bin/nice /usr/bin/php -d memory_limit=2048M -d error_reporting=22517 #{site_directory}/w/maintenance/generateSitemap.php --server=https://#{new_resource.site} --urlpath=https://#{new_resource.site}/ --fspath=#{site_directory} --quiet --skip-redirects"
 187   end
 188
 189   cron_d "mediawiki-#{cron_name}-jobs" do
 190     comment "Run mediawiki jobs"
 191     minute "*/3"
 192     user node[:mediawiki][:user]
 193     command "/usr/bin/nice /usr/bin/php -d memory_limit=2048M -d error_reporting=22517 #{site_directory}/w/maintenance/runJobs.php --server=https://#{new_resource.site} --maxtime=160 --memory-limit=2048M --procs=8 --quiet"
 194   end
 195
 196   cron_d "mediawiki-#{cron_name}-email-jobs" do
 197     comment "Run mediawiki email jobs"
 198     user node[:mediawiki][:user]
 199     command "/usr/bin/nice /usr/bin/php -d memory_limit=2048M -d error_reporting=22517 #{site_directory}/w/maintenance/runJobs.php --server=https://#{new_resource.site} --maxtime=30 --type=enotifNotify --memory-limit=2048M --procs=4 --quiet"
 200   end
 201
 202   cron_d "mediawiki-#{cron_name}-refresh-links" do
 203     comment "Run mediawiki refresh links table weekly"
 204     minute "5"
 205     hour "0"
 206     weekday "0"
 207     user node[:mediawiki][:user]
 208     command "/usr/bin/nice /usr/bin/php -d memory_limit=2048M -d error_reporting=22517 #{site_directory}/w/maintenance/refreshLinks.php --server=https://#{new_resource.site} --memory-limit=2048M --quiet"
 209   end
 210
 211   cron_d "mediawiki-#{cron_name}-cleanup-gs" do
 212     comment "Clean up imagemagick garbage"
 213     minute "10"
 214     hour "2"
 215     user node[:mediawiki][:user]
 216     command "/usr/bin/find /tmp/ -maxdepth 1 -type f -user www-data -mmin +90 -name 'gs_*' -delete"
 217   end
 218
 219   cron_d "mediawiki-#{cron_name}-cleanup-magick" do
 220     comment "Clean up imagemagick garbage"
 221     minute "20"
 222     hour "2"
 223     user node[:mediawiki][:user]
 224     command "/usr/bin/find /tmp/ -maxdepth 1 -type f -user www-data -mmin +90 -name 'magick-*' -delete"
 225   end
 226
 227   template "/etc/cron.daily/mediawiki-#{cron_name}-backup" do
 228     cookbook "mediawiki"
 229     source "mediawiki-backup.cron.erb"
 230     owner "root"
 231     group "root"
 232     mode "700"
 233     variables :name => new_resource.site,
 234               :directory => site_directory,
 235               :database_params => database_params
 236   end
 237
 238   # MobileFrontend extension is required by MinervaNeue skin
 239   mediawiki_extension "MobileFrontend" do
 240     site new_resource.site
 241     template "mw-ext-MobileFrontend.inc.php.erb"
 242   end
 243
 244   # MobileFrontend extension is required by MinervaNeue skin
 245   mediawiki_skin "MinervaNeue" do
 246     site new_resource.site
 247     update_site false
 248     legacy false
 249   end
 250
 251   mediawiki_skin "CologneBlue" do
 252     site new_resource.site
 253     update_site false
 254     legacy false
 255   end
 256
 257   mediawiki_skin "Modern" do
 258     site new_resource.site
 259     update_site false
 260     legacy false
 261   end
 262
 263   mediawiki_skin "MonoBook" do
 264     site new_resource.site
 265     update_site false
 266     legacy false
 267   end
 268
 269   mediawiki_skin "Vector" do
 270     site new_resource.site
 271     update_site false
 272     legacy false
 273   end
 274
 275   mediawiki_extension "Cite" do
 276     site new_resource.site
 277     update_site false
 278   end
 279
 280   mediawiki_extension "CiteThisPage" do
 281     site new_resource.site
 282     update_site false
 283   end
 284
 285   if new_resource.private_accounts || new_resource.private_site
 286     mediawiki_extension "ConfirmEdit" do
 287       site new_resource.site
 288       update_site false
 289       action :delete
 290     end
 291   else
 292     mediawiki_extension "ConfirmEdit" do
 293       site new_resource.site
 294       template "mw-ext-ConfirmEdit.inc.php.erb"
 295       variables :public_key => new_resource.recaptcha_public_key,
 296                 :private_key => new_resource.recaptcha_private_key
 297       update_site false
 298     end
 299   end
 300
 301   mediawiki_extension "Gadgets" do
 302     site new_resource.site
 303     update_site false
 304   end
 305
 306   mediawiki_extension "ImageMap" do
 307     site new_resource.site
 308     update_site false
 309   end
 310
 311   mediawiki_extension "InputBox" do
 312     site new_resource.site
 313     update_site false
 314   end
 315
 316   mediawiki_extension "Interwiki" do
 317     site new_resource.site
 318     template "mw-ext-Interwiki.inc.php.erb"
 319     update_site false
 320   end
 321
 322   mediawiki_extension "Nuke" do
 323     site new_resource.site
 324     update_site false
 325   end
 326
 327   mediawiki_extension "ParserFunctions" do
 328     site new_resource.site
 329     template "mw-ext-ParserFunctions.inc.php.erb"
 330     update_site false
 331   end
 332
 333   mediawiki_extension "PdfHandler" do
 334     site new_resource.site
 335     template "mw-ext-PdfHandler.inc.php.erb"
 336     update_site false
 337   end
 338
 339   mediawiki_extension "Poem" do
 340     site new_resource.site
 341     update_site false
 342   end
 343
 344   mediawiki_extension "Renameuser" do
 345     site new_resource.site
 346     update_site false
 347   end
 348
 349   mediawiki_extension "SimpleAntiSpam" do
 350     site new_resource.site
 351     update_site false
 352     action :delete
 353   end
 354
 355   mediawiki_extension "SpamBlacklist" do
 356     site new_resource.site
 357     template "mw-ext-SpamBlacklist.inc.php.erb"
 358     update_site false
 359   end
 360
 361   mediawiki_extension "SyntaxHighlight_GeSHi" do
 362     site new_resource.site
 363     template "mw-ext-SyntaxHighlight.inc.php.erb"
 364     update_site false
 365   end
 366
 367   mediawiki_extension "TitleBlacklist" do
 368     site new_resource.site
 369     template "mw-ext-TitleBlacklist.inc.php.erb"
 370     update_site false
 371   end
 372
 373   mediawiki_extension "WikiEditor" do
 374     site new_resource.site
 375     update_site false
 376   end
 377
 378   mediawiki_extension "Babel" do
 379     site new_resource.site
 380     template "mw-ext-Babel.inc.php.erb"
 381     update_site false
 382   end
 383
 384   mediawiki_extension "cldr" do
 385     site new_resource.site
 386     template "mw-ext-cldr.inc.php.erb"
 387     update_site false
 388   end
 389
 390   mediawiki_extension "CleanChanges" do
 391     site new_resource.site
 392     template "mw-ext-CleanChanges.inc.php.erb"
 393     update_site false
 394   end
 395
 396   mediawiki_extension "LocalisationUpdate" do
 397     site new_resource.site
 398     template "mw-ext-LocalisationUpdate.inc.php.erb"
 399     update_site false
 400   end
 401
 402   # mediawiki_extension "Translate" do
 403   #   site new_resource.site
 404   #   template "mw-ext-Translate.inc.php.erb"
 405   #   update_site false
 406   # end
 407
 408   mediawiki_extension "UniversalLanguageSelector" do
 409     site new_resource.site
 410     template "mw-ext-UniversalLanguageSelector.inc.php.erb"
 411     update_site false
 412   end
 413
 414   mediawiki_extension "AntiSpoof" do
 415     site new_resource.site
 416     template "mw-ext-AntiSpoof.inc.php.erb"
 417     update_site false
 418   end
 419
 420   mediawiki_extension "AbuseFilter" do
 421     site new_resource.site
 422     template "mw-ext-AbuseFilter.inc.php.erb"
 423     update_site false
 424   end
 425
 426   mediawiki_extension "CheckUser" do
 427     site new_resource.site
 428     template "mw-ext-CheckUser.inc.php.erb"
 429     update_site false
 430   end
 431
 432   mediawiki_extension "DismissableSiteNotice" do
 433     site new_resource.site
 434     update_site false
 435   end
 436
 437   mediawiki_extension "Elastica" do
 438     site new_resource.site
 439     update_site false
 440   end
 441
 442   mediawiki_extension "CirrusSearch" do
 443     site new_resource.site
 444     template "mw-ext-CirrusSearch.inc.php.erb"
 445     update_site false
 446   end
 447
 448   mediawiki_extension "osmtaginfo" do
 449     site new_resource.site
 450     template "mw-ext-osmtaginfo.inc.php.erb"
 451     repository "https://github.com/Firefishy/osmtaginfo.git"
 452     tag "live"
 453     update_site false
 454   end
 455
 456   mediawiki_extension "SimpleMap" do
 457     site new_resource.site
 458     template "mw-ext-SimpleMap.inc.php.erb"
 459     repository "https://github.com/Firefishy/SimpleMap.git"
 460     tag "live"
 461     update_site false
 462   end
 463
 464   mediawiki_extension "SlippyMap" do
 465     site new_resource.site
 466     template "mw-ext-SlippyMap.inc.php.erb"
 467     repository "https://github.com/Firefishy/SlippyMap.git"
 468     tag "live"
 469     update_site false
 470     action :delete
 471   end
 472
 473   mediawiki_extension "Mantle" do
 474     site new_resource.site
 475     update_site false
 476     action :delete
 477   end
 478
 479   mediawiki_extension "DisableAccount" do
 480     site new_resource.site
 481     template "mw-ext-DisableAccount.inc.php.erb"
 482     update_site false
 483   end
 484
 485   mediawiki_extension "VisualEditor" do
 486     site new_resource.site
 487     template "mw-ext-VisualEditor.inc.php.erb"
 488     update_site false
 489   end
 490
 491   mediawiki_extension "TemplateData" do
 492     site new_resource.site
 493     update_site false
 494   end
 495
 496   cookbook_file "#{site_directory}/cc-wiki.png" do
 497     cookbook "mediawiki"
 498     owner node[:mediawiki][:user]
 499     group node[:mediawiki][:group]
 500     mode "644"
 501     backup false
 502   end
 503
 504   cookbook_file "#{site_directory}/googled06a989d1ccc8364.html" do
 505     cookbook "mediawiki"
 506     owner node[:mediawiki][:user]
 507     group node[:mediawiki][:group]
 508     mode "644"
 509     backup false
 510   end
 511
 512   cookbook_file "#{site_directory}/googlefac54c35e800caab.html" do
 513     cookbook "mediawiki"
 514     owner node[:mediawiki][:user]
 515     group node[:mediawiki][:group]
 516     mode "644"
 517     backup false
 518   end
 519
 520   ssl_certificate new_resource.site do
 521     domains [new_resource.site] + Array(new_resource.aliases)
 522   end
 523
 524   php_fpm new_resource.site do
 525     pm_max_children new_resource.fpm_max_children
 526     request_terminate_timeout new_resource.fpm_request_terminate_timeout
 527     php_admin_values "open_basedir" => "#{site_directory}/:/usr/share/php/:/dev/null:/tmp/"
 528     php_values "memory_limit" => "500M",
 529                "max_execution_time" => "240",
 530                "upload_max_filesize" => "70M",
 531                "post_max_size" => "100M"
 532   end
 533
 534   apache_site new_resource.site do
 535     cookbook "mediawiki"
 536     template "apache.erb"
 537     directory site_directory
 538     variables :aliases => Array(new_resource.aliases),
 539               :private_site => new_resource.private_site
 540     reload_apache false
 541   end
 542
 543   # FIXME: needs to run one
 544   execute "#{mediawiki_directory}/extensions/CirrusSearch/maintenance/updateSearchIndexConfig.php" do
 545     action :nothing
 546     command "php extensions/CirrusSearch/maintenance/updateSearchIndexConfig.php"
 547     cwd mediawiki_directory
 548     user node[:mediawiki][:user]
 549     group node[:mediawiki][:group]
 550   end
 551 end
 552
 553 action :update do
 554   mediawiki_directory = "#{site_directory}/w"
 555
 556   template "#{mediawiki_directory}/LocalSettings.php" do
 557     cookbook "mediawiki"
 558     source "LocalSettings.php.erb"
 559     owner node[:mediawiki][:user]
 560     group node[:mediawiki][:group]
 561     mode "664"
 562     variables :name => new_resource.site,
 563               :directory => mediawiki_directory,
 564               :database_params => database_params,
 565               :mediawiki => mediawiki_params
 566     notifies :run, "execute[#{mediawiki_directory}/maintenance/update.php]"
 567   end
 568
 569   execute "#{mediawiki_directory}/maintenance/update.php" do
 570     action :run
 571     command "php maintenance/update.php --quick"
 572     cwd mediawiki_directory
 573     user node[:mediawiki][:user]
 574     group node[:mediawiki][:group]
 575   end
 576 end
 577
 578 action :delete do
 579   apache_site new_resource.site do
 580     action :delete
 581     reload_apache false
 582   end
 583
 584   declare_resource :directory, site_directory do
 585     action :delete
 586     recursive true
 587   end
 588
 589   mysql_database new_resource.database_name do
 590     action :drop
 591   end
 592
 593   mysql_user "#{new_resource.database_user}@localhost" do
 594     action :drop
 595   end
 596 end
 597
 598 action_class do
 599   include Chef::Mixin::PersistentToken
 600
 601   def site_directory
 602     new_resource.directory || "/srv/#{new_resource.site}"
 603   end
 604
 605   def cron_name
 606     new_resource.site.tr(".", "_")
 607   end
 608
 609   def database_params
 610     {
 611       :host => "localhost",
 612       :name => new_resource.database_name,
 613       :username => new_resource.database_user,
 614       :password => new_resource.database_password
 615     }
 616   end
 617
 618   def mediawiki_params
 619     {
 620       :sitename => new_resource.sitename,
 621       :metanamespace => new_resource.metanamespace,
 622       :logo => new_resource.logo,
 623       :email_contact => new_resource.email_contact,
 624       :email_sender => new_resource.email_sender,
 625       :email_sender_name => new_resource.email_sender_name,
 626       :commons => new_resource.commons,
 627       :skin => new_resource.skin,
 628       :site_notice => new_resource.site_notice,
 629       :site_readonly => new_resource.site_readonly,
 630       :extra_file_extensions => new_resource.extra_file_extensions,
 631       :private_accounts => new_resource.private_accounts,
 632       :private_site => new_resource.private_site
 633     }
 634   end
 635 end
 636
 637 def after_created
 638   notifies :reload, "service[apache2]" if reload_apache
 639 end