test/controllers/api/changesets_controller_test.rb

   1 require "test_helper"
   2
   3 module Api
   4   class ChangesetsControllerTest < ActionDispatch::IntegrationTest
   5     ##
   6     # test all routes which lead to this controller
   7     def test_routes
   8       assert_routing(
   9         { :path => "/api/0.6/changesets", :method => :get },
  10         { :controller => "api/changesets", :action => "index" }
  11       )
  12       assert_routing(
  13         { :path => "/api/0.6/changesets.json", :method => :get },
  14         { :controller => "api/changesets", :action => "index", :format => "json" }
  15       )
  16       assert_routing(
  17         { :path => "/api/0.6/changesets", :method => :post },
  18         { :controller => "api/changesets", :action => "create" }
  19       )
  20       assert_routing(
  21         { :path => "/api/0.6/changeset/1", :method => :get },
  22         { :controller => "api/changesets", :action => "show", :id => "1" }
  23       )
  24       assert_routing(
  25         { :path => "/api/0.6/changeset/1.json", :method => :get },
  26         { :controller => "api/changesets", :action => "show", :id => "1", :format => "json" }
  27       )
  28       assert_routing(
  29         { :path => "/api/0.6/changeset/1", :method => :put },
  30         { :controller => "api/changesets", :action => "update", :id => "1" }
  31       )
  32
  33       assert_recognizes(
  34         { :controller => "api/changesets", :action => "create" },
  35         { :path => "/api/0.6/changeset/create", :method => :put }
  36       )
  37     end
  38
  39     ##
  40     # test the query functionality of changesets
  41     def test_index
  42       private_user = create(:user, :data_public => false)
  43       private_user_changeset = create(:changeset, :user => private_user)
  44       private_user_closed_changeset = create(:changeset, :closed, :user => private_user)
  45       user = create(:user)
  46       changeset = create(:changeset, :user => user)
  47       closed_changeset = create(:changeset, :closed, :user => user, :created_at => Time.utc(2008, 1, 1, 0, 0, 0), :closed_at => Time.utc(2008, 1, 2, 0, 0, 0))
  48       changeset2 = create(:changeset, :bbox => [5, 5, 15, 15])
  49       changeset3 = create(:changeset, :bbox => [4.5, 4.5, 5, 5])
  50
  51       get api_changesets_path(:bbox => "-10,-10, 10, 10")
  52       assert_response :success, "can't get changesets in bbox"
  53       assert_changesets_in_order [changeset3, changeset2]
  54
  55       get api_changesets_path(:bbox => "4.5,4.5,4.6,4.6")
  56       assert_response :success, "can't get changesets in bbox"
  57       assert_changesets_in_order [changeset3]
  58
  59       # not found when looking for changesets of non-existing users
  60       get api_changesets_path(:user => User.maximum(:id) + 1)
  61       assert_response :not_found
  62       assert_equal "text/plain", @response.media_type
  63       get api_changesets_path(:display_name => " ")
  64       assert_response :not_found
  65       assert_equal "text/plain", @response.media_type
  66
  67       # can't get changesets of user 1 without authenticating
  68       get api_changesets_path(:user => private_user.id)
  69       assert_response :not_found, "shouldn't be able to get changesets by non-public user (ID)"
  70       get api_changesets_path(:display_name => private_user.display_name)
  71       assert_response :not_found, "shouldn't be able to get changesets by non-public user (name)"
  72
  73       # but this should work
  74       auth_header = bearer_authorization_header private_user
  75       get api_changesets_path(:user => private_user.id), :headers => auth_header
  76       assert_response :success, "can't get changesets by user ID"
  77       assert_changesets_in_order [private_user_changeset, private_user_closed_changeset]
  78
  79       get api_changesets_path(:display_name => private_user.display_name), :headers => auth_header
  80       assert_response :success, "can't get changesets by user name"
  81       assert_changesets_in_order [private_user_changeset, private_user_closed_changeset]
  82
  83       # test json endpoint
  84       get api_changesets_path(:display_name => private_user.display_name), :headers => auth_header, :params => { :format => "json" }
  85       assert_response :success, "can't get changesets by user name"
  86
  87       js = ActiveSupport::JSON.decode(@response.body)
  88       assert_not_nil js
  89
  90       assert_equal Settings.api_version, js["version"]
  91       assert_equal Settings.generator, js["generator"]
  92       assert_equal 2, js["changesets"].count
  93
  94       # check that the correct error is given when we provide both UID and name
  95       get api_changesets_path(:user => private_user.id,
  96                               :display_name => private_user.display_name), :headers => auth_header
  97       assert_response :bad_request, "should be a bad request to have both ID and name specified"
  98
  99       get api_changesets_path(:user => private_user.id, :open => true), :headers => auth_header
 100       assert_response :success, "can't get changesets by user and open"
 101       assert_changesets_in_order [private_user_changeset]
 102
 103       get api_changesets_path(:time => "2007-12-31"), :headers => auth_header
 104       assert_response :success, "can't get changesets by time-since"
 105       assert_changesets_in_order [changeset3, changeset2, changeset, private_user_changeset, private_user_closed_changeset, closed_changeset]
 106
 107       get api_changesets_path(:time => "2008-01-01T12:34Z"), :headers => auth_header
 108       assert_response :success, "can't get changesets by time-since with hour"
 109       assert_changesets_in_order [changeset3, changeset2, changeset, private_user_changeset, private_user_closed_changeset, closed_changeset]
 110
 111       get api_changesets_path(:time => "2007-12-31T23:59Z,2008-01-02T00:01Z"), :headers => auth_header
 112       assert_response :success, "can't get changesets by time-range"
 113       assert_changesets_in_order [closed_changeset]
 114
 115       get api_changesets_path(:open => "true"), :headers => auth_header
 116       assert_response :success, "can't get changesets by open-ness"
 117       assert_changesets_in_order [changeset3, changeset2, changeset, private_user_changeset]
 118
 119       get api_changesets_path(:closed => "true"), :headers => auth_header
 120       assert_response :success, "can't get changesets by closed-ness"
 121       assert_changesets_in_order [private_user_closed_changeset, closed_changeset]
 122
 123       get api_changesets_path(:closed => "true", :user => private_user.id), :headers => auth_header
 124       assert_response :success, "can't get changesets by closed-ness and user"
 125       assert_changesets_in_order [private_user_closed_changeset]
 126
 127       get api_changesets_path(:closed => "true", :user => user.id), :headers => auth_header
 128       assert_response :success, "can't get changesets by closed-ness and user"
 129       assert_changesets_in_order [closed_changeset]
 130
 131       get api_changesets_path(:changesets => "#{private_user_changeset.id},#{changeset.id},#{closed_changeset.id}"), :headers => auth_header
 132       assert_response :success, "can't get changesets by id (as comma-separated string)"
 133       assert_changesets_in_order [changeset, private_user_changeset, closed_changeset]
 134
 135       get api_changesets_path(:changesets => ""), :headers => auth_header
 136       assert_response :bad_request, "should be a bad request since changesets is empty"
 137     end
 138
 139     ##
 140     # test the query functionality of changesets with the limit parameter
 141     def test_index_limit
 142       user = create(:user)
 143       changeset1 = create(:changeset, :closed, :user => user, :created_at => Time.utc(2008, 1, 1, 0, 0, 0), :closed_at => Time.utc(2008, 1, 2, 0, 0, 0))
 144       changeset2 = create(:changeset, :closed, :user => user, :created_at => Time.utc(2008, 2, 1, 0, 0, 0), :closed_at => Time.utc(2008, 2, 2, 0, 0, 0))
 145       changeset3 = create(:changeset, :closed, :user => user, :created_at => Time.utc(2008, 3, 1, 0, 0, 0), :closed_at => Time.utc(2008, 3, 2, 0, 0, 0))
 146       changeset4 = create(:changeset, :closed, :user => user, :created_at => Time.utc(2008, 4, 1, 0, 0, 0), :closed_at => Time.utc(2008, 4, 2, 0, 0, 0))
 147       changeset5 = create(:changeset, :closed, :user => user, :created_at => Time.utc(2008, 5, 1, 0, 0, 0), :closed_at => Time.utc(2008, 5, 2, 0, 0, 0))
 148
 149       get api_changesets_path
 150       assert_response :success
 151       assert_changesets_in_order [changeset5, changeset4, changeset3, changeset2, changeset1]
 152
 153       get api_changesets_path(:limit => "3")
 154       assert_response :success
 155       assert_changesets_in_order [changeset5, changeset4, changeset3]
 156
 157       get api_changesets_path(:limit => "0")
 158       assert_response :bad_request
 159
 160       get api_changesets_path(:limit => Settings.max_changeset_query_limit)
 161       assert_response :success
 162       assert_changesets_in_order [changeset5, changeset4, changeset3, changeset2, changeset1]
 163
 164       get api_changesets_path(:limit => Settings.max_changeset_query_limit + 1)
 165       assert_response :bad_request
 166     end
 167
 168     ##
 169     # test the query functionality of sequential changesets with order and time parameters
 170     def test_index_order
 171       user = create(:user)
 172       changeset1 = create(:changeset, :closed, :user => user, :created_at => Time.utc(2008, 1, 1, 0, 0, 0), :closed_at => Time.utc(2008, 1, 2, 0, 0, 0))
 173       changeset2 = create(:changeset, :closed, :user => user, :created_at => Time.utc(2008, 2, 1, 0, 0, 0), :closed_at => Time.utc(2008, 2, 2, 0, 0, 0))
 174       changeset3 = create(:changeset, :closed, :user => user, :created_at => Time.utc(2008, 3, 1, 0, 0, 0), :closed_at => Time.utc(2008, 3, 2, 0, 0, 0))
 175       changeset4 = create(:changeset, :closed, :user => user, :created_at => Time.utc(2008, 4, 1, 0, 0, 0), :closed_at => Time.utc(2008, 4, 2, 0, 0, 0))
 176       changeset5 = create(:changeset, :closed, :user => user, :created_at => Time.utc(2008, 5, 1, 0, 0, 0), :closed_at => Time.utc(2008, 5, 2, 0, 0, 0))
 177       changeset6 = create(:changeset, :closed, :user => user, :created_at => Time.utc(2008, 6, 1, 0, 0, 0), :closed_at => Time.utc(2008, 6, 2, 0, 0, 0))
 178
 179       get api_changesets_path
 180       assert_response :success
 181       assert_changesets_in_order [changeset6, changeset5, changeset4, changeset3, changeset2, changeset1]
 182
 183       get api_changesets_path(:order => "oldest")
 184       assert_response :success
 185       assert_changesets_in_order [changeset1, changeset2, changeset3, changeset4, changeset5, changeset6]
 186
 187       [
 188         # lower time bound at the opening time of a changeset
 189         ["2008-02-01T00:00:00Z", "2008-05-15T00:00:00Z", [changeset5, changeset4, changeset3, changeset2], [changeset5, changeset4, changeset3, changeset2]],
 190         # lower time bound in the middle of a changeset
 191         ["2008-02-01T12:00:00Z", "2008-05-15T00:00:00Z", [changeset5, changeset4, changeset3, changeset2], [changeset5, changeset4, changeset3]],
 192         # lower time bound at the closing time of a changeset
 193         ["2008-02-02T00:00:00Z", "2008-05-15T00:00:00Z", [changeset5, changeset4, changeset3, changeset2], [changeset5, changeset4, changeset3]],
 194         # lower time bound after the closing time of a changeset
 195         ["2008-02-02T00:00:01Z", "2008-05-15T00:00:00Z", [changeset5, changeset4, changeset3], [changeset5, changeset4, changeset3]],
 196         # upper time bound in the middle of a changeset
 197         ["2007-09-09T12:00:00Z", "2008-04-01T12:00:00Z", [changeset4, changeset3, changeset2, changeset1], [changeset4, changeset3, changeset2, changeset1]],
 198         # empty range
 199         ["2009-02-02T00:00:01Z", "2018-05-15T00:00:00Z", [], []]
 200       ].each do |from, to, interval_changesets, point_changesets|
 201         get api_changesets_path(:time => "#{from},#{to}")
 202         assert_response :success
 203         assert_changesets_in_order interval_changesets
 204
 205         get api_changesets_path(:from => from, :to => to)
 206         assert_response :success
 207         assert_changesets_in_order point_changesets
 208
 209         get api_changesets_path(:from => from, :to => to, :order => "oldest")
 210         assert_response :success
 211         assert_changesets_in_order point_changesets.reverse
 212       end
 213     end
 214
 215     ##
 216     # test the query functionality of overlapping changesets with order and time parameters
 217     def test_index_order_overlapping
 218       user = create(:user)
 219       changeset1 = create(:changeset, :closed, :user => user, :created_at => Time.utc(2015, 6, 4, 17, 0, 0), :closed_at => Time.utc(2015, 6, 4, 17, 0, 0))
 220       changeset2 = create(:changeset, :closed, :user => user, :created_at => Time.utc(2015, 6, 4, 16, 0, 0), :closed_at => Time.utc(2015, 6, 4, 18, 0, 0))
 221       changeset3 = create(:changeset, :closed, :user => user, :created_at => Time.utc(2015, 6, 4, 14, 0, 0), :closed_at => Time.utc(2015, 6, 4, 20, 0, 0))
 222       changeset4 = create(:changeset, :closed, :user => user, :created_at => Time.utc(2015, 6, 3, 23, 0, 0), :closed_at => Time.utc(2015, 6, 4, 23, 0, 0))
 223       create(:changeset, :closed, :user => user, :created_at => Time.utc(2015, 6, 2, 23, 0, 0), :closed_at => Time.utc(2015, 6, 3, 23, 0, 0))
 224
 225       get api_changesets_path(:time => "2015-06-04T00:00:00Z")
 226       assert_response :success
 227       assert_changesets_in_order [changeset1, changeset2, changeset3, changeset4]
 228
 229       get api_changesets_path(:from => "2015-06-04T00:00:00Z")
 230       assert_response :success
 231       assert_changesets_in_order [changeset1, changeset2, changeset3]
 232
 233       get api_changesets_path(:from => "2015-06-04T00:00:00Z", :order => "oldest")
 234       assert_response :success
 235       assert_changesets_in_order [changeset3, changeset2, changeset1]
 236
 237       get api_changesets_path(:time => "2015-06-04T16:00:00Z,2015-06-04T17:30:00Z")
 238       assert_response :success
 239       assert_changesets_in_order [changeset1, changeset2, changeset3, changeset4]
 240
 241       get api_changesets_path(:from => "2015-06-04T16:00:00Z", :to => "2015-06-04T17:30:00Z")
 242       assert_response :success
 243       assert_changesets_in_order [changeset1, changeset2]
 244
 245       get api_changesets_path(:from => "2015-06-04T16:00:00Z", :to => "2015-06-04T17:30:00Z", :order => "oldest")
 246       assert_response :success
 247       assert_changesets_in_order [changeset2, changeset1]
 248     end
 249
 250     ##
 251     # check that errors are returned if garbage is inserted
 252     # into query strings
 253     def test_index_invalid
 254       ["abracadabra!",
 255        "1,2,3,F",
 256        ";drop table users;"].each do |bbox|
 257         get api_changesets_path(:bbox => bbox)
 258         assert_response :bad_request, "'#{bbox}' isn't a bbox"
 259       end
 260
 261       ["now()",
 262        "00-00-00",
 263        ";drop table users;",
 264        ",",
 265        "-,-"].each do |time|
 266         get api_changesets_path(:time => time)
 267         assert_response :bad_request, "'#{time}' isn't a valid time range"
 268       end
 269
 270       ["me",
 271        "foobar",
 272        "-1",
 273        "0"].each do |uid|
 274         get api_changesets_path(:user => uid)
 275         assert_response :bad_request, "'#{uid}' isn't a valid user ID"
 276       end
 277
 278       get api_changesets_path(:order => "oldest", :time => "2008-01-01T00:00Z,2018-01-01T00:00Z")
 279       assert_response :bad_request, "cannot use order=oldest with time"
 280     end
 281
 282     # -----------------------
 283     # Test simple changeset creation
 284     # -----------------------
 285
 286     def test_create
 287       auth_header = bearer_authorization_header create(:user, :data_public => false)
 288       # Create the first user's changeset
 289       xml = "<osm><changeset>" \
 290             "<tag k='created_by' v='osm test suite checking changesets'/>" \
 291             "</changeset></osm>"
 292       post api_changesets_path, :params => xml, :headers => auth_header
 293       assert_require_public_data
 294
 295       auth_header = bearer_authorization_header
 296       # Create the first user's changeset
 297       xml = "<osm><changeset>" \
 298             "<tag k='created_by' v='osm test suite checking changesets'/>" \
 299             "</changeset></osm>"
 300       post api_changesets_path, :params => xml, :headers => auth_header
 301
 302       assert_response :success, "Creation of changeset did not return success status"
 303       newid = @response.body.to_i
 304
 305       # check end time, should be an hour ahead of creation time
 306       cs = Changeset.find(newid)
 307       duration = cs.closed_at - cs.created_at
 308       # the difference can either be a rational, or a floating point number
 309       # of seconds, depending on the code path taken :-(
 310       if duration.instance_of?(Rational)
 311         assert_equal Rational(1, 24), duration, "initial idle timeout should be an hour (#{cs.created_at} -> #{cs.closed_at})"
 312       else
 313         # must be number of seconds...
 314         assert_equal 3600, duration.round, "initial idle timeout should be an hour (#{cs.created_at} -> #{cs.closed_at})"
 315       end
 316
 317       # checks if uploader was subscribed
 318       assert_equal 1, cs.subscribers.length
 319     end
 320
 321     def test_create_invalid
 322       auth_header = bearer_authorization_header create(:user, :data_public => false)
 323       xml = "<osm><changeset></osm>"
 324       post api_changesets_path, :params => xml, :headers => auth_header
 325       assert_require_public_data
 326
 327       ## Try the public user
 328       auth_header = bearer_authorization_header
 329       xml = "<osm><changeset></osm>"
 330       post api_changesets_path, :params => xml, :headers => auth_header
 331       assert_response :bad_request, "creating a invalid changeset should fail"
 332     end
 333
 334     def test_create_invalid_no_content
 335       ## First check with no auth
 336       post api_changesets_path
 337       assert_response :unauthorized, "shouldn't be able to create a changeset with no auth"
 338
 339       ## Now try to with a non-public user
 340       auth_header = bearer_authorization_header create(:user, :data_public => false)
 341       post api_changesets_path, :headers => auth_header
 342       assert_require_public_data
 343
 344       ## Try an inactive user
 345       auth_header = bearer_authorization_header create(:user, :pending)
 346       post api_changesets_path, :headers => auth_header
 347       assert_inactive_user
 348
 349       ## Now try to use a normal user
 350       auth_header = bearer_authorization_header
 351       post api_changesets_path, :headers => auth_header
 352       assert_response :bad_request, "creating a changeset with no content should fail"
 353     end
 354
 355     def test_create_wrong_method
 356       auth_header = bearer_authorization_header
 357
 358       put api_changesets_path, :headers => auth_header
 359       assert_response :not_found
 360       assert_template "rescues/routing_error"
 361     end
 362
 363     def test_create_legacy_path
 364       auth_header = bearer_authorization_header
 365       xml = "<osm><changeset></changeset></osm>"
 366
 367       assert_difference "Changeset.count", 1 do
 368         put "/api/0.6/changeset/create", :params => xml, :headers => auth_header
 369       end
 370
 371       assert_response :success, "Creation of changeset did not return success status"
 372       assert_equal Changeset.last.id, @response.body.to_i
 373     end
 374
 375     ##
 376     # check that the changeset can be shown and returns the correct
 377     # document structure.
 378     def test_show
 379       changeset = create(:changeset)
 380
 381       get api_changeset_path(changeset)
 382       assert_response :success, "cannot get first changeset"
 383
 384       assert_dom "osm[version='#{Settings.api_version}'][generator='#{Settings.generator}']", 1
 385       assert_single_changeset changeset do
 386         assert_dom "> discussion", 0
 387       end
 388
 389       get api_changeset_path(changeset, :include_discussion => true)
 390       assert_response :success, "cannot get first changeset with comments"
 391
 392       assert_dom "osm[version='#{Settings.api_version}'][generator='#{Settings.generator}']", 1
 393       assert_single_changeset changeset do
 394         assert_dom "> discussion", 1
 395         assert_dom "> discussion > comment", 0
 396       end
 397     end
 398
 399     def test_show_comments
 400       # all comments visible
 401       changeset = create(:changeset, :closed)
 402       comment1, comment2, comment3 = create_list(:changeset_comment, 3, :changeset_id => changeset.id)
 403
 404       get api_changeset_path(changeset, :include_discussion => true)
 405       assert_response :success, "cannot get closed changeset with comments"
 406
 407       assert_dom "osm[version='#{Settings.api_version}'][generator='#{Settings.generator}']", 1 do
 408         assert_single_changeset changeset do
 409           assert_dom "> discussion", 1 do
 410             assert_dom "> comment", 3 do |dom_comments|
 411               assert_dom dom_comments[0], "> @id", comment1.id.to_s
 412               assert_dom dom_comments[0], "> @visible", "true"
 413               assert_dom dom_comments[1], "> @id", comment2.id.to_s
 414               assert_dom dom_comments[1], "> @visible", "true"
 415               assert_dom dom_comments[2], "> @id", comment3.id.to_s
 416               assert_dom dom_comments[2], "> @visible", "true"
 417             end
 418           end
 419         end
 420       end
 421
 422       # one hidden comment not included because not asked for
 423       comment2.update(:visible => false)
 424       changeset.reload
 425
 426       get api_changeset_path(changeset, :include_discussion => true)
 427       assert_response :success, "cannot get closed changeset with comments"
 428
 429       assert_dom "osm[version='#{Settings.api_version}'][generator='#{Settings.generator}']", 1
 430       assert_single_changeset changeset do
 431         assert_dom "> discussion", 1 do
 432           assert_dom "> comment", 2 do |dom_comments|
 433             assert_dom dom_comments[0], "> @id", comment1.id.to_s
 434             assert_dom dom_comments[0], "> @visible", "true"
 435             assert_dom dom_comments[1], "> @id", comment3.id.to_s
 436             assert_dom dom_comments[1], "> @visible", "true"
 437           end
 438         end
 439       end
 440
 441       # one hidden comment not included because no permissions
 442       get api_changeset_path(changeset, :include_discussion => true, :show_hidden_comments => true)
 443       assert_response :success, "cannot get closed changeset with comments"
 444
 445       assert_dom "osm[version='#{Settings.api_version}'][generator='#{Settings.generator}']", 1
 446       assert_single_changeset changeset do
 447         assert_dom "> discussion", 1 do
 448           assert_dom "> comment", 2 do |dom_comments|
 449             assert_dom dom_comments[0], "> @id", comment1.id.to_s
 450             assert_dom dom_comments[0], "> @visible", "true"
 451             # maybe will show an empty comment element with visible=false in the future
 452             assert_dom dom_comments[1], "> @id", comment3.id.to_s
 453             assert_dom dom_comments[1], "> @visible", "true"
 454           end
 455         end
 456       end
 457
 458       # one hidden comment shown to moderators
 459       moderator_user = create(:moderator_user)
 460       auth_header = bearer_authorization_header moderator_user
 461       get api_changeset_path(changeset, :include_discussion => true, :show_hidden_comments => true), :headers => auth_header
 462       assert_response :success, "cannot get closed changeset with comments"
 463
 464       assert_dom "osm[version='#{Settings.api_version}'][generator='#{Settings.generator}']", 1
 465       assert_single_changeset changeset do
 466         assert_dom "> discussion", 1 do
 467           assert_dom "> comment", 3 do |dom_comments|
 468             assert_dom dom_comments[0], "> @id", comment1.id.to_s
 469             assert_dom dom_comments[0], "> @visible", "true"
 470             assert_dom dom_comments[1], "> @id", comment2.id.to_s
 471             assert_dom dom_comments[1], "> @visible", "false"
 472             assert_dom dom_comments[2], "> @id", comment3.id.to_s
 473             assert_dom dom_comments[2], "> @visible", "true"
 474           end
 475         end
 476       end
 477     end
 478
 479     def test_show_tags
 480       changeset = create(:changeset, :closed)
 481       create(:changeset_tag, :changeset => changeset, :k => "created_by", :v => "JOSM/1.5 (18364)")
 482       create(:changeset_tag, :changeset => changeset, :k => "comment", :v => "changeset comment")
 483
 484       get api_changeset_path(changeset)
 485
 486       assert_response :success
 487       assert_dom "osm[version='#{Settings.api_version}'][generator='#{Settings.generator}']", 1
 488       assert_single_changeset changeset do
 489         assert_dom "> tag", 2
 490         assert_dom "> tag[k='created_by'][v='JOSM/1.5 (18364)']", 1
 491         assert_dom "> tag[k='comment'][v='changeset comment']", 1
 492       end
 493     end
 494
 495     def test_show_json
 496       changeset = create(:changeset)
 497
 498       get api_changeset_path(changeset, :format => "json")
 499       assert_response :success, "cannot get first changeset"
 500
 501       js = ActiveSupport::JSON.decode(@response.body)
 502       assert_not_nil js
 503
 504       assert_equal Settings.api_version, js["version"]
 505       assert_equal Settings.generator, js["generator"]
 506       assert_single_changeset_json changeset, js
 507       assert_nil js["changeset"]["tags"]
 508       assert_nil js["changeset"]["comments"]
 509       assert_equal changeset.user.id, js["changeset"]["uid"]
 510       assert_equal changeset.user.display_name, js["changeset"]["user"]
 511
 512       get api_changeset_path(changeset, :format => "json", :include_discussion => true)
 513       assert_response :success, "cannot get first changeset with comments"
 514
 515       js = ActiveSupport::JSON.decode(@response.body)
 516       assert_not_nil js
 517       assert_equal Settings.api_version, js["version"]
 518       assert_equal Settings.generator, js["generator"]
 519       assert_single_changeset_json changeset, js
 520       assert_nil js["changeset"]["tags"]
 521       assert_nil js["changeset"]["min_lat"]
 522       assert_nil js["changeset"]["min_lon"]
 523       assert_nil js["changeset"]["max_lat"]
 524       assert_nil js["changeset"]["max_lon"]
 525       assert_equal 0, js["changeset"]["comments"].count
 526     end
 527
 528     def test_show_comments_json
 529       # all comments visible
 530       changeset = create(:changeset, :closed)
 531       comment0, comment1, comment2 = create_list(:changeset_comment, 3, :changeset_id => changeset.id)
 532
 533       get api_changeset_path(changeset, :format => "json", :include_discussion => true)
 534       assert_response :success, "cannot get closed changeset with comments"
 535
 536       js = ActiveSupport::JSON.decode(@response.body)
 537       assert_not_nil js
 538       assert_equal Settings.api_version, js["version"]
 539       assert_equal Settings.generator, js["generator"]
 540       assert_single_changeset_json changeset, js
 541       assert_equal 3, js["changeset"]["comments"].count
 542       assert_equal comment0.id, js["changeset"]["comments"][0]["id"]
 543       assert js["changeset"]["comments"][0]["visible"]
 544       assert_equal comment1.id, js["changeset"]["comments"][1]["id"]
 545       assert js["changeset"]["comments"][1]["visible"]
 546       assert_equal comment2.id, js["changeset"]["comments"][2]["id"]
 547       assert js["changeset"]["comments"][2]["visible"]
 548
 549       # one hidden comment not included because not asked for
 550       comment1.update(:visible => false)
 551       changeset.reload
 552
 553       get api_changeset_path(changeset, :format => "json", :include_discussion => true)
 554       assert_response :success, "cannot get closed changeset with comments"
 555
 556       js = ActiveSupport::JSON.decode(@response.body)
 557       assert_not_nil js
 558       assert_equal Settings.api_version, js["version"]
 559       assert_equal Settings.generator, js["generator"]
 560       assert_single_changeset_json changeset, js
 561       assert_equal 2, js["changeset"]["comments"].count
 562       assert_equal comment0.id, js["changeset"]["comments"][0]["id"]
 563       assert js["changeset"]["comments"][0]["visible"]
 564       assert_equal comment2.id, js["changeset"]["comments"][1]["id"]
 565       assert js["changeset"]["comments"][1]["visible"]
 566
 567       # one hidden comment not included because no permissions
 568       get api_changeset_path(changeset, :format => "json", :include_discussion => true, :show_hidden_comments => true)
 569       assert_response :success, "cannot get closed changeset with comments"
 570
 571       js = ActiveSupport::JSON.decode(@response.body)
 572       assert_not_nil js
 573       assert_equal Settings.api_version, js["version"]
 574       assert_equal Settings.generator, js["generator"]
 575       assert_single_changeset_json changeset, js
 576       assert_equal 2, js["changeset"]["comments"].count
 577       assert_equal comment0.id, js["changeset"]["comments"][0]["id"]
 578       assert js["changeset"]["comments"][0]["visible"]
 579       # maybe will show an empty comment element with visible=false in the future
 580       assert_equal comment2.id, js["changeset"]["comments"][1]["id"]
 581       assert js["changeset"]["comments"][1]["visible"]
 582
 583       # one hidden comment shown to moderators
 584       moderator_user = create(:moderator_user)
 585       auth_header = bearer_authorization_header moderator_user
 586       get api_changeset_path(changeset, :format => "json", :include_discussion => true, :show_hidden_comments => true), :headers => auth_header
 587       assert_response :success, "cannot get closed changeset with comments"
 588
 589       js = ActiveSupport::JSON.decode(@response.body)
 590       assert_not_nil js
 591       assert_equal Settings.api_version, js["version"]
 592       assert_equal Settings.generator, js["generator"]
 593       assert_single_changeset_json changeset, js
 594       assert_equal 3, js["changeset"]["comments"].count
 595       assert_equal comment0.id, js["changeset"]["comments"][0]["id"]
 596       assert js["changeset"]["comments"][0]["visible"]
 597       assert_equal comment1.id, js["changeset"]["comments"][1]["id"]
 598       assert_not js["changeset"]["comments"][1]["visible"]
 599       assert_equal comment2.id, js["changeset"]["comments"][2]["id"]
 600       assert js["changeset"]["comments"][2]["visible"]
 601     end
 602
 603     def test_show_tags_json
 604       changeset = create(:changeset, :closed)
 605       create(:changeset_tag, :changeset => changeset, :k => "created_by", :v => "JOSM/1.5 (18364)")
 606       create(:changeset_tag, :changeset => changeset, :k => "comment", :v => "changeset comment")
 607
 608       get api_changeset_path(changeset, :format => "json")
 609
 610       assert_response :success
 611       js = ActiveSupport::JSON.decode(@response.body)
 612       assert_not_nil js
 613       assert_equal Settings.api_version, js["version"]
 614       assert_equal Settings.generator, js["generator"]
 615       assert_single_changeset_json changeset, js
 616       assert_equal 2, js["changeset"]["tags"].count
 617       assert_equal "JOSM/1.5 (18364)", js["changeset"]["tags"]["created_by"]
 618       assert_equal "changeset comment", js["changeset"]["tags"]["comment"]
 619     end
 620
 621     def test_show_bbox_json
 622       changeset = create(:changeset, :bbox => [5, -5, 12, 15])
 623
 624       get api_changeset_path(changeset, :format => "json")
 625       assert_response :success, "cannot get first changeset"
 626
 627       js = ActiveSupport::JSON.decode(@response.body)
 628       assert_not_nil js
 629       assert_equal(-5, js["changeset"]["min_lat"])
 630       assert_equal 5, js["changeset"]["min_lon"]
 631       assert_equal 15, js["changeset"]["max_lat"]
 632       assert_equal 12, js["changeset"]["max_lon"]
 633     end
 634
 635     ##
 636     # check that a changeset that doesn't exist returns an appropriate message
 637     def test_show_not_found
 638       [0, -32, 233455644, "afg", "213"].each do |id|
 639         get api_changeset_path(id)
 640         assert_response :not_found, "should get a not found"
 641       rescue ActionController::UrlGenerationError => e
 642         assert_match(/No route matches/, e.to_s)
 643       end
 644     end
 645
 646     def test_repeated_changeset_create
 647       3.times do
 648         auth_header = bearer_authorization_header
 649
 650         # create a temporary changeset
 651         xml = "<osm><changeset>" \
 652               "<tag k='created_by' v='osm test suite checking changesets'/>" \
 653               "</changeset></osm>"
 654         assert_difference "Changeset.count", 1 do
 655           post api_changesets_path, :params => xml, :headers => auth_header
 656         end
 657         assert_response :success
 658       end
 659     end
 660
 661     def test_upload_large_changeset
 662       user = create(:user)
 663       auth_header = bearer_authorization_header user
 664
 665       # create an old changeset to ensure we have the maximum rate limit
 666       create(:changeset, :user => user, :created_at => Time.now.utc - 28.days)
 667
 668       # create a changeset
 669       post api_changesets_path, :params => "<osm><changeset/></osm>", :headers => auth_header
 670       assert_response :success, "Should be able to create a changeset: #{@response.body}"
 671       changeset_id = @response.body.to_i
 672
 673       # upload some widely-spaced nodes, spiralling positive and negative
 674       diff = <<~CHANGESET
 675         <osmChange>
 676          <create>
 677           <node id='-1' lon='-20' lat='-10' changeset='#{changeset_id}'/>
 678           <node id='-10' lon='20'  lat='10' changeset='#{changeset_id}'/>
 679           <node id='-2' lon='-40' lat='-20' changeset='#{changeset_id}'/>
 680           <node id='-11' lon='40'  lat='20' changeset='#{changeset_id}'/>
 681           <node id='-3' lon='-60' lat='-30' changeset='#{changeset_id}'/>
 682           <node id='-12' lon='60'  lat='30' changeset='#{changeset_id}'/>
 683           <node id='-4' lon='-80' lat='-40' changeset='#{changeset_id}'/>
 684           <node id='-13' lon='80'  lat='40' changeset='#{changeset_id}'/>
 685           <node id='-5' lon='-100' lat='-50' changeset='#{changeset_id}'/>
 686           <node id='-14' lon='100'  lat='50' changeset='#{changeset_id}'/>
 687           <node id='-6' lon='-120' lat='-60' changeset='#{changeset_id}'/>
 688           <node id='-15' lon='120'  lat='60' changeset='#{changeset_id}'/>
 689           <node id='-7' lon='-140' lat='-70' changeset='#{changeset_id}'/>
 690           <node id='-16' lon='140'  lat='70' changeset='#{changeset_id}'/>
 691           <node id='-8' lon='-160' lat='-80' changeset='#{changeset_id}'/>
 692           <node id='-17' lon='160'  lat='80' changeset='#{changeset_id}'/>
 693           <node id='-9' lon='-179.9' lat='-89.9' changeset='#{changeset_id}'/>
 694           <node id='-18' lon='179.9'  lat='89.9' changeset='#{changeset_id}'/>
 695          </create>
 696         </osmChange>
 697       CHANGESET
 698
 699       # upload it, which used to cause an error like "PGError: ERROR:
 700       # integer out of range" (bug #2152). but shouldn't any more.
 701       post api_changeset_upload_path(changeset_id), :params => diff, :headers => auth_header
 702       assert_response :success,
 703                       "can't upload a spatially-large diff to changeset: #{@response.body}"
 704
 705       # check that the changeset bbox is within bounds
 706       cs = Changeset.find(changeset_id)
 707       assert_operator cs.min_lon, :>=, -180 * GeoRecord::SCALE, "Minimum longitude (#{cs.min_lon / GeoRecord::SCALE}) should be >= -180 to be valid."
 708       assert_operator cs.max_lon, :<=, 180 * GeoRecord::SCALE, "Maximum longitude (#{cs.max_lon / GeoRecord::SCALE}) should be <= 180 to be valid."
 709       assert_operator cs.min_lat, :>=, -90 * GeoRecord::SCALE, "Minimum latitude (#{cs.min_lat / GeoRecord::SCALE}) should be >= -90 to be valid."
 710       assert_operator cs.max_lat, :<=, 90 * GeoRecord::SCALE, "Maximum latitude (#{cs.max_lat / GeoRecord::SCALE}) should be <= 90 to be valid."
 711     end
 712
 713     ##
 714     # upload something which creates new objects and inserts them into
 715     # existing containers using placeholders.
 716     def test_upload_complex
 717       way = create(:way)
 718       node = create(:node)
 719       relation = create(:relation)
 720       create(:way_node, :way => way, :node => node)
 721
 722       changeset = create(:changeset)
 723
 724       auth_header = bearer_authorization_header changeset.user
 725
 726       # simple diff to create a node way and relation using placeholders
 727       diff = <<~CHANGESET
 728         <osmChange>
 729          <create>
 730           <node id='-1' lon='0' lat='0' changeset='#{changeset.id}'>
 731            <tag k='foo' v='bar'/>
 732            <tag k='baz' v='bat'/>
 733           </node>
 734          </create>
 735          <modify>
 736           <way id='#{way.id}' changeset='#{changeset.id}' version='1'>
 737            <nd ref='-1'/>
 738            <nd ref='#{node.id}'/>
 739           </way>
 740           <relation id='#{relation.id}' changeset='#{changeset.id}' version='1'>
 741            <member type='way' role='some' ref='#{way.id}'/>
 742            <member type='node' role='some' ref='-1'/>
 743            <member type='relation' role='some' ref='#{relation.id}'/>
 744           </relation>
 745          </modify>
 746         </osmChange>
 747       CHANGESET
 748
 749       # upload it
 750       post api_changeset_upload_path(changeset), :params => diff, :headers => auth_header
 751       assert_response :success,
 752                       "can't upload a complex diff to changeset: #{@response.body}"
 753
 754       # check the returned payload
 755       new_node_id = nil
 756       assert_dom "diffResult[version='#{Settings.api_version}'][generator='#{Settings.generator}']", 1 do
 757         assert_dom "> node", 1 do |(node_el)|
 758           new_node_id = node_el["new_id"].to_i
 759         end
 760         assert_dom "> way", 1
 761         assert_dom "> relation", 1
 762       end
 763
 764       # check that the changes made it into the database
 765       assert_equal 2, Node.find(new_node_id).tags.size, "new node should have two tags"
 766       assert_equal [new_node_id, node.id], Way.find(way.id).nds, "way nodes should match"
 767       Relation.find(relation.id).members.each do |type, id, _role|
 768         assert_equal new_node_id, id, "relation should contain new node" if type == "node"
 769       end
 770     end
 771
 772     ##
 773     # test that a placeholder can be reused within the same upload.
 774     def test_upload_reuse_placeholder_valid
 775       changeset = create(:changeset)
 776
 777       auth_header = bearer_authorization_header changeset.user
 778
 779       diff = <<~CHANGESET
 780         <osmChange>
 781          <create>
 782           <node id='-1' lon='0' lat='0' changeset='#{changeset.id}'>
 783            <tag k="foo" v="bar"/>
 784           </node>
 785          </create>
 786          <modify>
 787           <node id='-1' lon='1' lat='1' changeset='#{changeset.id}' version='1'/>
 788          </modify>
 789          <delete>
 790           <node id='-1' lon='2' lat='2' changeset='#{changeset.id}' version='2'/>
 791          </delete>
 792         </osmChange>
 793       CHANGESET
 794
 795       # upload it
 796       post api_changeset_upload_path(changeset), :params => diff, :headers => auth_header
 797       assert_response :success,
 798                       "can't upload a valid diff with re-used placeholders to changeset: #{@response.body}"
 799
 800       # check the response is well-formed
 801       assert_select "diffResult>node", 3
 802       assert_select "diffResult>node[old_id='-1']", 3
 803     end
 804
 805     def test_upload_duplicate_delete
 806       changeset = create(:changeset)
 807
 808       auth_header = bearer_authorization_header changeset.user
 809
 810       diff = <<~CHANGESET
 811         <osmChange>
 812           <create>
 813             <node id="-1" lat="39" lon="116" changeset="#{changeset.id}" />
 814           </create>
 815           <delete>
 816             <node id="-1" version="1" changeset="#{changeset.id}" />
 817             <node id="-1" version="1" changeset="#{changeset.id}" />
 818           </delete>
 819         </osmChange>
 820       CHANGESET
 821
 822       # upload it
 823       post api_changeset_upload_path(changeset), :params => diff, :headers => auth_header
 824       assert_response :gone,
 825                       "transaction should be cancelled by second deletion"
 826
 827       diff = <<~CHANGESET
 828         <osmChange>
 829           <create>
 830             <node id="-1" lat="39" lon="116" changeset="#{changeset.id}" />
 831           </create>
 832           <delete if-unused="true">
 833             <node id="-1" version="1" changeset="#{changeset.id}" />
 834             <node id="-1" version="1" changeset="#{changeset.id}" />
 835           </delete>
 836         </osmChange>
 837       CHANGESET
 838
 839       # upload it
 840       post api_changeset_upload_path(changeset), :params => diff, :headers => auth_header
 841
 842       assert_select "diffResult>node", 3
 843       assert_select "diffResult>node[old_id='-1']", 3
 844       assert_select "diffResult>node[new_version='1']", 1
 845       assert_select "diffResult>node[new_version='2']", 1
 846     end
 847
 848     ##
 849     # test what happens if a diff is uploaded containing only a node
 850     # move.
 851     def test_upload_node_move
 852       auth_header = bearer_authorization_header
 853
 854       xml = "<osm><changeset>" \
 855             "<tag k='created_by' v='osm test suite checking changesets'/>" \
 856             "</changeset></osm>"
 857       post api_changesets_path, :params => xml, :headers => auth_header
 858       assert_response :success
 859       changeset_id = @response.body.to_i
 860
 861       old_node = create(:node, :lat => 1, :lon => 1)
 862
 863       diff = XML::Document.new
 864       diff.root = XML::Node.new "osmChange"
 865       modify = XML::Node.new "modify"
 866       xml_old_node = xml_node_for_node(old_node)
 867       xml_old_node["lat"] = 2.0.to_s
 868       xml_old_node["lon"] = 2.0.to_s
 869       xml_old_node["changeset"] = changeset_id.to_s
 870       modify << xml_old_node
 871       diff.root << modify
 872
 873       # upload it
 874       post api_changeset_upload_path(changeset_id), :params => diff.to_s, :headers => auth_header
 875       assert_response :success,
 876                       "diff should have uploaded OK"
 877
 878       # check the bbox
 879       changeset = Changeset.find(changeset_id)
 880       assert_equal 1 * GeoRecord::SCALE, changeset.min_lon, "min_lon should be 1 degree"
 881       assert_equal 2 * GeoRecord::SCALE, changeset.max_lon, "max_lon should be 2 degrees"
 882       assert_equal 1 * GeoRecord::SCALE, changeset.min_lat, "min_lat should be 1 degree"
 883       assert_equal 2 * GeoRecord::SCALE, changeset.max_lat, "max_lat should be 2 degrees"
 884     end
 885
 886     ##
 887     # test what happens if a diff is uploaded adding a node to a way.
 888     def test_upload_way_extend
 889       auth_header = bearer_authorization_header
 890
 891       xml = "<osm><changeset>" \
 892             "<tag k='created_by' v='osm test suite checking changesets'/>" \
 893             "</changeset></osm>"
 894       post api_changesets_path, :params => xml, :headers => auth_header
 895       assert_response :success
 896       changeset_id = @response.body.to_i
 897
 898       old_way = create(:way)
 899       create(:way_node, :way => old_way, :node => create(:node, :lat => 0.1, :lon => 0.1))
 900
 901       diff = XML::Document.new
 902       diff.root = XML::Node.new "osmChange"
 903       modify = XML::Node.new "modify"
 904       xml_old_way = xml_node_for_way(old_way)
 905       nd_ref = XML::Node.new "nd"
 906       nd_ref["ref"] = create(:node, :lat => 0.3, :lon => 0.3).id.to_s
 907       xml_old_way << nd_ref
 908       xml_old_way["changeset"] = changeset_id.to_s
 909       modify << xml_old_way
 910       diff.root << modify
 911
 912       # upload it
 913       post api_changeset_upload_path(changeset_id), :params => diff.to_s, :headers => auth_header
 914       assert_response :success,
 915                       "diff should have uploaded OK"
 916
 917       # check the bbox
 918       changeset = Changeset.find(changeset_id)
 919       assert_equal 0.1 * GeoRecord::SCALE, changeset.min_lon, "min_lon should be 0.1 degree"
 920       assert_equal 0.3 * GeoRecord::SCALE, changeset.max_lon, "max_lon should be 0.3 degrees"
 921       assert_equal 0.1 * GeoRecord::SCALE, changeset.min_lat, "min_lat should be 0.1 degree"
 922       assert_equal 0.3 * GeoRecord::SCALE, changeset.max_lat, "max_lat should be 0.3 degrees"
 923     end
 924
 925     ##
 926     # test for more issues in #1568
 927     def test_upload_empty_invalid
 928       changeset = create(:changeset)
 929
 930       auth_header = bearer_authorization_header changeset.user
 931
 932       ["<osmChange/>",
 933        "<osmChange></osmChange>",
 934        "<osmChange><modify/></osmChange>",
 935        "<osmChange><modify></modify></osmChange>"].each do |diff|
 936         # upload it
 937         post api_changeset_upload_path(changeset), :params => diff, :headers => auth_header
 938         assert_response(:success, "should be able to upload " \
 939                                   "empty changeset: " + diff)
 940       end
 941     end
 942
 943     ##
 944     # test that the X-Error-Format header works to request XML errors
 945     def test_upload_xml_errors
 946       changeset = create(:changeset)
 947       node = create(:node)
 948       create(:relation_member, :member => node)
 949
 950       auth_header = bearer_authorization_header changeset.user
 951
 952       # try and delete a node that is in use
 953       diff = XML::Document.new
 954       diff.root = XML::Node.new "osmChange"
 955       delete = XML::Node.new "delete"
 956       diff.root << delete
 957       delete << xml_node_for_node(node)
 958
 959       # upload it
 960       error_header = error_format_header "xml"
 961       post api_changeset_upload_path(changeset), :params => diff.to_s, :headers => auth_header.merge(error_header)
 962       assert_response :success,
 963                       "failed to return error in XML format"
 964
 965       # check the returned payload
 966       assert_select "osmError[version='#{Settings.api_version}'][generator='#{Settings.generator}']", 1
 967       assert_select "osmError>status", 1
 968       assert_select "osmError>message", 1
 969     end
 970
 971     def test_upload_not_found
 972       changeset = create(:changeset)
 973
 974       auth_header = bearer_authorization_header changeset.user
 975
 976       # modify node
 977       diff = <<~CHANGESET
 978         <osmChange>
 979         <modify>
 980           <node id='-1' lon='0' lat='0' changeset='#{changeset.id}' version='1'/>
 981         </modify>
 982         </osmChange>
 983       CHANGESET
 984
 985       # upload it
 986       post api_changeset_upload_path(changeset), :params => diff, :headers => auth_header
 987       assert_response :not_found, "Node should not be found"
 988
 989       # modify way
 990       diff = <<~CHANGESET
 991         <osmChange>
 992         <modify>
 993           <way id='-1' lon='0' lat='0' changeset='#{changeset.id}' version='1'/>
 994         </modify>
 995         </osmChange>
 996       CHANGESET
 997
 998       # upload it
 999       post api_changeset_upload_path(changeset), :params => diff, :headers => auth_header
1000       assert_response :not_found, "Way should not be found"
1001
1002       # modify relation
1003       diff = <<~CHANGESET
1004         <osmChange>
1005         <modify>
1006           <relation id='-1' lon='0' lat='0' changeset='#{changeset.id}' version='1'/>
1007         </modify>
1008         </osmChange>
1009       CHANGESET
1010
1011       # upload it
1012       post api_changeset_upload_path(changeset), :params => diff, :headers => auth_header
1013       assert_response :not_found, "Relation should not be found"
1014
1015       # delete node
1016       diff = <<~CHANGESET
1017         <osmChange>
1018         <delete>
1019           <node id='-1' lon='0' lat='0' changeset='#{changeset.id}' version='1'/>
1020         </delete>
1021         </osmChange>
1022       CHANGESET
1023
1024       # upload it
1025       post api_changeset_upload_path(changeset), :params => diff, :headers => auth_header
1026       assert_response :not_found, "Node should not be deleted"
1027
1028       # delete way
1029       diff = <<~CHANGESET
1030         <osmChange>
1031         <delete>
1032           <way id='-1' lon='0' lat='0' changeset='#{changeset.id}' version='1'/>
1033         </delete>
1034         </osmChange>
1035       CHANGESET
1036
1037       # upload it
1038       post api_changeset_upload_path(changeset), :params => diff, :headers => auth_header
1039       assert_response :not_found, "Way should not be deleted"
1040
1041       # delete relation
1042       diff = <<~CHANGESET
1043         <osmChange>
1044         <delete>
1045           <relation id='-1' lon='0' lat='0' changeset='#{changeset.id}' version='1'/>
1046         </delete>
1047         </osmChange>
1048       CHANGESET
1049
1050       # upload it
1051       post api_changeset_upload_path(changeset), :params => diff, :headers => auth_header
1052       assert_response :not_found, "Relation should not be deleted"
1053     end
1054
1055     ##
1056     # test initial rate limit
1057     def test_upload_initial_rate_limit
1058       # create a user
1059       user = create(:user)
1060
1061       # create some objects to use
1062       node = create(:node)
1063       way = create(:way_with_nodes, :nodes_count => 2)
1064       relation = create(:relation)
1065
1066       # create a changeset that puts us near the initial rate limit
1067       changeset = create(:changeset, :user => user,
1068                                      :created_at => Time.now.utc - 5.minutes,
1069                                      :num_changes => Settings.initial_changes_per_hour - 2)
1070
1071       # create authentication header
1072       auth_header = bearer_authorization_header user
1073
1074       # simple diff to create a node way and relation using placeholders
1075       diff = <<~CHANGESET
1076         <osmChange>
1077          <create>
1078           <node id='-1' lon='0' lat='0' changeset='#{changeset.id}'>
1079            <tag k='foo' v='bar'/>
1080            <tag k='baz' v='bat'/>
1081           </node>
1082           <way id='-1' changeset='#{changeset.id}'>
1083            <nd ref='#{node.id}'/>
1084           </way>
1085          </create>
1086          <create>
1087           <relation id='-1' changeset='#{changeset.id}'>
1088            <member type='way' role='some' ref='#{way.id}'/>
1089            <member type='node' role='some' ref='#{node.id}'/>
1090            <member type='relation' role='some' ref='#{relation.id}'/>
1091           </relation>
1092          </create>
1093         </osmChange>
1094       CHANGESET
1095
1096       # upload it
1097       post api_changeset_upload_path(changeset), :params => diff, :headers => auth_header
1098       assert_response :too_many_requests, "upload did not hit rate limit"
1099     end
1100
1101     ##
1102     # test maximum rate limit
1103     def test_upload_maximum_rate_limit
1104       # create a user
1105       user = create(:user)
1106
1107       # create some objects to use
1108       node = create(:node)
1109       way = create(:way_with_nodes, :nodes_count => 2)
1110       relation = create(:relation)
1111
1112       # create a changeset to establish our initial edit time
1113       changeset = create(:changeset, :user => user,
1114                                      :created_at => Time.now.utc - 28.days)
1115
1116       # create changeset to put us near the maximum rate limit
1117       total_changes = Settings.max_changes_per_hour - 2
1118       while total_changes.positive?
1119         changes = [total_changes, Changeset::MAX_ELEMENTS].min
1120         changeset = create(:changeset, :user => user,
1121                                        :created_at => Time.now.utc - 5.minutes,
1122                                        :num_changes => changes)
1123         total_changes -= changes
1124       end
1125
1126       # create authentication header
1127       auth_header = bearer_authorization_header user
1128
1129       # simple diff to create a node way and relation using placeholders
1130       diff = <<~CHANGESET
1131         <osmChange>
1132          <create>
1133           <node id='-1' lon='0' lat='0' changeset='#{changeset.id}'>
1134            <tag k='foo' v='bar'/>
1135            <tag k='baz' v='bat'/>
1136           </node>
1137           <way id='-1' changeset='#{changeset.id}'>
1138            <nd ref='#{node.id}'/>
1139           </way>
1140          </create>
1141          <create>
1142           <relation id='-1' changeset='#{changeset.id}'>
1143            <member type='way' role='some' ref='#{way.id}'/>
1144            <member type='node' role='some' ref='#{node.id}'/>
1145            <member type='relation' role='some' ref='#{relation.id}'/>
1146           </relation>
1147          </create>
1148         </osmChange>
1149       CHANGESET
1150
1151       # upload it
1152       post api_changeset_upload_path(changeset), :params => diff, :headers => auth_header
1153       assert_response :too_many_requests, "upload did not hit rate limit"
1154     end
1155
1156     ##
1157     # test initial size limit
1158     def test_upload_initial_size_limit
1159       # create a user
1160       user = create(:user)
1161
1162       # create a changeset that puts us near the initial size limit
1163       changeset = create(:changeset, :user => user,
1164                                      :min_lat => (-0.5 * GeoRecord::SCALE).round, :min_lon => (0.5 * GeoRecord::SCALE).round,
1165                                      :max_lat => (0.5 * GeoRecord::SCALE).round, :max_lon => (2.5 * GeoRecord::SCALE).round)
1166
1167       # create authentication header
1168       auth_header = bearer_authorization_header user
1169
1170       # simple diff to create a node
1171       diff = <<~CHANGESET
1172         <osmChange>
1173          <create>
1174           <node id='-1' lon='0.9' lat='2.9' changeset='#{changeset.id}'>
1175            <tag k='foo' v='bar'/>
1176            <tag k='baz' v='bat'/>
1177           </node>
1178          </create>
1179         </osmChange>
1180       CHANGESET
1181
1182       # upload it
1183       post api_changeset_upload_path(changeset), :params => diff, :headers => auth_header
1184       assert_response :payload_too_large, "upload did not hit size limit"
1185     end
1186
1187     ##
1188     # test size limit after one week
1189     def test_upload_week_size_limit
1190       # create a user
1191       user = create(:user)
1192
1193       # create a changeset to establish our initial edit time
1194       create(:changeset, :user => user, :created_at => Time.now.utc - 7.days)
1195
1196       # create a changeset that puts us near the initial size limit
1197       changeset = create(:changeset, :user => user, :bbox => [0.5, -0.5, 2.5, 0.5])
1198
1199       # create authentication header
1200       auth_header = bearer_authorization_header user
1201
1202       # simple diff to create a node way and relation using placeholders
1203       diff = <<~CHANGESET
1204         <osmChange>
1205          <create>
1206           <node id='-1' lon='35' lat='35' changeset='#{changeset.id}'>
1207            <tag k='foo' v='bar'/>
1208            <tag k='baz' v='bat'/>
1209           </node>
1210          </create>
1211         </osmChange>
1212       CHANGESET
1213
1214       # upload it
1215       post api_changeset_upload_path(changeset), :params => diff, :headers => auth_header
1216       assert_response :payload_too_large, "upload did not hit size limit"
1217     end
1218
1219     ##
1220     # when we make some simple changes we get the same changes back from the
1221     # diff download.
1222     def test_diff_download_simple
1223       node = create(:node)
1224
1225       ## First try with a non-public user, which should get a forbidden
1226       auth_header = bearer_authorization_header create(:user, :data_public => false)
1227
1228       # create a temporary changeset
1229       xml = "<osm><changeset>" \
1230             "<tag k='created_by' v='osm test suite checking changesets'/>" \
1231             "</changeset></osm>"
1232       post api_changesets_path, :params => xml, :headers => auth_header
1233       assert_response :forbidden
1234
1235       ## Now try with a normal user
1236       auth_header = bearer_authorization_header
1237
1238       # create a temporary changeset
1239       xml = "<osm><changeset>" \
1240             "<tag k='created_by' v='osm test suite checking changesets'/>" \
1241             "</changeset></osm>"
1242       post api_changesets_path, :params => xml, :headers => auth_header
1243       assert_response :success
1244       changeset_id = @response.body.to_i
1245
1246       # add a diff to it
1247       diff = <<~CHANGESET
1248         <osmChange>
1249          <modify>
1250           <node id='#{node.id}' lon='0.0' lat='0.0' changeset='#{changeset_id}' version='1'/>
1251           <node id='#{node.id}' lon='0.1' lat='0.0' changeset='#{changeset_id}' version='2'/>
1252           <node id='#{node.id}' lon='0.1' lat='0.1' changeset='#{changeset_id}' version='3'/>
1253           <node id='#{node.id}' lon='0.1' lat='0.2' changeset='#{changeset_id}' version='4'/>
1254           <node id='#{node.id}' lon='0.2' lat='0.2' changeset='#{changeset_id}' version='5'/>
1255           <node id='#{node.id}' lon='0.3' lat='0.2' changeset='#{changeset_id}' version='6'/>
1256           <node id='#{node.id}' lon='0.3' lat='0.3' changeset='#{changeset_id}' version='7'/>
1257           <node id='#{node.id}' lon='0.9' lat='0.9' changeset='#{changeset_id}' version='8'/>
1258          </modify>
1259         </osmChange>
1260       CHANGESET
1261
1262       # upload it
1263       post api_changeset_upload_path(changeset_id), :params => diff, :headers => auth_header
1264       assert_response :success,
1265                       "can't upload multiple versions of an element in a diff: #{@response.body}"
1266
1267       get api_changeset_download_path(changeset_id)
1268       assert_response :success
1269
1270       assert_select "osmChange", 1
1271       assert_select "osmChange>modify", 8
1272       assert_select "osmChange>modify>node", 8
1273     end
1274
1275     ##
1276     # culled this from josm to ensure that nothing in the way that josm
1277     # is formatting the request is causing it to fail.
1278     #
1279     # NOTE: the error turned out to be something else completely!
1280     def test_josm_upload
1281       auth_header = bearer_authorization_header
1282
1283       # create a temporary changeset
1284       xml = "<osm><changeset>" \
1285             "<tag k='created_by' v='osm test suite checking changesets'/>" \
1286             "</changeset></osm>"
1287       post api_changesets_path, :params => xml, :headers => auth_header
1288       assert_response :success
1289       changeset_id = @response.body.to_i
1290
1291       diff = <<~OSMFILE
1292         <osmChange version="0.6" generator="JOSM">
1293         <create version="0.6" generator="JOSM">
1294           <node id='-1' visible='true' changeset='#{changeset_id}' lat='51.49619982187321' lon='-0.18722061869438314' />
1295           <node id='-2' visible='true' changeset='#{changeset_id}' lat='51.496359883909605' lon='-0.18653093576241928' />
1296           <node id='-3' visible='true' changeset='#{changeset_id}' lat='51.49598132358285' lon='-0.18719613290981638' />
1297           <node id='-4' visible='true' changeset='#{changeset_id}' lat='51.4961591711078' lon='-0.18629015888084607' />
1298           <node id='-5' visible='true' changeset='#{changeset_id}' lat='51.49582126021711' lon='-0.18708186591517145' />
1299           <node id='-6' visible='true' changeset='#{changeset_id}' lat='51.49591018437858' lon='-0.1861432441734455' />
1300           <node id='-7' visible='true' changeset='#{changeset_id}' lat='51.49560784152179' lon='-0.18694719410005425' />
1301           <node id='-8' visible='true' changeset='#{changeset_id}' lat='51.49567389979617' lon='-0.1860289771788006' />
1302           <node id='-9' visible='true' changeset='#{changeset_id}' lat='51.49543761398892' lon='-0.186820684213126' />
1303           <way id='-10' action='modify' visible='true' changeset='#{changeset_id}'>
1304             <nd ref='-1' />
1305             <nd ref='-2' />
1306             <nd ref='-3' />
1307             <nd ref='-4' />
1308             <nd ref='-5' />
1309             <nd ref='-6' />
1310             <nd ref='-7' />
1311             <nd ref='-8' />
1312             <nd ref='-9' />
1313             <tag k='highway' v='residential' />
1314             <tag k='name' v='Foobar Street' />
1315           </way>
1316         </create>
1317         </osmChange>
1318       OSMFILE
1319
1320       # upload it
1321       post api_changeset_upload_path(changeset_id), :params => diff, :headers => auth_header
1322       assert_response :success,
1323                       "can't upload a diff from JOSM: #{@response.body}"
1324
1325       get api_changeset_download_path(changeset_id)
1326       assert_response :success
1327
1328       assert_select "osmChange", 1
1329       assert_select "osmChange>create>node", 9
1330       assert_select "osmChange>create>way", 1
1331       assert_select "osmChange>create>way>nd", 9
1332       assert_select "osmChange>create>way>tag", 2
1333     end
1334
1335     ##
1336     # when we make some complex changes we get the same changes back from the
1337     # diff download.
1338     def test_diff_download_complex
1339       node = create(:node)
1340       node2 = create(:node)
1341       way = create(:way)
1342       auth_header = bearer_authorization_header
1343
1344       # create a temporary changeset
1345       xml = "<osm><changeset>" \
1346             "<tag k='created_by' v='osm test suite checking changesets'/>" \
1347             "</changeset></osm>"
1348       post api_changesets_path, :params => xml, :headers => auth_header
1349       assert_response :success
1350       changeset_id = @response.body.to_i
1351
1352       # add a diff to it
1353       diff = <<~CHANGESET
1354         <osmChange>
1355          <delete>
1356           <node id='#{node.id}' lon='0.0' lat='0.0' changeset='#{changeset_id}' version='1'/>
1357          </delete>
1358          <create>
1359           <node id='-1' lon='0.9' lat='0.9' changeset='#{changeset_id}' version='0'/>
1360           <node id='-2' lon='0.8' lat='0.9' changeset='#{changeset_id}' version='0'/>
1361           <node id='-3' lon='0.7' lat='0.9' changeset='#{changeset_id}' version='0'/>
1362          </create>
1363          <modify>
1364           <node id='#{node2.id}' lon='2.0' lat='1.5' changeset='#{changeset_id}' version='1'/>
1365           <way id='#{way.id}' changeset='#{changeset_id}' version='1'>
1366            <nd ref='#{node2.id}'/>
1367            <nd ref='-1'/>
1368            <nd ref='-2'/>
1369            <nd ref='-3'/>
1370           </way>
1371          </modify>
1372         </osmChange>
1373       CHANGESET
1374
1375       # upload it
1376       post api_changeset_upload_path(changeset_id), :params => diff, :headers => auth_header
1377       assert_response :success,
1378                       "can't upload multiple versions of an element in a diff: #{@response.body}"
1379
1380       get api_changeset_download_path(changeset_id)
1381       assert_response :success
1382
1383       assert_select "osmChange", 1
1384       assert_select "osmChange>create", 3
1385       assert_select "osmChange>delete", 1
1386       assert_select "osmChange>modify", 2
1387       assert_select "osmChange>create>node", 3
1388       assert_select "osmChange>delete>node", 1
1389       assert_select "osmChange>modify>node", 1
1390       assert_select "osmChange>modify>way", 1
1391     end
1392
1393     ##
1394     # check that the bounding box of a changeset gets updated correctly
1395     # FIXME: This should really be moded to a integration test due to the with_controller
1396     def test_changeset_bbox
1397       way = create(:way)
1398       create(:way_node, :way => way, :node => create(:node, :lat => 0.3, :lon => 0.3))
1399
1400       auth_header = bearer_authorization_header
1401
1402       # create a new changeset
1403       xml = "<osm><changeset/></osm>"
1404       post api_changesets_path, :params => xml, :headers => auth_header
1405       assert_response :success, "Creating of changeset failed."
1406       changeset_id = @response.body.to_i
1407
1408       # add a single node to it
1409       with_controller(NodesController.new) do
1410         xml = "<osm><node lon='0.1' lat='0.2' changeset='#{changeset_id}'/></osm>"
1411         post api_nodes_path, :params => xml, :headers => auth_header
1412         assert_response :success, "Couldn't create node."
1413       end
1414
1415       # get the bounding box back from the changeset
1416       get api_changeset_path(changeset_id)
1417       assert_response :success, "Couldn't read back changeset."
1418       assert_select "osm>changeset[min_lon='0.1000000']", 1
1419       assert_select "osm>changeset[max_lon='0.1000000']", 1
1420       assert_select "osm>changeset[min_lat='0.2000000']", 1
1421       assert_select "osm>changeset[max_lat='0.2000000']", 1
1422
1423       # add another node to it
1424       with_controller(NodesController.new) do
1425         xml = "<osm><node lon='0.2' lat='0.1' changeset='#{changeset_id}'/></osm>"
1426         post api_nodes_path, :params => xml, :headers => auth_header
1427         assert_response :success, "Couldn't create second node."
1428       end
1429
1430       # get the bounding box back from the changeset
1431       get api_changeset_path(changeset_id)
1432       assert_response :success, "Couldn't read back changeset for the second time."
1433       assert_select "osm>changeset[min_lon='0.1000000']", 1
1434       assert_select "osm>changeset[max_lon='0.2000000']", 1
1435       assert_select "osm>changeset[min_lat='0.1000000']", 1
1436       assert_select "osm>changeset[max_lat='0.2000000']", 1
1437
1438       # add (delete) a way to it, which contains a point at (3,3)
1439       with_controller(WaysController.new) do
1440         xml = update_changeset(xml_for_way(way), changeset_id)
1441         delete api_way_path(way), :params => xml.to_s, :headers => auth_header
1442         assert_response :success, "Couldn't delete a way."
1443       end
1444
1445       # get the bounding box back from the changeset
1446       get api_changeset_path(changeset_id)
1447       assert_response :success, "Couldn't read back changeset for the third time."
1448       assert_select "osm>changeset[min_lon='0.1000000']", 1
1449       assert_select "osm>changeset[max_lon='0.3000000']", 1
1450       assert_select "osm>changeset[min_lat='0.1000000']", 1
1451       assert_select "osm>changeset[max_lat='0.3000000']", 1
1452     end
1453
1454     ##
1455     # check updating tags on a changeset
1456     def test_changeset_update
1457       private_user = create(:user, :data_public => false)
1458       private_changeset = create(:changeset, :user => private_user)
1459       user = create(:user)
1460       changeset = create(:changeset, :user => user)
1461
1462       ## First try with a non-public user
1463       new_changeset = create_changeset_xml(:user => private_user)
1464       new_tag = XML::Node.new "tag"
1465       new_tag["k"] = "tagtesting"
1466       new_tag["v"] = "valuetesting"
1467       new_changeset.find("//osm/changeset").first << new_tag
1468
1469       # try without any authorization
1470       put api_changeset_path(private_changeset), :params => new_changeset.to_s
1471       assert_response :unauthorized
1472
1473       # try with the wrong authorization
1474       auth_header = bearer_authorization_header
1475       put api_changeset_path(private_changeset), :params => new_changeset.to_s, :headers => auth_header
1476       assert_response :conflict
1477
1478       # now this should get an unauthorized
1479       auth_header = bearer_authorization_header private_user
1480       put api_changeset_path(private_changeset), :params => new_changeset.to_s, :headers => auth_header
1481       assert_require_public_data "user with their data non-public, shouldn't be able to edit their changeset"
1482
1483       ## Now try with the public user
1484       new_changeset = create_changeset_xml(:id => 1)
1485       new_tag = XML::Node.new "tag"
1486       new_tag["k"] = "tagtesting"
1487       new_tag["v"] = "valuetesting"
1488       new_changeset.find("//osm/changeset").first << new_tag
1489
1490       # try without any authorization
1491       put api_changeset_path(changeset), :params => new_changeset.to_s
1492       assert_response :unauthorized
1493
1494       # try with the wrong authorization
1495       auth_header = bearer_authorization_header
1496       put api_changeset_path(changeset), :params => new_changeset.to_s, :headers => auth_header
1497       assert_response :conflict
1498
1499       # now this should work...
1500       auth_header = bearer_authorization_header user
1501       put api_changeset_path(changeset), :params => new_changeset.to_s, :headers => auth_header
1502       assert_response :success
1503
1504       assert_select "osm>changeset[id='#{changeset.id}']", 1
1505       assert_select "osm>changeset>tag", 1
1506       assert_select "osm>changeset>tag[k='tagtesting'][v='valuetesting']", 1
1507     end
1508
1509     ##
1510     # check that a user different from the one who opened the changeset
1511     # can't modify it.
1512     def test_changeset_update_invalid
1513       auth_header = bearer_authorization_header
1514
1515       changeset = create(:changeset)
1516       new_changeset = create_changeset_xml(:user => changeset.user, :id => changeset.id)
1517       new_tag = XML::Node.new "tag"
1518       new_tag["k"] = "testing"
1519       new_tag["v"] = "testing"
1520       new_changeset.find("//osm/changeset").first << new_tag
1521
1522       put api_changeset_path(changeset), :params => new_changeset.to_s, :headers => auth_header
1523       assert_response :conflict
1524     end
1525
1526     ##
1527     # check that a changeset can contain a certain max number of changes.
1528     ## FIXME should be changed to an integration test due to the with_controller
1529     def test_changeset_limits
1530       user = create(:user)
1531       auth_header = bearer_authorization_header user
1532
1533       # create an old changeset to ensure we have the maximum rate limit
1534       create(:changeset, :user => user, :created_at => Time.now.utc - 28.days)
1535
1536       # open a new changeset
1537       xml = "<osm><changeset/></osm>"
1538       post api_changesets_path, :params => xml, :headers => auth_header
1539       assert_response :success, "can't create a new changeset"
1540       cs_id = @response.body.to_i
1541
1542       # start the counter just short of where the changeset should finish.
1543       offset = 10
1544       # alter the database to set the counter on the changeset directly,
1545       # otherwise it takes about 6 minutes to fill all of them.
1546       changeset = Changeset.find(cs_id)
1547       changeset.num_changes = Changeset::MAX_ELEMENTS - offset
1548       changeset.save!
1549
1550       with_controller(NodesController.new) do
1551         # create a new node
1552         xml = "<osm><node changeset='#{cs_id}' lat='0.0' lon='0.0'/></osm>"
1553         post api_nodes_path, :params => xml, :headers => auth_header
1554         assert_response :success, "can't create a new node"
1555         node_id = @response.body.to_i
1556
1557         get api_node_path(node_id)
1558         assert_response :success, "can't read back new node"
1559         node_doc = XML::Parser.string(@response.body).parse
1560         node_xml = node_doc.find("//osm/node").first
1561
1562         # loop until we fill the changeset with nodes
1563         offset.times do |i|
1564           node_xml["lat"] = rand.to_s
1565           node_xml["lon"] = rand.to_s
1566           node_xml["version"] = (i + 1).to_s
1567
1568           put api_node_path(node_id), :params => node_doc.to_s, :headers => auth_header
1569           assert_response :success, "attempt #{i} should have succeeded"
1570         end
1571
1572         # trying again should fail
1573         node_xml["lat"] = rand.to_s
1574         node_xml["lon"] = rand.to_s
1575         node_xml["version"] = offset.to_s
1576
1577         put api_node_path(node_id), :params => node_doc.to_s, :headers => auth_header
1578         assert_response :conflict, "final attempt should have failed"
1579       end
1580
1581       changeset = Changeset.find(cs_id)
1582       assert_equal Changeset::MAX_ELEMENTS + 1, changeset.num_changes
1583
1584       # check that the changeset is now closed as well
1585       assert_not(changeset.open?,
1586                  "changeset should have been auto-closed by exceeding " \
1587                  "element limit.")
1588     end
1589
1590     private
1591
1592     ##
1593     # check that the output consists of one specific changeset
1594     def assert_single_changeset(changeset, &)
1595       assert_dom "> changeset", 1 do
1596         assert_dom "> @id", changeset.id.to_s
1597         assert_dom "> @created_at", changeset.created_at.xmlschema
1598         if changeset.open?
1599           assert_dom "> @open", "true"
1600           assert_dom "> @closed_at", 0
1601         else
1602           assert_dom "> @open", "false"
1603           assert_dom "> @closed_at", changeset.closed_at.xmlschema
1604         end
1605         assert_dom "> @comments_count", changeset.comments.length.to_s
1606         assert_dom "> @changes_count", changeset.num_changes.to_s
1607         yield if block_given?
1608       end
1609     end
1610
1611     def assert_single_changeset_json(changeset, js)
1612       assert_equal changeset.id, js["changeset"]["id"]
1613       assert_equal changeset.created_at.xmlschema, js["changeset"]["created_at"]
1614       if changeset.open?
1615         assert js["changeset"]["open"]
1616         assert_nil js["changeset"]["closed_at"]
1617       else
1618         assert_not js["changeset"]["open"]
1619         assert_equal changeset.closed_at.xmlschema, js["changeset"]["closed_at"]
1620       end
1621       assert_equal changeset.comments.length, js["changeset"]["comments_count"]
1622       assert_equal changeset.num_changes, js["changeset"]["changes_count"]
1623     end
1624
1625     ##
1626     # check that certain changesets exist in the output in the specified order
1627     def assert_changesets_in_order(changesets)
1628       assert_select "osm>changeset", changesets.size
1629       changesets.each_with_index do |changeset, index|
1630         assert_select "osm>changeset:nth-child(#{index + 1})[id='#{changeset.id}']", 1
1631       end
1632     end
1633
1634     ##
1635     # update the changeset_id of a way element
1636     def update_changeset(xml, changeset_id)
1637       xml_attr_rewrite(xml, "changeset", changeset_id)
1638     end
1639
1640     ##
1641     # update an attribute in a way element
1642     def xml_attr_rewrite(xml, name, value)
1643       xml.find("//osm/way").first[name] = value.to_s
1644       xml
1645     end
1646
1647     ##
1648     # build XML for changesets
1649     def create_changeset_xml(user: nil, id: nil)
1650       root = XML::Document.new
1651       root.root = XML::Node.new "osm"
1652       cs = XML::Node.new "changeset"
1653       if user
1654         cs["user"] = user.display_name
1655         cs["uid"] = user.id.to_s
1656       end
1657       cs["id"] = id.to_s if id
1658       root.root << cs
1659       root
1660     end
1661   end
1662 end