lib/diff_reader.rb

   1 # frozen_string_literal: true
   2
   3 ##
   4 # DiffReader reads OSM diffs and applies them to the database.
   5 #
   6 # Uses the streaming LibXML "Reader" interface to cut down on memory
   7 # usage, so hopefully we can process fairly large diffs.
   8 class DiffReader
   9   include LibXML
  10
  11   # maps each element type to the model class which handles it
  12   MODELS = {
  13     "node" => Node,
  14     "way" => Way,
  15     "relation" => Relation
  16   }.freeze
  17
  18   ##
  19   # Construct a diff reader by giving it a bunch of XML +data+ to parse
  20   # in OsmChange format. All diffs must be limited to a single changeset
  21   # given in +changeset+.
  22   def initialize(data, changeset)
  23     @reader = XML::Reader.string(data)
  24     @changeset = changeset
  25     # document that's (re-)used to handle elements expanded out of the
  26     # diff processing stream.
  27     @doc = XML::Document.new
  28     @doc.root = XML::Node.new("osm")
  29   end
  30
  31   ##
  32   # Reads the next element from the XML document. Checks the return value
  33   # and throws an exception if an error occurred.
  34   def read_or_die
  35     # NOTE: XML::Reader#read returns false for EOF and raises an
  36     # exception if an error occurs.
  37     @reader.read
  38   rescue LibXML::XML::Error => e
  39     raise OSM::APIBadXMLError.new("changeset", xml, e.message)
  40   end
  41
  42   ##
  43   # An element-block mapping for using the LibXML reader interface.
  44   #
  45   # Since a lot of LibXML reader usage is boilerplate iteration through
  46   # elements, it would be better to DRY and do this in a block. This
  47   # could also help with error handling...?
  48   def with_element
  49     # if the start element is empty then don't do any processing, as
  50     # there won't be any child elements to process!
  51     unless @reader.empty_element?
  52       # read the first element
  53       read_or_die
  54
  55       while @reader.node_type != 15 # end element
  56         # because we read elements in DOM-style to reuse their DOM
  57         # parsing code, we don't always read an element on each pass
  58         # as the call to @reader.next in the innermost loop will take
  59         # care of that for us.
  60         if @reader.node_type == 1 # element
  61           name = @reader.name
  62           attributes = {}
  63
  64           if @reader.has_attributes?
  65             attributes[@reader.name] = @reader.value while @reader.move_to_next_attribute == 1
  66
  67             @reader.move_to_element
  68           end
  69
  70           yield name, attributes
  71         else
  72           read_or_die
  73         end
  74       end
  75     end
  76     read_or_die
  77   end
  78
  79   ##
  80   # An element-block mapping for using the LibXML reader interface.
  81   #
  82   # Since a lot of LibXML reader usage is boilerplate iteration through
  83   # elements, it would be better to DRY and do this in a block. This
  84   # could also help with error handling...?
  85   def with_model
  86     with_element do |model_name, _model_attributes|
  87       model = MODELS[model_name]
  88       if model.nil?
  89         raise OSM::APIBadUserInput, "Unexpected element type #{model_name}, " \
  90                                     "expected node, way or relation."
  91       end
  92       # new in libxml-ruby >= 2, expand returns an element not associated
  93       # with a document. this means that there's no encoding parameter,
  94       # which means basically nothing works.
  95       expanded = @reader.expand
  96
  97       # create a new, empty document to hold this expanded node
  98       new_node = @doc.import(expanded)
  99       @doc.root << new_node
 100
 101       yield model, new_node
 102       @reader.next
 103
 104       # remove element from doc - it will be garbage collected and the
 105       # rest of the document is re-used in the next iteration.
 106       @doc.root.child.remove!
 107     end
 108   end
 109
 110   ##
 111   # Checks a few invariants. Others are checked in the model methods
 112   # such as save_ and delete_with_history.
 113   def check(model, xml, new)
 114     raise OSM::APIBadXMLError.new(model, xml) if new.nil?
 115     raise OSM::APIChangesetMismatchError.new(new.changeset_id, @changeset.id) unless new.changeset_id == @changeset.id
 116   end
 117
 118   ##
 119   # Consume the XML diff and try to commit it to the database. This code
 120   # is *not* transactional, so code which calls it should ensure that the
 121   # appropriate transaction block is in place.
 122   #
 123   # On a failure to meet preconditions (e.g: optimistic locking fails)
 124   # an exception subclassing OSM::APIError will be thrown.
 125   def commit
 126     # data structure used for mapping placeholder IDs to real IDs
 127     ids = { :node => {}, :way => {}, :relation => {} }
 128
 129     # take the first element and check that it is an osmChange element
 130     @reader.read
 131     raise OSM::APIBadUserInput, "Document element should be 'osmChange'." if @reader.name != "osmChange"
 132
 133     result = OSM::API.new.xml_doc
 134     result.root.name = "diffResult"
 135
 136     # loop at the top level, within the <osmChange> element
 137     with_element do |action_name, action_attributes|
 138       case action_name
 139       when "create"
 140         # create a new element. this code is agnostic of the element type
 141         # because all the elements support the methods that we're using.
 142         with_model do |model, xml|
 143           new = model.from_xml_node(xml, :create => true)
 144           check(model, xml, new)
 145
 146           # when this element is saved it will get a new ID, so we save it
 147           # to produce the mapping which is sent to other elements.
 148           placeholder_id = xml["id"].to_i
 149           raise OSM::APIBadXMLError.new(model, xml) if placeholder_id.nil?
 150
 151           # check if the placeholder ID has been given before and throw
 152           # an exception if it has - we can't create the same element twice.
 153           model_sym = model.to_s.downcase.to_sym
 154           raise OSM::APIBadUserInput, "Placeholder IDs must be unique for created elements." if ids[model_sym].include? placeholder_id
 155
 156           # some elements may have placeholders for other elements in the
 157           # diff, so we must fix these before saving the element.
 158           new.fix_placeholders!(ids, placeholder_id)
 159
 160           # create element given user
 161           new.create_with_history(@changeset.user)
 162
 163           # save placeholder => allocated ID map
 164           ids[model_sym][placeholder_id] = new.id
 165
 166           # add the result to the document we're building for return.
 167           xml_result = XML::Node.new model.to_s.downcase
 168           xml_result["old_id"] = placeholder_id.to_s
 169           xml_result["new_id"] = new.id.to_s
 170           xml_result["new_version"] = new.version.to_s
 171           result.root << xml_result
 172         end
 173
 174       when "modify"
 175         # modify an existing element. again, this code doesn't directly deal
 176         # with types, but uses duck typing to handle them transparently.
 177         with_model do |model, xml|
 178           # get the new element from the XML payload
 179           new = model.from_xml_node(xml, :create => false)
 180           check(model, xml, new)
 181
 182           # if the ID is a placeholder then map it to the real ID
 183           model_sym = model.to_s.downcase.to_sym
 184           client_id = new.id
 185           is_placeholder = ids[model_sym].include? client_id
 186           id = is_placeholder ? ids[model_sym][client_id] : client_id
 187
 188           # and the old one from the database
 189           old = model.find(id)
 190
 191           # translate any placeholder IDs to their true IDs.
 192           new.fix_placeholders!(ids)
 193           new.id = id
 194
 195           old.update_from(new, @changeset.user)
 196
 197           xml_result = XML::Node.new model.to_s.downcase
 198           xml_result["old_id"] = client_id.to_s
 199           xml_result["new_id"] = id.to_s
 200           # version is updated in "old" through the update, so we must not
 201           # return new.version here but old.version!
 202           xml_result["new_version"] = old.version.to_s
 203           result.root << xml_result
 204         end
 205
 206       when "delete"
 207         # delete action. this takes a payload in API 0.6, so we need to do
 208         # most of the same checks that are done for the modify.
 209         with_model do |model, xml|
 210           # delete doesn't have to contain a full payload, according to
 211           # the wiki docs, so we just extract the things we need.
 212           new_id = xml["id"].to_i
 213           raise OSM::APIBadXMLError.new(model, xml, "ID attribute is required") if new_id.nil?
 214
 215           # if the ID is a placeholder then map it to the real ID
 216           model_sym = model.to_s.downcase.to_sym
 217           is_placeholder = ids[model_sym].include? new_id
 218           id = is_placeholder ? ids[model_sym][new_id] : new_id
 219
 220           # build the "new" element by modifying the existing one
 221           new = model.find(id)
 222           new.changeset_id = xml["changeset"].to_i
 223           new.version = xml["version"].to_i
 224           check(model, xml, new)
 225
 226           # fetch the matching old element from the DB
 227           old = model.find(id)
 228
 229           # can a delete have placeholders under any circumstances?
 230           # if a way is modified, then deleted is that a valid diff?
 231           new.fix_placeholders!(ids)
 232
 233           xml_result = XML::Node.new model.to_s.downcase
 234           # oh, the irony... the "new" element actually contains the "old" ID
 235           # a better name would have been client/server, but anyway...
 236           xml_result["old_id"] = new_id.to_s
 237
 238           if action_attributes["if-unused"]
 239             begin
 240               old.delete_with_history!(new, @changeset.user)
 241             rescue OSM::APIAlreadyDeletedError, OSM::APIPreconditionFailedError
 242               xml_result["new_id"] = old.id.to_s
 243               xml_result["new_version"] = old.version.to_s
 244             end
 245           else
 246             old.delete_with_history!(new, @changeset.user)
 247           end
 248
 249           result.root << xml_result
 250         end
 251
 252       else
 253         # no other actions to choose from, so it must be the users fault!
 254         raise OSM::APIChangesetActionInvalid, action_name
 255       end
 256     end
 257
 258     # return the XML document to be rendered back to the client
 259     result
 260   end
 261 end