]> git.openstreetmap.org Git - rails.git/blob - lib/diff_reader.rb
Test and fix for #1567, for teh betterer osmChange compliance.
[rails.git] / lib / diff_reader.rb
1 ##
2 # DiffReader reads OSM diffs and applies them to the database.
3 #
4 # Uses the streaming LibXML "Reader" interface to cut down on memory
5 # usage, so hopefully we can process fairly large diffs.
6 class DiffReader
7   include ConsistencyValidations
8
9   # maps each element type to the model class which handles it
10   MODELS = { 
11     "node"     => Node, 
12     "way"      => Way, 
13     "relation" => Relation
14   }
15
16   ##
17   # Construct a diff reader by giving it a bunch of XML +data+ to parse
18   # in OsmChange format. All diffs must be limited to a single changeset
19   # given in +changeset+.
20   def initialize(data, changeset)
21     @reader = XML::Reader.new data
22     @changeset = changeset
23   end
24
25   ##
26   # Reads the next element from the XML document. Checks the return value
27   # and throws an exception if an error occurred.
28   def read_or_die
29     # NOTE: XML::Reader#read returns 0 for EOF and -1 for error.
30     # we allow an EOF because we are expecting this to always happen
31     # at the end of a document.
32     if @reader.read < 0
33       raise APIBadUserInput.new("Unexpected end of XML document.")
34     end
35   end
36
37   ##
38   # An element-block mapping for using the LibXML reader interface. 
39   #
40   # Since a lot of LibXML reader usage is boilerplate iteration through
41   # elements, it would be better to DRY and do this in a block. This
42   # could also help with error handling...?
43   def with_element
44     # if the start element is empty then don't do any processing, as
45     # there won't be any child elements to process!
46     unless @reader.empty_element?
47       # read the first element
48       read_or_die
49
50       while @reader.node_type != 15 do # end element
51         # because we read elements in DOM-style to reuse their DOM
52         # parsing code, we don't always read an element on each pass
53         # as the call to @reader.next in the innermost loop will take
54         # care of that for us.
55         if @reader.node_type == 1 # element
56           yield @reader.name
57         else
58           read_or_die
59         end
60       end 
61     end
62     read_or_die
63   end
64
65   ##
66   # An element-block mapping for using the LibXML reader interface. 
67   #
68   # Since a lot of LibXML reader usage is boilerplate iteration through
69   # elements, it would be better to DRY and do this in a block. This
70   # could also help with error handling...?
71   def with_model
72     with_element do |model_name|
73       model = MODELS[model_name]
74       raise "Unexpected element type #{model_name}, " +
75         "expected node, way, relation." if model.nil?
76       yield model, @reader.expand
77       @reader.next
78     end
79   end
80
81   ##
82   # Checks a few invariants. Others are checked in the model methods
83   # such as save_ and delete_with_history.
84   def check(model, xml, new)
85     raise OSM::APIBadXMLError.new(model, xml) if new.nil?
86     unless new.changeset_id == @changeset.id 
87       raise OSM::APIChangesetMismatchError.new(new.changeset_id, @changeset.id)
88     end
89   end
90
91   ##
92   # Consume the XML diff and try to commit it to the database. This code
93   # is *not* transactional, so code which calls it should ensure that the
94   # appropriate transaction block is in place.
95   #
96   # On a failure to meet preconditions (e.g: optimistic locking fails) 
97   # an exception subclassing OSM::APIError will be thrown.
98   def commit
99
100     # data structure used for mapping placeholder IDs to real IDs
101     node_ids, way_ids, rel_ids = {}, {}, {}
102     ids = { :node => node_ids, :way => way_ids, :relation => rel_ids}
103
104     # take the first element and check that it is an osmChange element
105     @reader.read
106     raise APIBadUserInput.new("Document element should be 'osmChange'.") if @reader.name != 'osmChange'
107
108     result = OSM::API.new.get_xml_doc
109     result.root.name = "diffResult"
110
111     # loop at the top level, within the <osmChange> element
112     with_element do |action_name|
113       if action_name == 'create'
114         # create a new element. this code is agnostic of the element type
115         # because all the elements support the methods that we're using.
116         with_model do |model, xml|
117           new = model.from_xml_node(xml, true)
118           check(model, xml, new)
119
120           # when this element is saved it will get a new ID, so we save it
121           # to produce the mapping which is sent to other elements.
122           placeholder_id = xml['id'].to_i
123           raise OSM::APIBadXMLError.new(model, xml) if placeholder_id.nil?
124
125           # check if the placeholder ID has been given before and throw
126           # an exception if it has - we can't create the same element twice.
127           model_sym = model.to_s.downcase.to_sym
128           raise OSM::APIBadUserInput.new("Placeholder IDs must be unique for created elements.") if ids[model_sym].include? placeholder_id
129
130           # some elements may have placeholders for other elements in the
131           # diff, so we must fix these before saving the element.
132           new.fix_placeholders!(ids)
133
134           # create element given user
135           new.create_with_history(@changeset.user)
136           
137           # save placeholder => allocated ID map
138           ids[model_sym][placeholder_id] = new.id
139
140           # add the result to the document we're building for return.
141           xml_result = XML::Node.new model.to_s.downcase
142           xml_result["old_id"] = placeholder_id.to_s
143           xml_result["new_id"] = new.id.to_s
144           xml_result["new_version"] = new.version.to_s
145           result.root << xml_result
146         end
147         
148       elsif action_name == 'modify'
149         # modify an existing element. again, this code doesn't directly deal
150         # with types, but uses duck typing to handle them transparently.
151         with_model do |model, xml|
152           # get the new element from the XML payload
153           new = model.from_xml_node(xml, false)
154           check(model, xml, new)
155
156           # if the ID is a placeholder then map it to the real ID
157           model_sym = model.to_s.downcase.to_sym
158           is_placeholder = ids[model_sym].include? new.id
159           id = is_placeholder ? ids[model_sym][new.id] : new.id
160
161           # and the old one from the database
162           old = model.find(id)
163
164           new.fix_placeholders!(ids)
165           old.update_from(new, @changeset.user)
166
167           xml_result = XML::Node.new model.to_s.downcase
168           # oh, the irony... the "new" element actually contains the "old" ID
169           # a better name would have been client/server, but anyway...
170           xml_result["old_id"] = new.id.to_s
171           xml_result["new_id"] = id.to_s 
172           # version is updated in "old" through the update, so we must not
173           # return new.version here but old.version!
174           xml_result["new_version"] = old.version.to_s
175           result.root << xml_result
176         end
177
178       elsif action_name == 'delete'
179         # delete action. this takes a payload in API 0.6, so we need to do
180         # most of the same checks that are done for the modify.
181         with_model do |model, xml|
182           # delete doesn't have to contain a full payload, according to
183           # the wiki docs, so we just extract the things we need.
184           new_id = xml['id'].to_i
185           raise API::APIBadXMLError.new(model, xml, "ID attribute is required") if new_id.nil?
186
187           # if the ID is a placeholder then map it to the real ID
188           model_sym = model.to_s.downcase.to_sym
189           is_placeholder = ids[model_sym].include? new_id
190           id = is_placeholder ? ids[model_sym][new_id] : new_id
191
192           # build the "new" element by modifying the existing one
193           new = model.find(id)
194           new.changeset_id = xml['changeset'].to_i
195           new.version = xml['version'].to_i
196           check(model, xml, new)
197
198           # fetch the matching old element from the DB
199           old = model.find(id)
200
201           # can a delete have placeholders under any circumstances?
202           # if a way is modified, then deleted is that a valid diff?
203           new.fix_placeholders!(ids)
204           old.delete_with_history!(new, @changeset.user)
205
206           xml_result = XML::Node.new model.to_s.downcase
207           # oh, the irony... the "new" element actually contains the "old" ID
208           # a better name would have been client/server, but anyway...
209           xml_result["old_id"] = new_id.to_s
210           result.root << xml_result
211         end
212
213       else
214         # no other actions to choose from, so it must be the users fault!
215         raise OSM::APIChangesetActionInvalid.new(action_name)
216       end
217     end
218
219     # return the XML document to be rendered back to the client
220     return result
221   end
222
223 end