a few more amf tests and associated bug fixes
[rails.git] / app / controllers / amf_controller.rb
1 # amf_controller is a semi-standalone API for Flash clients, particularly 
2 # Potlatch. All interaction between Potlatch (as a .SWF application) and the 
3 # OSM database takes place using this controller. Messages are 
4 # encoded in the Actionscript Message Format (AMF).
5 #
6 # Helper functions are in /lib/potlatch.
7 #
8 # Author::      editions Systeme D / Richard Fairhurst 2004-2008
9 # Licence::     public domain.
10 #
11 # == General structure
12 #
13 # Apart from the amf_read and amf_write methods (which distribute the requests
14 # from the AMF message), each method generally takes arguments in the order 
15 # they were sent by the Potlatch SWF. Do not assume typing has been preserved. 
16 # Methods all return an array to the SWF.
17
18 # == Debugging
19
20 # Any method that returns a status code (0 for ok) can also send:
21 #       return(-1,"message")            <-- just puts up a dialogue
22 #       return(-2,"message")            <-- also asks the user to e-mail me
23
24 # To write to the Rails log, use RAILS_DEFAULT_LOGGER.info("message").
25
26 class AmfController < ApplicationController
27   require 'stringio'
28
29   include Potlatch
30
31   # Help methods for checking boundary sanity and area size
32   include MapBoundary
33
34   session :off
35   before_filter :check_write_availability
36
37   # Main AMF handlers: process the raw AMF string (using AMF library) and
38   # calls each action (private method) accordingly.
39   # ** FIXME: refactor to reduce duplication of code across read/write
40   
41   def amf_read
42         req=StringIO.new(request.raw_post+0.chr)# Get POST data as request
43                                                                                         # (cf http://www.ruby-forum.com/topic/122163)
44         req.read(2)                                                             # Skip version indicator and client ID
45         results={}                                                              # Results of each body
46
47         # Parse request
48
49         headers=AMF.getint(req)                                 # Read number of headers
50
51         headers.times do                                                # Read each header
52           name=AMF.getstring(req)                               #  |
53           req.getc                                                              #  | skip boolean
54           value=AMF.getvalue(req)                               #  |
55           header["name"]=value                                  #  |
56         end
57
58         bodies=AMF.getint(req)                                  # Read number of bodies
59         bodies.times do                                                 # Read each body
60           message=AMF.getstring(req)                    #  | get message name
61           index=AMF.getstring(req)                              #  | get index in response sequence
62           bytes=AMF.getlong(req)                                #  | get total size in bytes
63           args=AMF.getvalue(req)                                #  | get response (probably an array)
64       logger.info "Executing AMF #{message}:#{index}"
65
66           case message
67                 when 'getpresets';                      results[index]=AMF.putdata(index,getpresets())
68                 when 'whichways';                       results[index]=AMF.putdata(index,whichways(*args))
69                 when 'whichways_deleted';       results[index]=AMF.putdata(index,whichways_deleted(*args))
70                 when 'getway';                          results[index]=AMF.putdata(index,getway(args[0].to_i))
71                 when 'getrelation';                     results[index]=AMF.putdata(index,getrelation(args[0].to_i))
72                 when 'getway_old';                      results[index]=AMF.putdata(index,getway_old(args[0].to_i,args[1].to_i))
73                 when 'getway_history';          results[index]=AMF.putdata(index,getway_history(args[0].to_i))
74                 when 'getnode_history';         results[index]=AMF.putdata(index,getnode_history(args[0].to_i))
75                 when 'findrelations';           results[index]=AMF.putdata(index,findrelations(*args))
76                 when 'getpoi';                          results[index]=AMF.putdata(index,getpoi(*args))
77           end
78         end
79     logger.info("encoding AMF results")
80     sendresponse(results)
81   end
82
83   def amf_write
84         req=StringIO.new(request.raw_post+0.chr)
85         req.read(2)
86         results={}
87         renumberednodes={}                                              # Shared across repeated putways
88         renumberedways={}                                               # Shared across repeated putways
89
90         headers=AMF.getint(req)                                 # Read number of headers
91         headers.times do                                                # Read each header
92           name=AMF.getstring(req)                               #  |
93           req.getc                                                              #  | skip boolean
94           value=AMF.getvalue(req)                               #  |
95           header["name"]=value                                  #  |
96         end
97
98         bodies=AMF.getint(req)                                  # Read number of bodies
99         bodies.times do                                                 # Read each body
100           message=AMF.getstring(req)                    #  | get message name
101           index=AMF.getstring(req)                              #  | get index in response sequence
102           bytes=AMF.getlong(req)                                #  | get total size in bytes
103           args=AMF.getvalue(req)                                #  | get response (probably an array)
104
105           case message
106                 when 'putway';                          r=putway(renumberednodes,*args)
107                                                                         renumberednodes=r[3]
108                                                                         if r[1] != r[2]
109                                                                           renumberedways[r[1]] = r[2]
110                                                                         end
111                                                                         results[index]=AMF.putdata(index,r)
112                 when 'putrelation';                     results[index]=AMF.putdata(index,putrelation(renumberednodes, renumberedways, *args))
113                 when 'deleteway';                       results[index]=AMF.putdata(index,deleteway(args[0],args[1].to_i))
114                 when 'putpoi';                          results[index]=AMF.putdata(index,putpoi(*args))
115           end
116         end
117     sendresponse(results)
118   end
119
120   private
121
122   # Return presets (default tags, localisation etc.):
123   # uses POTLATCH_PRESETS global, set up in OSM::Potlatch.
124
125   def getpresets() #:doc:
126         return POTLATCH_PRESETS
127   end
128
129   # Find all the ways, POI nodes (i.e. not part of ways), and relations
130   # in a given bounding box. Nodes are returned in full; ways and relations 
131   # are IDs only. 
132
133   def whichways(xmin, ymin, xmax, ymax) #:doc:
134         xmin -= 0.01; ymin -= 0.01
135         xmax += 0.01; ymax += 0.01
136     
137     # check boundary is sane and area within defined
138     # see /config/application.yml
139     begin
140       check_boundaries(xmin, ymin, xmax, ymax)
141     rescue Exception => err
142       # FIXME: report an error rather than just return an empty result
143       return [[],[],[]]
144     end
145
146         if POTLATCH_USE_SQL then
147           way_ids = sql_find_way_ids_in_area(xmin, ymin, xmax, ymax)
148           points = sql_find_pois_in_area(xmin, ymin, xmax, ymax)
149           relation_ids = sql_find_relations_in_area_and_ways(xmin, ymin, xmax, ymax, way_ids)
150         else
151           # find the way ids in an area
152           nodes_in_area = Node.find_by_area(ymin, xmin, ymax, xmax, :conditions => ["current_nodes.visible = ?", true], :include => :ways)
153           way_ids = nodes_in_area.collect { |node| node.way_ids }.flatten.uniq
154
155           # find the node ids in an area that aren't part of ways
156           nodes_not_used_in_area = nodes_in_area.select { |node| node.ways.empty? }
157           points = nodes_not_used_in_area.collect { |n| [n.id, n.lon, n.lat, n.tags_as_hash] }
158
159           # find the relations used by those nodes and ways
160           relations = Relation.find_for_nodes(nodes_in_area.collect { |n| n.id }, :conditions => {:visible => true}) +
161                   Relation.find_for_ways(way_ids, :conditions => {:visible => true})
162           relation_ids = relations.collect { |relation| relation.id }.uniq
163         end
164
165         [way_ids, points, relation_ids]
166   end
167
168   # Find deleted ways in current bounding box (similar to whichways, but ways
169   # with a deleted node only - not POIs or relations).
170
171   def whichways_deleted(xmin, ymin, xmax, ymax) #:doc:
172         xmin -= 0.01; ymin -= 0.01
173         xmax += 0.01; ymax += 0.01
174
175     # check boundary is sane and area within defined
176     # see /config/application.yml
177     begin
178       check_boundaries(xmin, ymin, xmax, ymax)
179     rescue Exception => err
180       # FIXME: report an error rather than just return an empty result
181       return [[]]
182     end
183
184         nodes_in_area = Node.find_by_area(ymin, xmin, ymax, xmax, :conditions => ["current_ways.visible = ?", false], :include => :ways_via_history)
185         way_ids = nodes_in_area.collect { |node| node.ways_via_history_ids }.flatten.uniq
186
187         [way_ids]
188   end
189
190   # Get a way including nodes and tags.
191   # Returns 0 (success), a Potlatch-style array of points, and a hash of tags.
192
193   def getway(wayid) #:doc:
194         if POTLATCH_USE_SQL then
195           points = sql_get_nodes_in_way(wayid)
196           tags = sql_get_tags_in_way(wayid)
197         else
198           # Ideally we would do ":include => :nodes" here but if we do that
199           # then rails only seems to return the first copy of a node when a
200           # way includes a node more than once
201       begin
202             way = Way.find(wayid)
203       rescue ActiveRecord::RecordNotFound
204         return [wayid,[],{}]
205       end
206
207       # check case where way has been deleted or doesn't exist
208       return [wayid,[],{}] if way.nil? or !way.visible
209
210           points = way.nodes.collect do |node|
211                 nodetags=node.tags_as_hash
212                 nodetags.delete('created_by')
213                 [node.lon, node.lat, node.id, nodetags]
214           end
215           tags = way.tags
216         end
217
218         [wayid, points, tags]
219   end
220
221   # Get an old version of a way, and all constituent nodes.
222   #
223   # For undelete (version<0), always uses the most recent version of each node, 
224   # even if it's moved.  For revert (version >= 0), uses the node in existence 
225   # at the time, generating a new id if it's still visible and has been moved/
226   # retagged.
227
228   def getway_old(id, version) #:doc:
229         if version < 0
230           old_way = OldWay.find(:first, :conditions => ['visible = ? AND id = ?', true, id], :order => 'version DESC')
231           points = old_way.get_nodes_undelete unless old_way.nil?
232         else
233           old_way = OldWay.find(:first, :conditions => ['id = ? AND version = ?', id, version])
234           points = old_way.get_nodes_revert unless old_way.nil?
235         end
236
237     if old_way.nil?
238       return [0, id, [], {}, -1]
239     else
240           old_way.tags['history'] = "Retrieved from v#{old_way.version}"
241           return [0, id, points, old_way.tags, old_way.version]
242     end
243   end
244   
245   # Find history of a way. Returns 'way', id, and 
246   # an array of previous versions.
247
248   def getway_history(wayid) #:doc:
249         history = Way.find(wayid).old_ways.reverse.collect do |old_way|
250           user = old_way.user.data_public? ? old_way.user.display_name : 'anonymous'
251           uid  = old_way.user.data_public? ? old_way.user.id : 0
252           [old_way.version, old_way.timestamp.strftime("%d %b %Y, %H:%M"), old_way.visible ? 1 : 0, user, uid]
253         end
254
255         ['way',wayid,history]
256   end
257
258   # Find history of a node. Returns 'node', id, and 
259   # an array of previous versions.
260
261   def getnode_history(nodeid) #:doc:
262         history = Node.find(nodeid).old_nodes.reverse.collect do |old_node|
263           user = old_node.user.data_public? ? old_node.user.display_name : 'anonymous'
264           uid  = old_node.user.data_public? ? old_node.user.id : 0
265           [old_node.timestamp.to_i, old_node.timestamp.strftime("%d %b %Y, %H:%M"), old_node.visible ? 1 : 0, user, uid]
266         end
267
268         ['node',nodeid,history]
269   end
270
271   # Get a relation with all tags and members.
272   # Returns:
273   # 0. relation id,
274   # 1. hash of tags,
275   # 2. list of members.
276   
277   def getrelation(relid) #:doc:
278     begin
279           rel = Relation.find(relid)
280     rescue ActiveRecord::RecordNotFound
281       return [relid, {}, []]
282     end
283
284     return [relid, {}, []] if rel.nil? or !rel.visible
285
286         [relid, rel.tags, rel.members]
287   end
288
289   # Find relations with specified name/id.
290   # Returns array of relations, each in same form as getrelation.
291   
292   def findrelations(searchterm)
293         rels = []
294         if searchterm.to_i>0 then
295           rel = Relation.find(searchterm.to_i)
296           if rel and rel.visible then
297             rels.push([rel.id, rel.tags, rel.members])
298           end
299         else
300           RelationTag.find(:all, :limit => 11, :conditions => ["match(v) against (?)", searchterm] ).each do |t|
301                 if t.relation.visible then
302               rels.push([t.relation.id, t.relation.tags, t.relation.members])
303             end
304           end
305         end
306         rels
307   end
308
309   # Save a relation.
310   # Returns
311   # 0. 0 (success),
312   # 1. original relation id (unchanged),
313   # 2. new relation id.
314
315   def putrelation(renumberednodes, renumberedways, usertoken, relid, tags, members, visible) #:doc:
316         uid = getuserid(usertoken)
317         if !uid then return -1,"You are not logged in, so the relation could not be saved." end
318
319         relid = relid.to_i
320         visible = (visible.to_i != 0)
321
322         # create a new relation, or find the existing one
323         if relid <= 0
324           rel = Relation.new
325         else
326           rel = Relation.find(relid)
327         end
328
329         # check the members are all positive, and correctly type
330         typedmembers = []
331         members.each do |m|
332           mid = m[1].to_i
333           if mid < 0
334                 mid = renumberednodes[mid] if m[0] == 'node'
335                 mid = renumberedways[mid] if m[0] == 'way'
336           end
337       if mid
338             typedmembers << [m[0], mid, m[2]]
339           end
340         end
341
342         # assign new contents
343         rel.members = typedmembers
344         rel.tags = tags
345         rel.visible = visible
346         rel.user_id = uid
347
348         # check it then save it
349         # BUG: the following is commented out because it always fails on my
350         #  install. I think it's a Rails bug.
351
352         #if !rel.preconditions_ok?
353         #  return -2, "Relation preconditions failed"
354         #else
355           rel.save_with_history!
356         #end
357
358         [0, relid, rel.id]
359   end
360
361   # Save a way to the database, including all nodes. Any nodes in the previous
362   # version and no longer used are deleted.
363   # 
364   # Returns:
365   # 0. '0' (code for success),
366   # 1. original way id (unchanged),
367   # 2. new way id,
368   # 3. hash of renumbered nodes (old id=>new id)
369
370   def putway(renumberednodes, usertoken, originalway, points, attributes) #:doc:
371
372         # -- Initialise and carry out checks
373         
374         uid = getuserid(usertoken)
375         if !uid then return -1,"You are not logged in, so the way could not be saved." end
376
377         originalway = originalway.to_i
378
379         points.each do |a|
380           if a[2] == 0 or a[2].nil? then return -2,"Server error - node with id 0 found in way #{originalway}." end
381           if a[1] == 90 then return -2,"Server error - node with lat -90 found in way #{originalway}." end
382         end
383
384         if points.length < 2 then return -2,"Server error - way is only #{points.length} points long." end
385
386         # -- Get unique nodes
387
388         if originalway < 0
389           way = Way.new
390           uniques = []
391         else
392           way = Way.find(originalway)
393           uniques = way.unshared_node_ids
394         end
395
396         # -- Compare nodes and save changes to any that have changed
397
398         nodes = []
399
400         points.each do |n|
401           lon = n[0].to_f
402           lat = n[1].to_f
403           id = n[2].to_i
404           savenode = false
405
406           if renumberednodes[id]
407             id = renumberednodes[id]
408           elsif id < 0
409                 # Create new node
410                 node = Node.new
411                 savenode = true
412           else
413                 node = Node.find(id)
414                 nodetags=node.tags_as_hash
415                 nodetags.delete('created_by')
416                 if !fpcomp(lat, node.lat) or !fpcomp(lon, node.lon) or
417                    n[4] != nodetags or !node.visible?
418                   savenode = true
419                 end
420           end
421
422           if savenode
423                 node.user_id = uid
424             node.lat = lat
425         node.lon = lon
426             node.tags = Tags.join(n[4])
427             node.visible = true
428             node.save_with_history!
429
430                 if id != node.id
431                   renumberednodes[id] = node.id
432                   id = node.id
433             end
434           end
435
436           uniques = uniques - [id]
437           nodes.push(id)
438         end
439
440         # -- Delete any unique nodes
441         
442         uniques.each do |n|
443           deleteitemrelations(n, 'node')
444
445           node = Node.find(n)
446           node.user_id = uid
447           node.visible = false
448           node.save_with_history!
449         end
450
451         # -- Save revised way
452
453         way.tags = attributes
454         way.nds = nodes
455         way.user_id = uid
456         way.visible = true
457         way.save_with_history!
458
459         [0, originalway, way.id, renumberednodes]
460   end
461
462   # Save POI to the database.
463   # Refuses save if the node has since become part of a way.
464   # Returns:
465   # 0. 0 (success),
466   # 1. original node id (unchanged),
467   # 2. new node id.
468
469   def putpoi(usertoken, id, lon, lat, tags, visible) #:doc:
470         uid = getuserid(usertoken)
471         if !uid then return -1,"You are not logged in, so the point could not be saved." end
472
473         id = id.to_i
474         visible = (visible.to_i == 1)
475
476         if id > 0 then
477           node = Node.find(id)
478
479           if !visible then
480             unless node.ways.empty? then return -1,"The point has since become part of a way, so you cannot save it as a POI." end
481             deleteitemrelations(id, 'node')
482           end
483         else
484           node = Node.new
485         end
486
487         node.user_id = uid
488         node.lat = lat
489         node.lon = lon
490         node.tags = Tags.join(tags)
491         node.visible = visible
492         node.save_with_history!
493
494         [0, id, node.id]
495   end
496
497   # Read POI from database
498   # (only called on revert: POIs are usually read by whichways).
499   #
500   # Returns array of id, long, lat, hash of tags.
501
502   def getpoi(id,timestamp) #:doc:
503         if timestamp>0 then
504           n = OldNode.find(id, :conditions=>['UNIX_TIMESTAMP(timestamp)=?',timestamp])
505         else
506           n = Node.find(id)
507         end
508
509         if n
510           return [n.id, n.lon, n.lat, n.tags_as_hash]
511         else
512           return [nil, nil, nil, '']
513         end
514   end
515
516   # Delete way and all constituent nodes. Also removes from any relations.
517   # Returns 0 (success), unchanged way id.
518
519   def deleteway(usertoken, way_id) #:doc:
520         uid = getuserid(usertoken)
521         if !uid then return -1,"You are not logged in, so the way could not be deleted." end
522
523         # FIXME: would be good not to make two history entries when removing
524         #                two nodes from the same relation
525         user = User.find(uid)
526         way = Way.find(way_id)
527         way.unshared_node_ids.each do |n|
528           deleteitemrelations(n, 'node')
529         end
530         deleteitemrelations(way_id, 'way')
531
532         way.delete_with_relations_and_nodes_and_history(user)  
533
534         [0, way_id]
535   end
536
537
538   # ====================================================================
539   # Support functions
540
541   # Remove a node or way from all relations
542
543   def deleteitemrelations(objid, type) #:doc:
544         relations = RelationMember.find(:all, 
545                                                                         :conditions => ['member_type = ? and member_id = ?', type, objid], 
546                                                                         :include => :relation).collect { |rm| rm.relation }.uniq
547
548         relations.each do |rel|
549           rel.members.delete_if { |x| x[0] == type and x[1] == objid }
550           rel.save_with_history!
551         end
552   end
553
554   # Break out node tags into a hash
555   # (should become obsolete as of API 0.6)
556
557   def tagstring_to_hash(a) #:doc:
558         tags={}
559         Tags.split(a) do |k, v|
560           tags[k]=v
561         end
562         tags
563   end
564
565   # Authenticate token
566   # (could be removed if no-one uses the username+password form)
567
568   def getuserid(token) #:doc:
569         if (token =~ /^(.+)\+(.+)$/) then
570           user = User.authenticate(:username => $1, :password => $2)
571         else
572           user = User.authenticate(:token => token)
573         end
574
575         return user ? user.id : nil;
576   end
577
578   # Compare two floating-point numbers to within 0.0000001
579
580   def fpcomp(a,b) #:doc:
581         return ((a/0.0000001).round==(b/0.0000001).round)
582   end
583
584   # Send AMF response
585   
586   def sendresponse(results)
587         a,b=results.length.divmod(256)
588         render :content_type => "application/x-amf", :text => proc { |response, output| 
589           output.write 0.chr+0.chr+0.chr+0.chr+a.chr+b.chr
590           results.each do |k,v|
591                 output.write(v)
592           end
593         }
594   end
595
596
597   # ====================================================================
598   # Alternative SQL queries for getway/whichways
599
600   def sql_find_way_ids_in_area(xmin,ymin,xmax,ymax)
601         sql=<<-EOF
602   SELECT DISTINCT current_way_nodes.id AS wayid
603                 FROM current_way_nodes
604   INNER JOIN current_nodes ON current_nodes.id=current_way_nodes.node_id
605   INNER JOIN current_ways  ON current_ways.id =current_way_nodes.id
606            WHERE current_nodes.visible=TRUE 
607                  AND current_ways.visible=TRUE 
608                  AND #{OSM.sql_for_area(ymin, xmin, ymax, xmax, "current_nodes.")}
609         EOF
610         return ActiveRecord::Base.connection.select_all(sql).collect { |a| a['wayid'].to_i }
611   end
612         
613   def sql_find_pois_in_area(xmin,ymin,xmax,ymax)
614         sql=<<-EOF
615                   SELECT current_nodes.id,current_nodes.latitude*0.0000001 AS lat,current_nodes.longitude*0.0000001 AS lon,current_nodes.tags 
616                         FROM current_nodes 
617  LEFT OUTER JOIN current_way_nodes cwn ON cwn.node_id=current_nodes.id 
618                    WHERE current_nodes.visible=TRUE
619                          AND cwn.id IS NULL
620                          AND #{OSM.sql_for_area(ymin, xmin, ymax, xmax, "current_nodes.")}
621         EOF
622         return ActiveRecord::Base.connection.select_all(sql).collect { |n| [n['id'].to_i,n['lon'].to_f,n['lat'].to_f,tagstring_to_hash(n['tags'])] }
623   end
624         
625   def sql_find_relations_in_area_and_ways(xmin,ymin,xmax,ymax,way_ids)
626         # ** It would be more Potlatchy to get relations for nodes within ways
627         #    during 'getway', not here
628         sql=<<-EOF
629           SELECT DISTINCT cr.id AS relid 
630                 FROM current_relations cr
631   INNER JOIN current_relation_members crm ON crm.id=cr.id 
632   INNER JOIN current_nodes cn ON crm.member_id=cn.id AND crm.member_type='node' 
633            WHERE #{OSM.sql_for_area(ymin, xmin, ymax, xmax, "cn.")}
634         EOF
635         unless way_ids.empty?
636           sql+=<<-EOF
637            UNION
638           SELECT DISTINCT cr.id AS relid
639                 FROM current_relations cr
640   INNER JOIN current_relation_members crm ON crm.id=cr.id
641            WHERE crm.member_type='way' 
642                  AND crm.member_id IN (#{way_ids.join(',')})
643           EOF
644         end
645         return ActiveRecord::Base.connection.select_all(sql).collect { |a| a['relid'].to_i }.uniq
646   end
647         
648   def sql_get_nodes_in_way(wayid)
649         points=[]
650         sql=<<-EOF
651                 SELECT latitude*0.0000001 AS lat,longitude*0.0000001 AS lon,current_nodes.id,tags 
652                   FROM current_way_nodes,current_nodes 
653                  WHERE current_way_nodes.id=#{wayid.to_i} 
654                    AND current_way_nodes.node_id=current_nodes.id 
655                    AND current_nodes.visible=TRUE
656           ORDER BY sequence_id
657           EOF
658         ActiveRecord::Base.connection.select_all(sql).each do |row|
659           nodetags=tagstring_to_hash(row['tags'])
660           nodetags.delete('created_by')
661           points << [row['lon'].to_f,row['lat'].to_f,row['id'].to_i,nodetags]
662         end
663         points
664   end
665         
666   def sql_get_tags_in_way(wayid)
667         tags={}
668         ActiveRecord::Base.connection.select_all("SELECT k,v FROM current_way_tags WHERE id=#{wayid.to_i}").each do |row|
669           tags[row['k']]=row['v']
670         end
671         tags
672   end
673
674 end
675
676 # Local Variables:
677 # indent-tabs-mode: t
678 # tab-width: 4
679 # End: