cookbooks/tile/files/default/ruby/expire.rb

   1 #!/usr/bin/ruby
   2
   3 require 'rubygems'
   4 require 'proj4'
   5 require 'xml/libxml'
   6 require 'set'
   7 require 'pg'
   8 require 'time'
   9
  10 module Expire
  11   # projection object to go from latlon -> spherical mercator
  12   PROJ = Proj4::Projection.new(["+proj=merc", "+a=6378137", "+b=6378137",
  13                                 "+lat_ts=0.0", "+lon_0=0.0", "+x_0=0.0",
  14                                 "+y_0=0", "+k=1.0", "+units=m",
  15                                 "+nadgrids=@null", "+no_defs +over"])
  16
  17   # width/height of the spherical mercator projection
  18   SIZE=40075016.6855784
  19   # the size of the meta tile blocks
  20   METATILE = 8
  21   # the directory root for meta tiles
  22   HASH_ROOT = "/tiles/default/"
  23   # lowest zoom that we want to expire
  24   # MIN_ZOOM=12
  25   MIN_ZOOM=13
  26   # highest zoom that we want to expire
  27   MAX_ZOOM=18
  28   # database parameters
  29   DBNAME="gis"
  30   DBHOST=""
  31   #DBPORT=5432
  32   DBPORT=5432
  33   DBTABLE="planet_osm_nodes"
  34
  35   # turns a spherical mercator coord into a tile coord
  36   def Expire.tile_from_merc(point, zoom)
  37     # renormalise into unit space [0,1]
  38     point.x = 0.5 + point.x / SIZE
  39     point.y = 0.5 - point.y / SIZE
  40     # transform into tile space
  41     point.x = point.x * 2 ** zoom
  42     point.y = point.y * 2 ** zoom
  43     # chop of the fractional parts
  44     [point.x.to_int, point.y.to_int, zoom]
  45   end
  46
  47   # turns a latlon -> tile x,y given a zoom level
  48   def Expire.tile_from_latlon(latlon, zoom)
  49     # first convert to spherical mercator
  50     point = PROJ.forward(latlon)
  51     tile_from_merc(point, zoom)
  52   end
  53
  54   # this must match the definition of xyz_to_meta in mod_tile
  55   def Expire.xyz_to_meta(x, y, z)
  56     # mask off the final few bits
  57     x &= ~(METATILE - 1)
  58     y &= ~(METATILE - 1)
  59     # generate the path
  60     hash_path = (0..4).collect { |i|
  61       (((x >> 4*i) & 0xf) << 4) | ((y >> 4*i) & 0xf)
  62     }.reverse.join('/')
  63     z.to_s + '/' + hash_path + ".meta"
  64   end
  65
  66   # time to reset to, some very stupidly early time, before OSM started
  67   EXPIRY_TIME = Time.parse("2000-01-01 00:00:00")
  68
  69   # expire the meta tile by setting the modified time back
  70   def Expire.expire_meta(meta)
  71     puts "Expiring #{meta}"
  72     File.utime(EXPIRY_TIME, EXPIRY_TIME, meta)
  73   end
  74
  75   def Expire.expire(change_file, tile_dirs)
  76     do_expire(change_file) do |set|
  77       new_set = Set.new
  78       meta_set = Set.new
  79
  80       # turn all the tiles into expires, putting them in the set
  81       # so that we don't expire things multiple times
  82       set.each do |xy|
  83         # this has to match the routine in mod_tile
  84         meta = xyz_to_meta(HASH_ROOT, xy[0], xy[1], xy[2])
  85
  86         # check each style working out what needs expiring
  87         tile_dirs.each do |tile_dir|
  88           meta_set.add(tile_dir + "/" + meta) if File.exist?(tile_dir + "/" + meta)
  89         end
  90
  91         # add the parent into the set for the next round
  92         new_set.add([xy[0] / 2, xy[1] / 2, xy[2] - 1])
  93       end
  94
  95       # expire all meta tiles
  96       meta_set.each do |meta|
  97         expire_meta(meta)
  98       end
  99
 100       # return the new set, consisting of all the parents
 101       new_set
 102     end
 103   end
 104
 105   def Expire.do_expire(change_file, &block)
 106     # read in the osm change file
 107     doc = XML::Document.file(change_file)
 108
 109     # hash map to contain all the nodes
 110     nodes = Hash.new
 111
 112     # we put all the nodes into the hash, as it doesn't matter whether the node was
 113     # added, deleted or modified - the tile will need updating anyway.
 114     doc.find('//node').each do |node|
 115       lat = node['lat'].to_f
 116       if lat < -85
 117         lat = -85
 118       end
 119       if lat > 85
 120         lat = 85
 121       end
 122       point = Proj4::Point.new(Math::PI * node['lon'].to_f / 180,
 123                                Math::PI * lat / 180)
 124       nodes[node['id'].to_i] = tile_from_latlon(point, MAX_ZOOM)
 125     end
 126
 127     # now we look for all the ways that have changed and put all of their nodes into
 128     # the hash too. this will add too many nodes, as it is possible a long way will be
 129     # changed at only a portion of its length. however, due to the non-local way that
 130     # mapnik does text placement, it may stil not be enough.
 131     #
 132     # also, we miss cases where nodes are deleted from ways where that node is not
 133     # itself deleted and the coverage of the point set isn't enough to encompass the
 134     # change.
 135     conn = PG::Connection.new(:host => DBHOST, :port => DBPORT, :dbname => DBNAME)
 136     doc.find('//way/nd').each do |node|
 137       node_id = node['ref'].to_i
 138       unless nodes.include? node_id
 139         # this is a node referenced but not added, modified or deleted, so it should
 140         # still be in the postgis DB.
 141         res = conn.query("select lon, lat from #{DBTABLE} where id=#{node_id};")
 142
 143         # loop over results, adding tiles to the change set
 144         res.each do |row|
 145           point = Proj4::Point.new(row[0].to_f / 100.0, row[1].to_f / 100.0)
 146           nodes[node_id] = tile_from_merc(point, MAX_ZOOM)
 147         end
 148
 149         # Discard results
 150         res.clear
 151       end
 152     end
 153
 154     # create a set of all the tiles at the maximum zoom level which are touched by
 155     # any of the nodes we've collected. we'll create the tiles at other zoom levels
 156     # by a simple recursion.
 157     set = Set.new nodes.values
 158
 159     # expire tiles and shrink to the set of parents
 160     (MAX_ZOOM).downto(MIN_ZOOM) do |z|
 161       # allow the block to work on the set, returning the set at the next
 162       # zoom level
 163       set = yield set
 164     end
 165   end
 166 end