sql/functions.sql

   1 CREATE OR REPLACE FUNCTION geometry_sector(partition INTEGER, place geometry) RETURNS INTEGER
   2   AS $$
   3 DECLARE
   4   NEWgeometry geometry;
   5 BEGIN
   6 --  RAISE WARNING '%',place;
   7   NEWgeometry := ST_PointOnSurface(place);
   8   RETURN (partition*1000000) + (500-ST_X(NEWgeometry)::integer)*1000 + (500-ST_Y(NEWgeometry)::integer);
   9 END;
  10 $$
  11 LANGUAGE plpgsql IMMUTABLE;
  12
  13
  14 CREATE OR REPLACE FUNCTION array_merge(a INTEGER[], b INTEGER[])
  15   RETURNS INTEGER[]
  16   AS $$
  17 DECLARE
  18   i INTEGER;
  19   r INTEGER[];
  20 BEGIN
  21   IF array_upper(a, 1) IS NULL THEN
  22     RETURN b;
  23   END IF;
  24   IF array_upper(b, 1) IS NULL THEN
  25     RETURN a;
  26   END IF;
  27   r := a;
  28   FOR i IN 1..array_upper(b, 1) LOOP
  29     IF NOT (ARRAY[b[i]] <@ r) THEN
  30       r := r || b[i];
  31     END IF;
  32   END LOOP;
  33   RETURN r;
  34 END;
  35 $$
  36 LANGUAGE plpgsql IMMUTABLE;
  37
  38 CREATE OR REPLACE FUNCTION reverse_place_diameter(rank_search SMALLINT)
  39   RETURNS FLOAT
  40   AS $$
  41 BEGIN
  42   IF rank_search <= 4 THEN
  43     RETURN 5.0;
  44   ELSIF rank_search <= 8 THEN
  45     RETURN 1.8;
  46   ELSIF rank_search <= 12 THEN
  47     RETURN 0.6;
  48   ELSIF rank_search <= 17 THEN
  49     RETURN 0.16;
  50   ELSIF rank_search <= 18 THEN
  51     RETURN 0.08;
  52   ELSIF rank_search <= 19 THEN
  53     RETURN 0.04;
  54   END IF;
  55
  56   RETURN 0.02;
  57 END;
  58 $$
  59 LANGUAGE plpgsql IMMUTABLE;
  60
  61 CREATE OR REPLACE FUNCTION get_postcode_rank(country_code VARCHAR(2), postcode TEXT,
  62                                       OUT rank_search SMALLINT, OUT rank_address SMALLINT)
  63 AS $$
  64 DECLARE
  65   part TEXT;
  66 BEGIN
  67     rank_search := 30;
  68     rank_address := 30;
  69     postcode := upper(postcode);
  70
  71     IF country_code = 'gb' THEN
  72         IF postcode ~ '^([A-Z][A-Z]?[0-9][0-9A-Z]? [0-9][A-Z][A-Z])$' THEN
  73             rank_search := 25;
  74             rank_address := 5;
  75         ELSEIF postcode ~ '^([A-Z][A-Z]?[0-9][0-9A-Z]? [0-9])$' THEN
  76             rank_search := 23;
  77             rank_address := 5;
  78         ELSEIF postcode ~ '^([A-Z][A-Z]?[0-9][0-9A-Z])$' THEN
  79             rank_search := 21;
  80             rank_address := 5;
  81         END IF;
  82
  83     ELSEIF country_code = 'sg' THEN
  84         IF postcode ~ '^([0-9]{6})$' THEN
  85             rank_search := 25;
  86             rank_address := 11;
  87         END IF;
  88
  89     ELSEIF country_code = 'de' THEN
  90         IF postcode ~ '^([0-9]{5})$' THEN
  91             rank_search := 21;
  92             rank_address := 11;
  93         END IF;
  94
  95     ELSE
  96         -- Guess at the postcode format and coverage (!)
  97         IF postcode ~ '^[A-Z0-9]{1,5}$' THEN -- Probably too short to be very local
  98             rank_search := 21;
  99             rank_address := 11;
 100         ELSE
 101             -- Does it look splitable into and area and local code?
 102             part := substring(postcode from '^([- :A-Z0-9]+)([- :][A-Z0-9]+)$');
 103
 104             IF part IS NOT NULL THEN
 105                 rank_search := 25;
 106                 rank_address := 11;
 107             ELSEIF postcode ~ '^[- :A-Z0-9]{6,}$' THEN
 108                 rank_search := 21;
 109                 rank_address := 11;
 110             END IF;
 111         END IF;
 112     END IF;
 113
 114 END;
 115 $$
 116 LANGUAGE plpgsql IMMUTABLE;
 117
 118 -- Find the nearest artificial postcode for the given geometry.
 119 -- TODO For areas there should not be more than two inside the geometry.
 120 CREATE OR REPLACE FUNCTION get_nearest_postcode(country VARCHAR(2), geom GEOMETRY) RETURNS TEXT
 121   AS $$
 122 DECLARE
 123   outcode TEXT;
 124   cnt INTEGER;
 125 BEGIN
 126     -- If the geometry is an area then only one postcode must be within
 127     -- that area, otherwise consider the area as not having a postcode.
 128     IF ST_GeometryType(geom) in ('ST_Polygon','ST_MultiPolygon') THEN
 129         SELECT min(postcode), count(*) FROM
 130               (SELECT postcode FROM location_postcode
 131                 WHERE ST_Contains(geom, location_postcode.geometry) LIMIT 2) sub
 132           INTO outcode, cnt;
 133
 134         IF cnt = 1 THEN
 135             RETURN outcode;
 136         ELSE
 137             RETURN null;
 138         END IF;
 139     END IF;
 140
 141     SELECT postcode FROM location_postcode
 142      WHERE ST_DWithin(geom, location_postcode.geometry, 0.05)
 143           AND location_postcode.country_code = country
 144      ORDER BY ST_Distance(geom, location_postcode.geometry) LIMIT 1
 145     INTO outcode;
 146
 147     RETURN outcode;
 148 END;
 149 $$
 150 LANGUAGE plpgsql;
 151
 152
 153 CREATE OR REPLACE FUNCTION get_country_code(place geometry) RETURNS TEXT
 154   AS $$
 155 DECLARE
 156   place_centre GEOMETRY;
 157   nearcountry RECORD;
 158 BEGIN
 159   place_centre := ST_PointOnSurface(place);
 160
 161 -- RAISE WARNING 'get_country_code, start: %', ST_AsText(place_centre);
 162
 163   -- Try for a OSM polygon
 164   FOR nearcountry IN select country_code from location_area_country where country_code is not null and st_covers(geometry, place_centre) limit 1
 165   LOOP
 166     RETURN nearcountry.country_code;
 167   END LOOP;
 168
 169 -- RAISE WARNING 'osm fallback: %', ST_AsText(place_centre);
 170
 171   -- Try for OSM fallback data
 172   -- The order is to deal with places like HongKong that are 'states' within another polygon
 173   FOR nearcountry IN select country_code from country_osm_grid where st_covers(geometry, place_centre) order by area asc limit 1
 174   LOOP
 175     RETURN nearcountry.country_code;
 176   END LOOP;
 177
 178 -- RAISE WARNING 'near osm fallback: %', ST_AsText(place_centre);
 179
 180   --
 181   FOR nearcountry IN select country_code from country_osm_grid where st_dwithin(geometry, place_centre, 0.5) order by st_distance(geometry, place_centre) asc, area asc limit 1
 182   LOOP
 183     RETURN nearcountry.country_code;
 184   END LOOP;
 185
 186   RETURN NULL;
 187 END;
 188 $$
 189 LANGUAGE plpgsql IMMUTABLE;
 190
 191 CREATE OR REPLACE FUNCTION get_country_language_code(search_country_code VARCHAR(2)) RETURNS TEXT
 192   AS $$
 193 DECLARE
 194   nearcountry RECORD;
 195 BEGIN
 196   FOR nearcountry IN select distinct country_default_language_code from country_name where country_code = search_country_code limit 1
 197   LOOP
 198     RETURN lower(nearcountry.country_default_language_code);
 199   END LOOP;
 200   RETURN NULL;
 201 END;
 202 $$
 203 LANGUAGE plpgsql IMMUTABLE;
 204
 205 CREATE OR REPLACE FUNCTION get_country_language_codes(search_country_code VARCHAR(2)) RETURNS TEXT[]
 206   AS $$
 207 DECLARE
 208   nearcountry RECORD;
 209 BEGIN
 210   FOR nearcountry IN select country_default_language_codes from country_name where country_code = search_country_code limit 1
 211   LOOP
 212     RETURN lower(nearcountry.country_default_language_codes);
 213   END LOOP;
 214   RETURN NULL;
 215 END;
 216 $$
 217 LANGUAGE plpgsql IMMUTABLE;
 218
 219 CREATE OR REPLACE FUNCTION get_partition(in_country_code VARCHAR(10)) RETURNS INTEGER
 220   AS $$
 221 DECLARE
 222   nearcountry RECORD;
 223 BEGIN
 224   FOR nearcountry IN select partition from country_name where country_code = in_country_code
 225   LOOP
 226     RETURN nearcountry.partition;
 227   END LOOP;
 228   RETURN 0;
 229 END;
 230 $$
 231 LANGUAGE plpgsql IMMUTABLE;
 232
 233 CREATE OR REPLACE FUNCTION delete_location(OLD_place_id BIGINT) RETURNS BOOLEAN
 234   AS $$
 235 DECLARE
 236 BEGIN
 237   DELETE FROM location_area where place_id = OLD_place_id;
 238 -- TODO:location_area
 239   RETURN true;
 240 END;
 241 $$
 242 LANGUAGE plpgsql;
 243
 244 CREATE OR REPLACE FUNCTION add_location(
 245     place_id BIGINT,
 246     country_code varchar(2),
 247     partition INTEGER,
 248     keywords INTEGER[],
 249     rank_search INTEGER,
 250     rank_address INTEGER,
 251     in_postcode TEXT,
 252     geometry GEOMETRY
 253   )
 254   RETURNS BOOLEAN
 255   AS $$
 256 DECLARE
 257   locationid INTEGER;
 258   centroid GEOMETRY;
 259   diameter FLOAT;
 260   x BOOLEAN;
 261   splitGeom RECORD;
 262   secgeo GEOMETRY;
 263   postcode TEXT;
 264 BEGIN
 265
 266   IF rank_search > 25 THEN
 267     RAISE EXCEPTION 'Adding location with rank > 25 (% rank %)', place_id, rank_search;
 268   END IF;
 269
 270   x := deleteLocationArea(partition, place_id, rank_search);
 271
 272   -- add postcode only if it contains a single entry, i.e. ignore postcode lists
 273   postcode := NULL;
 274   IF in_postcode is not null AND in_postcode not similar to '%(,|;)%' THEN
 275       postcode := upper(trim (in_postcode));
 276   END IF;
 277
 278   IF ST_GeometryType(geometry) in ('ST_Polygon','ST_MultiPolygon') THEN
 279     centroid := ST_Centroid(geometry);
 280
 281     FOR secgeo IN select split_geometry(geometry) AS geom LOOP
 282       x := insertLocationAreaLarge(partition, place_id, country_code, keywords, rank_search, rank_address, false, postcode, centroid, secgeo);
 283     END LOOP;
 284
 285   ELSE
 286
 287     diameter := 0.02;
 288     IF rank_address = 0 THEN
 289       diameter := 0.02;
 290     ELSEIF rank_search <= 14 THEN
 291       diameter := 1.2;
 292     ELSEIF rank_search <= 15 THEN
 293       diameter := 1;
 294     ELSEIF rank_search <= 16 THEN
 295       diameter := 0.5;
 296     ELSEIF rank_search <= 17 THEN
 297       diameter := 0.2;
 298     ELSEIF rank_search <= 21 THEN
 299       diameter := 0.05;
 300     ELSEIF rank_search = 25 THEN
 301       diameter := 0.005;
 302     END IF;
 303
 304 --    RAISE WARNING 'adding % diameter %', place_id, diameter;
 305
 306     secgeo := ST_Buffer(geometry, diameter);
 307     x := insertLocationAreaLarge(partition, place_id, country_code, keywords, rank_search, rank_address, true, postcode, ST_Centroid(geometry), secgeo);
 308
 309   END IF;
 310
 311   RETURN true;
 312 END;
 313 $$
 314 LANGUAGE plpgsql;
 315
 316 CREATE OR REPLACE FUNCTION get_osm_rel_members(members TEXT[], member TEXT) RETURNS TEXT[]
 317   AS $$
 318 DECLARE
 319   result TEXT[];
 320   i INTEGER;
 321 BEGIN
 322
 323   FOR i IN 1..ARRAY_UPPER(members,1) BY 2 LOOP
 324     IF members[i+1] = member THEN
 325       result := result || members[i];
 326     END IF;
 327   END LOOP;
 328
 329   return result;
 330 END;
 331 $$
 332 LANGUAGE plpgsql;
 333
 334 CREATE OR REPLACE FUNCTION get_osm_rel_members(members TEXT[], memberLabels TEXT[]) RETURNS SETOF TEXT
 335   AS $$
 336 DECLARE
 337   i INTEGER;
 338 BEGIN
 339
 340   FOR i IN 1..ARRAY_UPPER(members,1) BY 2 LOOP
 341     IF members[i+1] = ANY(memberLabels) THEN
 342       RETURN NEXT members[i];
 343     END IF;
 344   END LOOP;
 345
 346   RETURN;
 347 END;
 348 $$
 349 LANGUAGE plpgsql;
 350
 351 CREATE OR REPLACE FUNCTION quad_split_geometry(geometry GEOMETRY, maxarea FLOAT, maxdepth INTEGER)
 352   RETURNS SETOF GEOMETRY
 353   AS $$
 354 DECLARE
 355   xmin FLOAT;
 356   ymin FLOAT;
 357   xmax FLOAT;
 358   ymax FLOAT;
 359   xmid FLOAT;
 360   ymid FLOAT;
 361   secgeo GEOMETRY;
 362   secbox GEOMETRY;
 363   seg INTEGER;
 364   geo RECORD;
 365   area FLOAT;
 366   remainingdepth INTEGER;
 367   added INTEGER;
 368
 369 BEGIN
 370
 371 --  RAISE WARNING 'quad_split_geometry: maxarea=%, depth=%',maxarea,maxdepth;
 372
 373   IF (ST_GeometryType(geometry) not in ('ST_Polygon','ST_MultiPolygon') OR NOT ST_IsValid(geometry)) THEN
 374     RETURN NEXT geometry;
 375     RETURN;
 376   END IF;
 377
 378   remainingdepth := maxdepth - 1;
 379   area := ST_AREA(geometry);
 380   IF remainingdepth < 1 OR area < maxarea THEN
 381     RETURN NEXT geometry;
 382     RETURN;
 383   END IF;
 384
 385   xmin := st_xmin(geometry);
 386   xmax := st_xmax(geometry);
 387   ymin := st_ymin(geometry);
 388   ymax := st_ymax(geometry);
 389   secbox := ST_SetSRID(ST_MakeBox2D(ST_Point(ymin,xmin),ST_Point(ymax,xmax)),4326);
 390
 391   -- if the geometry completely covers the box don't bother to slice any more
 392   IF ST_AREA(secbox) = area THEN
 393     RETURN NEXT geometry;
 394     RETURN;
 395   END IF;
 396
 397   xmid := (xmin+xmax)/2;
 398   ymid := (ymin+ymax)/2;
 399
 400   added := 0;
 401   FOR seg IN 1..4 LOOP
 402
 403     IF seg = 1 THEN
 404       secbox := ST_SetSRID(ST_MakeBox2D(ST_Point(xmin,ymin),ST_Point(xmid,ymid)),4326);
 405     END IF;
 406     IF seg = 2 THEN
 407       secbox := ST_SetSRID(ST_MakeBox2D(ST_Point(xmin,ymid),ST_Point(xmid,ymax)),4326);
 408     END IF;
 409     IF seg = 3 THEN
 410       secbox := ST_SetSRID(ST_MakeBox2D(ST_Point(xmid,ymin),ST_Point(xmax,ymid)),4326);
 411     END IF;
 412     IF seg = 4 THEN
 413       secbox := ST_SetSRID(ST_MakeBox2D(ST_Point(xmid,ymid),ST_Point(xmax,ymax)),4326);
 414     END IF;
 415
 416     IF st_intersects(geometry, secbox) THEN
 417       secgeo := st_intersection(geometry, secbox);
 418       IF NOT ST_IsEmpty(secgeo) AND ST_GeometryType(secgeo) in ('ST_Polygon','ST_MultiPolygon') THEN
 419         FOR geo IN select quad_split_geometry(secgeo, maxarea, remainingdepth) as geom LOOP
 420           IF NOT ST_IsEmpty(geo.geom) AND ST_GeometryType(geo.geom) in ('ST_Polygon','ST_MultiPolygon') THEN
 421             added := added + 1;
 422             RETURN NEXT geo.geom;
 423           END IF;
 424         END LOOP;
 425       END IF;
 426     END IF;
 427   END LOOP;
 428
 429   RETURN;
 430 END;
 431 $$
 432 LANGUAGE plpgsql;
 433
 434 CREATE OR REPLACE FUNCTION split_geometry(geometry GEOMETRY)
 435   RETURNS SETOF GEOMETRY
 436   AS $$
 437 DECLARE
 438   geo RECORD;
 439 BEGIN
 440   -- 10000000000 is ~~ 1x1 degree
 441   FOR geo IN select quad_split_geometry(geometry, 0.25, 20) as geom LOOP
 442     RETURN NEXT geo.geom;
 443   END LOOP;
 444   RETURN;
 445 END;
 446 $$
 447 LANGUAGE plpgsql;
 448
 449
 450 CREATE OR REPLACE FUNCTION place_force_delete(placeid BIGINT) RETURNS BOOLEAN
 451   AS $$
 452 DECLARE
 453     osmid BIGINT;
 454     osmtype character(1);
 455     pclass text;
 456     ptype text;
 457 BEGIN
 458   SELECT osm_type, osm_id, class, type FROM placex WHERE place_id = placeid INTO osmtype, osmid, pclass, ptype;
 459   DELETE FROM import_polygon_delete where osm_type = osmtype and osm_id = osmid and class = pclass and type = ptype;
 460   DELETE FROM import_polygon_error where osm_type = osmtype and osm_id = osmid and class = pclass and type = ptype;
 461   -- force delete from place/placex by making it a very small geometry
 462   UPDATE place set geometry = ST_SetSRID(ST_Point(0,0), 4326) where osm_type = osmtype and osm_id = osmid and class = pclass and type = ptype;
 463   DELETE FROM place where osm_type = osmtype and osm_id = osmid and class = pclass and type = ptype;
 464
 465   RETURN TRUE;
 466 END;
 467 $$
 468 LANGUAGE plpgsql;
 469
 470 CREATE OR REPLACE FUNCTION place_force_update(placeid BIGINT) RETURNS BOOLEAN
 471   AS $$
 472 DECLARE
 473   placegeom GEOMETRY;
 474   geom GEOMETRY;
 475   diameter FLOAT;
 476   rank INTEGER;
 477 BEGIN
 478   UPDATE placex SET indexed_status = 2 WHERE place_id = placeid;
 479   SELECT geometry, rank_search FROM placex WHERE place_id = placeid INTO placegeom, rank;
 480   IF placegeom IS NOT NULL AND ST_IsValid(placegeom) THEN
 481     IF ST_GeometryType(placegeom) in ('ST_Polygon','ST_MultiPolygon') THEN
 482       FOR geom IN select split_geometry(placegeom) FROM placex WHERE place_id = placeid LOOP
 483         update placex set indexed_status = 2 where (st_covers(geom, placex.geometry) OR ST_Intersects(geom, placex.geometry))
 484         AND rank_search > rank and indexed_status = 0 and ST_geometrytype(placex.geometry) = 'ST_Point' and (rank_search < 28 or name is not null or (rank >= 16 and address ? 'place'));
 485         update placex set indexed_status = 2 where (st_covers(geom, placex.geometry) OR ST_Intersects(geom, placex.geometry))
 486         AND rank_search > rank and indexed_status = 0 and ST_geometrytype(placex.geometry) != 'ST_Point' and (rank_search < 28 or name is not null or (rank >= 16 and address ? 'place'));
 487       END LOOP;
 488     ELSE
 489         diameter := 0;
 490         IF rank = 11 THEN
 491           diameter := 0.05;
 492         ELSEIF rank < 18 THEN
 493           diameter := 0.1;
 494         ELSEIF rank < 20 THEN
 495           diameter := 0.05;
 496         ELSEIF rank = 21 THEN
 497           diameter := 0.001;
 498         ELSEIF rank < 24 THEN
 499           diameter := 0.02;
 500         ELSEIF rank < 26 THEN
 501           diameter := 0.002; -- 100 to 200 meters
 502         ELSEIF rank < 28 THEN
 503           diameter := 0.001; -- 50 to 100 meters
 504         END IF;
 505         IF diameter > 0 THEN
 506           IF rank >= 26 THEN
 507             -- roads may cause reparenting for >27 rank places
 508             update placex set indexed_status = 2 where indexed_status = 0 and rank_search > rank and ST_DWithin(placex.geometry, placegeom, diameter);
 509           ELSEIF rank >= 16 THEN
 510             -- up to rank 16, street-less addresses may need reparenting
 511             update placex set indexed_status = 2 where indexed_status = 0 and rank_search > rank and ST_DWithin(placex.geometry, placegeom, diameter) and (rank_search < 28 or name is not null or address ? 'place');
 512           ELSE
 513             -- for all other places the search terms may change as well
 514             update placex set indexed_status = 2 where indexed_status = 0 and rank_search > rank and ST_DWithin(placex.geometry, placegeom, diameter) and (rank_search < 28 or name is not null);
 515           END IF;
 516         END IF;
 517     END IF;
 518     RETURN TRUE;
 519   END IF;
 520
 521   RETURN FALSE;
 522 END;
 523 $$
 524 LANGUAGE plpgsql;