]> git.openstreetmap.org Git - nominatim.git/blob - lib-sql/functions/place_triggers.sql
do not fail CI on codecov errors
[nominatim.git] / lib-sql / functions / place_triggers.sql
1 CREATE OR REPLACE FUNCTION place_insert()
2   RETURNS TRIGGER
3   AS $$
4 DECLARE
5   i INTEGER;
6   existing RECORD;
7   existingplacex RECORD;
8   existingline RECORD;
9   existinggeometry GEOMETRY;
10   existingplace_id BIGINT;
11   result BOOLEAN;
12   partition INTEGER;
13 BEGIN
14
15   {% if debug %}
16     RAISE WARNING '-----------------------------------------------------------------------------------';
17     RAISE WARNING 'place_insert: % % % % %',NEW.osm_type,NEW.osm_id,NEW.class,NEW.type,st_area(NEW.geometry);
18   {% endif %}
19   -- filter wrong tupels
20   IF ST_IsEmpty(NEW.geometry) OR NOT ST_IsValid(NEW.geometry) OR ST_X(ST_Centroid(NEW.geometry))::text in ('NaN','Infinity','-Infinity') OR ST_Y(ST_Centroid(NEW.geometry))::text in ('NaN','Infinity','-Infinity') THEN  
21     INSERT INTO import_polygon_error (osm_type, osm_id, class, type, name, country_code, updated, errormessage, prevgeometry, newgeometry)
22       VALUES (NEW.osm_type, NEW.osm_id, NEW.class, NEW.type, NEW.name, NEW.address->'country', now(), ST_IsValidReason(NEW.geometry), null, NEW.geometry);
23 --    RAISE WARNING 'Invalid Geometry: % % % %',NEW.osm_type,NEW.osm_id,NEW.class,NEW.type;
24     RETURN null;
25   END IF;
26
27   -- decide, whether it is an osm interpolation line => insert intoosmline, or else just placex
28   IF NEW.class='place' and NEW.type='houses' and NEW.osm_type='W' and ST_GeometryType(NEW.geometry) = 'ST_LineString' THEN
29     -- Have we already done this place?
30     select * from place where osm_type = NEW.osm_type and osm_id = NEW.osm_id and class = NEW.class and type = NEW.type INTO existing;
31
32     -- Get the existing place_id
33     select * from location_property_osmline where osm_id = NEW.osm_id INTO existingline;
34
35     -- Handle a place changing type by removing the old data (this trigger is executed BEFORE INSERT of the NEW tupel)
36     IF existing.osm_type IS NULL THEN
37       DELETE FROM place where osm_type = NEW.osm_type and osm_id = NEW.osm_id and class = NEW.class;
38     END IF;
39
40     DELETE from import_polygon_error where osm_type = NEW.osm_type and osm_id = NEW.osm_id;
41     DELETE from import_polygon_delete where osm_type = NEW.osm_type and osm_id = NEW.osm_id;
42
43     -- update method for interpolation lines: delete all old interpolation lines with same osm_id (update on place) and insert the new one(s) (they can be split up, if they have > 2 nodes)
44     IF existingline.osm_id IS NOT NULL THEN
45       delete from location_property_osmline where osm_id = NEW.osm_id;
46     END IF;
47
48     -- for interpolations invalidate all nodes on the line
49     update placex p set indexed_status = 2
50       from planet_osm_ways w
51       where w.id = NEW.osm_id and p.osm_type = 'N' and p.osm_id = any(w.nodes);
52
53
54     INSERT INTO location_property_osmline (osm_id, address, linegeo)
55       VALUES (NEW.osm_id, NEW.address, NEW.geometry);
56
57
58     IF existing.osm_type IS NULL THEN
59       return NEW;
60     END IF;
61
62     IF coalesce(existing.address, ''::hstore) != coalesce(NEW.address, ''::hstore)
63        OR (coalesce(existing.extratags, ''::hstore) != coalesce(NEW.extratags, ''::hstore))
64        OR existing.geometry::text != NEW.geometry::text
65        THEN
66
67       update place set 
68         name = NEW.name,
69         address = NEW.address,
70         extratags = NEW.extratags,
71         admin_level = NEW.admin_level,
72         geometry = NEW.geometry
73         where osm_type = NEW.osm_type and osm_id = NEW.osm_id and class = NEW.class and type = NEW.type;
74     END IF;
75
76     RETURN NULL;
77
78   ELSE -- insert to placex
79
80     -- Patch in additional country names
81     IF NEW.admin_level = 2 AND NEW.type = 'administrative'
82           AND NEW.address is not NULL AND NEW.address ? 'country' THEN
83         SELECT name FROM country_name WHERE country_code = lower(NEW.address->'country') INTO existing;
84         IF existing.name IS NOT NULL THEN
85             NEW.name = existing.name || NEW.name;
86         END IF;
87     END IF;
88       
89     -- Have we already done this place?
90     select * from place where osm_type = NEW.osm_type and osm_id = NEW.osm_id and class = NEW.class and type = NEW.type INTO existing;
91
92     -- Get the existing place_id
93     select * from placex where osm_type = NEW.osm_type and osm_id = NEW.osm_id and class = NEW.class and type = NEW.type INTO existingplacex;
94
95     -- Handle a place changing type by removing the old data
96     -- My generated 'place' types are causing havok because they overlap with real keys
97     -- TODO: move them to their own special purpose key/class to avoid collisions
98     IF existing.osm_type IS NULL THEN
99       DELETE FROM place where osm_type = NEW.osm_type and osm_id = NEW.osm_id and class = NEW.class;
100     END IF;
101
102     {% if debug %}RAISE WARNING 'Existing: %',existing.osm_id;{% endif %}
103     {% if debug %}RAISE WARNING 'Existing PlaceX: %',existingplacex.place_id;{% endif %}
104
105     -- Log and discard 
106     IF existing.geometry is not null AND st_isvalid(existing.geometry) 
107       AND st_area(existing.geometry) > 0.02
108       AND ST_GeometryType(NEW.geometry) in ('ST_Polygon','ST_MultiPolygon')
109       AND st_area(NEW.geometry) < st_area(existing.geometry)*0.5
110       THEN
111       INSERT INTO import_polygon_error (osm_type, osm_id, class, type, name, country_code, updated, errormessage, prevgeometry, newgeometry)
112         VALUES (NEW.osm_type, NEW.osm_id, NEW.class, NEW.type, NEW.name, NEW.address->'country', now(), 
113         'Area reduced from '||st_area(existing.geometry)||' to '||st_area(NEW.geometry), existing.geometry, NEW.geometry);
114       RETURN null;
115     END IF;
116
117     DELETE from import_polygon_error where osm_type = NEW.osm_type and osm_id = NEW.osm_id;
118     DELETE from import_polygon_delete where osm_type = NEW.osm_type and osm_id = NEW.osm_id;
119
120     -- To paraphrase, if there isn't an existing item, OR if the admin level has changed
121     IF existingplacex.osm_type IS NULL OR
122         (existingplacex.class = 'boundary' AND
123           ((coalesce(existingplacex.admin_level, 15) != coalesce(NEW.admin_level, 15) AND existingplacex.type = 'administrative') OR
124           (existingplacex.type != NEW.type)))
125     THEN
126
127       {% if config.get_bool('LIMIT_REINDEXING') %}
128       IF existingplacex.osm_type IS NOT NULL THEN
129         -- sanity check: ignore admin_level changes on places with too many active children
130         -- or we end up reindexing entire countries because somebody accidentally deleted admin_level
131         SELECT count(*) INTO i FROM
132           (SELECT 'a' FROM placex, place_addressline 
133             WHERE address_place_id = existingplacex.place_id
134                   and placex.place_id = place_addressline.place_id
135                   and indexed_status = 0 and place_addressline.isaddress LIMIT 100001) sub;
136         IF i > 100000 THEN
137           RETURN null;
138         END IF;
139       END IF;
140       {% endif %}
141
142       IF existing.osm_type IS NOT NULL THEN
143         -- pathological case caused by the triggerless copy into place during initial import
144         -- force delete even for large areas, it will be reinserted later
145         UPDATE place set geometry = ST_SetSRID(ST_Point(0,0), 4326) where osm_type = NEW.osm_type and osm_id = NEW.osm_id and class = NEW.class and type = NEW.type;
146         DELETE from place where osm_type = NEW.osm_type and osm_id = NEW.osm_id and class = NEW.class and type = NEW.type;
147       END IF;
148
149       -- No - process it as a new insertion (hopefully of low rank or it will be slow)
150       insert into placex (osm_type, osm_id, class, type, name,
151                           admin_level, address, extratags, geometry)
152         values (NEW.osm_type, NEW.osm_id, NEW.class, NEW.type, NEW.name,
153                 NEW.admin_level, NEW.address, NEW.extratags, NEW.geometry);
154
155       {% if debug %}RAISE WARNING 'insert done % % % % %',NEW.osm_type,NEW.osm_id,NEW.class,NEW.type,NEW.name;{% endif %}
156
157       RETURN NEW;
158     END IF;
159
160     -- Special case for polygon shape changes because they tend to be large and we can be a bit clever about how we handle them
161     IF existing.geometry::text != NEW.geometry::text 
162        AND ST_GeometryType(existing.geometry) in ('ST_Polygon','ST_MultiPolygon')
163        AND ST_GeometryType(NEW.geometry) in ('ST_Polygon','ST_MultiPolygon') 
164        THEN 
165
166       -- Get the version of the geometry actually used (in placex table)
167       select geometry from placex where osm_type = NEW.osm_type and osm_id = NEW.osm_id and class = NEW.class and type = NEW.type into existinggeometry;
168
169       -- Performance limit
170       IF st_area(NEW.geometry) < 0.000000001 AND st_area(existinggeometry) < 1 THEN
171
172         -- re-index points that have moved in / out of the polygon, could be done as a single query but postgres gets the index usage wrong
173         update placex set indexed_status = 2 where indexed_status = 0
174             AND ST_Intersects(NEW.geometry, placex.geometry)
175             AND NOT ST_Intersects(existinggeometry, placex.geometry)
176             AND rank_search > existingplacex.rank_search AND (rank_search < 28 or name is not null);
177
178         update placex set indexed_status = 2 where indexed_status = 0
179             AND ST_Intersects(existinggeometry, placex.geometry)
180             AND NOT ST_Intersects(NEW.geometry, placex.geometry)
181             AND rank_search > existingplacex.rank_search AND (rank_search < 28 or name is not null);
182
183       END IF;
184
185     END IF;
186
187
188     IF coalesce(existing.name::text, '') != coalesce(NEW.name::text, '')
189        OR coalesce(existing.extratags::text, '') != coalesce(NEW.extratags::text, '')
190        OR coalesce(existing.address, ''::hstore) != coalesce(NEW.address, ''::hstore)
191        OR coalesce(existing.admin_level, 15) != coalesce(NEW.admin_level, 15)
192        OR existing.geometry::text != NEW.geometry::text
193        THEN
194
195       update place set 
196         name = NEW.name,
197         address = NEW.address,
198         extratags = NEW.extratags,
199         admin_level = NEW.admin_level,
200         geometry = NEW.geometry
201         where osm_type = NEW.osm_type and osm_id = NEW.osm_id and class = NEW.class and type = NEW.type;
202
203
204       IF NEW.class in ('place','boundary') AND NEW.type in ('postcode','postal_code') THEN
205           IF NEW.address is NULL OR NOT NEW.address ? 'postcode' THEN
206               -- postcode was deleted, no longer retain in placex
207               DELETE FROM placex where place_id = existingplacex.place_id;
208               RETURN NULL;
209           END IF;
210
211           NEW.name := hstore('ref', NEW.address->'postcode');
212       END IF;
213
214       IF NEW.class in ('boundary')
215          AND ST_GeometryType(NEW.geometry) not in ('ST_Polygon','ST_MultiPolygon') THEN
216           DELETE FROM placex where place_id = existingplacex.place_id;
217           RETURN NULL;
218       END IF;
219
220       update placex set 
221         name = NEW.name,
222         address = NEW.address,
223         parent_place_id = null,
224         extratags = NEW.extratags,
225         admin_level = NEW.admin_level,
226         indexed_status = 2,
227         geometry = NEW.geometry
228         where place_id = existingplacex.place_id;
229       -- if a node(=>house), which is part of a interpolation line, changes (e.g. the street attribute) => mark this line for reparenting 
230       -- (already here, because interpolation lines are reindexed before nodes, so in the second call it would be too late)
231       IF NEW.osm_type='N'
232          and (coalesce(existing.address, ''::hstore) != coalesce(NEW.address, ''::hstore)
233              or existing.geometry::text != NEW.geometry::text)
234       THEN
235           result:= osmline_reinsert(NEW.osm_id, NEW.geometry);
236       END IF;
237
238       -- linked places should get potential new naming and addresses
239       IF existingplacex.linked_place_id is not NULL THEN
240         update placex x set
241           name = p.name,
242           extratags = p.extratags,
243           indexed_status = 2
244         from place p
245         where x.place_id = existingplacex.linked_place_id
246               and x.indexed_status = 0
247               and x.osm_type = p.osm_type
248               and x.osm_id = p.osm_id
249               and x.class = p.class;
250       END IF;
251
252     END IF;
253
254     -- Abort the add (we modified the existing place instead)
255     RETURN NULL;
256   END IF;
257
258 END;
259 $$ LANGUAGE plpgsql;
260
261
262 CREATE OR REPLACE FUNCTION place_delete()
263   RETURNS TRIGGER
264   AS $$
265 DECLARE
266   has_rank BOOLEAN;
267 BEGIN
268
269   {% if debug %}RAISE WARNING 'delete: % % % %',OLD.osm_type,OLD.osm_id,OLD.class,OLD.type;{% endif %}
270
271   -- deleting large polygons can have a massive effect on the system - require manual intervention to let them through
272   IF st_area(OLD.geometry) > 2 and st_isvalid(OLD.geometry) THEN
273     SELECT bool_or(not (rank_address = 0 or rank_address > 25)) as ranked FROM placex WHERE osm_type = OLD.osm_type and osm_id = OLD.osm_id and class = OLD.class and type = OLD.type INTO has_rank;
274     IF has_rank THEN
275       insert into import_polygon_delete (osm_type, osm_id, class, type) values (OLD.osm_type,OLD.osm_id,OLD.class,OLD.type);
276       RETURN NULL;
277     END IF;
278   END IF;
279
280   -- mark for delete
281   UPDATE placex set indexed_status = 100 where osm_type = OLD.osm_type and osm_id = OLD.osm_id and class = OLD.class and type = OLD.type;
282
283   -- interpolations are special
284   IF OLD.osm_type='W' and OLD.class = 'place' and OLD.type = 'houses' THEN
285     UPDATE location_property_osmline set indexed_status = 100 where osm_id = OLD.osm_id; -- osm_id = wayid (=old.osm_id)
286   END IF;
287
288   RETURN OLD;
289 END;
290 $$
291 LANGUAGE plpgsql;
292