adapt address levels for admin boundaries in Indonesia

Merge pull request #2002 from lonvia/analyse-indexing-script

Add script for detailed explaing of indexing trigger

add script for detailed explaing of indexing trigger

Merge pull request #1996 from lonvia/remove-postcode-search-structured

Restrict postcode searches to postcode in first token

restrict postcode searches to postcode in first token

In structured queries we should only assume that it is
a postcode search when only the postcode and optionally
the country is given. If any other term is present, it
is better to avoid the search for postcode as it yields
too many bad searches. Given that the terms in a structured
query are ordered, this means that the postcode must be
the first token just like in the unstructured query.

Fixes #1988.

Revert "adapt tests to rank_search removal"

This reverts commit 2a717da8508ed697bfe6f5eded4e397054570a7a.

Merge pull request #1995 from lonvia/update-osm2pgsql

update to latest osm2pgsql version

update to latest osm2pgsql version

The latest version of osm2pgsql no longer creates indexes on
the members of planet_osm_rels. So we do that ourselves.
Given that we only need to access associated street relations,
the index can become quite a bit smaller.

Merge pull request #1986 from mtmail/document-drop-idx_placex_geometry_reverse_lookupPoint

migration guide: idx_placex_geometry_reverse_lookupPoint can be dropped

Merge pull request #1993 from mtmail/country-name-eSwatini

country names: Swaziland => eSwatini

country names: Swaziland => eSwatini

migration guide: idx_placex_geometry_reverse_lookupPoint can be dropped

Merge pull request #1984 from lonvia/remove-reverse-index

Remove unused idx_placex_geometry_reverse_lookupPoint

remove removed index from database check

remove unused idx_placex_geometry_reverse_lookupPoint

The index has been unused ever since the query using it was
changed two years ago. Given that it has not been missed much,
drop it completely here.

Merge pull request #1982 from lonvia/more-rank-search-removal

More rank search removal

adapt tests to rank_search removal

Remove more rank_search usage from address computation

Fixes #1904.

Merge pull request #1980 from lonvia/add-descriptive-term-for-address-rank-24

add descriptive term for address rank 24

add descriptive term for address rank 24

With that term we have terms for all ranks, so that no generic
'administrative' term will show up in the address details anymore.

Merge pull request #1975 from lonvia/simplify-parent-assignment-for-unlisted-places

Use closest containing place area for parent of unlisted addr:place

Merge pull request #1970 from lonvia/remove-duplicate-geometry-check

Switch recursive updates to using rank_search

use rank_address when invalidating containing objects

Only rank_address is now relevant for determining if a place
could be part of an address.

remove ST_Covers check when also testing for ST_Intersects

Using both is slightly problematic because they have different
ways to use the index. Newer versions of Postgis exhibit a
query planner issue when both functions appear together.
As ST_Intersects includes ST_Covers, simply remove the latter.

use closest containing place for unlisted addr:place

We can't use getNearFeatures() to determine the parent of a
place with an unlisted addr:place because this function
returns place nodes that are potentially outside the area
of interest. Doing the complete address computation is too
expensive, so simply use the area with the largest rank that
contains the feature instead.

Merge pull request #1974 from lonvia/show-unknown-addr-place

add unknown addr:place to address output

add unknown addr:place to address output

When a POI has no addr:street but an addr:place that is not
contained in the name list of the parent place, then remember
this situation and merge the content of addr:place into the
address output.

We don't need to care about translations in this case because
it is obvious that no object with translations exists if the
parent isn't the object named in addr:place.

Merge pull request #1971 from lonvia/drop-support-for-isin

Drop support for is_in tag

Merge pull request #1972 from lonvia/exclude-unnamed-highway-areas

Exclude unnamed highway areas

exclude unnamed highway areas

These are used to mark large paved areas. Sometimes they exists
together with named regular streets. In such cases the unnamed
area may overshadow the actual street when computing the address
parent. As unnamed highways are not very useful anyway, we
simply remove them from the database.

remove test for is_in

drop suport for is_in tag

Merge pull request #1965 from lonvia/make-addr-tags-searchable

Make addresses searchable by their addr: tags

Merge pull request #1966 from lonvia/remove-dead-code

remove dead code

remove dead code

The SQL query has moved into the addTokensFromDB() funtion.

always bind addr:place to place instead of street

If an addr:place is given but no addr:street tag, then bind
the rank 30 object always to a <=25 object, even when there
is none found with the same name.

merge addr tags into search_name table

When a place of rank 30 has addr tags that are not covered by the
search terms of the parent, add a separate entry for the POI in
the search_name table that includes the addr tags. We can only
do that with named places. For POIs without a name the housenumber
is used as name. If that is not available either, searching still
won't work.

Merge pull request #1964 from lonvia/remove-postcodes-with-colon

ignore postcodes with colons

ignore postcodes with colons

Colons are used as a delimiter in tiger:left and tiger:right tags
when multiple postcodes are given. Ignore those. This was already
done in the postcode update script. This changes just makes the
two places consistent where postcodes are added.

Update broken links in documentation

Merge pull request #1963 from lonvia/remove-postcodes-from-search-index

Remove postcodes from search index

remove special casing for rank 25 postcodes

They can be computed like any other place.

use same label for all types of postcode in address

remove postcodes entirely from indexing

place=postcode places are artificial places that collect addr:postcode
points for aggration. They should neither show up in the address nor
be searchable. That means that there is no need to index them at all.
Only let boundary=postal_code through which define correct areas for
postcodes.

postal boundary may be imported without name

Postal boundaries usually just have the postcode tag set and are
therefore officially 'nameless'. We want to have them as
boundary=postal_code anyways in order to distiguish them from postcode
points inherited from addr: tags.

Merge pull request #1961 from lonvia/set-place-type-for-result-in-address

Use place type of for result object in address parts

Merge pull request #1960 from lonvia/fix-postcodes-duplicated-by-normalization

Make sure that all postcodes have an entry in the word table

Merge pull request #1957 from lonvia/docs-separate-out-deployment

Restructure vagrant scripts and installation documentation

Merge pull request #1962 from mtmail/travis-ci-without-webserver

travis-ci: we dont need Apache installed

travis-ci: we dont need Apache installed

use place type of for result object in address parts

Boundaries shound derive the address part type from the
linked place if possible. This was already implemented
for the address objects but not for the address information
from the address itself.

Fixes #1949.

make sure that all postcodes have an entry in word

It may happen that two different postcodes normalize to exactly
the same token. In that case we still need two different entries
in the word table. Token lookup will then make sure that the correct
one is choosen.

Fixes #1953.

Merge pull request #1945 from mtmail/travis-ubuntu-20

Upgrade Travis-CI from Ubuntu 18 to 20

docs: fix formatting

restructure developer's manual

Add a section on setting up the development environment which now
also includes the former chapter on recreating the documentation.
Move the README from test/ into the manual as the new Testing
chapter.

make CentOS 8 the default vagrant script

This puts it in line with the Ubunutu scripts.

adapt Ubunut-20 vagrant file to triple webserver config

restructure webserver setup in ubuntu 18 script

Unify the two vagrant scripts for Ubuntu 18. The script can now
be run in three modes: no webserver, with apache, with nginx.
The default mode is to not install any webserver at all. This is
normally sufficient when just developping.

The commit also switches from bento to generic boxes and adds config
for running with a libvirt provider. You need an NFS deamon for
synchronized folders.

add 'make serve-global'

This runs the PHP development server in a mode where it listens
globally. This is needed when running inside vagrant and port-forwarding
to the host machine.

remove host from default website URL

Just assume that Nominatim runs under the root URL. This is a
more versatile base that also makes 'make serve' work out of the
box.

docs: move webserver installation into separate chapter

Upgrade Travis-CI from Ubuntu 18 to 20

Merge pull request #1943 from mtmail/no-get-magic-quotes

starting PHP 5.4 get_magic_quotes_gpc() returns false, no need to check

starting PHP 5.4 get_magic_quotes_gpc() returns false, no need to check

Merge pull request #1940 from mtmail/north-macedonia

country_name Macedonia => North Macedonia

country_name Macedonia => North Macedonia

Merge pull request #1936 from lonvia/tweeking-of-ranks

More fine tuning of default rank assignments

adapt tests to ranking changes

tweak size of large POIs

Further reduce the size from which on POIs are no longer bound
to streets but only to larger objects. The point of reference,
of what a largest POI could be that is still bound is JFK airport.

address rank adjustment for addressable boundaries only

Only administrative boundaries with an address rank need
to be adjusted. Otherwise just handle them like any other
object.

improve fallback ranking

Boundaries and places now always get a rank < 26 to make sure that
they do not parent to a street. Skip boundary=place completely
because they will be covered throught the secondary place tag.

Merge pull request #1934 from lonvia/fix-deletion-of-large-highway-areas

Do not block deletion of large highway areas

do not block deletion of large highway areas

Deletion of areas should only e blocked for addressable features.
Streets and POIs do not have a large impact on updates.

place lookup: filter places that have no details

In rare cases search_name might have entries for places for
which we do not return details, in particular for linkees.
Need to remove those entries in the result list before returning
the details.

Fixes #1932.

Merge pull request #1931 from lonvia/stable-sort-for-results

Reranking of results must be stable

ensure that ordering by importance is stable

The initial search results retrieved from the database already come
preordered, either by importnace or by distance. We want to keep
that order if all other things are equal.

PlaceLookup should return results in input order

Merge pull request #1930 from lonvia/add-support-for-squares

Add support for place=square

add support for place=square

Squares are now addressable (on address level 25) and thus can
be attached to a house number via addr:place. Needed to increase
the rank range for matching up addr:place to 25.

do not run rank 0 objects in parallel

Waterways are at address rank 0 and do linking. This might lead to
deadlocks.

Merge pull request #1926 from lonvia/speed-up-location-lookup

Increase splitting for large geometries

tests: use larger grid to avoid rouding errors

increase splitting for large geometries

When computing the address parts for a geometry, we need to do
a ST_Relates lookup in the location_area_large_* tables. This is
potentially very expensive for geometries with many vertices.
There is already a funtion for splitting large areas to reduce the
impact. This commit reduces the minimum area of a split, effectively
increasing the number of splits.

The effect on database size is minimal (around 3% increase), while
the indexing speed for streets increases by a good 60%.

Merge pull request #1923 from lonvia/split-indexing-for-boundries

Rework indexing order of places

Merge pull request #1924 from lonvia/installation-instructions-external-server

docs: installation hints for external databases

docs: installation hints for external databases

Fixes #1882.

Merge pull request #1921 from lonvia/skip-over-traffic-signs

Remove traffic signs from full styles

make sure that addr:* tags can always be searched for

Always add contents of addr:* tags into address part of the search
table, even when there is no corresponding other name. This keeps
search tolerant to the kind of tagging where parts show up in the
address that have no corresponding object in the database or where
it is only an unaddressable object.

add migration for new indxing schema

switch indexind to address rank

A place needs all lower address rank object indexed to make up
the address. The search rank no longer ensures that as it can have
a different ordering than the address rank.

This switches indexing rank order to address ranks. Non-address
objects (with address rank 0) are indexed together with POIs.

use only centroid to get parent admin boundaries

Using the full geometry is far too expensive.

nominatim: also index boundaries by rank

We need to make sure that the entry in serach_name from a lower rank
is indeed available.

index admin boundaries before everything else

Avoids irregularities that might happen because the address
rank of a boundary is changed through linking.

nominatim: move DBConnection class into its own file

remove traffic signs from full styles

Traffic signs rarely have name and are therefore mostly not
searchable. Remove them completely. Allow street lamps only when
they have a name. Removes about 2M object from a planet instance.

Merge pull request #1920 from lonvia/remove-linked-place-when-updating

Remove linked_place from extratags when updating

remove linked_place from extratags when updating

Before updating an admin boundary we need to make sure that any
artificially generated 'linked_place' entry is removed from the
extratags column. This ensures that the place designation does
not linger when a linked place disappears and that it is updated
when the linking changes.

Merge pull request #1919 from lonvia/tests-for-ranking

More tests and fixes for address rank computation

use address rank for address forming when available

boundary address ranks must not go above 25

Fixes #1914.