Support whitespace characters(x09-x0d) as single space

Merge pull request #1706 from mtmail/warn-if-no-tiger-files-found

print warning if no Tiger files found

Merge pull request #1707 from lonvia/regression-address-in-area

place node address parts must be in lower rank area

place node address parts must be in lower rank area

This fixes a regression where the area of the lower ranking
area was not computed correctly.

Also excludes postcodes areas now as they have their own
hierarchy.

print warning if no Tiger files found

Merge pull request #1705 from lonvia/delete-linkee-from-search-name

Remove linkees from search_name

Remove linkees from search_name

Fixes #722

Merge pull request #1704 from lonvia/centroid-within-geometry

linked centroids must always be within geometry

linked centroids must always be within geometry

When using a linked place as centroid for a boundary, check
first that it is really within the area. If it is outside,
just keep the computed centroid because a centroid outside the
area just causes havok.

Fixes #1352.

Merge pull request #1702 from lonvia/rename-derived-place

Make admin boundaries inherit address rank from place nodes

fix style

better grouping

output linked place into address details

add testing for rank adaption while linking

link against place nodes by place type

If a boundary relation has no label member preferably
link against a place node with the same place type.

Also inherit the rank_address from the place node (only
has an effect when linking via lable member or place type).

move linked place type into linked_place extratags

Using linked_place means that we don't overwrite any
place tags on the boundary. This is important when we
wanto to use the information for linking.

Merge pull request #1698 from lonvia/cleanup-partition-functions

Cleanup partition functions

make all query partition functions stable

remove unused nearfeature types

Also move the remaining nearfeaturecentr type close to the
function that is using it.

simplify getNearestParallelRoadFeature function

The function only ever returns one result of which only the
place_id is used. So simplify it to return a single place_id
only (or NULL if none is found).

Also fix typo in function name.

simplify getNearestRoadFeature function

The function only ever returns one result of which only the
place_id is used. So simplify it to return a single place_id
only (or NULL if none is found). Rename funciton to avoid
conflicts when updating an existing database.

advise against using Postgresql 12 and Postgis 3

See also #1677

revert using stricter uniqueness constraint on place

Multiple objects with the same (osm_type, osm_id, class) may
exist when we hold back deleting an area because it is so
large.

Fixes #1695.

Merge pull request #1693 from lonvia/reorganize-addressline-computation

Reorganize addressline computation

adapt API tests

move address line computation in its own function

Merge pull request #1692 from mtmail/tests-for-HasSetAny

unit tests for ParameterParser::hasSetAny

unit tests for ParameterParser::hasSetAny

Merge pull request #1691 from lonvia/structured-query-via-cmdline

add structured search to command-line query tool

add structured search to command-line query tool

Merge pull request #1690 from lonvia/parenting-large-rank-30-areas

improve parenting for large areas with rank 30

improve parenting for large areas with rank 30

Instead of unconditionally parenting them to a street, the
larger areas get a parent area that contains them. To keep
things computationally light-weight, only use the centroid and
bbox to determine if an area is contained.

Requires renaming of parenting functions because renaming
a parameter of the function causes issues when updating the
function (it requires a manual delete, which I'd like to
avoid).

Merge pull request #1689 from mtmail/travis-postgres-stopped-working

Travis: documentation suggests we need to add postgresql-client package

Travis: documentation suggests we need to add postgresql-client package pre-startup

Merge pull request #1688 from mtmail/snippet-noun-vs-snipped-verb

documentation wording: snipped->snippet

documentation wording: snipped->snippet

make sure that linked places are within a boundary

This is a regression from previous code refactoring.

Fixes #1684.

add bbox whereclause to make postgis 3.0 happy

Normally ST_Covers() should include a bbox index use,
so adding a bbox where clause is not really necessary.
However, the query planner messes up and uses a parallel
index search with a second index instead of exclusively
running on the geometry index, when the bbox part is
missing.

Merge pull request #1678 from lonvia/early-drop

Clean up intermediate tables earlier with --drop

fix duplicate keys in tests

The tests suddenly failed because the unique key constraint
is more strict and does no longer include the type.

clean up intermediate tables earlier with --drop

When --drop is given, we can remove all node geometry information
already after the import with osm2pgsql. Also drop all unnecessary
tables before creating the final indices.

Merge pull request #1675 from lonvia/refresh-connection-while-indexing

Fix a couple of issues with the new Python nominatim script

Merge pull request #1674 from mtmail/testdb-how-to-select-tiger-data

document how to extract subset of TIGER data needed for API tests

Merge pull request #1673 from mtmail/wikidata-wget-incomplete

wikipedia: wget didnt download, skip index generation

psycopg 2.6 is now usable on ubuntu 16

nominatim.py: use async in connect() function

The _async parameter name is only supported since psycopg 2.7.
However, async is a keyword in Python >= 3.7, so using this
gives us a syntax error. Working around this by defining the
parameters in a dict and handing that into the connect function.

nominatim.py: also catch deadlocks on final wait

regularly close connection while indexing

Postgres sooner or later runs out of memory when the connection
is used for too long.

document how to extract subset of TIGER data needed for API tests

wikipedia: wget didnt download, skip index generation

Merge pull request #1670 from lonvia/permalinks-for-tiger-and-interpolation

Enable Permalinks to dtails for tiger and interpolation

fix formatting

details: also look for interpolations when way id is given

use detailsPermaLink function on main website as well

return place_id link to details when not an OSM object

Stop-gap solution to find the right object for Tiger and
interpolation objects.

Merge pull request #1667 from mtmail/setup-delete-invalid-indices

setup: delete invalid indices in create-search-indices step

Remove hack that changes the class/type of cities

This interferes badly with the details view.

Fixes #1668.

setup: delete invalid indices in create-search-indices step

Merge pull request #1665 from mtmail/centos7-php7

CentOS7: update from PHP 5.4 to 7.2, add psycopg2

Merge pull request #1666 from mtmail/ubuntu-installs-add-psycopg2

Vagrant Ubuntu: psycopg2 is required

Vagrant Ubuntu: psycopg2 is required

CentOS7: update from PHP 5.4 to 7.2

Merge pull request #1663 from mtmail/vagrant-centos-8

Vagrant setup for CentOS 8

Merge pull request #1664 from mtmail/check-import-finished-for-reverse-only

check_import_finished.php - reverse_only mode has less indices

check_import_finished.php - reverse_only mode has less indices

Vagrant setup for CentOS 8

details html page: no longer use place_id in URLs

fix verboseness of nominiatim script during updates

Merge pull request #1648 from lonvia/nominatim-as-python-script

Replace C Nominatim indexer with Python script

remove libxml dependency for travis as well

fix typo

also adapt indexing command in update script

update cMake build documentation

Remove the dependency on libxml, no longer needed.

forgot to index last rank

replace nominatim C program

fix log levels

add time display for nominatim.py

clean up and document script

fix SQL and some other stuff

Revert "switch to threading"

This reverts commit 8b1c2181be5aa5335c68d36a49cab9c4e2cd8bef.

switch to threading

use generator for thread choice

add prepared statement

simple implementation

Merge pull request #1647 from lonvia/split-out-linking

Split up placex update trigger code

fix indent

rename functions where return parameter changed

Postgresql cannot cleanly reimport these functions when
upgrading, so simply rename to avoid errors.

forgot new trigger sql

adapt index for changes name lookup

move trigger creation later in setup

clean up get_word_id function

Replaced by addr_ids_from_name() which also normalises the
string.

getNearestNamed*Feature functions better return values

factor out parent search from addr:street/addr:place

factor out searching for parent road for pois

remove unused function

factor out computation of default names

Also moves the computation down the line so that we never
have to do it twice.

factor out place linking sql

adapt test to change in hamlet classification

doc: clarify the influence of autovacuum on memory

docs: add a note that the faltnode file is needed for updates

Fixes #1644.