indexer: allow batch processing of places

Request and process multiple place_ids at once so that
Postgres can make better use of caching and there are less
transactions running.

indexer: move progress tracker into separate class

indexer: get rid of special handling of few places

Given that we do not distiribute geometry sectors to threads anymore,
there is no point in this kind of special handling.

Merge pull request #1899 from mtmail/use-new-dsn-format-in-vagrant-md

VAGRANT.md: we use different database DSN syntax these days

VAGRANT.md: we use different database DSN syntax these days

Merge pull request #1898 from lonvia/show-housenumber-with-housename

make house number reappear in display name on named POIs

make house number reappear in display name on named POIs

After 6cc6cf950c3c08103e6159a079c85b5a4f1c09fa names and house numbers
of POIS got mingled into a single item when creating the display name.
Add the house number as extra information without place_id to avoid
later mangling.

Merge pull request #1894 from lonvia/fix-hierarchy-by-admin-level

Preserve admin level hierarchy between admin boundaries

Merge pull request #1895 from lonvia/update-less-quiet

Make indexing during updates less quiet

make indexing during updates less quiet

Adjust verbosity behaviour to that of indexing during setup.

preserve admin level hierarchy between admin boundaries

When the address rank of an admin boundary is changed because
of an attached place type, it may happen that the admin_level
hierarchy gets inversed. Avoid that by adjusting the address
rank if an inversion is detected.

Merge pull request #1891 from lonvia/automatic-db-setup

Implicitly connect to database during setup

test: make road really cross the boundary

remove connect() in update script

This is now implicit.

implicitly connect to database during setup

Make access to the DB object a function, so that the connection
can be opened implicitly when the object is accessed for the first
time. This way we no longer need to check beforehand if a specific
function of the setup needs DB access or not.

Also move the check for the module to the relevant sub step.

Merge pull request #1890 from lonvia/add-wiki-tags-to-all-styles

Add wiki tags to all styles

add wiki tags to all styles

wikipedia and wikidata tags are needed to compute the importance
so we need to put them into extra tags for all styles.

Fixes #1885.

forgit to adapt info message

Merge pull request #1874 from joy-yyd/rank_modification

 House number search fix for #164

Merge pull request #1884 from lonvia/fixes-for-webserver-settigns

Small fixes for new webserver settings file

move website settings back to settings/

We don't want the settings to become visible when a server is
accidentally configured wrongly.

log file is a string when not set to false

Modifiy the range of address_rank, fix for issue #164

Merge pull request #1873 from lonvia/resurrect-debug-option

Reenable debug parameter

default language is a string when not set to false

reenable debug parameter

The parameter got lost when switching to website settings.
Given that the use of a fixed parameter is limited,
debugging output can now only be set via the URL parameter.

Merge pull request #1869 from lonvia/migration-for-setup-website

docs: add migration for new --setup-website step

Merge pull request #1868 from lonvia/reverse-for-addressable-places-only

reverse: ignore place nodes without an address rank

docs: add migration for new --setup-website step

reverse: ignore place nodes without an address rank

We already exclude all polygon places without an address
rank. place nodes should also be ignored. This removes
places like locality from the reverse results.

Fixes #1839.

docs: rename documentation chapter

Avoids confusion about this being the documentation itself.

docs: move external data sources into simple page

Merge branch 'move-datasources-into-separate-repos' of https://github.com/mtmail/Nominatim into mtmail-move-datasources-into-separate-repos

Merge pull request #1864 from lonvia/langauge-specific-presuffixes

exclude language-specific name:prefix and name:suffix

Merge pull request #1829 from krahulreddy/websiteSetup

Added setup-website option

Merge pull request #1857 from mtmail/db-migration-update-functions

Migration.md - admin also need to run recreate db functions

exclude language-specific name:prefix and name:suffix

There are about 1k suffixes and 20k prefixes with a
language-speicfic variant in use. These should not
show up as names.

move data-sources/ directory in new git repos

Migration.md - admin also need to run recreate db functions

sql: fix rank variable type

The rank type needs to match the parameter type of
update_place_diameter().

Fixes #1851.

Merge pull request #1858 from lonvia/update-osm2pgsql

Update osm2pgsql

update osm2pgsql (hang on multipolygons)

Merge pull request #1852 from osm-search/disable-jit-for-updates

Disable Postgresql jit and parallel processing for osm2pgsql updates

make phpcs happy

travis: reduce the size of diff download

travis: run a single round of updates on the Monaco import

disable JIT and parallel processing for osm2pgsql in updates

This is known to cause issues because of bad indexing
statistics.

Moved settings-frontend to website/

Updated setup.php

Documentation updated

Added setup-website to travis.yml

Added setup-website option

Merge pull request #1836 from lonvia/rework-large-location-II

Change processing of place nodes in addresses

docs: minor typo and grammar fixes

Merge branch 'split-off-test-tool-installation-instructions' of https://github.com/mtmail/Nominatim into mtmail-split-off-test-tool-installation-instructions

Merge pull request #1841 from mtmail/faq-entry-about-rebuilding-nominatim-so

FAQ addition when to rebuild nominatim.so

Merge pull request #1834 from mtmail/faq-invalid-page-in-block

FAQ entry for PostgreSQL -invalid page in block-

FAQ addition when to rebuild nominatim.so

Put install instructions of test tools into separate docs/ markdown file

FAQ entry for PostgreSQL -invalid page in block-

Merge pull request #1838 from lonvia/make-serve

add 'make serve' command

add 'make serve' command

Starts up PHP's built-in webserver in the website/ directory.
Useful for testing and development.

See #1831.

adapt tests to new search ranks

change place node expansion for large area table

So far we've used a buffer around a place node to define its
potential address reach. This had two problems: the buffer was
so large that addresses often contain false positives and the
buffer is really distorted when getting closer to the poles.

Change the buffer here to draw a bounndig box at a certain
distance in meter. This means that we always use the same
box everywhere on the planet and can make the extent much
smaller. Using a box has the advantage that it is much faster
to figure out if a point is within the box.

Merge pull request #1830 from lonvia/docs-for-nominatim-ui

Add usage docs for nominatim-ui

add usage docs for nominatim-ui

Includes migration guides for Apache and nginx.

Merge pull request #1827 from mtmail/centos8-postgresql12-without-proj

Vagrant centos8: proj52 not needed, use postgresql 12/postgis 3.0

remove version warning from ubuntu 20 installation

cmake: only require php for import and api

Vagrant centos8: proj52 not needed, use postgresql 12/postgis 3.0

prepare 3.5.0 release

Merge pull request #1822 from lonvia/document-address-labels

document which labels may appear in the address info

document which labels may appear in the address info

The list is manually generated and only valid for the default
configuration as used on openstreetmap.org.

Fixes #1808.

parents for large POIs must be address features

There are a couple of places with a search rank < 25 which are
not addressable like waterways and islands. We don't want them
to function as parents for POI-level objects. So use the
address rank for finding parents, not the search rank.

See #1815.

Merge pull request #1813 from lonvia/revert-concurrent-indexing

revert building indexes concurrently

Merge pull request #1814 from lonvia/disable-jit

Disable JIT and parallel workers when indexing

remove warnings about postgres 12 and postgis 3

Disable JIT and parallel workers when indexing

Locally disable jit and parallel workers in the connection that
do indexing. The query planner tends to be overenthusiatic about
using JIT. But with the rather less complex queries we have, the
overhead tends to be larger than the performance gain.

Fixes #1677.

revert building indexes concurrently

This does not really solve the issue with blocking autovacuum
requests and can lead to incomplete indexes and bogus
out-of-disk messages.

Fixes #1549.

Merge pull request #1809 from lonvia/fix-display-names

Fix some glitches in choice of address tags

Merge pull request #1804 from lonvia/ranking-improvement-germany

Localized ranking adaptions for Germany, Sweden and Norway

prefer linked place type over own place type

For state cities, tagging might prefer the place=state on
the admin boundary. The linked place is a more reliable indicator.

each address line must fill at most one geocodejson field

This fixes an issue where a postcode with rank_address 5
would also appear in the state field.

Fix script names in README (#1805)

adapt tests to new ranks

Adapt boundary labels for Sweden and Norway

This also gives us the correct labels for address output in
json and xml.

fix admin levels for Norway and Sweden

Admin levels 3 and 4 are used for region and county respectively,
so downgrade the ranking.

adapt municipality and region for Germany

Merge pull request #1801 from lonvia/rework-classtypes

Rework ClassTypes helper functions

fix style

adapt tests to modified address types

encapsulate icon URL in a function

also adapt uses of ClassTypes in website/

adapt php tests

Also fixes some errors found by the tests.

reorganise class/type information

Add a separate function for each property which saves necessary
information independently. Simplify computation of labels and
simple labels to not explicitly save the labels.

first draft

nominatim: always use deadlock-protected wait

Fixes #1785.

Merge pull request #1793 from lonvia/remove-struct-params-in-gui

search UI: hide unused query parameters

Update travis to bionic=Ubuntu18 (#1800)

Merge pull request #1797 from mtmail/jquery-3-5-1

update jquery dependency 3.5.0 => 3.5.1