Merge pull request #2079 from lonvia/improve-progress-logging

Improve progress logging during indexing

improve progress logging during indexing

Wait for 2 seconds before logging the first progress, so that we
have numbers that are a bit more reliable statistically speaking.

Also provides an actual implementation for the log_interval
parameter and fixes some small style issues.

Merge pull request #2077 from lonvia/optimize-large-rank-0-areas

Restrict size of features that get a full address search

Merge pull request #2076 from lonvia/search-name-index-migration

Docs: add migration for search_name_* tables

restrict size of features that get a full address search

It would be nice to always compute addresses for rank 0 objects
over the complete geometry, so that they can be found via all
the admin boundaries that they intersect. However, there are a
couple of extramely large boundaries in OSM (like timezones)
where this results in thousands of possible address candidates
that need to be checked. Fall back to getting the address of the
centroid for them.

docs: add migration for search_name_* tables

Merge pull request #2075 from lonvia/filter-postcodes-from-location-area-large

Filter postcodes by search rank when adding to address list

filter postcodes by search rank when adding to address list

The post codes are the last part that does not fit the new
address ranking scheme. In particular, the search rank is still
relevant for choosing if a postcode should be included into
the address terms. Filter out irrelevant postcodes in
getNearFeatures() already, to avoid having to check for
geometry relation.

Merge pull request #2074 from lonvia/add-housenumber-to-unknown-places

Improve finding addresses that have their own search_name entry because of unknown addr:* parts

Merge pull request #2073 from lonvia/multi-word-partial-terms-in-search-description

Improve handling of multi-word partials in SearchDescription

make phpcs happy

do not use artificial housenumbers as names

If they are artificial they cannot have a search_name entry.

improve handling of multi-word partials in SearchDescription

Multi-word partial terms had an undue advantage over separate partial
terms because they only need to pay the penalty once. This changes
the behaviour by setting the penalty according to the number of
words in the token. This should get rid of search interpretations
with low chance of matching.

This also fixes handling of exact term matching. We now match against
all exact terms of the query, not just a couple of them collected
while building the interpretations.

Also adds a penalty to very short postcodes.

Search housenumbers with unknown address parts by housenumber term

House numbers need special handling because they may appear after
the street term. That means we canot just use them as the main name
for searches where the address has its own search term entries.
Doing this right now, we are able to find '40, Main St, Town' but not
'Main St 40, Town'.

This switches to using the housenumber token as the name term instead.
House number tokens can get special handling when building the search
query that covers the case where they come after the street.

The main disadvantage is that this once more increases the numbers
of possible search interpretation of which we have already too many.

no penalty for housenumber searches

Merge pull request #2071 from lonvia/fix-more-ranks

Search rank 30 must always go with address rank 30

Merge pull request #2070 from lonvia/unlisted-places-to-rank-25

Move unlisted places to address rank 25

search rank 30 must always go with address rank 30

move unlisted places to address rank 25

Unlisted places are derived from addr:place and as such are
still places not streets.

Merge pull request #2068 from lonvia/fix-reverse-only

Do not create POI search terms in reverse-only mode

Test --reverse-only with CI

do not create POI search terms on reverse-only

Fixes #2067.

Merge pull request #2065 from rustycamper/patch-1

viewbox arguments are no longer accepter "in any order"

viewbox arguments are no longer accepter "in any order"

Order should be longitude, then latitude

make sure that admin levels in NL are kept in order

Admin levels 8 and 10 of the Netherlands are municipal / city

Merge pull request #2058 from lonvia/split-address-words

Split addr:* tags into words before adding to the search index

Merge pull request #2059 from lonvia/include-parent-name-for-unknown-places

POIs with unknown addr:place must add parent name to address

POIs with unknown addr:place must add parent name to address

The previous behaviour was a left-over from a former version
where such POIs parented to the street. Now that they parent to
places, it should be included.

split addr: tags into words before adding to the search index

Address parts are only matched by single partial words. If
the addr: names are not split, then multi-word names cannot
be found.

Merge pull request #2056 from lonvia/avoid-linking-postal-areas

Disallow linking for postcode areas

disallow linking for postcode areas

Merge pull request #2054 from lonvia/display-addr-terms

Merge places into address lists referred to by addr:* tags but not computed by Nominatim

use bool_or(ST_Intersects) instead of ST_Intersects(ST_Collect)

ST_Intersects segfaults on geometry collections for certain versions
of Postgis 3.

fix typo

remove unused columns in search_name_* and use right index

We only need the address rank these days, so get rid of
search rank. Also switch indexes to work on address rank.

more tests for absense of additional addressline entries

get additional addresses for rank 30 objects

get_addressdata() now also checks if the place itself has entries
in the place_addressline table and merges them into the results.

Also restrict checking for address tag places to cases where the
name cannot be found in the parent's address search terms. Looking
up all address tags is just too slow.

get address terms from address tags for rank 30

For rank 30 objects add extra elements into the place_addressline
table.

add test for placex from addr tags

lookup places for address tags for rank < 30

While previously the content of addr:* tags was only added
to the list of address search keywords, we now really look up
the matching place. This has the advantage that we pull in all
potential translations from the place, just like all the other
address terms that are looked up by neighbourhood search.

If no place can be found for a given name, the content of the
addr:* tag is still added to the search keywords as before.

Merge pull request #2055 from lonvia/fix-actions

Actions: update apt repo before installing software

actions: update apt repo before installing software

Merge pull request #2046 from lonvia/less-parallel-ranking

Only index larger batches for rank 30

only index larger batches for rank 30

Fixes #2045.

Merge pull request #2041 from lonvia/address-ranks-belgium

Adapt admin_levels for Belgium

adapt admin_levels for Belgium

Fixes #272.

Merge pull request #2038 from lonvia/addresses-for-large-areas

Improve addresses for large areas

Merge pull request #2039 from lonvia/migration-for-ui

Add  migration hints for UI removal and remove tests for icon attribute

remove tests for icon attribute

The icon attribute requires the CONST_MapIcon_URL to be present
which we cannot guarantee for the tests.

docs: add migration hints for removed UI

use different area estimates for large countries

adapt tests to rank changes of natural

guess a base address level for address rank 0 objects

The guess is based on the area and mainly avoids odd
addresses for very large or small objects.

elevate most natural feature to address rank 22

Makes them be in par with landuse features.

Merge pull request #2032 from lonvia/remove-ui

Remove HTML output

Merge pull request #2035 from lonvia/add-index-to-multicountry-script

docs: need to index after updating with a file

docs: need to index after updating with a file

Fixes #2031.

use simpler recurse operator for overpass download

Also fixes a typo in the OSM link.

make phpcs happy

vagrant: setting website URL is not longer necessary

remove now unused settings related to website

There are two places where the website URL is still used:
for icons, replace the URL with a link to the icon repository
of the UI repo. The more URL now builds the link from the
server info.

remove tests for HTML output

remove HTML output and UI elements

remove hierarchy endpoint

This endpoint was never maintained and most of the information
can be obtained via the details endpoint.

Merge pull request #2030 from lonvia/improve-ci

Small improvements for github actions run

action: cache downloaded dependencies

Merge pull request #2027 from lonvia/remove-duplicate-admin-boundaries

Handle duplicated admin boundaries

actions: tweak database settings

Disabling fsync and friends should speed up the CI run
significantly.

use highest admin boundary for duplicated ones

disable admin level 5 in Russia

They either interfere with cities or refer to historical boundaries.

minor fixes for geometry compuation during boundary ranking

Go back to using centroid when determining if one admin level
is within another. There are cases where boundaries are slightly
misaligned due to mapping errors (not using the same ways in the
relations).

Only declare boundaries the same when they have the same wikidata
tag _and_ have exactly the same geometry. This works around tagging
errors with the wikidata tag, which happen because of automated
edits to the wikidata tag.

detect and remove admin boundary duplicates

The Polish community maps admin boundaries that span multiple
levels by duplicating the boundary relations. Detect this situation
by looking out for matching wikidata tags. The higher ranked
duplicates are then thrown out from the address pool by setting
their address rank to 0.

Merge pull request #2029 from lonvia/master

Switch CI to github actions

switch CI badge to github actions

switch CI to github acitons

Merge pull request #2025 from lonvia/fix-secondary-importance-for-countries

Improve secondary result ordering for administrative boundaries

adjust secondary order when no addressimportance available

In cases of countries and remote places without an address
it is possible that 'addressimportance' comes back empty.
Adjust the 'foundorder' to the places importance instead
in such cases.

Fixes #2023.

readd boundary:administrative to class importance

Merge pull request #2022 from lonvia/populate-rank-25

reorganize ranks of high-level place types

reorganize ranks of high-level place types

Rank 25 is now available for places that should appear in addresses
but not when a street is present. Use this for som block-like
place types. Also document the particularity of rank 25.

subdevisions and allotments are now at the same level as landuse
which they are frequently used together with.

Merge pull request #2019 from lonvia/find-pgconfig-inpostgresql-repo

Add support for finding pg_config in Postgresql repos

add support for finding pg_config in Postgresql repos

It uses the same PostgreSQL_ADDITIONAL_VERSIONS variable as
osm2pgsql so that setting that should be sufficient to make
it work.

Merge pull request #2018 from lonvia/update-osm2pgsql

Update to latest osm2pgsql

update to latest osm2pgsql

Important changes:

* fix disabling of JIT in Postgresql
* support for finding latests Postgresql from their repos
* no longer create nodes table with flatnodes

add explicit bbox contains check

Now that the containment check uses ST_Relate, we need to add
a separate bbox contains check to ensure that Postgis does the
efficient check first. Note that we still cannot get rid of the
overlap(&&) check because then Postgis will use the wrong indexes.

Merge pull request #2016 from lonvia/locale-address-russia

add country-specific address ranks for Russia

Merge pull request #2015 from lonvia/cleanup-address-computation

Rework collection of address parts

add country-specific address ranks for Russia

Removes admin level 7, which should not exist and promotes
admin level 8 to municipality level.

place=municipality is only used for boroughs of St. Petersburg,
so demote to level 18.

Fixes #926.

add tests for rank computation

add tests for address computation

revert to && comparison for geometries

Postgis 3 picks the wrong index when using ~ or @.

use computed centroid for location_area_large

The new address computation assumes that the centroid is inside
the area. Therefore we cannot use the centroid function. Use the
pre-computed centroid instead which has already been corrected to
be inside the area.

correctly set from area column in place_addressline

This was always set to true which brings us to the question
if it is even still needed.

fix use of geometry operators

@ is contained by while ~ is contains.

demote admin boundaries for place areas

Also demote the address rank of an admin boundary when there
is a place area of higher rank that completely contains the
area. This catches the case where city boundaries do not exactly
align with administrative units (see for example Moscow).

exclude rank 25 when computing addresses of streets

Address rank 25 is used for squares which are address-wise on the
same level as streets.

overhaul address computation

This is a complete rewrite of the selection of address parts to
be inserted into the place_addressline table.

The new algorithm selects for each rank:
* the boundary overlapping with the addressee and contained
  in the already selected boundaries of lower rank, or failing that
* the place node closest to the addressee that is contained in
  the already selected boundaries and in the influence radius
  of already selected place nodes of lower rank

Place nodes that are not contained in already selected boundaries
of lower rank are completely thrown away. All other candidates are
added as non-address parts.

move ordering out of getNearFeatures

The two places where the function is called have different ordering
requirement.

Merge pull request #2012 from lonvia/format-reverse-debug-output

use Debug class for formatting reverse debug output

use Debug class for formatting reverse debug output