prepare 4.2.3 release

fix a number of corner cases with interpolation splitting

Snapping a line to a point before splitting was meant to ensure
that the split point is really on the line. However, ST_Snap() does
not always behave well for this case. It may shorten the interpolation
line in some cases with the result that two points housenumbers
suddenly fall on the same point. It might also shorten the line down
to a single point which then makes ST_Split() crash.

Switch to a combination of ST_LineLocatePoint and ST_LineSubString
instead, which guarantees to keep the original geometry. Explicitly
handle the corner cases, where the split point falls on the beginning
or end of the line.

use place_to_be_deleted when force deleting objects

flex style: reinstate postcode boundaries

Postcode boundaries don't have a name, so need to be imported
unconditionally.

call osm2pgsql postprocessing flush_deleted_places() when adding data

prepare release 4.2.2

actions: restrict linting to newest version

adapt to new version of pylint

remove more tags from full style

The full style should only save the necessary tags needed for
processing.

fix handling of unused extra tags

The tags can only be moved to extra tags after the main tags have been
handled.

fix polygon simplification in reverse results

polygon_threshold has never really worked for reverse.

restrict place rank inheritance to address items

Place tags must have no influence on street- or POI-level
objects.

actions: use token to avoid rate limiting

Main tag information added to geocodejson in reverse geocoding

actions: force PHPUnit 9

PHPUnit 10 is incompatible with our tests. Not worth adapting anymore.

docs: fix internal links

Fixes #2968.

fix importance recalculation

The signature of the compute_importance() function has changed.

remove comma as name separator

Commas are most of the time used as a part of a name, not to
separate multiple names.

See also #2950.

exclude names ending in :wikipedia from indexing

The wikipedia prefix is used for referencing a wikipedia article
for the given tag, not the object, so not useful to search.

fix typo in argument to details CLI command

Fixes #2951.

update Makefile in test directory

do not run osm2pgsql append with mutliple threads

As the updates modify the placex table, there may be deadlocks
when different objects want to forward modifications to the same
place (for example because they are both linked to it).

split query that deletes old objects from placex

placex only has partial indexes over OSM types, so the OSM type
needs to be hardcoded to ensure these indexes are used.

minor adaptions for flex style

VAGRANT.md - replace local.php settings with .env

use canonical url for nominatim.org

install new lua import scripts

flez: add other default styles

flex: hide compiled matchers

flex: switch to functions for substyles

This gives us a bit more flexibility about the implementation
in the future.

explicit export for functions in flex-base

flex: add combining clean function

flex: simplify name handling

flex: simplify address configuration

update osm2pgsql (flex not building index)

use grapheme_stripos instead of stripos in PHP code

The stripos() does not handle non-ASCII correctly.

do not assign postcodes to long linear features

This avoids a postcode in particular for waterway features and
long natural featues like ridges and valleys.

Fixes #2915.

Fix typo in NOMINATIM_LOG_FILE (#2919)

* fix typo in docs (NOMINATIM_LOG_FILE uses s not ms)

add FAQ about finding bad postcodes

contract duplicate spaces in transliteration string

There are some pathological cases where an isolated letter may
be deleted because it is in itself meaningless. If this happens in
the middle of a sentence, then the transliteration contains two
consecutive spaces. Add a final rule to fix this.

See #2909.

prepare release 4.2.1

harmonize flags for PHP's htmlspecialchars

adapt PHP tests for debug output

properly encode special HTML characters in debug mode

actions: install keys for postgres repo

prepare release 4.2.0

add checklist for releases

Merge pull request #2903 from lonvia/migration-for-index-reorganization

Add migration for reorganization of pending indexes

add migration for reorganization of pending indexes

Fixes #2900.

Merge pull request #2902 from lonvia/tiger-county-sanitizer

Tiger county sanitizer

remove BDD test for tiger:county

We no longer rely on the import to strip the tag.

add sanitizer for TIGER tags

Currently only takes over cleaning the tiger:county data. This was
done by the import until now.

Merge pull request #2892 from lonvia/optional-forward-dependecies

Add experimental configuration switch for enabling forward dependencies

add experimental option for enabling forward dependencies

Merge pull request #2890 from lonvia/use-rank-search-for-reverse-polygon-match

Use rank search for reverse polygon match

force use of geometry index for reverse polygon lookup

use rank_search for reverse polygon match

fix condition under which place_to_be_deleted is created

It is needed for updates, independently if reverse-only is set.

Merge pull request #2889 from lonvia/fix-interpolation-updates

Drop illegal values for addr:interpolation on update

drop illegal values for addr:interpolation on update

Merge pull request #2887 from lonvia/lookup-linked-places

Add support for lookup of linked places

Merge pull request #2886 from lonvia/closest-street-in-associated

Handle associatedStreet relations with multiple streets correctly

add support for lookup of linked places

handle associatedStreet relations with multiple streets

When a associatedStreet relation has multiple street members
always take the closest one. Avoid geometry operations for
the frequent case that there is only one street.

Merge pull request #2884 from lonvia/tweak-special-term-penalties

Correctly handle special term + name combination

Merge pull request #2885 from lonvia/remove-unused-countries

Remove dependent territories from country list

correctly handle special term + name combination

Special terms with operator name usually appear in combination with the
name. The current penalties only took name + special term into account
not special term + name.

Fixes #2876.

remove dependent territories from country list

Removes territories of US, France, Australia and Netherlands from the
country list. These territories have their own country code (which is
why they are in the list in the first place) but are mapped as part of
the admin_level 2 relations for the respective parent countries.
Therefore they never had any places attached. In practical terms, the
change only affects the number of tables created.

Merge pull request #2881 from lonvia/more-update-tests-for-osm2pgsql

Experimental support for osm2pgsql flex output

bdd: add tests for osm2pgsql update of postcode nodes

bdd: add osm2pgsql tests for updating interpolations

bdd: test placex content when updating with osm2pgsql

reorganize handling of place type changes

Always replace existing entries in place, never delete them because
a direct delete will cause conflicts.

fix country handling in flex style

If the country tag does not match a 2-letter code, it needs to
be dropped.

remove tests that differ between lua and gazetteer versions

node locations must be stable for osm2pgsql update tests

bdd: extend osm2pgsql update tests

Now also checks for correct indexing state of placex table.

optimise tag match function

add lua requirements for vagrant scripts

CI: require lua libraries

add migration for place_to_be_deleted table

change updates to handle delete/insert workflow

This makes Nominatim compatible with osm2pgsql's default update
modus operandi of deleting and reinserting data. Deletes are diverted
into a TODO table instead of executing them. When data is reinserted,
the corresponding entry in the TODO table is deleted. After updates are
finished, the remaining entries in the TODO table are executed, doing
the same work as the delete trigger did before.

The new behaviour also works against the gazetteer output with its
insert-only mechanism.

initial flex import scripts

Only implements the extratags style for the moment. Tests pass
for the same behaviour as the gazetteer output. Updates still need
to be done.

bdd tests: make import style configurable

The switch is for development. Tests are not guaranteed to still
work when run with anything but the 'extratags' style.

add osm2pgsql gazetteer tests

This ports the gazetteer tests from osm2pgsql to BDD tests.

Merge pull request #2869 from mtmail/improve-tiger-install-doc

Tiger install doc: add -refresh website- step

fix type issues with calls to pyosmium

Tiger install doc: add -refresh website- step

Merge pull request #2871 from lonvia/fix-timeout-for-updates

Fix timeout for updates

add types-requests dependency

respect socket timeout also in other replication functions

fix timeout use for replication timeout

The timeout parameter is no longer taken into account since
pyosmium switched to the requests library. This adds the parameter
back.

Merge pull request #2870 from mtmail/update-github-actions-to-node-16

update those github action packages still using node12

update those github action packages still using node12

Merge pull request #2866 from lonvia/reverse-ignore-interpolations-without-parent

Ignore interpolations without parent on reverse search

ignore interpolations without parent on reverse search

If no parent can be found for an interpolation, there is most
likely a data error involved. So don' t show these interpolations
in reverse search results.

Merge pull request #2865 from Romeo-PHILLIPS/fix/documentation_status_code

Fix: documentation status code

fix: format

fix: markup

fix: 705 Status Code Documentation