when adding Tiger data, check first if database is in frozen state

Merge pull request #3006 from biswajit-k/generalize-filter

generalize filter function for sanitizers

Merge pull request #3030 from lonvia/interpolation-corner-cases

Fix a number of corner cases with interpolation splitting

fix a number of corner cases with interpolation splitting

Snapping a line to a point before splitting was meant to ensure
that the split point is really on the line. However, ST_Snap() does
not always behave well for this case. It may shorten the interpolation
line in some cases with the result that two points housenumbers
suddenly fall on the same point. It might also shorten the line down
to a single point which then makes ST_Split() crash.

Switch to a combination of ST_LineLocatePoint and ST_LineSubString
instead, which guarantees to keep the original geometry. Explicitly
handle the corner cases, where the split point falls on the beginning
or end of the line.

use place_to_be_deleted when force deleting objects

Merge pull request #3023 from lonvia/lookup-api

Python implementation of Lookup API

switch CLI lookup command to Python implementation

add lookup call to server glue

add tests for new lookup API

rename lookup() API to details and add lookup call

The initial plan to serve /details and /lookup endpoints from
the same API call turned out to be impractical, so the API now
also has deparate functions for both.

python lookup: add function for simple lookups

python lookup: factor out finding in tables into own function

Merge pull request #3021 from lonvia/readd-postalcode-relations

Flex style: reinstate postalcode relations

bdd: disable detail tests searching by place ID

Place IDs are not stable and cannot be used in tests.

flex style: reinstate postcode boundaries

Postcode boundaries don't have a name, so need to be imported
unconditionally.

generalize filter for sanitizers

Merge pull request #3019 from lonvia/add-data-postprocessing

Add postprocessing to add-data function

call osm2pgsql postprocessing flush_deleted_places() when adding data

Merge pull request #3020 from lonvia/reverse-api

Python implementation of reverse

limit results for country lookup

add BDD tests for new layers parameter

python reverse: add support for point geometries in interpolations

add wsgi entry point for falcon server

add wsgi entry point for starlette

uvicorn needs a parameter-free function to start.

ignore broken data in interpolation table

disable prepared statements

Prepared statements do not work well with the partial indexes that
Nominatim uses because all Python constants are replaced with
parameters. A query like:

  placex.select().where(placex.c.rank_address.between(4, 25)

gets translated into a prepared query with two parameters:

  SELECT * FROM placex WHERE rank_address BETWEEN %s and %s

And this does not work with a partial index of:

  CREATE INDEX on placex(geometry) WHERE rank_address between 4 and 25

switch reverse CLI command to Python implementation

make sure PHP and Python reverse code does the same

The only allowable difference is precision of coordinates. Python uses
a precision of 7 digits where possible, which corresponds to the
precision of OSM data.

Also fixes some smaller bugs found by the BDD tests.

add server glue for reverse API call

add output formatters for ReverseResults

These formatters are written in a way that they can be reused for
search results later.

ignore NotImplementedErrors when compiling SQL

factor out layer checks in reverse function

python: implement reverse lookup function

The implementation follows for most part the PHP code but introduces an
additional layer parameter with which the kind of places to be returned
can be restricted. This replaces the hard-coded exclusion lists.

add python implementation of reverse

This adds an additional layer parameter and slightly changes the
queries to do more efficient lookups for large area features.

api: make details parameter optional

api: generalize error handling

Return a consistent error response which takes into account the chosen
content type. Also adds tests for V1 server glue.

split SearchResult type

Use adapted types for the different result types. This makes it
easier to have adapted output formatting and means there are only
result fields that are filled.

Merge pull request #3013 from mtmail/changelog-4-2-x

update ChangeLog to verison 4.2.2

update ChangeLog to verison 4.2.2

Merge pull request #3011 from lonvia/fix-flex-scripts

Fix extra tag handling in some flex scripts

Merge pull request #3010 from lonvia/adapt-zoom-for-reverse

Minor adjustments to reverse zoom translation

remove more tags from full style

The full style should only save the necessary tags needed for
processing.

fix handling of unused extra tags

The tags can only be moved to extra tags after the main tags have been
handled.

minor adjustment to reverse zoom translation

Add a 'village' zoom level at 13 between town and neighbourhood
and a all locality-like objects for zoom 15. These zoom levels had
the same behaviour as the lower level so far. However, the distinction
for village and locality may be useful at times.

Merge pull request #3003 from lonvia/rework-bdd-api-tests

Reorganize code around BDD API tests and extend reverse API tests

bdd: be more fuzzy with coordinate comparisons

avoid recent Python dialect

fix polygon simplification in reverse results

polygon_threshold has never really worked for reverse.

bdd: extend reverse API tests for format checks

Reorganise the API reverse tests and extend the checks for the
output format, testing for all expected fields.

bdd: add tests for valid debug output

bdd: replace old formatting strings

bdd: more format checks for reverse XML

bdd: new step variant 'result contains in field'

This replaces the + notation for recursing into result dictionaries.

bdd: factor out computation of result to-check lists

bdd: replace property_list construct with standard check functions

bdd: remove special case for osm_type field

The fuzzy field check hide cover formatting errors. Use 'osm' when
only caring about the conent.

bdd: reorganise field comparisons

Move comparision on Field values from assert_field() into a
comparator class. Replace BadRowValueAssert with a simpler
check_row() function.

bdd: use new check_for_attributes() function also in steps

bdd: fully check correctness of geojson and geocodejson

Parse code now checks presence of all required fields and exports
all fields for inspection.

bdd: remove OrderedDict

dicts are guaranteed to keep insertion order by since Python 3.7, making
use of ORderedDict mute.

Merge pull request #2993 from biswajit-k/delete-tags

Adds sanitizer for preventing certain tags to enter search index based on parameters

Adds sanitizer for preventing certain tags to enter search index based on parameters

fix: pylint error

added docs for delete tags sanitizer

fixed typos in docs and code comments

fix: python typechecking error

fixed rank address type

Revert "fixed typos in docs and code comments"

This reverts commit 6839eea755a87f557895f30524fb5c03dd983d60.

added default parameters and refactored code

added test for all parameters

Merge pull request #2999 from biswajit-k/fix-typos

fixed typos in docs and code comments

fixed typos in docs and code comments

add latest security incident

Also removes 3.6 which is no longer supported.

harmonize flags for PHP's htmlspecialchars

adapt PHP tests for debug output

properly encode special HTML characters in debug mode

Merge pull request #2986 from mtmail/add-more-languages-from-osm-wiki

sp_wiki_loader: add more default languages

sp_wiki_loader: add more default languages

add timestamp to debug SQL output

add warning for reverse index migration

Merge pull request #2985 from lonvia/fix-place-rank-inheritance

Restrict place rank inheritance to address items

restrict place rank inheritance to address items

Place tags must have no influence on street- or POI-level
objects.

Merge pull request #2983 from lonvia/improve-reverse-place-node-lookup

Improve reverse place node lookup

use reverse buffered index for search within country

speed up reverse lookup of place nodes

Add a special index that contains the place nodes buffered by their
respective area according to their search rank. This replaces the
maximum area search for place nodes and reduces drastically the number
of place nodes that need to be retrieved.

Merge pull request #2981 from lonvia/add-point-wkb-decoder

Python frontend: add a WKB decoder for the Point class

add a WKB decoder for the Point class

This allows to return point geometries from the database and makes
the SQL a bit simpler.

Merge pull request #2978 from lonvia/add-debug-view

Add debug view to Python API

add typing information for pygments to requirements

actions: use token to avoid rate limiting

add debug output for unit tests

This uses the debug output facility meant for pretty HTML output
to give us debugging output for the unit tests.

add HTML-formatted debug output to lookup

Merge pull request #2974 from bloom256/main-tag-in-reverse-lookup

Main tag information added to geocodejson in reverse geocoding

Merge pull request #2975 from bloom256/typo-fix

typo fixed

typo fixed

Main tag information added to geocodejson in reverse geocoding

Merge pull request #2970 from lonvia/add-details-endpoint

Python implementation of details endpoint

actions: force PHPUnit 9

PHPUnit 10 is incompatible with our tests. Not worth adapting anymore.

add tests for details result formatting and trim results

Values that are None are no longer included in the output to save
a bit of bandwidth.

expand details BDD tests

There are now minor differences in the output between PHP and
Python versions, so introduce specific tests.

implement details endpoint in Python servers

switch details cli command to new Python implementation

add lookup of postcdoe data

add lookup of tiger data

add lookup of address interpolations

fix new linting issues from pylint 2.16

add unit tests for lookup function

improve scaffolding for API unit tests

Use the static table definition to create the test database.
Add helper function to simplify filling the tables.