bdd: fix faking HTTP headers for python web frameworks

move text normalization into extra function

Merge pull request #3093 from lonvia/remove-sanic

Remove support for Sanic

use in operator for enum tests

Fixes a complaint by mypy.

remove useless check

Found by new mypy version.

remove support for sanic framework

There is no performance gain over falcon or starlette but the special
structure of sanic makes it hard to have exchangable code

update project information for taginfo.json

Merge pull request #3045 from biswajit-k/taginfo

Add script to generate taginfo project description

Merge pull request #3091 from lonvia/fix-postcode-search

Assorted smaller fixes for Python-based search code

avoid fallback country lookup when places are excluded

allow empty parts in excluded_place_id

This worked before.

fix header name for browser languages

tweak postcode search

Give a preference to left-right reading, i.e <postcode>,<address>
prefers a postcode search while <address>,<postcode> rather does
an address search.

Also exclude non-addressables, countries and state from results when a
postcode is contained in the query.

use string representation when dumping variables

fix debug output for searches

Fields have been renamed.

Merge pull request #3086 from lonvia/close-connection-on-replication

Close database connections while waiting for the next update cycle

Merge pull request #3087 from lonvia/conditional-spgist

Disable SPGist for PostgreSQL < 11

Merge pull request #3085 from lonvia/allow-brackets-in-password

Do not fail php script generation when curly braces are present

no longer recommend continuous update mode

close DB connection when waiting for next update cycle

do not fail php script generation when curly braces are present

Fixes #3084.

Add custom config to information required for bug reports

disable SPGist for PostgreSQL < 11

Before that version, an operator needed to be given.

add instructions for switching to user for install scripts

Fixes #3057.

remove Ubuntu 18 installation from TOC

Fixes #3072.

Merge pull request #3073 from mtmail/vagrantfile-remove-ubuntu-18

Vagrantfile - remove Ubuntu 18

Vagrantfile - remove Ubuntu 18

Merge pull request #3067 from lonvia/python-search-api

Python implementation of Search API

make code backwards-compatible with older Python versions

remove tests for old PHP cli commands

fix new linting warning

fix various failing BDD tests

add support for search by houenumber

ignore name rankings without variants

properly close connections when shutting down starlette

fix geocodejson address assignment

The categories should be assigned the address part with the
highest address rank not lowest.

add server fronting for search endpoint

This also implements some of the quirks of free-text search of the
V1 API, in particular, search for categories and coordinates.

add timestamps to HTML debug output

mingle names from linked places into results

switch CLI search command to python implementation

make localisation of results explicit

Localisation was previously done as part of the formatting but might
also be useful on its own when working with the results directly.

add API functions for search functions

Search is now split into three functions: for free-text search,
for structured search and for search by category. Note that the
free-text search does not have as many hidden features like
coordinate search. Use the search parameters for that.

implement actual database searches

implement search builder

implement token assignment

add query analyser for legacy tokenizer

add factory for query analyzer

query analyzer for ICU tokenizer

add ci-test for taginfo file generation

add data structure for tokenized query

docs: add installation instruction for dkjson package

Add script to generate taginfo project description

Merge pull request #3064 from lonvia/clicmd-debug-output

Enable debug output on command line

enable debug output on command line

Merge pull request #3063 from lonvia/variable-parameters

Rework how search parameters are handed to the Python API

fix use of subquery in reverse

move zoom_to_rank computation to extra file

add tests for parameter converter

Merge pull request #3062 from lonvia/enable-psycopg

Add support for psycopg 3 in the frontend

switch API parameters to keyword arguments

This switches the input parameters for API calls to a generic
keyword argument catch-all which is then loaded into a dataclass
where the parameters are checked and forwarded to internal
function.

The dataclass gives more flexibility with the parameters and makes
it easier to reuse common parameters for the different API calls.

actions: run tests against psycopg

enable API use with psycopg 3

Merge pull request #3050 from mtmail/tiger-check-if-database-frozen

when adding Tiger data, check first if database is in frozen state

when adding Tiger data, check first if database is in frozen state

Merge pull request #3054 from lonvia/add-amenity-to-documentation

Docs: reintroduce amenity parameter for structured search

docs: reintroduce amenity parameter for structured search

Merge pull request #3006 from biswajit-k/generalize-filter

generalize filter function for sanitizers

Merge pull request #3030 from lonvia/interpolation-corner-cases

Fix a number of corner cases with interpolation splitting

fix a number of corner cases with interpolation splitting

Snapping a line to a point before splitting was meant to ensure
that the split point is really on the line. However, ST_Snap() does
not always behave well for this case. It may shorten the interpolation
line in some cases with the result that two points housenumbers
suddenly fall on the same point. It might also shorten the line down
to a single point which then makes ST_Split() crash.

Switch to a combination of ST_LineLocatePoint and ST_LineSubString
instead, which guarantees to keep the original geometry. Explicitly
handle the corner cases, where the split point falls on the beginning
or end of the line.

use place_to_be_deleted when force deleting objects

Merge pull request #3023 from lonvia/lookup-api

Python implementation of Lookup API

switch CLI lookup command to Python implementation

add lookup call to server glue

add tests for new lookup API

rename lookup() API to details and add lookup call

The initial plan to serve /details and /lookup endpoints from
the same API call turned out to be impractical, so the API now
also has deparate functions for both.

python lookup: add function for simple lookups

python lookup: factor out finding in tables into own function

Merge pull request #3021 from lonvia/readd-postalcode-relations

Flex style: reinstate postalcode relations

bdd: disable detail tests searching by place ID

Place IDs are not stable and cannot be used in tests.

flex style: reinstate postcode boundaries

Postcode boundaries don't have a name, so need to be imported
unconditionally.

generalize filter for sanitizers

Merge pull request #3019 from lonvia/add-data-postprocessing

Add postprocessing to add-data function

call osm2pgsql postprocessing flush_deleted_places() when adding data

Merge pull request #3020 from lonvia/reverse-api

Python implementation of reverse

limit results for country lookup

add BDD tests for new layers parameter

python reverse: add support for point geometries in interpolations

add wsgi entry point for falcon server

add wsgi entry point for starlette

uvicorn needs a parameter-free function to start.

ignore broken data in interpolation table

disable prepared statements

Prepared statements do not work well with the partial indexes that
Nominatim uses because all Python constants are replaced with
parameters. A query like:

  placex.select().where(placex.c.rank_address.between(4, 25)

gets translated into a prepared query with two parameters:

  SELECT * FROM placex WHERE rank_address BETWEEN %s and %s

And this does not work with a partial index of:

  CREATE INDEX on placex(geometry) WHERE rank_address between 4 and 25

switch reverse CLI command to Python implementation

make sure PHP and Python reverse code does the same

The only allowable difference is precision of coordinates. Python uses
a precision of 7 digits where possible, which corresponds to the
precision of OSM data.

Also fixes some smaller bugs found by the BDD tests.

add server glue for reverse API call

add output formatters for ReverseResults

These formatters are written in a way that they can be reused for
search results later.

ignore NotImplementedErrors when compiling SQL

factor out layer checks in reverse function

python: implement reverse lookup function

The implementation follows for most part the PHP code but introduces an
additional layer parameter with which the kind of places to be returned
can be restricted. This replaces the hard-coded exclusion lists.

add python implementation of reverse

This adds an additional layer parameter and slightly changes the
queries to do more efficient lookups for large area features.

api: make details parameter optional