Merge remote-tracking branch 'upstream/master'

Merge pull request #3174 from lonvia/osm2pgsql-update-fix

Be more precise on what is deleted on updates

be more strict about removal from place_to_be_deleted

If the type of a place is changed and then the same insert issued
again, the old data will effectively remain in the table.

Fixed #3168.

add test case for bad update

Merge remote-tracking branch 'upstream/master'

Merge pull request #3172 from lonvia/query-timeout

Introduce timeouts for queries

add additional timeout for entire request

use backwards-compatible asyncio timeout implementation

translate query timeouts into proper HTTP responses

Need to use a 503 here because a 408 (Request timeout) will motivate
browsers to immediately resent the request.

add a timeout for DB queries

apply adjusted counts only to final result

Merge remote-tracking branch 'upstream/master'

Merge pull request #3169 from lonvia/tweak-search-with-frequent-names

Further tweak detection of queries that would return a massive amount of results

allow terms with frequent searches together with viewbox

Merge pull request #3167 from lonvia/explicit-encoding

Send explicit charset in content-type when returning json

Merge pull request #3139 from mtmail/update-search-examples

Search.md - update XML and JSON example output

further tweak search containing very frequent tokens

Excluding non-rare full names is not really possible because it makes
addresses with street names like 'main st' unsearchable. This tries to
leav all names in but refrain from ordering results by accuracy
when too many results are expected. This means that the DB will simply
get the first n results without any particular order.

send charset again in content-type when returning json

There are quite a few applications out there that will use some local
encoding when the charset is not explicitly given.

Merge pull request #3165 from lonvia/update-osm2pgsql

Update osm2pgsql to 1.9.1

vagrant scripts: add missing yaml library

add new required json library for osm2pgsql

update osm2pgsql to 1.9.1

Merge remote-tracking branch 'upstream/master'

Merge pull request #3159 from lonvia/fix-name-lookup-for-housenames

Fix name lookup for housenames

fix parameter use for ST_Project

Before postgis 3.4 ST_Project required a geography as input and seemed
to have implicitly converted to geography. Since 3.4 geometry input
is supported but leads to a completely different result.

fix tag name for housename addresses in layer selection

Fixes #3156.

Merge remote-tracking branch 'upstream/master'

Merge pull request #3155 from lonvia/caching-of-transliterators

Cache ICU transliterators between calls

cache ICU transliterators and reuse them

Merge pull request #3150 from alfmarcua/allow_neg_id_details

Allow negative osm_id in details page by setting default parameter to 0

Merge remote-tracking branch 'upstream/master'

fix regression in default setting for details linkedplaces

prefer name-only searches more

return bbox of full country for country searches

Fixes #3149.

fix application of label to wrong expression

avoid lambda SQL in connection with alias tables

Merge remote-tracking branch 'upstream/master'

use coalsce() instead of indexless postgis functions

ST_Intersects is deemed too expensive by the query planer which
leads to odd plans when index use is avoided.

Merge remote-tracking branch 'upstream/master'

do not use index when searching in large areas

This concerns viewboxes as well as radius search.

adapt tests to changes in search

take token_assignment penalty into account

Also computes the expected count differently when addresses are
involved. Address token counts do not bare a direct relation to
real counts.

fix debug output for NearSearch

The search info is in a subsearch and was therefore not taken into
account.

improve penalty for token-split words

The rematch penalty for partial words created by the transliteration
need to take into account that they are rematched against the full word.
That means that missing beginning and end should not get a significant
penalty.

Allow negative osm_id in details page by setting default parameter to 0

Merge remote-tracking branch 'upstream/master'

fix lookup polygon output

Fixes #3147.

Search.md - update XML and JSON example output

Merge remote-tracking branch 'upstream/master'

Merge pull request #3146 from lonvia/forbid-mixed-queries

Do not allow to mix structured and unstructured search

return an error when q is used together with structured parameters

block queries with lots of one and two letter terms

Merge remote-tracking branch 'upstream/master'

remove lookup by address only

There are too many lookups where the address is very frequent,
even when many address parts are present.

allow oversized viewboxes again

This seems to be a rather regular thing when unconditionally sending
the current view and being zoomed out.

Fixes #3137.

provide full URL in more field

This is a regression against the PHP version.

Fixes #3138.

add warning page for URL change

Merge remote-tracking branch 'upstream/master'

remove SQL lambdas with IN expressions

The values of IN expressions are incorrectly cached.

Merge remote-tracking branch 'upstream/master'

only print non-empty search tables

do not lookup by address vector when only few tokens are available

Names of countries and states are exceedingly rare in the word count
but are very frequent in the address. A short name has the danger
of producing too many results.

php: prefer structured over free-form query

This counters some problematic queries where street + housenumber
is put in the q parameter and then city, country etc into
structured parameters.

Merge remote-tracking branch 'upstream/master'

fix regression with lat/lon in json output

lat, lon is returned as strings in the PHP output. Reproduce that in the
Python frontend.

See #3115.

allow OPTIONS method in starlette CORS middleware

If not allowed, then the middleware will return a 400 on pre-flight
CORS requests.

Fixes #3129.

Merge pull request #3122 from miku0/sanitizer-final

Adds sanitizer for Japanese addresses to correspond to block address

Moved KANJI_MAP to icu-rules

Merge remote-tracking branch 'upstream/master'

Merge pull request #3128 from lonvia/fix-classtype-lookup

Fix query over classtype tables

Add the test of reconbine_place

Fixed cosmetic issues

fix query over classtype tables

The case statement prevented the index on the classtype tables
from being used. Move the case statement inside the geometry
function instead.

Merge remote-tracking branch 'upstream/master'

Merge pull request #3127 from lonvia/file-logging

Add file logging for Python frontend

reintroduce file logging for Python frontend

Merge remote-tracking branch 'upstream/master'

add @fail-legacy

Moved KANJI_MAP to global variable

Merge pull request #3125 from lonvia/warm-to-python

Port warm and export functions to Python

older version of Postgres cannot convert jsonb to int

older Python versions need a reference to the loop for a lock

Correction to PR's comment

add tests for new arm and export Python functions

add japanese sanitizer

mostly remove php-cgi requirement

This is now only needed for BDD tests against the php API.

remove now unused run_api_script function

remove now unused run_legacy_script()

port export function to Python

Some of the parameters have been renoved as they don't make sense
anymore.

move warm script to python code

Merge pull request #3121 from lonvia/port-remaining-api-calls

Port remaining API endpoints to Python

add tests for new endpoints

add /polygons endpoint to Python v1 API

add deletable endpoint

remove debug print

Merge pull request #3117 from lonvia/fix-assorted-search-errors

More improvements to the Python search algorithm

disallow special housenumber search with a single frequent partial

do not split names from typed phrases

When phrases are typed, they should only contain exactly one term.

split up get_assignment functon in more readable parts

disallow address searches that start with a postcode

These are postcode searches and nothing else.