Merge pull request #3722 from emmanuel-ferdman/master

resolve datetime deprecation warnings

Merge pull request #3726 from lonvia/revert-json-format-change

Revert accidental change in json output format

revert accidental change in json output format

resolve datetime deprecation warnings

Signed-off-by: Emmanuel Ferdman <emmanuelferdman@gmail.com>

Merge pull request #3719 from lonvia/query-direction

Estimate query direction

add a comment about the precomputed denominator

add direction penalties

Direction penalties are estimated by getting the name to address
ratio usage for each partial term in the query and computing the
linear regression of that ratio over the entire phrase. Or to put
it in ither words: we try to determine if the terms at the beginning
or the end of the query are more likely to constitute a name.

Direction penalties are currently used only in classic name queries.

reorganise token reranking

As the reranking is about changing penalties in presence of other
tokens, change the datastructure to have the other tokens readily
avilable.

ensure that bailout-check is done after each iteration

replace use of range when computing word list

use iterator instead of list to go over partials

move partial token into a separate field in the query struct

There is exactly one token to be expected and the token is usually
present.

Merge pull request #3716 from lonvia/github-cache-osm2pgsql-binary

Github actions: cache compiled osm2pgsql binary

For the tests on Ubunutu 22-04 we need to compile osm2pgsql because the version they ship is too old. This adds caching of the compiled binary, so that we don't need to recompile for each CI run. Together with the new BDD tests that shaves around 10 min off a CI run.

actions: cache compiled osm2pgsql binary

Merge pull request #3714 from lonvia/postcode-update-without-project-dir

Change postcode update function to work without a project directory

Merge pull request #3715 from lonvia/demote-tags-to-fallbacks

Demote historic and tourism=attraction to fallback tags

demote historic and tourism=attraction to fallback tags

allow updating postcodes without a project directory

Postcodes will then be updated without looking for external postcodes.

Merge pull request #3713 from lonvia/bdd-pytest-db-test

Move BDD tests to pytest-bdd

update documentation for BDD tests

remove usage of behave

add BDD tests for DB

improve table comparison

move database setup to generic conftest.py

remove old behave osm2pgsql BDD tests

implement BDD osm2pgsql tests with pytest-bdd

enable python-bdd for github actions

restrict coordinate output to 7 digits

replace behave BDD API tests with pytest-bdd tests

Merge pull request #3687 from asharmalik19/test-linked-places-language

test: linked places expand default language names

Update linked places name test

Clean up test scenario by removing extra language variations and
improving table readability.

test: linked places expand default language names

Add failing test for issue #2714 to verify default language expansion

Merge pull request #3702 from lonvia/remove-tokenizer-dir

Remove automatic setup of tokenizer directory

So far the tokenizer factory would create a directory for private data for the tokenizer and then hand in the directory location to the tokenizer.

ICU tokenizer doesn't need any extra data anymore, so it doesn't make sense to create a directory which then remains empty. If a tokenizer needs such a directory in the future, it needs to create it on its own and make sure to handle the situation correctly where no project directory is used at all.

remove automatic setup of tokenizer directory

ICU tokenizer doesn't need any extra data anymore, so it doesn't
make sense to create a directory which then remains empty. If a
tokenizer needs such a directory in the future, it needs to create
it on its own and make sure to handle the situation correctly where
no project directory is used at all.

Merge pull request #3700 from lonvia/ignore-inherited-addresses

Ignore POIs with inherited addresses for the address layer

ignore POIs with inherited addresses for the address layer

We know that there is a building which describes the address as a
polygon and is therefore more suitable.

Merge pull request #3686 from astridx/output_names

Output names as setting

Merge pull request #3675 from TuringVerified/generic-preprocessors

Add generic preprocessors

Remove unnecessary assert statement, Fix regex_replace docstring and simplify regex_replace

Update documentation, optimise regex_replace, add tests

Add generic preprocessor

add instructions for pip package upload

prepare release 5.1.0

Merge pull request #3695 from TuringVerified/doc-dependencies

[Small fix] Add documentation to install extras for mkdocstrings

Add mkdocstrings extra

Merge pull request #3693 from lonvia/remove-unused-sql

Remove SQL function for address lookup

output names as setting

Merge pull request #3692 from lonvia/word-lookup-variants

Avoid matching penalty for abbreviated search terms

remove SQL function for address lookup

This is now done in Python.

Merge pull request #3691 from lonvia/more-search-tweaks

More tweaks to search wights

adapt tests to extended results

add lookup word to variants in word table

do not write any word counts on initial word insert

do not save word counts of 1

This is the default setting, which will be assumed when the count is
missing.

always use lookup when requested

Doesn't seem to cause any issues in production.

increase allowable address counts

more agressively reduce expected count for multi-word terms

Improves searching of non-latin scripts with forced token spaces.

Merge pull request #3690 from lonvia/fix-signature

Fix function signature for newer SQLAlchemy

fix function signature for newer SQLAlchemy

Merge pull request #3684 from lonvia/compact-en-variants

Clean up English variants

restrict some English variants to end of word

make English variant list more compact

Merge pull request #3682 from lonvia/fix-postcode-case

Fix case issues when parsing postcodes

make query upper-case when parsing postcodes

The postcode patterns expect upper-case letters.

Merge pull request #3679 from lonvia/output-fixes

Minor fixes for v1 frontend code

fix layer setting for structured search

fix debug output for lookup type

Merge pull request #3678 from lonvia/search-tweaks

Some minor tweaks to postcode parsing in query

penalize postcode searches with multiple name qualifiers

use word_token length when penalizing against postcodes

postcode token should have transliterated term in word_token

improve handling of leading postcodes

Setting the direction of the query while yielding assignments is
a bad idea because it may override a direction already set.

Merge pull request #3673 from otbutz/parallel_safe

Mark functions as PARALLEL SAFE

Merge pull request #3676 from lonvia/adjust-place-levels-sa

Adjust place ranks for Saudi-Arabia

adjust for special use of province and municipality in Saudi-Arabia

Mark functions as PARALLEL SAFE

adapt typing for latest SQLAlchemy version

Merge pull request #3671 from lonvia/remove-osm2pgsql-libdir

Remove code for setting osm2pgsql location via config.lib_dir

remove code for setting osm2pgsql via config.lib_dir

With the internal osm2pgsql gone, configuration of the binary location
via settings is the only option left that makes sense.

Merge pull request #3670 from lonvia/flake-for-tests

Extend linting with flake to tests

remove unused bdd util functions

enable flake for bdd test code

also enable flake for tests in github actions

enable flake for Python tests

Merge pull request #3667 from eumiro/simplify-int-float

Simplify  int/float manipulation

Simplify  int/float manipulation

Merge pull request #3666 from eumiro/math-isclose

Replace custom Almost with stdlib math.isclose

Merge pull request #3664 from eumiro/consolidate-random

Consolidate usage of random module

Replace custom Almost with stdlib math.isclose

Consolidate usage of random module

Merge pull request #3665 from lonvia/pattern-matching-postcodes

Add full parsing of postcodes in query

restrict postcode parsing in typed phrases

Postcodes can only appear in postcode-type phrases and must then
cover the full phrase

add unit tests for postcode parser

adapt BDD tests to new postcode handling

add support for country prefixes in postcodes

cache all info of ICUQueryAnalyser in a single object

remove postcode computation for word table during import

reenable ZIP+ test

show token begin and end in debug output

add postcode parser