Merge pull request #3777 from lonvia/harmonize-transition-penalties

Clean up word transition penalty assignment for searches

Merge pull request #3778 from lonvia/remove-log-db-setting

Remove defaults and documentations for LOG_DB setting

remove any references to website setup or refresh

Does no longer exist.

remove LOG_DB setting, not implemented anymore

remove penalty from TokenRanges

The parameter is no longer needed.

adapt tests for new function signatures

reduce maximum number of SQL queries per search

fix order of address rankings prefering longest words

reinstate penalty for partial only matches

give word break slight advantage towards continuation

prefers longer words

rebalance word transition penalties

simplify QueryNode penalty and initial assignment

Merge pull request #3774 from lonvia/remove-postcodes-from-nameaddressvector

Do not add postcodes from postcode boundaries to address vector

Merge pull request #3773 from lonvia/small-countries

Reduce area for geometry rank for very small countries

do not add postcodes from postcode boundaries to address vector

Postcodes will be found through a special search, so we can save
the space.

reduce area for geometry rank for very small countries

Merge pull request #3772 from lonvia/fix-index-use-deletable

split up query for deletable endpoint by osm type

split up query for deletable endpoint by osm type

This is needed to ensure index use on placex.

Merge pull request #3770 from lonvia/split-place-search

Split up SQL generation code for searches with and without housenumbers

adapt BDD test to refusal to search POI names with hnr only

increase penalty on mismatching postcodes for address searches

Otherwise there is an imbalance towards matching housenumbers
instead of the actual street (where no housenumber exists).

sort housenumber parents by accuracy first

Sorting them by presence of housenumber only will give an undue
preference to results with a housenumber while disregarding other
factors like matching postcodes.

reduce candidates for place search

differentiate between place searches with and without address

split place search into address search and named search

The presence/absence of houenumbers makes quite a difference for search.

Merge pull request #3769 from lonvia/refactor-api-searches

Refactor code around creating SQL for serach queries

split db_searches moving each class in its own file

Merge pull request #3765 from lonvia/update-ui-docs

Update instructions for UI integration

update instructions for UI integration

Switches from defaulting to forwarding to UI to only forwarding
when requested. This avoids issues with auto-forwarding illegal URLs.
Also adapts to the much simplified nginx configuration.

Merge pull request #3764 from lonvia/update-importance

'refresh --importance' also needs to refresh importances in search_name table

remove duplicated test

There is a more extensive test of recompute_importance with
result check in test_refresh_wiki_data.py

Merge pull request #3762 from lonvia/remove-gazetteer-output-support

Remove support for deprecated gazetteer osm2pgsql output

rewrite importances in search_name after updating in placex

remove support for deprecated gazetteer osm2pgsql output

Merge pull request #3747 from anqixxx/fix-special-phrases-filtering

Special Phrases Filtering: Add Command Line Functionality

Added skip for when min =0

Added default min = 0 argument for private functions

empty

Refactored min and associated tests to follow greater than or equal to logic, so that min=0 accounted for no filtering

r

Added command line (default 0) min argument for minimum filtering, updated args.py to reflect this

Merge pull request #3748 from lonvia/airports

Improve finding airports by their codes

improve result cutting when a POI comes out with top importance

only rerank results if there is more than one

With one result order is obvious.

reduce influence of query rematching a little bit

when rematching only distinguish between perfect, somewhat and bad match

add FAA codes (US version of IATA codes) for airports

work around bogus type error in latest starlette

fix missing optional return

Merge pull request #3744 from lonvia/add-unnamed-cemetries

Include unnamed cemetaries in POIs

add landuse=cemetery as POI even when unnamed

Merge pull request #3742 from lonvia/korean-defaults

Remove English as default language for South Korea

adapt to changed loop handling of pytest_asyncio

remove English as default language for South Korea

Merge pull request #3741 from dave-meyer/patch-1

docs: Added missing code span for search API parameter value

docs: Added missing code span for search API parameter value

Merge pull request #3710 from anqixxx/fix-special-phrases-filtering

Fix special phrases filtering

Added mypy ignore fix for logging.py (library change), as well as quick mac fix on mem.cached

Merge pull request #3709 from anqixxx/update-readme

Improve README formatting and add install steps

Added testing to test get classtype pairs in import special phrases

Made the limit configurable with an optional argument, updating the testing as well to reflect this. default is now 0, meaning that it will return everything that occurs more than once. Removed mock database test, and got rid of fetch all. Rebased all tests to monkeypatch

Removed class type pair getter that used style sheets from both spi_importer and the associated testing function

Removed magic mocking, using monkeypatch instead, and using a placex table to simulate a 'real database'

Filter special phrases by style and frequency to fix #235

Improve README formatting and add install steps, adding a general cloning step before the virtual environment. This would have been helpful for me during Nominatim setup

tweak full count cut-off (as per deployment on osm.org)

Merge pull request #3732 from lonvia/exclude-country-from-direction-penalty

Exclude address searches with country from direction penalty

exclude address searches with country from direction penalty

Countries are not adequately represented by partial term counts.

Merge pull request #3722 from emmanuel-ferdman/master

resolve datetime deprecation warnings

Merge pull request #3726 from lonvia/revert-json-format-change

Revert accidental change in json output format

revert accidental change in json output format

resolve datetime deprecation warnings

Signed-off-by: Emmanuel Ferdman <emmanuelferdman@gmail.com>

Merge pull request #3719 from lonvia/query-direction

Estimate query direction

add a comment about the precomputed denominator

add direction penalties

Direction penalties are estimated by getting the name to address
ratio usage for each partial term in the query and computing the
linear regression of that ratio over the entire phrase. Or to put
it in ither words: we try to determine if the terms at the beginning
or the end of the query are more likely to constitute a name.

Direction penalties are currently used only in classic name queries.

reorganise token reranking

As the reranking is about changing penalties in presence of other
tokens, change the datastructure to have the other tokens readily
avilable.

ensure that bailout-check is done after each iteration

replace use of range when computing word list

use iterator instead of list to go over partials

move partial token into a separate field in the query struct

There is exactly one token to be expected and the token is usually
present.

Merge pull request #3716 from lonvia/github-cache-osm2pgsql-binary

Github actions: cache compiled osm2pgsql binary

For the tests on Ubunutu 22-04 we need to compile osm2pgsql because the version they ship is too old. This adds caching of the compiled binary, so that we don't need to recompile for each CI run. Together with the new BDD tests that shaves around 10 min off a CI run.

actions: cache compiled osm2pgsql binary

Merge pull request #3714 from lonvia/postcode-update-without-project-dir

Change postcode update function to work without a project directory

Merge pull request #3715 from lonvia/demote-tags-to-fallbacks

Demote historic and tourism=attraction to fallback tags

demote historic and tourism=attraction to fallback tags

allow updating postcodes without a project directory

Postcodes will then be updated without looking for external postcodes.

Merge pull request #3713 from lonvia/bdd-pytest-db-test

Move BDD tests to pytest-bdd

update documentation for BDD tests

remove usage of behave

add BDD tests for DB

improve table comparison

move database setup to generic conftest.py

remove old behave osm2pgsql BDD tests

implement BDD osm2pgsql tests with pytest-bdd

enable python-bdd for github actions

restrict coordinate output to 7 digits

replace behave BDD API tests with pytest-bdd tests

Merge pull request #3687 from asharmalik19/test-linked-places-language

test: linked places expand default language names

Update linked places name test

Clean up test scenario by removing extra language variations and
improving table readability.

test: linked places expand default language names

Add failing test for issue #2714 to verify default language expansion

Merge pull request #3702 from lonvia/remove-tokenizer-dir

Remove automatic setup of tokenizer directory

So far the tokenizer factory would create a directory for private data for the tokenizer and then hand in the directory location to the tokenizer.

ICU tokenizer doesn't need any extra data anymore, so it doesn't make sense to create a directory which then remains empty. If a tokenizer needs such a directory in the future, it needs to create it on its own and make sure to handle the situation correctly where no project directory is used at all.

remove automatic setup of tokenizer directory

ICU tokenizer doesn't need any extra data anymore, so it doesn't
make sense to create a directory which then remains empty. If a
tokenizer needs such a directory in the future, it needs to create
it on its own and make sure to handle the situation correctly where
no project directory is used at all.