fix layer setting for structured search

fix debug output for lookup type

Merge pull request #3678 from lonvia/search-tweaks

Some minor tweaks to postcode parsing in query

penalize postcode searches with multiple name qualifiers

use word_token length when penalizing against postcodes

postcode token should have transliterated term in word_token

improve handling of leading postcodes

Setting the direction of the query while yielding assignments is
a bad idea because it may override a direction already set.

Merge pull request #3673 from otbutz/parallel_safe

Mark functions as PARALLEL SAFE

Merge pull request #3676 from lonvia/adjust-place-levels-sa

Adjust place ranks for Saudi-Arabia

adjust for special use of province and municipality in Saudi-Arabia

Mark functions as PARALLEL SAFE

adapt typing for latest SQLAlchemy version

Merge pull request #3671 from lonvia/remove-osm2pgsql-libdir

Remove code for setting osm2pgsql location via config.lib_dir

remove code for setting osm2pgsql via config.lib_dir

With the internal osm2pgsql gone, configuration of the binary location
via settings is the only option left that makes sense.

Merge pull request #3670 from lonvia/flake-for-tests

Extend linting with flake to tests

remove unused bdd util functions

enable flake for bdd test code

also enable flake for tests in github actions

enable flake for Python tests

Merge pull request #3667 from eumiro/simplify-int-float

Simplify  int/float manipulation

Simplify  int/float manipulation

Merge pull request #3666 from eumiro/math-isclose

Replace custom Almost with stdlib math.isclose

Merge pull request #3664 from eumiro/consolidate-random

Consolidate usage of random module

Replace custom Almost with stdlib math.isclose

Consolidate usage of random module

Merge pull request #3665 from lonvia/pattern-matching-postcodes

Add full parsing of postcodes in query

restrict postcode parsing in typed phrases

Postcodes can only appear in postcode-type phrases and must then
cover the full phrase

add unit tests for postcode parser

adapt BDD tests to new postcode handling

add support for country prefixes in postcodes

cache all info of ICUQueryAnalyser in a single object

remove postcode computation for word table during import

reenable ZIP+ test

show token begin and end in debug output

add postcode parser

make word generation from query a class method

search: merge QueryPart array with QueryNodes

The basic information on terms is pretty much always used together
with the node inforamtion. Merging them together saves some
allocation while making lookup easier at the same time.

enable parsing of US ZIP+ codes

The four-digit part of these postcodes will simply be ignored.

Merge pull request #3659 from lonvia/custom-datrie-structure

Replace datrie library with a simple custom Python implementation

remove datrie dependency

replace datrie library with a more simple pure-Python class

Merge pull request #3658 from lonvia/minor-query-parsing-optimisations

Minor query parsing optimisations

adapt documentation for PhraseType type

replace PhraseType enum with simple int constants

replace TokenType enum with simple char constants

replace BreakType enum with simple char constants

consistently use query module as qmod

avoid yielding when extracting words from query

remove word_number counting for phrases

We can just examine the break types to know if we are dealing
with a partial token.

Merge pull request #3655 from lonvia/remove-name-ranking-in-postcode-search

Tweak penalties for postcode searches

remove address penalty for postcode search

Searches of the form <postcode> <city> are in fact quite common.

do not rerank address by full match in postcode search

The reranking result will not be completely correct because
the address of a postcode refer to the address _and_ name
of the parent and reranking was only done against the
address. We assume here that the postcode is precise enough
as to not require a penalty to to partial matches.

Merge pull request #3653 from lonvia/trailing-spaces-in-normalization

Strip leading and trailing space markers during normalization

strip normalisation results of normal and special spaces

add test for structured query with leading spaces

Merge pull request #3652 from lonvia/update-variants

Cleanup and updates of tokenizer variant configuration

Merge pull request #3649 from lonvia/actions-move-to-ubuntu22

Move Github actions to Unbuntu-22 image

remove e-ë mutation, this is taken care of by transliteration

Add USPS Standard Suffix Abbreviation

fix Norwegian variants

More cases of 'no' being interpreted as fasle by yaml.

remove ineffective and dupicate variants

Merge pull request #3555 from IvanShift/patch-1

Fixed Russian abbreviation list

actions: use Debians's script for adding the Postgres apt repo

actions: move tests to Ubuntu-20

Merge pull request #3648 from lonvia/extratags-for-geocodejson

Enable output of extratags for geocodejson format

add documentation for new extra field

add optional output of extratags to geocodejson

prepare 5.0.0 release

Merge pull request #3635 from lonvia/replace-wikimedia-importance-test-data

Update wikimedia importance file for test database

adapt tests to changed wikimedia importance test table

replace wikimedia importance file for test data with CSV version

Merge pull request #3626 from lonvia/import-performance

Import performance

Merge pull request #3631 from lonvia/avoid-transactions

Creating tables and indexes in autocommit mode

Merge pull request #3633 from lonvia/restrict-long-ways

Ignore overly long ways during import

ignore overly long ways during import

use autocommit when creating tables and indexes

Might avoid some deadlock situations with autovacuum.

Merge pull request #3629 from lonvia/additional-breaks

Introduce new break types and phrase splitting for Japanese addresses

add japanese phrase preprocessing

Code adapted from GSOC code by @miku.

keep break indicators [:-] during normalisation

All punctuation will be converted to '-'. Soft breaks : may be
added by preprocessors. The break signs are only used during
query analysis and are ignored during import token analysis.

add inner word break penalty

add SOFT_PHRASE break and enable parsing

Also enables parsing of PART breaks.

split up MultiPolygons before adding them to large_areas table

move geometry split into insertLocationAreaLarge()

thus insert only needs to be called once.

more efficient belongs-to-address determination

Merge pull request #3619 from lonvia/demote-farms

Remove farms and isolated dwellings from computed addresses

remove farms and isolated dwellings from computed addresses

Farms and isolated dwellings are usually confined to a very small
area. It does not make sense if they are automatically used in
addressing surrounding features. Still works to use them for
parenting when used with addr:place.

docs: update Update docs for virtualenv use

Merge pull request #3618 from osm-search/settings-md-table-space-osm-index

Settings.md - one setting was repeated

Settings.md - one setting was repeated

Merge pull request #3617 from mtmail/pr-3615-wording

Slight wording changes for Import-Styles.md

Slight wording changes for Import-Styles.md

Merge pull request #3616 from osm-search/tokenizers-md-typo

fix typo in Tokenizers.md

fix typo in Tokenizers.md

Merge pull request #3615 from lonvia/overhaul-osm2pgsql-style

Overhaul osm2pgsql style

exclude more tourism=information types

reintroduce brand and remove etymology

exclude unnamed swimming pools

Publicly accessible ones are usually mapped as the bigger area
with the water park.

include lock names mapped with "lock_name"

Fixes #3365.

do not save names when falling back to addresses

If an object doesn't have a useable main tag, then the names should
always be ignored, independently of the presence of housenumbers.
We have to assume that the name belongs to a feature that was
intentionally filtered out.

switch to subtags for tourism=information and natural=water