be more restrict with accetable names for search index

Excludes all names with URLs in them and for address names also
anything with a =. The latter are mostly tagging errors where two
tags have been joined. Furthermore convert very long housenumbers
into names.

fix: exclude area pcs from csv import

update pc geom logic in postcode search

update database layout location_postcodes definition

update details for jsonl format

add test for jsonl files

add support for external postcode geometry

add is_area in location_postcodes

Merge pull request #4114 from BHARATH0153/feat/country-sanitizers

feat: add support for country-specific sanitizers #4098

refactor: add SanitizerRules alias, use dict, deduplicate step validation

Fix mypy no-redef: rename country_rules module variable

feat: add support for country-specific sanitizers

Add a sanitizers section in the country configuration to allow
providing sanitizers that only apply to a specific country.
Country-specific sanitizers run after the generic sanitizers
have finished.

The configuration is read from the 'sanitizers' key in each
country's entry in country_settings.yaml.

Merge pull request #4115 from lonvia/fix-package-build

Explicitly exclude source-only files from wheel builds

explicitly exclude source-only files from wheel builds

Merge pull request #4109 from lonvia/fuzzy/move-sanitizer-out-of-tokenizer

Move sanitizer and query preprocessing out of the ICU tokenizer

better naming for sanitized names

move documention for query processing into separate sections

move query processing setting into separate file

move query preprocessing out of ICU tokenizer

Normalization is moved back from a preprocessing function to
a first step in the tokenizer analysis.

move sanitizer documentation out of the tokenizer section

move sanitzier processing out of tokenizer

move sanitized names into PlaceInfo

Merge pull request #4108 from lonvia/reverse-area-race

Improve reverse geocoding near overlapping POIs

move sanitizer creation out of ICURuleLoader

refactor index runner to remove analyzer dependency

Merge pull request #4107 from lonvia/fix-ci-migration-test

CI: fix migration test by running actual migrated code

reverse: do not jump to POI nodes with different house numbers

reverse: make sure smaller POI area is returned when two areas overlap

CI: fix migration test by running actual migrated code

Merge pull request #4103 from lonvia/ignore-non-language-suffixes

Improve language-awareness of `name:left` and `name:right` tags

ignore :forward and :backward names

They duplicate name:left and name:right.

add :left and :right to the list of non-language suffixes

slightly optimise suffix matching

add new suffix-ignore parameter to language tagging sanatizer

Allows to specify suffixes which are not used as language
markers.

prepare release 5.3.2.post5

Merge remote-tracking branch 'upstream/master'

Merge pull request #4101 from Itz-Agasta/artificial-postcodes

Add stable postcode refs for details lookup and search exclusion

Preserve postcode index usage for postcode refs

Removes hyphen normalization from postcode handling to match only on spaces,
ensuring consistency between API usage, documentation, and database queries.

Clarifies postcode reference format in API docs

Explains that spaces and hyphens in postcode IDs are replaced
with underscores in stable postcode references and adds new
examples for clarity. Improves guidance for constructing and
using postcode refs in API endpoints.

Add dedicated postcode param, stable IDs, normalised matching

Merge pull request #4099 from Janjko/master

Added the Croatian variants yaml

Merge pull request #4100 from lonvia/affix-expansion

Add sanitizer for handling name prefixes and suffixes

Document stable postcode references

Support postcode refs in excluded search results

Support postcode refs in lookup and details

- resolve postcode refs in postcode-table lookups
- accept `place_ref` in the v1 details endpoint
- add tests for details and lookup behavior

Add stable postcode reference type support

- add `PostcodeRef` and parsing helpers
- allow postcode refs in excluded IDs
- export the new public API type

adapt BDD test for new prefix handling

add affix handling to default config

Create variants-hr.yaml

add documentation for new sanitizer

add sanitizer for prefix/suffix expansion

prepare release 5.3.2.post4

Merge remote-tracking branch 'upstream/master'

Merge pull request #4088 from Itz-Agasta/language-reranking

Use locale-aware names for search result reranking

add function for choice parameters to sanitizer config

Improves locale name matching for address ranking

Enhances address ranking accuracy by comparing normalized query text
against all localized name variants and country code, rather than
a single locale name. Reduces false positives and improves ranking
for multilingual search scenarios.

Merge pull request #4097 from lonvia/more-sanatizing

New sanitizers: delete-names and derive-names

change to new delete-names sanitizer

Merge pull request #4081 from jeremy-code/jeremy-code-patch-1

Update JSON structure in Reverse.md documentation

new sanitizer to derive addtional names

add parameter to regex function to sanitizer config

replace delete-tags sanitizer with one with better parameter names

Use locale name comparison for low-rank results

Update JSON structure in Reverse.md documentation

- Update JSON structure in Reverse.md docs based on current API (see https://nominatim.openstreetmap.org/reverse?lon=11.3398676&lat=44.5015307&format=geojson)

generalise filter code of the delete tags sanitizer

Merge pull request #4095 from lonvia/restrict-country-search

Do not search for countries when country restriction is in place

check for illegal sanitizer names

do not search for countries when country retriction is in place

Removes unused Set import and updates set type hints

Improves geocoder reranking logic for locale-specific names

- Refines how result labels are aggregated for reranking by using sets of localized names instead of concatenated strings.

- Updates tests to reflect improved handling of locale-specific queries.

test: add BDD scenario for locale-aware reranking (#3871)

Add a test scenario where a place with a non-English local name
and an English name:en alias competes against a place with only
an English name. Verifies that accept-language=en correctly

use locale-aware names for query word matching

When reranking search results, the word matching pool was built only
from display_name, which returns the local name (e.g., "Αθήνα" for
Athens, Greece). This caused results with translated names to receive
unfair distance penalties when the caller used accept-language.
Introduce _get_result_rerank_text() which builds the reranking text
using locale-aware name resolution from locales.display_name(). This
ensures that name variants like name:en are included in the word
matching pool when the caller requests a specific language.

prepare release 5.3.2.post3

Merge remote-tracking branch 'upstream/master'

Merge pull request #4090 from lonvia/filter-bad-refs

Add sanitizer for suspicious ref values

fix new mypy warnings

increase minimum Python version for mypy to 3.10

Not raising the minimum required version yet.

add sanitizer for suspicious ref values

Mostly for filtering ref tags from German post boxes.

Merge pull request #4087 from lonvia/remove-special-cases-for-sk

Remove ranking exceptions for Slovakia

remove address level exceptions for Slovakia

The country has been reorganised and now follows general conventions.

prepare release 5.3.2.post2

Note: downgrading gunicorn because of
https://github.com/benoitc/gunicorn/discussions/3605

Merge remote-tracking branch 'upstream/master'

fix typo

Merge pull request #4086 from lonvia/fix-rank-11-boundaries

Fix display of rank 11 boundaries

rank 11 is not always a postcode

Merge pull request #4085 from lonvia/partial-terms

Add partial property for tokenizer

add documentation for new partial attribute

tokenizer: allow to mark names as partial only

These names will not be added as a full searchable token but only
with the partials they produce. Variants are still built as usual.

Merge pull request #4083 from lonvia/icu-data-types

Minor simplifications in ICU token generation code

structurize housenumber tokens

slightly simplify name token cache

simplify name token set handling

icu: move constants in separate file

remove unused constant

Merge pull request #4049 from Itz-Agasta/uv

Add uv support for development environment

prepare release 5.3.2-post1

Merge remote-tracking branch 'upstream/master'

Merge pull request #4077 from lonvia/fix-potential-null-in-place-delete

Fix failure on non-null constraint when marking place for delete

avoid null value for deferred, when no placex entry exists

Require SQLAlchemy with asyncio extra