prepare release 5.3.3-post2

Merge remote-tracking branch 'upstream/master'

Add support for addr:substreet and addr:parentstreet (#4226)

This adds support for the [special addressing schema in the
UK](https://wiki.openstreetmap.org/wiki/Addresses_in_the_United_Kingdom)
which may consist of two streets or a place and a street.

The implementation follows what is described in the wiki with support
for `addr:street`+ `addr:parentstreet` and `addr:substreet` +
`addr:parentstreet`. Also possible are combinations of `addr:place` +
`addr:parentstreet` and `addr:housename` + `addr:street` (although here
`addr:unit` support is missing for completeness).

Not supported is the combination of `addr:substreet` + `addr:street`
which is in relatively wide usage. It ends up interpreting the
`addr:substreet` as a suburb. The result is that the combination can
still be found but will be displayed wrongly.

Internally, this is solved as follows:

* addr:substreet is aliased to addr:place in the osm2pgsql import
configuration
* address ranks for results are slightly changed:
   *  addr:place parents are assigned rank 28 (was 18-25 before)
   *  addr:street parents are always assigned 27 (was 26-27 before)
   * addr:parentstreet is inserted at rank 26, when it exists

Standard output formats should be largely uneffected except roads
showing up at rank 27 instead of 26. However, if you have implemented
custom output formatters, you might want to review your implementation.

Closes #4200.

add support for addr:substreet and addr:parentstreet

addr:substreet is aliased to addr:place and output ranking slightly
changed: addr:place is 28, addr:street always 27, while addr:parentstreet
is inserted at 26. This might or might not break some custom
formatter.

Update Update.md (#4222)

Fix typo in `StandardOutput` in `nominatim-updates.service`

## Summary
fix typo

## AI usage
none

fix joining of words in structured postcode phrases (#4224)

## Summary
Fixes #4223.

Adds the missing parentheses in the `PHRASE_POSTCODE` join in
`PostcodeParser.parse()`, so words after a space or dash are kept. Also
adds a parser test for a postcode phrase with a space, which fails on
master and passes with the fix.

## AI usage
Not used

fix joining of words in structured postcode phrases

Update Update.md

Fix typo in StandardOutput in nominatim-updates.service

prepare release 5.3.3-post1

prepare release 5.3.2.post12

Merge remote-tracking branch 'upstream/master'

Fix reported parent street for TIGER results in reverse search (#4221)

This is an alternative fix for #4208 which avoids introducing additional
variables. BDD and unit tests both adapted to trigger the condition.

Closes #4208.

Tighten down AI usage policy (#4220)

As announced in #4207, I'm going to take a break from reviewing
AI-generated PRs. This is not a judgement on the overall quality of such
contributions. A good part of them is actually quite usable. The problem
is that it takes a huge amount of time to find out if it is a good or
bad PR. They all look the same on the surface. I'm happy to keep working
with AI-generated content as part of contracting work and when submitted
from long-time contributors, but I'm out of spare time to do this stuff
for drive-by contributions.

The PR also removes the requirement to show a prove of testing. That's
just become useless when AI can easily make up a text section that looks
like a proof.

fix reported parent street for TIGER results in reverse search

add right to refuse PRs on AI-generation grounds

add categories for all fallback tags, drop artificial place/house category (#4203)

Fixes #4182.

## Summary

fallback tags such as building and landuse now always get a category,
and all of them are retained if there are more than one. before, only
one (whichever `pairs()` returned last) survived, and only if the object
had a name or address. class/type selection is the same as before.
address only objects still have class/type `place`/`house` but no longer
have `osm.place.house` as a category. `categories` is NULL for those
rows - an empty array would make `is_rankable_place()` drop them. the
backfill in `placex_update()` skips place/house so it doesn't return on
re-index.
adjusted the fallback scenarios in `osm2pgsql/import/tags.feature` and
the two address-only node scenarios in `osm2pgsql/update/tags.feature`
to match.
ran lint, the unit tests and the bdd suites locally, all passed (with
flying colors).
on a full import of the test pbf, all 81 place/house rows in placex now
have NULL categories and none carry osm.place.house.
CI is red because of the sqlalchemy 2.1 thing that #4202 mentioned.

## AI usage
Used Ai for the testing purposes and for extending the existing tests
for this case.

CLI reverse/lookup/details return entrances (#4209)

## Summary
While debugging https://github.com/osm-search/Nominatim/issues/4205 with
a local database (added the gate as entrance locally) I discovered
"nominatim lookup" with "--entrances" didn't print the entrance data.

For the examples I'm using [an
entrance](https://www.openstreetmap.org/node/3144704341) of [a swimming
center](https://www.openstreetmap.org/way/309147947).

`nominatim search --query "Piscinas do Sport Lisboa e Benfica" --limit 1
--entrances`
- before: `{"name": "Piscinas do Sport Lisboa e Benfica", "entrances":
[{"osm_id": 3144704341, "type": "yes"}] }`
- after: `{"name": "Piscinas do Sport Lisboa e Benfica", "entrances":
[{"osm_id": 3144704341, "type": "yes"}] }`

`nominatim reverse --lat 38.751207 --lon -9.182630 --entrances`
- before: `{"name": "Piscinas do Sport Lisboa e Benfica", "entrances":
null}`
- after: `{"name": "Piscinas do Sport Lisboa e Benfica", "entrances":
[{"osm_id": 3144704341, "type": "yes"}] }`

`nominatim lookup --id W309147947 --entrances`
- before: `{"name": "Piscinas do Sport Lisboa e Benfica", "entrances":
null}`
- after: `{"name": "Piscinas do Sport Lisboa e Benfica", "entrances":
[{"osm_id": 3144704341, "type": "yes"}] }`

`nominatim details --way 309147947 --entrances`
- before: `{"name": "Piscinas do Sport Lisboa e Benfica"}` //
"entrances" key not in response
- after:`{"name": "Piscinas do Sport Lisboa e Benfica", "entrances":
[{"osm_id": 3144704341, "type": "yes"}]}`

## AI usage
Used for both code and test. Tests iterated several times trying to make
it more readable. All commands in this PR tested manually on two
servers.

Escape error message text (#4210)

## Summary
I got a HTTP 500 error with
https://nominatim.openstreetmap.org/search?q=berlin&format=xml&include=%3C1
but it turns out it was my app. The Nominatim API returns HTTP 400 with
broken XML which couldn't be parsed.

```
XML Parsing Error: not well-formed
Line Number 4, Column 50
```

Best to escape all error message text.

## AI usage
I did the XML format handling, documentation, manual tests, PR. LLM
added JSON and extended the test.

only collect fallback tags for named objects

add categories for all fallback tags, drop artificial place/house category fix for #4182

CLI: make --entrances work for all reverse,lookup,details

escape error message text

Documentation: point to helper script cutting down TIGER data (#4212)

## Summary
Nominatim TIGER import processes every input row and looks for nearby
streets even if the region doesn't have OSM data imported. Importing a
small region of OSM data, then TIGER data can take hours. Instead of
adding more logic/parameters/thing-that-need tests I created a helper
script to cut down the CSV files.

## AI usage
Script mostly LLM generated. Years ago I wrote two versions of the TIGER
data extract in the repo so I understand the input and output data.
Tested with extracts.

Various updates to CI and adaptions for newer dependency versions (#4218)

This finally fixes all the latest CI fails:

* type adaptions for SQLAlchemy 2.1 (including reallowing this version)
* type adaptions for urllib
* replacement of SQLAlchemy's `await_` (see #4202)
* some general cleanup of the CI scripts including moving linting into
its own task so it will fail quickly when it fails

Supersedes #4202.

replace removed SQLAlchemy await_ call

reintroduce python-bdd installed from pip

Ubunut's version is too old.

remove SQLAlchemy 2.1 restriction

CI: move linting/mypy into separate task

remove typing workarounds for Protocol, Final and TypedDict

These are all supported for Python >=3.9.

adapt to typing changes in SQLAlchemy 2.1

work around type changes in urllib

remove mypy sqlalchemy plugin (no longer needed with 2.1)

use new install groups for CI

docs: Fix a typo (#4216)

enivronment -> environment

Merge pull request #4211 from mtmail/pytest-bdd-fixed-backslashes-issue

pytest-bdd 9.0 no longer over-quotes, we can tweak our workaround

Documentation: point to helper script cutting down TIGER data

pytest-bdd 9.0 no longer over-quotes, we can tweak our workaround

Merge pull request #4206 from mtmail/pin-sqlalchemy-below-2.1

SqlAlchemy 2.1 deprecates some features we use. Staying with <2.1 for now

SqlAlchemy 2.1 deprecates some features we use. We stay with older verion for now

Merge pull request #4199 from lonvia/remove-hardcoded-address-tags

Remove hard-coded handling of some special address tags

Merge pull request #4198 from lonvia/improve-postcode-parsing

Take token breaks into account during postcode parsing

remove hard-coded handling of some special address tags

Now configurable via sanitizers

ignore token breaks in postcode parser

make space in Falkland postcode pattern optional

Merge pull request #4197 from lonvia/refactor-query

Further refactoring of Query struct

add function to make final query node

move break penalties into generic query struct

add helper function for computing penalty of partials

add special class for partial tokens

Moves the query edge information into this partial token to
avoid having information about the same entity in two different
places.

move match_phrase() function to generic token

This can be useful for other tokenizers as well.

Merge pull request #4194 from lonvia/tokenizer-specific-sanitizers

Tokenizer-specific sanitizers

document the new sanitizer settings

move language tagging sanitizer into icu tokenizer settings

allow additional sanitizer definitions in tokenizer config

Merge pull request #4193 from lonvia/more-parameters-for-lang-tagger

Add type and attribute properties to language tagging sanitizer

Merge pull request #4192 from lonvia/fix-token-stripping

Fix cleaning of token_info

restrict fallback to sanitizer rules in tokenizer

Only fall back to loading general sanitizer rules from the
ICU tokeinzer config when the ICU tokenizer is actually configured.

add type and attribute properties to language tagging sanitizer

Merge pull request #4191 from lonvia/split-up-tokenizer

Convert ICU tokenizer from module to package

fix cleaning of token_info

split ICU tokenizer into multiple files

allow tokenizers to be packages

Merge pull request #4189 from lonvia/falcon-traceback

Add a fallback exception handler for the falcon server

falcon server: print traceback in debug view in case of internal errors

Merge pull request #4184 from pawank925/fix-secondary-main-tags-extratags

keep secondary main tags in extratags

Update tests for secondary main tags in extratags

Secondary main tags that lose the class/type selection are now kept in
extratags when extra tags are collected. Update the affected BDD tests
to expect the secondary main tags in the extratags column:

* main_with_extra: the losing bridge/highway main tag now shows up in
  extratags.
* simple.feature: split the extratags style into its own scenario
  because only that style collects the secondary place tag into
  extratags.

Push secondary main tags into extratags

When an object carries several main tags, Nominatim converts all of
them into categories but only places a single one into class/type.
The remaining main tags were dropped entirely, so they were no longer
accessible in the results (categories are not returned).

Keep secondary main tags in extratags instead of removing them from
the extratags set. Only the winning main tag that became class/type is
excluded from extratags. Because extratags are only collected when the
Lua style is configured to keep extra tags, the behaviour in the
default import (extra tags disabled) is unchanged.

Adds a BDD test covering secondary main tags being kept in extratags.

Merge pull request #4188 from lonvia/fix-pygments-regression

Fix SQL debug output for newer pygments versions

add semicolon after SQL debug output

manual line breaaking for pygments formatted HTML

Works around a regression in Pygments in 2.20.0 where the
lineseparator is suddenly HTML escaped.

Merge pull request #4186 from lonvia/ci-ubuntu-26

CI: switch to Ubunti24/26 images

CI: switch to Ubuntu 26

CI: update action scripts

release 5.3.2.post11

Merge remote-tracking branch 'upstream/master'

Merge pull request #4185 from lonvia/us-postcode-radius

Increase postcode extent for the US

Merge pull request #4177 from justpriyanshu/fix-4172-drop-unwanted-categories

Fix 4172 drop unwanted categories

increase postcode extent for the US

add test for unwanted categories in rank computation

Merge pull request #4171 from pawank925/fix-unnamed-street-pois

Make POIs on unnamed streets searchable by address #4133

Merge pull request #4179 from lonvia/improve-parent-search

Switch nearest road/place search to KNN

decrease the radius for nearest mapping of streets

slightly increase update radius for changed streets

use knn to find nearest street and place

use knn search to parent with nearest road

ignore unwanted categories when computing ranks

The checks for unwanted highway and boundary categories were only used
to decide whether a place is rankable at all. The offending categories
remained in the category list, so compute_place_rank() would still pick
up their ranks. Move the checks into drop_unwanted_categories() and
filter the categories before computing ranks.

Refs #4172

Merge pull request #4166 from Itz-Agasta/docs-category-series

Update the documentation for the category series

Add a migration note about the categories column

Update the details documentation for merged place entries

Document the include and exclude search parameters

Document categories in the import style documentation

An object with several main tags gets one database entry with a category
per tag now, instead of one entry per tag. Describe how a category is
built from a main tag and which of the main tags ends up as the class and
type of the place. Fallback tags always contribute a category now, they
only lose the race for class and type.

Update the database layout documentation

The place table holds a single row per OSM object now, with a categories
column that carries all of its main tags. Document that, the categories
column on placex and the tables that were added since the page was last
touched: place_entrance, placex_entrance, place_associated_street and
location_area_country. The place_classtype tables are gone, so drop them
from the list of auxiliary tables.

Also bring the diagrams back in line with the schema. search_name lost
its search_rank column a while ago and location_postcodes gained is_area,
while its centroid was missing from the diagram because of a typo.

Merge pull request #4164 from Itz-Agasta/category-support

Add category filters to the search API

Add search terms for POIs on unnamed streets

When a POI is parented to an unnamed street, the street has no entry in
the search_name table. The POI then gets no address terms at all and
can only be found by its name. Use the address objects of the parent
from place_addressline to fill in the missing address terms.

Add BDD tests for repeated include/exclude parameters

A parameter listed more than once in the step table is now sent as a
repeated request parameter.

Use the categories column for category matching on SQLite as well

CategoryMatch fell back to the class/type columns on SQLite only
because the categories column was unreadable there. With the result
processor fixed, the substring emulation works for all cases, so the
two functions collapse into one. It also matches merged rows, where
the class/type pair only carries the first of several categories.

The placex(class_, type) index stays, it is still used by the
qualifier restriction of the name searches.

Only accept underscores in category filters

The conversion from hyphens to underscores in the Lua code exists for
compatibility with OSM tags we have no influence over. The API can be
strict instead.

Make get_all() an abstract method of ASGIAdaptor

A default implementation that silently returns only the first value
hides a missing override in a new adaptor implementation.

Add include/exclude parameters to the search endpoint

Filter search results by category

Applies to every search returning placex rows. Sources without
categories return nothing when an include filter is given.