Merge pull request #2739 from tareqpi/collect_os_info.sh

integration of host system information script into Nominatim CLI tool

ignore irrelevant extra tags on address interpolations

When deciding if an address interpolation has address information, only
look for addr:street and addr:place. If they are not there go looking
for the address on the address nodes. Ignores irrelevant tags like
addr:inclusion.

Fixes #2797.

Added the feature of collecting host system information to the CI tests

Integrated 'collect_os_info.py' into Nominatim's CLI tool

Enhanced and refactored 'collect_os_info.py'

Changed the script to functional programming paradigm to remove the big number of local attributes to decrease memory usage when running it. Additional OS info are now included.

Merge remote-tracking branch 'upstream/master' into collect_os_info.sh

Merge pull request #2798 from lonvia/more-rank-change-fixes

Invalidations when boundaries and places change their rank

more invalidations when boundary changes rank

When a boundary or place changes its address rank, all places where
it participates as address need to be potentially reindexed.
Also use the computed rank when testing place nodes against
boundaries. Boundaries are computed earlier.

Fixes #2794.

Merge pull request #2793 from lonvia/increase-minimum-results

Fix minimum number of results that are searched for

fix base number of returned results

The intent was to always search for at least 10 results.

Improves on #882.

Merge pull request #2792 from lonvia/new-type-annotations

Adapt to new type annotations from typeshed

adapt to new type annotations from typeshed

Some more functions frrom psycopg are now properly annotated.
No ignoring necessary anymore.

docs: add types-psutil requirement

remove mypy ignore for psutil.virtual_memory()

Now available in typeshed.

Merge pull request #2789 from lonvia/update-osm2pgsql

Update osm2pgsql (fixes admin_level parsing)

update osm2pgsql (fix admin_level parsing)

docs: fix dangling links

docs: update links to vagrant instructions

prepare release 4.1.0

Merge pull request #2786 from lonvia/export-centroid-for-tokenizer

Export centroid to tokenizer

export centroid to tokenizer

May come in handy when developping sanitizers for an area smaller
than country size.

Merge pull request #2784 from lonvia/doscs-customizing-icu-tokenizer

Document the public API of sanitizers and token analysis modules

fix various typos

add simple examples of sanitizers and token analysis

overhaul the token analysis interface

The functional split betweenthe two functions is now that the
first one creates the ID that is used in the word table and
the second one creates the variants. There no longer is a
requirement that the ID is the normalized version. We might
later reintroduce the requirement that a normalized version be available
but it doesn't necessarily need to be through the ID.

The function that creates the ID now gets the full PlaceName. That way
it might take into account attributes that were set by the sanitizers.

Finally rename both functions to something more sane.

move PlaceName into the generic data module

harmonize spelling

Stick with the American spelling of Analyze.

harmonize interface of token analysis module

The configure() function now receives a Transliterator object instead
of the ICU rules. This harmonizes the parameters with the create
function.

add documentation for custom token analysis

add documentation for sanitizer interface

Also switches mkdocstrings to 0.18 with the rather unfortunate
consequence that now mkdocstrings-python-legacy is needed as well.

Merge pull request #2780 from lonvia/python-modules-in-project-directory

Support for external sanitizer and token analysis modules

add support for external token analysis modules

add support for external sanitizer modules

add function for loading plugin modules

Loads modules for configurable code like tokenizers, sanitizers, etc.
Supports internal modules, external libraries and code from the
project directory.

Merge pull request #2775 from lonvia/remove-centos-instructions

Remove vagrant scripts for CentOS

vagrant: remove proj dependency and only require php-cli

remove CentOS installation instructions

Fixes #2601.

Merge pull request #2774 from lonvia/parameter-arrays

Ignore URL parameters in array notation

ignore API parameters in array notation

PHP automatically parses parameters in an array notation(foo[]) into
array types. Ignore these parameters as 'unknown'.

Fixes #2763.

Merge pull request #2772 from kianmeng/fix-typos

docs: fix typos

docs: fix typos

docs: slightly increase recommended hardware requirements

Merge pull request #2770 from lonvia/typed-python

Type annotations for Python code

CI: remove installation of pip on Ubuntu 20

add explicit cast for fetchone

CIL use psutil type stubs

remove typing_extensions requirement

The typing_extensions package is only necessary now when running mypy.
It won't be used at runtime anymore.

CI: make type checking strict

add type annotations for command line functions

add type annotations for Tiger import function

add type annotations to special phrase importer

add type annotations to database check functions

add type annotations for database import functions

add type annotations for migrations

add type annotations to tool functions

add type annotations for ICU tokenizer

add type annotations for legacy tokenizer

add type annotations to ICU tokenizer helper modules

add typing extensions for Ubuntu22.04

add type annotations for token analysis

No annotations for ICU types yet.

add type hints for sanitizers

add type annotations for indexer

add typing information for postcode formatter

add typing information for place_info and country_info

add typing information for utils submodule

type annotations for non-blocking DB connection

add type annotations for SQL preprocessor

add type annotation to DB utils

As a cursor is needed as type, make this a public type.

add typing information to DB properties

add typing annotations for DB status module

Requires TypedDict which is only available from Python 3.8. Require
therefore typing_extensions to make the functions available for
earlier Python versions.

adapt use of Connection in bdd tests to name change

add type annotations to freeze functions

fix uses of config.get_path() to expect None

define type for enivronment dictionaries

restrict return type more

add type annotations to exec_utils

CI: install type info for psycopg2

avoid issues with Python < 3.9 and linting

move complex typing annotations to extra file

type annotations for DB utils

type annotations for DB connection

mypy: add psycopg2 typing info from typeshed

add type annotations to config module

add type annotations for version.py

mypy: ignore dotenv library

document use of mypy

CI: add mypy to tests

mypy: minimal annotations to enable a clean run

Merge pull request #2761 from lonvia/repair-index-analysis

Repair `admin --analyse-indexing`

Merge pull request #2764 from otbutz/patch-4

Remove legacy Postgres options

Remove legacy Postgres options

Merge pull request #2691 from mtmail/ubuntu-22

Vagrant and CI tests for Ubuntu 22.04

In tests for PHP 8 disable Just-in-time, it conflicts with tools that determine coverage

Vagrant and CI tests for Ubuntu 22.04

decode_json() always create arrays instead of objects

convert admin --analyse-indexing to new indexing method

A proper run of indexing requires the place information from the
analyzer. Add the pre-processing of place data, so the right
information is handed into the update function.

Merge pull request #2760 from lonvia/reorganize-data-classes

Code cleanup: move some common code into the data submodule

remove analyze() from PlaceInfo class

The function creates circular dependencies.

move country_info into data submodule

move PlaceInfo into data submodule

This data structure is shared between indexer and tokenizer.