remove special status of partial tokens

Full-word tokens are no longer marked by a space at the
beginning of the token. Use the new Partial token category
instead. This removes a couple of special casing, we don't
really need.

The word table still has the space for compatibility reasons,
so the tokenizer code needs to get rid of it when loading the
tokens.

introduce a separate token type for partials

This means that the leading space can be removed as a partial
word indicator.

Merge pull request #2393 from lonvia/fix-flake8-issues

Fix flake8 issues

use psycopg's SQL quoting where possible

Use the SQL formatting supplied with psycopg whenever the
query needs to be put together from snippets.

add helper function for execute_values

Make psycopg2's convenience function accessible through
the cursor.

provide wrapper function for DROP TABLE

Use psycopg2 formatting to ensure correct quoting.

more formatting fixes

Found by flake8.

Merge pull request #2391 from lonvia/fix-sonar-issues

Fix bugs and code smells found by Sonarqube

factor out connection reset code

simplify analyse function

split up variant computation for better readability

reorganise process_place function

Move address processing into its own function as it is
rather extensive.

simplify website setup code

Use formaat strings and move variable quoting code into extra
function.

avoid repeated patterns for table name

simplify if statements

convert single case switch to if statement

avoid local variable assignment

fix more missing braces on one-liners

remove dead code

do not intermix params with and without default

directly return data in function

The temporary variable is not necessary.

remove unnecessayly nested ifs

Found by Sonarqube.

remove unused functions

The functions were necessary for the transitory code
to Python and are no longer used.

avoid multiple returns of same value

Found by Sonarqube.

always use brackets on if statements

This adds bracket around all one-line if statements that did
not have them yet.

remove unused variables

As reported by sonarqube.

fix bad use of echo in PHP output

Merge pull request #2390 from lonvia/responsible-disclosure

Add security issue disclosure policy

add security issue disclosure policy

Merge pull request #2384 from lonvia/actions-add-icu-tokenizer

CI: run tests on Ubuntu 18

add missing pyyaml requirement

enable PHP 7.2 for Ubuntu 18 CI

cannot use capture_output in subprocess.run

Only available since Python 3.7.

remove default parameter for namedtuple

This is only available in Python 3.7.

CI: run tests on older Ubuntu version as well

Merge pull request #2382 from lonvia/remove-json-config

Remove outdated ICU tokenizer JSON config

Merge pull request #2383 from lonvia/remove-more-names

Exclude name:etymology and name:signed

exclude name:etymology and name:signed

name:etymology contains a description of the name origin and is
thus more informative than search-worthy.

name:signed basically indicates that the feature does not have
a name.

remove outdated ICU tokenizer JSON config

Merge pull request #2371 from lonvia/increase-python-version

Increase minimum required Python version to 3.6

Merge pull request #2381 from lonvia/reorganise-abbreviations

Reorganise abbreviation handling

add warning about experimental nature of ICU tokenizer

limit the number of variants that can be produced

restrict partial word counting to names of reasoanble length

The partial word count does not split names to save a bit of time.
The result is that it might enounter unreasonably long names
which in truth consist of multiple words. No accurate statistics
are needed so simply restrict the count to words shorter than
75 characters.

fix subsequent replacements

Two replacement words directly following each other did not
work as expected because each expects a space at the
beginning/end while there was only one space available.

Also forbit composing a word after a space was added in the
end by a previous replacement.

leave ICU variant properties empty for now

Saving unused properties causes unnecessary duplicates.

import abbreviations from OSM Wiki

Replaces the variant rules with a slightly cleaned-up
version of the abbreviation lists at
https://wiki.openstreetmap.org/wiki/Name_finder:Abbreviations

improve normalization

Make sure all special symbols are removed during normalization already.
Those won't be interpreted in any way because they are unlikely to be
searched for.

only consider partials in multi-words for initial count

This ensures that it is less likely that we exclude meaningful
words like 'hauptstrasse' just because they are frequent.

add documentation for ICU tokenizer configuration

switch to a more flexible variant description format

The new format combines compound splitting and abbreviation.
It also allows to restrict rules to additional conditions
(like language or region). This latter ability is not used
yet.

use yaml tag syntax to mark include files

add dependency on datrie

tests for composing decomposed suffixes

make compund decomposition pure import feature

Compound decomposition now creates a full name variant on
import just like abbreviations. This simplifies query time
normalization and opens a path for changing abbreviation
and compund decomposition lists for an existing database.

complete tests for icu tokenizer

fix full term token in special phrases

complete tests for rule loader

correctly quote strings when copying in data

Encapsulate the copy string in a class that ensures that
copy lines are written with correct quoting.

update unit tests for adapted abbreviation code

add abbreviations from legacy tokenizer

These abbreviations are not a perfect fit anymore because
abbreviation replacement is now applied before transliteration.

adapt tests for ICU tokenizer

move abbreviation computation into import phase

This adds precomputation of abbreviated terms for names and removes
abbreviation of terms in the query. Basic import works but still
needs some thorough testing as well as speed improvements during
import.

New dependency for python library datrie.

icu tokenizer: move transliteration rules in separate file

The tokenizer configuration has become difficult to handle
due to the additional manual transliteration rules. Allow
to have a separate rule file that is given to the ICU library
as is.

docs: nominatim-ui should be installed from the release

The development version does not provide the pre-packaged
dist directory anymore.

Merge pull request #2373 from lonvia/tweak-search-cost

Further tweaking of search cost

remove penalty for full words in address

Now that mutli-word partials no longer exist, multi-word full
words need to be used to search in addresses and therefore no
longer should have a penalty.

Also changes the condition when a full word is included into
the address. It is no longer relevant if an equivalent partial
exists but only if the term consists of more than one word.

adjust penalty for housenumber-in-name searches

When searching for house numbers in the name (for place-only
terms) then the same penalties need to apply as for the
regular house number search.

Change the code to first compute the penalties and then create
the new search variants.

increase minimum Python to 3.6

Python 3.6 introduces formatted string literals and
flag enums as well as a much faster dict implementation.
These changes make the code so much simpler as to warrant
dropping Python 3.5 support.

Affected distributions are Ubuntu 16.04 and Debian Stretch.

make sure old data gets deleted on place type change

When changing from some other place type to place=postcode
make sure that the old place type entry in the place table
is deleted.

update postcode in place if it already exists

Merge pull request #2369 from lonvia/exclude-poi-from-housenumber-search

Do not return POIs when dropping house number in query

do not return POIs when dropping house number in query

We've previously added searching through rank 30 in a house
number search to enable searches for house number+name.
This had the unintended side effect that rank 30 objects
are also returned in s search that dropped the house number
from the query. This is wrong because POIs cannot function
as a parent to a house number.

This fix drops all rank 30 objects from the results for a
house number search if they do not match the requested house
number.

Merge pull request #2360 from AntoJvlt/postcodes-place-table

Use place instead of placex to compute postcodes

Improved performance of the postcodes query and some code cleaning

Always delete old placex entry for type=postcode when inserting a new one into the place table

Handle postcode type change in place insert trigger

Clean and update tests for postcodes

Use place_exists() into can_compute() for postcodes

Update tests for postcodes

Use place instead of placex to compute postcodes

do not fail CI on codecov errors

The CodeCove upload depends on unreliable external code.

Merge pull request #2359 from lonvia/switch-bdd-tests-to-api-search

Remove deprecated commandline query function

remove deprecated query interface

Searches can now be done via the thin API wrapper.

switch BDD tests to always use search API

Merge pull request #2358 from AntoJvlt/documentation-update

Update documentation

Update documentation

Merge pull request #2357 from lonvia/legacy-tokenizer-fix-word-entries

Fix insertion of special terms and countries into word table

fix insertion of special terms and countries into word table

Special terms need to be prefixed by a space because they are
full terms.

For countries avoid duplicate entries of word tokens.

Adds tests for adding country terms.

Merge pull request #2356 from lonvia/freeze-after-import

Call freeze after running and non-updateable import

docs: reload SQL when migrating to 3.6

SQL functions must always be reloaded when updating the software.
All other updates included the instruction as part of some other
migration. From 3.7 on it will happen as part of the migration
command.

Fixes #2335.

call freeze after running and non-updateable import

Some of the tables will have already been removed but
the tables for indexing are still there and should be
dropped.

commit changes to replication log table

Fixes #2350.

always compute guessed postcode for POIs from centroid

When guessing postcodes from the area, only postcodes within
that area are accepted. For POIs that is usually not what we
want as the postcode would have to be within a house for
example.

Fixes #2301.

Merge pull request #2349 from lonvia/fix-website-refresh

Only initialise tokenizer for refresh functions where needed

only initialise tokenizer for refresh functions where needed

Fixes #2347.

Merge pull request #2346 from lonvia/words-vs-tokens

Cleanup use of partial words in legacy tokenizers

add tests for new full name computation with ICU

reorganize keyword creation for legacy tokenizer

- only save partial words without internal spaces
- consider comma and semicolon a separator of full words
- consider parts before an opening bracket a full word
  (but not the part after the bracket)

Fixes #244.

use make_keywords for place search terms also

Ensures that place indeed uses the same search names as other
names.