adapt postcode centroid import to new address hstore

The postcode now needs to be saved in address->'postcode'
not in the postcode column which is derived only later while
indexing.

Fixes #746.

Thanks to @kkoop.

advertise official location for test data on nominatim.org

fix formatting in test README

update osm2pgsql (revert use of "char")

Revert "use "char" type when refering to osm_type column"

This reverts commit 2dd7f0156a84ef07b808244faa2d42c384e9da32.

Merge pull request #742 from lonvia/compare-normalized

Require more exact match for special search terms

add special terms import to travis testing and fixup libs

disregard special phrases that do not match fully

Compare the normalized terms imported with the special
terms script with the normalized version of the query string.
Disregard them if they cannot be found. This avoids a significant
number of mismatches due to transliteration issues.

The match will only be done when a normalized word has been set
making this change backwards compatible with older databases.

add normalized version of special search terms on import

Requires the PHP bindings for libicu, so add that as a requirement.

use "char" type when refering to osm_type column

When using an explicit cast to char(1) when refering to the
osm_type column postgres won't use the index in some cases.
Observed only on postgres 9.5 from the original Postgres
reporsitories.

Fixes #741.

also need postgres configuration changes for bug reports

update osm2pgsql (libosmium update and clubs)

Adds club key.

Fixes #725.

remove PHP version check

5.4 is the minimum supported version now.

Parameter to enable JSON pretty-printing

Merge pull request #739 from lonvia/max-importance

when linking places compute maximum importance

when linking places compute maximum importance

The linker and the linkee might have different wikipedia
tags and thus different importances. Prefer the higher
value.

Fixes #562.

add hints about bug reporting and pull requests

updates: always remove output file and start with correct sequence id

fix name of constant

update word statistics

Merge pull request #734 from lonvia/use-pyosmium-for-updates

Use pyosmium for updates

Merge pull request #730 from SrihariThalla/update-vagrantmd-doc

Update the formatting in Vagrant markdown doc

Update the formatting in Vagrant markdown doc

update docs for osmosis to pyosmium change

switch from osmosis to pyosmium for updates

Pyosmium comes with convenient functions for finding the
right state and does not require external files for
rembering the state. Updates can now conveniently
set up by simply running ./utils/update.php --init-updates
and state is kept directly in the import_status table.

This change requires an update in the database schema.
Run the following to update:

ALTER TABLE import_status ADD COLUMN sequence_id integer;
ALTER TABLE import_status ADD COLUMN indexed boolean;
ALTER TABLE import_osmosis_log ADD COLUMN batchseq integer;

Add FAQ to documentation

For the moment only copies the FAQ entries for installation from the wiki and adds one on running multiple extracts.

Merge pull request #724 from lonvia/update-country-list

Update country grid SQL file and move it to nominatim.org

update docs for new country grid location

Also updates some dependencies.

remove base country grid from repo

The updated country grid is significantly larger, so expect it to
be downloaded from the nominatim.org website instead.

remove another use of place.country_code

update osm2pgsql (geometry fix, column reordering)

Merge branch 'roques-tetris'

Merge pull request #708 from lonvia/check-for-invalid-geoms

make sure no invalid geometries end up in placex

make sure no invalid geometries end up in placex

Merge branch 'tetris' of https://github.com/roques/Nominatim into roques-tetris

use SMALLINT for ranks and partition; reorder columns for alignment

fix typo

get pg error on correct connection

send address interpolation import to correct postgres conn

also use address column for word count computation

explicitly name columns at INSERT

deduplicate words: do not look for duplicates in empty partitions

update: getPostgresVersion requires a database connection

with PHP7 the result of new() can no longer be assigned by reference

correct warm.php --search-only help text

Merge pull request #700 from lonvia/structured-address-info

Move address information into hstore column

update osm2pgsql (structured addresses and new libosmium)

use centroid for near feature search on rank 30

Rank 30 has some very large geometries (peninsulas, time zones,
etc.) for which a near feature search for the full geometry is
too expensive, so do the search on the centroid only.

fix operator precedence for hstore

remove street and addr_place columns in placex

The information is onyl needed for parenting,
so no need to store it permanently.

Remove street and addr_place from location_property_osmline

Derived columns are not needed because parent information is
always computed from scratch. So the columns are just duplicate
information.

Also get address information on nodes from address columns. The
other columns are not necessarily reliable when the node have not
been indexed yet.

adapt more BDD tests to hstore

fix DB bd tests for address hstore

adapt osm2pgsql tests for new address column

introduce address column for place tables

The column is a hstore containing the full OSM tag with key and
value.

abort osmline update correctly when way nodes are missing

Fixes #695.

Merge pull request #690 from ImreSamu/fix_install_sql_warnings

fix table/sequence ... does not exist

fix sql warnings
* ERROR:  sequence "seq_postcodes" does not exist
* ERROR:  table "import_polygon_error" does not exist
* ERROR:  table "import_polygon_delete" does not exist
* ERROR:  sequence "file" does not exist

Merge pull request #683 from lonvia/more-url-function

Factor out moreurl computation

move moreURL computation into Geocode and include all params

Fixes #678.

remove unused code

Merge pull request #682 from mtmail/update-docs

update docs/*.md based on vagrant/*.sh

update docs/*.md based on vagrant/*.sh

Merge pull request #680 from mtmail/git-submodule-hint

Update CMakeLists.txt

Update CMakeLists.txt

Ran into the issue this morning.
`git submodules` => `git submodule`

Merge pull request #676 from mtmail/html-map-position-box-disappeared

On /search.php the map-position box disappeared behind the map tiles

Merge pull request #674 from mtmail/leaflet-image-path-changed

leaflet 1.0 changed the path of the marker icon

On /search.php the map-position box disappeared behind the map tiles

leaflet 1.0 changed the path of the marker icon

Merge pull request #671 from mtmail/html-view-use-geojson-geometries

Html view use geojson geometries

update leaflet CSS file as well. Fixes delayed layer animation

Merge pull request #669 from lonvia/address-part-on-intersect

Add all intersecting boundaries to address list for roads

for search,details in format=HTML return geometry in geojson, not wkt. No longer need leaflet-omnivore plugin

update leaflet.js 0.7.7 => 1.0.3

remove obsolete openlayers theme files

for roads add all intersecting boundaries to address list

When roads cross boundaries, both administrative entities should
be added to the address list, so that both entities can be used
for searching. Also allows in a second step to better sort out
addresses of POIs on such roads.

Fixes #121.

Merge pull request #667 from lonvia/refactor-nearpoint

Factor out near point into class

Merge pull request #668 from lonvia/warn-on-missing-osm2pgsql

cmake: add a more explicit hint when osm2pgsql is missing

cmake: add a more explicit hint when osm2pgsql is missing

Fixes #642.

fix style

Merge pull request #665 from openstreetmap/lonvia-patch-1

add unzip tool to requirements for Tiger imports

add tests for nearpoint sql functions

use NearPoint class in Search array

adapt unit tests for new NearPoint type

make NearPoint its own class

add unzip tool to requirements for Tiger imports

Fixes #663

Merge pull request #661 from mtmail/travis-ci-badge

add travis-ci badge ("build passing") to README file

Merge pull request #660 from mtmail/new-github-URL

github.com/twain47 => github.com/openstreetmap

add travis-ci badge ("build passing") to README file

github.com/twain47 => github.com/openstreetmap

Merge pull request #659 from lonvia/full-indexing-in-tests

Fix travis tests and update CONTRIBUTING.md

adapt CONTRIBUTING.md to new test locations and tools

test: rerun indexing after updates until really all is done

There are caess where indexing needs to be done a second round
because related objects need to be updated.

Merge pull request #656 from EdwardBetts/master

correct spelling mistakes

correct spelling mistakes

include housenumbers and postcodes when rechecking for exact matches

Merge pull request #649 from ldgeo/master

UI: Extra HTML headers for compatibility on MSIE>8

extra headers for compatibility on IE7

make sure the flatnode file is disabled while testing

add behave settings

removes @Fail tests