Merge remote-tracking branch 'lonvia/partial-search-terms'

update osm2pgsql to latest version

remove mountain ranges from addresses

skip is_in items already in address vector

check for empty relation before linking

Empty relations may indeed appear, if the members of a relation
have been deleted but the tags have been retained. That is
detected as accidental error and the old geometry is retained
in placex while the slim tables contain the new version without members.

ignore frequent partial search terms

Adds word counts from a full planet to the word table. There is a
new configuration option CONST_Max_Word_Frequency which allows to
take into account the word count: the value that was set on import
is used to determine if a word is added to the search_name table.
The value during runtime determines if a single term should be
used for partial search or simply be ignored.

use rank_address for linking places and boundaries

This manages to match up a lot more places and boundaries below city level.

patch replication path on --osmosis-init

planet server layout has changed. Patch in the new path to
minute replications after having osmosis initialise configuration.txt.

switch to distribution-supplied osmosis

Both, Debian and Ubuntu now come with a reasonably recent version
of osmosis. Make using that the default.

fix edge cases when linking nodes

edge cases are: missing node in placex, empty name, empty extratags

switch attributions to ODbL

defered delete should be done even if the place is otherwise blocked

revert attempt to fix house number re-indexing on update, far too slow

limit reindexing to buildings / addresses

mark placex as needed re-indexin based on parent_place_id too

Merge branch 'master' of github.com:twain47/Nominatim

linked places not being updated on road modification

fix format error in polygon output

reduce effect of missing world now importance is better quality

make setup.php fail early on missing osm-file

make setup.php fail early if:
  - no osm-file argument was supplied for --all or --import-data
  - the supplied osm-file is not existing or not readable (file permissions)

fix 500 on search for bounded and class query terms

Ignore bounded=1 if no viewbox parameter was given.

New centroid column in placex makes it necessary to name the table
when joining with classtype tables.

avoid reassigning address rank of place itself

fix permissions of gb_postcode table

make sure first of each address rank is used

get_addressdata should not really return duplicates but if there are
the first result will be the best one, so make sure that one is used

import TIGER data into temporary table

Import TIGER data into a temporary table first that later replaces
the current location_property_tiger table. This way index creation
on the table can be delayed until after the import which should
speed up the import and result in significantly smaller indexes.

Also removed index on parent_place_id as it is covered by
idx_location_property_tiger_housenumber_parent_place_id.

gitignore dynamically created files

places that cannot be part of an address still should get an address themselves

don't create index idx_placex_sector twice

fail on error

- stop indexing if there is any other error than deadlock from the DB
- stop import if osm2pgsql or indexing fails

send place_rank in jsonv2 format

Merge branch 'patch-1' of https://github.com/Firefishy/Nominatim

Fix repeating lat twice in span instead of lat, lon.

Merge remote-tracking branch 'lonvia/address-order'

adapt distance heuristics for nodes

Include only those nodes that are closer than 1.5 times the distance
of the closest feature of the same address rank.

gracefully fail if nodes from an address interpolation are missing

Fix more typos

Fix typos found with codespell in comments

Fix typos in function name

perl -p -e s/getPrefferedLangauges/getPreferredLanguages/ -i */*.php

Fix wrong variable used with PEAR::IsError()

Fixes:
PHP Fatal error:  Cannot use object of type DB_Error as array in /home/daniele/Programmazione/OSM/Nominatim/website/reverse.php on line 104

excluded place nodes outside parent boundaries from addresses

Changes slightly the logic which decides if a guessed places
(i.e. a place node) is included in an address: it will be
part of the address only if it is inside the next lower
available boundary. This fixes problematic cases where
neighbouring entities have additional admin levels.

put libraries in right place when linking

use json_encode in search stuff as well

remove JSON_UNESCAPED_UNICODE, supported only by php >=5.3.3 and
clients should be able to handle the escaping

more generalized javascript_renderData

- handles json/jsonp transparently (avoiding code duplication in templates)
- use php's internal json_encode functions (with JSON_UNESCAPED_UNICODE
  for backward compatibility)
- be more liberal with what is allowed as a callback identifier
- return a 400 for illegal callbacks
- return application/javascript type when jsonp is requested

fixes #16, fixes #17

make sure invalid geometries are always deleted from place

This solves a bug with updating large invalid geometries. These
geometries have an entry in place but not in placex. Thus, place_insert
tries to delete the place entry and reinsert it on update. Deletion would
fail because self-intersecting polygons still have an area and large
areas are not deleted.

be less verbose

ignore railways, tunnels and bridges when reverse geocoding

Merge branch 'configure' of github.com:lonvia/Nominatim

add README stuff

add git commit version if applicable

remove duplicate check for ZLIB

be more strict with us state replacement hack

replace il/al/la only if they are properly separated by a comma

yet another autogenerated file removed

remove autogenerated files

create a globale configure/make

- move the configure from nominatim out and add checks for all dependencies
- bring module under automake control
- add osm2pgsql as a submodule, configure and build with the others

silently remove leading/trailing spaces

avoid PHP notices

remove distinct, causes nearest feature results to be badly reordered

Updated reverse geocoding to improve handling of zoom=0

Merge branch 'master' of github.com:twain47/Nominatim

truncate road partition tables during load

more verbose error messages

rename ambiguous variables to make postgresql 8.4 happy

use Overpass API by default to download OSM objects

make index work and remove more hard-coded DB names

eliminate php warning, remove setting aPipes (isn't used)

make .osc files with osmosis

Merge branch 'master' of github.com:twain47/Nominatim

revert to plain text dump for 8.4 compatibility (+ permissions fix)

typo

can't have a unique index on placex - only on place

fix broken field name / committed debug

use the new country data files

deal with some indexing edge cases

Merge pull request #9 from andreek/master

Postgis 2.0 compatibility
Seems to be compatible with all recent versions of postgis

DB Scheme changes: alter table placex add column calculated_country_code varchar(2);

function changes:
-----------------
Move to ST_PointOnSurface from ST_Centroid in various places to avoid looking up a point outside the polygon
Move to ST_Covers from ST_Contains to include points on admin boundaries
Re-order preference for get_country_code now our data is better. country_osm_grid is now the preffered source.
Fix code to calculate country code in placex_insert, rank_search test was too early
Add extra field to placex 'calculated_country_code' to improve structure of code
Move split_geometery function out of add_location into its own function
Rewrite split_geometery to be more efficient.
Change place_insert to do more updates and less delete/inserts (delete is slow)
Include wikipedia links in details.php ouput
Cleanup no longer used geometry validation (adding overhead)
Include debug statements in function.sql (--DEBUG: ) and add flag to setup.php to turn them on

setup.php:
----------
add flag --disable-token-precalc to speed up debuging
add flag --index-noanalyse to disable analysising DB at rank 4 and 26 (previously removed, but on my local DB it seems to be required)
add flag --enable-diff-updates (modifier to --create-functions) to turn on the code required for diff updates without having to modify functions.sql
add flag --enable-debug-statements (modifier to --create-functions) to turn on debug warning statements

update.php:
-----------
added flag --no-index to import osmosis changes without indexing them
extend the hack to allow import of JOSM generated osm files

country_grid.sql - reference copy of the sql used to generate the country_osm_grid table, needs cleanup

Suport postgis 2.0 for search

Merge branch 'master' of github.com:twain47/Nominatim

move index over nameaddress_vector back to delayed index creation

No longer needed for linking places.

remove intermediate ANALYSE while indexing

Autovacuum does a much better job.

make sure nominatim.so is accessible for postgresql

Even if the user has a very restrictive umask in place.

pre-create word list to avoid duplicates due to parallel indexing

Can't filter on rank_search before it has been assigned

updated wikipedia article code to allow for mutliple languages and remove code duplication

modifiers to encourage use of indices

don't have an address property in the return if we have not got address data

catch utf8 encoding errors and at least stop them aborting processing

Merge branch 'master' of github.com:twain47/Nominatim

calculate importance from wikipedia

more name checks in point and poly mergeing, and put the index creation earlier in the process

add licence file

fix typos in mapicons

make it run with 64bit and 32bit osm2pgsql

Needs tweaking on the osm2pgsql side, too: the osmid column
needs to have the same format as in osm2pgsql. That means
that the changes are still not compatible with existing installations.

change code to work with a 64-bit node size osm2pgsql

This breaks the 32-bit node size version.

Merge pull request #5 from mfn/improve_errmsg

Do not swallow PEAR error during setup in import-data.

depreciate place=region due to common miss-use

link nodes and relations using name->'name' index lookup instead of search_name

Do not swallow PEAR error.

set osm2pgsql cache memory to a default based on memory in the machine

Merge branch 'continent' of https://github.com/datendelphin/Nominatim

add support for Irish townlands

To work properly, osm2pgsql needs to be updated to the latest version.