Merge branch 'master' of http://github.com/twain47/Nominatim

munin graph for request counts

put indexing in update mode

adapt settings for poldi

user-agent based blocking

send 403 and HTML page on block

frequent words hack

Adds logging of queries on search_name that take too long
because of word tokens that are too frequent.
Words can be excluded from the token search by setting the
search_name_count column to something greater than 0.

customized tablespace settings for poldi

sanity check for address interpolation

avoid deletes for new places

restrict deferred delete to concerned place

Deleting by osm_type/osm_id goes wrong if the place was reimported
because of a change in geometry, admin_level etc. The newly created
place is deleted as well in this case.

send fail messages to error log

respect addressdetails parameter in json output

convert CRLF to make git happy

restrict detection of lat/lon pairs

Only interpret numbers as geo coordinates if they are in the
actual range for latitude and longitude.

create proper token array for unknown housenumbers

configurable file logging

Respect CONST_Log_File setting and add two new configuration
variables CONST_Log_File_SearchLog and CONST_Log_File_ReverseLog
for the log file names.

add script to list broken polygons

creation of special phrases for country codes (forwardported from gazeteer)

update classtype tables for special phrases along with the places

extend scripts for Tiger 2011 data

hack around yes quotes in wiki and add a simple sanity check against wiki accidents

return a marginally better error message when query string is not in UTF-8,
force UTF-8 in search formular

move place=isolated_dwelling up to the same rank as place=locality

enable exact search of GB postcodes in aux postcode data,
partial search still disabled due to performance problems

during initial setup defer creation of non-vital until after nominatim indexing,
analyse DB during nominatim indexing so the query planer uses indexes correctly

avoid warnings when geometry of object cannot be determined

don't print address details if they are not requested

remove unused protolib

remove trailing commas in HTML to make IE happy (thanks to TomH)

munin graph for the import lag

don't classify normal SQL errors as deadlocks

improve import performance for special phrases

- create a temporary index on placex
- create indices on place_classtype_* tables after insert
- grant www-data permission to tables

extensions where introduced in postgresql in 9.1, not in 9.0

- remove dependency on intarray extension
- new config options for postgresql version and
  location of osm2pgsql and osmosis binaries
- new option --no-npi for update.php that supresses writing of NPIs in
  osmosis update mode
- add more GRANTs for www-data

fix typo mentioned by mathieu monney on mapquest's forum two weeks ago. this typo is responsible for 'location_property_tiger does not exist' errors.

create 'file' sequence required by update.php

bugfix nominatim

fix miss-parsed regex with - sign in lat,lon query

update place_id to BIGINT

bigint update script

over tokenising 'la'

de-deplicate terms

allow for offset paramater in amenity searches

woops

handle 'order state level queries better

handle 'order state level queries better

handle 'in/near' for state and country level features differently

hack to handle state abreviations that overlap with 'the' in various non-english languages

memory leak on large imports

country searches not filtered by countrycodes param, fixes #3756

remove debuing information

handle pure lat,lon search by passing to reverse geocoding and returning first match as a search result

enforce limit as maximum number of results

Do not apply limit where we have a sub-search

retry loop on osmosis

addresses not claculated for some named poi

return actual centroid lat,lon of reverse geocoding result

move partiondef config file to settings, add --create-website option to build symlinks automatically

extra validation on import

consider possibility that values with number in near start of search might be a house number (even if we have never seen them before).  Also add better label for building:yes

fallback housenumber for items containing a number - not just number only

don't classify region as a type of state in address details output

limit fallback to pure number housenumbers

order final data set by importance, ignore search query score (importance seems to be better)

option to get list of search keywords

add option to filter by countrycodes=gb,fr list

configure tile set

loading rank wrong way round

output importance on details.php page

diff updates and npi diff updates

calculate search position based to 'importance' rather than address rank

drop requirement for zero distance record for each place_addressline, add import_npi_log for import logging

preserve importance in search_name

deduplicate search term graph slightly earlier

Don't let character walk outside translation table

better error checking for middle of the sea

log progress to stderr instead of stdout, to make use of unbuffered output

fix potential deadlock when writing a lot of data to a psql pipe and not reading what comes back;
stdout/stderr weren't used anyway so just connect them through

* use osm2pgsql from $PATH if none present locally
* do not display usage() on successful postcode generation

filter by feature rank, current options: country, state, city

fix search by just country code.  Re-order some search results (admin boundaries always ended up at the top)

stop treating capital cities as villages, memory leak on deadlock

add logging of broken polygons, improve address export, better diff output in export, bug in address calculation(#3522), reaply #3520, lost in migration

fix line end

lots of little bug fixes and missing files

final result ordering, remove GB postcode hacks

us postcodes (tiger)

aux properties, memory leaks, tweaks to search order

finally fix adminitrative spelling error, disable fast_update on indexes by default (performance), fixes for incremental updates on new codebase

pull in the special phrases from the wiki

clean up formatting

be a bit efficient about queuing up the places to be indexed

tiger import code

postcode/zipcode improvements, finish work on handling extratags

fix japan code page and remove ' e ' token - causes problems with 'east'

make rank_search consistent

remove the road buffer code - made things slower.  Plus some more tiger import code

more tiger import code

rename to fix spelling mistake