]> git.openstreetmap.org Git - nominatim.git/blob - lib/SearchDescription.php
documentation for SearchContext and SearchDescription
[nominatim.git] / lib / SearchDescription.php
1 <?php
2
3 namespace Nominatim;
4
5 require_once(CONST_BasePath.'/lib/SpecialSearchOperator.php');
6 require_once(CONST_BasePath.'/lib/SearchContext.php');
7
8 /**
9  * Description of a single interpretation of a search query.
10  */
11 class SearchDescription
12 {
13     /// Ranking how well the description fits the query.
14     private $iSearchRank = 0;
15     /// Country code of country the result must belong to.
16     private $sCountryCode = '';
17     /// List of word ids making up the name of the object.
18     private $aName = array();
19     /// List of word ids making up the address of the object.
20     private $aAddress = array();
21     /// Subset of word ids of full words making up the address.
22     private $aFullNameAddress = array();
23     /// List of word ids that appear in the name but should be ignored.
24     private $aNameNonSearch = array();
25     /// List of word ids that appear in the address but should be ignored.
26     private $aAddressNonSearch = array();
27     /// Kind of search for special searches, see Nominatim::Operator.
28     private $iOperator = Operator::NONE;
29     /// Class of special feature to search for.
30     private $sClass = '';
31     /// Type of special feature to search for.
32     private $sType = '';
33     /// Housenumber of the object.
34     private $sHouseNumber = '';
35     /// Postcode for the object.
36     private $sPostcode = '';
37     /// Global search constraints.
38     private $oContext;
39
40     // Temporary values used while creating the search description.
41
42     /// Index of phrase currently processed.
43     private $iNamePhrase = -1;
44
45
46     /**
47      * Create an empty search description.
48      *
49      * @param object $oContext Global context to use. Will be inherited by
50      *                         all derived search objects.
51      */
52     public function __construct($oContext)
53     {
54         $this->oContext = $oContext;
55     }
56
57     /**
58      * Get current search rank.
59      *
60      * The higher the search rank the lower the likelyhood that the
61      * search is a correct interpretation of the search query.
62      *
63      * @return integer Search rank.
64      */
65     public function getRank()
66     {
67         return $this->iSearchRank;
68     }
69
70     /**
71      * Increase the search rank.
72      *
73      * @param integer $iAddRank Number of ranks to increase.
74      *
75      * @return void
76      */
77     public function addToRank($iAddRank)
78     {
79         $this->iSearchRank += $iAddRank;
80         return $this->iSearchRank;
81     }
82
83     /**
84      * Make this search a POI search.
85      *
86      * In a POI search, objects are not (only) searched by their name
87      * but also by the primary OSM key/value pair (class and type in Nominatim).
88      *
89      * @param integer $iOperator Type of POI search
90      * @param string  $sClass    Class (or OSM tag key) of POI.
91      * @param string  $sType     Type (or OSM tag value) of POI.
92      *
93      * @return void
94      */
95     public function setPoiSearch($iOperator, $sClass, $sType)
96     {
97         $this->iOperator = $iOperator;
98         $this->sClass = $sClass;
99         $this->sType = $sType;
100     }
101
102     /**
103      * Check if this might be a full address search.
104      *
105      * @return bool True if the search contains name, address and housenumber.
106      */
107     public function looksLikeFullAddress()
108     {
109         return sizeof($this->aName)
110                && (sizeof($this->aAddress || $this->sCountryCode))
111                && preg_match('/[0-9]+/', $this->sHouseNumber);
112     }
113
114     /**
115      * Check if any operator is set.
116      *
117      * @return bool True, if this is a special search operation.
118      */
119     public function hasOperator()
120     {
121         return $this->iOperator != Operator::NONE;
122     }
123
124     /**
125      * Extract key/value pairs from a query.
126      *
127      * Key/value pairs are recognised if they are of the form [<key>=<value>].
128      * If multiple terms of this kind are found then all terms are removed
129      * but only the first is used for search.
130      *
131      * @param string $sQuery Original query string.
132      *
133      * @return string The query string with the special search patterns removed.
134      */
135     public function extractKeyValuePairs($sQuery)
136     {
137         // Search for terms of kind [<key>=<value>].
138         preg_match_all(
139             '/\\[([\\w_]*)=([\\w_]*)\\]/',
140             $sQuery,
141             $aSpecialTermsRaw,
142             PREG_SET_ORDER
143         );
144
145         foreach ($aSpecialTermsRaw as $aTerm) {
146             $sQuery = str_replace($aTerm[0], ' ', $sQuery);
147             if (!$this->hasOperator()) {
148                 $this->setPoiSearch(Operator::TYPE, $aTerm[1], $aTerm[2]);
149             }
150         }
151
152         return $sQuery;
153     }
154
155     /**
156      * Check if the combination of parameters is sensible.
157      *
158      * @param string[] $aCountryCodes List of country codes.
159      *
160      * @return bool True, if the search looks valid.
161      */
162     public function isValidSearch(&$aCountryCodes)
163     {
164         if (!sizeof($this->aName)) {
165             if ($this->sHouseNumber) {
166                 return false;
167             }
168         }
169         if ($aCountryCodes
170             && $this->sCountryCode
171             && !in_array($this->sCountryCode, $aCountryCodes)
172         ) {
173             return false;
174         }
175
176         return true;
177     }
178
179     /////////// Search building functions
180
181
182     /**
183      * Derive new searches by adding a full term to the existing search.
184      *
185      * @param mixed[] $aSearchTerm  Description of the token.
186      * @param bool    $bWordInQuery True, if the normalised version of the word
187      *                              is contained in the query.
188      * @param bool    $bHasPartial  True if there are also tokens of partial terms
189      *                              with the same name.
190      * @param string  $sPhraseType  Type of phrase the token is contained in.
191      * @param bool    $bFirstToken  True if the token is at the beginning of the
192      *                              query.
193      * @param bool    $bFirstPhrase True if the token is in the first phrase of
194      *                              the query.
195      * @param bool    $bLastToken   True if the token is at the end of the query.
196      * @param integer $iGlobalRank  Changable ranking of all searches in the
197      *                              batch.
198      *
199      * @return SearchDescription[] List of derived search descriptions.
200      */
201     public function extendWithFullTerm($aSearchTerm, $bWordInQuery, $bHasPartial, $sPhraseType, $bFirstToken, $bFirstPhrase, $bLastToken, &$iGlobalRank)
202     {
203         $aNewSearches = array();
204
205         if (($sPhraseType == '' || $sPhraseType == 'country')
206             && !empty($aSearchTerm['country_code'])
207             && $aSearchTerm['country_code'] != '0'
208         ) {
209             if (!$this->sCountryCode) {
210                 $oSearch = clone $this;
211                 $oSearch->iSearchRank++;
212                 $oSearch->sCountryCode = $aSearchTerm['country_code'];
213                 // Country is almost always at the end of the string
214                 // - increase score for finding it anywhere else (optimisation)
215                 if (!$bLastToken) {
216                     $oSearch->iSearchRank += 5;
217                 }
218                 $aNewSearches[] = $oSearch;
219
220                 // If it is at the beginning, we can be almost sure that
221                 // the terms are in the wrong order. Increase score for all searches.
222                 if ($bFirstToken) {
223                     $iGlobalRank++;
224                 }
225             }
226         } elseif (($sPhraseType == '' || $sPhraseType == 'postalcode')
227                   && $aSearchTerm['class'] == 'place' && $aSearchTerm['type'] == 'postcode'
228         ) {
229             // We need to try the case where the postal code is the primary element
230             // (i.e. no way to tell if it is (postalcode, city) OR (city, postalcode)
231             // so try both.
232             if (!$this->sPostcode && $bWordInQuery
233                 && pg_escape_string($aSearchTerm['word']) == $aSearchTerm['word']
234             ) {
235                 // If we have structured search or this is the first term,
236                 // make the postcode the primary search element.
237                 if ($this->iOperator == Operator::NONE
238                     && ($sPhraseType == 'postalcode' || $bFirstToken)
239                 ) {
240                     $oSearch = clone $this;
241                     $oSearch->iSearchRank++;
242                     $oSearch->iOperator = Operator::POSTCODE;
243                     $oSearch->aAddress = array_merge($this->aAddress, $this->aName);
244                     $oSearch->aName =
245                         array($aSearchTerm['word_id'] => $aSearchTerm['word']);
246                     $aNewSearches[] = $oSearch;
247                 }
248
249                 // If we have a structured search or this is not the first term,
250                 // add the postcode as an addendum.
251                 if ($this->iOperator != Operator::POSTCODE
252                     && ($sPhraseType == 'postalcode' || sizeof($this->aName))
253                 ) {
254                     $oSearch = clone $this;
255                     $oSearch->iSearchRank++;
256                     $oSearch->sPostcode = $aSearchTerm['word'];
257                     $aNewSearches[] = $oSearch;
258                 }
259             }
260         } elseif (($sPhraseType == '' || $sPhraseType == 'street')
261                  && $aSearchTerm['class'] == 'place' && $aSearchTerm['type'] == 'house'
262         ) {
263             if (!$this->sHouseNumber && $this->iOperator != Operator::POSTCODE) {
264                 $oSearch = clone $this;
265                 $oSearch->iSearchRank++;
266                 $oSearch->sHouseNumber = trim($aSearchTerm['word_token']);
267                 // sanity check: if the housenumber is not mainly made
268                 // up of numbers, add a penalty
269                 if (preg_match_all("/[^0-9]/", $oSearch->sHouseNumber, $aMatches) > 2) {
270                     $oSearch->iSearchRank++;
271                 }
272                 if (!isset($aSearchTerm['word_id'])) {
273                     $oSearch->iSearchRank++;
274                 }
275                 // also must not appear in the middle of the address
276                 if (sizeof($this->aAddress) || sizeof($this->aAddressNonSearch)) {
277                     $oSearch->iSearchRank++;
278                 }
279                 $aNewSearches[] = $oSearch;
280             }
281         } elseif ($sPhraseType == ''
282                   && $aSearchTerm['class'] !== '' && $aSearchTerm['class'] !== null
283         ) {
284             // require a normalized exact match of the term
285             // if we have the normalizer version of the query
286             // available
287             if ($this->iOperator == Operator::NONE
288                 && (isset($aSearchTerm['word']) && $aSearchTerm['word'])
289                 && $bWordInQuery
290             ) {
291                 $oSearch = clone $this;
292                 $oSearch->iSearchRank++;
293
294                 $iOp = Operator::NEAR; // near == in for the moment
295                 if ($aSearchTerm['operator'] == '') {
296                     if (sizeof($this->aName)) {
297                         $iOp = Operator::NAME;
298                     }
299                     $oSearch->iSearchRank += 2;
300                 }
301
302                 $oSearch->setPoiSearch($iOp, $aSearchTerm['class'], $aSearchTerm['type']);
303                 $aNewSearches[] = $oSearch;
304             }
305         } elseif (isset($aSearchTerm['word_id']) && $aSearchTerm['word_id']) {
306             $iWordID = $aSearchTerm['word_id'];
307             if (sizeof($this->aName)) {
308                 if (($sPhraseType == '' || !$bFirstPhrase)
309                     && $sPhraseType != 'country'
310                     && !$bHasPartial
311                 ) {
312                     $oSearch = clone $this;
313                     $oSearch->iSearchRank++;
314                     $oSearch->aAddress[$iWordID] = $iWordID;
315                     $aNewSearches[] = $oSearch;
316                 } else {
317                     $this->aFullNameAddress[$iWordID] = $iWordID;
318                 }
319             } else {
320                 $oSearch = clone $this;
321                 $oSearch->iSearchRank++;
322                 $oSearch->aName = array($iWordID => $iWordID);
323                 $aNewSearches[] = $oSearch;
324             }
325         }
326
327         return $aNewSearches;
328     }
329
330     /**
331      * Derive new searches by adding a partial term to the existing search.
332      *
333      * @param mixed[] $aSearchTerm          Description of the token.
334      * @param bool    $bStructuredPhrases   True if the search is structured.
335      * @param integer $iPhrase              Number of the phrase the token is in.
336      * @param mixed[] $aWordFrequencyScores Number of times tokens appears
337      *                                      overall in a planet database.
338      * @param array[] $aFullTokens          List of full term tokens with the
339      *                                      same name.
340      *
341      * @return SearchDescription[] List of derived search descriptions.
342      */
343     public function extendWithPartialTerm($aSearchTerm, $bStructuredPhrases, $iPhrase, &$aWordFrequencyScores, $aFullTokens)
344     {
345         // Only allow name terms.
346         if (!(isset($aSearchTerm['word_id']) && $aSearchTerm['word_id'])) {
347             return array();
348         }
349
350         $aNewSearches = array();
351         $iWordID = $aSearchTerm['word_id'];
352
353         if ((!$bStructuredPhrases || $iPhrase > 0)
354             && sizeof($this->aName)
355             && strpos($aSearchTerm['word_token'], ' ') === false
356         ) {
357             if ($aWordFrequencyScores[$iWordID] < CONST_Max_Word_Frequency) {
358                 $oSearch = clone $this;
359                 $oSearch->iSearchRank++;
360                 $oSearch->aAddress[$iWordID] = $iWordID;
361                 $aNewSearches[] = $oSearch;
362             } else {
363                 $oSearch = clone $this;
364                 $oSearch->iSearchRank++;
365                 $oSearch->aAddressNonSearch[$iWordID] = $iWordID;
366                 if (preg_match('#^[0-9]+$#', $aSearchTerm['word_token'])) {
367                     $oSearch->iSearchRank += 2;
368                 }
369                 if (sizeof($aFullTokens)) {
370                     $oSearch->iSearchRank++;
371                 }
372                 $aNewSearches[] = $oSearch;
373
374                 // revert to the token version?
375                 foreach ($aFullTokens as $aSearchTermToken) {
376                     if (empty($aSearchTermToken['country_code'])
377                         && empty($aSearchTermToken['lat'])
378                         && empty($aSearchTermToken['class'])
379                     ) {
380                         $oSearch = clone $this;
381                         $oSearch->iSearchRank++;
382                         $oSearch->aAddress[$aSearchTermToken['word_id']] = $aSearchTermToken['word_id'];
383                         $aNewSearches[] = $oSearch;
384                     }
385                 }
386             }
387         }
388
389         if ((!$this->sPostcode && !$this->aAddress && !$this->aAddressNonSearch)
390             && (!sizeof($this->aName) || $this->iNamePhrase == $iPhrase)
391         ) {
392             $oSearch = clone $this;
393             $oSearch->iSearchRank++;
394             if (!sizeof($this->aName)) {
395                 $oSearch->iSearchRank += 1;
396             }
397             if (preg_match('#^[0-9]+$#', $aSearchTerm['word_token'])) {
398                 $oSearch->iSearchRank += 2;
399             }
400             if ($aWordFrequencyScores[$iWordID] < CONST_Max_Word_Frequency) {
401                 $oSearch->aName[$iWordID] = $iWordID;
402             } else {
403                 $oSearch->aNameNonSearch[$iWordID] = $iWordID;
404             }
405             $oSearch->iNamePhrase = $iPhrase;
406             $aNewSearches[] = $oSearch;
407         }
408
409         return $aNewSearches;
410     }
411
412     /////////// Query functions
413
414
415     /**
416      * Query database for places that match this search.
417      *
418      * @param object  $oDB                  Database connection to use.
419      * @param mixed[] $aWordFrequencyScores Number of times tokens appears
420      *                                      overall in a planet database.
421      * @param mixed[] $aExactMatchCache     Saves number of exact matches.
422      * @param integer $iMinRank             Minimum address rank to restrict
423      *                                      search to.
424      * @param integer $iMaxRank             Maximum address rank to restrict
425      *                                      search to.
426      * @param integer $iLimit               Maximum number of results.
427      *
428      * @return mixed[] An array with two fields: IDs contains the list of
429      *                 matching place IDs and houseNumber the houseNumber
430      *                 if appicable or -1 if not.
431      */
432     public function query(&$oDB, &$aWordFrequencyScores, &$aExactMatchCache, $iMinRank, $iMaxRank, $iLimit)
433     {
434         $aPlaceIDs = array();
435         $iHousenumber = -1;
436
437         if ($this->sCountryCode
438             && !sizeof($this->aName)
439             && !$this->iOperator
440             && !$this->sClass
441             && !$this->oContext->hasNearPoint()
442         ) {
443             // Just looking for a country - look it up
444             if (4 >= $iMinRank && 4 <= $iMaxRank) {
445                 $aPlaceIDs = $this->queryCountry($oDB);
446             }
447         } elseif (!sizeof($this->aName) && !sizeof($this->aAddress)) {
448             // Neither name nor address? Then we must be
449             // looking for a POI in a geographic area.
450             if ($this->oContext->isBoundedSearch()) {
451                 $aPlaceIDs = $this->queryNearbyPoi($oDB, $iLimit);
452             }
453         } elseif ($this->iOperator == Operator::POSTCODE) {
454             // looking for postcode
455             $aPlaceIDs = $this->queryPostcode($oDB, $iLimit);
456         } else {
457             // Ordinary search:
458             // First search for places according to name and address.
459             $aNamedPlaceIDs = $this->queryNamedPlace(
460                 $oDB,
461                 $aWordFrequencyScores,
462                 $iMinRank,
463                 $iMaxRank,
464                 $iLimit
465             );
466
467             if (sizeof($aNamedPlaceIDs)) {
468                 foreach ($aNamedPlaceIDs as $aRow) {
469                     $aPlaceIDs[] = $aRow['place_id'];
470                     $aExactMatchCache[$aRow['place_id']] = $aRow['exactmatch'];
471                 }
472             }
473
474             //now search for housenumber, if housenumber provided
475             if ($this->sHouseNumber && sizeof($aPlaceIDs)) {
476                 $aResult = $this->queryHouseNumber($oDB, $aPlaceIDs, $iLimit);
477
478                 if (sizeof($aResult)) {
479                     $iHousenumber = $aResult['iHouseNumber'];
480                     $aPlaceIDs = $aResult['aPlaceIDs'];
481                 } elseif (!$this->looksLikeFullAddress()) {
482                     $aPlaceIDs = array();
483                 }
484             }
485
486             // finally get POIs if requested
487             if ($this->sClass && sizeof($aPlaceIDs)) {
488                 $aPlaceIDs = $this->queryPoiByOperator($oDB, $aPlaceIDs, $iLimit);
489             }
490         }
491
492         if (CONST_Debug) {
493             echo "<br><b>Place IDs:</b> ";
494             var_Dump($aPlaceIDs);
495         }
496
497         if (sizeof($aPlaceIDs) && $this->sPostcode) {
498             $sSQL = 'SELECT place_id FROM placex';
499             $sSQL .= ' WHERE place_id in ('.join(',', $aPlaceIDs).')';
500             $sSQL .= " AND postcode = '".$this->sPostcode."'";
501             if (CONST_Debug) var_dump($sSQL);
502             $aFilteredPlaceIDs = chksql($oDB->getCol($sSQL));
503             if ($aFilteredPlaceIDs) {
504                 $aPlaceIDs = $aFilteredPlaceIDs;
505                 if (CONST_Debug) {
506                     echo "<br><b>Place IDs after postcode filtering:</b> ";
507                     var_Dump($aPlaceIDs);
508                 }
509             }
510         }
511
512         return array('IDs' => $aPlaceIDs, 'houseNumber' => $iHousenumber);
513     }
514
515
516     private function queryCountry(&$oDB)
517     {
518         $sSQL = 'SELECT place_id FROM placex ';
519         $sSQL .= "WHERE country_code='".$this->sCountryCode."'";
520         $sSQL .= ' AND rank_search = 4';
521         if ($this->oContext->bViewboxBounded) {
522             $sSQL .= ' AND ST_Intersects('.$this->oContext->sqlViewboxSmall.', geometry)';
523         }
524         $sSQL .= " ORDER BY st_area(geometry) DESC LIMIT 1";
525
526         if (CONST_Debug) var_dump($sSQL);
527
528         return chksql($oDB->getCol($sSQL));
529     }
530
531     private function queryNearbyPoi(&$oDB, $iLimit)
532     {
533         if (!$this->sClass) {
534             return array();
535         }
536
537         $sPoiTable = $this->poiTable();
538
539         $sSQL = 'SELECT count(*) FROM pg_tables WHERE tablename = \''.$sPoiTable."'";
540         if (chksql($oDB->getOne($sSQL))) {
541             $sSQL = 'SELECT place_id FROM '.$sPoiTable.' ct';
542             if ($this->oContext->sqlCountryList) {
543                 $sSQL .= ' JOIN placex USING (place_id)';
544             }
545             if ($this->oContext->hasNearPoint()) {
546                 $sSQL .= ' WHERE '.$this->oContext->withinSQL('ct.centroid');
547             } elseif ($this->oContext->bViewboxBounded) {
548                 $sSQL .= ' WHERE ST_Contains('.$this->oContext->sqlViewboxSmall.', ct.centroid)';
549             }
550             if ($this->oContext->sqlCountryList) {
551                 $sSQL .= ' AND country_code in '.$this->oContext->sqlCountryList;
552             }
553             $sSQL .= $this->oContext->excludeSQL(' AND place_id');
554             if ($this->oContext->sqlViewboxCentre) {
555                 $sSQL .= ' ORDER BY ST_Distance(';
556                 $sSQL .= $this->oContext->sqlViewboxCentre.', ct.centroid) ASC';
557             } elseif ($this->oContext->hasNearPoint()) {
558                 $sSQL .= ' ORDER BY '.$this->oContext->distanceSQL('ct.centroid').' ASC';
559             }
560             $sSQL .= " limit $iLimit";
561             if (CONST_Debug) var_dump($sSQL);
562             return chksql($oDB->getCol($sSQL));
563         }
564
565         if ($this->oContext->hasNearPoint()) {
566             $sSQL = 'SELECT place_id FROM placex WHERE ';
567             $sSQL .= 'class=\''.$this->sClass."' and type='".$this->sType."'";
568             $sSQL .= ' AND '.$this->oContext->withinSQL('geometry');
569             $sSQL .= ' AND linked_place_id is null';
570             if ($this->oContext->sqlCountryList) {
571                 $sSQL .= ' AND country_code in '.$this->oContext->sqlCountryList;
572             }
573             $sSQL .= ' ORDER BY '.$this->oContext->distanceSQL('centroid')." ASC";
574             $sSQL .= " LIMIT $iLimit";
575             if (CONST_Debug) var_dump($sSQL);
576             return chksql($oDB->getCol($sSQL));
577         }
578
579         return array();
580     }
581
582     private function queryPostcode(&$oDB, $iLimit)
583     {
584         $sSQL = 'SELECT p.place_id FROM location_postcode p ';
585
586         if (sizeof($this->aAddress)) {
587             $sSQL .= ', search_name s ';
588             $sSQL .= 'WHERE s.place_id = p.parent_place_id ';
589             $sSQL .= 'AND array_cat(s.nameaddress_vector, s.name_vector)';
590             $sSQL .= '      @> '.getArraySQL($this->aAddress).' AND ';
591         } else {
592             $sSQL .= 'WHERE ';
593         }
594
595         $sSQL .= "p.postcode = '".reset($this->aName)."'";
596         $sSQL .= $this->countryCodeSQL(' AND p.country_code');
597         $sSQL .= $this->oContext->excludeSQL(' AND p.place_id');
598         $sSQL .= " LIMIT $iLimit";
599
600         if (CONST_Debug) var_dump($sSQL);
601
602         return chksql($oDB->getCol($sSQL));
603     }
604
605     private function queryNamedPlace(&$oDB, $aWordFrequencyScores, $iMinAddressRank, $iMaxAddressRank, $iLimit)
606     {
607         $aTerms = array();
608         $aOrder = array();
609
610         if ($this->sHouseNumber && sizeof($this->aAddress)) {
611             $sHouseNumberRegex = '\\\\m'.$this->sHouseNumber.'\\\\M';
612             $aOrder[] = ' (';
613             $aOrder[0] .= 'EXISTS(';
614             $aOrder[0] .= '  SELECT place_id';
615             $aOrder[0] .= '  FROM placex';
616             $aOrder[0] .= '  WHERE parent_place_id = search_name.place_id';
617             $aOrder[0] .= "    AND transliteration(housenumber) ~* E'".$sHouseNumberRegex."'";
618             $aOrder[0] .= '  LIMIT 1';
619             $aOrder[0] .= ') ';
620             // also housenumbers from interpolation lines table are needed
621             if (preg_match('/[0-9]+/', $this->sHouseNumber)) {
622                 $iHouseNumber = intval($this->sHouseNumber);
623                 $aOrder[0] .= 'OR EXISTS(';
624                 $aOrder[0] .= '  SELECT place_id ';
625                 $aOrder[0] .= '  FROM location_property_osmline ';
626                 $aOrder[0] .= '  WHERE parent_place_id = search_name.place_id';
627                 $aOrder[0] .= '    AND startnumber is not NULL';
628                 $aOrder[0] .= '    AND '.$iHouseNumber.'>=startnumber ';
629                 $aOrder[0] .= '    AND '.$iHouseNumber.'<=endnumber ';
630                 $aOrder[0] .= '  LIMIT 1';
631                 $aOrder[0] .= ')';
632             }
633             $aOrder[0] .= ') DESC';
634         }
635
636         if (sizeof($this->aName)) {
637             $aTerms[] = 'name_vector @> '.getArraySQL($this->aName);
638         }
639         if (sizeof($this->aAddress)) {
640             // For infrequent name terms disable index usage for address
641             if (CONST_Search_NameOnlySearchFrequencyThreshold
642                 && sizeof($this->aName) == 1
643                 && $aWordFrequencyScores[$this->aName[reset($this->aName)]]
644                      < CONST_Search_NameOnlySearchFrequencyThreshold
645             ) {
646                 $aTerms[] = 'array_cat(nameaddress_vector,ARRAY[]::integer[]) @> '.getArraySQL($this->aAddress);
647             } else {
648                 $aTerms[] = 'nameaddress_vector @> '.getArraySQL($this->aAddress);
649             }
650         }
651
652         $sCountryTerm = $this->countryCodeSQL('country_code');
653         if ($sCountryTerm) {
654             $aTerms[] = $sCountryTerm;
655         }
656
657         if ($this->sHouseNumber) {
658             $aTerms[] = "address_rank between 16 and 27";
659         } elseif (!$this->sClass || $this->iOperator == Operator::NAME) {
660             if ($iMinAddressRank > 0) {
661                 $aTerms[] = "address_rank >= ".$iMinAddressRank;
662             }
663             if ($iMaxAddressRank < 30) {
664                 $aTerms[] = "address_rank <= ".$iMaxAddressRank;
665             }
666         }
667
668         if ($this->oContext->hasNearPoint()) {
669             $aTerms[] = $this->oContext->withinSQL('centroid');
670             $aOrder[] = $this->oContext->distanceSQL('centroid');
671         } elseif ($this->sPostcode) {
672             if (!sizeof($this->aAddress)) {
673                 $aTerms[] = "EXISTS(SELECT place_id FROM location_postcode p WHERE p.postcode = '".$this->sPostcode."' AND ST_DWithin(search_name.centroid, p.geometry, 0.1))";
674             } else {
675                 $aOrder[] = "(SELECT min(ST_Distance(search_name.centroid, p.geometry)) FROM location_postcode p WHERE p.postcode = '".$this->sPostcode."')";
676             }
677         }
678
679         $sExcludeSQL = $this->oContext->excludeSQL('place_id');
680         if ($sExcludeSQL) {
681             $aTerms[] = $sExcludeSQL;
682         }
683
684         if ($this->oContext->bViewboxBounded) {
685             $aTerms[] = 'centroid && '.$this->oContext->sqlViewboxSmall;
686         }
687
688         if ($this->oContext->hasNearPoint()) {
689             $aOrder[] = $this->oContext->distanceSQL('centroid');
690         }
691
692         if ($this->sHouseNumber) {
693             $sImportanceSQL = '- abs(26 - address_rank) + 3';
694         } else {
695             $sImportanceSQL = '(CASE WHEN importance = 0 OR importance IS NULL THEN 0.75-(search_rank::float/40) ELSE importance END)';
696         }
697         $sImportanceSQL .= $this->oContext->viewboxImportanceSQL('centroid');
698         $aOrder[] = "$sImportanceSQL DESC";
699
700         if (sizeof($this->aFullNameAddress)) {
701             $sExactMatchSQL = ' ( ';
702             $sExactMatchSQL .= ' SELECT count(*) FROM ( ';
703             $sExactMatchSQL .= '  SELECT unnest('.getArraySQL($this->aFullNameAddress).')';
704             $sExactMatchSQL .= '    INTERSECT ';
705             $sExactMatchSQL .= '  SELECT unnest(nameaddress_vector)';
706             $sExactMatchSQL .= ' ) s';
707             $sExactMatchSQL .= ') as exactmatch';
708             $aOrder[] = 'exactmatch DESC';
709         } else {
710             $sExactMatchSQL = '0::int as exactmatch';
711         }
712
713         if ($this->sHouseNumber || $this->sClass) {
714             $iLimit = 20;
715         }
716
717         if (sizeof($aTerms)) {
718             $sSQL = 'SELECT place_id,'.$sExactMatchSQL;
719             $sSQL .= ' FROM search_name';
720             $sSQL .= ' WHERE '.join(' and ', $aTerms);
721             $sSQL .= ' ORDER BY '.join(', ', $aOrder);
722             $sSQL .= ' LIMIT '.$iLimit;
723
724             if (CONST_Debug) var_dump($sSQL);
725
726             return chksql(
727                 $oDB->getAll($sSQL),
728                 "Could not get places for search terms."
729             );
730         }
731
732         return array();
733     }
734
735     private function queryHouseNumber(&$oDB, $aRoadPlaceIDs, $iLimit)
736     {
737         $sPlaceIDs = join(',', $aRoadPlaceIDs);
738
739         $sHouseNumberRegex = '\\\\m'.$this->sHouseNumber.'\\\\M';
740         $sSQL = 'SELECT place_id FROM placex ';
741         $sSQL .= 'WHERE parent_place_id in ('.$sPlaceIDs.')';
742         $sSQL .= "  AND transliteration(housenumber) ~* E'".$sHouseNumberRegex."'";
743         $sSQL .= $this->oContext->excludeSQL(' AND place_id');
744         $sSQL .= " LIMIT $iLimit";
745
746         if (CONST_Debug) var_dump($sSQL);
747
748         $aPlaceIDs = chksql($oDB->getCol($sSQL));
749
750         if (sizeof($aPlaceIDs)) {
751             return array('aPlaceIDs' => $aPlaceIDs, 'iHouseNumber' => -1);
752         }
753
754         $bIsIntHouseNumber= (bool) preg_match('/[0-9]+/', $this->sHouseNumber);
755         $iHousenumber = intval($this->sHouseNumber);
756         if ($bIsIntHouseNumber) {
757             // if nothing found, search in the interpolation line table
758             $sSQL = 'SELECT distinct place_id FROM location_property_osmline';
759             $sSQL .= ' WHERE startnumber is not NULL';
760             $sSQL .= '  AND parent_place_id in ('.$sPlaceIDs.') AND (';
761             if ($iHousenumber % 2 == 0) {
762                 // If housenumber is even, look for housenumber in streets
763                 // with interpolationtype even or all.
764                 $sSQL .= "interpolationtype='even'";
765             } else {
766                 // Else look for housenumber with interpolationtype odd or all.
767                 $sSQL .= "interpolationtype='odd'";
768             }
769             $sSQL .= " or interpolationtype='all') and ";
770             $sSQL .= $iHousenumber.">=startnumber and ";
771             $sSQL .= $iHousenumber."<=endnumber";
772             $sSQL .= $this->oContext->excludeSQL(' AND place_id');
773             $sSQL .= " limit $iLimit";
774
775             if (CONST_Debug) var_dump($sSQL);
776
777             $aPlaceIDs = chksql($oDB->getCol($sSQL, 0));
778
779             if (sizeof($aPlaceIDs)) {
780                 return array('aPlaceIDs' => $aPlaceIDs, 'iHouseNumber' => $iHousenumber);
781             }
782         }
783
784         // If nothing found try the aux fallback table
785         if (CONST_Use_Aux_Location_data) {
786             $sSQL = 'SELECT place_id FROM location_property_aux';
787             $sSQL .= ' WHERE parent_place_id in ('.$sPlaceIDs.')';
788             $sSQL .= " AND housenumber = '".$this->sHouseNumber."'";
789             $sSQL .= $this->oContext->excludeSQL(' AND place_id');
790             $sSQL .= " limit $iLimit";
791
792             if (CONST_Debug) var_dump($sSQL);
793
794             $aPlaceIDs = chksql($oDB->getCol($sSQL));
795
796             if (sizeof($aPlaceIDs)) {
797                 return array('aPlaceIDs' => $aPlaceIDs, 'iHouseNumber' => -1);
798             }
799         }
800
801         // If nothing found then search in Tiger data (location_property_tiger)
802         if (CONST_Use_US_Tiger_Data && $bIsIntHouseNumber) {
803             $sSQL = 'SELECT distinct place_id FROM location_property_tiger';
804             $sSQL .= ' WHERE parent_place_id in ('.$sPlaceIDs.') and (';
805             if ($iHousenumber % 2 == 0) {
806                 $sSQL .= "interpolationtype='even'";
807             } else {
808                 $sSQL .= "interpolationtype='odd'";
809             }
810             $sSQL .= " or interpolationtype='all') and ";
811             $sSQL .= $iHousenumber.">=startnumber and ";
812             $sSQL .= $iHousenumber."<=endnumber";
813             $sSQL .= $this->oContext->excludeSQL(' AND place_id');
814             $sSQL .= " limit $iLimit";
815
816             if (CONST_Debug) var_dump($sSQL);
817
818             $aPlaceIDs = chksql($oDB->getCol($sSQL, 0));
819
820             if (sizeof($aPlaceIDs)) {
821                 return array('aPlaceIDs' => $aPlaceIDs, 'iHouseNumber' => $iHousenumber);
822             }
823         }
824
825         return array();
826     }
827
828
829     private function queryPoiByOperator(&$oDB, $aParentIDs, $iLimit)
830     {
831         $sPlaceIDs = join(',', $aParentIDs);
832         $aClassPlaceIDs = array();
833
834         if ($this->iOperator == Operator::TYPE || $this->iOperator == Operator::NAME) {
835             // If they were searching for a named class (i.e. 'Kings Head pub')
836             // then we might have an extra match
837             $sSQL = 'SELECT place_id FROM placex ';
838             $sSQL .= " WHERE place_id in ($sPlaceIDs)";
839             $sSQL .= "   AND class='".$this->sClass."' ";
840             $sSQL .= "   AND type='".$this->sType."'";
841             $sSQL .= "   AND linked_place_id is null";
842             $sSQL .= $this->oContext->excludeSQL(' AND place_id');
843             $sSQL .= " ORDER BY rank_search ASC ";
844             $sSQL .= " LIMIT $iLimit";
845
846             if (CONST_Debug) var_dump($sSQL);
847
848             $aClassPlaceIDs = chksql($oDB->getCol($sSQL));
849         }
850
851         // NEAR and IN are handled the same
852         if ($this->iOperator == Operator::TYPE || $this->iOperator == Operator::NEAR) {
853             $sClassTable = $this->poiTable();
854             $sSQL = "SELECT count(*) FROM pg_tables WHERE tablename = '$sClassTable'";
855             $bCacheTable = (bool) chksql($oDB->getOne($sSQL));
856
857             $sSQL = "SELECT min(rank_search) FROM placex WHERE place_id in ($sPlaceIDs)";
858             if (CONST_Debug) var_dump($sSQL);
859             $iMaxRank = (int)chksql($oDB->getOne($sSQL));
860
861             // For state / country level searches the normal radius search doesn't work very well
862             $sPlaceGeom = false;
863             if ($iMaxRank < 9 && $bCacheTable) {
864                 // Try and get a polygon to search in instead
865                 $sSQL = 'SELECT geometry FROM placex';
866                 $sSQL .= " WHERE place_id in ($sPlaceIDs)";
867                 $sSQL .= "   AND rank_search < $iMaxRank + 5";
868                 $sSQL .= "   AND ST_GeometryType(geometry) in ('ST_Polygon','ST_MultiPolygon')";
869                 $sSQL .= " ORDER BY rank_search ASC ";
870                 $sSQL .= " LIMIT 1";
871                 if (CONST_Debug) var_dump($sSQL);
872                 $sPlaceGeom = chksql($oDB->getOne($sSQL));
873             }
874
875             if ($sPlaceGeom) {
876                 $sPlaceIDs = false;
877             } else {
878                 $iMaxRank += 5;
879                 $sSQL = 'SELECT place_id FROM placex';
880                 $sSQL .= " WHERE place_id in ($sPlaceIDs) and rank_search < $iMaxRank";
881                 if (CONST_Debug) var_dump($sSQL);
882                 $aPlaceIDs = chksql($oDB->getCol($sSQL));
883                 $sPlaceIDs = join(',', $aPlaceIDs);
884             }
885
886             if ($sPlaceIDs || $sPlaceGeom) {
887                 $fRange = 0.01;
888                 if ($bCacheTable) {
889                     // More efficient - can make the range bigger
890                     $fRange = 0.05;
891
892                     $sOrderBySQL = '';
893                     if ($this->oContext->hasNearPoint()) {
894                         $sOrderBySQL = $this->oContext->distanceSQL('l.centroid');
895                     } elseif ($sPlaceIDs) {
896                         $sOrderBySQL = "ST_Distance(l.centroid, f.geometry)";
897                     } elseif ($sPlaceGeom) {
898                         $sOrderBySQL = "ST_Distance(st_centroid('".$sPlaceGeom."'), l.centroid)";
899                     }
900
901                     $sSQL = 'SELECT distinct i.place_id';
902                     if ($sOrderBySQL) {
903                         $sSQL .= ', i.order_term';
904                     }
905                     $sSQL .= ' from (SELECT l.place_id';
906                     if ($sOrderBySQL) {
907                         $sSQL .= ','.$sOrderBySQL.' as order_term';
908                     }
909                     $sSQL .= ' from '.$sClassTable.' as l';
910
911                     if ($sPlaceIDs) {
912                         $sSQL .= ",placex as f WHERE ";
913                         $sSQL .= "f.place_id in ($sPlaceIDs) ";
914                         $sSQL .= " AND ST_DWithin(l.centroid, f.centroid, $fRange)";
915                     } elseif ($sPlaceGeom) {
916                         $sSQL .= " WHERE ST_Contains('$sPlaceGeom', l.centroid)";
917                     }
918
919                     $sSQL .= $this->oContext->excludeSQL(' AND l.place_id');
920                     $sSQL .= 'limit 300) i ';
921                     if ($sOrderBySQL) {
922                         $sSQL .= 'order by order_term asc';
923                     }
924                     $sSQL .= " limit $iLimit";
925
926                     if (CONST_Debug) var_dump($sSQL);
927
928                     $aClassPlaceIDs = array_merge($aClassPlaceIDs, chksql($oDB->getCol($sSQL)));
929                 } else {
930                     if ($this->oContext->hasNearPoint()) {
931                         $fRange = $this->oContext->nearRadius();
932                     }
933
934                     $sOrderBySQL = '';
935                     if ($this->oContext->hasNearPoint()) {
936                         $sOrderBySQL = $this->oContext->distanceSQL('l.geometry');
937                     } else {
938                         $sOrderBySQL = "ST_Distance(l.geometry, f.geometry)";
939                     }
940
941                     $sSQL = 'SELECT distinct l.place_id';
942                     if ($sOrderBySQL) {
943                         $sSQL .= ','.$sOrderBySQL.' as orderterm';
944                     }
945                     $sSQL .= ' FROM placex as l, placex as f';
946                     $sSQL .= " WHERE f.place_id in ($sPlaceIDs)";
947                     $sSQL .= "  AND ST_DWithin(l.geometry, f.centroid, $fRange)";
948                     $sSQL .= "  AND l.class='".$this->sClass."'";
949                     $sSQL .= "  AND l.type='".$this->sType."'";
950                     $sSQL .= $this->oContext->excludeSQL(' AND l.place_id');
951                     if ($sOrderBySQL) {
952                         $sSQL .= "ORDER BY orderterm ASC";
953                     }
954                     $sSQL .= " limit $iLimit";
955
956                     if (CONST_Debug) var_dump($sSQL);
957
958                     $aClassPlaceIDs = array_merge($aClassPlaceIDs, chksql($oDB->getCol($sSQL)));
959                 }
960             }
961         }
962
963         return $aClassPlaceIDs;
964     }
965
966     private function poiTable()
967     {
968         return 'place_classtype_'.$this->sClass.'_'.$this->sType;
969     }
970
971     private function countryCodeSQL($sVar)
972     {
973         if ($this->sCountryCode) {
974             return $sVar.' = \''.$this->sCountryCode."'";
975         }
976         if ($this->oContext->sqlCountryList) {
977             return $sVar.' in '.$this->oContext->sqlCountryList;
978         }
979
980         return '';
981     }
982
983     /////////// Sort functions
984
985
986     public static function bySearchRank($a, $b)
987     {
988         if ($a->iSearchRank == $b->iSearchRank) {
989             return $a->iOperator + strlen($a->sHouseNumber)
990                      - $b->iOperator - strlen($b->sHouseNumber);
991         }
992
993         return $a->iSearchRank < $b->iSearchRank ? -1 : 1;
994     }
995
996     //////////// Debugging functions
997
998
999     public function dumpAsHtmlTableRow(&$aWordIDs)
1000     {
1001         $kf = function ($k) use (&$aWordIDs) {
1002             return $aWordIDs[$k];
1003         };
1004
1005         echo "<tr>";
1006         echo "<td>$this->iSearchRank</td>";
1007         echo "<td>".join(', ', array_map($kf, $this->aName))."</td>";
1008         echo "<td>".join(', ', array_map($kf, $this->aNameNonSearch))."</td>";
1009         echo "<td>".join(', ', array_map($kf, $this->aAddress))."</td>";
1010         echo "<td>".join(', ', array_map($kf, $this->aAddressNonSearch))."</td>";
1011         echo "<td>".$this->sCountryCode."</td>";
1012         echo "<td>".Operator::toString($this->iOperator)."</td>";
1013         echo "<td>".$this->sClass."</td>";
1014         echo "<td>".$this->sType."</td>";
1015         echo "<td>".$this->sPostcode."</td>";
1016         echo "<td>".$this->sHouseNumber."</td>";
1017
1018         echo "</tr>";
1019     }
1020 }