]> git.openstreetmap.org Git - nominatim.git/blob - lib-php/SearchDescription.php
fix regression with lat/lon in json output
[nominatim.git] / lib-php / SearchDescription.php
1 <?php
2 /**
3  * SPDX-License-Identifier: GPL-2.0-only
4  *
5  * This file is part of Nominatim. (https://nominatim.org)
6  *
7  * Copyright (C) 2022 by the Nominatim developer community.
8  * For a full list of authors see the git log.
9  */
10
11 namespace Nominatim;
12
13 require_once(CONST_LibDir.'/SpecialSearchOperator.php');
14 require_once(CONST_LibDir.'/SearchContext.php');
15 require_once(CONST_LibDir.'/Result.php');
16
17 /**
18  * Description of a single interpretation of a search query.
19  */
20 class SearchDescription
21 {
22     /// Ranking how well the description fits the query.
23     private $iSearchRank = 0;
24     /// Country code of country the result must belong to.
25     private $sCountryCode = '';
26     /// List of word ids making up the name of the object.
27     private $aName = array();
28     /// True if the name is rare enough to force index use on name.
29     private $bRareName = false;
30     /// True if the name requires to be accompanied by address terms.
31     private $bNameNeedsAddress = false;
32     /// List of word ids making up the address of the object.
33     private $aAddress = array();
34     /// List of word ids that appear in the name but should be ignored.
35     private $aNameNonSearch = array();
36     /// List of word ids that appear in the address but should be ignored.
37     private $aAddressNonSearch = array();
38     /// Kind of search for special searches, see Nominatim::Operator.
39     private $iOperator = Operator::NONE;
40     /// Class of special feature to search for.
41     private $sClass = '';
42     /// Type of special feature to search for.
43     private $sType = '';
44     /// Housenumber of the object.
45     private $sHouseNumber = '';
46     /// Postcode for the object.
47     private $sPostcode = '';
48     /// Global search constraints.
49     private $oContext;
50
51     // Temporary values used while creating the search description.
52
53     /// Index of phrase currently processed.
54     private $iNamePhrase = -1;
55
56     /**
57      * Create an empty search description.
58      *
59      * @param object $oContext Global context to use. Will be inherited by
60      *                         all derived search objects.
61      */
62     public function __construct($oContext)
63     {
64         $this->oContext = $oContext;
65     }
66
67     /**
68      * Get current search rank.
69      *
70      * The higher the search rank the lower the likelihood that the
71      * search is a correct interpretation of the search query.
72      *
73      * @return integer Search rank.
74      */
75     public function getRank()
76     {
77         return $this->iSearchRank;
78     }
79
80     /**
81      * Extract key/value pairs from a query.
82      *
83      * Key/value pairs are recognised if they are of the form [<key>=<value>].
84      * If multiple terms of this kind are found then all terms are removed
85      * but only the first is used for search.
86      *
87      * @param string $sQuery Original query string.
88      *
89      * @return string The query string with the special search patterns removed.
90      */
91     public function extractKeyValuePairs($sQuery)
92     {
93         // Search for terms of kind [<key>=<value>].
94         preg_match_all(
95             '/\\[([\\w_]*)=([\\w_]*)\\]/',
96             $sQuery,
97             $aSpecialTermsRaw,
98             PREG_SET_ORDER
99         );
100
101         foreach ($aSpecialTermsRaw as $aTerm) {
102             $sQuery = str_replace($aTerm[0], ' ', $sQuery);
103             if (!$this->hasOperator()) {
104                 $this->setPoiSearch(Operator::TYPE, $aTerm[1], $aTerm[2]);
105             }
106         }
107
108         return $sQuery;
109     }
110
111     /**
112      * Check if the combination of parameters is sensible.
113      *
114      * @return bool True, if the search looks valid.
115      */
116     public function isValidSearch()
117     {
118         if (empty($this->aName)) {
119             if ($this->sHouseNumber) {
120                 return false;
121             }
122             if (!$this->sClass && !$this->sCountryCode) {
123                 return false;
124             }
125         }
126         if ($this->bNameNeedsAddress && empty($this->aAddress)) {
127             return false;
128         }
129
130         return true;
131     }
132
133     /////////// Search building functions
134
135     /**
136      * Create a copy of this search description adding to search rank.
137      *
138      * @param integer $iTermCost  Cost to add to the current search rank.
139      *
140      * @return object Cloned search description.
141      */
142     public function clone($iTermCost)
143     {
144         $oSearch = clone $this;
145         $oSearch->iSearchRank += $iTermCost;
146
147         return $oSearch;
148     }
149
150     /**
151      * Check if the search currently includes a name.
152      *
153      * @param bool bIncludeNonNames  If true stop-word tokens are taken into
154      *                               account, too.
155      *
156      * @return bool True, if search has a name.
157      */
158     public function hasName($bIncludeNonNames = false)
159     {
160         return !empty($this->aName)
161                || (!empty($this->aNameNonSearch) && $bIncludeNonNames);
162     }
163
164     /**
165      * Check if the search currently includes an address term.
166      *
167      * @return bool True, if any address term is included, including stop-word
168      *              terms.
169      */
170     public function hasAddress()
171     {
172         return !empty($this->aAddress) || !empty($this->aAddressNonSearch);
173     }
174
175     /**
176      * Check if a country restriction is currently included in the search.
177      *
178      * @return bool True, if a country restriction is set.
179      */
180     public function hasCountry()
181     {
182         return $this->sCountryCode !== '';
183     }
184
185     /**
186      * Check if a postcode is currently included in the search.
187      *
188      * @return bool True, if a postcode is set.
189      */
190     public function hasPostcode()
191     {
192         return $this->sPostcode !== '';
193     }
194
195     /**
196      * Check if a house number is set for the search.
197      *
198      * @return bool True, if a house number is set.
199      */
200     public function hasHousenumber()
201     {
202         return $this->sHouseNumber !== '';
203     }
204
205     /**
206      * Check if a special type of place is requested.
207      *
208      * param integer iOperator  When set, check for the particular
209      *                          operator used for the special type.
210      *
211      * @return bool True, if speial type is requested or, if requested,
212      *              a special type with the given operator.
213      */
214     public function hasOperator($iOperator = null)
215     {
216         return $iOperator === null ? $this->iOperator != Operator::NONE : $this->iOperator == $iOperator;
217     }
218
219     /**
220      * Add the given token to the list of terms to search for in the address.
221      *
222      * @param integer iID       ID of term to add.
223      * @param bool bSearchable  Term should be used to search for result
224      *                          (i.e. term is not a stop word).
225      */
226     public function addAddressToken($iId, $bSearchable = true)
227     {
228         if ($bSearchable) {
229             $this->aAddress[$iId] = $iId;
230         } else {
231             $this->aAddressNonSearch[$iId] = $iId;
232         }
233     }
234
235     /**
236      * Add the given full-word token to the list of terms to search for in the
237      * name.
238      *
239      * @param integer iId    ID of term to add.
240      * @param bool bRareName  True if the term is infrequent enough to not
241      *                        require other constraints for efficient search.
242      */
243     public function addNameToken($iId, $bRareName)
244     {
245         $this->aName[$iId] = $iId;
246         $this->bRareName = $bRareName;
247         $this->bNameNeedsAddress = false;
248     }
249
250     /**
251      * Add the given partial token to the list of terms to search for in
252      * the name.
253      *
254      * @param integer iID            ID of term to add.
255      * @param bool bSearchable       Term should be used to search for result
256      *                               (i.e. term is not a stop word).
257      * @param bool bNeedsAddress     True if the term is too unspecific to be used
258      *                               in a stand-alone search without an address
259      *                               to narrow down the search.
260      * @param integer iPhraseNumber  Index of phrase, where the partial term
261      *                               appears.
262      */
263     public function addPartialNameToken($iId, $bSearchable, $bNeedsAddress, $iPhraseNumber)
264     {
265         if (empty($this->aName)) {
266             $this->bNameNeedsAddress = $bNeedsAddress;
267         } elseif ($bSearchable && count($this->aName) >= 2) {
268             $this->bNameNeedsAddress = false;
269         } else {
270             $this->bNameNeedsAddress &= $bNeedsAddress;
271         }
272         if ($bSearchable) {
273             $this->aName[$iId] = $iId;
274         } else {
275             $this->aNameNonSearch[$iId] = $iId;
276         }
277         $this->iNamePhrase = $iPhraseNumber;
278     }
279
280     /**
281      * Set country restriction for the search.
282      *
283      * @param string sCountryCode  Country code of country to restrict search to.
284      */
285     public function setCountry($sCountryCode)
286     {
287         $this->sCountryCode = $sCountryCode;
288         $this->iNamePhrase = -1;
289     }
290
291     /**
292      * Set postcode search constraint.
293      *
294      * @param string sPostcode  Postcode the result should have.
295      */
296     public function setPostcode($sPostcode)
297     {
298         $this->sPostcode = $sPostcode;
299         $this->iNamePhrase = -1;
300     }
301
302     /**
303      * Make this search a search for a postcode object.
304      *
305      * @param integer iId       Token Id for the postcode.
306      * @param string sPostcode  Postcode to look for.
307      */
308     public function setPostcodeAsName($iId, $sPostcode)
309     {
310         $this->iOperator = Operator::POSTCODE;
311         $this->aAddress = array_merge($this->aAddress, $this->aName);
312         $this->aName = array($iId => $sPostcode);
313         $this->bRareName = true;
314         $this->iNamePhrase = -1;
315     }
316
317     /**
318      * Set house number search cnstraint.
319      *
320      * @param string sNumber  House number the result should have.
321      */
322     public function setHousenumber($sNumber)
323     {
324         $this->sHouseNumber = $sNumber;
325         $this->iNamePhrase = -1;
326     }
327
328     /**
329      * Make this search a search for a house number.
330      *
331      * @param integer iId  Token Id for the house number.
332      */
333     public function setHousenumberAsName($iId)
334     {
335         $this->aAddress = array_merge($this->aAddress, $this->aName);
336         $this->bRareName = false;
337         $this->bNameNeedsAddress = true;
338         $this->aName = array($iId => $iId);
339         $this->iNamePhrase = -1;
340     }
341
342     /**
343      * Make this search a POI search.
344      *
345      * In a POI search, objects are not (only) searched by their name
346      * but also by the primary OSM key/value pair (class and type in Nominatim).
347      *
348      * @param integer $iOperator Type of POI search
349      * @param string  $sClass    Class (or OSM tag key) of POI.
350      * @param string  $sType     Type (or OSM tag value) of POI.
351      *
352      * @return void
353      */
354     public function setPoiSearch($iOperator, $sClass, $sType)
355     {
356         $this->iOperator = $iOperator;
357         $this->sClass = $sClass;
358         $this->sType = $sType;
359         $this->iNamePhrase = -1;
360     }
361
362     public function getNamePhrase()
363     {
364         return $this->iNamePhrase;
365     }
366
367     /**
368      * Get the global search context.
369      *
370      * @return object  Objects of global search constraints.
371      */
372     public function getContext()
373     {
374         return $this->oContext;
375     }
376
377     /////////// Query functions
378
379
380     /**
381      * Query database for places that match this search.
382      *
383      * @param object  $oDB      Nominatim::DB instance to use.
384      * @param integer $iMinRank Minimum address rank to restrict search to.
385      * @param integer $iMaxRank Maximum address rank to restrict search to.
386      * @param integer $iLimit   Maximum number of results.
387      *
388      * @return mixed[] An array with two fields: IDs contains the list of
389      *                 matching place IDs and houseNumber the houseNumber
390      *                 if applicable or -1 if not.
391      */
392     public function query(&$oDB, $iMinRank, $iMaxRank, $iLimit)
393     {
394         $aResults = array();
395
396         if ($this->sCountryCode
397             && empty($this->aName)
398             && !$this->iOperator
399             && !$this->sClass
400             && !$this->oContext->hasNearPoint()
401         ) {
402             // Just looking for a country - look it up
403             if (4 >= $iMinRank && 4 <= $iMaxRank) {
404                 $aResults = $this->queryCountry($oDB);
405             }
406         } elseif (empty($this->aName) && empty($this->aAddress)) {
407             // Neither name nor address? Then we must be
408             // looking for a POI in a geographic area.
409             if ($this->oContext->isBoundedSearch()) {
410                 $aResults = $this->queryNearbyPoi($oDB, $iLimit);
411             }
412         } elseif ($this->iOperator == Operator::POSTCODE) {
413             // looking for postcode
414             $aResults = $this->queryPostcode($oDB, $iLimit);
415         } else {
416             // Ordinary search:
417             // First search for places according to name and address.
418             $aResults = $this->queryNamedPlace(
419                 $oDB,
420                 $iMinRank,
421                 $iMaxRank,
422                 $iLimit
423             );
424
425             // finally get POIs if requested
426             if ($this->sClass && !empty($aResults)) {
427                 $aResults = $this->queryPoiByOperator($oDB, $aResults, $iLimit);
428             }
429         }
430
431         Debug::printDebugTable('Place IDs', $aResults);
432
433         if (!empty($aResults) && $this->sPostcode) {
434             $sPlaceIds = Result::joinIdsByTable($aResults, Result::TABLE_PLACEX);
435             if ($sPlaceIds) {
436                 $sSQL = 'SELECT place_id FROM placex';
437                 $sSQL .= ' WHERE place_id in ('.$sPlaceIds.')';
438                 $sSQL .= " AND postcode != '".$this->sPostcode."'";
439                 Debug::printSQL($sSQL);
440                 $aFilteredPlaceIDs = $oDB->getCol($sSQL);
441                 if ($aFilteredPlaceIDs) {
442                     foreach ($aFilteredPlaceIDs as $iPlaceId) {
443                         $aResults[$iPlaceId]->iResultRank++;
444                     }
445                 }
446             }
447         }
448
449         return $aResults;
450     }
451
452
453     private function queryCountry(&$oDB)
454     {
455         $sSQL = 'SELECT place_id FROM placex ';
456         $sSQL .= "WHERE country_code='".$this->sCountryCode."'";
457         $sSQL .= ' AND rank_search = 4';
458         if ($this->oContext->bViewboxBounded) {
459             $sSQL .= ' AND ST_Intersects('.$this->oContext->sqlViewboxSmall.', geometry)';
460         }
461         $sSQL .= ' ORDER BY st_area(geometry) DESC LIMIT 1';
462
463         Debug::printSQL($sSQL);
464
465         $iPlaceId = $oDB->getOne($sSQL);
466
467         $aResults = array();
468         if ($iPlaceId) {
469             $aResults[$iPlaceId] = new Result($iPlaceId);
470         }
471
472         return $aResults;
473     }
474
475     private function queryNearbyPoi(&$oDB, $iLimit)
476     {
477         if (!$this->sClass) {
478             return array();
479         }
480
481         $aDBResults = array();
482         $sPoiTable = $this->poiTable();
483
484         if ($oDB->tableExists($sPoiTable)) {
485             $sSQL = 'SELECT place_id FROM '.$sPoiTable.' ct';
486             if ($this->oContext->sqlCountryList) {
487                 $sSQL .= ' JOIN placex USING (place_id)';
488             }
489             if ($this->oContext->hasNearPoint()) {
490                 $sSQL .= ' WHERE '.$this->oContext->withinSQL('ct.centroid');
491             } elseif ($this->oContext->bViewboxBounded) {
492                 $sSQL .= ' WHERE ST_Contains('.$this->oContext->sqlViewboxSmall.', ct.centroid)';
493             }
494             if ($this->oContext->sqlCountryList) {
495                 $sSQL .= ' AND country_code in '.$this->oContext->sqlCountryList;
496             }
497             $sSQL .= $this->oContext->excludeSQL(' AND place_id');
498             if ($this->oContext->sqlViewboxCentre) {
499                 $sSQL .= ' ORDER BY ST_Distance(';
500                 $sSQL .= $this->oContext->sqlViewboxCentre.', ct.centroid) ASC';
501             } elseif ($this->oContext->hasNearPoint()) {
502                 $sSQL .= ' ORDER BY '.$this->oContext->distanceSQL('ct.centroid').' ASC';
503             }
504             $sSQL .= " LIMIT $iLimit";
505             Debug::printSQL($sSQL);
506             $aDBResults = $oDB->getCol($sSQL);
507         }
508
509         if ($this->oContext->hasNearPoint()) {
510             $sSQL = 'SELECT place_id FROM placex WHERE ';
511             $sSQL .= 'class = :class and type = :type';
512             $sSQL .= ' AND '.$this->oContext->withinSQL('geometry');
513             $sSQL .= ' AND linked_place_id is null';
514             if ($this->oContext->sqlCountryList) {
515                 $sSQL .= ' AND country_code in '.$this->oContext->sqlCountryList;
516             }
517             $sSQL .= ' ORDER BY '.$this->oContext->distanceSQL('centroid').' ASC';
518             $sSQL .= " LIMIT $iLimit";
519             Debug::printSQL($sSQL);
520             $aDBResults = $oDB->getCol(
521                 $sSQL,
522                 array(':class' => $this->sClass, ':type' => $this->sType)
523             );
524         }
525
526         $aResults = array();
527         foreach ($aDBResults as $iPlaceId) {
528             $aResults[$iPlaceId] = new Result($iPlaceId);
529         }
530
531         return $aResults;
532     }
533
534     private function queryPostcode(&$oDB, $iLimit)
535     {
536         $sSQL = 'SELECT p.place_id FROM location_postcode p ';
537
538         if (!empty($this->aAddress)) {
539             $sSQL .= ', search_name s ';
540             $sSQL .= 'WHERE s.place_id = p.parent_place_id ';
541             $sSQL .= 'AND array_cat(s.nameaddress_vector, s.name_vector)';
542             $sSQL .= '      @> '.$oDB->getArraySQL($this->aAddress).' AND ';
543         } else {
544             $sSQL .= 'WHERE ';
545         }
546
547         $sSQL .= "p.postcode = '".reset($this->aName)."'";
548         $sSQL .= $this->countryCodeSQL(' AND p.country_code');
549         if ($this->oContext->bViewboxBounded) {
550             $sSQL .= ' AND ST_Intersects('.$this->oContext->sqlViewboxSmall.', geometry)';
551         }
552         $sSQL .= $this->oContext->excludeSQL(' AND p.place_id');
553         $sSQL .= " LIMIT $iLimit";
554
555         Debug::printSQL($sSQL);
556
557         $aResults = array();
558         foreach ($oDB->getCol($sSQL) as $iPlaceId) {
559             $aResults[$iPlaceId] = new Result($iPlaceId, Result::TABLE_POSTCODE);
560         }
561
562         return $aResults;
563     }
564
565     private function queryNamedPlace(&$oDB, $iMinAddressRank, $iMaxAddressRank, $iLimit)
566     {
567         $aTerms = array();
568         $aOrder = array();
569
570         if (!empty($this->aName)) {
571             $aTerms[] = 'name_vector @> '.$oDB->getArraySQL($this->aName);
572         }
573         if (!empty($this->aAddress)) {
574             // For infrequent name terms disable index usage for address
575             if ($this->bRareName) {
576                 $aTerms[] = 'array_cat(nameaddress_vector,ARRAY[]::integer[]) @> '.$oDB->getArraySQL($this->aAddress);
577             } else {
578                 $aTerms[] = 'nameaddress_vector @> '.$oDB->getArraySQL($this->aAddress);
579             }
580         }
581
582         $sCountryTerm = $this->countryCodeSQL('country_code');
583         if ($sCountryTerm) {
584             $aTerms[] = $sCountryTerm;
585         }
586
587         if ($this->sHouseNumber) {
588             $aTerms[] = 'address_rank between 16 and 30';
589         } elseif (!$this->sClass || $this->iOperator == Operator::NAME) {
590             if ($iMinAddressRank > 0) {
591                 $aTerms[] = "((address_rank between $iMinAddressRank and $iMaxAddressRank) or (search_rank between $iMinAddressRank and $iMaxAddressRank))";
592             }
593         }
594
595         if ($this->oContext->hasNearPoint()) {
596             $aTerms[] = $this->oContext->withinSQL('centroid');
597             $aOrder[] = $this->oContext->distanceSQL('centroid');
598         } elseif ($this->sPostcode) {
599             if (empty($this->aAddress)) {
600                 $aTerms[] = "EXISTS(SELECT place_id FROM location_postcode p WHERE p.postcode = '".$this->sPostcode."' AND ST_DWithin(search_name.centroid, p.geometry, 0.12))";
601             } else {
602                 $aOrder[] = "(SELECT min(ST_Distance(search_name.centroid, p.geometry)) FROM location_postcode p WHERE p.postcode = '".$this->sPostcode."')";
603             }
604         }
605
606         $sExcludeSQL = $this->oContext->excludeSQL('place_id');
607         if ($sExcludeSQL) {
608             $aTerms[] = $sExcludeSQL;
609         }
610
611         if ($this->oContext->bViewboxBounded) {
612             $aTerms[] = 'centroid && '.$this->oContext->sqlViewboxSmall;
613         }
614
615         if ($this->sHouseNumber) {
616             $sImportanceSQL = '- abs(26 - address_rank) + 3';
617         } else {
618             $sImportanceSQL = '(CASE WHEN importance = 0 OR importance IS NULL THEN 0.75001-(search_rank::float/40) ELSE importance END)';
619         }
620         $sImportanceSQL .= $this->oContext->viewboxImportanceSQL('centroid');
621         $aOrder[] = "$sImportanceSQL DESC";
622
623         $aFullNameAddress = $this->oContext->getFullNameTerms();
624         if (!empty($aFullNameAddress)) {
625             $sExactMatchSQL = ' ( ';
626             $sExactMatchSQL .= ' SELECT count(*) FROM ( ';
627             $sExactMatchSQL .= '  SELECT unnest('.$oDB->getArraySQL($aFullNameAddress).')';
628             $sExactMatchSQL .= '    INTERSECT ';
629             $sExactMatchSQL .= '  SELECT unnest(nameaddress_vector)';
630             $sExactMatchSQL .= ' ) s';
631             $sExactMatchSQL .= ') as exactmatch';
632             $aOrder[] = 'exactmatch DESC';
633         } else {
634             $sExactMatchSQL = '0::int as exactmatch';
635         }
636
637         if (empty($aTerms)) {
638             return array();
639         }
640
641         if ($this->hasHousenumber()) {
642             $sHouseNumberRegex = $oDB->getDBQuoted('\\\\m'.$this->sHouseNumber.'\\\\M');
643
644             // Housenumbers on streets and places.
645             $sPlacexSql = 'SELECT array_agg(place_id) FROM placex';
646             $sPlacexSql .= ' WHERE parent_place_id = sin.place_id AND sin.address_rank < 30';
647             $sPlacexSql .= $this->oContext->excludeSQL(' AND place_id');
648             $sPlacexSql .= '       and housenumber ~* E'.$sHouseNumberRegex;
649
650             // Interpolations on streets and places.
651             $sInterpolSql = 'null';
652             $sTigerSql = 'null';
653             if (preg_match('/^[0-9]+$/', $this->sHouseNumber)) {
654                 $sIpolHnr = 'WHERE parent_place_id = sin.place_id ';
655                 $sIpolHnr .= '  AND startnumber is not NULL AND sin.address_rank < 30';
656                 $sIpolHnr .= '  AND '.$this->sHouseNumber.' between startnumber and endnumber';
657                 $sIpolHnr .= '  AND ('.$this->sHouseNumber.' - startnumber) % step = 0';
658
659                 $sInterpolSql = 'SELECT array_agg(place_id) FROM location_property_osmline '.$sIpolHnr;
660                 if (CONST_Use_US_Tiger_Data) {
661                     $sTigerSql = 'SELECT array_agg(place_id) FROM location_property_tiger '.$sIpolHnr;
662                     $sTigerSql .= "      and sin.country_code = 'us'";
663                 }
664             }
665
666             if ($this->sClass) {
667                 $iLimit = 40;
668             }
669
670             $sSelfHnr = 'SELECT * FROM placex WHERE place_id = search_name.place_id';
671             $sSelfHnr .= '    AND housenumber ~* E'.$sHouseNumberRegex;
672
673             $aTerms[] = '(address_rank < 30 or exists('.$sSelfHnr.'))';
674
675
676             $sSQL = 'SELECT sin.*, ';
677             $sSQL .=        '('.$sPlacexSql.') as placex_hnr, ';
678             $sSQL .=        '('.$sInterpolSql.') as interpol_hnr, ';
679             $sSQL .=        '('.$sTigerSql.') as tiger_hnr ';
680             $sSQL .= ' FROM (';
681             $sSQL .= '    SELECT place_id, address_rank, country_code,'.$sExactMatchSQL.',';
682             $sSQL .= '            CASE WHEN importance = 0 OR importance IS NULL';
683             $sSQL .= '               THEN 0.75001-(search_rank::float/40) ELSE importance END as importance';
684             $sSQL .= '     FROM search_name';
685             $sSQL .= '     WHERE '.join(' and ', $aTerms);
686             $sSQL .= '     ORDER BY '.join(', ', $aOrder);
687             $sSQL .= '     LIMIT 40000';
688             $sSQL .= ') as sin';
689             $sSQL .= ' ORDER BY address_rank = 30 desc, placex_hnr, interpol_hnr, tiger_hnr,';
690             $sSQL .= '          importance';
691             $sSQL .= ' LIMIT '.$iLimit;
692         } else {
693             if ($this->sClass) {
694                 $iLimit = 40;
695             }
696
697             $sSQL = 'SELECT place_id, address_rank, '.$sExactMatchSQL;
698             $sSQL .= ' FROM search_name';
699             $sSQL .= ' WHERE '.join(' and ', $aTerms);
700             $sSQL .= ' ORDER BY '.join(', ', $aOrder);
701             $sSQL .= ' LIMIT '.$iLimit;
702         }
703
704         Debug::printSQL($sSQL);
705
706         $aDBResults = $oDB->getAll($sSQL, null, 'Could not get places for search terms.');
707
708         $aResults = array();
709
710         foreach ($aDBResults as $aResult) {
711             $oResult = new Result($aResult['place_id']);
712             $oResult->iExactMatches = $aResult['exactmatch'];
713             $oResult->iAddressRank = $aResult['address_rank'];
714
715             $bNeedResult = true;
716             if ($this->hasHousenumber() && $aResult['address_rank'] < 30) {
717                 if ($aResult['placex_hnr']) {
718                     foreach (explode(',', substr($aResult['placex_hnr'], 1, -1)) as $sPlaceID) {
719                         $iPlaceID = intval($sPlaceID);
720                         $oHnrResult = new Result($iPlaceID);
721                         $oHnrResult->iExactMatches = $aResult['exactmatch'];
722                         $oHnrResult->iAddressRank = 30;
723                         $aResults[$iPlaceID] = $oHnrResult;
724                         $bNeedResult = false;
725                     }
726                 }
727                 if ($aResult['interpol_hnr']) {
728                     foreach (explode(',', substr($aResult['interpol_hnr'], 1, -1)) as $sPlaceID) {
729                         $iPlaceID = intval($sPlaceID);
730                         $oHnrResult = new Result($iPlaceID, Result::TABLE_OSMLINE);
731                         $oHnrResult->iExactMatches = $aResult['exactmatch'];
732                         $oHnrResult->iAddressRank = 30;
733                         $oHnrResult->iHouseNumber = intval($this->sHouseNumber);
734                         $aResults[$iPlaceID] = $oHnrResult;
735                         $bNeedResult = false;
736                     }
737                 }
738                 if ($aResult['tiger_hnr']) {
739                     foreach (explode(',', substr($aResult['tiger_hnr'], 1, -1)) as $sPlaceID) {
740                         $iPlaceID = intval($sPlaceID);
741                         $oHnrResult = new Result($iPlaceID, Result::TABLE_TIGER);
742                         $oHnrResult->iExactMatches = $aResult['exactmatch'];
743                         $oHnrResult->iAddressRank = 30;
744                         $oHnrResult->iHouseNumber = intval($this->sHouseNumber);
745                         $aResults[$iPlaceID] = $oHnrResult;
746                         $bNeedResult = false;
747                     }
748                 }
749
750                 if ($aResult['address_rank'] < 26) {
751                     $oResult->iResultRank += 2;
752                 } else {
753                     $oResult->iResultRank++;
754                 }
755             }
756
757             if ($bNeedResult) {
758                 $aResults[$aResult['place_id']] = $oResult;
759             }
760         }
761
762         return $aResults;
763     }
764
765
766     private function queryPoiByOperator(&$oDB, $aParentIDs, $iLimit)
767     {
768         $aResults = array();
769         $sPlaceIDs = Result::joinIdsByTable($aParentIDs, Result::TABLE_PLACEX);
770
771         if (!$sPlaceIDs) {
772             return $aResults;
773         }
774
775         if ($this->iOperator == Operator::TYPE || $this->iOperator == Operator::NAME) {
776             // If they were searching for a named class (i.e. 'Kings Head pub')
777             // then we might have an extra match
778             $sSQL = 'SELECT place_id FROM placex ';
779             $sSQL .= " WHERE place_id in ($sPlaceIDs)";
780             $sSQL .= "   AND class='".$this->sClass."' ";
781             $sSQL .= "   AND type='".$this->sType."'";
782             $sSQL .= '   AND linked_place_id is null';
783             $sSQL .= $this->oContext->excludeSQL(' AND place_id');
784             $sSQL .= ' ORDER BY rank_search ASC ';
785             $sSQL .= " LIMIT $iLimit";
786
787             Debug::printSQL($sSQL);
788
789             foreach ($oDB->getCol($sSQL) as $iPlaceId) {
790                 $aResults[$iPlaceId] = new Result($iPlaceId);
791             }
792         }
793
794         // NEAR and IN are handled the same
795         if ($this->iOperator == Operator::TYPE || $this->iOperator == Operator::NEAR) {
796             $sClassTable = $this->poiTable();
797             $bCacheTable = $oDB->tableExists($sClassTable);
798
799             $sSQL = "SELECT min(rank_search) FROM placex WHERE place_id in ($sPlaceIDs)";
800             Debug::printSQL($sSQL);
801             $iMaxRank = (int) $oDB->getOne($sSQL);
802
803             // For state / country level searches the normal radius search doesn't work very well
804             $sPlaceGeom = false;
805             if ($iMaxRank < 9 && $bCacheTable) {
806                 // Try and get a polygon to search in instead
807                 $sSQL = 'SELECT geometry FROM placex';
808                 $sSQL .= " WHERE place_id in ($sPlaceIDs)";
809                 $sSQL .= "   AND rank_search < $iMaxRank + 5";
810                 $sSQL .= '   AND ST_Area(Box2d(geometry)) < 20';
811                 $sSQL .= "   AND ST_GeometryType(geometry) in ('ST_Polygon','ST_MultiPolygon')";
812                 $sSQL .= ' ORDER BY rank_search ASC ';
813                 $sSQL .= ' LIMIT 1';
814                 Debug::printSQL($sSQL);
815                 $sPlaceGeom = $oDB->getOne($sSQL);
816             }
817
818             if ($sPlaceGeom) {
819                 $sPlaceIDs = false;
820             } else {
821                 $iMaxRank += 5;
822                 $sSQL = 'SELECT place_id FROM placex';
823                 $sSQL .= " WHERE place_id in ($sPlaceIDs) and rank_search < $iMaxRank";
824                 Debug::printSQL($sSQL);
825                 $aPlaceIDs = $oDB->getCol($sSQL);
826                 $sPlaceIDs = join(',', $aPlaceIDs);
827             }
828
829             if ($sPlaceIDs || $sPlaceGeom) {
830                 $fRange = 0.01;
831                 if ($bCacheTable) {
832                     // More efficient - can make the range bigger
833                     $fRange = 0.05;
834
835                     $sOrderBySQL = '';
836                     if ($this->oContext->hasNearPoint()) {
837                         $sOrderBySQL = $this->oContext->distanceSQL('l.centroid');
838                     } elseif ($sPlaceIDs) {
839                         $sOrderBySQL = 'ST_Distance(l.centroid, f.geometry)';
840                     } elseif ($sPlaceGeom) {
841                         $sOrderBySQL = "ST_Distance(st_centroid('".$sPlaceGeom."'), l.centroid)";
842                     }
843
844                     $sSQL = 'SELECT distinct i.place_id';
845                     if ($sOrderBySQL) {
846                         $sSQL .= ', i.order_term';
847                     }
848                     $sSQL .= ' from (SELECT l.place_id';
849                     if ($sOrderBySQL) {
850                         $sSQL .= ','.$sOrderBySQL.' as order_term';
851                     }
852                     $sSQL .= ' from '.$sClassTable.' as l';
853
854                     if ($sPlaceIDs) {
855                         $sSQL .= ',placex as f WHERE ';
856                         $sSQL .= "f.place_id in ($sPlaceIDs) ";
857                         $sSQL .= " AND ST_DWithin(l.centroid, f.centroid, $fRange)";
858                     } elseif ($sPlaceGeom) {
859                         $sSQL .= " WHERE ST_Contains('$sPlaceGeom', l.centroid)";
860                     }
861
862                     $sSQL .= $this->oContext->excludeSQL(' AND l.place_id');
863                     $sSQL .= 'limit 300) i ';
864                     if ($sOrderBySQL) {
865                         $sSQL .= 'order by order_term asc';
866                     }
867                     $sSQL .= " limit $iLimit";
868
869                     Debug::printSQL($sSQL);
870
871                     foreach ($oDB->getCol($sSQL) as $iPlaceId) {
872                         $aResults[$iPlaceId] = new Result($iPlaceId);
873                     }
874                 } else {
875                     if ($this->oContext->hasNearPoint()) {
876                         $fRange = $this->oContext->nearRadius();
877                     }
878
879                     $sOrderBySQL = '';
880                     if ($this->oContext->hasNearPoint()) {
881                         $sOrderBySQL = $this->oContext->distanceSQL('l.geometry');
882                     } else {
883                         $sOrderBySQL = 'ST_Distance(l.geometry, f.geometry)';
884                     }
885
886                     $sSQL = 'SELECT distinct l.place_id';
887                     if ($sOrderBySQL) {
888                         $sSQL .= ','.$sOrderBySQL.' as orderterm';
889                     }
890                     $sSQL .= ' FROM placex as l, placex as f';
891                     $sSQL .= " WHERE f.place_id in ($sPlaceIDs)";
892                     $sSQL .= "  AND ST_DWithin(l.geometry, f.centroid, $fRange)";
893                     $sSQL .= "  AND l.class='".$this->sClass."'";
894                     $sSQL .= "  AND l.type='".$this->sType."'";
895                     $sSQL .= $this->oContext->excludeSQL(' AND l.place_id');
896                     if ($sOrderBySQL) {
897                         $sSQL .= 'ORDER BY orderterm ASC';
898                     }
899                     $sSQL .= " limit $iLimit";
900
901                     Debug::printSQL($sSQL);
902
903                     foreach ($oDB->getCol($sSQL) as $iPlaceId) {
904                         $aResults[$iPlaceId] = new Result($iPlaceId);
905                     }
906                 }
907             }
908         }
909
910         return $aResults;
911     }
912
913     private function poiTable()
914     {
915         return 'place_classtype_'.$this->sClass.'_'.$this->sType;
916     }
917
918     private function countryCodeSQL($sVar)
919     {
920         if ($this->sCountryCode) {
921             return $sVar.' = \''.$this->sCountryCode."'";
922         }
923         if ($this->oContext->sqlCountryList) {
924             return $sVar.' in '.$this->oContext->sqlCountryList;
925         }
926
927         return '';
928     }
929
930     /////////// Sort functions
931
932
933     public static function bySearchRank($a, $b)
934     {
935         if ($a->iSearchRank == $b->iSearchRank) {
936             return $a->iOperator + strlen($a->sHouseNumber)
937                      - $b->iOperator - strlen($b->sHouseNumber);
938         }
939
940         return $a->iSearchRank < $b->iSearchRank ? -1 : 1;
941     }
942
943     //////////// Debugging functions
944
945
946     public function debugInfo()
947     {
948         return array(
949                 'Search rank' => $this->iSearchRank,
950                 'Country code' => $this->sCountryCode,
951                 'Name terms' => $this->aName,
952                 'Name terms (stop words)' => $this->aNameNonSearch,
953                 'Address terms' => $this->aAddress,
954                 'Address terms (stop words)' => $this->aAddressNonSearch,
955                 'Address terms (full words)' => $this->aFullNameAddress ?? '',
956                 'Special search' => $this->iOperator,
957                 'Class' => $this->sClass,
958                 'Type' => $this->sType,
959                 'House number' => $this->sHouseNumber,
960                 'Postcode' => $this->sPostcode
961                );
962     }
963
964     public function dumpAsHtmlTableRow(&$aWordIDs)
965     {
966         $kf = function ($k) use (&$aWordIDs) {
967             return $aWordIDs[$k] ?? '['.$k.']';
968         };
969
970         echo '<tr>';
971         echo "<td>$this->iSearchRank</td>";
972         echo '<td>'.join(', ', array_map($kf, $this->aName)).'</td>';
973         echo '<td>'.join(', ', array_map($kf, $this->aNameNonSearch)).'</td>';
974         echo '<td>'.join(', ', array_map($kf, $this->aAddress)).'</td>';
975         echo '<td>'.join(', ', array_map($kf, $this->aAddressNonSearch)).'</td>';
976         echo '<td>'.$this->sCountryCode.'</td>';
977         echo '<td>'.Operator::toString($this->iOperator).'</td>';
978         echo '<td>'.$this->sClass.'</td>';
979         echo '<td>'.$this->sType.'</td>';
980         echo '<td>'.$this->sPostcode.'</td>';
981         echo '<td>'.$this->sHouseNumber.'</td>';
982
983         echo '</tr>';
984     }
985 }