]> git.openstreetmap.org Git - nominatim.git/blob - utils/update.php
Merge remote-tracking branch 'upstream/master'
[nominatim.git] / utils / update.php
1 #!/usr/bin/php -Cq
2 <?php
3
4 require_once(dirname(dirname(__FILE__)).'/settings/settings.php');
5 require_once(CONST_BasePath.'/lib/init-cmd.php');
6 ini_set('memory_limit', '800M');
7
8 $aCMDOptions
9 = array(
10    "Import / update / index osm data",
11    array('help', 'h', 0, 1, 0, 0, false, 'Show Help'),
12    array('quiet', 'q', 0, 1, 0, 0, 'bool', 'Quiet output'),
13    array('verbose', 'v', 0, 1, 0, 0, 'bool', 'Verbose output'),
14
15    array('import-osmosis', '', 0, 1, 0, 0, 'bool', 'Import using osmosis'),
16    array('import-osmosis-all', '', 0, 1, 0, 0, 'bool', 'Import using osmosis forever'),
17    array('no-npi', '', 0, 1, 0, 0, 'bool', '(obsolate)'),
18    array('no-index', '', 0, 1, 0, 0, 'bool', 'Do not index the new data'),
19
20    array('import-all', '', 0, 1, 0, 0, 'bool', 'Import all available files'),
21
22    array('import-file', '', 0, 1, 1, 1, 'realpath', 'Re-import data from an OSM file'),
23    array('import-diff', '', 0, 1, 1, 1, 'realpath', 'Import a diff (osc) file from local file system'),
24    array('osm2pgsql-cache', '', 0, 1, 1, 1, 'int', 'Cache size used by osm2pgsql'),
25
26    array('import-node', '', 0, 1, 1, 1, 'int', 'Re-import node'),
27    array('import-way', '', 0, 1, 1, 1, 'int', 'Re-import way'),
28    array('import-relation', '', 0, 1, 1, 1, 'int', 'Re-import relation'),
29    array('import-from-main-api', '', 0, 1, 0, 0, 'bool', 'Use OSM API instead of Overpass to download objects'),
30
31    array('index', '', 0, 1, 0, 0, 'bool', 'Index'),
32    array('index-rank', '', 0, 1, 1, 1, 'int', 'Rank to start indexing from'),
33    array('index-instances', '', 0, 1, 1, 1, 'int', 'Number of indexing instances (threads)'),
34
35    array('deduplicate', '', 0, 1, 0, 0, 'bool', 'Deduplicate tokens'),
36   );
37 getCmdOpt($_SERVER['argv'], $aCMDOptions, $aResult, true, true);
38
39 if (!isset($aResult['index-instances'])) $aResult['index-instances'] = 1;
40 if (!isset($aResult['index-rank'])) $aResult['index-rank'] = 0;
41
42 date_default_timezone_set('Etc/UTC');
43
44 $oDB =& getDB();
45
46 $aDSNInfo = DB::parseDSN(CONST_Database_DSN);
47 if (!isset($aDSNInfo['port']) || !$aDSNInfo['port']) $aDSNInfo['port'] = 5432;
48
49 // cache memory to be used by osm2pgsql, should not be more than the available memory
50 $iCacheMemory = (isset($aResult['osm2pgsql-cache'])?$aResult['osm2pgsql-cache']:2000);
51 if ($iCacheMemory + 500 > getTotalMemoryMB()) {
52     $iCacheMemory = getCacheMemoryMB();
53     echo "WARNING: resetting cache memory to $iCacheMemory\n";
54 }
55 $sOsm2pgsqlCmd = CONST_Osm2pgsql_Binary.' -klas --number-processes 1 -C '.$iCacheMemory.' -O gazetteer -d '.$aDSNInfo['database'].' -P '.$aDSNInfo['port'];
56 if (!is_null(CONST_Osm2pgsql_Flatnode_File)) {
57     $sOsm2pgsqlCmd .= ' --flat-nodes '.CONST_Osm2pgsql_Flatnode_File;
58 }
59
60
61 if (isset($aResult['import-diff'])) {
62     // import diff directly (e.g. from osmosis --rri)
63     $sNextFile = $aResult['import-diff'];
64     if (!file_exists($sNextFile)) {
65         fail("Cannot open $sNextFile\n");
66     }
67
68     // Import the file
69     $sCMD = $sOsm2pgsqlCmd.' '.$sNextFile;
70     echo $sCMD."\n";
71     exec($sCMD, $sJunk, $iErrorLevel);
72
73     if ($iErrorLevel) {
74         fail("Error from osm2pgsql, $iErrorLevel\n");
75     }
76
77     // Don't update the import status - we don't know what this file contains
78 }
79
80 $sTemporaryFile = CONST_BasePath.'/data/osmosischange.osc';
81 $bHaveDiff = false;
82 if (isset($aResult['import-file']) && $aResult['import-file']) {
83     $bHaveDiff = true;
84     $sCMD = CONST_Osmosis_Binary.' --read-xml \''.$aResult['import-file'].'\' --read-empty --derive-change --write-xml-change '.$sTemporaryFile;
85     echo $sCMD."\n";
86     exec($sCMD, $sJunk, $iErrorLevel);
87     if ($iErrorLevel) {
88         fail("Error converting osm to osc, osmosis returned: $iErrorLevel\n");
89     }
90 }
91
92 $bUseOSMApi = isset($aResult['import-from-main-api']) && $aResult['import-from-main-api'];
93 $sContentURL = '';
94 if (isset($aResult['import-node']) && $aResult['import-node']) {
95     if ($bUseOSMApi) {
96         $sContentURL = 'http://www.openstreetmap.org/api/0.6/node/'.$aResult['import-node'];
97     } else {
98         $sContentURL = 'http://overpass-api.de/api/interpreter?data=node('.$aResult['import-node'].');out%20meta;';
99     }
100 }
101
102 if (isset($aResult['import-way']) && $aResult['import-way']) {
103     if ($bUseOSMApi) {
104         $sContentURL = 'http://www.openstreetmap.org/api/0.6/way/'.$aResult['import-way'].'/full';
105     } else {
106         $sContentURL = 'http://overpass-api.de/api/interpreter?data=(way('.$aResult['import-way'].');node(w););out%20meta;';
107     }
108 }
109
110 if (isset($aResult['import-relation']) && $aResult['import-relation']) {
111     if ($bUseOSMApi) {
112         $sContentURLsModifyXMLstr = 'http://www.openstreetmap.org/api/0.6/relation/'.$aResult['import-relation'].'/full';
113     } else {
114         $sContentURL = 'http://overpass-api.de/api/interpreter?data=((rel('.$aResult['import-relation'].');way(r);node(w));node(r));out%20meta;';
115     }
116 }
117
118 if ($sContentURL) {
119     $sModifyXMLstr = file_get_contents($sContentURL);
120     $bHaveDiff = true;
121
122     $aSpec = array(
123               0 => array("pipe", "r"),  // stdin
124               1 => array("pipe", "w"),  // stdout
125               2 => array("pipe", "w") // stderr
126              );
127     $sCMD = CONST_Osmosis_Binary.' --read-xml - --read-empty --derive-change --write-xml-change '.$sTemporaryFile;
128     echo $sCMD."\n";
129     $hProc = proc_open($sCMD, $aSpec, $aPipes);
130     if (!is_resource($hProc)) {
131         fail("Error converting osm to osc, osmosis failed\n");
132     }
133     fwrite($aPipes[0], $sModifyXMLstr);
134     fclose($aPipes[0]);
135     $sOut = stream_get_contents($aPipes[1]);
136     if ($aResult['verbose']) echo $sOut;
137     fclose($aPipes[1]);
138     $sErrors = stream_get_contents($aPipes[2]);
139     if ($aResult['verbose']) echo $sErrors;
140     fclose($aPipes[2]);
141     if ($iError = proc_close($hProc)) {
142         echo $sOut;
143         echo $sErrors;
144         fail("Error converting osm to osc, osmosis returned: $iError\n");
145     }
146 }
147
148 if ($bHaveDiff) {
149     // import generated change file
150     $sCMD = $sOsm2pgsqlCmd.' '.$sTemporaryFile;
151     echo $sCMD."\n";
152     exec($sCMD, $sJunk, $iErrorLevel);
153     if ($iErrorLevel) {
154         fail("osm2pgsql exited with error level $iErrorLevel\n");
155     }
156 }
157
158 if ($aResult['deduplicate']) {
159     //
160     if (getPostgresVersion() < 9.3) {
161         fail("ERROR: deduplicate is only currently supported in postgresql 9.3");
162     }
163
164     $oDB =& getDB();
165     $sSQL = 'select partition from country_name order by country_code';
166     $aPartitions = chksql($oDB->getCol($sSQL));
167     $aPartitions[] = 0;
168
169     $sSQL = "select word_token,count(*) from word where substr(word_token, 1, 1) = ' ' and class is null and type is null and country_code is null group by word_token having count(*) > 1 order by word_token";
170     $aDuplicateTokens = chksql($oDB->getAll($sSQL));
171     foreach ($aDuplicateTokens as $aToken) {
172         if (trim($aToken['word_token']) == '' || trim($aToken['word_token']) == '-') continue;
173         echo "Deduping ".$aToken['word_token']."\n";
174         $sSQL = "select word_id,(select count(*) from search_name where nameaddress_vector @> ARRAY[word_id]) as num from word where word_token = '".$aToken['word_token']."' and class is null and type is null and country_code is null order by num desc";
175         $aTokenSet = chksql($oDB->getAll($sSQL));
176
177         $aKeep = array_shift($aTokenSet);
178         $iKeepID = $aKeep['word_id'];
179
180         foreach ($aTokenSet as $aRemove) {
181             $sSQL = "update search_name set";
182             $sSQL .= " name_vector = array_replace(name_vector,".$aRemove['word_id'].",".$iKeepID."),";
183             $sSQL .= " nameaddress_vector = array_replace(nameaddress_vector,".$aRemove['word_id'].",".$iKeepID.")";
184             $sSQL .= " where name_vector @> ARRAY[".$aRemove['word_id']."]";
185             chksql($oDB->query($sSQL));
186
187             $sSQL = "update search_name set";
188             $sSQL .= " nameaddress_vector = array_replace(nameaddress_vector,".$aRemove['word_id'].",".$iKeepID.")";
189             $sSQL .= " where nameaddress_vector @> ARRAY[".$aRemove['word_id']."]";
190             chksql($oDB->query($sSQL));
191
192             $sSQL = "update location_area_country set";
193             $sSQL .= " keywords = array_replace(keywords,".$aRemove['word_id'].",".$iKeepID.")";
194             $sSQL .= " where keywords @> ARRAY[".$aRemove['word_id']."]";
195             chksql($oDB->query($sSQL));
196
197             foreach ($aPartitions as $sPartition) {
198                 $sSQL = "update search_name_".$sPartition." set";
199                 $sSQL .= " name_vector = array_replace(name_vector,".$aRemove['word_id'].",".$iKeepID.")";
200                 $sSQL .= " where name_vector @> ARRAY[".$aRemove['word_id']."]";
201                 chksql($oDB->query($sSQL));
202
203                 $sSQL = "update location_area_country set";
204                 $sSQL .= " keywords = array_replace(keywords,".$aRemove['word_id'].",".$iKeepID.")";
205                 $sSQL .= " where keywords @> ARRAY[".$aRemove['word_id']."]";
206                 chksql($oDB->query($sSQL));
207             }
208
209             $sSQL = "delete from word where word_id = ".$aRemove['word_id'];
210             chksql($oDB->query($sSQL));
211         }
212     }
213 }
214
215 if ($aResult['index']) {
216     passthru(CONST_InstallPath.'/nominatim/nominatim -i -d '.$aDSNInfo['database'].' -P '.$aDSNInfo['port'].' -t '.$aResult['index-instances'].' -r '.$aResult['index-rank']);
217 }
218
219 if ($aResult['import-osmosis'] || $aResult['import-osmosis-all']) {
220     //
221     if (strpos(CONST_Replication_Url, 'download.geofabrik.de') !== false && CONST_Replication_Update_Interval < 86400) {
222         fail("Error: Update interval too low for download.geofabrik.de.  Please check install documentation (http://wiki.openstreetmap.org/wiki/Nominatim/Installation#Updates)\n");
223     }
224
225     $sImportFile = CONST_BasePath.'/data/osmosischange.osc';
226     $sOsmosisConfigDirectory = CONST_InstallPath.'/settings';
227     $sCMDDownload = CONST_Osmosis_Binary.' --read-replication-interval workingDirectory='.$sOsmosisConfigDirectory.' --simplify-change --write-xml-change '.$sImportFile;
228     $sCMDCheckReplicationLag = CONST_Osmosis_Binary.' -q --read-replication-lag workingDirectory='.$sOsmosisConfigDirectory;
229     $sCMDImport = $sOsm2pgsqlCmd.' '.$sImportFile;
230     $sCMDIndex = CONST_InstallPath.'/nominatim/nominatim -i -d '.$aDSNInfo['database'].' -P '.$aDSNInfo['port'].' -t '.$aResult['index-instances'];
231
232     while (true) {
233         $fStartTime = time();
234         $iFileSize = 1001;
235
236         if (!file_exists($sImportFile)) {
237             // First check if there are new updates published (except for minutelies - there's always new diffs to process)
238             if (CONST_Replication_Update_Interval > 60) {
239                 unset($aReplicationLag);
240                 exec($sCMDCheckReplicationLag, $aReplicationLag, $iErrorLevel);
241                 while ($iErrorLevel > 0 || $aReplicationLag[0] < 1) {
242                     if ($iErrorLevel) {
243                         echo "Error: $iErrorLevel. ";
244                         echo "Re-trying: ".$sCMDCheckReplicationLag." in ".CONST_Replication_Recheck_Interval." secs\n";
245                     } else {
246                         echo ".";
247                     }
248                     sleep(CONST_Replication_Recheck_Interval);
249                     unset($aReplicationLag);
250                     exec($sCMDCheckReplicationLag, $aReplicationLag, $iErrorLevel);
251                 }
252                 // There are new replication files - use osmosis to download the file
253                 echo "\n".date('Y-m-d H:i:s')." Replication Delay is ".$aReplicationLag[0]."\n";
254             }
255             $fStartTime = time();
256             $fCMDStartTime = time();
257             echo $sCMDDownload."\n";
258             exec($sCMDDownload, $sJunk, $iErrorLevel);
259             while ($iErrorLevel > 0) {
260                 echo "Error: $iErrorLevel\n";
261                 sleep(60);
262                 echo 'Re-trying: '.$sCMDDownload."\n";
263                 exec($sCMDDownload, $sJunk, $iErrorLevel);
264             }
265             $iFileSize = filesize($sImportFile);
266             $sBatchEnd = getosmosistimestamp($sOsmosisConfigDirectory);
267             $sSQL = "INSERT INTO import_osmosis_log values ('$sBatchEnd',$iFileSize,'".date('Y-m-d H:i:s', $fCMDStartTime)."','".date('Y-m-d H:i:s')."','osmosis')";
268             var_Dump($sSQL);
269             $oDB->query($sSQL);
270             echo date('Y-m-d H:i:s')." Completed osmosis step for $sBatchEnd in ".round((time()-$fCMDStartTime)/60, 2)." minutes\n";
271         }
272
273         $iFileSize = filesize($sImportFile);
274         $sBatchEnd = getosmosistimestamp($sOsmosisConfigDirectory);
275
276         // Import the file
277         $fCMDStartTime = time();
278         echo $sCMDImport."\n";
279         exec($sCMDImport, $sJunk, $iErrorLevel);
280         if ($iErrorLevel) {
281             echo "Error: $iErrorLevel\n";
282             exit($iErrorLevel);
283         }
284         $sSQL = "INSERT INTO import_osmosis_log values ('$sBatchEnd',$iFileSize,'".date('Y-m-d H:i:s', $fCMDStartTime)."','".date('Y-m-d H:i:s')."','osm2pgsql')";
285         var_Dump($sSQL);
286         $oDB->query($sSQL);
287         echo date('Y-m-d H:i:s')." Completed osm2pgsql step for $sBatchEnd in ".round((time()-$fCMDStartTime)/60, 2)." minutes\n";
288
289         // Archive for debug?
290         unlink($sImportFile);
291
292         $sBatchEnd = getosmosistimestamp($sOsmosisConfigDirectory);
293
294         // Index file
295         $sThisIndexCmd = $sCMDIndex;
296         if (!isset($aResult['index-instances'])) {
297             if (getLoadAverage() < 24)
298                 $iIndexInstances = 2;
299             else
300                 $iIndexInstances = 1;
301         } else
302             $iIndexInstances = $aResult['index-instances'];
303
304         $sThisIndexCmd = $sCMDIndex.' -t '.$iIndexInstances;
305         $fCMDStartTime = time();
306
307         if (!$aResult['no-index']) {
308             echo "$sThisIndexCmd\n";
309             exec($sThisIndexCmd, $sJunk, $iErrorLevel);
310             if ($iErrorLevel) {
311                 echo "Error: $iErrorLevel\n";
312                 exit($iErrorLevel);
313             }
314         }
315
316         $sSQL = "INSERT INTO import_osmosis_log values ('$sBatchEnd',$iFileSize,'".date('Y-m-d H:i:s', $fCMDStartTime)."','".date('Y-m-d H:i:s')."','index')";
317         var_Dump($sSQL);
318         $oDB->query($sSQL);
319         echo date('Y-m-d H:i:s')." Completed index step for $sBatchEnd in ".round((time()-$fCMDStartTime)/60, 2)." minutes\n";
320
321         $sSQL = "update import_status set lastimportdate = '$sBatchEnd'";
322         $oDB->query($sSQL);
323
324         $fDuration = time() - $fStartTime;
325         echo date('Y-m-d H:i:s')." Completed all for $sBatchEnd in ".round($fDuration/60, 2)." minutes\n";
326         if (!$aResult['import-osmosis-all']) exit(0);
327
328         if (CONST_Replication_Update_Interval > 60) {
329             $iSleep = max(0, (strtotime($sBatchEnd)+CONST_Replication_Update_Interval-time()));
330         } else {
331             $iSleep = max(0, CONST_Replication_Update_Interval-$fDuration);
332         }
333         echo date('Y-m-d H:i:s')." Sleeping $iSleep seconds\n";
334         sleep($iSleep);
335     }
336 }
337
338
339 function getosmosistimestamp($sOsmosisConfigDirectory)
340 {
341     $sStateFile = file_get_contents($sOsmosisConfigDirectory.'/state.txt');
342     preg_match('#timestamp=(.+)#', $sStateFile, $aResult);
343     return str_replace('\:', ':', $aResult[1]);
344 }