]> git.openstreetmap.org Git - nominatim.git/blob - utils/update.php
d38a854aa09dda5e246ab315c01117cf5d22e3a4
[nominatim.git] / utils / update.php
1 #!/usr/bin/php -Cq
2 <?php
3
4 require_once(dirname(dirname(__FILE__)).'/settings/settings.php');
5 require_once(CONST_BasePath.'/lib/init-cmd.php');
6 ini_set('memory_limit', '800M');
7
8 $aCMDOptions
9 = array(
10    'Import / update / index osm data',
11    array('help', 'h', 0, 1, 0, 0, false, 'Show Help'),
12    array('quiet', 'q', 0, 1, 0, 0, 'bool', 'Quiet output'),
13    array('verbose', 'v', 0, 1, 0, 0, 'bool', 'Verbose output'),
14
15    array('init-updates', '', 0, 1, 0, 0, 'bool', 'Set up database for updating'),
16    array('check-for-updates', '', 0, 1, 0, 0, 'bool', 'Check if new updates are available'),
17    array('import-osmosis', '', 0, 1, 0, 0, 'bool', 'Import updates once'),
18    array('import-osmosis-all', '', 0, 1, 0, 0, 'bool', 'Import updates forever'),
19    array('no-index', '', 0, 1, 0, 0, 'bool', 'Do not index the new data'),
20
21    array('calculate-postcodes', '', 0, 1, 0, 0, 'bool', 'Update postcode centroid table'),
22
23    array('import-file', '', 0, 1, 1, 1, 'realpath', 'Re-import data from an OSM file'),
24    array('import-diff', '', 0, 1, 1, 1, 'realpath', 'Import a diff (osc) file from local file system'),
25    array('osm2pgsql-cache', '', 0, 1, 1, 1, 'int', 'Cache size used by osm2pgsql'),
26
27    array('import-node', '', 0, 1, 1, 1, 'int', 'Re-import node'),
28    array('import-way', '', 0, 1, 1, 1, 'int', 'Re-import way'),
29    array('import-relation', '', 0, 1, 1, 1, 'int', 'Re-import relation'),
30    array('import-from-main-api', '', 0, 1, 0, 0, 'bool', 'Use OSM API instead of Overpass to download objects'),
31
32    array('index', '', 0, 1, 0, 0, 'bool', 'Index'),
33    array('index-rank', '', 0, 1, 1, 1, 'int', 'Rank to start indexing from'),
34    array('index-instances', '', 0, 1, 1, 1, 'int', 'Number of indexing instances (threads)'),
35
36    array('deduplicate', '', 0, 1, 0, 0, 'bool', 'Deduplicate tokens'),
37    array('recompute-word-counts', '', 0, 1, 0, 0, 'bool', 'Compute frequency of full-word search terms'),
38    array('no-npi', '', 0, 1, 0, 0, 'bool', '(obsolete)'),
39   );
40 getCmdOpt($_SERVER['argv'], $aCMDOptions, $aResult, true, true);
41
42 if (!isset($aResult['index-instances'])) $aResult['index-instances'] = 1;
43 if (!isset($aResult['index-rank'])) $aResult['index-rank'] = 0;
44
45 date_default_timezone_set('Etc/UTC');
46
47 $oDB =& getDB();
48
49 $aDSNInfo = DB::parseDSN(CONST_Database_DSN);
50 if (!isset($aDSNInfo['port']) || !$aDSNInfo['port']) $aDSNInfo['port'] = 5432;
51
52 // cache memory to be used by osm2pgsql, should not be more than the available memory
53 $iCacheMemory = (isset($aResult['osm2pgsql-cache'])?$aResult['osm2pgsql-cache']:2000);
54 if ($iCacheMemory + 500 > getTotalMemoryMB()) {
55     $iCacheMemory = getCacheMemoryMB();
56     echo "WARNING: resetting cache memory to $iCacheMemory\n";
57 }
58 $sOsm2pgsqlCmd = CONST_Osm2pgsql_Binary.' -klas --number-processes 1 -C '.$iCacheMemory.' -O gazetteer -d '.$aDSNInfo['database'].' -P '.$aDSNInfo['port'];
59 if (!is_null(CONST_Osm2pgsql_Flatnode_File)) {
60     $sOsm2pgsqlCmd .= ' --flat-nodes '.CONST_Osm2pgsql_Flatnode_File;
61 }
62
63 if ($aResult['init-updates']) {
64     // sanity check that the replication URL is correct
65     $sBaseState = file_get_contents(CONST_Replication_Url.'/state.txt');
66     if ($sBaseState === false) {
67         echo "\nCannot find state.txt file at the configured replication URL.\n";
68         echo "Does the URL point to a directory containing OSM update data?\n\n";
69         fail('replication URL not reachable.');
70     }
71     $sSetup = CONST_InstallPath.'/utils/setup.php';
72     $iRet = -1;
73     passthru($sSetup.' --create-functions --enable-diff-updates', $iRet);
74     if ($iRet != 0) {
75         fail('Error running setup script');
76     }
77
78     $sDatabaseDate = getDatabaseDate($oDB);
79     if ($sDatabaseDate === false) {
80         fail('Cannot determine date of database.');
81     }
82     $sWindBack = strftime('%Y-%m-%dT%H:%M:%SZ', strtotime($sDatabaseDate) - (3*60*60));
83
84     // get the appropriate state id
85     $aOutput = 0;
86     $sCmd = CONST_Pyosmium_Binary.' -D '.$sWindBack.' --server '.CONST_Replication_Url;
87     exec($sCmd, $aOutput, $iRet);
88     if ($iRet != 0 || $aOutput[0] == 'None') {
89         fail('Error running pyosmium tools');
90     }
91
92     pg_query($oDB->connection, 'TRUNCATE import_status');
93     $sSQL = "INSERT INTO import_status (lastimportdate, sequence_id, indexed) VALUES('";
94     $sSQL .= $sDatabaseDate."',".$aOutput[0].', true)';
95     if (!pg_query($oDB->connection, $sSQL)) {
96         fail('Could not enter sequence into database.');
97     }
98
99     echo "Done. Database updates will start at sequence $aOutput[0] ($sWindBack)\n";
100 }
101
102 if ($aResult['check-for-updates']) {
103     $aLastState = chksql($oDB->getRow('SELECT sequence_id FROM import_status'));
104
105     if (!$aLastState['sequence_id']) {
106         fail('Updates not set up. Please run ./utils/update.php --init-updates.');
107     }
108
109     system(CONST_BasePath.'/utils/check_server_for_updates.py '.CONST_Replication_Url.' '.$aLastState['sequence_id'], $iRet);
110     exit($iRet);
111 }
112
113 if (isset($aResult['import-diff']) || isset($aResult['import-file'])) {
114     // import diffs and files directly (e.g. from osmosis --rri)
115     $sNextFile = isset($aResult['import-diff']) ? $aResult['import-diff'] : $aResult['import-file'];
116
117     if (!file_exists($sNextFile)) {
118         fail("Cannot open $sNextFile\n");
119     }
120
121     // Import the file
122     $sCMD = $sOsm2pgsqlCmd.' '.$sNextFile;
123     echo $sCMD."\n";
124     exec($sCMD, $sJunk, $iErrorLevel);
125
126     if ($iErrorLevel) {
127         fail("Error from osm2pgsql, $iErrorLevel\n");
128     }
129
130     // Don't update the import status - we don't know what this file contains
131 }
132
133 if ($aResult['calculate-postcodes']) {
134     info('Update postcodes centroids');
135     $sTemplate = file_get_contents(CONST_BasePath.'/sql/update-postcodes.sql');
136     runSQLScript($sTemplate, true, true);
137 }
138
139 $sTemporaryFile = CONST_BasePath.'/data/osmosischange.osc';
140 $bHaveDiff = false;
141 $bUseOSMApi = isset($aResult['import-from-main-api']) && $aResult['import-from-main-api'];
142 $sContentURL = '';
143 if (isset($aResult['import-node']) && $aResult['import-node']) {
144     if ($bUseOSMApi) {
145         $sContentURL = 'https://www.openstreetmap.org/api/0.6/node/'.$aResult['import-node'];
146     } else {
147         $sContentURL = 'https://overpass-api.de/api/interpreter?data=node('.$aResult['import-node'].');out%20meta;';
148     }
149 }
150
151 if (isset($aResult['import-way']) && $aResult['import-way']) {
152     if ($bUseOSMApi) {
153         $sContentURL = 'https://www.openstreetmap.org/api/0.6/way/'.$aResult['import-way'].'/full';
154     } else {
155         $sContentURL = 'https://overpass-api.de/api/interpreter?data=(way('.$aResult['import-way'].');node(w););out%20meta;';
156     }
157 }
158
159 if (isset($aResult['import-relation']) && $aResult['import-relation']) {
160     if ($bUseOSMApi) {
161         $sContentURLsModifyXMLstr = 'https://www.openstreetmap.org/api/0.6/relation/'.$aResult['import-relation'].'/full';
162     } else {
163         $sContentURL = 'https://overpass-api.de/api/interpreter?data=((rel('.$aResult['import-relation'].');way(r);node(w));node(r));out%20meta;';
164     }
165 }
166
167 if ($sContentURL) {
168     file_put_contents($sTemporaryFile, file_get_contents($sContentURL));
169     $bHaveDiff = true;
170 }
171
172 if ($bHaveDiff) {
173     // import generated change file
174     $sCMD = $sOsm2pgsqlCmd.' '.$sTemporaryFile;
175     echo $sCMD."\n";
176     exec($sCMD, $sJunk, $iErrorLevel);
177     if ($iErrorLevel) {
178         fail("osm2pgsql exited with error level $iErrorLevel\n");
179     }
180 }
181
182 if ($aResult['deduplicate']) {
183     $oDB =& getDB();
184
185     if (getPostgresVersion($oDB) < 9.3) {
186         fail('ERROR: deduplicate is only currently supported in postgresql 9.3');
187     }
188
189     $sSQL = 'select partition from country_name order by country_code';
190     $aPartitions = chksql($oDB->getCol($sSQL));
191     $aPartitions[] = 0;
192
193     // we don't care about empty search_name_* partitions, they can't contain mentions of duplicates
194     foreach ($aPartitions as $i => $sPartition) {
195         $sSQL = 'select count(*) from search_name_'.$sPartition;
196         $nEntries = chksql($oDB->getOne($sSQL));
197         if ($nEntries == 0) {
198             unset($aPartitions[$i]);
199         }
200     }
201
202     $sSQL = "select word_token,count(*) from word where substr(word_token, 1, 1) = ' '";
203     $sSQL .= ' and class is null and type is null and country_code is null';
204     $sSQL .= ' group by word_token having count(*) > 1 order by word_token';
205     $aDuplicateTokens = chksql($oDB->getAll($sSQL));
206     foreach ($aDuplicateTokens as $aToken) {
207         if (trim($aToken['word_token']) == '' || trim($aToken['word_token']) == '-') continue;
208         echo 'Deduping '.$aToken['word_token']."\n";
209         $sSQL = 'select word_id,';
210         $sSQL .= ' (select count(*) from search_name where nameaddress_vector @> ARRAY[word_id]) as num';
211         $sSQL .= " from word where word_token = '".$aToken['word_token'];
212         $sSQL .= "' and class is null and type is null and country_code is null order by num desc";
213         $aTokenSet = chksql($oDB->getAll($sSQL));
214
215         $aKeep = array_shift($aTokenSet);
216         $iKeepID = $aKeep['word_id'];
217
218         foreach ($aTokenSet as $aRemove) {
219             $sSQL = 'update search_name set';
220             $sSQL .= ' name_vector = array_replace(name_vector,'.$aRemove['word_id'].','.$iKeepID.'),';
221             $sSQL .= ' nameaddress_vector = array_replace(nameaddress_vector,'.$aRemove['word_id'].','.$iKeepID.')';
222             $sSQL .= ' where name_vector @> ARRAY['.$aRemove['word_id'].']';
223             chksql($oDB->query($sSQL));
224
225             $sSQL = 'update search_name set';
226             $sSQL .= ' nameaddress_vector = array_replace(nameaddress_vector,'.$aRemove['word_id'].','.$iKeepID.')';
227             $sSQL .= ' where nameaddress_vector @> ARRAY['.$aRemove['word_id'].']';
228             chksql($oDB->query($sSQL));
229
230             $sSQL = 'update location_area_country set';
231             $sSQL .= ' keywords = array_replace(keywords,'.$aRemove['word_id'].','.$iKeepID.')';
232             $sSQL .= ' where keywords @> ARRAY['.$aRemove['word_id'].']';
233             chksql($oDB->query($sSQL));
234
235             foreach ($aPartitions as $sPartition) {
236                 $sSQL = 'update search_name_'.$sPartition.' set';
237                 $sSQL .= ' name_vector = array_replace(name_vector,'.$aRemove['word_id'].','.$iKeepID.')';
238                 $sSQL .= ' where name_vector @> ARRAY['.$aRemove['word_id'].']';
239                 chksql($oDB->query($sSQL));
240
241                 $sSQL = 'update location_area_country set';
242                 $sSQL .= ' keywords = array_replace(keywords,'.$aRemove['word_id'].','.$iKeepID.')';
243                 $sSQL .= ' where keywords @> ARRAY['.$aRemove['word_id'].']';
244                 chksql($oDB->query($sSQL));
245             }
246
247             $sSQL = 'delete from word where word_id = '.$aRemove['word_id'];
248             chksql($oDB->query($sSQL));
249         }
250     }
251 }
252
253 if ($aResult['recompute-word-counts']) {
254     info('Recompute frequency of full-word search terms');
255     $sTemplate = file_get_contents(CONST_BasePath.'/sql/words_from_search_name.sql');
256     runSQLScript($sTemplate, true, true);
257 }
258
259 if ($aResult['index']) {
260     passthru(CONST_InstallPath.'/nominatim/nominatim -i -d '.$aDSNInfo['database'].' -P '.$aDSNInfo['port'].' -t '.$aResult['index-instances'].' -r '.$aResult['index-rank']);
261 }
262
263 if ($aResult['import-osmosis'] || $aResult['import-osmosis-all']) {
264     //
265     if (strpos(CONST_Replication_Url, 'download.geofabrik.de') !== false && CONST_Replication_Update_Interval < 86400) {
266         fail("Error: Update interval too low for download.geofabrik.de.  Please check install documentation (http://nominatim.org/release-docs/latest/Import-and-Update#setting-up-the-update-process)\n");
267     }
268
269     $sImportFile = CONST_InstallPath.'/osmosischange.osc';
270     $sCMDDownload = CONST_Pyosmium_Binary.' --server '.CONST_Replication_Url.' -o '.$sImportFile.' -s '.CONST_Replication_Max_Diff_size;
271     $sCMDImport = $sOsm2pgsqlCmd.' '.$sImportFile;
272     $sCMDIndex = CONST_InstallPath.'/nominatim/nominatim -i -d '.$aDSNInfo['database'].' -P '.$aDSNInfo['port'].' -t '.$aResult['index-instances'];
273
274     while (true) {
275         $fStartTime = time();
276         $aLastState = chksql($oDB->getRow('SELECT *, EXTRACT (EPOCH FROM lastimportdate) as unix_ts FROM import_status'));
277
278         if (!$aLastState['sequence_id']) {
279             echo "Updates not set up. Please run ./utils/update.php --init-updates.\n";
280             exit(1);
281         }
282
283         echo 'Currently at sequence '.$aLastState['sequence_id'].' ('.$aLastState['lastimportdate'].') - '.$aLastState['indexed']." indexed\n";
284
285         $sBatchEnd = $aLastState['lastimportdate'];
286         $iEndSequence = $aLastState['sequence_id'];
287
288         if ($aLastState['indexed'] == 't') {
289             // Sleep if the update interval has not yet been reached.
290             $fNextUpdate = $aLastState['unix_ts'] + CONST_Replication_Update_Interval;
291             if ($fNextUpdate > $fStartTime) {
292                 $iSleepTime = $fNextUpdate - $fStartTime;
293                 echo "Waiting for next update for $iSleepTime sec.";
294                 sleep($iSleepTime);
295             }
296
297             // Download the next batch of changes.
298             do {
299                 $fCMDStartTime = time();
300                 $iNextSeq = (int) $aLastState['sequence_id'];
301                 unset($aOutput);
302                 echo "$sCMDDownload -I $iNextSeq\n";
303                 unlink($sImportFile);
304                 exec($sCMDDownload.' -I '.$iNextSeq, $aOutput, $iResult);
305
306                 if ($iResult == 3) {
307                     echo 'No new updates. Sleeping for '.CONST_Replication_Recheck_Interval." sec.\n";
308                     sleep(CONST_Replication_Recheck_Interval);
309                 } elseif ($iResult != 0) {
310                     echo 'ERROR: updates failed.';
311                     exit($iResult);
312                 } else {
313                     $iEndSequence = (int)$aOutput[0];
314                 }
315             } while ($iResult);
316
317             // get the newest object from the diff file
318             $sBatchEnd = 0;
319             $iRet = 0;
320             exec(CONST_BasePath.'/utils/osm_file_date.py '.$sImportFile, $sBatchEnd, $iRet);
321             if ($iRet == 5) {
322                 echo "Diff file is empty. skipping import.\n";
323                 if (!$aResult['import-osmosis-all']) {
324                     exit(0);
325                 } else {
326                     continue;
327                 }
328             }
329             if ($iRet != 0) {
330                 fail('Error getting date from diff file.');
331             }
332             $sBatchEnd = $sBatchEnd[0];
333
334             // Import the file
335             $fCMDStartTime = time();
336             echo $sCMDImport."\n";
337             unset($sJunk);
338             exec($sCMDImport, $sJunk, $iErrorLevel);
339             if ($iErrorLevel) {
340                 echo "Error executing osm2pgsql: $iErrorLevel\n";
341                 exit($iErrorLevel);
342             }
343
344             // write the update logs
345             $iFileSize = filesize($sImportFile);
346             $sSQL = 'INSERT INTO import_osmosis_log';
347             $sSQL .= '(batchend, batchseq, batchsize, starttime, endtime, event)';
348             $sSQL .= " values ('$sBatchEnd',$iEndSequence,$iFileSize,'";
349             $sSQL .= date('Y-m-d H:i:s', $fCMDStartTime)."','";
350             $sSQL .= date('Y-m-d H:i:s')."','import')";
351             var_Dump($sSQL);
352             chksql($oDB->query($sSQL));
353
354             // update the status
355             $sSQL = "UPDATE import_status SET lastimportdate = '$sBatchEnd', indexed=false, sequence_id = $iEndSequence";
356             var_Dump($sSQL);
357             chksql($oDB->query($sSQL));
358             echo date('Y-m-d H:i:s')." Completed download step for $sBatchEnd in ".round((time()-$fCMDStartTime)/60, 2)." minutes\n";
359         }
360
361         // Index file
362         if (!$aResult['no-index']) {
363             $sThisIndexCmd = $sCMDIndex;
364             $fCMDStartTime = time();
365
366             echo "$sThisIndexCmd\n";
367             exec($sThisIndexCmd, $sJunk, $iErrorLevel);
368             if ($iErrorLevel) {
369                 echo "Error: $iErrorLevel\n";
370                 exit($iErrorLevel);
371             }
372
373             $sSQL = 'INSERT INTO import_osmosis_log';
374             $sSQL .= '(batchend, batchseq, batchsize, starttime, endtime, event)';
375             $sSQL .= " values ('$sBatchEnd',$iEndSequence,$iFileSize,'";
376             $sSQL .= date('Y-m-d H:i:s', $fCMDStartTime)."','";
377             $sSQL .= date('Y-m-d H:i:s')."','index')";
378             var_Dump($sSQL);
379             $oDB->query($sSQL);
380             echo date('Y-m-d H:i:s')." Completed index step for $sBatchEnd in ".round((time()-$fCMDStartTime)/60, 2)." minutes\n";
381
382             $sSQL = 'update import_status set indexed = true';
383             $oDB->query($sSQL);
384         }
385
386         $fDuration = time() - $fStartTime;
387         echo date('Y-m-d H:i:s')." Completed all for $sBatchEnd in ".round($fDuration/60, 2)." minutes\n";
388         if (!$aResult['import-osmosis-all']) exit(0);
389     }
390 }