]> git.openstreetmap.org Git - nominatim.git/blob - utils/update.php
Merge pull request #1923 from lonvia/split-indexing-for-boundries
[nominatim.git] / utils / update.php
1 <?php
2
3 require_once(CONST_BasePath.'/lib/init-cmd.php');
4 require_once(CONST_BasePath.'/lib/setup_functions.php');
5 require_once(CONST_BasePath.'/lib/setup/SetupClass.php');
6 require_once(CONST_BasePath.'/lib/setup/AddressLevelParser.php');
7
8 ini_set('memory_limit', '800M');
9
10 use Nominatim\Setup\SetupFunctions as SetupFunctions;
11
12 // (long-opt, short-opt, min-occurs, max-occurs, num-arguments, num-arguments, type, help)
13 $aCMDOptions
14 = array(
15    'Import / update / index osm data',
16    array('help', 'h', 0, 1, 0, 0, false, 'Show Help'),
17    array('quiet', 'q', 0, 1, 0, 0, 'bool', 'Quiet output'),
18    array('verbose', 'v', 0, 1, 0, 0, 'bool', 'Verbose output'),
19
20    array('init-updates', '', 0, 1, 0, 0, 'bool', 'Set up database for updating'),
21    array('check-for-updates', '', 0, 1, 0, 0, 'bool', 'Check if new updates are available'),
22    array('no-update-functions', '', 0, 1, 0, 0, 'bool', 'Do not update trigger functions to support differential updates (assuming the diff update logic is already present)'),
23    array('import-osmosis', '', 0, 1, 0, 0, 'bool', 'Import updates once'),
24    array('import-osmosis-all', '', 0, 1, 0, 0, 'bool', 'Import updates forever'),
25    array('no-index', '', 0, 1, 0, 0, 'bool', 'Do not index the new data'),
26
27    array('calculate-postcodes', '', 0, 1, 0, 0, 'bool', 'Update postcode centroid table'),
28
29    array('import-file', '', 0, 1, 1, 1, 'realpath', 'Re-import data from an OSM file'),
30    array('import-diff', '', 0, 1, 1, 1, 'realpath', 'Import a diff (osc) file from local file system'),
31    array('osm2pgsql-cache', '', 0, 1, 1, 1, 'int', 'Cache size used by osm2pgsql'),
32
33    array('import-node', '', 0, 1, 1, 1, 'int', 'Re-import node'),
34    array('import-way', '', 0, 1, 1, 1, 'int', 'Re-import way'),
35    array('import-relation', '', 0, 1, 1, 1, 'int', 'Re-import relation'),
36    array('import-from-main-api', '', 0, 1, 0, 0, 'bool', 'Use OSM API instead of Overpass to download objects'),
37
38    array('index', '', 0, 1, 0, 0, 'bool', 'Index'),
39    array('index-rank', '', 0, 1, 1, 1, 'int', 'Rank to start indexing from'),
40    array('index-instances', '', 0, 1, 1, 1, 'int', 'Number of indexing instances (threads)'),
41
42    array('recompute-word-counts', '', 0, 1, 0, 0, 'bool', 'Compute frequency of full-word search terms'),
43    array('update-address-levels', '', 0, 1, 0, 0, 'bool', 'Reimport address level configuration (EXPERT)'),
44    array('recompute-importance', '', 0, 1, 0, 0, 'bool', 'Recompute place importances')
45   );
46
47 getCmdOpt($_SERVER['argv'], $aCMDOptions, $aResult, true, true);
48
49 if (!isset($aResult['index-instances'])) $aResult['index-instances'] = 1;
50 if (!isset($aResult['index-rank'])) $aResult['index-rank'] = 0;
51
52 date_default_timezone_set('Etc/UTC');
53
54 $oDB = new Nominatim\DB();
55 $oDB->connect();
56 $fPostgresVersion = $oDB->getPostgresVersion();
57
58 $aDSNInfo = Nominatim\DB::parseDSN(CONST_Database_DSN);
59 if (!isset($aDSNInfo['port']) || !$aDSNInfo['port']) $aDSNInfo['port'] = 5432;
60
61 // cache memory to be used by osm2pgsql, should not be more than the available memory
62 $iCacheMemory = (isset($aResult['osm2pgsql-cache'])?$aResult['osm2pgsql-cache']:2000);
63 if ($iCacheMemory + 500 > getTotalMemoryMB()) {
64     $iCacheMemory = getCacheMemoryMB();
65     echo "WARNING: resetting cache memory to $iCacheMemory\n";
66 }
67
68 $oOsm2pgsqlCmd = (new \Nominatim\Shell(CONST_Osm2pgsql_Binary))
69                  ->addParams('--hstore')
70                  ->addParams('--latlong')
71                  ->addParams('--append')
72                  ->addParams('--slim')
73                  ->addParams('--number-processes', 1)
74                  ->addParams('--cache', $iCacheMemory)
75                  ->addParams('--output', 'gazetteer')
76                  ->addParams('--style', CONST_Import_Style)
77                  ->addParams('--database', $aDSNInfo['database'])
78                  ->addParams('--port', $aDSNInfo['port']);
79
80 if (isset($aDSNInfo['hostspec']) && $aDSNInfo['hostspec']) {
81     $oOsm2pgsqlCmd->addParams('--host', $aDSNInfo['hostspec']);
82 }
83 if (isset($aDSNInfo['username']) && $aDSNInfo['username']) {
84     $oOsm2pgsqlCmd->addParams('--user', $aDSNInfo['username']);
85 }
86 if (isset($aDSNInfo['password']) && $aDSNInfo['password']) {
87     $oOsm2pgsqlCmd->addEnvPair('PGPASSWORD', $aDSNInfo['password']);
88 }
89 if (!is_null(CONST_Osm2pgsql_Flatnode_File) && CONST_Osm2pgsql_Flatnode_File) {
90     $oOsm2pgsqlCmd->addParams('--flat-nodes', CONST_Osm2pgsql_Flatnode_File);
91 }
92 if ($fPostgresVersion >= 11.0) {
93     $oOsm2pgsqlCmd->addEnvPair(
94         'PGOPTIONS',
95         '-c jit=off -c max_parallel_workers_per_gather=0'
96     );
97 }
98
99
100 $oIndexCmd = (new \Nominatim\Shell(CONST_BasePath.'/nominatim/nominatim.py'))
101              ->addParams('--database', $aDSNInfo['database'])
102              ->addParams('--port', $aDSNInfo['port'])
103              ->addParams('--threads', $aResult['index-instances']);
104 if (!$aResult['quiet']) {
105     $oIndexCmd->addParams('--verbose');
106 }
107 if ($aResult['verbose']) {
108     $oIndexCmd->addParams('--verbose');
109 }
110 if (isset($aDSNInfo['hostspec']) && $aDSNInfo['hostspec']) {
111     $oIndexCmd->addParams('--host', $aDSNInfo['hostspec']);
112 }
113 if (isset($aDSNInfo['username']) && $aDSNInfo['username']) {
114     $oIndexCmd->addParams('--username', $aDSNInfo['username']);
115 }
116 if (isset($aDSNInfo['password']) && $aDSNInfo['password']) {
117     $oIndexCmd->addEnvPair('PGPASSWORD', $aDSNInfo['password']);
118 }
119
120
121 if ($aResult['init-updates']) {
122     // sanity check that the replication URL is correct
123     $sBaseState = file_get_contents(CONST_Replication_Url.'/state.txt');
124     if ($sBaseState === false) {
125         echo "\nCannot find state.txt file at the configured replication URL.\n";
126         echo "Does the URL point to a directory containing OSM update data?\n\n";
127         fail('replication URL not reachable.');
128     }
129     // sanity check for pyosmium-get-changes
130     if (!CONST_Pyosmium_Binary) {
131         echo "\nCONST_Pyosmium_Binary not configured.\n";
132         echo "You need to install pyosmium and set up the path to pyosmium-get-changes\n";
133         echo "in your local settings file.\n\n";
134         fail('CONST_Pyosmium_Binary not configured');
135     }
136
137     $aOutput = 0;
138     $oCMD = new \Nominatim\Shell(CONST_Pyosmium_Binary, '--help');
139     exec($oCMD->escapedCmd(), $aOutput, $iRet);
140
141     if ($iRet != 0) {
142         echo "Cannot execute pyosmium-get-changes.\n";
143         echo "Make sure you have pyosmium installed correctly\n";
144         echo "and have set up CONST_Pyosmium_Binary to point to pyosmium-get-changes.\n";
145         fail('pyosmium-get-changes not found or not usable');
146     }
147
148     if (!$aResult['no-update-functions']) {
149         // instantiate setupClass to use the function therein
150         $cSetup = new SetupFunctions(array(
151                                       'enable-diff-updates' => true,
152                                       'verbose' => $aResult['verbose']
153                                      ));
154         $cSetup->createFunctions();
155     }
156
157     $sDatabaseDate = getDatabaseDate($oDB);
158     if (!$sDatabaseDate) {
159         fail('Cannot determine date of database.');
160     }
161     $sWindBack = strftime('%Y-%m-%dT%H:%M:%SZ', strtotime($sDatabaseDate) - (3*60*60));
162
163     // get the appropriate state id
164     $aOutput = 0;
165     $oCMD = (new \Nominatim\Shell(CONST_Pyosmium_Binary))
166             ->addParams('--start-date', $sWindBack)
167             ->addParams('--server', CONST_Replication_Url);
168
169     exec($oCMD->escapedCmd(), $aOutput, $iRet);
170     if ($iRet != 0 || $aOutput[0] == 'None') {
171         fail('Error running pyosmium tools');
172     }
173
174     $oDB->exec('TRUNCATE import_status');
175     $sSQL = "INSERT INTO import_status (lastimportdate, sequence_id, indexed) VALUES('";
176     $sSQL .= $sDatabaseDate."',".$aOutput[0].', true)';
177
178     try {
179         $oDB->exec($sSQL);
180     } catch (\Nominatim\DatabaseError $e) {
181         fail('Could not enter sequence into database.');
182     }
183
184     echo "Done. Database updates will start at sequence $aOutput[0] ($sWindBack)\n";
185 }
186
187 if ($aResult['check-for-updates']) {
188     $aLastState = $oDB->getRow('SELECT sequence_id FROM import_status');
189
190     if (!$aLastState['sequence_id']) {
191         fail('Updates not set up. Please run ./utils/update.php --init-updates.');
192     }
193
194     $oCmd = (new \Nominatim\Shell(CONST_BasePath.'/utils/check_server_for_updates.py'))
195             ->addParams(CONST_Replication_Url)
196             ->addParams($aLastState['sequence_id']);
197     $iRet = $oCmd->run();
198
199     exit($iRet);
200 }
201
202 if (isset($aResult['import-diff']) || isset($aResult['import-file'])) {
203     // import diffs and files directly (e.g. from osmosis --rri)
204     $sNextFile = isset($aResult['import-diff']) ? $aResult['import-diff'] : $aResult['import-file'];
205
206     if (!file_exists($sNextFile)) {
207         fail("Cannot open $sNextFile\n");
208     }
209
210     // Import the file
211     $oCMD = (clone $oOsm2pgsqlCmd)->addParams($sNextFile);
212     echo $oCMD->escapedCmd()."\n";
213     $iRet = $oCMD->run();
214
215     if ($iRet) {
216         fail("Error from osm2pgsql, $iRet\n");
217     }
218
219     // Don't update the import status - we don't know what this file contains
220 }
221
222 if ($aResult['calculate-postcodes']) {
223     info('Update postcodes centroids');
224     $sTemplate = file_get_contents(CONST_BasePath.'/sql/update-postcodes.sql');
225     runSQLScript($sTemplate, true, true);
226 }
227
228 $sTemporaryFile = CONST_BasePath.'/data/osmosischange.osc';
229 $bHaveDiff = false;
230 $bUseOSMApi = isset($aResult['import-from-main-api']) && $aResult['import-from-main-api'];
231 $sContentURL = '';
232 if (isset($aResult['import-node']) && $aResult['import-node']) {
233     if ($bUseOSMApi) {
234         $sContentURL = 'https://www.openstreetmap.org/api/0.6/node/'.$aResult['import-node'];
235     } else {
236         $sContentURL = 'https://overpass-api.de/api/interpreter?data=node('.$aResult['import-node'].');out%20meta;';
237     }
238 }
239
240 if (isset($aResult['import-way']) && $aResult['import-way']) {
241     if ($bUseOSMApi) {
242         $sContentURL = 'https://www.openstreetmap.org/api/0.6/way/'.$aResult['import-way'].'/full';
243     } else {
244         $sContentURL = 'https://overpass-api.de/api/interpreter?data=(way('.$aResult['import-way'].');node(w););out%20meta;';
245     }
246 }
247
248 if (isset($aResult['import-relation']) && $aResult['import-relation']) {
249     if ($bUseOSMApi) {
250         $sContentURLsModifyXMLstr = 'https://www.openstreetmap.org/api/0.6/relation/'.$aResult['import-relation'].'/full';
251     } else {
252         $sContentURL = 'https://overpass-api.de/api/interpreter?data=((rel('.$aResult['import-relation'].');way(r);node(w));node(r));out%20meta;';
253     }
254 }
255
256 if ($sContentURL) {
257     file_put_contents($sTemporaryFile, file_get_contents($sContentURL));
258     $bHaveDiff = true;
259 }
260
261 if ($bHaveDiff) {
262     // import generated change file
263
264     $oCMD = (clone $oOsm2pgsqlCmd)->addParams($sTemporaryFile);
265     echo $oCMD->escapedCmd()."\n";
266
267     $iRet = $oCMD->run();
268     if ($iRet) {
269         fail("osm2pgsql exited with error level $iRet\n");
270     }
271 }
272
273 if ($aResult['recompute-word-counts']) {
274     info('Recompute frequency of full-word search terms');
275     $sTemplate = file_get_contents(CONST_BasePath.'/sql/words_from_search_name.sql');
276     runSQLScript($sTemplate, true, true);
277 }
278
279 if ($aResult['index']) {
280     $oCmd = (clone $oIndexCmd)
281             ->addParams('--minrank', $aResult['index-rank'], '-b');
282     $oCmd->run();
283
284     $oCmd = (clone $oIndexCmd)
285             ->addParams('--minrank', $aResult['index-rank']);
286     $oCmd->run();
287
288     $oDB->exec('update import_status set indexed = true');
289 }
290
291 if ($aResult['update-address-levels']) {
292     echo 'Updating address levels from '.CONST_Address_Level_Config.".\n";
293     $oAlParser = new \Nominatim\Setup\AddressLevelParser(CONST_Address_Level_Config);
294     $oAlParser->createTable($oDB, 'address_levels');
295 }
296
297 if ($aResult['recompute-importance']) {
298     echo "Updating importance values for database.\n";
299     $oDB = new Nominatim\DB();
300     $oDB->connect();
301
302     $sSQL = 'ALTER TABLE placex DISABLE TRIGGER ALL;';
303     $sSQL .= 'UPDATE placex SET (wikipedia, importance) =';
304     $sSQL .= '   (SELECT wikipedia, importance';
305     $sSQL .= '    FROM compute_importance(extratags, country_code, osm_type, osm_id));';
306     $sSQL .= 'UPDATE placex s SET wikipedia = d.wikipedia, importance = d.importance';
307     $sSQL .= ' FROM placex d';
308     $sSQL .= ' WHERE s.place_id = d.linked_place_id and d.wikipedia is not null';
309     $sSQL .= '       and (s.wikipedia is null or s.importance < d.importance);';
310     $sSQL .= 'ALTER TABLE placex ENABLE TRIGGER ALL;';
311     $oDB->exec($sSQL);
312 }
313
314 if ($aResult['import-osmosis'] || $aResult['import-osmosis-all']) {
315     //
316     if (strpos(CONST_Replication_Url, 'download.geofabrik.de') !== false && CONST_Replication_Update_Interval < 86400) {
317         fail('Error: Update interval too low for download.geofabrik.de. ' .
318              "Please check install documentation (https://nominatim.org/release-docs/latest/admin/Import-and-Update#setting-up-the-update-process)\n");
319     }
320
321     $sImportFile = CONST_InstallPath.'/osmosischange.osc';
322
323     $oCMDDownload = (new \Nominatim\Shell(CONST_Pyosmium_Binary))
324                     ->addParams('--server', CONST_Replication_Url)
325                     ->addParams('--outfile', $sImportFile)
326                     ->addParams('--size', CONST_Replication_Max_Diff_size);
327
328     $oCMDImport = (clone $oOsm2pgsqlCmd)->addParams($sImportFile);
329
330     while (true) {
331         $fStartTime = time();
332         $aLastState = $oDB->getRow('SELECT *, EXTRACT (EPOCH FROM lastimportdate) as unix_ts FROM import_status');
333
334         if (!$aLastState['sequence_id']) {
335             echo "Updates not set up. Please run ./utils/update.php --init-updates.\n";
336             exit(1);
337         }
338
339         echo 'Currently at sequence '.$aLastState['sequence_id'].' ('.$aLastState['lastimportdate'].') - '.$aLastState['indexed']." indexed\n";
340
341         $sBatchEnd = $aLastState['lastimportdate'];
342         $iEndSequence = $aLastState['sequence_id'];
343
344         if ($aLastState['indexed']) {
345             // Sleep if the update interval has not yet been reached.
346             $fNextUpdate = $aLastState['unix_ts'] + CONST_Replication_Update_Interval;
347             if ($fNextUpdate > $fStartTime) {
348                 $iSleepTime = $fNextUpdate - $fStartTime;
349                 echo "Waiting for next update for $iSleepTime sec.";
350                 sleep($iSleepTime);
351             }
352
353             // Download the next batch of changes.
354             do {
355                 $fCMDStartTime = time();
356                 $iNextSeq = (int) $aLastState['sequence_id'];
357                 unset($aOutput);
358
359                 $oCMD = (clone $oCMDDownload)->addParams('--start-id', $iNextSeq);
360                 echo $oCMD->escapedCmd()."\n";
361                 if (file_exists($sImportFile)) {
362                     unlink($sImportFile);
363                 }
364                 exec($oCMD->escapedCmd(), $aOutput, $iResult);
365
366                 if ($iResult == 3) {
367                     echo 'No new updates. Sleeping for '.CONST_Replication_Recheck_Interval." sec.\n";
368                     sleep(CONST_Replication_Recheck_Interval);
369                 } elseif ($iResult != 0) {
370                     echo 'ERROR: updates failed.';
371                     exit($iResult);
372                 } else {
373                     $iEndSequence = (int)$aOutput[0];
374                 }
375             } while ($iResult);
376
377             // get the newest object from the diff file
378             $sBatchEnd = 0;
379             $iRet = 0;
380             $oCMD = new \Nominatim\Shell(CONST_BasePath.'/utils/osm_file_date.py', $sImportFile);
381             exec($oCMD->escapedCmd(), $sBatchEnd, $iRet);
382             if ($iRet == 5) {
383                 echo "Diff file is empty. skipping import.\n";
384                 if (!$aResult['import-osmosis-all']) {
385                     exit(0);
386                 } else {
387                     continue;
388                 }
389             }
390             if ($iRet != 0) {
391                 fail('Error getting date from diff file.');
392             }
393             $sBatchEnd = $sBatchEnd[0];
394
395             // Import the file
396             $fCMDStartTime = time();
397
398
399             echo $oCMDImport->escapedCmd()."\n";
400             unset($sJunk);
401             $iErrorLevel = $oCMDImport->run();
402             if ($iErrorLevel) {
403                 echo "Error executing osm2pgsql: $iErrorLevel\n";
404                 exit($iErrorLevel);
405             }
406
407             // write the update logs
408             $iFileSize = filesize($sImportFile);
409             $sSQL = 'INSERT INTO import_osmosis_log';
410             $sSQL .= '(batchend, batchseq, batchsize, starttime, endtime, event)';
411             $sSQL .= " values ('$sBatchEnd',$iEndSequence,$iFileSize,'";
412             $sSQL .= date('Y-m-d H:i:s', $fCMDStartTime)."','";
413             $sSQL .= date('Y-m-d H:i:s')."','import')";
414             var_Dump($sSQL);
415             $oDB->exec($sSQL);
416
417             // update the status
418             $sSQL = "UPDATE import_status SET lastimportdate = '$sBatchEnd', indexed=false, sequence_id = $iEndSequence";
419             var_Dump($sSQL);
420             $oDB->exec($sSQL);
421             echo date('Y-m-d H:i:s')." Completed download step for $sBatchEnd in ".round((time()-$fCMDStartTime)/60, 2)." minutes\n";
422         }
423
424         // Index file
425         if (!$aResult['no-index']) {
426             $fCMDStartTime = time();
427
428             $oThisIndexCmd = clone($oIndexCmd);
429             $oThisIndexCmd->addParams('-b');
430             echo $oThisIndexCmd->escapedCmd()."\n";
431             $iErrorLevel = $oThisIndexCmd->run();
432             if ($iErrorLevel) {
433                 echo "Error: $iErrorLevel\n";
434                 exit($iErrorLevel);
435             }
436
437             $oThisIndexCmd = clone($oIndexCmd);
438             echo $oThisIndexCmd->escapedCmd()."\n";
439             $iErrorLevel = $oThisIndexCmd->run();
440             if ($iErrorLevel) {
441                 echo "Error: $iErrorLevel\n";
442                 exit($iErrorLevel);
443             }
444
445             $sSQL = 'INSERT INTO import_osmosis_log';
446             $sSQL .= '(batchend, batchseq, batchsize, starttime, endtime, event)';
447             $sSQL .= " values ('$sBatchEnd',$iEndSequence,NULL,'";
448             $sSQL .= date('Y-m-d H:i:s', $fCMDStartTime)."','";
449             $sSQL .= date('Y-m-d H:i:s')."','index')";
450             var_Dump($sSQL);
451             $oDB->exec($sSQL);
452             echo date('Y-m-d H:i:s')." Completed index step for $sBatchEnd in ".round((time()-$fCMDStartTime)/60, 2)." minutes\n";
453
454             $sSQL = 'update import_status set indexed = true';
455             $oDB->exec($sSQL);
456         } else {
457             if ($aResult['import-osmosis-all']) {
458                 echo "Error: --no-index cannot be used with continuous imports (--import-osmosis-all).\n";
459                 exit(1);
460             }
461         }
462
463         $fDuration = time() - $fStartTime;
464         echo date('Y-m-d H:i:s')." Completed all for $sBatchEnd in ".round($fDuration/60, 2)." minutes\n";
465         if (!$aResult['import-osmosis-all']) exit(0);
466     }
467 }