utils/update.php

   1 <?php
   2
   3 require_once(CONST_BasePath.'/lib/init-cmd.php');
   4 require_once(CONST_BasePath.'/lib/setup_functions.php');
   5 require_once(CONST_BasePath.'/lib/setup/SetupClass.php');
   6 require_once(CONST_BasePath.'/lib/setup/AddressLevelParser.php');
   7
   8 ini_set('memory_limit', '800M');
   9
  10 use Nominatim\Setup\SetupFunctions as SetupFunctions;
  11
  12 // (long-opt, short-opt, min-occurs, max-occurs, num-arguments, num-arguments, type, help)
  13 $aCMDOptions
  14 = array(
  15    'Import / update / index osm data',
  16    array('help', 'h', 0, 1, 0, 0, false, 'Show Help'),
  17    array('quiet', 'q', 0, 1, 0, 0, 'bool', 'Quiet output'),
  18    array('verbose', 'v', 0, 1, 0, 0, 'bool', 'Verbose output'),
  19
  20    array('init-updates', '', 0, 1, 0, 0, 'bool', 'Set up database for updating'),
  21    array('check-for-updates', '', 0, 1, 0, 0, 'bool', 'Check if new updates are available'),
  22    array('no-update-functions', '', 0, 1, 0, 0, 'bool', 'Do not update trigger functions to support differential updates (assuming the diff update logic is already present)'),
  23    array('import-osmosis', '', 0, 1, 0, 0, 'bool', 'Import updates once'),
  24    array('import-osmosis-all', '', 0, 1, 0, 0, 'bool', 'Import updates forever'),
  25    array('no-index', '', 0, 1, 0, 0, 'bool', 'Do not index the new data'),
  26
  27    array('calculate-postcodes', '', 0, 1, 0, 0, 'bool', 'Update postcode centroid table'),
  28
  29    array('import-file', '', 0, 1, 1, 1, 'realpath', 'Re-import data from an OSM file'),
  30    array('import-diff', '', 0, 1, 1, 1, 'realpath', 'Import a diff (osc) file from local file system'),
  31    array('osm2pgsql-cache', '', 0, 1, 1, 1, 'int', 'Cache size used by osm2pgsql'),
  32
  33    array('import-node', '', 0, 1, 1, 1, 'int', 'Re-import node'),
  34    array('import-way', '', 0, 1, 1, 1, 'int', 'Re-import way'),
  35    array('import-relation', '', 0, 1, 1, 1, 'int', 'Re-import relation'),
  36    array('import-from-main-api', '', 0, 1, 0, 0, 'bool', 'Use OSM API instead of Overpass to download objects'),
  37
  38    array('index', '', 0, 1, 0, 0, 'bool', 'Index'),
  39    array('index-rank', '', 0, 1, 1, 1, 'int', 'Rank to start indexing from'),
  40    array('index-instances', '', 0, 1, 1, 1, 'int', 'Number of indexing instances (threads)'),
  41
  42    array('recompute-word-counts', '', 0, 1, 0, 0, 'bool', 'Compute frequency of full-word search terms'),
  43    array('update-address-levels', '', 0, 1, 0, 0, 'bool', 'Reimport address level configuration (EXPERT)'),
  44    array('recompute-importance', '', 0, 1, 0, 0, 'bool', 'Recompute place importances')
  45   );
  46
  47 getCmdOpt($_SERVER['argv'], $aCMDOptions, $aResult, true, true);
  48
  49 if (!isset($aResult['index-instances'])) $aResult['index-instances'] = 1;
  50 if (!isset($aResult['index-rank'])) $aResult['index-rank'] = 0;
  51
  52 date_default_timezone_set('Etc/UTC');
  53
  54 $oDB = new Nominatim\DB();
  55 $oDB->connect();
  56 $fPostgresVersion = $oDB->getPostgresVersion();
  57
  58 $aDSNInfo = Nominatim\DB::parseDSN(CONST_Database_DSN);
  59 if (!isset($aDSNInfo['port']) || !$aDSNInfo['port']) $aDSNInfo['port'] = 5432;
  60
  61 // cache memory to be used by osm2pgsql, should not be more than the available memory
  62 $iCacheMemory = (isset($aResult['osm2pgsql-cache'])?$aResult['osm2pgsql-cache']:2000);
  63 if ($iCacheMemory + 500 > getTotalMemoryMB()) {
  64     $iCacheMemory = getCacheMemoryMB();
  65     echo "WARNING: resetting cache memory to $iCacheMemory\n";
  66 }
  67
  68 $oOsm2pgsqlCmd = (new \Nominatim\Shell(CONST_Osm2pgsql_Binary))
  69                  ->addParams('--hstore')
  70                  ->addParams('--latlong')
  71                  ->addParams('--append')
  72                  ->addParams('--slim')
  73                  ->addParams('--number-processes', 1)
  74                  ->addParams('--cache', $iCacheMemory)
  75                  ->addParams('--output', 'gazetteer')
  76                  ->addParams('--style', CONST_Import_Style)
  77                  ->addParams('--database', $aDSNInfo['database'])
  78                  ->addParams('--port', $aDSNInfo['port']);
  79
  80 if (isset($aDSNInfo['hostspec']) && $aDSNInfo['hostspec']) {
  81     $oOsm2pgsqlCmd->addParams('--host', $aDSNInfo['hostspec']);
  82 }
  83 if (isset($aDSNInfo['username']) && $aDSNInfo['username']) {
  84     $oOsm2pgsqlCmd->addParams('--user', $aDSNInfo['username']);
  85 }
  86 if (isset($aDSNInfo['password']) && $aDSNInfo['password']) {
  87     $oOsm2pgsqlCmd->addEnvPair('PGPASSWORD', $aDSNInfo['password']);
  88 }
  89 if (!is_null(CONST_Osm2pgsql_Flatnode_File) && CONST_Osm2pgsql_Flatnode_File) {
  90     $oOsm2pgsqlCmd->addParams('--flat-nodes', CONST_Osm2pgsql_Flatnode_File);
  91 }
  92 if ($fPostgresVersion >= 11.0) {
  93     $oOsm2pgsqlCmd->addEnvPair(
  94         'PGOPTIONS',
  95         '-c jit=off -c max_parallel_workers_per_gather=0'
  96     );
  97 }
  98
  99
 100 $oIndexCmd = (new \Nominatim\Shell(CONST_BasePath.'/nominatim/nominatim.py'))
 101              ->addParams('--database', $aDSNInfo['database'])
 102              ->addParams('--port', $aDSNInfo['port'])
 103              ->addParams('--threads', $aResult['index-instances']);
 104 if (!$aResult['quiet']) {
 105     $oIndexCmd->addParams('--verbose');
 106 }
 107 if ($aResult['verbose']) {
 108     $oIndexCmd->addParams('--verbose');
 109 }
 110 if (isset($aDSNInfo['hostspec']) && $aDSNInfo['hostspec']) {
 111     $oIndexCmd->addParams('--host', $aDSNInfo['hostspec']);
 112 }
 113 if (isset($aDSNInfo['username']) && $aDSNInfo['username']) {
 114     $oIndexCmd->addParams('--username', $aDSNInfo['username']);
 115 }
 116 if (isset($aDSNInfo['password']) && $aDSNInfo['password']) {
 117     $oIndexCmd->addEnvPair('PGPASSWORD', $aDSNInfo['password']);
 118 }
 119
 120
 121 if ($aResult['init-updates']) {
 122     // sanity check that the replication URL is correct
 123     $sBaseState = file_get_contents(CONST_Replication_Url.'/state.txt');
 124     if ($sBaseState === false) {
 125         echo "\nCannot find state.txt file at the configured replication URL.\n";
 126         echo "Does the URL point to a directory containing OSM update data?\n\n";
 127         fail('replication URL not reachable.');
 128     }
 129     // sanity check for pyosmium-get-changes
 130     if (!CONST_Pyosmium_Binary) {
 131         echo "\nCONST_Pyosmium_Binary not configured.\n";
 132         echo "You need to install pyosmium and set up the path to pyosmium-get-changes\n";
 133         echo "in your local settings file.\n\n";
 134         fail('CONST_Pyosmium_Binary not configured');
 135     }
 136
 137     $aOutput = 0;
 138     $oCMD = new \Nominatim\Shell(CONST_Pyosmium_Binary, '--help');
 139     exec($oCMD->escapedCmd(), $aOutput, $iRet);
 140
 141     if ($iRet != 0) {
 142         echo "Cannot execute pyosmium-get-changes.\n";
 143         echo "Make sure you have pyosmium installed correctly\n";
 144         echo "and have set up CONST_Pyosmium_Binary to point to pyosmium-get-changes.\n";
 145         fail('pyosmium-get-changes not found or not usable');
 146     }
 147
 148     if (!$aResult['no-update-functions']) {
 149         // instantiate setupClass to use the function therein
 150         $cSetup = new SetupFunctions(array(
 151                                       'enable-diff-updates' => true,
 152                                       'verbose' => $aResult['verbose']
 153                                      ));
 154         $cSetup->createFunctions();
 155     }
 156
 157     $sDatabaseDate = getDatabaseDate($oDB);
 158     if (!$sDatabaseDate) {
 159         fail('Cannot determine date of database.');
 160     }
 161     $sWindBack = strftime('%Y-%m-%dT%H:%M:%SZ', strtotime($sDatabaseDate) - (3*60*60));
 162
 163     // get the appropriate state id
 164     $aOutput = 0;
 165     $oCMD = (new \Nominatim\Shell(CONST_Pyosmium_Binary))
 166             ->addParams('--start-date', $sWindBack)
 167             ->addParams('--server', CONST_Replication_Url);
 168
 169     exec($oCMD->escapedCmd(), $aOutput, $iRet);
 170     if ($iRet != 0 || $aOutput[0] == 'None') {
 171         fail('Error running pyosmium tools');
 172     }
 173
 174     $oDB->exec('TRUNCATE import_status');
 175     $sSQL = "INSERT INTO import_status (lastimportdate, sequence_id, indexed) VALUES('";
 176     $sSQL .= $sDatabaseDate."',".$aOutput[0].', true)';
 177
 178     try {
 179         $oDB->exec($sSQL);
 180     } catch (\Nominatim\DatabaseError $e) {
 181         fail('Could not enter sequence into database.');
 182     }
 183
 184     echo "Done. Database updates will start at sequence $aOutput[0] ($sWindBack)\n";
 185 }
 186
 187 if ($aResult['check-for-updates']) {
 188     $aLastState = $oDB->getRow('SELECT sequence_id FROM import_status');
 189
 190     if (!$aLastState['sequence_id']) {
 191         fail('Updates not set up. Please run ./utils/update.php --init-updates.');
 192     }
 193
 194     $oCmd = (new \Nominatim\Shell(CONST_BasePath.'/utils/check_server_for_updates.py'))
 195             ->addParams(CONST_Replication_Url)
 196             ->addParams($aLastState['sequence_id']);
 197     $iRet = $oCmd->run();
 198
 199     exit($iRet);
 200 }
 201
 202 if (isset($aResult['import-diff']) || isset($aResult['import-file'])) {
 203     // import diffs and files directly (e.g. from osmosis --rri)
 204     $sNextFile = isset($aResult['import-diff']) ? $aResult['import-diff'] : $aResult['import-file'];
 205
 206     if (!file_exists($sNextFile)) {
 207         fail("Cannot open $sNextFile\n");
 208     }
 209
 210     // Import the file
 211     $oCMD = (clone $oOsm2pgsqlCmd)->addParams($sNextFile);
 212     echo $oCMD->escapedCmd()."\n";
 213     $iRet = $oCMD->run();
 214
 215     if ($iRet) {
 216         fail("Error from osm2pgsql, $iRet\n");
 217     }
 218
 219     // Don't update the import status - we don't know what this file contains
 220 }
 221
 222 if ($aResult['calculate-postcodes']) {
 223     info('Update postcodes centroids');
 224     $sTemplate = file_get_contents(CONST_BasePath.'/sql/update-postcodes.sql');
 225     runSQLScript($sTemplate, true, true);
 226 }
 227
 228 $sTemporaryFile = CONST_BasePath.'/data/osmosischange.osc';
 229 $bHaveDiff = false;
 230 $bUseOSMApi = isset($aResult['import-from-main-api']) && $aResult['import-from-main-api'];
 231 $sContentURL = '';
 232 if (isset($aResult['import-node']) && $aResult['import-node']) {
 233     if ($bUseOSMApi) {
 234         $sContentURL = 'https://www.openstreetmap.org/api/0.6/node/'.$aResult['import-node'];
 235     } else {
 236         $sContentURL = 'https://overpass-api.de/api/interpreter?data=node('.$aResult['import-node'].');out%20meta;';
 237     }
 238 }
 239
 240 if (isset($aResult['import-way']) && $aResult['import-way']) {
 241     if ($bUseOSMApi) {
 242         $sContentURL = 'https://www.openstreetmap.org/api/0.6/way/'.$aResult['import-way'].'/full';
 243     } else {
 244         $sContentURL = 'https://overpass-api.de/api/interpreter?data=(way('.$aResult['import-way'].');node(w););out%20meta;';
 245     }
 246 }
 247
 248 if (isset($aResult['import-relation']) && $aResult['import-relation']) {
 249     if ($bUseOSMApi) {
 250         $sContentURLsModifyXMLstr = 'https://www.openstreetmap.org/api/0.6/relation/'.$aResult['import-relation'].'/full';
 251     } else {
 252         $sContentURL = 'https://overpass-api.de/api/interpreter?data=((rel('.$aResult['import-relation'].');way(r);node(w));node(r));out%20meta;';
 253     }
 254 }
 255
 256 if ($sContentURL) {
 257     file_put_contents($sTemporaryFile, file_get_contents($sContentURL));
 258     $bHaveDiff = true;
 259 }
 260
 261 if ($bHaveDiff) {
 262     // import generated change file
 263
 264     $oCMD = (clone $oOsm2pgsqlCmd)->addParams($sTemporaryFile);
 265     echo $oCMD->escapedCmd()."\n";
 266
 267     $iRet = $oCMD->run();
 268     if ($iRet) {
 269         fail("osm2pgsql exited with error level $iRet\n");
 270     }
 271 }
 272
 273 if ($aResult['recompute-word-counts']) {
 274     info('Recompute frequency of full-word search terms');
 275     $sTemplate = file_get_contents(CONST_BasePath.'/sql/words_from_search_name.sql');
 276     runSQLScript($sTemplate, true, true);
 277 }
 278
 279 if ($aResult['index']) {
 280     $oCmd = (clone $oIndexCmd)
 281             ->addParams('--minrank', $aResult['index-rank']);
 282
 283     // echo $oCmd->escapedCmd()."\n";
 284     $oCmd->run();
 285
 286     $oDB->exec('update import_status set indexed = true');
 287 }
 288
 289 if ($aResult['update-address-levels']) {
 290     echo 'Updating address levels from '.CONST_Address_Level_Config.".\n";
 291     $oAlParser = new \Nominatim\Setup\AddressLevelParser(CONST_Address_Level_Config);
 292     $oAlParser->createTable($oDB, 'address_levels');
 293 }
 294
 295 if ($aResult['recompute-importance']) {
 296     echo "Updating importance values for database.\n";
 297     $oDB = new Nominatim\DB();
 298     $oDB->connect();
 299
 300     $sSQL = 'ALTER TABLE placex DISABLE TRIGGER ALL;';
 301     $sSQL .= 'UPDATE placex SET (wikipedia, importance) =';
 302     $sSQL .= '   (SELECT wikipedia, importance';
 303     $sSQL .= '    FROM compute_importance(extratags, country_code, osm_type, osm_id));';
 304     $sSQL .= 'UPDATE placex s SET wikipedia = d.wikipedia, importance = d.importance';
 305     $sSQL .= ' FROM placex d';
 306     $sSQL .= ' WHERE s.place_id = d.linked_place_id and d.wikipedia is not null';
 307     $sSQL .= '       and (s.wikipedia is null or s.importance < d.importance);';
 308     $sSQL .= 'ALTER TABLE placex ENABLE TRIGGER ALL;';
 309     $oDB->exec($sSQL);
 310 }
 311
 312 if ($aResult['import-osmosis'] || $aResult['import-osmosis-all']) {
 313     //
 314     if (strpos(CONST_Replication_Url, 'download.geofabrik.de') !== false && CONST_Replication_Update_Interval < 86400) {
 315         fail('Error: Update interval too low for download.geofabrik.de. ' .
 316              "Please check install documentation (https://nominatim.org/release-docs/latest/admin/Import-and-Update#setting-up-the-update-process)\n");
 317     }
 318
 319     $sImportFile = CONST_InstallPath.'/osmosischange.osc';
 320
 321     $oCMDDownload = (new \Nominatim\Shell(CONST_Pyosmium_Binary))
 322                     ->addParams('--server', CONST_Replication_Url)
 323                     ->addParams('--outfile', $sImportFile)
 324                     ->addParams('--size', CONST_Replication_Max_Diff_size);
 325
 326     $oCMDImport = (clone $oOsm2pgsqlCmd)->addParams($sImportFile);
 327
 328     while (true) {
 329         $fStartTime = time();
 330         $aLastState = $oDB->getRow('SELECT *, EXTRACT (EPOCH FROM lastimportdate) as unix_ts FROM import_status');
 331
 332         if (!$aLastState['sequence_id']) {
 333             echo "Updates not set up. Please run ./utils/update.php --init-updates.\n";
 334             exit(1);
 335         }
 336
 337         echo 'Currently at sequence '.$aLastState['sequence_id'].' ('.$aLastState['lastimportdate'].') - '.$aLastState['indexed']." indexed\n";
 338
 339         $sBatchEnd = $aLastState['lastimportdate'];
 340         $iEndSequence = $aLastState['sequence_id'];
 341
 342         if ($aLastState['indexed']) {
 343             // Sleep if the update interval has not yet been reached.
 344             $fNextUpdate = $aLastState['unix_ts'] + CONST_Replication_Update_Interval;
 345             if ($fNextUpdate > $fStartTime) {
 346                 $iSleepTime = $fNextUpdate - $fStartTime;
 347                 echo "Waiting for next update for $iSleepTime sec.";
 348                 sleep($iSleepTime);
 349             }
 350
 351             // Download the next batch of changes.
 352             do {
 353                 $fCMDStartTime = time();
 354                 $iNextSeq = (int) $aLastState['sequence_id'];
 355                 unset($aOutput);
 356
 357                 $oCMD = (clone $oCMDDownload)->addParams('--start-id', $iNextSeq);
 358                 echo $oCMD->escapedCmd()."\n";
 359                 if (file_exists($sImportFile)) {
 360                     unlink($sImportFile);
 361                 }
 362                 exec($oCMD->escapedCmd(), $aOutput, $iResult);
 363
 364                 if ($iResult == 3) {
 365                     echo 'No new updates. Sleeping for '.CONST_Replication_Recheck_Interval." sec.\n";
 366                     sleep(CONST_Replication_Recheck_Interval);
 367                 } elseif ($iResult != 0) {
 368                     echo 'ERROR: updates failed.';
 369                     exit($iResult);
 370                 } else {
 371                     $iEndSequence = (int)$aOutput[0];
 372                 }
 373             } while ($iResult);
 374
 375             // get the newest object from the diff file
 376             $sBatchEnd = 0;
 377             $iRet = 0;
 378             $oCMD = new \Nominatim\Shell(CONST_BasePath.'/utils/osm_file_date.py', $sImportFile);
 379             exec($oCMD->escapedCmd(), $sBatchEnd, $iRet);
 380             if ($iRet == 5) {
 381                 echo "Diff file is empty. skipping import.\n";
 382                 if (!$aResult['import-osmosis-all']) {
 383                     exit(0);
 384                 } else {
 385                     continue;
 386                 }
 387             }
 388             if ($iRet != 0) {
 389                 fail('Error getting date from diff file.');
 390             }
 391             $sBatchEnd = $sBatchEnd[0];
 392
 393             // Import the file
 394             $fCMDStartTime = time();
 395
 396
 397             echo $oCMDImport->escapedCmd()."\n";
 398             unset($sJunk);
 399             $iErrorLevel = $oCMDImport->run();
 400             if ($iErrorLevel) {
 401                 echo "Error executing osm2pgsql: $iErrorLevel\n";
 402                 exit($iErrorLevel);
 403             }
 404
 405             // write the update logs
 406             $iFileSize = filesize($sImportFile);
 407             $sSQL = 'INSERT INTO import_osmosis_log';
 408             $sSQL .= '(batchend, batchseq, batchsize, starttime, endtime, event)';
 409             $sSQL .= " values ('$sBatchEnd',$iEndSequence,$iFileSize,'";
 410             $sSQL .= date('Y-m-d H:i:s', $fCMDStartTime)."','";
 411             $sSQL .= date('Y-m-d H:i:s')."','import')";
 412             var_Dump($sSQL);
 413             $oDB->exec($sSQL);
 414
 415             // update the status
 416             $sSQL = "UPDATE import_status SET lastimportdate = '$sBatchEnd', indexed=false, sequence_id = $iEndSequence";
 417             var_Dump($sSQL);
 418             $oDB->exec($sSQL);
 419             echo date('Y-m-d H:i:s')." Completed download step for $sBatchEnd in ".round((time()-$fCMDStartTime)/60, 2)." minutes\n";
 420         }
 421
 422         // Index file
 423         if (!$aResult['no-index']) {
 424             $oThisIndexCmd = clone($oIndexCmd);
 425             $fCMDStartTime = time();
 426
 427             echo $oThisIndexCmd->escapedCmd()."\n";
 428             $iErrorLevel = $oThisIndexCmd->run();
 429             if ($iErrorLevel) {
 430                 echo "Error: $iErrorLevel\n";
 431                 exit($iErrorLevel);
 432             }
 433
 434             $sSQL = 'INSERT INTO import_osmosis_log';
 435             $sSQL .= '(batchend, batchseq, batchsize, starttime, endtime, event)';
 436             $sSQL .= " values ('$sBatchEnd',$iEndSequence,NULL,'";
 437             $sSQL .= date('Y-m-d H:i:s', $fCMDStartTime)."','";
 438             $sSQL .= date('Y-m-d H:i:s')."','index')";
 439             var_Dump($sSQL);
 440             $oDB->exec($sSQL);
 441             echo date('Y-m-d H:i:s')." Completed index step for $sBatchEnd in ".round((time()-$fCMDStartTime)/60, 2)." minutes\n";
 442
 443             $sSQL = 'update import_status set indexed = true';
 444             $oDB->exec($sSQL);
 445         } else {
 446             if ($aResult['import-osmosis-all']) {
 447                 echo "Error: --no-index cannot be used with continuous imports (--import-osmosis-all).\n";
 448                 exit(1);
 449             }
 450         }
 451
 452         $fDuration = time() - $fStartTime;
 453         echo date('Y-m-d H:i:s')." Completed all for $sBatchEnd in ".round($fDuration/60, 2)." minutes\n";
 454         if (!$aResult['import-osmosis-all']) exit(0);
 455     }
 456 }