utils/update.php

   1 <?php
   2
   3 require_once(CONST_BasePath.'/lib/init-cmd.php');
   4 require_once(CONST_BasePath.'/lib/setup_functions.php');
   5 require_once(CONST_BasePath.'/lib/setup/SetupClass.php');
   6 require_once(CONST_BasePath.'/lib/setup/AddressLevelParser.php');
   7
   8 ini_set('memory_limit', '800M');
   9
  10 use Nominatim\Setup\SetupFunctions as SetupFunctions;
  11
  12 // (long-opt, short-opt, min-occurs, max-occurs, num-arguments, num-arguments, type, help)
  13 $aCMDOptions
  14 = array(
  15    'Import / update / index osm data',
  16    array('help', 'h', 0, 1, 0, 0, false, 'Show Help'),
  17    array('quiet', 'q', 0, 1, 0, 0, 'bool', 'Quiet output'),
  18    array('verbose', 'v', 0, 1, 0, 0, 'bool', 'Verbose output'),
  19
  20    array('init-updates', '', 0, 1, 0, 0, 'bool', 'Set up database for updating'),
  21    array('check-for-updates', '', 0, 1, 0, 0, 'bool', 'Check if new updates are available'),
  22    array('no-update-functions', '', 0, 1, 0, 0, 'bool', 'Do not update trigger functions to support differential updates (assuming the diff update logic is already present)'),
  23    array('import-osmosis', '', 0, 1, 0, 0, 'bool', 'Import updates once'),
  24    array('import-osmosis-all', '', 0, 1, 0, 0, 'bool', 'Import updates forever'),
  25    array('no-index', '', 0, 1, 0, 0, 'bool', 'Do not index the new data'),
  26
  27    array('calculate-postcodes', '', 0, 1, 0, 0, 'bool', 'Update postcode centroid table'),
  28
  29    array('import-file', '', 0, 1, 1, 1, 'realpath', 'Re-import data from an OSM file'),
  30    array('import-diff', '', 0, 1, 1, 1, 'realpath', 'Import a diff (osc) file from local file system'),
  31    array('osm2pgsql-cache', '', 0, 1, 1, 1, 'int', 'Cache size used by osm2pgsql'),
  32
  33    array('import-node', '', 0, 1, 1, 1, 'int', 'Re-import node'),
  34    array('import-way', '', 0, 1, 1, 1, 'int', 'Re-import way'),
  35    array('import-relation', '', 0, 1, 1, 1, 'int', 'Re-import relation'),
  36    array('import-from-main-api', '', 0, 1, 0, 0, 'bool', 'Use OSM API instead of Overpass to download objects'),
  37
  38    array('index', '', 0, 1, 0, 0, 'bool', 'Index'),
  39    array('index-rank', '', 0, 1, 1, 1, 'int', 'Rank to start indexing from'),
  40    array('index-instances', '', 0, 1, 1, 1, 'int', 'Number of indexing instances (threads)'),
  41
  42    array('deduplicate', '', 0, 1, 0, 0, 'bool', 'Deduplicate tokens'),
  43    array('recompute-word-counts', '', 0, 1, 0, 0, 'bool', 'Compute frequency of full-word search terms'),
  44    array('update-address-levels', '', 0, 1, 0, 0, 'bool', 'Reimport address level configuration (EXPERT)'),
  45    array('no-npi', '', 0, 1, 0, 0, 'bool', '(obsolete)'),
  46   );
  47
  48 getCmdOpt($_SERVER['argv'], $aCMDOptions, $aResult, true, true);
  49
  50 if (!isset($aResult['index-instances'])) $aResult['index-instances'] = 1;
  51 if (!isset($aResult['index-rank'])) $aResult['index-rank'] = 0;
  52
  53 date_default_timezone_set('Etc/UTC');
  54
  55 $oDB =& getDB();
  56
  57 $aDSNInfo = DB::parseDSN(CONST_Database_DSN);
  58 if (!isset($aDSNInfo['port']) || !$aDSNInfo['port']) $aDSNInfo['port'] = 5432;
  59
  60 // cache memory to be used by osm2pgsql, should not be more than the available memory
  61 $iCacheMemory = (isset($aResult['osm2pgsql-cache'])?$aResult['osm2pgsql-cache']:2000);
  62 if ($iCacheMemory + 500 > getTotalMemoryMB()) {
  63     $iCacheMemory = getCacheMemoryMB();
  64     echo "WARNING: resetting cache memory to $iCacheMemory\n";
  65 }
  66 $sOsm2pgsqlCmd = CONST_Osm2pgsql_Binary.' -klas --number-processes 1 -C '.$iCacheMemory.' -O gazetteer -S '.CONST_Import_Style.' -d '.$aDSNInfo['database'].' -P '.$aDSNInfo['port'];
  67 if (isset($aDSNInfo['username']) && $aDSNInfo['username']) {
  68     $sOsm2pgsqlCmd .= ' -U ' . $aDSNInfo['username'];
  69 }
  70 if (isset($aDSNInfo['hostspec']) && $aDSNInfo['hostspec']) {
  71     $sOsm2pgsqlCmd .= ' -H ' . $aDSNInfo['hostspec'];
  72 }
  73 $aProcEnv = null;
  74 if (isset($aDSNInfo['password']) && $aDSNInfo['password']) {
  75     $aProcEnv = array_merge(array('PGPASSWORD' => $aDSNInfo['password']), $_ENV);
  76 }
  77
  78 if (!is_null(CONST_Osm2pgsql_Flatnode_File) && CONST_Osm2pgsql_Flatnode_File) {
  79     $sOsm2pgsqlCmd .= ' --flat-nodes '.CONST_Osm2pgsql_Flatnode_File;
  80 }
  81
  82 if ($aResult['init-updates']) {
  83     // sanity check that the replication URL is correct
  84     $sBaseState = file_get_contents(CONST_Replication_Url.'/state.txt');
  85     if ($sBaseState === false) {
  86         echo "\nCannot find state.txt file at the configured replication URL.\n";
  87         echo "Does the URL point to a directory containing OSM update data?\n\n";
  88         fail('replication URL not reachable.');
  89     }
  90     // sanity check for pyosmium-get-changes
  91     if (!CONST_Pyosmium_Binary) {
  92         echo "\nCONST_Pyosmium_Binary not configured.\n";
  93         echo "You need to install pyosmium and set up the path to pyosmium-get-changes\n";
  94         echo "in your local settings file.\n\n";
  95         fail('CONST_Pyosmium_Binary not configured');
  96     }
  97     $aOutput = 0;
  98     $sCmd = CONST_Pyosmium_Binary.' --help';
  99     exec($sCmd, $aOutput, $iRet);
 100     if ($iRet != 0) {
 101         echo "Cannot execute pyosmium-get-changes.\n";
 102         echo "Make sure you have pyosmium installed correctly\n";
 103         echo "and have set up CONST_Pyosmium_Binary to point to pyosmium-get-changes.\n";
 104         fail('pyosmium-get-changes not found or not usable');
 105     }
 106
 107     if (!$aResult['no-update-functions']) {
 108         // instantiate setupClass to use the function therein
 109         $cSetup = new SetupFunctions(array(
 110                                       'enable-diff-updates' => true,
 111                                       'verbose' => $aResult['verbose']
 112                                      ));
 113         $cSetup->connect();
 114         $cSetup->createFunctions();
 115     }
 116
 117     $sDatabaseDate = getDatabaseDate($oDB);
 118     if ($sDatabaseDate === false) {
 119         fail('Cannot determine date of database.');
 120     }
 121     $sWindBack = strftime('%Y-%m-%dT%H:%M:%SZ', strtotime($sDatabaseDate) - (3*60*60));
 122
 123     // get the appropriate state id
 124     $aOutput = 0;
 125     $sCmd = CONST_Pyosmium_Binary.' -D '.$sWindBack.' --server '.CONST_Replication_Url;
 126     exec($sCmd, $aOutput, $iRet);
 127     if ($iRet != 0 || $aOutput[0] == 'None') {
 128         fail('Error running pyosmium tools');
 129     }
 130
 131     pg_query($oDB->connection, 'TRUNCATE import_status');
 132     $sSQL = "INSERT INTO import_status (lastimportdate, sequence_id, indexed) VALUES('";
 133     $sSQL .= $sDatabaseDate."',".$aOutput[0].', true)';
 134     if (!pg_query($oDB->connection, $sSQL)) {
 135         fail('Could not enter sequence into database.');
 136     }
 137
 138     echo "Done. Database updates will start at sequence $aOutput[0] ($sWindBack)\n";
 139 }
 140
 141 if ($aResult['check-for-updates']) {
 142     $aLastState = chksql($oDB->getRow('SELECT sequence_id FROM import_status'));
 143
 144     if (!$aLastState['sequence_id']) {
 145         fail('Updates not set up. Please run ./utils/update.php --init-updates.');
 146     }
 147
 148     system(CONST_BasePath.'/utils/check_server_for_updates.py '.CONST_Replication_Url.' '.$aLastState['sequence_id'], $iRet);
 149     exit($iRet);
 150 }
 151
 152 if (isset($aResult['import-diff']) || isset($aResult['import-file'])) {
 153     // import diffs and files directly (e.g. from osmosis --rri)
 154     $sNextFile = isset($aResult['import-diff']) ? $aResult['import-diff'] : $aResult['import-file'];
 155
 156     if (!file_exists($sNextFile)) {
 157         fail("Cannot open $sNextFile\n");
 158     }
 159
 160     // Import the file
 161     $sCMD = $sOsm2pgsqlCmd.' '.$sNextFile;
 162     echo $sCMD."\n";
 163     $iErrorLevel = runWithEnv($sCMD, $aProcEnv);
 164
 165     if ($iErrorLevel) {
 166         fail("Error from osm2pgsql, $iErrorLevel\n");
 167     }
 168
 169     // Don't update the import status - we don't know what this file contains
 170 }
 171
 172 if ($aResult['calculate-postcodes']) {
 173     info('Update postcodes centroids');
 174     $sTemplate = file_get_contents(CONST_BasePath.'/sql/update-postcodes.sql');
 175     runSQLScript($sTemplate, true, true);
 176 }
 177
 178 $sTemporaryFile = CONST_BasePath.'/data/osmosischange.osc';
 179 $bHaveDiff = false;
 180 $bUseOSMApi = isset($aResult['import-from-main-api']) && $aResult['import-from-main-api'];
 181 $sContentURL = '';
 182 if (isset($aResult['import-node']) && $aResult['import-node']) {
 183     if ($bUseOSMApi) {
 184         $sContentURL = 'https://www.openstreetmap.org/api/0.6/node/'.$aResult['import-node'];
 185     } else {
 186         $sContentURL = 'https://overpass-api.de/api/interpreter?data=node('.$aResult['import-node'].');out%20meta;';
 187     }
 188 }
 189
 190 if (isset($aResult['import-way']) && $aResult['import-way']) {
 191     if ($bUseOSMApi) {
 192         $sContentURL = 'https://www.openstreetmap.org/api/0.6/way/'.$aResult['import-way'].'/full';
 193     } else {
 194         $sContentURL = 'https://overpass-api.de/api/interpreter?data=(way('.$aResult['import-way'].');node(w););out%20meta;';
 195     }
 196 }
 197
 198 if (isset($aResult['import-relation']) && $aResult['import-relation']) {
 199     if ($bUseOSMApi) {
 200         $sContentURLsModifyXMLstr = 'https://www.openstreetmap.org/api/0.6/relation/'.$aResult['import-relation'].'/full';
 201     } else {
 202         $sContentURL = 'https://overpass-api.de/api/interpreter?data=((rel('.$aResult['import-relation'].');way(r);node(w));node(r));out%20meta;';
 203     }
 204 }
 205
 206 if ($sContentURL) {
 207     file_put_contents($sTemporaryFile, file_get_contents($sContentURL));
 208     $bHaveDiff = true;
 209 }
 210
 211 if ($bHaveDiff) {
 212     // import generated change file
 213     $sCMD = $sOsm2pgsqlCmd.' '.$sTemporaryFile;
 214     echo $sCMD."\n";
 215     $iErrorLevel = runWithEnv($sCMD, $aProcEnv);
 216     if ($iErrorLevel) {
 217         fail("osm2pgsql exited with error level $iErrorLevel\n");
 218     }
 219 }
 220
 221 if ($aResult['deduplicate']) {
 222     $oDB =& getDB();
 223
 224     if (getPostgresVersion($oDB) < 9.3) {
 225         fail('ERROR: deduplicate is only currently supported in postgresql 9.3');
 226     }
 227
 228     $sSQL = 'select partition from country_name order by country_code';
 229     $aPartitions = chksql($oDB->getCol($sSQL));
 230     $aPartitions[] = 0;
 231
 232     // we don't care about empty search_name_* partitions, they can't contain mentions of duplicates
 233     foreach ($aPartitions as $i => $sPartition) {
 234         $sSQL = 'select count(*) from search_name_'.$sPartition;
 235         $nEntries = chksql($oDB->getOne($sSQL));
 236         if ($nEntries == 0) {
 237             unset($aPartitions[$i]);
 238         }
 239     }
 240
 241     $sSQL = "select word_token,count(*) from word where substr(word_token, 1, 1) = ' '";
 242     $sSQL .= ' and class is null and type is null and country_code is null';
 243     $sSQL .= ' group by word_token having count(*) > 1 order by word_token';
 244     $aDuplicateTokens = chksql($oDB->getAll($sSQL));
 245     foreach ($aDuplicateTokens as $aToken) {
 246         if (trim($aToken['word_token']) == '' || trim($aToken['word_token']) == '-') continue;
 247         echo 'Deduping '.$aToken['word_token']."\n";
 248         $sSQL = 'select word_id,';
 249         $sSQL .= ' (select count(*) from search_name where nameaddress_vector @> ARRAY[word_id]) as num';
 250         $sSQL .= " from word where word_token = '".$aToken['word_token'];
 251         $sSQL .= "' and class is null and type is null and country_code is null order by num desc";
 252         $aTokenSet = chksql($oDB->getAll($sSQL));
 253
 254         $aKeep = array_shift($aTokenSet);
 255         $iKeepID = $aKeep['word_id'];
 256
 257         foreach ($aTokenSet as $aRemove) {
 258             $sSQL = 'update search_name set';
 259             $sSQL .= ' name_vector = array_replace(name_vector,'.$aRemove['word_id'].','.$iKeepID.'),';
 260             $sSQL .= ' nameaddress_vector = array_replace(nameaddress_vector,'.$aRemove['word_id'].','.$iKeepID.')';
 261             $sSQL .= ' where name_vector @> ARRAY['.$aRemove['word_id'].']';
 262             chksql($oDB->query($sSQL));
 263
 264             $sSQL = 'update search_name set';
 265             $sSQL .= ' nameaddress_vector = array_replace(nameaddress_vector,'.$aRemove['word_id'].','.$iKeepID.')';
 266             $sSQL .= ' where nameaddress_vector @> ARRAY['.$aRemove['word_id'].']';
 267             chksql($oDB->query($sSQL));
 268
 269             $sSQL = 'update location_area_country set';
 270             $sSQL .= ' keywords = array_replace(keywords,'.$aRemove['word_id'].','.$iKeepID.')';
 271             $sSQL .= ' where keywords @> ARRAY['.$aRemove['word_id'].']';
 272             chksql($oDB->query($sSQL));
 273
 274             foreach ($aPartitions as $sPartition) {
 275                 $sSQL = 'update search_name_'.$sPartition.' set';
 276                 $sSQL .= ' name_vector = array_replace(name_vector,'.$aRemove['word_id'].','.$iKeepID.')';
 277                 $sSQL .= ' where name_vector @> ARRAY['.$aRemove['word_id'].']';
 278                 chksql($oDB->query($sSQL));
 279
 280                 $sSQL = 'update location_area_country set';
 281                 $sSQL .= ' keywords = array_replace(keywords,'.$aRemove['word_id'].','.$iKeepID.')';
 282                 $sSQL .= ' where keywords @> ARRAY['.$aRemove['word_id'].']';
 283                 chksql($oDB->query($sSQL));
 284             }
 285
 286             $sSQL = 'delete from word where word_id = '.$aRemove['word_id'];
 287             chksql($oDB->query($sSQL));
 288         }
 289     }
 290 }
 291
 292 if ($aResult['recompute-word-counts']) {
 293     info('Recompute frequency of full-word search terms');
 294     $sTemplate = file_get_contents(CONST_BasePath.'/sql/words_from_search_name.sql');
 295     runSQLScript($sTemplate, true, true);
 296 }
 297
 298 if ($aResult['index']) {
 299     $sCmd = CONST_InstallPath.'/nominatim/nominatim -i -d '.$aDSNInfo['database'].' -P '.$aDSNInfo['port'].' -t '.$aResult['index-instances'].' -r '.$aResult['index-rank'];
 300     if (isset($aDSNInfo['hostspec']) && $aDSNInfo['hostspec']) {
 301         $sCmd .= ' -H ' . $aDSNInfo['hostspec'];
 302     }
 303     if (isset($aDSNInfo['username']) && $aDSNInfo['username']) {
 304         $sCmd .= ' -U ' . $aDSNInfo['username'];
 305     }
 306
 307     runWithEnv($sCmd, $aProcEnv);
 308 }
 309
 310 if ($aResult['update-address-levels']) {
 311     echo 'Updating address levels from '.CONST_Address_Level_Config.".\n";
 312     $oAlParser = new \Nominatim\Setup\AddressLevelParser(CONST_Address_Level_Config);
 313     $oAlParser->createTable($oDB, 'address_levels');
 314 }
 315
 316 if ($aResult['import-osmosis'] || $aResult['import-osmosis-all']) {
 317     //
 318     if (strpos(CONST_Replication_Url, 'download.geofabrik.de') !== false && CONST_Replication_Update_Interval < 86400) {
 319         fail('Error: Update interval too low for download.geofabrik.de. ' .
 320              "Please check install documentation (http://nominatim.org/release-docs/latest/Import-and-Update#setting-up-the-update-process)\n");
 321     }
 322
 323     $sImportFile = CONST_InstallPath.'/osmosischange.osc';
 324     $sCMDDownload = CONST_Pyosmium_Binary.' --server '.CONST_Replication_Url.' -o '.$sImportFile.' -s '.CONST_Replication_Max_Diff_size;
 325     $sCMDImport = $sOsm2pgsqlCmd.' '.$sImportFile;
 326     $sCMDIndex = CONST_InstallPath.'/nominatim/nominatim -i -d '.$aDSNInfo['database'].' -P '.$aDSNInfo['port'].' -t '.$aResult['index-instances'];
 327     if (isset($aDSNInfo['hostspec']) && $aDSNInfo['hostspec']) {
 328         $sCMDIndex .= ' -H ' . $aDSNInfo['hostspec'];
 329     }
 330     if (isset($aDSNInfo['username']) && $aDSNInfo['username']) {
 331         $sCMDIndex .= ' -U ' . $aDSNInfo['username'];
 332     }
 333
 334     while (true) {
 335         $fStartTime = time();
 336         $aLastState = chksql($oDB->getRow('SELECT *, EXTRACT (EPOCH FROM lastimportdate) as unix_ts FROM import_status'));
 337
 338         if (!$aLastState['sequence_id']) {
 339             echo "Updates not set up. Please run ./utils/update.php --init-updates.\n";
 340             exit(1);
 341         }
 342
 343         echo 'Currently at sequence '.$aLastState['sequence_id'].' ('.$aLastState['lastimportdate'].') - '.$aLastState['indexed']." indexed\n";
 344
 345         $sBatchEnd = $aLastState['lastimportdate'];
 346         $iEndSequence = $aLastState['sequence_id'];
 347
 348         if ($aLastState['indexed'] == 't') {
 349             // Sleep if the update interval has not yet been reached.
 350             $fNextUpdate = $aLastState['unix_ts'] + CONST_Replication_Update_Interval;
 351             if ($fNextUpdate > $fStartTime) {
 352                 $iSleepTime = $fNextUpdate - $fStartTime;
 353                 echo "Waiting for next update for $iSleepTime sec.";
 354                 sleep($iSleepTime);
 355             }
 356
 357             // Download the next batch of changes.
 358             do {
 359                 $fCMDStartTime = time();
 360                 $iNextSeq = (int) $aLastState['sequence_id'];
 361                 unset($aOutput);
 362                 echo "$sCMDDownload -I $iNextSeq\n";
 363                 if (file_exists($sImportFile)) {
 364                     unlink($sImportFile);
 365                 }
 366                 exec($sCMDDownload.' -I '.$iNextSeq, $aOutput, $iResult);
 367
 368                 if ($iResult == 3) {
 369                     echo 'No new updates. Sleeping for '.CONST_Replication_Recheck_Interval." sec.\n";
 370                     sleep(CONST_Replication_Recheck_Interval);
 371                 } elseif ($iResult != 0) {
 372                     echo 'ERROR: updates failed.';
 373                     exit($iResult);
 374                 } else {
 375                     $iEndSequence = (int)$aOutput[0];
 376                 }
 377             } while ($iResult);
 378
 379             // get the newest object from the diff file
 380             $sBatchEnd = 0;
 381             $iRet = 0;
 382             exec(CONST_BasePath.'/utils/osm_file_date.py '.$sImportFile, $sBatchEnd, $iRet);
 383             if ($iRet == 5) {
 384                 echo "Diff file is empty. skipping import.\n";
 385                 if (!$aResult['import-osmosis-all']) {
 386                     exit(0);
 387                 } else {
 388                     continue;
 389                 }
 390             }
 391             if ($iRet != 0) {
 392                 fail('Error getting date from diff file.');
 393             }
 394             $sBatchEnd = $sBatchEnd[0];
 395
 396             // Import the file
 397             $fCMDStartTime = time();
 398             echo $sCMDImport."\n";
 399             unset($sJunk);
 400             $iErrorLevel = runWithEnv($sCMDImport, $aProcEnv);
 401             if ($iErrorLevel) {
 402                 echo "Error executing osm2pgsql: $iErrorLevel\n";
 403                 exit($iErrorLevel);
 404             }
 405
 406             // write the update logs
 407             $iFileSize = filesize($sImportFile);
 408             $sSQL = 'INSERT INTO import_osmosis_log';
 409             $sSQL .= '(batchend, batchseq, batchsize, starttime, endtime, event)';
 410             $sSQL .= " values ('$sBatchEnd',$iEndSequence,$iFileSize,'";
 411             $sSQL .= date('Y-m-d H:i:s', $fCMDStartTime)."','";
 412             $sSQL .= date('Y-m-d H:i:s')."','import')";
 413             var_Dump($sSQL);
 414             chksql($oDB->query($sSQL));
 415
 416             // update the status
 417             $sSQL = "UPDATE import_status SET lastimportdate = '$sBatchEnd', indexed=false, sequence_id = $iEndSequence";
 418             var_Dump($sSQL);
 419             chksql($oDB->query($sSQL));
 420             echo date('Y-m-d H:i:s')." Completed download step for $sBatchEnd in ".round((time()-$fCMDStartTime)/60, 2)." minutes\n";
 421         }
 422
 423         // Index file
 424         if (!$aResult['no-index']) {
 425             $sThisIndexCmd = $sCMDIndex;
 426             $fCMDStartTime = time();
 427
 428             echo "$sThisIndexCmd\n";
 429             $iErrorLevel = runWithEnv($sThisIndexCmd, $aProcEnv);
 430             if ($iErrorLevel) {
 431                 echo "Error: $iErrorLevel\n";
 432                 exit($iErrorLevel);
 433             }
 434
 435             $sSQL = 'INSERT INTO import_osmosis_log';
 436             $sSQL .= '(batchend, batchseq, batchsize, starttime, endtime, event)';
 437             $sSQL .= " values ('$sBatchEnd',$iEndSequence,NULL,'";
 438             $sSQL .= date('Y-m-d H:i:s', $fCMDStartTime)."','";
 439             $sSQL .= date('Y-m-d H:i:s')."','index')";
 440             var_Dump($sSQL);
 441             $oDB->query($sSQL);
 442             echo date('Y-m-d H:i:s')." Completed index step for $sBatchEnd in ".round((time()-$fCMDStartTime)/60, 2)." minutes\n";
 443
 444             $sSQL = 'update import_status set indexed = true';
 445             $oDB->query($sSQL);
 446         }
 447
 448         $fDuration = time() - $fStartTime;
 449         echo date('Y-m-d H:i:s')." Completed all for $sBatchEnd in ".round($fDuration/60, 2)." minutes\n";
 450         if (!$aResult['import-osmosis-all']) exit(0);
 451     }
 452 }