utils/update.php

   1 #!@PHP_BIN@ -Cq
   2 <?php
   3
   4 require_once(dirname(dirname(__FILE__)).'/settings/settings.php');
   5 require_once(CONST_BasePath.'/lib/init-cmd.php');
   6 require_once(CONST_BasePath.'/lib/setup_functions.php');
   7 require_once(CONST_BasePath.'/lib/classes/SetupClass.php');
   8
   9 ini_set('memory_limit', '800M');
  10
  11 use Nominatim\Setup\SetupFunctions as SetupFunctions;
  12
  13 $aCMDOptions = createUpdateArgvArray();
  14 getCmdOpt($_SERVER['argv'], $aCMDOptions, $aResult, true, true);
  15
  16 if (!isset($aResult['index-instances'])) $aResult['index-instances'] = 1;
  17 if (!isset($aResult['index-rank'])) $aResult['index-rank'] = 0;
  18
  19 date_default_timezone_set('Etc/UTC');
  20
  21 $oDB =& getDB();
  22
  23 $aDSNInfo = DB::parseDSN(CONST_Database_DSN);
  24 if (!isset($aDSNInfo['port']) || !$aDSNInfo['port']) $aDSNInfo['port'] = 5432;
  25
  26 // cache memory to be used by osm2pgsql, should not be more than the available memory
  27 $iCacheMemory = (isset($aResult['osm2pgsql-cache'])?$aResult['osm2pgsql-cache']:2000);
  28 if ($iCacheMemory + 500 > getTotalMemoryMB()) {
  29     $iCacheMemory = getCacheMemoryMB();
  30     echo "WARNING: resetting cache memory to $iCacheMemory\n";
  31 }
  32 $sOsm2pgsqlCmd = CONST_Osm2pgsql_Binary.' -klas --number-processes 1 -C '.$iCacheMemory.' -O gazetteer -d '.$aDSNInfo['database'].' -P '.$aDSNInfo['port'];
  33 if (isset($aDSNInfo['username']) && $aDSNInfo['username']) {
  34     $sOsm2pgsqlCmd .= ' -U ' . $aDSNInfo['username'];
  35 }
  36 if (isset($aDSNInfo['hostspec']) && $aDSNInfo['hostspec']) {
  37     $sOsm2pgsqlCmd .= ' -H ' . $aDSNInfo['hostspec'];
  38 }
  39 $aProcEnv = null;
  40 if (isset($aDSNInfo['password']) && $aDSNInfo['password']) {
  41     $aProcEnv = array_merge(array('PGPASSWORD' => $aDSNInfo['password']), $_ENV);
  42 }
  43
  44 if (!is_null(CONST_Osm2pgsql_Flatnode_File) && CONST_Osm2pgsql_Flatnode_File) {
  45     $sOsm2pgsqlCmd .= ' --flat-nodes '.CONST_Osm2pgsql_Flatnode_File;
  46 }
  47
  48 if ($aResult['init-updates']) {
  49     // sanity check that the replication URL is correct
  50     $sBaseState = file_get_contents(CONST_Replication_Url.'/state.txt');
  51     if ($sBaseState === false) {
  52         echo "\nCannot find state.txt file at the configured replication URL.\n";
  53         echo "Does the URL point to a directory containing OSM update data?\n\n";
  54         fail('replication URL not reachable.');
  55     }
  56     // sanity check for pyosmium-get-changes
  57     if (!CONST_Pyosmium_Binary) {
  58         echo "\nCONST_Pyosmium_Binary not configured.\n";
  59         echo "You need to install pyosmium and set up the path to pyosmium-get-changes\n";
  60         echo "in your local settings file.\n\n";
  61         fail('CONST_Pyosmium_Binary not configured');
  62     }
  63     $aOutput = 0;
  64     $sCmd = CONST_Pyosmium_Binary.' --help';
  65     exec($sCmd, $aOutput, $iRet);
  66     if ($iRet != 0) {
  67         echo "Cannot execute pyosmium-get-changes.\n";
  68         echo "Make sure you have pyosmium installed correctly\n";
  69         echo "and have set up CONST_Pyosmium_Binary to point to pyosmium-get-changes.\n";
  70         fail('pyosmium-get-changes not found or not usable');
  71     }
  72
  73     if (!$aResult['no-update-functions']) {
  74         // instantiate setupClass to use the function therein
  75         $cSetup = new SetupFunctions($aResult);
  76         $cSetup->createFunctions();
  77     }
  78
  79     $sDatabaseDate = getDatabaseDate($oDB);
  80     if ($sDatabaseDate === false) {
  81         fail('Cannot determine date of database.');
  82     }
  83     $sWindBack = strftime('%Y-%m-%dT%H:%M:%SZ', strtotime($sDatabaseDate) - (3*60*60));
  84
  85     // get the appropriate state id
  86     $aOutput = 0;
  87     $sCmd = CONST_Pyosmium_Binary.' -D '.$sWindBack.' --server '.CONST_Replication_Url;
  88     exec($sCmd, $aOutput, $iRet);
  89     if ($iRet != 0 || $aOutput[0] == 'None') {
  90         fail('Error running pyosmium tools');
  91     }
  92
  93     pg_query($oDB->connection, 'TRUNCATE import_status');
  94     $sSQL = "INSERT INTO import_status (lastimportdate, sequence_id, indexed) VALUES('";
  95     $sSQL .= $sDatabaseDate."',".$aOutput[0].', true)';
  96     if (!pg_query($oDB->connection, $sSQL)) {
  97         fail('Could not enter sequence into database.');
  98     }
  99
 100     echo "Done. Database updates will start at sequence $aOutput[0] ($sWindBack)\n";
 101 }
 102
 103 if ($aResult['check-for-updates']) {
 104     $aLastState = chksql($oDB->getRow('SELECT sequence_id FROM import_status'));
 105
 106     if (!$aLastState['sequence_id']) {
 107         fail('Updates not set up. Please run ./utils/update.php --init-updates.');
 108     }
 109
 110     system(CONST_BasePath.'/utils/check_server_for_updates.py '.CONST_Replication_Url.' '.$aLastState['sequence_id'], $iRet);
 111     exit($iRet);
 112 }
 113
 114 if (isset($aResult['import-diff']) || isset($aResult['import-file'])) {
 115     // import diffs and files directly (e.g. from osmosis --rri)
 116     $sNextFile = isset($aResult['import-diff']) ? $aResult['import-diff'] : $aResult['import-file'];
 117
 118     if (!file_exists($sNextFile)) {
 119         fail("Cannot open $sNextFile\n");
 120     }
 121
 122     // Import the file
 123     $sCMD = $sOsm2pgsqlCmd.' '.$sNextFile;
 124     echo $sCMD."\n";
 125     $iErrorLevel = runWithEnv($sCMD, $aProcEnv);
 126
 127     if ($iErrorLevel) {
 128         fail("Error from osm2pgsql, $iErrorLevel\n");
 129     }
 130
 131     // Don't update the import status - we don't know what this file contains
 132 }
 133
 134 if ($aResult['calculate-postcodes']) {
 135     info('Update postcodes centroids');
 136     $sTemplate = file_get_contents(CONST_BasePath.'/sql/update-postcodes.sql');
 137     runSQLScript($sTemplate, true, true);
 138 }
 139
 140 $sTemporaryFile = CONST_BasePath.'/data/osmosischange.osc';
 141 $bHaveDiff = false;
 142 $bUseOSMApi = isset($aResult['import-from-main-api']) && $aResult['import-from-main-api'];
 143 $sContentURL = '';
 144 if (isset($aResult['import-node']) && $aResult['import-node']) {
 145     if ($bUseOSMApi) {
 146         $sContentURL = 'https://www.openstreetmap.org/api/0.6/node/'.$aResult['import-node'];
 147     } else {
 148         $sContentURL = 'https://overpass-api.de/api/interpreter?data=node('.$aResult['import-node'].');out%20meta;';
 149     }
 150 }
 151
 152 if (isset($aResult['import-way']) && $aResult['import-way']) {
 153     if ($bUseOSMApi) {
 154         $sContentURL = 'https://www.openstreetmap.org/api/0.6/way/'.$aResult['import-way'].'/full';
 155     } else {
 156         $sContentURL = 'https://overpass-api.de/api/interpreter?data=(way('.$aResult['import-way'].');node(w););out%20meta;';
 157     }
 158 }
 159
 160 if (isset($aResult['import-relation']) && $aResult['import-relation']) {
 161     if ($bUseOSMApi) {
 162         $sContentURLsModifyXMLstr = 'https://www.openstreetmap.org/api/0.6/relation/'.$aResult['import-relation'].'/full';
 163     } else {
 164         $sContentURL = 'https://overpass-api.de/api/interpreter?data=((rel('.$aResult['import-relation'].');way(r);node(w));node(r));out%20meta;';
 165     }
 166 }
 167
 168 if ($sContentURL) {
 169     file_put_contents($sTemporaryFile, file_get_contents($sContentURL));
 170     $bHaveDiff = true;
 171 }
 172
 173 if ($bHaveDiff) {
 174     // import generated change file
 175     $sCMD = $sOsm2pgsqlCmd.' '.$sTemporaryFile;
 176     echo $sCMD."\n";
 177     $iErrorLevel = runWithEnv($sCMD, $aProcEnv);
 178     if ($iErrorLevel) {
 179         fail("osm2pgsql exited with error level $iErrorLevel\n");
 180     }
 181 }
 182
 183 if ($aResult['deduplicate']) {
 184     $oDB =& getDB();
 185
 186     if (getPostgresVersion($oDB) < 9.3) {
 187         fail('ERROR: deduplicate is only currently supported in postgresql 9.3');
 188     }
 189
 190     $sSQL = 'select partition from country_name order by country_code';
 191     $aPartitions = chksql($oDB->getCol($sSQL));
 192     $aPartitions[] = 0;
 193
 194     // we don't care about empty search_name_* partitions, they can't contain mentions of duplicates
 195     foreach ($aPartitions as $i => $sPartition) {
 196         $sSQL = 'select count(*) from search_name_'.$sPartition;
 197         $nEntries = chksql($oDB->getOne($sSQL));
 198         if ($nEntries == 0) {
 199             unset($aPartitions[$i]);
 200         }
 201     }
 202
 203     $sSQL = "select word_token,count(*) from word where substr(word_token, 1, 1) = ' '";
 204     $sSQL .= ' and class is null and type is null and country_code is null';
 205     $sSQL .= ' group by word_token having count(*) > 1 order by word_token';
 206     $aDuplicateTokens = chksql($oDB->getAll($sSQL));
 207     foreach ($aDuplicateTokens as $aToken) {
 208         if (trim($aToken['word_token']) == '' || trim($aToken['word_token']) == '-') continue;
 209         echo 'Deduping '.$aToken['word_token']."\n";
 210         $sSQL = 'select word_id,';
 211         $sSQL .= ' (select count(*) from search_name where nameaddress_vector @> ARRAY[word_id]) as num';
 212         $sSQL .= " from word where word_token = '".$aToken['word_token'];
 213         $sSQL .= "' and class is null and type is null and country_code is null order by num desc";
 214         $aTokenSet = chksql($oDB->getAll($sSQL));
 215
 216         $aKeep = array_shift($aTokenSet);
 217         $iKeepID = $aKeep['word_id'];
 218
 219         foreach ($aTokenSet as $aRemove) {
 220             $sSQL = 'update search_name set';
 221             $sSQL .= ' name_vector = array_replace(name_vector,'.$aRemove['word_id'].','.$iKeepID.'),';
 222             $sSQL .= ' nameaddress_vector = array_replace(nameaddress_vector,'.$aRemove['word_id'].','.$iKeepID.')';
 223             $sSQL .= ' where name_vector @> ARRAY['.$aRemove['word_id'].']';
 224             chksql($oDB->query($sSQL));
 225
 226             $sSQL = 'update search_name set';
 227             $sSQL .= ' nameaddress_vector = array_replace(nameaddress_vector,'.$aRemove['word_id'].','.$iKeepID.')';
 228             $sSQL .= ' where nameaddress_vector @> ARRAY['.$aRemove['word_id'].']';
 229             chksql($oDB->query($sSQL));
 230
 231             $sSQL = 'update location_area_country set';
 232             $sSQL .= ' keywords = array_replace(keywords,'.$aRemove['word_id'].','.$iKeepID.')';
 233             $sSQL .= ' where keywords @> ARRAY['.$aRemove['word_id'].']';
 234             chksql($oDB->query($sSQL));
 235
 236             foreach ($aPartitions as $sPartition) {
 237                 $sSQL = 'update search_name_'.$sPartition.' set';
 238                 $sSQL .= ' name_vector = array_replace(name_vector,'.$aRemove['word_id'].','.$iKeepID.')';
 239                 $sSQL .= ' where name_vector @> ARRAY['.$aRemove['word_id'].']';
 240                 chksql($oDB->query($sSQL));
 241
 242                 $sSQL = 'update location_area_country set';
 243                 $sSQL .= ' keywords = array_replace(keywords,'.$aRemove['word_id'].','.$iKeepID.')';
 244                 $sSQL .= ' where keywords @> ARRAY['.$aRemove['word_id'].']';
 245                 chksql($oDB->query($sSQL));
 246             }
 247
 248             $sSQL = 'delete from word where word_id = '.$aRemove['word_id'];
 249             chksql($oDB->query($sSQL));
 250         }
 251     }
 252 }
 253
 254 if ($aResult['recompute-word-counts']) {
 255     info('Recompute frequency of full-word search terms');
 256     $sTemplate = file_get_contents(CONST_BasePath.'/sql/words_from_search_name.sql');
 257     runSQLScript($sTemplate, true, true);
 258 }
 259
 260 if ($aResult['index']) {
 261     $sCmd = CONST_InstallPath.'/nominatim/nominatim -i -d '.$aDSNInfo['database'].' -P '.$aDSNInfo['port'].' -t '.$aResult['index-instances'].' -r '.$aResult['index-rank'];
 262     if (isset($aDSNInfo['hostspec']) && $aDSNInfo['hostspec']) {
 263         $sCmd .= ' -H ' . $aDSNInfo['hostspec'];
 264     }
 265     if (isset($aDSNInfo['username']) && $aDSNInfo['username']) {
 266         $sCmd .= ' -U ' . $aDSNInfo['username'];
 267     }
 268
 269     runWithEnv($sCmd, $aProcEnv);
 270 }
 271
 272 if ($aResult['import-osmosis'] || $aResult['import-osmosis-all']) {
 273     //
 274     if (strpos(CONST_Replication_Url, 'download.geofabrik.de') !== false && CONST_Replication_Update_Interval < 86400) {
 275         fail('Error: Update interval too low for download.geofabrik.de. ' .
 276              "Please check install documentation (http://nominatim.org/release-docs/latest/Import-and-Update#setting-up-the-update-process)\n");
 277     }
 278
 279     $sImportFile = CONST_InstallPath.'/osmosischange.osc';
 280     $sCMDDownload = CONST_Pyosmium_Binary.' --server '.CONST_Replication_Url.' -o '.$sImportFile.' -s '.CONST_Replication_Max_Diff_size;
 281     $sCMDImport = $sOsm2pgsqlCmd.' '.$sImportFile;
 282     $sCMDIndex = CONST_InstallPath.'/nominatim/nominatim -i -d '.$aDSNInfo['database'].' -P '.$aDSNInfo['port'].' -t '.$aResult['index-instances'];
 283     if (isset($aDSNInfo['hostspec']) && $aDSNInfo['hostspec']) {
 284         $sCMDIndex .= ' -H ' . $aDSNInfo['hostspec'];
 285     }
 286     if (isset($aDSNInfo['username']) && $aDSNInfo['username']) {
 287         $sCMDIndex .= ' -U ' . $aDSNInfo['username'];
 288     }
 289
 290     while (true) {
 291         $fStartTime = time();
 292         $aLastState = chksql($oDB->getRow('SELECT *, EXTRACT (EPOCH FROM lastimportdate) as unix_ts FROM import_status'));
 293
 294         if (!$aLastState['sequence_id']) {
 295             echo "Updates not set up. Please run ./utils/update.php --init-updates.\n";
 296             exit(1);
 297         }
 298
 299         echo 'Currently at sequence '.$aLastState['sequence_id'].' ('.$aLastState['lastimportdate'].') - '.$aLastState['indexed']." indexed\n";
 300
 301         $sBatchEnd = $aLastState['lastimportdate'];
 302         $iEndSequence = $aLastState['sequence_id'];
 303
 304         if ($aLastState['indexed'] == 't') {
 305             // Sleep if the update interval has not yet been reached.
 306             $fNextUpdate = $aLastState['unix_ts'] + CONST_Replication_Update_Interval;
 307             if ($fNextUpdate > $fStartTime) {
 308                 $iSleepTime = $fNextUpdate - $fStartTime;
 309                 echo "Waiting for next update for $iSleepTime sec.";
 310                 sleep($iSleepTime);
 311             }
 312
 313             // Download the next batch of changes.
 314             do {
 315                 $fCMDStartTime = time();
 316                 $iNextSeq = (int) $aLastState['sequence_id'];
 317                 unset($aOutput);
 318                 echo "$sCMDDownload -I $iNextSeq\n";
 319                 if (file_exists($sImportFile)) {
 320                     unlink($sImportFile);
 321                 }
 322                 exec($sCMDDownload.' -I '.$iNextSeq, $aOutput, $iResult);
 323
 324                 if ($iResult == 3) {
 325                     echo 'No new updates. Sleeping for '.CONST_Replication_Recheck_Interval." sec.\n";
 326                     sleep(CONST_Replication_Recheck_Interval);
 327                 } elseif ($iResult != 0) {
 328                     echo 'ERROR: updates failed.';
 329                     exit($iResult);
 330                 } else {
 331                     $iEndSequence = (int)$aOutput[0];
 332                 }
 333             } while ($iResult);
 334
 335             // get the newest object from the diff file
 336             $sBatchEnd = 0;
 337             $iRet = 0;
 338             exec(CONST_BasePath.'/utils/osm_file_date.py '.$sImportFile, $sBatchEnd, $iRet);
 339             if ($iRet == 5) {
 340                 echo "Diff file is empty. skipping import.\n";
 341                 if (!$aResult['import-osmosis-all']) {
 342                     exit(0);
 343                 } else {
 344                     continue;
 345                 }
 346             }
 347             if ($iRet != 0) {
 348                 fail('Error getting date from diff file.');
 349             }
 350             $sBatchEnd = $sBatchEnd[0];
 351
 352             // Import the file
 353             $fCMDStartTime = time();
 354             echo $sCMDImport."\n";
 355             unset($sJunk);
 356             $iErrorLevel = runWithEnv($sCMDImport, $aProcEnv);
 357             if ($iErrorLevel) {
 358                 echo "Error executing osm2pgsql: $iErrorLevel\n";
 359                 exit($iErrorLevel);
 360             }
 361
 362             // write the update logs
 363             $iFileSize = filesize($sImportFile);
 364             $sSQL = 'INSERT INTO import_osmosis_log';
 365             $sSQL .= '(batchend, batchseq, batchsize, starttime, endtime, event)';
 366             $sSQL .= " values ('$sBatchEnd',$iEndSequence,$iFileSize,'";
 367             $sSQL .= date('Y-m-d H:i:s', $fCMDStartTime)."','";
 368             $sSQL .= date('Y-m-d H:i:s')."','import')";
 369             var_Dump($sSQL);
 370             chksql($oDB->query($sSQL));
 371
 372             // update the status
 373             $sSQL = "UPDATE import_status SET lastimportdate = '$sBatchEnd', indexed=false, sequence_id = $iEndSequence";
 374             var_Dump($sSQL);
 375             chksql($oDB->query($sSQL));
 376             echo date('Y-m-d H:i:s')." Completed download step for $sBatchEnd in ".round((time()-$fCMDStartTime)/60, 2)." minutes\n";
 377         }
 378
 379         // Index file
 380         if (!$aResult['no-index']) {
 381             $sThisIndexCmd = $sCMDIndex;
 382             $fCMDStartTime = time();
 383
 384             echo "$sThisIndexCmd\n";
 385             $iErrorLevel = runWithEnv($sThisIndexCmd, $aProcEnv);
 386             if ($iErrorLevel) {
 387                 echo "Error: $iErrorLevel\n";
 388                 exit($iErrorLevel);
 389             }
 390
 391             $sSQL = 'INSERT INTO import_osmosis_log';
 392             $sSQL .= '(batchend, batchseq, batchsize, starttime, endtime, event)';
 393             $sSQL .= " values ('$sBatchEnd',$iEndSequence,$iFileSize,'";
 394             $sSQL .= date('Y-m-d H:i:s', $fCMDStartTime)."','";
 395             $sSQL .= date('Y-m-d H:i:s')."','index')";
 396             var_Dump($sSQL);
 397             $oDB->query($sSQL);
 398             echo date('Y-m-d H:i:s')." Completed index step for $sBatchEnd in ".round((time()-$fCMDStartTime)/60, 2)." minutes\n";
 399
 400             $sSQL = 'update import_status set indexed = true';
 401             $oDB->query($sSQL);
 402         }
 403
 404         $fDuration = time() - $fStartTime;
 405         echo date('Y-m-d H:i:s')." Completed all for $sBatchEnd in ".round($fDuration/60, 2)." minutes\n";
 406         if (!$aResult['import-osmosis-all']) exit(0);
 407     }
 408 }