utils/update.php

   1 #!/usr/bin/php -Cq
   2 <?php
   3
   4 require_once(dirname(dirname(__FILE__)).'/settings/settings.php');
   5 require_once(CONST_BasePath.'/lib/init-cmd.php');
   6 ini_set('memory_limit', '800M');
   7
   8 $aCMDOptions
   9 = array(
  10    "Import / update / index osm data",
  11    array('help', 'h', 0, 1, 0, 0, false, 'Show Help'),
  12    array('quiet', 'q', 0, 1, 0, 0, 'bool', 'Quiet output'),
  13    array('verbose', 'v', 0, 1, 0, 0, 'bool', 'Verbose output'),
  14
  15    array('init-updates', '', 0, 1, 0, 0, 'bool', 'Set up database for updating'),
  16    array('import-osmosis', '', 0, 1, 0, 0, 'bool', 'Import updates once'),
  17    array('import-osmosis-all', '', 0, 1, 0, 0, 'bool', 'Import updates forever'),
  18    array('no-npi', '', 0, 1, 0, 0, 'bool', '(obsolate)'),
  19    array('no-index', '', 0, 1, 0, 0, 'bool', 'Do not index the new data'),
  20
  21    array('import-all', '', 0, 1, 0, 0, 'bool', 'Import all available files'),
  22
  23    array('import-file', '', 0, 1, 1, 1, 'realpath', 'Re-import data from an OSM file'),
  24    array('import-diff', '', 0, 1, 1, 1, 'realpath', 'Import a diff (osc) file from local file system'),
  25    array('osm2pgsql-cache', '', 0, 1, 1, 1, 'int', 'Cache size used by osm2pgsql'),
  26
  27    array('import-node', '', 0, 1, 1, 1, 'int', 'Re-import node'),
  28    array('import-way', '', 0, 1, 1, 1, 'int', 'Re-import way'),
  29    array('import-relation', '', 0, 1, 1, 1, 'int', 'Re-import relation'),
  30    array('import-from-main-api', '', 0, 1, 0, 0, 'bool', 'Use OSM API instead of Overpass to download objects'),
  31
  32    array('index', '', 0, 1, 0, 0, 'bool', 'Index'),
  33    array('index-rank', '', 0, 1, 1, 1, 'int', 'Rank to start indexing from'),
  34    array('index-instances', '', 0, 1, 1, 1, 'int', 'Number of indexing instances (threads)'),
  35
  36    array('deduplicate', '', 0, 1, 0, 0, 'bool', 'Deduplicate tokens'),
  37   );
  38 getCmdOpt($_SERVER['argv'], $aCMDOptions, $aResult, true, true);
  39
  40 if (!isset($aResult['index-instances'])) $aResult['index-instances'] = 1;
  41 if (!isset($aResult['index-rank'])) $aResult['index-rank'] = 0;
  42
  43 date_default_timezone_set('Etc/UTC');
  44
  45 $oDB =& getDB();
  46
  47 $aDSNInfo = DB::parseDSN(CONST_Database_DSN);
  48 if (!isset($aDSNInfo['port']) || !$aDSNInfo['port']) $aDSNInfo['port'] = 5432;
  49
  50 // cache memory to be used by osm2pgsql, should not be more than the available memory
  51 $iCacheMemory = (isset($aResult['osm2pgsql-cache'])?$aResult['osm2pgsql-cache']:2000);
  52 if ($iCacheMemory + 500 > getTotalMemoryMB()) {
  53     $iCacheMemory = getCacheMemoryMB();
  54     echo "WARNING: resetting cache memory to $iCacheMemory\n";
  55 }
  56 $sOsm2pgsqlCmd = CONST_Osm2pgsql_Binary.' -klas --number-processes 1 -C '.$iCacheMemory.' -O gazetteer -d '.$aDSNInfo['database'].' -P '.$aDSNInfo['port'];
  57 if (!is_null(CONST_Osm2pgsql_Flatnode_File)) {
  58     $sOsm2pgsqlCmd .= ' --flat-nodes '.CONST_Osm2pgsql_Flatnode_File;
  59 }
  60
  61 if ($aResult['init-updates']) {
  62     // sanity check that the replication URL is correct
  63     $sBaseState = file_get_contents(CONST_Replication_Url.'/state.txt');
  64     if ($sBaseState === false) {
  65         echo "\nCannot find state.txt file at the configured replication URL.\n";
  66         echo "Does the URL point to a directory containing OSM update data?\n\n";
  67         fail("replication URL not reachable.");
  68     }
  69     $sSetup = CONST_InstallPath.'/utils/setup.php';
  70     $iRet = -1;
  71     passthru($sSetup.' --create-functions --enable-diff-updates', $iRet);
  72     if ($iRet != 0) {
  73         fail('Error running setup script');
  74     }
  75
  76     $sDatabaseDate = getDatabaseDate($oDB);
  77     if ($sDatabaseDate === false) {
  78         fail("Cannot determine date of database.");
  79     }
  80     $sWindBack = strftime('%Y-%m-%dT%H:%M:%SZ',
  81                           strtotime($sDatabaseDate) - (3*60*60));
  82
  83     // get the appropriate state id
  84     $aOutput = 0;
  85     $sCmd = CONST_Pyosmium_Binary.' -D '.$sWindBack.' --server '.CONST_Replication_Url;
  86     exec($sCmd, $aOutput, $iRet);
  87     if ($iRet != 0 || $aOutput[0] == 'None') {
  88         fail('Error running pyosmium tools');
  89     }
  90
  91     pg_query($oDB->connection, 'TRUNCATE import_status');
  92     $sSQL = "INSERT INTO import_status (lastimportdate, sequence_id, indexed) VALUES('";
  93     $sSQL .= $sDatabaseDate."',".$aOutput[0].", true)";
  94     if (!pg_query($oDB->connection, $sSQL)) {
  95         fail("Could not enter sequence into database.");
  96     }
  97
  98     echo "Done. Database updates will start at sequence $aOutput[0] ($sWindBack)\n";
  99 }
 100
 101 if (isset($aResult['import-diff']) || isset($aResult['import-file'])) {
 102     // import diffs and files directly (e.g. from osmosis --rri)
 103     $sNextFile = isset($aResult['import-diff']) ? $aResult['import-diff'] : $aResult['import-file'];
 104     if (!file_exists($sNextFile)) {
 105         fail("Cannot open $sNextFile\n");
 106     }
 107
 108     // Import the file
 109     $sCMD = $sOsm2pgsqlCmd.' '.$sNextFile;
 110     echo $sCMD."\n";
 111     exec($sCMD, $sJunk, $iErrorLevel);
 112
 113     if ($iErrorLevel) {
 114         fail("Error from osm2pgsql, $iErrorLevel\n");
 115     }
 116
 117     // Don't update the import status - we don't know what this file contains
 118 }
 119
 120 $sTemporaryFile = CONST_BasePath.'/data/osmosischange.osc';
 121 $bHaveDiff = false;
 122 $bUseOSMApi = isset($aResult['import-from-main-api']) && $aResult['import-from-main-api'];
 123 $sContentURL = '';
 124 if (isset($aResult['import-node']) && $aResult['import-node']) {
 125     if ($bUseOSMApi) {
 126         $sContentURL = 'http://www.openstreetmap.org/api/0.6/node/'.$aResult['import-node'];
 127     } else {
 128         $sContentURL = 'http://overpass-api.de/api/interpreter?data=node('.$aResult['import-node'].');out%20meta;';
 129     }
 130 }
 131
 132 if (isset($aResult['import-way']) && $aResult['import-way']) {
 133     if ($bUseOSMApi) {
 134         $sContentURL = 'http://www.openstreetmap.org/api/0.6/way/'.$aResult['import-way'].'/full';
 135     } else {
 136         $sContentURL = 'http://overpass-api.de/api/interpreter?data=(way('.$aResult['import-way'].');node(w););out%20meta;';
 137     }
 138 }
 139
 140 if (isset($aResult['import-relation']) && $aResult['import-relation']) {
 141     if ($bUseOSMApi) {
 142         $sContentURLsModifyXMLstr = 'http://www.openstreetmap.org/api/0.6/relation/'.$aResult['import-relation'].'/full';
 143     } else {
 144         $sContentURL = 'http://overpass-api.de/api/interpreter?data=((rel('.$aResult['import-relation'].');way(r);node(w));node(r));out%20meta;';
 145     }
 146 }
 147
 148 if ($sContentURL) {
 149     file_put_contents($sTemporaryFile, file_get_contents($sContentURL));
 150     $bHaveDiff = true;
 151 }
 152
 153 if ($bHaveDiff) {
 154     // import generated change file
 155     $sCMD = $sOsm2pgsqlCmd.' '.$sTemporaryFile;
 156     echo $sCMD."\n";
 157     exec($sCMD, $sJunk, $iErrorLevel);
 158     if ($iErrorLevel) {
 159         fail("osm2pgsql exited with error level $iErrorLevel\n");
 160     }
 161 }
 162
 163 if ($aResult['deduplicate']) {
 164     $oDB =& getDB();
 165
 166     if (getPostgresVersion($oDB) < 9.3) {
 167         fail("ERROR: deduplicate is only currently supported in postgresql 9.3");
 168     }
 169
 170     $sSQL = 'select partition from country_name order by country_code';
 171     $aPartitions = chksql($oDB->getCol($sSQL));
 172     $aPartitions[] = 0;
 173
 174     // we don't care about empty search_name_* partitions, they can't contain mentions of duplicates
 175     foreach ($aPartitions as $i => $sPartition) {
 176         $sSQL = "select count(*) from search_name_".$sPartition;
 177         $nEntries = chksql($oDB->getOne($sSQL));
 178         if ($nEntries == 0) {
 179             unset($aPartitions[$i]);
 180         }
 181     }
 182
 183     $sSQL = "select word_token,count(*) from word where substr(word_token, 1, 1) = ' '";
 184     $sSQL .= " and class is null and type is null and country_code is null";
 185     $sSQL .= " group by word_token having count(*) > 1 order by word_token";
 186     $aDuplicateTokens = chksql($oDB->getAll($sSQL));
 187     foreach ($aDuplicateTokens as $aToken) {
 188         if (trim($aToken['word_token']) == '' || trim($aToken['word_token']) == '-') continue;
 189         echo "Deduping ".$aToken['word_token']."\n";
 190         $sSQL = "select word_id,";
 191         $sSQL .= " (select count(*) from search_name where nameaddress_vector @> ARRAY[word_id]) as num";
 192         $sSQL .= " from word where word_token = '".$aToken['word_token'];
 193         $sSQL .= "' and class is null and type is null and country_code is null order by num desc";
 194         $aTokenSet = chksql($oDB->getAll($sSQL));
 195
 196         $aKeep = array_shift($aTokenSet);
 197         $iKeepID = $aKeep['word_id'];
 198
 199         foreach ($aTokenSet as $aRemove) {
 200             $sSQL = "update search_name set";
 201             $sSQL .= " name_vector = array_replace(name_vector,".$aRemove['word_id'].",".$iKeepID."),";
 202             $sSQL .= " nameaddress_vector = array_replace(nameaddress_vector,".$aRemove['word_id'].",".$iKeepID.")";
 203             $sSQL .= " where name_vector @> ARRAY[".$aRemove['word_id']."]";
 204             chksql($oDB->query($sSQL));
 205
 206             $sSQL = "update search_name set";
 207             $sSQL .= " nameaddress_vector = array_replace(nameaddress_vector,".$aRemove['word_id'].",".$iKeepID.")";
 208             $sSQL .= " where nameaddress_vector @> ARRAY[".$aRemove['word_id']."]";
 209             chksql($oDB->query($sSQL));
 210
 211             $sSQL = "update location_area_country set";
 212             $sSQL .= " keywords = array_replace(keywords,".$aRemove['word_id'].",".$iKeepID.")";
 213             $sSQL .= " where keywords @> ARRAY[".$aRemove['word_id']."]";
 214             chksql($oDB->query($sSQL));
 215
 216             foreach ($aPartitions as $sPartition) {
 217                 $sSQL = "update search_name_".$sPartition." set";
 218                 $sSQL .= " name_vector = array_replace(name_vector,".$aRemove['word_id'].",".$iKeepID.")";
 219                 $sSQL .= " where name_vector @> ARRAY[".$aRemove['word_id']."]";
 220                 chksql($oDB->query($sSQL));
 221
 222                 $sSQL = "update location_area_country set";
 223                 $sSQL .= " keywords = array_replace(keywords,".$aRemove['word_id'].",".$iKeepID.")";
 224                 $sSQL .= " where keywords @> ARRAY[".$aRemove['word_id']."]";
 225                 chksql($oDB->query($sSQL));
 226             }
 227
 228             $sSQL = "delete from word where word_id = ".$aRemove['word_id'];
 229             chksql($oDB->query($sSQL));
 230         }
 231     }
 232 }
 233
 234 if ($aResult['index']) {
 235     passthru(CONST_InstallPath.'/nominatim/nominatim -i -d '.$aDSNInfo['database'].' -P '.$aDSNInfo['port'].' -t '.$aResult['index-instances'].' -r '.$aResult['index-rank']);
 236 }
 237
 238 if ($aResult['import-osmosis'] || $aResult['import-osmosis-all']) {
 239     //
 240     if (strpos(CONST_Replication_Url, 'download.geofabrik.de') !== false && CONST_Replication_Update_Interval < 86400) {
 241         fail("Error: Update interval too low for download.geofabrik.de.  Please check install documentation (http://wiki.openstreetmap.org/wiki/Nominatim/Installation#Updates)\n");
 242     }
 243
 244     $sImportFile = CONST_InstallPath.'/osmosischange.osc';
 245     $sCMDDownload = CONST_Pyosmium_Binary.' --server '.CONST_Replication_Url.' -o '.$sImportFile.' -s '.CONST_Replication_Max_Diff_size;
 246     $sCMDImport = $sOsm2pgsqlCmd.' '.$sImportFile;
 247     $sCMDIndex = CONST_InstallPath.'/nominatim/nominatim -i -d '.$aDSNInfo['database'].' -P '.$aDSNInfo['port'].' -t '.$aResult['index-instances'];
 248
 249     while (true) {
 250         $fStartTime = time();
 251         $aLastState = chksql($oDB->getRow('SELECT *, EXTRACT (EPOCH FROM lastimportdate) as unix_ts FROM import_status'));
 252
 253         if (!$aLastState['sequence_id']) {
 254             echo "Updates not set up. Please run ./utils/update.php --init-updates.\n";
 255             exit(1);
 256         }
 257
 258         echo 'Currently at sequence '.$aLastState['sequence_id'].' ('.$aLastState['lastimportdate'].') - '.$aLastState['indexed']." indexed\n";
 259
 260         $sBatchEnd = $aLastState['lastimportdate'];
 261         $iEndSequence = $aLastState['sequence_id'];
 262
 263         if ($aLastState['indexed'] == 't') {
 264             // Sleep if the update interval has not yet been reached.
 265             $fNextUpdate = $aLastState['unix_ts'] + CONST_Replication_Update_Interval;
 266             if ($fNextUpdate > $fStartTime) {
 267                 $iSleepTime = $fNextUpdate - $fStartTime;
 268                 echo "Waiting for next update for $iSleepTime sec.";
 269                 sleep($iSleepTime);
 270             }
 271
 272             // Download the next batch of changes.
 273             do {
 274                 $fCMDStartTime = time();
 275                 $iNextSeq = (int) $aLastState['sequence_id'];
 276                 unset($aOutput);
 277                 echo "$sCMDDownload -I $iNextSeq\n";
 278                 unlink($sImportFile);
 279                 exec($sCMDDownload.' -I '.$iNextSeq, $aOutput, $iResult);
 280
 281                 if ($iResult == 3) {
 282                     echo 'No new updates. Sleeping for '.CONST_Replication_Recheck_Interval." sec.\n";
 283                     sleep(CONST_Replication_Recheck_Interval);
 284                 } else if ($iResult != 0) {
 285                     echo 'ERROR: updates failed.';
 286                     exit($iResult);
 287                 } else {
 288                     $iEndSequence = (int)$aOutput[0];
 289                 }
 290             } while ($iResult);
 291
 292             // get the newest object from the diff file
 293             $sBatchEnd = 0;
 294             $iRet = 0;
 295             exec(CONST_BasePath.'/utils/osm_file_date.py '.$sImportFile, $sBatchEnd, $iRet);
 296             if ($iRet == 5) {
 297                 echo "Diff file is empty. skipping import.\n";
 298                 if (!$aResult['import-osmosis-all']) {
 299                     exit(0);
 300                 } else {
 301                     continue;
 302                 }
 303             }
 304             if ($iRet != 0) {
 305                 fail('Error getting date from diff file.');
 306             }
 307             $sBatchEnd = $sBatchEnd[0];
 308
 309             // Import the file
 310             $fCMDStartTime = time();
 311             echo $sCMDImport."\n";
 312             unset($sJunk);
 313             exec($sCMDImport, $sJunk, $iErrorLevel);
 314             if ($iErrorLevel) {
 315                 echo "Error executing osm2pgsql: $iErrorLevel\n";
 316                 exit($iErrorLevel);
 317             }
 318
 319             // write the update logs
 320             $iFileSize = filesize($sImportFile);
 321             $sSQL = "INSERT INTO import_osmosis_log (batchend, batchseq, batchsize, starttime, endtime, event) values ('$sBatchEnd',$iEndSequence,$iFileSize,'".date('Y-m-d H:i:s', $fCMDStartTime)."','".date('Y-m-d H:i:s')."','import')";
 322             var_Dump($sSQL);
 323             chksql($oDB->query($sSQL));
 324
 325             // update the status
 326             $sSQL = "UPDATE import_status SET lastimportdate = '$sBatchEnd', indexed=false, sequence_id = $iEndSequence";
 327             var_Dump($sSQL);
 328             chksql($oDB->query($sSQL));
 329             echo date('Y-m-d H:i:s')." Completed download step for $sBatchEnd in ".round((time()-$fCMDStartTime)/60, 2)." minutes\n";
 330         }
 331
 332         // Index file
 333         if (!$aResult['no-index']) {
 334             $sThisIndexCmd = $sCMDIndex;
 335             $fCMDStartTime = time();
 336
 337             echo "$sThisIndexCmd\n";
 338             exec($sThisIndexCmd, $sJunk, $iErrorLevel);
 339             if ($iErrorLevel) {
 340                 echo "Error: $iErrorLevel\n";
 341                 exit($iErrorLevel);
 342             }
 343
 344             $sSQL = "INSERT INTO import_osmosis_log (batchend, batchseq, batchsize, starttime, endtime, event) values ('$sBatchEnd',$iEndSequence,$iFileSize,'".date('Y-m-d H:i:s', $fCMDStartTime)."','".date('Y-m-d H:i:s')."','index')";
 345             var_Dump($sSQL);
 346             $oDB->query($sSQL);
 347             echo date('Y-m-d H:i:s')." Completed index step for $sBatchEnd in ".round((time()-$fCMDStartTime)/60, 2)." minutes\n";
 348
 349             $sSQL = "update import_status set indexed = true";
 350             $oDB->query($sSQL);
 351         }
 352
 353         $fDuration = time() - $fStartTime;
 354         echo date('Y-m-d H:i:s')." Completed all for $sBatchEnd in ".round($fDuration/60, 2)." minutes\n";
 355         if (!$aResult['import-osmosis-all']) exit(0);
 356     }
 357 }
 358