utils/update.php

   1 #!/usr/bin/php -Cq
   2 <?php
   3
   4 require_once(dirname(dirname(__FILE__)).'/settings/settings.php');
   5 require_once(CONST_BasePath.'/lib/init-cmd.php');
   6 ini_set('memory_limit', '800M');
   7
   8 $aCMDOptions
   9 = array(
  10    "Import / update / index osm data",
  11    array('help', 'h', 0, 1, 0, 0, false, 'Show Help'),
  12    array('quiet', 'q', 0, 1, 0, 0, 'bool', 'Quiet output'),
  13    array('verbose', 'v', 0, 1, 0, 0, 'bool', 'Verbose output'),
  14
  15    array('init-updates', '', 0, 1, 0, 0, 'bool', 'Set up database for updating'),
  16    array('import-osmosis', '', 0, 1, 0, 0, 'bool', 'Import updates once'),
  17    array('import-osmosis-all', '', 0, 1, 0, 0, 'bool', 'Import updates forever'),
  18    array('no-npi', '', 0, 1, 0, 0, 'bool', '(obsolate)'),
  19    array('no-index', '', 0, 1, 0, 0, 'bool', 'Do not index the new data'),
  20
  21    array('import-all', '', 0, 1, 0, 0, 'bool', 'Import all available files'),
  22
  23    array('import-file', '', 0, 1, 1, 1, 'realpath', 'Re-import data from an OSM file'),
  24    array('import-diff', '', 0, 1, 1, 1, 'realpath', 'Import a diff (osc) file from local file system'),
  25    array('osm2pgsql-cache', '', 0, 1, 1, 1, 'int', 'Cache size used by osm2pgsql'),
  26
  27    array('import-node', '', 0, 1, 1, 1, 'int', 'Re-import node'),
  28    array('import-way', '', 0, 1, 1, 1, 'int', 'Re-import way'),
  29    array('import-relation', '', 0, 1, 1, 1, 'int', 'Re-import relation'),
  30    array('import-from-main-api', '', 0, 1, 0, 0, 'bool', 'Use OSM API instead of Overpass to download objects'),
  31
  32    array('index', '', 0, 1, 0, 0, 'bool', 'Index'),
  33    array('index-rank', '', 0, 1, 1, 1, 'int', 'Rank to start indexing from'),
  34    array('index-instances', '', 0, 1, 1, 1, 'int', 'Number of indexing instances (threads)'),
  35
  36    array('deduplicate', '', 0, 1, 0, 0, 'bool', 'Deduplicate tokens'),
  37   );
  38 getCmdOpt($_SERVER['argv'], $aCMDOptions, $aResult, true, true);
  39
  40 if (!isset($aResult['index-instances'])) $aResult['index-instances'] = 1;
  41 if (!isset($aResult['index-rank'])) $aResult['index-rank'] = 0;
  42
  43 date_default_timezone_set('Etc/UTC');
  44
  45 $oDB =& getDB();
  46
  47 $aDSNInfo = DB::parseDSN(CONST_Database_DSN);
  48 if (!isset($aDSNInfo['port']) || !$aDSNInfo['port']) $aDSNInfo['port'] = 5432;
  49
  50 // cache memory to be used by osm2pgsql, should not be more than the available memory
  51 $iCacheMemory = (isset($aResult['osm2pgsql-cache'])?$aResult['osm2pgsql-cache']:2000);
  52 if ($iCacheMemory + 500 > getTotalMemoryMB()) {
  53     $iCacheMemory = getCacheMemoryMB();
  54     echo "WARNING: resetting cache memory to $iCacheMemory\n";
  55 }
  56 $sOsm2pgsqlCmd = CONST_Osm2pgsql_Binary.' -klas --number-processes 1 -C '.$iCacheMemory.' -O gazetteer -d '.$aDSNInfo['database'].' -P '.$aDSNInfo['port'];
  57 if (!is_null(CONST_Osm2pgsql_Flatnode_File)) {
  58     $sOsm2pgsqlCmd .= ' --flat-nodes '.CONST_Osm2pgsql_Flatnode_File;
  59 }
  60
  61 if ($aResult['init-updates']) {
  62     $sSetup = CONST_InstallPath.'/utils/setup.php';
  63     $iRet = -1;
  64     passthru($sSetup.' --create-functions --enable-diff-updates', $iRet);
  65     if ($iRet != 0) {
  66         fail('Error running setup script');
  67     }
  68
  69     $sDatabaseDate = getDatabaseDate($oDB);
  70     if ($sDatabaseDate === false) {
  71         fail("Cannot determine date of database.");
  72     }
  73     $sWindBack = strftime('%Y-%m-%dT%H:%M:%SZ',
  74                           strtotime($sDatabaseDate) - (3*60*60));
  75
  76     // get the appropriate state id
  77     $aOutput = 0;
  78     exec(CONST_Pyosmium_Binary.' -D '.$sWindBack.' --server '.CONST_Replication_Url,
  79         $aOutput, $iRet);
  80     if ($iRet != 0) {
  81         fail('Error running pyosmium tools');
  82     }
  83
  84     pg_query($oDB->connection, 'TRUNCATE import_status');
  85     $sSQL = "INSERT INTO import_status (lastimportdate, sequence_id, indexed) VALUES('";
  86     $sSQL .= $sDatabaseDate."',".$aOutput[0].", true)";
  87     if (!pg_query($oDB->connection, $sSQL)) {
  88         fail("Could not enter sequence into database.");
  89     }
  90
  91     echo "Done. Database updates will start at sequence $aOutput[0] ($sWindBack)\n";
  92 }
  93
  94 if (isset($aResult['import-diff']) || isset($aResult['import-file'])) {
  95     // import diffs and files directly (e.g. from osmosis --rri)
  96     $sNextFile = isset($aResult['import-diff']) ? $aResult['import-diff'] : $aResult['import-file'];
  97     if (!file_exists($sNextFile)) {
  98         fail("Cannot open $sNextFile\n");
  99     }
 100
 101     // Import the file
 102     $sCMD = $sOsm2pgsqlCmd.' '.$sNextFile;
 103     echo $sCMD."\n";
 104     exec($sCMD, $sJunk, $iErrorLevel);
 105
 106     if ($iErrorLevel) {
 107         fail("Error from osm2pgsql, $iErrorLevel\n");
 108     }
 109
 110     // Don't update the import status - we don't know what this file contains
 111 }
 112
 113 $sTemporaryFile = CONST_BasePath.'/data/osmosischange.osc';
 114 $bHaveDiff = false;
 115 $bUseOSMApi = isset($aResult['import-from-main-api']) && $aResult['import-from-main-api'];
 116 $sContentURL = '';
 117 if (isset($aResult['import-node']) && $aResult['import-node']) {
 118     if ($bUseOSMApi) {
 119         $sContentURL = 'http://www.openstreetmap.org/api/0.6/node/'.$aResult['import-node'];
 120     } else {
 121         $sContentURL = 'http://overpass-api.de/api/interpreter?data=node('.$aResult['import-node'].');out%20meta;';
 122     }
 123 }
 124
 125 if (isset($aResult['import-way']) && $aResult['import-way']) {
 126     if ($bUseOSMApi) {
 127         $sContentURL = 'http://www.openstreetmap.org/api/0.6/way/'.$aResult['import-way'].'/full';
 128     } else {
 129         $sContentURL = 'http://overpass-api.de/api/interpreter?data=(way('.$aResult['import-way'].');node(w););out%20meta;';
 130     }
 131 }
 132
 133 if (isset($aResult['import-relation']) && $aResult['import-relation']) {
 134     if ($bUseOSMApi) {
 135         $sContentURLsModifyXMLstr = 'http://www.openstreetmap.org/api/0.6/relation/'.$aResult['import-relation'].'/full';
 136     } else {
 137         $sContentURL = 'http://overpass-api.de/api/interpreter?data=((rel('.$aResult['import-relation'].');way(r);node(w));node(r));out%20meta;';
 138     }
 139 }
 140
 141 if ($sContentURL) {
 142     file_put_contents($sTemporaryFile, file_get_contents($sContentURL));
 143     $bHaveDiff = true;
 144 }
 145
 146 if ($bHaveDiff) {
 147     // import generated change file
 148     $sCMD = $sOsm2pgsqlCmd.' '.$sTemporaryFile;
 149     echo $sCMD."\n";
 150     exec($sCMD, $sJunk, $iErrorLevel);
 151     if ($iErrorLevel) {
 152         fail("osm2pgsql exited with error level $iErrorLevel\n");
 153     }
 154 }
 155
 156 if ($aResult['deduplicate']) {
 157     $oDB =& getDB();
 158
 159     if (getPostgresVersion($oDB) < 9.3) {
 160         fail("ERROR: deduplicate is only currently supported in postgresql 9.3");
 161     }
 162
 163     $sSQL = 'select partition from country_name order by country_code';
 164     $aPartitions = chksql($oDB->getCol($sSQL));
 165     $aPartitions[] = 0;
 166
 167     // we don't care about empty search_name_* partitions, they can't contain mentions of duplicates
 168     foreach ($aPartitions as $i => $sPartition) {
 169         $sSQL = "select count(*) from search_name_".$sPartition;
 170         $nEntries = chksql($oDB->getOne($sSQL));
 171         if ($nEntries == 0) {
 172             unset($aPartitions[$i]);
 173         }
 174     }
 175
 176     $sSQL = "select word_token,count(*) from word where substr(word_token, 1, 1) = ' '";
 177     $sSQL .= " and class is null and type is null and country_code is null";
 178     $sSQL .= " group by word_token having count(*) > 1 order by word_token";
 179     $aDuplicateTokens = chksql($oDB->getAll($sSQL));
 180     foreach ($aDuplicateTokens as $aToken) {
 181         if (trim($aToken['word_token']) == '' || trim($aToken['word_token']) == '-') continue;
 182         echo "Deduping ".$aToken['word_token']."\n";
 183         $sSQL = "select word_id,";
 184         $sSQL .= " (select count(*) from search_name where nameaddress_vector @> ARRAY[word_id]) as num";
 185         $sSQL .= " from word where word_token = '".$aToken['word_token'];
 186         $sSQL .= "' and class is null and type is null and country_code is null order by num desc";
 187         $aTokenSet = chksql($oDB->getAll($sSQL));
 188
 189         $aKeep = array_shift($aTokenSet);
 190         $iKeepID = $aKeep['word_id'];
 191
 192         foreach ($aTokenSet as $aRemove) {
 193             $sSQL = "update search_name set";
 194             $sSQL .= " name_vector = array_replace(name_vector,".$aRemove['word_id'].",".$iKeepID."),";
 195             $sSQL .= " nameaddress_vector = array_replace(nameaddress_vector,".$aRemove['word_id'].",".$iKeepID.")";
 196             $sSQL .= " where name_vector @> ARRAY[".$aRemove['word_id']."]";
 197             chksql($oDB->query($sSQL));
 198
 199             $sSQL = "update search_name set";
 200             $sSQL .= " nameaddress_vector = array_replace(nameaddress_vector,".$aRemove['word_id'].",".$iKeepID.")";
 201             $sSQL .= " where nameaddress_vector @> ARRAY[".$aRemove['word_id']."]";
 202             chksql($oDB->query($sSQL));
 203
 204             $sSQL = "update location_area_country set";
 205             $sSQL .= " keywords = array_replace(keywords,".$aRemove['word_id'].",".$iKeepID.")";
 206             $sSQL .= " where keywords @> ARRAY[".$aRemove['word_id']."]";
 207             chksql($oDB->query($sSQL));
 208
 209             foreach ($aPartitions as $sPartition) {
 210                 $sSQL = "update search_name_".$sPartition." set";
 211                 $sSQL .= " name_vector = array_replace(name_vector,".$aRemove['word_id'].",".$iKeepID.")";
 212                 $sSQL .= " where name_vector @> ARRAY[".$aRemove['word_id']."]";
 213                 chksql($oDB->query($sSQL));
 214
 215                 $sSQL = "update location_area_country set";
 216                 $sSQL .= " keywords = array_replace(keywords,".$aRemove['word_id'].",".$iKeepID.")";
 217                 $sSQL .= " where keywords @> ARRAY[".$aRemove['word_id']."]";
 218                 chksql($oDB->query($sSQL));
 219             }
 220
 221             $sSQL = "delete from word where word_id = ".$aRemove['word_id'];
 222             chksql($oDB->query($sSQL));
 223         }
 224     }
 225 }
 226
 227 if ($aResult['index']) {
 228     passthru(CONST_InstallPath.'/nominatim/nominatim -i -d '.$aDSNInfo['database'].' -P '.$aDSNInfo['port'].' -t '.$aResult['index-instances'].' -r '.$aResult['index-rank']);
 229 }
 230
 231 if ($aResult['import-osmosis'] || $aResult['import-osmosis-all']) {
 232     //
 233     if (strpos(CONST_Replication_Url, 'download.geofabrik.de') !== false && CONST_Replication_Update_Interval < 86400) {
 234         fail("Error: Update interval too low for download.geofabrik.de.  Please check install documentation (http://wiki.openstreetmap.org/wiki/Nominatim/Installation#Updates)\n");
 235     }
 236
 237     $sImportFile = CONST_InstallPath.'/osmosischange.osc';
 238     $sCMDDownload = CONST_Pyosmium_Binary.' --server '.CONST_Replication_Url.' -o '.$sImportFile.' -s '.CONST_Replication_Max_Diff_size;
 239     $sCMDImport = $sOsm2pgsqlCmd.' '.$sImportFile;
 240     $sCMDIndex = CONST_InstallPath.'/nominatim/nominatim -i -d '.$aDSNInfo['database'].' -P '.$aDSNInfo['port'].' -t '.$aResult['index-instances'];
 241
 242     while (true) {
 243         $fStartTime = time();
 244         $aLastState = chksql($oDB->getRow('SELECT *, EXTRACT (EPOCH FROM lastimportdate) as unix_ts FROM import_status'));
 245
 246         if (!$aLastState['sequence_id']) {
 247             echo "Updates not set up. Please run ./utils/update.php --init-updates.\n";
 248             exit(1);
 249         }
 250
 251         echo 'Currently at sequence '.$aLastState['sequence_id'].' ('.$aLastState['lastimportdate'].') - '.$aLastState['indexed']." indexed\n";
 252
 253         $sBatchEnd = $aLastState['lastimportdate'];
 254         $iEndSequence = $aLastState['sequence_id'];
 255
 256         if ($aLastState['indexed'] == 't') {
 257             // Sleep if the update interval has not yet been reached.
 258             $fNextUpdate = $aLastState['unix_ts'] + CONST_Replication_Update_Interval;
 259             if ($fNextUpdate > $fStartTime) {
 260                 $iSleepTime = $fNextUpdate - $fStartTime;
 261                 echo "Waiting for next update for $iSleepTime sec.";
 262                 sleep($iSleepTime);
 263             }
 264
 265             // Download the next batch of changes.
 266             do {
 267                 $fCMDStartTime = time();
 268                 $iNextSeq = (int) $aLastState['sequence_id'];
 269                 unset($aOutput);
 270                 echo "$sCMDDownload -I $iNextSeq\n";
 271                 unlink($sImportFile);
 272                 exec($sCMDDownload.' -I '.$iNextSeq, $aOutput, $iResult);
 273
 274                 if ($iResult == 3) {
 275                     echo 'No new updates. Sleeping for '.CONST_Replication_Recheck_Interval." sec.\n";
 276                     sleep(CONST_Replication_Recheck_Interval);
 277                 } else if ($iResult != 0) {
 278                     echo 'ERROR: updates failed.';
 279                     exit($iResult);
 280                 } else {
 281                     $iEndSequence = (int)$aOutput[0];
 282                 }
 283             } while ($iResult);
 284
 285             // get the newest object from the diff file
 286             $sBatchEnd = 0;
 287             $iRet = 0;
 288             exec(CONST_BasePath.'/utils/osm_file_date.py '.$sImportFile, $sBatchEnd, $iRet);
 289             if ($iRet == 5) {
 290                 echo "Diff file is empty. skipping import.\n";
 291                 if (!$aResult['import-osmosis-all']) {
 292                     exit(0);
 293                 } else {
 294                     continue;
 295                 }
 296             }
 297             if ($iRet != 0) {
 298                 fail('Error getting date from diff file.');
 299             }
 300             $sBatchEnd = $sBatchEnd[0];
 301
 302             // Import the file
 303             $fCMDStartTime = time();
 304             echo $sCMDImport."\n";
 305             unset($sJunk);
 306             exec($sCMDImport, $sJunk, $iErrorLevel);
 307             if ($iErrorLevel) {
 308                 echo "Error executing osm2pgsql: $iErrorLevel\n";
 309                 exit($iErrorLevel);
 310             }
 311
 312             // write the update logs
 313             $iFileSize = filesize($sImportFile);
 314             $sSQL = "INSERT INTO import_osmosis_log (batchend, batchseq, batchsize, starttime, endtime, event) values ('$sBatchEnd',$iEndSequence,$iFileSize,'".date('Y-m-d H:i:s', $fCMDStartTime)."','".date('Y-m-d H:i:s')."','import')";
 315             var_Dump($sSQL);
 316             chksql($oDB->query($sSQL));
 317
 318             // update the status
 319             $sSQL = "UPDATE import_status SET lastimportdate = '$sBatchEnd', indexed=false, sequence_id = $iEndSequence";
 320             var_Dump($sSQL);
 321             chksql($oDB->query($sSQL));
 322             echo date('Y-m-d H:i:s')." Completed download step for $sBatchEnd in ".round((time()-$fCMDStartTime)/60, 2)." minutes\n";
 323         }
 324
 325         // Index file
 326         if (!$aResult['no-index']) {
 327             $sThisIndexCmd = $sCMDIndex;
 328             $fCMDStartTime = time();
 329
 330             echo "$sThisIndexCmd\n";
 331             exec($sThisIndexCmd, $sJunk, $iErrorLevel);
 332             if ($iErrorLevel) {
 333                 echo "Error: $iErrorLevel\n";
 334                 exit($iErrorLevel);
 335             }
 336
 337             $sSQL = "INSERT INTO import_osmosis_log (batchend, batchseq, batchsize, starttime, endtime, event) values ('$sBatchEnd',$iEndSequence,$iFileSize,'".date('Y-m-d H:i:s', $fCMDStartTime)."','".date('Y-m-d H:i:s')."','index')";
 338             var_Dump($sSQL);
 339             $oDB->query($sSQL);
 340             echo date('Y-m-d H:i:s')." Completed index step for $sBatchEnd in ".round((time()-$fCMDStartTime)/60, 2)." minutes\n";
 341
 342             $sSQL = "update import_status set indexed = true";
 343             $oDB->query($sSQL);
 344         }
 345
 346         $fDuration = time() - $fStartTime;
 347         echo date('Y-m-d H:i:s')." Completed all for $sBatchEnd in ".round($fDuration/60, 2)." minutes\n";
 348         if (!$aResult['import-osmosis-all']) exit(0);
 349     }
 350 }
 351