utils/update.php

   1 #!/usr/bin/php -Cq
   2 <?php
   3
   4 require_once(dirname(dirname(__FILE__)).'/settings/settings.php');
   5 require_once(CONST_BasePath.'/lib/init-cmd.php');
   6 ini_set('memory_limit', '800M');
   7
   8 $aCMDOptions
   9 = array(
  10    "Import / update / index osm data",
  11    array('help', 'h', 0, 1, 0, 0, false, 'Show Help'),
  12    array('quiet', 'q', 0, 1, 0, 0, 'bool', 'Quiet output'),
  13    array('verbose', 'v', 0, 1, 0, 0, 'bool', 'Verbose output'),
  14
  15    array('init-updates', '', 0, 1, 0, 0, 'bool', 'Set up database for updating'),
  16    array('import-osmosis', '', 0, 1, 0, 0, 'bool', 'Import updates once'),
  17    array('import-osmosis-all', '', 0, 1, 0, 0, 'bool', 'Import updates forever'),
  18    array('no-npi', '', 0, 1, 0, 0, 'bool', '(obsolate)'),
  19    array('no-index', '', 0, 1, 0, 0, 'bool', 'Do not index the new data'),
  20
  21    array('import-all', '', 0, 1, 0, 0, 'bool', 'Import all available files'),
  22
  23    array('import-file', '', 0, 1, 1, 1, 'realpath', 'Re-import data from an OSM file'),
  24    array('import-diff', '', 0, 1, 1, 1, 'realpath', 'Import a diff (osc) file from local file system'),
  25    array('osm2pgsql-cache', '', 0, 1, 1, 1, 'int', 'Cache size used by osm2pgsql'),
  26
  27    array('import-node', '', 0, 1, 1, 1, 'int', 'Re-import node'),
  28    array('import-way', '', 0, 1, 1, 1, 'int', 'Re-import way'),
  29    array('import-relation', '', 0, 1, 1, 1, 'int', 'Re-import relation'),
  30    array('import-from-main-api', '', 0, 1, 0, 0, 'bool', 'Use OSM API instead of Overpass to download objects'),
  31
  32    array('index', '', 0, 1, 0, 0, 'bool', 'Index'),
  33    array('index-rank', '', 0, 1, 1, 1, 'int', 'Rank to start indexing from'),
  34    array('index-instances', '', 0, 1, 1, 1, 'int', 'Number of indexing instances (threads)'),
  35
  36    array('deduplicate', '', 0, 1, 0, 0, 'bool', 'Deduplicate tokens'),
  37   );
  38 getCmdOpt($_SERVER['argv'], $aCMDOptions, $aResult, true, true);
  39
  40 if (!isset($aResult['index-instances'])) $aResult['index-instances'] = 1;
  41
  42 if (!isset($aResult['index-rank'])) $aResult['index-rank'] = 0;
  43
  44 date_default_timezone_set('Etc/UTC');
  45
  46 $oDB =& getDB();
  47
  48 $aDSNInfo = DB::parseDSN(CONST_Database_DSN);
  49 if (!isset($aDSNInfo['port']) || !$aDSNInfo['port']) $aDSNInfo['port'] = 5432;
  50
  51 // cache memory to be used by osm2pgsql, should not be more than the available memory
  52 $iCacheMemory = (isset($aResult['osm2pgsql-cache'])?$aResult['osm2pgsql-cache']:2000);
  53 if ($iCacheMemory + 500 > getTotalMemoryMB()) {
  54     $iCacheMemory = getCacheMemoryMB();
  55     echo "WARNING: resetting cache memory to $iCacheMemory\n";
  56 }
  57 $sOsm2pgsqlCmd = CONST_Osm2pgsql_Binary.' -klas --number-processes 1 -C '.$iCacheMemory.' -O gazetteer -d '.$aDSNInfo['database'].' -P '.$aDSNInfo['port'];
  58 if (!is_null(CONST_Osm2pgsql_Flatnode_File)) {
  59     $sOsm2pgsqlCmd .= ' --flat-nodes '.CONST_Osm2pgsql_Flatnode_File;
  60 }
  61
  62 if ($aResult['init-updates']) {
  63     $sSetup = CONST_InstallPath.'/utils/setup.php';
  64     $iRet = -1;
  65     passthru($sSetup.' --create-functions --enable-diff-updates', $iRet);
  66     if ($iRet != 0) {
  67         fail('Error running setup script');
  68     }
  69
  70     $sDatabaseDate = getDatabaseDate($oDB);
  71     $sWindBack = strftime('%Y-%m-%dT%H:%M:%SZ',
  72                           strtotime($sDatabaseDate) - (3*60*60));
  73
  74     // get the appropriate state id
  75     $aOutput = 0;
  76     exec(CONST_Pyosmium_Binary.' -D '.$sWindBack.' --server '.CONST_Replication_Url,
  77         $aOutput, $iRet);
  78     if ($iRet != 0) {
  79         fail('Error running pyosmium tools');
  80     }
  81
  82     pg_query($oDB->connection, 'TRUNCATE import_status');
  83     $sSQL = "INSERT INTO import_status (lastimportdate, sequence_id, indexed) VALUES('";
  84     $sSQL .= $sDatabaseDate."',".$aOutput[0].", true)";
  85     if (!pg_query($oDB->connection, $sSQL)) {
  86         fail("Could not enter sequence into database.");
  87     }
  88
  89     echo "Done. Database updates will start at sequence $aOutput[0] ($sWindBack)\n";
  90 }
  91
  92 if (isset($aResult['import-diff']) || isset($aResult['import-file'])) {
  93     // import diffs and files directly (e.g. from osmosis --rri)
  94     $sNextFile = isset($aResult['import-diff']) ? $aResult['import-diff'] : $aResult['import-file'];
  95     if (!file_exists($sNextFile)) {
  96         fail("Cannot open $sNextFile\n");
  97     }
  98
  99     // Import the file
 100     $sCMD = $sOsm2pgsqlCmd.' '.$sNextFile;
 101     echo $sCMD."\n";
 102     exec($sCMD, $sJunk, $iErrorLevel);
 103
 104     if ($iErrorLevel) {
 105         fail("Error from osm2pgsql, $iErrorLevel\n");
 106     }
 107
 108     // Don't update the import status - we don't know what this file contains
 109 }
 110
 111 $sTemporaryFile = CONST_BasePath.'/data/osmosischange.osc';
 112 $bHaveDiff = false;
 113 $bUseOSMApi = isset($aResult['import-from-main-api']) && $aResult['import-from-main-api'];
 114 $sContentURL = '';
 115 if (isset($aResult['import-node']) && $aResult['import-node']) {
 116     if ($bUseOSMApi) {
 117         $sContentURL = 'http://www.openstreetmap.org/api/0.6/node/'.$aResult['import-node'];
 118     } else {
 119         $sContentURL = 'http://overpass-api.de/api/interpreter?data=node('.$aResult['import-node'].');out%20meta;';
 120     }
 121 }
 122
 123 if (isset($aResult['import-way']) && $aResult['import-way']) {
 124     if ($bUseOSMApi) {
 125         $sContentURL = 'http://www.openstreetmap.org/api/0.6/way/'.$aResult['import-way'].'/full';
 126     } else {
 127         $sContentURL = 'http://overpass-api.de/api/interpreter?data=(way('.$aResult['import-way'].');node(w););out%20meta;';
 128     }
 129 }
 130
 131 if (isset($aResult['import-relation']) && $aResult['import-relation']) {
 132     if ($bUseOSMApi) {
 133         $sContentURLsModifyXMLstr = 'http://www.openstreetmap.org/api/0.6/relation/'.$aResult['import-relation'].'/full';
 134     } else {
 135         $sContentURL = 'http://overpass-api.de/api/interpreter?data=((rel('.$aResult['import-relation'].');way(r);node(w));node(r));out%20meta;';
 136     }
 137 }
 138
 139 if ($sContentURL) {
 140     file_put_contents($sTemporaryFile, file_get_contents($sContentURL));
 141     $bHaveDiff = true;
 142 }
 143
 144 if ($bHaveDiff) {
 145     // import generated change file
 146     $sCMD = $sOsm2pgsqlCmd.' '.$sTemporaryFile;
 147     echo $sCMD."\n";
 148     exec($sCMD, $sJunk, $iErrorLevel);
 149     if ($iErrorLevel) {
 150         fail("osm2pgsql exited with error level $iErrorLevel\n");
 151     }
 152 }
 153
 154 if ($aResult['deduplicate']) {
 155     $oDB =& getDB();
 156
 157     if (getPostgresVersion($oDB) < 9.3) {
 158         fail("ERROR: deduplicate is only currently supported in postgresql 9.3");
 159     }
 160
 161     $sSQL = 'select partition from country_name order by country_code';
 162     $aPartitions = chksql($oDB->getCol($sSQL));
 163     $aPartitions[] = 0;
 164
 165     // we don't care about empty search_name_* partitions, they can't contain mentions of duplicates
 166     foreach ($aPartitions as $i => $sPartition) {
 167         $sSQL = "select count(*) from search_name_".$sPartition;
 168         $nEntries = chksql($oDB->getOne($sSQL));
 169         if ($nEntries == 0) {
 170             unset($aPartitions[$i]);
 171         }
 172     }
 173
 174     $sSQL = "select word_token,count(*) from word where substr(word_token, 1, 1) = ' '";
 175     $sSQL .= " and class is null and type is null and country_code is null";
 176     $sSQL .= " group by word_token having count(*) > 1 order by word_token";
 177     $aDuplicateTokens = chksql($oDB->getAll($sSQL));
 178     foreach ($aDuplicateTokens as $aToken) {
 179         if (trim($aToken['word_token']) == '' || trim($aToken['word_token']) == '-') continue;
 180         echo "Deduping ".$aToken['word_token']."\n";
 181         $sSQL = "select word_id,";
 182         $sSQL .= " (select count(*) from search_name where nameaddress_vector @> ARRAY[word_id]) as num";
 183         $sSQL .= " from word where word_token = '".$aToken['word_token'];
 184         $sSQL .= "' and class is null and type is null and country_code is null order by num desc";
 185         $aTokenSet = chksql($oDB->getAll($sSQL));
 186
 187         $aKeep = array_shift($aTokenSet);
 188         $iKeepID = $aKeep['word_id'];
 189
 190         foreach ($aTokenSet as $aRemove) {
 191             $sSQL = "update search_name set";
 192             $sSQL .= " name_vector = array_replace(name_vector,".$aRemove['word_id'].",".$iKeepID."),";
 193             $sSQL .= " nameaddress_vector = array_replace(nameaddress_vector,".$aRemove['word_id'].",".$iKeepID.")";
 194             $sSQL .= " where name_vector @> ARRAY[".$aRemove['word_id']."]";
 195             chksql($oDB->query($sSQL));
 196
 197             $sSQL = "update search_name set";
 198             $sSQL .= " nameaddress_vector = array_replace(nameaddress_vector,".$aRemove['word_id'].",".$iKeepID.")";
 199             $sSQL .= " where nameaddress_vector @> ARRAY[".$aRemove['word_id']."]";
 200             chksql($oDB->query($sSQL));
 201
 202             $sSQL = "update location_area_country set";
 203             $sSQL .= " keywords = array_replace(keywords,".$aRemove['word_id'].",".$iKeepID.")";
 204             $sSQL .= " where keywords @> ARRAY[".$aRemove['word_id']."]";
 205             chksql($oDB->query($sSQL));
 206
 207             foreach ($aPartitions as $sPartition) {
 208                 $sSQL = "update search_name_".$sPartition." set";
 209                 $sSQL .= " name_vector = array_replace(name_vector,".$aRemove['word_id'].",".$iKeepID.")";
 210                 $sSQL .= " where name_vector @> ARRAY[".$aRemove['word_id']."]";
 211                 chksql($oDB->query($sSQL));
 212
 213                 $sSQL = "update location_area_country set";
 214                 $sSQL .= " keywords = array_replace(keywords,".$aRemove['word_id'].",".$iKeepID.")";
 215                 $sSQL .= " where keywords @> ARRAY[".$aRemove['word_id']."]";
 216                 chksql($oDB->query($sSQL));
 217             }
 218
 219             $sSQL = "delete from word where word_id = ".$aRemove['word_id'];
 220             chksql($oDB->query($sSQL));
 221         }
 222     }
 223 }
 224
 225 if ($aResult['index']) {
 226     passthru(CONST_InstallPath.'/nominatim/nominatim -i -d '.$aDSNInfo['database'].' -P '.$aDSNInfo['port'].' -t '.$aResult['index-instances'].' -r '.$aResult['index-rank']);
 227 }
 228
 229 if ($aResult['import-osmosis'] || $aResult['import-osmosis-all']) {
 230     //
 231     if (strpos(CONST_Replication_Url, 'download.geofabrik.de') !== false && CONST_Replication_Update_Interval < 86400) {
 232         fail("Error: Update interval too low for download.geofabrik.de.  Please check install documentation (http://wiki.openstreetmap.org/wiki/Nominatim/Installation#Updates)\n");
 233     }
 234
 235     $sImportFile = CONST_InstallPath.'/osmosischange.osc';
 236     $sCMDDownload = CONST_Pyosmium_Binary.' --server '.CONST_Replication_Url.' -o '.$sImportFile.' -s '.CONST_Replication_Max_Diff_size;
 237     $sCMDImport = $sOsm2pgsqlCmd.' '.$sImportFile;
 238     $sCMDIndex = CONST_InstallPath.'/nominatim/nominatim -i -d '.$aDSNInfo['database'].' -P '.$aDSNInfo['port'].' -t '.$aResult['index-instances'];
 239
 240     while (true) {
 241         $fStartTime = time();
 242         $iFileSize = 1001;
 243
 244         $aLastState = chksql($oDB->getRow('SELECT * FROM import_status'));
 245
 246         if (!$aLastState['sequence_id']) {
 247             echo "Updates not set up. Please run ./utils/update.php --init-updates.\n";
 248             exit(1);
 249         }
 250
 251         echo 'Currently at sequence '.$aLastState['sequence_id'].' ('.$aLastState['lastimportdate'].') - '.$aLastState['indexed']." indexed\n";
 252
 253         $sBatchEnd = $aLastState['lastimportdate'];
 254         $iEndSequence = $aLastState['sequence_id'];
 255
 256         if ($aLastState['indexed'] == 't') {
 257             // Sleep if the update interval has not yet been reached.
 258             $fNextUpdate = $aLastState['lastimportdate'] + CONST_Replication_Update_Interval;
 259             if ($fNextUpdate > $fStartTime) {
 260                 $iSleepTime = $fNextUpdate - $fStartTime;
 261                 echo "Waiting for next update for $iSleepTime sec.";
 262                 sleep($iSleepTime);
 263             }
 264
 265             // Download the next batch of changes.
 266             do {
 267                 $fCMDStartTime = time();
 268                 $iNextSeq = (int) $aLastState['sequence_id'];
 269                 unset($aOutput);
 270                 echo "$sCMDDownload -I $iNextSeq\n";
 271                 unlink($sImportFile);
 272                 exec($sCMDDownload.' -I '.$iNextSeq, $aOutput, $iResult);
 273
 274                 if ($iResult == 3) {
 275                     echo 'No new updates. Sleeping for '.CONST_Replication_Recheck_Interval." sec.\n";
 276                     sleep(CONST_Replication_Recheck_Interval);
 277                 } else if ($iResult != 0) {
 278                     echo 'ERROR: updates failed.';
 279                     exit($iResult);
 280                 } else {
 281                     $iEndSequence = (int)$aOutput[0];
 282                 }
 283             } while ($iResult);
 284
 285             // Import the file
 286             $fCMDStartTime = time();
 287             echo $sCMDImport."\n";
 288             unset($sJunk);
 289             exec($sCMDImport, $sJunk, $iErrorLevel);
 290             if ($iErrorLevel) {
 291                 echo "Error executing osm2pgsql: $iErrorLevel\n";
 292                 exit($iErrorLevel);
 293             }
 294
 295             // write the update logs
 296             $iFileSize = filesize($sImportFile);
 297             $sBatchEnd = getDatabaseDate($oDB);
 298             $sSQL = "INSERT INTO import_osmosis_log (batchend, batchseq, batchsize, starttime, endtime, event) values ('$sBatchEnd',$iEndSequence,$iFileSize,'".date('Y-m-d H:i:s', $fCMDStartTime)."','".date('Y-m-d H:i:s')."','import')";
 299             var_Dump($sSQL);
 300             chksql($oDB->query($sSQL));
 301
 302             // update the status
 303             $sSQL = "UPDATE import_status SET lastimportdate = '$sBatchEnd', indexed=false, sequence_id = $iEndSequence";
 304             var_Dump($sSQL);
 305             chksql($oDB->query($sSQL));
 306             echo date('Y-m-d H:i:s')." Completed download step for $sBatchEnd in ".round((time()-$fCMDStartTime)/60, 2)." minutes\n";
 307         }
 308
 309         // Index file
 310         if (!$aResult['no-index']) {
 311             $sThisIndexCmd = $sCMDIndex;
 312             $fCMDStartTime = time();
 313
 314             echo "$sThisIndexCmd\n";
 315             exec($sThisIndexCmd, $sJunk, $iErrorLevel);
 316             if ($iErrorLevel) {
 317                 echo "Error: $iErrorLevel\n";
 318                 exit($iErrorLevel);
 319             }
 320
 321             $sSQL = "INSERT INTO import_osmosis_log (batchend, batchseq, batchsize, starttime, endtime, event) values ('$sBatchEnd',$iEndSequence,$iFileSize,'".date('Y-m-d H:i:s', $fCMDStartTime)."','".date('Y-m-d H:i:s')."','index')";
 322             var_Dump($sSQL);
 323             $oDB->query($sSQL);
 324             echo date('Y-m-d H:i:s')." Completed index step for $sBatchEnd in ".round((time()-$fCMDStartTime)/60, 2)." minutes\n";
 325
 326             $sSQL = "update import_status set indexed = true";
 327             $oDB->query($sSQL);
 328         }
 329
 330         $fDuration = time() - $fStartTime;
 331         echo date('Y-m-d H:i:s')." Completed all for $sBatchEnd in ".round($fDuration/60, 2)." minutes\n";
 332         if (!$aResult['import-osmosis-all']) exit(0);
 333     }
 334 }
 335