utils/update.php

   1 <?php
   2
   3 require_once(CONST_BasePath.'/lib/init-cmd.php');
   4 require_once(CONST_BasePath.'/lib/setup_functions.php');
   5 require_once(CONST_BasePath.'/lib/setup/SetupClass.php');
   6 require_once(CONST_BasePath.'/lib/setup/AddressLevelParser.php');
   7
   8 ini_set('memory_limit', '800M');
   9
  10 use Nominatim\Setup\SetupFunctions as SetupFunctions;
  11
  12 // (long-opt, short-opt, min-occurs, max-occurs, num-arguments, num-arguments, type, help)
  13 $aCMDOptions
  14 = array(
  15    'Import / update / index osm data',
  16    array('help', 'h', 0, 1, 0, 0, false, 'Show Help'),
  17    array('quiet', 'q', 0, 1, 0, 0, 'bool', 'Quiet output'),
  18    array('verbose', 'v', 0, 1, 0, 0, 'bool', 'Verbose output'),
  19
  20    array('init-updates', '', 0, 1, 0, 0, 'bool', 'Set up database for updating'),
  21    array('check-for-updates', '', 0, 1, 0, 0, 'bool', 'Check if new updates are available'),
  22    array('no-update-functions', '', 0, 1, 0, 0, 'bool', 'Do not update trigger functions to support differential updates (assuming the diff update logic is already present)'),
  23    array('import-osmosis', '', 0, 1, 0, 0, 'bool', 'Import updates once'),
  24    array('import-osmosis-all', '', 0, 1, 0, 0, 'bool', 'Import updates forever'),
  25    array('no-index', '', 0, 1, 0, 0, 'bool', 'Do not index the new data'),
  26
  27    array('calculate-postcodes', '', 0, 1, 0, 0, 'bool', 'Update postcode centroid table'),
  28
  29    array('import-file', '', 0, 1, 1, 1, 'realpath', 'Re-import data from an OSM file'),
  30    array('import-diff', '', 0, 1, 1, 1, 'realpath', 'Import a diff (osc) file from local file system'),
  31    array('osm2pgsql-cache', '', 0, 1, 1, 1, 'int', 'Cache size used by osm2pgsql'),
  32
  33    array('import-node', '', 0, 1, 1, 1, 'int', 'Re-import node'),
  34    array('import-way', '', 0, 1, 1, 1, 'int', 'Re-import way'),
  35    array('import-relation', '', 0, 1, 1, 1, 'int', 'Re-import relation'),
  36    array('import-from-main-api', '', 0, 1, 0, 0, 'bool', 'Use OSM API instead of Overpass to download objects'),
  37
  38    array('index', '', 0, 1, 0, 0, 'bool', 'Index'),
  39    array('index-rank', '', 0, 1, 1, 1, 'int', 'Rank to start indexing from'),
  40    array('index-instances', '', 0, 1, 1, 1, 'int', 'Number of indexing instances (threads)'),
  41
  42    array('deduplicate', '', 0, 1, 0, 0, 'bool', 'Deduplicate tokens'),
  43    array('recompute-word-counts', '', 0, 1, 0, 0, 'bool', 'Compute frequency of full-word search terms'),
  44    array('update-address-levels', '', 0, 1, 0, 0, 'bool', 'Reimport address level configuration (EXPERT)'),
  45    array('recompute-importance', '', 0, 1, 0, 0, 'bool', 'Recompute place importances'),
  46    array('no-npi', '', 0, 1, 0, 0, 'bool', '(obsolete)'),
  47   );
  48
  49 getCmdOpt($_SERVER['argv'], $aCMDOptions, $aResult, true, true);
  50
  51 if (!isset($aResult['index-instances'])) $aResult['index-instances'] = 1;
  52
  53 if (!isset($aResult['index-rank'])) $aResult['index-rank'] = 0;
  54
  55 date_default_timezone_set('Etc/UTC');
  56
  57 $oDB = new Nominatim\DB();
  58 $oDB->connect();
  59 $fPostgresVersion = $oDB->getPostgresVersion();
  60
  61 $aDSNInfo = Nominatim\DB::parseDSN(CONST_Database_DSN);
  62 if (!isset($aDSNInfo['port']) || !$aDSNInfo['port']) $aDSNInfo['port'] = 5432;
  63
  64 // cache memory to be used by osm2pgsql, should not be more than the available memory
  65 $iCacheMemory = (isset($aResult['osm2pgsql-cache'])?$aResult['osm2pgsql-cache']:2000);
  66 if ($iCacheMemory + 500 > getTotalMemoryMB()) {
  67     $iCacheMemory = getCacheMemoryMB();
  68     echo "WARNING: resetting cache memory to $iCacheMemory\n";
  69 }
  70
  71 $oOsm2pgsqlCmd = (new \Nominatim\Shell(CONST_Osm2pgsql_Binary))
  72                  ->addParams('--hstore')
  73                  ->addParams('--latlong')
  74                  ->addParams('--append')
  75                  ->addParams('--slim')
  76                  ->addParams('--number-processes', 1)
  77                  ->addParams('--cache', $iCacheMemory)
  78                  ->addParams('--output', 'gazetteer')
  79                  ->addParams('--style', CONST_Import_Style)
  80                  ->addParams('--database', $aDSNInfo['database'])
  81                  ->addParams('--port', $aDSNInfo['port']);
  82
  83 if (isset($aDSNInfo['hostspec']) && $aDSNInfo['hostspec']) {
  84     $oOsm2pgsqlCmd->addParams('--host', $aDSNInfo['hostspec']);
  85 }
  86 if (isset($aDSNInfo['username']) && $aDSNInfo['username']) {
  87     $oOsm2pgsqlCmd->addParams('--user', $aDSNInfo['username']);
  88 }
  89 if (isset($aDSNInfo['password']) && $aDSNInfo['password']) {
  90     $oOsm2pgsqlCmd->addEnvPair('PGPASSWORD', $aDSNInfo['password']);
  91 }
  92 if (!is_null(CONST_Osm2pgsql_Flatnode_File) && CONST_Osm2pgsql_Flatnode_File) {
  93     $oOsm2pgsqlCmd->addParams('--flat-nodes', CONST_Osm2pgsql_Flatnode_File);
  94 }
  95 if ($fPostgresVersion >= 11.0) {
  96     $oOsm2pgsqlCmd->addEnvPair(
  97         'PGOPTIONS',
  98         '-c jit=off -c max_parallel_workers_per_gather=0'
  99     );
 100 }
 101
 102
 103 $oIndexCmd = (new \Nominatim\Shell(CONST_BasePath.'/nominatim/nominatim.py'))
 104              ->addParams('--database', $aDSNInfo['database'])
 105              ->addParams('--port', $aDSNInfo['port'])
 106              ->addParams('--threads', $aResult['index-instances']);
 107
 108 if ($aResult['verbose']) {
 109     $oIndexCmd->addParams('--verbose');
 110 }
 111 if (isset($aDSNInfo['hostspec']) && $aDSNInfo['hostspec']) {
 112     $oIndexCmd->addParams('--host', $aDSNInfo['hostspec']);
 113 }
 114 if (isset($aDSNInfo['username']) && $aDSNInfo['username']) {
 115     $oIndexCmd->addParams('--username', $aDSNInfo['username']);
 116 }
 117 if (isset($aDSNInfo['password']) && $aDSNInfo['password']) {
 118     $oIndexCmd->addEnvPair('PGPASSWORD', $aDSNInfo['password']);
 119 }
 120
 121
 122 if ($aResult['init-updates']) {
 123     // sanity check that the replication URL is correct
 124     $sBaseState = file_get_contents(CONST_Replication_Url.'/state.txt');
 125     if ($sBaseState === false) {
 126         echo "\nCannot find state.txt file at the configured replication URL.\n";
 127         echo "Does the URL point to a directory containing OSM update data?\n\n";
 128         fail('replication URL not reachable.');
 129     }
 130     // sanity check for pyosmium-get-changes
 131     if (!CONST_Pyosmium_Binary) {
 132         echo "\nCONST_Pyosmium_Binary not configured.\n";
 133         echo "You need to install pyosmium and set up the path to pyosmium-get-changes\n";
 134         echo "in your local settings file.\n\n";
 135         fail('CONST_Pyosmium_Binary not configured');
 136     }
 137
 138     $aOutput = 0;
 139     $oCMD = new \Nominatim\Shell(CONST_Pyosmium_Binary, '--help');
 140     exec($oCMD->escapedCmd(), $aOutput, $iRet);
 141
 142     if ($iRet != 0) {
 143         echo "Cannot execute pyosmium-get-changes.\n";
 144         echo "Make sure you have pyosmium installed correctly\n";
 145         echo "and have set up CONST_Pyosmium_Binary to point to pyosmium-get-changes.\n";
 146         fail('pyosmium-get-changes not found or not usable');
 147     }
 148
 149     if (!$aResult['no-update-functions']) {
 150         // instantiate setupClass to use the function therein
 151         $cSetup = new SetupFunctions(array(
 152                                       'enable-diff-updates' => true,
 153                                       'verbose' => $aResult['verbose']
 154                                      ));
 155         $cSetup->connect();
 156         $cSetup->createFunctions();
 157     }
 158
 159     $sDatabaseDate = getDatabaseDate($oDB);
 160     if (!$sDatabaseDate) {
 161         fail('Cannot determine date of database.');
 162     }
 163     $sWindBack = strftime('%Y-%m-%dT%H:%M:%SZ', strtotime($sDatabaseDate) - (3*60*60));
 164
 165     // get the appropriate state id
 166     $aOutput = 0;
 167     $oCMD = (new \Nominatim\Shell(CONST_Pyosmium_Binary))
 168             ->addParams('--start-date', $sWindBack)
 169             ->addParams('--server', CONST_Replication_Url);
 170
 171     exec($oCMD->escapedCmd(), $aOutput, $iRet);
 172     if ($iRet != 0 || $aOutput[0] == 'None') {
 173         fail('Error running pyosmium tools');
 174     }
 175
 176     $oDB->exec('TRUNCATE import_status');
 177     $sSQL = "INSERT INTO import_status (lastimportdate, sequence_id, indexed) VALUES('";
 178     $sSQL .= $sDatabaseDate."',".$aOutput[0].', true)';
 179
 180     try {
 181         $oDB->exec($sSQL);
 182     } catch (\Nominatim\DatabaseError $e) {
 183         fail('Could not enter sequence into database.');
 184     }
 185
 186     echo "Done. Database updates will start at sequence $aOutput[0] ($sWindBack)\n";
 187 }
 188
 189 if ($aResult['check-for-updates']) {
 190     $aLastState = $oDB->getRow('SELECT sequence_id FROM import_status');
 191
 192     if (!$aLastState['sequence_id']) {
 193         fail('Updates not set up. Please run ./utils/update.php --init-updates.');
 194     }
 195
 196     $oCmd = (new \Nominatim\Shell(CONST_BasePath.'/utils/check_server_for_updates.py'))
 197             ->addParams(CONST_Replication_Url)
 198             ->addParams($aLastState['sequence_id']);
 199     $iRet = $oCmd->run();
 200
 201     exit($iRet);
 202 }
 203
 204 if (isset($aResult['import-diff']) || isset($aResult['import-file'])) {
 205     // import diffs and files directly (e.g. from osmosis --rri)
 206     $sNextFile = isset($aResult['import-diff']) ? $aResult['import-diff'] : $aResult['import-file'];
 207
 208     if (!file_exists($sNextFile)) {
 209         fail("Cannot open $sNextFile\n");
 210     }
 211
 212     // Import the file
 213     $oCMD = (clone $oOsm2pgsqlCmd)->addParams($sNextFile);
 214     echo $oCMD->escapedCmd()."\n";
 215     $iRet = $oCMD->run();
 216
 217     if ($iRet) {
 218         fail("Error from osm2pgsql, $iRet\n");
 219     }
 220
 221     // Don't update the import status - we don't know what this file contains
 222 }
 223
 224 if ($aResult['calculate-postcodes']) {
 225     info('Update postcodes centroids');
 226     $sTemplate = file_get_contents(CONST_BasePath.'/sql/update-postcodes.sql');
 227     runSQLScript($sTemplate, true, true);
 228 }
 229
 230 $sTemporaryFile = CONST_BasePath.'/data/osmosischange.osc';
 231 $bHaveDiff = false;
 232 $bUseOSMApi = isset($aResult['import-from-main-api']) && $aResult['import-from-main-api'];
 233 $sContentURL = '';
 234 if (isset($aResult['import-node']) && $aResult['import-node']) {
 235     if ($bUseOSMApi) {
 236         $sContentURL = 'https://www.openstreetmap.org/api/0.6/node/'.$aResult['import-node'];
 237     } else {
 238         $sContentURL = 'https://overpass-api.de/api/interpreter?data=node('.$aResult['import-node'].');out%20meta;';
 239     }
 240 }
 241
 242 if (isset($aResult['import-way']) && $aResult['import-way']) {
 243     if ($bUseOSMApi) {
 244         $sContentURL = 'https://www.openstreetmap.org/api/0.6/way/'.$aResult['import-way'].'/full';
 245     } else {
 246         $sContentURL = 'https://overpass-api.de/api/interpreter?data=(way('.$aResult['import-way'].');node(w););out%20meta;';
 247     }
 248 }
 249
 250 if (isset($aResult['import-relation']) && $aResult['import-relation']) {
 251     if ($bUseOSMApi) {
 252         $sContentURLsModifyXMLstr = 'https://www.openstreetmap.org/api/0.6/relation/'.$aResult['import-relation'].'/full';
 253     } else {
 254         $sContentURL = 'https://overpass-api.de/api/interpreter?data=((rel('.$aResult['import-relation'].');way(r);node(w));node(r));out%20meta;';
 255     }
 256 }
 257
 258 if ($sContentURL) {
 259     file_put_contents($sTemporaryFile, file_get_contents($sContentURL));
 260     $bHaveDiff = true;
 261 }
 262
 263 if ($bHaveDiff) {
 264     // import generated change file
 265
 266     $oCMD = (clone $oOsm2pgsqlCmd)->addParams($sTemporaryFile);
 267     echo $oCMD->escapedCmd()."\n";
 268
 269     $iRet = $oCMD->run();
 270     if ($iRet) {
 271         fail("osm2pgsql exited with error level $iRet\n");
 272     }
 273 }
 274
 275 if ($aResult['deduplicate']) {
 276     $oDB = new Nominatim\DB();
 277     $oDB->connect();
 278
 279     if ($oDB->getPostgresVersion() < 9.3) {
 280         fail('ERROR: deduplicate is only currently supported in postgresql 9.3');
 281     }
 282
 283     $sSQL = 'select partition from country_name order by country_code';
 284     $aPartitions = $oDB->getCol($sSQL);
 285     $aPartitions[] = 0;
 286
 287     // we don't care about empty search_name_* partitions, they can't contain mentions of duplicates
 288     foreach ($aPartitions as $i => $sPartition) {
 289         $sSQL = 'select count(*) from search_name_'.$sPartition;
 290         $nEntries = $oDB->getOne($sSQL);
 291         if ($nEntries == 0) {
 292             unset($aPartitions[$i]);
 293         }
 294     }
 295
 296     $sSQL = "select word_token,count(*) from word where substr(word_token, 1, 1) = ' '";
 297     $sSQL .= ' and class is null and type is null and country_code is null';
 298     $sSQL .= ' group by word_token having count(*) > 1 order by word_token';
 299     $aDuplicateTokens = $oDB->getAll($sSQL);
 300     foreach ($aDuplicateTokens as $aToken) {
 301         if (trim($aToken['word_token']) == '' || trim($aToken['word_token']) == '-') continue;
 302         echo 'Deduping '.$aToken['word_token']."\n";
 303         $sSQL = 'select word_id,';
 304         $sSQL .= ' (select count(*) from search_name where nameaddress_vector @> ARRAY[word_id]) as num';
 305         $sSQL .= " from word where word_token = '".$aToken['word_token'];
 306         $sSQL .= "' and class is null and type is null and country_code is null order by num desc";
 307         $aTokenSet = $oDB->getAll($sSQL);
 308
 309         $aKeep = array_shift($aTokenSet);
 310         $iKeepID = $aKeep['word_id'];
 311
 312         foreach ($aTokenSet as $aRemove) {
 313             $sSQL = 'update search_name set';
 314             $sSQL .= ' name_vector = array_replace(name_vector,'.$aRemove['word_id'].','.$iKeepID.'),';
 315             $sSQL .= ' nameaddress_vector = array_replace(nameaddress_vector,'.$aRemove['word_id'].','.$iKeepID.')';
 316             $sSQL .= ' where name_vector @> ARRAY['.$aRemove['word_id'].']';
 317             $oDB->exec($sSQL);
 318
 319             $sSQL = 'update search_name set';
 320             $sSQL .= ' nameaddress_vector = array_replace(nameaddress_vector,'.$aRemove['word_id'].','.$iKeepID.')';
 321             $sSQL .= ' where nameaddress_vector @> ARRAY['.$aRemove['word_id'].']';
 322             $oDB->exec($sSQL);
 323
 324             $sSQL = 'update location_area_country set';
 325             $sSQL .= ' keywords = array_replace(keywords,'.$aRemove['word_id'].','.$iKeepID.')';
 326             $sSQL .= ' where keywords @> ARRAY['.$aRemove['word_id'].']';
 327             $oDB->exec($sSQL);
 328
 329             foreach ($aPartitions as $sPartition) {
 330                 $sSQL = 'update search_name_'.$sPartition.' set';
 331                 $sSQL .= ' name_vector = array_replace(name_vector,'.$aRemove['word_id'].','.$iKeepID.')';
 332                 $sSQL .= ' where name_vector @> ARRAY['.$aRemove['word_id'].']';
 333                 $oDB->exec($sSQL);
 334
 335                 $sSQL = 'update location_area_country set';
 336                 $sSQL .= ' keywords = array_replace(keywords,'.$aRemove['word_id'].','.$iKeepID.')';
 337                 $sSQL .= ' where keywords @> ARRAY['.$aRemove['word_id'].']';
 338                 $oDB->exec($sSQL);
 339             }
 340
 341             $sSQL = 'delete from word where word_id = '.$aRemove['word_id'];
 342             $oDB->exec($sSQL);
 343         }
 344     }
 345 }
 346
 347 if ($aResult['recompute-word-counts']) {
 348     info('Recompute frequency of full-word search terms');
 349     $sTemplate = file_get_contents(CONST_BasePath.'/sql/words_from_search_name.sql');
 350     runSQLScript($sTemplate, true, true);
 351 }
 352
 353 if ($aResult['index']) {
 354     $oCmd = (clone $oIndexCmd)
 355             ->addParams('--minrank', $aResult['index-rank']);
 356
 357     // echo $oCmd->escapedCmd()."\n";
 358     $oCmd->run();
 359
 360     $oDB->exec('update import_status set indexed = true');
 361 }
 362
 363 if ($aResult['update-address-levels']) {
 364     echo 'Updating address levels from '.CONST_Address_Level_Config.".\n";
 365     $oAlParser = new \Nominatim\Setup\AddressLevelParser(CONST_Address_Level_Config);
 366     $oAlParser->createTable($oDB, 'address_levels');
 367 }
 368
 369 if ($aResult['recompute-importance']) {
 370     echo "Updating importance values for database.\n";
 371     $oDB = new Nominatim\DB();
 372     $oDB->connect();
 373
 374     $sSQL = 'ALTER TABLE placex DISABLE TRIGGER ALL;';
 375     $sSQL .= 'UPDATE placex SET (wikipedia, importance) =';
 376     $sSQL .= '   (SELECT wikipedia, importance';
 377     $sSQL .= '    FROM compute_importance(extratags, country_code, osm_type, osm_id));';
 378     $sSQL .= 'UPDATE placex s SET wikipedia = d.wikipedia, importance = d.importance';
 379     $sSQL .= ' FROM placex d';
 380     $sSQL .= ' WHERE s.place_id = d.linked_place_id and d.wikipedia is not null';
 381     $sSQL .= '       and (s.wikipedia is null or s.importance < d.importance);';
 382     $sSQL .= 'ALTER TABLE placex ENABLE TRIGGER ALL;';
 383     $oDB->exec($sSQL);
 384 }
 385
 386 if ($aResult['import-osmosis'] || $aResult['import-osmosis-all']) {
 387     //
 388     if (strpos(CONST_Replication_Url, 'download.geofabrik.de') !== false && CONST_Replication_Update_Interval < 86400) {
 389         fail('Error: Update interval too low for download.geofabrik.de. ' .
 390              "Please check install documentation (https://nominatim.org/release-docs/latest/admin/Import-and-Update#setting-up-the-update-process)\n");
 391     }
 392
 393     $sImportFile = CONST_InstallPath.'/osmosischange.osc';
 394
 395     $oCMDDownload = (new \Nominatim\Shell(CONST_Pyosmium_Binary))
 396                     ->addParams('--server', CONST_Replication_Url)
 397                     ->addParams('--outfile', $sImportFile)
 398                     ->addParams('--size', CONST_Replication_Max_Diff_size);
 399
 400     $oCMDImport = (clone $oOsm2pgsqlCmd)->addParams($sImportFile);
 401
 402     while (true) {
 403         $fStartTime = time();
 404         $aLastState = $oDB->getRow('SELECT *, EXTRACT (EPOCH FROM lastimportdate) as unix_ts FROM import_status');
 405
 406         if (!$aLastState['sequence_id']) {
 407             echo "Updates not set up. Please run ./utils/update.php --init-updates.\n";
 408             exit(1);
 409         }
 410
 411         echo 'Currently at sequence '.$aLastState['sequence_id'].' ('.$aLastState['lastimportdate'].') - '.$aLastState['indexed']." indexed\n";
 412
 413         $sBatchEnd = $aLastState['lastimportdate'];
 414         $iEndSequence = $aLastState['sequence_id'];
 415
 416         if ($aLastState['indexed']) {
 417             // Sleep if the update interval has not yet been reached.
 418             $fNextUpdate = $aLastState['unix_ts'] + CONST_Replication_Update_Interval;
 419             if ($fNextUpdate > $fStartTime) {
 420                 $iSleepTime = $fNextUpdate - $fStartTime;
 421                 echo "Waiting for next update for $iSleepTime sec.";
 422                 sleep($iSleepTime);
 423             }
 424
 425             // Download the next batch of changes.
 426             do {
 427                 $fCMDStartTime = time();
 428                 $iNextSeq = (int) $aLastState['sequence_id'];
 429                 unset($aOutput);
 430
 431                 $oCMD = (clone $oCMDDownload)->addParams('--start-id', $iNextSeq);
 432                 echo $oCMD->escapedCmd()."\n";
 433                 if (file_exists($sImportFile)) {
 434                     unlink($sImportFile);
 435                 }
 436                 exec($oCMD->escapedCmd(), $aOutput, $iResult);
 437
 438                 if ($iResult == 3) {
 439                     echo 'No new updates. Sleeping for '.CONST_Replication_Recheck_Interval." sec.\n";
 440                     sleep(CONST_Replication_Recheck_Interval);
 441                 } elseif ($iResult != 0) {
 442                     echo 'ERROR: updates failed.';
 443                     exit($iResult);
 444                 } else {
 445                     $iEndSequence = (int)$aOutput[0];
 446                 }
 447             } while ($iResult);
 448
 449             // get the newest object from the diff file
 450             $sBatchEnd = 0;
 451             $iRet = 0;
 452             $oCMD = new \Nominatim\Shell(CONST_BasePath.'/utils/osm_file_date.py', $sImportFile);
 453             exec($oCMD->escapedCmd(), $sBatchEnd, $iRet);
 454             if ($iRet == 5) {
 455                 echo "Diff file is empty. skipping import.\n";
 456                 if (!$aResult['import-osmosis-all']) {
 457                     exit(0);
 458                 } else {
 459                     continue;
 460                 }
 461             }
 462             if ($iRet != 0) {
 463                 fail('Error getting date from diff file.');
 464             }
 465             $sBatchEnd = $sBatchEnd[0];
 466
 467             // Import the file
 468             $fCMDStartTime = time();
 469
 470
 471             echo $oCMDImport->escapedCmd()."\n";
 472             unset($sJunk);
 473             $iErrorLevel = $oCMDImport->run();
 474             if ($iErrorLevel) {
 475                 echo "Error executing osm2pgsql: $iErrorLevel\n";
 476                 exit($iErrorLevel);
 477             }
 478
 479             // write the update logs
 480             $iFileSize = filesize($sImportFile);
 481             $sSQL = 'INSERT INTO import_osmosis_log';
 482             $sSQL .= '(batchend, batchseq, batchsize, starttime, endtime, event)';
 483             $sSQL .= " values ('$sBatchEnd',$iEndSequence,$iFileSize,'";
 484             $sSQL .= date('Y-m-d H:i:s', $fCMDStartTime)."','";
 485             $sSQL .= date('Y-m-d H:i:s')."','import')";
 486             var_Dump($sSQL);
 487             $oDB->exec($sSQL);
 488
 489             // update the status
 490             $sSQL = "UPDATE import_status SET lastimportdate = '$sBatchEnd', indexed=false, sequence_id = $iEndSequence";
 491             var_Dump($sSQL);
 492             $oDB->exec($sSQL);
 493             echo date('Y-m-d H:i:s')." Completed download step for $sBatchEnd in ".round((time()-$fCMDStartTime)/60, 2)." minutes\n";
 494         }
 495
 496         // Index file
 497         if (!$aResult['no-index']) {
 498             $oThisIndexCmd = clone($oIndexCmd);
 499             $fCMDStartTime = time();
 500
 501             echo $oThisIndexCmd->escapedCmd()."\n";
 502             $iErrorLevel = $oThisIndexCmd->run();
 503             if ($iErrorLevel) {
 504                 echo "Error: $iErrorLevel\n";
 505                 exit($iErrorLevel);
 506             }
 507
 508             $sSQL = 'INSERT INTO import_osmosis_log';
 509             $sSQL .= '(batchend, batchseq, batchsize, starttime, endtime, event)';
 510             $sSQL .= " values ('$sBatchEnd',$iEndSequence,NULL,'";
 511             $sSQL .= date('Y-m-d H:i:s', $fCMDStartTime)."','";
 512             $sSQL .= date('Y-m-d H:i:s')."','index')";
 513             var_Dump($sSQL);
 514             $oDB->exec($sSQL);
 515             echo date('Y-m-d H:i:s')." Completed index step for $sBatchEnd in ".round((time()-$fCMDStartTime)/60, 2)." minutes\n";
 516
 517             $sSQL = 'update import_status set indexed = true';
 518             $oDB->exec($sSQL);
 519         } else {
 520             if ($aResult['import-osmosis-all']) {
 521                 echo "Error: --no-index cannot be used with continuous imports (--import-osmosis-all).\n";
 522                 exit(1);
 523             }
 524         }
 525
 526         $fDuration = time() - $fStartTime;
 527         echo date('Y-m-d H:i:s')." Completed all for $sBatchEnd in ".round($fDuration/60, 2)." minutes\n";
 528         if (!$aResult['import-osmosis-all']) exit(0);
 529     }
 530 }