utils/setup.php

   1 #!/usr/bin/php -Cq
   2 <?php
   3
   4 require_once(dirname(dirname(__FILE__)).'/settings/settings.php');
   5 require_once(CONST_BasePath.'/lib/init-cmd.php');
   6 ini_set('memory_limit', '800M');
   7
   8 $aCMDOptions
   9 = array(
  10    "Create and setup nominatim search system",
  11    array('help', 'h', 0, 1, 0, 0, false, 'Show Help'),
  12    array('quiet', 'q', 0, 1, 0, 0, 'bool', 'Quiet output'),
  13    array('verbose', 'v', 0, 1, 0, 0, 'bool', 'Verbose output'),
  14
  15    array('osm-file', '', 0, 1, 1, 1, 'realpath', 'File to import'),
  16    array('threads', '', 0, 1, 1, 1, 'int', 'Number of threads (where possible)'),
  17
  18    array('all', '', 0, 1, 0, 0, 'bool', 'Do the complete process'),
  19
  20    array('create-db', '', 0, 1, 0, 0, 'bool', 'Create nominatim db'),
  21    array('setup-db', '', 0, 1, 0, 0, 'bool', 'Build a blank nominatim db'),
  22    array('import-data', '', 0, 1, 0, 0, 'bool', 'Import a osm file'),
  23    array('osm2pgsql-cache', '', 0, 1, 1, 1, 'int', 'Cache size used by osm2pgsql'),
  24    array('create-functions', '', 0, 1, 0, 0, 'bool', 'Create functions'),
  25    array('enable-diff-updates', '', 0, 1, 0, 0, 'bool', 'Turn on the code required to make diff updates work'),
  26    array('enable-debug-statements', '', 0, 1, 0, 0, 'bool', 'Include debug warning statements in pgsql commands'),
  27    array('ignore-errors', '', 0, 1, 0, 0, 'bool', 'Continue import even when errors in SQL are present (EXPERT)'),
  28    array('create-tables', '', 0, 1, 0, 0, 'bool', 'Create main tables'),
  29    array('create-partition-tables', '', 0, 1, 0, 0, 'bool', 'Create required partition tables'),
  30    array('create-partition-functions', '', 0, 1, 0, 0, 'bool', 'Create required partition triggers'),
  31    array('no-partitions', '', 0, 1, 0, 0, 'bool', "Do not partition search indices (speeds up import of single country extracts)"),
  32    array('import-wikipedia-articles', '', 0, 1, 0, 0, 'bool', 'Import wikipedia article dump'),
  33    array('load-data', '', 0, 1, 0, 0, 'bool', 'Copy data to live tables from import table'),
  34    array('disable-token-precalc', '', 0, 1, 0, 0, 'bool', 'Disable name precalculation (EXPERT)'),
  35    array('import-tiger-data', '', 0, 1, 0, 0, 'bool', 'Import tiger data (not included in \'all\')'),
  36    array('calculate-postcodes', '', 0, 1, 0, 0, 'bool', 'Calculate postcode centroids'),
  37    array('osmosis-init', '', 0, 1, 0, 0, 'bool', 'Generate default osmosis configuration'),
  38    array('index', '', 0, 1, 0, 0, 'bool', 'Index the data'),
  39    array('index-noanalyse', '', 0, 1, 0, 0, 'bool', 'Do not perform analyse operations during index (EXPERT)'),
  40    array('create-search-indices', '', 0, 1, 0, 0, 'bool', 'Create additional indices required for search and update'),
  41    array('create-country-names', '', 0, 1, 0, 0, 'bool', 'Create default list of searchable country names'),
  42    array('drop', '', 0, 1, 0, 0, 'bool', 'Drop tables needed for updates, making the database readonly (EXPERIMENTAL)'),
  43   );
  44 getCmdOpt($_SERVER['argv'], $aCMDOptions, $aCMDResult, true, true);
  45
  46 $bDidSomething = false;
  47
  48 // Check if osm-file is set and points to a valid file if --all or --import-data is given
  49 if ($aCMDResult['import-data'] || $aCMDResult['all']) {
  50     if (!isset($aCMDResult['osm-file'])) {
  51         fail('missing --osm-file for data import');
  52     }
  53
  54     if (!file_exists($aCMDResult['osm-file'])) {
  55         fail('the path supplied to --osm-file does not exist');
  56     }
  57
  58     if (!is_readable($aCMDResult['osm-file'])) {
  59         fail('osm-file "'.$aCMDResult['osm-file'].'" not readable');
  60     }
  61 }
  62
  63
  64 // This is a pretty hard core default - the number of processors in the box - 1
  65 $iInstances = isset($aCMDResult['threads'])?$aCMDResult['threads']:(getProcessorCount()-1);
  66 if ($iInstances < 1) {
  67     $iInstances = 1;
  68     echo "WARNING: resetting threads to $iInstances\n";
  69 }
  70 if ($iInstances > getProcessorCount()) {
  71     $iInstances = getProcessorCount();
  72     echo "WARNING: resetting threads to $iInstances\n";
  73 }
  74
  75 // Assume we can steal all the cache memory in the box (unless told otherwise)
  76 if (isset($aCMDResult['osm2pgsql-cache'])) {
  77     $iCacheMemory = $aCMDResult['osm2pgsql-cache'];
  78 } else {
  79     $iCacheMemory = getCacheMemoryMB();
  80 }
  81
  82 $aDSNInfo = DB::parseDSN(CONST_Database_DSN);
  83 if (!isset($aDSNInfo['port']) || !$aDSNInfo['port']) $aDSNInfo['port'] = 5432;
  84
  85 if ($aCMDResult['create-db'] || $aCMDResult['all']) {
  86     echo "Create DB\n";
  87     $bDidSomething = true;
  88     $oDB = DB::connect(CONST_Database_DSN, false);
  89     if (!PEAR::isError($oDB)) {
  90         fail('database already exists ('.CONST_Database_DSN.')');
  91     }
  92     passthruCheckReturn('createdb -E UTF-8 -p '.$aDSNInfo['port'].' '.$aDSNInfo['database']);
  93 }
  94
  95 if ($aCMDResult['setup-db'] || $aCMDResult['all']) {
  96     echo "Setup DB\n";
  97     $bDidSomething = true;
  98
  99     // TODO: path detection, detection memory, etc.
 100     //
 101     $oDB =& getDB();
 102
 103     $fPostgresVersion = getPostgresVersion($oDB);
 104     echo 'Postgres version found: '.$fPostgresVersion."\n";
 105
 106     if ($fPostgresVersion < 9.1) {
 107         fail("Minimum supported version of Postgresql is 9.1.");
 108     }
 109
 110     pgsqlRunScript('CREATE EXTENSION IF NOT EXISTS hstore');
 111     pgsqlRunScript('CREATE EXTENSION IF NOT EXISTS postgis');
 112
 113     // For extratags and namedetails the hstore_to_json converter is
 114     // needed which is only available from Postgresql 9.3+. For older
 115     // versions add a dummy function that returns nothing.
 116     $iNumFunc = chksql($oDB->getOne("select count(*) from pg_proc where proname = 'hstore_to_json'"));
 117
 118     if ($iNumFunc == 0) {
 119         pgsqlRunScript("create function hstore_to_json(dummy hstore) returns text AS 'select null::text' language sql immutable");
 120         echo "WARNING: Postgresql is too old. extratags and namedetails API not available.";
 121     }
 122
 123     $fPostgisVersion = getPostgisVersion($oDB);
 124     echo 'Postgis version found: '.$fPostgisVersion."\n";
 125
 126     if ($fPostgisVersion < 2.1) {
 127         // Functions were renamed in 2.1 and throw an annoying deprecation warning
 128         pgsqlRunScript('ALTER FUNCTION st_line_interpolate_point(geometry, double precision) RENAME TO ST_LineInterpolatePoint');
 129         pgsqlRunScript('ALTER FUNCTION ST_Line_Locate_Point(geometry, double precision) RENAME TO ST_LineLocatePoint');
 130     }
 131     if ($fPostgisVersion < 2.2) {
 132         pgsqlRunScript('ALTER FUNCTION ST_Distance_Spheroid(geometry, double precision) RENAME TO ST_DistanceSpheroid');
 133     }
 134
 135     pgsqlRunScriptFile(CONST_BasePath.'/data/country_name.sql');
 136     pgsqlRunScriptFile(CONST_BasePath.'/data/country_naturalearthdata.sql');
 137     pgsqlRunScriptFile(CONST_BasePath.'/data/country_osm_grid.sql');
 138     pgsqlRunScriptFile(CONST_BasePath.'/data/gb_postcode_table.sql');
 139     if (file_exists(CONST_BasePath.'/data/gb_postcode_data.sql.gz')) {
 140         pgsqlRunScriptFile(CONST_BasePath.'/data/gb_postcode_data.sql.gz');
 141     } else {
 142         echo "WARNING: external UK postcode table not found.\n";
 143     }
 144     if (CONST_Use_Extra_US_Postcodes) {
 145         pgsqlRunScriptFile(CONST_BasePath.'/data/us_postcode.sql');
 146     }
 147
 148     if ($aCMDResult['no-partitions']) {
 149         pgsqlRunScript('update country_name set partition = 0');
 150     }
 151
 152     // the following will be needed by create_functions later but
 153     // is only defined in the subsequently called create_tables.
 154     // Create dummies here that will be overwritten by the proper
 155     // versions in create-tables.
 156     pgsqlRunScript('CREATE TABLE place_boundingbox ()');
 157     pgsqlRunScript('create type wikipedia_article_match as ()');
 158 }
 159
 160 if ($aCMDResult['import-data'] || $aCMDResult['all']) {
 161     echo "Import\n";
 162     $bDidSomething = true;
 163
 164     $osm2pgsql = CONST_Osm2pgsql_Binary;
 165     if (!file_exists($osm2pgsql)) {
 166         echo "Check CONST_Osm2pgsql_Binary in your local settings file.\n";
 167         echo "Normally you should not need to set this manually.\n";
 168         fail("osm2pgsql not found in '$osm2pgsql'");
 169     }
 170
 171     if (!is_null(CONST_Osm2pgsql_Flatnode_File)) {
 172         $osm2pgsql .= ' --flat-nodes '.CONST_Osm2pgsql_Flatnode_File;
 173     }
 174     if (CONST_Tablespace_Osm2pgsql_Data)
 175         $osm2pgsql .= ' --tablespace-slim-data '.CONST_Tablespace_Osm2pgsql_Data;
 176     if (CONST_Tablespace_Osm2pgsql_Index)
 177         $osm2pgsql .= ' --tablespace-slim-index '.CONST_Tablespace_Osm2pgsql_Index;
 178     if (CONST_Tablespace_Place_Data)
 179         $osm2pgsql .= ' --tablespace-main-data '.CONST_Tablespace_Place_Data;
 180     if (CONST_Tablespace_Place_Index)
 181         $osm2pgsql .= ' --tablespace-main-index '.CONST_Tablespace_Place_Index;
 182     $osm2pgsql .= ' -lsc -O gazetteer --hstore --number-processes 1';
 183     $osm2pgsql .= ' -C '.$iCacheMemory;
 184     $osm2pgsql .= ' -P '.$aDSNInfo['port'];
 185     $osm2pgsql .= ' -d '.$aDSNInfo['database'].' '.$aCMDResult['osm-file'];
 186     passthruCheckReturn($osm2pgsql);
 187
 188     $oDB =& getDB();
 189     if (!chksql($oDB->getRow('select * from place limit 1'))) {
 190         fail('No Data');
 191     }
 192 }
 193
 194 if ($aCMDResult['create-functions'] || $aCMDResult['all']) {
 195     echo "Functions\n";
 196     $bDidSomething = true;
 197     if (!file_exists(CONST_InstallPath.'/module/nominatim.so')) fail("nominatim module not built");
 198     create_sql_functions($aCMDResult);
 199 }
 200
 201 if ($aCMDResult['create-tables'] || $aCMDResult['all']) {
 202     $bDidSomething = true;
 203
 204     echo "Tables\n";
 205     $sTemplate = file_get_contents(CONST_BasePath.'/sql/tables.sql');
 206     $sTemplate = str_replace('{www-user}', CONST_Database_Web_User, $sTemplate);
 207     $sTemplate = replace_tablespace(
 208         '{ts:address-data}',
 209         CONST_Tablespace_Address_Data,
 210         $sTemplate
 211     );
 212     $sTemplate = replace_tablespace(
 213         '{ts:address-index}',
 214         CONST_Tablespace_Address_Index,
 215         $sTemplate
 216     );
 217     $sTemplate = replace_tablespace(
 218         '{ts:search-data}',
 219         CONST_Tablespace_Search_Data,
 220         $sTemplate
 221     );
 222     $sTemplate = replace_tablespace(
 223         '{ts:search-index}',
 224         CONST_Tablespace_Search_Index,
 225         $sTemplate
 226     );
 227     $sTemplate = replace_tablespace(
 228         '{ts:aux-data}',
 229         CONST_Tablespace_Aux_Data,
 230         $sTemplate
 231     );
 232     $sTemplate = replace_tablespace(
 233         '{ts:aux-index}',
 234         CONST_Tablespace_Aux_Index,
 235         $sTemplate
 236     );
 237     pgsqlRunScript($sTemplate, false);
 238
 239     // re-run the functions
 240     echo "Functions\n";
 241     create_sql_functions($aCMDResult);
 242 }
 243
 244 if ($aCMDResult['create-partition-tables'] || $aCMDResult['all']) {
 245     echo "Partition Tables\n";
 246     $bDidSomething = true;
 247
 248     $sTemplate = file_get_contents(CONST_BasePath.'/sql/partition-tables.src.sql');
 249     $sTemplate = replace_tablespace(
 250         '{ts:address-data}',
 251         CONST_Tablespace_Address_Data,
 252         $sTemplate
 253     );
 254     $sTemplate = replace_tablespace(
 255         '{ts:address-index}',
 256         CONST_Tablespace_Address_Index,
 257         $sTemplate
 258     );
 259     $sTemplate = replace_tablespace(
 260         '{ts:search-data}',
 261         CONST_Tablespace_Search_Data,
 262         $sTemplate
 263     );
 264     $sTemplate = replace_tablespace(
 265         '{ts:search-index}',
 266         CONST_Tablespace_Search_Index,
 267         $sTemplate
 268     );
 269     $sTemplate = replace_tablespace(
 270         '{ts:aux-data}',
 271         CONST_Tablespace_Aux_Data,
 272         $sTemplate
 273     );
 274     $sTemplate = replace_tablespace(
 275         '{ts:aux-index}',
 276         CONST_Tablespace_Aux_Index,
 277         $sTemplate
 278     );
 279
 280     pgsqlRunPartitionScript($sTemplate);
 281 }
 282
 283
 284 if ($aCMDResult['create-partition-functions'] || $aCMDResult['all']) {
 285     echo "Partition Functions\n";
 286     $bDidSomething = true;
 287
 288     $sTemplate = file_get_contents(CONST_BasePath.'/sql/partition-functions.src.sql');
 289
 290     pgsqlRunPartitionScript($sTemplate);
 291 }
 292
 293 if ($aCMDResult['import-wikipedia-articles'] || $aCMDResult['all']) {
 294     $bDidSomething = true;
 295     $sWikiArticlesFile = CONST_BasePath.'/data/wikipedia_article.sql.bin';
 296     $sWikiRedirectsFile = CONST_BasePath.'/data/wikipedia_redirect.sql.bin';
 297     if (file_exists($sWikiArticlesFile)) {
 298         echo "Importing wikipedia articles...";
 299         pgsqlRunDropAndRestore($sWikiArticlesFile);
 300         echo "...done\n";
 301     } else {
 302         echo "WARNING: wikipedia article dump file not found - places will have default importance\n";
 303     }
 304     if (file_exists($sWikiRedirectsFile)) {
 305         echo "Importing wikipedia redirects...";
 306         pgsqlRunDropAndRestore($sWikiRedirectsFile);
 307         echo "...done\n";
 308     } else {
 309         echo "WARNING: wikipedia redirect dump file not found - some place importance values may be missing\n";
 310     }
 311 }
 312
 313
 314 if ($aCMDResult['load-data'] || $aCMDResult['all']) {
 315     echo "Drop old Data\n";
 316     $bDidSomething = true;
 317
 318     $oDB =& getDB();
 319     if (!pg_query($oDB->connection, 'TRUNCATE word')) fail(pg_last_error($oDB->connection));
 320     echo '.';
 321     if (!pg_query($oDB->connection, 'TRUNCATE placex')) fail(pg_last_error($oDB->connection));
 322     echo '.';
 323     if (!pg_query($oDB->connection, 'TRUNCATE location_property_osmline')) fail(pg_last_error($oDB->connection));
 324     echo '.';
 325     if (!pg_query($oDB->connection, 'TRUNCATE place_addressline')) fail(pg_last_error($oDB->connection));
 326     echo '.';
 327     if (!pg_query($oDB->connection, 'TRUNCATE place_boundingbox')) fail(pg_last_error($oDB->connection));
 328     echo '.';
 329     if (!pg_query($oDB->connection, 'TRUNCATE location_area')) fail(pg_last_error($oDB->connection));
 330     echo '.';
 331     if (!pg_query($oDB->connection, 'TRUNCATE search_name')) fail(pg_last_error($oDB->connection));
 332     echo '.';
 333     if (!pg_query($oDB->connection, 'TRUNCATE search_name_blank')) fail(pg_last_error($oDB->connection));
 334     echo '.';
 335     if (!pg_query($oDB->connection, 'DROP SEQUENCE seq_place')) fail(pg_last_error($oDB->connection));
 336     echo '.';
 337     if (!pg_query($oDB->connection, 'CREATE SEQUENCE seq_place start 100000')) fail(pg_last_error($oDB->connection));
 338     echo '.';
 339
 340     $sSQL = 'select distinct partition from country_name';
 341     $aPartitions = chksql($oDB->getCol($sSQL));
 342     if (!$aCMDResult['no-partitions']) $aPartitions[] = 0;
 343     foreach ($aPartitions as $sPartition) {
 344         if (!pg_query($oDB->connection, 'TRUNCATE location_road_'.$sPartition)) fail(pg_last_error($oDB->connection));
 345         echo '.';
 346     }
 347
 348     // used by getorcreate_word_id to ignore frequent partial words
 349     if (!pg_query($oDB->connection, 'CREATE OR REPLACE FUNCTION get_maxwordfreq() RETURNS integer AS $$ SELECT '.CONST_Max_Word_Frequency.' as maxwordfreq; $$ LANGUAGE SQL IMMUTABLE')) fail(pg_last_error($oDB->connection));
 350     echo ".\n";
 351
 352     // pre-create the word list
 353     if (!$aCMDResult['disable-token-precalc']) {
 354         echo "Loading word list\n";
 355         pgsqlRunScriptFile(CONST_BasePath.'/data/words.sql');
 356     }
 357
 358     echo "Load Data\n";
 359     $aDBInstances = array();
 360     $iLoadThreads = max(1, $iInstances - 1);
 361     for ($i = 0; $i < $iLoadThreads; $i++) {
 362         $aDBInstances[$i] =& getDB(true);
 363         $sSQL = 'insert into placex (osm_type, osm_id, class, type, name, admin_level, ';
 364         $sSQL .= 'housenumber, street, addr_place, isin, postcode, country_code, extratags, ';
 365         $sSQL .= 'geometry) select * from place where osm_id % '.$iLoadThreads.' = '.$i;
 366         $sSQL .= " and not (class='place' and type='houses' and osm_type='W' and ST_GeometryType(geometry) = 'ST_LineString')";
 367         if ($aCMDResult['verbose']) echo "$sSQL\n";
 368         if (!pg_send_query($aDBInstances[$i]->connection, $sSQL)) fail(pg_last_error($oDB->connection));
 369     }
 370     // last thread for interpolation lines
 371     $aDBInstances[$iLoadThreads] =& getDB(true);
 372     $sSQL = 'select insert_osmline (osm_id, housenumber, street, addr_place, postcode, country_code, ';
 373     $sSQL .= 'geometry) from place where ';
 374     $sSQL .= "class='place' and type='houses' and osm_type='W' and ST_GeometryType(geometry) = 'ST_LineString'";
 375     if ($aCMDResult['verbose']) echo "$sSQL\n";
 376     if (!pg_send_query($aDBInstances[$i]->connection, $sSQL)) fail(pg_last_error($oDB->connection));
 377
 378     $bAnyBusy = true;
 379     while ($bAnyBusy) {
 380         $bAnyBusy = false;
 381         for ($i = 0; $i <= $iLoadThreads; $i++) {
 382             if (pg_connection_busy($aDBInstances[$i]->connection)) $bAnyBusy = true;
 383         }
 384         sleep(1);
 385         echo '.';
 386     }
 387     echo "\n";
 388     echo "Reanalysing database...\n";
 389     pgsqlRunScript('ANALYSE');
 390 }
 391
 392 if ($aCMDResult['import-tiger-data']) {
 393     $bDidSomething = true;
 394
 395     $sTemplate = file_get_contents(CONST_BasePath.'/sql/tiger_import_start.sql');
 396     $sTemplate = str_replace('{www-user}', CONST_Database_Web_User, $sTemplate);
 397     $sTemplate = replace_tablespace(
 398         '{ts:aux-data}',
 399         CONST_Tablespace_Aux_Data,
 400         $sTemplate
 401     );
 402     $sTemplate = replace_tablespace(
 403         '{ts:aux-index}',
 404         CONST_Tablespace_Aux_Index,
 405         $sTemplate
 406     );
 407     pgsqlRunScript($sTemplate, false);
 408
 409     $aDBInstances = array();
 410     for ($i = 0; $i < $iInstances; $i++) {
 411         $aDBInstances[$i] =& getDB(true);
 412     }
 413
 414     foreach (glob(CONST_Tiger_Data_Path.'/*.sql') as $sFile) {
 415         echo $sFile.': ';
 416         $hFile = fopen($sFile, "r");
 417         $sSQL = fgets($hFile, 100000);
 418         $iLines = 0;
 419
 420         while (true) {
 421             for ($i = 0; $i < $iInstances; $i++) {
 422                 if (!pg_connection_busy($aDBInstances[$i]->connection)) {
 423                     while (pg_get_result($aDBInstances[$i]->connection));
 424                     $sSQL = fgets($hFile, 100000);
 425                     if (!$sSQL) break 2;
 426                     if (!pg_send_query($aDBInstances[$i]->connection, $sSQL)) fail(pg_last_error($oDB->connection));
 427                     $iLines++;
 428                     if ($iLines == 1000) {
 429                         echo ".";
 430                         $iLines = 0;
 431                     }
 432                 }
 433             }
 434             usleep(10);
 435         }
 436
 437         fclose($hFile);
 438
 439         $bAnyBusy = true;
 440         while ($bAnyBusy) {
 441             $bAnyBusy = false;
 442             for ($i = 0; $i < $iInstances; $i++) {
 443                 if (pg_connection_busy($aDBInstances[$i]->connection)) $bAnyBusy = true;
 444             }
 445             usleep(10);
 446         }
 447         echo "\n";
 448     }
 449
 450     echo "Creating indexes\n";
 451     $sTemplate = file_get_contents(CONST_BasePath.'/sql/tiger_import_finish.sql');
 452     $sTemplate = str_replace('{www-user}', CONST_Database_Web_User, $sTemplate);
 453     $sTemplate = replace_tablespace(
 454         '{ts:aux-data}',
 455         CONST_Tablespace_Aux_Data,
 456         $sTemplate
 457     );
 458     $sTemplate = replace_tablespace(
 459         '{ts:aux-index}',
 460         CONST_Tablespace_Aux_Index,
 461         $sTemplate
 462     );
 463     pgsqlRunScript($sTemplate, false);
 464 }
 465
 466 if ($aCMDResult['calculate-postcodes'] || $aCMDResult['all']) {
 467     $bDidSomething = true;
 468     $oDB =& getDB();
 469     if (!pg_query($oDB->connection, 'DELETE from placex where osm_type=\'P\'')) fail(pg_last_error($oDB->connection));
 470     $sSQL = "insert into placex (osm_type,osm_id,class,type,postcode,calculated_country_code,geometry) ";
 471     $sSQL .= "select 'P',nextval('seq_postcodes'),'place','postcode',postcode,calculated_country_code,";
 472     $sSQL .= "ST_SetSRID(ST_Point(x,y),4326) as geometry from (select calculated_country_code,postcode,";
 473     $sSQL .= "avg(st_x(st_centroid(geometry))) as x,avg(st_y(st_centroid(geometry))) as y ";
 474     $sSQL .= "from placex where postcode is not null group by calculated_country_code,postcode) as x";
 475     if (!pg_query($oDB->connection, $sSQL)) fail(pg_last_error($oDB->connection));
 476
 477     if (CONST_Use_Extra_US_Postcodes) {
 478         $sSQL = "insert into placex (osm_type,osm_id,class,type,postcode,calculated_country_code,geometry) ";
 479         $sSQL .= "select 'P',nextval('seq_postcodes'),'place','postcode',postcode,'us',";
 480         $sSQL .= "ST_SetSRID(ST_Point(x,y),4326) as geometry from us_postcode";
 481         if (!pg_query($oDB->connection, $sSQL)) fail(pg_last_error($oDB->connection));
 482     }
 483 }
 484
 485 if ($aCMDResult['osmosis-init'] || ($aCMDResult['all'] && !$aCMDResult['drop'])) { // no use doing osmosis-init when dropping update tables
 486     $bDidSomething = true;
 487     $oDB =& getDB();
 488
 489     if (!file_exists(CONST_Osmosis_Binary)) {
 490         echo "Please download osmosis.\nIf it is already installed, check the path in your local settings (settings/local.php) file.\n";
 491         if (!$aCMDResult['all']) {
 492             fail("osmosis not found in '".CONST_Osmosis_Binary."'");
 493         }
 494     } else {
 495         if (file_exists(CONST_InstallPath.'/settings/configuration.txt')) {
 496             echo "settings/configuration.txt already exists\n";
 497         } else {
 498             passthru(CONST_Osmosis_Binary.' --read-replication-interval-init '.CONST_InstallPath.'/settings');
 499             // update osmosis configuration.txt with our settings
 500             passthru("sed -i 's!baseUrl=.*!baseUrl=".CONST_Replication_Url."!' ".CONST_InstallPath.'/settings/configuration.txt');
 501             passthru("sed -i 's:maxInterval = .*:maxInterval = ".CONST_Replication_MaxInterval.":' ".CONST_InstallPath.'/settings/configuration.txt');
 502         }
 503
 504         // Find the last node in the DB
 505         $iLastOSMID = $oDB->getOne("select max(osm_id) from place where osm_type = 'N'");
 506
 507         // Lookup the timestamp that node was created (less 3 hours for margin for changsets to be closed)
 508         $sLastNodeURL = 'http://www.openstreetmap.org/api/0.6/node/'.$iLastOSMID."/1";
 509         $sLastNodeXML = file_get_contents($sLastNodeURL);
 510         preg_match('#timestamp="(([0-9]{4})-([0-9]{2})-([0-9]{2})T([0-9]{2}):([0-9]{2}):([0-9]{2})Z)"#', $sLastNodeXML, $aLastNodeDate);
 511         $iLastNodeTimestamp = strtotime($aLastNodeDate[1]) - (3*60*60);
 512
 513         // Search for the correct state file - uses file timestamps so need to sort by date descending
 514         $sRepURL = CONST_Replication_Url."/";
 515         $sRep = file_get_contents($sRepURL."?C=M;O=D;F=1");
 516         // download.geofabrik.de:    <a href="000/">000/</a></td><td align="right">26-Feb-2013 11:53  </td>
 517         // planet.openstreetmap.org: <a href="273/">273/</a>                    2013-03-11 07:41    -
 518         preg_match_all('#<a href="[0-9]{3}/">([0-9]{3}/)</a>\s*([-0-9a-zA-Z]+ [0-9]{2}:[0-9]{2})#', $sRep, $aRepMatches, PREG_SET_ORDER);
 519         if ($aRepMatches) {
 520             $aPrevRepMatch = false;
 521             foreach ($aRepMatches as $aRepMatch) {
 522                 if (strtotime($aRepMatch[2]) < $iLastNodeTimestamp) break;
 523                 $aPrevRepMatch = $aRepMatch;
 524             }
 525             if ($aPrevRepMatch) $aRepMatch = $aPrevRepMatch;
 526
 527             $sRepURL .= $aRepMatch[1];
 528             $sRep = file_get_contents($sRepURL."?C=M;O=D;F=1");
 529             preg_match_all('#<a href="[0-9]{3}/">([0-9]{3}/)</a>\s*([-0-9a-zA-Z]+ [0-9]{2}:[0-9]{2})#', $sRep, $aRepMatches, PREG_SET_ORDER);
 530             $aPrevRepMatch = false;
 531             foreach ($aRepMatches as $aRepMatch) {
 532                 if (strtotime($aRepMatch[2]) < $iLastNodeTimestamp) break;
 533                 $aPrevRepMatch = $aRepMatch;
 534             }
 535             if ($aPrevRepMatch) $aRepMatch = $aPrevRepMatch;
 536
 537             $sRepURL .= $aRepMatch[1];
 538             $sRep = file_get_contents($sRepURL."?C=M;O=D;F=1");
 539             preg_match_all('#<a href="[0-9]{3}.state.txt">([0-9]{3}).state.txt</a>\s*([-0-9a-zA-Z]+ [0-9]{2}:[0-9]{2})#', $sRep, $aRepMatches, PREG_SET_ORDER);
 540             $aPrevRepMatch = false;
 541             foreach ($aRepMatches as $aRepMatch) {
 542                 if (strtotime($aRepMatch[2]) < $iLastNodeTimestamp) break;
 543                 $aPrevRepMatch = $aRepMatch;
 544             }
 545             if ($aPrevRepMatch) $aRepMatch = $aPrevRepMatch;
 546
 547             $sRepURL .= $aRepMatch[1].'.state.txt';
 548             echo "Getting state file: $sRepURL\n";
 549             $sStateFile = file_get_contents($sRepURL);
 550             if (!$sStateFile || strlen($sStateFile) > 1000) fail("unable to obtain state file");
 551             file_put_contents(CONST_InstallPath.'/settings/state.txt', $sStateFile);
 552             echo "Updating DB status\n";
 553             pg_query($oDB->connection, 'TRUNCATE import_status');
 554             $sSQL = "INSERT INTO import_status VALUES('".$aRepMatch[2]."')";
 555             pg_query($oDB->connection, $sSQL);
 556         } else {
 557             if (!$aCMDResult['all']) {
 558                 fail("Cannot read state file directory.");
 559             }
 560         }
 561     }
 562 }
 563
 564 if ($aCMDResult['index'] || $aCMDResult['all']) {
 565     $bDidSomething = true;
 566     $sOutputFile = '';
 567     $sBaseCmd = CONST_InstallPath.'/nominatim/nominatim -i -d '.$aDSNInfo['database'].' -P '.$aDSNInfo['port'].' -t '.$iInstances.$sOutputFile;
 568     passthruCheckReturn($sBaseCmd.' -R 4');
 569     if (!$aCMDResult['index-noanalyse']) pgsqlRunScript('ANALYSE');
 570     passthruCheckReturn($sBaseCmd.' -r 5 -R 25');
 571     if (!$aCMDResult['index-noanalyse']) pgsqlRunScript('ANALYSE');
 572     passthruCheckReturn($sBaseCmd.' -r 26');
 573 }
 574
 575 if ($aCMDResult['create-search-indices'] || $aCMDResult['all']) {
 576     echo "Search indices\n";
 577     $bDidSomething = true;
 578
 579     $sTemplate = file_get_contents(CONST_BasePath.'/sql/indices.src.sql');
 580     $sTemplate = replace_tablespace(
 581         '{ts:address-index}',
 582         CONST_Tablespace_Address_Index,
 583         $sTemplate
 584     );
 585     $sTemplate = replace_tablespace(
 586         '{ts:search-index}',
 587         CONST_Tablespace_Search_Index,
 588         $sTemplate
 589     );
 590     $sTemplate = replace_tablespace(
 591         '{ts:aux-index}',
 592         CONST_Tablespace_Aux_Index,
 593         $sTemplate
 594     );
 595
 596     pgsqlRunScript($sTemplate);
 597 }
 598
 599 if ($aCMDResult['create-country-names'] || $aCMDResult['all']) {
 600     echo 'Creating search index for default country names';
 601     $bDidSomething = true;
 602
 603     pgsqlRunScript("select getorcreate_country(make_standard_name('uk'), 'gb')");
 604     pgsqlRunScript("select getorcreate_country(make_standard_name('united states'), 'us')");
 605     pgsqlRunScript("select count(*) from (select getorcreate_country(make_standard_name(country_code), country_code) from country_name where country_code is not null) as x");
 606     pgsqlRunScript("select count(*) from (select getorcreate_country(make_standard_name(name->'name'), country_code) from country_name where name ? 'name') as x");
 607
 608     $sSQL = 'select count(*) from (select getorcreate_country(make_standard_name(v), country_code) from (select country_code, skeys(name) as k, svals(name) as v from country_name) x where k ';
 609     if (CONST_Languages) {
 610         $sSQL .= 'in ';
 611         $sDelim = '(';
 612         foreach (explode(',', CONST_Languages) as $sLang) {
 613             $sSQL .= $sDelim."'name:$sLang'";
 614             $sDelim = ',';
 615         }
 616         $sSQL .= ')';
 617     } else {
 618         // all include all simple name tags
 619         $sSQL .= "like 'name:%'";
 620     }
 621     $sSQL .= ') v';
 622     pgsqlRunScript($sSQL);
 623 }
 624
 625 if ($aCMDResult['drop']) {
 626     // The implementation is potentially a bit dangerous because it uses
 627     // a positive selection of tables to keep, and deletes everything else.
 628     // Including any tables that the unsuspecting user might have manually
 629     // created. USE AT YOUR OWN PERIL.
 630     $bDidSomething = true;
 631
 632     // tables we want to keep. everything else goes.
 633     $aKeepTables = array(
 634                     "*columns",
 635                     "import_polygon_*",
 636                     "import_status",
 637                     "place_addressline",
 638                     "location_property*",
 639                     "placex",
 640                     "search_name",
 641                     "seq_*",
 642                     "word",
 643                     "query_log",
 644                     "new_query_log",
 645                     "gb_postcode",
 646                     "spatial_ref_sys",
 647                     "country_name",
 648                     "place_classtype_*"
 649                    );
 650
 651     $oDB =& getDB();
 652     $aDropTables = array();
 653     $aHaveTables = chksql($oDB->getCol("SELECT tablename FROM pg_tables WHERE schemaname='public'"));
 654
 655     foreach ($aHaveTables as $sTable) {
 656         $bFound = false;
 657         foreach ($aKeepTables as $sKeep) {
 658             if (fnmatch($sKeep, $sTable)) {
 659                 $bFound = true;
 660                 break;
 661             }
 662         }
 663         if (!$bFound) array_push($aDropTables, $sTable);
 664     }
 665
 666     foreach ($aDropTables as $sDrop) {
 667         if ($aCMDResult['verbose']) echo "dropping table $sDrop\n";
 668         @pg_query($oDB->connection, "DROP TABLE $sDrop CASCADE");
 669         // ignore warnings/errors as they might be caused by a table having
 670         // been deleted already by CASCADE
 671     }
 672
 673     if (!is_null(CONST_Osm2pgsql_Flatnode_File)) {
 674         if ($aCMDResult['verbose']) echo "deleting ".CONST_Osm2pgsql_Flatnode_File."\n";
 675         unlink(CONST_Osm2pgsql_Flatnode_File);
 676     }
 677 }
 678
 679 if (!$bDidSomething) {
 680     showUsage($aCMDOptions, true);
 681 } else {
 682     echo "Setup finished.\n";
 683 }
 684
 685
 686 function pgsqlRunScriptFile($sFilename)
 687 {
 688     if (!file_exists($sFilename)) fail('unable to find '.$sFilename);
 689
 690     // Convert database DSN to psql parameters
 691     $aDSNInfo = DB::parseDSN(CONST_Database_DSN);
 692     if (!isset($aDSNInfo['port']) || !$aDSNInfo['port']) $aDSNInfo['port'] = 5432;
 693     $sCMD = 'psql -p '.$aDSNInfo['port'].' -d '.$aDSNInfo['database'];
 694
 695     $ahGzipPipes = null;
 696     if (preg_match('/\\.gz$/', $sFilename)) {
 697         $aDescriptors = array(
 698                          0 => array('pipe', 'r'),
 699                          1 => array('pipe', 'w'),
 700                          2 => array('file', '/dev/null', 'a')
 701                         );
 702         $hGzipProcess = proc_open('zcat '.$sFilename, $aDescriptors, $ahGzipPipes);
 703         if (!is_resource($hGzipProcess)) fail('unable to start zcat');
 704         $aReadPipe = $ahGzipPipes[1];
 705         fclose($ahGzipPipes[0]);
 706     } else {
 707         $sCMD .= ' -f '.$sFilename;
 708         $aReadPipe = array('pipe', 'r');
 709     }
 710
 711     $aDescriptors = array(
 712                      0 => $aReadPipe,
 713                      1 => array('pipe', 'w'),
 714                      2 => array('file', '/dev/null', 'a')
 715                     );
 716     $ahPipes = null;
 717     $hProcess = proc_open($sCMD, $aDescriptors, $ahPipes);
 718     if (!is_resource($hProcess)) fail('unable to start pgsql');
 719
 720
 721     // TODO: error checking
 722     while (!feof($ahPipes[1])) {
 723         echo fread($ahPipes[1], 4096);
 724     }
 725     fclose($ahPipes[1]);
 726
 727     $iReturn = proc_close($hProcess);
 728     if ($iReturn > 0) {
 729         fail("pgsql returned with error code ($iReturn)");
 730     }
 731     if ($ahGzipPipes) {
 732         fclose($ahGzipPipes[1]);
 733         proc_close($hGzipProcess);
 734     }
 735 }
 736
 737 function pgsqlRunScript($sScript, $bfatal = true)
 738 {
 739     global $aCMDResult;
 740     // Convert database DSN to psql parameters
 741     $aDSNInfo = DB::parseDSN(CONST_Database_DSN);
 742     if (!isset($aDSNInfo['port']) || !$aDSNInfo['port']) $aDSNInfo['port'] = 5432;
 743     $sCMD = 'psql -p '.$aDSNInfo['port'].' -d '.$aDSNInfo['database'];
 744     if ($bfatal && !$aCMDResult['ignore-errors'])
 745         $sCMD .= ' -v ON_ERROR_STOP=1';
 746     $aDescriptors = array(
 747                      0 => array('pipe', 'r'),
 748                      1 => STDOUT,
 749                      2 => STDERR
 750                     );
 751     $ahPipes = null;
 752     $hProcess = @proc_open($sCMD, $aDescriptors, $ahPipes);
 753     if (!is_resource($hProcess)) fail('unable to start pgsql');
 754
 755     while (strlen($sScript)) {
 756         $written = fwrite($ahPipes[0], $sScript);
 757         if ($written <= 0) break;
 758         $sScript = substr($sScript, $written);
 759     }
 760     fclose($ahPipes[0]);
 761     $iReturn = proc_close($hProcess);
 762     if ($bfatal && $iReturn > 0) {
 763         fail("pgsql returned with error code ($iReturn)");
 764     }
 765 }
 766
 767 function pgsqlRunPartitionScript($sTemplate)
 768 {
 769     global $aCMDResult;
 770     $oDB =& getDB();
 771
 772     $sSQL = 'select distinct partition from country_name';
 773     $aPartitions = chksql($oDB->getCol($sSQL));
 774     if (!$aCMDResult['no-partitions']) $aPartitions[] = 0;
 775
 776     preg_match_all('#^-- start(.*?)^-- end#ms', $sTemplate, $aMatches, PREG_SET_ORDER);
 777     foreach ($aMatches as $aMatch) {
 778         $sResult = '';
 779         foreach ($aPartitions as $sPartitionName) {
 780             $sResult .= str_replace('-partition-', $sPartitionName, $aMatch[1]);
 781         }
 782         $sTemplate = str_replace($aMatch[0], $sResult, $sTemplate);
 783     }
 784
 785     pgsqlRunScript($sTemplate);
 786 }
 787
 788 function pgsqlRunRestoreData($sDumpFile)
 789 {
 790     // Convert database DSN to psql parameters
 791     $aDSNInfo = DB::parseDSN(CONST_Database_DSN);
 792     if (!isset($aDSNInfo['port']) || !$aDSNInfo['port']) $aDSNInfo['port'] = 5432;
 793     $sCMD = 'pg_restore -p '.$aDSNInfo['port'].' -d '.$aDSNInfo['database'].' -Fc -a '.$sDumpFile;
 794
 795     $aDescriptors = array(
 796                      0 => array('pipe', 'r'),
 797                      1 => array('pipe', 'w'),
 798                      2 => array('file', '/dev/null', 'a')
 799                     );
 800     $ahPipes = null;
 801     $hProcess = proc_open($sCMD, $aDescriptors, $ahPipes);
 802     if (!is_resource($hProcess)) fail('unable to start pg_restore');
 803
 804     fclose($ahPipes[0]);
 805
 806     // TODO: error checking
 807     while (!feof($ahPipes[1])) {
 808         echo fread($ahPipes[1], 4096);
 809     }
 810     fclose($ahPipes[1]);
 811
 812     $iReturn = proc_close($hProcess);
 813 }
 814
 815 function pgsqlRunDropAndRestore($sDumpFile)
 816 {
 817     // Convert database DSN to psql parameters
 818     $aDSNInfo = DB::parseDSN(CONST_Database_DSN);
 819     if (!isset($aDSNInfo['port']) || !$aDSNInfo['port']) $aDSNInfo['port'] = 5432;
 820     $sCMD = 'pg_restore -p '.$aDSNInfo['port'].' -d '.$aDSNInfo['database'].' -Fc --clean '.$sDumpFile;
 821
 822     $aDescriptors = array(
 823                      0 => array('pipe', 'r'),
 824                      1 => array('pipe', 'w'),
 825                      2 => array('file', '/dev/null', 'a')
 826                     );
 827     $ahPipes = null;
 828     $hProcess = proc_open($sCMD, $aDescriptors, $ahPipes);
 829     if (!is_resource($hProcess)) fail('unable to start pg_restore');
 830
 831     fclose($ahPipes[0]);
 832
 833     // TODO: error checking
 834     while (!feof($ahPipes[1])) {
 835         echo fread($ahPipes[1], 4096);
 836     }
 837     fclose($ahPipes[1]);
 838
 839     $iReturn = proc_close($hProcess);
 840 }
 841
 842 function passthruCheckReturn($cmd)
 843 {
 844     $result = -1;
 845     passthru($cmd, $result);
 846     if ($result != 0) fail('Error executing external command: '.$cmd);
 847 }
 848
 849 function replace_tablespace($sTemplate, $sTablespace, $sSql)
 850 {
 851     if ($sTablespace) {
 852         $sSql = str_replace($sTemplate, 'TABLESPACE "'.$sTablespace.'"', $sSql);
 853     } else {
 854         $sSql = str_replace($sTemplate, '', $sSql);
 855     }
 856
 857     return $sSql;
 858 }
 859
 860 function create_sql_functions($aCMDResult)
 861 {
 862     $sTemplate = file_get_contents(CONST_BasePath.'/sql/functions.sql');
 863     $sTemplate = str_replace('{modulepath}', CONST_InstallPath.'/module', $sTemplate);
 864     if ($aCMDResult['enable-diff-updates']) {
 865         $sTemplate = str_replace('RETURN NEW; -- %DIFFUPDATES%', '--', $sTemplate);
 866     }
 867     if ($aCMDResult['enable-debug-statements']) {
 868         $sTemplate = str_replace('--DEBUG:', '', $sTemplate);
 869     }
 870     if (CONST_Limit_Reindexing) {
 871         $sTemplate = str_replace('--LIMIT INDEXING:', '', $sTemplate);
 872     }
 873     if (!CONST_Use_US_Tiger_Data) {
 874         $sTemplate = str_replace('-- %NOTIGERDATA% ', '', $sTemplate);
 875     }
 876     if (!CONST_Use_Aux_Location_data) {
 877         $sTemplate = str_replace('-- %NOAUXDATA% ', '', $sTemplate);
 878     }
 879     pgsqlRunScript($sTemplate);
 880 }