]> git.openstreetmap.org Git - nominatim.git/blob - utils/update.php
Merge remote-tracking branch 'upstream/master'
[nominatim.git] / utils / update.php
1 <?php
2
3 require_once(CONST_LibDir.'/init-cmd.php');
4 require_once(CONST_LibDir.'/setup_functions.php');
5 require_once(CONST_LibDir.'/setup/SetupClass.php');
6 require_once(CONST_LibDir.'/setup/AddressLevelParser.php');
7
8 ini_set('memory_limit', '800M');
9
10 use Nominatim\Setup\SetupFunctions as SetupFunctions;
11
12 // (long-opt, short-opt, min-occurs, max-occurs, num-arguments, num-arguments, type, help)
13 $aCMDOptions
14 = array(
15    'Import / update / index osm data',
16    array('help', 'h', 0, 1, 0, 0, false, 'Show Help'),
17    array('quiet', 'q', 0, 1, 0, 0, 'bool', 'Quiet output'),
18    array('verbose', 'v', 0, 1, 0, 0, 'bool', 'Verbose output'),
19
20    array('init-updates', '', 0, 1, 0, 0, 'bool', 'Set up database for updating'),
21    array('check-for-updates', '', 0, 1, 0, 0, 'bool', 'Check if new updates are available'),
22    array('no-update-functions', '', 0, 1, 0, 0, 'bool', 'Do not update trigger functions to support differential updates (assuming the diff update logic is already present)'),
23    array('import-osmosis', '', 0, 1, 0, 0, 'bool', 'Import updates once'),
24    array('import-osmosis-all', '', 0, 1, 0, 0, 'bool', 'Import updates forever'),
25    array('no-index', '', 0, 1, 0, 0, 'bool', 'Do not index the new data'),
26
27    array('calculate-postcodes', '', 0, 1, 0, 0, 'bool', 'Update postcode centroid table'),
28
29    array('import-file', '', 0, 1, 1, 1, 'realpath', 'Re-import data from an OSM file'),
30    array('import-diff', '', 0, 1, 1, 1, 'realpath', 'Import a diff (osc) file from local file system'),
31    array('osm2pgsql-cache', '', 0, 1, 1, 1, 'int', 'Cache size used by osm2pgsql'),
32
33    array('import-node', '', 0, 1, 1, 1, 'int', 'Re-import node'),
34    array('import-way', '', 0, 1, 1, 1, 'int', 'Re-import way'),
35    array('import-relation', '', 0, 1, 1, 1, 'int', 'Re-import relation'),
36    array('import-from-main-api', '', 0, 1, 0, 0, 'bool', 'Use OSM API instead of Overpass to download objects'),
37
38    array('index', '', 0, 1, 0, 0, 'bool', 'Index'),
39    array('index-rank', '', 0, 1, 1, 1, 'int', 'Rank to start indexing from'),
40    array('index-instances', '', 0, 1, 1, 1, 'int', 'Number of indexing instances (threads)'),
41
42    array('recompute-word-counts', '', 0, 1, 0, 0, 'bool', 'Compute frequency of full-word search terms'),
43    array('update-address-levels', '', 0, 1, 0, 0, 'bool', 'Reimport address level configuration (EXPERT)'),
44    array('recompute-importance', '', 0, 1, 0, 0, 'bool', 'Recompute place importances'),
45
46    array('project-dir', '', 0, 1, 1, 1, 'realpath', 'Base directory of the Nominatim installation (default: .)'),
47   );
48
49 getCmdOpt($_SERVER['argv'], $aCMDOptions, $aResult, true, true);
50
51 loadSettings($aCMDResult['project-dir'] ?? getcwd());
52 setupHTTPProxy();
53
54 if (!isset($aResult['index-instances'])) $aResult['index-instances'] = 1;
55
56 if (!isset($aResult['index-rank'])) $aResult['index-rank'] = 0;
57
58 date_default_timezone_set('Etc/UTC');
59
60 $oDB = new Nominatim\DB();
61 $oDB->connect();
62 $fPostgresVersion = $oDB->getPostgresVersion();
63
64 $aDSNInfo = Nominatim\DB::parseDSN(getSetting('DATABASE_DSN'));
65 if (!isset($aDSNInfo['port']) || !$aDSNInfo['port']) $aDSNInfo['port'] = 5432;
66
67 // cache memory to be used by osm2pgsql, should not be more than the available memory
68 $iCacheMemory = (isset($aResult['osm2pgsql-cache'])?$aResult['osm2pgsql-cache']:2000);
69 if ($iCacheMemory + 500 > getTotalMemoryMB()) {
70     $iCacheMemory = getCacheMemoryMB();
71     echo "WARNING: resetting cache memory to $iCacheMemory\n";
72 }
73
74 $oOsm2pgsqlCmd = (new \Nominatim\Shell(getOsm2pgsqlBinary()))
75                  ->addParams('--hstore')
76                  ->addParams('--latlong')
77                  ->addParams('--append')
78                  ->addParams('--slim')
79                  ->addParams('--with-forward-dependencies', 'false')
80                  ->addParams('--log-progress', 'true')
81                  ->addParams('--number-processes', 1)
82                  ->addParams('--cache', $iCacheMemory)
83                  ->addParams('--output', 'gazetteer')
84                  ->addParams('--style', getImportStyle())
85                  ->addParams('--database', $aDSNInfo['database'])
86                  ->addParams('--port', $aDSNInfo['port']);
87
88 if (isset($aDSNInfo['hostspec']) && $aDSNInfo['hostspec']) {
89     $oOsm2pgsqlCmd->addParams('--host', $aDSNInfo['hostspec']);
90 }
91 if (isset($aDSNInfo['username']) && $aDSNInfo['username']) {
92     $oOsm2pgsqlCmd->addParams('--user', $aDSNInfo['username']);
93 }
94 if (isset($aDSNInfo['password']) && $aDSNInfo['password']) {
95     $oOsm2pgsqlCmd->addEnvPair('PGPASSWORD', $aDSNInfo['password']);
96 }
97 if (getSetting('FLATNODE_FILE')) {
98     $oOsm2pgsqlCmd->addParams('--flat-nodes', getSetting('FLATNODE_FILE'));
99 }
100 if ($fPostgresVersion >= 11.0) {
101     $oOsm2pgsqlCmd->addEnvPair(
102         'PGOPTIONS',
103         '-c jit=off -c max_parallel_workers_per_gather=0'
104     );
105 }
106
107
108 $oIndexCmd = (new \Nominatim\Shell(CONST_DataDir.'/nominatim/nominatim.py'))
109              ->addParams('--database', $aDSNInfo['database'])
110              ->addParams('--port', $aDSNInfo['port'])
111              ->addParams('--threads', $aResult['index-instances']);
112 if (!$aResult['quiet']) {
113     $oIndexCmd->addParams('--verbose');
114 }
115 if ($aResult['verbose']) {
116     $oIndexCmd->addParams('--verbose');
117 }
118 if (isset($aDSNInfo['hostspec']) && $aDSNInfo['hostspec']) {
119     $oIndexCmd->addParams('--host', $aDSNInfo['hostspec']);
120 }
121 if (isset($aDSNInfo['username']) && $aDSNInfo['username']) {
122     $oIndexCmd->addParams('--username', $aDSNInfo['username']);
123 }
124 if (isset($aDSNInfo['password']) && $aDSNInfo['password']) {
125     $oIndexCmd->addEnvPair('PGPASSWORD', $aDSNInfo['password']);
126 }
127
128 $sPyosmiumBin = getSetting('PYOSMIUM_BINARY');
129 $sBaseURL = getSetting('REPLICATION_URL');
130
131
132 if ($aResult['init-updates']) {
133     // sanity check that the replication URL is correct
134     $sBaseState = file_get_contents($sBaseURL.'/state.txt');
135     if ($sBaseState === false) {
136         echo "\nCannot find state.txt file at the configured replication URL.\n";
137         echo "Does the URL point to a directory containing OSM update data?\n\n";
138         fail('replication URL not reachable.');
139     }
140     // sanity check for pyosmium-get-changes
141     if (!$sPyosmiumBin) {
142         echo "\nNOMINATIM_PYOSMIUM_BINARY not configured.\n";
143         echo "You need to install pyosmium and set up the path to pyosmium-get-changes\n";
144         echo "in your local .env file.\n\n";
145         fail('NOMINATIM_PYOSMIUM_BINARY not configured');
146     }
147
148     $aOutput = 0;
149     $oCMD = new \Nominatim\Shell($sPyosmiumBin, '--help');
150     exec($oCMD->escapedCmd(), $aOutput, $iRet);
151
152     if ($iRet != 0) {
153         echo "Cannot execute pyosmium-get-changes.\n";
154         echo "Make sure you have pyosmium installed correctly\n";
155         echo "and have set up NOMINATIM_PYOSMIUM_BINARY to point to pyosmium-get-changes.\n";
156         fail('pyosmium-get-changes not found or not usable');
157     }
158
159     if (!$aResult['no-update-functions']) {
160         // instantiate setupClass to use the function therein
161         $cSetup = new SetupFunctions(array(
162                                       'enable-diff-updates' => true,
163                                       'verbose' => $aResult['verbose']
164                                      ));
165         $cSetup->createFunctions();
166     }
167
168     $sDatabaseDate = getDatabaseDate($oDB);
169     if (!$sDatabaseDate) {
170         fail('Cannot determine date of database.');
171     }
172     $sWindBack = strftime('%Y-%m-%dT%H:%M:%SZ', strtotime($sDatabaseDate) - (3*60*60));
173
174     // get the appropriate state id
175     $aOutput = 0;
176     $oCMD = (new \Nominatim\Shell($sPyosmiumBin))
177             ->addParams('--start-date', $sWindBack)
178             ->addParams('--server', $sBaseURL);
179
180     exec($oCMD->escapedCmd(), $aOutput, $iRet);
181     if ($iRet != 0 || $aOutput[0] == 'None') {
182         fail('Error running pyosmium tools');
183     }
184
185     $oDB->exec('TRUNCATE import_status');
186     $sSQL = "INSERT INTO import_status (lastimportdate, sequence_id, indexed) VALUES('";
187     $sSQL .= $sDatabaseDate."',".$aOutput[0].', true)';
188
189     try {
190         $oDB->exec($sSQL);
191     } catch (\Nominatim\DatabaseError $e) {
192         fail('Could not enter sequence into database.');
193     }
194
195     echo "Done. Database updates will start at sequence $aOutput[0] ($sWindBack)\n";
196 }
197
198 if ($aResult['check-for-updates']) {
199     $aLastState = $oDB->getRow('SELECT sequence_id FROM import_status');
200
201     if (!$aLastState['sequence_id']) {
202         fail('Updates not set up. Please run ./utils/update.php --init-updates.');
203     }
204
205     $oCmd = (new \Nominatim\Shell(CONST_BinDir.'/check_server_for_updates.py'))
206             ->addParams($sBaseURL)
207             ->addParams($aLastState['sequence_id']);
208     $iRet = $oCmd->run();
209
210     exit($iRet);
211 }
212
213 if (isset($aResult['import-diff']) || isset($aResult['import-file'])) {
214     // import diffs and files directly (e.g. from osmosis --rri)
215     $sNextFile = isset($aResult['import-diff']) ? $aResult['import-diff'] : $aResult['import-file'];
216
217     if (!file_exists($sNextFile)) {
218         fail("Cannot open $sNextFile\n");
219     }
220
221     // Import the file
222     $oCMD = (clone $oOsm2pgsqlCmd)->addParams($sNextFile);
223     echo $oCMD->escapedCmd()."\n";
224     $iRet = $oCMD->run();
225
226     if ($iRet) {
227         fail("Error from osm2pgsql, $iRet\n");
228     }
229
230     // Don't update the import status - we don't know what this file contains
231 }
232
233 if ($aResult['calculate-postcodes']) {
234     info('Update postcodes centroids');
235     $sTemplate = file_get_contents(CONST_DataDir.'/sql/update-postcodes.sql');
236     runSQLScript($sTemplate, true, true);
237 }
238
239 $sTemporaryFile = CONST_InstallDir.'/osmosischange.osc';
240 $bHaveDiff = false;
241 $bUseOSMApi = isset($aResult['import-from-main-api']) && $aResult['import-from-main-api'];
242 $sContentURL = '';
243 if (isset($aResult['import-node']) && $aResult['import-node']) {
244     if ($bUseOSMApi) {
245         $sContentURL = 'https://www.openstreetmap.org/api/0.6/node/'.$aResult['import-node'];
246     } else {
247         $sContentURL = 'https://overpass-api.de/api/interpreter?data=node('.$aResult['import-node'].');out%20meta;';
248     }
249 }
250
251 if (isset($aResult['import-way']) && $aResult['import-way']) {
252     if ($bUseOSMApi) {
253         $sContentURL = 'https://www.openstreetmap.org/api/0.6/way/'.$aResult['import-way'].'/full';
254     } else {
255         $sContentURL = 'https://overpass-api.de/api/interpreter?data=(way('.$aResult['import-way'].');%3E;);out%20meta;';
256     }
257 }
258
259 if (isset($aResult['import-relation']) && $aResult['import-relation']) {
260     if ($bUseOSMApi) {
261         $sContentURL = 'https://www.openstreetmap.org/api/0.6/relation/'.$aResult['import-relation'].'/full';
262     } else {
263         $sContentURL = 'https://overpass-api.de/api/interpreter?data=(rel(id:'.$aResult['import-relation'].');%3E;);out%20meta;';
264     }
265 }
266
267 if ($sContentURL) {
268     file_put_contents($sTemporaryFile, file_get_contents($sContentURL));
269     $bHaveDiff = true;
270 }
271
272 if ($bHaveDiff) {
273     // import generated change file
274
275     $oCMD = (clone $oOsm2pgsqlCmd)->addParams($sTemporaryFile);
276     echo $oCMD->escapedCmd()."\n";
277
278     $iRet = $oCMD->run();
279     if ($iRet) {
280         fail("osm2pgsql exited with error level $iRet\n");
281     }
282 }
283
284 if ($aResult['recompute-word-counts']) {
285     info('Recompute frequency of full-word search terms');
286     $sTemplate = file_get_contents(CONST_DataDir.'/sql/words_from_search_name.sql');
287     runSQLScript($sTemplate, true, true);
288 }
289
290 if ($aResult['index']) {
291     $oCmd = (clone $oIndexCmd)
292             ->addParams('--minrank', $aResult['index-rank'], '-b');
293     $oCmd->run();
294
295     $oCmd = (clone $oIndexCmd)
296             ->addParams('--minrank', $aResult['index-rank']);
297     $oCmd->run();
298
299     $oDB->exec('update import_status set indexed = true');
300 }
301
302 if ($aResult['update-address-levels']) {
303     $sAddressLevelConfig = getSettingConfig('ADDRESS_LEVEL_CONFIG', 'address-levels.json');
304     echo 'Updating address levels from '.$sAddressLevelConfig.".\n";
305     $oAlParser = new \Nominatim\Setup\AddressLevelParser($sAddressLevelConfig);
306     $oAlParser->createTable($oDB, 'address_levels');
307 }
308
309 if ($aResult['recompute-importance']) {
310     echo "Updating importance values for database.\n";
311     $oDB = new Nominatim\DB();
312     $oDB->connect();
313
314     $sSQL = 'ALTER TABLE placex DISABLE TRIGGER ALL;';
315     $sSQL .= 'UPDATE placex SET (wikipedia, importance) =';
316     $sSQL .= '   (SELECT wikipedia, importance';
317     $sSQL .= '    FROM compute_importance(extratags, country_code, osm_type, osm_id));';
318     $sSQL .= 'UPDATE placex s SET wikipedia = d.wikipedia, importance = d.importance';
319     $sSQL .= ' FROM placex d';
320     $sSQL .= ' WHERE s.place_id = d.linked_place_id and d.wikipedia is not null';
321     $sSQL .= '       and (s.wikipedia is null or s.importance < d.importance);';
322     $sSQL .= 'ALTER TABLE placex ENABLE TRIGGER ALL;';
323     $oDB->exec($sSQL);
324 }
325
326 if ($aResult['import-osmosis'] || $aResult['import-osmosis-all']) {
327     //
328     if (strpos($sBaseURL, 'download.geofabrik.de') !== false && getSetting('REPLICATION_UPDATE_INTERVAL') < 86400) {
329         fail('Error: Update interval too low for download.geofabrik.de. ' .
330              "Please check install documentation (https://nominatim.org/release-docs/latest/admin/Import-and-Update#setting-up-the-update-process)\n");
331     }
332
333     $sImportFile = CONST_InstallDir.'/osmosischange.osc';
334
335     $oCMDDownload = (new \Nominatim\Shell($sPyosmiumBin))
336                     ->addParams('--server', $sBaseURL)
337                     ->addParams('--outfile', $sImportFile)
338                     ->addParams('--size', getSetting('REPLICATION_MAX_DIFF'));
339
340     $oCMDImport = (clone $oOsm2pgsqlCmd)->addParams($sImportFile);
341
342     while (true) {
343         $fStartTime = time();
344         $aLastState = $oDB->getRow('SELECT *, EXTRACT (EPOCH FROM lastimportdate) as unix_ts FROM import_status');
345
346         if (!$aLastState['sequence_id']) {
347             echo "Updates not set up. Please run ./utils/update.php --init-updates.\n";
348             exit(1);
349         }
350
351         echo 'Currently at sequence '.$aLastState['sequence_id'].' ('.$aLastState['lastimportdate'].') - '.$aLastState['indexed']." indexed\n";
352
353         $sBatchEnd = $aLastState['lastimportdate'];
354         $iEndSequence = $aLastState['sequence_id'];
355
356         if ($aLastState['indexed']) {
357             // Sleep if the update interval has not yet been reached.
358             $fNextUpdate = $aLastState['unix_ts'] + getSetting('REPLICATION_UPDATE_INTERVAL');
359             if ($fNextUpdate > $fStartTime) {
360                 $iSleepTime = $fNextUpdate - $fStartTime;
361                 echo "Waiting for next update for $iSleepTime sec.";
362                 sleep($iSleepTime);
363             }
364
365             // Download the next batch of changes.
366             do {
367                 $fCMDStartTime = time();
368                 $iNextSeq = (int) $aLastState['sequence_id'];
369                 unset($aOutput);
370
371                 $oCMD = (clone $oCMDDownload)->addParams('--start-id', $iNextSeq);
372                 echo $oCMD->escapedCmd()."\n";
373                 if (file_exists($sImportFile)) {
374                     unlink($sImportFile);
375                 }
376                 exec($oCMD->escapedCmd(), $aOutput, $iResult);
377
378                 if ($iResult == 3) {
379                     $sSleep = getSetting('REPLICATION_RECHECK_INTERVAL');
380                     echo 'No new updates. Sleeping for '.$sSleep." sec.\n";
381                     sleep($sSleep);
382                 } elseif ($iResult != 0) {
383                     echo 'ERROR: updates failed.';
384                     exit($iResult);
385                 } else {
386                     $iEndSequence = (int)$aOutput[0];
387                 }
388             } while ($iResult);
389
390             // get the newest object from the diff file
391             $sBatchEnd = 0;
392             $iRet = 0;
393             $oCMD = new \Nominatim\Shell(CONST_BinDir.'/osm_file_date.py', $sImportFile);
394             exec($oCMD->escapedCmd(), $sBatchEnd, $iRet);
395             if ($iRet == 5) {
396                 echo "Diff file is empty. skipping import.\n";
397                 if (!$aResult['import-osmosis-all']) {
398                     exit(0);
399                 } else {
400                     continue;
401                 }
402             }
403             if ($iRet != 0) {
404                 fail('Error getting date from diff file.');
405             }
406             $sBatchEnd = $sBatchEnd[0];
407
408             // Import the file
409             $fCMDStartTime = time();
410
411
412             echo $oCMDImport->escapedCmd()."\n";
413             unset($sJunk);
414             $iErrorLevel = $oCMDImport->run();
415             if ($iErrorLevel) {
416                 echo "Error executing osm2pgsql: $iErrorLevel\n";
417                 exit($iErrorLevel);
418             }
419
420             // write the update logs
421             $iFileSize = filesize($sImportFile);
422             $sSQL = 'INSERT INTO import_osmosis_log';
423             $sSQL .= '(batchend, batchseq, batchsize, starttime, endtime, event)';
424             $sSQL .= " values ('$sBatchEnd',$iEndSequence,$iFileSize,'";
425             $sSQL .= date('Y-m-d H:i:s', $fCMDStartTime)."','";
426             $sSQL .= date('Y-m-d H:i:s')."','import')";
427             var_Dump($sSQL);
428             $oDB->exec($sSQL);
429
430             // update the status
431             $sSQL = "UPDATE import_status SET lastimportdate = '$sBatchEnd', indexed=false, sequence_id = $iEndSequence";
432             var_Dump($sSQL);
433             $oDB->exec($sSQL);
434             echo date('Y-m-d H:i:s')." Completed download step for $sBatchEnd in ".round((time()-$fCMDStartTime)/60, 2)." minutes\n";
435         }
436
437         // Index file
438         if (!$aResult['no-index']) {
439             $fCMDStartTime = time();
440
441             $oThisIndexCmd = clone($oIndexCmd);
442             $oThisIndexCmd->addParams('-b');
443             echo $oThisIndexCmd->escapedCmd()."\n";
444             $iErrorLevel = $oThisIndexCmd->run();
445             if ($iErrorLevel) {
446                 echo "Error: $iErrorLevel\n";
447                 exit($iErrorLevel);
448             }
449
450             $oThisIndexCmd = clone($oIndexCmd);
451             echo $oThisIndexCmd->escapedCmd()."\n";
452             $iErrorLevel = $oThisIndexCmd->run();
453             if ($iErrorLevel) {
454                 echo "Error: $iErrorLevel\n";
455                 exit($iErrorLevel);
456             }
457
458             $sSQL = 'INSERT INTO import_osmosis_log';
459             $sSQL .= '(batchend, batchseq, batchsize, starttime, endtime, event)';
460             $sSQL .= " values ('$sBatchEnd',$iEndSequence,NULL,'";
461             $sSQL .= date('Y-m-d H:i:s', $fCMDStartTime)."','";
462             $sSQL .= date('Y-m-d H:i:s')."','index')";
463             var_Dump($sSQL);
464             $oDB->exec($sSQL);
465             echo date('Y-m-d H:i:s')." Completed index step for $sBatchEnd in ".round((time()-$fCMDStartTime)/60, 2)." minutes\n";
466
467             $sSQL = 'update import_status set indexed = true';
468             $oDB->exec($sSQL);
469         } else {
470             if ($aResult['import-osmosis-all']) {
471                 echo "Error: --no-index cannot be used with continuous imports (--import-osmosis-all).\n";
472                 exit(1);
473             }
474         }
475
476         $fDuration = time() - $fStartTime;
477         echo date('Y-m-d H:i:s')." Completed all for $sBatchEnd in ".round($fDuration/60, 2)." minutes\n";
478         if (!$aResult['import-osmosis-all']) exit(0);
479     }
480 }