nominatim/db/connection.py

   1 """
   2 Specialised connection and cursor functions.
   3 """
   4 import contextlib
   5 import logging
   6 import os
   7
   8 import psycopg2
   9 import psycopg2.extensions
  10 import psycopg2.extras
  11
  12 from ..errors import UsageError
  13
  14 LOG = logging.getLogger()
  15
  16 class _Cursor(psycopg2.extras.DictCursor):
  17     """ A cursor returning dict-like objects and providing specialised
  18         execution functions.
  19     """
  20
  21     def execute(self, query, args=None): # pylint: disable=W0221
  22         """ Query execution that logs the SQL query when debugging is enabled.
  23         """
  24         LOG.debug(self.mogrify(query, args).decode('utf-8'))
  25
  26         super().execute(query, args)
  27
  28     def scalar(self, sql, args=None):
  29         """ Execute query that returns a single value. The value is returned.
  30             If the query yields more than one row, a ValueError is raised.
  31         """
  32         self.execute(sql, args)
  33
  34         if self.rowcount != 1:
  35             raise RuntimeError("Query did not return a single row.")
  36
  37         return self.fetchone()[0]
  38
  39
  40 class _Connection(psycopg2.extensions.connection):
  41     """ A connection that provides the specialised cursor by default and
  42         adds convenience functions for administrating the database.
  43     """
  44
  45     def cursor(self, cursor_factory=_Cursor, **kwargs):
  46         """ Return a new cursor. By default the specialised cursor is returned.
  47         """
  48         return super().cursor(cursor_factory=cursor_factory, **kwargs)
  49
  50
  51     def table_exists(self, table):
  52         """ Check that a table with the given name exists in the database.
  53         """
  54         with self.cursor() as cur:
  55             num = cur.scalar("""SELECT count(*) FROM pg_tables
  56                                 WHERE tablename = %s and schemaname = 'public'""", (table, ))
  57             return num == 1
  58
  59
  60     def index_exists(self, index, table=None):
  61         """ Check that an index with the given name exists in the database.
  62             If table is not None then the index must relate to the given
  63             table.
  64         """
  65         with self.cursor() as cur:
  66             cur.execute("""SELECT tablename FROM pg_indexes
  67                            WHERE indexname = %s and schemaname = 'public'""", (index, ))
  68             if cur.rowcount == 0:
  69                 return False
  70
  71             if table is not None:
  72                 row = cur.fetchone()
  73                 return row[0] == table
  74
  75         return True
  76
  77
  78     def server_version_tuple(self):
  79         """ Return the server version as a tuple of (major, minor).
  80             Converts correctly for pre-10 and post-10 PostgreSQL versions.
  81         """
  82         version = self.server_version
  83         if version < 100000:
  84             return (version / 10000, (version % 10000) / 100)
  85
  86         return (version / 10000, version % 10000)
  87
  88 def connect(dsn):
  89     """ Open a connection to the database using the specialised connection
  90         factory. The returned object may be used in conjunction with 'with'.
  91         When used outside a context manager, use the `connection` attribute
  92         to get the connection.
  93     """
  94     try:
  95         conn = psycopg2.connect(dsn, connection_factory=_Connection)
  96         ctxmgr = contextlib.closing(conn)
  97         ctxmgr.connection = conn
  98         return ctxmgr
  99     except psycopg2.OperationalError as err:
 100         raise UsageError("Cannot connect to database: {}".format(err)) from err
 101
 102
 103 # Translation from PG connection string parameters to PG environment variables.
 104 # Derived from https://www.postgresql.org/docs/current/libpq-envars.html.
 105 _PG_CONNECTION_STRINGS = {
 106     'host': 'PGHOST',
 107     'hostaddr': 'PGHOSTADDR',
 108     'port': 'PGPORT',
 109     'dbname': 'PGDATABASE',
 110     'user': 'PGUSER',
 111     'password': 'PGPASSWORD',
 112     'passfile': 'PGPASSFILE',
 113     'channel_binding': 'PGCHANNELBINDING',
 114     'service': 'PGSERVICE',
 115     'options': 'PGOPTIONS',
 116     'application_name': 'PGAPPNAME',
 117     'sslmode': 'PGSSLMODE',
 118     'requiressl': 'PGREQUIRESSL',
 119     'sslcompression': 'PGSSLCOMPRESSION',
 120     'sslcert': 'PGSSLCERT',
 121     'sslkey': 'PGSSLKEY',
 122     'sslrootcert': 'PGSSLROOTCERT',
 123     'sslcrl': 'PGSSLCRL',
 124     'requirepeer': 'PGREQUIREPEER',
 125     'ssl_min_protocol_version': 'PGSSLMINPROTOCOLVERSION',
 126     'ssl_min_protocol_version': 'PGSSLMAXPROTOCOLVERSION',
 127     'gssencmode': 'PGGSSENCMODE',
 128     'krbsrvname': 'PGKRBSRVNAME',
 129     'gsslib': 'PGGSSLIB',
 130     'connect_timeout': 'PGCONNECT_TIMEOUT',
 131     'target_session_attrs': 'PGTARGETSESSIONATTRS',
 132 }
 133
 134
 135 def get_pg_env(dsn, base_env=None):
 136     """ Return a copy of `base_env` with the environment variables for
 137         PostgresSQL set up from the given database connection string.
 138         If `base_env` is None, then the OS environment is used as a base
 139         environment.
 140     """
 141     env = base_env if base_env is not None else os.environ
 142
 143     for param, value in psycopg2.extensions.parse_dsn(dsn).items():
 144         if param in _PG_CONNECTION_STRINGS:
 145             env[_PG_CONNECTION_STRINGS[param]] = value
 146         else:
 147             LOG.error("Unknown connection parameter '%s' ignored.", param)
 148
 149     return env