settings/legacy_icu_tokenizer.yaml

   1 normalization:
   2     - ":: NFD ()"
   3     - "[[:Nonspacing Mark:] [:Cf:]] >"
   4     - ":: lower ()"
   5     - "ß > 'ss'" # German szet is unimbigiously equal to double ss
   6     - "[[:Punctuation:][:Space:]]+ > ' '"
   7     - ":: NFC ()"
   8 transliteration: icu_transliteration.rules
   9 compound_suffixes:
  10     # Danish
  11     - hal
  12     - hallen
  13     - hallerne
  14     # German
  15     - berg
  16     - brücke
  17     - fabrik
  18     - gasse
  19     - graben
  20     - haus
  21     - höhle
  22     - hütte
  23     - kapelle
  24     - kogel
  25     - pfad
  26     - platz
  27     - quelle
  28     - spitze
  29     - stiege
  30     - strasse
  31     - teich
  32     - universität
  33     - wald
  34     - weg
  35     - wiese
  36     # Dutch
  37     - gracht
  38     - laan
  39     - markt
  40     - plein
  41     - straat
  42     - vliet
  43     - weg
  44     # Norwegian
  45     - vei
  46     - veien
  47     - veg
  48     - vegen
  49     - gate
  50     - gaten
  51     - gata
  52     - plass
  53     - plassen
  54     - sving
  55     - svingen
  56     # Finnish
  57     - alue
  58     - asema
  59     - aukio
  60     - kaari
  61     - katu
  62     - kuja
  63     - kylä
  64     - penger
  65     - polku
  66     - puistikko
  67     - puisto
  68     - raitti
  69     - ranta
  70     - rinne
  71     - taival
  72     - tie
  73     - tori
  74     - väylä
  75     # Swedish
  76     - väg
  77     - vägen
  78     - gatan
  79     - gata
  80     - gränd
  81     - gränden
  82     - stig
  83     - stigen
  84     - plats
  85     - platsen
  86 abbreviations:
  87     # German
  88     - am => a
  89     - an der => a d
  90     - allgemeines krankenhaus => akh
  91     - altstoffsammelzentrum => asz
  92     - auf der => a d
  93     - bach => b
  94     - bad => b
  95     - bahnhof => bhf,bf
  96     - berg => bg
  97     - bezirk => bez
  98     - brücke => br
  99     - burg => bg
 100     - chaussee => ch
 101     - deutsche,deutscher,deutsches => dt
 102     - dorf => df
 103     - doktor => dr
 104     - fachhochschule => fh
 105     - Freiwillige Feuerwehr => ff
 106     - sankt => st
 107     - strasse => str
 108     - weg => wg
 109     # English
 110     - alley => al
 111     - beach => bch
 112     - street => st
 113     - road => rd
 114     - bridge => brdg
 115
 116