settings/legacy_icu_tokenizer.yaml

   1 normalization:
   2     - ":: NFD ()"
   3     - "[[:Nonspacing Mark:] [:Cf:]] >"
   4     - ":: lower ()"
   5     - "ß > 'ss'" # German szet is unimbigiously equal to double ss
   6     - "[[:Punctuation:][:Space:]]+ > ' '"
   7     - ":: NFC ()"
   8 transliteration:
   9     - !include icu-rules/extended-unicode-to-asccii.yaml
  10     - ":: Ascii ()"
  11     - ":: NFD ()"
  12     - "'' >"
  13     - "[[:Nonspacing Mark:] [:Cf:]] >"
  14     - "[^[:Ascii:]] >"
  15     - ":: lower ()"
  16     - "[[:Punctuation:][:Space:]]+ > ' '"
  17     - ":: NFC ()"
  18 compound_suffixes:
  19     # Danish
  20     - hal
  21     - hallen
  22     - hallerne
  23     # German
  24     - berg
  25     - brücke
  26     - fabrik
  27     - gasse
  28     - graben
  29     - haus
  30     - höhle
  31     - hütte
  32     - kapelle
  33     - kogel
  34     - markt
  35     - pfad
  36     - platz
  37     - quelle
  38     - spitze
  39     - stiege
  40     - strasse
  41     - teich
  42     - universität
  43     - wald
  44     - weg
  45     - wiese
  46     # Dutch
  47     - gracht
  48     - laan
  49     - markt
  50     - plein
  51     - straat
  52     - vliet
  53     - weg
  54     # Norwegian
  55     - vei
  56     - veien
  57     - veg
  58     - vegen
  59     - gate
  60     - gaten
  61     - gata
  62     - plass
  63     - plassen
  64     - sving
  65     - svingen
  66     # Finnish
  67     - alue
  68     - asema
  69     - aukio
  70     - kaari
  71     - katu
  72     - kuja
  73     - kylä
  74     - penger
  75     - polku
  76     - puistikko
  77     - puisto
  78     - raitti
  79     - ranta
  80     - rinne
  81     - taival
  82     - tie
  83     - tori
  84     - väylä
  85     # Swedish
  86     - väg
  87     - vägen
  88     - gatan
  89     - gata
  90     - gränd
  91     - gränden
  92     - stig
  93     - stigen
  94     - plats
  95     - platsen
  96 abbreviations:
  97     - acceso => acces
  98     - access => accs
  99     - acequia => aceq
 100     - air force base => afb
 101     - air national guard base => angb
 102     - alameda => alam
 103     - ale => al
 104     - alea => al
 105     - aleea => al
 106     - aleja => al
 107     - alejach => al
 108     - aleje => al
 109     - aleji => al
 110     - all => al
 111     - allee => al
 112     - alley => al
 113     - alleyway => alwy
 114     - ally => al
 115     - alqueria => alque
 116     - alue => al
 117     - aly => al
 118     - am => a
 119     - amble => ambl
 120     - an der => a d
 121     - andador => andad
 122     - angosta => angta
 123     - apartamentos => aptos
 124     - apartments => apts
 125     - apch => app
 126     - apeadero => apdro
 127     - approach => app
 128     - arboleda => arb
 129     - arcade => arc
 130     - arrabal => arral
 131     - arroyo => arry
 132     - arterial => artl
 133     - artery => arty
 134     - auf der => a d
 135     - aukio => auk
 136     - autopista => auto
 137     - autovia => autov
 138     - avd => av
 139     - avda => av
 140     - ave => av
 141     - avenida => av
 142     - avenue => av
 143     - avinguda => av
 144     - b dul => bd
 145     - back => bk
 146     - bad => b
 147     - bahnhof => bf
 148     - bajada => bjada
 149     - balneario => balnr
 150     - banan => ba
 151     - banda => b
 152     - barranco => branc
 153     - barranquil => bqllo
 154     - barriada => barda
 155     - barrio => bo
 156     - barro => bo
 157     - basin => basn
 158     - bda => b
 159     - bdge => bri
 160     - bdul => bd
 161     - bdwy => bway
 162     - beach => bch
 163     - berg => bg
 164     - bgm => bgm
 165     - bhf => bf
 166     - bldngs => bldgs
 167     - block => blk
 168     - blok => bl
 169     - bloque => blque
 170     - blv => bd
 171     - blvd => bd
 172     - boardwalk => bwlk
 173     - boulevard => bd
 174     - boundary => bdy
 175     - brace => br
 176     - brazal => brzal
 177     - brdg => bri
 178     - break => brk
 179     - bridge => bri
 180     - broadway => bway
 181     - broeder => br
 182     - brücke => br
 183     - buildings => bldgs
 184     - bul => bd
 185     - bulev => bd
 186     - bulevar => bd
 187     - bulevard => bd
 188     - bulevardu => bd
 189     - bulevardul => bd
 190     - bulievard => bd
 191     - bulvar => bl
 192     - bulvari => bl
 193     - burg => bg
 194     - burgemeester => bg
 195     - burgermeister => bgm
 196     - business => bus
 197     - buu dien => bd
 198     - bvd => bd
 199     - bypa => byp
 200     - bypass => byp
 201     - byway => bywy
 202     - c le => c
 203     - cadde => cd
 204     - caddesi => cd
 205     - calle => c
 206     - callej => cjon
 207     - calleja => cllja
 208     - callejon => cjon
 209     - callejuela => cjla
 210     - callizo => cllzo
 211     - calzada => czada
 212     - camino => cno
 213     - camino hondo => c h
 214     - camino nuevo => c n
 215     - camino viejo => c v
 216     - camping => campg
 217     - campo => c po
 218     - can cu khong quan => cckq
 219     - cantera => cantr
 220     - cantina => canti
 221     - canton => cant
 222     - cao dang => cd
 223     - caravan => cvn
 224     - carrer => c
 225     - carrera => cra
 226     - carrero => cro
 227     - carretera => ctra
 228     - carreterin => ctrin
 229     - carretil => crtil
 230     - carril => crril
 231     - caserio => csrio
 232     - cau ldhc bo => clb
 233     - caus => cway
 234     - causeway => cway
 235     - ce => cv
 236     - cen => ctr
 237     - center => ctr
 238     - centre => ctr
 239     - centreway => cnwy
 240     - cesta => c
 241     - chalet => chlet
 242     - chase => ch
 243     - che => ch
 244     - chemin => ch
 245     - cinturon => cint
 246     - circle => cir
 247     - circuit => cct
 248     - circunvalacion => ccvcn
 249     - circus => crcs
 250     - city => cty
 251     - cl => c
 252     - cllon => cjon
 253     - close => c
 254     - cmno => cno
 255     - cobertizo => cbtiz
 256     - colonia => col
 257     - commandant => cmdt
 258     - common => comm
 259     - community => comm
 260     - complejo => compj
 261     - concourse => con
 262     - cong truong => ct
 263     - cong ty => cty
 264     - cong ty co phyn => ctcp
 265     - cong vien => cv
 266     - cong vien van hoa => cvvh
 267     - conjunto => cjto
 268     - convento => cnvto
 269     - cooperativa => coop
 270     - copse => cps
 271     - corner => cnr
 272     - corral => crral
 273     - corralillo => crrlo
 274     - corredor => crrdo
 275     - corso => c so
 276     - corte => c te
 277     - cortijo => crtjo
 278     - costanilla => cstan
 279     - costera => coste
 280     - cottages => cotts
 281     - county => co
 282     - county route => cr
 283     - cours => crs
 284     - court => ct
 285     - courtyard => ctyd
 286     - cove => cv
 287     - creek => cr
 288     - cres => cr
 289     - crescent => cr
 290     - crest => crst
 291     - crk => cr
 292     - croft => cft
 293     - cross => crss
 294     - crossing => xing
 295     - crossroad => crd
 296     - crossway => cowy
 297     - crsg => xing
 298     - crt => ct
 299     - csac => cds
 300     - cswy => cway
 301     - cty cp => ctcp
 302     - cuadra => cuadr
 303     - cuesta => custa
 304     - cul de sac => cds
 305     - cutting => cutt
 306     - ddhi hoc => dh
 307     - ddhi lo => dl
 308     - dehesa => dhsa
 309     - demarcacion => demar
 310     - deviation => devn
 311     - diagonal => diag
 312     - diseminado => disem
 313     - distributor => dstr
 314     - doctor => dr
 315     - dokter => dr
 316     - doktor => d r
 317     - dolna => dln
 318     - dolne => dln
 319     - dolny => dln
 320     - dominee => ds
 321     - dorf => df
 322     - dotsient => dots
 323     - drive => dr
 324     - driveway => dvwy
 325     - druga => 2
 326     - drugi => 2
 327     - drugie => 2
 328     - drv => dr
 329     - drwy => dvwy
 330     - duong => d
 331     - duong sat => ds
 332     - duza => dz
 333     - duze => dz
 334     - duzy => dz
 335     - east => e
 336     - edificio => edifc
 337     - elbow => elb
 338     - empresa => empr
 339     - entrada => entd
 340     - entrance => ent
 341     - errepidea => err
 342     - escalera => esca
 343     - escalinata => escal
 344     - espalda => eslda
 345     - esplanade => esp
 346     - estacion => estcn
 347     - estate => est
 348     - estrada => estda
 349     - etorbidea => etorb
 350     - explanada => expla
 351     - expressway => exp
 352     - expy => exp
 353     - extension => ex
 354     - extramuros => extrm
 355     - extrarradio => extrr
 356     - fabrica => fca
 357     - fairway => fawy
 358     - faubourg => fg
 359     - fbrca => fca
 360     - ferry => fy
 361     - fire track => ftrk
 362     - firetrail => fit
 363     - follow => folw
 364     - fondamenta => f ta
 365     - footway => ftwy
 366     - foreshore => fshr
 367     - formation => form
 368     - fort => ft
 369     - freeway => fwy
 370     - front => frnt
 371     - frontage => frtg
 372     - frwy => fwy
 373     - fundacul => fdc
 374     - fundatura => fnd
 375     - ga => g
 376     - galeria => gale
 377     - gamla => gla
 378     - garden => gdn
 379     - gardens => gdn
 380     - gata => g
 381     - gatan => g
 382     - gate => g
 383     - gaten => g
 384     - gdns => gdn
 385     - gebroeders => gebr
 386     - generaal => gen
 387     - gienieral => ghien
 388     - glade => gl
 389     - gld => gl
 390     - glde => gl
 391     - glorieta => gta
 392     - gorna => gn
 393     - gorne => gn
 394     - gorny => gn
 395     - gracht => gr
 396     - grad => ghr
 397     - gran via => g v
 398     - grand => gr
 399     - granden => gr
 400     - grange => gra
 401     - granja => granj
 402     - green => gn
 403     - grn => gn
 404     - gro => gr
 405     - grosse => gr
 406     - grosser => gr
 407     - grosses => gr
 408     - ground => grnd
 409     - grove => gr
 410     - gt => g
 411     - gte => g
 412     - gully => gly
 413     - hauptbahnhof => hbf
 414     - heights => hts
 415     - heiligen => hl
 416     - hgts => hts
 417     - high school => hs
 418     - highroad => hrd
 419     - highway => hwy
 420     - hipodromo => hipod
 421     - hird => hrd
 422     - hospital => hosp
 423     - house => ho
 424     - hse => ho
 425     - i => 1
 426     - ii => 2
 427     - iii => 3
 428     - im => 1
 429     - impasse => imp
 430     - in => 1
 431     - in der => i d
 432     - industrial => ind
 433     - ingenieur => ir
 434     - interchange => intg
 435     - international => intl
 436     - intr => int
 437     - intrarea => int
 438     - island => is
 439     - jardin => jdin
 440     - jonkheer => jhr
 441     - junction => jnc
 442     - k s => ks
 443     - kaari => kri
 444     - kalea => k
 445     - kanunnik => kan
 446     - kapitan => kap
 447     - kardinaal => kard
 448     - katu => k
 449     - khach sdhn => ks
 450     - khu cong nghiep => kcn
 451     - khu du lich => kdl
 452     - khu nghi mat => knm
 453     - kleine => kl
 454     - kleiner => kl
 455     - kleines => kl
 456     - kolo => k
 457     - kolonel => kol
 458     - kolonia => kol
 459     - koning => kon
 460     - koningin => kon
 461     - kort e => k
 462     - kri => kri
 463     - kte => k
 464     - kuja => kj
 465     - kvartal => kv
 466     - kyla => kl
 467     - laan => ln
 468     - ladera => ldera
 469     - landing => ldg
 470     - lane => ln
 471     - laneway => lnwy
 472     - lange => l
 473     - largo => l go
 474     - lille => ll
 475     - line => ln
 476     - link => lk
 477     - lit => lt
 478     - little => lt
 479     - llanura => llnra
 480     - lookout => lkt
 481     - loop => lp
 482     - low => lr
 483     - lower => lr
 484     - luitenant => luit
 485     - lwr => lr
 486     - m te => mt
 487     - m tele => mt
 488     - maantee => mt
 489     - mala => ml
 490     - male => ml
 491     - malecon => malec
 492     - maly => ml
 493     - manor => mnr
 494     - mansions => mans
 495     - market => mkt
 496     - markt => mkt
 497     - mazowiecka => maz
 498     - mazowiecki => maz
 499     - mazowieckie => maz
 500     - meadows => mdws
 501     - meander => mr
 502     - medical => med
 503     - meester => mr
 504     - mercado => merc
 505     - mevrouw => mevr
 506     - mews => m
 507     - miasto => m
 508     - middle => mid
 509     - middle school => ms
 510     - mile => mi
 511     - military => mil
 512     - mirador => mrdor
 513     - mitropolit => mit
 514     - mkt => mkt
 515     - mndr => mr
 516     - mnt => mt
 517     - monasterio => mtrio
 518     - monseigneur => mgr
 519     - mont => mt
 520     - motorway => mwy
 521     - mount => mt
 522     - mountain => mtn
 523     - mtwy => mwy
 524     - muelle => muell
 525     - municipal => mun
 526     - muntele => mt
 527     - museum => mus
 528     - mw => m
 529     - na => n
 530     - namesti => nam
 531     - namestie => nam
 532     - national park => np
 533     - national recreation area => nra
 534     - national wildlife refuge area => nwra
 535     - nha hat => nh
 536     - nha thi dzu => ntd
 537     - nha tho => nt
 538     - nordre => ndr
 539     - norra => n
 540     - north => n
 541     - north east => ne
 542     - north west => n
 543     - northeast => ne
 544     - northwest => n
 545     - nowa => n
 546     - nowe => n
 547     - nowy => n
 548     - nucleo => ncleo
 549     - nw => n
 550     - oa => o
 551     - ob => o
 552     - obere => o
 553     - oberer => o
 554     - oberes => o
 555     - olv => olv
 556     - onze lieve vrouw e => olv
 557     - osiedle => os
 558     - osiedlu => os
 559     - ostra => o
 560     - outlook => otlk
 561     - p k => pk
 562     - p ta => pta
 563     - p zza => p za
 564     - palacio => palac
 565     - pantano => pant
 566     - parade => pde
 567     - paraje => praje
 568     - park => pk
 569     - parklands => pkld
 570     - parkway => pwy
 571     - parque => pque
 572     - particular => parti
 573     - partida => ptda
 574     - pas => ps
 575     - pasadizo => pzo
 576     - pasaje => psaje
 577     - paseo => po
 578     - paseo maritimo => psmar
 579     - pasillo => psllo
 580     - pass => ps
 581     - passage => ps
 582     - passatge => ptge
 583     - passeig => pg
 584     - pastoor => past
 585     - pathway => pway
 586     - penger => pgr
 587     - pfad => p
 588     - pgr => pgr
 589     - ph => p
 590     - phi truong => pt
 591     - phuong => p
 592     - phwy => pway
 593     - piata => pta
 594     - piaz => p za
 595     - piazza => p za
 596     - piazzale => p le
 597     - piazzetta => pta
 598     - pierwsza => 1
 599     - pierwsze => 1
 600     - pierwszy => 1
 601     - pike => pk
 602     - pko => pko
 603     - pkwy => pwy
 604     - pky => pwy
 605     - plac => pl
 606     - placa => pl
 607     - place => pl
 608     - placem => pl
 609     - placu => pl
 610     - plass => pl
 611     - plassen => pl
 612     - plateau => plat
 613     - plats => pl
 614     - platsen => pl
 615     - platz => pl
 616     - plaza => pl
 617     - plazoleta => pzta
 618     - plazuela => plzla
 619     - plein => pln
 620     - pln => pln
 621     - ploshchad => pl
 622     - plz => pl
 623     - plza => pl
 624     - pnt => pt
 625     - poblado => pbdo
 626     - pocket => pkt
 627     - point => pt
 628     - poligono => polig
 629     - poligono industrial => pgind
 630     - polku => p
 631     - ponte => p te
 632     - porta => pta
 633     - portal => prtal
 634     - portico => prtco
 635     - portillo => ptilo
 636     - prazuela => przla
 637     - precinct => pct
 638     - pres => pres
 639     - president => pres
 640     - prins => pr
 641     - prinses => pr
 642     - professor => prof
 643     - profiesor => prof
 644     - prolongacion => prol
 645     - promenade => prom
 646     - psge => ps
 647     - pueblo => pblo
 648     - puente => pnte
 649     - puerta => pta
 650     - puerto => pto
 651     - puistikko => pko
 652     - puisto => ps
 653     - punto kilometrico => pk
 654     - pza => pl
 655     - quadrangle => qdgl
 656     - quadrant => qdrt
 657     - quai => qu
 658     - quan => q
 659     - quay => qy
 660     - quays => qys
 661     - qucyng truong => qt
 662     - quelle => qu
 663     - quoc lo => ql
 664     - raitti => r
 665     - rambla => rbla
 666     - ramble => rmbl
 667     - rampla => rampa
 668     - range => rnge
 669     - ranta => rt
 670     - rdhp hat => rh
 671     - reach => rch
 672     - reservation => res
 673     - reserve => res
 674     - reservoir => res
 675     - residencial => resid
 676     - retreat => rtt
 677     - rhein => rh
 678     - ribera => rbra
 679     - ridge => rdge
 680     - ridgeway => rgwy
 681     - right of way => rowy
 682     - rincon => rcon
 683     - rinconada => rcda
 684     - rinne => rn
 685     - rise => ri
 686     - riv => r
 687     - river => r
 688     - riverway => rvwy
 689     - riviera => rvra
 690     - road => rd
 691     - roads => rds
 692     - roadside => rdsd
 693     - roadway => rdwy
 694     - ronde => rnde
 695     - rosebowl => rsbl
 696     - rotary => rty
 697     - rotonda => rtda
 698     - round => rnd
 699     - route => rt
 700     - rte => rt
 701     - rue => r
 702     - rvr => r
 703     - sa => s
 704     - saint => st
 705     - sainte => ste
 706     - salizada => s da
 707     - san => s
 708     - san bay => sb
 709     - san bay quoc te => sbqt
 710     - san van dong => svd
 711     - sanatorio => sanat
 712     - sankt => st
 713     - santa => sta
 714     - santuario => santu
 715     - sector => sect
 716     - sendera => sedra
 717     - sendero => send
 718     - serviceway => swy
 719     - shunt => shun
 720     - shwy => sh
 721     - siding => sdng
 722     - sielo => s
 723     - sint => st
 724     - slope => slpe
 725     - sodra => s
 726     - sok => sk
 727     - sokagi => sk
 728     - sokak => sk
 729     - sondre => sdr
 730     - soseaua => sos
 731     - sound => snd
 732     - south => s
 733     - south east => se
 734     - south west => sw
 735     - south-east => se
 736     - south-west => sw
 737     - southeast => se
 738     - southwest => sw
 739     - spl => sp
 740     - splaiul => sp
 741     - spodnja => sp
 742     - spodnje => sp
 743     - spodnji => sp
 744     - square => sq
 745     - srednja => sr
 746     - srednje => sr
 747     - srednji => sr
 748     - stara => st
 749     - stare => st
 750     - stary => st
 751     - state highway => sh
 752     - state route => sr
 753     - station => stn
 754     - stazione => staz
 755     - ste => ste
 756     - steenweg => stwg
 757     - sth => s
 758     - stig => st
 759     - stigen => st
 760     - store => st
 761     - str la => sdla
 762     - stra => st
 763     - straat => st
 764     - strada => st
 765     - strada comunale => sc
 766     - strada provinciale => sp
 767     - strada regionale => sr
 768     - strada statale => ss
 769     - stradela => sdla
 770     - strand => st
 771     - strasse => str
 772     - street => st
 773     - strip => strp
 774     - stwg => stwg
 775     - subida => sbida
 776     - subway => sbwy
 777     - sveta => sv
 778     - sveti => sv
 779     - svieti => sv
 780     - sving => sv
 781     - svingen => sv
 782     - svwy => swy
 783     - taival => tvl
 784     - tanav => tn
 785     - tce => ter
 786     - tcty => tct
 787     - terr => ter
 788     - terrace => ter
 789     - thanh pho => tp
 790     - thfr => thor
 791     - thi trzn => tt
 792     - thi xa => tx
 793     - thoroughfare => thor
 794     - tie => t
 795     - tieu hoc => th
 796     - tinh lo => tl
 797     - tollway => tlwy
 798     - tong cong ty => tct
 799     - tori => tr
 800     - torrente => trrnt
 801     - towers => twrs
 802     - township => twp
 803     - tpke => tpk
 804     - track => trk
 805     - trail => trl
 806     - trailer => trlr
 807     - transito => trans
 808     - transversal => trval
 809     - trasera => tras
 810     - travesia => trva
 811     - triangle => tri
 812     - trung hoc co so => thcs
 813     - trung hoc pho thong => thpt
 814     - trung tam => tt
 815     - trung tam thuong mdhi => tttm
 816     - trunkway => tkwy
 817     - trzeci => 3
 818     - trzecia => 3
 819     - trzecie => 3
 820     - tunnel => tun
 821     - turn => tn
 822     - turnpike => tpk
 823     - tvl => tvl
 824     - ulica => ul
 825     - ulice => ul
 826     - ulicy => ul
 827     - ulitsa => ul
 828     - underpass => upas
 829     - university => univ
 830     - untere => u
 831     - unterer => u
 832     - unteres => u
 833     - upper => up
 834     - upr => up
 835     - urbanizacion => urb
 836     - utca => u
 837     - v d => vd
 838     - va => v
 839     - vag => v
 840     - vagen => v
 841     - vale => v
 842     - van => v
 843     - van de => vd
 844     - varf => vf
 845     - varful => vf
 846     - vastra => v
 847     - vayla => vla
 848     - vdct => via
 849     - vecindario => vecin
 850     - vei => v
 851     - veien => v
 852     - velika => v
 853     - velike => v
 854     - veliki => v
 855     - veliko => v
 856     - vereda => vreda
 857     - via => v
 858     - viad => via
 859     - viaduct => via
 860     - viaducto => vcto
 861     - viale => v le
 862     - vicolo => v lo
 863     - vien bcyo tang => vbt
 864     - view => vw
 865     - villas => vlls
 866     - virf => vf
 867     - virful => vf
 868     - vista => vsta
 869     - viviendas => vvdas
 870     - vkhod => vkh
 871     - vla => vla
 872     - vliet => vlt
 873     - vlt => vlt
 874     - vn => v
 875     - vuon quoc gia => vqg
 876     - walk => wlk
 877     - walkway => wkwy
 878     - way => wy
 879     - west => w
 880     - wharf => whrf
 881     - wielka => wlk
 882     - wielki => wlk
 883     - wielkie => wlk
 884     - wielkopolska => wlkp
 885     - wielkopolski => wlkp
 886     - wielkopolskie => wlkp
 887     - wojewodztwie => woj
 888     - wojewodztwo => woj
 889     - yard => yd
 890     - zgornja => zg
 891     - zgornje => zg
 892     - zgornji => zg
 893     - zhilishchien komplieks => zh k
 894     - zum => z