Regulaaravaldis

Regulaaravaldis

• Regulaaravaldis (regular expression) kirjeldab ära mustri (pattern)
• Mustrit saab kasutada otsinguks ja teksti asendamiseks
• Võimaldab rohkem kui "otsi alamsõne X tekstist Y"

re moodul

import re

match = re.search("abc", "aabca")
print(match.group())  # abc is found in text
match = re.search("xyz", "aabca")
print(match is None)  # no match

• Otsitakse mustrit "abc" tekstist "aabca"
• re.search tagastab Match objekti, kus on täiendav info sees
• Kui mustrit ei leita tekstist, tagastatakse None

Muster

• Muster koosneb metamärkidest (erilise tähendusega sümbolid) ja tavalistest sümbolitest (otsese tähendusega)
• Muster võib koosneda teistest (alam)mustritest
  • Kui A ja B on mustrid, siis ka AB, BA, AAB, ABB jne on mustrid
• Alammustreid tavaliselt eraldatakse sulgudega: A((B)C)
• Mustrile vastavat alamsõne tekstist nimetatakse vasteks

Mustri kasutamine

• Mustrit saab kasutada:

  • et kontrollida, kas mingi sõne vastab reeglitele / mustrile (kas email on korrektne)
  • leida üles mingile mustrile vastav sõne (näiteks leida kõik emailid tekstist)

Muster kui alamsõne

• Muster võib olla alamsõne, millele otsitakse täpset vastet tekstist
• Üldiselt on sellisel juhul mõistlikum kasutada sub in text (kiirem)

Suvaline sümbol

• Vastab ühele suvalisele sümbolile
• Muster: .

Algus

• Tähistab sõne algust
• Muster: ^

Lõpp

• Tähistab sõne lõppu
• Muster: $

0 või 1 kord

• Eelnevat alammustrit on 0 või 1 kord
• Muster: ?

0 või rohkem kordi

• Eelnevat alammustrit on 0 või rohkem korda
• Muster: *

1 või rohkem kordi

• Eelnevat alammustrit on 1 või rohkem korda
• Muster: +

Varjestamine (escape)

• Järgnevat erilist sümbolit tõlgendatakse ilma tähenduseta
• Muster: \

Kordub m korda

• Alammustrit kordub täpselt m korda
• Muster: {m}

Kordub m-n korda

• Alammustrit kordub m - n korda
• Muster: {m,n}

Sobiv hulk

• Sobivad sümbolid antud hulgast
• Muster: [..]

Sobiv vahemik

• Sobivad sümbolid antud vahemikust
• Muster: [.-.]

Miinus hulgas

• Miinusmärgi võib varjestada

Miinus hulgas 2

• Miinusmärgi võib panna esimeseks/viimaseks

Grupeerimine

• Võimaldab grupeerida pikema alammustri
• Muster: (...)

Või

• Valik mustritest
• Muster: |

lookahead, lookbehind

• (?=...), (?!...), (?<=...), (?<!...)
• Kontrollivad, kas järgneb/eelneb märgitud muster
• Ei "kasuta" vastet ära
  • avaldis "a(?=b)" kasutab sõnest "ab" ära vaid esimese sümboli
  • võrdluseks avaldis "ab" kasutab mõlemad ära
• Võimaldavad keerukamaid kontrolle

Järgneb

• Alammuster peab järgnema
• Muster: (?=...)

Ei järgne

• Alammuster ei tohi järgneda
• Muster: (?!...)

Eelneb

• Alammuster peab eelnema
• Muster: (?<=...)

Ei eelne

• Alammuster ei tohi eelneda
• Muster: (?<!...)

Grupi kattumine

• Saab kasutada eelnenud grupi kattumiseks
• Muster: \1, \2

Tähed, numbrid, alakriips

• Eriline sümbolite kogum
• Muster: \w

Tühik, tabulaator, reavahetus

• Eriline sümbolite kogum
• Muster: \s

Numbrid

• Eriline sümbolite kogum
• Muster: \d

Ei kuulu hulka

• Sümbolid, mis ei tohi vastes olla sellel positisoonil
• Muster: [^..]

Süntaks

• Kui muster kasutab kurakaldkriipsu (\), tuleb see kirjutada:
  • "\\\\" või
  • r"\\"
• r"" - raw string notatsioon
• Tavalises sõnes tuleb kurakaldkriipsu jaoks kasutada kahte sümbolit "\\", seejärel saab juurde lisada regulaaravaldise sümboli (näiteks "d")

raw string

import re

text = "backslash: \\"
print(text)  # backslash: \
print("match" if re.search("\\\\", text) else "no match")
# match
print("match" if re.search(r"\\", text) else "no match")
# match
print("match" if re.search("\\", text) else "no match")
# error

• Viimane annab vea, muster tõlgendab \\ kurakaldkriipsuna, millega saab varjestada erisümboleid. Erisümbolit aga ei järgne.

raw string

import re

print("match" if re.search("(.)\1", "aa") else "no match")
# no match, why?
print("match" if re.search("(.)\\1", "aa") else "no match")
# match
print("match" if re.search(r"(.)\1", "aa") else "no match")
# match

• Esimeses \1 on läheb regulaaravaldise jaoks arvesse ühe sümbolina
• Teisel real \\ läheb arvesse \ märgina, millele järgneb grupi number

Grupid

import re

match = re.search("xk(ab)?(cd)", "xkcde")
print(match.group())
print(match.group(0))
print(match.group(1))  # None. why? for "(ab)"? 
print(match.group(2))  # for "(cd)"

• group tagastab vaste sulgudest
• group(0) tagastab kogu vaste
• group(1) tagastab 1. sulu vaste jne

Grupid

import re

match = re.search("(?:ab)?(cd)e", "acde")  # (?:...) 
print(match.group())
print(match.groups())  #  ('cd')

match = re.search("(ab)?(cd)e", "acde")
print(match.group())  # cde
print(match.groups())  # (None, 'cd')

• (?:...) tähistab vastet mittetagastavat gruppi
• .groups() tagastab kõik erinevad grupid
• Ülemises esimeste sulgude vastet ei otsita
• Teises esimeste sulgude vastet ei ole

match() vs search()

• match() otsib sõne algusest
• search() otsib tervest sõnest

import re

m1 = re.match("c", "abcdef")
m2 = re.search("c", "abcdef")

print("Match" if m1 is not None else "No match")
# No match
print("Match" if m2 is not None else "No match")
# Match

• Esimene prindib "No match" - otsib algusest
• Teine prindib "Match"

findall()

• findall() tagastab mittkattuvate vastete (sõnede) järjendi
• finditer() tagastab iteraatori Match objektidest

import re
text = "tere minu@email.ee, sõbra email on guido@baggins.com ja guits@bag.com"

emails = re.findall(r"[\w.-]+@[\w.-]+", text)
for email in emails:
    print(email)

for email in re.finditer(r"[\w.-]+@[\w.-]+", text):
    print(email.group())

• emails on järjend kõikidest vastetest
• finditer tagastab iteraatori, elemente tagastatakse vastavalt vajadusele

Viiteid

• https://docs.python.org/3/library/re.html
• https://developers.google.com/edu/python/regular-expressions
• http://rise4fun.com/Rex
  • näiteks (ab|cd)?cd
• https://regex101.com/
• https://regexone.com/
• https://alf.nu/RegexGolf