引言:正則表達式為高級的文本模式匹配、抽取、與/或文本形式和替換功能提供基礎。在python中,通過標準庫中的re模塊來支持正則表達式 '.'點號,在普通模式,它匹配除換行符外的任意一個字元;如果指定了 DOTALL 標記,匹配包括換行符以內的任意一個字元。 '^'尖尖號,匹配一個字元串的開始,在 ...
引言:正則表達式為高級的文本模式匹配、抽取、與/或文本形式和替換功能提供基礎。在python中,通過標準庫中的re模塊來支持正則表達式
'.'
點號,在普通模式,它匹配除換行符外的任意一個字元;如果指定了 DOTALL 標記,匹配包括換行符以內的任意一個字元。
'^'
尖尖號,匹配一個字元串的開始,在 MULTILINE 模式下,也將匹配任意一個新行的開始。
'$'
美元符號,匹配一個字元串的結尾或者字元串最後面的換行符,在 MULTILINE 模式下,也匹配任意一行的行尾。也就是說,普通模式下,foo.$去搜索'foo1\nfoo2\n'只會找到'foo2′,但是在 MULTILINE 模式,還能找到 ‘foo1′,而且就用一個 $ 去搜索'foo\n'的話,會找到兩個空的匹配:一個是最後的換行符,一個是字元串的結尾,演示:
>>> re.findall('(foo.$)', 'foo1\nfoo2\n')
['foo2']
>>> re.findall('(foo.$)', 'foo1\nfoo2\n', re.MULTILINE)
['foo1', 'foo2']
>>> re.findall('($)', 'foo\n')
['', '']
'*'
星號,指定將前面的RE重覆0次或者任意多次,而且總是試圖儘量多次地匹配。
'+'
加號,指定將前面的RE重覆1次或者任意多次,而且總是試圖儘量多次地匹配。
'?'
問號,指定將前面的RE重覆0次或者1次,如果有的話,也儘量匹配1次。
*?, +?, ??
從前面的描述可以看到'*','+'和'?'都是貪婪的,但這也許並不是我們說要的,所以,可以在後面加個問號,將策略改為非貪婪,只匹配儘量少的RE。示例,體會兩者的區別:
>>> re.findall('<(.*)>', '<H1>title</H1>')
['H1>title</H1']
>>> re.findall('<(.*?)>', '<H1>title</H1>')
['H1', '/H1']
{m}
m是一個數字,指定將前面的RE重覆m次。
{m,n}
m和n都是數字,指定將前面的RE重覆m到n次,例如a{3,5}匹配3到5個連續的a。註意,如果省略m,將匹配0到n個前面的RE;如果省略n,將匹配n到無窮多個前面的RE;當然中間的逗號是不能省略的,不然就變成前面那種形式了。
{m,n}?
前面說的{m,n},也是貪婪的,a{3,5}如果有5個以上連續a的話,會匹配5個,這個也可以通過加問號改變。a{3,5}?如果可能的話,將只匹配3個a。
'\'
反斜桿,轉義'*','?'等特殊字元,或者指定一個特殊序列(下麵會詳述)
由於之前所述的原因,強烈建議用raw字元串來表述正則。
[]
方括弧,用於指定一個字元的集合。可以單獨列出字元,也可以用'-'連接起止字元以表示一個範圍。特殊字元在中括弧里將失效,比如[akm$]就表示字元'a','k','m',或'$',在這裡$也變身為普通字元了。[a-z]匹配任意一個小寫字母,[a-zA-Z0-9]匹配任意一個字母或數字。如果你要匹配']'或'-'本身,你需要加反斜桿轉義,或者是將其置於中括弧的最前面,比如[]]可以匹配']'
你還可以對一個字元集合取反,以匹配任意不在這個字元集合里的字元,取反操作用一個'^'放在集合的最前面表示,放在其他地方的'^'將不會起特殊作用。例如[^5]將匹配任意不是'5'的字元;[^^]將匹配任意不是'^'的字元。
註意:在中括弧里,+、*、(、)這類字元將會失去特殊含義,僅作為普通字元。反向引用也不能在中括弧內使用。
'|'
管道符號,A和B是任意的RE,那麼A|B就是匹配A或者B的一個新的RE。任意個數的RE都可以像這樣用管道符號間隔連接起來。這種形式可以被用於組中(後面將詳述)。對於目標字元串,被'|'分割的RE將自左至右一一被測試,一旦有一個測試成功,後面的將不再被測試,即使後面的RE可能可以匹配更長的串,換句話說,'|'操作符是非貪婪的。要匹配字面意義上的'|',可以用反斜桿轉義:\|,或是包含在反括弧內:[|]。
(...)
匹配圓括弧里的RE匹配的內容,並指定組的開始和結束位置。組裡面的內容可以被提取,也可以採用\number這樣的特殊序列,被用於後續的匹配。要匹配字面意義上的'('和')',可以用反斜桿轉義:\(、\),或是包含在反括弧內:[(]、[)]。
(?...)
這是一個表達式的擴展符號。'?'後的第一個字母決定了整個表達式的語法和含義,除了(?P...)以外,表達式不會產生一個新的組。下麵介紹幾個目前已被支持的擴展:
(?iLmsux)
'i'、'L'、'm'、's'、'u'、'x'里的一個或多個字母。表達式不匹配任何字元,但是指定相應的標誌:re.I(忽略大小寫)、re.L(依賴locale)、re.M(多行模式)、re.S(.匹配所有字元)、re.U(依賴Unicode)、re.X(詳細模式)。關於各個模式的區別,下麵會有專門的一節來介紹的。使用這個語法可以代替在re.compile()的時候或者調用的時候指定flag參數。
例如,上面舉過的例子,可以改寫成這樣(和指定了re.MULTILINE是一樣的效果):
>>> re.findall('(?m)(foo.$)', 'foo1\nfoo2\n')
['foo1', 'foo2']
另外,還要註意(?x)標誌如果有的話,要放在最前面。
(?:...)
匹配內部的RE所匹配的內容,但是不建立組。
(?P<name>...)
和普通的圓括弧類似,但是子串匹配到的內容將可以用命名的name參數來提取。組的name必須是有效的python標識符,而且在本表達式內不重名。命名了的組和普通組一樣,也用數字來提取,也就是說名字只是個額外的屬性。
演示一下:
>>> m=re.match('(?P<var>[a-zA-Z_]\w*)', 'abc=123')
>>> m.group('var')
'abc'
>>> m.group(1)
'abc'
(?P=name)
匹配之前以name命名的組裡的內容。
(?#...)
註釋,圓括弧里的內容會被忽略。
(?=...)
如果 ... 匹配接下來的字元,才算匹配,但是並不會消耗任何被匹配的字元。例如 Isaac (?=Asimov) 只會匹配後面跟著 'Asimov' 的 'Isaac ',這個叫做“前瞻斷言”。
(?!...)
和上面的相反,只匹配接下來的字元串不匹配 ... 的串,這叫做“反前瞻斷言”。
(?<=...)
只有噹噹前位置之前的字元串匹配 ... ,整個匹配才有效,這叫“後顧斷言”。字元串'abcdef'可以匹配正則(?<=abc)def,因為會後向查找3個字元,看是否為abc。所以內置的子RE,需要是固定長度的,比如可以是abc、a|b,但不能是a*、a{3,4}。註意這種RE永遠不會匹配到字元串的開頭。舉個例子,找到連字元('-')後的單詞:
>>> m = re.search('(?<=-)\w+', 'spam-egg')
>>> m.group(0)
'egg'
(?<!...)
同理,這個叫做“反後顧斷言”,子RE需要固定長度的,含義是前面的字元串不匹配 ... 整個才算匹配。
(?(id/name)yes-pattern|no-pattern)
如有由id或者name指定的組存在的話,將會匹配yes-pattern,否則將會匹配no-pattern,通常情況下no-pattern也可以省略。例如:(<)?(\w+@\w+(?:\.\w+)+)(?(1)>)可以匹配 '<[email protected]>' 和 '[email protected]',但是不會匹配 '<[email protected]'。
下麵列出以'\'開頭的特殊序列。如果某個字元沒有在下麵列出,那麼RE的結果會只匹配那個字母本身,比如,\$只匹配字面意義上的'$'。
\number
匹配number所指的組相同的字元串。組的序號從1開始。例如:(.+) \1可以匹配'the the'和'55 55',但不匹配'the end'。這種序列在一個正則表達式里最多可以有99個,如果number以0開頭,或是有3位以上的數字,就會被當做八進位表示的字元了。同時,這個也不能用於方括弧內。
\A
只匹配字元串的開始。
\b
匹配單詞邊界(包括開始和結束),這裡的“單詞”,是指連續的字母、數字和下劃線組成的字元串。註意,\b的定義是\w和\W的交界,所以精確的定義有賴於UNICODE和LOCALE這兩個標誌位。
\B
和\b相反,\B匹配非單詞邊界。也依賴於UNICODE和LOCALE這兩個標誌位。
\d
未指定UNICODE標誌時,匹配數字,等效於:[0-9]。指定了UNICODE標誌時,還會匹配其他Unicode庫里描述為字元串的符號。便於理解,舉個例子
>>> unistr = u'\u2076\u2084abc'
>>> print unistr
abc
\D
和\d相反,不多說了。
\s
當未指定UNICODE和LOCALE這兩個標誌位時,匹配任何空白字元,等效於[ \t\n\r\f\v]。如果指定了LOCALE,則還要加LOCALE相關的空白字元;如果指定了UNICODE,還要加上UNICODE空白字元,如較常見的空寬度連接空格(\uFEFF)、零寬度非連接空格(\u200B)等。
\S
和\s相反,也不多說。
\w
當未指定UNICODE和LOCALE這兩個標誌位時,等效於[a-zA-Z0-9_]。當指定了LOCALE時,為[0-9_]加上當前LOCAL指定的字母。當指定了UNICODE時,為[0-9_]加上UNICODE庫里的所有字母。
\W
和\w相反,不多說。
\Z
只匹配字元串的結尾。
模塊的屬性和方法
re.compile(pattern[, flags])
把一個正則表達式pattern編譯成正則對象,以便可以用正則對象的match和search方法。
得到的正則對象的行為(也就是模式)可以用flags來指定,值可以由幾個下麵的值OR得到。
以下兩段內容在語法上是等效的:
prog = re.compile(pattern)
result = prog.match(string)
result = re.match(pattern, string)
區別是,用了re.compile以後,正則對象會得到保留,這樣在需要多次運用這個正則對象的時候,效率會有較大的提升。再用上面用過的例子來演示一下,用相同的正則匹配相同的字元串,執行100萬次,就體現出compile的效率了
>>> timeit.timeit(
... setup='''import re; reg = re.compile('<(?P<tagname>\w*)>.*</(?P=tagname)>')''',
... stmt='''reg.match('<h1>xxx</h1>')''',
... number=1000000)
1.2062149047851562
>>> timeit.timeit(
... setup='''import re''',
... stmt='''re.match('<(?P<tagname>\w*)>.*</(?P=tagname)>', '<h1>xxx</h1>')''',
... number=1000000)
4.4380838871002197
re.I
re.IGNORECASE
讓正則表達式忽略大小寫,這樣一來,[A-Z]也可以匹配小寫字母了。此特性和locale無關。
re.L
re.LOCALE
讓\w、\W、\b、\B、\s和\S依賴當前的locale。
re.M
re.MULTILINE
影響'^'和'$'的行為,指定了以後,'^'會增加匹配每行的開始(也就是換行符後的位置);'$'會增加匹配每行的結束(也就是換行符前的位置)。
re.S
re.DOTALL
影響'.'的行為,平時'.'匹配除換行符以外的所有字元,指定了本標誌以後,也可以匹配換行符。
re.U
re.UNICODE
讓\w、\W、\b、\B、\d、\D、\s和\S依賴Unicode庫。
re.X
re.VERBOSE
運用這個標誌,你可以寫出可讀性更好的正則表達式:除了在方括弧內的和被反斜杠轉義的以外的所有空白字元,都將被忽略,而且每行中,一個正常的井號後的所有字元也被忽略,這樣就可以方便地在正則表達式內部寫註釋了。也就是說,下麵兩個正則表達式是等效的:
代碼如下:
a = re.compile(r"""\d + # the integral part
\. # the decimal point
\d * # some fractional digits""", re.X)
b = re.compile(r"\d+\.\d*")
re.search(pattern, string[, flags])
掃描string,看是否有個位置可以匹配正則表達式pattern。如果找到了,就返回一個MatchObject的實例,否則返回None,註意這和找到長度為0的子串含義是不一樣的。搜索過程受flags的影響。
re.match(pattern, string[, flags])
如果字元串string的開頭和正則表達式pattern匹配的話,返回一個相應的MatchObject的實例,否則返回None
註意:要在字元串的任意位置搜索的話,需要使用上面的search()。
re.split(pattern, string[, maxsplit=0])
用匹配pattern的子串來分割string,如果pattern里使用了圓括弧,那麼被pattern匹配到的串也將作為返回值列表的一部分。如果maxsplit不為0,則最多被分割為maxsplit個子串,剩餘部分將整個地被返回。
代碼如下:
>>> re.split('\W+', 'Words, words, words.')
['Words', 'words', 'words', '']
>>> re.split('(\W+)', 'Words, words, words.')
['Words', ', ', 'words', ', ', 'words', '.', '']
>>> re.split('\W+', 'Words, words, words.', 1)
['Words', 'words, words.']
如果正則有圓括弧,並且可以匹配到字元串的開始位置的時候,返回值的第一項,會多出一個空字元串。匹配到字元結尾也是同樣的道理:
>>> re.split('(\W+)', '...words, words...')
['', '...', 'words', ', ', 'words', '...', '']
註意,split不會被零長度的正則所分割,例如:
>>> re.split('x*', 'foo')
['foo']
>>> re.split("(?m)^$", "foo\n\nbar\n")
['foo\n\nbar\n']
re.findall(pattern, string[, flags])
以列表的形式返回string里匹配pattern的不重疊的子串。string會被從左到右依次掃描,返回的列表也是從左到右一次匹配到的。如果pattern里含有組的話,那麼會返回匹配到的組的列表;如果pattern里有多個組,那麼各組會先組成一個元組,然後返回值將是一個元組的列表。
由於這個函數不會涉及到MatchObject之類的概念,所以,對新手來說,應該是最好理解也最容易使用的一個函數了。下麵就此來舉幾個簡單的例子:
#簡單的findall
>>> re.findall('\w+', 'hello, world!')
['hello', 'world']
#這個返回的就是元組的列表
>>> re.findall('(\d+)\.(\d+)\.(\d+)\.(\d+)', 'My IP is 192.168.0.2, and your is 192.168.0.3.')
[('192', '168', '0', '2'), ('192', '168', '0', '3')]
re. finditer(pattern, string[, flags])
和上面的findall()類似,但返回的是MatchObject的實例的迭代器。
還是例子說明問題:
>>> for m in re.finditer('\w+', 'hello, world!'):
... print m.group()
...
hello
world
re.sub(pattern, repl, string[, count])
替換,將string里,匹配pattern的部分,用repl替換掉,最多替換count次(剩餘的匹配將不做處理),然後返回替換後的字元串。如果string里沒有可以匹配pattern的串,將被原封不動地返回。repl可以是一個字元串,也可以是一個函數(也可以參考我以前的例子)。如果repl是個字元串,則其中的反斜桿會被處理過,比如 \n 會被轉成換行符,反斜桿加數字會被替換成相應的組,比如 \6 表示pattern匹配到的第6個組的內容。
例子:
>>> re.sub(r'def\s+([a-zA-Z_][a-zA-Z_0-9]*)\s*\(\s*\):',
... r'static PyObject*\npy_\1(void)\n{',
... 'def myfunc():')
'static PyObject*\npy_myfunc(void)\n{'
如果repl是個函數,每次pattern被匹配到的時候,都會被調用一次,傳入一個匹配到的MatchObject對象,需要返回一個字元串,在匹配到的位置,就填入返回的字元串。
例子:
>>> def dashrepl(matchobj):
... if matchobj.group(0) == '-': return ' '
... else: return '-'
>>> re.sub('-{1,2}', dashrepl, 'pro----gram-files')
'pro--gram files'
零長度的匹配也會被替換,比如:
>>> re.sub('x*', '-', 'abcxxd')
'-a-b-c-d-'
特殊地,在替換字元串里,如果有\g這樣的寫法,將匹配正則的命名組(前面介紹過的,(?P...)這樣定義出來的東西)。\g這樣的寫法,也是數字的組,也就是說,\g<2>一般和\2是等效的,但是萬一你要在\2後面緊接著寫上字面意義的0,你就不能寫成\20了(因為這代表第20個組),這時候必須寫成\g<2>0,另外,\g<0>代表匹配到的整個子串。
例子:
>>> re.sub('-(\d+)-', '-\g<1>0\g<0>', 'a-11-b-22-c')
'a-110-11-b-220-22-c'
re.subn(pattern, repl, string[, count])
跟上面的sub()函數一樣,只是它返回的是一個元組 (新字元串, 匹配到的次數)
,還是用例子說話:
>>> re.subn('-(\d+)-', '-\g<1>0\g<0>', 'a-11-b-22-c')
('a-110-11-b-220-22-c', 2)
re.escape(string)
把string中,除了字母和數字以外的字元,都加上反斜桿。
代碼如下:
>>> print re.escape('abc123_@#$')
abc123\_\@\#\$
exception re.error
如果字元串不能被成功編譯成正則表達式或者正則表達式在匹配過程中出錯了,都會拋出此異常。但是如果正則表達式沒有匹配到任何文本,是不會拋出這個異常的。
正則對象
正則對象由re.compile()返回。它有如下的屬性和方法。
match(string[, pos[, endpos]])
作用和模塊的match()函數類似,區別就是後面兩個參數。
pos是開始搜索的位置,預設為0。endpos是搜索的結束位置,如果endpos比pos還小的話,結果肯定是空的。也就是說只有pos 到 endpos-1 位置的字元串將會被搜索。
例子:
>>> pattern = re.compile("o")
>>> pattern.match("dog") # 開始位置不是o,所以不匹配
>>> pattern.match("dog", 1) # 第二個字元是o,所以匹配
<_sre.SRE_Match object at ...>
search(string[, pos[, endpos]])
作用和模塊的search()函數類似,pos和endpos參數和上面的match()函數類似。
split(string[, maxsplit=0])
findall(string[, pos[, endpos]])
finditer(string[, pos[, endpos]])
sub(repl, string[, count=0])
subn(repl, string[, count=0])
這幾個函數,都和模塊的相應函數一致。
flags
編譯本RE時,指定的標誌位,如果未指定任何標誌位,則為0。
代碼如下:
>>> pattern = re.compile("o", re.S|re.U)
>>> pattern.flags
48
groups
RE所含有的組的個數。
groupindex
一個字典,定義了命名組的名字和序號之間的關係。
例子:這個正則有3個組,如果匹配到,第一個叫區號,最後一個叫分機號,中間的那個未命名
代碼如下:
>>> pattern = re.compile("(?P<quhao>\d+)-(\d+)-(?P<fenjihao>\d+)")
>>> pattern.groups
3
>>> pattern.groupindex
{'fenjihao': 3, 'quhao': 1}
pattern
建立本RE的原始字元串,相當於源代碼了,呵呵。
還是上面這個正則,可以看到,會原樣返回:
代碼如下:
>>> print pattern.pattern
(?P<quhao>\d+)-(\d+)-(?P<fenjihao>\d+)
Match對象
re.MatchObject被用於布爾判斷的時候,始終返回True,所以你用 if 語句來判斷某個 match() 是否成功是安全的。
它有以下方法和屬性:
expand(template)
用template做為模板,將MatchObject展開,就像sub()里的行為一樣,看例子:
代碼如下:
>>> m = re.match('a=(\d+)', 'a=100')
>>> m.expand('above a is \g<1>')
'above a is 100'
>>> m.expand(r'above a is \1')
'above a is 100'
group([group1, ...])
返回一個或多個子組。如果參數為一個,就返回一個子串;如果參數有多個,就返回多個子串註冊的元組。如果不傳任何參數,效果和傳入一個0一樣,將返回整個匹配。如果某個groupN未匹配到,相應位置會返回None。如果某個groupN是負數或者大於group的總數,則會拋出IndexError異常。
代碼如下
>>> m = re.match(r"(\w+) (\w+)", "Isaac Newton, physicist")
>>> m.group(0) # 整個匹配
'Isaac Newton'
>>> m.group(1) # 第一個子串
'Isaac'
>>> m.group(2) # 第二個子串
'Newton'
>>> m.group(1, 2) # 多個子串組成的元組
('Isaac', 'Newton')
如果有其中有用(?P...)這種語法命名過的子串的話,相應的groupN也可以是名字字元串。例如:
代碼如下:
>>> m = re.match(r"(?P<first_name>\w+) (?P<last_name>\w+)", "Malcolm Reynolds")
>>> m.group('first_name')
'Malcolm'
>>> m.group('last_name')
'Reynolds'
如果某個組被匹配到多次,那麼只有最後一次的數據,可以被提取到:
代碼如下:
>>> m = re.match(r"(..)+", "a1b2c3") # 匹配到3次
>>> m.group(1) # 返回的是最後一次
'c3'
groups([default])
返回一個由所有匹配到的子串組成的元組。default參數,用於給那些沒有匹配到的組做預設值,它的預設值是None
例如:
>>> m = re.match(r"(\d+)\.(\d+)", "24.1632")
>>> m.groups()
('24', '1632')
default的作用:
代碼如下:
>>> m = re.match(r"(\d+)\.?(\d+)?", "24")
>>> m.groups() # 第二個預設是None
('24', None)
>>> m.groups('0') # 現在預設是0了
('24', '0')
groupdict([default])
返回一個包含所有命名組的名字和子串的字典,default參數,用於給那些沒有匹配到的組做預設值,它的預設值是None,例如:
代碼如下:
>>> m = re.match(r"(?P<first_name>\w+) (?P<last_name>\w+)", "Malcolm Reynolds")
>>> m.groupdict()
{'first_name': 'Malcolm', 'last_name': 'Reynolds'}
start([group])
end([group])
返回的是:被組group匹配到的子串在原字元串中的位置。如果不指定group或group指定為0,則代表整個匹配。如果group未匹配到,則返回 -1。
對於指定的m和g,m.group(g)和m.string[m.start(g):m.end(g)]等效。
註意:如果group匹配到空字元串,m.start(group)和m.end(group)將相等。
例如:
>>> m = re.search('b(c?)', 'cba')
>>> m.start(0)
1
>>> m.end(0)
2
>>> m.start(1)
2
>>> m.end(1)
2
下麵是一個把email地址里的“remove_this”去掉的例子:
代碼如下:
>>> email = "tony@tiremove_thisger.net"
>>> m = re.search("remove_this", email)
>>> email[:m.start()] + email[m.end():]
'[email protected]'
span([group])
返回一個元組: (m.start(group), m.end(group))
pos
就是傳給RE對象的search()或match()方法的參數pos,代表RE開始搜索字元串的位置。
endpos
就是傳給RE對象的search()或match()方法的參數endpos,代表RE搜索字元串的結束位置。
lastindex
最後一次匹配到的組的數字序號,如果沒有匹配到,將得到None。
例如:(a)b、((a)(b))和((ab))正則去匹配'ab'的話,得到的lastindex為1。而用(a)(b)去匹配'ab'的話,得到的lastindex為2。
lastgroup
最後一次匹配到的組的名字,如果沒有匹配到或者最後的組沒有名字,將得到None。
re
得到本Match對象的正則表達式對象,也就是執行search()或match()的對象。
string
傳給search()或match()的字元串。
本文引用:http://www.jb51.net/article/50511.htm
英文原文:https://docs.python.org/2/library/re.html