热门问题
时间线
聊天
视角

正则表达式

形成搜索模式的字符序列 来自维基百科,自由的百科全书

Remove ads

正则表达式(英语:regular expression,常简写为regexregexpRE),又称规律表达式正则表示式正则表示法规则表达式常规表示法,是计算机科学概念,用简单字符串来描述、匹配文中全部匹配指定格式的字符串,现在很多文本编辑器都支持用正则表达式搜索、取代匹配指定格式的字符串。

事实速览 “正则表达式”的各地常用名称, 中国大陆 ...

许多程序设计语言都支持用正则表达式操作字符串,如Perl就内置功能强大的正则表达式引擎。正则表达式这概念最初由Unix的工具软件(例如sedgrep)普及开。

译名问题

描述字符串规律表达式原应顺理成章称为规律表达式(pattern expression/rule expression),但却叫成有欠准确的regular expression,导致现在有多种中译名,如将regular译成规律规则正规正则常规,将expression译成表达式表示式表示法表达式等。

历史

最初的正则表达式出现于理论计算机科学自动控制理论和形式化语言理论中。在这些领域中有对计算(自动控制)的模型和对形式化语言描述与分类的研究。

1940年,沃伦·麦卡洛克沃尔特·皮茨神经系统中的神经元描述成小而简单的自动控制元。

1950年代,数学家斯蒂芬·科尔·克莱尼利用称之为“正则集合”的数学符号来描述此模型。肯·汤普逊将此符号系统引入编辑器QED英语QED (text editor),随后是Unix上的编辑器ed,并最终引入grep。自此以后,正则表达式被广泛地应用于各种Unix类Unix系统的工具中。正则表达式的POSIX规范,分为基本型正则表达式(Basic Regular ExpressionBRE)和扩展型正则表达式(Extended Regular ExpressionERE)两大流派。在兼容POSIXUNIX系统上,grepegrep之类的工具都遵循POSIX规范,一些数据库系统中的正则表达式也匹配POSIX规范。grepvised都属于BRE,是历史最早的正则表达式,因此元字符必须转译之后才具有特殊含义。egrepawk则属于ERE,元字符不用转译。

Perl的正则表达式源自于Henry Spencer英语Henry Spencer于1986年1月19日发布的regex,它已经演化成了PCREPerl兼容正则表达式,Perl Compatible Regular Expressions英语PCRE),一个由Philip Hazel英语Philip Hazel开发的,为很多现代工具所使用的库。

各编程语言之间关于正则表达式的集成,目前[何时?]开发进展得很差。Perl6的子项目Apocalypse的设计中已考虑到了这点。

Remove ads

理论

正则表达式可以用形式化语言理论的方式来表达。正则表达式由常量和算子组成,它们分别表示字符串的集合和在这些集合上的运算。给定有限字母表Σ定义了下列常量:

  • 空集表示集合
  • 空串表示仅包含一个“不含任何字符、长度为0的字符串”的集合。
  • 文字字符英语String literal表示仅包含一个元素的集合

定义了下列运算:

  • 串接 表示集合,这里的表示将两个字符串按顺序连接。例如:
  • 选择 表示并集。例如:
  • 克莱尼(Kleene)星号 表示包含且在字符串串接运算下闭合的最小超集。这是可以通过中零或有限个字符串的串接得到所有字符串的集合。例如:

上述常量和算子形成了克莱尼代数

很多课本使用对选择使用符号替代竖线。

为了避免括号,假定Kleene星号有最高优先级,接着是串接,接着是并集。如果没有歧义则可以省略括号。例如:(ab)c可以写为abc,而a|(b(c*))可以写为a|bc*

例子:

  • a|b*表示
  • (a|b)*表示包括空串和任意数目个ab字符组成的所有字符串的集合:
  • ab*(c|ε)表示开始于一个a接着零或多个b和最后一个可选的c组成的字符串的集合:

为了使表达式更简洁,正则表达式也定义了?+aa*等于a+,表示a出现至少一次;而(a|ε)等于a?,表示a出现1次或不出现。有的定义中增加了补算子表示在上但不在中的所有字符串的集合。补算子在理论上并非必要,因为它可以使用其他算子来表达,但它可以使一些表达式变得更加简洁。

这种意义上的正则表达式可以表达正则语言,是可被有限状态自动机精确接受的语言类。但是在简洁性上有重要区别。某类正则语言只能用大小指数增长的自动机来描述,而要求的正则表达式的长度只线性的增长。

正则表达式对应于乔姆斯基层级类型-3文法。但通常编程语言或其相关库(例如PCRE)中实现的正则表达式的表达能力是乔姆斯基层级类型-3文法的超集[来源请求]。在另一方面,在正则表达式和不导致这种大小上的爆炸的非确定有限状态自动机NFA)之间有简单的映射;为此NFA经常被用作正则表达式的替表示式。

这种形式化中存在着冗余,典型的体现是存在不同的正则表达式可以表达同样的语言。有可能对两个给定正则表达式写一个算法来判定它们所描述的语言是否本质上相等,即简约每个表达式到极小确定有限自动机,确定它们是否同构(等价)。这种冗余可以消减到什么程度?我们可以找到仍有完全表达力的正则表达式的有趣的子集吗?这提出了一个令人惊奇的困难问题。Kleene星号和并集明显是需要的,但是我们或许可以限制它们的使用。由于正则表达式如此简单,没有办法在语法上把它重写成某种规范形式。过去公理化的缺乏导致了星号高度问题英语Star height problem。最近Dexter Kozen克莱尼代数公理化了正则表达式。[来源请求]

很多现实世界的“正则表达式”引擎实现了不能用正则表达式代数表达的特征。[来源请求]

Remove ads

基本语法

一个正则表达式通常被称为一个模式pattern),为用来描述或者匹配一系列匹配某个句法规则的字符串。例如:Handel、Händel和Haendel这三个字符串,都可以由H(a|ä|ae)ndel这个模式来描述。大部分正则表达式的形式都有如下的结构:

选择

  • 竖线|代表选择(即或集),具有最低优先级。例如gray|grey可以匹配greygray

数量限定

某个字符后的数量限定符用来限定前面这个字符允许出现的个数。最常见的数量限定符包括+?*(不加数量限定则代表出现一次且仅出现一次):

  • 加号+代表前面的字符必须至少出现一次。(1次或多次)。例如,goo+gle可以匹配google、gooogle、goooogle等;
  • 问号?代表前面的字符最多只可以出现一次。(0次或1次)。例如,colou?r可以匹配color或者colour;
  • 星号*代表前面的字符可以不出现,也可以出现一次或者多次。(0次、1次或多次)。例如,0*42可以匹配42、042、0042、00042等。

匹配

  • 圆括号()可以用来定义操作符的范围和优先度。例如,gr(a|e)y等价于gray|grey(grand)?father匹配father和grandfather。

上述这些构造子都可以自由组合,因此H(ae?|ä)ndelH(a|ae|ä)ndel是相同的,表示{"Handel", "Haendel", "Händel"}。

精确的语法可能因不同的工具或程序而异。

PCRE表达式全集

正则表达式有多种不同的风格。下表是在PCRE英语Perl_Compatible_Regular_Expressions中元字符及其在正则表达式上下文中的行为的一个完整列表,适用于Perl或者Python编程语言(grep或者egrep的正则表达式文法是PCRE的子集):

更多信息 字符, 描述 ...
Remove ads

Unicode处理

在.NET、JavaJavaScriptPython的正则表达式中,可以用\uXXXX表示一个Unicode字符,其中XXXX为四位16进制数字。

Unicode字符的三种性质:[5]

  • Unicode Property:字符属于标点、空格、字母等等。每个Unicode字符只能属于唯一Unicode Property。.NET、JavaPHPRuby等语言支持。具体分类为:
    • 字符\p{L}
      • \p{Ll}\p{Lowercase_Letter}:小写字符(必须有大写的形式)。
      • \p{Lu}\p{Uppercase_Letter}:大写字符(必须有小写的形式)。
      • \p{Lt}\p{Titlecase_Letter}:全词首字母大写的字符。
      • \p{L&}\p{Cased_Letter}:存在大小写形式的字符(Ll, Lu, Lt的组合)。
      • \p{Lm}\p{Modifier_Letter}音标修饰字符
      • \p{Lo}\p{Other_Letter}:不具有大小写的字符或字形。
    • 附加符号\p{M}
      • \p{Mn}\p{Non_Spacing_Mark}:与其他字符结合,不额外占用空间的字符,例如日耳曼语元音变音
      • \p{Mc}\p{Spacing_Combining_Mark}:与其他字符结合,额外占用空间的字符,例如马拉雅拉姆文#元音字母及附标
      • \p{Me}\p{Enclosing_Mark}:包含其他字符的字符,例如圆圈、方块。
    • 分隔符\p{Z}
      • \p{Zs}\p{Space_Separator}:不可见的空格,但占据空间。
      • \p{Zl}\p{Line_Separator}:分隔线字符U+2028。
      • \p{Zp}\p{Paragraph_Separator}:分段字符U+2029。
    • 符号\p{S}
      • \p{Sm}\p{Math_Symbol}:数学符号。
      • \p{Sc}\p{Currency_Symbol}:通货符号。
      • \p{Sk}\p{Modifier_Symbol}:组合为其他字符的符号。
      • \p{So}\p{Other_Symbol}:其他符号。
    • 数值字符\p{N}
      • \p{Nd}\p{Decimal_Digit_Number}:所有文本中的数字0至9字符,不含形意符号
      • \p{Nl}\p{Letter_Number}:看起来像字母的符号,包含罗马数字
      • \p{No}\p{Other_Number}:上角标或下角标数字,或者其他不属于0至9的数字。不含形意符号
    • 标点符号\p{P}
      • \p{Pd}\p{Dash_Punctuation}:任何种类的连字号连接号
      • \p{Ps}\p{Open_Punctuation}:任何种类开括号
      • \p{Pe}\p{Close_Punctuation}:任何种类闭括号。
      • \p{Pi}\p{Initial_Punctuation}:任何种类开引号
      • \p{Pf}\p{Final_Punctuation}:任何种类闭引号。
      • \p{Pc}\p{Connector_Punctuation}:连接词的标点符号,如下划线。
      • \p{Po}\p{Other_Punctuation}:其他标点符号。
    • 其它符号\p{C}(包括不可见控制字符与未用码位
      • \p{Cc}\p{Control}ASCIILatin-1控制字符0x00-0x1F0x7F-0x9F
      • \p{Cf}\p{Format}:不可见的格式化指示字符。
      • \p{Co}\p{Private_Use}:私用码位
      • \p{Cs}\p{Surrogate}UTF-16编码的代理对的一半。
      • \p{Cn}\p{Unassigned}:未被使用的码位
  • Unicode Block:按照编码区间划分Unicode字符,每个Unicode Block中的字符编码属于一个编码区间。例如Java语言\p{ InCJK_Compatibility_Ideographs },.NET语言\p{IsCJK_Compatibility_Ideographs}
  • Unicode Script:按照字符所属的书写系统来划分Unicode字符。PHPRuby(版本不低于1.9)支持Unicode Script。例如\p{Han}表示汉字(中文字符)。

这三种Unicode性质对应的字符组补集是将开头的\p改为\P,其它不变。

POSIX字符组

更多信息 POSIX字符组, 说明 ...
Remove ads

优先权

更多信息 优先权, 符号 ...

示例

  • 以下使用PHP语言
  • 验证字符串是否只含数字与英文,字符串长度并在4~16个字符之间:
    <?php
    $str = 'a1234';
    if (preg_match("/^[a-zA-Z0-9]{4,16}$/", $str)) {
        echo "CONFIRM";
    } else {
        echo "FAILED";
    }
    ?>
    
  • 简易的中华民国国民身份证字号验证:
    <?php
    $str = 'a1234';
    if (preg_match("/^[A-Za-z][1289]\d{8}$/", $str)) {
        echo "CONFIRM";
    } else {
        echo "FAILED";
    }
    ?>
    
  • 以下使用Perl语言
  • 验证字符串是否只含数字与英文,字符串长度并在4~16个字符之间:
    print $str = "a1234" =~ m:^[a-zA-Z0-9]{4,16}$: ? "CONFIRM" : "FAILED";
    
  • 简易的中华民国身份证字号验证:
    print $str = "a1234" =~ m"^\w[1289]\d{8}$" ? "CONFIRM" : "INVALID";
    
  • 使用正则表示式匹配ip地址:
    import re
    s=' 192.137.1.336  192.168.1.137.123  192.168.1.138 '
    print(re.findall(r'(?<![\.\d])(?:25[0-5]\.|2[0-4]\d\.|[01]?\d\d?\.){3}(?:25[0-5]|2[0-4]\d|[01]?\d\d?)(?![\.\d])',s))
    

相关条目

注释

参考文献

外部链接

Loading related searches...

Wikiwand - on

Seamless Wikipedia browsing. On steroids.

Remove ads