Hive中常用正则表达式的运用小结

濟南劉鉉 發表於 2022-8-2 09:33:05

在实际的应用中，通常需要在一些复杂的、没有规律的字符串中提取数据，这时候就需要用到正则表达式了，这次讲一下hive的正则表达式。
<h3>like</h3>
语法:A like B
说明：如果字符串A符合表达式B的正则语法，则为true，否则为flase。B中字符"_"表示任意单个字符，而字符"%"表示任意数量的字符。
例子：select 'AA123' like 'AA%';
<h3>结果：true</h3>
例子：select 'AAbbbbcccc' like '_A%';
<h3>结果：true</h3>
<h3>rlike</h3>
语法:A rlike B
说明：如果字符串A符合JAVA正则表达式B的正则语法，则为TRUE，否则为FALSE。
例子：select 'AAbbbbcccc' rlike 'AA';
<h3>结果：true</h3>
<h3>regexp</h3>
语法: A REGEXP B
说明：用法和rike一样
例子：select 'AAbbbbcccc' regexp 'AA';
<h3>结果：true</h3>
<h3>regexp_replace</h3>
语法: regexp_replace(string A, string B, string C)
说明:将字符串A中的符合java正则表达式B的部分替换为C
例子：select regexp_replace('AA123bbcccc' ,'123','o');
结果：AAobbcccc
<h3>regexp_extract</h3>
语法: regexp_extract(string A, string pattern, int index)
说明：将字符串A按照pattern正则表达式的规则拆分，返回index指定的字符，index从1开始计。
<ul><li>0是显示与之匹配的整个字符串</li><li>1 是显示第一个括号里面的</li><li>2 是显示第二个括号里面的字段</li><li>3,4,5.....依次类推</li></ul>
例子：select regexp_extract('AA123bbcccc' ,'A{2}({3})({6})',0);
结果：AA123bbcccc
例子：select regexp_extract('AA123bbcccc' ,'A{2}({3})({6})',2);
结果：bbcccc
基础语法 "^([]{})([]{})([]{})$"
正则字符串 = "开始（[包含内容]{长度}）（[包含内容]{长度}）（[包含内容]{长度}）结束" 
<h3>常用元字符的使用：</h3>
<table><tbody><tr><td>元字符</td><td>描述</td></tr><tr><td>\</td><td>转义字符。例如，“\n”代表换行符，如果想表示"\n"这个字符串，需要使用"\\n"来表示，也就是说"\\"代表字符"\"</td></tr><tr><td>^</td><td>匹配输入字行首。"^a"代表以a开头的任意字符串</td></tr><tr><td>$</td><td>匹配输入行尾。"a$"代表以a结尾的任意字符串</td></tr><tr><td>*</td><td>匹配前面的子表达式0次或多次。例如，ab*能匹配a，ab，abb，abbbb等等，等价于{0,}</td></tr><tr><td>+</td><td>匹配前面的子表达式一次或多次(大于等于1次）。例如，“ab+”能
匹配ab，abb，abbbb等等。等价于{1,}</td></tr><tr><td>?</td><td>匹配前面的子表达式零次或一次。例如，“ab?”可以匹配ab，abb，等价于{0,1}。当该字符紧跟在任何一个其他限制符（*,+,?，{n}，{n,}，{n,m}）后面时，匹配模式是非贪婪的。非贪婪模式尽可能少地匹配所搜索的字符串，而默认的贪婪模式则尽可能多地匹配所搜索的字符串。例如，对于字符串“oooo”，“o+”将尽可能多地匹配“o”，得到结果[“oooo”]，而“o+?”将尽可能少地匹配“o”，得到结果 ['o', 'o', 'o', 'o']，等价于{0,1}</td></tr><tr><td>{n}</td><td>n是一个非负整数。匹配确定的n次。例如，“a{2}”不能匹配到aa。</td></tr><tr><td>{n,}</td><td>n是一个非负整数。至少匹配n次。例如，“a{2,}”能匹配“aa，aaa等等。“a{1,}”等价于“a+”，“a{0,}”则等价于“a*”。</td></tr><tr><td>{n,m}</td><td>m和n均为非负整数，其中n<=m。最少匹配n次且最多匹配m次。例如，“a{1,3}”将匹配“aoooood”中的前三个o为一组，后三个o为一组。“a{0,1}”等价于“a?”。请注意在逗号和两个数之间不能有空格。</td></tr><tr><td>.</td><td>匹配除“\n”和"\r"之外的任何单个字符。要匹配包括“\n”和"\r"在内的任何字符，请使用像“[\s\S]”的模式。</td></tr><tr><td>_</td><td>匹配任意单个字符，例如：_a 能匹配到任何第二个字符为a的，如aa,ba等等</td></tr><tr><td>x|y</td><td>匹配x或y。例如，“z|food”能匹配“z”或“food”。
“ood”则匹配“zood”或“food”。</td></tr><tr><td></td><td>字符集合，匹配所包含的任意一个字符。
例如，“”可以匹配“plain”中的“a”。</td></tr><tr><td>[^xyz]</td><td>负值字符集合。匹配未包含的任意字符。例如“[^abc]”可以匹配“plain”中的“plin”任一字符。</td></tr><tr><td></td><td>字符范围，匹配指定范围内的任意字符。例如，“”可以匹配
“a”到“z”范围内的任意小写字母字符。注意:只有连字符在字符组内部时,并且出现在两个字符之间时,才能表示字符的范围; 如果出字符组的开头,则只能表示连字符本身.</td></tr><tr><td>[^a-z]</td><td>负值字符范围。匹配任何不在指定范围内的任意字符。例如，“[^a-z]”可以匹配任何不在“a”到“z”范围内的任意字符。</td></tr><tr><td>\d</td><td>匹配一个数字字符。等价于。</td></tr><tr><td>\D</td><td>匹配一个非数字字符。等价于[^0-9]。</td></tr><tr><td>\n</td><td>匹配一个换行符。</td></tr><tr><td>\r</td><td>匹配一个回车符。</td></tr><tr><td>\s</td><td>匹配任何不可见字符，包括空格、制表符、换页符等等。
等价于[ \f\n\r\t\v]。</td></tr><tr><td>\S</td><td>匹配任何可见字符。等价于[^\f\n\r\t\v]。</td></tr><tr><td>\t</td><td>匹配一个制表符。</td></tr><tr><td>\v</td><td>匹配一个垂直制表符。</td></tr><tr><td>\w</td><td>匹配包括下划线的任何单词字符。类似但不等价于“”，
这里的"单词"字符使用Unicode字符集。</td></tr><tr><td>\W</td><td>匹配任何非单词字符。等价于“[^A-Za-z0-9_]”。</td></tr><tr><td>( )</td><td>将( 和 ) 之间的表达式定义为“组”（group），并且将匹配这个表达式的字符保存到一个临时区域（一个正则表达式中最多可以保存9个），它们可以用 \1 到\9 的符号来引用。</td></tr></tbody></table>
<h3>其他</h3>
汉字：[\u4e00-\u9fa5]
身份证号(15位、18位数字)，最后一位是校验位，可能为数字或字符X：(^\d{15}$)|(^\d{18}$)|(^\d{17}(\d|X|x)$)
日期格式：^\d{4}-\d{1,2}-\d{1,2}
两位小数正数：+(.{2})
26个英文字母组成的字符串：+
数字和26个英文字母组成的字符串：
Email地址：w+[-+.]w+)*@w+([-.]w+)*.w+([-.]w+)*$
手机号码：^(13|14|15|18)\d{8}$

頁: [1]

琼殿技术论坛's Archiver

Hive中常用正则表达式的运用小结