Golang正则表达式使用及简单示例

我发现很多从写脚本转过来写Go代码的开发者都会对Go的正则表达式 (Regular Expression) 功能有微词。普遍觉得其灵活性和完善度都不太给力。其实两个都是有原因的。灵活性其实主要是对Go regexp包的设计哲学不理解。完善度则主要是因为regexp包承诺match的时间与输入长度成线性关系，因此有些表达式就无法支持了，比如 (?!re) ：

The regexp implementation provided by this package is guaranteed to run in time linear in the size of the input.

所以，本质上这不是一个「够不够完善」的问题，而是「技术实现决定了它支持程度就是这样」。更多讨论可以关注这里。

Go的正则表达式采用RE2语法，详细语法及支持情况可以参阅[这里]。

regex包的设计原则

regexp包的方法命名规则如下：

Find(All)?(String)?(Submatch)?(Index)?

包含All的方法捕获所有match, 返回值是一个slice. 同时一般会提供一个参数n作为最大匹配次数。
包含String的方法对string类型进行匹配，反之对[]byte进行匹配。
包含Submatch的方法返回所有子匹配，返回值是一个slice. 位置0是对应整个正则表达式匹配结果，位置n(n>0)是第n个子表达式(group) 匹配结果。
包含Index的方法返回匹配的位置。例如，返回loc []int, 则与之对应的匹配字符为src[loc[0]:loc[1]].

匹配Unicode字符

Unicode character class (one-letter name): \pN
Unicode character class: \p{Greek}

    test1 := “123中文汉字abc321”
    reg1 := regexp.MustCompile(`\p{L}+`)
    match := reg1.FindString(test1)
    log.Println(match)

    // 输出： 中文汉字abc

test1 := “123中文汉字abc321”

reg1 := regexp.MustCompile(`\p{L}+`)

match := reg1.FindString(test1)

log.Println(match)

// 输出：中文汉字abc

含参数

    test1 := `123中文汉字abc321`
    reg2 := regexp.MustCompile(`(?P<All>(?P<Number>\d+)(?P<Letter>\p{L}+)(?P<Number>\d+))`)
    names := reg2.SubexpNames()
    for k, v := range names {
        log.Printf("%d: %s", k, v)
    }
    matches := reg2.FindStringSubmatch(test1)
    for k, v := range matches {
        log.Printf("%d: %s", k, v)
    }

    // 输出：
    // 2016/04/25 16:26:18 0: 
    // 2016/04/25 16:26:18 1: All
    // 2016/04/25 16:26:18 2: Number
    // 2016/04/25 16:26:18 3: Letter
    // 2016/04/25 16:26:18 4: Number
    // 2016/04/25 16:26:18 0: 123中文汉字abc321
    // 2016/04/25 16:26:18 1: 123中文汉字abc321
    // 2016/04/25 16:26:18 2: 123
    // 2016/04/25 16:26:18 3: 中文汉字abc
    // 2016/04/25 16:26:18 4: 321

test1 := `123中文汉字abc321`

reg2 := regexp.MustCompile(`(?P<All>(?P<Number>\d+)(?P<Letter>\p{L}+)(?P<Number>\d+))`)

names := reg2.SubexpNames()

for k, v := range names {

log.Printf("%d: %s", k, v)

}

matches := reg2.FindStringSubmatch(test1)

for k, v := range matches {

log.Printf("%d: %s", k, v)

}

// 输出：

// 2016/04/25 16:26:18 0:

// 2016/04/25 16:26:18 1: All

// 2016/04/25 16:26:18 2: Number

// 2016/04/25 16:26:18 3: Letter

// 2016/04/25 16:26:18 4: Number

// 2016/04/25 16:26:18 0: 123中文汉字abc321

// 2016/04/25 16:26:18 1: 123中文汉字abc321

// 2016/04/25 16:26:18 2: 123

// 2016/04/25 16:26:18 3: 中文汉字abc

// 2016/04/25 16:26:18 4: 321

什么时候会遇到无效的utf-8码点？

当你试图把一个无效的码点值作为utf-8码点处理时，就会产生无效的码点。此时，无效的码点会被替换为「EF BF BD」，然后进行后续处理，以避免无效码点可能引起的异常。很多语言对这种处理是 自动进行 的，比如golang:

now := time.Now().Unix() // 一个无效的码点值
str := string(now) // golang是utf-8编码，会对无效码点进行替换
fmt.Printf("%X", []byte(str)) // EFBFBD，即字符「�」

now := time.Now().Unix() // 一个无效的码点值

str := string(now) // golang是utf-8编码，会对无效码点进行替换

fmt.Printf("%X", []byte(str)) // EFBFBD，即字符「�」

为什么要记住这个码点

在「字符集敏感」的环境中，如果你的数据中出现了「EF BF BD」就应该警惕了，因为你传输的数据中途很可能经过了自动替换，收到的数据未必是原始的数据。这对于你排查一些奇怪的数据交换不一致问题是很有用的，很多时候，可能是你的最后一颗救命稻草。

例如，使用utf-8编码的xml文档进行数据交换，如果看见了「�」，毫无疑问数据源有非法码点值。网页中出现了「�」，那么肯定是html文档的编码不是合规的utf-8编码文档。文本编辑器中出现了「�」，那一定是你打开这个文档的姿势不对——又选错编码了。总之，当你看见超级备胎「�」的时候，不要觉得大事不妙，不要像遇到一般乱码那样惊慌失措，你应该轻轻弹一下鼠标上的灰尘，将之打回原形。

因为aws的账单，才意识到自己的vps已经很久没有折腾了，博客也已经长草，应该说已经长成灌木丛了。

这才意识到自己已经回成都快9个月了。

有人说，时间是把杀猪刀。这很公平。但是，即使哪天挨上了这杀猪刀，也希望自己是头优雅的猪。

而此时，2015已经过去1/4.

行思錄 | Travel Coder

Arch, Coding, Life

标签归档：unicode

Golang正则表达式使用及简单示例

Golang正则表达式使用及简单示例

regex包的设计原则

匹配Unicode字符

含参数

你应该记住的一个UTF-8字符「EF BF BD」

为什么会有无效的码点值？

什么时候会遇到无效的utf-8码点？

为什么要记住这个码点