主页 / 问题 / 1091655
Accepted
Win_D
Asked:2020-03-07 02:35:10 +0000 UTC2020-03-07 02:35:10 +0000 UTC

确定字符串中的语言

  • 772

有必要找出字符串中的语言。如果它包含西里尔字符，那么它是用俄语写的。如果没有西里尔字符，则为英文。为此，我使用正则表达式：

import (
    "regexp"
)

func main() {
    str := "Некая строка c кириллическими символами"
    re := regexp.MustCompile("[А-Яа-я]+?") //проверяем на киррилические символы
    isRussian := re.MatchString(str)

    if isRussian {
        ...
    }
}

有没有更有效的方法来找出字符串的语言？只有两种语言——俄语和英语。

golang

2 个回答

  1. 如果假设不会有混合行，那么您可以这样做：

    func IsRusByUnicode(str string) bool {
    for _, r := range str {
        if unicode.Is(unicode.Cyrillic, r) {
            return true
        }
    }
    return false
}

    这将比 RegExp 更快：

    package language

import "testing"

var result bool

func BenchmarkIsRusByUnicode(b *testing.B) {
    b.ReportAllocs()
    var r bool
    for i := 1; i < b.N; i++ {
        r = IsRusByUnicode("Некая строка c кириллическими символами")
    }
    result = r
}


func BenchmarkIsRusByRegexp(b *testing.B) {
    b.ReportAllocs()
    var r bool
    for i := 1; i < b.N; i++ {
        r = IsRusByRegexp("Некая строка c кириллическими символами")
    }
    result = r
}

    试验结果：

    BenchmarkIsRusByUnicode-8           85523263            12.6 ns/op         0 B/op          0 allocs/op
BenchmarkIsRusByRegexp-8            13899225            82.8 ns/op         0 B/op          0 allocs/op

    UPD：用更正确的替换了对俄语字母表中字符出现的检查。

    • 3
  2. Best Answer

    最快（也是最简单）的方法：

    func IsEngByLoop(str string) bool {
    for i := 0; i < len(str); i++ {
        if str[i] > unicode.MaxASCII {
            return false
        }
    }
    return true
}

    一旦确定只处理两种语言，确定字符串中的所有字符是否都是 ASCII 字符就足够了。如果是，那么该行是用英语写的，如果不是，那么用其他语言（在你的情况下，它是俄语）。

    字符串为俄语时的基准测试结果：

    goos: windows
goarch: amd64
BenchmarkIsRusByRegexp-2          521700          2045 ns/op         840 B/op         10 allocs/op
BenchmarkIsRusByUnicode-2       63156564            18.8 ns/op         0 B/op          0 allocs/op
BenchmarkIsEngByRune-2          100000000           11.2 ns/op         0 B/op          0 allocs/op
BenchmarkIsEngByLoop-2          326068348            3.70 ns/op        0 B/op          0 allocs/op

    对于字符串为英文的情况：

    BenchmarkIsRusByRegexp-2          285699          3574 ns/op         840 B/op         10 allocs/op
BenchmarkIsRusByUnicode-2        3550089           340 ns/op           0 B/op          0 allocs/op
BenchmarkIsEngByRune-2          27271363            42.9 ns/op         0 B/op          0 allocs/op
BenchmarkIsEngByLoop-2          39998400            30.2 ns/op         0 B/op          0 allocs/op

    为了比较，测试参与了上面答案中的函数和使用迭代的函数range：

    func IsEngByRune(str string) bool {
    for _, r := range str {
        if r > unicode.MaxASCII {
            return false
        }
    }
    return true
}
    • 3

相关问题