在Go语言中构建健壮的N-gram频率表：掌握Unicode符文处理

package main

import (
    "fmt"
    "strings"
    "unicode" // 引入unicode包，用于字符分类
)

// NgramTable 表示一个N-gram频率表
type NgramTable map[string]int

// Parse 函数从给定文本生成N-gram，并将其添加到表中。
// 它接受文本、N-gram大小 (n) 和一个表示是否忽略大小写的布尔值。
func (nt NgramTable) Parse(text string, n int, ignoreCase bool) {
    if ignoreCase {
        text = strings.ToLower(text) // 转换为小写以忽略大小写
    }

    // 核心步骤：将字符串转换为[]rune切片，这是处理Unicode字符的关键。
    // Go的string是UTF-8字节序列，而[]rune则表示Unicode码点序列。
    runes := []rune(text)

    // 检查N-gram大小是否有效。如果N-gram大小大于文本中的字符数，则无法生成。
    if n <= 0 || n > len(runes) {
        return // 对于无法生成N-gram的短文本，直接返回
    }

    // 遍历rune切片以形成N-gram
    // 循环条件 i <= len(runes)-n 确保我们不会超出切片边界
    for i := 0; i <= len(runes)-n; i++ {
        // 提取一个长度为 n 的rune子切片，这代表一个N-gram
        ngramRunes := runes[i : i+n]

        // 将rune子切片转换回字符串，作为N-gram表的键
        ngram := string(ngramRunes)

        // 可选：过滤掉只包含空白或标点符号的N-gram，以获得更相关的语言N-gram。
        // 在语言检测中，纯粹的空白或标点N-gram通常信息量较低。
        if !isOnlyWhitespaceOrPunctuation(ngram) {
            nt[ngram]++ // 增加N-gram的计数
        }
    }
}

// isOnlyWhitespaceOrPunctuation 检查一个N-gram是否只由空白字符或标点符号组成。
// 如果N-gram中包含任何非空白且非标点的字符，则认为它是有意义的。
func isOnlyWhitespaceOrPunctuation(s string) bool {
    for _, r := range s {
        if !unicode.IsSpace(r) && !unicode.IsPunct(r) {
            return false // 发现非空白非标点字符，N-gram有效
        }
    }
    return true // 所有字符都是空白或标点
}

func main() {
    // 示例 1: ASCII 文本处理 (N=2)
    table1 := make(NgramTable)
    fmt.Println("--- 处理 ASCII 文本 (N=2) ---")
    table1.Parse("Hello world", 2, true)
    fmt.Println(table1) // 预期: map[he:1 el:1 ll:1 lo:1 or:1 rl:1 wo:1 ld:1]

    // 示例 2: 包含多字节 Unicode 字符的德语文本处理 (N=2)
    table2 := make(NgramTable)
    fmt.Println("\n--- 处理包含 Unicode 的德语文本 (N=2) ---")
    table2.Parse("Schön ist die Welt", 2, true)
    // 预期: map[ch:1 di:1 el:1 hö:1 ie:1 is:1 lt:1 ni:1 ön:1 sc:1 st:1 we:1]
    // 注意，由于isOnlyWhitespaceOrPunctuation的过滤，包含字母的N-gram如"n "仍会被保留。
    fmt.Println(table2)

    // 示例 3: 混合文本与不同的 N-gram 大小 (N=3)
    table3 := make(NgramTable)
    fmt.Println("\n--- 处理混合文本 (N=3) ---")
    table3.Parse("Go is fun, für alle!", 3, true)
    fmt.Println(table3)
}