Go语言中UTF-8字符串索引处理与跨语言兼容性指南：解决字节与字符索引差异

package main

import (
    "fmt"
    "unicode/utf8"
)

func main() {
    s := "ウ" // 一个日文字符
    fmt.Println(len(s))               // 输出: 3 (因为“ウ”在UTF-8中占用3个字节)
    fmt.Println(utf8.RuneCountInString(s)) // 输出: 1 (一个Unicode字符)
}

package main

import (
    "fmt"
    "regexp"
)

func main() {
    s := "ウィキa" // "ウィキ"是三个日文字符，每个占用3个字节
    // 预期'a'的字符索引是3
    // 但其字节索引将是 3*3 = 9
    byteIndex := regexp.MustCompile(`a`).FindStringIndex(s)
    fmt.Println(byteIndex) // 输出: [9 10]
    // 这里的10表示'a'从字节位置9开始，长度为1字节，因此结束于10。
    // 如果我们期望得到字符索引，那么10显然不是我们想要的。
}

package main

import (
    "fmt"
    "regexp"
    "strings"
)

func main() {
    s := "ウィキa" // 包含多字节字符的字符串
    r := strings.NewReader(s) // 将字符串包装成RuneReader

    // 使用FindReaderIndex获取字符索引
    // 注意：FindReaderIndex返回的是rune索引，即字符索引
    runeIndex := regexp.MustCompile(`a`).FindReaderIndex(r)
    fmt.Println(runeIndex) // 输出: [3 4]
    // 这里的[3 4]表示'a'在字符串中的起始字符索引是3，结束字符索引是4。
    // 这与Java/GWT等按字符索引的系统预期一致。
}

package main

import (
    "fmt"
    "regexp"
    "unicode/utf8"
)

func main() {
    s := "ab日aba本語ba" // 包含多字节字符的示例字符串

    // 1. 获取Go语言的字节索引
    byteIndices := regexp.MustCompile(`a`).FindAllStringIndex(s, -1)
    fmt.Println("原始字节索引:", byteIndices) // 输出: [[0 1] [5 6] [7 8] [15 16]]

    // 2. 构建字节位置到字符位置的映射表
    // posMap[byte_position] = char_offset
    // char_position = byte_position - char_offset
    posMap := make([]int, len(s)+1) // 映射表的长度需要覆盖所有字节位置，包括字符串末尾
    offset := 0 // 字符偏移量，表示当前字节位置相对于字符位置多出的字节数
    runeCount := 0 // 字符计数，即当前字符位置

    // 遍历字符串中的每个rune，计算偏移量
    for bytePos, r := range s {
        // 对于每个rune，其起始字节位置bytePos，对应的字符位置是runeCount
        // 在bytePos这个位置，字符偏移量是offset
        posMap[bytePos] = offset

        // 更新下一个rune的字符计数
        runeCount++

        // 如果当前rune是多字节字符，更新偏移量
        // utf8.RuneLen(r) 返回rune r在UTF-8编码中占用的字节数
        if utf8.RuneLen(r) > 1 {
            offset += (utf8.RuneLen(r) - 1)
        }
    }
    // 处理字符串末尾的映射，确保所有索引都能被处理
    posMap[len(s)] = offset
    fmt.Println("字节-字符偏移映射表 (posMap):", posMap)

    // 3. 使用映射表将字节索引转换为字符索引
    convertedIndices := make([][]int, len(byteIndices))
    for i, bi := range byteIndices {
        startByte := bi[0]
        endByte := bi[1]

        // 字符起始位置 = 字节起始位置 - 该字节位置对应的偏移量
        charStart := startByte - posMap[startByte]
        // 字符结束位置 = 字节结束位置 - 该字节位置对应的偏移量
        charEnd := endByte - posMap[endByte]

        convertedIndices[i] = []int{charStart, charEnd}
    }
    fmt.Println("转换后的字符索引:", convertedIndices) // 预期输出: [[0 1] [3 4] [5 6] [9 10]]
}