Go语言中从io.Reader读取和写入UTF-8编码字符串的实践指南

package main

import (
    "bytes"
    "fmt"
    "io"
    "log"
)

// 模拟一个io.Reader，这里使用bytes.Reader从一个字节切片中读取
func readUTF8String(reader io.Reader, length int) (string, error) {
    // 创建一个足够大的字节切片来存储字符串数据
    buf := make([]byte, length)

    // 从io.Reader中读取指定长度的字节
    n, err := io.ReadFull(reader, buf) // io.ReadFull 确保读取到指定长度的字节，除非遇到EOF或错误
    if err != nil {
        return "", fmt.Errorf("failed to read bytes: %w", err)
    }

    // 将读取到的字节切片转换为字符串
    // Go会自动将这些字节解释为UTF-8编码
    // 注意：这里我们只转换实际读取到的字节 (buf[:n])
    s := string(buf[:n])
    return s, nil
}

func main() {
    // 模拟一个包含UTF-8字符串的字节流
    // "你好世界" 的UTF-8编码
    utf8Bytes := []byte{0xe4, 0xbd, 0xa0, 0xe5, 0xa5, 0xbd, 0xe4, 0xb8, 0x96, 0xe7, 0x95, 0x8c}

    // 创建一个bytes.Reader作为io.Reader的实现
    reader := bytes.NewReader(utf8Bytes)

    // 假设我们知道字符串的长度是12字节
    str, err := readUTF8String(reader, len(utf8Bytes))
    if err != nil {
        log.Fatalf("Error reading string: %v", err)
    }
    fmt.Printf("读取到的字符串: \"%s\", 长度: %d, 字节数: %d\n", str, len([]rune(str)), len(str))

    // 另一个例子：包含英文和中文字符
    mixedBytes := []byte("Hello, 世界!")
    reader = bytes.NewReader(mixedBytes)
    str, err = readUTF8String(reader, len(mixedBytes))
    if err != nil {
        log.Fatalf("Error reading mixed string: %v", err)
    }
    fmt.Printf("读取到的混合字符串: \"%s\", 长度: %d, 字节数: %d\n", str, len([]rune(str)), len(str))
}

// 优化后的读取循环示例
var sharedBuf = make([]byte, 1024) // 预分配一个共享缓冲区

func readLoop(reader io.Reader) {
    for {
        // 假设每次读取一个固定长度的字符串（例如，协议头中包含长度信息）
        // 这里简化为读取到缓冲区满或EOF
        n, err := reader.Read(sharedBuf)
        if err != nil {
            if err == io.EOF {
                break
            }
            log.Printf("Read error: %v", err)
            break
        }
        if n == 0 {
            continue
        }

        // 将读取到的部分转换为字符串
        str := string(sharedBuf[:n])
        fmt.Printf("处理字符串: %s\n", str)

        // ... 对str进行进一步处理
    }
}

package main

import (
    "bytes"
    "fmt"
    "io"
    "log"
)

func writeUTF8String(writer io.Writer, s string) error {
    // io.WriteString 直接将字符串的UTF-8字节表示写入writer
    _, err := io.WriteString(writer, s)
    if err != nil {
        return fmt.Errorf("failed to write string: %w", err)
    }
    return nil
}

func main() {
    var buf bytes.Buffer // 使用bytes.Buffer作为io.Writer的实现

    str1 := "Hello Go!"
    str2 := "你好 Go!"

    err := writeUTF8String(&buf, str1)
    if err != nil {
        log.Fatalf("Error writing str1: %v", err)
    }
    err = writeUTF8String(&buf, str2)
    if err != nil {
        log.Fatalf("Error writing str2: %v", err)
    }

    fmt.Printf("写入到缓冲区的总字节数: %d\n", buf.Len())
    fmt.Printf("缓冲区内容 (作为UTF-8字符串): \"%s\"\n", buf.String())
    fmt.Printf("缓冲区内容 (作为字节切片): %v\n", buf.Bytes())
}