Go语言中如何安全读取UTF-8文件并处理编码错误

package main

import (
    "bufio"
    "fmt"
    "io"
    "io/ioutil"
    "os"
    "strings"
    "unicode/utf8"
)

// createFileWithContent 用于创建测试文件
func createFileWithContent(filename string, content []byte) error {
    return ioutil.WriteFile(filename, content, 0644) // 0644 是一个常见的权限设置
}

// readAndValidateUTF8FromFile 逐行读取文件并校验UTF-8编码
func readAndValidateUTF8FromFile(filePath string) error {
    fmt.Printf("--- 正在处理文件: %s ---\n", filePath)
    f, err := os.Open(filePath)
    if err != nil {
        return fmt.Errorf("无法打开文件 %s: %w", filePath, err)
    }
    defer f.Close()

    reader := bufio.NewReader(f)
    lineNumber := 0

    for {
        lineNumber++
        line, err := reader.ReadString('\n')

        // 移除行尾的换行符
        trimmedLine := strings.TrimRight(line, "\n")

        // 检查是否到达文件末尾
        if err == io.EOF {
            // 如果最后一行不是空行，则也需要处理
            if len(trimmedLine) > 0 {
                if !utf8.ValidString(trimmedLine) {
                    fmt.Printf("文件 %s 第 %d 行包含无效UTF-8编码 (内容: %q, 字节: %v)。程序将中止。\n", filePath, lineNumber, trimmedLine, []byte(trimmedLine))
                    return fmt.Errorf("文件 %s 第 %d 行包含无效UTF-8编码", filePath, lineNumber)
                } else {
                    fmt.Printf("文件 %s 第 %d 行 (有效UTF-8): %s\n", filePath, lineNumber, trimmedLine)
                }
            }
            break // 文件读取完毕
        }

        // 处理其他I/O错误
        if err != nil {
            return fmt.Errorf("读取文件 %s 时发生错误: %w", filePath, err)
        }

        // 校验当前行的UTF-8编码
        if !utf8.ValidString(trimmedLine) {
            fmt.Printf("文件 %s 第 %d 行包含无效UTF-8编码 (内容: %q, 字节: %v)。程序将中止。\n", filePath, lineNumber, trimmedLine, []byte(trimmedLine))
            return fmt.Errorf("文件 %s 第 %d 行包含无效UTF-8编码", filePath, lineNumber)
        }

        fmt.Printf("文件 %s 第 %d 行 (有效UTF-8): %s\n", filePath, lineNumber, trimmedLine)
    }
    fmt.Printf("--- 文件 %s 处理完毕 ---\n\n", filePath)
    return nil
}

func main() {
    validFile := "valid.txt"
    invalidFile := "invalid.txt"

    // 1. 创建一个包含有效UTF-8字符的测试文件
    validContent := []byte("这是一行有效的UTF-8文本。\nGo语言很棒！\n")
    if err := createFileWithContent(validFile, validContent); err != nil {
        fmt.Printf("创建文件 %s 失败: %v\n", validFile, err)
        os.Exit(1)
    }

    // 2. 创建一个包含无效UTF-8字节的测试文件 (例如，0xFF 是一个无效的UTF-8起始字节)
    invalidContent := []byte("这是第一行。\n包含无效字节：")
    invalidContent = append(invalidContent, 0xFF) // 添加一个无效的UTF-8字节
    invalidContent = append(invalidContent, '\n')
    invalidContent = append(invalidContent, []byte("这是无效字节后的内容。\n")...)
    if err := createFileWithContent(invalidFile, invalidContent); err != nil {
        fmt.Printf("创建文件 %s 失败: %v\n", invalidFile, err)
        os.Exit(1)
    }

    // 尝试处理有效文件
    if err := readAndValidateUTF8FromFile(validFile); err != nil {
        fmt.Printf("处理有效文件时出错: %v\n", err)
    }

    // 尝试处理无效文件
    if err := readAndValidateUTF8FromFile(invalidFile); err != nil {
        fmt.Printf("处理无效文件时出错: %v\n", err)
    }

    // 清理测试文件
    os.Remove(validFile)
    os.Remove(invalidFile)
}

--- 正在处理文件: valid.txt ---
文件 valid.txt 第 1 行 (有效UTF-8): 这是一行有效的UTF-8文本。
文件 valid.txt 第 2 行 (有效UTF-8): Go语言很棒！
--- 文件 valid.txt 处理完毕 ---

--- 正在处理文件: invalid.txt ---
文件 invalid.txt 第 1 行 (有效UTF-8): 这是第一行。
文件 invalid.txt 第 2 行包含无效UTF-8编码 (内容: "包含无效字节：�", 字节: [228 184 128 229 165 189 228 187 182 239 188 154 255])。程序将中止。
处理无效文件时出错: 文件 invalid.txt 第 2 行包含无效UTF-8编码