Go语言中正确读取UTF-16文本文件的方法

package main

import (
    "bytes"
    "fmt"
    "io/ioutil" // 注意：Go 1.16+ 推荐使用 os.ReadFile
    "log"
    "strings"

    "golang.org/x/text/encoding/unicode"
    "golang.org/x/text/transform"
)

// ReadFileUTF16 类似于 ioutil.ReadFile() 但会解码 UTF-16。
// 适用于读取 Windows 系统生成的 UTF-16 文件，
// 能够正确处理各种 BOM。
func ReadFileUTF16(filename string) ([]byte, error) {
    // 1. 读取整个文件到字节数组
    raw, err := ioutil.ReadFile(filename) // 在 Go 1.16+ 中，建议使用 os.ReadFile(filename)
    if err != nil {
        return nil, err
    }

    // 2. 创建一个 UTF-16 解码器。
    //    这里我们假设默认是 UTF-16 Big Endian，并忽略 BOM，
    //    因为 BOMOverride 会处理实际的 BOM 检测。
    win16be := unicode.UTF16(unicode.BigEndian, unicode.IgnoreBOM)

    // 3. 创建一个转换器，它会根据 BOM 智能地选择正确的字节序。
    //    BOMOverride 会在读取数据时检测 BOM，并据此调整解码器。
    utf16bom := unicode.BOMOverride(win16be.NewDecoder())

    // 4. 使用 transform.NewReader 将原始字节流与解码器连接起来。
    //    从 unicodeReader 读取的数据将自动被解码为 UTF-8。
    unicodeReader := transform.NewReader(bytes.NewReader(raw), utf16bom)

    // 5. 读取解码后的所有数据。
    decoded, err := ioutil.ReadAll(unicodeReader) // 在 Go 1.16+ 中，建议使用 io.ReadAll(unicodeReader)
    return decoded, err
}

func main() {
    // 假设有一个名为 "inputfile.txt" 的 UTF-16 编码文件
    // 可以手动创建一个，例如在Windows记事本中保存为Unicode格式
    data, err := ReadFileUTF16("inputfile.txt")
    if err != nil {
        log.Fatalf("读取UTF-16文件失败: %v", err)
    }

    // Windows 上的 UTF-16 文件可能包含 CR+LF (\r\n) 行结束符。
    // 为了跨平台兼容性，通常会将其标准化为 LF (\n)。
    final := strings.ReplaceAll(string(data), "\r\n", "\n")
    fmt.Println(final)
}

package main

import (
    "bufio"
    "fmt"
    "log"
    "os"

    "golang.org/x/text/encoding/unicode"
    "golang.org/x/text/transform"
)

// utfScanner 接口定义，用于适配 bufio.NewScanner
type utfScanner interface {
    Read(p []byte) (n int, err error)
}

// NewScannerUTF16 类似于 os.Open() 但返回一个解码 UTF-16 的 io.Reader。
// 适用于读取 Windows 系统生成的 UTF-16 文件，
// 能够正确处理各种 BOM。
func NewScannerUTF16(filename string) (utfScanner, error) {
    // 1. 打开文件
    file, err := os.Open(filename)
    if err != nil {
        return nil, err
    }

    // 2. 创建 UTF-16 解码器和 BOMOverride 转换器，同上。
    win16be := unicode.UTF16(unicode.BigEndian, unicode.IgnoreBOM)
    utf16bom := unicode.BOMOverride(win16be.NewDecoder())

    // 3. 创建一个 transform.NewReader，它将文件句柄与解码器连接。
    //    这样，从 unicodeReader 读取的数据将自动被解码为 UTF-8。
    unicodeReader := transform.NewReader(file, utf16bom)

    // 注意：这里返回的是 transform.Reader，它实现了 io.Reader 接口。
    // bufio.NewScanner 期望一个 io.Reader。
    return unicodeReader, nil
}

func main() {
    // 假设有一个名为 "inputfile.txt" 的 UTF-16 编码文件
    s, err := NewScannerUTF16("inputfile.txt")
    if err != nil {
        log.Fatalf("打开UTF-16文件并创建Scanner失败: %v", err)
    }
    // 注意：NewScannerUTF16 返回的 unicodeReader 已经包含了原始文件句柄，
    // 所以在 main 函数中不再需要单独关闭 file。
    // 但如果 NewScannerUTF16 函数内部直接返回 os.File，则需要手动关闭。
    // 在本例中，transform.Reader 会在底层文件读取完成后自动关闭。
    // 但为了严谨性，如果 s 是一个 io.Closer，则应确保关闭。
    // 实际上 transform.Reader 并不直接实现 io.Closer，
    // 所以文件会在程序退出时或垃圾回收时关闭。
    // 如果需要立即关闭，NewScannerUTF16 应该返回一个 struct 包含 Reader 和 Closer。
    // 简单起见，这里假设文件在读取完毕后会由系统自动管理。

    scanner := bufio.NewScanner(s)
    for scanner.Scan() {
        // scanner.Text() 返回的是已经解码为 UTF-8 的字符串
        fmt.Println(scanner.Text()) // Println 会自动添加换行符
    }
    if err := scanner.Err(); err != nil {
        fmt.Fprintf(os.Stderr, "读取输入文件时发生错误: %v\n", err)
    }
}