Go语言中CSV数据导入MS SQL的健壮性实践：解决记录丢失问题

for {
    record, err := c.Read()
    if err == io.EOF { // 遇到EOF直接跳出，可能丢失最后一条记录
        break
    } else if err != nil {
        fmt.Printf("Error while reading %s: %s\n", filename, err)
    } else {
        // 处理记录
    }
    fmt.Printf(" ") // 这里的fmt.Printf可能只是掩盖了问题
}

for {
    record, err := c.Read()
    if err != nil {
        if err != io.EOF { // 非EOF错误，打印并退出
            fmt.Printf("Error while reading %s: %s\n", filename, err)
            break
        }
        // 如果是io.EOF，且record为空，则表示文件已完全读完，可以安全退出
        if len(record) == 0 {
            break
        }
        // 如果是io.EOF，但record不为空，说明这是最后一条记录，继续处理
    }
    // ... 处理 record ...
}

stmt, err := dest.Prepare(query)
if stmt == nil { // 检查stmt是否为nil，但没有检查Execute的错误
    fmt.Printf("Error preparing statment: %s\nQuery: %s\n%v\n\n", err, query, params)
} else {
    stmt.Execute(params...) // 这里的错误没有被捕获
    stmt.Close() // 如果Execute失败，Close可能不会被调用
}

func insertRecord(conn *odbc.Connection, query string, params []interface{}) error {
    stmt, err := conn.Prepare(query)
    // 使用defer确保stmt在函数返回前关闭，无论函数是否出错
    defer func() {
        if stmt != nil {
            stmt.Close()
        }
    }()
    if err != nil {
        return fmt.Errorf("error preparing statement: %w", err)
    }

    // 执行语句，并检查执行结果的错误
    err = stmt.Execute(params...)
    if err != nil {
        return fmt.Errorf("error executing statement: %w", err)
    }
    return nil
}

// ... (在主循环中) ...
err = insertRecord(dest, query, params)
if err != nil {
    // 打印详细的错误信息，包括查询、参数和原始记录，便于调试
    err = fmt.Errorf("failed to insert record: %w\nQuery: %s\nParams: %v\nRecord: %s",
        err, query, params, strings.Join(record, "||"))
    fmt.Println(err)
    continue // 遇到错误跳过当前记录，继续处理下一条
}
// ...

package main

import (
    "encoding/csv"
    "fmt"
    "io"
    "log"
    "os"
    "regexp"
    "strings"

    "github.com/alexbrainman/odbc" // 假设使用go-odbc
)

// insertRecord 负责执行数据库插入操作，并确保语句资源正确释放
func insertRecord(conn *odbc.Connection, query string, params []interface{}) error {
    stmt, err := conn.Prepare(query)
    // 使用defer确保stmt在函数返回前关闭，无论函数是否出错
    defer func() {
        if stmt != nil {
            err := stmt.Close()
            if err != nil {
                log.Printf("Error closing statement: %v", err)
            }
        }
    }()
    if err != nil {
        return fmt.Errorf("error preparing statement: %w", err)
    }

    // 执行语句，并检查执行结果的错误
    err = stmt.Execute(params...)
    if err != nil {
        return fmt.Errorf("error executing statement: %w", err)
    }
    return nil
}

func main() {
    filename := "data.csv" // 假设CSV文件名为data.csv
    tablename := "YourTableName" // 替换为你的表名
    numElements := 5 // 假设每条记录有5个字段需要插入
    fieldNames := []string{"Field1", "Field2", "Field3", "Field4", "Field5"} // 替换为你的字段名

    // 模拟数据库连接
    // 实际应用中，你需要建立一个真实的ODBC连接
    // 例如: connStr := "DRIVER={ODBC Driver 17 for SQL Server};SERVER=your_server;DATABASE=your_db;UID=your_user;PWD=your_password"
    // dest, err := odbc.Connect(connStr)
    // if err != nil {
    //  log.Fatalf("Failed to connect to database: %v", err)
    // }
    // defer dest.Close()
    // 这里使用一个nil连接模拟，实际使用时请替换为真实的odbc.Connection
    var dest *odbc.Connection = nil 
    // 为了让示例编译通过，我们创建一个假的连接对象，实际应用中请替换为真实连接
    // dest = &odbc.Connection{} // 这是一个不安全的模拟，实际请使用odbc.Connect

    // 模拟CSV文件读取
    f, err := os.Open(filename)
    if err != nil {
        log.Fatalf("Error opening CSV file %s: %v", filename, err)
    }
    defer f.Close()

    c := csv.NewReader(f)
    // c.FieldsPerRecord = -1 // 如果每行字段数不固定，可以设置

    // 用于替换字符串开头和结尾的单引号
    re, err := regexp.Compile("^'|'$")
    if err != nil {
        log.Fatalf("Error compiling regex: %v", err)
    }

    for {
        record, err := c.Read()
        if err != nil {
            if err == io.EOF {
                // 遇到EOF，检查是否还有未处理的记录
                if len(record) == 0 { // 如果record为空，说明文件已完全读取完毕
                    break
                }
                // 如果record不为空，说明这是最后一条记录，继续处理
            } else { // 其他读取错误
                fmt.Printf("Error while reading %s: %s\n", filename, err)
                break // 遇到非EOF错误，退出循环
            }
        }

        // 准备插入参数和字段
        params := make([]interface{}, 0, numElements)
        valueHolders := make([]string, 0, numElements)
        tmpFields := make([]string, 0, numElements)
        count := 0

        for i := 1; i <= numElements; i++ { // 假设CSV的第一个字段是索引或不需要导入
            if i >= len(record) { // 防止索引越界
                break
            }
            tmp := re.ReplaceAllString(record[i], "")

            // 仅插入非空值
            if len(tmp) > 0 {
                // 动态调整切片大小并赋值
                params = append(params, tmp)
                valueHolders = append(valueHolders, "?")
                tmpFields = append(tmpFields, fieldNames[i-1]) // fieldNames 索引从0开始

                count++
            }
        }

        // 构造插入查询
        query := "insert into [l2test].[dbo]." + tablename +
            " (" + strings.Join(tmpFields, ",") + ")" +
            " values (" + strings.Join(valueHolders, ",") + ")"

        // 调用封装的插入函数
        err = insertRecord(dest, query, params)
        if err != nil {
            // 打印详细的错误信息，包括查询、参数和原始记录，便于调试
            err = fmt.Errorf("failed to insert record: %w\nQuery: %s\nParams: %v\nRecord: %s",
                err, query, params, strings.Join(record, "||"))
            fmt.Println(err)
            continue // 遇到错误跳过当前记录，继续处理下一条
        }
    }
    fmt.Println("CSV data import complete.")
}