使用 Go 语言高效生成大型随机 CSV 测试文件

f, err := os.Create("/tmp/largefile") // 创建文件
if err != nil {
    fmt.Println(err)
    return
}
defer f.Close() // 确保文件在函数结束时关闭
w := bufio.NewWriter(f) // 创建带缓冲的写入器
defer w.Flush() // 确保所有缓冲数据在函数结束时写入文件

fileSize := int64(10e9) // 目标文件大小，例如 10GB
size := int64(0)        // 当前已写入文件大小
for size < fileSize {
    // ... 生成 line 字符串 ...
    line := prefix + ":" + name + ":" + timestamp + ", " + number + "\n"

    n, err := w.WriteString(line) // 写入一行数据
    if err != nil {
        fmt.Println("写入错误:", err)
        return
    }
    size += int64(len(line)) // 更新已写入大小
}

package main

import (
    "bufio"
    "fmt"
    "math/rand"
    "os"
    "strconv"
    "time"
)

func main() {
    // 1. 定义目标文件大小 (10GB)
    fileSize := int64(10e9) // 10GB = 10 * 10^9 字节

    // 2. 创建文件
    // 注意: 请根据您的系统和权限选择合适的路径，例如 "/tmp/largefile" 或 "./largefile.csv"
    f, err := os.Create("/tmp/largefile.csv") 
    if err != nil {
        fmt.Printf("创建文件失败: %v\n", err)
        return
    }
    // 确保文件在函数退出时关闭
    defer func() {
        if closeErr := f.Close(); closeErr != nil {
            fmt.Printf("关闭文件失败: %v\n", closeErr)
        }
    }()

    // 3. 创建带缓冲的写入器
    w := bufio.NewWriter(f)
    // 确保所有缓冲数据在函数退出时写入文件
    defer func() {
        if flushErr := w.Flush(); flushErr != nil {
            fmt.Printf("刷新缓冲区失败: %v\n", flushErr)
        }
    }()

    // 4. 定义数据源
    prefixes := []string{"login", "logout", "register"}
    names := []string{"jbill", "dkennedy", "asmith", "bjones", "ccarter"} // 增加一些用户名

    // 5. 定义时间范围 (2012年1月1日 到 2013年1月1日)
    timeStart := time.Date(2012, 1, 1, 0, 0, 0, 0, time.UTC)
    timeEnd := timeStart.AddDate(1, 0, 0) // 2013年1月1日
    timeDur := timeEnd.Sub(timeStart)     // 一年的时间跨度

    // 6. 初始化随机数种子，确保每次运行生成不同的随机序列
    rand.Seed(time.Now().UnixNano())

    // 7. 循环生成并写入数据，直到达到目标文件大小
    currentSize := int64(0)
    lineCount := 0 // 记录行数，可选

    fmt.Printf("开始生成文件，目标大小: %.2f GB\n", float64(fileSize)/1e9)

    for currentSize < fileSize {
        // 随机选择前缀
        prefix := prefixes[rand.Intn(len(prefixes))]
        // 随机选择用户名
        name := names[rand.Intn(len(names))]

        // 在指定时间范围内随机生成时间戳
        randomOffset := rand.Int63n(int64(timeDur))
        randomTime := timeStart.Add(time.Duration(randomOffset))
        // 格式化时间为 "YYYY/M/D"
        timestamp := randomTime.Format("2006/1/2")

        // 生成 1 到 100 之间的随机数字
        number := strconv.Itoa(rand.Intn(100) + 1)

        // 构造数据行
        line := prefix + ":" + name + ":" + timestamp + ", " + number + "\n"

        // 写入数据行
        n, err := w.WriteString(line)
        if err != nil {
            fmt.Printf("写入数据失败: %v\n", err)
            return
        }
        currentSize += int64(n) // 更新已写入的字节数
        lineCount++

        // 可选: 每写入一定数量的行或达到一定大小，打印进度
        if lineCount%100000 == 0 {
            fmt.Printf("\r已写入: %.2f GB (%.2f%%)", float64(currentSize)/1e9, float64(currentSize)/float64(fileSize)*100)
        }
    }

    fmt.Printf("\n文件生成完成。最终大小: %.2f GB (%d 字节), 共 %d 行\n", float64(currentSize)/1e9, currentSize, lineCount)
}

开始生成文件，目标大小: 10.00 GB
已写入: 0.10 GB (1.00%)
...
已写入: 9.99 GB (99.90%)
文件生成完成。最终大小: 10.00 GB (10000000000 字节), 共 123456789 行