Go语言中的数据转换与聚合：map和reduce的替代方案与并发考量

package main

import (
    "fmt"
)

// mapFunction 示例：将字节值加1
func mapFunction(b byte) byte {
    return b + 1
}

func main() {
    data := make([]byte, 5)
    for i := range data {
        data[i] = byte(i) // 初始数据: [0 1 2 3 4]
    }
    fmt.Printf("原始数据: %v\n", data)

    // 模拟 map() 操作：遍历切片，对每个元素应用 mapFunction
    for i := 0; i < len(data); i++ {
        data[i] = mapFunction(data[i])
    }
    fmt.Printf("map后数据: %v\n", data) // 预期: [1 2 3 4 5]
}

package main

import (
    "fmt"
)

// reduceFunction 示例：计算切片中所有元素的和
func reduceFunction(accumulator int, element byte) int {
    return accumulator + int(element)
}

func main() {
    data := []byte{1, 2, 3, 4, 5}
    fmt.Printf("原始数据: %v\n", data)

    // 模拟 reduce() 操作，计算总和
    sum := 0 // 初始累加器
    for i := 0; i < len(data); i++ {
        sum = reduceFunction(sum, data[i])
    }
    fmt.Printf("reduce后总和: %d\n", sum) // 预期: 15

    // 另一个 reduce 示例，可能涉及多个状态变量
    // 假设在处理CSV文件时，需要跟踪引号状态等
    inQuote := false // 状态变量1
    fieldBuffer := "" // 状态变量2
    processedData := make([]string, 0)

    csvBytes := []byte(`"hello,world",go`)
    for _, b := range csvBytes {
        switch b {
        case '"':
            inQuote = !inQuote
            if !inQuote { // 结束引号，字段处理完毕
                processedData = append(processedData, fieldBuffer)
                fieldBuffer = ""
            }
        case ',':
            if !inQuote { // 逗号不在引号内，表示字段分隔
                processedData = append(processedData, fieldBuffer)
                fieldBuffer = ""
            } else {
                fieldBuffer += string(b) // 逗号在引号内，作为字段内容
            }
        default:
            fieldBuffer += string(b)
        }
    }
    if fieldBuffer != "" { // 处理最后一个字段
        processedData = append(processedData, fieldBuffer)
    }
    fmt.Printf("CSV reduce后字段: %v\n", processedData) // 预期: ["hello,world" "go"]
}

package main

import (
    "fmt"
    "sync"
    "time"
)

// 模拟一个耗时的 mapFunction
func slowMapFunction(b byte) byte {
    time.Sleep(10 * time.Millisecond) // 模拟耗时操作
    return b + 1
}

func main() {
    data := make([]byte, 100)
    for i := range data {
        data[i] = byte(i)
    }

    fmt.Println("开始并发 map 操作...")
    start := time.Now()

    var wg sync.WaitGroup
    result := make([]byte, len(data)) // 用于存储并发处理结果

    for i, val := range data {
        wg.Add(1)
        go func(index int, value byte) {
            defer wg.Done()
            result[index] = slowMapFunction(value)
        }(i, val)
    }

    wg.Wait()
    fmt.Printf("并发 map 完成，耗时: %v\n", time.Since(start))
    // fmt.Printf("结果: %v\n", result) // 打印结果验证

    // 对比串行执行
    fmt.Println("开始串行 map 操作...")
    start = time.Now()
    sequentialResult := make([]byte, len(data))
    for i, val := range data {
        sequentialResult[i] = slowMapFunction(val)
    }
    fmt.Printf("串行 map 完成，耗时: %v\n", time.Since(start))
}