Golang并发模式之fan-in fan-out应用-Golang-PHP中文网

Golang并发模式之fan-in fan-out应用

P粉602998670

发布： 2025-09-15 11:21:01

原创

482人浏览过

fan-out指将任务分发给多个goroutine并发处理，fan-in指将多个结果通道合并为一个。通过输入通道分发URL任务，启动10个worker并发抓取数据，每个worker将响应长度发送到输出通道，主函数从输出通道接收并汇总结果，实现高效并发处理。需注意控制并发数、关闭通道时机及使用context管理超时。

golang并发模式之fan-in fan-out应用

在Go语言中，fan-in fan-out 是一种常见的并发设计模式，用于提升数据处理的吞吐量。它通过多个goroutine并行处理任务（fan-out），再将结果汇聚到一个通道中（fan-in），非常适合需要高并发处理大量独立任务的场景，比如数据抓取、消息处理、批量计算等。

什么是fan-out（扇出）

fan-out 指的是将输入数据分发给多个工作 goroutine 并发处理。这样可以充分利用多核CPU，加快处理速度。

例如：有一批待处理的任务，我们启动多个 worker 同时消费这些任务，每个 worker 独立运行，互不阻塞。

常见做法：

立即学习“go语言免费学习笔记（深入）”；

使用一个输入通道分发任务
启动多个 goroutine 从该通道读取并处理
每个 worker 处理完后将结果发送到输出通道

什么是fan-in（扇入）

fan-in 是把多个通道的数据合并到一个通道中，方便主流程统一接收和处理所有 worker 的输出。

利用 Go 的通道选择机制（select），可以从多个输出通道中读取数据，无需等待某个特定通道。

无阶未来模型擂台/AI 应用平台

无阶未来模型擂台/AI 应用平台，一站式模型+应用平台

查看详情

实现方式通常有两种：

显式使用 select 监听多个通道
通过独立的 goroutine 将各个 worker 的输出写入同一个结果通道

一个完整的fan-in fan-out示例

假设我们要处理一批URL，获取它们的响应长度，并统计总耗时。我们可以用 fan-out 启动多个 worker 并发请求，再用 fan-in 收集结果。

func fetch(url string) int {
    resp, err := http.Get(url)
    if err != nil {
        return 0
    }
    defer resp.Body.Close()
    body, _ := io.ReadAll(resp.Body)
    return len(body)
}
<p>func main() {
urls := []string{ /<em> 一堆URL </em>/ }</p><pre class="brush:php;toolbar:false;"><pre class="brush:php;toolbar:false;">// 输入通道
in := make(chan string, len(urls))
for _, url := range urls {
    in <- url
}
close(in)

// 输出通道
out := make(chan int, len(urls))

// 启动多个worker（fan-out）
for i := 0; i < 10; i++ {
    go func() {
        for url := range in {
            length := fetch(url)
            out <- length
        }
    }()
}

// 关闭out通道，当所有worker完成时
go func() {
    for i := 0; i < 10; i++ {
        <-inWorkerDone // 等待所有worker退出（简化起见可省略计数）
    }
    close(out)
}()

// 读取所有结果（fan-in）
var total int
for result := range out {
    total += result
}

fmt.Println("Total data length:", total)

登录后复制

}

这个例子中：