Golang并发网络请求批量处理示例-Golang-PHP中文网

Golang并发网络请求批量处理示例

P粉602998670

发布： 2025-09-20 16:36:01

原创

661人浏览过

使用goroutine和channel可高效并发处理批量网络请求，通过限制并发数和加入超时控制优化资源使用。

golang并发网络请求批量处理示例

在Go语言中，使用并发处理批量网络请求是一种常见且高效的实践。通过 goroutine 和 channel，可以轻松实现多个请求的并行发送，并统一收集结果或错误。下面是一个实用的示例，展示如何并发地发起多个HTTP请求，并进行批量处理。

使用 Goroutine 和 Channel 批量请求

核心思路是为每个请求启动一个 goroutine，将结果通过 channel 返回，主协程通过 select 或 range 接收结果。

示例代码：

package main
<p>import (
"fmt"
"net/http"
"sync"
)</p><p>type Result struct {
URL      string
Status   int
Err      error
}</p><p>func fetchURL(url string, ch chan<- Result) {
resp, err := http.Get(url)
if err != nil {
ch <- Result{URL: url, Err: err}
return
}
defer resp.Body.Close()
ch <- Result{URL: url, Status: resp.StatusCode}
}</p><p>func main() {
urls := []string{
"<a href="https://www.php.cn/link/98a733901e53052474f2320d0a3a9473">https://www.php.cn/link/98a733901e53052474f2320d0a3a9473</a>",
"<a href="https://www.php.cn/link/8c4b0479f20772cb9b68cf5f161d1e6f">https://www.php.cn/link/8c4b0479f20772cb9b68cf5f161d1e6f</a>",
"<a href="https://www.php.cn/link/874b2add857bd9bcc60635a51eb2b697">https://www.php.cn/link/874b2add857bd9bcc60635a51eb2b697</a>",
"<a href="https://www.php.cn/link/ef246753a70fce661e16668898810624">https://www.php.cn/link/ef246753a70fce661e16668898810624</a>",
}</p><pre class="brush:php;toolbar:false;"><pre class="brush:php;toolbar:false;">var wg sync.WaitGroup
ch := make(chan Result, len(urls)) // 缓冲channel避免阻塞

for _, url := range urls {
    wg.Add(1)
    go func(u string) {
        defer wg.Done()
        fetchURL(u, ch)
    }(url)
}

// 关闭channel当所有goroutine完成
go func() {
    wg.Wait()
    close(ch)
}()

// 收集结果
for result := range ch {
    if result.Err != nil {
        fmt.Printf("请求 %s 失败: %v\n", result.URL, result.Err)
    } else {
        fmt.Printf("请求 %s 成功，状态码: %d\n", result.URL, result.Status)
    }
}

登录后复制

}

限制并发数量（使用信号量）

如果请求量很大，同时发起全部请求可能耗尽资源。可以通过带缓冲的 channel 实现并发控制。

立即学习“go语言免费学习笔记（深入）”；

商汤商量

商汤科技研发的AI对话工具，商量商量，都能解决。

查看详情

改进版本：限制最大并发数

// 在main中修改goroutine启动方式
semaphore := make(chan struct{}, 3) // 最多3个并发
<p>for _, url := range urls {
wg.Add(1)
go func(u string) {
defer wg.Done()
semaphore <- struct{}{} // 获取令牌
fetchURL(u, ch)
<-semaphore // 释放令牌
}(url)
}

登录后复制

超时控制与上下文（Context）

实际应用中应加入请求超时，避免长时间等待。可使用 context 控制生命周期。

func fetchURLWithContext(url string, ch chan<- Result) {
    ctx, cancel := context.WithTimeout(context.Background(), 5*time.Second)
    defer cancel()
<pre class="brush:php;toolbar:false;"><pre class="brush:php;toolbar:false;">req, _ := http.NewRequestWithContext(ctx, "GET", url, nil)
resp, err := http.DefaultClient.Do(req)
if err != nil {
    ch <- Result{URL: url, Err: err}
    return
}
defer resp.Body.Close()
ch <- Result{URL: url, Status: resp.StatusCode}

登录后复制

}

结果聚合与错误处理

可以根据需要对结果进一步处理，比如统计成功/失败数量，或只返回成功结果。

例如，在接收阶段统计：

successCount, failCount := 0, 0
for result := range ch {
    if result.Err != nil {
        failCount++
        // 可记录日志或重试
    } else {
        successCount++
    }
    fmt.Printf("[%s] %d\n", result.URL, result.Status)
}
fmt.Printf("完成: 成功=%d, 失败=%d\n", successCount, failCount)

登录后复制

基本上就这些。Golang 的并发模型让批量网络请求变得简单高效，合理使用 channel、WaitGroup 和 context 能写出稳定可靠的并发代码。注意控制并发数和设置超时，避免系统资源耗尽。

以上就是Golang并发网络请求批量处理示例的详细内容，更多请关注php中文网其它相关文章！