如何用Golang实现并发HTTP请求_Golang 并发HTTP请求实践-Golang-PHP中文网

如何用Golang实现并发HTTP请求_Golang 并发HTTP请求实践

P粉602998670

发布： 2025-11-25 17:21:07

原创

425人浏览过

使用goroutine和WaitGroup可实现Go语言中的并发HTTP请求，通过示例代码展示了基础并发、channel收集结果及worker池控制并发数的方法。

如何用golang实现并发http请求_golang 并发http请求实践

在Go语言中发起并发HTTP请求是构建高性能网络服务的常见需求。Golang原生支持并发，通过goroutine和channel可以轻松实现高效的并行请求处理。下面介绍几种实用的方法来实现并发HTTP请求，并给出可运行的示例代码。

使用Goroutine + WaitGroup发起并发请求

最基础的方式是为每个HTTP请求启动一个goroutine，使用sync.WaitGroup等待所有请求完成。

这种方式简单直观，适合不需要返回结果顺序的场景。

示例代码：

立即学习“go语言免费学习笔记（深入）”；

package main
<p>import (
"fmt"
"net/http"
"sync"
)</p><p>func fetch(url string, wg *sync.WaitGroup) {
defer wg.Done()
resp, err := http.Get(url)
if err != nil {
fmt.Printf("Error fetching %s: %v\n", url, err)
return
}
defer resp.Body.Close()
fmt.Printf("Fetched %s with status %s\n", url, resp.Status)
}</p><p>func main() {
urls := []string{
"<a href="https://www.php.cn/link/5f69e19efaba426d62faeab93c308f5c">https://www.php.cn/link/5f69e19efaba426d62faeab93c308f5c</a>",
"<a href="https://www.php.cn/link/98a733901e53052474f2320d0a3a9473">https://www.php.cn/link/98a733901e53052474f2320d0a3a9473</a>",
"<a href="https://www.php.cn/link/7ac09a39f051ff62eefbafd363b1bbb3">https://www.php.cn/link/7ac09a39f051ff62eefbafd363b1bbb3</a>",
}</p><pre class="brush:php;toolbar:false;"><pre class="brush:php;toolbar:false;">var wg sync.WaitGroup
for _, url := range urls {
    wg.Add(1)
    go fetch(url, &wg)
}
wg.Wait()

登录后复制

}

通过Channel收集响应结果

如果需要收集每个请求的结果（如响应状态、数据），可以使用channel传递返回值。

这样既能并发执行，又能统一处理结果，避免竞态条件。

示例：

TeemIp - IPAM and DDI solution

TeemIp是一个免费、开源、基于WEB的IP地址管理（IPAM）工具，提供全面的IP管理功能。它允许您管理IPv4、IPv6和DNS空间：跟踪用户请求，发现和分配IP，管理您的IP计划、子网空间、区域和DNS记录，符合最佳的DDI实践。同时，TeemIp的配置管理数据库（CMDB）允许您管理您的IT库存并将您的配置项（CIs）与它们使用的IP关联起来。项目源代码位于https://github.com/TeemIP

查看详情

type result struct {
    url     string
    status  string
    err     error
}
<p>func fetchWithResult(url string, ch chan<- result) {
resp, err := http.Get(url)
if err != nil {
ch <- result{url: url, err: err}
return
}
defer resp.Body.Close()
ch <- result{url: url, status: resp.Status}
}</p><p>func main() {
urls := []string{
"<a href="https://www.php.cn/link/4d2fe2e8601f7a8018594d98f28706f2">https://www.php.cn/link/4d2fe2e8601f7a8018594d98f28706f2</a>",
"<a href="https://www.php.cn/link/8c4b0479f20772cb9b68cf5f161d1e6f">https://www.php.cn/link/8c4b0479f20772cb9b68cf5f161d1e6f</a>",
"<a href="https://www.php.cn/link/ef246753a70fce661e16668898810624">https://www.php.cn/link/ef246753a70fce661e16668898810624</a>",
}</p><pre class="brush:php;toolbar:false;"><pre class="brush:php;toolbar:false;">ch := make(chan result, len(urls))
for _, url := range urls {
    go fetchWithResult(url, ch)
}

for range urls {
    r := <-ch
    if r.err != nil {
        fmt.Printf("Failed: %s -> %v\n", r.url, r.err)
    } else {
        fmt.Printf("Success: %s -> %s\n", r.url, r.status)
    }
}

登录后复制

}

控制并发数量：使用带缓冲的Worker池

无限制地创建goroutine可能导致系统资源耗尽。可以通过固定数量的worker从任务队列中取任务，实现并发控制。

这种方式适合大量URL请求的场景，防止对目标服务器造成过大压力。

实现方式：

创建一个任务channel，放入所有待请求的URL
启动固定数量的worker goroutine
每个worker从channel读取URL并执行请求
使用WaitGroup等待所有worker退出

示例代码片段：

func worker(tasks <-chan string, wg *sync.WaitGroup) {
    defer wg.Done()
    for url := range tasks {
        resp, err := http.Get(url)
        if err != nil {
            fmt.Printf("Error: %s -> %v\n", url, err)
            continue
        }
        fmt.Printf("OK: %s -> %s\n", url, resp.Status)
        resp.Body.Close()
    }
}
<p>func main() {
urls := []string{ /<em> 大量URL </em>/ }
tasks := make(chan string, len(urls))
for _, url := range urls {
tasks <- url
}
close(tasks)</p><pre class="brush:php;toolbar:false;"><pre class="brush:php;toolbar:false;">var wg sync.WaitGroup
for i := 0; i < 5; i++ { // 并发数为5
    wg.Add(1)
    go worker(tasks, &wg)
}
wg.Wait()

登录后复制

}

优化HTTP客户端配置

默认的http.Client可能不够高效。自定义Client可提升性能：

复用TCP连接（启用Keep-Alive）
设置合理的超时时间
限制最大空闲连接数

示例配置：

client := &http.Client{
    Timeout: 10 * time.Second,
    Transport: &http.Transport{
        MaxIdleConns:        100,
        IdleConnTimeout:     90 * time.Second,
        DisableCompression:  true,
    },
}
// 使用 client.Do(req) 替代 http.Get

登录后复制

基本上就这些。Golang的并发模型让HTTP并发请求变得简单而高效。根据实际需求选择合适的模式——小规模请求用WaitGroup，需结果汇总用channel，大规模任务用worker池配合限流。合理配置HTTP客户端能进一步提升稳定性和吞吐量。

以上就是如何用Golang实现并发HTTP请求_Golang 并发HTTP请求实践的详细内容，更多请关注php中文网其它相关文章！