Go并发HTTP请求中“no such host”错误的根源与解决方案

理解Go并发HTTP请求中的“no such host”错误

在go语言中进行网络编程时，尤其是在执行大量并发http请求时，开发者可能会遇到lookup www.httpbin.org: no such host这类错误。这通常发生在并发请求数量达到某个临界值（例如1000个左右）之后。初看之下，许多人会怀疑是否未正确关闭http响应体（res.body.close()），因为这可能导致资源泄露。然而，即使代码中已明确调用res.body.close()，问题依然可能存在。

让我们看一个简化的Go程序示例，它尝试并行发送大量HTTP GET请求：

package main

import (
    "fmt"
    "io/ioutil"
    "net/http"
    "sync" // 引入sync包用于等待所有goroutine完成
)

func getURL(url string) ([]byte, error) {
    // 每次请求都创建一个新的http.Client，这在高并发下效率较低
    // 但为了演示文件描述符问题，此处保持这种写法
    client := &http.Client{}
    req, err := http.NewRequest("GET", url, nil)
    if err != nil {
        fmt.Printf("Error creating request for %s: %v\n", url, err)
        return nil, err
    }

    res, err := client.Do(req)
    if err != nil {
        // 错误可能表现为 "lookup www.httpbin.org: no such host"
        fmt.Printf("Error fetching %s: %v\n", url, err)
        return nil, err
    }
    defer res.Body.Close() // 确保响应体被关闭

    bytes, readErr := ioutil.ReadAll(res.Body)
    if readErr != nil {
        fmt.Printf("Error reading response body for %s: %v\n", url, readErr)
        return nil, readErr
    }

    // fmt.Printf("Successfully fetched %s, response length: %d\n", url, len(bytes))
    return bytes, nil
}

func main() {
    var wg sync.WaitGroup
    numRequests := 1040 // 尝试一个可能触发错误的数量

    for i := 0; i < numRequests; i++ {
        wg.Add(1)
        go func(index int) {
            defer wg.Done()
            url := fmt.Sprintf("http://www.httpbin.org/get?a=%d", index)
            _, _ = getURL(url) // 忽略返回值，只关注错误输出
        }(i)
    }

    wg.Wait()
    fmt.Println("All requests attempted.")
}

尽管上述代码中使用了defer res.Body.Close()来确保资源被释放，但在高并发下，仍然可能出现no such host的错误。这表明问题并非出在Go语言层面的HTTP客户端使用不当，而是更深层次的系统限制。

文件描述符与网络连接

在类Unix系统中，文件描述符（File Descriptor, FD）是一个核心概念。它是一个非负整数，用于索引进程打开的文件、套接字（socket）或其他I/O资源。每当一个进程打开一个文件、建立一个网络连接（包括进行DNS查询），甚至管道或设备文件，都会消耗一个文件描述符。

当Go程序发起一个HTTP请求时，它会涉及以下步骤：

1. DNS解析： Go运行时需要查询目标主机（如www.httpbin.org）的IP地址。这个DNS查询本身可能需要打开一个UDP或TCP套接字，从而消耗一个文件描述符。
2. 建立TCP连接： 在获得IP地址后，Go会尝试与目标服务器建立TCP连接，这会消耗另一个文件描述符。
3. 发送/接收数据： 在已建立的连接上进行数据传输。

如果Go程序在短时间内创建了大量的并发HTTP请求，即使每个请求的生命周期很短，也可能在某个瞬间同时存在大量的待处理DNS查询和TCP连接尝试。当这些并发操作所需的总文件描述符数量超过操作系统为该进程设定的上限时，新的网络操作（包括DNS查询）将无法创建必要的套接字，从而导致lookup no such host这类错误。这实际上是系统资源耗尽的一种表现。

解决方案：调整文件描述符限制

解决“no such host”错误的关键在于增加操作系统允许进程打开的文件描述符数量。这个限制由ulimit -n命令控制。

1. 检查当前文件描述符限制

在终端中运行以下命令，可以查看当前会话的各种资源限制，包括文件描述符（file descriptors）：

ulimit -a

输出示例（注意file descriptors一行）：

-t: cpu time (seconds)         unlimited
-f: file size (blocks)         unlimited
-d: data seg size (kbytes)     unlimited
-s: stack size (kbytes)        8192
-c: core file size (blocks)    0
-v: address space (kb)         unlimited
-l: locked-in-memory size (kb) unlimited
-u: processes                  709
-n: file descriptors           1024  # 这是一个常见的默认值，可能导致问题

如果file descriptors的值（如1024）低于你的并发需求，那么这就是问题所在。

2. 临时增加文件描述符限制

你可以在当前终端会话中临时增加文件描述符限制。这对于测试和开发非常有用，但重启终端或系统后会失效。

挖错网

一款支持文本、图片、视频纠错和AIGC检测的内容审核校对平台。

28

查看详情

ulimit -n 5000 # 将限制设置为5000，你可以根据需要调整

执行后通常不会有输出。你可以再次运行ulimit -n来验证更改是否生效：

ulimit -n
5000

修改后，再运行Go程序，你会发现no such host错误消失了。

3. 永久增加文件描述符限制

对于生产环境，你需要永久性地修改文件描述符限制。这通常通过编辑系统配置文件来实现。

• 针对特定用户或全局（推荐方式）： 编辑/etc/security/limits.conf文件。在该文件中添加以下行（将your_user替换为实际的用户名，或使用*代表所有用户）：

  # <domain>      <type>  <item>         <value>
  your_user       soft    nofile         5000
  your_user       hard    nofile         10000

  登录后复制

  soft限制是当前生效的限制，hard限制是soft限制可以达到的最大值。通常，将hard限制设置得更高一些，以便在运行时可以进一步提高soft限制。 保存文件后，用户需要重新登录才能使更改生效。

• 针对系统服务（如通过systemd管理的服务）： 如果你运行的是一个通过systemd管理的服务（例如一个Go编写的Web服务），你需要在其systemd服务单元文件中设置LimitNOFILE参数。 编辑或创建/etc/systemd/system/your_service.service文件（如果服务名为your_service）：

  [Unit]
  Description=My Go Service
  
  [Service]
  ExecStart=/path/to/your/go/app
  Restart=always
  User=your_user
  LimitNOFILE=65535 # 设置文件描述符限制为65535
  
  [Install]
  WantedBy=multi-user.target

  登录后复制

  保存文件后，需要重新加载systemd配置并重启服务：

  sudo systemctl daemon-reload
  sudo systemctl restart your_service

  登录后复制

注意事项与最佳实践

1. 选择合适的限制值： 不要盲目设置一个非常大的值（如100万），因为这可能会消耗更多系统资源。根据你的应用程序的并发需求和系统能力，选择一个合理的值。通常，几千到几万是常见的。

2. 系统资源： 增加文件描述符限制后，系统可能需要处理更多的并发连接，这会消耗更多的内存和CPU。确保你的服务器有足够的资源来支持新的限制。

3. Go HTTP客户端优化： 尽管本文的重点是文件描述符限制，但在Go中处理高并发HTTP请求时，使用共享的http.Client实例并配置其Transport是最佳实践。这允许连接复用（HTTP Keep-Alive），减少了TCP连接建立和关闭的开销，从而更有效地利用文件描述符。

   import (
       "net/http"
       "time"
   )
   
   var httpClient = &http.Client{
       Timeout: 10 * time.Second, // 设置超时
       Transport: &http.Transport{
           MaxIdleConns:        1000,              // 最大空闲连接数
           MaxIdleConnsPerHost: 100,               // 每个主机的最大空闲连接数
           IdleConnTimeout:     90 * time.Second,  // 空闲连接超时时间
           // 其他配置，如TLSClientConfig, DisableKeepAlives等
       },
   }
   
   func getURLOptimized(url string) ([]byte, error) {
       // 使用共享的httpClient
       req, err := http.NewRequest("GET", url, nil)
       if err != nil {
           return nil, err
       }
       res, err := httpClient.Do(req)
       if err != nil {
           return nil, err
       }
       defer res.Body.Close()
       return ioutil.ReadAll(res.Body)
   }

   登录后复制

   通过这种方式，即使在文件描述符限制足够的情况下，也能进一步提高性能和资源利用率。

总结

当Go程序在高并发场景下遇到lookup no such host错误时，除了检查代码中的资源释放（如res.Body.Close()）外，更应关注操作系统层面的文件描述符限制。通过ulimit -n命令检查和调整这一限制，可以有效解决因系统资源耗尽导致的网络I/O错误。同时，结合Go语言HTTP客户端的优化实践，能够构建出更健壮、高效的高并发网络应用。

以上就是Go并发HTTP请求中“no such host”错误的根源与解决方案的详细内容，更多请关注php中文网其它相关文章！