如何在Golang中实现并发爬虫-Golang-PHP中文网

如何在Golang中实现并发爬虫

P粉602998670

发布： 2025-10-27 22:03:01

原创

974人浏览过

答案是利用Goroutine和Channel实现并发爬虫。通过为每个URL创建Goroutine执行fetch函数，并使用Channel传递结果，实现高效并发抓取，提升爬虫性能。

如何在golang中实现并发爬虫

在Golang中实现并发爬虫，核心在于利用Goroutine和Channel高效发起网络请求并处理响应。Go语言天生适合并发编程，通过轻量级的Goroutine和通信机制Channel，可以轻松构建高性能的爬虫系统。

使用Goroutine发起并发请求

每个网页抓取任务可以封装为一个函数，用Goroutine并发执行。这样能同时处理多个URL，显著提升抓取速度。

示例：启动多个Goroutine抓取不同页面

func fetch(url string, ch chan string) {
    resp, err := http.Get(url)
    if err != nil {
        ch <- fmt.Sprintf("Error: %s", url)
        return
    }
    defer resp.Body.Close()
    ch <- fmt.Sprintf("Success: %s (status: %d)", url, resp.StatusCode)
}
<p>// 主函数中并发调用
urls := []string{"<a href="https://www.php.cn/link/b05edd78c294dcf6d960190bf5bde635">https://www.php.cn/link/b05edd78c294dcf6d960190bf5bde635</a>", "<a href="https://www.php.cn/link/4d2fe2e8601f7a8018594d98f28706f2">https://www.php.cn/link/4d2fe2e8601f7a8018594d98f28706f2</a>", ...}
ch := make(chan string, len(urls))
for _, url := range urls {
go fetch(url, ch)
}
for range urls {
fmt.Println(<-ch)
}</p>

登录后复制

用Channel控制并发数量

无限制地开启Goroutine可能导致目标服务器压力过大或本地资源耗尽。使用带缓冲的Channel作为信号量，可有效控制最大并发数。

立即学习“go语言免费学习笔记（深入）”；

方法是创建一个容量固定的Channel，在每个任务开始前获取令牌，完成后释放。

PHP5 和 MySQL 圣经

本书是全面讲述PHP与MySQL的经典之作，书中不但全面介绍了两种技术的核心特性，还讲解了如何高效地结合这两种技术构建健壮的数据驱动的应用程序。本书涵盖了两种技术新版本中出现的最新特性，书中大量实际的示例和深入的分析均来自于作者在这方面多年的专业经验，可用于解决开发者在实际中所面临的各种挑战。

466

查看详情

semaphore := make(chan struct{}, 10) // 最多10个并发
ch := make(chan string, len(urls))
<p>for _, url := range urls {
go func(u string) {
semaphore <- struct{}{} // 获取令牌
resp, err := http.Get(u)
result := ""
if err != nil {
result = "Failed"
} else {
result = fmt.Sprintf("Status: %d", resp.StatusCode)
resp.Body.Close()
}
ch <- result
<-semaphore // 释放令牌
}(url)
}</p>

登录后复制

结合Context管理超时与取消

网络请求应设置超时机制，避免长时间阻塞。使用context.WithTimeout可为请求设定最长等待时间。

将Context传入http.Get，能在超时后自动中断请求。

client := &http.Client{
    Timeout: 10 * time.Second,
}
<p>ctx, cancel := context.WithTimeout(context.Background(), 5*time.Second)
defer cancel()</p><p>req, _ := http.NewRequestWithContext(ctx, "GET", url, nil)
resp, err := client.Do(req)</p>

登录后复制

解析HTML与数据提取

抓取到页面内容后，常用goquery或直接使用net/html进行解析。goquery语法类似jQuery，更易上手。

示例：提取页面标题

doc, err := goquery.NewDocumentFromReader(resp.Body)
if err != nil {
    log.Fatal(err)
}
title := doc.Find("title").Text()
fmt.Println("Title:", title)

登录后复制

基本上就这些。合理使用Goroutine、Channel和Context，就能写出稳定高效的并发爬虫。注意遵守robots.txt，控制请求频率，避免对目标网站造成负担。并发爬虫虽强，也需文明使用。

以上就是如何在Golang中实现并发爬虫的详细内容，更多请关注php中文网其它相关文章！