如何使用Golang开发简单的爬虫项目-Golang-PHP中文网

如何使用Golang开发简单的爬虫项目

P粉602998670

发布： 2025-09-30 18:17:02

原创

541人浏览过

答案：Golang爬虫需发送请求、解析HTML、设置请求头防封、保存数据。使用net/http发起GET请求，goquery解析页面内容，自定义User-Agent和延时控制频率，数据可存为JSON或数据库，适合高并发扩展。

如何使用golang开发简单的爬虫项目

用Golang开发简单的爬虫项目并不复杂，主要依赖标准库和一些第三方包来完成HTTP请求、HTML解析和数据提取。下面是一个清晰的实现路径，帮助你快速上手。

1. 发送HTTP请求获取网页内容

使用 net/http 包可以轻松发起GET请求获取网页HTML内容。

调用 http.Get(url) 获取响应
检查返回状态码是否为200
读取响应体并转为字符串

示例代码：

resp, err := http.Get("https://httpbin.org/html")
if err != nil {
    log.Fatal(err)
}
defer resp.Body.Close()

body, err := io.ReadAll(resp.Body)
if err != nil {
    log.Fatal(err)
}

html := string(body)

登录后复制

2. 解析HTML提取所需数据

Golang标准库没有内置的CSS选择器或类似jQuery的工具，推荐使用第三方库 goquery，它类似于jQuery的语法，非常方便。

立即学习“go语言免费学习笔记（深入）”；

安装：go get github.com/PuerkitoBio/goquery
将HTML字符串转为Reader，传入goquery.NewDocumentFromReader
使用Find和Each方法遍历元素

示例：提取页面标题和所有段落文本

XiunoPHP框架 4.0 开发

XiunoPHP前身名为 Xiuno Framework，更名后版本号从 v1.0 开始计算。已经经过了多年的实际项目检测和调整，很稳定了不会再有大的变化，接口方面已定型。 XiunoPHP是一款面向高负载应用的 PHP 开发框架，PHPer 通过它可以快速的简单的开发出高负载项目。它诞生于 NoSQL 刚刚兴起的时代，从开始就良好的支持 NoSQL DB，比如 MongoDB，当让也可以通

414

查看详情

doc, err := goquery.NewDocumentFromReader(strings.NewReader(html))
if err != nil {
    log.Fatal(err)
}

title := doc.Find("h1").Text()
fmt.Println("标题:", title)

doc.Find("p").Each(func(i int, s *goquery.Selection) {
    fmt.Printf("段落 %d: %s\n", i, s.Text())
})

登录后复制

3. 处理请求频率与User-Agent

避免被目标网站封禁，需模拟正常浏览器行为。

设置合理的User-Agent头
使用Client自定义请求头
添加延时（如time.Sleep）控制请求频率

示例：自定义请求头

client := &http.Client{}
req, _ := http.NewRequest("GET", "https://httpbin.org/html", nil)
req.Header.Set("User-Agent", "Mozilla/5.0 (compatible; Bot/1.0)")

resp, err := client.Do(req)

登录后复制

4. 保存数据到文件或数据库

抓取的数据可保存为JSON、CSV或存入数据库。

使用encoding/json包序列化结构体
用os.Create创建文件，ioutil.WriteFile写入
结构化存储更利于后续分析

示例：保存为JSON

data := map[string]string{"title": title, "content": content}
file, _ := json.MarshalIndent(data, "", "  ")
_ = ioutil.WriteFile("output.json", file, 0644)

登录后复制

基本上就这些。一个简单的爬虫由请求、解析、清洗、存储四步组成。Golang凭借其高性能和并发支持，特别适合扩展成多任务爬虫。初期建议先跑通单页流程，再考虑分页、链接追踪和错误重试机制。

以上就是如何使用Golang开发简单的爬虫项目的详细内容，更多请关注php中文网其它相关文章！