Golang实现基础爬虫抓取网站数据-Golang-PHP中文网

Golang实现基础爬虫抓取网站数据

P粉602998670

发布： 2025-09-02 09:13:01

原创

257人浏览过

用Golang写基础爬虫需发送HTTP请求并解析HTML。首先通过net/http库发起GET请求获取网页内容，如http.Get读取响应体；接着使用goquery库解析HTML，类似jQuery语法提取h1标题和p段落文本；最后将数据结构化为JSON输出。注意设置User-Agent、处理超时与编码，遵守robots.txt规则。完整流程包括错误处理、资源释放及数据存储，可扩展并发与反爬应对。

golang实现基础爬虫抓取网站数据

用Golang写一个基础爬虫抓取网页数据并不复杂，核心是发送HTTP请求、解析HTML内容并提取所需信息。下面是一个简单但完整的实现流程，适合初学者快速上手。

发送HTTP请求获取网页内容

Go语言标准库net/http可以轻松发起GET请求。通过http.Get获取网页响应，再读取返回的body数据。

示例代码：

resp, err := http.Get("https://httpbin.org/html")
if err != nil {
log.Fatal(err)
}
defer resp.Body.Close()

body, err := io.ReadAll(resp.Body)
if err != nil {
log.Fatal(err)
}

这里我们访问一个测试页面，实际使用时替换为目标网站URL。注意检查错误并关闭响应体，避免资源泄露。

立即学习“go语言免费学习笔记（深入）”；

解析HTML提取数据

Go没有内置的jQuery式选择器，但可以使用第三方库golang.org/x/net/html或更易用的github.com/PuerkitoBio/goquery。

绘蛙AI修图

绘蛙平台AI修图工具，支持手脚修复、商品重绘、AI扩图、AI换色

264

查看详情

使用goquery解析并提取标题和段落文本：

doc, err := goquery.NewDocumentFromReader(strings.NewReader(string(body)))
if err != nil {
  log.Fatal(err)
}

doc.Find("h1").Each(func(i int, s *goquery.Selection) {
  fmt.Printf("标题: %s\n", s.Text())
})

doc.Find("p").Each(func(i int, s *goquery.Selection) {
  fmt.Printf("段落: %s\n", s.Text())
})

goquery语法类似jQuery，适合习惯前端开发的用户，能快速定位元素。

处理常见问题与优化

真实爬虫会遇到反爬机制、编码问题或结构化输出需求，以下是一些实用建议：

设置User-Agent：有些网站会屏蔽默认的Go请求头，添加头信息更像浏览器行为
使用http.Client自定义超时和重试机制，避免程序卡住
对中文网站注意字符编码，必要时用golang.org/x/text/encoding转码
提取的数据可存为JSON或CSV，方便后续处理
遵守robots.txt，控制请求频率，尊重网站规则

完整示例：抓取标题和段落保存为结构体

type PageData struct {
  Title string `json:"title"`
  Content []string `json:"content"`
}

func main() {
  resp, err := http.Get("https://httpbin.org/html")
  if err != nil {
    log.Fatal(err)
  }
  defer resp.Body.Close()

  body, _ := io.ReadAll(resp.Body)
  doc, _ := goquery.NewDocumentFromReader(strings.NewReader(string(body)))

  data := PageData{}
  doc.Find("h1").First().Each(func(i int, s *goquery.Selection) {
    data.Title = s.Text()
  })

  doc.Find("p").Each(func(i int, s *goquery.Selection) {
    data.Content = append(data.Content, s.Text())
  })

  jsonBytes, _ := json.MarshalIndent(data, "", " ")
  fmt.Println(string(jsonBytes))
}