Go并发编程中nil指针解引用错误解析与优雅处理：以网络爬虫为例

package main

import (
    "fmt"
    "io/ioutil"
    "net/http"
    "strconv"
)

func main() {
    channel := make(chan []byte)

    // 初始启动20个抓取goroutine
    for i:=0; i < 20; i++ {
        go fetcher(generateLink(), channel)
    }

    // 主循环持续生成链接、启动抓取和写入goroutine
    for a:=0; ; a++ {
        go writeToFile(strconv.Itoa(a), <-channel)
        go fetcher(generateLink(), channel)
        fmt.Println(strconv.Itoa(a))
    }
}

func fetcher(url string, channel chan []byte) {
    resp, err := http.Get(url)
    if err != nil {
        channel <- []byte("") // 错误时发送空字节切片
    }
    defer resp.Body.Close() // **潜在的错误源**

    body, err := ioutil.ReadAll(resp.Body)
    if err != nil {
        channel <- []byte("")
        return
    }
    channel <- body
}

func writeToFile(filename string, bytes []byte) {
    // 忽略错误处理，实际应用中应处理
    _ = ioutil.WriteFile(filename+".html", bytes, 0644)
}

func generateLink() string {
    // 示例函数，实际应生成有效链接
    return "http://example.com/" + strconv.Itoa(rand.Intn(1000))
}

    resp, err := http.Get(url)
    if err != nil {
        channel <- []byte("")
    }
    defer resp.Body.Close() // 问题出在这里

func fetcher(url string, channel chan []byte) {
    resp, err := http.Get(url)
    if err != nil {
        // 打印错误信息，便于调试
        fmt.Printf("Error fetching URL %s: %v\n", url, err)
        channel <- []byte("") // 错误时发送空字节切片或特定的错误指示
        return               // 发生错误时立即返回，避免后续操作
    }
    // 只有当resp不为nil时，才安全地调度resp.Body.Close()
    defer resp.Body.Close() 

    body, err := ioutil.ReadAll(resp.Body)
    if err != nil {
        fmt.Printf("Error reading response body from %s: %v\n", url, err)
        channel <- []byte("")
        return
    }
    channel <- body
}