使用Go语言构建高效的开源站点搜索系统

package main

import (
    "fmt"
    "io/ioutil"
    "net/http"
    "net/url"
    "time"

    "github.com/PuerkitoBio/gocrawl"
)

// MyExtender 实现了gocrawl.Extender接口，用于自定义爬取行为
type MyExtender struct {
    gocrawl.DefaultExtender // 继承默认扩展器
}

// Visit 回调函数，在每个URL被访问后调用
func (e *MyExtender) Visit(ctx *gocrawl.URLContext, res *http.Response, err error) {
    if err != nil {
        fmt.Printf("Error visiting %s: %v\n", ctx.URL.String(), err)
        return
    }

    if res.StatusCode != http.StatusOK {
        fmt.Printf("Non-OK status for %s: %d\n", ctx.URL.String(), res.StatusCode)
        return
    }

    // 读取页面内容
    body, err := ioutil.ReadAll(res.Body)
    if err != nil {
        fmt.Printf("Error reading body for %s: %v\n", ctx.URL.String(), err)
        return
    }
    defer res.Body.Close()

    fmt.Printf("Visited: %s, Content Length: %d\n", ctx.URL.String(), len(body))
    // 在此处处理页面内容，例如解析HTML、提取文本、存储到数据库等
    // 例如：go func() { processContent(ctx.URL, body) }()
}

// Filter 回调函数，用于过滤要访问的URL
func (e *MyExtender) Filter(ctx *gocrawl.URLContext, is
    gocrawl.URLContextFlags) bool {
    // 仅爬取指定域名下的URL
    if ctx.URL.Host != "example.com" { // 替换为你的目标域名
        return false
    }
    // 过滤掉特定文件类型或路径
    if ctx.URL.Path == "/admin" {
        return false
    }
    return true
}

func main() {
    // 创建爬虫选项
    opts := gocrawl.NewOptions(new(MyExtender))
    opts.CrawlDelay = 1 * time.Second           // 每次请求间隔1秒
    opts.LogFlags = gocrawl.LogError           // 只记录错误日志
    opts.MaxVisits = 100                        // 最多访问100个页面
    opts.WorkerIdleTTL = 5 * time.Second       // 工作者空闲5秒后退出
    opts.RobotUserAgent = "MyCustomCrawler/1.0" // 自定义User-Agent

    // 创建爬虫实例
    c := gocrawl.NewCrawlerWithOptions(opts)

    // 定义起始URL
    seedURL, _ := url.Parse("http://example.com") // 替换为你的起始URL

    // 启动爬虫
    c.Run(seedURL)
    fmt.Println("Crawling finished.")
}

// 假设我们使用Bleve来构建索引和执行搜索
import (
    "fmt"
    "log"

    "github.com/blevesearch/bleve/v2"
    "github.com/blevesearch/bleve/v2/mapping"
)

// Document 结构体表示一个要被索引的文档
type Document struct {
    ID      string `json:"id"`
    URL     string `json:"url"`
    Title   string `json:"title"`
    Content string `json:"content"`
}

func main() {
    // 1. 创建或打开索引
    indexMapping := bleve.NewIndexMapping()
    // 可以自定义字段映射和分析器
    docMapping := bleve.NewDocumentMapping()
    docMapping.AddFieldMappingsAt("Title", bleve.NewTextFieldMapping())
    docMapping.AddFieldMappingsAt("Content", bleve.NewTextFieldMapping())
    indexMapping.AddDocumentMapping("document", docMapping) // 为Document类型添加映射

    index, err := bleve.New("site_search_index.bleve", indexMapping)
    if err != nil {
        log.Fatalf("Failed to create/open index: %v", err)
    }
    defer index.Close()

    // 2. 索引文档（假设这是爬虫抓取到的数据）
    docs := []Document{
        {ID: "1", URL: "/page1", Title: "Go语言教程", Content: "学习Go语言的基础知识和并发编程。"},
        {ID: "2", URL: "/page2", Title: "开源项目推荐", Content: "介绍一些优秀的Go语言开源项目，包括gocrawl。"},
        {ID: "3", URL: "/page3", Title: "网站开发指南", Content: "如何使用Go语言构建高性能的Web应用。"},
    }

    for _, doc := range docs {
        err = index.Index(doc.ID, doc)
        if err != nil {
            log.Printf("Failed to index document %s: %v", doc.ID, err)
        }
    }
    fmt.Println("Documents indexed.")

    // 3. 执行搜索查询
    query := bleve.NewMatchQuery("Go语言") // 匹配查询
    searchRequest := bleve.NewSearchRequest(query)
    searchResult, err := index.Search(searchRequest)
    if err != nil {
        log.Fatalf("Search failed: %v", err)
    }

    fmt.Printf("Search results for 'Go语言':\n")
    for _, hit := range searchResult.Hits {
        fmt.Printf("  ID: %s, Score: %.2f\n", hit.ID, hit.Score)
        // 可以通过hit.ID获取原始文档内容
    }

    query = bleve.NewMatchQuery("gocrawl")
    searchRequest = bleve.NewSearchRequest(query)
    searchResult, err = index.Search(searchRequest)
    if err != nil {
        log.Fatalf("Search failed: %v", err)
    }
    fmt.Printf("Search results for 'gocrawl':\n")
    for _, hit := range searchResult.Hits {
        fmt.Printf("  ID: %s, Score: %.2f\n", hit.ID, hit.Score)
    }
}