如何使用Golang实现多协程下载-Golang-PHP中文网

如何使用Golang实现多协程下载

P粉602998670

发布： 2025-10-04 20:35:02

原创

592人浏览过

多协程下载通过分块并发提升速度，使用Golang的goroutine实现高效下载，结合HTTP Range请求分段获取文件并合并。

如何使用golang实现多协程下载

多协程下载的核心是把文件分成多个部分，每个协程负责下载其中一段，最后合并成完整文件。Golang 的 goroutine 和 channel 特性非常适合实现这种并发任务。下面是一个简单实用的多协程下载实现思路和代码示例。

1. 理解分块下载原理

要实现多协程下载，先确认目标服务器支持 HTTP Range 请求。可以通过发送 HEAD 请求查看响应头是否包含 Accept-Ranges: bytes，并且知道文件总大小（Content-Length）。

然后将文件按大小划分为若干块，比如 4 个协程就分 4 段，每个协程下载自己的字节区间（如 0-999, 1000-1999），保存为临时片段，最后合并。

2. 实现步骤与代码结构

以下是关键步骤的实现：

立即学习“go语言免费学习笔记（深入）”；

获取文件信息：通过 HEAD 请求获取文件大小和是否支持分段下载。
划分下载区间：根据协程数量计算每段起始和结束位置。
启动多个 goroutine：每个协程下载指定字节范围的内容。
使用 sync.WaitGroup 等待所有协程完成。
合并片段文件：按顺序拼接所有临时文件。

示例代码：

package main
<p>import (
"fmt"
"io"
"net/http"
"os"
"sync"
)</p><p>const numWorkers = 4 // 协程数量</p>
                    <div class="aritcle_card">
                        <a class="aritcle_card_img" href="/xiazai/code/8802">
                            <img src="https://img.php.cn/upload/webcode/000/000/018/175680180450520.jpg" alt="ShopEx助理">
                        </a>
                        <div class="aritcle_card_info">
                            <a href="/xiazai/code/8802">ShopEx助理</a>
                            <p>一个类似淘宝助理、ebay助理的客户端程序，用来方便的在本地处理商店数据，并能够在本地商店、网上商店和第三方平台之间实现数据上传下载功能的工具。功能说明如下：1.连接本地商店：您可以使用ShopEx助理连接一个本地安装的商店系统，这样就可以使用助理对本地商店的商品数据进行编辑等操作，并且数据也将存放在本地商店数据库中。默认是选择&ldquo;本地未安装商店&rdquo;，本地还未安</p>
                            <div class="">
                                <img src="/static/images/card_xiazai.png" alt="ShopEx助理">
                                <span>0</span>
                            </div>
                        </div>
                        <a href="/xiazai/code/8802" class="aritcle_card_btn">
                            <span>查看详情</span>
                            <img src="/static/images/cardxiayige-3.png" alt="ShopEx助理">
                        </a>
                    </div>
                <p>func downloadPart(url string, start, end int64, filename string, wg *sync.WaitGroup) {
defer wg.Done()</p><pre class='brush:php;toolbar:false;'>client := &http.Client{}
req, _ := http.NewRequest("GET", url, nil)
rangeHeader := fmt.Sprintf("bytes=%d-%d", start, end)
req.Header.Set("Range", rangeHeader)

resp, err := client.Do(req)
if err != nil {
    fmt.Printf("请求失败: %v\n", err)
    return
}
defer resp.Body.Close()

// 创建临时分片文件
partFile, err := os.Create(fmt.Sprintf("%s.part%d", filename, start))
if err != nil {
    fmt.Printf("创建文件失败: %v\n", err)
    return
}
defer partFile.Close()

io.Copy(partFile, resp.Body)
fmt.Printf("下载完成: %s [%d-%d]\n", filename, start, end)

登录后复制

}

func mergeParts(filename string, partFiles []string) error { outFile, err := os.Create(filename) if err != nil { return err } defer outFile.Close()

for _, part := range partFiles {
    partData, err := os.Open(part)
    if err != nil {
        return err
    }
    io.Copy(outFile, partData)
    partData.Close()
    os.Remove(part) // 合并后删除临时文件
}
return nil

登录后复制

}

func main() { url := "https://www.php.cn/link/6dd2f7fb9018bfcd8c3be1f8e65224ae" filename := "largefile.zip"

// 获取文件大小
resp, err := http.Head(url)
if err != nil || resp.StatusCode >= 400 {
    fmt.Printf("无法访问文件: %v\n", err)
    return
}

if resp.Header.Get("Accept-Ranges") != "bytes" {
    fmt.Println("服务器不支持分段下载")
    return
}

fileSize := resp.ContentLength
fmt.Printf("文件大小: %d 字节\n", fileSize)

var wg sync.WaitGroup
partFiles := make([]string, 0)
chunkSize := fileSize / numWorkers

for i := 0; i < numWorkers; i++ {
    start := int64(i) * chunkSize
    end := start + chunkSize - 1
    if i == numWorkers-1 {
        end = fileSize - 1 // 最后一块包含剩余所有数据
    }

    partFilename := fmt.Sprintf("%s.part%d", filename, start)
    partFiles = append(partFiles, partFilename)
    wg.Add(1)
    go downloadPart(url, start, end, filename, &wg)
}

wg.Wait()

// 合并文件
fmt.Println("开始合并文件...")
err = mergeParts(filename, partFiles)
if err != nil {
    fmt.Printf("合并失败: %v\n", err)
    return
}
fmt.Println("下载完成:", filename)

登录后复制

}