如何在Golang中实现文件分块传输-Golang-PHP中文网

如何在Golang中实现文件分块传输

P粉602998670

发布： 2025-10-28 22:03:02

原创

690人浏览过

答案：Golang文件分块传输通过切分文件为小块发送，接收端重组，降低内存占用并提升稳定性。1. 定义FileChunk结构含文件名、序号、总块数、数据及末块标记；2. 发送端按64KB或1MB读取文件块，序列化后通过HTTP/TCP发送；3. 接收端按序写入临时文件或缓存，最后合并；4. 可选CRC/MD5校验确保完整性。

如何在golang中实现文件分块传输

在Golang中实现文件分块传输，核心思路是将大文件切分成多个小块，逐个发送，并在接收端按顺序重组。这种方式能有效降低内存占用、提升传输稳定性，尤其适合网络环境较差或文件较大的场景。

1. 定义分块大小和传输结构

选择合适的分块大小（如64KB或1MB）很关键。太小会增加通信开销，太大则影响并发和内存使用。

设计一个传输用的数据结构，包含文件名、分块序号、总块数、数据内容等信息：

type FileChunk struct {
    FileName   string `json:"file_name"`
    ChunkIndex int    `json:"chunk_index"`
    TotalChunks int   `json:"total_chunks"`
    Data       []byte `json:"data"`
    IsLast     bool   `json:"is_last"` // 标记是否最后一块
}

登录后复制

2. 发送端：读取并分块发送

使用os.Open打开文件，配合bufio.Reader或io.ReadAtLeast按指定大小读取数据块。

立即学习“go语言免费学习笔记（深入）”；

示例代码片段：

file, _ := os.Open("largefile.zip")
defer file.Close()
<p>fileInfo, _ := file.Stat()
chunkSize := 64 * 1024 // 64KB
totalChunks := (int(fileInfo.Size()) + chunkSize - 1) / chunkSize</p><p>for i := 0; ; i++ {
chunk := make([]byte, chunkSize)
n, err := file.Read(chunk)
if err == io.EOF {
break
}</p><pre class="brush:php;toolbar:false;"><pre class="brush:php;toolbar:false;">// 只保留实际读取的数据
if n < len(chunk) {
    chunk = chunk[:n]
}

dataChunk := FileChunk{
    FileName:    "largefile.zip",
    ChunkIndex:  i,
    TotalChunks: totalChunks,
    Data:        chunk,
    IsLast:      err == io.EOF || n < chunkSize,
}

// 序列化后通过网络发送（如JSON + HTTP/TCP）
sendData(dataChunk)

登录后复制

}

居然设计家

居然之家和阿里巴巴共同打造的家居家装AI设计平台

199

查看详情

3. 接收端：接收并合并文件块

接收方根据ChunkIndex将数据块写入临时文件或内存缓冲区，最后合并成完整文件。

建议使用os.Create创建目标文件，按顺序写入每个块：

receivedFile, _ := os.Create("received_" + chunk.FileName)
defer receivedFile.Close()
<p>// 假设已按顺序接收到所有chunk
for _, c := range receivedChunks {
receivedFile.Write(c.Data)
}

登录后复制

若传输无序，可用map缓存，检查IsLast和TotalChunks判断是否收全。