如何在Golang中实现并发文件上传-Golang-PHP中文网

如何在Golang中实现并发文件上传

P粉602998670

发布： 2025-10-18 19:30:01

原创

172人浏览过

使用goroutine和channel实现并发文件上传，通过限制并发数控制资源消耗。1. 将文件路径发送到任务channel；2. 启动固定数量worker执行uploadFile；3. 用WaitGroup等待所有任务完成；4. 设置HTTP超时与错误重试机制，确保稳定性。

如何在golang中实现并发文件上传

在Golang中实现并发文件上传，关键在于合理使用goroutine、channel和HTTP客户端，同时控制资源消耗。下面是一个实用且安全的实现方式，适用于批量上传多个文件到远程服务器。

使用Goroutine并发上传文件

每个文件上传任务可以交给独立的goroutine处理，这样能显著提升整体上传速度，尤其是网络延迟较高的场景。

核心思路是：

将待上传的文件路径放入一个通道（channel）
启动固定数量的工作goroutine从通道中读取任务并执行上传
通过WaitGroup等待所有任务完成

示例代码片段：

立即学习“go语言免费学习笔记（深入）”；

func uploadFile(client *http.Client, filePath, serverURL string) error {
    file, err := os.Open(filePath)
    if err != nil {
        return err
    }
    defer file.Close()
<pre class="brush:php;toolbar:false;"><pre class="brush:php;toolbar:false;">body := &bytes.Buffer{}
writer := multipart.NewWriter(body)
part, _ := writer.CreateFormFile("file", filepath.Base(filePath))
io.Copy(part, file)
writer.Close()

req, _ := http.NewRequest("POST", serverURL, body)
req.Header.Set("Content-Type", writer.FormDataContentType())

resp, err := client.Do(req)
if err != nil {
    return err
}
defer resp.Body.Close()

if resp.StatusCode != http.StatusOK {
    return fmt.Errorf("upload failed: %s", resp.Status)
}
return nil

登录后复制

}

控制并发数避免资源耗尽

直接为每个文件起一个goroutine可能导致系统打开太多连接，造成内存暴涨或被服务器限流。应使用带缓冲的channel或工作池限制并发数量。

推荐做法：

利用JNI来实现android与SO文件的交互中文WORD版

该文档主要演示了android中如何与so文件进行交互。即现在的问题需要硬件厂商重新开发动态库，并按照全网物联生成的.h文件进行开发动态库。感兴趣的朋友可以过来看看

查看详情

定义一个大小固定的goroutine池
用channel作为任务队列分发文件路径
使用sync.WaitGroup同步主协程等待

控制并发的主逻辑：

func uploadFilesConcurrent(filePaths []string, serverURL string, concurrency int) {
    var wg sync.WaitGroup
    taskCh := make(chan string, len(filePaths))
<pre class="brush:php;toolbar:false;"><pre class="brush:php;toolbar:false;">// 填充任务
for _, fp := range filePaths {
    taskCh <- fp
}
close(taskCh)

// 启动worker
client := &http.Client{Timeout: 30 * time.Second}
for i := 0; i < concurrency; i++ {
    wg.Add(1)
    go func() {
        defer wg.Done()
        for filePath := range taskCh {
            if err := uploadFile(client, filePath, serverURL); err != nil {
                log.Printf("Failed to upload %s: %v", filePath, err)
            } else {
                log.Printf("Uploaded %s successfully", filePath)
            }
        }
    }()
}

wg.Wait()

登录后复制

}