Go语言实现大文件流式代理与转发：高效处理HTTP数据流

package main

import (
    "io"
    "log"
    "net/http"
)

func proxyHandler(w http.ResponseWriter, r *http.Request) {
    // 目标文件URL，这里仅作示例，实际应用中可能从请求参数获取
    targetURL := "http://example.com/largefile.zip" // 替换为你的上游文件URL

    // 发送HTTP GET请求到目标服务器
    resp, err := http.Get(targetURL)
    if err != nil {
        http.Error(w, "Failed to connect to target server", http.StatusInternalServerError)
        log.Printf("Error fetching target URL %s: %v", targetURL, err)
        return
    }
    defer resp.Body.Close() // 确保关闭上游响应体，防止资源泄露

    // 检查目标服务器响应状态码
    if resp.StatusCode != http.StatusOK {
        http.Error(w, "Target server returned non-OK status", resp.Status)
        log.Printf("Target server returned status %d for %s", resp.StatusCode, targetURL)
        return
    }

    // 复制目标服务器的HTTP头部到客户端响应
    // 可以根据需要修改、添加或删除头部
    for name, values := range resp.Header {
        for _, value := range values {
            w.Header().Add(name, value)
        }
    }

    // 注意：对于流式传输，如果无法提前确定文件总长度，应移除Content-Length头部
    // 这样客户端会以Transfer-Encoding: chunked方式接收数据
    w.Header().Del("Content-Length")

    // 示例：强制设置Content-Type，确保浏览器正确处理
    // w.Header().Set("Content-Type", "application/octet-stream")
    // 示例：设置Content-Disposition，强制浏览器下载并指定文件名
    // w.Header().Set("Content-Disposition", "attachment; filename=\"downloaded_file.zip\"")

    // 设置HTTP状态码
    w.WriteHeader(http.StatusOK)

    // 使用io.Copy将上游响应体直接写入客户端响应体
    // 这是实现流式传输的关键，避免了在内存中缓冲整个文件
    bytesCopied, err := io.Copy(w, resp.Body)
    if err != nil {
        // 注意：io.Copy在客户端提前断开连接时可能会返回错误（如io.ErrUnexpectedEOF）
        // 对于流式传输，这种错误不一定是致命的，但需要记录
        log.Printf("Error copying response body: %v. Bytes copied: %d", err, bytesCopied)
        // 此时可能已经向客户端发送了部分数据，无法再发送HTTP错误
        return
    }

    log.Printf("Successfully proxied %d bytes from %s", bytesCopied, targetURL)
}

func main() {
    http.HandleFunc("/proxy", proxyHandler)
    log.Println("Proxy server starting on :8080. Access via http://localhost:8080/proxy")
    log.Fatal(http.ListenAndServe(":8080", nil))
}

package main

import (
    "log"
    "net/http"
    "net/http/httputil"
    "net/url"
    "strings"
)

func main() {
    // 定义目标服务器的URL
    // 假设我们要代理到 http://upstream-server.com
    targetURL, err := url.Parse("http://upstream-server.com") // 替换为你的上游服务器地址
    if err != nil {
        log.Fatalf("Failed to parse target URL: %v", err)
    }

    // 创建一个ReverseProxy实例
    proxy := httputil.NewSingleHostReverseProxy(targetURL)

    // 自定义Director函数，在请求转发到目标服务器前修改请求
    proxy.Director = func(req *http.Request) {
        req.URL.Scheme = targetURL.Scheme
        req.URL.Host = targetURL.Host
        // 合并路径：例如，/proxy/some/path -> targetURL/some/path
        req.URL.Path = singleJoiningSlash(targetURL.Path, req.URL.Path)
        // 设置Host头部为目标服务器的Host，这对于某些虚拟主机配置很重要
        req.Host = targetURL.Host
        // 可以添加或修改其他请求头部，例如：
        // req.Header.Set("X-Forwarded-For", req.RemoteAddr)
        // req.Header.Set("Authorization", "Bearer your-token")
    }