处理 S3 文件下载而不耗尽资源-Golang-PHP中文网

处理 S3 文件下载而不耗尽资源

WBOY

发布： 2024-02-10 19:36:09

转载

1019人浏览过

处理 s3 文件下载而不耗尽资源

php小编新一在这里为大家介绍一种高效的方式来处理S3文件下载，以避免耗尽服务器资源。S3是亚马逊提供的一种可扩展的云存储服务，但在处理大文件下载时，传统的下载方式可能会导致服务器资源耗尽。本文将介绍一种基于PHP的解决方案，通过分块下载和流式传输的方式，有效地处理S3文件下载，提高服务器性能和用户体验。让我们一起来了解这个方法吧！

问题内容

我有一个 go-gin 应用程序，它允许在 S3 中上传和下载多种文件类型。

上传到 s3 之前的所有文件均使用 AWS s3cryptoclient、AES GCM 和来自 KMS 的密钥进行加密。因此，就 s3 存储桶而言，一切都是二进制的。

我可以使用 getObject 的 SDK 命令将文件下载到服务器并解密，然后使用 io.write(tempfile) 将此文件提供给客户端进行下载。

此处的问题 S3 包含大小为 10GB 的文件，并且该服务器每天将有多个用户访问。正如我们所看到的，在具有 16GB RAM 的服务器上写入临时文件也会很快耗尽内存，同时我们还要注意运行此类服务器的成本。

瓶颈是文件在获得服务之前需要解密，在这种用例中，S3 预签名 url 就足够了，尽管解密不是由 s3 预签名 url 提供的，除非它是由客户完成的加密，在我们的案例 AWS 正在处理加密，因此该解决方案不可行。

ChatX翻译

最实用、可靠的社交类实时翻译工具。支持全球主流的20+款社交软件的聊天应用，全球200+语言随意切换。让您彻底告别复制粘贴的翻译模式，与世界各地高效连接！

查看详情

有没有人有任何提示或可能的用例来解决这个问题，我们可以使用 go-gin/NGINX 将文件直接写入客户端。

当前用户对文件下载的处理

s3FileStream, _ := s3c.GetBucketItem(&utils.S3ObjectBucketInput{
    Bucket: "bucketName",
    Key:    "UserFileName"
})

fileBody, err := io.ReadAll(s3FileStream.Body)
if err != nil {
    panic(err.Error())
}

fileExtension := s3FileStream.Metadata["X-Amz-Meta-Type"]

err = ioutil.WriteFile("file" + *fileExtension, fileBody, 600) // temp file
if err != nil {
    panic(err.Error())
}
c.JSON(http.StatusCreated, string(fileBody))
c.Done()

登录后复制

}

解决方法

一种选择是将对象作为响应正文直接写入客户端：

s3FileStream, _ := s3c.GetBucketItem(&utils.S3ObjectBucketInput{
    Bucket: "bucketName",
    Key:    "UserFileName",
})
fileExtension := s3FileStream.Metadata["X-Amz-Meta-Type"]
c.DataFromReader(http.StatusCreated, 0, "application/data",
    s3FileStream.Body,
    map[string]string{"Content-Dispositon": "attachment; filename=" + "file" + *fileExtension})
c.Done()

登录后复制

以上就是处理 S3 文件下载而不耗尽资源的详细内容，更多请关注php中文网其它相关文章！