如何优化使用AWS CLI向TOS传大文件时的性能

问题描述

当想要使用 AWS CLI 向 TOS 上传大文件(1GB 或更大)。如何优化上传性能?

问题分析

当您向 TOS上 传大文件时,最佳方式为使用分段上传。当您使用 AWS CLI 高级命令(aws s3)时,会自动执行分段上传。高级命令包括 aws s3 cp 和 aws s3 sync。

可以使用自定义上传配置来优化上传性能。

解决方案

您可以自定义以下AWS CLI配置:

  • max_concurrent_requests:此值用于设置一次可以发送至 Amazon S3 的请求数量。原定设置值为 10。注意:运行的线程越多,消耗的计算机资源也越多。您必须确保您的计算机拥有足够的资源来支持您想要的最大并发请求数。

  • max_queue_size:此值用于设置队列中的最大任务数量。原定设置值为 1000。

  • multipart_threshold:此值用于为单个文件的分段上传设置大小阈值。原定设置值为 8 MB。

  • multipart_chunksize:此值设置 AWS CLI 在单个文件的分段上传中上传的每个段的大小。通过此设置,您可以将较大的文件(例如 300 MB)分解为较小的段,以加快上传速度。原定设置值为 8 MB。注意:分段上传要求单个文件上传时所分的不同段不超过 10000 个。您必须确保您所设置的区块大小平衡了段文件大小和段的数量。

  • max_bandwidth:此值用于设置将数据上传到 TOS 的最大带宽。

如果您有其他问题,欢迎您联系火山引擎技术支持服务

181
0
0
0
相关产品
评论
未登录
看完啦,登录分享一下感受吧~
暂无评论