超过5GB的大文件镜像如何上传至存储桶

计算弹性计算技术服务知识库
问题描述
  • 目前通过火山引擎控制台上传的文件大小不能超过5GB,转换后的镜像文件大小如果超过了5GB就需要采用分片上传的方法将文件传至存储桶了。

分片上传思想

  1. 初始化分片上传任务;
  2. 进行分片上传;
  3. 将所有分片重新合并成一个完整的文件,完成上传。
解决方法

Linux操作系统

  1. 利用awscli命令访问火山引擎再将文件按大小自动分片上传。在镜像文件存储路径目录下需要执行以下命令(文件必须是存储在虚拟机内的):
aws s3 cp example-file-name s3://target-bucket-name/example-file-name --endpoint-url=https://tos-s3-cn-beijing.volces.com

example-file-name是你要上传的目标文件的名称;target-bucket-name是目标存储桶的名称

Windows操作系统

前提:Windows环境安装了awscli命令行功能并且可以访问火山引擎。 win+r打开输入框输入cmd,打开Windows命令行界面。

  1. 配置awscli
[root@volcengine-bastion ~]$ aws configure
AWS Access Key ID [****************wMjE]: Access_Key
AWS Secret Access Key [****************SQ==]: Secret_Key
Default region name [None]: cn-beijing
Default output format [None]: json
  1. 输入aws s3 cp命令完成分片上传
aws s3 cp example-file-name s3://target-bucket-name/example-file-name --endpoint-url=https://tos-s3-cn-beijing.volces.com

example-file-name:您需要上传的文件名称 target-bucket-name:目标桶的名称

图片 如上图所示,即完成镜像文件的上传 可登录火山引擎控制台查看,如下图所示 图片

SDK/API

  1. 利用SDK/API进行文件分片上传:对于较大的对象,您可以分成多个数据块(part)来分别上传,最后调用CompleteMultipartUpload来把上传的数据块合并为一个对象,故而完成大文件的上传。 具体调用的接口可以参考:分片上传
0
0
0
0
关于作者

文章

0

获赞

0

收藏

0

所属团队号:
相关资源
云原生可观测性技术的落地实践
云原生技术和理念在近几年成为了备受关注的话题。应用通过云原生改造,变得更动态、弹性,可以更好地利用云的弹性能力。但是动态、弹性的环境也给应用以及基础设施的观测带来了更大的挑战。本次分享主要介绍了云原生社区中可观测性相关的技术和工具,以及如何使用这些工具来完成对云原生环境的观测。
相关产品
评论
未登录
看完啦,登录分享一下感受吧~
暂无评论