技术服务 - 存储服务
Storage
15
技术服务知识库
当想要使用 AWS CLI 向 TOS 上传大文件(1GB 或更大)。如何优化上传性能?当您向 TOS上 传大文件时,最佳方式为使用分段上传。当您使用 AWS CLI 高级命令(aws s3)时,会自动执行分段上传。高级命令包括 aws s3 cp 和 aws s3 sync。可以使用自定义上传配置来优化上传性能。您可以自定义以下AWS CLI配置:max_concurrent_requests:
242
0
0
0
技术服务知识库
尝试使用浏览器从 TOS 下载对象,但下载速度很慢,如何进行排查?可能原因为互联网带宽低、对象大、中间网络相关问题、客户端资源。对下面各项进行检查,确定导致使用浏览器从 TOS 下载对象的时间长的原因:检查客户端从互联网服务提供商获得的网络带宽。如果带宽较小,则当您尝试连接到 TOS 存储桶并下载对象时,可能会遇到瓶颈。如果对象下载时间较长,请检查此对象的大小。对于非常大的对象,当浏览器尝试下载整
97
0
0
0
技术服务知识库
我的TOS存储桶存储了数万个对象,当不再使用或者需要减少费用,我想要清空该存储桶,如何使用生命周期配置规则清空存储桶。要管理您的对象以使其在整个生命周期内经济高效地存储,您可以配置TOS存储桶生命周期。TOS生命周期配置是一组规则,用于定义TOS对一组对象应用的过期操作。您可以遵照以下步骤创建一个生命周期配置规则让当前版本的对象过期,并永久删除先前版本的对象:打开TOS控制台。从存储桶列表中,选择
146
0
0
0
技术服务知识库
TOS提供两种上传方式,简单上传跟分片上传,简单上传方式最大能够上传5GB的文件,所以如果对象大小超过5GB,可以使用分片上传实现。使用分片上传,您可以将对象分成多个数据块(Part)分别上传,每个分片都是对象数据的连续部分。您可以独立上传以及按任意顺序上传这些对象分片。如果其中任意分片上传失败,可以重新进行上传且不影响其他分片。上传完所有分片后,汇集所有分片并创建元数据。分片上传优势:提高吞吐量
298
0
0
0
技术服务知识库
如果要把TOS桶中的对象迁移到另一个TOS桶,如何进行迁移?可以使用存储迁移服务进行迁移。示例如下:把wanyix-support桶内对象迁移到wanyix-migration桶。wanyix-support桶内对象为: 1.到数据迁移服务控制台,创建迁移任务。2.设置源端及目的端,配置如下:设置完源端连通性之后,点击连接测试,看是否能够连接成功。3.设置任务参数(保持默认) 4.确定任务信息 5
155
0
0
0
技术服务知识库
LinuxMacOSWindows使用aws cli访问火山引擎TOS通过aws cli批量复制对象到对象存储安装aws cli工具下载安装文件https://awscli.amazonaws.com/AWSCLIV2.pkg 双击进行安装下载安装文件https://awscli.amazonaws.com/AWSCLIV2.msi 双击进行安装执行配置AK/SK域名说明火山引擎外网域名华北2地区
618
1
1
0
技术服务知识库
使用goofys挂载TOS失败,日志报错ERROR Unable to access bucket_demo。凭证文件格式问题导致无法正常被解析 and ,导致的权限不足。下载aws cli的客户端执行Listbuckets操作,查看具体的报错信息由此可以判断出,上传失败的原因为credentials的文件格式问题导致无法解析如果您有其他问题,欢迎您联系火山引擎技术支持服务
188
0
0
0
技术服务知识库
如何通过TOS API实现对存储对象的GetObject对象存储会对每个访问的请求进行身份验证,因此您需要在请求中包含签名信息,如何通过Python脚本实现API的签名机制下面展示如何使用Python实现API签名并执行GetObject操作1.创建一个正规化的请求, 将下面的bucket-name换成自己的S3桶名字,最终CanonicalRequest示例2.最终StringToSign3.最
143
0
0
0
技术服务知识库
s3cmd工具使用同一个 AK 访问对象存储,能够列出所有桶,但是写入文件时报403 (InvalidAccessKeyId)1.查看用户侧的权限为TOSFullAccess权限,有对TOS服务的所有权限 2.查看TOS侧的存储桶的权限,为默认配置,未进行权限限制 3.s3smd put 加入参数-d, 输出更过的debug信息查看信息如下:由此可以看出请求的TOS的域名不对在$home/.s3c
354
0
0
0
技术服务知识库
如何在Windows系统上挂载TOS存储桶?工具Rclone可以挂载TOS桶到电脑本地当磁盘使用Rclone 在这里下载https://rclone.org/downloads/WinFsp 在这里下载http://www.secfs.net/winfsp/rel/复制下载的软件包C:\Tools\rclone-v1.57.0-windows-amd64如果您有其他问题,欢迎您联系火山引擎技术支持
418
0
0
0
技术服务知识库
默认情况下,所有存储桶和对象都是私有的,如何允许没有凭证的客户/用户将对象上传到桶或者从桶中下载对象预签名URL是一种持有者令牌,可向拥有这些URL的客户授予访问权限,我们可以通过预签名URL来实现本文将使用TOS python SDK 实现上传跟下载,先生成预签名URL,然后再使用生成的预签名URL进行上传/下载,具体如下创建预签名 URL 时,您必须提供安全凭证,然后指定一个存储桶名称、一个对
799
0
0
0
技术服务知识库
本文介绍如何通过SSE-C来保护TOS中数据服务器端加密是为了保护TOS中静态数据。服务器端加密仅加密对象数据而不是对象元数据。使用客户提供加密密钥的服务器端加密 (SSE-C) 使用您提供的秘钥作为请求的一部分,TOS在其写入磁盘时管理加密,并在您访问对象时管理解密。因此,您不需要维护任何代码来执行数据加密和解密。您只需管理您提供的加密密钥。1.先生成一个256位的秘钥,在Linux 上生成秘钥
133
0
0
0
技术服务知识库
在开启版本控制的TOS桶中,一个对象的当前版本不是目前所需要的,或者当前版本对象发生错误,想要恢复至上一个版本,如何恢复?可以使用版本控制来保存对象的早期版本,以便需要之前版本对象时,可以进行恢复。要恢复之前版本,有两种方法:将对象的之前版本复制到同一存储桶中。复制的对象将成为该对象的当前版本永久删除对象的当前版本。当删除当前对象版本时,实际上会将先前版本转换为该对象的当前版本。复制特定版本到相同
59
0
0
0
技术服务知识库
如果误删除了TOS存储桶中的对象,是否可以恢复?如果TOS存储桶开启了版本控制,删除的时候是普通的delete操作,则可以通过删除“删除标记”进行恢复。如果TOS存储桶没有开启版本控制,那删除的对象无法进行恢复。1.先查看TOS存储桶是否开启了版本控制2.如何开启版本控制3.查看桶中对象可以看到VersionId控制台显示如下:4.将对象删除此时使用get-object 尝试进行下载,会报错没有此
106
0
0
0
技术服务知识库
在控制台看到桶存储量很大,例如存储量为60GB,但是查看桶中对象,却看到并没有60G,如何查询桶中存储量大的原因?如果存储桶占用量大,但控制台又看不到相对应数据量的对象,可能有两方面导致存储量很大:桶开启了版本控制,相同对象存在很多版本。存在很多没有完成的分段上传。1.控制台用量概览中查看存储量为60G(开启了版本控制),如下:2.使用aws s3 ls查看目前存储桶当前版本的容量可以看到当前版本
101
0
0
0