火山引擎-技术服务
火山引擎-技术服务
技术服务知识库数据库关系型数据库技术服务知识库
模拟一个解析器无法正常解析的错误,报错信息中只有ERROR CODE, 但是没有具体的报错信息包含error messages的配置文件errmsg.sys没有正确读取到,导致没有具体的报错信息查询部分结果示例如下:包含了各种语言的error messages的信息文件,通常我们会选择english版本的错误信息文件MySQL的报错恢复正常显示[1]https://dev.mysql.com/do
18
0
0
0
技术服务知识库计算弹性计算技术服务知识库
在 5.x 内核中,当内存使用水位持续非常高的场景下,相比 3.10 低版本内核 5.x 内核会更多的尝试去回收内存而不是尽早触发 oom,所以这种场景下回收内存行为有比较大的概率会导致磁盘压力升高,因为大量 cache 会落盘,但由于进程持续运行会将进程的二进制文件持续读取到内存中,最终导致的现象就是内存持续回收,进程持续读二进制数据到内存,CPU 忙于回收内存和读取数据,磁盘的读 IO 也持续
118
1
0
0
技术服务知识库人工智能与算法机器学习技术服务知识库
说明:目前有客户因具有机器学习平台资源权限的人员频繁离职,造成MLP平台内的开发机、自定义训练或在线服务资源游离,客户想针对离职人员的资源进行管理,需要平台能够提供一个查询某个人员下的所有MLP资源(目前包括:开发机、自定义训练任务、在线服务)的入口。因MLP平台暂未提供该界面,本文介绍的是一个实现上述查询能力的简单工具。本工具是使用golang开发的一个web端应用,压缩包内提供的是一个可执行文
78
0
0
0
技术服务知识库数据库关系型数据库技术服务知识库
这篇文章旨在提供 RDS for PostgreSQL 的一些开发和运维建议,以助您提升数据库使用的标准化和稳定性。慎用子事务,避免事务中使用过多的子事务。游标使用后及时关闭。对于在线业务,建议使用 CREATE INDEX CONCURRENTLY 方法创建索引,以避免阻塞其他会话在目标索引表上的 DML 操作。对于重建索引操作,在 PostgreSQL 12 及以上大版本,推荐使用 REIND
209
1
1
1
技术服务知识库数据库关系型数据库技术服务知识库
DDL 操作一定要经过审核,并在业务低峰期进行操作。DDL 操作建议提前熟读官方文档,并在测试环境进行测试,需要明确: * 需要什么样的锁。 * 是否需要 rewrite table * 整个操作完成的时间,评估对业务的影响。建议提前规划好表结构,避免频繁的变更表结构。DDL 操作会在表上加 EXCLUSIVE LOCK 排他锁,在不需要 rewrite table 的情况下,完成 DDL 操作
190
0
0
0
技术服务知识库计算弹性计算技术服务知识库
修改云服务器规格的时候,会修改/etc/resolv.conf 文件和网卡配置,用户不希望/etc/resolv.conf 被修改。此问题为与产品无关,从Centos5.6就存在,Centos重新启动网络服务自动使用/etc/sysconfig/network-scripts/ifcfg-eth0中重新置/etc/resolv.conf,导致修改/etc/resolv.conf内容, dhclie
1588
1
1
1
技术服务知识库数据库关系型数据库技术服务知识库
在数据迁移场景中,如果对实时性要求不高,可以采用离线的方式来进行迁移,pg_dump 以及 pg_restore 是不错的工具,pg_dump 提供了并行复制的方式,可以极大的提高备份恢复效率。遗憾的是,要使用并行,必须使用 Directory 的格式。在这种格式下,无法使用数据不落地的方式来进行迁移,即 pg_dump | pg_restore。pgcopydb 基于并行复制原理,进行并行备份导
177
0
0
0
技术服务知识库容器与中间件中间件技术服务知识库
在开发和测试过程中,我们可能会遇到无法连接 Kafka 的情况,本文使用 kafka-console-consumer,来模拟几类常见的连接报错密码类型选择 Scram使用 SASL_SSL接入点,公网连接,客户端配置文件如下:完整报错如下:出现此报错,建议检查您的客户端 IP 是否在白名单中,同时比较容易忽略的点为,IP 地址已经在白名单中存在,但是未绑定到实例上。 参考文档:https://w
1036
0
0
0
技术服务知识库数据库关系型数据库技术服务知识库
用户使用火山引擎 RDS for MySQL 高可用版实例,整个集群具有一个主节点,一个备节点,三个只读节点,发现其中一个只读节点磁盘占用率高,我们该如何排查此类问题?查看每个数据库占用的空间大小以及碎片大小:临时文件的使用主要有如下场景:在 DDL 过程中创建的临时文件。优化器创建的临时文件,复杂的 SQL 语句在引擎层需要依赖隐式临时表来辅助计算,在 Server 层可能也会创建临时文件来存
70
0
0
0
技术服务知识库数据库关系型数据库技术服务知识库
用户在使用 mysqldump 时报错:上述报错指向 max_allowed_packet 参数,此参数可以在客户端和服务端来进行设置,而客户端的设置会覆盖服务端配置,例如:MySQL Server 设置的默认值为 1GBmysql 或 mysqldump 的客户端默认配置分别为 16MB 和 24MB以下说明来自 MySQL 官方文档[1]When you change the message
261
0
0
0
技术服务知识库数据库NoSQL数据库技术服务知识库
用户在使用 Node.js ioredis 连接到 Redis 分片集群,报错如下:准备如下 Node.js 脚本,实现基本的连接,set key,get key 逻辑:ioredis 可以兼容火山引擎 Redis,出现 ClusterAllFailedError: Failed to refresh slots cache 报错通常有如下两类场景:密码错误:在连接时指定的密码错误,导致无法客户
301
0
0
0
技术服务知识库数据库关系型数据库技术服务知识库
在大数据导入场景下,使用默认方式导入数据较慢,本文介绍如何使用 unlogged table 特性提高数据导入速度。unlogged table 使用场景和存在的风险,参考文档[1]可以接受数据丢失的风险,数据可以从其他源进行导入。unlogged table 通常用于中间结果,频繁变更的会话数据,或者是数据导入场景下文来自官方文档,参考文档[2]: If specified, the table
113
0
1
0
技术服务知识库容器与中间件中间件技术服务知识库
在 Logstash 中,整个 pipleline 分为三个部分:input 插件用于提取数据。filter 插件用于转换并丰富数据。output 插件会将已处理的事件加载到其他环境中,例如 ElasticSearch 。本文介绍如何使用 Logstash 生成测试数据。logstash 7.10.2云搜索 7.10.2准备 Logstash 配置文件使用 generator input plug
134
0
0
0
技术服务知识库容器与中间件中间件技术服务知识库
在 Elasticsearch 中,分片是数据的载体,一个 index 会被拆分为多个 shard,不同的 shard 承载一部分数据,用来实现水平拓展。同时,每一个 shard 可以分为 primary shard(主分片),和 0 个或多个 replica shard(副本分片),副本分片是主分片的拷贝,用来解决高可用的问题。 每一个分片为一个 Lucene 实例,对于分片的大小,分片的数量如
66
0
0
0
技术服务知识库容器与中间件中间件技术服务知识库
在使用云搜索服务时,我们建议您重点关注如下指标和监控,并配置相应的告警,有如下两个目的:对已经出现的异常进行快速定位,在最短的时间内消除影响。在整个集群潜在的问题进行事前发现并修正,保证业务的稳定性。本文会介绍在云搜索服务中,我们需要重点关注的,基础且重要的指标和监控监控整个集群中的节点,是否处于健康状态检查异常,您可以在云搜索控制台查看相关实例拓扑和状态。 我们建议您在云监控中,重点对如下指标
48
0
0
0
技术服务知识库容器与中间件中间件技术服务知识库
在 Logstash 中,整个 pipleline 分为三个部分:input 插件用于提取数据。filter 插件用于转换并丰富数据。output 插件会将已处理的事件加载到其他环境中,例如 ElasticSearch 。本文介绍如何将 TOS 中的文件,通过 Logstash S3 input plugin 导入到云搜索服务中。logstash 7.10.2云搜索 7.10.2需要导入的数据展示
46
0
0
0
技术服务知识库数据库关系型数据库技术服务知识库
我的 RDS for PostgreSQL 占用的存储空间不符合预期,我该如何排查此类问题?RDS for PostgreSQL 消耗的存储空间主要包含如下方面:数据文件WAL 日志未消耗的 replication slot数据库日志临时文件……在我们进行排查此问题时,可以从这个方面进行。由于篇幅限制,本章内容仅包含数据文件部分,其他方面请查看后续文章[1]。或者您可以使用如下命令进行查看:siz
152
0
0
0
技术服务知识库数据库关系型数据库技术服务知识库
我的 RDS for PostgreSQL 占用的存储空间不符合预期,我该如何排查此类问题?RDS for PostgreSQL 消耗的存储空间主要包含如下方面:数据文件WAL 日志未消耗的 replication slot数据库日志临时文件……在我们进行排查此问题时,可以从这个方面进行。在上一个章节[1],我们讲述了如何排查数据占用大小,本节内容会提到下面的几种可能性。和其他数据库类似,Post
152
0
0
0
技术服务知识库数据库关系型数据库技术服务知识库
线上 RDS for PostgreSQL 实例发现短时间内,从指标中查看到有如下信息:可用存储空间迅速降低此时实例并没有大量的 DML,而 WAL 日志却增长异常CPU,内存,磁盘 IO / 带宽等指标均有突增查看 PostgreSQL 错误日志,查看到有如下信息:可以看到这段时间内发生了 aggressive vacuum在 PostgreSQL 中,autovacuum 的作用主要有如下四个
156
0
0
0
技术服务知识库容器与中间件容器服务技术服务知识库
pod调度到节点后pv中的ebs挂载失败(提示为超过节点的ebs数量限制)这个节点本身最多支持挂12块盘,csi限制了最多挂10个ebs pvc,预留了2块数据盘的quota,实际节点现在系统盘和数据盘已经有5个,所以最多可以挂载7个pvc。调度器认为7<10还能继续挂载,所以pod调度到此节点,但实际节点上盘数量已经满了。csi限制的10个pvc数量不合理导致pod调度上来后却超过磁盘数量限制的
195
0
0
1