登录注册
首页
AI 大模型体验中心AI 大模型体验中心AI 大模型体验中心
动手实验室动手实验室动手实验室
Agent 评测集Agent 评测集Agent 评测集
AI 案例广场AI 案例广场AI 案例广场
火山杯大赛学习中心
社区
去发布
首页
AI 大模型体验中心AI 大模型体验中心AI 大模型体验中心
动手实验室动手实验室动手实验室
Agent 评测集Agent 评测集Agent 评测集
AI 案例广场AI 案例广场AI 案例广场
学习中心
社区
岳涛
岳涛
文章
专栏
问答
岳涛
岳涛
ES 推理接口加了节点级限流,批量导入别再把外部模型服务打挂
大数据最佳实践Elasticsearch技术解析
9.0 给 Inference API 加了节点本地限流。配置在 endpoint 上,单位是每分钟请求数。它保护的是外部推理服务——批量导入时把对方打挂,或者触发对方的配额限制被拒绝,这类问题可以用它避免。实测环境:本地另起一个 Elasticsearch 9.4.2 单节点实例(官方 tar 包,端口 9200,独立 ),安全特性与机器学习均关闭; / 随发行包内置,仓库创建统一加 跳过
0
0
0
0
岳涛
岳涛
ES 超时从 5xx 改成 429,按 5xx 重试的代码会以为服务端挂了
大数据最佳实践Elasticsearch技术解析
9.0 起 Elasticsearch 的超时异常从 5xx 变成 429(Too Many Requests)。这条 breaking change 不报错、不改数据,但会让"按 5xx 判服务端故障"的客户端、告警规则和重试逻辑全部误判。实测环境:本机保留带 / / / / / / / / / 等标签的上游源码仓库 ;用 的 / / 读指定标签的源码、提交 diff
0
0
0
0
岳涛
岳涛
ES 0.90 的 _ttl 能让文档自动过期,后来为什么被拿掉了
大数据最佳实践Elasticsearch技术解析
0.90 里给 mapping 加一个 ,文档到期就会被自动删掉——不用定时任务、不用 delete-by-query。这个功能 2.0 被标记废弃,5.0 正式移除。这篇看它当年的实现细节,以及官方给的替代方案。实测环境:本地另起一个 Elasticsearch 7.17.29 单节点实例(官方 tar 包,端口 9200,独立 );本机没有 0.x / 1.x / 2.x 二进制,所以这里验的
0
0
0
0
岳涛
岳涛
ES 写不进去的文档别再悄悄丢了,交给 Failure Store
大数据最佳实践Elasticsearch技术解析
ES 9.1 引入 Failure Store,把 ingest 失败或 mapping 冲突的文档存下来,9.2 起对日志流默认开启。本文讲怎么开、怎么查,以及升级后写坏文档的响应码从 400 变成 201 这个大坑。实测环境:本地另起一个 Elasticsearch 9.4.2 单节点实例(官方 tar 包,端口 9200,独立 ),安全特性与机器学习均关闭;实验产生的索引与 data str
0
0
0
0
岳涛
岳涛
ES 高亮的 force_source 被拿掉了,请求里还带着就报错,官方没说为什么
大数据最佳实践Elasticsearch技术解析
9.0 起高亮的 参数不再支持。这个参数的作用原本是"强制从 取内容做高亮",是给那些没建 term vector 又想快速高亮的场景用的兜底。现在官方把它删了——请求里带这个参数会失败。实测环境:本地起的 Elasticsearch 9.4.2 单节点实例(官方 tar 包直接跑,堆内存 512MB,安全与机器学习关闭),curl 连本地 9200 端口。图 1 出自这个实例。9.0 的 c
2
1
0
1
岳涛
岳涛
ES|QL 一条查询拿到整体分和子条件分,靠 SCORE()
大数据最佳实践Elasticsearch技术解析
9.3 把 函数放进了正式构建。它作用于单个全文函数(比如 ),返回那个条件的分数。配合 ,可以在一条查询里同时拿到整体分和子条件分——这在排查"为什么这条排这么靠前"时很有用。实测环境:本地起的 Elasticsearch 9.4.2 单节点实例(官方 tar 包直接跑,堆内存 512MB,安全与机器学习关闭),curl 连本地 9200 端口, 接口走 ES|QL;测试文档在实验时现场写入。
2
1
0
1
岳涛
岳涛
一条查询做多件事,靠 ES|QL 的 FORK 和 INLINE STATS
大数据最佳实践Elasticsearch技术解析
ES|QL 的 和 都已转正:前者把一条查询劈成几路并行跑,后者聚合完还能保住原始行。本文讲清两者的用法、版本状态和各自的使用边界。实测环境:本地分别起 Elasticsearch 8.19.8 与 9.4.2 单节点实例(官方 tar 包,堆内存 512MB,安全与机器学习关闭),curl 连本地 9200 端口, 接口走 ES|QL;两版都写入同一批 4 条文档(,k 取 a/a/b/c、
3
1
0
1
岳涛
岳涛
ES 建索引默认给几个分片?6.x 是 5,7.0 之后是 1
大数据最佳实践Elasticsearch技术解析
6.x 及更早版本建索引不指定分片数,默认给 5 个;7.0 把这个默认值改成了 1。本文说说这条改动背后的"过度分片"问题,以及当年分片数定死之后到底有多难改。实测环境:本地起两个单节点实例——Elasticsearch 6.8.23 与 7.17.29(官方 tar 包直接跑,堆内存 512MB),curl 连本地 9200 端口,两个版本分两次启动。图 1 出自 6.8.23,图 2 出自
3
1
0
1
岳涛
岳涛
时序|ES 的 `time_series` 模式可以用 `nested` 字段了,但有条边界没放开
大数据最佳实践Elasticsearch技术解析
9.1 之前, 的索引不支持 字段——想给指标带上一组子对象,只能拍平或者换个索引模式。9.1 放开了这个限制。但放开得不彻底:nested 内部仍然不能配 ,这条边界值得先看清再动手。实测环境:本地起的 Elasticsearch 9.4.2 单节点实例(官方 tar 包直接跑,堆内存 512MB,安全与机器学习关闭),curl 连本地 9200 端口。本文「实测」小节的命令和输出都出自这个实
3
1
0
1
岳涛
岳涛
考古|search_type=count 和 scan 在 ES 5.0 被删,藏得最深的是定时任务
大数据最佳实践Elasticsearch技术解析
从 2.0 起废弃、 从 2.1 起废弃,到 5.0 两个 search type 被移除。替代方式分别是 和"按 排序的 scroll"。带这两个值的请求在 5.x 不会降级,源码里的解析会直接抛 。本文对照 v5.6.16 和 v2.4.6 源码,把移除的依据、替换写法和改完以后要验证的几点写清楚。实测环境:本地起的 Elasticsearch 5.6.16 单节点实例(官方 tar 包
4
1
0
1
岳涛
岳涛
Elasticsearch 索引容量分组工具使用指南
大数据最佳实践Elasticsearch技术解析
准备一台可以访问到 ES 实例的服务器,其网络环境应该是互通的;logstash 数据迁移snapshot 数据迁移● 服务器准备准备一台可以访问到 ES 实例的服务器,其网络环境应该是互通的;● ES 实例设置白名单运行 IndexGrouping 工具所在主机,需要对 ES 有访问权限,ES 白名单添加允许 IndexGrouping 工具机访问。ES 实例没有密码认证,端口为9200,且所有
3
1
0
1
岳涛
岳涛
复盘:某客户ES上云问题案例总结
大数据最佳实践Elasticsearch技术解析
客户自建近100个ES集群,服务于多个核心重要业务。客户自建近100个ES集群,服务于多个核心重要业务。随着业务日益增长、需求各有所异、集群容量利用率参差较大、部分混布集群资源成本难以继续细分,出于人员不足,运维压力、增强稳定性保障、优化利用率和成本等角度考虑,计划将全部自建ES集群基于业务属性、重要等级等方向按批次迁移至 Elasticsearch。集群缩容时,有部分分片无法搬迁,恢复进度到一定
2
1
0
0
岳涛
岳涛
运维|ES 的分配统计接口 9.1 起可以取消,这说明它以前有多慢
大数据最佳实践Elasticsearch技术解析
9.1 给获取分配统计(allocation stats)的操作加了取消支持。单独看是个很小的改动,但把它和同一版本的另一条( 支持)放在一起,能看清一件事:这个接口以前有多慢,以及 ES 是怎么一步步改的。来源和边界先交代:本文的依据出自 v9.4.2 标签下的官方文件(、、),文中引用的原文均来自这些文件。我没有启动集群、也没有跑测试,示例取自官方示例;哪些是文档写明、哪些是我的推断,正文里逐
5
1
0
0
岳涛
岳涛
考古|未知设置直接不让 ES 5.0 启动,设置现在全部要过校验
大数据最佳实践Elasticsearch技术解析
5.0 起所有设置在生效前都要校验:节点级和默认索引级设置在启动时校验,动态设置在更新前校验,且每个设置必须是"已注册"的。同时一批老设置被改名或删除:索引级设置不能再在节点级配置、 换成 、节点属性必须放 命名空间、 删除、带 中缀的设置换成 同义项。本文对照 v5.6.16 源码,把"未知设置""节点级索引设置"两种启动失败的报错原文和处理办法写出来。来源和边界先交代:本文的依据出自 v
7
1
0
0
岳涛
岳涛
Elasticsearch 8.8 原生向量检索性能测试
大数据最佳实践Elasticsearch技术解析
Pip:pip 20.2.3 from pip (python 3.8)版本Linux环境:Centos 7.9Python:3.8.7Pip:pip 20.2.3 from pip (python 3.8)Java:openjdk version 1.8.0_302 (build 1.8.0_302-b08)Git:2.7.5配置内存:32G硬盘:增强型SSD云硬盘 50GBCPU个数:1CPU
8
1
0
1
岳涛
岳涛
Elasticsearch数据在线迁移方案
大数据最佳实践Elasticsearch技术解析
在线迁移技术是基于 ES于2020年5月份发布的双网卡技术实现的一种迁移方案。在线迁移技术是基于 ES于2020年5月份发布的双网卡技术实现的一种迁移方案。因此,这里需要注意,要迁移的目的ES集群需要是在2020年5月后创建的才适用。适用场景:适用于客户自建ES集群和云上的ES集群网络互通,且对业务可用性和稳定性要求较高的场景。迁移原理:将 ES集群于客户自建ES集群进行融合,构建成一个更大的ES
4
1
0
1
岳涛
岳涛
检索|ES 9.2 的 .integration_knowledge 多数人用不上,能看出产品方向
大数据最佳实践Elasticsearch技术解析
9.2 新增 系统索引。这条改动大多数用不上——它是给 Fleet 和 AI 助手准备的。但它透露了一个方向上的信号:ES 开始为"AI 助手来理解集成"提供内置的存储位置。来源和边界先交代:本文的依据出自 v9.4.2 标签下的官方文件(、),文中引用的原文均来自这些文件。我没有启动集群、也没有跑测试,示例取自官方示例;哪些是文档写明、哪些是我的推断,正文里逐处标注。图 1:官方文件 9.2.
2
1
0
1
岳涛
岳涛
考古|ES 5.0 换了数字字段的词项结构,老索引却还按旧结构打分
大数据最佳实践Elasticsearch技术解析
5.0 把数字字段的索引结构换成 BKD tree。迁移文档说磁盘占用预计更少、范围查询预计更快,代价是数字字段上的 查询不再有文档频率的贡献,一律返回常量分。读 v5.6.16 源码能补上文档没写的一条:这个变化只发生在 5.0.0-alpha2 及之后创建的索引上,老索引沿用旧结构,升级后分数不会变,要等重建索引才会变。来源和边界先交代:本文的依据出自 v5.6.16 标签下的官方文件(、、
6
1
0
1
岳涛
岳涛
Elasticsearch 段优化工具使用指南
大数据最佳实践Elasticsearch技术解析
本工具适用于社区版本为 5.x/6.x/7.x/8.x 的 elasticsearch,暂不支持其他社区版本本工具适用于社区版本为 5.x/6.x/7.x/8.x 的 elasticsearch,暂不支持其他社区版本本工具会自动计算出最佳 max num segments 并执行 forcemerge,适用于解决集群各类索引存在大量零碎 segment 的问题工具适用场景时序日志场景,历史数据不再
8
1
0
1
岳涛
岳涛
WAF防火墙数据接入 ES最佳实践(上)
大数据最佳实践Elasticsearch技术解析
WAF是个简称,中文全称为Web应用防护系统(也称为:网站应用级入侵防御系统。WAF是个简称,中文全称为Web应用防护系统(也称为:网站应用级入侵防御系统。英文:Web Application Firewall,简称: WAF)。客户在不同云厂商的WAF日志需要统一接入一个平台,集中管理,最终客户选择了 ES。链路上遇到的问题:由于syslog只能往单节点推送,而 Logstash又是多节点的lo
2
1
0
0