运维|以为读字段要重建 _source,ES 合成模式的 block loader 只读那一个

这条改动非常技术性,但源码注释写得极好,把"为什么要这么做"讲得清清楚楚。核心是:有些字段读的时候会兜底去重建整个 _source,而这一步其实可以跳过——只需要读那一个字段就够了。

说明

来源和边界先交代:本文的依据出自 v9.4.2 标签下的官方文件(9.1.0.yml、FallbackSyntheticSourceBlockLoader.java、IpFallbackSyntheticSourceReader.java),文中引用的原文均来自这些文件。示例取自官方示例;哪些是文档写明、哪些是我的推断,正文里逐处标注。

实测环境:本地 Elasticsearch 9.4.2 单节点实例(官方 tar 包,端口 9200,独立 path.data),实验期间在线安装 analysis-nori 与 discovery-ec2 插件并重启激活;另起 8.19.8 单节点实例(端口 9207,独立 path.data)安装 analysis-nori 用于跨版本分词对照。本机磁盘占用约 90%,触发 high watermark 阻止分片分配,实验时临时把 cluster.routing.allocation.disk.watermark.high 调到 95%,结束后已恢复。文末「在 9.4.2 上跑一遍」里的命令与响应均取自这些实例。

图 1:官方文件 9.1.0.yml(v9.4.2 标签)。来源:GitHub elastic/elasticsearch v9.4.2 9.1.0.yml

官方条目

9.1 里这是一组条目,同一个机制逐步应用到各种字段类型:

条目位置
Introduce FallbackSyntheticSourceBlockLoader and apply it to keyword fields9.1.0.yml 第 28–31 行
Use FallbackSyntheticSourceBlockLoader for number fields9.1.0.yml 第 248 行
其它类型(boolean / date 等)同批

每条都只有一行 summary。但源码的注释非常完整,本篇主要依据它。

图 2:官方文件 FallbackSyntheticSourceBlockLoader.java(v9.4.2 标签)。来源:GitHub elastic/elasticsearch v9.4.2 FallbackSyntheticSourceBlockLoader.java

先说 Block loader 是什么

Block loader 是 ES|QL 读取列式数据的一套机制。ES|QL 是列式执行的——一次读一批(block)某个字段的值,而不是一条条文档地处理。

读一个字段的值,通常有三条路:

  1. doc values —— 列存,最快;
  2. stored fields —— 存了就直接用;
  3. 都没有 → 兜底去读 _source,从原始 JSON 里把这个字段解析出来。

第三条就是本篇要说的"兜底路径"。

图 3:官方文件 IpFallbackSyntheticSourceReader.java(v9.4.2 标签)。来源:GitHub elastic/elasticsearch v9.4.2 IpFallbackSyntheticSourceReader.java

问题出在第三条路

源码注释把问题描述得很清楚(FallbackSyntheticSourceBlockLoader.java 的类注释,源码 @ v9.4.2):

Usually fields have doc_values or stored fields and block loaders use them directly. In some cases neither is available and we would fall back to (potentially synthetic) _source.

通常字段有 doc values 或 stored fields,loader 直接用它们。但有些情况下两者都没有,于是兜底去读 _source。

然后是关键的一句:

However, in case of synthetic source, there is actually no need to construct the entire _source.

但在合成 _source 的情况下,其实没必要构造整个 _source。

为什么没必要

注释接着解释:

We know that there is no doc_values and stored fields, and therefore we will be using fallback synthetic source. That is equivalent to just reading _ignored_source stored field directly and doing an in-place synthetic source just for this field.

逻辑链条是这样的:

  1. 走到这条兜底路径,说明该字段没有 doc values,也没有 stored fields;
  2. 那它在合成模式下的值,只能来自 _ignored_source(讲归一化 keyword 那篇里写过这个"补丁区");
  3. 所以直接读 _ignored_source 里这个字段的部分就够了;
  4. 不需要把整个 _source 重建出来再从中取一个字段。

这就是优化点:原来的做法是先造出完整的 _source(一整份 JSON),再取其中一个字段;现在直接取那一个字段。

省了什么

按理解(注释没量化,这是推断),省掉的是:

  • 重建整份 _source 的计算:遍历所有字段、从各处拼装、序列化成 JSON;
  • 中间对象的内存开销:整份文档在内存里存在过。

而你只需要其中一个字段的值。

打个比方(这里是说明性的比方,不是比喻修辞):要从一个包裹里拿一件东西,原来的做法是把包裹整个拆开、把内容全部摊开摆好、再拿那一件;现在是直接找到那件拿出来。

这个优化的收益随"文档有多少个其它字段"增长:文档字段越多,重建整份 _source 的浪费越大。这也是为什么它对宽表更明显。

它是怎么逐步推广的

从 changelog 能看出这是个渐进过程:

  1. 先引入这个 loader,应用到 keyword;
  2. 再应用到 number 类型;
  3. 然后是 boolean、date;
  4. 还有 unsigned long 等。

一个类型一个类型地来。 判断原因(这是理解)是:每种类型的合成源读取逻辑不同,得分别实现和测试。

这带来一个实际影响:不是所有字段类型都享受这个优化。哪些类型已经支持、哪些还没有,未逐个核实——从 changelog 看 9.1 覆盖了 keyword、number、boolean、date 等主要类型。

什么情况下字段会"既没有 doc values 也没有 stored fields"

上面反复说"两者都没有才走兜底",但这听起来有点反常——字段怎么会什么都没有?值得解释一下。

doc values 是可以关掉的。 有些字段不需要排序、聚合,就可以关掉 doc values 省空间。关了之后,读这个字段就只能走别的路。

stored fields 也未必有。 在合成 _source 模式下,原本就不存原始 JSON(这是合成模式的意义),所以"从 stored fields 读"这条路本来就不通。

两者叠加就出现了"什么都没有"的状态:doc values 被关了,_source 又是合成的。

这时候值的唯一来源就是 _ignored_source——该专门存"重建不出来的内容"的补丁区。所以注释里说"必然来自 _ignored_source"是有依据的,是这个状态下的唯一可能,不是猜测。

(说明:"关掉 doc values"的具体配置方式未核对,不同字段类型的开关名可能不同。这里说的是"存在这种状态",不是操作指南。)

这也解释了为什么这个优化只在合成模式下成立:非合成模式下 _source 是存的原始 JSON,直接读它就是最短路径,不需要 _ignored_source 这套机制。

和 _ignored_source 是同一条线

这条改动把之前几篇串起来了:

篇内容
归一化 keyword 那篇_ignored_source 是合成模式的"补丁区"
配置位置那篇_source.mode 从 mapping 挪到索引设置
arrays 那篇synthetic_source_keep 对原生数组类型不再生效
本篇读的时候,直接从补丁区取一个字段,不重建整份

本篇是"读路径"上的优化,前三篇是"写路径 / 配置"上的。

合起来能看出 synthetic source 的完整图景:

  • 写:决定存什么(哪些要额外存);
  • 读:决定怎么取(能不能只取需要的部分)。

两个方向都在做"少做无用功"。

对使用者的影响

没有需要你配置的东西——升级后自动生效。

也没有行为变化——结论是读到的值和以前一样,只是路径更短,所以不需要为它做数据校验。

可能影响的是性能:涉及这类兜底路径的 ES|QL 查询,CPU 和内存占用可能下降。

什么情况下能观察到? 判断是:

  • 索引开了合成 _source;
  • 字段没有 doc values(比如某些配置下);
  • 查询用 ES|QL 读这些字段。

三个条件都满足才会走这条路径。所以多数人感受不到,这是正常的——它优化的是一条不常走的路径。

想自己观察这条路径,得先构造出它。 大致是这样:

curl -X PUT 'localhost:9200/probe-synthetic' -H 'Content-Type: application/json' -d '{
  "settings": {
    "index.mapping.source.mode": "synthetic"
  },
  "mappings": {
    "properties": {
      "tag": { "type": "keyword", "doc_values": false }
    }
  }
}'

这样建出来的索引:tag 字段没有 doc values、也不是 stored field,读它就只能走 _source 兜底——正是这篇说的那条路径。

然后用 ES|QL 读它,带上 PROFILE 看执行计划:

FROM probe-synthetic
| STATS c = COUNT(*) BY tag
| PROFILE

说明:文末实测已在 synthetic source 索引上执行过 ES|QL 查询,KEEP 的字段越多 values_loaded 越大。下面的 mapping 是按文中条件拼出的示意,关掉 doc values 的具体配置方式仍未核对。

值得费这个事的原因:这类"内部优化"的改动,changelog 不会告诉你收益多少。想知道对有没有用,只有自己构造场景测一条路。而构造场景的前提,是搞清楚它的触发条件——这也是把三个条件写清楚的原因。

判断

这条改动的价值不在"你能用它做什么",而在它体现的优化思路:

"需要什么就取什么,不要为了取一个而造全部。"

这个思路在数据库系统里很常见(列存的意义就在此),但要在合成 _source 这个特定机制上落地,需要理解"兜底路径到底在读什么"——源码注释显示 ES 的开发者清楚地知道:走到这一步时,值一定来自 _ignored_source。

写它主要因为它是一个很好的例子:性能优化往往来自对既有路径的重新审视,而不是加新机制。

原路径每一步都在做事,逻辑也正确——只是它做了超出需要的部分。发现这一点需要对"这一步到底在读什么"有准确理解,而源码注释表明 ES 的开发者确实清楚:走到兜底时,值必然来自 _ignored_source。

顺着这点能得出一条通用经验:优化一个流程之前,先确认它的每一步是否都为当前目标所必需。 很多时候瓶颈是"做了不需要做的",不是"做得慢"。

在 9.4.2 上跑一遍

正文标「mapping 和查询未实际执行过」的,用 synthetic source 索引跑一次 ES|QL 就能看到加载量。

图 4:9.4.2 单节点实例的实测输出。5 条文档、3 个字段的 synthetic source 索引上,KEEP kw 加载 5 个值,KEEP kw, v 加载 10 个,不带 KEEP 加载 15 个;_source 仍可完整重建,索引设置回读为 synthetic。

curl -s -X POST 'http://localhost:9200/_query' -H 'Content-Type: application/json' \
  -d '{"query":"FROM bl2-idx | KEEP kw | LIMIT 5"}' | jq -c '{docs:.documents_found, values_loaded}'
# {"docs":5,"values_loaded":5}
curl -s -X POST 'http://localhost:9200/_query' -H 'Content-Type: application/json' \
  -d '{"query":"FROM bl2-idx | KEEP kw, v | LIMIT 5"}' | jq -c '{docs:.documents_found, values_loaded}'
# {"docs":5,"values_loaded":10}
curl -s -X POST 'http://localhost:9200/_query' -H 'Content-Type: application/json' \
  -d '{"query":"FROM bl2-idx | LIMIT 5"}' | jq -c '{docs:.documents_found, values_loaded}'
# {"docs":5,"values_loaded":15}
curl -s 'http://localhost:9200/bl2-idx/_doc/1' | jq -c '._source'
# {"kw":"k1","txt":"hello world","v":1}

图 4 把「读一个字段不必重建整个 _source」做成了可数的对照:加载量随 KEEP 的字段数线性增长,说明查询确实只取了需要的列;同时 _source 接口仍能完整读出原文档,两种能力并存。

边界:

  • 图 4 出自 9.4.2 单节点实例,5 条文档、3 个字段;values_loaded 是加载值计数,不等于「重建 _source 的次数」,block loader 内部走的是哪条兜底路径未直接观察;
  • 该优化的实际性能收益未实测;
  • 已应用该优化的字段类型全集未逐个核实,仅确认 changelog 提到的 keyword、number 等;
  • 关掉 doc values 的具体配置方式仍未核对。

写在最后

一条很技术的内部优化,但源码注释把原理讲透了。

一,Block loader 读字段通常走 doc values 或 stored fields;两者都没有时,兜底去读 _source —— 这是 ES|QL 读取一条路径上的第三选择。

二,合成模式下这个兜底可以优化:既然没有 doc values 和 stored fields,值必然来自 _ignored_source,直接读它就行,不必重建整份 _source。我的判断是:这正是合成 source 值得开的一个理由。

三,它是逐类型推广的(keyword → number → boolean/date…),所以不是所有类型都已支持——哪些类型在列内未逐个核实。

另外诚实标注两处:"省掉了什么"是推断(注释没量化);哪些字段类型已应用未逐个核实(只确认 changelog 里提到的几类)。

参考

本文对照 Elasticsearch v9.4.2 标签的 changelog 与源码核对,类注释引文逐字取自原文。「在 9.4.2 上跑一遍」里已实际在 synthetic source 索引上执行 ES|QL:5 条文档下 KEEP kw 加载 5 个值、KEEP kw, v 加载 10 个、不带 KEEP 加载 15 个,_source 仍可完整重建。**"省掉的开销是什么"**仍是推断(本机只数了加载值,未观察 block loader 内部路径);已应用该优化的字段类型全集未逐个核实;该优化的实际性能收益未实测。

0
0
0
0
评论
未登录
暂无评论