9.3 给 DiskBBQ 的本地 k-means 加了并发实现。但源码里有个关键判断:向量数量不够多就用串行版本。我的判断是:这个"自动退化"的设计比"加了并发"本身更值得说——先判断该不该并行,再决定用哪个实现。
说明
来源和边界先交代:本文的依据出自 v9.4.2 标签下的官方文件(9.3.0.yml、KMeansLocal.java、HierarchicalKMeans.java),文中引用的原文均来自这些文件。示例取自官方示例;哪些是文档写明、哪些是我的推断,正文里逐处标注。
实测环境:本地另起一个 Elasticsearch 9.4.2 单节点实例(官方 tar 包,端口 9200,独立 path.data),安全特性与机器学习均关闭;实验产生的索引都在这台实例上。文末「在 9.4.2 上跑一遍」里的命令与响应均取自该实例。
图 1:官方文件 9.3.0.yml(v9.4.2 标签)。来源:GitHub elastic/elasticsearch v9.4.2 9.3.0.yml
官方条目
9.3 的 changelog 标为 enhancement(9.3.0.yml 第 1316–1319 行 @ v9.4.2),area: Vector Search:
[DiskBBQ] Add concurrency on KMeansLocal
只有一行 summary。下面的内容来自源码——源码写得非常清楚,包括什么时候不用并发。
图 2:官方文件 KMeansLocal.java(v9.4.2 标签)。来源:GitHub elastic/elasticsearch v9.4.2 KMeansLocal.java
先说 DiskBBQ 是什么
BBQ(Better Binary Quantization)是 ES 的向量量化方案——把 float32 向量压成更低比特的表示,大幅减少存储和计算量。
DiskBBQ 是它的一个变体,目标是让量化后的向量能主要放在磁盘上,用很少的内存支撑大规模向量检索。讲低内存向量那篇里写过相关的存储优化方向——本篇关注的是这条线上的"构建阶段"。
图 3:官方文件 HierarchicalKMeans.java(v9.4.2 标签)。来源:GitHub elastic/elasticsearch v9.4.2 HierarchicalKMeans.java
k-means 在这里做什么
量化需要做一件事:把向量分成若干簇,每个簇算一个中心点(centroid)。量化时用"离哪个中心最近"来表示原向量。
分簇这一步就是 k-means。 源码的类注释说明了它的具体定位(KMeansLocal.java,源码 @ v9.4.2):
k-means implementation specific to the needs of the
HierarchicalKMeansalgorithm that deals specifically with finalizing nearby pre-established clusters and generate SOAR assignments
几个信息:
- 它是分层 k-means(
HierarchicalKMeans)的一部分; - 处理的是"已建立的簇的收尾";
- 会生成 SOAR 分配(注释里给了 Google 的研究链接)。
SOAR 是 Google 提出的向量检索优化算法。注释里直接给了出处链接,说明 ES 在这块跟进了业界进展——这类"引用了某篇研究"的注释,通常意味着实现是有依据的,不是自创的近似做法。
(说明:SOAR 的具体机制未深入核对,只确认注释里引用了它。)
三个实现类
源码目录里能看到:
| 类 | 作用 |
|---|---|
KMeansLocal | 抽象基类 |
KMeansLocalSerial | 串行实现 |
KMeansLocalConcurrent | 并发实现(9.3 新增) |
基类里有个抽象方法(KMeansLocal.java 第 33 行):
/ Number of workers to use for parallelism /
protected abstract int numWorkers();
"用几个 worker 做并行"是子类必须回答的问题——这正是两种实现的根本区别:串行版固定返回 1,并发版返回实际分配的 worker 数。
什么时候用哪个(本篇核心)
选择逻辑在 HierarchicalKMeans.java 第 226–233 行(源码 @ v9.4.2):
private KMeansLocal buildKmeansLocal(int numVectors, int localSampleSize) {
int numWorkers = Math.min(this.numWorkers, numVectors / MIN_VECTORS_PRE_THREAD);
// if there is no executor or there is no enough vectors for more than one thread, use the serial version
return executor == null || numWorkers <= 1
? new KMeansLocalSerial(localSampleSize, maxIterations)
: new KMeansLocalConcurrent(executor, numWorkers, localSampleSize, maxIterations);
}
这段代码信息量很大,逐层看:
一,先算实际用几个 worker:
int numWorkers = Math.min(this.numWorkers, numVectors / MIN_VECTORS_PRE_THREAD);
取"配置的 worker 数"和"向量数 ÷ 每线程最少向量数"中较小的它。 也就是说——worker 数不是固定的,它随数据量缩放。
二,然后判断走哪条路:
executor == null || numWorkers <= 1 ? 串行 : 并发
两个条件之一成立就用串行:
- 没有 executor(没有可用的线程池);
- 算出来的 worker 数 ≤ 1(数据量不足以拆分)。
三,注释直接说明了意图:"if there is no executor or there is no enough vectors for more than one thread, use the serial version"(没有 executor 或者向量不够多线程分,就用串行版)。
加了并发,但会自动退回串行
"加了并发"很常见,"加了并发但会自动退回串行"才是老练的做法。
小数据量下开多线程的开销(线程调度、任务拆分、结果合并)可能超过并行带来的收益。强行并发反而更慢。
所以这里用 MIN_VECTORS_PRE_THREAD 做了一道门槛:向量数除以它,得到"值得开几个线程",结果 ≤ 1 就老实串行。门槛值由实现方定,因为他知道开销有多大。
这个设计是对的,理由:并发是有适用条件的,不是越多越好。把它做成运行时判断,比让用户自己决定可靠——用户既不知道内部开销,也不知道这批数据有多大。
(说明:MIN_VECTORS_PRE_THREAD 的具体数值未查证,只确认了它在决策中的用法。)
对使用者的影响
一,索引构建可能变快。 涉及大量向量时,k-means 这一步能并行。
二,不需要配置。 是否并发是运行时自动判断的。
三,小数据量没有变化。 自动走串行,行为与以前一致。
三点合起来,这条改动属于"无感优化"——你感受不到它,除非你在索引非常大的向量数据集。这正是它的设计意图:不打扰不需要的人。
什么时候能观察到? 判断是:
- 用 DiskBBQ 索引类型;
- 单个 segment 里的向量数量足够大;
- 有可用的线程池。
第二点是关键——判断用的是 numVectors(本次聚类处理的向量数),不是整个索引的总量。所以索引总量大不代表一定用并发,要看单次聚类面对的数据量。
(说明:numVectors 在这段代码里的确切含义未完全确认——从上下文看应该是本次聚类处理的向量数,但是否等于 segment 内向量总数未核实。)
为什么"自动退回串行"是个好设计
上面说了这个设计值得称道,这里把理由讲透,因为它是个可以推广的判断模式。
并行不是免费的。 每次并行都有固定成本:
- 把任务拆成若干份;
- 分发给线程;
- 等所有线程完成(最慢的该决定总时长);
- 合并结果。
这些开销不随数据量变小。 所以数据量小的时候,并行节省的计算时间还不够抵消这些固定开销——结果是更慢。
这就是为什么需要门槛。 MIN_VECTORS_PRE_THREAD 就是该门槛:每个线程至少要摊到这么多向量,才值得为它开一个线程。
这个模式可以推广到别的地方:
- 任何"要不要并行"的决策,都该有个基于规模的阈值;
- 阈值应该由实现方决定(他知道内部开销),而不是抛给用户;
- 达不到的情况要自动退回,而不是报错或者硬并行。
对照一下反面做法:把并发度做成配置项,让用户自己填。问题在于——用户不知道内部开销,填多少都是猜。填小了浪费并行能力,填大了小数据量反而变慢。
本篇的做法避免了这个问题:用户什么都不用填,运行时按数据量选。
(说明:"自动退回"的具体阈值 MIN_VECTORS_PRE_THREAD 未查证,上面讲的是这个模式,不是这个数值。)
和别的向量索引优化放一起看
9.x 在向量索引构建上做了不少优化,前面写过几篇:
| 篇 | 优化 | 阶段 |
|---|---|---|
| 那篇 | GPU 加速向量索引 | 构建 |
| 本篇 | k-means 并发 | 构建 |
| 那篇 | HNSW 早停 | 查询 |
| 那篇 | 重打分开关 | 查询 |
前两条是构建阶段,后两条是查询阶段。
构建阶段的优化对使用者更"隐形"——它影响的是"索引要建多久",而这不是日常操作。但在需要重建索引时(改 mapping、迁移、升级后重建)会明显感受到,那时候这几条优化会一起发挥作用。
判断
这条改动属于典型的"内部并行化"。
评价它的角度:它把原本串行的计算拆成可并行的部分,并在不合适时自动不拆。
"自动判断"这个做法合理,理由前面说过——把"该不该并发"这个判断交给运行时,比交给用户可靠。用户不知道内部阈值,也不知道这批数据有多大。
唯一想提醒的:并发会占用更多 CPU。如果在共享集群上重建大向量索引,可能会影响同期的查询性能。
这是权衡——索引快了,但那段时间 CPU 更忙,不是缺陷。建议在业务低峰做大规模重建,这条对任何索引重建都适用,向量索引尤其明显(k-means 是计算密集的)。
还有一个次生影响:并发的 k-means 可能触发更多的内存临时占用(多线程各自持有中间结果)。如果节点内存本来就紧,重建大向量索引时值得盯一下内存。这一点未实测,从"多线程各自持有状态"推出可能性,供留意。
在 9.4.2 上跑一遍
并发阈值是源码常量,服务端不暴露;能验的是 DiskBBQ 索引的建索引门槛与聚类参数回显。
图 4:9.4.2 单节点实例的实测输出。bbq_disk 在 64 维可建,index_options 回显 cluster_size=384、flat_index_threshold=-1、bits=1;bbq_hnsw 在 4 维报 does not support dimensions fewer than 64,换 64 维可建;对照组 int8_hnsw 在 4 维可建。
curl -s -X PUT 'http://localhost:9200/bbq-disk-64' -H 'Content-Type: application/json' \
-d '{"settings":{"index":{"number_of_replicas":0}},"mappings":{"properties":{"v":{"type":"dense_vector","dims":64,"index":true,"similarity":"cosine","index_options":{"type":"bbq_disk"}}}}}' \
| jq -c '.index'
# "bbq-disk-64"
curl -s 'http://localhost:9200/bbq-disk-64/_mapping' \
| jq -c '."bbq-disk-64".mappings.properties.v.index_options | {type, cluster_size, flat_index_threshold, bits}'
# {"type":"bbq_disk","cluster_size":384,"flat_index_threshold":-1,"bits":1}
curl -s -X PUT 'http://localhost:9200/bbq-hnsw-4' -H 'Content-Type: application/json' \
-d '{"mappings":{"properties":{"v":{"type":"dense_vector","dims":4,"index_options":{"type":"bbq_hnsw"}}}}}' \
| jq -r '.error.root_cause[0].reason' | cut -c1-100
# Failed to parse mapping: bbq_hnsw does not support dimensions fewer than 64; provided=4
curl -s -X PUT 'http://localhost:9200/int8-hnsw-4' -H 'Content-Type: application/json' \
-d '{"mappings":{"properties":{"v":{"type":"dense_vector","dims":4,"index_options":{"type":"int8_hnsw"}}}}}' \
| jq -c '.index'
# "int8-hnsw-4"
图 4 里 cluster_size: 384 是 k-means 聚类相关参数,说明聚类配置确实进了 mapping。但正文反复标注的 MIN_VECTORS_PRE_THREAD 是源码常量,服务端没有对应的设置或 API,本机读不到具体数值,也无法直接开关并发;「小数据量退回串行」这条结论仍来自源码,本机没有验证。
边界:
- 图 4 出自 9.4.2 单节点实例,只造了空索引,没有写入向量,聚类耗时与实际加速效果未测;
MIN_VECTORS_PRE_THREAD数值、numVectors含义、SOAR 机制仍未查证;- 4 维 / 64 维的门槛差异只覆盖
bbq_hnsw一种类型。
写在最后
一条内部并行化改动:DiskBBQ 的 k-means 支持多线程,且会自动判断该不该用。
一,9.3 给 KMeansLocal 加了并发实现——KMeansLocalConcurrent,与原有的 KMeansLocalSerial 并存,两者继承同一个抽象基类。
二,是否并发由运行时判断:numWorkers = min(配置值, 向量数 / MIN_VECTORS_PRE_THREAD),≤ 1 或无 executor 就用串行。小数据量自动退回,行为不变。我的建议是别去调这个并发度——数据量不够时调了也不生效。
三,不需要配置,但你该知道它会多占 CPU 和内存——大规模重建放低峰做,内存紧的节点尤其留意。
另外诚实标注三处:MIN_VECTORS_PRE_THREAD 的具体数值未查证;numVectors 是否等于 segment 内向量数未核实;SOAR 算法的具体机制未深入核对——这三条不影响本篇结论("会自动判断、小数据量退回串行"),但如果要精确推算行为,需要再查。
参考
- changelog 9.3.0:[DiskBBQ] Add concurrency on KMeansLocal(第 1316–1319 行)@ v9.4.2
HierarchicalKMeans.java:串行/并发的选择逻辑(第 226–233 行)@ v9.4.2KMeansLocal.java:抽象基类与numWorkers()抽象方法(第 33 行)、类注释说明 SOAR 用途 @ v9.4.2KMeansLocalConcurrent.java:并发实现 @ v9.4.2
本文对照 Elasticsearch
v9.4.2标签的 changelog 与源码核对,引文与代码逐字取自原文。「在 9.4.2 上跑一遍」里已实际建bbq_disk(64 维)索引并读到cluster_size=384、flat_index_threshold=-1、bits=1;bbq_hnsw在 4 维被does not support dimensions fewer than 64拒绝、64 维可建,int8_hnsw在 4 维可建。MIN_VECTORS_PRE_THREAD的具体数值未查证(服务端不暴露该常量);numVectors的确切含义未核实;SOAR 算法机制未深入核对;**实际加速效果与"小数据量退回串行"**未实测,只造了空索引、没有写入向量。
