向量|DiskBBQ 的 k-means 在 ES 9.3 补上并发,向量不够多时仍走串行

9.3 给 DiskBBQ 的本地 k-means 加了并发实现。但源码里有个关键判断:向量数量不够多就用串行版本。我的判断是:这个"自动退化"的设计比"加了并发"本身更值得说——先判断该不该并行,再决定用哪个实现。

说明

来源和边界先交代:本文的依据出自 v9.4.2 标签下的官方文件(9.3.0.yml、KMeansLocal.java、HierarchicalKMeans.java),文中引用的原文均来自这些文件。示例取自官方示例;哪些是文档写明、哪些是我的推断,正文里逐处标注。

实测环境:本地另起一个 Elasticsearch 9.4.2 单节点实例(官方 tar 包,端口 9200,独立 path.data),安全特性与机器学习均关闭;实验产生的索引都在这台实例上。文末「在 9.4.2 上跑一遍」里的命令与响应均取自该实例。

图 1:官方文件 9.3.0.yml(v9.4.2 标签)。来源:GitHub elastic/elasticsearch v9.4.2 9.3.0.yml

官方条目

9.3 的 changelog 标为 enhancement(9.3.0.yml 第 1316–1319 行 @ v9.4.2),area: Vector Search:

[DiskBBQ] Add concurrency on KMeansLocal

只有一行 summary。下面的内容来自源码——源码写得非常清楚,包括什么时候不用并发。

图 2:官方文件 KMeansLocal.java(v9.4.2 标签)。来源:GitHub elastic/elasticsearch v9.4.2 KMeansLocal.java

先说 DiskBBQ 是什么

BBQ(Better Binary Quantization)是 ES 的向量量化方案——把 float32 向量压成更低比特的表示,大幅减少存储和计算量。

DiskBBQ 是它的一个变体,目标是让量化后的向量能主要放在磁盘上,用很少的内存支撑大规模向量检索。讲低内存向量那篇里写过相关的存储优化方向——本篇关注的是这条线上的"构建阶段"。

图 3:官方文件 HierarchicalKMeans.java(v9.4.2 标签)。来源:GitHub elastic/elasticsearch v9.4.2 HierarchicalKMeans.java

k-means 在这里做什么

量化需要做一件事:把向量分成若干簇,每个簇算一个中心点(centroid)。量化时用"离哪个中心最近"来表示原向量。

分簇这一步就是 k-means。 源码的类注释说明了它的具体定位(KMeansLocal.java,源码 @ v9.4.2):

k-means implementation specific to the needs of the HierarchicalKMeans algorithm that deals specifically with finalizing nearby pre-established clusters and generate SOAR assignments

几个信息:

  • 它是分层 k-means(HierarchicalKMeans)的一部分;
  • 处理的是"已建立的簇的收尾";
  • 会生成 SOAR 分配(注释里给了 Google 的研究链接)。

SOAR 是 Google 提出的向量检索优化算法。注释里直接给了出处链接,说明 ES 在这块跟进了业界进展——这类"引用了某篇研究"的注释,通常意味着实现是有依据的,不是自创的近似做法。

(说明:SOAR 的具体机制未深入核对,只确认注释里引用了它。)

三个实现类

源码目录里能看到:

类作用
KMeansLocal抽象基类
KMeansLocalSerial串行实现
KMeansLocalConcurrent并发实现(9.3 新增)

基类里有个抽象方法(KMeansLocal.java 第 33 行):

/ Number of workers to use for parallelism /
protected abstract int numWorkers();

"用几个 worker 做并行"是子类必须回答的问题——这正是两种实现的根本区别:串行版固定返回 1,并发版返回实际分配的 worker 数。

什么时候用哪个(本篇核心)

选择逻辑在 HierarchicalKMeans.java 第 226–233 行(源码 @ v9.4.2):

private KMeansLocal buildKmeansLocal(int numVectors, int localSampleSize) {
    int numWorkers = Math.min(this.numWorkers, numVectors / MIN_VECTORS_PRE_THREAD);
    // if there is no executor or there is no enough vectors for more than one thread, use the serial version
    return executor == null || numWorkers <= 1
        ? new KMeansLocalSerial(localSampleSize, maxIterations)
        : new KMeansLocalConcurrent(executor, numWorkers, localSampleSize, maxIterations);
}

这段代码信息量很大,逐层看:

一,先算实际用几个 worker:

int numWorkers = Math.min(this.numWorkers, numVectors / MIN_VECTORS_PRE_THREAD);

取"配置的 worker 数"和"向量数 ÷ 每线程最少向量数"中较小的它。 也就是说——worker 数不是固定的,它随数据量缩放。

二,然后判断走哪条路:

executor == null || numWorkers <= 1 ? 串行 : 并发

两个条件之一成立就用串行:

  • 没有 executor(没有可用的线程池);
  • 算出来的 worker 数 ≤ 1(数据量不足以拆分)。

三,注释直接说明了意图:"if there is no executor or there is no enough vectors for more than one thread, use the serial version"(没有 executor 或者向量不够多线程分,就用串行版)。

加了并发,但会自动退回串行

"加了并发"很常见,"加了并发但会自动退回串行"才是老练的做法。

小数据量下开多线程的开销(线程调度、任务拆分、结果合并)可能超过并行带来的收益。强行并发反而更慢。

所以这里用 MIN_VECTORS_PRE_THREAD 做了一道门槛:向量数除以它,得到"值得开几个线程",结果 ≤ 1 就老实串行。门槛值由实现方定,因为他知道开销有多大。

这个设计是对的,理由:并发是有适用条件的,不是越多越好。把它做成运行时判断,比让用户自己决定可靠——用户既不知道内部开销,也不知道这批数据有多大。

(说明:MIN_VECTORS_PRE_THREAD 的具体数值未查证,只确认了它在决策中的用法。)

对使用者的影响

一,索引构建可能变快。 涉及大量向量时,k-means 这一步能并行。

二,不需要配置。 是否并发是运行时自动判断的。

三,小数据量没有变化。 自动走串行,行为与以前一致。

三点合起来,这条改动属于"无感优化"——你感受不到它,除非你在索引非常大的向量数据集。这正是它的设计意图:不打扰不需要的人。

什么时候能观察到? 判断是:

  • 用 DiskBBQ 索引类型;
  • 单个 segment 里的向量数量足够大;
  • 有可用的线程池。

第二点是关键——判断用的是 numVectors(本次聚类处理的向量数),不是整个索引的总量。所以索引总量大不代表一定用并发,要看单次聚类面对的数据量。

(说明:numVectors 在这段代码里的确切含义未完全确认——从上下文看应该是本次聚类处理的向量数,但是否等于 segment 内向量总数未核实。)

为什么"自动退回串行"是个好设计

上面说了这个设计值得称道,这里把理由讲透,因为它是个可以推广的判断模式。

并行不是免费的。 每次并行都有固定成本:

  • 把任务拆成若干份;
  • 分发给线程;
  • 等所有线程完成(最慢的该决定总时长);
  • 合并结果。

这些开销不随数据量变小。 所以数据量小的时候,并行节省的计算时间还不够抵消这些固定开销——结果是更慢。

这就是为什么需要门槛。 MIN_VECTORS_PRE_THREAD 就是该门槛:每个线程至少要摊到这么多向量,才值得为它开一个线程。

这个模式可以推广到别的地方:

  • 任何"要不要并行"的决策,都该有个基于规模的阈值;
  • 阈值应该由实现方决定(他知道内部开销),而不是抛给用户;
  • 达不到的情况要自动退回,而不是报错或者硬并行。

对照一下反面做法:把并发度做成配置项,让用户自己填。问题在于——用户不知道内部开销,填多少都是猜。填小了浪费并行能力,填大了小数据量反而变慢。

本篇的做法避免了这个问题:用户什么都不用填,运行时按数据量选。

(说明:"自动退回"的具体阈值 MIN_VECTORS_PRE_THREAD 未查证,上面讲的是这个模式,不是这个数值。)

和别的向量索引优化放一起看

9.x 在向量索引构建上做了不少优化,前面写过几篇:

篇优化阶段
那篇GPU 加速向量索引构建
本篇k-means 并发构建
那篇HNSW 早停查询
那篇重打分开关查询

前两条是构建阶段,后两条是查询阶段。

构建阶段的优化对使用者更"隐形"——它影响的是"索引要建多久",而这不是日常操作。但在需要重建索引时(改 mapping、迁移、升级后重建)会明显感受到,那时候这几条优化会一起发挥作用。

判断

这条改动属于典型的"内部并行化"。

评价它的角度:它把原本串行的计算拆成可并行的部分,并在不合适时自动不拆。

"自动判断"这个做法合理,理由前面说过——把"该不该并发"这个判断交给运行时,比交给用户可靠。用户不知道内部阈值,也不知道这批数据有多大。

唯一想提醒的:并发会占用更多 CPU。如果在共享集群上重建大向量索引,可能会影响同期的查询性能。

这是权衡——索引快了,但那段时间 CPU 更忙,不是缺陷。建议在业务低峰做大规模重建,这条对任何索引重建都适用,向量索引尤其明显(k-means 是计算密集的)。

还有一个次生影响:并发的 k-means 可能触发更多的内存临时占用(多线程各自持有中间结果)。如果节点内存本来就紧,重建大向量索引时值得盯一下内存。这一点未实测,从"多线程各自持有状态"推出可能性,供留意。

在 9.4.2 上跑一遍

并发阈值是源码常量,服务端不暴露;能验的是 DiskBBQ 索引的建索引门槛与聚类参数回显。

图 4:9.4.2 单节点实例的实测输出。bbq_disk 在 64 维可建,index_options 回显 cluster_size=384、flat_index_threshold=-1、bits=1;bbq_hnsw 在 4 维报 does not support dimensions fewer than 64,换 64 维可建;对照组 int8_hnsw 在 4 维可建。

curl -s -X PUT 'http://localhost:9200/bbq-disk-64' -H 'Content-Type: application/json' \
  -d '{"settings":{"index":{"number_of_replicas":0}},"mappings":{"properties":{"v":{"type":"dense_vector","dims":64,"index":true,"similarity":"cosine","index_options":{"type":"bbq_disk"}}}}}' \
  | jq -c '.index'
# "bbq-disk-64"
curl -s 'http://localhost:9200/bbq-disk-64/_mapping' \
  | jq -c '."bbq-disk-64".mappings.properties.v.index_options | {type, cluster_size, flat_index_threshold, bits}'
# {"type":"bbq_disk","cluster_size":384,"flat_index_threshold":-1,"bits":1}
curl -s -X PUT 'http://localhost:9200/bbq-hnsw-4' -H 'Content-Type: application/json' \
  -d '{"mappings":{"properties":{"v":{"type":"dense_vector","dims":4,"index_options":{"type":"bbq_hnsw"}}}}}' \
  | jq -r '.error.root_cause[0].reason' | cut -c1-100
# Failed to parse mapping: bbq_hnsw does not support dimensions fewer than 64; provided=4
curl -s -X PUT 'http://localhost:9200/int8-hnsw-4' -H 'Content-Type: application/json' \
  -d '{"mappings":{"properties":{"v":{"type":"dense_vector","dims":4,"index_options":{"type":"int8_hnsw"}}}}}' \
  | jq -c '.index'
# "int8-hnsw-4"

图 4 里 cluster_size: 384 是 k-means 聚类相关参数,说明聚类配置确实进了 mapping。但正文反复标注的 MIN_VECTORS_PRE_THREAD 是源码常量,服务端没有对应的设置或 API,本机读不到具体数值,也无法直接开关并发;「小数据量退回串行」这条结论仍来自源码,本机没有验证。

边界:

  • 图 4 出自 9.4.2 单节点实例,只造了空索引,没有写入向量,聚类耗时与实际加速效果未测;
  • MIN_VECTORS_PRE_THREAD 数值、numVectors 含义、SOAR 机制仍未查证;
  • 4 维 / 64 维的门槛差异只覆盖 bbq_hnsw 一种类型。

写在最后

一条内部并行化改动:DiskBBQ 的 k-means 支持多线程,且会自动判断该不该用。

一,9.3 给 KMeansLocal 加了并发实现——KMeansLocalConcurrent,与原有的 KMeansLocalSerial 并存,两者继承同一个抽象基类。

二,是否并发由运行时判断:numWorkers = min(配置值, 向量数 / MIN_VECTORS_PRE_THREAD),≤ 1 或无 executor 就用串行。小数据量自动退回,行为不变。我的建议是别去调这个并发度——数据量不够时调了也不生效。

三,不需要配置,但你该知道它会多占 CPU 和内存——大规模重建放低峰做,内存紧的节点尤其留意。

另外诚实标注三处:MIN_VECTORS_PRE_THREAD 的具体数值未查证;numVectors 是否等于 segment 内向量数未核实;SOAR 算法的具体机制未深入核对——这三条不影响本篇结论("会自动判断、小数据量退回串行"),但如果要精确推算行为,需要再查。

参考

本文对照 Elasticsearch v9.4.2 标签的 changelog 与源码核对,引文与代码逐字取自原文。「在 9.4.2 上跑一遍」里已实际建 bbq_disk(64 维)索引并读到 cluster_size=384、flat_index_threshold=-1、bits=1;bbq_hnsw 在 4 维被 does not support dimensions fewer than 64 拒绝、64 维可建,int8_hnsw 在 4 维可建。MIN_VECTORS_PRE_THREAD 的具体数值未查证(服务端不暴露该常量);numVectors 的确切含义未核实;SOAR 算法机制未深入核对;**实际加速效果与"小数据量退回串行"**未实测,只造了空索引、没有写入向量。

0
0
0
0
评论
未登录
暂无评论