【text2sql】低资源场景下Text2SQL方法

火山方舟向量数据库大模型

picture.image

SFT的text2sql方法

SFT使模型能够遵循输入指令并根据预定义模板进行思考和响应。如上图,

是用于通知模型在推理过程中响应角色的角色标签。

后面的内容表示模型需要遵循的指令,而

后面的内容传达了当前用户对模型的需求。

后面的内容代表模型的预期输出,也可以定义为模型预测的标签。在监督微调期间,模型根据

中的内容预测

后面的内容,然后将其与标签进行比较以计算损失函数。

标记作为结束标记,以防止模型在后续推理阶段偏离思路,从而减少推理时间。通过定义监督微调模板,模型可以在推理时根据模板唤起微调知识,用户可以从预先建立的响应模板中提取答案。

text2sql一些研究涵盖两个基本任务:schema_linking和SQL生成。

  • Schema Linking : 主要目的是识别和提取与问题相关的表,并通过分步推理和链式思维方法在有限内存下处理大规模数据库。
  • SQL 生成 : 主要目的是根据模式链接任务的结果生成准确的SQL查询语句,同时通过减少输入表的数量来降低内存消耗。

方法

picture.image

LR-SQL方法框架

提出了LR-SQL方法,解决低资源场景下的Text2SQL任务,具体如下:

schema_link模型 :首先,LR-SQL方法包含两个监督微调模型:schema_link模型和SQL生成模型。schema_link模型的主要作用是简化整个流程,通过将完整的数据库分解为灵活的表组合,使模型能够从这些分散的切片中学习数据库内关系。

数据分解 :在schema_link模型的微调过程中,LR-SQL将数据库分解为多个切片,每个切片具有可调节的表数量。这种方法允许模型根据GPU内存限制灵活地覆盖不同数量的表。

picture.image

LR-SQL的监督模板构建

picture.image picture.image

将数据库中的表分解成多个片段,每个片段包含一定数量的表和其列的描述

思维链 :为了增强模型在推理过程中感知各个离散切片之间关系的能力,LR-SQL训练了模型的链式思维能力。COT能力使模型能够逐步引导自己生成最终结果。

picture.image

LR-SQL训练

SQL生成模型 :在schema_link模型微调完成后,预测的目标表和问题被发送到SQL生成模型以生成最终的SQL查询。该模型仅使用包含目标表的少量表进行微调,从而显著减少了所需的内存。

picture.image

在推理阶段,与训练相比,模型处理长文本所需的内存需求大幅减少

实验

picture.image

schema_link模型评估:LR-SQL方法在两个数据集上的总准确率分别为91.38和94.38,过滤准确率分别为94.26和97.19,平均精度分别为95.50和96.91,平均召回率分别为95.76和97.85。与现有方法相比,LR-SQL在保持较高准确率的同时,显著减少了GPU内存使用。

picture.image

切片大小对性能的影响:实验还探讨了不同切片大小对模型性能和GPU内存使用的影响。结果表明,当切片大小适中时,模型的性能最佳。

参考文献

0
0
0
0
关于作者
相关资源
云原生数据库 veDB 核心技术剖析与展望
veDB 是一款分布式数据库,采用了云原生计算存储分离架构。本次演讲将为大家介绍火山引擎这款云原生数据库的核心技术原理,并对未来进行展望。
相关产品
评论
未登录
看完啦,登录分享一下感受吧~
暂无评论