PET-SQL：具有跨一致性的大模型Prompt增强两阶段Text-to-SQL框架！ - 文章 - 开发者社区

PET-SQL框架 ，旨在提高大型语言模型（LLM）在将自然语言问题转换为结构化查询语言（SQL）查询（Text-to-SQL，简称Text2SQL）任务中的性能。Text2SQL任务对于问答系统和信息检索应用非常有帮助，因为它降低了专业知识的要求，使得非专业人士能够用自然语言与数据库交互。尽管最近的Text2SQL方法取得了显著进展，但在处理冗长的数据库信息和复杂的用户意图时仍面临挑战。

PET-SQL框架图

picture.image

PET-SQL框架包含两个主要阶段，并引入了跨一致性（cross-consistency）的概念：

提示表示增强（Prompt Representation Enhancement）：提出了一种新颖的提示表示方法，称为参考增强表示（reference-enhanced representation），它包括模式信息和从表中随机抽样的单元格值，以指导LLM生成SQL查询。

zero-shot reference-enhanced representation的例子

picture.image

两阶段生成过程：

第一阶段 ：通过检索问题-SQL对作为少量示例，提示LLM生成初步的SQL（PreSQL）。


          
### Some example pairs of questions and corresponding SQL queries are provided based on similar questions :
          
### How many farms are there ?
          
SELECT count (*) FROM farm
          
### How many books are there ?
          
SELECT count (*) FROM book
          
### How many actors are there ?
          
SELECT count (*) FROM actor
          
${zero - shot reference - enhanced representation }

第二阶段 ：解析PreSQL中提到的实体进行模式链接，简化提示中的模式信息，并指导LLM生成最终的SQL（FinSQL）。

当从PreSQL链接的表是“singer”时，简化后的提示。其中删除线（在第5行、第10-14行）表示通过模式链接从REp中移除上下文。

picture.image

跨一致性（Cross- Consistency）：提出了使用不同LLM之间的跨一致性，而不是单一LLM内的自我一致性。通过跨不同LLM的投票，而不是在高温度下重复调用特定LLM，以提高预测结果的一致性。

PET-SQL框架在Spider基准测试中取得了87.6%的执行准确率，这是目前最先进的结果， 比之前的最佳方法DAIL-SQL提高了1%， PET-SQL在不同的LLM上都表现出色，证明了该框架的有效性和优越性。

在Spider排行榜（测试集）上的总体性能

picture.image

此外，通过对比不同的 提示风格和模式链接的效果 ，还展示了提示表示和模式链接方法的有效性。通过简化提示信息，PET-SQL框架提高了LLM生成SQL查询的效率和准确性。

OD（OpenAI Demo）与CR（Code Rep）提示模版

picture.image

不同提示风格之间的性能比较（0-shot)

picture.image


          
https://arxiv.org/pdf/2403.09732.pdf
          
PET-SQL: A Prompt-enhanced Two-stage Text-to-SQL Framework with Cross-consistency