又是合成数据，nl2sql起飞

论文笔记分享，论文标题：Synthesizing Text-to-SQL Data from Weak and Strong LLMs， ACL2024

要做个什么事？ 通过合成数据提升text2sql性能

怎么做？

1. Strong Data 上做SFT：使用厉害的LLm，如GPT-4，生成高质量的数据，这些数据具有多样性，有助于模型跨领域泛化。 有一些prompt技巧。
2. Weak Data 上做偏好训练：利用小的、差一些的开源LLM，生成可能存在错误的SQL样本。然后，通过对sql进行执行，验证对错，并通过dpo教导LLM从正确和错误的样本中学习

prompt:

效果：