训练人工智能更好地处理表格数据。
https://arxiv.org/pdf/2310.09263.pdf
表格在文档、网页、电子表格、数据库等各个领域中无处不在。它们以一种结构化的、关联性的方式呈现信息，通常比自由文本更容易被人类解析和分析。然而，尽管自然语言处理取得了重大进展，但当今的AI系统仍然难以完全理解表格并有效地对表格数据进行推理。这限制了它们提取见解、回答问题、填充缺失值和执行其他关键的与表格相关的任务的能力。
一种名为“表格调优”的新预训练技术旨在增强像GPT-3这样的大型语言模型，以更好地理解表格数据。在微软研究院的一篇论文中，提出了表格调优作为改进AI在处理表格方面技能的一种方式。他们的结果表明，表格调优可以显著提升各种不同类型的表格任务的性能。 让我们深入研究这篇论文，了解一下表格调优是如何工作的。我们还将查看论文中呈现的结果，并评估它们的可靠性。
表格几乎在涵盖各行各业和领域的文档中无处不在。财务报告包含汇总支出、收入、投资回报率和其他关键指标的表格。科学和工程论文使用表格呈现实验结果和分析。政府和非政府组织数据经常以大型表格数据集的形式出现。即使是简单的网页也经常包含混合文本和其他媒体的较小数据表格。
表格的结构化、关系型特性使其成为呈现和分析数据的理想工具。相关值被清晰地组织成行和列，标签指示每个值的含义。这使得趋势和异常值在视觉上易于识别。像5个地区每月销售额这样的关系一眼就能看出来。表格自然适用于聚合、过滤、排序和其他有助于推导洞见的操作。
因此，掌握表格数据对于自动化许多知识工作者任务至关重要。能够解析财务报告、填补缺失的销售数字、标记不太可能的数字、总结关键要点并生成图形的AI助手将是无价之宝。能够将论文中的实验结果提取到表格中，进行交叉引用，识别相似之处和矛盾之处并回答相关问题的科学研究助手可以大大加速发现。即使对于相当平凡的商业文件，一个能够准确地从提供的数据表格中填充模板的AI代理也可以节省大量人力时间。
尽管在自然语言、视觉、机器人和游戏等领域取得了令人瞩目的进展，但当前的人工智能系统仍然难以完全理解和推理表格数据。这可能是因为迄今为止大多数模型的架构和训练主要基于自由形式的非结构化文本语料库。正如研究人员所指出的那样，语言的线性特性与表格中存在的二维垂直和水平关系非常不同。
为了测试这个假设，作者用两个简单的表格分析测试来探究标准语言模型：识别缺失值的列和行，以及定位包含特定值的列。即使是像GPT-3这样强大的模型，在这些基本任务中也有26-74%的失败率。作者还观察到，改变表格的列顺序会改变GPT-3的输出，尽管列位置不应影响解释。他们认为，由于单词顺序在文本语料库中极大地改变了含义，语言模型学习了对列位置不必要的敏感性。
总体而言，分析证实了尽管GPT-3具有1750亿个参数并在大规模文本语料库上进行了训练，但其表格理解能力仍然很一般。这些缺点激励我们探索专门针对表格数据的新预训练策略。
表格调整技术的核心前提是在合成的表格任务数据上继续对标准语言模型（如GPT-3）进行预训练。这样可以在完成相关任务的背景下对各种各样的表格进行更长时间的暴露。整个过程包括两个主要阶段：
- 任务合成：通过编程生成训练数据，其中包括形式为（指令、表格、完成结果）的表格任务三元组。例如，指令可以是“总结这个表格”，表格包含示例数据，完成结果是一个合适的摘要标题。研究人员使用300万个真实世界的网页和数据库表格，通过这个过程合成了14种不同的表格任务类型。
- 数据增强：使用已证明的技术，如释义指令、排列表格行/列和链接模型响应，进一步使训练数据多样化。这样可以减轻过拟合问题并增强泛化能力。
将得到的广泛的表格任务数据集输入到持续预训练中，可以得到被称为Table-GPT的增强模型。实验证实，Table-GPT版本在涉及理解、推理、洞察力等各种表格任务方面明显优于基础的GPT-3和ChatGPT模型。
表调整的第二阶段涉及增加生成的任务三元组以进一步提高多样性和泛化能力。采用了四种增强技术：
- 指令改写：使用语言模型重新表述任务说明以创建变化。例如，“总结这个表格”可以变成“为下面的表格提供一个描述性标题”。
- 表行/列置换：对表格的行和列进行洗牌、采样或置换。由于表格解释不应过于依赖行/列顺序，这可以提高鲁棒性。
- 提示变化：为同一任务创建不同的提示模板和格式。
- 完成增强：对于像实体匹配这样的复杂任务，将中间推理步骤插入完成中。这提供了更详细的演示。
这些增强显著增强了训练数据的多样性。最终数据集包含超过15,000个独特的指令-表格-完成案例，涵盖了各种任务和真实世界的表格。这些数据被用来继续预训练基础GPT-3模型，得到Table-GPT模型。
研究人员进行了广泛的实验，以验证表格调整如何改善各种表格任务的性能。他们在4个完全未见过的任务和5个已见但不同的测试集上评估了零样本和少样本能力。Table-GPT模型显示出比基本GPT-3和ChatGPT模型更大的优势：
- 未见过的任务：在缺失值识别、列类型识别、问题回答和其他新任务中，Table-GPT在某些情况下将准确性提高了25%以上。
- 已见过的任务：对于行转换、实体匹配、错误检测和其他已见但不同的测试集，Table-GPT再次表现出优势，在98%的情况下优于基本模型。
- 下游调整：当允许执行特定于任务的提示工程或微调时，Table-GPT保持其优势。它在较少的下游调整下实现了更高的性能。
Table-GPT卓越性能的一致性证实了表格调整成功地注入了更强的表格理解和推理能力。即使对于完全新的数据集和任务，这些增益也持续存在，表明了改进的泛化能力。
然而，值得注意的是，测试数据集虽然不同，但仍围绕着有限的一组表格处理任务。扩展到更广泛的数据集和实际用例仍需要进一步验证泛化能力。尽管如此，这些初步结果似乎很有前途。完整结果如下。
表格调整技术为开发具有更高级别表格理解能力的AI系统提供了基础。正如作者所指出的那样，Table-GPT可能成为“表格基础模型” - 一种特别增强了表格任务的基础模型，然后在下游应用程序上进行微调。
一些有前途的下一步步骤包括扩大用于培训的表格的多样性和规模，纳入更广泛的表格技能范围，并测试在其他实际表格分析用例上的性能。还有许多其他富有成效的方向可以进行后续工作。
总体而言，表格调整似乎是朝着能够熟练处理跨领域重要的普遍表格数据的高级AI迈出的重要一步。通过改进理解和推理能力，AI系统可以更好地提取见解，回答问题，填补缺失数据，识别错误，并在表格上进行自动化分析。这将使高级推理成为可能，并为涉及财务数据，实验结果，库存数据库和许多其他充满有价值的表格信息的任务节省无数人力。