“ 2篇survey
https://arxiv.org/pdf/2311.12399v1.pdf
这个论文对近年来将大型语言模型（LLMs）应用于图相关任务的研究进行了全面梳理，提出了一个新的分类体系，并从中挖掘出了一些有趣的发现和未来的研究方向。
在过去的几年里，大型语言模型（LLMs）在自然语言处理领域取得了显著的成功。同时，图神经网络（GNNs）也在处理复杂关系数据方面表现出强大的能力。因此，将这两者结合起来以解决更多领域的问题成为了研究的热点。本文首先介绍了图神经网络和大型语言模型的基本概念，然后提出了一个新的分类体系，将现有的方法分为三类：LLM作为增强器、LLM作为预测器和GNN-LLM对齐。
在LLM作为增强器的类别中，讨论了如何利用LLMs生成更丰富的节点表示，以提高GNNs在各种下游任务中的性能。这类方法可以进一步细分为基于解释的增强和基于嵌入的增强。基于解释的方法通过生成额外的文本信息（如解释、知识实体和伪标签）来丰富节点表示，而基于嵌入的方法则直接利用LLMs输出的文本嵌入作为初始节点表示。
在LLM作为预测器的类别中，探讨了如何将图结构信息输入到LLMs中以进行预测。这类方法可以进一步细分为基于展平的方法和基于GNN的方法。基于展平的方法将图结构展平为文本序列，并使用LLMs进行预测；而基于GNN的方法则将GNNs与LLMs相互融合，以便更好地捕捉图结构信息。
在GNN-LLM对齐的类别中，讨论了如何通过对齐技术将GNNs和LLMs语义上融合在一起。这类方法可以进一步细分为对称对齐和非对称对齐。对称对齐方法将GNNs和LLMs映射到相同的向量空间，从而引入文本知识；而非对称对齐方法则通过不同的方式将GNNs和LLMs结合在一起。
最后，我们讨论了现有研究的局限性，并指出了一些未来的研究方向。例如，在多模态学习中，如何更好地整合图结构信息和文本信息仍然是一个具有挑战性的问题。此外，如何设计更有效的预训练策略以提高模型的泛化能力也值得进一步探讨。总之，本文为研究者提供了一个系统的概述，帮助他们更好地理解图与大型语言模型交汇点的现状和未来发展趋势。