论文题目:A Survey of Large Language Models in Finance (FinLLMs)
论文链接:https://arxiv.org/pdf/2402.02315.pdf
Github:https://github.com/adlnlp/FinLLMs
介绍了大型语言模型(LLMs)在自然语言 处理(NLP)任务中的广泛应用,特别是在金融服务领域的应用。尽管对通用领域LLMs的研究已经非常深入,但金融领域的LLMs研究仍然有限。这篇综述旨在提供一个全面的FinLLMs概述,并讨论未来的研究方向。
从通用到金融领域的演变趋势 :论文回顾了从通用领域的预训练语言模型(PLMs)到金融领域的LLMs的发展历程,包括GPT系列、开源LLMs以及金融领域的LLMs。
- GPT-Series:GPT-1、GPT-2、GPT-3、GPT-4
- Open-source LLMs:BERT、LLaMA、BLOOM
- Financial-domain LMs: FinBERT-19
、 FinBERT-20、 FinBERT-21 、 FLANG 、 FinMA、InvestLM、BloombergGPT
通用领域到金融领域的预训练语言模型的发布演变时间线
技术 :从FinPLMs到FinLLMs:论文比较了四种金融PLMs和四种金融LLMs所使用的五种技术,包括训练方法、训练数据和微调方法。
使用的技术比较:FinPLMs、FinLLMs
评估 :基准任务和数据集:总结了六个基准任务和数据集的性能评估,包括情感分析(SA)、文本分类(TC)、命名实体识别(NER)、问答(QA)、股票走势预测(SMP)和文本摘要(Summ)。
高级金融NLP任务和数据集 :提出了八个高级金融NLP任务,并汇编了相关数据集,以促进更复杂的FinLLMs的发展。
机遇与挑战 :讨论了FinLLMs面临的机遇和挑战,包括数据集的构建、技术的应用、评估方法、实施以及实际应用中的非技术问题。