一篇金融领域大模型(FinLLMs)研究综述

大模型机器学习ClickHouse

          
论文题目:A Survey of Large Language Models in Finance (FinLLMs)
          
论文链接:https://arxiv.org/pdf/2402.02315.pdf
          
Github:https://github.com/adlnlp/FinLLMs
      

介绍了大型语言模型(LLMs)在自然语言 处理(NLP)任务中的广泛应用,特别是在金融服务领域的应用。尽管对通用领域LLMs的研究已经非常深入,但金融领域的LLMs研究仍然有限。这篇综述旨在提供一个全面的FinLLMs概述,并讨论未来的研究方向。

从通用到金融领域的演变趋势 :论文回顾了从通用领域的预训练语言模型(PLMs)到金融领域的LLMs的发展历程,包括GPT系列、开源LLMs以及金融领域的LLMs。

  • GPT-Series:GPT-1、GPT-2、GPT-3、GPT-4
  • Open-source LLMs:BERT、LLaMA、BLOOM
  • Financial-domain LMs: FinBERT-19

FinBERT-20、 FinBERT-21FLANG FinMA、InvestLM、BloombergGPT

通用领域到金融领域的预训练语言模型的发布演变时间线

picture.image

技术 :从FinPLMs到FinLLMs:论文比较了四种金融PLMs和四种金融LLMs所使用的五种技术,包括训练方法、训练数据和微调方法。

使用的技术比较:FinPLMs、FinLLMs

picture.image

评估 :基准任务和数据集:总结了六个基准任务和数据集的性能评估,包括情感分析(SA)、文本分类(TC)、命名实体识别(NER)、问答(QA)、股票走势预测(SMP)和文本摘要(Summ)。

高级金融NLP任务和数据集 :提出了八个高级金融NLP任务,并汇编了相关数据集,以促进更复杂的FinLLMs的发展。

机遇与挑战 :讨论了FinLLMs面临的机遇和挑战,包括数据集的构建、技术的应用、评估方法、实施以及实际应用中的非技术问题。

0
0
0
0
关于作者
关于作者

文章

0

获赞

0

收藏

0

相关资源
火山引擎大规模机器学习平台架构设计与应用实践
围绕数据加速、模型分布式训练框架建设、大规模异构集群调度、模型开发过程标准化等AI工程化实践,全面分享如何以开发者的极致体验为核心,进行机器学习平台的设计与实现。
相关产品
评论
未登录
看完啦,登录分享一下感受吧~
暂无评论