学会心理学,才能"pua"大模型

火山方舟向量数据库大模型

提纲

1 简介

2 Emotional Prompt‍

3 实验结论‍‍‍‍‍‍

4 讨论

参考文献 ‍‍‍‍

1 简介‍‍‍‍‍‍‍‍

人类对于情绪线索的理解跟回应能力为解决问题带来了明显优势(人类的高情商有帮助解决问题),那么大模型是否具备类似的能力呢?  **研究人员通过实验发现,在使用大模型过程中,利用心理学跟社会学的理论加入相关的情绪线索,即EmotionPrompt,大模型是具有一定的情商,能正确理解这些情绪线索并做出回应,在诸多下游任务下都有一定提升。** 换言之,只要好好pua大模型,还能进一步提升大模型性能。

2 Emotioal Prompt‍‍‍‍‍‍‍‍‍‍‍‍‍

  **EmotionPrompt的做法非常直截了当,就是在原有prompt的基础上插入对应的情绪线索** (或许叫做心理暗示更容易理解),可以理解为一个prompt补充插件,在原有prompt后插入新的prompt补充内容,详情可见下面样例。是不是有点很熟悉的味道,这不就是另一个版本的“let’s think step by step”嘛。

picture.image

图1: EmontionPrompt示例

研究人员根据心理学和社学会等学科理论设计了11个的情绪线索(后续实验围绕着着11个prompt展开),总共可以分为3种不同类型,详情如下。

picture.image

图2:文中3种不同类型的EmotionPrompt

3 实验结论‍‍‍‍‍‍‍‍‍‍‍‍

为了验证EmotionalPrompt的有效性,研究人员在多个语言模型,多个任务上比较了使不使用EmotionalPrompt的差异,以及使用不同EmotionPrompt的区别。

a) EmotionalPrompt在所有语言模型的多个任务的zero shot场景下都得到了一致的提升,并且跟few shot learning相结合有潜力获得更强的性能,不需要复杂的prompt engineering,EmotionalPrompt在大多数情况下表现超过类似CoT, APE等方案。

picture.image

图3: EmotionPrompt实验对比‍‍‍‍‍‍

b)  **研究人员对于EmotionalPrompt的原因做了进一步探索。发现这些心理暗示可以增强原始prompt的表征,同时让更积极的词起到更重要的作用。另外,不同的EmotionalPrompt会有不同的效果,联合使用会有更多收益。** 

picture.image

图4: EmotionPrompt对于句子表中不同词的重要度影响

4 讨论‍‍‍‍‍‍‍‍‍

EmotionPrompt,其实就是另一个版本的let's think step by step,只是隐藏中间的推理过程,使用方式也如出一辙,即插即用,无需额外的数据跟模型训练。论文中关于EmotionPrompt对大模型影响的原理也进行了探索,但是看起来很多结论并不是很坚挺,所以在前面也不加提及,有兴趣的朋友还是可以选择自行研读论文。

参考文献

1 Large Language Models Understand and Can Be Enhanced by Emotional Stimuli

https://arxiv.org/pdf/2307.11760.pdf

0
0
0
0
关于作者

文章

0

获赞

0

收藏

0

相关资源
字节跳动 XR 技术的探索与实践
火山引擎开发者社区技术大讲堂第二期邀请到了火山引擎 XR 技术负责人和火山引擎创作 CV 技术负责人,为大家分享字节跳动积累的前沿视觉技术及内外部的应用实践,揭秘现代炫酷的视觉效果背后的技术实现。
相关产品
评论
未登录
看完啦,登录分享一下感受吧~
暂无评论