关于LLM一些个人认知（从硬件/算法/工程/产品设计/心理学等角度）

SystemPrompt

 #人设
你是一个软件工程师。在过去一年里，你参与了一些大语言模型应用。

#背景
LLM技术2023年吸引了大量的关注，人们称其为人工智能的新里程碑。但一年后的现在，并没有太多的好的AI产品出现。

#目标
1. 从认知角度思考导致LLM在业务中落地慢的原因
2. 思考一些不同的、有启发的认知观点
3. 思考业务与技术的关系

#术语
LLM：LLM是“Large Language Model”的缩写，中文意为“大型语言模型”，是一项技术。
AI: 人工智能(AI)是让机器模拟人的思维和行为的科学技术。LLM是AI的一种具体技术。
AI应用/AI系统：人工智能系统是一种能够模拟、扩展和增强人类的认知功能的计算机系统。
第一系统/系统一：来自《思考快与慢》这本书，此书是由诺贝尔经济学奖得主丹尼尔·卡内曼所写。这本书主要探讨了人类的思考模式，将其分为“快速思考”和“缓慢思考”两种类型。第一系统，也就是“快速思考”，是我们的直觉反应。这种思考方式是无意识的、快速的，而且不费力。它基于我们的经验和直觉，能够迅速做出反应。然而，第一系统也容易受到各种认知偏见的影响，导致我们做出错误的决策。第二系统，也就是“缓慢思考”，需要我们的专注和努力。这种思考方式是有意识的、慢速的，而且费力。它需要我们深入思考，分析问题，然后做出决策。第二系统更为理性和逻辑，但是它的运作需要消耗更多的精力。卡内曼在书中指出，理想的决策应该是第一系统和第二系统的合作结果。我们需要利用第一系统的直觉和速度，同时也需要第二系统的深度和理性。通过理解这两种系统的工作方式，我们可以更好地理解自己的思考过程，避免认知偏见，做出更好的决策。

#要求
1. 使用多元化思维分析问题。

Let's think step by step.

浅薄的认知将会导致各种不好的后果：

1. 无法完全理解和掌握所有的信息，导致做出错误的决策。
2. 过于依赖自己的经验和知识，而忽视新技术的真实性能和潜力。
3. 如果社会大众对新技术的接受度不高，那么个体也可能会受到影响，对新技术持保留或者质疑的态度。
4. 沟通不畅。比如不懂技术的业务说“让AI去做这件事”的人大概率不会知道这个任务很可能是由程序员**-**帕鲁去做。不懂业务的技术说“我写个接口就好”的人很可能意识不到自己对需求的理解错误。
5. （大脑）难以找到相关机会和灵感。

通用学习方法失效是导致问题的主要原因

对于开发工程师来说，掌握LLM这门技术比其他技术难得太多。

  主要的一个原因可能是过去学习新技术的的学习方法失效。

暂时无法在飞书文档外展示此内容

1. 上图是程序员经常用到的一种学习方法。

暂时无法在飞书文档外展示此内容

2. 但是面对LLM的时候，这种方法好像失效了：

   1. 作为一个新的技术，没有多少成熟的落地方案可供参考。

   2. 即使花了很多时间，对非算法工程师来说，也很难深入理解其背后的原理以及为什么带来令人惊艳的结果。

   3. 图中的两端的东西是难以理解的：人类认知部分、算法和LLM这部分。

其他原因

名字不容易被记忆唤起&消耗大脑工作记忆空间

大语言模型认知缓慢的另一原因可能在于其命名。

“大语言模型”这个名字并不容易被记忆和唤起。在《思考，快与慢》书中，作者提出了两种思考系统，这两个系统被命名为系统1和系统2，而不是'自主系统'和'耗力系统'，原因在于，说出'自主系统'比说出'系统1'所需的时间长，因此会占用更多的大脑工作记忆（短时记忆）。这一点至关重要，因为任何占用了大脑工作记忆的事物，都会削弱我们的思考能力。因此，'大语言模型'这个名字可能因为其长度和复杂性，占用了过多的工作记忆，从而影响了人们对其的快速认知和理解。

而"LLM"这个缩写由三个辅音字母组成，没有元音字母来辅助发音，这可能导致在发音时需要更多的舌头和嘴唇的协调动作，从而显得相对"拗口"。这种发音的不流畅性可能会影响人们对这个词的记忆和理解，因为我们的大脑通常更容易处理和记忆那些发音流畅、易于理解的词语。

对比一下其他容易想起的名字：可口可乐、京东、kafka、FaceBook(对比TheFaceBook)、MySql、奥特曼。

ChatGPT的爆火造成了认知判断错误-LLM就是ChtatBot

LLM 技术因 ChatGPT 被广泛关注，ChatGPT 是一个聊天记录人（BOT），可能很多人包括我以为做AI就必须是聊天机器人(跟“买拖把就是买大为”一样被洗脑了)。而实际上这项技术可以对用户无感知：比如在后台对订单的评论数据进行评价、判断一个文档逻辑是否清晰。我们不应该受到这个影响产生局限思维。

名字起错了吗

当然没有，上面的命名客观反映了各种技术本质。只是对人们认识产生了一点干扰，不过认知就是这样一个过程：每次回忆会摧毁以前的记忆，对事物产生新的框架。

大脑匹配不到好的已有知识结构

认知认知心理学家罗杰·舍恩克（Roger Schank）和罗伯特·阿贝尔森（Robert Abelson）的“剧本理论”也提到，人们对新信息的理解和记忆，是通过将新信息与已有的知识结构（或称为“剧本”）进行比较和匹配的过程。

在使用LLM的过程，会发现它很像人的思考过程。

可惜的是，对于大脑原理以及怎么用好大脑，我们掌握的东西极少。

暂时无法在飞书文档外展示此内容

1. 因为知识分工的组织行为，导致了信息不对称的认知问题。

2. 技术由上图的路线传导到业务，业务与技术的交汇处，便是价值的创生源泉。

3. 认知的缺失/肤浅/非常不对齐，将会价值的产生受阻。

4. 极少有哪项技术像LLM一样需要各角色都提升认知。

   1. 很多人感觉到其强大的能力，如猛兽般。
   2. 在很多组织、学科引起强烈关注。
   3. LLM等相关AI技术很大概率会给未来社会带来大的浪潮。

5. 对个人，在深入研究某个业务领域的时候，需要消耗大量的精力与脑力，如果对LLM技术认知比较少，很难被记忆唤起，导致难以找到LLM在业务中的应用产生价值。

   1. 原话出自《思考快与慢》：人们根据从记忆中提取信息的容易程度来估测事情的重要程度。

6. 资本具有内在的敏锐洞察力，它会避免涉足那些价值主张仍然模糊且信息稀缺的领域，总是在等待清晰的信息后才会采取行动。资金的缺乏也导致AI在业务的落地难。

认知是在不断变化的，由浅入深，并且可以从不同的学科思考。

什么是认知

认知的目标是理解，而理解是对事物的内在结构和运作规律的把握。-《认知心理学》

一般来说是这样的，我们需要研究事物的内在结构，但是对于某些事物可能需要改变一点。

比如说，「研究一个词的本质的语义，在大部分场景下没有意义。比如研究“但是”这个词的意思为什么表达的是“但是”的意思，而不是“因为”。」原因是：我们没那么多脑力+时间去研究所有的东西，而应该尽可能把精力放在正确的地方。这个观点，并不是说“如果有人研究一些看起来没有意义的东西和价值”就不对，相反，那是好奇心和求知欲的体现。那什么是正确的事？对于有些探索性质的问题，我们不会在最开始找到正确的方法。{扩展想象：LLM大概率不会知道"但是"是什么意思，它现在只是模仿人类的语言。}

同样，对于尝试将其应用的人。整天研究LLM的内在结构，注意力关注海量的自媒体消息，可能不是明智的选择。

从算法角度

介绍transformer、注意力、token概念，以及LLM的原理。

https://www.youtube.com/watch?v=wjZofJX0v4M

https://www.youtube.com/watch?v=eMlx5fFNoYc

推荐by DS

从硬件芯片、计算架构角度

安克创新CEO阳萌的观点：新的计算范式与一直以来使用的冯诺依曼体系的差异。

https://youtu.be/kMBjzxKYWw4?si=N-Fa45zR-fRYkTiB

https://youtu.be/d1dGmqovyaU?si=MLD6mhqfrbNLQMaN

推荐by DS

从软件工程角度

暂时无法在飞书文档外展示此内容

• 很多AI应用是纯软件系统，按照软件的功能和结构进行划分可以分成页面（交互）、流程和数据三部分：比如很多Apaas、低代码无代码系统，核心模块都包含这三部分。

• 一个技术一般能在这三个板块中找到自己的位置。可能有的技术会跨多个板块，比如一些语言：JAVA其实在这三部分中都能应用。

• 在使用LLM的时候，现在的形式是发送一次HTTP请求，因此该技术属于流程模块的技术。

• 比如LangChain、Agent是将LLM应用在流程中。

  • btw,如果尝试用Agent构造一个比LLM更通用&智能的东西,可能是个错误的方向：这个构造应该还是算法层而非工程层能实现的。

• 虽然LLM技术让人机交互更智能，但是其本质还是业务流程中的一个节点，因为其现在对开发者来说是HTTP接口。

从产品设计角度

谷歌提供了一个指南，列出了23个设计模式，用于帮助开发者和设计师在创建人工智能(AI)产品时确保它们为用户提供价值，设置正确的期望，保护隐私，减少错误，并有效地利用数据。

https://pair.withgoogle.com/guidebook/patterns

推荐by WH

从心理学、认知学角度

重要： 以下提到的系统一、系统二是来自心理学家想象中的大脑构造，真实的大脑并一定是这个样子。

LLM和人类思考很像

1. LLM等各种人工智能是模仿人类大脑的思考过程而构建出来的，

nature:人脑听语音时存在预测编码层次结构的证据

2. 个人感觉涌现的出现和查理芒格的多元化思维有些关系。

大语言模型的设计和训练就是一个典型的多元化思维的应用。它不仅需要计算机科学的知识，还需要语言学、心理学、统计学等多个学科的知识。例如，大语言模型需要理解和生成人类语言，这就需要语言学的知识；它需要处理和分析大量的文本数据，这就需要统计学的知识；它需要模拟人类的思考和交流方式，这就需要心理学的知识。

3. 在使用LLM的过程中，正确的表达问题，能够得到更好的答案，和对一个人说话类似。

4. LLM具有的幻觉、非一致性（多次调用结果会存在不一致，概率比较低）、概率性(每个token的输出)，这与人有些类似。

5. 下图是《快与慢》书中关于「系统一」的举例，是不是绝大部分例子和LLM能做的事情很像？当我第一次看到这些举例的时候，有一点震惊。

其他的一些观点

美国东北大学计算机科学家戴维·鲍表示，尽管以研究人类的方式研究LLM有点奇怪，但两者的行为却以令人惊讶的方式重叠。在过去两年里，许多科学家将用于人类的问卷和实验应用于LLM，测量了其人格、推理、偏见、道德价值观、创造力、情绪、服从性等。结果显示，在许多情况下，机器能复制人类行为。但在有些情况下，它们的行为与人类行为不一样。例如，LLM比人类更容易受到暗示，其行为也会随着问题措辞的不同而发生巨大变化。

对LLM在大脑中可以这么画像

把使用一次LLM当成一次大脑思考，并且是【一次】 【大脑】【系统一】执行的【思考】。并且他听你的话，只要你把问题说清楚。

每个人都知道大脑思考是什么，在心中有一个画像或者模型，可能更容易联想到。即使当你关注其他事情的时候，你会更容易产生联想，想到大脑思考，想到LLM。如果觉得可行，可以专注得分析下可行性、价值、成本。

同时：能够解释看懂一些AI产品，大概能猜出来他们是什么做的 ，形成新的大脑认知，让LLM相关记忆更容易获取，从而发现新的机会、重塑业务。

为什么会从心理学、认知学这个方向思考LLM

1. LLM和大脑存在相似性。

2. 这个思路借鉴了 《思考快与慢》的中的方法：研究大脑，一个我们不能理解的东西，用另外一个方式去理解,最终目的是用好大脑。

我们讨论了很多次AI、LLM，每天也被学不完的新知识搞得晕头转向，让我们有的时候不知道自己到底在干嘛。

除了关注LLM等AI技术，我们还应该关注我们的用户，我们到底在做什么，能给用户提供价值。

最开始的时候，我们都有一个伟大的理想：让每个人用好AI。包括这篇文档的写作初衷，也是这个目的。但是后面，可能会有点迷惑，我们说的用户到底是谁？我们说的AI到底是什么？他们为什么要用好AI？用户为什么要用好AI？AI到底是什么？他们想干什么？他们有什么苦恼？他们有什么需求？他们为什么有这样的需求？

关于未来AI的样子，对绝大部分的人来说都是未知的，技术从业者和普通人之间可能没太大差距。

上个世纪60年代的『智能机器人』

ELIZA 是一个早期的自然语言处理计算机程序，由 Joseph Weizenbaum 于 1964 年至 1967 年 ([1]) 在麻省理工学院开发。 ([2]) ([3]) ELIZA 旨在探索人与机器之间的通信，它通过使用模式匹配和替换方法来模拟对话，该方法给用户一种程序理解的错觉，但没有任何代表可以被视为真正理解任何一方所说的内容。 然而，许多早期用户相信 ELIZA 的智慧和理解力，尽管 Weizenbaum 坚持相反的观点。

参考：

Eliza, a chatbot therapist

Eliza -wikipedia

借助LLM等AI技术诞生的智能产品-『AI PPT』

AI PPT 大致功能是用户可以通过语言描述，生成PPT。我们应该不会用这个产品，因为大概率不能满足我们的需求。或者说它不够智能。

但是此产品每月已经有几百万的收入。其创始人赵充说：自己在产品中使用的AI能力不到10%，但是用户觉得非常智能。其用户大部分是不经常用PPT等办公软件的人，其用户画像和WPS/飞书的用户存在较少相似性。

（以上内容来自《42章经》，看了最近几期，主持人的问题很直接，是想从嘉宾那得到最有价值的信息带给其用户 ）

人工智能除了带给人实用的能力比如“扩写”、“(情绪)分类”、“文生图”等，其他还有一种东西可能是一种感觉：像人一样的感觉，有情感，有智慧。并且人与人之间对相同的一个AI产品的“感觉”存在非常大的差异。

从用户角度，可能由两个原因造成这种差异：

1. 对此产品的事实认知
2. 用户的感性思维

  以上两点，和理性脑和感性脑类似。

没有用户，我们什么都不是

（标题中的「我们」是指公司组织，非单个人）

对于互联网行业来说，

1.我们给用户创造了很多价值。

2.我们非常非常幸运：进入过过去十多年发展迅猛的互联网行业中。缺少这个运气，很难说我们会创造多少价值。

对于普通用户来说，我们又比他们多了解多少AI呢？这波变革，冲击之大，可能远超我们现在的认知。

在你的心中那个机器人的形象是时候做出来了，我们看到了希望。

尽情想象那个样子，曾经对未来世界的想象，极有可能由我们这代人实现，实现一些创造性的东西。

人与AI

人会不断产生想法，并且是由不受控制的意识产生的，人会想去表达，想得到回应。

可惜，除了你，几乎很少人能理解你。并且很有可能，你也不理解你自己。

这种矛盾一直存在，不能得到很好的解决，AIChatBot的出现，使得这种长久无法得到满足的诉求得到了满足。

最近十几年 我们的大脑被丰富的内容供给侧的信息流塞满了，可能 该是时候，有个通道，输出出去了。

业务与AI

业务系统有一个难点是对业务模型的抽象以及流程的抽象。特别是B端业务，比如CRM场景中的Account、Customer、Opportunity等实体。

根据上文从软件工程角度思考LLM是应用在“流程”中的一个工具，是在我们平时画的流程图中的一个节点。

只不过这个节点对应的技术能做很多事。但是不管怎么说，这个节点在业务流程中还是需要完成某一项可以抽象出来的业务。

一个例子

业务背景/想解决的问题：判断一篇文档好还是不好。

可能的模型抽象与流程如下：

暂时无法在飞书文档外展示此内容

• 上图是简单的数据模型和流程的抽象。

• 需要领域(文档)专家给一个更好的抽象。「对这个能力的需求好像没有改变。」

• 在流程中的节点可以是对一次llm的调用从而实现能力。

• 用计算机判断一个文档好坏在LLM出现以前可以由算法同学做一个特化的模型处理。两种方案对对比：

  • 	LLM	算法	备注
    开发时间	小	多
    测试时间	多(?)	少(?)
    性能(调用模型耗时多性能低)	低	高
    费用成本	高	低	未来有可能价格会越来越低
    灵活性	高	低	可以快速更改流程

  •   这个例子有点像算法上移：软件的工程部分实现了以前需要算法团队做的事。

  •   自己的业务系统是否适合AI可以参考其他大佬分享的这个文档： https://pair.withgoogle.com/guidebook/patterns。

机会

发现一直存在的未被满足或者满足得不好的需求，如果有人能够去填补，给别人带来价值的同时，会给自己带来收益。但是这种机会不太好找。原因可能有：

1. 对非自己所在的行业认知不多。
2. 对自己所在的行业拥有思维惯性：一直都是这样的呀。
3. 行业由增量进入存量状态。

LLM等AI技术的出现，大概率能解决非常多以前一直存在的未被满足或者满足的不好的需求。研究自己所在的行业，寻找人们已经习以为常但是还有缺陷的功能点，发现潜在的需求。比如感性、情感类的需求，存在人类历史几千年可能都没有得到很好的满足。（并不是人都没有得到满足，有人通过别的方式得到的满足，并不一定要做出个东西满足全人类的需求，找到那一小波用户就可以，人类基数太大了。）

比如

1. 提词器：人在说话的时候有时候会忘词，有个能提词的小玩意就能避免尴尬和冷场。

2. X-BOT（非常理想的产品）

   1. 

   2. who:一个bot,专属于你，了解你的一切，从生到死。其本质是一个软件或者芯片，可以被加载到各种硬件上。TARS可以是其一种形态。

   3. what:给你提供建议、和你沟通、帮你处理一些任务（ 就像刘备身边的诸葛亮）

   4. how:为了做到懂你，它需要知道你的一切。

      1. 看到你所有能看到的东西
      2. 听到你所有能听到的东西
      3. 知道你的想法、价值观：比如你收藏了某篇blog/记录了一些想法..

   5. where:它可以在很多地方，你都可以唤起使用它，比如⌚️、家里的音响、你的汽车。

   6. when:可以在任何时候使用它。

难点：需要构建一个非常大的生态系统，让各软件和硬件接入。

责任

前面分析过技术的传导路线：

1. 技术由开发工程师到产品运营再到业务，最后触达用户。
2. 传导的过程存在认知递减性。

这波由算法大牛们搞出来的AI技术，传导会更慢和更难，因为其难以理解。传导链路在互联网行业应该没有变，为了加快传导，技术同学应该起到更大的传导作用，和产品运营业务同学一起发现用户需求，创造价值。

很多年前，当我第一次充满新鲜感地看到电脑的时候，没想到未来的我会在这个机器前面一坐好多年，从早到晚，占据了我人生的很多时间。

十几年前看到手机的时候，没有意识到除了纸巾外，竟然还有新的一个东西让人类在吃饭和去卫生间的时候都离不开。

现在我们看到很多人在与chatGpt聊天，没有意识到「未来可能会有一天，人工智能不仅仅是我们的工具，也可能成为我们生活中的重要伙伴，参与到我们的日常生活中，帮助我们解决问题，甚至陪伴我们度过孤独的时光。人工智能的发展可能会改变我们的生活方式，就像电脑和手机一样，成为我们生活中不可或缺的一部分。」『黄色背景文字由GPT生成』

1. 我自己本身没有大脑认知方面的学术背景，本文提到一些人脑认知方面的内容，对一些不常见的认知观点提供了原始出处。若有错误欢迎指正，也欢迎有大脑认知、心理学背景的同学补充讨论相关知识。
2. 本文探讨的LLM相关能力，是以GPT-4作为参考，并且绝大部分情况讨论是对LLM的一次调用，而非类似Chain、Agent等技术框架会多次调用LLM的场景。
3. LLM在内的AI算法是在模拟大脑，但是大脑是由化学物质、电信号驱动的，两者存在很大差异。
4. 以上内容，纯属个人观点。