狂飙的大模型-2023年度总结｜社区征文

大模型

多年以后，我一定会记得我第一次使用 ChatGPT 那种震撼的感觉。起初我只是以为使用了一个有意思的工具，却不知迎来了 AI 浪潮的大时代。他打乱了很多顶级互联网公司的战略发展的节奏，也打乱了我个人发展发向。

2022年，同样是在火山引擎开发者社区，我总结了我的2022 ，并定下了2023年几个探索的技术方向。（详情可点击：我的 2022 云原生修炼之路｜社区征文 ）ChatGPT 的出现打乱了一切。多集群，可观测性等 cloud native 方向暂时搁浅，团队开始探索 AI Native 方向的落地 。

总结下 2023 大模型等几个关键词。LLMOps 、prompt、langchain、ChatGPT API、RAG、向量检索、agent等

感谢吴恩达，他在 deeplearning 上有很多基础入门的课程，对我帮助很大。下面是我学习的三个课程的笔记：吴恩达 prompt 课程笔记，吴恩达-使用ChatGPT API构建系统-笔记，吴恩达-基于LangChain的大语言模型应用开发。

这里也要推荐一位宝藏博主 宝玉，第一时间利用 ChatGPT 为大模型相关的视频制作字幕。

​

众所周知，大模型应用落地有 4种 常见方法。

• Prompt Engineering
• Retrieval Augmented Generation (RAG 检索增强生成)
• 微调
• 从头开始训练基础模型(FM)

由于后面两种成本太高，而且GPU资源稀缺，目前大家都是采用前面两种方法。

下面介绍下，今年我在大模型落地方面的两个应用。分别用到了 prompt 提示词工程和 RAG 检索增强生成 技术。

专利生成服务

这个产品主要功能就是，根据论文、交底稿来生成专利五书。

这是一个利用大模型端到端开发的应用，软件架构本身很简单，分为后端、前端、PDF提取服务三大块。后端对前端暴露若干个接口，分别生成专利的各个部分，比如权利要求点、说明书、实施方式等。相当于用户上传自己的论文，我们解析 PDF 获取论文的内容，然后设计 prompt 来生成专利的各个部分。

这里的 prompt 设计就比较关键，根据提取的论文内容，进行凝练，总结，然后扩展成专利的内容。

下面讲讲怎么设计出优秀的 prompt。

如何设计优秀的 prompt

1. 编写清晰具体的指令。

• 必要的时候使用不同的的分隔符。````, “”", < >, <tag> </tag>, :
• 给出少量的例子

举个例子：对下面段落进行总结。这里将 text 用 {} 分割起来。

text = f"""
You should express what you want a model to do by \ 
providing instructions that are as clear and \ 
specific as you can possibly make them. \ 
This will guide the model towards the desired output, \ 
and reduce the chances of receiving irrelevant \ 
or incorrect responses. Don't confuse writing a \ 
clear prompt with writing a short prompt. \ 
In many cases, longer prompts provide more clarity \ 
and context for the model, which can lead to \ 
more detailed and relevant outputs.
"""
prompt = f"""
Summarize the text delimited by triple backticks \ 
into a single sentence.
```{text}```
"""
response = get_completion(prompt)
print(response)

2. 给模型充足的思考时间

• 对于复杂任务，最好确定好每一步的步骤，和规定好输出的结果。 举个例子：对于复杂任务，这里面 1、2、3、4 都规定了每一步的步骤。

prompt_2 = f"""
Your task is to perform the following actions: 
1 - Summarize the following text delimited by 
  <> with 1 sentence.
2 - Translate the summary into French.
3 - List each name in the French summary.
4 - Output a json object that contains the 
  following keys: french_summary, num_names.

Use the following format:
Text: <text to summarize>
Summary: <summary>
Translation: <summary translation>
Names: <list of names in Italian summary>
Output JSON: <json with summary and num_names>

Text: <{text}>
"""
response = get_completion(prompt_2)
print("\nCompletion for prompt 2:")
print(response)

3. 迭代提示开发

• 根据输出结果不断调整 prompt 好的 prompt是不断尝试和调整出来的，不要急于一步搞定。

AI native 应用落地困境

1. 法律和政策风险
2. 过度依赖大模型的能力，ChatGPT 效果最好，但是价格最贵。
3. 没有技术壁垒。

由于 大模型 API 价格昂贵，加上人人都会写 prompt。这个产品用户不是很多。

ChatGLM金融大模型挑战赛

这是今年参加的一个比赛，根据5000多份上市公司年报，来回答金融领域问题。属于检索增强生成 (RAG) 应用的范例。比赛地址

思路很简单，但是参加比赛后发现还挺难的，第一步的 PDF 解析就成了问题，如果不能把文章拆的的足够细，回答的准确率就上不去。其次数据量很大，向量数据库的检索也成了瓶颈。所以虽然比赛没有获得名次，但是也从中学到了很多。

这里是获奖大佬们的方案和答辩PPT地址。下面是挑战赛第一名的架构图。

Agent

Agent 和目前主流构建大模型应用方式的本质区别是：当提出一个目标，是人去设计执行路径还是大模型去设计执行路径。Agent的方案是我给你一个目标，Agent自动设计执行步骤并且执行每个步骤，最后直到成功。

比如给你一个iris数据集说要做可视化，那大模型会自己设计步骤： 解压，校验依赖库，生成代码，调用解释器执行，输出结果。

而现在的模式则是人工设计这些步骤，然后调用大模型完成其中一部分步骤。

所以实际上是 human in the loop 还是 AI in the loop 的区别。

但是现在模型的能力只能完成很简单的目标，但潜力已经可以看出来了。有点像电车正在加大渗透率，但需要个过程，我觉得起步半年。因为现在几乎我看到的几个Agent框架都需要至少GPT4 起…..

社区参与

由于疫情结束，今年参加了 15场线下活动，尤其是第一次参加 KubeCon ，和许多久闻的大佬面基，看到大家的灿烂的笑容，我就知道 云原生这条路没有走错。具体详情参考这篇meetup 2023 博文。

提升

说到提升，比较惭愧。技术、运动、读书都没有值得说的突破，就认认真真读了一本《额尔古纳河右岸》。报了唐刚老师的 rust 课程，算是入门了 rust。另外抽空考了一个 《初级茶艺师》也算小突破吧。

希望 2024 年在运动、读书、技术这三方面踏踏实实做点事情，不管环境怎么变化，坚持自己的初心。

2024 规划

尽管回首 2023 被大模型裹挟着匆匆而过，2024还是要突破下自己。

• 学会路冲板（报班也行）
• 用 rust 开发一个应用
• 读完书架上的书