动手点关注
干货不迷路
最近，一直在《探秘LLM应用开发》系列中介绍prompt的相关技术《DeepMind新技术Step-Back Prompting，可提升RAG应用效果，让大模型学会抽象思考》，通过精心构造prompt可以提高人类与大模型交互的效率，因此，Prompt engineering作为一门新兴技术，被开发者关注学习，但如果对于普通的用户来讲，这就有比较高的门槛，人与人之间沟通，“如何问问题？“尚且是个问题，更不用提普通用户与模型之间了。在搜索时代，由于用户不知道用什么关键词去搜索的问题，从而找不到自己想要的结果，在大模型时代这一问题仍然存在，也正是因为这一原因，用户在与大模型进行互动时，并不容易每次都能满足需求。
近日，麻省理工学院（MIT）在10.17发布了他们最新成果：GATE（Generative Active Task Elicitation），生成式主动任务激发，与当下大模型被动的获取用户输入生成问题不同，提出了通过主动与用户对话来帮助用户生成更有效的Prompt，从而提高LLMs的准确性和可用性。
论文地址：https://arxiv.org/abs/2310.11589
实现代码：https://github.com/alextamkin/generative-elicitation
论文提出了三种通过对话提问收集信息的策略：
- 生成式主动学习（Generative active learning ）：大模型（LM）生成示例输入供用户标记（label）。这种方法的优点是向用户提供具体的场景，其中包括他们可能没有考虑过的一些场景。例如，在内容推荐方面，LM可能会生成一篇文章，如： 您对以下文章感兴趣吗？The Art of Fusion Cuisine: Mixing Cultures and Flavors。
- 生成“是”或“否”的问题（Generating yes-or-no questions） ：我们限制LM生成二进制的是或否问题。这种方法使得模型能够引导用户提供更抽象的偏好，同时对用户来说也很容易回答。例如，模型可能通过询问用户的偏好来进行探测： Do you enjoy reading articles about health and wellness?
- 生成开放性问题（Generating open-ended questions ） ：LM生成需要自由形式自然语言回答的任意问题。这使得LM能够引导获取最广泛和最抽象的知识，但可能会导致问题过于宽泛或对用户来说具有挑战性。例如，LM可能会生成这样一个问题： What hobbies or activities do you enjoy in your free time ..., and why do these hobbies or activities captivate you?
下面是一个具体的使用场景来解释GATE框架如何工作： 用户需求：用户想要创建一个有趣的游戏，并请求GATE系统进行设计。
GATE的提问：GATE系统询问用户在创建游戏时考虑哪种平台或者哪种类型的游戏。例如，是移动游戏、PC游戏还是街机游戏。
用户回应：用户说他们正在考虑移动游戏，并特别喜欢拼图游戏。
GATE的进一步提问：GATE系统询问用户是否已经考虑了游戏的目的和规则，或者是否需要一些创意或建议。
用户的需求细化：用户表示还没有决定具体的游戏规则，希望听到一些新的概念或建议。
GATE的建议：GATE系统建议可以考虑加入时间操作的元素，比如让玩家能够倒退时间或暂停时间来解决拼图。
用户的反馈：用户觉得这个主意很有趣，并请求更多关于这个游戏的细节。
最终的Prompt：GATE系统生成了一个最终的Prompt：“设计一个用于移动设备的拼图游戏，其中玩家可以通过操作时间来解决各种障碍并达到目标。”
这个案例展示了GATE如何通过与用户的开放式对话来了解用户的具体需求，并据此生成有效的Prompt，以便大规模语言模型（LLMs）能更准确地满足用户的需求。
下面是GATE框架在内容推荐、道德评价、邮箱验证三个案例上进行的实验和结果：
可以看到，有了GATE，LLM可以主动地和用户直接沟通，通过不断交流迭代，从而生成合适的Prompt，省去了构造开发者prompt的过程，那么，学习Prompt技术的保鲜期还有多久，未来研究方向应该朝哪里走？成了一个提示词工程师需要考虑的问题。