DeepSeek-R1直接把提示工程师的饭碗整没了

大模型向量数据库火山方舟

DeepSeek-R1不再是chat model,过往那套提问方式已经不再试用:

DeepSeek-R1 不要复杂的提示工程,只要大白话描述清楚你的目标,即现在大家所说的“人话”

过去Prompt:


          
# 角色
          
你是一个xx专家
          
# 描述
          
# 技能
          
## 技能1: xxx
          
## 技能2: xxx
          
# 限制条件
          
# 输出格式
          
# 工作流程
          
# 示例(few-shot)
      

现在,输入:“模仿静夜思,换成太阳”,DeepSeek-R1会自主推理的作用,不指导它如何操作——只指导它是什么。

picture.image

但是并不意味着DeepSeek-R1落地就“无所顾忌”了,答案是否定的,首篇关于DeepSeek-R1安全性问题研究论文出炉了,给出了DeepSeek-R1的使用建议,其中就包括 Prompt 设计与使用指南

picture.image

  1. 提示工程:
  • 使用清晰、简洁且无歧义的提示。
  • 避免对DeepSeek-R1使用few-shot提示,因为这已被证明会在复杂任务中降低性能。相反,使用zero-shot或结构化提示。
  • 输出格式化:
  • 指定输出要求,例如结构化格式(JSON、表格或markdown),以便于阅读和集成到下游系统中。
  • 对于需要推理的任务,包括逐步解释的指令,以确保透明度和可解释性。
  • 语言一致性:明确指定输入和输出所需的语言,以防止语言混合,这是DeepSeek-R1的一个已知问题

同时,也给出了 DeepSeek-R1 全面的部署建议, 尽量减少潜在有害输出的风险:

监控与安全机制

  1. 设置护栏和内容过滤:实施护栏和后处理过滤器,从模型的响应中移除潜在有害内容,
  2. 人工监督:在工作流程中加入人工监督,以监控和审查模型的输出,特别是在安全关键的应用中。
  3. 定期审计输出:定期审查模型的输出,以确保其符合组织的安全标准和道德准则。

部署中的风险缓解

  1. 避免高风险场景:

  2. 不要在输出错误可能导致重大伤害的应用中部署DeepSeek-R1(例如,在医疗或金融系统中的自主决策),

  3. 此外,由于观察到的语言不一致、有害行为和多轮性能退化问题,DeepSeek-R1不适合用于Agentic AI部署,这可能会在高风险环境中加剧风险。

  4. 针对敏感应用进行定制:在敏感领域(例如法律、医学)中,在微调和评估阶段纳入领域专家,以确保负责任地使用。

最后,如果确实要给DeepSeek-R1如何使用加一个规范,可参考文章

划重点:OpenAI o1/o3的正确打开方式

  • 明确目标(Goal)
  • 指定返回格式(Return Format)
  • 附加注意事项(Warnings)
  • 大量背景信息(Context Dump)

picture.image


            
https://arxiv.org/pdf/2501.17030
            
Challenges in Ensuring AI Safety in DeepSeek-R1 Models: The Shortcomings of Reinforcement Learning Strategies
        

推荐阅读


欢迎关注我的公众号“ PaperAgent ”, 每天一篇大模型(LLM)文章来锻炼我们的思维,简单的例子,不简单的方法,提升自己。

0
0
0
0
关于作者
关于作者

文章

0

获赞

0

收藏

0

相关资源
CloudWeGo白皮书:字节跳动云原生微服务架构原理与开源实践
本书总结了字节跳动自2018年以来的微服务架构演进之路
相关产品
评论
未登录
看完啦,登录分享一下感受吧~
暂无评论