"再看 Manus 这篇深度好文「Context Engineering for AI Agents: Lessons from Building Manus」还是很有收获和启发! Manus 如何在不改变模型参数的前提下,通过极致的“上下文工程”解决 AI Agent 运行慢、逻辑失效及成本高昂的问题。其核心思路在于将 Context 视为一种工程资源进行精细化管理。\x0a\x0a1. 性能优化:KV-Cache 的“前缀冻结” \x0a为解决重复计算导致的延迟与高成本,需最大化利用 KV-Cache 缓存。\x0a策略:严格区分静态常量与动态变量。绝不在 System Prompt 开头插入动态时间戳等信息,确保存储在显存中的前缀缓存不失效。\x0a效果:通过复用静态前缀,可使推理速度提升 10 倍以上。\x0a\x0a2. 状态管理:显式状态复述 (Explicit State Recitation) \x0a针对 Transformer 架构“首尾注意力强、中间弱”的特性(Lost-in-the-middle),单纯堆砌历史会导致模型遗忘初衷。\x0a策略:强制模型在每次输出的末尾,重新生成当前的 Todo List 和状态。\x0a原理:利用注意力机制,将关键信息搬运至上下文的最末端(视线最新处),进行实时的“注意力校准”。\x0a\x0a3. 错误处理:负样本的运行时价值\x0a不同于传统软件掩盖错误的逻辑,Agent 应将报错视为一种特殊的训练数据。\x0a策略:保留工具执行失败的完整堆栈信息,将其作为“负样本”留在上下文中。\x0a原理:利用 In-Context Learning 能力,模型会自动降低失败路径的权重。这是一种无需训练的“运行时强化学习”。\x0a\x0a4. 样本设计:引入“结构熵”\x0a过于完美、统一的 Few-Shot 格式会诱导模型进入机械的“自动补全模式”,停止逻辑思考。\x0a策略:在构建 Context 时,故意保留少量异构或不完美的记录(引入噪音)。\x0a目的:打破模型的模式复制惯性,迫使其必须真正理解内容逻辑才能生成回答。\x0a\x0a多张图集提示词也即将调试完成,敬请期待!!\x0a\x26ltnull
Manus 上下文工程深度好文解读:构建以 LLM 为核心的操作系统
大模型机器学习人工智能与算法

0
0
0
0