登录
注册
首页
AI 大模型体验中心
动手实验室
Agent 评测集
AI 案例广场
火山杯大赛
学习中心
社区
去发布
首页
AI 大模型体验中心
动手实验室
Agent 评测集
AI 案例广场
学习中心
社区
杨洋
文章
专栏
问答
杨洋
大模型增量微调:一套无人工超参数学框架,缓解灾难性遗忘、长上下文退化与静态知识冻结
大模型
AI解决方案
技术解析
人工智能与算法
标签: 很多同学做 Agent、大模型增量更新时会遇到 3 个痛点:增量微调就发生灾难性遗忘,旧知识被冲掉;长对话、长文档推理出现上下文退化,噪声干扰有效信息;如果锁死底层参数做静态知识保护,模型又学不进新知识,也就是静态知识冻结。传统方案大多依靠人工设置冻结层数、正则权重、截断阈值,调参成本高,很难做到自动平衡。 本文提供一套纯数据驱动、无人工预设超参的闭式公式体系,只依赖方差、分位数、欧
3
0
0
0
杨洋
一种无人工超参时序自适应框架:缓解大模型灾难性遗忘与上下文退化并支持时序可校验回溯
AI
AI解决方案
针对大语言模型增量微调过程中的灾难性遗忘问题与超长文本推理中的上下文退化问题,现有方法普遍依赖人工超参数、固定约束阈值与静态截断策略,自适应泛化能力弱,且缺乏可量化的模型参数变更校验机制。为解决上述问题,本文从时序数据统计特性与参数迭代更新规律出发,自主推导一套纯数据驱动的闭式优化公式体系。通过自适应梯度衰减机制抑制参数冲刷,利用时序凸融合策略实现新旧参数平稳迭代,同时设计基于数据分布的置信度过滤
6
0
0
0
杨洋
AI幻觉抑制判定组件使用说明书
AI
AI解决方案
AI幻觉抑制判定组件 V1.0 产品使用说明书本组件是适配大模型落地的前置事实校验算法工具,具备轻量化、可插拔的特点,可独立于大模型生成逻辑运行。主要用于量化判定AI问答内容的事实可信度,辅助改善大模型虚假输出问题,适配企业知识库问答、智能问答服务、文档事实核验等商用场景。大模型基于概率生成内容,容易出现语句通顺但事实失真的问题,常见表现为虚构论据、错误断言、依托偏差检索信息生成幻觉内容。行业常规
3
0
0
0