文档
备案
控制台
登录
立即注册
首页
AI 大模型体验中心
动手实验室
Agent 评测集
AI 案例广场
学习中心
社区
去发布
首页
AI 大模型体验中心
动手实验室
Agent 评测集
AI 案例广场
学习中心
社区
大模型创作gigi
文章
专栏
问答
大模型创作gigi
大模型指南:一文搞懂LoRA微调
大模型
大模型
大模型之所以“大”,是因为它有数百亿甚至数千亿个参数。传统微调需要调整所有这些参数,好比为了学一道新菜重学整个烹饪体系。LoRA的聪明之处在于发现了一个秘密:大模型在学习新任务时,权重变化具有“低秩特性”。 用更通俗的话说:虽然模型有成千上万个“旋钮”,但调整它们时,很多旋钮其实是同步联动的。LoRA用数学方法找到了这些联动规律,只需调整少数几个“主控旋钮”,就能达到调整成千上万个旋钮的效果。 在
459
1
0
0