大模型创作gigi
大模型创作gigi
大模型大模型
大模型之所以“大”,是因为它有数百亿甚至数千亿个参数。传统微调需要调整所有这些参数,好比为了学一道新菜重学整个烹饪体系。LoRA的聪明之处在于发现了一个秘密:大模型在学习新任务时,权重变化具有“低秩特性”。 用更通俗的话说:虽然模型有成千上万个“旋钮”,但调整它们时,很多旋钮其实是同步联动的。LoRA用数学方法找到了这些联动规律,只需调整少数几个“主控旋钮”,就能达到调整成千上万个旋钮的效果。 在
29
1
0
0