论文笔记分享，标题：Flexora: Flexible Low Rank Adaptation for Large Language Models
Flexora主要是通过自动和灵活地选择最重要的层 进行微调（并非所有的层都插lora权重），以解决Lora方法可能遇到的过拟合问题，提升模型在特定下游任务上的性能.
合适的层数选择，稳定优于Lora
所以现在问题变成了如何自动，灵活的选择最重要的层呢？
大佬们提出了UD方法来解决这个HPO（超参优化问题），对比random选择，是明显更优的。
流程上，比正常的lora微调，多了层选择过程
使用连续的超参数向量α，使得每个αi表示对应层的重要性。表达成双层优化问题，内层最小化训练集的误差，外层，选择超参最小化验证集的误差。优化完之后，选择α最大k个层，插lora微调即可。