心法利器
本栏目主要和大家一起讨论近期自己学习的心得和体会。具体介绍：仓颉专项：飞机大炮我都会，利器心法我还有。
2023年新的文章合集已经发布，获取方式看这里：又添十万字-CS的陋室2023年文章合集来袭，更有历史文章合集，欢迎下载。
往期回顾
- 心法利器[123] | 算法面试的八股和非八股讨论
- 心法利器[124] | 24年算法思考-大模型的应用与训练篇
- 心法利器[125] | 24年算法思考-RAG技术论文和实践小结
- 心法利器[126] | 24年算法思考-小模型的生存空间
- 心法利器[127] | 24年算法思考-特征工程和经典深度学习
- 前沿重器[48-54] 合集：四万字聊搜索系统
因为很多原因，今年应该是我做的算法最杂的一年了，传统NLP、大模型、RAG、机器学习等多个领域内容基本我都有涉及，同时，很多技术也在今年有了很多革新和进步，因此我想在这里总计一下我的视角下这些算法的情况以及我使用下来的经验感受。具体我就按照下面几个方面来划分，系统总结一下。
- 大模型的应用与训练（心法利器[124] | 24年算法思考-大模型的应用与训练篇）
- RAG技术论文与实践小结（心法利器[125] | 24年算法思考-RAG技术论文和实践小结）
- 小模型的生存空间（心法利器[126] | 24年算法思考-小模型的生存空间）
- 机器学习与特征工程的必要性（心法利器[127] | 24年算法思考-特征工程和经典深度学习）
- 个人的成长小结——打开思路
这是24年小结的最后一篇，正好掐在了我生日这天，正好总结去年整一年。
生日相关的总结我也不是第一年写的，回过头来看能慢慢感受到自己的思维方式、技术倾向的变化：
去年的工作和学习
打开思路这事，可以试我2024年的主题，大模型对现有技术的冲击确实很大，也让大家产生大量的新想法，而相比23年，24年大家更冷静和而我也有幸在这次浪潮中做出很多尝试，大模型、RAG、小模型，甚至传统的一些数据挖掘、特征工程、机器学习都有尝试，这些相信大家在前面的文章里也有感受过。
大模型和RAG可以说是现在技术的热点了，从23年到24年，其实一直是主线使用的技术，他们解决了很多新的问题，当然在实践中也发现了在他们基础上又有新的问题，亦或是有很多老问题其实并不能解决的很好。我的尝试里，例如在搜索召回方面，传统的很多方式，类似字面召回BM25、意图识别其实并不能删去，现在常规意义的很多大模型技术以及RAG配套的技术，在精准度和业务可靠性上仍然欠缺；在多轮对话里，大模型虽然已经具备很强的话术生成能力，但是多轮的对话管理，话术的目的、风格控制，仍然需要，此时需要外挂插件来进行辅助和支持，或者换个角度，在多轮对话系统里，目前大模型的主要发挥空间可能就是在给定流程、目标、风格下的话术生成。
正因为大模型和RAG有关技术不能很好地解决所有问题，这给小模型以及更为经典的方案带来了很大的空间，在手里的方案足够多且对业务理解足够深的情况下，我们可以大胆尝试一些更经济、更高效甚至上限可能更高的方案，此时也更能得到很好的效果，例如继续使用小模型甚至是textcnn做意图识别，用机器学习做某些事件的预测、分类，再次说前提，手里的方案足够多，对业务足够理解。
关键词——打开思路
最感慨24年的一点，是很巧合地，结合我之前的经历，把我新学的和以前的内容，基本上用个遍，而且基本都达到了不错的效果，也让我意识到了，打开思路的重要性。
打开思路，是在面对问题的时候，能多考虑几种方案和思路，有意识地多想不同的方法。这并非那么简单，尤其是现在，给定一个业务问题，我们很容易直线地考虑大模型可不可以，在遇到算法问题调优的时候，也很自然地会考虑上大模型，或者在大模型生态里找方法——微调。由此可见我们很容易被大模型的技术栈所禁锢，没有意识到其实方案并不只有这些，这个意识，首先要树立。
打开思路，是在面对问题的时候，有更多方案能够掏出来，知识储备厚积薄发。掏出来的前提是能掏得出来，有技术积累是关键。所以还是要多看多学多思考吧，不拘泥于新不新、潮不潮，而是好用的方法都积累下来，不拘一格。
打开思路，是在面对问题的时候，知道旁征博引，能触类旁通。热门领域终究是少数，我们面对的很多问题可能都并不常见，此时我们需要查看与之类似的场景是否有类似的技术可以尝试，例如可能某些领域机器学习或者特征工程有关方法用的不是很多，此时考虑推荐系统作为标杆去学习和尝试，往年看NLP在语义表征上做得不够但是CV领域做的还行，此时去学习CV内的方案则非常可以（前沿重器[8] | CV研究启发语义相似和表征）。
从上面可以看到，所谓的打开思路就是大家得多做考虑，让自己手里能用的东西活起来，如此一来你便能解决很多问题，尽管你可能不是某个领域的专家，至少可以快速入门完成一些开荒、初步的工作，后续随着逐步深入研究，便能把事情越做越好。
后续的学习
24年应该是把我的储备榨干了，很多任务已经出现吃老本的情况，从跟很多新入行的朋友聊天发现，我的很多技术确实也出现了落伍的情况，类似大模型的结构、训练方式等，还有一些应用方式，在学习的时候抱着包容的心态尽可能去接收更多信息。
再者，还是要多实践多测试多分析，很多经验都来源于真正的干活，很多问题需要暴露后后面才会小心，这便是经验。
另一点，目前我已经进入工作第五年，能明显感觉到自己进步的变慢，然而在现在的版本下，知识更新的速度还很快，根本学不来，最近一两周的事，deepseek已经发了两拨大力了，然后kimi、豆包等团队也有大料发布，只能说根本学不来。
与各位共勉吧。祝各位新的一年，学业工作顺利，身体健康，阖家幸福。