大家好，我是刘聪NLP。
上午刷到了夸克高考志愿大模型的新闻，有感而发，又是一个领域大模型，因为上次他们刚刚发了健康大模型，所以夸克是跟领域大模型干上了吗？
今天借着这篇帖子跟大家聊聊领域大模型？记得上一次写领域大模型还是2023年7、8月份，垂直领域大模型的一些思考及开源模型汇总、领域大模型-训练Trick&落地思考。
那个时候，还是各种垂域大模型纵横的时代！
那个时候，还是大家迷恋continue pre-train和SFT的时代！
现在，是Think模型纵横的时代！
现在，是Agent应用遍地开花的时代！
也许很多人会嗤之以鼻，2025年了，你还在跟我聊领域大模型，聊聊Agent不好吗？
就聊就聊，今天的主题就是领域大模型还有前途吗？再带着大家看看考克这次的高考志愿大模型用了哪些技术！
领域大模型还有前途吗？
领域 = 知识 + 任务
知识就是领域上的内容，任务就是领域上的目标。
有人会有疑问，有了RAG，有了知识库，现有大模型能力又这么强，领域知识作为知识库内容，就可以不需要领域大模型了呀。
所以解决领域目标很重要，它一定是需要在有领域知识的基础上，执行的一系列任务。
比如：你更擅长调用领域的工具，你更了解领域的术语，你更清楚领域的思维链，是需要将知识和任务结合到一起。
当然现在越来越多人不再提领域大模型的概念，是因为很多所谓的领域大模型，已经无法突破知识库+超强的通用大模型的那条线。也就找不到领域训练的意义在哪儿？
而无法图破的本质，在于你的领域还是不是领域，如何辩它是雄雌？
所以领域大模型还有前途吗？
我觉得是有前途的，但这个领域大模型必须要有足够的存在壁垒领域知识+丰富的领域定向任务，只不过很多人已经做不起了，门槛变得更高。
当然在领域上训练一个小点的模型，打败或持平更高尺寸通用模型，即使不是top，但是为了提效，这种应该也算。
而这里就界定很模糊了，纯任务大模型，算不算领域大模型？
作为算法的我，之前在做tob项目，日常的工作，就是在训练一个一个的小模型，主要是为了解决单点prompt无法解决的问题，亦或是本地部署的问题。
需要进行针对B端数据，进行定制模型优化，美其名曰，是在训练你家的领域大模型，但界定属实模糊~
2025年拿出领域大模型一次，感觉跟这个时代已经有点格格不入了。
但我一直都觉得KnowHow十分重要，即使现在的大模型很强，训练了很多数据，但我依然觉得还有很多私有数据是没有被使用到的，而这些才是深耕垂域的财富。
不过，就算是Agent，也需要找到一个领域，才能发挥更大的价值，通用Agent如果不聚焦，感觉很难打开市场。现象级的Agent忽略不计，这也靠运气！
都说到这了，那就两篇我觉得领域大模型核心的两篇综述文章了
所以，领域在前，大模型在后，依旧 领域+大模型>大模型+领域。
欢迎评论区讨论，说出你的想法！
夸克高考志愿大模型技术细节
说回夸克高考志愿大模型，因为其实外部资料也有限，有一些是问了夸克的朋友，反正我问到的我就都说了。
模型具体尺寸不详，但是是基于Qwen模型训练的，模型训练依旧领域模型三阶段：continue pretrain、sft和rl。
在continue pretrain阶段，用了跨领域数据和高考专业知识数据，大概有几百B的Tokens，具体数值不清楚。这个部分主要是增加大模型的领域适配性。
在sft阶段，最核心的就算plan的生成，指令的数据来自数百名资深高考志愿规划师，梳理上万条真实的专家思维链，就是遇到不同复杂指令时，专家是如何思考的，也就是如何制定一个计划，每步执行。
他们说，甚至考虑了“二舅在某个体系内”等各种千奇百怪的个性化条件，当然这些信息转化为可行的填报思路，还要看用户输入内容的重视程度。
在rl阶段，在复杂推理任务中，需要生成了中间可验证结构，让模型的幻觉降低。主要训练模型会tool的执行，result的生成与反思、验证。
Tool的执行，也就是让模型可以更好的调用整个产品上的工具，我们都知道大模型存在幻觉，对于高考这种内容专业、分数、学校都是不能错的，否则很致命，解决幻觉的核心就是权威的外部知识。
模型的反思部分，主要是对信息的多次check，可以保证模型对信息进行更精准的使用。
还通过专家反馈构建一个策略评分，会考虑到专业建议是否准确易懂、排序逻辑是否贴合考生特征、是否兼顾分数与兴趣、是否充分提示风险并给出可行应对策略等。在通过生成模拟填报结果，进行RLHF优化。
领域模型的一个核心就是数据，夸克高考志愿大模型在数据上也是做了很多事情。
他们整理了过往文章和过往年份的专业数据，构建且结构严谨的高考知识库（说是最大，我也不知道哈），有全国2900多所高校、近1600个本科专业，系统整合了院校分数线、专业设置、课程体系等核心教学信息。
数据来源由多部分组成，比如高校、分数等信息，来源于官方考试院发布的权威资料，如同业内公认的“大厚本”。还有一些高校毕业生就业相关信息、产业趋势规划、就业报告等，通过OCR识别网上资料，二次人工校对，等等等。
模型的训练数据前面也提到了，找了数百个志愿填报专家，每个专家擅长不同的专业、擅长不同的地域报考热点，基本上覆盖各种情况，也保证了不同考生对地域性偏好，例如如山东考生看重编制、南方考生不愿去北方。
基本上就是上面这些，主要还是扎实的数据工作，这一点就劝退很多人了。
应用侧我也体验了一下，其实就是志愿的Deep Research，说实话，自己脱离高考很多年了，一开始填信息的时候，没有任何请倾向，内容就会比较繁杂。当我给出我的倾向、偏好时，推的学校、专业都还蛮具体的，很不错，学校优势、专业优势写的都比较详细，也是按照“冲-稳-保”这种模式，多档多选。
最后，夸克上直接免费能用。
我大舅家的小弟今年也正好高考，已经推过去了，等分出来，看看跟他花钱找到专家差别大不大，哈哈哈！
写在最后
我其实专门找夸克的人聊了一下，问他们为什么要做高考志愿大模型？而且没有盈利、不收费、也是一个时效性产品。
他们说他们一直在做高考填报的的这个事情，只是现在大模型技术发展到了一个程度，他们在做将报告质量从60分提到80分-90分的事情。并且希望让每一个考生、每一个家庭都能够获得全面的参考。
我的第一出发点是盈利，别人则是梦想！
突然发现自己的格局小了！
PS：看到这里，如果觉得不错，可以来个点赞 、在看 、关注 。 给公众号添加【星标⭐️】不迷路！您的支持是我坚持的最大动力！
欢迎多多关注公众号「刘聪NLP」，加入交流群，交个朋友吧，一起学习，一起进步！