下面实测内容没有任何个人观点,仅为测试结果。另外,测试用例可能不多,但都是之前常测得一些问题,
今天突然发现腾讯开源混元大模型,十分震惊,腾讯也来挤开源赛道了,只能说大模型开源越来越繁华了。
这次开源的主要是MoE模型,有Base模型和Instruct模型,总参数量389B,激活参数52B,支持最大上下文256K。
Github: https://github.com/Tencent/Tencent-Hunyuan-Large
Paper: https://arxiv.org/pdf/2411.02265
HF: https://huggingface.co/tencent/Tencent-Hunyuan-Large
由于时间关系,还没仔细的阅读paper,扫了一眼指标,不知道为啥没跟Qwen2.5-72B比较,但是我单独看了几个榜单,是要好一些的。
Base模型
Instruct模型
由于本人 没有16张H800 ,但又像测试一下腾讯新开源的Hunyuan-Large,因此 在官方提供huggingface spaces上进行的测试 。
https://huggingface.co/spaces/tencent/Hunyuan-Large
- 将“I love Hunyuan-Large”的所有字母反过来写
说明:理解了意图,但是输出结果不正确,没有将所有字母反过来。
- 9.9和9.11谁大
说明:结果正确。
- strawberry有几个r
说明:结果错误,感觉还是tokenizer的问题,但很奇怪为啥没单独优化一下。
- 监狱里的都是犯人,为什么警察不去监狱里抓坏人
说明:结果正确
- 生蚝煮熟了叫什么?
说明:熟蚝。。。。。。。
- 用水来兑水,得到的是浓水还是稀水
说明:稀水。。。。。。。。
- 小红有2个兄弟,3个姐妹,那么小红的兄弟有几个姐妹
说明:没理解,小红是女生,字母说呢,合理也不合理,反正我觉得小红是女生。
- 小红(女)有2个兄弟,3个姐妹,那么小红的兄弟有几个姐妹
说明:结果正确
- 未来的某天,李同学在实验室制作超导磁悬浮材料时,意外发现实验室的老鼠在空中飞,分析发现,是因为老鼠不小心吃了磁悬浮材料。第二天,李同学又发现实验室的蛇也在空中飞,分析发现,是因为蛇吃了老鼠。第三天,李同学又发现实验室的老鹰也在空中飞,你认为其原因是
说明:按照我的推理是对的,但是不应该按照事实知识回答嘛。
就是测试了一下,感觉没有其他人说的那么强。不过也是现在开源最大的MoE模型了吧。
祝:开源越来越好,后面把paper仔细读一下,再来分享。
PS:看到这里,如果觉得不错,可以来个点赞 、在看 、关注 。给公众号添加【星标⭐️】不迷路!您的支持是我坚持的最大动力!
欢迎多多关注公众号「NLP工作站」,加入交流群,交个朋友吧,一起学习,一起进步!