实测腾讯开源的Hunyuan-Large大模型,感觉。。。

大模型NoSQL数据库算法

下面实测内容没有任何个人观点,仅为测试结果。另外,测试用例可能不多,但都是之前常测得一些问题,

今天突然发现腾讯开源混元大模型,十分震惊,腾讯也来挤开源赛道了,只能说大模型开源越来越繁华了。

这次开源的主要是MoE模型,有Base模型和Instruct模型,总参数量389B,激活参数52B,支持最大上下文256K。


        
          
Github: https://github.com/Tencent/Tencent-Hunyuan-Large  
Paper: https://arxiv.org/pdf/2411.02265  
HF: https://huggingface.co/tencent/Tencent-Hunyuan-Large  

      

由于时间关系,还没仔细的阅读paper,扫了一眼指标,不知道为啥没跟Qwen2.5-72B比较,但是我单独看了几个榜单,是要好一些的。

picture.image Base模型

picture.image Instruct模型

由于本人 没有16张H800 ,但又像测试一下腾讯新开源的Hunyuan-Large,因此 在官方提供huggingface spaces上进行的测试


        
          
https://huggingface.co/spaces/tencent/Hunyuan-Large  

      
  • 将“I love Hunyuan-Large”的所有字母反过来写

picture.image

说明:理解了意图,但是输出结果不正确,没有将所有字母反过来。

  • 9.9和9.11谁大 picture.image

说明:结果正确。

  • strawberry有几个r

picture.image

说明:结果错误,感觉还是tokenizer的问题,但很奇怪为啥没单独优化一下。

  • 监狱里的都是犯人,为什么警察不去监狱里抓坏人

picture.image

说明:结果正确

  • 生蚝煮熟了叫什么?

picture.image

说明:熟蚝。。。。。。。

  • 用水来兑水,得到的是浓水还是稀水

picture.image

说明:稀水。。。。。。。。

  • 小红有2个兄弟,3个姐妹,那么小红的兄弟有几个姐妹

picture.image

说明:没理解,小红是女生,字母说呢,合理也不合理,反正我觉得小红是女生。

  • 小红(女)有2个兄弟,3个姐妹,那么小红的兄弟有几个姐妹

picture.image

说明:结果正确

  • 未来的某天,李同学在实验室制作超导磁悬浮材料时,意外发现实验室的老鼠在空中飞,分析发现,是因为老鼠不小心吃了磁悬浮材料。第二天,李同学又发现实验室的蛇也在空中飞,分析发现,是因为蛇吃了老鼠。第三天,李同学又发现实验室的老鹰也在空中飞,你认为其原因是

picture.image

说明:按照我的推理是对的,但是不应该按照事实知识回答嘛。

就是测试了一下,感觉没有其他人说的那么强。不过也是现在开源最大的MoE模型了吧。

祝:开源越来越好,后面把paper仔细读一下,再来分享。

PS:看到这里,如果觉得不错,可以来个点赞在看关注 。给公众号添加【星标⭐️】不迷路!您的支持是我坚持的最大动力!

欢迎多多关注公众号「NLP工作站」,加入交流群,交个朋友吧,一起学习,一起进步!

0
0
0
0
评论
未登录
看完啦,登录分享一下感受吧~
暂无评论