Deepseek退位,Minimax开源的新王!

大模型向量数据库云存储

MiniMax-Text-01和MiniMax-VL-01开源。

用到了线性注意力,所以在处理长输入的时候有非常高的效率,接近线性复杂度。支持4M上下文的大海捞针。

picture.image

并且得益于新架构,所以推理更快,在其他模型处理256K tokens的时间,Minimax的模型可以处理高达1000k tokens的信息。

picture.image

456B的模型,每次激活参数为45.9B,结构图如下:

picture.image

效果对齐第一梯队。picture.image

长文有领先优势。picture.image

0
0
0
0
关于作者
相关资源
CloudWeGo白皮书:字节跳动云原生微服务架构原理与开源实践
本书总结了字节跳动自2018年以来的微服务架构演进之路
相关产品
评论
未登录
看完啦,登录分享一下感受吧~
暂无评论