话不多说,线上链接: https://huggingface.co/collections/google/gemma-3-release-67c6c6f89c4f76621268bb6d
此次开源了4个版本模型,包括1B、4B、12B和27B等4个尺寸,详细概述如图2所示,来自x@danielhanchen。
27B模型使用14T Tokens训练,12B模型使用12T Tokens训练,4B模型使用4T Tokens训练,1B模型使用2T Tokens训练。
输入文本+图片,输出文本,属于多模态理解模型。上下文大小未128K,支持140多种语言,对于图片处理均归一化至896x896分辨率,每张图像编码为256个Token。
Paper: https://storage.googleapis.com/deepmind-media/gemma/Gemma3Report.pdf