3B激活参数也能做多模态Agent?小模型也有大智慧,附Skywork R1V4-Lite实测

大模型图像处理机器学习

大家好,我是刘聪NLP。

昨天刷到了昆仑万维发布了一个Skywork R1V4-Lite模型,只有3B的激活参数,

就可以主动操作图像、调用外部工具、图文交互深度检索,是一个多模态Agent模型。

技术核心是,R1V4-Lite 加上了主动操作,训练过程引入图像操作和深度推理交互训练,做到 All-in-One,

让小模型从源头具备更清晰的任务规划与搜索增强的能力。

30B-A3B是不是很眼熟,

没错,它是基于Qwen3-VL-30B-A3B增量训练的,

还有它仅使用了3万条后训练数据,再次体现了高质量数据的重要性。

最终整体榜单的效果,在感知和深度研究上全面超越Qwen3-VL-30B-A3B和Gemini2.5-Flash。

picture.image

榜单重要也不重要,

因为我们是主打实测,哈哈哈,

来看看R1V4-Lite模型的整体效果到底如何,

懒人不爱看版本:

  • 因为训练数据以英文为主,所以思维链和回答会以英文为主,你问了中文也会回答英文,当然你可以额外加上指令“请用中文回答”,那会用中文回答
  • 找位置,简直无敌,由于带有图片裁剪、放大等操作,再加上图片检索,找图片位置简直是一绝
  • 较低分辨率的内容可以识别的比较好,因为会先放大
  • 计算推理一般,因为有代码操作,会默认用代码进行计算,但代码部分模型做的图像变换比较多
  • 其他能力就依赖于原始Qwen3-VL的能力了,比如时钟识别依然是问题
  • 纯Plan能力,我没专门测试,感兴趣自己可以去测测
  • 速度很快A3B让模型输出嗖嗖的

先看几个常规的模型能力,

目标识别,数数,考察模型基本查个数的能力,“告诉我桌子上菇娘儿的个数”

picture.image

报告解读,考察模型内容理解能力、知识储备的能力。“请帮我解读一下报告内容”

picture.image

表格识别,内容提取和指令跟随能力,

picture.image

但,并不是所有表格都很好,对于字数较多的表格,还原起来就没有那么好。

除了常规预测外,因为可以精准调用外部工具,同时R1V4-Lite可以进行自动图片裁剪、放大、翻转,所以对于定位、细粒度分析的内容效果会格外的好。

比如,之前所有VLM大模型都回答不了的“上海金茂大厦”位置,R1V4-Lite精准回答。

picture.image

用了图像搜索,所以你说他作弊,也行,但是也是实打实的找对了。

注意它的图像思考和检索是交互存在的,并不割裂,所以找的也更准

色盲测试,会对图片进行一系列操作,主要提高图片的对比度,让这些数字更清晰可见,下图,很直观。

picture.image

还有找到奔跑的人,可以精准框出人所在的位置。

picture.image

低分辨率的图像,也会做先裁剪,再放大、高清的处理,让其VLM模型可以再次看,可以更清楚。

picture.image

不过,时钟问题,依然是比较难得,这个跟基模也有一定的关系,时钟翻转没有回答正确,只做了裁剪放大。

picture.image

以上测试完毕,

你可以在skywork api平台上测试:https://platform.skyworkmodel.ai/

接口文档:https://docs.skyworkmodel.ai/r1v4/api-reference/completions.html

同时,Skywork R1V4-Lite的论文也放出来了,

Paper:https://github.com/SkyworkAI/Skywork-R1V/blob/main/Skywork\_R1V4.pdf

核心内容在数据构造的部分,感兴趣的可以仔细阅读一下原文。

我这里简单带过一下,

  • 图像操作部分,让开源或闭源大模型(GLM4.6、Claude)通过编写代码对图像执行一系列操作,包括但不限于裁剪、旋转、对比度增强和像素级分析,每一步都对比代码输出与推理文本是否一致,4 次采样只留答对的样本数据。picture.image
  • 搜索部分,分成基础搜索和增强搜索,基础搜索,图像主体突出,查询简单,一般通过反向图像搜索识别主体后,通常只需几轮文本搜索即可获得答案。增强搜索,涉及增强文本query生成和文本到多模态query改写。
  • 能力融合,随机抽取 3k 例 LiveVQA,用 Claude 写 先裁图→搜索→再裁图 的混合脚本,再用 VLM 自动丢弃错位裁剪等低质量样本,保证图像操作与搜索结果因果一致。

R1V4-Lite的系统提示词如下;

picture.image

最后,R1V4-Lite还是蛮让我吃惊的,

用了一些很巧妙的方法,解决了一些30B模型无法很好解决的问题,也能具备大模型级别的多模态链式推理与主动行为能力,

以前都是很大模型,来去做Agent交互,

R1V4-Lite让我们看到了更多可能吧,

当然,模型依然还有一些不足,但这不正是我们要努力的方向吗

然后今天Gemini 3.0 Pro更新了,在测试了,

等我更新,哈哈哈哈哈

继续卷起来~

0
0
0
0
关于作者
关于作者

文章

0

获赞

0

收藏

0

相关资源
VikingDB:大规模云原生向量数据库的前沿实践与应用
本次演讲将重点介绍 VikingDB 解决各类应用中极限性能、规模、精度问题上的探索实践,并通过落地的案例向听众介绍如何在多模态信息检索、RAG 与知识库等领域进行合理的技术选型和规划。
相关产品
评论
未登录
看完啦,登录分享一下感受吧~
暂无评论