大家好,我是刘聪NLP。
昨天刷到了昆仑万维发布了一个Skywork R1V4-Lite模型,只有3B的激活参数,
就可以主动操作图像、调用外部工具、图文交互深度检索,是一个多模态Agent模型。
技术核心是,R1V4-Lite 加上了主动操作,训练过程引入图像操作和深度推理交互训练,做到 All-in-One,
让小模型从源头具备更清晰的任务规划与搜索增强的能力。
30B-A3B是不是很眼熟,
没错,它是基于Qwen3-VL-30B-A3B增量训练的,
还有它仅使用了3万条后训练数据,再次体现了高质量数据的重要性。
最终整体榜单的效果,在感知和深度研究上全面超越Qwen3-VL-30B-A3B和Gemini2.5-Flash。
榜单重要也不重要,
因为我们是主打实测,哈哈哈,
来看看R1V4-Lite模型的整体效果到底如何,
懒人不爱看版本:
- 因为训练数据以英文为主,所以思维链和回答会以英文为主,你问了中文也会回答英文,当然你可以额外加上指令“请用中文回答”,那会用中文回答
- 找位置,简直无敌,由于带有图片裁剪、放大等操作,再加上图片检索,找图片位置简直是一绝
- 较低分辨率的内容可以识别的比较好,因为会先放大
- 计算推理一般,因为有代码操作,会默认用代码进行计算,但代码部分模型做的图像变换比较多
- 其他能力就依赖于原始Qwen3-VL的能力了,比如时钟识别依然是问题
- 纯Plan能力,我没专门测试,感兴趣自己可以去测测
- 速度很快A3B让模型输出嗖嗖的
先看几个常规的模型能力,
目标识别,数数,考察模型基本查个数的能力,“告诉我桌子上菇娘儿的个数”
报告解读,考察模型内容理解能力、知识储备的能力。“请帮我解读一下报告内容”
表格识别,内容提取和指令跟随能力,
但,并不是所有表格都很好,对于字数较多的表格,还原起来就没有那么好。
除了常规预测外,因为可以精准调用外部工具,同时R1V4-Lite可以进行自动图片裁剪、放大、翻转,所以对于定位、细粒度分析的内容效果会格外的好。
比如,之前所有VLM大模型都回答不了的“上海金茂大厦”位置,R1V4-Lite精准回答。
用了图像搜索,所以你说他作弊,也行,但是也是实打实的找对了。
注意它的图像思考和检索是交互存在的,并不割裂,所以找的也更准
色盲测试,会对图片进行一系列操作,主要提高图片的对比度,让这些数字更清晰可见,下图,很直观。
还有找到奔跑的人,可以精准框出人所在的位置。
低分辨率的图像,也会做先裁剪,再放大、高清的处理,让其VLM模型可以再次看,可以更清楚。
不过,时钟问题,依然是比较难得,这个跟基模也有一定的关系,时钟翻转没有回答正确,只做了裁剪放大。
以上测试完毕,
你可以在skywork api平台上测试:https://platform.skyworkmodel.ai/ ,
接口文档:https://docs.skyworkmodel.ai/r1v4/api-reference/completions.html
同时,Skywork R1V4-Lite的论文也放出来了,
Paper:https://github.com/SkyworkAI/Skywork-R1V/blob/main/Skywork\_R1V4.pdf
核心内容在数据构造的部分,感兴趣的可以仔细阅读一下原文。
我这里简单带过一下,
- 图像操作部分,让开源或闭源大模型(GLM4.6、Claude)通过编写代码对图像执行一系列操作,包括但不限于裁剪、旋转、对比度增强和像素级分析,每一步都对比代码输出与推理文本是否一致,4 次采样只留答对的样本数据。
- 搜索部分,分成基础搜索和增强搜索,基础搜索,图像主体突出,查询简单,一般通过反向图像搜索识别主体后,通常只需几轮文本搜索即可获得答案。增强搜索,涉及增强文本query生成和文本到多模态query改写。
- 能力融合,随机抽取 3k 例 LiveVQA,用 Claude 写 先裁图→搜索→再裁图 的混合脚本,再用 VLM 自动丢弃错位裁剪等低质量样本,保证图像操作与搜索结果因果一致。
R1V4-Lite的系统提示词如下;
最后,R1V4-Lite还是蛮让我吃惊的,
用了一些很巧妙的方法,解决了一些30B模型无法很好解决的问题,也能具备大模型级别的多模态链式推理与主动行为能力,
以前都是很大模型,来去做Agent交互,
R1V4-Lite让我们看到了更多可能吧,
当然,模型依然还有一些不足,但这不正是我们要努力的方向吗
然后今天Gemini 3.0 Pro更新了,在测试了,
等我更新,哈哈哈哈哈
继续卷起来~
