Gemini2.5 Pro测试,代码能力飙升,但多模态表格解析依旧不理想

向量数据库大模型云通信

大家好,我是刘聪NLP。

国内Qwen是汪峰,国外Google是汪峰,昨天Google更新,放出新模型Gemini 2.5 Pro,凌晨OpenAI更新GPT4-o,上新图像生成功能,难受住了。

GPT4-o没测,但是网上的效果也太好了吧,倒影啥的都太自然了吧。

picture.image

当然也可以看@大聪明老师的测试: GPT-4o 生图实测

不过之前Google其实也上了生图模型,当时也是甩玩了一阵子,P图啥的一致性都很好,可以看@一泽老师的测试, Google 用文生图 AI 开始真正重塑行业|9 个测试案例

PS:文末有彩蛋!

这篇主要测试Gemini2.5 Pro的能力,整体测试通过Google的AI Studio上测试,每天免费50次,正常使用够了,爽玩还是不够的。

https://aistudio.google.com/

picture.image

Gemini2.5 Pro在Benchmark上效果还是很好的,甚至在lmsys的对战榜单上,现在是第一,当然现在投票还不够多。

picture.image

先说一下整体的测试体验:

  • 文本效果很不错,整体体验很丝滑,速度也很快;
  • 代码也很强,贪吃蛇、弹球游戏、UI设计都很强,堪比Claude;
  • 但多模态理解的表格解析任务依然不理想;
  • think的内容英文为主,即使问题是中文-回答是中文,但think大部分是英文;

正式测试开始:

  • 常规测试
  • 将“I love Gemini 2.5 Pro”这句话的所有字母反过来写picture.image什么东西,我刚要开喷,发现它回答的确实没有问题,仅修改字母,空格、数字和标点符号不修改,我才意识到这题我出的有bug。
  • 修改问法,“字母”换成“内容”,是我想要的,也没问题!picture.image
  • 依旧弱智吧
  • 生蚝煮熟了叫什么?picture.image说明:没问题,只要没回答熟蚝,我是可以接受的!
  • 用水来兑水,得到的是浓水还是稀水picture.image说明:没问题,是水,是水
  • 依旧小红,依旧老鹰
  • 小红有2个兄弟,3个姐妹,那么小红的兄弟有几个姐妹picture.image
  • 未来的某天,李同学在实验室制作超导磁悬浮材料时,意外发现实验室的老鼠在空中飞,分析发现,是因为老鼠不小心吃了磁悬浮材料。第二天,李同学又发现实验室的蛇也在空中飞,分析发现,是因为蛇吃了老鼠。第三天,李同学又发现实验室的老鹰也在空中飞,你认为其原因是picture.image说明:这题确实难,老鹰反正不会飞!
  • 数学
  • 2024年高考全国甲卷数学(理)试题picture.image
  • R1满血测试题:在平面四边形ABCD中,AB = AC = CD = 1,\angle ADC = 30^{\circ},\angle DAB = 120^{\circ}。将\triangle ACD沿AC翻折至\triangle ACP,其中P为动点。 求二面角A - CP - B的余弦值的最小值。picture.image说明:没对。
  • 大数计算:178939247893 * 299281748617等于多少?picture.image
  • 伦理、数学、生物终极测试:有一天,一个女孩参加数学考试只得了 38 分。她心里对父亲的惩罚充满恐惧,于是偷偷把分数改成了 88 分。她的父亲看到试卷后,怒发冲冠,狠狠地给了她一巴掌,怒吼道:“你这 8 怎么一半是绿的一半是红的,你以为我是傻子吗?”女孩被打后,委屈地哭了起来,什么也没说。过了一会儿,父亲突然崩溃了。请问这位父亲为什么过一会崩溃了?picture.image说明:没对,女儿红绿色盲,并且不是亲生。
  • 代码
  • 贪吃蛇( 来自@洛小山,虽然本人不擅长,但是本人会抄 )picture.image
  • 弹球( 来自@洛小山和@卡兹克,虽然本人不擅长,但是本人会抄 )picture.image
  • 卡片:生成一个打工人时钟的html页面picture.image
  • 多模态表格解析
  • 中等表格picture.image说明:上为原表,下为识别,表格结果有问题。
  • 复杂表格picture.image说明:上为原表,下为识别,表格结果有问题。

PS:看到这里,如果觉得不错,可以来个 点赞在看关注 。 给公众号添加【星标⭐️】不迷路!您的支持是我坚持的最大动力!

欢迎多多关注公众号「NLP工作站」, 加入交流群 ,交个朋友吧,一起学习,一起进步!

picture.image

0
0
0
0
关于作者
关于作者

文章

0

获赞

0

收藏

0

相关资源
IDC 大模型应用落地白皮书
大模型技术已深度融入业务实践,各企业期望其释放更大商业价值。 但大模型落地之路面临许多挑战和顾虑。 如何精准对接业务需求与发展蓝图,制定切实可行的大模型落地策略? IDC发布首个大模型应用策略与行动指南 一为您揭晓一
相关产品
评论
未登录
看完啦,登录分享一下感受吧~
暂无评论