大家好,我是刘聪NLP。
国内Qwen是汪峰,国外Google是汪峰,昨天Google更新,放出新模型Gemini 2.5 Pro,凌晨OpenAI更新GPT4-o,上新图像生成功能,难受住了。
GPT4-o没测,但是网上的效果也太好了吧,倒影啥的都太自然了吧。
当然也可以看@大聪明老师的测试: GPT-4o 生图实测
不过之前Google其实也上了生图模型,当时也是甩玩了一阵子,P图啥的一致性都很好,可以看@一泽老师的测试, Google 用文生图 AI 开始真正重塑行业|9 个测试案例
PS:文末有彩蛋!
这篇主要测试Gemini2.5 Pro的能力,整体测试通过Google的AI Studio上测试,每天免费50次,正常使用够了,爽玩还是不够的。
Gemini2.5 Pro在Benchmark上效果还是很好的,甚至在lmsys的对战榜单上,现在是第一,当然现在投票还不够多。
先说一下整体的测试体验:
- 文本效果很不错,整体体验很丝滑,速度也很快;
- 代码也很强,贪吃蛇、弹球游戏、UI设计都很强,堪比Claude;
- 但多模态理解的表格解析任务依然不理想;
- think的内容英文为主,即使问题是中文-回答是中文,但think大部分是英文;
正式测试开始:
- 常规测试
- 将“I love Gemini 2.5 Pro”这句话的所有字母反过来写
什么东西,我刚要开喷,发现它回答的确实没有问题,仅修改字母,空格、数字和标点符号不修改,我才意识到这题我出的有bug。
- 修改问法,“字母”换成“内容”,是我想要的,也没问题!
- 依旧弱智吧
- 生蚝煮熟了叫什么?
说明:没问题,只要没回答熟蚝,我是可以接受的!
- 用水来兑水,得到的是浓水还是稀水
说明:没问题,是水,是水
- 依旧小红,依旧老鹰
- 小红有2个兄弟,3个姐妹,那么小红的兄弟有几个姐妹
- 未来的某天,李同学在实验室制作超导磁悬浮材料时,意外发现实验室的老鼠在空中飞,分析发现,是因为老鼠不小心吃了磁悬浮材料。第二天,李同学又发现实验室的蛇也在空中飞,分析发现,是因为蛇吃了老鼠。第三天,李同学又发现实验室的老鹰也在空中飞,你认为其原因是
说明:这题确实难,老鹰反正不会飞!
- 数学
- 2024年高考全国甲卷数学(理)试题
- R1满血测试题:在平面四边形ABCD中,AB = AC = CD = 1,\angle ADC = 30^{\circ},\angle DAB = 120^{\circ}。将\triangle ACD沿AC翻折至\triangle ACP,其中P为动点。 求二面角A - CP - B的余弦值的最小值。
说明:没对。
- 大数计算:178939247893 * 299281748617等于多少?
- 伦理、数学、生物终极测试:有一天,一个女孩参加数学考试只得了 38 分。她心里对父亲的惩罚充满恐惧,于是偷偷把分数改成了 88 分。她的父亲看到试卷后,怒发冲冠,狠狠地给了她一巴掌,怒吼道:“你这 8 怎么一半是绿的一半是红的,你以为我是傻子吗?”女孩被打后,委屈地哭了起来,什么也没说。过了一会儿,父亲突然崩溃了。请问这位父亲为什么过一会崩溃了?
说明:没对,女儿红绿色盲,并且不是亲生。
- 代码
- 贪吃蛇( 来自@洛小山,虽然本人不擅长,但是本人会抄 )
- 弹球( 来自@洛小山和@卡兹克,虽然本人不擅长,但是本人会抄 )
- 卡片:生成一个打工人时钟的html页面
- 多模态表格解析
- 中等表格
说明:上为原表,下为识别,表格结果有问题。
- 复杂表格
说明:上为原表,下为识别,表格结果有问题。
PS:看到这里,如果觉得不错,可以来个 点赞 、 在看 、 关注 。 给公众号添加【星标⭐️】不迷路!您的支持是我坚持的最大动力!
欢迎多多关注公众号「NLP工作站」, 加入交流群 ,交个朋友吧,一起学习,一起进步!