GPT-4o对 “哪只大象** 第一个游过英吉利海峡？”问题给出的答案是“Jumbo”**
https://twitter.com/ChaudharyMaheep/status/1790177223774761114
GPT-4o说今天OpenAI发布了AI搜索引擎
https://twitter.com/yang3kc/status/1790089409737404513
GPT-4o把“给主人留下些什么吧”翻译成“Thank you very much”
https://twitter.com/howie\_serious/status/1790316804486877694
“tom是美国南方庄园的奴隶主，jerry是奴隶。看到jerry搬走了自己所有的财产，准备扬长而去，tom哭着说，给主人留下些什么吧” ， 这句话是正常的表达，但是GPT-4o给出的答案：tom对jerry说的是“thank you very much” 。
https://twitter.com/howie\_serious/status/1790316804486877694
GPT-4o将“介绍下zxgqwm（第一个拼音）”解释成“绿色债券”
https://twitter.com/zraytam/status/1790287443868201414
GPT-4o将“介绍下zxgqwm（第一个拼音）”解释成“绿色”or“裸结婚”
https://twitter.com/HanchungLee/status/1790271229934596391
https://twitter.com/luxun\_deikun/status/1790264390505447935
上述case，说明GPT-4o的一些局限性：
-
幻觉这一常年存在的问题仍然持续存在；
-
仍然产生事实上不正确的信息；
-
大词表数据污染......
GPT-4o幻觉对比
https://twitter.com/jeffseibert/status/1790436627728462118
GPT-4o词表扩大到200k，中文词汇量大大增加，所需要的token更少，在线测试：
https://gpt4otokenizer.replit.app
https://twitter.com/glow1n/status/1790217667808518159
但是GPT-4o新的“o200k_base” tokenizer中，会发现包含大量博彩、灰色广告内容，被污染了。
longest_chinese_tokens_gpt4o.py
https://gist.github.com/ctlllll/4451e94f3b2ca415515f3ee369c8c374
推荐阅读
- • 对齐LLM偏好的直接偏好优化方法：DPO、IPO、KTO
- • 2024：ToB、Agent、多模态
- • TA们的RAG真正投产了吗？（上）
- • Agent到多模态Agent再到多模态Multi-Agents系统的发展与案例讲解（1.2万字，20+文献，27张图
欢迎关注我的公众号“ PaperAgent ”， 每天一篇大模型（LLM）文章来锻炼我们的思维，简单的例子，不简单的方法，提升自己。