文心一言 VS ChatGLM-6B对比

技术

下面进行文心一言内测结果与ChatGLM-6B的结果进行对比,其中ChatGLM-6B的结果来自https://github.com/THUDM/ChatGLM-6B,假设ChatGLM-6B的结果是可靠的,那么为了公平,文心一言也使用这些Prompt进行测试。

测试内容从 自我认知、提纲写作、文案写作、邮件写作助手、信息抽取、角色扮演、评论比较旅游向导 这八个角度进行测试对比。

核心结论:

1、关于自我认知、提纲写作方面,ChatGLM-6B相比文心一言要好一些,优点和缺点条例比较清晰;

2、在文案写作方面,ChatGLM-6B确实生成了一段文案,而文心一言缺生成了一张图片,说明了文心一言的多模态生成能力,但是与题目不太符合;

3、在写邮件方面,两个模型表现都不错;

4、在信息抽取方面,ChatGLM-6B比文心一言确实好很多,可能是ChatGLM-6B有这方面的训练数据导致的;

5、在角色扮演方面,文心一言暂无此能力;

6、在主观评论方面,ChatGLM-6B和文心一言都表现的比较理智和客观,没有模型个人观点,ChatGLM-6B列举了这两位足球运动员的很多示例,而文心一言回复的比较官方;

7、在旅游向导方面、ChatGLM-6B注重文化描述,而文心一言给出了很多更有价值的信息

综述所述,在ChatGLM-6B给出的8大示例中,明显是ChatGLM-6B占上风,这似乎也不太公平,后面会使用其他的Prompt再进行测试对比实验。

自我认知

ChatGLM-6B

picture.image

文心一言

picture.image

提纲写作

ChatGLM-6B

picture.image

文心一言

picture.image

文案写作

ChatGLM-6B

picture.image

picture.image

文心一言

picture.image

picture.image

邮件写作助手

ChatGLM-6B

picture.image

picture.image

文心一言

picture.image

picture.image

信息抽取

ChatGLM-6B

picture.image

文心一言

picture.image

角色扮演

ChatGLM-6B

picture.image

文心一言

picture.image

评论比较

ChatGLM-6B

picture.image

文心一言

picture.image

旅游向导

ChatGLM-6B

picture.image

文心一言

picture.image

0
0
0
0
评论
未登录
看完啦,登录分享一下感受吧~
暂无评论