OpenLLM大模型排行榜 - 文章 - 开发者社区

前言

大模型排行榜链接地址为：https://huggingface.co/spaces/HuggingFaceH4/open\_llm\_leaderboard

picture.image

开放LLM排行榜

随着大量的大型语言模型（LLMs）和聊天机器人每周都在发布，它们常常大肆宣扬自己的性能，要从中筛选出开源社区所取得的真正进步，以及哪个模型是当前的最新技术，这可能会很困难。🤗开放LLM排行榜旨在跟踪、排名和评估发布的LLM和聊天机器人。我们使用 Eleuther AI Language Model Evaluation Harness[1] 中的4个关键基准来评估模型，这是一个统一框架，用于在大量不同的评估任务上测试生成性语言模型。该排行榜的一个主要优点是，只要是在Hub上有权重的🤗Transformers模型，社区中的任何人都可以提交一个模型进行在🤗GPU集群上的自动评估。我们还支持对具有delta权重的非商业许可模型（如LLaMa）进行评估。

评估是针对4个流行的基准进行的：

•AI2 Reasoning Challenge[2]（25-shot）- 一套小学科学问题。 •HellaSwag[3]（10-shot）- 一个测试常识推理的测试，对人类来说很容易（~95%），但对最先进的模型来说却具有挑战性。 •MMLU[4]（5-shot）- 一个测试文本模型的多任务准确性的测试。测试覆盖57个任务，包括基础数学、美国历史、计算机科学、法律等。 •Truthful QA MC[5]（0-shot）- 一个测试语言模型在生成问题答案时是否真实的基准。

我们选择这些基准，因为它们在0次shot和少数shot的设置中测试了一系列推理和普遍知识，涵盖了各种领域。

在人工智能领域，"shot"这个词通常是用在"few-shot learning"或者"zero-shot learning"等概念中。这些都是指的是机器学习的模型训练方法。

•"Zero-shot learning"，也就是零样本学习，是指的是让模型在没有接触过某种类别的数据的情况下，通过学习其他类别的数据，推理出这个未知类别的数据的特性。这是一种机器学习方法，其目标是让模型能够理解和处理它在训练过程中从未见过的类别。这通常通过在模型训练过程中引入和利用一些形式的辅助信息（例如类别之间的关系）来实现。 •"Few-shot learning"，也就是少样本学习，是指的是让模型在只接触过少量某种类别的数据的情况下，学习并理解这个类别的数据的特性。

在你提供的这段文章中，"25-shot"、"10-shot"、"5-shot"、"0-shot"就是指的是在这些评估任务中，模型接触的示例数据的数量。例如，"25-shot"就是说模型在进行"AI2 Reasoning Challenge"这个评估任务时，会接触到25个示例数据。

评估的模型列表

| Model | Revision | Average ⬆️ | ARC (25-shot) ⬆️ | HellaSwag (10-shot) ⬆️ | MMLU (5-shot) ⬆️ | TruthQA (0-shot) ⬆️ | | llama-65b[6] | main | 58.3 | 57.8 | 84.2 | 48.8 | 42.3 | | llama-30b[7] | main | 56.9 | 57.1 | 82.6 | 45.7 | 42.3 | | stable-vicuna-13b[8] | main | 52.4 | 48.1 | 76.4 | 38.8 | 46.5 | | llama-13b[9] | main | 51.8 | 50.8 | 78.9 | 37.7 | 39.9 | | alpaca-13b[10] | main | 51.7 | 51.9 | 77.6 | 37.6 | 39.6 | | llama-7b[11] | main | 47.6 | 46.6 | 75.6 | 34.2 | 34.1 | | EleutherAI/gpt-neox-20b[12] | main | 45.9 | 45.2 | 73.4 | 33.3 | 31.7 | | togethercomputer/RedPajama-INCITE-Base-7B-v0.1[13] | main | 45.7 | 44.4 | 71.3 | 34 | 33.2 | | togethercomputer/RedPajama-INCITE-Base-3B-v1[14] | main | 42.2 | 40.2 | 64.7 | 30.6 | 33.2 | | Salesforce/codegen-16B-multi[15] | main | 39.2 | 33.6 | 51.2 | 28.9 | 43.3 | | facebook/opt-1.3b[16] | main | 37.7 | 29.6 | 54.6 | 27.7 | 38.7 | | gpt2-medium[17] | main | 33.8 | 27.2 | 40.2 | 27 | 40.7 | | facebook/opt-350m[18] | main | 32.2 | 23.6 | 36.7 | 27.3 | 41 | | facebook/opt-125m[19] | main | 31.2 | 23.1 | 31.5 | 27.4 | 42.9 | | gpt2[20] | main | 30.4 | 21.9 | 31.6 | 27.5 | 40.7 | | distilgpt2[21] | main | 30.2 | 22.2 | 27.5 | 26.8 | 44.5 | | Aeala/GPT4-x-AlpacaDente2-30b[22] | main | 26.3 | 56.1 | | | 49.1 | | nomic-ai/gpt4all-j[23] | main | 21.7 | 41.2 | | | 45.6 | | wordcab/llama-natural-instructions-13b[24] | main | 21.4 | 48 | | | 37.7 | | chainyo/alpaca-lora-7b[25] | main | 21 | 45.5 | | | 38.7 | | databricks/dolly-v2-7b[26] | main | 19.6 | 43.7 | | | 34.5 | | chavinlo/gpt4-x-alpaca[27] | main | 12.4 | | | | 49.7 | | digitous/Alpacino30b[28] | main | 11 | | | | 43.8 | | stabilityai/stablelm-tuned-alpha-7b[29] | main | 10 | | | | 40.2 |

Evaluation Queue

除了以上图片中包含的模型外，你也可以提交新模型到评估队列中来进行评估，提交后会自动进行评估。

后续

中文领域也有很多比较优秀的大模型，比如ChatGLM和ChatLLM、和一些基于LLaMA微调的模型，比如基于中文医学知识的LLaMA模型Huatuo-Llama-Med-Chinese，后面会陆续介绍这些模型的应用，请持续关注。

另外，如果对大模型感兴趣，想知道更多开源大模型的信息，还有一个地址可以关注：https://github.com/eugeneyan/open-llms

References