要说开源哪家强，还真的得看Meta AI，不得不服。
现在有多少的大模型是基于llama的架构在做的？半壁江山不为过吧
Llama3 来袭预料之中，只不过让大家难以想到的是开源大模型的效果已经追上了闭源。
从下面的效果来看，8B、70B的效果已经很好了。我是无法想象还没放出的400B的效果！！！
400B的效果是这样的。
从下面的数据来看，Llama3 400B+已经能和最强大的两个大模型Claude 3 Opus和GPT-4一较高下。
重点是：Llama3-400B仍在训练中 。
先来看看LLAMA3有哪些技术方面的改进，再看看怎么体验
Llama3的主要亮点包括
- 模型架构上面 Llama3 使用128K词表(疑问：中文有多少 )，采用了GQA加快推理速度，文本长度支持8192，也就是8k。
- 超过 15T token 训练 ，相当于 Llama2 的 7 倍还多；
- 超过 5% 的 Llama3 预训练数据集由涵盖 30 多种语言的高质量非英语数据组成 。
- 为了确保 Llama3 接受最高质量数据的训练，开发了一系列数据过滤方式，包括使用启发式过滤器、NSFW 过滤器、语义重复数据删除方法和文本分类器来预测数据质量，使用 Llama2 为为 Llama3 提供支持的文本质量分类器生成训练数据 。
- Llama3 的训练效率比 Llama2 提高了约三倍 。
- 对指令调整方法进行了创新 ，后训练方法是监督微调（SFT）、拒绝采样、近端策略优化（PPO）和直接策略优化（DPO）的组合，通过 PPO 和 DPO 极大地提高了 Llama3 在推理和编码任务上的性能 。
- 400B的模型仍在训练中 。在接下来的几个月里，将发布多个具有新功能的模型，包括多模态、以多种语言交谈的能力、更长的上下文窗口和更强的整体功能。
体验方式
1、Meta AI
地址：https://llama.meta.com/llama3
Meta AI上面已经接入了Llama3 70B的模型。
但是对中文支持不好！！！让它<用中文回答>第一遍明明已经用中文回答出来了，然后立刻变成了 I don’t understand Chinese yet.
做了后处理？搞什么✈️
然后再问就是下面这样子了😒
2、在线体验
地址：https://llama3.replicate.dev/
可以选择8B 或者70B
3、本地或者云端部署
现在模型已经在huggingface上面了，可以下载后在云端或者本地部署。
地址：https://huggingface.co/meta-llama
如何从huggingface上面高速下载模型，看我之前的文章。几种高速下载大模型的方法
4、Ollama本地跑Llama3
总结一下
还是开头那句话，要说开源哪家强，还是得看Meta AI，不得不服。
llama3目前对中文支持还是不好，是啥原因呢？期待llama3-chinese。
llama3-400B+的模型还在训练中，未来几个月效果一定会更好，期待一下，但是怎么用了？400B，什么本地云端也难搞啊，是不是不开源了呢？
<-End->
往期推荐
Kimi 太慢了，200万字上下文还没开放，不等了，先用下kimi的插件
免魔法，非套壳API，国内使用GPT plus，和官网功能一模一样，强烈推荐！
我是大林，持续关注 AIGC 趋势发展，和大家一起交流。微信(dalinvip2023)，备注【公众号 AIGC】，进 AIGC 交流群一起交流。
如果文章对你有一点点 🤏🏻 帮助，关注公众号并星标，可以及时收到最新 AI 信息，点赞、在看、帮忙转发给更多的朋友，是最大的支持，谢谢。