6种免费使用Llama3 70B的方法及英伟达提供的免费API接口调用！ - 文章 - 开发者社区

picture.image

Aitrainee | 公众号： AI进修生

先简单介绍一下 Llama3 70B

Llama 3 的面市无疑是激起了行业内巨大的波澜。就在前几天，还有许多人认同“闭源模型通常优于开源模型”的看法。然而，最新的大型语言模型排行榜


        
            

          （https://chat.lmsys.org/?leaderboard）

已经将这一新趋势清晰地展示给了公众。Meta 的 CEO 马克·扎克伯格宣布，基于 Llama 3 模型的 AI 助手已经扩展至 Instagram、WhatsApp、Facebook 等所有主要应用，并且还特别推出了一个独立网站。与此同时， AWS、微软 Azure、谷歌云和百度智能云 等主要平台也已经宣布开始支持 Llama 3 的训练、部署和推理操作。

picture.image

Llama 3 70B 的表现已经达到甚至超过了去年的 Claude 3 Sonnet 和 Gemini 1.5 Pro，甚至比去年推出的 GPT-4 型号还要强 。但真正引人注目的是它的价格。现在，无论是 8B 还是 70B 版本的 Llama 3，都支持本地部署。虽然部署 70B 版本可能需要用到量化版本，且对显存有一定的要求，但这已经让很多用户感到非常幸福了，毕竟之前在本地运行一个像 GPT-4 那样的模型对许多人来说是难以实现的梦想。我还找到了一个大语言模型性价比排行榜， 你不妨去看看 ：


        
            

          （https://llmpricecheck.com/）

picture.image

模型的能力虽然排在第6位，但是你一看价格的话，就会知道它恐怖在哪里：

picture.image

在常见基准测试中优于许多现有的开源聊天模型。比如， Gemma 7B 和 Mistral 7B。

picture.image

废话先不多说了，然后说说 怎么使用以及免费获取他的api

在线体验 Llama 3

访问英伟达的模型体验地址


        
            

          https://build.nvidia.com/explore/discover#llama3-70b

可以直接选择 70B（700亿参数版本）和8B（ 80亿参数版本） 进行对话体验。

picture.image

使用 huggingface

picture.image


        
            

          https://huggingface.co/chat/

使用 llama2.ai

picture.image


        
            

          https://www.llama2.ai/

Llama3官方地址入口（facebook登录）


        
            

          https://llama.meta.com/llama3/

picture.image

本地体验 Llama 3

lmstudio

picture.image


        
            

          https://lmstudio.ai/

CodeGPT


        
            

          https://marketplace.visualstudio.com/items?itemName=DanielSanMedium.dscodegpt&ssr=false

picture.image

使用 CodeGPT 前，记得先使用 Ollama 拉取相应的模型。比如，拉取 llama3:8b 模型： ollama pull llama3:8b。 如果你本地尚未安装 ollama，可以阅读 “部署本地的大语言模型，只需几分钟！” 这篇文章。

Ollama

picture.image

ollama具体使用还可以看下面这篇文章： 全民AI时代：手把手教你用Ollama & AnythingLLM搭建AI知识库，无需编程，跟着做就行！

如何获取免费的LLama3 API

英伟达提供免费的api获取看下图，点击生成即可


        
            

          https://build.nvidia.com/explore/discover#llama3-70b

picture.image

API调用示例


          
from openai import OpenAI
          

          
# 初始化OpenAI客户端
          
client = OpenAI(
          
    base_url="https://integrate.api.nvidia.com/v1",  # Ensure this URL is correct
          
    api_key="nvapi--xxxxxxx"
          
)
          

          
def chat_with_openai(client):
          
    session_messages = [{"role": "system", "content": "Take a deep breath, Let's work this out in a step by step way to be sure we have the right answer. If there's a perfect solution, I'll tip $200!"}]
          
    print(session_messages[0]['content'])  # 显示系统初始提示
          

          
    while True:
          
        user_input = input("You: ")
          
        if user_input.lower() == "exit":
          
            print("Exiting chat...")
          
            break
          

          
        session_messages.append({"role": "user", "content": user_input})
          

          
        try:
          
            # 创建对话完成请求，启用流式处理
          
            completion = client.chat.completions.create(
          
                model="meta/llama3-70b",  # Replace with your model
          
                messages=session_messages,
          
                temperature=0.5,
          
                top_p=1,
          
                max_tokens=1024,
          
                stream=True
          
            )
          

          
            # 处理每个流式响应块
          
            for chunk in completion:
          
                if chunk.choices and chunk.choices[0].delta and chunk.choices[0].delta.content:
          
                    print(chunk.choices[0].delta.content, end="")
          

          
        except Exception as e:
          
            print("An error occurred:", e)
          

          
# 确保你的base_url和api_key设置正确
          
chat_with_openai(client)

付费的API：

这个是比较正规的网站


        
            

          https://openrouter.ai/

picture.image

利用Nvidia API配合AI Agent使用

MetaGPT官方地址

picture.image


        
            

          https://docs.deepwisdom.ai/main/en/guide/get\_started/installation.html#install-with-docker

配置文件修改为


          
llm:
          
  # Visit https://console.groq.com/keys to create api key
          
  base_url: "https://api.groq.com/openai/v1"
          
  api_key: "YOUR_API_KEY"
          
  model: "llama3-70b-8192"  # llama3-8b-8192，llama3-70b-8192，llama2-70b-4096 ，mixtral-8x7b-32768，gemma-7b-it

picture.image

— 完 —

点这里👇关注我，记得标星噢