Meta最新开源，为llama 3.1量身定制的Agentic框架 - 文章 - 开发者社区

Meta太卷了，除了llama3.1的6个模型，昨天的文章提到了还偷摸开源了另外2个小模型。一个可以用来做安全审核，另外一个可以用来做提示词注入判断。后来发现还同步开源了一个仓库，漏发了，并且这个仓库结合了额外开源的小模型。。。。

这个开源存储库允许你将 Llama 3.1 作为能够执行“Agent”任务的系统来运行，例如：

分解任务并执行多步骤推理。
使用工具的能力

内置：模型具有搜索或代码解释器等工具的内置知识
zero shot：模型可以学习使用以前未见过的上下文工具定义来调用工具

他们希望将安全评估从模型级别转移到整个系统级别。这使得底层模型能够保持广泛的可操纵性并适应需要不同级别的安全保护的用例。

其中一项安全保护由 Llama Guard 提供。默认情况下，Llama Guard 用于输入和输出过滤。但是，可以配置系统来修改此默认设置。例如，只要满足您的用例的安全要求，建议在经常观察到拒绝良性提示的情况下使用 Llama Guard 进行输出过滤。

系统完全可以通过配置文件配置，示例如下，意味着你可以一行简单的命令启动：


        
          
agentic_system_config:  
  impl_config:  
    impl_type: inline  
    inference_config:  
      impl_config:  
        impl_type: remote  
        # the url to the inference server  
        url: http://localhost:5000  
  # Safety shields  
  safety_config:  
    llama_guard_shield:  
      model_dir: <path>  
      excluded_categories: []  
      disable_input_check: False  
      disable_output_check: False  
    prompt_guard_shield:  
      model_dir: <path>  
  
# Use this config to change the sampling params  
# when interacting with an agent instance  
sampling_params:  
  temperature: 0.0  
  strategy: "top\_p"  
  top_p: 0.95  
  top_k: 0

还有页面交互，示例如下：

picture.image

仓库地址：https://github.com/meta-llama/llama-agentic-system

PS：给公众号添加【星标⭐️】不迷路！您的点赞、在看、关注 是我坚持的最大动力！

欢迎多多关注公众号「NLP前沿」，加入交流群，交个朋友吧，一起学习，一起进步！