如何快速下载大模型？ - 文章 - 开发者社区

写在前面

不知道大家最近有没有这种痛苦， 大模型下载太困难了 。（不涉及国外的朋友们）

主要由于huggingface必须要科学上网才能访问，而7B规模的模型一般在14G大小左右，13B规模的模型一般在28G左右，这还是模型按照ft16或bf16存贮，如果是float32存储还需要翻一倍， 流量是真的吃不消 。（有不限量的另说！毕竟我只有100G，下载几个就GG了...）

如何能解决上面的问题呢，具体有两个方法：

用阿里的魔搭社区来下载模型，但缺点是并不是所有模型魔搭上都有 ；
找一些huggingface的镜像网站，不是所有的镜像网站模型都是全的 。

正好有群友搭了一个huggingface镜像网站，特此宣传一波，反正我现在使用时速度飞起（可能用的人还不是很多）。 picture.image

picture.image

对于很多人来说，在网页上点击下载是一个办法，但一个一个点会有些麻烦，因此，这里这里也介绍一下通过代码下载大模型的整体方法。

picture.image

huggingface官网下载


          
from huggingface_hub import snapshot_download  
  
snapshot_download(repo_id='Qwen/Qwen-7B',  
                  repo_type='model',  
                  local_dir='./model\_dir',  
                  resume_download=True)

其中，repo_id为huggingface模型仓库ID，repo_type仓库类型，包含model和data两种，local_dir本地保存路径，如果没有会下载到 /root/.cache/huggingface 目录下，resume_download为是否断点续传。

huggingface镜像网站下载

由于snapshot_download函数中默认的下载路径为"https://huggingface.co"， 只需将镜像网站地址设置为"https://hf-mirror.com"即可 。

linux中执行


          
export HF_ENDPOINT=https://hf-mirror.com

再使用下面代码进行模型下载即可。


          
from huggingface_hub import snapshot_download  
  
snapshot_download(repo_id='Qwen/Qwen-7B',  
                  repo_type='model',  
                  local_dir='./model\_dir',  
                  resume_download=True)

PS：附上群友的Github，纯纯为爱发电。 picture.image

阿里魔搭社区下载

需要按照modelscope包。


          
from modelscope.hub.snapshot_download import snapshot_download  
  
model_dir = snapshot_download('qwen/Qwen-7B',   
                              cache_dir='./model\_dir',   
                              revision='master')

PS：其实huggingface不能访问的这一阵子， 魔搭真的吃了不少流量 ，只希望模型可以越来越多，希望国产社区越做越好。

交流群：点击“联系作者”--备注“研究方向-公司或学校”

欢迎|论文宣传|合作交流

往期推荐

LLM4vis：基于大模型的可解释可视化推荐方法

RecSys最佳短文 | 微信如何优化用户留存?

「StructGPT」面向结构化数据的大模型推理框架

直接放大推荐模型可行吗？存在什么问题？

长按关注，更多精彩

点个在看你最好看

picture.image