Skip to content

Latest commit

 

History

History
89 lines (57 loc) · 2.54 KB

03-模型下载.md

File metadata and controls

89 lines (57 loc) · 2.54 KB
Raw

模型下载

hugging face

使用huggingface官方提供的huggingface-cli命令行工具。安装依赖:

pip install -U huggingface_hub

然后新建python文件，填入以下代码，运行即可。

  • resume-download：断点续下
  • local-dir：本地存储路径。（linux环境下需要填写绝对路径）
import os

# 下载模型
os.system('huggingface-cli download --resume-download internlm/internlm-chat-7b --local-dir your_path')

hugging face 镜像下载

与使用hugginge face下载相同，只需要填入镜像地址即可。使用huggingface官方提供的huggingface-cli命令行工具。安装依赖:

pip install -U huggingface_hub

然后新建python文件，填入以下代码，运行即可。

  • resume-download：断点续下
  • local-dir：本地存储路径。（linux环境下需要填写绝对路径）
import os

# 设置环境变量
os.environ['HF_ENDPOINT'] = 'https://hf-mirror.com'

# 下载模型
os.system('huggingface-cli download --resume-download internlm/internlm-chat-7b --local-dir your_path')

更多关于镜像使用可以移步至 HF Mirror 查看。

modelscope

使用modelscope中的snapshot_download函数下载模型，第一个参数为模型名称，参数cache_dir为模型的下载路径。

注意：cache_dir最好为绝对路径。

安装依赖：

pip install modelscope
pip install transformers

在当前目录下新建python文件，填入以下代码，运行即可。

import torch
from modelscope import snapshot_download, AutoModel, AutoTokenizer
import os
model_dir = snapshot_download('Shanghai_AI_Laboratory/internlm-chat-7b', cache_dir='your path', revision='master')

git-lfs

来到git-lfs网站下载安装包，然后安装git-lfs。安装好之后在终端输入git lfs install，然后就可以使用git-lfs下载模型了。当然这种方法需要你有一点点 Magic 。

git clone https://huggingface.co/internlm/internlm-7b

Openxlab

Openxlab 可以通过指定模型仓库的地址，以及需要下载的文件的名称，文件所需下载的位置等，直接下载模型权重文件。

使用python脚本下载模型首先要安装依赖，安装代码如下：pip install -U openxlab 安装完成后使用 download 函数导入模型中心的模型。

from openxlab.model import download
download(model_repo='OpenLMLab/InternLM-7b', model_name='InternLM-7b', output='your local path')