# 通过 huggingface_cli 下载模型和数据集

除了直接到网页端点击下载按钮之外,还可以在终端用命令行的方式下载数据集和模型。

首先应该安装 huggingface-cli 工具:

pip install -U huggingface_hub

huggingface-cli 已经弃用,huggingface-cli 已经更新为 hf 命令。关于 hf 命令有哪些变化,可以考虑学习这篇文章:https://zhuanlan.zhihu.com/p/663712983?s_r=0。

在 Windows,你可以依次执行:

$env:HF_ENDPOINT = "https://hf-mirror.com"
hf download --resume-download [model name] --local-dir [save location]

在括号内替换为具体的内容。model name 是 huggingface 某个仓库具体的名字,比如下面的 ShengbinYue/DISC-Law-SFT 。save location 则是保存到本地的目录名。

下载数据集的命令则是在前面下载模型的命令增加 --repo-type dataset 参数。在 Linux 平台,你可以考虑把执行 $env:HF_ENDPOINT = "https://hf-mirror.com 换成执行:

export HF_ENDPOINT = "https://hf-mirror.com"
关于网络问题

$env:HF_ENDPOINT = "https://hf-mirror.com"和 export HF_ENDPOINT ="https://hf-mirror.com" 的目的就是在于解决国内访问 huggingface 服务器失败的问题。设置这命令就是提供一个镜像以便更快地访问,这个是官方的镜像,速度快。

使用这个镜像需要关闭代理,我自己试过开了代理会有网络错误。

更新于 阅读次数

请我喝[茶]~( ̄▽ ̄)~*

RunfarAI 微信支付

微信支付

RunfarAI alipay

alipay

RunfarAI paypal

paypal