HuggingFaceModelDownloader

项目介绍：HuggingFace Model Downloader

项目概述

HuggingFace Model Downloader 是一个用于从 HuggingFace 网站下载模型和数据集的实用工具。它提供多线程下载支持，特别针对大文件使用 Git Large File Storage（LFS），并通过 SHA256 校验验证下载模型的完整性。

项目起因

开发者制作这个工具的初衷是因为在使用 Git LFS 下载文件时速度较慢，同时市场上也没有一个好用的二进制工具来轻松下载 HuggingFace 的模型。未来，这个工具还可能被整合在使用 Go/Python 组合进行推理的项目中，从而提供更便捷的操作体验。

快速安装

HuggingFace Model Downloader 支持在 Linux、Mac 以及 Windows 的 WSL2 环境中一键安装。使用以下命令可以根据操作系统和架构下载合适版本，并将二进制文件保存为 “hfdownloader”：

bash <(curl -sSL https://g.bodaay.io/hfd) -h

如果需要安装到默认的操作系统bin文件夹，可以使用：

bash <(curl -sSL https://g.bodaay.io/hfd) -i

支持指定安装路径，示例如下：

bash <(curl -sSL https://g.bodaay.io/hfd) -i -p ~/.local/bin/

下载和运行实例

工具提供各种下载模型的示例命令，用户可以根据需求进行选择。这里是一些简单的用例：

• 下载模型 TheBloke/orca_mini_7B-GPTQ

  bash <(curl -sSL https://g.bodaay.io/hfd) -m TheBloke/orca_mini_7B-GPTQ

• 下载指定变体的 Vicuna 模型，并按需筛选下载：

  bash <(curl -sSL https://g.bodaay.io/hfd) -m TheBloke/vicuna-13b-v1.3.0-GGML:q4_0

功能标志

HuggingFace Model Downloader 提供多种命令标志支持，用户可以根据自身需要灵活使用：

• -m, --model string：指定模型或数据集名称。
• -d, --dataset string：指定数据集名称。
• -f, --appendFilterFolder bool：在文件夹中附加筛选名称。
• -k, --skipSHA bool：跳过 SHA256 检查。
• -s, --storage string：指定存储路径。
• -c, --concurrent int：设置并发连接数。
• 以下省略部分其他标志，完整列表请参考使用文档。

功能特色

HuggingFace Model Downloader 具有以下显著功能：

• 能递归下载模型文件。
• 支持大文件的多线程下载。
• 可以筛选特定的 LFS 模型文件。
• 提供简单易用的命令行工具或单一二进制执行。
• 下载模型的 SHA256 校验。
• 支持中断下载的恢复。
• 支持 HuggingFace 的访问令牌，以下载受限的模型/数据集。
• 提供配置文件支持，可以通过生成配置命令创建默认配置文件。

配置文件支持

用户可以在 ~/.config/hfdownloader.json 创建配置文件，设置所有命令标志的默认值，并通过命令 hfdownloader generate-config 来生成示例配置文件。

HuggingFace Model Downloader 是一个强大的工具，帮助用户轻松高效地管理从 HuggingFace 下载的模型和数据集。无论是作为个人项目工具还是更大项目的一部分，它都展现了灵活性和强大性能。