api-inference-community

这些仓库使得集成了huggingface_hub的第三方库能够创建自己的docker镜像，以便hub上的小部件能够像transformers一样工作。

目前运行API所需的硬件将由Hugging Face提供。

docker_images/common文件夹旨在为所有希望集成的新库提供一个起点。

为新库添加新容器

将docker_images/common文件夹复制到以你的库名命名的文件夹中，如docker_images/example。
编辑以下文件：
- docker_images/example/requirements.txt
- docker_images/example/app/main.py
- docker_images/example/app/pipelines/{task_name}.py
以实现所需功能。所有需要实现的代码都标有IMPLEMENT_THIS标记。
删除：
- docker_images/example/app/pipelines/中未使用的任何pipeline文件。
- docker_images/example/tests中与已删除pipeline相关的任何测试。
- 从docker_images/example/app/pipelines/__init__.py中删除你已删除的pipeline的任何导入。
根据你的库的需求自由定制任何内容。唯一的真正要求是，对于所有支持的任务，以与common文件夹相同的方式遵守HTTP端点。
编辑example/tests/test_api.py以添加TESTABLE_MODELS。
通过测试套件：pytest -sv --rootdir docker_images/example/ docker_images/example/
提交你的PR并享受成果！

深入完善

完成前7个步骤足以开始，但在此过程中你可以提前预测并解决一些问题。如果你对自己完成这些步骤没有信心，维护人员会在过程中为你提供帮助。

在docker中测试你的创建

./manage.py docker MY_MODEL

应该能正常工作并在8000端口响应。例如，如果pipeline处理简单文本，可以使用curl -X POST -d "test" http://localhost:8000进行测试。

如果无法立即运行，或者docker运行速度较慢，你可以使用本地Python环境进行本地测试：

./manage.py start MY_MODEL

测试你的docker是否正确使用缓存。

使用相同的model_id多次启动docker时，docker应该能很快启动，而不是重新下载整个模型文件。如果你看到模型/仓库被反复下载，说明缓存没有被正确使用。你可以编辑docker_images/{framework}/Dockerfile并添加一个环境变量（默认假设为HUGGINGFACE_HUB_CACHE），或直接在代码中将模型文件放在/data文件夹中。

添加docker测试。

编辑tests/test_dockers.py文件，为你的新框架添加一个新的测试（例如def test_{framework}(self):）。基本上，这个测试函数中应该为每个任务都有一行，使用hub上真实可用的模型。这些测试相对较慢，但会自动检查你的API是否返回正确的错误，以及缓存是否正常工作。要运行这些测试，只需执行：

RUN_DOCKER_TESTS=1 pytest -sv tests/test_dockers.py::DockerImageTests::test_{framework}

修改`api-inference-community/{routes,validation,..}.py`中的文件

如果你发现api-inference-community/包中存在bug或想要更新它，开发过程会稍微复杂一些。

首先，确保你确实需要更改这个包。每个框架都非常独立，所以如果你的代码可以独立运行，那么选择这种方式会更简单。
如果你可以只在api-inference-community中进行更改而不依赖它，这也是一个很好的选择。确保为你的PR添加适当的测试。
最后，最好的方法是使用manage.py命令进行本地开发：
首先在api-inference-community中进行必要的修改。
在本地环境中使用pip install -e .安装它。
在本地安装你的包依赖。
本地运行你的web服务器：./manage.py start --framework example --task audio-source-separation --model-id MY_MODEL
当一切正常工作时，你需要将你的PR分成两部分，一部分用于api-inference-community。第二部分将用于你的包特定的修改，只有在api-inference-community标签落地后才会合并。
这个工作流程仍在完善中，如有疑问请随时向维护人员咨询。