🌀 ControlNeXt

📝 项目页面 | 📚 论文

ControlNeXt是我们用于可控生成的官方实现，支持图像和视频生成，并结合了多种形式的控制信息。在这个项目中，我们提出了一种新方法，与ControlNet相比，可将可训练参数减少高达90%，实现更快的收敛速度和卓越的效率。这种方法可以直接与其他LoRA技术结合，以改变风格并确保更稳定的生成。更多细节请参考示例。

本项目仍在迭代开发中。代码和模型可能随时更新。稍后将提供更多信息。

经验分享

我们在Issue中分享了更多训练经验。 我们花了大量时间找到这些经验。现在与大家分享。希望这些能对你有所帮助！

模型库

• ControlNeXt-SDXL [ 链接 ] : 可控图像生成。我们的模型基于Stable Diffusion XL 构建。可训练参数更少，收敛更快，效率更高，可与LoRA集成。

• ControlNeXt-SVD-v2 [ 链接 ] : 通过人体姿势序列控制生成视频。在v2版本中，我们实现了几项改进：更高质量的收集训练数据集，更大的训练和推理批次帧数，更高的生成分辨率，通过持续训练增强人类相关的视频生成，以及用于推理的姿势对齐以提高整体性能。

• ControlNeXt-SVD [ 链接 ] : 通过人体姿势序列控制生成视频。这可以看作是对AnimateAnyone实现的一次尝试。然而，我们的模型基于Stable Video Diffusion构建，采用了更简洁的架构。

• ControlNeXt-SD1.5 [ 链接 ] : 可控图像生成。我们的模型基于Stable Diffusion 1.5构建。可训练参数更少，收敛更快，效率更高，可与LoRA集成。

• ControlNeXt-SD3 [ 链接 ] : 敬请期待。

🎥 示例

更多示例请参考我们的项目页面。

ControlNeXt-SDXL

<p align="center"> <img src="https://yellow-cdn.veclightyear.com/835a84d5/db213f83-9a06-40a3-b969-82300b7c482d.jpg" width="80%" alt="demo1"> <img src="https://yellow-cdn.veclightyear.com/835a84d5/5e84c8ad-2f82-4210-bc89-cd6a85514d4b.jpg" width="80%" alt="demo2"> <img src="https://yellow-cdn.veclightyear.com/835a84d5/62fecbbb-d9a2-4c8c-90f1-947981d96c51.jpg" width="80%" alt="demo3"> <img src="https://yellow-cdn.veclightyear.com/835a84d5/8523150b-23c4-4762-81a0-816c07abdcce.jpg" width="80%" alt="demo5"> </p>

ControlNeXt-SVD-v2

如果无法加载视频，您也可以直接从这里和这里下载。 或者您可以在我们的项目页面或哔哩哔哩观看。

<table style="margin: 0 auto; border-collapse: collapse;"> <tr> <td width="40%" style="border: none;"> <video width="100%" height="auto" style="display: block; margin: 0px auto;" controls autoplay loop src="https://github.com/user-attachments/assets/9d45a00a-d3cd-48e1-aa78-1d3158bfd4f4" muted="false"></video> </td> <td width="40%" style="border: none;"> <video width="100%" height="auto" style="display: block; margin: 0px auto;" controls autoplay loop src="https://github.com/user-attachments/assets/1004960a-82de-4f0d-a329-ba676b8cbd0d" muted="false"></video> </td> </tr> <tr> <td width="40%" style="border: none;"> <video width="100%" height="auto" style="display: block; margin: 0px auto;" controls autoplay loop src="https://github.com/user-attachments/assets/7db1acd1-0c61-4855-91bb-e4e8f8989393" muted="false"></video> </td> <td width="40%" style="border: none;"> <video width="100%" height="auto" style="display: block; margin: 0px auto;" controls autoplay loop src="https://github.com/user-attachments/assets/0f32df53-1827-404d-806a-23e65d357504" muted="false"></video> </td> </tr> </table>

<video width="80%" height="auto" style="display: block; margin: 0px auto;" controls autoplay loop src="https://github.com/user-attachments/assets/c69b4f34-0851-4637-a9ef-fb91beed5666" muted="false"></video>

<video width="80%" height="auto" style="display: block; margin: 0px auto;" controls autoplay loop src="https://github.com/user-attachments/assets/32a4d24b-bc39-4ea9-9fd4-ed78b4eec116" muted="false"></video>

ControlNeXt-SVD

如果无法加载视频，您也可以直接从这里下载它们。

<video width="80%" height='auto' style="display: block; margin: 20px auto;" controls autoplay loop src="https://github.com/dvlab-research/ControlNeXt/assets/22709028/c0ec7591-2100-42d9-99dd-cc55c5fa006f" muted="false"></video>

<video width="80%" height='auto' style="display: block; margin: 20px auto;" controls autoplay loop src="https://github.com/dvlab-research/ControlNeXt/assets/22709028/5da1ba44-cb92-49c2-95f4-05b8e02ed6eb" muted="false"></video>

<table> <tr> <td width=50% style="border: none"> <video width="80%" height='auto' style="display: block; margin: 0px auto;" controls autoplay loop src="https://github.com/dvlab-research/ControlNeXt/assets/22709028/bc819ca7-81f3-4d63-901a-a1a4b4afc395" muted="false"></video> </td> <td width=50% style="border: none"> <video width="80%" height='auto' style="display: block; margin: 0px auto;" controls autoplay loop src="https://github.com/dvlab-research/ControlNeXt/assets/22709028/adc01423-fcec-467e-a7ab-87a6e1ef5f62" muted="false"></video> </td> </tr> </table>

ControlNeXt-SD1.5

<p align="center"> <img src="https://yellow-cdn.veclightyear.com/835a84d5/77650c86-43ce-495f-9f73-75bcefbd8f3a.jpg" width="90%" alt="DreamShaper"> </p> <p align="center"> <img src="https://yellow-cdn.veclightyear.com/835a84d5/221e9745-fa2e-4056-85f0-3312b08ca33d.jpg" width="90%" alt="Anythingv3"> </p> <p align="center"> <img src="https://yellow-cdn.veclightyear.com/835a84d5/988adaad-169f-4626-b3cf-0021b1a93b03.jpg" width="90%" alt="Anythingv3"> </p>