ACG2vec

项目介绍：ACG2vec

概述

ACG2vec，全称为Anime Comics Games to vector，是一个致力于二次元领域深度学习的项目。该项目包含一系列为日漫内容开发的模型和工具，力求通过技术手段提升二次元内容的搜索、推荐及分析能力。目前，ACG2vec项目涵盖文本搜索、以图搜图、文本搜图、图片评分预测等多个功能。

项目功能与模块

模型模块

1. acgvoc2vec

   • 利用从各大二次元平台获取的数据对模型进行微调，生成与二次元相关的文本特征向量，可用于标签推荐和搜索等应用。

2. dclip

   • 使用Danbooru2021数据集对CLIP模型进行微调，增强对二次元图像的识别和理解。

3. pix2score

   • 基于ResNet101的多任务模型，可预测插图的收藏数、浏览数及情色级别。

4. illust2vec

   • 使用DeepDanbooru模型并做适当调整以提取图像的语义特征。

5. real-cugan_tf

   • 动漫超分辨率模型的Tensorflow实现，可以在浏览器上进行图像的放大。

6. recSys4Pix

   • 探索并实现最简化的现代推荐系统。

Web服务模块

提供了开箱即用的二次元插画标签预测服务、以图搜图服务、插画特征抽取服务以及文本特征抽取服务。

Docker模块

支持基于容器化的部署方案，使得系统更易扩展和部署（功能正在完善中）。

主要技术架构

• Tensorflow 2.0 作为模型训练的核心引擎。
• Spring Boot 提供了强大的后台服务支持。
• TF-serving 用于部署和前向推理。
• Milvus 用于实现高效的向量检索。
• Docker-compose 支持跨平台的容器化部署。
• Tendis 负责存储元数据。

部署与使用

通过Docker-compose可以轻松部署ACG2vec。提供的RESTful API可以应用于各种图像处理与文本特征提取任务，适合开发者集成到自己的应用中。

致谢

ACG2vec项目建立在众多开源项目的基础上，特别感谢以下项目提供的支持与灵感：

• DeepDanbooru
• sentence-transformers
• Milvus
• TensorFlow
• Keras
• Spring Boot
• SeaweedFS
• TF-serving
• Tendis
• Docker

通过这些开源项目的支持，ACG2vec得以实现其目标，为二次元内容的分析和处理提供有力工具。项目期待您的关注与支持！🌟🌟🌟