SDT

SDT

生成可定制风格的在线和离线手写体

该项目提出了一种名为SDT的风格解缠变压器,可生成具有特定内容和风格的手写体。相较于现有的RNN方法,SDT能够区分书写者和字符的风格差异,提高模仿性能。此外,该项目还延伸至离线手写体生成,显著改进了中文离线手写体的生成质量。最近的更新包括发布教程和代码,支持用户自定义手写体风格合成,新方法One-DM也已被ECCV 2024接收。

SDT手写生成写作风格解耦在线中文手写CVPR 2023Github开源项目

SDT 项目介绍

简介

SDT项目全称为“手写生成的笔者和字体风格解耦”,致力于通过风格解耦的Transformer(SDT)模型生成具有条件内容和风格的在线手写字体。现有的基于RNN的方法通常着重于捕捉个人的整体书写风格,忽略了同一人所书写的不同字符之间细微的风格差异。SDT通过从单个手写样本中解构笔者风格和字符风格来提高模仿性能。此外,项目还拓展了SDT,引入了离线到离线的框架,以提升离线中文手写字体生成的质量。

新闻动态

  • [2024/07/01] 最新的手写文本生成方法One-DM被ECCV 2024接收。
  • [2024/01/07] 添加了合成用户定制风格手写字体的教程和代码。
  • [2023/12/15] 该项目被一位拥有270万粉丝的视频博主报道,并获得了近百万次观看。
  • [2023/10/10] 作者受邀在中国图像图形学会进行演讲。
  • [2023/06/14] 项目被“机器之心”报道。
  • [2023/04/12] 项目数据集、预训练模型以及训练和测试代码的首次发布。
  • [2023/02/28] SDT被CVPR 2023接收。

手写生成结果

  • 在线中文手写生成:包括生动的在线手写效果展示。
  • 不同文字应用:SDT不仅限于中文,还可以应用于其他语言的书写风格。
  • 离线中文手写生成扩展:在离线环境下增强中文书写生成质量。

系统需求

要运行SDT环境,需要Python 3.8版本,并使用Conda来创建和管理环境。用户必须安装项目所需的所有依赖关系。

文件夹结构

项目目录结构组织良好,分为训练、测试、模型评估等多个部分,每个部分都有相应的文件和说明。

SDT/
├── train.py - 启动训练的主脚本
├── test.py - 通过训练好的模型生成字符
├── evaluate.py - 评估生成的样本
└── 其他文件和文件夹用于数据加载、模型存储、配置管理等

数据集

SDT项目提供了中文、日文和英文数据集供用户下载并使用于手写字体生成的实验和研究。

预训练模型

项目提供了预训练内容编码器模型,用户可以下载并直接在模型库中使用,从而避免重新训练模型。

实验训练与测试

用户可以利用SDT训练脚本在不同语言的数据集上进行训练,同时也可以通过测试脚本生成和评估不同语言的手写字体,支持定性和定量分析。

实际应用

项目中开发者已提出将生成结果转换为TTF格式,并利用软件进行段落、行和字符间距的灵活调整,并展示了相关软件界面及打印结果。

引用

如果该项目对您的研究有帮助或您使用了相关代码库,请引用以下文献:

@inproceedings{dai2023disentangling,
  title={Disentangling Writer and Character Styles for Handwriting Generation},
  author={Dai, Gang and Zhang, Yifan and Wang, Qingfeng and Du, Qing and Yu, Zhuliang and Liu, Zhuoman and Huang, Shuangping},
  booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition,
  pages={5977--5986},
  year={2023}}

SDT项目为用户提供了一套强大的工具,能够生成高度真实的手写字体,并且在字体风格和字符风格上都体现了极高的灵活性和定制化。

编辑推荐精选

Vora

Vora

免费创建高清无水印Sora视频

Vora是一个免费创建高清无水印Sora视频的AI工具

Refly.AI

Refly.AI

最适合小白的AI自动化工作流平台

无需编码,轻松生成可复用、可变现的AI自动化工作流

酷表ChatExcel

酷表ChatExcel

大模型驱动的Excel数据处理工具

基于大模型交互的表格处理系统,允许用户通过对话方式完成数据整理和可视化分析。系统采用机器学习算法解析用户指令,自动执行排序、公式计算和数据透视等操作,支持多种文件格式导入导出。数据处理响应速度保持在0.8秒以内,支持超过100万行数据的即时分析。

AI工具酷表ChatExcelAI智能客服AI营销产品使用教程
TRAE编程

TRAE编程

AI辅助编程,代码自动修复

Trae是一种自适应的集成开发环境(IDE),通过自动化和多元协作改变开发流程。利用Trae,团队能够更快速、精确地编写和部署代码,从而提高编程效率和项目交付速度。Trae具备上下文感知和代码自动完成功能,是提升开发效率的理想工具。

AI工具TraeAI IDE协作生产力转型热门
AIWritePaper论文写作

AIWritePaper论文写作

AI论文写作指导平台

AIWritePaper论文写作是一站式AI论文写作辅助工具,简化了选题、文献检索至论文撰写的整个过程。通过简单设定,平台可快速生成高质量论文大纲和全文,配合图表、参考文献等一应俱全,同时提供开题报告和答辩PPT等增值服务,保障数据安全,有效提升写作效率和论文质量。

AI辅助写作AI工具AI论文工具论文写作智能生成大纲数据安全AI助手热门
博思AIPPT

博思AIPPT

AI一键生成PPT,就用博思AIPPT!

博思AIPPT,新一代的AI生成PPT平台,支持智能生成PPT、AI美化PPT、文本&链接生成PPT、导入Word/PDF/Markdown文档生成PPT等,内置海量精美PPT模板,涵盖商务、教育、科技等不同风格,同时针对每个页面提供多种版式,一键自适应切换,完美适配各种办公场景。

AI办公办公工具AI工具博思AIPPTAI生成PPT智能排版海量精品模板AI创作热门
潮际好麦

潮际好麦

AI赋能电商视觉革命,一站式智能商拍平台

潮际好麦深耕服装行业,是国内AI试衣效果最好的软件。使用先进AIGC能力为电商卖家批量提供优质的、低成本的商拍图。合作品牌有Shein、Lazada、安踏、百丽等65个国内外头部品牌,以及国内10万+淘宝、天猫、京东等主流平台的品牌商家,为卖家节省将近85%的出图成本,提升约3倍出图效率,让品牌能够快速上架。

iTerms

iTerms

企业专属的AI法律顾问

iTerms是法大大集团旗下法律子品牌,基于最先进的大语言模型(LLM)、专业的法律知识库和强大的智能体架构,帮助企业扫清合规障碍,筑牢风控防线,成为您企业专属的AI法律顾问。

SimilarWeb流量提升

SimilarWeb流量提升

稳定高效的流量提升解决方案,助力品牌曝光

稳定高效的流量提升解决方案,助力品牌曝光

Sora2视频免费生成

Sora2视频免费生成

最新版Sora2模型免费使用,一键生成无水印视频

最新版Sora2模型免费使用,一键生成无水印视频

下拉加载更多