news 2026/4/16 14:18:11

zi2zi:带有条件对抗网络的中国书法大师

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
zi2zi:带有条件对抗网络的中国书法大师

原生 pix2pix 无法处理 同一字符对应多种字体风格的一对多问题,zi2zi 通过类别嵌入(Category Embedding)解决该问题

zi2zi 的网络流程是基于 pix2pix 的 U-Net 生成器与 PatchGAN 判别器构建的端到端 CJK 字体条件图像翻译流程,融合 AC-GAN 和 DTN 核心设计,整体分训练与推理两个阶段,且适配预训练大模型 + 单风格微调的两步训练策略;训练时生成器先接收宋体字符图像(字符身份条件)与高斯风格嵌入 + 风格类别标识(风格条件)的双条件输入,经编码器下采样提取 CJK 字符通用结构嵌入,再将该嵌入与风格嵌入通道拼接,解码器借助 U-Net 跳跃连接上采样融合特征生成目标风格字符假图,随后判别器对生成假图和对应真实目标风格图做 PatchGAN 局部真假判断与风格分类的双任务输出,再据此计算 GAN 真假、AC-GAN 类别、L1 像素、DTN 常数四类核心损失并加权求和,通过反向传播实现生成器与判别器的对抗参数更新,其中预训练阶段更新生成器编码器 + 解码器与判别器,微调阶段冻结编码器仅更新解码器和判别器,多轮迭代至收敛后,推理阶段则舍弃判别器,仅用训练完成的生成器,输入宋体字符图像与指定风格嵌入,即可完成端到端的字体风格迁移,输出目标风格字符图像。

注意:

  • 风格条件 1:风格类别标识 c(独热编码,如第 3 种字体风格为 [0,0,1,0,...]),代表「要生成的字体风格是哪一种」;
  • 风格条件 2:高斯风格嵌入 z(随机生成的不可训练高斯噪声,维度固定),是 zi2zi 解决「同一字符对应多种风格」的核心设计,通过噪声表征不同风格的细微特征,与风格类别标识一一对应。
  • 损失函数:GAN 真假损失——判别器的真假概率,类别损失——目标风格是否正确,L1 像素损失——像素损失(这个不用编码器提取特征,检查图片二进制编码的差异),常数损失——生成器编码器对 X 和 G (X,z,c) 的嵌入向量差值,可选 TV 损失 L_tv——生成假图的像素梯度(优化图像平滑度(项目中对书法体无效,默认关闭))
版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/4/15 18:16:39

SDXL风格图片生成实战:FLUX.1文生图操作手册

SDXL风格图片生成实战:FLUX.1文生图操作手册 想用AI画出专业水准的图片,但总觉得生成的画面要么太普通,要么风格不对味?今天,我们来聊聊一个能让你轻松驾驭多种艺术风格的“神器”——FLUX.1模型,特别是它…

作者头像 李华
网站建设 2026/4/15 8:53:31

RMBG-2.0在电商中的应用:商品主图快速处理技巧

RMBG-2.0在电商中的应用:商品主图快速处理技巧 1. 为什么电商团队需要RMBG-2.0 你有没有遇到过这样的情况:运营同事凌晨三点发来消息,“明天大促要用的50张新品图,背景太杂乱,设计师排期满了,能帮忙处理下…

作者头像 李华
网站建设 2026/4/16 12:55:51

STM32Cube开发体系:从HAL抽象到硬件约束的工程实践

1. STM32Cube开发体系的工程定位与技术演进在嵌入式系统工程实践中,开发工具链的选择从来不是孤立的技术决策,而是直接影响项目周期、可维护性、团队协作效率乃至长期技术债务的关键因素。STM32Cube生态系统并非凭空出现的“新玩具”,而是STM…

作者头像 李华
网站建设 2026/4/16 14:01:43

幻镜NEURAL MASK创意工作流:与Figma/After Effects联动Mask生成方案

幻镜NEURAL MASK创意工作流:与Figma/After Effects联动Mask生成方案 传统的抠图工具,一遇到发丝、透明物体或者复杂光影,是不是就让你头疼不已?手动一点点擦,不仅效率低,效果还常常不自然。 今天要介绍的…

作者头像 李华
网站建设 2026/4/16 13:55:51

yz-女生-角色扮演-造相Z-Turbo实测:如何用文字描述生成精美角色图

yz-女生-角色扮演-造相Z-Turbo实测:如何用文字描述生成精美角色图 你有没有试过,只用几句话就让一个鲜活的角色从脑海跃然纸上?不是靠画师一笔一划勾勒,而是输入一段文字,几秒后,一张细节丰富、风格统一、…

作者头像 李华
网站建设 2026/4/15 9:22:41

【书生·浦语】internlm2-chat-1.8b部署教程:Docker Compose编排最佳实践

【书生浦语】internlm2-chat-1.8b部署教程:Docker Compose编排最佳实践 想快速体验一个功能强大、响应迅速的开源对话模型吗?今天,我们就来手把手教你如何用最简单、最专业的方式,部署书生浦语最新推出的轻量级对话模型——Inter…

作者头像 李华