AIGC联动Stable Diffusion：写实白模秒转风格化贴图全流程

做3D角色这些年，我最大的感受是：建模本身不磨人，磨人的是手绘贴图。你拓扑一个写实度还不错的白模，几天就能搞定，但要在PBR贴图上手绘出一套干净、风格化、有质感的颜色和光影，时间完全不可控。尤其是碰到“绝区零”这种霓虹机能赛博风——高饱和撞色、硬边光影、金属件、发光条、涂鸦贴花，谁画谁知道，工作量大到什么程度。

后面我换了一套思路：白模不动，用AIGC联动来重做贴图。写实白模直接交给Stable Diffusion生成风格化贴图，再用ControlNet锁住结构、LoRA锁住风格，最后在Substance Painter里做通道整理和接缝修复。实测下来，一个角色的贴图周期从3~5天被压缩到小半天，而且风格完成度比我自己手绘还高。这整条链路我已经跑了十几次，稳定、可复现、能落到实际项目里。这篇文章就把完整流程拆开讲，适合正在做风格化角色、或者想在角色量产管线里引入AI的朋友参考。

1. 先搞清楚：手绘贴图是怎么变成“地狱”的，以及AIGC凭什么能解围

1.1 手绘贴图的三大痛点：时间、一致性、风格落地

先说时间。一个完整角色，包括脸部、头发、衣服、各种配饰，再算上布料纹理、磨损、涂鸦，手绘一张2048甚至4096的Color贴图，少说也要3天。这3天不是那种“摸鱼划水”的3天，是每天对着PS笔刷拉曲线、叠图层、反复转模型视角检查效果的3天。而且贴图这东西有一个特点，画的时候很爽，等贴到模型上发现光影方向错了、接缝没对上，你就得返回去改，一改又是一两个小时。

第二个痛点是“画了但画不对”。风格化角色需要的是二次元光影语言：硬边明暗、渐变高光、结构线、赛璐璐式遮罩。这种画法在贴图上非常容易翻车，因为贴图是平面的，你在平面上画了一条笔直的硬边高光，贴到模型上之后可能就糊成一片，跟旁边的暗部衔接不上。要调整的话，又得回到SP里反复刷，很费精力。

第三个痛点是多角色一致性。一个角色组里好几个角色要统一风格，手绘的情况下，你画角色A的时候状态好，赛博霓虹感拉满；画角色B的时候状态差，配色和光影语言完全飘了。最后验收的时候你发现两个角色放在一起根本不像同一个世界的，而美术总监只会说六个字：“感觉不太统一。”

1.2 AIGC的定位不是“自动画”，是“风格约束下的自动重绘”

AIGC进场之后，我觉得最核心的变化不是“AI帮你画图”，而是把问题从“手绘像素”变成了“设计控制条件”。白模可以提供结构，ID图可以提供材质分区，LoRA可以提供风格语言，ControlNet可以保证结构不走样。你作为艺术家，要做的是把“绝区零风”这种风格描述翻译成一组AI能看懂的控制信号，再对生成结果做整理和修复。

写实白模之所以能“秒转”二次元风，不是因为AI凭空造出了新结构，而是它把贴图平面上的光影语言，从写实语言切换成了二次元语言。本质上，这是一个“重绘贴图光影和材质”的任务，而不是“重塑模型结构”的任务。明白这点之后，整套流程的逻辑就通了。

2. 整体工作流设计：为什么这条链路能写成一条可复制的方法论

2.1 四步链路：白模准备、ID图、AIGC生成、回贴后处理

我用的完整链路分四步。第一步，白模准备和UV布局，这一步直接决定AI能不能“听懂”你的模型结构；第二步，制作ID图，也就是材质分区图，告诉AI哪块是皮肤、哪块是金属、哪块是发光件；第三步，用Stable Diffusion生成风格化贴图，这条路径我做了两个版本，一个走展开图直出，一个走多角度投影；第四步，回贴后处理，包括接缝修复、PBR通道补齐、自发光绘制。

这个顺序不是随便排的，每一步都卡着上一步的输出。比如UV如果拆得乱，ID图就不可能干净；ID图不干净，AI生成时材质区域就会混在一起。所以如果你想复用这套流程，我建议老老实实去验证每一步，而不是上来就想着全自动跑一条龙。AI目前真的没法一步到位给你出全套PBR贴图，它出的是“半成品”，剩下的一半靠你的美术功底补完。

2.2 工具链选型：为什么是SD+ControlNet+LoRA，而不是在线AI贴图工具

市面上有一些专门做AI生成3D贴图的在线平台，比如Meshy、Tripo3D这一类的，输入一个模型，它帮你生成贴图，几分钟出结果。这类工具的优势是快，但劣势也很明显：风格控制弱、分辨率上限低、你没办法微调。如果你的目标只是“随便有个颜色贴图看看效果”，那它们够用；但如果你想做“绝区零”这种非常明确的风格化角色，并且要控制到配色、发光条、机能护具这些具体的细节，就必须用Stable Diffusion自己做局部的图生图，配合ControlNet和LoRA。

ControlNet的价值在于“锁结构”。纯文生图或者普通图生图，AI很容易把结构改乱，你给它一张白模渲染图，它可能给你画出一个不同姿势的人。加上ControlNet的Lineart或者Canny之后，轮廓基本被锁死，AI只能在轮廓内填颜色和材质，这就稳多了。LoRA负责“风格记忆”，你可以用几十张该风格的角色图训练一个LoRA，也可以在社区直接下载赛博朋克、机能风、二次元风格的现成模型。LoRA权重设在0.6~0.8左右，AI生成的颜色、光影、材质规律就会明显偏向这个风格。

2.3 需要准备的工具清单

我把我这边实际用到的工具列一下，不用全部一样，但功能上要能对应的上：

3. 实操全过程：一个写实白模怎么变成“绝区零”风赛博二次元角色

3.1 从白模到AIGC友好的UV：第一步就决定成败

很多朋友第一次试AI贴图就翻车，问题往往不是出在AI生成，而是出在UV。AIGC不懂“这块UV是袖子、那块是领子”这种语义，它只能看到色块和线条。所以你的UV要尽量满足三个条件：一是岛屿尽量方正，方向统一，避免极度扭曲；二是岛屿密度均匀，脸部可以多分一点，但整体不能乱；三是把各个部位拆清楚，不要有大量重叠和镜像共用的UV。

这里有个重点：传统手绘贴图经常用镜像UV，一个左臂的UV和右臂共用，省空间，手绘也方便。但AI看到镜像之后会非常困惑，它生成的内容容易变成“左右一样但细节乱七八糟”的状态。所以做AI贴图流程，我建议尽量不镜像，或者至少保证ID图能区分左右。

UV尺寸方面，上半身角色建议2048x2048起步，全身角色建议4096。如果你用的是2048，AI生成的布纹、涂鸦、发光条细节很容易糊成一团。分辨率不足是后面很多问题的根源，这一步别省。

3.2 ID图就是AI的“材质地图”，这块做细了后面全是顺风局

ID图简单说就是给每个部件涂上不同的纯色。红色等于衣服，蓝色等于皮肤，绿色等于头发，黄色等于金属，紫色等于发光件。AI在生成的时候，会把不同色块当成不同区域分别处理材质。这个步骤在Substance Painter里十分钟就能做出来：用快速遮罩或者按颜色选择，给每个材质组填充一个纯色，然后导出Color ID贴图。

ID图的颜色选择有一个很关键的原则：色块之间的颜色要尽量拉大差距，用那种纯R=255、G=0、B=0的红色，或者纯G=255、B=0、A=0的绿色，千万别用两个浅色系。我自己第一次做ID图的时候就踩过坑，衣服用了浅红，皮肤用了浅橙，结果SD的ControlNet Segmentation模型区分不出来，生成的贴图衣服和皮肤颜色互相污染，后来改成高饱和度纯色才正常。

在SD里，ID图有两种用法。一种是把ID图作为ControlNet的Segmentation输入，让AI按语义分割来理解区域；另一种是把ID图作为img2img的参考图，用较低的权重叠加。我实测下来，如果用的是标准SD1.5生态的segmentation模型，效果一般，因为它的标签库是COCO那套，对“机能护具”“发光条”这种游戏美术词汇理解有限。更稳的办法是把ID图作为图生图的辅助输入，配合Prompt告诉AI各个区域画什么。

3.3 路线A：直接在UV展开图上生成贴图，追求效率就选它

如果你想要“秒转”的效果，路线A是最合适的。操作流程是这样的：

1. 在Blender里把白模的UV展开图渲染出来，背景纯白或纯黑。
2. 把UV图和ID图一起导入SD的img2img，分辨率设成和贴图一致（2048或4096）。
3. 如果显存不够，把2048切成四块1024的图，分块生成，最后在PS里拼回2048。
4. Prompt写清楚人物描述、服装、配色、材质关键词，再加上LoRA触发词。
5. Denoising强度控制在0.55~0.7之间，太低风格变化不明显，太高结构会崩。
6. 配合Tile ControlNet，防止放大后细节丢失。

这条路线最大的问题，是AI完全不会理解UV边界。它不知道“这里是一条UV岛的分界线”，它只知道这里是画面的边缘，所以生成结果经常出现“跨岛连色”或者“边界断裂”的现象。处理方法不一定是要全盘重画，而是把AI生成的这张图作为“颜色底图”，到SP里把每个区域用程序化纹理或者手绘重新润色一遍。整体配色和风格是AI定好的，你做的是翻译和修复，工作量比从零手绘小得多。

3.4 路线B：多角度生成+投影回贴，追求稳就选它

如果你想把这套流程真正用在项目里，我强烈建议走路线B。流程是：

1. 用正交相机给白模拍8张角度图，正面、背面、左右侧面、四分之三角度，够了的话加俯视和仰视。
2. 渲染时统一灯光，我一般用一套硬光方向光加一个填充光，背景纯色，开AO。
3. 把这8张图放进SD的batch img2img，用ControlNet Lineart或Depth锁住轮廓和纵深，用LoRA控制风格。
4. 生成出来的8张风格化角度图，回到Blender或者SP里，用投影贴图的方式投射回模型表面，再烘焙到UV上。

这里有个很大的坑：8张图如果不能保持角色细节的一致性，就很麻烦。我的经验是，所有生成图必须放到同一个batch里跑，并且保持seed固定、prompt固定、ControlNet参数固定，这样出来的风格一致性好很多。如果你单独一张一张跑，AI每次都可能给你不同款式的夹克和不同形状的发光条，最后投影回模型时就会“精神分裂”。

投影回贴之后，多角度之间一般会有重叠区和色差，这时候SP里的图层蒙版和模糊笔刷就能派上用场。你可以把每个角度的投影放在独立图层，用蒙版控制过渡，把颜色差异抹匀。这个过程会比较细碎，但做完一次之后，你得到的是一个接缝少、风格稳、直接能进引擎看效果的角色。

3.5 回贴后的PBR通道整理：不要只盯着Color贴图

AI生成出来的东西，本质上是“看起来像Color贴图”的图像，它没有法线、没有粗糙度、没有自发光。而这些通道对“绝区零”风的表现力来说是决定性的。

Normal法线我建议优先从高模烘焙。如果你的角色本来就是中模适配，那就用SP根据灰度生成一个基础法线，再把细节法线叠上去。流程比较快。

Roughness粗糙度可以在SP里用“颜色转灰度”的方式，把AI贴图里的亮部和高光区域转换成低粗糙度（更光滑），把暗部和阴影区域转换成高粗糙度（更粗糙）。然后，针对皮肤和金属做手动调整。金属件、发光件需要更低粗糙度，布料、皮革需要更高粗糙度。

Emissive自发光是“绝区零”风的核心。霓虹感全靠这个通道撑起来。在SP里用笔刷或者按ID图选中发光区域，把发光条、灯带、瞳孔、logo刷成白色或者带颜色的自发光。这里的审美判断没法靠AI帮你完成，得自己一点一点调。

AO环境光遮蔽直接烘焙白模就行，几乎不用改。

4. 实战中踩过的坑与排查方法：每个问题基本都有解

4.1 接缝错位和颜色断裂：AI不认UV边界怎么办

这条基本都会遇到，不用慌。AI生成的贴图在回到模型上之后，接缝处颜色断裂、纹理错位是常态。我的处理顺序是：

先看断裂是“色差型”还是“结构型”。色差型比较好修，在SP里用克隆工具和涂抹笔刷，把接缝两边的颜色互相抄一抄，几分钟搞定。结构型就麻烦一点，比如一块布纹突然断了、涂鸦图案被切了一半，这种需要局部重绘或者用PS的“内容感知填充”修补。

还有个偷懒技巧：在PS里把AI生成的整张贴图做1~2个像素的“内容感知填充”处理，然后稍微模糊一下接缝线，再把锐度拉回来。这个操作对缩小接缝的视觉断裂非常有效，之后进SP细化补漏就行。

4.2 风格漂移和脸型不一致：怎么保证多视角生成的人还是同一个人

多角度生成的时候，最容易出现的问题就是脸。每张图的脸单独看都挺好看，放在一起完全是五个人。要解决这个问题，有一个比较实用的思路：把人脸区域单独处理，不要和身体混在一起生成。

具体操作是，先固定一个正面脸的生成结果，然后把它作为参考图放进所有其他角度生成的Prompt区域。如果你用ComfyUI，可以用IP-Adapter把正面脸作为参考特征，这样其他角度的脸会保持高度一致。如果只是用A1111，那至少要固定seed，并且在Prompt里写清楚五官特征。

如果是要做特定角色，最稳的办法是训练一个角色LoRA。用这个角色的全身图、脸部特写、不同角度图大约30到50张训练一个小LoRA，生成时权重设0.7左右，脸型基本能锁住。这一招在很多游戏美术交流群已经被验证过很多次了。

4.3 结构走样和AI脑补过头：把“自由发挥”的闸门关小

AI生成贴图时很爱“脑补”：把白模上的夹克画成裙子，把护具画成轮胎，把短靴画成袜套，这种离谱情况我见得太多了。出现这种问题的原因，往往是denoising太高，或者ControlNet权重太低。

我的经验是：当AI开始乱画结构时，先把denoising降到0.5以下，同时把ControlNet权重提到0.8以上。如果还是乱，就换Depth ControlNet，让AI知道模型表面哪些地方是凹的、哪些是凸的。结构走样往往是AI对三维空间理解不足，Depth图能给它足够的空间信息。

另外，Prompt里少写那些“无中生有”的装备词。你要做的是“给白模换皮肤和颜色”，不是“让AI设计角色的装备”。结构本来就是模型给你的，AI的任务是在你给的框架里填充材质和光影，而不是加东西。

4.4 法线、粗糙度、自发光通道怎么补齐

这个问题本质上是“AI生成图如何转成PBR通道”。我的做法是分工明确：法线尽可能从高模烘焙，或者在SP里用灰度生成；粗糙度用“颜色转灰度”加区域调整；自发光直接在SP里按ID图手刷。

如果你希望法线上保留一部分AI生成的材质细节，比如布纹、皮纹，可以在SP里用“Bitmap to Height”节点，把AI贴图转成高度图，再叠到基础法线上。这个功能试过很多次，细节量比纯手绘高，而且很自然。

还有一个小经验：AI生成贴图的分辨率如果只有2048，你强行拉4096，细节不会增加，反而会糊。想要4096的细节，需要生成时就按4096的瓦片跑，或者用Tile ControlNet做分块放大。别在PS里无脑放大，没用。

5. 效率数据与这套流程的适用边界

5.1 一次真实项目的时间记录

拿最近做的一个写实白模角色来算笔账，角色是短夹克加机能护具加霓虹配饰。UV拆解和ID图制作大约花了2小时；生成贴图阶段，跑了8个角度图加上一张UV展开图修正，反复试参数花了4小时；SP回贴和通道整理花了3小时；最后画发光和涂鸦细节花了1小时。总时长约10小时。这个角色如果走全手绘，我评估自己至少要4天才能达到类似的完成度。

如果是路线A的简化流程，只跑UV展开图直出加简单修复，3到4小时就能出一个可以看demo的效果。不过只适合前期概念验证，进不了项目。路线B的10小时看起来很慢，但只要你把流程模板固定下来，后面的角色全部是批量操作，第二个、第三个角色用不了这么久。

5.2 适合与不适合的场景

这套流程适合两类项目。第一类是风格化明显的二次元或卡通项目，需要大量角色且风格统一，这正是米哈游系风格项目会遇到的典型需求。第二类是快速产出概念验证、风格demo的个人创作者和小团队，你不需要等一个完整的手绘贴图周期，就能看到一个“风格化后的角色大概长什么样”。

它不太适合纯写实PBR项目，因为AI生成的贴图很难直接满足写实项目对材质物理准确性的严苛要求。也不太适合需要极高个性化手绘笔触的项目。AI生成的东西天然是“风格的平均化”，如果没有后期加工，作品会缺少人的味道。

最后聊一点我自己的体会。这套流程真正改变我的，不是省了多少天，而是让我从“一张一张画贴图”变成了“定义一套风格规则，然后让AI在规则里干活”。你要懂的不是PS笔刷，而是调度：怎么用ID图告诉AI哪里是哪里，怎么用ControlNet握住结构，怎么用LoRA锁住风格。说白了，AI生成的是素材，你做的才是设计。

如果你准备试，我给的建议是先别贪快。第一个角色老老实实走一遍路线B，把每个环节打通：UV、ID图、角度渲染、SD参数、投影回贴、通道整理。跑通一次之后，你就能感受到什么叫模板化操作，那时候才算真正的“秒转”。希望这篇东西能帮你少踩几个坑，等你的作品出来了，欢迎回来交流。