大神微调Stable Diffusion，打造奇特宝物新世界

liukang20241天前吃瓜始末1176

来历：AI科技谈论

修改：桃子

【新智元导读】不再依靠提示库，输入恣意文本都可生成。

作为一个强壮、揭露且满足简略的模型，最近大火的 Stable Diffusion 在文本生成图画之外，给了咱们无限的创造可能性。

最近，来自 Lambda Labs 的机器学习研究员 Justin Pinkney 对该模型进行了微调，构建了一个奇特宝物生成器！

来看一些风趣的比方~

下图是输入姓名后生成的一些奇特宝物：戴珍珠耳环的少女、奥巴马、特朗普、鲍里斯·约翰逊、龙猫、Hello Kitty。

Lady Gaga、鲍里斯·约翰逊、普京、默克尔、特朗普、柏拉图：

耶稣基督：

除了现有的人物和公共人物，你还能够输入一个描绘来生成自己幻想的奇特宝物：骷髅祭司

你也能够输入自己的姓名或网名，生成归于自己的奇特宝物形象。这可太酷了，推特上的网友纷繁用自己的姓名打开创造，看看自己假如变成奇特宝物会是什么姿态。

图注：网友 Jo Barf Creepy 的奇特宝物形象

图注：网友 Elizabeth Holmes 的奇特宝物形象

图注：网友 Upbeatblue 的奇特宝物形象

图注：网友 Onion-sama 的奇特宝物形象

输入一些漫画人物的姓名也能够取得相匹配的奇特宝物：

而那些陪同人们幼年的奇特宝物在这个生成器中也有了新的样貌：皮卡丘、妙蛙种子、喷火龙、树才怪、路卡利欧、梦境。

奇特宝物生成器是怎么“生成”的

Pinkney 在推特上展现了这个奇特宝物生成器的练习进程。

传送门：https://github.com/LambdaLabsML/examples/tree/main/stable-diffusion-finetuning

他表明，Stable Diffusion 是一个很好的通用模型，但要取得特定风格的输出不是件简略的事，这一般需求做很多单调的作业，制造杂乱的文本提示库，或许你也能够偷闲只对图画生成模型进行微调。

Pinkney 在奇特宝物图画的数据集上对初始的 Stable Diffusion 进行了微调。

首先是构建一个数据集。数据集包括奇特宝物图画和对应的文本描绘，比方妙蛙种子被描绘成“一个红眼睛的绿色奇特宝物图画”，绿毛虫则被描绘为“一个长着红鼻子的绿黄两色玩具”。

图注：奇特宝物数据集

当然，这些描绘不是人工完结的，而是运用了神经网络来代庖，即图画描绘模型 BLIP。尽管这些描绘还不是非常完美，但也满足用了。

然后，他在 A6000 上只花费了几个小时对 AI 模型进行练习，让模型学习以奇特宝物的风格来生成图画，但将从前的常识保存一段时间，终究对数据集产生过拟合。

开端时，样本是正常图画的姿态，然后逐步取得奇特宝物的风格，跟着练习的持续，终究出现一个与原始提示不同的奇特宝物图画：

这是一种很简略的微调，但它运行得非常好。有了这样一个微调后的模型，不管你给它什么提示，它都会生成奇特宝物。所以不用再煞费苦心地想提示语了。

在创立奇特宝物时，你能够挑选输出多个：

图注：带翅膀的机械猫

Pinkney 表明，欢迎咱们用更杂乱的方法把这个模型专门地用在新领域。像这样的小工具便是 Stable Diffusion 这类 AI 模型开源优点的表现。

One more thing

这个模型在网上引起创造热潮后，Pinkney 又发布了一篇博客弥补了一些额定的作业细节。

他发现，令人惊奇的是，这个模型居然设法记住了初始 Stable Diffusion 的一些通用常识，而它只是在一个有限的数据集上练习了几千步。可是，对奇特宝物进行微调时，模型实际上很快就会开端过度拟合，假如只是以一种简略的方法从中采样，模型就会为新的提示生成胡说八道式的奇特宝物，也便是说，它现已灾祸性地遗忘了它所练习的原始数据）。可是 Stable Diffusion 在练习期间坚持模型的指数移动均匀 (EMA) 版别，一般用于推理。

因而，假如运用 EMA 权重，咱们实际上是在运用原始模型和微调模型的均匀值。事实证明，这关于生成奇特宝物而言是必不可少的。此外，你还能够经过直接将新模型与初始模型的权重进行均匀来微调作用，以操控生成奇特宝物的数量。微谐和对模型进行均匀的操作能够将原始内容与微调后的风格有用混合。

图注：左面是彻底微调的模型，右边是只微调注意力层的模型。

别的，你也能够冻住模型的不同部分来进行微调，比方上图是两种微调方法的生成作用，能够看到，只微调了注意力层的模型能够生成更正常的 Yoda，但并不太拿手制造奇特宝物。

参考资料：

https://www.justinpinkney.com/pokemon-generator/

本文经授权转载自微信大众号「AI科技谈论」（ID：aitechtalk）

告发/反应