大神微调Stable Diffusion,打造奇特宝物新世界

liukang20242个月前吃瓜始末1245
来历:AI科技谈论
修改:桃子

【新智元导读】不再依靠提示库,输入恣意文本都可生成。

作为一个强壮、揭露且满足简略的模型,最近大火的 Stable Diffusion 在文本生成图画之外,给了咱们无限的创造可能性。

简洁的大神微调Stable Diffusion,打造神奇宝贝新世界的插图

最近,来自 Lambda Labs 的机器学习研究员 Justin Pinkney 对该模型进行了微调,构建了一个奇特宝物生成器!

来看一些风趣的比方~

下图是输入姓名后生成的一些奇特宝物:戴珍珠耳环的少女、奥巴马、特朗普、鲍里斯·约翰逊、龙猫、Hello Kitty。

Lady Gaga、鲍里斯·约翰逊、普京、默克尔、特朗普、柏拉图:

耶稣基督:

除了现有的人物和公共人物,你还能够输入一个描绘来生成自己幻想的奇特宝物:骷髅祭司

真实的大神微调Stable Diffusion,打造神奇宝贝新世界的插图

你也能够输入自己的姓名或网名,生成归于自己的奇特宝物形象。这可太酷了,推特上的网友纷繁用自己的姓名打开创造,看看自己假如变成奇特宝物会是什么姿态。

图注:网友 Jo Barf Creepy 的奇特宝物形象

图注:网友 Elizabeth Holmes 的奇特宝物形象

图注:网友 Upbeatblue 的奇特宝物形象

图注:网友 Onion-sama 的奇特宝物形象

输入一些漫画人物的姓名也能够取得相匹配的奇特宝物:

细腻的大神微调Stable Diffusion,打造神奇宝贝新世界的照片

而那些陪同人们幼年的奇特宝物在这个生成器中也有了新的样貌:皮卡丘、妙蛙种子、喷火龙、树才怪、路卡利欧、梦境。

奇特宝物生成器是怎么“生成”的

Pinkney 在推特上展现了这个奇特宝物生成器的练习进程。
传送门:https://github.com/LambdaLabsML/examples/tree/main/stable-diffusion-finetuning
他表明,Stable Diffusion 是一个很好的通用模型,但要取得特定风格的输出不是件简略的事,这一般需求做很多单调的作业,制造杂乱的文本提示库,或许你也能够偷闲只对图画生成模型进行微调。
Pinkney 在奇特宝物图画的数据集上对初始的 Stable Diffusion 进行了微调。
首先是构建一个数据集。数据集包括奇特宝物图画和对应的文本描绘,比方妙蛙种子被描绘成“一个红眼睛的绿色奇特宝物图画”,绿毛虫则被描绘为“一个长着红鼻子的绿黄两色玩具”。
图注:奇特宝物数据集
当然,这些描绘不是人工完结的,而是运用了神经网络来代庖,即图画描绘模型 BLIP。尽管这些描绘还不是非常完美,但也满足用了。
然后,他在 A6000 上只花费了几个小时对 AI 模型进行练习,让模型学习以奇特宝物的风格来生成图画,但将从前的常识保存一段时间,终究对数据集产生过拟合。
开端时,样本是正常图画的姿态,然后逐步取得奇特宝物的风格,跟着练习的持续,终究出现一个与原始提示不同的奇特宝物图画:
这是一种很简略的微调,但它运行得非常好。有了这样一个微调后的模型,不管你给它什么提示,它都会生成奇特宝物。所以不用再煞费苦心地想提示语了。
在创立奇特宝物时,你能够挑选输出多个:
图注:带翅膀的机械猫
Pinkney 表明,欢迎咱们用更杂乱的方法把这个模型专门地用在新领域。像这样的小工具便是 Stable Diffusion 这类 AI 模型开源优点的表现。

One more thing

这个模型在网上引起创造热潮后,Pinkney 又发布了一篇博客弥补了一些额定的作业细节。
他发现,令人惊奇的是,这个模型居然设法记住了初始 Stable Diffusion 的一些通用常识,而它只是在一个有限的数据集上练习了几千步。可是,对奇特宝物进行微调时,模型实际上很快就会开端过度拟合,假如只是以一种简略的方法从中采样,模型就会为新的提示生成胡说八道式的奇特宝物,也便是说,它现已灾祸性地遗忘了它所练习的原始数据)。可是 Stable Diffusion 在练习期间坚持模型的指数移动均匀 (EMA) 版别,一般用于推理。
因而,假如运用 EMA 权重,咱们实际上是在运用原始模型和微调模型的均匀值。事实证明,这关于生成奇特宝物而言是必不可少的。此外,你还能够经过直接将新模型与初始模型的权重进行均匀来微调作用,以操控生成奇特宝物的数量。微谐和对模型进行均匀的操作能够将原始内容与微调后的风格有用混合。
图注:左面是彻底微调的模型,右边是只微调注意力层的模型。
别的,你也能够冻住模型的不同部分来进行微调,比方上图是两种微调方法的生成作用,能够看到,只微调了注意力层的模型能够生成更正常的 Yoda,但并不太拿手制造奇特宝物。

参考资料:

https://www.justinpinkney.com/pokemon-generator/

本文经授权转载自微信大众号「AI科技谈论」(ID:aitechtalk)
告发/反应

相关文章

998su网友科普:地震预警手机怎么设置?关键步骤详解

地震预警手机怎么设置?关键步骤详解在自然灾害面前,提前预警可以为我们争取宝贵的逃生时间。地震预警系统的普及,尤其是手机地震预警功能的设置,成为了我们日常生活中不可忽视的重要环节。今天,我们将结合998...

51吃瓜网科普:敦怎么读?汉字发音解析与趣味用法

51吃瓜网科普:汉字'敦'的正确发音与趣味用法你是否曾在阅读时遇到生僻字'敦'却不确定它的读音?51吃瓜网网友近期热议的汉字科普中,'敦怎么读'成为热门话题。今天我们就来深入解析这个既常见又容易读错的...

贵州祖名豆制品:一块豆腐的生“金”之路

00:20“做硬了是豆腐干,做稀了是豆腐脑,做薄了是豆腐皮,做没了是豆浆,放臭了是臭豆腐。”当然这是对豆腐的趣谈,也阐明豆腐在中国人的食谱里根深柢固。规范化出产 顾客更定心小作坊出产的豆腐早已习以为常...

被马斯克带火的减肥药“司美格鲁肽”能“躺瘦”?医师:对15%左右人群无效,用药也需调整饮食

靠司美格鲁肽就能“躺瘦”?医师:对15%左右人群无效,用药也需调整饮食被马斯克带火的瘦身药“司美格鲁肽”(诺和盈)于11月17日在国内正式宣告商业上市。该药由跨国药企诺和诺德出产,是全球首个且现在仅有...

网传驾校学员将车“开”上树 官方驳斥谣言

近来,一段驾校教练车“上树”的视频被发布至网络交际渠道引发重视。4月13日,四川宜宾长宁县相关部分表明,该驾校坐落长宁县宋家坝工业集中区,系为拍视频招引流量,用吊车将教练车吊至树上拍照视频,并非学员将...

神二十航天员乘组领命出征

据我国载人航天工程办公室音讯,北京时间2025年4月24日14时25分,神舟二十号载人飞翔使命航天员乘组出征典礼在酒泉卫星发射中心问天阁圆梦园广场举办。14时26分,我国载人航天工程总指挥、空间站使用...

友情链接: