首页跨境资讯内容详情

【最新AI实战】StableDiffusion插件ControlNet案例演示

2024-07-18179admin

下面介绍几个常用的controlnet模型教程,一步步跟着操作应该不难。1.Canny边缘检测(Cannyedgedetection)Canny用于识别输入图像的边缘信息。从上传的图片中生成线稿,然后根据关键词来生成与上传图片同样构图的画面。 

063220ij5vfkxk29fj09kn.jpg 【最新AI实战】Stable Diffusion 插件 ControlNet 案例演示 跨境资讯

来跟着我的操作来一遍。
首先我们把模型和lora选择好,因为我这里上传的是一个真实的模特,所以像最大程度的还原,模型一定要对。这里我用到的是这两个模型。
 【最新AI实战】Stable Diffusion 插件 ControlNet 案例演示 跨境资讯
然后输入关键词:
1girl,solo,smile,realistic,grin,lookingatviewer,browneyes,brownhair,ponytail,upperbody,simplebackground,smallbreasts,breasts,bluebackground,teeth,lips,bareshoulders,longhair,blackhair
女孩,独奏,微笑,现实,咧嘴笑,看着观众,棕色的眼睛,棕色的头发,马尾辫,上身,简单的背景,xxx,xx,蓝色的背景,牙齿,嘴唇,裸露的肩膀,长发,黑发
 【最新AI实战】Stable Diffusion 插件 ControlNet 案例演示 跨境资讯
打开Controlnet,选择Canny边缘检测,模型选择对应的canny模型。
 【最新AI实战】Stable Diffusion 插件 ControlNet 案例演示 跨境资讯
上传图片,并勾选启用。
 【最新AI实战】Stable Diffusion 插件 ControlNet 案例演示 跨境资讯
点击下方的“预览预处理结果”这一步是生成线稿。然后就会出现上面那张线稿图。
 【最新AI实战】Stable Diffusion 插件 ControlNet 案例演示 跨境资讯
最后我们勾选下“DPM++SDEKarras”,开始生图
 【最新AI实战】Stable Diffusion 插件 ControlNet 案例演示 跨境资讯
来看下原图和生成图片的对比,姿态构图基本一致。如果你想换头发颜色、面部细节、服装等等,就可以通过关键词来控制。这个功能学会了吧,那咱们讲下一个。
 【最新AI实战】Stable Diffusion 插件 ControlNet 案例演示 跨境资讯
言川小知识:
可以看到上面生成的模特脸部头发丝有点乱,可以调整这个预处理器分辨率(下面两个同样也是调整线稿的精细层度),越高生成的效果与原图越相像,同样也会越吃显存,小心使用。
 【最新AI实战】Stable Diffusion 插件 ControlNet 案例演示 跨境资讯
下面这2个也是同样的做法,它们的主要区别是边缘检测算法不同,具体选择哪个各位去尝试一下,玩法基本一致,我这里就不做演示了。(注意右侧的模型要选择对应的预处理器。)
 【最新AI实战】Stable Diffusion 插件 ControlNet 案例演示 跨境资讯
2.M-LSD(建筑物绘制)
通过分析图片中的线条结构和几何形状,可以构建建筑物的外框,适合建筑、室内设计的朋友使用。
①切换预处理器和相应模型。
 【最新AI实战】Stable Diffusion 插件 ControlNet 案例演示 跨境资讯
②上传一张室内设计的图片,然后点击“预处理结果”,(第一次用这个,控制台会更新一段时间)。
 【最新AI实战】Stable Diffusion 插件 ControlNet 案例演示 跨境资讯
③输入关键词
pearlwhitewalls,windsorgrayfloors,bedroom,Naturallighting,earthlytones,simpleandclean,trendingoninteriordesign,digitalartworkbyAudreykawasaki,Smooth,Detailed,Artstation,Neutralcolors,elegant
珍珠白的墙壁,温莎灰色的地板,卧室,自然光,朴实的色调,简单干净,室内设计的趋势,由Audreykawasaki设计的数字艺术品,光滑,细节,艺术站,中性色,优雅
 【最新AI实战】Stable Diffusion 插件 ControlNet 案例演示 跨境资讯
可以看到,图片生成的效果还是不错的,跟原图的构图基本一致,当然还有更多的细节需要调整,大家可以调整这块的参数即可。
 【最新AI实战】Stable Diffusion 插件 ControlNet 案例演示 跨境资讯
3.法线贴图(Normalmap)
从原图中提取3D物体的法线向量,绘制的新图与原图的光影效果完全相同。
①切换预处理器和模型
 【最新AI实战】Stable Diffusion 插件 ControlNet 案例演示 跨境资讯
②上传一张图片,然后点击“预览预处理结果”,然后就会给你生成一张法线图(懂3维的小伙伴应该都知道这个)
 【最新AI实战】Stable Diffusion 插件 ControlNet 案例演示 跨境资讯
③继续输入关键词,等待生图....
Mercedes-BenzAMGGT,staringoutofthewindowwithregalair,Moodylighting,Highdetail,realisticfurtexture,Digitalpainting,trendingonartstation
梅赛德斯-奔驰AMGGT,凝视窗外的皇家空气,穆迪照明,高细节,逼真的皮毛纹理,数字绘画,艺术站的趋势
 【最新AI实战】Stable Diffusion 插件 ControlNet 案例演示 跨境资讯
怎么说呢,就是牛!!!背景细节等都可以通过关键词来控制,其他调整参数与上面一样。
言川小知识:这个模型主要是通过RGB颜色通道来标记表示凹凸,生成的图片立体感很强。
可以看到,图片生成的效果还是不错的,跟原图的构图基本一致,当然还有更多的细节需要调整,大家可以调整这块的参数即可。
4.OpenPose姿态检测
通过姿势识别实现对人体动作的精准控制,不仅可以生成单人的姿势,还可以生成多人的姿势。
此外,由于AI生成的手部有问题,OpenPose还有一个手部检测模型,大大改善了奇奇怪怪的手。
 【最新AI实战】Stable Diffusion 插件 ControlNet 案例演示 跨境资讯
①切换预处理器和模型。
 【最新AI实战】Stable Diffusion 插件 ControlNet 案例演示 跨境资讯
②上传一张图片,然后点击“预览预处理结果”,注意,第一次选中这个模型开始预处理的时候,会更新一段时间,可以在“控制台”查看更新进度,更新完成之后再次点击“预处理”就可以看到AI识别的图了。
 【最新AI实战】Stable Diffusion 插件 ControlNet 案例演示 跨境资讯
看看预处理结果:
 【最新AI实战】Stable Diffusion 插件 ControlNet 案例演示 跨境资讯
③输入关键词,等待生图....
1girl,solo,dress,braid,hairband,earrings,smile,browneyes,whitedress,realistic,jewelry,longhair,blackhair,lookingatviewer,bareshoulders,lips,bluehairband,singlebraid,brownhair,simplebackground
女孩,独奏,连衣裙,辫子,发带,耳环,微笑,棕色眼睛,白色连衣裙,现实主义,珠宝,长发,黑发,看着观众,裸露的肩膀,嘴唇,蓝色发带,单发带,棕色头发,简单的背景
 【最新AI实战】Stable Diffusion 插件 ControlNet 案例演示 跨境资讯
这手奇奇怪怪的,没事,可以试试OpenPose手部检测模型,操作是一样的,自己去尝试哈,细节调起来操作很多,一点点尝试,肯定能成功的。
5.Scribble(涂鸦)
使用Scribbles模型,可以根据草图(涂鸦)绘制出精美的图片,对于那些没有接受过美术训练或缺乏绘画天赋的人来说,这是非常棒的。
①切换预处理器和模型。(第一次用这个,控制台会更新一段时间)
 【最新AI实战】Stable Diffusion 插件 ControlNet 案例演示 跨境资讯
②点击“创建空白画布”。
 【最新AI实战】Stable Diffusion 插件 ControlNet 案例演示 跨境资讯
③然后在这里画线稿,这里我画一盏煤油灯,我是用的鼠标绘制的,画的不好,做个演示。有手绘板的同学可以用手绘板绘制一下。
 【最新AI实战】Stable Diffusion 插件 ControlNet 案例演示 跨境资讯
④输入关键词:
oldelectronickerosenelampinanthracitebluemetal,warmorangemetalreflections,Intricate,Highlydetailed,Warmlighting,Sharpfocus,Digitalpainting,Artstation,Conceptart,trending,inspiredbyartbyZdenekBurianandfrederickcatherwood
旧电子煤油灯在无烟煤蓝色金属,温暖的橙色金属反射,错综复杂,高度详细,温暖的照明,锐利的焦点,数字绘画,艺术站,概念艺术,趋势,灵感来自艺术zdenekburian和frederickcatherwood
 【最新AI实战】Stable Diffusion 插件 ControlNet 案例演示 跨境资讯
我画的不标准哈,做个演示,这个模型是根据你绘画的线稿精准控制物体的构图、构造。细节根据关键词来控制。
这里可能就有小伙伴疑问了,在SD里面直接绘制不是很方便,能不能通过其他软件绘制之后上传线稿生图呢,ofcourse,看下面:
1)上传线稿图,点击“预览预处理器结果”。
 【最新AI实战】Stable Diffusion 插件 ControlNet 案例演示 跨境资讯
2)输入上面的关键词,然后生成图片:
 【最新AI实战】Stable Diffusion 插件 ControlNet 案例演示 跨境资讯
完事,同样细节需要你们自己去调整。
6.fake-scribble(伪涂鸦)
这个是不需要我们绘画的,上传一张图片,它会帮我们生成涂鸦效果。
①切换预处理器,模型不用切换。
 【最新AI实战】Stable Diffusion 插件 ControlNet 案例演示 跨境资讯
②上传图片,然后点击“预览预处理器结果”。(第一次用这个,控制台会更新一段时间)
说实话,画的还不如我呢...
 【最新AI实战】Stable Diffusion 插件 ControlNet 案例演示 跨境资讯
③输入关键词:
Espresso,setinacozyofficespacewithwarmlighting,surroundedbyofficeplants,books,andacupofcoffeeonthedesk,Detailed,Intricate,Smooth,TrendingonArtstation,byartistssuchasloishandrossdrawsandsamyang
意式浓缩咖啡,设置在一个舒适的办公空间,温暖的照明,周围的办公植物,书籍,和一杯咖啡在桌子上,详细,复杂,流畅,在Artstation趋势,由艺术家如loish和rossdraw和samyang
 【最新AI实战】Stable Diffusion 插件 ControlNet 案例演示 跨境资讯
效果嘎嘎棒!!!
7.SemanticSegmentation(语义分割绘制)
SemanticSegmentation语义分割是一种深度学习算法,重点关注语义一词,这种算法将一个标签或类别与图像联系起来,被用来识别形成不同类别的像素集合。具体还是看我的操作:
①切换预处理器和模型
 【最新AI实战】Stable Diffusion 插件 ControlNet 案例演示 跨境资讯
②上传图片,然后点击“预览预处理器结果”。
 【最新AI实战】Stable Diffusion 插件 ControlNet 案例演示 跨境资讯
可以看到,预处理阶段生成了一张五颜六色的图片,这就是语义分割图,这图中的每一种颜色都代表了一类物品,比如紫色(#cc05ff)代表床(bed),橙黄色(#ffc207)代表垫子(cushion),金黄色(#e0ff08)代表台灯(lamp)。
这是一份色值表格,大家自取!
 【最新AI实战】Stable Diffusion 插件 ControlNet 案例演示 跨境资讯
③这里我就不输入关键词了,让sd自由发挥
 【最新AI实战】Stable Diffusion 插件 ControlNet 案例演示 跨境资讯
言川小知识:可以在PS上绘制一个色块的物体(比如人,放在这个桥上,对应官方的色值),然后导入到语义分割这里来,输入相应的关键词,就可以精准控制图像的效果了。
注意看注意看:
这里我讲下这个小功能,前面两个是打开摄像头的功能,我没试过,你们想玩可以试一下啊。主要讲一下后面的那个小箭头。
 【最新AI实战】Stable Diffusion 插件 ControlNet 案例演示 跨境资讯
这个箭头的功能是把你上传图片的分辨率,自动填充上去。
 【最新AI实战】Stable Diffusion 插件 ControlNet 案例演示 跨境资讯


 暂无评论,快来抢沙发吧~

发布评论