为什么AI生成图片/视频采用的是文本生成的方式？这很难做到精确控制生成内容不是吗？

李大官人丶丶丶 · 发表于 2024-3-5 21:56:05

无论是Midjourney，还是stable diffusion主要采用的都是文生图的方式来生成图片，当然还有图生图，但无论哪种都还是需要用文本来控制，试用了多次之后发现很难做到精准控制生成的图片内容，有没有更好的方式生成图片呢？或者有没有前沿的研究，我当然是指操作AI，而非传统的制图。

影瞳沫昕 · 发表于 2024-3-5 21:56:20

好好学习吧
我一个外行都知道各种其他工具一把一把的
3d骨骼姿势一摆
舞蹈造型就出来了.....
白模型直接导入
建筑渲染就出来了......
左边涂鸦
右边妹子就出来了……
嘴角鼠标一拉
微笑动画就出来了……
梵高自画像图一张
一按我同款自画像就出来了……
文本？甚至可以不输啊

最后DE风度 · 发表于 2024-3-5 21:57:03

gpt4应该是现在最可控的画图软件了。这是我用gpt4画的犀牛融合生物，感觉还挺有意思

hkn520 · 发表于 2024-3-5 21:57:14

事实上，精准的控制生成内容很容易。
以stable diffusion为例，还支持图生图和ControlNet控制。
利用不同的ControlNet模型，可以控制体型、姿态等各种细节。
举个例子，用ControlNet精准控制手型。
关于AI画手，几乎从AI绘画出现就开始伴随着吐槽。
我写过几种Stable Diffusion优化画手的方式，
一是抽卡式（盲盒）。生成满意的图片后，用涂鸦蒙版的方式涂掉画坏的手，然后用显卡的优势批量跑，然后选一个满意的；
二是Depth Library插件。用预置的手型来引导AI画手，从而生成完美的手型，我从C站下载了900个手型图片文件，大概相当于穷举法；
三是使用一些特殊lora，比如add_detail、hipoly_3dcg等，这些微调模型对手部进行了特别训练，能大概率生成好手；
四是使用较新的模型，比如meinamix11，能以极高的概率出现好手。新模型采用了新的训练方式，都在手部进行了加强训练，更容易画出好手。

除了这些，有一种成功率极高（接近100%）的画好手的方式：ControlNet。
除了必须安装ControlNet插件外，还需要安装openpose editor插件。

ControlNet插件地址：
https://gitcode.net/ranting8323/sd-webui-controlnet.git
openpose editor插件地址：
https://gitcode.net/ranting8323/sd-webui-openpose-editor
1、把基本满意但手型不满意的图片导入ControlNet插件

选中control_v11p_sd15_openpose模型，点一下预览标志（爆炸按钮），会生成原图的骨架图。
2、然后点击编辑进入骨架图编辑界面

如果点编辑时报错，有两种可能。
一是openpose editor插件未安装，按照上文路径提示安装即可；
二是ControlNet插件版本过新，导致不兼容，可以到扩展--检查更新对比下两个插件版本，openpose editor插件的日期更晚即可。

如果因为版本不兼容导致无法打开，可以在启动器（以秋叶的绘世启动器为例）里选择退回较旧版本就可以了。

程序正常的话，会进入编辑界面。

这个界面看起来比较复杂，不过我们只需要关心左右手。

对于不满意的手，可以先删掉，点击叉号。

左边框会出现添加左手、添加右手的按钮，右边骨架图里没有了手型。
然后分别点击添加左手、右手。

骨架图里会出现五个手指及每个关节，根据想要的形状，用鼠标拖拽手的位置。

然后点击左边框的下拉按钮，手指、关节进入可编辑状态。

左手每个手指去掉了两个关节（表示握拳），右手展开。
然后点左上角发送到ControlNet，使用原提示词生成图片。
得到一张基本完美的手型图片。

3、ControlNet插件非常强大，除了修手，还可以修崩坏的脸。
不过有了ADetailer修脸插件，我们就不需要手工修脸了。

		自动登录	找回密码
密码			立即注册

为什么AI生成图片/视频采用的是文本生成的方式？这很难做到精确控制生成内容不是吗？

本帖子中包含更多资源

本帖子中包含更多资源