AI绘画教程 » Deepseek也能反推图像提示词,Janus-Pro+Flux文生图强强联手

Deepseek也能反推图像提示词,Janus-Pro+Flux文生图强强联手

发表于: AI绘画教程. 评论
Sponsor

Deepseek虽然能够辅助生成AI绘图的提示词,但是却没办法直接通过图片反推提示词。

别担心,今天我给大家带来一个“秘密武器”——Deepseek旗下的多模态图像AI模型Janus-Pro,它能帮我们通过图像生成提示词,而且还能和现在流行的FLUX大模型文生图强强联手,创造出令人惊叹的画面!

图片

初探Janus-Pro:用图片反推提示词

首先,我们来了解一下Janus-Pro这个强大的多模态图像AI模型。它不仅能识别图像内容,还能生成描述性的提示词,这简直就是设计师的福音!接下来,我将手把手教你如何使用它。

图片

搭建工作流:DeepSeek-Janus-Pro+comfyui本地部署

打开ComfyUI,这个界面是不是有点陌生?别担心,跟着我一步步来,你就能轻松上手。点击左侧的节点库,找到Janus-Pro节点。你会发现,这组节点一共只有三个:模型载入节点、图像识别节点和图像生成节点。鼠标左键长摁,把它们拖入工作区。

图片

接下来,我们需要把节点连接起来。把模型载入节点和图像识别节点的模型接口与处理器接口分别连接起来。最后,拖拽添加一个展示文本节点。这样,一个简单的图像识别功能工作流就搭建完成了!是不是很简单?

测试图像识别功能

好,现在我们来测试一下这个多模态图像识别功能。按住Ctrl键圈选图像生成和保存图像节点,然后按下Ctrl+B,屏蔽这两个节点。接下来,通过加载图像节点上传一张图片。我从网上找了一张哪吒的海报,原图清晰度比较低,画面元素也比较丰富,正好用来测试一下。

图片

在图像识别节点的文本框中输入你的问题。这里没有固定的格式,你可以根据自己的需求提出问题。

比如,我的问题是:“图像中是什么内容?什么风格?角色占画面的比例是多少?描述你看到的所有内容,写一段适合文生图的AI绘画提示词。”

图像模型选择7B版本的,这个版本比1B的模型要强大得多,识别效果也会更好。

运行工作流,看看它给出的回答。

它成功识别出了图片的内容和风格,虽然没有直接输出标准的AI绘画提示词,但已经给出了很多有用的信息。

如果你觉得结果不够理想,可以换个问法,多问几次。然后,把需要的内容复制粘贴下来,进行二次加工。记住,AI只是一个辅助工具,它的回答可以作为参考,帮助我们更好地生成提示词。

Janus-Pro的潜力

虽然Janus-Pro的AI生图功能还处于初级阶段,生成的图片分辨率不够高,画面效果也比较一般,但它的多模态理解能力已经非常不错了。有了这个基础,我相信它的未来一定会更加出色!目前,用它来反推提示词,绝对是最佳选择。

强强联手:用FLUX文生图实现创意

接下来,我们用刚才生成的提示词,结合FLUX文生图,看看能创造出什么样的效果。FLUX是一个非常强大的文生图模型,它的资源占用虽然比较大,但生成的图片质量是真的高!

图片

搭建FLUX文生图工作流

回到ComfyUI,我们开始搭建FLUX文生图的工作流。在大模型这里,我使用了fp8量化模型。因为要接入多个Lora,这里使用了Lora堆节点。每个Lora前面都有一个开关控制,非常方便。

我一共用了三个Lora模型:一个是哪吒的角色造型,一个是龙的角色造型,还有一个是风格化水墨效果的Lora。为什么选择这些Lora呢?因为文生图并不是追求和原图一模一样,而是通过Lora模型的选择,来影响出图的风格。不同的Lora组合,会带来完全不同的视觉效果。

在文本输入节点,我转接了一个翻译文本节点。这样,我们就可以直接把刚才生成的中文提示词粘贴上去,非常方便。注意,在提示词前面增加的几个英文单词,是这些Lora模型的触发词。其他的参数不用修改,直接运行就可以了。

见证奇迹的时刻

点击运行,耐心等待一会儿。哇哦!FLUX生成的图片效果真是太棒了!即使画面中的人物占比很小,细节依然非常丰富。有了Janus-Pro的加持,FLUX文生图的可玩性瞬间提升了一个档次!

图片

你可以尝试不同的Lora组合,或者调整提示词的内容,每次都会带来意想不到的效果。这就是AI设计的魅力所在——它能激发你的无限创意,让你的作品更加独特。

延伸案例:从图片反推到文生图

现在,让我们通过一个完整的实战案例,来复盘一下Janus-Pro和FLUX文生图的流程:

(一)选择图片

从网上找一张你喜欢的图片,比如一张动漫角色的海报,或者一张风景照片。这张图片将成为我们反推提示词的基础。记住,图片的清晰度和内容丰富度会影响最终的生成效果。

(二)反推提示词

打开ComfyUI,搭建好Janus-Pro的图像识别工作流。上传图片后,输入你的问题。比如:“描述这张图片的风格、主题和主要元素,生成一段适合文生图的AI绘画提示词。”运行后,根据Janus-Pro的回答,提取关键信息,整理成一段完整的提示词。

(三)文生图创作

将整理好的提示词复制到FLUX文生图的工作流中。根据你的需求,选择合适的Lora模型和触发词。点击运行,等待FLUX生成图片。你可以多次调整提示词或Lora组合,直到生成满意的图片为止。

(四)优化与调整

如果你对生成的图片效果不满意,可以回到Janus-Pro,重新调整问题,或者在FLUX中修改提示词和Lora组合。AI设计就是一个不断尝试和优化的过程,每一次调整都可能带来惊喜。

拓展应用:更多创意玩法

除了反推提示词和文生图,Janus-Pro和FLUX的组合还能带来更多的创意玩法。比如:

风格转换

你可以通过调整Lora模型,将一张图片的风格从写实转换为卡通,或者从现代风格转换为复古风格。不同的Lora组合,会带来完全不同的视觉效果。

角色设计

如果你是一名角色设计师,可以用Janus-Pro反推角色的特征,然后用FLUX生成不同姿势和场景的角色图。这样,你就能快速探索不同的设计方向,找到最满意的设计方案。

场景创作

上传一张场景图片,让Janus-Pro生成描述场景的提示词,然后用FLUX生成全新的场景图。你可以添加不同的角色、道具或光影效果,创造出一个独一无二的虚拟世界。

图片

图片

本次案例的具体视频教程大家可以到我的B站频道、小红书、西瓜视频或者抖音上面观看,全网同名。大家的关注是对我最大的支持!

本期教程中使用的工作流我已经打包上传网盘了,有兴趣的小伙伴可以下载学习使用。

「Janus-Pro反推工作流」

链接:https://pan.quark.cn/s/7e27f4c5f885

好了,今天的教程到这里就结束了。通过Janus-Pro和FLUX的强强联手,我们不仅实现了从图片反推提示词,还通过文生图创造了令人惊叹的效果。虽然Janus-Pro的生图功能还处于初级阶段,但它的多模态理解能力已经为未来的发展奠定了坚实的基础。

AI设计的时代已经到来,它为我们打开了一个全新的创意世界。希望今天的教程能给你带来一些启发,让你在设计道路上更加得心应手。如果你对这个教程感兴趣,或者在实践中遇到了什么问题,欢迎随时和我交流。

 

来源:设计师老克(公众号)

赞助商链接
赞助商链接
设计达人微信交流社区:shejidaren888
喜欢这篇文章吗?欢迎分享到你的微博、QQ群,并关注我们的微博,谢谢支持。
版权:除非注明,本站文章均为原创文章,转载请联系我们授权,否则禁止转载。

{ 发表评论 }