FLUX Kontext 开源!内有用法及模型下载

大模型1年前发布 拜拜导航
1,086 0 0

来源:docs.comfy.org/tutorials/flux/flux-1-kontext-dev

关于 FLUX.1 Kontext Dev

 

FLUX.1 Kontext 是黑森林实验室突破性的多模态图像编辑模型,支持同时输入文本和图像,能够智能理解图像上下文并进行精准编辑。其开发版本是一个开源的扩散变换器模型,拥有 120 亿个参数,具有出色的上下文理解和人物一致性维护能力,确保人物特征、构图布局等关键元素即使经过多次迭代编辑也能保持稳定。

它与 FLUX.1 Kontext 套件具有相同的核心功能:

  • 角色一致性:在多个场景和环境中保留图像中的独特元素,例如图像中的参考角色或对象。
  • 编辑:针对图像中的特定元素进行有针对性的修改,而不影响其他部分。
  • 风格参考:根据文本提示,生成新颖的场景,同时保留参考图的独特风格。
  • 交互速度:图像生成和编辑的延迟最小。

虽然之前发布的 API 版本提供了最高的保真度和速度,但 FLUX.1 Kontext [Dev] 完全在本地机器上运行,为希望进行实验的开发人员、研究人员和高级用户提供了无与伦比的灵活性。

版本信息

  • [FLUX.1 Kontext [pro] – 商业版本,专注于快速迭代编辑
  • FLUX.1 Kontext [max] – 具有更强提示依从性的实验版本
  • FLUX.1 Kontext [dev] – 开源版本(本教程使用),12B 个参数,主要用于研究

目前在 ComfyUI 中,您可以使用所有这几个版本,其中Pro 和 Max 版本可以通过 API 节点调用,而 Dev 开源版本请参考本指南中的说明。

工作流程描述

在本教程中,我们介绍两种类型的工作流程,它们本质上是相同的:

  • 使用FLUX.1 Kontext 图像编辑组节点的工作流程,使界面和工作流程重用更简单
  • 另一个不使用组节点的工作流程,显示完整的原始工作流程。

使用组节点的主要优势在于工作流程的简洁性——您可以重复使用组节点来实现复杂的工作流程,并快速重复使用节点组。此外,在新版本的前端中,我们为 Flux.1 Kontext Dev 添加了快速添加组节点的功能:

快速添加组节点

该功能目前处于实验阶段,可能会在未来的版本中进行调整。

如果您在加载下面的工作流文件时发现缺少节点,则可能是由于以下情况造成的:

  1. 您没有使用 ComfyUI 的最新开发(Nightly)版本。
  2. 您正在使用 ComfyUI 的稳定版(发布版)或桌面版(不包含最新的功能更新)。
  3. 您正在使用ComfyUI的最新Commit版本,但在启动过程中某些节点导入失败。

请确保您已成功将 ComfyUI 更新至最新开发版 (Nightly)。请参阅“如何更新 ComfyUI”部分,了解如何更新 ComfyUI。

模型下载

要成功运行本指南中的工作流程,您首先需要下载以下模型文件。您也可以直接从相应的工作流程中获取模型下载链接,其中已包含模型文件下载信息。

扩散模型

如果您想使用原始权重,您可以访问 Black Forest Labs 的相关存储库来获取和使用原始模型权重。

醋酸乙烯酯共聚物

文本编码器

模型保存位置复制询问人工智能

? ComfyUI/
├── ? models/
│   ├── ? diffusion_models/
│   │   └── flux1-dev-kontext_fp8_scaled.safetensors
│   ├── ? vae/
│   │   └── ae.safetensor
│   └── ? text_encoders/
│       ├── clip_l.safetensors
│       └── t5xxl_fp16.safetensors or t5xxl_fp8_e4m3fn_scaled.safetensors

Flux.1 Kontext Dev 基本工作流程

这个工作流程是一个普通的工作流程,但是它使用Load Image(from output)节点来加载需要编辑的图像,让您更方便地访问编辑后的图像进行多轮编辑。

1. 工作流程和输入图像下载

下载以下文件并拖拽到ComfyUI中,加载相应的工作流

ComfyUI Flux.1 Kontext Pro 图像 API 节点工作流程

输入图像

ComfyUI Flux Kontext 原生工作流输入

2. 逐步完成工作流程

工作流程步骤指南您可以参考图中的数字来完成工作流程运行:

  1. Load Diffusion Model节点中,加载flux1-dev-kontext_fp8_scaled.safetensors模型
  2. DualCLIP Load节点中,确保clip_l.safetensorst5xxl_fp16.safetensorst5xxl_fp8_e4m3fn_scaled.safetensors已加载
  3. Load VAE节点中,确保ae.safetensors模型已加载
  4. Load Image(from output)节点中,加载提供的输入图像
  5. CLIP Text Encode节点中,修改提示,仅支持英文
  6. 单击Queue按钮或使用快捷方式Ctrl(cmd) + Enter运行工作流程

Flux.1 Kontext Dev 分组工作流程

该工作流程使用FLUX.1 Kontext 图像编辑组节点,使界面和工作流程重用更加简单。

本示例同样使用两张图片作为输入,使用Image Stitch节点将两张图片合并为一张,然后使用 Flux.1 Kontext 进行编辑。

1. 工作流程和输入图像下载

下载以下文件并拖拽到ComfyUI中,加载相应的工作流

ComfyUI Flux.1 Kontext Pro 图像 API 节点工作流程

输入图像

ComfyUI Flux Kontext 原生工作流输入 ComfyUI Flux Kontext 原生工作流输入

2. 逐步完成工作流程

工作流程步骤指南您可以参考图中的数字来完成工作流程运行:

  1. Load VAE节点中,加载ae.safetensors模型
  2. Load Image节点中,加载第一个提供的输入图像
  3. Load Image节点中,加载第二个提供的输入图像
  4. 由于其他模型及相关节点都封装在组节点中,因此需要按照步骤图中的参考,确保对应模型正确加载,并写入提示
  5. 单击Queue按钮或使用快捷方式Ctrl(cmd) + Enter运行工作流程

Flux 上下文提示技术

1. 基本修改

  • 简单直接:"Change the car color to red"
  • 保持风格:"Change to daytime while maintaining the same style of the painting"

2. 风格迁移

原则:

  • 明确命名风格:"Transform to Bauhaus art style"
  • 描述特征:"Transform to oil painting with visible brushstrokes, thick paint texture"
  • 保留构图:"Change to Bauhaus style while maintaining the original composition"

3. 角色一致性

框架:

  • 具体描述:"The woman with short black hair"而不是“她”
  • 保留特征:"while maintaining the same facial features, hairstyle, and expression"
  • 逐步修改:先更改背景,然后更改操作

4.文本编辑

  • 使用引号:"Replace 'joy' with 'BFL'"
  • 保持格式:"Replace text while maintaining the same font style"

常见问题解决方案

角色变化太多

❌ 错误:"Transform the person into a Viking" ✅ 正确:"Change the clothes to be a viking warrior while preserving facial features"

构图位置变化

❌ 错误:"Put him on a beach" ✅ 正确:"Change the background to a beach while keeping the person in the exact same position, scale, and pose"

风格应用不准确

❌ 错误:"Make it a sketch" ✅ 正确:"Convert to pencil sketch with natural graphite lines, cross-hatching, and visible paper texture"

核心原则

  1. 具体清晰– 使用精确的描述,避免使用模糊的术语
  2. 逐步编辑– 将复杂的修改分解为多个简单的步骤
  3. 明确保留– 说明哪些内容应保持不变
  4. 动词选择——使用“改变”、“替换”而不是“转变”

最佳实践模板

对象修改: "Change [object] to [new state], keep [content to preserve] unchanged"

风格转换: "Transform to [specific style], while maintaining [composition/character/other] unchanged"

背景替换: "Change the background to [new background], keep the subject in the exact same position and pose"

文本编辑: "Replace '[original text]' with '[new text]', maintain the same font style"

记住:越具体越好。Kontext 擅长理解详细的指令并保持一致性。

© 版权声明

相关文章

暂无评论

none
暂无评论...