Skip to content

Latest commit

 

History

History
112 lines (81 loc) · 6.6 KB

README_CN.md

File metadata and controls

112 lines (81 loc) · 6.6 KB

节点功能

安装完成后,可在 ComfyUI 的 Add Node - Ruyi 菜单找到本仓库提供的 3 个节点,如下图所示:

下文依次介绍各个节点的功能与参数。

注:新版 ComfyUI 节点在界面左侧 NODE LIBRARY 中显示。

Load Model

用于加载模型,并提供自动下载模型(通过 auto_download 选项设置)的功能。

  • model: 选择使用哪个模型,目前只有 Ruyi-Mini-7B 一个选项。
  • auto_download: 是否自动下载,默认为 yes,检测到模型不存在(或不完整)时,将自动下载模型到 ComfyUI/models/Ruyi 路径。
  • auto_update: 是否自动检查并更新当前模型,默认为 yes。当启用 auto_download 时,系统将自动检查模型是否有更新,并将更新内容下载到 ComfyUI/models/Ruyi 路径。请注意,此功能依赖于 huggingface_hub 的缓存机制,因此请勿删除模型路径中的 .cache 文件夹,以确保更新过程顺利进行。

Load LoRA

用于加载 LoRA 模型,LoRA 模型需要放在 ComfyUI/models/loras 路径下。

  • lora_name: 需要加载的 LoRA,将自动搜索并显示 ComfyUI/models/loras 路径下所有模型文件。
  • strength_model: LoRA 的影响程度,根据经验通常设置在 1.0 ~ 1.4 效果较好。

Sampler for Image to Video

用于根据输入图片生成视频,首帧图片(start_img)为必须输入,尾帧图片(end_img)为可选输入。同时,该节点支持镜头控制(camera_direction)与视频主体的运动幅度控制(motion)。

  • start_img: 首帧图片。
  • end_img: 尾帧图片,可选输入。
  • video_length: 视频长度,必须能被 8 整除最大支持 120 帧
  • base_resolution: 视频分辨率,模型将根据输入图片的长宽比自动选择最接近的输出视频长宽
    • 512 表示生成的视频像素数接近 512 * 512。
    • 768 表示生成的视频像素数接近 768 * 768。
  • seed: 随机种子,用于控制随机数生成器产生随机数的序列。不同的随机种子通常能生成不同的视频,当生成的视频不符合需求时候,可调整此值以尝试其他的生成可能。
  • control_after_generate: 每次生成后随机种子的变化方式。
    • Fixed 表示随机种子固定不变。
    • Increment 表示随机种子每次增加一。
    • Decrement 表示随机种子每次减少一。
    • Randomize 表示随机种子运行后随机设置。
  • steps: 视频生成的迭代次数,迭代次数越多,需要的时间越久,通常 25 次能够得到较好的结果。
  • cfg: 指令(如输入图片)的遵循程度,数值越大遵循程度越好,取值 7 ~ 10 通常能取得较好的生成效果。
  • motion: 控制视频主体的运动幅度。
    • 1 基本不运动,适用于静态场景。
    • 2 正常运动幅度,适用于谈话、转头等常见场合。
    • 3 运动幅度较大,可能出现转身、走动等情况。
    • 4 运动幅度非常大,可能出现视频主体离开画面的情况。
    • Auto 表示模型自动判断运动幅度大小。
  • camera_direction: 镜头运动。
    • Static 表示静止镜头。
    • Left 表示镜头向左移动。
    • Right 表示镜头向右移动。
    • Up 表示镜头向上移动。
    • Down 表示镜头向下移动。
    • Auto 表示模型自动判断镜头运动方向。
  • GPU_memory_mode:
    • normal_mode 是默认模式,使用显存较多,生成速度较快
    • low_memory_mode 是低显存模式,能大幅降低显存用量,但严重影响生成速度
  • GPU_offload_steps: 用于优化显存占用,通过将部分临时变量从显存移动到内存而实现,会增加内存的占用并降低生成速度
    • 0 表示不优化。
    • 1 - 10,1 显存占用最小,生成速度最慢;10 显存占用最多(少于不优化情况),生成速度最快。
    • 通常情况下,24G 显存可以使用 7 生成 512 分辨率,120 帧视频。更详细数据请参考下文。

工作流样例

本节展示了图生视频的工作流样例,可通过菜单中的 Load 按钮导入工作流。新版 ComfyUI 可通过左上方菜单的 Workflow - Open 加载工作流。

工作流位于 comfyui/workflows/ 目录中,素材位于 assets/ 目录中。

导入工作流后,需要手动重新指定输入节点 LoadImage 的输入图片,由于工作流文件只能记录输入文件的名字,所以目前只能手动设置。

图生视频(首帧)

工作流对应 workflow-ruyi-i2v-start-frame.json 文件。对于显存较大的用户,也可以使用 workflow-ruyi-i2v-start-frame-80g.json 以提高生成速度。

图生视频(首尾帧)

工作流对应 workflow-ruyi-i2v-start-end-frames.json 文件。对于显存较大的用户,也可以使用 workflow-ruyi-i2v-start-end-frames-80g.json 以提高生成速度。

常见问题

模型加载错误,LoadModel: ConnectionError (MaxRetryError)

通常是网络问题导致 huggingface_hub 下载失败。网络正常的情况下,再次运行 LoadModel 节点即可解决。

视频生成速度慢、远低于预期

  • 首先,请检查是否开启 Load Model 节点中 GPU_memory_mode 的 low_memory_mode,此模式会大幅降低视频生成速度。
  • 其次,请检查 PyTorch 版本。PyTorch 在 2.2 版本支持了 FlashAttention-2(链接),能大幅提升计算效率。安装新版本的 PyTorch 能够有效提升生成速度。