ComfyUIで「映像と音声を同時に」生成できるオープンモデルLTX(LTX-2.3)を、GGUF量子化モデルで動かすシンプルなワークフローを解説します。1枚の画像とプロンプトを渡すだけで、効果音や環境音付きの短い動画が作れます。

この記事で扱うワークフローは LTXV23_v1_4_I2AV.json(Image to Audio-Video)です。ノード数が少なく、構成を理解しやすいのが特徴です。

目次の目安

LTXとは何か

LTXは、イスラエルのLightricks社が公開しているオープンウェイトの動画生成モデルシリーズです。現行のLTX-2.3は約22Bパラメータの「DiT(Diffusion Transformer)ベースの音声・映像基盤モデル」で、1つのモデルで映像と同期した音声を同時に生成できます。

  • テキスト→動画、画像→動画、音声→動画など複数のモードに対応
  • 重みが公開されており、ローカル(自分のPC)で実行できる
  • ComfyUIが公式にネイティブ対応している
  • テキストエンコーダーにGoogleのGemma 3 12Bを使用
  • 2倍の空間アップスケーラーを使った高解像度化の仕組みがある

今回使うのは「Uncensored Turbo v1.4」

このワークフローが読み込むのは、公式のLTX-2.3そのものではなく、有志(ChrisColeTech氏)が公開しているLTX Video-2.3 Uncensored Turbo v1.4のGGUF版です。モデルカードによると、次の追加学習を重みに焼き込み(マージ)済みです。

  • DMD蒸留LoRA(少ステップ化・指示追従の向上。強度1.0)
  • LTX公式のIC-LoRA Detailer(参照画像への忠実度向上。強度0.6)

蒸留済みのため、8ステップ程度で生成できます(モデルカードでは最小4ステップ、推奨は8ステップ)。

【ご注意】このモデルはライセンス欄は「unknown」です。利用は自己責任で、お住まいの国の法律、各プラットフォームの規約、肖像権(実在人物の画像を使う場合)などに十分ご注意ください。公開・商用利用の前にはライセンスの確認をおすすめします。

MiniMax H3との違い

MiniMax H3(MiniMax-H3)は、MiniMaxAIが公開しているオープンな「オムニモーダル」動画生成モデルで、LTXと同じく映像と同期した音声を同時に生成できます。ComfyUIでも使えますが、モデルの規模や求められる環境がかなり違います。

項目 LTX-2.3 MiniMax H3
開発元 Lightricks MiniMaxAI
モデル規模 約22B 約33B
テキストエンコーダー Gemma 3 12B Qwen3-VL 32B系
VRAMの目安 GGUFのQ4前後なら16GBクラスのGPUでも狙える 大型で、80GB GPUなら余裕とされる。GGUF版や軽量版もあるが負荷は大きめ
高速化 蒸留版・DMD LoRAで8ステップ前後 Turbo LoRAで4〜8ステップ
主な用途 画像→動画、テキスト→動画、音声→動画 テキスト/最初・最後のフレーム/参照素材→動画
ComfyUI対応 ネイティブ対応 ネイティブ対応(ComfyUI 0.30.0以降)

まとめると、MiniMax H3は大きくて高品質を狙うモデル、LTXは軽く試しやすいモデルという位置づけです。一般的なゲーミングGPUで「音付き動画」を気軽に試すなら、GGUF化されたLTXが現実的です。ただし、画質や動きの良し悪しは用途やプロンプトで変わるため、数値や仕様はあくまで目安として、実際に自分の環境で比べてみてください。
ただ、MiniMax H3を有志の方が極限にまで軽量化したGGUF版よりLTXは現状より重くて作成も遅く、品質はMINIMAX計量版の方が高い印象です。

ワークフローの簡単な流れ

ワークフローは、大きく分けて次の6ステップです。

  1. モデルを読み込む(LTXV23ModelsLoader)
    GGUFのDiTモデル、Gemma GGUFのテキストエンコーダー、Clip Projection、映像VAE、音声VAEを1つのノードでまとめて読み込みます。
  2. 元になる画像を用意する(LoadImage → ImageScale)
    読み込んだ画像を736×416にリサイズ(lanczos、中央クロップ)します。この画像が動画の1フレーム目になります。
  3. プロンプトと動画設定を入れる(LTXV23ImgToVideo)
    プロンプト、サイズ(736×416)、フレーム数(49)、フレームレート(24)などを指定します。ここで映像と音声のラテント(生成の元データ)が作られます。
  4. サンプリングする(LTXV23KSampler)
    ステップ数8、CFG 3.5、サンプラーeuler_ancestral、プリセット「dmd (8 steps)」で生成します。
  5. アップスケールして復号する(サブグラフ LTXUpscaleLatent2VA)
    映像と音声のラテントを分離し、映像側は2倍のスペーシャルアップスケーラーで拡大してからVAEデコード、音声側は音声VAEでデコードします。
  6. 動画として保存する(CreateVideo → SaveVideo)
    映像と音声を24fpsで1本の動画にまとめて、video/ComfyUIに保存します。

主な設定値(このワークフローの初期値)

項目 値
解像度(生成時) 736 × 416
フレーム数 49(24fpsで約2秒)
フレームレート 24
ステップ数 8
CFG 3.5
サンプラー euler_ancestral
seed randomize(毎回変わる)
アップスケール 2倍(最終出力は理論上およそ1472×832)

初期プロンプトの例

use this image as the starting frame. make him fly. full body shot. keep the character clothes and body consistent. one continuous shot.

「この画像を最初のフレームにして、人物を飛ばせる。全身ショット。服装と体型を維持。ワンカット」という内容です。音を出したい場合は、「engine rumble」「rain on asphalt」のように音の描写もプロンプトに書くと反映されやすくなります。

LoadAudioノードについて

ワークフローには音声読み込み(LoadAudio)ノードが入っていますが、初期状態ではバイパス(無効)になっています。そのため音声はプロンプトから生成されます。手持ちの音声を参照させたい場合は、このノードを有効にして音声ファイルを指定します。

使用モデル一覧とリンク

ワークフロー内のファイル名と、配置先・入手先は次のとおりです。

役割 ファイル名 サイズ目安 配置先
DiT本体(GGUF) ltxv23_uncensored_v1.4_Q4_K_M.gguf 約14GB前後(※) ComfyUI/models/diffusion_models
テキストエンコーダー(GGUF) gemma-3-12b-it-ablit-norms-biproj-Q4_K_M.gguf 約7.3GB ComfyUI/models/text_encoders
Clip Projection ltxv23_uncensored_v1.4_projections.safetensors 約2.31GB ComfyUI/models/text_encoders
映像VAE ltxv23_uncensored_v1.4_video_vae.safetensors 約1.45GB ComfyUI/models/vae
音声VAE ltxv23_uncensored_v1.4_audio_vae.safetensors 約365MB ComfyUI/models/vae
空間アップスケーラー ltx-2.3-spatial-upscaler-x2-1.0.safetensors 約1GB ComfyUI/models/latent_upscale_models

※Q4_K_Mの正確なサイズは未確認です。同じ22B系のQ4_K_M(別モデル)が約14GB、Q6_Kが約17.8GBなので、その前後が目安です。

ダウンロード先リンク

リンク切れや移動があった場合は、上のモデル配布ページのsplitフォルダから探してください。Q4_K_M以外(Q3、Q5、Q6、Q8など)は、VRAMに合わせて選べます。

必要なカスタムノード

このワークフローの LTXV23ModelsLoader などは、通常のComfyUI-GGUFではなく、comfyui-gguf-loaderという別のカスタムノードに入っています。

  • ChrisColeTech/ComfyUI-GGUF-Loader(GitHub)
  • 導入方法:ComfyUI Managerを開き、チャンネルを「Channel (remote)」に変更 → 「comfyui-gguf-loader」を検索 → 最新ビルド(nightly)をインストール → ComfyUIを再起動

モデルカードにも「更新版のGGUF Loaderが必須」と明記されています。古いバージョンだと、ノードが赤くなったりモデルが読み込めなかったりします。

ComfyUIは最新バージョンが必要です

LTX-2.3の音声・映像対応や、MiniMax H3まわりの修正など、動画生成まわりの機能は頻繁に更新されています。古いComfyUIでは、LTXのノードが足りない、アップスケーラーが動かない、といった不具合が出やすくなります。

  • ComfyUI本体を必ず最新版に更新してください(ComfyUI Managerの「Update ComfyUI」、またはデスクトップ版・ポータブル版の更新機能)
  • 更新後は、ComfyUIを完全に再起動し、ブラウザもリロードしてください
  • カスタムノード(comfyui-gguf-loaderなど)も同時に最新へ更新しておくと安心です

最新の更新内容は、公式のComfyUI Changelogで確認できます。また、LTX-2.3の公式ワークフローと配置の解説はComfyUI公式のLTX-2.3ガイドが参考になります。

使い方のコツと注意点

  • フレーム数:LTX系は「8の倍数+1」(49、97、121など)が基本です。このワークフローの49は2秒程度なので、長くしたい場合は増やしてください(メモリ消費も増えます)。
  • CFG:モデルカードでは1.0〜4.0が目安です。高めだと動きと音が増え、低めだと落ち着いた雰囲気になる傾向があるとされています。
  • ステップ数:蒸留済みなので4〜8でも動きますが、品質重視なら8以上がおすすめです。
  • 解像度:初期値は736×416と軽めです。VRAMに余裕があれば、サイズを大きくして試せます(アップスケーラーで2倍になる点も考慮してください)。
  • 画像のサイズ:ImageScaleでクロップされるため、人物が端に寄った画像だと切れることがあります。構図の中央に主題がある画像が向いています。
  • メモリ不足のとき:DiTをQ3系に下げる、フレーム数・解像度を下げる、などで調整します。

まとめ

LTX-2.3のGGUF版を使えば、比較的軽い環境でも「画像+プロンプト」から音付きの動画を作れます。今回のワークフローは、ローダー・画像変換・サンプラー・アップスケール・保存と構成がコンパクトなので、LTXの仕組みを理解する最初の一本としておすすめです。

動かない場合は、まず「ComfyUI本体の更新」「comfyui-gguf-loaderの最新化」「モデルの配置先とファイル名」の3点を確認してみてください。