今回は、ComfyUI上で動くMiniMax H3という動画生成モデルを使い、8GB程度のVRAMでもローカルPCで「音声つき・リップシンクつき」のAI動画を作れるワークフローを紹介します。画像を1枚（または最初と最後のフレーム2枚）用意するだけで、セリフをしゃべる短い動画をノートPCクラスのGPUでも生成できるのがポイントです。
生成時間 VRAM 8GB 約１～２時間
MiniMax H3ってどんなモデル？
MiniMax H3は、テキスト・画像・映像・音声をひとつのモデルでまとめて理解し、映像とステレオ音声（セリフ・効果音・BGM）を同時に生成できるオープンウェイトのAI動画モデルです。従来の「まず映像を作って、あとから音声を貼り付ける」方式ではなく、映像と音を同じ推論の中で一緒に作るのが特徴で、口の動きと声がしっかり同期（リップシンク）します。
本体は330億パラメータ級の大型モデルですが、パラメータの一部を圧縮する「プルーニング」と、ファイルサイズを大きく減らす「GGUF量子化」、さらに生成ステップ数を減らす「Turbo（蒸留）LoRA」を組み合わせることで、コンシューマー向けGPUでも動作可能なサイズまで小さくできます。今回解析したワークフローは、まさにこの軽量化フルセットを使った構成でした。
このワークフローで使われている「FL2VA」とは
FL2VA（First/Last frame to Video+Audio）は、最初のフレーム画像（と、任意で最後のフレーム画像）を渡すと、その間をつなぐ動画と音声を生成するモードです。画像0枚ならテキストだけから動画を作る「T2V」、1枚なら「画像から動画」、2枚渡せば「開始・終了の構図を指定した動画」になります。今回のワークフローは1枚目（開始フレーム）を必須、2枚目（終了フレーム）を任意入力として扱う構成でした。
必要なモデルファイル一覧
このワークフローを動かすために必要なファイルは以下の5つです。いずれもHugging Face上のコミュニティ配布（GGUF量子化版）を使う想定になっています。
| 種類 | ファイル名（このワークフロー内） | 役割 | 配置フォルダ目安 |
|---|---|---|---|
| メインモデル（拡散モデル） | MiniMax-H3-FL2VA-pruned-Q4_K_M.gguf | 映像＋音声を生成する本体モデル（プルーニング＋4bit量子化版） | models/diffusion_models（unet） |
| テキストエンコーダー | MiniMax-H3-encoder-Q4_K_M.gguf | プロンプト（指示文・セリフ）を読み取ってモデルに渡す | models/text_encoders |
| TurboLoRA | minimax_h3_turbo_v4_step600_ema_pruned_comfyui.safetensors | 生成ステップ数を大幅に減らす高速化用LoRA | models/loras |
| 映像用VAE | minimax_h3_video_vae_fp16.safetensors | 生成された潜在表現を映像フレームに変換 | models/vae |
| 音声用VAE | minimax_h3_audio_vae_fp32.safetensors | 生成された潜在表現をステレオ音声波形に変換 | models/vae |
※ Q4_K_M（4bit量子化）のプルーニング版は、配布元の目安では概ね10GB前後〜のサイズになります。正式な数値はダウンロードページで必ず確認してください。また、量子化ファイルはコミュニティによる非公式配布のため、バージョンやライセンス表記は各配布元のページで確認することをおすすめします。
あわせて必要なComfyUIの拡張ノード（カスタムノード）
- ComfyUI-GGUF：GGUF形式のモデル・テキストエンコーダーを読み込むために必須
- MiniMax H3ネイティブノード群：H3ImageToVideo、H3TurboLoRA、H3TurboSampler、VAEDecodeAudioなど。比較的新しいComfyUI本体（0.29〜0.30以降）に標準搭載されています
- ComfyUI-KJNodes：画像リサイズ（ImageResizeKJv2）に使用
- ComfyUI-VideoHelperSuite（VHS）：完成した映像と音声をmp4として書き出す（VHS_VideoCombine）
ComfyUI本体が古いバージョンだとMiniMax H3のアーキテクチャを認識できないことがあるため、事前に最新版へアップデートしておくと安心です。
ワークフローの流れ（かんたん解説）
- 画像を読み込む：開始フレームとなる画像を1枚用意（終了フレーム画像は任意）。それぞれ生成解像度に合わせて自動リサイズされます。
- 解像度・尺を決める：アスペクト比（例：16:9）とメガピクセル値を選ぶと、8の倍数に丸められた最適な解像度が自動計算されます。秒数を指定すると、フレームレート（24fps）に合わせて内部的に必要なフレーム数へ変換されます。
- プロンプトを書く：映像の内容に加えて、セリフ・声のトーン・カメラワークなどをまとめて1つの文章で指定します。日本語のセリフを書けば、日本語音声のリップシンク付き動画になります。
- テキストエンコーダーで条件付け：プロンプトをモデルが理解できる形に変換します。このワークフローではテキストエンコーダーをあえてCPU側で実行し、GPUのVRAMを節約しています。
- Turbo LoRAを適用したモデルで生成：本来数十ステップ必要な生成を、Turbo LoRAによりわずか数ステップ（このワークフローでは6ステップ）まで短縮。LoRAには低VRAM向けモードも用意されています。
- 映像＋音声をデコード：生成された潜在表現を、映像用VAEと音声用VAEでそれぞれ映像フレームと音声波形に変換します。
- mp4として書き出し：映像と音声を24fpsのmp4ファイルに結合して保存します。
なぜVRAM 8GBでも動かせるのか
MiniMax H3は元々330億パラメータ級の大型モデルであり、フルサイズのままではハイエンドGPUでないと動きません。それでも比較的少ないVRAMで動作するのは、次のような工夫が積み重なっているためです。
- GGUF量子化（Q4_K_M）：モデルの重みを16bit・32bitから4bit相当まで圧縮し、ファイルサイズとメモリ使用量を大幅に削減
- プルーニング（枝刈り）：モデル内の冗長な重み（時間ステップごとの補正パラメータなど）を圧縮し、元の性能をなるべく保ちながらサイズを削減
- Turbo（蒸留）LoRA：本来必要な生成ステップ数を大きく減らすことで、処理時間とメモリへの負荷（特に中間データ）を軽減
- テキストエンコーダーのCPUオフロード：文章理解の処理をあえてGPUではなくCPU側で行い、GPU側のVRAMをまるごと映像生成に回せるようにしている
- ComfyUIのモデルストリーミング：モデル全体を常にVRAMへ載せきる必要がなく、必要な部分を都度読み込みながら処理できる
こうした工夫の組み合わせによって、本来ハイエンド機材が必要なモデルでも、8GB程度のミドルクラスGPUで実用的に動かせるようになっています。ただし、VRAMが少ない分だけ生成時間は長くなりやすく、解像度や生成秒数を上げすぎるとメモリ不足になる可能性もあるため、まずは短め・低めの解像度から試すのがおすすめです。
まとめ
MiniMax H3のFL2VA×Turbo×GGUFワークフローは、「画像1〜2枚＋プロンプト」だけで、セリフ付き・リップシンク付きの動画をローカルPCで作れる、かなり実用的な構成です。必要なファイルをそれぞれのフォルダに配置し、対応するカスタムノードを導入すれば、8GBクラスのGPUでもAI動画生成を体験できます。まずは短い秒数・低めの解像度からテストし、慣れてきたら解像度やLoRAの強度を調整して、自分好みの画作りを探ってみてください。
