ComfyUIで「映像と音声を同時に」生成できるオープンモデルLTX（LTX-2.3）を、GGUF量子化モデルで動かすシンプルなワークフローを解説します。1枚の画像とプロンプトを渡すだけで、効果音や環境音付きの短い動画が作れます。 この記事で扱うワークフローは LTXV23_v1_4_I2AV.json（Image to Audio-Video）です。ノード数が少なく、構成を理解しやすいのが特徴です。 目次の目安 LTXとは何か LTX
タグ: safetensors
はじめに Qwen Image 2.1は、Alibaba Qwenチームが公開した最新の画像生成・編集モデルです。通常のsafetensors版はVRAM消費が大きく、8GB前後のGPUでは動作が厳しい場面がありますが、今回紹介するワークフローはUNetをGGUF形式(Q5_K_M)で読み込むことで、VRAM 8GB程度の環境でも動作するように構成されています。さらに参照画像を最大10枚まで追加でき、複数の画像を組み合わせた高度な画像編
はじめに 画像生成AIで「この人にこの服を着せたい」「帽子だけ別の写真から持ってきたい」という着せ替え編集は、これまでハイエンドGPUが前提でした。しかしFireRed Image Editは、AlibabaのQwen Image Editをベースに進化した画像編集特化モデルで、GGUF量子化版とLightning LoRA（高速化LoRA）を組み合わせることで、VRAM 8GB程度のミドルクラスGPUでもローカル生成が可能になっていま
今回は、ComfyUI上で動くMiniMax H3という動画生成モデルを使い、8GB程度のVRAMでもローカルPCで「音声つき・リップシンクつき」のAI動画を作れるワークフローを紹介します。画像を1枚（または最初と最後のフレーム2枚）用意するだけで、セリフをしゃべる短い動画をノートPCクラスのGPUでも生成できるのがポイントです。 生成時間 VRAM 8GB 約１～２時間 MiniMax H3ってどんなモデル
洋服の試着画像をAIで生成する「バーチャル試着（Virtual Try-On）」は、これまでクラウドサービスや高性能GPUが前提でした。しかし本記事で紹介するComfyUIワークフローは、GGUF量子化されたQwen-Image-Editと専用LoRAを組み合わせることで、VRAM 8GB程度のミドルスペックPCでもローカル環境で着せ替え画像を生成できるよう設計されています。 ワークフローのダウンロード この記事では、 そ
Stable Diffusion 1.5(SD1.5)の心臓部であるUNetは、「今の潜在表現にどれだけどのようなノイズがあるか」をテキスト条件をヒントに予測するネットワークです。(ノイズを予測し除去していくと元画像＝生成画像が現れる仕掛けです) 本記事では、その内部構造を、実装の仕組みから計算の直感まで順を追って解説します。ステップごとに通っている構造がこのUNETとなります。 1. 全体の流れ:UNetは何を入出力しているのか まず
ワークフローのダウンロード image_qwen_image_edit_2511_int8 ※ワークフローはVRAM８GBでも１回目１～２時間かかるものの動作します。 ※最新のComfyUIを使用する場合このワークフローをComfyUIの画面にドロップするだけでモデルも自動でダウンロードできます。 ComfyUIで画像生成・画像編集をしていると、「元画像の構図を残したまま、画風だけ変えたい」「写真をポップアート風にしたい」といった編集を
AI画像生成を学んでいると、「UNet」「safetensors」「Diffusers」といった用語が頻繁に出てきます。それぞれ関連はありますが、役割はまったく異なります。 この記事では、 UNetとは何か safetensorsとの違い Diffusersの意味（略語も含む） を、初心者でも理解できるように整理して解説します。 UNetとは？ UNet（ユー・ネット）は、**画像処理に使われるニューラルネットワークの構造（アーキテクチ
OpenPoseとは？Qwen Image EditでAnyPoseモデルを使ったポーズ転写の完全ガイド 画像生成AIの世界では「ポーズを自由に制御したい」というニーズは非常に高いです。本記事では、OpenPoseの基本概念から、最新のQwen Image EditとAnyPoseモデルを組み合わせたポーズ転写の実装方法まで、サンプルコードとともに詳しく解説します。 📌 目次 OpenPoseとは何か 使用するモデル一覧 OpenPos
VAE（Variational Autoencoder）とは VAE（Variational Autoencoder）は、画像を「圧縮」と「復元」するためのニューラルネットワークです。 Stable Diffusion では、画像生成の効率を高めるために重要な役割を担っています。 VAEは主に次の2つの構成要素から成り立っています： Encoder（エンコーダー） 画像（RGB）を潜在表現（latent）に圧縮する Decoder（デコ
WAN 2.1（Wan-AI製）は、中国アリババグループ傘下の研究チームが開発・公開したオープンソースの動画生成AIモデルです。テキストから動画を生成するT2V（Text-to-Video）、画像から動画を生成するI2V（Image-to-Video）、動画編集など複数のタスクに対応しており、2025年初頭に公開されて以来、ComfyUI ユーザーを中心に急速に普及しました。 モデルの規模は 1.3B（13億パラメータ） と 14B（1
WAN 2.1で動画生成を試みたとき、出力が緑がかったブロックノイズのような壊れた画像になった経験はないでしょうか。この問題の原因は、テキストエンコーダーの種類の間違いとFP8量子化の非互換性の組み合わせにあります。 原因①：テキストエンコーダーのアーキテクチャが違う よく混同されるのが、以下の2つのエンコーダーです。 モデル 使うT5エンコーダー FLUX T5-XXL（標準） WAN 2.1 umt5-XXL（UniMax T5、別
機械学習モデル（特にTransformer系）を触っていると、.safetensors ファイルをNetronで開いたときに、 「ノードが並んでいるだけで、配線（接続）が見えない」 という疑問にぶつかることがあります。 この記事ではこの現象の理由と、実際にブロックの接続（配線）がどこに記録されているのかを整理して解説します。 なぜNetronで配線が見えないのか？ 結論から言うと： safetensorsには「配線情報」が入っていないた
Wan2.1やWan2.2などの動画生成AIを動かそうとすると、必ずセットで必要になるのが UMT5-XXL というモデルです。「テキストエンコーダー」と呼ばれるこのモデル、一体何をしているのでしょうか。 UMT5-XXL の正式名称と意味 正式名称は Unified Multilingual T5 Extra Extra Large（統合多言語T5・超特大モデル）、HuggingFace上の識別子は google/umt5-xxl で
