Stable Diffusion の仕組みを理解するには、実際に小さなモデルを自分で動かしてみるのが一番の近道です。この記事では、100×100 の画像を生成する最小構成の拡散モデルを PyTorch で作ります。テキスト条件は「flower」に固定し、学習用と生成用のファイルを分けた構成です。 この記事で作るもの 画像サイズは 100×100 固定 ピクセル空間で動く DDPM(VAE は使わない) UNet は ResBlock、S
タグ: tensor ページ 1/2
ComfyUIで「映像と音声を同時に」生成できるオープンモデルLTX（LTX-2.3）を、GGUF量子化モデルで動かすシンプルなワークフローを解説します。1枚の画像とプロンプトを渡すだけで、効果音や環境音付きの短い動画が作れます。 この記事で扱うワークフローは LTXV23_v1_4_I2AV.json（Image to Audio-Video）です。ノード数が少なく、構成を理解しやすいのが特徴です。 目次の目安 LTXとは何か LTX
はじめに Qwen Image 2.1は、Alibaba Qwenチームが公開した最新の画像生成・編集モデルです。通常のsafetensors版はVRAM消費が大きく、8GB前後のGPUでは動作が厳しい場面がありますが、今回紹介するワークフローはUNetをGGUF形式(Q5_K_M)で読み込むことで、VRAM 8GB程度の環境でも動作するように構成されています。さらに参照画像を最大10枚まで追加でき、複数の画像を組み合わせた高度な画像編
はじめに 画像生成AIで「この人にこの服を着せたい」「帽子だけ別の写真から持ってきたい」という着せ替え編集は、これまでハイエンドGPUが前提でした。しかしFireRed Image Editは、AlibabaのQwen Image Editをベースに進化した画像編集特化モデルで、GGUF量子化版とLightning LoRA（高速化LoRA）を組み合わせることで、VRAM 8GB程度のミドルクラスGPUでもローカル生成が可能になっていま
今回は、ComfyUI上で動くMiniMax H3という動画生成モデルを使い、8GB程度のVRAMでもローカルPCで「音声つき・リップシンクつき」のAI動画を作れるワークフローを紹介します。画像を1枚（または最初と最後のフレーム2枚）用意するだけで、セリフをしゃべる短い動画をノートPCクラスのGPUでも生成できるのがポイントです。 生成時間 VRAM 8GB 約１～２時間 MiniMax H3ってどんなモデル
AIモデル、特に大規模言語モデル(LLM)の性能や規模を語るとき、必ずと言っていいほど登場するキーワードがあります。それが「MatMul(行列積)」と「量子化」です。 この記事では、AIの計算の大部分を占める「MatMul」がそもそも何なのか、なぜそれが必要なのか、GPU上でどう計算されているのかを解説したうえで、その高速化手法の中でも特に重要な「量子化」について詳しく掘り下げていきます。 AIの計算の大部分を占めるMatMul Tra
洋服の試着画像をAIで生成する「バーチャル試着（Virtual Try-On）」は、これまでクラウドサービスや高性能GPUが前提でした。しかし本記事で紹介するComfyUIワークフローは、GGUF量子化されたQwen-Image-Editと専用LoRAを組み合わせることで、VRAM 8GB程度のミドルスペックPCでもローカル環境で着せ替え画像を生成できるよう設計されています。 ワークフローのダウンロード この記事では、 そ
Stable Diffusion 1.5(SD1.5)の心臓部であるUNetは、「今の潜在表現にどれだけどのようなノイズがあるか」をテキスト条件をヒントに予測するネットワークです。(ノイズを予測し除去していくと元画像＝生成画像が現れる仕掛けです) 本記事では、その内部構造を、実装の仕組みから計算の直感まで順を追って解説します。ステップごとに通っている構造がこのUNETとなります。 1. 全体の流れ:UNetは何を入出力しているのか まず
ワークフローのダウンロード image_qwen_image_edit_2511_int8 ※ワークフローはVRAM８GBでも１回目１～２時間かかるものの動作します。 ※最新のComfyUIを使用する場合このワークフローをComfyUIの画面にドロップするだけでモデルも自動でダウンロードできます。 ComfyUIで画像生成・画像編集をしていると、「元画像の構図を残したまま、画風だけ変えたい」「写真をポップアート風にしたい」といった編集を
WindowsでAIを動かそうとすると、よく見かけるのが CUDA と DirectML です。 NVIDIA製GPUであればCUDAが一般的ですが、AMDやIntelのGPU、あるいはCUDAを使えない環境では DirectML が選択肢になります。 そのDirectMLをPyTorchから利用するためのライブラリが torch-directml です。 この記事では、torch-directmlとは何か、必要になる場面、制限事項、イ
PyTorchでONNXモデルを書き出す際、大きなモデルではONNX External Data形式を利用して、モデル本体と重みファイルを別々に保存したいことがあります。 この記事では、 model.onnx model_weights.bin の2ファイルに分けて出力する方法と、古いPyTorchを使用している場合の対処法を紹介します。 通常のONNX出力 一般的なONNX出力は次のようになります。 torch.onnx.export
はじめに nvidia-smi を実行すると、次のような表示を見ることがあります。 CUDA Version: 13.0 この表示を見て、 「CUDA 13が使える」 「どのNVIDIA GPUでも動く」 と思ってしまうケースが非常に多いですが、これは正確ではありません。 この記事では、 CUDAとは何か（簡単に） CUDA Version 表示の本当の意味 CUDAが動くGPUの条件 推論用途でCUDAを自分で入れる必要があるのか 失
AI画像生成を学んでいると、「UNet」「safetensors」「Diffusers」といった用語が頻繁に出てきます。それぞれ関連はありますが、役割はまったく異なります。 この記事では、 UNetとは何か safetensorsとの違い Diffusersの意味（略語も含む） を、初心者でも理解できるように整理して解説します。 UNetとは？ UNet（ユー・ネット）は、**画像処理に使われるニューラルネットワークの構造（アーキテクチ
OpenPoseとは？Qwen Image EditでAnyPoseモデルを使ったポーズ転写の完全ガイド 画像生成AIの世界では「ポーズを自由に制御したい」というニーズは非常に高いです。本記事では、OpenPoseの基本概念から、最新のQwen Image EditとAnyPoseモデルを組み合わせたポーズ転写の実装方法まで、サンプルコードとともに詳しく解説します。 📌 目次 OpenPoseとは何か 使用するモデル一覧 OpenPos
VAE（Variational Autoencoder）とは VAE（Variational Autoencoder）は、画像を「圧縮」と「復元」するためのニューラルネットワークです。 Stable Diffusion では、画像生成の効率を高めるために重要な役割を担っています。 VAEは主に次の2つの構成要素から成り立っています： Encoder（エンコーダー） 画像（RGB）を潜在表現（latent）に圧縮する Decoder（デコ
WAN 2.1（Wan-AI製）は、中国アリババグループ傘下の研究チームが開発・公開したオープンソースの動画生成AIモデルです。テキストから動画を生成するT2V（Text-to-Video）、画像から動画を生成するI2V（Image-to-Video）、動画編集など複数のタスクに対応しており、2025年初頭に公開されて以来、ComfyUI ユーザーを中心に急速に普及しました。 モデルの規模は 1.3B（13億パラメータ） と 14B（1
WAN 2.1で動画生成を試みたとき、出力が緑がかったブロックノイズのような壊れた画像になった経験はないでしょうか。この問題の原因は、テキストエンコーダーの種類の間違いとFP8量子化の非互換性の組み合わせにあります。 原因①：テキストエンコーダーのアーキテクチャが違う よく混同されるのが、以下の2つのエンコーダーです。 モデル 使うT5エンコーダー FLUX T5-XXL（標準） WAN 2.1 umt5-XXL（UniMax T5、別
機械学習モデル（特にTransformer系）を触っていると、.safetensors ファイルをNetronで開いたときに、 「ノードが並んでいるだけで、配線（接続）が見えない」 という疑問にぶつかることがあります。 この記事ではこの現象の理由と、実際にブロックの接続（配線）がどこに記録されているのかを整理して解説します。 なぜNetronで配線が見えないのか？ 結論から言うと： safetensorsには「配線情報」が入っていないた
