Stable Diffusion の仕組みを理解するには、実際に小さなモデルを自分で動かしてみるのが一番の近道です。この記事では、100×100 の画像を生成する最小構成の拡散モデルを PyTorch で作ります。テキスト条件は「flower」に固定し、学習用と生成用のファイルを分けた構成です。 この記事で作るもの 画像サイズは 100×100 固定 ピクセル空間で動く DDPM(VAE は使わない) UNet は ResBlock、S
タグ: Stable Diffusion
Stable Diffusionなどの画像生成AIや、Transformer系のモデルの中心には「Attention（注意機構）」と呼ばれる仕組みがあります。その中核をなすのが Q（Query）、K（Key）、V（Value） という3つの要素です。この記事では、テキストから画像が生成される過程を追いながら、QKVがそれぞれ何を意味し、どう連携しているのかを整理します。 Attention層の3つの重要な要素 Attention層では、
洋服の試着画像をAIで生成する「バーチャル試着（Virtual Try-On）」は、これまでクラウドサービスや高性能GPUが前提でした。しかし本記事で紹介するComfyUIワークフローは、GGUF量子化されたQwen-Image-Editと専用LoRAを組み合わせることで、VRAM 8GB程度のミドルスペックPCでもローカル環境で着せ替え画像を生成できるよう設計されています。 ワークフローのダウンロード この記事では、 そ
Stable Diffusion 1.5(SD1.5)の心臓部であるUNetは、「今の潜在表現にどれだけどのようなノイズがあるか」をテキスト条件をヒントに予測するネットワークです。(ノイズを予測し除去していくと元画像＝生成画像が現れる仕掛けです) 本記事では、その内部構造を、実装の仕組みから計算の直感まで順を追って解説します。ステップごとに通っている構造がこのUNETとなります。 1. 全体の流れ:UNetは何を入出力しているのか まず
Stable DiffusionやFLUX、Wan2.2といった最新のAI画像・動画生成モデルを、インストール不要・完全無料でブラウザから試せる場所があるのをご存知でしょうか。それが「Hugging Face Spaces」です。 この記事では、Hugging Face Spacesで無料でAI画像・動画生成ができる仕組みと、知っておくべき制限について解説します。 Hugging Face Spacesとは？ Hugging Face
WindowsでAIを動かそうとすると、よく見かけるのが CUDA と DirectML です。 NVIDIA製GPUであればCUDAが一般的ですが、AMDやIntelのGPU、あるいはCUDAを使えない環境では DirectML が選択肢になります。 そのDirectMLをPyTorchから利用するためのライブラリが torch-directml です。 この記事では、torch-directmlとは何か、必要になる場面、制限事項、イ
画像生成AIはクラウドサービスだけでなく、自分のPC上でローカル推論できるモデルも多数存在します。本記事では、ローカルで動作する主要モデルを6つ取り上げ、アーキテクチャの違い・必要なVRAM・各ツールとの互換性を徹底解説します。 アーキテクチャ別モデル解説 ① Stable Diffusion 1.5（SD 1.5） アーキテクチャ：UNet + CLIP パラメータ数：約860M ネイティブ解像度：512 × 512 VAE：KL-f
AI画像生成を学んでいると、「UNet」「safetensors」「Diffusers」といった用語が頻繁に出てきます。それぞれ関連はありますが、役割はまったく異なります。 この記事では、 UNetとは何か safetensorsとの違い Diffusersの意味（略語も含む） を、初心者でも理解できるように整理して解説します。 UNetとは？ UNet（ユー・ネット）は、**画像処理に使われるニューラルネットワークの構造（アーキテクチ
VAE（Variational Autoencoder）とは VAE（Variational Autoencoder）は、画像を「圧縮」と「復元」するためのニューラルネットワークです。 Stable Diffusion では、画像生成の効率を高めるために重要な役割を担っています。 VAEは主に次の2つの構成要素から成り立っています： Encoder（エンコーダー） 画像（RGB）を潜在表現（latent）に圧縮する Decoder（デコ
Stable Diffusionなどの画像生成モデルを動かすとき、特に問題になるのが「VRAM不足」です。この記事では、Diffusersでよく使われるメモリ最適化機能と、その仕組み・注意点をまとめます。 メモリ最適化機能の概要 enable_model_cpu_offload() モデル全体をGPUに常駐させず、必要なときだけCPUからGPUへ転送する仕組みです。 使う直前にGPUへロード 使い終わったらCPUへ戻す 特徴 VRAM使
Stable Diffusionで思い通りの画像を生成するには、モデルがどのように学習されているかを理解することが近道です。この記事では、主要な学習データセットの構造を解説しながら、そこから導き出せるプロンプトのコツをまとめます。 学習データセットとは何か Stable Diffusionのような画像生成AIは、大量の「画像とテキストのペア」を使って学習します。モデルは「このテキストが入力されたとき、この画像に近いものを生成せよ」という
Python製のAIアプリ（Stable Diffusion、Qwen、Wanなど）を「Python未導入のPCでもそのまま動くスタンドアロン実行ファイル」にしたい場合、よく使われるのが PyInstaller です。 pip install pyinstaller pyinstaller –onefile main.py しかし、AI系ライブラリを含むアプリでは単純にビルドしただけでは失敗することが多く、以下のような追加オ
Stable Diffusion系の画像生成でよく使われる IP-Adapter-FaceID と ControlNet（OpenPose）。 どちらも「条件を与えて画像をコントロールする」技術ですが、 内部の仕組みはかなり異なります。 この記事では、以下を順番に解説します： 顔特徴ベクトルとは何か Cross-Attention Layer の役割 IP-Adapter-FaceID の仕組み ControlNet（OpenPose）
AIモデル（例：Qwen・Stable Diffusionなど）を使っていると、 「どこにダウンロードされてるの？」「気づいたら容量がヤバい…」と感じたことはありませんか？ この記事では、Hugging Face系モデルの保存場所・容量の仕組み・削除方法・保存先変更まで、まとめて解説します。 ■ モデルはどこにダウンロードされるのか？ from_pretrained() を使うと、モデルは自動的に Hugging Faceのキャッシュ領
近年、画像生成AIやテキスト生成AIの普及に伴い、「AIモデルの利用ルール」が重要視されています。 その中でも注目されているのが OpenRAIL（Open Responsible AI License） です。 この記事では、OpenRAILの概要から「できること・できないこと」まで、わかりやすく解説します。 ■ OpenRAILとは？ OpenRAILとは、 AIモデルの自由な利用を認めつつ「責任ある使い方」を義務付けるライセンスで
近年、画像生成AIの分野で注目されている「Stable Diffusion」。そして、その高速化技術として話題になっている「LCM（Latent Consistency Model）」。 この記事では、これらの技術の基本から違いまで、初心者にもわかりやすく解説します。 Stable Diffusionとは？生成モデルの一種 Stable Diffusionは、テキストから画像を生成できるAIモデルで、**生成モデル（Generative
Stable Diffusion ONNX U-Net に別モデルを統合する方法 Stable Diffusion の ONNX 版 U-Net を改造して、別の ONNX モデルを内部に結合することで、 IP-Adapter カスタム Attention Control 信号 などを直接モデル内部に組み込むことができます。 この記事では 既存の model.onnx に別の model.onnx を統合する方法を紹介します。 例として
