Stable Diffusion の仕組みを理解するには、実際に小さなモデルを自分で動かしてみるのが一番の近道です。この記事では、100×100 の画像を生成する最小構成の拡散モデルを PyTorch で作ります。テキスト条件は「flower」に固定し、学習用と生成用のファイルを分けた構成です。 この記事で作るもの 画像サイズは 100×100 固定 ピクセル空間で動く DDPM(VAE は使わない) UNet は ResBlock、S
タグ: transformer ページ 1/2
ComfyUIで「映像と音声を同時に」生成できるオープンモデルLTX（LTX-2.3）を、GGUF量子化モデルで動かすシンプルなワークフローを解説します。1枚の画像とプロンプトを渡すだけで、効果音や環境音付きの短い動画が作れます。 この記事で扱うワークフローは LTXV23_v1_4_I2AV.json（Image to Audio-Video）です。ノード数が少なく、構成を理解しやすいのが特徴です。 目次の目安 LTXとは何か LTX
はじめに 画像生成AIで「この人にこの服を着せたい」「帽子だけ別の写真から持ってきたい」という着せ替え編集は、これまでハイエンドGPUが前提でした。しかしFireRed Image Editは、AlibabaのQwen Image Editをベースに進化した画像編集特化モデルで、GGUF量子化版とLightning LoRA（高速化LoRA）を組み合わせることで、VRAM 8GB程度のミドルクラスGPUでもローカル生成が可能になっていま
Stable Diffusionなどの画像生成AIや、Transformer系のモデルの中心には「Attention（注意機構）」と呼ばれる仕組みがあります。その中核をなすのが Q（Query）、K（Key）、V（Value） という3つの要素です。この記事では、テキストから画像が生成される過程を追いながら、QKVがそれぞれ何を意味し、どう連携しているのかを整理します。 Attention層の3つの重要な要素 Attention層では、
AIモデル、特に大規模言語モデル(LLM)の性能や規模を語るとき、必ずと言っていいほど登場するキーワードがあります。それが「MatMul(行列積)」と「量子化」です。 この記事では、AIの計算の大部分を占める「MatMul」がそもそも何なのか、なぜそれが必要なのか、GPU上でどう計算されているのかを解説したうえで、その高速化手法の中でも特に重要な「量子化」について詳しく掘り下げていきます。 AIの計算の大部分を占めるMatMul Tra
Stable Diffusion 1.5(SD1.5)の心臓部であるUNetは、「今の潜在表現にどれだけどのようなノイズがあるか」をテキスト条件をヒントに予測するネットワークです。(ノイズを予測し除去していくと元画像＝生成画像が現れる仕掛けです) 本記事では、その内部構造を、実装の仕組みから計算の直感まで順を追って解説します。ステップごとに通っている構造がこのUNETとなります。 1. 全体の流れ:UNetは何を入出力しているのか まず
WindowsでAIを動かそうとすると、よく見かけるのが CUDA と DirectML です。 NVIDIA製GPUであればCUDAが一般的ですが、AMDやIntelのGPU、あるいはCUDAを使えない環境では DirectML が選択肢になります。 そのDirectMLをPyTorchから利用するためのライブラリが torch-directml です。 この記事では、torch-directmlとは何か、必要になる場面、制限事項、イ
AI画像生成技術の進化によって、実写と区別が難しい画像も増えてきました。「この画像はAI生成なのか？」と確認したい場面もあると思います。 オンラインサービスを使う方法もありますが、画像を外部へアップロードしたくない場合は、ローカル環境で動作する判定ツールが便利です。 この記事では、Pythonを使ってローカルPC上でAI生成画像を判定する簡単なサンプルを紹介します。 ローカル判定のメリット ローカル実行には次のような利点があります。 画
画像生成AIはクラウドサービスだけでなく、自分のPC上でローカル推論できるモデルも多数存在します。本記事では、ローカルで動作する主要モデルを6つ取り上げ、アーキテクチャの違い・必要なVRAM・各ツールとの互換性を徹底解説します。 アーキテクチャ別モデル解説 ① Stable Diffusion 1.5（SD 1.5） アーキテクチャ：UNet + CLIP パラメータ数：約860M ネイティブ解像度：512 × 512 VAE：KL-f
ONNXモデルを読み込む際に、以下のようなエラーに遭遇したことはありませんか？ Node (MultiHeadAttention_28) Op (MultiHeadAttention) [ShapeInferenceError] Inputs 0 (query) shall be 3 or 5 dimensions この記事では、このエラーの意味と原因、さらに解決に重要な「dynamic_axes」の考え方と書き方について、実践的に解説
OpenPoseとは？Qwen Image EditでAnyPoseモデルを使ったポーズ転写の完全ガイド 画像生成AIの世界では「ポーズを自由に制御したい」というニーズは非常に高いです。本記事では、OpenPoseの基本概念から、最新のQwen Image EditとAnyPoseモデルを組み合わせたポーズ転写の実装方法まで、サンプルコードとともに詳しく解説します。 📌 目次 OpenPoseとは何か 使用するモデル一覧 OpenPos
近年のAIモデルを見ていると、「Diffusion」と「Transformer」という2つの技術の境界がどんどん曖昧になってきています。 特に画像生成やマルチモーダルAIの分野では、この2つが組み合わさるのが当たり前になりつつあります。 本記事では、その理由を整理しながら、なぜこのような変化が起きているのかを分かりやすく解説します。 DiffusionとTransformerの本質的な違い まず重要なのは、この2つはそもそも役割が異なる
Python製のAIアプリ（Stable Diffusion、Qwen、Wanなど）を「Python未導入のPCでもそのまま動くスタンドアロン実行ファイル」にしたい場合、よく使われるのが PyInstaller です。 pip install pyinstaller pyinstaller –onefile main.py しかし、AI系ライブラリを含むアプリでは単純にビルドしただけでは失敗することが多く、以下のような追加オ
Qwenベースの画像生成モデルをローカルで動かそうとして、VRAM不足に悩んでいる方も多いと思います。 今回は Diffusers の transformer_qwenimage.py（QwenTransformer2DModel）を改造してTransformerブロックをCPUにオフロードする ことで、8GBのGPUでも動かすことに成功したので、その方法の一端を共有します。 問題：Transformerブロックが多すぎてVRAMが足り
WanによるAI動画生成で「プロンプトを書いたのに人物が全然動かない」という経験はありませんか？この記事では、Wanで人物の動きを強く引き出すプロンプトのコツと、シンプルな実行コードをまとめて解説します。 なぜ人物が動かないのか？ プロンプトの書き方以前に、パラメータ設定が原因でほぼ動かなくなるケースが多いです。まず以下を確認してください。 パラメータ NG値 推奨値 guidance_scale 1～２（低すぎる） 5.0〜7.0 n
AIモデル（例：Qwen・Stable Diffusionなど）を使っていると、 「どこにダウンロードされてるの？」「気づいたら容量がヤバい…」と感じたことはありませんか？ この記事では、Hugging Face系モデルの保存場所・容量の仕組み・削除方法・保存先変更まで、まとめて解説します。 ■ モデルはどこにダウンロードされるのか？ from_pretrained() を使うと、モデルは自動的に Hugging Faceのキャッシュ領
機械学習モデル（特にTransformer系）を触っていると、.safetensors ファイルをNetronで開いたときに、 「ノードが並んでいるだけで、配線（接続）が見えない」 という疑問にぶつかることがあります。 この記事ではこの現象の理由と、実際にブロックの接続（配線）がどこに記録されているのかを整理して解説します。 なぜNetronで配線が見えないのか？ 結論から言うと： safetensorsには「配線情報」が入っていないた
Wan2.1やWan2.2などの動画生成AIを動かそうとすると、必ずセットで必要になるのが UMT5-XXL というモデルです。「テキストエンコーダー」と呼ばれるこのモデル、一体何をしているのでしょうか。 UMT5-XXL の正式名称と意味 正式名称は Unified Multilingual T5 Extra Extra Large（統合多言語T5・超特大モデル）、HuggingFace上の識別子は google/umt5-xxl で
