Stable Diffusion の仕組みを理解するには、実際に小さなモデルを自分で動かしてみるのが一番の近道です。この記事では、100×100 の画像を生成する最小構成の拡散モデルを PyTorch で作ります。テキスト条件は「flower」に固定し、学習用と生成用のファイルを分けた構成です。 この記事で作るもの 画像サイズは 100×100 固定 ピクセル空間で動く DDPM(VAE は使わない) UNet は ResBlock、S
カテゴリー: 画像処理・作成
つかったワークフローは Qwen 2.1 VRAM 8GBで動く！10枚まで参照画像を追加できるGGUF版シンプルワークフロー です。Loraや参照画像無しで劣化画像の品質向上ができるか試してみました。 プロンプト Restore and upscale this image to ultra-high quality. Remove all JPEG compression artifacts, blocky noise, mosqu
はじめに Qwen Image 2.1は、Alibaba Qwenチームが公開した最新の画像生成・編集モデルです。通常のsafetensors版はVRAM消費が大きく、8GB前後のGPUでは動作が厳しい場面がありますが、今回紹介するワークフローはUNetをGGUF形式(Q5_K_M)で読み込むことで、VRAM 8GB程度の環境でも動作するように構成されています。さらに参照画像を最大10枚まで追加でき、複数の画像を組み合わせた高度な画像編
はじめに 画像生成AIで「この人にこの服を着せたい」「帽子だけ別の写真から持ってきたい」という着せ替え編集は、これまでハイエンドGPUが前提でした。しかしFireRed Image Editは、AlibabaのQwen Image Editをベースに進化した画像編集特化モデルで、GGUF量子化版とLightning LoRA（高速化LoRA）を組み合わせることで、VRAM 8GB程度のミドルクラスGPUでもローカル生成が可能になっていま
Stable Diffusionなどの画像生成AIや、Transformer系のモデルの中心には「Attention（注意機構）」と呼ばれる仕組みがあります。その中核をなすのが Q（Query）、K（Key）、V（Value） という3つの要素です。この記事では、テキストから画像が生成される過程を追いながら、QKVがそれぞれ何を意味し、どう連携しているのかを整理します。 Attention層の3つの重要な要素 Attention層では、
洋服の試着画像をAIで生成する「バーチャル試着（Virtual Try-On）」は、これまでクラウドサービスや高性能GPUが前提でした。しかし本記事で紹介するComfyUIワークフローは、GGUF量子化されたQwen-Image-Editと専用LoRAを組み合わせることで、VRAM 8GB程度のミドルスペックPCでもローカル環境で着せ替え画像を生成できるよう設計されています。 ワークフローのダウンロード この記事では、 そ
Stable Diffusion 1.5(SD1.5)の心臓部であるUNetは、「今の潜在表現にどれだけどのようなノイズがあるか」をテキスト条件をヒントに予測するネットワークです。(ノイズを予測し除去していくと元画像＝生成画像が現れる仕掛けです) 本記事では、その内部構造を、実装の仕組みから計算の直感まで順を追って解説します。ステップごとに通っている構造がこのUNETとなります。 1. 全体の流れ:UNetは何を入出力しているのか まず
ワークフローのダウンロード image_qwen_image_edit_2511_int8 ※ワークフローはVRAM８GBでも１回目１～２時間かかるものの動作します。 ※最新のComfyUIを使用する場合このワークフローをComfyUIの画面にドロップするだけでモデルも自動でダウンロードできます。 ComfyUIで画像生成・画像編集をしていると、「元画像の構図を残したまま、画風だけ変えたい」「写真をポップアート風にしたい」といった編集を
Stable DiffusionやFLUX、Wan2.2といった最新のAI画像・動画生成モデルを、インストール不要・完全無料でブラウザから試せる場所があるのをご存知でしょうか。それが「Hugging Face Spaces」です。 この記事では、Hugging Face Spacesで無料でAI画像・動画生成ができる仕組みと、知っておくべき制限について解説します。 Hugging Face Spacesとは？ Hugging Face
画像生成AIはクラウドサービスだけでなく、自分のPC上でローカル推論できるモデルも多数存在します。本記事では、ローカルで動作する主要モデルを6つ取り上げ、アーキテクチャの違い・必要なVRAM・各ツールとの互換性を徹底解説します。 アーキテクチャ別モデル解説 ① Stable Diffusion 1.5（SD 1.5） アーキテクチャ：UNet + CLIP パラメータ数：約860M ネイティブ解像度：512 × 512 VAE：KL-f
AI画像生成を学んでいると、「UNet」「safetensors」「Diffusers」といった用語が頻繁に出てきます。それぞれ関連はありますが、役割はまったく異なります。 この記事では、 UNetとは何か safetensorsとの違い Diffusersの意味（略語も含む） を、初心者でも理解できるように整理して解説します。 UNetとは？ UNet（ユー・ネット）は、**画像処理に使われるニューラルネットワークの構造（アーキテクチ
OpenPoseとは？Qwen Image EditでAnyPoseモデルを使ったポーズ転写の完全ガイド 画像生成AIの世界では「ポーズを自由に制御したい」というニーズは非常に高いです。本記事では、OpenPoseの基本概念から、最新のQwen Image EditとAnyPoseモデルを組み合わせたポーズ転写の実装方法まで、サンプルコードとともに詳しく解説します。 📌 目次 OpenPoseとは何か 使用するモデル一覧 OpenPos
Stable Diffusionなどの画像生成モデルを動かすとき、特に問題になるのが「VRAM不足」です。この記事では、Diffusersでよく使われるメモリ最適化機能と、その仕組み・注意点をまとめます。 メモリ最適化機能の概要 enable_model_cpu_offload() モデル全体をGPUに常駐させず、必要なときだけCPUからGPUへ転送する仕組みです。 使う直前にGPUへロード 使い終わったらCPUへ戻す 特徴 VRAM使
Qwenベースの画像生成モデルをローカルで動かそうとして、VRAM不足に悩んでいる方も多いと思います。 今回は Diffusers の transformer_qwenimage.py（QwenTransformer2DModel）を改造してTransformerブロックをCPUにオフロードする ことで、8GBのGPUでも動かすことに成功したので、その方法の一端を共有します。 問題：Transformerブロックが多すぎてVRAMが足り
Stable Diffusion系の画像生成でよく使われる IP-Adapter-FaceID と ControlNet（OpenPose）。 どちらも「条件を与えて画像をコントロールする」技術ですが、 内部の仕組みはかなり異なります。 この記事では、以下を順番に解説します： 顔特徴ベクトルとは何か Cross-Attention Layer の役割 IP-Adapter-FaceID の仕組み ControlNet（OpenPose）
エラー内容 ONNXモデルを読み込む際に、以下のようなエラーが出ることがあります。 Microsoft.ML.OnnxRuntime.OnnxRuntimeException: [ErrorCode:Fail] Load model failed: Type Error: Type parameter (T) of Optype (MatMul) bound to different types (tensor(float) and t
近年、画像生成AIの分野で注目されている「Stable Diffusion」。そして、その高速化技術として話題になっている「LCM（Latent Consistency Model）」。 この記事では、これらの技術の基本から違いまで、初心者にもわかりやすく解説します。 Stable Diffusionとは？生成モデルの一種 Stable Diffusionは、テキストから画像を生成できるAIモデルで、**生成モデル（Generative
HuggingFace の diffusers ライブラリに含まれる QwenImageEditPlusPipeline を使って 512×512 の画像を編集しようとすると、出力画像が不自然にズームインされたり画角がズレる現象が起きます。この記事ではその原因とコード修正方法を解説します。 🔍 現象 以下のようなコードで 512×512 の入力画像を処理すると、生成結果が元画像よりも「寄り」になってしまいます。 inputs = { "
