Stable Diffusion の仕組みを理解するには、実際に小さなモデルを自分で動かしてみるのが一番の近道です。この記事では、100×100 の画像を生成する最小構成の拡散モデルを PyTorch で作ります。テキスト条件は「flower」に固定し、学習用と生成用のファイルを分けた構成です。 この記事で作るもの 画像サイズは 100×100 固定 ピクセル空間で動く DDPM(VAE は使わない) UNet は ResBlock、S
タグ: gpu ページ 1/2
ComfyUIで「映像と音声を同時に」生成できるオープンモデルLTX（LTX-2.3）を、GGUF量子化モデルで動かすシンプルなワークフローを解説します。1枚の画像とプロンプトを渡すだけで、効果音や環境音付きの短い動画が作れます。 この記事で扱うワークフローは LTXV23_v1_4_I2AV.json（Image to Audio-Video）です。ノード数が少なく、構成を理解しやすいのが特徴です。 目次の目安 LTXとは何か LTX
はじめに Qwen Image 2.1は、Alibaba Qwenチームが公開した最新の画像生成・編集モデルです。通常のsafetensors版はVRAM消費が大きく、8GB前後のGPUでは動作が厳しい場面がありますが、今回紹介するワークフローはUNetをGGUF形式(Q5_K_M)で読み込むことで、VRAM 8GB程度の環境でも動作するように構成されています。さらに参照画像を最大10枚まで追加でき、複数の画像を組み合わせた高度な画像編
はじめに 画像生成AIで「この人にこの服を着せたい」「帽子だけ別の写真から持ってきたい」という着せ替え編集は、これまでハイエンドGPUが前提でした。しかしFireRed Image Editは、AlibabaのQwen Image Editをベースに進化した画像編集特化モデルで、GGUF量子化版とLightning LoRA（高速化LoRA）を組み合わせることで、VRAM 8GB程度のミドルクラスGPUでもローカル生成が可能になっていま
今回は、ComfyUI上で動くMiniMax H3という動画生成モデルを使い、8GB程度のVRAMでもローカルPCで「音声つき・リップシンクつき」のAI動画を作れるワークフローを紹介します。画像を1枚（または最初と最後のフレーム2枚）用意するだけで、セリフをしゃべる短い動画をノートPCクラスのGPUでも生成できるのがポイントです。 生成時間 VRAM 8GB 約１～２時間 MiniMax H3ってどんなモデル
AIモデル、特に大規模言語モデル(LLM)の性能や規模を語るとき、必ずと言っていいほど登場するキーワードがあります。それが「MatMul(行列積)」と「量子化」です。 この記事では、AIの計算の大部分を占める「MatMul」がそもそも何なのか、なぜそれが必要なのか、GPU上でどう計算されているのかを解説したうえで、その高速化手法の中でも特に重要な「量子化」について詳しく掘り下げていきます。 AIの計算の大部分を占めるMatMul Tra
洋服の試着画像をAIで生成する「バーチャル試着（Virtual Try-On）」は、これまでクラウドサービスや高性能GPUが前提でした。しかし本記事で紹介するComfyUIワークフローは、GGUF量子化されたQwen-Image-Editと専用LoRAを組み合わせることで、VRAM 8GB程度のミドルスペックPCでもローカル環境で着せ替え画像を生成できるよう設計されています。 ワークフローのダウンロード この記事では、 そ
Stable Diffusion 1.5(SD1.5)の心臓部であるUNetは、「今の潜在表現にどれだけどのようなノイズがあるか」をテキスト条件をヒントに予測するネットワークです。(ノイズを予測し除去していくと元画像＝生成画像が現れる仕掛けです) 本記事では、その内部構造を、実装の仕組みから計算の直感まで順を追って解説します。ステップごとに通っている構造がこのUNETとなります。 1. 全体の流れ:UNetは何を入出力しているのか まず
Stable DiffusionやFLUX、Wan2.2といった最新のAI画像・動画生成モデルを、インストール不要・完全無料でブラウザから試せる場所があるのをご存知でしょうか。それが「Hugging Face Spaces」です。 この記事では、Hugging Face Spacesで無料でAI画像・動画生成ができる仕組みと、知っておくべき制限について解説します。 Hugging Face Spacesとは？ Hugging Face
WindowsでAIを動かそうとすると、よく見かけるのが CUDA と DirectML です。 NVIDIA製GPUであればCUDAが一般的ですが、AMDやIntelのGPU、あるいはCUDAを使えない環境では DirectML が選択肢になります。 そのDirectMLをPyTorchから利用するためのライブラリが torch-directml です。 この記事では、torch-directmlとは何か、必要になる場面、制限事項、イ
ローカルPC上で完全に動作する音声会話AIを作る方法を解説します。DeepSeek-R1（Ollama）・Silero VAD・Whisper・VOICEVOXを組み合わせて、「話しかけると自動で認識して自然な声で返答してくれるシステム」をWindows環境に構築します。 システム構成 マイク音声 ↓ Silero VAD（発話検出） ← 声が来たら自動で反応 ↓ Whisper（音声→テキスト） ↓ DeepSeek-R1 / Oll
AI動画生成の分野で注目を集める「Seedance 2.0」と「Wan 2.2」。この2つは似たような文脈で語られることが多いですが、実は根本的に異なる性質を持つモデルです。本記事では、両者の違いを整理したうえで、ローカル環境でWan 2.2を動かすための要件と手順を解説します。 Seedance 2.0とは Seedance 2.0は、TikTokやDouyinを運営するByteDanceが開発したAI動画生成モデルです。テキスト・画
生成AIブームが続く中、2025〜2026年にかけて急速に存在感を高めているのが、中国系LLM（大規模言語モデル）です。 特に、 DeepSeek Qwen GLM Kimi Doubao などは、驚異的な低価格で高性能APIを提供し、世界中の開発者に利用され始めています。 一方で、 「中国製AIは危険なのでは？」 「アメリカ製なら安全？」 「実際に企業はどれを使っている？」 という疑問を持つ人も多いでしょう。 この記事では、2026年
画像生成AIはクラウドサービスだけでなく、自分のPC上でローカル推論できるモデルも多数存在します。本記事では、ローカルで動作する主要モデルを6つ取り上げ、アーキテクチャの違い・必要なVRAM・各ツールとの互換性を徹底解説します。 アーキテクチャ別モデル解説 ① Stable Diffusion 1.5（SD 1.5） アーキテクチャ：UNet + CLIP パラメータ数：約860M ネイティブ解像度：512 × 512 VAE：KL-f
VOICEVOXとは？ VOICEVOXは、無料で使えるローカル動作の音声合成ソフトです。ずんだもん・四国めたん・春日部つむぎなど、個性豊かなキャラクターボイスを使って日本語テキストを音声に変換できます。 完全ローカル動作（インターネット不要） 商用・個人利用ともに無料（各キャラクターの利用規約要確認） REST API経由でPythonから簡単に呼び出し可能 Windows / Mac / Linux 対応 VOICEVOX Engi
「ChatGPTみたいなAIを、自分のPCだけで無料＆無制限に使いたい」 そんな人におすすめなのが、ローカルAI実行ツール Ollama と、高性能モデル DeepSeek-R1 の組み合わせです。 この方法なら、 月額料金なし API料金なし 回数制限なし 入力データが外部送信されない オフラインでも使える PHPなどのプログラミングも可能 という、かなり強力な環境を作れます。 しかも、VRAM 8GBクラスのGPUでも動作可能です。
はじめに nvidia-smi を実行すると、次のような表示を見ることがあります。 CUDA Version: 13.0 この表示を見て、 「CUDA 13が使える」 「どのNVIDIA GPUでも動く」 と思ってしまうケースが非常に多いですが、これは正確ではありません。 この記事では、 CUDAとは何か（簡単に） CUDA Version 表示の本当の意味 CUDAが動くGPUの条件 推論用途でCUDAを自分で入れる必要があるのか 失
VAE（Variational Autoencoder）とは VAE（Variational Autoencoder）は、画像を「圧縮」と「復元」するためのニューラルネットワークです。 Stable Diffusion では、画像生成の効率を高めるために重要な役割を担っています。 VAEは主に次の2つの構成要素から成り立っています： Encoder（エンコーダー） 画像（RGB）を潜在表現（latent）に圧縮する Decoder（デコ
