Stable Diffusionなどの画像生成モデルを動かすとき、特に問題になるのが「VRAM不足」です。この記事では、Diffusersでよく使われるメモリ最適化機能と、その仕組み・注意点をまとめます。 メモリ最適化機能の概要 enable_model_cpu_offload() モデル全体をGPUに常駐させず、必要なときだけCPUからGPUへ転送する仕組みです。 使う直前にGPUへロード 使い終わったらCPUへ戻す 特徴 VRAM使
タグ: エラー
1. Phi-3 Mini とは？ — 小型SLMの実力 Phi-3 Mini は Microsoft が 2024 年に公開した Small Language Model (SLM) です。パラメータ数は 3.8 億（3.8B） と GPT-4 系の 1/100 以下でありながら、多くのベンチマークで同規模または大規模モデルに匹敵する精度を達成しています。 なぜ翻訳エージェントに向いているのか？ 日英翻訳の精度が高い — 高品質な英語
APIを使ったシステムを本番運用していると、ある日突然リクエストが弾かれる――そんな経験はありませんか？原因のほとんどはレートリミット（呼び出し回数・トークン数の上限）への到達です。 しかし実は、APIはレスポンスを返すたびに「残り使用枠」を教えてくれています。その情報は HTTPレスポンスヘッダー に含まれており、PHP の cURL でも簡単に取得できます。この記事では、まずヘッダーを生で確認する方法から始めて、最終的に「使用率90
Python製のAIアプリ（Stable Diffusion、Qwen、Wanなど）を「Python未導入のPCでもそのまま動くスタンドアロン実行ファイル」にしたい場合、よく使われるのが PyInstaller です。 pip install pyinstaller pyinstaller –onefile main.py しかし、AI系ライブラリを含むアプリでは単純にビルドしただけでは失敗することが多く、以下のような追加オ
はじめに 最近のGPU環境では「CUDAは自動で入っているのか？」「PyTorchはどこまで自動でやってくれるのか？」といった疑問を持つ人が多いと思います。 この記事では、Pythonのembed版（ポータブル環境）でCUDA対応PyTorchを使ったGPU推論を行う方法を、最小構成でわかりやすく解説します。 結論（重要ポイントまとめ） RTX 20xx以降でも CUDAは自動では入らない ただし PyTorch（CUDA版）に必要なラ
Wan2.1やWan2.2などの動画生成AIを動かそうとすると、必ずセットで必要になるのが UMT5-XXL というモデルです。「テキストエンコーダー」と呼ばれるこのモデル、一体何をしているのでしょうか。 UMT5-XXL の正式名称と意味 正式名称は Unified Multilingual T5 Extra Extra Large（統合多言語T5・超特大モデル）、HuggingFace上の識別子は google/umt5-xxl で
Stable Diffusion ONNX U-Net に別モデルを統合する方法 Stable Diffusion の ONNX 版 U-Net を改造して、別の ONNX モデルを内部に結合することで、 IP-Adapter カスタム Attention Control 信号 などを直接モデル内部に組み込むことができます。 この記事では 既存の model.onnx に別の model.onnx を統合する方法を紹介します。 例として
