Phi-3 Mini + OnnxRuntimeGenAI で作る C# 翻訳エージェント

using Microsoft.ML.OnnxRuntimeGenAI;

// ============================================================
//  モデルフォルダへのパスを環境に合わせて書き換えてください
// ============================================================
const string ModelPath =
    @"C:\Models\phi3-model\cpu_and_mobile\cpu-int4-rtn-block-32";

Console.OutputEncoding = System.Text.Encoding.UTF8;
Console.WriteLine("=== Phi-3 翻訳エージェント ===");
Console.WriteLine("'exit' で終了\n");

// モデルとトークナイザを初期化（初回は数秒かかります）
using var model     = new Model(ModelPath);
using var tokenizer  = new Tokenizer(model);

while (true)
{
    Console.Write("翻訳する文章を入力 ▶ ");
    var input = Console.ReadLine()?.Trim();

    if (string.IsNullOrWhiteSpace(input)) continue;
    if (input.ToLower() == "exit") break;

    // 翻訳方向を自動判定（英語が多ければ日本語へ、それ以外は英語へ）
    bool isEnglish = input.All(c =>
        c < 128 || char.IsWhiteSpace(c) || char.IsPunctuation(c));
    string direction = isEnglish
        ? "Translate the following English text into natural Japanese."
        : "Translate the following Japanese text into natural English.";

    // Phi-3 の ChatML フォーマットでプロンプトを組み立てる
    string prompt =
        $"<|system|>\n{direction}<|end|>\n" +
        $"<|user|>\n{input}<|end|>\n" +
        "<|assistant|>\n";

    // トークナイズ
    using var tokens = tokenizer.Encode(prompt);

    // 生成パラメータ
    var genParams = new GeneratorParams(model);
    genParams.SetSearchOption("max_length",  512);
    genParams.SetSearchOption("temperature", 0.3);  // 翻訳は低めに
    genParams.SetSearchOption("top_p",       0.9);
    genParams.SetInputSequences(tokens);

    // ストリーミング生成 & 出力
    Console.Write("\n翻訳結果 ▶ ");
    using var generator = new Generator(model, genParams);
    using var tokenDec  = tokenizer.CreateStream();

    while (!generator.IsDone())
    {
        generator.ComputeLogits();
        generator.GenerateNextToken();
        var token = generator.GetSequence(0)[^1];
        var word  = tokenDec.Decode(token);
        Console.Write(word);  // トークンごとにリアルタイム表示
    }
    Console.WriteLine("\n");
}

🔤 ChatML フォーマット

Phi-3 は <|system|>、<|user|>、<|assistant|> の特殊トークンで会話を区切ります。このフォーマットを守ることで指示追従精度が大幅に向上します。

🌊 ストリーミング出力

TokenizerStream を使って 1 トークンずつリアルタイム表示します。全生成完了を待たずに結果が見えるため UX が向上します。

🌡️ temperature=0.3

翻訳タスクでは創造性より正確性が重要。低い temperature 値で決定論的・安定した出力を得ます。（0〜1 の範囲で調整）

🔍 自動言語判定

ASCII 文字のみかどうかで英語/日本語を簡易判定し、プロンプトの翻訳方向を動的に切り替えます。

🌐 GPU 対応（DirectML）

Windows GPU（AMD/Intel/NVIDIA）を使う場合は NuGet パッケージを変更し、GPU 用モデルフォルダを指定：

dotnet add package Microsoft.ML.OnnxRuntimeGenAI.DirectML
# モデルパス: /directml/directml-int4-awq-block-128

🧩 Web API 化（ASP.NET Core）

翻訳エージェントをサービスとして公開するには Program.cs の翻訳ロジックを DI サービスに分離し、Minimal API のエンドポイントから呼ぶだけです：

app.MapPost("/translate", async (TranslationService svc, TranslateRequest req)
    => Results.Ok(await svc.TranslateAsync(req.Text)));

📄 翻訳対象を増やす（多言語）

System プロンプトの言語指示を変えるだけで多言語に対応可能です：

// 中国語への翻訳
string direction = "Translate the following text into Simplified Chinese.";