オンプレLLM導入判断シート — 業務要件から、GPU構成と稟議の根拠を出す

この資料について

オンプレLLMの検討は、モデルやGPUの比較から始めると必ず行き詰まります。コンテキスト長と同時実行数が決まらないとGPU枚数は原理的に出ず、その2つは業務要件からしか出てこないためです。適用業務の特定、データ制約の区分判定、クラウドAPIでの事前検証、量とコストの分岐点、必要VRAMの試算、ライセンス確認までを記入欄付きの6ステップに落とし、最後に稟議サマリ1枚へ転記できる構成にしました。

Contents

• 記入して使う6ステップ。空欄が残る＝まだ決まっていない箇所が分かる
• 必要VRAM＝重み＋KVキャッシュ＋オーバーヘッドの試算と、モデル別早見表12種
• クラウドAPI／マネージド推論／オンプレの3案比較表と、稟議サマリ1枚テンプレ

こんな方に向けた資料です

• 情報システム部門・基盤エンジニア
• オンプレLLMを自社で建てるかを判断し、稟議を起こす担当者

目次

1. 01この資料の使い方と6ステップの全体像読む資料ではなく、自社の数字を書き込むワークシート。適用業務からライセンス・体制までの6ステップの流れを示す。
2. 02STEP 1 適用業務を決める対象業務・1件あたりの入力トークン・1日の件数・ピーク時の同時実行数の記入欄と、粒度の良い例・悪い例。
3. 03STEP 2 データ制約を事実として確認する「外に出せない」の根拠を、契約・法令／社内規程／慣習・心情の3区分で判定し、根拠文書と確認者を記入する。
4. 04STEP 3 基盤を買う前にクラウドAPIで確かめる精度・コンテキスト長・実トークン数・レイテンシを先にクラウドAPIで検証する項目と、それができない場合の代わりの検証。
5. 05STEP 4 量とコストの分岐点を出す月間トークンからAPIとオンプレの月額を出す試算テンプレートと、オンプレで入れ忘れやすい6つの費目。
6. 06STEP 5 必要VRAMの算定と構成パターン重み・KVキャッシュ・オーバーヘッドから必要VRAMを出す式、12モデルの重みVRAM早見表、3つの構成パターン。
7. 07STEP 6 ライセンス・3案比較・運用体制ライセンスの確認5項目、クラウドAPI・マネージド推論・オンプレの3案比較表、運用6項目の担当の記入欄。
8. 08稟議サマリとGo / No-Goの判定記入欄から転記する稟議サマリ1枚のテンプレートと、No-Go条件5つ・Go条件5つによる判定表。