目次
月50万円のAIコストは、実は半分がムダだ
GPT-4oを使っている企業に聞く。そのAPI呼び出しの内訳を見たことがあるか。
FAQへの定型回答、ドキュメントの分類、社内データの抽出——これらは全体の60〜80%を占めながら、GPT-4oの能力の10%も使っていない。月次推論コストに100万トークン出力あたり5ドルを払い続けているのは、戦闘機で宅配便を運ぶようなものだ。
SLMはLLMを「不要」にしない。しかしLLMで処理すべきでない単純タスクを奪うことで、企業のAI予算を根本的に組み替える。
通説：「小さいモデルは性能が低い」
よく耳にする反論がある。「SLMはベンチマークでLLMに劣る。コスト削減より品質が落ちるリスクの方が大きい」という見方だ。
確かに数字は正直だ。GPT-4oのMMLUスコアが90%超であるのに対し、Phi-3 Medium（14B）は78%、Gemma 2 9Bは71%にとどまる。全般的な汎用性では格差が残る。
反論：ベンチマークと業務ミスマッチ
しかし「MMLUスコアの差が業務品質の差に直結する」という前提は間違っている。
MMLUは大学院レベルの学術知識を測るベンチマークだ。「注文確認メールを分類する」「社内規定から回答を抽出する」「製品説明文を3行に要約する」——企業の実務の大半はこれらに属する。YaleとStanfordの共同研究（2025年）が「7Bモデルのエラー率はGPT-4oの3〜5倍」と報告したのは事実だが、それは複雑な多段階推論や法律解釈でのデータだ。
定型タスク限定で測定すると構図が逆転する。 Microsoftの社内実験では、カスタマーサポートの一次応答タスクでPhi-3 MediumはGPT-4oと統計的に区別できない品質を達成した。コストは約97%減だった。
推論コストの現実を見ると落差は明確だ。
| モデル | 推論コスト（$/100万トークン出力） |
|---|---|
| GPT-4o | 5.00 |
| Claude 3.5 Sonnet | 3.00 |
| Phi-3 Medium（API） | 0.10 |
| Gemma 2 9B（セルフホスト） | 0.02 |
| Phi-3 Mini（ローカル実行） | 0.00 |
月次推論コストが100万トークン規模の企業でPhi-3 Mediumに移行できる業務を仕分けすれば、コスト削減率は90%超が現実になる。
結論：移行の設計は「何を任せないか」から始める
SLMの正しい使い方は、LLMを「代替」することではなく「解放」することだ。
単純タスクをSLMに移せば、LLMのコンテキストウィンドウと費用を複雑な分析・設計・法律解釈に集中できる。「AI階層アーキテクチャ」と呼ばれるこの設計が、2026年以降の競争優位を分ける。
実装ステップは三つだ。第一に、現在のAPI呼び出しをタスク複雑度で分類する（単純/中程度/複雑）。第二に、「単純」カテゴリをSLMで処理する検証環境をOllamaで一日以内に構築する。第三に、品質差が許容範囲内であればPhi-3 MediumまたはGemma 2 9Bへ段階移行する。
SLMが苦手なもの——複雑な多段階推論、100K字超の文脈要約、創造的な文章生成——は今もLLMにしかできない。その判断を誤らなければ、コスト削減と品質維持は両立する。
「SLMで全部やろう」は誤りだ。「SLMで何をやるか決める」が正しい問いだ。
引用元・参考リンク
免責事項 — 当記事は情報提供を目的としており、特定の金融商品の売買を推奨するものではありません。投資判断はご自身の責任で行ってください。