「社内で動くAIを導入したいが、どんな機材を用意すればいいのか分からない」。オンプレミスAIを検討するとき、最初に悩むのが機材選びです。GPUの種類、メモリ、価格——選択肢が多く、迷いがちです。本コラムでは、用途と予算から機材規模を決めるための、実務的な考え方を整理します。
機材選びでつまずく最大の原因は、「とにかく高性能なものを」と考えてしまうことです。最新最大のGPUは確かに速いですが、価格も消費電力も跳ね上がります。大切なのは、自社の業務に必要な精度と速度を、出せる予算で満たすこと。多くの中小企業の実務——文書の要約、下書き、分類、社内検索——は、最上位機を必要としません。等身大の構成から始め、効果を見ながら広げるのが堅実です。
AIの機材選びは、突き詰めるとGPUのメモリ（VRAM）の話に行き着きます。動かしたいモデルの大きさに対して、VRAMが足りるかどうかが要だからです。ざっくりした目安はこうです。手のひらサイズの省電力機（VRAM共有・少なめ）なら7〜8B級の小型モデル。一般的なデスクトップGPU（VRAM 8〜24GB）なら、量子化を併用して7〜32B級。本格運用や大型モデル、複数人同時利用には、大容量VRAMのGPUを積んだワークステーションやサーバー。用途で必要なモデル規模を決め、それが載るVRAMを選ぶ、という順番です。
私たちは、オンプレAIの構成を大きく3段階で捉えることをおすすめしています。
第1段：検証・小規模。まず社内で試したい、PoCや受付・展示で使いたい、という段階です。手のひらサイズの省電力機が適し、7〜8B級モデルで日常タスクを回せます。最小コストで「自社でAIが動く」を体験できます。
第2段：部署の本格運用。契約レビュー、文書ドラフト、社内ナレッジ検索などを実務で回す段階です。GPUを積んだワークステーションで、30B級までのモデルと社内文書RAGを組み合わせます。速度・品質ともに実用水準に届きます。
第3段：全社・基幹運用。大型モデル、複数人の同時利用、ファインチューニングまで行う段階です。大容量GPUのサーバーを冗長構成で組み、可用性や保守も含めて設計します。
GPUばかりに目が行きますが、実は周辺も重要です。電源容量と発熱処理（GPUは電気を食い、熱を出します）、ネットワーク（社内で完結させるなら有線が安定）、ストレージ（社内文書やモデルの保管）、そして運用のしやすさ（専任IT担当がいなくても回せるか）。とりわけ中小企業では、「届いたその日から使える状態か」「翌月も引き継ぎなしで回せるか」が、機材スペック以上に効いてきます。
最初から全社規模を狙う必要はありません。第1段の検証機で手応えを確かめ、効果が見えたら第2段へ、という具合に段階的に拡張していくのが、無駄がなく失敗も少ない進め方です。小さく始めて、確実に回るものを積み上げる。これはオンプレAIに限らず、システム導入全般に通じる鉄則です。
オンプレAIの機材は、「最大」ではなく「用途に必要十分」で選ぶのが正解です。動かしたいモデル規模からVRAMを決め、検証→部署運用→全社運用と段階的に育てる。GPUだけでなく、電源・冷却・ネットワーク・運用のしやすさまで含めて設計する。私たちは、こうした考え方にもとづき、用途と予算で選べる構成（AIシリーズ）をご用意し、選定から構築・運用まで一貫してご支援しています。