「自社内で動かす日本語AIを導入したい。でも、モデルが多すぎてどれを選べばよいか分からない」。オンプレミスでの生成AI活用を検討するとき、最初にぶつかるのがこの悩みです。本コラムでは、日本語のローカルLLM（大規模言語モデル）を選ぶときに押さえておきたい観点を、実務目線で整理します。
意外と見落とされがちですが、最初に決めるべきは個別のモデル名ではなく「どの系統（ファミリ）を使うか」です。理由は将来の拡張にあります。後から複数の特化モデルを重みマージして1つに統合したい場合、マージできるのは同じ系統から派生したモデル同士に限られます。最初に系統を統一しておくと、後の選択肢が広がります。
2026年時点で有力なベースの一つが Qwen3 系です。多言語に対応し、サイズの割に性能が高いと報告されています。日本語を重視するなら、Qwen3 をベースに日本語を強化した Qwen3 Swallow が、日本語ベンチマークで安定して高い評価を得ています。ほかに Llama 系、Gemma、ELYZA、Swallow なども選択肢になりますが、いずれを採用するにせよ「系統を混在させず、統一して使う」ことが肝心です。
モデルの大きさは「パラメータ数」で表され、7B（70億）、14B、32B…と増えるほど賢くなりやすい一方、必要なメモリ（GPUのVRAM）も増えます。ここでざっくりした目安を持っておくと選びやすくなります。
たとえば一般的なコンシューマ向けGPUの24GB VRAM環境では、7Bや13B級のモデルは余裕をもって扱えます。30B前後になると、工夫しないとメモリが綱渡りになりますが、後述する量子化や微調整ツールを使えば収まる範囲です。手のひらサイズの省電力機なら7〜8B級、据え置きのGPU機なら14〜32B級、という具合に、機器の能力と用途で規模を選びます。最新最大を追うより、「自社の業務に必要な精度を、手元のVRAMで満たす」発想が現実的です。
量子化とは、モデルの数値の精度をある程度落とすことで、必要なメモリを大きく削減する技術です。精度の低下はわずかにとどめつつ、本来は大きなGPUが必要なモデルを、より小さなメモリで動かせるようになります。ローカル運用では、この量子化を前提にモデルとハードを組み合わせるのが定石です。
既製のモデルをそのまま使うだけでなく、自社の業務に合わせて微調整（ファインチューニング）すると、精度は大きく変わります。中でもQLoRAという手法は、限られたGPUメモリでも効率よく微調整できるため、コンシューマ環境での定番です。さらにUnslothのような高速化ツールを併用すると、学習速度とメモリ効率が大きく改善し、実質的に必須といえる存在になっています。名寄せ用、文書要約用、SQL生成用——というように、用途ごとに小さなアダプタを学習しておくと、後で統合する際にも扱いやすくなります。
整理すると、(1) 将来の統合を見据えて系統を統一する、(2) 機器のVRAMと用途からパラメータ規模を決める、(3) 量子化を前提にハードと組み合わせる、(4) QLoRA＋Unslothで自社業務に微調整する——この順番で考えると、迷いが減ります。日本語重視ならQwen3 Swallowを軸に検討する、というのが2026年時点での私たちの一つの結論です。
とはいえ、モデルの世界は移り変わりが速く、最適解は半年で変わります。大切なのは特定のモデルに固執することではなく、「自社のデータを外に出さず、手元の機器で、必要な精度を出せる構成」を、その時々の選択肢の中から組み上げられることです。私たちは、その選定から構築・運用までを一貫してご支援しています。