ローカルでLLMを動かそうとすると、必ず出てくるのが「量子化」という言葉です。モデル名に付いている「Q4」「Q8」といった表記も、これに関わっています。少し専門的に聞こえますが、考え方はシンプルです。本コラムでは、量子化とは何か、なぜローカルAIに欠かせないのかを、できるだけやさしく解説します。
LLMの正体は、膨大な数値（パラメータ）の集まりです。これらの数値を、もともとは高い精度（細かい小数）で保持しています。量子化とは、この数値の精度をあえて少し粗くすることで、モデル全体のサイズと必要なメモリを大きく減らす技術です。たとえるなら、写真の画質を少し落としてファイルサイズを小さくするのに似ています。見た目はほとんど変わらないのに、容量は大きく減る——あの感覚です。
LLMをGPUで動かすには、モデルをGPUのメモリ（VRAM）に載せる必要があります。精度を落とさないままだと、大きなモデルは載りきりません。量子化でサイズを縮めると、本来は高価な大容量GPUが必要なモデルでも、手元のコンシューマ向けGPUのVRAMに収まるようになります。たとえば7B級のモデルは、4ビット量子化（Q4）でおよそ4〜5GB程度に収まり、6GBや8GBのGPUでも動かせます。「量子化のおかげで、家庭用のGPUでも実用的なAIが動く」と言っても過言ではありません。
モデル名に付く「Q4」「Q8」は、量子化のビット数を表します。数字が小さいほど精度を大きく落として軽くなり（Q4＝4ビット）、大きいほど精度を保って重くなります（Q8＝8ビット）。さらに「Q4_K_M」のように細かいバリエーションもあり、これは量子化のやり方の違いです。実務では、まずQ4系を試し、品質に不満があれば一段精度の高い量子化や、より大きなモデルに切り替える、という進め方が一般的です。
当然、いいことばかりではありません。精度を落とすほど、モデルの賢さはわずかに低下します。ただ、近年の量子化技術は優秀で、Q4程度なら多くの実務タスクで体感できるほどの劣化は出にくい、というのが一般的な評価です。「ほんの少し賢さを譲って、動かせるようにする」——この割り切りが、限られた機材でAIを実用化する鍵になります。逆に、金額計算のような厳密さが要る処理は、そもそもLLMに任せず別の仕組み（決定論エンジン）で行うべきで、量子化の精度低下を心配する必要はありません。
量子化は、オンプレミスAIを現実的なものにした立役者です。これがなければ、社内でLLMを動かすには高価な業務用GPUが前提になり、中小企業には手が届きにくいものでした。量子化のおかげで、手のひらサイズの省電力機から普通のデスクトップGPUまで、幅広い機材で「データを外に出さないAI」が動かせるようになりました。私たちが提案するオンプレミスAIも、この技術の上に成り立っています。
量子化とは、モデルの数値精度を少し落とすことで、必要なメモリを大きく減らす技術です。これにより、本来は大容量GPUが要るLLMを、手元の機材で動かせるようになります。「Q4」「Q8」はその度合いを示す表記で、実務ではQ4系から試すのが定石。わずかな賢さと引き換えに“動かせること”を得る——この割り切りが、ローカルAI、ひいてはオンプレミスAIを支えています。