要約
最近の研究では、三元大規模言語モデル（Ternary LLM）において、重みを3つのシンボル（-1, 0, +1）のいずれかで表現することで、情報理論上のビット数を従来の約1.585ビットから1.485ビットに削減する方法が提案されました。この手法は、BITCOSと呼ばれ、ゼロの密度を考慮した新しいレイアウトを導入しています。
背景として、従来のモデルは5トリットパッキング方式を採用しており、実際の重み分布を考慮しないため、約1.625ビットのビット幅が必要でした。しかし、実際にはゼロの重みが最大51.5%を占めることが確認され、これを利用した新たなアプローチが求められていました。
BITCOSは、重みをより効率的に格納できるため、現実の三元モデルにおいて1.28倍の性能向上を実現し、さまざまなプラットフォームでのデコードスループットも向上させることが示されています。この手法は、最新のプロセッサやGPUにも対応しており、今後のLLMの効率化に寄与する可能性があります。
元記事: https://arxiv.org/abs/2609.16338
公開日: Wed, 16 Sep 2026 20:59:24 +0000
この記事はAIアシスト編集により作成されています。
📰 元記事: 元記事を読む