要約
LittleBitプロジェクトは、大規模言語モデルをサブ1ビットの範囲に圧縮する革新的な手法を提案しています。この手法では、各密な重み行列を低ランクの潜在因子に因数分解し、それをバイナリ化して軽量な学習スケールを通じて大きさ情報を復元します。これにより、0.1ビット/重みの設定を含めた極限の圧縮が可能となり、推論時に元のモデルアーキテクチャを保持します。
また、LittleBit-2は初期化段階での潜在幾何の不整合を解決するために設計され、内部潜在回転と結合反復量子化（Joint-ITQ）を適用します。この最適化は推論時に追加のオーバーヘッドを発生させず、オプトイン形式で提供されます。これにより、モデルの性能を向上させつつ、ユーザーにとって使いやすい選択肢を提供しています。
この技術は、OPTやLlama、Phi-4などの多くのモデルに対応しており、Python環境での簡単なインストール手順も示されています。特に、量子化を考慮したトレーニング（QAT）にも対応しており、AIモデルの圧縮と効率化において重要な一歩となるでしょう。
元記事: https://github.com/SamsungLabs/LittleBit
公開日: Thu, 08 Oct 2026 13:29:46 +0000
この記事はAIアシスト編集により作成されています。
📰 元記事: 元記事を読む