要約
SALOMIは、極端な低ビットのトランスフォーマ量子化と推論に特化した研究リポジトリです。特に、バイナリまたは準バイナリの重み表現が現実的な評価の下で三重基準に迫るか、またはそれを超えるかという問題に取り組んでいます。このリポジトリには、量子化、実行時推論、評価、関連ツールのためのonebit/パッケージや、大規模なテストツリー、研究文書が含まれています。
このリポジトリの重要性は、厳密な評価の下でのGPT-2クラスの言語モデル解決策として、厳格な1.00 bppのポストホックバイナリ量子化が有効ではないことが示された点にあります。実際の結果は、Hessianガイド付きVQや混合精度、マグニチュード回復法を使用した場合に、約1.2～1.35 bppに集約されます。
読者が知っておくべきポイントは、このリポジトリが研究のための作業スペースであり、単一のコマンドでの製品パッケージとは異なることです。また、README.mdやRESEARCH.md、その他のドキュメントを通じて、リポジトリの構成や重要な情報を理解することが推奨されます。リポジトリはApache-2.0ライセンスのもとで公開されています。
関連記事
（関連記事はまだありません）
元記事: https://github.com/OrionsLock/SALOMI
公開日: Thu, 02 Apr 2026 04:08:12 +0000
この記事はAIアシスト編集により作成されています。
📰 元記事: 元記事を読む