新メモリ技術$δ$-memが大規模言語モデルを変革する

要約

近年、大規模言語モデルは長期的なアシスタントやエージェントシステムにおいて、歴史的情報の蓄積と再利用が求められています。しかし、コンテキストウィンドウを単純に拡張することは高コストであり、効果的なコンテキストの活用を保証するものではありません。そこで提案されたのが、$δ$-memという軽量メモリメカニズムです。このメカニズムは、固定サイズの状態行列を用いて過去の情報を圧縮し、生成時にバックボーンの注意計算に低ランクの補正を加えることができます。

$δ$-memを用いることで、わずか$8 imes8$のオンラインメモリ状態で、従来のバックボーンや非$δ$-memメモリベースラインに比べて性能が向上します。具体的には、MemoryAgentBenchで1.31倍、LoCoMoで1.20倍のスコアを達成しながら、一般的な能力もほぼ維持しています。この成果は、フルファインチューニングやバックボーンの置き換えなしに、注意計算と直接結びつけられたコンパクトなオンライン状態を通じて、効果的なメモリが実現できることを示しています。

この研究は、大規模言語モデルの性能向上における新たなアプローチを提供し、今後のAIシステムの設計において重要な意義を持つと考えられます。特に、メモリ集約型のベンチマークでの大幅なスコア向上は、AIの進化に寄与する可能性があります。

元記事: https://arxiv.org/abs/2605.12357

公開日: Sat, 16 May 2026 09:30:06 +0000

この記事はAIアシスト編集により作成されています。