8ドルのマイコンで2890万パラメータの言語モデル運用に成功！

要約

新たな言語モデルが、わずか8ドルのマイクロコントローラーESP32-S3上で動作することが報告されました。このモデルは、2890万のパラメータを持ち、サーバーにデータを送ることなく、内部でテキストを生成します。具体的には、約9トークン毎秒の速度で、小さなディスプレイに出力されます。従来のモデルは26万パラメータでしたが、今回は約100倍の規模を実現しています。

この技術の背景には、GoogleのGemmaモデルから派生した「Per-Layer Embeddings」というアイディアがあり、モデルの大部分をRAMではなくフラッシュメモリに格納することで、メモリの制限を克服しています。この方法により、モデル全体を高速メモリに収める必要がなくなり、効率的に動作させることが可能となりました。

ただし、このモデルは短い物語を生成することに特化しており、質問に答えたり、指示に従ったり、コードを書く能力は持ち合わせていません。興味深いのは、限られたメモリ上で大規模なモデルをどのように効率的に動作させるかというアーキテクチャの部分であり、実際の生成能力よりもその技術的側面が注目されています。

元記事: https://github.com/slvDev/esp32-ai

公開日: Sat, 25 Jul 2026 18:59:50 +0000

この記事はAIアシスト編集により作成されています。