要約
Soul Player C64は、1MHzのCommodore 64上で動作する実際のトランスフォーマーです。このプロジェクトでは、手書きの6502/6510アセンブリで実装された2層のデコーダ専用トランスフォーマーが使用されており、約25,000のパラメータを持っています。このモデルは、ChatGPTやClaude、Geminiに採用されている同様のアーキテクチャに基づいていて、フロッピーディスクに収められています。
このプロジェクトの背景には、古いコンピュータ技術と最新のAI技術を融合させる試みがあります。特に、ソフトマックススコアの正規化を改善することで、モデルの性能が向上しました。この技術は、モデルが各位置での注意を効果的に学習できるようにするための重要なブレークスルーをもたらしました。
Soul Player C64では、ユーザーが簡単に自分のデータセットでモデルを訓練し、独自のチャットボットを作成できる機能も提供されています。短いメッセージを入力すると、数分で応答が得られ、特に感情を理解する能力も備えています。このプロジェクトは、古いハードウェアでも新しいAI技術を楽しめることを示す良い例となっています。
元記事: https://github.com/gizmo64k/soulplayer-c64
公開日: Mon, 20 Apr 2026 19:51:07 +0000
この記事はAIアシスト編集により作成されています。
📰 元記事: 元記事を読む