最近、AIの根本的な限界について考えさせられることがあります。映画『メメント』の主人公のように、現在のLLMも一種の前向性健忘症に陥っているんじゃないかという話です。

パラメータが固定されたままだと、モデルは新しい経験から本当の意味で学習できない。チャット履歴や検索システムで補おうとしていますが、これって結局、外部メモリに頼っているだけ。内面化できていないんです。

a16zの分析によると、文脈内学習（ICL）は検索に過ぎず、真の学習ではない。圧縮が欠けているから、創造的な発見や敵対的シナリオに対応できない。例えば、フェルマーの最終定理の証明みたいな、根本的に新しいアプローチが必要な問題では、LLMは既存の知識の組み合わせしかできないわけです。

研究者たちが提示している解決策は三つの経路。一つ目はコンテキスト層の強化で、マルチエージェントシステムなんかがそれ。二つ目がモジュール化で、アダプターや圧縮KVキャッシュといった、既存アーキテクチャに組み込める知識モジュール。三つ目が重み更新で、テスト時訓練やメタ学習による、パラメータレベルの本格的な学習です。

ただし、重み更新には課題が山積み。壊滅的忘却、時間的デカップリング、セキュリティアライメントの劣化。展開後のモデル更新は、単なる技術問題じゃなく、監査可能性やプライバシーの問題も絡んでくる。

将来のシステムは階層的になるだろう。ICLが素早い適応を担当し、モジュールが専門化を実現し、重み更新が深い内面化を可能にする。前向性健忘から脱却するには、単なるファイルキャビネットの拡張ではなく、圧縮と抽象化、そして真の学習メカニズムが必要なんです。

この分野、スタートアップが続々参入していて、コンテキスト管理、モジュール設計、パラメータ最適化の各レイヤーで実験が進んでいます。決定的な勝者はまだ見えていませんが、今後数年で大きな変化が起きそうです。