Нещодавно мене змушують задуматися про фундаментальні обмеження штучного інтелекту. Як головний герой фільму «Мементо», так і сучасні великі мовні моделі, можливо, потрапили у своєрідну передню амнезію.

Якщо параметри залишаються незмінними, модель не може справді навчатися з нових досвідів. Вона намагається компенсувати це за допомогою історії чатів або пошукових систем, але насправді це лише залежність від зовнішньої пам’яті. Внутрішньо вона не засвоює інформацію.

Згідно з аналізом a16z, контекстуальне навчання (ICL) — це всього лише пошук, а не справжнє навчання. Через відсутність компресії модель не може робити креативні відкриття або реагувати на ворожі сценарії. Наприклад, у випадку задач, що вимагають радикально нових підходів, таких як доведення останньої теореми Ферма, LLM може лише комбінувати вже існуючі знання.

Розробники пропонують три шляхи вирішення. Перший — посилення контекстного шару, наприклад, за допомогою мультиагентних систем. Другий — модульність, тобто знання, інтегровані у вигляді адаптерів або стиснених кешів ключ-значення, що можна додати до існуючої архітектури. Третій — оновлення ваг, тобто справжнє навчання на рівні параметрів через тестове навчання або мета-навчання.

Однак оновлення ваг має багато проблем. Катастрофічна забування, часовий розрив, деградація безпеки та узгодженості. Оновлення моделі після розгортання — це не лише технічна проблема, а й питання аудиту та приватності.

Майбутні системи, ймовірно, стануть ієрархічними. ICL відповідатиме швидкому адаптуванню, модулі — спеціалізації, а оновлення ваг — глибокій внутрішній інтеграції. Щоб подолати передню амнезію, потрібно не просто розширювати сховище файлів, а впроваджувати компресію, абстракцію та справжні механізми навчання.

У цій галузі з’являється багато стартапів, що експериментують з управлінням контекстом, дизайном модулів і оптимізацією параметрів. Переможець ще не визначений, але у найближчі роки очікуються значні зміни.