Gần đây, tôi thường suy nghĩ về giới hạn căn bản của trí tuệ nhân tạo. Câu chuyện giống như nhân vật chính trong phim "Memento", rằng các mô hình ngôn ngữ lớn hiện tại cũng đang rơi vào một dạng chứng mất trí nhớ tiến về phía trước.

Nếu các tham số vẫn giữ nguyên, mô hình không thể thực sự học hỏi từ những trải nghiệm mới. Chúng cố gắng bù đắp bằng lịch sử trò chuyện hoặc hệ thống tìm kiếm, nhưng cuối cùng, chỉ dựa vào bộ nhớ bên ngoài. Chúng chưa thể nội tại hóa kiến thức đó.

Theo phân tích của a16z, học trong ngữ cảnh (ICL) chỉ là tìm kiếm, không phải là học thực sự. Vì thiếu khả năng nén, chúng không thể phát hiện sáng tạo hoặc xử lý các kịch bản đối kháng. Ví dụ, trong các vấn đề đòi hỏi phương pháp tiếp cận hoàn toàn mới như chứng minh định lý cuối cùng của Fermat, LLM chỉ có thể kết hợp kiến thức đã có chứ không thể sáng tạo ra cách tiếp cận mới.

Các nhà nghiên cứu đề xuất ba hướng giải quyết. Thứ nhất là tăng cường lớp ngữ cảnh, như hệ thống đa tác nhân. Thứ hai là modular hóa, với các mô-đun kiến thức như bộ nhớ đệm KV nén hoặc adapter có thể tích hợp vào kiến trúc hiện tại. Thứ ba là cập nhật trọng số, tức là học sâu hơn ở cấp độ tham số qua huấn luyện trong quá trình kiểm thử hoặc meta-learning.

Tuy nhiên, việc cập nhật trọng số gặp nhiều thách thức. Mất trí nhớ hoàn toàn, phân tách thời gian, suy giảm khả năng phù hợp về an ninh. Việc cập nhật mô hình sau khi triển khai không chỉ là vấn đề kỹ thuật, mà còn liên quan đến khả năng kiểm tra, quyền riêng tư.

Hệ thống trong tương lai có thể sẽ theo cấu trúc phân cấp. ICL đảm nhận thích nghi nhanh, các mô-đun chuyên môn hóa, còn cập nhật trọng số sẽ cho phép nội tại hóa sâu hơn. Để thoát khỏi chứng mất trí nhớ tiến về phía trước, cần nhiều hơn là mở rộng kho lưu trữ, mà là nén, trừu tượng hóa và cơ chế học thực sự.

Lĩnh vực này đang có nhiều startup tham gia, thử nghiệm ở các lớp quản lý ngữ cảnh, thiết kế mô-đun, tối ưu hóa tham số. Chưa rõ ai sẽ thắng thế, nhưng trong vài năm tới, sẽ có những thay đổi lớn.