Últimamente, me he visto reflexionando sobre las limitaciones fundamentales de la IA. Es como si el protagonista de la película "Memento" estuviera atrapado en una especie de amnesia de avance, y eso es lo que se plantea respecto a los modelos de lenguaje grandes actuales.

Si los parámetros permanecen fijos, el modelo no puede aprender verdaderamente de nuevas experiencias. Aunque intenta compensarlo con el historial de chat o sistemas de búsqueda, en realidad solo está confiando en memoria externa. No puede internalizarlo.

Según el análisis de a16z, el aprendizaje en contexto (ICL) no es más que búsqueda, no un verdadero aprendizaje. Debido a la falta de compresión, no puede realizar descubrimientos creativos ni responder a escenarios adversariales. Por ejemplo, en problemas que requieren enfoques completamente nuevos, como la demostración del último teorema de Fermat, los LLM solo pueden combinar conocimientos existentes.

Las soluciones propuestas por los investigadores se dividen en tres caminos. El primero es fortalecer la capa de contexto, como en los sistemas de múltiples agentes. El segundo es la modularización, mediante módulos de conocimiento integrables en arquitecturas existentes, como adaptadores o cachés de KV comprimidos. El tercero es la actualización de pesos, que implica un aprendizaje profundo a nivel de parámetros mediante entrenamiento en prueba o metaaprendizaje.

Sin embargo, la actualización de pesos presenta múltiples desafíos. Olvido catastrófico, desacoplamiento temporal, deterioro del alineamiento de seguridad. La actualización del modelo después de su despliegue no es solo un problema técnico, también involucra cuestiones de auditoría y privacidad.

Los sistemas futuros serán jerárquicos. ICL se encargará de adaptaciones rápidas, los módulos facilitarán la especialización, y la actualización de pesos permitirá una internalización profunda. Para superar la amnesia de avance, no basta con ampliar un simple archivo, sino que se requiere compresión, abstracción y mecanismos de aprendizaje verdaderos.

Este campo está siendo invadido por startups que experimentan en gestión de contexto, diseño modular y optimización de parámetros. Aunque aún no hay un claro ganador, en los próximos años se esperan cambios significativos.