Cómo hacer que un LLM se lleve bien con la memoria: guarda los hechos tú mismo

Los LLM razonan muy bien. Tienen problemas de memoria.

Pregunta al asistente de IA sobre algo que mencionaste antes en un diálogo largo, y puede confundirse, mezclar detalles o simplemente desviarse inventando hechos. Cuanto más largo es el contexto, menos predecibles son las respuestas. Empiezas a ponerlo a prueba, pero los hechos se van alejando cada vez más. Parecería que grandes ventanas de contexto deberían ayudar, ¡pero no! Y si estás construyendo un proyecto que incluya un LLM, esto se vuelve peligroso: cuando el asistente del servicio de soporte empieza a fallar, no es bueno para la reputación. ¿Qué hacer?

La solución es simple: no confíes en que el modelo haga de memoria. Guarda los hechos tú mismo.

Cómo funciona

Los datos del usuario —perfil, historial, cualquier hecho estructurado— viven en una base de datos. Sí, una aburrida base SQL o NoSQL. Cuando llega una solicitud, se extraen los datos necesarios y se envían a la ventana de contexto junto con el prompt. El modelo siempre ve exactamente lo que necesita —ni más ni menos.

Qué aporta

Control total sobre el contexto. Tú decides qué sabe el modelo en cada paso. No tienes que preocuparte si recordará algo de la sesión anterior, si confundirá usuarios o si dará una respuesta que contradiga lo dicho antes.

Lo mismo aplica al historial de mensajes. En lugar de alimentar al modelo con todo el chat entero, guarda los mensajes en tu base y carga solo los últimos —eso es suficiente para que el modelo entienda el contexto de la conversación. Si la tarea se complica, puedes ir más allá y configurar una búsqueda RAG sobre el historial. Pero, honestamente, para la mayoría de los casos “los últimos N mensajes de la tabla” dan el 90% del resultado —sin una tesis sobre bases de datos vectoriales.

Y una ventaja adicional: solo envías datos relevantes. Menos tokens por petición —un ahorro considerable a cualquier escala.

Principio principal

Los LLM son un motor de razonamiento, no un sistema de almacenamiento de datos. En cuanto separas esas dos responsabilidades, el modelo empieza a funcionar notablemente mejor. No porque el modelo haya cambiado, sino porque trabaja con una entrada de calidad.

👉 Basura en la entrada — basura en la salida. Datos estructurados y limpios en la entrada — una IA sorprendentemente buena en la salida.