Как подружить LLM с памятью: храните факты сами

LLM отлично рассуждают. С памятью у них беда.

Спросите AI-ассистента о чём-то, что вы упоминали раньше в длинном диалоге — и он может запутаться, перепутать детали или просто поплыть, придумывая факты. Чем длиннее контекст, тем менее предсказуемы ответы. Вы начинаете пытать его, но факты раз за разом уплывают всё дальше. Казалось бы, огромные контекстные окна должны помочь, но нет! А если строить проект, в котором будет присутствовать LLM, то это становится опасным — согласитесь, когда ассистент службы поддержки начинает глючить, это не очень хорошо сказывается на репутации. Как же быть?

Решение простое: не доверяйте модели память. Храните факты сами.

Как это работает

Данные пользователя — профиль, история, любые структурированные факты — живут в базе данных. Да, скучная SQL или NoSQL база. Когда приходит запрос, нужные данные извлекаются и отправляются в контекстное окно вместе с промптом. Модель всегда видит ровно то, что ей нужно — не больше и не меньше.

Что это даёт

Полный контроль над контекстом. Вы сами решаете, что знает модель на каждом шаге. Не нужно переживать, вспомнит ли она что-то из позапрошлой сессии, перепутает ли пользователей или выдаст ответ, противоречащий тому, что было сказано раньше.

То же самое касается истории переписки. Вместо того чтобы скармливать модели весь чат целиком, храните сообщения в своей базе и подгружайте только последние несколько — этого достаточно, чтобы модель понимала контекст разговора. Если задача усложняется, можно пойти дальше и настроить RAG-поиск по истории. Но честно говоря, для большинства случаев «последние N сообщений из таблицы» дают 90% результата — без диссертации по векторным базам данных.

И приятный бонус: вы отправляете только релевантные данные. Меньше токенов на запрос — ощутимая экономия при любом масштабе.

Главный принцип

LLM — это движок для рассуждений, а не система хранения данных. Как только вы разделяете эти две ответственности, модель начинает работать заметно лучше. Не потому что модель изменилась — а потому что она работает с качественным входом.

👉 Мусор на входе — мусор на выходе. Чистые структурированные данные на входе — неожиданно хороший AI на выходе.