RAG мертв, да здравствует агентный поиск

RAG мертв, да здравствует агентный поиск

Видео затрагивает вопрос, с которым я постоянно сталкиваюсь в последнее время: действительно ли мне нужно изучать RAG?

Грубо говоря: RAG — это способ предварительной обработки ваших данных во вложения — многомерные векторы, привязанные к фрагментам текста. Во время вывода вы извлекаете ближайшие фрагменты и передаете их модели, чтобы перед ней были «правильные» факты. Если у вас есть текстовая база данных с вещами, которые действительно не следует искажать, это помогает уменьшить галлюцинации.

Идея элегантная. Реальность запутана. Здесь много движущихся частей и много «политик»: как разбивать на фрагменты, как очищать, как встраивать, как индексировать, как переоценивать, что кэшировать, как оценивать… Это быстро превращается в целую вселенную, в которой легко заблудиться.

В своем нынешнем проекте я пошел другим путем: никакой RAG. Я просто дал агенту такие инструменты, как grep, cat и пару небольших помощников Python, которые он написал для себя. Судя по видео, для агентов, работающих с кодовыми базами, это, по сути, подход SOTA: не переусердствуйте при поиске, дайте агенту надежный прямой доступ к источнику истины.

Крайне короткая версия видео:

📀Для кодовых баз: дайте агенту инструменты.
📀Для остальных доменов: RAG по-прежнему очень актуален.

P.S. Фраза на скриншоте из видеообзора Яндекса. Это непреднамеренно весело.