Тонкая настройка RAG-моделей снижает точность поиска на 40%, угрожая работе агентных ИИ-систем

По данным нового исследования компании Redis, корпоративные команды, которые выполняют тонкую настройку своих моделей внедрения (embedding models) для систем RAG (Retrieval-Augmented Generation) в целях повышения точности, могут непреднамеренно снижать качество извлечения информации, от которого зависят эти конвейеры.

Проблема точности в RAG-системах

В работе, озаглавленной «Обучение композиционной чувствительности снижает обобщающую способность плотного поиска», исследовалось влияние обучения моделей внедрения на так называемую композиционную чувствительность. Этот параметр отвечает за способность различать предложения, которые выглядят почти одинаково, но имеют совершенно разный смысл. Например, «собака укусила человека» и «человек укусил собаку», или изменение отрицания, полностью меняющее значение высказывания. Такое обучение, как выяснилось, неизменно ухудшает обобщающую способность плотного поиска – то есть, насколько хорошо модель извлекает правильную информацию по широкому кругу тем и доменов, для которых она не была специально обучена. Производительность таких моделей снизилась на 8–9 процентов для небольших моделей и на 40 процентов для используемых в производстве моделей среднего размера.

Эти выводы имеют прямое отношение к корпоративным командам, разрабатывающим агентные ИИ-системы, где качество извлечения данных напрямую влияет на контекст, поступающий в цепочку рассуждений агента. Ошибка извлечения в одноступенчатой системе просто вернет неверный ответ. Та же ошибка в агентной системе может спровоцировать каскад неверных действий.

Шриджит Раджамохан, руководитель отдела исследований ИИ в Redis и один из авторов работы, отметил, что полученные результаты ставят под сомнение широко распространенное представление о работе поиска на основе векторов внедрения. По его словам, существует общее убеждение, что при использовании семантического поиска или подобной семантической схожести мы получаем правильный смысл. Однако это не всегда так. Высокая семантическая схожесть не означает точного совпадения намерений.

Принцип работы моделей внедрения и компромисс в поиске

Модели внедрения работают, сжимая целое предложение в одну точку в многомерном пространстве. При запросе они находят точки, наиболее близкие к запросу. Это эффективно для широкого тематического сопоставления: документы по схожим темам оказываются рядом. Однако проблема возникает, когда два предложения с почти идентичными словами, но противоположным смыслом также оказываются близко друг к другу, поскольку модель оперирует словесным содержанием, а не структурой.

Именно это и было количественно оценено в исследовании. Когда команды настраивают модель внедрения, чтобы отдалить друг от друга структурно различные предложения (обучая ее, что изменение отрицания, переворачивающее смысл высказывания, не то же самое, что оригинал), модель начинает использовать часть репрезентативного пространства, которое ранее предназначалось для широкого тематического поиска. Две задачи конкурируют за один и тот же вектор.

Исследование также показало, что ухудшение результатов неравномерно по типам ошибок. Ошибки, связанные с отрицанием и пространственными изменениями, заметно улучшились при структурированном обучении. Однако ошибки связывания – когда модель путает, какой модификатор к какому слову относится, например, на какую из сторон ложится договорное обязательство – почти не изменились. Для корпоративных команд это означает, что проблему точности сложнее решить именно в тех случаях, где неверный ответ имеет наибольшие последствия.

Причина, по которой большинство команд не замечает этого, заключается в том, что метрики тонкой настройки измеряют задачу, для которой производится обучение, а не то, что происходит с общим поиском по несвязанным темам. Модель может демонстрировать значительное улучшение в отбраковке "почти идентичных" запросов во время обучения, при этом незаметно ухудшая свою работу по более широкому поиску, для которого она была изначально предназначена. Ухудшение проявляется только в продакшене.

Раджамохан заявил, что инстинктивное решение большинства команд – переход на более крупную модель внедрения – не решает базовую архитектурную проблему. По его словам, эту проблему нельзя решить за счет увеличения масштаба, добавления большего количества измерений или параметров.

Недостатки стандартных альтернативных решений

Естественным решением при снижении точности поиска является применение дополнительных подходов. Исследование протестировало несколько из них и выявило, что каждый из них неэффективен по-своему.

• Сочетание векторного и ключевого поиска: Комбинирование поиска на основе векторов внедрения с поиском по ключевым словам уже является стандартной практикой для устранения пробелов в точности. Однако Раджамохан подчеркнул, что ключевой поиск не способен выявить выявленный исследованием тип ошибок, поскольку проблема не в пропущенных словах, а в неверном понимании структуры. Например, если есть два предложения: «Рим ближе, чем Париж» и «Париж ближе, чем Рим», то использование векторного поиска, дополненного текстовым, не позволит определить разницу, поскольку одни и те же слова присутствуют в обоих предложениях.

• Многомерные системы сравнения (MaxSim/ColBERT): Некоторые команды добавляют второй уровень оценки, который сравнивает отдельные слова запроса с отдельными словами документа, вместо того чтобы полагаться на один сжатый вектор. Этот подход, известный как MaxSim или «позднее взаимодействие» и используемый в системах типа ColBERT, действительно улучшил показатели релевантности в бенчмарках исследования. Однако он совершенно не смог отсеять структурные «почти совпадения», присваивая им почти идентичные оценки схожести. Проблема в том, что релевантность и идентичность — разные цели. MaxSim оптимизирован для первой и слеп ко второй. Команда, которая внедряет MaxSim и видит улучшение показателей, возможно, решает другую проблему, нежели та, с которой столкнулась.

• Кросс-энкодеры (Cross-encoders): Эти модели работают, подавая запрос и кандидатный документ в модель одновременно, позволяя ей сравнивать каждое слово с каждым словом перед принятием решения. Такое полное сравнение обеспечивает их точность, но также делает их слишком дорогими для использования в продакшене. Команда Раджамохана исследовала их и пришла к выводу, что они работают в лабораторных условиях, но не выдерживают реальных объемов запросов.

• Персистентная память агентов (Agentic Memory): Эти системы, иногда называемые агентной памятью, все чаще упоминаются как путь развития за пределы RAG. Однако Раджамохан отметил, что переход к такой архитектуре не устраняет проблему структурного поиска. Эти системы по-прежнему зависят от извлечения данных во время запроса, что означает применимость тех же типов ошибок. Основное отличие заключается в более мягких требованиях к задержке, а не в исправлении точности.

Двухэтапное решение, подтвержденное исследованием

Общая нить, связывающая все неэффективные подходы, одна и та же: единый механизм оценки, пытающийся одновременно справляться как с полнотой, так и с точностью. Исследование подтвердило эффективность иной архитектуры: отказаться от попыток выполнять обе задачи одним вектором и назначить каждую задачу отдельному этапу.

Первый этап работает точно так же, как и стандартный плотный поиск сегодня: модель внедрения сжимает документы в векторы и извлекает наиболее близкие совпадения для запроса. На этом этапе ничего не меняется. Цель — охватить широкий круг данных и быстро найти набор сильных кандидатов. Скорость и широта охвата важны на этом этапе, а не идеальная точность.

Второй этап является ключевым решением. Вместо оценки кандидатов одним числом схожести, небольшая обученная модель Transformer анализирует запрос и каждого кандидата на уровне токенов, то есть сравнивает отдельные слова друг с другом, чтобы обнаружить структурные несоответствия, такие как изменения отрицания или перестановки ролей. Это этап верификации, который одноволновой подход выполнить не может.

При сквозном обучении верификатор на основе Transformer превзошел все другие подходы, протестированные в исследовании, в отбраковке структурных «почти совпадений». Это был единственный подход, который надежно выявлял типы ошибок, пропускаемые одновекторной системой.

Добавление этапа верификации увеличивает задержку (latency). Стоимость задержки зависит от объема верификации, которую выполняет команда. Для рабочих нагрузок, критичных к точности, таких как юридические или бухгалтерские приложения, полная верификация при каждом запросе оправдана. Для поиска общего назначения может быть достаточно более легкой верификации.

Исследование выросло из реальной производственной проблемы. Корпоративные клиенты, использующие системы семантического кеширования, получали быстрые, но семантически некорректные ответы – система поиска обрабатывала похоже звучащие запросы как идентичные, даже когда их смысл различался. Двухэтапная архитектура является предложенным Redis решением, и ее внедрение в продукт LangCache находится в планах, но пока недоступно для клиентов.

Выводы для корпоративных команд

Исследование не требует от корпоративных команд перестраивать свои конвейеры извлечения информации с нуля. Однако оно призывает их критически пересмотреть допущения, которые большинство команд никогда не анализировали: что на самом деле делают их модели внедрения, каким метрикам стоит доверять и где в реальных условиях существуют пробелы в точности.

Признайте компромисс до начала настройки:

Раджамохан утверждает, что первым практическим шагом является понимание существования проблемы снижения качества. Он предлагает оценивать любую систему извлечения данных на основе больших языковых моделей (LLM) по трем критериям:

• Корректность
• Полнота
• Полезность

Ошибки в корректности напрямую влияют на два других критерия. Это означает, что система поиска, которая хорошо показывает себя в тестах на релевантность, но ошибается при структурных «почти совпадениях», создает ложное ощущение готовности к внедрению.

RAG не устарел, но знайте его ограничения:

Смотрите также:

Ловушка ИИ-поставщиков: почему сменить нейросеть стало сложно и дорого http://kupidonchik.org/lovushka-ii-postavshhikov-pochemu-smenit-neyroset-stalo-slozhno-i-dorogo/.

Интересности на тему: Скидки и акции в Best Buy: как сэкономить до 60% на покупке электроники

Классные советы в статье "Как отключить скрытую функцию отслеживания на вашем Smart TV" здесь.

Раджамохан решительно отверг заявления о том, что RAG (Retrieval-Augmented Generation) устарел. Он назвал это «массовым упрощением», поскольку RAG представляет собой очень простой конвейер, который может быть внедрен в производство практически кем угодно с минимальными усилиями. Исследование не оспаривает архитектуру RAG как таковую, но оно выступает против предположения, что одноступенчатый конвейер RAG с тонко настроенной моделью внедрения готов к использованию в продакшене для задач, критичных к точности.

Для команд, которым необходима более высокая точность, Раджамохан отметил, что двухэтапная архитектура не требует запредельных усилий для реализации, но добавление этапа верификации увеличивает задержку. Он охарактеризовал это как «проблему смягчения последствий, а не то, что можно полностью решить».