От папки с файлами к ответу на вопрос
Рассмотрим условную базу с инструкциями о командировках. На её примере видно, зачем сохранять версии документов, как поиск выбирает отрывки и что проверить, прежде чем пользоваться готовым ответом.
Как работает RAG: поиск по документам с ИИ
Что такое RAG и откуда берутся сведения о компании
Сотрудник спрашивает: «Какие документы нужны после командировки?» Языковая модель может дать правдоподобное общее объяснение, но из самого вопроса она не узнает внутренние правила компании. В них могут быть особая форма отчёта, разные требования для подразделений и новая редакция инструкции. Эти сведения нужно предоставить как источник.
Один из способов работы с такими материалами — RAG, генерация ответа с опорой на поиск. Система находит подходящие отрывки во внешней по отношению к модели базе и передаёт их вместе с вопросом. Документы не обязаны становиться частью обучения модели. База знаний и языковая модель выполняют разные роли: первая содержит рабочие материалы, вторая помогает сформулировать ответ по найденному.
Как работает RAG на одном вопросе
Сначала документы делают доступными для поиска. Часто для этого создают индекс: подготовленное представление текстов с названиями, фрагментами и дополнительными сведениями. Когда приходит вопрос, поисковая часть выбирает подходящие материалы. В запрос к модели попадает отобранный контекст, а не обязательно вся папка целиком.
В примере с командировкой это могут быть раздел об отчётности, приложение с формой и пункт об исключениях. Модель составляет объяснение, а интерфейс может показать ссылки на использованные источники. Если поиск пропустил приложение, ответ рискует оказаться неполным. Поэтому качество зависит и от найденных отрывков, и от того, насколько точно модель их использовала.
Как подготовить базу знаний для ИИ
Большие тексты обычно делят на фрагменты, которые можно находить по отдельности. При неудачном разбиении условие остаётся в одном отрывке, а исключение — в другом. Фраза «для остальных случаев» без предыдущего абзаца почти бесполезна. Вместе с содержанием стоит сохранять заголовок раздела и связь с исходным документом.
Таблицы требуют отдельного внимания. Значение в ячейке теряет смысл без названия строки, столбца или сноски. У сканированных файлов возможны ошибки распознавания: пропущенное отрицание способно изменить правило. Перед включением документа в базу проверьте, как извлечён его текст, сохранились ли примечания и можно ли найти место, из которого взята цитата. Для проверки полезны страницы со сложной вёрсткой, а не только аккуратный первый лист.
Поиск по словам и по смыслу решает разные задачи
Человек может спросить «как отчитаться за поездку», хотя инструкция называется «Порядок оформления командировочных расходов». Поиск по смысловой близости помогает сопоставить разные формулировки. Векторный поиск использует для этого числовые представления текста — embeddings. Близость таких представлений служит способом отбора, но не доказательством правильности найденного правила.
Для точного номера формы, фамилии или кода изделия совпадение слов бывает важнее общего сходства. Гибридный поиск сочетает полнотекстовый и векторный подходы. В нашей условной базе фраза о поездке помогает найти тему, а номер формы уточняет нужное приложение. Какой способ даёт лучший результат, проверяют на реальных вопросах и внутренних названиях конкретной базы.
Что действительно подтверждает ссылка на источник
Ссылка делает ответ проверяемым: можно открыть исходник и сопоставить его с объяснением. Однако существующий документ ещё не подтверждает каждое предложение ответа. Модель может верно пересказать основное правило, но добавить срок, которого в выбранном отрывке нет. Иногда ссылка ведёт на подходящую тему, хотя вывод относится к другой ситуации.
При проверке найдите конкретный пункт, посмотрите условия его применения и действующую версию. Удобнее, когда рядом с ответом видны название документа, раздел и использованный фрагмент. Если сведения собраны из нескольких файлов, важно различать, на какой источник опирается каждый вывод. Для решений с существенными последствиями недостаточно убедительного тона: подтверждение ищут в самом материале.
Актуальность и доступ относятся к самим источникам
Если в базе остаются две редакции инструкции, поиск может вернуть обе. Дата загрузки не всегда означает дату начала действия. Документам полезно задавать понятный статус, период применения и ответственного за содержание. При обновлении следует проверить, исчезла ли устаревшая версия из активной выдачи и появились ли новые положения.
Права пользователя также должны учитываться при поиске и передаче контекста. Просьба модели «не показывать закрытые сведения» не заменяет ограничения доступа к источникам. Если права хранятся в индексе, изменения в исходной системе должны своевременно в нём отражаться. Проверяйте и найденные фрагменты, и ссылки: сотрудник не должен получать закрытое содержание через краткий пересказ.
Почему ИИ ошибается при работе с документами
Разбор ошибки удобно начинать с документа. Есть ли в нём нужный ответ и можно ли прочитать его после извлечения текста? Затем посмотрите, какие отрывки вернул поиск. Если правильный пункт не найден, изменение стиля ответа не решит проблему. Если пункт найден, но объяснение ему противоречит, нужно проверять использование контекста моделью.
Соберите вопросы с разной сложностью: прямой ответ в одном пункте, условие со сноской, сведения из двух документов, спор между редакциями и вопрос, ответа на который нет. Для каждого отметьте допустимый вывод и подтверждающий источник. Сравнивайте не совпадение формулировок, а сохранение условий, отсутствие выдуманных деталей и возможность проверить ссылку. Такой набор полезно повторять после существенных изменений базы.
Как задать вопрос и оценить границы ответа
Уточнения помогают поиску выбрать нужный контекст. Вместо общего вопроса о поездке можно указать подразделение, вид расходов и интересующий период. Необязательно угадывать точное название файла: естественные формулировки как раз входят в задачи такого поиска. Если вопрос допускает несколько трактовок, полезнее уточнить обстоятельства, чем смешивать правила в одном уверенном ответе.
База знаний не содержит всё, что известно коллегам, и не устраняет противоречия в рабочих правилах. Когда подтверждения нет, корректным результатом может быть сообщение о недостатке сведений с указанием найденных ограничений. Повторяющиеся вопросы без ответа показывают, какого материала не хватает. Их можно передать ответственному за документацию, дополнить источник и снова проверить поиск на том же примере.
