Від папки з файлами до відповіді на запитання
Розгляньмо умовну базу з інструкціями про відрядження. На її прикладі видно, навіщо зберігати версії документів, як пошук обирає уривки та що перевірити, перш ніж користуватися готовою відповіддю.
Як працює RAG: пошук за документами із ШІ
Що таке RAG і звідки беруться відомості про компанію
Працівник запитує: «Які документи потрібні після відрядження?» Мовна модель може дати правдоподібне загальне пояснення, але із самого запитання вона не дізнається внутрішніх правил компанії. У них можуть бути особлива форма звіту, різні вимоги для підрозділів і нова редакція інструкції. Ці відомості потрібно надати як джерело.
Один зі способів роботи з такими матеріалами — RAG, генерування відповіді з опорою на пошук. Система знаходить відповідні уривки в зовнішній щодо моделі базі та передає їх разом із запитанням. Документи не обов’язково мають ставати частиною навчання моделі. База знань і мовна модель виконують різні ролі: перша містить робочі матеріали, друга допомагає сформулювати відповідь за знайденим.
Як працює RAG на одному запитанні
Спочатку документи роблять доступними для пошуку. Часто для цього створюють індекс: підготовлене представлення текстів із назвами, фрагментами та додатковими відомостями. Коли надходить запитання, пошукова частина обирає відповідні матеріали. У запит до моделі потрапляє відібраний контекст, а не обов’язково вся папка цілком.
У прикладі з відрядженням це можуть бути розділ про звітність, додаток із формою та пункт про винятки. Модель складає пояснення, а інтерфейс може показати посилання на використані джерела. Якщо пошук пропустив додаток, відповідь ризикує виявитися неповною. Тому якість залежить і від знайдених уривків, і від того, наскільки точно модель їх використала.
Як підготувати базу знань для ШІ
Великі тексти зазвичай ділять на фрагменти, які можна знаходити окремо. За невдалого поділу умова залишається в одному уривку, а виняток — в іншому. Фраза «для решти випадків» без попереднього абзацу майже марна. Разом зі змістом варто зберігати заголовок розділу та зв’язок із вихідним документом.
Таблиці потребують окремої уваги. Значення в комірці втрачає сенс без назви рядка, стовпця або виноски. У сканованих файлах можливі помилки розпізнавання: пропущене заперечення здатне змінити правило. Перед включенням документа до бази перевірте, як видобуто його текст, чи збереглися примітки та чи можна знайти місце, з якого взято цитату. Для перевірки корисні сторінки зі складною версткою, а не лише акуратний перший аркуш.
Пошук за словами та за змістом розв’язує різні завдання
Людина може запитати «як відзвітувати за поїздку», хоча інструкція називається «Порядок оформлення витрат на відрядження». Пошук за змістовою близькістю допомагає зіставити різні формулювання. Векторний пошук використовує для цього числові представлення тексту — embeddings. Близькість таких представлень слугує способом відбору, але не доказом правильності знайденого правила.
Для точного номера форми, прізвища або коду виробу збіг слів буває важливішим за загальну схожість. Гібридний пошук поєднує повнотекстовий і векторний підходи. У нашій умовній базі фраза про поїздку допомагає знайти тему, а номер форми уточнює потрібний додаток. Який спосіб дає кращий результат, перевіряють на реальних запитаннях і внутрішніх назвах конкретної бази.
Що насправді підтверджує посилання на джерело
Посилання робить відповідь перевірюваною: можна відкрити джерело та зіставити його з поясненням. Однак наявний документ ще не підтверджує кожного речення відповіді. Модель може правильно переказати основне правило, але додати строк, якого в обраному уривку немає. Іноді посилання веде на відповідну тему, хоча висновок стосується іншої ситуації.
Під час перевірки знайдіть конкретний пункт, подивіться умови його застосування та чинну версію. Зручніше, коли поруч із відповіддю видно назву документа, розділ і використаний фрагмент. Якщо відомості зібрані з кількох файлів, важливо розрізняти, на яке джерело спирається кожен висновок. Для рішень із суттєвими наслідками недостатньо переконливого тону: підтвердження шукають у самому матеріалі.
Актуальність і доступ стосуються самих джерел
Якщо в базі залишаються дві редакції інструкції, пошук може повернути обидві. Дата завантаження не завжди означає дату початку дії. Документам корисно задавати зрозумілий статус, період застосування та відповідального за зміст. Під час оновлення слід перевірити, чи зникла застаріла версія з активної видачі та чи з’явилися нові положення.
Права користувача також мають враховуватися під час пошуку та передавання контексту. Прохання до моделі «не показувати закриті відомості» не замінює обмежень доступу до джерел. Якщо права зберігаються в індексі, зміни у вихідній системі мають своєчасно в ньому відображатися. Перевіряйте і знайдені фрагменти, і посилання: працівник не повинен отримувати закритий зміст через короткий переказ.
Чому ШІ помиляється під час роботи з документами
Розбір помилки зручно починати з документа. Чи є в ньому потрібна відповідь і чи можна прочитати її після видобування тексту? Потім подивіться, які уривки повернув пошук. Якщо правильний пункт не знайдений, зміна стилю відповіді не розв’яже проблему. Якщо пункт знайдений, але пояснення йому суперечить, потрібно перевіряти використання контексту моделлю.
Зберіть запитання різної складності: пряма відповідь в одному пункті, умова з виноскою, відомості з двох документів, суперечність між редакціями та запитання, відповіді на яке немає. Для кожного зазначте допустимий висновок і джерело, яке його підтверджує. Порівнюйте не збіг формулювань, а збереження умов, відсутність вигаданих деталей і можливість перевірити посилання. Такий набір корисно повторювати після суттєвих змін бази.
Як поставити запитання та оцінити межі відповіді
Уточнення допомагають пошуку обрати потрібний контекст. Замість загального запитання про поїздку можна вказати підрозділ, вид витрат і період, що цікавить. Не обов’язково вгадувати точну назву файлу: природні формулювання якраз входять до завдань такого пошуку. Якщо запитання допускає кілька тлумачень, корисніше уточнити обставини, ніж змішувати правила в одній упевненій відповіді.
База знань не містить усього, що відомо колегам, і не усуває суперечностей у робочих правилах. Коли підтвердження немає, правильним результатом може бути повідомлення про брак відомостей із зазначенням знайдених обмежень. Повторювані запитання без відповіді показують, якого матеріалу бракує. Їх можна передати відповідальному за документацію, доповнити джерело та знову перевірити пошук на тому самому прикладі.
