Od folderu z plikami do odpowiedzi na pytanie
Przyjrzyjmy się przykładowej bazie instrukcji dotyczących podróży służbowych. Na jej podstawie widać, po co zachowywać wersje dokumentów, jak wyszukiwanie wybiera fragmenty i co sprawdzić przed użyciem gotowej odpowiedzi.
Jak działa RAG: wyszukiwanie w dokumentach z AI
Czym jest RAG i skąd pochodzą informacje o firmie
Pracownik pyta: „Jakie dokumenty są potrzebne po podróży służbowej?”. Model językowy może podać wiarygodnie brzmiące ogólne wyjaśnienie, ale z samego pytania nie pozna wewnętrznych zasad firmy. Mogą one przewidywać szczególny formularz raportu, różne wymagania dla działów i nową wersję instrukcji. Te informacje trzeba dostarczyć jako źródło.
Jednym ze sposobów pracy z takimi materiałami jest RAG — generowanie odpowiedzi wspomagane wyszukiwaniem. System znajduje odpowiednie fragmenty w bazie zewnętrznej wobec modelu i przekazuje je razem z pytaniem. Dokumenty nie muszą stawać się częścią treningu modelu. Baza wiedzy i model językowy pełnią różne role: pierwsza zawiera materiały robocze, drugi pomaga sformułować odpowiedź na podstawie znalezionych treści.
Jak działa RAG na przykładzie jednego pytania
Najpierw dokumenty udostępnia się do wyszukiwania. Często tworzy się w tym celu indeks: przygotowaną reprezentację tekstów z nazwami, fragmentami i dodatkowymi informacjami. Gdy pojawia się pytanie, część wyszukująca wybiera odpowiednie materiały. Do zapytania skierowanego do modelu trafia wybrany kontekst, niekoniecznie cały folder.
W przykładzie podróży służbowej mogą to być rozdział o rozliczaniu, załącznik z formularzem i punkt dotyczący wyjątków. Model tworzy wyjaśnienie, a interfejs może pokazać odnośniki do wykorzystanych źródeł. Jeśli wyszukiwanie pominęło załącznik, odpowiedź może być niepełna. Dlatego jakość zależy zarówno od znalezionych fragmentów, jak i od tego, jak dokładnie model je wykorzystał.
Jak przygotować bazę wiedzy dla AI
Długie teksty zwykle dzieli się na fragmenty, które można znajdować oddzielnie. Przy nieudanym podziale warunek pozostaje w jednym fragmencie, a wyjątek w drugim. Zdanie „w pozostałych przypadkach” bez poprzedniego akapitu jest niemal bezużyteczne. Wraz z treścią warto zachować nagłówek sekcji i powiązanie z dokumentem źródłowym.
Tabele wymagają osobnej uwagi. Wartość w komórce traci znaczenie bez nazwy wiersza, kolumny lub przypisu. W skanach możliwe są błędy rozpoznawania: pominięte przeczenie może zmienić zasadę. Przed włączeniem dokumentu do bazy sprawdź, jak wydobyto jego tekst, czy zachowano uwagi i czy można znaleźć miejsce, z którego pochodzi cytat. Do weryfikacji przydają się strony o złożonym układzie, a nie tylko starannie przygotowana pierwsza strona.
Wyszukiwanie słów i znaczeń służy różnym zadaniom
Użytkownik może zapytać „jak rozliczyć wyjazd”, choć instrukcja nosi tytuł „Zasady rozliczania kosztów podróży służbowych”. Wyszukiwanie podobieństwa znaczeniowego pomaga zestawić różne sformułowania. Wyszukiwanie wektorowe wykorzystuje do tego liczbowe reprezentacje tekstu — embeddings. Bliskość tych reprezentacji jest sposobem wyboru materiałów, ale nie dowodem poprawności znalezionej reguły.
Przy dokładnym numerze formularza, nazwisku lub kodzie produktu zgodność słów bywa ważniejsza od ogólnego podobieństwa. Wyszukiwanie hybrydowe łączy podejście pełnotekstowe i wektorowe. W naszej przykładowej bazie zdanie o wyjeździe pomaga znaleźć temat, a numer formularza wskazuje właściwy załącznik. To, który sposób daje lepszy wynik, sprawdza się na rzeczywistych pytaniach i nazwach wewnętrznych konkretnej bazy.
Co rzeczywiście potwierdza odnośnik do źródła
Odnośnik pozwala sprawdzić odpowiedź: można otworzyć źródło i porównać je z wyjaśnieniem. Jednak istnienie dokumentu nie potwierdza jeszcze każdego zdania odpowiedzi. Model może poprawnie przedstawić główną zasadę, ale dodać termin, którego nie ma w wybranym fragmencie. Czasem odnośnik prowadzi do odpowiedniego tematu, choć wniosek dotyczy innej sytuacji.
Podczas sprawdzania znajdź konkretny punkt, zobacz warunki jego stosowania i obowiązującą wersję. Wygodniej jest, gdy przy odpowiedzi widać nazwę dokumentu, sekcję i wykorzystany fragment. Jeśli informacje zebrano z kilku plików, trzeba rozróżniać, na którym źródle opiera się każdy wniosek. Przy decyzjach o istotnych skutkach przekonujący ton nie wystarcza: potwierdzenia szuka się w samym materiale.
Aktualność i dostęp dotyczą samych źródeł
Jeśli w bazie pozostają dwie wersje instrukcji, wyszukiwanie może zwrócić obie. Data przesłania nie zawsze oznacza datę wejścia w życie. Dokumentom warto nadawać jasny status, okres obowiązywania i osobę odpowiedzialną za treść. Przy aktualizacji należy sprawdzić, czy stara wersja zniknęła z aktywnych wyników i czy pojawiły się nowe postanowienia.
Uprawnienia użytkownika trzeba uwzględniać także przy wyszukiwaniu i przekazywaniu kontekstu. Prośba do modelu „nie pokazuj poufnych informacji” nie zastępuje ograniczenia dostępu do źródeł. Jeśli uprawnienia są zapisane w indeksie, zmiany w systemie źródłowym powinny być w nim odzwierciedlane na czas. Sprawdzaj znalezione fragmenty i odnośniki: pracownik nie powinien otrzymywać chronionej treści poprzez krótkie streszczenie.
Dlaczego AI popełnia błędy podczas pracy z dokumentami
Analizę błędu najlepiej zacząć od dokumentu. Czy zawiera potrzebną odpowiedź i czy można ją odczytać po wydobyciu tekstu? Następnie zobacz, jakie fragmenty zwróciło wyszukiwanie. Jeśli właściwy punkt nie został znaleziony, zmiana stylu odpowiedzi nie rozwiąże problemu. Jeśli punkt znaleziono, ale wyjaśnienie mu przeczy, trzeba sprawdzić wykorzystanie kontekstu przez model.
Zbierz pytania o różnej trudności: bezpośrednia odpowiedź w jednym punkcie, warunek z przypisem, informacje z dwóch dokumentów, sprzeczność między wersjami i pytanie bez odpowiedzi. Przy każdym zaznacz dopuszczalny wniosek oraz potwierdzające źródło. Porównuj zachowanie warunków, brak wymyślonych szczegółów i możliwość sprawdzenia odnośnika, a nie zgodność sformułowań. Warto powtarzać taki zestaw po istotnych zmianach bazy.
Jak zadać pytanie i ocenić granice odpowiedzi
Doprecyzowanie pomaga wyszukiwaniu wybrać właściwy kontekst. Zamiast ogólnego pytania o wyjazd można podać dział, rodzaj kosztów i interesujący okres. Nie trzeba zgadywać dokładnej nazwy pliku: obsługa naturalnych sformułowań właśnie należy do zadań takiego wyszukiwania. Jeśli pytanie można rozumieć na kilka sposobów, lepiej wyjaśnić okoliczności niż łączyć różne zasady w jednej pewnej odpowiedzi.
Baza wiedzy nie zawiera wszystkiego, co wiedzą współpracownicy, i nie usuwa sprzeczności w zasadach pracy. Gdy brak potwierdzenia, prawidłowym wynikiem może być informacja o niedostatku danych ze wskazaniem znalezionych ograniczeń. Powtarzające się pytania bez odpowiedzi pokazują, jakich materiałów brakuje. Można przekazać je osobie odpowiedzialnej za dokumentację, uzupełnić źródło i ponownie sprawdzić wyszukiwanie na tym samym przykładzie.
