Ад папкі з файламі да адказу на пытанне
Разгледзім умоўную базу з інструкцыямі пра камандзіроўкі. На яе прыкладзе відаць, навошта захоўваць версіі дакументаў, як пошук выбірае ўрыўкі і што праверыць, перш чым карыстацца гатовым адказам.
Як працуе RAG: пошук па дакументах з ШІ
Што такое RAG і адкуль бяруцца звесткі пра кампанію
Супрацоўнік пытае: «Якія дакументы патрэбныя пасля камандзіроўкі?» Моўная мадэль можа даць праўдападобнае агульнае тлумачэнне, але з самога пытання яна не даведаецца ўнутраныя правілы кампаніі. У іх могуць быць асаблівая форма справаздачы, розныя патрабаванні для падраздзяленняў і новая рэдакцыя інструкцыі. Гэтыя звесткі трэба даць як крыніцу.
Адзін са спосабаў працы з такімі матэрыяламі — RAG, генерацыя адказу з апорай на пошук. Сістэма знаходзіць адпаведныя ўрыўкі ў знешняй адносна мадэлі базе і перадае іх разам з пытаннем. Дакументы неабавязкова павінны станавіцца часткай навучання мадэлі. База ведаў і моўная мадэль выконваюць розныя ролі: першая змяшчае працоўныя матэрыялы, другая дапамагае сфармуляваць адказ паводле знойдзенага.
Як працуе RAG на адным пытанні
Спачатку дакументы робяць даступнымі для пошуку. Часта для гэтага ствараюць індэкс: падрыхтаванае прадстаўленне тэкстаў з назвамі, фрагментамі і дадатковымі звесткамі. Калі прыходзіць пытанне, пошукавая частка выбірае адпаведныя матэрыялы. У запыт да мадэлі трапляе адабраны кантэкст, а неабавязкова ўся папка цалкам.
У прыкладзе з камандзіроўкай гэта могуць быць раздзел пра справаздачнасць, дадатак з формай і пункт пра выключэнні. Мадэль складае тлумачэнне, а інтэрфейс можа паказаць спасылкі на выкарыстаныя крыніцы. Калі пошук прапусціў дадатак, адказ рызыкуе аказацца няпоўным. Таму якасць залежыць і ад знойдзеных урыўкаў, і ад таго, наколькі дакладна мадэль іх выкарыстала.
Як падрыхтаваць базу ведаў для ШІ
Вялікія тэксты звычайна дзеляць на фрагменты, якія можна знаходзіць паасобку. Пры няўдалым падзеле ўмова застаецца ў адным урыўку, а выключэнне — у іншым. Фраза «для астатніх выпадкаў» без папярэдняга абзаца амаль бескарысная. Разам са зместам варта захоўваць загаловак раздзела і сувязь з зыходным дакументам.
Табліцы патрабуюць асобнай увагі. Значэнне ў ячэйцы губляе сэнс без назвы радка, слупка або зноскі. У сканаваных файлах магчымыя памылкі распазнавання: прапушчанае адмаўленне здольнае змяніць правіла. Перад уключэннем дакумента ў базу праверце, як выняты яго тэкст, ці захаваліся заўвагі і ці можна знайсці месца, з якога ўзятая цытата. Для праверкі карысныя старонкі са складанай вёрсткай, а не толькі акуратны першы аркуш.
Пошук па словах і па сэнсе вырашае розныя задачы
Чалавек можа спытаць «як даць справаздачу за паездку», хоць інструкцыя называецца «Парадак афармлення камандзіровачных выдаткаў». Пошук па сэнсавай блізкасці дапамагае супаставіць розныя фармулёўкі. Вектарны пошук выкарыстоўвае для гэтага лікавыя прадстаўленні тэксту — embeddings. Блізкасць такіх прадстаўленняў служыць спосабам адбору, але не доказам правільнасці знойдзенага правіла.
Для дакладнага нумара формы, прозвішча або кода вырабу супадзенне слоў бывае важнейшым за агульнае падабенства. Гібрыдны пошук спалучае паўнатэкставы і вектарны падыходы. У нашай умоўнай базе фраза пра паездку дапамагае знайсці тэму, а нумар формы ўдакладняе патрэбны дадатак. Які спосаб дае лепшы вынік, правяраюць на рэальных пытаннях і ўнутраных назвах канкрэтнай базы.
Што сапраўды пацвярджае спасылка на крыніцу
Спасылка робіць адказ прыдатным для праверкі: можна адкрыць арыгінал і супаставіць яго з тлумачэннем. Аднак існуючы дакумент яшчэ не пацвярджае кожны сказ адказу. Мадэль можа правільна пераказаць асноўнае правіла, але дадаць тэрмін, якога ў выбраным урыўку няма. Часам спасылка вядзе на адпаведную тэму, хоць выснова адносіцца да іншай сітуацыі.
Пры праверцы знайдзіце канкрэтны пункт, паглядзіце ўмовы яго выкарыстання і дзейную версію. Зручней, калі побач з адказам відаць назву дакумента, раздзел і выкарыстаны фрагмент. Калі звесткі сабраныя з некалькіх файлаў, важна адрозніваць, на якую крыніцу абапіраецца кожная выснова. Для рашэнняў з істотнымі наступствамі недастаткова пераканаўчага тону: пацвярджэнне шукаюць у самім матэрыяле.
Актуальнасць і доступ адносяцца да саміх крыніц
Калі ў базе застаюцца дзве рэдакцыі інструкцыі, пошук можа вярнуць абедзве. Дата загрузкі не заўсёды азначае дату пачатку дзеяння. Дакументам карысна задаваць зразумелы статус, перыяд выкарыстання і адказнага за змест. Пры абнаўленні трэба праверыць, ці знікла састарэлая версія з актыўнай выдачы і ці з’явіліся новыя палажэнні.
Правы карыстальніка таксама павінны ўлічвацца пры пошуку і перадачы кантэксту. Просьба да мадэлі «не паказваць закрытыя звесткі» не замяняе абмежаванняў доступу да крыніц. Калі правы захоўваюцца ў індэксе, змены ў зыходнай сістэме павінны своечасова ў ім адлюстроўвацца. Правярайце і знойдзеныя фрагменты, і спасылкі: супрацоўнік не павінен атрымліваць закрыты змест праз кароткі пераказ.
Чаму ШІ памыляецца пры працы з дакументамі
Разбор памылкі зручна пачынаць з дакумента. Ці ёсць у ім патрэбны адказ і ці можна прачытаць яго пасля вымання тэксту? Затым паглядзіце, якія ўрыўкі вярнуў пошук. Калі правільны пункт не знойдзены, змена стылю адказу не вырашыць праблему. Калі пункт знойдзены, але тлумачэнне яму супярэчыць, трэба правяраць выкарыстанне кантэксту мадэллю.
Збярыце пытанні рознай складанасці: прамы адказ у адным пункце, умова са зноскай, звесткі з двух дакументаў, спрэчка паміж рэдакцыямі і пытанне, адказу на якое няма. Для кожнага адзначце дапушчальную выснову і крыніцу, якая яе пацвярджае. Параўноўвайце не супадзенне фармулёвак, а захаванне ўмоў, адсутнасць выдуманых дэталяў і магчымасць праверыць спасылку. Такі набор карысна паўтараць пасля істотных змен базы.
Як задаць пытанне і ацаніць межы адказу
Удакладненні дапамагаюць пошуку выбраць патрэбны кантэкст. Замест агульнага пытання пра паездку можна пазначыць падраздзяленне, від выдаткаў і перыяд, які вас цікавіць. Неабавязкова ўгадваць дакладную назву файла: натуральныя фармулёўкі якраз уваходзяць у задачы такога пошуку. Калі пытанне дапускае некалькі тлумачэнняў, карысней удакладніць абставіны, чым змешваць правілы ў адным упэўненым адказе.
База ведаў не змяшчае ўсяго, што вядома калегам, і не ліквідуе супярэчнасці ў працоўных правілах. Калі пацвярджэння няма, карэктным вынікам можа быць паведамленне пра недахоп звестак з указаннем выяўленых абмежаванняў. Паўторныя пытанні без адказу паказваюць, якога матэрыялу не хапае. Іх можна перадаць адказнаму за дакументацыю, дапоўніць крыніцу і зноў праверыць пошук на тым жа прыкладзе.
