Непосогласливост помеѓу PDF и вештачка интелигенција: Тешкотии при пребегување од инструкции за цртање на страници во семантски текст
Форматот PDF е дизајниран така што документот да изгледа исто на сите уреди; меѓутоа, оваа доверливост додава неочекувани предизвици во процесот на разбирање на природниот јазик од страна на вештачката интелигенција. PDF се однесува како збир на инструкции кои го поставуваат секој карактер и елемент на страницата на одредени координати, наместо да претставуваат тековен текстов поток. Поради тоа, содржината се темели врз визуелни позиции наместо на логичка хиерархија, што создава раскол со редоследниот текстуален тек што е навикната на модерната језична модел.
Недоволната видливост на уредувачки структури е една од најголемите проблеми со кои се соочуваат вештачките интелигенции при работа со PDF. Разликувањето помеѓу насловите и главниот текст, како и потокот во фусноти или во меѓуколонските страници, моделот им е тешко да го разбере. Ова може да доведе до погрешни резуми, недостиг на контекст и понекогаш до создавање на вештачки содржини.
Идејата дека OCR е секогаш решение не е целосно точна. Во страниците со сенки или скенирани документи, текстот не може да се избере директно; тука влегува Optical Character Recognition (OCR). Но, страници со повеќе колони, сложени табели, рачно напишани текстови или графики ги тестираат границите на OCR. Временом, се користат алатки за повторно читање, резумирање на текст или зајакнување на контекстот преку визуелно-лингвистички модели; ова дополнително ја зголемува сметката за пресметка и може да доведе до нестабилни резултати.
Во последно време, се појавија различни иницијативи за пополнување на овој јаз. Алексин институт за вештачка интелигенција ја разви olmOCR, кој со обука на околу 100 илјади PDF документи, се стреми да нуди подобри резултати при идентификација на наслови, табли и распоред на страници. Екипите од HuggingFace граделе специјални модели користејќи големи количини податоци со милијарди PDF документи со цел да обработуваат тешки документи, користејќи ги и масивните токени за обука. Многуслојниот пристап на Reducto, пак, прво ги дели страниците на делови, потоа имплементира посебни модели за таблици и ги проверува моделите за визуелно-лингвистички извести за да се намалат грешките. Овој сложен процес е особено важен во полињата каде е потребна висока точност, како финансии и правни науки.
За жал, проблемот сè уште не е целосно решение. Вложените PDF, документи со рачно напишан текст и необични дизајни сè уште претставуваат предизвик за јазичните модели. Дебатата трае меѓу два клучни аспекта: дали повеќе предизвик е PDF или вештачката интелигенција? Некои инсистираат дека е неопходно да се создаде посовршен формат на документ што ќе ја замени PDF; Factorify ја користи оваа идеја како пример, тврдејќи дека сегашниот PDF е затворена, неефикасна структура. Од друга страна, поборниците на PDF тврдат дека е витално документот да го сочува истиот изглед без разлика на уредот или времето кога се отвора. Во дебатата која тврди дека можеби современите AI системи не работат без грешки, основниот проблем е несогласувањето помеѓу начинот на кој е претставен текстот и начинот на кој се разбира тој.
