De ce extragerea textului din PDF-uri se simte încă ca un hack – și designul moștenit care păstrează AI

Dezvoltatorii care lucrează cu LLM-uri intră în procesul de analiză a documentelor în mod constant. Și la fiecare câteva luni, există un nou val de hype (sau frustrare) în jurul problemei PDF. În acele momente, nu este neobișnuit să vezi oameni de software care se luptă despre modul în care un format de fișier a devenit o durere de cap atât de masivă.

Cu mult timp înainte ca LLM-urile să intre în imagine, întregul SaaS a fost construit în jurul gestionării confuziei PDF-urilor.

Când software-ul devine la fel de răspândit ca Adobe Acrobat și formatul PDF, începe să se simtă ca o parte permanentă a peisajului.Este ușor să uiți că în spatele acestei omniprezențe au fost decizii reale de proiectare, constrângeri și compromisuri făcute de ingineri reali care rezolvă probleme reale.

Da, PDF-urile sunt frustrante. Dar ele nu s-au născut rupte. De fapt, au fost o soluție surprinzător de elegantă pentru timpul lor.

Această poveste ia un pas înapoi pentru a explora originea formatului PDF: cum a apărut, ce probleme a încercat să rezolve și cum deciziile luate la începutul anilor 90 încă se învârt prin pila de astăzi.

Înapoi în anii '80, de la hârtie la pixeli.

Computerele personale au explodat în popularitate, iar documentele pe hârtie nu mai erau standardul.Software-uri precum VisiCalc, WordStar, WordPerfect și începutul Microsoft Word au marcat răsăritul unei noi modalități de a scrie, edita și partaja.

Până la sfârșitul anilor '80, suitele de PC-uri aveau totul în afară de a ucide tipograful. Executivele puteau ajusta rapoartele cu câteva minute înainte de o întâlnire. Analiștii rulau scenarii "ce-ar fi" în foi de calcul. Profesorii imprimau testele pe fluier. Inginerii au înlocuit tabelele de redactare cu blueprints digitale.

Din ce în ce mai mult, documentele au devenit noul loc de muncă.Nu numai produsul final, ci și locul unde s-a desfășurat de fapt munca.

Anii '90 și nașterea PDF-ului.

La începutul anilor 1990, creșterea procesării cuvintelor pe bază de PC și a partajării fișierelor electronice a rezolvat multe probleme, introducând în același timp altele noi. Fiecare computer avea propriile fonturi, drivere de imprimantă și trucuri de aspect. Un raport care arăta perfect pe o mașină ar putea fi tipărit ca o mizerie pe alta.

Pentru a remedia acest lucru, în 1991, co-fondatorul Adobe, John Warnock, și echipa sa au lansat un proiect numit „Camelot” pentru a crea un format de document cu adevărat universal.Rezultatele au fost PDF, un fișier care a încorporat fonturi, grafice și aspectul paginii într-un singur loc.

Prin combinarea fiecărei fonturi, a fiecărei imagini și a detaliilor aspectului într-un singur fișier, PDF-urile permit utilizatorilor să partajeze documente fără surprize, iar ceea ce vedeți pe ecran este tipărit exact la fel peste tot. Adobe a pus gratuit Acrobat Reader la dispoziție în 1994, iar în decurs de cinci ani, PDF-urile au devenit formatul ideal pentru tot, de la manuale de produse și rapoarte corporative la formulare guvernamentale și lucrări academice.

Până la începutul anilor 2000, „exportarea ca PDF” a fost o opțiune cu un singur clic în aproape fiecare instrument de scriere, iar organizațiile din întreaga industrie au adoptat-o pentru distribuție, arhivare și conformitate.

The PDF Design Trap

Ceea ce a făcut ca PDF-urile să fie atât de atractive (promisiunea lor de fidelitate perfectă la pixeli) a introdus, de asemenea, un compromis ascuns: a blocat conținutul într-o structură rigidă, tipărită în primul rând.

Sub fiecare pagină fără defecte se afla, în esență, o fotografie instantanee digitală, construită pentru a imita ceea ce a ieșit dintr-o imprimantă. Titluri, tabele, paragrafe, niciuna dintre ele nu avea semnificație semantică.

La început, acest lucru nu a avut importanță.Dar pe măsură ce documentele s-au mutat de la desktop la browsere web, ecrane mobile și conducte automate, crăpăturile au început să apară.Vrei să extragi date curate?Reflow text pe un telefon?Înțelegeți structura documentului?Deodată, ceea ce părea curat pentru oameni a devenit o mizerie pentru mașini.

PDF și alte încercări de modernizare

Adobe nu a fost orb la această problemă. Tagged PDF (introdusă în 2001 și ulterior formalizată în PDF/UA pentru accesibilitate) adaugă o structură logică asemănătoare HTML-ului. Nu a devenit niciodată universală, dar este obligată pentru documente guvernamentale accesibile și este utilizată pe scară largă în fluxurile de lucru ale întreprinderilor mari. Alte piese de hotar, cum ar fi PDF/A pentru arhivarea pe termen lung, suportul pentru metadatele XMP și transferul în 2008 al specificațiilor la ISO, arată eforturi constante de modernizare a formatului.

Veți vedea acest lucru în greutăți grele, cum ar fi DocuSign, în numeroasele edituri PDF bazate pe web, cum ar fi DocHub, și în bibliotecile cu sursă deschisă, cum ar fi Poppler, pe care dezvoltatorii se bazează doar pentru a extrage text din PDF-uri.

Acesta este, de asemenea, motivul pentru care jucătorii de mari dimensiuni din cloud-ul digital aruncă toți mușchi serioși ai inteligenței artificiale pe această problemă: AWS cu Textract, Google cu Document AI și Microsoft cu Azure AI Document Intelligence.

Creșterea AI-Native PDF Handling

Când ChatGPT a lovit, „problema PDF” a explodat. Companiile s-au grăbit să-și alimenteze datele în LLM-uri, doar pentru a lovi un perete: cea mai mare parte a informațiilor valoroase a fost blocată în interiorul PDF-urilor.

La început, obiectivul a fost simplu: pur și simplu extrageți text curat pentru Retrieval-Augmented Generation (RAG). Dar acest lucru sa dovedit rapid prea elementar. Fără conștientizarea aspectului, textul din coloane a fost stricat, tabelele s-au transformat în nonsens, imaginile au fost ignorate și contextul important a dispărut.

Document AI modern pregătește acum modele pentru a înțelege aspectul vizual și logic al unui document: identificarea titlurilor, paragrafelor, tabelelor și imaginilor.

Această stivă AI dezvăluie amploarea completă a dezordinii cu care ne confruntăm.Ce ar trebui să fie o extracție simplă de date necesită acum mai multe straturi specializate:

• Analiza layout-ului pentru a înțelege structura documentului
• OCR pentru a extrage text din imagini și documente scanate,
• Orchestrarea VLM pentru a coordona aceste componente AI diferite.

Ironia este uimitoare: folosim unele dintre cele mai avansate modele AI construite vreodată pentru a rezolva o problemă care decurge dintr-o decizie de 30 de ani de a trata documente precum fotografiile.

În timp ce PDF-urile au evoluat treptat, ADN-ul lor de primă imprimare continuă să acumuleze costuri pe fiecare flux de lucru modern.Formatele structurate, scanate sau fotografiate, introduc unele dintre aceleași obstacole, dar designul PDF-ului amplifică durerea.

O cale înainte

Nu putem șterge zeci de PDF-uri peste noapte, dar putem evita repetarea istoriei.Pentru conținut nou, alegeți formate nativ-digitale care păstrează semantica în mod implicit:

• HTML5 pentru web
• Standardele derivate de la Markdown pentru documente tehnice,
• sau DOCX/OOXML atunci când este necesară compatibilitatea cu Office.

Atunci când un fișier cu aspect fix este inevitabil, exportați cu etichete complete și metadate intacte; unele instrumente de scriere automatizează acum acest lucru. regulile de achiziții guvernamentale care necesită respectarea PDF/UA sunt un precedent pozitiv.

Standardele deschise pe termen lung, cum ar fi W3C’s Portable Web Publication sau EPUB 3, împreună cu viitoarele formate containerizate bazate pe JSON, promit fidelitate fără a sacrifica structura.

Povestea PDF-urilor dovedește că alegerile de design timpurii au ecoat de zeci de ani. Lecția nu este de a înșela inginerii care au rezolvat problema din 1991; este de a recunoaște că scurtcircuitele de astăzi „suficient de bune” devin mânecile costisitoare de mâine.

Pentru echipele care se ocupă deja de formate moștenite, instrumente precumChunkroferă un pipeline bazat pe API-uri open-source pentru a converti documente complexe în formate structurate, fragmentate, adaptate la fluxurile de lucru LLM și RAG, disponibile atât ca endpointe găzduite, cât și ca infrastructură auto-gestionată.

Te străduiești să-ți dezvolți publicul ca profesionist în tehnologie?

Acceleratorul audienței tehniceeste buletinul informativ pentru creatorii de tehnologie serioși despre creșterea audienței lor. Veți obține cadrele, șabloanele și tacticile dovedite din spatele impresiilor mele 30M (și numărarea).