LLM で働くデベロッパーは常に文書の解析に取り組んでいます。そして数ヶ月ごとに、PDF 問題の周りに新しいハイプ(または挫折)の波があります。それらの瞬間、ソフトウェアの人々がどのようにして 1 つのファイル形式がそのような巨大な頭痛になったかを振り返るのは珍しいことではありません。
LLM がこのイメージに入るまでずっと前から、すべての SaaS ビジネスは PDF の混乱を管理するために構築されていました。
ソフトウェアがAdobe AcrobatやPDF形式のように広く普及したとき、それは景観の永続的な部分のように感じ始める。その普遍性の背後には、本物の問題を解決する本物のエンジニアによる実際の設計決定、制約、妥協があったことを忘れるのは簡単です。
はい、PDFは不愉快です。しかし、彼らは壊れて生まれたわけではありませんでした。実際、彼らは彼らの時代の驚くほど優雅なソリューションでした。
このストーリーは、PDF形式の起源を探るために一歩後ろを踏み出します:それがどのようにして生まれたのか、それが解決するために作られた問題、そして90年代初めに作られた決定が今もどのようにして今日のバックに浸透しているのか。
80年代に戻り、紙からピクセルまで。
パーソナルコンピュータは人気を増やし、紙の文書はもはやデフォルトではありませんでした VisiCalc、WordStar、WordPerfect、および初期のMicrosoft Wordのようなソフトウェアは、書き、編集、共有の新しい方法の夜明けを示しました。
80年代後半までに、PC スイートはすべてを削除したが、執行役員は会議の数分前にレポートを調整することができた。アナリストはスプレッドシートで「もし」シナリオを実行していた。
ますます、ドキュメントは新しい職場となり、最終製品だけでなく、実際に作業が行われた場所にもなりました。
90年代とPDFの誕生
1990年代初頭、PCベースのテキスト処理と電子ファイル共有の増加は、多くの問題を解決し、新しいものを導入しました。各コンピュータには独自のフォント、プリンタドライバー、およびレイアウトの奇妙さがありました。
この問題を解決するため、1991年にAdobeの共同創設者ジョン・ウォーノック氏と彼のチームは、「Camelot」というコードネームのプロジェクトを開始し、真に普遍的なドキュメントフォーマットを作成しました。
すべてのフォント、画像、およびレイアウトの詳細を単一のファイルにバンドルすることで、PDF はユーザーが驚きなくドキュメントを共有できるようになり、画面に表示されるものはどこでも同じように印刷されます Adobe は 1994 年に無料の Acrobat Reader を提供し、5 年以内に PDF は製品マニュアルや企業レポートから政府フォームや学術論文に至るまですべてのものに適したフォーマットになりました。
2000年代初頭までに、「PDFとしてエクスポート」はほぼすべての作成ツールで1クリックのオプションとなり、業界中の組織はそれを配布、アーカイブ、コンプライアンスに採用しました。
The PDF Design Trap
PDF デザイン トラップPDFを魅力的(ピクセル完璧な忠誠心の約束)にしたのは、コンテンツを厳格でプリントファーストの構造に閉じ込めていたという隠れた妥協ももたらした。
すべての欠陥のないページの下には、本質的にデジタルスナップショットがあり、プリンターから出たものを模するように構築されました. ヘッダー、テーブル、段落は、それらのどれもセマンティックな意味を持っていませんでした。
しかし、デスクトップからウェブブラウザ、モバイルスクリーン、自動化されたパイプラインにドキュメントを移動するにつれて、破片が現れ始めました。クリーンなデータを抽出したいですか? 電話でテキストを再流しませんか? ドキュメントの構造を理解しますか? 突然、人間にとってクリーンに見えたものは機械にとって混乱を引き起こしました。
PDFとその他の近代化の試み
Adobe はこの問題に盲目ではなかった。 タグ PDF (2001 年に導入され、その後、アクセシビリティのために PDF/UA に公式化) は HTML のような論理的構造を追加しました. それは決して普遍的ではなかったが、それはアクセス可能な政府文書のために義務付けられ、大企業のワークフローで広く使用されています. 他のマイルストーン、例えば PDF/A は長期的なアーカイブ、XMP メタデータのサポート、および2008 スペクションの ISO への移転は、フォーマットの近代化のための安定した努力を示しています. それでも、広範な採用が遅れている; タグ化はほとんどのユーザーには見えない、クリエイターにとって退屈なし、しばしば不注意な輸出設定によって取り除か
You see it in heavyweights like DocuSign, in the many web-based PDF editors such as DocHub, and in open-source libraries like Poppler, which developers rely on just to pull text out of PDFs. あなたは、DokuSignのようなハードウェア、DokuHubなどの多くのWebベースのPDFエディター、およびPopplerのようなオープンソースのライブラリで、開発者がPDFからテキストを抽出するだけに依存しています。
そのため、大規模なクラウドプレイヤーはこの問題に真剣なAI筋肉を投げかけている:AWS with Textract、Google with Document AI、Microsoft with Azure AI Document Intelligence。
「AI-Native PDF Handling」
ChatGPT が打たれたとき、「PDF 問題」が爆発し、企業は自分のデータを LLM に送り込むためだけに、壁にぶつかりました:その貴重な情報の大半は PDF の中に閉じ込められていました。
最初は、目標は単純だった:単にRetrieval-Augmented Generation(RAG)のためのクリーンテキストを抽出するだけだったが、それはすぐにあまりにも基本的なものとなった。
現代のDocument AIは、ドキュメントの視覚的および論理的なレイアウトを理解するモデルを訓練します:タイトル、段落、テーブル、画像を識別します。
このAIスタックは、私たちが取り組んでいる混乱の完全な範囲を明らかにします。
- 文書の構造を理解するためのレイアウト分析
- OCRは、画像やスキャンされた文書からテキストを抽出するために、
- これらの異なるAIコンポーネントを調整するためのVLMオーケストレーション。
それぞれの層に遅延、潜在的なエラー、および計算コストが加わります。皮肉なことに、我々は、30年前にドキュメントを写真のように扱うという決定から生じた問題を解決するために、これまでで最も高度なAIモデルを使用しています。
PDF は徐々に進化しつつあるものの、最初に印刷されたDNAは、すべての現代のワークフローにコストを積み重ね続けています。スキャンや写真を撮影した構造形式は、いくつかの障害を導入しますが、PDF の設計は痛みを強化します。
1 進む道
私たちは一晩で何十年ものPDFを削除することはできませんが、歴史を繰り返すのを避けることができます。新しいコンテンツについては、デフォルトでセマンティクスを保存する生まれつきのデジタル形式を選択してください。
- HTML5 for the Web について
- テクニカルドキュメントの Markdown-derived standards for technical documents
- オフィス互換性が必要な場合に DOCX/OOXML を使用します。
固定レイアウトファイルが避けられない場合、完全なタグとメタデータを完全にエクスポートし、一部の著作ツールはこれを自動化します。PDF/UAの遵守を必要とする政府の調達規則は前例です。
W3C の Portable Web Publication または EPUB 3 などの長期的なオープン・スタンダードは、将来のコンテナ化された JSON ベースのフォーマットとともに、構造を犠牲にすることなく忠誠を約束します。
レッスンは、1991年の問題を解決したエンジニアを欺くのではなく、今日の「十分に良い」ショートカットが明日の高価なハンカチになることを認識することです。
既存のフォーマットを扱っているチームの場合、ツールとしてChunkrオープンソースAPIベースのパイプラインを提供し、複雑な文書をLLMおよびRAGワークフローに適した構造化された断片化された形式に変換し、ホストエンドポイントまたは自己管理インフラストラクチャとして利用できます。
チャンクル
テクノロジーのプロとしてあなたの視聴者を成長させるために苦労していますか?
「Tech Audience Accelerator」あなたは私の30M+印象の背後にある証明されたフレームワーク、テンプレート、戦術(そして数える)を得るでしょう。
