تهيئة ملفات PDF لنماذج اللغة وأنظمة الاسترجاع

لماذا لا يكفي استخراج النص الخام

ستعطيك أي مكتبة PDF نص المستند في سطرين من الشيفرة، ولمذكّرة من عمود واحد يكفي ذلك فعلاً. أما لغير ذلك فلا يكفي، لثلاثة أسباب كلها تكلّفك جودة استرجاع.

أولاً ترتيب القراءة. يعيد الاستخراج الخام النص بالترتيب الذي رُسمت به الأشكال الحرفية، وهذا في صفحة من عمودين يشابك العمودين. فيصير نصف مقاطعك (chunks) شذرات جُمل تتناوب بين فقرات لا صلة بينها، وتُضمَّن (embedding) عند نقطة في الفضاء المتجهي لا تقابل شيئاً.

ثانياً الحدود. من دون عناوين لا شيء يُقطَّع عليه سوى عدد المحارف، فتنكسر المقاطع في منتصف الجملة ومنتصف الجدول، والمقطع الذي يبدأ في منتصف شرح لا يُفهم وحده — وهو تحديداً ما يجب أن يفعله المقطع المسترجَع.

ثالثاً الجداول. الجدول المستخرَج نصاً خاماً يصير سيلاً من الأرقام بلا أي إشارة إلى العمود الذي جاء منه كل رقم. والنموذج الذي يقرأ ذلك سيجيب عن سؤالك رغم هذا. غير أن الإجابة ستكون خاطئة.

ماذا يقدّم Markdown للنظام

Markdown صيغة وسيطة جيدة هنا لأسباب لا علاقة لها بجماله.

• العناوين تعطيك حدود مقاطع دلالية، فيصير المقطع قسماً بدل أن يكون نافذة من ألف محرف.
• مسار العناوين يمنح كل مقطع سياقه — إذ يمكنك أن تسبقه بـ«الفصل 3 › حدود المعدل › سلوك الدفقات» قبل التضمين، وهذا يحسّن الاسترجاع تحسّناً قابلاً للقياس في المستندات التي تختلف فيها دلالة الكلمة نفسها بين قسم وآخر.
• جداول الأنابيب تُبقي الصفوف مقترنة بالأعمدة، فيستطيع النموذج القارئ لجدول مسترجَع أن يعرف أي رقم يخص أي ترويسة.
• وهو مُقتصِد. يحمل Markdown البنية بكلفة بضعة محارف لكل عنصر، بينما تنفق صيغ HTML أو JSON التخطيطية رموزاً (tokens) على ترميز لا يخبر النموذج بشيء.
• وهو صيغة رأى منها كل نموذج حالي كمّاً هائلاً أثناء التدريب، فلا يحتاج إلى شرح في الموجّه.

التقطيع، بالتحديد

الأسلوب الناجع مع المستندات المحوَّلة هو التقسيم على العناوين أولاً، والعودة إلى حدود الحجم داخل القسم المفرط الكبر فقط.

وهذه بارامترات تقريبية تصمد مع معظم أنواع المستندات:

لا تقسم جدولاً أبداً

هذه هي القاعدة التي تخالفها معظم الأنظمة، لأن المقسِّم الساذج لا يدري أنه داخل جدول.

فجدول GFM المقسوم من منتصفه ينتج مقطعين ليس أيٌّ منهما جدولاً صالحاً: الأول فيه ترويسة وبعض الصفوف، والثاني فيه صفوف بلا ترويسة البتة. والثاني أسوأ من عديم النفع، لأن أرقامه بلا تسمية وسيسمّيها النموذج تخميناً.

اكشف كتل الجداول قبل التقطيع وأبقِ كلاً منها سليمة، ولو أدى ذلك إلى مقطع يتجاوز الحجم المستهدف. وإن كان الجدول أكبر حقاً من أن يسع مقطعاً واحداً، فكرّر صف الترويسة في كل قطعة.

أين تقع المستندات الممسوحة ضوئياً

المسح الضوئي بلا نص، فلا شيء يُقطَّع. لا بد أن يسبقه التعرّف على النص — ولمُخرَجه خصائص يجب أن يحسب النظام حسابها، لأن التعرّف تقدير لا نسخ.

اثنتان منها على وجه الخصوص. الثقة تتفاوت بين صفحة وأخرى، فقد يكون المستند شبه مثالي في أربعين صفحة وغير موثوق في ثلاث؛ فإن كانت خطوة التعرّف لديك تُبلّغ بثقة كل صفحة، فانقل ذلك إلى بيانات المقطع الوصفية كي يمكن وسم إجابة منخفضة الثقة. والثانية أن الكلمات المتعذّرة القراءة تسقط بدل أن يُشار إليها، أي أن النص يبدو سلساً كاملاً بينما تنقصه تحديداً العناصر التي وجدها المحرك أعسر — وهي غالباً الأسماء وأرقام المراجع والأرقام.

وفي كل ما يترتب على الخطأ فيه أثر، ينبغي التعامل مع النص المتعرَّف عليه بوصفه دليلاً يُتحقق منه بمقابلة الأصل، لا مصدراً للسجل.

ما ينبغي فحصه قبل فهرسة متن كامل

الفهرسة هي الخطوة المكلفة البطيئة العسيرة التراجع، فيستحق الأمر إنفاق عشرين دقيقة على عيّنة أولاً. حوّل خمسة مستندات مختارة لتكون مختلفة بعضها عن بعض، واقرأ Markdown.

• هل تشكّل العناوين سُلَّماً معقولاً؟ إن كانت مسطّحة فلن يجد مقسِّمك ما يقسم عليه وستعود إلى نوافذ ثابتة الحجم في المتن كله.
• هل نجت الجداول؟ عُدّ الأعمدة بمقابلة الأصل في اثنين أو ثلاثة منها.
• هل ترتيب القراءة صحيح في الصفحات متعددة الأعمدة؟ الأعمدة المتشابكة بيّنة حال النظر إليها وغير مرئية بعد الفهرسة.
• هل ثمة تحويلات فارغة أو شبه فارغة؟ تلك مسوحات ضوئية وتحتاج مساراً آخر.
• هل يتكرر النص النمطي نفسه في كل مستند؟ الترويسات والتذييلات المتكررة تصير مقاطع شبه متطابقة تزاحم المحتوى الحقيقي في نتائج الاسترجاع.

بُعد الخصوصية، وهو ليس عرضياً

تُبنى متون RAG تحديداً من المستندات التي تكون المؤسسات أقل استعداداً لتسليمها إلى طرف ثالث: العقود، والتقارير الداخلية، وسجلات العملاء، والأبحاث غير المنشورة بعد.

ويستحق الأمر أن تتعمّد تحديد أي خطوات نظامك ترسل تلك المستندات إلى مكان ما. ولا يلزم أن يكون التحويل إحداها: فالمحوّل العامل داخل المتصفح يعالج الملف على الجهاز الذي هو عليه أصلاً، ومن ثم لا تضيف خطوة التحويل أي طرف إلى السلسلة. أما هل تفعل ذلك الخطوات اللاحقة فقرار منفصل — لكنه قرار يمكنك اتخاذه على حدة.