استخدام مستودع الذكاء الاصطناعي للمستندات لنقل المستندات ومعالجتها والبحث فيها

1. نظرة عامة

ما هو Document AI Warehouse؟

مستودع Document AI هو منصة لتخزين المستندات والبحث فيها وتنظيمها وتحليلها وتحليل بياناتها الوصفية المنظَّمة. يمكن أن تتضمّن المستندات بيانات منظَّمة، مثل النماذج والفواتير، بالإضافة إلى بيانات غير منظَّمة، مثل العقود والأوراق البحثية. يمكن استخراج البيانات الوصفية للمستندات تلقائيًا باستخدام أدوات المعالجة في Document AI أو إدخالها يدويًا باستخدام الحقول والعلامات.

في هذا الدرس التطبيقي حول الترميز، ستتعرّف على كيفية استيعاب المستندات ومعالجتها والبحث فيها باستخدام واجهة مستخدم Document AI Warehouse. يتم توفير نماذج لمستندات PDF في هذا الدرس التطبيقي حول الترميز، بما في ذلك اتفاقية ترخيص ونموذج قرض وفاتورة طلب.

المتطلبات الأساسية

يستند هذا الدرس التطبيقي حول الترميز إلى المحتوى المقدَّم في دروس تطبيقية أخرى حول Document AI. ننصحك بقراءة المستندات ودروس البرمجة التالية قبل المتابعة:

• البدء السريع: إعداد Document AI API
• معالجة المستندات باستخدام وحدة تحكّم Google Cloud
• إدارة معالِجات Document AI باستخدام Python

أهداف الدورة التعليمية

• كيفية تفعيل واجهة برمجة التطبيقات Document AI Warehouse API
• كيفية ضبط معالجات المستندات في Document AI Warehouse
• كيفية تحميل النص وتحليله في أنواع مختلفة من مستندات PDF
• كيفية البحث في المستندات وبياناتها الوصفية في Document AI Warehouse

المتطلبات

• مشروع Google Cloud
• متصفّح، مثل Chrome أو Firefox

2. تنزيل مستندات نموذجية

يتم توفير نماذج لمستندات PDF في هذا الدرس التطبيقي حول الترميز، بما في ذلك اتفاقية ترخيص ونموذج قرض وفاتورة طلب. يمكنك تنزيل نماذج المستندات التالية لاستخدامها في هذا الدرس التطبيقي حول الترميز.

تنزيل نموذج اتفاقية الترخيص بتنسيق PDF

تنزيل نموذج ملف PDF لنموذج القرض

تنزيل نموذج فاتورة طلب بتنسيق PDF

بدلاً من ذلك، يمكنك تنزيل المستندات النموذجية من حزمة Google Cloud Storage العامة باستخدام gsutil.

gsutil cp gs://cloud-samples-data/documentai/codelabs/warehouse/license-agreement.pdf .
gsutil cp gs://cloud-samples-data/documentai/codelabs/warehouse/loan-form.pdf .
gsutil cp gs://cloud-samples-data/documentai/codelabs/warehouse/order-invoice.pdf .

في خطوة لاحقة، ستحمّل هذه المستندات النموذجية، وتحلّلها باستخدام معالجات مستندات مختلفة، وتخزّن المستندات والبيانات الوصفية الناتجة في Document AI Warehouse.

3- تفعيل واجهة برمجة التطبيقات Document AI Warehouse

قبل البدء في استخدام Document AI Warehouse، يجب تفعيل واجهة برمجة التطبيقات.

استخدام Cloud Console

1. افتح Google Cloud Console في المتصفّح.
2. في "وحدة تحكّم Google Cloud"، انتقِل إلى مكتبة واجهات برمجة التطبيقات لتصفّح واجهات برمجة التطبيقات والخدمات التي يمكن تفعيلها.
3. باستخدام شريط البحث في أعلى صفحة "مكتبة واجهات برمجة التطبيقات"، ابحث عن Document AI Warehouse، ثم انقر على الخدمة الناتجة.

   إذا لم يظهر Document AI Warehouse في قائمة واجهات برمجة التطبيقات والخدمات الناتجة، يمكنك الانتقال إلى الرابط المباشر لصفحة واجهة برمجة التطبيقات Document AI Warehouse.

4. انقر على الزر تفعيل لتفعيل Document AI Warehouse API في مشروعك على Google Cloud.

بديل: استخدام gcloud CLI

بدلاً من ذلك، يمكن تفعيل واجهة برمجة التطبيقات باستخدام الأمر gcloud التالي:

gcloud services enable contentwarehouse.googleapis.com

إذا تم تفعيل واجهة برمجة التطبيقات بنجاح، من المفترض أن تظهر لك رسالة مشابهة لما يلي:

Operation "operations/..." finished successfully.

أنت الآن جاهز لاستخدام Document AI Warehouse.

4. عرض وحدة تحكّم Document AI Warehouse

في المتصفّح، انتقِل إلى وحدة تحكّم Document AI Warehouse على https://documentwarehouse.cloud.google.com (وهي خارجية عن وحدة تحكّم Google Cloud). ستستخدم وحدة تحكّم Document AI Warehouse مع مشروعك على السحابة الإلكترونية على Google Cloud لتنفيذ الخطوات المتبقية في هذا الدرس العملي لتحميل المستندات ومعالجتها والبحث فيها.

إذا كانت هذه المرة الأولى التي تستخدم فيها Document AI Warehouse، يُرجى الرجوع إلى مستندات Document AI Warehouse للحصول على مزيد من المعلومات حول إعداد مشروعك وإعداداتك حسب احتياجاتك.

5- إنشاء مخطط مستند

تحدّد مخططات المستندات نوع المستند والحقول الخاصة بالمستندات التي تخزّنها في Document AI Warehouse. عليك إنشاء مخطط قبل تحميل أي مستندات جديدة.

1. من وحدة تحكّم Document AI Warehouse، انقر على الزر المشرف في أعلى يسار الصفحة.
2. انقر على العنصر Schema في شريط التنقّل الأيمن، ثمّ انقر على الزر + إضافة جديد.
3. أدخِل اسمًا للمخطط، مثل Documents and Forms، وتأكَّد من اختيار مستند كـ نوع المخطط. بعد ذلك، انقر على الزر التالي للمتابعة.
4. يمكنك ترك تعريف مخطّط JSON التلقائي كما هو، والذي من المفترض أن يظهر على النحو التالي:

   {
     "display_name": "Documents and Forms",
     "property_definitions": [],
     "document_is_folder": false,
     "description": ""
   }
   

5. بعد ذلك، انقر على الزر تم للانتهاء من إنشاء مخطط المستند.

بعد إكمال هذه الخطوات بنجاح، من المفترض أن تظهر لك رسالة تفيد بأنّه تم إنشاء مخطّط المستند. يمكنك النقر على الزر عرض مخطط المستند، ثم على علامة التبويب JSON لتأكيد المخطط الذي من المفترض أن يظهر على النحو التالي:

6. إنشاء أدوات معالجة المستندات

إذا كانت هذه هي المرة الأولى التي تستخدم فيها أدوات المعالجة في Document AI، ننصحك بمراجعة التدريب والبرامج التعليمية الخاصة بـ Document AI للتعرّف على كيفية إنشاء أدوات معالجة المستندات واستخدامها.

في هذه الخطوة، ستنشئ معالِجات مستندات يمكنك استخدامها لإجراء بحث عن النص الكامل في أنواع مختلفة من المستندات في Document AI Warehouse.

1. في Google Cloud Console، انتقِل إلى صفحة "نظرة عامة على منصة Document AI".
2. انقر على استكشاف أدوات المعالجة، ثم اختَر التعرّف البصري على الأحرف في المستندات كنوع أداة المعالجة التي تريد إنشاءها.
3. حدِّد اسمًا لمعالج المستندات، مثل ocr، والمنطقة المفضّلة، ثم انقر على إنشاء لإنشاء المعالج.
4. في صفحة تفاصيل المعالج، انسخ معرّف المعالج الذي سنستخدمه لاحقًا لإعداد معالج في Document AI Warehouse.

كرِّر هذه الخطوات واختَر محلّل النماذج كنوع معالج المستندات لإنشاء form وتحديده كاسم المعالج.

كرِّر هذه الخطوات واختَر محلّل الفواتير كنوع معالج المستندات لإنشاء invoice وتحديده كاسم المعالج.

بعد إكمال هذه الخطوات بنجاح، من المفترض أن تظهر لك قائمة بمعالجات المستندات تشبه ما يلي:

7. ضبط معالجات المستندات

في هذه الخطوة، عليك ضبط معالِجات المستندات في Document AI Warehouse من خلال الرجوع إلى المعالِجات التي أنشأتها في الخطوة السابقة.

1. من وحدة تحكّم Document AI Warehouse، انقر على الزر المشرف في شريط الأدوات العلوي.
2. انقر على العنصر أدوات معالجة Doc AI في شريط التنقّل الأيمن، ثم انقر على الزر + إضافة جديد.
3. انقر على الزر + إضافة معالج جديد، ثم حدِّد اسمًا ورقم تعريف المعالج من الخطوة السابقة.
4. انقر على زر حفظ لحفظ التغييرات.

كرِّر هذه الخطوات لإضافة المعالجَين الآخرَين إلى إعدادات Document AI Warehouse باستخدام الزر + إضافة معالج جديد، بما في ذلك محلّل النماذج ومحلّل الفواتير. تأكَّد من إضافة المعالجَين الإضافيَين ضمن رقم تعريف مخطط المستند نفسه باستخدام الزر + إضافة معالج جديد، بدلاً من إضافة مخطط إضافي باستخدام الزر + إضافة جديد.

بعد إكمال هذه الخطوات بنجاح، من المفترض أن تظهر لك قائمة بمعالجات المستندات التي تم إعدادها، وتكون مشابهة لما يلي:

8. تحميل مستندات نموذجية ومعالجتها

بعد تحديد مخطط وإعداد أدوات المعالجة لمستنداتك، يمكنك تحميل المستندات إلى Document AI Warehouse.

1. ارجع إلى وحدة تحكّم Document AI Warehouse وانقر على الزر +إضافة جديد في شريط التنقّل الأيمن، ثم اختَر الخيار تحميل مستند جديد.
2. اسحب المستند license-agreement.pdf من جهازك إلى أداة التحميل، أو تصفَّح المستندات النموذجية التي نزّلتها واختَر أحدها. بعد ذلك، انقر على الزر التالي للمتابعة.
3. بالنسبة إلى مخطط المستند، اختَر اسم المخطط الذي أنشأته سابقًا، مثل المستندات والنماذج. بالنسبة إلى معرّف معالج Doc AI، اختَر معالج مستندات التعرّف الضوئي على الحروف الذي أعددته في الخطوة السابقة.
4. بالنسبة إلى الاسم المعروض، يمكنك استخدام الاسم التلقائي (أي اسم الملف) أو استخدام اسم مستند مخصّص.
5. انقر على الزر إنشاء لتحميل مستندك ومعالجته.

ارجع إلى وحدة تحكّم Document AI Warehouse وكرِّر هذه الخطوات باستخدام مستند النموذج loan-form.pdf. اختَر form معالج المستندات الذي سبق أن أعددته.

ارجع إلى وحدة تحكّم Document AI Warehouse وكرِّر هذه الخطوات باستخدام مستند النموذج invoice-sample.pdf. اختَر invoice معالج المستندات الذي سبق أن أعددته.

بعد إكمال هذه الخطوات بنجاح، إذا عدت إلى وحدة تحكّم Document AI Warehouse، من المفترض أن تظهر لك قائمة بالمستندات التي تمت معالجتها وتشبه ما يلي:

9- البحث عن المستندات واستكشافها

بعد تحميل مستند ومعالجته في Document AI Warehouse، يمكنك إجراء بحث في النص الكامل للمستندات.

من وحدة تحكّم Document AI Warehouse، أدخِل عبارة بحث تظهر في المستندات النموذجية، مثل agreement، ثم اضغط على المفتاح Enter. يمكنك تجربة طلبات بحث أخرى، مثل mortgage وmonitor، للاطّلاع على نتائج المستندات النموذجية المختلفة التي حمّلتها.

في النتائج، ستظهر لك جميع المستندات التي تحتوي على عبارة البحث هذه، بالإضافة إلى ملخّص لنص المستند مع تمييز عبارة البحث:

انقر على اسم مستند لعرضه.

انقر على زر التبديل عرض الذكاء الاصطناعي للاطّلاع على المستند مع الحقول التي تم رصدها والبيانات المرتبطة بها:

10. تهانينا

لقد تمكّنت من تحميل المستندات ومعالجتها وإجراء بحث عن النص الكامل فيها باستخدام Document AI Warehouse وباستخدام أدوات المعالجة في Document AI. ننصحك بتجربة مستندات أخرى واستكشاف المعالِجات الأخرى المتاحة على المنصة.

تنظيف

يمكنك إجراء عملية التنظيف التالية لتجنُّب تحمّل رسوم في حسابك على Google Cloud مقابل الموارد المستخدَمة في هذا البرنامج التعليمي:

• انتقِل إلى صفحة وحدة تحكّم مستودع المستندات واحذف جميع المستندات النموذجية التي حمّلتها.
• في Google Cloud Console، انتقِل إلى صفحة معالِجات Document AI واحذف المعالِجات النموذجية التي أنشأتها.
• في Google Cloud Console، انتقِل إلى صفحة واجهات برمجة التطبيقات والخدمات وأوقِف واجهة برمجة التطبيقات Document AI Warehouse.

مزيد من المعلومات

يمكنك مواصلة التعرّف على Document AI من خلال تجربة نماذج التعليمات البرمجية الأخرى هذه.

• التعرّف البصري على الأحرف باستخدام Document AI
• تحليل النماذج باستخدام Document AI (Python)
• المعالِجات المتخصّصة باستخدام Document AI (Python)
• إدارة معالِجات Document AI باستخدام Python

الموارد

• مستندات Document AI Warehouse
• مستقبل المستندات - قائمة تشغيل على YouTube
• مستودع نماذج Document AI

الترخيص

يخضع هذا العمل لترخيص المشاع الإبداعي مع نسب العمل إلى مؤلفه 2.0 Generic License.