إنشاء تطبيق أسئلة وأجوبة باستخدام لعبة RAG متعددة النماذج باستخدام Gemini Pro

1. مقدمة

ما هو التوليد المعزّز بالاسترجاع؟

التوليد المعزّز بالاسترجاع (RAG) هو أسلوب يجمع بين فعالية النماذج اللغوية الكبيرة والقدرة على استرجاع المعلومات ذات الصلة من مصادر خارجية للمعرفة. وهذا يعني أنّ النموذج اللغوي الكبير لا يعتمد على بيانات التدريب الداخلية فقط، بل يمكنه أيضًا الوصول إلى معلومات حديثة ومحدّدة ودمجها عند إنشاء الردود.

936b7eedba773cac.png

تزداد شعبية RAG لعدة أسباب:

  • زيادة الدقة ومدى الصلة بالموضوع: تتيح آلية التوليد المعزّز بالاسترجاع للنماذج اللغوية الكبيرة تقديم ردود أكثر دقة وملاءمةً من خلال ربطها بمعلومات واقعية يتم استرجاعها من مصادر خارجية. ويكون ذلك مفيدًا بشكل خاص في السيناريوهات التي تكون فيها المعرفة الحديثة ضرورية، مثل الإجابة عن أسئلة حول الأحداث الجارية أو تقديم معلومات حول مواضيع معيّنة.
  • تقليل الهلوسات: يمكن أن تُنشئ النماذج اللغوية الكبيرة أحيانًا ردودًا تبدو منطقية ولكنّها في الواقع غير صحيحة أو غير منطقية. يساعد التوليد المعزّز بالاسترجاع في التخفيف من هذه المشكلة من خلال التحقّق من صحة المعلومات التي يتم إنشاؤها بالاستناد إلى مصادر خارجية.
  • قدرة أكبر على التكيّف: تزيد طريقة RAG من قدرة النماذج اللغوية الكبيرة على التكيّف مع النطاقات والمهام المختلفة. من خلال الاستفادة من مصادر معلومات مختلفة، يمكن تخصيص نموذج لغوي كبير بسهولة لتقديم معلومات حول مجموعة كبيرة من المواضيع.
  • تحسين تجربة المستخدم: يمكن أن تحسّن ميزة "التوليد المعزّز بالاسترجاع" تجربة المستخدم بشكل عام من خلال تقديم ردود أكثر فائدة وموثوقية وملاءمةً.

لماذا يجب استخدام الوسائط المتعددة؟

في عالمنا اليوم الذي يزخر بالبيانات، غالبًا ما تجمع المستندات بين النصوص والصور لنقل المعلومات بشكل شامل. ومع ذلك، تتجاهل معظم أنظمة "التوليد المعزّز بالاسترجاع" (RAG) الإحصاءات القيّمة المخزّنة داخل الصور. مع ازدياد أهمية النماذج اللغوية الكبيرة المتعدّدة الوسائط، من الضروري استكشاف كيفية الاستفادة من المحتوى المرئي إلى جانب النصوص في عملية التوليد المعزّز بالاسترجاع، ما يتيح فهمًا أعمق لمشهد المعلومات.

خياران للتوليد المعزّز بالاسترجاع المتعدّد الوسائط

  • التضمينات المتعددة الوسائط: ينشئ نموذج التضمينات المتعددة الوسائط متجهات* ذات 1408 بُعد استنادًا إلى البيانات التي تقدّمها، والتي يمكن أن تتضمّن مجموعة من بيانات الصور والنصوص والفيديوهات. يكون متّجه تضمين الصورة ومتّجه تضمين النص في مساحة دلالية واحدة وبعدد الأبعاد نفسه. وبالتالي، يمكن استخدام هذه المتجهات بالتبادل في حالات الاستخدام، مثل البحث عن صورة باستخدام نص أو البحث عن فيديو باستخدام صورة. يمكنك الاطّلاع على هذا العرض التوضيحي.
  1. استخدام التضمين المتعدد الوسائط لتضمين النصوص والصور
  2. استرداد كليهما باستخدام البحث عن صور مشابهة
  3. تمرير كلّ من الصورة الأولية المسترجَعة وأجزاء النص إلى النموذج اللغوي الكبير المتعدّد الوسائط لتركيب الإجابة
  • تضمينات النص -
  1. استخدام نموذج لغوي كبير متعدد الوسائط لإنشاء ملخّصات نصية للصور
  2. تضمين النص واسترداده
  3. تمرير أجزاء من النص إلى النموذج اللغوي الكبير (LLM) لإنشاء الإجابة

ما هي أداة الاسترجاع المتعدّدة المتجهات؟

تستخدم عملية الاسترجاع المتعدد المتجهات ملخّصات لأقسام المستند من أجل استرجاع المحتوى الأصلي لدمج الإجابات. ويحسّن جودة RAG، خاصةً للمهام التي تتطلّب استخدام الجداول والرسومات البيانية والمخططات وما إلى ذلك. يمكنك الاطّلاع على مزيد من التفاصيل في مدوّنة Langchain.

ما ستنشئه

حالة استخدام: تطوير نظام للأسئلة والأجوبة باستخدام Gemini Pro

لنفترض أنّ لديك مستندات تحتوي على رسومات بيانية أو تخطيطات معقّدة مليئة بالمعلومات. إذا كنت تريد استخراج هذه البيانات للإجابة عن أسئلة أو طلبات بحث

في هذا الدرس التطبيقي حول الترميز، ستنفّذ ما يلي:

  • تحميل البيانات باستخدام LangChain document_loaders
  • إنشاء ملخّصات نصية باستخدام نموذج gemini-pro من Google
  • إنشاء ملخّصات للصور باستخدام نموذج gemini-pro-vision من Google
  • إنشاء استرجاع متعدد المتجهات باستخدام نموذج textembedding-gecko من Google مع Croma Db كمخزن متجهات
  • تطوير سلسلة التوليد المعزّز بالاسترجاع والمتعدّدة الوسائط للإجابة عن الأسئلة

2. قبل البدء

  1. في Google Cloud Console، ضمن صفحة اختيار المشروع، اختَر مشروعًا على Google Cloud أو أنشِئه.
  2. تأكَّد من تفعيل الفوترة لمشروعك على Google Cloud. تعرَّف على كيفية التحقّق مما إذا كانت الفوترة مفعَّلة في مشروع.
  3. فعِّل جميع واجهات برمجة التطبيقات المقترَحة من لوحة بيانات Vertex AI
  4. افتح دفتر ملاحظات Colab وسجِّل الدخول إلى الحساب نفسه الذي تستخدمه في حساب Google Cloud النشط حاليًا.

3- إنشاء التوليد المعزّز بالاسترجاع المتعدّد الوسائط

يستخدم هذا الدرس التطبيقي حول الترميز حزمة تطوير البرامج Vertex AI للغة Python وLangchain لتوضيح كيفية تنفيذ "الخيار 2" الموضّح هنا باستخدام Google Cloud.

يمكنك الرجوع إلى الرمز الكامل في الملف Multi-modal RAG with Google Cloud من المستودع المشار إليه.

4. الخطوة 1: تثبيت واستيراد التبعيات 

!pip install -U --quiet langchain langchain_community chromadb  langchain-google-vertexai
!pip install --quiet "unstructured[all-docs]" pypdf pillow pydantic lxml pillow matplotlib chromadb tiktoken

أدخِل رقم تعريف مشروعك وأكمِل عملية المصادقة

#TODO : ENter project and location
PROJECT_ID = ""
REGION = "us-central1"

from google.colab import auth
auth.authenticate_user()

تهيئة منصة Vertex AI

import vertexai
vertexai.init(project = PROJECT_ID , location = REGION)

5- الخطوة 2: إعداد البيانات وتحميلها

نستخدم ملف zip يحتوي على مجموعة فرعية من الصور وملف pdf المستخرَجين من مشاركة المدوّنة هذه. إذا كنت تريد اتّباع المسار الكامل، يُرجى استخدام المثال الأصلي.

نزِّل البيانات أولاً

import logging
import zipfile
import requests

logging.basicConfig(level=logging.INFO)

data_url = "https://storage.googleapis.com/benchmarks-artifacts/langchain-docs-benchmarking/cj.zip"
result = requests.get(data_url)
filename = "cj.zip"
with open(filename, "wb") as file:
   file.write(result.content)

with zipfile.ZipFile(filename, "r") as zip_ref:
   zip_ref.extractall()

تحميل المحتوى النصي من المستند

from langchain_community.document_loaders import PyPDFLoader

loader = PyPDFLoader("./cj/cj.pdf")
docs = loader.load()
tables = []
texts = [d.page_content for d in docs]

التحقّق من المحتوى من الصفحة الأولى

texts[0]

من المفترض أن تظهر لك النتائج

2c5c257779c0f52a.png

إجمالي عدد الصفحات في المستند

len(texts)

الناتج المتوقّع هو

b5700c0c1376abc2.png

6. الخطوة 3: إنشاء ملخّصات نصية

استيراد المكتبات المطلوبة أولاً

from langchain_google_vertexai import VertexAI , ChatVertexAI , VertexAIEmbeddings
from langchain.prompts import PromptTemplate
from langchain_core.messages import AIMessage
from langchain_core.output_parsers import StrOutputParser
from langchain_core.runnables import RunnableLambda

الحصول على ملخّصات النصوص

# Generate summaries of text elements
def generate_text_summaries(texts, tables, summarize_texts=False):
   """
   Summarize text elements
   texts: List of str
   tables: List of str
   summarize_texts: Bool to summarize texts
   """

   # Prompt
   prompt_text = """You are an assistant tasked with summarizing tables and text for retrieval. \
   These summaries will be embedded and used to retrieve the raw text or table elements. \
   Give a concise summary of the table or text that is well optimized for retrieval. Table or text: {element} """
   prompt = PromptTemplate.from_template(prompt_text)
   empty_response = RunnableLambda(
       lambda x: AIMessage(content="Error processing document")
   )
   # Text summary chain
   model = VertexAI(
       temperature=0, model_name="gemini-pro", max_output_tokens=1024
   ).with_fallbacks([empty_response])
   summarize_chain = {"element": lambda x: x} | prompt | model | StrOutputParser()

   # Initialize empty summaries
   text_summaries = []
   table_summaries = []

   # Apply to text if texts are provided and summarization is requested
   if texts and summarize_texts:
       text_summaries = summarize_chain.batch(texts, {"max_concurrency": 1})
   elif texts:
       text_summaries = texts

   # Apply to tables if tables are provided
   if tables:
       table_summaries = summarize_chain.batch(tables, {"max_concurrency": 1})

   return text_summaries, table_summaries


# Get text summaries
text_summaries, table_summaries = generate_text_summaries(
   texts, tables, summarize_texts=True
)

text_summaries[0]

الناتج المتوقّع هو

aa76e4b523d8a958.png

7. الخطوة 4: إنشاء ملخّصات الصور

استيراد المكتبات المطلوبة أولاً

import base64
import os

from langchain_core.messages import HumanMessage

إنشاء ملخّصات للصور

def encode_image(image_path):
   """Getting the base64 string"""
   with open(image_path, "rb") as image_file:
       return base64.b64encode(image_file.read()).decode("utf-8")


def image_summarize(img_base64, prompt):
   """Make image summary"""
   model = ChatVertexAI(model_name="gemini-pro-vision", max_output_tokens=1024)

   msg = model(
       [
           HumanMessage(
               content=[
                   {"type": "text", "text": prompt},
                   {
                       "type": "image_url",
                       "image_url": {"url": f"data:image/jpeg;base64,{img_base64}"},
                   },
               ]
           )
       ]
   )
   return msg.content


def generate_img_summaries(path):
   """
   Generate summaries and base64 encoded strings for images
   path: Path to list of .jpg files extracted by Unstructured
   """

   # Store base64 encoded images
   img_base64_list = []

   # Store image summaries
   image_summaries = []

   # Prompt
   prompt = """You are an assistant tasked with summarizing images for retrieval. \
   These summaries will be embedded and used to retrieve the raw image. \
   Give a concise summary of the image that is well optimized for retrieval."""

   # Apply to images
   for img_file in sorted(os.listdir(path)):
       if img_file.endswith(".jpg"):
           img_path = os.path.join(path, img_file)
           base64_image = encode_image(img_path)
           img_base64_list.append(base64_image)
           image_summaries.append(image_summarize(base64_image, prompt))

   return img_base64_list, image_summaries


# Image summaries
img_base64_list, image_summaries = generate_img_summaries("./cj")

len(img_base64_list)

len(image_summaries)

image_summaries[0]

من المفترَض أن تظهر لك نتيجة مثل هذه fad6d479dd46cb37.png

8. الخطوة 5: إنشاء عملية استرجاع متعددة المتجهات

لننشئ ملخّصات نصية وملخّصات صور ونحفظها في مستودع متّجه ChromaDB.

استيراد المكتبات المطلوبة

import uuid
from langchain.retrievers.multi_vector import MultiVectorRetriever
from langchain.storage import InMemoryStore
from langchain_community.vectorstores import Chroma
from langchain_core.documents import Document

إنشاء استرجاع متعدد المتجهات

def create_multi_vector_retriever(
   vectorstore, text_summaries, texts, table_summaries, tables, image_summaries, images
):
   """
   Create retriever that indexes summaries, but returns raw images or texts
   """

   # Initialize the storage layer
   store = InMemoryStore()
   id_key = "doc_id"

   # Create the multi-vector retriever
   retriever = MultiVectorRetriever(
       vectorstore=vectorstore,
       docstore=store,
       id_key=id_key,
   )

   # Helper function to add documents to the vectorstore and docstore
   def add_documents(retriever, doc_summaries, doc_contents):
       doc_ids = [str(uuid.uuid4()) for _ in doc_contents]
       summary_docs = [
           Document(page_content=s, metadata={id_key: doc_ids[i]})
           for i, s in enumerate(doc_summaries)
       ]
       retriever.vectorstore.add_documents(summary_docs)
       retriever.docstore.mset(list(zip(doc_ids, doc_contents)))

   # Add texts, tables, and images
   # Check that text_summaries is not empty before adding
   if text_summaries:
       add_documents(retriever, text_summaries, texts)
   # Check that table_summaries is not empty before adding
   if table_summaries:
       add_documents(retriever, table_summaries, tables)
   # Check that image_summaries is not empty before adding
   if image_summaries:
       add_documents(retriever, image_summaries, images)

   return retriever


# The vectorstore to use to index the summaries
vectorstore = Chroma(
   collection_name="mm_rag_cj_blog",
   embedding_function=VertexAIEmbeddings(model_name="textembedding-gecko@latest"),
)

# Create retriever
retriever_multi_vector_img = create_multi_vector_retriever(
   vectorstore,
   text_summaries,
   texts,
   table_summaries,
   tables,
   image_summaries,
   img_base64_list,
)

9- الخطوة 6: إنشاء عملية التوليد المعزّز بالاسترجاع والمتعدّدة الوسائط

  1. تحديد الدوال المساعدة
import io
import re

from IPython.display import HTML, display
from langchain_core.runnables import RunnableLambda, RunnablePassthrough
from PIL import Image


def plt_img_base64(img_base64):
   """Disply base64 encoded string as image"""
   # Create an HTML img tag with the base64 string as the source
   image_html = f'<img src="data:image/jpeg;base64,{img_base64}" />'
   # Display the image by rendering the HTML
   display(HTML(image_html))


def looks_like_base64(sb):
   """Check if the string looks like base64"""
   return re.match("^[A-Za-z0-9+/]+[=]{0,2}$", sb) is not None


def is_image_data(b64data):
   """
   Check if the base64 data is an image by looking at the start of the data
   """
   image_signatures = {
       b"\xFF\xD8\xFF": "jpg",
       b"\x89\x50\x4E\x47\x0D\x0A\x1A\x0A": "png",
       b"\x47\x49\x46\x38": "gif",
       b"\x52\x49\x46\x46": "webp",
   }
   try:
       header = base64.b64decode(b64data)[:8]  # Decode and get the first 8 bytes
       for sig, format in image_signatures.items():
           if header.startswith(sig):
               return True
       return False
   except Exception:
       return False


def resize_base64_image(base64_string, size=(128, 128)):
   """
   Resize an image encoded as a Base64 string
   """
   # Decode the Base64 string
   img_data = base64.b64decode(base64_string)
   img = Image.open(io.BytesIO(img_data))

   # Resize the image
   resized_img = img.resize(size, Image.LANCZOS)

   # Save the resized image to a bytes buffer
   buffered = io.BytesIO()
   resized_img.save(buffered, format=img.format)

   # Encode the resized image to Base64
   return base64.b64encode(buffered.getvalue()).decode("utf-8")


def split_image_text_types(docs):
   """
   Split base64-encoded images and texts
   """
   b64_images = []
   texts = []
   for doc in docs:
       # Check if the document is of type Document and extract page_content if so
       if isinstance(doc, Document):
           doc = doc.page_content
       if looks_like_base64(doc) and is_image_data(doc):
           doc = resize_base64_image(doc, size=(1300, 600))
           b64_images.append(doc)
       else:
           texts.append(doc)
   if len(b64_images) > 0:
       return {"images": b64_images[:1], "texts": []}
   return {"images": b64_images, "texts": texts}
  1. تحديد طلب تحسين الصورة الخاص بالنطاق
def img_prompt_func(data_dict):
   """
   Join the context into a single string
   """
   formatted_texts = "\n".join(data_dict["context"]["texts"])
   messages = []

   # Adding the text for analysis
   text_message = {
       "type": "text",
       "text": (
           "You are financial analyst tasking with providing investment advice.\n"
           "You will be given a mixed of text, tables, and image(s) usually of charts or graphs.\n"
           "Use this information to provide investment advice related to the user question. \n"
           f"User-provided question: {data_dict['question']}\n\n"
           "Text and / or tables:\n"
           f"{formatted_texts}"
       ),
   }
   messages.append(text_message)
   # Adding image(s) to the messages if present
   if data_dict["context"]["images"]:
       for image in data_dict["context"]["images"]:
           image_message = {
               "type": "image_url",
               "image_url": {"url": f"data:image/jpeg;base64,{image}"},
           }
           messages.append(image_message)
   return [HumanMessage(content=messages)]
  1. تحديد سلسلة التوليد المعزّز بالاسترجاع والمتعدّدة الوسائط
def multi_modal_rag_chain(retriever):
   """
   Multi-modal RAG chain
   """

   # Multi-modal LLM
   model = ChatVertexAI(
       temperature=0, model_name="gemini-pro-vision", max_output_tokens=1024
   )

   # RAG pipeline
   chain = (
       {
           "context": retriever | RunnableLambda(split_image_text_types),
           "question": RunnablePassthrough(),
       }
       | RunnableLambda(img_prompt_func)
       | model
       | StrOutputParser()
   )

   return chain


# Create RAG chain
chain_multimodal_rag = multi_modal_rag_chain(retriever_multi_vector_img)

10. الخطوة 7: اختبار طلبات البحث

  1. استرداد المستندات ذات الصلة
query = "What are the EV / NTM and NTM rev growth for MongoDB, Cloudflare, and Datadog?"
docs = retriever_multi_vector_img.get_relevant_documents(query, limit=1)

# We get relevant docs
len(docs)

docs

         You may get similar output

74ecaca749ae459a.png

plt_img_base64(docs[3])

989ad388127f5d60.png

  1. تنفيذ RAG على الاستعلام نفسه
result = chain_multimodal_rag.invoke(query)

from IPython.display import Markdown as md
md(result)

مثال على الناتج (قد يختلف عند تنفيذ الرمز)

e5e102eaf10289ab.png

11. تَنظيم

لتجنُّب تحمّل رسوم في حسابك على Google Cloud مقابل الموارد المستخدَمة في هذا الدرس التطبيقي حول الترميز، اتّبِع الخطوات التالية:

  1. في Google Cloud Console، انتقِل إلى صفحة إدارة الموارد.
  2. في قائمة المشاريع، اختَر المشروع الذي تريد حذفه، ثم انقر على حذف.
  3. في مربّع الحوار، اكتب رقم تعريف المشروع، ثم انقر على إيقاف لحذف المشروع.

12. تهانينا

تهانينا! لقد طوّرت بنجاح عملية توليد معزّز بالاسترجاع ومتعدّدة الوسائط باستخدام Gemini.