با استفاده از Gemini Pro یک برنامه پرسش و پاسخ با RAG Multi-Modal بسازید

۱. مقدمه

RAG چیست؟

بازیابی افزوده تولید (RAG) تکنیکی است که قدرت مدل‌های زبانی بزرگ (LLM) را با توانایی بازیابی اطلاعات مرتبط از منابع دانش خارجی ترکیب می‌کند. این بدان معناست که یک LLM فقط به داده‌های آموزشی داخلی خود متکی نیست، بلکه می‌تواند هنگام تولید پاسخ‌ها به اطلاعات به‌روز و خاص نیز دسترسی داشته باشد و آنها را در خود جای دهد.

RAG به دلایل مختلف محبوبیت زیادی پیدا کرده است:

• افزایش دقت و ارتباط: RAG به LLM ها اجازه می‌دهد تا با تکیه بر اطلاعات واقعی بازیابی شده از منابع خارجی، پاسخ‌های دقیق‌تر و مرتبط‌تری ارائه دهند. این امر به ویژه در سناریوهایی که دانش به‌روز بسیار مهم است، مانند پاسخ به سؤالات مربوط به رویدادهای جاری یا ارائه اطلاعات در مورد موضوعات خاص، مفید است.
• کاهش توهمات: LLMها گاهی اوقات می‌توانند پاسخ‌هایی ایجاد کنند که به نظر قابل قبول می‌رسند اما در واقع نادرست یا بی‌معنی هستند. RAG با تأیید اطلاعات تولید شده در برابر منابع خارجی، به کاهش این مشکل کمک می‌کند.
• سازگاری بیشتر: RAG باعث می‌شود LLMها با حوزه‌ها و وظایف مختلف سازگارتر باشند. با بهره‌گیری از منابع دانش مختلف، می‌توان LLM را به راحتی سفارشی کرد تا اطلاعات مربوط به طیف وسیعی از موضوعات را ارائه دهد.
• تجربه کاربری بهبود یافته: RAG می‌تواند با ارائه پاسخ‌های آموزنده‌تر، قابل اعتمادتر و مرتبط‌تر، تجربه کلی کاربر را بهبود بخشد.

چرا چندوجهی

در دنیای غنی از داده‌های امروزی، اسناد اغلب متن و تصاویر را برای انتقال جامع اطلاعات ترکیب می‌کنند. با این حال، اکثر سیستم‌های بازیابی نسل افزوده (RAG) از بینش‌های ارزشمند نهفته در تصاویر غافل می‌شوند. با توجه به اینکه مدل‌های زبان بزرگ چندوجهی (LLM) برجسته می‌شوند، بررسی چگونگی استفاده از محتوای بصری در کنار متن در RAG و درک عمیق‌تر از چشم‌انداز اطلاعات بسیار مهم است.

دو گزینه برای RAG چندوجهی

• جاسازی‌های چندوجهی - مدل جاسازی‌های چندوجهی، بردارهای ۱۴۰۸ بُعدی* را بر اساس ورودی ارائه شده توسط شما تولید می‌کند که می‌تواند ترکیبی از داده‌های تصویر، متن و ویدیو باشد. بردار جاسازی تصویر و بردار جاسازی متن در یک فضای معنایی با ابعاد یکسان قرار دارند. در نتیجه، این بردارها می‌توانند به جای یکدیگر برای مواردی مانند جستجوی تصویر بر اساس متن یا جستجوی ویدیو بر اساس تصویر استفاده شوند. نگاهی به این نسخه آزمایشی بیندازید.

1. از جاسازی چندوجهی برای جاسازی متن و تصاویر استفاده کنید
2. هر دو را با استفاده از جستجوی شباهت بازیابی کنید
3. برای ترکیب پاسخ، هم تصویر خام بازیابی شده و هم تکه‌های متن را به LLM چندوجهی ارسال کنید.

• جاسازی متن -

1. از LLM چندوجهی برای تولید خلاصه‌های متنی از تصاویر استفاده کنید
2. متن جاسازی شده و بازیابی شده
3. برای ترکیب پاسخ‌ها، چک‌های متنی را به LLM ارسال کنید

چند بردار بازیابی چیست؟

بازیابی چند برداری از خلاصه بخش‌های سند برای بازیابی محتوای اصلی جهت ترکیب پاسخ‌ها استفاده می‌کند. این امر کیفیت RAG را به ویژه برای وظایف فشرده جدول، نمودار، چارت و غیره افزایش می‌دهد. جزئیات بیشتر را در وبلاگ Langchain بیابید .

آنچه خواهید ساخت

مورد استفاده: توسعه سیستم پرسش و پاسخ با استفاده از Gemini Pro

تصور کنید اسنادی دارید که حاوی نمودارها یا دیاگرام‌های پیچیده و پر از اطلاعات هستند. می‌خواهید این داده‌ها را برای پاسخ به سوالات یا پرسش‌ها استخراج کنید.

در این آزمایشگاه کد، موارد زیر را انجام خواهید داد:

• بارگذاری داده‌ها با استفاده از document_loaders لانگ‌چین
• تولید خلاصه متن با استفاده از مدل گوگل gemini-pro
• تولید خلاصه تصاویر با استفاده از مدل gemini-pro-vision گوگل
• ایجاد بازیابی چند برداری با استفاده از مدل textembedding-gecko گوگل با Croma Db به عنوان مخزن بردار
• توسعه زنجیره RAG چندوجهی برای پاسخ به سوالات

۲. قبل از شروع

1. در کنسول گوگل کلود ، در صفحه انتخاب پروژه، یک پروژه گوگل کلود را انتخاب یا ایجاد کنید.
2. مطمئن شوید که صورتحساب برای پروژه Google Cloud شما فعال است. یاد بگیرید که چگونه بررسی کنید که آیا صورتحساب در یک پروژه فعال است یا خیر .
3. فعال کردن تمام API های توصیه شده از داشبورد Vertex AI
4. دفترچه یادداشت Colab را باز کنید و با همان حسابی که حساب Google Cloud فعلی شما فعال است، وارد شوید.

۳. ساخت RAG چندوجهی

این آزمایشگاه کد از Vertex AI SDK برای پایتون و Langchain استفاده می‌کند تا نحوه پیاده‌سازی «گزینه ۲» که در اینجا شرح داده شده است را با Google Cloud نشان دهد.

می‌توانید به کد کامل در فایل Multi-modal RAG with Google Cloud از مخزن ارجاع داده شده مراجعه کنید.

۴. مرحله ۱: نصب و وارد کردن وابستگی‌ها

!pip install -U --quiet langchain langchain_community chromadb  langchain-google-vertexai
!pip install --quiet "unstructured[all-docs]" pypdf pillow pydantic lxml pillow matplotlib chromadb tiktoken

شناسه پروژه خود را وارد کنید و احراز هویت را تکمیل کنید

#TODO : ENter project and location
PROJECT_ID = ""
REGION = "us-central1"

from google.colab import auth
auth.authenticate_user()

راه‌اندازی اولیه پلتفرم هوش مصنوعی Vertex

import vertexai
vertexai.init(project = PROJECT_ID , location = REGION)

۵. مرحله ۲: آماده‌سازی و بارگذاری داده‌ها

ما از یک فایل زیپ با مجموعه‌ای از تصاویر استخراج‌شده و فایل پی‌دی‌اف از این پست وبلاگ استفاده می‌کنیم. اگر می‌خواهید جریان کامل را دنبال کنید، لطفاً از مثال اصلی استفاده کنید.

ابتدا دیتا را دانلود کنید

import logging
import zipfile
import requests

logging.basicConfig(level=logging.INFO)

data_url = "https://storage.googleapis.com/benchmarks-artifacts/langchain-docs-benchmarking/cj.zip"
result = requests.get(data_url)
filename = "cj.zip"
with open(filename, "wb") as file:
   file.write(result.content)

with zipfile.ZipFile(filename, "r") as zip_ref:
   zip_ref.extractall()

محتوای متنی را از سند بارگذاری کنید

from langchain_community.document_loaders import PyPDFLoader

loader = PyPDFLoader("./cj/cj.pdf")
docs = loader.load()
tables = []
texts = [d.page_content for d in docs]

مطالب را از صفحه اول بررسی کنید

texts[0]

شما باید خروجی را ببینید

کل صفحات سند

len(texts)

خروجی مورد انتظار است

۶. مرحله ۳: تولید خلاصه متن

ابتدا کتابخانه‌های مورد نیاز را وارد کنید

from langchain_google_vertexai import VertexAI , ChatVertexAI , VertexAIEmbeddings
from langchain.prompts import PromptTemplate
from langchain_core.messages import AIMessage
from langchain_core.output_parsers import StrOutputParser
from langchain_core.runnables import RunnableLambda

دریافت خلاصه متن

# Generate summaries of text elements
def generate_text_summaries(texts, tables, summarize_texts=False):
   """
   Summarize text elements
   texts: List of str
   tables: List of str
   summarize_texts: Bool to summarize texts
   """

   # Prompt
   prompt_text = """You are an assistant tasked with summarizing tables and text for retrieval. \
   These summaries will be embedded and used to retrieve the raw text or table elements. \
   Give a concise summary of the table or text that is well optimized for retrieval. Table or text: {element} """
   prompt = PromptTemplate.from_template(prompt_text)
   empty_response = RunnableLambda(
       lambda x: AIMessage(content="Error processing document")
   )
   # Text summary chain
   model = VertexAI(
       temperature=0, model_name="gemini-pro", max_output_tokens=1024
   ).with_fallbacks([empty_response])
   summarize_chain = {"element": lambda x: x} | prompt | model | StrOutputParser()

   # Initialize empty summaries
   text_summaries = []
   table_summaries = []

   # Apply to text if texts are provided and summarization is requested
   if texts and summarize_texts:
       text_summaries = summarize_chain.batch(texts, {"max_concurrency": 1})
   elif texts:
       text_summaries = texts

   # Apply to tables if tables are provided
   if tables:
       table_summaries = summarize_chain.batch(tables, {"max_concurrency": 1})

   return text_summaries, table_summaries


# Get text summaries
text_summaries, table_summaries = generate_text_summaries(
   texts, tables, summarize_texts=True
)

text_summaries[0]

خروجی مورد انتظار است

۷. مرحله ۴: ایجاد خلاصه تصاویر

ابتدا کتابخانه‌های مورد نیاز را وارد کنید

import base64
import os

from langchain_core.messages import HumanMessage

خلاصه تصاویر را ایجاد کنید

def encode_image(image_path):
   """Getting the base64 string"""
   with open(image_path, "rb") as image_file:
       return base64.b64encode(image_file.read()).decode("utf-8")


def image_summarize(img_base64, prompt):
   """Make image summary"""
   model = ChatVertexAI(model_name="gemini-pro-vision", max_output_tokens=1024)

   msg = model(
       [
           HumanMessage(
               content=[
                   {"type": "text", "text": prompt},
                   {
                       "type": "image_url",
                       "image_url": {"url": f"data:image/jpeg;base64,{img_base64}"},
                   },
               ]
           )
       ]
   )
   return msg.content


def generate_img_summaries(path):
   """
   Generate summaries and base64 encoded strings for images
   path: Path to list of .jpg files extracted by Unstructured
   """

   # Store base64 encoded images
   img_base64_list = []

   # Store image summaries
   image_summaries = []

   # Prompt
   prompt = """You are an assistant tasked with summarizing images for retrieval. \
   These summaries will be embedded and used to retrieve the raw image. \
   Give a concise summary of the image that is well optimized for retrieval."""

   # Apply to images
   for img_file in sorted(os.listdir(path)):
       if img_file.endswith(".jpg"):
           img_path = os.path.join(path, img_file)
           base64_image = encode_image(img_path)
           img_base64_list.append(base64_image)
           image_summaries.append(image_summarize(base64_image, prompt))

   return img_base64_list, image_summaries


# Image summaries
img_base64_list, image_summaries = generate_img_summaries("./cj")

len(img_base64_list)

len(image_summaries)

image_summaries[0]

شما باید خروجی شبیه به این را ببینید

۸. مرحله ۵: ساخت بازیابی چند برداری

بیایید خلاصه‌های متن و تصویر را تولید کنیم و آنها را در یک فروشگاه بردار ChromaDB ذخیره کنیم.

کتابخانه‌های مورد نیاز را وارد کنید

import uuid
from langchain.retrievers.multi_vector import MultiVectorRetriever
from langchain.storage import InMemoryStore
from langchain_community.vectorstores import Chroma
from langchain_core.documents import Document

ایجاد بازیابی چند برداری

def create_multi_vector_retriever(
   vectorstore, text_summaries, texts, table_summaries, tables, image_summaries, images
):
   """
   Create retriever that indexes summaries, but returns raw images or texts
   """

   # Initialize the storage layer
   store = InMemoryStore()
   id_key = "doc_id"

   # Create the multi-vector retriever
   retriever = MultiVectorRetriever(
       vectorstore=vectorstore,
       docstore=store,
       id_key=id_key,
   )

   # Helper function to add documents to the vectorstore and docstore
   def add_documents(retriever, doc_summaries, doc_contents):
       doc_ids = [str(uuid.uuid4()) for _ in doc_contents]
       summary_docs = [
           Document(page_content=s, metadata={id_key: doc_ids[i]})
           for i, s in enumerate(doc_summaries)
       ]
       retriever.vectorstore.add_documents(summary_docs)
       retriever.docstore.mset(list(zip(doc_ids, doc_contents)))

   # Add texts, tables, and images
   # Check that text_summaries is not empty before adding
   if text_summaries:
       add_documents(retriever, text_summaries, texts)
   # Check that table_summaries is not empty before adding
   if table_summaries:
       add_documents(retriever, table_summaries, tables)
   # Check that image_summaries is not empty before adding
   if image_summaries:
       add_documents(retriever, image_summaries, images)

   return retriever


# The vectorstore to use to index the summaries
vectorstore = Chroma(
   collection_name="mm_rag_cj_blog",
   embedding_function=VertexAIEmbeddings(model_name="textembedding-gecko@latest"),
)

# Create retriever
retriever_multi_vector_img = create_multi_vector_retriever(
   vectorstore,
   text_summaries,
   texts,
   table_summaries,
   tables,
   image_summaries,
   img_base64_list,
)
 

۹. مرحله ۶: ساخت RAG چندوجهی

1. تعریف توابع مطلوبیت

import io
import re

from IPython.display import HTML, display
from langchain_core.runnables import RunnableLambda, RunnablePassthrough
from PIL import Image


def plt_img_base64(img_base64):
   """Disply base64 encoded string as image"""
   # Create an HTML img tag with the base64 string as the source
   image_html = f'<img src="data:image/jpeg;base64,{img_base64}" />'
   # Display the image by rendering the HTML
   display(HTML(image_html))


def looks_like_base64(sb):
   """Check if the string looks like base64"""
   return re.match("^[A-Za-z0-9+/]+[=]{0,2}$", sb) is not None


def is_image_data(b64data):
   """
   Check if the base64 data is an image by looking at the start of the data
   """
   image_signatures = {
       b"\xFF\xD8\xFF": "jpg",
       b"\x89\x50\x4E\x47\x0D\x0A\x1A\x0A": "png",
       b"\x47\x49\x46\x38": "gif",
       b"\x52\x49\x46\x46": "webp",
   }
   try:
       header = base64.b64decode(b64data)[:8]  # Decode and get the first 8 bytes
       for sig, format in image_signatures.items():
           if header.startswith(sig):
               return True
       return False
   except Exception:
       return False


def resize_base64_image(base64_string, size=(128, 128)):
   """
   Resize an image encoded as a Base64 string
   """
   # Decode the Base64 string
   img_data = base64.b64decode(base64_string)
   img = Image.open(io.BytesIO(img_data))

   # Resize the image
   resized_img = img.resize(size, Image.LANCZOS)

   # Save the resized image to a bytes buffer
   buffered = io.BytesIO()
   resized_img.save(buffered, format=img.format)

   # Encode the resized image to Base64
   return base64.b64encode(buffered.getvalue()).decode("utf-8")


def split_image_text_types(docs):
   """
   Split base64-encoded images and texts
   """
   b64_images = []
   texts = []
   for doc in docs:
       # Check if the document is of type Document and extract page_content if so
       if isinstance(doc, Document):
           doc = doc.page_content
       if looks_like_base64(doc) and is_image_data(doc):
           doc = resize_base64_image(doc, size=(1300, 600))
           b64_images.append(doc)
       else:
           texts.append(doc)
   if len(b64_images) > 0:
       return {"images": b64_images[:1], "texts": []}
   return {"images": b64_images, "texts": texts}

2. تعریف تصویر خاص دامنه

def img_prompt_func(data_dict):
   """
   Join the context into a single string
   """
   formatted_texts = "\n".join(data_dict["context"]["texts"])
   messages = []

   # Adding the text for analysis
   text_message = {
       "type": "text",
       "text": (
           "You are financial analyst tasking with providing investment advice.\n"
           "You will be given a mixed of text, tables, and image(s) usually of charts or graphs.\n"
           "Use this information to provide investment advice related to the user question. \n"
           f"User-provided question: {data_dict['question']}\n\n"
           "Text and / or tables:\n"
           f"{formatted_texts}"
       ),
   }
   messages.append(text_message)
   # Adding image(s) to the messages if present
   if data_dict["context"]["images"]:
       for image in data_dict["context"]["images"]:
           image_message = {
               "type": "image_url",
               "image_url": {"url": f"data:image/jpeg;base64,{image}"},
           }
           messages.append(image_message)
   return [HumanMessage(content=messages)]

3. تعریف زنجیره RAG چندوجهی

def multi_modal_rag_chain(retriever):
   """
   Multi-modal RAG chain
   """

   # Multi-modal LLM
   model = ChatVertexAI(
       temperature=0, model_name="gemini-pro-vision", max_output_tokens=1024
   )

   # RAG pipeline
   chain = (
       {
           "context": retriever | RunnableLambda(split_image_text_types),
           "question": RunnablePassthrough(),
       }
       | RunnableLambda(img_prompt_func)
       | model
       | StrOutputParser()
   )

   return chain


# Create RAG chain
chain_multimodal_rag = multi_modal_rag_chain(retriever_multi_vector_img)

۱۰. مرحله ۷: سوالات خود را آزمایش کنید

1. بازیابی اسناد مربوطه

query = "What are the EV / NTM and NTM rev growth for MongoDB, Cloudflare, and Datadog?"
docs = retriever_multi_vector_img.get_relevant_documents(query, limit=1)

# We get relevant docs
len(docs)

docs

         You may get similar output 

plt_img_base64(docs[3])

2. RAG ما را روی همان کوئری اجرا کنید

result = chain_multimodal_rag.invoke(query)

from IPython.display import Markdown as md
md(result)

خروجی نمونه (ممکن است هنگام اجرای کد متفاوت باشد)

۱۱. تمیز کردن

برای جلوگیری از تحمیل هزینه به حساب Google Cloud خود برای منابع استفاده شده در این آزمایشگاه کد، این مراحل را دنبال کنید:

1. در کنسول گوگل کلود، به صفحه مدیریت منابع بروید.
2. در لیست پروژه‌ها، پروژه‌ای را که می‌خواهید حذف کنید انتخاب کنید و سپس روی «حذف» کلیک کنید.
3. در کادر محاوره‌ای، شناسه پروژه را تایپ کنید و سپس برای حذف پروژه، روی خاموش کردن کلیک کنید.

۱۲. تبریک

تبریک! شما با موفقیت یک RAG چندوجهی با استفاده از Gemini ایجاد کردید.