1. เกริ่นนำ
RAG คืออะไร
Retrieval Augmented Generation (RAG) เป็นเทคนิคที่รวมพลังของโมเดลภาษาขนาดใหญ่ (LLM) เข้ากับความสามารถในการเรียกข้อมูลที่เกี่ยวข้องจากแหล่งความรู้ภายนอก ซึ่งหมายความว่า LLM ไม่เพียงอาศัยข้อมูลการฝึกภายใน แต่ยังเข้าถึงและรวมข้อมูลล่าสุดที่เฉพาะเจาะจงเมื่อสร้างคำตอบได้ด้วย
RAG ได้รับความนิยมด้วยเหตุผลหลายประการดังนี้
- ความแม่นยำและความเกี่ยวข้องเพิ่มขึ้น: RAG ช่วยให้ LLM ให้คำตอบที่ถูกต้องและเกี่ยวข้องมากขึ้นโดยการอิงจากข้อเท็จจริงที่ดึงมาจากแหล่งข้อมูลภายนอก ซึ่งจะเป็นประโยชน์อย่างยิ่งในสถานการณ์ที่ความรู้ล่าสุดมีความสำคัญ เช่น การตอบคำถามเกี่ยวกับเหตุการณ์ปัจจุบันหรือการให้ข้อมูลเกี่ยวกับหัวข้อที่เฉพาะเจาะจง
- ลดความไม่สมเหตุสมผล: บางครั้ง LLM สามารถสร้างคำตอบที่ฟังดูสมเหตุสมผล แต่ที่จริงแล้วผิดหรือไม่สื่อความหมาย RAG ช่วยลดปัญหานี้โดยการยืนยันข้อมูลที่สร้างขึ้นจากแหล่งข้อมูลภายนอก
- ความสามารถในการปรับใช้ที่ดีขึ้น: RAG ทำให้ LLM ปรับให้เข้ากับโดเมนและงานต่างๆ ได้มากขึ้น การใช้ประโยชน์จากแหล่งข้อมูลความรู้ต่างๆ ทำให้ LLM สามารถปรับแต่งเพื่อแสดงข้อมูลในหัวข้อต่างๆ ได้อย่างง่ายดาย
- ประสบการณ์ของผู้ใช้ที่ดียิ่งขึ้น: RAG จะช่วยปรับปรุงประสบการณ์ของผู้ใช้โดยรวมด้วยการให้คำตอบที่ให้ข้อมูล น่าเชื่อถือ และเกี่ยวข้องมากขึ้น
เหตุใดจึงควรใช้หลายโมดัล
ในโลกที่เต็มไปด้วยข้อมูลในปัจจุบัน เอกสารต่างๆ มักประกอบด้วยข้อความและรูปภาพเพื่อถ่ายทอดข้อมูลอย่างครอบคลุม อย่างไรก็ตาม ระบบ Augmented Generation (RAG) ส่วนใหญ่ในการดึงข้อมูลนั้นมองข้ามข้อมูลเชิงลึกที่มีประโยชน์ซึ่งล็อกไว้ในรูปภาพ เนื่องจากโมเดลภาษาขนาดใหญ่แบบหลายโมดัล (LLM) มีความโดดเด่นมากขึ้น คุณจึงควรศึกษาวิธีการใช้ประโยชน์จากเนื้อหาภาพควบคู่ไปกับข้อความใน RAG ซึ่งจะช่วยให้เข้าใจภาพรวมของข้อมูลได้มากยิ่งขึ้น
2 ตัวเลือกสำหรับ RAG แบบหลายโมดัล
- การฝังแบบหลายโมดัล - โมเดลการฝังแบบหลายโมดัลจะสร้างเวกเตอร์มิติข้อมูล 1,408 รายการ* ตามอินพุตที่คุณให้ไว้ ซึ่งอาจมีชุดค่าผสมของข้อมูลรูปภาพ ข้อความ และวิดีโอ เวกเตอร์ที่ฝังรูปภาพและเวกเตอร์การฝังข้อความอยู่ในพื้นที่เชิงความหมายเดียวกันที่มีมิติเท่ากัน ดังนั้น เวกเตอร์เหล่านี้จึงสามารถใช้แทนกันได้สำหรับกรณีการใช้งานอย่างเช่น การค้นหาภาพด้วยข้อความ หรือการค้นหาวิดีโอจากภาพ ลองดูการสาธิตนี้
- ใช้การฝังแบบหลายโมดัลเพื่อฝังข้อความและรูปภาพ
- ดึงข้อมูลทั้งคู่โดยใช้การค้นหาความคล้ายคลึงกัน
- ส่งทั้งรูปภาพดิบและข้อความบางส่วนที่ดึงมาไปยัง LLM แบบหลายโมดัลสำหรับการสังเคราะห์คำตอบ
- การฝังข้อความ -
- ใช้ LLM แบบหลายโมดัลเพื่อสร้างการสรุปข้อความของรูปภาพ
- ฝังและดึงข้อความ
- ส่งแยกข้อความไปยัง LLM เพื่อสังเคราะห์คำตอบ
Multi-Vector Retriever คืออะไร
การดึงข้อมูลเวกเตอร์หลายเวกเตอร์ใช้การสรุปส่วนต่างๆ ของเอกสารเพื่อดึงข้อมูลเนื้อหาต้นฉบับสำหรับการสังเคราะห์คำตอบ เพื่อปรับปรุงคุณภาพของ RAG โดยเฉพาะสำหรับตาราง กราฟ แผนภูมิ ฯลฯ ที่เป็นงานหนัก ดูรายละเอียดเพิ่มเติมได้ที่บล็อกของ Langchain.
สิ่งที่คุณจะสร้าง
กรณีการใช้งาน: การพัฒนาระบบตอบคำถามโดยใช้ Gemini Pro
ลองจินตนาการว่าคุณมีเอกสารที่มีกราฟหรือแผนภาพที่ซับซ้อนซึ่งอัดแน่นไปด้วยข้อมูล คุณต้องการดึงข้อมูลนี้เพื่อตอบคำถามหรือคำค้นหา
ใน Codelab นี้ คุณจะดำเนินการต่อไปนี้
- การโหลดข้อมูลโดยใช้ LangChain
document_loaders
- สร้างการสรุปข้อความโดยใช้โมเดล
gemini-pro
ของ Google - สร้างสรุปรูปภาพโดยใช้โมเดล
gemini-pro-vision
ของ Google - สร้างการดึงข้อมูลเวกเตอร์หลายเวกเตอร์โดยใช้โมเดล
textembedding-gecko
ของ Google โดยมี Croma Db เป็นเวกเตอร์ Store - พัฒนาห่วงโซ่ RAG แบบหลายโมดัลสำหรับการตอบคำถาม
2. ก่อนเริ่มต้น
- ในคอนโซล Google Cloud ให้เลือกหรือสร้างโปรเจ็กต์ Google Cloud ในหน้าตัวเลือกโปรเจ็กต์
- ตรวจสอบว่าเปิดใช้การเรียกเก็บเงินสำหรับโปรเจ็กต์ Google Cloud แล้ว ดูวิธีตรวจสอบว่าเปิดใช้การเรียกเก็บเงินในโปรเจ็กต์แล้ว
- เปิดใช้ API ที่แนะนำทั้งหมดจากหน้าแดชบอร์ด Vertex AI
- เปิด Colab Notebook และเข้าสู่ระบบบัญชีเดียวกันกับบัญชี Google Cloud ที่ใช้งานอยู่ในปัจจุบัน
3. การสร้าง RAG แบบหลายโมดัล
Codelab นี้ใช้ Vertex AI SDK สำหรับ Python และ Langchain เพื่อสาธิตวิธีใช้ "ตัวเลือกที่ 2" ซึ่งอธิบายที่นี่กับ Google Cloud
คุณดูโค้ดแบบเต็มได้ในไฟล์ RAG แบบหลายโมดัลที่มี Google Cloud จากที่เก็บที่อ้างอิง
4. ขั้นตอนที่ 1: ติดตั้งและนำเข้าทรัพยากร Dependency
!pip install -U --quiet langchain langchain_community chromadb langchain-google-vertexai
!pip install --quiet "unstructured[all-docs]" pypdf pillow pydantic lxml pillow matplotlib chromadb tiktoken
ป้อนรหัสโปรเจ็กต์และตรวจสอบสิทธิ์ให้เสร็จสิ้น
#TODO : ENter project and location
PROJECT_ID = ""
REGION = "us-central1"
from google.colab import auth
auth.authenticate_user()
เริ่มต้นแพลตฟอร์ม Vertex AI
import vertexai
vertexai.init(project = PROJECT_ID , location = REGION)
5. ขั้นตอนที่ 2: จัดเตรียมและโหลดข้อมูล
เราใช้ไฟล์ ZIP ที่มีชุดย่อยของรูปภาพที่ดึงมาและ PDF จากบล็อกโพสต์นี้ หากคุณต้องการทำตามขั้นตอนทั้งหมด โปรดใช้ตัวอย่างเดิม
ก่อนอื่นให้ดาวน์โหลดข้อมูล
import logging
import zipfile
import requests
logging.basicConfig(level=logging.INFO)
data_url = "https://storage.googleapis.com/benchmarks-artifacts/langchain-docs-benchmarking/cj.zip"
result = requests.get(data_url)
filename = "cj.zip"
with open(filename, "wb") as file:
file.write(result.content)
with zipfile.ZipFile(filename, "r") as zip_ref:
zip_ref.extractall()
โหลดเนื้อหาข้อความจากเอกสาร
from langchain_community.document_loaders import PyPDFLoader
loader = PyPDFLoader("./cj/cj.pdf")
docs = loader.load()
tables = []
texts = [d.page_content for d in docs]
ตรวจสอบเนื้อหาจากหน้าแรก
texts[0]
คุณควรเห็นเอาต์พุต
จำนวนหน้าทั้งหมดในเอกสาร
len(texts)
เอาต์พุตที่คาดไว้คือ
6. ขั้นตอนที่ 3: สร้างข้อมูลสรุปข้อความ
นำเข้าไลบรารีที่จำเป็นก่อน
from langchain_google_vertexai import VertexAI , ChatVertexAI , VertexAIEmbeddings
from langchain.prompts import PromptTemplate
from langchain_core.messages import AIMessage
from langchain_core.output_parsers import StrOutputParser
from langchain_core.runnables import RunnableLambda
รับการสรุปข้อความ
# Generate summaries of text elements
def generate_text_summaries(texts, tables, summarize_texts=False):
"""
Summarize text elements
texts: List of str
tables: List of str
summarize_texts: Bool to summarize texts
"""
# Prompt
prompt_text = """You are an assistant tasked with summarizing tables and text for retrieval. \
These summaries will be embedded and used to retrieve the raw text or table elements. \
Give a concise summary of the table or text that is well optimized for retrieval. Table or text: {element} """
prompt = PromptTemplate.from_template(prompt_text)
empty_response = RunnableLambda(
lambda x: AIMessage(content="Error processing document")
)
# Text summary chain
model = VertexAI(
temperature=0, model_name="gemini-pro", max_output_tokens=1024
).with_fallbacks([empty_response])
summarize_chain = {"element": lambda x: x} | prompt | model | StrOutputParser()
# Initialize empty summaries
text_summaries = []
table_summaries = []
# Apply to text if texts are provided and summarization is requested
if texts and summarize_texts:
text_summaries = summarize_chain.batch(texts, {"max_concurrency": 1})
elif texts:
text_summaries = texts
# Apply to tables if tables are provided
if tables:
table_summaries = summarize_chain.batch(tables, {"max_concurrency": 1})
return text_summaries, table_summaries
# Get text summaries
text_summaries, table_summaries = generate_text_summaries(
texts, tables, summarize_texts=True
)
text_summaries[0]
เอาต์พุตที่คาดไว้คือ
7. ขั้นตอนที่ 4: สร้างสรุปรูปภาพ
นำเข้าไลบรารีที่จำเป็นก่อน
import base64
import os
from langchain_core.messages import HumanMessage
สร้างสรุปรูปภาพ
def encode_image(image_path):
"""Getting the base64 string"""
with open(image_path, "rb") as image_file:
return base64.b64encode(image_file.read()).decode("utf-8")
def image_summarize(img_base64, prompt):
"""Make image summary"""
model = ChatVertexAI(model_name="gemini-pro-vision", max_output_tokens=1024)
msg = model(
[
HumanMessage(
content=[
{"type": "text", "text": prompt},
{
"type": "image_url",
"image_url": {"url": f"data:image/jpeg;base64,{img_base64}"},
},
]
)
]
)
return msg.content
def generate_img_summaries(path):
"""
Generate summaries and base64 encoded strings for images
path: Path to list of .jpg files extracted by Unstructured
"""
# Store base64 encoded images
img_base64_list = []
# Store image summaries
image_summaries = []
# Prompt
prompt = """You are an assistant tasked with summarizing images for retrieval. \
These summaries will be embedded and used to retrieve the raw image. \
Give a concise summary of the image that is well optimized for retrieval."""
# Apply to images
for img_file in sorted(os.listdir(path)):
if img_file.endswith(".jpg"):
img_path = os.path.join(path, img_file)
base64_image = encode_image(img_path)
img_base64_list.append(base64_image)
image_summaries.append(image_summarize(base64_image, prompt))
return img_base64_list, image_summaries
# Image summaries
img_base64_list, image_summaries = generate_img_summaries("./cj")
len(img_base64_list)
len(image_summaries)
image_summaries[0]
คุณควรจะเห็นเอาต์พุตแบบนี้
8. ขั้นตอนที่ 5: สร้างการดึงข้อมูลเวกเตอร์แบบหลายเวกเตอร์
มาสร้างสรุปข้อความและรูปภาพ แล้วบันทึกลงใน VromaDB เวกเตอร์สโตร์กันเถอะ
การนำเข้าต้องมีไลบรารี
import uuid
from langchain.retrievers.multi_vector import MultiVectorRetriever
from langchain.storage import InMemoryStore
from langchain_community.vectorstores import Chroma
from langchain_core.documents import Document
สร้างการดึงข้อมูลเวกเตอร์แบบหลายเวกเตอร์
def create_multi_vector_retriever(
vectorstore, text_summaries, texts, table_summaries, tables, image_summaries, images
):
"""
Create retriever that indexes summaries, but returns raw images or texts
"""
# Initialize the storage layer
store = InMemoryStore()
id_key = "doc_id"
# Create the multi-vector retriever
retriever = MultiVectorRetriever(
vectorstore=vectorstore,
docstore=store,
id_key=id_key,
)
# Helper function to add documents to the vectorstore and docstore
def add_documents(retriever, doc_summaries, doc_contents):
doc_ids = [str(uuid.uuid4()) for _ in doc_contents]
summary_docs = [
Document(page_content=s, metadata={id_key: doc_ids[i]})
for i, s in enumerate(doc_summaries)
]
retriever.vectorstore.add_documents(summary_docs)
retriever.docstore.mset(list(zip(doc_ids, doc_contents)))
# Add texts, tables, and images
# Check that text_summaries is not empty before adding
if text_summaries:
add_documents(retriever, text_summaries, texts)
# Check that table_summaries is not empty before adding
if table_summaries:
add_documents(retriever, table_summaries, tables)
# Check that image_summaries is not empty before adding
if image_summaries:
add_documents(retriever, image_summaries, images)
return retriever
# The vectorstore to use to index the summaries
vectorstore = Chroma(
collection_name="mm_rag_cj_blog",
embedding_function=VertexAIEmbeddings(model_name="textembedding-gecko@latest"),
)
# Create retriever
retriever_multi_vector_img = create_multi_vector_retriever(
vectorstore,
text_summaries,
texts,
table_summaries,
tables,
image_summaries,
img_base64_list,
)
9. ขั้นตอนที่ 6: การสร้าง RAG แบบหลายโมดัล
- กำหนดฟังก์ชันยูทิลิตี
import io
import re
from IPython.display import HTML, display
from langchain_core.runnables import RunnableLambda, RunnablePassthrough
from PIL import Image
def plt_img_base64(img_base64):
"""Disply base64 encoded string as image"""
# Create an HTML img tag with the base64 string as the source
image_html = f'<img src="data:image/jpeg;base64,{img_base64}" />'
# Display the image by rendering the HTML
display(HTML(image_html))
def looks_like_base64(sb):
"""Check if the string looks like base64"""
return re.match("^[A-Za-z0-9+/]+[=]{0,2}$", sb) is not None
def is_image_data(b64data):
"""
Check if the base64 data is an image by looking at the start of the data
"""
image_signatures = {
b"\xFF\xD8\xFF": "jpg",
b"\x89\x50\x4E\x47\x0D\x0A\x1A\x0A": "png",
b"\x47\x49\x46\x38": "gif",
b"\x52\x49\x46\x46": "webp",
}
try:
header = base64.b64decode(b64data)[:8] # Decode and get the first 8 bytes
for sig, format in image_signatures.items():
if header.startswith(sig):
return True
return False
except Exception:
return False
def resize_base64_image(base64_string, size=(128, 128)):
"""
Resize an image encoded as a Base64 string
"""
# Decode the Base64 string
img_data = base64.b64decode(base64_string)
img = Image.open(io.BytesIO(img_data))
# Resize the image
resized_img = img.resize(size, Image.LANCZOS)
# Save the resized image to a bytes buffer
buffered = io.BytesIO()
resized_img.save(buffered, format=img.format)
# Encode the resized image to Base64
return base64.b64encode(buffered.getvalue()).decode("utf-8")
def split_image_text_types(docs):
"""
Split base64-encoded images and texts
"""
b64_images = []
texts = []
for doc in docs:
# Check if the document is of type Document and extract page_content if so
if isinstance(doc, Document):
doc = doc.page_content
if looks_like_base64(doc) and is_image_data(doc):
doc = resize_base64_image(doc, size=(1300, 600))
b64_images.append(doc)
else:
texts.append(doc)
if len(b64_images) > 0:
return {"images": b64_images[:1], "texts": []}
return {"images": b64_images, "texts": texts}
- กำหนดพรอมต์รูปภาพเฉพาะโดเมน
def img_prompt_func(data_dict):
"""
Join the context into a single string
"""
formatted_texts = "\n".join(data_dict["context"]["texts"])
messages = []
# Adding the text for analysis
text_message = {
"type": "text",
"text": (
"You are financial analyst tasking with providing investment advice.\n"
"You will be given a mixed of text, tables, and image(s) usually of charts or graphs.\n"
"Use this information to provide investment advice related to the user question. \n"
f"User-provided question: {data_dict['question']}\n\n"
"Text and / or tables:\n"
f"{formatted_texts}"
),
}
messages.append(text_message)
# Adding image(s) to the messages if present
if data_dict["context"]["images"]:
for image in data_dict["context"]["images"]:
image_message = {
"type": "image_url",
"image_url": {"url": f"data:image/jpeg;base64,{image}"},
}
messages.append(image_message)
return [HumanMessage(content=messages)]
- กำหนดห่วงโซ่ RAG แบบหลายโมดัล
def multi_modal_rag_chain(retriever):
"""
Multi-modal RAG chain
"""
# Multi-modal LLM
model = ChatVertexAI(
temperature=0, model_name="gemini-pro-vision", max_output_tokens=1024
)
# RAG pipeline
chain = (
{
"context": retriever | RunnableLambda(split_image_text_types),
"question": RunnablePassthrough(),
}
| RunnableLambda(img_prompt_func)
| model
| StrOutputParser()
)
return chain
# Create RAG chain
chain_multimodal_rag = multi_modal_rag_chain(retriever_multi_vector_img)
10. ขั้นตอนที่ 7: ทดสอบคำค้นหา
- เรียกดูเอกสารที่เกี่ยวข้อง
query = "What are the EV / NTM and NTM rev growth for MongoDB, Cloudflare, and Datadog?"
docs = retriever_multi_vector_img.get_relevant_documents(query, limit=1)
# We get relevant docs
len(docs)
docs
You may get similar output
plt_img_base64(docs[3])
- เรียกใช้ RAG ของเราในการค้นหาเดียวกัน
result = chain_multimodal_rag.invoke(query)
from IPython.display import Markdown as md
md(result)
ตัวอย่างเอาต์พุต (อาจแตกต่างกันไปเมื่อคุณเรียกใช้โค้ด)
11. ล้างข้อมูล
โปรดทำตามขั้นตอนต่อไปนี้เพื่อเลี่ยงไม่ให้เกิดการเรียกเก็บเงินกับบัญชี Google Cloud สำหรับทรัพยากรที่ใช้ใน Codelab นี้
- ในคอนโซล Google Cloud ให้ไปที่หน้าจัดการทรัพยากร
- ในรายการโปรเจ็กต์ ให้เลือกโปรเจ็กต์ที่ต้องการลบ แล้วคลิกลบ
- ในกล่องโต้ตอบ ให้พิมพ์รหัสโปรเจ็กต์ แล้วคลิกปิดเครื่องเพื่อลบโปรเจ็กต์
12. ขอแสดงความยินดี
ยินดีด้วย คุณพัฒนา RAG แบบหลายโมดัลโดยใช้ Gemini สำเร็จแล้ว