1. Giriş
RAG nedir?
Veriyle Artırılmış Üretim (RAG), büyük dil modellerinin (LLM'ler) gücünü harici bilgi kaynaklarından alakalı bilgileri alma yeteneğiyle birleştiren bir tekniktir. Bu, LLM'nin yalnızca dahili eğitim verilerine güvenmediği, aynı zamanda yanıt oluştururken güncel ve özel bilgilere erişip bunları dahil edebileceği anlamına gelir.
RAG'nin popülaritesi birkaç nedenden dolayı artmaktadır:
- Daha fazla doğruluk ve alaka düzeyi: RAG, LLM'lerin harici kaynaklardan alınan olgusal bilgilerle temellendirerek daha doğru ve alakalı yanıtlar vermesini sağlar. Bu özellik, özellikle güncel olaylarla ilgili soruları yanıtlama veya belirli konular hakkında bilgi verme gibi güncel bilgilerin önemli olduğu senaryolarda faydalıdır.
- Halüsinasyonların azaltılması: LLM'ler bazen makul gibi görünen ancak aslında yanlış veya anlamsız olan yanıtlar üretebilir. RAG, oluşturulan bilgileri harici kaynaklara göre doğrulayarak bu sorunu azaltmaya yardımcı olur.
- Daha fazla uyarlanabilirlik: RAG, LLM'lerin farklı alanlara ve görevlere daha iyi uyarlanmasını sağlar. Farklı bilgi kaynaklarından yararlanarak bir LLM, çok çeşitli konularda bilgi verecek şekilde kolayca özelleştirilebilir.
- Gelişmiş kullanıcı deneyimi: RAG, daha bilgilendirici, güvenilir ve alakalı yanıtlar sağlayarak genel kullanıcı deneyimini iyileştirebilir.
Neden Çok Formatlı?
Günümüzün veri açısından zengin dünyasında, dokümanlar bilgileri kapsamlı bir şekilde aktarmak için genellikle metin ve görselleri birleştirir. Ancak çoğu Çok Formatlı Veriyle Artırılmış Üretim (RAG) sistemi, resimlerdeki değerli bilgileri göz ardı eder. Çok formatlı büyük dil modelleri (LLM'ler) önem kazandıkça, bilgi ortamını daha iyi anlamak için RAG'de metinle birlikte görsel içeriklerden nasıl yararlanabileceğimizi keşfetmek çok önemlidir.
Çok formatlı RAG için iki seçenek
- Çok formatlı yerleştirmeler: Çok formatlı yerleştirme modeli, sağladığınız girişe (görüntü, metin ve video verilerinin kombinasyonu olabilir) dayalı olarak 1.408 boyutlu vektörler* oluşturur. Resim yerleştirme vektörü ve metin yerleştirme vektörü, aynı anlamsal uzayda aynı boyuta sahiptir. Bu nedenle, bu vektörler metinle resim arama veya resimle video arama gibi kullanım alanlarında birbirinin yerine kullanılabilir. Bu demoya göz atın.
- Metin ve resimleri yerleştirmek için çok modlu yerleştirme kullanma
- Benzerlik aramasını kullanarak her ikisini de alın.
- Yanıt sentezi için hem alınan ham görüntüyü hem de metin parçalarını çok formatlı LLM'ye iletme
- Metin Yerleştirmeleri
- Görüntülerin metin özetlerini oluşturmak için çok modlu LLM kullanma
- Metin yerleştirme ve alma
- Metin parçalarını LLM'ye (büyük dil modeli) yanıt sentezi için iletme
Çok Vektörlü Alıcı nedir?
Çok vektörlü alma, yanıt sentezi için özgün içeriği almak üzere belge bölümlerinin özetlerini kullanır. Bu özellik, özellikle tablo, grafik ve şema gibi yoğun görevlerde RAG'nin kalitesini artırır. Daha fazla bilgi için Langchain'in blogunu ziyaret edin.
Ne oluşturacaksınız?
Kullanım alanı: Gemini Pro kullanarak soru-cevap sistemi geliştirme
Bilgi dolu karmaşık grafikler veya diyagramlar içeren belgeleriniz olduğunu düşünün. Soruları veya sorguları yanıtlamak için bu verileri ayıklamak istiyorsunuz.
Bu codelab'de şunları yapacaksınız:
- LangChain kullanarak veri yükleme
document_loaders - Google'ın
gemini-promodelini kullanarak metin özetleri oluşturma - Google'ın
gemini-pro-visionmodelini kullanarak resim özetleri oluşturma - Google'ın
textembedding-geckomodelini kullanarak Croma Db'yi vektör deposu olarak kullanıp çok vektörlü alma oluşturma - Soru yanıtlama için çok formatlı RAG zinciri geliştirme
2. Başlamadan önce
- Google Cloud Console'daki proje seçici sayfasında bir Google Cloud projesi seçin veya oluşturun.
- Google Cloud projeniz için faturalandırmanın etkinleştirildiğinden emin olun. Bir projede faturalandırmanın etkin olup olmadığını kontrol etmeyi öğrenin.
- Vertex AI kontrol panelinden önerilen tüm API'leri etkinleştirin.
- Colab not defterini açın ve mevcut etkin Google Cloud hesabınızla aynı hesapta oturum açın.
3. Çok formatlı RAG oluşturma
Bu codelab'de, Google Cloud ile burada açıklanan "2. Seçenek"in nasıl uygulanacağı gösterilmek için Python için Vertex AI SDK ve Langchain kullanılır.
Referans verilen depodaki Multi-modal RAG with Google Cloud dosyasında kodun tamamını bulabilirsiniz.
4. 1. adım: Bağımlılıkları yükleyin ve içe aktarın
!pip install -U --quiet langchain langchain_community chromadb langchain-google-vertexai
!pip install --quiet "unstructured[all-docs]" pypdf pillow pydantic lxml pillow matplotlib chromadb tiktoken
Proje kimliğinizi girin ve kimlik doğrulamayı tamamlayın.
#TODO : ENter project and location
PROJECT_ID = ""
REGION = "us-central1"
from google.colab import auth
auth.authenticate_user()
Vertex AI platformunu başlatma
import vertexai
vertexai.init(project = PROJECT_ID , location = REGION)
5. 2. adım: Verileri hazırlayın ve yükleyin
Bu blog yayınından ayıklanan resimlerin ve PDF'nin bir alt kümesini içeren bir ZIP dosyası kullanırız. Tam akışı takip etmek istiyorsanız lütfen orijinal örneği kullanın.
Önce verileri indirin
import logging
import zipfile
import requests
logging.basicConfig(level=logging.INFO)
data_url = "https://storage.googleapis.com/benchmarks-artifacts/langchain-docs-benchmarking/cj.zip"
result = requests.get(data_url)
filename = "cj.zip"
with open(filename, "wb") as file:
file.write(result.content)
with zipfile.ZipFile(filename, "r") as zip_ref:
zip_ref.extractall()
Dokümandaki metin içeriğini yükleme
from langchain_community.document_loaders import PyPDFLoader
loader = PyPDFLoader("./cj/cj.pdf")
docs = loader.load()
tables = []
texts = [d.page_content for d in docs]
İlk sayfadaki içeriği kontrol edin
texts[0]
Çıkış görmeniz gerekir.
Dokümandaki toplam sayfa sayısı
len(texts)
Beklenen çıktı:
6. 3. adım: Metin özetleri oluşturun
Önce gerekli kitaplıkları içe aktarın
from langchain_google_vertexai import VertexAI , ChatVertexAI , VertexAIEmbeddings
from langchain.prompts import PromptTemplate
from langchain_core.messages import AIMessage
from langchain_core.output_parsers import StrOutputParser
from langchain_core.runnables import RunnableLambda
Metin Özetleri Alma
# Generate summaries of text elements
def generate_text_summaries(texts, tables, summarize_texts=False):
"""
Summarize text elements
texts: List of str
tables: List of str
summarize_texts: Bool to summarize texts
"""
# Prompt
prompt_text = """You are an assistant tasked with summarizing tables and text for retrieval. \
These summaries will be embedded and used to retrieve the raw text or table elements. \
Give a concise summary of the table or text that is well optimized for retrieval. Table or text: {element} """
prompt = PromptTemplate.from_template(prompt_text)
empty_response = RunnableLambda(
lambda x: AIMessage(content="Error processing document")
)
# Text summary chain
model = VertexAI(
temperature=0, model_name="gemini-pro", max_output_tokens=1024
).with_fallbacks([empty_response])
summarize_chain = {"element": lambda x: x} | prompt | model | StrOutputParser()
# Initialize empty summaries
text_summaries = []
table_summaries = []
# Apply to text if texts are provided and summarization is requested
if texts and summarize_texts:
text_summaries = summarize_chain.batch(texts, {"max_concurrency": 1})
elif texts:
text_summaries = texts
# Apply to tables if tables are provided
if tables:
table_summaries = summarize_chain.batch(tables, {"max_concurrency": 1})
return text_summaries, table_summaries
# Get text summaries
text_summaries, table_summaries = generate_text_summaries(
texts, tables, summarize_texts=True
)
text_summaries[0]
Beklenen çıktı:
7. 4. adım: Resim özetleri oluşturun
Önce gerekli kitaplıkları içe aktarın
import base64
import os
from langchain_core.messages import HumanMessage
Resim Özetleri Oluşturma
def encode_image(image_path):
"""Getting the base64 string"""
with open(image_path, "rb") as image_file:
return base64.b64encode(image_file.read()).decode("utf-8")
def image_summarize(img_base64, prompt):
"""Make image summary"""
model = ChatVertexAI(model_name="gemini-pro-vision", max_output_tokens=1024)
msg = model(
[
HumanMessage(
content=[
{"type": "text", "text": prompt},
{
"type": "image_url",
"image_url": {"url": f"data:image/jpeg;base64,{img_base64}"},
},
]
)
]
)
return msg.content
def generate_img_summaries(path):
"""
Generate summaries and base64 encoded strings for images
path: Path to list of .jpg files extracted by Unstructured
"""
# Store base64 encoded images
img_base64_list = []
# Store image summaries
image_summaries = []
# Prompt
prompt = """You are an assistant tasked with summarizing images for retrieval. \
These summaries will be embedded and used to retrieve the raw image. \
Give a concise summary of the image that is well optimized for retrieval."""
# Apply to images
for img_file in sorted(os.listdir(path)):
if img_file.endswith(".jpg"):
img_path = os.path.join(path, img_file)
base64_image = encode_image(img_path)
img_base64_list.append(base64_image)
image_summaries.append(image_summarize(base64_image, prompt))
return img_base64_list, image_summaries
# Image summaries
img_base64_list, image_summaries = generate_img_summaries("./cj")
len(img_base64_list)
len(image_summaries)
image_summaries[0]
Şuna benzer bir çıkış görürsünüz: 
8. 5. adım: Çok vektörlü alma oluşturma
Metin ve resim özetleri oluşturup bunları ChromaDB vektör deposuna kaydedelim.
Gerekli kitaplıkları içe aktarma
import uuid
from langchain.retrievers.multi_vector import MultiVectorRetriever
from langchain.storage import InMemoryStore
from langchain_community.vectorstores import Chroma
from langchain_core.documents import Document
Çok Vektörlü Alma Oluşturma
def create_multi_vector_retriever(
vectorstore, text_summaries, texts, table_summaries, tables, image_summaries, images
):
"""
Create retriever that indexes summaries, but returns raw images or texts
"""
# Initialize the storage layer
store = InMemoryStore()
id_key = "doc_id"
# Create the multi-vector retriever
retriever = MultiVectorRetriever(
vectorstore=vectorstore,
docstore=store,
id_key=id_key,
)
# Helper function to add documents to the vectorstore and docstore
def add_documents(retriever, doc_summaries, doc_contents):
doc_ids = [str(uuid.uuid4()) for _ in doc_contents]
summary_docs = [
Document(page_content=s, metadata={id_key: doc_ids[i]})
for i, s in enumerate(doc_summaries)
]
retriever.vectorstore.add_documents(summary_docs)
retriever.docstore.mset(list(zip(doc_ids, doc_contents)))
# Add texts, tables, and images
# Check that text_summaries is not empty before adding
if text_summaries:
add_documents(retriever, text_summaries, texts)
# Check that table_summaries is not empty before adding
if table_summaries:
add_documents(retriever, table_summaries, tables)
# Check that image_summaries is not empty before adding
if image_summaries:
add_documents(retriever, image_summaries, images)
return retriever
# The vectorstore to use to index the summaries
vectorstore = Chroma(
collection_name="mm_rag_cj_blog",
embedding_function=VertexAIEmbeddings(model_name="textembedding-gecko@latest"),
)
# Create retriever
retriever_multi_vector_img = create_multi_vector_retriever(
vectorstore,
text_summaries,
texts,
table_summaries,
tables,
image_summaries,
img_base64_list,
)
9. 6. adım: Çok formatlı RAG oluşturma
- Yardımcı işlevleri tanımlama
import io
import re
from IPython.display import HTML, display
from langchain_core.runnables import RunnableLambda, RunnablePassthrough
from PIL import Image
def plt_img_base64(img_base64):
"""Disply base64 encoded string as image"""
# Create an HTML img tag with the base64 string as the source
image_html = f'<img src="data:image/jpeg;base64,{img_base64}" />'
# Display the image by rendering the HTML
display(HTML(image_html))
def looks_like_base64(sb):
"""Check if the string looks like base64"""
return re.match("^[A-Za-z0-9+/]+[=]{0,2}$", sb) is not None
def is_image_data(b64data):
"""
Check if the base64 data is an image by looking at the start of the data
"""
image_signatures = {
b"\xFF\xD8\xFF": "jpg",
b"\x89\x50\x4E\x47\x0D\x0A\x1A\x0A": "png",
b"\x47\x49\x46\x38": "gif",
b"\x52\x49\x46\x46": "webp",
}
try:
header = base64.b64decode(b64data)[:8] # Decode and get the first 8 bytes
for sig, format in image_signatures.items():
if header.startswith(sig):
return True
return False
except Exception:
return False
def resize_base64_image(base64_string, size=(128, 128)):
"""
Resize an image encoded as a Base64 string
"""
# Decode the Base64 string
img_data = base64.b64decode(base64_string)
img = Image.open(io.BytesIO(img_data))
# Resize the image
resized_img = img.resize(size, Image.LANCZOS)
# Save the resized image to a bytes buffer
buffered = io.BytesIO()
resized_img.save(buffered, format=img.format)
# Encode the resized image to Base64
return base64.b64encode(buffered.getvalue()).decode("utf-8")
def split_image_text_types(docs):
"""
Split base64-encoded images and texts
"""
b64_images = []
texts = []
for doc in docs:
# Check if the document is of type Document and extract page_content if so
if isinstance(doc, Document):
doc = doc.page_content
if looks_like_base64(doc) and is_image_data(doc):
doc = resize_base64_image(doc, size=(1300, 600))
b64_images.append(doc)
else:
texts.append(doc)
if len(b64_images) > 0:
return {"images": b64_images[:1], "texts": []}
return {"images": b64_images, "texts": texts}
- Alana özgü resim istemi tanımlama
def img_prompt_func(data_dict):
"""
Join the context into a single string
"""
formatted_texts = "\n".join(data_dict["context"]["texts"])
messages = []
# Adding the text for analysis
text_message = {
"type": "text",
"text": (
"You are financial analyst tasking with providing investment advice.\n"
"You will be given a mixed of text, tables, and image(s) usually of charts or graphs.\n"
"Use this information to provide investment advice related to the user question. \n"
f"User-provided question: {data_dict['question']}\n\n"
"Text and / or tables:\n"
f"{formatted_texts}"
),
}
messages.append(text_message)
# Adding image(s) to the messages if present
if data_dict["context"]["images"]:
for image in data_dict["context"]["images"]:
image_message = {
"type": "image_url",
"image_url": {"url": f"data:image/jpeg;base64,{image}"},
}
messages.append(image_message)
return [HumanMessage(content=messages)]
- Çok formatlı RAG zinciri tanımlama
def multi_modal_rag_chain(retriever):
"""
Multi-modal RAG chain
"""
# Multi-modal LLM
model = ChatVertexAI(
temperature=0, model_name="gemini-pro-vision", max_output_tokens=1024
)
# RAG pipeline
chain = (
{
"context": retriever | RunnableLambda(split_image_text_types),
"question": RunnablePassthrough(),
}
| RunnableLambda(img_prompt_func)
| model
| StrOutputParser()
)
return chain
# Create RAG chain
chain_multimodal_rag = multi_modal_rag_chain(retriever_multi_vector_img)
10. 7. adım: Sorgularınızı test edin
- İlgili belgeleri alma
query = "What are the EV / NTM and NTM rev growth for MongoDB, Cloudflare, and Datadog?"
docs = retriever_multi_vector_img.get_relevant_documents(query, limit=1)
# We get relevant docs
len(docs)
docs
You may get similar output
plt_img_base64(docs[3])
- Aynı sorguda RAG'mizi çalıştırma
result = chain_multimodal_rag.invoke(query)
from IPython.display import Markdown as md
md(result)
Örnek çıktı (kodu çalıştırdığınızda değişebilir)
11. Temizleme
Bu codelab'de kullanılan kaynaklar için Google Cloud hesabınızın ücretlendirilmesini istemiyorsanız şu adımları uygulayın:
- Google Cloud Console'da Kaynakları yönetin sayfasına gidin.
- Proje listesinde silmek istediğiniz projeyi seçin ve Sil'i tıklayın.
- İletişim kutusunda proje kimliğini yazın ve projeyi silmek için Kapat'ı tıklayın.
12. Tebrikler
Tebrikler! Gemini'ı kullanarak çok formatlı RAG'yi başarıyla geliştirdiniz.