1. Genel Bakış
Bu laboratuvarda, Retrieval-Augmented Generation (RAG) sistemi için değerlendirme ardışık düzeni oluşturmayı öğreneceksiniz. Vertex AI Üretken Yapay Zeka Değerlendirme Hizmeti'ni kullanarak özel değerlendirme ölçütleri oluşturacak ve soru-cevap görevi için bir değerlendirme çerçevesi oluşturacaksınız.
Değerlendirme veri kümeleri hazırlamak, referanssız ve referans tabanlı değerlendirmeleri yapılandırmak ve sonuçları yorumlamak için Stanford Soru Cevaplama Veri Kümesi'nden (SQuAD 2.0) örneklerle çalışacaksınız. Bu laboratuvarı tamamladığınızda RAG sistemlerini nasıl değerlendireceğinizi ve belirli değerlendirme yaklaşımlarının neden seçildiğini anlayacaksınız.
Veri kümesi temeli
SQuAD 2.0 Soru Yanıtlama Veri Kümesi'nde bulunan ve birden fazla alanı kapsayan, özenle hazırlanmış örneklerle çalışacağız:
- Nörobilim: Bilimsel bağlamlarda teknik doğruluğu test etme
- Tarih: Tarihsel anlatılarda olgusal doğruluğu değerlendirme
- Coğrafya: Bölgesel ve siyasi bilgileri değerlendirme
Bu çeşitlilik, değerlendirme yaklaşımlarının farklı konu alanlarında nasıl genelleştirildiğini anlamanıza yardımcı olur.
Referanslar
- Kod örnekleri: Bu laboratuvarda, Vertex AI Evaluation belgelerindeki örneklerden yararlanılır.
- SQuAD 2.0 Soru Cevaplama Veri Kümesi'ni temel alan veri kümesi
- RAG erişimini optimize etme: Test edin, ayarlayın, başarılı olun
Neler öğreneceksiniz?
Bu laboratuvarda, aşağıdaki görevleri nasıl gerçekleştireceğinizi öğreneceksiniz:
- RAG sistemleri için değerlendirme veri kümeleri hazırlama
- Dayanaklılık ve alaka düzeyi gibi metrikleri kullanarak referanssız değerlendirme yapın.
- Semantik benzerlik ölçümleriyle referansa dayalı değerlendirme uygulama
- Ayrıntılı puanlama kuralları içeren özel değerlendirme metrikleri oluşturun.
- Model seçimi hakkında bilgi edinmek için değerlendirme sonuçlarını yorumlama ve görselleştirme
2. Proje ayarlama
Google Hesabı
Kişisel Google Hesabınız yoksa bir Google Hesabı oluşturmanız gerekir.
İş veya okul hesabı yerine kişisel hesap kullanın.
Google Cloud Console'da oturum açma
Kişisel bir Google Hesabı kullanarak Google Cloud Console'da oturum açın.
Faturalandırmayı Etkinleştir
Google Cloud kredilerini kullanma (isteğe bağlı)
Bu atölyeyi çalıştırmak için bir miktar kredisi olan bir faturalandırma hesabınız olmalıdır. Başlamak için bu codelab'in üst kısmındaki banner'da bulunan kredileri kullanın. Bir faturalandırma hesabına zaten bağlıysanız bu adımı atlayabilirsiniz.
Kişisel faturalandırma hesabı oluşturma
Faturalandırmayı Google Cloud kredilerini kullanarak ayarladıysanız bu adımı atlayabilirsiniz.
Kişisel faturalandırma hesabı oluşturmak için Cloud Console'da faturalandırmayı etkinleştirmek üzere buraya gidin.
Bazı Notlar:
- Bu laboratuvarı tamamlamak için 1 ABD dolarından daha az değerde bulut kaynağı kullanmanız gerekir.
- Daha fazla ücret ödememek için bu laboratuvarın sonundaki adımları uygulayarak kaynakları silebilirsiniz.
- Yeni kullanıcılar 300 ABD doları değerindeki ücretsiz deneme sürümünden yararlanabilir.
Proje oluşturma (isteğe bağlı)
Bu laboratuvarda kullanmak istediğiniz mevcut bir projeniz yoksa buradan yeni bir proje oluşturun.
3. Veriyle Artırılmış Üretim (RAG) nedir?
RAG, büyük dil modellerinden (LLM) alınan yanıtların olgusal doğruluğunu ve alaka düzeyini artırmak için kullanılan bir tekniktir. LLM'i harici bir bilgi tabanına bağlayarak yanıtlarını belirli ve doğrulanabilir bilgilerle temellendirir.
Süreç şu adımlardan oluşur:
- Kullanıcının sorusunu sayısal bir gösterime (yerleştirme) dönüştürme
- Bilgi bankasında benzer yerleştirmelere sahip belgeleri arama
- Yanıt oluşturmak için bu alakalı belgeleri orijinal soruyla birlikte LLM'ye bağlam olarak sağlama.
RAG hakkında daha fazla bilgi edinin.
RAG değerlendirmesini karmaşık kılan nedir?
RAG sistemlerini değerlendirmek, geleneksel dil modellerini değerlendirmekten farklıdır.
Çok bileşenli sistemlerin zorlukları: RAG sistemleri, her biri hata noktası olabilecek üç işlemi birleştirir:
- Bilgi Getirme Kalitesi: Sistem doğru bağlam belgelerini buldu mu?
- Bağlam kullanımı: Model, alınan bilgileri etkili bir şekilde kullandı mı?
- Üretim kalitesi: Son yanıt iyi yazılmış, faydalı ve doğru mu?
Bu bileşenlerden herhangi biri beklendiği gibi çalışmazsa yanıt başarısız olabilir. Örneğin, sistem doğru bağlamı alabilir ancak model bunu yoksayabilir. Model, alınan bağlam alakasız olduğu için yanlış olan ancak iyi yazılmış bir yanıt da üretebilir.
4. Vertex AI Workbench ortamınızı oluşturma
RAG sistemlerini değerlendirmek için gereken kodumuzu çalıştıracağımız yeni bir not defteri ortamı başlatarak işe koyulalım.
- Cloud Console'unuzun API'ler ve Hizmetler sayfasına gidin.
- Vertex AI API için Etkinleştir'i tıklayın.

Vertex AI Workbench'e erişme
- Google Cloud Console'da gezinme menüsü ☰ > Vertex AI > Workbench'i (Çalışma Alanı) tıklayarak Vertex AI'a gidin.
- Yeni bir Workbench örneği oluşturun.

- Çalışma ortamı örneğini
evaluation-workbencholarak adlandırın. - Bu değerler henüz ayarlanmamışsa bölgenizi ve alt bölgenizi seçin.
- Oluştur'u tıklayın.

- Çalışma alanının oluşturulmasını bekleyin. Bu işlem birkaç dakika sürebilir.

- Çalışma alanı hazırlandıktan sonra Open JupyterLab'i (JupyterLab'i aç) tıklayın.

- Çalışma alanında yeni bir Python3 not defteri oluşturun.

Bu ortamın özellikleri ve işlevleri hakkında daha fazla bilgi edinmek için Vertex AI Workbench'in resmi belgelerine bakın.
Vertex AI değerlendirme SDK'sını yükleme
Şimdi, RAG değerlendirmesi için gerekli araçları sağlayan özel değerlendirme SDK'sını yükleyelim.
- Not defterinizin ilk hücresine aşağıdaki içe aktarma ifadesini ekleyip çalıştırarak (üst karakter + Enter) Vertex AI SDK'yı (değerlendirme bileşenleriyle birlikte) yükleyin.
Bu komut, Vertex AI SDK'yı aşağıdaki değerlendirme uzantılarıyla birlikte yükler:%pip install --upgrade --user --quiet google-cloud-aiplatform[evaluation]- EvalTask: Değerlendirmeleri çalıştırmak için kullanılan ana sınıf
- MetricPromptTemplateExamples: Önceden tanımlanmış değerlendirme metrikleri
- PointwiseMetric: Özel metrikler oluşturmak için kullanılan çerçeve
- notebook_utils: Sonuç analizi için görselleştirme araçları
- Önemli: Yükleme işleminden sonra yeni paketleri kullanmak için çekirdeği yeniden başlatmanız gerekir. JupyterLab pencerenizin üst kısmındaki menü çubuğunda Kernel (Çekirdek) > Restart Kernel'a (Çekirdeği Yeniden Başlat) gidin.
5. SDK'yı ilk kullanıma hazırlama ve kitaplıkları içe aktarma
Değerlendirme ardışık düzenini oluşturabilmek için önce ortamınızı ayarlamanız gerekir. Bu adımda proje ayrıntılarınızı yapılandıracak, Google Cloud'a bağlanmak için Vertex AI SDK'yı başlatacak ve değerlendirme için kullanacağınız özel Python kitaplıklarını içe aktaracaksınız.
- Değerlendirme işiniz için yapılandırma değişkenlerini tanımlayın. Yeni bir hücrede, bu çalıştırmayı düzenlemek için
PROJECT_ID,LOCATIONveEXPERIMENTadınızı ayarlamak üzere aşağıdaki kodu ekleyip çalıştırın.import vertexai PROJECT_ID = "YOUR PROJECT ID" LOCATION = "YOUR LOCATION" # @param {type:"string"} EXPERIMENT = "rag-eval-01" # @param {type:"string"} if not PROJECT_ID or PROJECT_ID == "[your-project-id]": raise ValueError("Please set your PROJECT_ID") - Vertex AI SDK'yı başlatın. Yeni bir hücreye aşağıdaki kodu ekleyip çalıştırın.
Bu adım, not defterinizin kimliğini doğrular ve not defterinizi Google Cloud projenize bağlar.vertexai.init(project=PROJECT_ID, location=LOCATION) - Bir sonraki hücrede aşağıdaki kodu çalıştırarak değerlendirme SDK'sından gerekli sınıfları içe aktarın:
Her içe aktarma işleminin özeti aşağıda verilmiştir:import pandas as pd from vertexai.evaluation import EvalTask, MetricPromptTemplateExamples, PointwiseMetric from vertexai.preview.evaluation import notebook_utils- pandas: DataFrame'lerde veri oluşturmak ve yönetmek için kullanılır.
- EvalTask: Değerlendirme işini çalıştıran temel sınıf.
- MetricPromptTemplateExamples: Google'ın önceden tanımlanmış değerlendirme metriklerine erişim sağlar.
- PointwiseMetric: Kendi özel metriklerinizi oluşturmak için kullanılan çerçeve.
- notebook_utils: Sonuçları görselleştirmek için kullanılan bir araç koleksiyonu.
6. Değerlendirme veri kümenizi hazırlama
İyi yapılandırılmış bir veri kümesi, güvenilir bir değerlendirmenin temelidir. RAG sistemleri için veri kümenizde her örnek için iki anahtar alan gerekir:
- prompt: Dil modeline sağlanan toplam giriştir. Kullanıcının sorusunu, RAG sisteminiz tarafından alınan bağlamla (
prompt = User Question + Retrieved Context) birleştirmeniz gerekir. Bu, değerlendirme hizmetinin, modelin yanıtını oluşturmak için hangi bilgileri kullandığını bilmesi açısından önemlidir. - response: Bu, RAG modeliniz tarafından üretilen nihai yanıttır.
İstatistiksel olarak güvenilir sonuçlar için yaklaşık 100 örnek içeren bir veri kümesi önerilir. Bu laboratuvarda, süreci göstermek için küçük bir veri kümesi kullanacaksınız.
Veri kümelerini oluşturalım. Bir soru listesi ve RAG sisteminden alınan retrieved_contexts ile başlayacaksınız. Ardından iki yanıt grubu tanımlayacaksınız: biri iyi performans gösteren bir modelden (generated_answers_by_rag_a), diğeri ise kötü performans gösteren bir modelden (generated_answers_by_rag_b).
Son olarak, yukarıda açıklanan yapıyı izleyerek bu parçaları iki pandas DataFrame'inde (eval_dataset_rag_a ve eval_dataset_rag_b) birleştireceksiniz.
- Yeni bir hücrede, soruları ve iki generated_answers grubunu tanımlamak için aşağıdaki kodu ekleyip çalıştırın.
Bu, veri kümenizin temel bileşenlerini tanımlar: sorular, her soru için bir RAG sistemi tarafından alınan uzun bağlam pasajları ve iki farklı model (yüksek performanslı Model A ve düşük performanslı Model B) tarafından oluşturulan yanıtlar.questions = [ "Which part of the brain does short-term memory seem to rely on?", "What provided the Roman senate with exuberance?", "What area did the Hasan-jalalians command?", ] generated_answers_by_rag_a = [ "frontal lobe and the parietal lobe", "The Roman Senate was filled with exuberance due to successes against Catiline.", "The Hasan-Jalalians commanded the area of Syunik and Vayots Dzor.", ] generated_answers_by_rag_b = [ "Occipital lobe", "The Roman Senate was subdued because they had food poisoning.", "The Galactic Empire commanded the state of Utah.", ] - retrieved_contexts değerini tanımlayın. Aşağıdaki kodu yeni bir hücreye ekleyip çalıştırın.
Artık tüm ham bileşenlere sahip olduğunuza göre bunları değerlendirme hizmetinin gerektirdiği yapılandırılmış pandas DataFrame'lerinde birleştireceksiniz.retrieved_contexts = [ "Short-term memory is supported by transient patterns of neuronal communication, dependent on regions of the frontal lobe (especially dorsolateral prefrontal cortex) and the parietal lobe. Long-term memory, on the other hand, is maintained by more stable and permanent changes in neural connections widely spread throughout the brain. The hippocampus is essential (for learning new information) to the consolidation of information from short-term to long-term memory, although it does not seem to store information itself. Without the hippocampus, new memories are unable to be stored into long-term memory, as learned from patient Henry Molaison after removal of both his hippocampi, and there will be a very short attention span. Furthermore, it may be involved in changing neural connections for a period of three months or more after the initial learning.", "In 62 BC, Pompey returned victorious from Asia. The Senate, elated by its successes against Catiline, refused to ratify the arrangements that Pompey had made. Pompey, in effect, became powerless. Thus, when Julius Caesar returned from a governorship in Spain in 61 BC, he found it easy to make an arrangement with Pompey. Caesar and Pompey, along with Crassus, established a private agreement, now known as the First Triumvirate. Under the agreement, Pompey's arrangements would be ratified. Caesar would be elected consul in 59 BC, and would then serve as governor of Gaul for five years. Crassus was promised a future consulship.", "The Seljuk Empire soon started to collapse. In the early 12th century, Armenian princes of the Zakarid noble family drove out the Seljuk Turks and established a semi-independent Armenian principality in Northern and Eastern Armenia, known as Zakarid Armenia, which lasted under the patronage of the Georgian Kingdom. The noble family of Orbelians shared control with the Zakarids in various parts of the country, especially in Syunik and Vayots Dzor, while the Armenian family of Hasan-Jalalians controlled provinces of Artsakh and Utik as the Kingdom of Artsakh.", ] - Yeni bir hücreye aşağıdaki kodu ekleyip çalıştırarak
eval_dataset_rag_aveeval_dataset_rag_boluşturun.eval_dataset_rag_a = pd.DataFrame( { "prompt": [ "Answer the question: " + question + " Context: " + item for question, item in zip(questions, retrieved_contexts) ], "response": generated_answers_by_rag_a, } ) eval_dataset_rag_b = pd.DataFrame( { "prompt": [ "Answer the question: " + question + " Context: " + item for question, item in zip(questions, retrieved_contexts) ], "response": generated_answers_by_rag_b, } ) - Model A'nın veri kümesinin ilk birkaç satırını görüntülemek için aşağıdaki kodu yeni bir hücrede çalıştırın.
Bu, doğru şekilde oluşturulduğundan emin olmak için iyi bir uygulamadır.eval_dataset_rag_a
7. Metrik seçme ve oluşturma
Veri kümeleri hazır olduğuna göre performansı nasıl ölçeceğinize karar verebilirsiniz. Modelinizi değerlendirmek için bir veya daha fazla metrik kullanabilirsiniz. Her metrik, modelin yanıtının belirli bir yönünü (ör. gerçeklere dayalı doğruluk veya alaka düzeyi) değerlendirir.
İki tür metriğin bir kombinasyonunu kullanabilirsiniz:
- Önceden tanımlanmış metrikler: SDK tarafından genel değerlendirme görevleri için sağlanan, kullanıma hazır metrikler.
- Özel metrikler: Kullanım alanınızla ilgili nitelikleri test etmek için tanımladığınız metriklerdir.
Bu bölümde, RAG için kullanılabilen önceden tanımlanmış metrikleri inceleyeceksiniz.
Önceden tanımlanmış metrikleri keşfetme
SDK, soru-cevap sistemlerini değerlendirmek için çeşitli yerleşik metrikler içerir. Bu metrikler, modelinizin yanıtlarını bir dizi talimata göre puanlamak için "değerlendirici" olarak bir dil modeli kullanır.
- Yeni bir hücreye aşağıdaki kodu ekleyip çalıştırarak önceden tanımlanmış metrik adlarının tam listesini görebilirsiniz:
Bu komut, kullanıma hazır metriklerin listesini döndürür.MetricPromptTemplateExamples.list_example_metric_names() - Bu metriklerin işleyiş şeklini anlamak için temel istem şablonlarını inceleyebilirsiniz. Yeni bir hücreye aşağıdaki kodu ekleyip çalıştırarak
question_answering_qualitymetriği için değerlendirici LLM'ye verilen talimatları görüntüleyin.# See the prompt example for one of the pointwise metrics print(MetricPromptTemplateExamples.get_prompt_template("question_answering_quality"))
8. Özel metrik oluşturun
Önceden tanımlanmış metriklere ek olarak, kullanım alanınıza özgü ölçütleri değerlendirmek için özel metrikler oluşturabilirsiniz. Özel metrik oluşturmak için değerlendirici LLM'ye bir yanıtı nasıl puanlayacağını belirten bir istem şablonu yazarsınız.
Özel metrik oluşturma işlemi iki adımdan oluşur:
- İstem şablonunu tanımlama: Değerlendirici LLM için talimatlarınızı içeren bir dize. İyi bir şablonda net bir rol, değerlendirme ölçütleri, puanlama anahtarı ve
{prompt}ile{response}gibi yer tutucular bulunur. - PointwiseMetric nesnesini örneklendirme: İstem şablonu dizenizi bu sınıfa sarmalar ve metriğinize bir ad verirsiniz.
RAG sisteminin yanıtlarının alaka düzeyini ve faydasını değerlendirmek için iki özel metrik oluşturacaksınız.
- Alaka düzeyi metriği için istem şablonunu tanımlayın. Bu şablon, değerlendirici LLM için ayrıntılı bir puanlama anahtarı sağlar. Yeni bir hücreye aşağıdaki kodu ekleyip çalıştırın:
relevance_prompt_template = """ You are a professional writing evaluator. Your job is to score writing responses according to pre-defined evaluation criteria. You will be assessing relevance, which measures the ability to respond with relevant information when given a prompt. You will assign the writing response a score from 5, 4, 3, 2, 1, following the rating rubric and evaluation steps. ## Criteria Relevance: The response should be relevant to the instruction and directly address the instruction. ## Rating Rubric 5 (completely relevant): Response is entirely relevant to the instruction and provides clearly defined information that addresses the instruction's core needs directly. 4 (mostly relevant): Response is mostly relevant to the instruction and addresses the instruction mostly directly. 3 (somewhat relevant): Response is somewhat relevant to the instruction and may address the instruction indirectly, but could be more relevant and more direct. 2 (somewhat irrelevant): Response is minimally relevant to the instruction and does not address the instruction directly. 1 (irrelevant): Response is completely irrelevant to the instruction. ## Evaluation Steps STEP 1: Assess relevance: is response relevant to the instruction and directly address the instruction? STEP 2: Score based on the criteria and rubrics. Give step by step explanations for your scoring, and only choose scores from 5, 4, 3, 2, 1. # User Inputs and AI-generated Response ## User Inputs ### Prompt {prompt} ## AI-generated Response {response} """ - Aynı yaklaşımı kullanarak faydalılık metriği için istem şablonunu tanımlayın. Aşağıdaki kodu yeni bir hücreye ekleyip çalıştırın:
helpfulness_prompt_template = """ You are a professional writing evaluator. Your job is to score writing responses according to pre-defined evaluation criteria. You will be assessing helpfulness, which measures the ability to provide important details when answering a prompt. You will assign the writing response a score from 5, 4, 3, 2, 1, following the rating rubric and evaluation steps. ## Criteria Helpfulness: The response is comprehensive with well-defined key details. The user would feel very satisfied with the content in a good response. ## Rating Rubric 5 (completely helpful): Response is useful and very comprehensive with well-defined key details to address the needs in the instruction and usually beyond what explicitly asked. The user would feel very satisfied with the content in the response. 4 (mostly helpful): Response is very relevant to the instruction, providing clearly defined information that addresses the instruction's core needs. It may include additional insights that go slightly beyond the immediate instruction. The user would feel quite satisfied with the content in the response. 3 (somewhat helpful): Response is relevant to the instruction and provides some useful content, but could be more relevant, well-defined, comprehensive, and/or detailed. The user would feel somewhat satisfied with the content in the response. 2 (somewhat unhelpful): Response is minimally relevant to the instruction and may provide some vaguely useful information, but it lacks clarity and detail. It might contain minor inaccuracies. The user would feel only slightly satisfied with the content in the response. 1 (unhelpful): Response is useless/irrelevant, contains inaccurate/deceptive/misleading information, and/or contains harmful/offensive content. The user would feel not at all satisfied with the content in the response. ## Evaluation Steps STEP 1: Assess comprehensiveness: does the response provide specific, comprehensive, and clearly defined information for the user needs expressed in the instruction? STEP 2: Assess relevance: When appropriate for the instruction, does the response exceed the instruction by providing relevant details and related information to contextualize content and help the user better understand the response. STEP 3: Assess accuracy: Is the response free of inaccurate, deceptive, or misleading information? STEP 4: Assess safety: Is the response free of harmful or offensive content? Give step by step explanations for your scoring, and only choose scores from 5, 4, 3, 2, 1. # User Inputs and AI-generated Response ## User Inputs ### Prompt {prompt} ## AI-generated Response {response} """ - İki özel metriğiniz için
PointwiseMetricnesnelerini örneklendirin. Bu işlem, istem şablonlarınızı değerlendirme işi için yeniden kullanılabilir bileşenlere sarmalar. Aşağıdaki kodu yeni bir hücreye ekleyip çalıştırın:relevance = PointwiseMetric( metric="relevance", metric_prompt_template=relevance_prompt_template, ) helpfulness = PointwiseMetric( metric="helpfulness", metric_prompt_template=helpfulness_prompt_template, )
Değerlendirme işiniz için kullanabileceğiniz iki yeni yeniden kullanılabilir metriğiniz (relevance ve helpfulness) var.
9. Değerlendirme işini çalıştırma
Veri kümeleri ve metrikler hazır olduğuna göre değerlendirmeyi çalıştırabilirsiniz. Bunu yapmak için test etmek istediğiniz her veri kümesi için bir EvalTask nesnesi oluşturmanız gerekir.
EvalTask, bir değerlendirme çalıştırmasının bileşenlerini bir araya getirir:
- dataset: İstemlerinizi ve yanıtlarınızı içeren DataFrame.
- metrics: Puanlamak istediğiniz metriklerin listesi.
- experiment: Sonuçların kaydedileceği Vertex AI denemesi. Bu sayede çalıştırmaları takip edip karşılaştırabilirsiniz.
- Her model için bir
EvalTaskoluşturun. Bu nesne; veri kümesini, metrikleri ve deneme adını bir araya getirir. Görevleri yapılandırmak için aşağıdaki kodu yeni bir hücreye ekleyip çalıştırın: Her bir model yanıtı grubu için birer tane olmak üzere ikirag_eval_task_rag_a = EvalTask( dataset=eval_dataset_rag_a, metrics=[ "question_answering_quality", relevance, helpfulness, "groundedness", "safety", "instruction_following", ], experiment=EXPERIMENT, ) rag_eval_task_rag_b = EvalTask( dataset=eval_dataset_rag_b, metrics=[ "question_answering_quality", relevance, helpfulness, "groundedness", "safety", "instruction_following", ], experiment=EXPERIMENT, )EvalTasknesnesi yapılandırdınız. Sağladığınızmetricslistesi, değerlendirme hizmetinin önemli bir özelliğini gösterir: önceden tanımlanmış metrikler (ör.safety) ve özelPointwiseMetricnesneleri. - Görevler yapılandırıldıktan sonra
.evaluate()yöntemini çağırarak görevleri yürütün. Bu işlem, görevleri işlenmek üzere Vertex AI arka ucuna gönderir ve tamamlanması birkaç dakika sürebilir. Yeni bir hücreye aşağıdaki kodu ekleyip çalıştırın:result_rag_a = rag_eval_task_rag_a.evaluate() result_rag_b = rag_eval_task_rag_b.evaluate()
Değerlendirme tamamlandıktan sonra sonuçlar result_rag_a ve result_rag_b nesnelerinde depolanır ve bir sonraki bölümde analiz edilmeye hazır hale gelir.
10. Sonuçları analiz etme
Değerlendirme sonuçları hazır. result_rag_a ve result_rag_b nesneleri, her satır için toplu puanlar ve ayrıntılı açıklamalar içerir. Bu görevde, notebook_utils'daki yardımcı işlevleri kullanarak bu sonuçları analiz edeceksiniz.
Toplu özetleri görüntüleme
- Genel bir bakış elde etmek için
display_eval_result()yardımcı işlevini kullanarak her metriğin ortalama puanını görebilirsiniz. Yeni bir hücreye aşağıdakileri ekleyip çalıştırarak Model A'nın özetini görüntüleyin:notebook_utils.display_eval_result( title="Model A Eval Result", eval_result=result_rag_a ) - Aynı işlemi B modeli için de yapın. Bu kodu yeni bir hücreye ekleyip çalıştırın:
notebook_utils.display_eval_result( title="Model B Eval Result", eval_result=result_rag_b, )
Değerlendirme sonuçlarını görselleştirme
Grafikler, model performansını karşılaştırmayı kolaylaştırabilir. İki tür görselleştirme kullanacaksınız:
- Radar grafiği: Her modelin genel performans "şeklini" gösterir. Daha büyük bir şekil, genel performansın daha iyi olduğunu gösterir.
- Çubuk grafik: Her bir metriğin doğrudan, yan yana karşılaştırması için.
Bu görselleştirmeler, modelleri alaka düzeyi, dayanaklılık ve fayda gibi öznel nitelikler açısından karşılaştırmanıza yardımcı olur.
- Grafik oluşturmaya hazırlanmak için sonuçları tek bir demet listesinde birleştirin. Her demet, bir model adı ve ilgili sonuç nesnesini içermelidir. Yeni bir hücreye aşağıdaki kodu ekleyip çalıştırın:
eval_results = [] eval_results.append(("Model A", result_rag_a)) eval_results.append(("Model B", result_rag_b)) - Şimdi, modelleri tüm metrikler genelinde tek seferde karşılaştırmak için bir radar grafiği oluşturun. Aşağıdaki kodu yeni bir hücreye ekleyip çalıştırın:
Şeklin büyük olması, genel performansın daha iyi olduğunu gösterir.notebook_utils.display_radar_plot( eval_results, metrics=[ "question_answering_quality", "safety", "groundedness", "instruction_following", "relevance", "helpfulness", ], ) - Her bir metriği daha doğrudan karşılaştırmak için çubuk grafik oluşturun. Yeni bir hücreye şu kodu ekleyip çalıştırın:
Bu görselleştirme, iki model arasındaki performans farkını görmeyi kolaylaştırır.notebook_utils.display_bar_plot( eval_results, metrics=[ "question_answering_quality", "safety", "groundedness", "instruction_following", "relevance", "helpfulness", ], )
Görselleştirmeler, A modelinin performansının (radar grafiğindeki büyük şekil ve çubuk grafikteki uzun çubuklar) B modelinden daha iyi olduğunu net bir şekilde gösterir.
Belirli bir örnekle ilgili ayrıntılı açıklamayı görüntüleme
Birleştirilmiş puanlar genel performansı gösterir. Bir modelin neden belirli bir şekilde performans gösterdiğini anlamak için değerlendirici LLM tarafından her örnek için oluşturulan ayrıntılı açıklamaları incelemeniz gerekir.
display_explanations()yardımcı işlevi, sonuçları tek tek incelemenize olanak tanır. A modelinin sonuçlarından ikinci örneğin (num=2) ayrıntılı dökümünü görmek için aşağıdaki kodu yeni bir hücreye ekleyip çalıştırın:notebook_utils.display_explanations(result_rag_a, num=2)- Bu işlevi, tüm örneklerde belirli bir metriğe göre filtreleme yapmak için de kullanabilirsiniz. Bu, performansın düşük olduğu belirli bir alanda hata ayıklama yapmak için kullanışlıdır. B modelinin
groundednessmetriğinde neden bu kadar düşük performans gösterdiğini öğrenmek için bu kodu yeni bir hücreye ekleyip çalıştırın: Bu, modelin nerede başarısız olduğuyla ilgili spesifik geri bildirim sağlar. Bu, yinelemeli iyileştirme için çok önemlidir.notebook_utils.display_explanations(result_rag_b, metrics=["groundedness"])
11. "Altın yanıt" kullanarak referanslı değerlendirme
Daha önce, modelin yanıtının yalnızca isteme göre değerlendirildiği referanssız bir değerlendirme yapmıştınız. Bu yöntem faydalıdır ancak değerlendirme özneldir.
Şimdi referanslı değerlendirmeyi kullanacaksınız. Bu yöntem, veri kümesine bir "altın yanıt" (referans yanıt olarak da bilinir) ekler. Modelin yanıtını gerçek doğru yanıtla karşılaştırmak, performansın daha objektif bir şekilde ölçülmesini sağlar. Bu sayede şunları ölçebilirsiniz:
- Olgusal doğruluk: Modelin yanıtı, altın yanıttaki bilgilerle uyumlu mu?
- Semantik Benzerlik: Modelin yanıtı, altın yanıtla aynı anlama geliyor mu?
- Eksiksizlik: Modelin yanıtı, altın yanıttaki tüm önemli bilgileri içeriyor mu?
Referans veri kümesini hazırlama
Referanslı değerlendirme yapmak için veri kümenizdeki her örneğe bir "altın yanıt" eklemeniz gerekir.
Öncelikle golden_answers listesini tanımlayalım. Altın yanıtları Model A'nın yanıtlarıyla karşılaştırdığımızda bu yöntemin değerini görebiliriz:
- 1. soru (Beyin): Oluşturulan yanıt ile altın yanıt aynıdır. A modeli doğru.
- 2. soru (Senato): Yanıtlar anlamsal olarak benzer ancak farklı şekilde ifade edilmiş. İyi bir metrik bunu tanımalıdır.
- 3. soru (Hasan-Celalyanlar): A modelinin yanıtı, bağlama göre yanlış.
golden_answerbu hatayı gösterir.
- Yeni bir hücrede golden_answers listesini tanımlayın.
golden_answers = [ "frontal lobe and the parietal lobe", "Due to successes against Catiline.", "The Hasan-Jalalians commanded the area of Artsakh and Utik.", ] - Aşağıdaki hücrede bu kodu çalıştırarak referans verilen değerlendirme DataFrame'lerini oluşturun:
Bu kod, golden_answers değişkenini daha önce oluşturduğunuz mevcut değişkenlerle birleştirir.referenced_eval_dataset_rag_a = pd.DataFrame( { "prompt": [ "Answer the question: " + question + " Context: " + item for question, item in zip(questions, retrieved_contexts) ], "response": generated_answers_by_rag_a, "reference": golden_answers, } ) referenced_eval_dataset_rag_b = pd.DataFrame( { "prompt": [ "Answer the question: " + question + " Context: " + item for question, item in zip(questions, retrieved_contexts) ], "response": generated_answers_by_rag_b, "reference": golden_answers, } )
Veri kümeleri artık referanslı değerlendirme için hazır.
Özel referans metrik oluşturma
Referanslı değerlendirme için özel metrikler de oluşturabilirsiniz. Süreç benzerdir ancak istem şablonu artık altın yanıt için {reference} yer tutucusunu içerir.
Kesin bir "doğru" yanıt varsa olgusal doğruluğu ölçmek için daha katı, ikili puanlama (ör. doğru için 1, yanlış için 0) kullanabilirsiniz. Bu mantığı uygulayan yeni bir question_answering_correctness metriği oluşturalım.
- İstem şablonunu tanımlayın. Yeni bir hücreye aşağıdaki kodu ekleyip çalıştırın:
Bu şablon, değerlendirici LLM'ye modelin {response} ile altın {reference} yanıtı arasında katı bir karşılaştırma yapmasını ve bunu doğru (1) veya yanlış (0) olarak puanlamasını söyler.question_answering_correctness_prompt_template = """ You are a professional writing evaluator. Your job is to score writing responses according to pre-defined evaluation criteria. You will be assessing question answering correctness, which measures the ability to correctly answer a question. You will assign the writing response a score from 1, 0, following the rating rubric and evaluation steps. ### Criteria: Reference claim alignment: The response should contain all claims from the reference and should not contain claims that are not present in the reference. ### Rating Rubric: 1 (correct): The response contains all claims from the reference and does not contain claims that are not present in the reference. 0 (incorrect): The response does not contain all claims from the reference, or the response contains claims that are not present in the reference. ### Evaluation Steps: STEP 1: Assess the response' correctness by comparing with the reference according to the criteria. STEP 2: Score based on the rubrics. Give step by step explanations for your scoring, and only choose scores from 1, 0. # User Inputs and AI-generated Response ## User Inputs ### Prompt {prompt} ## Reference {reference} ## AI-generated Response {response} """ - İstem şablonu dizesini bir PointwiseMetric nesnesinin içine sarmalayın. Bu işlem, metriğinize resmi bir ad verir ve metriği değerlendirme işi için yeniden kullanılabilir bir bileşen haline getirir. Aşağıdaki kodu yeni bir hücreye ekleyip çalıştırın:
question_answering_correctness = PointwiseMetric( metric="question_answering_correctness", metric_prompt_template=question_answering_correctness_prompt_template, )
Artık katı bir doğruluk kontrolü için özel, referanslı bir metriğiniz var.
12. Referanslı değerlendirmeyi çalıştırma
Şimdi, değerlendirme işini referans alınan veri kümeleri ve yeni metrikle yapılandıracaksınız. Yine EvalTask sınıfını kullanacaksınız.
Metrik listesi artık özel modele dayalı metriğinizi hesaplamaya dayalı metriklerle birleştirir. Referanslı değerlendirme, oluşturulan metin ile referans metin arasında matematiksel karşılaştırmalar yapan geleneksel, hesaplamaya dayalı metriklerin kullanılmasına olanak tanır. Yaygın olarak kullanılan üç yöntemi inceleyeceksiniz:
exact_match: Oluşturulan yanıt, referans yanıtla aynıysa 1, aksi takdirde 0 puan alır.bleu: Hassasiyet metriği. Oluşturulan yanıttaki kelimelerin kaç tanesinin referans yanıtta da yer aldığını ölçer.rouge: Hatırlama metriği. Referans yanıttaki kelimelerin ne kadarının oluşturulan yanıtta yer aldığını ölçer.
- Değerlendirme işini, referans verilen veri kümeleri ve yeni metrik karışımıyla yapılandırın. Yeni bir hücrede,
EvalTasknesnelerini oluşturmak için aşağıdaki kodu ekleyip çalıştırın:referenced_answer_eval_task_rag_a = EvalTask( dataset=referenced_eval_dataset_rag_a, metrics=[ question_answering_correctness, "rouge", "bleu", "exact_match", ], experiment=EXPERIMENT, ) referenced_answer_eval_task_rag_b = EvalTask( dataset=referenced_eval_dataset_rag_b, metrics=[ question_answering_correctness, "rouge", "bleu", "exact_match", ], experiment=EXPERIMENT, ) .evaluate()yöntemini çağırarak referans verilen değerlendirmeyi yürütün. Bu kodu yeni bir hücreye ekleyip çalıştırın:referenced_result_rag_a = referenced_answer_eval_task_rag_a.evaluate() referenced_result_rag_b = referenced_answer_eval_task_rag_b.evaluate()
13. Referans verilen sonuçları analiz etme
Değerlendirme tamamlandı. Bu görevde, modellerin yanıtlarını altın referans yanıtlarla karşılaştırarak modellerin gerçeklere dayalı doğruluğunu ölçmek için sonuçları analiz edeceksiniz.
Özet sonuçları görüntüleme
- Referans verilen değerlendirmenin özet sonuçlarını analiz edin. Yeni bir hücreye aşağıdaki kodu ekleyip çalıştırarak her iki modelin özet tablolarını görüntüleyin:
A modelinin özelnotebook_utils.display_eval_result( title="Model A Eval Result", eval_result=referenced_result_rag_a, ) notebook_utils.display_eval_result( title="Model B Eval Result", eval_result=referenced_result_rag_b, )question_answering_correctnessmetriğinizde iyi performans gösterdiğini ancakexact_matchmetriğinde daha düşük puan aldığını göreceksiniz. Bu durum, yalnızca aynı metni değil, semantik benzerliği de tanıyabilen modele dayalı metriklerin değerini vurgular.
Karşılaştırma için sonuçları görselleştirme
Görselleştirmeler, iki model arasındaki performans farkını daha belirgin hale getirebilir. Öncelikle sonuçları çizim için tek bir listede birleştirin, ardından radar ve çubuk grafikleri oluşturun.
- Referans verilen değerlendirme sonuçlarını, grafik oluşturmak için tek bir listede birleştirin. Aşağıdaki kodu yeni bir hücreye ekleyip çalıştırın:
referenced_eval_results = [] referenced_eval_results.append(("Model A", referenced_result_rag_a)) referenced_eval_results.append(("Model B", referenced_result_rag_b)) - Yeni metrik grubunda her modelin performansını görselleştirmek için bir radar grafiği oluşturun. Bu kodu yeni bir hücreye ekleyip çalıştırın:
notebook_utils.display_radar_plot( referenced_eval_results, metrics=[ "question_answering_correctness", "rouge", "bleu", "exact_match", ], ) - Doğrudan, yan yana karşılaştırma için çubuk grafik oluşturun. Bu sayede her modelin farklı metriklerde nasıl performans gösterdiğini görebilirsiniz. Aşağıdaki kodu yeni bir hücreye ekleyip çalıştırın:
notebook_utils.display_bar_plot( referenced_eval_results, metrics=[ "question_answering_correctness", "rouge", "bleu", "exact_match", ], )
Bu görselleştirmeler, A modelinin B modeline kıyasla önemli ölçüde daha doğru olduğunu ve referans yanıtlarla daha uyumlu olduğunu doğrular.
14. Uygulamadan üretime
RAG sistemi için eksiksiz bir değerlendirme ardışık düzenini başarıyla çalıştırdınız. Bu son bölümde, öğrendiğiniz temel stratejik kavramlar özetlenir ve bu becerileri gerçek dünyadaki projelere uygulamak için bir çerçeve sunulur.
Prodüksiyonla ilgili en iyi uygulamalar
Bu laboratuvarda öğrendiğiniz becerileri gerçek bir üretim ortamında kullanmak için şu dört temel uygulamayı göz önünde bulundurun:
- CI/CD ile otomatikleştirme: Değerlendirme paketinizi bir CI/CD ardışık düzenine (ör. Cloud Build, GitHub Actions) entegre edin. Gerilemeleri yakalamak ve kalite puanları standartlarınızın altına düşerse dağıtımları engellemek için kod değişikliklerinde değerlendirmeleri otomatik olarak çalıştırın.
- Veri kümelerinizi geliştirin: Statik veri kümeleri zamanla güncelliğini yitirir. "Altın" test setlerinizin sürüm denetimini yapın (Git LFS veya Cloud Storage kullanarak) ve gerçek (anonimleştirilmiş) kullanıcı sorgularından örnekler alarak sürekli olarak yeni, zorlu örnekler ekleyin.
- Yalnızca oluşturucuyu değil, alıcıyı da değerlendirin: Doğru bağlam olmadan iyi bir yanıt almak mümkün değildir. İsabet Oranı (Doğru belge bulundu mu?) ve Ortalama Karşılıklı Sıra (MRR) (Doğru belge ne kadar üst sırada yer aldı?) gibi metrikleri kullanarak erişim sisteminiz için ayrı bir değerlendirme adımı uygulayın.
- Metrikleri zaman içinde izleme: Değerlendirme çalıştırmalarınızdaki özet puanları Google Cloud Monitoring gibi bir hizmete aktarın. Kalite trendlerini takip etmek için kontrol panelleri oluşturun ve önemli performans düşüşlerini size bildirecek otomatik uyarılar ayarlayın.
Gelişmiş değerlendirme metodolojisi matrisi
Doğru değerlendirme yaklaşımını seçmek, hedeflerinize bağlıdır. Bu matris, her bir yöntemin ne zaman kullanılacağını özetler.
Değerlendirme Yaklaşımı | En iyi kullanım alanları | Temel Avantajları | Sınırlamalar |
Referanssız | Üretim izleme, sürekli değerlendirme | Altın yanıt gerekmez, öznel kaliteyi yakalar | Daha pahalı, değerlendirici yanlılığı olasılığı |
Referansa dayalı | Model karşılaştırma, karşılaştırma | Nesnel ölçüm, daha hızlı hesaplama | Altın yanıtlar gerektirir, anlamsal eşdeğerliği kaçırabilir |
Özel Metrikler | Alana özgü değerlendirme | İşletme ihtiyaçlarına göre uyarlanmış | Doğrulama ve geliştirme ek yükü gerektirir |
Karma Yaklaşım | Kapsamlı üretim sistemleri | Tüm yaklaşımların en iyisi | Daha yüksek karmaşıklık, maliyet optimizasyonu gerekiyor |
Önemli teknik analizler
Kendi RAG sistemlerinizi oluşturup değerlendirirken şu temel ilkeleri aklınızda bulundurun:
- Dayanaklılık, RAG için kritik öneme sahiptir: Bu metrik, yüksek ve düşük kaliteli RAG sistemlerini tutarlı bir şekilde ayırt eder. Bu nedenle, üretim izleme için gereklidir.
- Birden fazla metrik sağlamlık sağlar: Tek bir metrik, RAG kalitesinin tüm yönlerini yakalayamaz. Kapsamlı değerlendirme için birden fazla değerlendirme boyutu gerekir.
- Özel Metrikler Önemli Değer Katar: Alana özgü değerlendirme ölçütleri, genellikle genel metriklerin kaçırdığı ayrıntıları yakalayarak değerlendirme doğruluğunu artırır.
- İstatistiksel titizlik güven sağlar: Uygun örneklem boyutları ve anlamlılık testi, değerlendirmeyi tahminlerden güvenilir karar alma araçlarına dönüştürür.
Üretim ortamına dağıtım kararı çerçevesi
Gelecekteki RAG sistemi dağıtımları için bu aşamalı çerçeveyi kılavuz olarak kullanın:
- 1. Aşama - Geliştirme: Model karşılaştırması ve seçimi için bilinen test setleriyle referansa dayalı değerlendirmeyi kullanın.
- 3. Aşama - Üretim: Altın yanıtlar olmadan sürekli kalite değerlendirmesi için referanssız izleme uygulayın.
- 4. Aşama - Optimizasyon: Model iyileştirmelerine ve bilgi alma sistemi geliştirmelerine rehberlik etmek için değerlendirme analizlerini kullanın.
15. Sonuç
Tebrikler! Laboratuvarı tamamladınız.
Bu laboratuvar, Google Cloud ile Üretime Hazır Yapay Zeka öğrenme rotasının bir parçasıdır.
- Prototip ile üretim arasındaki boşluğu doldurmak için müfredatın tamamını inceleyin.
- İlerleme durumunuzu
ProductionReadyAIetiketiyle paylaşın.
Özet
Şunları öğrendiniz:
- Alınan bağlama göre bir yanıtın kalitesini değerlendirmek için referanssız değerlendirme yapın.
- Gerçeklere dayalı doğruluğu ölçmek için "altın yanıt" ekleyerek referanslı değerlendirme yapın.
- Her iki yaklaşım için de önceden tanımlanmış ve özel metrikleri birlikte kullanın.
- Hem modele dayalı metrikleri (ör.
question_answering_quality) hem de hesaplamaya dayalı metrikleri (rouge,bleu,exact_match) kullanın. - Modelin güçlü ve zayıf yönlerini anlamak için sonuçları analiz edip görselleştirme
Bu değerlendirme yaklaşımı, daha güvenilir ve doğru üretken yapay zeka uygulamaları geliştirmenize yardımcı olur.