Ocena systemów RAG za pomocą Vertex AI

1. Przegląd

Z tego modułu dowiesz się, jak utworzyć potok oceny dla systemu generowania wspomaganego wyszukiwaniem (RAG). Użyjesz usługi Gen AI Evaluation Service w Vertex AI, aby utworzyć niestandardowe kryteria oceny i opracować ramy oceny zadania polegającego na odpowiadaniu na pytania.

Będziesz pracować z przykładami ze zbioru danych Stanford Question Answering Dataset (SQuAD 2.0), aby przygotować zbiory danych do oceny, skonfigurować oceny bez odniesienia i z odniesieniem oraz zinterpretować wyniki. Po ukończeniu tego modułu będziesz wiedzieć, jak oceniać systemy RAG i dlaczego wybiera się określone podejścia do oceny.

Podstawy zbioru danych

Będziemy pracować ze starannie dobranymi przykładami z różnych dziedzin, które można znaleźć w zbiorze danych SQuAD 2.0 Question Answering Dataset:

  • Neuronauka: testowanie dokładności technicznej w kontekstach naukowych.
  • Historia: ocena zgodności z prawdą w narracjach historycznych.
  • Geografia: ocena wiedzy o terytoriach i polityce.

Ta różnorodność pomaga zrozumieć, jak metody oceny można uogólnić na różne obszary tematyczne.

Odniesienia

Czego się nauczysz

Z tego laboratorium nauczysz się, jak:

  • przygotowywać zbiory danych do oceny systemów RAG,
  • Wdrażanie oceny bez odniesienia za pomocą wskaźników takich jak groundedness i trafność.
  • Zastosuj ocenę na podstawie odniesienia z miarami podobieństwa semantycznego.
  • tworzyć niestandardowe wskaźniki oceny ze szczegółowymi kryteriami oceny;
  • interpretować i wizualizować wyniki oceny, aby ułatwić wybór modelu;

2. Konfigurowanie projektu

Konto Google

Jeśli nie masz jeszcze osobistego konta Google, musisz je utworzyć.

Użyj konta osobistego zamiast służbowego lub szkolnego.

Logowanie się w konsoli Google Cloud

Zaloguj się w konsoli Google Cloud, korzystając z osobistego konta Google.

Włącz płatności

Wykorzystaj środki w Google Cloud (opcjonalnie)

Aby przeprowadzić te warsztaty, musisz mieć konto rozliczeniowe z pewną kwotą środków. Aby rozpocząć, użyj środków z banera u góry tego ćwiczenia. Jeśli masz już połączenie z kontem rozliczeniowym, możesz pominąć ten krok.

Konfigurowanie osobistego konta rozliczeniowego

Jeśli konfigurujesz płatności za pomocą środków w Google Cloud, możesz pominąć ten krok.

Aby skonfigurować osobiste konto rozliczeniowe, kliknij tutaj i włącz płatności w konsoli Cloud.

Kilka uwag:

Tworzenie projektu (opcjonalnie)

Jeśli nie masz bieżącego projektu, którego chcesz użyć w tym module, utwórz nowy projekt tutaj.

3. Czym jest generowanie rozszerzone przez wyszukiwanie w zapisanych informacjach (RAG)?

RAG to technika używana do poprawy dokładności i trafności odpowiedzi z dużych modeli językowych (LLM). Łączy LLM z zewnętrzną bazą wiedzy, aby opierać odpowiedzi na konkretnych, możliwych do zweryfikowania informacjach.

Proces ten obejmuje te kroki:

  1. Przekształcanie pytania użytkownika w reprezentację liczbową (wektor dystrybucyjny).
  2. Wyszukuję w bazie wiedzy dokumenty z podobnymi wektorami dystrybucyjnymi.
  3. Przekazanie tych dokumentów jako kontekstu do modelu LLM wraz z pierwotnym pytaniem w celu wygenerowania odpowiedzi.

Dowiedz się więcej o RAG.

Dlaczego ocena RAG jest złożona?

Ocena systemów RAG różni się od oceny tradycyjnych modeli językowych.

Wyzwanie związane z wieloma komponentami: systemy RAG łączą 3 operacje, z których każda może być punktem awarii:

  • Jakość pobierania: czy system znalazł odpowiednie dokumenty kontekstowe?
  • Wykorzystanie kontekstu: czy model skutecznie wykorzystał pobrane informacje?
  • Jakość generowania: czy ostateczna odpowiedź jest dobrze sformułowana, przydatna i dokładna?

Odpowiedź może się nie powieść, jeśli którykolwiek z tych komponentów nie działa zgodnie z oczekiwaniami. System może na przykład pobrać prawidłowy kontekst, ale model go zignoruje. Może też wygenerować dobrze napisaną odpowiedź, która jest nieprawidłowa, ponieważ pobrany kontekst był nieistotny.

4. Konfigurowanie środowiska Vertex AI Workbench

Zacznijmy od utworzenia nowego środowiska notatnika, w którym uruchomimy kod potrzebny do oceny systemów RAG.

  1. Otwórz stronę Interfejsy API i usługi w konsoli Cloud.
  2. Kliknij Włącz przy Vertex AI API. Panel Vertex

Uzyskiwanie dostępu do Vertex AI Workbench

  1. W konsoli Google Cloud przejdź do Vertex AI, klikając Menu nawigacyjne ☰ > Vertex AI > Workbench.
  2. Utwórz nową instancję Workbench.Tworzenie panelu roboczego
  3. Nazwij instancję środowiska roboczego evaluation-workbench.
  4. Wybierz region i strefę, jeśli te wartości nie są jeszcze ustawione.
  5. Kliknij Utwórz.Name Workbench
  6. Poczekaj na skonfigurowanie środowiska pracy. Może to potrwać kilka minut.Await Workbench
  7. Po udostępnieniu środowiska pracy kliknij Otwórz JupyterLab.Otwórz Workbench
  8. W środowisku roboczym utwórz nowy notatnik Python3.Utwórz notatnik

Więcej informacji o funkcjach i możliwościach tego środowiska znajdziesz w oficjalnej dokumentacji Vertex AI Workbench.

Instalowanie pakietu SDK do oceny Vertex AI

Teraz zainstalujmy specjalistyczny pakiet SDK do oceny, który udostępnia narzędzia do oceny RAG.

  1. W pierwszej komórce notatnika dodaj i uruchom poniższą instrukcję importu (SHIFT+ENTER), aby zainstalować pakiet Vertex AI SDK (z komponentami oceny).
    %pip install --upgrade --user --quiet google-cloud-aiplatform[evaluation]
    
    Spowoduje to zainstalowanie pakietu Vertex AI SDK z rozszerzeniami do oceny, które obejmują:
    • EvalTask: główna klasa do przeprowadzania ocen.
    • MetricPromptTemplateExamples: wstępnie zdefiniowane wskaźniki oceny
    • PointwiseMetric: platforma do tworzenia danych niestandardowych.
    • notebook_utils: narzędzia do wizualizacji na potrzeby analizy wyników.
  2. Ważne: po instalacji musisz ponownie uruchomić jądro, aby używać nowych pakietów. Na pasku menu u góry okna JupyterLab kliknij Jądro > Uruchom jądro ponownie.

5. Inicjowanie pakietu SDK i importowanie bibliotek

Zanim utworzysz potok oceny, musisz skonfigurować środowisko. Obejmuje to skonfigurowanie szczegółów projektu, zainicjowanie pakietu Vertex AI SDK w celu połączenia z Google Cloud oraz zaimportowanie specjalistycznych bibliotek Pythona, których użyjesz do oceny.

  1. Zdefiniuj zmienne konfiguracji zadania oceny. W nowej komórce dodaj i uruchom ten kod, aby ustawić PROJECT_ID, LOCATION i nazwę EXPERIMENT w celu uporządkowania tego uruchomienia.
    import vertexai
    
    PROJECT_ID = "YOUR PROJECT ID"
    LOCATION = "YOUR LOCATION"  # @param {type:"string"}
    EXPERIMENT = "rag-eval-01"  # @param {type:"string"}
    
    if not PROJECT_ID or PROJECT_ID == "[your-project-id]":
        raise ValueError("Please set your PROJECT_ID")
    
  2. Zainicjuj pakiet Vertex AI SDK. W nowej komórce dodaj i uruchom ten kod.
    vertexai.init(project=PROJECT_ID, location=LOCATION)
    
    Ten krok uwierzytelnia i łączy notatnik z projektem Google Cloud.
  3. Zaimportuj niezbędne klasy z pakietu SDK do oceny, uruchamiając ten kod w następnej komórce:
    import pandas as pd
    from vertexai.evaluation import EvalTask, MetricPromptTemplateExamples, PointwiseMetric
    from vertexai.preview.evaluation import notebook_utils
    
    Oto podsumowanie każdego importu:
    • pandas: do tworzenia danych i zarządzania nimi w obiektach DataFrame.
    • EvalTask: podstawowa klasa, która uruchamia zadanie oceny.
    • MetricPromptTemplateExamples: zapewnia dostęp do wstępnie zdefiniowanych wskaźników oceny Google.
    • PointwiseMetric: platforma do tworzenia własnych wskaźników niestandardowych.
    • notebook_utils: zbiór narzędzi do wizualizacji wyników.

6. Przygotowywanie zbioru danych do oceny

Dobrze ustrukturyzowany zbiór danych jest podstawą każdej rzetelnej oceny. W przypadku systemów RAG zbiór danych musi zawierać 2 kluczowe pola dla każdego przykładu:

  • prompt: to są wszystkie dane wejściowe przekazane do modelu językowego. Musisz połączyć pytanie użytkownika z kontekstem pobranym przez system RAG (prompt = User Question + Retrieved Context). Jest to ważne, aby usługa oceny wiedziała, jakich informacji model użył do utworzenia odpowiedzi.
  • response: to ostateczna odpowiedź wygenerowana przez model RAG.

Aby uzyskać statystycznie wiarygodne wyniki, zalecamy użycie zbioru danych zawierającego około 100 przykładów. W tym module użyjesz małego zbioru danych, aby zademonstrować proces.

Utwórzmy zbiory danych. Zaczniesz od listy pytań i retrieved_contexts z systemu RAG. Następnie zdefiniujesz 2 zestawy odpowiedzi: jeden z modelu, który wydaje się działać dobrze (generated_answers_by_rag_a), i jeden z modelu, który działa słabo (generated_answers_by_rag_b).

Na koniec połączysz te elementy w 2 ramki danych pandas, eval_dataset_rag_a i eval_dataset_rag_b, zgodnie z opisaną powyżej strukturą.

  1. W nowej komórce dodaj i uruchom ten kod, aby zdefiniować pytania i 2 zestawy generated_answers.
    questions = [
        "Which part of the brain does short-term memory seem to rely on?",
        "What provided the Roman senate with exuberance?",
        "What area did the Hasan-jalalians command?",
    ]
    
    generated_answers_by_rag_a = [
        "frontal lobe and the parietal lobe",
        "The Roman Senate was filled with exuberance due to successes against Catiline.",
        "The Hasan-Jalalians commanded the area of Syunik and Vayots Dzor.",
    ]
    
    generated_answers_by_rag_b = [
        "Occipital lobe",
        "The Roman Senate was subdued because they had food poisoning.",
        "The Galactic Empire commanded the state of Utah.",
    ]
    
    Definiuje to podstawowe komponenty zbioru danych: pytania, długie fragmenty kontekstu pobrane przez system RAG dla każdego pytania oraz odpowiedzi wygenerowane przez 2 różne modele (wysokowydajny model A i niskowydajny model B).
  2. Zdefiniuj retrieved_contexts. Dodaj i uruchom ten kod w nowej komórce.
    retrieved_contexts = [
        "Short-term memory is supported by transient patterns of neuronal communication, dependent on regions of the frontal lobe (especially dorsolateral prefrontal cortex) and the parietal lobe. Long-term memory, on the other hand, is maintained by more stable and permanent changes in neural connections widely spread throughout the brain. The hippocampus is essential (for learning new information) to the consolidation of information from short-term to long-term memory, although it does not seem to store information itself. Without the hippocampus, new memories are unable to be stored into long-term memory, as learned from patient Henry Molaison after removal of both his hippocampi, and there will be a very short attention span. Furthermore, it may be involved in changing neural connections for a period of three months or more after the initial learning.",
        "In 62 BC, Pompey returned victorious from Asia. The Senate, elated by its successes against Catiline, refused to ratify the arrangements that Pompey had made. Pompey, in effect, became powerless. Thus, when Julius Caesar returned from a governorship in Spain in 61 BC, he found it easy to make an arrangement with Pompey. Caesar and Pompey, along with Crassus, established a private agreement, now known as the First Triumvirate. Under the agreement, Pompey's arrangements would be ratified. Caesar would be elected consul in 59 BC, and would then serve as governor of Gaul for five years. Crassus was promised a future consulship.",
        "The Seljuk Empire soon started to collapse. In the early 12th century, Armenian princes of the Zakarid noble family drove out the Seljuk Turks and established a semi-independent Armenian principality in Northern and Eastern Armenia, known as Zakarid Armenia, which lasted under the patronage of the Georgian Kingdom. The noble family of Orbelians shared control with the Zakarids in various parts of the country, especially in Syunik and Vayots Dzor, while the Armenian family of Hasan-Jalalians controlled provinces of Artsakh and Utik as the Kingdom of Artsakh.",
    ]
    
    Masz już wszystkie nieprzetworzone komponenty, więc możesz je połączyć w uporządkowane obiekty DataFrame biblioteki pandas, które są wymagane przez usługę oceny.
  3. W nowej komórce dodaj i uruchom ten kod, aby utworzyć eval_dataset_rag_a i eval_dataset_rag_b.
    eval_dataset_rag_a = pd.DataFrame(
        {
        "prompt": [
                "Answer the question: " + question + " Context: " + item
                for question, item in zip(questions, retrieved_contexts)
        ],
        "response": generated_answers_by_rag_a,
        }
    )
    
    eval_dataset_rag_b = pd.DataFrame(
        {
        "prompt": [
                "Answer the question: " + question + " Context: " + item
                for question, item in zip(questions, retrieved_contexts)
        ],
        "response": generated_answers_by_rag_b,
        }
    )
    
  4. Aby wyświetlić kilka pierwszych wierszy zbioru danych dla modelu A, uruchom ten kod w nowej komórce.
    eval_dataset_rag_a
    
    To dobra praktyka, która pozwala upewnić się, że został on utworzony prawidłowo.

7. Wybieranie i tworzenie danych

Gdy zbiory danych są już gotowe, możesz zdecydować, jak mierzyć skuteczność. Do oceny modelu możesz użyć co najmniej jednego rodzaju danych. Każdy wskaźnik ocenia konkretny aspekt odpowiedzi modelu, np. jej zgodność z prawdą lub trafność.

Możesz używać kombinacji 2 rodzajów danych:

  • Wstępnie zdefiniowane wskaźniki: gotowe do użycia wskaźniki dostarczane przez pakiet SDK do typowych zadań oceny.
  • Wskaźniki niestandardowe: wskaźniki, które definiujesz, aby testować cechy istotne dla Twojego przypadku użycia.

W tej sekcji poznasz wstępnie zdefiniowane wskaźniki dostępne dla RAG.

Przeglądanie wstępnie zdefiniowanych wskaźników

Pakiet SDK zawiera kilka wbudowanych wskaźników do oceny systemów odpowiadania na pytania. Te wskaźniki wykorzystują model językowy jako „oceniającego”, który ocenia odpowiedzi Twojego modelu na podstawie zestawu instrukcji.

  1. W nowej komórce dodaj i uruchom ten kod, aby wyświetlić pełną listę wstępnie zdefiniowanych nazw danych:
    MetricPromptTemplateExamples.list_example_metric_names()
    
    Spowoduje to wyświetlenie listy dostępnych danych, których możesz używać od razu.
  2. Aby dowiedzieć się, jak działają te wskaźniki, możesz sprawdzić ich szablony promptów. W nowej komórce dodaj i uruchom ten kod, aby zobaczyć instrukcje przekazane modelowi LLM oceniającemu wskaźnik question_answering_quality.
    # See the prompt example for one of the pointwise metrics
    print(MetricPromptTemplateExamples.get_prompt_template("question_answering_quality"))
    

8. Utwórz dane niestandardowe

Oprócz wstępnie zdefiniowanych wskaźników możesz tworzyć wskaźniki niestandardowe, aby oceniać kryteria specyficzne dla Twojego przypadku użycia. Aby utworzyć wskaźnik niestandardowy, napisz szablon prompta, który instruuje LLM oceniający, jak ocenić odpowiedź.

Tworzenie danych niestandardowych składa się z 2 etapów:

  1. Zdefiniuj szablon prompta: ciąg znaków zawierający instrukcje dla oceniającego LLM. Dobry szablon zawiera jasną rolę, kryteria oceny, ocenę cząstkową i obiekty zastępcze, takie jak {prompt} i {response}.
  2. Utworzenie instancji obiektu PointwiseMetric: w tej klasie umieszczasz ciąg szablonu prompta i nadajesz nazwę wskaźnikowi.

Utworzysz 2 wskaźniki niestandardowe, aby ocenić trafność i przydatność odpowiedzi systemu RAG.

  1. Zdefiniuj szablon prompta dla wskaźnika trafności. Ten szablon zawiera szczegółowe kryteria oceny dla LLM. W nowej komórce dodaj i uruchom ten kod:
    relevance_prompt_template = """
    You are a professional writing evaluator. Your job is to score writing responses according to pre-defined evaluation criteria.
    
    You will be assessing relevance, which measures the ability to respond with relevant information when given a prompt.
    
    You will assign the writing response a score from 5, 4, 3, 2, 1, following the rating rubric and evaluation steps.
    
    ## Criteria
    Relevance: The response should be relevant to the instruction and directly address the instruction.
    
    ## Rating Rubric
    5 (completely relevant): Response is entirely relevant to the instruction and provides clearly defined information that addresses the instruction's core needs directly.
    4 (mostly relevant): Response is mostly relevant to the instruction and addresses the instruction mostly directly.
    3 (somewhat relevant): Response is somewhat relevant to the instruction and may address the instruction indirectly, but could be more relevant and more direct.
    2 (somewhat irrelevant): Response is minimally relevant to the instruction and does not address the instruction directly.
    1 (irrelevant): Response is completely irrelevant to the instruction.
    
    ## Evaluation Steps
    STEP 1: Assess relevance: is response relevant to the instruction and directly address the instruction?
    STEP 2: Score based on the criteria and rubrics.
    
    Give step by step explanations for your scoring, and only choose scores from 5, 4, 3, 2, 1.
    
    
    # User Inputs and AI-generated Response
    ## User Inputs
    ### Prompt
    {prompt}
    
    ## AI-generated Response
    {response}
    """
    
    
  2. W ten sam sposób zdefiniuj szablon prompta dla wskaźnika przydatności. Dodaj i uruchom ten kod w nowej komórce:
    helpfulness_prompt_template = """
    You are a professional writing evaluator. Your job is to score writing responses according to pre-defined evaluation criteria.
    
    You will be assessing helpfulness, which measures the ability to provide important details when answering a prompt.
    
    You will assign the writing response a score from 5, 4, 3, 2, 1, following the rating rubric and evaluation steps.
    
    ## Criteria
    Helpfulness: The response is comprehensive with well-defined key details. The user would feel very satisfied with the content in a good response.
    
    ## Rating Rubric
    5 (completely helpful): Response is useful and very comprehensive with well-defined key details to address the needs in the instruction and usually beyond what explicitly asked. The user would feel very satisfied with the content in the response.
    4 (mostly helpful): Response is very relevant to the instruction, providing clearly defined information that addresses the instruction's core needs.  It may include additional insights that go slightly beyond the immediate instruction.  The user would feel quite satisfied with the content in the response.
    3 (somewhat helpful): Response is relevant to the instruction and provides some useful content, but could be more relevant, well-defined, comprehensive, and/or detailed. The user would feel somewhat satisfied with the content in the response.
    2 (somewhat unhelpful): Response is minimally relevant to the instruction and may provide some vaguely useful information, but it lacks clarity and detail. It might contain minor inaccuracies. The user would feel only slightly satisfied with the content in the response.
    1 (unhelpful): Response is useless/irrelevant, contains inaccurate/deceptive/misleading information, and/or contains harmful/offensive content. The user would feel not at all satisfied with the content in the response.
    
    ## Evaluation Steps
    STEP 1: Assess comprehensiveness: does the response provide specific, comprehensive, and clearly defined information for the user needs expressed in the instruction?
    STEP 2: Assess relevance: When appropriate for the instruction, does the response exceed the instruction by providing relevant details and related information to contextualize content and help the user better understand the response.
    STEP 3: Assess accuracy: Is the response free of inaccurate, deceptive, or misleading information?
    STEP 4: Assess safety: Is the response free of harmful or offensive content?
    
    Give step by step explanations for your scoring, and only choose scores from 5, 4, 3, 2, 1.
    
    
    # User Inputs and AI-generated Response
    ## User Inputs
    ### Prompt
    {prompt}
    
    ## AI-generated Response
    {response}
    """
    
  3. Utwórz instancje obiektów PointwiseMetric dla 2 rodzajów danych niestandardowych. Spowoduje to opakowanie szablonów promptów w komponenty wielokrotnego użytku na potrzeby zadania oceny. Dodaj i uruchom ten kod w nowej komórce:
    relevance = PointwiseMetric(
        metric="relevance",
        metric_prompt_template=relevance_prompt_template,
    )
    
    helpfulness = PointwiseMetric(
        metric="helpfulness",
        metric_prompt_template=helpfulness_prompt_template,
    )
    

Masz teraz 2 nowe dane wielokrotnego użytku (relevance i helpfulness) gotowe do zadania oceny.

9. Uruchamianie zadania oceny

Gdy zbiory danych i wskaźniki są gotowe, możesz przeprowadzić ocenę. W tym celu utwórz obiekt EvalTask dla każdego zbioru danych, który chcesz przetestować.

EvalTask grupuje komponenty na potrzeby uruchomienia oceny:

  • dataset: DataFrame zawierający prompty i odpowiedzi.
  • metrics: lista danych, które chcesz ocenić.
  • experiment: Vertex AI Experiments, w którym mają być zapisywane wyniki, co ułatwia śledzenie i porównywanie uruchomień.
  1. Utwórz EvalTask dla każdego modelu. Ten obiekt łączy zbiór danych, dane i nazwę eksperymentu. Aby skonfigurować zadania, dodaj i uruchom w nowej komórce ten kod:
    rag_eval_task_rag_a = EvalTask(
        dataset=eval_dataset_rag_a,
        metrics=[
            "question_answering_quality",
            relevance,
            helpfulness,
            "groundedness",
            "safety",
            "instruction_following",
        ],
        experiment=EXPERIMENT,
    )
    
    rag_eval_task_rag_b = EvalTask(
        dataset=eval_dataset_rag_b,
        metrics=[
            "question_answering_quality",
            relevance,
            helpfulness,
            "groundedness",
            "safety",
            "instruction_following",
        ],
        experiment=EXPERIMENT,
    )
    
    Masz teraz skonfigurowane 2 obiekty EvalTask, po jednym dla każdego zestawu odpowiedzi modelu. Podana przez Ciebie lista metrics pokazuje kluczową funkcję usługi oceny: wstępnie zdefiniowane dane (np. safety) i niestandardowe obiekty PointwiseMetric.
  2. Po skonfigurowaniu zadań wykonaj je, wywołując metodę .evaluate(). Spowoduje to wysłanie zadań do backendu Vertex AI w celu przetworzenia. Może to potrwać kilka minut. W nowej komórce dodaj i uruchom ten kod:
    result_rag_a = rag_eval_task_rag_a.evaluate()
    result_rag_b = rag_eval_task_rag_b.evaluate()
    

Po zakończeniu oceny wyniki zostaną zapisane w obiektach result_rag_a i result_rag_b, gotowe do analizy w następnej sekcji.

10. Przeanalizuj wyniki

Wyniki oceny są już dostępne. Obiekty result_rag_a i result_rag_b zawierają zagregowane wyniki i szczegółowe wyjaśnienia dotyczące każdego wiersza. W tym zadaniu przeanalizujesz te wyniki za pomocą funkcji pomocniczych z notebook_utils.

Wyświetlanie podsumowań zbiorczych

  1. Aby uzyskać ogólny przegląd, użyj funkcji pomocniczej display_eval_result(), która pozwala zobaczyć średni wynik dla każdego rodzaju danych. W nowej komórce dodaj i uruchom ten kod, aby wyświetlić podsumowanie modelu A:
    notebook_utils.display_eval_result(
        title="Model A Eval Result", eval_result=result_rag_a
    )
    
  2. Zrób to samo w przypadku modelu B. Dodaj i uruchom ten kod w nowej komórce:
    notebook_utils.display_eval_result(
        title="Model B Eval Result",
        eval_result=result_rag_b,
    )
    

Wizualizacja wyników oceny

Wykresy mogą ułatwić porównywanie wydajności modeli. Użyjesz 2 rodzajów wizualizacji:

  • Wykres radarowy: pokazuje ogólny „kształt” skuteczności każdego modelu. Większy kształt oznacza lepszą ogólną skuteczność.
  • Wykres słupkowy: do bezpośredniego porównania poszczególnych danych.

Te wizualizacje pomogą Ci porównać modele pod kątem subiektywnych cech, takich jak trafność, groundedness i przydatność.

  1. Aby przygotować się do tworzenia wykresu, połącz wyniki w jedną listę krotek. Każda krotka powinna zawierać nazwę modelu i odpowiadający mu obiekt wyniku. W nowej komórce dodaj i uruchom ten kod:
    eval_results = []
    eval_results.append(("Model A", result_rag_a))
    eval_results.append(("Model B", result_rag_b))
    
  2. Teraz wygeneruj wykres radarowy, aby porównać modele pod kątem wszystkich danych naraz. Dodaj i uruchom ten kod w nowej komórce:
    notebook_utils.display_radar_plot(
        eval_results,
        metrics=[
        "question_answering_quality",
        "safety",
        "groundedness",
        "instruction_following",
        "relevance",
        "helpfulness",
        ],
    )
    
    Większy kształt oznacza lepszą ogólną skuteczność.
  3. Aby uzyskać bardziej bezpośrednie porównanie poszczególnych danych, wygeneruj wykres słupkowy. W nowej komórce dodaj i uruchom ten kod:
    notebook_utils.display_bar_plot(
        eval_results,
        metrics=[
        "question_answering_quality",
        "safety",
        "groundedness",
        "instruction_following",
        "relevance",
        "helpfulness",
        ],
    )
    
    Ta wizualizacja ułatwia dostrzeżenie różnicy w skuteczności między tymi 2 modelami.

Wizualizacje wyraźnie pokazują, że model A (duży kształt na wykresie radarowym i wysokie słupki na wykresie słupkowym) jest skuteczniejszy niż model B.

Wyświetlanie szczegółowego wyjaśnienia dotyczącego pojedynczej instancji

Zagregowane wyniki pokazują ogólną skuteczność. Aby zrozumieć, dlaczego model działał w określony sposób, musisz przeanalizować szczegółowe wyjaśnienia wygenerowane przez oceniający model LLM dla każdego przykładu.

  1. Funkcja pomocnicza display_explanations() umożliwia sprawdzanie poszczególnych wyników. Aby zobaczyć szczegółowe zestawienie drugiego przykładu (num=2) z wyników modelu A, dodaj i uruchom ten kod w nowej komórce:
    notebook_utils.display_explanations(result_rag_a, num=2)
    
  2. Możesz też użyć tej funkcji, aby filtrować wyniki według konkretnego wskaźnika we wszystkich przykładach. Jest to przydatne podczas debugowania konkretnego obszaru o niskiej skuteczności. Aby sprawdzić, dlaczego model B uzyskał tak słaby wynik w przypadku wskaźnika groundedness, dodaj i uruchom ten kod w nowej komórce:
    notebook_utils.display_explanations(result_rag_b, metrics=["groundedness"])
    
    Dzięki temu otrzymasz konkretne informacje o tym, gdzie model popełnia błędy, co jest kluczowe dla jego stopniowego ulepszania.

11. Ocena z wykorzystaniem „złotej odpowiedzi”

Wcześniej przeprowadziliśmy ocenę bez odniesienia, w której odpowiedź modelu była oceniana tylko na podstawie prompta. Ta metoda jest przydatna, ale ocena jest subiektywna.

Teraz użyjesz oceny z odniesieniem. Ta metoda dodaje do zbioru danych „wzorcową odpowiedź” (nazywaną też odpowiedzią referencyjną). Porównanie odpowiedzi modelu z odpowiedzią opartą na danych podstawowych zapewnia bardziej obiektywną miarę skuteczności. Dzięki temu możesz mierzyć:

  • Poprawność merytoryczna: czy odpowiedź modelu jest zgodna z faktami zawartymi we wzorcowej odpowiedzi?
  • Podobieństwo semantyczne: czy odpowiedź modelu oznacza to samo co odpowiedź wzorcowa?
  • Kompletność: czy odpowiedź modelu zawiera wszystkie kluczowe informacje z wzorcowej odpowiedzi?

Przygotowywanie zbioru danych, do którego odwołuje się zapytanie

Aby przeprowadzić ocenę z odniesieniem, musisz dodać „wzorcową odpowiedź” do każdego przykładu w zbiorze danych.

Zacznijmy od zdefiniowania listy golden_answers. Porównanie wzorcowych odpowiedzi z odpowiedziami modelu A pokazuje wartość tej metody:

  • Pytanie 1 (Brain): wygenerowana odpowiedź i wzorcowa odpowiedź są identyczne. Model A jest prawidłowy.
  • Pytanie 2 (Senat): odpowiedzi są podobne semantycznie, ale sformułowane inaczej. Dobre dane powinny to uwzględniać.
  • Pytanie 3 (Hasan-Dżalalowie): odpowiedź modelu A jest niezgodna z prawdą w kontekście. Ten błąd jest widoczny w golden_answer.
  1. In a new cell, define the list of golden_answers
    golden_answers = [
        "frontal lobe and the parietal lobe",
        "Due to successes against Catiline.",
        "The Hasan-Jalalians commanded the area of Artsakh and Utik.",
    ]
    
  2. Utwórz przywoływane ramki danych oceny, uruchamiając ten kod w następnej komórce:
    referenced_eval_dataset_rag_a = pd.DataFrame(
        {
            "prompt": [
                "Answer the question: " + question + " Context: " + item
                for question, item in zip(questions, retrieved_contexts)
            ],
            "response": generated_answers_by_rag_a,
            "reference": golden_answers,
        }
    )
    
    referenced_eval_dataset_rag_b = pd.DataFrame(
        {
            "prompt": [
                "Answer the question: " + question + " Context: " + item
                for question, item in zip(questions, retrieved_contexts)
            ],
            "response": generated_answers_by_rag_b,
            "reference": golden_answers,
        }
    )
    
    Ten kod łączy zmienną golden_answers z utworzonymi wcześniej zmiennymi.

Zbiory danych są teraz gotowe do oceny z użyciem danych referencyjnych.

Tworzenie niestandardowego wskaźnika referencyjnego

Możesz też utworzyć wskaźniki niestandardowe na potrzeby oceny z odniesieniem. Proces jest podobny, ale szablon prompta zawiera teraz obiekt zastępczy {reference} dla wzorcowej odpowiedzi.

Jeśli istnieje jednoznaczna „poprawna” odpowiedź, możesz użyć bardziej rygorystycznej, binarnej oceny (np. 1 za poprawną, 0 za niepoprawną), aby zmierzyć dokładność faktyczną. Utwórzmy nowy wskaźnik question_answering_correctness, który implementuje tę logikę.

  1. Zdefiniuj szablon prompta. W nowej komórce dodaj i uruchom ten kod:
    question_answering_correctness_prompt_template = """
    You are a professional writing evaluator. Your job is to score writing responses according to pre-defined evaluation criteria.
    
    You will be assessing question answering correctness, which measures the ability to correctly answer a question.
    
    You will assign the writing response a score from 1, 0, following the rating rubric and evaluation steps.
    
    ### Criteria:
    Reference claim alignment: The response should contain all claims from the reference and should not contain claims that are not present in the reference.
    
    ### Rating Rubric:
    1 (correct): The response contains all claims from the reference and does not contain claims that are not present in the reference.
    0 (incorrect): The response does not contain all claims from the reference, or the response contains claims that are not present in the reference.
    
    ### Evaluation Steps:
    STEP 1: Assess the response' correctness by comparing with the reference according to the criteria.
    STEP 2: Score based on the rubrics.
    
    Give step by step explanations for your scoring, and only choose scores from 1, 0.
    
    
    # User Inputs and AI-generated Response
    ## User Inputs
    ### Prompt
    {prompt}
    
    ## Reference
    {reference}
    
    ## AI-generated Response
    {response}
    
    """
    
    Ten szablon instruuje LLM oceniający, aby przeprowadził ścisłe porównanie {odpowiedzi} modelu z {odpowiedzią referencyjną} i ocenił ją jako poprawną (1) lub niepoprawną (0).
  2. Umieść ciąg szablonu prompta w obiekcie PointwiseMetric. Dzięki temu wskaźnik otrzyma formalną nazwę i stanie się komponentem wielokrotnego użytku w zadaniu oceny. Dodaj i uruchom ten kod w nowej komórce:
    question_answering_correctness = PointwiseMetric(
        metric="question_answering_correctness",
        metric_prompt_template=question_answering_correctness_prompt_template,
    )
    

Masz teraz niestandardowe dane referencyjne, które umożliwiają ścisłą weryfikację faktów.

12. Uruchamianie oceny, do której odwołuje się zadanie

Teraz skonfigurujesz zadanie oceny z użyciem przywołanych zbiorów danych i nowego wskaźnika. Ponownie użyjesz klasy EvalTask.

Lista wskaźników zawiera teraz niestandardowy wskaźnik oparty na modelu oraz wskaźniki obliczeniowe. Ocena z odniesieniem umożliwia korzystanie z tradycyjnych wskaźników obliczeniowych, które wykonują matematyczne porównania wygenerowanego tekstu z tekstem wzorcowym. Użyjesz 3 typowych:

  • exact_match: zwraca 1 tylko wtedy, gdy wygenerowana odpowiedź jest identyczna z odpowiedzią wzorcową, a w przeciwnym razie zwraca 0.
  • bleu: wskaźnik precyzji. Mierzy, ile słów z wygenerowanej odpowiedzi pojawia się też w odpowiedzi referencyjnej.
  • rouge: wskaźnik pełności. Mierzy, ile słów z odpowiedzi referencyjnej zostało uwzględnionych w wygenerowanej odpowiedzi.
  1. Skonfiguruj zadanie oceny z użyciem przywołanych zbiorów danych i nowego zestawu danych. W nowej komórce dodaj i uruchom ten kod, aby utworzyć obiekty EvalTask:
    referenced_answer_eval_task_rag_a = EvalTask(
        dataset=referenced_eval_dataset_rag_a,
        metrics=[
        question_answering_correctness,
        "rouge",
        "bleu",
        "exact_match",
        ],
        experiment=EXPERIMENT,
    )
    
    referenced_answer_eval_task_rag_b = EvalTask(
        dataset=referenced_eval_dataset_rag_b,
        metrics=[
        question_answering_correctness,
        "rouge",
        "bleu",
        "exact_match",
        ],
        experiment=EXPERIMENT,
    )
    
  2. Wykonaj wskazaną ocenę, wywołując metodę .evaluate(). Dodaj i uruchom ten kod w nowej komórce:
    referenced_result_rag_a = referenced_answer_eval_task_rag_a.evaluate()
    referenced_result_rag_b = referenced_answer_eval_task_rag_b.evaluate()
    

13. Analizowanie wyników, do których odwołuje się zapytanie

Ocena została zakończona. W tym zadaniu przeanalizujesz wyniki, aby zmierzyć dokładność modeli pod względem zgodności z prawdą, porównując ich odpowiedzi z odpowiedziami wzorcowymi.

Wyświetlanie podsumowania wyników

  • Przeanalizuj podsumowanie wyników oceny, do której się odwołujesz. W nowej komórce dodaj i uruchom ten kod, aby wyświetlić tabele podsumowujące dla obu modeli:
    notebook_utils.display_eval_result(
        title="Model A Eval Result",
        eval_result=referenced_result_rag_a,
    )
    notebook_utils.display_eval_result(
        title="Model B Eval Result",
        eval_result=referenced_result_rag_b,
    )
    
    Zauważysz, że model A dobrze radzi sobie z niestandardowym wskaźnikiem question_answering_correctness, ale uzyskuje niższy wynik w przypadku wskaźnika exact_match. Podkreśla to wartość danych opartych na modelach, które mogą rozpoznawać podobieństwo semantyczne, a nie tylko identyczny tekst.

Wizualizacja wyników na potrzeby porównania

Wizualizacje mogą sprawić, że różnica w wydajności między tymi 2 modelami będzie bardziej widoczna. Najpierw połącz wyniki w jedną listę do wykreślenia, a następnie wygeneruj wykresy radarowe i słupkowe.

  1. Połącz wyniki oceny, do których się odwołujesz, w jedną listę do wykreślenia. Dodaj i uruchom ten kod w nowej komórce:
    referenced_eval_results = []
    referenced_eval_results.append(("Model A", referenced_result_rag_a))
    referenced_eval_results.append(("Model B", referenced_result_rag_b))
    
  2. Wygeneruj wykres radarowy, aby zwizualizować skuteczność każdego modelu w nowym zestawie danych. Dodaj i uruchom ten kod w nowej komórce:
    notebook_utils.display_radar_plot(
        referenced_eval_results,
        metrics=[
            "question_answering_correctness",
            "rouge",
            "bleu",
            "exact_match",
        ],
    )
    
  3. Utwórz wykres słupkowy, aby bezpośrednio porównać dane. Dzięki temu zobaczysz, jak każdy model radził sobie z różnymi danymi. Dodaj i uruchom ten kod w nowej komórce:
    notebook_utils.display_bar_plot(
        referenced_eval_results,
        metrics=[
            "question_answering_correctness",
            "rouge",
            "bleu",
            "exact_match",
        ],
    )
    

Te wizualizacje potwierdzają, że model A jest znacznie dokładniejszy i bardziej zgodny z odpowiedziami referencyjnymi niż model B.

14. Od ćwiczeń do produkcji

Udało Ci się wykonać pełny potok oceny systemu RAG. Ta ostatnia sekcja podsumowuje najważniejsze koncepcje strategiczne, które zostały omówione, i zawiera schemat stosowania tych umiejętności w praktycznych projektach.

Sprawdzone metody dotyczące produkcji

Aby wykorzystać umiejętności zdobyte w tym module w rzeczywistym środowisku produkcyjnym, weź pod uwagę te 4 kluczowe praktyki:

  • Automatyzacja za pomocą CI/CD: zintegruj pakiet ewaluacyjny z potokiem CI/CD (np. Cloud Build, GitHub Actions). Automatycznie przeprowadzaj oceny zmian w kodzie, aby wykrywać regresje i blokować wdrożenia, jeśli wyniki jakości spadną poniżej Twoich standardów.
  • Rozwijaj zbiory danych: statyczny zbiór danych staje się nieaktualny. Kontroluj wersje „złotych” zbiorów testowych (za pomocą Git LFS lub Cloud Storage) i stale dodawaj nowe, trudne przykłady, pobierając próbki z prawdziwych (zanonimizowanych) zapytań użytkowników.
  • Oceniaj nie tylko generator, ale też retriever: bez odpowiedniego kontekstu nie można uzyskać dobrej odpowiedzi. Wdróż osobny etap oceny systemu pobierania, używając danych takich jak współczynnik trafień (czy znaleziono właściwy dokument?) i średnia odwrotność pozycji (MRR) (jak wysoko w rankingu znajdował się właściwy dokument?).
  • Monitorowanie wskaźników na przestrzeni czasu: eksportuj podsumowania wyników z procesów oceny do usługi takiej jak Google Cloud Monitoring. Twórz panele, aby śledzić trendy dotyczące jakości, i skonfiguruj automatyczne alerty, które będą Cię powiadamiać o znacznym spadku wydajności.

Tabela zaawansowanych metod oceny

Wybór odpowiedniego podejścia do oceny zależy od konkretnych celów. Ta tabela podsumowuje, kiedy należy używać poszczególnych metod.

Metoda oceny

Najlepsze zastosowania

Najważniejsze zalety

Ograniczenia

Bez odniesienia

Monitorowanie produkcji, ciągła ocena

Nie są potrzebne wzorcowe odpowiedzi, ponieważ ocena dotyczy subiektywnej jakości.

Wyższe koszty, potencjalne uprzedzenia oceniającego

Na podstawie pliku referencyjnego

Porównanie modeli, analiza porównawcza

Obiektywne pomiary, szybsze obliczenia

Wymaga wzorcowych odpowiedzi, może nie uwzględniać równoważności semantycznej

Dane niestandardowe

Ocena dotycząca konkretnej domeny

Dostosowane do potrzeb biznesowych

Wymaga weryfikacji, dodatkowe koszty programistyczne

Podejście hybrydowe

Kompleksowe systemy produkcyjne

Najlepsze ze wszystkich podejść

Większa złożoność, konieczność optymalizacji kosztów

Najważniejsze statystyki techniczne

Podczas tworzenia i oceniania własnych systemów RAG pamiętaj o tych podstawowych zasadach:

  • Ugruntowanie ma kluczowe znaczenie dla RAG: ten wskaźnik konsekwentnie odróżnia systemy RAG o wysokiej i niskiej jakości, co czyni go niezbędnym do monitorowania produkcji.
  • Wiele danych zapewnia rzetelność: żadne pojedyncze dane nie obejmują wszystkich aspektów jakości RAG. Kompleksowa ocena wymaga wielu wymiarów oceny.
  • Wskaźniki niestandardowe mają dużą wartość: kryteria oceny specyficzne dla danej domeny często wychwytują niuanse, które umykają ogólnym wskaźnikom, co zwiększa dokładność oceny.
  • Rygor statystyczny zapewnia pewność: odpowiednie rozmiary próbek i testy istotności przekształcają ocenę z domysłów w niezawodne narzędzia do podejmowania decyzji.

Platforma decyzyjna dotycząca wdrożenia produkcyjnego

Skorzystaj z tego etapowego planu jako przewodnika przy wdrażaniu systemów RAG w przyszłości:

  • Etap 1 – programowanie: użyj oceny opartej na odniesieniach ze znanymi zbiorami testowymi do porównania modeli i ich wyboru.
  • Faza 2 – wersja przedprodukcyjna: przeprowadź kompleksową ocenę, łącząc oba podejścia, aby sprawdzić gotowość do wdrożenia wersji produkcyjnej.
  • Faza 3 – produkcja: wdrożenie monitorowania bez odniesień w celu ciągłej oceny jakości bez wzorcowych odpowiedzi.
  • Etap 4 – optymalizacja: wykorzystaj wyniki oceny, aby ulepszyć model i system pobierania.

15. Podsumowanie

Gratulacje! Udało Ci się ukończyć moduł.

Ten moduł jest częścią ścieżki szkoleniowej Gotowa do wykorzystania w środowisku produkcyjnym AI w Google Cloud.

Podsumowanie

Wiesz już, jak:

  • Przeprowadź ocenę bez odniesienia, aby ocenić jakość odpowiedzi na podstawie pobranego kontekstu.
  • Przeprowadź ocenę z odniesieniem, dodając „złotą odpowiedź”, aby zmierzyć zgodność z prawdą.
  • W obu przypadkach używaj kombinacji wstępnie zdefiniowanych i niestandardowych danych.
  • Używaj zarówno wskaźników opartych na modelu (takich jak question_answering_quality), jak i wskaźników obliczeniowych (rouge, bleu, exact_match).
  • analizować i wizualizować wyniki, aby poznać mocne i słabe strony modelu;

Takie podejście do oceny pomaga tworzyć bardziej niezawodne i dokładne aplikacje oparte na generatywnej AI.