Duże modele językowe na urządzeniu wykorzystujące Keras i TensorFlow Lite

1. Zanim zaczniesz

Jednym z najbardziej ekscytujących przełomów w uczeniu maszynowym w ostatnim czasie są duże modele językowe (LLM). Można ich używać do generowania tekstu, tłumaczenia języków i odpowiadania na pytania w wyczerpujący i informacyjny sposób. Duże modele językowe, takie jak LaMDA i PaLM od Google, są trenowane na ogromnych ilościach danych tekstowych, co pozwala im uczyć się statystycznych wzorców i relacji między słowami i zwrotami. Dzięki temu mogą generować tekst podobny do tego napisanego przez człowieka i tłumaczyć języki z dużą dokładnością.

LLM są bardzo duże pod względem pamięci i zwykle zużywają dużo mocy obliczeniowej, co oznacza, że są zwykle wdrażane w chmurze i stanowią spore wyzwanie dla uczenia maszynowego na urządzeniu (ODML) ze względu na ograniczoną moc obliczeniową urządzeń mobilnych. Na nowoczesnym urządzeniu z Androidem można jednak uruchamiać modele LLM o mniejszej skali (np. GPT-2) i osiągać imponujące wyniki.

Oto prezentacja działania wersji modelu Google PaLM z 1,5 miliarda parametrów na Google Pixelu 7 Pro bez przyspieszania odtwarzania.

PaLM na Pixelu 7 Pro

Z tego ćwiczenia w Codelabs dowiesz się, jak za pomocą tych technik i narzędzi utworzyć aplikację opartą na LLM (na przykładzie modelu GPT-2):

  • KerasNLP do wczytywania wytrenowanego modelu LLM
  • KerasNLP do dostrajania modelu LLM
  • TensorFlow Lite do konwertowania, optymalizowania i wdrażania LLM na Androidzie.

Wymagania wstępne

  • średnio zaawansowana znajomość Keras i TensorFlow Lite,
  • Podstawowa wiedza na temat programowania aplikacji na Androida

Czego się nauczysz

  • Jak używać KerasNLP do wczytywania wytrenowanego modelu LLM i jego dostrajania
  • Jak skwantyzować i przekonwertować model LLM na TensorFlow Lite
  • Jak przeprowadzić wnioskowanie na przekonwertowanym modelu TensorFlow Lite

Czego potrzebujesz

  • Dostęp do Colab
  • Najnowsza wersja Android Studio
  • nowoczesne urządzenie z Androidem z ponad 4 GB pamięci RAM;

2. Konfiguracja

Aby pobrać kod do tego ćwiczenia:

  1. Otwórz repozytorium GitHub tego ćwiczenia.
  2. Aby pobrać cały kod do tych ćwiczeń z programowania, kliknij Code > Download zip (Kod > Pobierz plik ZIP).

obraz repozytorium,

  1. Rozpakuj pobrany plik ZIP, aby wyodrębnić folder główny examples ze wszystkimi potrzebnymi zasobami.

3. Uruchamianie aplikacji startowej

  1. Zaimportuj folder examples/lite/examples/generative_ai/android do Android Studio.
  2. Uruchom emulator Androida, a potem w menu nawigacyjnym kliknij execute.png Uruchom.

Uruchamianie aplikacji i jej poznawanie

Aplikacja powinna się uruchomić na urządzeniu z Androidem. Aplikacja nazywa się „Autouzupełnianie”. Interfejs jest dość prosty: możesz wpisać kilka słów w polu tekstowym i kliknąć Wygeneruj. Aplikacja przeprowadzi wnioskowanie na modelu LLM i wygeneruje dodatkowy tekst na podstawie Twoich danych wejściowych.

Obecnie, jeśli po wpisaniu kilku słów klikniesz Wygeneruj, nic się nie stanie. Dzieje się tak, ponieważ nie korzysta jeszcze z LLM.

zrzut ekranu aplikacji startowej

4. Przygotowywanie LLM do wdrożenia na urządzeniu

5. Ukończ aplikację na Androida

Po przekonwertowaniu modelu GPT-2 na TensorFlow Lite możesz wdrożyć go w aplikacji.

Uruchamianie aplikacji

  1. Przeciągnij plik modelu autocomplete.tflite pobrany w ostatnim kroku do folderu app/src/main/assets/ w Android Studio.

dodawanie modelu do Android Studio,

  1. W menu nawigacyjnym kliknij execute.png Uruchom, a następnie poczekaj, aż aplikacja się wczyta.
  2. Wpisz w polu tekstowym kilka słów kluczowych, a potem kliknij Wygeneruj.

zrzut ekranu gotowej aplikacji,

6. Uwagi dotyczące odpowiedzialnej AI

Jak wspomnieliśmy w oryginalnym ogłoszeniu dotyczącym modelu OpenAI GPT-2, model GPT-2 ma istotne ograniczenia i wady. Obecnie LLM mają pewne dobrze znane problemy, takie jak halucynacje, obraźliwe wyniki, sprawiedliwość i uprzedzenia. Wynika to z faktu, że modele te są trenowane na danych z prawdziwego świata, co sprawia, że odzwierciedlają rzeczywiste problemy.

Te ćwiczenia z programowania zostały utworzone wyłącznie w celu zademonstrowania, jak tworzyć aplikacje oparte na dużych modelach językowych za pomocą narzędzi TensorFlow. Model utworzony w tym samouczku ma charakter wyłącznie edukacyjny i nie jest przeznaczony do użytku produkcyjnego.

Produkcyjne wykorzystanie LLM wymaga starannego doboru zbiorów danych treningowych i kompleksowych środków bezpieczeństwa. Aby dowiedzieć się więcej o odpowiedzialnej AI w kontekście LLM, obejrzyj sesję techniczną Safe and Responsible Development with Generative Language Models (Bezpieczne i odpowiedzialne opracowywanie generatywnych modeli językowych) na konferencji Google I/O 2023 i zapoznaj się z zestawem narzędzi do odpowiedzialnej AI.

7. Podsumowanie

Gratulacje! Udało Ci się utworzyć aplikację, która generuje spójny tekst na podstawie danych wejściowych użytkownika, uruchamiając wstępnie wytrenowany duży model językowy wyłącznie na urządzeniu.

Więcej informacji