In-Place LLM Insights: BigQuery & Gemini for Structured & تجزیه و تحلیل داده های بدون ساختار

1. مقدمه

مجموعه داده های عظیم حاوی بینش های ارزشمندی است، اما استخراج درک معنادار می تواند یک کار دلهره آور باشد. ابزارهای تجزیه و تحلیل سنتی اغلب در ارائه توضیحات دقیق و شبیه به انسان کوتاهی می کنند که به ما کمک می کند تا داستان را در داده های خود درک کنیم. انبارهای داده بیشتر و بیشتر داده های بدون ساختار را در خود نگهداری می کنند، اما این داده ها همیشه برای به دست آوردن بینش در دسترس نبوده اند. متن، تصاویر و ویدیوهای بدون ساختار اطلاعات ارزشمندی را برای توسعه کسب و کار شما در اختیار دارند. LLM یک راه قدرتمند جدید برای درک داده های شما ارائه می دهد که توضیحات، تجزیه و تحلیل احساسات، تشخیص اشیا و موارد دیگر را ارائه می دهد. با ظهور مدل‌های چندوجهی (و توانایی ذخیره داده‌های شی مانند تصاویر و ویدیو در BigQuery از طریق جداول Object)، ادغام LLM‌های قدرتمند مانند Gemini 1.0 Pro (برای تجزیه و تحلیل مبتنی بر متن) و Gemini 1.0 Pro Vision (برای متن و تصویر). تجزیه و تحلیل /ویدئو) با BigQuery می تواند روش تجزیه و تحلیل داده ها را تغییر دهد.

در این نرم افزار کد، ما به دو روش زیر برای ترسیم بینش های LLM از داده های سازمانی شما و مقیاس بندی آن بینش ها به هزاران ردیف در BigQuery نگاه خواهیم کرد:

روش 1: فراخوانی مدل از راه دور

• با استفاده از ML.GENERATE_TEXT در جستار SELECT ، با Gemini 1.0 Pro از داخل BigQuery تماس بگیرید.
• از این رویکرد زمانی استفاده کنید که مدل از قبل به عنوان یک مدل راه دور در BigQuery در دسترس است و شما می خواهید از آن خارج از جعبه استفاده کنید. وضعیت مدلی را که می‌خواهید در مستندات BigQuery استفاده کنید بررسی کنید.

روش 2: اجرای عملکرد از راه دور

• یک تابع Cloud را فراخوانی کنید که تماس Gemini 1.0 Pro Vision را اجرا می‌کند، که به عنوان یک تابع از راه دور در BigQuery نمایش داده می‌شود.
• از این رویکرد زمانی استفاده کنید که مدلی که می‌خواهید استفاده کنید یا به‌عنوان یک مدل از راه دور در دسترس نیست یا می‌خواهید انعطاف‌پذیری و سفارشی‌سازی بیشتری در مورد استفاده خود داشته باشید.

چیزی که خواهی ساخت

• برای روش Remote Model Invocation ، با فراخوانی مدل از راه دور برای Gemini 1.0 Pro در ساختار ML.GENERATE_TEXT در BigQuery، یک خلاصه‌کننده مکان برای مجموعه داده‌های کتاب بایگانی اینترنتی (که در BigQuery در دسترس عموم است) می‌سازید.

• برای روش پیاده‌سازی تابع از راه دور ، یک اعتبارسنجی تصویر برای اعتبارسنجی تصاویر آزمایشی در برابر یک تصویر پایه می‌سازید. برای این کار، شما یک مجموعه داده حاوی اسکرین شات های تصویر آزمایشی را در یک جدول خارجی ایجاد می کنید و از Gemini 1.0 Pro Vision می خواهید که آن را در برابر تصویر پایه تایید کند. سپس، یک Java Cloud Function ایجاد می‌کنید که تماس Gemini Pro Vision را اجرا می‌کند و آن را به عنوان یک تابع از راه دور در BigQuery فراخوانی می‌کند.

توجه:

ممکن است مدل‌های بیشتری از Vertex AI Generative AI به عنوان مدل‌های راه دور در BigQuery وجود داشته باشد. این بدان معنی است که شما می توانید با ساختار ML.GENERATE_TEXT از BigQuery خارج از جعبه به این مدل ها دسترسی داشته باشید. با این حال، حتی در صورت در دسترس بودن مدل از راه دور، همیشه این گزینه را دارید که با توابع ابری، سفارشی‌سازی‌های پیشرفته‌ای را برای مورد استفاده خود ایجاد کنید و سپس به این مدل‌ها به عنوان عملکردهای راه دور از BigQuery دسترسی پیدا کنید.

چرا BigQuery؟

BigQuery یک انبار داده بدون سرور و چند ابری است که می تواند از بایت تا پتابایت با حداقل هزینه عملیاتی مقیاس شود و از این رو یک انتخاب عالی برای ذخیره داده های آموزشی ML است. با استفاده از BigQuery Machine Learning (BQML) و قابلیت های تجزیه و تحلیل، می توانید پیش بینی های بدون کد را فقط با استفاده از پرس و جوهای SQL ایجاد کنید. علاوه بر این، می‌توانید با کوئری‌های فدرال به داده‌ها از منابع خارجی دسترسی پیدا کنید و نیاز به خطوط لوله ETL پیچیده را از بین ببرید.

BigQuery یک انبار داده ابری کاملاً مدیریت شده است که به کاربران کمک می کند تا داده های ساخت یافته، نیمه ساختاریافته و بدون ساختار را تجزیه و تحلیل کنند.

2. الزامات

• مرورگری مانند کروم یا فایرفاکس
• یک پروژه Google Cloud با فعال کردن صورت‌حساب.

3. قبل از شروع

1. در Google Cloud Console ، در صفحه انتخاب پروژه، یک پروژه Google Cloud را انتخاب یا ایجاد کنید.
2. مطمئن شوید که صورتحساب برای پروژه Cloud شما فعال است. با نحوه بررسی فعال بودن صورت‌حساب در پروژه آشنا شوید.
3. شما از Cloud Shell استفاده خواهید کرد، یک محیط خط فرمان در حال اجرا در Google Cloud که با bq از قبل بارگذاری شده است. روی Activate Cloud Shell در بالای کنسول Google Cloud کلیک کنید.

4. پس از اتصال به Cloud Shell، با استفاده از دستور زیر بررسی می‌کنید که قبلاً احراز هویت شده‌اید و پروژه به ID پروژه شما تنظیم شده است:

gcloud auth list

5. دستور زیر را در Cloud Shell اجرا کنید تا تأیید کنید که دستور gcloud از پروژه شما اطلاع دارد.

gcloud config list project

6. اگر پروژه شما تنظیم نشده است، از دستور زیر برای تنظیم آن استفاده کنید:

gcloud config set project <YOUR_PROJECT_ID>

7. برای فعال کردن API به Gemini for Google Cloud Marketplace بروید. همچنین می توانید از دستور زیر در ترمینال Cloud Shell استفاده کنید:

gcloud services enable cloudaicompanion.googleapis.com --project PROJECT_ID

8. مطمئن شوید که API های زیر فعال هستند:

• BigQuery
• اتصال BigQuery
• عملکرد ابری
• Cloud Run
• Vertex AI
• ساخت ابر
• API های ذخیره سازی ابری

جایگزین استفاده از دستور gcloud عبور از کنسول با استفاده از این پیوند است.

برای دستورات و استفاده از gcloud به اسناد مراجعه کنید.

4. یک مجموعه داده BigQuery و اتصال خارجی ایجاد کنید

بیایید با ایجاد یک مجموعه داده و یک اتصال منبع Cloud شروع کنیم.

مجموعه داده در BigQuery محفظه ای برای تمام جداول و اشیاء برنامه شما است.

برای ایجاد یک مجموعه داده ، موارد زیر را انجام دهید:

1. به صفحه BigQuery در کنسول Google Cloud بروید.
2. در پانل Explorer ، پروژه ای را که می خواهید مجموعه داده را در آن ایجاد کنید، انتخاب کنید.
3. گزینه Actions (نماد بیضی عمودی) را باز کنید و روی ایجاد مجموعه داده کلیک کنید.

4. روی ایجاد مجموعه داده کلیک کنید.
5. gemini_bq_fn در قسمت Dataset ID وارد کنید.
6. نوع مکان خود را به عنوان Multi-region تنظیم کنید و مقدار پیش فرض را بپذیرید که US(multiple regions in United States.
7. روی ایجاد مجموعه داده کلیک کنید.
8. بررسی کنید که مجموعه داده ایجاد شده و در زیر ID پروژه شما در پنجره Explorer فهرست شده باشد.

اتصال BigQuery برای تعامل با عملکرد Cloud شما لازم است. برای ایجاد یک تابع از راه دور، باید یک اتصال BigQuery ایجاد کنید. در این کد لبه، از اتصال BigLake برای دسترسی به مدل از BigQuery از طریق Cloud Function استفاده خواهیم کرد. اتصالات BigLake به اتصال منبع داده خارجی کمک می کند و در عین حال کنترل دسترسی و امنیت دقیق BigQuery را حفظ می کند، که در مورد ما Vertex AI Gemini Pro API است.

برای ایجاد اتصال BigLake ، موارد زیر را انجام دهید:

1. در صفحه اکسپلورر صفحه BigQuery روی Add کلیک کنید.

2. روی اتصال به منابع داده خارجی کلیک کنید.
3. از منوی نوع اتصال، مدل‌های کنترل از راه دور Vertex AI، توابع راه دور و BigLake (منبع ابر) را انتخاب کنید.
4. در قسمت شناسه اتصال ، نام اتصال خود را به عنوان gemini-bq-conn وارد کنید.
5. نوع مکان خود را به عنوان Multi-region تنظیم کنید و مقدار پیش فرض را بپذیرید که US(multiple regions in United States.
6. روی ایجاد اتصال کلیک کنید.
7. روی Go to connect کلیک کنید و سپس شناسه حساب سرویس را در صفحه اطلاعات اتصال کپی کنید.

8. به صفحه IAM & Admin بروید و روی Grant access کلیک کنید.
9. شناسه حساب سرویس را در فیلد اصول جدید جای‌گذاری کنید.
10. نقش Vertex AI user را از لیست نقش انتخاب کنید و سپس روی Save کلیک کنید.

اکنون مجموعه داده و اتصال BigQuery را با موفقیت ایجاد کرده اید. در مرحله بعد، مراحلی را که برای فراخوانی مدل از راه دور لازم است، تکمیل خواهید کرد.

5. استفاده از مورد شماره 1 Remote Model Invocation: فراخوانی مدل راه دور را تنظیم کنید

اکنون که مجموعه داده و اتصال خود را ایجاد کردید، بیایید یک مدل در BigQuery بر اساس مدل پایه Vertex AI Gemini Pro ایجاد کنیم. در پایان این تمرین، برنامه LLM خود را تنها با استفاده از پرس و جوهای SQL راه اندازی و اجرا خواهید کرد.

مرحله 1: یک جدول BigQuery ایجاد کنید که حاوی داده های ورودی مدل راه دور است

جدولی با نام books در مجموعه داده خود ایجاد کنید که می تواند حدود 50 رکورد را از جدول bigquery-public-data.gdelt_internetarchivebooks.1905 در مجموعه داده های Internet Archive Books که برای استفاده عمومی توسط BigQuery تهیه شده است، در خود جای دهد.

برای انجام این کار، عبارت DDL (زبان تعریف داده) زیر را از صفحه ویرایشگر BigQuery SQL اجرا کنید:

create or replace table gemini_bq_fn.books as (
select *
from
bigquery-public-data.gdelt_internetarchivebooks.1905 limit 50)

مرحله 2: یک مدل BigQuery ایجاد کنید

یک مدل در مجموعه داده خود ایجاد کنید. برای انجام این کار، DDL زیر را از قسمت BigQuery SQL Editor اجرا کنید:

CREATE MODEL `gemini_bq_fn.gemini_remote_model`
REMOTE WITH CONNECTION `us.gemini-bq-conn`
OPTIONS(ENDPOINT = 'gemini-pro');

توجه داشته باشید که مدل با گزینه ای برای مشاهده مدل ایجاد شده است.

مرحله 3: برنامه جدید هوش مصنوعی Generative خود را آزمایش کنید

از تابع ML.GENERATE_TEXT در یک کوئری SELECT برای ارسال درخواست به مدل راه دور استفاده کنید.

SELECT ml_generate_text_llm_result as Gemini_Response, prompt as Prompt
FROM ML.GENERATE_TEXT(MODEL `gemini_bq_fn.gemini_remote_model`,
 (select 'You are a text summarizer and standardizer. From the following text that contains address locations, standardize and print one standardized, consolidated address. You cannot return empty because you know how to pick up sensible data from the text in this field: ' ||
substring(locations, 0, 200) as prompt
from `gemini_bq_fn.books`),
STRUCT(
 TRUE AS flatten_json_output));

شما باید نتیجه زیر را ببینید:

تبریک می گویم! شما با موفقیت نشان دادید که چگونه از یک مدل راه دور (بر اساس مدل gemini-pro ) با تابع ML.GENERATE_TEXT برای تجزیه و تحلیل داده های متنی در جدول BigQuery استفاده کنید.

حالا بیایید مدل Vertex AI دیگری را با استفاده از توابع راه دور BigQuery امتحان کنیم. فرض کنید می‌خواهید سفارشی‌سازی و انعطاف‌پذیری بیشتری به نحوه استفاده از مدل از راه دور در BigQuery اضافه کنید. مدل های پشتیبانی شده در مستندات BigQuery فهرست شده اند.

6. استفاده از مورد شماره 2 اجرای تابع از راه دور: اجرای تابع از راه دور را تنظیم کنید

در این تمرین، تابعی را در BigQuery بر اساس تابع Java Cloud ایجاد می‌کنید که مدل پایه Gemini 1.0 Pro Vision را پیاده‌سازی می‌کند. ابتدا، Java Cloud Function را برای مقایسه تصاویر با استفاده از مدل Gemini 1.0 Pro Vision ایجاد و استقرار خواهید داد، و سپس تابع راه دور را در BigQuery ایجاد خواهید کرد که تابع Cloud Deployed را فراخوانی می کند. به یاد داشته باشید که همین رویه را می توان برای اجرای هر تابع از راه دور در BigQuery دنبال کرد.

بنابراین، بیایید شروع کنیم!

مرحله 1: عملکرد Cloud Java را ایجاد کنید

شما یک Gen 2 Cloud Function در جاوا برای اعتبارسنجی تصاویر آزمایشی در برابر یک تصویر پایه می‌سازید. تصویر پایه در یک مجموعه داده حاوی اسکرین شات های تصویر آزمایشی در یک جدول خارجی در BigQuery ذخیره می شود. شما تصاویر را با استفاده از مدل Gemini Pro Vision (جاوا SDK) تأیید خواهید کرد. سپس تابع Java Cloud را در نقطه پایانی REST مستقر خواهید کرد.

این مراحل را دنبال کنید:

1. Cloud Shell Editor را اجرا کنید.
2. اگر از ویرایشگر قدیمی استفاده می‌کنید، روی Try the new Editor کلیک کنید.
3. در نوار وضعیت، روی Cloud Code - Sign In کلیک کنید.
4. اگر از شما خواسته شد که ویرایشگر Cloud Shell را برای برقراری تماس‌های Google Cloud API مجاز کنید، روی تأیید کلیک کنید. دستورات را دنبال کنید تا وارد حساب Google خود شوید. اکنون به Google Cloud متصل هستید.
5. اگر پروژه خود را در نوار وضعیت Cloud Code نمی‌بینید، روی Cloud Code - Sign In > انتخاب پروژه Google Cloud کلیک کنید. پروژه Google Cloud را در جایی که می‌خواهید توابع ابری خود را ایجاد کنید، انتخاب کنید. پروژه بارگیری می شود و به پروژه فعال در Cloud Shell Editor تبدیل می شود.
6. در نوار وضعیت Cloud Code، روی نام پروژه فعال کلیک کنید. در منوی انتخاب سریع که ظاهر می شود، برنامه جدید را انتخاب کنید.
7. در گفتگوی Create New Application ، برنامه Cloud Functions را انتخاب کنید.

8. جاوا را انتخاب کنید: Hello World هنگامی که از شما خواسته می شود یک الگو را انتخاب کنید.

9. Gemini-BQ-Function به عنوان نام پروژه خود در مسیر پروژه وارد کنید. ساختار پروژه در نمای جدید Cloud Shell Editor ظاهر می شود.

10. وابستگی های لازم را در تگ <dependencies>... </dependencies> اضافه کنید یا وابستگی ها را از نمونه فایل pom.xml کپی کنید.
11. نام کلاس خود را از HelloWorld.java به چیزی معنادارتر تغییر دهید. فرض کنید GeminiBigQueryFunction.java . بر این اساس بسته را تغییر نام دهید.
12. کد مکان نگهدار در فایل GeminiBigQueryFunction.Java را با کد نمونه ارائه شده در مخزن GitHub جایگزین کنید. مطمئن شوید که متغیر <YOUR_PROJECT_ID> را با شناسه پروژه خود در کد نمونه جایگزین کنید.
13. به ترمینال Cloud Shell بروید. بررسی کنید که در فهرست پروژه خود هستید. اگر نه، با اجرای دستور زیر به فهرست پروژه بروید:

cd Gemini-BQ-Function

14. دستور زیر را برای ساخت و استقرار تابع Cloud اجرا کنید:

gcloud functions deploy gemini-bq-fn --gen2 --runtime java17 --trigger-http --entry-point cloudcode.helloworld.GeminiBigQueryFunction --allow-unauthenticated --source .

نقطه ورود در دستور را با نقطه ورود تابع خود جایگزین کنید. خروجی یک URL REST در قالب زیر است:

https://us-central1-YOUR_PROJECT_ID.cloudfunctions.net/gemini-bq-fn

15. این تابع Cloud را با اجرای دستور زیر از ترمینال تست کنید:

gcloud functions call gemini-bq-fn --region=us-central1 --gen2 --data '{"calls":[["https://storage.googleapis.com/img_public_test/image_validator/baseline/1.JPG", "https://storage.googleapis.com/img_public_test/image_validator/test/2.JPG", "PROMPT_ABOUT_THE_IMAGES_TO_GEMINI"]]}'

پاسخ به درخواست نمونه تصادفی:

عالی! عملکرد کلی Cloud برای اجرای مدل Gemini Pro Vision آماده است. بیایید از این نقطه پایانی مستقیماً روی داده های BigQuery از داخل یک تابع راه دور BigQuery استفاده کنیم.

مرحله 2: یک جدول شی BigQuery و تابع راه دور ایجاد کنید

پیش نیاز

برای این بخش از تمرین به یک سطل Cloud Storage نیاز دارید. برای ایجاد یک سطل فضای ذخیره سازی ابری این مراحل را دنبال کنید:

1. برای ایجاد یک سطل، به کنسول Cloud Storage بروید و روی ایجاد کلیک کنید.
2. demo-bq-gemini-public-image به عنوان نام سطل خود وارد کنید و روی ایجاد کلیک کنید.
3. تیک گزینه Enforce public access prevention on this bucket را بردارید. اگرچه در این تمرین این سطل را برای دسترسی عمومی ایجاد می‌کنید، توصیه می‌کنیم از دسترسی عمومی جلوگیری کنید و طبق موارد استفاده سازمانی خود مجوزهایی را برای حساب‌های سرویس خاص ارائه کنید.
4. پس از ایجاد سطل، برای مشاهده و تغییر مجوزها، به تب Permissions بروید.
5. برای افزودن اصول، روی Grant access کلیک کنید. شناسه حساب سرویس را برای دادن مجوز به یک حساب خاص مشخص کنید یا allUsers را برای دسترسی عمومی به سطل شما مشخص کنید.
6. نقش Storage Object Viewer را انتخاب کنید و روی Save کلیک کنید. در صورت درخواست، اجازه دسترسی عمومی را انتخاب کنید.
7. به تب Objects بروید و تصاویر پایه و آزمایش تصاویر را برای مقایسه آپلود کنید. برای این نرم افزار کد، می توانید اشیاء زیر را که به صورت عمومی در دسترس هستند بارگذاری کنید: baseline.JPG ، TEST1.JPG ، و TEST2.JPG .

یک جدول شی BigQuery ایجاد کنید

یک جدول شی خارجی از BigQuery ایجاد کنید تا با استفاده از اتصال و مجموعه داده‌ای که قبلا ایجاد کرده‌اید، به داده‌های بدون ساختار در سطل دسترسی داشته باشید. برای انجام این کار، عبارت DDL (زبان تعریف داده) زیر را از صفحه ویرایشگر کوئری BigQuery اجرا کنید:

CREATE OR REPLACE EXTERNAL TABLE `gemini_bq_fn.image_validation`
WITH CONNECTION `us.gemini-bq-conn`
OPTIONS(object_metadata="SIMPLE", uris=["gs://demo-bq-gemini-public-image/*.JPG"]);

بررسی کنید که یک جدول شی جدید به نام image_validation در مجموعه داده شما ایجاد شده باشد.

یک تابع از راه دور BigQuery ایجاد کنید

یک تابع از راه دور در BigQuery ایجاد کنید تا تابع Java Cloud را فراخوانی کنید که مدل Gemini Pro Vision را پیاده سازی می کند. این را در همان مجموعه داده ایجاد کنید. برای انجام این کار، DDL زیر را از پنجره ویرایشگر SQL کنسول BigQuery اجرا کنید:

CREATE OR REPLACE FUNCTION `gemini_bq_fn.FN_IMAGE_VALIDATE` (baseline STRING, test STRING, prompt STRING) RETURNS STRING
 REMOTE WITH CONNECTION `us.gemini-bq-conn`
 OPTIONS (
   endpoint = 'https://us-central1-<your project id>.cloudfunctions.net/gemini-bq-fn',
   max_batching_rows = 1
 );

URL نقطه پایانی URL REST است که قبلاً در این تمرین برگردانده شده است. این تابع از راه دور را در BigQuery ایجاد می کند. در DDL فوق سه پارامتر وجود دارد. دو پارامتر اول نشانی‌های اینترنتی تصاویر ذخیره شده در جدول شی ایجاد شده در مرحله قبل هستند. آخرین پارامتر اعلان به مدل (Gemini Pro Vision) است. می توانید به کد توابع ابری جاوا که برای تجزیه این امضا استفاده می شود مراجعه کنید:

Gson().fromJson(request.getReader(), JsonObject.class);
JsonArray calls_array = requestJson.getAsJsonArray("calls");
JsonArray calls = (JsonArray) calls_array.get(0);
String baseline_url = calls.get(0).toString().replace("\"", "");
String test_url = calls.get(1).toString().replace("\"", "");
String prompt_string = calls.get(2).toString();

جمینی را از BigQuery فراخوانی کنید

از تابع راه دور در یک کوئری SELECT برای آزمایش عملکرد برای اعتبارسنجی تصاویر در برابر درخواست استفاده کنید.

select gemini_bq_fn.FN_IMAGE_VALIDATE(
'https://storage.googleapis.com/demo-bq-gemini-public-image/Baseline.JPG',
REPLACE(uri, 'gs://', 'https://storage.googleapis.com/') ,
'You are an expert image validator who can respond with JSON result. Find 2 images here. The first one is the reference image. The second image is the test image. Compare the second image to see if the second image is similar to the first in terms of the text present in the image.  Respond ONLY in JSON Format with 3 attributes namely SIMILARITY which is a \"YES\" or \"NO\", SIMILARITY_SCORE which is a percentage and DIFFERENCE_COMMENT which is a string.' ) as IMAGE_VALIDATION_RESULT
from `gemini_bq_fn.image_validation`
where uri like '%TEST1%';  

پرس و جوی بالا را با فایل های شی TEST1 و TEST2 امتحان کنید. نتیجه ای شبیه به زیر خواهید دید:

در اینجا تصاویر برای مرجع شما هستند:

تصویر پایه

تصویر آزمایشی

توجه داشته باشید که هر دو تصویر از این جهت شبیه به هم هستند که نمای کنسول ابری Duet AI را دارند اما متن هر دو با فرمت JSON توسط مدل متفاوت است.

با این کار، اجرای تابع از راه دور را با موفقیت آزمایش کرده اید.

7. مزایا و موارد استفاده

بیایید به برخی از مزایای ادغام BigQuery و Gemini برای تجزیه و تحلیل داده های ساختاریافته و بدون ساختار نگاه کنیم.

• آوردن GenAI به داده های شما: دیگر خبری از جابجایی داده ها، تکرار و پیچیدگی اضافه نیست. شما می توانید داده ها را تجزیه و تحلیل کنید و بینش را در همان محیط BigQuery ایجاد کنید.
• تجزیه و تحلیل پیشرفته: توضیحات زبان طبیعی Gemini لایه جدیدی از درک را به داده های شما اضافه می کند و می توانید با استفاده از پرس و جوهای SQL به این مهم دست یابید.
• مقیاس پذیری: این راه حل مجموعه داده های بزرگ و تجزیه و تحلیل پیچیده را با سهولت و تلاش کم کد انجام می دهد.

برنامه های کاربردی برای این بسیار است. سناریوهایی را در امور مالی (تحلیل روند بازار)، خرده فروشی (احساس مشتری)، مراقبت های بهداشتی (خلاصه گزارش های پزشکی)، و غیره در نظر بگیرید که در آن تیم های تحلیلی و تجاری شما می توانند با تلاش نسبتاً کم، منابع و زبان آشنا و ابزار انتخابی، این سناریوها را اجرا کنند.

8. پاکسازی کنید

برای جلوگیری از تحمیل هزینه به حساب Google Cloud خود برای منابع استفاده شده در این پست، این مراحل را دنبال کنید:

1. در کنسول Google Cloud، به صفحه مدیریت منابع بروید.
2. در لیست پروژه، پروژه ای را که می خواهید حذف کنید انتخاب کنید و سپس روی Delete کلیک کنید.
3. در محاوره، شناسه پروژه را تایپ کنید و سپس روی Shut down کلیک کنید تا پروژه حذف شود.
4. اگر می‌خواهید پروژه خود را حفظ کنید، مراحل بالا را رد کنید و با رفتن به Cloud Function، تابع Cloud را حذف کنید و از لیست توابع، موردی را که می‌خواهید حذف کنید را علامت بزنید و روی Delete کلیک کنید.

9. تبریک می گویم

تبریک میگم با مدل‌های Gemini که در BigQuery ادغام شده‌اند، دیگر فقط داده‌های خود را تجزیه و تحلیل نمی‌کنید - شما یک داستان‌گوی داده هستید. می‌توانید روایت‌های پنهان را در مجموعه داده‌های خود ایجاد کنید و نحوه درک بینش خود را تغییر دهید. شروع به آزمایش کنید! این تکنیک را در مجموعه داده های خود اعمال کنید و داستان های موجود در داده های خود را کشف کنید. از آنجایی که BigQuery از داده‌های بدون ساختار در جداول شی ( جدول خارجی ) پشتیبانی می‌کند، سعی کنید از Gemini Pro Vision برای ایجاد بینش تولیدی در مورد داده‌های تصویر استفاده کنید. برای راهنمایی بیشتر به مستندات Vertex AI ، BigQuery Remote Functions ، و Cloud Functions مراجعه کنید. در اینجا مخزن github برای این پروژه است. به ما اطلاع دهید که با این یادگیری چه چیزی می سازید!