เริ่มต้นใช้งานการค้นหาเวกเตอร์ของ Spanner

1. บทนำ

Spanner เป็นบริการฐานข้อมูลที่รองรับการปรับขนาดในแนวนอนและมีการจัดการครบวงจรซึ่งจัดจำหน่ายทั่วโลก เหมาะสำหรับทั้งภาระงานเชิงสัมพันธ์และไม่ใช่เชิงสัมพันธ์

Spanner รองรับการค้นหาเวกเตอร์ในตัว ซึ่งช่วยให้คุณทำการค้นหาแบบคล้ายกันหรือแบบเชิงความหมาย รวมถึงใช้การสร้างแบบเพิ่มประสิทธิภาพการดึงข้อมูล (RAG) ในแอปพลิเคชัน GenAI ได้ในวงกว้าง โดยใช้ฟีเจอร์ K-Nearest Neighbor ที่ตรงกันทั้งหมด (KNN) หรือ Nearest Neighbor โดยประมาณ (ANN)

การค้นหาเวกเตอร์ของ Spanner จะแสดงข้อมูลแบบเรียลไทม์ที่อัปเดตใหม่ทันทีที่ธุรกรรมได้รับการยืนยัน เช่นเดียวกับการค้นหาอื่นๆ ในข้อมูลการดำเนินการ

ในโปรแกรม Lab นี้ คุณจะได้ดูการตั้งค่าฟีเจอร์พื้นฐานที่จําเป็นต่อการใช้ Spanner เพื่อทําการค้นหาเวกเตอร์ รวมถึงเข้าถึงการฝังและโมเดล LLM จากสวนโมเดลของ VertexAI โดยใช้ SQL

สถาปัตยกรรมจะมีลักษณะดังนี้

หมายเหตุ: ห้องทดลองนี้มุ่งเน้นที่ส่วนขวาของแผนภาพ คุณจึงจะติดตั้งใช้งานอินสแตนซ์ Spanner และการผสานรวม VertexAI เท่านั้น

เมื่อทราบพื้นฐานแล้ว คุณจะได้เรียนรู้วิธีสร้างดัชนีเวกเตอร์ที่รองรับโดยอัลกอริทึม SCANN และใช้ฟังก์ชันระยะทาง APPROX เมื่อต้องปรับขนาดเวิร์กโหลดเชิงความหมาย

สิ่งที่คุณจะสร้าง

คุณจะทําสิ่งต่อไปนี้ได้

• สร้างอินสแตนซ์ Spanner
• ตั้งค่าสคีมาฐานข้อมูลของ Spanner เพื่อผสานรวมกับโมเดลการฝังและ LLM ใน VertexAI
• โหลดชุดข้อมูลค้าปลีก
• ออกคําค้นหาที่คล้ายกันกับชุดข้อมูล
• ระบุบริบทให้กับโมเดล LLM เพื่อสร้างคําแนะนําเฉพาะผลิตภัณฑ์
• แก้ไขสคีมาและสร้างดัชนีเวกเตอร์
• เปลี่ยนการค้นหาเพื่อใช้ประโยชน์จากดัชนีเวกเตอร์ที่สร้างขึ้นใหม่

สิ่งที่คุณจะได้เรียนรู้

• วิธีตั้งค่าอินสแตนซ์ Spanner
• วิธีผสานรวมกับ VertexAI
• วิธีใช้ Spanner เพื่อทำการค้นหาเวกเตอร์เพื่อค้นหารายการที่คล้ายกันในชุดข้อมูลค้าปลีก
• วิธีเตรียมฐานข้อมูลเพื่อปรับขนาดปริมาณงานการค้นหาเวกเตอร์โดยใช้การค้นหา ANN

สิ่งที่คุณต้องมี

• โปรเจ็กต์ Google Cloud ที่เชื่อมต่อกับบัญชีสำหรับการเรียกเก็บเงิน
• เว็บเบราว์เซอร์ เช่น Chrome หรือ Firefox

2. การตั้งค่าและข้อกำหนด

สร้างโปรเจ็กต์

หากยังไม่มีบัญชี Google (Gmail หรือ Google Apps) คุณต้องสร้างบัญชี ลงชื่อเข้าใช้คอนโซล Google Cloud Platform ( console.cloud.google.com) และสร้างโปรเจ็กต์ใหม่

หากคุณมีโปรเจ็กต์อยู่แล้ว ให้คลิกเมนูแบบเลื่อนลงเพื่อเลือกโปรเจ็กต์ที่ด้านซ้ายบนของคอนโซล

และคลิกปุ่ม "โปรเจ็กต์ใหม่" ในกล่องโต้ตอบที่ปรากฏขึ้นเพื่อสร้างโปรเจ็กต์ใหม่

หากยังไม่มีโปรเจ็กต์ คุณควรเห็นกล่องโต้ตอบเช่นนี้เพื่อสร้างโปรเจ็กต์แรก

กล่องโต้ตอบการสร้างโปรเจ็กต์ที่ตามมาจะช่วยให้คุณป้อนรายละเอียดของโปรเจ็กต์ใหม่ได้ ดังนี้

โปรดจดจำรหัสโปรเจ็กต์ ซึ่งเป็นชื่อที่ไม่ซ้ำกันในโปรเจ็กต์ Google Cloud ทั้งหมด (ชื่อด้านบนมีผู้ใช้แล้วและจะใช้ไม่ได้ ขออภัย) ซึ่งจะอ้างอิงในภายหลังในโค้ดแล็บนี้ว่า PROJECT_ID

ถัดไป คุณจะต้องเปิดใช้การเรียกเก็บเงินในคอนโซลนักพัฒนาซอฟต์แวร์เพื่อใช้ทรัพยากร Google Cloud และเปิดใช้ Spanner API หากยังไม่ได้ดำเนินการ

ค่าใช้จ่ายในการเรียกใช้ Codelab นี้ไม่ควรเกิน 200 บาท แต่อาจมากกว่านั้นหากคุณตัดสินใจใช้ทรัพยากรเพิ่มเติมหรือปล่อยไว้ให้ทำงาน (ดูส่วน "ล้างข้อมูล" ที่ท้ายเอกสารนี้) ดูข้อมูลราคาของ Google Cloud Spanner ได้ที่นี่

ผู้ใช้ใหม่ของ Google Cloud Platform มีสิทธิ์รับช่วงทดลองใช้ฟรีมูลค่า$300 ซึ่งจะทำให้โค้ดแล็บนี้ไม่มีค่าใช้จ่ายใดๆ ทั้งสิ้น

การตั้งค่า Google Cloud Shell

แม้ว่า Google Cloud และ Spanner จะทำงานจากระยะไกลจากแล็ปท็อปได้ แต่ในโค้ดแล็บนี้ เราจะใช้ Google Cloud Shell ซึ่งเป็นสภาพแวดล้อมบรรทัดคำสั่งที่ทำงานในระบบคลาวด์

เครื่องเสมือนที่ใช้ Debian นี้จะโหลดเครื่องมือการพัฒนาทั้งหมดที่คุณต้องการ ซึ่งจะมีไดเรกทอรีหลักขนาด 5 GB ถาวรและทำงานใน Google Cloud ซึ่งช่วยเพิ่มประสิทธิภาพเครือข่ายและการรับรองได้อย่างมีประสิทธิภาพ ซึ่งหมายความว่าสิ่งที่คุณต้องใช้สำหรับโค้ดแล็บนี้ก็มีแค่เบราว์เซอร์ (ใช่ โค้ดแล็บนี้ใช้ได้ใน Chromebook)

1. หากต้องการเปิดใช้งาน Cloud Shell จาก Cloud Console เพียงคลิกเปิดใช้งาน Cloud Shell (ระบบจะใช้เวลาเพียงไม่กี่นาทีในการเตรียมการและเชื่อมต่อกับสภาพแวดล้อม)

เมื่อเชื่อมต่อกับ Cloud Shell แล้ว คุณควรจะเห็นการรับรองความถูกต้องและโปรเจ็กต์ตั้งค่าเป็น PROJECT_ID ของคุณแล้ว

gcloud auth list

เอาต์พุตจากคำสั่ง

Credentialed accounts:
 - <myaccount>@<mydomain>.com (active)

หมายเหตุ: เครื่องมือบรรทัดคำสั่ง gcloud ติดตั้งมาล่วงหน้าใน Cloud Shell โปรดดูข้อมูลเพิ่มเติมที่หัวข้อภาพรวมของเครื่องมือบรรทัดคำสั่ง gcloud

gcloud config list project

เอาต์พุตจากคำสั่ง

[core]
project = <PROJECT_ID>

หากไม่ได้ตั้งค่าโปรเจ็กต์ไว้ด้วยเหตุผลบางประการ ให้ใช้คําสั่งต่อไปนี้

gcloud config set project <PROJECT_ID>

หากกำลังมองหา PROJECT_ID ตรวจสอบรหัสที่คุณใช้ในขั้นตอนการตั้งค่าหรือค้นหาในแดชบอร์ดของ Cloud Console

นอกจากนี้ Cloud Shell ยังตั้งค่าตัวแปรสภาพแวดล้อมบางอย่างโดยค่าเริ่มต้น ซึ่งอาจมีประโยชน์เมื่อคุณเรียกใช้คำสั่งในอนาคต

echo $GOOGLE_CLOUD_PROJECT

เอาต์พุตจากคำสั่ง

<PROJECT_ID>

หมายเหตุ: เมื่อคุณเรียกใช้ gcloud ในเครื่องของคุณเอง การตั้งค่าการกําหนดค่าจะคงอยู่ตลอดเซสชัน แต่ใน Cloud Shell คุณจะต้องตั้งค่านี้สำหรับเซสชันใหม่หรือการเชื่อมต่อใหม่ทุกครั้ง

เปิดใช้ Spanner API

gcloud services enable spanner.googleapis.com

สรุป

ในขั้นตอนนี้ คุณได้ตั้งค่าโปรเจ็กต์ (หากยังไม่มี) เปิดใช้งาน Cloud Shell และเปิดใช้ API ที่จำเป็นแล้ว

ถัดไป

ถัดไป คุณจะต้องตั้งค่าอินสแตนซ์และฐานข้อมูล Spanner

3. สร้างอินสแตนซ์และฐานข้อมูล Spanner

สร้างอินสแตนซ์ Spanner

ในขั้นตอนนี้ เราจะตั้งค่าอินสแตนซ์ Spanner สําหรับ Codelab โดยเปิด Cloud Shell แล้วเรียกใช้คำสั่งนี้

export SPANNER_INSTANCE_ID=retail-demo
gcloud spanner instances create $SPANNER_INSTANCE_ID \
--config=regional-us-central1 \
--description="spanner AI retail demo" \
--nodes=1

หมายเหตุ: ระบบอาจใช้เวลาสักครู่ในการสร้างอินสแตนซ์

หมายเหตุ: คำสั่งนี้ใช้ regional-us-central1 เป็นภูมิภาค คุณสามารถเลือกภูมิภาคอื่นตามการกำหนดค่าภูมิภาคที่ใช้ได้กับ Spanner ซึ่งตรงกับภูมิภาคที่ปลายทาง VertexAI ตั้งอยู่

เอาต์พุตจากคำสั่ง:

$ gcloud spanner instances create $SPANNER_INSTANCE_ID \
--config=regional-us-central1 \
--description="spanner AI retail demo" \
--nodes=1
Creating instance...done.  

สร้างฐานข้อมูล

เมื่ออินสแตนซ์ทํางานอยู่ คุณจะสร้างฐานข้อมูลได้ Spanner รองรับฐานข้อมูลหลายรายการในอินสแตนซ์เดียว

ฐานข้อมูลคือที่ที่คุณกําหนดสคีมา นอกจากนี้ คุณยังควบคุมผู้ที่มีสิทธิ์เข้าถึงฐานข้อมูล ตั้งค่าการเข้ารหัสที่กำหนดเอง กำหนดค่าเครื่องมือเพิ่มประสิทธิภาพ และกำหนดระยะเวลาการเก็บรักษาได้ด้วย

หากต้องการสร้างฐานข้อมูล ให้ใช้เครื่องมือบรรทัดคำสั่ง gcloud อีกครั้งโดยทำดังนี้

export SPANNER_DATABASE=cymbal-bikes
gcloud spanner databases create $SPANNER_DATABASE \
 --instance=$SPANNER_INSTANCE_ID

เอาต์พุตจากคำสั่ง:

$ gcloud spanner databases create $SPANNER_DATABASE \
 --instance=$SPANNER_INSTANCE_ID
Creating database...done.

สรุป

ในขั้นตอนนี้ คุณได้สร้างอินสแตนซ์และฐานข้อมูล Spanner แล้ว

ถัดไป

ต่อไป คุณจะต้องตั้งค่าสคีมาและข้อมูล Spanner

4. โหลดสคีมาและข้อมูล Cymbal

สร้างสคีมา Cymbal

หากต้องการตั้งค่าสคีมา ให้ไปที่ Spanner Studio โดยทำดังนี้

หมายเหตุ: คุณจะเห็น Spanner Studio เมื่อคลิกอินสแตนซ์ retail-demo Spanner แล้วคลิกฐานข้อมูล cymbal-bikes

สคีมาแบ่งออกเป็น 2 ส่วน ก่อนอื่นให้เพิ่มตาราง products คัดลอกและวางคำสั่งนี้ในแท็บว่าง

สําหรับสคีมา ให้คัดลอกและวาง DDL นี้ลงในช่อง

CREATE TABLE products (
categoryId INT64 NOT NULL,
productId INT64 NOT NULL,
productName STRING(MAX) NOT NULL,
productDescription STRING(MAX) NOT NULL,
productDescriptionEmbedding ARRAY<FLOAT32>,
createTime TIMESTAMP NOT NULL OPTIONS (
allow_commit_timestamp = true
),
inventoryCount INT64 NOT NULL,
priceInCents INT64,
) PRIMARY KEY(categoryId, productId);

จากนั้นคลิกปุ่ม run และรอ 2-3 วินาทีเพื่อให้ระบบสร้างสคีมา

ถัดไป คุณจะต้องสร้างโมเดล 2 รายการและกำหนดค่าให้กับปลายทางโมเดล VertexAI

โมเดลแรกคือโมเดลการฝังที่ใช้สร้างการฝังจากข้อความ และโมเดลที่ 2 คือโมเดล LLM ที่ใช้สร้างคำตอบตามข้อมูลใน Spanner

วางสคีมาต่อไปนี้ลงในแท็บใหม่ใน Spanner Studio

คําเตือน: เปลี่ยน <PROJECT_ID> ในทั้ง 2 คำสั่งเป็นรหัสโปรเจ็กต์ที่คุณสร้างไว้ตอนต้นโค้ดแล็บ

หมายเหตุ: สคีมาด้านล่างใช้ปลายทาง us-central1 VertexAI เปลี่ยนค่านี้ทั้งในคําจํากัดความ EmbeddingsModel และ LLMModel หากคุณเลือกภูมิภาค Spanner อื่นเมื่อสร้างอินสแตนซ์

CREATE MODEL EmbeddingsModel INPUT(
content STRING(MAX),
) OUTPUT(
embeddings STRUCT<statistics STRUCT<truncated BOOL, token_count FLOAT32>, values ARRAY<FLOAT32>>,
) REMOTE OPTIONS (
endpoint = '//aiplatform.googleapis.com/projects/<PROJECT_ID>/locations/us-central1/publishers/google/models/text-embedding-004'
);


CREATE MODEL LLMModel INPUT(
prompt STRING(MAX),
) OUTPUT(
content STRING(MAX),
) REMOTE OPTIONS (
endpoint = '//aiplatform.googleapis.com/projects/<PROJECT_ID>/locations/us-central1/publishers/google/models/gemini-pro',
default_batch_size = 1
);

จากนั้นคลิกปุ่ม run แล้วรอ 2-3 วินาทีเพื่อให้ระบบสร้างรูปแบบ

ในแผงด้านซ้ายของ Spanner Studio คุณควรเห็นตารางและโมเดลต่อไปนี้

โหลดข้อมูล

ตอนนี้คุณจะต้องแทรกผลิตภัณฑ์บางรายการลงในฐานข้อมูล เปิดแท็บใหม่ใน Spanner Studio แล้วคัดลอกและวางคำสั่งแทรกต่อไปนี้

INSERT INTO products (categoryId, productId, productName, productDescription, createTime, inventoryCount, priceInCents)
VALUES (1, 1, "Cymbal Helios Helmet", "Safety meets style with the Cymbal children's bike helmet. Its lightweight design, superior ventilation, and adjustable fit ensure comfort and protection on every ride. Stay bright and keep your child safe under the sun with Cymbal Helios!", PENDING_COMMIT_TIMESTAMP(), 100, 10999),
(1, 2, "Cymbal Sprout", "Let their cycling journey begin with the Cymbal Sprout, the ideal balance bike for beginning riders ages 2-4 years. Its lightweight frame, low seat height, and puncture-proof tires promote stability and confidence as little ones learn to balance and steer. Watch them sprout into cycling enthusiasts with Cymbal Sprout!", PENDING_COMMIT_TIMESTAMP(), 10, 13999),
(1, 3, "Cymbal Spark Jr.", "Light, vibrant, and ready for adventure, the Spark Jr. is the perfect first bike for young riders (ages 5-8). Its sturdy frame, easy-to-use brakes, and puncture-resistant tires inspire confidence and endless playtime. Let the spark of cycling ignite with Cymbal!", PENDING_COMMIT_TIMESTAMP(), 34, 13900),
(1, 4, "Cymbal Summit", "Conquering trails is a breeze with the Summit mountain bike. Its lightweight aluminum frame, responsive suspension, and powerful disc brakes provide exceptional control and comfort for experienced bikers navigating rocky climbs or shredding downhill. Reach new heights with Cymbal Summit!", PENDING_COMMIT_TIMESTAMP(), 0, 79999),
(1, 5, "Cymbal Breeze", "Cruise in style and embrace effortless pedaling with the Breeze electric bike. Its whisper-quiet motor and long-lasting battery let you conquer hills and distances with ease. Enjoy scenic rides, commutes, or errands with a boost of confidence from Cymbal Breeze!", PENDING_COMMIT_TIMESTAMP(), 72, 129999),
(1, 6, "Cymbal Trailblazer Backpack", "Carry all your essentials in style with the Trailblazer backpack. Its water-resistant material, multiple compartments, and comfortable straps keep your gear organized and accessible, allowing you to focus on the adventure. Blaze new trails with Cymbal Trailblazer!", PENDING_COMMIT_TIMESTAMP(), 24, 7999),
(1, 7, "Cymbal Phoenix Lights", "See and be seen with the Phoenix bike lights. Powerful LEDs and multiple light modes ensure superior visibility, enhancing your safety and enjoyment during day or night rides. Light up your journey with Cymbal Phoenix!", PENDING_COMMIT_TIMESTAMP(), 87, 3999),
(1, 8, "Cymbal Windstar Pump", "Flat tires are no match for the Windstar pump. Its compact design, lightweight construction, and high-pressure capacity make inflating tires quick and effortless. Get back on the road in no time with Cymbal Windstar!", PENDING_COMMIT_TIMESTAMP(), 36, 24999),
(1, 9,"Cymbal Odyssey Multi-Tool","Be prepared for anything with the Odyssey multi-tool. This handy gadget features essential tools like screwdrivers, hex wrenches, and tire levers, keeping you ready for minor repairs and adjustments on the go. Conquer your journey with Cymbal Odyssey!", PENDING_COMMIT_TIMESTAMP(), 52, 999),
(1, 10,"Cymbal Nomad Water Bottle","Stay hydrated on every ride with the Nomad water bottle. Its sleek design, BPA-free construction, and secure lock lid make it the perfect companion for staying refreshed and motivated throughout your adventures. Hydrate and explore with Cymbal Nomad!", PENDING_COMMIT_TIMESTAMP(), 42, 1299);

คลิกปุ่ม run เพื่อแทรกข้อมูล

สรุป

ในขั้นตอนนี้ คุณได้สร้างสคีมาและโหลดข้อมูลพื้นฐานบางอย่างลงในฐานข้อมูล cymbal-bikes

ถัดไป

ถัดไป คุณจะต้องผสานรวมกับโมเดลการฝังเพื่อสร้างการฝังสําหรับคําอธิบายผลิตภัณฑ์ รวมถึงแปลงคําขอค้นหาที่เป็นข้อความเป็นการฝังเพื่อค้นหาผลิตภัณฑ์ที่เกี่ยวข้อง

5. ทำงานกับเนื้อหาที่ฝัง

สร้างการฝังเวกเตอร์สําหรับคําอธิบายผลิตภัณฑ์

หากต้องการให้การค้นหาความคล้ายคลึงกันทำงานกับผลิตภัณฑ์ คุณต้องสร้างการฝังสำหรับคำอธิบายผลิตภัณฑ์

เมื่อสร้าง EmbeddingsModel ในสคีมาแล้ว คำสั่ง DML UPDATE ง่ายๆ นี้

UPDATE products p1
SET productDescriptionEmbedding =
(SELECT embeddings.values from ML.PREDICT(MODEL EmbeddingsModel,
(SELECT productDescription as content FROM products p2 where p2.productId=p1.productId)))
WHERE categoryId=1;

คลิกปุ่ม run เพื่ออัปเดตรายละเอียดผลิตภัณฑ์

หมายเหตุ: สําหรับภาระงานที่ละเอียดอ่อนด้านประสิทธิภาพมากขึ้น วิธีที่ดีที่สุดคือสร้างการฝังโดยใช้ ML.PREDICT ในธุรกรรมแบบอ่านอย่างเดียว จากนั้นเขียนลงใน Spanner โดยใช้ธุรกรรมการอ่าน-เขียน

การใช้การค้นหาเวกเตอร์

ในตัวอย่างนี้ คุณจะให้คําขอค้นหาด้วยภาษาที่เป็นธรรมชาติผ่านคําค้นหา SQL คําค้นหานี้จะเปลี่ยนคําขอค้นหาเป็นการฝัง จากนั้นจะค้นหาผลลัพธ์ที่คล้ายกันโดยอิงตามการฝังคําอธิบายผลิตภัณฑ์ที่เก็บไว้ซึ่งสร้างขึ้นในขั้นตอนก่อนหน้า

-- Use Spanner's vector search, and integration with embedding and LLM models to
-- return items that are semantically relevant and available in inventory based on
-- real-time data.


SELECT productName, productDescription, inventoryCount, COSINE_DISTANCE(
productDescriptionEmbedding,
(   SELECT embeddings.values
FROM ML.PREDICT(
MODEL EmbeddingsModel,
(SELECT "I'd like to buy a starter bike for my 3 year old child" as content)
)
)
) as distance
FROM products
WHERE inventoryCount > 0
ORDER BY distance
LIMIT 5;

คลิกปุ่ม run เพื่อค้นหาผลิตภัณฑ์ที่คล้ายกัน ผลลัพธ์ควรมีลักษณะดังนี้

โปรดทราบว่ามีการใช้ตัวกรองเพิ่มเติมในการค้นหา เช่น สนใจเฉพาะผลิตภัณฑ์ที่มีสินค้าพร้อมจำหน่าย (inventoryCount > 0)

สรุป

ในขั้นตอนนี้ คุณได้สร้างการฝังคําอธิบายผลิตภัณฑ์และการฝังคําขอค้นหาโดยใช้ SQL โดยใช้ประโยชน์จากการผสานรวมของ Spanner กับโมเดลใน VertexAI นอกจากนี้ คุณยังทำการค้นหาเวกเตอร์เพื่อค้นหาผลิตภัณฑ์ที่คล้ายกันซึ่งตรงกับคำขอค้นหาด้วย

ขั้นตอนถัดไป

ต่อไป เราจะใช้ผลการค้นหาเพื่อป้อนข้อมูลไปยัง LLM เพื่อสร้างคำตอบที่กำหนดเองสำหรับผลิตภัณฑ์แต่ละรายการ

6. ทำงานร่วมกับ LLM

Spanner ช่วยให้ผสานรวมกับโมเดล LLM ที่แสดงจาก VertexAI ได้ง่าย ซึ่งช่วยให้นักพัฒนาซอฟต์แวร์ใช้ SQL เพื่อเชื่อมต่อกับ LLM ได้โดยตรง แทนที่จะกำหนดให้แอปพลิเคชันต้องดำเนินการตามตรรกะ

ตัวอย่างเช่น เรามีผลการค้นหา SQL ก่อนหน้าจากผู้ใช้ "I'd like to buy a starter bike for my 3 year old child".

นักพัฒนาแอปต้องการตอบกลับสำหรับผลการค้นหาแต่ละรายการว่าผลิตภัณฑ์เหมาะกับผู้ใช้หรือไม่ โดยใช้พรอมต์ต่อไปนี้

"Answer with ‘Yes' or ‘No' and explain why: Is this a good fit for me? I'd like to buy a starter bike for my 3 year old child"

คําค้นหาที่คุณใช้ได้มีดังนี้

-- Use an LLM to analyze this list and provide a recommendation on whether each
-- product is a good fit for the user. We use the vector search and real time
-- inventory data to first filter the products to reduce the size of the prompt to
-- the LLM.
SELECT productName, productDescription, inventoryCount, content AS LLMResponse
FROM ML.PREDICT(
MODEL LLMModel,
(   SELECT
inventoryCount,
productName,
productDescription,
CONCAT(
"Answer with ‘Yes' or ‘No' and explain why: Is this a good fit for me?",
"I'd like to buy a starter bike for my 3 year old child \n",
"Product Name: ", productName, "\n",
"Product Description:", productDescription) AS prompt,
FROM products
WHERE inventoryCount > 0
ORDER by COSINE_DISTANCE(
productDescriptionEmbedding,
(   SELECT embeddings.values
FROM ML.PREDICT(
MODEL EmbeddingsModel,
( SELECT "I'd like to buy a starter bike for my 3 year old child" as content)
)
)
) LIMIT 5
),
STRUCT(256 AS maxOutputTokens)
);

หมายเหตุ: เราจะส่งคําค้นหาเดียวกันจากขั้นตอนก่อนหน้าไปยังโมเดล LLM เพื่อสร้างรายการผลิตภัณฑ์ที่ต้องการคำตอบ

คลิกปุ่ม run เพื่อส่งคําค้นหา ผลลัพธ์ควรมีลักษณะดังนี้

ผลิตภัณฑ์แรกเหมาะสำหรับเด็กอายุ 3 ปีเนื่องจากช่วงอายุในคำอธิบายผลิตภัณฑ์ (2-4 ปี) ผลิตภัณฑ์อื่นๆ นั้นไม่เหมาะเท่าไหร่

สรุป

ในขั้นตอนนี้ คุณทํางานกับ LLM เพื่อสร้างคําตอบพื้นฐานสําหรับพรอมต์จากผู้ใช้

ขั้นตอนถัดไป

ถัดไป เราจะมาดูวิธีใช้ ANN เพื่อปรับขนาดการค้นหาเวกเตอร์กัน

7. การปรับขนาดการค้นหาเวกเตอร์

ตัวอย่างการค้นหาเวกเตอร์ก่อนหน้านี้ใช้ประโยชน์จากการค้นหาเวกเตอร์ KNN ที่ตรงกันทั้งหมด ซึ่งจะมีประโยชน์อย่างยิ่งเมื่อคุณค้นหาชุดย่อยที่เฉพาะเจาะจงมากของข้อมูล Spanner ได้ คำค้นหาประเภทดังกล่าวเรียกว่าแบ่งพาร์ติชันได้สูง

หากมีปริมาณงานที่มีการแบ่งพาร์ติชันได้ยากและมีข้อมูลจํานวนมาก คุณควรใช้การค้นหาเวกเตอร์ ANN โดยใช้ประโยชน์จากอัลกอริทึม SCANN เพื่อเพิ่มประสิทธิภาพการค้นหา

หากต้องการดำเนินการดังกล่าวใน Spanner คุณจะต้องทํา 2 อย่างต่อไปนี้

• สร้างดัชนีเวกเตอร์
• แก้ไขการค้นหาเพื่อใช้ประโยชน์จากฟังก์ชันระยะทาง APPROX

สร้างดัชนีเวกเตอร์

หากต้องการสร้างดัชนีเวกเตอร์ในชุดข้อมูลนี้ ก่อนอื่นเราต้องแก้ไขคอลัมน์ productDescriptionEmbeddings เพื่อกำหนดความยาวของเวกเตอร์แต่ละรายการ หากต้องการเพิ่มความยาวเวกเตอร์ลงในคอลัมน์ คุณต้องวางคอลัมน์เดิมและสร้างใหม่

ALTER TABLE `products` DROP COLUMN `productDescriptionEmbedding`;
ALTER TABLE
  `products` ADD COLUMN `productDescriptionEmbedding` ARRAY<FLOAT32>(vector_length=>768);

จากนั้นสร้างการฝังอีกครั้งจากขั้นตอน Generate Vector embedding ที่คุณเคยเรียกใช้

UPDATE products p1
SET productDescriptionEmbedding =
(SELECT embeddings.values from ML.PREDICT(MODEL EmbeddingsModel,
(SELECT productDescription as content FROM products p2 where p2.productId=p1.productId)))
WHERE categoryId=1;

หมายเหตุ: ในสภาพแวดล้อมที่ใช้งานจริง คุณจะต้องเพิ่มคอลัมน์ใหม่ที่มีคําจํากัดความใหม่ และคัดลอกการฝังไป จากนั้นแก้ไขแอปพลิเคชันเพื่อใช้คอลัมน์ใหม่ก่อนที่จะยกเลิกคอลัมน์เก่า

หลังจากสร้างคอลัมน์แล้ว ให้สร้างดัชนีโดยทำดังนี้

CREATE VECTOR INDEX ProductDescriptionEmbeddingIndex
    ON products(productDescriptionEmbedding)
    WHERE productDescriptionEmbedding IS NOT NULL
OPTIONS (
 distance_type = 'COSINE'
);

หมายเหตุ: การสร้างดัชนีเวกเตอร์จะใช้เวลาประมาณ 30 นาที ไปดื่มกาแฟหรือชาก่อน แล้วกลับมาเมื่อดำเนินการเสร็จ

ใช้ดัชนีใหม่

หากต้องการใช้ดัชนีเวกเตอร์ใหม่ คุณจะต้องแก้ไขการค้นหาการฝังก่อนหน้าเล็กน้อย

คําค้นหาเดิมมีดังนี้

SELECT productName, productDescription, inventoryCount, COSINE_DISTANCE(
productDescriptionEmbedding,
(   SELECT embeddings.values
FROM ML.PREDICT(
MODEL EmbeddingsModel,
(SELECT "I'd like to buy a starter bike for my 3 year old child" as content)
)
)
) as distance
FROM products
WHERE inventoryCount > 0
ORDER BY distance
LIMIT 5;

คุณจะต้องทําการเปลี่ยนแปลงต่อไปนี้

• ใช้คำแนะนำดัชนีสำหรับดัชนีเวกเตอร์ใหม่: @{force_index=ProductDescriptionEmbeddingIndex}
• เปลี่ยนการเรียกใช้ฟังก์ชัน COSINE_DISTANCE เป็น APPROX_COSINE_DISTANCE โปรดทราบว่าต้องระบุตัวเลือก JSON ในข้อความค้นหาสุดท้ายด้านล่างด้วย
• สร้างการฝังจากฟังก์ชัน ML.PREDICT แยกกัน
• คัดลอกผลลัพธ์ของการฝังลงในข้อความค้นหาสุดท้าย

สร้างการฝัง

-- Generate the prompt embeddings
SELECT embeddings.values
FROM ML.PREDICT(
  MODEL EmbeddingsModel,
   (SELECT "I'd like to buy a starter bike for my 3 year old child" as content)
  )
)

ไฮไลต์ผลลัพธ์จากการค้นหา แล้วคัดลอก

จากนั้นแทนที่ <VECTOR> ในข้อความค้นหาต่อไปนี้ด้วยการวางการฝังที่คุณคัดลอกไว้

-- Embedding query now using the vector index


SELECT productName, productDescription, inventoryCount, 
  APPROX_COSINE_DISTANCE(productDescriptionEmbedding, array<float32>[@VECTOR], options => JSON '{\"num_leaves_to_search\": 10}')
FROM products @{force_index=ProductDescriptionEmbeddingIndex}
WHERE productDescriptionEmbedding IS NOT NULL AND inventoryCount > 0
ORDER BY distance
LIMIT 5;

ซึ่งควรมีหน้าตาเช่นนี้

สรุป

ในขั้นตอนนี้ คุณได้แปลงสคีมาเพื่อสร้างดัชนีเวกเตอร์ จากนั้นคุณเขียนคําค้นหาแบบฝังใหม่เพื่อทำการค้นหา ANN โดยใช้ดัชนีเวกเตอร์ ขั้นตอนนี้เป็นขั้นตอนสําคัญเมื่อข้อมูลมีขนาดใหญ่ขึ้นเพื่อปรับขนาดเวิร์กโหลดการค้นหาเวกเตอร์

ขั้นตอนถัดไป

ต่อไปก็ถึงเวลาทำความสะอาด

8. การเก็บกวาด (ไม่บังคับ)

หากต้องการล้างข้อมูล ให้ไปที่ส่วน Cloud Spanner ของ Cloud Console แล้วลบอินสแตนซ์ 'retail-demo' ที่เราสร้างในโค้ดแล็บ

9. ยินดีด้วย

ยินดีด้วย คุณได้ทำการค้นหาความคล้ายคลึงโดยใช้การค้นหาเวกเตอร์ในตัวของ Spanner เรียบร้อยแล้ว นอกจากนี้ คุณยังได้เห็นว่าการทํางานกับโมเดลการฝังและ LLM เพื่อมอบฟังก์ชันการทํางานของ Generative AI โดยตรงโดยใช้ SQL นั้นง่ายเพียงใด

สุดท้าย คุณก็ได้ทราบกระบวนการค้นหาด้วย ANN ที่รองรับโดยอัลกอริทึม SCANN สําหรับการปรับขนาดเวิร์กโหลดการค้นหาเวกเตอร์

ขั้นตอนถัดไปคือ

ดูข้อมูลเพิ่มเติมเกี่ยวกับฟีเจอร์เพื่อนบ้านที่ใกล้ที่สุดแบบตรงทั้งหมด (การค้นหาเวกเตอร์ KNN) ของ Spanner ได้ที่ https://cloud.google.com/spanner/docs/find-k-nearest-neighbors

ดูข้อมูลเพิ่มเติมเกี่ยวกับฟีเจอร์เพื่อนบ้านใกล้เคียงโดยประมาณ (การค้นหาเวกเตอร์ ANN) ของ Spanner ได้ที่ https://cloud.google.com/spanner/docs/find-approximate-nearest-neighbors

นอกจากนี้ คุณยังอ่านข้อมูลเพิ่มเติมเกี่ยวกับวิธีทําการคาดการณ์ออนไลน์ด้วย SQL โดยใช้การผสานรวม VertexAI ของ Spanner ได้ที่นี่ https://cloud.google.com/spanner/docs/ml