1. Pengantar
Terakhir Diperbarui: 04-03-2026
Penelusuran vektor, atau Database vektor, telah menjadi teknologi dasar untuk sistem AI modern. Dengan merepresentasikan data sebagai embedding berdimensi tinggi yang menangkap makna semantik, teknologi ini mendukung semuanya, mulai dari penelusuran semantik yang memahami niat pengguna, hingga mesin rekomendasi yang menampilkan konten yang relevan, hingga Retrieval-Augmented Generation (RAG) dan Agen AI yang mendasarkan respons LLM pada informasi yang nyata dan terbaru. Perusahaan teknologi besar, termasuk Google, mengandalkan teknologi ini dalam skala besar untuk memproses miliaran penelusuran, rekomendasi, dan perujukan setiap hari.
Namun, membangun penelusuran vektor yang siap produksi tetap menjadi tantangan. Baru-baru ini, Google merilis Vertex AI Penelusuran Vektor 2.0 untuk mengubahnya — layanan terkelola sepenuhnya yang dirancang untuk menghilangkan kompleksitas desain dan operasional yang memperlambat tim.
Mengapa Penelusuran Vektor Lebih Sulit daripada yang Terlihat
Konsepnya sederhana. Penerapannya? Di sinilah semuanya menjadi rumit.
Pembuatan embedding. Penelusuran vektor memerlukan konversi data Anda menjadi representasi numerik (embedding) yang menangkap makna semantik. Artinya, Anda perlu memanggil API embedding, mengelompokkan permintaan, menangani batas kecepatan, dan menyimpan vektor. Setiap kali data Anda berubah, Anda menjalankan kembali pipeline. Infrastruktur ini harus Anda bangun sebelum Anda dapat mulai melakukan penelusuran.
Feature store. Banyak produk penelusuran vektor hanya menyediakan indeks vektor yang menampilkan daftar ID item untuk setiap penelusuran. Untuk menayangkan hasil penelusuran lengkap kepada pengguna, Anda memerlukan penyimpanan fitur atau penyimpanan key-value terpisah untuk mengambil data item sebenarnya — nama, harga, kategori, URL gambar dalam milidetik — dengan meneruskan ID tersebut. Dalam banyak kasus, Anda juga perlu menerapkan pemfilteran yang kompleks pada fitur item seperti harga, kategori, atau ketersediaan. Artinya, Anda harus membangun dan memelihara dua layanan yang berbeda: satu untuk penelusuran vektor, satu untuk pengambilan dan pemfilteran data. Setiap pembaruan dan kueri memerlukan akses dan sinkronisasi kedua sistem.
Penyesuaian indeks. Untuk membuat indeks approximate nearest neighbor (ANN) dengan jutaan item, Anda perlu membuat keputusan ahli untuk mendapatkan performa terbaik: Berapa banyak item yang harus ditampung setiap node indeks? Berapa persentase indeks yang harus dipindai per kueri untuk menyeimbangkan perolehan dengan latensi? Berapa ukuran shard yang cocok dengan set data Anda? Ini adalah keputusan infrastruktur ML yang tidak ada hubungannya dengan produk Anda yang sebenarnya.
Penelusuran campuran. Penelusuran semantik unggul dalam memahami maksud — menemukan "Celana Board" saat pengguna menelusuri "pakaian pria untuk pantai". Namun, model ini gagal pada kode produk seperti "SKU-12345" yang tidak memiliki makna semantik, dan kesulitan dengan istilah atau nama merek baru yang belum pernah dilihat oleh model sematan. Penelusuran kata kunci menangani kasus ini, tetapi tidak memiliki konteks semantik. Pengguna membutuhkan keduanya, itulah sebabnya penelusuran campuran menjadi sangat penting. Namun, membangunnya tidaklah mudah. Anda memerlukan mesin telusur teks lengkap dengan tokenisasi, indeks terbalik, atau embedding jarang — selain mesin penelusuran vektor Anda. Kemudian, Anda harus menjalankan kueri paralel di kedua mesin telusur, menormalisasi sistem penilaian yang berbeda, dan menggabungkan hasil dengan teknik seperti Reciprocal Rank Fusion.
Cara Penelusuran Vektor 2.0 Menyelesaikan Masalah Ini
Penelusuran Vektor 2.0 di Google Cloud secara langsung mengatasi setiap tantangan ini:
Dalam workshop ini, kita akan membangun penelusuran hibrida yang dikelola sepenuhnya menggunakan 10.000 produk fashion dari set data e-commerce TheLook.
Apa itu Penelusuran Vektor 2.0?
Penelusuran Vektor 2.0 adalah database vektor yang dapat disesuaikan sendiri dan terkelola sepenuhnya dari Google Cloud yang dibangun berdasarkan algoritma ScaNN (Scalable Nearest Neighbors) Google - teknologi yang sama yang mendukung Google Penelusuran, YouTube, dan Google Play.
Pembeda Utama
- Pengindeksan Nol hingga Pengindeksan Skala Miliaran: Mulai kembangkan segera dengan waktu pengindeksan nol menggunakan kNN (k-Nearest Neighbors), lalu lakukan penskalaan hingga miliaran vektor dengan latensi milidetik menggunakan indeks ANN (Approximate Nearest Neighbor) skala Google untuk produksi - semuanya dengan API dan set data yang sama
- Penyimpanan Data Terpadu: Simpan embedding vektor dan data yang disediakan pengguna secara bersamaan (tidak memerlukan database atau penyimpanan fitur terpisah)
- Embedding Otomatis: Membuat embedding semantik secara otomatis menggunakan model embedding Vertex AI
- Penelusuran Teks Lengkap Bawaan: Menyediakan penelusuran teks lengkap bawaan tanpa perlu membuat embedding renggang sendiri. Anda juga dapat memilih untuk menggunakan embedding jarang Anda sendiri (misalnya, BM25, SPLADE) dengan Penelusuran Vektor untuk penelusuran teks lengkap yang disesuaikan.
- Penelusuran Hybrid: Gabungkan penelusuran semantik dan berbasis kata kunci/token dalam satu kueri dengan peringkat RRF cerdas
- Penyesuaian Mandiri: Performa yang dioptimalkan otomatis tanpa konfigurasi manual
- Siap Digunakan Perusahaan: Skalabilitas, keamanan, dan kepatuhan bawaan
Arsitektur Inti
Penelusuran Vektor 2.0 memiliki tiga komponen utama:
- Koleksi: Penampung yang menerapkan skema untuk data Anda
- Objek Data: Item individual dengan data dan penyematan vektor
- Indeks: Lakukan penelusuran tetangga terdekat instan pada data Anda dengan kNN. Untuk penelusuran tetangga terdekat dengan latensi rendah, gunakan indeks ANN.
- Mulai dengan cepat: Gunakan kNN secara langsung tanpa waktu penyiapan - cocok untuk pengembangan dan set data kecil
- Menskalakan ke produksi: Gunakan indeks ANN untuk penelusuran skala miliaran dengan latensi di bawah satu detik yang didukung oleh algoritma ScaNN
Mari kita pelajari setiap konsep dengan contoh praktik.
2. Membangun Penelusuran Fashion TheLook
Bayangkan seorang pelanggan membuka situs e-commerce Anda dan mengetik "sesuatu yang lucu untuk liburan di pantai". Dengan penelusuran kata kunci tradisional, mereka akan mendapatkan nol hasil — tidak ada produk dalam katalog Anda yang berisi kata-kata persis tersebut. Frustrasi, mereka pergi.
Sekarang, bayangkan pengalaman yang berbeda. Kueri yang sama menampilkan gaun musim panas, penutup pakaian renang, dan celana pendek longgar — produk yang sangat cocok dengan keinginan pelanggan, meskipun tidak ada yang berisi kata "pantai" dalam judulnya. Itulah pengalaman yang memungkinkan penelusuran vektor.
Untuk mendemonstrasikan bagaimana Penelusuran Vektor 2.0 memungkinkan hal ini, kita akan membangun sistem penelusuran produk menggunakan TheLook, set data e-commerce realistis dengan 30.000 item fashion di 26 kategori. Setiap produk memiliki atribut yang dapat Anda temukan dalam katalog nyata:
Tantangan Penelusuran yang Akan Kita Selesaikan
Pelanggan sungguhan tidak melakukan penelusuran seperti yang diharapkan database. Mereka menelusuri sesuai dengan cara berpikir mereka:
Penelusuran Vektor 2.0 memecahkan keempat tantangan tersebut dengan arsitektur terpadu.
Arsitektur Data Penelusuran Vektor 2.0
Sebelum membahas kode, mari kita pahami cara Penelusuran Vektor 2.0 mengatur data Anda. Arsitektur ini berpusat pada tiga konsep utama: Kumpulan, Objek Data, dan Indeks.
Koleksi menentukan struktur data Anda — kolom yang ingin Anda simpan dan kolom yang harus disematkan. Objek Data adalah item sebenarnya (produk, dokumen, gambar) yang disimpan dalam Koleksi, yang masing-masing memiliki data dan vektor yang dibuat otomatis atau vektor Anda sendiri. Indeks mengoptimalkan kueri dalam skala besar, sehingga memungkinkan latensi milidetik di miliaran item. Anda dapat memulai tanpa indeks untuk pengembangan dengan waktu penyiapan nol, lalu menambahkan indeks saat Anda memerlukan performa produksi.
Membangun Penelusuran TheLook: Langkah demi Langkah
Sekarang, mari kita bangun sistem penelusuran produk yang berfungsi. Kita akan memuat 10.000 item fashion dari TheLook, mengaktifkan penyematan otomatis, dan menjalankan penelusuran semantik, kata kunci, dan campuran — semuanya dalam sekitar 50 baris kode.
Buka notebook: Pengantar Vertex AI Penelusuran Vektor 2.0
Cara Kerja Penelusuran Hybrid
Penelusuran Vektor 2.0 mendukung tiga mode penelusuran: penelusuran semantik (memahami intent melalui embedding), penelusuran teks (pencocokan kata kunci), dan penelusuran campuran (menggabungkan keduanya). Penelusuran hybrid memberikan hasil terbaik untuk sebagian besar kasus penggunaan — penelusuran semantik menemukan "Celana Board" saat pengguna menelusuri "pakaian pria untuk pantai", sementara penelusuran teks memastikan kecocokan persis seperti kode produk tidak terlewatkan.
Mengapa Embedding Jenis Tugas Penting
Perhatikan parameter task_type dalam kode di atas: RETRIEVAL_DOCUMENT saat mengindeks produk, dan QUESTION_ANSWERING saat menelusuri. Hal ini tidak sembarangan—ini adalah teknik utama untuk meningkatkan kualitas penelusuran dengan memungkinkan model penyematan berfungsi seperti model rekomendasi.
Sebagian besar kasus penggunaan penelusuran vektor mengandalkan pencocokan kemiripan sederhana, tetapi hal ini sering kali gagal memberikan kualitas penelusuran tingkat produksi karena pertanyaan dan jawaban tidak memiliki kemiripan yang melekat dalam ruang embedding. "Apa yang cocok untuk liburan di pantai?" dan "Celana Board" memiliki semantik yang berbeda, tetapi harus cocok. Embedding jenis tugas memecahkan masalah ini dengan mengoptimalkan model embedding untuk hubungan asimetris: dokumen disematkan secara berbeda dari kueri, sehingga membuat ruang embedding tempat kecocokan yang relevan dikelompokkan bersama — menambahkan kemampuan rekomendasi, menemukan item yang relevan berdasarkan niat pengguna.
Penggunaan sematan khusus tugas dapat meningkatkan kualitas penelusuran sebesar 30–40% dibandingkan dengan sematan umum. Untuk mempelajari lebih lanjut cara kerjanya, lihat notebook Penyematan Jenis Tugas.
Dari Skala Nol hingga Miliaran
Untuk produksi dalam skala besar, Penelusuran Vektor 2.0 menawarkan indeks ANN (Approximate Nearest Neighbor) yang didukung oleh algoritma ScaNN (Scalable Nearest Neighbors) Google — teknologi yang sama di balik Google Penelusuran, YouTube, dan Google Play. ANN mengorbankan sedikit akurasi (~99%) untuk mendapatkan peningkatan kecepatan yang sangat besar: latensi di bawah 10 md bahkan dengan miliaran vektor.
Gambaran Lengkap
Hanya dalam lima langkah — dengan langkah 1 hingga 4 yang hanya memerlukan waktu sekitar 5 menit — kami membangun sistem penelusuran produk yang siap produksi:
Vector Search 2.0 menghilangkan kompleksitas infrastruktur yang biasanya memperlambat adopsi penelusuran vektor. Anda berfokus pada produk Anda; platform menangani penyematan, pengindeksan, dan penskalaan.
3. Selamat
Selamat, Anda berhasil membuat aplikasi pertama Anda dengan Penelusuran Vektor 2.0!