1. Введение
Последнее обновление: 04.03.2026
Vector search , or Vector database, has become a foundational technology for modern AI systems. By representing data as high-dimensional embeddings that capture semantic meaning, it powers everything from semantic search that understands user intent, to recommendation engines that surface relevant content, to Retrieval-Augmented Generation (RAG) and AI Agents that ground LLM responses in real, up-to-date information. Major tech companies including Google rely on this technology at massive scale to process billions of searches, recommendations and groundings daily.
Однако создание готовых к использованию векторных поисковых систем по-прежнему остается сложной задачей. Недавно Google выпустил Vertex AI Vector Search 2.0, чтобы изменить это — полностью управляемый сервис, разработанный для устранения сложностей проектирования и эксплуатации, которые замедляют работу команд.
Почему векторный поиск сложнее, чем кажется
Концепция проста. А вот реализация? Вот тут-то и начинаются сложности.
The embedding generation. Vector search requires converting your data into numerical representations (embeddings) that capture semantic meaning. This means you need to call an embedding API , batch your requests, handle rate limits, and store the vectors. Every time your data changes, you re-run the pipeline. It's infrastructure you have to build before you can even start searching.
The feature store. Many vector search products provide only a vector index that returns a list of item IDs for each search. To serve full search results to users, you need a separate feature store or key-value store to retrieve the actual item data — names, prices, categories, image URLs in millisecs — by passing those IDs. In many cases, you also need to implement complex filtering on item features such as price, category, or availability. This means building and maintaining two different services: one for vector search, one for data retrieval and filtering. Every update and query requires accessing and syncing both systems.
The index tuning. To build approximate nearest neighbor (ANN) indexes with millions of items, you need to make expert decisions to get the best performance: How many items should each index node hold? What percentage of the index should be scanned per query to balance recall against latency? What shard size matches your dataset? These are ML infrastructure decisions that have nothing to do with your actual product.
The hybrid search. Semantic search excels at understanding intent — finding "Board Shorts" when users search "men's outfit for beach." But it fails on product codes like "SKU-12345" that have no semantic meaning, and struggles with newly coined terms or brand names the embedding model has never seen. Keyword search handles these cases but misses semantic context. Users need both, which is why hybrid search has become essential. Building it, however, is far from trivial. You need a full-text search engine with tokenization, inverted indexes, or sparse embeddings — in addition to your vector search engine. Then you must run parallel queries on both engines, normalize their different scoring systems, and merge results with techniques like Reciprocal Rank Fusion.
Как Vector Search 2.0 решает эти проблемы
Технология Vector Search 2.0 в Google Cloud напрямую решает каждую из этих задач:
На этом мастер-классе мы создадим полностью управляемый гибридный поиск, используя 10 000 товаров модной индустрии из набора данных TheLook об электронной коммерции .
Что такое векторный поиск 2.0?
Vector Search 2.0 — это полностью управляемая, самонастраивающаяся векторная база данных от Google Cloud, построенная на алгоритме Google ScaNN (Scalable Nearest Neighbors) — той же технологии, которая используется в Google Поиске, YouTube и Google Play.
Ключевые отличия
- От нулевой индексации до индексации миллиардов векторов : начните разработку немедленно с нулевой задержкой индексации, используя kNN (метод k-ближайших соседей) , а затем масштабируйте до миллиардов векторов с задержкой в миллисекунды с помощью индексов ANN (приблизительных ближайших соседей) масштаба Google для производственной среды — все с тем же API и тем же набором данных.
- Единое хранилище данных : храните вместе векторные представления и предоставленные пользователем данные (отдельная база данных или хранилище признаков не требуется).
- Автоматическое создание эмбеддингов : автоматическое создание семантических эмбеддингов с использованием моделей эмбеддингов Vertex AI.
- Встроенный полнотекстовый поиск : обеспечивает встроенный полнотекстовый поиск без необходимости самостоятельного создания разреженных векторных представлений. Вы также можете использовать собственные разреженные векторные представления (например, BM25, SPLADE) с векторным поиском для настраиваемого полнотекстового поиска.
- Гибридный поиск : объединение семантического поиска и поиска по ключевым словам/токенам в одном запросе с интеллектуальным ранжированием RRF.
- Самонастройка : автоматическая оптимизация производительности без ручной настройки.
- Готовность к использованию в корпоративной среде : встроенная масштабируемость, безопасность и соответствие нормативным требованиям.
Базовая архитектура
Vector Search 2.0 состоит из трех основных компонентов:
- Коллекции : контейнеры для ваших данных, использующие схему хранения.
- Объекты данных : Отдельные элементы, содержащие данные и векторные представления.
- Индексы : Мгновенный поиск ближайшего соседа в ваших данных с помощью алгоритма kNN. Для поиска ближайшего соседа с низкой задержкой используйте индекс ANN.
- Быстрый старт : используйте kNN немедленно, без времени на настройку — идеально подходит для разработки и небольших наборов данных.
- Масштабирование до уровня производства : используйте индексы ANN для поиска в масштабах миллиардов запросов с задержкой менее секунды на основе алгоритма ScaNN.
Давайте рассмотрим каждую концепцию на практических примерах!
2. Создание образа в рамках модного поиска.
Представьте, что покупатель заходит на ваш сайт интернет-магазина и вводит в поиск «что-нибудь милое для пляжного отдыха». При традиционном поиске по ключевым словам он не получает никаких результатов — в вашем каталоге нет товаров, содержащих именно эти слова. Разочарованный, он уходит.
Теперь представьте себе другую ситуацию. Тот же запрос возвращает сарафаны, пляжные накидки и свободные шорты — товары, которые идеально соответствуют представлениям покупателя, даже несмотря на то, что ни в одном из них нет слова «пляж». Именно это и обеспечивает векторный поиск по запросу.
Чтобы продемонстрировать, как Vector Search 2.0 делает это возможным, мы создадим систему поиска товаров, используя TheLook — реалистичный набор данных для электронной коммерции, содержащий 30 000 товаров модной одежды в 26 категориях. Каждый товар имеет атрибуты, которые вы найдете в любом реальном каталоге:
Поисковые задачи, которые мы решим
Реальные клиенты ищут информацию не так, как это ожидают базы данных. Они ищут так, как думают:
Vector Search 2.0 решает все четыре задачи благодаря единой архитектуре.
Архитектура данных векторного поиска 2.0
Прежде чем перейти к коду, давайте разберемся, как Vector Search 2.0 организует ваши данные. Архитектура основана на трех ключевых концепциях: коллекциях, объектах данных и индексах.
A Collection defines your data structure — the fields you want to store and which ones should be embedded. Data Objects are the actual items (products, documents, images) stored in a Collection, each with its data and auto-generated vectors or your own vectors. An Index optimizes queries at scale, enabling millisec latency across billions of items. You can start without an index for development with zero setup time, then add one when you need production performance.
Создание поисковой выдачи TheLook: шаг за шагом
Теперь давайте создадим работающую систему поиска товаров. Мы загрузим 10 000 товаров из раздела «Мода» на сайте TheLook, включим автоматическое встраивание и выполним семантический, ключевой и гибридный поиск — и всё это примерно за 50 строк кода.
Откройте блокнот: Введение в Vertex AI Vector Search 2.0
Гибридный поиск в действии
Vector Search 2.0 поддерживает три режима поиска: семантический поиск (понимает намерение пользователя с помощью векторных представлений), текстовый поиск (сопоставление ключевых слов) и гибридный поиск (сочетает оба). Гибридный поиск дает наилучшие результаты в большинстве случаев: семантический поиск находит «пляжные шорты», когда пользователи ищут «мужскую одежду для пляжа», а текстовый поиск гарантирует точное совпадение, например, не пропускает коды товаров.
Почему важны векторные представления типов задач
Обратите внимание на параметры task_type в приведенном выше коде: RETRIEVAL_DOCUMENT при индексировании продуктов и QUESTION_ANSWERING при поиске. Это не случайно — это ключевой метод повышения качества поиска, позволяющий модели встраивания работать как рекомендательная модель.
Most vector search use cases rely on simple similarity matching, but this often fails to provide production-level search quality because questions and answers aren't inherently similar in embedding space. "What's good for a beach vacation?" and "Board Shorts" have different semantics, yet they should match. Task type embeddings solve this by optimizing the embedding model for asymmetric relationships: documents are embedded differently than queries, creating an embedding space where relevant matches cluster together — adding the capability of recommendation, finding relevant items based on user intent.
Использование векторных представлений, специфичных для конкретной задачи, может улучшить качество поиска на 30–40% по сравнению с общими векторными представлениями. Более подробное описание принципа работы см. в блокноте «Векторные представления для типов задач» .
От нуля до миллиардного масштаба
Для масштабного производства Vector Search 2.0 предлагает индексы ANN (Approximate Nearest Neighbor), основанные на алгоритме Google ScaNN (Scalable Nearest Neighbors) — той же технологии, что используется в Google Search, YouTube и Google Play. ANN жертвует незначительной точностью (~99%) ради значительного увеличения скорости: задержка менее 10 мс даже при работе с миллиардами векторов.
Полная картина
Всего за пять шагов — при этом шаги с 1 по 4 занимают около 5 минут — мы создали готовую к внедрению систему поиска товаров:
Vector Search 2.0 устраняет инфраструктурную сложность, которая обычно замедляет внедрение векторного поиска. Вы сосредотачиваетесь на своем продукте; платформа берет на себя встраивание данных, индексирование и масштабирование.
3. Поздравляем!
Поздравляем, вы успешно создали свое первое приложение с помощью Vector Search 2.0!