使用 Spanner、矢量搜索和构建专利搜索应用Gemini 1.0 Pro！

1. 概览

对于不同行业，专利研究是了解竞争格局、发现潜在的许可或收购机会以及避免侵犯现有专利的关键工具。

专利研究既广泛又复杂。从无数的技术抽象中过滤出来相关的创新是一项艰巨的任务。基于关键字的传统搜索往往不准确且非常耗时。摘要过长且技术性较强，因此很难快速掌握其核心内容。这可能导致研究人员缺少关键专利，或者将时间浪费在不相关的结果上。

目标

在此 Codelab 中，我们将利用 Spanner 以及现有 Gemini 1.0 Pro、嵌入和向量搜索，打造更快速、更直观、异常精确的专利搜索流程。

构建内容

在本实验中，您将：

1. 创建 Spanner 实例
2. 加载 Google 专利公开数据集
3. 使用 Gemini 1.0 Pro 模型创建用于文本嵌入的远程模型
4. 根据加载的数据集创建生成式洞见
5. 根据数据洞见生成嵌入
6. 针对数据集发出相似度搜索查询

下图显示了数据流和实现中所涉及的步骤。

要求

• 一个浏览器，例如 Chrome 或 Firefox
• 启用了结算功能的 Google Cloud 项目。

2. 准备工作

创建项目

1. 在 Google Cloud Console 的项目选择器页面上，选择或创建一个 Google Cloud 项目。
2. 确保您的 Cloud 项目已启用结算功能。了解如何检查项目是否已启用结算功能。
3. 您将使用 Cloud Shell，这是一个在 Google Cloud 中运行的命令行环境，它预加载了 bq。点击 Google Cloud 控制台顶部的“激活 Cloud Shell”。

4. 在连接到 Cloud Shell 后，您可以使用以下命令检查是否已通过身份验证，以及项目是否已设置为您的项目 ID：

gcloud auth list

5. 在 Cloud Shell 中运行以下命令，以确认 gcloud 命令了解您的项目。

gcloud config list project

6. 如果项目未设置，请使用以下命令进行设置：

gcloud config set project <YOUR_PROJECT_ID>

7. 在控制台中搜索，确保已启用 Vertex AI API 和 Spanner API。或者，您也可以在 Cloud Shell 终端中使用以下命令：

gcloud services enable spanner.googleapis.com --project <<YOUR_PROJECT_ID>>
gcloud services enable aiplatform.googleapis.com --project <<YOUR_PROJECT_ID>>

您也可以使用此链接。

如需了解 gcloud 命令和用法，请参阅文档。

3. 准备 Spanner 数据库

让我们创建一个将加载专利数据集的 Spanner 实例、数据库和表。

创建 Spanner 实例

1. 创建一个名为 spanner-vertex 的 Spanner 实例。

gcloud spanner instances create spanner-vertex \
--config=regional-us-central1 \
--description=spanner-vertex \
--nodes=1

创建数据库

1. 在 Google Cloud 控制台中，打开 Spanner 页面。
2. 从列表中选择 spanner-vertex 实例。
3. 在“数据库”下，点击创建数据库。
4. 将数据库名称设置为“专利”。
5. 点击创建以创建数据库。

创建表

6. 在 Google Cloud 控制台中，打开 Spanner 页面。
7. 从列表中选择 spanner-vertex 实例。
8. 选择 patents 数据库。
9. 在表标签页下，点击创建表。系统随即会打开 Spanner Studio 页面。
10. 点击新建 SQL 编辑器标签页打开一个新标签页。
11. 请运行以下查询：

CREATE TABLE patents_data (
   id string(25), type string(25), number string(20), country string(2), date string(20), abstract string(300000), title string(100000),kind string(5), num_claims numeric, filename string(100), withdrawn numeric, 
) PRIMARY KEY (id);

4. 将专利数据加载到数据库中

BigQuery 上的 Google 专利公开数据集将用作我们的数据集。我们将使用 Spanner Studio 运行查询。spanner-gemini-search 代码库包含我们将运行的 insert_into_patents_data.sql 脚本，用于加载专利数据。

1. 在 Google Cloud 控制台中，打开 Spanner 页面。
2. 从列表中选择 spanner-vertex 实例。
3. 选择 patents 数据库。
4. 在导航菜单中，点击 Spanner Studio。Explorer窗格会显示数据库中的对象列表。
5. 点击新建 SQL 编辑器标签页打开一个新标签页。
6. 从编辑器中的 insert_into_patents_data.sql 脚本中复制 insert 查询语句。您可以复制 50-100 个插入语句，以便快速演示此用例。
7. 点击运行。查询结果会显示在结果表中。

5. 创建 Gemini 1.0 Pro 远程模型

专利数据加载到数据库后，我们将创建一个远程模型，使用 Gemini 1.0 Pro Vertex AI 模型生成标题和关键字摘要。

在 Spanner Studio 编辑器中运行以下 DDL 命令：

1. 在导航菜单中，点击 Spanner Studio。Explorer窗格会显示数据库中的对象列表。
2. 点击新建 SQL 编辑器标签页打开一个新标签页。
3. 请运行以下查询：

CREATE MODEL gemini_pro_model INPUT(
prompt STRING(MAX),
) OUTPUT(
content STRING(MAX),
) REMOTE OPTIONS (
endpoint = '//aiplatform.googleapis.com/projects/<<YOUR_PROJECT_ID>>/locations/us-central1/publishers/google/models/gemini-pro',
default_batch_size = 1
);

4. 点击运行。查询结果会显示在结果表中。

6. 创建文本嵌入的远程模型

上一步的结果中会包含一个包含标题和关键字的合并摘要。我们会将此响应转换为嵌入，以便在运行查询时生成适当的匹配。我们将在 Spanner 中远程使用 Vertex AI 中的 Text Embedding Gecko 003 model。

1. 在导航菜单中，点击 Spanner Studio。Explorer窗格会显示数据库中的对象列表。
2. 点击新建 SQL 编辑器标签页打开一个新标签页。
3. 请运行以下查询：

CREATE MODEL text_embeddings INPUT(content STRING(MAX))
OUTPUT(
 embeddings
   STRUCT<
     statistics STRUCT<truncated BOOL, token_count FLOAT64>,
     values ARRAY<FLOAT64>>
)
REMOTE OPTIONS (
 endpoint = '//aiplatform.googleapis.com/projects/<<YOUR_PROJECT_ID>>/locations/us-central1/publishers/google/models/textembedding-gecko@003');

4. 点击运行。查询结果会显示在结果表中。

7. 根据专利摘要创建生成式洞见

我们将创建一个 patents_data_gemini 表来存储使用之前创建的 Gemini 1.5 Pro 模型生成的生成式数据洞见。

创建表

1. 在导航菜单中，点击 Spanner Studio。Explorer窗格会显示数据库中的对象列表。
2. 点击新建 SQL 编辑器标签页打开一个新标签页。
3. 请运行以下查询：

CREATE TABLE patents_data_gemini (id string(100), gemini_response STRING(MAX)) PRIMARY KEY (id);

4. 点击运行。查询结果会显示在结果表中。

生成洞见

如需使用生成式数据分析填充表，建议您使用使用批量写入或变更方法的应用。对于此 Codelab，我们将运行以下 DDL 查询（最多 4 次）来填充表。

INSERT INTO patents_data_gemini (id, gemini_response)
SELECT id, content as gemini_response
FROM ML.PREDICT(MODEL gemini_pro_model,
(select id, concat ('Identify the areas of work or keywords in this abstract', abstract) as prompt from patents_data b where id not in (select id from patents_data_gemini) limit 50
));

注意：如果您在此步骤中遇到“超出配额”错误（可能是在免费赠金金额较少的情况下），请尝试跳过插入操作，仅运行下方解决方案部分中的选定查询。

“权宜解决方法”部分：

SELECT id, content as gemini_response
FROM ML.PREDICT(MODEL gemini_pro_model,
(select id, concat ('Identify the areas of work or keywords in this abstract', abstract) as prompt from patents_data b limit 50
))

观察数据分析

该表包含为查询中的 'Identify the areas of work or keywords in this abstract', 提示生成的数据分析。

注意：如果您运行了上面的解决方法部分查询而不是 INSERT DDL，则请跳过此部分，改为运行本页面中的最后一个 SELECT 查询。

我们运行以下查询来验证数据分析结果：

select title, abstract, gemini_response from patents_data a inner join patents_data_gemini b
on a.id = b.id;

显示的结果如下：

注意：如果您运行了“变通方案”部分查询，请将上述 select 查询中的表名称替换为“变通方案”部分中的查询。因此，您应改为运行以下命令：

select title, abstract, gemini_response from patents_data a inner join (SELECT id, content as gemini_response
FROM ML.PREDICT(MODEL gemini_pro_model,
(select id, concat ('Identify the areas of work or keywords in this abstract', abstract) as prompt from patents_data b limit 50
))) b
on a.id = b.id;

结果应该与上方结果屏幕截图中的结果相同。

8. 为生成的数据分析生成嵌入

填充表中的数据分析后，我们现在可以使用这些数据分析生成嵌入。这些嵌入有助于我们不依赖于完全匹配的关键字匹配，但有助于根据概念相似度生成结果。

注意：如果您在上一步中运行了“变通方案”部分查询，则可以跳过此步骤，并转到此步骤中的“变通方案”部分查询。

运行以下查询以生成嵌入：

1. 在导航菜单中，点击 Spanner Studio。Explorer窗格会显示数据库中的对象列表。
2. 点击新建 SQL 编辑器标签页打开一个新标签页。
3. 运行以下查询以创建 patents_data_embeddings 表。

CREATE TABLE patents_data_embeddings (id string(100), patents_embeddings ARRAY<FLOAT64>) PRIMARY KEY (id);

4. 点击运行。查询结果会显示在结果表中。
5. 运行以下查询以生成嵌入。

INSERT INTO patents_data_embeddings (id, patents_embeddings)
SELECT id, embeddings.values as patents_embeddings
FROM ML.PREDICT(MODEL text_embeddings,
(SELECT id, gemini_response as content FROM patents_data_gemini));

6. 点击运行。查询结果会显示在结果表中。

观察结果

该表格包含为标题和提取的文本生成的嵌入。

我们运行以下查询来验证结果：

select title, abstract, b.patents_embeddings from patents_data a inner join patents_data_embeddings b
on a.id = b.id;

显示的结果如下：

权宜解决方法部分：

如果您在其他步骤中执行了解决方法部分，请使用此查询：

select title, abstract, b.patents_embeddings from patents_data a inner join 
(SELECT id, embeddings.values as patents_embeddings
FROM ML.PREDICT(MODEL text_embeddings,
(SELECT id, gemini_response as content FROM (SELECT id, content as gemini_response
FROM ML.PREDICT(MODEL gemini_pro_model,
(select id, concat ('Identify the areas of work or keywords in this abstract', abstract) as prompt from patents_data b limit 50
)))))) b
on a.id = b.id;

这应该与上方屏幕截图中显示的结果相同。

9. 为矢量搜索做准备

现在我们已经生成了文本嵌入，接下来可以准备 Web 应用，为执行相似向量搜索做好准备了。在此 Codelab 中，我们将创建一个 Web 应用，该应用包含的逻辑可基于 K-Nearest Neighbors 相似度搜索功能提供搜索结果。您可以将这个准备好的数据集与搜索应用结合使用，以便直观呈现搜索结果。

在我们的 Codelab 中，我们将运行一个示例查询，用于搜索提示、根据上下文生成结果，并将结果限制为 10 个条目。

请运行以下查询：

1. 在导航菜单中，点击 Spanner Studio。Explorer窗格会显示数据库中的对象列表。
2. 点击新建 SQL 编辑器标签页打开一个新标签页。
3. 运行以下查询以创建 patents_data_embeddings 表。

SELECT a.id, a.title, a.abstract, 'A new Natural Language Processing related Machine Learning Model' search_text, COSINE_DISTANCE(c.patents_embeddings,
(SELECT embeddings.values
FROM ML.PREDICT(
MODEL text_embeddings,
(SELECT 'A new Natural Language Processing related Machine Learning Model' as content)))) as distance
FROM patents_data a inner join patents_data_gemini b on a.id = b.id
inner join patents_data_embeddings c on a.id = c.id
ORDER BY distance
LIMIT 10;

4. 点击运行。查询结果会显示在结果表中。

注意：如果您使用了解决方法部分中的查询，由于其中一个最早插入语句中存在配额错误，您可以跳过所有其他步骤，直接运行以下查询，观察对 Spanner 数据库中向量嵌入执行最近邻搜索的结果：

SELECT a.id, a.title, a.abstract, 'A new Natural Language Processing related Machine Learning Model' search_text, COSINE_DISTANCE(c.patents_embeddings,
(SELECT embeddings.values
FROM ML.PREDICT(
MODEL text_embeddings,
(SELECT 'A new Natural Language Processing related Machine Learning Model' as content)))) as distance
FROM patents_data a inner join (SELECT id, embeddings.values as patents_embeddings
FROM ML.PREDICT(MODEL text_embeddings,
(SELECT id, gemini_response as content FROM (SELECT id, content as gemini_response
FROM ML.PREDICT(MODEL gemini_pro_model,
(select id, concat ('Identify the areas of work or keywords in this abstract', abstract) as prompt from patents_data b 
)))))) c on a.id = c.id
ORDER BY distance
LIMIT 2;

观察结果

前面的查询使用 COSINE_DISTANCE 方法查找与我们的提示最接近的 10 个匹配项。

显示的结果如下：

生成的结果在内容上非常接近查询中包含的提示。

10. 清理

为避免系统因本博文中使用的资源向您的 Google Cloud 账号收取费用，请按以下步骤操作：

1. 在 Google Cloud 控制台中，前往管理资源页面。
2. 在项目列表中，选择要删除的项目，然后点击删除。如果您不想删除项目，只需删除您在 Spanner 中创建的实例即可。
3. 在对话框中输入项目 ID，然后点击关停以删除项目。

11. 恭喜

恭喜！您已成功使用 Spanner 的内置向量搜索执行了相似度搜索。此外，您还看到，使用嵌入和 LLM 模型来直接使用 SQL 提供生成式 AI 功能是多么容易。

后续操作

如需详细了解 Spanner 的最近邻（KNN 矢量搜索）功能，请访问：https://cloud.google.com/spanner/docs/find-k-nearest-neighbors

您还可以访问以下网址，详细了解如何使用 Spanner 的 VertexAI 集成功能通过 SQL 执行在线预测：https://cloud.google.com/spanner/docs/ml