谷歌生成式AI文本嵌入
Google GenAI Embeddings API 通过 Gemini Developer API 或 Vertex AI 提供利用谷歌嵌入模型生成文本。 本文档介绍了如何使用 Google GenAI 文本嵌入 API 创建文本嵌入。
Google GenAI 文本嵌入 API 使用密集向量表示。 与稀疏向量倾向于直接将单词映射到数字不同,密集向量的设计是为了更好地表示文本的含义。 生成式AI中使用密集向量嵌入的好处是,你不必直接搜索词语或语法匹配,而是能更好地搜索与查询含义相符的段落,即使这些段落使用不同的语言。
|
目前,Google GenAI SDK 仅支持文本嵌入。多模态嵌入支持正在等待中,预计将在SDK中提供时添加。 |
该实现提供了两种认证模式:
-
Gemini开发者API:使用API密钥进行快速原型设计和开发
-
Vertex AI:使用Google Cloud凭证进行带有企业功能的生产部署
前提条件
请选择以下认证方法之一:
选项1:Gemini开发者API(API密钥)
-
从 Google AI Studio 获取 API 密钥
-
把API密钥设置为环境变量或应用属性中
选项二:Vertex AI(谷歌云)
-
安装适合你作系统的gcloud自定义集成链接。
-
通过执行以下命令进行认证。 取代
PROJECT_ID与你的 Google Cloud 项目 ID 以及帐户用你的Google Cloud用户名。
gcloud config set project <PROJECT_ID> &&
gcloud auth application-default login <ACCOUNT>
自动配置
|
春季AI自动配置、起始模块的工件名称发生了重大变化。 更多信息请参阅升级说明。 |
Spring AI 为 Google GenAI 嵌入模型提供 Spring Boot 自动配置。
要启用它,请在项目的Maven中添加以下依赖pom.xml文件:
<dependency>
<groupId>org.springframework.ai</groupId>
<artifactId>spring-ai-starter-model-google-genai-embedding</artifactId>
</dependency>
或者去你的Gradlebuild.gradle构建文件。
dependencies {
implementation 'org.springframework.ai:spring-ai-starter-model-google-genai-embedding'
}
| 请参考依赖管理部分,将Spring AI的物料清单添加到你的构建文件中。 |
嵌入性质
连接性质
前缀spring.ai.google.genai.embedding作为属性前缀,允许你连接到 Google GenAI 嵌入 API。
|
连接属性与 Google GenAI 聊天模块共享。如果你同时使用聊天和嵌入,只需用其中一个配置一次连接 |
| 属性 | 描述 | 默认值 |
|---|---|---|
spring.ai.google.genai.embedding.api-key |
Gemini 开发者 API 的 API 密钥。客户端提供时,使用Gemini开发者API而非Vertex AI。 |
- |
spring.ai.google.genai.embedding.project-id |
Google Cloud Platform 项目 ID(顶点 AI 模式必备) |
- |
spring.ai.google.genai.embedding.location |
Google Cloud 区域(Vertex AI 模式必备) |
- |
spring.ai.google.genai.embedding.credentials-uri |
URI到Google Cloud凭证。当它被提供时,用于创建 |
- |
|
嵌入自动配置的启用和禁用现在通过带有前缀的顶层属性配置 启用时,spring.ai.model.embedding.text=google-genai(默认启用) 要禁用,可以选择 spring.ai.model.embedding.text=none(或任何与 google-genai 不匹配的值) 此改动旨在允许配置多个模型。 |
文本嵌入属性
前缀spring.ai.google.genai.embedding.text是允许您配置 Google GenAI 文本嵌入嵌入模型实现的属性前缀。
| 属性 | 描述 | 默认值 |
|---|---|---|
spring.ai.model.embedding.text |
启用谷歌生成式AI嵌入API模型。 |
谷歌生成AI(Google Genai) |
spring.ai.google.genai.embedding.text.options.model |
谷歌生成人工智能文本嵌入模型。支持的型号包括 |
文本嵌入-004 |
spring.ai.google.genai.embedding.text.options.task-type |
旨在帮助模型产生更高质量的嵌入。可用任务类型: |
|
spring.ai.google.genai.embedding.text.options.title |
可选标题,仅在task_type=RETRIEVAL_DOCUMENT时有效。 |
- |
spring.ai.google.genai.embedding.text.options.dimensions |
输出嵌入应有的维数。支持004及以后版本。你可以利用该参数来减少嵌入大小,例如用于存储优化。 |
- |
spring.ai.google.genai.embedding.text.options.auto-truncate |
当设置为 true(true)时,输入文本会被截断。当设置为false时,如果输入文本长度超过模型支持的最大长度,则返回错误。 |
true |
采样控制器
创建一个新的 Spring Boot 项目并添加Spring-AI-starter-model-google-genai-embedding对你的POM(或Gradle)依赖。
添加一个application.properties文件,在src/主/资源目录,用于启用和配置 Google GenAI 嵌入模型:
使用 Gemini 开发者 API(API 密钥)
spring.ai.google.genai.embedding.api-key=YOUR_API_KEY
spring.ai.google.genai.embedding.text.options.model=text-embedding-004
使用 Vertex AI
spring.ai.google.genai.embedding.project-id=YOUR_PROJECT_ID
spring.ai.google.genai.embedding.location=YOUR_PROJECT_LOCATION
spring.ai.google.genai.embedding.text.options.model=text-embedding-004
这将产生GoogleGenAiTextEmbeddingModel你可以把这些实现注入到你的类里。
这里有一个简单的例子@Controller使用嵌入模型进行嵌入代的类。
@RestController
public class EmbeddingController {
private final EmbeddingModel embeddingModel;
@Autowired
public EmbeddingController(EmbeddingModel embeddingModel) {
this.embeddingModel = embeddingModel;
}
@GetMapping("/ai/embedding")
public Map embed(@RequestParam(value = "message", defaultValue = "Tell me a joke") String message) {
EmbeddingResponse embeddingResponse = this.embeddingModel.embedForResponse(List.of(message));
return Map.of("embedding", embeddingResponse);
}
}
手动配置
GoogleGenAiTextEmbeddingModel 实现了嵌入模型.
添加Spring-ai-google-genai-embedding对你项目Maven的依赖pom.xml文件:
<dependency>
<groupId>org.springframework.ai</groupId>
<artifactId>spring-ai-google-genai-embedding</artifactId>
</dependency>
或者去你的Gradlebuild.gradle构建文件。
dependencies {
implementation 'org.springframework.ai:spring-ai-google-genai-embedding'
}
| 请参考依赖管理部分,将Spring AI的物料清单添加到你的构建文件中。 |
接下来,创建一个GoogleGenAiTextEmbeddingModel并用于文本嵌入:
使用 API 密钥
GoogleGenAiEmbeddingConnectionDetails connectionDetails =
GoogleGenAiEmbeddingConnectionDetails.builder()
.apiKey(System.getenv("GOOGLE_API_KEY"))
.build();
GoogleGenAiTextEmbeddingOptions options = GoogleGenAiTextEmbeddingOptions.builder()
.model(GoogleGenAiTextEmbeddingOptions.DEFAULT_MODEL_NAME)
.taskType(TaskType.RETRIEVAL_DOCUMENT)
.build();
var embeddingModel = new GoogleGenAiTextEmbeddingModel(connectionDetails, options);
EmbeddingResponse embeddingResponse = embeddingModel
.embedForResponse(List.of("Hello World", "World is big and salvation is near"));
使用 Vertex AI
GoogleGenAiEmbeddingConnectionDetails connectionDetails =
GoogleGenAiEmbeddingConnectionDetails.builder()
.projectId(System.getenv("GOOGLE_CLOUD_PROJECT"))
.location(System.getenv("GOOGLE_CLOUD_LOCATION"))
.build();
GoogleGenAiTextEmbeddingOptions options = GoogleGenAiTextEmbeddingOptions.builder()
.model(GoogleGenAiTextEmbeddingOptions.DEFAULT_MODEL_NAME)
.taskType(TaskType.RETRIEVAL_DOCUMENT)
.build();
var embeddingModel = new GoogleGenAiTextEmbeddingModel(connectionDetails, options);
EmbeddingResponse embeddingResponse = embeddingModel
.embedForResponse(List.of("Hello World", "World is big and salvation is near"));
任务类型
Google GenAI 嵌入 API 支持不同的任务类型,以优化嵌入以适应特定用例:
-
RETRIEVAL_QUERY:针对检索系统中的搜索查询进行了优化 -
RETRIEVAL_DOCUMENT:针对检索系统中的文档进行了优化 -
SEMANTIC_SIMILARITY:用于测量文本间语义相似性 -
分类:针对文本分类任务进行了优化 -
聚类:针对相似文本的聚类进行了优化 -
QUESTION_ANSWERING:为问答系统优化 -
FACT_VERIFICATION:针对事实验证任务进行了优化
使用不同任务类型的示例:
// For indexing documents
GoogleGenAiTextEmbeddingOptions docOptions = GoogleGenAiTextEmbeddingOptions.builder()
.model("text-embedding-004")
.taskType(TaskType.RETRIEVAL_DOCUMENT)
.title("Product Documentation") // Optional title for documents
.build();
// For search queries
GoogleGenAiTextEmbeddingOptions queryOptions = GoogleGenAiTextEmbeddingOptions.builder()
.model("text-embedding-004")
.taskType(TaskType.RETRIEVAL_QUERY)
.build();
维度约简
对于型号004及以后版本,你可以减少嵌入维数以实现存储优化:
GoogleGenAiTextEmbeddingOptions options = GoogleGenAiTextEmbeddingOptions.builder()
.model("text-embedding-004")
.dimensions(256) // Reduce from default 768 to 256 dimensions
.build();
从 Vertex AI 文本嵌入迁移
如果你目前正在使用 Vertex AI 文本嵌入实现(spring-ai-vertex-ai-embedding),你可以以最小的改动迁移到 Google GenAI:
主要区别
-
SDK:谷歌生成式人工智能使用新的
com.google.genai.客户端而不是用 Vertex AI SDK -
认证:支持API密钥和Google Cloud凭证
-
软件包名称:类别已入
org.springframework.ai.google.genai.text而不是org.springframework.ai.vertexai.embedding -
属性前缀:用途
spring.ai.google.genai.embedding而不是spring.ai.vertex.ai.embedding -
连接详情:用途
谷歌GenAiEmbeddingConnectionDetails。而不是VertexAiEmbeddingConnection详情