|
此版本仍在开发中,尚未被视为稳定版。如需最新的快照版本,请使用 Spring AI 1.1.3! |
Oracle Cloud Infrastructure (OCI) GenAI 嵌入
OCI GenAI 服务提供按需模型或专用 AI 集群的文本嵌入功能。
OCI 嵌入模型页面和OCI 文本嵌入页面提供了有关在 OCI 上使用和托管嵌入模型的详细信息。
Auto-configuration
|
Spring AI自动配置和starter模块的artifact名称有了重大变化。 请参阅升级说明获取更多信息。 |
Spring AI 为 OCI GenAI Embedding Client 提供 Spring Boot 自动配置。
要启用它,请将以下依赖项添加到项目的 Maven pom.xml 文件中:
<dependency>
<groupId>org.springframework.ai</groupId>
<artifactId>spring-ai-starter-model-oci-genai</artifactId>
</dependency>
请将以下内容添加到您的Gradle build.gradle 构建文件中。
dependencies {
implementation 'org.springframework.ai:spring-ai-starter-model-oci-genai'
}
| 请参阅依赖管理部分,将Spring AI BOM添加到您的构建文件中。 |
嵌入属性
The prefix spring.ai.oci.genai 是配置连接到 OCI GenAI 的属性前缀。
| <property> </property> | <description> </description> | 默认 |
|---|---|---|
spring.ai.oci.genai.authenticationType |
当向OCI进行身份验证时要使用的认证类型。可能的值为 |
file |
spring.ai.oci.genai.region |
OCI服务区域。 |
us-chicago-1 |
spring.ai.oci.genai.tenantId |
当使用 |
- |
spring.ai.oci.genai.userId |
OCI用户OCID,用于使用 |
- |
spring.ai.oci.genai.fingerprint |
私钥指纹,在使用 |
- |
spring.ai.oci.genai.privateKey |
私钥内容,在使用 |
- |
spring.ai.oci.genai.passPhrase |
使用 |
- |
spring.ai.oci.genai.file |
OCI配置文件路径。用于使用 |
<user’s home directory>/.oci/config |
spring.ai.oci.genai.profile |
OCI配置文件名称。在使用 |
默认 |
spring.ai.oci.genai.endpoint |
可选的OCI GenAI 端点。 |
- |
|
嵌入自动配置的启用和禁用现在通过前缀为 要启用,请设置 spring.ai.model.embedding=oci-genai(默认已启用) 要禁用,请设置 spring.ai.model.embedding=none(或任何不匹配 oci-genai 的值) 此更改是为了允许配置多个模型。 |
前缀 spring.ai.oci.genai.embedding 是用于配置 OCI GenAI 的 EmbeddingModel 实现的属性前缀。
| <property> </property> | <description> </description> | 默认 |
|---|---|---|
spring.ai.oci.genai.embedding.enabled(已移除且不再生效) |
启用 OCI GenAI 嵌入模型。 |
true |
spring.ai.model.embedding |
启用 OCI GenAI 嵌入模型。 |
oci-genai |
spring.ai.oci.genai.embedding.compartment |
模型隔间OCID。 |
- |
spring.ai.oci.genai.embedding.servingMode |
要使用的模型服务模式。可能为 |
on-demand |
spring.ai.oci.genai.embedding.truncate |
如何在文本超出嵌入上下文时进行截断。可以是 |
结束 |
spring.ai.oci.genai.embedding.model |
用于嵌入的模型或模型端点。 |
- |
所有以spring.ai.oci.genai.embedding.options开头的属性可以在运行时通过向EmbeddingRequest调用添加请求特定的运行时选项来覆盖。 |
运行时选项
OCIEmbeddingOptions 提供嵌入请求的配置信息。
OCIEmbeddingOptions 提供用于创建选项的构建器。
在启动时,使用 OCIEmbeddingOptions 构造函数来设置所有嵌入请求的默认选项。
在运行时,您可以通过向 EmbeddingRequest 请求传递一个包含您自定义设置的 OCIEmbeddingOptions 实例来覆盖默认选项。
例如,要为特定请求覆盖默认模型名称:
EmbeddingResponse embeddingResponse = embeddingModel.call(
new EmbeddingRequest(List.of("Hello World", "World is big and salvation is near"),
OCIEmbeddingOptions.builder()
.model("my-other-embedding-model")
.build()
));
示例代码
这将创建一个您可以注入到类中的 EmbeddingModel 实现。
下面是一个使用 EmbeddingModel 实现的简单 @Controller 类示例。
spring.ai.oci.genai.embedding.model=<your model>
spring.ai.oci.genai.embedding.compartment=<your model compartment>
@RestController
public class EmbeddingController {
private final EmbeddingModel embeddingModel;
@Autowired
public EmbeddingController(EmbeddingModel embeddingModel) {
this.embeddingModel = embeddingModel;
}
@GetMapping("/ai/embedding")
public Map embed(@RequestParam(value = "message", defaultValue = "Tell me a joke") String message) {
EmbeddingResponse embeddingResponse = this.embeddingModel.embedForResponse(List.of(message));
return Map.of("embedding", embeddingResponse);
}
}
手动配置
如果您不希望使用 Spring Boot 自动配置,可以在应用程序中手动配置OCIEmbeddingModel。
为此,请将spring-oci-genai-openai依赖项添加到项目的 Maven pom.xml文件中:
<dependency>
<groupId>org.springframework.ai</groupId>
<artifactId>spring-oci-genai-openai</artifactId>
</dependency>
请将以下内容添加到您的Gradle build.gradle 构建文件中。
dependencies {
implementation 'org.springframework.ai:spring-oci-genai-openai'
}
| 请参阅依赖管理部分,将Spring AI BOM添加到您的构建文件中。 |
接下来,创建一个 OCIEmbeddingModel 实例,并使用它来计算两个输入文本之间的相似度:
final String EMBEDDING_MODEL = "cohere.embed-english-light-v2.0";
final String CONFIG_FILE = Paths.get(System.getProperty("user.home"), ".oci", "config").toString();
final String PROFILE = "DEFAULT";
final String REGION = "us-chicago-1";
final String COMPARTMENT_ID = System.getenv("OCI_COMPARTMENT_ID");
var authProvider = new ConfigFileAuthenticationDetailsProvider(
this.CONFIG_FILE, this.PROFILE);
var aiClient = GenerativeAiInferenceClient.builder()
.region(Region.valueOf(this.REGION))
.build(this.authProvider);
var options = OCIEmbeddingOptions.builder()
.model(this.EMBEDDING_MODEL)
.compartment(this.COMPARTMENT_ID)
.servingMode("on-demand")
.build();
var embeddingModel = new OCIEmbeddingModel(this.aiClient, this.options);
List<Double> embedding = this.embeddingModel.embed(new Document("How many provinces are in Canada?"));