Oracle 云基础设施(OCI)生成式AI嵌入
OCI GenAI 服务提供按需模型或专用 AI 集群的文本嵌入。
OCI 嵌入模型页面和 OCI 文本嵌入页面提供了关于在 OCI 上使用和托管嵌入模型的详细信息。
自动配置
|
春季AI自动配置、起始模块的工件名称发生了重大变化。 更多信息请参阅升级说明。 |
Spring AI 为 OCI GenAI 嵌入客户端提供 Spring Boot 自动配置。
要启用它,请在项目的Maven中添加以下依赖pom.xml文件:
<dependency>
<groupId>org.springframework.ai</groupId>
<artifactId>spring-ai-starter-model-oci-genai</artifactId>
</dependency>
或者去你的Gradlebuild.gradle构建文件。
dependencies {
implementation 'org.springframework.ai:spring-ai-starter-model-oci-genai'
}
| 请参考依赖管理部分,将Spring AI的物料清单添加到你的构建文件中。 |
嵌入性质
前缀spring.ai.oci.genai是配置与OCI GenAI连接的属性前缀。
| 属性 | 描述 | 默认值 |
|---|---|---|
spring.ai.oci.genai.authenticationType |
在向OCI进行认证时应使用的认证类型。可能 |
文件 |
spring.ai.oci.genai.region |
OCI服务区域。 |
美国-芝加哥-1 |
spring.ai.oci.genai.tenantId |
OCI 租户 OCID,用于认证 |
- |
spring.ai.oci.genai.userID |
OCI用户OCID,用于认证时 |
- |
spring.ai.oci.genai.fingerprint(指纹)。Ai.oci.genai.fingerprint(指纹) |
私钥指纹,用于认证 |
- |
spring.ai.oci.genai.privateKey |
私钥内容,用于认证 |
- |
spring.ai.oci.genai.passPhrase |
可选私钥密码短语,用于认证 |
- |
spring.ai.oci.genai.file |
OCI 配置文件的路径。用于认证时使用 |
<用户主目录>/.oci/config |
spring.ai.oci.genai.profile. |
OCI个人资料名称。用于认证时使用 |
默认值 |
spring.ai.oci.genai.endpoint |
可选的OCI GenAI端点。 |
- |
|
嵌入自动配置的启用和禁用现在通过带有前缀的顶层属性配置 启用时,spring.ai.model.embedding=oci-genai(默认启用) 要禁用,请使用spring.ai.model.embedding=none(或任何与oci-genai不匹配的值) 此改动旨在允许配置多个模型。 |
前缀spring.ai.oci.genai.embedding是配置嵌入模型OCI GenAI 的实现
| 属性 | 描述 | 默认值 |
|---|---|---|
spring.ai.oci.genai.embedding.enabled(已移除且不再有效) |
启用OCI生成式AI嵌入模型。 |
true |
spring.ai.model.embedding |
启用OCI生成式AI嵌入模型。 |
OCI-Genai |
spring.ai.oci.genai.embedding.compartment |
模型舱室OCID。 |
- |
spring.ai.oci.genai.embedding.servingMode |
所使用的模型服务模式。可能 |
点播 |
spring.ai.oci.genai.embedding.truncate |
如果文本超出嵌入上下文,如何截断。可能 |
结束 |
spring.ai.oci.genai.embedding.model |
用于嵌入的模型或模型端点。 |
- |
运行时选项
这OCIEmbeddingOptions(奥克姆贝丁选项)提供嵌入请求的配置信息。
这OCIEmbeddingOptions(奥克姆贝丁选项)提供建造者来创建选项。
开始时使用该OCIEmbeddingOptions(奥克姆贝丁选项)构建器(constructor)来设置所有嵌入请求的默认选项。
运行时你可以通过传递OCIEmbeddingOptions(奥克姆贝丁选项)实例中,你对嵌入请求请求。
例如,要覆盖特定请求的默认型号名称:
EmbeddingResponse embeddingResponse = embeddingModel.call(
new EmbeddingRequest(List.of("Hello World", "World is big and salvation is near"),
OCIEmbeddingOptions.builder()
.model("my-other-embedding-model")
.build()
));
示例代码
这将产生嵌入模型你可以把这些实现注入到你的类里。
这里有一个简单的例子@Controller使用嵌入模型实现。
spring.ai.oci.genai.embedding.model=<your model>
spring.ai.oci.genai.embedding.compartment=<your model compartment>
@RestController
public class EmbeddingController {
private final EmbeddingModel embeddingModel;
@Autowired
public EmbeddingController(EmbeddingModel embeddingModel) {
this.embeddingModel = embeddingModel;
}
@GetMapping("/ai/embedding")
public Map embed(@RequestParam(value = "message", defaultValue = "Tell me a joke") String message) {
EmbeddingResponse embeddingResponse = this.embeddingModel.embedForResponse(List.of(message));
return Map.of("embedding", embeddingResponse);
}
}
手动配置
如果你不想用 Spring Boot 的自动配置,可以手动配置OCIEmbeddingModel在你的申请中。
为此添加Spring-oci-genai-openai对你项目Maven的依赖pom.xml文件:
<dependency>
<groupId>org.springframework.ai</groupId>
<artifactId>spring-oci-genai-openai</artifactId>
</dependency>
或者去你的Gradlebuild.gradle构建文件。
dependencies {
implementation 'org.springframework.ai:spring-oci-genai-openai'
}
| 请参考依赖管理部分,将Spring AI的物料清单添加到你的构建文件中。 |
接下来,创建一个OCIEmbeddingModel实例并用它来计算两个输入文本之间的相似性:
final String EMBEDDING_MODEL = "cohere.embed-english-light-v2.0";
final String CONFIG_FILE = Paths.get(System.getProperty("user.home"), ".oci", "config").toString();
final String PROFILE = "DEFAULT";
final String REGION = "us-chicago-1";
final String COMPARTMENT_ID = System.getenv("OCI_COMPARTMENT_ID");
var authProvider = new ConfigFileAuthenticationDetailsProvider(
this.CONFIG_FILE, this.PROFILE);
var aiClient = GenerativeAiInferenceClient.builder()
.region(Region.valueOf(this.REGION))
.build(this.authProvider);
var options = OCIEmbeddingOptions.builder()
.model(this.EMBEDDING_MODEL)
.compartment(this.COMPARTMENT_ID)
.servingMode("on-demand")
.build();
var embeddingModel = new OCIEmbeddingModel(this.aiClient, this.options);
List<Double> embedding = this.embeddingModel.embed(new Document("How many provinces are in Canada?"));