奥拉玛嵌入

用 Ollama 你可以本地运行各种 AI 模型并生成嵌入。嵌入是浮点数的向量（列表）。两个向量之间的距离衡量它们的相关性。距离较小表示高度相关性，较大距离表示高度相关性。spring-doc.cadn.net.cn

这OllamaEmbeddingModel实现利用了 Ollama Embeddings API 端点。spring-doc.cadn.net.cn

前提条件

你首先需要访问一个Ollama实例。有几种选择，包括以下几种：spring-doc.cadn.net.cn

下载并安装 Ollama 到你本地的机器上。spring-doc.cadn.net.cn
通过Testcontainer配置并运行Ollama。spring-doc.cadn.net.cn
通过 Kubernetes Service Bindings 绑定到 Ollama 实例。spring-doc.cadn.net.cn

你可以从 Ollama 模型库中提取你想在应用中使用的模型：spring-doc.cadn.net.cn

ollama pull <model-name>

你也可以抽取成千上万个免费的GGUF拥抱面模特：spring-doc.cadn.net.cn

ollama pull hf.co/<username>/<model-repository>

或者，你也可以启用自动下载任何需要模型的选项：自动拉取模型。spring-doc.cadn.net.cn

自动配置

春季AI自动配置、起始模块的工件名称发生了重大变化。更多信息请参阅升级说明。spring-doc.cadn.net.cn

Spring AI 为 Azure Ollama 嵌入模型提供 Spring Boot 自动配置。要启用它，可以在你的Maven中添加以下依赖pom.xml或者Gradlebuild.gradle构建文件：spring-doc.cadn.net.cn

Mavenspring-doc.cadn.net.cn
Gradlespring-doc.cadn.net.cn

<dependency>
   <groupId>org.springframework.ai</groupId>
   <artifactId>spring-ai-starter-model-ollama</artifactId>
</dependency>

dependencies {
    implementation 'org.springframework.ai:spring-ai-starter-model-ollama'
}

请参考依赖管理部分，将Spring AI的物料清单添加到你的构建文件中。 Spring AI 产物发布于 Maven Central 和 Spring Snapshot 仓库中。请参阅仓库部分，将这些仓库添加到你的构建系统中。

基础性质

前缀spring.ai.ollama是配置与 Ollama 连接的属性前缀spring-doc.cadn.net.cn

属性spring-doc.cadn.net.cn

描述spring-doc.cadn.net.cn

默认值spring-doc.cadn.net.cn

spring.ai.ollama.base-urlspring-doc.cadn.net.cn

Ollama API 服务器运行的基础网址。spring-doc.cadn.net.cn

http://localhost:11434spring-doc.cadn.net.cn

以下是初始化 Ollama 积分和自动拉取模型的属性。spring-doc.cadn.net.cn

属性spring-doc.cadn.net.cn

描述spring-doc.cadn.net.cn

默认值spring-doc.cadn.net.cn

spring.ai.ollama.init.pull-model-strategyspring-doc.cadn.net.cn

是否在启动时拉取模型以及如何进行。spring-doc.cadn.net.cn

从不spring-doc.cadn.net.cn

spring.ai.ollama.init.timeoutspring-doc.cadn.net.cn

模型被拉出需要等多久。spring-doc.cadn.net.cn

5米spring-doc.cadn.net.cn

spring.ai.ollama.init.max重试spring-doc.cadn.net.cn

模型拉取作的最大重试次数。spring-doc.cadn.net.cn

0spring-doc.cadn.net.cn

spring.ai.ollama.init.embedding.includespring-doc.cadn.net.cn

在初始化任务中包含这类模型。spring-doc.cadn.net.cn

truespring-doc.cadn.net.cn

spring.ai.ollama.init.embedding.additional-modelsspring-doc.cadn.net.cn

除了通过默认属性配置的模型外，还需要初始化更多模型。spring-doc.cadn.net.cn

[]spring-doc.cadn.net.cn

嵌入性质

嵌入自动配置的启用和禁用现在通过带有前缀的顶层属性配置spring.ai.model.embedding.spring-doc.cadn.net.cn

启用时，spring.ai.model.embedding=ollama（默认启用）spring-doc.cadn.net.cn

要禁用，可以使用spring.ai.model.embedding=none（或任何与ollama不匹配的值）spring-doc.cadn.net.cn

此改动旨在允许配置多个模型。spring-doc.cadn.net.cn

前缀spring.ai.ollama.embedding.optionss是配置 Ollama 嵌入模型的属性前缀。它包含了 Ollama 请求（高级）参数，例如型,保持生命和截断以及Ollama模型选项性能。spring-doc.cadn.net.cn

以下是 Ollama 嵌入模型的高级请求参数：spring-doc.cadn.net.cn

属性spring-doc.cadn.net.cn

描述spring-doc.cadn.net.cn

默认值spring-doc.cadn.net.cn

spring.ai.ollama.embedding.enabled（已移除且不再有效）spring-doc.cadn.net.cn

启用 Ollama 嵌入模型自动配置。spring-doc.cadn.net.cn

truespring-doc.cadn.net.cn

spring.ai.model.embeddingspring-doc.cadn.net.cn

启用 Ollama 嵌入模型自动配置。spring-doc.cadn.net.cn

奥拉玛spring-doc.cadn.net.cn

spring.ai.ollama.embedding.options.modelspring-doc.cadn.net.cn

支持的型号名称。你可以使用专用的嵌入模型类型spring-doc.cadn.net.cn

mxbai-embed-largespring-doc.cadn.net.cn

spring.ai.ollama.embedding.options.keep_alivespring-doc.cadn.net.cn

控制模型在请求后存储在内存中的持续时间spring-doc.cadn.net.cn

5米spring-doc.cadn.net.cn

spring.ai.ollama.embedding.options.truncatespring-doc.cadn.net.cn

截断每个输入的结尾以符合上下文长度。如果 false 且上下文长度超过，则返回错误。spring-doc.cadn.net.cn

truespring-doc.cadn.net.cn

剩余的选项属性基于 Ollama 有效参数和值以及 Ollama 类型。默认值基于：Ollama 类型的默认值。spring-doc.cadn.net.cn

属性spring-doc.cadn.net.cn

描述spring-doc.cadn.net.cn

默认值spring-doc.cadn.net.cn

spring.ai.ollama.embedding.options.numaspring-doc.cadn.net.cn

是否使用NUMA。spring-doc.cadn.net.cn

falsespring-doc.cadn.net.cn

spring.ai.ollama.embedding.options.num-ctxspring-doc.cadn.net.cn

设置用于生成下一个Tokens的上下文窗口大小。spring-doc.cadn.net.cn

2048spring-doc.cadn.net.cn

spring.ai.ollama.embedding.options.num-batchspring-doc.cadn.net.cn

提示处理最大批次大小。spring-doc.cadn.net.cn

512spring-doc.cadn.net.cn

spring.ai.ollama.embedding.options.num-GPUspring-doc.cadn.net.cn

要发送给GPU的层数。在macOS上，默认设置为1以启用金属支持，使用0用于禁用。这里的 1 表示 NumGPU 应动态设置spring-doc.cadn.net.cn

-1spring-doc.cadn.net.cn

spring.ai.ollama.embedding.options.main-GPUspring-doc.cadn.net.cn

使用多GPU时，该选项控制用于小型张量，因此分散计算在所有GPU上的开销不值得。这块GPU会用更多的显存来存储临时缓冲区以实现临时效果。spring-doc.cadn.net.cn

0spring-doc.cadn.net.cn

spring.ai.ollama.embedding.options.low-vramspring-doc.cadn.net.cn

-spring-doc.cadn.net.cn

falsespring-doc.cadn.net.cn

spring.ai.ollama.embedding.options.f16-kvspring-doc.cadn.net.cn

-spring-doc.cadn.net.cn

truespring-doc.cadn.net.cn

spring.ai.ollama.embedding.options.logits-allspring-doc.cadn.net.cn

返回所有Tokens的日志，而不仅仅是最后一个。为了使完备化返回 logprobs，这必须成立。spring-doc.cadn.net.cn

-spring-doc.cadn.net.cn

spring.ai.ollama.embedding.options.vocab-onlyspring-doc.cadn.net.cn

只加载词汇，不要加载权重。spring-doc.cadn.net.cn

-spring-doc.cadn.net.cn

spring.ai.ollama.embedding.options.use-mmapspring-doc.cadn.net.cn

默认情况下，模型会映射到内存中，这使得系统只能根据需要加载模型的必要部分。然而，如果模型大于你的总内存，或者系统内存不足，使用mmap可能会增加分页出错的风险，从而对性能产生负面影响。禁用 mmap 会让加载时间变慢，但如果你没用 mlock，可能会减少页面导出。注意，如果模型内存大于总内存，关闭 mmap 会阻止模型加载。spring-doc.cadn.net.cn

零spring-doc.cadn.net.cn

spring.ai.ollama.embedding.options.use-mlockspring-doc.cadn.net.cn

将模型锁定在内存中，防止在内存映射时被替换。这可以提升性能，但会牺牲内存映射的一些优势，因为需要更多内存运行，且模型加载到内存时可能变慢加载速度。spring-doc.cadn.net.cn

falsespring-doc.cadn.net.cn

spring.ai.ollama.embedding.options.num-threadspring-doc.cadn.net.cn

设定计算过程中使用的线程数量。默认情况下，Ollama 会检测到这些数据以实现最佳性能。建议将该值设置为系统物理CPU核心数（而非逻辑核心数）。0 = 让运行时间决定spring-doc.cadn.net.cn

0spring-doc.cadn.net.cn

spring.ai.ollama.embedding.options.num-keepspring-doc.cadn.net.cn

-spring-doc.cadn.net.cn

4spring-doc.cadn.net.cn

spring.ai.ollama.embedding.options.seedspring-doc.cadn.net.cn

设置随机数种子用于生成。将此数值设置为特定数值，模型会为同一提示生成相同的文本。spring-doc.cadn.net.cn

-1spring-doc.cadn.net.cn

spring.ai.ollama.embedding.options.num-predictspring-doc.cadn.net.cn

生成文本时预测的最大标记数。（-1 = 无限生成，-2 = 填充上下文）spring-doc.cadn.net.cn

-1spring-doc.cadn.net.cn

spring.ai.ollama.embedding.options.top-kspring-doc.cadn.net.cn

减少产生无意义的概率。数值越高（例如100）答案越多样，而数值越低（例如10）越保守。spring-doc.cadn.net.cn

40spring-doc.cadn.net.cn

spring.ai.ollama.embedding.options.top-pspring-doc.cadn.net.cn

和 top-k 一起用。值越高（例如0.95）文本越丰富，而值越低（例如0.5）文本越集中且更保守。spring-doc.cadn.net.cn

0.9spring-doc.cadn.net.cn

spring.ai.ollama.embedding.options.min-pspring-doc.cadn.net.cn

作为top_p的替代方案，旨在确保质量与多样性的平衡。参数p表示相对于最可能Tokens概率的最小概率。例如，当p=0.05且最可能的token概率为0.9时，值小于0.045的logit会被过滤掉。spring-doc.cadn.net.cn

0.0spring-doc.cadn.net.cn

spring.ai.ollama.embedding.options.tfs-zspring-doc.cadn.net.cn

无尾抽样用于减少输出中较不可能的标记的影响。更高的数值（例如2.0）会更小地减少影响，而1.0的数值则禁用该设置。spring-doc.cadn.net.cn

1.0spring-doc.cadn.net.cn

spring.ai.ollama.embedding.options.typical-pspring-doc.cadn.net.cn

-spring-doc.cadn.net.cn

1.0spring-doc.cadn.net.cn

spring.ai.ollama.embedding.options.repeat-last-nspring-doc.cadn.net.cn

设定模型回溯的时间长度，以防止重复。（默认：64,0 = 禁用，-1 = num_ctx）spring-doc.cadn.net.cn

64spring-doc.cadn.net.cn

spring.ai.ollama.embedding.options.temperature.spring-doc.cadn.net.cn

模型的温度。提高温度会让模型更有创意地回答。spring-doc.cadn.net.cn

0.8spring-doc.cadn.net.cn

spring.ai.ollama.embedding.options.repeat-penaltyspring-doc.cadn.net.cn

规定重复行为应受到多大的惩罚。更高的数值（例如1.5）会更严厉地惩罚重复，而较低的数值（例如0.9）则更宽松。spring-doc.cadn.net.cn

1.1spring-doc.cadn.net.cn

spring.ai.ollama.embedding.options.presence-penaltyspring-doc.cadn.net.cn

-spring-doc.cadn.net.cn

0.0spring-doc.cadn.net.cn

spring.ai.ollama.embedding.options.frequency-penaltyspring-doc.cadn.net.cn

-spring-doc.cadn.net.cn

0.0spring-doc.cadn.net.cn

spring.ai.ollama.embedding.options.mirostatspring-doc.cadn.net.cn

启用Mirostat采样以控制迷惑度。（默认：0,0 = 禁用，1 = Mirostat，2 = Mirostat 2.0）spring-doc.cadn.net.cn

0spring-doc.cadn.net.cn

spring.ai.ollama.embedding.options.mirostat-tauspring-doc.cadn.net.cn

控制输出的连贯性和多样性之间的平衡。较低的数值会带来更集中且连贯的文本。spring-doc.cadn.net.cn

5.0spring-doc.cadn.net.cn

spring.ai.ollama.embedding.options.mirostat-etaspring-doc.cadn.net.cn

影响算法对生成文本反馈的响应速度。较低的学习率会导致调整更慢，而较高的学习率则使算法响应更灵敏。spring-doc.cadn.net.cn

0.1spring-doc.cadn.net.cn

spring.ai.ollama.embedding.options.penalize-newlinespring-doc.cadn.net.cn

-spring-doc.cadn.net.cn

truespring-doc.cadn.net.cn

spring.ai.ollama.embedding.options.stopspring-doc.cadn.net.cn

设置停止序列的使用。当遇到这种模式时，LLM会停止生成文本并返回。通过在模型文件中指定多个独立的停止参数，可以设置多个停止模式。spring-doc.cadn.net.cn

-spring-doc.cadn.net.cn

spring.ai.ollama.embedding.options.functionsspring-doc.cadn.net.cn

函数列表，按名称标识，以便实现函数调用，只需一次提示请求。带有这些名称的函数必须存在于函数回调注册表中。spring-doc.cadn.net.cn

-spring-doc.cadn.net.cn

所有以spring.ai.ollama.embedding.optionss可以通过在运行时为在嵌入请求叫。

运行时选项

OllamaEmbeddingOptions.java提供了 Ollama 的配置，如所用型号、底层 GPU 和 CPU 调优等。spring-doc.cadn.net.cn

这奥拉玛选项职业已被弃用。用奥拉玛聊天选项对于聊天模型和OllamaEmbeddingOptions而是用来嵌入模型。新类别提供了类型安全的、针对特定型号的配置选项。

默认选项可以通过以下方式配置spring.ai.ollama.embedding.optionss房产也是。spring-doc.cadn.net.cn

在开始时使用OllamaEmbeddingModel（OllamaApi ollamaApi， OllamaEmbeddingOptions defaultOptions）配置所有嵌入请求使用的默认选项。运行时你可以通过OllamaEmbeddingOptions实例作为你的一部分嵌入请求.spring-doc.cadn.net.cn

例如，要覆盖特定请求的默认型号名称：spring-doc.cadn.net.cn

EmbeddingResponse embeddingResponse = embeddingModel.call(
    new EmbeddingRequest(List.of("Hello World", "World is big and salvation is near"),
        OllamaEmbeddingOptions.builder()
            .model("Different-Embedding-Model-Deployment-Name"))
            .truncates(false)
            .build());

自动拉车模型

Spring AI Ollama 可以在模型不在你的 Ollama 实例中时自动拉取模型。此功能在开发和测试以及将应用部署到新环境中尤其有用。spring-doc.cadn.net.cn

你也可以按名字抽取成千上万个免费的GGUF抱脸模型。

拉取模型有三种策略：spring-doc.cadn.net.cn

总是（定义于拉取模型策略。始终）：即使模型已经可用，也一定要拉出。这有助于确保你使用的是最新版本的模型。spring-doc.cadn.net.cn
when_missing（定义于PullModelStrategy.WHEN_MISSING只有当模型还没出现时才会拉出。这可能导致使用旧版本的模型。spring-doc.cadn.net.cn
从不（定义于PullModelStrategy.绝不绝不要自动拉取模型。spring-doc.cadn.net.cn

由于下载模型时可能出现延迟，生产环境中不建议自动拉取。相反，建议提前评估并预先下载所需的模型。

通过配置属性和默认选项定义的所有模型，启动时都可以自动拉取。您可以使用配置属性配置拉取策略、超时和最大重试次数：spring-doc.cadn.net.cn

spring:
  ai:
    ollama:
      init:
        pull-model-strategy: always
        timeout: 60s
        max-retries: 1

应用程序在所有指定模型都可用 Ollama 之前，不会完成初始化。根据型号大小和网络连接速度，这可能会显著降低应用启动速度。

你可以在启动时初始化额外的模型，这对运行时动态使用的模型非常有用：spring-doc.cadn.net.cn

spring:
  ai:
    ollama:
      init:
        pull-model-strategy: always
        embedding:
          additional-models:
            - mxbai-embed-large
            - nomic-embed-text

如果你只想将拉取策略应用于特定类型的模型，可以从初始化任务中排除嵌入模型：spring-doc.cadn.net.cn

spring:
  ai:
    ollama:
      init:
        pull-model-strategy: always
        embedding:
          include: false

该配置将拉取策略应用于除嵌入模型外的所有模型。spring-doc.cadn.net.cn

拥抱面模特

Ollama开箱即用，可以访问所有GGUF贴脸模型。你可以按名称抽取这些模型中的任意一个：ollama pull hf.co/<username>/<model-repository>或配置自动拉取策略：自动拉取模型：spring-doc.cadn.net.cn

spring.ai.ollama.embedding.options.model=hf.co/mixedbread-ai/mxbai-embed-large-v1
spring.ai.ollama.init.pull-model-strategy=always

spring.ai.ollama.embedding.options.model：指定了使用拥抱面GGUF模型。spring-doc.cadn.net.cn
spring.ai.ollama.init.pull-model-strategy=always：（可选）启动时启用自动拉取模型。制作时，建议提前下载模型以避免延误：奥拉玛拉 hf.co/mixedbread-ai/mxbai-embed-large-v1.spring-doc.cadn.net.cn

采样控制器

这将产生嵌入模型你可以把这些实现注入到你的类里。这里有一个简单的例子@Controller使用嵌入模型实现。spring-doc.cadn.net.cn

@RestController
public class EmbeddingController {

    private final EmbeddingModel embeddingModel;

    @Autowired
    public EmbeddingController(EmbeddingModel embeddingModel) {
        this.embeddingModel = embeddingModel;
    }

    @GetMapping("/ai/embedding")
    public Map embed(@RequestParam(value = "message", defaultValue = "Tell me a joke") String message) {
        EmbeddingResponse embeddingResponse = this.embeddingModel.embedForResponse(List.of(message));
        return Map.of("embedding", embeddingResponse);
    }
}

手动配置

如果你没有使用Spring Boot，你可以手动配置OllamaEmbeddingModel. 为此，在项目的Maven pom.xml或Gradle中添加spring-ai-ollama依赖build.gradle构建文件：spring-doc.cadn.net.cn

Mavenspring-doc.cadn.net.cn
Gradlespring-doc.cadn.net.cn

<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-ollama</artifactId>
</dependency>

dependencies {
    implementation 'org.springframework.ai:spring-ai-ollama'
}

请参考依赖管理部分，将Spring AI的物料清单添加到你的构建文件中。

这春艾奥拉玛依赖还提供访问OllamaChatModel. 欲了解更多关于OllamaChatModel请参阅Ollama Chat客户端部分。

接下来，创建一个OllamaEmbeddingModel实例并用它计算两个输入文本的嵌入，使用专用的Chroma/全迷你-L6-V2-F32嵌入模型：spring-doc.cadn.net.cn

var ollamaApi = OllamaApi.builder().build();

var embeddingModel = new OllamaEmbeddingModel(this.ollamaApi,
        OllamaEmbeddingOptions.builder()
			.model(OllamaModel.MISTRAL.id())
            .build());

EmbeddingResponse embeddingResponse = this.embeddingModel.call(
    new EmbeddingRequest(List.of("Hello World", "World is big and salvation is near"),
        OllamaEmbeddingOptions.builder()
            .model("chroma/all-minilm-l6-v2-f32"))
            .truncate(false)
            .build());

这OllamaEmbeddingOptions提供所有嵌入请求的配置信息。spring-doc.cadn.net.cn