此版本仍在开发中,尚未被视为稳定版。如需最新的快照版本,请使用 Spring AI 1.1.3spring-doc.cadn.net.cn

Perplexity Chat

Perplexity AI 提供了一种独特的AI服务,将语言模型与实时搜索能力集成在一起。它提供了多种模型,并支持会话AI的流式响应。spring-doc.cadn.net.cn

Spring AI通过重用现有的OpenAI客户端与Perplexity AI集成。要开始使用,请获取一个Perplexity API密钥,配置基础URL,并选择一个支持的模型spring-doc.cadn.net.cn

spring ai perplexity integration
The Perplexity API 不完全兼容 OpenAI API。 Perplexity 结合了实时网页搜索结果与其语言模型的响应。 与 OpenAI 不同,Perplexity 不暴露 toolCalls - function call 机制。 此外,目前 Perplexity 不支持多模态消息。

检查PerplexityWithOpenAiChatModelIT.java 测试用例,了解如何在Spring AI中使用Perplexity。spring-doc.cadn.net.cn

前置条件

您可以在您的application.properties文件中设置这些配置属性:spring-doc.cadn.net.cn

spring.ai.openai.api-key=<your-perplexity-api-key>
spring.ai.openai.base-url=https://api.perplexity.ai
spring.ai.openai.chat.model=llama-3.1-sonar-small-128k-online
spring.ai.openai.chat.completions-path=/chat/completions

当处理如API密钥等敏感信息时,为了增强安全性,您可以使用Spring表达式语言(SpEL)引用自定义环境变量:spring-doc.cadn.net.cn

# In application.yml
spring:
  ai:
    openai:
      api-key: ${PERPLEXITY_API_KEY}
      base-url: ${PERPLEXITY_BASE_URL}
      chat:
        model: ${PERPLEXITY_MODEL}
        completions-path: ${PERPLEXITY_COMPLETIONS_PATH}
# In your environment or .env file
export PERPLEXITY_API_KEY=<your-perplexity-api-key>
export PERPLEXITY_BASE_URL=https://api.perplexity.ai
export PERPLEXITY_MODEL=llama-3.1-sonar-small-128k-online
export PERPLEXITY_COMPLETIONS_PATH=/chat/completions

您也可以在应用程序代码中程序化设置这些配置:spring-doc.cadn.net.cn

// Retrieve configuration from secure sources or environment variables
String apiKey = System.getenv("PERPLEXITY_API_KEY");
String baseUrl = System.getenv("PERPLEXITY_BASE_URL");
String model = System.getenv("PERPLEXITY_MODEL");
String completionsPath = System.getenv("PERPLEXITY_COMPLETIONS_PATH");

添加仓库和BOM

Spring AI 构件发布在 Maven 中央仓库和 Spring Snapshot 仓库中。 请参阅 构件仓库 部分,将这些仓库添加到您的构建系统中。spring-doc.cadn.net.cn

为了帮助进行依赖管理,Spring AI 提供了一个 BOM(物料清单),以确保整个项目中使用的是相同的 Spring AI 版本。请参阅 依赖管理 部分,将 Spring AI BOM 添加到您的构建系统中。spring-doc.cadn.net.cn

Auto-configuration

Spring AI自动配置和starter模块的artifact名称有了重大变化。 请参阅升级说明获取更多信息。spring-doc.cadn.net.cn

Spring AI 提供了对 OpenAI Chat Client 的 Spring Boot 自动配置。 要启用它,请将以下依赖项添加到您的项目 Maven pom.xml 或 Gradle build.gradle 构建文件中:spring-doc.cadn.net.cn

<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-starter-model-openai</artifactId>
</dependency>
dependencies {
    implementation 'org.springframework.ai:spring-ai-starter-model-openai'
}
请参阅依赖管理部分,将Spring AI BOM添加到您的构建文件中。

聊天属性

重试属性

spring.ai.retry 前缀用作属性前缀,允许您配置对 OpenAI 聊天模型的重试机制。spring-doc.cadn.net.cn

<property> </property> <description> </description> 默认

spring.ai.retry.max-attemptsspring-doc.cadn.net.cn

最大重试尝试次数。spring-doc.cadn.net.cn

10spring-doc.cadn.net.cn

spring.ai.retry.backoff.initial-intervalspring-doc.cadn.net.cn

指数退避策略的初始睡眠时长。spring-doc.cadn.net.cn

2 秒。spring-doc.cadn.net.cn

spring.ai.retry.backoff.multiplierspring-doc.cadn.net.cn

重试间隔倍数。spring-doc.cadn.net.cn

5spring-doc.cadn.net.cn

spring.ai.retry.backoff.max-intervalspring-doc.cadn.net.cn

最大退避持续时间。spring-doc.cadn.net.cn

3 min.spring-doc.cadn.net.cn

spring.ai.retry.on-client-errorsspring-doc.cadn.net.cn

如果为假,则抛出一个NonTransientAiException,并且不尝试重试4xx客户端错误代码spring-doc.cadn.net.cn

falsespring-doc.cadn.net.cn

spring.ai.retry.exclude-on-http-codesspring-doc.cadn.net.cn

不应当触发重试的HTTP状态码列表(例如,抛出NonTransientAiException)。spring-doc.cadn.net.cn

<p>空内容</p>spring-doc.cadn.net.cn

spring.ai.retry.on-http-codesspring-doc.cadn.net.cn

应触发重试的HTTP状态码列表(例如,抛出TransientAiException)。spring-doc.cadn.net.cn

<p>空内容</p>spring-doc.cadn.net.cn

连接属性

使用前缀spring.ai.openai作为属性前缀,以便连接到OpenAI。spring-doc.cadn.net.cn

<property> </property> <description> </description> 默认

spring.ai.openai.base-urlspring-doc.cadn.net.cn

The URL to connect to. Must be set to https://api.perplexity.aispring-doc.cadn.net.cn

-spring-doc.cadn.net.cn

spring.ai.openai.chat.api-keyspring-doc.cadn.net.cn

您的Perplexity API密钥spring-doc.cadn.net.cn

-spring-doc.cadn.net.cn

配置属性

现在通过带有前缀spring.ai.model.chat的顶级属性来配置聊天自动配置的启用和禁用。spring-doc.cadn.net.cn

要启用,请设置:spring.ai.model.chat=openai(默认已启用)spring-doc.cadn.net.cn

要禁用,请设置 spring.ai.model.chat=none (或任何与 openai 匹配的值)spring-doc.cadn.net.cn

此更改是为了允许配置多个模型。spring-doc.cadn.net.cn

spring.ai.openai.chat 前缀是属性前缀,允许你配置与 OpenAI 的聊天模型实现相关的设置。spring-doc.cadn.net.cn

<property> </property> <description> </description> 默认

spring.ai.model.chatspring-doc.cadn.net.cn

启用OpenAI聊天模型。spring-doc.cadn.net.cn

OpenAIspring-doc.cadn.net.cn

spring.ai.openai.chat.modelspring-doc.cadn.net.cn

支持的一种困惑度模型。示例:llama-3.1-sonar-small-128k-onlinespring-doc.cadn.net.cn

-spring-doc.cadn.net.cn

spring.ai.openai.chat.base-urlspring-doc.cadn.net.cn

Optional 用于覆盖 spring.ai.openai.base-url,提供特定于聊天的 URL。必须设置为 https://api.perplexity.aispring-doc.cadn.net.cn

-spring-doc.cadn.net.cn

spring.ai.openai.chat.completions-pathspring-doc.cadn.net.cn

必须设置为/chat/completionsspring-doc.cadn.net.cn

/v1/chat/completionsspring-doc.cadn.net.cn

spring.ai.openai.chat.options.temperaturespring-doc.cadn.net.cn

响应中的随机性程度,值在0(包含)和2(不包含)之间。较高数值表示更高程度的随机性,较低数值表示更确定性。必需范围:0 < x < 2spring-doc.cadn.net.cn

0.2spring-doc.cadn.net.cn

spring.ai.openai.chat.options.frequencyPenaltyspring-doc.cadn.net.cn

乘法惩罚值大于0。值大于1.0时,根据新词在当前文本中已出现的频率对新词进行惩罚,减少模型重复同一行文字的可能性。值为1.0时表示无惩罚。与存在惩罚不兼容。取值范围:x > 0spring-doc.cadn.net.cn

1spring-doc.cadn.net.cn

spring.ai.openai.chat.options.maxTokensspring-doc.cadn.net.cn

API返回的最大完成标记数量。max_tokens请求的数量加上在messages中发送的提示标记数必须不超过所请求模型的上下文窗口标记限制。如果未指定,则模型将在达到停止标记或上下文窗口结束时生成标记。spring-doc.cadn.net.cn

-spring-doc.cadn.net.cn

spring.ai.openai.chat.options.presencePenaltyspring-doc.cadn.net.cn

在-2.0和2.0之间的一个值。正值根据新Tokens是否出现在迄今的文本中来惩罚新的Tokens,从而增加模型讨论新话题的可能性。此设置与frequency_penalty不兼容。要求范围:-2 < x < 2spring-doc.cadn.net.cn

0spring-doc.cadn.net.cn

spring.ai.openai.chat.options.topPspring-doc.cadn.net.cn

核素采样阈值,取值在0到1之间(包含两端)。对于每个后续的标记,模型会考虑具有top_p概率质量的token的结果。我们建议要么改变top_k,要么改变top_p,但不能同时改变两者。要求范围:0 < x < 1spring-doc.cadn.net.cn

0.9spring-doc.cadn.net.cn

spring.ai.openai.chat.options.stream-usagespring-doc.cadn.net.cn

(仅适用于流式传输) 设置以添加一个额外的分块,其中包含整个请求的 token 使用统计信息。此分块的 choices 字段为空数组,所有其他分块也将包含一个 usage 字段,但其值为 null。spring-doc.cadn.net.cn

falsespring-doc.cadn.net.cn

所有以spring.ai.openai.chat.options开头的属性可以在运行时通过向Prompt调用添加请求特定的运行时选项来覆盖。

运行时选项

The OpenAiChatOptions.java 提供了模型配置,例如要使用的模型、温度、频率惩罚等。spring-doc.cadn.net.cn

启动时,可以使用OpenAiChatModel(api, options)构造函数或spring.ai.openai.chat.options.*属性来配置默认选项。spring-doc.cadn.net.cn

在运行时,您可以覆盖默认选项并通过向Prompt调用添加新的、针对请求的选项来实现。例如,要为特定请求覆盖默认模型和温度:spring-doc.cadn.net.cn

ChatResponse response = chatModel.call(
    new Prompt(
        "Generate the names of 5 famous pirates.",
        OpenAiChatOptions.builder()
            .model("llama-3.1-sonar-large-128k-online")
            .temperature(0.4)
        .build()
    ));
除了特定模型的OpenAiChatOptions,你还可以使用一个便携式的ChatOptions 实例,通过调用ChatOptions#builder() 创建。

函数调用

不支持显式调用函数。相反,它会将搜索结果直接集成到响应中。

多模态

当前,Perplexity API 不支持媒体内容。

样本控制器

创建一个新的Spring Boot项目,并在pom(或gradle)依赖中添加spring-ai-starter-model-openaispring-doc.cadn.net.cn

src/main/resources目录下添加一个application.properties文件,以启用并配置OpenAI聊天模型:spring-doc.cadn.net.cn

spring.ai.openai.api-key=<PERPLEXITY_API_KEY>
spring.ai.openai.base-url=https://api.perplexity.ai
spring.ai.openai.chat.completions-path=/chat/completions
spring.ai.openai.chat.options.model=llama-3.1-sonar-small-128k-online
spring.ai.openai.chat.options.temperature=0.7

# The Perplexity API doesn't support embeddings, so we need to disable it.
spring.ai.openai.embedding.enabled=false
替换api-key为您的Perplexity API密钥。

这将创建一个OpenAiChatModel实现,你可以在你的类中注入。 以下是一个使用聊天模型进行文本生成的简单@Controller类示例。spring-doc.cadn.net.cn

@RestController
public class ChatController {

    private final OpenAiChatModel chatModel;

    @Autowired
    public ChatController(OpenAiChatModel chatModel) {
        this.chatModel = chatModel;
    }

    @GetMapping("/ai/generate")
    public Map generate(@RequestParam(value = "message", defaultValue = "Tell me a joke") String message) {
        return Map.of("generation", this.chatModel.call(message));
    }

    @GetMapping("/ai/generateStream")
	public Flux<ChatResponse> generateStream(@RequestParam(value = "message", defaultValue = "Tell me a joke") String message) {
        Prompt prompt = new Prompt(new UserMessage(message));
        return this.chatModel.stream(prompt);
    }
}

支持的模型

Perplexity 支持几种针对搜索增强对话式 AI 进行优化的模型。详细信息请参阅 支持的模型spring-doc.cadn.net.cn