|
此版本仍在开发中,尚未被视为稳定版。如需最新的快照版本,请使用 Spring AI 1.1.3! |
Perplexity Chat
Perplexity AI 提供了一种独特的AI服务,将语言模型与实时搜索能力集成在一起。它提供了多种模型,并支持会话AI的流式响应。
Spring AI通过重用现有的OpenAI客户端与Perplexity AI集成。要开始使用,请获取一个Perplexity API密钥,配置基础URL,并选择一个支持的模型。
The Perplexity API 不完全兼容 OpenAI API。
Perplexity 结合了实时网页搜索结果与其语言模型的响应。
与 OpenAI 不同,Perplexity 不暴露 toolCalls - function call 机制。
此外,目前 Perplexity 不支持多模态消息。 |
检查PerplexityWithOpenAiChatModelIT.java 测试用例,了解如何在Spring AI中使用Perplexity。
前置条件
-
创建一个API密钥:
访问这里以创建一个API密钥。
然后使用您Spring AI项目的spring.ai.openai.api-key属性进行配置。 -
设置困惑度基础URL:
将
spring.ai.openai.base-url属性设置为https://api.perplexity.ai。 -
选择困惑度模型: 使用
spring.ai.openai.chat.model=<model name>属性指定模型。 参见 支持的模型 获取可用选项。 -
设置聊天补全路径: 将
spring.ai.openai.chat.completions-path设置为/chat/completions。 更多详情请参阅 聊天补全 API。
您可以在您的application.properties文件中设置这些配置属性:
spring.ai.openai.api-key=<your-perplexity-api-key>
spring.ai.openai.base-url=https://api.perplexity.ai
spring.ai.openai.chat.model=llama-3.1-sonar-small-128k-online
spring.ai.openai.chat.completions-path=/chat/completions
当处理如API密钥等敏感信息时,为了增强安全性,您可以使用Spring表达式语言(SpEL)引用自定义环境变量:
# In application.yml
spring:
ai:
openai:
api-key: ${PERPLEXITY_API_KEY}
base-url: ${PERPLEXITY_BASE_URL}
chat:
model: ${PERPLEXITY_MODEL}
completions-path: ${PERPLEXITY_COMPLETIONS_PATH}
# In your environment or .env file
export PERPLEXITY_API_KEY=<your-perplexity-api-key>
export PERPLEXITY_BASE_URL=https://api.perplexity.ai
export PERPLEXITY_MODEL=llama-3.1-sonar-small-128k-online
export PERPLEXITY_COMPLETIONS_PATH=/chat/completions
您也可以在应用程序代码中程序化设置这些配置:
// Retrieve configuration from secure sources or environment variables
String apiKey = System.getenv("PERPLEXITY_API_KEY");
String baseUrl = System.getenv("PERPLEXITY_BASE_URL");
String model = System.getenv("PERPLEXITY_MODEL");
String completionsPath = System.getenv("PERPLEXITY_COMPLETIONS_PATH");
Auto-configuration
|
Spring AI自动配置和starter模块的artifact名称有了重大变化。 请参阅升级说明获取更多信息。 |
Spring AI 提供了对 OpenAI Chat Client 的 Spring Boot 自动配置。
要启用它,请将以下依赖项添加到您的项目 Maven pom.xml 或 Gradle build.gradle 构建文件中:
-
Maven
-
Gradle
<dependency>
<groupId>org.springframework.ai</groupId>
<artifactId>spring-ai-starter-model-openai</artifactId>
</dependency>
dependencies {
implementation 'org.springframework.ai:spring-ai-starter-model-openai'
}
| 请参阅依赖管理部分,将Spring AI BOM添加到您的构建文件中。 |
聊天属性
重试属性
spring.ai.retry 前缀用作属性前缀,允许您配置对 OpenAI 聊天模型的重试机制。
| <property> </property> | <description> </description> | 默认 |
|---|---|---|
spring.ai.retry.max-attempts |
最大重试尝试次数。 |
10 |
spring.ai.retry.backoff.initial-interval |
指数退避策略的初始睡眠时长。 |
2 秒。 |
spring.ai.retry.backoff.multiplier |
重试间隔倍数。 |
5 |
spring.ai.retry.backoff.max-interval |
最大退避持续时间。 |
3 min. |
spring.ai.retry.on-client-errors |
如果为假,则抛出一个NonTransientAiException,并且不尝试重试 |
false |
spring.ai.retry.exclude-on-http-codes |
不应当触发重试的HTTP状态码列表(例如,抛出NonTransientAiException)。 |
<p>空内容</p> |
spring.ai.retry.on-http-codes |
应触发重试的HTTP状态码列表(例如,抛出TransientAiException)。 |
<p>空内容</p> |
连接属性
使用前缀spring.ai.openai作为属性前缀,以便连接到OpenAI。
| <property> </property> | <description> </description> | 默认 |
|---|---|---|
spring.ai.openai.base-url |
The URL to connect to. Must be set to |
- |
spring.ai.openai.chat.api-key |
您的Perplexity API密钥 |
- |
配置属性
|
现在通过带有前缀 要启用,请设置:spring.ai.model.chat=openai(默认已启用) 要禁用,请设置 spring.ai.model.chat=none (或任何与 openai 匹配的值) 此更改是为了允许配置多个模型。 |
spring.ai.openai.chat 前缀是属性前缀,允许你配置与 OpenAI 的聊天模型实现相关的设置。
| <property> </property> | <description> </description> | 默认 |
|---|---|---|
spring.ai.model.chat |
启用OpenAI聊天模型。 |
OpenAI |
spring.ai.openai.chat.model |
支持的一种 |
- |
spring.ai.openai.chat.base-url |
Optional 用于覆盖 spring.ai.openai.base-url,提供特定于聊天的 URL。必须设置为 |
- |
spring.ai.openai.chat.completions-path |
必须设置为 |
|
spring.ai.openai.chat.options.temperature |
响应中的随机性程度,值在0(包含)和2(不包含)之间。较高数值表示更高程度的随机性,较低数值表示更确定性。必需范围: |
0.2 |
spring.ai.openai.chat.options.frequencyPenalty |
乘法惩罚值大于0。值大于1.0时,根据新词在当前文本中已出现的频率对新词进行惩罚,减少模型重复同一行文字的可能性。值为1.0时表示无惩罚。与存在惩罚不兼容。取值范围: |
1 |
spring.ai.openai.chat.options.maxTokens |
API返回的最大完成标记数量。max_tokens请求的数量加上在messages中发送的提示标记数必须不超过所请求模型的上下文窗口标记限制。如果未指定,则模型将在达到停止标记或上下文窗口结束时生成标记。 |
- |
spring.ai.openai.chat.options.presencePenalty |
在-2.0和2.0之间的一个值。正值根据新Tokens是否出现在迄今的文本中来惩罚新的Tokens,从而增加模型讨论新话题的可能性。此设置与 |
0 |
spring.ai.openai.chat.options.topP |
核素采样阈值,取值在0到1之间(包含两端)。对于每个后续的标记,模型会考虑具有top_p概率质量的token的结果。我们建议要么改变top_k,要么改变top_p,但不能同时改变两者。要求范围: |
0.9 |
spring.ai.openai.chat.options.stream-usage |
(仅适用于流式传输) 设置以添加一个额外的分块,其中包含整个请求的 token 使用统计信息。此分块的 |
false |
所有以spring.ai.openai.chat.options开头的属性可以在运行时通过向Prompt调用添加请求特定的运行时选项来覆盖。 |
运行时选项
The OpenAiChatOptions.java 提供了模型配置,例如要使用的模型、温度、频率惩罚等。
启动时,可以使用OpenAiChatModel(api, options)构造函数或spring.ai.openai.chat.options.*属性来配置默认选项。
在运行时,您可以覆盖默认选项并通过向Prompt调用添加新的、针对请求的选项来实现。例如,要为特定请求覆盖默认模型和温度:
ChatResponse response = chatModel.call(
new Prompt(
"Generate the names of 5 famous pirates.",
OpenAiChatOptions.builder()
.model("llama-3.1-sonar-large-128k-online")
.temperature(0.4)
.build()
));
| 除了特定模型的OpenAiChatOptions,你还可以使用一个便携式的ChatOptions 实例,通过调用ChatOptions#builder() 创建。 |
样本控制器
创建一个新的Spring Boot项目,并在pom(或gradle)依赖中添加spring-ai-starter-model-openai。
在src/main/resources目录下添加一个application.properties文件,以启用并配置OpenAI聊天模型:
spring.ai.openai.api-key=<PERPLEXITY_API_KEY>
spring.ai.openai.base-url=https://api.perplexity.ai
spring.ai.openai.chat.completions-path=/chat/completions
spring.ai.openai.chat.options.model=llama-3.1-sonar-small-128k-online
spring.ai.openai.chat.options.temperature=0.7
# The Perplexity API doesn't support embeddings, so we need to disable it.
spring.ai.openai.embedding.enabled=false
替换api-key为您的Perplexity API密钥。 |
这将创建一个OpenAiChatModel实现,你可以在你的类中注入。
以下是一个使用聊天模型进行文本生成的简单@Controller类示例。
@RestController
public class ChatController {
private final OpenAiChatModel chatModel;
@Autowired
public ChatController(OpenAiChatModel chatModel) {
this.chatModel = chatModel;
}
@GetMapping("/ai/generate")
public Map generate(@RequestParam(value = "message", defaultValue = "Tell me a joke") String message) {
return Map.of("generation", this.chatModel.call(message));
}
@GetMapping("/ai/generateStream")
public Flux<ChatResponse> generateStream(@RequestParam(value = "message", defaultValue = "Tell me a joke") String message) {
Prompt prompt = new Prompt(new UserMessage(message));
return this.chatModel.stream(prompt);
}
}
支持的模型
Perplexity 支持几种针对搜索增强对话式 AI 进行优化的模型。详细信息请参阅 支持的模型。