|
此版本仍在开发中，尚未被视为稳定版。如需最新的快照版本，请使用 Spring AI 1.1.3！ |
检索增强生成
检索增强生成（RAG）是一种有助于克服大型语言模型局限性的技术，这些模型在处理长篇内容、事实准确性和上下文感知方面存在困难。
Spring AI 通过提供模块化架构来支持 RAG，使您能够自行构建自定义 RAG 流程，或使用 Advisor API 提供的开箱即用 RAG 流程。
| 在概念部分了解更多关于检索增强生成的信息。 |
顾问
Spring AI 使用 Advisor API 为常见的 RAG 流程提供开箱即用的支持。
要使用 QuestionAnswerAdvisor 或 VectorStoreChatMemoryAdvisor，您需要将 spring-ai-advisors-vector-store 依赖项添加到您的项目中：
<dependency>
<groupId>org.springframework.ai</groupId>
<artifactId>spring-ai-advisors-vector-store</artifactId>
</dependency>问题回答顾问
向量数据库存储了 AI 模型未知的数据。当用户问题发送给 AI 模型时，QuestionAnswerAdvisor 会查询向量数据库以获取与用户问题相关的文档。
来自向量数据库的响应会被追加到用户文本中，为 AI 模型生成回复提供上下文。
假设您已将数据加载到 VectorStore 中，您可以通过向 ChatClient 提供 QuestionAnswerAdvisor 的实例来执行检索增强生成（RAG）。
ChatResponse response = ChatClient.builder(chatModel)
.build().prompt()
.advisors(QuestionAnswerAdvisor.builder(vectorStore).build())
.user(userText)
.call()
.chatResponse();在此示例中，QuestionAnswerAdvisor 将对向量数据库中的所有文档执行相似性搜索。为了限制所搜索的文档类型，SearchRequest 接受一个类 SQL 的过滤表达式，该表达式可跨所有 VectorStores 移植使用。
此筛选表达式可以在创建QuestionAnswerAdvisor时进行配置，因此将始终适用于所有ChatClient请求；也可以在运行时按请求提供。
以下是如何创建 QuestionAnswerAdvisor 的实例，其中阈值为 0.8，并返回前 6 个结果。
var qaAdvisor = QuestionAnswerAdvisor.builder(vectorStore)
.searchRequest(SearchRequest.builder().similarityThreshold(0.8d).topK(6).build())
.build();动态过滤器表达式
在运行时使用 FILTER_EXPRESSION 顾问上下文参数更新 SearchRequest 过滤表达式：
ChatClient chatClient = ChatClient.builder(chatModel)
.defaultAdvisors(QuestionAnswerAdvisor.builder(vectorStore)
.searchRequest(SearchRequest.builder().build())
.build())
.build();
// Update filter expression at runtime
String content = this.chatClient.prompt()
.user("Please answer my question XYZ")
.advisors(a -> a.param(QuestionAnswerAdvisor.FILTER_EXPRESSION, "type == 'Spring'"))
.call()
.content();FILTER_EXPRESSION 参数允许您根据提供的表达式动态过滤搜索结果。
自定义模板
QuestionAnswerAdvisor 使用默认模板，通过检索到的文档来增强用户问题。您可以通过 .promptTemplate() 构建器方法提供自己的 PromptTemplate 对象来自定义此行为。
此处提供的 PromptTemplate 用于自定义顾问如何将检索到的上下文与用户查询进行合并。这不同于在 ChatClient 本身上配置 TemplateRenderer（使用 .templateRenderer()），后者会影响在顾问运行之前初始用户/系统提示内容的渲染。有关客户端级别模板渲染的更多详细信息，请参阅 ChatClient 提示模板。 |
自定义的 PromptTemplate 可以使用任何 TemplateRenderer 实现（默认情况下，它使用基于 StringTemplate 引擎的 StPromptTemplate）。重要的要求是模板必须包含以下两个占位符：
-
一个
query占位符，用于接收用户问题。 -
一个
question_answer_context占位符，用于接收检索到的上下文。
PromptTemplate customPromptTemplate = PromptTemplate.builder()
.renderer(StTemplateRenderer.builder().startDelimiterToken('<').endDelimiterToken('>').build())
.template("""
<query>
Context information is below.
---------------------
<question_answer_context>
---------------------
Given the context information and no prior knowledge, answer the query.
Follow these rules:
1. If the answer is not in the context, just say that you don't know.
2. Avoid statements like "Based on the context..." or "The provided information...".
""")
.build();
String question = "Where does the adventure of Anacletus and Birba take place?";
QuestionAnswerAdvisor qaAdvisor = QuestionAnswerAdvisor.builder(vectorStore)
.promptTemplate(customPromptTemplate)
.build();
String response = ChatClient.builder(chatModel).build()
.prompt(question)
.advisors(qaAdvisor)
.call()
.content();QuestionAnswerAdvisor.Builder.userTextAdvise() 方法已弃用，建议使用 .promptTemplate() 以实现更灵活的自定义。 |
检索增强顾问
Spring AI 包含一个RAG 模块库，您可以使用它来构建自己的 RAG 流程。
RetrievalAugmentationAdvisor是一个Advisor，基于模块化架构，为最常见的 RAG 流程提供开箱即用的实现。
要使用 RetrievalAugmentationAdvisor，您需要将 spring-ai-rag 依赖项添加到您的项目中：
<dependency>
<groupId>org.springframework.ai</groupId>
<artifactId>spring-ai-rag</artifactId>
</dependency>顺序 RAG 流程
朴素 RAG
Advisor retrievalAugmentationAdvisor = RetrievalAugmentationAdvisor.builder()
.documentRetriever(VectorStoreDocumentRetriever.builder()
.similarityThreshold(0.50)
.vectorStore(vectorStore)
.build())
.build();
String answer = chatClient.prompt()
.advisors(retrievalAugmentationAdvisor)
.user(question)
.call()
.content();默认情况下，RetrievalAugmentationAdvisor 不允许检索到的上下文为空。当发生这种情况时，
它会指示模型不要回答用户的查询。您可以按以下方式允许空上下文。
Advisor retrievalAugmentationAdvisor = RetrievalAugmentationAdvisor.builder()
.documentRetriever(VectorStoreDocumentRetriever.builder()
.similarityThreshold(0.50)
.vectorStore(vectorStore)
.build())
.queryAugmenter(ContextualQueryAugmenter.builder()
.allowEmptyContext(true)
.build())
.build();
String answer = chatClient.prompt()
.advisors(retrievalAugmentationAdvisor)
.user(question)
.call()
.content();VectorStoreDocumentRetriever 接受一个 FilterExpression，以便根据元数据过滤搜索结果。
您可以在实例化 VectorStoreDocumentRetriever 时提供该参数，也可以在运行时针对每个请求，
使用 FILTER_EXPRESSION 顾问上下文参数来提供。
Advisor retrievalAugmentationAdvisor = RetrievalAugmentationAdvisor.builder()
.documentRetriever(VectorStoreDocumentRetriever.builder()
.similarityThreshold(0.50)
.vectorStore(vectorStore)
.build())
.build();
String answer = chatClient.prompt()
.advisors(retrievalAugmentationAdvisor)
.advisors(a -> a.param(VectorStoreDocumentRetriever.FILTER_EXPRESSION, "type == 'Spring'"))
.user(question)
.call()
.content();有关更多信息，请参阅 VectorStoreDocumentRetriever。
高级 RAG
Advisor retrievalAugmentationAdvisor = RetrievalAugmentationAdvisor.builder()
.queryTransformers(RewriteQueryTransformer.builder()
.chatClientBuilder(chatClientBuilder.build().mutate())
.build())
.documentRetriever(VectorStoreDocumentRetriever.builder()
.similarityThreshold(0.50)
.vectorStore(vectorStore)
.build())
.build();
String answer = chatClient.prompt()
.advisors(retrievalAugmentationAdvisor)
.user(question)
.call()
.content();您还可以使用 DocumentPostProcessor API 在将检索到的文档传递给模型之前对其进行后处理。例如，您可以使用此类接口根据文档与查询的相关性对检索到的文档进行重新排序，移除不相关或冗余的文档，或者压缩每个文档的内容以减少噪声和冗余。
模块
Spring AI 实现了一种模块化 RAG 架构，其灵感来源于论文《模块化 RAG：将 RAG 系统转变为类似乐高积木的可重构框架》中详述的模块化概念。
Pre-Retrieval
预检索模块负责处理用户查询，以实现最佳的可能检索结果。
查询转换
一个用于转换输入查询的组件，使其更有效地服务于检索任务，解决诸如查询格式不佳、术语模糊、词汇复杂或语言不支持等挑战。
当使用 QueryTransformer 时，建议将 ChatClient.Builder 配置为较低的温度（例如 0.0），以确保结果更具确定性和准确性，从而提高检索质量。大多数聊天模型的默认温度通常对于最优查询转换来说过高，导致检索效果降低。 |
压缩查询转换器
CompressionQueryTransformer 使用大型语言模型将对话历史和后续查询压缩为一个独立查询，以捕捉对话的精髓。
当对话历史较长且后续查询与对话上下文相关时，此转换器非常有用。
Query query = Query.builder()
.text("And what is its second largest city?")
.history(new UserMessage("What is the capital of Denmark?"),
new AssistantMessage("Copenhagen is the capital of Denmark."))
.build();
QueryTransformer queryTransformer = CompressionQueryTransformer.builder()
.chatClientBuilder(chatClientBuilder)
.build();
Query transformedQuery = queryTransformer.transform(query);此组件使用的提示可通过构建器中可用的 promptTemplate() 方法进行自定义。
重写查询转换器
一个RewriteQueryTransformer使用大型语言模型重写用户查询，以便在查询目标系统（例如向量存储或网络搜索引擎）时提供更好的结果。
当用户查询过于冗长、含糊不清或包含可能影响搜索结果质量的不相关信息时，此转换器非常有用。
Query query = new Query("I'm studying machine learning. What is an LLM?");
QueryTransformer queryTransformer = RewriteQueryTransformer.builder()
.chatClientBuilder(chatClientBuilder)
.build();
Query transformedQuery = queryTransformer.transform(query);此组件使用的提示可通过构建器中可用的 promptTemplate() 方法进行自定义。
TranslationQueryTransformer
一个TranslationQueryTransformer使用大型语言模型将查询翻译为目标语言，该目标语言由用于生成文档嵌入的嵌入模型所支持。如果查询已经是目标语言，则原样返回。如果查询的语言未知，也同样原样返回。
当嵌入模型在特定语言上训练，而用户查询使用不同语言时，此转换器非常有用。
Query query = new Query("Hvad er Danmarks hovedstad?");
QueryTransformer queryTransformer = TranslationQueryTransformer.builder()
.chatClientBuilder(chatClientBuilder)
.targetLanguage("english")
.build();
Query transformedQuery = queryTransformer.transform(query);此组件使用的提示可通过构建器中可用的 promptTemplate() 方法进行自定义。
查询扩展
一个用于将输入查询扩展为查询列表的组件，通过提供替代的查询表述或将复杂问题分解为更简单的子查询，来解决诸如查询格式不佳等挑战。
多查询扩展器
一个MultiQueryExpander利用大型语言模型将查询扩展为多个语义多样的变体，
以捕捉不同的视角，这对于检索额外的上下文信息并提高找到相关结果的机会非常有用。
MultiQueryExpander queryExpander = MultiQueryExpander.builder()
.chatClientBuilder(chatClientBuilder)
.numberOfQueries(3)
.build();
List<Query> queries = queryExpander.expand(new Query("How to run a Spring Boot app?"));默认情况下，MultiQueryExpander 会将原始查询包含在扩展查询列表中。您可以通过构建器中的 includeOriginal 方法禁用此行为。
MultiQueryExpander queryExpander = MultiQueryExpander.builder()
.chatClientBuilder(chatClientBuilder)
.includeOriginal(false)
.build();此组件使用的提示可通过构建器中可用的 promptTemplate() 方法进行自定义。
检索
检索模块负责查询向量存储等数据系统，并检索最相关的文档。
文档搜索
负责从底层数据源（如搜索引擎、向量存储、
数据库或知识图谱）检索 Documents 的组件。
向量存储文档检索器
VectorStoreDocumentRetriever 从向量存储中检索与输入查询语义相似的文档。它支持基于元数据、相似度阈值和前 k 个结果的过滤。
DocumentRetriever retriever = VectorStoreDocumentRetriever.builder()
.vectorStore(vectorStore)
.similarityThreshold(0.73)
.topK(5)
.filterExpression(new FilterExpressionBuilder()
.eq("genre", "fairytale")
.build())
.build();
List<Document> documents = retriever.retrieve(new Query("What is the main character of the story?"));过滤器表达式可以是静态的或动态的。对于动态过滤器表达式，您可以传递一个 Supplier。
DocumentRetriever retriever = VectorStoreDocumentRetriever.builder()
.vectorStore(vectorStore)
.filterExpression(() -> new FilterExpressionBuilder()
.eq("tenant", TenantContextHolder.getTenantIdentifier())
.build())
.build();
List<Document> documents = retriever.retrieve(new Query("What are the KPIs for the next semester?"));您还可以通过 Query API，使用 FILTER_EXPRESSION 参数提供特定于请求的过滤器表达式。
如果同时提供了特定于请求和特定于检索器的过滤器表达式，则特定于请求的过滤器表达式优先。
Query query = Query.builder()
.text("Who is Anacletus?")
.context(Map.of(VectorStoreDocumentRetriever.FILTER_EXPRESSION, "location == 'Whispering Woods'"))
.build();
List<Document> retrievedDocuments = documentRetriever.retrieve(query);生成
生成模块负责根据用户查询和检索到的文档生成最终响应。
查询增强
一个用于通过额外数据增强输入查询的组件，有助于为大语言模型提供回答用户查询所需的上下文。
上下文查询增强器
ContextualQueryAugmenter 利用所提供文档的内容中的上下文数据来增强用户查询。
QueryAugmenter queryAugmenter = ContextualQueryAugmenter.builder().build();默认情况下，ContextualQueryAugmenter 不允许检索到的上下文为空。当发生这种情况时，
它会指示模型不要回答用户的查询。
您可以启用 allowEmptyContext 选项，以便在检索到的上下文为空时仍允许模型生成响应。
QueryAugmenter queryAugmenter = ContextualQueryAugmenter.builder()
.allowEmptyContext(true)
.build();此组件使用的提示可以通过构建器中提供的 promptTemplate() 和 emptyContextPromptTemplate() 方法进行自定义。