|
此版本仍在开发中，尚未被视为稳定版。如需最新的快照版本，请使用 Spring AI 1.1.3！ |
图像模型 API
Spring Image Model API 旨在提供一个简单且可移植的接口，用于与各种专注于图像生成的 AI 模型 进行交互，使开发人员能够通过极少的代码更改在不同的图像相关模型之间切换。
此设计契合 Spring 框架的模块化与可互换性理念，确保开发人员能够快速调整其应用程序以适应不同的图像处理相关的 AI 能力。
此外，借助像 ImagePrompt（用于输入封装）和 ImageResponse（用于输出处理）这样的辅助类的支持，图像模型 API 统一了与专用于图像生成的 AI 模型的通信。
它管理请求准备和响应解析的复杂性，为图像生成功能提供直接且简化的 API 交互。
Spring 图像模型 API 构建于 Spring AI Generic Model API 之上，提供特定于图像的抽象和实现。
图像模型
以下是 ImageModel 接口的定义：
@FunctionalInterface
public interface ImageModel extends Model<ImagePrompt, ImageResponse> {
ImageResponse call(ImagePrompt request);
}图像提示
ImagePrompt 是一个 ModelRequest，它封装了一个 ImageMessage 对象列表以及可选的模型请求选项。
以下清单展示了 ImagePrompt 类的截断版本，不包括构造函数和其他实用方法：
public class ImagePrompt implements ModelRequest<List<ImageMessage>> {
private final List<ImageMessage> messages;
private ImageOptions imageModelOptions;
@Override
public List<ImageMessage> getInstructions() {...}
@Override
public ImageOptions getOptions() {...}
// constructors and utility methods omitted
}图片消息
ImageMessage 类封装了要使用的文本以及该文本在影响生成图像时应具有的权重。对于支持权重的模型，权重可以是正数或负数。
public class ImageMessage {
private String text;
private Float weight;
public String getText() {...}
public Float getWeight() {...}
// constructors and utility methods omitted
}图像选项
表示可以传递给图像生成模型的选项。ImageOptions 接口扩展了 ModelOptions 接口，用于定义可传递给 AI 模型的少量可移植选项。
ImageOptions 接口定义如下：
public interface ImageOptions extends ModelOptions {
Integer getN();
String getModel();
Integer getWidth();
Integer getHeight();
String getResponseFormat(); // openai - url or base64 : stability ai byte[] or base64
}此外，每个特定模型的 ImageModel 实现都可以拥有自己的选项，这些选项可以传递给 AI 模型。例如，OpenAI 图像生成模型拥有自己的选项，如 quality、style 等。
这是一项强大的功能，允许开发者在启动应用程序时使用特定于模型的选项，然后在运行时使用ImagePrompt进行覆盖。
图像响应
ImageResponse 类的结构如下：
public class ImageResponse implements ModelResponse<ImageGeneration> {
private final ImageResponseMetadata imageResponseMetadata;
private final List<ImageGeneration> imageGenerations;
@Override
public ImageGeneration getResult() {
// get the first result
}
@Override
public List<ImageGeneration> getResults() {...}
@Override
public ImageResponseMetadata getMetadata() {...}
// other methods omitted
}ImageResponse 类持有 AI 模型的输出，每个 ImageGeneration 实例包含由单个提示生成的潜在多个输出中的一个。
ImageResponse 类还包含一个 ImageResponseMetadata 对象，该对象持有有关 AI 模型响应的元数据。
图像生成
最后，ImageGeneration 类继承自 ModelResult，用于表示输出响应以及与此结果相关的元数据：
public class ImageGeneration implements ModelResult<Image> {
private ImageGenerationMetadata imageGenerationMetadata;
private Image image;
@Override
public Image getOutput() {...}
@Override
public ImageGenerationMetadata getMetadata() {...}
// other methods omitted
}API 文档
您可以在此处找到 Javadoc 链接。
反馈和贡献
项目的GitHub讨论区是发送反馈的好地方。