Java LLM 开发框架概览

Java 生态中 LLM（大语言模型）开发框架涵盖从基础集成到高阶智能体开发的完整工具链。主流框架包括 Spring AI（官方支持的轻量级方案）、LangChain4j（Java 版 LangChain）、Agents-Flex（国产高性能智能体框架）等，覆盖 REST API 调用、流式响应、函数调用、记忆管理等核心场景。

---

Spring AI 基础集成

核心依赖：通过 spring-ai-openai-spring-boot-starter 快速接入 OpenAI 或 Azure OpenAI 服务，配置 API 密钥和模型参数即可完成初始化。

<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-openai-spring-boot-starter</artifactId>
    <version>0.8.1</version>
</dependency>

典型代码示例：

@RestController
public class ChatController {
    @Autowired
    private OpenAiChatClient chatClient;

    @GetMapping("/chat")
    public String generate(@RequestParam String prompt) {
        return chatClient.call(prompt);
    }
}

关键特性：

• 自动管理对话上下文
• 支持 gpt-4-turbo 等最新模型
• 内置提示词模板引擎

---

LangChain4j 进阶功能

模块化设计：提供 Tools（工具调用）、Memory（对话记忆）、Chains（任务链）等组件，适合复杂场景。

示例：工具调用

Tool googleSearchTool = Tool.builder()
    .name("google-search")
    .description("Search Google for recent information")
    .call(request -> searchService.execute(request))
    .build();

Agent agent = DefaultAiAgent.builder()
    .tools(googleSearchTool)
    .chatMemory(MessageWindowChatMemory.withMaxMessages(10))
    .build();

String response = agent.chat("2024年Java最新趋势是什么？");

优势：

• 支持本地模型（如 Ollama）
• 与 Spring 生态无缝集成
• 可扩展的 RAG（检索增强生成）流水线

---

Agents-Flex 高性能智能体开发

国产化方案：专为 Java 优化的智能体框架，性能较 LangChain4j 提升 3-5 倍，适合企业级应用。

核心能力：

Agent<Message> agent = new FlowAgent<>()
    .memory(new RedisChatMemory("sessionId", 1800))
    .function("weather", params -> weatherService.get(params))
    .rule("sales", "用户询问价格时触发优惠规则");

agent.onMessage("这款软件多少钱？"); // 自动触发销售规则

关键差异：

• 基于事件驱动的异步处理
• 支持分布式记忆存储（Redis/MongoDB）
• 内置业务规则引擎

---

框架选型建议

• 快速验证：Spring AI（配置简单，官方维护）
• 复杂逻辑：LangChain4j（生态丰富，社区活跃）
• 生产环境：Agents-Flex（性能优先，国产可控）

---

扩展：本地模型部署

结合 Ollama 运行本地 LLM（如 Llama3）：

ollama pull llama3
ollama run llama3

Java 调用代码：

LocalChatClient client = new OllamaChatClient("http://localhost:11434");
client.setModel("llama3");
String answer = client.ask("解释量子力学");