随缘惜情1. 项目背景与问题定位
去年接手公司核心业务系统重构时，我们遇到了典型的AI服务性能瓶颈。这套基于SpringAI框架搭建的智能客服系统，在业务高峰期经常出现响应延迟超过3秒的情况，直接影响客户满意度。通过APM工具监控发现，主要卡点集中在三个环节：
- 对话模型响应时间波动大（500-2500ms）
- Embedding向量生成存在重复计算
- 流式响应（Flux
）的客户端解析效率低
这种性能表现显然无法满足我们"95%请求响应时间<1.5秒"的SLA要求。经过两周的深度排查，我们最终形成了一套完整的优化方案，将平均响应时间从2.8秒降至680毫秒。以下是具体实施过程的关键细节。
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 核心优化策略与技术实现
2.1 对话模型层优化
我们使用的ChatModel接口在stream()方法调用时存在明显的资源竞争问题。通过线程转储分析，发现当并发请求超过20时，模型实例内部的状态锁会导致线程阻塞。解决方案采用双管齐下：
java复制// 优化后的模型配置类
@Configuration
public class ChatModelConfig {
@Bean
@Scope("prototype") // 关键修改：多实例模式
public ChatModel chatModel() {
return new OpenAiChatModel(
OpenAiChatOptions.builder()
.withModel("gpt-4-turbo")
.withTemperature(0.7)
.build(),
new RestTemplate());
}
}
配合Hystrix熔断机制，设置最大并发阈值：
yaml复制# application.yml
hystrix:
command:
default:
execution:
isolation:
thread:
timeoutInMilliseconds: 2000
circuitBreaker:
requestVolumeThreshold: 30
实测数据显示，该优化使第99百分位响应时间从2.3秒降至1.1秒。这里有个容易忽略的细节：prototype作用域必须配合@RefreshScope使用，否则配置热更新会失效。
2.2 Embedding计算优化
原系统每次请求都重新计算用户输入的embedding向量，造成大量重复计算。我们引入Caffeine缓存方案：
java复制@Configuration
@EnableCaching
public class CacheConfig {
@Bean
public CacheManager cacheManager() {
CaffeineCacheManager manager = new CaffeineCacheManager();
manager.registerCustomCache("embeddings",
Caffeine.newBuilder()
.maximumSize(10_000)
.expireAfterWrite(2, TimeUnit.HOURS)
.build());
return manager;
}
}
在EmbeddingClient实现类添加注解：
java复制@Cacheable(value = "embeddings", key = "#text.hashCode()")
public List<Double> embed(String text) {
// 原有embedding逻辑
}
注意hashCode碰撞问题需要额外处理，我们采用SHA-256作为fallback方案。这个优化减少约40%的CPU负载。
3. 流式响应处理优化
3.1 客户端消费模式改进
原代码使用简单的collectList()会导致内存堆积：
java复制// 反模式
List<ChatResponse> responses = chatModel.stream(prompt)
.collectList()
.block();
优化为分块处理+即时渲染：
java复制Flux<ChatResponse> stream = chatModel.stream(prompt);
Disposable subscription = stream
.window(Duration.ofMillis(300)) // 300ms时间窗口
.flatMap(Flux::collectList)
.subscribe(chunks -> {
// 实时更新UI
uiRenderer.append(chunks);
});
3.2 背压控制策略
配置响应式流的背压策略避免OOM：
java复制@Bean
public WebFluxConfigurer webFluxConfigurer() {
return new WebFluxConfigurer() {
@Override
public void configureHttpMessageCodecs(ServerCodecConfigurer configurer) {
configurer.defaultCodecs().maxInMemorySize(512 * 1024); // 512KB
}
};
}
4. 辅助优化措施
4.1 连接池调优
SpringAI底层使用的RestTemplate需要特别配置：
java复制@Bean
public RestTemplate restTemplate() {
PoolingHttpClientConnectionManager manager =
new PoolingHttpClientConnectionManager();
manager.setMaxTotal(200);
manager.setDefaultMaxPerRoute(50);
return new RestTemplateBuilder()
.requestFactory(() -> new HttpComponentsClientHttpRequestFactory(
HttpClientBuilder.create()
.setConnectionManager(manager)
.build()))
.setConnectTimeout(Duration.ofSeconds(3))
.build();
}
4.2 监控埋点增强
自定义指标监控关键路径：
java复制@Aspect
@Component
public class PerformanceMonitor {
@Autowired
private MeterRegistry registry;
@Around("execution(* com..chat.*.*(..))")
public Object trackPerformance(ProceedingJoinPoint pjp) throws Throwable {
Timer.Sample sample = Timer.start(registry);
try {
return pjp.proceed();
} finally {
sample.stop(registry.timer("chat.latency",
"method", pjp.getSignature().getName()));
}
}
}
5. 效果验证与异常处理
压测数据显示优化后指标：
- 平均响应时间：680ms（↓75%）
- P99响应时间：1.2s（↓48%）
- 错误率：0.3%（↓5倍）
遇到的典型问题及解决方案：
-
流式中断问题：客户端网络抖动导致流中断
- 解决方案：添加重试机制+心跳检测
java复制stream.retryWhen(Retry.backoff(3, Duration.ofMillis(100))) -
缓存穿透风险：恶意请求攻击空key
- 解决方案：布隆过滤器前置校验
java复制@Cacheable(value = "embeddings", key = "#text.hashCode()", unless = "#result == null || #result.isEmpty()") -
线程泄漏问题：未关闭的流式响应
- 解决方案：强制超时机制
java复制Flux.timeout(Duration.ofSeconds(10))
这套方案在线上稳定运行6个月后，我们又针对Paraformer-realtime-v2语音模型做了专项优化。通过预加载声学模型+动态批处理，将语音识别延迟进一步降低到400ms以内。关键点在于合理设置批处理窗口：
java复制ParaformerOptions options = ParaformerOptions.builder()
.batchSize(16)
.maxWaitMs(50)
.build();
实际开发中发现SpringAI对非向量模型的支持确实存在局限，需要自定义ModelAdapter来实现特殊协议对接。这也是我们下一步计划贡献给开源社区的重点方向。