Apache APISIX 3.18.0 发布,新增 LLM 缓存与语义模型路由

Apache APISIX 3.18.0 发布,新增 LLM 精确与语义缓存、流式响应缓存、语义模型路由及 Lakera Guard 集成。版本还扩展 LDAP 认证、L4 代理和 Prometheus 指标,并支持通过 Redis 在多个网关节点间共享模型 token 配额。

阅读原文

返回首页