本文介绍了如何通过 Kubernetes Gateway API 推理扩展优化 AI 工作负载路由。传统的负载均衡策略难以处理 AI 推理请求，导致 GPU 使用率低和延迟增加。Gateway API 推理扩展引入了 InferenceModel 和 InferencePool 两个 CRD，以实现推理感知的路由决策，从而提高资源利用率和性能。通过智能流量管理，确保请求分配到最佳的 GPU 实例，实现更高效的 AI 模型服务。