【学习各类API】 本文深入探讨了 Gateway API 推理扩展在 Kubernetes 上运行 AI 推理工作负载时的应用。该项目引入了两个新的自定义资源定义（CRD）：InferenceModel 和 InferencePool，以及端点选择器概念，旨在通过智能路由和负载均衡优化 GPU 和 LLM 的利用率。这些功能显著提高了请求处理效率，为组织节省成本。推理扩展项目的设计使得能够以‘模型即服务’的方式自托管 GenAI/LLM，提高 AI 推理的灵活性和性能。

【日积月累】 本文介绍了如何通过 Kubernetes Gateway API 推理扩展优化 AI 工作负载路由。传统的负载均衡策略难以处理 AI 推理请求，导致 GPU 使用率低和延迟增加。Gateway API 推理扩展引入了 InferenceModel 和 InferencePool 两个 CRD，以实现推理感知的路由决策，从而提高资源利用率和性能。通过智能流量管理，确保请求分配到最佳的 GPU 实例，实现更高效的 AI 模型服务。