Ray 2.44版本推出Ray Data LLM和Ray Serve LLM原生API，简化大型语言模型部署和扩展。Ray Data LLM支持高效批量推理，解决高通量推理复杂性，与现有推理服务器集成，兼容Ray Data管道。Ray Serve LLM提供多模型部署、自动缩放和OpenAI API兼容性，支持vLLM集成和复杂管道编排，帮助开发者构建高效AI应用。