Ray

Ray 是开源项目，团队可以自主部署并审查代码，不必把 AI 基础设施绑定在单一厂商的封闭平台上。官网同时提供 Anyscale 的托管服务（Anyscale is Ray - Perfected），可作为可选方案，但开源框架本身是避免厂商锁定的基础。

Ray 定位为统一的 AI 计算引擎，可在同一套框架下支持多种负载：并行化任意 Python 代码（如仿真、回测）、图像/视频/音频等多模态数据处理、分布式模型训练（兼容任意框架，涵盖生成式 AI 基础模型、时间序列模型及 XGBoost 等传统模型）、通过 Ray Serve 进行模型部署与服务、异构 CPU/GPU 流水线的批量推理、基于 RLlib 的生产级分布式强化学习，以及多模态模型、RAG 应用、大语言模型在线与批量推理和规模化微调等生成式 AI 工作流。

Ray 支持从笔记本电脑扩展到数千块 GPU，同一套代码可从本地开发环境平滑扩展到多卡、多节点乃至大规模集群，降低从原型到生产的迁移成本。它还能使用异构 GPU 和 CPU 进行细粒度、独立扩缩容，充分利用每一块加速器；官网案例显示其已支撑 100 万以上 CPU 核的在线模型服务、3000 亿以上参数的基础模型训练等规模。