1将开源大模型（如 Llama）快速部署为生产级 API
- 1在 Baseten 控制台中点击“Deploy Model”，从模型库中选择开源模型（如 Llama 系列）。
- 2配置 GPU 类型和自动缩放策略，点击部署即可获得一个可调用的 REST API 端点。
- 3通过 API 密钥调用该端点，并将自动缩放策略按流量需求调整，以控制成本。
2部署自定义微调模型（如基于 LoRA 的定制模型）
- 1将自定义模型权重打包为 Baseten 支持的格式，并上传至模型仓库或对象存储。
- 2在控制台创建新模型，选择“Custom Model”，上传代码和依赖，指定入口函数。
- 3配置实例规格和并发上限，部署成功后使用测试页面或 API 进行验证。
3为生产环境配置模型的自动缩放与监控
- 1在已部署模型的“Settings”中启用自动缩放，设置最小/最大实例数和触发条件（如请求队列长度）。
- 2为模型配置日志和指标收集，使用 Baseten 内置的监控仪表板查看延迟、吞吐量和错误率。
- 3设置告警规则，当 P95 延迟或错误率超过阈值时触发通知，并依据指标手动调整资源配额。