1监控生产环境中的机器学习模型性能
- 1在 Evidently AI 中创建项目并连接您的模型预测数据（包括特征、预测值和实际值）。
- 2配置监控指标，如数据漂移、模型性能（准确率、F1等）和特征重要性变化。
- 3设置警报规则，当指标超出阈值时自动通知团队。
- 4定期查看仪表盘，分析性能下降的原因并采取改进措施。
2评估新模型上线前的稳定性
- 1上传训练模型和测试数据到 Evidently AI，生成详细的模型评估报告。
- 2对比不同模型版本的数据分布和性能指标，识别潜在偏差或过拟合。
- 3使用报告中的可视化图表，向团队展示模型在边缘案例上的表现。
- 4根据评估结果决定是否部署新模型，或调整训练数据。
3检测数据漂移并触发重新训练
- 1在 Evidently AI 中设置参考数据集（训练数据）和当前生产数据。
- 2启用数据漂移检测功能，自动计算特征分布差异（如 PSI、KL散度）。
- 3配置漂移阈值，当漂移严重时自动生成警报。
- 4根据警报，启动模型重新训练流程，并更新监控基线。