用 AWS 和 Wipro 现代化数据科学生命周期管理 机器学习博客
  • 22

使用 AWS 和 Wipro 现代化数据科学生命周期管理

关键要点

许多组织使用混合的本地和开源数据科学解决方案来创建和管理机器学习ML模型。分离的工具栈使数据科学和运维团队面临诸多挑战，例如协作不足、缺乏可伸缩性和有效的 MLOps 管理。使用 AWS 的解决方案不仅提高了模型的自动化和质量，还增强了数据科学和运维团队之间的协作。Wipro 通过 AWS SageMaker 和其他服务成功实施了一个高度集成的 MLOps 框架，显著提高了客户的模型培训和运营效率。

随着数据科学的不断发展，许多组织试图利用 AWS 和 Wipro 的资源现代化其数据科学生命周期管理。这项合作旨在有效管理机器学习模型开发的各个环节，同时减少维护和协作所需的成本。

当前挑战

在开始之前，让我们先了解客户的数据科学与运维团队在现有架构中面临的几个挑战：

协作：数据科学家主要在本地 Jupyter 笔记本中独立工作，缺乏有效的共享和协作方法。可伸缩性：随着模型的复杂性增加，训练和重新训练模型的时间也在不断增长，而基础设施容量却未相应扩大。MLOps：模型监控和管理缺乏紧密集成，且与现有 ML 模型的自动化程度不足。可重用性：缺乏可重用的 MLOps 框架，每个模型都需单独开发和管理，增加了总体工作量并延迟了模型部署。

Wipro 通过 AWS SageMaker 提供的集成功能解决了这些挑战。以下是解决方案的架构概述：

用 AWS 和 Wipro 现代化数据科学生命周期管理 机器学习博客

解决方案架构

Wipro 在与客户的深度咨询后，定义了一个架构，能够以成本优化和完全自动化的方式解决核心需求：

代码共享：SageMaker 笔记本允许数据科学家与团队成员共同实验和分享代码。持续集成和持续交付CI/CD管道：通过使用客户的 GitHub 存储库，实现代码版本控制及自动化脚本部署。MLOps：架构中包括 SageMaker 模型监控管道，能够按需进行模型质量治理。事件驱动架构：模型训练、部署和监控管道通过 Amazon EventBridge 有效集成。

解决方案组件

以下是该架构中各个组件的详细描述：

实验笔记本

目的 客户数据科学团队希望实验多种数据集与模型，以寻找最佳特征并将其用于自动化管道。解决方案 Wipro 创建了 SageMaker 实验笔记本，提供了每个步骤的代码片段，以加速数据处理和模型训练过程。

自动化训练管道

目的 实现一个自动化的训练和重新训练管道，能够根据推送至 S3 的数据事件自动启动。解决方案 Wipro 利用 Step Functions SDK 和 SageMaker Processing 创建了一个可重用的训练管道，确保每次数据推送后都能自动进行训练。

自动化批量评分管道

目的 当相应的 S3 位置有新数据可供评分时，立即启动批量评分。解决方案 Wipro 实现了一个可重用的评分管道，通过 Step Functions SDK 和 SageMaker 批量转换作业，自动在数据可用时进行触发。

结论

本文介绍的实施方案使得 Wipro 能够有效地将本地模型迁移至 AWS，建立了一个可扩展的、自动化的模型开发框架。通过重用公共组件，数据科学团队能够有效地打包其工作，将其作为可部署的 AWS Step Functions JSON 组件。同时，运维团队利用增强的 CI/CD 管道，促进了模型在更高环境中的顺利推广与重新训练。

tk加速器下载安装

这一全面的架构处理了整个机器学习周期，包括自动化模型培训、实时和批量推理、主动模型监控及漂移分析。这一端到端的解决方案赋予客户提供更优质模型性能的能力，同时维持严格的监控和分析，以确保持续的准确性与可靠性。

相关链接

AWS Machine LearningAWS SageMaker

作者介绍

Stephen Randolph 是 AWS 的高级合作伙伴解决方案架构师，他致力于协助全球系统集成商合作伙伴开发行业解决方案，以应对商业挑战。

Bhajandeep Singh 是 Wipro 的 AWS AI/ML 中心的负责人，主导客户参与数据分析和 AI 解决方案交付。

Ajay Vishwakarma 是 Wipro AI 解决方案实践的 ML 工程师，在 SageMaker 中构建个性化算法解决方案上具有丰富经验。