云原生机器学习系统落地和实践
30054
150
更新时间:

资源介绍

机器学习在字节跳动有着丰富业务场景:推广搜、CV/NLP/Speech 等。业务规模的不断增大对机器学习系统从用户体验、训练效率、编排调度、资源利用等方面也提出了新的挑战,而 Kubernetes 云原生理念的提出正是为了应对这些挑战。本次分享将主要介绍字节跳动机器学习系统云原生化的落地和实践。

资源详情

主要内容:

  1. 背景介绍 a. 在线推理服务 b. 离线流批训练场景
  2. 云原生机器学习系统
  3. GPU 利用率提升实践 a. 推理 GPU 共享 b. 推理训练弹性并池

听众收益:

  1. 了解字节跳动云原生机器学习系统
  2. 了解 GPU 利用率提升的实践