如何使用云原生的方式做模型服务自动化?结合HP云模型实践看看内部结构详细方案

Kubernetes

AI云原生本质来讲就是结合K8s实现服务部署自动化,结合Istio来做流量治理,实现应用全面部署及管控。

AI模型对外提供服务肯定离不开模型部署,那么刚好可以借助K8s的能力来实现自动化。而对外提供出的API肯定离不开流量治理与限速相关的功能,这也恰好是Istio的能力。

本文结合HP云,看看在实践过程中应该怎么,以及应该注意的事项。

picture.image

picture.image

picture.image

picture.image

picture.image

picture.image

picture.image

picture.image

picture.image

picture.image

picture.image

picture.image

picture.image

picture.image

picture.image

picture.image

picture.image

picture.image

picture.image

picture.image

picture.image

picture.image

picture.image

picture.image

picture.image

picture.image

0
0
0
0
关于作者
关于作者

文章

0

获赞

0

收藏

0

相关资源
云原生机器学习系统落地和实践
机器学习在字节跳动有着丰富业务场景:推广搜、CV/NLP/Speech 等。业务规模的不断增大对机器学习系统从用户体验、训练效率、编排调度、资源利用等方面也提出了新的挑战,而 Kubernetes 云原生理念的提出正是为了应对这些挑战。本次分享将主要介绍字节跳动机器学习系统云原生化的落地和实践。
相关产品
评论
未登录
看完啦,登录分享一下感受吧~
暂无评论