演讲预告|字节跳动 Hadoop 云原生化演进实践

技术

Hadoop 是 Apache 基金会旗下知名基础架构开源项目。作为国内少见的 Hadoop 开源生态技术峰会,第四届 China Apache Hadoop Meetup 将于 2022年9月24日在上海举办。本届峰会以 “云数智聚 砥柱笃行” 为主题,汇聚 35+ 行业大咖,主席团由戴金权、堵俊平、金耀辉组成。

字节跳动 云原生 计算技术负责人李亚坤受邀担任会议委员 与一众行业大咖共同聚焦开源与云原生最新趋势与洞见。

picture.image

Hadoop

议题推荐

本届峰会主论坛聚焦开源、商业、产业最新趋势与洞见,5大主题论坛围绕大数据架构、企业应用、云原生架构、机器学习、AI 数据开放展开深入探讨。

字节跳动基础架构工程师 林友权邵凯阳 将在大会上分享 字节跳动提出的 Hadoop

大数据 生态云原生化演进实践方案—— Yodel YARN on Gödel)。

演讲主题

《字节跳动 Hadoop 云原生化演进实践》

演讲时间

2022年9月24日(周六) 14:00-14:30

议题简介

Yodel(YARN on Gödel)是字节跳动提出的 Hadoop 大数据生态云原生化演进实践方案,其中 Gödel 是公司内增强版 Kubernetes ,目标将公司内大数据业务平滑迁移到 Kubernetes,实现在离线资源池统一,提升利用率。Yodel 基于 YARN 开发, 100% 兼容 Hadoop YARN 协议,用户可以像使用 YARN 一样使用 Yodel。Yodel 内部实现了 RGS(Remote Godel Scheduler)、 RKS (Remote Kubelet Service)等服务,RGS 维护资源请求并与 API Server 交互,将调度能力统一到 Godel Scheduler;RKS 实现了 YARN NM 所有接口,对用户和作业透明的前提下,把 NM 的 Container 管理能力平滑下沉到 Kubelet。目前 Yodel 已经在公司内得到大规模应用,升级过程对用户和任务平滑、无感。

大会提供线上和线下两种参会方式,扫描下方二维码即可参与👇

picture.image

扫码预约直播

18
0
0
0
关于作者
相关产品
评论
未登录
看完啦,登录分享一下感受吧~
暂无评论