演讲预告|云原生数据计算基础设施、EB级Iceberg数据湖、Primus分布式训练调度框架

技术

picture.image

picture.image

火山引擎开发者社区|技术大讲堂

揭秘云原生时代下的新一代数据计算基础设施

时间:2023/05/18(周四)19:30-21:00

直播报名: https://developer.volcengine.com/activities/7221402987090935868

精彩议程:

  • 《字节跳动大数据容器化构建与落地实践》陈苏安|火山引擎资深研发工程师
  • 《如何构建企业级云原生计算基础设施》郑晓明|火山引擎云原生计算架构师

picture.image

掘金|云原生大数据字节跳动专场

云原生时代下的数据计算基础设施

时间:2023年6月10日 (周六) 14:00-18:00

地点:上海市徐汇区古美路1520号漕河泾中心C栋会议室622

参会报名: https://www.bagevent.com/event/8471457

精彩议程:

  • 《Elasticsearch 项目在字节的技术实践》鲁蕴铖 - 字节跳动基础架构高级研发工程师
  • 《Ray 在字节跳动的云原生实践》王万兴 - 字节跳动基础架构研发工程师
  • 《基于云原生的 Flink 探索与落地》陶克路 - 火山引擎云原生计算研发工程师
  • 《云原生场景下的存储加速实践》郭俊 - 火山引擎大数据文件存储技术负责人

picture.image

QCon 全球软件开发大会

现代数据架构专场

议题:字节跳动

EB Iceberg

数据湖 机器学习 应用与优化

讲师:谢凯 - 字节跳动基础架构研发工程师

时间:5月27日 9:30-10:15

议题简介:

深度学习的模型规模越来越庞大,其训练数据量级也成倍增长,这对海量训练数据的存储方案提出了更高的要求:怎么样更高性能地读取训练样本、不让数据读取成为模型训练瓶颈,怎么样更高效的支持特征工程、能够更便捷地增删和回填特征。传统的数仓方案和直接使用 Hadoop 或对象存储来存放样本都不能很理想的满足以上业务需求。本次演讲将介绍字节跳动如何通过 Iceberg 数据湖支持 EB 级机器学习样本存储,实现高性能特征读取和高效特征调研、特征工程加速模型迭代。

picture.image

GOTC 全球开源技术峰会

AI is Everywhere 专场

议题: Primus-通用的分布式训练调度框架

讲师:徐合邦 - 字节跳动基础架构计算框架研发工程师

时间:5月28日 16:40-17:00

议题简介:

近些年来,机器学习科技已经深植各应用领域,并且成功带来显着的提升。面对与日俱增的训练资料和模型规模,为了满足更高效率的模型训练,分布式训练的概念顺应而生。作为一个通用的分布式训练调度框架,Primus 提供一个通用的介面桥接了分布式训练任务和物理计算资源,让资料科学家可以专注与学习算法的设计,并且让分散式训练任务可以运行在不同种类的计算集群,例如 Kubernetes 和 YARN。于此基础上,Primus 更提供了分布式训练任务所需的容错能力以及资料调度能力,进而更提升了分布式训练的易用性。

picture.image

参与方式: 欢迎进群了解更多活动预告、直播分享、技术干货

picture.image 识别二维码,了解更多内容

9
0
0
0
关于作者
相关产品
评论
未登录
看完啦,登录分享一下感受吧~
暂无评论