火山引擎开发者社区|技术大讲堂
揭秘云原生时代下的新一代数据计算基础设施
时间:2023/05/18(周四)19:30-21:00
直播报名: https://developer.volcengine.com/activities/7221402987090935868
精彩议程:
- 《字节跳动大数据容器化构建与落地实践》陈苏安|火山引擎资深研发工程师
- 《如何构建企业级云原生计算基础设施》郑晓明|火山引擎云原生计算架构师
掘金|云原生大数据字节跳动专场
云原生时代下的数据计算基础设施
时间:2023年6月10日 (周六) 14:00-18:00
地点:上海市徐汇区古美路1520号漕河泾中心C栋会议室622
参会报名: https://www.bagevent.com/event/8471457
精彩议程:
- 《Elasticsearch 项目在字节的技术实践》鲁蕴铖 - 字节跳动基础架构高级研发工程师
- 《Ray 在字节跳动的云原生实践》王万兴 - 字节跳动基础架构研发工程师
- 《基于云原生的 Flink 探索与落地》陶克路 - 火山引擎云原生计算研发工程师
- 《云原生场景下的存储加速实践》郭俊 - 火山引擎大数据文件存储技术负责人
QCon 全球软件开发大会
现代数据架构专场
议题:字节跳动
EB 级 Iceberg
数据湖 的 机器学习 应用与优化
讲师:谢凯 - 字节跳动基础架构研发工程师
时间:5月27日 9:30-10:15
议题简介:
深度学习的模型规模越来越庞大,其训练数据量级也成倍增长,这对海量训练数据的存储方案提出了更高的要求:怎么样更高性能地读取训练样本、不让数据读取成为模型训练瓶颈,怎么样更高效的支持特征工程、能够更便捷地增删和回填特征。传统的数仓方案和直接使用 Hadoop 或对象存储来存放样本都不能很理想的满足以上业务需求。本次演讲将介绍字节跳动如何通过 Iceberg 数据湖支持 EB 级机器学习样本存储,实现高性能特征读取和高效特征调研、特征工程加速模型迭代。
GOTC 全球开源技术峰会
AI is Everywhere 专场
议题: Primus-通用的分布式训练调度框架
讲师:徐合邦 - 字节跳动基础架构计算框架研发工程师
时间:5月28日 16:40-17:00
议题简介:
近些年来,机器学习科技已经深植各应用领域,并且成功带来显着的提升。面对与日俱增的训练资料和模型规模,为了满足更高效率的模型训练,分布式训练的概念顺应而生。作为一个通用的分布式训练调度框架,Primus 提供一个通用的介面桥接了分布式训练任务和物理计算资源,让资料科学家可以专注与学习算法的设计,并且让分散式训练任务可以运行在不同种类的计算集群,例如 Kubernetes 和 YARN。于此基础上,Primus 更提供了分布式训练任务所需的容错能力以及资料调度能力,进而更提升了分布式训练的易用性。
参与方式: 欢迎进群了解更多活动预告、直播分享、技术干货
识别二维码,了解更多内容