火山引擎开发者社区技术年货|2022 年最受欢迎的技术文章合辑

技术

picture.image

picture.image

  点击上方蓝字关注我们      

picture.image

在陪伴大家的 2022 年,火山引擎开发者社区为大家带来了丰富的技术文章和精彩的在线分享,怕你错过这些内容,这里小编特意为大家汇总 2022 年火山引擎开发者社区最受欢迎的技术干货,码住这份技术年货随时查阅哦picture.image

字节跳动 NoSQL 的探索与实践

如今 NoSQL 在字节跳动有非常广泛的应用:数万 NoSQL 应用实例,10W+ 台物理服务器资源,字节跳动超过 90% 的在线服务都是 NoSQL 系统提供的。字节跳动的 NoSQL 产品矩阵有图数据库 ByteGraph、图计算系统、KV 存储服务 ABase,点击👉 字节跳动 NoSQL 的探索与实践 查看详情。

RTC 技术的试金石:火山引擎视频会议场景技术实践

视频会议场景一直被认为是 RTC 最具挑战性的场景,一方面,它对抗弱网、低端机适配、降噪、多人上麦等都有极高的要求,对 Web 端的要求也远高于其他场景;另一方面,有很多孵化自会议场景的技术能力最终都被复制到了其他场景。对于复杂光线下的视频体验、屏幕共享、多宫格视图体验、会控等挑战,点击👉 RTC 技术的试金石:火山引擎视频会议场景技术实践 查看火山引擎 RTC 技术是如何应对的。

字节跳动大规模 K8s 集群管理实践

截至 2021 年底,字节跳动已经建设了完善的云原生基础设施:拥有 200 多个生产集群,共计 50 万节点,容器数超过 1000 万;拥有 10 万多在线微服务,平均每日变更数达 2 万次,离线任务数超过 1.4 亿。点击👉 字节跳动大规模 K8s 集群管理实践 查看字节跳动大规模 K8s 混合部署实践如何解决集群整体资源利用率的问题,以及达到的业务效果。

火山引擎大规模机器学习平台架构设计与应用实践

大模型训练在技术和管理上存在一些痛点,火山引擎云原生机器学习平台通过优化高性能计算和存储的规模化调度,并对模型分布式训练进行加速,力求提升资源利用率和模型训练性能,并实现开发过程的标准化。点击👉 火山引擎大规模机器学习平台架构设计与应用实践 查看火山引擎机器学习平台的架构在高性能计算、存储的规模化调度和模型分布式训练方面的设计,以及平台如何解决开发过程中,特别是算法团队管理过程中的一些痛点。

基于火山引擎 EMR 构建企业级数据湖仓

目前,数据湖仓开源的几个趋势是数据架构向 LakeHouse 方向发展;计算向精细化内存管理和高效执行方向发展,榨干硬件性能;多模计算,即组件边界逐渐模糊,向全领域能力扩展;以及分析实时化。其中 Delta Lake、IceBerg 和 Hudi 是大家使用较多的项目,其区别和选型也值得对比。点击👉 基于火山引擎 EMR 构建企业级数据湖仓 查看火山引擎开源大数据平台 EMR 的架构以及基于其构建企业级数据湖仓的最佳实践。

轻量级 Kubernetes 多租户方案的探索与实践

伴随着云原生技术的发展和推广,Kubernetes 已经成为了云计算时代的操作系统。现有的 Kubernetes 多租户模型主要有三种:Namespaces as a Service, Clusters as a Service, Control planes as a Service。这三种模型均在用户体验上均有弊端,字节跳动提出了一种针对海量小租户并存场景的轻量级多租户方案——KubeZoo。点击👉 轻量级 Kubernetes 多租户方案的探索与实践 查看 KubeZoo 的租户管理、租户请求转换、API 对象转换、租户请求公平性、租户网络隔离等关键技术细节。

字节跳动 kube-apiserver 高可用方案 KubeGateway

KubeGateway 是字节跳动针对 kube-apiserver 流量特征专门定制的七层网关,它彻底解决了 kube-apiserver 负载不均衡的问题,同时在社区范围内首次实现了对 kube-apiserver 请求的完整治理,包括请求路由、分流、限流、降级等,显著提高了 Kubernetes 集群的可用性。点击👉 字节跳动 kube-apiserver 高可用方案 KubeGateway 查看 KubeGateWay 在请求解析、路由匹配、用户认证、请求治理、请求反向代理等方面的架构设计。

云原生环境下的日志采集、存储、分析实践

云原生场景下日志种类多、数量多、动态非永久,开源系统在采集云原生日志时面临采集难、产品化能力不足等问题,因此火山引擎自研了一套统一的日志管理平台——火山引擎日志服务(Tinder Log Service,简称为 TLS)。TLS 采用中心化、白屏化的配置管理,CRD 云原生配置方式,适合大规模、多租户场景的客户端。点击👉 云原生环境下的日志采集、存储、分析实践 查看火山引擎 TLS 的架构设计、系统和产品层面的优化以及实践案例。

火山引擎上云迁移指南

云迁移是指将数字化业务运营迁移到云的过程。云迁移更侧重于将数据、应用程序和 IT 流程等企业数字资产从某些数据中心迁移到其他数据中心,而不是把服务器、网络等硬件设备打包和移动。云迁移需要成熟的方法论、配套的迁移工具和专业的迁移团队。点击👉 火山引擎上云迁移指南 查看云迁移路径、迁移策略和迁移方法论。

字节跳动埋点数据流建设实践

当前字节跳动埋点数据流峰值流量超过 1 亿每秒,每天处理超过万亿量级埋点,PB 级数据存储增量。同时 ETL 任务规模体量也较大,在多个机房部署了超过 1000 个 Flink 任务和超过 1000 个 MQ Topic,使用了超过 50 万 Core CPU 资源,单个任务最大超过 12 万 Core CPU,单个 MQ Topic 最大达到 10000 个 partition。点击👉 字节跳动埋点数据流建设实践 查看字节跳动埋点数据流的业务场景和遇到的挑战,以及字节跳动埋点数据流 ETL 链路、容灾与降级等方面的能力建设实践。

picture.image

0
0
0
0
评论
未登录
看完啦,登录分享一下感受吧~
暂无评论