文章介绍了 Bucket 优化技术及其在实际业务中的应用，包括 Spark Bucket 的基本原理，重点阐述了火山引擎湖仓一体分析服务 LAS（下文以 LAS 指代）Spark 对 Bucket 优化的功能增强， 实现了 Bucket 易用性的巨大提升，优化的覆盖范围得以扩大，且在字节内部已有成功应用案例。文中提及的能力增强在 LAS 上均可直接使用，欢迎大家到火山引擎官网进行体验和选购（点击前

随着数据规模的迅速增长和数据处理需求的不断演进，云原生架构和湖仓分析成为了现代数据处理的重要趋势。在这个数字化时代，企业面临着海量数据的挑战和机遇，而构建可扩展、灵活且高效的数据分析平台成为了迫切的需求。文章主要介绍了火山引擎湖仓一体分析服务 LAS（下文以 LAS 指代）基于 Spark 的云原生湖仓分析实践，利用 Spark 的强大功能和云原生技术的优势，构建高效、可扩展、灵活的数据分析平台，

文章主要介绍了火山引擎湖仓一体分析服务 LAS Spark（下文以 LAS Spark 指代）在 TPC-DS 上的性能突破与优化策略。TPC-DS 是一个模拟复杂数据仓库环境的测试基准，LAS Spark 通过采用规则优化、缓存优化和运行时优化三类优化策略，实现了超越社区版本的巨大性能提升，且已在内部生产环境得到验证。文末更有专属彩蛋，新人优惠购福利，等着你来解锁！本篇文章提纲如下：TPC-DS

以下是湖仓一体分析服务 LAS 产品白皮书，为您提供关于产品的全面信息，包括行业趋势、核心特点、设计理念、应用场景、客户案例等多方面内容的详细介绍。现已正式发布，欢迎大家下载使用。点击下载：《火山引擎 湖仓一体分析服务 LAS 产品白皮书 公有云 V1.6》

LAS（Lakehouse Analytics Service）是面向湖仓一体架构的 Serverless 数据处理分析服务，提供字节跳动最佳实践的一站式 EB 级海量数据存储计算和交互分析能力，兼容 Spark、Presto、Flink 生态，帮助企业轻松构建智能实时湖仓。火山引擎 LAS 团队现推出新人特惠 1 元包活动。新人特惠 1 元包是火山引擎 LAS 为新手用户提供的低门槛体验权益，旨

文丨火山引擎LAS团队李铮本文对目前主流数仓架构及数据湖方案的不足之处进行分析，介绍了字节内部基于实时/离线数据存储问题提出的的湖仓一体方案的设计思路，并分享该方案在实际业务场景中的应用情况。最后还会为大家分享  LAS  团队对湖仓一体架构的未来规划。文末更有专属彩蛋，新人优惠购福利，等着你来解锁！目前主流的数仓架构—— Lambda 架构，能够通过实时和离线两套链路、两套代码同时兼容实时数据与

本文为 Apache Hudi 技术社区分享会第十期嘉宾分享文章，主要介绍火山引擎 LAS 团队自研的多场景样本离线存储技术，用于处理机器学习系统的离线数据流。同时，还会为大家揭秘流批一体样本生成的过程，分享对 Hudi 内核所做出的优化和改造，探索其在数据处理领域的实际应用和效果。文末更有专属彩蛋，新人优惠购福利，等着你来解锁！本篇文章提纲如下：业务场景离线样本存储与迭代流批一体的样本生成功能与

在字节跳动内部，Presto 主要支撑了 Ad-hoc 查询、BI 可视化分析、近实时查询分析等场景，日查询量接近 100 万条。功能性方面完全兼容 SparkSQL 语法，可以实现用户从 SparkSQL 到 Presto 的无感迁移；性能方面实现 Join Reorder，Runtime Filter 等优化，在 TPCDS1T 数据集上性能相对社区版本提升 80.5%；稳定性方面首先，实现了

本文整理自 Apache Hadoop Meetup 2021 北京站字节跳动数据平台数据湖团队研发工程师耿筱喻《字节跳动基于 Hudi 的实时数据湖平台介绍》的分享实录。内容主要包含四部分内容。首先是 Hudi 和字节跳动实时数据湖平台简介；其次字节跳动实时数据湖平台的应用场景介绍；第三针字节跳动的实时数据湖平台针对应用场景的优化作者：耿筱喻 ｜字节跳动数据平台数据湖团队研发工程师Hudi 是一

由字节跳动数据湖团队贡献的 RFC-29 Bucket Index 在近期合入 Hudi 主分支，本文详细介绍 Hudi Bucket Index 产生的背景与实践经验。文 | 字节跳动数据平台数据湖团队Hudi 是一个流式数据湖平台，提供 ACID 功能，支持实时消费增量数据、离线批量更新数据，并且可以通过 Spark、Flink、Presto 等计算引擎进行写入和查询。Hudi 官方对于文件管

本文是字节跳动数据平台数据引擎 SparkSQL 团队针对 Spark History Server (SHS) 的优化实践分享。文 | 字节跳动数据平台—数据引擎—SparkSQL 团队在字节跳动内部，我们实现了一套全新的云原生 Spark History 服务—— UIService，相比开源的 SHS，UIService 存储占用和访问延迟均降低 90% 以上，目前 UIService 服务

字节跳动数据湖团队在实时数仓构建宽表的业务场景中，探索实践出的一种基于 Hudi Payload 的合并机制提出的全新解决方案。文 | 字节跳动数据平台数据湖团队字节跳动数据湖团队在实时数仓构建宽表的业务场景中，探索实践出的一种基于 Hudi Payload 的合并机制提出的全新解决方案。该方案在存储层提供对多流数据的关联能力，旨在解决实时场景下多流 JOIN 遇到的一系列问题。接下来，本文会详细

本篇内容主要聚焦实时数据湖在字节跳动的实践，将围绕下面四点展开：第一，对实时数据湖的解读；第二，在落地实时数据湖的过程中遇到的一些挑战和应对方式；第三，结合场景介绍实时数据湖在字节内部的一些实践案例；第四，数据湖发展的一些规划。关注字节跳动数据平台微信公众号，回复【0613】获得本次分享材料。数据湖的概念是比较宽泛的，不同的人可能有着不同的解读。这个名词诞生以来，在不同的阶段被赋予了不同的含义。数

近期火山引擎正式发布 UIMeta，一款致力于监控、分析和优化的新型云原生 Spark History Server，相比于传统的事件日志文件，它在缩小了近乎 10 倍体积的基础上，居然还实现了提速 10 倍！目前，UIMeta Service 已经取代了原有的 History Server，为字节跳动每天数百万的作业提供服务，并且成为火山引擎 ****湖仓一体分析服务 LAS （ LakeHou

分享嘉宾：张友军 字节跳动编辑整理：王宇翔出品平台：DataFunTalk导读： 今天很高兴能与大家分享字节数据平台在实时数仓中的一些实践。目前在数据湖和 Hudi 相关的一些基本技术原理方面社区已有较多的介绍，所以我们今天的分享主要聚焦于实践部分的内容。今天我们的分享主要分为四个部分：实时数仓场景介绍数据湖在实时数仓场景初探数据湖在实时数仓典型场景实践以及深度优化未来规划 为了数据湖更好的落地，

分享嘉宾：马汶园 抖音电商实时数仓团队编辑整理：范舒阳 字节跳动出品平台：DataFunTalk导读： 本讲嘉宾是来自抖音电商实时数仓团队的大数据工程师马汶园，分享主题为基于数据湖技术的近实时场景实践。主要包括以下几部分内容：数据湖技术的特性近实时技术的架构电商数仓实践未来的挑战与规划从数据研发与应用的角度，数据湖技术具有以下特点：首先，数据湖可存储海量、低加工的原始数据。在数据湖中开发成本较低

本文将首先介绍 Spark AQE SkewedJoin 的基本原理以及字节跳动在使用 AQE SkewedJoin 的实践中遇到的一些问题；其次介绍针对遇到的问题所做的相关优化和功能增强，以及相关优化在字节跳动的收益；此外，我们还将分享 SkewedJoin 的使用经验。首先对 Spark AQE SkewedJoin 做一个简单的介绍。Spark Adaptive Query Executio

导读： 字节跳动数据湖架构是在 Apache Hudi 开源版本基础上的再次迭代，在 Hudi 落地的过程中，字节跳动也遇到了各种类型的问题，尤其是在索引使用的效率上。针对自身实际的业务场景和数据规模，字节也提出了新的索引实现方式并且贡献到了社区。本次分享主要介绍字节跳动数据湖索引演进。全文包括以下四部分：Hudi 索引介绍问题与挑战字节数据湖索引演进未来规划分享嘉宾｜耿筱喻 字节跳动 火山引擎L

导读： LAS 全称（Lakehouse Analysis Service）湖仓一体分析服务，融合了湖与仓的优势，既能够利用湖的优势将所有数据存储到廉价存储中，供机器学习、数据分析等场景使用，又能基于数据湖构建数仓供 BI 报表等业务使用。全文目录：LAS 介绍问题与挑战LAS 数据湖服务化设计与实践未来规划LAS 全称（Lakehouse Analysis Service）湖仓一体分析服务，融合

火山引擎湖仓一体分析服务 LAS（Lakehouse Analytics Service），是面向湖仓一体架构的 Serverless 数据处理分析服务，提供字节跳动最佳实践的一站式 EB 级海量数据存储计算和交互分析能力，兼容 Spark、Presto 生态，帮助企业轻松构建智能实时湖仓。LAS 服务是什么？LAS 有哪些优化特性？本文将从基础概念、数据库内核特性优化、数据服务化、业务实践等角度