全部
云原生
大数据
AI
数据库
移动开发
音视频
技术服务知识库
云基础
开源
边缘云
动手实验室
云存储
大模型
全部大数据数据中台数据库A/B测试数据湖仓数据治理社区征文数据安全技术大讲堂ClickHouse云原生可观测计算Flink云存储埋点2023总结开源镜像中间件KubernetesNoSQLServerlessMySQLMeetup前端机器学习增长营销算法安全企业应用开发与运维
展开
大数据2023总结大数据
2023年马上就接近尾声了，在这一年中大数据的技术组件也有很大的变化，很多技术趋于成熟，通过这一年的大数据技术能力的持续学习，深入理解，总结了一下大数据学习方式，也作为个人2023年技术总结与大家分享。从 2008 年 Hadoop 成为 Apache 顶级项目开始，大数据迎来了体系化的快速发展，到如今已经走过十几个年头，这些年里大数据框架层出不穷，可以用“乱花渐欲迷人眼”形容，框架这么多，应该怎
大数据2023总结
目前大数据中数仓建设方案有很多，但一般都是常规的设计方案，如果在数据量比较大，字段频繁变更，数据频繁刷新，大数据架构方面如何设计呢。大数据架构的设计方案需要考虑多个方面，包括数据存储、数据处理、数据传输、数据安全等。但此处我们不考虑过多，讨论下较通用的架构设计。这种字段和数据都频繁变化的就不太适合设计链路过长和复杂的架构，后续维护这种架构会非常麻烦。但同时也不能过于简单，也要有一定的分层架构，不然
大数据2023总结大数据
2023年即将过去，又到了一年一度的技术总结时刻，在这一年，参与了多个大数据项目的开发建设工作，也参与了几个数仓项目的治理优化工作，在这么多的项目中，让我印象比较深刻的就是在使用Spark引擎执行任务出现的报错现象，接下来就回顾复盘下这次任务报错现象及具体的解决方案。因为现在大多数的批量任务都是使用Spark去执行，所以Spark的地位在公司是举足轻重，那么对于Spark的深入理解和优化显得尤为重
大数据A/B测试大数据
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群DataTester，火山引擎推出的 AB 测试与智能优化平台，近日宣布对其 MAB（Multi-armed Bandit）功能进行了升级，以更好地满足企业营销决策的需求。MAB 是一种通过不断尝试不同的选择来找到最优决策的算法，广泛应用于营销领域。DataTester 的 MAB 功能已经在内部和外部得到了成功的
大数据大数据
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群今年 4 月，火山引擎提出了数据驱动的新范式——数据飞轮。针对企业当下“有数据，但不驱动”的问题，“数据飞轮”以数据消费为核心，使企业数据流充分融入业务流，增强业务发展动力。而刚刚过去的“双 11”，则成为在实践中检验“数据飞轮”真实成效的一次契机。进入 2023 年，电商老板陷入普遍焦虑，时至今日，中国电商红利期
大数据数据中台
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群面对今日头条、抖音等不同产品线的复杂数据质量场景，火山引擎 DataLeap 数据质量平台如何满足多样的需求？本文将介绍我们在弥合大数据场景下数据质量校验与计算消耗资源大、校验计算时间长的冲突等方面的经验，同时介绍火山引擎 DataLeap 数据质量平台是如何用一套架构框架来满足流批方面的数据质量监控。广义上来说，
大数据大数据数据安全2023总结
通用的开展大数据业务的过程总结起来如下图所示。首先是数据系统的建设，数据系统是基础。从确定要进行哪些方面的数据收集开始，需要把收集到的数据进行清洗、筛选、格式转换、存入系统中，并且按照技术平台的要求，投入人力、设备等进行大数据系统的搭建。其次是数据业务建模。有了系统，就可以基于这个系统来观察数据，可以由建模人员利用其专业知识进行基于机器学习方法理论的建模，在得到一个合适的模型之后，需要把此模型放置
大数据A/B测试
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群近日，CCF TF 举办了第 123 期分享活动，本期主题为“用户体验工程”。 CCF TF 是中国计算机学会为企业界计算机专业人士创建的企业间常态化合作交流平台，本期分享邀请到了来自火山引擎、牛游谷公司等在用户体验工程领域有着良好实践的专家，共同探讨在数智化时代，面对复杂用户场景和超高体验要求，如何通过有效的体验
大数据大数据数据中台
火山引擎数据中台产品双月刊涵盖「大数据研发治理套件 DataLeap」「云原生数据仓库 ByteHouse」「湖仓一体分析服务 LAS」「云原生开源大数据平台 E-MapReduce」四款数据中台产品的功能迭代、重点功能介绍、平台最新活动、技术干货文章等多个有趣、有料的模块内容。双月更新，您可通过关注「字节跳动数据平台」官方公众号、添加小助手微信加入社群获取更多产品动态~接下来让我们来看看 9-1
大数据大数据A/B测试
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群用户激励体系，也称用户激励机制，是为了让用户持续使用产品，而设计的一套对应规则。在用户激励体系建立过程中，产品可以通过一系列方式，如金币赚取、积分奖励等，让用户完成一系列动作，提升活动参与率、扩散传播率，最终提升用户的产品粘性。在这个过程中，产品经常用会用到AB测试，来进行激励策略的完善和优化。本文将选取用户激励体
大数据A/B测试大数据
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群AB测试不仅是做增长的“利器”，也是企业优化效率、增加决策精确度的有效工具。随着国内企业服务市场需求的多元，企业对AB测试平台的“个性化”要求也更高。在此背景下，火山引擎DataTester着手打造开放平台，力求为企业提供可选择的丰富的开放能力。火山引擎DataTester上线的「集成工作台」功能，能够将DataT
大数据数据治理数据中台
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群【导读】 本文旨在探讨火山引擎 DataLeap 在处理计算治理过程中所面临的问题及其解决方案，并展示这些解决方案带来的实际收益。主要内容包括：探讨面临的痛点和挑战提供自动化的解决方案分析实践效果和收益提出结论和未来展望▌痛点 & 挑战在分析业务痛点和挑战之前，先要清楚业务现状。现状概览字节跳动数据平台目前使用了
大数据大数据数据库云原生可观测
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群近日，火山引擎ByteHouse 正式宣布与 Apache Airflow 兼容，两者结合不仅可以高效地存储和处理大量数据、实现更便捷的数据管理，还可以使得数据基础设施的设置和维护变得无缝化。Apache Airflow 是一款用于设计、编排和监控工作流的开源管理平台，Apache Airflow直观界面使用户能够
大数据数据库云原生可观测大数据
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群近日，中国知名内容社交平台整合营销企业仟传网络与火山引擎ByteHouse达成合作。仟传网络将通过火山引擎ByteHouse升级底层数据引擎的实时查询、分析能力，在降低资源成本的情况下，实现高吞吐、低延时、高稳定性，为品牌方提供全方位的舆情监测服务。仟传网络是一家AI驱动的社媒大数据解决方案提供商，旨在运用独有大数
大数据中间件
在火山引擎相关的业务中绝大部分的机器学习和数据湖的算力都运行在云原生 K8s 平台上。云原生架构下存算分离和弹性伸缩的计算场景，极大的推动了存储加速这个领域的发展，目前业界也衍生出了多种存储加速服务。但是面对计算和客户场景的多样性，还没有一个业界标准的存储加速实践，很多用户在做选型的时候也面临着诸多困惑。我们在火山引擎上构建了云原生的存储加速服务，适配机器学习和数据湖的多种计算场景，致力于给业务提
大数据中间件数据中台
随着业务和数据的快速增长，云计算和大数据技术也得到了迅速发展，云原生化和智能化已成为一种趋势。在此背景下，字节跳动进行了一系列大数据架构 Serverless 化的探索与实践，并在 AI 智能化方向进行了研究，最终形成火山引擎云原生大数据平台方案。11月18日，在由上海白玉兰开源开放研究院、人工智能开源软件发展联盟联名主办的 Data & AI Con Shanghai 2023 大会上，将特别设
大数据大数据数据库数据安全
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群某企业实时数仓团队通过数据收集、整合、计算和存储构建实时数据仓库，为企业提供快速、准确、可靠的实时数据分析和决策支持。目前该实时数仓团队已运行了上万的实时任务，依赖的组件繁多（例如：Flink、Yarn、Abase、Doris等）、开发人员众多 、开发习惯和经验程度参差不齐等各类主客观因素，导致任务稳定性、资源浪费
大数据大数据数据库云原生可观测
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群随着市场竞争的加剧，企业对数字营销投入的效果监测和优化需求日益增强，营销实时监控也成为企业提升运营效率的重要手段。在数字化营销中，数据是进行实时分析和监控的基础。企业需要建立符合自身需求的数据平台，整合和分析来自不同渠道的数据，以提供更加准确和及时的决策支持，实现更好效果。在数据平台建设中，不少企业开始引入OLAP
大数据大数据ClickHouse
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群作为企业数字化建设的必备要素，易用的数据引擎能帮助企业提升数据使用效率，更好提升数据应用价值，夯实数字化建设基础。数据导入是衡量 OLAP 引擎性能及易用性的重要标准之一，高效的数据导入能力能够加速数据实时处理和分析的效率。作为一款 OLAP 引擎，火山引擎云原生数据仓库 ByteHouse 源于开源 ClickH
大数据大数据数据库数据中台
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群在日常工作中，我们时不时需要对某些逻辑进行重复调度，这时我们就需要一个调度系统。根据不同的调度需求，可以广义分为两类：根据一定的周期对任务进行重复调度。这类比较容易实现，通常一个crontab就可以对任务进行定期调度。但是简单的crontab任务在实际生产中应用会有一些挑战，包括失败处理、监控以及部署、跨机器部署、
与技术交朋友 与技术同行
