作为产业互联网的重要玩家,火山引擎一直处于持续进化过程中。9月2日,在杭州举办的“火山引擎 V-Tech 数据智能峰会”,发布了新一代企业级数据产品——数智平台 VeDI(Volcengine Data Intelligence),包括数据引擎、数据建设和管理、数据分析应用及解决方案的全链路数据能力,为我们展示了火山引擎数智平台与产品体系取得的最新进展,并系统介绍了火山引擎在全栈数据智能技术能力的迭代升级,以及其在金融、汽车、大消费、泛互联网等行业的实践。
图:火山引擎正式发布数智平台VeDI
持续演进数据智能产品体系,“多项全能”和“单项冠军”
虽然相对于阿里云、腾讯云,在产业互联网领域火山引擎算是一个新玩家,但其在数据智能领域的探索从2014年的A/B测试就已经开始了。在近8年的时间中,火山引擎在构建完备的产品体系和优化产品性能方面持续发力,不断取得新的成就,具体来看:
多项全能——构建完备的技术产品体系,提供一站式数据智能解决方案。
企业的数字化升级是一个复杂的系统工程,企业客户需要的是端到端的数据智能解决方案,满足其多方面的业务需求。比如,企业存储的数据,需要经过治理、集成、湖仓构建、分析加速等流程,再根据具体的业务需求来实现数据应用。在这个数据价值链条上,还要具备数据的全链路研发管理和全周期数据治理能力。
为此,数据智能厂商需要帮助客户构建端到端的全链路数智能力,这需要覆盖数据全生命周期的技术产品。技术产品的完备性,构建一站式解决方案的能力,已经成为数据智能厂商的一个重要竞争力。在数智平台演进过程中,火山引擎持续构建完备的技术产品体系,补上存在的短板。
此次火山引擎数据智能科技峰会,发布了全新升级的云上全系列数据产品体系。
火山引擎全系列云上数据产品
具体来看,火山引擎数智平台 VeDI 分成 PaaS 层和 SaaS 层两部分:
PaaS 层,聚焦数据引擎和数据研发治理。数据引擎以湖仓一体分析服务 LAS、云原生开源大数智平台 EMR、云原生数据仓库 ByteHouse 为核心;数据研发治理则以大数据研发治理套件 DataLeap 为主,该产品集数据集成、开发、运维、资产管理等功能于一身,为企业客户提供一站式数据中台解决方案。
SaaS 层,在 PaaS 层提供的数据分析和治理能力之上,火山引擎针对企业客户具体的业务场景,提供对应的 SaaS 产品,主要包括一站式用户行为分析运营平台 DataFinder、全栈多场景试验平台 DataTester、面向用户增长的客户全域数智平台 VeCDP、面向用户增长的智能营销平台 GMP,以及智能数据洞察平台 DataWind。
单项冠军——持续迭代、创新产品功能,全面升级数智平台。
需要指出的是,虽然数智平台需要提供全链路数智解决方案,但切忌全而不精。10个80分的产品组成的平台并不是80分,而可能是60分都不到。数据智能厂商要想脱颖而出,有全链路解决方案只是基础,还要每一样产品都具备强大的竞争力。
另一方面,数据智能领域的相关技术发展迅速,新理念、新技术、新功能层出不穷。数据智能技术发展只有进行时,没有完成时。为此,火山引擎从未停止数智平台迭代和应用创新的脚步,在此次峰会上火山引擎就发布了其产品的多项升级,例如:用户行为分析运营平台DataFinder升级为4.0版本,发布“场景模板”功能点。将火山引擎服务抖音、今日头条等内外部客户所积累的业务实践经验抽象为行业通用的用户行为分析模板,并将该场景模板作为一个功能点预设在DataFinder4.0产品中。企业按照自身实际的业务需求,选择对应的行业分析场景模板,就可以一键生成数据看板;智能数据洞察平台DataWind,升级为一站式数据分析与协作平台,在数据触达、数据分析、数据协作和数据沉淀等方面,与飞书高度协同。
一个完备的数据智能平台,包括大数据引擎、大数据管理、大数据应用三个环节,火山引擎不断升级整个数智平台,在多个环节都做出自身特色,实现了差异化竞争优势。具体来看:
在大数据引擎领域,火山引擎的元数据服务能够兼容Hive,支持多引擎,支持水平扩展和多租户、多区域;数据存储方面,可实现智能实时湖仓,流批一体存储,具备10E级别数据存储能力,高并发数据实时更新;数据计算方面,可实现流批一体SQL和跨源数据分析,自研查询优化器,支持Serverless与弹性可扩展等。
在大数据管理领域,数据集成方面,火山引擎可实现30+异构数据集成和实时数据湖更新;数据研发与运维方面,可实现DataOps敏捷研发流程,分布式海量秒级调度和数据全链路智慧运维;在数据治理方面,可实现分布式自治、多维度健康评估、全链路治理、批流一体质量监控等;数据资产方面,可实现全链路数据资产快速接入、端到端高精准率血缘等;安全合规方面,可实现权限风险自动治理,行列级别安全管控,细粒度行为审计,权限风险主动识别等。
在大数据应用领域,行为分析方面,火山引擎可实现复杂查询秒级响应;画像分析方面,支持跨源融合数据、可视化建模,亿级数据分钟级圈选,以及自动生成OneID;智能洞察方面,可实现千亿级数据秒级响应和可视化拖拽式分析等;策略调优方面,可实现分流全链路实时生效和分流服务秒级响应;智能营销方面,有丰富的智能推荐算法,支持亿级用户高效触达。
面向客户具体业务场景,实现多产品的融合应用
火山引擎此次全系列产品升级,很重要的一点就是打通不同产品、业务系统之间的逻辑,以及部分功能模块的优化重组,实现多个产品之间的无缝联动。
数据就像企业组织的血液,需要在不同的业务系统之间流动,赋能不同的业务场景。与之对应的,各个数智产品就像企业数字化系统里的器官,也要能够相互联通,才能保证数据在整个系统中的顺畅流动。如果各个环节的数据产品之间融合性差,很可能会带来严重的数据孤岛问题,阻碍数据在业务场景中的价值释放。
以火山引擎的实践经验为例,要满足客户特定的业务场景需求,往往需要贴合具体业务场景实现多个数据产品的融合应用。以下两个例子,分别从底层数据治理和上层数据应用方面,凸显了火山引擎数据与业务融合特性,以及多产品无缝联动的优势。
凯叔讲故事APP——DataFinder提升数据埋点治理及分析效率。
凯叔讲故事APP总用户数量已经超过6000万,总播放超145亿次。随着用户数和播放量的持续增长,凯叔讲故事APP的数据治理压力也在与日俱增,尤其是在埋点数据的治理和分析需求强烈。
埋点数据的质量直接影响后续的数据应用质量和数据回溯,因而埋点数据治理是后续数据治理的重要基础。然而,埋点数据治理经常会遇到重要信息缺失、埋点少、埋点口径不统一、埋点浪费等棘手问题。为此,凯叔讲故事APP引入火山引擎的用户增长分析平台DataFinder。通过该平台,凯叔讲故事APP实现了埋点需求管理、埋点方案设计、埋点评审、埋点生命周期管理等全流程的线上化与自动化,并针对异动指标提供十余种分析模型。
平台上线之后,凯叔讲故事APP的埋点数据治理效率得到显著的提升。以验点为例,借助DataFinder的实时埋点验证和用户细查功能,可将验点任务耗时从三天缩减到两三个小时,验点效率提升了超过20倍。
火山引擎的各个数据智能产品并不是孤立的,通过多个产品的搭配使用,在进一步提升平台效率的同时,还可以实现应用场景的创新。
慢慢买APP——DataFinder+DataTester,构建用户增长闭环。
火山引擎的客户慢慢买APP,是国内主流的比价导购类APP之一,核心功能是通过接入全网的商品历史价格、横向的全网比价、商品销量、购买评价等商品数据,帮助消费者实现跨平台比价,买到最便宜的商品。
移动互联网领域竞争激烈,慢慢买APP在用户增长方面面临很大的压力,亟需通过有效的数据分析,提升推广效率。为此,慢慢买APP于2021年开始使用火山引擎的增长分析产品DataFinder和A/B测试工具DataTester。
借助DataFinder,慢慢买APP可记录用户对应的推广渠道,为运营人员提供从“点击”到“下载”、“APP激活”的行为转换漏斗,进而实现推广渠道、路径和文案的优化,有效提升APP推广效率。此外,当慢慢买APP被用户激活之后,DataFinder还可用于分析用户在APP内各核心功能的使用情况,以此作为业务测试的数据依据。
DataFinder的数据分析可以帮助慢慢买APP有效定位问题,接下来就要针对这些问题找到解决方案。这个时候,借助DataTester开展不同优化方案的A/B测试,依据数据表现来评判不同方案的优劣。
以慢慢买APP的应用经验来看,DataFinder和DataTester不仅在技术和功能层面有效衔接,在业务逻辑上也一脉相承:用DataFinder提供的数据分析能力定位问题,用DataTester提供的A/B测试能力找到问题的最佳解决方案,以此来构成用户增长、留存的完整闭环。
携手英特尔大幅提升产品性能,共建数据智能生态
众人拾柴火焰高,火山引擎在持续迭代自身技术产品的同时,还在不断加强与优秀伙伴的合作,共建智能生态。具体来看,火山引擎主要加强与技术伙伴和客户伙伴的合作,与技术伙伴合作提升产品性能;与客户伙伴共同探索业务场景,实现技术与业务的融合应用。
在技术伙伴合作方面,以火山引擎与英特尔的合作为例,双方在云原生大数据方面加强合作,从用户云业务需求出发提升数据价值;在湖仓一体领域,火山引擎ByteHouse与英特尔进行联合优化,ClickHouse核心代码性能加速1.5倍,ClickHouse(Repartition-Block shuffle)性能加速4.2倍。火山引擎还和英特尔基于端到端的大数据AI流水线也进行深度合作,涵盖从数据读取、数据和特征处理、训练到推理的整个数据价值链条。
英特尔和火山引擎针对ByteHouse(ClickHouse的升级版)的合作优化
此外,火山引擎还通过技术开源来推动产业进步。在此次火山引擎数据智能科技峰会上,数智平台VeDI也首次全面开放了字节跳动的数据技术。
释放企业数字化增长潜能,推动产业数字化和数字经济发展
在客户伙伴合作方面,火山引擎与平安银行等客户合作,共同探索数据智能技术的行业应用场景。企业要实现数字化转型,只有数据智能技术还不行,数智平台必须和业务场景结合,为业务价值服务。为此,火山引擎一直注重将数据智能技术与企业具体业务场景的融合,并将打造为自身产品的重要特色。正如火山引擎总裁谭待所说,“火山引擎VeDI沉淀了字节跳动业务发展的数据驱动经验,希望也能够帮助客户用好数据”。以火山引擎增长营销平台GMP为例,该产品能够依据企业的具体业务需求,通过全终端触点触达、智能策略、算法推荐、活动完整流程管理,帮助企业实现降本增效以及业务持续增长的目标。
根据中国信通院的数据,2021年我国数字经济已经占GDP的比重为39.8%。其中,产业数字化又占数字经济的81.7%。更重要的是,产业数字化近几年的增速大幅高于GDP增速,也高于数字经济的增速。
中国数字产业化与产业数字化的内部结构 数据来源:信通院 数据猿整理
可以说,企业的数字化增长潜能巨大。通过数据智能的技术赋能,用数据赋能业务,可以进一步释放产业数字化的增长潜能,推动我国数字经济的发展。