活动推荐|从Data Agent和A/B测试,看企业如何落地Data+AI实践

大模型

picture.image

在数据与AI深度融合的时代,企业如何借助智能技术实现高效决策与业务增长?

近期,火山引擎技术专家受邀参与5月23日在上海举办的“AICon 全球人工智能开发与应用大会”,两位将围绕 Data Agent 分析智能体以及A/B测展开分享。

探讨如何在AI加持下,通过智能分析自动化与科学实验驱动业务创新,助力企业实现数据驱动的精准决策与可持续增长。

/ 分享一

从技术到应用

火山引擎 Data Agent 分析智能体

提效落地实践

分享人:火山引擎Data Agent技术专家 陈硕

从 2022 年 GPT-3.5 横空出世以来,大语言模型和 BI 系统结合以实现自然语言查数,是各家 BI 产品积极探索的方向。

从 2023 年立项以来,经过多种形态的产品探索,最终在抖音集团内部取得取得初步的 PMF,并在外部得到多行业、多场景应用。

本次演讲主要分享Data Agent 分析智能体的产品探索与演进、落地难点与解决方案、典型实践以及对未来产品形态的演进思考。

演讲提纲:

一、分析智能体产品形态演进:大模型数据分析产品形态,从「传统 BI」到「LLM+BI」

二、Data Agent 分析智能体探索历程

  • 第一阶段:仪表盘 Ai 洞察“Copilot”

  • 第二阶段:通⽤分析智能体

  • 第三阶段:专⽤智能体

三、Data Agent 分析智能体的落地实践

  • 分析智能体的大模型能力矩阵

  • 分析智能体落地难点:如何降低使用门槛、如何提升产品使用价值

  • 对应解决方案:引入分析智能体 ,满足企业内部个性化数据查询、分析需求

  • 落地案例:以抖音集团内部销售场景举例,基于分析智能体,销售人员能通过自然语言对话的方式,随时获取客户对产品使用情况,推动业务发展

四、Data Agent分析智能体技术架构

  • 分析智能体 核心架构解析

  • 分析智能体 查询流程与技术要点

五、总结与展望

  • 持续智能体配置⻔槛

  • 提升结果可解释性

  • 提升分析深度

    听众收益:

  1. 从传统 BI 到 LLM+BI 的转变,掌握数据分析产品的未来趋势

  2. 学习落地实践经验,通过实际案例了解 ChatBI 如何解决企业数据分析中的痛点

  3. 掌握技术架构,深入了解 ChatBI 的核心架构和查询流程

  4. 了解 ChatBI 智能体在数据分析中的应用,把握技术发展方向

/ 分享二

AI 时代实验平台演进之路,

从 A/B 测试到智能决策闭环

分享人:字节跳动A/B 测试技术负责人 韩云飞

字节跳动A/B测试平台(内部名称Libra,对外产品DataTester)是全球领先的A/B测试与智能优化平台,累计支持超340W次实验,同时运行7W+实验,覆盖抖音、今日头条等数百业务。

平台脱胎于字节跳动2012年引入的A/B测试体系,2016年实现产品化,2021年通过火山引擎开放给企业客户,融合了科学分流、智能分析、多场景特型实验等能力,成为驱动业务增长的核心基础设施。

在AI时代,平台正从“功能策略验证工具”向“企业创新加速引擎”升级,探索推理模型+数据+工程的自动化决策范式。

演讲提纲:

一、传统 A/B 测试的挑战与 AI 的颠覆性机会

  1. 传统 A/B测试的“天花板”
  • 人工设计依赖经验,实验效率低(如多变量组合爆炸问题)

  • 样本偏差与统计显著性陷阱(尤其在小流量场景)

  • 长反馈周期无法匹配业务实时决策需求

  1. AI 的颠覆性价值
  • 从“假设驱动”到“智能驱动”:AI 自动生成实验假设和设计、自主分析结果

  • 从“串行分工”到“智能协同”:面向PM、DA、RD等实验Role的AI Team协同

  • 从“结果验证”到“决策生成”:模拟海量用户在线实验效果提前敏捷决策

二、字节跳动 A/B 测试平台的进化路径

  1. 第一阶段:规模化实验基础设施
  • 超大规模和复杂场景实验引擎

  • 科学高效的实验科学分析引擎

  1. 第二阶段:AI 增强的智能实验
  • 超参数优化:基于历史数据的贝叶斯优化,自动优化参数组合

  • 流量智能调优:基于多臂老虎机,在实验运行中动态调整流量

  • 因果推断增强:通过异质人群挖掘,自动下钻出实验影响维度

  1. 第三阶段:决策智能体生态
  • 智能实验设计:通过自然语言交互定义实验假设和设计

  • 智能实验分析:分析智能体助力日常实验分析与写报告

  • 海量用户模拟:基于 AI的预实验模拟,规避策略冲突与业务风险

三、未来展望:A/B 测试的终极形态

  1. 个性化实验设计:未来的 A/B 测试将从"一刀切"的分组进化为针对不同用户精准设计的个性化实验,大幅提高实验效率和精度

  2. 因果推断的突破:AI 系统将帮助企业从相关性分析迈向更深层次的因果推断,从"发现现象"升级为"理解原因",为决策提供更深刻的洞察

  3. 闭环决策系统:A/B 测试将从独立工具演变为完整的决策闭环系统,整合假设生成、实验设计、结果分析和自动执行,实现决策过程的高度自动化,进化为企业创新操作系统

听众收益:

  1. 战略视角:理解 AI 如何将 A/B测试从“辅助工具”升级为“决策核心”,重塑企业竞争力

  2. 技术前瞻:掌握A/B 测试与生成式 AI、因果推断等新技术融合最新技术路径

  3. 实践洞察:借鉴字节跳动亿级用户场景的实战经验,规避规模化实验的典型陷阱


查看更多议题详情,

并报名参与活动!⬇️⬇️

picture.image

0
0
0
0
关于作者

文章

0

获赞

0

收藏

0

相关资源
大规模高性能计算集群优化实践
随着机器学习的发展,数据量和训练模型都有越来越大的趋势,这对基础设施有了更高的要求,包括硬件、网络架构等。本次分享主要介绍火山引擎支撑大规模高性能计算集群的架构和优化实践。
相关产品
评论
未登录
看完啦,登录分享一下感受吧~
暂无评论