本书总结了字节跳动自2018年以来的微服务架构演进之路

随着字节跳动旗下业务的快速发展，数据急剧膨胀，原有的大数据架构在面临日趋复杂的业务需求时逐渐显现疲态。而伴随着大数据架构向云原生演进的行业趋势，字节跳动也对大数据体系进行了云原生改造。本次分享将详细介绍字节跳动大数据容器化的演进与实践。

大模型离线推理，是指在具有数十亿或数万亿参数的大规模模型上进行分布式推理的过程。相较于常规模型推理，在模型切分、数据处理和数据流、提升 GPU 利用率方面面临了很大挑战。本次分享将介绍如何利用 Ray 及云原生优势助力大模型离线推理。

机器学习在字节跳动有着丰富业务场景：推广搜、CV/NLP/Speech 等。业务规模的不断增大对机器学习系统从用户体验、训练效率、编排调度、资源利用等方面也提出了新的挑战，而 Kubernetes 云原生理念的提出正是为了应对这些挑战。本次分享将主要介绍字节跳动机器学习系统云原生化的落地和实践。

AI 正以空前速度重塑行业，大模型成为继移动互联网后的新科技浪潮。如何将其与业务深度融合，实现落地，仍是数字化转型的核心挑战。有效 Prompt 是驱动模型达成业务目标的关键，但业务诉求常模糊、缺乏标准答案，模型理解差异大。企业需让模型准确理解需求、稳定输出高质量结果，并在数据积累中持续优化性能与价值。 PromptPilot 应运而生，通过对话与任务用例自动生成高质量 Prompt 与评估标准，运行中持续识别并优化问题，释放大模型潜力，让非技术人员也能轻松驾驭大模型，推动落地与创新。

大模型技术已深度融入业务实践，各企业期望其释放更大商业价值。 但大模型落地之路面临许多挑战和顾虑。 如何精准对接业务需求与发展蓝图，制定切实可行的大模型落地策略? IDC发布首个大模型应用策略与行动指南 一为您揭晓一