点击上方👆蓝字关注我们!
欢迎来到火山引擎开发者社区的 2024 年度盘点👏
2024 年火山引擎开发者社区陪伴大家
见证了大模型的井喷式发展
社区也为大家贡献了精彩的文章和丰富的活动
让我们一起再来回顾一下社区 2024 年的精彩内容和瞬间吧!
最受欢迎技术文章
字节跳动 EB 级日志系统设计与优化实践
日志在可观测技术发展的早期是用做故障回顾的。我们通过 metrics 发现指标异常,比如成功率下降,然后通过 trace 找到了有异常的某个服务,最后才通过日志找到具体的原因(接口返回异常)。在现代日志系统里,这些都可以通过日志来一站式解决:trace 本身就是一种特殊格式的日志,metrics 可以通过日志来实时生成。日志有 3 个明显的优势,也有很明确的挑战。 查看文章 了解字节跳动如何解决日志面临的挑战。
VikingDB:大规模云原生向量数据库的前沿实践与应用
向量数据库近来的火热来源于大语言模型的兴起,但在大模型兴起之前,VikingDB 已经在字节内部广泛应用,最初应用在推荐、广告、搜索的召回环节,后来逐步扩展到了消重、风控、对话、文档搜索等需要向量检索的其他场景。
在内部推广应用的过程中,VikingDB 经历了非常多样的挑战。为了克服这些困难,我们做了很多架构和性能的优化,以及产品特性的完善。 查看文章 了解 VikingDB 的架构及在极端性能、规模、精度问题的实践经验。
GPU 故障检测及自愈:大幅提升 AI 场景的硬件故障运维效率
相较于传统 CPU 硬件,GPU 的一个缺陷是故障率较高,这一点在大规模应用场景下尤为明显:由于数量过于庞大,GPU 出现故障的风险也急剧提升;当 GPU 被用于构建超级算力集群协同作业,单点故障会迅速扩散,造成大规模的连锁反应,继而影响业务稳定。
查看文章 了解火山引擎云原生团队基于大量 AIGC 客户服务经验,结合针对大模型训练和在线推理业务的产品解决方案,推出的 GPU 故障检测及自愈能力。
使用扣子做一个智能报表助手
现在市面上有不少报表工具,但对于普通人来说上手都比较难,要了解很多知识才能勉强使用。这款智能报表助手 Bot,只需上传 excel 文件就能自动生成用户可能需要的报表。如果自动生成的推荐报表不是用户想要的,可以自己输入想要的报表,就会为你自动生成。 查看文章 了解如何完成这样一个智能报表助手。
字节跳动新一代云原生消息队列实践
在字节跳动内部业务快速增长的推动下,经典消息队列 Kafka 的劣势开始逐渐暴露,在弹性、规模、成本及运维方面都无法满足业务需求。因此字节消息队列团队研发了计算存储分离的云原生消息引擎 BMQ,在极速扩缩容及吞吐上都有非常好的表现。 文章 从整体技术架构开始,介绍了字节自研的云原生消息引擎的分层架构在数据存储模型、运维等角度的优势及挑战。
字节跳动如何在大规模集群中进行统一资源调度
作为字节跳动在离线混部场景中最核心的调度系统,Gödel 提供丰富的资源 Qos 管理能力,可以统一调度在线和离线应用,极大提升资源利用率。 查看文章 了解 Gödel 的开发动机、核心组件、两层调度及性能优化。
字节跳动容灾实践:同城容灾+异地多活是最好的模式吗?
广义的容灾,可以认为是业务连续性计划当中的灾难恢复,即能够容忍灾难的能力,如何在灾难发生时,保证生产业务系统的不间断运行,需要我们健全快速容错/故障切换能力,即容灾能力,包含了常态化容灾建设以及针对能力进行的周期性演练验收。
大家对字节跳动的业务形态应该有所了解,在业务规模持续扩大和多样化部署模式下,字节跳动基础架构团队面临的容灾挑战是巨大的。 查看文章 了解字节跳动的容灾实践,包括基础演进路径、容灾实践及容灾实施情况。
字节跳动冯佳时:大语言模型在计算机视觉领域的应用、问题和我们的解法
近年来,大语言模型 (LLMs) 在文本理解与生成领域取得了显著进展。然而,LLMs 在理解和生成自然信号(例如图像,视频)等,还处在比较早期的探索阶段。在 2024 年 8 月份的 AICon 上,字节跳动研究科学家、豆包大模型视觉基础研究团队负责人冯佳时受邀做了主题演讲《大语言模型在计算机视觉领域的应用》。 查看文章 了解字节跳动视觉基础研究团队在这个方向的探索与进展,包括 LLMs 在图像理解与视频生成上的阶段性结果。
精彩活动瞬间
2024 年火山引擎开发者社区给大家带来了丰富的活动,和大家一起分享交流,手动体验。
Meetup 第 13 期——大模型时代的向量数据库落地实践
火山引擎开发者社区 Meetup 第十三期邀请到了火山引擎的三位技术专家,将从火山引擎的实践应用出发,为大家详解向量检索功能的设计实现以及大规模云原生向量数据库的核心技术和优化,和大家共同探讨了大模型时代向量数据库的落地实践。
直播回放: https://www.volcengine.com/activities/live/meetup13
人人都是开发者|扣子 X 火山引擎开发者社区夏季 Bot Hackathon
在人人都是开发者的今天,火山引擎开发者社区联合扣子、英伟达一起举办了首届夏季 Bot Hackathon。历时近 1 个月的时间,几百名开发者朋友们一起参与到这场线上线下的奇妙开发之旅,发散自己的无限创意,创造出了上百个有用、有趣、奇妙的智能 Bot,涵盖医疗、教育、出行、办公、招聘、电商等场景。
本次活动的参赛选手,有 10 岁左右小学生,有教育、医疗等行业的一线工作者,有创业公司主理人,有宝爸宝妈……大家从自己的兴趣爱好和工作洞察出发,开发的 Bot 接地气又实用,让我们看到 AI 技术正在实实在在的改变影响大家的生活。
活动详情: https://developer.volcengine.com/activities/7379502437218680883
AI 智能体线上挑战赛-游戏主题快闪
AI 智能体线上挑战赛邀请广大的开发者利用 AI 的力量,围绕当下热门的游戏主题展开探索,开发出具有创造性的智能体。比赛为每位参赛者配备了一定的豆包大模型免费额度,助力开发者发挥无限创意!社区开发者小伙伴们脑洞大开,将自己的创意变成了一个个好玩的智能体,开发者也可以如此有趣!
活动详情: https://developer.volcengine.com/activities/7405789777556930579
1024,码上精彩!
10 月不止有国庆节,还有咱开发者自己的节日:1024 程序员节!当 1024 遇上 双 11,消费狂欢和程序员又会碰撞出怎样的火花?2024 年 10 月到 11 月期间,火山引擎开发者社区为开发者们准备了丰富的活动和福利,其中 「Show Me 扣子 AI 挑战赛大消费行业专场」的线下路演聚集了 200 多位各行各业的开发者,将行业痛点用灵活的智能体化解,给行业注入了活力。
活动详情: https://developer.volcengine.com/activities/7423016341939945481
火山引擎 Force 原动力大会开发者论坛
12 月 19 日,火山引擎 Force 原动力大会开发者论坛在上海世博中心举行,上午主论坛介绍了火山引擎为开发者提供的各种易用 AI 工具,下午扣子、硬件终端、豆包MarsCode 三场分论坛则融入了动手构建、案例解析。开发者论坛现场座无虚席,2000 多位开发者共赴这场技术盛宴,共同见证大模型时代的无限可能。
主论坛直播回放: https://www.volcengine.com/live/event/force-2412-developer
社区荣誉
在 InfoQ 极客传媒 2024 年度评选中,火山引擎开发者社区凭借积极输出的技术干货内容、持续举办的高质量技术活动以及在开发者生态上的积极投入,为技术生态建设作出卓越贡献,获 InfoQ 极客传媒“ 2024年度技术生态构建品牌 ”奖🎉🎉
a
写在最后
2024 年,火山引擎开发者社区陪伴开发者们度过了充实的一年,给大家带来了很多惊喜时刻。 2025 年,社区将继续和开发者朋友们携手同行,共同成长!