前言本文面向 iOS 研发，不会涉及复杂的底层原理，而是直接告诉 iOS 研发答案，即怎么做，只需要花半小时阅读本文，就可以在开发需求的时候，知道如何更好利用内存来提升用户体验，同时避免稳定性相关问题给业务带来负向的用户体验；同时本文作者的初心是希望这篇文章能成为研发同学的一个“字典”，可以在一些特定场景或者感觉可能会踩内存坑的时候翻阅，快速找到最佳的编码规范。为什么需要合理使用内存资源在编程中有

引言论文链接：https://www.vldb.org/pvldb/vol17/p3759-shi.pdf近年来 Spark 已经成为离线大数据处理引擎的事实标准，广泛用于数据仓库、数据湖、机器学习等领域。在字节跳动内部每天运行百万级别的 Spark 离线作业，Shuffle 量高达 500PB，CPU 资源需求达到千万级别。随着业务的快速发展，用户对计算资源的需求越来越大，除了增加物理资源之外，

模型更新说明【 Image Embedding 模型】在云搜索服务的 ML 服务中，支持创建 Image Embedding 模型。该模型是将图像转换为低维的向量表示，可以在各种机器学习任务中进行处理、分析和比较， 快速搭建一套以图搜图和以文搜图的图文检索应用。Image Embedding 模型支持直接对图片和文字进行向量化，返回向量化结果。 可以在相同 VPC 环境的 ECS 中，通过调用 I

引言在字节跳动，每天有数百万的大数据作业在其全球的数十个数据中心运行。由于作业计算和存储资源的不匹配，存在将跨机房带宽用尽的风险，这会影响其他业务的运作，还会造成不同机房的资源负载不均衡。而且跨机房带宽存在成本高、延迟高、稳定性差等问题，会大幅增加作业的运行时长。为兼顾作业完成时间（Job Completion Time, JCT），并均衡不同机房之间资源的负载，字节跳动基础架构计算团队、存储团队

在数字化浪潮汹涌的今天，信息的爆炸性增长与前所未有的多样性，对检索技术提出了更为严苛的挑战。近期，蜜度科技股份有限公司（以下简称“蜜度”）与北京火山引擎科技有限公司（以下简称“火山引擎”）进一步深化合作，双方强强联合，在跨模态检索领域实现再升级。通过引入火山引擎云搜索服务提供的搜索与向量引擎技术，助力蜜度的跨模态检索能力实现了质的飞跃。蜜度成立于 2009 年，是一家以人工智能技术为核心的语言智能

大语言模型（LLM，Large language model）作为新一轮科技产业革命的战略性技术，其核心能力在于深层语境解析与知识融合。在生成式人工智能方向主要用于图像生成、书写文稿、信息搜索等。当下的 LLM 模型是基于大量数据训练的，目的是让它们掌握广泛的普遍知识，这些知识被储存在它们神经网络的权重（也就是参数记忆）里。但是，如果我们要求 LLM 生成的回答涉及到它训练数据之外的知识，比如最新

场景案例推荐【结合豆包模型搭建 RAG 推理任务】在云搜索服务的 ML 服务中，支持创建 RAG 深度学习模型，它结合了提取系统和生成模型的功能，可以在回答查询或生成文本时融合并利用大量外部信息源快速搭建一个 RAG 推理服务。查询流程中 RAG 应用会将用户输入的问题通过 Embedding 模型转化为向量，然后使用云搜索服务 OpenSearch 的混合查询功能查询问题向量和问题文本，召回 T

当前尖端的向量近邻搜索算法，主要以图搜索算法为主，此类算法为了能够最大化搜索的速度与准确度，需要将对应的索引结构和原始数据存放在内存中，显然这不仅大大提高了成本，还限制了数据集的大小。例如在当前主流的内存型 HNSW 算法下， 业界常用的内存估算方式是：向量个数 * 4 * (向量维度 + 12) 。那么 在 DEEP 10M（96维）的千万数据就需要内存达到 4GB 以上，但是 通过 DiskA

17月16日，首届线下“可信数据库发展大会”在北京举办，会上中国信息通信研究院（中国信通院）公布了 2024 上半年“可信数据库”产品能力评测结果。 火山引擎云搜索服务在基本功能、运维管理、安全性、兼容性、扩展性、高可用、工具生态方面满足测试要求，通过 信通院 向量数据库能力测评 。 此前，该产品也已经通过了中国信通院“ 可信数据库-搜索型数据库 ” 资质认证 。“可信数据库”产品能力评测通过严

在人工智能迅猛发展和数据要素市场化建设的浪潮下，为进一步推动全球数据库产业进步， 由中国通信标准化协会、大数据技术标准推进委员会主办的“2024 可信数据库发展大会”将于 2024 年 7 月 16-17 日在北京线下举办。火山引擎云原生中间件团队受邀参与【搜索与分析型数据库 & 多模数据库】分论坛，资深架构师桂峰将带来《 火山引擎云搜索服务大规模技术应用实践 》主题演讲，与参会者共同探讨随着大

在抖音亿级日活流量的情况下，每天收到的用户反馈也是大量的，而用户反馈对于产品的发展与未来是至关重要的，因此用户体验管理平台（简称VoC）就应运而生，VoC 平台旨在通过技术平台化的方式，结合反馈驱动的机制，以产品化、数据化的手段从反馈中挖掘出对抖音系产品留存、增长或口碑提升的可能点，推动体验问题治理改进，提升产品体验。同时也为公司各业务线提供通用和定制化的体验数据总览、用户原声分析以及体验专项、实

上文回顾： ES 慢上游响应问题优化在用户体验场景中的实践在介绍了用户体验管理平台（简称VoC）在针对 ES 慢上游响应场景下的优化实践后，本文继续介绍第二个痛点问题——ES 引擎局限性的性能优化实践。痛点介绍Elasticsearch 是一个分布式、RESTful 风格的搜索和数据分析引擎，VoC 平台的用户反馈数据均通过 ES 进行存储与查询，而上文提到的 VoC 功能中反馈变化趋势、反馈重点

2024 年 8 月 26 至 30 日，VLDB 2024 将在中国广州举行。字节跳动基础架构云原生中间件团队、批式计算团队研究成果分别被 VLDB 2024 接收，并受邀进行现场报告。

在搜索场景的应用中，存在希望根据某个或某些字段来调整排序评分，从而实现排序沉底或置顶效果的使用需求。以商机管理中的扫街场景为例，当我们在扫街场景中需要寻找一个商户时，希望这个商户离的近、GMV 潜力大、被他人跟进过的次数越少越好。在策略上离的近在排序中的权重要比 GMV 潜力大更大，因为我们希望就近拜访，在距离差不多的情况下优先拜访能带来更多 GMV 的商家。如果这个商家是一个“激励商家”且高转化

在 5 月 24-25 日举办的第十一届 GIAC 全球互联网架构大会中， 火山引擎云原生计算技术负责人-李亚坤 受邀作为 Cloud Native （云原生）专场出品人，带大家深入云原生技术创新及应用，了解随着企业数字化转型步伐的加快，云原生技术如何成为推动敏捷开发、确保高可用性和实现无缝扩展的关键技术手段。Cloud Native（云原生）专场在这场专为技术先锋和创新者设计的专场中，我们将深

本文将以图像搜索应用为例，介绍如何借助火山引擎云搜索服务的解决方案快速开发一个混合搜索应用。

ES 作为一个分布式搜索引擎，从扩展能力和搜索特性上而言无出其右，然而它有自身的弱势存在，其作为近实时存储系统，由于其分片和复制的设计原理，也使其在数据延迟和一致性方面都是无法和 OLTP（Online Transaction Processing）系统相媲美的。也正因如此，通常它的数据都来源于其他存储系统同步而来，做二次过滤和分析的。这就引入了一个关键节点，即 ES 数据的同步写入方式，本文介绍

RocketMQ 是一个典型的发布订阅系统，通过 Broker 节点中转和持久化数据、解耦上下游。Broker 是真实存储数据的节点，由多个水平部署但不一定完全对等的副本组构成，单个副本组的不同节点的数据会达到最终一致。RocketMQ 优异的性能表现，绕不开其优秀的存储模型 。下文将从 RocketMQ 存储机制设计展开介绍。存储机制设计在存储方式上，RocketMQ/Kafka/RabbitM