云原生计算专栏
分享云原生技术、最佳实践和最新活动
95
云原生中间件
在搜索场景的应用中,存在希望根据某个或某些字段来调整排序评分,从而实现排序沉底或置顶效果的使用需求。以商机管理中的扫街场景为例,当我们在扫街场景中需要寻找一个商户时,希望这个商户离的近、GMV 潜力大、被他人跟进过的次数越少越好。在策略上离的近在排序中的权重要比 GMV 潜力大更大,因为我们希望就近拜访,在距离差不多的情况下优先拜访能带来更多 GMV 的商家。如果这个商家是一个“激励商家”且高转化
255
1
0
1
云原生技术
在 5 月 24-25 日举办的第十一届 GIAC 全球互联网架构大会中, 火山引擎云原生计算技术负责人-李亚坤 受邀作为 Cloud Native (云原生)专场出品人,带大家深入云原生技术创新及应用,了解随着企业数字化转型步伐的加快,云原生技术如何成为推动敏捷开发、确保高可用性和实现无缝扩展的关键技术手段。Cloud Native(云原生)专场在这场专为技术先锋和创新者设计的专场中,我们将深
14
0
0
0
云原生中间件
本文将以图像搜索应用为例,介绍如何借助火山引擎云搜索服务的解决方案快速开发一个混合搜索应用。
42
0
0
0
云原生中间件
ES 作为一个分布式搜索引擎,从扩展能力和搜索特性上而言无出其右,然而它有自身的弱势存在,其作为近实时存储系统,由于其分片和复制的设计原理,也使其在数据延迟和一致性方面都是无法和 OLTP(Online Transaction Processing)系统相媲美的。也正因如此,通常它的数据都来源于其他存储系统同步而来,做二次过滤和分析的。这就引入了一个关键节点,即 ES 数据的同步写入方式,本文介绍
200
0
0
0
云原生中间件
RocketMQ 是一个典型的发布订阅系统,通过 Broker 节点中转和持久化数据、解耦上下游。Broker 是真实存储数据的节点,由多个水平部署但不一定完全对等的副本组构成,单个副本组的不同节点的数据会达到最终一致。RocketMQ 优异的性能表现,绕不开其优秀的存储模型 。下文将从 RocketMQ 存储机制设计展开介绍。存储机制设计在存储方式上,RocketMQ/Kafka/RabbitM
86
0
0
0
大模型中间件
在大模型席卷全球的行业背景下,基于检索结果增强的文本生成(RAG)备受关注。而作为 RAG 关键技术的向量数据库(VectorDB)正处在发展的一十字路口。为了探讨 VectorDB 的发展趋势、应用场景、上下游技术生态,OpenSearch 社区发起本次「大模型时代下的 VectorDB」Meetup。在本次活动中,您将见到来自于头部企业的向量检索技术研发专家、OpenSearch 社区的活跃贡
50
0
0
0
云原生中间件
在持续建设基于 ES 的跨域数据聚合服务中发现 ES 的很多特性跟 MySQL 等常用数据库差别较大,本文会分享 ES 的实现原理、在直播平台中的业务选型建议及实践中遇到的问题和思考。Elasticsearch 是一种分布式的、近实时的海量数据存储、检索与分析引擎。我们常说的“ELK”就是指 Elasticsearch、Logstash / Beats、Kibana 组成的具备收集、存储、检索和可
277
2
0
2
云原生中间件
在面对众多的消息队列时,我们往往会陷入选择的困境:“消息队列那么多,该怎么选啊?Kafka 和 RabbitMQ 比较好用,用哪个更好呢?”想必大家也曾有过类似的疑问。对此本文将在接下来的内容中以 Kafka 和 RabbitMQ 为例分享消息队列选型的一些经验。消息队列即 Message+Queue,消息可以说是一个数据传输单位,它包含了创建时间、通道/主题信息、输入参数等全部数据;队列(Que
486
1
0
0
技术技术
继上文在完成了从千万级到亿级商品量级搜索系统的搭建后,本文将继续介绍一些扩容无法解决的 ES 性能问题,即对相关 ES 搜索引擎的稳定性治理实践。希望通过本文大家可以对 ES 的使用场景有更多数据和使用上的参考。回顾: 从 0 到 1 搭建亿级商品 ES 搜索引擎完成了第一阶段 ES 搜索引擎的搭建后, 随着业务的发展问题也逐渐开始暴露,起源是在某次大促活动下线的时候,ES 集群某个机房 CPU
109
0
0
0
云原生中间件
建设并维护一个亿级的搜索引擎并非易事,也不存在一劳永逸的最优治理方法。本文是在 实践中不断学习和总结的成果, 介绍了 如何搭建一个可支持从千万级到亿级商品量级的搜索系统 ,并实现 查询总 QPS 从百级增长到千级,写入总 QPS 从百级增加到万级 的过程 。其中,ES 资源扩容是必不可少的,但除此之外,本文还将重点介绍一些扩容无法解决的 ES 性能问题。希望通过本文大家可以对 ES 的使用场景有更
221
0
0
0
云原生中间件
本文整理自字节跳动基础架构工程师刘畅和机器学习系统工程师张永强在本次 CommunityOverCode Asia 2023 中的《字节跳动 Spark 支持万卡模型推理实践》主题演讲。在云原生化的发展过程中 Kubernetes 由于其强大的生态构建能力和影响力,使得包括大数据、AI 在内越来越多类型的负载应用开始向 Kubernetes 迁移,字节内部探索 Spark 从 Hadoop 迁移到
251
0
0
0
云原生数据中台
本文整理自字节跳动基础架构工程师魏中佳在本次 CommunityOverCode Asia 2023 中的《字节跳动 MapReduce - Spark 平滑迁移实践》主题演讲。随着字节业务的发展,公司内部每天线上约运行 100万+ Spark 作业,与之相对比的是,线上每天依然约有两万到三万个 MapReduce 任务,从大数据研发和用户角度来看,MapReduce 引擎的运维和使用也都存在着一
37
0
0
0
云原生数据中台
作者|字节跳动计算引擎开发工程师-程航Spark 是字节跳动内部使用广泛的计算引擎,已广泛应用于各种 大规模数据处理 、 机器学习 和 大数据场景 。目前中国区域内每天的任务数已经超过 150 万,每天的 Shuffle 读写数据量超过 500 PB。同时某些单个任务的 Shuffle 数据能够达到数百 TB 级别。与此同时作业量与 Shuffle 的数据量还在增长,相比去年,今年的天任务数增加了
222
0
0
0
技术技术
11本文整理自火山引擎云原生计算研发工程师王正和闵中元在本次 CommunityOverCode Asia 2023 数据湖专场中的《基于 Flink 构建实时数据湖的实践》主题演讲。实时数据湖是现代数据架构的核心组成部分,随着数据湖技术的发展,用户对其也有了更高的需求:需要从多种数据源中导入数据、数据湖与数据源保持实时与一致、在发生变更时能够及时同步,同时也需要高性能查询,秒级返回数据等。所以我
219
0
0
0
技术技术
11在 KubeCon CN 2023 的「 Open AI + 数据 | Open AI + Data」专题中,火山引擎软件工程师胡元哲分享了《 使用 KubeRay 和 Kueue 在 Kubernetes 中托管 Ray 工作负载|Sailing Ray workloads with KubeRay and Kueue in Kubernetes 议题。以下是本次演讲的文字稿。本文将从
198
0
0
0
技术技术
随着云原生技术不断演进,应用云原生改造的持续推进,云原生基础设施已经成为银行业数据中心重要的计算平台。
84
0
0
0
技术技术
Flink Forward Asia 2023 将于 12 月 8 - 9 日在北京举办,议程内容正式上线!
41
0
0
0
技术技术
本文主要介绍 Logstash 的使用痛点以及迁移到 Flink 的优势,探索在 ELK 生态中,Flink 替换 Logstash 的更多可能,推动用户从 ELK 迁移到 EFK。
144
0
0
0
技术技术
2023 年 11 月 18 日上海线下 ,欢迎体验字节跳动同款云原生大数据平台。
26
0
0
0
技术技术
云原生架构下存算分离和弹性伸缩的计算场景,极大的推动了存储加速领域的发展,业界也衍生出了多种存储加速服务,本文将结合火山引擎的业务实践分享对于存储加速的经验总结和思考。
210
0
0
0