火山引擎云搜索及消息队列 2024 年 7 月产品动态

中间件

picture.image

场景案例推荐

【结合豆包模型搭建 RAG 推理任务】

在云搜索服务的 ML 服务中,支持创建 RAG 深度学习模型,它结合了提取系统和生成模型的功能,可以在回答查询或生成文本时融合并利用大量外部信息源快速搭建一个 RAG 推理服务。

查询流程中 RAG 应用会将用户输入的问题通过 Embedding 模型转化为向量,然后使用云搜索服务 OpenSearch 的混合查询功能查询问题向量和问题文本,召回 Top n 的文档结果后发送给豆包大模型根据文档内容回答用户的问题。

功能快报

picture.image

更多推荐实践:中间件场景体验馆https://www.volcengine.com/experience/middleware

0
0
0
0
关于作者
关于作者

文章

0

获赞

0

收藏

0

相关资源
云原生机器学习系统落地和实践
机器学习在字节跳动有着丰富业务场景:推广搜、CV/NLP/Speech 等。业务规模的不断增大对机器学习系统从用户体验、训练效率、编排调度、资源利用等方面也提出了新的挑战,而 Kubernetes 云原生理念的提出正是为了应对这些挑战。本次分享将主要介绍字节跳动机器学习系统云原生化的落地和实践。
相关产品
评论
未登录
看完啦,登录分享一下感受吧~
暂无评论