本周语聚AI多模态知识库上线了多模态知识库，快来了解一下吧。
什么是多模态知识库？
多模态知识库利用AI大模型的图像理解能力，将企业私有知识文档中的图像部分进行理解，而不仅仅是提取图片中的文字内容，并利用向量化的方式将大模型对图像的理解内容进行存储。
当用户提问时，知识库不仅可以检索出相关的文字知识内容，同时还可以检索出相关的图像内容。
AI大模型再次利用多模态分析能力同检索出的图像与文字内容在此进行理解与总结，并生成针对用户问题的解答。
听起来是不是有点复杂，没事，我们以一个案例来说明：
- 案例背景：
小军经营着一家电商网站，主卖女士包包，每天有数千用户在他的网站上咨询产品问题，货运问题，售前售后问题。为了更高效的服务客户，小军引用了AI大模型结合自己的产品列表，服务手册等企业私有知识，构建了AI大模型客服，很好的解决了客户的问题。
但是有一些与“图像”相关问题，AI难以解答，比如：
-
AI为用户推荐产品时，无法将产品的图片一起发给用户，用户对AI推荐的商品没有视觉感受，成交差。
-
用户通过描述商品图像提问，AI难以回答，比如：你们有没有动物图案的包包？
-
用户发送图像信息进行提问时，AI难以正确回答，比如：用户发了一个包包的图片，问你们有没有这款包包？
为了解决这些问题，小军将他的产品目录上传到了语聚AI的多模态知识库中，产品中只包含商品图片，编号，商品名称和价格。
（小军的产品目录部分截图，PDF文档，包含500+包包SKU）
下面我们看看多模态知识库+AI多模态大模型是如何解决小军的问题的
多模态向量示例1：视觉检索
视觉检索，可以通过AI大模型的视觉能力对知识文档中的图片内容进行检索，从而找到与用户问题相关的图像。
示例：用户提问：“ 有没有带动物图案的包包 ？ ”
AI通过视觉检索找到了带动物图案的包包,并找到了包包的相关描述信息，并利用视觉理解能力根据包包样式生成了推荐购买的文案。
AI回答内容：
“这款包包编号为WB0020，是我们的"Bolsa Bolsos Carteras Mujer Marca Women PU Leather Cat"系列，售价为34美元。包包采用高质量PU皮革制成，正面印有一只戴着时尚墨镜的灰色猫咪图案，非常独特有趣。它设计小巧但实用，配有黑色肩带可斜挎或单肩背，是年轻人和猫咪爱好者的最爱。
这款包包不仅外观吸引人，而且实用性强，是日常出行和休闲场合的完美配饰。您对这款猫咪包感兴趣吗？或者您想了解其他动物图案的包包款式？”
（语聚AI内界面原始截图）
多模态向量示例2：以图找图
根据用户提供的图片，AI大模型可以分析图片中的内容，并通过多模态向量知识库检索相关文字和图像知识，并解答用户问题。
示例：用户提问：“ 类似这样的包有吗？ ”
AI大模型首先通过视觉理解能力分析图片中的内容，并检索找到了相关结果，不仅仅是根据颜色，还包括了包包的款式等视觉信息。
AI回答内容
“您好！我看到您在询问的是类似于图片中展示的褐色包包的产品。在您分享的图片中，我可以看到几款风格相似的包包，主要有两种类型：
Amelie 系列托特包（两件套）
这款是 Amelie 品牌的棕色复古风托特包组合，包含一个主托特包和一个小挎包。主包设计简约大方，采用高品质仿皮革材质，颜色为复古棕色，提供足够的收纳空间。随附的小包可以单独使用，也可以作为手拿包与主包搭配。这款包非常适合日常通勤或购物使用。
复古风流苏装饰斜挎包
这款是褐色的小型斜挎包，设计精致，配有金色拉链和流苏装饰，外观时尚优雅。包包采用优质PU皮材质，提供适中的收纳空间，适合日常外出携带必需品。长肩带设计让您可以舒适地斜挎使用。
INLEELA 灰色流苏抽绳包
还有这款 INLEELA 品牌的灰色抽绳包，虽然颜色与您询问的褐色不同，但设计元素类似，都有流苏装饰。这款包采用灰色主体配棕色皮带设计，风格独特又时尚。
请问您对哪一款更感兴趣？或者您是在寻找更接近图片中某一种特定风格的包包？我可以根据您的偏好提供更具体的推荐。
（语聚AI内界面原始截图）
多模态向量示例3：AI图文混排文档生成
AI大模型可以通过多模态向量知识库检索相关的图片和文字内容，自主生成文档，博文，适合社交营销与内容营销场景。
示例：用户提问：“ 帮助我出一篇知乎文档，介绍2025年包包流行趋势，要求图文并茂，图片不少于五张 ”
AI 回答（文章很长，展现部分节选）：
2025年包包流行趋势全解析：时尚与实用的完美融合
作为一名资深时尚买手，我有幸提前掌握了2025年包包市场的核心趋势。今天就为大家带来最新鲜的包包流行趋势分析，助你走在时尚前沿！
1. 趣味性图案成为主流
2025年，个性化表达成为消费者的首要需求。如图所示的这款戴墨镜猫咪图案斜挎包完美代表了这一趋势。动物元素特别是可爱的猫咪图案在今年的包包设计中大放异彩，深受Z世代和千禧一代的喜爱。这类包包通常采用PU皮材质，轻便且实用，售价约34美元左右，性价比极高。
2. 新复古主义的崛起
2025年，复古元素以全新姿态回归。如图所示的棕色复古风斜挎包，结合了70年代的设计灵感与现代工艺。流苏装饰、复古搭扣以及温暖棕褐色调成为今年包包设计的关键元素。特别是INLEELA等品牌推出的复古系列，在保留传统美感的同时融入现代功能性设计，备受追捧。这类包包价格区间通常在32-66美元之间。
（语聚AI内界面原始截图）
如何在语聚AI中使用多模态向量知识库
首先：进入语聚AI的官网：yuju-ai.com 登录或者注册账户
进入知识中心，点击”新增知识库“
在知识类型中选择 ”多模态知识库“
选择知识文档类型
目前支持3种文档类型
- 文档：在线编辑器编写知识内容，可以在编辑器中插入图像。
- 网站：支持输入页面URL（可以多个），语聚AI会自动检索网页中的文字和可读取的图像内容。
- 文件：PDF，支持读取PDF文件中的内容，包括文字和图像部分。
点击下一步，完成知识库的创建，在向量完成后，可以在知识助手或者语聚GPT两个类型的助手中使用：
Q
关于集简云
ABOUT JIJYUN
集简云：让连接更简单
集简云是一款超级软件连接器，无需开发，无需代码知识就可以轻松打通数百款软件之间的数据连接，构建自动化与智能化的业务流程。通过自动化业务流程，每月可节省您数百甚至数万小时的人工成本。
**产品官网：jijyun.cn
语聚AI： 全国首款** AI模型连接器，连接AI模型、软件工具与知识信息
产品官网：yuju-ai.com
集简云嵌入方案： 为你的系统增加强大的集成对接能力，提升产品竞争力，解决您用户对软件集成对接的需求。
点击阅读原文 ，马上免费体验集简云