MCP(model context protocol)实战篇(下)

大模型向量数据库火山方舟

继上次mcp实战分享后,留了个尾巴,没有和实际业务场景结合在流中实时响应。今天抽空完善了下代码,将其植入到了流的响应流程中。代码篇幅有点多,分享我最终优化后的流程图吧。

picture.image

优化项

为了避免工具过多附加到上下文浪费token, 自己封装了规则引擎,根据业务场景和规则进行匹配,如果匹配成功就初始化对应的client,并将该tool对应的schema追加到当前的上下文中,大模型会根据自己的意图识别来决定要不要使用当前工具,如果返回使用工具那么由当前client发起工具调用,将调用结果返回给用户。

不足

  • • 一次只能处理一个工具
  • • 调工具时工具的输出无法实时返回给用户,假如工具是调大模型完整某个任务,期望也能实时返回时目前不支持。
  • • Rust版本的MCP服务不能同时注册多个结构做拆分,只能将所有的服务都放到一个结构体的函数中。

最后附测试的录屏供大家参考:

A2A目前还没时间去实践。留待后续继续吧。至少目前把MCP搞懂了。

另外: MCP的SDK目前还不完善。用了MCP就要做好跟着版本一起优化的准备。

0
0
0
0
关于作者
关于作者

文章

0

获赞

0

收藏

0

相关资源
如何利用云原生构建 AIGC 业务基石
AIGC即AI Generated Content,是指利用人工智能技术来生成内容,AIGC也被认为是继UGC、PGC之后的新型内容生产方式,AI绘画、AI写作等都属于AIGC的分支。而 AIGC 业务的部署也面临着异构资源管理、机器学习流程管理等问题,本次分享将和大家分享如何使用云原生技术构建 AIGC 业务。
相关产品
评论
未登录
看完啦,登录分享一下感受吧~
暂无评论