发布在微信、企业微信等渠道响应慢

Coze
  • 流式输出差异

    在智能体编排界面是默认使用流式输出,大模型逐tokens进行内容输出,只需要等待一个首响应时间

    微信的部分渠道不支持流式输出,需要等待大模型完整处理后一并发送到微信端,需要等待首响应时间+大模型处理时间。

  • 网络链路差异

    在智能体编排界面进行调试,请求处理均在服务端进行。

    发布渠道后使用,会额外增加用户请求到服务端以及服务端返回数据到客户端的网络链路时间。

0
0
0
0
关于作者

文章

0

获赞

0

收藏

0

相关资源
字节跳动云原生降本增效实践
本次分享主要介绍字节跳动如何利用云原生技术不断提升资源利用效率,降低基础设施成本;并重点分享字节跳动云原生团队在构建超大规模云原生系统过程中遇到的问题和相关解决方案,以及过程中回馈社区和客户的一系列开源项目和产品。
相关产品
评论
未登录
看完啦,登录分享一下感受吧~
暂无评论