发布在微信、企业微信等渠道响应慢

Coze
  • 流式输出差异

    在智能体编排界面是默认使用流式输出,大模型逐tokens进行内容输出,只需要等待一个首响应时间

    微信的部分渠道不支持流式输出,需要等待大模型完整处理后一并发送到微信端,需要等待首响应时间+大模型处理时间。

  • 网络链路差异

    在智能体编排界面进行调试,请求处理均在服务端进行。

    发布渠道后使用,会额外增加用户请求到服务端以及服务端返回数据到客户端的网络链路时间。

0
0
0
0
相关资源
大规模高性能计算集群优化实践
随着机器学习的发展,数据量和训练模型都有越来越大的趋势,这对基础设施有了更高的要求,包括硬件、网络架构等。本次分享主要介绍火山引擎支撑大规模高性能计算集群的架构和优化实践。
相关产品
评论
未登录
看完啦,登录分享一下感受吧~
暂无评论