发布在微信、企业微信等渠道响应慢

Coze
  • 流式输出差异

    在智能体编排界面是默认使用流式输出,大模型逐tokens进行内容输出,只需要等待一个首响应时间

    微信的部分渠道不支持流式输出,需要等待大模型完整处理后一并发送到微信端,需要等待首响应时间+大模型处理时间。

  • 网络链路差异

    在智能体编排界面进行调试,请求处理均在服务端进行。

    发布渠道后使用,会额外增加用户请求到服务端以及服务端返回数据到客户端的网络链路时间。

0
0
0
0
关于作者

文章

0

获赞

0

收藏

0

相关资源
IDC 大模型应用落地白皮书
大模型技术已深度融入业务实践,各企业期望其释放更大商业价值。 但大模型落地之路面临许多挑战和顾虑。 如何精准对接业务需求与发展蓝图,制定切实可行的大模型落地策略? IDC发布首个大模型应用策略与行动指南 一为您揭晓一
相关产品
评论
未登录
看完啦,登录分享一下感受吧~
暂无评论