工作流超时常用调整方法

扣子专业版扣子Coze
工作流超时

工作流使用限制相关文档:https://www.coze.cn/open/docs/guides/workflow_limits

如您在调用工作流过程中出现运行中止或其他异常问题,可能的原因是工作流运行超时导致,您可以前往火焰图查看具体耗时

picture.image

常见处理方法

设置工作流为异步执行

异步执行工作流的详细介绍可参考官网文档:https://www.coze.cn/open/docs/guides/use_workflow#00d7b009

picture.image

减少使用大模型节点

  • 大模型 适合非结构化任务和模糊需求的分析与解决,更像是一位“广而浅”的通才。
  • 编程擅长精准逻辑的执行和性能优化,是不可替代的核心能力。

举例:

  • 如涉及到评论分析,联网内容整合,信息提取等场景,我们需要使用大模型节点来进行处理
  • 如涉及到格式处理转换,固定格式下的内容原文提取等场景,我们可以依赖代码节点等实现

减少大模型的输入输出

大模型的输出长度是耗时的重要影响因素

  • 固定输出内容,制作内容映射,例如:分类任务中,让大模型对不同的分类,输出为1,2,3等数字内容,自行维护数字和分类字段的映射关系。让大模型从输出多个文字变为输出一个数字。
  • 精简输出内容,如您不需要大模型输出过多的文字内容,您可以在提示词中补充精简回复等相关内容。

选择响应更快的模型

您可以尝试使用lite系列模型,有更快的响应速度

使用批处理功能

部分节点支持使用批处理功能,调整并发数量到一个较高值,能够非常可观的改善工作流运行速度

picture.image

0
0
0
0
相关资源
融合开放,新一代边缘云网络平台 | 第 11 期边缘云主题Meetup
《融合开放,新一代边缘云网络平台 》李冰|火山引擎边缘云网络产品负责人
相关产品
评论
未登录
看完啦,登录分享一下感受吧~
暂无评论