该教程详细介绍了如何通过coze工作流构建一键生成图文类视频。
暂时无法在飞书文档外展示此内容
https://telegraph-image-djt.pages.dev/file/afe453234bf035d1bb77f.mp4
该工作流主要使用了以下节点:
-
大模型节点
- 该节点主要是通过大模型节点输出文本内容并以JSON形式输出
-
函数节点
- 函数节点主要是对大模型的输出处理
-
插件
- 该节点的核心是调用构建的视频生成API,对大模型输出的文本内容转换成视频服务
前置条件
视频生成服务是基于remotion构建的,以下是remotion的相关资料和信息:
-
Remotion:是一个开源框架,允许开发者使用 React 组件来创建高质量的视频。它将 React 的声明式编程模型应用于视频制作,使得程序员可以用编写网页的方式来制作复杂的动画和视频内容。 此外运行remotion必须有Node 16及以上的环境才可以。
-
文档:
步骤一:构建remotion项目
-
根据上文中分享的remotion相关文档,使用命令行:
-
npx create-video@latest
- 安装完成以后你本地文件会有以下类似的目录结构,每个文件以及作用如下:
- 然后在该目录下使用命令行
npm install
以及npm start
完成安装和项目启动;当然如果你本地还没有搭建具体环境只是想快速了解下remotion的魅力支持,你可以通过官方提供的沙盒环境快速运行:https://remotion-helloworld.vercel.app/?/HelloWorld
-
步骤二:构建图文视频模板
完成步骤一以后,我们就可以进行构建我们想要的视频模板了,构建视频模板之前首先需要构建模板组件,此处我将展示并分享我构建的视频模板的代码:
-
我们所构建的组件代码必须都在src目录下,你可以根据你要做的模板起名并创建目录文件,下图为我创建的文件目录:
- 其中:AudioFade.jsx 定义了背景音乐组件,Subtitles.jsx 定义了字幕组件,MyVideo.jsx 引用了 Audio 以及 Subtitles组件构成了主视频组件,效果如下图所示:
以上实现代码我将上传至github,地址在这里:https://github.com/DangJin/remotion2Agent;以上代码均为gpt生成,我仅作了复制粘贴!不信你看:
暂时无法在飞书文档外展示此内容
步骤三:构建API服务
完成视频模板创建并运行成功以后,我们将通过express构建API,具体代码逻辑如下:
步骤四:部署
此次部署采用了阿里云轻量应用服务器完成部署,你只需要安装好Node相关环境,代码上传至服务器并启动项目即可,此处不做赘述,如若代码部署问题,可以留言给我!
步骤五:构建text2video插件
在编排工作流之前,我们需要通过coze的插件能力,如何创建插件此处不再赘述,可以查看我之前的教程;
第1步:定义元数据:
第2步:删除插件默认生成的代码保留如下图所示
第3步:使用快捷键Command+I 唤起 AI ,输入以下prompt让AI帮你生成代码:
prompt:写一个post请求:请求地址:xxx.com,body参数为{"text":"} ,待AI生成代码以后,点击接受即可,具体代码如下:
步骤六:编排工作流
步骤七:最终效果展示
暂时无法在飞书文档外展示此内容
- 项目代码:https://github.com/DangJin/remotion2Agent
- Remotion 模板:https://remotion-helloworld.vercel.app/?/HelloWorld
- Remotion Docs:https://www.remotion.dev/docs/
- 扣子如何创建插件:https://www.coze.cn/docs/guides/create_plugin