游戏开发是TRAE擅长的领域之一,有非常多相关的例子。如果TRAE的游戏开发能力叠加上摄像头和运行在AI PC上的本地多模态感知模型,实现人体动作识别,直接以肢体姿态完成游戏操控,就可以把普通小游戏升级成可居家放松、轻运动健身的体感玩法。
以下是介绍TRAE+本地MediaPipe体感模型的手势识别能力+ 本地多模态 Skill,实现摄像头手势操控体感小游戏的全栈开发。
| AI PC+TRAE 本地方案优势 | |
|---|---|
| 云端 VLM 手势识别延迟高 | 本地MediaPipe体感模型实现 30ms / 帧推理 |
| 美术、音乐、音效、人声素材设计 | 基于TRAE + local-txt2img等本地多模态skill 实现“全栈开发” |
1. 快速生成基础游戏本体
通过 TRAE 结构化代码生成能力,基于 Pygame 快速产出可运行的游戏内核,完成俄罗斯方块、贪吃蛇,2048,黄金矿工等一系列小游戏,纯键盘交互逻辑;先隔离验证游戏运行规则,无需接入摄像头、手势识别,快速完成基础玩法原型搭建。
2. 链接摄像头画面采集和 MediaPipe 实现体感控制
TRAE 自动生成线程安全摄像头采集模块,搭建本地画面数据通路,游戏界面同步叠加实时摄像头预览窗口。
接入 MediaPipe 本地手势识别,生成 6x6 网格手势映射逻辑,搭配多层防误触机制,将手部动作转化为游戏操作,实现纯手势无键鼠体感操控。
全程本地算力推理,无网络传输、无云端视觉 API 调用。
3. 本地生成美术资源和音效
美术资源:TRAE 批量构建统一风格提示词,调用 local-txt2img 本地生成透明底游戏精灵、场景原画,文件自动存入项目资源文件夹,可无限次迭代调整画风。
音频资源:依托本地音频模型批量生成交互音效、循环背景 BGM,TRAE 同步封装音频管理工具,统一处理音量、加载异常、循环播放逻辑,补齐游戏完整视听效果。
4. 基于OpenVINO构建SKILL满足特定需求
为了增强游戏效果,需要为不同的动作/场景生成金钱,钻石,爆炸声等不同的音效,当前的Skill无法满足需求怎么办。OpenVINO支持数百个开源模型,可以在其中很容易找到满足需求的模型(链接如下)。
接下来把这个链接交给TRAE就可以快速生成所需的skill,流程如下,
本场景展示如何让TRAE从零构建一个本地音效生成Skill——用户仅需提供参考文档与模型来源,TRAE即可自主完成环境搭建、模型转换、脚本封装,将开源模型快速转化为可复用Skill。
用户向TRAE提出构建音效生成Skill的需求,并附上了参考文档与模型来源。TRAE据此完成了运行环境配置、模型文件下载以及OpenVINO格式转换等准备工作,将开源模型集成至标准化的Skill框架中。准备就绪后,TRAE根据用户提供的提示词生成了对应的音效文件。
整个开发过程以对话驱动,用户无需手动编写环境配置、模型转换或接口封装代码,TRAE即可完成从需求理解到交付可运行工具的全部环节。该流程不仅适用于音效生成,也为其他基于开源模型的Skill构建提供了可复用的范式。
