用TRAE开发PC端体感游戏实践

游戏开发是TRAE擅长的领域之一,有非常多相关的例子。如果TRAE的游戏开发能力叠加上摄像头和运行在AI PC上的本地多模态感知模型,实现人体动作识别,直接以肢体姿态完成游戏操控,就可以把普通小游戏升级成可居家放松、轻运动健身的体感玩法。

以下是介绍TRAE+本地MediaPipe体感模型的手势识别能力+ 本地多模态 Skill,实现摄像头手势操控体感小游戏的全栈开发。

AI PC+TRAE 本地方案优势
云端 VLM 手势识别延迟高本地MediaPipe体感模型实现 30ms / 帧推理
美术、音乐、音效、人声素材设计基于TRAE + local-txt2img等本地多模态skill 实现“全栈开发”

1. 快速生成基础游戏本体

通过 TRAE 结构化代码生成能力,基于 Pygame 快速产出可运行的游戏内核,完成俄罗斯方块、贪吃蛇,2048,黄金矿工等一系列小游戏,纯键盘交互逻辑;先隔离验证游戏运行规则,无需接入摄像头、手势识别,快速完成基础玩法原型搭建。

picture.image

picture.image

2. 链接摄像头画面采集和 MediaPipe 实现体感控制

TRAE 自动生成线程安全摄像头采集模块,搭建本地画面数据通路,游戏界面同步叠加实时摄像头预览窗口。

picture.image

接入 MediaPipe 本地手势识别,生成 6x6 网格手势映射逻辑,搭配多层防误触机制,将手部动作转化为游戏操作,实现纯手势无键鼠体感操控。

picture.image

全程本地算力推理,无网络传输、无云端视觉 API 调用。

picture.image

3. 本地生成美术资源和音效

美术资源:TRAE 批量构建统一风格提示词,调用 local-txt2img 本地生成透明底游戏精灵、场景原画,文件自动存入项目资源文件夹,可无限次迭代调整画风。

picture.image

音频资源:依托本地音频模型批量生成交互音效、循环背景 BGM,TRAE 同步封装音频管理工具,统一处理音量、加载异常、循环播放逻辑,补齐游戏完整视听效果。

picture.image

4. 基于OpenVINO构建SKILL满足特定需求

为了增强游戏效果,需要为不同的动作/场景生成金钱,钻石,爆炸声等不同的音效,当前的Skill无法满足需求怎么办。OpenVINO支持数百个开源模型,可以在其中很容易找到满足需求的模型(链接如下)。

https://docs.openvino.ai/2024/notebooks/stable-audio-with-output.html?f_link_type=f_linkinlinenote&flow_extra=eyJkb2NfcG9zaXRpb24iOjAsImRvY19pZCI6IjgyNmFlOWM4M2U0YzVkZGYtNjE4MzJhM2RlYTk0Y2VlMiIsImlubGluZV9kaXNwbGF5X3Bvc2l0aW9uIjowfQ%3D%3D

接下来把这个链接交给TRAE就可以快速生成所需的skill,流程如下,

本场景展示如何让TRAE从零构建一个本地音效生成Skill——用户仅需提供参考文档与模型来源,TRAE即可自主完成环境搭建、模型转换、脚本封装,将开源模型快速转化为可复用Skill。

picture.image

用户向TRAE提出构建音效生成Skill的需求,并附上了参考文档与模型来源。TRAE据此完成了运行环境配置、模型文件下载以及OpenVINO格式转换等准备工作,将开源模型集成至标准化的Skill框架中。准备就绪后,TRAE根据用户提供的提示词生成了对应的音效文件。

picture.image

picture.image

整个开发过程以对话驱动,用户无需手动编写环境配置、模型转换或接口封装代码,TRAE即可完成从需求理解到交付可运行工具的全部环节。该流程不仅适用于音效生成,也为其他基于开源模型的Skill构建提供了可复用的范式。

5. 游戏DEMO效果

picture.image

0
0
0
0
评论
未登录
暂无评论