在2024年全国大学生物联网设计竞赛中,火山引擎作为支持企业,不仅参与了赛道的命题设计,还为参赛队伍提供了相关的硬件和软件支持。以边缘智能和扣子的联合应用为核心,参赛者们在这场竞赛中的方案展现出了卓越的创新性和实用性,将边缘智能与扣子的技术巧妙地应用于机器人、家庭陪护、智慧康养、智慧座舱等多个领域,为未来行业应用结合大模型的 AIoT 解决方案探索出更多可能性。
本文将聚焦家庭陪护领域,详细介绍“中专乐队”队伍,基于火山引擎边缘智能及扣子,打造的智慧婴儿监控解决方案。
高效育儿诉求推动婴儿监控系统智能化
婴幼儿安全看护问题一直是社会广泛关注的问题,因看护疏忽造成的婴幼童家中意外事故频发,婴幼童安全看护问题亟待解决。与此同时,年轻一代家长需要平衡工作和育儿,对于高效轻松育儿的诉求愈发显现,追求育儿效率且对婴儿看护的安全意识不断提升,希望能够通过婴儿监控系统减轻看护压力,降低婴幼儿遭受意外伤害的可能性。
然而,传统的婴儿监控设备功能单一,监控系统主要通过双摄像头、麦克风实现视听结合,但摄像头的清晰度、婴儿哭声识别模型的准确率都不够高,难以实时全面地监测婴儿的健康和环境状况。
如何赋予婴儿监控设备更多功能?如何全方位监测婴儿的健康状态?如何从环境出发,检测婴儿的舒适程度?来自武汉理工大学的“中专乐队”队伍,通过运用火山引擎边缘智能与扣子的能力,打造智能婴儿监控 AIoT 系统。智慧婴儿监控 AIoT 具备实时检测与异常报警、智能响应与远程交互、便捷操作与万物互联的能力,可以实现对婴儿的全方位监控和智能响应,通过对婴儿状态、环境的检测,保障婴儿身体健康,环境舒适。
智能婴儿监控 AIoT 系统集成了多模态技术和边缘智能,通过在火山引擎边缘智能一体机中进行哭声识别、异常行为检测等,利用火山引擎边缘计算技术,对采集的数据进行初步处理和分析,同时结合大模型技术进行智能决策,提升智能化水平,最终构建出涵盖监控端、手环感知端和小程序端的综合系统。
智能婴儿监控 AIoT 系统小程序端
基于边缘智能 + 扣子的智能婴儿监控 AIoT 解决方案
整体方案介绍
智慧婴儿监控 AIoT 系统是一款融合多模态监测技术与边缘智能的创新解决方案,系统配备了高清摄像头、麦克风、温湿度传感器以及呼吸监测设备,实时捕捉宝宝的哭声、体温、呼吸频率以及周围环境的温湿度信息。借助火山引擎边缘计算能力对数据进行分析处理,识别出宝宝的异常状况,如哭泣或体温升高,并自动向家长发出提醒。此外,系统也针对识别问题为家长提供了参考的解决方案,如播放安抚音乐、调节室内温度,以保障宝宝的最佳舒适度和安全等。火山引擎边缘智能为智慧婴儿监控 AIoT 系统提供数据存储与管理,通过联动扣子平台开发智能聊天机器人,实现自然语言处理和用户互动,打造高效育儿体验。
智能婴儿监控 AIoT 系统框架
边缘智能 + 扣子创新应用
在智慧婴儿监控解决方案中,火山引擎边缘智能与扣子发挥了至关重要的作用。通过火山引擎边缘智能平台与扣子的结合应用,为智慧婴儿监控 AIoT 系统提供了更简洁快速的开发能力,提升系统开发效率,同时帮助提升了系统的智能化水平。
在设备接入和管理方面,火山引擎边缘智能支持多协议的设备接入,如 MQTT、Modbus 等,帮助智慧婴儿监控 AIoT 系统快速接入和控制家居设备,将各种设备,如传感器、摄像头、智能穿戴设备等,纳入统一的管理体系,进行监控、配置、更新和维护的全生命周期管理,帮助系统轻松扩展新设备和功能,此外,数据可以通过边缘计算进行预处理,保证了数据的实时性和安全性。同时,边缘智能也为扣子提供了物理世界中的数据源,使其能够通过 API 调用获取实时数据,从而实现对物理环境的感知和交互。
智能婴儿监控 AIoT -火山引擎边缘智能
在系统框架搭建方面, 火山引擎边缘智能支持管理边缘节点、设备、应用,智慧婴儿监控 AIoT 系统通过边缘智能一体机,可以直接通过边缘智能在云端进行管理和开发,实现了边缘云端推理,从而完成了系统框架的搭建。
在系统维护升级方面,火山引擎边缘智能应用管理功能,极大简化了智慧婴儿监控 AIoT 系统的维护和升级流程。利用边缘智能,“中专乐队”队伍轻松创建工作负载,将容器化的应用部署至边缘节点,并实现版本控制与配置更新。此外,通过设置守护进程,可以确保关键服务的持续运行。这一功能不仅支持微信小程序后端、Kafka 消息服务和 WebRTC 视频流转发等应用的高效管理,还允许通过增加副本数量来增强应用的稳定性,从而提供更加可靠,响应更迅速的监控服务。
正在运行的设备实例
在数据处理和分析方面, 火山引擎边缘智能的数据处理功能,可以实时高效地分析时序数据和视频数据,通过创建视频数据流及时序数据流,并部署到边缘节点,边缘智能帮助“中专乐队”队伍直接提供结构化的数据输出,在扣子平台搭建的 Bot 可以直接利用这些数据进行更广泛的分析和应用。
视频数据流事件推送
在模型支持方面, 火山引擎边缘智能的边缘推理功能,支持将本地自行训练模型部署到边缘节点,通过云端管理模型,对模型进行版本迭代升级。同时,火山引擎边缘智能的“物模型”,支持对物理世界的实体进行抽象,例如宝宝的体温、环境的温湿度等,帮助扣子通过调用接口实现与物理世界的联动。
智能婴儿监控 AIoT 系统小程序端
在提升系统智能化水平方面, 扣子的低代码可视化操作,支持快速搭建工作流和智能体,仅通过文字描述人设,即可搭建智能的宝宝监护Bot。同时,边缘智能平台的 API 和模型可以作为扣子工作流的节点,简化 Bot 应用开发流程,Bot 直接调用边缘智能的 API 获取数据,进行多模态分析,为家长提供个性化的宝宝监护信息。
智能婴儿监控 AIoT 系统小程序端联动扣子
火山引擎边缘智能提供的服务,结合扣子 Bot 的灵活性和易用性,为婴儿监控系统带来了强大的技术支撑和广阔的应用前景。
解决方案效果展示
实时检测、异常报警,帮助家长省心省力
智慧婴儿监控 AIoT 通过高清摄像头、麦克风、温湿度传感器、呼吸监测器等设备,实时采集音视频数据;婴儿的呼吸频率、心率、体温等健康数据;温湿度、光照强度、噪音程度、二氧化碳浓度、甲醛浓度等环境数据,还支持通过水位传感器数据判断婴儿是否尿床。基于采集到的数据,利用火山引擎边缘计算能力进行分析和处理,在系统判断婴儿状态或环境异常时,自动通过小程序弹窗或短信的方式通知家长,帮助家长随时了解婴儿环境状况和情绪状态。
智能响应、远程交互,确保婴儿状态良好
智能婴儿监控 AIoT 系统的小程序端提供传感器数据概况、环境图表信息、宝宝情况记录等一系列信息查询功能,同时提供对应的解决方案。当婴儿需要安抚时,家长可以发布远程指令,系统将代替家长讲故事、唱儿歌等来安抚婴儿情绪,而且系统在 AIoT 人工智能物联网基础上,引入了语言大模型,支持家长定制个性化童趣小故事;当环境异常时,系统可通过远程交互自动调节室内温度,或提醒家长进行手动调整,确保婴儿处于适宜环境中,预防因环境变化引起的健康问题。
连接大模型、提升育儿水平,帮助更好掌握育儿知识
智慧婴儿监控 AIoT 系统能够实时访问扣子 Bot ,通过 Bot 询问和掌握宝宝状态,Bot 应用通过调用创建好的工作流获取火山引擎边缘智能上的设备数据,实时解答用户疑问,除此之外,用户还可以通过扣子 Bot 了解更多育儿知识,拓展知识边界。
END
随着技术的发展,智慧婴儿监控将会更智能、敏锐、个性化,实时监测与响应能力将大幅提升,来确保宝宝的安全与健康。在这一创新驱动下,家庭看护将变得更加轻松,父母可以更放心地投入到工作和生活中,而宝宝则能在更加安全、舒适的环境中健康成长。未来,边缘智能与扣子的深度融合将为智慧婴儿监控行业带来更多可能性。