/
微信图片_20250727002049_352.jpg
O

OneTouchReality

本项目实现了一套比较完整的虚拟现实手势控制机械臂系统,通过Mediapipe在Python中实现摄像头实时捕捉手部关节点,利用UDP协议传输至Unity引擎,且该平台中重建虚拟手模型,并通过cs脚本检测碰撞,达到识别手指与虚拟物体的交互。当检测到碰撞时,系统会通过TCP网络协议发送控制指令到Python服务器,最终驱动Arduino控制实体机械手同步运动。

展位218
代码CarterWells111/OneTouchReality.git
部分内容由 AI 协助补全
/ 项目简介

本项目实现了一套比较完整的虚拟现实手势控制机械臂系统,通过Mediapipe在Python中实现摄像头实时捕捉手部关节点,利用UDP协议传输至Unity引擎,且该平台中重建虚拟手模型,并通过cs脚本检测碰撞,达到识别手指与虚拟物体的交互。当检测到碰撞时,系统会通过TCP网络协议发送控制指令到Python服务器,最终驱动Arduino控制实体机械手同步运动。

/ 媒体 · 6
/ 详情
/ 团队
J
JTST
提交者
C
Carter Wells
梁之琪同学主要完成了项目arduino程序的开发,用于控制舵机运动和arduino与python的通讯;此外,还完成了部分python与unity通讯的代码内容,以及unity里物体碰撞检测和相应信号的回传;完成了小红书视频的剪辑和项目slide show的制作。
L
leo13325919235@163.com
李由:完成所需机械结构的设计建模打印制造。制造了3d打印手套和各个关节的束线器以及指尖的接线器,按压器,完成了后期的一些调试,优化维修。同时撰写了一部分技术文档,制作了海报,还客串了下后勤让团队的人吃了点好的。