本项目实现了一套比较完整的虚拟现实手势控制机械臂系统，通过Mediapipe在Python中实现摄像头实时捕捉手部关节点，利用UDP协议传输至Unity引擎，且该平台中重建虚拟手模型，并通过cs脚本检测碰撞，达到识别手指与虚拟物体的交互。当检测到碰撞时，系统会通过TCP网络协议发送控制指令到Python服务器，最终驱动Arduino控制实体机械手同步运动。