Steve Mann 被称为“第六感技术之父”，他于 1990 年制造了可穿戴计算设备。人们知道人类与机器人之间的融合方式一直在利用各种技术发展。使用手势控制机器人车辆是增强集成的主要方式。人类手势通过使其独立于输入设备来增强人机交互。系统内置摄像头用于捕捉手势的实时视频。它关联了手势识别、图像捕捉、处理和操作等技术。颜色标记用于阐明手势运动。通常使用无线 Zigbee 系列 2 模块来发送手势命令。
组件
- 相机– 按键输入设备，作为数字眼睛的艺术。能够通过用户手势捕获输入。
- 投影仪– 按键输出设备，并将设备中的数字信息投影到表面或墙壁上。
- 移动计算设备– 启用 Microsoft 的设备并用作设置的大脑。它被预先编程以完成税收。
- 镜子——将投影反射到理想的地方
- 麦克风– 使用纸张时需要。用作设置。
- 彩色标记– 在数字中，用作手势或简单地单击图像。
工作程序
- Zigbee坐标通过USB浏览器板连接到系统的串口。
- 使用 Arduino 板。用户佩戴彩色轻敲以向系统提供输入手势。
- 相机以固定的帧速率和分辨率捕获实时视频，该帧速率和分辨率由相机的硬件决定。
- 颜色在图像处理中起着重要作用。每个图像由 M*N 像素的阵列组成，其中包含 M 卷和 N 列像素。每个像素为红色、绿色和蓝色等原色保持特定值。基于阈值，可以区分 RGB 颜色。在颜色检测过程中，可以从图像中检测出所需的颜色。
- 使用根据用户 Arduino Uno 板给出的输入气体来控制机器人车辆的命令。
- Arduino 和 MATLAB 之间的串行通信通过 Zigbee 无线建立。
- RGB 图像被转换为灰度图像。它将真彩色图像 RGB 转换为灰度图像。
- 通过减去图像，从 RGB 图像中提取所需的颜色（红色）。通过从灰度图像中减去 RGB 超命中通道来检测红色、绿色和蓝色对象。减法后得到的图像的灰度区域需要转换为二值图像，以找到被检测物体的区域。
- 需要转换为二进制才能找到单色图像的属性。
- 为了让用户控制鼠标指针，需要确定一个可以将其坐标发送到光标的点电话。通过这些坐标，系统可以执行机器人运动。
- 为检测到的区域计算质心。输出函数是由质心的 X 和 Y 坐标组成的矩阵。质心数通过系统的 COM 端口传输到 Zigbee。
- 无线网络中的 Zigbee 路由器从坐标接收数据并将其传输到 Arduino。
- Arduino 向机器人车辆发送命令。适当的命令用于执行前进、后退、左转和右转等运动。
应用
- 查看地图（调用地图）
- 检查时间
- 打造多媒体阅读体验
- 正在拍照
- 绘图应用程序（使用手部动作放大缩小）
- 拨打电话并与物理对象交互
- 航班更新，获取产品信息
优点
- 便携的
- 支持多点触控和多用户交互
- 具有成本效益，因为设备成本高达 300 美元
- 我们可以直接从机器实时访问数据
- 将想法映射到任何地方
- 开源软件
缺点
- 我们目前随身携带的设备的硬件限制
- 例如，许多手机不允许实时操作外部摄像头馈送
- 有时会发生后处理
结论和未来的改进
该技术使用可穿戴的手势界面，将物质世界与数字世界叠加。
除了眼睛、舌头、鼻子、耳朵、手势之外，该技术还使用额外的六种感官感知与物质或物理世界进行交互。第六感技术将消除携带繁琐的笔记本电脑和其他重型设备的任务。物理世界与数字世界的连接是人类取得的一个巨大里程碑。这项技术有许多进一步修改的范围：
- 摆脱颜色标记
- 移动和计算设备中的嵌入式摄像头和投影仪
- 进行 3D 手势跟踪
- 让第六感成为残疾人的第五感