手势控制与对象侦测为 Apple AR / MR 头戴装置的关键人机接口设计,AR / MR 头戴装置将会配备比 iPhone 更多的 3D 感测模组,当中的结构光规格有显著升级。
他认为,Apple 的 AR / MR 头戴装置将配备 4 组 3D 传感 (iPhone / 高端智能手机约 1–2 组)。当中,用于手势控制与对象侦测的结构光规格将高于 iPhone 的 Face ID。
他相信 AR / MR 头戴装置的结构光除可侦测使用者眼前的手 (用户或其他人的) 与对象的位置变化外,也可侦测手的动态细节变化 (如同 iPhone 的 Face ID / 结构光可侦测用户动态表情变化之 Animoji)。
透过捕捉手的动态细节,苹果头显设备将可以提供更直觉与生动的人机界面。如:侦测到用户的手从握拳到张开,手中的气球 (影像) 飞走。
据称,虽然同样都采用结构光,但头戴装置侦测手 (使用者或其他人的) 与物件的距离需要较 iPhone 的 Face ID 侦测距离更远,故头戴装置的结构光功率更高,预测这个侦测距离长约 100–200%。
为提升手势侦测的视角,他预测苹果 AR / MR 头戴装置将配备 3 组 ToF 模组,可在低延迟的要求下,侦测手的移动轨迹。
IT之家了解到,目前 iPhone 的 VCSEL 主要供应商为稳懋(生产) 与 Lumentum (设计),因此他认为稳懋与 Lumentum 受惠于 Apple AR / MR 头戴装置配备更多与更高规的的 3D 感测模组,将成为元宇宙的创新人机接口的关键赢家。
他表示,3D 感测在元宇宙时代的重要性显著提升。手机 3D 感测的应用是脸部辨识与提供拍照景深资讯,可提升使用者体验但并非必备。3D 感测是头戴装置人机操作接口的关键,为成功的元宇宙用户体验之必备规格。
iPhone 成功的关键在于创新人机界面 (多点触控)。他相信 Apple AR / MR 头戴装置的成功关键在于是否能提供创新人机界面。头戴装置的创新人机接口技术包括手势控制、对象侦测、眼球追踪、虹膜辨识、语音控制、皮肤侦测、表情侦测与空间侦测。