眼球追踪仪挑战
1.扎克伯格在采访中指出，下一代Quest将专注于面部和眼睛跟踪技术，而Project Cambria也将配备眼睛跟踪技术。尽管如此，眼球追踪仍然是Meta需要解决的主要研发问题，这项技术在通用性、延迟和准确性方面都存在挑战。
2.微信图片_20220324145442
3.根据Meta Reality Labs发表的最新论文，其正在探索一种基于事件摄像头的眼球追踪方案。那么什么是事件摄像机呢？它的英文名是Event Camera，是近几年才出现的一种摄像技术。
4.事件摄像机的数据传输格式与传统摄像机不同。它采用异步通信模式，也就是说，设备之间的时钟不同步。事件摄像机并不实际传输捕获的数据，而是仅在捕获亮度等像素变化（事件）时传输数据。
简单来说，事件摄像机类似于人眼的工作原理，其主要功能是捕捉物体的变化或运动。
眼球追踪仪挑战6.Meta指出，事件摄像机可以在低功耗下运行，响应延迟可以降低到微秒级。这些特性有望解决现有眼球追踪技术在实时性和功耗方面的局限性，甚至带来适用于AR/VR头显等移动设备的眼球追踪技术。
7.关于Meta眼球追踪程序
8.目前，眼睛跟踪系统的常见设计是使用闪光灯照亮角膜来捕获数据。该方案只需要稀疏数据即可运行。这表明眼球追踪系统的采样率不需要很高，因此研究人员预测使用事件摄像机就足够了。虽然事件摄像机只在捕捉运动时拍照，但只要捕捉到关键数据，它们也可以计算眼睛的变化。
9.微信图片_20220324145440
10.这种方案与传统的眼球追踪技术最大的区别是它没有固定的采样率，也没有对所有像素进行采样。相反，它主要返回像素亮度的变化数据（带有时间信息），并且仅在发生变化时进行采样。虽然收集的数据较少，但准确性和效率足够好。
11.事件摄像机的另一个优势是它具有高动态范围（≈120dB），几乎没有运动模糊，并且其功率低于传统摄像机，其延迟可以低至亚毫秒级。
12.Meta表示:这是第一个完全基于事件的角膜闪烁/眼睛跟踪方案。原理是光源照射在角膜上，反射光进入图像传感器并显示为可见数据。这些数据可以用来定位角膜的运动和预测注视点。
13.加密差分照明
14.研究人员指出，眼睛通常由两种表面组成:1）角膜像镜子一样，可以镜面反射光源；2）兰伯特表面，如皮肤、虹膜和巩膜，它们漫射光。
15.微信图片_20220324145427
16.在跟踪眼球的过程中，为了避免光源照射到皮肤、虹膜和巩膜等其他部位造成误差，该方案中使用的每个光源都有匹配的补偿光系统以保持总亮度不变。在不影响角膜镜面反射的情况下，抑制了场景漫反射引起的事件。
17.为此，Meta设计了一种名为“编码差分照明”的照明方案，其特点是增强镜面反射事件，同时抑制其他事件，并仅在事件被触发时闪烁，标准硬件上的采样率为kHz。
18.微信图片_20220324145414
19.该方案采用双LED光源，可提高角膜镜面反射检测的效率和精度。为了阐明光源与角膜反射/闪烁之间的对应关系，它采用二进制模式并使光源脉冲在两个周期内运行。
20.通常，眼球追踪方案使用高速闪烁的光源。然而，被闪光灯照亮的场景通常会使事件相位机饱和，并使整个场景的亮度发生变化。因此，研究人员让两个LED灯切换为闪烁，而不是闪烁一个灯，以保持整体照明大致恒定。
21.微信图片_20220324145422
22.他们还发现，LED灯之间的最佳距离是眼球的反射点刚好接触而不重叠的点。当LED灯之间的距离很近时，两次闪光在相交处相消，导致净亮度变化为零，并降低了闪光的有效频率。
23.解决了哪些问题
24.Meta指出，眼球追踪是AR/VR头显的一项关键功能，可以丰富用户之间的互动，同时还可以实现动态凝视点的渲染效果，增强AR/VR的视觉印象。此外，它还可以用于实验、医疗、培训等场景，并通过用户的眼动数据进行分析。变焦显示系统和焦平面显示系统还具有眼睛跟踪功能以实现变焦。
25.微信图片_20220324145417
26.用于AR/VR头显的眼球追踪系统需要保证低功耗，从而延长电池寿命并减少发热。同时还需要支持高采样率，例如在用户认证场景下，采样率需要高达1kHz。
27.微信图片_20220324145420
28.目前，市场上许多视频眼睛跟踪系统都是基于瞳孔角膜反射（PCCR）的原理。通常，红外光照射在眼球上，通过捕捉角膜上镜子反射的光的位置/角度来估计角膜的中心位置和瞳孔的位置（黑色椭圆形）。然后，通过瞳孔中心和角膜中心之间的距离来计算注视点的方向。
29.相比之下，Meta的方案更加节能，每个LED的功耗约为5mW，可以在低功率下实现亚像素精度。如果将广角LED更换为对准眼球的位置，性能将进一步提高。事件摄像机的功耗约为10mW，整个传感器的功耗约为35mW。同时，事件摄像头的采样率可以达到1kHz，可以捕捉眼球的细微变化。参考资料:scontent
网友评论