文章来源:“爱光学”公众号 背景介绍 视觉测量是一种广泛应用于工业生产、交通运输等领域的非接触、高精度、可靠的三维(3D)空间测量技术。随着加工测量一体化、自动驾驶等技术的快速发展,视觉测量的效率已经无法满足日益提升的需求。因此,降低视觉数据的规模与算法的复杂度,进而提升传感器的时间分辨率,成为了提升测量效率的必要途径。 那么,如何才能大幅提升传感器的时间分辨率呢?事件相机是一种仿生的动态视觉传感器(DVS),它可以感知光强的变化,与传统图像传感器相比,具有更高的时间分辨率(最高可达1 μs,等效于数万Hz的普通相机)。此外,事件相机的动态响应范围可达120 dB,并且由于仅输出光强的变化,冗余且不发生变化的背景信息也将大大减少。 西安交通大学杨树明教授团队特邀综述先分类介绍了现有普通相机的视觉测量应用,再阐述如何将现有方法转化为基于事件相机的动态测量系统,并对比两种相机在不同应用中的优劣;最后,对基于事件相机的视觉测量方法进行总结,并根据其优势进行展望。 关键技术进展 事件相机是一个感受光强变化的传感器,其芯片电路图如图1(a)所示,以单位时间∆t 内像素点xk的光强I对数信号变化量为L=㏒(I)评价标准,设计阈值,变化量大于阈值时输出正事件,小于输出负事件。DVS的输出电路如图1(b)所示,像素阵列触发并输出事件,计数器独立运行并提供μs级的时间戳,通过USB接口芯片存储并传输至上位机。事件相机的USB芯片采用FIFO(first in first out)协议,按照事件的触发顺序逐个输出事件。
图1 事件相机原理。(a) DVS芯片电路图;(b)DVS输出电路图 事件相机的标定模型与小孔成像完全一致,因此可以直接采用传统相机的数学模型和非线性优化算法,但事件相机难以获取准确标志点的亚像素坐标。静止的标定物无法产生光强变化,进而无法触发事件,但标定物在视场中产生光强变化又是事件相机标定的必要条件。针对此问题,学者们提出了两种实验方法。 第一种方法为采用发光体作为标志点。如图2(a)所示,该方法将图样变化时极性与光强变化一致的事件转化为二维直方图,在直方图上提取圆形标志点,能够减少不同极性事件引起的噪声。 第二种方法是用事件相机拍摄持续运动的标定板,大量事件在标志点的边缘处产生,进而构建事件帧和提取标志点坐标。由于较短时间内的事件对噪声敏感,因此无法用于标志点计算,基于衰减方程的累积事件帧转化法能够将一段时间内的事件转化为“等效”灰度图,如图2(b)所示。该团队提出的一种网格不完整的标志点图样提取方法,能够提取运动过程中超过90%的事件帧,得到图样中各个标志点坐标与时间的关系。根据图2(c)所示的标志点轨迹曲线,设计事件帧图像的评价标准,选择可靠性高的事件帧进行标定,能够有效提升标定精度。
图2 事件相机标定方法。(a) 闪光法图样变化流程;(b) 运动法的示例事件帧;(c) 标志点的轨迹 传统的线结构光扫描速度受相机帧率、运动机构等限制,用于测量的激光条纹图都需要一个位置参数来进行点云拼接。如图3(a)所示,将事件相机引入该系统能够大幅提升图像的测量效率,输出的每个事件都有确切的时间戳,结合线性滑台即可确定每一个事件触发时所在的确切位置。将事件转化得到的如图3(b)所示的事件帧,光条质量较差,这是光条中心提取算法精度较低导致的,设计出能够充分利用事件流信息的光条中心提取算法是亟需解决的问题。 如图3(c)所示,基于格雷码的条纹投影能够检测每个像素点的相位值,而且图样只存在二值信息,便于事件相机获取光强变化信号,是进一步改善事件相机面结构光的重要途径。事件相机可通过优化事件数据流的处理算法,提升测量精度和测量效率,进而开发更加可靠的实时结构光测量系统。 事件相机能够动态地检测光强的变化,记录每一次光强变化的时间戳,更加适用于自动对焦技术。如图3(d)所示,聚焦变化测量法通过探测对焦点所在位置的感知深度信息,开发融合事件相机的聚焦合成系统,能够大幅提升扫描速度,改善测量效率。
图3 事件相机结构光系统。(a)事件相机线结构光系统;(b)光条事件帧;(c)事件相机面结构光系统;(d)聚焦合成系统 总结展望 事件相机是近10年来新发明的DVS,其像素单元的设计与普通相机有本质差异,进而输出的数据从二维图像转化成了包含位置、时间和极性的事件流。目前重点关注事件相机时间分辨率极高的特性,针对预处理较少的2D目标实时追踪领域进行了充分地研究,并且设计了图像还原算法,致力于代替数据量大、功耗大的高速相机。 上海芬创信息科技有限公司成立于2004年5月,是一家专注于精密光学应用领域产品开发与应用的高科技企业。芬创科技的产品线丰富多样,涵盖了精密光学元器件、光学镜架、精密手/自动调整平台、各类激光系统应用产品、各类防振平台及主动防振系统等。此外,芬创科技还通过芬创商城,在线销售各类光学元件及光机电产品,并提供一对一的售后技术支持,确保客户在使用过程中能够得到及时、专业的帮助。 |