CN110176028B - 一种基于事件相机的异步角点检测方法 - Google Patents

Abstract

本发明公开了一种基于事件相机的异步角点检测方法，技术方案是先构建由事件过滤器、SAE维护模块、候选事件角点选择模块、候选事件角点细化模块组成的异步事件角点检测***；事件过滤器将异步事件流中的冗余事件过滤，得到将非冗余事件；SAE维护模块根据非冗余事件更新全局SAE结构，并在更新后的全局SAE结构中提取局部SAE结构；候选事件角点选择模块基于局部SAE结构在非冗余事件中选择候选事件角点；候选事件角点细化模块基于局部SAE结构计算非冗余事件的事件角点候选值，据此判定非冗余事件是否为事件角点；异步事件角点追踪器追踪事件角点，得到事件角点的运动轨迹。采用本发明可以提高异步角点检测的准确性和速度，获得的异步事件角点运动轨迹准确。

Description

一种基于事件相机的异步角点检测方法

技术领域

本发明涉及一种基于视觉的同时定位与建图领域，尤其涉及一种基于事件相机的异步角点检测方法。

背景技术

事件相机是一种新型的神经拟态视觉传感器，又称动态视觉传感器。它是基于事件驱动的方式捕捉场景中的动态变化，响应像素级的亮度变化，即每个像素独立地感知亮度变化，亮度变化对数值超过一定阈值(事件相机设备预设的值)就会触发一个事件，每个事件由包含像素坐标x、y、时间戳t(触发事件的时间标记)、极性p四个元素的元组表示，即[x,y,t,p]，其中极性表示亮度的增加或降低。因此，事件相机成像平面上所有的像素独立地响应亮度变化，仅当亮度变化超过一定阈值时才会触发事件，事件相机成像平面上所有的像素触发的一个个事件形成异步的事件流，而不像传统相机以固定的频率输出图像帧序列。此外，事件相机还具有低延迟、低功耗、高动态范围、高时间分辨率等优点，越来越受到业内外人士的关注与支持。

角点是图像很重要的特征，它是指物体轮廓两条或多条边的相交处。对于事件相机而言，由物体轮廓中的角点触发的事件，被称为事件角点，由于事件相机的输出数据是异步的事件流，因此从异步事件流中检测角点的方法，被称为异步角点检测方法。角点特征检测是同时定位与建图***中实现视觉里程计等高层次任务的基础，因此对基于事件相机的异步角点检测问题展开研究是十分必要的。

目前，研究者们提出了多种基于事件相机的异步角点检测方法。国际智能机器人与***大会(IROS 2016)上发表的文章《Fast event-based Harris corner detectionexploiting the advantages of event-driven cameras》(《基于事件相机的快速Harris角点检测》)提出eHarris方法，在英国机器视觉大会(BMVC 2017)上发表的文章《FastEvent-based Corner Detection》(《基于事件相机的快速角点检测》)提出eFAST方法，机器人和自动化报(RAL 2018)上发表的文章《Asynchronous Corner Detection and Trackingfor Event Cameras in Real Time》(《基于事件相机的实时、异步角点检测与追踪》)提出Arc*方法，该方法提出了一种事件过滤器，过滤冗余事件，并将事件过滤器应用到eHarris、eFAST方法，得到eHarris*、eFAST*方法。其中过滤冗余事件的具体方法是：对同一像素位置短时间内触发的事件进行约束，约束方法是设定一个时间窗口阈值T，T一般设置为50毫秒，从上一个选定的非冗余事件开始，T时间窗口内的事件都被剔除，被剔除的事件即为冗余事件。上述角点检测方法都是基于Surfaceof Active Event(SAE，即活跃事件表面)结构实现，SAE结构保存每个像素坐标处触发的最新的事件的时间戳，最初由2014年发表于IEEE神经网络与学习***期刊的文章《Event-Based Visual Flow》(《基于事件相机的光流》)提出。

异步角点检测方法充分发挥了事件相机的异步、低延迟特性。但是，现有的方法中Arc*方法虽然速度快，但准确性方面表现不理想；eHarris*方法准确性较好，但速度慢。

为了确保后续异步追踪过程的正确执行，需要快速、准确地获得异步角点数据，这与角点追踪轨迹的准确性密切相关。因此，如何能够利用事件相机的异步、低延迟特性，实现鲁棒、精确、快速、实时、异步的角点检测，适应高速运动、高动态范围场景，从而保证基于特征的视觉同时定位与建图***的鲁棒性(即对复杂环境的适应能力)，成为本领域研究人员亟需解决的技术问题。

发明内容

本发明要解决的技术问题是提供一种基于事件相机的异步角点检测方法，将Arc*、eHarris*两种方法相结合，在事件相机输出的异步事件流中进行角点检测，得到异步事件角点，本发明既能提高检测出的事件角点的准确性，又能提高事件角点的检测速度。

本发明包括以下步骤：

第一步，构建异步事件角点检测***。该***由事件过滤器、SAE维护模块、候选事件角点选择模块、候选事件角点细化模块组成。事件过滤器与事件相机、SAE维护模块、候选事件角点选择模块相连，事件过滤器从事件相机接收异步事件流，过滤掉冗余事件，将非冗余事件发送给SAE维护模块和候选事件角点选择模块；SAE维护模块与事件过滤器、候选事件角点选择模块、候选事件角点细化模块相连，SAE维护模块从事件过滤器接收非冗余事件，更新全局SAE结构，并在更新后的全局SAE结构中提取局部SAE结构，将局部SAE结构发送给候选事件角点选择模块和候选事件角点细化模块；候选事件角点选择模块与事件过滤器、SAE维护模块、候选事件角点细化模块相连，候选事件角点选择模块从事件过滤器接收非冗余事件，从SAE维护模块接收局部SAE结构，在非冗余事件中选择候选事件角点，将候选事件角点发送到候选事件角点细化模块；候选事件角点细化模块与SAE维护模块、候选事件角点选择模块相连，并外接异步事件角点追踪器，候选事件角点细化模块从候选角点选择模块接收候选事件角点，从SAE维护模块接收局部SAE结构，计算候选事件角点的事件角点候选值，选定事件角点候选值大于阈值的候选事件角点为事件角点，将事件角点发送给异步事件角点追踪器。异步事件角点追踪器是采用异步事件角点追踪方法追踪事件角点，获取事件角点运动轨迹的软件。

第二步：事件过滤器从事件相机接收异步事件流，将异步事件流中的冗余事件过滤掉，将非冗余事件发送给SAE维护模块和候选事件角点选择模块。所述事件过滤器采用机器人和自动化学报(RAL 2018)上发表的文章《Asynchronous Corner Detection andTracking for Event Cameras in Real Time》即《基于事件相机的实时、异步角点检测与追踪》第3178页-第3179页提出的事件过滤器。过滤冗余事件的具体方法是：对同一像素位置在时间窗口阈值T内触发的事件进行约束，T的取值范围为30毫秒～80毫秒，从上一个选定的非冗余事件开始，T内的事件都被剔除，被剔除的事件即为冗余事件。

具体步骤为：

2.1初始化i＝0；

2.2事件过滤器判定是否从事件相机有事件输入，若无事件输入，转第七步；若有事件输入，则事件过滤器从事件相机接收一个事件，记为事件E_i，且E_i＝[x_i,y_i,t_i,p_i]，x_i、y_i为E_i的像素坐标，t_i为E_i的时间戳，p_i为E_i的极性；

2.3如果i＝0即E_i是第一个到达的事件，或E_i不是第一个到达的事件但E_i的时间戳t_i与上一个非冗余事件E_i-1的时间戳t_i-1满足t_i-t_i-1≥T，则将E_i作为非冗余事件发送到SAE维护模块和候选事件角点选择模块，转第三步；如果E_i不是第一个到达的事件且E_i的时间戳t_i与上一个非冗余事件E_i-1的时间戳t_i-1满足t_i-t_i-1＜T，则将E_i作为冗余事件剔除，转第2.2步由事件过滤器接收下一个事件。

第三步：SAE维护模块从事件过滤器接收E_i，更新全局SAE结构，并在更新后的全局SAE结构中提取局部SAE结构，将局部SAE结构发送给候选事件角点选择模块和候选事件角点细化模块。

具体步骤为：

3.1SAE维护模块接收E_i，E_i＝[x_i,y_i,t_i,p_i]；

3.2使用E_i的时间戳t_i更新全局SAE结构，方法是：SAE维护模块将t_i保存在全局SAE结构中与E_i的像素坐标对应的位置处，即令S(a,b)＝t_i，其中a＝x_i，b＝y_i。所述S(a,b)为全局SAE结构S的第a行、第b列元素，全局SAE结构为二维数组，S的行、列数分别为height、width，其中height、width分别为事件相机成像平面的高度值(一般为180)、宽度值(一般为240)，即二维数组的元素个数与事件相机成像平面的像素个数相同，即height×width，并且S中的元素位置(a,b)(即二维数组S的第a行、第b列元素)与事件相机成像平面相应的一个像素坐标(x,y)一一对应。S的元素S(a,b)保存的数据是在事件相机成像平面上对应的像素坐标(x,y)(0≤a≤height-1，0≤b≤width-1，0≤x≤height-1，0≤y≤width-1)处最新触发的事件的时间戳；

3.3在更新后的全局SAE结构S中提取事件E_i的局部SAE结构LS_i，方法是：以E_i的像素坐标(x_i,y_i)对应的位置为中心，选择S(a,b)(a＝x_i，b＝y_i)周围9×9元素大小的局部邻域作为E_i的局部SAE结构LS_i，LS_i同样是二维数组结构，每个元素保存的数据为事件的时间戳，对于0≤m_i≤8且0≤n_i≤8，令LS_i(m_i,n_i)＝S(a+m_i-4,b+n_i-4)，m_i、n_i分别表示LS_i的第m_i行、第n_i列。因此，LS_i中保存的是成像平面上一个9×9像素大小邻域内的所有像素位置最新触发的事件的时间戳，9×9像素大小的局部邻域是以E_i的像素坐标(x_i,y_i)为中心的局部邻域；

3.4将LS_i发送给候选事件角点选择模块和候选事件角点细化模块。

第四步：候选事件角点选择模块从事件过滤器接收E_i，从SAE维护模块接收LS_i，在E_i中选择候选事件角点，将候选事件角点发送到候选事件角点细化模块。

具体步骤为：

4.1从事件过滤器接收E_i，从SAE维护模块接收LS_i；

4.2基于LS_i，采用Arc*方法判断E_i是否为候选事件角点，判断过程为：

4.2.1在LS_i上以E_i的像素坐标(x_i,y_i)对应的位置为中心，定义半径分别为3、4个元素的同心圆

4.2.2比较

上所有元素保存的时间戳，找到保存最大时间戳的元素，令此元素为P_i，以P_i为起点，找到

上的一个连续元素段L_i，满足L_i中每个元素保存的时间戳大于

上L_i以外所有元素保存的时间戳；或者，令

上L_i以外的元素组成的元素段为L_i ^*，满足L_i ^*上保存的时间戳小于

上L_i ^*以外所有元素保存的时间戳，L_i或L_i ^*的长度要求在3～6个元素范围内；

4.2.3比较

上所有元素保存的时间戳，找到保存最大时间戳的元素，令此元素为PP_i，以PP_i为起点，找到

上的一个连续元素段LL_i，满足LL_i中每个元素保存的时间戳大于

上LL_i以外所有元素保存的时间戳；或者，令

上LL_i以外的元素组成的元素段为LL_i ^*，满足LL_i ^*上保存的时间戳小于

上LL_i ^*以外所有元素保存的时间戳，LL_i或LL_i ^*的长度要求在4～8个元素范围内；

4.2.4如果在

在找到了满足条件的L_i或L_i ^*，同时在

上找到了满足条件的LL_i或LL_i ^*，则判定E_i为候选事件角点，转第4.3步；否则，判定E_i为非候选事件角点，令i＝i+1，转第2.2步；

4.3将E_i发送到候选事件角点细化模块。

第五步：候选事件角点细化模块从候选角点选择模块接收E_i，从SAE维护模块接收LS_i，计算E_i的事件角点候选值，若事件角点候选值大于阈值，则E_i为事件角点。候选事件角点细化模块使用一种对候选事件角点细化的方法细化候选事件角点，选定事件角点。候选角点细化的方法借鉴eHarris*方法的思想，并对该方法进行了改进，改进的具体内容为：原有的eHarris*方法未使用全局SAE结构，而是以每个像素为中心，定义并维护一个9×9元素大小的局部SAE结构，当一个事件到达，需要更新以该事件像素坐标为中心的9×9像素大小领域内所有像素对应的局部SAE结构，因此，eHarris*方法需要维护多个局部SAE结构，增加了算法的复杂性。本发明采用仅维护一个全局SAE结构的方法，并且仅在判断某个事件是否为事件角点之前从全局SAE结构中提取该事件的局部SAE结构，不需要对局部SAE结构进行维护。

具体步骤为：

5.1候选事件角点细化模块从候选事件角点选择模块接收E_i，从SAE维护模块接收LS_i；

5.2将LS_i中的所有9×9＝81个元素位置保存的81个时间戳按升序排序，从排序结果中选出最大的25个时间戳，记录这25个时间戳在LS_i中对应的元素，并将第j(1≤j≤25)个时间戳在LS_i中对应的元素记为(m_i ^j,n_i ^j)，其中m_i ^j表示第j个时间戳在LS_i中对应的元素的竖直方向坐标、n_i ^j表示第j个时间戳在LS_i中对应的元素的水平方向坐标，。定义一个9×9像素大小的二进制图像块P_i，P_i的像素坐标(g_i,h_i)(g_i、h_i分别为P_i竖直、水平方向坐标，且0≤g_i≤8，0≤h_i≤8)与LS_i中的元素位置(m_i,n_i)(即LS_i的第m_i行、第n_i列元素，且m_i＝g_i，n_i＝h_i)一一对应。P_i每个像素位置保存的值为1或0，P_i中与LS_i中选取出的25个最大时间戳对应的位置赋值为1，其他位置赋值为0，即对于0≤g_i≤8且0≤h_i≤8，令

5.3使用P_i计算E_i的事件角点候选值，如公式(1)所示，定义2×2大小的矩阵M_i，并通过矩阵M_i采用公式(2)计算候选事件角点的事件角点候选值Score_i：

其中，det(M_i)指求取矩阵M_i的行列式(即M_i的主对角线上各元素之积与次对角线上各元素之积的差，即A_iB_i-C_i ²)，trace(M_i)是指求取矩阵M_i的迹(即矩阵M_i主对角线上各个元素的总和，A_i+B_i)，α为常数，α＝0.04，

是矩阵M_i的两个特征值，其中：

其中，

分别是二进制图像块P_i竖直、水平方向的偏导数(即亮度值沿竖直、水平方向的变化率)，w(g_i,h_i)是标准差σ＝1的二维高斯加权函数，具体为

g_i、h_i分别为二进制图像块P_i竖直、水平方向的坐标值；

5.4判断E_i的事件角点候选值Score_i是否大于阈值Score_threshold(Score_threshold一般为8，可根据实验效果调整)，若满足，则判定E_i为事件角点，将E_i发送到异步事件角点追踪器，转第六步；否则判定E_i为非事件角点，令i＝i+1，转第2.2步。

第六步：异步事件角点追踪器采用异步事件角点追踪方法追踪E_i，获取E_i的运动轨迹。异步事件角点追踪方法采用发表于机器人和自动化报(RAL 2018)上的文章《Asynchronous Corner Detection and Tracking for Event Cameras in Real Time》(《基于事件相机的实时、异步角点检测与追踪》)第3177页-第3184页所述的异步事件角点追踪方法。

具体步骤为：

6.1异步事件角点追踪器从候选事件角点细化模块接收E_i；

6.2异步事件角点追踪器追踪E_i。以E_i像素坐标(x_i,y_i)为中心，选定事件相机成像平面上d_conn×d_conn像素大小的局部邻域(d_conn的取值范围为4～6)，将局部邻域内的所有像素在过去Δt_max(Δt_max的取值范围为0.1秒～0.5秒)时间内触发的事件角点记为集合SE_i，在SE_i中找到像素位置与E_i的像素位置最近的事件角点

如果有多个相同最近距离的事件角点，则选择时间戳最大的事件角点作为

然后将E_i与

关联，即将E_i划分到与

所处的同一运动轨迹上；

6.3令i＝i+1，转第2.2步。

第七步：将异步事件角点的运动轨迹输出，结束。

采用本发明可以达到以下技术效果：

1.本发明提供一种基于事件相机的异步角点检测方法，能够以异步方式(即每到达一个事件，就可以判断该事件是否为事件角点，而不会有延迟)处理事件相机输出的异步事件数据流，进行角点检测，从而得到异步事件角点流，实现了相对快速、准确的效果，并且可以将异步事件角点应用于异步事件角点追踪器，获取异步事件角点的运动轨迹。

2.本发明能够充分利用事件相机的异步、低延迟特性，能够克服传统相机难以适应高速运动和高动态范围的场景的问题，从而为现有同时定位与建图***在类似复杂场景下的鲁棒性问题提供一种新的研究思路(现有同时定位与建图***在高速运动、高动态范围等复杂场景下容易失效，即鲁棒性较差，目前还没有较好的应对方法，只能假设***所处场景是静态、光照不变的。事件相机的异步、低延迟特性使其能够很好地适应高速运动、高动态范围等复杂场景，因此，这种相机在同时定位与建图***的研究中具备很好的应用潜力)，为搭建完整的视觉里程计***及同时定位与建图***提供支撑。

附图说明

图1为本发明第一步构建的异步事件角点检测***的逻辑结构图；

图2为本发明总体流程图；

图3为本发明第四步用于候选事件角点选择的内、外圆二维示意图；

图4为本发明第五步9×9像素大小的二进制图像块示意图；

图5为本发明与其他异步角点检测方法的准确率对比示意图；

图6为本发明与其他异步角点检测方法的检测速度对比示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明的技术方案，下面结合附图对本发明作进一步的详细说明。

如图2所示，本发明包括以下步骤：

第一步，构建如图1所示的异步事件角点检测***，该***由事件过滤器、SAE维护模块、候选事件角点选择模块、候选事件角点细化模块组成。事件过滤器与事件相机、SAE维护模块、候选事件角点选择模块相连，事件过滤器从事件相机接收事件，过滤掉冗余事件，将非冗余事件发送给SAE维护模块和候选事件角点选择模块；SAE维护模块与事件过滤器、候选事件角点选择模块、候选事件角点细化模块相连，SAE维护模块从事件过滤器接收非冗余事件，更新全局SAE结构，并在更新后的全局SAE结构中提取局部SAE结构，将局部SAE结构发送给候选事件角点选择模块和候选事件角点细化模块；候选事件角点选择模块与事件过滤器、SAE维护模块、候选事件角点细化模块相连，候选事件角点选择模块从事件过滤器接收非冗余事件，从SAE维护模块接收局部SAE结构，在非冗余事件中选择候选事件角点，将候选事件角点发送到候选事件角点细化模块；候选事件角点细化模块与SAE维护模块、候选事件角点选择模块相连，并外接异步事件角点追踪器，候选事件角点细化模块从候选角点选择模块接收候选事件角点，从SAE维护模块接收局部SAE结构，计算候选事件角点的事件角点候选值，选定事件角点候选值大于阈值的候选事件角点为事件角点。

第二步，事件过滤器从事件相机接收事件，将异步事件流中的冗余事件过滤掉，将非冗余事件发送给SAE维护模块和候选事件角点选择模块。过滤冗余事件的具体方法是：对同一像素位置在时间窗口阈值T内触发的事件进行约束，T的取值范围为30毫秒～80毫秒，从上一个选定的非冗余事件开始，T内的事件都被剔除，被剔除的事件即为冗余事件。

具体步骤为：

2.1初始化i＝0；

2.2事件过滤器判定是否从事件相机有事件输入，若无事件输入，转第七步；若有事件输入，则事件过滤器从事件相机接收一个事件，记为事件E_i，且E_i＝[x_i,y_i,t_i,p_i]，x_i、y_i为E_i的像素坐标，t_i为E_i的时间戳，p_i为E_i的极性；

2.3如果i＝0即E_i是第一个到达的事件，或E_i不是第一个到达的事件但E_i的时间戳t_i与上一个非冗余事件E_i-1的时间戳t_i-1满足t_i-t_i-1≥T，则将事件E_i作为非冗余事件发送到SAE维护模块和候选事件角点选择模块，转第三步；如果E_i不是第一个到达的事件且E_i的时间戳t_i与上一个非冗余事件E_i-1的时间戳t_i-1满足t_i-t_i-1＜T，则将事件E_i作为冗余事件剔除，转第2.2步由事件过滤器接收下一个事件。

第三步：SAE维护模块从事件过滤器接收非冗余事件E_i，更新全局SAE结构，并在更新后的全局SAE结构中提取局部SAE结构，将局部SAE结构发送给候选事件角点选择模块和候选事件角点细化模块。

具体步骤为：

3.1SAE维护模块接收E_i，E_i＝[x_i,y_i,t_i,p_i]；

3.2使用E_i的时间戳t_i更新全局SAE结构，方法是：SAE维护模块将t_i保存在全局SAE结构中与E_i的像素坐标对应的位置处，即令S(a,b)＝t_i，其中a＝x_i，b＝y_i。所述S(a,b)为全局SAE结构S的第a行、第b列元素，全局SAE结构为二维数组，S的行、列数分别为height、width，其中height、width分别为事件相机成像平面的高度值(为180)、宽度值(为240)，即二维数组的元素个数与事件相机成像平面的像素个数相同，即height×width，并且S中的元素位置(a,b)(即二维数组S的第a行、第b列元素)与事件相机成像平面相应的一个像素坐标(x,y)一一对应。S的元素S(a,b)保存的数据是在事件相机成像平面上对应的像素坐标(x,y)(0≤a≤height-1，0≤b≤width-1，0≤x≤height-1，0≤y≤width-1)处最新触发的事件的时间戳；

3.3在更新后的全局SAE结构S中提取事件E_i的局部SAE结构LS_i，方法是：以E_i的像素坐标(x_i,y_i)对应的位置为中心，选择S(a,b)(a＝x_i，b＝y_i)周围9×9元素大小的局部邻域作为E_i的局部SAE结构LS_i，LS_i同样是二维数组结构，每个元素保存的数据为事件的时间戳，对于0≤m_i≤8且0≤n_i≤8，令LS_i(m_i,n_i)＝S(a+m_i-4,b+n_i-4)，m_i、n_i分别表示LS_i的第m_i行、第n_i列。因此，LS_i中保存的是成像平面上一个9×9像素大小邻域内的所有像素位置最新触发的事件的时间戳，9×9像素大小的局部邻域是以E_i的像素坐标(x_i,y_i)为中心的局部邻域；

3.4将LS_i发送给候选事件角点选择模块和候选事件角点细化模块。

第四步：候选事件角点选择模块从事件过滤器接收非冗余事件E_i，从SAE维护模块接收局部SAE结构LS_i，在非冗余事件E_i中选择候选事件角点，将候选事件角点发送到候选事件角点细化模块。

具体步骤为：

4.1从事件过滤器接收非冗余事件E_i，从SAE维护模块接收LS_i；

4.2基于LS_i，采用Arc*方法判断E_i是否为候选事件角点，判断过程为：

4.2.1如图3所示，在LS_i上以E_i的像素坐标(x_i,y_i)对应的位置为中心(图中黑色实心方块(一个方块表示一个像素)的位置)，定义半径分别为3、4个元素的同心圆

(图中点状背景标记的方块组成)、

(图中竖线背景标记的方块组成)；

4.2.2比较

上所有元素保存的时间戳，找到保存最大时间戳的元素，令此元素为P_i，以P_i为起点，找到

上的一个连续元素段L_i，满足L_i中每个元素保存的时间戳大于

上L_i以外所有元素保存的时间戳；或者，令

上L_i以外的元素组成的元素段为L_i ^*，满足L_i ^*上保存的时间戳小于

上L_i ^*以外所有元素保存的时间戳，L_i或L_i ^*的长度要求在3～6个元素范围内；如图3中，L_i(由实线连接的点状方块组成)的长度为5，L_i ^*(由虚线连接的点状方块组成)的长度为11。

4.2.3比较

上所有元素保存的时间戳，找到保存最大时间戳的元素，令此元素为PP_i，以PP_i为起点，找到

上的一个连续元素段LL_i，满足LL_i中每个元素保存的时间戳大于

上LL_i以外所有元素保存的时间戳；或者，令

上LL_i以外的元素组成的元素段为LL_i ^*，满足LL_i ^*上保存的时间戳小于

上LL_i ^*以外所有元素保存的时间戳，LL_i或LL_i ^*的长度范围要求为4～8个元素；如图3中，LL_i(由实线连接的竖线方块组成)的长度为7，LL_i ^*(由虚线连接的竖线方块组成)的长度为13。

4.2.4如果在

在找到了满足条件的L_i或L_i ^*，同时在

上找到了满足条件的LL_i或LL_i ^*，则判定E_i为候选事件角点，转第4.3步；否则，判定E_i为非候选事件角点，令i＝i+1，转第2.2步；

4.3将E_i发送到候选事件角点细化模块。

第五步：候选事件角点细化模块从候选角点选择模块接收候选事件角点E_i，从SAE维护模块接收局部SAE结构LS_i，计算E_i的事件角点候选值，若事件角点候选值大于阈值，则E_i为事件角点。

具体步骤为：

5.1候选事件角点细化模块从候选事件角点选择模块接收E_i，从SAE维护模块接收LS_i；

5.2将LS_i中的所有9×9＝81个元素位置保存的81个时间戳按升序排序，从排序结果中选出最大的25个时间戳，记录这25个时间戳在LS_i中对应的元素，并将第j(1≤j≤25)个时间戳在LS_i中对应的元素记为(m_i ^j,n_i ^j)。如图4所示，定义一个9×9像素大小的二进制图像块P_i，P_i的每一个像素坐标(g_i,h_i)(g_i、h_i分别为P_i竖直、水平方向坐标，且0≤g_i≤8，0≤h_i≤8)与LS_i中的一个元素位置(m_i,n_i)(即LS_i的第m_i行、第n_i列元素，且m_i＝g_i，n_i＝h_i)一一对应。P_i每个像素位置保存的值为1或0，P_i中与LS_i中选取出的25个最大时间戳对应的位置赋值为1，其他位置赋值为0，即对于0≤g_i≤8且0≤h_i≤8，令

5.3使用P_i计算E_i的事件角点候选值，如公式(6)所示，定义2×2大小的矩阵M_i，并通过矩阵M_i采用公式(7)计算候选事件角点的事件角点候选值Score_i：

其中，det(M_i)指求取矩阵M_i的行列式(即M_i的主对角线上各元素之积与次对角线上各元素之积的差，A_iB_i-C_i ²)，trace(M_i)是指求取矩阵M_i的迹(即矩阵M_i主对角线上各个元素的总和，A_i+B_i)，α＝0.04，

是矩阵M_i的两个特征值，其中：

其中，

分别是二进制图像块P_i竖直、水平方向的偏导数(即亮度值沿竖直、水平方向的变化率)，w(g_i,h_i)是标准差σ＝1的二维高斯加权函数，具体为

g_i、h_i分别为二进制图像块P_i竖直、水平方向的坐标值；

5.4判断E_i的事件角点候选值Score_i是否大于阈值Score_threshold(Score_threshold为8)，若满足，则判定E_i为事件角点，将E_i发送到异步事件角点追踪器，转第六步；否则判定E_i为非事件角点，令i＝i+1，转第2.2步。

第六步：异步事件角点追踪器采用异步事件角点追踪方法追踪事件角点E_i，获取E_i的运动轨迹。

具体步骤为：

6.1异步事件角点追踪器从候选事件角点细化模块接收E_i；

6.2异步事件角点追踪器追踪E_i。以E_i像素坐标(x_i,y_i)为中心，选定事件相机成像平面上d_conn×d_conn像素大小的局部邻域(d_conn＝5)，将局部邻域内的所有像素在过去Δt_max(设为0.1秒)时间内触发的事件角点记为集合SE_i，在SE_i中找到像素位置与E_i的像素位置最近的事件角点

如果有多个相同最近距离的事件角点，则选择时间戳最大的事件角点作为

然后将E_i与

关联，即将E_i划分到与

所处的同一运动轨迹上；

6.3令i＝i+1，转第2.2步。

第七步：将异步事件角点的运动轨迹输出，结束。

本发明(简称FA-Harris)与其他异步角点检测方法进行对比，实验设备为笔记本电脑，搭载因特尔i7-7700HQ处理器，处理器频率为2.80GHz，RAM大小为16GB，实验***为乌班图16.04版本。首先基于公开的事件相机数据集对本发明进行测试，该数据集发表于2017年国际机器人研究杂志第142页-第149页的文章《The Event-Camera Dataset andSimulator:Event-based Data for Pose Estimation,Visual Odometry,and SLAM》，即《事件相机数据集与模拟器：用于位姿估计、视觉里程计和同时定位与建图的事件相机数据》，是测试异步角点检测方法最常用的数据集。该数据集是使用事件相机在多种不同的场景下采集到的数据，常用的四种场景为shapes(一面墙包含多种不同形状的图案)、dynamic(办公室内包含办公桌等其他物品和一个处于非静止状态的人)、poster(一面包含一个场景比较复杂的图案)、boxes(房间内放置多种大小不同的箱子及其他物品)。测试四种不同的异步角点检测方法在上述四种场景下的准确率(百分比表示)，对比结果如图5所示。通过图5可以看出，本发明在准确率方面优于其他方法，检测异步事件角点的准确性效果更好。

对比不同方法的检测速度，即每个事件的处理时间，单位为微秒，对比结果如图6所示。从图6中的对比结果来看，本发明在检测速度上优于eHarris*方法，检测速度是eHarris*的8倍，但比Arc*和eFAST*方法稍慢。综上所述，本发明能够实现基于事件相机的异步角点检测，相比于其他方法在检测速度和准确性性能两方面作了折中，即在准确性方面有了提升，在检测速度方面比Arc*、eFAST*两种方法稍慢，但相比eHarris*方法检测速度提升了8倍。

以上对本发明所提供的一种基于事件相机的异步角点检测方法进行了详细介绍。本文对本发明的原理及实施方式进行了阐述，以上说明用于帮助理解本发明的核心思想。应当指出，对于本技术领域的普通研究人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (6)

1.一种基于事件相机的异步角点检测方法，其特征在于包括以下步骤：

第一步，构建异步事件角点检测***，异步事件角点检测***由事件过滤器、SAE维护模块、候选事件角点选择模块、候选事件角点细化模块组成；事件过滤器与事件相机、SAE维护模块、候选事件角点选择模块相连，事件过滤器从事件相机接收异步事件流，过滤掉冗余事件，将非冗余事件发送给SAE维护模块和候选事件角点选择模块；SAE维护模块与事件过滤器、候选事件角点选择模块、候选事件角点细化模块相连，SAE维护模块从事件过滤器接收非冗余事件，更新全局SAE结构，并在更新后的全局SAE结构中提取局部SAE结构，将局部SAE结构发送给候选事件角点选择模块和候选事件角点细化模块；候选事件角点选择模块与事件过滤器、SAE维护模块、候选事件角点细化模块相连，候选事件角点选择模块从事件过滤器接收非冗余事件，从SAE维护模块接收局部SAE结构，在非冗余事件中选择候选事件角点，将候选事件角点发送到候选事件角点细化模块；候选事件角点细化模块与SAE维护模块、候选事件角点选择模块相连，并外接异步事件角点追踪器，候选事件角点细化模块从候选角点选择模块接收候选事件角点，并外接异步事件角点追踪器，从SAE维护模块接收局部SAE结构，计算候选事件角点的事件角点候选值，选定事件角点候选值大于阈值的候选事件角点为事件角点，将事件角点发送给异步事件角点追踪器；

第二步：事件过滤器从事件相机接收异步事件流，将异步事件流中的冗余事件过滤掉，将非冗余事件发送给SAE维护模块和候选事件角点选择模块，方法是：

2.1初始化i＝0；

2.2事件过滤器判定是否从事件相机有事件输入，若无事件输入，转第七步；若有事件输入，则事件过滤器从事件相机接收一个事件，记为事件E_i，且E_i＝[x_i,y_i,t_i,p_i]，x_i、y_i为E_i的像素坐标，t_i为E_i的时间戳，p_i为E_i的极性；

2.3如果i＝0即E_i是第一个到达的事件，或E_i不是第一个到达的事件但E_i的时间戳t_i与上一个非冗余事件E_i-1的时间戳t_i-1满足t_i-t_i-1≥T，T的取值范围为30毫秒～80毫秒，则将E_i作为非冗余事件发送到SAE维护模块和候选事件角点选择模块，转第三步；如果E_i不是第一个到达的事件且E_i的时间戳t_i与上一个非冗余事件E_i-1的时间戳t_i-1满足t_i-t_i-1＜T，则将E_i作为冗余事件剔除，转第2.2步；

第三步：SAE维护模块从事件过滤器接收E_i，更新全局SAE结构，并在更新后的全局SAE结构中提取局部SAE结构，将局部SAE结构发送给候选事件角点选择模块和候选事件角点细化模块，方法为：

3.1SAE维护模块接收E_i，E_i＝[x_i,y_i,t_i,p_i]；

3.2使用E_i的时间戳t_i更新全局SAE结构，方法是：SAE维护模块将t_i保存在全局SAE结构中与E_i的像素坐标对应的位置处，即令S(a,b)＝t_i，其中a＝x_i，b＝y_i；所述S(a,b)为全局SAE结构S的第a行、第b列元素，全局SAE结构为二维数组，S的行、列数分别为height、width，其中height、width分别为事件相机成像平面的高度值、宽度值，即二维数组的元素个数与事件相机成像平面的像个数素相同，即height×width，并且S中的元素位置(a,b)即S的第a行、第b列元素与事件相机成像平面相应的一个像素坐标(x,y)一一对应；S的元素S(a,b)保存的数据是在事件相机成像平面上对应的像素坐标(x,y)处最新触发的事件的时间戳，0≤a≤height-1，0≤b≤width-1，0≤x≤height-1；

3.3在更新后的全局SAE结构S中提取事件E_i的局部SAE结构LS_i，方法是：以E_i的像素坐标(x_i,y_i)对应的位置为中心，选择S(a,b)周围9×9元素大小的局部邻域作为E_i的局部SAE结构LS_i，a＝x_i，b＝y_i，LS_i是二维数组结构，每个元素保存的数据为事件的时间戳，对于0≤m_i≤8且0≤n_i≤8，令LS_i(m_i,n_i)＝S(a+m_i-4,b+n_i-4)，m_i、n_i分别表示LS_i的第m_i行、第n_i列；

3.4将LS_i发送给候选事件角点选择模块和候选事件角点细化模块；

第四步：候选事件角点选择模块从事件过滤器接收E_i，从SAE维护模块接收LS_i，在E_i中选择候选事件角点，将候选事件角点发送到候选事件角点细化模块，方法为：

4.1从事件过滤器接收E_i，从SAE维护模块接收LS_i；

4.2基于LS_i，判断E_i是否为候选事件角点，判断过程为：

4.2.1在LS_i上以E_i的像素坐标(x_i,y_i)对应的位置为中心，定义半径分别为3、4个元素的同心圆

4.2.2比较

上所有元素保存的时间戳，找到保存最大时间戳的元素，令此元素为P_i，以P_i为起点，找到

上的一个连续元素段L_i，满足L_i中每个元素保存的时间戳大于

上L_i以外所有元素保存的时间戳；或者，令

上L_i以外的元素组成的元素段为L_i ^*，满足L_i ^*上保存的时间戳小于

上L_i ^*以外所有元素保存的时间戳；

4.2.3比较

上所有元素保存的时间戳，找到保存最大时间戳的元素，令此元素为PP_i，以PP_i为起点，找到

上的一个连续元素段LL_i，满足LL_i中每个元素保存的时间戳大于

上LL_i以外所有元素保存的时间戳；或者，令

上LL_i以外的元素组成的元素段为LL_i ^*，满足LL_i ^*上保存的时间戳小于

上LL_i ^*以外所有元素保存的时间戳；

4.2.4如果在

在找到了满足条件的L_i或L_i ^*，同时在

上找到了满足条件的LL_i或LL_i ^*，则判定E_i为候选事件角点，转第4.3步；否则，判定E_i为非候选事件角点，令i＝i+1，转第2.2步；

4.3将E_i发送到候选事件角点细化模块；

第五步：候选事件角点细化模块从候选角点选择模块接收E_i，从SAE维护模块接收LS_i，计算E_i的事件角点候选值，若事件角点候选值大于阈值，则E_i为事件角点，方法为：

5.1候选事件角点细化模块从候选事件角点选择模块接收E_i，从SAE维护模块接收LS_i；

5.2将LS_i中所有元素位置保存的81个时间戳按升序排序，从排序结果中选出最大的25个时间戳，记录这25个时间戳在LS_i中对应的元素，并将第j个时间戳在LS_i中对应的元素记为(m_i ^j,n_i ^j)，其中m_i ^j表示第j个时间戳在LS_i中对应的元素的竖直方向坐标、n_i ^j表示第j个时间戳在LS_i中对应的元素的水平方向坐标，1≤j≤25；定义一个9×9像素大小的二进制图像块P_i，P_i的像素坐标(g_i,h_i)与LS_i中的元素位置(m_i,n_i)一一对应，g_i、h_i分别为P_i竖直、水平方向坐标，且0≤g_i≤8，0≤h_i≤8，(m_i,n_i)指LS_i的第m_i行、第n_i列元素，m_i＝g_i，n_i＝h_i，P_i每个像素位置保存的值为1或0，P_i中与LS_i中选取出的25个最大时间戳对应的位置赋值为1，其他位置赋值为0；

5.3使用P_i计算E_i的事件角点候选值，按公式(1)定义2×2大小的矩阵M_i，并通过矩阵M_i采用公式(2)计算候选事件角点的事件角点候选值Score_i：

其中，det(M_i)指求取矩阵M_i的行列式即A_iB_i-C_i ²，trace(M_i)是指求取矩阵M_i的迹即A_i+B_i，α为常数，

是矩阵M_i的两个特征值，其中：

其中，

分别是二进制图像块P_i的亮度值沿竖直、水平方向的变化率，w(g_i,h_i)是标准差σ＝1的二维高斯加权函数，具体为

g_i、h_i分别为二进制图像块P_i竖直、水平方向的坐标值；

5.4判断E_i的事件角点候选值Score_i是否大于阈值Score_threshold，Score_threshold为正整数，若满足，则判定E_i为事件角点，将E_i发送到异步事件角点追踪器，转第六步；否则判定E_i为非事件角点，令i＝i+1，转第2.2步；

第六步：异步事件角点追踪器采用异步事件角点追踪方法追踪E_i，获取E_i的运动轨迹，方法为：

6.1异步事件角点追踪器从候选事件角点细化模块接收E_i；

6.2异步事件角点追踪器追踪E_i，以E_i像素坐标(x_i,y_i)为中心，选定事件相机成像平面上d_conn×d_conn像素大小的局部邻域，d_com的取值范围为4～6，将局部邻域内的所有像素在过去Δt_max时间内触发的事件角点记为集合SE_i，Δt_max的取值范围为0.1秒～0.5秒，在SE_i中找到像素位置与E_i的像素位置最近的事件角点

如果有多个相同最近距离的事件角点，则选择时间戳最大的事件角点作为

然后将E_i与

关联，即将E_i划分到与

所处的同一运动轨迹上；

6.3令i＝i+1，转第2.2步；

第七步：将异步事件角点的运动轨迹输出，结束。

2.如权利要求1所述的一种基于事件相机的异步角点检测方法，其特征在于第二步所述T为50毫秒。

3.如权利要求1所述的一种基于事件相机的异步角点检测方法，其特征在于第三步所述height为180、width为240。

4.如权利要求1所述的一种基于事件相机的异步角点检测方法，其特征在于第四步所述L_i或L_i ^*的长度要求在3～6个元素范围内；所述LL_i或LL_i ^*的长度要求在4～8个元素范围内。

5.如权利要求1所述的一种基于事件相机的异步角点检测方法，其特征在于第五步所述α＝0.04，Score_threshold为8。

6.如权利要求1所述的一种基于事件相机的异步角点检测方法，其特征在于第六步所述d_conn＝5，Δt_max设为0.1秒。

Images