CN113269683B - 一种基于自适应阈值的局部时空事件流滤波方法与*** - Google Patents

一种基于自适应阈值的局部时空事件流滤波方法与*** Download PDF

Info

Publication number
CN113269683B
CN113269683B CN202110435263.5A CN202110435263A CN113269683B CN 113269683 B CN113269683 B CN 113269683B CN 202110435263 A CN202110435263 A CN 202110435263A CN 113269683 B CN113269683 B CN 113269683B
Authority
CN
China
Prior art keywords
noise
event stream
event
window
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110435263.5A
Other languages
English (en)
Other versions
CN113269683A (zh
Inventor
史殿习
景罗希
徐化池
刘聪
苏雅倩文
金松昌
张珂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin (binhai) Intelligence Military-Civil Integration Innovation Center
National Defense Technology Innovation Institute PLA Academy of Military Science
Original Assignee
Tianjin (binhai) Intelligence Military-Civil Integration Innovation Center
National Defense Technology Innovation Institute PLA Academy of Military Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin (binhai) Intelligence Military-Civil Integration Innovation Center, National Defense Technology Innovation Institute PLA Academy of Military Science filed Critical Tianjin (binhai) Intelligence Military-Civil Integration Innovation Center
Priority to CN202110435263.5A priority Critical patent/CN113269683B/zh
Publication of CN113269683A publication Critical patent/CN113269683A/zh
Application granted granted Critical
Publication of CN113269683B publication Critical patent/CN113269683B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及滤波技术领域，具体而言，本申请涉及一种基于自适应阈值的局部时空事件流滤波方法与***。所述方法包括：分块读入步骤，接收异步事件流，以固定时间迭代读取事件流块；时空平面构建步骤，接收所述事件流块，以像素为单位，在时间维度上累计事件个数，计算像素活动值，构成二维时空平面；局部滑动窗口步骤，接收所述二维时空平面并在其上设置固定大小的局部窗口，计算每个滑动窗口的窗口标志值；噪音候选域选择步骤，接收所述窗口标志值计算噪音候选阈值，根据所述噪音候选阈值选择噪音候选域；噪音筛选步骤，对噪音事件标记且将其从事件流块中剔除，将过滤后的异步事件流输出。本方法与***能够有效地去除异步事件流中的噪音事件。

Description

一种基于自适应阈值的局部时空事件流滤波方法与***
技术领域
本申请涉及滤波技术领域，更为具体来说，本申请涉及一种基于自适应阈值的局部时空事件流滤波方法与***。
背景技术
传统相机在捕捉高速运动的物体时，存在运动模糊的问题。同时，传统相机动态范围较小，工作在极端光照条件下时，采集和呈现信息受限。动态视觉传感器的出现，弥补了传统相机的劣势。动态视觉传感器具有高时间分辨率、高动态范围、低延迟和低功耗等优点，为一些传统相机收到挑战的计算机视觉任务提供了新的解决方案。然而，在实际场景中，动态视觉传感器产生的大量噪音严重影响到其应用性能。同时，发展成熟的标准图像去噪算法无法直接应用于非结构化异步事件流，因此，需要针对事件设计专门的去噪方法。
随着动态视觉传感器硬件技术的不断发展，基于动态视觉传感器的视觉技术研究受到广泛关注。目前，研究者们提出了多种事件流滤波方法，主要包括：基于传统图像去噪的事件流滤波方法、基于空间的事件流滤波方法和基于时间的事件流滤波方法。
基于传统图像去噪的事件流滤波方法，常见的做法是：将3D事件流映射为2D图像帧，然后用传统的图像去噪方法进行去噪处理。但是这样的问题是，在这些方法中，从事件流到帧图像的映射是不可逆的，即，不能从去噪后的2D帧图像中恢复3D去噪事件流。这使得去噪后的事件流丢失特征，限制事件相机的后续应用。
基于空间的事件流滤波方法的原理是：利用事件的空间冗余，去除在空间上独立的事件点。常见的做法是：对于每个新到达的事件，检查8个相邻像素中，在过去T微秒内是否存在事件。若没有，则被判定为噪音，将其抛弃。此外，可将其推广至区分极性、区分范围、规定相邻事件个数等多个延伸中。此类方法运行速度快，对简单场景去噪效果好，但容易将小的、移动缓慢的或小体积物体产生的事件错误的滤除掉，同时，由于参照点过少，容易造成噪音累计。
基于时间的事件流滤波方法原理是：去除在时间上冗余的事件。常见的做法是，对于到达事件，仅当时间戳与该像素最近事件的事件戳差值大于阈值时，保留事件。此类方法能快速提取物体特征，但通常会过滤掉事件流中的绝大多数事件，使场景信息急剧减少。
因此，本申请提出一种改进的方法与***，以至少部分地解决上述技术问题。
发明内容
本发明技术方案脉络是：整合局部事件流信息，先后从空间和时间维度分析事件分布特性，判断事件的有效性；同时，应用自适应阈值机制适配不同环境，实现滤波器的广泛应用。最终，本发明在维持异步事件流数据特性的基础上，既有效去除场景中嘈杂的噪音信息，又保留描述物体线条的有效事件，达到提升异步事件流质量的目的，为基于事件流的视觉任务提供了有力的支撑。
为实现上述技术目的，本申请提供了一种基于自适应阈值的局部时空事件流滤波方法，包括以下步骤：
分块读入步骤，接收异步事件流，以固定时间迭代读取事件流块；
时空平面构建步骤，接收所述事件流块，以像素为单位，在时间维度上累计事件个数，计算像素活动值，构成二维时空平面；
局部滑动窗口步骤，接收所述二维时空平面并在其上设置固定大小的局部窗口，以固定步长滑动窗口，遍历整个二维平面，计算每个滑动窗口的窗口标志值；
噪音候选域选择步骤，接收所述窗口标志值计算噪音候选阈值，根据所述噪音候选阈值选择噪音候选域；
噪音筛选步骤，接收所述事件流块、所述二维时空平面和所述噪音候选域并计算噪音阈值，对噪音事件标记且将其从事件流块中剔除，将过滤后的异步事件流输出。
优选地，所述异步事件流通过动态视觉传感器获得。
具体地，所述分块读入步骤具体包括：
S1.1、初始化事件流块索引值i＝0，初始化输入事件索引值j＝0，初始化块内时间标志值T＝0，初始化块重制标志位flag＝True；
S1.2、读取数据，若20ms内所读数据为空，记为无事件输入并转至S1.5，否则接收一个事件，记为ej＝[xj，yj，tj，pj]，其中xj，yj为事件ej的像素坐标，tj为事件ej的时间戳，pj为事件ej的极性；
S1.3、判断当前块重制标志位是否为重制状态，若flag＝True，为当前事件创建新的事件流块并转至S1.4，否则判断当前事件ej是否属于本事件流块Ei，若当前事件时间戳tj小于块内时间标志值T与固定时间间隔Δt之和，记为该事件属于本事件流块，则转至S1.4，否则记为该事件属于下一事件流块，转至S1.5；
S1.4、将当前事件ej添加至当前事件流块Ei，将事件索引值j增一，转至S1.3步接收下一个事件；
S1.5、将当前事件流块Ei发送出去，令事件流块索引值i增一，块重制标志位flag＝True，转至S1.3读取下一个事件流块。
为当前事件创建新的事件流块的方法为：初始化事件流块Ei，令块内时间标志值T＝tj，块重制标志位flag＝False。
具体地，所述时空平面构建步骤具体包括：
初始化二维时空平面Ni，大小为W×H，其中，W和H分别代表产生数据的动态视觉传感器长度和宽度；
接收一个事件流块Ei，针对每一个像素位置，统计事件流块Ei内发生在该像素位置的事件个数，记为像素活动值，事件流块Ei内所有的像素活动值构成二维时空平面，每一个像素位置(x，y)对应的像素活动值为
Figure BDA0003032923930000041
其中P为求极性。
具体地，所述局部滑动窗口步骤具体包括：
S3.1、初始化大小为W×H的全局像素标志位Pi，其中，W和H分别代表产生数据的动态视觉传感器长度和宽度，初始化窗口标志值
Figure BDA0003032923930000051
其中，m和n分别代表当前局部窗口左上角的横坐标与纵坐标值；
S3.2、接收所述二维时空平面Ni；
S3.3、对于0≤x≤W且0≤y≤H，令
Figure BDA0003032923930000052
S3.4、初始化局部窗口的左上角上标为(0，0)，窗口共包含L×L个像素单元，在二维时空平面Ni上，将局部窗口Hi以步长S进行从上到下、从左到右滑动，直到遍历完整个二维时空平面，在滑动局部窗口的过程中，若某局部窗口边界坐标存在越界，则视为无效局部窗口，不将其纳入计算，否则计算窗口标志值，计算窗口标志值的方法为
Figure BDA0003032923930000053
其中，Pi(x，y)为像素所对应的像素标志位。
具体地，所述噪音候选域选择步骤具体包括：
初始化密集候选域阈值超参数α＝0.9，稀疏候选域阈值超参数β＝0.9；
接收所述窗口标志值
Figure BDA0003032923930000054
计算密集噪音候选域阈值
Figure BDA0003032923930000055
其中L为局部窗口边长；
计算稀疏噪音候选域阈值
Figure BDA0003032923930000056
其中，
Figure BDA0003032923930000057
由所有窗口标志值
Figure BDA0003032923930000058
从大到小进行排序去除零值获得，K1为稀疏噪音候选域阈值在序列
Figure BDA0003032923930000061
中的索引下标，由将序列
Figure BDA0003032923930000062
的长度与稀疏候选域阈值超参数相乘向上取整得到；
根据所述密集噪音候选域阈值Thdense与所述稀疏噪音候选域阈值Thsparse选择噪音候选域，对于左上角坐标为(m，n)的局部窗口，若该窗口的窗口标志值
Figure BDA0003032923930000063
大于密集噪音候选域阈值Thdense，或小于稀疏噪音候选域阈值Thsparse，则将其左上角坐标(m，n)加入噪音候选域左上角坐标集合Mi中。
进一步地，噪音筛选步骤具体包括：
S5.1、初始化噪音阈值超参数γ＝0.9；
S5.2、接收事件流块Ei，接收二维时空平面Ni，接收噪音候选域左上角坐标集合Mi；
S5.3、计算噪音阈值
Figure BDA0003032923930000064
其中，
Figure BDA0003032923930000065
由二维时空平面Ni内所有的像素活动值Ni(x，y)从大到小进行排序去除零值获得，K2为噪音阈值在序列
Figure BDA0003032923930000066
中的索引下标，由序列
Figure BDA0003032923930000067
的长度与噪音阈值超参数γ相乘得到；
S5.4、根据噪音阈值Thnoise筛选噪音事件，对其进行标记，对于某像素位置(x，y)，若其对应的像素活动值Ni(x，y)小于噪音阈值Thnoise，则将该像素包含的事件视为噪音事件，将噪音事件加入噪音集合Fi中；
S5.5、从事件流块Ei中删除噪音集合Fi，得到过滤后的异步事件流Di；
S5.6、将过滤后的异步事件流Di输出。
本发明第二方面提供一种基于自适应阈值的局部时空事件流滤波***，包括：
分块读入模块，用于执行分块读入步骤，接收异步事件流，以固定时间迭代读取事件流块；
时空平面构建模块，用于执行时空平面构建步骤，接收所述事件流块，以像素为单位，在时间维度上累计事件个数，计算像素活动值，构成二维时空平面；
局部滑动窗口模块，用于执行局部滑动窗口步骤，接收所述二维时空平面并在其上设置固定大小的局部窗口，以固定步长滑动窗口，遍历整个二维平面，计算每个滑动窗口的窗口标志值；
噪音候选域选择模块，用于执行噪音候选域选择步骤，接收所述窗口标志值计算噪音候选阈值，根据所述噪音候选阈值选择噪音候选域；
噪音筛选模块，用于执行噪音筛选噪音步骤，接收所述事件流块、所述二维时空平面和所述噪音候选域并计算噪音阈值，对噪音事件标记且将其从事件流块中剔除，将过滤后的异步事件流输出。
优选地，所述异步事件流由动态视觉传感器输入。
本申请的有益效果为：
本申请提出了基于自适应阈值的局部时空事件流滤波方法与***，不仅能够有效地去除异步事件流中不能描述物体特征的噪音事件，同时也可以保留描述物体线条的真实事件，从原始事件流中获得一个干净、清晰、完整的场景描述，实现了相对准确、快速的去噪效果。不仅如此，本发明能够大幅提高事件相机在实际任务中的应用能力，改善事件相机在实际场景中噪音影响严重的问题，使其更好地应用于高速运动、高动态范围等具有挑战性的环境中，为解决具有挑战性的计算机视觉问题提供了新的思路，在自动驾驶等实际问题中有很好的应用潜力。
附图说明
图1示出了本申请实施例1的方法流程示意图；
图2示出了采用本申请实施例1中方法与其他方法在单个场景中的对比结果图；
图3示出了采用本申请实施例1中方法与其他方法在所有场景中的平均对比结果图；
图4示出了采用本申请实施例1中方法与其他方法的信息保留能力对比结果图；
图5示出了本申请实施例2的***结构示意图。
具体实施方式
以下，将参照附图来描述本申请的实施例。但是应该理解的是，这些描述只是示例性的，而并非要限制本申请的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本申请的概念。对于本领域技术人员来说显而易见的是，本申请可以无需一个或多个这些细节而得以实施。在其他的例子中，为了避免与本申请发生混淆，对于本领域公知的一些技术特征未进行描述。
应予以注意的是，这里所使用的术语仅是为了描述具体实施例，而非意图限制根据本申请的示例性实施例。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式。此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在所述特征、整体、步骤、操作、元件和/或组件，但不排除存在或附加一个或多个其他特征、整体、步骤、操作、元件、组件和/或它们的组合。
现在，将参照附图更详细地描述根据本申请的示例性实施例。然而，这些示例性实施例可以多种不同的形式来实施，并且不应当被解释为只限于这里所阐述的实施例。附图并非是按比例绘制的，其中为了清楚表达的目的，可能放大了某些细节，并且可能省略了某些细节。图中所示出的各种区域、层的形状以及它们之间的相对大小、位置关系仅是示例性的，实际中可能由于制造公差或技术限制而有所偏差，并且本领域技术人员根据实际所需可以另外设计具有不同形状、大小、相对位置的区域/层。
实施例1：
本实施例实施了一种基于自适应阈值的局部时空事件流滤波方法，如图1所示，包括以下步骤：
S1、分块读入步骤，接收异步事件流，以固定时间迭代读取事件流块；
S2、时空平面构建步骤，接收所述事件流块，以像素为单位，在时间维度上累计事件个数，计算像素活动值，构成二维时空平面；
S3、局部滑动窗口步骤，接收所述二维时空平面并在其上设置固定大小的局部窗口，以固定步长滑动窗口，遍历整个二维平面，计算每个滑动窗口的窗口标志值；
S4、噪音候选域选择步骤，接收所述窗口标志值计算噪音候选阈值，根据所述噪音候选阈值选择噪音候选域；
S5、噪音筛选步骤，接收所述事件流块、所述二维时空平面和所述噪音候选域并计算噪音阈值，对噪音事件标记且将其从事件流块中剔除，将过滤后的异步事件流输出。
其中，所述异步事件流通过动态视觉传感器获得。
分块读入步骤中，逐个读取事件，将块内第一个事件的时间戳设置为时间标志值；对其后输入的每一个事件，若该事件时间戳与时间标志值之间的差值小于预设的固定时间间隔，则划入本事件流块内，否则，将其划分至下一个事件流块。在每个事件流块中，第一个被划分至该块的事件时间戳设为新的标志值。
S1的分块读入步骤具体包括：
S1.1、初始化事件流块索引值i＝0，初始化输入事件索引值j＝0，初始化块内时间标志值T＝0，初始化块重制标志位flag＝True；
S1.2、读取数据，若20ms内所读数据为空，记为无事件输入并转至S1.5，否则接收一个事件，记为ej＝[xj，yj，tj，pj]，其中xj，yj为事件ej的像素坐标，tj为事件ej的时间戳，pj为事件ej的极性；
S1.3、判断当前块重制标志位是否为重制状态，若flag＝True，为当前事件创建新的事件流块并转至S1.4，否则判断当前事件ej是否属于本事件流块Ei，若当前事件时间戳tj小于块内时间标志值T与固定时间间隔Δt之和，记为该事件属于本事件流块，则转至S1.4，否则记为该事件属于下一事件流块，转至S1.5；
S1.4、将当前事件ej添加至当前事件流块Ei，将事件索引值j增一，转至S1.3步接收下一个事件；
S1.5、将当前事件流块Ei发送出去，令事件流块索引值i增一，块重制标志位flag＝True，转至S1.3读取下一个事件流块。
所述为当前事件创建新的事件流块的方法为：初始化事件流块Ei，令块内时间标志值T＝tj，块重制标志位flag＝False。
S2的时空平面构建步骤具体包括：
初始化二维时空平面Ni，大小为W×H，其中，W和H分别代表产生数据的动态视觉传感器长度和宽度；
接收一个事件流块Ei，针对每一个像素位置，统计事件流块Ei内发生在该像素位置的事件个数，记为像素活动值，事件流块Ei内所有的像素活动值构成二维时空平面，每一个像素位置(x，y)对应的像素活动值为
Figure BDA0003032923930000111
其中P为求极性，取值为1或-1。
S3的局部滑动窗口步骤具体包括：
S3.1、初始化大小为W×H的全局像素标志位Pi，其中，W和H分别代表产生数据的动态视觉传感器长度和宽度，初始化窗口标志值
Figure BDA0003032923930000112
其中，m和n分别代表当前局部窗口左上角的横坐标与纵坐标值；
S3.2、接收所述二维时空平面Ni；
S3.3、针对二维时空平面Ni的每个像素位置(x，y)，若其对应的像素活动值Ni(x，y)大于0值，则将该位置对应的像素标志位Pi(x，y)置为1值，表示该像素位置有事件发生；否则，将该位置对应的像素标志位Pi(x，y)置为0值，表示该像素位置无事件发生，即对于0≤x≤W且0≤y≤H，令
Figure BDA0003032923930000121
S3.4、初始化局部窗口的左上角上标为(0，0)，窗口共包含L×L个像素单元，在二维时空平面Ni上，将局部窗口Hi以步长S进行从上到下、从左到右滑动，直到遍历完整个二维时空平面，在滑动局部窗口的过程中，若某局部窗口边界坐标存在越界，则视为无效局部窗口，不将其纳入计算，否则计算窗口标志值，计算窗口标志值的方法为
Figure BDA0003032923930000122
其中，Pi(x，y)为像素所对应的像素标志位。
S4的噪音候选域选择步骤具体包括：
初始化密集候选域阈值超参数α＝0.9，稀疏候选域阈值超参数β＝0.9；
接收所述窗口标志值
Figure BDA0003032923930000123
计算密集噪音候选域阈值
Figure BDA0003032923930000124
其中L为局部窗口边长；
计算稀疏噪音候选域阈值
Figure BDA0003032923930000125
其中，
Figure BDA0003032923930000126
由所有窗口标志值
Figure BDA0003032923930000127
从大到小进行排序去除零值获得，K1为稀疏噪音候选域阈值在序列
Figure BDA0003032923930000128
中的索引下标，由将序列
Figure BDA0003032923930000129
的长度与稀疏候选域阈值超参数相乘向上取整得到；
根据所述密集噪音候选域阈值Thdense与所述稀疏噪音候选域阈值Thsparse选择噪音候选域，对于左上角坐标为(m，n)的局部窗口，若该窗口的窗口标志值
Figure BDA0003032923930000131
大于密集噪音候选域阈值Thdense，或小于稀疏噪音候选域阈值Thsparse，则将其左上角坐标(m，n)加入噪音候选域左上角坐标集合Mi，即
Figure BDA0003032923930000132
S5的噪音筛选步骤具体包括：
S5.1、初始化噪音阈值超参数γ＝0.9；
S5.2、接收事件流块Ei，接收二维时空平面Ni，接收噪音候选域左上角坐标集合Mi；
S5.3、计算噪音阈值
Figure BDA0003032923930000133
其中，
Figure BDA0003032923930000134
由二维时空平面Ni内所有的像素活动值Ni(x，y)从大到小进行排序去除零值获得，K2为噪音阈值在序列
Figure BDA0003032923930000135
中的索引下标，由序列
Figure BDA0003032923930000136
的长度与噪音阈值超参数γ相乘得到；
S5.4、根据噪音阈值Thnoise筛选噪音事件，对其进行标记，对于某像素位置(x，y)，若其对应的像素活动值Ni(x，y)小于噪音阈值Thnoise，则将该像素包含的事件视为噪音事件，将噪音事件加入噪音集合Fi中，
Fi
＝{e(t，x，y，p)|(m，n)∈Mi，Ni(x，y)＜Thnoise，m≤x≤m+L，n≤y≤n+L}；
S5.5、从事件流块Ei中删除噪音集合Fi，得到过滤后的异步事件流Di，即Di＝Ei-Fi；
S5.6、将过滤后的异步事件流Di输出。
按上述基于自适应阈值的局部时空事件流滤波方法，从4个公开事件相机数据集中选取15个场景进行测试，包含正常光照场景、低光照场景、曝光过度的过光照场景以及高速运动场景，以测试滤波方法在不同场景中的表现。
测试4种不同的事件流滤波方法在上述15个场景下的去噪能力，分别将去噪前后的事件流重建为强度帧，用无参考图像空间质量评估得分(简称BRISQUE)评价去噪前后重建帧的质量。对于单张图像，其BRISQUE得分越低，表明其图像质量越好，即对应事件流滤波方法的去噪效果越好。不同事件流滤波方法在单个场景中的对比结果如图2所示。通过图2可以看出，在15个场景中，本实施例中的方法在所有场景中去噪效果均优于BAF方法，在10个场景中去噪效果优于IE算法，在超过86％的序列中，去噪效果优于IE+TE算法。图3展示了不同事件流滤波方法在所有场景中的平均对比结果，通过图3可以看出，综合考量多个场景，本实施例实施的方法在事件流去噪有效性方面优于其他算法，更加有效地去除了场景中的噪音信息。
接着对比不同事件流滤波方法的信息保留能力，分别将去噪前后的事件流重建为强度帧，用重建帧个数百分比，即去噪前重建帧数与去噪后重建帧数之比(简称RFP)评价事件流滤波方法的信息保留能力。对于单个场景，滤波方法的RFP得分越高，表明其在去噪过程中保留的信息越多。不同事件流滤波方法的信息保留能力对比结果如图4所示。通过图4可以看出，本实施例实施的方法信息保留能力远高于IE和IE+TE方法，该图中，BAF方法的RFP得分最高，结合该方法BRISQUE指标分析，这是因为该方法在去噪过程中错误地保留了较多噪音。
综上所述，本实施方式能够实现基于事件流的噪音滤波，相比于其他方法，去噪能力最优，效果最佳，且本实施方式在有效去除噪音事件的同时，具有较好的信息保留能力。
实施例2：
本实施例实施了一种基于自适应阈值的局部时空事件流滤波***，如图5所示，包括：分块读入模块、时空平面构建模块、局部滑动窗口模块、噪音候选域选择模块和噪音筛选模块，动态视觉传感器向分块读入模块输入异步事件流供其处理。
分块读入模块从动态视觉传感器接收异步事件流数据，按照固定的时间段读取独立的事件流块，将其传递给时空平面构建模块与噪音筛选模块。划分事件流块的具体方法是：逐个读取事件，将块内第一个事件的时间戳设置为时间标志值；对其后输入的每一个事件，若当前事件时间戳小于块内时间标志值与固定时间间隔之和，则划入本事件流块内，否则，将其划分至下一个事件流块。
时空平面构建模块从分块读入模块接收事件流块，以像素为单位，在时间维度上累计事件个数，计算像素活动值，构成二维时空平面，将其发送给局部滑动窗口模块与噪音筛选模块。时空平面直观概括了事件流块的局部空间连续性与时件相关性，是分析事件流局部时空信息的基础，构造的具体方法为：以像素为单位，在时间维度上累计块内事件个数，得到像素活动值，所有像素的像素活动值构成二维时空平面。
局部滑动窗口模块从时空平面构建模块接收二维时空平面，在时空平面上设置固定大小的局部窗口，以固定步长滑动窗口，遍历整个二维平面，计算每个滑动窗口的窗口标志值，将本二维时空平面包含的所有窗口标志值发送给噪音候选域选择模块。局部窗口帮助***部事件的空间分布情况，计算窗口标志值的具体方法是：对于单个滑动窗口，计算其内有事件发生的像素总个数，即为该窗口的窗口标志值。
噪音候选域选择模块从局部滑动窗口模块接收二维时空平面所包含的窗口标志值，结合局部窗口大小及标志值，计算噪音候选域阈值，根据阈值选择时空平面内的稀疏及密集噪音候选域，将噪音候选域左上角坐标集合发送给噪音筛选模块。噪音候选域包含密集噪音候选域与稀疏噪音候选域，可将噪音事件锁定在局部范围内，帮助进行最终的噪音判定。选择噪音候选域的具体方法是：若某局部窗口的窗口标记值大于密集噪音候选域阈值，则将其视为密集噪音候选域；若窗口标记值小于稀疏噪音候选域阈值，则将其视为稀疏噪音候选域；否则，将其视为有效事件域。其中，密集噪音候选域阈值根据局部窗口大小自适应选取；稀疏噪音候选域阈值通过分析事件流块内事件的全局空间分布自适应选取。
噪音筛选模块从分块读入模块接收事件流块，从时空平面构建模块接收二维时空平面，从噪音候选域选择模块接收当前事件流块内噪音候选域左上角坐标集合，基于时空平面像素活动值计算噪音阈值，在噪音候选域内，根据噪音阈值判断某像素位置上触发的事件是否为噪音事件，对噪音事件进行标记，并将其从事件流块中抛弃，将过滤后的异步事件流输出。判断噪音事件的具体方法是：单个事件流块内，若某像素上发生的事件个数少于噪音阈值，则该像素位置上的事件被视为噪音，对其进行噪音标记。
以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (8)

1.一种基于自适应阈值的局部时空事件流滤波方法，其特征在于，包括以下步骤：
分块读入步骤，接收异步事件流，以固定时间迭代读取事件流块；
时空平面构建步骤，接收所述事件流块，以像素为单位，在时间维度上累计事件个数，计算像素活动值，构成二维时空平面；
局部滑动窗口步骤，接收所述二维时空平面并在其上设置固定大小的局部窗口，以固定步长滑动窗口，遍历整个二维时空平面，计算每个滑动窗口的窗口标志值；
噪音候选域选择步骤，接收所述窗口标志值计算噪音候选阈值，根据所述噪音候选阈值选择噪音候选域；
噪音筛选步骤，接收所述事件流块、所述二维时空平面和所述噪音候选域并计算噪音阈值，对噪音事件标记且将其从事件流块中剔除，将过滤后的异步事件流输出；
所述时空平面构建步骤具体包括：
初始化二维时空平面Ni，大小为W×H，其中，W和H分别代表产生数据的动态视觉传感器长度和宽度，i取值为1、2、3……z，其中z为大于等于1的正整数；
接收一个事件流块Ei，针对每一个像素位置，统计事件流块Ei内发生在该像素位置的事件个数，记为像素活动值，事件流块Ei内所有的像素活动值构成二维时空平面，每一个像素位置(x，y)对应的像素活动值为
Figure FDA0003929517740000011
其中P为求极性；
所述局部滑动窗口步骤具体包括：
S3.1、初始化大小为W×H的全局像素标志位Pi，其中，W和H分别代表产生数据的动态视觉传感器长度和宽度，初始化窗口标志值
Figure FDA0003929517740000021
其中，m和n分别代表当前局部窗口左上角的横坐标与纵坐标值；
S3.2、接收所述二维时空平面Ni；
S3.3、对于0≤x≤W且0≤y≤H，令
Figure FDA0003929517740000022
S3.4、初始化局部窗口的左上角上标为(0，0)，窗口共包含L×L个像素单元，在二维时空平面Ni上，将局部窗口Hi以步长S进行从上到下、从左到右滑动，直到遍历完整个二维时空平面，在滑动局部窗口的过程中，若某局部窗口边界坐标存在越界，则视为无效局部窗口，不将其纳入计算，否则计算窗口标志值，计算窗口标志值的方法为
Figure FDA0003929517740000023
其中，Pi(x，y)为像素所对应的像素标志位。
2.根据权利要求1所述的基于自适应阈值的局部时空事件流滤波方法，其特征在于，所述异步事件流通过动态视觉传感器获得。
3.根据权利要求2所述的基于自适应阈值的局部时空事件流滤波方法，其特征在于，所述分块读入步骤具体包括：
S1.1、初始化事件流块索引值i＝0，初始化输入事件索引值j＝0，初始化块内时间标志值T＝0，初始化块重制标志位flag＝True；
S1.2、读取数据，若20ms内所读数据为空，记为无事件输入并转至S1.5，否则接收一个事件，记为ej＝[xj，yj，tj，pj]，其中xj，yj为事件ej的像素坐标，tj为事件ej的时间戳，pj为事件ej的极性；
S1.3、判断当前块重制标志位是否为重制状态，若flag＝True，为当前事件创建新的事件流块并转至S1.4，否则判断当前事件ej是否属于本事件流块Ei，若当前事件时间戳tj小于块内时间标志值T与固定时间间隔Δt之和，记为该事件属于本事件流块，则转至S1.4，否则记为该事件属于下一事件流块，转至S1.5；
S1.4、将当前事件ej添加至当前事件流块Ei，将事件索引值j增一，转至S1.3步接收下一个事件；
S1.5、将当前事件流块Ei发送出去，令事件流块索引值i增一，块重制标志位flag＝True，转至S1.3读取下一个事件流块。
4.根据权利要求3所述的基于自适应阈值的局部时空事件流滤波方法，其特征在于，所述为当前事件创建新的事件流块的方法为：初始化事件流块Ei，令块内时间标志值T＝tj，块重制标志位flag＝False。
5.根据权利要求2所述的基于自适应阈值的局部时空事件流滤波方法，其特征在于，所述噪音候选域选择步骤具体包括：
初始化密集候选域阈值超参数α＝0.9，稀疏候选域阈值超参数β＝0.9；
接收所述窗口标志值
Figure FDA0003929517740000031
计算密集噪音候选域阈值
Figure FDA0003929517740000034
其中L为局部窗口边长；
计算稀疏噪音候选域阈值
Figure FDA0003929517740000032
其中，
Figure FDA0003929517740000033
由所有窗口标志值
Figure FDA0003929517740000041
从大到小进行排序去除零值获得，K1为稀疏噪音候选域阈值在序列
Figure FDA0003929517740000042
中的索引下标，由将序列
Figure FDA0003929517740000043
的长度与稀疏候选域阈值超参数相乘向上取整得到；
根据所述密集噪音候选域阈值Thdense与所述稀疏噪音候选域阈值Thsparse选择噪音候选域，对于左上角坐标为(m，n)的局部窗口，若该窗口的窗口标志值
Figure FDA0003929517740000044
大于密集噪音候选域阈值Thdense，或小于稀疏噪音候选域阈值Thsparse，则将其左上角坐标(m，n)加入噪音候选域左上角坐标集合Mi中。
6.根据权利要求2所述的基于自适应阈值的局部时空事件流滤波方法，其特征在于，噪音筛选步骤具体包括：
S5.1、初始化噪音阈值超参数γ＝0.9；
S5.2、接收事件流块Ei，接收二维时空平面Ni，接收噪音候选域左上角坐标集合Mi；
S5.3、计算噪音阈值
Figure FDA0003929517740000045
其中，
Figure FDA0003929517740000046
由二维时空平面Ni内所有的像素活动值Ni(x，y)从大到小进行排序去除零值获得，K2为噪音阈值在序列
Figure FDA0003929517740000047
中的索引下标，由序列
Figure FDA0003929517740000048
的长度与噪音阈值超参数γ相乘得到；
S5.4、根据噪音阈值Thoise筛选噪音事件，对其进行标记，对于某像素位置(x，y)，若其对应的像素活动值Ni(x，y)小于噪音阈值Thnoise，则将该像素包含的事件视为噪音事件，将噪音事件加入噪音集合Fi中；
S5.5、从事件流块Ei中删除噪音集合Fi，得到过滤后的异步事件流Di；
S5.6、将过滤后的异步事件流Di输出。
7.一种基于自适应阈值的局部时空事件流滤波***，其特征在于，包括：
分块读入模块，用于执行分块读入步骤，接收异步事件流，以固定时间迭代读取事件流块；
时空平面构建模块，用于执行时空平面构建步骤，接收所述事件流块，以像素为单位，在时间维度上累计事件个数，计算像素活动值，构成二维时空平面；
局部滑动窗口模块，用于执行局部滑动窗口步骤，接收所述二维时空平面并在其上设置固定大小的局部窗口，以固定步长滑动窗口，遍历整个二维时空平面，计算每个滑动窗口的窗口标志值；
噪音候选域选择模块，用于执行噪音候选域选择步骤，接收所述窗口标志值计算噪音候选阈值，根据所述噪音候选阈值选择噪音候选域；
噪音筛选模块，用于执行噪音筛选噪音步骤，接收所述事件流块、所述二维时空平面和所述噪音候选域并计算噪音阈值，对噪音事件标记且将其从事件流块中剔除，将过滤后的异步事件流输出；
所述时空平面构建模块具体执行以下步骤：
初始化二维时空平面Ni，大小为W×H，其中，W和H分别代表产生数据的动态视觉传感器长度和宽度，i取值为1、2、3……z，其中z为大于等于1的正整数；
接收一个事件流块Ei，针对每一个像素位置，统计事件流块Ei内发生在该像素位置的事件个数，记为像素活动值，事件流块Ei内所有的像素活动值构成二维时空平面，每一个像素位置(x，y)对应的像素活动值为
Figure FDA0003929517740000061
其中P为求极性；
所述局部滑动窗口模块具体执行以下步骤：
S3.1、初始化大小为W×H的全局像素标志位Pi，其中，W和H分别代表产生数据的动态视觉传感器长度和宽度，初始化窗口标志值
Figure FDA0003929517740000062
其中，m和n分别代表当前局部窗口左上角的横坐标与纵坐标值；
S3.2、接收所述二维时空平面Nt；
S3.3、对于0≤x≤W且0≤y≤H，令
Figure FDA0003929517740000063
S3.4、初始化局部窗口的左上角上标为(0，0)，窗口共包含L×L个像素单元，在二维时空平面Ni上，将局部窗口Hi以步长S进行从上到下、从左到右滑动，直到遍历完整个二维时空平面，在滑动局部窗口的过程中，若某局部窗口边界坐标存在越界，则视为无效局部窗口，不将其纳入计算，否则计算窗口标志值，计算窗口标志值的方法为
Figure FDA0003929517740000064
其中，Pi(x，y)为像素所对应的像素标志位。
8.根据权利要求7所述的基于自适应阈值的局部时空事件流滤波***，其特征在于，所述异步事件流由动态视觉传感器输入。
CN202110435263.5A 2021-04-22 2021-04-22 一种基于自适应阈值的局部时空事件流滤波方法与*** Active CN113269683B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110435263.5A CN113269683B (zh) 2021-04-22 2021-04-22 一种基于自适应阈值的局部时空事件流滤波方法与***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110435263.5A CN113269683B (zh) 2021-04-22 2021-04-22 一种基于自适应阈值的局部时空事件流滤波方法与***

Publications (2)

Publication Number Publication Date
CN113269683A CN113269683A (zh) 2021-08-17
CN113269683B true CN113269683B (zh) 2023-04-18

Family

ID=77229097

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110435263.5A Active CN113269683B (zh) 2021-04-22 2021-04-22 一种基于自适应阈值的局部时空事件流滤波方法与***

Country Status (1)

Country Link
CN (1) CN113269683B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113923319B (zh) * 2021-12-14 2022-03-08 成都时识科技有限公司 降噪装置、方法、芯片、事件成像装置及电子设备
CN114285962B (zh) * 2021-12-14 2023-04-07 成都时识科技有限公司 噪声处理装置、方法、芯片、事件成像装置及电子设备
CN114885074B (zh) * 2022-05-06 2023-07-04 中国科学院光电技术研究所 一种基于时空密度的事件相机去噪方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111931752A (zh) * 2020-10-13 2020-11-13 中航金城无人***有限公司 一种基于事件相机的动态目标检测方法
CN112184572A (zh) * 2020-09-14 2021-01-05 中山大学 一种针对动态视觉传感器事件流的新型去雨方法及***

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120242864A1 (en) * 2010-09-20 2012-09-27 Pauli Myron R Flash detection and clutter rejection processor
CN110176028B (zh) * 2019-06-05 2020-12-15 中国人民解放军国防科技大学 一种基于事件相机的异步角点检测方法
CN111340699B (zh) * 2020-02-17 2022-02-18 西北大学 基于非局部先验和稀疏表示的磁共振图像去噪方法及装置
CN111770290A (zh) * 2020-07-29 2020-10-13 中国科学院长春光学精密机械与物理研究所 一种动态视觉传感器输出事件流降噪方法
CN112307078B (zh) * 2020-09-29 2022-04-15 安徽工业大学 基于滑动窗口的数据流差分隐私直方图发布方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112184572A (zh) * 2020-09-14 2021-01-05 中山大学 一种针对动态视觉传感器事件流的新型去雨方法及***
CN111931752A (zh) * 2020-10-13 2020-11-13 中航金城无人***有限公司 一种基于事件相机的动态目标检测方法

Also Published As

Publication number Publication date
CN113269683A (zh) 2021-08-17

Similar Documents

Publication Publication Date Title
CN113269683B (zh) 一种基于自适应阈值的局部时空事件流滤波方法与***
Irani et al. Detecting and tracking multiple moving objects using temporal integration
JP6616521B2 (ja) 画像処理装置
WO2006022493A1 (en) Method for removing noise in image and system thereof
Chen et al. Video Carving.
JP2011130203A (ja) 映像情報処理方法及びその装置
Chen et al. A residual learning approach to deblur and generate high frame rate video with an event camera
CN112232356A (zh) 一种基于合群度和边界特征的事件相机去噪方法
CN108270945B (zh) 一种运动补偿去噪方法及装置
Aloraini et al. Statistical sequential analysis for object-based video forgery detection
Fang et al. AEDNet: Asynchronous event denoising with Spatial-Temporal correlation among irregular data
Nie et al. High frame rate video reconstruction and deblurring based on dynamic and active pixel vision image sensor
CN110502995B (zh) 基于细微面部动作识别的驾驶员打哈欠检测方法
TWI381735B (zh) 影像監視設備之影像處理系統及其影像解析自動調適之方法
She et al. SpikeFormer: Image Reconstruction from the Sequence of Spike Camera Based on Transformer
Mahayuddin et al. Efficiency measurement of various denoise techniques for moving object detection using aerial images
Chae et al. Siamevent: Event-based object tracking via edge-aware similarity learning with siamese networks
Moura et al. A spatiotemporal motion-vector filter for object tracking on compressed video
CN111754477B (zh) 基于动态候选区多尺度图像的铁路周界异物入侵检测方法
CN112184572B (zh) 一种针对动态视觉传感器事件流的新型去雨方法及***
CN110097523B (zh) 一种视频图像雾气浓度分类及自适应去雾方法
Abdulghafoor et al. Real-time object detection with simultaneous denoising using low-rank and total variation models
Li et al. High-speed large-scale imaging using frame decomposition from intrinsic multiplexing of motion
Kaur et al. An improved weighted median filter for the image processing application
Pal Improved background subtraction technique for detecting moving objects

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant