CN111582300A - 一种基于事件相机的高动态目标检测方法 - Google Patents

一种基于事件相机的高动态目标检测方法 Download PDF

Info

Publication number
CN111582300A
CN111582300A CN202010198845.1A CN202010198845A CN111582300A CN 111582300 A CN111582300 A CN 111582300A CN 202010198845 A CN202010198845 A CN 202010198845A CN 111582300 A CN111582300 A CN 111582300A
Authority
CN
China
Prior art keywords
event
image
camera
prediction
high dynamic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010198845.1A
Other languages
English (en)
Inventor
蔡志浩
曾逸文
赵江
王英勋
陈文军
强祺昌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN202010198845.1A priority Critical patent/CN111582300A/zh
Publication of CN111582300A publication Critical patent/CN111582300A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于事件相机的高动态目标检测方法，包括从事件相机得到事件流数据，并将事件流转化为事件图像；调整事件图像的大小，将其转化为统一的分辨率；将事件图像放入卷积神经网络中，得到多个预测框；通过非极大值抑制得到置信度较高的检测结果。本发明通过将事件相机和深度学习相结合，提高高动态目标检测的对抗光照干扰以及复杂背景环境干扰的能力。

Description

一种基于事件相机的高动态目标检测方法
技术领域
本发明属于计算机视觉技术领域，尤其涉及一种基于事件相机的高动态目标检测方法。
背景技术
目标检测是一种在图像中找出目标的位置和大小的计算机视觉技术。该技术可以应用于人工智能***、车辆辅助驾驶***、目标行为分析、智能视频监控等领域。
事件相机与普通相机不同，它是生物启发的视觉传感器，输出像素级亮度的变化。事件相机相当于以每秒数千帧的速度运行的传统视觉传感器，但是数据量要少得多。事件相机整体功率低、数据存储量小、计算性能要求低，并且动态范围相比普通相机增加了几个数量级。这种相机不易受到运动模糊的影响，能够在高速运动期间提供可靠的视觉信息。
当前的高动态运动目标检测方法主要使用的是普通相机。这些方法容易受到光照的影响，当光强很弱时，难以检测出运动目标。此外，当背景十分复杂或者是运动目标移动速度很快出现图像模糊的时候检测效果也会差很多。
发明内容
为了解决现有运动目标检测方法容易受到外界光照的影响容易受到复杂背景环境的影响以及容易受到运动模糊的影响，本发明提出一种基于事件相机的高动态目标检测方法，本发明的具体技术方案如下：
一种基于事件相机的高动态目标检测方法，其特征在于，包括以下步骤：
S1：从事件相机得到事件流数据，并将事件流转化为事件图像；
S2：调整事件图像的大小，将其转化为统一的分辨率；
S3：将事件图像放入卷积神经网络中，得到多个预测框；
S4：通过非极大值抑制得到置信度较高的检测结果。
进一步地，所述步骤S1包括以下步骤：
S11：从事件相机获取事件流数据；
事件相机的数据表示方式为地址事件表达，每一个数据都是由事件的地址即事件在图像上的位置、事件的时间戳以及事件的极性组成；
S12：生成事件图像；
从事件相机获取事件流数据后，累积一个固定时间间隔△t内的事件，生成事件图像，事件图像的定义为
Figure BDA0002418618070000021
其中，AEframe为事件图像，tstart为起始时刻，tend为终止时刻，tev为当前时刻，AExy为触发的事件，时间间隔△t＝tend-tstart＝10ms；
S13：去除噪声；
设定一个阈值N，对于一张事件图像，如果一个事件周围的事件数量小于阈值N，则这个事件被当作噪点去除掉，对每个事件都采取此方法处理，则形成去除噪声后的事件图像。
进一步地，所述步骤S2将得到的事件图像转化为分辨率为416*416的图像。
进一步地，所述步骤S3的卷积神经网络为tiny yolo，所述步骤S3包括以下步骤：
S31：通过卷积层和池化层提取13*13和26*26的特征图；
S32：对特征图进行预测，得到目标的x，y，w，h，confidence，其中，坐标(x，y)代表了边框的中心与网格单元边界的相对值，w和h是边框的宽和高，confidence是预测边界框和真实边界框的IOU，其中，IOU指交并比，即交集与并集的比值。
进一步地，所述步骤S4首先从所述步骤S3得到的预测框中找出置信度最大的预测框，然后计算其与剩余的预测框的IOU，如果其值大于0.4，则将该框剔除；然后对剩余的预测框重复上述过程，直到处理完所有的预测框。
本发明的有益效果在于：
1.本发明通过将事件相机和深度学习相结合，提高高动态目标检测的对抗光照干扰以及复杂背景环境干扰的能力。
2.与现有技术相比，本发明的方法数据量小，事件相机数据量比传统相机要小很多，所需存储空间比普通相机少；低功耗，事件相机功耗很低，而且选用的神经网络模型小，占用的计算资源少，功耗进一步降低。
3.本发明的方法抗强光与弱光，事件相机的动态范围比普通相机大，当光照强度特别大或特别小时，依旧可以正常工作，检测出高动态目标；抗复杂背景干扰，事件相机感知光照强度变化，即相机事业内的没有物体运动时，相机不会有输出，进行运动目标检测时，相机只会拍到运动的人或其他运动物体，无论背景多么复杂都不会拍到，所以复杂的背景也不会影响事件相机检测运动目标。
4.本发明的方法可以检测快速运动的运动目标：处理事件相机的原始数据可以生成高帧率的事件图像，这些事件图像不易出现运动模糊，所以即使运动目标运动速度很快，也能够被很好的检测到。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，可以根据这些附图获得其他的附图。其中：
图1是本发明的一种基于事件相机的高动态目标检测方法流程图；
图2是本发明的事件图像；
图3是本发明的网络结构图；
图4是本发明方法的检测效果图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
如图1所示，一种基于事件相机的高动态目标检测方法，包括以下步骤：
S1：从事件相机得到事件流数据，并将事件流转化为事件图像；
S2：调整事件图像的大小，将其转化为统一的分辨率；
S3：将事件图像放入卷积神经网络中，得到多个预测框；
S4：通过非极大值抑制得到置信度较高的检测结果。
步骤S1包括以下步骤：
S11：从事件相机获取事件流数据；
事件相机的数据表示方式为地址事件表达，每一个数据都是由事件的地址即事件在图像上的位置、事件的时间戳以及事件的极性组成；
S12：生成事件图像；
从事件相机获取事件流数据后，累积一个固定时间间隔△t内的事件，生成事件图像，事件图像的定义为
Figure BDA0002418618070000041
其中，AEframe为事件图像，tstart为起始时刻，tend为终止时刻，tev为当前时刻，AExy为触发的事件，时间间隔△t＝tend-tstart＝10ms；
S13：去除噪声；
设定一个阈值N，对于一张事件图像，如果一个事件周围的事件数量小于阈值N，则这个事件被当作噪点去除掉，对每个事件都采取此方法处理，则形成去除噪声后的事件图像。
步骤S2将得到的事件图像转化为分辨率为416*416的图像，便于后续神经网络的处理。
步骤S3的卷积神经网络为tiny yolo，结构如图3所示，步骤S3包括以下步骤：
S31：通过卷积层和池化层提取13*13和26*26的特征图；
S32：对特征图进行预测，得到目标的x，y，w，h，confidence，其中，坐标(x，y)代表了边框的中心与网格单元边界的相对值，w和h是边框的宽和高，confidence是预测边界框和真实边界框的IOU，其中，IOU指交并比，即交集与并集的比值。
目标检测可能会出现一个目标被多次检测的问题，步骤S4首先从步骤S3得到的预测框中找出置信度最大的预测框，然后计算其与剩余的预测框的IOU，如果其值大于0.4，则将该框剔除；然后对剩余的预测框重复上述过程，直到处理完所有的预测框。
图4是本发明方法的检测效果图，由图可以看出，本发明的方法能够检测到事件相机拍摄到的运动中的物体所属的类别以及在图像中的位置，且生成的事件图像中除了运动的目标以外没有多余的背景的信息，不易受到复杂背景的干扰。通过试验测试，本方法在目标快速运动以及光照很弱时也可以达到很好的检测效果。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于事件相机的高动态目标检测方法，其特征在于，包括以下步骤：
S1：从事件相机得到事件流数据，并将事件流转化为事件图像；
S2：调整事件图像的大小，将其转化为统一的分辨率；
S3：将事件图像放入卷积神经网络中，得到多个预测框；
S4：通过非极大值抑制得到置信度较高的检测结果。
2.根据权利要求1所述的一种基于事件相机的高动态目标检测方法，其特征在于，所述步骤S1包括以下步骤：
S11：从事件相机获取事件流数据；
事件相机的数据表示方式为地址事件表达，每一个数据都是由事件的地址即事件在图像上的位置、事件的时间戳以及事件的极性组成；
S12：生成事件图像；
从事件相机获取事件流数据后，累积一个固定时间间隔Δt内的事件，生成事件图像，事件图像的定义为
Figure FDA0002418618060000011
其中，AEframe为事件图像，tstart为起始时刻，tend为终止时刻，tev为当前时刻，AExy为触发的事件，时间间隔Δt＝tend-tstart＝10ms；
S13：去除噪声；
设定一个阈值N，对于一张事件图像，如果一个事件周围的事件数量小于阈值N，则这个事件被当作噪点去除掉，对每个事件都采取此方法处理，则形成去除噪声后的事件图像。
3.根据权利要求1所述的一种基于事件相机的高动态目标检测方法，其特征在于，所述步骤S2将得到的事件图像转化为分辨率为416*416的图像。
4.根据权利要求1所述的一种基于事件相机的高动态目标检测方法，其特征在于，所述步骤S3的卷积神经网络为tiny yolo，所述步骤S3包括以下步骤：
S31：通过卷积层和池化层提取13*13和26*26的特征图；
S32：对特征图进行预测，得到目标的x，y，w，h，confidence，其中，坐标(x，y)代表了边框的中心与网格单元边界的相对值，w和h是边框的宽和高，confidence是预测边界框和真实边界框的IOU，其中，IOU指交并比，即交集与并集的比值。
5.根据权利要求1所述的一种基于事件相机的高动态目标检测方法，其特征在于，所述步骤S4首先从所述步骤S3得到的预测框中找出置信度最大的预测框，然后计算其与剩余的预测框的IOU，如果其值大于0.4，则将该框剔除；然后对剩余的预测框重复上述过程，直到处理完所有的预测框。
CN202010198845.1A 2020-03-20 2020-03-20 一种基于事件相机的高动态目标检测方法 Pending CN111582300A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010198845.1A CN111582300A (zh) 2020-03-20 2020-03-20 一种基于事件相机的高动态目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010198845.1A CN111582300A (zh) 2020-03-20 2020-03-20 一种基于事件相机的高动态目标检测方法

Publications (1)

Publication Number Publication Date
CN111582300A true CN111582300A (zh) 2020-08-25

Family

ID=72122441

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010198845.1A Pending CN111582300A (zh) 2020-03-20 2020-03-20 一种基于事件相机的高动态目标检测方法

Country Status (1)

Country Link
CN (1) CN111582300A (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111931752A (zh) * 2020-10-13 2020-11-13 中航金城无人***有限公司 一种基于事件相机的动态目标检测方法
CN112816995A (zh) * 2020-12-25 2021-05-18 北京灵汐科技有限公司 目标检测方法及装置、融合处理单元、计算机可读介质
CN113159217A (zh) * 2021-05-12 2021-07-23 深圳龙岗智能视听研究院 一种基于事件相机的注意力机制目标检测的方法
CN113160218A (zh) * 2021-05-12 2021-07-23 深圳龙岗智能视听研究院 一种基于事件相机的检测物体运动强度的方法
CN113506229A (zh) * 2021-07-15 2021-10-15 清华大学 神经网络训练和图像生成方法及装置
CN113537071A (zh) * 2021-07-19 2021-10-22 深圳龙岗智能视听研究院 一种基于事件相机的静态和动态目标检测方法及设备
CN113572998A (zh) * 2021-09-22 2021-10-29 中科南京智能技术研究院 一种基于事件相机的数据集采集方法及***
CN113660455A (zh) * 2021-07-08 2021-11-16 深圳宇晰科技有限公司 一种基于dvs数据的跌倒检测方法、***、终端
CN114037741A (zh) * 2021-10-12 2022-02-11 中国电子科技南湖研究院 一种基于事件相机的自适应目标检测方法及装置
WO2022237591A1 (zh) * 2021-05-08 2022-11-17 北京灵汐科技有限公司 运动对象的识别方法、装置、电子设备及可读存储介质
WO2023273952A1 (zh) * 2021-06-29 2023-01-05 华为技术有限公司 数据处理方法、装置及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108182670A (zh) * 2018-01-15 2018-06-19 清华大学 一种事件图像的分辨率增强方法及***
WO2019099337A1 (en) * 2017-11-14 2019-05-23 Kaban Technologies Llc Event camera-based deformable object tracking
CN110399908A (zh) * 2019-07-04 2019-11-01 西北工业大学 基于事件型相机的分类方法和装置、存储介质、电子装置
CN110599414A (zh) * 2019-08-28 2019-12-20 武汉大学 一种面向事件相机数据处理的时空归一化方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019099337A1 (en) * 2017-11-14 2019-05-23 Kaban Technologies Llc Event camera-based deformable object tracking
CN108182670A (zh) * 2018-01-15 2018-06-19 清华大学 一种事件图像的分辨率增强方法及***
CN110399908A (zh) * 2019-07-04 2019-11-01 西北工业大学 基于事件型相机的分类方法和装置、存储介质、电子装置
CN110599414A (zh) * 2019-08-28 2019-12-20 武汉大学 一种面向事件相机数据处理的时空归一化方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张姝: "基于地址事件表示信号的动态手势识别方法", 《中国优秀硕士学位论文全文数据库》 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111931752A (zh) * 2020-10-13 2020-11-13 中航金城无人***有限公司 一种基于事件相机的动态目标检测方法
CN112816995A (zh) * 2020-12-25 2021-05-18 北京灵汐科技有限公司 目标检测方法及装置、融合处理单元、计算机可读介质
CN112816995B (zh) * 2020-12-25 2024-03-01 北京灵汐科技有限公司 目标检测方法及装置、融合处理单元、计算机可读介质
WO2022237591A1 (zh) * 2021-05-08 2022-11-17 北京灵汐科技有限公司 运动对象的识别方法、装置、电子设备及可读存储介质
CN113159217A (zh) * 2021-05-12 2021-07-23 深圳龙岗智能视听研究院 一种基于事件相机的注意力机制目标检测的方法
CN113160218A (zh) * 2021-05-12 2021-07-23 深圳龙岗智能视听研究院 一种基于事件相机的检测物体运动强度的方法
CN113159217B (zh) * 2021-05-12 2023-08-01 深圳龙岗智能视听研究院 一种基于事件相机的注意力机制目标检测的方法
CN113160218B (zh) * 2021-05-12 2023-06-20 深圳龙岗智能视听研究院 一种基于事件相机的检测物体运动强度的方法
WO2023273952A1 (zh) * 2021-06-29 2023-01-05 华为技术有限公司 数据处理方法、装置及电子设备
CN113660455A (zh) * 2021-07-08 2021-11-16 深圳宇晰科技有限公司 一种基于dvs数据的跌倒检测方法、***、终端
CN113506229A (zh) * 2021-07-15 2021-10-15 清华大学 神经网络训练和图像生成方法及装置
CN113506229B (zh) * 2021-07-15 2024-04-12 清华大学 神经网络训练和图像生成方法及装置
CN113537071B (zh) * 2021-07-19 2023-08-11 深圳龙岗智能视听研究院 一种基于事件相机的静态和动态目标检测方法及设备
CN113537071A (zh) * 2021-07-19 2021-10-22 深圳龙岗智能视听研究院 一种基于事件相机的静态和动态目标检测方法及设备
CN113572998A (zh) * 2021-09-22 2021-10-29 中科南京智能技术研究院 一种基于事件相机的数据集采集方法及***
CN114037741A (zh) * 2021-10-12 2022-02-11 中国电子科技南湖研究院 一种基于事件相机的自适应目标检测方法及装置
CN114037741B (zh) * 2021-10-12 2023-09-19 中国电子科技南湖研究院 一种基于事件相机的自适应目标检测方法及装置

Similar Documents

Publication Publication Date Title
CN111582300A (zh) 一种基于事件相机的高动态目标检测方法
CN111931752B (zh) 一种基于事件相机的动态目标检测方法
CN107872644B (zh) 视频监控方法及装置
WO2011028379A2 (en) Foreground object tracking
WO2011028380A2 (en) Foreground object detection in a video surveillance system
KR20150084939A (ko) 비디오 감시 시스템들에 대한 이미지 안정화 기술들
CN111260738A (zh) 基于相关滤波和自适应特征融合的多尺度目标跟踪方法
CN109377499B (zh) 一种像素级物体分割方法及装置
CN105741319B (zh) 基于盲目更新策略和前景模型的改进视觉背景提取方法
CN114140656B (zh) 一种基于事件相机的海上船舶目标识别方法
CN112801027A (zh) 基于事件相机的车辆目标检测方法
CN114885074B (zh) 一种基于时空密度的事件相机去噪方法
CN112232356A (zh) 一种基于合群度和边界特征的事件相机去噪方法
CN105046719A (zh) 一种视频监控方法及***
CN110602504A (zh) 一种基于YOLOv2目标检测算法的视频解压缩方法及***
CN111260686A (zh) 自适应余弦窗抗遮挡多特征融合的目标跟踪方法及***
CN112668466A (zh) 一种地址事件数据流的车道线识别方法
CN112613564A (zh) 一种剔除重叠框的目标检测后处理方法
CN108492308B (zh) 一种基于相互结构引导滤波的变分光流的确定方法及***
Qin et al. A shadow removal algorithm for ViBe in HSV color space
CN113066077B (zh) 火焰检测方法及装置
CN106780646B (zh) 一种适用多场景的无参数背景建模方法
Gu et al. Drms: Dim-light robust monocular simultaneous localization and mapping
Zhao et al. An improved VIBE algorithm for fast suppression of ghosts and static objects
CN113936030A (zh) 基于卷积编码的运动目标检测方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200825

RJ01 Rejection of invention patent application after publication