CN113269699B - 基于异步事件流与灰度图像融合的光流估计方法与*** - Google Patents

基于异步事件流与灰度图像融合的光流估计方法与*** Download PDF

Info

Publication number
CN113269699B
CN113269699B CN202110436248.2A CN202110436248A CN113269699B CN 113269699 B CN113269699 B CN 113269699B CN 202110436248 A CN202110436248 A CN 202110436248A CN 113269699 B CN113269699 B CN 113269699B
Authority
CN
China
Prior art keywords
image
event
gray level
frame
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110436248.2A
Other languages
English (en)
Other versions
CN113269699A (zh
Inventor
史殿习
刘聪
苏雅倩文
金松昌
杨烟台
景罗希
李雪辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin (binhai) Intelligence Military-Civil Integration Innovation Center
National Defense Technology Innovation Institute PLA Academy of Military Science
Original Assignee
Tianjin (binhai) Intelligence Military-Civil Integration Innovation Center
National Defense Technology Innovation Institute PLA Academy of Military Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin (binhai) Intelligence Military-Civil Integration Innovation Center, National Defense Technology Innovation Institute PLA Academy of Military Science filed Critical Tianjin (binhai) Intelligence Military-Civil Integration Innovation Center
Priority to CN202110436248.2A priority Critical patent/CN113269699B/zh
Publication of CN113269699A publication Critical patent/CN113269699A/zh
Application granted granted Critical
Publication of CN113269699B publication Critical patent/CN113269699B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及计算机视觉中的光流估计技术领域，具体而言，本申请涉及基于异步事件流与灰度图像融合的光流估计方法与***。所述方法包括以下步骤：获取异步事件流与同步灰度图像；对所述异步事件流与同步灰度图像进行预处理，得到事件帧与灰度图像；对所述事件帧与灰度图像按照时间对齐进行通道叠加扩充得到多通道的复合图像，对所述复合图像进行池化得到区域特征矩阵，对所述区域特征矩阵叠加获得相应的张量，再将所述张量输入到权重自适应提取网络进行融合；将融合后得到的融合图像输入训练好的光流估计深度神经网络，获得最终的光流估计结果。本方法与***将事件流与灰度图像有机融合，能够提高光流估计算法的鲁棒性与泛化性。

Description

基于异步事件流与灰度图像融合的光流估计方法与***
技术领域
本申请涉及计算机视觉中的光流估计技术领域，更为具体来说，本申请涉及基于异步事件流与灰度图像融合的光流估计方法与***。
背景技术
对于光流估计视觉任务而言，清晰稳定的输入是确保算法性能的基本前提。在普通场景下，传统相机可以捕捉到较为清晰的图像，然而在高速运动、光照变化强烈等复杂情况下，基于传统相机的光流估计方法性能会受到影响。事件相机是一种新型仿生视觉传感器，该相机具有高动态范围、高时间分辨率、低延迟等特点，尤其适合于高速动态场景。现有的光流估计方法要么只利用事件相机，要么只利用传统相机，将互补的二者结合起来有利于提高光流估计算法的鲁棒性。
事件相机输出的是异步的事件流，其独特的成像方式，使得其在光照变化不够明显，或者与环境间的相对运动变化不大的情况下输出的数据往往是不稳定的、不可靠的，包含有很多噪点。在这种情况下，传统相机可以互补地捕捉到较为清晰的图像。目前有许多面向异步事件流或者传统相机的光流估计算法，但是还没有将二者结合起来的用于光流估计的方法。
事件相机输出的是异步的事件流，与传统的灰度图像在数据格式上有本质上的区别，要想将二者融合首先是需要将事件流处理成与灰度图像具有相同格式的数据。常用的方法是事件流的事件计数表示法与最近时间戳表示法。在其他视觉任务领域中，可见的事件流与传统图像融合的方法最多的是基于通道扩充的直接融合法。这种融合方法没有考虑到在不同情况下事件帧与传统图像的成像质量不同，而是将二者等比融合。同时，在一个图像的不同区域内也存在二者质量分布的差别。
因此，本申请提出基于异步事件流与灰度图像融合的光流估计方法与***，以至少部分地解决上述技术问题。
发明内容
本发明做法是将异步事件流变为与同步灰度图像相同的格式，再将二者融合，从而提高光流估计法的鲁棒性与泛化性。
为实现上述技术目的，本申请提供了基于异步事件流与灰度图像融合的光流估计方法，包括以下步骤：
获取异步事件流与同步灰度图像；
对所述异步事件流与同步灰度图像进行预处理，得到事件帧与灰度图像；
对所述事件帧与灰度图像按照时间对齐进行通道叠加扩充得到多通道的复合图像，对所述复合图像进行池化得到区域特征矩阵，对所述区域特征矩阵叠加获得相应的张量，再将所述张量输入到权重自适应提取网络进行融合；
将融合后得到的融合图像输入训练好的光流估计深度神经网络，获得最终的光流估计结果。
优选地，所述获取异步事件流与同步灰度图像通过事件相机、场景构建和运动控制获得。
优选地，所述多通道为五通道。
进一步地，所述对所述异步事件流与同步灰度图像进行预处理，得到事件帧与灰度图像，具体包括：
将离散的事件按照左右双目相机划分为两个主题，分别对应事件和灰度图像；
将所有事件打包为rosbag格式文件包；
将灰度图像以jpg格式进行存储，并按照时间序列对其进行标号，得到灰度图像序列；
接收所述rosbag格式文件包和所述灰度图像序列，将rosbag格式文件包中的异步事件流叠加成与灰度图像具有相同尺寸大小的同步帧的格式，记为事件帧。
进一步地，所述事件帧的表示方法采用事件计数图像或最近时间戳图像表示法。
进一步地，对所述事件帧与灰度图像按照时间对齐进行通道叠加扩充得到五通道的复合图像，对其进行池化得到区域特征矩阵，对所述区域特征矩阵叠加获得相应的张量，再将所述张量输入到自适应提取网络进行融合，具体包括：
接收具有同样大小的事件帧与灰度图像共五个帧，其中，五个帧包含正事件的计数图像1帧与其最近时间戳图像1帧、负事件的计数图像1帧与其最近时间戳图像1帧及灰度图像1帧；
对所述五个帧按照时间对齐进行通道叠加扩充，得到包含五个通道的复合图像；
将所述复合图像的每个通道按比例划分为4×4共16个小区域，然后对每个小区域进行区域平均池化，池化后区域内的所有像素被缩小为一个值代替，得到4×4大小的区域特征矩阵；
将所述区域特征矩阵进行叠加得到4×4×5大小的张量，然后将其输入到权重自适应提取网络进行融合。
优选地，所述权重自适应提取网络由两层全连接层实现，第一层全连接的激活函数为ReLU激活函数，第二层全连接的激活函数为Sigmoid激活函数，所述权重自适应提取网络输出的是与输入相同大小的4×4×5的张量。
优选地，所述光流估计深度神经网络的训练步骤包括：
获取事件帧与灰度图像的融合图像；
对所述融合图像进行卷积编码与上采样解码；
计算自监督损失，损失函数包括光滑误差和光度误差；
更新网络连接参数。
优选地，所述光流估计深度神经网络采用4层编码层、2层残差层和4层解码层。
本发明第二方面还提供了一种基于异步事件流与灰度图像融合的光流估计***，包括：
***底层模块，用于获取异步事件流与同步灰度图像；
事件帧生成模块，用于对所述异步事件流与同步灰度图像进行预处理，得到事件帧与灰度图像；
事件帧与灰度图像融合模块，用于对所述事件帧与灰度图像按照时间对齐进行通道叠加扩充得到多通道的复合图像，对所述复合图像进行池化得到区域特征矩阵，对所述区域特征矩阵叠加获得相应的张量，再将所述张量输入到权重自适应提取网络进行融合；
光流估计深度神经网络模块，用于将融合后得到的融合图像输入训练好的光流估计深度神经网络，获得最终的光流估计结果。
本申请的有益效果为：
本申请提出的基于异步事件流与灰度图像融合的光流估计方法与***，实现了原始三维的异步事件流与灰度图像较好的融合，在二者数据格式截然不同的情况下最终得到清晰的二维图像，将二者有机融合，进而提高了光流估计算法的鲁棒性与泛化性。
附图说明
图1示出了本申请实施例1的方法流程示意图；
图2示出了采用本申请实施例1中融合的过程示意图；
图3示出了采用本申请实施例1中光流估计整体过程示意图；
图4示出了采用本申请实施例2中的***结构图；
图5示出了采用本申请实施例3中***结构及过程图。
具体实施方式
以下，将参照附图来描述本申请的实施例。但是应该理解的是，这些描述只是示例性的，而并非要限制本申请的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本申请的概念。对于本领域技术人员来说显而易见的是，本申请可以无需一个或多个这些细节而得以实施。在其他的例子中，为了避免与本申请发生混淆，对于本领域公知的一些技术特征未进行描述。
应予以注意的是，这里所使用的术语仅是为了描述具体实施例，而非意图限制根据本申请的示例性实施例。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式。此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在所述特征、整体、步骤、操作、元件和/或组件，但不排除存在或附加一个或多个其他特征、整体、步骤、操作、元件、组件和/或它们的组合。
现在，将参照附图更详细地描述根据本申请的示例性实施例。然而，这些示例性实施例可以多种不同的形式来实施，并且不应当被解释为只限于这里所阐述的实施例。附图并非是按比例绘制的，其中为了清楚表达的目的，可能放大了某些细节，并且可能省略了某些细节。图中所示出的各种区域、层的形状以及它们之间的相对大小、位置关系仅是示例性的，实际中可能由于制造公差或技术限制而有所偏差，并且本领域技术人员根据实际所需可以另外设计具有不同形状、大小、相对位置的区域/层。
实施例1：
本实施例实施了一种基于异步事件流与灰度图像融合的光流估计方法，如图1所示，包括以下步骤：
S1、获取异步事件流与同步灰度图像；
S2、对所述异步事件流与同步灰度图像进行预处理，得到事件帧与灰度图像；
S3、对所述事件帧与灰度图像按照时间对齐进行通道叠加扩充得到多通道的复合图像，对所述复合图像进行池化得到区域特征矩阵，对所述区域特征矩阵叠加获得相应的张量，再将所述张量输入到权重自适应提取网络进行融合；
S4、将融合后得到的融合图像输入训练好的光流估计深度神经网络，获得最终的光流估计结果。
优选地，所述获取异步事件流与同步灰度图像通过事件相机、场景构建和运动控制获得。
优选地，所述多通道为五通道。
S2中所述对所述异步事件流与同步灰度图像进行预处理，得到事件帧与灰度图像，具体包括：
将离散的事件按照左右双目相机划分为两个主题(topic)，分别对应事件和灰度图像；
将所有事件打包为rosbag格式文件包，为了控制rosbag文件的大小，减少***读取数据所用的时间，每个rosbag格式文件包的时间长度均设置为10秒；
将灰度图像以jpg格式进行存储，并按照时间序列对其进行标号，得到灰度图像序列；
接收所述rosbag格式文件包和所述灰度图像序列，以灰度图像的帧间时间间隔为累积时间跨度，将rosbag格式文件包中的异步事件流叠加成与灰度图像具有相同尺寸大小的同步帧的格式，记为事件帧。
上述在得到事件帧之前的所有操作是所述预处理。
进一步地，所述事件帧的表示方法采用事件计数图像或最近时间戳图像表示法。
S3中对所述事件帧与灰度图像按照时间对齐进行通道叠加扩充得到五通道的复合图像，对其进行池化得到区域特征矩阵，对所述区域特征矩阵叠加获得相应的张量，再将所述张量输入到自适应提取网络进行融合，具体包括：
接收具有同样大小的事件帧与灰度图像共五个帧，其中，五个帧包含正事件的计数图像1帧与其最近时间戳图像1帧、负事件的计数图像1帧与其最近时间戳图像1帧及灰度图像1帧；
对所述五个帧按照时间对齐进行通道叠加扩充，得到包含五个通道的复合图像；
为了获得各个区域的特征，又考虑到数据量的大小，将所述复合图像的每个通道按比例划分为4×4共16个小区域，然后对每个小区域进行区域平均池化，池化后区域内的所有像素被缩小为一个值代替，得到4×4大小的区域特征矩阵；
将所述区域特征矩阵进行叠加得到4×4×5大小的张量，然后将其输入到权重自适应提取网络进行融合。
优选地，所述权重自适应提取网络由两层全连接层实现，第一层全连接的激活函数为ReLU激活函数，第二层全连接的激活函数为Sigmoid激活函数，所述权重自适应提取网络输出的是与输入相同大小的4×4×5的张量。融合的过程示意图如图2所示，在图2中，F表示function的首字母缩写，lsq表示local squeeze的简写，ex表示Extraction-Net的简写。异步事件x原本是三维的，将其按照时间对齐进行通道扩充为五个通道(c是channel的首字母，代表通道)，也就是上述五个帧，其中，五个帧包含正事件的计数图像1帧与其最近时间戳图像1帧、负事件的计数图像1帧与其最近时间戳图像1帧及灰度图像1帧。在此，帧与通道同义，每个通道按比例划分为4×4共16个小区域，然后对每个小区域进行区域平均池化，池化后区域内的所有像素被缩小为一个值代替，得到4×4大小的区域特征矩阵，将所述区域特征矩阵叠加得到4×4×5大小的张量，然后将其输入到权重自适应提取网络进行自适应加权计算，使异步事件与灰度图像融合，使x变为
Figure BDA0003033216710000091
所述权重自适应提取网络实现事件帧与灰度图像融合，假设相比之下通道1更清晰，那么说明权重自适应提取网络给其分配的权重就大，所以说实现了自适应性的权重计算，使异步事件流与同步灰度图像达到有效融合。
优选地，S4中所述光流估计深度神经网络的训练步骤包括：
获取事件帧与灰度图像的融合图像；
对所述融合图像进行卷积编码与上采样解码；
计算自监督损失，损失函数包括光滑误差和光度误差；
更新网络连接参数。
基于异步事件流与灰度图像融合的光流估计整体过程示意图如图3所示，在图3中，权重自适应提取网络简称为LSENet。另外优选地，所述光流估计深度神经网络采用4层编码层、2层残差层和4层解码层。编码层采用步长为2的卷积实现，每经过一层编码层，图像的尺寸就缩小一半，同时通道数扩充一倍，同时为了增强***对于不同尺寸下图像的适应性，每层编码层得到的数据保存起来，用于之后与对应编码层的跳连接。残差层的引入是为了防止过拟合。解码层采用双线性插值上采样实现，原始数据每经过一层解码层后，数据尺寸会增加一倍，通道数会减少一半。解码得到的数据将与对应的编码层得到的数据一起输入下一层解码层中。网络训练采用了自监督方式实现，损失函数包括光滑误差与光度误差。
实施例2：
本实施例实施了一种基于异步事件流与灰度图像融合的光流估计***，如图4所示，包括：
***底层模块501，用于获取异步事件流与同步灰度图像；
事件帧生成模块502，用于对所述异步事件流与同步灰度图像进行预处理，得到事件帧与灰度图像；
事件帧与灰度图像融合模块503，用于对所述事件帧与灰度图像按照时间对齐进行通道叠加扩充得到多通道的复合图像，对所述复合图像进行池化得到区域特征矩阵，对所述区域特征矩阵叠加获得相应的张量，再将所述张量输入到权重自适应提取网络进行融合；
光流估计深度神经网络模块504，用于将融合后得到的融合图像输入训练好的光流估计深度神经网络，获得最终的光流估计结果。
实施例3：
本实施例实施了一种基于异步事件流与灰度图像融合的光流估计***，如图5所示，包括：***底层模块、事件帧生成模块、事件帧与灰度图像融合模块和光流估计深度神经网络模块。
***底层模块，搭载了事件相机的智能体，可以同步采集异步事件流与传统灰度图像，通常还包括智能体自带的运动控制模块及场景构建模块。ROS和Ubuntu操作***从事件相机DAVIS 346接收异步事件流，将离散的独立的事件点按照左右双目相机的不同划分为两个topic，然后将每个topic内的所有事件打包为rosbag格式文件包，便于后续对事件的处理与筛选。灰度图像以jpg格式进行存储，并按照时间序列对其进行标号，得到灰度图像序列。接收所述rosbag格式文件包和所述灰度图像序列，以灰度图像的帧间时间间隔为累积时间跨度，将rosbag格式文件包中的异步事件流叠加成与灰度图像具有相同尺寸大小的同步帧的格式，记为事件帧。
事件帧生成模块，用于对所述异步事件流与同步灰度图像进行预处理，得到事件帧与灰度图像，而上述得到事件帧与灰度图像之前的所有操作是预处理。
事件帧与灰度图像融合模块，用于对所述事件帧与灰度图像按照时间对齐进行通道叠加扩充得到多通道的复合图像，对所述复合图像进行池化得到区域特征矩阵，对所述区域特征矩阵叠加获得相应的张量，再将所述张量输入到权重自适应提取网络进行融合。即将所述张量输入(Extraction-Net)进行自适应权重学习，该网络由两层全连接网络实现，第一层全连接的激活函数为ReLU激活函数，第二层全连接的激活函数为Sigmoid激活函数，最后输出的是与输入相同大小的4×4×5的张量。
光流估计深度神经网络模块，用于接收事件帧与灰度图像融合模块输出的融合图像，通过训练好的光流估计深度神经网络，获得最终的光流估计结果。光流估计深度神经网络采用4层编码层、2层残差层和4层解码层。编码层采用步长为2的卷积实现，每经过一层编码层，图像的尺寸就缩小一半，同时通道数扩充一倍，同时为了增强***对于不同尺寸下图像的适应性，每层编码层得到的数据保存起来，用于之后与对应编码层的跳连接。残差层的引入是为了防止过拟合。解码层采用双线性插值上采样实现，原始数据每经过一层解码层后，数据尺寸会增加一倍，通道数会减少一半。解码得到的数据将与对应的编码层得到的数据一起输入下一层解码层中。网络训练采用了自监督方式实现，损失函数包括光滑误差与光度误差。
作为可变换的实施方式，再如图5所示，本实施例中光流估计深度神经网络模块将输出彩色光流估计图，可输入到下游应用，如应急避障、视觉里程计、视频分析和气象预测等应用。
以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (8)

1.一种基于异步事件流与灰度图像融合的光流估计方法，其特征在于，包括以下步骤：
获取异步事件流与同步灰度图像；
对所述异步事件流与同步灰度图像进行预处理，得到事件帧与灰度图像；
对所述事件帧与灰度图像按照时间对齐进行通道叠加扩充得到多通道的复合图像，对所述复合图像进行池化得到区域特征矩阵，对所述区域特征矩阵叠加获得相应的张量，再将所述张量输入到权重自适应提取网络进行融合；
将融合后得到的融合图像输入训练好的光流估计深度神经网络，获得最终的光流估计结果；
其中，所述多通道为五通道；
对所述事件帧与灰度图像按照时间对齐进行通道叠加扩充得到五通道的复合图像，对其进行池化得到区域特征矩阵，对所述区域特征矩阵叠加获得相应的张量，再将所述张量输入到自适应提取网络进行融合，具体包括：
接收具有同样大小的事件帧与灰度图像共五个帧，其中，五个帧包含正事件的计数图像1帧与其最近时间戳图像1帧、负事件的计数图像1帧与其最近时间戳图像1帧及灰度图像1帧；
对所述五个帧按照时间对齐进行通道叠加扩充，得到包含五个通道的复合图像；
将所述复合图像的每个通道按比例划分为4×4共16个小区域，然后对每个小区域进行区域平均池化，池化后区域内的所有像素被缩小为一个值代替，得到4×4大小的区域特征矩阵；
将所述区域特征矩阵进行叠加得到4×4×5大小的张量，然后将其输入到权重自适应提取网络进行融合。
2.根据权利要求1所述的基于异步事件流与灰度图像融合的光流估计方法，其特征在于，所述获取异步事件流与同步灰度图像通过事件相机、场景构建和运动控制获得。
3.根据权利要求1所述的基于异步事件流与灰度图像融合的光流估计方法，其特征在于，所述对所述异步事件流与同步灰度图像进行预处理，得到事件帧与灰度图像，具体包括：
将离散的事件按照左右双目相机划分为两个主题，分别对应事件和灰度图像；
将所有事件打包为rosbag格式文件包；
将灰度图像以jpg格式进行存储，并按照时间序列对其进行标号，得到灰度图像序列；
接收所述rosbag格式文件包和所述灰度图像序列，将rosbag格式文件包中的异步事件流叠加成与灰度图像具有相同尺寸大小的同步帧的格式，记为事件帧。
4.根据权利要求3所述的基于异步事件流与灰度图像融合的光流估计方法，其特征在于，所述事件帧的表示方法采用事件计数图像或最近时间戳图像表示法。
5.根据权利要求1所述的基于异步事件流与灰度图像融合的光流估计方法，其特征在于，所述权重自适应提取网络由两层全连接层实现，第一层全连接的激活函数为ReLU激活函数，第二层全连接的激活函数为Sigmoid激活函数，所述权重自适应提取网络输出的是与输入相同大小的4×4×5的张量。
6.根据权利要求1所述的基于异步事件流与灰度图像融合的光流估计方法，其特征在于，所述光流估计深度神经网络的训练步骤包括：
获取事件帧与灰度图像的融合图像；
对所述融合图像进行卷积编码与上采样解码；
计算自监督损失，损失函数包括光滑误差和光度误差；
更新网络连接参数。
7.根据权利要求6所述的基于异步事件流与灰度图像融合的光流估计方法，其特征在于，所述光流估计深度神经网络采用4层编码层、2层残差层和4层解码层。
8.一种基于异步事件流与灰度图像融合的光流估计***，其特征在于，包括：
***底层模块，用于获取异步事件流与同步灰度图像；
事件帧生成模块，用于对所述异步事件流与同步灰度图像进行预处理，得到事件帧与灰度图像；
事件帧与灰度图像融合模块，用于对所述事件帧与灰度图像按照时间对齐进行通道叠加扩充得到多通道的复合图像，对所述复合图像进行池化得到区域特征矩阵，对所述区域特征矩阵叠加获得相应的张量，再将所述张量输入到权重自适应提取网络进行融合；
光流估计深度神经网络模块，用于将融合后得到的融合图像输入训练好的光流估计深度神经网络，获得最终的光流估计结果；
其中，所述多通道为五通道；
对所述事件帧与灰度图像按照时间对齐进行通道叠加扩充得到五通道的复合图像，对其进行池化得到区域特征矩阵，对所述区域特征矩阵叠加获得相应的张量，再将所述张量输入到自适应提取网络进行融合，具体包括：
接收具有同样大小的事件帧与灰度图像共五个帧，其中，五个帧包含正事件的计数图像1帧与其最近时间戳图像1帧、负事件的计数图像1帧与其最近时间戳图像1帧及灰度图像1帧；
对所述五个帧按照时间对齐进行通道叠加扩充，得到包含五个通道的复合图像；
将所述复合图像的每个通道按比例划分为4×4共16个小区域，然后对每个小区域进行区域平均池化，池化后区域内的所有像素被缩小为一个值代替，得到4×4大小的区域特征矩阵；
将所述区域特征矩阵进行叠加得到4×4×5大小的张量，然后将其输入到权重自适应提取网络进行融合。
CN202110436248.2A 2021-04-22 2021-04-22 基于异步事件流与灰度图像融合的光流估计方法与*** Active CN113269699B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110436248.2A CN113269699B (zh) 2021-04-22 2021-04-22 基于异步事件流与灰度图像融合的光流估计方法与***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110436248.2A CN113269699B (zh) 2021-04-22 2021-04-22 基于异步事件流与灰度图像融合的光流估计方法与***

Publications (2)

Publication Number Publication Date
CN113269699A CN113269699A (zh) 2021-08-17
CN113269699B true CN113269699B (zh) 2023-01-03

Family

ID=77229092

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110436248.2A Active CN113269699B (zh) 2021-04-22 2021-04-22 基于异步事件流与灰度图像融合的光流估计方法与***

Country Status (1)

Country Link
CN (1) CN113269699B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114548058A (zh) * 2022-02-16 2022-05-27 东风商用车有限公司 一种基于ros的智能驾驶数据分析与同步方法
CN114723009B (zh) * 2022-04-12 2023-04-25 重庆大学 一种基于异步事件流的数据表示方法及***

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111798395A (zh) * 2020-06-30 2020-10-20 武汉大学 基于tv约束的事件相机图像重建方法及***
CN111798370A (zh) * 2020-06-30 2020-10-20 武汉大学 基于流形约束的事件相机图像重建方法及***
WO2021035807A1 (zh) * 2019-08-23 2021-03-04 深圳大学 一种融合光流信息和Siamese框架的目标跟踪方法及装置
CN112529944A (zh) * 2020-12-05 2021-03-19 东南大学 一种基于事件相机的端到端无监督光流估计方法
CN112686928A (zh) * 2021-01-07 2021-04-20 大连理工大学 一种基于多源信息融合的运动目标视觉跟踪方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10733428B2 (en) * 2017-02-01 2020-08-04 The Government Of The United States Of America, As Represented By The Secretary Of The Navy Recognition actions on event based cameras with motion event features
US11288818B2 (en) * 2019-02-19 2022-03-29 The Trustees Of The University Of Pennsylvania Methods, systems, and computer readable media for estimation of optical flow, depth, and egomotion using neural network trained using event-based learning
CN110111366B (zh) * 2019-05-06 2021-04-30 北京理工大学 一种基于多级损失量的端到端光流估计方法
CN111667442B (zh) * 2020-05-21 2022-04-01 武汉大学 一种基于事件相机的高质量高帧率图像重建方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021035807A1 (zh) * 2019-08-23 2021-03-04 深圳大学 一种融合光流信息和Siamese框架的目标跟踪方法及装置
CN111798395A (zh) * 2020-06-30 2020-10-20 武汉大学 基于tv约束的事件相机图像重建方法及***
CN111798370A (zh) * 2020-06-30 2020-10-20 武汉大学 基于流形约束的事件相机图像重建方法及***
CN112529944A (zh) * 2020-12-05 2021-03-19 东南大学 一种基于事件相机的端到端无监督光流估计方法
CN112686928A (zh) * 2021-01-07 2021-04-20 大连理工大学 一种基于多源信息融合的运动目标视觉跟踪方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
EV-FlowNet: Self-Supervised Optical Flow Estimation for Event-based Cameras;Alex Zihao Zhu et.al.;《arXiv》;20180813;全文 *
双路融合的深度估计神经网络方法研究;刘春等;《计算机工程与应用》;20191010(第20期);全文 *
基于动态视觉传感器的目标跟踪算法研究;赵园良;《中国优秀博硕士学位论文全文数据库(硕士)》;20210115;全文 *
基于多流对极卷积神经网络的光场图像深度估计;王硕等;《计算机应用与软件》;20200812(第08期);全文 *

Also Published As

Publication number Publication date
CN113269699A (zh) 2021-08-17

Similar Documents

Publication Publication Date Title
WO2021179820A1 (zh) 图像处理方法、装置、存储介质及电子设备
CN109377530B (zh) 一种基于深度神经网络的双目深度估计方法
KR101947782B1 (ko) 열화상 영상 기반의 거리 추정 장치 및 방법. 그리고 이를 위한 신경망 학습 방법
CN113269699B (zh) 基于异步事件流与灰度图像融合的光流估计方法与***
CN113837938B (zh) 基于动态视觉传感器重建潜在图像的超分辨率方法
WO2022022288A1 (zh) 一种图像处理方法以及装置
CN111462149B (zh) 一种基于视觉显著性的实例人体解析方法
CN111784623A (zh) 图像处理方法、装置、计算机设备和存储介质
CN112529944B (zh) 一种基于事件相机的端到端无监督光流估计方法
CN112580545B (zh) 基于多尺度自适应上下文网络的人群计数方法及***
CN113034413A (zh) 一种基于多尺度融合残差编解码器的低照度图像增强方法
CN112085768A (zh) 光流信息预测方法、装置、电子设备和存储介质
CN115035171A (zh) 基于自注意力导向特征融合的自监督单目深度估计方法
CN115249382A (zh) 一种基于Transformer与CNN的静默活体检测方法
CN113191301B (zh) 融合时序和空间信息的视频密集人群计数方法及***
US20240062347A1 (en) Multi-scale fusion defogging method based on stacked hourglass network
TWI826160B (zh) 圖像編解碼方法和裝置
CN116091337A (zh) 一种基于事件信号神经编码方式的图像增强方法及装置
CN112164078B (zh) 基于编码器-解码器的rgb-d多尺度语义分割方法
CN115330655A (zh) 一种基于自注意力机制的图像融合方法及***
CN114119678A (zh) 光流估计方法、计算机程序产品、存储介质及电子设备
CN115700771A (zh) 编解码方法及装置
CN113762032A (zh) 图像处理方法、装置、电子设备及存储介质
EP4174757B1 (en) Method and system for embedding information in a video signal
KR20220020560A (ko) 컨볼루션 순환신경망을 이용한 프레임률 향상방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant