CN111798395B - 基于tv约束的事件相机图像重建方法及*** - Google Patents
基于tv约束的事件相机图像重建方法及*** Download PDFInfo
- Publication number
- CN111798395B CN111798395B CN202010620396.5A CN202010620396A CN111798395B CN 111798395 B CN111798395 B CN 111798395B CN 202010620396 A CN202010620396 A CN 202010620396A CN 111798395 B CN111798395 B CN 111798395B
- Authority
- CN
- China
- Prior art keywords
- image
- event
- camera
- double
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000005457 optimization Methods 0.000 claims abstract description 8
- 238000012804 iterative process Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000013178 mathematical model Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 210000001525 retina Anatomy 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000011664 nicotinic acid Substances 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/269—Analysis of motion using gradient-based methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- Multimedia (AREA)
- Pure & Applied Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Mathematics (AREA)
- Mathematical Optimization (AREA)
- Databases & Information Systems (AREA)
- Algebra (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Operations Research (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
本发明提供一种基于TV约束的事件相机图像重建方法及***,包括事件相机同时输出强度图像序列和事件流,对事件相机输出的每帧图像,根据该帧的时间戳提取曝光时间内的事件流;建立事件双积分模型,该模型建立相机拍摄的图像、事件数据及清晰的瞬时强度图像之间的关系;在事件双积分模型基础上引入TV正则项的分段光滑先验作为重建图像的空间约束,从建立图像重建的变分模型;基于所得图像重建的变分模型,通过联合优化求解来重建出高质量的灰度图像序列。本发明能解决事件相机图像重建中的运动模糊和噪声问题,恢复出高帧率的高质量强度图像序列。
Description
技术领域
本发明涉及图像处理领域,尤其是基于TV约束的事件相机图像重建方法及***。
背景技术
事件相机是受人类视网膜启发的仿生视觉传感器,利用芯片模拟生物视网膜对外界光强变化的感知过程。与传统相机输出的图像帧不同,事件相机是通过感知场景亮度变化的方式来异步地获取光强变化信息,输出一系列的异步事件流,其中每一事件包含像素坐标,时间以及极性:e={x,y,t,p},x,y表示坐标,t表示时间戳,p=±1表示极性(+1表示亮度增强,-1表示亮度减小),如图1所示。与传统相机相比,事件相机具有高时间分辨率、低延迟(1μs)、高动态范围(>120dB)以及低功耗(10mW)等特点,这些优势使得该传感器在高速机器人定位、目标跟踪与识别等研究领域中,具有极广泛的应用前景。
在事件相机的相关研究中,事件相机和传统光学相机的输出方式不同导致许多成熟的基于图像帧的视觉方法不能直接应用于事件相机,事件相机输出的事件流缺乏场景纹理和细节信息且存在大量噪声。因此,为了使事件相机在视觉任务中得到有效应用,在为事件相机开发新的计算机视觉方法基础上,需要对事件流进行图像重建以便于后续成熟的视觉方法的应用。基于事件相机的图像重建一方面能够提供有效的场景表示,便于建立事件与场景对应关系。另一方面图像重建是使得现有的图像处理方法和分析技术得以在事件相机中应用的基础,通过事件流重建出图像帧,后续就可以直接利用经典的图像处理的方式对重建出来的图像或视频进行分析和处理,例如目标检测、跟踪与识别等。
现有的事件相机,例如DAVIS(dynamicand active vision sensor)可以同时输出强度图像和事件流,但是相机拍摄的亮度图像帧率较低,延迟较高(≥5ms的延迟),事件相机在记录高动态的场景时,亮度图像会收到运动模糊和噪声影响。事件相机的高时间分辨率和高动态范围特性,给传统光学图像的运动模糊和饱和曝光等问题的解决提供了新的思路,使得事件相机能够解决极端环境下目标成像的问题。因此,研究基于事件相机的图像重建技术,利用事件数据的高时间分辨率和高动态范围特性,联合传统的低帧率强度图像,重建出高动态范围、高帧率的清晰图像或视频,获得能反映真实场景信息的有效表示,对于事件相机在实际场景中的应用具有重要价值。
发明内容
为了克服事件相机图像重建过程中的运动模糊以及噪声问题,本发明提供了一种基于TV约束的图像重建方案来重建清晰的强度图像。
本发明所采用的技术方案是一种基于TV约束的事件相机图像重建方法,包括如下步骤:
步骤1,事件相机同时输出强度图像序列和事件流;
步骤2,对事件相机输出的每帧图像Yi,根据该帧的时间戳ti提取曝光时间[ti-T/2,ti+T/2]内的事件流,其中,T为曝光时间长度;
步骤3,建立事件双积分模型,该模型建立相机拍摄的图像、事件数据及清晰的瞬时强度图像之间的关系,实现方式如下,
构建事件相机捕获的图像Yi与重建的灰度图像序列以及曝光时间[ti-T/2,ti+T/2]内事件流之间线性的数学关系:
其中,I(f)是在当前相机拍摄的图像的曝光时间内任意时刻f∈[ti-T/2,ti+T/2]处的图像强度,Ji(f)表示在f时刻从第i帧图像对应曝光时间内的事件流中计算出的双积分图像信号,τ为积分符号,exp()表示指数函数,e()表示事件;
步骤4,在事件双积分模型基础上引入TV正则项的分段光滑先验作为重建图像的空间约束,从建立图像重建的变分模型如下,
步骤5,基于步骤4所得图像重建的变分模型,通过联合优化求解来重建出高质量的灰度图像序列。
而且,步骤5中,通过联合优化求解来重建出高质量的灰度图像序列时,利用基于***Bregman迭代的交替迭代最小化方式实现。
而且,迭代过程实现如下,
在迭代收敛时重建出质量较高的强度图像。
而且,对任意帧图像Yi进行图像重建,重建的帧速率达到事件相机的触发速率。
本发明还提供一种基于TV约束的事件相机图像重建***,用于执行如上所述基于TV约束的事件相机图像重建方法。
本发明能解决事件相机图像重建中的运动模糊和噪声问题,通过联合事件相机的传统图像帧和事件流,通过两者的信息互补融合,并在重建过程中引入全变分空间平滑约束,去除运动模糊的同时抑制重建图像的噪声,恢复出高帧率的高质量强度图像序列。
附图说明
图1是传统相机和事件相机数据对比图。
图2是本发明实施例基于TV约束的事件相机图像重建流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实例仅仅用于解释本发明,并不用于限定本发明。
本发明主要是融合传统图像和事件流二者信息来完成图像重建,根据图像的模糊生成模型以及事件生成模型推导出事件双积分模型,在此基础上将事件数据和图像数据融合并引入图像空间平滑约束,提出一种基于TV约束的图像重建方法。首先利用相机的模糊图像生成模型,在时间方向上对相机的图像生成过程建模,然后根据事件相机的数学模型,联合图像模糊生成模型推导出一种简单有效的事件的双积分模型,该模型充分利用了事件流的高分率时间特性建立了相机拍摄的图像,事件数据及清晰的高帧率潜在图像之间的关系,即模糊图像可以视为是高帧率的潜在图像序列的积分,而事件则表示潜在图像之间的强度变化。最后,在事件双积分模型基础上引入TV正则项的分段光滑先验作为重建图像的空间约束,从而建立图像重建的变分模型,通过联合优化求解来重建出高质量的灰度图像序列。
如图2所示,本发明实施例提供的一种基于TV空间约束的事件相机重建方法,具体实现步骤如下:
其中,Yi表示事件相机输出的第i帧图像,l为强度图像序列中图像帧数,em表示事件相机输出的个事件点,M为事件流中事件点的数目。
步骤2,对事件相机输出的每帧图像Yi,根据该帧的时间戳ti提取曝光时间[ti-T/2,ti+T/2]内的事件流;
其中,T为曝光时间长度。
步骤3,建立事件的双积分模型,该模型建立相机拍摄的图像、事件数据及清晰的瞬时强度图像之间的关系:
图像生成模型定义为在曝光时间内t时刻的瞬时强度图像I(t)的累积根据事件的生成模型log(I(t))-log(I(f))>p·c和事件的连续时间模型e(t)=pcδ(t-te),p=±1表示极性(+1表示亮度增强,-1表示亮度减小),c为对比度阈值,e()表示事件,te表示事件触发的时刻,可以推导出连续潜在图像序列I(t)与事件信号相关的数学模型,即:
其中,log()表示求对数,exp()表示指数函数,δ()为狄克拉函数,τ为积分符号,
该模型结合图像生成模型可推导出事件的双积分模型,构建事件相机捕获的图像Yi与重建的灰度图像序列I(f)以及曝光时间[ti-T/2,ti+T/2]内的事件流e(t)之间线性的数学关系:
其中,I(f)是在当前相机拍摄的图像的曝光时间内任意时刻f∈[ti-T/2,ti+T/2]处的图像强度,Ji(f)表示在f时刻从第i帧图像对应曝光时间内的事件流中计算出的双积分图像信号。
步骤4,在事件双积分模型基础上引入TV正则项的分段光滑先验作为重建图像的空间约束,从而建立图像重建的变分模型:
事件相机拍摄得到的原始图像信号和由事件流生成的双积分图像信号都是有噪声的。为了解决这些问题,在步骤3的双积分模型基础上引入全变分(TV,Total Variation)空间平滑正则项来抑制噪声,惩罚空间波动的同时保留边缘,将事件相机图像重建问题转化能量最小化问题:
步骤5,通过联合优化求解来重建出高质量的灰度图像序列:
利用基于***Bregman迭代的交替迭代最小化方法对步骤4的优化问题进行求解。在迭代过程中,初始化首先固定双积分图像利用***Bregman方法更新估计的图像I(f),然后基于估计更新的图像I(f)同样利用***Bregman方法估计双积分图像重复迭代以达到最优的图像估计I(f),过程如下:
通常在迭代次数k≤5收敛重建出质量较高的强度图像I(f)。
具体实施时,该方法可采用计算机软件技术实现自动运行流程,实施方法流程的相应***装置也在本发明的保护范围内。
进一步地,对任意帧图像Yi,上述图像重建步骤均是等效的,可以估计任意时刻f处的图像I(f),理论上重建的帧速率可以达到事件相机的触发速率(每秒事件数)。
为便于了解本发明技术效果,提供采用以上实施例流程实现重建的实例如下:
(2)对于每一个新帧Yi,根据该帧的时间戳ti提取曝光时间[ti-T/2,ti+T/2]内的事件流;(3)对于曝光时间内任意时刻f=ti-T/2:Δt:ti+T/2,间隔时间Δt来控制重建的帧率Δt=T/20,根据事件双积分模型计算f时刻的双积分图像
通过事件相机重建示例,比较相机拍摄的图像、事件流及重建的结果,可见本发明方法能在去除图像运动模糊的同时降低图像噪声,重建出清晰图像。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代,但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
Claims (5)
1.一种基于TV约束的事件相机图像重建方法,其特征在于,包括如下步骤:
步骤1,事件相机同时输出强度图像序列和事件流;
步骤2,对事件相机输出的每帧图像Yi,根据该帧的时间戳ti提取曝光时间[ti-T/2,ti+T/2]内的事件流,其中,T为曝光时间长度;
步骤3,建立事件双积分模型,该模型建立相机拍摄的图像、事件数据及清晰的瞬时强度图像之间的关系,实现方式如下,
构建事件相机捕获的图像Yi与重建的灰度图像序列以及曝光时间[ti-T/2,ti+T/2]内事件流之间线性的数学关系:
其中,I(f)是在当前相机拍摄的图像的曝光时间内任意时刻f∈[ti-T/2,ti+T/2]处的图像强度,Ji(f)表示在f时刻从第i帧图像对应曝光时间内的事件流中计算出的双积分图像信号,τ为积分符号,exp()表示指数函数,e()表示事件;
步骤4,在事件双积分模型基础上引入TV正则项的分段光滑先验作为重建图像的空间约束,从而 建立图像重建的变分模型如下,
步骤5,基于步骤4所得图像重建的变分模型,通过联合优化求解来重建出高质量的灰度图像序列。
2.根据权利要求1所述基于TV约束的事件相机图像重建方法,其特征在于:步骤5中,通过联合优化求解来重建出高质量的灰度图像序列时,利用基于***Bregman迭代的交替迭代最小化方式实现。
4.根据权利要求1或2或3所述基于TV约束的事件相机图像重建方法,其特征在于:对任意帧图像Yi进行图像重建,重建的帧速率达到事件相机的触发速率。
5.一种基于TV约束的事件相机图像重建***,其特征在于:用于执行如权利要求1至4任一项所述基于TV约束的事件相机图像重建方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010620396.5A CN111798395B (zh) | 2020-06-30 | 2020-06-30 | 基于tv约束的事件相机图像重建方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010620396.5A CN111798395B (zh) | 2020-06-30 | 2020-06-30 | 基于tv约束的事件相机图像重建方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111798395A CN111798395A (zh) | 2020-10-20 |
CN111798395B true CN111798395B (zh) | 2022-08-30 |
Family
ID=72810782
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010620396.5A Active CN111798395B (zh) | 2020-06-30 | 2020-06-30 | 基于tv约束的事件相机图像重建方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111798395B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112232356B (zh) * | 2020-11-19 | 2023-09-22 | 中国人民解放军战略支援部队航天工程大学 | 一种基于合群度和边界特征的事件相机去噪方法 |
CN113067979A (zh) * | 2021-03-04 | 2021-07-02 | 北京大学 | 基于仿生式脉冲相机的成像方法、装置、设备及存储介质 |
CN113269699B (zh) * | 2021-04-22 | 2023-01-03 | 天津(滨海)人工智能军民融合创新中心 | 基于异步事件流与灰度图像融合的光流估计方法与*** |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105894550A (zh) * | 2016-03-31 | 2016-08-24 | 浙江大学 | 一种基于tv和稀疏约束的动态pet图像和示踪动力学参数同步重建方法 |
CN108182670A (zh) * | 2018-01-15 | 2018-06-19 | 清华大学 | 一种事件图像的分辨率增强方法及*** |
CN110148159A (zh) * | 2019-05-20 | 2019-08-20 | 厦门大学 | 一种基于事件相机的异步目标跟踪方法 |
CN110428477A (zh) * | 2019-06-24 | 2019-11-08 | 武汉大学 | 一种不受速度影响的事件相机的成图方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018037079A1 (en) * | 2016-08-24 | 2018-03-01 | Universität Zürich | Simultaneous localization and mapping with an event camera |
US11244464B2 (en) * | 2018-03-09 | 2022-02-08 | Samsung Electronics Co., Ltd | Method and apparatus for performing depth estimation of object |
CN110503686A (zh) * | 2019-07-31 | 2019-11-26 | 三星(中国)半导体有限公司 | 基于深度学习的物***姿估计方法及电子设备 |
-
2020
- 2020-06-30 CN CN202010620396.5A patent/CN111798395B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105894550A (zh) * | 2016-03-31 | 2016-08-24 | 浙江大学 | 一种基于tv和稀疏约束的动态pet图像和示踪动力学参数同步重建方法 |
CN108182670A (zh) * | 2018-01-15 | 2018-06-19 | 清华大学 | 一种事件图像的分辨率增强方法及*** |
CN110148159A (zh) * | 2019-05-20 | 2019-08-20 | 厦门大学 | 一种基于事件相机的异步目标跟踪方法 |
CN110428477A (zh) * | 2019-06-24 | 2019-11-08 | 武汉大学 | 一种不受速度影响的事件相机的成图方法 |
Non-Patent Citations (2)
Title |
---|
Real-Time Intensity-Image Reconstruction for Event Cameras Using Manifold Regularisation;Gottfried Munda;《International Journal of Computer Vision》;20180704;全文 * |
低维流形约束下的事件相机去噪算法;江盟等;《信号处理》;20191031;第35卷(第10期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN111798395A (zh) | 2020-10-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Rebecq et al. | High speed and high dynamic range video with an event camera | |
CN111798395B (zh) | 基于tv约束的事件相机图像重建方法及*** | |
Baldwin et al. | Time-ordered recent event (tore) volumes for event cameras | |
Pan et al. | High frame rate video reconstruction based on an event camera | |
Paredes-Vallés et al. | Back to event basics: Self-supervised learning of image reconstruction for event cameras via photometric constancy | |
Zhang et al. | Learning to restore hazy video: A new real-world dataset and a new method | |
CN111539884B (zh) | 一种基于多注意力机制融合的神经网络视频去模糊方法 | |
WO2020199831A1 (zh) | 图像处理模型的训练方法、图像处理方法、网络设备及存储介质 | |
CN111798370B (zh) | 基于流形约束的事件相机图像重建方法及*** | |
Zhao et al. | Super resolve dynamic scene from continuous spike streams | |
CN114245007B (zh) | 一种高帧率视频合成方法、装置、设备和存储介质 | |
Liu et al. | Self-supervised linear motion deblurring | |
CN106251297A (zh) | 一种改进的基于多幅图像模糊核估计的盲超分辨率重建算法 | |
CN111614965B (zh) | 基于图像网格光流滤波的无人机视频稳像方法及*** | |
Xiang et al. | Learning super-resolution reconstruction for high temporal resolution spike stream | |
Haoyu et al. | Learning to deblur and generate high frame rate video with an event camera | |
CN116579945B (zh) | 一种基于扩散模型的夜间图像复原方法 | |
Zhong et al. | Real-world video deblurring: A benchmark dataset and an efficient recurrent neural network | |
Yuan et al. | Single image dehazing via NIN-DehazeNet | |
Xin et al. | Video face super-resolution with motion-adaptive feedback cell | |
CN114494050A (zh) | 一种基于事件相机的自监督视频去模糊和图像插帧方法 | |
Tang et al. | Structure-embedded ghosting artifact suppression network for high dynamic range image reconstruction | |
Chen et al. | Self-supervised joint dynamic scene reconstruction and optical flow estimation for spiking camera | |
US8823809B1 (en) | Methods and systems for increasing image sensor sensitivity | |
Liu et al. | Sensing diversity and sparsity models for event generation and video reconstruction from events |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |