CN112396562B - 一种高动态范围场景下基于rgb与dvs图像融合的视差图增强方法 - Google Patents

一种高动态范围场景下基于rgb与dvs图像融合的视差图增强方法 Download PDF

Info

Publication number
CN112396562B
CN112396562B CN202011283187.2A CN202011283187A CN112396562B CN 112396562 B CN112396562 B CN 112396562B CN 202011283187 A CN202011283187 A CN 202011283187A CN 112396562 B CN112396562 B CN 112396562B
Authority
CN
China
Prior art keywords
image
images
dvs
camera
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011283187.2A
Other languages
English (en)
Other versions
CN112396562A (zh
Inventor
黄凯
孟浩
李博洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Yat Sen University
Original Assignee
Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Yat Sen University filed Critical Sun Yat Sen University
Priority to CN202011283187.2A priority Critical patent/CN112396562B/zh
Publication of CN112396562A publication Critical patent/CN112396562A/zh
Application granted granted Critical
Publication of CN112396562B publication Critical patent/CN112396562B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明属于机器人感知领域，更具体地，涉及一种高动态范围场景下基于RGB与DVS图像融合的视差图增强方法。包括：S1.部署双目RGB相机以及DVS相机，并对双目RGB相机以及DVS相机进行标定；S2.采集场景中双目相机RGB图像以及DVS图像，经过配准之后进行多尺度加权融合；S3.为融合后的图像生成针对计算机视觉的HDR图像；S4.基于步骤S3生成的HDR图像使用改进后的双目立体匹配算法SGM生成视差图。在隧道这类成像动态范围较大的场景中，解决相机出现的欠曝光以及高曝光问题，提高生成图像的质量，同时针对图像边缘区域不连续、不稳定的问题，通过引入其他信息源的方式，尽可能丰富边缘细节信息，提高最终生成的视差图在图像边缘处的准确率。

Description

一种高动态范围场景下基于RGB与DVS图像融合的视差图增强 方法
技术领域
本发明属于机器人感知领域，更具体地，涉及一种高动态范围场景下基于RGB与DVS图像融合的视差图增强方法。
背景技术
HDR(High-Dynamic Range)即高动态范围图像,相比于普通图像，它提供更多的动态范围以及图像细节信息。通过不同的曝光时间的LDR(Low-Dynamic Range低动态范围图像)，并利用每个曝光时间相对应最佳细节的LDR图像合成HDR图像.
相机标定是一种确定传感器成像几何模型参数的方法，该几何模型确定了空间物体表面点的三维几何位置与其在图像中对应像素点的相互关系。相机标定分为内参标定以及外参标定两种。内参标定获取相机坐标系与图像坐标系之间的投影关系；外参标定获取世界坐标系与相机坐标系的坐标转换关系，一般通过旋转矩阵(R)以及平移矩阵(T)来描述.
图像融合是使用特定的算法将两幅或者多幅图像综合成一幅新的图像，使得融合之后的图像包含信息更加丰富。目前经常使用的图像融合算法包括：数学形态法、HIS变换、拉普拉斯金字塔融合、小波变换法等.
双目立体匹配算法通过同一场景的左、右两幅视点图像获取视差图，进而获取深度图。目前最为常用的算法是半全局匹配(SGM)算法.
中国专利CN111833393A，公开日为2020.10.27，公开了一种基于边缘信息的双目立体匹配方法，基于图像边缘信息并利用超像素分割算法对像素点进行区域划分，最终能够获取到在遮挡区域以及边缘信息不连续区域更加精确的视差图。但是该发明仅仅适用于低动态范围的高质量图像，在隧道出入口这种动态范围大的场景中，相机产生的图像会出现欠曝光以及过曝光问题，通过该发明估计出的视差图的精确率会大大降低。
发明内容
本发明为克服上述现有技术中的至少一个缺陷，提供一种高动态范围场景下基于RGB与DVS图像融合的视差图增强方法，能够在成像动态范围较大的场景中更加准确、可靠、有效的实现视差图增强。
为解决上述技术问题，本发明采用的技术方案是：一种高动态范围场景下基于RGB与DVS图像融合的视差图增强方法，包括以下步骤：
S1.部署双目RGB相机以及DVS相机，并对双目RGB相机以及DVS相机进行标定；
S2.采集场景中双目相机RGB图像以及DVS图像，经过配准之后进行多尺度加权融合；
S3.为融合后的图像生成针对计算机视觉的HDR图像；
S4.基于步骤S3生成的HDR图像使用改进后的双目立体匹配算法SGM生成视差图。
进一步的，部署完双目RGB相机以及DVS相机之后，保证在多次获取数据的过程中各个传感器的位置相对不变，在整个过程中只需要进行一次标定；标定主要包括双目RGB相机以及DVS相机的内参标定以及RGB相机联合DVS相机的外参标定。
进一步的，DVS相机是一种基于光照强度变化触发的传感器，在光照强度变化时输出脉冲信号，对于单个像素点，其响应依赖于光照强度的变化，而非绝对的光照强度值，拥有高动态范围这一特性。除此之外，物体边缘由于其与背景之间的光照强度差异，因为能够被DVS相机更好地捕获。因此，本发明中使用DVS相机去增强图片的边缘信息。
进一步的，DVS相机获取的数据是异步事件流数据，没有普通相机中帧率的概念，所以DVS输出的并不是标准的图像帧，通过设定一个固定的时间片长度Δt并在该时间片内不断累积触发事件，然后将一段时间内累积的事件流叠加在一起，最后，通过一个厚度为d的事件筛平面之后得到图像帧。
进一步的，RGB相机使用棋盘格标定板进行标定内参时，固定相机位置然后固定棋盘格标定板抓拍一组图像，通过移动棋盘格标定板的方式获取多组图像；DVS相机只对光照强度变化敏感，因此DVS相机与棋盘格标定板都固定时，DVS无法获取并输出图像信息，在进行DVS内参标定时使用不断刷新的显示屏作为事件的触发源，通过在屏幕上显示棋盘格标定板同时进行DVS相机与RGB相机的内参标定。
进一步的，如果不同传感器图像之间出现位置的偏差，那么融合之后的图像整体会进一步放大偏差；因此，所述的步骤S2中，匹配过程包括：首先通过SIFT、ORB、SURF特征提取算法检测出特征点，然后对特征点进行匹配；获取到图像间的匹配对应点之后根据对应点信息计算两个图像的单应性矩阵，并通过单应性矩阵计算图像的对齐；单应性矩阵可以通过四个坐标点点对计算得出，在获取到单应性矩阵之后，便可以左乘源图像进行配准、对齐。
进一步的，如所述的步骤S2中，在融合之前，使用基于特征的图像配准的方法来减少不同传感器之间的几何空间差异，建立不同传感器图像之间的映射变换模型，将图像的像素通过映射模型对应到另外一个图像的像素上。
进一步的，图像融合部分采用金字塔变换方法，将图像通过滤波或者采样得到一个类似金字塔的分层结构，在金字塔的每一层使用加权融合的方法进行数据融合，获得一个金字塔形状的融合图像层；随着采样图像层的分辨率逐渐降低，针对分辨率较低但是频率高的图像层融合使用公式：
式中，CA(i,j)与CB(i,j)分别表示两组图像在(i,j)处的像素值，CF(i,j)表示融合图像在(i,j)处的像素值；
针对分辨率较高但是频率较低的图像采用公式：
CF(i,j)＝(CA(i,j)+CB(i,j))/2
取平均值作为融合结果；在得到每一层的融合结果之后，分别对每一层进行逆变换叠加得到整体的融合图像。
进一步的，在所述的步骤S3中，由于光线条件变化剧烈出现的曝光过度以及曝光不足的问题会严重影响融合图像的质量，通过自动多曝光控制方法得到两组不同曝光程度的图像，然后在这两组图像上应用改进过像素权重计算公式的Mertens算法得到HDR图像。
进一步的，生成HDR图像具体包括以下步骤：
计算每个像素的响应的测量值，公式如下：
式中，k＝0表示低曝光图像,k＝1表示高曝光图像，Ii,j表示图像在(i,j)处的灰度值，δ是一个常数；
然后计算低曝光以及高曝光图像每一个像素的初始权重，公式如下：
Wi,j,k＝min{wCCi,j,k+wEEi,j,k,1}
其中，Ci,j,k表示低曝光或者高曝光在(i,j)处的Constrast权重，wC以及wE分别表示两者的权重系数；
通过优化权重计算公式增强结果的数值稳定性，公式如下:
其中，N表示不同曝光图像的数量；Wi,j,k′表示第k′种曝光图像在下标(i,j)处的初始权重；
最后通过公式加权得到HDR图像；Ii,j,k′表示第k′种曝光图像在(i,j)处的灰度值。
进一步的，改进后的SGM算法中，首先使用具备光照不变性的Census变换代替原有SGM算法中的互信息MI去计算视差匹配代价，然后基于十字交叉邻域去进行代价聚合提高算法在灰度信息、深度信息不连续情况下的性能，最后按照SGM算法中的步骤进行视差计算以及视差优化。
本发明首先对双目RGB相机以及DVS相机进行标定，标定完成之后在数据采集时保持传感器之间的相对位置不变，避免破坏传感器坐标系之间的转换关系。在对RGB图像以及DVS图像进行融合之前，对图像进行基于特征的配准来减少不同传感器图像之间的几何空间差异。配准之后的图像利用金字塔变换的方法得到分层结构，在每一层使用加权融合的方法进行融合，并经过逆变换叠加的方式得到整体的融合图像。在融合基础之上，使用改进之后的Mertens算法通过两种不同曝光的图像得到HDR图像。最后使用一种改进过后的双目立体匹配算法——半全局匹配算法(SGM)从HDR图像中生成高质量视差图。
本发明能够在隧道这类成像动态范围较大的场景中，有效解决相机出现的欠曝光以及高曝光问题，提高生成图像的质量，同时针对图像边缘区域不连续、不稳定的问题，通过引入其他信息源的方式，尽可能丰富边缘细节信息，提高最终生成的视差图在图像边缘处的准确率。
与现有技术相比，有益效果是：
1.通过双目RGB图像与DVS图像融合的方式增强了图像的边缘信息，提高了生成的视差图在图像边缘处的准确率；
2.使用改进后的Mertens算法通过两种不同曝光的图像得到HDR图像，使得本发明可以在成像动态范围较大的场景中生成高质量的视差图；
3.在双目匹配算法中，使用Census变换代替SGM算法中原有的互信息的计算，保证了光照不变性的同时提高了算法的执行速度。
附图说明
图1是本发明方法整体流程示意图。
图2是本发明中DVS成像原理之意图。
图3是本发明基于金字塔变换的多尺度加权融合方法流程示意图。
图4是本发明图像金字塔结构模型结构示意图。
图5是本发明生成HDR图像流程图示意图。
图6是本发明改进后的SGM算法流程示意图。
具体实施方式
附图仅用于示例性说明，不能理解为对本发明的限制；为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。附图中描述位置关系仅用于示例性说明，不能理解为对本发明的限制。
如图1所示，一种高动态范围场景下基于RGB与DVS图像融合的视差图增强方法，包括以下步骤：
S1.部署双目RGB相机以及DVS相机，并对双目RGB相机以及DVS相机进行标定；
S2.采集场景中双目相机RGB图像以及DVS图像，经过配准之后进行多尺度加权融合；
S3.为融合后的图像生成针对计算机视觉的HDR图像；
S4.基于步骤S3生成的HDR图像使用改进后的双目立体匹配算法SGM生成视差图。
在其中一个实施例中，部署完双目RGB相机以及DVS相机之后，保证在多次获取数据的过程中各个传感器的位置相对不变，在整个过程中只需要进行一次标定；标定主要包括双目RGB相机以及DVS相机的内参标定以及RGB相机联合DVS相机的外参标定。
进一步的，如图2所示，DVS相机是一种基于光照强度变化触发的传感器，在光照强度变化时输出脉冲信号，对于单个像素点，其响应依赖于光照强度的变化，而非绝对的光照强度值，拥有高动态范围这一特性。除此之外，物体边缘由于其与背景之间的光照强度差异，因为能够被DVS相机更好地捕获。因此，本发明中使用DVS相机去增强图片的边缘信息。
DVS相机获取的数据是异步事件流数据，没有普通相机中帧率的概念，所以DVS输出的并不是标准的图像帧，通过设定一个固定的时间片长度Δt并在该时间片内不断累积触发事件，然后将一段时间内累积的事件流叠加在一起，最后，通过一个厚度为d的事件筛平面之后得到图像帧。
其中，RGB相机使用棋盘格标定板进行标定内参时，固定相机位置然后固定棋盘格标定板抓拍一组图像，通过移动棋盘格标定板的方式获取多组图像；DVS相机只对光照强度变化敏感，因此DVS相机与棋盘格标定板都固定时，DVS无法获取并输出图像信息，在进行DVS内参标定时使用不断刷新的显示屏作为事件的触发源，通过在屏幕上显示棋盘格标定板同时进行DVS相机与RGB相机的内参标定。
另外，如果不同传感器图像之间出现位置的偏差，那么融合之后的图像整体会进一步放大偏差；因此，所述的步骤S2中，匹配过程包括：首先通过SIFT、ORB、SURF特征提取算法检测出特征点，然后对特征点进行匹配；获取到图像间的匹配对应点之后根据对应点信息计算两个图像的单应性矩阵，并通过单应性矩阵计算图像的对齐；单应性矩阵可以通过四个坐标点点对计算得出，在获取到单应性矩阵之后，便可以左乘源图像进行配准、对齐。
其中，所述的步骤S2中，在融合之前，使用基于特征的图像配准的方法来减少不同传感器之间的几何空间差异，建立不同传感器图像之间的映射变换模型，将图像的像素通过映射模型对应到另外一个图像的像素上。
在一些实施例中，如图3和图4所示，图像融合部分采用金字塔变换方法，将图像通过滤波或者采样得到一个类似金字塔的分层结构，在金字塔的每一层使用加权融合的方法进行数据融合，获得一个金字塔形状的融合图像层；随着采样图像层的分辨率逐渐降低，针对分辨率较低但是频率高的图像层融合使用公式：
式中，CA(i,j)与CB(i,j)分别表示两组图像在(i,j)处的像素值，CF(i,j)表示融合图像在(i,j)处的像素值；
取较大绝对值作为融合结果，针对分辨率较高但是频率较低的图像采用公式：
CF(i,j)＝(CA(i,j)+CB(i,j))/2
取平均值作为融合结果；在得到每一层的融合结果之后，分别对每一层进行逆变换叠加得到整体的融合图像。
在另一个实施例中，在所述的步骤S3中，由于光线条件变化剧烈出现的曝光过度以及曝光不足的问题会严重影响融合图像的质量，通过自动多曝光控制方法得到两组不同曝光程度的图像，然后在这两组图像上应用改进过像素权重计算公式的Mertens算法得到HDR图像。如图5所示，生成HDR图像具体包括以下步骤：
计算每个像素的响应的测量值，公式如下：
式中，k＝0表示低曝光图像,k＝1表示高曝光图像，Ii,j表示图像在(i,j)处的灰度值，δ是一个常数；
然后计算低曝光以及高曝光图像每一个像素的初始权重，公式如下：
Wi,j,k＝min{wCCi,j,k+wEEi,j,k,1}
其中，Ci,j,k表示低曝光或者高曝光在(i,j)处的Constrast权重，wC以及wE分别表示两者的权重系数；
通过优化权重计算公式增强结果的数值稳定性，公式如下:
其中，N表示不同曝光图像的数量；Wi,j,k′表示第k′种曝光图像在下标(i,j)处的初始权重；
最后通过公式加权得到HDR图像，It,j,k′表示第k′种曝光图像在(i,j)处的灰度值。
在一些实施例中，如图6所示，改进后的SGM算法，首先使用具备光照不变性的Census变换代替原有SGM算法中的互信息MI去计算视差匹配代价，然后基于十字交叉邻域去进行代价聚合提高算法在灰度信息、深度信息不连续情况下的性能，最后按照SGM算法中的步骤进行视差计算以及视差优化。
本发明首先对双目RGB相机以及DVS相机进行标定，标定完成之后在数据采集时保持传感器之间的相对位置不变，避免破坏传感器坐标系之间的转换关系。在对RGB图像以及DVS图像进行融合之前，对图像进行基于特征的配准来减少不同传感器图像之间的几何空间差异。配准之后的图像利用金字塔变换的方法得到分层结构，在每一层使用加权融合的方法进行融合，并经过逆变换叠加的方式得到整体的融合图像。在融合基础之上，使用改进之后的Mertens算法通过两种不同曝光的图像得到HDR图像。最后使用一种改进过后的双目立体匹配算法——半全局匹配算法(SGM)从HDR图像中生成高质量视差图。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (7)

1.一种高动态范围场景下基于RGB与DVS图像融合的视差图增强方法，其特征在于，包括以下步骤：
S1.部署双目RGB相机以及DVS相机，并对双目RGB相机以及DVS相机进行标定；
S2.采集场景中双目相机RGB图像以及DVS图像，经过配准之后进行多尺度加权融合；
S3.为融合后的图像生成针对计算机视觉的HDR图像；由于光线条件变化剧烈出现的曝光过度以及曝光不足的问题会严重影响融合图像的质量，通过自动多曝光控制方法得到两组不同曝光程度的图像，然后在这两组图像上应用改进过像素权重计算公式的Mertens算法得到HDR图像；
生成HDR图像具体包括以下步骤：
计算每个像素的响应的测量值，公式如下：
式中，k＝0表示低曝光图像，k＝1表示高曝光图像，Ii,j表示图像在(i,j)处的灰度值，δ是一个常数；
然后计算低曝光以及高曝光图像每一个像素的初始权重，公式如下：
Wi,j,k＝min{wCCi,j,k+wEEi,j,k,1}
其中，Ci,j,k表示低曝光或者高曝光在(i,j)处的Constrast权重，wC以及wE分别表示两者的权重系数；
通过优化权重计算公式增强结果的数值稳定性，公式如下:
其中，N表示不同曝光图像的数量；Wi,j,k′表示第k'种曝光图像在下标(i,j)处的初始权重；
最后通过公式加权得到HDR图像，Ii,j,k′表示第k'种曝光图像在(i,j)处的灰度值；
S4.基于步骤S3生成的HDR图像使用改进后的双目立体匹配算法SGM生成视差图；改进后的SGM算法中，首先使用具备光照不变性的Census变换代替原有SGM算法中的互信息MI去计算视差匹配代价，然后基于十字交叉邻域去进行代价聚合提高算法在灰度信息、深度信息不连续情况下的性能，最后按照SGM算法中的步骤进行视差计算以及视差优化。
2.根据权利要求1所述的高动态范围场景下基于RGB与DVS图像融合的视差图增强方法，其特征在于，部署完双目RGB相机以及DVS相机之后，保证在多次获取数据的过程中各个传感器的位置相对不变，在整个过程中只需要进行一次标定；标定主要包括双目RGB相机以及DVS相机的内参标定以及RGB相机联合DVS相机的外参标定。
3.根据权利要求2所述的高动态范围场景下基于RGB与DVS图像融合的视差图增强方法，其特征在于，使用DVS相机增强图片的边缘信息；由于DVS相机获取的数据是异步事件流数据，DVS输出的并不是标准的图像帧，通过设定一个固定的时间片长度Δt并在该时间片内不断累积触发事件，然后将一段时间内累积的事件流叠加在一起，最后，通过一个厚度为d的事件筛平面之后得到图像帧。
4.根据权利要求2所述的高动态范围场景下基于RGB与DVS图像融合的视差图增强方法，其特征在于，RGB相机使用棋盘格标定板进行标定内参时，固定相机位置然后固定棋盘格标定板抓拍一组图像，通过移动棋盘格标定板的方式获取多组图像；在进行DVS内参标定时使用不断刷新的显示屏作为事件的触发源，通过在屏幕上显示棋盘格标定板同时进行DVS相机与RGB相机的内参标定。
5.根据权利要求1所述的高动态范围场景下基于RGB与DVS图像融合的视差图增强方法，其特征在于，所述的步骤S2中，匹配过程包括：首先通过SIFT、ORB、SURF特征提取算法检测出特征点，然后对特征点进行匹配；获取到图像间的匹配对应点之后根据对应点信息计算两个图像的单应性矩阵，并通过单应性矩阵计算图像的对齐；单应性矩阵通过四个坐标点点对计算得出，在获取到单应性矩阵之后，便左乘源图像进行配准、对齐。
6.根据权利要求5所述的高动态范围场景下基于RGB与DVS图像融合的视差图增强方法，其特征在于，所述的步骤S2中，在融合之前，使用基于特征的图像配准的方法来减少不同传感器之间的几何空间差异，建立不同传感器图像之间的映射变换模型，将图像的像素通过映射模型对应到另外一个图像的像素上。
7.根据权利要求6所述的高动态范围场景下基于RGB与DVS图像融合的视差图增强方法，其特征在于，图像融合部分采用金字塔变换方法，将图像通过滤波或者采样得到一个类似金字塔的分层结构，在金字塔的每一层使用加权融合的方法进行数据融合，获得一个金字塔形状的融合图像层；随着采样图像层的分辨率逐渐降低，针对分辨率较低但是频率高的图像层融合使用公式：
式中，CA(i,j)与CB(i,j)分别表示两组图像在(i,j)处的像素值，CF(i,j)表示融合图像在(i,j)处的像素值；
针对分辨率较高但是频率较低的图像采用公式：
CF(i,j)＝(CA(i,j)+CB(i,j))/2
取平均值作为融合结果；在得到每一层的融合结果之后，分别对每一层进行逆变换叠加得到整体的融合图像。
CN202011283187.2A 2020-11-17 2020-11-17 一种高动态范围场景下基于rgb与dvs图像融合的视差图增强方法 Active CN112396562B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011283187.2A CN112396562B (zh) 2020-11-17 2020-11-17 一种高动态范围场景下基于rgb与dvs图像融合的视差图增强方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011283187.2A CN112396562B (zh) 2020-11-17 2020-11-17 一种高动态范围场景下基于rgb与dvs图像融合的视差图增强方法

Publications (2)

Publication Number Publication Date
CN112396562A CN112396562A (zh) 2021-02-23
CN112396562B true CN112396562B (zh) 2023-09-05

Family

ID=74599972

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011283187.2A Active CN112396562B (zh) 2020-11-17 2020-11-17 一种高动态范围场景下基于rgb与dvs图像融合的视差图增强方法

Country Status (1)

Country Link
CN (1) CN112396562B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11841926B2 (en) * 2021-02-10 2023-12-12 Apple Inc. Image fusion processor circuit for dual-mode image fusion architecture
CN114967907A (zh) * 2021-02-26 2022-08-30 华为技术有限公司 识别方法及电子设备
CN113033382B (zh) * 2021-03-23 2021-10-01 哈尔滨市科佳通用机电股份有限公司 一种铁路货车地板大面积破损故障识别方法、***及装置
JP2024510899A (ja) * 2021-03-26 2024-03-12 ハーマン インターナショナル インダストリーズ インコーポレイテッド 自動ラベル付けのための方法、装置及びシステム
CN113781470B (zh) * 2021-09-24 2024-06-11 商汤集团有限公司 视差信息获取方法、装置、设备及双目摄像***
CN113947549B (zh) * 2021-10-22 2022-10-25 深圳国邦信息技术有限公司 自拍视频修饰道具边缘处理方法及相关产品
WO2023143708A1 (en) * 2022-01-26 2023-08-03 Huawei Technologies Co., Ltd. Hdr reconstruction from bracketed exposures and events
CN115150561B (zh) * 2022-05-23 2023-10-31 中国人民解放军国防科技大学 一种高动态成像***和方法
CN115834795A (zh) * 2022-11-17 2023-03-21 歌尔科技有限公司 图像处理方法、装置、设备及计算机可读存储介质
CN115984327B (zh) * 2023-01-03 2024-05-07 上海人工智能创新中心 一种自适应视觉跟踪方法、***、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105933617A (zh) * 2016-05-19 2016-09-07 中国人民解放军装备学院 一种用于克服动态问题影响的高动态范围图像融合方法
CN111062873A (zh) * 2019-12-17 2020-04-24 大连理工大学 一种基于多对双目相机的视差图像拼接与可视化方法
CN111260597A (zh) * 2020-01-10 2020-06-09 大连理工大学 一种多波段立体相机的视差图像融合方法
CN111833393A (zh) * 2020-07-05 2020-10-27 桂林电子科技大学 一种基于边缘信息的双目立体匹配方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105933617A (zh) * 2016-05-19 2016-09-07 中国人民解放军装备学院 一种用于克服动态问题影响的高动态范围图像融合方法
CN111062873A (zh) * 2019-12-17 2020-04-24 大连理工大学 一种基于多对双目相机的视差图像拼接与可视化方法
CN111260597A (zh) * 2020-01-10 2020-06-09 大连理工大学 一种多波段立体相机的视差图像融合方法
CN111833393A (zh) * 2020-07-05 2020-10-27 桂林电子科技大学 一种基于边缘信息的双目立体匹配方法

Also Published As

Publication number Publication date
CN112396562A (zh) 2021-02-23

Similar Documents

Publication Publication Date Title
CN112396562B (zh) 一种高动态范围场景下基于rgb与dvs图像融合的视差图增强方法
US11882357B2 (en) Image display method and device
CN110023810B (zh) 光学***像差的数字校正
CN110717942B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN103973989B (zh) 获取高动态图像的方法及***
CN113313661A (zh) 图像融合方法、装置、电子设备及计算机可读存储介质
JP2010011223A (ja) 信号処理装置、信号処理方法、プログラム及び記録媒体
CN111027415B (zh) 一种基于偏振图像的车辆检测方法
CN111986106B (zh) 一种基于神经网络的高动态图像重建方法
CN109166076B (zh) 多相机拼接的亮度调整方法、装置及便携式终端
CN114979500A (zh) 图像处理方法、图像处理装置、电子设备及可读存储介质
CN113436130B (zh) 一种非结构光场智能感知***与装置
CN114885074A (zh) 一种基于时空密度的事件相机去噪方法
CN111047636A (zh) 基于主动红外双目视觉的避障***和避障方法
EP4050553A1 (en) Method and device for restoring image obtained from array camera
Cao et al. Vignetting correction based on a two-dimensional Gaussian filter with harmony for area array sensors
CN117058183A (zh) 一种基于双摄像头的图像处理方法、装置、电子设备及存储介质
CN112184807A (zh) 一种高尔夫球落地式检测方法、***及存储介质
CN110910457A (zh) 基于角点特征的多光谱立体相机外参计算方法
CN113670268B (zh) 基于双目视觉的无人机和电力杆塔距离测量方法
CN115578273A (zh) 图像多帧融合的方法、装置、电子设备及存储介质
CN115035175A (zh) 一种三维模型构建数据处理方法及***
CN109191396B (zh) 人像处理方法和装置、电子设备、计算机可读存储介质
CN113808070A (zh) 一种双目数字散斑图像相关的视差测量方法
CN109462746B (zh) 一种图像去抖的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant