CN108520536B - 一种视差图的生成方法、装置及终端 - Google Patents

一种视差图的生成方法、装置及终端 Download PDF

Info

Publication number
CN108520536B
CN108520536B CN201810259906.3A CN201810259906A CN108520536B CN 108520536 B CN108520536 B CN 108520536B CN 201810259906 A CN201810259906 A CN 201810259906A CN 108520536 B CN108520536 B CN 108520536B
Authority
CN
China
Prior art keywords
thumbnail
parallax
binocular
image
source image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810259906.3A
Other languages
English (en)
Other versions
CN108520536A (zh
Inventor
赵启东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hisense Co Ltd
Original Assignee
Hisense Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hisense Co Ltd filed Critical Hisense Co Ltd
Priority to CN201810259906.3A priority Critical patent/CN108520536B/zh
Publication of CN108520536A publication Critical patent/CN108520536A/zh
Application granted granted Critical
Publication of CN108520536B publication Critical patent/CN108520536B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20228Disparity calculation for image-based rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请提供一种视差图的生成方法、装置及终端,涉及辅助驾驶技术领域,所述方法包括:获取双目摄像机所采集到的双目源图像;对所述双目源图像进行缩略处理,得到所述双目源图像的缩略图;对所述缩略图进行立体视觉匹配,得到缩略视差图;确定真实空间中的物理检测区域在所述缩略视差图中对应的目标区域;将所述目标区域映射至所述双目源图像中的区域作为障碍物检测区域;对所述双目源图像中的障碍物检测区域进行立体视觉匹配,得到双目视差图。应用该方法,可以实现有针对性的对那些对于障碍物检测有意义的像素点进行视差估计,有效利用计算资源,提高立体匹配算法的效率,进一步提高后续基于视差图进行障碍物检测的效率。

Description

一种视差图的生成方法、装置及终端
技术领域
本申请涉及辅助驾驶技术领域,尤其涉及一种视差图的生成方法、装置及终端。
背景技术
近年来,基于双目立体视觉(Binocular Stereo Vision)技术的障碍物检测方法成为汽车辅助驾驶领域中研究的热点,相关技术中,根据采用基元不同,可以将立体视觉匹配算法分为两类,一类为基于全局的立体匹配算法,另一类为基于特征的立体匹配算法。
其中,基于全局的立体匹配算法是指,针对源图像中的每一个像素点均进行视差估计,因此,通过基于全局的立体匹配算法所得出的视差图中,每一像素点处均存在有效视差值,基于此,也就将基于全局的立体匹配算法所得出的视差图称为稠密视差图;基于特征的立体匹配算法是指,针对源图像中的几何特征,例如边缘、轮廓、兴趣点、线、角点等进行视差估计,因此,通过基于特征的立体匹配算法所得出的视差图中,只有特征点或特征线处才存在有效视差值,基于此,也就将基于特征的立体匹配算法所得出的视差图称为稀疏视差图。
由上述描述可知,在汽车辅助驾驶领域中,不论是在稠密视差图,还是在稀疏视差图中,均存在远处的高楼、树木的上方枝干等物体对应的视差点,而这些物体对应的视差点对于障碍物的检测并无任何意义,也就是说,不论是采用基于全局的立体匹配算法,还是采用基于特征的立体匹配算法,均对一些无意义的像素点进行了视差估计,从而浪费了计算资源,降低了立体匹配算法的效率。
发明内容
为了解决现有的立体匹配算法中,对一些无意义的像素点进行视差估计,导致浪费计算资源,降低立体匹配算法效率的问题,本申请提供一种视差图的生成方法、装置及终端,以实现有针对性地对那些对于障碍物检测有意义的像素点进行视差估计,有效利用计算资源,提高立体匹配算法的效率,进一步提高后续基于视差图进行障碍物检测的效率。
根据本申请实施例的第一方面,提供一种视差图的生成方法,所述方法包括:
获取双目摄像机所采集到的双目源图像;
对所述双目源图像进行缩略处理,得到所述双目源图像的缩略图;
对所述缩略图进行立体视觉匹配,得到缩略视差图;
确定真实空间中的物理检测区域在所述缩略视差图中对应的目标区域;
将所述目标区域映射至所述双目源图像中的区域作为障碍物检测区域;
对所述双目源图像中的障碍物检测区域进行立体视觉匹配,得到双目视差图。
可选的,所述基于设定的缩略倍数对所述双目源图像进行缩略处理,得到所述双目源图像的缩略图,包括:
基于设定的缩略倍数将所述双目源图像划分为若干个图像块;
将所述图像块缩略为一个缩略像素点,得到所述双目源图像的缩略图,其中,所述缩略像素点的像素值为对应的图像块中像素点的平均像素值。
可选的,所述确定真实空间中的物理检测区域在所述缩略视差图中对应的目标区域,包括:
计算得出所述缩略视差图中的视差点在预设的三维坐标系中的X轴坐标值、Y轴坐标值;
根据设定的缩略倍数确定视差阈值;
根据视差点的视差值、X轴坐标值,Y轴坐标值,以及所述视差阈值,在所述缩略视差图中确定满足设定条件的目标视差点;
将所述目标视差点所在的区域作为真实空间中的物理检测区域在所述缩略视差图中对应的目标区域;
其中,所述三维坐标系以所述双目摄像机中两个成像面之间的横向中点为原点,以平行于地面指向车头正前方为Z轴正方向,以垂直于地面指向地面下方为Y轴正方向,以平行于地面指向驾驶员右侧为X轴正方向。
可选的,所述设定条件包括:
视差值小于所述视差阈值;或,
视差值不小于所述视差阈值,且X轴坐标值处于第一预设范围,Y轴坐标值处于第二预设范围。
可选的,在所述将所述图像块缩略为一个缩略像素点之后,所述方法还包括:
建立所述图像块与所述缩略像素点之间的映射关系;
所述将所述目标区域映射至所述双目源图像中的区域作为障碍物检测区域,包括:
基于所述映射关系,将所述目标区域中的视差点映射至所述双目源图像中的图像块作为障碍物检测区域。
根据本申请实施例的第二方面,提供一种视差图的生成装置,所述装置包括:
获取模块,用于获取双目摄像机所采集到的双目源图像;
缩略模块,用于基于设定的缩略倍数对所述双目源图像进行缩略处理,得到所述双目源图像的缩略图;
第一匹配模块,用于对所述缩略图进行立体视觉匹配,得到缩略视差图;
确定模块,用于确定真实空间中的物理检测区域在所述缩略视差图中对应的目标区域;
映射模块,用于将所述目标区域映射至所述双目源图像中的区域作为障碍物检测区域;
第二匹配模块,用于对所述双目源图像中的障碍物检测区域进行立体视觉匹配,得到双目视差图。
可选的,所述缩略模块包括:
划分子模块,用于基于设定的缩略倍数将所述双目源图像划分为若干个图像块;
处理子模块,用于将所述图像块缩略为一个缩略像素点,得到所述双目源图像的缩略图,其中,所述缩略像素点的像素值为对应的图像块中像素点的平均像素值。
可选的,所述确定模块包括:
计算子模块,用于计算得出所述缩略视差图中的视差点在预设的三维坐标系中的X轴坐标值、Y轴坐标值;
阈值确定子模块,用于根据设定的缩略倍数确定视差阈值;
目标确定子模块,用于根据视差点的视差值、X轴坐标值,Y轴坐标值,以及所述视差阈值,在所述缩略视差图中确定满足设定条件的目标视差点;
区域确定子模块,用于将所述目标视差点所在的区域作为真实空间中的物理检测区域在所述缩略视差图中对应的目标区域;
其中,所述三维坐标系以所述双目摄像机中两个成像面之间的横向中点为原点,以平行于地面指向车头正前方为Z轴正方向,以垂直于地面指向地面下方为Y轴正方向,以平行于地面指向驾驶员右侧为X轴正方向。
可选的,所述设定条件包括:
视差值小于所述视差阈值;或,
视差值不小于所述视差阈值,且X轴坐标值处于第一预设范围,Y轴坐标值处于第二预设范围。
可选的,所述装置还包括:
关系建立模块,用于建立所述图像块与所述缩略像素点之间的映射关系;
所述映射模块具体用于:
基于所述映射关系,将所述目标区域中的视差点映射至所述双目源图像中的图像块作为障碍物检测区域。
根据本申请实施例的第三方面,提供一种视差图生成终端,包括存储器、处理器、通信接口、摄像头组件,以及通信总线;
其中,所述存储器、处理器、通信接口、双目摄像头组件通过所述通信总线进行相互间的通信;
所述双目摄像头组件,用于采集双目源图像,并通过所述通信总线将所述双目源图像发送至所述处理器;
所述存储器,用于存放计算机程序;
所述处理器,用于执行所述存储器上所存放的计算机程序,所述处理器执行所述计算机程序时实现本申请实施例提供的任一视差图的生成方法。
根据本申请实施例的第四方面,提供一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现本申请实施例提供的任一视差图的生成方法。
由上述实施例可见,通过获取双目摄像机所采集的到双目源图像,对该双目源图像进行缩略处理,得到双目源图像的缩略图,对缩略图进行立体视觉匹配,得到缩略视差图,确定真实空间中的物理检测区域在缩略视差图中对应的目标区域,将目标区域映射至双目源图像中的区域作为障碍物检测区域,对双目源图像中的障碍物检测区域进行立体视觉匹配,得到双目视差图。
由于在本申请实施例中,基于缩略图获取目标区域,再将该目标区域映射至双目源图像中,得到障碍物检测区域,后续,仅对障碍物检测区域进行立体视觉匹配,也就实现了有针对性地对那些对于障碍物检测有意义的像素点进行视差估计,同时,由于立体匹配算法的核心是在视差搜索范围内确定视差点,从而,视差搜索范围的大小将直接影响立体匹配算法运行的速度,举例来说,假设双目源图像的视差搜索范围为(0,160],双目源图像中共有n个像素点,那么,基于双目源图像进行视差点搜索,计算量为160*n,而倘若在高度和宽度方向上均进行缩略处理,例如进行4*4的缩略处理得到缩略图,该缩略图中共有
Figure BDA0001609994580000061
个像素点,视差搜索范围也变为(0,40],从而基于缩略图进行视差点搜索,计算量则为
Figure BDA0001609994580000062
由此可见,即使后续还需将缩略图中的目标视差点映射至双目源图像中,本申请中基于缩略图执行立体匹配算法的计算量也较小,从而可以提高立体匹配算法的效率,进一步,由于最终得到的视差图中仅包括那些对于障碍物检测有意义的视差点,从而可以提高后续基于视差图进行障碍物检测的效率。
综上所述,采用本申请实施例提供的视差图的生成方法可以有效的利用计算资源,提高立体匹配算法的效率,并进一步提高后续基于视差图进行障碍物检测的效率。
附图说明
图1为稀疏视差图与稠密视差图的一种示例;
图2为本申请一示例性实施例提供的一种视差图的生成方法的实施例流程图;
图3为本申请双目源图像与缩略图的一种示例;
图4为本申请一示例性实施例提供的另一种视差图的生成方法的实施例流程图;
图5为三维坐标系的一种示例;
图6为视差值与深度距离之间关系的一种示例;
图7为缩略视差图中的视差点与双目源图像中图像块之间映射关系的一种示例;
图8为本申请一示例性实施例提供的一种视差图的生成装置的实施例框图;
图9为本申请视差图的生成装置所在视差图的生成终端的一种硬件结构图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本申请可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本申请范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
请参见图1,为稀疏视差图与稠密视差图的一种示例,其中,图1(a)为稠密视差图,图1(b)为稀疏视差图。
在汽车辅助驾驶领域中,不论是在稠密视差图,还是在稀疏视差图中,均存在远处的高楼、树木的上方枝干等物体对应的视差点,例如,图1(a)中的黑色实线矩形框所表示区域中的视差点,又例如,图1(b)中的灰色实线矩形框所表示区域中的视差点,这些视差点对于障碍物的检测并无任何意义,从而,不论是采用基于全局的立体匹配算法得到图1(a)所示例的稠密视差图,还是采用基于特征的立体匹配算法得到图1(b)所示例的稀疏视差图,在立体匹配过程中,均对一些无意义的像素点进行了视差估计,从而浪费了计算资源,降低了立体匹配算法的效率,同时,还降低了后续基于视差图进行障碍物检测的效率。
基于此,本申请提供一种视差图的生成方法,以实现有针对性的针对那些对于障碍物检测有意义的像素点进行视差估计,以有效利用计算资源,提高立体匹配算法的效率,进而提高后续进行障碍物检测的效率。
如下,示出下述实施例对本申请提供的视差图的生成方法进行详细说明。
实施例一:
请参见图2,为本申请一示例性实施例提供的一种视差图的生成方法的实施例流程图,该方法可以包括以下步骤:
步骤201:获取双目摄像机所采集到的双目源图像。
本领域技术人员可以理解的是,为了实现本申请实施例提供的视差图的生成方法,可以在车辆上布设双目摄像机,该双目摄像机具有左右两个摄像头,在一次图像采集过程中,该左右两个摄像头分别采集到一幅图像,为了描述方便,在本申请实施例中,将双目摄像机的两个摄像头所采集到的两幅图像统称为双目源图像。
步骤202:对双目源图像进行缩略处理,得到双目源图像的缩略图。
首先说明,在本申请实施例中,“缩略处理”是指,按照设定的缩略倍数,对双目源图像进行压缩处理,例如,假设双目源图像的尺寸为M*N,设定的缩略倍数为r*s,那么,缩略处理后的图像尺寸则为
Figure BDA0001609994580000081
为了描述方便,将缩略处理后的图像称为缩略图。
在一实施例中,可以基于设定的缩略倍数将双目源图像划分为若干个图像块,举例来说,如图3(a)所示,为一幅8*8的双目源图像,假设设定的缩略倍数为2*2,那么,则可以将该双目源图像划分为16个2*2大小的图像块,如图3(a)中以灰色填充的4个像素点即为图像块的示例。后续,针对每一图像块,将该图像块压缩为一个像素点,为了描述方便,将该像素点称为缩略像素点,从而得到双目源图像的缩略图。这也就是说,将双目源图像划分为多少个图像块,缩略图中就有多少个缩略像素点,例如,如图3(b)所示,为图3(a)所示例的双目源图像对应的缩略图,该缩略图中具有16个缩略像素点,并且,每一缩略像素点与一个图像块之间具有映射关系,例如,图3(a)中以灰色填充的图像块与图3(b)中以灰色填充的缩略像素点之间具有映射关系。
在一可选的实现方式中,缩略像素点的像素值可以为其对应的图像块中像素点的平均像素值。
在另一可选的实现方式中,缩略像素点的像素值还可以为其对应的图像块中像素点的中值、最大值,或者最小值,等等,本申请对此并不作限制。
本领域技术人员可以理解的是,由于步骤201中获取到的双目源图像实则包括两幅图像,从而,在本步骤中,也是针对每一双目源图像分别进行缩略处理,得到两幅缩略图。
此外,在本申请实施例中,对双目源图像进行缩略处理之前,还可以首先对双目源图像进行预处理,具体可以包括滤波平滑处理,例如,对双目源图像进行高斯滤波,以去除噪点,进一步,为了增加后期立体视觉匹配的鲁棒性,可以对高斯滤波后的双目源图像进行梯度处理。
关于对双目源图像进行上述预处理的具体过程,本领域技术人员可以参见现有技术中的相关描述,本申请对此不再详述,并且,本申请对是否要对双目源图像进行上述预处理也不作限制。
步骤203:对缩略图进行立体视觉匹配,得到缩略视差图。
在本申请实施例中,可以采用局部匹配算法,或者是全局匹配算法,对步骤202中获取到的两幅缩略图进行立体视觉匹配,得到视差图,为了描述方便,将此处得到的视差图称为缩略视差图。
对步骤202中获取到的两幅缩略图进行立体视觉匹配的具体过程,本领域技术人员可以参见现有技术中的相关描述,本申请对此不再详述。
步骤204:确定真实空间中的物理检测区域在缩略视差图中对应的目标区域。
首先说明,本领域技术人员可以理解的是,在进行障碍物检测时,关注的是真实空间中的一部分区域,为了描述方便,将该区域称为物理检测区域,并且,为了描述方便,将该物理检测区域在缩略视差图中对应的区域称为目标区域。
确定真实空间中的物理检测区域在缩略视差图中对应的目标区域的具体过程可以如下述实施例二所示。
实施例二:
请参见图4,为本申请一示例性实施例提供的另一种视差图的生成方法的实施例流程图,该方法可以包括以下步骤:
步骤401:计算得出缩略视差图中的视差点在预设的三维坐标系中的X轴坐标、Y轴坐标。
在本申请实施例中,可以以双目摄像机中两个成像面之间的横向中点为原点,以平行于地面指向车头正前方为Z轴正方向,以垂直于地面指向地面下方为Y轴正方向,以平行于地面指向驾驶员右侧为X轴正方向,建立一个三维坐标系,如图5所示,为三维坐标系的一种示例,在图5中,条形框即表示成像面。
在本申请实施例中,可以根据三维测距原理,推演出如下式(一),根据该式(一)可以计算出缩略视差图中的视差点在图5所示例的三维坐标系中的坐标(X,Y,Z):
Figure BDA0001609994580000101
在上述式(一)中,B表示双目摄像机的基线长度,f表示双目摄像机的焦距,d表示缩略像素点的视差值,u表示像素点在图像坐标系(图像坐标系以图像的左上角顶点为坐标原点,以水平向右为X轴正方向,以垂直向下为Y轴正方向)中的X轴坐标,v表示像素点在该图像坐标系中的Y轴坐标,W表示图像的宽度,H表示图像的高度,r表示高度方向上的缩略倍数,s表示宽度方向上的缩略倍数。
至于根据三维测距原理,推演得到上述式(一)的具体过程,本领域技术人员可以基于现有知识及数学概念得知,本申请对此不再详述。
步骤402:根据缩略倍数确定视差阈值。
步骤403:根据视差点的视差值、视差阈值、X轴坐标,以及Y轴坐标,在缩略视差图中确定满足设定条件的目标视差点。
步骤404:将目标视差点所在的区域作为真实空间中的物理检测区域在缩略视差图中对应的目标区域。
如下,对步骤402至步骤404进行说明:
通常情况下,可以基于图5所示例的三维坐标系来表述真实空间中的物理检测区域,例如,该物理检测区域在三维坐标系的X轴上的范围为Xmin~Xmax,为了描述方便,将该范围称为第一预设范围,在三维坐标系的Y轴上的范围为Ymin~Ymax,为了描述方便,将该范围称为第二预设范围,在三维坐标系的Z轴上的范围为Zmin~Zmax,为了描述方便,将该范围称为第三预设范围。
前述描述所对应的实际意义为:若某物体在图4中所示例的三维坐标系中的坐标满足下述式(二),则该物体可能会妨碍车辆行驶,若不满足下述式(二),则该物体可能不会妨碍车辆行驶。
Figure BDA0001609994580000111
然而,上述通过式(二)确定物体是否会妨碍车辆行驶的过程,依赖于真实的视差图,而缩略图是通过在宽度方向上对双目源图像进行缩略处理,例如进行s倍的缩略处理得到的,从而缩略视差图中的视差值为真实视差图中视差值的
Figure BDA0001609994580000112
这也就是说,真实视差图中的视差值越小,缩略视差图中的视差值也就越小,从而,针对缩略视差图而言,视差值随深度距离的变化而变化的更加明显,例如,如图6所示,为视差值与深度距离之间关系的一种示例。
通过图6可以得知,视差值与深度距离之间呈反比关系,同时,当视差值大于D时,深度距离的变化相对而言较为平缓,当视差值小于D时,深度距离的变化相对而言较为明显。
由于对双目源图像进行缩略处理,可以导致可视距离降低,较远距离处物体的分辨率下降,从而,缩略处理对于较远距离处物体的影响更大,因此,为了保障远处区域中所检测到的障碍物的准确性,可以在缩略视差图中,将视差值小于视差阈值的所有视差点所在区域确定为目标区域,同时,将视差值不小于视差阈值,且X轴坐标处于上述第一预设范围,Y轴坐标处于第二预设范围的视差点所在区域确定为目标区域。
在本申请实施例中,为了描述方便,可以将上述视差值小于视差阈值,或,视差值不小于视差阈值,且X轴坐标处于第一预设范围,Y轴坐标处于第二预设范围称为设定条件,相应的,将满足该设定条件的视差点称为目标视差点,进一步,将目标视差点所在区域称为目标区域。
如下,描述确定视差阈值的具体过程:
基于图6所示例的视差值与深度距离之间的关系,由数学概念可知,通过求导算法,可得到每一视差点处的变化率,记为k。
具体的,
Figure BDA0001609994580000121
在本申请实施例中,可以设定一个变化率阈值,记为k_threshold,那么,当变化率k的绝对值小于k_threshold时,可以表示深度距离随视差值的变化相对而言比较平缓,当变化率k的绝对值大于k_threshold时,可以表示深度距离随视差值变化相对而言较为明显。
基于上述式(三)以及上述分析,即可得到上述D的具体值,如下述式(四)所示:
Figure BDA0001609994580000122
至此,完成实施例二的相关描述。
步骤205:将目标区域映射至双目源图像中的区域作为障碍物检测区域。
由上述步骤202中的描述可知,缩略图中的每一缩略像素点与双目源图像中的一个图像块之间具有映射关系,而缩略视差图的大小又与缩略图相同,从而,可以基于该映射关系,将目标区域中的每一个视差点映射至双目源图像中,将映射得到的图像块作为障碍物检测区域,例如,如图7所示,为缩略视差图中的视差点与双目源图像中图像块之间映射关系的一种示例,在图7(a)中,以浅灰色和深灰色填充的两个视差点所组成的区域为目标区域,在图7(b)中,以浅灰色填充的图像块为图7(a)中以浅灰色填充的视差点所映射的图像块,以深灰色填充的图像块为图7(a)中以深灰色填充的视差点所映射的图像块,也即,图7(b)中,以深灰色和浅灰色填充的两个图像块所组成的区域为障碍物检测区域。
步骤206:对双目源图像中的障碍物检测区域进行立体视觉匹配,得到双目视差图。
在本申请实施例中,可以仅对双目源图像中的障碍物检测区域进行立体视觉匹配,具体可以采用局部匹配算法,或者是全局匹配算法,对双目源图像中的障碍物检测区域进行立体视觉匹配,得到视差图,为了描述方便,将此处得到的视差图称为双目视差图。
对双目源图像中的障碍物检测区域进行立体视觉匹配的具体过程,本领域技术人员可以参见现有技术中的相关描述,本申请对此不再详述。
此外,在本申请实施例中,还可以通过左右一致性检测原理,去除上述双目视差图中误匹配的像素点的视差,然后,通过中值滤波,或均值滤波,对该双目视差图中的有效视差进行平滑滤波处理,最终可以得到精度较高的双目视差图。
由上述实施例可见,通过获取双目摄像机所采集的到双目源图像,对该双目源图像进行缩略处理,得到双目源图像的缩略图,对缩略图进行立体视觉匹配,得到缩略视差图,确定真实空间中的物理检测区域在缩略视差图中对应的目标区域,将目标区域映射至双目源图像中的区域作为障碍物检测区域,对双目源图像中的障碍物检测区域进行立体视觉匹配,得到双目视差图。
由于在本申请实施例中,基于缩略图获取目标区域,再将该目标区域映射至双目源图像中,得到障碍物检测区域,后续,仅对障碍物检测区域进行立体视觉匹配,也就实现了有针对性地对那些对于障碍物检测有意义的像素点进行视差估计,同时,由于立体匹配算法的核心是在视差搜索范围内确定视差点,从而,视差搜索范围的大小将直接影响立体匹配算法运行的速度,举例来说,假设双目源图像的视差搜索范围为(0,160],双目源图像中共有n个像素点,那么,基于双目源图像进行视差点搜索,计算量为160*n,而倘若在高度和宽度方向上均进行缩略处理,例如进行4*4的缩略处理得到缩略图,该缩略图中共有
Figure BDA0001609994580000141
个像素点,视差搜索范围也变为(0,40],从而基于缩略图进行视差点搜索,计算量则为
Figure BDA0001609994580000142
由此可见,即使后续还需将缩略图中的目标视差点映射至双目源图像中,本申请中基于缩略图执行立体匹配算法的计算量也较小,从而可以提高立体匹配算法的效率,进一步,由于最终得到的视差图中仅包括那些对于障碍物检测有意义的视差点,从而可以提高后续基于视差图进行障碍物检测的效率。
综上所述,采用本申请实施例提供的视差图的生成方法可以有效的利用计算资源,提高立体匹配算法的效率,并进一步提高后续基于视差图进行障碍物检测的效率。
至此,完成实施例一的相关描述。
与前述视差值的生成方法的实施例相对应,本申请还提供了视差值的生成装置的实施例。
请参见图8,为本申请一示例性实施例提供的一种视差图的生成装置的实施例框图,该装置可以包括:获取模块81、缩略模块82、第一匹配模块83、确定模块84、映射模块85、第二匹配模块86。
其中,获取模块81,可以用于获取双目摄像机所采集到的双目源图像;
缩略模块82,可以用于对所述双目源图像进行缩略处理,得到所述双目源图像的缩略图;
第一匹配模块83,可以用于对所述缩略图进行立体视觉匹配,得到缩略视差图;
确定模块84,可以用于确定真实空间中的物理检测区域在所述缩略视差图中对应的目标区域;
映射模块85,可以用于将所述目标区域映射至所述双目源图像中的区域作为障碍物检测区域;
第二匹配模块86,可以用于对所述双目源图像中的障碍物检测区域进行立体视觉匹配,得到双目视差图。
在一实施例中,所述缩略模块82可以包括(图8中未示出):
划分子模块,用于基于设定的缩略倍数将所述双目源图像划分为若干个图像块;
处理子模块,用于将所述图像块缩略为一个缩略像素点,得到所述双目源图像的缩略图,其中,所述缩略像素点的像素值为对应的图像块中像素点的平均像素值。
在一实施例中,所述确定模块84可以包括(图8中未示出):
计算子模块,用于计算得出所述缩略视差图中的视差点在预设的三维坐标系中的X轴坐标值、Y轴坐标值;
阈值确定子模块,用于根据设定的缩略倍数确定视差阈值;
目标确定子模块,用于根据视差点的视差值、X轴坐标值,Y轴坐标值,以及所述视差阈值,在所述缩略视差图中确定满足设定条件的目标视差点;
区域确定子模块,用于将所述目标视差点所在的区域作为真实空间中的物理检测区域在所述缩略视差图中对应的目标区域;
其中,所述三维坐标系以所述双目摄像机中两个成像面之间的横向中点为原点,以平行于地面指向车头正前方为Z轴正方向,以垂直于地面指向地面下方为Y轴正方向,以平行于地面指向驾驶员右侧为X轴正方向。
在一实施例中,所述设定条件可以包括:
视差值小于所述视差阈值;或,
视差值不小于所述视差阈值,且X轴坐标值处于第一预设范围,Y轴坐标值处于第二预设范围。
在一实施例中,所述装置还可以包括(图8中未示出):
关系建立模块,用于建立所述图像块与所述缩略像素点之间的映射关系;
所述映射模块85具体可以用于:
基于所述映射关系,将所述目标区域中的视差点映射至所述双目源图像中的图像块作为障碍物检测区域。
本申请视差图的生成装置的实施例可以应用在视差图的生成终端上。装置实施例可以通过软件实现,也可以通过硬件或者软硬件结合的方式实现。以软件实现为例,作为一个逻辑意义上的装置,是通过其所在视差图的生成终端的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言,如图9所示,为本申请视差图的生成装置所在视差图的生成终端的一种硬件结构图,其中,处理器901是该视差图的生成终端900的控制中心,利用各种接口和线路连接整个视差图的生成装置的各个部分,通过运行或执行存储在存储器902内的软件程序和/或模块,以及调用存储在存储器902内的数据,执行视差图的生成装置900的各种功能和处理数据,从而对该视差图的生成装置进行整体监控。
可选的,处理器901可包括(图9中未示出)一个或多个处理核心;可选的,处理器901可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作***、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器901中。
存储器902可用于存储软件程序以及模块,处理器901通过运行存储在存储器902的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器902主要包括(图9中未示出)存储程序区和存储数据区,其中,存储程序区可存储操作***、至少一个功能所需的应用程序等;存储数据区可存储根据障碍物检测区域的规划装置900的使用所创建的数据(比如采集到的待检测图像、计算得到的视差图像或者处理得到的灰度图像)等。
此外,存储器902可以包括(图9中未示出)高速随机存取存储器,还可以包括(图9中未示出)非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器902还可以包括(图9中未示出)存储器控制器,以提供处理器901对存储器902的访问。
在一些实施例中,装置900还可选包括有:***设备接口903和至少一个***设备。处理器901、存储器902和***设备接口903之间可以通信总线或信号线(图9中未示出)相连。各个***设备可以通信总线或信号线与***设备接口903相连。具体地,***设备可以包括:射频组件904、触摸显示屏905、双目摄像头组件906、音频组件907、定位组件908和电源组件909中的至少一种。
其中,双目摄像头组件906用于采集双目源图像。
在一些实施例中,双目摄像头组件906还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。
除了图9所示例的各个硬件之外,实施例中装置所在的视差图的生成终端通常根据该终端的实际功能,还可以包括其他硬件,对此不再赘述。
本领域技术人员可以理解的是,图9所示例的视差图的生成终端可以应用在汽车上,也可以应用在电脑、智能手机等其他设备上,本申请对此并不作限制。
本申请还提供一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现本申请实施例提供的任一视差图的生成方法的步骤。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程,在此不再赘述。
对于装置实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
以上所述仅为本申请的较佳实施例而已,并不用以限制本申请,凡在本申请的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本申请保护的范围之内。

Claims (8)

1.一种视差图的生成方法,其特征在于,所述方法包括:
获取双目摄像机所采集到的双目源图像,并对所述双目源图像进行高斯滤波处理,以及,对高斯滤波处理后的双目源图像进行梯度处理;
基于设定的缩略倍数将所述双目源图像划分为若干个图像块;
将所述图像块缩略为一个缩略像素点,得到所述双目源图像的缩略图,其中,所述缩略像素点的像素值为对应的图像块中像素点的平均像素值,每一缩略像素点与一个图像块之间具有一一映射关系;
对所述缩略图进行立体视觉匹配,得到缩略视差图;
确定真实空间中的物理检测区域在所述缩略视差图中对应的目标区域;
将所述目标区域映射至所述双目源图像中的区域作为障碍物检测区域;
对所述双目源图像中的障碍物检测区域进行立体视觉匹配,得到双目视差图。
2.根据权利要求1所述的方法,其特征在于,所述确定真实空间中的物理检测区域在所述缩略视差图中对应的目标区域,包括:
计算得出所述缩略视差图中的视差点在预设的三维坐标系中的X轴坐标值、Y轴坐标值;
根据设定的缩略倍数确定视差阈值;
根据视差点的视差值、所述视差阈值、所述X轴坐标值,以及所述Y轴坐标值,在所述缩略视差图中确定满足设定条件的目标视差点;
将所述目标视差点所在的区域作为真实空间中的物理检测区域在所述缩略视差图中对应的目标区域;
其中,所述三维坐标系以所述双目摄像机中两个成像面之间的横向中点为原点,以平行于地面指向车头正前方为Z轴正方向,以垂直于地面指向地面下方为Y轴正方向,以平行于地面指向驾驶员右侧为X轴正方向。
3.根据权利要求2所述的方法,其特征在于,所述设定条件包括:
视差值小于所述视差阈值;或,
视差值不小于所述视差阈值,且X轴坐标值处于第一预设范围,Y轴坐标值处于第二预设范围。
4.根据权利要求1所述的方法,其特征在于,在所述将所述图像块缩略为一个缩略像素点之后,所述方法还包括:
建立所述图像块与所述缩略像素点之间的映射关系;
所述将所述目标区域映射至所述双目源图像中的区域作为障碍物检测区域,包括:
基于所述映射关系,将所述目标区域中的视差点映射至所述双目源图像中的图像块作为障碍物检测区域。
5.一种视差图的生成装置,其特征在于,所述装置包括:
获取模块,用于获取双目摄像机所采集到的双目源图像,并对所述双目源图像进行高斯滤波处理,以及,对高斯滤波处理后的双目源图像进行梯度处理;
缩略模块,用于基于设定的缩略倍数将所述双目源图像划分为若干个图像块;将所述图像块缩略为一个缩略像素点,得到所述双目源图像的缩略图,其中,所述缩略像素点的像素值为对应的图像块中像素点的平均像素值,每一缩略像素点与一个图像块之间具有一一映射关系;
第一匹配模块,用于对所述缩略图进行立体视觉匹配,得到缩略视差图;
确定模块,用于确定真实空间中的物理检测区域在所述缩略视差图中对应的目标区域;
映射模块,用于将所述目标区域映射至所述双目源图像中的区域作为障碍物检测区域;
第二匹配模块,用于对所述双目源图像中的障碍物检测区域进行立体视觉匹配,得到双目视差图。
6.根据权利要求5所述的装置,其特征在于,所述确定模块包括:
计算子模块,用于计算得出所述缩略视差图中的视差点在预设的三维坐标系中的X轴坐标、Y轴坐标;
阈值确定子模块,用于根据设定的缩略倍数确定视差阈值;
目标确定子模块,用于根据视差点的视差值、X轴坐标值,Y轴坐标值,以及所述视差阈值,在所述缩略视差图中确定满足设定条件的目标视差点;
区域确定子模块,用于将所述目标视差点所在的区域作为真实空间中的物理检测区域在所述缩略视差图中对应的目标区域;
其中,所述三维坐标系以所述双目摄像机中两个成像面之间的横向中点为原点,以平行于地面指向车头正前方为Z轴正方向,以垂直于地面指向地面下方为Y轴正方向,以平行于地面指向驾驶员右侧为X轴正方向。
7.一种视差图生成终端,其特征在于,包括存储器、处理器、通信接口、摄像头组件,以及通信总线;
其中,所述存储器、处理器、通信接口、双目摄像头组件通过所述通信总线进行相互间的通信;
所述双目摄像头组件,用于采集双目源图像,并通过所述通信总线将所述双目源图像发送至所述处理器;
所述存储器,用于存放计算机程序;
所述处理器,用于执行所述存储器上所存放的计算机程序,所述处理器执行所述计算机程序时实现权利要求1-4任一所述方法。
8.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-4任一所述方法。
CN201810259906.3A 2018-03-27 2018-03-27 一种视差图的生成方法、装置及终端 Active CN108520536B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810259906.3A CN108520536B (zh) 2018-03-27 2018-03-27 一种视差图的生成方法、装置及终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810259906.3A CN108520536B (zh) 2018-03-27 2018-03-27 一种视差图的生成方法、装置及终端

Publications (2)

Publication Number Publication Date
CN108520536A CN108520536A (zh) 2018-09-11
CN108520536B true CN108520536B (zh) 2022-01-11

Family

ID=63434299

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810259906.3A Active CN108520536B (zh) 2018-03-27 2018-03-27 一种视差图的生成方法、装置及终端

Country Status (1)

Country Link
CN (1) CN108520536B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111161548B (zh) * 2018-11-07 2021-09-24 海信集团有限公司 车载双目摄像机及其计算相对速度的方法
CN111382591B (zh) * 2018-12-27 2023-09-29 海信集团有限公司 一种双目相机测距校正方法及车载设备
CN111383256B (zh) * 2018-12-29 2024-05-17 北京市商汤科技开发有限公司 图像处理方法、电子设备及计算机可读存储介质
CN111627067B (zh) * 2019-02-28 2023-08-22 海信集团有限公司 一种双目相机的标定方法及车载设备
CN110264521A (zh) * 2019-06-21 2019-09-20 北京邮电大学 一种基于双目摄像头的定位方法及***
CN110738731B (zh) * 2019-10-16 2023-09-22 光沦科技(深圳)有限公司 一种用于双目视觉的3d重建方法和***
CN112861887A (zh) * 2019-11-08 2021-05-28 中国科学院长春光学精密机械与物理研究所 一种障碍物快速检测方法、***及终端设备
CN111104893B (zh) * 2019-12-17 2022-09-20 苏州智加科技有限公司 目标检测方法、装置、计算机设备及存储介质
CN111180048B (zh) * 2019-12-30 2024-02-06 上海镜观生物科技有限公司 肿瘤成分标注方法、装置、设备及存储介质
CN111368794B (zh) * 2020-03-19 2023-09-19 北京百度网讯科技有限公司 障碍物检测方法、装置、设备和介质
CN111899170A (zh) * 2020-07-08 2020-11-06 北京三快在线科技有限公司 障碍物检测方法、装置、无人机和存储介质
CN112767293B (zh) * 2021-01-11 2023-04-11 达闼机器人股份有限公司 获取视差图像的方法、电子设备及存储介质
CN113343745B (zh) * 2021-02-26 2024-06-18 北京中科慧眼科技有限公司 基于双目相机的远距离目标检测方法、***和智能终端
CN113658240B (zh) * 2021-07-15 2024-04-19 北京中科慧眼科技有限公司 一种主要障碍物检测方法、装置与自动驾驶***
CN114383564A (zh) * 2022-01-11 2022-04-22 平安普惠企业管理有限公司 基于双目摄像头的深度测量方法、装置、设备及存储介质
CN117152133B (zh) * 2023-10-30 2024-03-19 北京中科慧眼科技有限公司 基于双目立体视觉的非纹理遮挡检测方法和装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103430210A (zh) * 2011-03-31 2013-12-04 索尼电脑娱乐公司 信息处理***、信息处理装置、拍摄装置、以及信息处理方法
KR101347750B1 (ko) * 2012-08-14 2014-01-16 성균관대학교산학협력단 하이브리드 다운 샘플링 방법 및 장치, 하이브리드 업 샘플링 방법 및 장치 및 하이브리드 다운/업 샘플링 시스템
CN103679707A (zh) * 2013-11-26 2014-03-26 西安交通大学 基于双目相机视差图的道路障碍物检测***及检测方法
CN104732196A (zh) * 2013-12-24 2015-06-24 现代自动车株式会社 车辆检测方法及***
CN107169418A (zh) * 2017-04-18 2017-09-15 海信集团有限公司 一种障碍物检测方法及装置
CN107358638A (zh) * 2017-07-19 2017-11-17 智车优行科技(北京)有限公司 视差图计算方法和装置、电子设备、计算机存储介质
CN107831765A (zh) * 2017-10-23 2018-03-23 广州视源电子科技股份有限公司 定位方法、装置、设备及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7483549B2 (en) * 2004-11-30 2009-01-27 Honda Motor Co., Ltd. Vehicle surroundings monitoring apparatus

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103430210A (zh) * 2011-03-31 2013-12-04 索尼电脑娱乐公司 信息处理***、信息处理装置、拍摄装置、以及信息处理方法
KR101347750B1 (ko) * 2012-08-14 2014-01-16 성균관대학교산학협력단 하이브리드 다운 샘플링 방법 및 장치, 하이브리드 업 샘플링 방법 및 장치 및 하이브리드 다운/업 샘플링 시스템
CN103679707A (zh) * 2013-11-26 2014-03-26 西安交通大学 基于双目相机视差图的道路障碍物检测***及检测方法
CN104732196A (zh) * 2013-12-24 2015-06-24 现代自动车株式会社 车辆检测方法及***
CN107169418A (zh) * 2017-04-18 2017-09-15 海信集团有限公司 一种障碍物检测方法及装置
CN107358638A (zh) * 2017-07-19 2017-11-17 智车优行科技(北京)有限公司 视差图计算方法和装置、电子设备、计算机存储介质
CN107831765A (zh) * 2017-10-23 2018-03-23 广州视源电子科技股份有限公司 定位方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN108520536A (zh) 2018-09-11

Similar Documents

Publication Publication Date Title
CN108520536B (zh) 一种视差图的生成方法、装置及终端
CN108319655B (zh) 用于生成栅格地图的方法和装置
JP5926228B2 (ja) 自律車両用の奥行き検知方法及びシステム
CN108076338B (zh) 图像视觉处理方法、装置及设备
CN113657224B (zh) 车路协同中用于确定对象状态的方法、装置、设备
JP6955783B2 (ja) 情報処理方法、装置、クラウド処理デバイス及びコンピュータプログラム製品
CN110826499A (zh) 物体空间参数检测方法、装置、电子设备及存储介质
CN111582054B (zh) 点云数据处理方法及装置、障碍物检测方法及装置
CN110555407B (zh) 路面车辆空间识别方法及电子设备
CN107909036B (zh) 一种基于视差图的道路检测方法及装置
CN108629763B (zh) 一种视差图的评判方法、装置及终端
CN112097732A (zh) 一种基于双目相机的三维测距方法、***、设备及可读存储介质
CN111047634B (zh) 场景深度的确定方法、装置、设备及存储介质
CN111243003B (zh) 车载双目摄像机及其检测道路限高杆的方法、装置
WO2018030010A1 (ja) 路面推定装置、車両制御装置、路面推定方法、およびプログラム
US11282180B1 (en) Object detection with position, pose, and shape estimation
CN112700486B (zh) 对图像中路面车道线的深度进行估计的方法及装置
CN112686877A (zh) 基于双目相机的三维房屋损伤模型构建测量方法及***
CN111295667A (zh) 图像立体匹配的方法和辅助驾驶装置
CN110197104B (zh) 基于车辆的测距方法及装置
KR20160063039A (ko) 3차원 데이터를 이용한 도로 인식 방법
CN112215048B (zh) 一种3d目标检测方法、装置和计算机可读存储介质
Jaspers et al. Fast and robust b-spline terrain estimation for off-road navigation with stereo vision
CN115564836B (zh) 幕墙机器人的单目坐标转换方法、装置及电子设备
CN108416305A (zh) 连续型道路分割物的位姿估计方法、装置及终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant