CN103198473B - 一种深度图生成方法及装置 - Google Patents

一种深度图生成方法及装置 Download PDF

Info

Publication number
CN103198473B
CN103198473B CN201310069640.3A CN201310069640A CN103198473B CN 103198473 B CN103198473 B CN 103198473B CN 201310069640 A CN201310069640 A CN 201310069640A CN 103198473 B CN103198473 B CN 103198473B
Authority
CN
China
Prior art keywords
depth information
image
image object
pars intermedia
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310069640.3A
Other languages
English (en)
Other versions
CN103198473A (zh
Inventor
马腾
李保利
李成军
屈孝志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Tencent Computer Systems Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201310069640.3A priority Critical patent/CN103198473B/zh
Publication of CN103198473A publication Critical patent/CN103198473A/zh
Application granted granted Critical
Publication of CN103198473B publication Critical patent/CN103198473B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明实施例公开了一种深度图生成方法及装置,其中,所述方法包括:对当前输入的图像进行分割操作,获取所述图像的对象集合,所述图像的对象集合中包括天空图像对象、地面图像对象以及中间部图像对象中的任一种或多种;从预置的深度信息算法中分别为所述图像的对象集合中的每一个图像对象选择深度信息算法,计算对应图像对象的深度信息;将每一个图像对象的深度信息结合,得到所述输入的图像的深度图。采用本发明,能够快速地得到输入图像的较为准确的深度图,特别是在一些对深度信息的精度要求不高,而只要求远近关系的场景中,能够满足深度图的快速获取的要求,节约计算资源,降低了成本。

Description

一种深度图生成方法及装置
技术领域
本发明涉及图像处理技术,尤其涉及一种深度图生成方法及装置。
背景技术
关于街景的图像处理技术中,一个重要的问题是图像深度信息的获取,对于街景的各个场景下,每一个图像中各点相对于摄像机的距离可以用深度图(DepthMap)来表示,深度图中的每一个像素值表示图像中某一点与摄像机之间的距离。
目前,获取当前拍摄到的场景图像的深度图的技术可分为被动测距传感和主动测距传感两大类。被动测距传感是指视觉***接收来自场景发射或反射的光能量,形成有关光能量分布的灰度图像,然后再得到场景的深度信息。主动测距传感是指视觉***主动向场景发射能量,通过接受场景的反射能量计算深度信息,最常用的主动测距传感***是雷达测距***和三角测距***。
上述两类方式都能够对图像中的各个点进行深度计算,然后对每一个点进行结合,便可得到精确的关于该图像的深度图。现有技术的计算方式是将图像中的所有对象统一进行计算,较为复杂,无法快速完成图像深度处理。
发明内容
本发明实施例所要解决的技术问题在于,提供一种深度图生成方法及装置,可较为快速地完成图像深度计算,得到图像的深度图。
为了解决上述技术问题,本发明实施例提供了一种深度图生成方法,包括:
对当前输入的图像进行分割操作,获取所述图像的对象集合,所述图像的对象集合中包括天空图像对象、地面图像对象以及中间部图像对象中的任一种或多种;
从预置的深度信息算法中分别为所述图像的对象集合中的每一个图像对象选择深度信息算法,计算对应图像对象的深度信息;
将每一个图像对象的深度信息结合,得到所述输入的图像的深度图。
其中,若所述图像的对象集合中包括地面图像对象,则所述从预置的深度信息算法中分别为所述图像的对象集合中的每一个图像对象选择深度信息算法,计算对应图像对象的深度信息,包括:
从预置的深度信息算法中为所述图像的对象集合中的地面图像对象选择基于插值计算的深度信息算法;
计算地面图像对象中至少三个点的深度信息;
根据计算得到的至少三个点的深度信息,采用插值计算的方式得到所述地面图像对象中所有点的深度信息。
其中,若所述图像的对象集合中包括中间部图像对象,则所述从预置的深度信息算法中分别为所述图像的对象集合中的每一个图像对象选择深度信息算法,计算对应图像对象的深度信息,包括:
从预置的深度信息算法中为所述图像的对象集合中的地面图像对象选择基于双目立体几何关系的深度信息算法;
以所述中间部图像对象中单位平面为基本单位,采用基于双目立体几何关系的深度信息算法计算所述中间部图像对象中各单位平面的深度信息,所述单位平面是指中间部图像对象中面积大小为预设的单位面积大小的平面;
根据各单位平面的深度信息,组合得到所述中间部图像对象的深度信息。
其中,所述以所述中间部图像对象中单位平面为基本单位,采用基于双目立体几何关系的深度信息算法计算所述中间部图像对象中各单位平面的深度信息,包括:
对所述中间部图像对象执行轮廓提取操作;
根据轮廓提取操作的结果对所述中间部图像对象进行建模,得到中间部图像对象的立体线框模型;
按照预设的单位面积对所述中间部图像对象的立体线框模型中的各个面进行划分,得到立体线框模型中的各个面对应的单位平面;
采用双目立体几何关系的深度计算方式,对立体线框模型中单位平面进行计算,得到每一个单位平面的深度信息。
其中,若所述图像的对象集合中包括天空图像对象,则计算所述图像的对象集合中的天空图像对象的深度信息包括:
将所述图像的对象集合中的天空图像对象的深度信息标记为无穷远。
相应地,本发明实施例还提供了一种深度图生成装置,包括:
分割模块,用于对输入的图像进行分割操作,获取图像的对象集合,所述图像的对象集合中包括天空图像对象、地面图像对象以及中间部图像对象中的任一种或多种;
计算模块,用于从预置的深度信息算法中分别为所述图像的对象集合中的每一个图像对象选择深度信息算法,计算对应图像对象的深度信息;
组合模块,用于将每一个图像对象的深度信息结合,得到所述输入的图像的深度图。
其中,所述计算模块包括:
第一选择单元,用于从预置的深度信息算法中为所述图像的对象集合中的地面图像对象选择基于插值计算的深度信息算法;
第一计算单元,用于计算地面图像对象中至少三个点的深度信息;
第一处理单元,用于根据计算得到的至少三个点的深度信息,采用插值的方式得到所述地面图像对象中所有点的深度信息。
其中,所述计算模块包括:
第二选择单元,用于从预置的深度信息算法中为所述图像的对象集合中的地面图像对象选择基于双目立体几何关系的深度信息算法;
第二计算单元,用于以所述中间部图像对象中单位平面为基本单位,采用基于双目立体几何关系的深度信息算法计算所述中间部图像对象中各单位平面的深度信息,所述单位平面是指中间部图像对象中面积大小为预设的单位面积大小的平面;
第二处理单元,根据各单位平面的深度信息,组合得到所述中间部图像对象的深度信息。
其中,所述第二计算单元包括:
提取子单元,对所述中间部图像对象执行轮廓提取操作;
建模子单元,用于根据轮廓提取操作的结果对所述中间部图像对象进行建模,得到中间部图像对象的立体线框模型;
平面划分子单元,用于按照预设的单位面积对所述中间部图像对象的立体线框模型中的各个面进行划分,得到立体线框模型中的各个面对应的单位平面;
计算子单元,用于采用双目立体几何关系的深度计算方式,对立体线框模型中单位平面进行计算,得到每一个单位平面的深度信息。
其中,所述计算模块包括:
标记单元,用于将所述图像的对象集合中的天空图像对象的深度信息标记为无穷远。
实施本发明实施例,具有如下有益效果:
本发明实施例通过对输入的图像进行分割得到不同的图像对象,然后针对不同的图像对象选择深度信息算法计算该图像对象的深度信息,发明人发现,能够快速地得到输入图像的较为准确的深度图,特别是在一些对深度信息的精度要求不高,而只要求远近关系的场景中,能够满足深度图的快速获取的要求,节约计算资源,降低了成本。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例的一种深度图生成方法的流程示意图;
图2是本发明实施例的一种计算对应图像对象的深度信息的方法的流程示意图;
图3是本发明实施例的另一种计算对应图像对象的深度信息的方法的流程示意图;
图4是本发明实施例的另一种深度图生成方法的流程示意图;
图5是本发明实施例的一种深度图生成装置的结构组成示意图;
图6是图5中所述计算模块的其中一种具体结构示意图;
图7是图5中所述计算模块的其中另一种具体结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参见图1,是本发明实施例的一种深度图生成方法的流程示意图,本发明实施例的所述方法可应用在各类计算机视觉***中,具体的,本实施例的所述方法包括:
S101:对当前输入的图像进行分割操作,获取所述图像的对象集合,所述图像的对象集合中包括天空图像对象、地面图像对象以及中间部图像对象中的任一种或多种。
当前输入的图像可以是在街景拍摄等场景下,由摄像机拍摄得到的双目图像。图像中一般包括天空、地面以及位于天空和地面之间的中间部分,中间部分可以为建筑物、街道树木、车辆、雕塑等图像。
在所述S101中,对图像的天空部分进行分割得到天空图像对象可以通过以下方式实现:
根据天空固有的颜色信息,并使用均值偏移meanshift算法进行分割操作,得到天空图像对象。
对图像的地面部分进行分割得到地面图像对象则可以通过以下方式实现:
第一步,图像上密集匹配生成视差图;第二步,地面点采样,可以包括采用基于投影点密度的采样方式;第三步,地面拟合,可以采用基于RANSAC(RANdomSAmpleConsensus,随机抽样一致性)平面拟合进行计算;第四步,对地面拟合的结果进行初分割;第五步,地面点开操作并计算边界;第六步,进行地面深度插值。其中,上述的第一步是根据图像空间中的相关信息计算视差图,第二步至第四步是在视差空间(三维空间)中完成的,然后再映射回图像空间中完成后续操作。也就是说,实际上整个地面分割包括从图像空间到视差空间、然后再到图像空间的分割过程。
在完成图像的天空和地面的分割后,中间部分中的建筑物等物体即可直接作为中间部图像对象,以进行后续处理。
S102:从预置的深度信息算法中分别为所述图像的对象集合中的每一个图像对象选择深度信息算法,计算对应图像对象的深度信息;
所述预置的深度信息算法可以包括多种,根据分割得到的图像对象的类型,可以选择不同的深度信息算法,具体的,对于天空图像对象,直接将其深度信息标记为无穷远,则在深度图中天空图像对象被表现为无穷远;地面图像对象则用插值的方式计算深度值;中间部图像对象则基于双目立体几何关系的深度信息算法进行较为详细的计算。
S103:将每一个图像对象的深度信息结合,得到所述输入的图像的深度图。
由于所述图像的深度图是表示图像上每一个点到同一摄像机的距离,因此将得到的深度信息记录到深度图上即可得到所述输入的图像深度图。
本发明实施例通过对输入的图像进行分割得到不同的图像对象,然后针对不同的图像对象选择深度信息算法计算该图像对象的深度信息,发明人发现,能够快速地得到输入图像的较为准确的深度图,特别是在一些对深度信息的精度要求不高,而只要求远近关系的场景中,能够满足深度图的快速获取的要求,节约计算资源,降低了成本。
再请参见图2,是本发明实施例的一种计算对应图像对象的深度信息的方法的流程示意图,本发明实施例的所述方法对应于上述实施例中的S102,具体的,本发明实施例的所述方法用于在所述图像的对象集合中包括地面图像对象时,对地面图像对象的深度信息的计算方法,其包括:
S201:从预置的深度信息算法中为所述图像的对象集合中的地面图像对象选择基于插值计算的深度信息算法;
S202:计算地面图像对象中至少三个点的深度信息;
S203:根据计算得到的至少三个点的深度信息,采用插值计算的方式得到所述地面图像对象中所有点的深度信息。
具体的,基于插值计算的深度信息算法是根据选择适当的特定函数,在地面图像对象的区间中的各个点上计算得到部分点值,然后在区间的其他点上用选择的特定函数的值其他点的近似值,本发明实施例具体可以采用目前常用的块匹配(BlockMatch)计算出部分点的深度信息,然后通过插值得到其他点的深度信息。得到每个点的深度信息后,即完成所述地面图像对象中深度信息的计算,完成地面图像对象部分的深度图。
本发明实施例采用插值的方式计算地面部分的深度信息,在计算得到几个点后,便可得到其他点的深度值,满足了快速计算深度信息的要求,并且还可以较为有效地去除掉诸如树木、车辆等对地面部分深度信息的影响。
再请参见图3,是本发明实施例的另一种计算对应图像对象的深度信息的方法的流程示意图,本发明实施例的所述方法对应于上述实施例中的S102,具体的,本发明实施例的所述方法用于在所述图像的对象集合中包括中间部图像对象时,对中间部图像对象的深度信息的计算方法,中间部图像对象实际可以包括建筑物、人物、车辆等物体的图像对象,本实施例的所述方法包括:
S301:从预置的深度信息算法中为所述图像的对象集合中的地面图像对象选择基于双目立体几何关系的深度信息算法;
S302:以所述中间部图像对象中单位平面为基本单位,采用基于双目立体几何关系的深度信息算法计算所述中间部图像对象中各单位平面的深度信息,所述单位平面是指中间部图像对象中面积大小为预设的单位面积大小的平面;
S303:根据各单位平面的深度信息,组合得到所述中间部图像对象的深度信息。
基于双目立体几何关系的深度信息算法是通过图像对象上同一个目标点到两个完全相同的摄像机的距离得到目标点的深度信息,本发明实施例中,以所述中间部图像对象中单位平面为基本单位,以单位平面中的所有点构成的点集代替目标点,以计算该单位平面的深度信息。
对于输入的图像,可以假设图像的成像平面位于同一个平面上,两个摄像机的坐标轴相互平行,且x轴重合,摄像机在x轴方向上的距离称为基线距离,两摄像机中各自得到的图像中目标点的位置差称为视差。然后根据立体几何关系中三角形的相似性、基线距离、视差以及两个摄像机的焦距,即可得到图像上所述目标点即点集的深度信息,从而得到该单位平面的深度信息。
进一步的,所述S302具体可以包括:
对所述中间部图像对象执行轮廓提取操作;
根据轮廓提取操作的结果对所述中间部图像对象进行建模,得到中间部图像对象的立体线框模型;
按照预设的单位面积对所述中间部图像对象的立体线框模型中的各个面进行划分,得到立体线框模型中的各个面对应的单位平面;
采用双目立体几何关系的深度计算方式,对立体线框模型中单位平面进行计算,得到每一个单位平面的深度信息。
即首先根据轮廓为所述中间部图像对象建模,例如,根据轮廓采用圆柱体表示树木、人,采用长方体、立方体表示建筑,这样可进一步的将中间部的各个对象粗略地描述为规则的几何结构即线框模型,然后再以点集为基本单位计算线框模型中各个点集(单位平面)的深度信息,这可以进一步地提高深度计算的速度,节约计算成本。
本发明实施例中通过基于双目立体几何关系的深度信息算法、以点集组成的单位平面为基本单位计算建筑物、人、车辆等物体的深度信息,不用进行每一个点的计算,可以显著地提供了深度信息的计算速度,并且通过建模的方式还能进一步地提高深度计算的速度,节约计算成本。
进一步的,再请参见图4,是本发明实施例的另一种深度图生成方法的流程示意图,本发明实施例的所述方法可应用在各类计算机视觉***中,具体的,本实施例的所述方法包括:
S401:输入图像;
S402:对当前输入的图像进行分割操作,分割获取天空图像对象;
S403:对当前输入的图像进行分割操作,分割获取地面图像对象以及中间部图像对象;
S404:计算得到所述地面图像对象中所有点的深度信息;
所述S404具体可以包括:从预置的深度信息算法中为所述图像的对象集合中的地面图像对象选择基于插值计算的深度信息算法;计算地面图像对象中至少三个点的深度信息;根据计算得到的至少三个点的深度信息,采用插值计算的方式得到所述地面图像对象中所有点的深度信息。
S405:计算得到所述中间部图像对象的深度信息;
所述S405具体可以包括:从预置的深度信息算法中为所述图像的对象集合中的地面图像对象选择基于双目立体几何关系的深度信息算法;以所述中间部图像对象中单位平面为基本单位,采用基于双目立体几何关系的深度信息算法计算所述中间部图像对象中各单位平面的深度信息,所述单位平面是指中间部图像对象中面积大小为预设的单位面积大小的平面;根据各单位平面的深度信息,组合得到所述中间部图像对象的深度信息。
其中,以所述中间部图像对象中单位平面为基本单位,采用基于双目立体几何关系的深度信息算法计算所述中间部图像对象中各单位平面的深度信息包括:对所述中间部图像对象执行轮廓提取操作;根据轮廓提取操作的结果对所述中间部图像对象进行建模,得到中间部图像对象的立体线框模型;按照预设的单位面积对所述中间部图像对象的立体线框模型中的各个面进行划分,得到立体线框模型中的各个面对应的单位平面;采用双目立体几何关系的深度计算方式,对立体线框模型中单位平面进行计算,得到每一个单位平面的深度信息。
S406:将所述图像的对象集合中的天空图像对象的深度信息标记为无穷远;
S407:将每一个图像对象的深度信息结合,得到所述输入的图像的深度图。
本发明实施例通过对输入的图像进行分割得到不同的图像对象,然后针对不同的图像对象选择深度信息算法计算该图像对象的深度信息,发明人发现,能够快速地得到输入图像的较为准确的深度图,特别是在一些对深度信息的精度要求不高,而只要求远近关系的场景中,能够满足深度图的快速获取的要求,节约计算资源,降低了成本。
下面对本发明实施例的深度图生成装置进行详细描述。
请参见图5,是本发明实施例的一种深度图生成装置的结构组成示意图,本发明实施例的所述装置可应用在各类计算机视觉***中,具体的,本实施例的所述装置包括:
分割模块1,用于对输入的图像进行分割操作,获取图像的对象集合,所述图像的对象集合中包括天空图像对象、地面图像对象以及中间部图像对象中的任一种或多种;
当前输入的图像可以是在街景拍摄等场景下,由摄像机拍摄得到的双目图像。图像中一般包括天空、地面以及位于天空和地面之间的中间部分,中间部分可以为建筑物、街道树木、车辆、雕塑等图像。
所述分割模块1对输入的图像的分割操作具体可以参见图1对应的方法实施例中的分割方式,在此不再赘述。
计算模块2,用于从预置的深度信息算法中分别为所述图像的对象集合中的每一个图像对象选择深度信息算法,计算对应图像对象的深度信息;
所述预置的深度信息算法可以包括多种,所述计算模块2具体可以根据分割得到的图像对象的类型,选择不同的深度信息算法即进行计算,具体的,所述计算模块2对于天空图像对象,直接将其深度信息标记为无穷远,则在深度图中天空图像对象被表现为无穷远;对于地面图像对象则用插值的方式计算深度值;对于中间部图像对象则基于双目立体几何关系的深度信息算法进行较为详细的计算。
组合模块3,用于将每一个图像对象的深度信息结合,得到所述输入的图像的深度图。
由于所述图像的深度图是表示图像上每一个点到同一摄像机的距离,因此将得到的深度信息记录到深度图上即可得到所述输入的图像深度图。
本发明实施例对输入的图像进行分割操作的分割上述与上述图1对应实施例中所描述的分割方式相同,在此不赘述。
本发明实施例通过对输入的图像进行分割得到不同的图像对象,然后针对不同的图像对象选择深度信息算法计算该图像对象的深度信息,发明人发现,能够快速地得到输入图像的较为准确的深度图,特别是在一些对深度信息的精度要求不高,而只要求远近关系的场景中,能够满足深度图的快速获取的要求,节约计算资源,降低了成本。
进一步的,请参见图6,是图5中所述计算模块的其中一种具体结构示意图,所述计算模块2具体通过图6中的各单元对地面图像对象进行深度计算,具体的所述计算模块2包括:
第一选择单元21,用于从预置的深度信息算法中为所述图像的对象集合中的地面图像对象选择基于插值计算的深度信息算法;
第一计算单元22,用于计算地面图像对象中至少三个点的深度信息;
第一处理单元23,用于根据计算得到的至少三个点的深度信息,采用插值的方式得到所述地面图像对象中所有点的深度信息。
具体的,基于插值计算的深度信息算法是根据选择适当的特定函数,在地面图像对象的区间中的各个点上计算得到部分点值,然后在区间的其他点上用选择的特定函数的值其他点的近似值,所述计算模块2通过所述第一计算单元22和第一处理单元23,采用目前常用的块匹配(BlockMatch)计算出部分点的深度信息,然后通过插值得到其他点的深度信息。得到每个点的深度信息后,即完成所述地面图像对象中深度信息的计算,完成地面图像对象部分的深度图。
所述计算模块2采用插值的方式计算地面部分的深度信息,在计算得到几个点后,便可得到其他点的深度值,满足了快速计算深度信息的要求,并且还可以较为有效地去除掉诸如树木、车辆等对地面部分深度信息的影响。
进一步的,请参见图7,是图5中所述计算模块的其中另一种具体结构示意图,所述计算模块2具体通过图7中的各单元对中间部图像对象进行深度计算,具体的所述计算模块2包括:
第二选择单元24,用于从预置的深度信息算法中为所述图像的对象集合中的地面图像对象选择基于双目立体几何关系的深度信息算法;
第二计算单元25,用于以所述中间部图像对象中单位平面为基本单位,采用基于双目立体几何关系的深度信息算法计算所述中间部图像对象中各单位平面的深度信息,所述单位平面是指中间部图像对象中面积大小为预设的单位面积大小的平面;
第二处理单元26,根据各单位平面的深度信息,组合得到所述中间部图像对象的深度信息。
基于双目立体几何关系的深度信息算法是通过图像对象上同一个目标点到两个完全相同的摄像机的距离得到目标点的深度信息,所述计算模块2通过所述第二计算单元25和第二处理单元26以所述中间部图像对象中单位平面为基本单位,以单位平面中的所有点构成的点集代替目标点,计算该单位平面的深度信息。
通过所述第二计算单元25和第二处理单元26,对于输入的图像,可以假设图像的成像平面位于同一个平面上,两个摄像机的坐标轴相互平行,且x轴重合,摄像机在x轴方向上的距离称为基线距离,两摄像机中各自得到的图像中目标点的位置差称为视差。然后根据立体几何关系中三角形的相似性、基线距离、视差以及两个摄像机的焦距,即可得到图像上所述目标点即点集的深度信息,从而得到该单位平面的深度信息。
进一步具体的,所述第二计算单元24还可以包括以下子单元完成相应功能:
提取子单元,对所述中间部图像对象执行轮廓提取操作;
建模子单元,用于根据轮廓提取操作的结果对所述中间部图像对象进行建模,得到中间部图像对象的立体线框模型;
平面划分子单元,用于按照预设的单位面积对所述中间部图像对象的立体线框模型中的各个面进行划分,得到立体线框模型中的各个面对应的单位平面;
计算子单元,用于采用双目立体几何关系的深度计算方式,对立体线框模型中单位平面进行计算,得到每一个单位平面的深度信息。
所述第二计算单元24通过上述子单元,首先根据轮廓为所述中间部图像对象建模,例如,根据轮廓采用圆柱体表示树木、人,采用长方体、立方体表示建筑,这样可进一步的将中间部的各个对象粗略地描述为规则的几何结构即线框模型,然后再以点集为基本单位计算线框模型中各个点集(单位平面)的深度信息,这可以进一步地提高深度计算的速度,节约计算成本。
所述计算模块2通过基于双目立体几何关系的深度信息算法、以点集组成的单位平面为基本单位计算建筑物、人、车辆等物体的深度信息,不用进行每一个点的计算,可以显著地提供了深度信息的计算速度,并且通过建模的方式还能进一步地提高深度计算的速度,节约计算成本。
进一步的,对于天空图像对象,所述计算模块2可以包括标记单元进行处理:标记单元,用于将所述图像的对象集合中的天空图像对象的深度信息标记为无穷远。
需要说明的是,所述计算模块2可以同时包括第一选择单元21、第一计算单元22、第一处理单元23,以及第二选择单元24、第二计算单元25、第二处理单元26,以及标记单元,当然,也可以根据实际图像获取场景,选择其中的部分单元完成计算模块2的相应功能。
本发明实施例能够快速地得到输入图像的较为准确的深度图,特别是在一些对深度信息的精度要求不高,而只要求远近关系的场景中,能够满足深度图的快速获取的要求,节约计算资源,降低了成本。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-OnlyMemory,ROM)或随机存储记忆体(RandomAccessMemory,RAM)等。
以上所揭露的仅为本发明较佳实施例而已,当然不能以此来限定本发明之权利范围,因此依本发明权利要求所作的等同变化,仍属本发明所涵盖的范围。

Claims (6)

1.一种深度图生成方法,其特征在于,包括:
S1、对当前输入的图像进行分割操作,获取所述图像的对象集合,所述图像的对象集合中包括天空图像对象、地面图像对象以及中间部图像对象中的任一种或多种;
S2、从预置的深度信息算法中分别为所述图像的对象集合中的每一个图像对象选择深度信息算法,计算对应图像对象的深度信息,若所述图像的对象集合中包括中间部图像对象,具体为:
S21、从预置的深度信息算法中为所述图像的对象集合中的中间部图像对象选择基于双目立体几何关系的深度信息算法;
S22、以所述中间部图像对象中单位平面为基本单位,采用基于双目立体几何关系的深度信息算法计算所述中间部图像对象中各单位平面的深度信息,所述单位平面是指中间部图像对象中面积大小为预设的单位面积大小的平面,具体为:
S221、对所述中间部图像对象执行轮廓提取操作,
S222、根据轮廓提取操作的结果对所述中间部图像对象进行建模,得到中间部图像对象的立体线框模型,
S223、按照预设的单位面积对所述中间部图像对象的立体线框模型中的各个面进行划分,得到立体线框模型中的各个面对应的单位平面,
S224、采用双目立体几何关系的深度计算方式,对立体线框模型中单位平面进行计算,得到每一个单位平面的深度信息;
S23、根据各单位平面的深度信息,组合得到所述中间部图像对象的深度信息;
S3、将每一个图像对象的深度信息结合,得到所述输入的图像的深度图。
2.如权利要求1所述的方法,其特征在于,若所述图像的对象集合中包括地面图像对象,则所述从预置的深度信息算法中分别为所述图像的对象集合中的每一个图像对象选择深度信息算法,计算对应图像对象的深度信息,包括:
从预置的深度信息算法中为所述图像的对象集合中的地面图像对象选择基于插值计算的深度信息算法;
计算地面图像对象中至少三个点的深度信息;
根据计算得到的至少三个点的深度信息,采用插值计算的方式得到所述地面图像对象中所有点的深度信息。
3.如权利要求1所述的方法,其特征在于,若所述图像的对象集合中包括天空图像对象,则计算所述图像的对象集合中的天空图像对象的深度信息包括:
将所述图像的对象集合中的天空图像对象的深度信息标记为无穷远。
4.一种深度图生成装置,其特征在于,包括:
分割模块,用于对输入的图像进行分割操作,获取图像的对象集合,所述图像的对象集合中包括天空图像对象、地面图像对象以及中间部图像对象中的任一种或多种;
计算模块,用于从预置的深度信息算法中分别为所述图像的对象集合中的每一个图像对象选择深度信息算法,计算对应图像对象的深度信息,所述计算模块包括第二选择单元、第二计算单元和第二处理单元,
第二选择单元,用于从预置的深度信息算法中为所述图像的对象集合中的中间部图像对象选择基于双目立体几何关系的深度信息算法,
第二计算单元,用于以所述中间部图像对象中单位平面为基本单位,采用基于双目立体几何关系的深度信息算法计算所述中间部图像对象中各单位平面的深度信息,所述单位平面是指中间部图像对象中面积大小为预设的单位面积大小的平面,
所述第二计算单元还包括以下子单元:
提取子单元,对所述中间部图像对象执行轮廓提取操作,
建模子单元,用于根据轮廓提取操作的结果对所述中间部图像对象进行建模,得到中间部图像对象的立体线框模型,
平面划分子单元,用于按照预设的单位面积对所述中间部图像对象的立体线框模型中的各个面进行划分,得到立体线框模型中的各个面对应的单位平面,
计算子单元,用于采用双目立体几何关系的深度计算方式,对立体线框模型中单位平面进行计算,得到每一个单位平面的深度信息,
第二处理单元,根据各单位平面的深度信息,组合得到所述中间部图像对象的深度信息;
组合模块,用于将每一个图像对象的深度信息结合,得到所述输入的图像的深度图。
5.如权利要求4所述的装置,其特征在于,所述计算模块包括:
第一选择单元,用于从预置的深度信息算法中为所述图像的对象集合中的地面图像对象选择基于插值计算的深度信息算法;
第一计算单元,用于计算地面图像对象中至少三个点的深度信息;
第一处理单元,用于根据计算得到的至少三个点的深度信息,采用插值的方式得到所述地面图像对象中所有点的深度信息。
6.如权利要求4所述的装置,其特征在于,所述计算模块包括:
标记单元,用于将所述图像的对象集合中的天空图像对象的深度信息标记为无穷远。
CN201310069640.3A 2013-03-05 2013-03-05 一种深度图生成方法及装置 Active CN103198473B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310069640.3A CN103198473B (zh) 2013-03-05 2013-03-05 一种深度图生成方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310069640.3A CN103198473B (zh) 2013-03-05 2013-03-05 一种深度图生成方法及装置

Publications (2)

Publication Number Publication Date
CN103198473A CN103198473A (zh) 2013-07-10
CN103198473B true CN103198473B (zh) 2016-02-24

Family

ID=48720979

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310069640.3A Active CN103198473B (zh) 2013-03-05 2013-03-05 一种深度图生成方法及装置

Country Status (1)

Country Link
CN (1) CN103198473B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103617608B (zh) * 2013-10-24 2016-07-06 四川长虹电器股份有限公司 通过双目图像获得深度图的方法
US10282591B2 (en) * 2015-08-24 2019-05-07 Qualcomm Incorporated Systems and methods for depth map sampling
CN105374019B (zh) * 2015-09-30 2018-06-19 华为技术有限公司 一种多深度图融合方法及装置
CN106231177A (zh) * 2016-07-20 2016-12-14 成都微晶景泰科技有限公司 场景深度测量方法、设备及成像装置
CN108024051B (zh) * 2016-11-04 2021-05-04 宁波舜宇光电信息有限公司 距离参数计算方法,双摄像头模组和电子设备
CN109274864A (zh) * 2018-09-05 2019-01-25 深圳奥比中光科技有限公司 深度相机、深度计算***与方法
CN109658451B (zh) * 2018-12-04 2021-07-30 深圳市道通智能航空技术股份有限公司 一种深度感知方法,装置和深度感知设备
CN111080804B (zh) * 2019-10-23 2020-11-06 贝壳找房(北京)科技有限公司 三维图像生成方法及装置
CN111025137A (zh) * 2019-12-13 2020-04-17 苏州华电电气股份有限公司 敞开式隔离开关状态感知装置
WO2022040941A1 (zh) * 2020-08-25 2022-03-03 深圳市大疆创新科技有限公司 深度计算方法、装置、可移动平台及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102308320A (zh) * 2009-02-06 2012-01-04 香港科技大学 从图像生成三维模型

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9129432B2 (en) * 2010-01-28 2015-09-08 The Hong Kong University Of Science And Technology Image-based procedural remodeling of buildings

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102308320A (zh) * 2009-02-06 2012-01-04 香港科技大学 从图像生成三维模型

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Putting Objects in Perspective;Derek Hoiem;《International Journal of Computer Vision》;20080417;第3-25页 *
基于内容理解的单幅静态街景图像深度估计;李乐等;《机器人》;20110131;第33卷(第1期);第174-180页 *

Also Published As

Publication number Publication date
CN103198473A (zh) 2013-07-10

Similar Documents

Publication Publication Date Title
CN103198473B (zh) 一种深度图生成方法及装置
CN112132972B (zh) 一种激光与图像数据融合的三维重建方法及***
CN108537876B (zh) 三维重建方法、装置、设备及存储介质
CN108520536B (zh) 一种视差图的生成方法、装置及终端
CN101324663B (zh) 激光雷达点云数据的快速分块与栅格化算法
Einecke et al. A multi-block-matching approach for stereo
EP3570253A1 (en) Method and device for reconstructing three-dimensional point cloud
KR20140060454A (ko) 포인트 클라우드에서의 포인트 백필링
CN105469386B (zh) 一种确定立体相机高度与俯仰角的方法及装置
ES2392229A1 (es) Método de generación de un modelo de un objeto plano a partir de vistas del objeto.
CN114419130A (zh) 一种基于图像特征和三维点云技术的散料体积测量方法
CN112907573B (zh) 一种基于3d卷积的深度补全方法
CN102368137A (zh) 嵌入式标定立体视觉***
WO2016129612A1 (en) Method for reconstructing a three-dimensional (3d) scene
Ambrosch et al. Hardware implementation of an SAD based stereo vision algorithm
CN104236468A (zh) 目标空间坐标计算方法、***及移动机器人
Rothermel et al. Fast and robust generation of semantic urban terrain models from UAV video streams
Isakova et al. FPGA design and implementation of a real-time stereo vision system
CN110148086B (zh) 稀疏深度图的深度补齐方法、装置及三维重建方法、装置
CN103971356B (zh) 基于视差信息的街景图像目标分割方法及装置
Sánchez-Ferreira et al. Development of a stereo vision measurement architecture for an underwater robot
CN112948605A (zh) 点云数据的标注方法、装置、设备及可读存储介质
CN116704112A (zh) 一种用于对象重建的3d扫描***
CN112215048B (zh) 一种3d目标检测方法、装置和计算机可读存储介质
CN110021041B (zh) 基于双目相机的无人驾驶场景增量式网格化结构重建方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20180117

Address after: The South Road in Guangdong province Shenzhen city Fiyta building 518000 floor 5-10 Nanshan District high tech Zone

Patentee after: Shenzhen Tencent Computer System Co., Ltd.

Address before: Shenzhen Futian District City, Guangdong province 518057 Zhenxing Road, SEG Science Park 2 East Room 403

Patentee before: Tencent Technology (Shenzhen) Co., Ltd.