CN106875435B - 获取深度图像的方法及*** - Google Patents

获取深度图像的方法及*** Download PDF

Info

Publication number
CN106875435B
CN106875435B CN201611155673.XA CN201611155673A CN106875435B CN 106875435 B CN106875435 B CN 106875435B CN 201611155673 A CN201611155673 A CN 201611155673A CN 106875435 B CN106875435 B CN 106875435B
Authority
CN
China
Prior art keywords
image
depth
structured light
camera
acquiring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611155673.XA
Other languages
English (en)
Other versions
CN106875435A (zh
Inventor
黄源浩
肖振中
刘龙
许星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Orbbec Inc
Original Assignee
Orbbec Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Orbbec Inc filed Critical Orbbec Inc
Priority to CN201611155673.XA priority Critical patent/CN106875435B/zh
Publication of CN106875435A publication Critical patent/CN106875435A/zh
Application granted granted Critical
Publication of CN106875435B publication Critical patent/CN106875435B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform

Landscapes

  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种获取深度图像的方法，利用深度相机在至少两个平面上分别获取一副结构光图像作为参考图像；再选取一幅参考图像，计算出第一深度图像的深度值；最后根据第一深度图像深度值选取参考图像，计算出第二深度图像的深度值。在获取第一深度图像的基础上选取参考图像获取第二深度图像，减小了深度测量误差，提高了深度相机的测量精度，深度相机的测量精度随着距离的增加不会出现明显下降的情况。此外，采用第二结构光图像计算第二深度图像，根据第一深度图像选取参考图像作为第二结构光图像对应的参考图像，这种方式减少了计算量，在保证测量精度高的同时，提高了深度图像的获取速度。另外本发明还提供了一种获取深度图像的***。

Description

获取深度图像的方法及***
技术领域
本发明涉及计算机科学技术领域，特别是涉及一种获取高精度深度图像的方法及***。
背景技术
基于结构光的深度相机是目前较为普遍的一种测量物体深度的设备。由于结构光深度相机有着较高的分辨率以及深度图片采集帧数，利用深度相机实现人机交互被认为是下一代人机交互技术。此外，利用深度相机还可以实现3D扫描、机器人室内环境重建、避障等应用。
结构光深度相机能够获取高速深度视频，但随着测量距离增加，其测量精度会有较为明显的下降。主要原因是随着距离的增加，导致结构光图像的对比度急剧下降，在进行图像匹配计算时，精度下降明显。解决该问题的方法之一是提高结构光投影仪的功率，然而提高功率会对人体有影响，另外使得深度相机的功耗增加，散热问题难以解决，因而目前还没有被采用。
已有技术中，参考图像是预先采集的距离深度相机某一平面上的结构光图像，平面的选取一般由深度相机的测量范围来决定的。通常位于测量范围的近端，这样的设置导致了目标深度相机在近距离时精度较高，而远距离测量误差则较大。
发明内容
为了解决深度相机测量精度随着距离增加而明显下降的问题，本发明提出一种获取深度图像的方法。
本发明的技术问题通过以下的技术方案予以解决：一种获取深度图像的方法，包括以下步骤：S1：利用深度相机在至少两个平面上分别获取一副结构光图像作为参考图像；S2：选取一幅参考图像，计算出第一深度图像；S3：根据第一深度图像深度值选取参考图像，计算出第二深度图像。
具体地，在步骤S2中，包括步骤：利用所述选取的一幅参考图像与第一结构光图像计算出第一深度图像。
具体地，在步骤S3中，包括步骤：利用所述选取的参考图像与第一结构光图像或第二结构光图像计算出所述第二深度图像，所述第一结构光图像与所述第二结构光图像在时间上是先后邻近的关系。
具体地，在步骤S3中，所述选取的参考图像所在平面的位置在所述第一深度图像深度值所属的深度区域内。
具体地，在步骤S1中，所述选取的一幅参考图像为距离所述深度相机最近的参考图像，。
具体地，在步骤S1中，所述平面处于所述深度相机的测量范围之内，相邻的所述平面之间的间距包括等距或不等距。
具体地，所述结构光图像的获取步骤包括：
S11：利用所述深度相机的激光投影仪向目标空间或平面投射结构光图案；
S12：利用所述深度相机的图像采集相机采集目标空间中或平面上所述结构光图像。
具体地，所述第一深度图像或第二深度图像深度值的计算步骤包括：
T1：利用匹配算法计算出第一结构光图像或第二结构光图像相对于参考图像各像素的偏离值Δ；
T2：根据以下公式计算出各像素的深度值得到深度图像：
Figure BDA0001180641930000021
其中，B是激光投影仪与图像采集相机之间的距离，Z0为参考图像离深度相机的距离值，f为图像采集相机镜头的焦距。
本发明还提供了一种采用上述任一所述的获取深度图像的方法的***，其特征在于，包括：激光投影仪，用于向空间投影结构光图案；图像采集相机，用于采集参考图像以及目标空间结构光图像，所述参考图像是在至少两个平面上采集的结构光图像；处理器，用于获取深度图像。
具体地，激光投影仪为红外光源激光投影仪，所述红外光源为红外边发射激光器或红外垂直腔面激光发射器，所述图像采集相机为红外相机，所述结构光图像为散斑颗粒图像。
本发明与现有技术对比的有益效果包括：在获取第一深度图像的基础上重新选取参考图像获取第二深度图像，减小了深度测量误差，提高了深度相机的测量精度，深度相机的测量精度随着距离的增加不会出现明显下降的情况。采用第二结构光图像计算第二深度图像，将第一深度图像重新选取的参考图像作为第二结构光图像对应的参考图像，减少了计算量，在保证测量精度高的同时，提高了深度图像的获取速度。
附图说明
图1是本发明提供的实施例1中获取深度图像的方法流程图。
图2是本发明提供的实施例2获取深度图像的方法流程图。
图3是本发明提供的示意图。
图4是本发明提供的实施例3中获取深度图像的***示意图。
具体实施方式
下面对照附图并结合优选的实施方式对本发明作进一步说明。
以下将结合附图及具体实施例进行进一步说明。
需要说明的是，根据选取的平面划分出对应的深度区域，参考平面1对应深度区域a，参考平面2对应深度区域b，以此类推。第一结构光图像与第二结构光图像在时间上是先后邻近的结构光图像。
实施例1
一种获取深度图像的方法，如图1所示，包括以下步骤：
S1：利用深度相机在至少两个平面上分别获取一副结构光图像作为参考图像
Ri(i＝1，...，n)；
S2：选取一幅参考图像，计算出第一深度图像；
S3：根据第一深度图像深度值选取参考图像，计算出第二深度图像。
在本实施例中，步骤S2还包括：利用所述选取的一幅参考图像与第一结构光图像计算出第一深度图像。
在本实施例中，步骤S3还包括：利用所述选取的参考图像与第一结构光图像或第二结构光图像计算出所述第二深度图像，所述第一结构光图像与所述第二结构光图像在时间上是先后邻近的关系。
在本实施例中，步骤S3中，所述选取的参考图像所在平面与所述第一深度图像深度值对应。
在本实施例中，步骤S1中，所述选取的一幅参考图像为距离所述深度相机最近的参考图像。
在本实施例中，步骤S1中，所述平面处于所述深度相机的测量范围之内，相邻的所述平面之间的间距为等距，在某些实施例中也可以为不等距。
在本实施例中，所述结构光图像的获取步骤包括：
S11：利用所述深度相机的激光投影仪向目标空间或平面投射结构光图案；
S12：利用所述深度相机的图像采集相机采集目标空间或平面上所述结构光图像。
在本实施例中，所述第一深度图像或第二深度图像深度值的计算步骤包括：T1：利用匹配算法计算出第一结构光图像或第二结构光图像相对于参考图像各像素的偏离值Δ；
T2：根据以下公式计算出各像素的深度值得到深度图像：
Figure BDA0001180641930000041
在平面距离的选取上，在深度测量范围内可以每隔一个距离选取，总共选取3个等距的平面，在某些实施例中也可以进行不等距选取。
本实施例中，测量范围是0.6～6m，平面位置分别在0.9m、2.7m、4.5m处。
需要说明的是，由于距离越近参考图像对比度会越高，因而由参考图像带来的误差会较小，而距离越远则误差越大。因而平面之间的间隔距离可以随着距离的增加而减小，即平面距离深度相机越远则越密集。
具体地，参考图像的采集包括以下步骤：
D1：利用深度相机的激光投影仪向目标空间投射结构光图像；
D2：分别在空间中距离深度相机已知距离放置至少两个平面；
D3：利用深度相机的图像采集相机依次在各个平面上获取一幅结构光图像，并将其作为参考图像。
需要说明的是，由步骤S2得到的第一深度图像中，目标区域中靠近参考平面的物体所对应像素值将会具有更高的精度。在本实施例中，以参考平面1获取的结构光图像作为参考图像，位于区域1中的物体的深度信息精度将较高。主要原因是由于随着距离的增加，结构光图像的对比度下降，与参考图像会产生较大的差别，在进行偏离值计算时会存在较大的计算误差。
在本实施例中，由步骤S2得到的第一深度图像中，深度值距离参考平面距离相近时，深度值的精度较高。对于其它像素的深度值则误差较大，为了减少该误差，将采取以下步骤获取高精度的深度图像：
S31：根据第一深度图像中各个像素的深度值，选取与该深度值对应的参考图像；
S32：利用选取的参考图像计算出当前目标区域的第二深度图像。
需要说明的是，在本实施例中，针对第一深度图像中各像素对应的深度值，选取与各深度值距离最近的参考平面，并以该参考平面对应的参考图像作为该像素计算深度值时选用的参考图像。
在本实施例中，在S1步骤中根据选取的平面划分出对应的深度区域，参考平面1对应深度区域a，参考平面2对应深度区域b，以此类推。在本实施例中，若第一深度图像是依据参考图像1所计算得到的，那么第一深度图像中，深度值位于深度区域b、c的深度值则在本步骤中将选取参考图像2及参考图像3。
在本实施例中，步骤S31中所述深度值位于深度区域b、c的第一结构光图像的各个像素，将会根据步骤S2所述的算法进行深度值计算，由于所选取的参考图像距离实际的深度值相近，因而精度将得到提升。深度值位于深度区域1的像素则无需再进行一次额外的计算。
具体地，如图3所示，当前目标空间中的人物、沙发以及相框分别处在不同的距离上，分别对应于深度区域a、b、c。
首先，根据参考平面1对应的参考图像获取当前目标空间的第一深度图像，根据第一深度图像可以判断出人物位于距离参考平面1较近的深度区域a，因而人物的深度信息将较为精确。
其次，根据第一深度图像可以判断出沙发以及相框分别位于深度区域b、c。
最后，分别利用参考图像2及3分别对沙发以及相框的深度值进行重新计算，得到第二深度图像。
实施例2
本实施例获取深度图像的方法，如图2所示，与实施例1的区别在于第二深度图像的获取还需要利用到第二结构光图像。
需要说明的是，实施例1中所示的深度图像方法可以看成是两个步骤，一是深度图像的初步获取，二是对深度图像的修正。在实际使用中，考虑到深度视频的输出帧数，而实施例1的方法在是原有方法上增加了修正的步骤，导致第一帧的计算量增加，输出的帧率会下降。在本实施例所示的方法将会保证输出帧率不变的情况下减小深度测量误差，提高精度。主要思想是利用相邻帧对应的目标区域深度值变化不明显的特征。即将上一帧获取的深度图像作为下一帧中各像素对应的参考图像选取的依据，接下来结合图3进行说明。
本实施例获取深度图像的方法，包括以下步骤：
首先，获取第一帧结构光图像(即第一结构光图像)，结合参考平面1对应的参考图像，可以计算出当前目标空间的第一深度图像，将该帧深度图像作为下一帧深度图像的粗略深度估计的参照对象。
其次，获取第二帧结构光图像(即第二结构光图像)，根据第一深度图像可以判断出人物位于距离参考平面1较近的深度区域a，沙发以及相框分别位于深度区域b、c。
最后，对第二结构光图像中各像素及其对应的参考图像计算出第二深度图像。
实施例3
一种获取深度图像的***，如图4所示，包括：激光投影仪1，用于向空间投影结构光图案；图像采集相机2，用于采集参考图像以及目标空间结构光图像，所述参考图像是在至少两个平面上获取的结构光图像；处理器3，用于获取深度图像。
具体地，激光投影仪1为红外光源激光投影仪，所述红外光源包括红外边发射激光器或红外垂直腔面激光发射器，所述图像采集相机2为红外相机，所述结构光图像为散斑颗粒图像。
本发明所述方法与***主要针对基于结构光技术的深度相机，结构光技术的深度相机包含激光投影仪以及图像采集相机，具体地，激光投影仪为红外投影仪，用于向目标空间投射红外结构光散斑图案；图像采集相机则为红外相机，用于采集带有结构光图案的红外图像。该深度相机还包括处理器，将采集到的结构光图像与***中存储的参考图像进行相关计算获取偏离值，再通过三角测量原理利用偏离值就可以获取目标空间的深度图像。
需要说明的是，参考图像是预先采集的距离深度相机某一平面上的结构光图像，平面的选取一般由深度相机的测量范围来决定的。通常位于测量范围的近端，这样的设置导致了目标深度相机在近距离时精度较高，而远距离测量误差则较大。在本实施例中，将通过采集处在不同距离的多个平面上的多幅参考图像，首先选取其中一幅作为参考图像进行深度计算，得到深度图像之后，根据深度信息再重新选取参考图像进行深度信息更新计算，从而得到更高精度的深度图像。

Claims (8)

1.一种获取深度图像的方法，其特征在于，包括以下步骤：
S1：利用深度相机向目标空间投射获取所述目标空间的结构光图像，在已知距离的至少两个平面上分别获取一副结构光图像作为参考图像，所述平面在所述深度相机的深度测量范围内每隔一个距离等距或不等距选取且划分每个所述平面对应的深度区域；
S2：选取一幅参考图像，计算出所述目标空间的第一深度图像；
S3：根据所述第一深度图像中各个像素的深度值分别选取距离与每个所述像素的深度值最近的参考平面，并以所述参考平面对应的参考图像作为计算所述像素计算深度值时选用的参考图像，重新计算出部分像素的深度值得到第二深度图像的深度值，若所述第一深度图像的像素的深度值位于所述参考图像的深度区域，则无需再进行一次额外的深度值的计算，以所述第一深度图像的深度值作为所述第二深度图像的深度值；
所述第一深度图像或所述第二深度图像深度值的计算步骤包括：
T1：利用匹配算法计算出第一结构光图像或第二结构光图像相对于参考图像各像素的偏离值Δ；
T2：根据以下公式计算出各像素的深度值得到深度图像：
Figure FDA0002853727250000011
其中，B是激光投影仪与图像采集相机之间的距离，Z0为参考图像离深度相机的距离值，f为图像采集相机镜头的焦距。
2.如权利要求1所述的获取深度图像的方法，其特征在于，在步骤S2中，包括步骤：利用所述选取的一幅参考图像与第一结构光图像计算出第一深度图像。
3.如权利要求1所述的获取深度图像的方法，其特征在于，在步骤S3中，包括步骤：利用所述选取的参考图像与第一结构光图像或第二结构光图像计算出所述第二深度图像，所述第一结构光图像与所述第二结构光图像在时间上是先后邻近的关系。
4.如权利要求1或3所述的获取深度图像的方法，其特征在于，在步骤S3中，所述选取的参考图像所在平面的位置在所述第一深度图像深度值所属的深度区域内。
5.如权利要求1所述的获取深度图像的方法，其特征在于，在步骤S1中，所述选取的一幅参考图像为距离所述深度相机最近的参考图像。
6.如权利要求1-3任一所述的获取深度图像的方法，其特征在于，所述结构光图像的获取步骤包括：
S11：利用所述深度相机的激光投影仪向目标空间或平面投射结构光图案；
S12：利用所述深度相机的图像采集相机采集目标空间或平面上所述结构光图像。
7.一种采用如权利要求1-6任一所述获取深度图像的方法的***，其特征在于，包括：
激光投影仪，用于向空间投影结构光图案；
图像采集相机，用于采集参考图像以及目标空间结构光图像，所述参考图像是在至少两个平面上获取的结构光图像；
处理器，用于获取深度图像。
8.如权利要求7所述的***，其特征在于，激光投影仪为红外光源激光投影仪，所述红外光源包括红外边发射激光器或红外垂直腔面激光发射器，所述图像采集相机为红外相机，所述结构光图像为散斑颗粒图像。
CN201611155673.XA 2016-12-14 2016-12-14 获取深度图像的方法及*** Active CN106875435B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611155673.XA CN106875435B (zh) 2016-12-14 2016-12-14 获取深度图像的方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611155673.XA CN106875435B (zh) 2016-12-14 2016-12-14 获取深度图像的方法及***

Publications (2)

Publication Number Publication Date
CN106875435A CN106875435A (zh) 2017-06-20
CN106875435B true CN106875435B (zh) 2021-04-30

Family

ID=59164634

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611155673.XA Active CN106875435B (zh) 2016-12-14 2016-12-14 获取深度图像的方法及***

Country Status (1)

Country Link
CN (1) CN106875435B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107564051B (zh) * 2017-09-05 2020-06-02 歌尔股份有限公司 一种深度信息采集方法及***
CN107682607B (zh) * 2017-10-27 2019-10-22 Oppo广东移动通信有限公司 图像获取方法、装置、移动终端和存储介质
WO2019104670A1 (zh) * 2017-11-30 2019-06-06 深圳市大疆创新科技有限公司 深度值确定方法和装置
CN109661683B (zh) * 2017-12-15 2020-09-15 深圳配天智能技术研究院有限公司 基于图像内容的投射结构光方法、深度检测方法及结构光投射装置
CN108227707B (zh) * 2017-12-25 2021-11-26 清华大学苏州汽车研究院（吴江） 基于激光雷达和端到端深度学习方法的自动驾驶方法
CN110088563B (zh) * 2019-03-13 2021-03-19 深圳市汇顶科技股份有限公司 图像深度的计算方法、图像处理装置及三维测量***
CN111882596B (zh) * 2020-03-27 2024-03-22 东莞埃科思科技有限公司 结构光模组三维成像方法、装置、电子设备以及存储介质
CN111885311B (zh) * 2020-03-27 2022-01-21 东莞埃科思科技有限公司 红外摄像头曝光调节的方法、装置、电子设备及存储介质
CN112752088B (zh) * 2020-07-28 2023-03-28 腾讯科技（深圳）有限公司 深度图像生成方法及装置、参考图像生成方法、电子设备
CN112818874A (zh) * 2021-02-03 2021-05-18 东莞埃科思科技有限公司 一种图像处理方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103778643A (zh) * 2014-01-10 2014-05-07 深圳奥比中光科技有限公司 一种实时生成目标深度信息的方法及其装置
CN105120257A (zh) * 2015-08-18 2015-12-02 宁波盈芯信息科技有限公司 一种基于结构光编码的垂直深度感知装置
CN106170086A (zh) * 2016-08-19 2016-11-30 深圳奥比中光科技有限公司 绘制三维图像的方法及其装置、***

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7852461B2 (en) * 2007-11-15 2010-12-14 Microsoft International Holdings B.V. Dual mode depth imaging
US8786682B2 (en) * 2009-03-05 2014-07-22 Primesense Ltd. Reference image techniques for three-dimensional sensing
CN104463880B (zh) * 2014-12-12 2017-06-30 中国科学院自动化研究所 一种rgb‑d图像获取方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103778643A (zh) * 2014-01-10 2014-05-07 深圳奥比中光科技有限公司 一种实时生成目标深度信息的方法及其装置
CN105120257A (zh) * 2015-08-18 2015-12-02 宁波盈芯信息科技有限公司 一种基于结构光编码的垂直深度感知装置
CN106170086A (zh) * 2016-08-19 2016-11-30 深圳奥比中光科技有限公司 绘制三维图像的方法及其装置、***

Also Published As

Publication number Publication date
CN106875435A (zh) 2017-06-20

Similar Documents

Publication Publication Date Title
CN106875435B (zh) 获取深度图像的方法及***
US8718326B2 (en) System and method for extracting three-dimensional coordinates
EP3444560A1 (en) Three-dimensional scanning system and scanning method thereof
JP6041513B2 (ja) 画像処理装置、画像処理方法及びプログラム
WO2021063128A1 (zh) 单相机环境中主动式刚体的位姿定位方法及相关设备
CN107967697B (zh) 基于彩色随机二元编码结构照明的三维测量方法和***
US20090167843A1 (en) Two pass approach to three dimensional Reconstruction
CN107545586B (zh) 基于光场极线平面图像局部的深度获取方法及***
CN111210481A (zh) 多波段立体相机的深度估计加速方法
US10713810B2 (en) Information processing apparatus, method of controlling information processing apparatus, and storage medium
US11803982B2 (en) Image processing device and three-dimensional measuring system
JP2015135317A (ja) 画像処理装置、システム、画像処理方法およびプログラム
KR101745493B1 (ko) 깊이 지도 생성 장치 및 방법
JP2006350465A (ja) 画像マッチング装置、画像マッチング方法および画像マッチング用プログラム
US11348271B2 (en) Image processing device and three-dimensional measuring system
US20220292703A1 (en) Image processing device, three-dimensional measurement system, and image processing method
JP7489253B2 (ja) デプスマップ生成装置及びそのプログラム、並びに、デプスマップ生成システム
US9538161B2 (en) System and method for stereoscopic photography
US9674503B2 (en) Stereo matching apparatus using image property
TW201715882A (zh) 深度估測裝置及方法
US11391843B2 (en) Using time-of-flight techniques for stereoscopic image processing
JP2011095131A (ja) 画像処理方法
US20200320725A1 (en) Light projection systems
KR20190042472A (ko) 인공신경망 기반의 플렌옵틱 카메라 어레이 깊이 영상 획득 방법 및 장치
JPH11183142A (ja) 三次元画像撮像方法及び三次元画像撮像装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 11-13 / F, joint headquarters building, high tech Zone, 63 Xuefu Road, Yuehai street, Nanshan District, Shenzhen, Guangdong 518000

Applicant after: Obi Zhongguang Technology Group Co., Ltd

Address before: A808, Zhongdi building, industry university research base, China University of Geosciences, No.8, Yuexing Third Road, Nanshan District, Shenzhen, Guangdong 518000

Applicant before: SHENZHEN ORBBEC Co.,Ltd.

GR01 Patent grant
GR01 Patent grant