CN104918035A - 一种获取目标三维图像的方法及*** - Google Patents

Abstract

本发明公开了一种获取目标三维图像的方法及***。该方法包括：通过摄像机对目标进行图像采集，获取目标对应的原始图像，其中，当目标处于第一场景时，原始图像包括色彩信息，当目标处于第二场景时，原始图像包括色彩信息和红外信息；根据目标所处的场景对原始图像进行处理，获取目标对应的深度图像；对深度图像和原始图像中的色彩信息进行匹配，获取目标对应的三维图像。通过上述方式，由于对处于不同场景的目标采用不同的方式进行处理，从而能够准确地获取处于不同场景的目标的三维图像。

Description

一种获取目标三维图像的方法及***

技术领域

本发明涉及三维技术领域，特别是涉及一种获取目标三维图像的方法及***。

背景技术

随着3D技术的发展，越来越多的领域需要获取目标的三维图像。其中，由于目标所处的场景存在差异性，例如处于室内的目标和处于室外的目标存在较大的场景差异，如何准确地获取处于不同的场景的目标的三维图像是个亟待解决的问题。

发明内容

本发明主要解决的技术问题是提供一种获取目标三维图像的方法及***，能够准确地获取处于不同的场景的目标的三维图像。

为解决上述技术问题，本发明采用的一个技术方案是：提供一种获取目标三维图像的方法，该方法包括：通过摄像机对目标进行图像采集，获取目标对应的原始图像，其中，当目标处于第一场景时，原始图像包括色彩信息，当目标处于第二场景时，原始图像包括色彩信息和红外信息；根据目标所处的场景对原始图像进行处理，获取目标对应的深度图像；对深度图像和原始图像中的色彩信息进行匹配，获取目标对应的三维图像。

其中，当目标处于第一场景时：

通过摄像机对目标进行图像采集，获取目标对应的原始图像的步骤具体为：

通过两个摄像机对目标进行图像采集，获取目标对应的两个原始图像，记为第一原始图像和第二原始图像；

根据目标所处的场景对原始图像进行处理，获取目标对应的深度图像的步骤具体为：

对第一原始图像和第二原始图像进行处理，获取目标对应的深度图像；

当目标处于第二场景时：

通过摄像机对目标进行图像采集，获取目标对应的原始图像的步骤具体为：

通过一个摄像机对目标进行图像采集，获取目标对应的原始图像；

根据目标所处的场景对原始图像进行处理，获取目标对应的深度图像的步骤具体为：

根据原始图像中的红外信息获取目标的目标散斑图；

对目标散斑图和预存储的参考散斑图进行处理，获取目标对应的深度图像。

其中，通过两个摄像机对目标进行图像采集的步骤之前，该方法还包括步骤：

对两个摄像机进行校准操作，以使第一原始图像和第二原始图像中对应于目标的同一位置的像素点具有相同的垂直坐标。

其中，通过一个摄像机对目标进行图像采集的步骤之前，该方法还包括步骤：

开启光源以使光源向目标投射红外光，进而使得通过摄像机采集得到的原始图像包括红外信息。

其中，对第一原始图像和第二原始图像进行处理，获取目标对应的深度图像的步骤包括：

对第一原始图像和第二原始图像中对应于目标的同一位置的像素点进行处理，获取像素点在水平方向的偏移量；

根据该偏移量和两个摄像机之间的距离信息获取该像素点的深度信息；

根据第一原始图像或第二原始图像中各像素点的深度信息获取目标对应的深度图像。

为解决上述技术问题，本发明采用的另一个技术方案是：提供一种获取目标三维图像的***，该***包括：

摄像机，用于对目标进行图像采集，获取目标对应的原始图像，其中，当目标处于第一场景时，原始图像包括色彩信息，当目标处于第二场景时，原始图像包括色彩信息和红外信息；

处理器，与摄像机连接，用于根据目标所处的场景对摄像机采集的原始图像进行处理，获取目标对应的深度图像；以及对深度图像和原始图像中的色彩信息进行匹配，获取目标对应的三维图像。

其中，摄像机包括第一摄像机和第二摄像机；

当目标处于第一场景时：

第一摄像机和第二摄像机同步对目标进行图像采集，获取目标对应的两个原始图像，记为第一原始图像和第二原始图像；

处理器对第一原始图像和第二原始图像进行处理，获取目标对应的深度图像；

当目标处于第二场景时：

开启第一摄像机和第二摄像机中的一个，对目标进行图像采集，获取目标对应的原始图像；

处理器根据原始图像中的红外信息获取目标的目标散斑图，进而对目标散斑图和预存储的参考散斑图进行处理，获取目标对应的深度图像。

其中，第一摄像机和第二摄像机同步对目标进行图像采集的操作之前，第一摄像机和第二摄像机进行校准操作，以使第一原始图像和第二原始图像中对应于目标的同一位置的像素点具有相同的垂直坐标。

其中，该***进一步包括光源，光源用于向目标投射红外光，以使摄像机采集得到的原始图像包括红外信息。

其中，处理器对第一原始图像和第二原始图像中对应于目标的同一位置的像素点进行处理以获取该像素点在水平方向的偏移量，接着根据偏移量和两个摄像机之间的距离信息获取该像素点的深度信息，随后根据第一原始图像或第二原始图像中各像素点的深度信息获取目标对应的深度图像。

本发明的有益效果是：本发明的获取目标三维图像的方法及***首先通过摄像机对目标进行图像采集以获取目标对应的原始图像，其中，当目标处于第一场景时，原始图像包括色彩信息，当目标处于第二场景时，原始图像包括色彩信息和红外信息，接着根据目标所处的场景对原始图像中不同信息进行处理以获取目标对应的深度图像，最后对深度图像和原始图像中的色彩信息进行匹配获取目标对应的三维图像。通过上述方式，由于对处于不同场景的目标采用不同的方式进行处理，从而能够准确地获取处于不同场景的目标的三维信息。

附图说明

图1是本发明第一实施例的获取目标三维图像的方法的流程图；

图2是本发明第二实施例的获取目标三维图像的方法的流程图；

图3是本发明实施例的获取目标三维图像的***的结构示意图。

具体实施方式

在说明书及权利要求书当中使用了某些词汇来指称特定的组件，所属领域中的技术人员应可理解，制造商可能会用不同的名词来称呼同样的组件。本说明书及权利要求书并不以名称的差异来作为区分组件的方式，而是以组件在功能上的差异来作为区分的基准。下面结合附图和实施例对本发明进行详细说明。

图1本发明第一实施例的获取目标三维图像的方法的流程图。需注意的是，若有实质上相同的结果，本发明的方法并不以图1所示的流程顺序为限。如图1所示，该方法包括如下步骤：

步骤S101：通过摄像机对目标进行图像采集，获取目标对应的原始图像；

在步骤S101中，当目标处于第一场景时，原始图像包括色彩信息，当目标处于第二场景时，原始图像包括色彩信息和红外信息。其中，第一场景和第二场景具有不同的光照环境，第一场景为强光环境，例如室外，第二场景为弱光环境，例如室内。

步骤S102：根据目标所处的场景对原始图像进行处理，获取目标对应的深度图像；

在步骤S102中，当目标处于第一场景时，对原始图像中的色彩信息进行处理以获取目标对应的深度图像。当目标处于第二场景时，对原始图像中的红外信息进行处理以获取目标对应的深度图像。

步骤S103：对深度图像和原始图像中的色彩信息进行匹配，获取目标对应的三维图像。

在步骤S103中，三维图像为彩色三维图。具体来说，三维图像为RGB-D(色彩-深度)图。

通过上述实施方式，本发明第一实施例的获取目标三维图像的方法首先通过摄像机对目标进行图像采集以获取目标对应的原始图像，其中，当目标处于第一场景时，原始图像包括色彩信息，当目标处于第二场景时，原始图像包括色彩信息和红外信息，接着根据目标所处的场景对原始图像中不同信息进行处理以获取目标对应的深度图像，最后对深度图像和原始图像中的色彩信息进行匹配获取目标对应的三维图像。通过上述方式，由于对处于不同场景的目标采用不同的方式进行处理，从而能够准确地获取处于不同的场景的目标的三维图像。

图2本发明第二实施例的获取目标三维图像的方法的流程图。需注意的是，若有实质上相同的结果，本发明的方法并不以图2所示的流程顺序为限。如图2所示，该方法包括如下步骤：

步骤S201：判断目标是否处于第一场景；若目标处于第一场景，执行步骤S202，否则执行步骤S205；

在步骤S201中，第一场景为强光环境，例如室外。

步骤S202：对两个摄像机进行校准操作；

在步骤S202中，对两个摄像机进行校准操作的步骤具体为：调节两个摄像机之间的夹角和距离，以使两个摄像机设置在不同位置，进而使得下述步骤S203中通过两个摄像机获取的两个原始图像中对应于目标的同一位置的像素点具有相同的垂直坐标。

步骤S203：通过两个摄像机对目标进行图像采集，获取目标对应的两个原始图像，记为第一原始图像和第二原始图像；

在步骤S203中，两个摄像机位于不同的位置。相对于目标，两个摄像机的镜头的拍摄方向一致。在对目标进行图像采集时，两个摄像机同步触发，同时对目标进行图像采集。

另外，对目标进行图像采集后得到的第一原始图像和第二原始图像中，各像素点的像素值为色彩信息。

优选地，在获取到目标对应的两个原始图像后，进一步对两个原始图像进行降噪处理、平滑处理等优化处理，以提高目标的深度图像的提取精度。

步骤S204：对第一原始图像和第二原始图像进行处理，获取目标对应的深度图像；

在步骤S204中，对第一原始图像和第二原始图像进行处理，获取目标对应的深度图像的步骤具体为：对第一原始图像和第二原始图像中对应于目标的同一位置的像素点进行处理，获取该像素点在水平方向的偏移量，其中，该像素点在水平方向的偏移量为对应于目标的同一位置的像素点在第一原始图像中的水平坐标与在第二原始图像中的水平坐标之间的差值；根据该偏移量和两个摄像机之间的距离信息获取像素点的深度信息，其中，两个摄像机之间的距离信息具体为两个摄像机成像面中心之间的距离；结合第一原始图像或第二原始图像中各像素点的深度信息即可得到目标对应的深度图像。

具体来说，对第一原始图像和第二原始图像中对应于目标的同一位置的像素点进行处理，获取该像素点在水平方向的偏移量的步骤为：对第一原始图像和第二原始图像进行比较，进而进行区域相关搜索，最后根据搜索到的相关区域获取像素点在水平方向的偏移量。

具体来说，像素点的深度信息根据如下公式进行计算：

$Z=\frac{b\×f}{d}$

其中，Z为像素点的深度信息，b为两个摄像机成像面中心之间的距离，f为摄像机的焦距，d为对应于目标的同一位置的像素点在水平方向的偏移量。

其中，对应于目标的同一位置的像素点在水平方向的偏移量d为对应于目标的同一位置的像素点在第一原始图像中的水平坐标与在第二原始图像中的水平坐标之间的差值。换个角度来说，d为目标的同一位置成像在第一原始图像中相对于成像在第二原始图像中在水平方向的偏移量。

步骤S205：开启光源以使光源向目标投射红外光；

在步骤S205中，当步骤S201判断目标不是处于第一场景时，也即目标处于第二场景时，开启光源以使光源向目标投射红外光。其中，第二场景为弱光环境，例如室内。其中，红外光为带有散斑图案的红外光。

步骤S206：通过一个摄像机对目标进行图像采集，获取目标对应的原始图像；

在步骤S206中，由于目标被投射红外光，摄像机获取到的目标对应的原始图像包括色彩信息和红外信息。

步骤S207：根据原始图像中的红外信息获取目标的目标散斑图；

在步骤S207中，原始图像中各像素点的红外信息构成的灰度图即为目标的目标散斑图，其中，红外信息具体为投射在目标上的红外线的强度信息。

步骤S208：对目标散斑图和预存储的参考散斑图进行处理，获取目标对应的深度图像；

在步骤S208中，对目标散斑图和预存储的参考散斑图进行处理，获取目标对应的深度图像的步骤具体为：根据目标散斑图获取原始图像中各像素点对应的红外散斑区域；根据各像素点对应的红外散斑区域和参考散斑图获取各像素点的深度信息；根据各像素点的深度信息获取目标对应的深度图像。

其中，根据各像素点对应的红外散斑区域和参考散斑图获取各像素点的深度信息具体包括两个步骤：1.根据各像素点所对应的红外散斑区域和参考散斑图像搜寻各像素点所对应的红外散斑区域的最近的参考平面，并计算出各像素点所对应的红外散斑区域与最近的参考平面的偏离值；2.根据各像素点所对应的红外散斑区域与最近的参考平面的偏离值，以及最近的参考平面的深度值计算出各像素点的深度信息。

步骤S209：对深度图像和原始图像中的色彩信息进行匹配，获取目标对应的三维图像。

在步骤S209中，当目标处于第一场景时，由于各像素点的深度信息与第一原始图像或第二原始图像中各像素点的色彩信息不是一一对应的，则对深度图像和原始图像中的色彩信息进行匹配时，需要根据两个摄像机的距离信息和校准信息对深度图像和第一原始图像或第二原始图像中各像素点的色彩信息进行对准，将对准后的各像素点的深度信息和色彩信息相结合即可得到目标对应的RGB-D图。

当目标处于第二场景时，由于各像素点的深度信息和原始图像中红外信息一一对应，同时红外信息和色彩信息是一体获得的，因此直接结合各像素点的深度信息和色彩信息即可得到目标对应的RGB-D图。

通过上述实施方式，本发明第二实施例的获取目标三维图像的方法通过当目标处于第一场景时，由两台摄像机对目标进行图像采集以获取目标对应的第一原始图像和第二原始图像，结合两个摄像机的距离信息对第一原始图像和第二原始图像中对应于目标的同一位置的像素点进行处理以获取目标对应的深度图像；当目标处于第二场景时，由一台摄像机对目标进行图像采集获取目标的目标散斑图，对目标散斑图和预存储的参考散斑图进行处理，获取目标对应的深度图像。通过上述方式，由于对处于不同场景的目标采用不同的处理方法，从而能够准确地获取处于不同的场景的目标的三维信息。

图3是本发明实施例的获取目标三维图像的***的结构示意图。如图3所示，该***包括：摄像机1、处理器2和光源3，其中，摄像机1包括第一摄像机11和第二摄像机12。

摄像机1用于对目标进行图像采集，获取目标对应的原始图像。其中，当目标处于第一场景时，原始图像包括色彩信息，当目标处于第二场景时，原始图像包括色彩信息和红外信息。其中，第一场景和第二场景具有不同的光照环境，第一场景为强光环境，例如室外，第二场景为弱光环境，例如室内。

处理器2与摄像机1连接，用于根据目标所处的场景对摄像机1采集的原始图像进行处理，获取目标对应的深度图像，接着对深度图像和原始图像中的色彩信息进行匹配，获取目标对应的三维图像。

具体来说，当目标处于第一场景时，第一摄像机11和第二摄像机12同步对目标进行图像采集，从而获取目标对应的两个原始图像，记为第一原始图像和第二原始图像。其中，第一摄像机11和第二摄像机12同步对目标进行图像采集的操作之前，第一摄像机11和第二摄像机12进行校准操作，以使第一原始图像和第二原始图像中对应于目标的同一位置的像素点具有相同的垂直坐标。

当第一摄像机11和第二摄像机12完成第一原始图像和第二原始图像的采集后，处理器2首先对第一原始图像和第二原始图像进行处理以获取目标对应的深度图像，接着对深度图像和第一原始图像或者第二原始图像中的色彩信息进行插值匹配即可获得目标对应的三维图像。

其中，处理器2对第一原始图像和第二原始图像进行处理以获取目标对应的深度图像的操作具体为：处理器2首先对第一原始图像和第二原始图像中对应于目标的同一位置的像素点进行处理以获取该像素点在水平方向的偏移量，接着根据该偏移量和两个摄像机之间的距离信息获取该像素点的深度信息，随后根据第一原始图像或第二原始图像中各像素点的深度信息获取目标对应的深度图像。

具体来说，当目标处于第二场景时，首先处理器2控制光源3开启以使得光源3向目标投射红外光。接着处理器2控制第一摄像机11和第二摄像机12中的一个对目标进行图像采集从而获得目标对应的原始图像。

当第一摄像机11和第二摄像机12中的一个完成原始图像的采集后，处理器2首先根据原始图像中的红外信息获取目标的目标散斑图，进而对目标散斑图和预存储的参考散斑图进行处理以获取目标对应的深度图像，最后对深度图像和原始图像中的色彩信息进行插值匹配即可获得目标对应的三维图像。

其中，处理器2对目标散斑图和预存储的参考散斑图进行处理以获取目标对应的深度图像的操作具体为：处理器2根据目标散斑图获取原始图像中各像素点对应的红外散斑区域，接着根据各像素点对应的红外散斑区域和参考散斑图获取各像素点的深度信息，随后根据各像素点的深度信息获取目标对应的深度图像。

通过上述实施方式，本发明实施例的获取目标三维图像的***可以准确地获取不同场景下目标的三维图像，具体来说，当场景为室外时，其可以不受室外强光的干扰而获取准确的三维图像，当场景为室内时，其可以在光源的配合下获取高精度的三维图像。

以上所述仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种获取目标三维图像的方法，其特征在于，所述方法包括：

通过摄像机对所述目标进行图像采集，获取所述目标对应的原始图像，其中，当所述目标处于第一场景时，所述原始图像包括色彩信息，当所述目标处于第二场景时，所述原始图像包括色彩信息和红外信息；

根据所述目标所处的场景对所述原始图像进行处理，获取所述目标对应的深度图像；

对所述深度图像和所述原始图像中的所述色彩信息进行匹配，获取所述目标对应的三维图像。

2.根据权利要求1所述的方法，其特征在于，

当所述目标处于所述第一场景时：

所述通过摄像机对所述目标进行图像采集，获取所述目标对应的原始图像的步骤具体为：

通过两个摄像机对所述目标进行图像采集，获取所述目标对应的两个原始图像，记为第一原始图像和第二原始图像；

所述根据所述目标所处的场景对所述原始图像进行处理，获取所述目标对应的深度图像的步骤具体为：

对所述第一原始图像和所述第二原始图像进行处理，获取所述目标对应的深度图像；

当所述目标处于所述第二场景时：

所述通过摄像机对所述目标进行图像采集，获取所述目标对应的原始图像的步骤具体为：

通过一个摄像机对所述目标进行图像采集，获取所述目标对应的原始图像；

所述根据所述目标所处的场景对所述原始图像进行处理，获取所述目标对应的深度图像的步骤具体为：

根据所述原始图像中的所述红外信息获取所述目标的目标散斑图；

对所述目标散斑图和预存储的参考散斑图进行处理，获取所述目标对应的深度图像。

3.根据权利要求2所述的方法，其特征在于，所述通过两个摄像机对所述目标进行图像采集的步骤之前，所述方法还包括步骤：

对两个摄像机进行校准操作，以使所述第一原始图像和所述第二原始图像中对应于所述目标的同一位置的所述像素点具有相同的垂直坐标。

4.根据权利要求2所述的方法，其特征在于，所述通过一个摄像机对所述目标进行图像采集的步骤之前，所述方法还包括步骤：

开启光源以使所述光源向所述目标投射红外光，进而使得通过所述摄像机采集得到的所述原始图像包括所述红外信息。

5.根据权利要求2所述的方法，其特征在于，所述对所述第一原始图像和所述第二原始图像进行处理，获取所述目标对应的深度图像的步骤包括：

对所述第一原始图像和所述第二原始图像中对应于所述目标的同一位置的像素点进行处理，获取所述像素点在水平方向的偏移量；

根据所述偏移量和所述两个摄像机之间的距离信息获取所述像素点的深度信息；

根据所述第一原始图像或所述第二原始图像中各所述像素点的所述深度信息获取所述目标对应的深度图像。

6.一种获取目标三维图像的***，其特征在于，所述***包括：

摄像机，用于对所述目标进行图像采集，获取所述目标对应的原始图像，其中，当所述目标处于第一场景时，所述原始图像包括色彩信息，当所述目标处于第二场景时，所述原始图像包括色彩信息和红外信息；

处理器，与所述摄像机连接，用于根据所述目标所处的场景对所述摄像机采集的所述原始图像进行处理，获取所述目标对应的深度图像；以及对所述深度图像和所述原始图像中的所述色彩信息进行匹配，获取所述目标对应的三维图像。

7.根据权利要求6所述的***，其特征在于，所述摄像机包括第一摄像机和第二摄像机；

当所述目标处于所述第一场景时：

所述第一摄像机和所述第二摄像机同步对所述目标进行图像采集，获取所述目标对应的两个原始图像，记为第一原始图像和第二原始图像；

所述处理器对所述第一原始图像和所述第二原始图像进行处理，获取所述目标对应的深度图像；

当所述目标处于所述第二场景时：

开启所述第一摄像机和所述第二摄像机中的一个，对所述目标进行图像采集，获取所述目标对应的原始图像；

所述处理器根据所述原始图像中的所述红外信息获取所述目标的目标散斑图，进而对所述目标散斑图和预存储的参考散斑图进行处理，获取所述目标对应的深度图像。

8.根据权利要求7所述的***，其特征在于，所述第一摄像机和所述第二摄像机同步对所述目标进行图像采集的操作之前，所述第一摄像机和所述第二摄像机进行校准操作，以使所述第一原始图像和所述第二原始图像中对应于所述目标的同一位置的所述像素点具有相同的垂直坐标。

9.根据权利要求7所述的***，其特征在于，所述***进一步包括光源，所述光源用于向所述目标投射红外光，以使所述摄像机采集得到的所述原始图像包括所述红外信息。

10.根据权利要求7所述的***，其特征在于，所述处理器对所述第一原始图像和所述第二原始图像中对应于所述目标的同一位置的像素点进行处理以获取所述像素点在水平方向的偏移量，接着根据所述偏移量和所述两个摄像机之间的距离信息获取所述像素点的深度信息，随后根据所述第一原始图像或所述第二原始图像中各所述像素点的所述深度信息获取所述目标对应的深度图像。