CN106170086A - 绘制三维图像的方法及其装置、*** - Google Patents

Abstract

本发明公开了绘制三维图像的方法及其装置、***。其中，所诉方法包括：分别获取以第一视点对目标进行采集得到的不可见光图像和以第二视点对所述目标进行采集得到的第一彩色图像；由所述不可见光图像计算所述第一视点和所述第二视点之间的视差；按照所述视差移动所述第一彩色图像的像素坐标，得到第一视点的第二彩色图像；由所述第一彩色图像和所述第二彩色图像形成三维图像。通过上述方式，能够提高三维显示效果。

Description

绘制三维图像的方法及其装置、***

技术领域

本发明涉及三维显示技术领域，特别是涉及绘制三维图像的方法及其装置、***。

背景技术

人类双眼由于位置不同在对具有一定距离的物体进行观看时会产生视觉差异，正是这种视差让人们有了三维的感观效果。三维显示技术根据这一原理，通过将同时获取的双眼图像分别被对应的眼睛接收，从而产生三维效果。由于这一技术给人们带来了全新的立体观看体验，近年来人们对三维图像资源的需求也日渐增加。

目前获得三维图像的方法之一是将二维图像通过图像处理技术转化为三维图像。具体为运用图像处理技术计算得到已有二维图像的场景深度信息，进而绘制出虚拟的其他视点图像，利用已有二维图像和虚拟的其他视点图像形成三维图像。

由于用于绘制该其他视点图像的已有二维图像的深度信息是经过计算得到，这一过程会导致图像细节信息的流失，影响三维显示的效果。

发明内容

本发明主要解决的技术问题是提供绘制三维图像的方法及其装置、***，能够提高三维显示效果。

为解决上述技术问题，本发明采用的一个技术方案是：提供一种绘制三维图像的方法，包括：分别获取以第一视点对目标进行采集得到的不可见光图像和以第二视点对所述目标进行采集得到的第一彩色图像；由所述不可见光图像计算所述第一视点和所述第二视点之间的视差；按照所述视差移动所述第一彩色图像的像素坐标，得到第一视点的第二彩色图像；由所述第一彩色图像和所述第二彩色图像形成三维图像。

其中，所述不可见光图像为在投影模组向所述目标投射结构光图案，由设置在所述第一视点的不可见光图像采集器对所述目标进行采集得到，所述第一彩色图像由设置在所述第二视点的彩色相机对所述目标进行采集得到。

其中，所述由所述不可见光图像计算所述第一视点和所述第二视点之间的视差，包括：根据数字图像处理的匹配算法，计算出包含所述结构光图案的所述不可见光图像与预设的参考结构光图像的各像素之间的位移；由所述位移计算得到第一视点和所述第二视点之间的视差，其中，所述位移与所述视差具有线性关系。

其中，所述由所述位移计算得到第一视点和所述第二视点之间的视差，包括：利用下述公式1计算得到第一视点和所述第二视点之间的视差d，

$d=\frac{B_2}{B_1}(\frac{B_{1}f}{Z_0}+\mathrm{\Δ}u)---\left(1\right)$

其中，B₁为所述不可见光图像采集器与所述投影模组之间的距离，B₂为所述不可见光图像采集器与彩色相机之间的距离；Z₀是所述参考结构光图像所在平面相对于不可见光图像采集器的深度值；f是不可见光图像采集器与彩色相机的像面焦距，Δu是不可见光图像与预设的参考结构光图像的各像素之间的位移。

其中，所述按照所述视差移动所述第一彩色图像的像素坐标，得到第一视点的第二彩色图像，包括：根据视差d，建立所述不可见光图像的第一像素坐标I_ir(u^ir,v^ir)与所述第一彩色图像的第二像素坐标I_r(u^r,v^r)之间的对应关系为：I_ir(u^ir,v^ir)＝I_r(u^r+d,v^r)；将所述不可见光图像的第一像素坐标的像素值设置为所述第一彩色图像中与所述第一像素坐标具有对应关系的第二像素坐标的像素值，以形成所述目标在第一视点的第二彩色图像；对所述第二彩色图像进行平滑、去噪处理。

其中，还包括：利用所述不可见光图像计算得到所述第一视点的深度图像；利用三维图像变换理论，根据所述第一视点的深度图像和所述第一彩色图像计算得到所述目标在第一视点的第三彩色图像；

所述由所述第一彩色图像和所述第二彩色图像形成三维图像，包括：将所述第二彩色图像和所述第三彩色图像中的对应像素的像素值进行平均或者加权平均，得到所述第一视点的第四彩色图像；由所述第一彩色图像和所述第四彩色图像形成三维图像。

其中，所述第一视点与第二视点之间的位置关系为人体双眼之间的位置关系；所述彩色相机和所述不可见光图像采集器以及所述投影模组处于同一直线上；所述不可见光图像为红外图像，所述不可见光图像采集器为红外相机。

其中，所述彩色相机和所述不可见光图像采集器的图像采集靶面大小相等、分辨率及焦距相同，光轴相互平行。

为了解决上述技术问题，本发明采用另一技术方案是：提供一种三维图像绘制装置，包括：获取模块，用于分别获取以第一视点对目标进行采集得到的不可见光图像和以第二视点对所述目标进行采集得到的第一彩色图像；计算模块，用于由所述不可见光图像计算所述第一视点和所述第二视点之间的视差；得到模块，用于按照所述视差移动所述第一彩色图像的像素坐标，得到第一视点的第二彩色图像；形成模块，用于由所述第一彩色图像和所述第二彩色图像形成三维图像。

为了解决上述技术问题，本发明采用另一技术方案是：提供一种三维图像绘制***，包括投影模组、不可见光图像采集器、彩色相机、与所述不可见光图像采集器和彩色相机连接的图像处理设备；所述图像处理设备用于：分别获取以第一视点的不可见光图像采集器对目标进行采集得到的不可见光图像和以第二视点的彩色相机对所述目标进行采集得到的第一彩色图像；由所述不可见光图像计算所述第一视点和所述第二视点之间的视差；按照所述视差移动所述第一彩色图像的像素坐标，得到第一视点的第二彩色图像；由所述第一彩色图像和所述第二彩色图像形成三维图像。

本发明的有益效果是：利用采集得到的第一视点的不可见光图像得到第一视点和第二视点的视差，并利用第二视点的第一彩色图像和该视差得到第二视点的第二彩色图像，进而由第一彩色图像和第二彩色图像形成三维图像，由于该第一视点和第二视点的视差由采集得到的图像数据获得，而无需经过图像处理，因此减少了图像细节信息的流失，以更准确获得两个视点的彩色图像，进而减少了合成的三维图像的失真度，提高了基于二维图像生成的三维显示效果。而且相对于现有的DIBR技术，本实施例无需计算得到图像的深度信息，避免了多次重复计算引入的误差，进一步提高了三维显示效果。

附图说明

图1是本发明绘制三维图像的方法一实施例的流程图；

图2是本发明绘制三维图像的方法一应用场景的示意图；

图3是本发明绘制三维图像的方法另一实施例的部分流程图；

图4是本发明绘制三维图像的方法再一实施例的部分流程图；

图5是本发明绘制三维图像的方法又再一实施例的流程图；

图6是本发明三维图像绘制装置一实施例的结构示意图；

图7是本发明三维图像绘制***一实施例的结构示意图；

图8是本发明三维图像绘制***另一实施例的结构示意图。

具体实施方式

为了更好的理解本发明的技术方案，下面结合附图对本发明实施例进行详细描述。

在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

请参阅图1，图1是本发明绘制三维图像的方法一实施例的流程图。本实施例中，该方法可由三维图像绘制装置执行，包括以下步骤：

S11：分别获取以第一视点对目标进行采集得到的不可见光图像和以第二视点对所述目标进行采集得到的第一彩色图像。

值得注意的是，本发明所述的不可见光图像和彩色图像均为二维图像。该不可见光图像为获取目标上的不可见光的强度而形成的图像。

其中，该第一视点和第二视点位于目标的不同位置，以获得该目标的两个视点处的图像。通常，由于三维感观是由双眼观看到的不同图像叠加形成，故该第一视点和第二视点用于作为人体双眼的两个视点，即第一视点与第二视点之间的位置关系为人体双眼之间的位置关系。例如，常规人体双眼的距离为t，则将第一视点和第二视点之间的距离设置为t，该t具体如为6.5cm。而且，为保证第一视点和第二视点的图像深度相同或者类似，将第一视点和第二视点设置为与该目标的距离相同或者距离相差不超过设定阈值，在具体应用中，该设定阈值可设置为不大于10cm或20cm的值。

在一具体应用中，如图2所示，该不可见光图像为在投影模组25向所述目标23投射结构光图案，由设置在所述第一视点的不可见光图像采集器21对所述目标23进行采集得到，该第一彩色图像由设置在所述第二视点的彩色相机22对目标23进行采集得到。不可见光图像采集器21和彩色相机将其采集得到的图像传输至三维图像绘制装置24，以进行下述三维图像的获取。由于彩色相机与不可见光图像采集器的位置不同，故该第一彩色图像与不可见光图像中的相同像素坐标上所对应的空间三维点并不相同。图2中，彩色相机22和所述不可见光图像采集器21以及所述投影模组25处于同一直线上，以使该彩色相机22和所述不可见光图像采集器21以及所述投影模组25对目标的深度相同。当然，图2仅作为一种实施例，在其他应用中，上述三种也可不在同一直线上。

具体地，投影模组25一般由激光及衍射光学元件组成，激光可以是边发射型的激光也可以是垂直腔面激光，该激光为能被该不可见光图像采集器采集得到的不可见光。衍射光学元件根据不同的结构光图案需要可以被设置成具有准直、分束、扩散等功能。上述结构光图案可以为分布不规则的散斑图案，散斑中心能级需要符合对人体无害的要求，因此需要综合考虑激光的功率以及衍射光学元件的配置情况。

散斑图案的密集程度影响了深度值计算的速度及精度，散斑颗粒越多，计算速度越慢，但精度却越高。因此，该投影模组25可根据拍摄图像的目标区域的大致深度，选择合适的散斑颗粒密度，在保证计算速度的同时，仍有着较高的计算精度。当然，该散斑颗粒密度也可由上述三维图像绘制装置24根据自身的计算需求而确定的，并将该确定的密度信息发送至投影模组25。

其中，该投影模组25向目标区域是但不限是以一定的扩散角投射散斑颗粒图案的。

在投影模组25向目标投射结构光图像后，不可见光图像采集器21采集目标的不可见光图像。具体，该不可见光可以为任意不可见光，例如，该不可见光图像采集器21可以为红外采集器，如红外相机，该不可见光图像为红外图像；或者不可见光图像采集器21可以为紫外采集器，如紫外相机，该不可见光图像为紫外图像。

为了达到好的采集效果以及避免后续多余的计算，可将彩色相机与不可见光图像采集器设置成同步采集且采集帧数相同，这样得到的彩色图像与不可见光图像能保证一一对应的关系，便于后续计算。

S12：由所述不可见光图像计算所述第一视点和所述第二视点之间的视差。

例如，利用数字图像处理的匹配算法比如图数字图像相关(DIC)算法计算得到第一视点的图像与第二视点的图像之间的视差，即第一视点的图像与第二视点的图像的像素坐标之间的相对位置关系。

S13：按照所述视差移动所述第一彩色图像的像素坐标，得到第一视点的第二彩色图像。

例如，将该第一彩色图像的像素坐标移动各自像素对应的图像视差值d，其中，移动得到的像素坐标(u₁+d,v₁)的像素值(又称为RGB值)为第一彩色图像中的像素坐标(u₁,v₁)的像素值。

S14：由所述第一彩色图像和第二彩色图像形成三维图像。

例如，将第一彩色图像和第二彩色图像分别作为人体双眼图像，以合成三维图像，具体地可以是上下格式、左右格式或者红蓝格式的用于3D显示的三维图像。进一步地，在合成三维图像后，还可将该三维图像进行显示，或者输出至连接的外部显示装置进行显示。

本实施例中，利用采集得到的第一视点的不可见光图像得到第一视点和第二视点的视差，并利用第二视点的第一彩色图像和该视差得到第二视点的第二彩色图像，进而由第一彩色图像和第二彩色图像形成三维图像，由于该第一视点和第二视点的视差由采集得到的图像数据获得，而无需经过图像处理，因此减少了图像细节信息的流失，以更准确获得两个视点的彩色图像，进而减少了合成的三维图像的失真度，提高了基于二维图像生成的三维显示效果。而且相对于现有的深度图像绘制(depth-image-based rendering，DIBR)技术，本实施例无需计算得到图像的深度信息，避免了多次重复计算引入的误差，进一步提高了三维显示效果。

请参阅图3，在另一实施例中，该不可见光图像为在投影模组向所述目标投射结构光图案，由设置在所述第一视点的不可见光图像采集器对所述目标进行采集得到，所述第一彩色图像由设置在所述第二视点的彩色相机对所述目标进行采集得到，本实施例与上述实施例的区别在于，上述S12包括以下子步骤：

S121：根据数字图像处理的匹配算法，计算出包含所述结构光图案的所述不可见光图像与预设的参考结构光图像的各像素之间的位移。

该数字图像处理的匹配算法如数字图像相关算法。该参考结构光图案是预先利用已设置好的投影模组向设定距离的平面投射参考结构光图案，并利用已设置好的不可见光图像采集器采集该平面的参考结构光图案得到的，上述的“设置好”应理解为一旦设置好之后，在后续进行该不可见光图像的采集时亦不会移动该图像采集器和投影模组。

例如，利用数字图像相关算法获得不可见光图像与参考结构光图案如参考散斑图像之间各对应像素的位移值Δu。目前数字图像相关算法的测量精度能达到亚像素级，比如1/8像素，也就是说Δu的值会是1/8的倍数，单位为像素。

S122：由所述位移计算得到第一视点和所述第二视点之间的视差。

由于该不可见光图像与该参考结构光图像的各像素之间的位移与该视差具有线性关系。故可位移以及其线性关系计算得到第一视点和所述第二视点之间的视差。

例如，利用下述公式11计算得到第一视点和所述第二视点之间的视差d，

$d=\frac{B_2}{B_1}(\frac{B_{1}f}{Z_0}+\mathrm{\Δ}u)---\left(11\right)$

其中，B₁为所述不可见光图像采集器与所述投影模组之间的距离，B₂为所述不可见光图像采集器与彩色相机之间的距离；Z₀是所述参考结构光图像所在平面相对于不可见光图像采集器的深度值；f是不可见光图像采集器与彩色相机的像面焦距，Δu是不可见光图像与预设的参考结构光图像的各像素之间的位移。该参考结构光图像所在平面即为之前投射该参考结构光图案所在的平面，该Z₀用于表示该平面距离该图像采集器之间的距离，可由之前测试该参考结构光图像时该平面的距离信息得到。本实施例中，f的单位为像素，f的值可预先经过标定得到。

当计算得到的视差d的数值不为整数时，可对其进行四舍五入或取整等处理。

请参阅图4，在再一实施例中，其与上述实施例的区别在于，上述13包括以下子步骤：

S131：根据视差建立所述不可见光图像的第一像素坐标与所述第一彩色图像的第二像素坐标之间的对应关系。

例如，根据视差d，建立所述不可见光图像的第一像素坐标I_ir(u^ir,v^ir)与所述第一彩色图像的第二像素坐标I_r(u^r,v^r)之间的对应关系为：I_ir(u^ir,v^ir)＝I_r(u^r+d,v^r)。

S132：将所述不可见光图像的第一像素坐标的像素值设置为所述第一彩色图像中与所述第一像素坐标具有对应关系的第二像素坐标的像素值，以形成所述目标在第一视点的第二彩色图像。

例如，根据对应关系，将第一彩色图像的像素值(也可称为RGB值)赋值于不可见光图像，以生成第二彩色图像。以图像的其中一个像素坐标举例，若d为1，则不可见光图像的像素坐标(1,1)与第一彩色图像的像素坐标(2,1)对应。然后，将不可见光图像的像素坐标(1,1)的像素值设置为第一彩色图像中像素坐标(2,1)的像素值(r，g，b)。

S133：对所述第二彩色图像进行平滑、去噪处理。

由于位移值Δu的数据常常出现一些坏点，导致最终得到的彩色图像中出现一些空洞等问题，在后面步骤中进一步处理时会将这些数据进行放大，进而严重影响三维显示效果，为避免深度图像的坏点或区域数据对三维显示的影响，本子步骤对得到的第二彩色图像进行去噪、平滑处理。

当然，在其他实施例中，上述S13步骤可以仅包括上述S131和S132子步骤。

请参阅图5，在又再一实施例中，在上述S11之后，还包括以下步骤：

S15：利用所述不可见光图像计算得到所述第一视点的深度图像。

例如，利用红外图像计算出该第一视点的深度图像，其具体计算方式可采用现有的相关算法。

S16：利用三维图像变换理论，根据所述第一视点的深度图像和所述第一彩色图像计算得到所述目标在第一视点的第三彩色图像。

根据三维图像转换(3D Image Wrapping)理论——空间任一三维坐标点与图像采集平面上的二维坐标点可通过透射变换理论对应起来，故由此理论可将第一视点和第二视点的图像的像素坐标对应起来，并根据该对应关系和第二视点的第一彩色图像的像素值，为第一视点的图像像素坐标设置第二视点的第一彩色图像中对应像素坐标的像素值。

例如，该S16包括以下子步骤：

a：利用下面公式12计算得到所述第一视点的深度图像的第一像素坐标(u_D,v_D)与所述第一彩色图像的第二像素坐标(u_R,v_R)之间的对应关系，

$Z_R\stackrel{\‾}{U_R}=Z_D{M}_{R}R\·M_D^{-1}\stackrel{\‾}{U_D}+M_{R}T---\left(12\right)$

其中，所述Z_D为所述第一深度图像中的深度信息，表示所述目标距离所述深度相机的深度值；Z_R表示所述目标距离所述彩色相机的深度值；为所述彩色相机的图像坐标系上的像素齐次坐标；为所述深度相机的图像坐标系上的像素齐次坐标；M_R为所述彩色相机的内参矩阵，M_D为所述深度相机的内参矩阵；R为深度相机相对于彩色相机的外参矩阵中的旋转矩阵，T为深度相机相对于彩色相机的外参矩阵中的平移矩阵。

上述相机及采集器的内参矩阵和外参矩阵可预先设定的，具体该内参矩阵可根据相机及采集器的设置参数计算得到，该外参矩阵可由不可见光图像采集器与彩色相机之间的位置关系确定。在一具体实施例中，由相机及采集器的图像采集镜头的像素焦距以及图像采集靶面的中心位置坐标构成的内部参数矩阵。由于第一视点和第二视点的位置关系设置为人眼双眼的位置关系，人体双眼之间没有任何的相对旋转而仅有设定值t的距离，因此彩色相机相对于不可见光图像采集器的旋转矩阵R为单位矩阵，平移矩阵T＝[t,0,0]^-1。

进一步地，该设定值t可根据不可见光图像采集器和彩色相机与目标的距离进行调整。在再一实施例中，在上述S11之前还包括以下步骤：获取目标与不可见光图像采集器和彩色相机的距离；当判断所述目标与所述不可见光图像采集器和所述彩色相机的距离均大于第一距离值时，将所述设定值t调大；当判断所述目标与所述不可见光图像采集器和所述彩色相机的距离均小于第二距离值时，将所述设定值t调小。

其中，所述第一距离值大于或等于所述第二距离值。例如，当目标与不可见光图像采集器的距离为100cm，目标与彩色相机的距离也为100cm，由于100cm小于第二距离值200cm，则将设定值调小一个步长值，或者按照当前目标与不可见光图像采集器和彩色相机的距离计算得到调小值后进行调整。当目标与不可见光图像采集器和彩色相机的距离均为300cm，由于300cm大于第二距离值200且小于第一距离值500cm，则不将该设定值进行调整。

b：将所述不可见光图像的第一像素坐标的像素值设置为所述第一彩色图像中与所述第一像素坐标具有对应关系的第二像素坐标的像素值，以形成所述目标在第一视点的第三彩色图像。

例如，将第一视点的不可见光图像的深度信息Z_D代入上述公式12后，可求得公式12左边的第二视点的深度信息也即第一彩色图像的深度信息Z_R，以及第一彩色图像的图像坐标系上的像素齐次坐标在本实施例中，不可见光图像采集器和彩色相机与目标的距离相同，即求得的Z_R与Z_D是相等的。由像素齐次坐标可得到与该不可见光图像的第一像素坐标(u_D,v_D)一一对应的第一彩色图像的第二像素坐标(u_R,v_R)，例如其对应关系为(u_R,v_R)＝(u_D+d,v_D)。然后，根据对应关系，将第一彩色图像的像素值赋值于不可见光图像，以生成第三彩色图像。

在该又再一实施例中，上述S14包括以下步骤：

S141：将所述第二彩色图像和所述第三彩色图像中的对应像素的像素值进行平均或者加权平均，得到所述第一视点的第四彩色图像。

以彩色图像中的一像素坐标举例，第二彩色图像和第三彩色图像中的像素坐标(Ur,Vr)的像素值分别为(r1,g1,b1)和(r2,g2,b2),则将第一视点的第四彩色图像中的像素坐标(Ur,Vr)的像素值设置为

S142：由所述第一彩色图像和所述第四彩色图像形成三维图像。

例如，将第一彩色图像和第四彩色图像分别作为人体双眼图像，以合成三维图像。

可以理解的是，上述实施例中，可设置该不可见光图像采集器和彩色相机的图像采集靶面大小相等、分辨率相同以及焦距相同。或者，彩色相机和所述不可见光图像采集器的图像采集靶面大小、分辨率以及焦距中的至少一个不相同，例如彩色相机的靶面大小以及分辨率都比不可见光图像采集器大，此时，上述S13之后，该获得方法还包括：对所述第一彩色图像和/或所述第二彩色图像进行插值、分割处理，使得所述第一彩色图像和所述第二彩色图像对应的目标区域相同，且图像大小与分辨率也相同。由于彩色相机与不可见光图像采集器在装配时存在误差，故上述该不可见光图像采集器和彩色相机的图像采集靶面大小相等、分辨率相同以及焦距相同应理解为：该不可见光图像采集器和彩色相机的图像采集靶面大小、分辨力和焦距为在允许误差的范围内的相同。

而且，上述图像包括照片或者视频，当上述图像为视频时，所述不可见光图像采集器和彩色相机的采集频率同步，或者若不可见光图像采集器和彩色相机的采集频率不同步，则通过图像插值的方式获得频率一致的视频图像。

请参阅图6，图6是本发明三维图像绘制装置一实施例的结构示意图。本实施例中，该绘制装置60包括获取模块61、计算模块62、形成模块63和得到模块64。其中，

获取模块61用于分别获取以第一视点对目标进行采集得到的不可见光图像和以第二视点对所述目标进行采集得到的第一彩色图像；

计算模块62用于由所述不可见光图像计算所述第一视点和所述第二视点之间的视差；

得到模块64用于按照所述视差移动所述第一彩色图像的像素坐标，得到第一视点的第二彩色图像；

形成模块63用于由所述第一彩色图像和所述第二彩色图像形成三维图像。

可选地，所述不可见光图像为在投影模组向所述目标投射结构光图案，由设置在所述第一视点的不可见光图像采集器对所述目标进行采集得到，所述第一彩色图像由设置在所述第二视点的彩色相机对所述目标进行采集得到。

可选地，计算模块62具体用于根据数字图像处理的匹配算法，计算出包含所述结构光图案的所述不可见光图像与预设的参考结构光图像的各像素之间的位移；由所述位移计算得到第一视点和所述第二视点之间的视差，其中，所述位移与所述视差具有线性关系。

进一步可选地，计算模块62执行所述由所述位移计算得到第一视点和所述第二视点之间的视差，包括：利用上述公式11计算得到第一视点和所述第二视点之间的视差d。

可选地，得到模块64具体用于根据视差d，建立所述不可见光图像的第一像素坐标I_ir(u^ir,v^ir)与所述第一彩色图像的第二像素坐标I_r(u^r,v^r)之间的对应关系为：I_ir(u^ir,v^ir)＝I_r(u^r+d,v^r)；将所述不可见光图像的第一像素坐标的像素值设置为所述第一彩色图像中与所述第一像素坐标具有对应关系的第二像素坐标的像素值，以形成所述目标在第一视点的第二彩色图像；对所述第二彩色图像进行平滑、去噪处理。

可选地，计算模块62还用于利用所述不可见光图像计算得到所述第一视点的深度图像；利用三维图像变换理论，根据所述第一视点的深度图像和所述第一彩色图像计算得到所述目标在第一视点的第三彩色图像；该形成模块63具体用于将所述第二彩色图像和所述第三彩色图像中的对应像素的像素值进行平均或者加权平均，得到所述第一视点的第四彩色图像；由所述第一彩色图像和所述第四彩色图像形成三维图像。

可选地，所述第一视点与第二视点之间的位置关系为人体双眼之间的位置关系；所述彩色相机和所述不可见光图像采集器以及所述投影模组处于同一直线上；所述不可见光图像为红外图像，所述不可见光图像采集器为红外相机。

可选地，所述彩色相机和所述不可见光图像采集器的图像采集靶面大小相等、分辨率及焦距相同，光轴相互平行。

可选地，所述不可见光图像和所述第一彩色图像为照片或者视频，当所述不可见光图像和所述第一彩色图像为视频时，所述不可见光图像采集器和彩色相机的采集频率同步，或者若不可见光图像采集器和彩色相机的采集频率不同步，则通过图像插值的方式获得频率一致的视频图像。

其中，该绘制装置的上述模块分别用于执行上述方法实施例中的相应步骤，具体执行过程如上方法实施例说明，在此不作赘述。

请参阅图7，图7是本发明三维图像绘制***一实施例方式的结构示意图。本实施例中，该***70包括投影模组74、不可见光图像采集器71、彩色相机72、与所述不可见光图像采集器71和彩色相机72连接的图像处理设备73。该图像处理设备73包括输入接口731、处理器732、存储器733。进一步地，该图像处理设备73也可与投影模组74连接。

该输入接口731用于获得不可见光图像采集器71和彩色相机72采集得到的图像。

存储器733用于存储计算机程序，并向处理器732提供所述计算机程序，且可存储处理器732处理时所采用的数据如不可见光图像采集器71和彩色相机72的内参矩阵和外参矩阵等，以及输入接口731获得的图像。

处理器732用于：

通过输入接口731分别获取以第一视点的不可见光图像采集器71对目标进行采集得到的不可见光图像和以第二视点的彩色相机72对所述目标进行采集得到的第一彩色图像；

由所述不可见光图像计算所述第一视点和所述第二视点之间的视差；

按照所述视差移动所述第一彩色图像的像素坐标，得到第一视点的第二彩色图像；

由所述第一彩色图像和所述第二彩色图像形成三维图像。

本实施例中，图像处理设备73还可包括显示屏734，该显示屏734用于显示该三维图像，以实现三维显示。当然，在另一实施例中，图像处理设备73不用于显示该三维图像，如图8所示，该三维图像绘制***70还包括与图像处理设备73连接的显示设备75，显示设备75用于接收图像处理设备73输出的三维图像，并显示该三维图像。

可选地，处理器732具体用于根据数字图像处理的匹配算法，计算出包含所述结构光图案的所述不可见光图像与预设的参考结构光图像的各像素之间的位移；由所述位移计算得到第一视点和所述第二视点之间的视差，其中，所述位移与所述视差具有线性关系。

进一步可选地，处理器732执行所述由所述位移计算得到第一视点和所述第二视点之间的视差，包括：利用下述公式1计算得到第一视点和所述第二视点之间的视差d。

可选地，处理器732执行所述按照所述视差移动所述第一彩色图像的像素坐标，得到第一视点的第二彩色图像，包括：根据视差d，建立所述不可见光图像的第一像素坐标I_ir(u^ir,v^ir)与所述第一彩色图像的第二像素坐标I_r(u^r,v^r)之间的对应关系为：I_ir(u^ir,v^ir)＝I_r(u^r+d,v^r)；将所述不可见光图像的第一像素坐标的像素值设置为所述第一彩色图像中与所述第一像素坐标具有对应关系的第二像素坐标的像素值，以形成所述目标在第一视点的第二彩色图像；对所述第二彩色图像进行平滑、去噪处理。

可选地，处理器732还用于利用所述不可见光图像计算得到所述第一视点的深度图像；利用三维图像变换理论，根据所述第一视点的深度图像和所述第一彩色图像计算得到所述目标在第一视点的第三彩色图像；处理器732执行所述由所述第一彩色图像和所述第二彩色图像形成三维图像，包括：将所述第二彩色图像和所述第三彩色图像中的对应像素的像素值进行平均或者加权平均，得到所述第一视点的第四彩色图像；由所述第一彩色图像和所述第四彩色图像形成三维图像。

可选地，所述第一视点与第二视点之间的位置关系为人体双眼之间的位置关系；所述彩色相机72和所述不可见光图像采集器71以及所述投影模组74处于同一直线上；所述不可见光图像为红外图像，所述不可见光图像采集器71为红外相机。

可选地，所述彩色相机72和所述不可见光图像采集器71的图像采集靶面大小相等、分辨率及焦距相同，光轴相互平行。

可选地，所述不可见光图像和所述第一彩色图像为照片或者视频，当所述不可见光图像和所述第一彩色图像为视频时，所述不可见光图像采集器和彩色相机的采集频率同步，或者若不可见光图像采集器和彩色相机的采集频率不同步，则通过图像插值的方式获得频率一致的视频图像。

该图像处理设备73可作为上述三维图像绘制装置，用于执行上述实施例所述方法。例如，上述本发明实施方式揭示的方法也可以应用于处理器732中，或者由处理器732实现。处理器732可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器732中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器732可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器733，处理器732读取相应存储器中的信息，结合其硬件完成上述方法的步骤。

上述方案中，利用采集得到的第一视点的不可见光图像得到第一视点和第二视点的视差，并利用第二视点的第一彩色图像和该视差得到第二视点的第二彩色图像，进而由第一彩色图像和第二彩色图像形成三维图像，由于该第一视点和第二视点的视差由采集得到的图像数据获得，而无需经过图像处理，因此减少了图像细节信息的流失，以更准确获得两个视点的彩色图像，进而减少了合成的三维图像的失真度，提高了基于二维图像生成的三维显示效果。而且相对于现有的DIBR技术，本实施例无需计算得到图像的深度信息，避免了多次重复计算引入的误差，进一步提高了三维显示效果。

以上所述仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种绘制三维图像的方法，其特征在于，包括：

分别获取以第一视点对目标进行采集得到的不可见光图像和以第二视点对所述目标进行采集得到的第一彩色图像；

由所述不可见光图像计算所述第一视点和所述第二视点之间的视差；

按照所述视差移动所述第一彩色图像的像素坐标，得到第一视点的第二彩色图像；

由所述第一彩色图像和所述第二彩色图像形成三维图像。

2.根据权利要求1所述的方法，其特征在于，所述不可见光图像为在投影模组向所述目标投射结构光图案，由设置在所述第一视点的不可见光图像采集器对所述目标进行采集得到，所述第一彩色图像由设置在所述第二视点的彩色相机对所述目标进行采集得到。

3.根据权利要求2所述的方法，其特征在于，所述由所述不可见光图像计算所述第一视点和所述第二视点之间的视差，包括：

根据数字图像处理的匹配算法，计算出包含所述结构光图案的所述不可见光图像与预设的参考结构光图像的各像素之间的位移；

由所述位移计算得到第一视点和所述第二视点之间的视差，其中，所述位移与所述视差具有线性关系。

4.根据权利要求3所述的方法，其特征在于，所述由所述位移计算得到第一视点和所述第二视点之间的视差，包括：

利用下述公式1计算得到第一视点和所述第二视点之间的视差d，

$d=\frac{B_2}{B_1}(\frac{B_{1}f}{Z_0}+\mathrm{\Δ}u)---\left(1\right)$

其中，B₁为所述不可见光图像采集器与所述投影模组之间的距离，B₂为所述不可见光图像采集器与彩色相机之间的距离；Z₀是所述参考结构光图像所在平面相对于不可见光图像采集器的深度值；f是不可见光图像采集器与彩色相机的像面焦距，Δu是不可见光图像与预设的参考结构光图像的各像素之间的位移。

5.根据权利要求1所述的方法，其特征在于，所述按照所述视差移动所述第一彩色图像的像素坐标，得到第一视点的第二彩色图像，包括：

根据视差d，建立所述不可见光图像的第一像素坐标I_ir(u^ir,v^ir)与所述第一彩色图像的第二像素坐标I_r(u^r,v^r)之间的对应关系为：

I_ir(u^ir,v^ir)＝I_r(u^r+d,v^r)；

将所述不可见光图像的第一像素坐标的像素值设置为所述第一彩色图像中与所述第一像素坐标具有对应关系的第二像素坐标的像素值，以形成所述目标在第一视点的第二彩色图像；

对所述第二彩色图像进行平滑、去噪处理。

6.根据权利要求2所述的方法，其特征在于，还包括：

利用所述不可见光图像计算得到所述第一视点的深度图像；

利用三维图像变换理论，根据所述第一视点的深度图像和所述第一彩色图像计算得到所述目标在第一视点的第三彩色图像；

所述由所述第一彩色图像和所述第二彩色图像形成三维图像，包括：

将所述第二彩色图像和所述第三彩色图像中的对应像素的像素值进行平均或者加权平均，得到所述第一视点的第四彩色图像；

由所述第一彩色图像和所述第四彩色图像形成三维图像。

7.根据权利要求2所述的方法，其特征在于，所述第一视点与第二视点之间的位置关系为人体双眼之间的位置关系；所述彩色相机和所述不可见光图像采集器以及所述投影模组处于同一直线上；所述不可见光图像为红外图像，所述不可见光图像采集器为红外相机。

8.根据权利要求1至7任一项所述的方法，其特征在于，所述彩色相机和所述不可见光图像采集器的图像采集靶面大小相等、分辨率及焦距相同，光轴相互平行。

9.一种三维图像绘制装置，其特征在于，包括：

获取模块，用于分别获取以第一视点对目标进行采集得到的不可见光图像和以第二视点对所述目标进行采集得到的第一彩色图像；

计算模块，用于由所述不可见光图像计算所述第一视点和所述第二视点之间的视差；

得到模块，用于按照所述视差移动所述第一彩色图像的像素坐标，得到第一视点的第二彩色图像；

形成模块，用于由所述第一彩色图像和所述第二彩色图像形成三维图像。

10.一种三维图像绘制***，其特征在于，包括投影模组、不可见光图像采集器、彩色相机、与所述不可见光图像采集器和彩色相机连接的图像处理设备；

所述图像处理设备用于：

分别获取以第一视点的不可见光图像采集器对目标进行采集得到的不可见光图像和以第二视点的彩色相机对所述目标进行采集得到的第一彩色图像；

由所述不可见光图像计算所述第一视点和所述第二视点之间的视差；

按照所述视差移动所述第一彩色图像的像素坐标，得到第一视点的第二彩色图像；

由所述第一彩色图像和所述第二彩色图像形成三维图像。