CN106875468A - 三维重建装置及方法 - Google Patents

Abstract

本发明公开了一种三维重建装置及方法，该装置包括：图像获取单元，用于获取目标物体的图像信息；多个发光单元，设置在所述图像获取单元的周围；同步控制单元，用于控制所述多个发光单元的亮灭，在每个发光单元点亮时，同步控制所述图像获取单元拍摄目标物体，获取每个发光单元照射下目标物体的图像信息；重建单元，用于根据所述图像信息和发光单元的发光模型，对目标物体进行重建；所述发光模型为每个发光单元主光轴上的出射光强与各个出射方向上的出射光强、出射角度的关系。本发明提供的技术方案，降低了三维重建的操作复杂度，提高三维重建的精度和效率。

Description

三维重建装置及方法

技术领域

本发明涉及三维重建技术领域，特别涉及一种三维重建装置及方法。

背景技术

目前，随着各种支持三维输出和显示的终端产品的出现，对于三维内容的需求急剧增加，而现有的三维数据采集方式主要以三维扫描，如：激光扫描，结构光扫描技术为主，相关产品结构较为复杂，虽然能够得到精确的三维信息，但其硬件成本和操作方法是普通用户难以承受和不易掌握的，例如：中国专利申请第CN101383046A号公开了一种基于图像的三维重建方法，该方法首先利用SIFT特征提取算法提取每幅图像的特征点，并对每个特征点进行是三维重建。通过将特征点约束和颜色一致性相结合，利用图像点周围的特征点作为信息距离搜索约束，确定待重建点空间位置的搜索范围，并进一步获取重建点的空间位置；中国专利申请第CN104331924A公开了基于单摄像机SFS算法的三维重建方法，具体按以下步骤实施：首先标定摄像机，然后提取目标轮廓，最后采用SFS算法基于体素进行目标三维重建。

现有方法中还有一种基于光度学的三维重建方法，光度学是三维视觉中的一种技术手段，其基本原理是通过不同方向的光源照射，通过相机拍摄，分析不同照射角度下物体的明暗信息变化恢复出表面的三维法向信息，进而得到表面三维形状。现有的光度学三维重建方法均采用了点光源或者平行光源的假设，即不考虑光源自身的发光特性，当物体距离光源较远或者光源本身符合平行光或者点光源特性时，现有方法可取得较好的三维重建效果，但这对光源自身要求较高，且为获得平行光，光源本身需要较大的体积，如采用LED阵列装置。

由上述可知，现有的三维重建技术主要存在以下缺点：

1)、采用激光或结构光方法，虽然精度较高，但价格昂贵，操作复杂，普通用户难以承受和熟练掌握；

2)、基于光度学的三维重建方法结构简单，硬件成本低，但现有方法均假设所采用光源为平行光或者理想点光源，需要均匀性较高的专业光源产品才能获得较好的三维重建效果，难以在近距离上工作；

3)、现有的基于单个光源的近距离光度学三维重建技术，只是在图像处理阶段对图像的照度均匀性做了校正，用于改善三维重建效果，并未考虑到光源自身的发光特性以及入射角度、照射距离等因素，因此也难以取得较好的三维重建效果。

综上所述，现有三维重建方案，操作复杂，重建效率和精度低。

发明内容

本发明实施例提供了一种三维重建装置，用以降低三维重建的操作复杂度，提高三维重建的精度和效率，该装置包括：

图像获取单元，用于获取目标物体的图像信息；

多个发光单元，设置在所述图像获取单元的周围；

同步控制单元，用于控制所述多个发光单元的亮灭，在每个发光单元点亮时，同步控制所述图像获取单元拍摄目标物体，获取每个发光单元照射下目标物体的图像信息；

重建单元，用于根据所述图像信息和发光单元的发光模型，对目标物体进行重建；所述发光模型为每个发光单元主光轴上的出射光强与各个出射方向上的出射光强、出射角度的关系。

与现有技术中的激光扫描和结构光扫描重建装置相比较，本发明实施例提供的三维重建装置，具有如下有益技术效果：

首先，由于发明提供的三维重建装置包括一个图像获取单元和多个发光单元构成，***结构简单，成本低，通过同步控制单元，控制每个发光单元照射的时候，控制图像获取单元同步拍摄目标物体，采用发光单元与图像获取单元的同步控制策略，可以实现快速的扫描过程，可在近距离上完成精确的三维重建，降低了三维重建的操作复杂度。

其次，本发明提供的三维重建装置考虑了发光单元距离目标较近时，光源照射到物体表面是不均匀的，其不可以假设为平行光或者点光源，且物体上每个点的入射光方向也是不同的问题，通过重建单元，根据发光单元的发光模型和图像获取单元获取的图像信息，对目标物体进行重建，考虑了发光单元的发光模型，提高了三维重建的精度和效率。

另一方面，基于同一发明构思，本发明实施例还提供了一种三维重建方法，用以降低三维重建的操作复杂度，提高三维重建的精度和效率，该方法包括：

控制多个发光单元的亮灭，在每个发光单元点亮时，同步控制图像获取单元拍摄目标物体，获取每个发光单元照射下目标物体的图像信息；多个发光单元设置在图像获取单元的周围；

根据图像信息和发光单元的发光模型，对目标物体进行重建；所述发光模型为每个发光单元主光轴上的出射光强与各个出射方向上的出射光强、出射角度的关系。

与现有技术相比较，本发明实施例提供的三维重建方法，首先，通过控制多个发光单元的依次亮灭，在每个发光单元点亮时，同步控制图像获取单元拍摄目标物体，获取每个发光单元照射下的图像信息；多个发光单元均匀地设置在所述图像获取单元的周围，可以实现快速的扫描过程，可在近距离上完成精确的三维重建，降低了三维重建的操作复杂度；其次，本发明实施例提供的三维重建方法考虑了发光单元距离目标较近时，光源照射到物体表面是不均匀的，其不可以假设为平行光或者点光源，且物体上每个点的入射光方向也是不同的问题，通过重建单元，根据发光单元的发光模型和相机获取的图像信息，对目标物体进行重建，考虑了发光单元的发光模型，提高了三维重建的精度和效率。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。在附图中：

图1是本发明实施例中三维重建装置的结构示意图；

图2是本发明实施例的发光模型中g随LED有效半角的变化而变化的示意图；

图3是本发明实施例中三维重建过程中各参数的示意图；

图4是本发明实施例中三维重建过程中重建所得坐标与实际坐标转换示意图；

图5是本发明实施例中三维重建方法的流程示意图；

图6是本发明实施例中三维重建方法中标定方法的流程示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施方式和附图，对本发明做进一步详细说明。在此，本发明的示意性实施方式及其说明用于解释本发明，但并不作为对本发明的限定。

发明人发现：现有的光度学三维重建技术均采用了点光源或者平行光源的假设，即不考虑光源自身的发光特性，当物体距离光源较远或者光源本身符合平行光或者点光源特性时，现有方法可取得较好的三维重建效果，但这对光源自身要求较高，且为获得平行光，光源本身需要较大的体积，如采用LED阵列装置；当LED距离目标较近时，此时的LED光源照射到物体表面是不均匀的，因此就不能假设为平行光源，且物体上每个点的入射光方向也是不同的。因此，采用现有基于光度学的三维重建装置，难以取得良好的三维重建效果。

现有的基于单个光源的近距离光度学三维重建技术，只是在图像处理阶段对图像的照度均匀性做了校正，用于改善三维重建效果，并未考虑到光源自身的发光模型以及入射角度、照射距离等因素，因此也难以取得较好的三维重建效果。

由于发明人发现了上述问题，发明人通过本发明提出了一种三维重建装置、方法及标定方法，其中，该重建装置可以采用单个发光单元(例如：单个LED灯珠(而不是阵列，阵列体积大，不易集成))作为光度学单方向光源的方法，进而实现近距离上的精确三维重建。由于单个发光单元(LED光源)的特性，单个发光单元(LED光源)很难获得较大面积的均匀照度场，其照度分布和单个发光单元(LED光源)自身的发光模型是相关的，而这一因素在现有的光度学三维重建方法中并未考虑到，因而导致难以取得较好的三维重建效果。本发明则将这一因素融入到了整个光度学三维重建框架中，例如：通过对光源的建模，精确恢复出照度场中每个点的入射光强度和方向，进而实现了精确的三维法向计算和重建过程。由于采用单个发光单元(例如：单个LED灯珠)作为单方向光源，因此整个装置的体积小巧，易于集成，成本更低。

具体地，本发明针对以上背景技术中的不足之处，提出一种根据发光单元(例如：LED)的发光模型来解决近距离非平行光源照射下的精确光度学重建问题，下面进行详细介绍说明。

图1是本发明实施例中三维重建装置的结构示意图；如图1所示，该装置包括：

图像获取单元1，用于获取目标物体的图像信息；

多个发光单元2，设置在图像获取单元的周围；

同步控制单元3，用于控制多个发光单元的亮灭，在每个发光单元点亮时，同步控制图像获取单元拍摄目标物体，获取每个发光单元照射下目标物体的图像信息；

重建单元4，用于根据图像信息和发光单元的发光模型，对目标物体进行重建；所述发光模型为每个发光单元主光轴上的出射光强与各个出射方向上的出射光强、出射角度的关系。

与现有技术中的激光扫描和结构光扫描重建装置相比较，本发明实施例提供的三维重建装置，具有如下有益技术效果：

首先，由于发明提供的三维重建装置包括一个图像获取单元和多个发光单元构成，***结构简单，成本极低，通过同步控制单元，控制每个发光单元照射的时候，控制图像获取单元同步拍摄目标物体，可以实现快速的扫描过程，可在近距离上完成精确的三维重建，降低了三维重建的操作复杂度。

其次，本发明提供的三维重建装置考虑了发光单元距离目标较近时，光源照射到物体表面是不均匀的，其不可以假设为平行光或者点光源，且物体上每个点的入射光方向也是不同的问题，通过重建单元，根据发光单元的发光模型和相机获取的图像信息，对目标物体进行重建，考虑了发光单元的发光模型，提高了三维重建的精度和效率。

具体实施时，图像获取单元1可以为相机，相机在获取目标物体的图像信息时，可以采用离线存储的方式。相可采用离线存储方式，这样可以提高拍摄速度，保证相机和发光单元2(例如：LED灯珠)精确同步，拍摄完所需照片再一次性处理。当然，也可以采用在线传输的方式。

具体实施时，发光单元2可以为LED灯珠，LED灯珠可以均匀地设置在以图像获取单元为圆心的圆周上，LED灯珠的个数不少于4个。

具体实施时，本发明实施例以常用的LED为例，也可以采用其它类别光源，但需预知该光源的发光模型；本发明实施例可采用各类LED，如可见光、非可见光，其中，非可见光(如红外光等)，以人脸三维信息采集为例，采用红外LED光源可避免炫目问题，用户体验更为友好。

具体实施时，如发光单元2采用非可见光源，为了获取目标物体的颜色纹理信息，可再增加一个图像获取单元，专门用于彩色图像的拍摄，将彩色纹理映射到三维重建结果，实现彩色三维模型的获取。

具体实施时，发光单元2(例如：LED灯珠)的数量和位置可进行优化选择，不少于4个即可，LED灯珠的发光角度可根据目标物体的大小和工作距离进行优化选择。

由于只使用了单个LED灯珠作为单个独立光源，而不需要使用面阵光源来模拟平行光，因而整个***体积小巧，更容易操作，可在近距离上完成精确的三维信息获取。

综上，本发明实施例提供的三维重建装置，由于发明提供的三维重建装置一个图像获取单元(例如：相机)和若干LED灯珠构成，采用了单个LED芯片作为单个光源，***结构简单，成本极低，通过一个同步控制单元3，控制每个LED灯珠照射的时候相机同步拍摄图片，采用LED与图像获取单元(例如：相机)的同步控制策略，可实现快速的图像采集过程，不需要采用体积较大、距离较远的平行光源，使用几个LED灯珠即可在近距离上完成精确的三维信息重建，从而实现整个装置的小型化，满足桌面式三维信息采集的需要，减小了三维重建装置的体积。因此，本发明提供的三维重建装置具有结构简单、速度快、工作稳定、精度高、体积小巧的显著优势，可用于人脸、个人物品的快速三维数字化，成本低，能够为普通消费者所接受，具有广阔的市场前景。

在一个实施例中，LED灯珠为红外LED灯珠，图像获取单元采用红外滤光片。具体实施时，如采用红外LED光源，相机可加载相应的红外滤光片，提高环境光的抗干扰能力。

具体实施时，重建单元4主要工作过程如下：

(1)***参数的初始标定和估计，包括相机参数标定以及各LED光源坐标及其主光轴方向估计；

(2)光源建模：根据所采用的LED型号规格说明，由LED发光半角值建立LED发光模型；

(3)三维法向重建：初始化物体表面各点坐标，根据LED发光模型求得物体表面各点入射光强与方向，基于给定的反射模型，如朗伯模型对物体表面进行重建；

(4)三维法向值的优化：将求得的物体三维坐标回代，迭代进行计算，直到迭代条件终止，进一步提高恢复的法向精度；

(5)三维形状重建：根据所获取的三维法向信息，采用表面积分等常规策略即可获取准确的表面三维形状信息。

下面对重建单元4的具体工作过程进行详细介绍。

在对重建单元4进行介绍之前，首先介绍一下本发明实施例用到的重要模型和算法：

首先介绍本发明方案中使用到的几个重要模型：

(1)本发明实施例中提到的反射模型可以为朗伯反射模型：

【模型1】；

其中，I_r表示反射光强，l表示光源出射方向，|L|表示光源出射光强，d表示出射点到入射点的距离，n则表示物体表面法向。三维建模过程中，朗伯模型是一种常用的反射模型，本发明亦以此为例进行说明。

(2)发光模型可以为LED发光模型：

I_θ＝I₀cos^g-1θ【模型2】

其中，I₀表示主光轴上的出射光强，I_θ表示为各出射方向l与主光轴成θ夹角方向的出射光强，那么θ＝arccos(l_main*l)，其中，为LED主光轴方向，j表示第j个LED，l表示光源出射方向，不同规格的LED其模型亦不同，本发明以此模型为实例进行说明。其中g随LED有效半角θ_harf的变化而变化,随有效半角变化趋势图2所示。

(3)本发明提出的结合朗伯模型和LED发光模型的复合模型【模型3】

结合朗伯模型与LED发光模型I_θ＝I₀cos^g-1θ。于是，当出射光与主光轴方向的夹角为θ时，那么，进而

其次，结合图3介绍本发明方案中使用的几个重要方法：

(1)图像坐标转换为相机坐标(也即本例的世界坐标)算法【算法1】：

假设已知某物体点在图像中的像素坐标为(u,v)以及相机焦距f，并且该物体点距离相机平面Z0平面的距离为Dist。那么根据相机透视成像模型：

其中k在一定z向距离范围内可假设为一个常数，即在图像中像素距离与实际物理距离的放大倍数，假设该物体点对应相机坐标系的空间坐标为(x_o,y_o,z_o)。

(2)计算物体各点入射光方向【算法2】与光源到物体各点距离【算法3】

假设物体表面每点的坐标为(x_o,y_o,z_o)，已知每个光源的坐标为(图3中表示为(x_l,y_l,z_l))，j表示第j个光源(LED)。那么每个点的入射光方向为归一化后得到单位方向向量【算法2】。对L取模可以得到距离d＝|L|【算法3】。各参数在***中如图3所示。

以上介绍了本发明实施例中用到的重要模型和算法，下面对重建单元4进行详细介绍。

在一个实施例中，重建单元4具体用于：

根据图像信息，估计目标物体表面每个重建点的初始三维法向值；

基于发光单元的发光模型和反射模型，以初始三维法向值为初值，根据每个重建点的光源入射光强和入射方向，找到每个重建点的最优三维法向值；

根据最优三维法向值，对目标物体进行三维重建；

所述反射模型为反射光强与光源出射光强、光源出射方向、出射点到入射点的距离、目标物体表面法向值的关系。

具体实施时，本发明实施例提供的三维重建装置考虑了发光单元距离目标较近时，光源照射到物体表面是不均匀的，其不可以假设为平行光或者点光源，且物体上每个点的入射光方向也是不同的问题，通过重建单元4，根据发光单元的发光模型和相机获取的图像信息，对目标物体进行重建，即考虑了距离、入射光方向和发光单元的发光模型等因素，提高了三维重建的精度和效率。

具体实施时，重建单元4可以与PC等设备连接工作，将图像信息处理放在PC(个人计算机)端，也可内置信息处理模块进行实时处理。因此，本发明实施例提供的三维重建装置，成本低，体积小巧，可作为独立的终端工作，也可以集成与各类智能终端设备中，实现三维信息采集重建的功能。

在一个实施例中，基于发光单元的发光模型和反射模型，以初始三维法向值为初值，根据每个重建点的光源入射光强和入射方向，找到每个重建点的最优三维法向值，包括：

基于光源复合模型，以初始三维法向值为初值，迭代找到最优三维法向值，对于每个迭代周期均执行以下操作：

根据每个重建点的三维法向值、每个发光单元的空间坐标和主光轴方向，计算每个重建点的光源入射方向和该重建点到每个发光单元的距离；

基于光源复合模型，根据每个重建点的光源入射方向和该重建点到每个发光单元的距离，计算每个重建点的三维法向值，直到找到每个重建点的深度信息变化在预设范围内时，对应的三维法向值，作为最优三维法向值；

光源复合模型根据发光单元的发光模型和反射模型建立，所述光源复合模型为反射光强与每个发光单元主光轴上的出射光强、主光轴上的出射方向、各个出射方向、目标物体表面法向值、出射点到入射点的距离的关系。

目前的光度学方法均假设光源为平行光源或者理想点光源，这种假设在近距离LED光源照射下是不成立的，因而难以得到较好的三维重建效果。而本发明在使用光度学三维重建技术的同时，更考虑了光源模型特性，实现了对物体上每个点的单独计算光照强度和入射光方向，进而通过优化求解方法得到其精确的法向值，整个模型更加精确，因而能够获得更佳的三维重建结果。

在一个实施例中，发光模型为LED发光模型，光源复合模型为LED光源复合模型，LED光源复合模型为：

其中，I_r为LED灯珠光源反射光强，I₀为LED灯珠主光轴上的出射光强，l_main为LED灯珠主光轴方向，l为LED灯珠光源出射方向，g随LED发光模型的有效半角θ_harf的变化而变化，n为目标物体表面重建点的三维法向值，d为重建点到每个发光单元的距离。

为了更好地理解本发明是如何实施的，下面结合图3和图4，对重建单元4工作原理及过程进行详细介绍。

(1)法向估计与迭代优化

经过标定步骤后，我们可以获取优化的***关键参数(例如：每个发光单元的最优空间坐标和主光轴方向)，下面我们可以对待测目标物体进行三维法向的重建。

a)、首先将待测目标物体表面每点到相机Z0平面的距离初始化为Dist(即将物体摆放在预先标定距离附近，且先不考虑物体本身高低变化的影响)。那么根据像素坐标与相机坐标的关系【算法1】，可将物体表面坐标初始化为(ku,kv,Dist)；

b)、根据本发明实施例中提供的标定方法优化所得参数：发光单元(例如LED灯珠)空间坐标LED主光轴方向分别利用光源方向计算法【算法2】与光源物体距离算法【算法3】，计算每点(重建点)的光源方向l与该点到光源的距离d。

c)、结合计算所得的主光轴方向和上述步骤b)中初始计算的各点入射光方向l与距离d，代入光源方向复合模型【模型3】，可对物体表面每个点的法向n进行初始估计。

d)、根据初始估计的法向值，通过表面积分策略，可获得物体各点的相对三维形状(u,v,Z_dep)，其中Z_dep表示物体各点相对于图像平面的深度信息。

e)、将所求相对坐标转换为真实三维坐标

如图4所示，Z_dep显然不是一个真实深度信息，即(u,v,Z_dep)并不能反映物体真实大小，它只能反映出物体的相对形状。假设该点的真实深度信息为Z_real，那么物体的与真实形状可表示为(x,y,Z_real)。它与(u,v,Z_dep)存在一个缩放关系，缩放因子

同时，由于该点的真实深度信息为Z_real，那么根据本发明中Z_real的定义，该点图像三维坐标(x_o,y_o,z_o)可表示为(x,y,Z_real+Dist)。由【算法1】可知，该空间坐标与像素坐标的关系可表示为其中f为图4中的F+Z_dep，F代表焦距。

显然k₁＝k₂，存在关系如此，可求得物体各点真实坐标(x_o′,y_o′,z_o′)；

f)、将e)步骤中所求物体各点真实三维坐标(x_o′,y_o′,z_o′)重新代入(b)～(e)进行迭代计算，直至距离z(物体表面各重建点的深度信息，可以是：物体各点相对于图像平面的深度信息Z_dep；也可以是物体各点相对于参考平面的深度信息，即各点的真实深度信息为Z_real)的变化趋于一个稳定的较小给定误差范围，迭代条件收敛。

g)、根据迭代所得的最终三维法向信息，通过表面积分策略，可获取最终的精确的物体三维模型信息。

基于同一发明构思，本发明实施例中还提供了一种三维重建方法，如下面的实施例所述。由于三维重建方法解决问题的原理与三维重建装置相似，因此三维重建方法的实施可以参见三维重建装置的实施，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图5是本发明实施例中三维重建方法的流程示意图，如图5所示，该方法包括如下步骤：

步骤101：控制多个发光单元的亮灭，在每个发光单元点亮时，同步控制图像获取单元拍摄目标物体，获取每个发光单元照射下目标物体的图像信息；多个发光单元设置在图像获取单元的周围；

步骤102：根据图像信息和发光单元的发光模型，对目标物体进行重建；所述发光模型为每个发光单元主光轴上的出射光强与各个出射方向上的出射光强、出射角度的关系。

在一个实施例中，根据图像信息和发光单元的发光模型，对目标物体进行重建，包括：

根据图像信息，估计目标物体表面每个重建点的初始三维法向值；

基于发光单元的发光模型和反射模型，以初始三维法向值为初值，根据每个重建点的光源入射光强和入射方向，找到每个重建点的最优三维法向值；

根据最优三维法向值，对目标物体进行三维重建；所述反射模型为反射光强与光源出射光强、光源出射方向、出射点到入射点的距离、目标物体表面法向值的关系。

在一个实施例中，基于发光单元的发光模型和反射模型，以初始三维法向值为初值，根据每个重建点的光源入射光强和入射方向，找到每个重建点的最优三维法向值，包括：

基于光源复合模型，以初始三维法向值为初值，迭代找到最优三维法向值，对于每个迭代周期均执行以下操作：

根据每个重建点的三维法向值、每个发光单元的空间坐标和主光轴方向，计算每个重建点的光源入射方向和该重建点到每个发光单元的距离；

基于光源复合模型，根据每个重建点的光源入射方向和该重建点到每个发光单元的距离，计算每个重建点的三维法向值，直到找到每个重建点的深度信息变化在预设范围内时，对应的三维法向值，作为最优三维法向值；

光源复合模型根据发光单元的发光模型和反射模型建立，所述光源复合模型为反射光强与每个发光单元主光轴上的出射光强、主光轴上的出射方向、各个出射方向、目标物体表面法向值、出射点到入射点的距离的关系。

与现有技术相比较，本发明实施例提供的三维重建方法，首先，通过控制多个发光单元的依次亮灭，在每个发光单元点亮时，同步控制图像获取单元拍摄目标物体，获取每个发光单元照射下的图像信息；多个发光单元均匀地设置在所述图像获取单元的周围，可以实现快速的扫描过程，可在近距离上完成精确的三维重建，降低了三维重建的操作复杂度；其次，本发明实施例提供的三维重建方法考虑了发光单元距离目标较近时，光源照射到物体表面是不均匀的，其不可以假设为平行光或者点光源，且物体上每个点的入射光方向也是不同的问题，通过重建单元，根据发光单元的发光模型和相机获取的图像信息，对目标物体进行重建，考虑了发光单元的发光模型，提高了三维重建的精度和效率。

图6是本发明实施例中对三维重建装置标定方法的流程示意图，如图6所示，该标定方法，包括如下步骤：

步骤201：初步估计每个发光单元相对于图像获取单元的空间坐标和主光轴方向；

步骤202：将一平面物体放置在图像获取单元前方，同步控制单元控制多个发光单元的依次亮灭，在每个发光单元点亮时，同步控制图像获取单元拍摄平面物体，获取每个发光单元照射下的图像信息；平面物体垂直于图像获取单元的光轴；

步骤203：基于发光单元的发光模型和反射模型，以初步估计的空间坐标和主光轴方向为初值，根据图像信息、平面物体上每个重建点的光源入射光强和入射方向，找到每个发光单元的最优空间坐标和主光轴方向。

在一个实施例中，基于发光单元的发光模型和反射模型，以空间坐标和主光轴上的出射方向为初值，根据图像信息、平面物体上每个重建点的光源入射光强和入射方向，找到每个发光单元的最优空间坐标和主光轴方向，包括：

基于光源复合模型，以初步估计的空间坐标和主光轴方向为初值，迭代找到每个发光单元的最优空间坐标和主光轴方向，对于每个迭代周期均执行以下操作：

根据平面物体的图像信息、每个发光单元的空间坐标和主光轴方向，计算目标物体的每个重建点的光源入射方向和该重建点到每个发光单元的距离；

基于发光单元的发光模型和反射模型根据每个重建点的光源入射方向和该重建点到每个发光单元的距离，计算平面物体表面所有重建点的三维法向值；

对所有重建点的三维法向值进行均方差计算，直到找到所有重建点的三维法向值的均方差最小时，对应的每个发光单元的空间坐标和主光轴方向，作为最优空间坐标和主光轴方向。

为了更好地理解本发明实施例如何实施，下面可以参考图3和图4，对本发明实施例提供的三维重建装置的标定方法的工作原理及过程进行详细介绍。

a)、首先，对相机内部参数进行标定，采用常规方法即可获取相机的内部参数，如焦距F，中心点位置等参数。

b)、如图3所示，以相机坐标系为世界坐标系，以相机光心为世界坐标系原点，假设单个LED灯主光轴上的出射光强为I₀，根据LED在装置上与相机的相对位置(初始假设LED主光轴方向垂直于LED封装平面，而LED模块在整个装置上的姿态、角度是可调和可测量的)，可估测出所有LED相对于相机的大致空间坐标主光轴方向j表示第j个LED。

c)、光源坐标及主光轴方向计算与优化：

i使用一个具有朗伯反射特性的平面物体(如白纸)，将其放置在相机前方,姿态垂直于相机光轴,假设该平面与相机Z0平面的距离为Dist。依次控制LED灯明灭，并利用相机模块拍摄该平面在不同LED照射下的图像,得到图像I^j(u,v)。

ii使用以上提及的像素坐标到世界坐标系转换法【算法1】，可求得图像中每个像素点对应的空间坐标(x_o,y_o,z_o)分别利用光源方向计算法【算法2】与光源物体距离算法【算法3】，计算每个像素点的光源方向l与该点到光源的距离d。

iii将以上估计与计算所得的主光轴方向和各点入射方向l与距离d代入光源方向复合模型【模型3】，可估计该平面法向n。

iv由于已知实验目标为平面，即其上各点法向均相同，当平面垂直于相机光轴时，其法向均指向相机光轴方向的Z的反方向，因此，我们可设置一个最小化能量方程(可对各点法向n做偏差积分)，以初始估计参数为待优化参数，以法向计算均方差最小为目标值，不断对上述初始估计参数进行优化。当能量方程最小化时表示所求平面最接近于真实平面。此时估计所得各值接近真实值。

【说明】：待估计参数包括：各LED空间坐标LED主光轴方向即通过上述方法，求得最优空间坐标和主光轴方向。

本发明实施例提供的三维重建装置的标定方法，通过将一平面物体放置在图像获取单元前方，同步控制单元控制所述多个发光单元的依次亮灭，在每个发光单元点亮时，同步控制所述图像获取单元拍摄所述平面物体，获取每个发光单元照射下的图像信息；所述平面物体垂直于图像获取单元的光轴，基于发光单元的发光模型和反射模型，以初步估计的空间坐标和主光轴方向为初值，根据所述图像信息、平面物体上每个重建点的光源入射光强和入射方向，找到每个发光单元的最优空间坐标和主光轴方向，对初始估计的***关键参数进行了优化估计，提高了三维重建装置参数的精确度，保证了三维重建装置后续三维重建的精度和效率。

综上所述，本发明实施例提供的技术方案，具有如下有益技术效果：

1)目前的光度学方法均假设光源为平行光源或者理想点光源，这种假设在近距离LED光源照射下是不成立的，因而难以得到较好的三维重建效果。而本发明在使用光度学三维重建技术的同时，更考虑了光源模型特性，实现了对物体上每个点的单独计算光照强度和入射光方向，整个模型更加精确，因而能够获得更佳的三维重建结果；

2)由于只使用了单个LED光源作为单个独立光源，而不需要使用面阵光源来模拟平行光，因而整个***体积小巧，更容易操作，可在近距离上完成精确的三维信息获取；

3)在初始参数估计基础上，引入了优化和迭代策略，可实现更为精准的***关键参数估计和三维法向计算；

4)采用LED与相机的同步控制策略，可实现快速的图像采集过程；

5)***成本低，体积小巧，可作为独立的终端工作，也可以集成与各类智能终端设备中，实现三维信息采集的功能。

本发明重点在于提出了一种基于发光模型的光度学三维重建装置及方法，能够在非平行光/非点光源的非标准光源条件下，实现了精确的物体每个点的入射光强度和方向的计算，获取了较现有方法更好的3D重建效果，从而也提供了低成本的高精度的3D采集设备。

显然，本领域的技术人员应该明白，上述的本发明实施例的各模块、装置或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明实施例不限制于任何特定的硬件和软件结合。

以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (12)

1.一种三维重建装置，其特征在于，包括：

图像获取单元，用于获取目标物体的图像信息；

多个发光单元，设置在所述图像获取单元的周围；

同步控制单元，用于控制所述多个发光单元的亮灭，在每个发光单元点亮时，同步控制所述图像获取单元拍摄目标物体，获取每个发光单元照射下目标物体的图像信息；

重建单元，用于根据所述图像信息和发光单元的发光模型，对目标物体进行重建；所述发光模型为每个发光单元主光轴上的出射光强与各个出射方向上的出射光强、出射角度的关系。

2.如权利要求1所述的三维重建装置，其特征在于，所述重建单元具体用于：

根据所述图像信息，估计目标物体表面每个重建点的初始三维法向值；

基于发光单元的发光模型和反射模型，以所述初始三维法向值为初值，根据每个重建点的光源入射光强和入射方向，找到每个重建点的最优三维法向值；

根据所述最优三维法向值，对目标物体进行三维重建；

所述反射模型为反射光强与光源出射光强、光源出射方向、出射点到入射点的距离、目标物体表面法向值的关系。

3.如权利要求2所述的三维重建装置，其特征在于，基于发光单元的发光模型和反射模型，以所述初始三维法向值为初值，根据每个重建点的光源入射光强和入射方向，找到每个重建点的最优三维法向值，包括：

基于光源复合模型，以所述初始三维法向值为初值，迭代找到最优三维法向值，对于每个迭代周期均执行以下操作：

根据每个重建点的三维法向值、每个发光单元的空间坐标和主光轴方向，计算每个重建点的光源入射方向和该重建点到每个发光单元的距离；

基于光源复合模型，根据每个重建点的光源入射方向和该重建点到每个发光单元的距离，计算每个重建点的三维法向值，直到找到每个重建点的深度信息变化在预设范围内时，对应的三维法向值，作为最优三维法向值；

所述光源复合模型根据发光单元的发光模型和反射模型建立，所述光源复合模型为反射光强与每个发光单元主光轴上的出射光强、主光轴上的出射方向、各个出射方向、目标物体表面法向值、出射点到入射点的距离的关系。

4.如权利要求1至3任一所述的三维重建装置，其特征在于，所述图像获取单元为相机，所述相机在获取目标物体的图像信息时，采用离线存储的方式进行存储。

5.如权利要求1至3任一所述的三维重建装置，其特征在于，所述发光单元为LED灯珠，所述LED灯珠均匀地设置在所述图像获取单元的周围，所述LED灯珠的个数不少于4个。

6.如权利要求5所述的三维重建装置，其特征在于，所述发光模型为LED发光模型，所述光源复合模型为LED光源复合模型，所述LED光源复合模型为：

$I_r=I_0{(l_{main}*l)}^{g-1}*\frac{l*n}{d^2};$

其中，I_r为LED灯珠光源反射光强，I₀为LED灯珠主光轴上的出射光强，l_main为LED灯珠主光轴方向，l为LED灯珠光源出射方向，g随LED发光模型的有效半角θ_harf的变化而变化，n为目标物体表面重建点的三维法向值，d为重建点到每个发光单元的距离。

7.如权利要求5所述的三维重建装置，其特征在于，所述LED灯珠为红外LED灯珠；所述图像获取单元采用红外滤光片。

8.一种三维重建方法，其特征在于，包括：

控制多个发光单元的亮灭，在每个发光单元点亮时，同步控制图像获取单元拍摄目标物体，获取每个发光单元照射下目标物体的图像信息；所述多个发光单元设置在所述图像获取单元的周围；

根据所述图像信息和发光单元的发光模型，对目标物体进行重建；所述发光模型为每个发光单元主光轴上的出射光强与各个出射方向上的出射光强、出射角度的关系。

9.如权利要求8所述的三维重建方法，其特征在于，根据所述图像信息和发光单元的发光模型，对目标物体进行重建，包括：

根据所述图像信息，估计目标物体表面每个重建点的初始三维法向值；

基于发光单元的发光模型和反射模型，以所述初始三维法向值为初值，根据每个重建点的光源入射光强和入射方向，找到每个重建点的最优三维法向值；

根据所述最优三维法向值，对目标物体进行三维重建；

所述反射模型为反射光强与光源出射光强、光源出射方向、出射点到入射点的距离、目标物体表面法向值的关系。

10.如权利要求9所述的三维重建方法，其特征在于，基于发光单元的发光模型和反射模型，以所述初始三维法向值为初值，根据每个重建点的光源入射光强和入射方向，找到每个重建点的最优三维法向值，包括：

基于光源复合模型，以所述初始三维法向值为初值，迭代找到最优三维法向值，对于每个迭代周期均执行以下操作：

根据每个重建点的三维法向值、每个发光单元的空间坐标和主光轴方向，计算每个重建点的光源入射方向和该重建点到每个发光单元的距离；

基于光源复合模型，根据每个重建点的光源入射方向和该重建点到每个发光单元的距离，计算每个重建点的三维法向值，直到找到每个重建点的深度信息变化在预设范围内时，对应的三维法向值，作为最优三维法向值；

所述光源复合模型根据发光单元的发光模型和反射模型建立，所述光源复合模型为反射光强与每个发光单元主光轴上的出射光强、主光轴上的出射方向、各个出射方向、目标物体表面法向值、出射点到入射点的距离的关系。

11.如权利要求10所述的三维重建方法，其特征在于，在根据每个重建点的三维法向值、每个发光单元的空间坐标和主光轴方向，计算每个重建点的光源入射方向和该重建点到每个发光单元的距离，之前还包括：

初步估计每个发光单元相对于图像获取单元的空间坐标和主光轴方向；

将一平面物体放置在图像获取单元前方，同步控制单元控制所述多个发光单元的依次亮灭，在每个发光单元点亮时，同步控制所述图像获取单元拍摄所述平面物体，获取每个发光单元照射下的图像信息；所述平面物体垂直于图像获取单元的光轴；

基于发光单元的发光模型和反射模型，以初步估计的空间坐标和主光轴方向为初值，根据所述图像信息、平面物体上每个重建点的光源入射光强和入射方向，找到每个发光单元的最优空间坐标和主光轴方向。

12.如权利要求11所述的三维重建方法，其特征在于，基于发光单元的发光模型和反射模型，以所述空间坐标和主光轴上的出射方向为初值，根据所述图像信息、平面物体上每个重建点的光源入射光强和入射方向，找到每个发光单元的最优空间坐标和主光轴方向，包括：

基于光源复合模型，以初步估计的空间坐标和主光轴方向为初值，迭代找到每个发光单元的最优空间坐标和主光轴方向，对于每个迭代周期均执行以下操作：

根据平面物体的图像信息、每个发光单元的空间坐标和主光轴方向，计算目标物体的每个重建点的光源入射方向和该重建点到每个发光单元的距离；

基于发光单元的发光模型和反射模型，根据每个重建点的光源入射方向和该重建点到每个发光单元的距离，计算平面物体表面所有重建点的三维法向值；

对所有重建点的三维法向值进行均方差计算，直到找到所有重建点的三维法向值的均方差最小时，对应的每个发光单元的空间坐标和主光轴方向，作为最优空间坐标和主光轴方向。