CN109377547B - 一种自标定光源方向的光度立体三维重建***及重建方法 - Google Patents

Abstract

本申请公开了一种自标定光源方向的光度立体三维重建***，包括摄像单元和计算机。所述摄像单元包括正方形外壳，外壳边长16cm；4个led灯带，所述4个led灯带每1个led灯带由至少3个led点光源组成，所述4个led灯带分别固定在正方形外壳的四边；控制电路，所述控制电路用于相继点亮4个led灯带，且同一时间只有一个led灯带被点亮；1个相机，所述相机固定在外壳表面的中心处，所述相机被用于拍摄一段关于物体表面的视频；1个距离传感器，所述距离传感器被用于测量灯带所在平面与物体表面的距离。所述计算机与摄像单元进行通信，以控制相机、距离传感器以及控制电路的打开与关闭，所述计算机还包括光源方向计算算法以及三维重建算法。

Description

一种自标定光源方向的光度立体三维重建***及重建方法

技术领域

本发明涉及一种三维重建技术,属于基于光度立体技术的三维重建技术领域。

背景技术

近几十年来，三维重建技术一直是计算机视觉领域的一个研究热点。三维重建技术在三维人脸识别、虚拟现实、三维建模、电影动画的制作等方面有广泛的应用。三维重建技术是通过各种方法获得物体的深度信息，主要包括基于光度立体技术的三维重建、基于双目立体视觉的三维重建和基于结构光的三维重建。与其他三维重建技术相比，光度立体技术拥有重建结果准确、操作简单以及所需重建器材廉价等特点。

光度立体技术通过拍摄同一物体在不同照明条件下的一组图像，根据图像上的灰度信息恢复出物体表面的梯度信息，然后根据梯度信息求出物体表面的三维信息。传统的光度立体技术要求物体表面是漫反射体表面、光源是平行光、相机成像模型是正交投影。平行光是一种比较特殊的情况，照射到物体表面各点的光源方向都一样，且光强大小都相同；而在一般的照明环境下，空间中各点的光源方向以及光强大小都不一样，因此越来越多的研究人员开始研究在点光源、线光源等比较复杂的光源模型的光度立体技术。但是点光源、线光源由发光模型比较复杂，再加上环境光的影响，无法准确计算照射到物体表面各点的光源信息，这样就会大大降低了三维重建的精度。

发明内容

技术问题：本发明的目的在于解决现有的光度立体技术每进行一次三维重建，就需要重新测量一次光源信息，而且传统光度立体技术使用的是单个点光源，点光源会由于亮度不足使物体表面产生阴影从而影响重建结果的准确性的问题。

技术方案：本发明提出以下技术方案：一种自标定光源方向的光度立体三维重建***，包括：

一个摄像单元与一个计算机；

所述摄像单元包括如下装置：

正方形外壳：外壳边长16cm；

4个led灯带：每个led灯带由至少3个led点光源组成，所述4个灯带分别沿正方形外壳的四边进行设置；

用于相继点亮4个led灯带的控制电路；

1个相机：相机固定在正方形外壳表面的中心处；

1个用于测量传感器与物体表面的距离的距离传感器；

4个led灯带均连接至控制电路，控制电路连接计算机，相机、距离传感器均与计算机连接。

进一步地，4个led灯带组成并联电路，每个led灯带由至少3个led点光源组成，led点光源是红外led点光源或白光led点光源。

进一步地，4个led灯带分别位于正方形外壳的四边。

进一步地，所述控制电路由STM32芯片组成。

进一步地，所述STM32芯片根据计算机传来的信号相继点亮4个并联led灯带，且同一时间只有一个led灯带被点亮。

进一步地，所述三维重建***中的相机为红外相机或普通相机，并且相机位于正方形外壳的对角线中心处。

进一步地，距离传感器为TOF距离传感器，距离传感器固定在正方形外壳上。

一种自标定光源方向的光度立体三维重建***的重建方法，包括如下步骤：

1)计算机打开相机，使相机一直处于拍摄视频的状态；

2)计算机打开距离传感器，利用距离传感器测量测量传感器与物体表面的距离，并将测得数据传给计算机；

3)计算机与控制电路中的STM32芯片通信，STM32芯片接收到计算机传来的信号相继点亮4个led灯带，且同一时间只点亮一个led灯带；

4)相机传输给计算机一段视频，该视频起始于第一个led灯带被点亮，结束于最后一个led灯带熄灭，在该视频中4个led灯带分别照射物体表面；

5)截取视频中的4帧，获得4幅图像，每一幅图像分别是4个led灯带中的单独一个led灯带照射物体表面时的图像；

6)计算机中的光源方向计算算法分别计算出4幅图像中每个像素点的光源方向；

7)计算机中的三维重建算法根据4幅图像的灰度信息以及光源信息重建出物体表面的曲面方程。

进一步地，所述步骤6)中，光源方向计算算法具体包括以下步骤：

1)建立相机坐标系，相机为坐标系的原点o，相机所在平面为xoy平面，与相机平面垂直的方向为z轴的方向，物体表面在z轴的负方向上；

2)建立图像坐标系，图像所在平面为xoy面，图像上的列方向为X轴的方向、图像上的行方向为Y轴的方向、垂直与图像所在平面的方向为Z轴的方向，图像坐标系可以看做相机坐标系沿z轴的负方向平移得到的，图像坐标系的基本单位是像素，而相机坐标系的基本单位是厘米；

3)创建映射表，映射表存在的对应关系是当物体与传感器的距离为Lcm时，相机坐标系中1cm对应图像坐标系中多少像素；

4)距离传感器测量出物体表面与距离传感器的距离为dcm，根据映射表中的对应关系，所以在图像坐标系中传感器所在平面与物体表面的距离为D像素；

5)由于灯带与相机的相对位置是固定的已知的，所以第i个led灯带的第j个led点光源在相机坐标系中的坐标为(LXij,LYij,0)；

6)由于传感器与相机、灯带在同一平面内，而且在图像坐标系中物体表面所在平面近似为xoy面，所以第i个led灯带的第j个led点光源在图像坐标系中的坐标为(TXij,TYij,D)；

7)第i个灯带对应第i幅图像，第i幅图像上(Xi，Yi)像素点在图像坐标系中的坐标为(Xi，Yi，0)，所以第i个led灯带的第j个点光源照射到第i幅图像上(Xi，Yi，0)像素点处的光源方向为(TXij-Xi，TYij-Yi，D)；

8)第i个led灯带发出的光是各个点光源发出的光的合成，因此第i个led灯带照射到第i幅图像上(Xi，Yi，0)像素点处的光源方向可以由相应的点光源的方向进行矢量合成；将步骤7)计算得到的相应点光源照射时的光源方向进行矢量相加，就得到了对应的线光源照射时的光源方向。

进一步地，所述步骤7)中，三维重建算法如下：

1)假设在图像坐标系中物体表面的曲面方程为z＝f(x，y)；

2)根据余弦反射定律，由4幅图像的灰度信息以及相应的光源方向，建立一组灰度方程I＝pLN；其中I灰度矩阵；p为物体表面的反射率；L为光源矩阵；N为物体表面的法向量；

3)通过求解上述灰度矩阵可以得出物体表面的法向量N；

4)根据物体表面的法向量通过线积分可以求出物体表面的曲面方程为z＝f(x，y)，这样就重建出物体表面的三维形状。

有益效果：本发明与现有技术相比：本发明提出了一种自标定光源方向的光度立体三维重建***，本发明使用的是多个点光源组成的led灯带，首先结合距离传感器的数据计算出每个led灯带所对应的各个点光源的方向，然后根据矢量合成的方法计算出led灯带的光源方向。同时，由于是多个点光源组成的led灯带，这就避免了阴影的产生。本发明还结合传统光度立体技术的优点，重建出了精度较高的物体表面。

附图说明

图1为本申请的具体结构示意图；

图2为本申请的摄像单元的具体结构示意图；

图3为本申请的使用示意图。

具体实施方式

下面结合附图，对本申请实施例的具体实施方式作进一步的详细说明。

参考图1所示，本申请实施例的一种自标定光源方向的光度立体三维重建***的摄像单元01主要包括以下设备：

正方形外壳，正方形外壳边长16cm；

4个led灯带，附图中分别用标号02、03、04和05表示，每个led灯带由至少3个led点光源组成，所述4个灯带分别固定在正方形外壳的四边；

控制电路，所述控制电路被用于相继点亮4个led灯带，且同一时间只有一个led灯带被点亮；控制电路由STM32芯片组成。

1个相机07；

1个距离传感器06，所述距离传感器被用于测量传感器与物体表面的距离。

参考图2所示，本申请实施例的一种自标定光源方向的光度立体三维重建***主要包括如下两个子***：

摄像单元01，所述摄像单元01被用于拍摄的视频以及测量物体表面与摄像单元的距离；

计算机11，所述计算机11与摄像单元01进行通信，以控制相机07、距离传感器06以及控制电路09的打开与关闭，所述计算机还包括光源方向计算算法12以及三维重建算法13。

参考图3所示，本专利的一个实施实例，本实施例使用的光源08，即4个红外led灯带02、03、04和05，每个灯带分别由5个890nm波长的led点光源组成；本实施实例中使用的相机07为红外相机；本实施实例中使用的距离传感器06为TOF距离传感器；由上述3个组件以及控制电路组成摄像单元01。本实施实例不仅可以在黑暗条件下重建出准确的三维形状，还可以在室内照明的条件下重建出较准确的三维形状。本实施实例的实施步骤如下：

第一步，将相机07对准物体表面14。

第二步，使用计算机11打开距离传感器06测量物体表面14与传感器06的距离，计算机记录下此时的距离。

第三步，计算机11打开相机07进行拍摄。计算机11在打开相机07后，立即与控制电路09通信，控制电路相继点亮4个led灯带(02、03、04和05)。相机07拍摄下4种不同光源照射物体表面14时的一段视频。整个拍摄过程要求物体不能移动，即物体表面14与摄像单元01的距离不能改变。

第四步，计算机11从拍摄的视频中截取4幅图像，每一副图像分别是4个led灯带(02、03、04和05)单独照射物体表面14时所成的像。光源计算算法12根据物体表面14与摄像单元01的距离计算出每幅图像中照射到物体表面14的光源方向。三维重建算法13根据四幅图像的灰度信息以及相应的光源信息计算出物体表面的法向量，然后根据物体表面的梯度信息利用线性积分获得物体表面的曲面方程，从而重建出精确的体表面三维形状。

本专利的另一个实施实例使用的光源08是由多个led灯带02、03、04和05组成，每个led灯带由普通的led点光源组成的，相机也是普通的相机。该实施实例可以在黑暗的环境中，重建出准确的三维形状。

参考图2所示，根据本专利的，光源方向计算算法如下：

建立相机坐标系，相机07为坐标系的原点o，相机07所在平面为xoy平面，与相机平面垂直的方向为z轴的方向，物体表面在z轴的负方向上；

建立图像坐标系，图像所在平面为xoy面，图像上的列方向为X轴的方向、图像上的行方向为Y轴的方向、垂直与图像所在平面的方向为Z轴的方向，图像坐标系可以看做相机坐标系沿z轴的负方向平移得到的，图像坐标系的基本单位是像素，而相机坐标系的基本单位是厘米；

创建映射表，映射表存在的对应关系是当物体表面14与距离传感器06的距离为Lcm时，相机坐标系中1cm对应图像坐标系中多少像素；

距离传感器06测量出物体表面14与距离传感器06的距离为dcm，根据映射表中的对应关系，所以在图像坐标系中传感器所在平面与物体表面的距离为D像素；

由于光源08与相机07的相对位置是固定的已知的，所以第i个led灯带的第j个led点光源在相机坐标系中的坐标为(LXij,LYij,0)；

由于传感器06与相机07、光源08在同一平面内，而且在图像坐标系中物体表面所在平面近似为xoy面，所以第i个led灯带的第j个led点光源在图像坐标系中的坐标为(TXij,TYij,D)；

第i个灯带对应第i幅图像，第i幅图像上(Xi，Yi)像素点在图像坐标系中的坐标为(Xi，Yi，0)，所以第i个led灯带的第j个点光源照射到第i幅图像上(Xi，Yi，0)像素点处的光源方向为(TXij-Xi，TYij-Yi，D)；

第i个led灯带发出的光是各个点光源发出的光的合成，因此第i个led灯带照射到第i幅图像上(Xi，Yi，0)像素点处的光源方向可以由相应的点光源的方向通过矢量合成。

本专利的三维重建算法如下：

假设在图像坐标系中物体表面的曲面方程为z＝f(x，y)；

根据余弦反射定律，由4幅图像的灰度信息以及相应的光源方向，建立一组灰度方程I＝pLN；其中I灰度矩阵；p为物体表面的反射率；L为光源矩阵；N为物体表面的法向量；

通过求解上述灰度矩阵可以得出物体表面的法向量N；

根据物体表面的法向量通过线积分可以求出物体表面的曲面方程为z＝f(x，y)，这样就重建出物体表面的三维形状。

Claims (9)

1.一种自标定光源方向的光度立体三维重建***，其特征在于，包括：

一个摄像单元与一个计算机；

所述摄像单元包括如下装置：

正方形外壳：外壳边长16cm；

4个led灯带：每个led灯带由至少3个led点光源组成，所述4个灯带分别沿正方形外壳的四边进行设置；

用于相继点亮4个led灯带的控制电路；同一时间只有一个led灯带被点亮；

1个相机：相机固定在正方形外壳表面的中心处；

1个用于测量传感器与物体表面的距离的距离传感器；

4个led灯带均连接至控制电路，控制电路连接计算机，相机、距离传感器均与计算机连接。

2.根据权利要求1所述的自标定光源方向的光度立体三维重建***，其特征在于，4个led灯带组成并联电路，每个led灯带由至少3个led点光源组成，led点光源是红外led点光源或白光led点光源。

3.根据权利要求2所述的自标定光源方向的光度立体三维重建***，其特征在于，4个led灯带分别位于正方形外壳的四边。

4.根据权利要求1所述的自标定光源方向的光度立体三维重建***，其特征在于，所述控制电路由STM32芯片组成。

5.根据权利要求4所述的自标定光源方向的光度立体三维重建***，其特征在于，所述STM32芯片根据计算机传来的信号相继点亮4个并联led灯带。

6.根据权利要求1所述的自标定光源方向的光度立体三维重建***，其特征在于，所述三维重建***中的相机为红外相机或普通相机，并且相机位于正方形外壳的对角线中心处。

7.根据权利要求1所述的自标定光源方向的光度立体三维重建***，其特征在于，距离传感器为TOF距离传感器，距离传感器固定在正方形外壳上。

8.一种如权利要求1所述的自标定光源方向的光度立体三维重建***的重建方法，其特征在于，包括如下步骤：

1)计算机打开相机，使相机一直处于拍摄视频的状态；

2)计算机打开距离传感器，利用距离传感器测量传感器与物体表面的距离，并将测得数据传给计算机；

3)计算机与控制电路中的STM32芯片通信，STM32芯片接收到计算机传来的信号相继点亮4个led灯带，且同一时间只点亮一个led灯带；

4)相机传输给计算机一段视频，该视频起始于第一个led灯带被点亮，结束于最后一个led灯带熄灭，在该视频中4个led灯带分别照射物体表面；

5)截取视频中的4帧，获得4幅图像，每一幅图像分别是4个led灯带中的单独一个led灯带照射物体表面时的图像；

6)计算机中的光源方向计算算法分别计算出4幅图像中每个像素点的光源方向；

7)计算机中的三维重建算法根据4幅图像的灰度信息以及光源信息重建出物体表面的曲面方程；

所述步骤6)中，光源方向计算算法具体包括以下步骤：

1)建立相机坐标系，相机为坐标系的原点o，相机所在平面为xoy平面，与相机平面垂直的方向为z轴的方向，物体表面在z轴的负方向上；

2)建立图像坐标系，图像所在平面为xoy面，图像上的列方向为X轴的方向、图像上的行方向为Y轴的方向、垂直与图像所在平面的方向为Z轴的方向，图像坐标系可以看做相机坐标系沿z轴的负方向平移得到的，图像坐标系的基本单位是像素，而相机坐标系的基本单位是厘米；

3)创建映射表，映射表存在的对应关系是当物体与传感器的距离为L cm时，相机坐标系中1cm对应图像坐标系中多少像素；

4)距离传感器测量出物体表面与距离传感器的距离为d cm，根据映射表中的对应关系，所以在图像坐标系中传感器所在平面与物体表面的距离为D像素；

5)由于灯带与相机的相对位置是固定的已知的，所以第i个led灯带的第j个led点光源在相机坐标系中的坐标为(LXij，LYij，0)；

6)由于传感器与相机、灯带在同一平面内，而且在图像坐标系中物体表面所在平面近似为xoy面，所以第i个led灯带的第j个led点光源在图像坐标系中的坐标为(TXij，TYij，D)；

7)第i个灯带对应第i幅图像，第i幅图像上(Xi，Yi)像素点在图像坐标系中的坐标为(Xi，Yi，0)，所以第i个led灯带的第j个点光源照射到第i幅图像上(Xi，Yi，0)像素点处的光源方向为(TXij-Xi，TYij-Yi，D)；

8)第i个led灯带发出的光是各个点光源发出的光的合成，因此第i个led灯带照射到第i幅图像上(Xi，Yi，0)像素点处的光源方向可以由相应的点光源的方向进行矢量合成；将步骤7)计算得到的相应点光源照射时的光源方向进行矢量相加，就得到了对应的线光源照射时的光源方向。

9.根据权利要求8所述的自标定光源方向的光度立体三维重建***，其特征在于，所述步骤7)中，三维重建算法如下：

1)假设在图像坐标系中物体表面的曲面方程为z＝f(x，y)；

2)根据余弦反射定律，由4幅图像的灰度信息以及相应的光源方向，建立一组灰度方程I＝pLN；其中I灰度矩阵；p为物体表面的反射率；L为光源矩阵；N为物体表面的法向量；

3)通过求解上述灰度矩阵可以得出物体表面的法向量N；

4)根据物体表面的法向量通过线积分可以求出物体表面的曲面方程为z＝f(x，y)，这样就重建出物体表面的三维形状。