CN113065502A - 一种基于标准化设置的3d信息采集*** - Google Patents

Abstract

本发明提供了一种基于标准化设置的3D信息采集***，包括光源标准化、相机位置标准化、合成方法标准化、目标物位置标准化、目标物背景标准化、和图像预处理标准化设置。首次提出在3D采集、合成领域，特别是利用在多位置拍摄的图片合成3D的领域需要进行采集的标准化，即需要规定一定的规范进行采集和合成，从而使得采集、合成精度更高、速度更快，且使得采集数据更加整齐，便于后续处理利用。

Description

一种基于标准化设置的3D信息采集***

技术领域

本发明涉及测量技术领域，特别涉及利用标准化方法进行目标物长度、形貌尺寸测量技术领域。

背景技术

在进行物体测量时，通常使用机械方法(例如刻度尺)、电磁方法(例如电磁编码器)、光学方法(例如激光测距仪)以及图像方法。但目前很少采用先利用多张图片合成物体3D点云数据，再进行物体长度、形貌测量的方式。虽然这种方式在得到物体3D信息后，可以测量物体任意的尺寸，但测量领域存在的技术偏见：认为这样的测量方式复杂且测量速度不快、精度不高，其主要原因在于合成算法的优化不到位。但从未提及在整个采集、合成、测量过程中进行标准化操作，提高采集、合成、测量的精度和速度。

在进行3D测量时，需要首先采集3D信息。目前常用的方法包括使用机器视觉的方式，采集物体不同角度的图片，并将这些图片匹配拼接形成3D模型。在采集不同角度图片时，可以待测物不同角度设置多个相机，也可以通过单个或多个相机旋转从不同角度采集图片。但无论这两种方式哪一种，都涉及合成速度和合成精度的问题。而合成速度和合成精度在某种程度上是一对矛盾，合成速度的提高会导致最终3D合成精度下降；要提高3D合成精度则需要降低合成速度，通过更多的图片来合成。

在现有技术中，为了同时提高合成速度和合成精度，通常通过优化算法的方法实现。并且本领域一直认为解决上述问题的途径在于算法的选择和更新，截止目前没有任何提出其他角度同时提高合成速度和合成精度的方法。然而，算法的优化目前已经达到瓶颈，在没有更优理论出现前，已经无法兼顾提高合成速度和合成的精度。

在现有技术中，也曾提出使用包括旋转角度、目标物尺寸、物距的经验公式限定相机位置，从而兼顾合成速度和效果。然而在实际应用中发现：除非有精确量角装置，否则用户对角度并不敏感，难以准确确定角度；目标物尺寸难以准确确定，特别是某些应用场合目标物需要频繁更换，每次测量带来大量额外工作量，并且需要专业设备才能准确测量不规则目标物。测量的误差导致相机位置设定误差，从而会影响采集合成速度和效果；准确度和速度还需要进一步提高。

另外，在进行3D采集时，不同设备、不同环境采集到的图像有区别，这样导致3D建模合成时存在一定区别。这对于大量数据采集不利，会导致数据不标准，在使用时带来困扰。例如在进行大量身份信息采集时，常常期望采集的身份信息是规范统一的，这样在后续进行身份比对时方便数据的比对处理。而目前现有技术中仅提出一般的3D采集方法，并未涉及如何进行标准化的采集，更未提出从哪些角度进行标准化，这给大数据采集和利用带来困扰。而且标准化的采集也能够使得最优的标准应用于采集过程中，可以提高采集的速度和效果。

因此，目前急需解决以下技术问题：①能够进行标准数据采集，方便后续数据利用。②能够提高合成速度和合成精度；③方便操作，无需使用专业设备，无需过多测量，能够快速获得相机位置。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种基于标准化设置的3D信息采集***。

本发明的一方面提供了一种基于标准化设置的3D信息采集***，包括

光源标准化、相机位置标准化、合成方法标准化、目标物位置标准化、目标物背景标准化、和图像预处理标准化设置，其中；

对齐模块，用于实现目标物位置标准化；

采集模块，用于实现相机位置标准化和目标物背景标准化；

预处理模块，用于实现图像预处理标准化；

合成模块，用于实现合成方法标准化；

其中采集模块包括图像采集装置和背景板，背景板和图像采集装置在转动过程中保持相对设置，使得在采集时背景板成为图像采集装置所采集图像的背景图案；

背景板和图像采集装置的移动是同步的；背景板和图像采集装置位于旋转横梁的两端，相对设置，在旋转横梁转动时同步转动，始终保持相对设置。

可选的实施例中，还包括光源模块，用于提供光照标准化。

可选的实施例中，采集多个图像时图像采集装置的相邻三个位置满足在对应位置上采集的三个图像至少均存在表示目标物同一区域的部分。

可选的实施例中，光源模块，还用于设置预定的光照强度、色温。

可选的实施例中，光源模块包括光源和检测装置，光源根据检测装置的信息调整发光参数。

可选的实施例中，对齐模块，包括标记线，

当目标物为人头部或面部时，标记线为十字标记，横线与人双眼的眼角对齐，纵线与鼻头对齐；

当目标物为人眼部时，标记线为十字标记，横线与人双眼的眼角对齐，纵线与鼻头对齐，或纵线与两眼内眼角连线中点对齐；

当目标物为人手部时，标记线与手指中线对齐或与手指边缘对齐。

可选的实施例中，还包括设置背景图案，将目标物放置在背景图案前。

可选的实施例中，预处理模块，用于切割从多角度采集到的每张图片，保留目标物信息。

本发明的第二方面提供了一种3D信息比对装置，包括前述的任意一项所述的***。

本发明的第三方面提供了一种目标物的配套物生成装置，利用前述的任意一项所述的3D信息采集的标准化方法及***获得的至少一个区域3D信息生成与目标物相应区域相配合的配套物。

发明点及技术效果

1、首次提出在3D采集、合成领域，特别是利用在多位置拍摄的图片合成3D的领域需要进行采集的标准化，即需要规定一定的规范进行采集和合成，从而使得采集、合成精度更高、速度更快，且使得采集数据更加整齐，便于后续处理利用。

2、在相机或者背景设置标记，调整目标物的位置，使得目标物预定特征与标记对齐，从而保证了目标物的影像在相机拍摄的图片中位置固定，减少算法运算负担，提高合成速度。

3、通过限定在固定的多个位置采集目标物多个图像，使得图像之间的关系在每次采集时均固定，这样算法可以根据这种固定关系而专门设计，从而减少算法运算负担，提高合成速度。优化位置时，无需测量角度，无需测量目标尺寸，适用性更强。

4、由于采集到的图像分辨率高，因此在合成时需要进行大量计算。通过分割采集到的多个图像，将包含目标物的部分分离出来，可以极大地缩小每张图像的数据量，从而使得在多张图片合成时计算量骤减，提高合成速度。

5、通过优化相机采集图片的位置，保证能够同时提高合成速度和合成精度。且优化位置时，无需测量角度，无需测量目标尺寸，适用性更强。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1为本发明实施例中基于标准化光源3D信息采集***的示意图；

图2为本发明实施例中标准化光源3D信息采集***的另一示意图；

图3为本发明实施例中基于3D合成方法及相机位置标准化3D信息采集***的示意图；

图4为本发明实施例中人头部或面部拍摄的标记示意图；

图5为本发明实施例中手部拍摄的标记示意图；

图6为本发明实施例中虹膜图像合成的流程图；

图7为本发明实施例中散乱点云曲面重建技术流程；

附图标记说明：

201图像采集装置，300目标物，500控制装置，600光源，400处理器，700检测装置，601子光源，602一体光源，800标记，101轨道，100图像处理装置，102机械移动装置。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

将目标物(例如是待采集的人)布置在背景板前，背景板可以选择纯色背景或规律图案背景，以方便后续图片边缘的提取，提高运算速度。

设置光源光照强度和色温等光源参数，使得光照条件为标准化条件。

在显示器、相机分划板、或背景板上设置多个标记，通过目视或程序自动检测的方式提示目标物与标记对齐。例如可以通过承载人体的三维运动平台移动人体。但是，无论人站姿还是坐姿，都可能左右倾斜，例如左右肩不对称。此时需要采集者指挥被采集者移动从而保持与标记对齐。

相机在围绕被采集者的多个位置进行拍照，所述位置应当满足预定标准化条件(下面将详细阐述)。

图像处理装置对相机采集到的每张图像进行预处理，分割图像，提取图像中有用信息部分，去除无用信息部分，形成标准化大小的预处理图像。并利用匹配合成算法对多个预处理图像进行匹配合成，形成目标物的3D点云信息。

标准化光源

一种3D信息采集***，包括图像采集装置201，目标物300，控制装置500，光源600，处理器400，检测装置700。请参考图1和图2。

目标物300可以为包含生物特征的虹膜、人脸、手部、等人体器官或区域，或整个人体，也可以为各种动植物整体或区域，还可以为非生命体的具有外形轮廓的物体(例如手表)。

图像采集装置201可以为多相机矩阵、固定单相机、摄像机、转动单相机等能够实现图像采集的设备。其用来采集目标物300的图像。二维人脸测量与识别已经无法满足目前高精度、高准确性的采集、测量、识别要求，因此本发明也提出利用虚拟相机矩阵实现三维虹膜采集。此时图像采集装置201将采集到的多张图片送入处理器400中进行图像处理合成(具体方法参见下述实施例)，形成三维图像和点云数据。

光源600用于向目标物300提供光照，使得目标物待采集区域被照亮，且光照度大致相同。光源600可以包括多个子光源601，也可以为从不同方向向目标物不同区域提供照明的一体光源602。由于目标物轮廓的凹凸，光源600需要保证在不同方向均可以提供照明，才能够实现目标物300不同区域光照度的均匀性。根据目标物300待采集的区域不同，光源600可以设置不同的形状。例如需要采集手部3D信息，那么光源600的子光源601应当围绕手部形成全包围结构；如需要采集脸部3D信息，那么光源的的一体光源602围绕脸部形成半包围结构即可。可以理解，无论是子光源601还是一体光源602均可以不仅仅存在于一个截面内，并且两者也可以相互组合使用。例如在采集脸部3D时，如果仅半圈光源，那么人脸部下巴区域将形成阴影，导致照度不同。此时需要在已有半圈光源602下部再设置一体光源或子光源，以照亮下巴区域。

优选的，对于每一个子光源601，其本身的发光也应当满足一定的均匀性要求。但过分要求子光源601的均匀性会极大提高成本。根据大量实验，优选每个子光源在发光半径的一半的范围内具有均匀的光照度即可。

检测装置700用于检测目标物300不同区域反射的光照度，例如在面部采集时，由于鼻子的遮挡鼻子两侧受光较少，光照度相对较低。此时检测装置700接收鼻子两侧的反射光，测量其光照度或反射光强，将其发送给控制器500，同时也将面部其他部分的光照度或反射光强发送给控制器500，控制器500进行多个区域光照度或光强的比较，区分出光照度/光强不均匀的区域(例如鼻子两侧)，并根据该信息控制对应的子光源601提高发光强度，例如主要照射鼻子两侧的子光源601提高发光强度。优选的，子光源601包括移动装置，控制器500可以通过控制子光源的位置和角度提高或减弱对应区域的光强或照度。检测装置700检测目标物300反射的光强/照度，以此近似目标物300接收到的光源的光强/照度在目标物整体材质近似的情况下，经过大量实验验证是可以接受的(误差率在10％以内)，并且可以使得控制更加简单，从而防止控制***的复杂。例如在采集人脸3D信息时，由于皮肤反光特性相对一致，因此人脸接收的光强与反射的光强具有相对固定的关系。因此用检测装置700检测人脸反射的光强/照度是恰当，这也是本发明的发明点之一。

可以理解，还可以利用测装置700检测目标物300的反射光光强、反射光照度、反射光色温、反射光波长、反射光位置、反射光均匀度、反射图像的锐度、反射图像的清晰度、反射图像的对比度和/或它们任意的组合，从而控制光源600的发光光强、发光照度、发光色温、发光波长、发光方向、发光位置和/或它们任意的组合。

因此检测装置700可以为专门测量上述参量的装置，也可以为CCD、CMOS、相机、摄像机等图像采集设备。因此，优选情况下，检测装置700和图像采集装置201可以为同一部件，即图像采集装置201实现检测装置700的功能，检测目标物300的光学特性。在目标物300的图像采集前，先使用图像采集装置201检测目标物300光照条件是否满足要求，并通过控制光源实现合适的光照条件，然后图像采集装置201再开始采集用于3D合成的多张图片。

处理器，也称处理单元，用以根据图像采集装置采集的多个图像，根据3D合成算法，合成目标物3D模型，得到目标物3D信息。

处理器400用来根据图像采集装置201采集的多张照片合成目标物300的3D信息，这里3D信息包括3D图像、3D点云、3D网格、局部3D特征、3D尺寸及一切带有目标物3D特征的参数。可以理解，控制器500和处理器400可以为同一装置实现两个功能，也可以为不同的装置，分别实现控制和图像处理。这可以根据实际芯片功能、性能而定。

现有技术中通常认为利用3D进行采集、合成和测量时，其速度不快、精度不高的主要原因在于合成算法的优化不到位。但从未提及在3D采集、合成、测量中通过光照控制来提高速度和精度。而事实上，通过算法的优化确实可以提高合成的速度和精度，但效果依然不理想，特别是在不同应用场合情况下合成的速度和质量差别较大。如果进一步优化算法，需要针对不同场合进行不同的优化，难度较高。申请人通过大量实验发现通过优化光照条件，可以极大提高合成速度和质量。这一特点与2D信息采集有很大不同。2D信息采集光照条件只影响图片质量，但不会影响采集速度，且图片也可以通过后期进行修正。而申请人通过实验发现，3D信息采集时，优化光照条件合成速度会大幅度提升。

具体可参见下表。

待对光源优化完毕后，记录各个光源的位置、发光光强、发光照度、发光色温、发光波长、发光方向、发光位置和/或它们任意的组合，作为标准化光源参数。

当然也可以记录目标物接收到的光照强度、色温等参数，作为标准化光源参数。

在确定标准化光源参数后，后续产品设计和生产时，或后续采集和合成时可以根据标准化光源参数进行光源设置，设置好光源后再进行图片的采集和3D的合成，从而实现采集合成过程的光照标准化。

3D合成方法及相机位置标准化

为解决上述技术问题，本发明的一实施例提供了另一种3D信息测量/采集***。如图3所示，具体包括：轨道101，图像采集装置201，图像处理装置100，机械移动装置102，图像采集装置201安装在机械移动装置102上，机械移动装置102可以沿轨道101移动，从而使得图像采集装置201的采集区域不断变化，在一段时间的尺度上形成了在空间不同位置的多个采集区域，构成采集矩阵，但在某一个时刻只有一个采集区域，因此采集矩阵是“虚拟”的。由于图像采集装置201通常由相机构成，也称为虚拟相机矩阵。但图像采集装置201也可以为摄像机、CCD、CMOS、摄像头、带有图像采集功能的手机、平板及其他电子设备。

上述虚拟矩阵的矩阵点由采集目标物图像时图像采集装置201的位置决定的，相邻两个位置至少满足如下条件：

其中L为在相邻两个采集位置时图像采集装置1光心的直线距离；f为图像采集装置1的焦距；d为图像采集装置1感光元件(CCD)的矩形长度或宽度；T为图像采集装置1感光元件沿着光轴到目标物表面的距离；δ为调整系数，δ<0.603。

当上述两个位置是沿图像采集装置1感光元件长度方向时，d取矩形长度；当上述两个位置是沿图像采集装置1感光元件宽度方向时，d取矩形宽度。

图像采集装置1在两个位置中的任何一个位置时，感光元件沿着光轴到目标物表面的距离作为T。除了这种方法外，在另一种情况下，L为A_n、A_n+1两个图像采集装置1光心的直线距离，与A_n、A_n+1两个图像采集装置1相邻的A_n-1、A_n+2两个图像采集装置1和A_n、A_n+1两个图像采集装置1各自感光元件沿着光轴到目标物表面的距离分别为T_n-1、T_n、T_n+1、T_n+2，T＝(T_n-1+T_n+T_n+1+T_n+2)/4。当然可以不只限于相邻4个位置，也可以用更多的位置进行平均值计算。

L应当为两个图像采集装置1光心的直线距离，但由于图像采集装置光心位置在某些情况下并不容易确定，因此在某些情况下也可以使用图像采集装置1的感光元件中心、图像采集装置1的几何中心、图像采集装置1与云台(或平台、支架)连接的轴中心、镜头近端或远端表面的中心替代，经过试验发现由此带来的误差是在可接受的范围内的。

通常情况下，现有技术中均采用物体尺寸、视场角等参数作为推算相机位置的方式，并且两个相机之间的位置关系也采用角度表达。由于角度在实际使用过程中并不好测量，因此在实际使用时较为不便。并且，物体尺寸会随着测量物体的变化而改变。例如，在进行一个成年人头部3D信息采集后，再进行儿童头部采集时，就需要重新测量头部尺寸，重新推算。上述不方便的测量以及多次重新测量都会带来测量的误差，从而导致相机位置推算错误。而本方案根据大量实验数据，给出了相机位置需要满足的经验条件，不仅避免测量难以准确测量的角度，而且不需要直接测量物体大小尺寸。经验条件中d、f均为相机固定参数，在购买相机、镜头时，厂家即会给出相应参数，无需测量。而T仅为一个直线距离，用传统测量方法，例如直尺、激光测距仪均可以很便捷的测量得到。因此，本发明的经验公式使得准备过程变得方便快捷，同时也提高了相机位置的排布准确度，使得相机能够设置在优化的位置中，从而在同时兼顾了3D合成精度和速度，具体实验数据参见下述。

利用本发明装置，进行实验，得到了如下实验结果。

更换相机镜头，再次实验，得到了如下实验结果。

更换相机镜头，再次实验，得到了如下实验结果。

从上述实验结果及大量实验经验可以得出，δ的值应当满足δ<0.603，此时已经能够合成部分3D模型，虽然有一部分无法自动合成，但是在要求不高的情况下也是可以接受的，并且可以通过手动或者更换算法的方式弥补无法合成的部分。特别是δ的值满足δ<0.410时，能够最佳地兼顾合成效果和合成时间的平衡；为了获得更好的合成效果可以选择δ<0.356，此时合成时间会上升，但合成质量更好。当然为了进一步提高合成效果，可以选择δ<0.311。而当δ为0.681时，已经无法合成。但这里应当注意，以上范围仅仅是最佳实施例，并不构成对保护范围的限定。

并且从上述实验可以看出，对于相机拍照位置的确定，只需要获取相机参数(焦距f、CCD尺寸)、相机CCD与物体表面的距离T即可根据上述公式得到，这使得在进行设备设计和调试时变得容易。由于相机参数(焦距f、CCD尺寸)在相机购买时就已经确定，并且是产品说明中就会标示的，很容易获得。因此根据上述公式很容易就能够计算得到相机位置，而不需要再进行繁琐的视场角测量和物体尺寸测量。特别是在一些场合中，需要更换相机镜头，那么本发明的方法直接更换镜头常规参数f计算即可得到相机位置；同理，在采集不同物体时，由于物体大小不同，对于物体尺寸的测量也较为繁琐。而使用本发明的方法，无需进行物体尺寸测量，能够更为便捷地确定相机位置。并且使用本发明确定的相机位置，能够兼顾合成时间和合成效果。因此，上述经验条件是本发明的发明点之一。

以上数据仅为验证该公式条件所做实验得到的，并不对发明构成限定。即使没有这些数据，也不影响该公式的客观性。本领域技术人员可以根据需要调整设备参数和步骤细节进行实验，得到其他数据也是符合该公式条件的。

3D合成方法标准化

利用上述采集到的图片进行3D合成时，可以采用现有算法实现，也可以采用本发明提出的优化的算法，主要包括如下步骤：

步骤1：对所有输入照片进行图像增强处理。采用下述滤波器增强原始照片的反差和同时压制噪声。

式中：g(x，y)为原始影像在(x，y)处灰度值，f(x，y)为经过Wallis滤波器增强后该处的灰度值，m_g为原始影像局部灰度均值，s_g为原始影像局部灰度标准偏差，m_f为变换后的影像局部灰度目标值，s_f为变换后影像局部灰度标准偏差目标值。c∈(0，1)为影像方差的扩展常数，b∈(0，1)为影像亮度系数常数。

该滤波器可以大大增强影像中不同尺度的影像纹理模式，所以在提取影像的点特征时可以提高特征点的数量和精度，在照片特征匹配中则提高了匹配结果可靠性和精度。

步骤2：对输入的所有照片进行特征点提取，并进行特征点匹配，获取稀疏特征点。采用SURF算子对照片进行特征点提取与匹配。SURF特征匹配方法主要包含三个过程，特征点检测、特征点描述和特征点匹配。该方法使用Hessian矩阵来检测特征点，用箱式滤波器(Box Filters)来代替二阶高斯滤波，用积分图像来加速卷积以提高计算速度，并减少了局部影像特征描述符的维数，来加快匹配速度。主要步骤包括①构建Hessian矩阵，生成所有的兴趣点，用于特征提取，构建Hessian矩阵的目的是为了生成图像稳定的边缘点(突变点)；②构建尺度空间特征点定位，将经过Hessian矩阵处理的每个像素点与二维图像空间和尺度空间邻域内的26个点进行比较，初步定位出关键点，再经过滤除能量比较弱的关键点以及错误定位的关键点，筛选出最终的稳定的特征点；③特征点主方向的确定，采用的是统计特征点圆形邻域内的harr小波特征。即在特征点的圆形邻域内，统计60度扇形内所有点的水平、垂直harr小波特征总和，然后扇形以0.2弧度大小的间隔进行旋转并再次统计该区域内harr小波特征值之后，最后将值最大的那个扇形的方向作为该特征点的主方向；④生成64维特征点描述向量,特征点周围取一个4*4的矩形区域块，但是所取得矩形区域方向是沿着特征点的主方向。每个子区域统计25个像素的水平方向和垂直方向的haar小波特征，这里的水平和垂直方向都是相对主方向而言的。该haar小波特征为水平方向值之后、垂直方向值之后、水平方向绝对值之后以及垂直方向绝对值之和4个方向，把这4个值作为每个子块区域的特征向量，所以一共有4*4*4＝64维向量作为Surf特征的描述子；⑤特征点匹配，通过计算两个特征点间的欧式距离来确定匹配度，欧氏距离越短，代表两个特征点的匹配度越好。

步骤3：输入匹配的特征点坐标，利用光束法平差，解算稀疏的人脸三维点云和拍照相机的位置和姿态数据，即获得了稀疏人脸模型三维点云和位置的模型坐标值；以稀疏特征点为初值，进行多视照片稠密匹配，获取得到密集点云数据。该过程主要有四个步骤：立体像对选择、深度图计算、深度图优化、深度图融合。针对输入数据集里的每一张影像，我们选择一张参考影像形成一个立体像对，用于计算深度图。因此我们可以得到所有影像的粗略的深度图，这些深度图可能包含噪声和错误，我们利用它的邻域深度图进行一致性检查，来优化每一张影像的深度图。最后进行深度图融合，得到整个场景的三维点云。

步骤4：利用密集点云进行人脸曲面重建。如图6，包括定义八叉树、设置函数空间、创建向量场、求解泊松方程、提取等值面几个过程。由梯度关系得到采样点和指示函数的积分关系，根据积分关系获得点云的向量场，计算指示函数梯度场的逼近，构成泊松方程。根据泊松方程使用矩阵迭代求出近似解，采用移动方体算法提取等值面，对所测点云重构出被测物体的模型。

步骤5：人脸模型的全自动纹理贴图。表面模型构建完成后，进行纹理贴图。主要过程包括：①纹理数据获取通过图像重建目标的表面三角面格网；②重建模型三角面的可见性分析。利用图像的标定信息计算每个三角面的可见图像集以及最优参考图像；③三角面聚类生成纹理贴片。根据三角面的可见图像集、最优参考图像以及三角面的邻域拓扑关系，将三角面聚类生成为若干参考图像纹理贴片；④纹理贴片自动排序生成纹理图像。对生成的纹理贴片，按照其大小关系进行排序，生成包围面积最小的纹理图像，得到每个三角面的纹理映射坐标。

应当注意，上述算法是本发明的优化算法，本算法与图像采集条件相互配合，使用该算法兼顾了合成的时间和质量，是本发明的发明点之一。当然，使用现有技术中常规3D合成算法也可以实现，只是合成效果和速度会受到一定影响。

目标物位置标准化

通常在进行拍照时，在相机固定的情况下，目标物在图片中的位置、方向取决于目标物的位姿。如果不对目标物位置进行标准化，那么每次拍照时目标物出现在照片上的位置、方向都不相同，虽然利用上述合成方法也能够合成，但给算法带来较大运算量。尤其是在极端情况下，目标物的有用信息没有出现在图像中，那么在使用这张图像合成时，效率非常低。

***还具有显示器，和相机相连，能够显示相机拍摄到的目标物。同时，显示器上显示一些标记800，所述标记800为十字线、标记点、圆形、直线形、矩形、不规则图案和/或它们的组合。相机采集到的目标物的图像和这些标记在显示器上重合，通过观察显示器，可以调整目标物的位置，从而使得目标物特定区域与标记对齐。如图4，例如当拍摄目标物为人头部或面部时，十字标记的横线与人双眼的眼角对齐，纵线与鼻头对齐；当拍摄目标物为人眼部时，十字标记的横线与人双眼的眼角对齐，纵线与鼻头对齐，或纵线与两眼内眼角连线中点对齐；当拍摄目标物为人手部时，标记线与手指中线对齐或与手指边缘对齐。

这样，在每次采集前，当相机位于初始位置时，均根据标记对目标物进行位置调整，从而使得每次目标物的位置一致，减少合成复杂度。

上述显示器可以为独立显示器，也可以为相机或处理器自带显示器。

除了在显示器上进行标记外，相机镜头中也可以设置刻划板，在刻划板上设置对齐标记。以及，也可以在目标物周边设置背景，在背景上设置标记，从而使得目标物直接与标记对齐。例如，如图5，在进行手部拍摄时，通常需要设置透明板(例如玻璃板)，将手放置在透明板上进行多角度拍摄。可以在透明板上刻画指示线，在每次拍摄前均要求被拍摄者调整手部位置和手指张开度，以使得指示线与手指中线对齐。

目标物背景标准化

还具有背景板，设置于图像采集装置对面，为目标物提供单纯背景图案。背景板全部为纯色，或大部分(主体)为纯色。特别是可以为白色板或黑色板，具体颜色可以根据目标物主体颜色来选择。背景板通常为平板，优选也可以为曲面板，例如凹面板、凸面板、球形板，甚至在某些应用场景下，可以为表面为波浪形的背景板；也可以为多种形状拼接板，例如可以用三段平面进行拼接，而整体呈现凹形，或用平面和曲面进行拼接等。除了背景板表面的形状可以变化外，其边缘形状也可以根据需要选择。通常情况下为直线型，从而构成矩形板。但是在某些应用场合，其边缘可以为曲线。

在某些情况下，相机通过转动实现拍摄，此时背景板应当与相机同步转动。在某些情况下，采用多个相机进行拍摄，此时背景板可固定。

图像预处理标准化

虽然进行了上述多种标准化操作，但每张采集的图片均包含大量无用信息，例如拍摄时目标物所处的背景信息、承载目标物的支撑物信息等。这些信息的存在导致使用匹配算法进行匹配合成时，这些无用信息也被算法运算，带来了大量无用运算，导致运算效率低，合成速度慢。这一点也是申请人首次发现并提出的。

因此，在进行匹配合成之前，需要对每张图像进行预处理。预处理的方式包括切割从多角度采集到的每张图片，保留目标物信息。下面以虹膜3D采集合成为例，进行举例。如图7：

第一步，确定瞳孔中心点。首先对采集到的眼部图片进行滤波，减小光斑、睫毛的影响。对得到的图片横向纵向灰度值累加，然后分别画出横向纵向的灰度值分布曲线，灰度值最低点横纵坐标即为瞳孔中心横纵坐标。

第二步，确定瞳孔边缘。以上步中瞳孔中心的横纵坐标为母点，在母点的邻域点，如果灰度值之差小于某一个阈值，就认为这个区域与母区域相同，把它们作为同一体，形成类似新的母点，然后重复上面的操作，直到最边缘点的附近点灰度值都相差很大时，停止生长，那么这个过程形成的整个区域就是区域生长的结果，最终整个区域即为瞳孔区域，此时的图像为二值化的边缘图像。但此时边缘还不准确。利用hough变换对上述二值化的边缘图像进行处理，得到准确的边缘图像，此时边界即为瞳孔边缘，也就是虹膜内边界。hough变换的实现方式举例如下：

第三步，确定虹膜外边界。对眼部图像进行滤波，减小睫毛的影响。再对滤波后的图像进行边缘检测，例如利用Prewitt算子、Canny算子、Sobel算子、robert算子、Laplacian算子等，从而得到眼部二值化的边缘图像。对这个图像，再利用与上述类似的hough变换函数进行虹膜外圆的检测，从而得到虹膜外圆参数，即确定虹膜外边界。

第四步，虹膜图像标准化。上述步骤中确定的虹膜内边界和外边界之间的部分即为虹膜区域，是有效信息区域。去掉图片中的非有效信息区域，将其填充为纯色，优选填充为空数据，从而形成预定图片大小的矩形图片，例如图片大小为600×450。该矩形图片中除了虹膜信息外，基本不存在其他图像信息，这使得在进行3D合成时运算量大大减少。这也是本发明首次提出的。现有技术中通常对圆环形虹膜进行展开，成为矩形。这样的方式只适用于形状规则的虹膜，而本发明的方法适用于所有采集对象的标准化。也就是说，本发明的算法适用性更强，无需考虑目标物的类型。这也是本发明的发明点之一。

对相机在上述多个位置采集到的多张图片中的每一张均进行上述处理，得到标准化的预处理图片。再利用多张标准化预处理图片进行匹配和3D合成。

上述在进行标准化时，采用了圆环模板作为标准化模板，即将虹膜认为是圆环状的。但有时，虹膜的上部、下部会被眼皮遮挡，此时可以采用类似矩形模板，即检测眼皮和虹膜的交界线，作为模板的上下边缘，虹膜的左右边缘作为模板的左右边缘。该模板内为有用信息区域，对于模板外的无效信息区域填充为纯色，优选填充为空数据，从而形成预定图片大小的矩形图片，例如图片大小为400×300。

以上作为举例说明了在进行虹膜3D合成前，需要对虹膜的图片进行标准化的预处理，即提取有用信息，其余用空数据填充。而对于人体面部、手部、身体、四肢、足部或其他目标物，也可以用类似方法进行3D合成前的标准化预处理。例如在进行面部的3D合成时，以发际线-耳廓-下巴为边缘，将人体面部信息保留，图片中其他部分去掉，形成标准化预处理图片。

相机调整

在某些情况下，还需要保证相机在矩阵点时拍摄的物体大小在画面中的比例合适，且拍摄照片清晰。那么在形成矩阵的过程中，相机在矩阵点时需要进行变焦和对焦。

(1)变焦

在相机拍摄目标物后，估测目标物在相机画面的比例，并与预定值进行比较。过大或者过小都需要进行变焦。变焦方法可以为：利用额外的位移装置在图像采集装置201的径向上移动图像采集装置201，使得图像采集装置201可以靠近或远离目标物体，从而保证在各个矩阵点，目标物在画面中占比保持基本不变。

还包括测距装置，可以测量图像采集装置201到物体的实时距离(物距)。可以将物距、目标物在画面中的占比、焦距三者关系数据列成表格，根据焦距、目标物在画面中的占比查表确定物距应该的大小，从而确定矩阵点。

在一些情况下，在不同矩阵点目标物或目标物的区域相对相机变化，也可以通过调整焦距来实现目标物在画面中的占比保持恒定。

(2)自动对焦

在形成虚拟矩阵的过程中，测距装置实时测量相机到物体的距离(物距)h(x)，并将测量结果发送给图像处理装置100，图像处理装置100查物距-焦距表，找到对应的焦距值，向相机201发出对焦信号，控制相机超声波马达驱动镜头移动进行快速对焦。这样，可以在不调整图像采集装置201的位置，也不大幅度调整其镜头焦距的情况下，实现快速对焦，保证图像采集装置201拍摄照片清晰。这也是本发明的发明点之一。当然，除了测距方式进行对焦外，也可以采用图像对比度比对的方式进行对焦。

本发明所述的转动运动，为在采集过程中前一位置采集平面和后一位置采集平面发生交叉而不是平行，或前一位置图像采集装置光轴和后一位置图像采集位置光轴发生交叉而不是平行。也就是说，图像采集装置的采集区域环绕或部分环绕目标物运动，均可以认为是两者相对转动。虽然本发明实施例中列举更多的为有轨道的转动运动，但是可以理解，只要图像采集设备的采集区域和目标物之间发生非平行的运动，均是转动范畴，均可以使用本发明的限定条件。本发明保护范围并不限定于实施例中的有轨道转动。

本发明所述的相邻采集位置是指，在图像采集装置相对目标物移动时，移动轨迹上的发生采集动作的两个相邻位置。这通常对于图像采集装置运动容易理解。但对于目标物发生移动导致两者相对移动时，此时应当根据运动的相对性，将目标物的运动转化为目标物不动，而图像采集装置运动。此时再衡量图像采集装置在转化后的移动轨迹中发生采集动作的两个相邻位置。

本发明中所述目标物可以为一实体物体，也可以为多个物体组成物。

所述目标物的3D信息包括3D图像、3D点云、3D网格、局部3D特征、3D尺寸及一切带有目标物3D特征的参数。

本发明里所谓的3D、三维是指具有XYZ三个方向信息，特别是具有深度信息，与只有二维平面信息具有本质区别。也与一些称为3D、全景、全息、三维，但实际上只包括二维信息，特别是不包括深度信息的定义有本质区别。

本发明所说的采集区域是指图像采集装置(例如相机)能够拍摄的范围。

本发明中的图像采集装置可以为CCD、CMOS、相机、摄像机、工业相机、监视器、摄像头、手机、平板、笔记本、移动终端、可穿戴设备、智能眼镜、智能手表、智能手环以及带有图像采集功能所有设备。

以上实施例获得的目标物多个区域的3D信息可以用于进行比对，例如用于身份的识别。首先利用本发明的方案获取人体面部和虹膜的3D信息，并将其存储在服务器中，作为标准数据。当使用时，例如需要进行身份认证进行支付、开门等操作时，可以用3D获取装置再次采集并获取人体面部和虹膜的3D信息，将其与标准数据进行比对，比对成功则允许进行下一步动作。

以上实施例获得的目标物多个区域的3D信息可以用于为该目标物设计、生产、制造配套物。例如，获得人体头部3D数据，可以为人体设计、制造更为合适的帽子；获得人体头部数据和眼睛3D数据，可以为人体设计、制造合适的眼镜。

以上实施例获得的目标物的3D信息可以用于对该目标物的几何尺寸、外形轮廓进行测量。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

至此，本领域技术人员应认识到，虽然本文已详尽示出和描述了本发明的多个示例性实施例，但是，在不脱离本发明精神和范围的情况下，仍可根据本发明公开的内容直接确定或推导出符合本发明原理的许多其他变型或修改。因此，本发明的范围应被理解和认定为覆盖了所有这些其他变型或修改。

Claims (10)

1.一种基于标准化设置的3D信息采集***，其特征在于：包括

光源标准化、相机位置标准化、合成方法标准化、目标物位置标准化、目标物背景标准化、和图像预处理标准化设置，其中；

对齐模块，用于实现目标物位置标准化；

采集模块，用于实现相机位置标准化和目标物背景标准化；

预处理模块，用于实现图像预处理标准化；

合成模块，用于实现合成方法标准化；

其中采集模块包括图像采集装置和背景板，背景板和图像采集装置在转动过程中保持相对设置，使得在采集时背景板成为图像采集装置所采集图像的背景图案；

背景板和图像采集装置的移动是同步的；背景板和图像采集装置位于旋转横梁的两端，相对设置，在旋转横梁转动时同步转动，始终保持相对设置。

2.如权利要求1所述的***，其特征在于：还包括光源模块，用于提供光照标准化。

3.如权利要求1所述的***，其特征在于：采集多个图像时图像采集装置的相邻三个位置满足在对应位置上采集的三个图像至少均存在表示目标物同一区域的部分。

4.如权利要求1所述的***，其特征在于：光源模块，还用于设置预定的光照强度、色温。

5.如权利要求1所述的***，其特征在于：光源模块包括光源和检测装置，光源根据检测装置的信息调整发光参数。

6.如权利要求1所述的***，其特征在于：对齐模块，包括标记线，

当目标物为人头部或面部时，标记线为十字标记，横线与人双眼的眼角对齐，纵线与鼻头对齐；

当目标物为人眼部时，标记线为十字标记，横线与人双眼的眼角对齐，纵线与鼻头对齐，或纵线与两眼内眼角连线中点对齐；

当目标物为人手部时，标记线与手指中线对齐或与手指边缘对齐。

7.如权利要求1所述的***，其特征在于：还包括设置背景图案，将目标物放置在背景图案前。

8.如权利要求1所述的***，其特征在于：预处理模块，用于切割从多角度采集到的每张图片，保留目标物信息。

9.一种3D信息比对装置，其特征在于：包括权利要求1-8的任意一项所述的***。

10.一种目标物的配套物生成装置，其特征在于：利用权利要求1-8的任意一项所述的***获得的至少一个区域3D信息生成与目标物相应区域相配合的配套物。

Images