CN105844582A - 3d图像数据的注册方法和装置 - Google Patents

Abstract

本发明公开了一种3D图像数据的注册方法和装置，所述方法包括：将源3D图像数据基于关键点与目标3D图像数据进行刚性对齐，得到第一变换数据；将第一变换数据基于关键点与目标3D图像数据进行非刚性对齐，得到第二变换数据；迭代计算第二变换数据到目标3D图像数据的变换矩阵；根据迭代计算出的变换矩阵完成源3D图像数据到目标3D图像数据的3D注册。由于将基于关键点的刚性对齐和非刚性对齐方法结合运用，可得到一个较好的初始变换，基于该初始变换进行迭代计算求解出变换矩阵，可将源3D图像数据更为贴切、平滑、吻合度更高地对应到目标3D图像数据，从而提高了注册精度，使得注册结果更为平滑，与目标数据更为吻合。

Description

3D图像数据的注册方法和装置

技术领域

本发明涉及计算机视觉领域，具体而言，本发明涉及一种3D图像数据的注册方法和装置。

背景技术

随着3维(3D)图像数据采集设备的快速发展，3D图像数据广泛应用于多个领域，尤其是计算机视觉领域。

3D注册是处理3D图像数据的一个常用方法，可以应用于物体、场景重建，计算机辅助医疗中的器官建模，人脸识别，动画的3D人脸建模，机器人导航，物体识别等等。通过3D注册可以找到两个(或多个)3D图像数据之间的点的对应关系，以及3D图像数据之间的变换关系；基于得到的对应关系和变换关系，从而可以将3D图像数据进行对齐。

现有的一种3D图像数据的注册方法是基于3D图像数据中关键点的位置，使用关键点对3D图像数据进行分割，分割块内的点的变换由构建该分割块的关键点的变换决定。然而，该方法严重依赖于关键点的精度，其它非关键点完全依赖于关键点进行变换，使得该方法精度很低，注册结果与目标数据的吻合性较差。

现有的另一种3D图像数据的注册方法是基于非刚性ICP(IterativeClosest Point)进行对齐的方法，该方法通过极小化一个基于平滑性约束、关键点约束和对应点的距离约束的能量函数，来求得两个3D图像数据(即源3D图像数据和目标3D图像数据)之间的变换关系。然而，该方法中关键点的精度对注册结果影响较大，关键点约束的权重设置不合理，容易使得源3D图像数据和目标3D图像数据很难实现对齐。而且，基于关键点的单点约束，影响范围小；在源数据与目标数据相差很大的情况下，关键点单点不足以带动关键点周围的点产生合理的类似变换，容易出现关键点和周围点的变换差别非常大的情况。

综上所述，现有技术的3D图像数据的注册方法，源3D图像数据变换为目标3D图像数据的精度较低，注册结果与目标3D图像数据的吻合性较差。

发明内容

本发明的目的旨在至少解决上述技术缺陷之一，特别是提高注册精度，使得注册结果更为平滑，注册结果与目标数据更为吻合。

本发明提供了一种3D图像数据的注册方法，包括：

将源3D图像数据基于关键点与目标3D图像数据进行刚性对齐，得到第一变换数据；

将第一变换数据基于关键点与目标3D图像数据进行非刚性对齐，得到第二变换数据；

迭代计算第二变换数据到目标3D图像数据的变换矩阵；

根据所述变换矩阵完成源3D图像数据到目标3D图像数据的3D注册。

本发明还提供了一种3D图像数据的注册装置，包括：

刚性对齐单元，用于将源3D图像数据基于关键点与目标3D图像数据进行刚性对齐，得到第一变换数据；

非刚性对齐单元，用于将第一变换数据基于关键点与目标3D图像数据进行非刚性对齐，得到第二变换数据；

变换矩阵计算单元，用于迭代计算第二变换数据到目标3D图像数据的变换矩阵；并根据计算出的变换矩阵完成源3D图像数据到目标3D图像数据的3D注册。

本发明的方案中，在进行3D图像数据的注册时，对源3D图像数据和目标3D图像数据基于关键点进行刚性对齐后，再进行非刚性对齐，使得源3D图像数据和目标3D图像数据的关键点很好地对应上，并得到一个较好的初始变换；之后，基于得到的较好的初始变换，再行迭代计算求解出变换矩阵，根据迭代计算出的变换矩阵完成源3D图像数据到目标3D图像数据的3D注册。从而，本发明的方法得到的变换矩阵可以将源3D图像数据更为贴切、平滑、吻合度更高地对应到目标3D图像数据，从而提高3D图像注册时的注册精度，使得注册结果更为平滑，注册结果与目标数据更为吻合。

进一步，本发明的技术方案中，还可以对目标3D图像数据中标注的关键点进行位置优化，提高关键点的精度，进而有利于提高注册精度；而且，本发明在迭代计算求解变换矩阵时，在关键点单点约束的基础上，增加了关键点领域不等式约束，使得距离关键点越远的邻域点，其变换与关键点变换的依赖关系就越弱，从而进一步提高了注册精度，使得注册结果更为平滑，注册结果与目标数据更为吻合。

本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明实施例的3D图像数据的关键点标注方法的流程示意图；

图2为在3D图像数据上标注的关键点的示意图；

图3为本发明实施例的3D图像数据的注册方法的流程示意图；

图4a为源3D人脸数据的曲面图片；

图4b为目标3D人脸数据的纹理图片；

图4c为目标3D人脸数据的无纹理的曲面图片；

图5a为使用OSICP方法注册得到的纹理图片；

图5b为使用OSICP方法注册得到的无纹理的曲面图片；

图5c为使用本发明的注册方法注册得到的纹理图片；

图5d为使用本发明的注册方法注册得到的无纹理的曲面图片；

图6为本发明实施例的3D图像数据的注册装置的内部结构框图；

图7为本发明实施例的关键点位置优化模块的内部结构示意图；

图8为本发明实施例的变换矩阵计算单元的内部结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。

本技术领域技术人员可以理解，这里所使用的“终端”、“终端设备”既包括无线信号接收器的设备，其仅具备无发射能力的无线信号接收器的设备，又包括接收和发射硬件的设备，其具有能够在双向通信链路上，进行双向通信的接收和发射硬件的设备。这种设备可以包括：蜂窝或其他通信设备，其具有单线路显示器或多线路显示器或没有多线路显示器的蜂窝或其他通信设备；PCS(Personal Communications Service，个人通信***)，其可以组合语音、数据处理、传真和/或数据通信能力；PDA(PersonalDigital Assistant，个人数字助理)，其可以包括射频接收器、寻呼机、互联网/内联网访问、网络浏览器、记事本、日历和/或GPS(Global PositioningSystem，全球定位***)接收器；常规膝上型和/或掌上型计算机或其他设备，其具有和/或包括射频接收器的常规膝上型和/或掌上型计算机或其他设备。这里所使用的“终端”、“终端设备”可以是便携式、可运输、安装在交通工具(航空、海运和/或陆地)中的，或者适合于和/或配置为在本地运行，和/或以分布形式，运行在地球和/或空间的任何其他位置运行。这里所使用的“终端”、“终端设备”还可以是通信终端、上网终端、音乐/视频播放终端，例如可以是PDA、MID(Mobile Internet Device，移动互联网设备)和/或具有音乐/视频播放功能的移动电话，也可以是智能电视、机顶盒等设备。

本发明中，在进行3D图像数据的注册时，将基于关键点的刚性对齐和非刚性对齐方法结合运用，即对源3D图像数据和目标3D图像数据进行刚性对齐后，再进行非刚性对齐，因而使得源3D图像数据和目标3D图像数据的关键点很好地对应上，并可以得到一个较好的初始变换，使源3D图像数据和目标3D图像数据变换成为较为接近的数据；之后，基于先前得到的较好的初始变换，再进行迭代计算求解出变换矩阵，可以得到相比于采用源3D图像数据，或较差的初始变换进行迭代计算求解出的变换矩阵，具有更好的稳定性和精确度。基于本发明的方法得到的变换矩阵可以将源3D图像数据更为贴切、平滑、吻合度更高地对应到目标3D图像数据；从而，根据求解出的变换矩阵完成3D注册，可以提高注册精度，使得注册结果更为平滑，注册结果与目标数据更为吻合。

下面结合附图详细说明本发明的实施例。

本发明实施例中，在对3D图像数据进行注册之前，可预先对3D图像数据进行关键点标注。具体地，对3D图像数据进行关键点标注的方法流程，如图1所示，包括如下步骤S101至S103：

S101：接收3D图像数据，3D图像数据包括源3D图像数据和目标3D图像数据。

其中，接收的3D图像数据的格式可以是点云、深度图、3D网格等。

优选地，接收3D图像数据后，可对接收的3D图像数据进行预处理，如切割、噪点去除、补洞和平滑等。其中，预处理可通过现有算法实现，如PCL(Point cloud library，点云库)包含的算法。

S102：对接收的3D图像数据进行关键点标注。

关键点标注也就是在接收的3D图像数据中指定一些具有明显特征或者意义的点，并将其位置标注出来；参见图2，示出了在3D图像数据上标注的关键点的示意图。

其中，对接收的3D图像数据进行关键点标注时，可以使用程序自动检测关键点，或者在自动检测后，手动调整检测结果使之更为准确，也可以完全靠人工进行关键点标注。

以人脸图像数据为例，如果要采用自动检测关键点的方案，则需先将3D图像数据投影成为2D图像，然后调用2D关键点检测程序进行检测，再反投影得到对应的3D关键点位置。

进一步，对3D图像数据的关键点进行标注后，还可根据如下步骤S103，对标注的关键进行位置优化。

S103：对目标3D图像数据中标注的关键点进行位置优化。

优选地，对目标3D图像数据中标注的关键点进行位置优化可以采用如下方式：

对源3D图像数据和目标3D图像数据的关键点进行特征提取；根据提取的特征，对目标3D图像数据中标注的关键点进行位置优化。对关键点的位置进行优化可以提高关键点的精度，进而有利于提高注册精度。

其中，提取的特征包括但不限于如下至少一种特征：颜色特征和几何特征。颜色特征可以包括LBP、SIFT、SURF等，几何特征可以包括NARF、VPH、FPFH、SURE等等，这些颜色特征和几何特征均为本领域技术人员所熟知，均可以用于关键点位置优化。

其中，根据提取的特征，对目标3D图像数据中标注的关键点进行位置优化的一种优选实现方式如下：

在目标3D图像数据的关键点的邻域内，确定与源3D图像数据对应关键点间的特征距离最近的点；将确定出的点的位置作为优化后的目标数据的关键点的位置。

如式1，在目标3D图像数据的第i个关键点的邻域内搜索一个与源3D图像数据对应关键点间的特征距离最近的点u，将该点的位置作为目标3D图像数据关键点的位置以此来优化目标3D图像数据关键点的位置。其中f(·)是特征提取的函数。

${{\hat{l}}_i}^T=\underset{u\∈\mathrm{Nei}\left(l_i^T\right)}{\min }\left|\right|f\left(u\right)-f\left(l_i^S\right)\left|\right|$ (式1)

式1中，表示点u与关键点间的特征距离。

事实上，在对3D图像数据进行注册之前，通常需要对源3D图像数据和目标3D图像数据的对应点进行估计，也就是，对于任一源3D图像数据的顶点，从目标3D图像数据中找到与该顶点相对应的点。

具体地，可根据如下方法中的至少一种，对源3D图像数据与目标3D图像数据的对应点进行估计：最近临点估计方法、法线向量射击方法、反投影方法。可以理解，进行对应点估计的方法并不限于上述提及的方法。

进一步，还可以对源3D图像数据和目标3D图像数据的对应点进行筛选。具体地，可根据如下至少一个筛选原则，对源3D图像数据和目标3D图像数据的对应点进行筛选：

a.对对应点间的距离大于设定距离值的对应点进行拒绝；

b.对对应点的法线方向间的夹角大于设定角度值的对应点进行拒绝；

c.对目标3D图像数据中为边界点的对应点进行拒绝。

可以理解，进行对应点筛选的筛选原则也不限于上述提及的筛选原则。

通过进行对应点筛选，可以拒绝一些准确性不高的对应点，从而提高估计的对应点的准确性，进而有助于提高3D注册的注册精度。

其中，当采用第三种筛选原则，即采用筛选原则c进行对应点筛选时，可以先对目标3D图像数据进行边界点估计。其中，判断一个点是否为边界点的方法可以为：计算该点的法线方向，将该点及其邻域点沿法线方向进行2D投影，通过对2D投影点的位置分布来判断该点是否为边界点。优选地，对2D投影点的位置分布来判断该点是否为边界点的方式为：以该点为中心，在一个圆周360度范围内，没有邻域点投影的区域所占的角度范围若大于设定阈值，则确定该点为边界点，否则该点不是边界点。

由于对于3D图像数据，边界点往往不稳定，且有噪音，因此采用筛选原则c进行对应点筛选后，可以去除因边界点不稳定带来的影响，进而也有助于提高3D注册的注册精度。

基于标注的关键点，本发明实施例提供的3D图像数据的注册方法为：将源3D图像数据基于关键点与目标3D图像数据进行刚性对齐，得到第一变换数据；将第一变换数据基于关键点与目标3D图像数据进行非刚性对齐，得到第二变换数据；迭代计算第二变换数据到目标3D图像数据的变换矩阵；根据迭代计算出的变换矩阵完成源3D图像数据到目标3D图像数据的3D注册。

本发明实施例提供的3D图像数据的注册方法的具体流程，如图3所示，包括如下步骤：

S301：将源3D图像数据基于关键点与目标3D图像数据进行刚性对齐，得到第一变换数据。

具体地，可以采用现有的ICP(Iterative Closest Point，迭代最近点)方法，对标注了关键点的源3D图像数据与目标3D图像数据进行刚性对齐，并得到刚性对齐后的源3D图像数据，即第一变换数据。

S302：将第一变换数据基于关键点与目标3D图像数据进行非刚性对齐，得到第二变换数据。

本步骤中，将第一变换数据基于关键点与目标3D图像数据进行非刚性对齐，具体可以为：基于第一约束条件，对第一变换数据和目标3D图像数据进行对齐；其中，第一约束条件包括：关键点约束和平滑性约束；其中，第一变换数据指的是刚性对齐后的源3D图像数据。

其中，第一约束条件具体可以为平滑性约束函数与预设权重矩阵的乘积，与关键点约束函数之和最小；其中，预设权重矩阵为对角阵，由源3D图像数据的关键点的可信度构成。

事实上，基于第一约束条件，对第一变换数据和目标3D图像数据进行对齐，也就是，极小化下述式2中基于平滑性约束函数E_s和关键点约束函数E_l的能量函数E₁(X)，以求得第一变换数据到目标3D图像数据的第一变换矩阵。

$E_1\left(X\right):{=E}_s\left(X\right)+\hat{B}{E}_l\left(X\right)$ (式2)

式2中，X表示[X₁…X_n]^T，其中X_i是3×4的矩阵，是对应于源3D图像数据的第i个顶点的变换矩阵，n是顶点个数；是预设权重矩阵，且为对角阵，由源3D图像数据的关键点的可信度构成；其中，一种得到源3D图像数据的关键点的可信度的方法将在下述详细说明。

具体地，平滑性约束函数E_s为：

$E_s\left(X\right):=\underset{\{i,j\}\∈\mathrm{\ϵ}}{\mathrm{\Σ}}{\left|\right|(X_i-X_j)\left|\right|}_F^2$ (式3)

如式3的平滑性约束函数，要求源3D图像数据中每一对有边相连的顶点i和j，它们对应的变换矩阵X_i和X_j之间的F范数要尽量小；式3中，ε表示边的集合。

关键点约束函数E_l为：

(式4)

如式4的关键点约束函数，要求v_i经过X_i变换后能够与l越近越好。式4中，l是源3D图像数据的关键点；v_i是目标3D图像数据中与l对应的关键点；是关键点对的集合。

权重矩阵为：

(式5)

式5中，L是关键点的个数，θ是关键点约束的权重，β是源3D图像数据的关键点的可信度。

其中，源3D图像数据的关键点的可信度的一种计算方法如下：

计算源3D图像数据与目标3D图像数据中相对应的关键点间的特征距离；使用预设单调递减函数作用于该特征距离，得到源3D图像数据的关键点的可信度。

比如，可根据如下式6，得到源3D图像数据的第i个关键点的可信度β_i：

β_i＝g(d_i) (式6)

式6中，d_i＝||f(v_j)-f(l_i)||，表示关键点v_j与l_i间的特征距离；l_i是源3D图像数据上的第i个关键点；v＝[x,y,z,1]^T是目标3D图像数据的顶点，v_j是目标3D图像数据上与l_i对应的关键点，该关键点在目标3D图像数据上是第j个顶点；g是一个单调下降(或单调递减)的函数，例如，g可以是倒数函数等；式6的意义在于，关键点的可信度是随着对应关键点间的特征距离变大而变小的。

S303：迭代计算第二变换数据到目标3D图像数据的变换矩阵。

本步骤S303使用迭代算法计算第二变换数据到目标3D图像数据的变换矩阵，其中迭代计算的方式有多种，一种优选方式如下：

在每次迭代过程中，基于第二约束条件计算上次迭代的变换数据到目标3D图像数据的变换矩阵；在每次迭代完成时，根据本次以及上次迭代过程中得到的变换矩阵，判断收敛条件是否满足；若是，将本次迭代过程中计算得到的变换矩阵，作为求解出的最终变换矩阵；若否，继续下次迭代。

其中，首次迭代时，将第二变换数据作为上次迭代的变换数据；非首次迭代时，将源3D图像数据经上次迭代过程中计算得到的变换矩阵变换后的图像数据，作为上次迭代的变换数据。

其中，第二约束条件包括：关键点约束和平滑性约束，以及上次迭代的变换数据和目标3D图像数据的对应点间的距离约束。

优选地，第二约束条件可以为：平滑性约束函数与预设平滑性约束权重的乘积、所述距离约束函数、以及关键点约束函数与预设关键点约束权重的乘积三者之和最小。

也就是，在每次迭代过程中，求解使如下式7所示的能量函数E(X)极小化的变换矩阵：

E(X):＝E_d(X)+α_tE_s(X)+BE_l(X) (式7)

式7中，E_s为平滑性约束函数，可如上述式3所示；E_l为关键点约束函数，可如上述式4所示；E_d为上次迭代的变换数据和目标3D图像数据的对应点间的距离约束函数；α_t是平滑性约束函数E_s的权重，B是关键点约束函数的权重。其中，α_t、B可由技术人员根据经验设定。

上述的收敛条件具体可以是：相邻两次迭代过程中得到变换矩阵之间的欧式距离小于预设迭代终止阈值。例如，可迭代计算直到本次以及上次迭代过程中得到的变换矩阵满足如下式8：

||X^j-X^j-1||＜δ (式8)

式8中，X^j-1为上次迭代过程中得到的变换矩阵；X^j为本次迭代过程中得到的变换矩阵；δ为预设迭代终止阈值。

事实上，为有效的防止陷入局部最优解，可对于逐渐缩小的α_t∈{α₁,...，α_m}，基于上述式7的能量函数，迭代计算直到本次以及上次迭代过程中得到的变换矩阵满足收敛条件。其中，α₁,...,α_m为技术人员根据经验预先设置的m个平滑性约束函数E_s的权重，且α_t＞α_t+1。

其中，上次迭代的变换数据和目标3D图像数据的对应点间的距离约束函数E_d为：

(式9)

式9中，为第j次迭代中源3D图像数据的第i个顶点的变换矩阵；T为目标3D图像数据；dist是源3D图像数据的顶点v_i在当前变换下的位置与其在目标3D图像数据中的对应点间的距离；w_i是一个二值参数，当在目标3D图像数据中有对应点时，w_i为1，没有可以接受的对应点时，w_i为0；是源3D图像数据的顶点集合。

在实际应用中，第二约束条件中的关键点约束为关键点单点的约束。基于关键点单点的约束，影响范围小，在源3D图像数据与目标3D图像数据相差较大的情况下，关键点单点不足以带动周围的点产生合理的类似变换，会出现关键点与周围点变换差别非常大的情况。

为克服上述的关键点单点约束的缺陷，本发明技术方案中增加了一种关键点邻域点的约束，通过将关键点单点的约束与关键点邻域点的约束结合起来，进一步提高了注册精度，而且使得注册结果更为平滑，注册结果与目标数据更为吻合。

因此，本发明技术方案中，第二约束条件中还包括关键点邻域不等式约束。关键点邻域不等式约束具体为：关键点邻域内的点到该关键点的距离越远，约束越小。

式10示出了一种优选的关键点不等式约束。由此，在每次迭代过程中，基于第二约束条件计算上次迭代的变换数据到目标3D图像数据的变换矩阵，也就是，在满足下述式10所示的关键点邻域不等式的条件下，求解使式7所示的能量函数E(X)极小化的变换矩阵：

$|X_u^{\left(e\right)}-X_{i_m}^{\left(e\right)}|\≤\mathrm{\ρ}(v_u,v_{i_m})$ (式10)

式10中，表示本次迭代计算出的源3D图像数据的第u个顶点的变换矩阵的第e个元素值；表示本次迭代计算出的源3D图像数据的第m个关键点，即第i_m个顶点，的变换矩阵的第e个元素；的邻域；是源3D图像数据中的第m个关键点，即第i_m个顶点；是随v_u和间的距离变远而变大的函数。

从而，可将最后迭代计算出的满足收敛条件的变换矩阵，作为求解出的最终变换矩阵。

针对关键点单点约束效果不佳的问题，本发明通过增加一个关键点邻域点的约束，不但显式的增加了关键点对邻域点的约束，而且还通过将关键点单点的约束与邻域点的区域约束结合起来，扩大了关键点的影响范围，从而更好的带动关键点周围的点，使周围的点可以跟随关键点的变换而合理有效的变换。

而且，本发明将关键点邻域点的约束建模成为一组关键点邻域不等式约束，这组约束的强弱与邻域点距离关键点的距离有关，距离越远，约束越松(如式10所示)。这样的建模方式比将关键点邻域约束加入到能量函数E(X)中更加合理。加入到能量函数E(X)中，相当于建立了一组等式约束，要求邻域点的变换都与关键点相同，这样是不合理的。事实上，距离关键点越远的邻域点，其变换与关键点变换的依赖关系就越弱，因此，使用本发明的关键点邻域不等式约束恰恰满足了这样的需求，进一步提高了注册精度，而且使得注册结果更为平滑，注册结果与目标数据更为吻合。

事实上，在每次迭代过程中，基于第二约束条件计算上次迭代的变换数据到目标3D图像数据的变换矩阵前，可以对上次迭代的变换数据和目标3D图像数据的对应点进行估计和筛选。需要说明的是，上述对源3D图像数据与目标3D图像数据进行对应点估计和对应点筛选的方法，也适用于第一变换数据与目标3D图像数据之间的对应点估计和对应点筛选，也适用于每次迭代过程中的变换数据与目标3D图像数据之间的对应点估计和对应点筛选。

较优地，在迭代计算出第二变换数据到目标3D图像数据的变换矩阵后，还可以根据如下步骤S304对迭代计算出的变换矩阵进行平滑处理：

S304：基于第三约束条件，对迭代计算出的变换矩阵进行平滑处理。

其中，第三约束条件包括：平滑性约束，以及第三变换数据和目标3D图像数据的对应点间的距离约束；第三变换数据指的是经迭代计算出的变换矩阵变换后的源3D图像数据。

具体地，第三约束条件具体为：平滑性约束函数与平滑性约束的权重系数的乘积，以及第三变换数据和目标3D图像数据的对应点间的距离约束函数两者之和最小。也就是，使如下式11所示的能量函数E₂(X)极小化：

$E_2\left(X\right):=E_d\left(X\right)+\widehat{\mathrm{\α}}{E}_s\left(X\right)$ (式11)

式11中，是平滑性约束的权重系数；E_s为平滑性约束函数，可如上述式3所示；E_d为第三变换数据和目标3D图像数据的对应点间的距离约束函数，可如上述式9所示。

S305：根据求解出的变换矩阵完成源3D图像数据到目标3D图像数据的3D注册。

具体地，可以直接根据迭代计算出的变换矩阵完成源3D图像数据到目标3D图像数据的3D注册。较优地，也可根据平滑处理后的变换矩阵完成源3D图像数据到目标3D图像数据的3D注册。事实上，根据求解出的变换矩阵完成源3D图像数据到目标3D图像数据的3D注册，也就是使用求解出的变换矩阵作用于源3D图像数据，实现源3D图像数据与目标3D图像数据的对齐。

下面通过一个简单对比来说明本发明所达到的技术效果。

将上述方法用于3D人脸数据的注册，源3D人脸数据是一个3D人脸的模版，目标3D人脸数据是用3D扫描仪得到的3D点云数据。图4a示出了源3D人脸数据的曲面图片，图4b示出了目标3D人脸数据的纹理图片，图4c示出了目标3D人脸数据的无纹理的曲面图片。

使用本发明的注册方法与现有的Optimal Step non-rigid ICP(OSICP)方法分别对上述3D人脸数据进行注册，注册结果如图5a至4d所示。

将两者的注册结果相比较，可以看到OSICP方法，在眼睛、鼻子、嘴巴的关键点附近，都有畸变，而本发明的方法则可以取得更好的效果。

另外，下述从平滑性和与目标数据的吻合程度，来量化的比较本发明的方法和OSICP方法。

平滑性：计算每一个点与其邻域点的位移差，求平均值，记作单点平均位移差；对所有点的单点平均位移差求一个平均值。这个总的平均值就作为平滑性的量化值，这个值越小，则注册结果越平滑，说明注册方法的平滑性能越好。

与目标数据的吻合性：在目标数据中找到对应点；计算每一个点与对应点之间的距离；对所有点的距离求一个平均值，以这个值作为吻合性的量化值，这个值越小，说明结果与目标数据吻合的越好。

下表1示出了本发明的方法与OSICP方法的量化结果，可以看出，无论在平滑性还是与目标数据的吻合性上，本发明的方法均具有较好的注册质量和效果。

表1

方法	平滑性的量化值	数据吻合性的量化值
			OSICP方法	0.3361	0.6486
本发明的方法	0.3152	0.6096

综上，无论是从视觉效果上还是量化的注册质量对比上，本发明的注册方法均具有较好的效果。

基于上述的3D图像数据的注册方法，本发明实施例提供的3D图像数据的注册装置的内部结构框图，如图6所示，包括：刚性对齐单元601、非刚性对齐单元602和变换矩阵计算单元603。

刚性对齐单元601用于将源3D图像数据基于关键点与目标3D图像数据进行刚性对齐，得到第一变换数据；输出迭代通知和第二变换数据。

非刚性对齐单元602用于接收到刚性对齐单元601输出的迭代通知后，将刚性对齐单元601输出的第一变换数据，基于关键点与目标3D图像数据进行非刚性对齐，得到第二变换数据并输出。

变换矩阵计算单元603用于迭代计算第二变换数据到目标3D图像数据的变换矩阵；并根据计算出的变换矩阵完成源3D图像数据到目标3D图像数据的3D注册。

较优地，非刚性对齐单元602具体用于基于第一约束条件，将刚性对齐单元601输出的第一变换数据和目标3D图像数据进行对齐；其中，第一约束条件包括：关键点约束和平滑性约束。优选地，第一约束条件具体为：平滑性约束函数与预设权重矩阵的乘积，与关键点约束函数之和最小；其中，预设权重矩阵为对角阵，由源3D图像数据的关键点的可信度构成。

相应地，上述的注册装置还可包括：关键点可信度计算单元604。

关键点可信度计算单元604用于计算源3D图像数据与目标3D图像数据中相对应的关键点间的特征距离；使用预设单调递减函数作用于该特征距离，得到源3D图像数据的关键点的可信度。

较优地，上述的注册装置还可包括：平滑处理单元605。

平滑处理单元605用于对变换矩阵计算单元603迭代计算出的变换矩阵进行平滑处理。具体地，平滑处理单元605用于基于第三约束条件，对变换矩阵计算单元603迭代计算出的变换矩阵进行平滑处理；其中，第三约束条件包括：平滑性约束，以及第三变换数据和目标3D图像数据的对应点间的距离约束；第三变换数据指的是源3D图像数据经迭代计算出的变换矩阵变换后的源3D图像数据。

较优地，上述的注册装置还可包括：关键点位置优化单元606。

关键点位置优化单元606用于对目标3D图像数据中标注的关键点进行位置优化。

如图7所示，关键点位置优化单元606具体可包括：特征提取子单元701和位置优化子单元702。

特征提取子单元701用于对源3D图像数据和目标3D图像数据的关键点进行特征提取；其中，提取的特征包括如下至少一种特征：颜色特征和几何特征。

位置优化子单元702用于根据特征提取子单元701提取的特征，对目标3D图像数据中标注的关键点进行位置优化。具体地，位置优化子单元512用于在目标3D图像数据的关键点的邻域内，确定与源3D图像数据对应关键点间的特征距离最近的点；将确定出的点的位置作为优化后的目标数据的关键点的位置。

如图8所示，变换矩阵计算单元603具体可以包括：迭代子单元801和终止判断子单元802。

迭代子单元801用于接收到迭代通知后，进行一次迭代计算：基于第二约束条件计算上次迭代的变换数据到目标3D图像数据的变换矩阵，并发送单次迭代完成通知；其中，第二约束条件包括：关键点约束和平滑性约束，以及上次迭代的变换数据和目标3D图像数据的对应点间的距离约束。其中，首次迭代时，将第二变换数据作为上次迭代的变换数据；非首次迭代时，将源3D图像数据经上次迭代过程中计算得到的变换矩阵变换后的图像数据，作为上次迭代的变换数据。

终止判断子单元802用于在接收到迭代子单元801发送的单次迭代完成通知时，根据本次以及上次迭代过程中得到的变换矩阵，判断收敛条件是否满足；若是，将本次迭代过程中计算得到的变换矩阵，作为求解出的最终变换矩阵；若否，向迭代子单元801发送迭代通知。

优选地，第二约束条件具体为：平滑性约束函数与预设平滑性约束权重的乘积、所述距离约束函数、以及关键点约束函数与预设关键点约束权重的乘积三者之和最小。

进一步，第二约束条件还可包括：关键点邻域不等式约束。优选地，关键点邻域不等式约束具体可以为：关键点邻域内的点距该关键点的距离越远，约束越小。

较优地，迭代子单元801接收到迭代通知后，对上次迭代的变换数据和目标3D图像数据的对应点进行筛选后，基于第二约束条件计算上次迭代的变换数据到目标3D图像数据的变换矩阵，并发送单次迭代完成通知。

其中，筛选原则包括但不限于如下至少一个：

对对应点间的距离大于设定距离值的对应点进行拒绝；

对对应点的法线方向间的夹角大于设定角度值的对应点进行拒绝；

对目标3D图像数据中为边界点的对应点进行拒绝。

进一步，迭代子单元801还可以在对上次迭代的变换数据和目标3D图像数据的对应点进行筛选前，根据如下至少一种方法，对变换数据与目标3D图像数据的对应点进行估计：最近临点估计方法、法线向量射击方法、反投影方法。

本发明的注册装置中的各单元和子单元的功能及其实现方式，可参考上述注册方法中各步骤所述的内容，此处不再赘述。

综上所述，本发明的技术方案中，在进行3D图像数据的注册时，对源3D图像数据和目标3D图像数据基于关键点进行刚性对齐后，再进行非刚性对齐，使得源3D图像数据和目标3D图像数据的关键点很好地对应上，并得到一个较好的初始变换；之后，基于得到的较好的初始变换，再行迭代计算求解出变换矩阵，根据迭代计算出的变换矩阵完成源3D图像数据到目标3D图像数据的3D注册。从而，本发明的方法得到的变换矩阵可以将源3D图像数据更为贴切、平滑、吻合度更高地对应到目标3D图像数据，从而提高3D图像注册时的注册精度，使得注册结果更为平滑，注册结果与目标数据更为吻合。

进一步，本发明的技术方案中，还可以对目标3D图像数据中标注的关键点进行位置优化，提高关键点的精度，进而有利于提高注册精度；而且，本发明在迭代计算求解变换矩阵时，在关键点单点约束的基础上，增加了关键点领域不等式约束，使得距离关键点越远的邻域点，其变换与关键点变换的依赖关系就越弱，从而进一步提高了注册精度，使得注册结果更为平滑，注册结果与目标数据更为吻合。

本技术领域技术人员可以理解，本发明包括涉及用于执行本申请中所述操作中的一项或多项的设备。这些设备可以为所需的目的而专门设计和制造，或者也可以包括通用计算机中的已知设备。这些设备具有存储在其内的计算机程序，这些计算机程序选择性地激活或重构。这样的计算机程序可以被存储在设备(例如，计算机)可读介质中或者存储在适于存储电子指令并分别耦联到总线的任何类型的介质中，所述计算机可读介质包括但不限于任何类型的盘(包括软盘、硬盘、光盘、CD-ROM、和磁光盘)、ROM(Read-Only Memory，只读存储器)、RAM(Random Access Memory，随即存储器)、EPROM(Erasable Programmable Read-Only Memory，可擦写可编程只读存储器)、EEPROM(Electrically Erasable ProgrammableRead-Only Memory，电可擦可编程只读存储器)、闪存、磁性卡片或光线卡片。也就是，可读介质包括由设备(例如，计算机)以能够读的形式存储或传输信息的任何介质。

本技术领域技术人员可以理解，可以用计算机程序指令来实现这些结构图和/或框图和/或流图中的每个框以及这些结构图和/或框图和/或流图中的框的组合。本技术领域技术人员可以理解，可以将这些计算机程序指令提供给通用计算机、专业计算机或其他可编程数据处理方法的处理器来实现，从而通过计算机或其他可编程数据处理方法的处理器来执行本发明公开的结构图和/或框图和/或流图的框或多个框中指定的方案。

本技术领域技术人员可以理解，本发明中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地，具有本发明中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地，现有技术中的具有与本发明中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。

以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (29)

1.一种3D图像数据的注册方法，其特征在于，包括：

将源3D图像数据基于关键点与目标3D图像数据进行刚性对齐，得到第一变换数据；

将第一变换数据基于关键点与目标3D图像数据进行非刚性对齐，得到第二变换数据；

迭代计算第二变换数据到目标3D图像数据的变换矩阵；

根据所述变换矩阵完成源3D图像数据到目标3D图像数据的3D注册。

2.如权利要求1所述的方法，其特征在于，所述将第一变换数据基于关键点与目标3D图像数据进行非刚性对齐，包括：

基于第一约束条件，对第一变换数据和目标3D图像数据进行对齐；

其中，第一约束条件包括：关键点约束和平滑性约束。

3.如权利要求2所述的方法，其特征在于，第一约束条件包括：

所述平滑性约束的函数与预设权重矩阵的乘积，与所述关键点约束的函数之和最小；

其中，预设权重矩阵为对角阵，由源3D图像数据的关键点的可信度构成。

4.如权利要求3所述的方法，其特征在于，所述源3D图像数据的关键点的可信度的计算方法包括：

计算源3D图像数据与目标3D图像数据中相对应的关键点间的特征距离；

使用预设单调递减函数作用于该特征距离，得到源3D图像数据的关键点的可信度。

5.如权利要求1所述的方法，其特征在于，所述迭代计算第二变换数据到目标3D图像数据的变换矩阵，包括：

在每次迭代过程中，基于第二约束条件计算上次迭代的变换数据到目标3D图像数据的变换矩阵；

在每次迭代完成时，根据本次以及上次迭代过程中得到的变换矩阵，判断收敛条件是否满足；

若是，将本次迭代过程中计算得到的变换矩阵，作为求解出的最终变换矩阵；若否，继续下次迭代；

其中，第二约束条件包括：关键点约束和平滑性约束，以及上次迭代的变换数据和目标3D图像数据的对应点间的距离约束；

其中，首次迭代时，将第二变换数据作为所述上次迭代的变换数据。

6.如权利要求5所述的方法，其特征在于，第二约束条件包括：

所述平滑性约束的函数与预设平滑性约束权重的乘积、所述距离约束函数、以及所述关键点约束的函数与预设关键点约束权重的乘积三者之和最小。

7.如权利要求5所述的方法，其特征在于，第二约束条件还包括：

在关键点邻域不等式约束的条件下，所述平滑性约束的函数与预设平滑性约束权重的乘积、所述距离约束函数、以及所述关键点约束的函数与预设关键点约束权重的乘积三者之和最小。

8.如权利要求7所述的方法，其特征在于，所述关键点邻域不等式约束包括：

关键点邻域内的点到该关键点的距离越远，约束越小。

9.如权利要求1-8任一所述的方法，其特征在于，在所述迭代计算第二变换数据到目标3D图像数据的变换矩阵后，还包括：

对迭代计算出的变换矩阵进行平滑处理。

10.如权利要求9所述的方法，其特征在于，所述对迭代计算出的变换矩阵进行平滑处理，包括：

基于第三约束条件，对迭代计算出的变换矩阵进行平滑处理；

其中，第三约束条件包括：平滑性约束，以及第三变换数据和目标3D图像数据的对应点间的距离约束；

其中，第三变换数据是源3D图像数据经迭代计算出的变换矩阵变换后的图像数据。

11.如权利要求1-8任一所述的方法，其特征在于，在所述进行刚性对齐前，还包括：

对目标3D图像数据中标注的关键点进行位置优化。

12.如权利要求11所述的方法，其特征在于，所述对所述目标3D图像数据中标注的关键点进行位置优化，包括：

对源3D图像数据和目标3D图像数据的关键点进行特征提取；

根据提取的特征，对目标3D图像数据中标注的关键点进行位置优化；

其中，提取的特征包括如下至少一种特征：颜色特征和几何特征。

13.如权利要求12所述的方法，其特征在于，所述对目标3D图像数据中标注的关键点进行位置优化，包括：

在目标3D图像数据的关键点的邻域内，确定与源3D图像数据对应关键点间的特征距离最近的点；

将确定出的点的位置作为优化后的目标数据的关键点的位置。

14.如权利要求5所述的方法，其特征在于，在所述基于第二约束条件计算上次迭代的变换数据到目标3D图像数据的变换矩阵前，还包括：

对上次迭代的变换数据和目标3D图像数据的对应点进行筛选。

15.如权利要求14所述的方法，其特征在于，所述对上次迭代的变换数据和目标3D图像数据的对应点进行筛选，包括：

根据如下至少一个筛选原则，对上次迭代的变换数据和目标3D图像数据的对应点进行筛选：

对对应点间的距离大于设定距离值的对应点进行拒绝；

对对应点的法线方向间的夹角大于设定角度值的对应点进行拒绝；

对目标3D图像数据中为边界点的对应点进行拒绝。

16.如权利要求15所述的方法，其特征在于，在所述对上次迭代的变换数据和目标3D图像数据的对应点进行筛选前，还包括：

根据如下至少一种方法，对上次迭代的变换数据与目标3D图像数据的对应点进行估计：

最近临点估计方法、法线向量射击方法、反投影方法。

17.一种3D图像数据的注册装置，其特征在于，包括：

刚性对齐单元，用于将源3D图像数据基于关键点与目标3D图像数据进行刚性对齐，得到第一变换数据；

非刚性对齐单元，用于将第一变换数据基于关键点与目标3D图像数据进行非刚性对齐，得到第二变换数据；输出迭代通知和第二变换数据；

变换矩阵计算单元，用于接收到所述迭代通知后，迭代计算第二变换数据到目标3D图像数据的变换矩阵；并根据计算出的变换矩阵完成源3D图像数据到目标3D图像数据的3D注册。

18.如权利要求17所述的装置，其特征在于，

所述非刚性对齐单元具体用于基于第一约束条件，将所述刚性对齐单元输出的第一变换数据和目标3D图像数据进行对齐；其中，第一约束条件包括：关键点约束和平滑性约束。

19.如权利要求18所述的装置，其特征在于，第一约束条件包括：

所述平滑性约束的函数与预设权重矩阵的乘积，与所述关键点约束的函数之和最小；其中，预设权重矩阵为对角阵，由源3D图像数据的关键点的可信度构成。

20.如权利要求19所述的装置，其特征在于，还包括：

关键点可信度计算单元，用于计算源3D图像数据与目标3D图像数据中相对应的关键点间的特征距离；使用预设单调递减函数作用于该特征距离，得到源3D图像数据的关键点的可信度。

21.如权利要求17所述的装置，其特征在于，所述变换矩阵计算单元包括：

迭代子单元，用于接收到迭代通知后，进行一次迭代计算：基于第二约束条件计算上次迭代的变换数据到目标3D图像数据的变换矩阵；之后发送单次迭代完成通知；其中，第二约束条件包括：关键点约束和平滑性约束，以及上次迭代的变换数据和目标3D图像数据的对应点间的距离约束；首次迭代时，将第二变换数据作为所述上次迭代的变换数据；

终止判断子单元，用于在接收到单次迭代完成通知时，根据本次以及上次迭代过程中得到的变换矩阵，判断收敛条件是否满足；若是，将本次迭代过程中计算得到的变换矩阵，作为求解出的最终变换矩阵；若否，向所述迭代子单元发送迭代通知。

22.如权利要求21所述的装置，其特征在于，第二约束条件包括：

所述平滑性约束的函数与预设平滑性约束权重的乘积、所述距离约束函数、以及所述关键点约束的函数与预设关键点约束权重的乘积三者之和最小。

23.如权利要求21所述的装置，其特征在于，第二约束条件还包括：在关键点邻域不等式约束的条件下，所述平滑性约束的函数与预设平滑性约束权重的乘积、所述距离约束函数、以及所述关键点约束的函数与预设关键点约束权重的乘积三者之和最小。

24.如权利要求23所述的方法，其特征在于，所述关键点邻域不等式约束具体为：关键点邻域内的点距该关键点的距离越远，约束越小。

25.如权利要求17-24任一所述的装置，其特征在于，还包括：

平滑处理单元，用于对所述变换矩阵计算单元迭代计算出的变换矩阵进行平滑处理。

26.如权利要求25所述的装置，其特征在于，

所述平滑处理单元具体用于基于第三约束条件，对所述变换矩阵计算单元迭代计算出的变换矩阵进行平滑处理；

其中，第三约束条件包括：平滑性约束，以及第三变换数据和目标3D图像数据的对应点间的距离约束；

其中，第三变换数据指的是源3D图像数据经迭代计算出的变换矩阵变换后的源3D图像数据。

27.如权利要求17-24任一所述的装置，其特征在于，还包括：

关键点位置优化单元，用于对目标3D图像数据中标注的关键点进行位置优化。

28.如权利要求27所述的装置，其特征在于，所述关键点位置优化单元具体包括：

特征提取子单元，用于对源3D图像数据和目标3D图像数据的关键点进行特征提取；其中，提取的特征包括如下至少一种特征：颜色特征和几何特征；

位置优化子单元，用于根据所述特征提取子单元提取的特征，对目标3D图像数据中标注的关键点进行位置优化。

29.如权利要求28所述的装置，其特征在于，

所述位置优化子单元具体用于在目标3D图像数据的关键点的邻域内，确定与源3D图像数据对应关键点间的特征距离最近的点；将确定出的点的位置作为优化后的目标数据的关键点的位置。