CN112308895B - 一种构建真实感牙列模型的方法 - Google Patents

Abstract

本发明提供了一种构建真实感牙列模型的方法，属于口腔医学领域。该方法包括：(1)获取三维牙模和至少三张口内照；所述口内照均为口腔的彩色照片；(2)利用三维牙模和口内照获得每张口内照对应的最优相机姿态；(3)根据每张口内照对应的最优相机姿态将各个口内照映射到三维牙模上，并找到三维牙模上的纹理接缝，然后消除纹理接缝，得到真实感牙列模型。本发明方法使用少量且简单的人工操作即可半自动地构建出带有真实图像纹理的彩色牙列模型，并且牙模上的纹理图像没有明显扭曲、错位和接缝，可以获得较好的仿真效果；利用本发明方法在牙齿美学修复等口腔医疗辅助***中提高了牙模的仿真效果，减少了人工干预。

Description

一种构建真实感牙列模型的方法

技术领域

本发明属于口腔医学领域，具体涉及一种构建真实感牙列模型的方法。

背景技术

随着口腔医学的发展，人们对数字化技术的要求越来越高。其中，更高要求的数据化显示和仿真效果是目前的重点研究之一。在牙齿美学修复中，牙色至关重要。已有的研究发现，牙色是影响患者对牙齿美学修复结果的重要因素之一。许多患者表示他们对数字修复体上有真实感纹理十分感兴趣。要想获取带有真实感色彩的牙列模型，一种方法是通过价格昂贵的口内扫描仪直接获得，很明显这种方法代价太高，会增加口腔医疗机构的运营成本。而且大多数厂家的口内扫描仪获得的带有彩色纹理的牙列模型，只能在自家的软件***中使用，封闭性太高。而另一种方法就是通过计算机辅助技术和计算机图形学的一些有效方法，使用成本较低廉的设备即可轻松获得真实感彩色牙列模型。

在计算机图形学中,将多张照片覆盖到3D模型上，获得真实感模型的方法一直受到人们的关注，一般方法主要包括2D/3D配准、投影纹理映射和纹理融合三个部分。估计3D物体与其2D投影之间的相对姿势是计算机视觉和医学成像中2D/3D配准的基本问题。而建立2D和3D点之间的对应关系并非易事,尽管在3D点云之间或在2D图像之间进行特征提取和匹配是相当成熟的技术，但由于2D投影中3D几何属性的丢失，在匹配2D和3D特征时会非常困难,容易造成失真，闭塞等问题。例如，3D模型上的特征通常会探索对象的3D几何体，这在2D投影中会丢失，而2D图像上的特征通常利用图像纹理，这些图像纹理要么在3D模型中不可用，要么在2D投影中严重失真。而在构建真实感三维模型的过程中，找到3D物体与其2D投影之间的相对姿势，也就是计算成像相机的内参和外参。这样根据相机的内参和外参计算透视投影变换矩阵，获得二维纹理坐标，在2D纹理图像与3D模型之间建立映射关系，将颜色信息从图像传输到3D模型。

在构建真实感牙模方面，已经有相关工作人员做了针对性研究。但是目前的研究主要存在以下几个问题：

第一个问题是在满足仿真效果的前提下，怎样尽可能少的使用人工交互。传统构建真实感牙列模型用的方法是先调整合适的相机视图，然后人工选取特征点进行配准。这种方法需要标注大量特征点，操作过程较繁琐，而且对人员专业技能要求较高，标记点的精度直接影响最后的配准精度，若标记点没有精准对应，那么最后得到的映射结果就会有明显错位。

第二个问题是2D口内照与3D牙列模型在特征有限的情况下如何进行多模态数据配准。与规则建筑物或其他拥有完整轮廓的物体不同，牙列模型包括软组织和骨骼两个部分，在基于多视图的2D/3D配准过程中，2D牙模投影图像与口内照的点、轮廓、形状等相似特征太少，无法通过单一特征进行特征匹配或计算相似性测度实现全自动的配准，这将增加多模态数据的配准难度。

第三个问题是多张照片进行投影纹理映射时，会出现明显接缝，影响仿真效果。因为不同角度拍摄的口内照，其光照条件、色彩、对比度、亮度等特征有很大差别，所以在口内照与牙模纹理坐标对应的情况下，相邻纹理之间会存在明显接缝，这严重影响最终仿真效果。

发明内容

本发明的目的在于解决上述现有技术中存在的难题，提供一种构建真实感牙列模型的方法，提高牙齿模型的仿真效果。

本发明是通过以下技术方案实现的：

一种构建真实感牙列模型的方法，所述方法包括：

(1)获取三维牙模和至少三张口内照；所述口内照均为口腔的彩色照片；

(2)利用三维牙模和口内照获得每张口内照对应的最优相机姿态；

(3)根据每张口内照对应的最优相机姿态将各个口内照映射到三维牙模上，并找到三维牙模上的纹理接缝，然后消除纹理接缝，得到真实感牙列模型。

所述步骤(1)的操作包括：

获取牙齿石膏模型，扫描所述牙齿石膏模型获得三维牙模；

分别从右侧、正前方、左侧拍摄患者口腔得到3张口内照，分别为：右侧位像P_R、正位像P_F和左侧位像P_L。

所述步骤(2)的操作包括：

针对每张口内照进行以下处理：

在该口内照和三维牙模上的同名牙齿上做标记点，分别得到该口内照和三维牙模的标记点点集；每个标记点点集中包括至少三个标记点；

针对该口内照，对三维牙模进行投影采样获得该口内照对应的所有投影图像，三维牙模上的标记点被透视投影变换到每个投影图像上，作为该投影图像上的标记点；

获取该口内照和与其对应的各个投影图像上的目标点点集；

根据目标点点集计算得到该口内照对应的最优相机姿态。

所述针对该口内照，对三维牙模进行透视投影采样获得该口内照对应的所有投影图像的操作包括：

A1，将相机从原始位置分别绕X轴、Y轴旋转到该口内照对应的初始位置；所述原始位置是指：将三维牙模的中心点与世界坐标系的原点重合，且世界坐标系的Z轴指向三维牙模的正前方；相机位于三维牙模的正前方，将相机的焦点设在三维牙模的中心点，三维牙模上的牙列关于z轴对称，且相机所在的平面与Z轴垂直，相机的投影方向位于Z轴上；以原点为圆心，以原始位置时相机与Z轴的交点到原点的距离为半径绘制球面，将该球面作为旋转球面；相机绕X轴、Y轴旋转时，相机的投影方向始终指向相机的焦点，且相机到焦点的距离保持不变；绕X轴、Y轴旋转均是在所述旋转球面上移动相机；所述初始位置包括绕X轴旋转的初始角度和绕Y轴旋转的初始角度；

A2，将相机绕X轴、Y轴旋转获得该口内照对应的所有投影图像：将相机绕X轴旋转θ_x、绕Y轴旋转θ_y,得到三维牙模在相机旋转角分别为θ_x和θ_y的视图平面上的投影图像；θ_x∈[α,β]，

其中，θ为相机的旋转步长，s为相机的旋转周期；

针对所述右侧位像P_R：

θ_x∈[α,β]，其中，

其中，

其中，α为采集右侧位像对应的投影图像时相机绕X轴旋转的初始角度；

为采集右侧位像对应的投影图像时相机绕Y轴旋转的初始角度；

采集右侧位像对应的投影图像时，相机的旋转角度为：

其中，m_R∈(0，s]；

其中，n_R∈(0，s]；

其中m_R表示采集右侧位像对应的投影图像时相机绕X轴的旋转次数，n_R表示采集右侧位像对应的投影图像时相机绕Y轴的旋转次数；最后得到右侧位像对应的s*s个不同角度的投影图像；

针对所述正位像P_F：

θ_x∈[α,β]，其中，

其中，

其中，α为采集正位像对应的投影图像时相机绕X轴旋转的初始角度；

为采集正位像对应的投影图像时相机绕Y轴旋转的初始角度；

采集正位像对应的投影图像时，相机的旋转角度为：

其中，m_F∈(0，s]；

其中，n_F∈(0，s]；

其中，m_F表示采集正位像对应的投影图像时相机绕X轴的旋转次数，n_F表示采集正位像对应的投影图像时相机绕Y轴的旋转次数；最后得到正位像对应的s*s个不同角度的投影图像；

针对所述左侧位像P_L：

θ_x∈[α,β]，其中，

其中，

其中，α为采集左侧位像对应的投影图像时相机绕X轴旋转的初始角度；

为采集左侧位像对应的投影图像时相机绕Y轴旋转的初始角度；

采集左侧位像对应的投影图像时，相机的旋转角度为：

其中，m_L∈(0，s]，

其中，n_L∈(0，s]

其中m_L表示采集左侧位像对应的投影图像时相机绕X轴的旋转次数，n_L表示采集左侧位像对应的投影图像时相机绕Y轴的旋转次数；最后得到左侧位像对应的s*s个不同角度的投影图像；

所述将相机绕X轴旋转θ_x、绕Y轴旋转θ_y是这样实现的：

将位于原始位置的相机先沿所述旋转球面与YZ平面的相交线移动到与XZ平面的夹角呈θ_x的角度处，然后沿X轴所在的且与XZ平面的夹角呈θ_x的平面与所述旋转球面的相交线移动到与YZ平面的夹角呈θ_y的角度处；

或者，将位于原始位置的相机先沿所述旋转球面与XZ平面的相交线移动到与YZ平面的夹角呈θ_y的角度处，然后沿Y轴所在的且与YZ平面的夹角呈θ_y的平面与所述旋转球面的相交线移动到与XZ平面的夹角呈θ_x的角度处。

优选的，所述获取该口内照和与其对应的各个投影图像上的目标点点集的操作包括:

对该口内照和与其对应的各个投影图像分别进行以下处理：

进行二值化处理，并获得二值化处理后的图像上的所有特征点，将这些特征点组成点集B＝{b₁,b₂,b₃,…,b_g}；

对点集B进行分组得到多个子点集B_i＝{b_i,b_i+1,b_i+2,…,b_j}；

找出每个子点集B_i中的y值最小的点作为该子点集的特征点b′_n，所有子点集B_i的特征点b′_n组成点集B′；

在点集B′中找出位于每个标记点左侧且与该标记点距离最小的点，即牙与牙的邻接处拐点，所有牙与牙的邻接处拐点组成目标点点集。

优选的，所述对点集B进行分组得到多个子点集B_i＝{b_i,b_i+1,b_i+2,…,b_j}的操作包括：

从点集B中的第一个点开始向后搜索，与点集B中的第一个点的欧式距离小于D的放入一组中，直到与第一个点的欧式距离大于或等于D时，第一组划分完成，该组内的点构成第一个子点集；

以与前一组的第一个点的欧氏距离大于或等于D的点为新的起始点开始向后搜索，与新的起始点的欧式距离小于D的放入一组中，直到与新的起始点的欧式距离大于或等于D时，该组划分完成，该组内的点构成一个子点集；

以此类推，得到多个子点集B_i＝{b_i,b_i+1,b_i+2,…,b_j}；

所述D表示去除的边界长度，D为L/p,其中，L表示二值化图像中整体牙列的水平长度，p表示将牙齿水平分割的片段个数，30<p<40。

优选的，所述在点集B′中找出位于每个标记点左侧且与该标记点距离最小的点的操作包括：

针对每个标记点，进行以下处理：

遍历点集B′中各个点的x坐标值，找到x坐标值小于该标记点的x坐标值的所有点，然后计算出这些点与该标记点的距离；

找出这些距离中的最小值，该最小值对应的点即为位于该标记点左侧且与其距离最小的点。

所述根据目标点点集计算得到该口内照对应的最优相机姿态的操作包括：

根据该口内照和各个投影图像上的目标点点集，计算出该口内照的仿射变换矩阵N，然后对该口内照进行仿射变换得到该口内照的经过仿射变换后的图像；

提取该口内照的经过仿射变换后的图像的轮廓contour(a)，同时提取对应该口内照的每个投影图像的二值化图像的轮廓contour(b)；

根据contour(a)和contour(b)计算得到最大相似性测度：

针对右侧位像P_R，采用下式计算得到最大相似性测度：

针对正位像P_F，采用下式计算得到最大相似性测度：

针对左侧位像P_L，采用下式计算得到最大相似性测度：

其中，k表示一个常数，C_R，C_F，C_L分别表示P_R，P_F，P_L对应的最大相似性测度；p_i是轮廓contour(a)上的点，坐标为(x_i，y_i)。p_i′是轮廓contour(b)上与p_i距离最近的点，坐标为(x_i′，y_i′)；

C_R对应的相机的旋转角度θ_x、θ_y即为右侧位像的最优相机姿态，C_F对应的相机的旋转角度θ_x、θ_y即为正位像的最优相机姿态，C_L对应的相机的旋转角度θ_x、θ_y即为右侧位像的最优相机姿态。

所述步骤(3)的操作包括：

(31)初始投影纹理映射：将三维牙模划分为3个区域，分别为右侧区域、中间区域和左侧区域；利用所述右侧位像的最优相机姿态将右侧位像映射到三维牙模的右侧区域，利用所述正位像的最优相机姿态将正位像映射到三维牙模的中间区域，利用所述左侧位像的最优相机姿态将左侧位像映射到三维牙模的左侧区域，得到初始投影纹理映射；在所述初始投影纹理映射中，右侧区域与中间区域的连接处、中间区域与左侧区域的连接处有纹理接缝；

(32)查找纹理接缝：从步骤(31)得到的初始投影纹理映射中找到各个纹理接缝；

(33)对每个纹理接缝两边的图像进行融合，消除三维牙模上明显的接缝，得到真实感牙列模型。

所述步骤(33)的操作包括：

将三维牙模上的纹理接缝L分别透视投影到形成该纹理接缝的两个位像上，得到投影L′和L″；

以L′的顶点为基准，将L′上的其它点以及每个点的左、右两边q个像素水平移动，使得L′上的其它点与L′的顶点的竖直方向对齐，得到图像G₁；

以L″的顶点为基准，将L″上的其它点以及每个点的左、右两边q个像素水平移动，使得L″上的其它点与L″的顶点的竖直方向对齐，得到图像G₂；

将图像G₁和图像G₂进行融合得到图像G；

将图像G分别插回到形成该纹理接缝的两个位像中的图像G₁、图像G₂的位置处，得到更新后的两个位像；

利用两个位像分别对应的最优相机姿态将更新后的两个位像分别映射到三维牙模对应的区域上。

与现有技术相比，本发明的有益效果是：本发明方法使用少量且简单的人工操作即可半自动地构建出带有真实图像纹理的彩色牙列模型，并且牙模上的纹理图像没有明显扭曲、错位和接缝，可以获得较好的仿真效果；利用本发明方法在牙齿美学修复等口腔医疗辅助***中可以提高牙模的仿真效果，减少人工干预，提高医师和患者、医师和技师的交流效率和认知程度。

附图说明

图1本发明方法的步骤框图。

图2本发明方法中的基于多特征2D/3D配准方法的步骤框图。

图3本发明方法中的投影采样的示意图。

图4(a)是投影图像；

图4(b)是投影图像的二值化图像；

图4(c)是口内右侧位像；

图4(d)是口内右侧位像对应的二值化图像；图中实心圆点是标记点，空心圆点是ORB检测出的点，实心三角点是查找到的目标点。

图5两个二值化图像根据特征点对齐后的轮廓信息

图6本发明方法中的纹理融合步骤的流程框图。

图7三维牙模快速分割得到与口内照对应的三个映射区域的示意图。

图8(a)三维牙模上的接缝L。

图8(b)三维接缝L在口内右侧位像上的投影L’。

图8(c)三维接缝L在口内正位像上的投影L”。

图9(a)图像G₁

图9(b)图像G₂

图9(c)遮罩图像

图10(a)本发明实施例中的第一位男性志愿者的初始纹理映射结果的左视图

图10(b)本发明实施例中的第一位男性志愿者的初始纹理映射结果的正视图

图10(c)本发明实施例中的第一位男性志愿者的初始纹理映射结果的右视图

图11(a)本发明实施例中的第一位男性志愿者的纹理映射结果的左视图

图11(b)本发明实施例中的第一位男性志愿者的纹理映射结果的正视图

图11(c)本发明实施例中的第一位男性志愿者的纹理映射结果的右视图

图12本发明实施例中的实验结果。

具体实施方式

下面结合附图对本发明作进一步详细描述：

本发明基于牙冠上能找到的清晰拐点和局部轮廓特征，提供了一种基于牙齿多特征构建真实感牙列模型的方法，基于牙齿上的点和轮廓特征的2D/3D配准方法和纹理融合将多张口内照精准映射到3D牙模上，获得带有真实图像纹理的彩色牙列模型，提高牙列模型在口腔医疗辅助***中的仿真效果。

本发明的基本思路是先找到与拍摄的口内照对应的最优相机姿态，然后再通过投影纹理映射将口内照映射到三维牙模上。

不管是基于投影的2D/3D配准方法，还是投影纹理映射技术，其基本原理都是经典的针孔相机模型(可参考文献“Sturm P.Pinhole Camera Model[M].2014.”)。在齐次坐标下，物体的物理坐标是[x,y,z,1]′的形式,投影图像上对应点的坐标是[u,v,1]′的形式，所以相机矩阵P作为把物体映射成像的矩阵，应该是一个3×4的矩阵。因此，摄像机矩阵可以表示为如下形式：

P＝[M|-MC] 公式(1)

其中，M代表的是可逆的3×3的矩阵，C是列向量，代表世界坐标系中相机的位置。其投影矩阵可以分解为：

P＝K[R|-RC]＝K[R|T] 公式(2)

2D/3D配准过程和投影纹理映射过程，都假定相机内参K和外参T固定不变，只改变相机外参的旋转矩阵R。而相机的旋转又包含3个自由度，也就是绕X,Y,Z轴的旋转，这里改变相机在世界坐标系中绕X轴和Y轴的旋转。至于剩下的Z轴的旋转，将在2D图像对齐中旋转缩放彩色图像，使投影与彩色图像对齐。这样，要解决的问题就成了单目标优化问题：

其中θ_x是相机在世界坐标系中绕X轴旋转角度，θ_y是相机在世界坐标系中绕Y轴旋转角度。F(θ_x,θ_y)是相机在世界坐标系中绕X轴旋转θ_x和绕Y轴旋转θ_y对应的采样投影图像与口内照的相似性测度。

这样通过单目标优化算法计算获得最优相机姿态，根据最优相机姿态对应的透视投影变换矩阵算出纹理映射坐标(u，v)，最终实现与口内照对齐的投影纹理映射。

投影纹理映射是已经很成熟的技术，本发明中不再赘述，简介如下：基于针孔相机模型，有了相机最优姿态即可计算出投影纹理映射对应的旋转矩阵，数学公式如下：

其中,n为旋转轴，θ为旋转角。

本发明提出的构建真实感牙列模型方法如图1所示，包括：

(1)获取牙齿光学扫描数据和口内彩色照片数据：使用光学扫描仪扫描牙齿石膏模型获得牙列三角网格模型(即牙齿光学扫描数据)，使用普通单反相机拍摄3张患者口内照，口内照均为彩色照片(即口内彩色照片数据)；

(2)基于多特征2D/3D配准：根据牙齿图像上的点和局部轮廓特征，基于多特征2D/3D配准方法计算获得3张口内照分别对应的最优相机姿态，具体包括：

(21)投影采样；

(22)基于牙齿特征点的2D图像对齐；

(23)基于牙冠局部轮廓计算获得最优相机姿态。

(3)纹理融合：找到纹理接缝并且消除三维牙模上明显的接缝，具体包括：

(31)初始投影纹理映射：根据步骤(2)得到的最优相机姿态进行初始投影纹理映射；

(32)查找纹理接缝：从步骤(31)得到的初始投影纹理映射中查找纹理接缝；

(33)基于图像金字塔的纹理融合：通过使用基于图像金字塔的图像融合方法对纹理接缝两边的图像进行融合，消除三维牙模上明显的接缝，得到真实感牙列模型。

通过上述步骤即可构建出无扭曲、错位，无明显接缝的真实感牙列模型。

各个步骤的具体实施方式如下：

所述步骤(1)具体如下：

采用现有技术获得用户的牙齿石膏模型，然后扫描所述牙齿石膏模型获得牙列三角网格模型(下面简称为三维牙模)，所述三角网格模型即为牙齿光学扫描数据。

使用普通单反相机(或其它拍照设备)分别从右侧、正前方、左侧拍摄患者口腔得到3张口内照，分别为：右侧位像P_R、正位像P_F和左侧位像P_L，通过这3张图像即可较完整地获取患者牙冠唇面和颊面纹理。拍摄3张口内照的原因如下：首先，如果仅仅拍摄1张口内照是一定无法获得完整的牙列纹理信息的，因为牙冠之间存在明显遮挡；其次，若只拍摄口腔内右侧位像和左侧位像，那么在纹理映射时，上切牙和侧切牙的纹理图像会不完整，所以至少需要拍摄3张口内照，实际使用时，可以根据实际需求拍摄多于3张的口内照。

所述步骤(2)具体如下：

步骤(2)的原理如下：本发明主要研究内容是基于成人牙齿的，而大多数成人的牙齿都具有相似的结构特征，例如每个人的牙齿排列方式相似、同名牙齿的大小形状相似等等，所以根据普遍存在的成人牙齿特征，无需进行全局搜索，只要在一定范围进行局部旋转搜索即可，这样做的好处是避免全局搜索，节省开销。所以这里为θ_x和θ_y设置旋转搜索范围，令θ_x∈[α,β],

在这个范围内，通过相机旋转搜索，找到最大相似性测度的投影图像，就找到了投影纹理映射的最优相机姿态θ_x和θ_y。

2D/3D配准的关键是计算二维口内照和三维牙模的投影图像的相似性测度，通过旋转相机搜索与口内照最相似的投影图像，计算得到口内照对应的相机投影姿态。具体的，首先在三维牙模和单张口内照上人工点选标记3对牙齿(每一对牙齿是位于三维牙模和单张口内照上的同名牙齿)，通过对口内照和投影图像进行二值化处理，得到具有清晰牙尖轮廓特征的二值化图像，然后通过ORB(Oriented FAST and Rotated BRIEF)ORB快速特征点提取算法(请参考文献“Xuebing B,Jin C,Xiaokai M U,et al.Improved feature pointsmatching algorithm based on speed-up robust feature and oriented fast androtated brief[J].Journal of Computer Applications,2016”)计算获得牙冠二值化图像上的明显拐点，并对这些点进行过滤，保留关键点。接下来根据3对人工标记点查找两张二值化图像上的临近拐点，基于这3对拐点对口内照进行仿射变换，使其与投影图像对齐。对齐后通过经典的轮廓提取算法(请参考文献“Suzuki S,Be K.Topological structuralanalysis of digitized binary images by border following[J].Computer VisionGraphics and Image Processing,1985,30(1):32-46”)分别提取对齐后两图像上外包围轮廓，也就是牙尖轮廓，并计算两轮廓点集之间的欧式距离D，进而计算出两图像的相似性测量C。相机分别绕X轴旋转m次和绕Y轴旋转n次，搜索与口内照最相似的投影图像，获得单张口内照对应的最优相机投影姿态。3张口内照分别重复以上步骤即可。

所述步骤(2)具体实施方式包括：

(21)投影采样；

在一般的三维处理***中，每一个三维物体都有自己的中心点，该中心点的坐标可以代表该三维物体的位置坐标，这是三维模型的默认属性，改变中心点的位置就是改变三维模型的位置。投影采样是获得三维牙模在相机旋转角分别为θ_x和θ_y的视图平面上的投影图像，投影采样是为计算最优相机姿态做准备的。在投影采样步骤中，首先将三维牙模放在世界坐标系的原点(0,0,0)，也就是将三维牙模的中心点与世界坐标系的原点(0,0,0)重合，然后将相机的焦点设在三维牙模的中心点，通过改变相机绕X轴和Y轴的旋转角度来获得多个采样图像。

如图3所示，在世界坐标系中，三维牙模1的中心点、相机的焦点都在坐标系原点(0,0,0)上，且Z轴指向的是三维牙模的正前方，三维牙模上的牙列关于z轴对称，即两个门牙分别位于Z轴的两侧。相机的原始位置在三维牙模1的正前方，相机与三维牙模之间的距离由用户自行定义，只要能够在视图窗口上获得完整的牙模投影即可。

在进行投影采样之前，相机的原始位置是：相机所在的平面与Z轴垂直，相机的投影方向位于Z轴上，此时以坐标系原点(0,0,0)为圆心，以相机与Z轴的交点到原点的距离为半径绘制球面，将该球面作为旋转球面。在投影采样的旋转过程中，相机的投影方向始终指向相机的焦点，也就是三维牙模1的中心点，且相机到焦点的距离保持不变(即相机的内参不变)。绕X轴旋转和绕Y轴旋转均是在所述旋转球面上移动相机，这样不管移动到哪里，由于相机始终位于旋转球面上，所以相机的焦点能够始终保持在原点。相机绕X轴旋转相当于调整了俯仰角度，绕Y轴旋转相当于调整了左右角度。

而且，针对三个左、正、右位像分别采集投影图像时使用的是同一个相机，针对不同的位像，是将相机从原始位置旋转到对应各个位像的初始位置处，所述初始位置包括绕X轴旋转的初始角度和绕Y轴旋转的初始角度，针对不同的位像，相机绕X轴旋转的初始角度是相同的，但是绕Y轴旋转的初始角度是不同的，这样就能够分别采集左侧位像、正位相和右侧位像对应的多个投影图像。

相机分别绕X轴、Y轴旋转θ_x和θ_y，获得投影图像2，图3中的投影图像对应的旋转角为θ_x＝3，θ_y＝12(单位是度)。根据患者口内照可能存在的情况，分别让相机绕X轴和Y轴旋转θ_x和θ_y，其中θ_x∈[α,β],

这些区间包含口内照在拍摄时所有可能的相机姿态。根据不同的旋转角，利用上述的公式(2)计算相应的透视投影变换矩阵，将三维牙模1透视投影变换到相机视图平面上，即得到投影图像2，完成一次投影采样。

相机分别绕X轴旋转θ_x、绕Y轴旋转θ_y具体如下：

将位于原始位置的相机先沿所述旋转球面与YZ平面的相交线移动到与XZ平面的夹角呈θ_x的角度处，然后沿X轴所在的且与XZ平面的夹角呈θ_x的平面与所述旋转球面的相交线移动到与YZ平面的夹角呈θ_y的角度处；

或者，将位于原始位置的相机先沿所述旋转球面与XZ平面的相交线移动到与YZ平面的夹角呈θ_y的角度处，然后沿Y轴所在的且与YZ平面的夹角呈θ_y的平面与所述旋转球面的相交线移动到与XZ平面的夹角呈θ_x的角度处。

具体的，为相机旋转设置一个固定的步长θ(单位是度)和周期s,通过改变旋转次数(即后边提到的m,n)来改变相机的旋转角。令相机绕X轴的旋转次数为m，绕Y轴的旋转次数为n。周期s是自然数，且是一个常数，代表了最大旋转次数，即旋转的总次数。θ×s表示的是前面提到的两个范围

的长度：

理论上，θ越小，s越大，计算精度越高。在后边的实验中取θ＝1，s＝40，即每次旋转1度，一共旋转40次，即40度。

实际使用时，可以先绕X轴旋转第一个角度，然后绕Y轴旋转所有角度，即相当于相机在X轴所在的且与XZ平面(X轴与Z轴构成的平面)呈θ_x角度的平面与所述旋转球面的相交线上从

移动到ω，每次移动θ；然后再绕X轴旋转第二个角度(第二角度与第一角度相差θ)，再绕Y轴旋转所有的角度，以此类推。也可以先绕Y轴旋转一个角度，然后绕X轴旋转所有角度，即相机在Y轴所在的且与YZ平面(Y轴和Z轴构成的平面)呈θ_y角度的平面与所述旋转球面的相交线上从α移动到β，每次移动θ；再绕Y轴旋转第二角度(第二角度与第一角度相差θ)，再绕X轴旋转所有的角度，以此类推。图2所示的步骤是以第一种方式为例给出的，如果采用第二种方式，只需要将X轴、Y轴以及相关的角度、旋转次数对调即可。还可以绕X轴旋转一个角度，绕Y轴旋转一个角度，再绕X轴旋转一个角度，绕Y轴旋转一个角度，只要保证绕X轴旋转s次、绕Y轴旋转s次后得到s*s个不同角度的投影图像即可。不管采用哪种方式，每个投影图像对应的相机所在的位置是以下两个相交线的交点：Y轴所在的且与YZ平面的夹角呈θ_y角度的平面与所述旋转球面的相交线、X轴所在的且与XZ平面的夹角呈θ_x角度的平面与所述旋转球面的相交线。

对于研究中的3张口内照对应的相机姿态，分别设置不同的旋转搜索范围。针对3张口内照中的右侧位像P_R，相机的旋转搜索范围是：

θ_x∈[α,β]，其中，

其中，

α为采集右侧位像对应的投影图像时相机绕X轴旋转的初始角度；

为采集右侧位像对应的投影图像时相机绕Y轴旋转的初始角度；实际使用时，可以先将位于原始位置的相机先沿所述旋转球面与XZ平面的相交线移动到与YZ平面呈

的角度处，然后沿Y轴所在的且与YZ平面的夹角呈

的平面与所述旋转球面的相交线移动到与XZ平面的夹角呈α的角度处，或者先将位于原始位置的相机先沿所述旋转球面与YZ平面的相交线移动到与XZ平面呈α的角度处，然后沿X轴所在的且与XZ平面的夹角呈α的平面与所述旋转球面的相交线移动到与YZ平面的夹角呈

的角度处，下面相对其它位像的相机的初始位置也采用类似的方法对相机进行移动。

相机的旋转角度为：

其中，m_R∈(0，s]；

其中，n_R∈(0，s]；公式(6)

其中m_R表示采集右侧位像对应的投影图像时相机绕X轴的旋转次数，n_R表示采集右侧位像对应的投影图像时相机绕Y轴的旋转次数，即旋转一个角度就得到一张右侧位像对应的投影图像，X轴、Y轴旋转完一共得到s*s个右侧位像对应的投影图像。

针对口内正位像P_F，相机的旋转搜索范围是：

θ_x∈[α,β]，其中，

其中，

α为采集正位像对应的投影图像时相机绕X轴旋转的初始角度；

为采集正位像对应的投影图像时相机绕Y轴旋转的初始角度；

相机的旋转角度为：

其中，m_F∈(0，s]；

其中m_F表示采集正位像对应的投影图像时相机绕X轴的旋转次数，n_F表示采集正位像对应的投影图像时相机绕Y轴的旋转次数，最后得到正位像对应的s*s个不同角度的投影图像；

在拍摄正位像时，实际相机是不可能绝对正对着门牙的，可能偏左一点，也可能偏右一点，那么在设置三维虚拟相机的旋转搜索范围时，需要考虑实际拍摄的所有可能。如果将旋转搜索范围的初始位置设为0，而实际拍摄的照片可能是偏左对着门牙，那么此时初始位置左边可能存在的情况就无法搜索到。所以以相机的理想位置为中心，采集正位像时在相机的上下左右各设置一定的范围，则可以包含了所有可能的情况。

针对口内左侧位像P_L，相机的旋转搜索范围是：

θ_x∈[α,β]，其中，

其中，

α为采集左侧位像对应的投影图像时相机绕X轴旋转的初始角度；

为采集左侧位像对应的投影图像时相机绕Y轴旋转的初始角度；

相机的旋转角度为：

其中，m_L∈(0，s]，

其中m_L表示采集左侧位像对应的投影图像时相机绕X轴的旋转次数，n_L表示采集左侧位像对应的投影图像时相机绕Y轴的旋转次数，最后得到左侧位像对应的s*s个不同角度的投影图像；

将实验采用的θ＝1，s＝40代入公式(6)-(8)即得到实验中投影采样的所有旋转角度。

(22)基于牙齿特征点的2D图像对齐(所述“牙齿特征点”，包括ORB快速特征点检测算法找到的二值化图像上的所有特征点，以及根据标记点找到的牙与牙的邻接处拐点，是所有特征点的统称)

标记牙齿对主要用来查找患者牙冠唇面和颊面的正视图轮廓上的牙与牙的邻接处拐点(即目标点)，如图4(a)到图4(d)(其中图4(c)的原始图为彩色照片，作为说明书附图时去掉了颜色)所示。首先在口内照和三维牙模上标记牙齿对(即分别在口内照和三维牙模上的同名牙齿上做标记点)(如图4(a)和图4(c)中的三个实心圆点所示)，分别得到两个点集A₁,A₂，每个点集包含3个点(图4(b)和图4(d)中采用实心圆点标出了标记点)。之所以使用三个点，是因为2D图像的仿射变换需要至少3个点，也可以根据需要使用更多的点。

标记完所有的标记点后，对口内照进行二值化处理(本发明中使用的是OpenCV中的threshold方法进行二值化处理，其中阈值类型为CV_THRESH_BINARY)，经过二值化处理后即去除了无用纹理颜色。然后通过所述ORB快速特征点检测算法找出二值化图像上的所有特征点(如图4(b)和图4(d)中的非整圆的空心圆点所示)组成点集B＝{b₁,b₂,b₃,…,b_g}，因为这些拐点较多，可以根据点与点之间的欧式距离D_E进行简单的分类，将近邻点放入一个子集，得到子点集B_i＝{b_i,b_i+1,b_i+2,…,b_j}。根据牙尖局部轮廓的特点，点坐标y值越小，越接近目标点。在本发明所有的图像处理中，图像坐标系的原点在图像的左上角，左下角的点坐标为x最小、y最大，右上角的点坐标为x最大、y最小。从图4(d)中可以看出，要找的牙尖轮廓上牙与牙的邻接处拐点一定是点集中y值最小的点(图4(d)中，三角形实心点是牙尖轮廓上牙与牙的邻接处拐点，非整圆的空心圆点是牙尖点)。所以可以将不同点集B_i中的y值最小点作为该点集所在像素区域的特征点b′_n，这些点组成点集B′。最后通过k-D树的最小距离搜索算法，在点集B′中找出位于每个标记点左侧且与每个标记点距离最小的点，这样三个标记点就能找到三个牙冠唇面和颊面的正视图轮廓上的牙与牙的邻接处拐点，分别为point₁、point₂、point₃，这三个点组成口内照上的目标点点集C₁，在图4(d)中采用实心三角点标出了三个目标点。

其中，获取子点集B_i＝{b_i,b_i+1,b_i+2,…,b_j}和B′的具体方法如下：

将B中的所有点分成组，组的长度和个数不固定，由点的个数决定。从B中的第一个点开始向后搜索，欧式距离小于D的为一组，直到当距离大于或等于D时，这一组划分完成，以当前点(就是与前面组的第一个点的欧氏距离大于或等于D的点)为新的起始点开始向后搜索，最终得到多个子点集B_i＝{b_i,b_i+1,b_i+2,…,b_j}。这里的D表示去除的边界长度，根据图像中的牙间距决定，根据测算D默认为L/p,L表示二值化图像中整体牙列的水平长度，p表示将牙齿水平分割的片段个数，30<p<40,本发明L根据二值化图像的白色区域的左右边界确定，p＝35。

将点集B划分为多个子点集B_i之后，在每一个B_i中再查找坐标y值最小的点b′_n作为子点集B_i的代表,这样可以过滤掉一大部分的无关点。每个子点集的代表点b′_n又组成点集B′。

其中，“在点集B′中找出位于标记点左侧且距离最小的点”具体如下：

遍历B′中各个点的x坐标值，找到x坐标值小于标记点的x坐标值的所有点，然后计算出各个x坐标值小于标记点的坐标x值的点与标记点的距离，找出这些距离中的最小值，该最小值对应的点即为位于标记点左侧且与其距离最小的点，这三个点组成口内照上的目标点点集C₁，

口内照上的目标点查找完后，接下来查找投影图像(就是步骤(21)中投影采样得到的一幅投影图像)上的目标点。这里要注意，投影图像上的标记点是由3D牙模上的标记点通过透视投影变换得到。然后使用上述的目标点搜索方法，得到point₁′、point₂′、point₃′，组成投影图像上的目标点点集C₂，图4(b)中采用实心三角点标出了目标点。

根据口内照和投影图像上查找到的目标点点集C₁和C₂，计算出仿射变换矩阵N，然后对口内照进行仿射变换(通过三个点计算仿射变换矩阵，并对图像进行变换是现有技术常用的方法，在此不再赘述，仿射变换可以通过OpenCV的estimateRigidTransform、warpAffine函数实现。)，经过仿射变换后口内照就与投影图像对齐了。仿射变换只对图像进行旋转、缩放和平移3个自由度进行变换，而其他保持不变，仿射变换是常用的图像变换方法，在此不再赘述。

(23)基于牙冠局部轮廓计算获得最优相机姿态

图5中的point1、point2、point3是对应标记点在二值化图像上查找到的目标点；contour(a)是根据图4(d)中的二值化图像经过仿射变换后的图像提取的轮廓(采用前面提到的经典的轮廓提取算法提取轮廓)；contour(b)是根据图4(b)中的二值化图像提取的轮廓(采用前面提到的经典的轮廓提取算法提取轮廓)；图5中的d_i,d_j表示contour(a)上一点到contour(b)的两个最近距离(本发明方法需要计算contour(a)上连续的每个点到contour(b)的每个点的最近距离。最近距离可以通过OpenCV中pointPolygonTest函数实现)。之所以使用牙尖轮廓，是因为这里使用到的两种不同源图像，其光照条件、色彩、对比度、亮度等特征有很大差别，例如投影图像与口内照的色彩完全不同，高光和阴影也完全不同，这些因素严重影响图像轮廓的提取。尽管如此，通过大量的实验对比发现，两种图像中牙列的牙尖轮廓比牙龈边缘线、牙冠临接线等特征线能较容易且准确的提取。

接下来，针对口内右侧位像的局部轮廓contour(a)，以及相机在世界坐标系中绕X轴旋转θ_x和绕Y轴旋转θ_y对应的采样投影图像的局部轮廓contour(b)，计算两个轮廓的欧氏距离均值，其公式可以写为：

其中，e，f表示contour(a)上有效点的起始序号(参考图5,对于右侧位像，两个轮廓距离最大的地方在图像的左半部分，可以截取轮廓的左半部分，同时去掉最左端可能存在的干扰轮廓，比例设置为整个轮廓的1/30，按照这一规则，e表示轮廓水平方向上L/30处的点序号，f为L/2处的点序号。根据牙列的对称性，正位像可以截取左侧也可以截取右侧，这里截取左侧即可。而左侧位像则截取右侧轮廓，其它同理)，也就是说只截取contour(a)上的一部分轮廓来计算contour(a)到contour(b)的距离，这样可以去除轮廓边缘的干扰项。p_i是contour(a)上的点，坐标为(x_i，y_i)。p_i′是contour(b)上与p_i距离最近的点，坐标为(x_i′，y_i′)。这里根据欧氏距离均值D_m,n可以计算出旋转角为θ_x和θ_y的投影图像与口内照的相似性测度值,也就是公式(3)中的F(θ_x,θ_y)。因为不同的旋转次数对应不同的角度，因此将F(θ_x,θ_y)中旋转角用旋转次数m、n表示，则右侧位像P_R的相似性测度公式可以写为：

正位像P_F对应的相似性测度公式可以写为：

左侧位像P_L对应的相似性测度公式可以写为：

将公式(10-12)分别代入公式(3)，则口内照P_R，P_F，P_L对应的最大相似性测度的计算公式可以写为：

k表示一个常数。

其中，C_R，C_F，C_L分别表示口内照P_R，P_F，P_L对应的最大相似性测度。

C_R对应的相机的旋转角度即为右侧位像的最优相机姿态，C_F对应的相机的旋转角度即为正位像的最优相机姿态，C_L对应的相机的旋转角度即为右侧位像的最优相机姿态。

图2中的流程如下：

S1，设m＝1,n＝1，在牙齿三角网格模型和单张口内彩色照片上标记牙齿对；

S2，查找口内照上的特征点：采用ORB快速特征点检测算法找到的口内照的二值化图像上的所有特征点；

S3，判断m<＝s是否成立，如果是，则转入步骤S4，如果否，则转入步骤S13；

S4，相机绕X轴旋转θ_x；

S5，判断n<＝s是否成立，如果是，则转入步骤S6，如果否，则转入步骤S11；

S6，相机绕Y轴旋转θ_y；

S7，查找投影图像上的特征点；

S8，口内照与投影图像对齐；

S9，根据轮廓计算两图像的相似性测度C；

S10，n＝n+1，然后返回S5；

S11，n＝1；

S12，m＝m+1，然后返回步骤S3；

S13，计算最大相似性测度对应的相机姿态，即为最优相机姿态；

S14，输出最优相机姿态和仿射变换矩阵，最优相机姿态和仿射变换矩阵即为2D/3D配准结果。

对每张口内彩色照片均进行图2所示的上述流程，获得每张口内彩色照片对应的最优相机姿态和仿射变换矩阵。

所述步骤(3)具体实施方式如下：步骤(3)的原理如下：

纹理融合的目的是保证三维模型上接缝两边的图像过渡自然，基本步骤可以分为三步：第一步，根据口内照对应的最优相机姿态，计算牙模不同区域的纹理坐标，找到相邻纹理之间的接缝。第二步，分别提取相邻纹理上接缝两边的图像，构建对应的拉普拉斯残差金字塔，并保留高斯金字塔下采样最顶端的图像，对各自金字塔的每一层图像进行加权合并(第二步采用的是现有的基于图像金字塔的融合方法)。第三步，将融合图像***原始图像，重建出融合纹理。对于3张不同口内照分别重复以上步骤。具体如下：

首先对三维牙模进行快速分割，将三维牙模的三角网格划分为3个区域。这样做的目的是在投影纹理映射时，只映射口内照中有完整牙齿纹理的图像信息，避免不同纹理之间产生过多的重叠，提高纹理融合效果。如图7所示，在世界坐标系中，以三维牙模的重心(与中心为同一个点)为旋转中心、垂直于xz平面放置切割平面。根据牙齿排列的一般特征，这里令分割角度ε＝60，切割平面的数量g＝2，这样分别得到左侧区域、中间区域和右侧区域。

基于步骤(2)得到的2D/3D配准结果中的不同口内照对应的最优相机姿态，通过初始投影纹理映射，将3张口内彩色照照片映射到对应的三角网格区域(即左侧位像映射到分割后的三维牙模左侧的三角网格区域上，正位像映射到分割后的三维牙模中间的三角网格区域上，右侧位像映射到分割后的三维牙模右侧的三角网格区域上)，初始投影纹理映射方法可以参考文献“Segal M,Korobkin C,Van Widenfelt R,et al.Fast shadows andlighting effects using texture mapping[J].ACM SIGGRAPH Computer Graphics,1992,26(2):249-252.”。这时三维牙模上会有明显接缝如图8(a)所示，线条表示接缝L。

图8(a)中的线条表示三维牙模上的接缝L；图8(b)中的线条表示三维接缝L在口内右侧位像上的投影L′；图8(c)中的左边的线条表示三维接缝L在口内正位像上的投影L″(采用本发明方法得到的这三幅图的原图均为彩色图，作为说明书附图时去掉了颜色)。“投影”是指将三维物体上所有点和线，通过透视变换，变换到一个平面上，该过程可以理解为三维物体向二维平面的投影。在投影纹理映射时，提取不同映射区域的外轮廓。注意，该轮廓是在相同透视投影变换矩阵的情况下，投影到二维纹理坐标系中的，当透视投影变换矩阵改变时，轮廓形状会改变。如图8(b)、图8(c)图所示，图中的线段对应接缝L在不同纹理图像上的投影L′和L″，它们的形状完全不同。

要想保证纹理接缝L两边过度自然，需要对L′左侧k列像素与L″左侧q列像素进行融合。同理，L″右侧q列像素与L′右侧q列像素进行融合(q可以根据实际需要进行设计，本实施例中设置q＝50)。然而，两直线形状完全不同，直接融合不可能使接缝过渡自然，所以在融合之前，要“拉直”L′和L″，使其变成竖直的线段。拉直的过程是以L′的顶点为准，线段上的其他点以及每个点左右两边q个像素水平移动，让线段上的其它点(即顶点以外的所有点)与顶点竖直方向对齐，得到图9(a)所述的图像G₁(是将图8(b)中的L′线段上的顶点以外的各个点以及该点左右q个像素水平移动后的得到的)和图9(b)所述的图像G₂(是将图8(c)中的L″线段上的顶点以外的各个点以及该点左右q个像素水平移动后的得到的)(采用本发明方法得到的图9(a)和图9(b)这两幅图的原图均为彩色图，作为说明书附图时去掉了颜色)所示。这样就保证了接缝两边图像的每一行像素完美对应。

提取到图像G₁、G₂后,再加上图9(c)所示的遮罩图片，通过图像金字塔来实现加权融合，得到融合后的图像G(包括了左右50列像素)。图9(c)采用现有的基于图像金字塔的融合方法中的遮罩图片即可，遮罩图片放置在G1和G2之间，对G1和G2的位置没有要求。遮罩图片可以看作是融合权重，黑色可以看作为0，白色看作为1，权重越大，上层图像保留的细节越多。基于图像金字塔的融合方法在文献“Pandey A,Pati U C.A novel technique fornon-overlapping image mosaicing based on pyramid method[C]//2013Annual IEEEIndia Conference(INDICON).IEEE,2013.”中有详细介绍，本发明不再赘述。最后将图像G分别插回原纹理图像，更新三维牙模上的纹理信息，得到没有明显接缝的真实感牙模，即将图像G分别插回右侧位像中的G1的位置处、正位像中的G2位置处，得到更新后的右侧位像和正位像，然后再进行投影纹理映射将更新后的右侧位像、正位像投影映射到三维牙模上。针对不同接缝，分别重复以上步骤，完成对所有接缝的处理。

具体流程如图6所示，包括：

输入：牙齿三角网络模型、2D/3D配准结果和3张口内彩色照片；

T1，牙模纹理分割；

T2，初始投影纹理映射；

T3，查找接缝，设t＝1；

T4，判断t<＝2(t表示三张口内照存在两条接缝，要处理两次，如果有更多的口内照，则对t设置相应的值，例如4张口内照，存在3条接缝，则t<＝3。)是否成立，如果是，则转入T5，如果否，则转入T8；

T5，分别提取接缝两边的纹理图像G₁、G₂；

T6，基于图像金字塔对同一接缝提取到的两张图像进行合并(即融合)得到合并后图像(即融合后的图像G)；

T7，将合并后图像分别插回原纹理图像中，t＝t+1，然后返回T4；

T8，更新牙模上的纹理；

T9，结束。

下面通过实验对本发明提出方法的有效性和准确性进行评估。实验所使用设备有光学扫描仪、单反相机、计算机(Intel(R)Core(TM)i7-6700HQ [email protected],内存16G,显卡Nvidia GeForce GTX 960M)。所用软件***有Windows 10操作***、VS 2017编译器、OpenCV和VTK。

实验分别对2名男性志愿者和2名女性志愿者拍摄3张口腔内彩色照片，包括口内右侧位像、正位像和左侧位像，并用光学扫描仪扫描其牙齿石膏模型获得上颌三维牙列数据。

根据本发明方法，分别对2名男性和2名女性志愿者的牙齿构建真实感牙列模型。实验结果如图12所示，图12中的牙列图的原始图为彩色照片，作为说明书附图时去掉了颜色。

从图12中的映射结果可以看出，实验针对4位志愿者构建的真实感牙列模型，其表面纹理没有明显扭曲、错位，口内照牙齿特征特别是牙龈线与三维模型完美配准，并且纹理之间无明显接缝。

图10(a)、图10(b)、图10(c)分别是第一位志愿者的初始纹理映射结果中的左视图、正视图和右视图，可以直观的看出纹理没有明显错位。图11(a)、图11(b)、图11(c)分别是第一位志愿者的更新三维牙模上的纹理信息，重新纹理映射后得到的最终纹理映射结果的中左视图、正视图和右视图(采用本发明方法得到的这六幅图的原图均为彩色图，作为说明书附图时去掉了颜色)，将图11(a)、图11(b)、图11(c)与图10(a)、图10(b)、图10(c)进行对比可以更直观的看出最终的纹理映射结果中的纹理接缝被消除，相邻纹理之间的过渡更加自然。

基于本发明方法，通过使用少量且简单的人工操作可以实现半自动构建带有真实图像纹理的彩色牙列模型，并且牙模上的纹理图像没有明显扭曲、错位和接缝，可以获得很好的仿真效果。实验证明本发明的纹理融合方法具有有效性。纹理没有明显错位相邻纹理之间的过渡更加自然。

本发明方法的特点如下：

1)针对2D牙模投影图像与口内照的点、轮廓、形状等相似特征太少的问题，使用少量且不需要特别精准的人工交互查找2D牙模投影图像与口内照上的特征拐点(即目标点集C₁、C₂)，根据特征拐点实现2D图像对齐；

2)在2D/3D配准过程中，根据2D图像配准结果，用牙齿局部轮廓的欧式距离计算2D牙模投影图像与口内照的相似性测度，并通过相机局部空间旋转搜索和单目标优化计算获得最优相机姿态。在投影纹理映射时，该方法使纹理能够很好的与牙模对齐，有较好的准确性和鲁棒性；

3)针对纹理接缝两边的图像，通过构建其对应的拉普拉斯残差金字塔，并对各自金字塔的每一层图像进行加权合并，重建出融合后纹理图像，消除了牙模上的明显接缝，构建出较完整的真实感彩色牙模。

上述技术方案只是本发明的一种实施方式，对于本领域内的技术人员而言，在本发明公开了应用方法和原理的基础上，很容易做出各种类型的改进或变形，而不仅限于本发明上述具体实施方式所描述的方法，因此前面描述的方式只是优选的，而并不具有限制性的意义。

Claims (9)

1.一种构建真实感牙列模型的方法，其特征在于：所述方法包括：

(1)获取三维牙模和至少三张口内照；所述口内照均为口腔的彩色照片；

(2)利用三维牙模和口内照获得每张口内照对应的最优相机姿态；

(3)根据每张口内照对应的最优相机姿态将各个口内照映射到三维牙模上，并找到三维牙模上的纹理接缝，然后消除纹理接缝，得到真实感牙列模型；

所述步骤(2)的操作包括：

针对每张口内照进行以下处理：

在该口内照和三维牙模上的同名牙齿上做标记点，分别得到该口内照和三维牙模的标记点点集；每个标记点点集中包括至少三个标记点；

针对该口内照，对三维牙模进行投影采样获得该口内照对应的所有投影图像，三维牙模上的标记点被透视投影变换到每个投影图像上，作为该投影图像上的标记点；

获取该口内照和与其对应的各个投影图像上的目标点点集；

根据目标点点集计算得到该口内照对应的最优相机姿态；

所述针对该口内照，对三维牙模进行透视投影采样获得该口内照对应的所有投影图像的操作包括：

A1，将相机从原始位置分别绕X轴、Y轴旋转到该口内照对应的初始位置；所述原始位置是指：将三维牙模的中心点与世界坐标系的原点重合，且世界坐标系的Z轴指向三维牙模的正前方；相机位于三维牙模的正前方，将相机的焦点设在三维牙模的中心点，三维牙模上的牙列关于z轴对称，且相机所在的平面与Z轴垂直，相机的投影方向位于Z轴上；以原点为圆心，以原始位置时相机与Z轴的交点到原点的距离为半径绘制球面，将该球面作为旋转球面；相机绕X轴、Y轴旋转时，相机的投影方向始终指向相机的焦点，且相机到焦点的距离保持不变；绕X轴、Y轴旋转均是在所述旋转球面上移动相机；所述初始位置包括绕X轴旋转的初始角度和绕Y轴旋转的初始角度；

A2，将相机绕X轴、Y轴旋转获得该口内照对应的所有投影图像：将相机绕X轴旋转θ_x、绕Y轴旋转θ_y,得到三维牙模在相机旋转角分别为θ_x和θ_y的视图平面上的投影图像；θ_x∈[α,β]，

其中，θ为相机的旋转步长，s为相机的旋转周期。

2.根据权利要求1所述的构建真实感牙列模型的方法，其特征在于：所述步骤(1)的操作包括：

获取牙齿石膏模型，扫描所述牙齿石膏模型获得三维牙模；

分别从右侧、正前方、左侧拍摄患者口腔得到3张口内照，分别为：右侧位像P_R、正位像P_F和左侧位像P_L。

3.根据权利要求2所述的构建真实感牙列模型的方法，其特征在于：所述步骤A2的操作包括：

针对所述右侧位像P_R：

θ_x∈[α,β]，其中，

其中，

其中，α为采集右侧位像对应的投影图像时相机绕X轴旋转的初始角度；

为采集右侧位像对应的投影图像时相机绕Y轴旋转的初始角度；

采集右侧位像对应的投影图像时，相机的旋转角度为：

其中，m_R∈(0，s]；

其中，n_R∈(0，s]；

其中m_R表示采集右侧位像对应的投影图像时相机绕X轴的旋转次数，n_R表示采集右侧位像对应的投影图像时相机绕Y轴的旋转次数；最后得到右侧位像对应的s*s个不同角度的投影图像；

针对所述正位像P_F：

θ_x∈[α,β]，其中，

其中，

其中，α为采集正位像对应的投影图像时相机绕X轴旋转的初始角度；

为采集正位像对应的投影图像时相机绕Y轴旋转的初始角度；

采集正位像对应的投影图像时，相机的旋转角度为：

其中，m_F∈(0，s]；

其中，n_F∈(0，s]；

其中，m_F表示采集正位像对应的投影图像时相机绕X轴的旋转次数，n_F表示采集正位像对应的投影图像时相机绕Y轴的旋转次数；最后得到正位像对应的s*s个不同角度的投影图像；

针对所述左侧位像P_L：

θ_x∈[α,β]，其中，

其中，

其中，α为采集左侧位像对应的投影图像时相机绕X轴旋转的初始角度；

为采集左侧位像对应的投影图像时相机绕Y轴旋转的初始角度；

采集左侧位像对应的投影图像时，相机的旋转角度为：

其中，m_L∈(0，S]，

其中，n_L∈(0，s]

其中m_L表示采集左侧位像对应的投影图像时相机绕X轴的旋转次数，n_L表示采集左侧位像对应的投影图像时相机绕Y轴的旋转次数；最后得到左侧位像对应的s*s个不同角度的投影图像；

所述将相机绕X轴旋转θ_x、绕Y轴旋转θ_y是这样实现的：

将位于原始位置的相机先沿所述旋转球面与YZ平面的相交线移动到与XZ平面的夹角呈θ_x的角度处，然后沿X轴所在的且与XZ平面的夹角呈θ_x的平面与所述旋转球面的相交线移动到与YZ平面的夹角呈θ_y的角度处；

或者，将位于原始位置的相机先沿所述旋转球面与XZ平面的相交线移动到与YZ平面的夹角呈θ_y的角度处，然后沿Y轴所在的且与YZ平面的夹角呈θ_y的平面与所述旋转球面的相交线移动到与XZ平面的夹角呈θ_x的角度处。

4.根据权利要求3所述的构建真实感牙列模型的方法，其特征在于：所述获取该口内照和与其对应的各个投影图像上的目标点点集的操作包括:

对该口内照和与其对应的各个投影图像分别进行以下处理：

进行二值化处理，并获得二值化处理后的图像上的所有特征点，将这些特征点组成点集B＝{b₁,b₂,b₃,…,b_g}；

对点集B进行分组得到多个子点集B_i＝{b_i,b_i+1,b_i+2,…,b_j}；

找出每个子点集B_i中的y值最小的点作为该子点集的特征点b′_n，所有子点集B_i的特征点b′_n组成点集B′；

在点集B′中找出位于每个标记点左侧且与该标记点距离最小的点，即牙与牙的邻接处拐点，所有牙与牙的邻接处拐点组成目标点点集。

5.根据权利要求4所述的构建真实感牙列模型的方法，其特征在于：所述对点集B进行分组得到多个子点集B_i＝{b_i,b_i+1,b_i+2,…,b_j}的操作包括：

从点集B中的第一个点开始向后搜索，与点集B中的第一个点的欧式距离小于D的放入一组中，直到与第一个点的欧式距离大于或等于D时，第一组划分完成，该组内的点构成第一个子点集；

以与前一组的第一个点的欧氏距离大于或等于D的点为新的起始点开始向后搜索，与新的起始点的欧式距离小于D的放入一组中，直到与新的起始点的欧式距离大于或等于D时，该组划分完成，该组内的点构成一个子点集；

以此类推，得到多个子点集B_i＝{b_i,b_i+1,b_i+2,…,b_j}；

所述D表示去除的边界长度，D为L/p,其中，L表示二值化图像中整体牙列的水平长度，p表示将牙齿水平分割的片段个数，30<p<40。

6.根据权利要求5所述的构建真实感牙列模型的方法，其特征在于：所述在点集B′中找出位于每个标记点左侧且与该标记点距离最小的点的操作包括：

针对每个标记点，进行以下处理：

遍历点集B′中各个点的x坐标值，找到x坐标值小于该标记点的x坐标值的所有点，然后计算出这些点与该标记点的距离；

找出这些距离中的最小值，该最小值对应的点即为位于该标记点左侧且与其距离最小的点。

7.根据权利要求6所述的构建真实感牙列模型的方法，其特征在于：所述根据目标点点集计算得到该口内照对应的最优相机姿态的操作包括：

根据该口内照和各个投影图像上的目标点点集，计算出该口内照的仿射变换矩阵N，然后对该口内照进行仿射变换得到该口内照的经过仿射变换后的图像；

提取该口内照的经过仿射变换后的图像的轮廓contour(a)，同时提取对应该口内照的每个投影图像的二值化图像的轮廓contour(b)；

根据contour(a)和contour(b)计算得到最大相似性测度：

针对右侧位像P_R，采用下式计算得到最大相似性测度：

针对正位像P_F，采用下式计算得到最大相似性测度：

针对左侧位像P_L，采用下式计算得到最大相似性测度：

其中，k表示一个常数，C_R，C_F，C_L分别表示P_R，P_F，P_L对应的最大相似性测度；p_i是轮廓contour(a)上的点，坐标为(x_i，y_i)；p_i′是轮廓contour(b)上与p_i距离最近的点，坐标为(x_i′，y_i′)；

C_R对应的相机的旋转角度θ_x、θ_y即为右侧位像的最优相机姿态，C_F对应的相机的旋转角度θ_x、θ_y即为正位像的最优相机姿态，C_L对应的相机的旋转角度θ_x、θ_y即为右侧位像的最优相机姿态。

8.根据权利要求7所述的构建真实感牙列模型的方法，其特征在于：所述步骤(3)的操作包括：

(31)初始投影纹理映射：将三维牙模划分为3个区域，分别为右侧区域、中间区域和左侧区域；利用所述右侧位像的最优相机姿态将右侧位像映射到三维牙模的右侧区域，利用所述正位像的最优相机姿态将正位像映射到三维牙模的中间区域，利用所述左侧位像的最优相机姿态将左侧位像映射到三维牙模的左侧区域，得到初始投影纹理映射；在所述初始投影纹理映射中，右侧区域与中间区域的连接处、中间区域与左侧区域的连接处有纹理接缝；

(32)查找纹理接缝：从步骤(31)得到的初始投影纹理映射中找到各个纹理接缝；

(33)对每个纹理接缝两边的图像进行融合，消除三维牙模上明显的接缝，得到真实感牙列模型。

9.根据权利要求8所述的构建真实感牙列模型的方法，其特征在于：所述步骤(33)的操作包括：

将三维牙模上的纹理接缝L分别透视投影到形成该纹理接缝的两个位像上，得到投影L′和L″；

以L′的顶点为基准，将L′上的其它点以及每个点的左、右两边q个像素水平移动，使得L′上的其它点与L′的顶点的竖直方向对齐，得到图像G₁；

以L″的顶点为基准，将L″上的其它点以及每个点的左、右两边q个像素水平移动，使得L″上的其它点与L″的顶点的竖直方向对齐，得到图像G₂；

将图像G₁和图像G₂进行融合得到图像G；

将图像G分别插回到形成该纹理接缝的两个位像中的图像G₁、图像G₂的位置处，得到更新后的两个位像；

利用两个位像分别对应的最优相机姿态将更新后的两个位像分别映射到三维牙模对应的区域上。

Images