CN116523809B - 一种图像融合装置 - Google Patents

Abstract

本发明涉及一种图像融合装置，包括：获取模块，用于获取携带有选定倍率的图像采集指令；采集模块，用于基于图像采集指令，采集与选定倍率对应的多个景深中每个景深内的牙齿图像；图像配准模块，用于对多个牙齿图像进行图像配准，得到配准后的图像；图像融合模块，用于对所有配准后的图像进行图像融合，得到融合后的图像，从而无需额外操作，让操作者更专注于手术本身，进而不仅能够降低治疗时间，还能够提高患者体验。

Description

一种图像融合装置

技术领域

本发明涉及图像处理技术领域，尤其涉及一种图像融合装置。

背景技术

在牙科手术（例如，根管治疗等）的过程中，操作者时常需要在高倍镜下观察患者患处的整个牙齿（例如，牙冠、牙颈和牙根）的情况，来指导手术的进一步进行。

目前，对于传统牙科显微镜来说，在高倍率下，由于光学上的固有特性造成景深不足，在深度方向无法在同一画面中同时呈现清晰的牙冠、牙颈和牙根，所以需要调节焦距，分别对焦到牙冠、牙颈和牙根平面，依次来观察对应的区域，但是这种方式繁琐且耗时，并且考验操作者的记忆能力，容易造成重复操作。

也就是说，在显微镜处于高倍情况下，由于景深的不足，在手术过程中，需要来回调节焦距进行观察，并且因操作者的记忆能力的不同，可能会造成来回重复观察的情况，花费大量时间。

发明内容

（一）要解决的技术问题

鉴于现有技术的上述缺点、不足，本发明提供一种图像融合装置，其解决了现有技术中存在着的来回反复操作导致的治疗时间比较长的技术问题。

（二）技术方案

为了达到上述目的，本发明采用的主要技术方案包括：

本发明实施例提供一种图像融合装置，包括：获取模块，用于获取携带有选定倍率的图像采集指令；采集模块，用于基于图像采集指令，采集与选定倍率对应的多个景深中每个景深内的牙齿图像；图像配准模块，用于对多个牙齿图像进行图像配准，得到配准后的图像；图像融合模块，用于对所有配准后的图像进行图像融合，得到融合后的图像。

在一个可能的实施例中，图像融合装置还包括：前期标定模块，用于：在基于图像采集指令，采集与选定倍率对应的多个景深中每个景深内的牙齿图像之前，从多个目标倍率中每个目标倍率下的有效工作距离中选取多个标定点；确定每个目标倍率对应的多个标定点中每个标定点的实际最佳焦距；其中，实际最佳焦距为在对应的标定点下图像清晰度最大的焦距位置；基于每个目标倍率下的有效工作距离进行拟合计算，以得到每个目标倍率对应的每个标定点的理论最佳焦距，并计算每个理论最佳焦距及其对应的实际最佳焦距的焦距差值；基于焦距差值进行拟合计算，以得到所有倍率中每个倍率及其对应的焦距差值的范围。

在一个可能的实施例中，采集模块，具体用于：获取调焦过程中相机每次拍摄牙齿图像的时间间隔；基于时间间隔，计算每间隔时间间隔后的焦距，并基于每间隔时间间隔后的焦距，确定选定倍率对应的多个景深；基于选定倍率对应的多个景深，计算电机的转速；基于所有倍率中每个倍率及其对应的焦距差值的范围，确定选定倍率对应的焦距差值的范围；基于电机的转速和选定倍率对应的焦距差值的范围进行牙齿图像的采集，以获取多个景深中每个景深内的牙齿图像。

在一个可能的实施例中，多个牙齿图像包括第一牙齿图像和除第一牙齿图像之外的其他牙齿图像，第一牙齿图像为多个牙齿图像中任意一张牙齿图像；

图像配准模块，具体用于：对多个牙齿图像中每个牙齿图像进行颜色转换处理，以获得多个灰度图像；其中，多个灰度图像中每个灰度图像均与一个牙齿图像对应；提取每个灰度图像的多个特征点，并确定每个灰度图像的多个特征点中每个特征点的方向；基于每个特征点的方向，计算每个特征点的BRIEF描述子；基于每个特征点的BRIEF描述子进行第一牙齿图像和第二牙齿图像的特征点匹配，以得到同名特征点；其中，第二牙齿图像为其他牙齿图像中需进行配准的当前牙齿图像；基于同名特征点对第一牙齿图像和第二牙齿图像进行图像配准，得到配准后的图像。

在一个可能的实施例中，图像配准模块，具体用于：图像配准模块，具体用于：获取以当前灰度图像的当前像素点为圆心的第一预设半径内的所有像素点，并获取以当前像素点为圆心的第二预设半径内的所有指定像素点；其中，第二预设半径大于第一预设半径，所有指定像素点为以当前像素点为圆心的第二预设半径内的除指定时钟方向之外的剩余像素点；在所有指定像素点的值均大于所有像素点的值、且所有像素点的值均大于当前像素点的值、以及指定像素点的值和所有像素点的值之间的差值的差值绝对值大于特征值，且特征值为所有像素点的值和当前像素点的值之间的差值再除以b的余值的余值绝对值情况下，将当前像素点确定为特征点，或者在所有指定像素点的值均小于所有像素点的值、且所有像素点的值均小于当前像素点的值、以及指定像素点的值和所有像素点的值之间的差值的差值绝对值大于特征值的情况下，将当前像素点确定为特征点。其中，b为预设的正整数。

在一个可能的实施例中，图像配准模块，具体用于：判断当前像素点是否处于已经确定出的特征点的窗口范围内；其中，已经确定出的特征点的窗口范围是指以已经确定出的特征点为圆心且以第二预设半径为半径的窗口范围；若当前像素点未处于已经确定出的特征点的窗口范围内，则获取以当前像素点为圆心的第一预设半径内的所有像素点。

在一个可能的实施例中，图像配准模块，具体用于若当前像素点处于已经确定出的特征点的窗口范围内，则确定当前像素点不是特征点。

在一个可能的实施例中，图像融合模块，具体用于：对当前待融合的两个配准后的图像中每个配准后的图像进行多尺度分解，得到每个配准后的图像对应的一个低通子带图像和多个高通子带图像；确定每个配准后的图像对应的低通子带图像的低频子带最终融合系数矩阵；对每个配准后的图像对应的多个高通子带图像进行方向局部化，得到每个配准后的图像对应的多个方向的子带图像，并采用系数绝对值取大融合策略对每个配准后的图像对应的多个方向的子带图像进行处理，以得到每个配准后的图像对应的高频子带系数融合后的矩阵；将低频子带最终融合系数矩阵和高频子带系数融合后的矩阵合并后进行INSST变换，以得到融合后的灰度图像；基于融合后的灰度图像，得到融合后的图像。

在一个可能的实施例中，图像融合模块，具体用于：获取当前待融合的两个配准后的图像对应的两个牙齿图像经颜色转换处理后得到的除灰度图像之外的其他两个通道的图像数据，并采用系数绝对值取大融合策略对其他两个通道的图像数据进行处理，得到融合处理后的图像数据，以及对融合后的灰度图像和融合处理后的图像数据进行合并，得到合并后的数据，并将合并后的数据转换到RGB颜色空间，得到融合后的图像。

（三）有益效果

本发明的有益效果是：

本发明提出了一种图像融合装置，通过获取携带有选定倍率的图像采集指令，并基于图像采集指令，采集与选定倍率对应的多个景深中每个景深内的牙齿图像，以及对多个牙齿图像进行图像配准，得到配准后的图像，以及对所有配准后的图像进行图像融合，得到融合后的图像，从而可将整个过程自动化，最后获得一个包含整个牙齿（例如，待观察的牙齿等）的融合后的图像，并且无需额外操作，让操作者更专注于手术本身，进而不仅能够降低治疗时间，还能够提高患者体验。

为使本申请实施例所要实现的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本申请实施例提供的一种图像融合装置的结构示意图。

具体实施方式

为了更好的解释本发明，以便于理解，下面结合附图，通过具体实施方式，对本发明作详细描述。

目前，虽然手动调焦已慢慢被电动调焦代替，但是电动调焦依然存在欠调或者过调的情况，并且来回的调节焦距依然会浪费大量的时间，从而造成手术时间过长和患者体验感不佳的问题。

本发明实施例提出了一种图像融合装置，通过获取携带有选定倍率的图像采集指令，并基于图像采集指令，采集与选定倍率对应的多个景深中每个景深内的牙齿图像，以及对多个牙齿图像进行图像配准，得到配准后的图像，以及对所有配准后的图像进行图像融合，得到融合后的图像，从而可将整个过程自动化，最后获得一个包含整个牙齿的融合后的图像，并且无需额外操作，让操作者更专注于手术本身，进而不仅能够降低治疗时间，还能够提高患者体验。

为了更好的理解上述技术方案，下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更清楚、透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。

请参见图1，图1示出了本申请实施例提供的一种图像融合装置100的结构示意图。应理解，图像融合装置100的具体装置可根据实际需求来进行设置，本申请实施例并不局限于此。例如，该图像融合装置100除了可包括显微镜，还可包括包含嵌入式***以及对应开发的上位机软件、相机、红外测距传感器和步进电机等。具体地，该图像融合装置100包括：

获取模块110，用于获取携带有选定倍率的图像采集指令；

采集模块120，用于基于图像采集指令，采集与选定倍率对应的多个景深中每个景深内的牙齿图像；

图像配准模块130，用于对多个牙齿图像进行图像配准，得到配准后的图像；

图像融合模块140，用于对所有配准后的图像进行图像融合，得到融合后的图像。

应理解，除了上述四个模块之外，该图像融合装置100还可包括其他的模块，本申请实施例并不局限于此。

可选地，该图像融合装置100还可包括：前期标定模块（未示出），用于在基于图像采集指令，采集与选定倍率对应的多个景深中每个景深内的牙齿图像之前，从多个目标倍率中每个目标倍率下的有效工作距离中选取多个标定点；确定每个目标倍率对应的多个标定点中每个标定点的实际最佳焦距；其中，实际最佳焦距为在对应的标定点下图像清晰度最大的焦距位置；基于每个目标倍率下的有效工作距离进行拟合计算，以得到每个目标倍率对应的每个标定点的理论最佳焦距，并计算每个理论最佳焦距及其对应的实际最佳焦距的焦距差值；基于焦距差值进行拟合计算，以得到所有倍率中每个倍率及其对应的焦距差值的范围。其中，目标倍率的具体倍率和指定点的具体点等均可根据实际需求来进行设置，本申请实施例并不局限于此。

也就是说，在获取携带有选定倍率的图像采集指令之前，还需进行前期标定，从而可使用上位机软件中对应的功能，与电机进行通讯，控制变倍变焦电机旋转来进行标定，标定的目的在于找到呈现清晰图像时不同的倍率，不同的有效工作距离与焦距的对应关系。以及，在每个固定倍率下，有效工作距离范围对应着一段焦距的调节范围，在这个焦距范围内调节，总能得到一张清晰图像。

为了便于理解前期标定的具体过程，下面通过具体地实施例来进行描述。

具体地，本申请的标定涉及到放大倍率N、有效工作距离Sw和最佳焦距f这三个参数。以及，有效工作距离可以为200mm-400mm，并且超出的范围不进行标定。以及，在有效工作距离中可选取200mm、225mm、250mm、275mm、300mm、325mm、350mm、375mm和400mm这9处作为每个倍率下的标定点，记作Sw1-Sw9。

以及，还可使用调倍电机控制软件将当前倍率调至一个固定倍率N1，然后，可根据红外测距传感器，将工作距离调至Sw1处，使用调焦电机控制软件调节焦距。以及，电机转速在10rpm（每分钟旋转次数）到100rpm间调节，缓慢转动调焦电机，尽量使画面呈现清晰的图像，整个过程中由图像处理软件接收每帧图像，并进行计算，计算调节过程中的Laplacian梯度，梯度值越大，代表图像越清晰，当梯度由小变大再变小的时候，取清晰度最大的位置记为实际最佳焦距f1。然后将工作距离调至Sw2处，同样进行上述操作，记录f2，以此类推，记录下f1-f9。

以及，将得到的Sw1-Sw9、f1-f9数据在二维坐标系中标出，有效工作距离Sw与最佳焦距f呈现中间接近直线两头存在一定的弯曲的曲线，故本申请可选用基于最小二乘法的曲线拟合方法，将每个倍率下的有效工作距离Sw与理论最佳焦距f进行拟合，得到最佳关系函数。其中，最佳关系函数可以为：Sw=af ² +bf+c

以及，经过拟合计算得到a，b，c的系数值，然后分别将Sw1-Sw9带入，计算得到对应的理论最佳焦距F1-F9，将理论最佳焦距F1-F9与实际的f1-f9分别对应进行差值计算，得到9组差值数据中最大最小形成的焦距范围，即为当前倍率N1下任意有效工作距离下得到清晰图像所需调节的焦距距离。

同理，在不同的倍率N下进行上述标定，得到不同倍率下的，以及考虑到后续使用的倍率可能不是整数倍的倍率的情况，可基于/>进行拟合计算，可以得到N和/>的关系函数，从而能够得到所有倍率中每个倍率及其对应的焦距差值/>的范围。以及，每个f对应电机的一个转动位置Sf，同理调倍电机与N之间也存在对应的关系，这样就可以根据调倍电机转动位置Sn来确定当前的倍率N，由此得到当前倍率下对应需要调节的焦距的起止点f _start 与f _stop 以及范围/>。

这里需要说明的是，上述前期标定所涉及的数据（例如，有效工作距离的范围、标定点的具体值和倍率的具体值等）均可根据实际需求来进行设置，本申请实施例并不局限于此。

还应理解，采集模块120的具体过程也可根据实际需求来进行设置，本申请实施例并不局限于此。

可选地，在前期标定之后，可执行图像采集，即标定后得到的焦距调节范围可以分成多个连续且不重复的景深区域，即为了不丢失所有牙齿部分的清晰图像信息，又能有效减少采集图像的数量，从而减少后续图像配准和图像融合所需的时间，还可需要相机在每个景深内采集一张清晰的图像，相机采集采用主动方式采集，每隔自动采集一张图像并保存下来。

以及，采集模块120，具体用于：获取调焦过程中相机每次拍摄牙齿图像的时间间隔；基于时间间隔，计算每间隔时间间隔后的焦距，并基于每间隔时间间隔后的焦距，确定选定倍率对应的多个景深；基于选定倍率对应的多个景深，计算电机的转速；基于所有倍率中每个倍率及其对应的焦距差值的范围，确定选定倍率对应的焦距差值的范围；基于电机的转速和选定倍率对应的焦距差值的范围进行牙齿图像的采集，以获取多个景深中每个景深内的牙齿图像。其中，时间间隔的具体值等也可根据实际需求来进行设置，本申请实施例并不局限于此。

也就是说，在本申请中，根据前期标定过程中确定的倍率N与的关系，确定当前选定的倍率下对应的当前开始采集的焦距f _start 和f _stop ，并通过/>，计算得到每间隔/>之后的焦距f，经过景深公式计算得到/>，再由速度公式计算得到v _电机 ，然后电机开始自动从f _start 和f _stop 变速运动，每经过/>改变一次速度，同时相机自动拍摄采集图像。

为了便于理解图像采集的具体过程，下面通过具体的实施例来进行描述。

具体地，经典的景深公式如下：

；

其中，为景深；f为焦距；F为光圈大小；/>为数值孔径；L为对焦距离。以及，观察/>和f的关系时，其他几个参数都可看做是常数，当调节焦距f的时候，/>的大小随之改变，同时/>在光路上的位置也会发生变化，具体的变化为：f变大，/>变小，以及/>的位置与透镜运动的方向相反。其中，透镜朝被观察物体移动为f增大。

以及，根据相机的采集帧率Fs，换算得到拍摄两张图像的时间间隔，将该焦距的调节范围/>可看成是连续且不重叠，大小逐渐变小的多个景深/>，/>...的组成，n为正整数。为了满足每个景深下都能采集一张清晰的图像，调焦过程中相机每次拍摄图像的时间间隔/>刚好是/>从上一个景深到下一个景深的时间，根据如下公式：

；

其中，S _电机 是电机旋转距离，在这里可以看做是，由此计算得到电机的转速v _电机 ，然后可通过调节电机转速，达到变速采集。

还应理解，图像配准模块130的具体过程也可根据实际需求来进行设置，本申请实施例并不局限于此。

可选地，在图像采集之后，可进行图像配准，即在实际情况下，由于环境震动和患者移动等情况，采集的图像并不完全重合，会存在一定的偏移旋转。以及，采集的图像之间的偏移旋转量（即RT矩阵）都非常小，所以可采用简化的基于ORB的配准方法。

以及，多个牙齿图像包括第一牙齿图像和除第一牙齿图像之外的其他牙齿图像，第一牙齿图像为多个牙齿图像中任意一张牙齿图像；

图像配准模块130，具体用于：对多个牙齿图像中每个牙齿图像进行颜色转换处理，以获得多个灰度图像；其中，多个灰度图像中每个灰度图像均与一个牙齿图像对应；提取每个灰度图像的多个特征点，并确定每个灰度图像的多个特征点中每个特征点的方向；基于每个特征点的方向，计算每个特征点的BRIEF描述子；基于每个特征点的BRIEF描述子进行第一牙齿图像和第二牙齿图像的特征点匹配，以得到同名特征点；其中，第二牙齿图像为其他牙齿图像中需进行配准的当前牙齿图像；基于同名特征点对第一牙齿图像和第二牙齿图像进行图像配准，得到配准后的图像。

还应理解，图像配准模块130提取每个灰度图像的多个特征点的具体过程也可根据实际需求来进行设置，本申请实施例并不局限于此。

可选地，图像配准模块130，具体用于：判断所述当前像素点是否处于已经确定出的特征点的窗口范围内；其中，所述已经确定出的特征点的窗口范围是指以所述已经确定出的特征点为圆心且以所述第二预设半径为半径的窗口范围；若所述当前像素点未处于所述已经确定出的特征点的窗口范围内，则获取以当前灰度图像的当前像素点为圆心的第一预设半径内的所有像素点，并获取以当前像素点为圆心的第二预设半径内的所有指定像素点；其中，第二预设半径大于第一预设半径，所有指定像素点为以当前像素点为圆心的第二预设半径内的除指定时钟方向之外的剩余像素点；在所有指定像素点的值均大于所有像素点的值、且所有像素点的值均大于当前像素点的值、以及指定像素点的值和所有像素点的值之间的差值的差值绝对值大于特征值，且特征值为所有像素点的值和当前像素点的值之间的差值再除以b的余值的余值绝对值情况下，将当前像素点（或者称为当前点）确定为特征点，或者在所有指定像素点的值均小于所有像素点的值、且所有像素点的值均小于当前像素点的值、以及指定像素点的值和所有像素点的值之间的差值的差值绝对值大于特征值的情况下，将当前像素点确定为特征点；b为预设的正整数。其中，第一预设半径的具体半径、第二预设半径的具体半径和b的具体值均可根据实际需求来进行设置。例如，b为2。

以及，图像配准模块130，具体用于若当前像素点处于已经确定出的特征点的窗口范围内，则确定当前像素点不是特征点。

为了便于理解图像配准过程，下面通过具体的实施例来进行描述。

具体的，若直接将经过上述步骤采集的图像进行融合存在位置与角度的偏差，造成运动伪影，伪影会造成观察者视觉上的困扰，所以在图像融合之前需要对图像进行配准。以及，本申请中使用的是基于ORB特征提取的配准方法，ORB特征点由关键点（有效角点）与其描述子组成。以及，本申请中使用的相机设备采集的图像的像素是一致的，所以在配准前省略了检查像素是否一致的过程，采集图像满足两张或两张以上都需进行配准，具体配准过程如下：

将采集的牙齿图像进行颜色空间转换，以得到多个灰度图像，即可由RGB空间转换到YIQ空间，并提取Y通道图像，并将Y通道图像作为灰度图像，转换关系如下：

。

以及，在得到多个灰度图像后，可通过如下过程提取每个灰度图像的多个特征点，其中每个特征点可以为FAST角点，具体地：

遍历当前灰度图像，标准的ORB中每次可选定一个像素点P0为圆心，一般选择半径为3个像素的圆圈，对在该圈上16个点的像素进行判断，一般认为连续12个点的像素值都大于或者小于P0的像素值时，认为该P0点为有效的角点，但是这样判断忽略了可能存在的P0与圈上点之间的变化趋势不一致的问题。还有采用对圈上点与P0点的差值与设定阈值进行比较的方式，强化了首位间的变化趋势的判断，但还是缺少了总体趋势上的判断。

因此，本申请结合上述方法，以P0为圆心分别选取半径为2和3个像素的圆形窗口（即第一预设半径为2像素，且第二预设半径为3个像素），以及，还可称半径2像素的为内圈O ₂ ，半径3像素的为外圈O ₃ ，两个圈上分别存在12个像素点与16个像素点，我们以时钟位置标记，内圈的12个像素点分别记为O ₂ P ₁ -O ₂ P ₁₂ ，外圈可去除时钟0点与3点、3点与6点、6点与9点、9点与12点中间方向上的像素点，剩下的12个像素点可依次记为O ₃ P ₁ -O ₃ P ₁₂ 。如果内外圈上的像素点依次满足如下关系式：且/>，或者且/>。

故这样可尽可能确保了趋势一致性，又可通过改变参数增强变化趋势的判断，同时满足上述条件，可认为该点为有效的FAST角点，并可将其记录下来。以及，继续遍历剩下所有点的过程中，先判断下一个点是否处于之前判断出有效角点的窗口范围（即P0为圆心3像素为半径的区域）内，如果在范围内，则自动跳过，避免判定两个相邻的有效角点，减少计算量；如果没有在范围内，则可重复上述过程进行判断。

对应地，判断剩余的像素点是否为特征点的过程也可参照上述过程，在此不再重复赘述。

以及，在确定每个灰度图像的特征点后，还可继续计算每个特征点的方向。具体地：

利用灰度质心法计算出窗内灰度质心（灰度集中于一点）的坐标，以P0与该坐标的连线方向为该特征点的方向。假设P0与3像素半径（此处其必须与外圈的半径相同）确定的圆形区域中的所有像素的x坐标范围为x _min 到x _max ，y坐标范围为y _min 到y _max 。以及，可通过如下公式计算特征点的方向：

；

；

。

以及，在确定每个特征点的方向后，可计算每个特征点的描述子。具体地：

上述步骤已经得到特征点与其方向信息，通过方向信息进行随机取点函数的设置。本申请中可选取特征点P0周围16*16像素范围（其可以根据实际需求来进行设置）内依据特征点方向旋转启发式搜索的128对匹配点（其可以是随机选取的），获得描述子的旋转不变性。用p与q来代表一对点的两个点的像素值，如果p＞q，则编码为1，反之为0，重复这个过程选择128对这样的点，构建128位由0，1组成的向量，该向量就是所需的描述子。

以及，在获得每个特征点的描述子后，可进行特征匹配。具体地：

通过异或运算计算源图像（即第一牙齿图像）中每个特征点向量与目标图像（即第二牙齿图像）中所有特征点向量的汉明距离，并记下最小汉明距离P _min 。例如，假设两个向量分别为00001001和10101100，则异或之后为10100101，即汉明距离为4，即有4个位置上存在不同。

；

；

通过以上公式，确定匹配条件为两特征点之间的汉明距离小于2倍（其也可根据实际需求来进行设置，例如，其还可以是3倍等）的最小汉明距离，满足这一条件，故可就认为这两个特征点为同名特征点。其中，在两张图像的点投射到实物上是同一个，则这两个点为同名特征点。

以及，在确定同名特征点后，还可根据极对几何原理，使用8点法（例如，8个多项式，其也可根据实际需求来进行设置）计算基础矩阵F，即使用8对同名特征点的坐标带入公式：

；

其中，为矩阵F。

以及，公式还可变形为：

。

从而，可通过以上公式计算出矩阵F，以及基础矩阵F与本质矩阵E之间存在一个相机内参矩阵K的转换，K可以根据相机自带或者标定获取，为已知项：

;

以及，再将矩阵E进行奇异值分解SVD：

；

其中，U为m*m的正交阵，V为m*m的正交阵，C为m*n的对角阵。

；

；

。

从而，最终将得到4组R，R为旋转矩阵，t为平移矩阵，但是4组中只有一组R，t存在正确的相机深度，只需带入同名特征点，就能确定最终R，t的解。以及，可计算出R，t矩阵，即两幅图像间的位置变化用矩阵描述，目标图像经过R，t矩阵转换后可以得到与源图像对齐的图像，依次与源图像进行配准（即其可理解成将图像的重合部分对齐），得到所有配准后的图像。

这里需要说明的是，第一预设半径的具体值和第二预设半径的具体值等均可根据实际需求来进行设置，本申请实施例并不局限于此。

还应理解，图像融合模块140的图像融合过程也可根据实际需求来进行设置，本申请实施例并不局限于此。

可选地，在图像配准后，清晰度信息更多的存在于灰度图像中，对灰度图像进行NSST（即非下采样剪切波变换）处理，得到各个子带的系数，然后按照一定的系数融合规则，将多幅图像对应的系数逐个融合，再由逆NSST，得到融合后的图像。

以及，图像融合模块140，具体用于：对当前待融合的两个配准后的图像中每个配准后的图像进行多尺度分解，得到每个配准后的图像对应的一个低通子带图像和多个高通子带图像；确定每个配准后的图像对应的低通子带图像的低频子带最终融合系数矩阵；对每个配准后的图像对应的多个高通子带图像进行方向局部化，得到每个配准后的图像对应的多个方向的子带图像，并采用系数绝对值取大融合策略对每个配准后的图像对应的多个方向的子带图像进行处理，以得到每个配准后的图像对应的高频子带系数融合后的矩阵；将低频子带最终融合系数矩阵和高频子带系数融合后的矩阵合并后进行INSST变换，以得到融合后的灰度图像；基于融合后的灰度图像，得到融合后的图像。

还应理解，基于融合后的灰度图像，得到融合后的图像的具体过程也可根据实际需求来进行设置，本申请实施例并不局限于此。

可选地，图像融合模块140，具体用于：获取当前待融合的两个配准后的图像对应的两个牙齿图像经颜色转换处理后得到的除灰度图像之外的其他两个通道的图像数据，并采用系数绝对值取大融合策略对其他两个通道的图像数据进行处理，得到融合处理后的图像数据，以及对融合后的灰度图像和融合处理后的图像数据进行合并，得到合并后的数据，并将合并后的数据转换到RGB颜色空间，得到融合后的图像。

为了便于理解图像融合过程，下面通过具体地实施例来进行描述。

具体地，非下采样金字塔NSP（non-subsam-pled pyramid）分解滤波器，NSP每次将图像在频域上分解为一个低通子带和一个高通子带，低通子带中的频率都比高通子带中的频率小，随后的分解都是在低通子带上迭代进行，每分解一次，低通子带个数不变，但是频域范围缩小，高通子带增加1个，分解后的图像与原图像尺寸相同。故本申请可采用2级NSP分解，即尺度I为2，得到一个低通子带图像和2个高通子带图像。其中，低通的图像可以是图像的轮廓能够看清，细节看不起；高通的图像可以是细节能看清，轮廓看不清。

以及，对于低通子带图像还可进行如下处理：

可定义伪极坐标系与/>，建立映射关系：/>

；

其中，D ₀ 为水平锥区域，D ₁ 为垂直锥区域。在伪极坐标系中上计算低频子带数据的其傅里叶变换，生成对应矩阵，再对其进行带通滤波，将变换后的系数从伪极坐标系反映射回到笛卡尔坐标系上，后对其进行二维离散傅里叶逆变换，获取变换系数，然后通过窗口函数的平移来获取所有的变换系数，形成系数矩阵IL。

以及，图像的低频分量集中了图像的主要能量，反映图像的轮廓，高频分量反应了图像的细节。以及，低频子带融合可采用基于空间频率SF的加权融合策略，空间频率越大图像越活跃、越清晰，在M*N大小的图像块上有：

；

；

；

其中，f为坐标i，j上的灰度值，F _RF 为水平方向频率，F _CF 为垂直方向频率，归一化后的融合权重为第一张图像当前坐标下的融合权重，/>为第二张图像当前坐标下的融合权重，/>为低频子带最终融合系数矩阵。

以及，继续根据如下公式计算：

；

；

其中，为源图像在（i，j）上的频率，/>为目标图像在（i，j）上的频率，为源图像频率归一化后的系数，/>为目标图像的频率归一化后的系数。

以及，继续根据如下公式计算：

；/>

；

以及，将得到的权重再对系数进行最终计算：

；

以及，对于高通子带图像还可进行如下处理：

采用剪切波滤波器组SF（shearlet filter）实现对二维图像的方向上的分解，从伪极化坐标映射到笛卡尔坐标，I=1时，该尺度上的高频子带经过SF分解后被分成4个方向，I=2时，该尺度上的高频子带经过SF分解后被分成8个方向。

以及，采用系数绝对值取大融合策略对所述每个配准后的图像对应的多个方向的子带图像进行处理，并采用系数绝对值取大融合策略，得到高频子带系数融合后的矩阵，系数的绝对值越大，表示图像细节处越清晰。

最后将确定的与/>合并后进行INSST变换，得到融合后的Y通道图像。

以及，在融合过程中重点处理了Y通道的数据，除Y通道之外的其他两通道均使用绝对值取大的方法进行简单处理，然后将Y、I、Q三个通道的数据合并，再经YIQ到RGB的转换，最终得到融合后的图像。

这里需要说明的是，在需要进行融合的图像包括多个图像的情况下，其是先将其中两个图像进行融合，并且其融合过程可参见上述图像融合过程，然后再将融合后的图像和第三张图像进行融合，以此类推。

这里需要说明的是，在图像融合过程中，尺度的具体值等均可根据实际需求来进行设置，本申请实施例并不局限于此。

因此，本申请实施例的技术方案能够使整个过程从自动调焦到图像采集，再到图像的配准融合都有很大的效率提升，经过本申请中的融合规则融合之后，原本分处于各个图像中清晰的部分被很好地融合进了一张图像中，即全聚焦图像，降低了操作者的操作难度，降低了手术治疗时间，提升了患者的手术体验。

应理解，上述图像融合装置仅是示例性的，本领域技术人员根据上述的方法可以进行各种变形，该变形之后的方案也属于本申请的保护范围。

本领域内的技术人员应明白，本发明的实施例可提供为方法、***或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例，或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备（***）和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。

应当注意的是，位于部件之前的词语“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了的若干装置中，这些装置中的若干个可以是通过同一个硬件来具体体现。词语第一、第二、第三等的使用，仅是为了表述方便，而不表示任何顺序。可将这些词语理解为部件名称的一部分。

此外，需要说明的是，在本说明书的描述中，术语“一个实施例”、“一些实施例”、“实施例”、“示例”、“具体示例”或“一些示例”等的描述，是指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管已描述了本发明的优选实施例，但本领域的技术人员在得知了基本创造性概念后，则可对这些实施例作出另外的变更和修改。所以，技术方案应该解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种修改和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明技术方案及其等同技术的范围之内，则本发明也应该包含这些修改和变型在内。

Claims (7)

1.一种图像融合装置，其特征在于，包括：

获取模块，用于获取携带有选定倍率的图像采集指令；

采集模块，用于基于所述图像采集指令，采集与所述选定倍率对应的多个景深中每个景深内的牙齿图像；

图像配准模块，用于对多个所述牙齿图像进行图像配准，得到配准后的图像；

图像融合模块，用于对所有所述配准后的图像进行图像融合，得到融合后的图像；

多个所述牙齿图像包括第一牙齿图像和除所述第一牙齿图像之外的其他牙齿图像，所述第一牙齿图像为多个所述牙齿图像中任意一张牙齿图像；

所述图像配准模块，具体用于：对多个所述牙齿图像中每个所述牙齿图像进行颜色转换处理，以获得多个灰度图像；其中，所述多个灰度图像中每个灰度图像均与一个所述牙齿图像对应；提取所述每个灰度图像的多个特征点，并确定所述每个灰度图像的多个特征点中每个特征点的方向；基于所述每个特征点的方向，计算所述每个特征点的BRIEF描述子；基于所述每个特征点的BRIEF描述子进行第一牙齿图像和第二牙齿图像的特征点匹配，以得到同名特征点；其中，所述第二牙齿图像为所述其他牙齿图像中需进行配准的当前牙齿图像；基于所述同名特征点对所述第一牙齿图像和所述第二牙齿图像进行图像配准，得到所述配准后的图像；

所述图像配准模块，具体用于：获取以当前灰度图像的当前像素点为圆心的第一预设半径内的所有像素点，并获取以所述当前像素点为圆心的第二预设半径内的所有指定像素点；其中，所述第二预设半径大于所述第一预设半径，所述所有指定像素点为以所述当前像素点为圆心的第二预设半径内的除指定时钟方向之外的剩余像素点；在所述所有指定像素点的值均大于所述所有像素点的值、且所述所有像素点的值均大于所述当前像素点的值、以及所述指定像素点的值和所述所有像素点的值之间的差值的差值绝对值大于特征值，且所述特征值为所述所有像素点的值和所述当前像素点的值之间的差值再除以b的余值的余值绝对值情况下，将所述当前像素点确定为所述特征点，或者在所述所有指定像素点的值均小于所述所有像素点的值、且所述所有像素点的值均小于所述当前像素点的值、以及所述指定像素点的值和所述所有像素点的值之间的差值的差值绝对值大于所述特征值的情况下，将所述当前像素点确定为所述特征点；b为预设的正整数。

2.根据权利要求1所述的图像融合装置，其特征在于，所述图像融合装置还包括：

前期标定模块，用于：在所述基于所述图像采集指令，采集与所述选定倍率对应的多个景深中每个景深内的牙齿图像之前，从多个目标倍率中每个目标倍率下的有效工作距离中选取多个标定点；确定所述每个目标倍率对应的多个标定点中每个标定点的实际最佳焦距；其中，所述实际最佳焦距为在对应的标定点下图像清晰度最大的焦距位置；基于所述每个目标倍率下的有效工作距离进行拟合计算，以得到所述每个目标倍率对应的每个标定点的理论最佳焦距，并计算每个所述理论最佳焦距及其对应的实际最佳焦距的焦距差值；基于所述焦距差值进行拟合计算，以得到所有倍率中每个倍率及其对应的焦距差值的范围。

3.根据权利要求2所述的图像融合装置，其特征在于，所述采集模块，具体用于：获取调焦过程中相机每次拍摄所述牙齿图像的时间间隔；基于所述时间间隔，计算每间隔所述时间间隔后的焦距，并基于所述每间隔所述时间间隔后的焦距，确定所述选定倍率对应的多个景深；基于所述选定倍率对应的多个景深，计算电机的转速；基于所述所有倍率中每个倍率及其对应的焦距差值的范围，确定所述选定倍率对应的焦距差值的范围；基于所述电机的转速和所述选定倍率对应的焦距差值的范围进行牙齿图像的采集，以获取所述多个景深中每个景深内的牙齿图像。

4.根据权利要求1所述的图像融合装置，其特征在于，所述图像配准模块，具体用于：判断所述当前像素点是否处于已经确定出的特征点的窗口范围内；其中，所述已经确定出的特征点的窗口范围是指以所述已经确定出的特征点为圆心且以所述第二预设半径为半径的窗口范围；若所述当前像素点未处于所述已经确定出的特征点的窗口范围内，则获取以所述当前像素点为圆心的第一预设半径内的所有像素点。

5.根据权利要求4所述的图像融合装置，其特征在于，所述图像配准模块，具体用于若所述当前像素点处于所述已经确定出的特征点的窗口范围内，则确定所述当前像素点不是所述特征点。

6.根据权利要求1所述的图像融合装置，其特征在于，所述图像融合模块，具体用于：对当前待融合的两个配准后的图像中每个配准后的图像进行多尺度分解，得到所述每个配准后的图像对应的一个低通子带图像和多个高通子带图像；确定所述每个配准后的图像对应的低通子带图像的低频子带最终融合系数矩阵；对所述每个配准后的图像对应的多个高通子带图像进行方向局部化，得到所述每个配准后的图像对应的多个方向的子带图像，并采用系数绝对值取大融合策略对所述每个配准后的图像对应的多个方向的子带图像进行处理，以得到所述每个配准后的图像对应的高频子带系数融合后的矩阵；将所述低频子带最终融合系数矩阵和所述高频子带系数融合后的矩阵合并后进行INSST变换，以得到融合后的灰度图像；基于所述融合后的灰度图像，得到所述融合后的图像。

7.根据权利要求6所述的图像融合装置，其特征在于，所述图像融合模块，具体用于：获取所述当前待融合的两个配准后的图像对应的两个牙齿图像经颜色转换处理后得到的除所述灰度图像之外的其他两个通道的图像数据，并采用所述系数绝对值取大融合策略对所述其他两个通道的图像数据进行处理，得到融合处理后的图像数据，以及对所述融合后的灰度图像和所述融合处理后的图像数据进行合并，得到合并后的数据，并将所述合并后的数据转换到RGB颜色空间，得到所述融合后的图像。