CN111709976B - 一种显微图像的快速配准方法、***及计算机设备 - Google Patents

一种显微图像的快速配准方法、***及计算机设备 Download PDF

Info

Publication number
CN111709976B
CN111709976B CN202010855368.1A CN202010855368A CN111709976B CN 111709976 B CN111709976 B CN 111709976B CN 202010855368 A CN202010855368 A CN 202010855368A CN 111709976 B CN111709976 B CN 111709976B
Authority
CN
China
Prior art keywords
neural network
stage
image
convolutional neural
homography matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010855368.1A
Other languages
English (en)
Other versions
CN111709976A (zh
Inventor
王军华
向北海
许会
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Guokezhitong Technology Co ltd
Original Assignee
Hunan Guokezhitong Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Guokezhitong Technology Co ltd filed Critical Hunan Guokezhitong Technology Co ltd
Priority to CN202010855368.1A priority Critical patent/CN111709976B/zh
Publication of CN111709976A publication Critical patent/CN111709976A/zh
Application granted granted Critical
Publication of CN111709976B publication Critical patent/CN111709976B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种显微图像的快速配准方法、***及计算机设备，该快速配准方法采用端到端的方式从输入的待配准图像中直接估计单应矩阵，避免了人为选定特征的局限性；采用无监督方式进行端到端的深度卷积神经网络的训练，避免了大量合成训练样本集的需求，使训练后的模型在真实数据集中匹配效果好；在提取高层特征的同时获得待配准图像的显著性掩模，利用显著性掩模有效剔除了干扰匹配，便于显著性区域的特征匹配，提高了匹配的精度；采用双阶段显微图像配准模型，实现了由粗到细的单应矩阵估计，有效提高配准精度。本发明提供的快速配准方法可实现快速、精准的显微图像配准，对低光、低纹理以及非平面变换的图像配准效果好。

Description

一种显微图像的快速配准方法、***及计算机设备
技术领域
本发明涉及显微图像处理技术领域，尤其是一种显微图像的快速配准方法、***及计算机设备。
背景技术
传统显微镜在疾病诊断和病理研究中，存在着操作步骤多、工作量大、资源共享难、不能长期保存等诸多问题，针对于上述问题，病理切片的数字化技术应运而生。数字切片扫描仪是指将玻片上的细胞或组织切片进行扫描、拼接获得全切片数字显微图像的设备，数字切片扫描仪中的图像拼接技术对获得高质量的全切片数字显微图像至关重要。
显微图像拼接技术包括图像配准和图像融合两个步骤，其中，图像配准是第一个步骤也是至关重要的一个步骤。图像配准是指将具有部分重叠区域的两幅图像进行对齐的过程，即将不同时间的图像上的点一一对应起来。传统的图像配准方法需要人为选定某些特征作为图像配准的依据，特征选取以及特征匹配算法的优劣直接关系到最终的精度和速度，且针对不同类型图像配准任务往往不具备通用性，尤其是对于低光图像、低纹理图像以及重复纹理图像的配准效果差。
发明内容
本发明提供一种显微图像的快速配准方法、***及计算机设备，用于克服现有技术中配准精度低、速度低等缺陷。
为实现上述目的，本发明提出一种显微图像的快速配准方法，包括：
获取局部显微图像，提取局部显微图像中相邻两张局部显微图像的重叠区域，若干所述重叠区域构成训练集；
构建双阶段显微图像配准模型，所述双阶段显微图像配准模型包括第一阶段深度卷积神经网络和级联了双特征图的第二阶段深度卷积神经网络；
采用无监督方式，利用所述训练集对所述第一阶段深度卷积神经网络进行单独训练，获得第一阶段深度卷积神经网络的参数值；
按所述参数值固定第一阶段深度卷积神经网络，利用第一阶段深度卷积神经网络获得显著性掩模对、具有权衡项的加权特征图对和第一单应矩阵，根据所述显著性掩模对和第一单应矩阵，获得显著性特征图对；
将所述训练集和所述显著性特征图对输入第二阶段深度卷积神经网络，获得第二单应矩阵，并获得训练好的双阶段显微图像配准模型；
利用训练好的双阶段显微图像配准模型对待配准重叠区域进行配准，获得第二单应矩阵，利用第二单应矩阵对待配准重叠区域中的一张图像进行形变，并进行待配准重叠区域的对齐。
为实现上述目的，本发明还提出一种显微图像的快速配准***，包括：
获取训练集模块，用于获取局部显微图像，提取局部显微图像中相邻两张局部显微图像的重叠区域，若干所述重叠区域构成训练集；
模型构建模块，用于构建双阶段显微图像配准模型，所述双阶段显微图像配准模型包括第一阶段深度卷积神经网络和级联了双特征图的第二阶段深度卷积神经网络；
模型训练模块，用于采用无监督方式，利用所述训练集对所述第一阶段深度卷积神经网络进行单独训练，获得第一阶段深度卷积神经网络的参数值；按所述参数值固定第一阶段深度卷积神经网络，利用第一阶段深度卷积神经网络获得显著性掩模对、具有权衡项的加权特征图对和第一单应矩阵，根据所述显著性掩模对和第一单应矩阵，获得显著性特征图对；将所述训练集和所述显著性特征图对输入第二阶段深度卷积神经网络，获得第二单应矩阵，并获得训练好的双阶段显微图像配准模型；
图像配准模块，用于利用训练好的双阶段显微图像配准模型对待配准重叠区域进行配准，获得第二单应矩阵，利用第二单应矩阵对待配准重叠区域中的一张图像进行形变，并进行待配准重叠区域的对齐。
为实现上述目的，本发明还提出一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述所述方法的步骤。
为实现上述目的，本发明还提出一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述所述的方法的步骤。
与现有技术相比，本发明的有益效果有：
本发明提供的显微图像的快速配准方法，采用端到端的方式从输入的待配准图像中直接估计单应矩阵，避免了人为选定特征的局限性，同时相比传统方法，配准速度显著提高；采用无监督方式进行端到端的深度卷积神经网络的训练，避免了大量合成训练样本集的需求，使训练后的模型在真实数据集中匹配效果好；在提取高层特征的同时获得待配准图像的显著性掩模，利用显著性掩模有效剔除了干扰匹配，便于显著性区域的特征匹配，提高了匹配的精度；采用双阶段显微图像配准模型，实现了由粗到细的单应矩阵估计，有效提高配准精度。本发明提供的快速配准方法可实现快速、精准的显微图像配准，对低光、低纹理以及非平面变换的图像配准效果好。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1为本发明提供的显微图像的快速配准方法流程图；
图2为本发明提供的显微图像的快速配准方法流程结构图；
图3为本发明提供的Deep Homography-S网络结构图；
图4为本发明提供的单应矩阵估计子网络结构图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
另外，本发明各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
本发明提出一种显微图像的快速配准方法，如图1和图2所示，包括：
101：获取局部显微图像，提取局部显微图像中相邻两张局部显微图像的重叠区域，若干所述重叠区域构成训练集；
利用高倍率的数字切片扫描仪采集若干玻片中细胞或组织切片的不同视野下的局部显微图像，在采集不同视野下的局部显微图像时，需要保证相邻的局部显微图像之间存在重叠区域。
102：构建双阶段显微图像配准模型，双阶段显微图像配准模型包括第一阶段深度卷积神经网络（Deep Homography-S网络）和级联了双特征图的第二阶段深度卷积神经网络（Deep Homography-S网络）；
双特征图，指显著性特征图和具有权衡项的加权特征图。
103：采用无监督方式，利用训练集对第一阶段深度卷积神经网络进行单独训练，获得第一阶段深度卷积神经网络的参数值；
无监督方式，是指输入数据没有标记，也没有确定的结果，即训练样本没有对应的类别，需要根据样本间的相似性对样本集进行分类。
104：按参数值固定第一阶段深度卷积神经网络，利用第一阶段深度卷积神经网络获得显著性掩模对、具有权衡项的加权特征图对和第一单应矩阵，根据所述显著性掩模对和第一单应矩阵，获得显著性特征图对；
由于重叠区域包括两张重叠的图像，因此显著性掩模、具有权衡项的加权特征图均是成对的。
第一单应矩阵，为第一阶段深度卷积神经网络获得的单应矩阵，该第一单应矩阵为粗略的单应矩阵。
105：将所述训练集和所述显著性特征图对输入第二阶段深度卷积神经网络，获得第二单应矩阵，并获得训练好的双阶段显微图像配准模型；
第二单应矩阵，为第二阶段深度卷积神经网络获得的单应矩阵，该第二单应矩阵为精细的单应矩阵。
106：利用训练好的双阶段显微图像配准模型对待配准重叠区域进行配准，获得第二单应矩阵，利用第二单应矩阵对待配准重叠区域中的一张图像进行形变，并进行待配准重叠区域的对齐。
本发明提供的显微图像的快速配准方法，采用端到端的方式从输入的待配准图像中直接估计单应矩阵，避免了人为选定特征的局限性，同时相比传统方法，配准速度显著提高；采用无监督方式进行端到端的深度卷积神经网络的训练，避免了大量合成训练样本集的需求，使训练后的模型在真实数据集中匹配效果好；在提取高层特征的同时获得待配准图像的显著性掩模，利用显著性掩模有效剔除了干扰匹配，便于显著性区域的特征匹配，提高了匹配的精度；采用双阶段显微图像配准模型，实现了由粗到细的单应矩阵估计，有效提高配准精度。本发明提供的快速配准方法可实现快速、精准的显微图像配准，对低光、低纹理以及非平面变换的图像配准效果好。
在其中一个实施例中，对于步骤102，第一阶段深度卷积神经网络和第二阶段深度卷积神经网络的网络结构相同，包括特征提取子网络、显著性掩模提取子网络以及单应矩阵估计子网络；
特征提取子网络包括3个卷积层，用于对输入的图像进行特征提取获得特征图
Figure 313070DEST_PATH_IMAGE001
，如图3所示；
特征提取子网络F为全卷积网络（FCN），其输入是大小为H×W×1的灰度图像，输出是大小为H×W×C（H为高度，W为宽度，C为通道数）的特征图。该特征提取子网络由3个卷积层（c1、c2、c3）组成，每个卷积层的卷积核大小为3×3，步长为1，每个卷积层的特征图数量依次为4、8、1。对于重叠区域中的图像I 1和I 2，将其分别输入特征提取子网络F，生成对应的特征图F 1和F 2，重叠区域的两张图像训练时共享权值。
显著性掩模提取子网络M包括5个卷积层，用于对输入的图像进行掩模提取获得显著性掩模，并利用所述显著性掩模对相应的特征图进行加权获得具有权衡项的加权特征图，如图3所示；
显著性掩模提取子网络M为全卷积网络（FCN），其输入是大小为H×W×1的灰度图像，输出是大小为H×W×C的显著性掩模。该显著性掩模提取子网络由5个卷积层（c1、c2、c3、c4、c5）组成，每个卷积层的卷积核大小为3×3，步长为1，每个卷积层的特征图数量依次为4、8、16、32、1。对于重叠区域中的图像I 1和I 2，将其分别输入显著性掩模提取子网络，生成对应的显著性掩模M 1和M 2。
显著性掩模
Figure 196712DEST_PATH_IMAGE002
可以有效过滤特征图
Figure 404840DEST_PATH_IMAGE003
中的干扰区域（孤立点），并保留其中的重要区域。
第一阶段深度卷积神经网络和第二阶段深度卷积神经网络的网络结构相同，但实质上是有区别的：
第一阶段深度卷积神经网络的输入为重叠区域的两幅图像I 1和I 2，输出为第一单应矩阵，训练时3个子网络的参数值会更新。
第二阶段深度卷积神经网络的输入为重叠区域的两幅图像以及由第一阶段的输出获得的显著性图像对，特征提取子网络和显著性掩模提取子网络的参数固定（和第一阶段一样），首先对输入的两幅图像分别提取具有权衡项的加权特征图，然后和输入的显著性图像对级联，输入单应矩阵估计子网络输出第二单应矩阵，训练时会微调单应矩阵估计子网络的参数。
如图3所示，重叠区域的两张图像I 1和I 2分别输入Deep Homography-S网络，I 1和I 2分别经过Deep Homography-S网络中的特征提取子网络F和显著性掩模提取子网络M获得特征图F 1和F 2、显著性掩模M 1和M 2。
在某个实施例中，利用显著性掩模对相应的特征图进行加权获得具有权衡项的加权特征图，包括：
利用显著性掩模
Figure 373933DEST_PATH_IMAGE004
对相应的特征图
Figure 60129DEST_PATH_IMAGE005
进行加权获得具有权衡项的加权特征图，
Figure 63857DEST_PATH_IMAGE006
式中，
Figure 442886DEST_PATH_IMAGE007
为具有权衡项的加权特征图，i=1,2…；
Figure 899275DEST_PATH_IMAGE008
和
Figure 890627DEST_PATH_IMAGE009
为权衡项。
获得重叠区域的两张图像I 1和I 2的特征图F 1和F 2以及对应的显著性掩模M 1和M 2后，利用各自的显著性掩模M 1和M 2对特征图F 1和F 2加权，再分别加上一个大小为H×W×C的权衡项
Figure 217703DEST_PATH_IMAGE010
和
Figure 33212DEST_PATH_IMAGE011
，权衡项
Figure 711318DEST_PATH_IMAGE012
和
Figure 270476DEST_PATH_IMAGE013
简化了显著性掩模的学习过程。
单应矩阵估计子网络包括3个Dense Block模块和2个Transition模块，用于对输入的图像进行处理获得单应矩阵，如图4所示；
单应矩阵估计子网络O采用DenseNet网络结构，第一阶段深度卷积神经网络中的单应矩阵估计子网络O其输入是大小为H×W×2C的具有权衡项的加权特征图对
Figure 983217DEST_PATH_IMAGE014
（即级联的具有权衡项的加权特征图G1和G2），输出具有8自由度的单应矩阵；第二阶段深度卷积神经网络中的单应矩阵估计子网络O其输入是大小为H×W×4C的双特征图（双特征图：具有权衡项的加权特征图对和显著性特征图对），输出具有8自由度的单应矩阵。
DenseNet网络结构如图4所示，主要包括3个Dense Block模块（Dense Block1、Dense Block2和Dense Block3）和2个Transition模块（Transition1和Transition2）。
在某个实施例中，Dense Block模块用于对输入的图像进行高层特征提取，包括4个非线性组合处理层（B），每个所述非线性组合处理层依次包括批标准化（BatchNormalization，BN）、线性整流函数（ReLU）以及卷积层（3×3的Conv），每层非线性组合处理层的输入为前面所有层输出数据的级联；
Dense Block模块中的X0为输入数据，X1、X2、X3、X4为非线性组合处理层处理后的输出数据，每层的输入为前面所有层的输出数据的级联。
Transition模块用于连接两个相邻的Dense Block模块并通过池化操作降低特征大小，包括卷积层（1×1的Conv）和平均池化层（2×2的Average Pooling）。
在某个实施例中，对于单应矩阵估计子网络O，对于其输入，在进入第一个DenseBlock之前，首先进行一次3×3的卷积操作（步长为1），然后依次经过Dense Block1、Transition1、Dense Block2、Transition2、Dense Block3进行高层特征学习，最后进入全局池化层和全连接层，输出固定大小的特征向量（4×2），基于4个2D的特征向量，利用一个线性***求解器直接输出具有8自由度的单应矩阵H 12。
在下一个实施例中，对于步骤103，采用无监督方式，利用训练集对第一阶段深度卷积神经网络进行单独训练，获得第一阶段深度卷积神经网络的参数值，包括：
采用无监督方式，利用训练集对第一阶段深度卷积神经网络进行单独训练，单独训练采用两阶段训练方式：
第一阶段训练，禁用所述显著性掩模提取子网络中的显著性掩模提取模块，迭代训练若干次；禁用显著性掩模提取模块，将特征提取子网络输出的特征图
Figure 438469DEST_PATH_IMAGE015
直接输入单应矩阵估计子网络。
第二阶段训练，利用所述显著性掩模提取子网络中的显著性掩模提取模块对特征提取子网络输出的特征图
Figure 603871DEST_PATH_IMAGE016
进行加权，获得具有权衡项的加权特征图，并利用所述具有权衡项的加权特征图来微调第一阶段深度卷积神经网络，获得第一阶段深度卷积神经网络的参数值。
在本实施例中，第二阶段深度卷积神经网络的训练方法为：基于训练好的第一阶段深度卷积神经网络，固定特征提取子网络和显著性掩模提取子网络的参数，利用输入待配准图像对以及显著性特征图像对微调单应矩阵估计子网络，获得训练好的第二阶段深度卷积神经网络。
在某个实施例中，第一阶段深度卷积神经网络训练时采用的损失函数为：
Figure 435561DEST_PATH_IMAGE017
Figure 268387DEST_PATH_IMAGE018
Figure 894541DEST_PATH_IMAGE019
式中，
Figure 547239DEST_PATH_IMAGE020
为重叠区域中原始图像I 1和I 2输入第一阶段深度卷积神经网络后获得的单应矩阵；
Figure 675296DEST_PATH_IMAGE021
为互换重叠区域中原始图像I 1和I 2位置后的单应矩阵；
Figure 831470DEST_PATH_IMAGE022
为利用单应矩阵
Figure 894104DEST_PATH_IMAGE023
对原始图像I 1进行形变后的图像；
Figure 34099DEST_PATH_IMAGE024
为利用单应矩阵
Figure 473170DEST_PATH_IMAGE025
对原始图像I 2进行形变后的图像；
Figure 749431DEST_PATH_IMAGE026
为对图像
Figure 982966DEST_PATH_IMAGE027
进行特征提取获得的特征图；
Figure 610256DEST_PATH_IMAGE028
为对图像
Figure 587440DEST_PATH_IMAGE029
进行特征提取获得的特征图；
Figure 718207DEST_PATH_IMAGE030
为利用单应矩阵
Figure 122643DEST_PATH_IMAGE031
对原始图像I 1的显著性掩模M 1进行形变后的图像；
Figure 237230DEST_PATH_IMAGE032
为L1损失；
Figure 752525DEST_PATH_IMAGE033
为L2损失；
Figure 770422DEST_PATH_IMAGE034
为平衡超参数；E为三阶恒等矩阵。
在下一个实施例中，对于步骤104，根据所述显著性掩模对和第一单应矩阵，获得显著性特征图对，包括：
401：利用所述第一单应矩阵对重叠区域中的一张图像I 1进行扭曲，获得形变图像
Figure 345760DEST_PATH_IMAGE035
；
402：将所述形变图像
Figure 682063DEST_PATH_IMAGE036
跟所述显著性掩模对中与所述形变图像对应的显著性掩模M 1进行级联，将所述显著性掩模对中的另一个显著性掩模M 2跟重叠区域中的另一张图像I 2进行级联；
403：将级联后的图像分别输入第一阶段深度卷积神经网络，获得显著性特征图对。
即将步骤402中两次级联的图像分别输入第一阶段深度卷积神经网络中的特征提取子网络中，获得两张显著性特征图，两张显著性特征图形成显著性特征图对。
本发明还提出一种显微图像的快速配准***，包括：
获取训练集模块，用于获取局部显微图像，提取局部显微图像中相邻两张局部显微图像的重叠区域，若干所述重叠区域构成训练集；
模型构建模块，用于构建双阶段显微图像配准模型，所述双阶段显微图像配准模型包括第一阶段深度卷积神经网络和级联了双特征图的第二阶段深度卷积神经网络；
模型训练模块，用于采用无监督方式，利用所述训练集对所述第一阶段深度卷积神经网络进行单独训练，获得第一阶段深度卷积神经网络的参数值；按所述参数值固定第一阶段深度卷积神经网络，利用第一阶段深度卷积神经网络获得显著性掩模对、具有权衡项的加权特征图对和第一单应矩阵，根据所述显著性掩模对和第一单应矩阵，获得显著性特征图对；将所述训练集和所述显著性特征图对输入第二阶段深度卷积神经网络，获得第二单应矩阵，并获得训练好的双阶段显微图像配准模型；
图像配准模块，用于利用训练好的双阶段显微图像配准模型对待配准重叠区域进行配准，获得第二单应矩阵，利用第二单应矩阵对待配准重叠区域中的一张图像进行形变，并进行待配准重叠区域的对齐。
在其中一个实施例中，对于模型构建模块，第一阶段深度卷积神经网络和第二阶段深度卷积神经网络的网络结构相同，包括特征提取子网络、显著性掩模提取子网络以及单应矩阵估计子网络；
特征提取子网络包括3个卷积层，用于对输入的图像进行特征提取获得特征图
Figure 266628DEST_PATH_IMAGE037
，如图3所示；
特征提取子网络F为全卷积网络（FCN），其输入是大小为H×W×1的灰度图像，输出是大小为H×W×C（H为高度，W为宽度，C为通道数）的特征图。该特征提取子网络由3个卷积层（c1、c2、c3）组成，每个卷积层的卷积核大小为3×3，步长为1，每个卷积层的特征图数量依次为4、8、1。对于重叠区域中的图像I 1和I 2，将其分别输入特征提取子网络F，生成对应的特征图F 1和F 2，重叠区域的两张图像训练时共享权值。
显著性掩模提取子网络M包括5个卷积层，用于对输入的图像进行掩模提取获得显著性掩模，并利用所述显著性掩模对相应的特征图进行加权获得具有权衡项的加权特征图，如图3所示；
显著性掩模提取子网络M为全卷积网络（FCN），其输入是大小为H×W×1的灰度图像，输出是大小为H×W×C的显著性掩模。该显著性掩模提取子网络由5个卷积层（c1、c2、c3、c4、c5）组成，每个卷积层的卷积核大小为3×3，步长为1，每个卷积层的特征图数量依次为4、8、16、32、1。对于重叠区域中的图像I 1和I 2，将其分别输入显著性掩模提取子网络，生成对应的显著性掩模M 1和M 2。
显著性掩模
Figure 371987DEST_PATH_IMAGE038
可以有效过滤特征图
Figure 118226DEST_PATH_IMAGE039
中的干扰区域（孤立点），并保留其中的重要区域。
第一阶段深度卷积神经网络和第二阶段深度卷积神经网络的网络结构相同，但实质上是有区别的：
第一阶段深度卷积神经网络的输入为重叠区域的两幅图像I 1和I 2，输出为第一单应矩阵，训练时3个子网络的参数值会更新。
第二阶段深度卷积神经网络的输入为重叠区域的两幅图像以及由第一阶段的输出获得的显著性图像对，特征提取子网络和显著性掩模提取子网络的参数固定（和第一阶段一样），首先对输入的两幅图像分别提取具有权衡项的加权特征图，然后和输入的显著性图像对级联，输入单应矩阵估计子网络输出第二单应矩阵，训练时会微调单应矩阵估计子网络的参数。
如图3所示，重叠区域的两张图像I 1和I 2分别输入Deep Homography-S网络，I 1和I 2分别经过Deep Homography-S网络中的特征提取子网络F和显著性掩模提取子网络M获得特征图F 1和F 2、显著性掩模M 1和M 2。
在某个实施例中，对于模型构建模块，利用显著性掩模对相应的特征图进行加权获得具有权衡项的加权特征图，包括：
利用显著性掩模
Figure 676247DEST_PATH_IMAGE040
对相应的特征图
Figure 64503DEST_PATH_IMAGE041
进行加权获得具有权衡项的加权特征图，
Figure 24368DEST_PATH_IMAGE042
式中，
Figure 941509DEST_PATH_IMAGE043
为具有权衡项的加权特征图，i=1,2…；
Figure 252405DEST_PATH_IMAGE044
和
Figure 913193DEST_PATH_IMAGE045
为权衡项。
获得重叠区域的两张图像I 1和I 2的特征图F 1和F 2以及对应的显著性掩模M 1和M 2后，利用各自的显著性掩模M 1和M 2对特征图F 1和F 2加权，再分别加上一个大小为H×W×C的权衡项
Figure 727565DEST_PATH_IMAGE012
和
Figure 845301DEST_PATH_IMAGE046
，权衡项
Figure 377913DEST_PATH_IMAGE012
和
Figure 842392DEST_PATH_IMAGE046
简化了显著性掩模的学习过程。
单应矩阵估计子网络包括3个Dense Block模块和2个Transition模块，用于对输入的图像进行处理获得单应矩阵，如图4所示；
单应矩阵估计子网络O采用DenseNet网络结构，第一阶段深度卷积神经网络中的单应矩阵估计子网络O其输入是大小为H×W×2C的具有权衡项的加权特征图对
Figure 511271DEST_PATH_IMAGE047
（即级联的具有权衡项的加权特征图G1和G2），输出具有8自由度的单应矩阵；第二阶段深度卷积神经网络中的单应矩阵估计子网络O其输入是大小为H×W×4C的双特征图（双特征图：具有权衡项的加权特征图对和显著性特征图对），输出具有8自由度的单应矩阵。
DenseNet网络结构如图4所示，主要包括3个Dense Block模块（Dense Block1、Dense Block2和Dense Block3）和2个Transition模块（Transition1和Transition2）。
在某个实施例中，对于模型构建模块，Dense Block模块用于对输入的图像进行高层特征提取，包括4个非线性组合处理层（B），每个所述非线性组合处理层依次包括批标准化（Batch Normalization，BN）、线性整流函数（ReLU）以及卷积层（3×3的Conv），每层非线性组合处理层的输入为前面所有层输出数据的级联；
Dense Block模块中的X0为输入数据，X1、X2、X3、X4为非线性组合处理层处理后的输出数据，每层的输入为前面所有层的输出数据的级联。
Transition模块用于连接两个相邻的Dense Block模块并通过池化操作降低特征大小，包括卷积层（1×1的Conv）和平均池化层（2×2的Average Pooling）。
在某个实施例中，对于模型构建模块，对于单应矩阵估计子网络O，对于其输入，在进入第一个Dense Block之前，首先进行一次3×3的卷积操作（步长为1），然后依次经过Dense Block1、Transition1、Dense Block2、Transition2、Dense Block3进行高层特征学习，最后进入全局池化层和全连接层，输出固定大小的特征向量（4×2），基于4个2D的特征向量，利用一个线性***求解器直接输出具有8自由度的单应矩阵H 12。
在下一个实施例中，对于模型训练模块，采用无监督方式，利用训练集对第一阶段深度卷积神经网络进行单独训练，获得第一阶段深度卷积神经网络的参数值，包括：
采用无监督方式，利用训练集对第一阶段深度卷积神经网络进行单独训练，单独训练采用两阶段训练方式：
第一阶段训练，禁用所述显著性掩模提取子网络中的显著性掩模提取模块，迭代训练若干次；禁用显著性掩模提取模块，将特征提取子网络输出的特征图
Figure 301373DEST_PATH_IMAGE048
直接输入单应矩阵估计子网络。
第二阶段训练，利用所述显著性掩模提取子网络中的显著性掩模提取模块对特征提取子网络输出的特征图
Figure 321281DEST_PATH_IMAGE049
进行加权，获得具有权衡项的加权特征图，并利用所述具有权衡项的加权特征图来微调第一阶段深度卷积神经网络，获得第一阶段深度卷积神经网络的参数值。
在本实施例中，第二阶段深度卷积神经网络的训练方法为：基于训练好的第一阶段深度卷积神经网络，固定特征提取子网络和显著性掩模提取子网络的参数，利用输入待配准图像对以及显著性特征图像对微调单应矩阵估计子网络，获得训练好的第二阶段深度卷积神经网络。
在某个实施例中，对于模型训练模块，第一阶段深度卷积神经网络训练时采用的损失函数为：
Figure 323872DEST_PATH_IMAGE050
Figure 112837DEST_PATH_IMAGE051
Figure 808260DEST_PATH_IMAGE052
式中，
Figure 315465DEST_PATH_IMAGE053
为重叠区域中原始图像I 1和I 2输入第一阶段深度卷积神经网络后获得的单应矩阵；
Figure 121747DEST_PATH_IMAGE054
为互换重叠区域中原始图像I 1和I 2位置后的单应矩阵；
Figure 30797DEST_PATH_IMAGE055
为利用单应矩阵
Figure 631543DEST_PATH_IMAGE056
对原始图像I 1进行形变后的图像；
Figure 127508DEST_PATH_IMAGE057
为利用单应矩阵
Figure 737481DEST_PATH_IMAGE058
对原始图像I 2进行形变后的图像；
Figure 501038DEST_PATH_IMAGE059
为对图像
Figure 272685DEST_PATH_IMAGE060
进行特征提取获得的特征图；
Figure 754482DEST_PATH_IMAGE061
为对图像
Figure 902566DEST_PATH_IMAGE062
进行特征提取获得的特征图；
Figure 786209DEST_PATH_IMAGE063
为利用单应矩阵
Figure 994336DEST_PATH_IMAGE064
对原始图像I 1的显著性掩模M 1进行形变后的图像；
Figure 963429DEST_PATH_IMAGE065
为L1损失；
Figure 915205DEST_PATH_IMAGE066
为L2损失；
Figure 653354DEST_PATH_IMAGE067
为平衡超参数；E为三阶恒等矩阵。
在下一个实施例中，对于模型训练模块，根据所述显著性掩模对和第一单应矩阵，获得显著性特征图对，包括：
401：利用所述第一单应矩阵对重叠区域中的一张图像I 1进行扭曲，获得形变图像
Figure 536777DEST_PATH_IMAGE068
；
402：将所述形变图像
Figure 993166DEST_PATH_IMAGE027
跟所述显著性掩模对中与所述形变图像对应的显著性掩模M 1进行级联，将所述显著性掩模对中的另一个显著性掩模M 2跟重叠区域中的另一张图像I 2进行级联；
403：将级联后的图像分别输入第一阶段深度卷积神经网络，获得显著性特征图对。
即将步骤402中两次级联的图像分别输入第一阶段深度卷积神经网络中的特征提取子网络中，获得两张显著性特征图，两张显著性特征图形成显著性特征图对。
本发明提出一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述所述方法的步骤。
本发明提出一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述所述的方法的步骤。
以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。

Claims (9)

1.一种显微图像的快速配准方法，其特征在于，包括：
获取局部显微图像，提取局部显微图像中相邻两张局部显微图像的重叠区域，若干所述重叠区域构成训练集；
构建双阶段显微图像配准模型，所述双阶段显微图像配准模型包括第一阶段深度卷积神经网络和级联了双特征图的第二阶段深度卷积神经网络；
采用无监督方式，利用所述训练集对所述第一阶段深度卷积神经网络进行单独训练，获得第一阶段深度卷积神经网络的参数值；
按所述参数值固定第一阶段深度卷积神经网络，利用第一阶段深度卷积神经网络获得显著性掩模对、具有权衡项的加权特征图对和第一单应矩阵，根据所述显著性掩模对和第一单应矩阵，获得显著性特征图对；
将所述训练集和所述显著性特征图对输入第二阶段深度卷积神经网络，获得第二单应矩阵，并获得训练好的双阶段显微图像配准模型；
利用训练好的双阶段显微图像配准模型对待配准重叠区域进行配准，获得第二单应矩阵，利用第二单应矩阵对待配准重叠区域中的一张图像进行形变，并进行待配准重叠区域的对齐；
所述第一阶段深度卷积神经网络和所述第二阶段深度卷积神经网络的网络结构相同，包括特征提取子网络、显著性掩模提取子网络以及单应矩阵估计子网络；
所述特征提取子网络包括3个卷积层，用于对输入的图像进行特征提取获得特征图；
所述显著性掩模提取子网络包括5个卷积层，用于对输入的图像进行掩模提取获得显著性掩模，并利用所述显著性掩模对相应的特征图进行加权获得具有权衡项的加权特征图；
所述单应矩阵估计子网络包括3个Dense Block模块和2个Transition模块，用于对输入的图像进行处理获得单应矩阵；
2.如权利要求1所述的显微图像的快速配准方法，其特征在于，利用所述显著性掩模对相应的特征图进行加权获得具有权衡项的加权特征图，包括：
利用所述显著性掩模
Figure 189367DEST_PATH_IMAGE001
对相应的所述特征图
Figure 218502DEST_PATH_IMAGE002
进行加权获得具有权衡项的加权特征图，
Figure 990149DEST_PATH_IMAGE003
式中，
Figure 268684DEST_PATH_IMAGE004
为具有权衡项的加权特征图，i=1,2…；
Figure 433080DEST_PATH_IMAGE005
和
Figure 785564DEST_PATH_IMAGE006
为权衡项。
3.如权利要求1所述的显微图像的快速配准方法，其特征在于，所述Dense Block模块用于对输入的图像进行高层特征提取，包括4个非线性组合处理层，每个所述非线性组合处理层依次包括批标准化、线性整流函数以及卷积层，每层所述非线性组合处理层的输入为前面所有层输出数据的级联；
所述Transition模块用于连接两个相邻的Dense Block模块并通过池化操作降低特征大小，包括卷积层和平均池化层。
4.如权利要求1所述的显微图像的快速配准方法，其特征在于，采用无监督方式，利用所述训练集对所述第一阶段深度卷积神经网络进行单独训练，获得第一阶段深度卷积神经网络的参数值，包括：
采用无监督方式，利用所述训练集对所述第一阶段深度卷积神经网络进行单独训练，所述单独训练采用两阶段训练方式：
第一阶段训练，禁用所述显著性掩模提取子网络中的显著性掩模提取模块，迭代训练若干次；
第二阶段训练，利用所述显著性掩模提取子网络中的显著性掩模提取模块获得具有权衡项的加权特征图，并利用所述具有权衡项的加权特征图来微调第一阶段深度卷积神经网络，获得第一阶段深度卷积神经网络的参数值。
5.如权利要求4所述的显微图像的快速配准方法，其特征在于，所述第一阶段深度卷积神经网络训练时采用的损失函数为：
Figure 993692DEST_PATH_IMAGE007
Figure 431626DEST_PATH_IMAGE008
Figure 383402DEST_PATH_IMAGE009
式中，
Figure 855971DEST_PATH_IMAGE010
为互换重叠区域中原始图像I 1和I 2位置后的单应矩阵；
Figure 546584DEST_PATH_IMAGE011
为利用单应矩阵
Figure 471815DEST_PATH_IMAGE012
对原始图像I 1进行形变后的图像；
Figure 227282DEST_PATH_IMAGE013
为利用单应矩阵
Figure 288778DEST_PATH_IMAGE014
对原始图像I 2进行形变后的图像；
Figure 838709DEST_PATH_IMAGE015
为对图像
Figure 251235DEST_PATH_IMAGE016
进行特征提取获得的特征图；
Figure 357863DEST_PATH_IMAGE017
为对图像
Figure 539445DEST_PATH_IMAGE018
进行特征提取获得的特征图；
Figure 260277DEST_PATH_IMAGE019
为利用单应矩阵
Figure 160100DEST_PATH_IMAGE020
对原始图像I 1的显著性掩模M 1进行形变后的图像；
Figure 991789DEST_PATH_IMAGE021
为L1损失；
Figure 293458DEST_PATH_IMAGE022
为L2损失；
Figure 185190DEST_PATH_IMAGE023
为平衡超参数；E为三阶恒等矩阵。
6.如权利要求1所述的显微图像的快速配准方法，其特征在于，根据所述显著性掩模对和第一单应矩阵，获得显著性特征图对，包括：
利用所述第一单应矩阵对重叠区域中的一张图像进行扭曲，获得形变图像；
将所述形变图像跟所述显著性掩模对中与所述形变图像对应的显著性掩模进行级联，将所述显著性掩模对中的另一个显著性掩模跟重叠区域中的另一张图像进行级联；
将级联后的图像分别输入第一阶段深度卷积神经网络，获得显著性特征图对。
7.一种显微图像的快速配准***，其特征在于，包括：
获取训练集模块，用于获取局部显微图像，提取局部显微图像中相邻两张局部显微图像的重叠区域，若干所述重叠区域构成训练集；
模型构建模块，用于构建双阶段显微图像配准模型，所述双阶段显微图像配准模型包括第一阶段深度卷积神经网络和级联了双特征图的第二阶段深度卷积神经网络；所述第一阶段深度卷积神经网络和所述第二阶段深度卷积神经网络的网络结构相同，包括特征提取子网络、显著性掩模提取子网络以及单应矩阵估计子网络；所述特征提取子网络包括3个卷积层，用于对输入的图像进行特征提取获得特征图；所述显著性掩模提取子网络包括5个卷积层，用于对输入的图像进行掩模提取获得显著性掩模，并利用所述显著性掩模对相应的特征图进行加权获得具有权衡项的加权特征图；所述单应矩阵估计子网络包括3个DenseBlock模块和2个Transition模块，用于对输入的图像进行处理获得单应矩阵；
模型训练模块，用于采用无监督方式，利用所述训练集对所述第一阶段深度卷积神经网络进行单独训练，获得第一阶段深度卷积神经网络的参数值；按所述参数值固定第一阶段深度卷积神经网络，利用第一阶段深度卷积神经网络获得显著性掩模对、具有权衡项的加权特征图对和第一单应矩阵，根据所述显著性掩模对和第一单应矩阵，获得显著性特征图对；将所述训练集和所述显著性特征图对输入第二阶段深度卷积神经网络，获得第二单应矩阵，并获得训练好的双阶段显微图像配准模型；
图像配准模块，用于利用训练好的双阶段显微图像配准模型对待配准重叠区域进行配准，获得第二单应矩阵，利用第二单应矩阵对待配准重叠区域中的一张图像进行形变，并进行待配准重叠区域的对齐。
8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1~6中任一项所述方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1~6中任一项所述的方法的步骤。
CN202010855368.1A 2020-08-24 2020-08-24 一种显微图像的快速配准方法、***及计算机设备 Active CN111709976B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010855368.1A CN111709976B (zh) 2020-08-24 2020-08-24 一种显微图像的快速配准方法、***及计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010855368.1A CN111709976B (zh) 2020-08-24 2020-08-24 一种显微图像的快速配准方法、***及计算机设备

Publications (2)

Publication Number Publication Date
CN111709976A CN111709976A (zh) 2020-09-25
CN111709976B true CN111709976B (zh) 2020-11-06

Family

ID=72547422

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010855368.1A Active CN111709976B (zh) 2020-08-24 2020-08-24 一种显微图像的快速配准方法、***及计算机设备

Country Status (1)

Country Link
CN (1) CN111709976B (zh)

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101853524A (zh) * 2010-05-13 2010-10-06 北京农业信息技术研究中心 使用图像序列生成玉米果穗全景图的方法
CN102136142B (zh) * 2011-03-16 2013-03-13 内蒙古科技大学 基于自适应三角形网格的非刚性医学图像配准方法
US10235606B2 (en) * 2015-07-22 2019-03-19 Siemens Healthcare Gmbh Method and system for convolutional neural network regression based 2D/3D image registration
US10580131B2 (en) * 2017-02-23 2020-03-03 Zebra Medical Vision Ltd. Convolutional neural network for segmentation of medical anatomical images
CN108269272B (zh) * 2018-01-31 2019-03-22 北京青燕祥云科技有限公司 肝部ct配准方法和***
WO2019152983A2 (en) * 2018-02-05 2019-08-08 Board Of Trustees Of Michigan State University System and apparatus for face anti-spoofing via auxiliary supervision
EP3640837A1 (en) * 2018-10-15 2020-04-22 Koninklijke Philips N.V. System for co-registration of medical images using a classifier
CN109872332B (zh) * 2019-01-31 2022-11-11 广州瑞多思医疗科技有限公司 一种基于u-net神经网络的三维医学图像配准方法
CN110060331A (zh) * 2019-03-14 2019-07-26 杭州电子科技大学 一种基于全卷积神经网络的单目相机室外三维重建方法
CN110473196B (zh) * 2019-08-14 2021-06-04 中南大学 一种基于深度学习的腹部ct图像目标器官配准方法
CN110517213B (zh) * 2019-08-22 2021-11-09 杭州图谱光电科技有限公司 一种显微镜用的基于拉普拉斯金字塔的实时景深延拓方法
CN111091589B (zh) * 2019-11-25 2023-11-17 北京理工大学 基于多尺度监督学习的超声和核磁图像配准方法及装置
CN111179173B (zh) * 2019-12-26 2022-10-14 福州大学 一种基于离散小波变换和坡度融合算法的图像拼接方法
CN111462076B (zh) * 2020-03-31 2023-05-16 湖南国科智瞳科技有限公司 一种全切片数字病理图像模糊区域检测方法及***
CN111476733B (zh) * 2020-04-07 2022-04-29 浙江大学 一种基于不匹配算子的显微镜图像去卷积加速算法

Also Published As

Publication number Publication date
CN111709976A (zh) 2020-09-25

Similar Documents

Publication Publication Date Title
CN110111366B (zh) 一种基于多级损失量的端到端光流估计方法
CN111862126B (zh) 深度学习与几何算法结合的非合作目标相对位姿估计方法
CN105975931B (zh) 一种基于多尺度池化的卷积神经网络人脸识别方法
CN108846426B (zh) 基于深度双向lstm孪生网络的极化sar分类方法
CN110415199B (zh) 基于残差学习的多光谱遥感图像融合方法及装置
WO2023231329A1 (zh) 一种医学图像的语义分割方法及装置
CN109598220B (zh) 一种基于多元输入多尺度卷积的人数统计方法
DE112018007730T5 (de) 3d objekterkennung unter verwendung von 3d konvolutionalen neuronalen netzen mit tiefenbasierten multiskalierungsfiltern
CN114998958B (zh) 一种基于轻量化卷积神经网络的人脸识别方法
CN111325165A (zh) 考虑空间关系信息的城市遥感影像场景分类方法
CN111860683B (zh) 一种基于特征融合的目标检测方法
CN107680116A (zh) 一种监测视频图像中运动目标的方法
CN110598594A (zh) 基于空谱自适应双向长短时记忆模型的高光谱分类方法
CN106447630A (zh) 基于概率矩阵分解的高光谱图像锐化方法
CN114663593B (zh) 三维人体姿态估计方法、装置、设备及存储介质
CN113610905B (zh) 基于子图像匹配的深度学习遥感图像配准方法及应用
CN113255892A (zh) 一种解耦合的网络结构搜索方法、设备及可读存储介质
CN115359294A (zh) 一种基于相似性正则化类内挖掘的跨粒度小样本学习方法
CN110135309B (zh) 基于深度共享表示的sar图像变化检测方法
Wang et al. Multiresolution analysis pansharpening based on variation factor for multispectral and panchromatic images from different times
CN117252928B (zh) 用于电子产品模块化智能组装的视觉图像定位***
Wang et al. Joint depth map super-resolution method via deep hybrid-cross guidance filter
CN111986210B (zh) 一种医学影像小病灶分割方法
CN111709976B (zh) 一种显微图像的快速配准方法、***及计算机设备
CN117853596A (zh) 无人机遥感测绘方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant