CN113298854A - 基于标记点的图像配准方法 - Google Patents

基于标记点的图像配准方法 Download PDF

Info

Publication number
CN113298854A
CN113298854A CN202110585049.8A CN202110585049A CN113298854A CN 113298854 A CN113298854 A CN 113298854A CN 202110585049 A CN202110585049 A CN 202110585049A CN 113298854 A CN113298854 A CN 113298854A
Authority
CN
China
Prior art keywords
image
matrix
points
matching
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110585049.8A
Other languages
English (en)
Other versions
CN113298854B (zh
Inventor
朱德明
魏军
沈烁
田孟秋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Boshi Medical Technology Co ltd
Original Assignee
Guangzhou Boshi Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Boshi Medical Technology Co ltd filed Critical Guangzhou Boshi Medical Technology Co ltd
Priority to CN202110585049.8A priority Critical patent/CN113298854B/zh
Publication of CN113298854A publication Critical patent/CN113298854A/zh
Priority to PCT/CN2022/070425 priority patent/WO2022247296A1/zh
Application granted granted Critical
Publication of CN113298854B publication Critical patent/CN113298854B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10084—Hybrid tomography; Concurrent acquisition with multiple different tomographic modalities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于标记点的图像配准方法，其主要包括下列步骤：输入两个任意模态的医学图像；采用一个预训练的神经网络提取两个输入图像的金字塔特征，该网络的训练过程包含多种不同的任务并涉及上述多种不同的输入模态；利用上述神经网络提取金字塔特征，通过搜索、筛选、匹配等过程得到两个图像间的代表某种语义的多个匹配点对；通过最小化所有匹配点对间点距离的总和，拟合出刚性配准的变换矩阵和位移向量，从而得到刚性配准后的医学图像warped image。以及在刚性配准的基础上，通过基于径向基的插值法得到非刚性配准的位移场三维矩阵，从而得到非刚性配准后的医学图像warped image。借此，能有效解决标记点金标准缺乏的问题。

Description

基于标记点的图像配准方法
技术领域
本发明涉及图像处理领域、深度学习领域、医疗领域，尤其是一种基于标记点的图像配准方法。
背景技术
图像配准在医学图像处理与分析中有众多具有实用价值的应用。随着医学成像设备的进步，对于同一患者，可以采集含有准确解剖信息的多种不同模态的图像，如CT、CBCT、MRI、PET等。然而，通过观察不同图像进行诊断需要凭着空间想象和医生的主观经验。采用正确的图像配准方法则可以将多种多样的信息准确地融合到同一图像中，使医生更方便更精确地从各个角度观察病灶和结构。同时，通过对不同时刻采集的动态图像的配准，可以定量分析病灶和器官的变化情况，使得医疗诊断、制定手术计划、放射治疗计划更准确可靠。
传统的图像配准方法基于相似度目标函数的优化求解问题，容易收敛至局部极小值，尤其对不同模态图像的配准效果较差，且迭代求解的过程耗时较长。而基于标记点的图像配准方法能解决上述问题，但标记点金标准的获得需要耗费医生、专家的大量时间，成本较高。近年来，人们对探索利用人工智进行诊断产生了浓厚的兴趣，并在某些领域利用AI算法建立了表现优于人类医学专家的数学模型。因此有理由相信，利用AI算法对传统图像配准方法进行改进能有效提高图像配准的效果。
公开于该背景技术部分的信息仅仅旨在增加对本发明的总体背景的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域一般技术人员所公知的现有技术。
发明内容
本发明的目的在于提供一种基于标记点的图像配准方法，其能够利用AI算法对传统图像配准方法进行改进能有效提高图像配准的效果。
为实现上述目的，本发明提供了一种基于标记点的图像配准方法，其主要包括下列步骤：输入两个任意模态(CT、CBCT、MRI、PET等)的医学图像，一个作为fixed image，另一个作为moving image；采用一个预训练的神经网络提取两个输入图像的金字塔特征，该网络的训练过程包含多种不同的任务并涉及上述多种不同的输入模态；利用上述神经网络提取金字塔特征，通过搜索、筛选、匹配等过程得到两个图像间的代表某种语义的多个匹配点对；通过最小化所有匹配点对间点距离的总和，拟合出刚性配准的变换矩阵和位移向量，从而得到刚性配准后的医学图像warped image。以及在刚性配准的基础上，通过基于径向基的插值法得到非刚性配准的位移场三维矩阵，从而得到非刚性配准后的医学图像warpedimage。
在一优选的实施方式中，采用一个预训练的神经网络提取两个输入图像的金字塔特征，包括：神经网络的结构分为骨干网络和后续多个分支网络。骨干网络在不同任务间共享，每个分支网络对应一个任务。最后用于提取图像特征的是骨干网络。神经网络的训练过程包含多种不同的任务并涉及多种不同的输入模态，包括但不限于：基于CT的鼻咽癌原发肿瘤(GTV)分割、基于MRI的鼻咽癌原发肿瘤分割、基于CT的子***原发肿瘤分割、基于PET的肺部原发肿瘤分割、基于CT的危及器官(OAR)分割、基于MRI的危及器官分割、基于CBCT的危及器官分割、基于CT的肺结节目标检测等。以及先用其中一个任务训练神经网络，再加上其它输入模态的任务各一个同时训练，再分别对剩余的每个任务单独进行训练，训练时骨干网络参数固定，最后所有任务同时训练微调所有参数。
在一优选的实施方式中，基于标记点的图像配准方法还包括：利用上述神经网络提取金字塔特征，通过搜索、筛选、匹配等过程得到两个图像间的代表某种语义的多个匹配点对，包括以下步骤：把If(fixed image)与Im(moving image)输入上述预训练的神经网络，提取两个输入图像的金字塔特征图(feature map)
Figure BDA0003087816210000031
与
Figure BDA0003087816210000032
其中l∈{1，2，3，4，5}表示第l级特征，数字越大表示层数越深，即特征尺寸越小但蕴含更多高层语义。匹配点的搜索需要在特定的搜索范围内产生，从l＝5开始设置搜索范围：
S5＝{(P5，Q5)}
其中：
Figure BDA0003087816210000033
Figure BDA0003087816210000034
为If的第l级的第n个搜索范围，对应地
Figure BDA0003087816210000035
为Im的第l级的第n个搜索范围，Nl为第l级的搜索范围的个数，Sl为第l级的多个搜索范围对的集合。当l＝5时，搜索范围是
Figure BDA0003087816210000036
与
Figure BDA0003087816210000037
的整个范围，即N5＝1。
通过下式对搜索范围
Figure BDA0003087816210000038
及
Figure BDA0003087816210000039
的特征图
Figure BDA00030878162100000310
与
Figure BDA00030878162100000311
进行变换，得到
Figure BDA00030878162100000312
与
Figure BDA00030878162100000313
Figure BDA00030878162100000314
Figure BDA00030878162100000315
Figure BDA00030878162100000316
Figure BDA00030878162100000317
其中，
Figure BDA00030878162100000318
表示在
Figure BDA00030878162100000319
范围内的局部特征图，
Figure BDA00030878162100000320
为变换后的特征图，
Figure BDA00030878162100000321
为
Figure BDA00030878162100000322
的均值，
Figure BDA00030878162100000323
为
Figure BDA00030878162100000324
的标准差，同
Figure BDA00030878162100000325
Figure BDA00030878162100000326
在搜索范围
Figure BDA00030878162100000327
与
Figure BDA00030878162100000328
内搜索匹配点对，当满足以下条件时，两个点pl与ql为匹配点对：
Figure BDA0003087816210000041
Figure BDA0003087816210000042
Figure BDA0003087816210000043
即若以
Figure BDA0003087816210000044
内的点pl在
Figure BDA0003087816210000045
范围内搜索时，相似度最高的点是ql，反之也成立，则pl与ql为匹配点对。相似度的计算公式为：
Figure BDA0003087816210000046
其中，ε(pl)为点pl的特定范围内邻域的点集。
第l级的所有Nl个搜索范围分别执行上述搜索匹配点的步骤，便得到所有匹配点对的集合Λl：
Figure BDA0003087816210000047
对于上述步骤搜索得到的匹配点对，还必须通过以下的筛选条件，即该点在特征图(feature map)的值必须足够大：
Figure BDA0003087816210000048
Figure BDA0003087816210000049
其中，
Figure BDA00030878162100000410
为最终得到的匹配点对集合，γ为自定义阈值。
得到
Figure BDA00030878162100000411
后，通过下式得到上一级的搜索范围集合，
Figure BDA0003087816210000051
Figure BDA0003087816210000052
其中，
Figure BDA0003087816210000053
为
Figure BDA0003087816210000054
的数量，
Figure BDA0003087816210000055
为第l-1级相对于第l级的神经网络感受野，点p的坐标为(px，py，pz)。以及得到上一级的搜索范围集合后，重复上述步骤，得到最终的输出结果
Figure BDA0003087816210000056
即为两个图像的匹配点对集合。
在一优选的实施方式中，基于标记点的图像配准方法还包括：通过最小化所有匹配点对间点距离的总和，拟合出刚性配准的变换矩阵和位移向量，从而得到刚性配准后的医学图像warped image，包括以下步骤：得到所有匹配点对后，通过最小化下式，得到刚性配准的变换矩阵和位移向量的最优解：
Figure BDA0003087816210000057
最优解为：
R＝(PTP)-1PTQ
A＝R[0:3，0:3]
b＝R[0:3，3]
其中，N为匹配点对个数，pn为fixed image的第n个匹配点，qn为对应的movingimage中的像素点。P为fixed image所有匹配点组成的矩阵，大小为[N，4]，即N个四维行向量组成的矩阵，四维的前三维是像素点的物理坐标，第四维是固定值1。Q为moving image所有匹配点组成的矩阵，大小为[N，4]。矩阵R的大小为[4，4]，R[0:3，0:3]指取矩阵R的前3行、前3列组成的大小为[3，3]的矩阵，R[0:3，3]指取矩阵R的前3行第3列的三维列向量。A和b分别为变换矩阵和位移向量的最优解。以及最后通过A和b得到刚性配准后的医学图像warpedimage。
在一优选的实施方式中，基于标记点的图像配准方法还包括：在刚性配准的基础上，通过基于径向基的插值法得到非刚性配准的位移场三维矩阵，从而得到非刚性配准后的医学图像warped image，包括以下步骤：位移场三维矩阵的大小与fixed image相同。在得到N个匹配点对后，采用如下插值法得到位移场矩阵剩余像素点的值：
Figure BDA0003087816210000061
A＝(a1，a2，a3)
G(r)＝r2 lnr
其中p为位移场三维矩阵中的坐标为(xp，yp，zp)的像素，pn为fixed image中第n个匹配点。G()为径向基函数。A、b、wn的值采用以下方式求解：
设：
Figure BDA0003087816210000062
rij＝‖pi-pj‖
V＝(v1，v2，…，vN，0，0，0，0)
vn＝(qn-pn)[k]k∈(0，1，2)
Figure BDA0003087816210000063
Ω＝(w1，w2，…，wN，b，a1，a2，a3)
其中P为fixed image所有匹配点组成的矩阵，大小为[N，4]，即n个四维行向量组成的矩阵，四维的后三维是像素点的物理坐标，第一维是固定值1。qn为pn的在moving image中对应的匹配点。k为表示维度，即由于位移值是三维向量(x、y、z方向)，上述求解过程只针对其中一个维度，故k＝0时取x轴，故k＝1时取y轴，故k＝2时取z轴。
由vn＝f(pn)有：
V＝LΩT
进而求得所有待解参数的值：
Ω＝(L-1V)T
位移场中除匹配点外的像素点的位移值均可通过f()拟合得到。由于位移值是三维向量，即x、y、z方向，故上述插值过程需重复3次，即每个方向分别进行一次。以及最后得到位移场三维矩阵，从而得到非刚性配准后的医学图像warped image。
与现有技术相比，本发明的基于标记点的图像配准方法具有以下有益效果：(1)本发明能对任意两个模态的图像进行配准。(2)本发明采用一个预训练的神经网络提取图像特征，该网络的训练过程包含多种不同的任务并涉及多种不同的输入模态，能有效提高特征的有效性与通用性。(3)本发明利用一个预训练的神经网络提取图像特征，通过搜索、筛选、匹配等过程得到两个图像间的代表某种语义的多个匹配点对，能有效解决标记点金标准缺乏的问题。(4)本发明通过最小化所有匹配点对间点距离的总和，求解变换矩阵和位移向量，实现刚性配准。(5)本发明通过基于径向基的插值法求解位移场三维矩阵，实现非刚性配准。
附图说明
图1是根据本发明一实施方式的基于标记点的图像配准方法的流程示意图。
具体实施方式
下面结合附图，对本发明的具体实施方式进行详细描述，但应当理解本发明的保护范围并不受具体实施方式的限制。
除非另有其它明确表示，否则在整个说明书和权利要求书中，术语“包括”或其变换如“包含”或“包括有”等等将被理解为包括所陈述的元件或组成部分，而并未排除其它元件或其它组成部分。
如图1所示，根据本发明优选实施方式的一种基于标记点的图像配准方法，包括以下步骤：
输入两个任意模态(CT、CBCT、MRI、PET等)的医学图像，一个作为fixed image，另一个作为moving image；
采用一个预训练的神经网络提取两个输入图像的金字塔特征，该网络的训练过程包含多种不同的任务并涉及上述多种不同的输入模态；
利用上述神经网络提取金字塔特征，通过搜索、筛选、匹配等过程得到两个图像间的代表某种语义的多个匹配点对；
通过最小化所有匹配点对间点距离的总和，拟合出刚性配准的变换矩阵和位移向量，从而得到刚性配准后的医学图像warped image。
在刚性配准的基础上，通过基于径向基的插值法得到非刚性配准的位移场三维矩阵，从而得到非刚性配准后的医学图像warped image。
本发明的一种基于标记点的图像配准方法的一个具体实施的工作流程包括：
在一些实施方式中，步骤S1、构建一个预训练的神经网络提取两个输入图像的金字塔特征；
步骤S1具体包括以下步骤：
S11、神经网络的结构分为骨干网络和后续多个分支网络。骨干网络在不同任务间共享，每个分支网络对应一个任务。最后用于提取图像特征的是骨干网络。
S12、神经网络的训练过程包含多种不同的任务并涉及多种不同的输入模态，包括但不限于：基于CT的鼻咽癌原发肿瘤(GTV)分割、基于MRI的鼻咽癌原发肿瘤分割、基于CT的子***原发肿瘤分割、基于PET的肺部原发肿瘤分割、基于CT的危及器官(OAR)分割、基于MRI的危及器官分割、基于CBCT的危及器官分割、基于CT的肺结节目标检测等。
S13、先用其中一个任务训练神经网络，再加上其它输入模态的任务各一个同时训练，再分别对剩余的每个任务单独进行训练，训练时骨干网络参数固定，最后所有任务同时训练微调所有参数。
在一些实施方式中，基于标记点的图像配准方法还包括：
S2、利用上述神经网络提取金字塔特征，通过搜索、筛选、匹配等过程得到两个图像间的代表某种语义的多个匹配点对；
步骤S2具体包括以下步骤：
S21、把If(fixed image)与Im(moving image)输入上述预训练的神经网络，提取两个输入图像的金字塔特征图(feature map)
Figure BDA0003087816210000091
与
Figure BDA0003087816210000092
其中l∈{1，2，3，4，5}表示第l级特征，数字越大表示层数越深，即特征尺寸越小但蕴含更多高层语义。
S22、匹配点的搜索需要在特定的搜索范围内产生，从l＝5开始设置搜索范围：
S5＝{(P5，Q5)}
其中：
Figure BDA0003087816210000093
Figure BDA0003087816210000094
为If的第l级的第n个搜索范围，对应地
Figure BDA0003087816210000095
为Im的第l级的第n个搜索范围，Nl为第l级的搜索范围的个数，Sl为第l级的多个搜索范围对的集合。当l＝5时，搜索范围是
Figure BDA0003087816210000096
与
Figure BDA0003087816210000097
的整个范围，即N5＝1。
S23、通过下式对搜索范围
Figure BDA0003087816210000101
及
Figure BDA0003087816210000102
的特征图
Figure BDA0003087816210000103
与
Figure BDA0003087816210000104
进行变换，得到
Figure BDA0003087816210000105
与
Figure BDA0003087816210000106
Figure BDA0003087816210000107
Figure BDA0003087816210000108
Figure BDA0003087816210000109
Figure BDA00030878162100001010
其中，
Figure BDA00030878162100001011
表示在
Figure BDA00030878162100001012
范围内的局部特征图，
Figure BDA00030878162100001013
为变换后的特征图，
Figure BDA00030878162100001014
为
Figure BDA00030878162100001015
的均值，
Figure BDA00030878162100001016
为
Figure BDA00030878162100001017
的标准差，同
Figure BDA00030878162100001018
Figure BDA00030878162100001019
S24、在搜索范围
Figure BDA00030878162100001020
与
Figure BDA00030878162100001021
内搜索匹配点对，当满足以下条件时，两个点pl与ql为匹配点对：
Figure BDA00030878162100001022
Figure BDA00030878162100001027
Figure BDA00030878162100001023
即若以
Figure BDA00030878162100001024
内的点pl在
Figure BDA00030878162100001025
范围内搜索时，相似度最高的点是ql，反之也成立，则pl与ql为匹配点对。相似度的计算公式为：
Figure BDA00030878162100001026
其中，ε(pl)为点pl的特定范围内邻域的点集。
S25、第l级的所有Nl个搜索范围分别执行上述搜索匹配点的步骤S23～S24，便得到所有匹配点对的集合Λl：
Figure BDA0003087816210000111
S26、对于上述步骤搜索得到的匹配点对，还必须通过以下的筛选条件，即该点在特征图(feature map)的值必须足够大：
Figure BDA0003087816210000112
Figure BDA0003087816210000113
其中，
Figure BDA0003087816210000114
为最终得到的匹配点对集合，γ为自定义阈值，这里取0.05。
S27、得到
Figure BDA0003087816210000115
后，通过下式得到上一级的搜索范围集合，
Figure BDA0003087816210000116
Figure BDA0003087816210000117
其中，
Figure BDA0003087816210000118
为
Figure BDA0003087816210000119
的数量，
Figure BDA00030878162100001110
为第l-1级相对于第l级的神经网络感受野，点p的坐标为(px，py，pz)。
S28、得到上一级的搜索范围集合后，对每个搜索范围，跳转至步骤S23并重复步骤S23～S28，得到最终的输出结果
Figure BDA00030878162100001111
即为两个图像的匹配点对集合。
在一些实施方式中，基于标记点的图像配准方法还包括：
S3、通过最小化所有匹配点对间点距离的总和，拟合出刚性配准的变换矩阵和位移向量，从而得到刚性配准后的医学图像warped image；
步骤S3具体包括以下步骤：
S31、得到所有匹配点对后，通过最小化下式，得到刚性配准的变换矩阵和位移向量的最优解：
Figure BDA0003087816210000121
最优解为：
R＝(PTP)-1PTQ
A＝R[0:3，0:3]
b＝R[0:3，3]
其中，N为匹配点对个数，pn为fixed image的第n个匹配点，qn为对应的movingimage中的像素点。P为fixed image所有匹配点组成的矩阵，大小为[N，4]，即N个四维行向量组成的矩阵，四维的前三维是像素点的物理坐标，第四维是固定值1。Q为moving image所有匹配点组成的矩阵，大小为[N，4]。矩阵R的大小为[4，4]，R[0:3，0:3]指取矩阵R的前3行、前3列组成的大小为[3，3]的矩阵，R[0:3，3]指取矩阵R的前3行第3列的三维列向量。A和b分别为变换矩阵和位移向量的最优解。
S32、最后通过A和b得到刚性配准后的医学图像warped image。
在一些实施方式中，基于标记点的图像配准方法还包括：
S4、在刚性配准的基础上，通过基于径向基的插值法得到非刚性配准的位移场三维矩阵，从而得到非刚性配准后的医学图像warped image；
步骤S4具体包括以下步骤：
S41、位移场三维矩阵的大小与fixed image相同。在得到N个匹配点对后，采用如下插值法得到位移场矩阵剩余像素点的值：
Figure BDA0003087816210000122
A＝(a1，a2，a3)
G(r)＝r2 lnr
其中p为位移场三维矩阵中的坐标为(xp，yp，zp)的像素，pn为fixed image中第n个匹配点。G()为径向基函数。A、b、wn的值采用以下方式求解
设：
Figure BDA0003087816210000131
rij＝‖pi-pj‖
V＝(v1，v2，…，vN，0，0，0，0)
vn＝(qn-pn)[k]k∈(0，1，2)
Figure BDA0003087816210000132
Ω＝(w1，w2，…，wN，b，a1，a2，a3)
其中P为fixed image所有匹配点组成的矩阵，大小为[N，4]，即n个四维行向量组成的矩阵，四维的后三维是像素点的物理坐标，第一维是固定值1。qn为pn的在moving image中对应的匹配点。k为表示维度，即由于位移值是三维向量(x、y、z方向)，上述求解过程只针对其中一个维度，故k＝0时取x轴，故k＝1时取y轴，故k＝2时取z轴。
由vn＝f(pn)有：
V＝LΩT
进而求得所有待解参数的值：
Ω＝(L-1V)T
位移场中除匹配点外的像素点的位移值均可通过f()拟合得到。
S42、由于位移值是三维向量，即x、y、z方向，故上述插值过程需重复3次，即每个方向分别进行一次步骤S41。
S43、最后得到位移场三维矩阵，从而得到非刚性配准后的医学图像warpedimage。
综上所述，本发明的基于标记点的图像配准方法具有以下优点：(1)本发明能对任意两个模态的图像进行配准。(2)本发明采用一个预训练的神经网络提取图像特征，该网络的训练过程包含多种不同的任务并涉及多种不同的输入模态，能有效提高特征的有效性与通用性。(3)本发明利用一个预训练的神经网络提取图像特征，通过搜索、筛选、匹配等过程得到两个图像间的代表某种语义的多个匹配点对，能有效解决标记点金标准缺乏的问题。(4)本发明通过最小化所有匹配点对间点距离的总和，求解变换矩阵和位移向量，实现刚性配准。(5)本发明通过基于径向基的插值法求解位移场三维矩阵，实现非刚性配准。
前述对本发明的具体示例性实施方案的描述是为了说明和例证的目的。这些描述并非想将本发明限定为所公开的精确形式，并且很显然，根据上述教导，可以进行很多改变和变化。对示例性实施例进行选择和描述的目的在于解释本发明的特定原理及其实际应用，从而使得本领域的技术人员能够实现并利用本发明的各种不同的示例性实施方案以及各种不同的选择和改变。本发明的范围意在由权利要求书及其等同形式所限定。

Claims (5)

1.一种基于标记点的图像配准方法，其特征在于，包括以下步骤：
输入两个任意模态的医学图像，一个作为fixed image，另一个作为moving image；
采用一个预训练的神经网络提取两个输入任意模态的所述医学图像的金字塔特征，所述神经网络的训练过程包含多种不同的任务并涉及上述多种不同的输入模态；
利用所述神经网络提取的所述金字塔特征，通过搜索、筛选及匹配过程得到两个图像间的代表某种语义的多个匹配点对；
通过最小化所有匹配点对间点距离的总和，拟合出刚性配准的变换矩阵和位移向量，从而得到刚性配准后的医学图像warped image；以及
在刚性配准的基础上，通过基于径向基的插值法得到非刚性配准的位移场三维矩阵，从而得到非刚性配准后的医学图像warped image。
2.根据权利要求1所述的基于标记点的图像配准方法，其特征在于，所述采用一个预训练的所述神经网络提取两个输入的任意模态的所述医学图像的所述金字塔特征，包括：
所述神经网络的结构分为骨干网络和后续多个分支网络；所述骨干网络在不同任务间共享，每个所述分支网络对应一个任务；最后用于提取图像特征的是所述骨干网络；
所述神经网络的训练过程包含多种不同的任务并涉及多种不同的输入模态，包括：基于CT的鼻咽癌原发肿瘤分割、基于MRI的鼻咽癌原发肿瘤分割、基于CT的子***原发肿瘤分割、基于PET的肺部原发肿瘤分割、基于CT的危及器官分割、基于MRI的危及器官分割、基于CBCT的危及器官分割以及基于CT的肺结节目标检测；以及
先用其中一个任务训练的所述神经网络，再加上其它输入模态的任务各一个同时训练，再分别对剩余的每个任务单独进行训练，训练时所述骨干网络参数固定，最后所有任务同时训练微调所有参数。
3.根据权利要求1所述的基于标记点的图像配准方法，其特征在于，利用所述神经网络提取的所述金字塔特征，通过搜索、筛选及匹配过程得到两个图像间的代表某种语义的多个匹配点对，包括以下步骤：
把If(fixed image)与Im(moving image)输入上述预训练的神经网络，提取两个输入图像的金字塔特征图(feature map)
Figure FDA0003087816200000021
与
Figure FDA0003087816200000022
其中l∈{1,2,3,4,5}表示第l级特征，数字越大表示层数越深，即特征尺寸越小但蕴含更多高层语义；
匹配点的搜索需要在特定的搜索范围内产生，从l＝5开始设置搜索范围：
S5＝{(P5,Q5)}
其中：
Figure FDA0003087816200000023
Figure FDA0003087816200000024
为If的第l级的第n个搜索范围，对应地
Figure FDA0003087816200000025
为Im的第l级的第n个搜索范围，Nl为第l级的搜索范围的个数，Sl为第l级的多个搜索范围对的集合；当l＝5时，搜索范围是
Figure FDA0003087816200000026
与
Figure FDA0003087816200000027
的整个范围，即N5＝1；
通过下式对搜索范围
Figure FDA0003087816200000028
及
Figure FDA0003087816200000029
的特征图
Figure FDA00030878162000000210
与
Figure FDA00030878162000000211
进行变换，得到
Figure FDA00030878162000000212
与
Figure FDA00030878162000000213
Figure FDA00030878162000000214
Figure FDA00030878162000000215
Figure FDA00030878162000000216
Figure FDA00030878162000000217
其中，
Figure FDA0003087816200000031
表示在
Figure FDA0003087816200000032
范围内的局部特征图，
Figure FDA0003087816200000033
为变换后的特征图，
Figure FDA0003087816200000034
为
Figure FDA0003087816200000035
的均值，
Figure FDA0003087816200000036
为
Figure FDA0003087816200000037
的标准差，同
Figure FDA0003087816200000038
Figure FDA0003087816200000039
在搜索范围
Figure FDA00030878162000000310
与
Figure FDA00030878162000000311
内搜索匹配点对，当满足以下条件时，两个点pl与ql为匹配点对：
Figure FDA00030878162000000312
Figure FDA00030878162000000313
Figure FDA00030878162000000314
即若以
Figure FDA00030878162000000315
内的点pl在
Figure FDA00030878162000000316
范围内搜索时，相似度最高的点是ql，反之也成立，则pl与ql为匹配点对；相似度的计算公式为：
Figure FDA00030878162000000317
其中，ε(pl)为点pl的特定范围内邻域的点集；
第l级的所有Nl个搜索范围分别执行上述搜索匹配点的步骤，便得到所有匹配点对的集合Λl：
Figure FDA00030878162000000318
对于上述步骤搜索得到的匹配点对，还必须通过以下的筛选条件，即该点在特征图(feature map)的值必须足够大：
Figure FDA00030878162000000319
Figure FDA00030878162000000320
其中，
Figure FDA0003087816200000041
为最终得到的匹配点对集合，γ为自定义阈值；
得到
Figure FDA0003087816200000042
后，通过下式得到上一级的搜索范围集合：
Figure FDA0003087816200000043
Figure FDA0003087816200000044
其中，
Figure FDA0003087816200000045
为
Figure FDA0003087816200000046
的数量，
Figure FDA0003087816200000047
为第l-1级相对于第l级的神经网络感受野，点p的坐标为(px,py,pz)；以及
得到上一级的搜索范围集合后，重复上述步骤，得到最终的输出结果
Figure FDA0003087816200000049
即为两个图像的匹配点对集合。
4.根据权利要求1所述的基于标记点的图像配准方法，其特征在于，通过最小化所有匹配点对间点距离的总和，拟合出刚性配准的变换矩阵和位移向量，从而得到刚性配准后的医学图像warped image，包括以下步骤：
得到所有匹配点对后，通过最小化下式，得到刚性配准的变换矩阵和位移向量的最优解：
Figure FDA0003087816200000048
最优解为：
R＝(PTP)-1PTQ
A＝R[0:3,0:3]
b＝R[0:3,3]
其中，N为匹配点对个数，pn为fixed image的第n个匹配点，qn为对应的moving image中的像素点；P为fixed image所有匹配点组成的矩阵，大小为[N,4]，即N个四维行向量组成的矩阵，四维的前三维是像素点的物理坐标，第四维是固定值1；Q为moving image所有匹配点组成的矩阵，大小为[N,4]；矩阵R的大小为[4,4]，R[0:3,0:3]指取矩阵R的前3行、前3列组成的大小为[3,3]的矩阵，R[0:3,3]指取矩阵R的前3行第3列的三维列向量；A和b分别为变换矩阵和位移向量的最优解；以及
最后通过A和b得到刚性配准后的医学图像warped image。
5.根据权利要求1所述的基于标记点的图像配准方法，其特征在于，在刚性配准的基础上，通过基于径向基的插值法得到非刚性配准的位移场三维矩阵，从而得到非刚性配准后的医学图像warped image，包括以下步骤：
所述位移场三维矩阵的大小与fixed image相同；在得到N个匹配点对后，采用如下插值法得到所述位移场矩阵剩余像素点的值：
Figure FDA0003087816200000051
A＝(a1,a2,a3)
G(r)＝r2 ln r
其中p为所述位移场三维矩阵中的坐标为(xp,yp,zp)的像素，pn为fixed image中第n个匹配点；G()为径向基函数；A、b、wn的值采用以下方式求解：
设：
Figure FDA0003087816200000052
rij＝‖pi-pj‖
V＝(v1，v2,…,vN,0,0,0,0)
vn＝(qn-pn)[k]k∈(0,1,2)
Figure FDA0003087816200000061
Ω＝(w1,w2,…,wN,b,a1，a2，a3)
其中P为fixed image所有匹配点组成的矩阵，大小为[N,4]，即n个四维行向量组成的矩阵，四维的后三维是像素点的物理坐标，第一维是固定值1；qn为pn的在moving image中对应的匹配点；k为表示维度，即由于位移值是三维向量(x、y、z方向)，上述求解过程只针对其中一个维度，故k＝0时取x轴，故k＝1时取y轴，故k＝2时取z轴；
由vn＝f(pn)有：
V＝LΩT
进而求得所有待解参数的值：
Ω＝(L-1V)T
所述位移场中除匹配点外的像素点的位移值均可通过f()拟合得到；
由于所述位移值是三维向量，即x、y、z方向，故上述插值过程需重复3次，即每个方向分别进行一次；以及
最后得到位移场三维矩阵，从而得到非刚性配准后的医学图像warped image。
CN202110585049.8A 2021-05-27 2021-05-27 基于标记点的图像配准方法 Active CN113298854B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110585049.8A CN113298854B (zh) 2021-05-27 2021-05-27 基于标记点的图像配准方法
PCT/CN2022/070425 WO2022247296A1 (zh) 2021-05-27 2022-01-06 基于标记点的图像配准方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110585049.8A CN113298854B (zh) 2021-05-27 2021-05-27 基于标记点的图像配准方法

Publications (2)

Publication Number Publication Date
CN113298854A true CN113298854A (zh) 2021-08-24
CN113298854B CN113298854B (zh) 2022-02-01

Family

ID=77325584

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110585049.8A Active CN113298854B (zh) 2021-05-27 2021-05-27 基于标记点的图像配准方法

Country Status (2)

Country Link
CN (1) CN113298854B (zh)
WO (1) WO2022247296A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113744328A (zh) * 2021-11-05 2021-12-03 极限人工智能有限公司 医学图像标记点识别方法、装置、电子设备及存储介质
CN113920179A (zh) * 2021-11-09 2022-01-11 广州柏视医疗科技有限公司 一种基于标记点的多视觉2d-3d图像非刚性配准方法及***
CN113920178A (zh) * 2021-11-09 2022-01-11 广州柏视医疗科技有限公司 一种基于标记点的多视觉2d-3d图像配准方法及***
CN114241077A (zh) * 2022-02-23 2022-03-25 南昌睿度医疗科技有限公司 一种ct图像分辨率优化方法及装置
CN114404039A (zh) * 2021-12-30 2022-04-29 华科精准（北京）医疗科技有限公司 三维模型的组织漂移校正方法、装置、电子设备及存储介质
WO2022247296A1 (zh) * 2021-05-27 2022-12-01 广州柏视医疗科技有限公司 基于标记点的图像配准方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117474993B (zh) * 2023-10-27 2024-05-24 哈尔滨工程大学 水下图像特征点亚像素位置估计方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104021547A (zh) * 2014-05-17 2014-09-03 清华大学深圳研究生院 肺部 ct 的三维配准方法
CN106097347A (zh) * 2016-06-14 2016-11-09 福州大学 一种多模态医学图像配准与可视化方法
CN107818564A (zh) * 2017-10-27 2018-03-20 深圳市图智能科技有限公司 一种肝脏3d医学影像分段方法
CN109064502A (zh) * 2018-07-11 2018-12-21 西北工业大学 基于深度学习和人工设计特征相结合的多源图像配准方法
CN111640143A (zh) * 2020-04-12 2020-09-08 复旦大学 一种基于PointNet的神经导航快速面配准方法及***
CN111931929A (zh) * 2020-07-29 2020-11-13 深圳地平线机器人科技有限公司 一种多任务模型的训练方法、装置及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170337682A1 (en) * 2016-05-18 2017-11-23 Siemens Healthcare Gmbh Method and System for Image Registration Using an Intelligent Artificial Agent
CN111091589B (zh) * 2019-11-25 2023-11-17 北京理工大学 基于多尺度监督学习的超声和核磁图像配准方法及装置
CN113298854B (zh) * 2021-05-27 2022-02-01 广州柏视医疗科技有限公司 基于标记点的图像配准方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104021547A (zh) * 2014-05-17 2014-09-03 清华大学深圳研究生院 肺部 ct 的三维配准方法
CN106097347A (zh) * 2016-06-14 2016-11-09 福州大学 一种多模态医学图像配准与可视化方法
CN107818564A (zh) * 2017-10-27 2018-03-20 深圳市图智能科技有限公司 一种肝脏3d医学影像分段方法
CN109064502A (zh) * 2018-07-11 2018-12-21 西北工业大学 基于深度学习和人工设计特征相结合的多源图像配准方法
CN111640143A (zh) * 2020-04-12 2020-09-08 复旦大学 一种基于PointNet的神经导航快速面配准方法及***
CN111931929A (zh) * 2020-07-29 2020-11-13 深圳地平线机器人科技有限公司 一种多任务模型的训练方法、装置及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
PAMLI 等: "Feature-Based Retinal Image Registration Using D-Saddle Feature", 《JOURNAL OF HEALTHCARE ENGINEERING》 *
王伟: "医学图像非刚性配准方法及***研究", 《中国优秀硕士学位论文全文数据库 (医药卫生科技辑)》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022247296A1 (zh) * 2021-05-27 2022-12-01 广州柏视医疗科技有限公司 基于标记点的图像配准方法
CN113744328A (zh) * 2021-11-05 2021-12-03 极限人工智能有限公司 医学图像标记点识别方法、装置、电子设备及存储介质
CN113920179A (zh) * 2021-11-09 2022-01-11 广州柏视医疗科技有限公司 一种基于标记点的多视觉2d-3d图像非刚性配准方法及***
CN113920178A (zh) * 2021-11-09 2022-01-11 广州柏视医疗科技有限公司 一种基于标记点的多视觉2d-3d图像配准方法及***
CN113920178B (zh) * 2021-11-09 2022-04-12 广州柏视医疗科技有限公司 一种基于标记点的多视觉2d-3d图像配准方法及***
CN113920179B (zh) * 2021-11-09 2022-04-29 广州柏视医疗科技有限公司 一种基于标记点的多视觉2d-3d图像非刚性配准方法及***
CN114404039A (zh) * 2021-12-30 2022-04-29 华科精准（北京）医疗科技有限公司 三维模型的组织漂移校正方法、装置、电子设备及存储介质
CN114241077A (zh) * 2022-02-23 2022-03-25 南昌睿度医疗科技有限公司 一种ct图像分辨率优化方法及装置
CN114241077B (zh) * 2022-02-23 2022-07-15 南昌睿度医疗科技有限公司 一种ct图像分辨率优化方法及装置

Also Published As

Publication number Publication date
WO2022247296A1 (zh) 2022-12-01
CN113298854B (zh) 2022-02-01

Similar Documents

Publication Publication Date Title
CN113298854B (zh) 基于标记点的图像配准方法
Liu et al. MS-Net: multi-site network for improving prostate segmentation with heterogeneous MRI data
Zhou et al. One-pass multi-task networks with cross-task guided attention for brain tumor segmentation
Yu et al. Segmentation of fetal left ventricle in echocardiographic sequences based on dynamic convolutional neural networks
Cao et al. Deformable image registration using a cue-aware deep regression network
Cao et al. Region-adaptive deformable registration of CT/MRI pelvic images via learning-based image synthesis
CN113298855B (zh) 基于自动勾画的图像配准方法
Wu et al. Dynamic filtering with large sampling field for convnets
CN113826143A (zh) 特征点检测
Turan et al. A deep learning based 6 degree-of-freedom localization method for endoscopic capsule robots
Yang et al. Registration of pathological images
Hsu Automatic left ventricle recognition, segmentation and tracking in cardiac ultrasound image sequences
Liu et al. Rotation-invariant siamese network for low-altitude remote-sensing image registration
Lyu et al. Attention to fine-grained information: hierarchical multi-scale network for retinal vessel segmentation
Song et al. Classifying tongue images using deep transfer learning
CN111080676A (zh) 一种通过在线分类跟踪内窥镜图像序列特征点的方法
Liu et al. Reducing domain gap in frequency and spatial domain for cross-modality domain adaptation on medical image segmentation
Zhao et al. MSKD: Structured knowledge distillation for efficient medical image segmentation
CN112686932B (zh) 用于医学影像的图像配准方法及图像处理方法、介质
Zhang et al. Multimodal medical volumes translation and segmentation with generative adversarial network
Schwab et al. Multimodal medical image registration using particle swarm optimization with influence of the data's initial orientation
Dickson et al. An integrated 3D-sparse deep belief network with enriched seagull optimization algorithm for liver segmentation
Fan et al. Deep feature descriptor based hierarchical dense matching for X-ray angiographic images
Liu et al. Feature matching based on triangle guidance and constraints
Chang et al. Structure-aware independently trained multi-scale registration network for cardiac images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant