CN114943753A - 基于局部结构矢量对齐的位姿配准方法及装置 - Google Patents
基于局部结构矢量对齐的位姿配准方法及装置 Download PDFInfo
- Publication number
- CN114943753A CN114943753A CN202210680295.6A CN202210680295A CN114943753A CN 114943753 A CN114943753 A CN 114943753A CN 202210680295 A CN202210680295 A CN 202210680295A CN 114943753 A CN114943753 A CN 114943753A
- Authority
- CN
- China
- Prior art keywords
- image
- confidence
- similarity
- ultrasonic
- map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000013598 vector Substances 0.000 title claims abstract description 78
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000005070 sampling Methods 0.000 claims description 18
- 238000011524 similarity measure Methods 0.000 claims description 15
- 238000002604 ultrasonography Methods 0.000 claims description 15
- 238000010606 normalization Methods 0.000 claims description 14
- 239000011159 matrix material Substances 0.000 claims description 12
- 238000005457 optimization Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000010586 diagram Methods 0.000 claims description 7
- 239000000284 extract Substances 0.000 claims description 7
- 238000004422 calculation algorithm Methods 0.000 claims description 5
- 239000002131 composite material Substances 0.000 claims description 5
- 239000000126 substance Substances 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 4
- 239000000523 sample Substances 0.000 claims description 4
- 238000013519 translation Methods 0.000 claims description 2
- 238000005259 measurement Methods 0.000 claims 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 42
- 230000006870 function Effects 0.000 description 8
- 238000003384 imaging method Methods 0.000 description 6
- 238000002591 computed tomography Methods 0.000 description 4
- 210000003484 anatomy Anatomy 0.000 description 3
- 238000013170 computed tomography imaging Methods 0.000 description 3
- 238000003709 image segmentation Methods 0.000 description 3
- 238000012285 ultrasound imaging Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 238000002679 ablation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000001574 biopsy Methods 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 230000001143 conditioned effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000005489 elastic deformation Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000013152 interventional procedure Methods 0.000 description 1
- 230000005865 ionizing radiation Effects 0.000 description 1
- 235000020034 kasiri Nutrition 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 201000007270 liver cancer Diseases 0.000 description 1
- 208000014018 liver neoplasm Diseases 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 210000002307 prostate Anatomy 0.000 description 1
- 238000005295 random walk Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Image Processing (AREA)
Abstract
基于局部结构矢量对齐的位姿配准方法及装置，能够提高US‑MR多模态图像配准精度，减少配准时长，从而满足临床需求。这种基于局部结构矢量对齐的位姿配准方法包括：(1)获取超声置信度纹理图；(2)定义一种图像块级别的局部结构矢量描述符LSVD，该描述符是由邻域像素间的自相似距离组成一个高维结构向量，通过计算对称位置的相似性距离来突显领域中不同位置的差异，从加精确表征图像的局部自相似性特征；(3)高效计算LSVD描述符；(4)基于LSVD的US‑MR配准框架。
Description
技术领域
本发明涉及医学图像处理的技术领域，尤其涉及一种基于局部结构矢量对齐的位姿配准方法，以及基于局部结构矢量对齐的位姿配准装置。
背景技术
超声成像(Ultrasound，US)因具有实时成像、低成本、无电离辐射、便携以及非侵入性等的特性，已成为肝癌介入消融手术中一种常用的成像方式。然而由于术中的超声成像质量不高，给介入手术带来了极大的挑战。相比较而言，计算机断层成像(ComputedTomography，CT)或者磁共振成像(Magnetic Resonance，MR)拥有更高的空间分辨率，但成像速度慢、非实时导致其无法大规模应用于术中的引导过程。超声-CT/MR多模态影像融合技术能够将术前CT/MR影像实时叠加在术中超声图像上，实现术前影像的高空间分辨率和术中超声的实时性互补，从而提高病灶检测效率和介入穿刺效率。在US-MR的融合导航中，二维US与三维MR图像的配准为核心步骤。然而由于成像物理原理不同，同一目标在不同模态下所呈现的图像内容往往不存在强度对应关系，这给二维US与三维MR图像的配准带来了挑战。由于不同模态影像呈现信息不同，术中US图像和术前CT/MR图像的多模态配准需要选择合适的测度来描述图像之间的相似性。
传统的US-CT/MR多模态图像配准方法大体上可以分为：基于图像强度的配准、基于图像分割的配准和基于特征描述的配准。在基于图像强度的配准方法中，通常使用互信息(Mutual Information，MI)、和相关率(Correlation Ratio，CR)测量多模态图像间的相似性。基于相关率的配准方法要求图像强度之间存在线性关系，由于US和MR图像强度之间不存在线性关系，因此，CR不能用于US-MR图像配准场合中。由于传统的MI方法仅仅采用灰度信息进行配准，所以难以显示出图像的局部信息以及结构特征，导致鲁棒性低，为此一些学者提出了改进后的MI方法。Rivaz等人提出了一种基于自相似加权图的互信息(Self-Similarityα-MI，SeSaMI)用于非刚性图像配准。之后，Rivaz等人又提出了上下文条件互信息(Contextual Conditioned Mutual Information，CoCoMI)方法，通过分析上下文信息来调节互信息估计。尽管SeSaMI和CoCoMI取得了不错的配准精度，但是依然存在计算量较大导致配准时间过长难以达到临床要求的问题。基于图像分割的配准方法主要是通过分割出器官和血管间接进行配准。Penney等人分别提取US和MR图像中的血管概率图，然后计算概率图之间相似性完成配准。Lange等人提出了基于血管解剖标志点和图像强度相结合的相似性测度的快速非参数多模态配准方法。基于图像分割的多模态配准，由于需要确保术中实时准确分割，故在成像质量较差的US图像中会有一定的挑战，且同样存在计算量大，配准时长慢的问题。
为减少配准时间，一些学者开始研究基于特征描述的US-CT/MR图像配准。基于特征描述的多模态配准的基本假设是：同目标在不同模态图像中纹理结构保持相同。因此，可以通过描述图像块之间的结构相似性来配准多模态图像。自相似性概念最先由Buades等人提出，并用于图像的非局部均值去噪。Schechtman等人提出了局部自相似性描述符用于模板匹配，并取得了较好的结果。基于局部自相似性的描述符已经广泛应用于自然图像多模态配准任务中。在医学配准领域，Heinrich等人提出了一个基于局部自相似性的模态独立邻域描述符(Modality Independent Neighborhood Descriptor，MIND)来描述局部特征，通过高斯加权距离编码局部结构，并提出了改进版本的自相似上下文(Self-similarityContext，SSC)描述符，并在CT-MR配准和MR-US配准中取得了显著的结果。Kasiri等人在MIND自相似描述符基础上添加了排序操作，从而获得旋转不变性。Guan等人在SSC基础上，添加预处理去噪和条件判断，从而保留图像细节。Sun等人采用多通道MIND描述符提取术前MR和术中经直肠US两种模态的局部相似特征，并通过基于对偶凸优化的算法方案来提取弹性变形，从而提高在经直肠US引导的***靶向可疑区域的活检准确性。考虑到MIND描述符无法解决跨模态局部图像强度失真问题，Yang等人提出了局部结构方向描述符来配准US和MR图像，通过提取图像块之间的归一化相似距离向量构成局部描述符，然后使用向量内积计算多模态配准测度。综上所述，基于特征描述的多模态配准方法能够提取图像的局部结构信息，计算速度快，抗噪能力强，适用于较小形变的多模态配准。
发明内容
为克服现有技术的缺陷，本发明要解决的技术问题是提供了一种基于局部结构矢量对齐的位姿配准方法，其能够提高US-MR多模态图像配准精度，减少配准时长，从而满足临床需求。
本发明的技术方案是：这种基于局部结构矢量对齐的位姿配准方法，其包括以下步骤：
(1)获取超声置信度纹理图：根据超声图像得到超声置信度图，对超声置信度图添加权重函数来抑制低置信区域，从而得到加权置信图，通过局部标准差提取图像纹理图，在纹理图上添加归一化置信图掩模图，得到超声置信度纹理图；
(2)定义一种图像块级别的局部结构矢量描述符LSVD，该描述符是由邻域像素间的自相似距离组成一个高维结构向量，通过计算对称位置的相似性距离来突显领域中不同位置的差异，从加精确表征图像的局部自相似性特征；
(3)高效计算LSVD描述符：将采样块的子块生成对应区域设置均值权重值，其余区域设置为0，得到分块均值卷积核；使用卷积核分别与原图做卷积操作，得到分块均值图；将每个分块均值图沿一个对称采样位置平移生成对应副本图像，之后对每个位置求平方差；对所有平移后的分块均值图计算距离平方和，得到该维度下的相似性距离图；对所有对称采样位置做相同操作，得到全部相似性距离图；通过引入向量模长权重图，对上述结构向量进行自适应归一化，得到最终LSVD描述符；
(4)通过手动选取关键点，得到初始矩阵
然后，根据超声图像IUS空间位置，裁剪出术前MR图像对应位置的切片图像IMR；分别对IUS和IMR提取LSVD描述符，从而为每个像素生成一个向量；根据超声置信度纹理图P(x)，定义两张多模态图像IUS和IMR的加权相似性度量；使用Powell非线性迭代方法得到IUS和IMR之间的相似性最大化。
本发明充分利用不同模态图像的对应解剖结构轮廓相似特性，提出一种模态独立的局部结构矢量描述符LSVD，在位姿配准初始化基础上，分别提取超声图像和MR切片图像的归一化LSVD描述符，引入超声图像置信纹理图，计算两个LSVD描述符之间的加权相似性测度，通过非线性迭代优化方法，实现位姿配准优化目的，因此能够提高US-MR多模态图像配准精度，减少配准时长，从而满足临床需求。
还提供了基于局部结构矢量对齐的位姿配准装置，其包括：
超声置信度纹理图获取模块，其配置来根据超声图像得到超声置信度图，对超声置信度图添加权重函数来抑制低置信区域，从而得到加权置信图，通过局部标准差提取图像纹理图，在纹理图上添加归一化置信图掩模图，得到超声置信度纹理图；
定义模块，其配置来定义一种图像块级别的局部结构矢量描述符LSVD，该描述符是由邻域像素间的自相似距离组成一个高维结构向量，通过计算对称位置的相似性距离来突显领域中不同位置的差异，从加精确表征图像的局部自相似性特征；
LSVD描述符高效计算模块，其配置来将采样块的子块生成对应区域设置均值权重值，其余区域设置为0，得到分块均值卷积核；使用卷积核分别与原图做卷积操作，得到分块均值图；将每个分块均值图沿一个对称采样位置平移生成对应副本图像，之后对每个位置求平方差；对所有平移后的分块均值图计算距离平方和，得到该维度下的相似性距离图；对所有对称采样位置做相同操作，得到全部相似性距离图；通过引入向量模长权重图，对上述结构向量进行自适应归一化，得到最终LSVD描述符；
基于LSVD的US-MR配准框架，其配置来通过手动选取关键点，得到初始矩阵
然后，根据超声图像IUS空间位置，裁剪出术前MR图像对应位置的切片图像IMR；分别对IUS和IMR提取LSVD描述符，从而为每个像素生成一个向量；根据超声置信度纹理图P(x)，定义两张多模态图像IUS和IMR的加权相似性度量；使用Powell非线性迭代方法得到IUS和IMR之间的相似性最大化。
附图说明
图1示出了超声置信图的加权映射函数。
图2是x像素的邻域结构矢量提取示意图。以x为中心，第i组对称位置(x-i,x+i)之间的相似距离作为第i个特征。邻域
中所有特征共同构成D维结构向量。分别对x-i和x+i的图像块
和
分成5个子块
图3是根据本发明的基于局部结构矢量对齐的位姿配准方法的流程图。
具体实施方式
如图3所示，这种基于局部结构矢量对齐的位姿配准方法，其包括以下步骤：
(1)获取超声置信度纹理图：根据超声图像得到超声置信度图，对超声置信度图添加权重函数来抑制低置信区域，从而得到加权置信图，通过局部标准差提取图像纹理图，在纹理图上添加归一化置信图掩模图，得到超声置信度纹理图；
(2)定义一种图像块级别的局部结构矢量描述符LSVD，该描述符是由邻域像素间的自相似距离组成一个高维结构向量，通过计算对称位置的相似性距离来突显领域中不同位置的差异，从加精确表征图像的局部自相似性特征；
(3)高效计算LSVD描述符：将采样块的子块生成对应区域设置均值权重值，其余区域设置为0，得到分块均值卷积核；使用卷积核分别与原图做卷积操作，得到分块均值图；将每个分块均值图沿一个对称采样位置平移生成对应副本图像，之后对每个位置求平方差；对所有平移后的分块均值图计算距离平方和，得到该维度下的相似性距离图；对所有对称采样位置做相同操作，得到全部相似性距离图；通过引入向量模长权重图，对上述结构向量进行自适应归一化，得到最终LSVD描述符；
(4)通过手动选取关键点，得到初始矩阵
然后，根据超声图像IUS空间位置，裁剪出术前MR图像对应位置的切片图像IMR；分别对IUS和IMR提取LSVD描述符，从而为每个像素生成一个向量；根据超声置信度纹理图P(x)，定义两张多模态图像IUS和IMR的加权相似性度量；使用Powell非线性迭代方法得到IUS和IMR之间的相似性最大化。
本发明充分利用不同模态图像的对应解剖结构轮廓相似特性，提出一种模态独立的局部结构矢量描述符LSVD，在位姿配准初始化基础上，分别提取超声图像和MR切片图像的归一化LSVD描述符，引入超声图像置信纹理图，计算两个LSVD描述符之间的加权相似性测度，通过非线性迭代优化方法，实现位姿配准优化目的，因此能够提高US-MR多模态图像配准精度，减少配准时长，从而满足临床需求。
由于肋骨遮挡以及超声波在组织中的传输特性，超声图像中经常会存在伪影和阴影，影响多模态图像配准。根据超声成像原理，可以估计超声图像中每个像素由于超声波衰减或伪影导致的不确定性，即超声置信度图。置信度图可以表示为在超声成像约束下从一个像素随机游走到种子点的概率问题。优选地，所述步骤(1)中，通过公式(1)得到加权置信图：
其中，C(x)表示像素x的初始置信度，C′(x)表示像素x的加权置信度，τ是置信度阈值，k＝2是用于确定权重函数平滑度的标量参数，为减少探头压力引起的变形影响，将加权置信图中靠近探头20mm深度的区域设置为背景区域。
超声图像中的纹理区域有利于提高配准精度，可以通过局部标准差提取图像纹理信息。由于超声图像中存在较多的散斑噪声，会影响纹理提取的准确性，使用具有边缘保持特性的引导滤波器[57]去除散斑噪声。优选地，所述步骤(1)中，通过公式(2)提取图像纹理图S：
S(x)＝1-exp(-kδ(x)) (2)
其中，k为常数项，δ(x)为像素x所在邻域图像块
的局部标准差，定义为：
其中，像素
为图像块
中所有像素的平均值，N为图像块
中所有像素的数目，
表示对图像块
先求平方，再做均值滤波；
表示对图像块
先做均值滤波，再求平方，通过盒滤波器加速计算整张图像I的标准差图；
在纹理图S上添加归一化置信图掩模图C′，得到超声置信纹理图
S′(x)＝S(x)*C′(x) (4)。
本文采用大小为(2P+1)n的图像块强度差的平方测量两个像素的相似距离，即距离平方和(sum of square distances,SSD)。优选地，所述步骤(2)中，LSVD通过公式(5)得到：
其中，d(x-i,x+i)表示领域
中以像素x为中心，第i组对称位置的图像块
和
之间的相似性距离，邻域区域大小为(2R+1)n，R为邻域半径，n为图像维度，D＝((2R+1)n-1)/2。
优选地，所述步骤(2)中，为防止图像块中的细节被平均化，将图像块
和
分成5个子块
其中，
的大小为(R+1)/2*(3R+1)/2，
的大小为R*R；因此，x-i和x+i位置图像块之间的相似性距离定义为：
其中，
表示x位置的图像块
中，第个j子块
的强度平均值。
为消除多模态图像强度差异，同时降低弱纹理/噪声区域干扰，需要对上述结构向量进行自适应归一化得到LSVD描述符。优选地，所述步骤(3)中，通过公式(7)、(8)对结构向量进行自适应归一化，得到最终LSVD描述符
其中，
表示向量
的模长，
是关于向量模长权重映射的Sigmoid函数，ω为缩放因子，
为图像中向量模长的平均值；当x位于平滑区域或者噪声区域时，
较小，
因此
近似为
当x位于灰度变化较大区域时，
较大，
因此
近似为单位向量。
为进一步说明向量自适应归一化模块对配准结果的影响，本文随机选择了超声图像和MR图像，提取LSVD描述符向量的模长图进行分析。可以看出，超声图像和MR图像中强纹理区域的模长较大，而对于弱纹理/噪声区域的向量模长较小，但模长并不为0，直接归一化后会引入到相似性计算过程中，而且这些弱纹理/噪声区域与强纹理区域具有相同权重，从而影响配准精度。因此，在LSVD向量归一化过程中加入Sigmoid函数映射后的模长权重图，可以抑制图像中弱纹理/噪声区域的影响。
任意两个像素x1和x2的相似性可以通过它们的LSVD描述符向量的差异来衡量：
其中，<*,*>表示两个向量的内积，因此si∈[0,1]。理论上，当x1,x2位于相同解剖结构时，它们的LSVD向量在相同方向上，使得si＝1。优选地，所述步骤(4)中，相似性度量通过公式(9)表示：
其中，I1(x)和I2(x)分别表示图像中的x像素，si(*,*)表示LSVD描述符之间的相似性，Ω是IUS和I′MR中对应点的公共区域，归一化参数|Ω|是公共区域内的像素数。
优选地，所述步骤(4)中，两张多模态图像IUS和IMR的加权相似性度量通过公式(10)得到：
优选地，所述步骤(4)中，使用Powell非线性迭代算法优化SI′(IUS,IMR)，迭代更新位姿配准矩阵以生成新的切片MR图像，直到加权相似性测度收敛，从而得到最优配准矩阵，找到最佳变换
结合超声图像置信纹理图P(IUS)，使得IUS和IMR之间的相似性最大化：
由于配准过程不存在图像缩放问题，仅使用3旋转+3平移的6个参数计算矩阵
根据2D切片图像与超声图像的相似性，对变换
进行更新，直到优化算法收敛；在计算多模态相似性测度过程中，超声置信纹理图增加纹理特征区域的权重，使配准迭代优化过程加速收敛。
本领域普通技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，包括上述实施例方法的各步骤，而所述的存储介质可以是：ROM/RAM、磁碟、光盘、存储卡等。因此，与本发明的方法相对应的，本发明还同时包括一种基于局部结构矢量对齐的位姿配准装置，该装置通常以与方法各步骤相对应的功能模块的形式表示。该装置包括：
超声置信度纹理图获取模块，其配置来根据超声图像得到超声置信度图，对超声置信度图添加权重函数来抑制低置信区域，从而得到加权置信图，通过局部标准差提取图像纹理图，在纹理图上添加归一化置信图掩模图，得到超声置信度纹理图；
定义模块，其配置来定义一种图像块级别的局部结构矢量描述符LSVD，该描述符是由邻域像素间的自相似距离组成一个高维结构向量，通过计算对称位置的相似性距离来突显领域中不同位置的差异，从加精确表征图像的局部自相似性特征；
LSVD描述符高效计算模块，其配置来将采样块的子块生成对应区域设置均值权重值，其余区域设置为0，得到分块均值卷积核；使用卷积核分别与原图做卷积操作，得到分块均值图；将每个分块均值图沿一个对称采样位置平移生成对应副本图像，之后对每个位置求平方差；对所有平移后的分块均值图计算距离平方和，得到该维度下的相似性距离图；对所有对称采样位置做相同操作，得到全部相似性距离图；通过引入向量模长权重图，对上述结构向量进行自适应归一化，得到最终LSVD描述符；
基于LSVD的US-MR配准框架，其配置来通过手动选取关键点，得到初始矩阵
然后，根据超声图像IUS空间位置，裁剪出术前MR图像对应位置的切片图像IMR；分别对IUS和IMR提取LSVD描述符，从而为每个像素生成一个向量；根据超声置信度纹理图P(x)，定义两张多模态图像IUS和IMR的加权相似性度量；使用Powell非线性迭代方法得到IUS和IMR之间的相似性最大化。
以上所述，仅是本发明的较佳实施例，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属本发明技术方案的保护范围。
Claims (10)
1.基于局部结构矢量对齐的位姿配准方法，其特征在于：其包括以下步骤：
(1)获取超声置信度纹理图：根据超声图像得到超声置信度图，对超声置信度图添加权重函数来抑制低置信区域，从而得到加权置信图，通过局部标准差提取图像纹理图，在纹理图上添加归一化置信图掩模图，得到超声置信度纹理图；
(2)定义一种图像块级别的局部结构矢量描述符LSVD，该描述符是由邻域像素间的自相似距离组成一个高维结构向量，通过计算对称位置的相似性距离来突显领域中不同位置的差异，从加精确表征图像的局部自相似性特征；
(3)高效计算LSVD描述符：将采样块的子块生成对应区域设置均值权重值，其余区域设置为0，得到分块均值卷积核；使用卷积核分别与原图做卷积操作，得到分块均值图；将每个分块均值图沿一个对称采样位置平移生成对应副本图像，之后对每个位置求平方差；对所有平移后的分块均值图计算距离平方和，得到该维度下的相似性距离图；对所有对称采样位置做相同操作，得到全部相似性距离图；通过引入向量模长权重图，对上述结构向量进行自适应归一化，得到最终LSVD描述符；
(4)通过手动选取关键点，得到初始矩阵
然后，根据超声图像IUS空间位置，裁剪出术前MR图像对应位置的切片图像IMR；分别对IUS和IMR提取LSVD描述符，从而为每个像素生成一个向量；根据超声置信度纹理图P(x)，定义两张多模态图像IUS和IMR的加权相似性度量；使用Powell非线性迭代方法得到IUS和IMR之间的相似性最大化。
2.根据权利要求1所述的基于局部结构矢量对齐的位姿配准方法，其特征在于：所述步骤(1)中，通过公式(1)得到加权置信图：
其中，C(x)表示像素x的初始置信度，C′(x)表示像素x的加权置信度，τ是置信度阈值，k＝2是用于确定权重函数平滑度的标量参数，为减少探头压力引起的变形影响，将加权置信图中靠近探头20mm深度的区域设置为背景区域。
3.根据权利要求2所述的基于局部结构矢量对齐的位姿配准方法，其特征在于：所述步骤(1)中，通过公式(2)提取图像纹理图S：
S(x)＝1-exp(-kδ(x)) (2)
其中，k为常数项，δ(x)为像素x所在邻域图像块
的局部标准差，定义为：
其中，像素
为图像块
中所有像素的平均值，N为图像块
中所有像素的数目，
表示对图像块
先求平方，再做均值滤波；
表示对图像块
先做均值滤波，再求平方，通过盒滤波器加速计算整张图像I的标准差图；
在纹理图S上添加归一化置信图掩模图C′，得到超声置信纹理图
S′(x)＝S(x)*C′(x) (4)。
4.根据权利要求3所述的基于局部结构矢量对齐的位姿配准方法，其特征在于：所述步骤(2)中，LSVD通过公式(5)得到：
其中，d(x-i,x+i)表示领域
中以像素x为中心，第i组对称位置的图像块
和
之间的相似性距离，邻域区域大小为(2R+1)n，R为邻域半径，n为图像维度，D＝((2R+1)n-1)/2。
5.根据权利要求4所述的基于局部结构矢量对齐的位姿配准方法，其特征在于：所述步骤(2)中，为防止图像块中的细节被平均化，将图像块
和
分成5个子块
其中，
的大小为(R+1)/2*(3R+1)/2，
的大小为R*R；因此，x-i和x+i位置图像块之间的相似性距离定义为：
其中，
表示x位置的图像块
中，第个j子块
的强度平均值。
6.根据权利要求5所述的基于局部结构矢量对齐的位姿配准方法，其特征在于：所述步骤(3)中，通过公式(7)、(8)对结构向量进行自适应归一化，得到最终LSVD描述符
其中，
表示向量
的模长，
是关于向量模长权重映射的Sigmoid函数，ω为缩放因子，
为图像中向量模长的平均值；当x位于平滑区域或者噪声区域时，
较小，
因此
近似为
当x位于灰度变化较大区域时，
较大，
因此
近似为单位向量。
7.根据权利要求6所述的基于局部结构矢量对齐的位姿配准方法，其特征在于：所述步骤(4)中，相似性度量通过公式(9)表示：
其中，I1(x)和I2(x)分别表示图像中的x像素，si(*，*)表示LSVD描述符之间的相似性，Ω是IUS和I′MR中对应点的公共区域，归一化参数|Ω|是公共区域内的像素数。
8.根据权利要求7所述的基于局部结构矢量对齐的位姿配准方法，其特征在于：所述步骤(4)中，两张多模态图像IUS和IMR的加权相似性度量通过公式(10)得到：
9.根据权利要求8所述的基于局部结构矢量对齐的位姿配准方法，其特征在于：所述步骤(4)中，使用Powell非线性迭代算法优化SI′(IUS，IMR)，迭代更新位姿配准矩阵以生成新的切片MR图像，直到加权相似性测度收敛，从而得到最优配准矩阵，找到最佳变换
结合超声图像置信纹理图P(IUS)，使得IUS和IMR之间的相似性最大化：
由于配准过程不存在图像缩放问题，仅使用3旋转+3平移的6个参数计算矩阵
根据2D切片图像与超声图像的相似性，对变换
进行更新，直到优化算法收敛；在计算多模态相似性测度过程中，超声置信纹理图增加纹理特征区域的权重，使配准迭代优化过程加速收敛。
10.基于局部结构矢量对齐的位姿配准装置，其特征在于：其包括：
超声置信度纹理图获取模块，其配置来根据超声图像得到超声置信度图，对超声置信度图添加权重函数来抑制低置信区域，从而得到加权置信图，通过局部标准差提取图像纹理图，在纹理图上添加归一化置信图掩模图，得到超声置信度纹理图；
定义模块，其配置来定义一种图像块级别的局部结构矢量描述符LSVD，该描述符是由邻域像素间的自相似距离组成一个高维结构向量，通过计算对称位置的相似性距离来突显领域中不同位置的差异，从加精确表征图像的局部自相似性特征；
LSVD描述符高效计算模块，其配置来将采样块的子块生成对应区域设置均值权重值，其余区域设置为0，得到分块均值卷积核；使用卷积核分别与原图做卷积操作，得到分块均值图；将每个分块均值图沿一个对称采样位置平移生成对应副本图像，之后对每个位置求平方差；对所有平移后的分块均值图计算距离平方和，得到该维度下的相似性距离图；对所有对称采样位置做相同操作，得到全部相似性距离图；通过引入向量模长权重图，对上述结构向量进行自适应归一化，得到最终LSVD描述符；
基于LSVD的US-MR配准框架，其配置来通过手动选取关键点，得到初始矩阵
然后，根据超声图像IUS空间位置，裁剪出术前MR图像对应位置的切片图像IMR；分别对IUS和IMR提取LSVD描述符，从而为每个像素生成一个向量；根据超声置信度纹理图P(x)，定义两张多模态图像IUS和IMR的加权相似性度量；使用Powell非线性迭代方法得到IUS和IMR之间的相似性最大化。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210680295.6A CN114943753B (zh) | 2022-06-15 | 2022-06-15 | 基于局部结构矢量对齐的位姿配准方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210680295.6A CN114943753B (zh) | 2022-06-15 | 2022-06-15 | 基于局部结构矢量对齐的位姿配准方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114943753A true CN114943753A (zh) | 2022-08-26 |
| CN114943753B CN114943753B (zh) | 2024-07-23 |
Family
ID=82911642
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210680295.6A Active CN114943753B (zh) | 2022-06-15 | 2022-06-15 | 基于局部结构矢量对齐的位姿配准方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114943753B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060002630A1 (en) * | 2004-06-30 | 2006-01-05 | Accuray, Inc. | Fiducial-less tracking with non-rigid image registration |
| US20140193053A1 (en) * | 2011-03-03 | 2014-07-10 | Koninklijke Philips N.V. | System and method for automated initialization and registration of navigation system |
| CN108711168A (zh) * | 2018-06-04 | 2018-10-26 | 中北大学 | 基于zmld与gc离散优化的非刚性多模态医学图像配准方法 |
| US20190130572A1 (en) * | 2016-06-30 | 2019-05-02 | Huazhong University Of Science And Technology | Registration method and system for non-rigid multi-modal medical image |
| CN110517299A (zh) * | 2019-07-15 | 2019-11-29 | 温州医科大学附属眼视光医院 | 基于局部特征熵的弹性图像配准算法 |
| CN110517300A (zh) * | 2019-07-15 | 2019-11-29 | 温州医科大学附属眼视光医院 | 基于局部结构算子的弹性图像配准算法 |
| US20210150194A1 (en) * | 2017-07-04 | 2021-05-20 | Peking University Shenzhen Graduate School | Image feature extraction method for person re-identification |
| CN113689480A (zh) * | 2021-08-20 | 2021-11-23 | 北京理工大学 | 基于管状结构检测的三维us/mr配准融合方法及装置 |
-
2022
- 2022-06-15 CN CN202210680295.6A patent/CN114943753B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060002630A1 (en) * | 2004-06-30 | 2006-01-05 | Accuray, Inc. | Fiducial-less tracking with non-rigid image registration |
| US20140193053A1 (en) * | 2011-03-03 | 2014-07-10 | Koninklijke Philips N.V. | System and method for automated initialization and registration of navigation system |
| US20190130572A1 (en) * | 2016-06-30 | 2019-05-02 | Huazhong University Of Science And Technology | Registration method and system for non-rigid multi-modal medical image |
| US20210150194A1 (en) * | 2017-07-04 | 2021-05-20 | Peking University Shenzhen Graduate School | Image feature extraction method for person re-identification |
| CN108711168A (zh) * | 2018-06-04 | 2018-10-26 | 中北大学 | 基于zmld与gc离散优化的非刚性多模态医学图像配准方法 |
| CN110517299A (zh) * | 2019-07-15 | 2019-11-29 | 温州医科大学附属眼视光医院 | 基于局部特征熵的弹性图像配准算法 |
| CN110517300A (zh) * | 2019-07-15 | 2019-11-29 | 温州医科大学附属眼视光医院 | 基于局部结构算子的弹性图像配准算法 |
| CN113689480A (zh) * | 2021-08-20 | 2021-11-23 | 北京理工大学 | 基于管状结构检测的三维us/mr配准融合方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114943753B (zh) | 2024-07-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Chen et al. | Medical image segmentation and reconstruction of prostate tumor based on 3D AlexNet | |
| Almajalid et al. | Development of a deep-learning-based method for breast ultrasound image segmentation | |
| WO2021088747A1 (zh) | 基于深度学习的预测消融术后肝脏肿瘤形态变化的方法 | |
| CN106485695B (zh) | 基于统计形状模型的医学图像Graph Cut分割方法 | |
| CN106102585B (zh) | 三维成像数据的显示处理方法和三维超声成像方法及*** | |
| CN102722890B (zh) | 基于光流场模型的非刚性心脏图像分级配准方法 | |
| CN106991694B (zh) | 基于显著区域面积匹配的心脏ct与超声图像配准方法 | |
| CN111161333B (zh) | 一种肝脏呼吸运动模型的预测方法、装置及存储介质 | |
| Zhu et al. | Automatic segmentation of the left atrium from MR images via variational region growing with a moments-based shape prior | |
| CN114119549A (zh) | 一种多模态医学图像三维点云配准优化方法 | |
| CN112907642B (zh) | 一种配准重合的方法、***、存储介质及设备 | |
| CN112215844A (zh) | 基于ACU-Net的MRI多模态图像分割方法和*** | |
| CN116580068B (zh) | 一种基于点云配准的多模态医学配准方法 | |
| Hacihaliloglu et al. | Statistical shape model to 3D ultrasound registration for spine interventions using enhanced local phase features | |
| CN115830016A (zh) | 医学图像配准模型训练方法及设备 | |
| CN115222878A (zh) | 一种应用于肺支气管镜手术机器人的场景重建方法 | |
| Kriti et al. | A review of segmentation algorithms applied to B-mode breast ultrasound images: A characterization approach | |
| EP3608872B1 (en) | Image segmentation method and system | |
| CN114943753B (zh) | 基于局部结构矢量对齐的位姿配准方法及装置 | |
| WO2022183851A1 (zh) | 一种基于数字人技术的肺叶分割方法 | |
| Ghose et al. | Prostate segmentation with local binary patterns guided active appearance models | |
| WO2021213053A1 (zh) | 基于软组织表面形变估计组织内部目标运动的***与方法 | |
| Kumar et al. | Semiautomatic method for segmenting pedicles in vertebral radiographs | |
| Li et al. | Fetal lung segmentation using texture-based boundary enhancement and active contour models | |
| Selmi et al. | 3D-2D ultrasound feature-based registration for navigated prostate biopsy: A feasibility study |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |