CN115035089A - 适用于二维脑图像数据的脑解剖结构定位方法 - Google Patents
适用于二维脑图像数据的脑解剖结构定位方法 Download PDFInfo
- Publication number
- CN115035089A CN115035089A CN202210751358.2A CN202210751358A CN115035089A CN 115035089 A CN115035089 A CN 115035089A CN 202210751358 A CN202210751358 A CN 202210751358A CN 115035089 A CN115035089 A CN 115035089A
- Authority
- CN
- China
- Prior art keywords
- image
- brain
- dimensional
- dimensional brain
- database
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000004556 brain Anatomy 0.000 title claims abstract description 265
- 238000000034 method Methods 0.000 title claims abstract description 56
- 230000011218 segmentation Effects 0.000 claims description 40
- 230000009466 transformation Effects 0.000 claims description 31
- 238000002372 labelling Methods 0.000 claims description 25
- 238000000605 extraction Methods 0.000 claims description 21
- 230000004927 fusion Effects 0.000 claims description 18
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 16
- 238000012549 training Methods 0.000 claims description 14
- 239000011159 matrix material Substances 0.000 claims description 9
- 238000013528 artificial neural network Methods 0.000 claims description 8
- 230000004807 localization Effects 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 8
- 238000012935 Averaging Methods 0.000 claims description 7
- 238000013527 convolutional neural network Methods 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 6
- 238000005259 measurement Methods 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 5
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 238000011524 similarity measure Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 3
- 238000013135 deep learning Methods 0.000 description 8
- 239000008186 active pharmaceutical agent Substances 0.000 description 6
- 238000003709 image segmentation Methods 0.000 description 6
- 238000011176 pooling Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 208000003174 Brain Neoplasms Diseases 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000013256 coordination polymer Substances 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Geometry (AREA)
- Medical Informatics (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Quality & Reliability (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种适用于二维脑图像数据的脑解剖结构定位方法，通过检索的方式获取二维脑图像模板，利用分割的方法得到特征区域，并使用配准方法将待定位的二维脑图像与二维脑图像模板进行匹配，从而得到脑解剖结构的位置信息。整个定位过程不需要人工参与，可以实现快速的脑解剖结构定位，定位目标为二维脑图像上的所有脑解剖结构，相比现有方法提高了定位的精度。
Description
技术领域
本发明涉及医学图像处理技术领域，尤其涉及适用于二维脑图像数据的脑解剖结构定位方法。
背景技术
随着成像技术的进步，人们已经可以通过不同的成像技术获得大量的脑图像数据，并利用这些数据对大脑的结构和功能进行研究。在研究不同脑解剖结构时，很重要的一点是在脑图像数据中定位感兴趣的脑解剖结构。在定位感兴趣的脑解剖结构时，通常由专业人员通过长期的训练，学习大量的解剖学知识，从而确定图像中脑解剖结构的位置，然而这种方式十分耗时，而且对于纹理特征不明显的脑解剖结构，人工定位往往也会产生较大的偏差。为了适应海量脑图像数据的脑解剖结构定位需求，已经有大量研究通过图像配准将三维脑图像的脑解剖结构定位流程数字化，比如利用人工辅助的方法将三维脑图像与三维脑图谱进行配准，利用自动提取的特征的方式对三维脑图像与三维脑图谱进行匹配。然而对于二维脑图像由于缺乏匹配的模板，且无法直接将二维脑图像与三维脑图谱进行匹配，所以不能直接将三维脑图像的脑解剖结构定位方法直接迁移到二维脑图像上，需要针对二维图像开发相应的脑解剖结构定位方法。
现有的二维图像脑解剖结构定位方法主要分为图像分割方法和图像配准方法两种。图像分割方法又可以分为基于传统方法的图像分割以及基于深度学习的分割方法，基于传统方法的图像分割主要有区域划分、k-均值聚类、分水岭、活动轮廓、基于Graph的分割、马尔可夫随机场等方法。基于深度学习的分割方法主要是通过学习二维脑图像中的脑解剖结构特征，从而对脑解剖结构进行划分,如中国专利名称为《一种基于深度学习的脑瘤医学图像分割方法》，申请号为：201910158251.5的发明专利，该基于深度学习的脑瘤医学图像分割方法通过对分割模型进行深度学习训练，深度学习训练好的分割模型再对接收到的待分割脑瘤医学图像数据信息进行分割处理，分割结果准确，速度快，可以适用于不同模态的二维脑图像，解决了传统的人工分割方法存在费时费力的问题，但是由于硬件限制，该方法只能对有限的脑解剖结构进行定位，另外，由于缺乏大量精确的标记数据，使得分割结果的精度不够。图像配准方法主要是通过寻找二维模板，然后将二维脑图像与二维模板进行配准，从而划分脑解剖结构，这种方法可以对所有的脑解剖结构进行定位，因此是目前研究的主流方法。现有的图像配准方法主要是通过深度学习学习三维模板图像和二维脑图像的对应关系，对三维模板图像进行切片，从而获取二维模板进行配准，但是由于往往只有单一模态的三维模板图像，当应用到不同模态的图像上时，二维模板与二维脑图像的相似性会急剧下降，从而使得脑解剖结构的定位精度会严重下降，因此极大程度的限制了这类方法的广泛应用。
发明内容
因此，为解决上述问题，本发明提供了一种适用于二维脑图像数据的脑解剖结构定位方法。
本发明是通过以下技术方案实现的：
适用于二维脑图像数据的脑解剖结构定位方法，包括以下步骤：
S1：收集具有标注的三维脑图像，增强三维脑图像数据后切片获得二维脑图像数据库，提取二维脑图像数据库中的脑解剖结构分布特征，获取特征数据库；
S2：利用二维脑图像数据库和特征数据库获得特征提取网络，通过特征提取网络检索待定位图像与特征数据库的最相似特征及其对应的检出图像；
S3：利用二维脑图像数据库中的数据训练得到全卷积特征区域分割网络，通过全卷积特征区域分割网络分割待定位图像的特征区域和检出图像的特征区域；
S4：将待定位图像和检出图像分别与其对应的特征区域融合得到待定位融合图像和检出融合图像，将待定位融合图像和检出融合图像进行配准获得待定位图像的脑解剖结构定位结果。
优选的，所述步骤S1包括：
S11：收集具有标注的三维脑图像，构成三维脑图像数据库，数据库中每个三维脑图像分别对应有一个三维标注图像；
S12：利用仿射变换和灰度拉伸对每个三维脑图像及其三维标注图像进行数据增强处理，将数据增强处理后的三维脑图像及三维标注图像数据存入三维脑图像数据库；
S13：在数据增强处理后的三维脑图像及标注图像的冠状面方向上进行切片，得到由相应的二维脑图像及二维标注图像所形成的二维脑图像数据库；
S14：将每一二维脑图像所对应的二维标注图像中的每一脑解剖结构所占像素数量与整个脑轮廓所占像素数量相除，统计出每一脑解剖结构在整个脑轮廓内所占的面积比例，获得二维脑图像的特征数据库。
优选的，每一三维脑图像均对应一个标有672个脑解剖结构的三维标注图像，所述三维标注图像中的像素与脑解剖结构灰度映射表中的灰度值相对应，每个像素的灰度值代表了该像素所属的脑解剖结构。
优选的，所述仿射变换是指：分别在x、y、z方向上进行旋转，旋转角度不超过15°，角度变化的步长为1°，对三维脑图像进行仿射变换时采用双线性插值，对三维标注图像进行仿射变换时采用最近邻插值，从而获得仿射变换后的三维脑图像及三维标注图像；所述灰度拉伸是指：使用自适应直方图均衡化对三维脑图像进行灰度拉伸，其中均衡化的对比度阈值设为1.2，均衡化的网格大小为4*4。
优选的，所述步骤S2包括：
S21：利用卷积神经网络对二维脑图像数据库和特征数据库进行训练，获得特征提取网络；
S22：利用特征提取网络提取待定位图像的特征；
S23：将待定位图像的特征与特征数据库中的脑解剖结构分布特征进行对比，得到最相似特征及其对应的检出图像。
优选的，所述最相似特征是指：二维脑图像数据库中，与所述待定位图像的特征的欧式距离最小的一个脑解剖结构分布特征。
优选的，所述步骤S3包括：
S31：标记二维脑图像的特征区域，得到标记图像；
S32：对每一二维脑图像进行归一化，并删除没有脑解剖结构的图像，将归一化后的二维脑图像输入全卷积神经网络，以所述标记图像作为标签，采用多类别交叉熵作为损失函数，对网络进行训练，构建出全卷积特征区域分割网络；
S33：将待定位图像输入全卷积特征区域分割网络，提取出待定位图像的特征区域；
S34：将检出图像输入全卷积特征区域分割网络，提取出检出图像的特征区域。
优选的，所述步骤S31中，二维脑图像的特征区域共有12个，其灰度分别为1-12，所述特征区域通过灰度提取标记结果，所述标记结果整合在标记图像上。
优选的，所述二维脑图像存入二维脑图像数据库前利用双线性插值采样，所述二维标注图像存入二维脑图像数据库前利用最近邻插值采样，所述待定位图像输入全卷积特征区域分割网络前利用双线性插值采样，采样后的图片大小均为512 * 512 pixel。
优选的，所述步骤S4包括：
S41：平均待定位图像与待定位图像的特征区域上各像素的灰度，将两张图像上的像素一一对应得到待定位融合图像；
S42：平均检出图像与检出图像的特征区域上各像素的灰度，将两张图像上的像素一一对应得到检出融合图像；
S43：采用互信息作为相似性测度，对待定位融合图像和检出融合图像进行刚性配准，得到变换矩阵；
S44：采用互信息作为相似性测度，对刚性配准后的结果进行对称微分同胚的非线性配准，获得形变场；
S45：将变换矩阵和形变场应用到与检出融合图像对应的标注数据上，最终得到待定位融合图像的脑解剖结构定位结果。
本发明技术方案的有益效果主要体现在：
1、结合图像分割法和图像配准法，利用分割的方法得到特征区域，并使用配准方法将待定位的二维脑图像与二维脑图像模板进行匹配，从而得到脑解剖结构的位置信息，既能实现二维脑图像数据的脑解剖结构的快速定位，又能确保当应用到不同模态的图像上时，脑解剖结构的定位精度。
2、三维脑图像数据库中每个三维脑图像对应一个标有672个脑解剖结构的标注图像，样本丰富，标注图像对应脑解剖结构灰度映射表，每个像素的灰度值代表了该像素所属的脑解剖结构，分类清晰；另外，在切片前，对三维脑图像及三维标注图像进行数据增强，获得更多样本，确保计算的精确性。
3、卷积神经网络由16层卷积层、池化层和全连接层组成，网络的前端是通过多个卷积层学***均池化层和全连接层，将卷积层学习到的特征转化为脑解剖结构分布特征，特征提取网络由卷积神经网络训练而得，基于对二维脑图像中的脑解剖结构特征的深度学习，能够实现快速定位。
4、利用灰度对二维脑图像的特征区域提取标记结果，并将标记结果整合在一张图像上，便于提取，基于全卷积神经网络构建出一个全卷积特征区域分割网络，用于提取二维脑图像的特征区域，该网络由卷积层、池化层、反卷积层组成，并利用跳跃连接将不同深度的特征进行融合，使得分割结果更加精确。
5、对待定位融合图像和检出融合图的配准过程中，结合刚性配准和非线性配准，分别对图像的全局信息和局部信息进行匹配，从而获得完整的、精确的配准结果。
6、可以对二维脑图像中的所有脑解剖结构进行定位，可以无需人工干预进行自动定位，具有更高的定位精度，且可适用于多种类型的脑图像。
附图说明
图1：是适用于二维脑图像数据的脑解剖结构定位方法的流程图；
图2：是用于搭建特征提取网络的卷积神经网络的结构示意图；
图3：是用于搭建全卷积特征区域分割网络的全卷积神经网络的结构示意图。
具体实施方式
为使本发明的目的、优点和特点能够更加清楚、详细地展示，将通过下面优选实施例的非限制性说明进行图示和解释。该实施例仅是应用本发明技术方案的典型范例，凡采取等同替换或者等效变换而形成的技术方案，均落在本发明要求保护的范围之内。
本发明揭示了一种适用于二维脑图像数据的脑解剖结构定位方法，如图1所示，包括以下步骤：
S1：收集具有标注的三维脑图像，增强三维脑图像数据后切片获得二维脑图像数据库，提取二维脑图像数据库中的脑解剖结构分布特征，获取特征数据库；
在一实施例中，所述步骤S1包括：
S11：收集具有标注的三维脑图像，构成三维脑图像数据库，数据库中每个三维脑图像分别对应有一个三维标注图像；
其中，每一三维脑图像均对应一个标有672个脑解剖结构的三维标注图像，所述三维标注图像中的像素与脑解剖结构灰度映射表中的灰度值相对应，每个像素的灰度值代表了该像素所属的脑解剖结构。
S12：利用仿射变换和灰度拉伸对每个三维脑图像及其三维标注图像进行数据增强处理，将数据增强处理后的三维脑图像及三维标注图像数据存入三维脑图像数据库；
其中，所述仿射变换是指：分别在x、y、z方向上进行旋转，旋转角度不超过15°，角度变化的步长为1°，对三维脑图像进行仿射变换时采用双线性插值，对三维标注图像进行仿射变换时采用最近邻插值，从而获得仿射变换后的三维脑图像及三维标注图像；所述灰度拉伸是指：使用自适应直方图均衡化对三维脑图像进行灰度拉伸，其中均衡化的对比度阈值设为1.2，均衡化的网格大小为4*4；通过仿射变换和灰度拉伸，获得更多的三维脑图像及三维标注图像数据，实现了对三维脑图像数据库的扩充。
S13：在数据增强处理后的三维脑图像及标注图像的冠状面方向上进行切片，得到由相应的二维脑图像及二维标注图像所形成的二维脑图像数据库；
其中，每一二维脑图像存入二维脑图像数据库前利用双线性插值采样获得图片大小为512 *512 pixel的二维脑图像DIi，所有二维脑图像DIi组成二维脑图像集DI；每一二维标注图像存入二维脑图像数据库前利用最近邻插值采样获得图片大小为512 * 512 pixel的二维标注图像DAi，所有二维标注图像DAi组成二维标注图像集DA，对于二维脑图像集DI中的每一张二维脑图像DIi，均能在二维标注图像集DA中找到与之相对应的二维标注图像DAi。
S14：将每一二维脑图像所对应的二维标注图像中的每一脑解剖结构所占像素数量与整个脑轮廓所占像素数量相除，统计出每一脑解剖结构在整个脑轮廓内所占的面积比例，获得二维脑图像的特征数据库。
其中，由于每一三维脑图像对应一个标有672个脑解剖结构的标注图像，因此，由该三维脑图像切片后得到的每一二维脑图像也均对应一标有672个脑解剖结构的二维标注图像，所述二维标注图像中的像素与脑解剖结构灰度映射表中的灰度值相对应，每个像素的灰度值代表了该像素所属的脑解剖结构，根据脑解剖结构灰度映射表，计算每一二维标注图像DAi中每个脑解剖结构所占的像素数量，再利用每一二维标注图像DAi中每个脑解剖结构所占的像素数量除以整个脑所占的像素数量，从而分别统计出每一二维标注图像DAi中的672个脑解剖结构在整个脑轮廓内所占的面积比例，得到一个672维的特征向量DFi ，所述特征向量DFi代表了二维脑图像DIi的脑解剖结构分布特征，计算二维脑图像集DI内的所有二维脑图像DIi的脑解剖结构分布特征，获得二维脑图像的特征数据库DF。
S2：利用二维脑图像数据库和特征数据库获得特征提取网络，通过特征提取网络检索待定位图像与特征数据库的最相似特征及其对应的检出图像；
在一实施例中，所述步骤S2包括：
S21：利用卷积神经网络对二维脑图像数据库和特征数据库进行训练，获得特征提取网络；
其中，如图2所示，所述卷积神经网络由16层卷积层、池化层和全连接层组成，网络的前端是通过多个卷积层学***均池化层和全连接层，将卷积层学习到的特征转化为脑解剖结构分布特征，搭建特征提取网络NF，在搭建特征提取网络NF后，对二维脑图像集DI中的二维脑图像进行归一化，并对其中没有脑解剖结构的图像进行去除，接着将归一化后的图像输入卷积神经网络中，并以二维脑图像的特征数据库DF作为标签，均方差作为损失函数，对搭建后的特征提取网络NF进行训练，训练后的特征提取网络NF可用于提取二维脑图像脑解剖结构分布特征。
S22：利用特征提取网络提取待定位图像的特征；
具体地，将待定位图像TI输入特征提取网络NF中，获得待定位图像TI的脑解剖结构分布特征TF。
S23：将待定位图像的特征与特征数据库中的特征进行对比，得到最相似特征及其对应的检出图像。
具体地，所述“将待定位图像的特征与特征数据库中的特征进行对比”是指计算脑解剖结构分布特征TF与二维脑图像的特征数据库DF中的每一个脑解剖结构分布特征的欧式距离；所述最相似特征是指：在二维脑图像数据库DF中，计算得到的与所述待定位图像的特征的欧式距离最小的一个脑解剖结构分布特征；设该最相似特征为DFm，通过最相似特征DFm在二维脑图像集DI内找到对应的二维脑图像DIm。
S3：利用二维脑图像数据库中的数据训练得到全卷积特征区域分割网络，通过全卷积特征区域分割网络分割待定位图像的特征区域和检出图像的特征区域；
在一实施例中，所述步骤S3包括：
S31：标记二维脑图像的特征区域，得到标记图像；
其中，二维脑图像的特征区域共有12个，其灰度分别为1-12，所述特征区域通过灰度提取标记结果，所述标记结果整合在标记图像上。
在本实施例中，选取Outline、act、CB、cc、CP、HIP、fr、fx、mtt、MH、PG、VL这12个区域或脑解剖结构作为二维脑图像的特征区域，在二维脑图像数据库中，每一二维脑图像DIi在与其相对应的二维标注图像DAi中，这12个区域或脑解剖结构的灰度分别为1到12，通过这12个区域或脑解剖结构在二维标注图像DAi中所标注的灰度提取它们的标记结果，并将其整合到一张图像上，该图像为二维脑图像DIi的特征区域标注图像DSi，二维脑图像集内的所有二维脑图像的特征区域标注图像形成标注图像集DS。
S32：对每一二维脑图像进行归一化，并删除没有脑解剖结构的图像，将归一化后的二维脑图像输入全卷积神经网络，以所述标记图像作为标签，采用多类别交叉熵作为损失函数，对网络进行训练，构建出全卷积特征区域分割网络；
具体地，如图3所示，所述全卷积神经网络（Unet++）由Unet分割模型改进而来，由卷积层、池化层、反卷积层组成，并利用跳跃连接将不同深度的特征进行融合，通过全卷积神经网络搭建全卷积特征区域分割网络。
构建全卷积特征区域分割网络后，将二维脑图像集DI中的二维脑图像进行归一化，并去除没有脑解剖结构的图像，将归一化后的图像输入全卷积特征区域分割网络NS中，以标注图像集DS为标签，多类别交叉熵作为损失函数，对网络进行训练，从而得到一个用于提取二维脑图像特征区域的全卷积特征区域分割网络NS。
S33：将待定位图像输入全卷积特征区域分割网络，提取出待定位图像的特征区域；
具体地，利用双线性插值将待定位图像TI采样使其图像大小为512 * 512 pixel后输入全卷积特征区域分割网络NS中，提取出待定位图像TI的特征区域TS。
S34：将检出图像输入全卷积特征区域分割网络，提取出检出图像的特征区域。
具体地，将检出图像DIm输入全卷积特征区域分割网络后，提取出检出图像的特征区域DSm，由于二维脑图像数据库中的各图像的图像大小均为512 * 512 pixel，因此所述检出图像在输入全卷积特征区域分割网络前无需调整图像大小。
S4：将待定位图像和检出图像分别与其对应的特征区域融合得到待定位融合图像和检出融合图像，将待定位融合图像和检出融合图像进行配准获得待定位图像的脑解剖结构定位结果。
在一实施例中，所述步骤S4包括：
S41：平均待定位图像与待定位图像的特征区域上各像素的灰度，将两张图像上的像素一一对应得到待定位融合图像；
S42：平均检出图像与检出图像的特征区域上各像素的灰度，将两张图像上的像素一一对应得到检出融合图像；
具体地，平均两张图像上各像素的灰度是指分别将两幅图像上的所有像素的灰度乘以0.5之后，将两张图片的所有像素一一对应，得到两张图片的融合图像，因此需要确保平均灰度的两张图像大小一致，在本实施例中，由于待定位图像TI和其特征区域TS的图像大小相同，检出图像Dim与其特征区域DSm的图像尺寸相同，平均待定位图像TI和其特征区域TS上各像素的灰度，得到与待定位图像TI相对应的融合图像TC，将检出图像Dim与其特征区域DSm进行灰度平均，得到与检出图像Dim相对应的融合图像DCm。
S43：采用互信息作为相似性测度，对待定位融合图像和检出融合图像进行刚性配准，得到变换矩阵；
S44：采用互信息作为相似性测度，对刚性配准后的结果进行对称微分同胚的非线性配准，获得形变场；
在本实施例中，得到融合图像后，首先对检出图像Dim所对应的融合图像DCm和待定位图像TI所对应的融合图像TC采用互信息作为相似性测度进行刚性配准，匹配图像的全局信息，得到一个变换矩阵M，然后对刚性配准后的结果进行对称微分同胚的非线性配准，匹配图像的局部信息，非线性配准也采用互信息作为相似性测度，得到一个形变场DDF。
S45：将变换矩阵和形变场应用到与检出融合图像对应的标注数据上，最终得到待定位融合图像的脑解剖结构定位结果。
在本实施例中，所述“将变换矩阵和形变场应用到与检出融合图像对应的标注数据上”是指：先利用变换矩阵对与检出融合图像相对应的标注数据进行线性变换，然后利用形变场对线性变换后的结果进行非线性变换，最终得到待定位融合图像的脑解剖结构定位结果。
本发明尚有多种实施方式，凡采用等同变换或者等效变换而形成的所有技术方案，均落在本发明的保护范围之内。
Claims (10)
1.适用于二维脑图像数据的脑解剖结构定位方法，其特征在于：包括以下步骤：
S1：收集具有标注的三维脑图像，增强三维脑图像数据后切片获得二维脑图像数据库，提取二维脑图像数据库中的脑解剖结构分布特征，获取特征数据库；
S2：利用二维脑图像数据库和特征数据库获得特征提取网络，通过特征提取网络检索待定位图像与特征数据库的最相似特征及其对应的检出图像；
S3：利用二维脑图像数据库中的数据训练得到全卷积特征区域分割网络，通过全卷积特征区域分割网络分割待定位图像的特征区域和检出图像的特征区域；
S4：将待定位图像和检出图像分别与其对应的特征区域融合得到待定位融合图像和检出融合图像，将待定位融合图像和检出融合图像进行配准获得待定位图像的脑解剖结构定位结果。
2.根据权利要求1所述的适用于二维脑图像数据的脑解剖结构定位方法，其特征在于：所述步骤S1包括：
S11：收集具有标注的三维脑图像，构成三维脑图像数据库，数据库中每个三维脑图像分别对应有一个三维标注图像；
S12：利用仿射变换和灰度拉伸对每个三维脑图像及其三维标注图像进行数据增强处理，将数据增强处理后的三维脑图像及三维标注图像数据存入三维脑图像数据库；
S13：在数据增强处理后的三维脑图像及标注图像的冠状面方向上进行切片，得到由相应的二维脑图像及二维标注图像所形成的二维脑图像数据库；
S14：将每一二维脑图像所对应的二维标注图像中的每一脑解剖结构所占像素数量与整个脑轮廓所占像素数量相除，统计出每一脑解剖结构在整个脑轮廓内所占的面积比例，获得二维脑图像的特征数据库。
3.根据权利要求2所述的适用于二维脑图像数据的脑解剖结构定位方法，其特征在于：每一三维脑图像均对应一个标有672个脑解剖结构的三维标注图像，所述三维标注图像中的像素与脑解剖结构灰度映射表中的灰度值相对应，每个像素的灰度值代表了该像素所属的脑解剖结构。
4.根据权利要求2所述的适用于二维脑图像数据的脑解剖结构定位方法，其特征在于：所述仿射变换是指：分别在x、y、z方向上进行旋转，旋转角度不超过15°，角度变化的步长为1°，对三维脑图像进行仿射变换时采用双线性插值，对三维标注图像进行仿射变换时采用最近邻插值，从而获得仿射变换后的三维脑图像及三维标注图像；所述灰度拉伸是指：使用自适应直方图均衡化对三维脑图像进行灰度拉伸，其中均衡化的对比度阈值设为1.2，均衡化的网格大小为4 * 4。
5.根据权利要求2所述的适用于二维脑图像数据的脑解剖结构定位方法，其特征在于：所述步骤S2包括：
S21：利用卷积神经网络对二维脑图像数据库和特征数据库进行训练，获得特征提取网络；
S22：利用特征提取网络提取待定位图像的特征；
S23：将待定位图像的特征与特征数据库中的脑解剖结构分布特征进行对比，得到最相似特征及其对应的检出图像。
6.根据权利要求5所述的适用于二维脑图像数据的脑解剖结构定位方法，其特征在于：所述最相似特征是指：二维脑图像数据库中，与所述待定位图像的特征的欧式距离最小的一个脑解剖结构分布特征。
7.根据权利要求5所述的适用于二维脑图像数据的脑解剖结构定位方法，其特征在于：所述步骤S3包括：
S31：标记二维脑图像的特征区域，得到标记图像；
S32：对每一二维脑图像进行归一化，并删除没有脑解剖结构的图像，将归一化后的二维脑图像输入全卷积神经网络，以所述标记图像作为标签，采用多类别交叉熵作为损失函数，对网络进行训练，构建出全卷积特征区域分割网络；
S33：将待定位图像输入全卷积特征区域分割网络，提取出待定位图像的特征区域；
S34：将检出图像输入全卷积特征区域分割网络，提取出检出图像的特征区域。
8.根据权利要求7所述的适用于二维脑图像数据的脑解剖结构定位方法，其特征在于：所述步骤S31中，二维脑图像的特征区域共有12个，其灰度分别为1-12，所述特征区域通过灰度提取标记结果，所述标记结果整合在标记图像上。
9.根据权利要求2或7所述的适用于二维脑图像数据的脑解剖结构定位方法，其特征在于：所述二维脑图像存入二维脑图像数据库前利用双线性插值采样，所述二维标注图像存入二维脑图像数据库前利用最近邻插值采样，所述待定位图像输入全卷积特征区域分割网络前利用双线性插值采样，采样后的图片大小均为512 * 512 pixel。
10.根据权利要求7所述的适用于二维脑图像数据的脑解剖结构定位方法，其特征在于：所述步骤S4包括：
S41：平均待定位图像与待定位图像的特征区域上各像素的灰度，将两张图像上的像素一一对应得到待定位融合图像；
S42：平均检出图像与检出图像的特征区域上各像素的灰度，将两张图像上的像素一一对应得到检出融合图像；
S43：采用互信息作为相似性测度，对待定位融合图像和检出融合图像进行刚性配准，得到变换矩阵；
S44：采用互信息作为相似性测度，对刚性配准后的结果进行对称微分同胚的非线性配准，获得形变场；
S45：将变换矩阵和形变场应用到与检出融合图像对应的标注数据上，最终得到待定位融合图像的脑解剖结构定位结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210751358.2A CN115035089A (zh) | 2022-06-28 | 2022-06-28 | 适用于二维脑图像数据的脑解剖结构定位方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210751358.2A CN115035089A (zh) | 2022-06-28 | 2022-06-28 | 适用于二维脑图像数据的脑解剖结构定位方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115035089A true CN115035089A (zh) | 2022-09-09 |
Family
ID=83126724
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210751358.2A Pending CN115035089A (zh) | 2022-06-28 | 2022-06-28 | 适用于二维脑图像数据的脑解剖结构定位方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115035089A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115311258A (zh) * | 2022-09-15 | 2022-11-08 | 佛山读图科技有限公司 | 一种spect平面图像中自动分割器官的方法和*** |
| WO2024102765A1 (en) * | 2022-11-08 | 2024-05-16 | Synthesis Health Inc. | Registration based medical image analysis |
-
2022
- 2022-06-28 CN CN202210751358.2A patent/CN115035089A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115311258A (zh) * | 2022-09-15 | 2022-11-08 | 佛山读图科技有限公司 | 一种spect平面图像中自动分割器官的方法和*** |
| WO2024102765A1 (en) * | 2022-11-08 | 2024-05-16 | Synthesis Health Inc. | Registration based medical image analysis |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108765363B (zh) | 一种基于人工智能的冠脉cta自动后处理*** | |
| CN107424142B (zh) | 一种基于图像显著性检测的焊缝识别方法 | |
| CN107633226B (zh) | 一种人体动作跟踪特征处理方法 | |
| CN109949340A (zh) | 基于OpenCV的目标尺度自适应跟踪方法 | |
| CN109460735B (zh) | 基于图半监督学习的文档二值化处理方法、***、装置 | |
| CN115035089A (zh) | 适用于二维脑图像数据的脑解剖结构定位方法 | |
| CN106909902A (zh) | 一种基于改进的层次化显著模型的遥感目标检测方法 | |
| CN113361542B (zh) | 一种基于深度学习的局部特征提取方法 | |
| CN108090485A (zh) | 基于多视角融合的图像前景自动提取方法 | |
| CN110634131B (zh) | 一种裂缝图像识别与建模方法 | |
| CN107527054A (zh) | 基于多视角融合的前景自动提取方法 | |
| CN113643365B (zh) | 一种相机位姿估计方法、装置、设备以及可读存储介质 | |
| CN116630971B (zh) | 基于CRF_ResUnet++网络的小麦赤霉病孢子分割方法 | |
| CN114492619A (zh) | 一种基于统计和凹凸性的点云数据集构建方法及装置 | |
| Kim et al. | A robust matching network for gradually estimating geometric transformation on remote sensing imagery | |
| CN107862319A (zh) | 一种基于邻域投票的异源高分光学影像匹配误差剔除方法 | |
| CN106709870A (zh) | 一种近景影像直线段匹配方法 | |
| CN104732230A (zh) | 一种基于细胞核统计信息的病理图像局部特征提取方法 | |
| CN110246165A (zh) | 提高可见光图像与sar图像配准速度的方法及*** | |
| CN117078726A (zh) | 一种基于边缘提取的异谱图像配准方法 | |
| CN110070626B (zh) | 一种基于多视角分类的三维物体检索方法 | |
| Oktay et al. | Probabilistic edge map (PEM) for 3D ultrasound image registration and multi-atlas left ventricle segmentation | |
| Han et al. | Accurate and robust vanishing point detection method in unstructured road scenes | |
| Zheng et al. | Lattice-point mutually guided ground-to-aerial feature matching for urban scene images | |
| CN116385477A (zh) | 一种基于图像分割的杆塔图像配准方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |