CN111583204A - 基于网络模型的二维序列磁共振图像的器官定位方法 - Google Patents
基于网络模型的二维序列磁共振图像的器官定位方法 Download PDFInfo
- Publication number
- CN111583204A CN111583204A CN202010344910.7A CN202010344910A CN111583204A CN 111583204 A CN111583204 A CN 111583204A CN 202010344910 A CN202010344910 A CN 202010344910A CN 111583204 A CN111583204 A CN 111583204A
- Authority
- CN
- China
- Prior art keywords
- organ
- image
- positioning
- sequence
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 210000000056 organ Anatomy 0.000 title claims abstract description 121
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000001514 detection method Methods 0.000 claims abstract description 55
- 238000012545 processing Methods 0.000 claims abstract description 33
- 238000012795 verification Methods 0.000 claims abstract description 26
- 238000007781 pre-processing Methods 0.000 claims abstract description 11
- 230000008569 process Effects 0.000 claims abstract description 8
- 238000012549 training Methods 0.000 claims description 33
- 230000004807 localization Effects 0.000 claims description 14
- 238000012216 screening Methods 0.000 claims description 9
- 238000010606 normalization Methods 0.000 claims description 7
- 238000002372 labelling Methods 0.000 claims description 6
- 238000013519 translation Methods 0.000 claims description 5
- 230000005489 elastic deformation Effects 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 claims description 3
- 238000009966 trimming Methods 0.000 claims description 2
- 238000002360 preparation method Methods 0.000 abstract description 3
- 210000002307 prostate Anatomy 0.000 description 24
- 238000013527 convolutional neural network Methods 0.000 description 16
- 230000011218 segmentation Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 9
- 238000010200 validation analysis Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000012360 testing method Methods 0.000 description 6
- 238000000605 extraction Methods 0.000 description 5
- 239000010410 layer Substances 0.000 description 4
- 238000011176 pooling Methods 0.000 description 4
- 210000001519 tissue Anatomy 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 3
- 230000003902 lesion Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 210000004907 gland Anatomy 0.000 description 2
- 210000000664 rectum Anatomy 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- QLMNCUHSDAGQGT-UHFFFAOYSA-N sintofen Chemical compound N1=C(C(O)=O)C(=O)C=2C(OCCOC)=CC=CC=2N1C1=CC=C(Cl)C=C1 QLMNCUHSDAGQGT-UHFFFAOYSA-N 0.000 description 2
- 238000011282 treatment Methods 0.000 description 2
- 206010060862 Prostate cancer Diseases 0.000 description 1
- 208000000236 Prostatic Neoplasms Diseases 0.000 description 1
- 238000001574 biopsy Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004195 computer-aided diagnosis Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000001094 effect on targets Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000011229 interlayer Substances 0.000 description 1
- 210000003734 kidney Anatomy 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 210000000496 pancreas Anatomy 0.000 description 1
- 208000023958 prostate neoplasm Diseases 0.000 description 1
- 238000011158 quantitative evaluation Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 238000012285 ultrasound imaging Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30081—Prostate
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Medical Informatics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于网络模型的二维序列磁共振图像的器官定位方法，包括：数据集准备、预处理和扩充处理；构建基于faster R‑CNN的改进的器官初步定位网络模型；利用验证集对器官初步定位网络模型进行优化调整，得到器官定位网络模型；对验证集图像进行器官初步定位，得到针对每个二维切片图像的多个目标检测框及相应的可信度评分，保留每张图像中可信度大于阈值的目标候选框；构建基于序列关联性处理的空间曲线拟合模型；对待***官的二维序列磁共振图像进行预处理并输入器官定位网络模型，由器官初步定位结果得到每张图像中可信度大于阈值的目标候选框；基于序列关联性处理对器官进行最终定位。该对器官定位精确且具有良好的泛化性能。
Description
技术领域
本发明涉及磁共振图像中器官的定位方法，具体而言涉及一种基于网络模型的二维序列磁共振图像的器官定位方法。
背景技术
磁共振(MR)成像由于其优越的空间分辨率和组织对比度，目前已经成为***辅助诊断的主要成像方式。相较于经直肠超声成像(TRUS)而言，它促进了靶向活检和治疗对于***肿瘤病变定位、体积评估及***癌症分期有着重要意义。然而目前***MR图像的检查是由放射科医生基于每一张切片图像的视觉检查，因此是一项相当耗时、繁琐且具有一定主观性的任务。
器官定位对于许多如图像配准、器官分割和病变检测等医学图像处理任务都是很重要的。器官初始位置的有效评估能够在很大程度上改善后续处理的性能。例如对于器官分割而言，器官的初始定位能够将分割任务集中在感兴趣的区域，在提升分割速度，降低内存存储的同时降低了假阳性分割的风险。
目前，在医学图像的各种器官/组织的分割和检测中，已经提出了一些应用于计算机辅助诊断的半自动或全自动的方法。然而由于扫描仪和扫描方案的不同所引起的图像亮度、成像伪影及直肠线圈周围信号强度的异质性和腺体本身存在的大小、形状的不同以及腺体与周围组织结构之间的低对比度、缺乏强边界等内在差异，***的分割和检测仍然面临很大的挑战。
近年来，以Faster R-CNN为首的基于区域的两阶段目标检测算法因其卓越的检测精度和较好的检测效率在医学图像处理领域得到了广泛的应用。但是由于网络最初是针对自然图像中的目标检测而设计且对于小目标的检测仍然存在一定的局限性，因此无法对磁共振图像中的器官进行唯一准确的定位。
发明内容
为克服现有技术的不足，本发明提供了一种基于Faster R-CNN改进的二维序列磁共振图像的器官定位方法，充分利用自然图像特征与医学图像特征之间的异同来优化器官的定位精度和检测成功率。
为此，本发明采用以下技术方案：
一种基于网络模型的二维序列磁共振图像的器官定位方法，包括以下步骤：
S1，准备数据集：
搜集多个关于某器官的二维序列磁共振图像，对这些图像中的器官区域进行矩形目标框标注，然后将其分成训练集和验证集；
S2，数据集预处理：对每张所述二维序列MR图像依次进行像素强度最大值最小值归一化处理、中心裁剪处理和图像尺寸归一化处理；
S3，对步骤S2得到的训练集图像及对应器官的矩形目标框标注进行数据扩充处理；
S4，构建基于faster R-CNN的改进的器官定位网络模型，包括以下步骤：
1)构建基于改进的Faster R-CNN的目标检测网络架构，利用带有空间注意力机制的ResNet-50代替经典Faster R-CNN中的VGG16架构，利用ImageNet大型自然数据集对ResNet-50进行训练，得到网络的初始训练权重参数；
2)将步骤S3扩充后的训练集图像及对应的矩形目标框标注作为步骤1)中网络的输入，利用分类损失和回归损失构成的多任务损失函数对整个网络架构参数进行迭代调整，完成网络训练，生成器官初步定位网络模型；
S5，将步骤S2预处理后的验证集图像和与其对应的矩形目标框标注输入S4生成的器官初步定位网络模型，针对输出结果对器官定位模型进行优化调整，得到器官定位网络模型；
S6，利用S5构建的网络模型对步骤S2预处理后的验证集图像进行器官的初步定位，得到针对其中每个二维切片图像的若干个目标检测框及相应的可信度评分，保留每张图像中可信度大于一定阈值的目标候选框；
S7，构建基于序列关联性处理的空间曲线拟合模型：
1)针对S6中每个带有初步检测结果的二维切片图像，将属于同一序列的轴向切片图像按照前后顺序整理好；
2)对上述整理好的每个序列，将其中具有单一可靠目标候选框的切片图像中目标框的关键点进行提取，并利用这些关键点进行序列方向的空间曲线拟合，确定最佳曲线拟合方式为最小二乘四次多项式拟合；
S8，将某一待***官的二维序列磁共振图像按步骤S2的方法进行预处理后输入所步骤S5得到的器官定位网络模型，得到器官初步定位结果；
S9，由步骤S8输出的器官初步定位结果得到每个二维切片图像的若干个目标检测框及相应的可信度评分，保留每张图像中可信度大于一定阈值的目标候选框；
S10，基于序列关联性处理对器官进行最终定位：
1)针对S9中每个带有初步检测结果的二维切片图像，将其按序列前后顺序整理好；
2)针对上述整理好的序列图像，将其中具有单一可靠目标候选框的切片图像中目标框的关键点进行提取，根据S7得到的最小二乘四次多项式拟合方式对这些关键点进行序列方向的空间曲线拟合；
3)利用拟合的空间曲线和最小空间欧式距离筛选并判定具有多预测框的二维图像中距离拟合位置最近的目标框为器官的最终定位框，并在每次筛选之后更新空间曲线拟合参数；
4)利用最终更新后的空间曲线对缺失检测的二维图像进行拟合，完成对器官的最终定位。
其中，步骤S2中对像素强度进行归一化时，像素i的像素值xi归一化后的像素值为：normi＝(xi-Pmin)/(Pmax-Pmin)×255,normi∈[0,255]，其中，Pmax、Pmin分别指像素i所在的切片图像的像素最大值和最小值。
步骤S2中，进行中心裁剪处理时，若原图尺寸为W×H，则裁剪后尺寸为αW×αH,α为比例系数，优选的是，所述α＝2/3。
优选的是，步骤S2中，将图像尺寸归一化为600×600。
在步骤S3中，通过水平翻转、小幅度水平平移或垂直平移、小角度随机旋转和弹性形变进行数据扩充处理。优选的是，所述小角度随机旋转的角度为-5°～5°。
步骤S7中，所述阈值为0.80～0.90。
受到Faster R-CNN模型在自然图像目标检测中取得优异表现的启发，本发明建立在该模型的基础上，充分利用了器官在图像中的中心位置先验信息和序列图像之间的演化规律对模型进行进一步的改进和完善，以此来实现磁共振图像中***器官的精确定位，为后续器官配准、分割等医学图像任务奠定良好的基础。本发明基于Faster R-CNN改进的二维序列磁共振器官定位方法充分利用了自然图像特征与医学图像特征之间的异同来优化器官的定位精度和检测成功率。
实验证明，在没有过多复杂的图像预处理工作的前提下，该方法能够实现较为精确的官定位，且具有良好的泛化性能。本方法对于器官面积的召回率达到96.91％，对器官的定位成功率高达99.39％。
附图说明
图1是本发明方法的流程框图；
图2是本发明中使用的来自不同医学中心的***轴向磁共振图像示例；
图3是本发明中部分网络块的具体结构：(a)卷积注意力块；(b)标识块；(c)空间注意力模块；
图4是基于改进的Faster R-CNN的部分初步检测结果：(a)带有多个目标检测结果的切片图像示例；(b)缺少目标检测结果的切片图像示例；
图5是基于序列关联性的空间曲线拟合和更新示意图，其中：(1)被舍弃目标框的关键点在X-Z和X-Y面上的投影；(2)空间拟合曲线的绘制和调整；(3)空间拟合曲线在X-Z面上的投影；(4)空间拟合曲线在X-Y面上的投影
图6是本发明的方法在验证集上的部分检测结果图：其中红色标记为***器官的真实轮廓，黄色矩形框为算法的器官定位结果；
图7是本发明的方法在一个实际案例中的轴向切片测试结果图：(a)第5张切片；(b)第11张切片；(c)第15张切片；(d)第18张切片。
图8是本发明中模型训练环节和测试环节的流程图。
具体实施方式
由于器官的初始定位对于器官分割、图像配准、病变检测等医学图像处理非常重要，器官初始位置的有效评估能够帮助去除图像背景中大部分的干扰性信息，从而改善后续处理。本发明基于两阶段检测算法Faster R-CNN，引入了关注器官位置特征的空间注意力模块和改善序列间检测效果的关联性处理，并在异质性较高的测试数据集上表现出了优秀的检测效果，为医学图像的后续处理奠定了良好的基础。
以下结合具体实施例对本发明的方法进行详细说明。
实施例一 一种基于网络模型的二维序列磁共振图像的器官定位方法
本实施例以规模较小、异质性较高的***磁共振数据集为例对***器官的定位方法进行详细说明。如图8所示，该方法包括以下步骤：
S1，数据集准备：
本实施例使用的***磁共振图像来自2012年MICCAI会议上公布的***分割挑战赛PROMISE12数据集。该数据集包含来自四个医学中心的80个T2加权磁共振图像案例，其中有50例带有专家手工分割掩码，每个中心在采集图像时所采用的采集设备和采集协议都不尽相同。图2中展示了来自四个中心的样例图像。其中的1.5T和3T代表磁场强度，有无ERC代表图像采集时是否使用了直肠线圈。
本实施例将上述50例带有专家手工分割掩码的***MR图像以案例为单位按照4:1的比例分为训练集和验证集。
S2，数据集图像预处理：
(1)训练集和验证集图像的预处理：
针对上述得到的训练集和验证集图像进行如下四步基本预处理操作：(a)由于原始三维图像在轴向方向的层间分辨率比层内分辨率高，因此本发明将原始数据中的三维图像按照轴向序列展开，形成二维序列MR图像。(b)其次，由于来自不同采集中心的图像强度差异较大，因此针对每张二维切片图像进行强度最大值最小值归一化处理。如像素i的像素值xi归一化后的像素值为：normi＝(xi-Pmin)/(Pmax-Pmin)×255,normi∈[0,255]，其中Pmax、Pmin分别指像素i所在的切片图像的像素最大值和最小值。(c)此外，考虑到器官通常位于图像中心位置这一先验信息，为了增强对于小目标的检测性能，对图像进行中心裁剪处理(若原图尺寸为W×H，则裁剪后尺寸为αW×αH,α为比例系数，在本实施例中取α＝2/3)。(d)最后，将图像尺寸统一归一化，本实施例中归一化为600×600。
(2)训练集和验证集目标框标签的生成
为了利用带有标签的数据来训练和验证深度学习网络，利用训练集和验证集图像对应的分割掩码(即像素级标注)来生成基于每张训练和验证图像的图像级标注，即矩形目标框标注。本方法中针对训练和验证图像对应的分割掩码图像，按照上述(1)中(c)-(d)的中心裁剪和尺寸归一化操作后，利用器官真实轮廓的外接矩形作为器官的位置标签，并将训练集和验证集图像及对应的带有位置标签的标签图像作为后续训练和验证网络的输入。
对于没有分割掩码的数据集，可先对这些图像中器官的区域进行矩形目标框标注。
S3，数据扩充处理：
由于深度学***翻转、小幅度水平或垂直平移、小角度随机旋转(-5°～5°)和弹性形变四种方式进行数据扩充处理。扩充后图像数量为原始图像数量的16倍。
S4，构建基于faster R-CNN的改进的器官初步定位网络模型：
(1)网络结构搭建：
本发明中采用了与Faster R-CNN相仿的网络结构，所不同的是用带有空间注意力机制的ResNet-50架构代替了原始Faster R-CNN中的VGG16来实现对输入图像的特征提取及对图像中目标的分类识别，如图1中所示。其中，卷积注意力模块的具体构造及空间注意力模块在其中的嵌入方式如图3(a)所示；标识块和空间注意力模块的具体结构如图3(b)、(c)所示。空间注意力模块的加入是为了更好地利用器官在图像中的中心位置信息，增强网络对于位置特征学习的敏感性。以F∈RC×H×W作为中间特征图输入，则加入空间注意力模块后的注意力特征图的计算公式为：
Attention(F)＝sigmoid(f7×7[Favg,Fmax])Favg(F)＝Global_avgpool(F)，
Fmax(F)＝Global_maxpool(F)
其中，Favg,Fmax∈R1×H×W，f7×7表示与7×7的卷积核进行卷积操作。
(2)网络训练策略和损失函数设置
1)训练策略
由于医学数据集的有限性，本发明利用迁移学习的思想，将网络在ImageNet大型自然图像集上进行预训练，并将预训练的权重参数作为本方法的初始权重，并在此基础上利用带有标注的***数据集对网络进行进一步训练。训练过程中选用参数为β1＝0.9,β2＝0.999,epsilon＝10-8的Adam优化器，并采用2×10-5的固定学习率。
2)损失函数设置
Faster R-CNN网络包含回归和分类两个任务，回归器用于对候选框进行回归预测，分类器用于对候选框内对象进行分类。因此网络训练过程使用多任务损失函数，其计算公式如下：
其中，Lcls、Lreg分别表示分类损失和回归损失，具体如下：
i)分类损失:采用二分类交叉熵损失函数，其中pi为anchor[i]预测为目标的概率，
为anchor[i]的真实标签，即满足
ii)回归损失：
其中，
ti＝{tx,ty,tw,th}是一个向量，表示预测候选框anchor[i]的参数化坐标；
对应的真实目标框的坐标向量。
(3)网络训练
1)特征提取
将上述S3得到的训练集图像输入特征提取网络，随着卷积层分辨率的不断降低，网络能够更好地学习图像的全局特征(即泛化特征)，残差结构的加入进一步优化了特征提取过程。如图1中所示，图像在阶段1～4中经历了四次步长为2的下采样操作，因此最终得到的卷积特征图大小约为原始输入图像尺寸的1/16(以输入图像尺寸为600×600为例，输出的卷积特征图大小为38×38)。
2)目标候选框的预测
(a)基于步骤1)中得到的卷积特征图，RPN网络首先对其进行一个3×3的卷积操作，而后以卷积图中的每个像素为中心，形成若干个不同大小和不同比例的anchors，将这些anchors映射到卷积特征图上，得到若干个目标候选框建议。在本实施例中，考虑到器官本身的形态大小及其在图像中所占的比例，选取尺寸大小分别为{64,128,256,512}且长宽比分别为{0.5,1,2}的anchors，由此在每个像素点处形成4×3＝12个anchors。
(b)基于1)中得到的卷积特征图和(a)中得到的不同大小和尺寸的目标候选框建议，进行ROI池化操作，得到相同尺寸大小的目标候选框特征图；
(c)利用图1中所示的阶段5对(b)中得到的目标候选框特征图作进一步的卷积操作，之后利用全连接层分别获得每个目标候选框所属的类别概率预测以及位置偏移量预测；
(d)执行具有选定阈值的非极大值抑制(NMS)，来去除掉同一类别中重叠度较高的目标候选框集合。
(e)利用训练图像对应的标签图像对经过(d)筛选得到的目标候选框的分类和位置预测进行损失函数评估，从而利用梯度下降反向传播方法，对深度卷积神经网络的参数进行迭代更新，将迭代至最大设定次数后得到的网络参数作为最优的网络参数，完成训练，生成器官初步定位网络模型。
S5、将上述构建的网络模型应用于验证集的初步定位：
将S2所述经过预处理后的验证集图像(不包含目标框标注)输入到上述构建的网络模型中，输出得到针对验证集图像中每个二维切片图像的若干个目标检测框及相应的可信度评分。保留每张图像中可信度大于阈值(本方法中选用阈值为0.80)的目标候选框。
S6，基于序列关联性处理对器官进行最终定位：
在步骤S4的初步检测结果中出现如图4(a)所示的个别切片图像中出现多个目标检测框的现象及(b)中缺乏目标检测框的现象，这是因为这种方式忽略了医学图像本身的特质。对于器官定位检测来说，同一个体的二维序列MR图像之间器官的位置没有较大的变动，器官表面轮廓的演化是有一定规律的，因此可以利用数学模型来描述为此，本方法引入序列关联性处理来改善上述问题。具体分为以下步骤：
(1)二维图像序列化：
针对S4中每个带有初步检测结果的二维切片图像，将属于同一序列的轴向切片图像按照前后顺序整理好，为进一步的序列关联性处理做好准备。
(2)目标框最终确定：
以***器官的检测为例，每张图像中都包含***器官且器官是唯一的。因此利用目标的唯一性及序列图像中器官位置的微变性，首先针对(1)中得到的验证集中的每个序列，对属于同一序列的具有单一可靠目标候选框的切片图像中目标框的九个关键点(包括矩形框的中心点、四个顶点及四条边的中点)进行三维空间曲线拟合，拟合方式采用最小二乘四次多项式拟合。
对上述图4(a)、(b)中两个问题分别进行如下处理：
I)针对每个序列中个别二维图像存在两个及两个以上目标框的现象(如图4(a)所示)：利用拟合的空间曲线和最小空间欧式距离筛选并判定具有多预测框的二维图像中距离拟合位置最近的目标框为最终器官的位置，并在每次筛选之后更新空间曲线拟拟合参数。图5为描述这一过程的示意图，其中目标框筛选的数学公式依据为：
其中，b*表示该切片图像最终筛选出的器官预测框，
分别表示第j个关键点处y方向和z方向的拟合预测值，
分别表示网络预测出的某个目标框的第j个关键点处的y方向和z方向的坐标值。
II)针对每个序列中序列首末两端的***基部和底部器官由于目标较小而可能出现没有目标框的现象(如图4(b)所示)：
由于目标检测网络对于小目标检测的有限性，本方法利用每个序列最终更新后的空间曲线来对该序列内缺失检测的二维图像拟合得到器官的目标定位。由此，实现了验证集图像的器官最终定位。
验证集的定位效果评估
结合上述S6中得到的验证集图像的定位结果和S2中验证集图像的器官真实标注，从定性和定量两个角度对上述方法的检测效果进行评估：
从定性角度评估，图6中(a)-(d)为验证集上得到的检测结果图。其中，红线表示的是器官的真实轮廓，黄色的矩形框则表示本发明方法对***器官的检测结果。从检测结果图来看，该方法能够实现较为精确且唯一的器官定位，同时很好地规避了膀胱、直肠等在形态大小上与器官较为接近的器官。
从定量角度评估，通过多次试验表明，该方法对于器官真实面积的召回率达到96.91％，且以面积召回率为50％作为定位成功率的标准，该方法在验证集中对器官的定位成功率高达99.39％。
从检测效率来看，该方法对于一张二维切片图像中的器官定位检测耗时仅为0.3s(英特尔Corei7 3GHz处理器)，能够很好地满足在医学任务中的实际需求。
优选的是，将上述经过预处理后的验证集输入到步骤S4形成的网络模型中，对训练网络进行进一步优化调整，得到优化调整的网络模型，再执行步骤S5。
以上虽然以***器官定位为例进行了说明，可以理解，本方法同样适用于肾脏、胰腺等组织器官的检测定位。
实施例二
利用上述方法对待定位***器官进行定位的方法，包括以下步骤：
(1)图像预处理：
针对某一个案例的三维磁共振***器官图像，首先进行二维序列化处理。其次进行最大最小值强度归一化处理，将二维切片图像的像素值归一化到[0,255]之间。最后根据器官在图像中的位置及所占比例对图像进行适当的裁剪处理，并将图像尺寸归一化到600×600。
(2)基于Faster R-CNN改进器官定位网络模型对器官进行初步定位：
1)特征提取：将(1)中得到的二维切片图像输入S4构建的卷积神经网络中，得到关于图像的卷积特征图；
2)生成目标候选框建议：将1)得到的卷积特征图输入RPN网络生成目标候选框建议；
3)ROI池化(即感兴趣区域池化)：以1)输出的卷积特征图和2)输出的目标候选框建议为输入，将目标候选框建议映射到特征图的对应位置，对映射后的特征图进行池化操作得到统一尺寸的目标区域特征图；
4)分类预测：根据3)得到的目标区域特征图进行分类，区分相应的目标候选框所包含的对象是器官还是背景，并得到对应于该类别的置信度分数；
5)边界框回归：根据3)得到的目标区域特征图进行边界框回归细化边界框，最终获得检测框的精确位置；
6)根据4)和5)中得到的属于器官的目标框及其位置，执行具有阈值为Nt(Nt为固定值)的非极大值抑制(NMS)来去除掉重叠度较高的目标框集合，并保留每张二维切片图像中可信度大于某一固定阈值(建议选用阈值为0.80～0.90之间)的目标候选框。由此，得到每张二维切片图像中的若干个目标检测框的位置及对应的可信度评分。
(3)基于序列关联性处理对器官进行最终定位：
1)将上述切片图像按照原始序列前后顺序进行整理；
2)对具有单一可靠目标候选框的序列图像中目标框的九个关键点(包括矩形框的中心点、四个顶点及四条边的中点)进行最小二乘四次多项式空间曲线拟合。其次利用拟合的空间曲线和最小空间欧式距离筛选并判定具有多预测框的二维图像中距离拟合位置最近的目标框为器官的最终定位框，并在每次筛选之后更新空间曲线拟拟合参数。
3)针对序列首末两端的器官检测由于目标较小而可能出现没有目标框的现象，利用最终更新后的空间曲线来对缺失检测的二维图像拟合得到器官的目标定位，由此实现了整个二维序列图像的器官定位检测。
本实施例中，轴向切片图像中的***器官定位效果图如图7所示，其中(a)-(d)分别展示的是轴向序列切片的第5、11、15、18张切片下的测试效果图。通过横向对比观察四幅图像中对***器官的定位效果，可以看出本方法对于整体序列切片中的***器官定位效果非常好，特别是序列首末两端的器官定位，这也是其它算法很少涉及或者无法比拟的；此外，纵向来看，本方法在实现较为精确的***定位的同时也能够很好地排除膀胱、直肠等与***器官形态大小较为相似的区域，说明本方法对于目标器官的特征学习效果是比较好的。
综上所述，本发明所述的二维序列磁共振图像的器官定位识别方法的优点在于，利用规模较小、异质性较高的磁共振数据集构建一种通用的器官定位方法，很好地避免了传统的基于切片的视觉检查的主观性。另外，本发明通过对现有的自然图像处理中使用的目标检测算法Faster R-CNN进行改进，实现了对器官的初步检测定位；之后利用医学序列切片图像之间的关联性(即器官整体的位置和形态大小在层间的演化规律)极大地改善了序列首末两端的器官定位效果，该方法识别速度和准确度较好，能够很好地满足医学图像的处理中的实时性要求。
Claims (8)
1.一种基于网络模型的二维序列磁共振图像的器官定位方法，包括以下步骤：
S1，准备数据集：
搜集多个关于某器官的二维序列磁共振图像，对这些图像中的器官区域进行矩形目标框标注，然后将其分成训练集和验证集；
S2，数据集预处理：对每张所述二维序列MR图像依次进行像素强度最大值最小值归一化处理、中心裁剪处理和图像尺寸归一化处理；
S3，对步骤S2得到的训练集图像及对应器官的矩形目标框标注进行数据扩充处理；
S4，构建基于Faster R-CNN改进的器官初步定位网络模型，包括以下步骤：
1)构建基于Faster R-CNN改进的目标检测网络架构，利用带有空间注意力机制的ResNet-50代替经典Faster R-CNN中的VGG16架构，利用ImageNet大型自然数据集对ResNet-50进行训练，得到网络的初始训练权重参数；
2)将步骤S3扩充后的训练集图像及对应的矩形目标框标注作为步骤1)中网络的输入，利用分类损失和回归损失构成的多任务损失函数对整个网络架构参数进行迭代调整，完成网络训练，生成器官初步定位网络模型；
S5，将步骤S2预处理后的验证集图像和与其对应的矩形目标框标注输入S4生成的器官初步定位网络模型，针对输出结果对器官定位模型进行优化调整，得到器官定位网络模型；
S6，利用S5构建的网络模型对步骤S2预处理后的验证集图像进行器官的初步定位，得到针对其中每个二维切片图像的若干个目标检测框及相应的可信度评分，保留每张图像中可信度大于一定阈值的目标候选框；
S7，构建基于序列关联性处理的空间曲线拟合模型：
1)针对S6中每个带有初步检测结果的二维切片图像，将属于同一序列的轴向切片图像按照前后顺序整理好；
2)对上述整理好的每个序列，将其中具有单一可靠目标候选框的切片图像中目标框的关键点进行提取，并利用这些关键点进行序列方向的空间曲线拟合，确定最佳曲线拟合方式为最小二乘四次多项式拟合；
S8，将某一待***官的二维序列磁共振图像按步骤S2的方法进行预处理后输入到步骤S5得到的器官定位网络模型中，得到器官的初步定位结果；
S9，由步骤S8输出的器官初步定位结果得到每个二维切片图像的若干个目标检测框及相应的可信度评分，保留每张图像中可信度大于一定阈值的目标候选框；
S10，基于序列关联性处理对器官进行最终定位：
1)针对S9中每个带有初步检测结果的二维切片图像，将其按序列前后顺序整理好；
2)针对上述整理好的序列图像，将其中具有单一可靠目标候选框的切片图像中目标框的关键点进行提取，根据S7得到的最小二乘四次多项式拟合方式对这些关键点进行序列方向的空间曲线拟合；
3)利用拟合的空间曲线和最小空间欧式距离筛选并判定具有多预测框的二维图像中距离拟合位置最近的目标框为器官的最终定位框，并在每次筛选之后更新空间曲线拟合参数；
4)利用最终更新后的空间曲线对缺失检测的二维图像进行拟合，完成对器官的最终定位。
2.根据权利要求1所述的器官定位方法，其特征在于：步骤S2中，对像素强度进行归一化时，像素i的像素值xi归一化后的像素值为：
normi＝(xi-Pmin)/(Pmax-Pmin)×255,normi∈[0,255]，
其中，Pmax、Pmin分别指像素i所在的切片图像的像素最大值和最小值。
3.根据权利要求1所述的器官定位方法，其特征在于：步骤S2中，进行中心裁剪处理时，若原图尺寸为W×H，则裁剪后尺寸为αW×αH,α为比例系数。
4.根据权利要求3所述的器官定位方法，其特征在于：所述α＝2/3。
5.根据权利要求1所述的器官定位方法，其特征在于：步骤S2中，将图像尺寸归一化为600×600。
6.根据权利要求1所述的器官定位方法，其特征在于：步骤S3中，通过水平翻转、小幅度水平平移或垂直平移、小角度随机旋转和弹性形变进行数据扩充处理。
7.根据权利要求6所述的器官定位方法，其特征在于：所述小角度随机旋转的角度为-5°～5°。
8.根据权利要求1所述的器官定位方法，其特征在于：步骤S7中所述阈值为0.80～0.90。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010344910.7A CN111583204B (zh) | 2020-04-27 | 2020-04-27 | 基于网络模型的二维序列磁共振图像的器官定位方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010344910.7A CN111583204B (zh) | 2020-04-27 | 2020-04-27 | 基于网络模型的二维序列磁共振图像的器官定位方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111583204A true CN111583204A (zh) | 2020-08-25 |
| CN111583204B CN111583204B (zh) | 2022-10-14 |
Family
ID=72125433
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010344910.7A Active CN111583204B (zh) | 2020-04-27 | 2020-04-27 | 基于网络模型的二维序列磁共振图像的器官定位方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111583204B (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112053342A (zh) * | 2020-09-02 | 2020-12-08 | 陈燕铭 | 基于人工智能的脑垂体磁共振图像的提取识别方法和装置 |
| CN112164028A (zh) * | 2020-09-02 | 2021-01-01 | 陈燕铭 | 基于人工智能的垂体腺瘤磁共振图像定位诊断方法和装置 |
| CN112598634A (zh) * | 2020-12-18 | 2021-04-02 | 燕山大学 | 基于3d cnn和迭代搜索的ct影像器官定位方法 |
| CN113256574A (zh) * | 2021-05-13 | 2021-08-13 | 中国科学院长春光学精密机械与物理研究所 | 一种三维目标检测方法 |
| CN113436139A (zh) * | 2021-05-10 | 2021-09-24 | 上海大学 | 一种基于深度学习的小肠核磁共振影像图像识别和生理学信息提取***及方法 |
| CN113538435A (zh) * | 2021-09-17 | 2021-10-22 | 北京航空航天大学 | 一种基于深度学习的胰腺癌病理图像分类方法及*** |
| CN113674248A (zh) * | 2021-08-23 | 2021-11-19 | 广州市番禺区中心医院(广州市番禺区人民医院、广州市番禺区心血管疾病研究所) | 磁共振酰胺质子转移成像磁化转移率检测方法及相关设备 |
| CN114037714A (zh) * | 2021-11-02 | 2022-02-11 | 大连理工大学人工智能大连研究院 | 一种面向******穿刺的3d mr与trus图像分割方法 |
| CN114820584A (zh) * | 2022-05-27 | 2022-07-29 | 北京安德医智科技有限公司 | 肺部病灶定位装置 |
| WO2022198786A1 (zh) * | 2021-03-25 | 2022-09-29 | 平安科技（深圳）有限公司 | 目标物检测方法、装置、电子设备及存储介质 |
| CN116777935A (zh) * | 2023-08-16 | 2023-09-19 | 天津市肿瘤医院（天津医科大学肿瘤医院） | 基于深度学习自动分割***全腺体方法及*** |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101301207A (zh) * | 2008-05-28 | 2008-11-12 | 华中科技大学 | 动态模型指导下的血管造影三维重建方法 |
| CN109727240A (zh) * | 2018-12-27 | 2019-05-07 | 深圳开立生物医疗科技股份有限公司 | 一种三维超声图像的遮挡组织剥离方法及相关装置 |
| CN110009628A (zh) * | 2019-04-12 | 2019-07-12 | 南京大学 | 一种针对连续二维图像中多形态目标的自动检测方法 |
| CN110211097A (zh) * | 2019-05-14 | 2019-09-06 | 河海大学 | 一种基于Faster R-CNN参数迁移的裂缝图像检测方法 |
| CN110503112A (zh) * | 2019-08-27 | 2019-11-26 | 电子科技大学 | 一种增强特征学习的小目标检测及识别方法 |
| CN110610210A (zh) * | 2019-09-18 | 2019-12-24 | 电子科技大学 | 一种多目标检测方法 |
| CN111027547A (zh) * | 2019-12-06 | 2020-04-17 | 南京大学 | 一种针对二维图像中的多尺度多形态目标的自动检测方法 |
-
2020
- 2020-04-27 CN CN202010344910.7A patent/CN111583204B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101301207A (zh) * | 2008-05-28 | 2008-11-12 | 华中科技大学 | 动态模型指导下的血管造影三维重建方法 |
| CN109727240A (zh) * | 2018-12-27 | 2019-05-07 | 深圳开立生物医疗科技股份有限公司 | 一种三维超声图像的遮挡组织剥离方法及相关装置 |
| CN110009628A (zh) * | 2019-04-12 | 2019-07-12 | 南京大学 | 一种针对连续二维图像中多形态目标的自动检测方法 |
| CN110211097A (zh) * | 2019-05-14 | 2019-09-06 | 河海大学 | 一种基于Faster R-CNN参数迁移的裂缝图像检测方法 |
| CN110503112A (zh) * | 2019-08-27 | 2019-11-26 | 电子科技大学 | 一种增强特征学习的小目标检测及识别方法 |
| CN110610210A (zh) * | 2019-09-18 | 2019-12-24 | 电子科技大学 | 一种多目标检测方法 |
| CN111027547A (zh) * | 2019-12-06 | 2020-04-17 | 南京大学 | 一种针对二维图像中的多尺度多形态目标的自动检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| SANGHYUN WOO，JONGCHAN PARK，JOON-YOUNG LEE，IN SO KWEON: "CBAM: Convolutional Block Attention Module", 《ECCV 2018》 * |
| SHAOQING REN, KAIMING HE, ROSS GIRSHICK, AND JIAN SUN: "Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks", 《CVPR2016》 * |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112164028A (zh) * | 2020-09-02 | 2021-01-01 | 陈燕铭 | 基于人工智能的垂体腺瘤磁共振图像定位诊断方法和装置 |
| CN112053342A (zh) * | 2020-09-02 | 2020-12-08 | 陈燕铭 | 基于人工智能的脑垂体磁共振图像的提取识别方法和装置 |
| CN112598634A (zh) * | 2020-12-18 | 2021-04-02 | 燕山大学 | 基于3d cnn和迭代搜索的ct影像器官定位方法 |
| CN112598634B (zh) * | 2020-12-18 | 2022-11-25 | 燕山大学 | 基于3d cnn和迭代搜索的ct影像器官定位方法 |
| WO2022198786A1 (zh) * | 2021-03-25 | 2022-09-29 | 平安科技（深圳）有限公司 | 目标物检测方法、装置、电子设备及存储介质 |
| CN113436139A (zh) * | 2021-05-10 | 2021-09-24 | 上海大学 | 一种基于深度学习的小肠核磁共振影像图像识别和生理学信息提取***及方法 |
| CN113256574A (zh) * | 2021-05-13 | 2021-08-13 | 中国科学院长春光学精密机械与物理研究所 | 一种三维目标检测方法 |
| CN113674248A (zh) * | 2021-08-23 | 2021-11-19 | 广州市番禺区中心医院(广州市番禺区人民医院、广州市番禺区心血管疾病研究所) | 磁共振酰胺质子转移成像磁化转移率检测方法及相关设备 |
| CN113538435A (zh) * | 2021-09-17 | 2021-10-22 | 北京航空航天大学 | 一种基于深度学习的胰腺癌病理图像分类方法及*** |
| CN114037714A (zh) * | 2021-11-02 | 2022-02-11 | 大连理工大学人工智能大连研究院 | 一种面向******穿刺的3d mr与trus图像分割方法 |
| CN114037714B (zh) * | 2021-11-02 | 2024-05-24 | 大连理工大学人工智能大连研究院 | 一种面向******穿刺的3d mr与trus图像分割方法 |
| CN114820584A (zh) * | 2022-05-27 | 2022-07-29 | 北京安德医智科技有限公司 | 肺部病灶定位装置 |
| CN114820584B (zh) * | 2022-05-27 | 2023-02-21 | 北京安德医智科技有限公司 | 肺部病灶定位装置 |
| CN116777935A (zh) * | 2023-08-16 | 2023-09-19 | 天津市肿瘤医院（天津医科大学肿瘤医院） | 基于深度学习自动分割***全腺体方法及*** |
| CN116777935B (zh) * | 2023-08-16 | 2023-11-10 | 天津市肿瘤医院（天津医科大学肿瘤医院） | 基于深度学习自动分割***全腺体方法及*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111583204B (zh) | 2022-10-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111583204B (zh) | 基于网络模型的二维序列磁共振图像的器官定位方法 | |
| WO2021088747A1 (zh) | 基于深度学习的预测消融术后肝脏肿瘤形态变化的方法 | |
| CN109493317B (zh) | 基于级联卷积神经网络的3d多椎骨分割方法 | |
| CN106102585B (zh) | 三维成像数据的显示处理方法和三维超声成像方法及*** | |
| CN110889852B (zh) | 基于残差-注意力深度神经网络的肝脏分割方法 | |
| Wang et al. | Shape–intensity prior level set combining probabilistic atlas and probability map constrains for automatic liver segmentation from abdominal CT images | |
| WO2021203795A1 (zh) | 一种基于显著性密集连接扩张卷积网络的胰腺ct自动分割方法 | |
| CN112365464B (zh) | 一种基于gan的医学图像病变区域弱监督定位方法 | |
| CN110363802B (zh) | 基于自动分割和骨盆对齐的***图像配准***及方法 | |
| CN108364294A (zh) | 基于超像素的腹部ct图像多器官分割方法 | |
| CN110889853A (zh) | 基于残差-注意力深度神经网络的肿瘤分割方法 | |
| CN109509193B (zh) | 一种基于高精度配准的肝脏ct图谱分割方法及*** | |
| CN107274399A (zh) | 一种基于Hession矩阵和三维形状指数的肺结节分割方法 | |
| CN108062749B (zh) | 肛提肌裂孔的识别方法、装置和电子设备 | |
| RU2654199C1 (ru) | Сегментация тканей человека на компьютерном изображении | |
| CN103544695B (zh) | 一种高效的基于博弈框架的医学图像分割方法 | |
| CN112598613A (zh) | 一种用于肺癌智能诊断的基于深度图像分割和识别的测定方法 | |
| CN111784653A (zh) | 基于形状约束的多尺度网络mri胰腺轮廓定位方法 | |
| CN115546605A (zh) | 一种基于图像标注和分割模型的训练方法及装置 | |
| CN111383759A (zh) | 一种肺炎自动诊断*** | |
| CN110570430B (zh) | 基于体配准的眼眶骨组织分割方法 | |
| CN112258536B (zh) | 一种胼胝体及小脑蚓部的一体化定位及分割方法 | |
| CN111724356A (zh) | 一种用于ct影像肺炎识别的图像处理方法和*** | |
| CN116228709A (zh) | 一种胰腺实性占位病灶的交互式超声内镜图像识别方法 | |
| CN115841457A (zh) | 一种融合多视图信息的三维医学图像分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |