CN114445328A - 基于改进Faster R-CNN的医学影像脑肿瘤检测方法与*** - Google Patents
基于改进Faster R-CNN的医学影像脑肿瘤检测方法与*** Download PDFInfo
- Publication number
- CN114445328A CN114445328A CN202111543746.3A CN202111543746A CN114445328A CN 114445328 A CN114445328 A CN 114445328A CN 202111543746 A CN202111543746 A CN 202111543746A CN 114445328 A CN114445328 A CN 114445328A
- Authority
- CN
- China
- Prior art keywords
- query
- answer
- tumor
- slice
- cnn
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 50
- 208000003174 Brain Neoplasms Diseases 0.000 title claims abstract description 45
- 206010028980 Neoplasm Diseases 0.000 claims abstract description 101
- 230000003287 optical effect Effects 0.000 claims abstract description 35
- 238000000034 method Methods 0.000 claims abstract description 33
- 238000012549 training Methods 0.000 claims abstract description 30
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 238000000605 extraction Methods 0.000 claims description 18
- 238000004364 calculation method Methods 0.000 claims description 15
- 230000001427 coherent effect Effects 0.000 claims description 11
- 230000000694 effects Effects 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 6
- 239000000126 substance Substances 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 5
- 238000012163 sequencing technique Methods 0.000 claims description 4
- 230000008520 organization Effects 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 2
- 230000003042 antagnostic effect Effects 0.000 claims 1
- 238000010276 construction Methods 0.000 claims 1
- 238000013527 convolutional neural network Methods 0.000 description 49
- 230000006870 function Effects 0.000 description 11
- 238000002595 magnetic resonance imaging Methods 0.000 description 10
- 238000013135 deep learning Methods 0.000 description 7
- 210000004556 brain Anatomy 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 3
- 238000012706 support-vector machine Methods 0.000 description 3
- 206010059282 Metastases to central nervous system Diseases 0.000 description 2
- 201000011510 cancer Diseases 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 230000003211 malignant effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000005013 brain tissue Anatomy 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明公开了一种基于改进Faster R‑CNN的医学影像脑肿瘤检测方法与***。包括:从数据库中获取磁共振图像数据集;通过光流法和生成对抗网络以对数据集的图像做预处理,进行数据增强;构建改进Faster R‑CNN深度网络模型;采用得到的所述数据集训练所述构建的改进Faster R‑CNN深度网络模型;将需要预测的磁共振图像输入训练好的网络模型,输出脑肿瘤目标检测结果。本发明采用了基于光流法和生成对抗网络的数据增强方法,并设计了一个改进Faster R‑CNN目标检测网络模型,加入了图像特征金字塔结构以及卷积门控循环单元ConvGRU模块,修改了网络训练时的数据读取方式,增强了肿瘤检测结果的连续性,提升了脑肿瘤的检索精度和查全率。
Description
技术领域
本发明涉及计算机视觉,医学图像处理,机器学习技术领域,具体涉及一种基于改进Faster R-CNN的医学影像脑肿瘤检测方法与***。
背景技术
脑肿瘤是现代人的高发疾病之一,但多数人对其缺乏了解,甚至有大量患者由于没有及时得到诊断和治疗而死亡。脑肿瘤可以划分为良性肿瘤和恶性肿瘤,恶性肿瘤又包括原发性恶性肿瘤和脑转移瘤。其中最常见的是脑转移瘤,良性肿瘤和原发性恶性肿瘤在临床上出现的概率稍小。脑肿瘤一般通过磁共振图像(Magnetic Resonance Imaging,MRI)来诊断,一次扫描结果(scans)能生成脑部组织的3D灰度图像。MRI对脑肿瘤的诊断比计算机断层扫描(Computed Tomography,CT)更为敏感,可发现早期病变,定位也更加准确。但是脑肿瘤通常难以辨别,且MRI的一次扫描结果一般有上百张的二维切片,故医生对单张切片的诊断往往比较困难。
近年来,深度学习(Deep learning,DL)技术快速发展,其中深度卷积神经网络(Convolutional neural network,CNN)能够有效地捕获图像的特征,已经被广泛地应用到了各种图像处理任务和计算机视觉任务中。在医学图像处理中,通过卷积神经网络可以自动地提取隐含的器官、组织等的特征,从而在医学图像的分类、检测、分割、检索、图像生成和增强等各任务中发挥重要的辅助作用。但是,现有的深度学习目标检测算法,如FasterR-CNN,面向的大多为自然图像。相比于自然图像,磁共振图像中存在病灶与正常部分之间差距不明显、需要考虑多张切片之间的横向连续信息等特点,因此,若直接采用现有的自然图像目标检测模型,在预测结果的连续性上表现不佳,检测结果不够准确。此外,在脑肿瘤自然患者中,不同类型的肿瘤样本数目不均衡,其中良性肿瘤和原发性恶性肿瘤样本较少,导致模型对其检测效果不佳。
目前的现有技术之一,“一种基于CNN和SVM融合的脑肿瘤检测和分割方法”,该方法将CNN的Softmax分类器用支持向量机(Support Vector Machine,SVM)代替,交叉熵损失用边界函数来代替,构建出脑肿瘤和正常组织的分类器,来进行脑肿瘤的检测。该方法的缺点是网络结构过于简单,没有具体考虑医学影像中病灶区域难以区分、患病与正常数据样本数量不平衡等特点,导致容易出现模型的判别准确率较低、检测位置不准等问题。
发明内容
本发明的目的是克服现有方法的不足,提出了基于改进Faster R-CNN的医学影像脑肿瘤检测方法与***。本发明解决的主要问题,一是脑肿瘤自然患者中不同类型的肿瘤样本数目不均衡、磁共振图像中病灶与正常部分之间差距不明显,二是现有的深度学习目标检测算法的模型连贯性差,不能达到医学检测中需要考虑多张切片之间的横向连续信息的技术要求。即如何在肿瘤样本数据不均衡、磁共振图像中病灶与正常部分之间差距不明显、需要考虑多张切片之间的横向连续信息的条件下,使得深度学习目标检测算法的模型能够更好地把握切片的上下文信息,学习相邻切片间的联系性,从而增强预测结果的连贯性和准确性的问题。
为了解决上述问题,本发明提出了一种基于改进Faster R-CNN的医学影像脑肿瘤检测方法,所述方法包括:
从磁共振图像数据库中获取磁共振图像数据集;
通过光流法和生成对抗网络,对所述获取的数据集的图像做预处理,进行数据增强;
构建改进Faster R-CNN深度网络模型,加入图像特征金字塔结构以及卷积门控循环单元(Conv Gate Recurrent Unit,ConvGRU)模块,并修改网络训练时的数据读取方式;
采用所述经数据增强后得到的数据集训练改进Faster R-CNN模型;
将需要预测的磁共振图像输入所述训练好的改进Faster R-CNN模型,输出脑肿瘤目标检测结果。
优选地,所述通过光流法和生成对抗网络,对所述获取的数据集的图像做预处理,进行数据增强,具体为:
找出亮度上与有肿瘤切片最为相近的正常切片序列,有肿瘤的切片记为Query,正常人切片序列记为Normal,具体地,对于Query所属的切片序列,先将其按排列顺序均匀分为10组,分别计算每组的像素亮度的均值和标准差,得到长度为20的亮度值统计向量,计算公式具体如下:
在所有Normal序列中,其亮度值统计向量与Query所属序列的亮度值统计向量距离最小的,即为亮度上与Query切片最为相近的Normal序列;
对所述得到的Normal序列进行操作,得到亮度上与有肿瘤切片最为相近的正常切片,记为Answer_pri,具体地,首先通过预训练好的ResNet50模型,对Query以及Normal序列中的每一个切片做特征提取,然后计算va与vi之间的余弦相似度,计算公式具体如下:
其中,vq表示对Query做特征提取得到的值,vi表示对Normal序列中的每一个切片做特征提取得到的值,i=1,2,...,n,
根据相似度从大到小,对Normal序列中的切片进行排序,并选取相似度最高的前10张切片,记为N1,N2,...,N10,然后采用RAFT算法分别计算Query到所述切片的光流,记为f1,f2,...,f10,然后利用所述光流对所述切片做图像扭转操作,得到扭转后的结果N′i,计算公式具体如下:
N′i(x′i,y′i)=Ni(xi,yi)
x′i=xi-fi(xi,yi,0)
y′i=yi-fi(xi,yi,1)
其中,Ni表示选取的前10张切片,N′i表示所述切片扭转后的结果,(xi,yi)表示Ni中像素坐标,(x′i,y′i)表示N′i中像素坐标,fi表示Query到所述切片的光流,i=1,2,...,10,
然后对N′i按Query做直方图匹配,使得N′i与Query之间具有相似的亮度分布,以消除亮度对相似性判断的影响,最后计算N′i与Query之间像素亮度的均方误差,计算公式具体如下:
误差最小的N′i即为Answer_pri;
在Answer_pri上映射出肿瘤区域,得到初步的假肿瘤切片,记为Answer_warped,具体地,首先计算Query到Answer_pri的光流,记为f1,Query中肿瘤的位置由边界方框标出,利用f1,根据所述图像扭转公式,计算出Query中肿瘤位置的边界方框的四个顶点坐标映射在Answer_pri上的对应坐标,从而确定假肿瘤在Answer_pri上的分布区域,然后计算Answer_pri到Query的光流,记为f2,利用f2,根据所述图像扭转公式,找到假肿瘤分布区域中的每个像素点(i,j)在Query中的对应坐标(i′,j′),根据对应坐标的像素值,利用双线性插值法对假肿瘤分布区域内的像素进行初步填充,得到初步填充值Answer_temp,以达到将肿瘤从Query中“移植”到Answer_pri中的效果,计算公式具体如下:
x1=int(i′) y1=int(j′)
x2=x1 y2=y1+1
x3=x1+1 y3=y1
x4=x1+1 y4=y1+1
u=i′-x1 v=j′-y1
Answer_temp(i,j)=(1-u)(1-v)×int(Query(x1,y1))+(1-u)v×int(Query(x2,y2))+u(1-v)×int(Query(x3,y3))+uv×int(Query(x4,y4))
其中,(i,j)表示假肿瘤分布区域中的每个像素点的坐标值,(i′,j′)表示所述假肿瘤分布区域中的每个像素点在Query中的对应坐标值,
最终的填充结果Answerwarped定义为Answer_pri与Answer_temp的平均加权和,以保留Answer_pri中的原有组织部分,计算公式具体如下:
Answer_warped(i,j)=0.5×Answer_pri(i,j)+0.5×Answer_temp(i,j)
其中,(i,j)表示假肿瘤分布区域中的每个像素点的坐标值,(i′,j′)表示所述假肿瘤分布区域中的每个像素点在Query中的对应坐标值;
对Answerwarped做进一步处理得到最后的假肿瘤切片,记为Answer,使其尽可能地与真正有肿瘤的切片相似,具体地,采用生成对抗网络重建图像,以此消除Answerwarped中不自然的部分,网络以Answer_warped作为输入,输出Answer,修改网络的损失函数,包括重建损失、连贯损失、对抗损失三部分,整个损失函数定义为重建损失、连贯损失、对抗损失的加权和,计算公式具体如下:
Loss=50×recLoss+50×cohLoss+advLoss
其中,recLoss表示重建损失,cohLoss表示连贯损失,advLoss表示对抗损失。
优选地,所述构建改进Faster R-CNN深度网络模型,加入图像特征金字塔结构以及ConvGRU模块,并修改网络训练时的数据读取方式,具体为:
在Faster R-CNN的基础上,加入FPN结构,在Faster R-CNN的特征提取部分进行改进,以图像特征金字塔的形式提取特征,融合具有高分辨率的浅层信息和分辨率低但语义信息丰富的深层信息;
在Faster R-CNN提取特征之后、进入RPN结构之前,加入ConvGRU模块,以此记忆切片的上下文信息;
将MRI数据集中的连续切片每3张分为一组,上下两张切片为中间切片提供3D上下文信息,然后在训练时按组读取数据,以保证每次读取的样本数据是某一个病例中的一段连续的切片。
相应地,本发明还提供了一种基于改进Faster R-CNN的医学影像脑肿瘤检测***,包括:
磁共振图像数据集获取单元,用于从磁共振图像数据库中获取磁共振图像数据集;
数据增强单元,用于通过光流法和生成对抗网络,对所述获取的数据集的图像做预处理,进行数据增强;
改进Faster R-CNN模型构建单元,用于构建改进Faster R-CNN深度网络模型,加入图像特征金字塔结构以及ConvGRU模块,并修改网络训练时的数据读取方式;
改进Faster R-CNN模型训练单元,用于采用所述经数据增强后得到的数据集训练改进Faster R-CNN模型;
目标检测结果输出单元,用于将需要预测的磁共振图像输入所述训练好的改进Faster R-CNN模型,输出脑肿瘤目标检测结果。
实施本发明,具有如下有益效果:
本发明通过深度学***均检索精度和平均查全率得分也更高;发明中设计了一个改进Faster R-CNN目标检测网络模型,加入了图像特征金字塔结构以及ConvGRU模块,并修改了网络训练时的数据读取方式,能够让模型学习到多尺度特征以及上下文连贯信息,增强了肿瘤检测结果的连续性,进一步提高了模型的应用效果。
附图说明
图1是本发明实施例的基于改进Faster R-CNN的医学影像脑肿瘤检测方法的总体流程图;
图2是本发明实施例的肿瘤图像数据增强流程图;
图3是本发明实施例的构建改进Faster R-CNN深度网络模型流程图;
图4是本发明实施例的改进Faster R-CNN深度网络模型结构图;
图5是本发明实施例的基于改进Faster R-CNN的医学影像脑肿瘤检测***的结构图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1是本发明实施例的基于改进Faster R-CNN的医学影像脑肿瘤检测方法的总体流程图,如图1所示,该方法包括:
S1,从磁共振图像数据库中获取磁共振图像数据集;
S2,通过光流法和生成对抗网络,对所述获取的数据集的图像做预处理,进行数据增强;
S3,构建改进Faster R-CNN深度网络模型,加入图像特征金字塔结构以及ConvGRU模块,并修改网络训练时的数据读取方式;
S4,采用所述经数据增强后得到的数据集训练改进Faster R-CNN模型;
S5,将需要预测的磁共振图像输入所述训练好的改进Faster R-CNN模型,输出脑肿瘤目标检测结果。
步骤S1,具体如下:
S1-1,从磁共振图像数据库中获取磁共振图像数据集。
步骤S2,如图2所示,具体如下:
S2-1,找出亮度上与有肿瘤切片最为相近的正常切片序列,有肿瘤的切片记为Query,正常人切片序列记为Normal,具体地,对于Query所属的切片序列,先将其按排列顺序均匀分为10组,分别计算每组的像素亮度的均值和标准差,得到长度为20的亮度值统计向量,计算公式具体如下:
在所有Normal序列中,其亮度值统计向量与Query所属序列的亮度值统计向量距离最小的,即为亮度上与Query切片最为相近的Normal序列;
S2-2,对所述得到的Normal序列进行操作,得到亮度上与有肿瘤切片最为相近的正常切片,记为Answer_pri,具体地,首先通过预训练好的ResNet50模型,对Query以及Normal序列中的每一个切片做特征提取,然后计算vq与vi之间的余弦相似度,计算公式具体如下:
其中,vq表示对Query做特征提取得到的值,vi表示对Normal序列中的每一个切片做特征提取得到的值,i=1,2,...,n,
根据相似度从大到小,对Normal序列中的切片进行排序,并选取相似度最高的前10张切片,记为N1,N2,...,N10,然后采用RAFT算法分别计算Query到所述切片的光流,记为f1,f2,...,f10,然后利用所述光流对所述切片做图像扭转操作,得到扭转后的结果N′i,计算公式具体如下:
N′i(x′i,y′i)=Ni(xi,yi)
x′i=xi-fi(xi,yi,0)
y′i=yi-fi(xi,yi,1)
其中,Ni表示选取的前10张切片,N′i表示所述切片扭转后的结果,(xi,yi)表示Ni中像素坐标,(x′i,y′i)表示N′i中像素坐标,fi表示Query到所述切片的光流,i=1,2,...,10,
然后对N′i按Query做直方图匹配,使得N′i与Query之间具有相似的亮度分布,以消除亮度对相似性判断的影响,最后计算N′i与Query之间像素亮度的均方误差,计算公式具体如下:
误差最小的N′i即为Answer_pri;
S2-3,在Answer_pri上映射出肿瘤区域,得到初步的假肿瘤切片,记为Answer_warped,具体地,首先计算Query到Answer_pri的光流,记为f1,Query中肿瘤的位置由边界方框标出,利用f1,根据所述图像扭转公式,计算出Query中肿瘤位置的边界方框的四个顶点坐标映射在Answer_pri上的对应坐标,从而确定假肿瘤在Answer_pri上的分布区域,然后计算Answer_pri到Query的光流,记为f2,利用f2,根据所述图像扭转公式,找到假肿瘤分布区域中的每个像素点(i,j)在Query中的对应坐标(i′,j′),根据对应坐标的像素值,利用双线性插值法对假肿瘤分布区域内的像素进行初步填充,得到初步填充值Answer_temp,以达到将肿瘤从Query中“移植”到Answer_pri中的效果,计算公式具体如下:
x1=int(i′) y1=int(j′)
x2=x1 y2=y1+1
x3=x1+1 y3=y1
x4=x1+1 y4=y1+1
u=i′-x1 v=j′-y1
Answer_temp(i,j)=(1-u)(1-v)×int(Query(x1,y1))+(1-u)v×int(Query(x2,y2))+u(1-v)×int(Query(x3,y3))+uv×int(Query(x4,y4))
其中,(i,j)表示假肿瘤分布区域中的每个像素点的坐标值,(i′,j′)表示所述假肿瘤分布区域中的每个像素点在Query中的对应坐标值,
最终的填充结果Answerwarped定义为Answer_pri与Answer_temp的平均加权和,以保留Answer_pri中的原有组织部分,计算公式具体如下:
Answer_warped(i,j)=0.5×Answer_pri(i,j)+0.5×Answer_temp(i,j)
其中,(i,j)表示假肿瘤分布区域中的每个像素点的坐标值,(i′,j′)表示所述假肿瘤分布区域中的每个像素点在Query中的对应坐标值;
S2-4,对Answerwarped做进一步处理得到最后的假肿瘤切片,记为Answer,使其尽可能地与真正有肿瘤的切片相似,具体地,采用生成对抗网络重建图像,以此消除Answer_warped中不自然的部分,网络以Answer_warped作为输入,输出Answer,修改网络的损失函数,包括重建损失、连贯损失、对抗损失三部分,整个损失函数定义为重建损失、连贯损失、对抗损失的加权和,计算公式具体如下:
Loss=50×recLoss+50×cohLoss+advLoss
其中,recLoss表示重建损失,cohLoss表示连贯损失,advLoss表示对抗损失。
步骤S3,如图3、图4所示,具体如下:
S3-1,在Faster R-CNN的基础上,加入FPN结构,在Faster R-CNN的特征提取部分进行改进,以图像特征金字塔的形式提取特征,融合具有高分辨率的浅层信息和分辨率低但语义信息丰富的深层信息;
S3-2,在Faster R-CNN提取特征之后、进入RPN结构之前,加入ConvGRU模块,以此记忆切片的上下文信息;
S3-3,将MRI数据集中的连续切片每3张分为一组,上下两张切片为中间切片提供3D上下文信息,然后在训练时按组读取数据,以保证每次读取的样本数据是某一个病例中的一段连续的切片。
步骤S4,具体如下:
S4-1,采用所述经数据增强后得到的数据集训练改进Faster R-CNN模型。
步骤S5,具体如下:
S5-1,将需要预测的磁共振图像输入所述训练好的改进Faster R-CNN模型,输出脑肿瘤目标检测结果。
相应地,本发明还提供了一种基于改进Faster R-CNN的医学影像脑肿瘤检测***,如图5所示,包括:
磁共振图像数据集获取单元1,用于从磁共振图像数据库中获取磁共振图像数据集。
数据增强单元2,用于通过光流法和生成对抗网络,对所述获取的数据集的图像做预处理,进行数据增强。
具体地,找出亮度上与有肿瘤切片最为相近的正常切片序列,有肿瘤的切片记为Query,正常人切片序列记为Normal,具体地,对于Query所属的切片序列,先将其按排列顺序均匀分为10组,分别计算每组的像素亮度的均值和标准差,得到长度为20的亮度值统计向量对数据集中所有无肿瘤的Normal序列,以同样方法分别求出与其相对应的长度为20的统计向量然后计算Normal序列的亮度值统计向量与Query所属序列的亮度值统计向量之间的欧式距离,在所有Normal序列中,其亮度值统计向量与Query所属序列的亮度值统计向量距离最小的,即为亮度上与Query切片最为相近的Normal序列;对所述得到的Normal序列进行操作,得到亮度上与有肿瘤切片最为相近的正常切片,记为Answer_pri,具体地,首先通过预训练好的ResNet50模型,对Query做特征提取得到vq,对Normal序列中的每一个切片做特征提取得到vi(i=1,2,...,n),然后计算va与vi之间的余弦相似度,根据相似度从大到小,对Normal序列中的切片进行排序,并选取相似度最高的前10张切片,记为N1,N2,...,N10,然后采用RAFT算法分别计算Query到所述切片的光流,记为f1,f2,...,f10,然后利用所述光流对所述切片做图像扭转操作,得到扭转后的结果N′i,然后对N′i按Query做直方图匹配,使得N′i与Query之间具有相似的亮度分布,以消除亮度对相似性判断的影响,最后计算N′i与Query之间像素亮度的均方误差,误差最小的N′i即为Answer_pri;在Answer_pri上映射出肿瘤区域,得到初步的假肿瘤切片,记为Answer_warped,具体地,首先计算Query到Answer_pri的光流,记为f1,Query中肿瘤的位置由边界方框标出,利用f1,根据所述图像扭转公式,计算出Query中肿瘤位置的边界方框的四个顶点坐标映射在Answer_pri上的对应坐标,从而确定假肿瘤在Answer_pri上的分布区域,然后计算Answer_pri到Query的光流,记为f2,利用f2,根据所述图像扭转公式,找到假肿瘤分布区域中的每个像素点(i,j)在Query中的对应坐标(i′,j′),根据对应坐标的像素值,利用双线性插值法对假肿瘤分布区域内的像素进行初步填充,得到初步填充值Answer,以达到将肿瘤从Query中“移植”到Answer_pri中的效果,最终的填充结果Answer_warped定义为Answer_pri与Answer_temp的平均加权和,以保留Answer_pri中的原有组织部分,对Answer_warped做进一步处理得到最后的假肿瘤切片,记为Answer,使其尽可能地与真正有肿瘤的切片相似,具体地,采用生成对抗网络重建图像,以此消除Answer_warped中不自然的部分,网络以Answer_warped作为输入,输出Answer,修改网络的损失函数,包括重建损失、连贯损失、对抗损失三部分,整个损失函数定义为重建损失、连贯损失、对抗损失的加权和。
改进Faster R-CNN模型构建单元3,用于构建改进Faster R-CNN深度网络模型,加入图像特征金字塔结构以及ConvGRU模块,并修改网络训练时的数据读取方式。
具体地,在Faster R-CNN的基础上,加入FPN结构,在Faster R-CNN的特征提取部分进行改进,以图像特征金字塔的形式提取特征,融合具有高分辨率的浅层信息和分辨率低但语义信息丰富的深层信息;在Faster R-CNN提取特征之后、进入RPN结构之前,加入ConvGRU模块,以此记忆切片的上下文信息;将MRI数据集中的连续切片每3张分为一组,上下两张切片为中间切片提供3D上下文信息,然后在训练时按组读取数据,以保证每次读取的样本数据是某一个病例中的一段连续的切片。
改进Faster R-CNN模型训练单元4,用于采用所述经数据增强后得到的数据集训练改进Faster R-CNN模型。
目标检测结果输出单元5,用于将需要预测的磁共振图像输入所述训练好的改进Faster R-CNN模型,输出脑肿瘤目标检测结果。
因此,本发明通过深度学***均检索精度和平均查全率得分也更高;发明中设计了一个改进Faster R-CNN目标检测网络模型,加入了图像特征金字塔结构以及ConvGRU模块,并修改了网络训练时的数据读取方式,能够让模型学习到多尺度特征以及上下文连贯信息,增强了肿瘤检测结果的连续性,进一步提高了模型的应用效果。
以上对本发明实施例所提供的基于改进Faster R-CNN的医学影像脑肿瘤检测方法与***进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (9)
1.一种基于改进Faster R-CNN的医学影像脑肿瘤检测方法,其特征在于,所述方法包括:
从磁共振图像数据库中获取磁共振图像数据集;
通过光流法和生成对抗网络,对所述获取的数据集的图像做预处理,进行数据增强;
构建改进Faster R-CNN深度网络模型,加入图像特征金字塔结构以及卷积门控循环单元ConvGRU模块,并修改网络训练时的数据读取方式;
采用所述经数据增强后得到的数据集训练改进Faster R-CNN模型;
将需要预测的磁共振图像输入所述训练好的改进Faster R-CNN模型,输出脑肿瘤目标检测结果。
2.如权利要求1所述的基于改进Faster R-CNN的医学影像脑肿瘤检测方法,其特征在于,所述通过光流法和生成对抗网络,对所述获取的数据集的图像做预处理,进行数据增强,具体为:
找出亮度上与有肿瘤切片最为相近的正常切片序列,有肿瘤的切片记为Query,正常人切片序列记为Normal,具体地,对于Query所属的切片序列,先将其按排列顺序均匀分为10组,分别计算每组的像素亮度的均值和标准差,得到长度为20的亮度值统计向量,计算公式具体如下:
在所有Normal序列中,其亮度值统计向量与Query所属序列的亮度值统计向量距离最小的,即为亮度上与Query切片最为相近的Normal序列;
对所述得到的Normal序列进行操作,得到亮度上与有肿瘤切片最为相近的正常切片,记为Answer_pri,具体地,首先通过预训练好的ResNet50模型,对Query以及Normal序列中的每一个切片做特征提取,然后计算vq与vi之间的余弦相似度,计算公式具体如下:
其中,vq表示对Query做特征提取得到的值,vi表示对Normal序列中的每一个切片做特征提取得到的值,i=1,2,…,n,
根据相似度从大到小,对Normal序列中的切片进行排序,并选取相似度最高的前10张切片,记为N1,N2,…,N10,然后采用RAFT算法分别计算Query到所述切片的光流,记为f1,f2,…,f10,然后利用所述光流对所述切片做图像扭转操作,得到扭转后的结果N′i,计算公式具体如下:
N′i(x′i,y′i)=Ni(xi,yi)
x′i=xi-fi(xi,yi,0)
y′i=yi-fi(xi,yi,1)
其中,Ni表示选取的前10张切片,N′i表示所述切片扭转后的结果,(xi,yi)表示Ni中像素坐标,(x′i,y′i)表示N′i中像素坐标,fi表示Query到所述切片的光流,i=1,2,…,10,
然后对N′i按Query做直方图匹配,使得N′i与Query之间具有相似的亮度分布,以消除亮度对相似性判断的影响,最后计算N′i与Query之间像素亮度的均方误差,计算公式具体如下:
误差最小的N′i即为Answer_pri;
在Answer_pri上映射出肿瘤区域,得到初步的假肿瘤切片,记为Answer_warped,具体地,首先计算Query到Answer_pri的光流,记为f1,Query中肿瘤的位置由边界方框标出,利用f1,根据所述图像扭转公式,计算出Query中肿瘤位置的边界方框的四个顶点坐标映射在Answer_pri上的对应坐标,从而确定假肿瘤在Answer_pri上的分布区域,然后计算Answer_pri到Query的光流,记为f2,利用f2,根据所述图像扭转公式,找到假肿瘤分布区域中的每个像素点(i,j)在Query中的对应坐标(i′,j′),根据对应坐标的像素值,利用双线性插值法对假肿瘤分布区域内的像素进行初步填充,得到初步填充值Answer_temp,以达到将肿瘤从Query中“移植”到Answer_pri中的效果,计算公式具体如下:
x1=int(i′) y1=int(j′)
x2=x1 y2=y1+1
x3=x1+1 y3=y1
x4=x1+1 y4=y1+1
u=i′-x1 v=j′-y1
Answer_temp(i,j)=(1-u)(1-v)×int(Query(x1,y1))+(1-u)v×int(Query(x2,y2))+u(1-v)×int(Query(x3,y3))+uv×int(Query(x4,y4))
其中,(i,j)表示假肿瘤分布区域中的每个像素点的坐标值,(i′,j′)表示所述假肿瘤分布区域中的每个像素点在Query中的对应坐标值,
最终的填充结果Answer_warped定义为Answer_pri与Answer_temp的平均加权和,以保留Answer_pri中的原有组织部分,计算公式具体如下:
Answer_warped(i,j)=0.5×Answer_pri(i,j)+0.5×Answer_temp(i,j)
其中,(i,j)表示假肿瘤分布区域中的每个像素点的坐标值,(i′,j′)表示所述假肿瘤分布区域中的每个像素点在Query中的对应坐标值;
对Answer_warped做进一步处理得到最后的假肿瘤切片,记为Answer,使其尽可能地与真正有肿瘤的切片相似,具体地,采用生成对抗网络重建图像,以此消除Answer_warped中不自然的部分,网络以Answer_warped作为输入,输出Answer,修改网络的损失函数,包括重建损失、连贯损失、对抗损失三部分,整个损失函数定义为重建损失、连贯损失、对抗损失的加权和,计算公式具体如下:
Loss=50×recLoss+50×cohLoss+advLoss
其中,recLoss表示重建损失,cohLoss表示连贯损失,advLoss表示对抗损失。
3.如权利要求1所述的基于改进Faster R-CNN的医学影像脑肿瘤检测方法,其特征在于,所述构建改进Faster R-CNN深度网络模型,加入图像特征金字塔结构以及ConvGRU模块,并修改网络训练时的数据读取方式,具体为:
在Faster R-CNN的基础上,加入FPN结构,在Faster R-CNN的特征提取部分进行改进,以图像特征金字塔的形式提取特征,融合具有高分辨率的浅层信息和分辨率低但语义信息丰富的深层信息;
在Faster R-CNN提取特征之后、进入RPN结构之前,加入ConvGRU模块,以此记忆切片的上下文信息;
将MRI数据集中的连续切片每3张分为一组,上下两张切片为中间切片提供3D上下文信息,然后在训练时按组读取数据,以保证每次读取的样本数据是某一个病例中的一段连续的切片。
4.一种基于改进Faster R-CNN的医学影像脑肿瘤检测***,其特征在于,所述***包括:
磁共振图像数据集获取单元,用于从磁共振图像数据库中获取磁共振图像数据集;
数据增强单元,用于通过光流法和生成对抗网络,对所述获取的数据集的图像做预处理,进行数据增强;
改进Faster R-CNN模型构建单元,用于构建改进Faster R-CNN深度网络模型,加入图像特征金字塔结构以及ConvGRU模块,并修改网络训练时的数据读取方式;
改进Faster R-CNN模型训练单元,用于采用所述经数据增强后得到的数据集训练改进Faster R-CNN模型;
目标检测结果输出单元,用于将需要预测的磁共振图像输入所述训练好的改进FasterR-CNN模型,输出脑肿瘤目标检测结果。
5.如权利要求4所述的基于改进Faster R-CNN的医学影像脑肿瘤检测***,其特征在于,所述磁共振图像数据集获取单元,需要从磁共振图像数据库中获取磁共振图像数据集。
6.如权利要求4所述的基于改进Faster R-CNN的医学影像脑肿瘤检测***,其特征在于,所述数据增强单元,需要找出亮度上与有肿瘤切片最为相近的正常切片序列,有肿瘤的切片记为Query,正常人切片序列记为Normal,具体地,对于Query所属的切片序列,先将其按排列顺序均匀分为10组,分别计算每组的像素亮度的均值和标准差,得到长度为20的亮度值统计向量对数据集中所有无肿瘤的Normal序列,以同样方法分别求出与其相对应的长度为20的统计向量然后计算Normal序列的亮度值统计向量与Query所属序列的亮度值统计向量之间的欧式距离,在所有Normal序列中,其亮度值统计向量与Query所属序列的亮度值统计向量距离最小的,即为亮度上与Query切片最为相近的Normal序列;对所述得到的Normal序列进行操作,得到亮度上与有肿瘤切片最为相近的正常切片,记为Answer_pri,具体地,首先通过预训练好的ResNet50模型,对Query做特征提取得到vq,对Normal序列中的每一个切片做特征提取得到vi(i=1,2,…,n),然后计算vq与vi之间的余弦相似度,根据相似度从大到小,对Normal序列中的切片进行排序,并选取相似度最高的前10张切片,记为N1,N2,…,N10,然后采用RAFT算法分别计算Query到所述切片的光流,记为f1,f2,…,f10,然后利用所述光流对所述切片做图像扭转操作,得到扭转后的结果N′i,然后对N′i按Query做直方图匹配,使得N′i与Query之间具有相似的亮度分布,以消除亮度对相似性判断的影响,最后计算N′i与Query之间像素亮度的均方误差,误差最小的N′i即为Answer_pri;在Answer_pri上映射出肿瘤区域,得到初步的假肿瘤切片,记为Answer_warped,具体地,首先计算Query到Answer_pri的光流,记为f1,Query中肿瘤的位置由边界方框标出,利用f1,根据所述图像扭转公式,计算出Query中肿瘤位置的边界方框的四个顶点坐标映射在Answer_pri上的对应坐标,从而确定假肿瘤在Answer_pri上的分布区域,然后计算Answer_pri到Query的光流,记为f2,利用f2,根据所述图像扭转公式,找到假肿瘤分布区域中的每个像素点(i,j)在Query中的对应坐标(i′,j′),根据对应坐标的像素值,利用双线性插值法对假肿瘤分布区域内的像素进行初步填充,得到初步填充值Answer_temp,以达到将肿瘤从Query中“移植”到Answer_pri中的效果,最终的填充结果Answer_warped定义为Answer_pri与Answer_temp的平均加权和,以保留Answer_pri中的原有组织部分,对Answer_warped做进一步处理得到最后的假肿瘤切片,记为Answer,使其尽可能地与真正有肿瘤的切片相似,具体地,采用生成对抗网络重建图像,以此消除Answer_warped中不自然的部分,网络以Answer_warped作为输入,输出Answer,修改网络的损失函数,包括重建损失、连贯损失、对抗损失三部分,整个损失函数定义为重建损失、连贯损失、对抗损失的加权和。
7.如权利要求4所述的基于改进Faster R-CNN的医学影像脑肿瘤检测***,其特征在于,所述改进Faster R-CNN模型构建单元,需要在Faster R-CNN的基础上,加入FPN结构,在Faster R-CNN的特征提取部分进行改进,以图像特征金字塔的形式提取特征,融合具有高分辨率的浅层信息和分辨率低但语义信息丰富的深层信息;在Faster R-CNN提取特征之后、进入RPN结构之前,加入ConvGRU模块,以此记忆切片的上下文信息;将MRI数据集中的连续切片每3张分为一组,上下两张切片为中间切片提供3D上下文信息,然后在训练时按组读取数据,以保证每次读取的样本数据是某一个病例中的一段连续的切片。
8.如权利要求4所述的基于改进Faster R-CNN的医学影像脑肿瘤检测***,其特征在于,所述改进Faster R-CNN模型训练单元,需要采用所述经数据增强后得到的数据集训练改进Faster R-CNN模型。
9.如权利要求7所述的基于改进Faster R-CNN的医学影像脑肿瘤检测***,其特征在于,所述目标检测结果输出单元,需要将需要预测的磁共振图像输入所述训练好的改进Faster R-CNN模型,输出脑肿瘤目标检测结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111543746.3A CN114445328A (zh) | 2021-12-16 | 2021-12-16 | 基于改进Faster R-CNN的医学影像脑肿瘤检测方法与*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111543746.3A CN114445328A (zh) | 2021-12-16 | 2021-12-16 | 基于改进Faster R-CNN的医学影像脑肿瘤检测方法与*** |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114445328A true CN114445328A (zh) | 2022-05-06 |
Family
ID=81362924
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111543746.3A Pending CN114445328A (zh) | 2021-12-16 | 2021-12-16 | 基于改进Faster R-CNN的医学影像脑肿瘤检测方法与*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114445328A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115049781A (zh) * | 2022-05-11 | 2022-09-13 | 西南石油大学 | 一种基于深度学习的页岩数字岩心三维重建方法 |
CN115239688A (zh) * | 2022-08-09 | 2022-10-25 | 四川大学华西医院 | 基于磁共振对比增强3d-t1wi图像的脑转移瘤识别方法与*** |
-
2021
- 2021-12-16 CN CN202111543746.3A patent/CN114445328A/zh active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115049781A (zh) * | 2022-05-11 | 2022-09-13 | 西南石油大学 | 一种基于深度学习的页岩数字岩心三维重建方法 |
CN115049781B (zh) * | 2022-05-11 | 2023-05-23 | 西南石油大学 | 一种基于深度学习的页岩数字岩心三维重建方法 |
CN115239688A (zh) * | 2022-08-09 | 2022-10-25 | 四川大学华西医院 | 基于磁共振对比增强3d-t1wi图像的脑转移瘤识别方法与*** |
CN115239688B (zh) * | 2022-08-09 | 2024-03-12 | 四川大学华西医院 | 基于磁共振对比增强3d-t1wi图像的脑转移瘤识别方法与*** |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11101033B2 (en) | Medical image aided diagnosis method and system combining image recognition and report editing | |
CN109493308B (zh) | 基于条件多判别生成对抗网络的医疗图像合成与分类方法 | |
Xu et al. | Efficient multiple organ localization in CT image using 3D region proposal network | |
CN111709953B (zh) | Ct影像的肺叶段分割中的输出方法、装置 | |
Zhang et al. | Photoacoustic image classification and segmentation of breast cancer: a feasibility study | |
CN110930416B (zh) | 一种基于u型网络的mri图像***分割方法 | |
Li et al. | Dilated-inception net: multi-scale feature aggregation for cardiac right ventricle segmentation | |
CN106056595B (zh) | 基于深度卷积神经网络自动识别甲状腺结节良恶性的辅助诊断*** | |
CN109858540B (zh) | 一种基于多模态融合的医学图像识别***及方法 | |
CN109754361A (zh) | 3d各向异性的混合网络:将来自2d图像的卷积特征传递到3d各向异性体积 | |
CN112132833B (zh) | 一种基于深度卷积神经网络的皮肤病图像病灶分割方法 | |
CN108257135A (zh) | 基于深度学习方法解读医学图像特征的辅助诊断*** | |
WO2019000455A1 (zh) | 图像分割的方法及*** | |
CN110188792A (zh) | ***mri三维图像的图像特征获取方法 | |
CN114445328A (zh) | 基于改进Faster R-CNN的医学影像脑肿瘤检测方法与*** | |
Lei et al. | Echocardiographic image multi‐structure segmentation using Cardiac‐SegNet | |
CN112598613A (zh) | 一种用于肺癌智能诊断的基于深度图像分割和识别的测定方法 | |
CN112820399A (zh) | 自动诊断甲状腺结节良恶性的方法及装置 | |
Sammouda | Segmentation and analysis of CT chest images for early lung cancer detection | |
Wen et al. | Pulmonary nodule detection based on convolutional block attention module | |
CN117036288A (zh) | 一种面向全切片病理图像的肿瘤亚型诊断方法 | |
CN116883341A (zh) | 一种基于深度学习的肝脏肿瘤ct图像自动分割方法 | |
Lv et al. | An improved residual U-Net with morphological-based loss function for automatic liver segmentation in computed tomography | |
Li et al. | Multi-view unet for automated gi tract segmentation | |
CN112233106A (zh) | 一种基于残差胶囊网络的甲状腺癌超声影像分析方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |