CN109345527B - 一种基于MaskRcnn的***检测方法 - Google Patents

一种基于MaskRcnn的***检测方法 Download PDF

Info

Publication number
CN109345527B
CN109345527B CN201811135903.5A CN201811135903A CN109345527B CN 109345527 B CN109345527 B CN 109345527B CN 201811135903 A CN201811135903 A CN 201811135903A CN 109345527 B CN109345527 B CN 109345527B
Authority
CN
China
Prior art keywords
bladder
resnet
tumor
layer
feature extraction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811135903.5A
Other languages
English (en)
Other versions
CN109345527A (zh
Inventor
夏海英
孙伟凡
夏伟
丁志峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangxi Normal University
Original Assignee
Guangxi Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangxi Normal University filed Critical Guangxi Normal University
Priority to CN201811135903.5A priority Critical patent/CN109345527B/zh
Publication of CN109345527A publication Critical patent/CN109345527A/zh
Application granted granted Critical
Publication of CN109345527B publication Critical patent/CN109345527B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507—Summing image-intensity values; Histogram projection analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)

Abstract

本发明提出一种基于MaskRcnn的***检测方法，包括：采集少许医学膀胱图片作为训练样本，利用图像处理的方式解决医学膀胱训练图片不足产生样本数据不均衡导致过拟合的问题，该图片具有矩形识别框，矩形识别框包含了膀胱位置标记或肿瘤位置标记或同时具有膀胱和肿瘤位置标记；利用针对本发明调试好的全新参数ResNet对医学图片进行特征提取，并生成预测的ROI区域；预测的ROI区域表示了膀胱和肿瘤可能存在的位置；利用给ResNet加权操作提高了训练速度和测试速度，利用边框回边对利用感兴趣区域进行坐标的平移和尺度缩放；利用非极大值抵制得到目标矩形框。使用人工智能方法即深度学习，大量的减少了传统方法重复的人工操作，提高了速度和效率；达到实时的目的。

Description

一种基于MaskRcnn的***检测方法
技术领域
本发明涉及一种人工智能检测技术领域的方法，具体涉及一种基于MaskRcnn的***检测方法。
背景技术
近年来，随着人工智能的快速发展，越来越多的专家投入到深度学习的研究中，在计算机识别领域，每年都会有先进和优秀的成果引起了世界广大学者和科学家的重视，同时，斯坦福大学、谷歌、微软、facebook等世界各地顶级Ai研究实验室每年都会参与计算机大规模识别挑战赛，一些数据集如ImageNet、Pascal Voc、Microsoft Coco等大型数据集成为众多研究者的挑战目标，因此诞生了很多优秀的文章和先进的算法网络供广大学者的借鉴。
这些大型数据集，都是日常生活中拍摄的图片，如动物，人，生活物品，交通工具等，它们的特征区别很明显，放入神经网络中很容易被识别和区分。
在医学治疗领域，但如果把数据集换成医学图像，那么此任务的难度会大大增加。因为医学图像大多都是灰度图，比如细胞、膀胱、肿瘤等，在一张医学图片中，它们的形状相似度高，特征相似度也高。如果直接使用识别人与交通工具的神经网络用于识别膀胱和肿瘤，那么会造成一张医学图像上每个相似的区域都会被就计算机大量的错误识别为同一类。医学技术用于治疗，不能出现检测错误。为此，要想用深度学习准确的检测出膀胱和肿瘤是该技术的难点。
此外，有些医院都已经引入了人工智能阅片***，用于肺癌、乳腺癌、儿童生长发育异常等疾病的辅助诊断。
***是泌尿***中最常见的肿瘤。多数为移行上皮细胞癌。在膀胱侧壁及后壁最多，其次为三角区和顶部，其发生可为多中心。***可先后或同时伴有肾盂、输尿管、尿道肿瘤。在国外，***的发病率在男性泌尿生殖器肿瘤中仅次于***癌，居第2位；在国内则占首位。男性发病率为女性的3～4倍,年龄以50～70岁为多。本病组织类型上皮性肿瘤占95％,其中超过90％系移行上皮细胞癌。
目前，在医学上，判定***的方法需结合多项指标进行综合判定，且当遇到复杂情况时，不能很好的就行判断，因此如根据肿瘤的特点，并将其与人工智能的思想相结合，综合判断，便能达到更好的效果。但是***识别和标识是一个数据高度不平衡的问题，在整幅医学图像中，绝大多数都是非肿瘤块区域，只有少数部分才是肿瘤块区域，但是目前尚未有好的检测方法。
从以上分析可以看出，深度学习来让计算机对膀胱和肿瘤的检测是一个难题，现有的人工智能技术对膀胱和肿瘤的检测效果并不理想，因此，对人体医学图像膀胱和肿瘤的检测技术的研究很有必要，是很有价值的
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种基于MaskRcnn的***检测方法，以解决现有技术中重复的人工操作。
为实现上述目的及其他相关目的，本发明提供一种基于MaskRcnn的***检测方法，该方法至少包括：
采集医学膀胱图片作为训练样本，对训练样本进行数据增强以解决在测试过程中会遇到过拟合的问题，该图片具有矩形识别框，所述矩形识别框包含了膀胱位置标记或肿瘤位置标记或同时具有膀胱和肿瘤位置标记；
利用ResNet对医学图片进行特征提取，并生成预测的ROI区域；所述预测的ROI区域表示了膀胱和肿瘤可能存在的位置；
利用给ResNet加权重的方法；所述权重为固定值a、b，该方法可以有效的提升训练和测试速度；
利用边框回归对感兴趣区域进行坐标的平移和尺度缩放；
利用非极大值抵制得到目标矩形框；
在利用ResNet对医学图片进行特征提取步骤中，分别给Conv2到Conv5中每个残差模块的输出端和跳层阶段分别加入权重a和b。
可选地，该方法还包括对训练样本进行数据增强。
可选地，所述对训练样本进行数据增强具体包括：对采集到的训练图片进行旋转、加噪声、镜像处理。
可选地，在利用ResNet对医学图片进行特征提取步骤中，仅采用ResNet-18作为特征提取网络，该特征提取网络所有参数均重新设定，所述特征提取网络至少包括第一卷积层、第二卷积层、第三卷积层、第四卷积层和第五卷积层。
可选地，在利用ResNet对医学图片进行特征提取步骤中，采用RPN生成预测的ROI区域。
可选地，在利用ResNet进行特征提取的步骤中，分别在Conv2至Conv5每个残差部分的输出位置和跳层阶段加入权重a和b，所述新加的权重a和b可以加快网络收敛，提高训练和测试速度。
可选地，在利用ResNet对医学图片进行特征提取步骤中，在第四层卷积层采用FPN进行多尺度的特征融合。
可选地，在第四卷积层与第五卷积层之间添加一ROIAlign层，所述ROIAlign层还用于对预测的ROI区域进行对齐处理。
可选地，在利用ResNet对医学图片进行特征提取步骤后，在第五层卷积层添加一个Mask分支进行图像分割。
可选地，利用定位精度评价函数IOU对所述生成预测的ROI区域进行筛选，筛选的方法具体为：当IOU＞阈值H时，将预测的ROI区域全部为正样本；当IOU＜阈值H时，将预测的ROI区域全部作为负样本。
如上所述，本发明的一种基于MaskRcnn的***检测方法，具有以下有益效果：
(1)本发明使用自己设定的参数的ResNet-18网络针对少样本任务进行训练，提高了模型的鲁棒性的同时有效的解决了过拟合的问题。
(2)本发明对现有的特征提取ResNet网络进行优化，通过加权的手段，加快了网络的收敛速度，从而提高训练和测试的速度。
(3)本发明所有参数都可以调节，在训练的时候，根据计算机的性能，可以调节参数的设置让模型的效果更好。
(4)本发明所有步骤都在GPU中处理，这样使整个训练过程加快。
附图说明
为了进一步阐述本发明所描述的内容，下面结合附图对本发明的具体实施方式作进一步详细的说明。应当理解，这些附图仅作为典型示例，而不应看作是对本发明的范围的限定。
图1为本发明的总体神经网络结构图；
图2为RPN结合FPN神经网络图；
图3为ResNet各层参数的设定以及加权操作的示意图；
图4为本发明在测试中一个过拟合的图；
图5为膀胱或肿瘤的原图和对应膀胱和肿瘤的Mask图；
图6为训练时其中一张膀胱的验证图；
图7为没有肿瘤的膀胱的标签图；
图8为有肿瘤的膀胱的标签图；
图9为本发明最终测试图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
本发明提供一种基于深度学习对医学图像膀胱图像以及肿瘤图像的识别和分割，在传统的识别与分割的方法中，比如用SIFT或HOG来提取特征然后再用SVM分类，这种传统的方法不仅步骤繁琐而且准确率低，达不到实时的要求。
如图1所示，本发明所述的方法具体包括以下步骤：
采集少量(2000张)医学膀胱图片作为训练样本，对训练样本进行数据增强，该图片具有矩形识别框，所述矩形识别框包含了膀胱位置标记或肿瘤位置标记或同时具有膀胱和肿瘤位置标记；
利用图像增强手段对采集的2000张训练图片进行数据的扩充，解决发明中遇到数据不均衡导致过拟合等问题；
利用针对医学图片调制好全新参数的ResNet对医学图片进行特征提取，并生成预测的ROI区域；所述预测的ROI区域表示了膀胱和肿瘤可能存在的位置；
利用在ResNet每层残差模块间的输出端和跳层处分别加入权重a和b，权重a和b的值为固定值，经多次实验找到的最优值设定；所述加权操作可以有效的提高训练和测试速度。利用边框回归对感兴趣区域进行坐标的平移和尺度缩放；
利用非极大值抵制得到目标矩形框。
本发明能够在临床时对患者膀胱的膀胱医学图像进行识别、精确查定位识别到膀胱及肿瘤块所在的位置，提高了确诊的正确率以及手术的成功率。
于本实施例中，对2000张医学图像数据进行批处理，标记膀胱和肿瘤的不规则区域(若图像中无肿瘤，则只标记膀胱区域)，作为网络训练的输入数据。
于一具体实施例中，在利用ResNet对医学图片进行特征提取步骤中，仅采用ResNet-18作为特征提取网络，该特征提取网络所有参数均重新设定。
深度残差网络(ResNet)是用来提取特征的网络结构，其准确率高和简单实用。
所谓深度残差网络，其主要特点就是网络深，最后学习到最高维的特征用分类等任务可以得到较高的准确率，模型的特征提取阶段采用的是ResNet模型并对其优化，使用如今用得较为广泛的两个网络模型ResNet-50和ResNet-101用于细胞检测的特征提取主干，也就是分别搭建残差网络50层和101层的。而在较少的实验图片在，使用较深层的ResNet-50和ResNet-101网络在少量图片的情况下难以提取高层特征，会出现过拟合问题严重，无法正确的检测出肿瘤和膀胱的结果。
而在本实施例中，针对此种情况，本发明采用减少网络层数的方法，不使用50层和101层的ResNet，搭建ResNet-18，也就是仅仅使用18层作为特征提取；在保证准确率的前提下减少网络层数。特征提取网络至少包括第一卷积层、第二卷积层、第三卷积层、第四卷积层和第五卷积层。设置的参数如图3所示第一层卷积核conv1大小为7×7×64，stride为2，Max-Pooling为2×2，stride为2；conv2为2个64×64×256，stride为1，conv3为2个128×128×512；conv4为2个256×256×1024，conv5为512×512×2048。
如果采用较深的网络如ResNet-50和ResNet-100如图4所示，会产生过拟合的现象，即计算机会把与膀胱相似的部分识别为膀胱，图中较大的矩形框所框定的位置为计算机正确的检测出膀胱，较大的mask区域为正确的分割出膀胱，然而右边较小的矩形框也把它认为是膀胱，并框出；很显然这是错误的检测，右边区域很像膀胱但实际上它并不是，所以图3是本次发明在测试的过程中一个失败的例子。
除了使用18层作为特征提取，还可以扩增数据集，在原有的少量(本实施例以2000张为例)医学膀胱图片上用图像处理的方法进行图片的扩增，在保证图像分辨率不改变的情况下进行旋转、翻转、镜像和加噪声等方式，将原有的少量训练图片进行扩增(可以是8000张)，解决发明中遇到数据不均衡导致过拟合等问题。
除了上述两个途径外，还可以改写网络参数，ResNet-18一共有5个卷积层，包括第一卷积层、第二卷积层、第三卷积层、第四卷积层和第五卷积层，其中每一卷积层(Conv)、最大池化层(Maxpooling)、步长(Stride)等参数大小都是经过多次实验设定的，达到本次发明的效果和目的，同时设定好的参数不用人为的去改变，可直接使用。
于另一实例中，在利用ResNet对医学图片进行特征提取的步骤中，由于训练速度过慢，测试时间不理想，采用加权重的操作来提高训练和测试速度。
如图3所示，在Conv2到Conv5的卷积层的输出端和跳层(skip layer)处加入两个权重值a和b(为简单起见，图中只将Conv2展开)，a和b的值为固定值，设定在区间(0,1)中寻找2个最优的权重值，加入网络中，帮助训练Loss函数时能让Loss函数快速收敛，防止梯度下降时产生梯度消失或者陷入局部极小值的问题，实验得到的a跟b的值分别为0.5和0.88，分别给第二卷积层至第五卷积层进行加权操作；此时，经过加权处理后的ResNet训练速度提高了70％，测试速度提高了120％。
于另一实施例中，在利用ResNet对医学图片进行特征提取步骤中，采用RPN生成预测的ROI区域。
RPN(Region Proposal Network)即区域提案网络，目的是为了产生一系列的候选框，框出一张图片中膀胱和肿瘤所在的位置，且最终的目的是分类和分割出一张医学图片中膀胱或肿瘤所在的位置，其核心思想就是使用卷积神经网络产生的区域建议(RegionProposal)，本质上是滑动窗口，RPN只需要在最后的卷积层的特征图上滑动一遍，对应的原图上生成矩形区域建议框(目标可能存在的位置，也可以称作为预测的ROI区域)，一张图片上约产生2400个矩形区域建议框。
于另一实施例中，在利用ResNet对医学图片进行特征提取步骤中，采用FPN进行多尺度的特征融合。
FPN(Feature Pyramid Network)即特征金字塔网络，采用特征金字塔结构，目的是为了进行多尺度的特征融合；如果不适用多尺度融合的特征在卷积的过程中，随着层数的加深，图像的特征会越来越明显，最后用到的只是底层的低维的特征而丢失了一些高维的特征、高层的语义信息。
采用FPN，将低维的特征和高维的特征直接相加融合，结合RPN网络，就可以在一张医学图像中生成大小不同的高质量的区域(ROI)，并生成矩形区域建议框。所谓高质量，就是在进行特征融合之后，生成的矩形框能更多的包含目标所在的位置。这种做法有效的提高了分类的准确率和分割的精度(mAP)。
在本实施例中，如图2所示，在利用ResNet对医学图片进行特征提取步骤中，在第四层卷积层采用FPN进行多尺度的特征融合。采用FPN，将低维的特征和高维的特征直接相加融合，再结合RPN网络，即可在一张***的医学图像中生成尺度为(32×32,64×64,128×128，256×256,512×512)，同时使用三种大小不同的比例(1:2,1:1，2:1)的区域建议框，所以在金字塔结构中共有15种大小不同的建议框，在这些建议框中，可能包含肿瘤块，可能只有膀胱，也可能膀胱和肿瘤两者都存在，而RPN会把这些可能含有膀胱或者肿瘤的区域选取出来，被选取出来的区域叫做ROI，即感兴趣的区域，网络同时会框定这些ROI的大致位置，然后生成相对应的框(Bounding-Box)，被用于判断和分类。
于一具体实施例中，在利用ResNet对医学图片进行特征提取步骤后，在第五层卷积层添加一个Mask分支进行图像分割。分割的原理是采用全卷积网络，将RPN选取出来的ROI区域连接两个全卷积网络可以直接输出掩膜。
于一具体实施例中，在第四卷积层与第五卷积层之间添加一ROIAlign层，所述ROIAlign层还用于对预测的ROI区域进行处理。
ROIAlign层，使用双线性插值将提取的特征与原输入的ROI进行像素点的对齐后，再通过两个全卷积网络输出分割掩膜。双线性插值，简而言之，就是在丢失像素点的位置对它进行插值。
先假设不采用双线性插值，ROI在经过pooling后通过两个全卷积网络输出的掩膜与原输入的ROI位置不对齐，其原因是ROIpooling首先将浮点数值的ROI量化成离散颗粒的特征图，然后将量化的ROI分成几个空间小块(bins)，然后对每个小块进行maxpoling操作产生最后的结果。通过计算[x/s]在连续的坐标x上进行量化，其中s是步长，[.]表示取整操作，显然x/s不会是整数，而非整数的坐标是无法在图像这种离散的数据上使用的。因此，这些量化引入了ROI与提取到的特征不对准的问题，但分类问题对像素点位置问题比较鲁棒，所以影响很小，但是在这预测像素级分割精度的掩膜时会产生一个非常大的负面影响。
解决办法：引入ROIAlign层，将提取到的特征与输入的ROI对齐，方法很简单，避免ROI边界或者块(bins)做任何量化，在ROI块中4个采样位置上计算输入特征的精确值，也就是采用双线性插值寻找距离这个对应坐标最近的四个像素点，简而言之，目的是直接使用x/s代替[x/s]。在使用双线性插值将提取的特征与原输入的ROI进行像素点的对齐后，再通过两个全卷积网络输出分割掩膜。
例如一个7×7的特征图经过2×2的Max-Pooling会被取整为3×3，因此丢掉了小数点，这种量化上的操作会造成生成的Mask与ROI不配准的问题，影响了分割的精准。实验证明增加ROIAlign层可以有效提高mAP。
如图5所示，输入的是512×512的医学图像，并将膀胱或肿瘤的mask提出进行训练，如果不使用双线性插值，一个从conv5输出的7×7的特征图经过一个2×2大小的Max-Pooling会被取整为3×3。为了避免取整造成的像素点的丢失从而导致mask与ROI区域不对齐，通过双线性插值将保留池化过程中小数点被取整而丢失的像素，以此提高了分割的精度。
于一具体实施例中，利用定位精度评价函数IOU对所述生成预测的ROI区域进行筛选，筛选的方法具体为：当IOU＞阈值H时，将预测的ROI区域全部为正样本；当IOU＜阈值H时，将预测的ROI区域全部作为负样本。
在训练集上，会对每张图片标注正确识别的矩形框(Ground Truth)，但每张图片经过RPN网络之后都会生成约2400个矩形框，由于算法不可能会跟人工标注的完全匹配，所以这些框有的会大量的重叠，有的离Ground Truth较远，而目的只需要一个或两个矩形框来定位出膀胱或肿瘤所在的位置，因此需要将那些离Ground Truth较远的框剔除。首先定义一个定位精度评价函数IOU(Interest Over Union)。
IOU指的是RPN滑动窗口输出的ROI候选框与Ground Truth标记的正确位置的矩形框交集的面积与它们并集的面积之比，简而言之，IOU是用来评价两者之间的重叠率的一个阈值；最理想的结果是IOU＝1，即检测结果与标记的Ground Truth完全吻合。
由于RPN在一张图片上会产生2400个左右的矩形候选框，为了提高训练效率，候选区域不会进行训练，因此需要设定一个阈值H，当IOU＞H时，RPN输出ROI候选的区域全部为正样本，给定label＝1；IOU＜H时，ROI候选区域全部作为负样本，label＝0。将这些正负样本继续进行训练，可以筛选掉很多背景以及离Ground Truth较远的区域，由此可以提高训练效率。
当然，ROI的阈值是可以随意设置的，也可以是经过反复实验找到最优的值。根据实际经验，一般的，IOU的阈值设置为H＝0.5，当IOU＞0.5时，RPN输出ROI候选的区域全部为正样本，给定label＝1；IOU＜0.5时，ROI候选区域全部作为负样本，label＝0，此时可以将正负样本的比例大概控制在1:3，且Loss值收敛速度很快。此时选取条件苛刻是为了获得更少的参与Loss计算的样本，这样计算Loss的时候收敛值收敛适当，最具鲁棒性。
在进行膀胱或肿瘤块识别过程中，在膀胱或肿瘤块的周围，会形成几个高分(IOU>0.5)矩形框，这些框都是保留下来在目标附近得分较高的矩形框，它们虽然都是矩形，但是大小与标注正确的矩形框的标签不一致。
假设，经过RPN网络输出预测的ROI区域被目标的Ground Truth包含在里面或者在外，虽然结果都包含有目标，即便分类器把它识别为膀胱或者肿瘤，但由于与人工标准的矩形框位置不准，那么实际上是没有正确的检测出膀胱和肿瘤，因此要对检测结果进行边框回归，即位置修正。
边框回归的原理就是对检测结果的矩形框进行坐标的平移和尺度缩放，使它更接近Ground Truth。
对于窗口一般使用四维向量(x,y,w,h)来表示，假设人工标注的Ground Truth的坐标为G＝(Gx,Gy,Gw,Gh)，检测的结果坐标为P＝(Px,Py,Pw,Ph)，其中下标x和y代表矩形框中心点的坐标，下标w和h表示矩形框的宽和高。本发明的目的是为了让检测结果近可能的接近Ground Truth，即给定检测结果P寻找一种映射f，使得
Figure GDA0002972852610000091
并且
Figure GDA0002972852610000092
本发明的目标是根据检测结果P和实际框G寻找一种映射关系f使得输入的原始窗口P，经过线性回归得到一个预测窗口
Figure GDA0002972852610000093
并且预测窗口
Figure GDA0002972852610000094
尽可能的接近真实窗口G。所以，边框回归是用来微调这个检测结果P，让定位更准确。
本实施例中，先做平移变换：
Δx＝Pwdx(P),Δy＝Phdy(P) (1)
其中Δx，Δy需要检测结果需要平移的横坐标和纵坐标的量。Pw与Ph分别为GroundTruth的横纵坐标的量，根据公式(1)知需要得到回归结果的值Gx,Gy的计算公式如下：
Figure GDA0002972852610000095
Figure GDA0002972852610000096
其次再进行尺度缩放：
Sw＝exp(dw(P)),Sh＝exp(dh(P)) (4)
其中Sw为边框的宽度，Sh为边框的高度，由于想得到一个缩放的尺度，所以在本实例中限制尺度必须大于0，最直观的想法就是采用exp函数，所以由(4)知需要得到回归结果的尺度变换的值Gw,Gh的计算公式如下：
Figure GDA0002972852610000101
Figure GDA0002972852610000102
根据公式(2)(3)(4)(5)可知边框回归学***移的量(tx,ty)和尺度缩放(tw,th)计算公式如下：
tx＝(Gx-Px)/Pw (7)
ty＝(Gy-Py)Ph (8)
tw＝log(Gw/Pw) (9)
th＝log(Gh/Ph) (10)
那么目标函数可以表示为
Figure GDA0002972852610000105
其中Φ5(P)是输入的P＝(Px,Py,Pw,Ph)这个检测窗口对应的特征向量，ω*是要学习的参数(*表示x,y,w,h，也就是每一个变换对应一个目标函数)，d*(P)是得到的预测值。要让预测值跟真实值即公式(7)～(10)的差距最小也就是跟t*＝(tx,ty,tw,th)差距最小，所以损失函数就算公式如下：
Figure GDA0002972852610000103
得到损失函数之后，加入正则项优化，优化函数目标：
Figure GDA0002972852610000104
利用最小二乘法可以得到ω*。
本发明的最后一步时采用非极大值抑制，非极大值抑制就是抑制不是极大值的元素，搜索局部极大值。
在本发明中，检测一出一张医学图片中的膀胱和肿瘤，在经过RPN的滑动窗口提取特征后，经过分类器识别和边框回归后，每个分类的矩形框都会得到一个分类及相对应的分数。但是滑动窗口会导致很多矩形框存在包含或者大部分交叉的情况；使用NMS来选出领域里分数最高(是膀胱或肿瘤的概率最大)，并且抑制那些分数低的窗口。
本实施例中，肿瘤的识别检测是一个二分类的问题，即检测出一张医学图片中的膀胱和肿瘤。假设结果有6个候选框，根据分类器和分类概率做排序。例如，从小到大属于肿瘤的概率分别为A、B、C、D、E、F。
从最大概率矩形F框开始，分别判断A到E与F的重叠率IOU是否大于0.5。
假设B、D与F的重叠度超过0.5，那么扔掉B、D，并高亮标记F框作为保留下来的。
从剩下的矩形框A、C、E中，选择最大的概率E，判断E与A、C的重叠度，如果重叠度大于0.5，扔掉A、C；并标记E作为保留下来的第二个矩形框。
一直重复这个过程，找到所有被保留下来的矩形框。
经过上述步骤，生成一个训练好的网络。
当网络训练结束之后，会生成相对应的权重文件，取数百张已做好标签的图像数据进行验证网络是否具有鲁棒性。若具有一定的鲁棒性，则保存该权重，反之重复步骤2、步骤3；图5所示，该验证图中较大的矩形框和较小的矩形框是没有产生分类得分的，只是在训练过程中用来验证网络的泛化能力，在训练结束后随机输出一张验证图，很显然，网络的泛化能力很好
将需要测试的医学图像作为输入，利用已训练好的网络模型进行识别分割。并拿标签作对比观察检测的准确率，如图7、图8、图9所示；图7、图8是测试样本中任意的两张标签用来做对比，图9是本次发明最终的目的：
输入任意一张测试图片，输出一张识别和分割好的图片，如图9所示较大的矩形框识别为膀胱，准确率为％99.8，较小的矩形框识别为肿瘤，准确率为％94.5；对比这张测试图的标签来看，最终检测是正确的。
传统的细胞分割识别的方法是使用基于阈值、形态学，区域生长，分水岭，ACMs，聚类等图像处理的方法或组合，但由于步骤繁琐效率低速度慢，需要大量的人工操作，本发明受此启发，使用了目前先进的人工智能方法即深度学习，大量的减少了传统方法重复的人工操作，提高了速度和效率；达到实时的目的。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (9)

1.一种基于MaskRcnn的***检测方法，其特征在于，该方法至少包括：
采集医学膀胱图片作为训练样本，该图片具有矩形识别框，所述矩形识别框包含了膀胱位置标记或肿瘤位置标记或同时具有膀胱和肿瘤位置标记；
利用ResNet对医学图片进行特征提取，并生成预测的ROI区域；所述预测的ROI区域表示了膀胱和肿瘤可能存在的位置；
利用边框回归对感兴趣区域进行坐标的平移和尺度缩放；
利用非极大值抵制得到目标矩形框；
在利用ResNet对医学图片进行特征提取步骤中，分别给Conv2到Conv5中每个残差模块的输出端和跳层阶段分别加入权重a和b。
2.根据权利要求1所述的一种基于MaskRcnn的***检测方法，其特征在于，该方法还包括对训练样本进行数据增强。
3.根据权利要求2所述的一种基于MaskRcnn的***检测方法，其特征在于，所述对训练样本进行数据增强具体包括：对采集到的训练图片进行旋转、加噪声、镜像处理。
4.根据权利要求1所述的一种基于MaskRcnn的***检测方法，其特征在于，在利用ResNet对医学图片进行特征提取步骤中，仅采用ResNet-18作为特征提取网络，该特征提取网络所有参数均重新设定，所述特征提取网络至少包括第一卷积层、第二卷积层、第三卷积层、第四卷积层和第五卷积层。
5.根据权利要求1所述的一种基于MaskRcnn的***检测方法，其特征在于，在利用ResNet对医学图片进行特征提取步骤中，采用RPN生成预测的ROI区域。
6.根据权利要求4所述的一种基于MaskRcnn的***检测方法，其特征在于，在利用ResNet对医学图片进行特征提取步骤中，在第四层卷积层采用FPN进行多尺度的特征融合。
7.根据权利要求4所述的一种基于MaskRcnn的***检测方法，其特征在于，在第四卷积层与第五卷积层之间添加一ROIAlign层，所述ROIAlign层还用于对预测的ROI区域进行对齐处理。
8.根据权利要求5所述的一种基于MaskRcnn的***检测方法，其特征在于，在利用ResNet对医学图片进行特征提取步骤后，在第五层卷积层添加一个Mask分支进行图像分割。
9.根据权利要求1或5所述的一种基于MaskRcnn的***检测方法，其特征在于，利用定位精度评价函数IOU对所述生成预测的ROI区域进行筛选，筛选的方法具体为：当IOU＞阈值H时，将预测的ROI区域全部为正样本；当IOU＜阈值H时，将预测的ROI区域全部作为负样本。
CN201811135903.5A 2018-09-28 2018-09-28 一种基于MaskRcnn的***检测方法 Active CN109345527B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811135903.5A CN109345527B (zh) 2018-09-28 2018-09-28 一种基于MaskRcnn的***检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811135903.5A CN109345527B (zh) 2018-09-28 2018-09-28 一种基于MaskRcnn的***检测方法

Publications (2)

Publication Number Publication Date
CN109345527A CN109345527A (zh) 2019-02-15
CN109345527B true CN109345527B (zh) 2021-05-04

Family

ID=65307362

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811135903.5A Active CN109345527B (zh) 2018-09-28 2018-09-28 一种基于MaskRcnn的***检测方法

Country Status (1)

Country Link
CN (1) CN109345527B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109886179B (zh) * 2019-02-18 2023-03-28 深圳视见医疗科技有限公司 基于Mask-RCNN的子宫颈细胞涂片的图像分割方法和***
CN109919928B (zh) * 2019-03-06 2021-08-03 腾讯科技（深圳）有限公司 医学影像的检测方法、装置和存储介质
CN110047081A (zh) * 2019-03-26 2019-07-23 清华大学 胸部x光图像的实例分割方法、装置、设备及介质
CN110008882B (zh) * 2019-03-28 2021-06-08 华南理工大学 基于掩模与边框相似性损失的车辆检测方法
CN110096960B (zh) * 2019-04-03 2021-06-08 罗克佳华科技集团股份有限公司 目标检测方法及装置
CN110032985A (zh) * 2019-04-22 2019-07-19 清华大学深圳研究生院 一种血细胞自动检测识别方法
CN110111329B (zh) * 2019-05-17 2021-05-11 四川大学华西第二医院 一种基于人工智能超声影像检测方法及***
CN110443781A (zh) * 2019-06-27 2019-11-12 杭州智团信息技术有限公司 一种肝脏数字病理的ai辅助诊断***及方法
CN110516535A (zh) * 2019-07-12 2019-11-29 杭州电子科技大学 一种基于深度学习的老鼠活跃度检测方法和***、及卫生评估方法
CN110689061B (zh) * 2019-09-19 2023-04-28 小米汽车科技有限公司 一种基于对齐特征金字塔网络的图像处理方法、装置及***
CN113066121A (zh) * 2019-12-31 2021-07-02 深圳迈瑞生物医疗电子股份有限公司 图像分析***和识别重复细胞的方法
CN111325764B (zh) * 2020-02-11 2022-05-31 广西师范大学 一种果实图像轮廓识别方法
CN112381795A (zh) * 2020-11-16 2021-02-19 山西三友和智慧信息技术股份有限公司 一种基于深度学习的树木年轮自动检测方法
CN113239786B (zh) * 2021-05-11 2022-09-30 重庆市地理信息和遥感应用中心 基于增强学习与特征变换的遥感图像乡村别墅识别方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105447872A (zh) * 2015-12-03 2016-03-30 中山大学 一种在超声影像中自动识别肝脏肿瘤类型的方法
US9739783B1 (en) * 2016-03-15 2017-08-22 Anixa Diagnostics Corporation Convolutional neural networks for cancer diagnosis
US10810482B2 (en) * 2016-08-30 2020-10-20 Samsung Electronics Co., Ltd System and method for residual long short term memories (LSTM) network
CN107481188A (zh) * 2017-06-23 2017-12-15 珠海经济特区远宏科技有限公司 一种图像超分辨率重构方法
CN107689034B (zh) * 2017-08-16 2020-12-01 清华-伯克利深圳学院筹备办公室 一种去噪方法及装置
CN107679078B (zh) * 2017-08-29 2020-01-10 银江股份有限公司 一种基于深度学习的卡口图像车辆快速检索方法及***
CN108564582B (zh) * 2018-04-23 2020-08-11 重庆大学 一种基于深度神经网络的mri脑肿瘤图像自动优化方法
CN108564550B (zh) * 2018-04-25 2020-10-02 Oppo广东移动通信有限公司 图像处理方法、装置及终端设备

Also Published As

Publication number Publication date
CN109345527A (zh) 2019-02-15

Similar Documents

Publication Publication Date Title
CN109345527B (zh) 一种基于MaskRcnn的***检测方法
CN110599448B (zh) 基于MaskScoring R-CNN网络的迁移学习肺部病变组织检测***
CN108364006B (zh) 基于多模式深度学习的医学图像分类装置及其构建方法
CN107610087B (zh) 一种基于深度学习的舌苔自动分割方法
CN104933711B (zh) 一种肿瘤病理图像自动快速分割方法
CN111882560B (zh) 一种基于加权全卷积神经网络的肺实质ct图像分割方法
CN112150428A (zh) 一种基于深度学习的医学图像分割方法
CN110853011B (zh) 用于肺结节检测的卷积神经网络模型的构建方法
WO2023045231A1 (zh) 一种解耦分治的面神经分割方法和装置
CN108537751B (zh) 一种基于径向基神经网络的甲状腺超声图像自动分割方法
JP2023530023A (ja) 深層学習に基づく脊椎ｍｒｉ映像キーポイント検出方法
JP2023517058A (ja) 画像処理に基づく腫瘍の自動検出
CN109165658B (zh) 一种基于Faster-RCNN的强负样本水下目标检测方法
CN111860587A (zh) 一种用于图片小目标的检测方法
EP4046061A1 (en) Weakly supervised multi-task learning for cell detection and segmentation
CN113505670A (zh) 基于多尺度cam和超像素的遥感图像弱监督建筑提取方法
CN114494160A (zh) 一种基于完全融合集成网络候选框的骨折检测方法
Wu et al. Fast particle picking for cryo-electron tomography using one-stage detection
CN117670895A (zh) 基于切片重染色技术的免疫组化病理图像细胞分割方法
CN113935961A (zh) 一种鲁棒性乳腺钼靶mlo视角图像胸肌分割方法
Tsai et al. Deep learning techniques for colorectal cancer tissue classification
CN117649657A (zh) 基于改进Mask R-CNN的骨髓细胞检测***
CN112017208A (zh) 一种基于深度学习的多细胞球识别与分类方法
CN105528791B (zh) 一种面向触摸屏手绘图像的质量评价装置及其评价方法
CN110889418A (zh) 一种气体轮廓识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant