CN107680678B - 基于多尺度卷积神经网络甲状腺超声图像结节诊断*** - Google Patents

基于多尺度卷积神经网络甲状腺超声图像结节诊断*** Download PDF

Info

Publication number
CN107680678B
CN107680678B CN201710975555.1A CN201710975555A CN107680678B CN 107680678 B CN107680678 B CN 107680678B CN 201710975555 A CN201710975555 A CN 201710975555A CN 107680678 B CN107680678 B CN 107680678B
Authority
CN
China
Prior art keywords
thyroid
nodule
image
classification
nodules
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710975555.1A
Other languages
English (en)
Other versions
CN107680678A (zh
Inventor
李帅
宋文凤
刘吉
郝爱民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN201710975555.1A priority Critical patent/CN107680678B/zh
Publication of CN107680678A publication Critical patent/CN107680678A/zh
Application granted granted Critical
Publication of CN107680678B publication Critical patent/CN107680678B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本发明提供一种基于多尺度卷积神经网络甲状腺超声图像结节自动诊断***，包括：甲状腺结节由粗到精的结节分类模块、甲状腺结节区域自动检测模块和甲状腺结节精分类模块；通过多尺度的特征融合的卷积神经网络提取不同感知区域的大小的特征，从而结合局部和全局的信息提取结节的上下文语义特征对甲状腺结节进行自动定位。本发明通过多尺度的由粗到精的神经网络的特征提取并通过设计金字塔结构的多尺度精分类AlexNet，能够准确的预测病灶的位置和良恶性发生的概率，可以辅助医生进行甲状腺病灶的诊断，提高诊断的客观性，具有实时性好，准确率高的特点。

Description

基于多尺度卷积神经网络甲状腺超声图像结节诊断***
技术领域
本发明涉及基于多尺度卷积神经网络甲状腺超声图像结节自动诊断***，属于深度学习与辅助医疗领域。
背景技术
在20世纪40年代，超声成像技术就开始在临床应用，在1962年，开始对甲状腺进行诊断。甲状腺超声成像技术能够为医生提供关于甲状腺的组织情况，已经成为现代医生首选的技术诊断手段。
卷积神经网络技术自从上世纪八十年代起至今已经有了三十多年的研究历史，卷积神经网络最初应用于手写体的数字识别，在计算机视觉领域，人脸，物体等识别一直都是一个非常具有挑战性的研究热点。近几年来，随着互联网发展，大量数据集的获取不再是一个难题，12年，Alex利用卷积神经网络以超过第二名20％的优势获取了自然图像Imagenet比赛的冠军，此后卷积神经网络开始了新的时代，从物体识别，人脸识别，物体定位，语义分割等领域都以压倒性的优势刷新了排行榜。
甲状腺的超生图像的识别此前一直依赖于有经验的医生的观察分析诊断，不仅耗时耗力，而且由于我国的医生资源不均衡，很难做到整体水平的提升。借助于卷积神经网络对于自然图像识别的优势，把有优质医疗资源转化为算法，对新的图像进行病灶的定位和识别，应用到甲状腺超声的识别上。
此外，甲状腺超声的自动诊断对提高医生的工作效率有着重要的作用，具有广阔的应用前景和巨大的经济价值。然而，目前由于超生图像有着对比度低，边界不明显的特征，视觉差异小，对甲状腺的超声图像的研究还面临诸多挑战，因为这些现象背后蕴含着更为复杂的物理和视觉特征机制，要实现令人信服的仿真效果，需要多学科交叉理论和软硬件结合的高效算法设计作为支撑。
发明内容
本发明解决的技术问题是：克服了现有的甲状腺超声影像的诊断的不足，提供一种基于多尺度卷积神经网络甲状腺超声图像结节自动诊断***，实现了甲状腺结节的自动定位和识别，可有效对甲状腺超声图像进行结节的定位和良恶性的判断。
本发明采用的技术方案为：基于多尺度卷积神经网络甲状腺超声图像结节自动诊断***，其特征在于包括：甲状腺结节由粗到精的结节分类模块、甲状腺结节区域自动检测模块和甲状腺结节精分类模块；其中：
甲状腺结节由粗到精的结节分类模块：包括由粗到精的甲状腺超声图像结节的自动定位和分类法，所述自动定位和分类法包括两个阶段，第一个阶段为粗分类阶段，经过数据预处理过程，利用基于深度神经网络VGG的检测算法，首先提取通过由多尺度卷积神经所描述的语义特征，对可能的甲状腺结节进行定位和初步的粗分类，并给出候选框；第二阶段为根据候选框中的超声图像块，利用进一步提升的Alex网络在ImageNet数据集上训练自然图像的分类模型的参数模型在甲状腺结节的图像数据集上进行训练和迁移学习；训练之后通过模型参数提取特征向量，通过softmax函数得到每一类的概率值，以给出最终的结节的位置和良恶性的判断结果；
甲状腺结节区域自动检测模块：包括训练和测试阶段，在训练阶段，通过基础网络和新增加的多尺度全卷积网络提取多尺度卷积特征，在检测过程中利用多个尺度的卷积核提取输入图像的多个尺度的特征和上下文语义信息，从而得到特征响应图，包括了结节预测框的坐标信息，同时进行分类训练，以预测位置和初步预测良恶性；同时，设计基于网格的候选区域选择机制，对图像块进行特征提取；图像块提取之后分别通过两个目标函数进行约束分别是分类的softmax函数，针对结节的位置，利用回归的L2范数进行约束，同时得到结节位置信息，保存训练好的网络参数；在测试阶段，首先对用户上传的图像进行预处理，然后输入到训练好的参数模型中；
甲状腺超声图像精分类模块：根据自动检测模块得到的候选框的位置，对原始的超声图像进行截取相应位置的图像块，即把图像整体随机截取具有固定大小的子图，并把图像块输入到精分类神经网络中，精分类神经分类网络利用卷积操作提取多层特征的性质，参考甲状腺超声图像结节大小不固定的特征，在精分类神经网络的结构中引入金字塔空间结构，同时提取多尺度金字塔空间结构卷积特征，在多尺度金字塔空间结构卷积特征的基础上通过softmax函数估计良恶性的概率，给出属于良恶性结节的精分类结果。
所述甲状腺结节超声图像由粗到精的结节分类模块的具体实现过程如下：
(1)由数据预处理方法对原始采集的甲状腺超声图像进行数据预处理和数据增强，预处理包括对数据进行大小重置，数据增强对超声图像镜像映射，随机分块，把整体图像分割为不同的图像区域，来增加训练数据的量；
(2)经过由粗到精两个阶段，在粗分类阶段，用于检测结节的由多尺度卷积神经VGG网络基础上的端到端自动检测网络模型所描述的语义特征，同时通过检测甲状腺结节区域的同时判断其良恶性，得到甲状腺结节的候选框和粗分类的结果对可能的甲状腺结节进行定位和初步的粗分类；
(3)在精分类阶段，对原始的标注数据进行数据预处理和数据增强之后，根据候选框中的超声图像块，通过重新设计的AlexNet神经网络对候选框中的图形进行进一步分类得到确定的良恶性判断结果，利用进一步提升的Alex网络，提出了针对甲状腺的超声结节的多尺度的金字塔空间结构卷积神经网络，并在ImageNet数据集上训练自然图像的分类模型的参数模型在甲状腺结节的图像数据集上进行训练。训练之后通过模型参数提取特征向量，通过softmax函数得到每一类的概率值，以给出最终的结节的位置和良恶性的判断结果。
所述甲状腺结节区域自动检测模块具体实现如下：
在训练阶段，
(1)首先通提取多尺度卷积核特征，具体是利用VGG-16卷积神经网络作为基础网络特征提取，然后增加了三个尺度的全卷积层，其中卷积核的大小为3，5，7来进一步提取不同尺度的特征和空间的上下文语义信息，从而得到特征响应图，包括了结节预测框的坐标信息，同时进行分类训练，以预测位置和初步预测良恶性；
(2)设计基于网格的候选区域选择机制，基于整体图像进行特征提取之后，在全卷积层之后设计增加多个固定比例大小图像块，根据图像块大小把同一个图像平均分为不同比例的小图像块，并进一步针对框里的图像块进行特征提取；
(3)图像块提取之后分别通过两个目标函数进行约束分别是分类的softmax函数，输入是探针框经过卷积层之后的Feature maps，输出是成良恶性的概率；同时，针对结节的位置，利用回归的L2范数进行约束，同时得到结节位置信息，保存训练好的网络参数；
(4)在测试阶段，首先对用户上传的图像进行预处理，然后输入到训练好的参数模型中。
所述甲状腺超声图像精分类模块具体实现如下：
(1)首先对原始的标注数据进行数据预处理和数据增强，其中，数据预处理包括对数据进行大小归一化，和分布的归一化，使其分布属于正态分布，均值为0，方差为1；
(2)然后通过前五层的Alexnet进行特征提取初步提取甲状腺超声图像的特征；
(3)在第六层，提出了针对甲状腺的超声结节的多尺度的金字塔空间结构卷积神经网络，在第五层输入之后，把所有的通道***为三个通道，并列提取不同的卷积核的大小的特征，分为1，3，5，7金字塔空间结构，最后合并为同一个通道；
(4)合并之后，通过利用分类约束的目标函数softmax进行约束，并在ImageNet数据集上训练自然图像的分类模型的参数模型在甲状腺结节的图像数据集上进行训练。同时利用反向传播算法进行梯度下降，得到每一类的概率值，以给出最终的结节的位置和良恶性的判断结果。
本发明的原理在于：
(1)通过由粗到精的多尺度方式进行自动检测和分类，使用基于SSD的方法来计算甲状腺的结节的候选框，为兼顾甲状腺的多尺度和多形态的特征。
(2)本发明设计了多层次判断网络结构完成粗分类和精分类的网络结构。
(3)为了进行甲状腺结节的自动检测，本发明通过基于SSD自动检测网络，提出了一种通过多特征映射的自动检测卷积神经网络。该方法通过使用卷积神经网络计算得到的特征映射，将整个映射图进行多个尺度的分解，对分解之后的图像块进行分类，来预测甲状腺结节的位置，并对图像块中的结节进行自动的分类。
(4)为了对甲状腺的结节进行进一步的分类，本发明通过设计金字塔空间结构的特征融合网络结构对(2)中自动检测的甲状腺结节进行自动诊断。
本发明与现有技术相比的优点在于：
(1)本发明提出的基于由粗到精的自动检测和识别方式，一方面可以进行快速准确的检测。另一方面可以分层给出精确识别的结果。并进行了多尺度的金字塔空间结构的特征融合网络结构。
(2)对比已有的目标自动检测算法，本发明提出的基于甲状腺多尺度多形态的特征映射融合算法，能够适应甲状腺结节的多形态自动检测和粗分类。
(3)本发明提出的基于甲状腺结节多尺度金字塔空间结构的自动分类，可以对甲状腺的不同尺度和形态的结节自动分类。
附图说明
图1为本发明的基于多尺度卷积神经网络甲状腺超声图像结节自动诊断***组成框图；
图2为本发明基于多尺度卷积神经网络甲状腺超声图像结节自动诊断***流程图；
图3为由粗到精的结节分类模块实现流程图；
图4为甲状腺结节区域自动检测模块实现流程图；
图5为甲状腺精分类模块实现流程图；
图6为自动识别***的输出结果，甲状腺结节检测和分类结果示意图。
具体实施方式
下面结合其他附图及具体实施方式进一步说明本发明。
如图1、2所示，本发明的基于多尺度卷积神经网络甲状腺超声图像结节自动诊断***包括由粗到精的结节分类模块、甲状腺结节区域自动检测模块和甲状腺精分类模块。
图1基于多尺度卷积神经网络甲状腺超声图像结节自动诊断***，包括三个模块：甲状腺结节区域自动检测模块，甲状腺结节由粗到精分类模块和甲状腺超声精分类模块，其中自动检测模块关键技术是多尺度卷积层融合，第二个模块的关键技术是全图像候选结节位置回归和分类的函数约束；第三个模块是多尺度特征金字塔空间结构设计。
图2是基于多尺度卷积神经网络甲状腺超声图像结节自动诊断***流程图，首先进行结节区域自动检测，然后通过由粗到精的分类框架进行结节的自动定位和粗分类，最后粗分类结果进行精确分类。
如图3所示，由粗到精的甲状腺结节分类模块实现如下：
(1)首先对原始采集的甲状腺超声图像进行数据预处理和数据增强。预处理包括对图像进行大小重置到300*300的固定的大小。数据增强对超声图像镜像映射，随机分块，把整体图像分割为不同的图像区域；
(2)该模块包括由粗到精两个阶段，在粗分类阶段，输入待分类的超声图像，多尺度卷积神经VGG网络进行16次卷积大小分别为3，5，7等卷积核(大小与VGG-16一致)进行卷积，端到端自动检测网络模型所描述的语义特征，通过卷积与池化层计算其Feature maps，在基础网络的基础上增加了三个甲状腺卷积层，对于新添加的层，分别通过32，64，128个卷积核进行预测。对于一个大小为w*h、c通道的特征层，使用5*5的卷积核进行预测，在整个图像上预测出结节的位置的概率二维向量，该二维向量的元素分别是良恶性的得分。最终，输出结节的粗分类的结果；
(3)在精分类过程中，在候选框中的超声图像块区域，配置好重新设计的AlexNet神经网络对候选框中的图像进行进一步分类得到确定的良恶性判断结果，利用进一步提升的Alex网络在ImageNet数据集上训练自然图像的分类模型的参数模型在甲状腺结节的图像数据集上进行训练和迁移学习。训练之后通过模型参数提取特征向量，通过softmax函数得到每一类的概率值，以给出最终的结节的位置和良恶性的判断结果。
如图4所示，甲状腺结节区域自动检测模块实现如下：
(1)首先提取对于边界不明显的超声甲状腺的特征，需要全局的甲状腺超声图像的上下文语义信息辅助判断。本文设计了相对较大的卷积尺度进行融合全局信息，首先用VGGNet进行调优和提取Feature map，在Feature map上进行图像块的分割，并用固定尺度的大小的候选框进行扫描，进行预测。此时的候选框的大小是适用于甲状腺的结节的。结节的比例一般在4:1和1：5之间。候选框的尺度也在这个范围内以适应甲状腺的结节的检测。
(2)然后在网络的最后一个pooling层之后增加了上述候选框。以卷积的形式作用到feature map。在每一个图像块上，通过网络结构预测该区域属于的类别。每个图像块都有10个比例的大小的候选框的预测结果。这样就能对多个尺度的图像特征进行预测。
(3)在Feature maps的每个位置预测L个结节候选框。对于每个候选框，预测2个类别得分，以及相对于预先设定的候选框的4个偏移值，这样需要(2+4)*L个预测器，在w*h的Feature maps上将产生(2+4)*L*w*h个预测值。
(4)最后，控制损失函数的每一类的样例的比例，采取的比例是3:1，恶性的结节的权重占了75％，提升分类的重要性，能够更准确率的分类恶性样本。
Lcla＝0.75lp+0.25ln
Lall＝Lloc+Lcla
其中，Lcla表示分类的损失函数，本发明采用的是Softmaxloss。Lloc是位置的回归的损失函数，本发明采取的是L2范数。计算L2范数的反向传播进行模型参数的更新。通过以上两个公式的约束获得甲状腺结节的粗分类结果和结节的位置。
如图5所示，精分类神经网络模块实现如下：
(1)首先把自动检测模块中得到的候选框中的图像块的尺度大小重置为224*224，计算图像与初始化的卷积核进行滑动窗口扫描，在得到的新的特征图像上进行池化操作，图像下采样到原来的大小的一半；
(2)计算Feature maps的激活函数层ReLu，控制在[0，正无穷]范围内，计算Feature maps与Relu激活函数元素间的对应相乘的结果，过滤数值小的特征提出主要影响语义类别的特征；
(3)经过6层的卷积和池化以及ReLu操作，Feature maps在AlexNet的第六层***为三个通道的卷积核并行，卷积核大小分别为3，5，7，计算Feature maps与卷积之后，得到新的Feature maps，然后进行多通道特征合并，最后通过全连接层的训练得到特征向量以进行类别分类；
(4)通过反向传播算法和随机梯度下降法计算梯度，进行参数更新；
(5)通过(4)中得到的模型参数，对测试图像进行特征提取，然后通过softmax函数进行良恶性的预测，得到二维概率向量，对良恶性进行判断，输出良恶性结果。
如图6所示，甲状腺结节自动检测和粗分类模块结果展示。
甲状腺结节自动检测结果为结节的位置以及候选框的输出，其中深色和浅色的框为输出结果，深色是恶性，浅色是良性。本发明***位置准确，并且能够定位到医生手动标记的漏标的结节。
准确率如下表格所示
名称 准确率(方差)
AlexNet 94.7％(1.1)
GoogleNet 95.2％(2.2)
AlexNet+金字塔空间结构 94.5％(3)
GoogleNet+金字塔空间结构 96.2％(2)
本发明 97.4％(2)
上述表格表明本发明与已有的主流的算法的比较结果，第一列是算法的名字，第二列是相应的结果，括号里面表示方差。准确率是三次实验的均值。为了验证本发明在数据集上的稳定性和泛化性，进行了3次实验的数据集有4000个样例，2000个正样例和2000个负样本，随机选择80％的训练集上进行训练，20％进行测试，表明本发明的准确率为97.4％，均高于其它的***。

Claims (4)

1.基于多尺度卷积神经网络甲状腺超声图像结节诊断***，其特征在于：包括甲状腺结节由粗到精的结节分类模块、甲状腺结节区域自动检测模块和甲状腺结节精分类模块；其中：
甲状腺结节由粗到精的结节分类模块：包括由粗到精的甲状腺超声图像结节的自动定位和分类法，所述自动定位和分类法包括两个阶段，第一个阶段为粗分类阶段，经过数据预处理过程，利用基于深度神经网络VGG的检测算法，首先提取通过由多尺度卷积神经网络所描述的语义特征，对可能的甲状腺结节进行定位和初步的粗分类，并给出候选框；第二阶段为根据候选框中的超声图像块，利用进一步提升的Alex网络在ImageNet数据集上训练自然图像的分类模型的参数模型在甲状腺结节的图像数据集上进行训练和迁移学习；训练之后通过模型参数提取特征向量，通过softmax函数得到每一类的概率值，以给出最终的结节的位置和良恶性的判断结果；
甲状腺结节区域自动检测模块：包括训练和测试阶段，在训练阶段，通过基础网络和新增加的多尺度全卷积网络提取多尺度卷积特征，在检测过程中利用多个尺度的卷积核提取输入图像的多个尺度的特征和上下文语义信息，从而得到特征响应图，包括了结节预测框的坐标信息，同时进行分类训练，以预测位置和初步预测良恶性；同时，设计基于网格的候选区域选择机制，对图像块进行特征提取；图像块提取之后分别通过两个目标函数进行约束分别是分类的softmax函数，针对结节的位置，利用回归的L2范数进行约束，同时得到结节位置信息，保存训练好的网络参数；在测试阶段，首先对用户上传的图像进行预处理，然后输入到训练好的参数模型中；
甲状腺结节精分类模块：根据自动检测模块得到的候选框的位置，对原始的超声图像进行截取相应位置的图像块，即把图像整体随机截取具有固定大小的子图，并把图像块输入到精分类神经网络中，精分类神经分类网络利用卷积操作提取多层特征的性质，参考甲状腺超声图像结节大小不固定的特征，在精分类神经网络的结构中引入金字塔空间结构，同时提取多尺度金字塔空间结构卷积特征，在多尺度金字塔空间结构卷积特征的基础上通过softmax函数估计良恶性的概率，给出属于良恶性结节的精分类结果；
甲状腺结节区域自动检测模块首先进行结节区域自动检测，然后通过甲状腺结节由粗到精的结节分类模块进行结节的自动定位和粗分类，最后甲状腺结节精分类模块对粗分类结果进行精确分类。
2.根据权利要求1所述的基于多尺度卷积神经网络甲状腺超声图像结节诊断***，其特征在于：所述甲状腺结节由粗到精的结节分类模块的具体实现过程如下：
（1）由数据预处理方法对原始采集的甲状腺超声图像进行数据预处理和数据增强，预处理包括对数据进行大小重置，数据增强对超声图像镜像映射，随机分块，把整体图像分割为不同的图像区域，来增加训练数据的量；
（2）经过由粗到精两个阶段，在粗分类阶段，用于检测结节的由多尺度卷积神经VGG网络基础上的端到端自动检测网络模型所描述的语义特征，同时通过检测甲状腺结节区域的同时判断其良恶性，得到甲状腺结节的候选框和粗分类的结果对可能的甲状腺结节进行定位和初步的粗分类；
（3）在精分类阶段，对原始的标注数据进行数据预处理和数据增强之后，根据候选框中的超声图像块，通过重新设计的AlexNet神经网络对候选框中的图形进行进一步分类得到确定的良恶性判断结果，利用进一步提升的Alex网络，提出了针对甲状腺的超声结节的多尺度的金字塔空间结构卷积神经网络，并在ImageNet数据集上训练自然图像的分类模型的参数模型在甲状腺结节的图像数据集上进行训练；训练之后通过模型参数提取特征向量，通过softmax函数得到每一类的概率值，以给出最终的结节的位置和良恶性的判断结果。
3.根据权利要求1所述的基于多尺度卷积神经网络甲状腺超声图像结节诊断***，其特征在于：所述甲状腺结节区域自动检测模块具体实现如下：
在训练阶段，
（1）首先通过提取多尺度卷积核特征，具体是利用VGG-16卷积神经网络作为基础网络特征提取，然后增加了三个尺度的全卷积层，其中卷积核的大小为3，5，7来进一步提取不同尺度的特征和空间的上下文语义信息，从而得到特征响应图，包括了结节预测框的坐标信息，同时进行分类训练，以预测位置和初步预测良恶性；
（2）设计基于网格的候选区域选择机制，基于整体图像进行特征提取之后，在全卷积层之后设计增加多个固定比例大小图像块，根据图像块大小把同一个图像平均分为不同比例的小图像块，并进一步针对框里的图像块进行特征提取；
（3）图像块提取之后分别通过两个目标函数进行约束分别是分类的softmax函数，输入是探针框经过卷积层之后的特征图，输出是成良恶性的概率；同时，针对结节的位置，利用回归的L2范数进行约束，同时得到结节位置信息，保存训练好的网络参数；
（4）在测试阶段，首先对用户上传的图像进行预处理，然后输入到训练好的参数模型中。
4.根据权利要求1所述的基于多尺度卷积神经网络甲状腺超声图像结节诊断***，其特征在于：所述甲状腺结节精分类模块具体实现如下：
（1）首先对原始的标注数据进行数据预处理和数据增强，其中，数据预处理包括对数据进行大小归一化，和分布的归一化，使其分布属于正态分布，均值为0，方差为1；
（2）然后通过前五层的Alexnet进行特征提取初步提取甲状腺超声图像的特征；
（3）在第六层，提出了针对甲状腺的超声结节的多尺度的金字塔空间结构卷积神经网络，在第五层输入之后，把所有的通道***为三个通道，并列提取不同的卷积核的大小的特征，分为1，3，5，7金字塔空间结构，最后合并为同一个通道；
（4）合并之后，通过利用分类约束的目标函数softmax进行约束，并在ImageNet数据集上训练自然图像的分类模型的参数模型在甲状腺结节的图像数据集上进行训练，同时利用反向传播算法进行梯度下降，得到每一类的概率值，以给出最终的结节的位置和良恶性的判断结果。
CN201710975555.1A 2017-10-18 2017-10-18 基于多尺度卷积神经网络甲状腺超声图像结节诊断*** Active CN107680678B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710975555.1A CN107680678B (zh) 2017-10-18 2017-10-18 基于多尺度卷积神经网络甲状腺超声图像结节诊断***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710975555.1A CN107680678B (zh) 2017-10-18 2017-10-18 基于多尺度卷积神经网络甲状腺超声图像结节诊断***

Publications (2)

Publication Number Publication Date
CN107680678A CN107680678A (zh) 2018-02-09
CN107680678B true CN107680678B (zh) 2020-12-01

Family

ID=61139726

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710975555.1A Active CN107680678B (zh) 2017-10-18 2017-10-18 基于多尺度卷积神经网络甲状腺超声图像结节诊断***

Country Status (1)

Country Link
CN (1) CN107680678B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL2029876A (en) * 2021-07-19 2023-01-23 Yantai Yuhuangding Hospital Deep residual network-based classification system for thyroid cancer computed tomography (ct) images

Families Citing this family (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108510495A (zh) * 2018-04-09 2018-09-07 沈阳东软医疗***有限公司 一种基于人工智能的肺部影像数据处理方法、装置及***
CN108734694A (zh) * 2018-04-09 2018-11-02 华南农业大学 基于faster r-cnn的甲状腺肿瘤超声图像自动识别方法
CN108875906B (zh) * 2018-04-20 2019-06-04 华侨大学 一种多尺度逐步累加的卷积神经网络学习方法
CN109166107A (zh) * 2018-04-28 2019-01-08 北京市商汤科技开发有限公司 一种医学图像分割方法及装置、电子设备和存储介质
CN108968991B (zh) * 2018-05-08 2022-10-11 平安科技（深圳）有限公司 手骨x光片骨龄评估方法、装置、计算机设备和存储介质
CN108648192B (zh) * 2018-05-17 2021-08-17 杭州依图医疗技术有限公司 一种检测结节的方法及装置
CN108664971B (zh) * 2018-05-22 2021-12-14 中国科学技术大学 基于2d卷积神经网络的肺结节检测方法
CN108710919A (zh) * 2018-05-25 2018-10-26 东南大学 一种基于多尺度特征融合深度学习的裂缝自动化勾画方法
CN108830891B (zh) * 2018-06-05 2022-01-18 成都精工华耀科技有限公司 一种钢轨鱼尾板紧固件松动检测方法
CN113222966B (zh) * 2018-06-07 2023-01-10 深圳迈瑞生物医疗电子股份有限公司 基于超声影像设备的图像分析方法及超声影像设备
CN108742679B (zh) * 2018-06-29 2022-07-05 上海联影医疗科技股份有限公司 结节检测装置和方法
CN109087327B (zh) * 2018-07-13 2021-07-06 天津大学 一种级联全卷积神经网络的甲状腺结节超声图像分割方法
US10993653B1 (en) 2018-07-13 2021-05-04 Johnson Thomas Machine learning based non-invasive diagnosis of thyroid disease
CN109003282B (zh) * 2018-07-27 2022-04-29 京东方科技集团股份有限公司 一种图像处理的方法、装置及计算机存储介质
WO2020026349A1 (ja) * 2018-07-31 2020-02-06 オリンパス株式会社 画像診断支援システムおよび画像診断支援装置
CN109063710B (zh) * 2018-08-09 2022-08-16 成都信息工程大学 基于多尺度特征金字塔的3d cnn鼻咽癌分割方法
CN109447940B (zh) * 2018-08-28 2021-09-28 天津医科大学肿瘤医院 卷积神经网络训练方法、超声图像识别定位方法及***
CN110309841A (zh) * 2018-09-28 2019-10-08 浙江农林大学 一种基于深度学习的山核桃常见害虫识别方法
CN109363699B (zh) * 2018-10-16 2022-07-12 杭州依图医疗技术有限公司 一种乳腺影像病灶识别的方法及装置
CN109584211A (zh) * 2018-10-31 2019-04-05 南开大学 一种动物***极体的视觉自动检测方法
CN109472791B (zh) * 2018-10-31 2020-10-27 深圳大学 超声图像分割方法和计算机设备
CN109447169B (zh) * 2018-11-02 2020-10-27 北京旷视科技有限公司 图像处理方法及其模型的训练方法、装置和电子***
CN109583483B (zh) * 2018-11-13 2020-12-11 中国科学院计算技术研究所 一种基于卷积神经网络的目标检测方法和***
CN111260650A (zh) * 2018-11-15 2020-06-09 *** 一种脊柱ct序列图像分割方法与***
CN109472801A (zh) * 2018-11-22 2019-03-15 廖祥 一种用于多尺度的神经形态检测和分割方法
CN109616195A (zh) * 2018-11-28 2019-04-12 武汉大学人民医院（湖北省人民医院） 基于深度学习的纵隔超声内镜图像实时辅助诊断***及方法
CN109754403A (zh) * 2018-11-29 2019-05-14 中国科学院深圳先进技术研究院 一种ct图像内的肿瘤自动分割方法及***
CN109615016B (zh) * 2018-12-20 2021-06-22 北京理工大学 一种基于金字塔输入增益的卷积神经网络的目标检测方法
CN109685143A (zh) * 2018-12-26 2019-04-26 上海市第十人民医院 一种甲状腺锝扫图像的识别模型构建方法及装置
CN109740485B (zh) * 2018-12-27 2021-02-02 中国水利水电科学研究院 基于光谱分析和深度卷积神经网络的水库或塘坝识别方法
CN110060235A (zh) * 2019-03-27 2019-07-26 天津大学 一种基于深度学习的甲状腺结节超声图像分割方法
CN110110748B (zh) * 2019-03-29 2021-08-17 广州思德医疗科技有限公司 一种原始图片的识别方法及装置
CN110070546B (zh) * 2019-04-18 2021-08-27 山东师范大学 一种基于深度学习的多目标危及器官的自动分割方法、装置及***
CN110060774B (zh) * 2019-04-29 2022-12-09 赵蕾 一种基于生成式对抗网络的甲状腺结节识别方法
CN110232386B (zh) * 2019-05-09 2022-04-05 杭州深睿博联科技有限公司 基于局部特征金字塔的肺结节分类方法及装置
CN110491480B (zh) * 2019-05-22 2021-04-30 腾讯科技（深圳）有限公司 一种医疗图像处理方法、装置、电子医疗设备和存储介质
CN110164550B (zh) * 2019-05-22 2021-07-09 杭州电子科技大学 一种基于多视角协同关系的先天性心脏病辅助诊断方法
CN110210543B (zh) * 2019-05-24 2021-08-17 上海联影智能医疗科技有限公司 图像分类***、方法、设备和存储介质
CN110211116A (zh) * 2019-06-03 2019-09-06 东北大学 一种基于深度学习网络和浅层纹理特征融合的甲状腺超声图像结节分析方法
CN110288574A (zh) * 2019-06-13 2019-09-27 南通市传染病防治院(南通市第三人民医院) 一种超声辅助诊断肝肿块***及方法
CN110363104B (zh) * 2019-06-24 2022-07-15 中国科学技术大学 一种柴油黑烟车的检测方法
CN110379509A (zh) * 2019-07-23 2019-10-25 安徽磐众信息科技有限公司 一种基于dssd的乳腺结节辅助诊断方法及***
CN110516688A (zh) * 2019-08-30 2019-11-29 北京推想科技有限公司 肺结节属性特征信息的提取方法及***
CN110751651B (zh) * 2019-09-27 2022-03-04 西安电子科技大学 基于多尺度迁移学习的mri胰腺图像分割方法
CN110766670A (zh) * 2019-10-18 2020-02-07 厦门粉红思黛医学科技有限公司 一种基于深度卷积神经网络的乳腺钼靶图像肿瘤定位算法
CN110880035B (zh) * 2019-11-14 2020-12-01 北京推想科技有限公司 卷积神经网络的训练方法、装置及结节征象识别方法、装置
CN111126175A (zh) * 2019-12-05 2020-05-08 厦门大象东方科技有限公司 一种基于深度卷积神经网络的面部图像识别算法
CN111160413B (zh) * 2019-12-12 2023-11-17 天津大学 一种基于多尺度特征融合的甲状腺结节分类方法
WO2021137755A1 (en) 2019-12-30 2021-07-08 Medo Dx Pte. Ltd Apparatus and method for automated analyses of ultrasound images
CN111179275B (zh) * 2019-12-31 2023-04-25 电子科技大学 一种医学超声图像分割方法
CN111227864B (zh) * 2020-01-12 2023-06-09 刘涛 使用超声图像利用计算机视觉进行病灶检测的装置
CN111341443A (zh) * 2020-03-09 2020-06-26 西安中科长青医疗科技研究院有限公司 一种基于深度学习的超声甲状腺结节智能评估方法
CN111652846B (zh) * 2020-04-30 2022-08-16 成都数之联科技股份有限公司 一种基于特征金字塔卷积神经网络的半导体缺陷识别方法
CN111724343A (zh) * 2020-05-18 2020-09-29 天津大学 一种基于对抗式学习的甲状腺结节超声影像数据集增强方法
CN111680687B (zh) * 2020-06-09 2022-05-10 江西理工大学 一种应用于乳腺x线图像异常识别的深度融合分类方法
CN112102311B (zh) * 2020-09-27 2023-07-18 平安科技（深圳）有限公司 甲状腺结节图像的处理方法、装置和计算机设备
CN112508958B (zh) * 2020-12-16 2022-07-19 桂林电子科技大学 一种轻量多尺度的生物医学图像分割方法
CN112529894B (zh) * 2020-12-22 2022-02-15 徐州医科大学 一种基于深度学习网络的甲状腺结节的诊断方法
CN112903813B (zh) * 2021-01-14 2023-03-14 北京安铁软件技术有限公司 一种铁路轨道超声自动探伤方法
CN112861876A (zh) * 2021-01-25 2021-05-28 北京小白世纪网络科技有限公司 一种基于卷积神经网络的肝癌超声图自动识别方法和装置
CN112820399A (zh) * 2021-01-26 2021-05-18 北京小白世纪网络科技有限公司 自动诊断甲状腺结节良恶性的方法及装置
CN112927808A (zh) * 2021-03-01 2021-06-08 北京小白世纪网络科技有限公司 一种基于甲状腺超声图像的结节分级***及方法
CN112687391A (zh) * 2021-03-15 2021-04-20 四川大学 一种乳腺超声图像病灶智能识别防漏判***的构建方法
CN112927217B (zh) * 2021-03-23 2022-05-03 内蒙古大学 一种基于目标检测的甲状腺结节侵袭性预测方法
CN113256704B (zh) * 2021-03-26 2024-04-05 上海师范大学 一种谷粒长宽测量方法
CN113223716A (zh) * 2021-05-20 2021-08-06 复旦大学附属中山医院 一种甲状腺微小癌消融术前颈部***良恶性预测方法
CN114419016B (zh) * 2022-01-25 2022-11-04 华润武钢总医院 用于甲状腺结节良恶性鉴别诊断的超声超分辨方法及***
CN114219807B (zh) * 2022-02-22 2022-07-12 成都爱迦飞诗特科技有限公司 乳腺超声检查图像分级方法、装置、设备和存储介质
CN114782317B (zh) * 2022-03-24 2024-07-16 什维新智医疗科技(上海)有限公司 一种基于目标检测的超声图像工作区域检测方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103984958B (zh) * 2014-05-07 2017-11-07 深圳大学 ***细胞分割方法及***
EP3149653A4 (en) * 2014-05-29 2017-06-14 Beijing Kuangshi Technology Co., Ltd. Facial landmark localization using coarse-to-fine cascaded neural networks
CN106056595B (zh) * 2015-11-30 2019-09-17 浙江德尚韵兴医疗科技有限公司 基于深度卷积神经网络自动识别甲状腺结节良恶性的辅助诊断***
US10198624B2 (en) * 2016-02-18 2019-02-05 Pinscreen, Inc. Segmentation-guided real-time facial performance capture
CN106504232B (zh) * 2016-10-14 2019-06-14 北京网医智捷科技有限公司 一种基于3d卷积神经网络的肺部结节自动检测***
CN106780448B (zh) * 2016-12-05 2018-07-17 清华大学 一种基于迁移学习与特征融合的超声甲状腺结节良恶性分类***
CN107180426B (zh) * 2017-06-06 2020-12-08 西北工业大学 基于可迁移的多模型集成的计算机辅助肺结节分类装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL2029876A (en) * 2021-07-19 2023-01-23 Yantai Yuhuangding Hospital Deep residual network-based classification system for thyroid cancer computed tomography (ct) images

Also Published As

Publication number Publication date
CN107680678A (zh) 2018-02-09

Similar Documents

Publication Publication Date Title
CN107680678B (zh) 基于多尺度卷积神经网络甲状腺超声图像结节诊断***
CN109446992B (zh) 基于深度学习的遥感影像建筑物提取方法及***、存储介质、电子设备
CN109447998B (zh) 基于PCANet深度学习模型下的自动分割方法
CN108464840B (zh) 一种乳腺肿块自动检测方法及***
KR102108050B1 (ko) 증강 컨볼루션 네트워크를 통한 유방암 조직학 이미지 분류 방법 및 그 장치
CN110969204B (zh) 基于磁共振图像与数字病理图像融合的样本分类***
CN109886965B (zh) 一种水平集和深度学习相结合的视网膜层分割方法及***
CN112101451A (zh) 一种基于生成对抗网络筛选图像块的乳腺癌组织病理类型分类方法
CN110796661B (zh) 基于卷积神经网络的真菌显微图像分割检测方法及***
Yao et al. Pneumonia Detection Using an Improved Algorithm Based on Faster R‐CNN
EP3140778B1 (en) Method and apparatus for image scoring and analysis
CN113706434B (zh) 基于深度学习对胸部增强ct图像的后处理方法
CN104933701A (zh) 基于多尺度生长与双策略去粘连模型的乳腺细胞分割方法
CN113610118B (zh) 一种基于多任务课程式学习的青光眼诊断方法、装置、设备及方法
CN113592797A (zh) 基于多数据融合及深度学习的乳腺结节风险等级预测***
CN114600155A (zh) 用于细胞检测和分割的弱监督多任务学习
CN112990214A (zh) 一种医学图像特征识别预测模型
Cao et al. An automatic breast cancer grading method in histopathological images based on pixel-, object-, and semantic-level features
Chen et al. Segmentation of overlapping cervical cells with mask region convolutional neural network
CN111127400A (zh) 一种乳腺病变检测方法和装置
CN114445356A (zh) 基于多分辨率的全视野病理切片图像肿瘤快速定位方法
CN112036298A (zh) 一种基于双段区块卷积神经网络的细胞检测方法
CN116563647A (zh) 年龄相关性黄斑病变图像分类方法及装置
CN116844143B (zh) 基于边缘增强的胚胎发育阶段预测与质量评估***
US9785848B2 (en) Automated staining and segmentation quality control

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant