CN110070527A - 一种基于区域全连接神经网络病灶检测方法 - Google Patents

一种基于区域全连接神经网络病灶检测方法 Download PDF

Info

Publication number
CN110070527A
CN110070527A CN201910313963.XA CN201910313963A CN110070527A CN 110070527 A CN110070527 A CN 110070527A CN 201910313963 A CN201910313963 A CN 201910313963A CN 110070527 A CN110070527 A CN 110070527A
Authority
CN
China
Prior art keywords
image
feature
extracted
focal area
feature maps
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910313963.XA
Other languages
English (en)
Inventor
雷章明
汤桢伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Lei Entropy Technology Co Ltd
Original Assignee
Chengdu Lei Entropy Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Lei Entropy Technology Co Ltd filed Critical Chengdu Lei Entropy Technology Co Ltd
Priority to CN201910313963.XA priority Critical patent/CN110070527A/zh
Publication of CN110070527A publication Critical patent/CN110070527A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明公开了一种基于区域全连接神经网络病灶检测方法，包括如下步骤：(1)获取带有病灶信息的样本图像，并对样本图像做预处理后构建3D分层图像；(2)使用深度特征提取网络VGG从3D分层图像的每层图像特征中提取特征序列；(3)利用RPN网络从每层图像特征中提取的特征序列中提取病灶区域，同时利用卷积层将每层图像特征中提取的特征序列feature maps合并为3D feature maps；(4)利用ROI池化层从病灶区域和3D feature maps得到统一大小病灶区域的feature maps；(5)再通过全连接层将统一大小病灶区域的feature maps映射到样本图像并输出已标记病灶区域的图像。本发明通过将3D卷积神经网络与RPN网络相结合实现对CT影像中的病灶信息进行识别和标记，且准确率可达85％以上。

Description

一种基于区域全连接神经网络病灶检测方法
技术领域
本发明属于病灶信息领域，具体涉及一种基于区域全连接神经网络病灶检测方法。
背景技术
随着科技的快速发展，CT影像的病灶可以借助计算机进行初步识别。公告号CN104700118A基于卷积神经网络的肺结节良恶性预测方法公开了在肺部CT中引入计算机卷积神经网络来预测肺结节的方法，传统的神经网络都是采用全连接的方式，即输入层到隐藏层的神经元都是全部连接的，这样做将导致参数量巨大，使得网络训练耗时甚至难以训练，而卷积神经网络则通过局部连接、权值共享等方法实现了肺结节病灶区域的识别，但2D卷积不能很好的识别病灶信息，导致准确率不高。公告号CN106940816A基于3D全连接卷积神经网络的CT图像肺结节检测***采用在肺部CT中引入计算机3D-卷积神经网络来预测肺结节的方法，提升单纯使用卷积神经网络的准确率。但是目前关于这类是被仅限于肺部和乳腺等单一部位，但是实际运用中CT影像中不仅仅包括肺部和乳腺，还有许多比例器官如隔膜、肝、肾等，尤其是腹部影像，如不提前标记处比邻器官，则会造成误识别。
发明内容
本发明的目的在于提供一种可无需提前标记比邻器官且病灶识别准确高的基于区域全连接神经网络病灶检测方法。
本发明的目的是通过以下技术方案实现的：
一种基于区域全连接神经网络病灶检测方法，包括如下步骤：
(1)获取带有病灶信息的样本图像，并对样本图像做预处理后构建3D分层图像，图像大小512×512×3×M，M表示3D分层图像数量；
(2)使用深度特征提取网络VGG从3D分层图像的每层图像特征中提取特征序列feature maps；
(3)利用RPN网络从每层图像特征中提取的特征序列feature maps中提取病灶区域，同时利用卷积层将每层图像特征中提取的特征序列feature maps合并为3D featuremaps；
(4)利用ROI池化层从病灶区域和3D feature maps得到统一大小病灶区域的feature maps；
(5)再通过全连接层将统一大小病灶区域的feature maps映射到样本图像并输出已标记病灶区域的图像。
进一步地，步骤(1)中所述图像预处理是是将获取的带有病灶信息的样本图像转化为255深度图像。
进一步地，步骤(2)中所述深度特征提取网络VGG包括卷积层、池化层和输出层，卷积层有5段，每段之后均连接一个池化层，最后一段卷积层连接输出层。
进一步地，步骤(3)所述利用RPN网络从每层图像特征中提取的特征序列featuremaps中提取病灶区域具体步骤如下：
(1)通过初始识别框获取foreground标记框和background标记框；
(2)通过损失函数和优化函数获取初始别框的偏移量bounding box regression；
(3)再将foreground标记框和偏移量bounding box regression获得病灶区域。
进一步地，步骤(3)所述利用卷积将每层图像特征中提取的特征序列featuremaps合并为3D feature maps是指先对每层图像特征中提取的特征序列feature maps做卷积后进行连接操作合并为3D feature map。
本发明通过将3D卷积神经网络与RPN网络相结合实现对CT影像中的病灶信息进行识别和标记，且准确率可达85％以上。本发明不仅限用于CT影像，也可用于在MRI、超声等医学影像领域采取类似的方法也可达到效果。
附图说明
图1为本发明的结构示意图。
图2～6为本发明病灶识别与医生病灶识别对比图。
具体实施方式
如图1所示，本实施例提供的基于区域全连接神经网络病灶检测方法包括如下步骤：
(1)获取带有病灶信息的样本图像，并对样本图像做预处理后构建3D分层图像，图像大小512×512×3×M，图像宽高均为512，通道数为3，M表示3D分层图像数量；
获取带有病灶信息的样本图像是通过现有CT影像装置拍摄的人体的部位的标准医学影像文件DICOM，所述人体部位不仅限于肺部和乳腺，也可是骨骼、腹部、盆腔等现有技术不易识别部位。
再将标准医学影像文件DICOM转换255深度图像，具体步骤为：
a提取标准医学影像文件DICOM中的pixel_array，RescaleSlope，RescaleIntercept，WindowCenter，WindowWidth数据，
b计算出Hounsfiled Unit、Min和Max，
Hounsfiled Unit＝ArrayDicom×RescaleSlope+RescaleIntercept，
Min＝WindowCenter-(WindowWidth/2)，
Max＝WindowCenter+(WindowWidth/2)；
c将根据样本图像转换为255深度图像；
HU255＝(Hounsfiled Unit–Min)/(Max–Min)×255
d将255深度图像转为8位INT类型的数据形式进行保存
I＝min(255，max(0，HU255)。
再根据255深度图像构成3D分层图像，具体地是通过CT影像装置连续获取多张同一部位的CT影像，并将前后的图像帧M/2帧构建为M维度3D图像。
(2)使用深度特征提取网络VGG(conv1～5)从3D分层图像的每层图像特征中提取特征序列feature maps；具体地采用VGG16，该深度特征提取网络VGG16包括5段卷积层，每段卷积之后紧着这最大池化层，卷积层的卷积核为3*3，步长为1，填充为1。池化层的卷积核为2*2，填充2。采用堆积的小卷积核可增加多层非线性层网络深度深度，在相同感知野的条件下，提升了网络的深度，在一定程度上提升了神经网络的效果；通过深度特征提取网络VGG16提取的每层图像特征中的特征序列feature maps的是16×16×512×M，宽、高16，通道数512，通过输出层将特征序列feature maps输出。
(3)利用RPN网络从每层图像特征中提取的特征序列feature maps中提取病灶区域；在RPN网络中采用初始识别框可解决病灶多尺度的问题，相比传统的生成检测框来说提升了速度，每个初始识别框包括9个矩形，共有3种形状，其长宽为0.5×1.2，尺度为2,4,6，本实施例的初始检测框数量为2304个。通过初始识别框对特征序列feature maps进行病灶识别具体是采用初始识别框对获得的特征序列feature maps遍历，并通过逻辑函数或归一化指数函数输出病灶区域，具体的执行步骤为：
A通过初始识别框和分类函数获取foreground标记框和background标记框；
B通过损失函数(Ⅰ)和优化函数(Ⅱ)获取初始别框的偏移量bounding boxregression；
C再将foreground标记框和偏移量bounding box regression获得病灶区域，同时剔除太小和超边界的病灶区域；
式中，φ(A)是对应初始识别框的feature map组成的特征向量，W*是需要学习的参数，t*为真实的目标框的位置(yx，ty，tw，th)，i表示样本编号。
同时利用卷积将每层图像特征中提取的特征序列feature maps合并为3Dfeature maps；具体是指先通过卷积层(conv6)卷积后再通过连接操作(concatenate)，将M个feature maps合并为一个3D feature maps；在RPN网络中通过关键帧初步检测了病灶区域，但是还存在做大量错误检测，为了提高检测的准确性，对3D feature maps做回归regression和分类classification；
(4)利用ROI池化层从病灶区域和3D feature maps得到固定大小病灶区域的feature maps；输入RPN网络识别病灶识别区域和3D feature maps，将每个病灶区域分成(M/3)×(N/3)大小的feature map，然后通过最大池化层池化，不同形状的区域被统一为3*3；
(5)再通过全连接层(FC)将统一大小病灶区域的feature maps映射到样本图像并输出已标记病灶区域的图像，完成病灶区域的识别。
通过本实施例提供的方法对CT图像上所中病灶(骨、腹部、纵隔、肝、肺、肾、软组织和骨盆)检测；主要采用了快速深度卷积神经网络和RPN的结合实现在所有的部位的病灶检测中，其准确率高达85％。
将实施例提供的方法应用到具体的实际图像，其检测结果如图2～6所示，图2～6为腹部CT影像，图中白色框为本实施例识别病灶区域，箭头代表医生标记的病灶区域，虽有将噪声误检的现象，但是无漏检，误检的噪声可通过医生的临床经验或者前后对比几张图像帧即可剔除，对本市实施例提出的病灶检测方法并无太大的影响。
以上所述仅是本发明优选的实施方式，但本发明的保护范围并不局限于此，任何基于本发明所提供的技术方案和发明构思进行的改造和替换都应涵盖在本发明的保护范围内。

Claims (5)

1.一种基于区域全连接神经网络病灶检测方法，其特征在于包括如下步骤：
(1)获取带有病灶信息的样本图像，并对样本图像做预处理后构建3D分层图像，图像大小512×512×3×M，M表示3D分层图像数量；
(2)使用深度特征提取网络VGG从3D分层图像的每层图像特征中提取特征序列featuremaps；
(3)利用RPN网络从每层图像特征中提取的特征序列feature maps中提取病灶区域，同时利用卷积层将每层图像特征中提取的特征序列feature maps合并为3D feature maps；
(4)利用ROI池化层从病灶区域和3D feature maps得到统一大小病灶区域的featuremaps；
(5)再通过全连接层将统一大小病灶区域的feature maps映射到样本图像并输出已标记病灶区域的图像。
2.根据权利要求1所述的基于区域全连接神经网络病灶检测方法，其特征在于：步骤(1)中所述图像预处理是是将获取的带有病灶信息的样本图像转化为255深度图像。
3.根据权利要求1所述的基于区域全连接神经网络病灶检测方法，其特征在于：步骤(2)中所述深度特征提取网络VGG包括卷积层、池化层和输出层，卷积层有5段，每段之后均连接一个池化层，最后一段卷积层连接输出层。
4.根据权利要求1所述的基于区域全连接神经网络病灶检测方法，其特征在于：步骤(3)所述利用RPN网络从每层图像特征中提取的特征序列feature maps中提取病灶区域具体步骤如下：
(1)通过初始识别框获取foreground标记框和background标记框；
(2)通过损失函数和优化函数获取初始别框的偏移量bounding box regression；
(3)再将foreground标记框和偏移量bounding box regression获得病灶区域。
5.根据权利要求1所述的基于区域全连接神经网络病灶检测方法，其特征在于：步骤(3)所述利用卷积层将每层图像特征中提取的特征序列feature maps合并为3D featuremaps是指先对每层图像特征中提取的特征序列feature maps做卷积后进行连接操作合并为3D feature map。
CN201910313963.XA 2019-04-18 2019-04-18 一种基于区域全连接神经网络病灶检测方法 Pending CN110070527A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910313963.XA CN110070527A (zh) 2019-04-18 2019-04-18 一种基于区域全连接神经网络病灶检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910313963.XA CN110070527A (zh) 2019-04-18 2019-04-18 一种基于区域全连接神经网络病灶检测方法

Publications (1)

Publication Number Publication Date
CN110070527A true CN110070527A (zh) 2019-07-30

Family

ID=67368180

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910313963.XA Pending CN110070527A (zh) 2019-04-18 2019-04-18 一种基于区域全连接神经网络病灶检测方法

Country Status (1)

Country Link
CN (1) CN110070527A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111145185A (zh) * 2019-12-17 2020-05-12 天津市肿瘤医院 一种基于聚类关键帧提取ct图像的肺实质分割方法
CN111214255A (zh) * 2020-01-12 2020-06-02 刘涛 一种医学超声图像计算机辅助诊断方法
CN112562033A (zh) * 2020-12-24 2021-03-26 司法鉴定科学研究院 基于骨盆ct图片获得用于快速识别受伤个体的数据的转化方法
CN113705578A (zh) * 2021-09-10 2021-11-26 北京航空航天大学 胆管形态识别方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103345638A (zh) * 2013-06-24 2013-10-09 清华大学深圳研究生院 基于医学影像的腔体病灶计算机辅助检测方法
CN106504232A (zh) * 2016-10-14 2017-03-15 北京网医智捷科技有限公司 一种基于3d卷积神经网络的肺部结节自动检测方法
CN106940816A (zh) * 2017-03-22 2017-07-11 杭州健培科技有限公司 基于3d全连接卷积神经网络的ct图像肺结节检测***
CN107492097A (zh) * 2017-08-07 2017-12-19 北京深睿博联科技有限责任公司 一种识别mri图像感兴趣区域的方法及装置
CN108460758A (zh) * 2018-02-09 2018-08-28 河南工业大学 肺结节检测模型的构建方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103345638A (zh) * 2013-06-24 2013-10-09 清华大学深圳研究生院 基于医学影像的腔体病灶计算机辅助检测方法
CN106504232A (zh) * 2016-10-14 2017-03-15 北京网医智捷科技有限公司 一种基于3d卷积神经网络的肺部结节自动检测方法
CN106940816A (zh) * 2017-03-22 2017-07-11 杭州健培科技有限公司 基于3d全连接卷积神经网络的ct图像肺结节检测***
CN107492097A (zh) * 2017-08-07 2017-12-19 北京深睿博联科技有限责任公司 一种识别mri图像感兴趣区域的方法及装置
CN108460758A (zh) * 2018-02-09 2018-08-28 河南工业大学 肺结节检测模型的构建方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JIA DING: "Accurate Pulmonary Nodule Detection in Computed Tomography Images Using Deep Convolutional Neural Networks", 《SPRINGER INTERNATIONAL PUBLISHING AG 2017》 *
SHAOQING REN: "Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks", 《ARXIV：1506.01497V3 [CS.CV]》 *
高志强: "《深度学习从入门到实践》", 30 June 2018 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111145185A (zh) * 2019-12-17 2020-05-12 天津市肿瘤医院 一种基于聚类关键帧提取ct图像的肺实质分割方法
CN111145185B (zh) * 2019-12-17 2023-12-22 天津市肿瘤医院 一种基于聚类关键帧提取ct图像的肺实质分割方法
CN111214255A (zh) * 2020-01-12 2020-06-02 刘涛 一种医学超声图像计算机辅助诊断方法
CN111214255B (zh) * 2020-01-12 2023-07-25 刘涛 一种医学超声图像计算机辅助方法
CN112562033A (zh) * 2020-12-24 2021-03-26 司法鉴定科学研究院 基于骨盆ct图片获得用于快速识别受伤个体的数据的转化方法
CN112562033B (zh) * 2020-12-24 2024-01-19 司法鉴定科学研究院 基于骨盆ct图片获得用于快速识别受伤个体的数据的转化方法
CN113705578A (zh) * 2021-09-10 2021-11-26 北京航空航天大学 胆管形态识别方法及装置

Similar Documents

Publication Publication Date Title
US11101033B2 (en) Medical image aided diagnosis method and system combining image recognition and report editing
Cai et al. Mask R-CNN-based detection and segmentation for pulmonary nodule 3D visualization diagnosis
CN110070527A (zh) 一种基于区域全连接神经网络病灶检测方法
Almajalid et al. Development of a deep-learning-based method for breast ultrasound image segmentation
CN111161275B (zh) 医学图像中目标对象的分割方法、装置和电子设备
CN111429474B (zh) 基于混合卷积的乳腺dce-mri图像病灶分割模型建立及分割方法
CN110310281A (zh) 一种基于Mask-RCNN深度学习的虚拟医疗中肺结节检测与分割方法
CN109087703B (zh) 基于深度卷积神经网络的腹腔ct图像腹膜转移标记方法
CN113781439B (zh) 超声视频病灶分割方法及装置
CN108010021A (zh) 一种医学图像处理***和方法
CN109166133A (zh) 基于关键点检测和深度学习的软组织器官图像分割方法
CN106462771A (zh) 一种3d图像的显著性检测方法
CN109829918A (zh) 一种基于密集特征金字塔网络的肝脏图像分割方法
CN111462049A (zh) 一种乳腺超声造影视频中病灶区形态自动标注方法
CN110163877A (zh) 一种mri心室结构分割的方法与***
CN110853743A (zh) 医学影像的显示方法、信息处理方法及存储介质
CN114693933A (zh) 基于生成对抗网络和多尺度特征融合的医学影像分割装置
CN106570930A (zh) 一种基于三维超体素描述的数字化生理生物体建模方法
CN113855079A (zh) 基于乳腺超声影像的实时检测和乳腺疾病辅助分析方法
Liu et al. Automatic segmentation algorithm of ultrasound heart image based on convolutional neural network and image saliency
CN115546605A (zh) 一种基于图像标注和分割模型的训练方法及装置
CN113633315A (zh) 采用超声图处理***的超声图处理方法
CN116433586A (zh) 一种乳腺超声断层图像分割模型建立方法及分割方法
Zhou et al. Automatic angle of progress measurement of intrapartum transperineal ultrasound image with deep learning
CN113379691B (zh) 一种基于先验引导的乳腺病灶深度学习分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190730

RJ01 Rejection of invention patent application after publication