CN110164550B - 一种基于多视角协同关系的先天性心脏病辅助诊断方法 - Google Patents
一种基于多视角协同关系的先天性心脏病辅助诊断方法 Download PDFInfo
- Publication number
- CN110164550B CN110164550B CN201910430512.4A CN201910430512A CN110164550B CN 110164550 B CN110164550 B CN 110164550B CN 201910430512 A CN201910430512 A CN 201910430512A CN 110164550 B CN110164550 B CN 110164550B
- Authority
- CN
- China
- Prior art keywords
- view
- network
- local
- muvdn
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
- A61B8/0883—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the heart
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/48—Diagnostic techniques
- A61B8/488—Diagnostic techniques involving Doppler signals
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5269—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving detection or reduction of artifacts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Molecular Biology (AREA)
- Heart & Thoracic Surgery (AREA)
- Biophysics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Cardiology (AREA)
- Databases & Information Systems (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于多视角协同关系的先天性心脏病辅助诊断方法。本发明步骤如下:1.医疗超声数据增强和数据预处理,获得待检测医疗图像;2.将所述的不同视角多帧超声图像分别输入至利用卷积神经网络训练的SSD检测器,进行精准定位,获得Top1的精准定位结果;3:将上述多视角的病灶图像帧Ci及彩色超声原图帧Oi进行组合构建数据组{Ci,Oi},其中i代表第i个样本组。4:将数据组送入MUVDN网络进行训练并获得训练后的MUVDN二分类网络。本发明且具有较高的鲁棒性。减少了单一视角下伪影及噪声对诊断的影响,有效地提升了网络分类的准确率。
Description
技术领域
本发明涉及医学图像处理及模式识别领域,尤其涉及一种基于多视角协同关系的先天性心脏病辅助诊断方法。
技术背景
先天性心脏病是一种先天性畸形疾病,包括房间隔缺失、室间隔缺失等。根据资料统计,先天性心脏病的发病率占出生活婴的0.4%~1%,导致中国每年新增先天性心脏病患者15~20万。特别是在医疗技术匮乏的区域,70%的先心病患者在2岁后由于未进行手术介入而死于并发症。目前利用超声心动图进行早期检查及诊断是减少死亡率的主要诊断方法,然而利用超声心动图检测存在超声设备限制及噪声影响等多种问题,这极大地降低了医生观察病灶区域情况的准确度及有效性,同时导致了超声科医生工作效率低下、诊断准确率下降。
近年来随着计算机技术以及深度神经网络的发展,利用计算机辅助检测(ComputerAidedDiagnosis)辅助影像科医生定位分类病灶区域的研究方向成为了主流的研究热点,特别是利用深度卷积神经网络的自学习性、记忆性等能力来起到辅助诊断的作用。
目前国内外在基于计算机辅助检测的病灶检测研究方向上也开展了许多探索和研究工作,现有技术主要利用单一视角的超声图像进行病灶区域的定位以及分类研究,并且也没有专门针对先天性心脏病病灶检测的研究方法。在先天性心脏病的检测当中,伪影和大量噪声是影响病灶检测精度的首要问题。基于上述情况,直接利用现有的图像检测方法存在定位不准确、分类效果不佳以及误诊率高等问题。
发明内容
为了解决上述问题,本发明提供了一种基于多视角协同关系的先天性心脏病辅助诊断方法,所述方法提出了一种基于超声多视图的检测网络模型MUVDN,MUVDN模型融合了局部特征与全局特征和多视图学习有效地提高了病灶检测的准确率和召回率。
该诊断方法能够从不同视角上定位病灶区域,并且基于病灶区域利用多视角内在关系综合检测病灶区域的患病情况。
为了实现上述目的,本发明采用以下技术方案
一种基于多视角协同关系的先天性心脏病辅助诊断方法,包括以下步骤:
步骤1:医疗超声数据增强和数据预处理,获得待检测医疗图像。具体子步骤包括:
1-1.获取受试者的心脏多视角彩色多普勒超声图像并由专业超声科医生进行病灶区域的手工标记;
1-2.对待标记的数据进行数据增强操作,包括翻转、平移等技术;
步骤2:将所述的不同视角多帧超声图像分别输入至利用卷积神经网络训练的SSD检测器,对心脏病灶区域进行精准定位,并利用非极大值抑制算法获得Top1的精准定位结果;
2-1.在多视角多帧的彩色多普勒超声图像上进行感兴趣区域的定位;
2-2.基于感兴趣区域的坐标信息,通过裁剪操作从原图中提取病灶特征,得到多视角的局部病灶图像;
步骤3:将上述多视角的病灶图像帧Ci及彩色超声原图帧Oi进行组合构建数据组{Ci,Oi},其中i代表第i个样本组。并将所有数据组划分为训练集、测试集;
步骤4:将上述数据组送入MUVDN网络进行训练并获得训练后的MUVDN二分类网络,其中MUVDN二分类网络由MUVDN中的特征提取模块及全连接层构成。具体网络子步骤包括:
4-1.在上述多视角的病灶图像及彩色超声原图中利用浅层全卷积神经网络,提取浅层局部、浅层全局视图特征描述子;
4-2.在浅层局部描述子上利用全连接层,生成同一视角下不同帧图像之间的权重值S;
4-3.将浅层局部、全局视图特征送入深层全卷积神经网络提取深层局部Fl、全局视图特征Fg,并所得特征与权重系数S作乘积,得到精细化全局Fg_ref局部视图特征Fl_ref;
式中i,j表示第i个视角的第j帧图像;
4-4.对上述全局、局部描述子进行视图-最大池化操作以获取全局、局部的显著性特征表示;
4-5.将全局、局部显著性特征进行融合操作,并将融合后的特征输入全连接层。最终采用随机梯度下降算法优化损失函数,得到训练后的二分类MUVDN网络。
步骤5:测试阶段,将步骤3中获得的测试集输入训练后得到的二分类MUVDN网络,输出病灶区域类别分类;
本发明具有以下优点及有益效果:
1.所述方法能够提供更好的特征表示,且具有较高的鲁棒性。MUVDN网络考虑了多超声视角之间的内在关系,并且能进一步地还原病灶区域的立体性质。减少了单一视角下伪影及噪声对诊断的影响,保障了先天性心脏病的诊断精度要求。
2.所述方法在病灶分类时,协同地将彩色超声原图送入网络进行特征学习;最终的全局-局部描述子融合有效地提升了网络分类的准确率。
附图说明
图1是本发明MUVDN网络框架图;
图2是本发明的帧权重模块结构图;
图3是本发明的MUVDN网络检测结果示例;
具体实施方式
下面结合具体实施方式及附图对本发明进行详细的说明。
按照发明内容所述的方法步骤,一种本发明的对超声图像进行先天性心脏病病灶区域检测的实施例对应的MUVDN网络模型结构如图1所示。
步骤1:数据预处理。
1-1.获取先天性心脏病中房间隔缺失中3个主要超声切面图片并标记,包括胸骨旁大动脉断轴切面、心尖部四腔心切面以及剑突下双心房切面。获取室间隔缺失中3个主要切面图片包括胸骨旁左心长轴、室缺最大切面以及心尖部五腔心切面;
1-2.对原始DICOM格式超声数据做JPG格式转化,并对数据尺寸做归一化处理,图片尺寸大小统一为160*160。
1-3.将数据样本通过两种增强技术进行数据集扩展。第一是将图像做一种类似于镜面的翻折。第二是将图像沿着x或者y方向(或两个方向)移动,移动后将图片横向拉伸回归一化后的160*160大小。通过这种方式可以防止模型训练的过拟合并能够有效增加网络的泛化能力。
步骤2:将所述的不同视角多帧超声图像分别输入至利用卷积神经网络训练的SSD检测器,对心脏病灶区域进行精准定位,并利用非极大值抑制算法获得Top1的精准定位结果;
2-1.在多视角多帧的彩色多普勒超声图像上进行感兴趣区域的定位;
2-2.基于感兴趣区域的坐标信息,通过裁剪操作从原图中提取病灶特征,得到多视角的局部病灶图像;
步骤3:将上述多视角的病灶图像帧Ci及彩色超声原图帧Oi进行组合构建数据组{Ci,Oi},其中i代表第i个样本组。并将所有数据组划分为训练集、测试集;
步骤4:将上述数据组送入MUVDN网络进行训练并获得训练后的MUVDN二分类网络,其中MUVDN二分类网络由MUVDN中的特征提取模块及全连接层构成。具体网络子步骤包括:
4-1.在上述多视角的病灶图像及彩色超声原图中利用浅层全卷积神经网络,提取浅层局部、浅层全局视图特征描述子;
4-2.在浅层局部描述子上利用全连接层,再利用softmax函数生成同一视角下不同帧图像之间的权重值S,帧图像权重获取的结构图如图2所示;
4-3.将浅层局部、全局视图特征送入深层全卷积神经网络提取深层局部Fl、全局视图特征Fg,并所得特征与权重系数S作乘积,得到精细化全局Fg_ref局部视图特征Fl_ref;
4-4.对上述全局、局部描述子进行视图-最大池化操作以获取全局、局部的显著性特征表示;
4-5.将全局、局部显著性特征进行融合操作,并将融合后的特征输入全连接层。最终采用随机梯度下降算法优化损失函数,得到训练后的二分类MUVDN网络。
步骤5:测试阶段,将步骤3中获得的测试集输入训练后得到的二分类MUVDN网络,输出病灶区域类别分类;如果疑似病灶区域存在疾病,则利用精确的定位信息在原图中画出框,反之亦然。图3展示了房间隔缺失和室间隔缺失的检测结果示例。
Claims (1)
1.一种基于多视角协同关系的先天性心脏病辅助诊断方法,其特征在于包括以下步骤:
步骤1:医疗超声数据增强和数据预处理,获得待检测医疗图像;具体子步骤包括:
1-1.获取受试者的心脏多视角彩色多普勒超声图像并由专业超声科医生进行病灶区域的手工标记;
1-2.对待标记的数据进行数据增强操作,包括翻转、平移技术;
步骤2:将不同视角多帧超声图像分别输入至利用卷积神经网络训练的SSD检测器,对心脏病灶区域进行精准定位,并利用非极大值抑制算法获得Top1的精准定位结果;
2-1.在多视角多帧的彩色多普勒超声图像上进行感兴趣区域的定位;
2-2.基于感兴趣区域的坐标信息,通过裁剪操作从原图中提取病灶特征,得到多视角的局部病灶图像;
步骤3:将上述多视角的局部病灶图像帧Ci及彩色多普勒超声图像帧Oi进行组合构建数据组{Ci,Oi},其中i代表第i个样本组;并将所有数据组划分为训练集、测试集;
步骤4:将上述数据组送入MUVDN网络进行训练并获得训练后的MUVDN二分类网络,其中MUVDN二分类网络由MUVDN中的特征提取模块及全连接层构成;具体网络子步骤包括:
4-1.在上述多视角的局部病灶图像及彩色多普勒超声图像中利用浅层全卷积神经网络,提取浅层局部视图特征描述子和浅层全局视图特征描述子;
4-2.在浅层局部描述子上利用全连接层,生成同一视角下不同帧图像之间的权重值S;
4-3.将浅层局部视图特征、浅层全局视图特征送入深层全卷积神经网络分别提取深层局部视图特征Fl、深层全局视图特征Fg,并分别将所得特征与权重系数S作乘积,得到精细化局部视图特征Fl_ref和精细化全局视图特征Fg_ref;
式中i,j表示第i个视角的第j帧图像;
4-4.对上述浅层全局视图特征描述子和浅层局部视图特征描述子进行视图-最大池化操作以获取全局、局部的显著性特征表示;
4-5.将全局、局部的显著性特征进行融合操作,并将融合后的特征输入全连接层;最终采用随机梯度下降算法优化损失函数,得到训练后的二分类MUVDN网络;
步骤5:测试阶段,将步骤3中获得的测试集输入训练后得到的二分类MUVDN网络,输出病灶区域类别分类。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910430512.4A CN110164550B (zh) | 2019-05-22 | 2019-05-22 | 一种基于多视角协同关系的先天性心脏病辅助诊断方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910430512.4A CN110164550B (zh) | 2019-05-22 | 2019-05-22 | 一种基于多视角协同关系的先天性心脏病辅助诊断方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110164550A CN110164550A (zh) | 2019-08-23 |
CN110164550B true CN110164550B (zh) | 2021-07-09 |
Family
ID=67631947
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910430512.4A Active CN110164550B (zh) | 2019-05-22 | 2019-05-22 | 一种基于多视角协同关系的先天性心脏病辅助诊断方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110164550B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111382782B (zh) * | 2020-02-23 | 2024-04-26 | 华为技术有限公司 | 训练分类器的方法和装置 |
CN112381164B (zh) * | 2020-11-20 | 2022-09-20 | 北京航空航天大学杭州创新研究院 | 一种基于多分支注意力机制的超声图像分类方法和装置 |
CN112419313B (zh) * | 2020-12-10 | 2023-07-28 | 清华大学 | 一种基于先心病超声的多切面的分类方法 |
CN112614091A (zh) * | 2020-12-10 | 2021-04-06 | 清华大学 | 一种针对先心病的超声多切面数据检测方法 |
CN112767305B (zh) * | 2020-12-15 | 2024-03-08 | 首都医科大学附属北京儿童医院 | 先天性心脏病的超声心动图识别方法及装置 |
CN113096793A (zh) * | 2021-04-15 | 2021-07-09 | 王小娟 | 基于医学影像、算法和区块链的远程医疗诊断*** |
CN114862865B (zh) * | 2022-07-11 | 2022-09-06 | 天津大学 | 基于多视角冠状动脉造影序列图像的血管分割方法及*** |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103646135A (zh) * | 2013-11-28 | 2014-03-19 | 哈尔滨医科大学 | 左心房/左心耳血栓的计算机辅助超声诊断方法 |
CN107292875A (zh) * | 2017-06-29 | 2017-10-24 | 西安建筑科技大学 | 一种基于全局‑局部特征融合的显著性检测方法 |
CN107680678A (zh) * | 2017-10-18 | 2018-02-09 | 北京航空航天大学 | 基于多尺度卷积神经网络甲状腺超声图像结节自动诊断*** |
CN108764072A (zh) * | 2018-05-14 | 2018-11-06 | 浙江工业大学 | 一种基于多尺度融合的血细胞亚型图像分类方法 |
CN109712707A (zh) * | 2018-12-29 | 2019-05-03 | 深圳和而泰数据资源与云技术有限公司 | 一种舌诊方法、装置、计算设备及计算机存储介质 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009148421A (ja) * | 2007-12-20 | 2009-07-09 | Toshiba Corp | 超音波診断装置及び超音波ストレス画像取得方法 |
US9792531B2 (en) * | 2015-09-16 | 2017-10-17 | Siemens Healthcare Gmbh | Intelligent multi-scale medical image landmark detection |
CN107220965B (zh) * | 2017-05-05 | 2021-03-09 | 上海联影医疗科技股份有限公司 | 一种图像分割方法及*** |
CN108389251B (zh) * | 2018-03-21 | 2020-04-17 | 南京大学 | 基于融合多视角特征的投影全卷积网络三维模型分割方法 |
-
2019
- 2019-05-22 CN CN201910430512.4A patent/CN110164550B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103646135A (zh) * | 2013-11-28 | 2014-03-19 | 哈尔滨医科大学 | 左心房/左心耳血栓的计算机辅助超声诊断方法 |
CN107292875A (zh) * | 2017-06-29 | 2017-10-24 | 西安建筑科技大学 | 一种基于全局‑局部特征融合的显著性检测方法 |
CN107680678A (zh) * | 2017-10-18 | 2018-02-09 | 北京航空航天大学 | 基于多尺度卷积神经网络甲状腺超声图像结节自动诊断*** |
CN108764072A (zh) * | 2018-05-14 | 2018-11-06 | 浙江工业大学 | 一种基于多尺度融合的血细胞亚型图像分类方法 |
CN109712707A (zh) * | 2018-12-29 | 2019-05-03 | 深圳和而泰数据资源与云技术有限公司 | 一种舌诊方法、装置、计算设备及计算机存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN110164550A (zh) | 2019-08-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110164550B (zh) | 一种基于多视角协同关系的先天性心脏病辅助诊断方法 | |
Lin et al. | Multi-task learning for quality assessment of fetal head ultrasound images | |
Pu et al. | Fetal cardiac cycle detection in multi-resource echocardiograms using hybrid classification framework | |
EP3770850A1 (en) | Medical image identifying method, model training method, and computer device | |
WO2018120942A1 (zh) | 一种多模型融合自动检测医学图像中病变的***及方法 | |
WO2020228570A1 (zh) | 乳腺钼靶图像处理方法、装置、***及介质 | |
WO2019178404A1 (en) | Automated cardiac function assessment by echocardiography | |
CN112086197B (zh) | 基于超声医学的乳腺结节检测方法及*** | |
CN111553892B (zh) | 基于深度学习的肺结节分割计算方法、装置及*** | |
CN107492071A (zh) | 医学图像处理方法及设备 | |
Oghli et al. | Automatic fetal biometry prediction using a novel deep convolutional network architecture | |
Nurmaini et al. | Accurate detection of septal defects with fetal ultrasonography images using deep learning-based multiclass instance segmentation | |
CN109727253A (zh) | 基于深度卷积神经网络自动分割肺结节的辅助检测方法 | |
CN112381164B (zh) | 一种基于多分支注意力机制的超声图像分类方法和装置 | |
CN110838114B (zh) | 肺结节检测方法、装置及计算机存储介质 | |
CN116681958B (zh) | 基于机器学习的胎儿肺脏超声影像成熟度预测方法 | |
CN111462049A (zh) | 一种乳腺超声造影视频中病灶区形态自动标注方法 | |
Patel | Predicting invasive ductal carcinoma using a reinforcement sample learning strategy using deep learning | |
Yang et al. | A multi-stage progressive learning strategy for COVID-19 diagnosis using chest computed tomography with imbalanced data | |
Zhu et al. | A new method incorporating deep learning with shape priors for left ventricular segmentation in myocardial perfusion SPECT images | |
Nova et al. | Automated image segmentation for cardiac septal defects based on contour region with convolutional neural networks: A preliminary study | |
Yong et al. | Automatic ventricular nuclear magnetic resonance image processing with deep learning | |
Zhou et al. | Deep learning-based breast region extraction of mammographic images combining pre-processing methods and semantic segmentation supported by Deeplab v3+ | |
CN113298773A (zh) | 基于深度学习的心脏视图识别与左心室检测装置、*** | |
WO2024126468A1 (en) | Echocardiogram classification with machine learning |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |