CN110400298A - 心脏临床指标的检测方法、装置、设备及介质 - Google Patents
心脏临床指标的检测方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN110400298A CN110400298A CN201910667589.3A CN201910667589A CN110400298A CN 110400298 A CN110400298 A CN 110400298A CN 201910667589 A CN201910667589 A CN 201910667589A CN 110400298 A CN110400298 A CN 110400298A
- Authority
- CN
- China
- Prior art keywords
- cardiac
- parameter
- network
- image
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 25
- 230000000747 cardiac effect Effects 0.000 claims abstract description 172
- 238000013528 artificial neural network Methods 0.000 claims abstract description 44
- 238000012549 training Methods 0.000 claims description 79
- 238000012360 testing method Methods 0.000 claims description 76
- 238000000034 method Methods 0.000 claims description 39
- 238000013507 mapping Methods 0.000 claims description 21
- 230000006870 function Effects 0.000 claims description 18
- 238000003860 storage Methods 0.000 claims description 17
- 230000004913 activation Effects 0.000 claims description 12
- 210000005240 left ventricle Anatomy 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 7
- 230000002107 myocardial effect Effects 0.000 claims description 6
- 210000003205 muscle Anatomy 0.000 claims description 5
- 230000002861 ventricular Effects 0.000 claims description 4
- 210000005242 cardiac chamber Anatomy 0.000 claims description 3
- 238000012512 characterization method Methods 0.000 abstract description 3
- 238000012546 transfer Methods 0.000 abstract description 3
- 238000009826 distribution Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 8
- 230000005291 magnetic effect Effects 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000013461 design Methods 0.000 description 5
- 238000003709 image segmentation Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000000306 recurrent effect Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 230000009977 dual effect Effects 0.000 description 3
- 238000003475 lamination Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000003042 antagnostic effect Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 208000019622 heart disease Diseases 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 210000004165 myocardium Anatomy 0.000 description 2
- 210000005036 nerve Anatomy 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 208000021908 Myocardial disease Diseases 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 210000004351 coronary vessel Anatomy 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000004064 dysfunction Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 230000003862 health status Effects 0.000 description 1
- 230000004217 heart function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000010412 perfusion Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000013102 re-test Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 208000019553 vascular disease Diseases 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30048—Heart; Cardiac
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Pathology (AREA)
- Epidemiology (AREA)
- Databases & Information Systems (AREA)
- Biomedical Technology (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本申请提供了一种心脏临床指标的检测方法、装置、设备及介质,包括:利用人工神经网络的自学习能力,建立心脏MR图像与指定参数之间的对应关系;其中,指定参数包括心脏CT图像,针对心脏MR图像的心脏临床指标,以及针对心脏CT图像的心脏临床指标;获取患者的当前心脏MR图像;通过对应关系,确定与当前心脏MR图像对应的当前指定参数;具体地,确定与当前心脏MR图像对应的当前指定参数,包括:将对应关系中与当前心脏MR图像相同的心脏MR图像所对应的指定参数,确定为当前指定参数。可用于MR与CT的不同成像模态下多类型心脏临床指标的评估。挖掘和表征多类型心脏临床指标之间的复杂关系、获取任务相关性并且实现其在不同成像模态的转移。
Description
技术领域
本申请涉及医学检测领域,特别是心脏临床指标的检测方法、装置、设备及介质。
背景技术
CT(Computed Tomography,电子计算机断层扫描)和MR(Magnetic Resonance,核磁共振)对目前应用的心肌灌注成像,电子发射体层扫描等检测方法进行了极大的完善。
MR以其独特的非侵入性对心腔和大血管成像能力,成为临床心脏病学的一种重要成像方式。MR被广泛应用于评估心脏结构和功能各个方面,其成像质量和采集时间方面不断取得重大进展;
而CT密度分辨率高,对软组织等病变定性诊断有良好的特异性。而且其瞬时清晰度和容积扫描覆盖速度的改善促进了其发展,作为评估冠状动脉和心脏结构功能的无创解剖影像学检查前景广阔。
然而,对心脏疾病的机理的深入研究要求心脏影像学检查进入多种成像技术联合应用,这样更有利于反映心肌和血管疾病状态,显著提高医师对功能异常改变的分析的能力。
但是,多类型心脏临床指标之间的复杂关系让学习适当的任务相关性变得困难。同时这些指标具有不同的维度,使得一般的学习方法难以表征其共性和差异。某些指标还受到不同因素影响而有明显差异,如:不同区域的心肌壁厚度与心肌节段方向有很大关系。
此外,不同成像模态之间的差异也对多类型心脏临床指标的跨成像模态估测提出了挑战,如:MR和CT表现差异显著。
发明内容
鉴于所述问题,提出了本申请以便提供克服所述问题或者至少部分地解决所述问题的心脏临床指标的检测方法、装置、设备及介质,包括:
一种心脏临床指标的检测方法,包括:
利用人工神经网络的自学习能力,建立心脏MR图像与指定参数之间的对应关系;其中,所述指定参数包括心脏CT图像,针对心脏MR图像的心脏临床指标,以及针对心脏CT图像的心脏临床指标;
获取患者的当前心脏MR图像;
通过所述对应关系,确定与所述当前心脏MR图像对应的当前指定参数;具体地,确定与所述当前心脏MR图像对应的当前指定参数,包括:将所述对应关系中与所述当前心脏MR图像相同的心脏MR图像所对应的指定参数,确定为所述当前指定参数。
进一步地,
所述心脏临床指标包括左心室外膜轮廓,左心室内膜轮廓,左心室肌轮廓,左心室外膜位置,左心室内膜位置,左心室肌位置,局部心腔壁厚度WT,心腔容积Dim,以及,心腔壁和心肌面积Area中的至少之一。
进一步地,
建立心脏MR图像与指定参数之间的对应关系,包括:
获取用于建立所述指定参数与所述心脏MR图像之间的对应关系的样本数据;
分析所述心脏MR图像的特性及其规律,根据所述特性及其规律,确定所述人工神经网络的网络结构及其网络参数;
使用所述样本数据,对所述网络结构和所述网络参数进行训练和测试,确定所述指定参数与所述心脏MR图像的所述对应关系。
进一步地,
所述获取用于建立所述指定参数与所述心脏MR图像之间的对应关系的样本数据的步骤,包括:
收集不同患者的心脏MR图像和指定参数;
对所述心脏MR图像进行分析、并结合预存的专家经验信息,选取与所述指定参数相关的数据作为所述心脏MR图像;
将所述指定参数、以及选取的所述心脏MR图像构成的数据对,作为样本数据。
进一步地,
所述网络结构,包括:多任务学习神经网络,以及,逆映射神经网络;
和/或,
所述网络参数,包括:输入层数,输出层数,卷积层数,密集块数,密集块包含层数,初始权值,以及,偏置值中的至少之一。
进一步地,
对所述网络结构和所述网络参数进行训练,包括:
选取所述样本数据中的一部分数据作为训练样本,将所述训练样本中的所述心脏MR图像输入到所述网络结构,通过所述网络结构的激活函数和所述网络参数进行训练,得到实际训练结果;
确定所述实际训练结果与所述训练样本中的相应指定参数之间的实际训练误差是否满足预设训练误差;
当所述实际训练误差满足所述预设训练误差时,确定对所述网络结构和所述网络参数的所述训练完成;
和/或,
对所述网络结构和所述网络参数进行测试,包括:
选取所述样本数据中的另一部分数据作为测试样本,将所述测试样本中的所述心脏MR图像输入到所述训练完成的所述网络结构中,以所述激活函数和所述训练完成的所述网络参数进行测试,得到实际测试结果;
确定所述实际测试结果与所述测试样本中的相应指定参数之间的实际测试误差是否满足设定测试误差;
当所述实际测试误差满足所述设定测试误差时,确定对所述网络结构和所述网络参数的所述测试完成。
进一步地,
对所述网络结构和所述网络参数进行训练,还包括:
当所述实际训练误差不满足所述设定训练误差时,通过所述网络结构的误差能量函数更新所述网络参数;
通过所述网络结构的所述激活函数和更新后的所述网络参数进行重新训练,直至所述重新训练后的实际训练误差满足所述设定训练误差;
和/或,
对所述网络结构和所述网络参数进行测试,还包括:
当所述实际测试误差不满足所述设定测试误差时,对所述网络结构和所述网络参数进行重新训练,直至所述重新训练后的实际测试误差慢速所述设定测试误差。
一种心脏临床指标的计算装置,包括:
建立模块,用于利用人工神经网络的自学习能力,建立心脏MR图像与指定参数之间的对应关系;其中,所述指定参数包括心脏CT图像,针对心脏MR图像的心脏临床指标,以及针对心脏CT图像的心脏临床指标;
获取模块,用于获取患者的当前心脏MR图像;
确定模块,用于通过所述对应关系,确定与所述当前心脏MR图像对应的当前指定参数;具体地,确定与所述当前心脏MR图像对应的当前指定参数,包括:将所述对应关系中与所述当前心脏MR图像相同的心脏MR图像所对应的指定参数,确定为所述当前指定参数。
一种设备,包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如上所述的心脏临床指标的检测方法的步骤。
一种计算机可读存储介质,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现如上所述的心脏临床指标的检测方法的步骤。
本申请具有以下优点:
在本申请的实施例中,通过利用人工神经网络的自学习能力,建立心脏MR图像与指定参数之间的对应关系;其中,所述指定参数包括心脏CT图像,针对心脏MR图像的心脏临床指标,以及针对心脏CT图像的心脏临床指标;获取患者的当前心脏MR图像;通过所述对应关系,确定与所述当前心脏MR图像对应的当前指定参数;具体地,确定与所述当前心脏MR图像对应的当前指定参数,包括:将所述对应关系中与所述当前心脏MR图像相同的心脏MR图像所对应的指定参数,确定为所述当前指定参数,可用于MR与CT的不同成像模态下多类型心脏临床指标的评估。挖掘和表征多类型心脏临床指标之间的复杂关系、获取任务相关性并且实现其在不同成像模态的转移、建立不同成像模态下的知识共享机制。
附图说明
为了更清楚地说明本申请的技术方案,下面将对本申请的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本申请一实施例提供的一种心脏临床指标的检测方法的步骤流程图;
图2是本申请一实施例提供的一种心脏临床指标的检测方法的人工神经网络结构示意图;
图3是本申请一实施例提供的一种心脏临床指标的检测方法的多任务学习网络结构示意图;
图4是本申请一实施例提供的一种心脏临床指标的检测方法的逆映射网络结构示意图;
图5是本申请一实施例提供的一种心脏临床指标的检测方法的与不同网络对比的估测线性指标和平面指标的模型简化测试结果示意图;
图6是本申请一实施例提供的一种心脏临床指标的检测方法的与不同网络对比的二维心脏图像分割的模型简化测试结果示意图;
图7是本申请一实施例提供的一种心脏临床指标的检测方法的四个深度网络在不同配置下的传输学习结果,以及三维DenseNet的传输学习结果示意图;
图8是本申请一具体实现提供的一种心脏临床指标的检测方法的MR和CT图像样本示意图;
图9是本申请一实施例提供的一种心脏临床指标的检测方法的不同网络对三种心脏指标的单帧估测误差比较示意图;
图10是本申请一实施例提供的一种心脏临床指标的检测装置的结构框图;
图11是本发明一实施例的一种计算机设备的结构示意图。
具体实施方式
为使本申请的所述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本申请作进一步详细的说明。显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
参照图1,示出了本申请一实施例提供的一种心脏临床指标的检测方法,包括:
S110、利用人工神经网络的自学习能力,建立心脏MR图像与指定参数之间的对应关系;其中,所述指定参数包括心脏CT图像,针对心脏MR图像的心脏临床指标,以及针对心脏CT图像的心脏临床指标;
S120、获取患者的当前心脏MR图像;
S130、通过所述对应关系,确定与所述当前心脏MR图像对应的当前指定参数;具体地,确定与所述当前心脏MR图像对应的当前指定参数,包括:将所述对应关系中与所述当前心脏MR图像相同的心脏MR图像所对应的指定参数,确定为所述当前指定参数。
在本申请的实施例中,通过利用人工神经网络的自学习能力,建立心脏MR图像与指定参数之间的对应关系;其中,所述指定参数包括心脏CT图像,针对心脏MR图像的心脏临床指标,以及针对心脏CT图像的心脏临床指标;获取患者的当前心脏MR图像;通过所述对应关系,确定与所述当前心脏MR图像对应的当前指定参数;具体地,确定与所述当前心脏MR图像对应的当前指定参数,包括:将所述对应关系中与所述当前心脏MR图像相同的心脏MR图像所对应的指定参数,确定为所述当前指定参数,可用于MR与CT的不同成像模态下多类型心脏临床指标的评估。挖掘和表征多类型心脏临床指标之间的复杂关系、获取任务相关性并且实现其在不同成像模态的转移、建立不同成像模态下的知识共享机制。
下面,将对本示例性实施例中心脏临床指标的检测方法作进一步地说明。
如上述步骤S110所述,利用人工神经网络的自学习能力,建立心脏MR图像与指定参数之间的对应关系;其中,所述指定参数包括心脏CT图像,针对心脏MR图像的心脏临床指标,以及针对心脏CT图像的心脏临床指标
例如:利用人工神经网络算法来分析指定参数在心脏MR图像中的显示状态规律,通过人工神经网络的自学习、自适应特性找到患者心脏MR图像与指定参数间的映射规律。
例如:可以利用人工神经网络算法,通过对大量不同志愿者(包括但不限于如下的一种或多种:年龄,是否有心脏病史,性别,病情等)的心脏MR图像汇总收集,选取若干志愿者的心脏MR图像及指定参数作为样本数据,对神经网络进行学习和训练,通过调整网络结构及网络节点间的权值,使神经网络拟合心脏MR图像及指定参数之间的关系,最终使神经网络能准确拟合出不同患者的心脏MR图像及指定参数的对应关系。
参照图2,需要说明的是,在本申请实施例中,优选为通过心脏MR图像及与该心脏MR图像对应的心脏临床指标进行对人工神经网络(多任务学习神经网络,以及,逆映射神经网络)的训练,通过两个依赖参数不同,结构相同的判断器网络对该人工神经网络的输入和输出参照进行对抗训练最终获得训练完成的人工神经网络,在基于该训练完成的人工神经网络的网络参数,对与心脏MR图像对应的CT图像及其心脏临床指标进行训练,从而获得心脏MR图像与指定参数(心脏CT图像,针对心脏MR图像的心脏临床指标,以及针对心脏CT图像的心脏临床指标)之间的对应关系。
具体地,将多任务学习网络各层和逆映射网络各层习得的参数,首先在心脏MR图像的数据环境下采用对抗性训练方法进行训练;然后,用带有标签的心脏CT图像数据,通过损失函数对训练习得的参数进行微调,最后,将微调后的参数在心脏CT图像的数据环境下采用对抗性训练方法训练,其中,所述损失函数如下列公式(17)所示。
在一实施例中,所述心脏临床指标包括:左心室外膜轮廓,左心室内膜轮廓,左心室肌轮廓,左心室外膜位置,左心室内膜位置,左心室肌位置,局部心腔壁厚度WT(RegionalWall Thinknesses),心腔容积Dim(Directional Dimensions of Cavity),以及,心腔壁和心肌面积Area(Areas of Cavity and Myocardium)中的至少之一。
在一实施例中,可以结合下列描述进一步说明步骤S110中“建立心脏MR图像与指定参数之间的对应关系”的具体过程。
如下列步骤所述:获取用于建立所述指定参数与所述心脏MR图像之间的对应关系的样本数据;
在一进阶实施例中,可以结合下列描述进一步说明“获取可以用于建立所述运行参数与所述结霜状态之间的对应关系的样本数据”的具体过程。
如下列步骤所述:收集不同患者的心脏MR图像和指定参数;
例如:数据搜集:搜集不同健康状况的患者的心脏MR图像及对应的指定参数;以及,搜集不同年龄的患者的心脏MR图像及对应的指定参数;以及,搜集不同性别的患者的心脏MR图像及对应的指定参数。
由此,通过多种途径收集运行数据,有利于增加运行数据的量,提升人工神经网络的学习能力,进而提升确定的对应关系的精准性和可靠性。
如下列步骤所述:对所述心脏MR图像进行分析、并结合预存的专家经验信息,选取与所述指定参数相关的数据作为所述心脏MR图像(例如:选取对指定参数有影响的心脏MR图像作为输入参数,将指定参数作为输出参数);
例如:通过将已确诊的志愿者的相关数据中的心脏MR图像作为输入参数,将其相关数据中的指定参数作为输出参数。
如下列步骤所述:将所述指定参数、以及选取的所述心脏MR图像构成的数据对,作为样本数据。
例如:将得到的输入、输出参数对,一部分用作训练本样数据,一部分用作测试样本数据。
由此,通过对收集到的心脏MR图像进行分析及处理,进而得到样本数据,操作过程简单,操作结果可靠性高。
如下列步骤所述:分析所述心脏MR图像的特性及其规律,根据所述特性及其规律,确定所述人工神经网络的网络结构及其网络参数。
例如:根据不同的年龄、病情、性别等对心脏图像具有影响的数据特性及其所蕴含的规律,可初步确定网络的基本结构、网络的输入、输出节点数、网络隐层数、隐节点数、网络初始权值等。
优选地,所述网络结构,包括:多任务学习神经网络,以及,逆映射神经网络。
优选地,所述网络参数,包括:输入层数,输出层数,卷积层数,密集块数,密集块包含层数,初始权值,以及,偏置值中的至少之一。
例如:如图3所示,多任务学习网络,通过对稠密连结卷积神经网络(DenselyConnected Convolutional Networks,DenseNet)进行修改。建立的多任务学习网络以DenseNet为主体,其中,包含一个输入层,一个输出层,一个卷积层Mcnn,一个有4层的密集块(Md1),两个有8层的密集块(Md2和Md3),一个反卷积层Mdcnn,以及一个全连接层Mfc。所有的卷积层都运用了行为和容量建模能力优越的三维卷积神经网络(ConvolutionalNeural Networks,CNN),其中,卷积层中含有三个不同大小的卷积核分别为33,53,以及73,而密集块中的三维卷积层则用了大小为33的卷积核。
其中,输入层为心脏MR图像,经过卷积层和三个密集块后,网络将学习到一个联合分布,并得到特征映射(feature map,fea),再经过反卷积层的一个像素级分类器得到二维的图像分割结果。其中fea作为全卷积层的输入,通过一个回归网络输出评估的一维心脏指标。
需要说明的是,逆映射网络,其结构与上述多任务学习网络结构类似但方向相反,如图4所示,通过对上述多任务学习网络结构进行修改以及方向调转。建立的逆映射网络其中,包含一个输入层,一个输出层,一个卷积层Rcnn,一个有4层的密集块(Rd1),两个有8层的密集块(Rd2和Rd3),一个反卷积层Rdcnn,以及一个全连接层Rfc。所有的卷积层都运用了行为和容量建模能力优越的三维卷积神经网络(Convolutional Neural Networks,CNN),其中,卷积层中含有三个不同大小的卷积核分别为33,53,以及73,而密集块中的三维卷积层则用了大小为33的卷积核。其中,以二维图像分割和一维心脏指标为输入,输出结果为重建的心脏MR图像。
由此,通过联合多任务学习神经网络和逆映射神经网络进行数据的分析处理,可以提升数据处理的准确性,也可以使得对心脏MR图像与指定参数之间对应关系确定的可靠性提高。
如下列步骤所述:使用所述样本数据,对所述网络结构和所述网络参数进行训练和测试,确定所述指定参数与所述心脏MR图像的所述对应关系。
例如:网络设计完成后,需用训练样本数据对设计完成的神经网络进行训练。训练方法可根据实际的网络结构及训练中发现的问题进行调整。
由此,通过收集图像数据,从中选取样本数据,并基于样本数据进行训练和测试,确定心脏MR图像与指定参数之间的对应关系,有利于提升对指定参数生成的精准性。
优选地,采用对抗训练的方式对网络进行训练,将两个神经网络(多任务学习网络和逆映射网络)按不同的顺序连接起来(连接方式包括:将多任务学习网络与逆映射网络连接;将逆映射网络与多任务学习网络连接),并分别进行学习训练,分别得到一个联合分布并对其进行匹配。
然后,构建两个结构相似而依赖参数不同的判别器网络,其中该依赖参数为下列公式(7)和(8)中的ψ1和ψ2,两个判别器网络分别对应其中之一且不重复,。对于每种不同的连接方式,从对应的联合分布中抽取输入输出对,并用判别器网络对该输入输出对分别进行区分。如果判别器难以区分输入和输出样本,那就意味着评估的指定参数能很好地反映真实图像,而重构的图像又能很好地逼近真实的指定参数。
可选地,可以结合下列描述进一步说明步骤“使用所述样本数据,对所述网络结构和所述网络参数进行训练和测试,确定所述指定参数与所述心脏MR图像的所述对应关系”中对所述网络结构和所述网络参数进行训练的具体过程。
如下列步骤所述,选取所述样本数据中的一部分数据作为训练样本,将所述训练样本中的所述心脏MR图像输入到所述网络结构,通过所述网络结构的激活函数和所述网络参数进行训练,得到实际训练结果;确定所述实际训练结果与所述训练样本中的相应指定参数之间的实际训练误差是否满足预设训练误差;当所述实际训练误差满足所述预设训练误差时,确定对所述网络结构和所述网络参数的所述训练完成;
例如:人工神经网络的设计,通过给出心脏图像x,进一步学习从i生成x的逆映射G2:I→X,这有助于揭示x和i之间的复杂关系。在构建的网络中,G1和G2可以表示为:
G2(i;θ)=argmaxxpθ(x|i) (2)
按G1,G2的顺序连接两个网络,得到函数表达式如下:
再按G2,G1的顺序连接两个网络,得到函数表达式如下:
多类型的心脏指标从不同的维度描述了心脏结构的特征。如果了解多类型心脏指标中的复杂相关性以及多型心脏指标与心脏图像之间的语义关系,不仅可以估测多类型心脏指标,还可以从中重构心脏图像。为此,考虑f和g的变分表达式:
对抗训练的设计,考虑如下抽样方法去学习和匹配上述两个分布。对于函数f和真实的多类型心脏指标i,可以从分布q(x)q(i|x)和分布p(i)p(x|i’)抽取对(x,i),用实型判别器网络Tψ1(x,i)来区分。同样,对于函数g和真实心脏图像x,可以从分布p(i)p(x|i)和q(x)q(i|x’)分布抽取对(x,i)再用实型判别器网络Tψ2(x,i)来区分,其中ψ1,ψ2为两个判别器网络习得的参数。
具体而言,为实现上述功能,考虑判别器Tψ1使得下式的值最大化:
以及判别器Tψ2使得下式的值最大化:
其中,σ代表sigmond函数,其表达式定义为
改写式(7)中的第二项:
从而式(7)可以写成:
当且仅当(x,i)的积分取最大值时,式(11)的积分,关于σ(Tψ2(x,i))的函数,取最大值。注意到函数a log t+b log(1-t)在t=a/(a+b)处取得最大值,又结合式(9)有:
也即
同理得
上面两式即最理想的,优化过的判别器。最后,结合(5)(6)二式,优化对象可以表述成一个极大极小值问题:
另外,设上式实现过程对应的参数为,则有
最后,通过如下的损失函数来微调框架,在多任务学习网络中,对二维心脏图像分割使用Dice损失LDice,而对一维心脏指标使用L2(即岭回归)损失。在逆映射网络中,则采用重构的损失函数Lrecon。最终,整个损失可写作
LM&R=LDice+L2+Lrecon (17)
上述公式中:
x:源成像模态图像样本;x’:重构心脏图像;X:源成像模态图像样本集;i:多类型心脏指标样本;i’:估测心脏指标;I:多类型心脏指标样本集;φ:多任务学习网络习得分布的参数;θ:逆映射网络习得分布的参数;qφ(i,x):多任务学习网络习得联合分布,基于参数φ,可写作qφ(i|x)q(x);pθ(x,i):逆映射网络习得联合分布,基于参数θ,可写作pθ(x|i)p(x)。
更可选地,对所述网络结构和所述网络参数进行训练,还包括:
当所述实际训练误差不满足所述设定训练误差时,通过所述网络结构的误差能量函数更新所述网络参数;通过所述网络结构的所述激活函数和更新后的所述网络参数进行重新训练,直至所述重新训练后的实际训练误差满足所述设定训练误差;
例如:若测试误差满足要求,则网络训练测试完成。
由此,通过将测试样本用于训练得到的网络结构和网络参数进行测试,以进一步验证网络结构及网络参数的可靠性。
可选地,可以结合下列描述进一步说明步骤“使用所述样本数据,对所述网络结构和所述网络参数进行训练和测试,确定所述指定参数与所述心脏MR图像的所述对应关系”中对所述网络结构和所述网络参数进行测试的具体过程。
如下列步骤所述,选取所述样本数据中的另一部分数据作为测试样本,将所述测试样本中的所述心脏MR图像输入到所述训练完成的所述网络结构中,以所述激活函数和所述训练完成的所述网络参数进行测试,得到实际测试结果;确定所述实际测试结果与所述测试样本中的相应指定参数之间的实际测试误差是否满足设定测试误差;当所述实际测试误差满足所述设定测试误差时,确定对所述网络结构和所述网络参数的所述测试完成。
评判标准制定:
①对二维心脏图像分割的结果分析,主要用Dice系数进行评判,表达式为:
其中,PT表示人工分割的轮廓区域的所有像素,PE表示自动分割的轮廓区域的所有像素,PTE表示PT与PE之间的重叠像素。Dice值越高,表明自动分割和手工分割之间的一致性越高。
②对一维线性指标和平面指标,计算平均绝对误差(Mean Absolute Error,MAE),表达式为:
其中y∈RN,两个向量分别包含实际的指标和估测的指标。MAE的值越小,表明估测结果的准确性越高。
更可选地,对所述网络结构和所述网络参数进行测试,还包括:
当所述实际测试误差不满足所述设定测试误差时,对所述网络结构和所述网络参数进行重新训练,直至所述重新训练后的实际测试误差慢速所述设定测试误差。
例如:当测试误差不满足要求时,则重复以上步骤,重新训练网络。
由此,通过在测试误差较大时对网络结构进行重新训练以进行重新测试,有利于得到更为精准和可靠的网络结构,进而提升对结霜状态确定的精准性。
在具体实现中,
参照图5-5,①指标的评估方面:经过比较研究,本申请的方法在MR数据上比现有的单向方法有更好的表现。如FullLVNet和DMTRL具有CNN和递归神经网络(RecurrentNeural Network,RNN)结合的优点,但是它们都非常依赖于对任务相关性学习的某个特定约束条件且不具备逆映射网络。
而对于具备逆映射网络的其他学习框架,本申请的方法仍更具优越性。
参照图7,②双向参数共享方面:首先,建立了多个多任务学习框架。这些多任务学习框架的像素级分类器、回归网络和联合表示网络结构相同,但特征提取层次不同。然后分三种方式分别测试性能:(i)框架直接针对目标数据进行训练,无参数共享(No sharing);(ii)采用传统的单向参数共享机制(One-way-para);(iii)采用双向参数共享机制(Bi-para)。比较结果显示本申请的多任务学习框架中,双向参数共享机制对跨成像模态的指标估测行之有效。
参照图8-8,总体而言,本申请的方法不仅在在图像分割方面能准确定位心脏结构,而且在指标估测方面准确度高,其中图9中的“Our”为本申请实施例的方法。
对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
参照图10,示出了本申请一实施例提供的一种心脏临床指标的计算装置,包括:
建立模块110,用于利用人工神经网络的自学习能力,建立心脏MR图像与指定参数之间的对应关系;其中,所述指定参数包括心脏CT图像,针对心脏MR图像的心脏临床指标,以及针对心脏CT图像的心脏临床指标;
获取模块120,用于获取患者的当前心脏MR图像;
确定模块130,用于通过所述对应关系,确定与所述当前心脏MR图像对应的当前指定参数;具体地,确定与所述当前心脏MR图像对应的当前指定参数,包括:将所述对应关系中与所述当前心脏MR图像相同的心脏MR图像所对应的指定参数,确定为所述当前指定参数。
在一实施例中,所述图像特征包括:二维心脏图像和一维心脏临床指标。
在一实施例中,所述建立模块310,包括:
获取子模块,用于获取用于建立所述指定参数与所述心脏MR图像之间的对应关系的样本数据;
分析子模块,用于分析所述心脏MR图像的特性及其规律,根据所述特性及其规律,确定所述人工神经网络的网络结构及其网络参数;
训练子模块,用于使用所述样本数据,对所述网络结构和所述网络参数进行训练和测试,确定所述指定参数与所述心脏MR图像的所述对应关系。
在一实施例中,所述获取子模块,包括:
收集子模块,用于收集不同患者的心脏MR图像和指定参数;
分析子模块,用于对所述心脏MR图像进行分析、并结合预存的专家经验信息,选取与所述指定参数相关的数据作为所述心脏MR图像;
样本数据生成子模块,用于将所述指定参数、以及选取的所述心脏MR图像构成的数据对,作为样本数据。
在一实施例中,
所述网络结构,包括:多任务学习神经网络,以及,逆映射神经网络;
和/或,
所述网络参数,包括:输入层数,输出层数,卷积层数,密集块数,密集块包含层数,初始权值,以及,偏置值中的至少之一。
在一实施例中,
所述训练子模块,包括:
训练结果生成子模块,用于选取所述样本数据中的一部分数据作为训练样本,将所述训练样本中的所述心脏MR图像输入到所述网络结构,通过所述网络结构的激活函数和所述网络参数进行训练,得到实际训练结果;
训练结果误差判断子模块,用于确定所述实际训练结果与所述训练样本中的相应指定参数之间的实际训练误差是否满足预设训练误差;
训练完成判定子模块,用于当所述实际训练误差满足所述预设训练误差时,确定对所述网络结构和所述网络参数的所述训练完成;
和/或,
测试子模块,用于对所述网络结构和所述网络参数进行测试,所述测试子模块,包括:
测试结果生成子模块,用于选取所述样本数据中的另一部分数据作为测试样本,将所述测试样本中的所述心脏MR图像输入到所述训练完成的所述网络结构中,以所述激活函数和所述训练完成的所述网络参数进行测试,得到实际测试结果;
测试结果误差判断子模块,用于确定所述实际测试结果与所述测试样本中的相应指定参数之间的实际测试误差是否满足设定测试误差;
测试完成判定子模块,用于当所述实际测试误差满足所述设定测试误差时,确定对所述网络结构和所述网络参数的所述测试完成。
在一实施例中,
所述训练子模块,还包括:
网络参数更新子模块,用于当所述实际训练误差不满足所述设定训练误差时,通过所述网络结构的误差能量函数更新所述网络参数;
第一重训练子模块,用于通过所述网络结构的所述激活函数和更新后的所述网络参数进行重新训练,直至所述重新训练后的实际训练误差满足所述设定训练误差;
和/或,
所述测试子模块,还包括:
第二重训练子模块,用于当所述实际测试误差不满足所述设定测试误差时,对所述网络结构和所述网络参数进行重新训练,直至所述重新训练后的实际测试误差慢速所述设定测试误差。
参照图11,示出了本发明的一种心脏临床指标的检测方法的计算机设备,具体可以包括如下:
上述计算机设备12以通用计算设备的形式表现,计算机设备12的组件可以包括但不限于:一个或者多个处理器或者处理单元16,***存储器28,连接不同***组件(包括***存储器28和处理单元16)的总线18。
总线18表示几类总线18结构中的一种或多种,包括存储器总线18或者存储器控制器,***总线18,图形加速端口,处理器或者使用多种总线18结构中的任意总线18结构的局域总线18。举例来说,这些体系结构包括但不限于工业标准体系结构(ISA)总线18,微通道体系结构(MAC)总线18,增强型ISA总线18、音视频电子标准协会(VESA)局域总线18以及***组件互连(PCI)总线18。
计算机设备12典型地包括多种计算机***可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
***存储器28可以包括易失性存储器形式的计算机***可读介质,例如随机存取存储器(RAM)30和/或高速缓存存储器32。计算机设备12可以进一步包括其他移动/不可移动的、易失性/非易失性计算机体统存储介质。仅作为举例,存储***34可以用于读写不可移动的、非易失性磁介质(通常称为“硬盘驱动器”)。尽管图11中未示出,可以提供用于对可移动非易失性磁盘(如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其他光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质界面与总线18相连。存储器可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块42,这些程序模块42被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40,可以存储在例如存储器中,这样的程序模块42包括——但不限于——操作***、一个或者多个应用程序、其他程序模块42以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24、摄像头等)通信,还可与一个或者多个使得用户能与该计算机设备12交互的设备通信,和/或与使得该计算机设备12能与一个或多个其他计算设备进行通信的任何设备(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(I/O)界面22进行。并且,计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)),广域网(WAN)和/或公共网络(例如因特网)通信。如图所示,网络适配器20通过总线18与计算机设备12的其他模块通信。应当明白,尽管图11中未示出,可以结合计算机设备12使用其他硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元16、外部磁盘驱动阵列、RAID***、磁带驱动器以及数据备份存储***34等。
处理单元16通过运行存储在***存储器28中的程序,从而执行各种功能应用以及数据处理,例如实现本发明实施例所提供的心脏临床指标的检测方法。
也即,上述处理单元16执行上述程序时实现:利用人工神经网络的自学习能力,建立心脏MR图像与指定参数之间的对应关系;其中,所述指定参数包括心脏CT图像,针对心脏MR图像的心脏临床指标,以及针对心脏CT图像的心脏临床指标;获取患者的当前心脏MR图像;通过所述对应关系,确定与所述当前心脏MR图像对应的当前指定参数;具体地,确定与所述当前心脏MR图像对应的当前指定参数,包括:将所述对应关系中与所述当前心脏MR图像相同的心脏MR图像所对应的指定参数,确定为所述当前指定参数。
在本发明实施例中,本发明还提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本申请所有实施例提供的心脏临床指标的检测方法:
也即,给程序被处理器执行时实现:利用人工神经网络的自学习能力,建立心脏MR图像与指定参数之间的对应关系;其中,所述指定参数包括心脏CT图像,针对心脏MR图像的心脏临床指标,以及针对心脏CT图像的心脏临床指标;获取患者的当前心脏MR图像;通过所述对应关系,确定与所述当前心脏MR图像对应的当前指定参数;具体地,确定与所述当前心脏MR图像对应的当前指定参数,包括:将所述对应关系中与所述当前心脏MR图像相同的心脏MR图像所对应的指定参数,确定为所述当前指定参数。
可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机克顿信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线或半导体的***、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦可编程只读存储器(EPOM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行***、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码,上述程序设计语言包括面向对象的程序设计语言——诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言——诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行或者完全在远程计算机或者服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
尽管已描述了本申请实施例的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本申请所提供的心脏临床指标的检测方法、装置、设备及介质,进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。
Claims (10)
1.一种心脏临床指标的检测方法,其特征在于,包括:
利用人工神经网络的自学习能力,建立心脏MR图像与指定参数之间的对应关系;其中,所述指定参数包括心脏CT图像,针对心脏MR图像的心脏临床指标,以及针对心脏CT图像的心脏临床指标;
获取患者的当前心脏MR图像;
通过所述对应关系,确定与所述当前心脏MR图像对应的当前指定参数;具体地,确定与所述当前心脏MR图像对应的当前指定参数,包括:将所述对应关系中与所述当前心脏MR图像相同的心脏MR图像所对应的指定参数,确定为所述当前指定参数。
2.根据权利要求1所述的方法,其特征在于,
所述心脏临床指标包括:左心室外膜轮廓,左心室内膜轮廓,左心室肌轮廓,左心室外膜位置,左心室内膜位置,左心室肌位置,局部心腔壁厚度WT,心腔容积Dim,以及,心腔壁和心肌面积Area中的至少之一。
3.根据权利要求1所述的方法,其特征在于,建立心脏MR图像与指定参数之间的对应关系,包括:
获取用于建立所述指定参数与所述心脏MR图像之间的对应关系的样本数据;
分析所述心脏MR图像的特性及其规律,根据所述特性及其规律,确定所述人工神经网络的网络结构及其网络参数;
使用所述样本数据,对所述网络结构和所述网络参数进行训练和测试,确定所述指定参数与所述心脏MR图像的所述对应关系。
4.根据权利要求3所述的方法,其特征在于,所述获取用于建立所述指定参数与所述心脏MR图像之间的对应关系的样本数据的步骤,包括:
收集不同患者的心脏MR图像和指定参数;
对所述心脏MR图像进行分析、并结合预存的专家经验信息,选取与所述指定参数相关的数据作为所述心脏MR图像;
将所述指定参数、以及选取的所述心脏MR图像构成的数据对,作为样本数据。
5.根据权利要求4所述的方法,其特征在于,
所述网络结构,包括:多任务学习神经网络,以及,逆映射神经网络;
和/或,
所述网络参数,包括:输入层数,输出层数,卷积层数,密集块数,密集块包含层数,初始权值,以及,偏置值中的至少之一。
6.根据权利要求3-5任一项所述的方法,其特征在于,
对所述网络结构和所述网络参数进行训练,包括:
选取所述样本数据中的一部分数据作为训练样本,将所述训练样本中的所述心脏MR图像输入到所述网络结构,通过所述网络结构的激活函数和所述网络参数进行训练,得到实际训练结果;
确定所述实际训练结果与所述训练样本中的相应指定参数之间的实际训练误差是否满足预设训练误差;
当所述实际训练误差满足所述预设训练误差时,确定对所述网络结构和所述网络参数的所述训练完成;
和/或,
对所述网络结构和所述网络参数进行测试,包括:
选取所述样本数据中的另一部分数据作为测试样本,将所述测试样本中的所述心脏MR图像输入到所述训练完成的所述网络结构中,以所述激活函数和所述训练完成的所述网络参数进行测试,得到实际测试结果;
确定所述实际测试结果与所述测试样本中的相应指定参数之间的实际测试误差是否满足设定测试误差;
当所述实际测试误差满足所述设定测试误差时,确定对所述网络结构和所述网络参数的所述测试完成。
7.根据权利要求6所述的方法,其特征在于,
对所述网络结构和所述网络参数进行训练,还包括:
当所述实际训练误差不满足所述设定训练误差时,通过所述网络结构的误差能量函数更新所述网络参数;
通过所述网络结构的所述激活函数和更新后的所述网络参数进行重新训练,直至所述重新训练后的实际训练误差满足所述设定训练误差;
和/或,
对所述网络结构和所述网络参数进行测试,还包括:
当所述实际测试误差不满足所述设定测试误差时,对所述网络结构和所述网络参数进行重新训练,直至所述重新训练后的实际测试误差慢速所述设定测试误差。
8.一种心脏临床指标的计算装置,其特征在于,包括:
建立模块,用于利用人工神经网络的自学习能力,建立心脏MR图像与指定参数之间的对应关系;其中,所述指定参数包括心脏CT图像,针对心脏MR图像的心脏临床指标,以及针对心脏CT图像的心脏临床指标;
获取模块,用于获取患者的当前心脏MR图像;
确定模块,用于通过所述对应关系,确定与所述当前心脏MR图像对应的当前指定参数;具体地,确定与所述当前心脏MR图像对应的当前指定参数,包括:将所述对应关系中与所述当前心脏MR图像相同的心脏MR图像所对应的指定参数,确定为所述当前指定参数。
9.一种设备,其特征在于,包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如权利要求1至7中任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910667589.3A CN110400298B (zh) | 2019-07-23 | 2019-07-23 | 心脏临床指标的检测方法、装置、设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910667589.3A CN110400298B (zh) | 2019-07-23 | 2019-07-23 | 心脏临床指标的检测方法、装置、设备及介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110400298A true CN110400298A (zh) | 2019-11-01 |
CN110400298B CN110400298B (zh) | 2023-10-31 |
Family
ID=68325889
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910667589.3A Active CN110400298B (zh) | 2019-07-23 | 2019-07-23 | 心脏临床指标的检测方法、装置、设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110400298B (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110786839A (zh) * | 2019-11-22 | 2020-02-14 | 中山大学 | 瞬时无波形比值的生成方法、装置、设备及介质 |
CN110853012A (zh) * | 2019-11-11 | 2020-02-28 | 苏州锐一仪器科技有限公司 | 获得心脏参数的方法、装置及计算机存储介质 |
CN111062948A (zh) * | 2019-11-18 | 2020-04-24 | 北京航空航天大学合肥创新研究院 | 一种基于胎儿四腔心切面图像的多组织分割方法 |
CN111127400A (zh) * | 2019-11-29 | 2020-05-08 | 深圳蓝韵医学影像有限公司 | 一种乳腺病变检测方法和装置 |
CN111126274A (zh) * | 2019-12-24 | 2020-05-08 | 深圳市检验检疫科学研究院 | 入境目标人群的检测方法、装置、设备及介质 |
CN111192255A (zh) * | 2019-12-30 | 2020-05-22 | 上海联影智能医疗科技有限公司 | 指标检测方法、计算机设备和存储介质 |
CN111275686A (zh) * | 2020-01-20 | 2020-06-12 | 中山大学 | 用于人工神经网络训练的医学图像数据的生成方法及装置 |
CN112819789A (zh) * | 2020-02-28 | 2021-05-18 | 上海联影智能医疗科技有限公司 | 用于心脏评估的设备和方法 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5435310A (en) * | 1993-06-23 | 1995-07-25 | University Of Washington | Determining cardiac wall thickness and motion by imaging and three-dimensional modeling |
US20030035573A1 (en) * | 1999-12-22 | 2003-02-20 | Nicolae Duta | Method for learning-based object detection in cardiac magnetic resonance images |
CN1839392A (zh) * | 2003-06-25 | 2006-09-27 | 美国西门子医疗解决公司 | 心脏成像的自动区域心肌评定 |
CN1914617A (zh) * | 2004-02-03 | 2007-02-14 | 美国西门子医疗解决公司 | 与心脏有关的疾病和病症的自动诊断和决策支持***和方法 |
WO2015109254A2 (en) * | 2014-01-17 | 2015-07-23 | Morpheus Medical, Inc. | Apparatus, methods and articles for four dimensional (4d) flow magnetic resonance imaging |
CN106096632A (zh) * | 2016-06-02 | 2016-11-09 | 哈尔滨工业大学 | 基于深度学习和mri图像的心室功能指标预测方法 |
US20180292484A1 (en) * | 2017-04-05 | 2018-10-11 | Siemens Healthcare Gmbh | Method, neural network, and magnetic resonance apparatus for assigning magnetic resonance fingerprints |
CN108898622A (zh) * | 2018-07-05 | 2018-11-27 | 深圳大学 | 一种心脏的运动表征方法、装置及计算机可读存储介质 |
CN109215014A (zh) * | 2018-07-02 | 2019-01-15 | 中国科学院深圳先进技术研究院 | Ct图像预测模型的训练方法、装置、设备及存储介质 |
US20190139641A1 (en) * | 2017-11-03 | 2019-05-09 | Siemens Healthcare Gmbh | Artificial intelligence for physiological quantification in medical imaging |
-
2019
- 2019-07-23 CN CN201910667589.3A patent/CN110400298B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5435310A (en) * | 1993-06-23 | 1995-07-25 | University Of Washington | Determining cardiac wall thickness and motion by imaging and three-dimensional modeling |
US20030035573A1 (en) * | 1999-12-22 | 2003-02-20 | Nicolae Duta | Method for learning-based object detection in cardiac magnetic resonance images |
CN1839392A (zh) * | 2003-06-25 | 2006-09-27 | 美国西门子医疗解决公司 | 心脏成像的自动区域心肌评定 |
CN1914617A (zh) * | 2004-02-03 | 2007-02-14 | 美国西门子医疗解决公司 | 与心脏有关的疾病和病症的自动诊断和决策支持***和方法 |
WO2015109254A2 (en) * | 2014-01-17 | 2015-07-23 | Morpheus Medical, Inc. | Apparatus, methods and articles for four dimensional (4d) flow magnetic resonance imaging |
CN106096632A (zh) * | 2016-06-02 | 2016-11-09 | 哈尔滨工业大学 | 基于深度学习和mri图像的心室功能指标预测方法 |
US20180292484A1 (en) * | 2017-04-05 | 2018-10-11 | Siemens Healthcare Gmbh | Method, neural network, and magnetic resonance apparatus for assigning magnetic resonance fingerprints |
US20190139641A1 (en) * | 2017-11-03 | 2019-05-09 | Siemens Healthcare Gmbh | Artificial intelligence for physiological quantification in medical imaging |
CN109215014A (zh) * | 2018-07-02 | 2019-01-15 | 中国科学院深圳先进技术研究院 | Ct图像预测模型的训练方法、装置、设备及存储介质 |
CN108898622A (zh) * | 2018-07-05 | 2018-11-27 | 深圳大学 | 一种心脏的运动表征方法、装置及计算机可读存储介质 |
Non-Patent Citations (1)
Title |
---|
叶大春等: "无创性MR在老年心功能评价中的临床应用", 《医学影像学杂志》 * |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110853012A (zh) * | 2019-11-11 | 2020-02-28 | 苏州锐一仪器科技有限公司 | 获得心脏参数的方法、装置及计算机存储介质 |
CN111062948A (zh) * | 2019-11-18 | 2020-04-24 | 北京航空航天大学合肥创新研究院 | 一种基于胎儿四腔心切面图像的多组织分割方法 |
CN111062948B (zh) * | 2019-11-18 | 2022-09-13 | 北京航空航天大学合肥创新研究院 | 一种基于胎儿四腔心切面图像的多组织分割方法 |
CN110786839A (zh) * | 2019-11-22 | 2020-02-14 | 中山大学 | 瞬时无波形比值的生成方法、装置、设备及介质 |
CN111127400A (zh) * | 2019-11-29 | 2020-05-08 | 深圳蓝韵医学影像有限公司 | 一种乳腺病变检测方法和装置 |
CN111126274A (zh) * | 2019-12-24 | 2020-05-08 | 深圳市检验检疫科学研究院 | 入境目标人群的检测方法、装置、设备及介质 |
CN111192255A (zh) * | 2019-12-30 | 2020-05-22 | 上海联影智能医疗科技有限公司 | 指标检测方法、计算机设备和存储介质 |
CN111192255B (zh) * | 2019-12-30 | 2024-04-26 | 上海联影智能医疗科技有限公司 | 指标检测方法、计算机设备和存储介质 |
CN111275686A (zh) * | 2020-01-20 | 2020-06-12 | 中山大学 | 用于人工神经网络训练的医学图像数据的生成方法及装置 |
CN111275686B (zh) * | 2020-01-20 | 2023-05-26 | 中山大学 | 用于人工神经网络训练的医学图像数据的生成方法及装置 |
CN112819789A (zh) * | 2020-02-28 | 2021-05-18 | 上海联影智能医疗科技有限公司 | 用于心脏评估的设备和方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110400298B (zh) | 2023-10-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110400298A (zh) | 心脏临床指标的检测方法、装置、设备及介质 | |
Litjens et al. | State-of-the-art deep learning in cardiovascular image analysis | |
Dey et al. | Artificial intelligence in cardiovascular imaging: JACC state-of-the-art review | |
Young et al. | Computational cardiac atlases: from patient to population and back | |
CN103814384B (zh) | 基于图像的跟踪 | |
CN109192305B (zh) | 一种基于深度循环神经网络的心功能自动分析方法 | |
JP2016539411A (ja) | 医療情報用の進化型コンテキスト臨床データエンジン | |
Zhao et al. | Mt-uda: Towards unsupervised cross-modality medical image segmentation with limited source labels | |
Liu et al. | Deep learning-based automated left ventricular ejection fraction assessment using 2-D echocardiography | |
CN110414607A (zh) | 胶囊内窥镜图像的分类方法、装置、设备及介质 | |
RU2669680C2 (ru) | Инициализация модели на основе классификации видов | |
JP7325411B2 (ja) | 心エコー図を分析する方法及び装置 | |
Wehbe et al. | Deep learning for cardiovascular imaging: A review | |
Ahn et al. | Unsupervised motion tracking of left ventricle in echocardiography | |
CN109620293A (zh) | 一种图像识别方法、装置以及存储介质 | |
Beecy et al. | Development of novel machine learning model for right ventricular quantification on echocardiography—a multimodality validation study | |
Miller et al. | An implementation of patient-specific biventricular mechanics simulations with a deep learning and computational pipeline | |
Loncaric et al. | Integration of artificial intelligence into clinical patient management: focus on cardiac imaging | |
Yang et al. | Generative Adversarial Networks (GAN) Powered Fast Magnetic Resonance Imaging--Mini Review, Comparison and Perspectives | |
JP7369437B2 (ja) | 評価システム、評価方法、学習方法、学習済みモデル、プログラム | |
Kagiyama et al. | Machine learning in cardiovascular imaging | |
CN113850804B (zh) | 基于生成对抗网络的视网膜图像生成***及方法 | |
Badano et al. | Artificial intelligence and cardiovascular imaging: A win-win combination. | |
Nedadur et al. | The cardiac surgeon's guide to artificial intelligence | |
Laumer et al. | Weakly supervised inference of personalized heart meshes based on echocardiography videos |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |