CN111493935A - 基于人工智能的超声心动图自动预测识别方法及*** - Google Patents
基于人工智能的超声心动图自动预测识别方法及*** Download PDFInfo
- Publication number
- CN111493935A CN111493935A CN202010353559.8A CN202010353559A CN111493935A CN 111493935 A CN111493935 A CN 111493935A CN 202010353559 A CN202010353559 A CN 202010353559A CN 111493935 A CN111493935 A CN 111493935A
- Authority
- CN
- China
- Prior art keywords
- video
- color doppler
- video frame
- frame
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 18
- 239000013598 vector Substances 0.000 claims abstract description 27
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 22
- 238000012549 training Methods 0.000 claims description 16
- 206010067171 Regurgitation Diseases 0.000 claims description 14
- 210000005246 left atrium Anatomy 0.000 claims description 12
- 230000001746 atrial effect Effects 0.000 claims description 11
- 238000002592 echocardiography Methods 0.000 claims description 7
- 238000005259 measurement Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 3
- 230000007423 decrease Effects 0.000 claims description 2
- 238000010606 normalization Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 description 16
- 238000002604 ultrasonography Methods 0.000 description 10
- 230000017531 blood circulation Effects 0.000 description 9
- 239000000523 sample Substances 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 206010027727 Mitral valve incompetence Diseases 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000000747 cardiac effect Effects 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 210000004556 brain Anatomy 0.000 description 3
- 238000012512 characterization method Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 206010067660 Heart valve incompetence Diseases 0.000 description 2
- 208000035478 Interatrial communication Diseases 0.000 description 2
- 201000001943 Tricuspid Valve Insufficiency Diseases 0.000 description 2
- 208000001910 Ventricular Heart Septal Defects Diseases 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 201000002064 aortic valve insufficiency Diseases 0.000 description 2
- 208000013914 atrial heart septal defect Diseases 0.000 description 2
- 206010003664 atrial septal defect Diseases 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 208000003278 patent ductus arteriosus Diseases 0.000 description 2
- 201000010298 pulmonary valve insufficiency Diseases 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 201000003130 ventricular septal defect Diseases 0.000 description 2
- 206010002915 Aortic valve incompetence Diseases 0.000 description 1
- 206010037448 Pulmonary valve incompetence Diseases 0.000 description 1
- 206010044640 Tricuspid valve incompetence Diseases 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000003709 heart valve Anatomy 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 208000005907 mitral valve insufficiency Diseases 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- 238000007794 visualization technique Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
- A61B8/0883—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the heart
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/48—Diagnostic techniques
- A61B8/488—Diagnostic techniques involving Doppler signals
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5207—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Surgery (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Cardiology (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Image Processing (AREA)
Abstract
本申请公开了基于人工智能的超声心动图自动预测识别方法及***,所述方法包括:获取检测对象的超声心动图的至少一个切面的彩色多普勒视频;提取所述彩色多普勒视频中的每一视频帧,并将每一视频帧输入至训练好的卷积神经网络,以获得对应每一视频帧的N维特征向量;将所述每一视频帧的N维特征向量通过注意力模块生成对应每一视频帧的权重;利用所述权重计算每一视频帧的N维特征向量的加权和,以获得所述彩色多普勒视频的整体特征表示;基于所述整体特征表示,计算获得含有预识别图像特征的预测值。通过上述方法能够准确预测超声心动图中是否存在待识别的图像特征。
Description
技术领域
本申请涉及医学视频图像的智能识别技术领域,尤其涉及一种基于人工智能的超声心动图自动预测识别方法及***。
背景技术
超声心动图目前是评估心脏结构和功能的最重要的方法之一。对于超声心动图中心脏瓣膜反流特征的识别,通常医生会通过肉眼识别有无异常的彩色血流来鉴别,这就易受速度量程和彩色增益的影响,从而高估或低估上述特征的严重程度,并不适用于心脏瓣膜反流特征的精确评估。此外还有缩流法,连续多普勒等方法可定量分析心脏瓣膜反流的程度,但由于超声心动图在图像采集、测量、分析、判断等方面存在明显的个体差异,受到医务工作者的经验和能力影响比较大,使得检验准确性和一致性难以保证,常常给临床识别带来极大困难。
人工智能技术对心脏超声影像的自动测量、分析与判读较专业医生的人工操作有巨大优势,可以实现数据分析与识别的标准化,从而排除人为主观因素的干扰,减少心脏超声判断的个体间差异和个体内差异,提高超声影像判别的准确性和一致性。人工智能技术也使得心脏超声更高效,更符合临床现实需求,从而大大提升医疗行业的效率、降低医疗成本和家庭及社会经济负担。
近年来,虽然利用人工智能技术处理医学影像是研究热点,但是更多的是采用决策树、聚类、贝叶斯分类、支持向量机、EM等传统的机器学习算法,这些算法未利用超声心动图的动态视频,仅通过随机抽取的超声图像进行分类,丢失了心脏的运动信息,而且彩色多普勒视频包含心脏内血流的流向信息,有助于识别瓣膜反流,如果忽视此类信息容易造成分类不够准确,实际应用的效果一般。
发明内容
鉴于现有技术中的上述缺陷或不足,本申请提供了一种基于人工智能的超声心动图自动预测识别方法及***,该方法采用了针对心脏超声影像专门设计的深度学习模型,自动预测超声心动图中的预识别特征,并输出与该预识别特征最相关的视频帧,大大提高了人工智能技术处理心脏超声影像的准确率,满足了医疗***的临床需求,减轻了医务人员的工作负担。
本发明的第一方面提供了一种基于人工智能的超声心动图自动预测识别方法及***,包括:
获取检测对象的超声心动图中至少一个切面的彩色多普勒视频;
提取所述彩色多普勒视频中的每一视频帧,并将每一视频帧输入至训练好的卷积神经网络,以获得对应每一视频帧的N维特征向量;
将所述每一视频帧的N维特征向量通过注意力模块生成对应每一视频帧的权重;
利用所述权重计算每一视频帧的N维特征向量的加权和,以获得所述彩色多普勒视频的整体特征表示;
基于所述整体特征表示,计算所述彩色多普勒视频含有预识别图像特征的预测值。
进一步的,还包括如下步骤:将权重最大的帧作为关键帧输出。
进一步的,所述至少一个切面包括心尖四腔心切面。
进一步的,所述预识别图像特征为瓣膜反流。
进一步的,还包括如下步骤:
测量所述关键帧中左心房区域的相对面积;
测量所述关键帧中左心房区域内反流束的相对面积;
计算所述反流束的相对面积与所述左心房的相对面积的比值。
进一步的,在将每一视频帧输入至预训练的卷积神经网络之前,还包括:将含有预识别图像特征的超声心动图至少一个切面的彩色多普勒视频作为训练样本输入至预训练的卷积神经网络,对所述预训练的卷积神经网络进行训练。
进一步的,还包括:
其中,表示第n个彩色多普勒视频中是否含有预识别图像特征,n的取值范围为(1,2,……N),N为彩色多普勒视频的总数量,若,表示第n个彩色多普勒视频中不含有预识别图像特征;若,表示第n个彩色多普勒视频中含有预识别图像特征;表示第n个彩色多普勒视频中含有预识别图像特征的预测值;为第n个彩色多普勒视频的整体特征表示,则是和的交叉熵;
本发明的第二方面还提供了一种基于人工智能的超声心动图自动预测识别***,包括:
视频获取模块,用于获取检测对象的超声心动图中至少一个切面的彩色多普勒视频;
输入提取模块,用于提取所述彩色多普勒视频中的每一视频帧,并将每一视频帧输入至训练好的卷积神经网络,以获得对应每一视频帧的N维特征向量;
权重生成模块,用于将所述每一视频帧的N维特征向量通过注意力模块生成对应每一视频帧的权重;
整体特征计算模块,利用所述权重计算每一视频帧的N维特征向量的加权和,以获得所述彩色多普勒视频的整体特征表示;
预测输出模块,基于所述整体特征表示,计算所述彩色多普勒视频含有预识别图像特征的预测值。
进一步的,还包括:关键帧输出模块,用于将权重最大的帧作为关键帧输出。
进一步的,所述至少一个切面包括心尖四腔心切面;所述预识别图像特征为瓣膜反流;所述***进一步包括:预识别图像特征测量模块,用于测量所述关键帧中左心房区域的相对面积;测量所述关键帧中左心房区域内反流束的相对面积;计算所述反流束的相对面积与所述左心房的相对面积的比值。
综上,本发明的一种基于人工智能的超声心动图自动预测识别方法及***,通过识别心脏超声的重要图像特征组成的一组视频帧来从视频中识别该重要图像特征,该方法基于一种全新的深度神经网络,学习如何测量视频中每个帧的重要性,并自动选择代表帧的一个稀疏子集来预测视频级别的分类。通过使用本发明提供的上述方法和***,可以用于准确识别超声心动图中的二尖瓣反流影像特征,还可以用于准确识别超声心动图中的三尖瓣反流、主动脉瓣反流、肺动脉瓣反流、房间隔缺损、室间隔缺损、动脉导管未闭等心脏超声影像特征。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1是本发明一实施例提供的一种基于人工智能的超声心动图的自动预测识别方法的流程图;
图2是本发明另一实施例提供的一种具有关键帧输出功能的超声心动图的自动预测识别方法的流程图;
图3是本发明另一实施例提供的一种具有显著度评估功能的超声心动图的自动预测识别方法的流程图;
图4是本发明另一实施例提供的一种具有预训练功能的超声心动图的自动预测识别方法的流程图;
图5是本发明另一实施例提供的一种超声心动图的自动预测识别***的功能模块图;
图6是本发明另一实施例提供的一种电子设备的结构框图;
图7是本发明另一实施例提供的一种电子设备的部件组成图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与发明相关的部分。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
本文所述的超声心动图是利用超声的特殊物理学特性检查心脏和大血管的解剖结构及功能状态的超声图像。
参考图1,其示出了本发明实施例的一种基于人工智能的超声心动图自动预测识别方法。本实施例以预测识别超声心动图中的二尖瓣反流特征为例进行说明,但本实施例提出的方法也适用于三尖瓣反流、主动脉瓣反流、肺动脉瓣反流、房间隔缺损、室间隔缺损、动脉导管未闭等其它心脏血流特征的超声图像的预测识别。
步骤S101,获取检测对象的超声心动图中至少一个切面的彩色多普勒视频。
多普勒超声技术最常用的包括脉冲式多普勒、连续式多普勒和彩色多普勒血流显像三种。彩色多普勒属于显象技术,它是一种面积显示,在同一面积内有很多的声束发射和被接受回来。彩色多普勒血流显像的血流方向被定义为朝向探头的血流为红色,背离探头的血流为蓝色。心脏各瓣膜口及大血管都是单一顺行的血流,而一旦出现逆行方向的血流就应考虑是否异常。
具体的,超声检测时针对检测对象不同***、心脏的不同切面,能够获得含有多个序列的超声心动图原始图像,每个序列对应超声检查中的一个切面。
本实施例中,首先获取超声心动图中涉及至少一个切面的彩色多普勒视频(例如,既可以是一个切面的视频,也可以是多个切面的视频的组合),该彩色多普勒视频具有多个视频帧,将该彩色多普勒视频作为深度学习算法模块的输入。需要指出的是,使用视频而不使用单张图像作为输入,是因为视频在时间维度上提供了更多信息,这包括帧与帧之间的变化信息,而单一的图像往往丢失了心脏的运动信息,容易造成分类不够准确。此外,彩色多普勒视频能够显示出瓣膜内的血流方向,特征更为显著,进一步提高了算法模块的分类准确性。
步骤S102,提取所述彩色多普勒视频中的每一视频帧,并将每一视频帧输入至训练好的卷积神经网络,以获得对应每一视频帧的N维特征向量。
具体的,彩色多普勒视频是由一组视频帧构成的,每个视频帧可以理解为一帧超声图像,首先将单一视频中的全部T个视频帧提取出来,再逐帧的输入至已经训练好的卷积神经网络中。本实施例并不限定上述卷积神经网络的类型,例如既可以采用双流网络和3D卷积组合而成的I3D网络,又可以采用ResNet残差网络,本实施例以ResNet残差网络为例进行说明。
当每个视频帧通过Resnet神经网络后,得到N维度的特征向量,其中为视频帧的标号,的取值为(1,2……T),T为视频的帧数;N维度代表着对应帧所包含的信息,N既不能太小,也不能太大,N设置的太小会使视频帧包含过少的特征信息,N设置的太大,会使视频帧中包含过多的无用信息,浪费运算资源,本实施例中N优选为1024,实际运用时N可以通过多次人工尝试来获得合适的设置值。
步骤S103,将所述每一视频帧的N维特征向量通过注意力模块生成对应每一视频帧的权重。
在临床检验中,彩色多普勒视频中往往只有关键的几帧含有样本反流与否的特征信息,是否带有特征信息以及带有的特征信息的多少决定了该视频帧的权重,这里用来表示第t帧的权重,t取值范围为(1,2,……,T),T为视频的帧数。
权重是通过将Resnet神经网络输出的N维特征向量输入至注意力模块(attention module)获得的。该注意力模块其实是深度学习算法重用于模拟人脑的注意力模型,举个例子来说,当我们观赏一幅画时,虽然我们可以看到整幅画的全貌,但是在我们深入仔细地观察时,其实眼睛聚焦的就只有很小的一块,这个时候人的大脑主要关注在这一小块图案上,也就是说这个时候人脑对整幅图的关注并不是均衡的,是有一定的权重区分的。N维特征向量经由注意力模块计算后能够获得每一视频帧所对应的权重。由于注意力模块的具体实现方法已经广泛应用于深度学习模型,因此本实施例不再赘述。
步骤S104,利用所述权重计算每一视频帧的N维特征向量的加权和,以获得所述彩色多普勒视频的整体特征表示。
步骤S105,基于所述整体特征表示,通过FC全连接层和sigmoid激活函数计算获得含有预识别图像特征的预测值。
参见图2,优选的在图1所示实施例的基础上进一步的包括:
进一步的,上述实施例中的至少一个切面优选为包括心尖四腔心(A4C)切面。心尖四腔心(A4C)切面是临床超声心动图中的一个标准切面,也是应用最广泛的一个重要切面,通过心尖四腔心(A4C)切面可以更加准确的识别出二尖瓣反流等图像特征。
参见图3,优选的,在根据图1所示实施例已经识别出检测对象的彩色多普勒视频中是否存在预识别图像特征的基础上,进一步包括:
步骤S107,识别该预识别图像特征的显著程度。
以二尖瓣反流特征的识别为例,具体方法是,在已经获得的二尖瓣反流最明显的关键帧上测量反流面积和左心房面积之比,输出该比值至超声报告。
首先,测量左心房面积。通常情况下,前期经过了标注人员的精心勾画已经有数百组勾画过的超声心动图(所谓勾画就是将心脏的关键部位,如左心房,人为的画上边界)。将这些数据投入所述神经网络进行学习,完成模型对左心房的自动识别。通过计算左心房在图中的相对面积,即在勾画区域的像素数量,就可以得到左心房的相对面积。
然后,测量反流束的面积。因为使用的是彩色多普勒超声,反流束通常被标记为蓝色(未反流的血液通常为红色),因此只需要计算左心房内蓝色像素点的数量值就可以计算出反流束的相对面积。
最后,计算反流束相对面积和左心房相对面积的比值,通过该比值可以获知超声视频中反流图像特征的显著程度。
参见图4,优选的,在执行图1所示方法之前,还包括
步骤S100,将含有预识别图像特征的超声心动图中至少一个切面的彩色多普勒视频作为训练样本输入至预训练的卷积神经网络,对所述预训练的卷积神经网络进行训练的步骤。
训练模型的过程实际上就是不断调节参数使得预测结果越来越好的过程,在这个过程中,通常使用损失函数作为参考,损失函数通常用来评价模型的预测值和真实值之间的差别,而本发明的神经网络模型具有两个主要任务,一是准确判断样本超声心动图是否含有预识别图像特征,二是输出对判断这一结果最有帮助的视频关键帧,因此对应的损失函数也设计为两部分组成,分别为分类损失和稀疏损失。
其中,表示第n个彩色多普勒视频中是否含有预识别图像特征,n的取值范围为(1,2,……N),N为彩色多普勒视频的总数量,若,表示第n个彩色多普勒视频中不含有预识别图像特征;若,表示第n个彩色多普勒视频中含有预识别图像特征;表示第n个彩色多普勒视频中含有预识别图像特征的预测值;为第n个彩色多普勒视频的整体特征表示,则是和的交叉熵。
所谓稀疏损失,即用来调节视频中特定视频帧的权重的损失函数,因为在临床检验中,往往只有关键的几帧代表着样本反流与否,因此在所有帧中只有少数帧是重要的,即只有少数帧对应的接近1,其余帧对应的都接近0,换言之这些帧的重要性是稀疏的,本实施例使用L1 范数来衡量整个数据的稀疏性,依据数学定义,L1 范数是指向量中各个元素绝对值之和,L1 越小,则整个元素越稀疏,具体形式如下:
应当注意,尽管在附图1中以特定顺序描述了本发明方法的操作,但是,这并非要求或者暗示必须按照该特定顺序来执行这些操作,或是必须执行全部所示的操作才能实现期望的结果。相反,流程图中描绘的步骤必要时可以改变执行顺序。
参考图5,其示出了本发明另一实施例的一种基于人工智能的超声心动图自动预测识别***200,包括:
视频获取模块201,用于获取检测对象的超声心动图中至少一个切面的彩色多普勒视频;
输入提取模块202,用于提取所述彩色多普勒视频中的每一视频帧,并将每一视频帧输入至训练好的卷积神经网络,以获得对应每一视频帧的N维特征向量;
权重生成模块203,用于将所述每一视频帧的N维特征向量通过注意力模块生成对应每一视频帧的权重;
整体特征计算模块204,利用所述权重计算每一视频帧的N维特征向量的加权和,以获得所述彩色多普勒视频的整体特征表示;
预测输出模块205,基于所述整体特征表示,通过FC全连接层和sigmoid激活函数计算获得含有预识别图像特征的预测值。
进一步的,所述超声心动图的自动预测识别***200包括:预识别图像特征测量模块206,用于测量所述关键帧中左心房区域的面积;测量所述关键帧中左心房区域内反流束的面积;计算所述反流束的面积与所述左心房的面积的比值。
应当理解,本实施例中的超声心动图的自动预测识别***200所记载的诸模块与图1所述方法中的各个步骤相对应。由此,上文针对方法描述的操作和特征同样适用于本实施例的各个模块,在此不再赘述。本实施例的***可以预先实现在电子设备中,也可以通过下载等方式而加载到电子设备中。本实施例的***中的相应模块可以与电子设备中的单元相互配合以实现本申请实施例的方案。此外,描述于本实施例中所涉及到的模块可以通过软件的方式实现,也可以通过硬件的方式来实现。这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定,例如,视频获取模块201还可以被描述为“用于获取检测对象的超声心动图中至少一个切面的彩色多普勒视频的模块201”。
参见图6,其示出了本发明另一实施例的一种电子设备300,包括:
至少一个处理器301;以及,
与所述至少一个处理器301通信连接的存储器302;其中,
所述存储器302存储有可被所述至少一个处理器301执行的指令,以使所述至少一个处理器301能够执行上述方法实施例中的步骤。
参见图7,图6所示实施例中的电子设备例如可以是B超机。B超机亦可包含有计算机***700,其包括中央处理单元(CPU)701,其可以根据存储在只读存储器(ROM)702中的程序或者从存储部分708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。在RAM 703中,还存储有***700操作所需的各种程序和数据。CPU 701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。以下部件连接至I/O接口705:包括键盘、鼠标等的输入部分706;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分707;包括硬盘等的存储部分708;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至I/O接口705。可拆卸介质711,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器710上,以便于从其上读出的计算机程序根据需要被安装入存储部分708。
作为另一方面,本申请还提供了一种计算机可读存储介质,该计算机可读存储介质可以是上述实施例中所述***或电子设备中所包含的计算机可读存储介质;也可以是单独存在,未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序,所述程序被一个或者一个以上的处理器用来执行描述于本申请的超声心动图的自动预测识别方法。
附图中的流程图和框图,图示了按照本发明各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,所述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的***来实现,或者可以用专用硬件与计算机指令的组合来实现。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本申请中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离所述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (10)
1.基于人工智能的超声心动图自动预测识别方法,其特征在于,包括:
获取检测对象的超声心动图中至少一个切面的彩色多普勒视频;
提取所述彩色多普勒视频中的每一视频帧,并将每一视频帧输入至训练好的卷积神经网络,以获得对应每一视频帧的N维特征向量;
将所述每一视频帧的N维特征向量通过注意力模块生成对应每一视频帧的权重;
利用所述权重计算每一视频帧的N维特征向量的加权和,以获得所述彩色多普勒视频的整体特征表示;
基于所述整体特征表示,计算所述彩色多普勒视频含有预识别图像特征的预测值。
2.根据权利要求1所述的基于人工智能的超声心动图自动预测识别方法,其特征在于,还包括如下步骤:
将权重最大的帧作为关键帧输出。
3.根据权利要求2所述的基于人工智能的超声心动图自动预测识别方法,其特征在于:所述至少一个切面包括心尖四腔心切面。
4.根据权利要求3所述的基于人工智能的超声心动图自动预测识别方法,其特征在于,所述预识别图像特征为瓣膜反流。
5.根据权利要求4所述的基于人工智能的超声心动图自动预测识别方法,其特征在于,还包括如下步骤:
测量所述关键帧中左心房区域的相对面积;
测量所述关键帧中左心房区域内反流束的相对面积;
计算所述反流束的相对面积与所述左心房的相对面积的比值。
6.根据权利要求1所述的基于人工智能的超声心动图自动预测识别方法,其特征在于,在将每一视频帧输入至预训练的卷积神经网络之前,还包括:
将含有预识别图像特征的超声心动图的至少一个切面的彩色多普勒视频作为训练样本输入至预训练的卷积神经网络,对所述预训练的卷积神经网络进行训练。
7.根据权利要求6所述的基于人工智能的超声心动图自动预测识别方法,其特征在于,还包括:
其中,表示第n个彩色多普勒视频中是否含有预识别图像特征,n的取值范围为(1,2,……N),N为用于训练卷积神经网络模型的彩色多普勒视频的总数量,若,表示第n个彩色多普勒视频中不含有预识别图像特征;若,表示第n个彩色多普勒视频中含有预识别图像特征;表示第n个彩色多普勒视频中含有预识别图像特征的预测值;为第n个彩色多普勒视频的整体特征表示,则是和的交叉熵;
8.基于人工智能的超声心动图自动预测识别***,其特征在于,包括:
视频获取模块,用于获取检测对象的超声心动图中至少一个切面的彩色多普勒视频;
输入提取模块,用于提取所述彩色多普勒视频中的每一视频帧,并将每一视频帧输入至训练好的卷积神经网络,以获得对应每一视频帧的N维特征向量;
权重生成模块,用于将所述每一视频帧的N维特征向量通过注意力模块生成对应每一视频帧的权重;
整体特征计算模块,利用所述权重计算每一视频帧的N维特征向量的加权和,以获得所述彩色多普勒视频的整体特征表示;
预测输出模块,基于所述整体特征表示,计算所述彩色多普勒视频含有预识别图像特征的预测值。
9.根据权利要求8所述的基于人工智能的超声心动图自动预测识别***,其特征在于,还包括:
关键帧输出模块,用于将权重最大的帧作为关键帧输出。
10.根据权利要求9所述的基于人工智能的超声心动图自动预测识别***,其特征在于:
所述至少一个切面包括心尖四腔心切面;
所述预识别图像特征为瓣膜反流;
所述***进一步包括:
预识别图像特征测量模块,用于测量所述关键帧中左心房区域的相对面积;测量所述关键帧中左心房区域内反流束的相对面积;计算所述反流束的相对面积与所述左心房的相对面积的比值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010353559.8A CN111493935B (zh) | 2020-04-29 | 2020-04-29 | 基于人工智能的超声心动图自动预测识别方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010353559.8A CN111493935B (zh) | 2020-04-29 | 2020-04-29 | 基于人工智能的超声心动图自动预测识别方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111493935A true CN111493935A (zh) | 2020-08-07 |
CN111493935B CN111493935B (zh) | 2021-01-15 |
Family
ID=71866649
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010353559.8A Active CN111493935B (zh) | 2020-04-29 | 2020-04-29 | 基于人工智能的超声心动图自动预测识别方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111493935B (zh) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112101413A (zh) * | 2020-08-12 | 2020-12-18 | 海南大学 | 面向脑卒中风险预测的智能*** |
CN112258476A (zh) * | 2020-10-22 | 2021-01-22 | 大连东软教育科技集团有限公司 | 超声心动图心肌异常运动模式分析方法、***及存储介质 |
CN112419313A (zh) * | 2020-12-10 | 2021-02-26 | 清华大学 | 一种基于先心病超声的多切面的分类方法 |
CN112435247A (zh) * | 2020-11-30 | 2021-03-02 | 中国科学院深圳先进技术研究院 | 一种卵圆孔未闭检测方法、***、终端以及存储介质 |
CN112489043A (zh) * | 2020-12-21 | 2021-03-12 | 无锡祥生医疗科技股份有限公司 | 心脏疾病检测装置、模型训练方法及存储介质 |
CN113180737A (zh) * | 2021-05-06 | 2021-07-30 | 中国人民解放军总医院 | 基于人工智能的卵圆孔闭合检测方法、***、设备及介质 |
CN113487665A (zh) * | 2021-06-04 | 2021-10-08 | 中国人民解放军总医院 | 一种管腔缺口的测量方法、装置、设备和介质 |
CN114469176A (zh) * | 2021-12-31 | 2022-05-13 | 深圳度影医疗科技有限公司 | 一种胎儿心脏超声图像的检测方法及相关装置 |
CN114666571A (zh) * | 2022-03-07 | 2022-06-24 | 中国科学院自动化研究所 | 视频敏感内容检测方法及*** |
CN114723710A (zh) * | 2022-04-11 | 2022-07-08 | 安徽鲲隆康鑫医疗科技有限公司 | 基于神经网络的超声视频关键帧的检测方法和装置 |
CN115797330A (zh) * | 2022-12-30 | 2023-03-14 | 北京百度网讯科技有限公司 | 基于超声视频的算法修正方法、超声视频生成方法和设备 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2434454A2 (en) * | 2010-09-27 | 2012-03-28 | Siemens Corporation | Computerized characterization of cardiac motion in medical diagnostic ultrasound |
WO2012085798A1 (en) * | 2010-12-23 | 2012-06-28 | Koninklijke Philips Electronics N.V. | Automated identification of the location of a regurgitant orifice of a mitral valve in an ultrasound image |
CN103824284A (zh) * | 2014-01-26 | 2014-05-28 | 中山大学 | 一种基于视觉注意力模型的关键帧提取方法和*** |
US20150366532A1 (en) * | 2014-06-23 | 2015-12-24 | Siemens Medical Solutions Usa, Inc. | Valve regurgitant detection for echocardiography |
CN105913084A (zh) * | 2016-04-11 | 2016-08-31 | 福州大学 | 一种基于密集轨迹和dhog的超声心动视频影像分类方法 |
US20180064412A1 (en) * | 2015-04-02 | 2018-03-08 | Cardiawave | Method and apparatus for treating valvular disease |
CN108171141A (zh) * | 2017-12-25 | 2018-06-15 | 淮阴工学院 | 基于注意力模型的级联多模式融合的视频目标跟踪方法 |
-
2020
- 2020-04-29 CN CN202010353559.8A patent/CN111493935B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2434454A2 (en) * | 2010-09-27 | 2012-03-28 | Siemens Corporation | Computerized characterization of cardiac motion in medical diagnostic ultrasound |
WO2012085798A1 (en) * | 2010-12-23 | 2012-06-28 | Koninklijke Philips Electronics N.V. | Automated identification of the location of a regurgitant orifice of a mitral valve in an ultrasound image |
CN103824284A (zh) * | 2014-01-26 | 2014-05-28 | 中山大学 | 一种基于视觉注意力模型的关键帧提取方法和*** |
US20150366532A1 (en) * | 2014-06-23 | 2015-12-24 | Siemens Medical Solutions Usa, Inc. | Valve regurgitant detection for echocardiography |
US20180064412A1 (en) * | 2015-04-02 | 2018-03-08 | Cardiawave | Method and apparatus for treating valvular disease |
CN105913084A (zh) * | 2016-04-11 | 2016-08-31 | 福州大学 | 一种基于密集轨迹和dhog的超声心动视频影像分类方法 |
CN108171141A (zh) * | 2017-12-25 | 2018-06-15 | 淮阴工学院 | 基于注意力模型的级联多模式融合的视频目标跟踪方法 |
Non-Patent Citations (3)
Title |
---|
IMAMURA, T 等: "《ANNALS OF THORACIC SURGERY》", 31 March 2020 * |
刘博罕 等: "心力衰竭的影像学评价", 《中国医学影像学杂志》 * |
罗会兰 等: "基于深度学习的视频中人体动作", 《电子学报》 * |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112101413A (zh) * | 2020-08-12 | 2020-12-18 | 海南大学 | 面向脑卒中风险预测的智能*** |
CN112258476A (zh) * | 2020-10-22 | 2021-01-22 | 大连东软教育科技集团有限公司 | 超声心动图心肌异常运动模式分析方法、***及存储介质 |
CN112258476B (zh) * | 2020-10-22 | 2024-07-09 | 东软教育科技集团有限公司 | 超声心动图心肌异常运动模式分析方法、***及存储介质 |
CN112435247B (zh) * | 2020-11-30 | 2022-03-25 | 中国科学院深圳先进技术研究院 | 一种卵圆孔未闭检测方法、***、终端以及存储介质 |
CN112435247A (zh) * | 2020-11-30 | 2021-03-02 | 中国科学院深圳先进技术研究院 | 一种卵圆孔未闭检测方法、***、终端以及存储介质 |
CN112419313A (zh) * | 2020-12-10 | 2021-02-26 | 清华大学 | 一种基于先心病超声的多切面的分类方法 |
CN112489043A (zh) * | 2020-12-21 | 2021-03-12 | 无锡祥生医疗科技股份有限公司 | 心脏疾病检测装置、模型训练方法及存储介质 |
CN113180737A (zh) * | 2021-05-06 | 2021-07-30 | 中国人民解放军总医院 | 基于人工智能的卵圆孔闭合检测方法、***、设备及介质 |
CN113180737B (zh) * | 2021-05-06 | 2022-02-08 | 中国人民解放军总医院 | 基于人工智能的卵圆孔闭合检测方法、***、设备及介质 |
CN113487665B (zh) * | 2021-06-04 | 2022-03-11 | 中国人民解放军总医院 | 一种管腔缺口的测量方法、装置、设备和介质 |
CN113487665A (zh) * | 2021-06-04 | 2021-10-08 | 中国人民解放军总医院 | 一种管腔缺口的测量方法、装置、设备和介质 |
CN114469176A (zh) * | 2021-12-31 | 2022-05-13 | 深圳度影医疗科技有限公司 | 一种胎儿心脏超声图像的检测方法及相关装置 |
CN114469176B (zh) * | 2021-12-31 | 2024-07-05 | 深圳度影医疗科技有限公司 | 一种胎儿心脏超声图像的检测方法及相关装置 |
CN114666571A (zh) * | 2022-03-07 | 2022-06-24 | 中国科学院自动化研究所 | 视频敏感内容检测方法及*** |
CN114723710A (zh) * | 2022-04-11 | 2022-07-08 | 安徽鲲隆康鑫医疗科技有限公司 | 基于神经网络的超声视频关键帧的检测方法和装置 |
CN115797330A (zh) * | 2022-12-30 | 2023-03-14 | 北京百度网讯科技有限公司 | 基于超声视频的算法修正方法、超声视频生成方法和设备 |
CN115797330B (zh) * | 2022-12-30 | 2024-04-05 | 北京百度网讯科技有限公司 | 基于超声视频的算法修正方法、超声视频生成方法和设备 |
Also Published As
Publication number | Publication date |
---|---|
CN111493935B (zh) | 2021-01-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111493935B (zh) | 基于人工智能的超声心动图自动预测识别方法及*** | |
KR101908680B1 (ko) | 약한 지도 학습 기반의 기계 학습 방법 및 그 장치 | |
US20230104045A1 (en) | System and method for ultrasound analysis | |
US9510756B2 (en) | Method and system for diagnosis of attention deficit hyperactivity disorder from magnetic resonance images | |
US11508061B2 (en) | Medical image segmentation with uncertainty estimation | |
Liao et al. | On modelling label uncertainty in deep neural networks: Automatic estimation of intra-observer variability in 2d echocardiography quality assessment | |
CN111612756B (zh) | 冠状动脉特异性钙化检测方法及装置 | |
CA3129213A1 (en) | Neural network image analysis | |
Jafari et al. | Deep Bayesian image segmentation for a more robust ejection fraction estimation | |
Sharma et al. | A novel solution of using deep learning for left ventricle detection: enhanced feature extraction | |
US11995823B2 (en) | Technique for quantifying a cardiac function from CMR images | |
Lin et al. | Echocardiography-based AI detection of regional wall motion abnormalities and quantification of cardiac function in myocardial infarction | |
CN113052227A (zh) | 一种基于SE-ResNet的肺结核识别方法 | |
US20240127432A1 (en) | Image sequence analysis | |
CN113222985B (zh) | 一种图像处理方法、装置、计算机设备和介质 | |
Hatfaludi et al. | Deep learning based aortic valve detection and state classification on echocardiographies | |
Almadani et al. | Deep Video Action Recognition Models for Assessing Cardiac Function from Echocardiograms | |
Sapitri et al. | Detection of fetal cardiac chamber three vessel trachea view using deep learning | |
KR102502880B1 (ko) | 베이지안 최대엔트로피모델 추정 및 뇌 기능 동적 특성 평가 방법 | |
Zhang et al. | Image quality assessment for population cardiac magnetic resonance imaging | |
US20230196557A1 (en) | Late Gadolinium Enhancement Analysis for Magnetic Resonance Imaging | |
US20220338816A1 (en) | Fully automated cardiac function and myocardium strain analyses using deep learning | |
Anton et al. | Automated quantification of myocardial tissue characteristics from native T1 mapping using neural networks with Bayesian inference for uncertainty-based quality-control | |
Van De Vyver et al. | Regional quality estimation for echocardiography using deep learning | |
Thennakoon et al. | Automatic classification of left ventricular function of the human heart using echocardiography |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |