CN117078664B - 计算机可读存储介质、超声图像质量评估装置及电子设备 - Google Patents
计算机可读存储介质、超声图像质量评估装置及电子设备 Download PDFInfo
- Publication number
- CN117078664B CN117078664B CN202311322232.4A CN202311322232A CN117078664B CN 117078664 B CN117078664 B CN 117078664B CN 202311322232 A CN202311322232 A CN 202311322232A CN 117078664 B CN117078664 B CN 117078664B
- Authority
- CN
- China
- Prior art keywords
- image
- evaluated
- quality evaluation
- sample
- focus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013441 quality evaluation Methods 0.000 title claims abstract description 163
- 238000012545 processing Methods 0.000 claims abstract description 46
- 238000000034 method Methods 0.000 claims abstract description 25
- 238000004590 computer program Methods 0.000 claims abstract description 14
- 238000001303 quality assessment method Methods 0.000 claims abstract description 12
- 239000013598 vector Substances 0.000 claims description 83
- 238000002604 ultrasonography Methods 0.000 claims description 77
- 238000003062 neural network model Methods 0.000 claims description 36
- 238000012549 training Methods 0.000 claims description 15
- 230000011218 segmentation Effects 0.000 claims description 13
- 230000003902 lesion Effects 0.000 claims description 12
- 239000000523 sample Substances 0.000 description 120
- 238000011156 evaluation Methods 0.000 description 13
- 238000000605 extraction Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 11
- 238000003384 imaging method Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 210000000481 breast Anatomy 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 210000001685 thyroid gland Anatomy 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- 230000003187 abdominal effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000005865 ionizing radiation Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000012285 ultrasound imaging Methods 0.000 description 1
- 230000002792 vascular Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Radiology & Medical Imaging (AREA)
- Life Sciences & Earth Sciences (AREA)
- Quality & Reliability (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Processing (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Image Analysis (AREA)
Abstract
本申请提供一种计算机可读存储介质、超声图像质量评估装置及电子设备,应用于图像处理技术领域,其中,计算机可读存储介质存储计算机程序指令,计算机程序指令被计算机运行时,使计算机执行超声图像质量评估方法;超声图像质量评估方法包括:获取待评估超声图像;将待评估超声图像输入图像分类网络中,得到图像分类网络输出的图像分类结果;将待评估超声图像输入与所述图像分类结果对应的图像质量评估网络中,得到图像质量评估网络输出的质量评估结果;其中,所述图像质量评估网络包括无病灶图像质量评估网络以及有病灶图像质量评估网络。
Description
技术领域
本申请涉及图像处理技术领域,具体而言,涉及一种计算机可读存储介质、超声图像质量评估装置及电子设备。
背景技术
超声成像技术由于其便捷性、无创性和无电离辐射等多种优点在医学影像诊断领域中受到广大的欢迎,为医生通过医学临床检查,初步掌握病人病情和病灶,提供了极大的帮助。自20世纪以来,医学研究一直非常依赖于超声图像,在医学影像诊断中,医学超声影像技术的应用十分广泛;其中,超声成像应用领域主要包括了心脏影像,泌尿科,妇产科,腹部成像以及血管成像,并可以作为外科手术的指导手段之一。
然而在超声图像的成像过程中,由于超声成像原理的特性和超声探头仪器的限制,超声波在发射与接收过程中受体内组织的影响会有所损耗,且超声波的穿透能力有限,不能通过骨头或空气,因此得到的超声图像往往会含有大量伪影和散斑噪声,导致超声成像中组织结构和纹理细节遭到破坏,从而导致超声图像的图像质量较差。
发明内容
本申请实施例的目的在于提供一种计算机可读存储介质、超声图像质量评估装置及电子设备,用以解决现有技术中如何判断采集的超声图像的图像质量的技术问题。
第一方面,本申请实施例提供计算机可读存储介质,所述计算机可读存储介质存储计算机程序指令,所述计算机程序指令被计算机运行时,使所述计算机执行超声图像质量评估方法;所述超声图像质量评估方法,包括:获取待评估超声图像;将所述待评估超声图像输入图像分类网络中,得到所述图像分类网络输出的图像分类结果;将所述待评估超声图像输入与所述图像分类结果对应的图像质量评估网络中,得到所述图像质量评估网络输出的质量评估结果;其中,所述图像质量评估网络包括无病灶图像质量评估网络以及有病灶图像质量评估网络;所述将所述待评估超声图像输入与所述图像分类结果对应的图像质量评估网络中,得到所述图像质量评估网络输出的质量评估结果,包括:若所述图像分类结果表征所述待评估超声图像为无病灶图像,则对所述待评估超声图像进行图像处理,得到与所述待评估超声图像对应的多张第一处理图像;其中,所述多张第一处理图像的清晰度不相同;分别对所述多张第一处理图像进行特征提取,得到每张第一处理图像对应的第一特征向量;计算多个第一特征向量之间的欧氏距离,并根据所述欧氏距离计算所述待评估超声图像对应的所述质量评估结果;或者,若所述图像分类结果表征所述待评估超声图像为有病灶图像,则根据所述待评估超声图像生成对应的病灶图像;对所述病灶图像进行图像处理,得到与所述病灶图像对应的多张第二处理图像;其中,所述多张第二处理图像的清晰度不相同;分别对所述多张第二处理图像进行特征提取,得到每张第二处理图像对应的第二特征向量;计算多个第二特征向量之间的欧氏距离,并根据所述欧氏距离计算所述待评估超声图像对应的所述质量评估结果。
在上述方案中,在获取到待评估超声图像之后,可以先利用图像分类网络对待评估超声图像进行分类,然后再基于图像分类结果对上述待评估超声图像进行质量评估,从而可以实现对采集的超声图像的图像质量进行判断的目的。其中,针对无病灶图像,可以通过对待评估超声图像进行清晰度处理,再通过计算欧氏距离确定待评估超声图像对应的质量评估结果,从而实现对不包含病灶的超声图像进行整体图像的清晰度评估,以实现对无病灶图像的质量评估;针对有病灶图像,可以先根据待评估超声图像生成病灶图像,并通过对病灶图像进行清晰度处理,再通过计算欧氏距离确定待评估超声图像对应的质量评估结果,从而实现对包含病灶的超声图像进行病灶区域的清晰度评估,以实现对有病灶图像的质量评估。
在可选的实施方式中,所述根据所述待评估超声图像生成对应的病灶图像,包括:对所述待评估超声图像进行病灶区域分割,得到对应的病灶掩膜;基于所述病灶掩膜对所述待评估超声图像进行病灶区域提取,得到所述病灶图像。在上述方案中,针对有病灶图像,可以通过对待评估超声图像进行病灶区域分割以及病灶区域提取,从而可以得到待评估超声图像中病灶区域对应的病灶图像,以实现对包含病灶的超声图像进行病灶区域的清晰度评估。
在可选的实施方式中,所述超声图像质量评估方法还包括:利用如下步骤对神经网络模型进行训练,得到所述图像质量评估网络:获取样本图像以及对应的样本标签;将所述样本图像以及所述样本标签输入所述神经网络模型中,得到多个样本向量以及预测标签;其中,所述多个样本向量为多个清晰度的样本图像分别对应的特征向量;根据所述样本标签以及所述预测标签计算第一损失值,以及,根据所述多个样本向量计算第二损失值;根据所述第一损失值以及所述第二损失值对所述神经网络模型进行优化,得到所述图像质量评估网络。在上述方案中,可以事先对神经网络模型进行训练,以得到训练好的图像质量评估网络;因此,可以利用上述图像质量评估网络对待评估超声图像进行质量评估,从而可以实现对采集的超声图像的图像质量进行判断的目的。
在可选的实施方式中,所述根据所述样本标签以及所述预测标签计算第一损失值,包括:利用如下公式计算所述第一损失值:
;
其中,表示所述第一损失值,/>表示所述样本标签,/>表示所述预测标签。在上述方案中,可以使用样本标签以及预测标签之间的二进制交叉熵损失来得到第一损失值。
在可选的实施方式中,所述根据所述多个样本向量计算第二损失值,包括:利用如下公式计算所述第二损失值:
;
其中,表示所述第二损失值,/>表示清晰度最高的样本图像对应的样本向量,/>表示清晰度中等的样本图像对应的样本向量,/>表示清晰度最低的样本图像对应的样本向量,/>表示两个样本向量之间的余弦相似性,/>表示样本图像的数量,/>表示/>个样本图像中的最高质量评估结果,/>表示当前样本图像。在上述方案中,可以使用多个清晰度的样本图像对应的样本向量之间的群体对比损失来得到第二损失值。
在可选的实施方式中,所述根据所述第一损失值以及所述第二损失值对所述神经网络模型进行优化,得到所述图像质量评估网络,包括:根据所述第一损失值以及所述第二损失值确定所述图像质量评估网络对应的组合损失值;根据所述组合损失值对所述神经网络模型进行优化;其中,所述根据所述第一损失值以及所述第二损失值确定所述图像质量评估网络对应的组合损失值,包括:利用如下公式计算所述组合损失值:
;
其中,表示所述组合损失值,/>表示所述第一损失值,/>表示所述第二损失值,为用于合并损失的超参数。
第二方面,本申请实施例提供一种超声图像质量评估装置,包括:获取模块,用于获取待评估超声图像;第一输入模块,用于将所述待评估超声图像输入图像分类网络中,得到所述图像分类网络输出的图像分类结果;第二输入模块,用于将所述待评估超声图像输入与所述图像分类结果对应的图像质量评估网络中,得到所述图像质量评估网络输出的质量评估结果;其中,所述图像质量评估网络包括无病灶图像质量评估网络以及有病灶图像质量评估网络;所述第二输入模块具体用于:若所述图像分类结果表征所述待评估超声图像为无病灶图像,则对所述待评估超声图像进行图像处理,得到与所述待评估超声图像对应的多张第一处理图像;其中,所述多张第一处理图像的清晰度不相同;分别对所述多张第一处理图像进行特征提取,得到每张第一处理图像对应的第一特征向量;计算多个第一特征向量之间的欧氏距离,并根据所述欧氏距离计算所述待评估超声图像对应的所述质量评估结果;或者,若所述图像分类结果表征所述待评估超声图像为有病灶图像,则根据所述待评估超声图像生成对应的病灶图像;对所述病灶图像进行图像处理,得到与所述病灶图像对应的多张第二处理图像;其中,所述多张第二处理图像的清晰度不相同;分别对所述多张第二处理图像进行特征提取,得到每张第二处理图像对应的第二特征向量;计算多个第二特征向量之间的欧氏距离,并根据所述欧氏距离计算所述待评估超声图像对应的所述质量评估结果。
在上述方案中,在获取到待评估超声图像之后,可以先利用图像分类网络对待评估超声图像进行分类,然后再基于图像分类结果对上述待评估超声图像进行质量评估,从而可以实现对采集的超声图像的图像质量进行判断的目的。其中,针对无病灶图像,可以通过对待评估超声图像进行清晰度处理,再通过计算欧氏距离确定待评估超声图像对应的质量评估结果,从而实现对不包含病灶的超声图像进行整体图像的清晰度评估,以实现对无病灶图像的质量评估;针对有病灶图像,可以先根据待评估超声图像生成病灶图像,并通过对病灶图像进行清晰度处理,再通过计算欧氏距离确定待评估超声图像对应的质量评估结果,从而实现对包含病灶的超声图像进行病灶区域的清晰度评估,以实现对有病灶图像的质量评估。
在可选的实施方式中,所述第二输入模块还用于:对所述待评估超声图像进行病灶区域分割,得到对应的病灶掩膜;基于所述病灶掩膜对所述待评估超声图像进行病灶区域提取,得到所述病灶图像。在上述方案中,针对有病灶图像,可以通过对待评估超声图像进行病灶区域分割以及病灶区域提取,从而可以得到待评估超声图像中病灶区域对应的病灶图像,以实现对包含病灶的超声图像进行病灶区域的清晰度评估。
在可选的实施方式中,所述超声图像质量评估装置还包括:训练模块,用于利用如下步骤对神经网络模型进行训练,得到所述图像质量评估网络:获取样本图像以及对应的样本标签;将所述样本图像以及所述样本标签输入所述神经网络模型中,得到多个样本向量以及预测标签;其中,所述多个样本向量为多个清晰度的样本图像分别对应的特征向量;根据所述样本标签以及所述预测标签计算第一损失值,以及,根据所述多个样本向量计算第二损失值;根据所述第一损失值以及所述第二损失值对所述神经网络模型进行优化,得到所述图像质量评估网络。在上述方案中,可以事先对神经网络模型进行训练,以得到训练好的图像质量评估网络;因此,可以利用上述图像质量评估网络对待评估超声图像进行质量评估,从而可以实现对采集的超声图像的图像质量进行判断的目的。
在可选的实施方式中,所述训练模块还用于:利用如下公式计算所述第一损失值:
;
其中,表示所述第一损失值,/>表示所述样本标签,/>表示所述预测标签。在上述方案中,可以使用样本标签以及预测标签之间的二进制交叉熵损失来得到第一损失值。
在可选的实施方式中,所述训练模块还用于:利用如下公式计算所述第二损失值:
;
其中,表示所述第二损失值,/>表示清晰度最高的样本图像对应的样本向量,/>表示清晰度中等的样本图像对应的样本向量,/>表示清晰度最低的样本图像对应的样本向量,/>表示两个样本向量之间的余弦相似性,/>表示样本图像的数量,/>表示/>个样本图像中的最高质量评估结果,/>表示当前样本图像。在上述方案中,可以使用多个清晰度的样本图像对应的样本向量之间的群体对比损失来得到第二损失值。
在可选的实施方式中,所述训练模块还用于:根据所述第一损失值以及所述第二损失值确定所述图像质量评估网络对应的组合损失值;根据所述组合损失值对所述神经网络模型进行优化;其中,所述训练模块还用于:利用如下公式计算所述组合损失值:
;
其中,表示所述组合损失值,/>表示所述第一损失值,/>表示所述第二损失值,为用于合并损失的超参数。
第三方面,本申请实施例提供一种电子设备,包括:处理器和存储器;所述存储器存储有如第一方面任一项所述的计算机可读存储介质中的计算机程序指令,所述处理器调用所述计算机程序指令能够执行所述超声图像质量评估方法。
为使本申请的上述目的、特征和优点能更明显易懂,下文特举本申请实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种超声图像质量评估方法的流程图;
图2为本申请实施例提供的一种超声图像质量评估方法的示意图;
图3为本申请实施例提供的一种超声图像质量评估装置的结构框图;
图4为本申请实施例提供的一种电子设备的结构框图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述。
本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质存储计算机程序指令,所述计算机程序指令被计算机运行时,使所述计算机执行本申请实施例所述的超声图像质量评估方法。下面对本申请实施例提供的超声图像质量评估方法进行介绍。
请参照图1,图1为本申请实施例提供的一种超声图像质量评估方法的流程图,该超声图像质量评估方法可以包括如下步骤:
步骤S101:获取待评估超声图像。
步骤S102:将待评估超声图像输入图像分类网络中,得到图像分类网络输出的图像分类结果。
步骤S103:将待评估超声图像输入与图像分类结果对应的图像质量评估网络中,得到图像质量评估网络输出的质量评估结果。
具体的,在上述步骤S101中,待评估超声图像可以为利用超声成像技术采集的且需要进行质量评估的超声图像,其中,本申请实施例对上述待评估超声图像的类型不作具体的限定,例如:待评估超声图像可以为乳腺超声图像、甲状腺超声图像、血管造影图像等。
此外,本申请实施例对获取待评估超声图像的具体实施方式同样不作具体的限定,本领域技术人员可以根据实际情况进行合适的调整。举例来说,可以接收外部设备发送的待评估超声图像;或者,可以读取本地或者云端事先存储的待评估超声图像;或者,可以实时采集待评估超声图像等。
在上述步骤S102中,图像分类网络用于对上述待评估超声图像进行分类,从而可以得到针对上述待评估超声图像的图像分类结果。可以理解的是,根据用户需求的不同,上述图像分类网络针对待评估超声图像的图像分类结果可以不同;举例来说,图像分类结果可以包括无病灶图像以及有病灶图像;或者,图像分类结果可以包括乳腺图像、甲状腺图像等。
需要说明的是,本申请实施例对上述图像分类网络的具体实施方式不作具体的限定,本领域技术人员可以根据实际情况进行合适的调整,例如:随机森林网络、支持向量机(Support Vector Machine,SVM)网络、残差网络(Residual Network,ResNet)等。下面以图像分类网络采用ResNet为例,对图像分类网络的具体实现方式进行介绍。
ResNet是图像分类网络中极具影响力的一种网络架构,其主要贡献是提出了残差学习模块,在网络中增加了直连通道,将原始输入信息直接传到后面的层中,通过直接将输入信息绕道传到输出,保护信息的完整性,整个网络只需要学习输入、输出差别的那一部分,简化学习目标和难度,有效解决了卷积神经网络在层数较深时的梯度消失带来的网络退化问题。
在本申请实施例中,可以采用ResNet50实现图像分类网络,作为一种实施方式,ResNet50可以包括预处理模块、残差模块以及全连接层;其中,预处理模块可以包括一个卷积大小为7×7、步长为2的卷积层和一个卷积大小为3×3、步长为2的最大池化层;在预处理模块之后可以连接四个残差模块,每个残差模块都可以包括卷积块(Conv Block)和身份识别块(Identity Block);四个残差模块之后可以连接一层全连接层,输出的节点个数为类别个数。
在上述步骤S103中,图像质量评估网络用于对上述待评估超声图像进行质量评估,从而可以得到针对上述待评估超声图像的质量评估结果。可以理解的是,根据用户需求的不同,上述图像质量评估网络针对待评估超声图像的质量评估结果可以不同;举例来说,质量评估结果可以包括对待评估超声图像大小的评估结果;或者,质量评估结果可以包括对待评估超声图像清晰度的评估结果等。
此外,作为一种实施方式,图像质量评估网络可以包括一个网络,该网络即可以针对各种图像分类结果对应的待评估超声图像进行质量评估;作为另一种实施方式,图像质量评估网络可以包括多个网络,每个网络可以分别针对一种图像分类结果对应的待评估超声图像进行质量评估。
以图像分类结果包括无病灶图像以及有病灶图像为例,图像质量评估网络可以包括无病灶图像质量评估网络以及有病灶图像质量评估网络;其中,无病灶图像质量评估网络用于对无病灶图像进行质量评估,有病灶图像质量评估网络用于对有病灶图像进行质量评估。
在上述方案中,在获取到待评估超声图像之后,可以先利用图像分类网络对待评估超声图像进行分类,然后再基于图像分类结果对上述待评估超声图像进行质量评估,从而可以实现对采集的超声图像的图像质量进行判断的目的。
进一步的,在上述实施例的基础上,作为一种实施方式,图像质量评估网络可以包括无病灶图像质量评估网络,此时,上述步骤S103具体可以包括如下步骤:
步骤1),若图像分类结果表征待评估超声图像为无病灶图像,则对待评估超声图像进行图像处理,得到与待评估超声图像对应的多张第一处理图像;其中,多张第一处理图像的清晰度不相同。
步骤2),分别对多张第一处理图像进行特征提取,得到每张第一处理图像对应的第一特征向量。
步骤3),计算多个第一特征向量之间的欧氏距离,并根据欧氏距离计算待评估超声图像对应的质量评估结果。
具体的,在上述步骤1)中,可以对待评估超声图像进行图像处理,得到与待评估超声图像对应的多张清晰度不相同的第一处理图像。其中,本申请实施例对上述图像处理的具体实施方式不作具体的限定,本领域技术人员可以根据实际情况进行合适的调整,例如:对图像进行模糊处理、对图像进行缩放处理、对图像进行裁剪处理等。
举例来说,可以对输入的待评估超声图像进行多清晰度质量级别生成,生成3个清晰度尺度的超声图像,分别为:原始的待评估超声图像、清晰度比待评估超声图像低的第一处理图像、清晰度比待评估超声图像高的第一处理图像。
在上述步骤2)中,可以分别对多张第一处理图像进行特征提取,从而得到每张第一处理图像对应的第一特征向量。举例来说,可以利用特征提取器分别对3个清晰度尺度的超声图像进行特征提取,将3个清晰度尺度的超声图像映射到特征空间中,得到3个清晰度尺度的超声图像分别对应的3组特征向量。
在上述步骤3)中,可以使用特征空间中的欧氏距离来测量多个第一特征向量之间的距离,并根据上述测量得到的欧氏距离计算待评估超声图像对应的质量评估结果。
举例来说,可以使用特征空间中的欧氏距离来测量失真图像(即清晰度比待评估超声图像低的第一处理图像)与原始的待评估超声图像之间的距离,以及,增强图像(即清晰度比待评估超声图像高的第一处理图像)与原始的待评估超声图像之间的距离;然后,可以通过Sigmoid函数将上述计算得到的距离转换为概率/>。
作为一种实施方式,可以利用如下公式计算上述概率:
。
最后,根据上述概率可以得到待评估超声图像对应的质量评估结果。需要说明的是,本申请实施例对上述质量评估结果的具体实施方式不作具体的限定,本领域技术人员可以根据实际情况进行合适的调整。举例来说,可以根据上述概率/>计算待评估超声图像的质量得分,作为待评估超声图像对应的质量评估结果;或者,可以直接将上述概率/>作为待评估超声图像对应的质量评估结果等。
在上述方案中,针对无病灶图像,可以通过对待评估超声图像进行清晰度处理,再通过计算欧氏距离确定待评估超声图像对应的质量评估结果,从而实现对不包含病灶的超声图像进行整体图像的清晰度评估,以实现对无病灶图像的质量评估。
进一步的,在上述实施例的基础上,作为另一种实施方式,图像质量评估网络包括可以有病灶图像质量评估网络,此时,上述步骤S103具体可以包括如下步骤:
步骤1),若图像分类结果表征待评估超声图像为有病灶图像,则根据待评估超声图像生成对应的病灶图像。
步骤2),对病灶图像进行图像处理,得到与病灶图像对应的多张第二处理图像;其中,多张第二处理图像的清晰度不相同。
步骤3),分别对多张第二处理图像进行特征提取,得到每张第二处理图像对应的第二特征向量。
步骤4),计算多个第二特征向量之间的欧氏距离,并根据欧氏距离计算待评估超声图像对应的质量评估结果。
具体的,在上述步骤1)中,可以根据待评估超声图像生成对应的病灶图像,其中,病灶图像可以为待评估超声图像中病灶区域对应的图像。
需要说明的是,本申请实施例对生成病灶图像的具体实施方式不作具体的限定,本领域技术人员可以根据实际情况进行合适的调整。举例来说,可以利用分割网络从待评估超声图像中分割得到对应的病灶图像;或者,可以利用分割网络从待评估超声图像中分割得到对应的病灶区域后,再提取感兴趣区域进行裁剪,得到对应的病灶图像等。
在上述步骤2)中,可以对病灶图像进行图像处理,得到与病灶图像对应的多张清晰度不相同的第二处理图像。其中,本申请实施例对上述图像处理的具体实施方式不作具体的限定,本领域技术人员可以根据实际情况进行合适的调整,例如:对图像进行模糊处理、对图像进行缩放处理、对图像进行裁剪处理等。
举例来说,可以对输入的病灶图像进行多清晰度质量级别生成,生成3个清晰度尺度的超声图像,分别为:原始的病灶图像、清晰度比病灶图像低的第二处理图像、清晰度比病灶图像高的第二处理图像。
在上述步骤3)中,可以分别对多张第二处理图像进行特征提取,从而得到每张第二处理图像对应的第二特征向量。举例来说,可以利用特征提取器分别对3个清晰度尺度的超声图像进行特征提取,将3个清晰度尺度的超声图像映射到特征空间中,得到3个清晰度尺度的超声图像分别对应的3组特征向量。
在上述步骤4)中,可以使用特征空间中的欧氏距离来测量多个第二特征向量之间的距离,并根据上述测量得到的欧氏距离计算待评估超声图像对应的质量评估结果。
举例来说,可以使用特征空间中的欧氏距离来测量失真图像(即清晰度比病灶图像低的第二处理图像)与原始的病灶图像之间的距离,以及,增强图像(即清晰度比病灶图像高的第二处理图像)与原始的病灶图像之间的距离/>;然后,可以通过Sigmoid函数将上述计算得到的距离转换为概率/>。
作为一种实施方式,可以利用如下公式计算上述概率:
。
最后,根据上述概率可以得到待评估超声图像对应的质量评估结果。需要说明的是,本申请实施例对上述质量评估结果的具体实施方式不作具体的限定,本领域技术人员可以根据实际情况进行合适的调整。举例来说,可以根据上述概率/>计算待评估超声图像的质量得分,作为待评估超声图像对应的质量评估结果;或者,可以直接将上述概率/>作为待评估超声图像对应的质量评估结果等。
在上述方案中,针对有病灶图像,可以先根据待评估超声图像生成病灶图像,并通过对病灶图像进行清晰度处理,再通过计算欧氏距离确定待评估超声图像对应的质量评估结果,从而实现对包含病灶的超声图像进行病灶区域的清晰度评估,以实现对有病灶图像的质量评估。
进一步的,在上述实施例的基础上,上述根据待评估超声图像生成对应的病灶图像的步骤,具体可以包括如下步骤:
步骤1),对待评估超声图像进行病灶区域分割,得到对应的病灶掩膜。
步骤2),基于病灶掩膜对待评估超声图像进行病灶区域提取,得到病灶图像。
具体的,在上述步骤1)中,可以利用分割网络对待评估超声图像进行像素级病灶区域分割,从而得到对应的病灶掩膜。
作为一种实施方式,可以采用Unet分割网络。其中,Unet网络可以采用编码器-解码器结构:前半部分做特征提取,由两个卷积大小为3×3的卷积层再加上一个卷积大小为2×2的最大池化(Max Pooling)层组成一个下采样模块;后半部分做上采样,由一个上采样的卷积层、特征图拼接及两个3x3的卷积层反复构成;随着网络层加深获取到更大的视野域的同时,通过浅层卷积特征图拼接的方式找回浅层网络关注的纹理、边缘特征等。
在上述步骤2)中,可以基于分割获取的病灶掩膜对待评估超声图像进行病灶感兴趣区域(Region of Interest,ROI)提取并进行裁剪,从而可以得到对应的病灶图像。
在上述方案中,针对有病灶图像,可以通过对待评估超声图像进行病灶区域分割以及病灶区域提取,从而可以得到待评估超声图像中病灶区域对应的病灶图像,以实现对包含病灶的超声图像进行病灶区域的清晰度评估。
进一步的,在上述实施例的基础上,超声图像质量评估方法还可以包括如下步骤:利用如下步骤对神经网络模型进行训练,得到图像质量评估网络:
步骤1),获取样本图像以及对应的样本标签。
步骤2),将样本图像以及样本标签输入神经网络模型中,得到多个样本向量以及预测标签;其中,多个样本向量为多个清晰度的样本图像分别对应的特征向量。
步骤3),根据样本标签以及预测标签计算第一损失值,以及,根据多个样本向量计算第二损失值。
步骤4),根据第一损失值以及第二损失值对神经网络模型进行优化,得到图像质量评估网络。
具体的,在上述步骤1)中,样本图像是指已知图像分类结果的超声图像,样本标签是指样本图像对应的质量评估结果。
需要说明的是,本申请实施例对获取样本图像以及对应的样本标签的具体实施方式同样不作具体的限定,本领域技术人员可以根据实际情况进行合适的调整。举例来说,可以接收外部设备发送的样本图像以及对应的样本标签;或者,可以读取本地或者云端事先存储的样本图像以及对应的样本标签等。
在上述步骤2)中,可以将样本图像以及样本标签输入神经网络模型中,从而可以得到上述神经网络模型输出的多个样本向量以及预测标签。其中,上述神经网络模型的结构与图像质量评估网络的结构相同,两者的区别仅在于内部参数不相同。
基于上述实施例,若样本图像为无病灶图像,则神经网络模型可以对样本图像进行图像处理,得到与样本图像对应的多张清晰度不相同的处理图像;然后,神经网络模型可以分别对上述多张处理图像进行特征提取,得到每张处理图像对应的样本向量;最后,神经网络模型可以计算上述多个特征向量之间的欧氏距离,并根据欧氏距离计算样本图像对应的预测标签。
若样本图像为有病灶图像,则神经网络模型可以根据样本图像生成对应的病灶图像,并对病灶图像进行图像处理,得到与病灶图像对应的多张清晰度不相同的处理图像;然后,神经网络模型可以分别对上述多张处理图像进行特征提取,得到每张处理图像对应的样本向量;最后,神经网络模型可以计算上述多个特征向量之间的欧氏距离,并根据欧氏距离计算样本图像对应的预测标签。
在上述步骤3)中,可以根据上述步骤1)中获取到的样本标签以及上述步骤2)中计算到的预测标签计算第一损失值;同时,可以根据上述步骤2)中提取到的多个样本向量计算第二损失值。
需要说明的是,本申请实施例对计算上述第一损失值以及第二损失值的具体实施方式不作具体的限定,本领域技术人员可以根据实际情况进行合适的调整。举例来说,可以根据交叉熵损失函数计算上述第一损失值以及第二损失值;或者,可以根据均方差损失函数计算上述第一损失值以及第二损失值等。
在上述步骤4)中,根据上述第一损失值以及第二损失值可以对神经网络模型进行优化,从而得到训练好的图像质量评估网络。
在上述方案中,可以事先对神经网络模型进行训练,以得到训练好的图像质量评估网络;因此,可以利用上述图像质量评估网络对待评估超声图像进行质量评估,从而可以实现对采集的超声图像的图像质量进行判断的目的。
进一步的,在上述实施例的基础上,上述根据样本标签以及预测标签计算第一损失值的步骤,具体可以包括如下步骤:
利用如下公式计算第一损失值:
;
其中,表示第一损失值,/>表示样本标签,/>表示预测标签。
具体的,可以使用真实额样本标签和预测概率之间的二进制交叉熵损失来得到秩损失(Ranking Loss)。
在上述方案中,可以使用样本标签以及预测标签之间的二进制交叉熵损失来得到第一损失值。
进一步的,在上述实施例的基础上,上述根据多个样本向量计算第二损失值的步骤,具体可以包括如下步骤:
利用如下公式计算第二损失值:
;
其中,表示第二损失值,/>表示清晰度最高的样本图像对应的样本向量,/>表示清晰度中等的样本图像对应的样本向量,/>表示清晰度最低的样本图像对应的样本向量,/>表示两个样本向量之间的余弦相似性,/>表示样本图像的数量,/>表示/>个样本图像中的最高质量评估结果,/>表示当前样本图像。
具体的,可以将群体对比损失(Group Contrastive Loss,GC损失)引入超声图像质量评估网络中,其中,GC损失最小化从同一组图像中提取的特征之间的距离,同时最大化来自不同组的特征之间的距离。
在上述方案中,可以使用多个清晰度的样本图像对应的样本向量之间的群体对比损失来得到第二损失值。
进一步的,在上述实施例的基础上,图像质量评估网络的组合损失为:
;
其中,为用于合并损失的超参数。
请参照图2,图2为本申请实施例提供的一种超声图像质量评估方法的示意图。基于该示意图,本申请实施例提供的超声图像质量评估方法可以包括如下内容:
首先,可以向图像分类网络输入待评估超声图像,图像分类网络可以对待评估超声图像进行分类(无病灶图像或者有病灶图像);若待评估超声图像为无病灶图像,则可以将待评估超声图像输入全局图像得分回归网络,从而得到全局超声图像质量得分;若待评估超声图像为有病灶图像,则可以将待评估超声图像输入病灶分割网络,再提取病灶ROI,最后将病灶ROI输入病灶ROI得分回归网络,从而得到病灶ROI质量得分。
请参照图3,图3为本申请实施例提供的一种超声图像质量评估装置的结构框图,该超声图像质量评估装置300可以包括:获取模块301,用于获取待评估超声图像;第一输入模块302,用于将所述待评估超声图像输入图像分类网络中,得到所述图像分类网络输出的图像分类结果;第二输入模块303,用于将所述待评估超声图像输入与所述图像分类结果对应的图像质量评估网络中,得到所述图像质量评估网络输出的质量评估结果;其中,所述图像质量评估网络包括无病灶图像质量评估网络以及有病灶图像质量评估网络;所述第二输入模块303具体用于:若所述图像分类结果表征所述待评估超声图像为无病灶图像,则对所述待评估超声图像进行图像处理,得到与所述待评估超声图像对应的多张第一处理图像;其中,所述多张第一处理图像的清晰度不相同;分别对所述多张第一处理图像进行特征提取,得到每张第一处理图像对应的第一特征向量;计算多个第一特征向量之间的欧氏距离,并根据所述欧氏距离计算所述待评估超声图像对应的所述质量评估结果;或者,若所述图像分类结果表征所述待评估超声图像为有病灶图像,则根据所述待评估超声图像生成对应的病灶图像;对所述病灶图像进行图像处理,得到与所述病灶图像对应的多张第二处理图像;其中,所述多张第二处理图像的清晰度不相同;分别对所述多张第二处理图像进行特征提取,得到每张第二处理图像对应的第二特征向量;计算多个第二特征向量之间的欧氏距离,并根据所述欧氏距离计算所述待评估超声图像对应的所述质量评估结果。
在上述方案中,在获取到待评估超声图像之后,可以先利用图像分类网络对待评估超声图像进行分类,然后再基于图像分类结果对上述待评估超声图像进行质量评估,从而可以实现对采集的超声图像的图像质量进行判断的目的。其中,针对无病灶图像,可以通过对待评估超声图像进行清晰度处理,再通过计算欧氏距离确定待评估超声图像对应的质量评估结果,从而实现对不包含病灶的超声图像进行整体图像的清晰度评估,以实现对无病灶图像的质量评估;针对有病灶图像,可以先根据待评估超声图像生成病灶图像,并通过对病灶图像进行清晰度处理,再通过计算欧氏距离确定待评估超声图像对应的质量评估结果,从而实现对包含病灶的超声图像进行病灶区域的清晰度评估,以实现对有病灶图像的质量评估。
进一步的,在上述实施例的基础上,所述第二输入模块303还用于:对所述待评估超声图像进行病灶区域分割,得到对应的病灶掩膜;基于所述病灶掩膜对所述待评估超声图像进行病灶区域提取,得到所述病灶图像。
在上述方案中,针对有病灶图像,可以通过对待评估超声图像进行病灶区域分割以及病灶区域提取,从而可以得到待评估超声图像中病灶区域对应的病灶图像,以实现对包含病灶的超声图像进行病灶区域的清晰度评估。
进一步的,在上述实施例的基础上,所述超声图像质量评估装置300还包括:训练模块,用于利用如下步骤对神经网络模型进行训练,得到所述图像质量评估网络:获取样本图像以及对应的样本标签;将所述样本图像以及所述样本标签输入所述神经网络模型中,得到多个样本向量以及预测标签;其中,所述多个样本向量为多个清晰度的样本图像分别对应的特征向量;根据所述样本标签以及所述预测标签计算第一损失值,以及,根据所述多个样本向量计算第二损失值;根据所述第一损失值以及所述第二损失值对所述神经网络模型进行优化,得到所述图像质量评估网络。
在上述方案中,可以事先对神经网络模型进行训练,以得到训练好的图像质量评估网络;因此,可以利用上述图像质量评估网络对待评估超声图像进行质量评估,从而可以实现对采集的超声图像的图像质量进行判断的目的。
进一步的,在上述实施例的基础上,所述训练模块还用于:利用如下公式计算所述第一损失值:
;
其中,表示所述第一损失值,/>表示所述样本标签,/>表示所述预测标签。
在上述方案中,可以使用样本标签以及预测标签之间的二进制交叉熵损失来得到第一损失值。
进一步的,在上述实施例的基础上,所述训练模块还用于:利用如下公式计算所述第二损失值:
;
其中,表示所述第二损失值,/>表示清晰度最高的样本图像对应的样本向量,/>表示清晰度中等的样本图像对应的样本向量,/>表示清晰度最低的样本图像对应的样本向量,/>表示两个样本向量之间的余弦相似性,/>表示样本图像的数量,/>表示/>个样本图像中的最高质量评估结果,/>表示当前样本图像。
在上述方案中,可以使用多个清晰度的样本图像对应的样本向量之间的群体对比损失来得到第二损失值。
进一步的,在上述实施例的基础上,所述训练模块还用于:根据所述第一损失值以及所述第二损失值确定所述图像质量评估网络对应的组合损失值;根据所述组合损失值对所述神经网络模型进行优化;其中,所述训练模块还用于:利用如下公式计算所述组合损失值:
;
其中,表示所述组合损失值,/>表示所述第一损失值,/>表示所述第二损失值,为用于合并损失的超参数。/>
请参照图4,图4为本申请实施例提供的一种电子设备的结构框图,该电子设备400包括:至少一个处理器401,至少一个通信接口402,至少一个存储器403和至少一个通信总线404。其中,通信总线404用于实现这些组件直接的连接通信,通信接口402用于与其他节点设备进行信令或数据的通信,存储器403存储有处理器401可执行的计算机程序指令。当电子设备400运行时,处理器401与存储器403之间通过通信总线404通信,计算机程序指令被处理器401调用时执行上述超声图像质量评估方法。
例如,本申请实施例的处理器401通过通信总线404从存储器403读取计算机程序并执行该计算机程序可以实现如下方法:步骤S101:获取待评估超声图像。步骤S102:将待评估超声图像输入图像分类网络中,得到图像分类网络输出的图像分类结果。步骤S103:将待评估超声图像输入与所述图像分类结果对应的图像质量评估网络中,得到图像质量评估网络输出的质量评估结果。
其中,处理器401包括一个或多个,其可以是一种集成电路芯片,具有信号的处理能力。上述的处理器401可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、微控制单元(Micro Controller Unit,简称MCU)、网络处理器(NetworkProcessor,简称NP)或者其他常规处理器;还可以是专用处理器,包括神经网络处理器(Neural-network Processing Unit,简称NPU)、图形处理器(Graphics Processing Unit,简称GPU)、数字信号处理器(Digital Signal Processor,简称DSP)、专用集成电路(Application Specific Integrated Circuits,简称ASIC)、现场可编程门阵列(FieldProgrammable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。并且,在处理器401为多个时,其中的一部分可以是通用处理器,另一部分可以是专用处理器。
存储器403包括一个或多个,其可以是,但不限于,随机存取存储器(RandomAccess Memory,简称RAM),只读存储器(Read Only Memory,简称ROM),可编程只读存储器(Programmable Read-Only Memory,简称PROM),可擦除可编程只读存储器(ErasableProgrammable Read-Only Memory,简称EPROM),电可擦除可编程只读存储器(ElectricErasable Programmable Read-Only Memory,简称EEPROM)等。
可以理解,图4所示的结构仅为示意,电子设备400还可包括比图4中所示更多或者更少的组件,或者具有与图4所示不同的配置。图4中所示的各组件可以采用硬件、软件或其组合实现。于本申请实施例中,电子设备400可以是,但不限于台式机、笔记本电脑、智能手机、智能穿戴设备、车载设备等实体设备,还可以是虚拟机等虚拟设备。另外,电子设备400也不一定是单台设备,还可以是多台设备的组合,例如服务器集群,等等。
在本申请所提供的实施例中,应该理解到,所揭露装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
另外,作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者,在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
需要说明的是,功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述仅为本申请的实施例而已,并不用于限制本申请的保护范围,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (8)
1.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储计算机程序指令,所述计算机程序指令被计算机运行时,使所述计算机执行超声图像质量评估方法;
所述超声图像质量评估方法,包括:
获取待评估超声图像;
将所述待评估超声图像输入图像分类网络中,得到所述图像分类网络输出的图像分类结果;
将所述待评估超声图像输入与所述图像分类结果对应的图像质量评估网络中,得到所述图像质量评估网络输出的质量评估结果;其中,所述图像质量评估网络包括无病灶图像质量评估网络以及有病灶图像质量评估网络;
所述将所述待评估超声图像输入与所述图像分类结果对应的图像质量评估网络中,得到所述图像质量评估网络输出的质量评估结果,包括:
若所述图像分类结果表征所述待评估超声图像为无病灶图像,则对所述待评估超声图像进行图像处理,得到与所述待评估超声图像对应的多张第一处理图像;其中,所述多张第一处理图像的清晰度不相同;
分别对所述多张第一处理图像进行特征提取,得到每张第一处理图像对应的第一特征向量;
计算多个第一特征向量之间的欧氏距离,并根据所述欧氏距离计算所述待评估超声图像对应的所述质量评估结果;
或者,
若所述图像分类结果表征所述待评估超声图像为有病灶图像,则根据所述待评估超声图像生成对应的病灶图像;
对所述病灶图像进行图像处理,得到与所述病灶图像对应的多张第二处理图像;其中,所述多张第二处理图像的清晰度不相同;
分别对所述多张第二处理图像进行特征提取,得到每张第二处理图像对应的第二特征向量;
计算多个第二特征向量之间的欧氏距离,并根据所述欧氏距离计算所述待评估超声图像对应的所述质量评估结果。
2.根据权利要求1所述的计算机可读存储介质,其特征在于,所述根据所述待评估超声图像生成对应的病灶图像,包括:
对所述待评估超声图像进行病灶区域分割,得到对应的病灶掩膜;
基于所述病灶掩膜对所述待评估超声图像进行病灶区域提取,得到所述病灶图像。
3.根据权利要求1或2所述的计算机可读存储介质,其特征在于,所述超声图像质量评估方法还包括:
利用如下步骤对神经网络模型进行训练,得到所述图像质量评估网络:
获取样本图像以及对应的样本标签;
将所述样本图像以及所述样本标签输入所述神经网络模型中,得到多个样本向量以及预测标签;其中,所述多个样本向量为多个清晰度的样本图像分别对应的特征向量;
根据所述样本标签以及所述预测标签计算第一损失值,以及,根据所述多个样本向量计算第二损失值;
根据所述第一损失值以及所述第二损失值对所述神经网络模型进行优化,得到所述图像质量评估网络。
4.根据权利要求3所述的计算机可读存储介质,其特征在于,所述根据所述样本标签以及所述预测标签计算第一损失值,包括:
利用如下公式计算所述第一损失值:
;
其中,表示所述第一损失值,/>表示所述样本标签,/>表示所述预测标签。
5.根据权利要求3所述的计算机可读存储介质,其特征在于,所述根据所述多个样本向量计算第二损失值,包括:
利用如下公式计算所述第二损失值:
;
其中,表示所述第二损失值,/>表示清晰度最高的样本图像对应的样本向量,/>表示清晰度中等的样本图像对应的样本向量,/>表示清晰度最低的样本图像对应的样本向量,/>表示两个样本向量之间的余弦相似性,/>表示样本图像的数量,/>表示/>个样本图像中的最高质量评估结果,/>表示当前样本图像。
6.根据权利要求3所述的计算机可读存储介质,其特征在于,所述根据所述第一损失值以及所述第二损失值对所述神经网络模型进行优化,得到所述图像质量评估网络,包括:
根据所述第一损失值以及所述第二损失值确定所述图像质量评估网络对应的组合损失值;
根据所述组合损失值对所述神经网络模型进行优化;
其中,所述根据所述第一损失值以及所述第二损失值确定所述图像质量评估网络对应的组合损失值,包括:
利用如下公式计算所述组合损失值:
;
其中,表示所述组合损失值,/>表示所述第一损失值,/>表示所述样本标签,表示所述预测标签,/>表示所述第二损失值,/>为用于合并损失的超参数。
7.一种超声图像质量评估装置,其特征在于,包括:
获取模块,用于获取待评估超声图像;
第一输入模块,用于将所述待评估超声图像输入图像分类网络中,得到所述图像分类网络输出的图像分类结果;
第二输入模块,用于将所述待评估超声图像输入与所述图像分类结果对应的图像质量评估网络中,得到所述图像质量评估网络输出的质量评估结果;其中,所述图像质量评估网络包括无病灶图像质量评估网络以及有病灶图像质量评估网络;
所述第二输入模块具体用于:
若所述图像分类结果表征所述待评估超声图像为无病灶图像,则对所述待评估超声图像进行图像处理,得到与所述待评估超声图像对应的多张第一处理图像;其中,所述多张第一处理图像的清晰度不相同;
分别对所述多张第一处理图像进行特征提取,得到每张第一处理图像对应的第一特征向量;
计算多个第一特征向量之间的欧氏距离,并根据所述欧氏距离计算所述待评估超声图像对应的所述质量评估结果;
或者,
若所述图像分类结果表征所述待评估超声图像为有病灶图像,则根据所述待评估超声图像生成对应的病灶图像;
对所述病灶图像进行图像处理,得到与所述病灶图像对应的多张第二处理图像;其中,所述多张第二处理图像的清晰度不相同;
分别对所述多张第二处理图像进行特征提取,得到每张第二处理图像对应的第二特征向量;
计算多个第二特征向量之间的欧氏距离,并根据所述欧氏距离计算所述待评估超声图像对应的所述质量评估结果。
8.一种电子设备,其特征在于,包括:处理器和存储器;
所述存储器存储有如权利要求1-6任一项所述的计算机可读存储介质中的计算机程序指令,所述处理器调用所述计算机程序指令能够执行所述超声图像质量评估方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311322232.4A CN117078664B (zh) | 2023-10-13 | 2023-10-13 | 计算机可读存储介质、超声图像质量评估装置及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311322232.4A CN117078664B (zh) | 2023-10-13 | 2023-10-13 | 计算机可读存储介质、超声图像质量评估装置及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117078664A CN117078664A (zh) | 2023-11-17 |
CN117078664B true CN117078664B (zh) | 2024-01-23 |
Family
ID=88704525
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311322232.4A Active CN117078664B (zh) | 2023-10-13 | 2023-10-13 | 计算机可读存储介质、超声图像质量评估装置及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117078664B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112819015A (zh) * | 2021-02-04 | 2021-05-18 | 西南科技大学 | 一种基于特征相融的图像质量评估方法 |
CN112837317A (zh) * | 2020-12-31 | 2021-05-25 | 无锡祥生医疗科技股份有限公司 | 基于乳腺超声图像增强的病灶分类方法、装置及存储介质 |
CN115619729A (zh) * | 2022-10-10 | 2023-01-17 | 深圳须弥云图空间科技有限公司 | 人脸图像质量评估方法、装置及电子设备 |
CN116128854A (zh) * | 2023-02-03 | 2023-05-16 | 深圳市儿童医院 | 一种基于卷积神经网络的髋关节超声图像质量评估方法 |
-
2023
- 2023-10-13 CN CN202311322232.4A patent/CN117078664B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112837317A (zh) * | 2020-12-31 | 2021-05-25 | 无锡祥生医疗科技股份有限公司 | 基于乳腺超声图像增强的病灶分类方法、装置及存储介质 |
CN112819015A (zh) * | 2021-02-04 | 2021-05-18 | 西南科技大学 | 一种基于特征相融的图像质量评估方法 |
CN115619729A (zh) * | 2022-10-10 | 2023-01-17 | 深圳须弥云图空间科技有限公司 | 人脸图像质量评估方法、装置及电子设备 |
CN116128854A (zh) * | 2023-02-03 | 2023-05-16 | 深圳市儿童医院 | 一种基于卷积神经网络的髋关节超声图像质量评估方法 |
Non-Patent Citations (1)
Title |
---|
双目标的CNN无参考图像质量评价方法;程晓梅;沈远彤;;计算机工程与应用(第09期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN117078664A (zh) | 2023-11-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110111313B (zh) | 基于深度学习的医学图像检测方法及相关设备 | |
Sori et al. | DFD-Net: lung cancer detection from denoised CT scan image using deep learning | |
CN109978037B (zh) | 图像处理方法、模型训练方法、装置、和存储介质 | |
CN110276411B (zh) | 图像分类方法、装置、设备、存储介质和医疗电子设备 | |
Reddy et al. | A novel computer-aided diagnosis framework using deep learning for classification of fatty liver disease in ultrasound imaging | |
Oghli et al. | Automatic fetal biometry prediction using a novel deep convolutional network architecture | |
CN111369562B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN114445334B (zh) | 图像分析的方法、装置、设备及存储介质 | |
CN113421240B (zh) | 一种基于超声自动乳腺全容积成像的乳腺分类方法及装置 | |
Zhang et al. | A survey of wound image analysis using deep learning: Classification, detection, and segmentation | |
CN112330731A (zh) | 图像处理装置、方法、设备、超声***及可读存储介质 | |
CN113239951A (zh) | 超声乳腺病灶的分类方法、装置及存储介质 | |
CN113538464A (zh) | 脑部影像分割模型训练方法、分割方法及装置 | |
CN112767403A (zh) | 医学影像分割模型训练方法、医学影像分割方法及装置 | |
CN112634231A (zh) | 一种图像分类方法、装置、终端设备和存储介质 | |
CN117078664B (zh) | 计算机可读存储介质、超声图像质量评估装置及电子设备 | |
CN116521915A (zh) | 一种相似医学图像的检索方法、***、设备及介质 | |
Zhou et al. | Wrist ultrasound segmentation by deep learning | |
CN113723417B (zh) | 基于单视图的影像匹配方法、装置、设备及存储介质 | |
CN115965785A (zh) | 图像分割方法、装置、设备、程序产品及介质 | |
CN113327221B (zh) | 融合roi区域的图像合成方法、装置、电子设备及介质 | |
Al-Eiadeh | Automatic lung field segmentation using robust deep learning criteria | |
CN113223014A (zh) | 基于数据增强的脑部图像分析***、方法及设备 | |
CN112967295A (zh) | 一种基于残差网络和注意力机制的图像处理方法及*** | |
CN117078669A (zh) | 计算机可读存储介质、超声图像质量评估装置及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |