CN110458829B - 基于人工智能的图像质控方法、装置、设备及存储介质 - Google Patents
基于人工智能的图像质控方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN110458829B CN110458829B CN201910745023.8A CN201910745023A CN110458829B CN 110458829 B CN110458829 B CN 110458829B CN 201910745023 A CN201910745023 A CN 201910745023A CN 110458829 B CN110458829 B CN 110458829B
- Authority
- CN
- China
- Prior art keywords
- image
- fundus image
- module
- target
- quality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003908 quality control method Methods 0.000 title claims abstract description 279
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 41
- 238000003860 storage Methods 0.000 title claims description 21
- 230000007246 mechanism Effects 0.000 claims abstract description 114
- 230000007717 exclusion Effects 0.000 claims abstract description 55
- 230000000452 restraining effect Effects 0.000 claims abstract description 20
- 238000012549 training Methods 0.000 claims description 106
- 238000000034 method Methods 0.000 claims description 50
- 238000012545 processing Methods 0.000 claims description 17
- 238000011109 contamination Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 10
- 238000011176 pooling Methods 0.000 claims description 8
- 238000002372 labelling Methods 0.000 claims description 5
- 238000012216 screening Methods 0.000 description 31
- 238000010586 diagram Methods 0.000 description 20
- 230000008569 process Effects 0.000 description 17
- 230000006835 compression Effects 0.000 description 10
- 238000007906 compression Methods 0.000 description 10
- 238000009826 distribution Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000010801 machine learning Methods 0.000 description 6
- 238000012360 testing method Methods 0.000 description 6
- 238000000605 extraction Methods 0.000 description 5
- 238000003745 diagnosis Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005489 elastic deformation Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Radiology & Medical Imaging (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Quality & Reliability (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Eye Examination Apparatus (AREA)
Abstract
本申请实施例公开了一种基于人工智能的图像质控方法，该方法包括：获取待质控的目标眼底图像；通过眼底图像质控***获得目标眼底图像的质量类型预测结果，该质量类型预测结果包括目标眼底图像属于不同质量类型的互斥概率；眼底图像质控***包括判别模块、注意力机制模块和限制约束模块；判别模块用于通过至少两个判别模型提取图像特征并输出至注意力机制模块；注意力机制模块用于针对图像特征通过注意力机制网络提取注意力特征并输出至限制约束模块；限制约束模块用于通过限制约束模型对注意力特征进行融合并输出图像属于不同质量类型的互斥概率；根据质量类型预测结果，确定目标眼底图像是否合格。如此，在前端实现对于眼底图像的质控。
Description
技术领域
本申请涉及人工智能技术领域，尤其涉及一种基于人工智能的图像质控方法、装置、设备及存储介质。
背景技术
随着图像深度学习技术的发展，基于图像的筛查***在各个领域的应用需求日益显著，例如在医疗领域中基于图像进行疾病筛查，在产品生产领域中基于图像进行品控，等等。
基于图像的筛查***其筛查准确性一方面依赖于筛查***本身性能，更重要的另一方面依赖于前端输入的图像质量，因此，在基于图像的筛查***的应用场景下需要针对前端输入的图像质量进行控制即图像质控。
目前针对上述实际应用需求，亟需提出一种解决方案能够针对图像实现质控，并且保证质控的准确性。
发明内容
本申请实施例提供了一种基于人工智能的图像质控方法、装置、设备及存储介质，能够针对图像进行质控，并且保证质控的准确性。
有鉴于此，本申请第一方面提供了一种基于人工智能的图像质控方法，包括：
获取待质控的目标眼底图像；
通过眼底图像质控***获得所述目标眼底图像的质量类型预测结果，所述目标眼底图像的质量类型预测结果包括所述目标眼底图像属于不同质量类型的互斥概率；其中，所述眼底图像质控***包括基于眼底图像训练样本集训练所得的判别模块和注意力机制模块以及限制约束模块；所述判别模块用于通过至少两个判别模型提取图像特征并输出至所述注意力机制模块；所述注意力机制模块用于针对所述图像特征通过注意力机制网络提取注意力特征并输出至所述限制约束模块；所述限制约束模块用于通过限制约束模型对所述注意力特征进行融合并输出图像属于不同质量类型的互斥概率；
根据所述目标眼底图像的质量类型预测结果，确定所述目标眼底图像是否合格。
本申请第二方面提供了一种基于人工智能的图像质控方法，包括：
获取待质控的目标图像；
通过图像质控***获得所述目标图像的质量类型预测结果，所述目标图像的质量类型预测结果包括所述目标图像属于不同质量类型的互斥概率；其中，所述图像质控***包括基于图像训练样本集训练所得的判别模块和注意力机制模块以及限制约束模块；所述判别模块用于通过至少两个判别模型提取图像特征并输出至所述注意力机制模块；所述注意力机制模块用于针对所述图像特征通过注意力机制网络提取注意力特征并输出至所述限制约束模块；所述限制约束模块用于通过限制约束模型对所述注意力特征进行融合并输出图像属于不同质量类型的互斥概率；
根据所述目标图像的质量类型预测结果，确定所述目标图像是否合格。
本申请第三方面提供了一种基于人工智能的图像质控装置，包括：
获取模块，用于获取待质控的目标眼底图像；
处理模块，用于通过眼底图像质控***获得所述目标眼底图像的质量类型预测结果，所述目标眼底图像的质量类型预测结果包括所述目标眼底图像属于不同质量类型的互斥概率；其中，所述眼底图像质控***包括基于眼底图像训练样本集训练所得的判别模块和注意力机制模块以及限制约束模块；所述判别模块用于通过至少两个判别模型提取图像特征并输出至所述注意力机制模块；所述注意力机制模块用于针对所述图像特征通过注意力机制网络提取注意力特征并输出至所述限制约束模块；所述限制约束模块用于通过限制约束模型对所述注意力特征进行融合并输出图像属于不同质量类型的互斥概率；
确定模块，用于根据所述目标眼底图像的质量类型预测结果，确定所述目标眼底图像是否合格。
本申请第四方面提供了一种基于人工智能的图像质控装置，包括：
获取模块，用于获取待质控的目标图像；
处理模块，用于通过图像质控***获得所述目标图像的质量类型预测结果，所述目标图像的质量类型预测结果包括所述目标图像属于不同质量类型的互斥概率；其中，所述图像质控***包括基于图像训练样本集训练所得的判别模块和注意力机制模块以及限制约束模块；所述判别模块用于通过至少两个判别模型提取图像特征并输出至所述注意力机制模块；所述注意力机制模块用于针对所述图像特征通过注意力机制网络提取注意力特征并输出至所述限制约束模块；所述限制约束模块用于通过限制约束模型对所述注意力特征进行融合并输出图像属于不同质量类型的互斥概率；
确定模块，用于根据所述目标图像的质量类型预测结果，确定所述目标图像是否合格。
本申请第五方面提供了一种设备，所述设备包括处理器以及存储器：
所述存储器用于存储计算机程序；
所述处理器用于根据所述计算机程序执行如上述第一方面或第二方面所述的基于人工智能的图像质控方法的步骤。
本申请第四方面提供一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序用于执行上述第一方面或第二方面所述的基于人工智能的图像质控方法。
本申请第五方面提供一种包括指令的计算机程序产品，当其在计算机上运行时，使得所述计算机执行上述第一方面或第二方面所述的基于人工智能的图像质控方法。
从以上技术方案可以看出，本申请实施例具有以下优点：
本申请实施例提供了一种基于人工智能的图像质控方法，该方法利用基于机器学习算法训练得到的眼底图像质控***，在前端对眼底图像的质量进行判别，从而保证为后端的眼底人工智能(Artificial Intelligence，AI)筛查***提供合格的眼底图像，提升眼底AI筛查***的诊断准确率。具体的，在本申请实施例提供的图像质控方法中，获取到待质控的目标眼底图像后，通过眼底图像质控***确定该目标眼底图像的质量类型预测结果，该质量类型预测结果包括该目标眼底图像属于不同质量类型的互斥概率，该眼底图像质控***包括基于眼底图像训练样本集训练得到判别模块、注意力机制模块和限制约束模块，其中，判别模块用于通过至少两个判别模型提取图像特征并输出至注意力机制模块，注意力机制模块用于通过注意力机制网络针对输入的图像特征提取注意力特征并输出至限制约束模块，限制约束模块用于通过限制约束模型对输入的注意力特征进行融合并输出不同质量类型的互斥概率；进而，根据目标眼底图像的质量类型预测结果，确定该目标眼底图像是否合格。如此，利用包括有多个判别模型、注意力机制网络以及限制约束模型的眼底图像质控***，智能准确地判别待质控的目标眼底图像是否为合格图像，实现在前端对于眼底图像的质控。
附图说明
图1为本申请实施例提供的图像质控方法的应用场景示意图；
图2为本申请实施例提供的一种图像质控方法的流程示意图；
图3为本申请实施例提供的一种眼底图像质控***的结构示意图；
图4为本申请实施例提供的一种mobile-Net网络结构示意图；
图5为本申请实施例提供的一种眼底图像质控***的训练方法的流程示意图；
图6为本申请实施例提供的一种眼底图像质控***的工作架构示意图；
图7为本申请实施例提供的图像质控方法的实验结果示意图；
图8为本申请实施例提供的另一种图像质控方法的流程示意图；
图9为本申请实施例提供的一种图像质控装置的结构示意图；
图10为本申请实施例提供的另一种图像质控装置的结构示意图；
图11为本申请实施例提供的又一种图像质控装置的结构示意图；
图12为本申请实施例提供的再一种图像质控装置的结构示意图；
图13为本申请实施例提供的服务器的结构示意图；
图14为本申请实施例提供的终端设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在医疗领域中，眼底AI筛查***已被逐渐地广泛应用，然而很多医生反馈眼底AI筛查***的置信度较低，其原因在于，眼底AI筛查***通常直接基于手动拍摄得到的眼底图像进行筛查，而手动拍摄得到的眼底图像大部分存在曝光不准、有污损等问题，直接基于这类存在质量问题的眼底图像进行筛查将严重影响***筛查的置信度，造成很多无效筛查。
为了提高眼底AI筛查***的置信度，本申请实施例提供了一种基于人工智能的图像质控方法，该方法能够在前端对眼底图像的质量进行判别，从而保证为后端的眼底AI筛查***提供合格的眼底图像，提升眼底AI筛查***的置信度。具体的，本申请实施例提供的图像质控方法利用基于机器学习算法训练得到的眼底图像质控***，对待质控的目标眼底图像进行判别，确定该目标眼底图像的质量类型预测结果，即确定该目标眼底图像属于不同质量类型的互斥概率，基于该质量类型预测结果即可相应地确定该目标眼底图像是否合格；上述包括有多个判别模型、注意力机制网络以及限制约束模型的眼底图像质控***，能够智能准确地识别各待质控的眼底图像是否为合格图像，实现在前端对于眼底图像的准确质控。
需要说明的是，本申请实施例提供的基于人工智能的图像质控方法除了可以应用于对眼底图像进行质控的场景外，还可以应用于其他需要对图像进行质控的场景，如在产品生产领域中基于图像进行产品质量监控的场景，又如医疗领域中对其他器官图像进行质控的场景，等等；在此不对本申请实施例提供的图像质控方法所适用的应用场景做任何限定。
应理解，本申请实施例提供的基于人工智能的图像质控方法可以应用于具备数据处理能力的设备，如终端设备、服务器等；其中，终端设备具体可以为计算机、个人数字助理(Personal Digital Assitant，PDA)等；服务器具体可以为应用服务器，也可以为Web服务器，在实际部署时，该服务器可以为独立服务器，也可以为集群服务器。
为了便于理解本申请实施例提供的技术方案，下面以本申请实施例提供的图像质控方法应用于服务器为例，对本申请实施例提供的用于对眼底图像进行质控的图像质控方法适用的应用场景进行示例性介绍。
参见图1，图1为本申请实施例提供的基于人工智能的图像质控方法的应用场景示意图。如图1所示，该应场景包括：眼底图像拍摄设备110、质控服务器120和筛查服务器130；其中，眼底图像拍摄设备110可以在操作者的正确操作下为患者拍摄眼底图像，并将该眼底图像上传至质控服务器120；质控服务器120用于执行本申请实施例提供的图像质控方法，确定眼底图像拍摄设备110上传的眼底图像是否为合格图像，该质控服务器120中运行有眼底图像质控***；筛查服务器130用于获取被质控服务器120判别为合格图像的眼底图像，并基于所获取的合格眼底图像进行筛查，相应地生成诊断报告，为医生提供诊断参考意见。
具体应用时，眼底图像拍摄设备110将其拍摄的眼底图像上传至质控服务器120。质控服务器120接收到该眼底图像后，将该眼底图像作为待质控的目标眼底图像输入至自身运行的眼底图像质控***，利用该眼底图像质控***确定该目标眼底图像的质量类型预测结果，该质量类型预测结果包括该目标眼底图像属于不同质量类型的互斥概率；进而，质控服务器120可以根据该目标眼底图像的质量类型预测结果，确定眼底图像拍摄设备110上传的眼底图像是否合格。若质控服务器120确定该眼底图像合格，则质控服务器120可以进一步将该合格的眼底图像传输至筛查服务器130，以使筛查服务器130根据该眼底图像进行筛查，生成相关的诊断报告。
需要说明的是，运行在质控服务器120中的眼底图像质控***是基于眼底图像训练样本集训练得到的，该眼底图像质控***包括判别模块、注意力机制模块和限制约束模块；其中，判别模块用于通过至少两个判别模型提取目标眼底图像的图像特征，并将各个判别模型提取的图像特征输出至注意力机制模块；注意力机制模块用于通过注意力机制网络针对输入的图像特征提取注意力特征，并将所提取的注意力特征输出至限制约束模块；限制约束模块用于通过限制约束模型对输入的注意力特征进行融合，由此生成目标眼底图像属于不同质量类型的互斥概率，即生成目标眼底图像的质量类型预测结果。
如此，基于包括有多个判别模型、注意力机制网络以及限制约束模型的眼底图像质控***，对待质控的眼底图像进行准确地识别，以确定该眼底图像是否为合格图像，从而在前端(即质控服务器120处)实现对于眼底图像的质控，保证为后端(即筛查服务器130处)提供合格的眼底图像，提高后端的筛查置信度。
应理解，图1所示的应用场景仅为示例，在实际应用中，本申请实施例提供的基于人工智能的图像质控方法除了可以应用于对眼底图像进行质控外，还可以应用于其他需要对图像进行质控的应用场景，在此不对本申请实施例提供的基于人工智能的图像质控方法适用的应用场景做任何限定。
下面通过实施例对本申请提供的基于人工智能的图像质控方法进行介绍。
参见图2，图2为本申请实施例提供的一种基于人工智能的图像质控方法的流程示意图，该图像质控方法适用于对眼底图像进行质控。为了便于描述，下述实施例以服务器作为执行主体为例，对该图像质控方法进行介绍。如图2所示，该图像质控方法包括以下步骤：
步骤201：获取待质控的目标眼底图像。
在对眼底图像进行质控的场景下，眼底图像拍摄设备可以在操作者的操作下拍摄患者的眼底图像，为了保证后端眼底AI筛查***的筛查置信度，服务器可以在眼底图像拍摄设备将其拍摄的眼底图像传输至眼底AI筛查***之前，截获眼底图像拍摄设备拍摄的眼底图像作为待质控的目标眼底图像，对其进行质控，判断该目标眼底图像是否为合格图像。
在实际应用中，眼底图像拍摄设备每次可以仅向服务器传输一张眼底图像，也可以一次性向服务器传输多张眼底图像，在此不对服务器一次所获取的目标眼底图像的数目做任何限定。
应理解，在一些情况下，受到操作者操作不规范、患者配合不到位等因素的影响，眼底图像拍摄设备拍摄得到的图像实际上可能并非眼底图像，将这类图像上传至服务器后，服务器同样会将这类图像作为目标眼底图像进行质控。
步骤202：通过眼底图像质控***获得所述目标眼底图像的质量类型预测结果，所述目标眼底图像的质量类型预测结果包括所述目标眼底图像属于不同质量类型的互斥概率。
服务器获取到目标眼底图像后，将该目标眼底图像输入自身运行的眼底图像质控***，利用该眼底图像质控***对该目标眼底图像进行分析处理，进而，获取该眼底图像质控***的输出结果作为该目标眼底图像的质量类型预测结果，该质量类型预测结果包括该目标眼底图像属于不同质量类型的互斥概率，即质量类型预测结果包括目标眼底图像属于不同质量类型的概率，并且这些概率的和值为1。
需要说明的是，上述眼底图像质控***是基于眼底图像训练样本集采用端到端的训练方式训练得到的，该眼底图像质控***包括判别模块、注意力机制模块和限制约束模块。其中，判别模块包括至少两个判别模型，每个判别模型用于针对输入的目标眼底图像提取相应的图像特征，判别模块将其中各个判别模型各自提取出的图像特征进一步输出至注意力机制模块；注意力机制模块由注意力机制网络构成，通过该注意力机制网络可以基于判别模块输出的各图像特征提取注意力特征，具体的，该注意力机制网络可以自适应地增强对于预测结果影响较大的图像特征的权重，从而获得注意力特征，进而，注意力机制模块将注意力机制网络提取出的注意力特征输出至限制约束模块；限制约束模块由限制约束模型构成，通过该限制约束模型可以对注意力机制模块输出的注意力特征进行融合，拉大各图像特征之间的距离，将处于不同分布的图像特征近似到类似的分布中，从而获得目标眼底图像属于不同质量类型的互斥概率。
为了便于进一步理解本申请实施例中的眼底图像质控***，下面对判别模块、注意力机制模块和限制约束模型分别进行详细地介绍。
综合考虑对眼底图像进行质控时所需参考的各个因素，在实际应用中，上述眼底图像质控***中的判别模块具体可以包括以下六个判别模型：清晰判别模型、屈光间质浑浊判别模型、全局曝光判别模型、局部曝光判别模型、大面积污损判别模型和其他类别判别模型。其中，清晰判别模型用于针对输入的图像提取用于判别该图像属于眼底图像清晰类型的图像特征；屈光间质浑浊判别模型用于针对输入的图像提取用于判别该图像属于屈光间质浑浊类型的图像特征；全局曝光判别模型用于针对输入的图像提取用于判别该图像属于全局曝光类型的图像特征；局部曝光模型用于针对输入的图像提取用于判别该图像属于局部曝光类型的图像特征；大面积污损判别模型用于针对输入的图像提取用于判别该图像属于大面积污损类型的图像特征；其他类别判别模型用于针对输入的图像提取用于判别该图像不属于眼底图像类型的图像特征。
参见图3，图3为本申请实施例提供的一种示例性的眼底图像质控***的结构示意图。如图3所示，判别模块中包括：清晰判别模型、屈光间质浑浊判别模型、全局曝光判别模型、局部曝光判别模型、大面积污损判别模型和其他类别判别模型。将目标眼底图像输入至眼底图像质控***后，判别模块中的各个判别模型针对该目标眼底图像，相应地提取用于判别该目标眼底图像属于自身对应的质量类型的图像特征；具体的，清晰判别模型提取用于判别该目标眼底图像属于眼底图像清晰类型的图像特征，屈光间质浑浊判别模型提取用于判别该目标眼底图像属于屈光间质浑浊类型的图像特征，全局曝光判别模型提取用于判别该目标眼底图像属于全局曝光类型的图像特征，局部曝光判别模型提取用于判别该目标眼底图像属于局部曝光类型的图像特征，大面积污损判别模型提取用于判别该目标眼底图像属于大面积污损类型的图像特征，其他类别判别模型提取用于判别该目标眼底图像不属于眼底图像类型的图像特征。进而，判别模块将清晰判别模型、屈光间质浑浊判别模型、全局曝光判别模型、局部曝光判别模型、大面积污损判别模型和其他类别判别模型各自提取出的图像特征，输出至基于注意力机制的特征约束架构。
需要说明的是，在实际应用中，判别模块中除了可以包括清晰判别模型、屈光间质浑浊判别模型、全局曝光判别模型、局部曝光判别模型、大面积污损判别模型和其他类别判别模型这六个判别模型外，还可以根据实际需求包括其他类型的判别模型，并且也可以根据实际需求在判别模块中设置更多或更少的判别模型，在此不对判别模块中包括的判别模型的类型以及数量做任何限定。
在实际应用中，判别模块中的至少两个判别模型可以均采用轻量级的mobile-Net网络结构，如此实现对于网络的加速，并且满足眼底图像质控***上线的应用需求。参见图4，图4为本申请实施例提供的一种示例性的mobile-Net网络结构示意图，该mobile-Net网络结构可以适用于图3所示的判别模块中的六个判别模型。
需要说明的是，在实际应用中，判别模块中的判别模型除了可以采用mobile-Net网络结构外，还可以采用其他网络结构，如深度残差网络(ResNet)、densenet、VGGNet(Visual Geometry Group Network)等等，在此不对判别模型所采用的网络结构做任何限定。另外，判别模块中各个判别模型所采用的网络结构可以相同，也可以不同。
需要说明的是，判别模块中的各个判别模型除了能够输出针对输入的目标眼底图像提取的图像特征外，还可以输出目标眼底图像属于该判别模型对应的质量类型的置信度，例如，对于清晰判别模型来说，其除了可以输出用于判别目标眼底图像属于眼底图像清晰类型的图像特征外，还可以输出目标眼底图像属于眼底图像清晰类型的置信度；该置信度取值范围在0％至100％之间，在对眼底图像质控***进行训练时，可以基于判别模型输出的置信度，通过二分类交叉熵损失调整该判别模型的模型参数。
为了能够有效利用判别模块中各个判别模型提取出的图像特征，扩大各个图像特征之间的差异，减少模型与模型的组内误差，本申请实施例中的眼底图像质控***进一步采用了基于注意力机制的特征约束架构对判别模块中各判别模型提取的图像特征进行后续处理，该特征约束架构中包括注意力机制模块和限制约束模块。
在一种可能的实现方式中，注意力机制模块采用的注意力机制网络包括第一网络分支和第二网络分支；第一网络分支中包括卷积层、全局池化层以及全连接层，该第一网络分支用于针对输入的图像特征提取注意力权重；第二网络分支中包括通道乘法器，其用于将第一网络分支提取的注意力权重和输入的图像特征进行通道乘法得到注意力特征。
具体应用时，判别模块将各个判别模型提取的图像特征输出至注意力机制模块后，其中的第一网络分支将利用自身的卷积层对叠加后的图像特征进行处理得到待处理特征，然后利用由全局池化层组成的压缩通道对待处理特征做进一步处理得到压缩特征，接着利用由两个全连接层组成的提取层对该压缩特征进行处理得到注意力权重；随后，第二网络分支将第一网络分支提取出的注意力权重与输入的图像特征进行通道乘法得到注意力特征，即利用第一网络分支提取出的注意力权重对不同判别模型提取的图像特征进行加权，自适应地增强对预测结果影响较大的图像特征的权重，从而获得注意力特征。
应理解，上述注意力机制网络的结构仅为示例，在实际应用中，还可以根据实际需求采用其他结构的网络模型作为注意力机制网络，在此不对注意力机制网络的结构做任何限定。
在一种可能的实现方式中，限制约束模块中的限制约束模型可以采用四个密集连接的BottleNeck网络结构，由此加强训练过程中的梯度反向传播，提高限制约束模型的精度。
具体应用时，注意力机制模块生成注意力特征后，相应地将该注意力特征输出至限制约束模块，限制约束模块中的限制约束模型由四个密集连接BottleNeck网络结构组成，BottleNeck网络结构为一种广泛用于压缩模型提高运算速度的技术，其可以利用1x1卷积的通道压缩特性将原有的3x3卷积变为1x1->3x3->1x1的卷积，极大地减小网络的计算量；另外，密集连接的网络结构有助于加强训练过程中梯度的反向传播，提高限制约束模型的精度；在最后添加全局池化层获得每类质量类型对应的概率，并利用N(N的取值为判别模型的数量)分类交叉熵损失对模型进行二次限制，由此拉大各图像特征之间的距离，将处于不同分布的图像特征近似到类似的分布中，从而提升模型对于模棱两可的图像的分类能力。
需要说明的是，上述限制约束模型的模型结构仅为示例，在实际应用中，可以对BottleNeck网络结构内的卷积层数相应地进行增减，并且限制约束模块中可以包括更多或更少的BottleNeck网络结构，最后一层的全局池化层也可以替换为全连接层等；在此不对上述限制约束模型的模型结构做具体限定。
步骤203：根据所述目标眼底图像的质量类型预测结果，确定所述目标眼底图像是否合格。
服务器获取到基于眼底图像质控***确定的质量类型预测结果后，即可根据该质量类型预测结果进一步确定目标眼底图像是否合格。具体的，由于质量类型预测结果中包括目标眼底图像属于不同质量类型的互斥概率，因此，服务器可以先确定质量类型预测结果中最大的概率对应的质量类型，该质量类型即为目标眼底图像对应的质量类型，进而根据目标眼底图像对应的质量类型确定目标眼底图像是否合格。
具体实现时，服务器可以从目标眼底图像的质量类型预测结果中选择最大概率对应的质量类型，当该最大概率对应的质量类型属于预设的合格质量类型时，服务器可以确定目标眼底图像合格，当该最大概率对应的质量类型属于预设的不合格质量类型时，服务器可以确定目标眼底图像不合格。
以眼底图像质控***中的判别模块包括有清晰判别模型、屈光间质浑浊判别模型、全局曝光判别模型、局部曝光判别模型、大面积污损判别模型和其他类别判别模型为例，眼底图像质控***最终输出的质量类型预测结果将包括目标眼底图像属于眼底图像清晰类型的第一概率、目标眼底图像属于屈光间质浑浊类型的第二概率、目标眼底图像属于全局曝光类型的第三概率、目标眼底图像属于局部曝光类型的第四概率、目标眼底图像属于大面积污损类型的第五概率和目标眼底图像不属于眼底图像类型的第六概率，上述第一概率、第二概率、第三概率、第四概率、第五概率和第六概率为互斥概率，这六者的和值为1。
确定质量类型预测结果中最大概率值对应的质量类型，当该最大概率值对应的质量类型为眼底图像清晰类型、局部曝光类型和大面积污损类型中的任意一种时，确定该目标眼底图像合格，当该最大概率值对应的质量类型为屈光间质浑浊类型、全局曝光类型和不属于眼底图像类型中的任意一种时，确定该目标眼底图像不合格。
应理解，当眼底图像质控***所能判别的质量类型为其他类型时，服务器可以预先针对这些类型设置合格质量类型和不合格质量类型，进而，以此为基础结合目标眼底图像的质量类型预测结果，确定目标眼底图像是否为合格图像；在此不对本申请中的眼底图像质控***所能判别的质量类型做任何限定。
可选的，本申请实施例提供的图像质控方法还可以进一步根据目标眼底图像的质控结果，向眼底图像拍摄设备的操作者提示目标眼底图像是否合格，并且在确定目标眼底图像不合格时，相应地给出目标眼底图像不合格的原因，从而便于操作者重新拍摄合格的眼底图像。
具体的，当目标眼底图像不合格时，服务器可以获取目标眼底图像不合格的原因，并根据该原因进行信息提示，以提示用户目标眼底图像不合格以及不合格的原因。
仍以眼底图像质控***所能判别的质量类型包括眼底图像清晰类型、屈光间质浑浊类型、全局曝光类型、局部曝光类型、大面积污损类型和不属于眼底图像类型为例，其中预设的合格质量类型包括眼底图像清晰类型、局部曝光类型和大面积污损类型，预设的不合格质量类型包括屈光间质浑浊类型、全局曝光类型和不属于眼底图像类型；当服务器判别目标眼底图像属于屈光间质浑浊类型时，服务器可以提示该目标眼底图像的不合格原因为屈光间质浑浊类型。
上述基于人工智能的图像质控方法能够在前端对眼底图像的质量进行判别，从而保证为后端的眼底AI筛查***提供合格的眼底图像，提升眼底AI筛查***的置信度。具体的，本申请实施例提供的图像质控方法利用基于机器学习算法训练得到的眼底图像质控***，对待质控的目标眼底图像进行判别，确定该目标眼底图像的质量类型预测结果，即确定该目标眼底图像属于不同质量类型的互斥概率，基于该质量类型预测结果即可相应地确定该目标眼底图像是否合格；上述包括有多个判别模型、注意力机制网络以及限制约束模型的眼底图像质控***，能够智能准确地识别各待质控的眼底图像是否为合格图像，实现在前端对于眼底图像的准确质控。
应理解，在实际应用中，本申请实施例提供的图像质控方法能否对待质控的目标眼底图像准确地进行质控，主要取决于眼底图像质控***的工作性能，而眼底图像质控***的工作性能与该眼底图像质控***的训练过程密切相关。下面通过实施例对本申请实施例提供的眼底图像质控***的训练方法进行介绍。
参见图5，图5为本申请实施例提供的眼底图像质控***的训练方法的流程示意图。为了便于描述，下述实施例以服务器作为执行主体为例，对该眼底图像质控***的训练方法进行介绍。如图5所示，该眼底图像质控***的训练方法包括以下步骤：
步骤501：获取所述眼底图像训练样本集，所述眼底图像训练样本集包括多个眼底图像样本及每个眼底图像样本各自对应的的标注质量类型。
对眼底图像质控***进行训练之前，通常需要获取大量的眼底图像训练样本，以组成眼底图像训练样本集，每个眼底图像训练样本包括眼底图像样本以及该眼底图像样本对应的标注质量类型。
在实际应用中，经过相关机构的批准后，服务器可以从各大医院或者社区医院对应的数据库中采集眼底图像样本，然后，通过人工标注的方式标注采集的眼底图像样本所属的质量类型，从而获得眼底图像训练样本。
需要说明的是，为了保证获得更好的训练效果，服务器可以预先对其采集的各眼底图像样本进行预处理，例如，将各眼底图像样本均调整为预设尺寸(如512*512)，对各眼底图像样本均进行标准化处理(如减去图像均值并除以图像方差)，等等。
为了增加眼底图像训练样本的数据量，服务器还可以对其采集的眼底图像样本做随机水平翻转、随机弹性形变、添加随机色斑(speckle)等操作，进而针对经上述处理得到的各眼底图像样本标注其所述的质量类型，从而增加眼底图像训练样本的数据量，扩大眼底图像训练样本集的规模。
步骤502：对预构建的眼底图像质控***进行参数初始化。
根据实际需求采用特定的网络模型，构建眼底图像质控***中的各个模块，即构建眼底图像质控***中的判别模块、注意力机制模块和限制约束模块；进而，对该眼底图像质控***中各个模块的参数进行初始化，即对判别模块中各个判别模型、注意力机制模块中的注意力机制网络和限制约束模块中的限制约束模型，进行参数初始化处理。
需要说明的是，在实际应用中，服务器可以先执行步骤501，后执行步骤502，也可以先执行步骤502，后执行步骤501，还可以同时执行步骤501和步骤502，在此不对步骤501和步骤502的执行顺序做任何限定。
步骤503：根据所述眼底图像训练样本集对参数初始化的眼底图像质控***中各模型上的参数进行训练，直到训练得到满足训练结束条件的所述眼底图像质控***。
获取到眼底图像训练样本集，并且对眼底图像质控***完成参数初始化处理后，服务器可以进一步利用所获取的眼底图像训练样本集，对参数初始化后的眼底图像质控***中各模型上的参数进行训练，即对参数初始化后的各判别模型、注意力机制网络和限制约束模型的参数进行训练，直至训练得到满足训练结束条件的眼底图像质控***。
具体训练时，服务器可以将眼底图像训练样本集中的眼底图像样本输入至参数初始化后的眼底图像质控***，然后获取该眼底图像质控***中各个判别模型输出的眼底图像样本属于不同质量类型的概率，并且获取该眼底图像质控***中限制约束模型输出的眼底图像样本属于不同质量类型的互斥概率；进而，根据眼底图像样本属于不同质量类型的概率，分别通过二分类交叉熵损失调整每个判别模型上的参数；根据眼底图像样本属于不同质量类型的互斥概率，通过N(N取值等于判别模块中判别模型的个数)分类交叉熵损失调整眼底图像质控***中各模型上的参数，反复迭代训练直至训练得到满足训练结束条件的眼底图像质控***。
由于每个判别模型仅用于判别输入的眼底图像样本是否属于该判别模型对应的质量类型，其输出的概率也仅表示眼底图像样本属于该判别模型对应的质量类型的概率，因此，基于判别模型输出的概率相应地对该判别模型进行训练时，可以直接基于二分类交叉熵损失对该判别模型的参数进行调整。而限制约束模型用于判别输入的眼底图像样本属于各种质量类型的可能性，其输出的概率包括该眼底图像样本属于各质量类型的概率，且这些概率的和值为1，因此，基于限制约束模型输出的互斥概率对眼底图像质控***进行训练时，需要相应地通过N(N等于眼底质控模型所能判别的质量类型的数目，即等于判别模块中判别模型的数目)分类交叉熵损失对眼底图像质控***中各个模型的参数进行调整。
以判别模块中包括清晰判别模型、屈光间质浑浊判别模型、全局曝光判别模型、局部曝光判别模型、大面积污损判别模型和其他类别判别模型为例，服务器对包括该判别模块的眼底图像质控***进行训练时，可以获取清晰判别模型、屈光间质浑浊判别模型、全局曝光判别模型、局部曝光判别模型、大面积污损判别模型和其他类别判别模型各自输出的概率，进而，基于清晰判别模型输出的概率采用二分类交叉熵损失对清晰判别模型的参数进行调整，基于屈光间质浑浊判别模型输出的概率采用二分类交叉熵损失对屈光间质浑浊判别模型的参数进行调整，基于全局曝光判别模型输出的概率采用二分类交叉熵损失对全局曝光判别模型的参数进行调整，基于局部曝光判别模型输出的概率采用二分类交叉熵损失对局部曝光判别模型的参数进行调整，基于大面积污损判别模型输出的概率采用二分类交叉熵损失对大面积污损判别模型的参数进行调整，基于其他类别判别模型输出的概率采用二分类交叉熵损失对其他类别判别模型的参数进行调整。
此外，服务器还需要获取该眼底图像质控***中限制约束模型输出的互斥概率，该互斥概率中包括眼底图像样本属于眼底图像清晰类型的概率、属于屈光间质浑浊类型的概率、属于全局曝光类型的概率、属于局部曝光类型的概率、属于大面积污损类型的概率以及不属于眼底图像类型的概率，这些概率的和值为1；进而，服务器可以基于上述互斥概率，采用六分类交叉熵损失对该眼底图像质控***中各个模型的参数进行调整。
具体判断上述眼底图像质控***是否满足训练结束条件时，可以利用测试样本对第一***进行验证，该第一***是利用眼底图像训练样本集中的眼底图像训练样本对眼底图像质控***进行第一轮训练得到的模型；具体的，服务器将测试样本中眼底图像样本输入该第一***，利用该第一***对输入的眼底图像样本进行相应地处理，得到该眼底图像样本属于各质量类型的互斥概率；进而，根据测试样本中该眼底图像样本对应的标注质量类型和第一***的输出结果，确定该第一***的预测准确率，当该预测准确率大于预设阈值时，即可认为该第一***的工作性能较好已满足需求，可以确定该第一***为满足训练结束条件的眼底图像质控***。
此外，判断上述眼底图像质控***是否满足训练结束条件时，还可以根据多轮训练得到的多个***，确定是否继续对该眼底图像质控***进行训练，以获得工作性能最优的眼底图像质控***。具体的，可以利用测试样本分别对经多轮训练得到的多个眼底图像质控***进行验证，若确定各轮训练得到的眼底图像质控***的预测准确率之间的差距较小，则认为该眼底图像质控***的性能已没有提升空间，可以选取预测准确率最高的眼底图像质控***作为满足训练结束条件的眼底图像质控***；若确定各轮训练得到的眼底图像质控***的预测准确率之间的差距较大，则认为该眼底图像质控***的性能还有提升空间，可以继续对该眼底图像质控***进行训练，直至获得性能最稳定且最优的眼底图像质控***。
需要说明的是，上述测试样本可以从眼底图像训练样本集中获取，例如，可以按照预设比例，从眼底图像训练样本集中抽取若干个眼底图像训练样本作为测试样本。
上述眼底图像质控***的训练方法，采用预先获取的眼底图像训练样本集，对参数初始化后的眼底图像质控***中各模型的参数进行反复迭代训练，直至训练得到满足训练结束条件的眼底图像质控***。如此，保证训练得到的眼底图像质控***具备较好的工作性能，进而，在实际应用中，保证基于该眼底图像质控***可以对待质控的眼底图像进行准确地质控。
为了便于进一步理解本申请实施例提供的图像质控方法，下面以眼底图像质控***所能判别的质量类型包括眼底图像清晰类型、屈光间质浑浊类型、全局曝光类型、局部曝光类型、大面积污损类型和不属于眼底图像类型为例，对本申请实施例提供的图像质控方法做整体介绍。
参见图6，图6为本申请实施例提供的一种示例性的眼底图像质控***的工作架构示意图。该眼底图像质控***包括判别模块、注意力机制模块和限制约束模块；其中，判别模块包括清晰判别模型、屈光间质浑浊判别模型、全局曝光判别模型、局部曝光判别模型、大面积污损判别模型和其他类别判别模型，这六个判别模型可以均采用mobile-Net网络结构；注意力机制模块包括注意力机制网络，该注意力机制网络包括压缩提取分支(对应于上文中的第一网络分支)和残差缩放分支(对应于上文中的第二网络分支)；限制约束模块包括限制约束模型，该限制约束模型采用四个密集连接的BottleNeck网络结构。
具体应用时，服务器可以获取眼底图像拍摄设备上传的眼底图像，将该眼底图像作为待质控的目标眼底图像，输入至图6所示的眼底图像质控***中。该眼底图像质控***能够有效地利用六个判别模型之间的信息，扩大各判别模型输出的图像特征之间的差异，从而减少模型与模型之间的组内误差，提高各模型之间的评分。
将目标眼底图像输入至眼底图像质控***中后，判别模块中各个判别模型相应地对输入的目标眼底图像进行分析处理，得到用于判别该目标眼底图像属于其各自对应的质量类型的图像特征；具体的，清晰判别模型将输出用于判别目标眼底图像属于眼底图像清晰类型的图像特征，屈光间质浑浊判别模型将输出用于判别目标眼底图像属于屈光间质浑浊类型的图像特征，全局曝光判别模型将输出用于判别目标眼底图像属于全局曝光类型的图像特征，局部曝光判别模型将输出用于判别目标眼底图像属于局部曝光类型的图像特征，大面积污损判别模型将输出用于判别目标眼底图像属于大面积污损类型的图像特征，其他类别判别模型将输出用于判别目标眼底图像不属于眼底图像类型的图像特征。进而，判别模块将上述各个判别模型输出的图像特征进一步输出至注意力机制模块。
注意力机制模块中的注意力机制网络将各个图像特征叠加之后，经过压缩提取分支中卷积核大小为1x1的卷积层处理得到待处理特征，然后经过压缩提取分支中的压缩通道(由全局池化层构成)得到压缩特征(1x1xc)，接着经过提取层(由两个全连接层构成)生成注意力权重；随后，在残差缩放分支中将注意力权重与待处理特征进行通道乘法得到注意力特征。进而，将该注意力特征输出至限制约束模块。
限制约束模块中的限制约束模型由四个密集连接的BottleNeck网络结构构成，其利用1x1卷积的通道压缩特性将原有的3x3卷积变为1x1->3x3->1x1的卷积，如此可极大地减小网络的计算量，在最后添加全局池化模块得到每每一类质量类型对应的预测概率，并利用六分类交叉熵损失对模型进行二次限制。如此可以拉大特征之间的距离，将处于不同分布的特征近似到类似的分布中，从而提升眼底图像质控***对于模棱两可的眼底图像的分类能力。
服务器获得眼底图像质控***输出的质量类型预测结果后，可以确定该质量类型预测结果中最大概率对应的质量类型，该质量类型即为目标眼底图像所属的质量类型，若该质量类型属于预设的合格质量类型，则可以确定该目标眼底图像合格，若该质量类型属于预设的不合格质量类型，则可以确定该目标眼底图像不合格。当确定目标眼底图像不合格时，服务器还可以相应地向相关工作人员提示该目标眼底图像不合格的原因。
经实验研究证明，本申请实施例提供的图像质控方法可以有效地帮助眼底图像拍摄技师完成高质量的眼底图像采集，未使用该图像质控方法之前，眼底图像拍摄技师每次拍摄平均需要上传5次眼底图像，才能使医生获得可以作为诊断参考依据的眼底图像，而使用该图像质控方法之后，每次拍摄仅需上传1次眼底图像，即可使医生获得可以作为诊断参考依据的眼底图像，大大提升了医生的工作效率。
采用本申请实施例提供的图像质控方法，得到的实验结果如图7所示。采用本申请实施例提供的图像质控方法，能有效提升各类别的分类质量分数(F1)，在尤其在清晰和屈光浑浊类别上能提高至0.8以上，同时可以得到90％左右的召回率，在样本比较小的局部曝光问题和非眼底类别上可以获得86％以上的准确率。此外，有别于传统的分类网络，本申请实施例提供的图像质控方法在其他类别的分类准确度上均能达到至少20％的提升。
需要说明的是，本申请实施例提供的图像质控方法除了可以用于对眼底图像进行质控外，还可以应用于其他需要对图像进行质控的场景，如在产品生产领域中基于图像进行产品质量监控的场景，又如医疗领域中对其他器官图像进行质控的场景，等等。下面将通过实施例对应用于其他场景的图像质控方法进行介绍。
参见图8，图8为本申请实施例提供的基于人工智能的图像质控方法的流程示意图。为了便于描述，下述实施例以服务器作为执行主体为例进行介绍。如图8所示，该方法包括以下步骤：
步骤801：获取待质控的目标图像。
在对其他图像进行质控的场景下，通过相应的图像拍摄设备拍摄图像，进而，图像拍摄设备可以将其拍摄得到的图像发送至服务器，服务器获取到图像拍摄设备发送的图像后，将该图像作为待质控的目标图像对其进行质控，判断该目标图像是否为合格图像。
步骤802：通过图像质控***获得所述目标图像的质量类型预测结果，所述目标图像的质量类型预测结果包括所述目标图像属于不同质量类型的互斥概率。
服务器获取到目标图像后，将该目标图像输入自身运行的图像质控***，利用该图像质控***对该目标图像进行分析处理，进而，获取该图像质控***的输出结果作为该目标图像的质量类型预测结果，该质量类型预测结果包括该目标图像属于不同质量类型的互斥概率，即该质量类型预测结果包括目标图像属于不同质量类型的概率，且这些概率的和值为1。
需要说明的是，上述图像质控***是基于图像训练样本集采用端到端的训练方式训练得到的，该图像质控***包括判别模块、注意力机制模块和限制约束模块。其中，判别模块包括至少两个判别模型，每个判别模型用于针对输入的目标图像提取相应的图像特征，判别模块将其中各个判别模型各自提取出的图像特征进一步输出至注意力机制模块；注意力机制模块由注意力机制网络构成，通过该注意力机制网络可以基于判别模块输出的各图像特征提取注意力特征，具体的，该注意力机制网络可以自适应地增强对于预测结果影响较大的图像特征的权重，从而获得注意力特征，进而，注意力机制模块将注意力机制网络提取出的注意力特征输出至限制约束模块；限制约束模块由限制约束模型构成，通过该限制约束模型可以对注意力机制模块输出的注意力特征进行融合，拉大各图像特征之间的距离，将处于不同分布的图像特征近似到类似的分布中，从而获得目标图像属于不同质量类型的互斥概率。
在一种可能的实现方式中，上述判别模块可以包括第一判别模型和第二判别模型，该第一判别模型用于针对目标图像，提取用于判别该目标图像属于合格质量类型的图像特征；所述第二判别模型用于针对目标图像，提取用于判别该目标图像属于不合格质量类型的图像特征。
需要说明的是，在不同的应用场景下，合格质量类型和不合格质量类型具体对应的衡量标准不同，相应地，上述第一判别模型和第二判别模型实际所要提取的图像特征不同，在此不对第一判别模型和第二判别模型实际所要提取的图像特征做任何限定。
应理解，在实际应用中，上述第一判别模型与第二判别模型可以采用相同的网络结构，也可以采用不同的网络结构，在此不对第一判别模型和第二判别模型具体采用的网络结构做任何限定。此外，判别模块中除了可以包括第一判别模型和第二判别模型外，还可以包括更多的判别模型，在此也不对判别模块中所包括的判别模型的数量做任何限定。
需要说明的是，本申请实施例中图像质控***的结构与图2所示实施例中眼底图像质控***的结构相类似，对于该图像质控***的具体结构详细可以参见图2所示实施例中关于眼底图像质控***的相关描述内容，此处不再赘述。本申请实施例中图像质控***的训练过程与图5所示实施例中眼底图像质控***的训练过程相类似，只是所基于的样本图像不同而已，对于该图像质控***的训练过程，可参见上文图5所示的流程，此处不再赘述。
步骤803：根据所述目标图像的质量类型预测结果，确定所述目标图像是否合格。
服务器获取到图像质控***确定的质量类型预测结果后，即可根据该质量类型预测结果进一步确定目标图像是否合格。具体的，由于质量类型预测结果中包括目标图像属于不同质量类型的互斥概率，因此，服务器可以先确定质量类型预测结果中最大的概率对应的质量类型，该质量类型即为目标图像对应的质量类型，进而根据该目标图像对应的质量类型确定目标图像是否合格。
具体实现时，服务器可以从目标图像的质量类型预测结果中选择最大概率对应的质量类型，当该最大概率对应的质量类型属于预设的合格质量类型，服务器可以确定该目标图像合格；当该最大概率对应的质量类型属于预设的不合格质量类型，服务器可以确定该目标图像不合格。
在确定目标图像不合格的情况下，服务器还可以进一步作出相关提示，即提示目标图像的拍摄者该目标图像不合格以及其不合格的原因，从而便于目标图像的拍摄者可以基于此重新拍摄合格的图像。
上述基于人工智能的图像质控方法利用基于机器学习算法训练得到的图像质控***，对待质控的目标图像进行判别，确定该目标图像的质量类型预测结果，即确定该目标图像属于不同质量类型的互斥概率，基于该质量类型预测结果即可相应地确定该目标图像是否合格；上述包括有多个判别模型、注意力机制网络以及限制约束模型的眼底图像质控***，能够智能准确地识别各待质控的图像是否为合格图像，实现在前端对于图像的准确质控。
针对上文描述的基于人工智能的图像质控方法，本申请还提供了对应的基于人工智能的图像质控装置，以使上述基于人工智能的图像质控方法在实际中的应用以及实现。
参见图9，图9为上文图2所示的基于人工智能的图像质控方法对应的一种基于人工智能的图像质控装置900的结构示意图，该装置包括：
获取模块901，用于获取待质控的目标眼底图像；
处理模块902，用于通过眼底图像质控***获得所述目标眼底图像的质量类型预测结果，所述目标眼底图像的质量类型预测结果包括所述目标眼底图像属于不同质量类型的互斥概率；其中，所述眼底图像质控***包括基于眼底图像训练样本集训练所得的判别模块和注意力机制模块以及限制约束模块；所述判别模块用于通过至少两个判别模型提取图像特征并输出至所述注意力机制模块；所述注意力机制模块用于针对所述图像特征通过注意力机制网络提取注意力特征并输出至所述限制约束模块；所述限制约束模块用于通过限制约束模型对所述注意力特征进行融合并输出图像属于不同质量类型的互斥概率；
确定模块903，用于根据所述目标眼底图像的质量类型预测结果，确定所述目标眼底图像是否合格。
可选的，在图9所示的图像质控装置的基础上，所述确定模块903具体用于：
从所述目标眼底图像的质量类型预测结果中选择最大概率对应的质量类型；
当所述最大概率对应的质量类型属于预设的合格质量类型，确定所述目标眼底图像合格；
当所述最大概率对应的质量类型属于预设的不合格质量类型，确定所述目标眼底图像不合格。
可选的，在图9所示的图像质控装置的基础上，参见图10，图10为本申请实施例提供的另一种图像质控装置1000的结构示意图，该装置还包括：
提示模块1001，用于当确定所述目标眼底图像不合格时，获取所述目标眼底图像不合格的原因，根据所述原因显示进行信息提示以提示用户所述目标眼底图像不合格以及不合格的原因。
可选的，在图9所示的图像质控装置的基础上，参见图11，图11为本申请实施例提供的另一种图像质控装置1100的结构示意图，该装置还包括：
样本获取模块1101，用于获取所述眼底图像训练样本集，所述眼底图像训练样本集包括多个眼底图像样本及每个眼底图像样本各自对应的的标注质量类型；
初始化模块1102，用于对预构建的眼底图像质控***进行参数初始化；
训练模块1103，用于根据所述眼底图像训练样本集对参数初始化的眼底图像质控***中各模型上的参数进行训练，直到训练得到满足训练结束条件的所述眼底图像质控***。
可选的，在图11所示的图像质控装置的基础上，所述训练模块1103具体用于：
将所述眼底图像训练样本集中的眼底图像样本输入所述参数初始化的眼底图像质控***中，获取所述眼底图像质控***中所述至少两个判别模型输出的所述眼底图像样本属于不同质量类型的概率，并获取所述眼底图像质控***中所述限制约束模型输出的所述眼底图像属于不同质量类型的互斥概率；
根据所述眼底图像样本属于不同质量类型的概率，分别通过二分类交叉熵损失调整所述至少两个判别模型上的参数；
根据所述眼底图像样本属于不同质量类型的互斥概率，通过N分类交叉熵损失调整所述眼底图像质控***中各模型上的参数，反复迭代训练直到训练得到满足训练结束条件的所述眼底图像质控***，所述N取值为所述判别模型的个数。
可选的，在图9所示的图像质控装置的基础上，所述判别模块中的所述至少两个判别模型采用mobile-Net网络结构。
可选的，在图9所示的图像质控装置的基础上，所述所述注意力机制模块采用的注意力机制网络包括第一网络分支和第二网络分支，所述第一网络分支包括卷积层和全局池化层以及全连接层，用于针对输入的图像特征提取注意力权重；所述第二网络分支包括通道乘法器，用于将所述注意力权重和输入的图像特征进行通道乘法得到注意力特征。
可选的，在图9所示的图像质控装置的基础上，所述限制约束模型采用四个密集连接的BottleNeck网络结构。
可选的，在图9所示的图像质控装置的基础上，所述至少两个判别模块包括六个判别模型，所述六个判别模型包括：清晰判别模型、屈光间质浑浊判别模型、全局曝光判别模型、局部曝光判别模型、大面积污损判别模型、其他类别判别模型；其中，所述清晰判别模型用于针对输入的图像提取用于判别图像属于眼底图像清晰类型的图像特征；所述屈光间质浑浊判别模型用于针对输入的图像提取用于判别图像属于屈光间质浑浊类型的图像特征；所述全局曝光判别模型用于针对输入的图像提取用于判别图像属于全局曝光类型的图像特征；所述局部曝光判别模型用于针对输入的图像提取用于判别图像属于局部曝光类型的图像特征；所述大面积污损判别模型用于针对输入的图像提取用于判别图像属于大面积污损类型的图像特征；所述其他类别判别模型用于针对输入的图像提取用于判别图像不属于眼底图像类型的图像特征。
上述基于人工智能的图像质控装置能够在前端对眼底图像的质量进行判别，从而保证为后端的眼底AI筛查***提供合格的眼底图像，提升眼底AI筛查***的置信度。具体的，本申请实施例提供的图像质控装置利用基于机器学习算法训练得到的眼底图像质控***，对待质控的目标眼底图像进行判别，确定该目标眼底图像的质量类型预测结果，即确定该目标眼底图像属于不同质量类型的互斥概率，基于该质量类型预测结果即可相应地确定该目标眼底图像是否合格；上述包括有多个判别模型、注意力机制网络以及限制约束模型的眼底图像质控***，能够智能准确地识别各待质控的眼底图像是否为合格图像，实现在前端对于眼底图像的准确质控。
参见图12，图12为上文图8所示的基于人工智能的图像质控方法对应的一种基于人工智能的图像质控装置1200的结构示意图，该装置包括：
获取模块1201，用于获取待质控的目标图像；
处理模块1202，用于通过图像质控***获得所述目标图像的质量类型预测结果，所述目标图像的质量类型预测结果包括所述目标图像属于不同质量类型的互斥概率；其中，所述图像质控***包括基于图像训练样本集训练所得的判别模块和注意力机制模块以及限制约束模块；所述判别模块用于通过至少两个判别模型提取图像特征并输出至所述注意力机制模块；所述注意力机制模块用于针对所述图像特征通过注意力机制网络提取注意力特征并输出至所述限制约束模块；所述限制约束模块用于通过限制约束模型对所述注意力特征进行融合并输出图像属于不同质量类型的互斥概率；
确定模块1203，用于根据所述目标图像的质量类型预测结果，确定所述目标图像是否合格。
可选的，在图12所示的图像质控装置的基础上，所述确定模块1203具体用于：
从所述目标图像的质量类型预测结果中选择最大概率对应的质量类型；
当所述最大概率对应的质量类型属于预设的合格质量类型，确定所述目标图像合格；
当所述最大概率对应的质量类型属于预设的不合格质量类型，确定所述目标图像不合格。
可选的，在图12所示的图像质控装置的基础上，所述判别模块包括第一判别模型和第二判别模型，所述第一判别模型用于针对输入的图像提取用于判别图像属于合格质量类型的图像特征；所述第二判别模型用于针对输入的图像提取用于判别图像属于不合格质量类型的概率。
上述基于人工智能的图像质控装置利用基于机器学习算法训练得到的图像质控***，对待质控的目标图像进行判别，确定该目标图像的质量类型预测结果，即确定该目标图像属于不同质量类型的互斥概率，基于该质量类型预测结果即可相应地确定该目标图像是否合格；上述包括有多个判别模型、注意力机制网络以及限制约束模型的图像质控***，能够智能准确地识别各待质控的图像是否为合格图像，实现在前端对于图像的准确质控。
本申请实施例还提供了一种用于对图像进行质控的服务器和终端设备，下面将从硬件实体化的角度对本申请实施例提供的用于对图像进行质控的服务器和终端设备进行介绍。
参见图13，图13是本申请实施例提供的一种服务器结构示意图，该服务器1300可因配置或性能不同而产生比较大的差异，可以包括一个或一个以***处理器(centralprocessing units，CPU)1322(例如，一个或一个以上处理器)和存储器1332，一个或一个以上存储应用程序1342或数据1344的存储介质1330(例如一个或一个以上海量存储设备)。其中，存储器1332和存储介质1330可以是短暂存储或持久存储。存储在存储介质1330的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器1322可以设置为与存储介质1330通信，在服务器1300上执行存储介质1330中的一系列指令操作。
服务器1300还可以包括一个或一个以上电源1326，一个或一个以上有线或无线网络接口1350，一个或一个以上输入输出接口1358，和/或，一个或一个以上操作***1341，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。
上述实施例中由服务器所执行的步骤可以基于该图13所示的服务器结构。
其中，CPU 1322用于执行如下步骤：
获取待质控的目标眼底图像；
通过眼底图像质控***获得所述目标眼底图像的质量类型预测结果，所述目标眼底图像的质量类型预测结果包括所述目标眼底图像属于不同质量类型的互斥概率；其中，所述眼底图像质控***包括基于眼底图像训练样本集训练所得的判别模块和注意力机制模块以及限制约束模块；所述判别模块用于通过至少两个判别模型提取图像特征并输出至所述注意力机制模块；所述注意力机制模块用于针对所述图像特征通过注意力机制网络提取注意力特征并输出至所述限制约束模块；所述限制约束模块用于通过限制约束模型对所述注意力特征进行融合并输出图像属于不同质量类型的互斥概率；
根据所述目标眼底图像的质量类型预测结果，确定所述目标眼底图像是否合格。
或者，执行如下步骤：
获取待质控的目标图像；
通过图像质控***获得所述目标图像的质量类型预测结果，所述目标图像的质量类型预测结果包括所述目标图像属于不同质量类型的互斥概率；其中，所述图像质控***包括基于图像训练样本集训练所得的判别模块和注意力机制模块以及限制约束模块；所述判别模块用于通过至少两个判别模型提取图像特征并输出至所述注意力机制模块；所述注意力机制模块用于针对所述图像特征通过注意力机制网络提取注意力特征并输出至所述限制约束模块；所述限制约束模块用于通过限制约束模型对所述注意力特征进行融合并输出图像属于不同质量类型的互斥概率；
根据所述目标图像的质量类型预测结果，确定所述目标图像是否合格。
可选的，CPU1322还可以执行本申请实施例中图像质控方法任一具体实现方式的方法步骤。
参见图14，图14为本申请实施例提供的一种终端设备的结构示意图。为了便于说明，仅示出了与本申请实施例相关的部分，具体技术细节未揭示的，请参照本申请实施例方法部分。该终端可以为包括手机、平板电脑、个人数字助理(英文全称：Personal DigitalAssistant，英文缩写：PDA)、计算机等任意终端设备，以终端为计算机为例：
图14示出的是与本申请实施例提供的终端相关的计算机的部分结构的框图。参考图14，计算机包括：射频(英文全称：Radio Frequency，英文缩写：RF)电路1410、存储器1420、输入单元1430、显示单元1440、传感器1450、音频电路1460、无线保真(英文全称：wireless fidelity，英文缩写：WiFi)模块1470、处理器1480、以及电源1490等部件。本领域技术人员可以理解，图14中示出的计算机结构并不构成对计算机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
存储器1420可用于存储软件程序以及模块，处理器1480通过运行存储在存储器1420的软件程序以及模块，从而执行计算机的各种功能应用以及数据处理。存储器1420可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据计算机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器1420可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
处理器1480是计算机的控制中心，利用各种接口和线路连接整个计算机的各个部分，通过运行或执行存储在存储器1420内的软件程序和/或模块，以及调用存储在存储器1420内的数据，执行计算机的各种功能和处理数据，从而对计算机进行整体监控。可选的，处理器1480可包括一个或多个处理单元；优选的，处理器1480可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作***、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器1480中。
在本申请实施例中，该终端所包括的处理器1480还具有以下功能：
获取待质控的目标眼底图像；
通过眼底图像质控***获得所述目标眼底图像的质量类型预测结果，所述目标眼底图像的质量类型预测结果包括所述目标眼底图像属于不同质量类型的互斥概率；其中，所述眼底图像质控***包括基于眼底图像训练样本集训练所得的判别模块和注意力机制模块以及限制约束模块；所述判别模块用于通过至少两个判别模型提取图像特征并输出至所述注意力机制模块；所述注意力机制模块用于针对所述图像特征通过注意力机制网络提取注意力特征并输出至所述限制约束模块；所述限制约束模块用于通过限制约束模型对所述注意力特征进行融合并输出图像属于不同质量类型的互斥概率；
根据所述目标眼底图像的质量类型预测结果，确定所述目标眼底图像是否合格。
或者，具有以下功能：
获取待质控的目标图像；
通过图像质控***获得所述目标图像的质量类型预测结果，所述目标图像的质量类型预测结果包括所述目标图像属于不同质量类型的互斥概率；其中，所述图像质控***包括基于图像训练样本集训练所得的判别模块和注意力机制模块以及限制约束模块；所述判别模块用于通过至少两个判别模型提取图像特征并输出至所述注意力机制模块；所述注意力机制模块用于针对所述图像特征通过注意力机制网络提取注意力特征并输出至所述限制约束模块；所述限制约束模块用于通过限制约束模型对所述注意力特征进行融合并输出图像属于不同质量类型的互斥概率；
根据所述目标图像的质量类型预测结果，确定所述目标图像是否合格。
可选的，所述处理器1480还用于执行本申请实施例提供的图像质控方法的任意一种实现方式的步骤。
本申请实施例还提供一种计算机可读存储介质，用于存储计算机程序，该计算机程序用于执行前述各个实施例所述的一种基于人工智能的图像质控方法中的任意一种实施方式。
本申请实施例还提供一种包括指令的计算机程序产品，当其在计算机上运行时，使得计算机执行前述各个实施例所述的一种基于人工智能的图像质控方法中的任意一种实施方式。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的***，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文全称：Read-OnlyMemory，英文缩写：ROM)、随机存取存储器(英文全称：Random Access Memory，英文缩写：RAM)、磁碟或者光盘等各种可以存储计算机程序的介质。
以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (15)
1.一种基于人工智能的图像质控方法，其特征在于，包括：
获取待质控的目标眼底图像；
通过眼底图像质控***获得所述目标眼底图像的质量类型预测结果，所述目标眼底图像的质量类型预测结果包括所述目标眼底图像属于不同质量类型的互斥概率；其中，所述眼底图像质控***包括基于眼底图像训练样本集训练所得的判别模块和注意力机制模块以及限制约束模块；所述判别模块用于通过至少两个判别模型提取图像特征并输出至所述注意力机制模块；所述注意力机制模块用于针对所述图像特征通过注意力机制网络提取注意力特征并输出至所述限制约束模块；所述限制约束模块用于通过限制约束模型对所述注意力特征进行融合并输出图像属于不同质量类型的互斥概率；
根据所述目标眼底图像的质量类型预测结果，确定所述目标眼底图像是否合格。
2.根据权利要求1所述方法，其特征在于，所述根据所述目标眼底图像的质量类型预测结果，确定所述目标眼底图像是否合格，包括：
从所述目标眼底图像的质量类型预测结果中选择最大概率对应的质量类型；
当所述最大概率对应的质量类型属于预设的合格质量类型，确定所述目标眼底图像合格；
当所述最大概率对应的质量类型属于预设的不合格质量类型，确定所述目标眼底图像不合格。
3.根据权利要求1所述方法，其特征在于，所述方法还包括：
当确定所述目标眼底图像不合格时，获取所述目标眼底图像不合格的原因，根据所述原因显示进行信息提示以提示用户所述目标眼底图像不合格以及不合格的原因。
4.根据权利要求1所述方法，其特征在于，所述方法还包括：
获取所述眼底图像训练样本集，所述眼底图像训练样本集包括多个眼底图像样本及每个眼底图像样本各自对应的的标注质量类型；
对预构建的眼底图像质控***进行参数初始化；
根据所述眼底图像训练样本集对参数初始化的眼底图像质控***中各模型上的参数进行训练，直到训练得到满足训练结束条件的所述眼底图像质控***。
5.根据权利要求4所述方法，其特征在于，所述根据所述眼底图像训练样本集对参数初始化的眼底图像质控***中各模型上的参数进行训练，直到训练得到满足训练结束条件的所述眼底图像质控***，包括：
将所述眼底图像训练样本集中的眼底图像样本输入所述参数初始化的眼底图像质控***中，获取所述眼底图像质控***中所述至少两个判别模型输出的所述眼底图像样本属于不同质量类型的概率，并获取所述眼底图像质控***中所述限制约束模型输出的所述眼底图像属于不同质量类型的互斥概率；
根据所述眼底图像样本属于不同质量类型的概率，分别通过二分类交叉熵损失调整所述至少两个判别模型上的参数；
根据所述眼底图像样本属于不同质量类型的互斥概率，通过N分类交叉熵损失调整所述眼底图像质控***中各模型上的参数，反复迭代训练直到训练得到满足训练结束条件的所述眼底图像质控***，所述N取值为所述判别模型的个数。
6.根据权利要求1至4中任一项所述方法，其特征在于，所述判别模块中的所述至少两个判别模型采用mobile-Net网络结构。
7.根据权利要求1至4中任一项所述方法，其特征在于，所述注意力机制模块采用的注意力机制网络包括第一网络分支和第二网络分支，所述第一网络分支包括卷积层和全局池化层以及全连接层，用于针对输入的图像特征提取注意力权重；所述第二网络分支包括通道乘法器，用于将所述注意力权重和输入的图像特征进行通道乘法得到注意力特征。
8.根据权利要求1至4中任一项所述方法，其特征在于，所述限制约束模型采用四个密集连接的BottleNeck网络结构。
9.根据权利要求1至4中任一项所述方法，其特征在于，所述至少两个判别模块包括六个判别模型，所述六个判别模型包括：清晰判别模型、屈光间质浑浊判别模型、全局曝光判别模型、局部曝光判别模型、大面积污损判别模型、其他类别判别模型；其中，
所述清晰判别模型用于针对输入的图像提取用于判别图像属于眼底图像清晰类型的图像特征；所述屈光间质浑浊判别模型用于针对输入的图像提取用于判别图像属于屈光间质浑浊类型的图像特征；所述全局曝光判别模型用于针对输入的图像提取用于判别图像属于全局曝光类型的图像特征；所述局部曝光判别模型用于针对输入的图像提取用于判别图像属于局部曝光类型的图像特征；所述大面积污损判别模型用于针对输入的图像提取用于判别图像属于大面积污损类型的图像特征；所述其他类别判别模型用于针对输入的图像提取用于判别图像不属于眼底图像类型的图像特征。
10.一种基于人工智能的图像质控方法，其特征在于，包括：
获取待质控的目标图像；
通过图像质控***获得所述目标图像的质量类型预测结果，所述目标图像的质量类型预测结果包括所述目标图像属于不同质量类型的互斥概率；其中，所述图像质控***包括基于图像训练样本集训练所得的判别模块和注意力机制模块以及限制约束模块；所述判别模块用于通过至少两个判别模型提取图像特征并输出至所述注意力机制模块；所述注意力机制模块用于针对所述图像特征通过注意力机制网络提取注意力特征并输出至所述限制约束模块；所述限制约束模块用于通过限制约束模型对所述注意力特征进行融合并输出图像属于不同质量类型的互斥概率；
根据所述目标图像的质量类型预测结果，确定所述目标图像是否合格。
11.根据权利要求10所述方法，其特征在于，所述根据所述目标图像的质量类型预测结果，确定所述目标图像是否合格，包括：
从所述目标图像的质量类型预测结果中选择最大概率对应的质量类型；
当所述最大概率对应的质量类型属于预设的合格质量类型，确定所述目标图像合格；
当所述最大概率对应的质量类型属于预设的不合格质量类型，确定所述目标图像不合格。
12.根据权利要求10所述方法，其特征在于，所述判别模块包括第一判别模型和第二判别模型，所述第一判别模型用于针对输入的图像提取用于判别图像属于合格质量类型的图像特征；所述第二判别模型用于针对输入的图像提取用于判别图像属于不合格质量类型的概率。
13.一种基于人工智能的图像质控装置，其特征在于，包括：
获取模块，用于获取待质控的目标眼底图像；
处理模块，用于通过眼底图像质控***获得所述目标眼底图像的质量类型预测结果，所述目标眼底图像的质量类型预测结果包括所述目标眼底图像属于不同质量类型的互斥概率；其中，所述眼底图像质控***包括基于眼底图像训练样本集训练所得的判别模块和注意力机制模块以及限制约束模块；所述判别模块用于通过至少两个判别模型提取图像特征并输出至所述注意力机制模块；所述注意力机制模块用于针对所述图像特征通过注意力机制网络提取注意力特征并输出至所述限制约束模块；所述限制约束模块用于通过限制约束模型对所述注意力特征进行融合并输出图像属于不同质量类型的互斥概率；
确定模块，用于根据所述目标眼底图像的质量类型预测结果，确定所述目标眼底图像是否合格。
14.一种设备，其特征在于，所述设备包括处理器以及存储器：
所述存储器用于存储计算机程序；
所述处理器用于根据所述计算机程序执行权利要求1至12任一项所述方法。
15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储计算机程序，所述计算机程序用于执行权利要求1至12任一项所述方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910745023.8A CN110458829B (zh) | 2019-08-13 | 2019-08-13 | 基于人工智能的图像质控方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910745023.8A CN110458829B (zh) | 2019-08-13 | 2019-08-13 | 基于人工智能的图像质控方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110458829A CN110458829A (zh) | 2019-11-15 |
| CN110458829B true CN110458829B (zh) | 2024-01-30 |
Family
ID=68486249
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910745023.8A Active CN110458829B (zh) | 2019-08-13 | 2019-08-13 | 基于人工智能的图像质控方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110458829B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112690809B (zh) * | 2020-02-04 | 2021-09-24 | 首都医科大学附属北京友谊医院 | 确定设备异常原因的方法、装置、服务器和存储介质 |
| CN111815606B (zh) * | 2020-07-09 | 2023-09-01 | 浙江大华技术股份有限公司 | 图像质量评估方法、存储介质及计算装置 |
| CN113128373B (zh) * | 2021-04-02 | 2024-04-09 | 西安融智芙科技有限责任公司 | 基于图像处理的色斑评分方法、色斑评分装置及终端设备 |
| CN113449774A (zh) * | 2021-06-02 | 2021-09-28 | 北京鹰瞳科技发展股份有限公司 | 眼底图像质量控制方法、装置、电子设备及存储介质 |
| CN113487608B (zh) * | 2021-09-06 | 2021-12-07 | 北京字节跳动网络技术有限公司 | 内窥镜图像检测方法、装置、存储介质及电子设备 |
| CN114612389B (zh) * | 2022-02-21 | 2022-09-06 | 浙江大学 | 基于多源多尺度特征融合的眼底图像质量评价方法和装置 |
| CN115953622B (zh) * | 2022-12-07 | 2024-01-30 | 广东省新黄埔中医药联合创新研究院 | 一种结合注意力互斥正则的图像分类方法 |
| CN117455970B (zh) * | 2023-12-22 | 2024-05-10 | 山东科技大学 | 基于特征融合的机载激光测深与多光谱卫星影像配准方法 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108229580A (zh) * | 2018-01-26 | 2018-06-29 | 浙江大学 | 一种基于注意力机制及特征融合的眼底图中糖网特征分级装置 |
| WO2018121690A1 (zh) * | 2016-12-29 | 2018-07-05 | 北京市商汤科技开发有限公司 | 对象属性检测、神经网络训练、区域检测方法和装置 |
| CN109146856A (zh) * | 2018-08-02 | 2019-01-04 | 深圳市华付信息技术有限公司 | 图像质量评定方法、装置、计算机设备及存储介质 |
| CN109191457A (zh) * | 2018-09-21 | 2019-01-11 | 中国人民解放军总医院 | 一种病理图像质量有效性识别方法 |
| CN109285149A (zh) * | 2018-09-04 | 2019-01-29 | 杭州比智科技有限公司 | 人脸图像质量的评估方法、装置及计算设备 |
| CN109360178A (zh) * | 2018-10-17 | 2019-02-19 | 天津大学 | 基于融合图像的无参考立体图像质量评价方法 |
| CN109389587A (zh) * | 2018-09-26 | 2019-02-26 | 上海联影智能医疗科技有限公司 | 一种医学图像分析***、装置及存储介质 |
| CN109543606A (zh) * | 2018-11-22 | 2019-03-29 | 中山大学 | 一种加入注意力机制的人脸识别方法 |
| CN109543719A (zh) * | 2018-10-30 | 2019-03-29 | 浙江大学 | 基于多模态注意力模型的宫颈非典型病变诊断模型和装置 |
| CN109685116A (zh) * | 2018-11-30 | 2019-04-26 | 腾讯科技（深圳）有限公司 | 图像描述信息生成方法和装置及电子装置 |
| CN109815965A (zh) * | 2019-02-13 | 2019-05-28 | 腾讯科技（深圳）有限公司 | 一种图像过滤方法、装置及存储介质 |
| CN109978165A (zh) * | 2019-04-04 | 2019-07-05 | 重庆大学 | 一种融合自注意力机制的生成对抗网络方法 |
| CN110009614A (zh) * | 2019-03-29 | 2019-07-12 | 北京百度网讯科技有限公司 | 用于输出信息的方法和装置 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8605254B2 (en) * | 2009-10-26 | 2013-12-10 | International Business Machines Corporation | Constrained optimization of lithographic source intensities under contingent requirements |
| US10095050B2 (en) * | 2016-12-02 | 2018-10-09 | Carl Zeiss Vision International Gmbh | Method, a system and a computer readable medium for optimizing an optical system, and a method of evaluating attentional performance |
-
2019
- 2019-08-13 CN CN201910745023.8A patent/CN110458829B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018121690A1 (zh) * | 2016-12-29 | 2018-07-05 | 北京市商汤科技开发有限公司 | 对象属性检测、神经网络训练、区域检测方法和装置 |
| CN108229580A (zh) * | 2018-01-26 | 2018-06-29 | 浙江大学 | 一种基于注意力机制及特征融合的眼底图中糖网特征分级装置 |
| CN109146856A (zh) * | 2018-08-02 | 2019-01-04 | 深圳市华付信息技术有限公司 | 图像质量评定方法、装置、计算机设备及存储介质 |
| CN109285149A (zh) * | 2018-09-04 | 2019-01-29 | 杭州比智科技有限公司 | 人脸图像质量的评估方法、装置及计算设备 |
| CN109191457A (zh) * | 2018-09-21 | 2019-01-11 | 中国人民解放军总医院 | 一种病理图像质量有效性识别方法 |
| CN109389587A (zh) * | 2018-09-26 | 2019-02-26 | 上海联影智能医疗科技有限公司 | 一种医学图像分析***、装置及存储介质 |
| CN109360178A (zh) * | 2018-10-17 | 2019-02-19 | 天津大学 | 基于融合图像的无参考立体图像质量评价方法 |
| CN109543719A (zh) * | 2018-10-30 | 2019-03-29 | 浙江大学 | 基于多模态注意力模型的宫颈非典型病变诊断模型和装置 |
| CN109543606A (zh) * | 2018-11-22 | 2019-03-29 | 中山大学 | 一种加入注意力机制的人脸识别方法 |
| CN109685116A (zh) * | 2018-11-30 | 2019-04-26 | 腾讯科技（深圳）有限公司 | 图像描述信息生成方法和装置及电子装置 |
| CN109815965A (zh) * | 2019-02-13 | 2019-05-28 | 腾讯科技（深圳）有限公司 | 一种图像过滤方法、装置及存储介质 |
| CN110009614A (zh) * | 2019-03-29 | 2019-07-12 | 北京百度网讯科技有限公司 | 用于输出信息的方法和装置 |
| CN109978165A (zh) * | 2019-04-04 | 2019-07-05 | 重庆大学 | 一种融合自注意力机制的生成对抗网络方法 |
Non-Patent Citations (6)
| Title |
|---|
| "A Parallel Feature Expansion Classification Model with Feature-based Attention Mechanism";Yingchao Yu et al;《2018 IEEE 7th Data Driven Control and Learning Systems Conference (DDCLS)》;全文 * |
| "Boundary Regularized Convolutional Neural Network for Layer Parsing of Breast Anatomy in Automated Whole Breast Ultrasound";Cheng Bian et al;《Medical Image Computing and Computer Assisted Intervention − MICCAI 2017》;全文 * |
| "Select-Additive Learning: Improving Generalization in Multimodal Sentiment ";Haohan Wang et al;《ARXIV》;全文 * |
| "基于深度学习的多语种短文本分类方法的研究";刘娇;《 CNKI优秀硕士学位论文全文库》;全文 * |
| 基于FA-Net的视网膜眼底图像质量评估;万程;游齐靖;孙晶;沈建新;俞秋丽;中华实验眼科杂志;第37卷(第008期);全文 * |
| 结合视觉注意力机制和图像锐度的无参图像质量评价方法;王凡;倪晋平;董涛;郭荣礼;;应用光学(第01期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110458829A (zh) | 2019-11-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110458829B (zh) | 基于人工智能的图像质控方法、装置、设备及存储介质 | |
| US20240081618A1 (en) | Endoscopic image processing | |
| CN108389201B (zh) | 基于3d卷积神经网络与深度学习的肺结节良恶性分类方法 | |
| US11526983B2 (en) | Image feature recognition method and apparatus, storage medium, and electronic apparatus | |
| CN109919928B (zh) | 医学影像的检测方法、装置和存储介质 | |
| US11984225B2 (en) | Medical image processing method and apparatus, electronic medical device, and storage medium | |
| US11129591B2 (en) | Echocardiographic image analysis | |
| CN110517759B (zh) | 一种待标注图像确定的方法、模型训练的方法及装置 | |
| Mishra et al. | Diabetic retinopathy detection using deep learning | |
| CN110837803B (zh) | 基于深度图网络的糖尿病视网膜病变分级方法 | |
| CN109346159B (zh) | 病例图像分类方法、装置、计算机设备及存储介质 | |
| CN110544301A (zh) | 一种三维人体动作重建***、方法和动作训练*** | |
| CN112435341B (zh) | 三维重建网络的训练方法及装置、三维重建方法及装置 | |
| CN111597946B (zh) | 图像生成器的处理方法、图像生成方法及装置 | |
| CN112101424B (zh) | 一种视网膜病变识别模型的生成方法、识别装置及设备 | |
| CN110197474B (zh) | 图像处理方法和装置及神经网络模型的训练方法 | |
| US11830187B2 (en) | Automatic condition diagnosis using a segmentation-guided framework | |
| CN113132717A (zh) | 数据处理方法、终端和服务器 | |
| CN113570689B (zh) | 人像卡通化方法、装置、介质和计算设备 | |
| CN111080592A (zh) | 一种基于深度学习的肋骨提取方法及装置 | |
| CN113128278A (zh) | 一种图像识别方法及装置 | |
| TWM586599U (zh) | 人工智慧雲端膚質與皮膚病灶辨識系統 | |
| CN115841602A (zh) | 基于多视角的三维姿态估计数据集的构建方法及装置 | |
| Jayageetha et al. | Medical image quality assessment using CSO based deep neural network | |
| US11875898B2 (en) | Automatic condition diagnosis using an attention-guided framework |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |