CN113869364A - 图像处理方法、装置、电子设备及介质 - Google Patents

Abstract

本申请提供了一种图像处理方法、装置、电子设备及存储介质，该方法包括：获取测试样本；测试样本包括样本图像和样本图像中目标对象的标注信息；标注信息包括目标对象所对应的检测框标注信息和识别结果标注信息；通过检测模型对样本图像进行检测，得到目标对象所对应的检测框信息，基于检测框信息通过识别模型对目标对象进行识别，得到样本图像所对应的识别结果信息；若基于样本图像的识别结果标注信息和识别结果信息确定测试样本识别失败，则根据样本图像所对应的检测框信息和检测框标注信息，对测试样本识别失败的原因进行分析。本申请实现了使用同一测试样本同时对检测模型和识别模型进行联合分析，可以准确确定识别失败原因。

Description

图像处理方法、装置、电子设备及介质

技术领域

本申请涉及图像处理技术领域，特别是涉及一种图像处理方法、装置、电子设备及存储介质。

背景技术

在目标识别(如人脸识别)的业务场景中，通常是先将图像经过检测模型实现目标检测，再将检测到的目标送入识别模型，与底库图像进行比对，得出识别结果。

在算法优化时，需要确定模型的缺陷，基于缺陷对模型进行优化。但是，现有技术中，对于识别失败的场景，并不能很好地确定识别失败原因。

发明内容

鉴于上述问题，提出了本申请实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种图像处理方法、装置、电子设备及存储介质。

依据本申请实施例的第一方面，提供了一种图像处理方法，包括：

获取测试样本；其中，所述测试样本包括样本图像和所述样本图像中目标对象的标注信息；所述标注信息包括所述目标对象所对应的检测框标注信息和识别结果标注信息；

通过检测模型对所述样本图像进行检测，得到所述目标对象所对应的检测框信息，基于所述检测框信息通过识别模型对所述目标对象进行识别，得到所述样本图像所对应的识别结果信息；

若基于所述样本图像的识别结果标注信息和识别结果信息确定所述测试样本识别失败，则根据所述样本图像所对应的检测框信息和检测框标注信息，对所述测试样本识别失败的原因进行分析。

依据本申请实施例的第二方面，提供了一种图像处理装置，包括：

获取模块，用于获取测试样本；其中，所述测试样本包括样本图像和所述样本图像中目标对象的标注信息；所述标注信息包括所述目标对象所对应的检测框标注信息和识别结果标注信息；

检测识别模块，用于通过检测模型对所述样本图像进行检测，得到所述目标对象所对应的检测框信息，基于所述检测框信息通过识别模型对所述目标对象进行识别，得到所述样本图像所对应的识别结果信息；

原因分析模块，用于若基于所述样本图像的识别结果标注信息和识别结果信息确定所述测试样本识别失败，则根据所述样本图像所对应的检测框信息和检测框标注信息，对所述测试样本识别失败的原因进行分析。

依据本申请实施例的第三方面，提供了一种电子设备，包括：处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如第一方面中所述的图像处理方法。

依据本申请实施例的第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的图像处理方法。

本申请实施例提供的图像处理方法、装置、电子设备及存储介质，获取测试样本，通过检测模型对样本图像进行检测，得到目标对象所对应的检测框信息，基于检测框信息通过识别模型对目标对象进行识别，得到样本图像对应的识别结果信息，若基于样本图像的识别结果标注信息和识别结果信息确定测试样本识别失败，则根据样本图像所对应的检测框信息和检测框标注信息，对测试样本识别失败的原因进行分析，实现了使用同一测试样本同时对检测模型和识别模型进行联合分析，可以准确确定识别失败原因。

上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。

图1是本申请实施例提供的一种图像处理方法的步骤流程图；

图2是本申请实施例提供的另一种图像处理方法的步骤流程图；

图3是本申请实施例提供的另一种图像处理方法的步骤流程图；

图4是本申请实施例提供的一种图像处理装置的结构框图；

图5是本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将参照附图更详细地描述本申请的示例性实施例。虽然附图中显示了本申请的示例性实施例，然而应当理解，可以以各种形式实现本申请而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本申请，并且能够将本申请的范围完整的传达给本领域的技术人员。

近年来，基于人工智能的计算机视觉、深度学习、机器学习、图像处理、图像识别等技术研究取得了重要进展。人工智能(Artificial Intelligence，AI)是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用***的新兴科学技术。人工智能是一门综合性学科，涉及芯片、大数据、云计算、物联网、分布式存储、深度学习、机器学习、神经网络等诸多技术种类。计算机视觉作为人工智能的一个重要分支，具体是让机器识别世界，计算机视觉技术通常包括人脸识别、活体检测、指纹识别与防伪验证、生物特征识别、人脸检测、行人检测、目标检测、行人识别、图像处理、图像识别、图像语义理解、图像检索、文字识别、视频处理、视频内容识别、行为识别、三维重建、虚拟现实、增强现实、同步定位与底图构建(SLAM)、计算摄影、机器人导航与定位等技术。随着人工智能技术的研究与进步，该项技术在众多领域展开了应用，例如安防、城市管理、交通管理、楼宇管理、园区管理、人脸通行、人脸考勤、物流管理、仓储管理、机器人、智能营销、计算摄影、手机摄影、云服务、智能家居、穿戴设备、无人驾驶、自动驾驶、智能医疗、人脸支付、人脸解锁、指纹解锁、人证核验、智慧屏、智能电视、摄像机、移动互联网、网络直播、美颜、美妆、医疗美容、智能测温等领域。

图1是本申请实施例提供的一种图像处理方法的步骤流程图，如图1所示，该方法可以包括：

步骤101，获取测试样本；其中，所述测试样本包括样本图像和所述样本图像中目标对象的标注信息；所述标注信息包括所述目标对象所对应的检测框标注信息和识别结果标注信息。

其中，所述检测标注信息可以包括检测框的位置标注信息，或者也可以包括检测框的位置标注信息和关键点位置标注信息。所述识别标注包括底库图像标识和对应的识别分数，所述识别分数为测试样本中的样本图像与底库图像的相似度。检测框表征目标对象在样本图像中的位置。测试样本用于对目标对象的检测模型和识别模型进行测试。所述目标对象可以是人脸、人体、车牌、人体、车辆、动物等。

在需要对目标对象的检测模型和识别模型进行联合优化测试时，可以获取带有标注信息的测试样本。

步骤102，通过检测模型对所述样本图像进行检测，得到所述目标对象所对应的检测框信息，基于所述检测框信息通过识别模型对所述目标对象进行识别，得到所述样本图像所对应的识别结果信息。

其中，检测框信息可以包括检测框的位置信息，或者也可以包括检测框的位置信息和关键点位置信息。识别结果信息可以包括识别分数最高的底库图像标识和识别分数，还可以包括目标身份。

将测试样本中的样本图像通过检测模型进行检测，得到目标对象在所述样本图像中所对应的检测框信息，根据检测框信息截取出其中的目标对象，得到目标对象的截图，将截图输入识别模型，通过识别模型对截图进行目标对象的识别，得到样本图像所对应的识别结果信息。

例如，在目标对象为人脸时，将测试样本的样本图像输入检测模型，检测模型输出样本图像所对应的最大的人脸框，即输出样本图像所对应的检测框信息，基于检测框信息截取出人脸截图，将人脸截图输入识别模型，识别模型对人脸截图进行识别，将人脸截图与底库中的人脸图像进行比对，得出相似度最高的人脸底库图像，并输出相似度得分，该相似度得分为识别分数，若识别分数超过识别阈值，则可以认为样本图像与底库图像中人脸是同一人。

步骤103，若基于所述样本图像的识别结果标注信息和识别结果信息确定所述测试样本识别失败，则根据所述样本图像所对应的检测框信息和检测框标注信息，对所述测试样本识别失败的原因进行分析。

若测试样本中样本图像的识别结果信息与所述识别结果标注信息相同，则确定测试样本识别成功；若测试样本中样本图像的识别结果信息与所述识别结果标注信息不同，则确定测试样本识别失败。

在确定测试样本识别失败后，可以基于样本图像所对应的检测框信息和检测框标注信息，对测试样本识别失败的原因进行分析，即比较检测框信息与检测框标注信息，基于检测框信息与检测框标注信息的差距确定识别失败原因是否是检测模型的问题，如果检测框信息与检测框标注信息的差距满足目标差距条件，则确定检测模型没有问题，如果检测框信息与检测框标注信息的差距不满足目标差距条件，则确定识别失败原因是检测模型的问题。如果检测模型没有问题，则可以确定测试样本识别失败的原因是样本图像质量的问题或者识别模型的问题。

本申请实施例提供的图像处理方法，通过获取测试样本，通过检测模型对样本图像进行检测，得到目标对象所对应的检测框信息，基于检测框信息通过识别模型对目标对象进行识别，得到样本图像对应的识别结果信息，若基于样本图像的识别结果标注信息和识别结果信息确定测试样本识别失败，则根据样本图像所对应的检测框信息和检测框标注信息，对测试样本识别失败的原因进行分析，实现了使用同一测试样本同时对检测模型和识别模型进行联合分析，可以准确确定识别失败原因。

图2是本申请实施例提供的一种图像处理方法的步骤流程图，本实施例在上述实施例的基础上，所述测试样本为测试视频数据，所述测试视频数据包括多帧样本图像和每帧所述样本图像中目标对象的标注信息，如图2所示，该方法可以包括：

步骤201，获取测试样本；其中，所述测试样本包括样本图像和所述样本图像中目标对象的标注信息；所述标注信息包括所述目标对象所对应的检测框标注信息和识别结果标注信息。

步骤202，通过检测模型对所述样本图像进行检测，得到所述目标对象所对应的检测框信息，基于所述检测框信息通过识别模型对所述目标对象进行识别，得到所述样本图像所对应的识别结果信息。

将测试样本中的各帧样本图像分别通过检测模型，得到各帧样本图像的检测框信息，根据各帧样本图像的检测框信息截取出其中的目标对象，得到目标对象的截图，将截图输入识别模型，通过识别模型对截图进行目标对象的识别，得到各帧样本图像的别结果信息。或者，在得到各帧样本图像的检测框信息后，可以从测试样本中筛选出质量属性满足一定要求的多帧样本图像，并从这些样本图像中筛选出一定比例的样本图像，作为推图帧，根据推图帧的检测框信息对推图帧中的目标对象进行截图，将截图输入识别模型，通过识别模型对截图进行目标对象的识别，得到筛选出的样本图像的识别结果信息。

步骤203，针对所述多帧样本图像中的各帧样本图像，基于所述样本图像所对应的识别结果标注信息和识别结果信息对所述样本图像的识别结果进行校验。

针对多帧样本图像中的各帧样本图像，分别基于识别结果标注信息和识别结果信息对各帧样本图像的识别结果进行校验，以确定各帧样本图像识别成功、识别失败或未识别出目标对象。

在本申请的一个实施例中，所述针对所述多帧样本图像中的各帧样本图像，基于所述样本图像所对应的识别结果标注信息和识别结果信息对所述样本图像的识别结果进行校验，包括：

遍历所述多帧样本图像；

针对当前遍历到的所述样本图像，根据所述样本图像所对应的识别结果信息校验是否识别出目标对象；

若校验结果指示识别出所述目标对象，则基于所述样本图像所对应的识别结果信息和识别结果标注信息校验所述样本图像是否识别正确；

若校验结果指示未识别出所述目标对象，继续执行遍历所述多帧样本图像的操作，直至满足遍历结束条件为止；

其中，所述遍历结束条件包括以下条件中的任一项：存在识别正确的样本图像、存在识别错误的样本图像或者所有样本图像均未识别出目标对象。

可以通过遍历的方式来对多帧样本图像中的各帧样本图像的识别结果进行校验，针对当前遍历到的样本图像，根据该样本图像所对应的识别结果信息校验是否识别出目标对象，如果校验结果指示识别出目标对象，则比较样本图像所对应的识别结果信息和识别结果标注信息，如果样本图像所对应的识别结果信息和识别结果标注信息为同一目标对象，则确定该样本图像识别正确，如果样本图像所对应的识别结果信息和识别结果标注信息为不同的目标对象，则确定该样本图像识别错误；如果校验结果指示未识别出目标对象，则执行遍历多帧样本图像的操作，直至满足遍历结束条件为止。在遍历的过程中，如果当前遍历到的样本图像识别正确或识别错误，则结束遍历，并将样本图像的识别结果作为测试样本的识别结果，即当前遍历到的样本图像识别正确时，确定测试样本识别正确，当前遍历到的样本图像识别错误时，确定测试样本识别错误；如果测试样本中的多帧样本图像遍历结束，所有样本图像均未识别出目标对象，则结束遍历，并确定测试样本未识别出目标对象。识别错误或未识别出目标对象的测试样本为识别失败的测试样本。

通过采用遍历的方式来对多帧样本图像进行校验，可以顺序的对多帧样本图像进行校验，并可以准确确定出测试样本的识别结果。

需要说明的是，除了采用遍历的方式来对各帧样本图像的识别结果进行校验之外，还可以采用其他的方式对各帧样本图像的识别结果进行校验，例如，还可以同时对多帧样本图像进行校验，或者将多帧样本图像分为多批，并分批对多帧样本图像进行校验。

步骤204，若校验结果指示所述多帧样本图像中存在识别正确的样本图像，则确定所述测试样本识别成功。

步骤205，若校验结果指示所述多帧样本图像中存在识别错误的样本图像，则确定所述测试样本识别失败。

之后执行步骤207。

步骤206，若校验结果指示所述多帧样本图像中的每帧样本图像均未识别出目标对象，则确定所述测试样本识别失败。

之后执行步骤207。

步骤207，根据所述样本图像所对应的检测框信息和检测框标注信息，对所述测试样本识别失败的原因进行分析。

在本申请的一个实施例中，所述根据所述样本图像所对应的检测框信息和检测框标注信息，对所述测试样本识别失败的原因进行分析，包括：基于各帧所述样本图像的识别结果标注信息和识别结果信息，确定所述测试样本所对应的关键视频帧；基于所述关键视频帧所对应的检测框信息和检测框标注信息，对所述测试样本识别失败的原因进行分析。

在一个测试样本为测试视频数据，且包括多帧样本图像时，可以先确定出测试样本所对应的关键视频帧，并基于关键视频帧对测试样本识别失败的原因进行分析。关键视频帧可以是测试样本中识别错误的样本图像，或者在测试样本中多帧样本图像均未识别出目标对象时是多帧样本图像中的一帧依据条件确定出的样本图像或者随机一帧样本图像。

对测试样本识别失败的原因进行分析时，只需要在测试样本识别失败时进行分析，对于识别成功的测试样本无需进行分析。

在本申请的一个实施例中，所述基于各帧所述样本图像的识别结果标注信息和识别结果信息，确定所述测试样本所对应的关键视频帧，包括：针对所述多帧样本图像中的各帧样本图像，基于所述样本图像所对应的识别结果标注信息和识别结果信息对所述样本图像的识别结果进行校验；将校验结果指示识别错误的样本图像、或者将校验结果指示未识别出所述目标对象的样本图像中识别分数最高的样本图像，确定为所述关键视频帧。

针对多帧样本图像中的各帧样本图像，分别基于识别结果标注信息和识别结果信息对各帧样本图像的识别结果进行校验，以确定各帧样本图像识别成功、识别失败或未识别出目标对象。将校验结果指示识别错误的样本图像确定为测试样本的关键视频帧，或者将校验结果指示未识别出目标对象的样本图像中识别分数最高的样本图像确定为测试样本的关键视频帧。通过基于校验结果来确定关键视频帧，可以准确确定测试样本的关键视频帧，为后续的分析提供准确的分析数据。

在本申请的一个实施例中，基于所述关键视频帧所对应的检测框信息和检测框标注信息，对所述测试样本识别失败的原因进行分析，包括：基于所述关键视频帧所对应的检测框信息和检测框标注信息，对所述关键视频帧进行检测性能和/或质量属性分析，以确定所述测试样本识别失败的原因；其中，所述检测性能反映所述检测模型的检测相关问题，所述质量属性反映所述测试样本的质量相关问题。

对测试样本识别失败的原因进行分析时，只需对关键视频帧进行分析，从而减少处理的数据量。可以基于关键视频帧所对应的检测框信息和检测框标注信息，对关键视频帧进行检测性能和/或质量属性分析，来确定测试样本识别失败的原因是检测模型的问题还是识别模型的问题，或者是视频质量的问题。比较关键视频帧所对应的检测框信息和检测框标注信息，基于检测框信息与检测框标注信息的差距确定识别失败原因是否是检测模型的问题，如果检测框信息与检测框标注信息的差距满足目标差距条件，则确定检测模型没有问题，如果检测框信息与检测框标注信息的差距不满足目标差距条件，则确定识别失败原因是检测模型的问题。还可以关键视频帧进行质量属性分析，判断质量属性是否满足目标属性条件，如果质量属性不满足目标属性条件则确定识别失败原因是测试样本的质量属性问题，如果质量属性满足目标属性条件则确定识别失败原因是识别模型的问题。

对于一个测试样本，可以只进行检测性能分析或者质量属性分析，如果分析出检测模型的问题或者视频质量的问题，可以确定识别失败的原因就是检测模型的问题或者视频质量的问题。

在确定出识别失败原因是检测模型或识别模型存在问题时，可以对检测模型或识别模型进行优化处理，以排除问题；在确定出识别失败原因是视频质量的问题时，可以对获取测试样本的摄像头进行调整，以最大程度排除质量属性问题。

在本申请的一个实施例中，对所述关键视频帧进行检测性能和质量属性分析，以确定所述测试样本识别失败的原因，包括：

根据所述关键视频帧的检测框信息和检测框标注信息，对所述关键视频帧进行检测性能分析；

若所述检测性能分析结果指示所述检测性能存在问题，则确定所述测试样本识别失败的原因为所述检测模型的问题；

若所述检测性能分析结果指示所述检测性能不存在问题，则校验所述关键视频帧的质量属性是否满足目标属性条件；

若所述质量属性不满足所述目标属性条件，则确定所述测试样本识别失败的原因为视频质量的问题；

若所述质量属性满足所述目标属性条件，则确定所述测试样本识别失败的原因为所述识别模型的问题。

确定关键视频帧的检测框信息与检测框标注信息的差距，基于差距确定关键视频帧的检测性能分析结果，如果差距不满足目标差距条件，则确定检测性能存在问题，并确定测试样本识别失败的原因为检测模型的问题，不再执行后续的分析，如果差距满足目标差距条件，则确定检测性能不存在问题，这时再进一步获取关键视频帧的质量属性，分析质量属性是否满足目标属性条件，如果质量属性不满足目标属性条件，则确定测试样本识别失败的原因为视频质量的问题，如果质量属性满足目标属性条件，则确定测试样本识别失败的原因为识别模型的问题。其中，质量属性可以包括：图像模糊度、目标对象角度、目标对象大小、图像亮度和目标对象完整性等中的至少一种，目标对象例如可以是人脸、车牌等，目标对象为人脸时，目标对象角度可以是仰头或低头的角度等。在确定识别失败的原因为视频质量的问题时，还可以确定不满足目标属性条件的质量属性，即可以确定导致识别失败的具体质量属性。

通过依次进行检测性能分析和质量属性分析，可以准确确定出测试样本识别失败的原因。

在一种可选的实施方式中，所述检测框信息包括所述检测框的位置信息，所述检测框标注信息包括所述检测框的位置标注信息；所述根据所述关键视频帧的检测框信息和检测框标注信息，对所述关键视频帧进行检测性能分析，包括：确定所述关键视频帧所对应的第一检测框和第二检测框的重叠度；其中，所述第一检测框是基于所述关键视频帧所对应的检测框的位置信息所确定的，所述第二检测框是基于所述关键视频帧所对应的位置标注信息所确定的；若所述重叠度大于或等于重叠度阈值，则确定检测性能不存在问题；若所述重叠度小于重叠度阈值，则确定检测性能存在问题。

在检测框信息为检测框的位置信息，检测框标注信息为检测框的位置标注信息时，可以确定关键视频帧所对应的检测框的位置信息所确定的第一检测框，并确定检测框的位置标注信息所确定的第二检测框，计算第一检测框与第二检测框的重叠度，即计算第一检测框与第二检测框的重叠区域与第一检测框与第二检测框的总区域的比例，得到第一检测框与第二检测框的重叠度，如果重叠度大于或等于重叠度阈值，即第一检测框和第二检测框大部分是重叠的，这时确定检测性能不存在问题，如果重叠度小于重叠度阈值，即第一检测框和第二检测框重叠的部分不足，这时确定检测性能存在问题。通过基于检测框进行判断，处理的数据量较少，可以提高优化分析效率。

在另一种可选的实施方式中，所述检测框信息包括检测框的位置信息和关键点位置信息，检测框标注信息包括检测框位置标注信息和关键点位置标注信息；所述根据所述关键视频帧的检测框信息和检测框标注信息，对所述关键视频帧进行检测性能分析，包括：确定所述关键视频所对应的第一检测框和第二检测框的重叠度，其中，所述第一检测框是基于所述关键视频帧所对应的检测框的位置信息所确定的，所述第二检测框是基于所述关键视频帧所对应的位置标注信息所确定的；若所述重叠度小于重叠度阈值，则确定检测性能存在第一类型问题；其中，所述第一类型问题与目标检测相关；若所述重叠度大于或等于重叠度阈值，则确定所述关键视频帧的关键点位置信息与所述关键点位置标注信息的距离；若所述距离大于距离阈值，则确定检测性能存在第二类型问题；其中，所述第二类型问题与关键点检测相关；若所述距离小于或等于所述距离阈值，则确定检测性能不存在问题。

在检测框信息包括检测框的位置信息和关键点位置信息，检测框标注信息包括检测框的位置标注信息和关键点位置标注信息时，可以首先比较第一检测框与第二检测框，即确定关键视频帧所对应的第一检测框与第二检测框的重叠度，如果重叠度小于重叠度阈值，则可以确定检测性能存在第一类型问题，如果重叠度大于或等于重叠度阈值，则可以确定检测模型不存在第一类型问题，这时进一步进行关键点检测的判断，即确定关键视频帧的关键点位置信息与关键点位置标注信息的距离，如果该距离大于距离阈值，即检测框信息中的关键点位置信息与检测框标注信息中的关键点位置标注信息差距较大，则确定检测性能存在第二类型问题，如果距离小于或等于距离阈值，则确定检测性能不存在问题。其中，第一类型问题是与目标检测相关的问题，如目标检测不准确，得到的检测框与标注的检测框差距太大，目标检测不准确例如可以是漏检目标对象或者错检目标对象等，漏检目标对象即遗漏了某个目标对象，错检目标对象如将其他对象错误检测为目标对象；第二类型问题是与关键点检测相关的问题，如关键点检测不准确。

通过同时对检测框和关键点进行判断，可以给出较为准确细化的分析结果。

本实施例提供的图像处理方法，通过在测试样本为测试视频数据时，针对多帧样本图像中的各帧样本图像，基于样本图像所对应的识别结果标注信息和识别结果信息对样本图像的识别结果进行校验，基于校验结果确定识别失败的测试样本，并基于样本图像的识别结果标注信息和识别结果信息对测试样本进行识别失败的原因的分析，实现了使用相同的测试样本同时对检测模型和识别模型进行联合优化分析，可以准确确定识别失败的原因。

图3是本申请实施例提供的一种图像处理方法的步骤流程图，本实施例在上述实施例的基础上，还可以对多套模型进行对比分析，一套模型可以包括一个检测模型和一个识别模型，如图3所示，该方法可以包括：

步骤301，获取测试样本；其中，所述测试样本包括样本图像和所述样本图像中目标对象的标注信息；所述标注信息包括所述目标对象所对应的检测框标注信息和识别结果标注信息。

步骤302，通过多套模型分别对所述测试样本中的样本图像进行识别，得到所述样本图像所对应的多个检测框信息和多个识别结果信息；每套模型包括一个检测模型和一个识别模型。

在对多套模型进行对比分析时，分别将样本图像输入每套模型，得到每套模型对所述样本图像的检测框信息和识别结果信息，即分别将样本图像输入每套模型的检测模型，检测模型进行检测后得到目标对象所对应的检测框信息，基于检测框信息，同一套模型中的识别模型对目标对象进行识别，得到样本图像所对应的识别结果信息，从而通过多套模型得到多个检测框信息和多个识别结果信息。

步骤303，若基于所述样本图像所对应的识别结果标注信息和多个识别结果信息，确定所述多套模型对所述测试样本的识别结果不同，则根据所述样本图像所对应的多个检测框信息和所述检测框标注信息，对识别失败的每套模型在所述测试样本中识别失败的原因进行分析。

多个识别结果信息中每个识别结果信息对应一套模型，基于识别结果标注信息和多个识别结果信息，可以分别比较识别结果标注信息与多个识别结果信息，确定多套模型对所述测试样本的识别结果是识别成功还是识别失败，如果多套模型对测试样本的识别结果不同，则确定多套模型中对测试样本识别失败的模型，并对识别失败的每套模型在测试样本中识别失败的原因进行分析，具体分析方式同上述实施例，这里不再赘述。

所述多套模型的数量可以是两套，也可以是三套或三套以上。

在多套模型的数量是两套时，两套模型可以分别为第一套模型和第二套模型，第一套模型包括第一检测模型和第一识别模型，第二套模型包括第二检测模型和第二识别模型，第一套模型和第二套模型可以是升级前后的模型，也可以是完全不同的模型。在对两套模型进行对比分析时，将样本图像分别输入第一检测模型和第二检测模型，第一检测模型对样本图像进行检测得到目标对象所对应的第一检测框信息，基于第一检测框信息通过第一识别模型对目标对象进行识别，得到样本图像对应的第一识别结果信息；第二检测模型对样本图像进行检测得到目标对象所对应的第二检测框信息，基于第二检测框信息通过第二识别模型对目标对象进行识别，得到样本图像对应的第二识别结果信息；基于样本图像的识别结果标注信息和第一识别结果信息，确定第一套模型对测试样本的识别结果是识别成功还是识别失败，基于样本图像的识别结果标注信息和第二识别结果信息，确定第二套模型对测试样本的识别结果是识别成功还是识别失败，如果第一套模型和第二套模型对测试样本的识别结果不同，则对测试样本识别失败的模型在测试样本中识别失败的原因进行分析。在有多个测试样本时，对于每个测试样本中的样本图像分别使用第一套模型和第二套模型进行识别，得到每个测试样本分别对应于第一套模型的第一检测框信息和第一识别结果信息，和每个测试样本分别对应于第二套模型的第二检测框信息和第二识别结果信息，基于每个测试样本所对应的识别结果标注信息、第一识别结果信息和第二识别结果信息，确定第一套模型和第二套模型对多个测试样本的识别结果不同的测试样本集合，分别确定第一套模型在所述测试样本集合中识别失败而第二套模型识别成功的第一测试样本子集，和第二套模型在所述测试样本结合中识别失败而第一套模型识别成功的第二测试样本子集，分析第一套模型在第一测试样本子集中识别失败的原因，并分析第二套模型在第二测试样本子集中识别失败的原因。

在多套模型的数量是三套或三套以上时，基于识别结果标注信息和多个识别结果信息，可以分别比较识别结果标注信息与多个识别结果信息，确定多套模型对所述测试样本的识别结果是识别成功还是识别失败，如果多套模型对测试样本的识别结果不同，则确定多套模型中对测试样本识别失败的模型，并对识别失败的每套模型在测试样本中识别失败的原因进行分析。在有多个测试样本时，每个测试样本分别通过多套模型进行识别，可以每个测试样本对应于每套模型的检测框信息和识别结果信息，即对应于每个测试样本会有多个检测框信息和多个识别结果信息，对应于每个测试样本，分别比较识别结果标注信息和多个识别结果信息，确定多套模型对该测试样本的识别结果是否相同，从而基于多套模型对每个测试样本的识别结果，确定多套模型识别结果不同的测试样本集合，分别确定在测试样本集合中每套模型识别失败的测试样本子集，并对每套模型在各自对应的测试样本子集中识别失败的原因进行分析。

本实施例提供的图像处理方法，通过多套模型分别对测试样本中的样本图像进行识别，得到样本图像所对应的多个检测框信息和多个识别结果信息，若基于样本图像所对应的识别结果标注信息和多个识别结果信息确定多套模型对测试样本的识别结果不同，则根据样本图像所对应的多个检测框信息和检测框标注信息，对识别失败的每套模型在测试样本集合中识别失败的原因进行分析，实现了对多套模型的对比分析，可以确定多套模型的识别差异原因，有利于对升级前后的模型进行对比分析。

需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请实施例并不受所描述的动作顺序的限制，因为依据本申请实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本申请实施例所必须的。

图4是本申请实施例提供的一种图像处理装置的结构框图，如图4所示，该图像处理装置可以包括：

获取模块401，用于获取测试样本；其中，所述测试样本包括样本图像和所述样本图像中目标对象的标注信息；所述标注信息包括所述目标对象所对应的检测框标注信息和识别结果标注信息；

检测识别模块402，用于通过检测模型对所述样本图像进行检测，得到所述目标对象所对应的检测框信息，基于所述检测框信息通过识别模型对所述目标对象进行识别，得到所述样本图像所对应的识别结果信息；

原因分析模块403，用于若基于所述样本图像的识别结果标注信息和识别结果信息确定所述测试样本识别失败，则根据所述样本图像所对应的检测框信息和检测框标注信息，对所述测试样本识别失败的原因进行分析。

可选的，所述测试样本为测试视频数据，所述测试视频数据包括多帧样本图像和每帧所述样本图像中目标对象的标注信息；

所述装置还包括识别结果确定模块，所述识别结果确定模块包括：

校验单元，用于针对所述多帧样本图像中的各帧样本图像，基于所述样本图像所对应的识别结果标注信息和识别结果信息对所述样本图像的识别结果进行校验；

识别结果确定单元，用于若校验结果指示所述多帧样本图像中存在识别正确的样本图像，则确定所述测试样本识别成功；若校验结果指示所述多帧样本图像中存在识别错误的样本图像，则确定所述测试样本识别失败；若校验结果指示所述多帧样本图像中的每帧样本图像均未识别出目标对象，则确定所述测试样本识别失败。

可选的，所述校验单元具体用于：

遍历所述多帧样本图像；

针对当前遍历到的所述样本图像，根据所述样本图像所对应的识别结果信息校验是否识别出目标对象；

若校验结果指示识别出所述目标对象，则基于所述样本图像所对应的识别结果信息和识别结果标注信息校验所述样本图像是否识别正确；

若校验结果指示未识别出所述目标对象，继续执行遍历所述多帧样本图像的操作，直至满足遍历结束条件为止；

其中，所述遍历结束条件包括以下条件中的任一项：存在识别正确的样本图像、存在识别错误的样本图像或者所有样本图像均未识别出目标对象。

可选的，所述原因分析模块包括：

关键帧确定单元，用于基于各帧所述样本图像的识别结果标注信息和识别结果信息，确定所述测试样本所对应的关键视频帧；

原因分析单元，用于基于所述关键视频帧所对应的检测框信息和检测框标注信息，对所述测试样本识别失败的原因进行分析。

可选的，所述关键帧确定单元具体用于：

针对所述多帧样本图像中的各帧样本图像，基于所述样本图像所对应的识别结果标注信息和识别结果信息对所述样本图像的识别结果进行校验；

将校验结果指示识别错误的样本图像、或者将校验结果指示未识别出所述目标对象的样本图像中识别分数最高的样本图像，确定为所述关键视频帧。

可选的，所述原因分析单元具体用于：

基于所述关键视频帧所对应的检测框信息和检测框标注信息，对所述关键视频帧进行检测性能和/或质量属性分析，以确定所述测试样本识别失败的原因；

其中，所述检测性能反映所述检测模型的检测相关问题，所述质量属性反映所述测试样本的质量相关问题。

可选的，所述原因分析单元包括：

性能分析子单元，用于根据所述关键视频帧的检测框信息和检测框标注信息，对所述关键视频帧进行检测性能分析；

检测模型问题确定子单元，用于若所述检测性能分析结果指示检测性能存在问题，则确定所述测试样本识别失败的原因为所述检测模型的问题；

质量属性校验子单元，用于若所述检测性能分析结果指示所述检测性能不存在问题，则校验所述关键视频帧的质量属性是否满足目标属性条件；

质量问题确定子单元，用于若所述质量属性不满足所述目标属性条件，则确定所述测试样本识别失败的原因为视频质量的问题；

识别模型问题确定子单元，用于若所述质量属性满足所述目标属性条件，则确定所述测试样本识别失败的原因为所述识别模型的问题。

可选的，所述检测框信息包括所述检测框的位置信息，所述检测框标注信息包括所述检测框的位置标注信息；

所述性能分析子单元具体用于：

确定所述关键视频帧所对应第一检测框和第二检测框的重叠度；其中，所述第一检测框是基于所述关键视频帧所对应的检测框的位置信息所确定的，所述第二检测框是基于所述关键视频帧所对应的位置标注信息所确定的；

若所述重叠度大于或等于重叠度阈值，则确定检测性能不存在问题；

若所述重叠度小于重叠度阈值，则确定检测性能存在问题。

可选的，所述检测框信息包括检测框的位置信息和关键点位置信息，检测框标注信息包括检测框的位置标注信息和关键点位置标注信息；

所述性能分析子单元具体用于：

确定所述关键视频帧所对应的第一检测框和第二检测框的重叠度，其中，所述第一检测框是基于所述关键视频帧所对应的检测框的位置信息所确定的，所述第二检测框是基于所述关键视频帧所对应的位置标注信息所确定的；

若所述重叠度小于重叠度阈值，则确定检测性能存在第一类型问题；其中，所述第一类型问题与目标检测相关；

若所述重叠度大于或等于重叠度阈值，则确定所述关键视频帧的关键点位置信息与所述关键点位置标注信息的距离；

若所述距离大于距离阈值，则确定检测性能存在第二类型问题；其中，所述第二类型问题与关键点检测相关；

若所述距离小于或等于所述距离阈值，则确定检测性能不存在问题。

可选的，所述检测识别模块具体用于：

通过多套模型分别对所述测试样本中的样本图像进行识别，得到所述样本图像所对应的多个检测框信息和多个识别结果信息；每套模型包括一个检测模型和一个识别模型；

所述原因分析模块具体用于：

若基于所述样本图像所对应的识别结果标注信息和多个识别结果信息，确定所述多套模型对所述测试样本的识别结果不同，则根据所述样本图像所对应的多个检测框信息和所述检测框标注信息，对识别失败的每套模型在所述测试样本中识别失败的原因进行分析。

本申请实施例提供的装置中各个模块、单元所对应功能的具体实现过程可参考图1-图3所示方法实施例，此处不再赘述装置部分各个模块、单元所对应功能的具体实现过程。

本实施例提供的图像处理装置，通过获取测试样本，通过检测模型对样本图像进行检测，得到目标对象所对应的检测框信息，基于检测框信息通过识别模型对目标对象进行识别，得到样本图像对应的识别结果信息，若基于样本图像的识别结果标注信息和识别结果信息确定测试样本识别失败，则根据样本图像所对应的检测框信息和检测框标注信息，对测试样本识别失败的原因进行分析，实现了使用同一测试样本同时对检测模型和识别模型进行联合分析，可以准确确定识别失败原因。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

图5是本申请实施例提供的一种电子设备的结构示意图，如图5所示，该电子设备500可以包括一个或多个处理器510以及与处理器510连接的一个或多个存储器520。电子设备500还可以包括输入接口530和输出接口540，用于与另一装置或***进行通信。被处理器510执行的程序代码可存储在存储器520中。

电子设备500中的处理器510调用存储在存储器520的程序代码，以执行上述实施例中的图像处理方法。

根据本申请的一个实施例，还提供了一种计算机可读存储介质，所述计算机可读存储介质包括但不限于磁盘存储器、CD-ROM、光学存储器等，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现前述实施例的图像处理方法。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白，本申请实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本申请实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请实施例是参照根据本申请实施例的方法、终端设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对本申请所提供的一种图像处理方法、装置、电子设备及存储介质，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (13)

1.一种图像处理方法，其特征在于，包括：

获取测试样本；其中，所述测试样本包括样本图像和所述样本图像中目标对象的标注信息；所述标注信息包括所述目标对象所对应的检测框标注信息和识别结果标注信息；

通过检测模型对所述样本图像进行检测，得到所述目标对象所对应的检测框信息，基于所述检测框信息通过识别模型对所述目标对象进行识别，得到所述样本图像所对应的识别结果信息；

若基于所述样本图像的识别结果标注信息和识别结果信息确定所述测试样本识别失败，则根据所述样本图像所对应的检测框信息和检测框标注信息，对所述测试样本识别失败的原因进行分析。

2.根据权利要求1所述的方法，其特征在于，所述测试样本为测试视频数据，所述测试视频数据包括多帧样本图像和每帧所述样本图像中目标对象的标注信息；

基于所述样本图像的识别结果标注信息和识别结果信息，通过如下步骤确定所述测试样本是否识别失败：

针对所述多帧样本图像中的各帧样本图像，基于所述样本图像所对应的识别结果标注信息和识别结果信息对所述样本图像的识别结果进行校验；

若校验结果指示所述多帧样本图像中存在识别正确的样本图像，则确定所述测试样本识别成功；

若校验结果指示所述多帧样本图像中存在识别错误的样本图像，则确定所述测试样本识别失败；

若校验结果指示所述多帧样本图像中的每帧样本图像均未识别出目标对象，则确定所述测试样本识别失败。

3.根据权利要求2所述的方法，其特征在于，所述针对所述多帧样本图像中的各帧样本图像，基于所述样本图像所对应的识别结果标注信息和识别结果信息对所述样本图像的识别结果进行校验，包括：

遍历所述多帧样本图像；

针对当前遍历到的所述样本图像，根据所述样本图像所对应的识别结果信息校验是否识别出目标对象；

若校验结果指示识别出所述目标对象，则基于所述样本图像所对应的识别结果信息和识别结果标注信息校验所述样本图像是否识别正确；

若校验结果指示未识别出所述目标对象，继续执行遍历所述多帧样本图像的操作，直至满足遍历结束条件为止；

其中，所述遍历结束条件包括以下条件中的任一项：存在识别正确的样本图像、存在识别错误的样本图像或者所有样本图像均未识别出目标对象。

4.根据权利要求1所述的方法，其特征在于，所述根据所述样本图像所对应的检测框信息和检测框标注信息，对所述测试样本识别失败的原因进行分析，包括：

基于各帧所述样本图像的识别结果标注信息和识别结果信息，确定所述测试样本所对应的关键视频帧；

基于所述关键视频帧所对应的检测框信息和检测框标注信息，对所述测试样本识别失败的原因进行分析。

5.根据权利要求4所述的方法，其特征在于，所述基于各帧所述样本图像的识别结果标注信息和识别结果信息，确定所述测试样本所对应的关键视频帧，包括：

针对所述多帧样本图像中的各帧样本图像，基于所述样本图像所对应的识别结果标注信息和识别结果信息对所述样本图像的识别结果进行校验；

将校验结果指示识别错误的样本图像、或者将校验结果指示未识别出所述目标对象的样本图像中识别分数最高的样本图像，确定为所述关键视频帧。

6.根据权利要求4或5所述的方法，其特征在于，基于所述关键视频帧所对应的检测框信息和检测框标注信息，对所述测试样本识别失败的原因进行分析，包括：

基于所述关键视频帧所对应的检测框信息和检测框标注信息，对所述关键视频帧进行检测性能和/或质量属性分析，以确定所述测试样本识别失败的原因；

其中，所述检测性能反映所述检测模型的检测相关问题，所述质量属性反映所述测试样本的质量相关问题。

7.根据权利要求6所述的方法，其特征在于，对所述关键视频帧进行检测性能和质量属性分析，以确定所述测试样本识别失败的原因，包括：

根据所述关键视频帧的检测框信息和检测框标注信息，对所述关键视频帧进行检测性能分析；

若所述检测性能分析结果指示所述检测性能存在问题，则确定所述测试样本识别失败的原因为所述检测模型的问题；

若所述检测性能分析结果指示所述检测性能不存在问题，则校验所述关键视频帧的质量属性是否满足目标属性条件；

若所述质量属性不满足所述目标属性条件，则确定所述测试样本识别失败的原因为视频质量的问题；

若所述质量属性满足所述目标属性条件，则确定所述测试样本识别失败的原因为所述识别模型的问题。

8.根据权利要求7所述的方法，其特征在于，所述检测框信息包括所述检测框的位置信息，所述检测框标注信息包括所述检测框的位置标注信息；

所述根据所述关键视频帧的检测框信息和检测框标注信息，对所述关键视频帧进行检测性能分析，包括：

确定所述关键视频帧所对应的第一检测框和第二检测框的重叠度；其中，所述第一检测框是基于所述关键视频帧所对应的检测框的位置信息所确定的，所述第二检测框是基于所述关键视频帧所对应的位置标注信息所确定的；

若所述重叠度大于或等于重叠度阈值，则确定检测性能不存在问题；

若所述重叠度小于重叠度阈值，则确定检测性能存在问题。

9.根据权利要求7所述的方法，其特征在于，所述检测框信息包括检测框的位置信息和关键点位置信息，检测框标注信息包括检测框的位置标注信息和关键点位置标注信息；

所述根据所述关键视频帧的检测框信息和检测框标注信息，对所述关键视频帧进行检测性能分析，包括：

确定所述关键视频帧所对应的第一检测框和第二检测框的重叠度，其中，所述第一检测框是基于所述关键视频帧所对应的检测框的位置信息所确定的，所述第二检测框是基于所述关键视频帧所对应的位置标注信息所确定的；

若所述重叠度小于重叠度阈值，则确定检测性能存在第一类型问题；其中，所述第一类型问题与目标检测相关；

若所述重叠度大于或等于重叠度阈值，则确定所述关键视频帧的关键点位置信息与所述关键点位置标注信息的距离；

若所述距离大于距离阈值，则确定检测性能存在第二类型问题；其中，所述第二类型问题与关键点检测相关；

若所述距离小于或等于所述距离阈值，则确定检测性能不存在问题。

10.根据权利要求1-9任一项所述的方法，其特征在于，通过检测模型对所述样本图像进行检测，得到所述目标对象所对应的检测框信息，基于所述检测框信息通过识别模型对所述目标对象进行识别，得到所述样本图像所对应的识别结果信息，包括：

通过多套模型分别对所述测试样本中的样本图像进行识别，得到所述样本图像所对应的多个检测框信息和多个识别结果信息；每套模型包括一个检测模型和一个识别模型；

若基于所述样本图像的识别结果标注信息和识别结果信息确定所述测试样本识别失败，则根据所述样本图像所对应的检测框信息和检测框标注信息，对所述测试样本识别失败的原因进行分析，包括：

若基于所述样本图像所对应的识别结果标注信息和多个识别结果信息，确定所述多套模型对所述测试样本的识别结果不同，则根据所述样本图像所对应的多个检测框信息和所述检测框标注信息，对识别失败的每套模型在所述测试样本中识别失败的原因进行分析。

11.一种图像处理装置，其特征在于，包括：

获取模块，用于获取测试样本；其中，所述测试样本包括样本图像和所述样本图像中目标对象的标注信息；所述标注信息包括所述目标对象所对应的检测框标注信息和识别结果标注信息；

检测识别模块，用于通过检测模型对所述样本图像进行检测，得到所述目标对象所对应的检测框信息，基于所述检测框信息通过识别模型对所述目标对象进行识别，得到所述样本图像所对应的识别结果信息；

原因分析模块，用于若基于所述样本图像的识别结果标注信息和识别结果信息确定所述测试样本识别失败，则根据所述样本图像所对应的检测框信息和检测框标注信息，对所述测试样本识别失败的原因进行分析。

12.一种电子设备，其特征在于，包括：处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1-10任一项所述的图像处理方法。

13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-10任一项所述的图像处理方法。

Images