CN113642425A - 基于多模态的图像检测方法、装置、电子设备及存储介质 - Google Patents

Abstract

本公开提出了基于多模态的图像检测方法、装置、电子设备及存储介质，涉及人工智能技术领域，尤其涉及计算机视觉和深度学习等技术领域，可应用于人脸识别场景下。具体实现方案：获取参考帧图像和待处理帧图像，参考帧图像和待处理帧图像的模态不相同，并从参考帧图像之中识别出参考检测框，以及将参考检测框映射至待处理帧图像之中，以得到目标检测框，目标检测框被用于进行图像检测，能够实现对不同模态图像中的检测框进行准确地映射，当采用映射得到的目标检测框进行图像检测时，能够有效提升复杂场景下图像检测准确率与召回率，提高图像识别***的有效性。

Description

基于多模态的图像检测方法、装置、电子设备及存储介质

技术领域

本公开涉及人工智能技术领域，尤其涉及计算机视觉和深度学习等技术领域，可应用于人脸识别场景下，具体涉及基于多模态的图像检测方法、装置、电子设备及存储介质。

背景技术

人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术；人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术，以及机器学习、深度学习、大数据处理技术、知识图谱技术等几大方向。

人脸识别是计算机视觉技术和图像处理技术的重要组成部分，广泛应用于交通、金融等领域。而图像检测是人脸识别过程中的一个关键环节，相关技术中，主要基于可见光摄像头与近红外摄像头采集的视频帧进行图像检测。

发明内容

提供了一种基于多模态的图像检测方法、装置、电子设备、存储介质及计算机程序产品。

根据第一方面，提供了一种基于多模态的图像检测方法，包括：获取参考帧图像和待处理帧图像，参考帧图像和待处理帧图像的模态不相同；从参考帧图像之中识别出参考检测框；以及将参考检测框映射至待处理帧图像之中，以得到目标检测框，目标检测框被用于进行图像检测。

根据第二方面，提供了一种基于多模态的图像检测装置，包括：第一获取模块，用于获取参考帧图像和待处理帧图像，参考帧图像和待处理帧图像的模态不相同；识别模块，用于从参考帧图像之中识别出参考检测框；以及映射模块，用于将参考检测框映射至待处理帧图像之中，以得到目标检测框，目标检测框被用于进行图像检测。

根据第三方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开实施例提出的基于多模态的图像检测方法。

根据第四方面，提出了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本公开实施例提出的基于多模态的图像检测方法。

根据第五方面，提出了一种计算机程序产品，包括计算机程序，当所述计算机程序由处理器执行时实现本公开实施例提出的基于多模态的图像检测方法。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是根据本公开第一实施例的示意图；

图2是根据本公开实施例提供的卷积神经网络的结构示意图；

图3是根据本公开第二实施例的示意图；

图4是根据本公开第三实施例的示意图；

图5是根据本公开实施例提供的图像检测***的结构示意图；

图6是根据本公开实施例提供的图像检测流程示意图；

图7是根据本公开第四实施例的示意图；

图8是根据本公开第五实施例的示意图；

图9是用来实现本公开实施例的基于多模态的图像检测方法的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

图1是根据本公开第一实施例的示意图。

其中，需要说明的是，本实施例的基于多模态的图像检测方法的执行主体为基于多模态的图像检测装置，该装置可以由软件和/或硬件的方式实现，该装置可以配置在电子设备中，电子设备可以包括但不限于终端、服务器端等。

本公开实施例涉及人工智能技术领域，具体涉及计算机视觉和深度学习等技术领域，可应用于人脸识别场景下，能够实现对不同模态图像中的检测框进行准确地映射，当采用映射得到的目标检测框进行图像检测时，能够有效提升复杂场景下图像检测准确率与召回率，提高图像识别***的有效性。

其中，人工智能(Artificial Intelligence)，英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用***的一门新的技术科学。

深度学习是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。深度学习的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。

计算机视觉，是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送至仪器检测的图像。

而人脸识别，是基于人的脸部特征信息进行身份识别的一种生物识别技术。用摄像机或摄像头采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸，进而对检测到的人脸进行脸部识别的一系列相关技术，通常也叫做人像识别、面部识别，该人脸识别过程是经过了人脸对应的用户的授权，是通过各种公开、合法合规的方式所进行的人脸识别，其人脸识别过程符合相关法律法规。

如图1所示，该基于多模态的图像检测方法包括：

S101：获取参考帧图像和待处理帧图像，参考帧图像和待处理帧图像的模态不相同。

本公开实施例中，首先获取参考帧图像和待处理帧图像。

其中，当前进行处理的图像可以被称为待处理帧图像，该待处理帧图像可以是针对任意目标对象进行图像采集而得到的图像，并且可以是采集的视频流中的一帧或者多帧图像，或者还可以是单独的图像，对此不做限制。

而对检测待处理帧图像起到参考作用的图像，可以被称为参考帧图像，参考帧图像例如与待处理帧图像中的目标对象相同，或者还可以与待处理帧图像具有相关联的信息，可以辅助检测待处理帧图像中的目标对象，对此不作限制。

并且，该参考帧图像的模态和待处理帧图像的模态不相同，例如：参考帧图像的模态可以是近红外(Near Infrared Radiation，NIR)模态，而待处理帧图像的模态可以是三原色(Red Green Blue，RGB)模态；或者，参考帧图像可以是RGB模态，而待处理帧图像可以是NIR模态；又或者，参考帧图像和待处理帧图像还可以是其它任意可能的不同模态，对此不作限制。

一些实施例，参考帧图像和待处理帧图像可以是相同时刻捕获得到的图像，并且参考帧图像可以由参考摄像头捕获，待处理帧图像可以由目标摄像头捕获，其中，参考摄像头和目标摄像头捕获可以是可见光摄像头(RGB摄像头)、近红外摄像头(NIR摄像头)以及其它任意可能的用于采集不同模态图像的摄像头中的一种，对此不作限制。并且，RGB摄像头还可以支持人脸自动曝光(Auto Exposure,AE)模块，以下简称“FaceAE”。

也即是说，在相同时刻可以同时采用参考摄像头和目标摄像头针对同一目标对象捕获图像，参考摄像头捕获的图像和目标摄像头捕获的图像，分别作为该参考帧图像和待处理帧图像。从而，采用相同时刻捕获的参考帧图像辅助处理待处理帧图像，参考帧图像和待处理帧图像相关性更强，因此可以提高跨模态图像检测的准确性。

在一个具体实例中，本公开提供的基于多模态的图像检测方法例如可以应用于人脸识别场景，对应的，参考帧图像和待处理帧图像可以是相同时刻相同目标对象不同模态的人脸图像。举例而言，在光线清晰的时刻(例如：白天)，可以将可见光摄像头(RGB摄像头)作为参考摄像头，将近红外摄像头(NIR摄像头)作为目标摄像头，对目标对象的人脸图像进行采集，则参考帧图像为RGB模态的人脸图像，待处理帧图像为NIR模态的人脸图像；或者，在光线复杂的时刻(例如：夜晚)，可以将RGB摄像头作为目标摄像头，将NIR摄像头作为参考摄像头，对目标对象的人脸图像进行采集，则参考帧图像为NIR模态的人脸图像，待处理帧图像为RGB模态的人脸图像。

上述的人脸图像并不是针对某一特定用户的人脸图像，并不能反映出某一特定用户的个人信息，并且人脸图像的获取是经过了人脸图像对应的用户的授权，是通过各种公开、合法合规的方式获取的人脸图像，其获取过程符合相关法律法规。

S102：从参考帧图像之中识别出参考检测框。

上述获取参考帧图像和待处理帧图像后，进一步地，本公开实施例从参考帧图像之中识别出参考检测框。

其中，参考帧图像中特定位置的范围框可以被称为参考检测框，例如：在人脸识别的场景下，参考帧图像中目标对象的人脸检测框可以被称为参考检测框，或者参考检测框还可以是针对其它目标进行检测得到的检测框，对此不作限制。

举例而言，可以采用预先训练的图像检测算法对参考帧图像进行识别，得到该参考检测框，其中，该图像检测算法可以是基于深度学习的卷积神经网络结构，图2是根据本公开实施例提供的卷积神经网络的结构示意图，如图2所示，在人脸识别场景下，可以将参考帧图像输入至该卷积神经网络中，该卷积神经网络多个计算层(E1～E6)根据参考帧图像进行人脸二分类以及框坐标回归，并根据人脸二分类得分排序确定最终人脸检测结果，并返回模型预测的人脸框坐标，该人脸框即为参考检测框。其中，如图2所示，卷积神经网络多个计算层E4～E6都可以实现人脸类别回归和人脸位置回归，在检测的过程中，依次通过E4～E6计算层，直至实现类别回归和坐标回归，例如：在E4实现，或者在E4实现回归，对此不作限制。

一些实施例，在参考帧图像为RGB模态图像的情况下，人脸检测算法为任意可能的用于检测RGB图像的人脸检测算法；或者，在参考帧图像为NIR模态图像的情况下，人脸检测算法为任意可能的用于检测NIR图像的人脸检测算法；或者，人脸检测算法还可以是RGB-NIR混合人脸检测算法，该算法支持多模态人脸数据输入检测能力，对此不作限制。

S103：将参考检测框映射至待处理帧图像之中，以得到目标检测框，目标检测框被用于进行图像检测。

上述从参考帧图像之中识别出参考检测框后，进一步地，本公开实施例可以将参考检测框映射至待处理帧图像之中，也即是说，将参考检测框映射至待处理帧图像的对应位置，得到的范围框可以被称为目标检测框，使得该目标检测框在待处理图像帧中的位置与参考检测框在参考图像帧中的位置对应，从而可以对目标检测框中的对象进行检测识别。

举例而言，在参考检测框为RGB模态人脸检测框的情况下，则该目标检测框为NIR模态人脸检测框，从而可以对NIR模态图像中的人脸进行检测；另一些实施例，在参考检测框为NIR模态人脸检测框的情况下，则该目标检测框为RGB模态人脸检测框，从而可以对RGB模态图像中的人脸进行检测。

一些实施例，在将参考检测框映射至待处理帧图像，得到目标检测框的操作中，可以首先获取参考摄像头的参考摄像参数和目标摄像头的目标摄像参数，其中，参考摄像参数和目标摄像参数可以分别包括参考摄像头和目标摄像头的内参数(例如：内参矩阵、畸变参数矩阵等)、外参数(例如：旋转矩阵、平移矩阵等)以及其它任意可能的参数，对此不作限制。

进一步地，确定参考摄像参数和目标摄像参数之间的参数映射关系，例如：确定内参数之间的映射关系，和/或确定外参数之间的映射关系，对此不作限制。

进一步地，根据参数映射关系将参考检测框映射至待处理帧图像之中，得到目标检测框，也即是说，根据参考摄像头和目标摄像头之间参数的映射关系，确定该目标检测框。本实施例中，由于摄像头参数是固定的，因此可以减少外界因素对确定目标检测框的干扰，提高目标检测框的准确性。此外，摄像头参数易于获取与计算，因此还可以减少计算量，提高多模态的图像检测的效率。

需要说明的是，本实施例中的人脸图像并不是针对某一特定用户的人脸图像，并不能反映出某一特定用户的个人信息，并且人脸图像的获取是经过了人脸图像对应的用户的授权，是通过各种公开、合法合规的方式获取的人脸图像，其获取过程符合相关法律法规。

本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。

可以理解的是，上述实例只是对确定目标检测框进行示例性说明，在实际应用中，还可以采用其它任意可能的方式确定目标检测框，对此不作限制。

本实施例中，通过获取参考帧图像和待处理帧图像，参考帧图像和待处理帧图像的模态不相同，并从参考帧图像之中识别出参考检测框，以及将参考检测框映射至待处理帧图像之中，以得到目标检测框，目标检测框被用于进行图像检测，能够实现对不同模态图像中的检测框进行准确地映射，当采用映射得到的目标检测框进行图像检测时，能够有效提升复杂场景下图像检测准确率与召回率，提高图像识别***的有效性。

图3是根据本公开第二实施例的示意图。

如图3所示，该基于多模态的图像检测方法包括：

S301：获取参考帧图像和待处理帧图像，参考帧图像和待处理帧图像的模态不相同。

S302：从参考帧图像之中识别出参考检测框。

S303：获取参考摄像头的参考摄像参数，并获取目标摄像头的目标摄像参数。

S301-S303的描述说明可以具体参见上述实施例，在此不再赘述。

S304：获取参考摄像头的参考深度信息，并获取目标摄像头的目标深度信息。

本公开实施例中，参考摄像头和目标摄像头例如可以是支持三维模型的摄像头，并且在确定参考摄像参数和目标摄像参数之间的参数映射关系的操作中，还可以获取参考摄像头的参考深度信息和目标摄像头的目标深度信息。

其中，参考深度信息和目标深度信息可以根据参考摄像头和目标摄像头的参数进行确定，对此不作限制。

S305：根据参考摄像参数、参考深度信息结合世界坐标系，确定参考帧图像中的参考像素坐标。

其中，参考帧图像中每个像素点的坐标可以被称为参考像素坐标。在摄像头为三维模型的基础上，可以确定如下关系：

摄像头深度*像素坐标＝摄像头内参数*摄像头外参数*世界坐标；

其中，世界坐标为图像在摄像头的世界坐标系下的坐标，也可以称为物理坐标。

因此，在确定参考摄像参数(内参数、外参数)、参考深度信息以及世界坐标系的情况下，可以确定该参考帧图像中的参考像素坐标。

S306：根据目标摄像参数、目标深度信息结合世界坐标系，确定待处理帧图像中的目标像素坐标。

其中，待处理帧图像中每个像素点的坐标可以被称为目标像素坐标。

在确定目标摄像参数、目标深度信息以及世界坐标系的情况下，可以确定待处理帧图像中的目标像素坐标，目标像素坐标计算方式同理于参考像素坐标的计算方式，此处不在赘述。

S307：确定参考像素坐标和目标像素坐标之间的映射关系并作为参数映射关系。

进一步地，将参考像素坐标和目标像素坐标之间进行映射，确定映射关系，并将该映射关系作为参数映射关系。

本实施例中，可以采用三维模型的参考摄像头和目标摄像头，从而可以确定目标像素坐标和参考像素坐标，并将目标像素坐标和参考像素坐标之间的映射关系作为参数映射关系，因此参数映射关系可以结合图像的深度信息，提高了映射处理的准确性，有利于提高目标检测框的准确度。

S308：确定参考检测框对应的第一像素坐标，第一像素坐标，是参考检测框所包含的参考像素点的坐标。

在将参考检测框映射至待处理帧图像的操作中，本实施例可以确定参考检测框对应的第一像素坐标。

其中，参考检测框所包含的参考像素点的坐标，可以被称为第一像素坐标，也即是说，确定参考检测框范围内的像素点的像素坐标。

S309：根据第一像素坐标结合参数映射关系确定第二像素坐标，第二像素坐标，是待处理帧图像中的目标像素点的坐标。

进一步地，在映射的过程中，可以根据参数映射关系，将参考像素点的第一像素坐标映射到待处理帧图像中，可以得到待处理帧图像中对应像素点的坐标，该对应像素点可以被称为目标像素点，而该对应像素点的坐标可以被称为第二像素坐标，从而可以根据第一像素坐标和参数映射关系，确定待处理帧图像中的第二像素坐标，进而根据第二像素坐标可以确定待处理帧图像中的目标像素点。

S310：将待处理帧图像中包含目标像素点的坐标的检测框作为目标检测框。

也即是说，根据目标像素点的坐标(第二像素坐标)确定的范围框，可以被称为目标检测框。从而，本实施例可以根据参考检测框中像素点的坐标信息结合参考映射信息，确定待处理帧图像中目标像素点的坐标信息，进而根据目标像素点的坐标确定目标检测框，因此能够提高目标检测框的准确度。

本实施例中，通过获取参考帧图像和待处理帧图像，参考帧图像和待处理帧图像的模态不相同，并从参考帧图像之中识别出参考检测框，以及将参考检测框映射至待处理帧图像之中，以得到目标检测框，目标检测框被用于进行图像检测，能够实现对不同模态图像中的检测框进行准确地映射，当采用映射得到的目标检测框进行图像检测时，能够有效提升复杂场景下图像检测准确率与召回率，提高图像识别***的有效性。此外，可以采用三维模型的参考摄像头和目标摄像头，从而可以确定目标像素坐标和参考像素坐标，并将目标像素坐标和参考像素坐标之间的映射关系作为参数映射关系，因此参数映射关系可以结合图像的深度信息，提高了映射处理的准确性。并且，本实施例可以根据参考检测框中像素点的坐标信息结合参考映射信息，确定待处理帧图像中目标像素点的坐标信息，进而根据目标像素点的坐标确定目标检测框，因此能够提高目标检测框的准确度。

图4是根据本公开第三实施例的示意图。

如图4所示，该基于多模态的图像检测方法包括：

S401：获取参考帧图像和待处理帧图像，参考帧图像和待处理帧图像的模态不相同。

S402：从参考帧图像之中识别出参考检测框。

S403：获取参考摄像头的参考摄像参数，并获取目标摄像头的目标摄像参数。

S404：确定参考摄像参数和目标摄像参数之间的参数映射关系。

S405：根据参数映射关系，将参考检测框映射至待处理帧图像之中，以得到目标检测框。

S401-S405的描述说明可以具体参见上述实施例，在此不再赘述。

S406：获取目标检测框的检测框坐标。

本公开实施例在得到目标检测框后，进一步地，还可以获取目标检测框的检测框坐标。

举例而言，可以根据目标检测框中像素点的坐标确定该检测框坐标，或者还可以通过其它任意可能的方式确定该检测框坐标，对此不作限制。

S407：根据检测框坐标生成目标摄像参数。

其中，目标摄像参数可以是摄像头的参数，例如可以是可见光摄像头(RGB摄像头)的自动曝光参数(Auto Exposure,AE)，或者还可以是近红外摄像头(NIR摄像头)的参数，或者还可以是其它任意可能的摄像参数，对此不作限制。

S408：控制目标摄像头基于目标摄像参数，捕获待处理帧图像的下一帧图像。

进一步地，控制目标摄像头基于目标摄像参数，捕获待处理帧图像的下一帧图像，也即是说，将目标摄像头的参数自动调整为该目标摄像参数，而后捕获待处理帧图像的下一帧图像，更具体地，可以捕获下一帧图像的检测框。

举例而言，目标摄像头为RGB摄像头，该RGB摄像头设置有FaceAE模块，可以将该检测框坐标输入至该FaceAE模块，进一步地FaceAE模块可以调整RGB摄像头的自动曝光参数，并捕获待处理帧图像的下一帧图像。

从而，本实施例可以对RGB摄像头进行参数调整以实现对检测框位置的调整，即：实现自动曝光，从而提升图像中检测框区域成像质量。此外，在光线复杂的情况下，可以通过检测框映射的方式确定RGB摄像头的目标检测框，进而根据目标检测框的坐标调整自动曝光参数，因此还可以有效解决RGB摄像头初始状态下无法自调节的问题。

本实施例中，通过获取参考帧图像和待处理帧图像，参考帧图像和待处理帧图像的模态不相同，并从参考帧图像之中识别出参考检测框，以及将参考检测框映射至待处理帧图像之中，以得到目标检测框，目标检测框被用于进行图像检测，能够实现对不同模态图像中的检测框进行准确地映射，当采用映射得到的目标检测框进行图像检测时，能够有效提升复杂场景下图像检测准确率与召回率，提高图像识别***的有效性。此外，还可以对RGB摄像头进行参数调整以实现对检测框位置的调整，即：实现自动曝光，从而提升图像中检测框区域成像质量。此外，在光线复杂的情况下，可以通过检测框映射的方式确定RGB摄像头的目标检测框，进而根据目标检测框的坐标调整自动曝光参数，因此还可以有效解决RGB摄像头初始状态下无法自调节的问题。

此外，图5是根据本公开实施例提供的图像检测***的结构示意图，如图5所示，图像检测***主要包括可见光摄像头(RGB)、近红外摄像头(NIR)、计算处理板卡、基本外设。其中，基本外设可以包括数据硬盘、近红外补光灯、触摸屏幕、蜂鸣器、外接键盘等，计算处理板卡内设有中央处理器(Central Processing Unit，CPU)、随机存取存储器(RandomAccess Memory，RAM)、只读存储器(Read-Only Memory，ROM)、电源接口、无线保真(Wireless Fidelity，Wi-Fi)模块、以及通用型输入输出接口(General-purpose input/output，GPIO)、SD存储卡(SD-Card)接口、串行通信接口(RS232串口)、通用串行总线接口(Universal Serial Bus，USB)、通信引出端(RJ45网口)等***接口。并且，该图像检测***的软件包含Linux嵌入式操作***软件，传感器驱动软件，人脸检测***软件。其中人脸检测***软件架构包含RGB人脸检测算法、NIR人脸检测算法、多模人脸检测框映射模块、RGB摄像头人脸自动曝光FaceAE模块等，对此不做限制。

图6是根据本公开实施例提供的图像检测流程示意图，如图6所示，其中，多模人脸检测框映射模块可以实现将参考检测框映射至待处理帧图像之中，在常规场景下(例如：白天)，使用支持FaceAE的RGB摄像头时，RGB摄像头捕捉视频数据传输至RGB人脸检测算法，RGB人脸检测算法检测出人脸位置框坐标，并反馈至FaceAE用于镜头参数自动调节。同时将RGB人脸位置框坐标映射至相同时刻NIR摄像头视频图像，从而得到多模态下人脸检测框坐标；在复杂光线场景下(例如：黑夜)，RGB摄像头捕捉视频数据传输至RGB人脸检测算法，而此时由于镜头参数初始化中RGB人脸检测算法检测不到人脸，此时将NIR摄像头捕捉视频数据传输至NIR人脸检测算法，NIR摄像头相较于RGB摄像头对光线影响小，可以检测出人脸。同时将NIR人脸位置框坐标映射至相同时刻RGB摄像头视频图像，从而得到多模态下人脸检测框坐标。而后将RGB人脸框坐标输入RGB摄像头FaceAE用于参数调优。

图7是根据本公开第四实施例的示意图。

如图7所示，该基于多模态的图像检测装置70，包括：

第一获取模块701，用于获取参考帧图像和待处理帧图像，参考帧图像和待处理帧图像的模态不相同；

识别模块702，用于从参考帧图像之中识别出参考检测框；以及

映射模块703，用于将参考检测框映射至待处理帧图像之中，以得到目标检测框，目标检测框被用于进行图像检测。

可选地，在本公开的一些实施例中，参考帧图像由参考摄像头捕获，待处理帧图像由目标摄像头捕获，如图8所示，图8是根据本公开第五实施例的示意图，该基于多模态的图像检测装置80，包括：第一获取模块801、识别模块802、映射模块803，其中，该映射模块803，包括：

获取子模块8031，用于获取参考摄像头的参考摄像参数，并获取目标摄像头的目标摄像参数；

确定子模块8032，用于确定参考摄像参数和目标摄像参数之间的参数映射关系；以及

映射子模块8033，用于根据参数映射关系，将参考检测框映射至待处理帧图像之中，以得到目标检测框。

可选地，在本公开的一些实施例中，其中，确定子模块8032，具体用于：

获取参考摄像头的参考深度信息，并获取目标摄像头的目标深度信息；

根据参考摄像参数、参考深度信息结合世界坐标系，确定参考帧图像中的参考像素坐标；

根据目标摄像参数、目标深度信息结合世界坐标系，确定待处理帧图像中的目标像素坐标；以及

确定参考像素坐标和目标像素坐标之间的映射关系并作为参数映射关系。

可选地，在本公开的一些实施例中，其中，映射子模块8033，具体用于：

确定参考检测框对应的第一像素坐标，第一像素坐标，是参考检测框所包含的参考像素点的坐标；

根据第一像素坐标结合参数映射关系确定第二像素坐标，第二像素坐标，是待处理帧图像中的目标像素点的坐标；以及

将待处理帧图像中包含目标像素点的坐标的检测框作为目标检测框。

可选地，在本公开的一些实施例中，如图8所示，装置80还包括：

第二获取模块804，用于获取目标检测框的检测框坐标；

生成模块805，用于根据检测框坐标生成目标摄像参数；

捕获模块806，用于控制目标摄像头基于目标摄像参数，捕获待处理帧图像的下一帧图像。

可以理解的是，本实施例附图8中的基于多模态的图像检测装置80与上述实施例中的基于多模态的图像检测装置70，第一获取模块801与上述实施例中的第一获取模块701，识别模块802与上述实施例中的识别模块702，映射模块803与上述实施例中的映射模块703，可以具有相同的功能和结构。

需要说明的是，前述对基于多模态的图像检测方法的解释说明也适用于本实施例的基于多模态的图像检测装置，此处不再赘述。

本实施例中，获取参考帧图像和待处理帧图像，参考帧图像和待处理帧图像的模态不相同，并从参考帧图像之中识别出参考检测框，以及将参考检测框映射至待处理帧图像之中，以得到目标检测框，目标检测框被用于进行图像检测，能够实现对不同模态图像中的检测框进行准确地映射，当采用映射得到的目标检测框进行图像检测时，能够有效提升复杂场景下图像检测准确率与召回率，提高图像识别***的有效性。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图9是用来实现本公开实施例的基于多模态的图像检测方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图9所示，设备900包括计算单元901，其可以根据存储在只读存储器(ROM)902中的计算机程序或者从存储单元908加载到随机访问存储器(RAM)903中的计算机程序，来执行各种适当的动作和处理。在RAM 903中，还可存储设备900操作所需的各种程序和数据。计算单元901、ROM 902以及RAM903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。

设备900中的多个部件连接至I/O接口905，包括：输入单元906，例如键盘、鼠标等；输出单元907，例如各种类型的显示器、扬声器等；存储单元908，例如磁盘、光盘等；以及通信单元909，例如网卡、调制解调器、无线通信收发机等。通信单元909允许设备900通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元901可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元901的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元901执行上文所描述的各个方法和处理，例如，基于多模态的图像检测方法。

例如，在一些实施例中，基于多模态的图像检测方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元908。在一些实施例中，计算机程序的部分或者全部可以经由ROM 902和/或通信单元909而被载入和/或安装到设备900上。当计算机程序加载到RAM 903并由计算单元901执行时，可以执行上文描述的基于多模态的图像检测方法的一个或多个步骤。备选地，在其他实施例中，计算单元901可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行基于多模态的图像检测方法。

本文中以上描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上***的***(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的基于多模态的图像检测方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供至通用计算机、专用计算机或其他可编程基于多模态的图像检测装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的***和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供至计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供至用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的***和技术实施在包括后台部件的计算***(例如，作为数据服务器)、或者包括中间件部件的计算***(例如，应用服务器)、或者包括前端部件的计算***(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将***的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、互联网及区块链网络。

计算机***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务("Virtual Private Server"，或简称"VPS")中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式***的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (15)

1.一种基于多模态的图像检测方法，包括：

获取参考帧图像和待处理帧图像，所述参考帧图像和所述待处理帧图像的模态不相同；

从所述参考帧图像之中识别出参考检测框；以及

将所述参考检测框映射至所述待处理帧图像之中，以得到目标检测框，所述目标检测框被用于进行图像检测。

2.根据权利要求1所述的方法，所述参考帧图像由参考摄像头捕获，所述待处理帧图像由目标摄像头捕获，其中，所述将所述参考检测框映射至所述待处理帧图像之中，以得到目标检测框，包括：

获取所述参考摄像头的参考摄像参数，并获取所述目标摄像头的目标摄像参数；

确定所述参考摄像参数和所述目标摄像参数之间的参数映射关系；以及

根据所述参数映射关系，将所述参考检测框映射至所述待处理帧图像之中，以得到所述目标检测框。

3.根据权利要求2所述的方法，其中，所述确定所述参考摄像参数和所述目标摄像参数之间的参数映射关系，包括：

获取所述参考摄像头的参考深度信息，并获取所述目标摄像头的目标深度信息；

根据所述参考摄像参数、所述参考深度信息结合世界坐标系，确定所述参考帧图像中的参考像素坐标；

根据所述目标摄像参数、所述目标深度信息结合所述世界坐标系，确定所述待处理帧图像中的目标像素坐标；以及

确定所述参考像素坐标和所述目标像素坐标之间的映射关系并作为所述参数映射关系。

4.根据权利要求3所述的方法，其中，所述根据所述参数映射关系，将所述参考检测框映射至所述待处理帧图像之中，以得到所述目标检测框，包括：

确定所述参考检测框对应的第一像素坐标，所述第一像素坐标，是所述参考检测框所包含的参考像素点的坐标；

根据所述第一像素坐标结合所述参数映射关系确定第二像素坐标，所述第二像素坐标，是所述待处理帧图像中的目标像素点的坐标；以及

将所述待处理帧图像中包含所述目标像素点的坐标的检测框作为所述目标检测框。

5.根据权利要求2所述的方法，在所述将所述参考检测框映射至所述待处理帧图像之中，以得到目标检测框之后，还包括：

获取所述目标检测框的检测框坐标；

根据所述检测框坐标生成目标摄像参数；

控制所述目标摄像头基于所述目标摄像参数，捕获所述待处理帧图像的下一帧图像。

6.根据权利要求1-5任一项所述的方法，所述参考帧图像和所述待处理帧图像是相同时刻捕获得到的图像。

7.一种基于多模态的图像检测装置，包括：

第一获取模块，用于获取参考帧图像和待处理帧图像，所述参考帧图像和所述待处理帧图像的模态不相同；

识别模块，用于从所述参考帧图像之中识别出参考检测框；以及

映射模块，用于将所述参考检测框映射至所述待处理帧图像之中，以得到目标检测框，所述目标检测框被用于进行图像检测。

8.根据权利要求7所述的装置，所述参考帧图像由参考摄像头捕获，所述待处理帧图像由目标摄像头捕获，其中，所述映射模块，包括：

获取子模块，用于获取所述参考摄像头的参考摄像参数，并获取所述目标摄像头的目标摄像参数；

确定子模块，用于确定所述参考摄像参数和所述目标摄像参数之间的参数映射关系；以及

映射子模块，用于根据所述参数映射关系，将所述参考检测框映射至所述待处理帧图像之中，以得到所述目标检测框。

9.根据权利要求8所述的装置，其中，所述确定子模块，具体用于：

获取所述参考摄像头的参考深度信息，并获取所述目标摄像头的目标深度信息；

根据所述参考摄像参数、所述参考深度信息结合世界坐标系，确定所述参考帧图像中的参考像素坐标；

根据所述目标摄像参数、所述目标深度信息结合所述世界坐标系，确定所述待处理帧图像中的目标像素坐标；以及

确定所述参考像素坐标和所述目标像素坐标之间的映射关系并作为所述参数映射关系。

10.根据权利要求9所述的装置，其中，所述映射子模块，具体用于：

确定所述参考检测框对应的第一像素坐标，所述第一像素坐标，是所述参考检测框所包含的参考像素点的坐标；

根据所述第一像素坐标结合所述参数映射关系确定第二像素坐标，所述第二像素坐标，是所述待处理帧图像中的目标像素点的坐标；以及

将所述待处理帧图像中包含所述目标像素点的坐标的检测框作为所述目标检测框。

11.根据权利要求8所述的装置，还包括：

第二获取模块，用于获取所述目标检测框的检测框坐标；

生成模块，用于根据所述检测框坐标生成目标摄像参数；

捕获模块，用于控制所述目标摄像头基于所述目标摄像参数，捕获所述待处理帧图像的下一帧图像。

12.根据权利要求7-11任一项所述的装置，所述参考帧图像和所述待处理帧图像是相同时刻捕获得到的图像。

13.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6中任一项所述的方法。

14.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-6中任一项所述的方法。

15.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-6中任一项所述的方法。

Images