CN112863187A - 感知模型的检测方法、电子设备、路侧设备和云控平台 - Google Patents

Abstract

本申请公开了一种感知模型的检测方法、电子设备、路侧设备和云控平台，涉及计算机技术和图像处理技术中的人工智能、自动驾驶、智能交通、计算机视觉、以及深度学习领域。包括：基于预设的感知模型对获取到的图像进行识别，得到图像中的每一个目标对象的检测框信息、长度信息、对象像素信息、以及图像的背景像素信息，根据检测框信息、长度信息、对象像素信息、以及背景像素信息，确定检测框置信度，根据对象像素信息和背景像素信息，确定像素置信度，根据检测框置信度和像素置信度，生成感知模型的模型置信度，可以避免相关技术中，提高了感知模型的检测和评价的智能化，且提高了对感知模型的检测的准确性和可靠性的技术效果。

Description

感知模型的检测方法、电子设备、路侧设备和云控平台

技术领域

本申请涉及计算机技术和图像处理技术中的人工智能、自动驾驶、智能交通、计算机视觉、以及深度学***台。

背景技术

随着交通运输的四通八达，以及人工智能技术的快速发展，智能交通相关的技术应运而生且有了新的突破，如基于构建的感知模型对障碍物(如车辆和红绿灯等)进行识别等技术有了新的突破。

若交通的异常情况(如雨、雪、雾、夜、视频流中断等)，或者使用不同数据域训练的感知模型时，感知模型对障碍物的召回率和准确率可能存在一定程度的下降，在现有技术中，为了检测感知模型的质量(如工作状态等)，通常采用人工检测的方式实现，即通过人工检测的方式对感知模型进行检测。

然而，采用人工检测的方式对感知模型进行检测的方法，可能造成检测的结果受到人为因素的干扰，导致检测的准确性偏低的问题。

发明内容

本申请提供了一种用于提高感知模型的检测的准确性的感知模型的检测方法、电子设备、路侧设备和云控平台。

根据本申请的第一方面，提供了一种感知模型的检测方法，包括：

基于预设的感知模型对获取到的图像进行识别，得到所述图像中的每一个目标对象的检测框信息、长度信息、对象像素信息、以及所述图像的背景像素信息；

根据所述检测框信息、长度信息、对象像素信息、以及背景像素信息，确定检测框置信度，所述检测框置信度表征错误检测框的长度信息与总检测框的长度信息之间的关联关系；并根据所述对象像素信息和所述背景像素信息，确定像素置信度，所述像素置信度表征所述对象像素信息与总像素信息之间的关联关系；

根据所述检测框置信度和所述像素置信度，生成所述感知模型的模型置信度。

根据本申请的第二方面，提供了一种感知模型的检测装置，包括：

第一识别模块，用于基于预设的感知模型对获取到的图像进行识别，得到所述图像中的每一个目标对象的检测框信息、长度信息、对象像素信息、以及所述图像的背景像素信息；

第一确定模块，用于根据所述检测框信息、长度信息、对象像素信息、以及背景像素信息，确定检测框置信度，所述检测框置信度表征错误检测框的长度信息与总检测框的长度信息之间的关联关系；

第二确定模块，用于根据所述对象像素信息和所述背景像素信息，确定像素置信度，所述像素置信度表征所述对象像素信息与总像素信息之间的关联关系；

生成模块，用于根据所述检测框置信度和所述像素置信度，生成所述感知模型的模型置信度。

根据本申请的第三方面，提供了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上第一方面所述的方法。

根据本申请的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行如上第一方面所述的方法。

根据本申请的第五方面，提供了一种计算机程序产品，所述程序产品包括：计算机程序，所述计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从所述可读存储介质读取所述计算机程序，所述至少一个处理器执行所述计算机程序使得电子设备执行第一方面所述的方法。

根据本申请的第六方面，提供了一种路侧设备，包括如第三方面所述的电子设备。

根据本申请的第七方面，提供了一种云控平台，包括如第三方面所述的电子设备。

应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本申请的限定。其中：

图1是可以实现本申请实施例的感知模型的检测方法的场景图；

图2是根据本申请第一实施例的示意图；

图3是根据本申请第二实施例的示意图；

图4是根据本申请第三实施例的示意图；

图5是根据本申请第四实施例的示意图；

图6是根据本申请第五实施例的示意图；

图7是根据本申请第六实施例的示意图；

图8是用来实现本申请实施例的感知模型的检测方法的电子设备的框图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

图1是可以实现本申请实施例的感知模型的检测方法的场景图，如图1所示：

十字路段可以包括如图1中所示的第一路段、第二路段、第三路段、以及第四路段，且每一路段上可以行驶车辆101，且在各路段上行驶的车辆101的数量可以相同，也可以不同。

如图1所示，每一路段均可以设置图像采集设备102和红绿灯103。其中，每一路段的图像采集设备102可以对对向路段的图像进行采集，如第一路段的图像采集设备102可以对第三路段的图像进行采集；每一路段的红路灯103可以对对向路段的车辆101行驶状态(如停止状态或者前行状态)进行指引，如第一路段的红路灯103可以指引第三路段的车辆101在绿灯的情况下处于前行状态，在红灯的情况下处于停止状态等。

其中，图像采集设备102可以为具有图像采集功能的设备，如摄像机等，本实施例不做限定。

示例性地，每一路段的图像采集设备102均可以与服务器(图1中未示出，且服务器可以为云端服务器，也可以为本地服务器)连接，服务器中可以设置有感知模型，且服务器可以采集各路段的图像采集设备102发送的图像，并基于图像对感知模型进行检测，得到感知模型的模型置信度。

在一些实施例中，可以模型置信度对智能交通进行控制。例如：

一个示例中，当本实施例的感知模型的检测方法应用于如图1所示的场景时，可以用于对图1中所示的红绿灯的控制，如具体可以用于对红绿灯的时长等进行控制。

另一个示例中，当本实施例的感知模型的检测方法应用于如图1所示的场景时，可以对如图1中所示的红绿灯的识别结果进行纠偏。

再一个示例中，当本实施例的感知模型的检测方法应用于如图1所示的场景时，可以对障碍物(如车辆和红绿灯等)的识别结果进行纠偏。

应该理解地是，上述示例只是用于示范性地说明，本实施例的感知模型的检测方法可以应用的应用场景，而不能理解为对本实施例的感知模型的检测方法的应用场景的限定。

值得说明地，在相关技术中，通常结合人工检测的方式实现对感知模型的检测，如在基于感知模型确定障碍物的识别结果之后，由人工的方式对实际障碍物进行观察，得到观察结果，并基于观察结果和识别结果确定对感知模型的检测的结果。也即，在相关技术中，可以采用人工检测的方式确定感知模型的置信度等评价信息，且置信度可以基于召回结果的方式体现。

然而，采用人工检测的方式可能造成感知模型的检测结果受到人为因素的影响，从而导致检测的准确性和可靠性偏低的问题。

本申请的发明人经过创造性地劳动，得到了本申请的发明构思：从图像的检测框的维度和像素的维度对感知模型进行检测，得到感知模型的模型置信度。

本申请提供一种感知模型的检测方法、装置、电子设备、存储介质、以及程序产品，应用于计算机技术和图像处理技术中的人工智能、自动驾驶、智能交通、计算机视觉、以及深度学习领域，以达到节约人力资源成本，提高对感知模型的检测的准确性和可靠性。

图2是根据本申请第一实施例的示意图，如图2所示，本申请实施例的感知模型的检测方法包括：

S201：基于预设的感知模型对获取到的图像进行识别，得到图像中的每一个目标对象的检测框信息、长度信息、对象像素信息、以及图像的背景像素信息。

示例性地，本实施例的执行主体可以为感知模型的检测装置(下文简称检测装置)，检测装置可以为服务器(包括本地服务器和云端服务器，服务器可以为云控平台、车路协同管理平台、中心子***、边缘计算平台、云计算平台等)，也可以为路侧设备，也可以为终端设备，也可以为处理器，还可以为芯片，等等，本实施例不做限定。其中，路侧设备例如有计算功能的路侧感知设备、与路侧感知设备相连接的路侧计算设备，在智能交通车路协同的***架构中，路侧设备包括路侧感知设备和路侧计算设备，路侧感知设备(例如路侧相机)连接到路侧计算设备(例如路侧计算单元RSCU)，路侧计算设备连接到服务器，服务器可以通过各种方式与自动驾驶或辅助驾驶车辆通信；或者，路侧感知设备自身包括计算功能，则路侧感知设备直接连接到服务器。以上连接可以是有线或是无线。

例如，当本实施例的感知模型的检测方法应用于如图1所示的应用场景时，检测装置可以为与如图1中所示的图像采集装置连接的服务器。

其中，目标对象可以理解为障碍物，如车辆、红绿灯、指示牌、以及行人等。

检测框信息可以理解为针对目标对象的检测框的信息，如用于包围目标对象的矩形框，以及矩形框的尺寸相关的信息。

长度信息可以理解为目标对象的尺寸相关的信息。

对象像素信息可以理解为目标对象的像素数量等相关的信息，即可以理解为前景像素信息。

背景像素信息可以理解为背景图像的像素数量等相关的信息。

S202：根据检测框信息、长度信息、对象像素信息、以及背景像素信息，确定检测框置信度。

其中，检测框置信度可以表征错误检测框的长度信息与总检测框的长度信息之间的关联关系。

示例性地，检测装置可以根据检测框信息、长度信息、对象像素信息、以及背景像素信息分别确定错误检测框的长度信息和总检测框的长度信息，并根据错误检测框的长度信息和总检测框的长度信息确定检测框的置信度。

其中，检测框置信度可以理解为检测框的可信程度，即检测框的准确性的程度。一般而言，检测框置信度越高，则说明检测框的可靠性的程度越高；反之，检测框置信度越低，则说明检测框的可靠性的程度越低。

S203：根据对象像素信息和背景像素信息，确定像素置信度。

其中，像素置信度表征对象像素信息与总像素信息之间的关联关系。

同理，示例性地，检测装置可以根据对象像素信息和背景像素信息确定总像素信息，总像素信息可以理解为包括对象像素信息和背景像素信息的像素信息，并在确定出的总像素信息的基础上，结合对象像素信息，确定像素置信度。

其中，像素置信度可以理解为对象像素信息的可信程度，即对象像素信息的准确性的程度。一般而言，像素置信度越高，则说明对象像素信息的可靠性的程度越高；反之，像素置信度越低，则说明对象像素信息的可靠性的程度越低。

S204：根据检测框置信度和像素置信度，生成感知模型的模型置信度。

其中，模型置信度可以理解为感知模型的可信程度，即感知模型的准确性的程度。一般而言，模型置信度越高，则说明感知模型的可靠性的程度越高；反之，模型置信度越低，则说明感知模型的可靠性的程度越低。

基于上述分析可知，本申请实施例提供了一种感知模型的检测方法，该方法包括：基于预设的感知模型对获取到的图像进行识别，得到图像中的每一个目标对象的检测框信息、长度信息、对象像素信息、以及图像的背景像素信息，根据检测框信息、长度信息、对象像素信息、以及背景像素信息，确定检测框置信度，检测框置信度表征错误检测框的长度信息与总检测框的长度信息之间的关联关系，根据对象像素信息和背景像素信息，确定像素置信度，像素置信度表征对象像素信息与总像素信息之间的关联关系，根据检测框置信度和像素置信度，生成感知模型的模型置信度，在本实施例中，通过分别确定检测框置信度和像素置信度，并根据检测框置信度和像素置信度确定模型置信度，可以避免相关技术中，基于人工检测的方式造成的人力资源成本偏高，且检查的准确性容易受到人为主观因素影响的弊端，提高了感知模型的检测和评价的智能化，且提高了对感知模型的检测的准确性和可靠性的技术效果。

图3是根据本申请第二实施例的示意图，如图3所示，本申请实施例的感知模型的检测方法包括：

S301：基于预设的感知模型对获取到的图像进行识别，得到图像中的每一个目标对象的检测框信息、长度信息、目标对象像素信息、以及图像的背景像素信息。

示例性地，关于S301地描述可以参见S201，此次不再赘述。

S302：根据对象像素信息和背景像素信息从检测框信息中确定错误检测框。

其中，错误检测框表征检测框信息中检测框的背景像素信息与总像素信息之间的比值大于预设阈值的检测框。

示例性地，检测装置可以基于对象像素信息和背景像素信息确定总像素信息，并针对某一检测框，检测装置计算该检测框的背景像素信息与总像素信息的比值，如果该比值大于预设阈值，则该检测框可能为不包括目标对象的检测框，即该检测框可能为存在误检的检测框，则将该检测框可以确定为错误检测框。

或者，在另一些实施例中，检测装置也可以在基于对象像素信息和背景像素信息确定总像素信息之后，针对某一检测框，检测装置计算该检测框的对象像素信息与总像素信息的比值，如果该比值小于预设阈值(可以与上一实施例中的预设阈值不同，也可以相同)，则该检测框可能为不包括目标对象的检测框，即该检测框可能为存在误检的检测框，则将该检测框可以确定为错误检测框。

其中，预设阈值可以由检测装置基于需求、历史记录、以及试验等进行设置，本实施例不做限定。

S303：根据错误检测框和长度信息确定检测框置信度。

值得说明地是，在本实施例中，通过确定错误检测框，并基于错误检测框和长度信息确定检测框置信度，可以使得检测框置信度与像素信息(包括对象像素信息和背景像素信息)之间高度关联，且与长度信息之间高度关联，从而可以提高检测框置信度的准确性和可靠性的技术效果。

在一些实施例中，S303可以包括如下步骤：

步骤1：根据长度信息确定错误检测框的误检测长度，并根据长度信息确定检测框信息对应的总检测框的总检测长度。

其中，误检测长度表征错误检测框的长度信息，总检测长度表征总检测框的长度信息。

示例性地，检测装置在确定出错误检测框之后，可以基于长度信息确定与错误检测框对应的长度信息，并可以将与错误检测框对应的长度信息称为误检测长度。

相应地，检测装置也可以基于检测框信息确定总检测框，并基于长度信息确定与总检测框对应的长度信息，且可以将与总检测框对应的长度信息称为总检测长度。

步骤2：根据误检测长度和总检测长度确定检测框置信度。

示例性地，检测框置信度＝1-(误检测长度/总检测长度)；或者，检测框置信度＝(总检测长度-误检测长度)/总检测长度。

值得说明地是，在本实施例中，通过确定误检测长度和总检测长度，并基于误检测长度和总检测长度确定检测框置信度，一方面，可以方便快捷地确定检测框置信度，另一方面，可以提高确定出的检测框置信度的准确性和可靠性的技术效果。

S304：根据对象像素信息确定对象像素数量，并根据背景像素信息确定背景像素数量。

一个示例中，可以由检测装置(也可以为其他装置)预先构建背景预测模型，并将图像输入至背景预测模型，得到图像的二值化信息，并根据二值化信息确定背景像素信息。其中，构建背景预测模型的方法可以通过采集样本图像的方式实现，本实施例不再赘述。

另一个示例中，也可以由检测装置对图像进行分析，得到背景像素信息。

在本实施例中，检测装置基于对象像素信息确定目标对象对应的像素个数(即对象像素数量)。相应地，检测装置也可以基于背景像素信息确定除目标对象对应的像素之外的其他的像素个数(即背景像素数量)。

S305：根据对象像素数量和背景像素数量，确定总像素数量。

示例性地，总像素数量＝对象像素数量+背景像素数量。

S306：根据对象像素数量和总像素数量，确定像素置信度。

示例性地，像素置信度＝对象像素数量/总像素数量。

值得说明地是，在本实施例中，通过分别确定对象像素数量和背景像素数量，并根据对象像素数量和背景像素数量确定总像素数量，且基于对象像素数量和总像素数量确定像素置信度，可以实现方便快捷地确定像素置信度，且可以提高确定出的像素置信度的准确性和可靠性的技术效果。

S307：根据检测框置信度和像素置信度，生成感知模型的模型置信度。

示例性地，关于S307地描述可以参见S204，此处不再赘述。

一个示例中，S307可以包括：确定检测框置信度和像素置信度的加权平均值，并将加权平均值作为模型置信度。

示例性地，检测装置可以预先设置与检测框置信度对应的权重系数，并设置与像素置信度对应的权重系数，并基于检测框置信度、像素置信度、以及两个权重系数进行加权平均处理，得到加权平均值，并将加权平均值作为模型置信度。其中，两个权重系数可以由检测装置基于需求、历史记录、以及试验等进行设置。

另一个示例中，图像由多帧图像组合而成，S307可以包括如下步骤：

步骤1：根据对象像素数量和总像素数量确定目标对象权值。

其中，目标对象权值表征目标对象的像素信息的置信度。

示例性地，目标对象权值＝对象像素数量/总像素数量。

步骤2：根据目标对象权值和获取到的帧计数信息确定像素置信度，其中，帧计数信息表征图像对应的帧的数量。

示例性地，像素置信度＝目标对象权值/图像对应的帧的数量。

值得说明地是，在本实施例中，若图像为由多帧图像组合而成，则可以先确定出目标对象权值，并基于目标对象权值和帧计数信息确定像素置信度，从而可以实现确定像素置信度的全面性、可靠性、以及灵活性的技术效果。

图4是根据本申请第三实施例的示意图，如图4所示，本申请实施例的感知模型的检测方法包括：

S401：根据获取到的视频流的像素信息构建像素矩阵。

示例性地，视频流可以为检测装置从获取到的视频流文件中提取到的视频流，视频流可以为预设时间段的视频，视频流包括多帧图像。

其中，像素矩阵中各像素信息对应的分辨率可以与视频流中的分辨率相同。在一些实施例中，可以将像素矩阵进行初始化处理，如将像素矩阵中各像素均初始化为0。

S402：对视频流进行逐帧检测，得到初始对象检测框。

基于上述分析可知，视频流可以包括多帧图像，则相应地，检测装置可以对视频流中的每一帧图像均进行检测，且是采用逐帧检测的方式对视频流中各帧图像分别进行检测，得到每一帧图像各自对应的检测框(即初始对象检测框)。

S403：根据像素矩阵和初始对象检测框确定感兴趣区域。

示例性地，检测装置可以基于像素矩阵和初始对象检测框对感兴趣区域进行生成。

其中，感兴趣区域可以理解为进行相关业务处理时，受到关注的区域。例如，针对识别业务，则感兴趣区域可以为采集图像时所关注的区域。

值得说明地是，在本实施例中，通过构建像素矩阵，并基于像素矩阵和初始对象检测框确定感兴趣区域，可以使得确定出的感兴趣与像素之间的高度关联，从而提高确定出的感兴趣区域的准确性和可靠性的技术效果。

在一些实施例中，S403可以包括如下步骤：

步骤1：根据初始对象检测框对像素矩阵中的像素进行调整，得到调整后的像素矩阵。

结合上述示例，在构建像素矩阵时，可以对像素矩阵进行初始化处理，如将像素矩阵中各像素的值都初始化为0，而在该步骤中，可以基于初始对象检测框对像素矩阵中的像素进行调整，例如，将像素矩阵中属于初始对象检测框的像素调整为1等。

也就是说，在该步骤中，通过根据初始对象检测框对像素矩阵中的像素进行调整，可以使得在调整后的像素矩阵中，对属于初始对象检测框的像素与不属于初始对象检测框的像素进行区分。

步骤2：根据调整后的像素矩阵生成二值化图像。

示例性地，二值化图像的分辨率与视频流的分辨率相同。

步骤3：对二值化图像进行形态学处理，得到连续化的区域，并将连续化的区域作为感兴趣区域。

一个示例中，检测装置可以对二值化图像执行形态学闭操作，得到连续化的图像，并将该连续化的图像作为感兴趣区域。

另一个示例中，检测装置可以对调整后的像素矩阵进行遍历，并记录每一像素的位置坐标，若某位置坐标大于预先设置的坐标阈值，则将二值化图像对应的位置的值置为1，否则置为0，并对置1或置0的二值化图像执行形态学闭操作，得到连续化的图像，并将该连续化的图像作为感兴趣区域。

值得说明地是，在本实施例中，通过对像素矩阵进行调整，并基于调整后的像素矩阵生成二值化图像，且基于二值化图像生成感兴趣区域，可以提高确定出的感兴趣区域的准确性和可靠性的技术效果。

S404：基于预设的感知模型对获取到的感兴趣区域内的图像进行识别，得到图像中的每一个目标对象的检测框信息、长度信息、对象像素信息、以及图像的背景像素信息。

示例性地，关于S404地描述可以参见S201，此次不再赘述。

值得说明地是，在本实施例中，获取到的图像为感兴趣区域内的图像，而通过对感兴趣区域内的图像进行获取，可以提高后续确定模型置信度的准确性和可靠性的技术效果。

在一些实施例中，基于预设的感知模型对获取到的感兴趣区域内的图像进行识别，得到图像中的每一个目标对象的长度信息，包括如下步骤：

步骤1：基于感知模型对图像进行识别，得到目标对象的二维坐标信息。

步骤2：对二维坐标信息进行转换，得到目标对象的三维坐标信息。

示例性地，检测装置可以基于二维坐标与三维坐标之间的转换原理，将二维坐标信息转换为三维坐标信息。其中，关于二维坐标与三维坐标之间的转换原理可以参见相关技术，此次不再赘述。

步骤3：根据三维坐标信息计算得到长度集合。

示例性的，检测装置在确定出三维坐标信息之后，可以基于三维坐标信息对目标对象的各个维度的尺寸信息进行计算，得到长度信息。

值得说明地是，在本实施例中，通过确定二维坐标信息，并基于二维坐标信息确定三维坐标信息，可以实现快速确定目标对象的长度信息，且通过结合长度信息对模型置信度进行确定，可以提高确定出的模型置信度的准确性和可靠性的技术效果。

S405：根据检测框信息、长度信息、对象像素信息、以及背景像素信息，确定检测框置信度。

其中，检测框置信度可以表征错误检测框的长度信息与总检测框的长度信息之间的关联关系。

示例性地，关于S405地描述可以参见S202，或者，可以参见S302至S303，此次不再赘述。

S406：根据对象像素信息和背景像素信息，确定像素置信度。

其中，像素置信度表征对象像素信息与总像素信息之间的关联关系。

示例性地，关于S406地描述可以参见S203，或者，可以参见S304至S306，此次不再赘述。

S407：根据检测框置信度和像素置信度，生成感知模型的模型置信度。

示例性地，关于S407地描述可以参见S204，或者，可以参见S307，此次不再赘述。

S408：根据感知模型对获取待识别图像进行识别，得到识别结果。

示例性地，检测装置获取到的待识别图像可以为感兴趣区域内的图像。

S409：根据模型置信度和识别结果对交通灯进行控制。

一个示例中，结合如图1所示的应用场景，检测装置可以基于模型置信度和识别结果对红绿灯的时长进行控制。

另一个示例中，结合如图1所示的应用场景，检测装置可以设置于车辆，如可以为车辆上的车载终端等。相应地，车载终端可以基于感知模型对障碍物(如其他车辆和红绿灯等)进行识别，得到识别结果，并基于识别结果和模型置信度控制车辆的行驶状态，如控制车辆刹车，控制车辆加速，控制车辆转弯等。

值得说明地是，在本实施例中，通过结合模型置信度对交通灯、车辆行驶状态等进行控制，可以提高控制的准确性和可靠性，当结合模型置信度对交通灯进行控制时，可以减少交通拥堵，提高车辆出行效率，提高用户的出行体验，

图5是根据本申请第四实施例的示意图，如图5所示，本申请实施例的感知模型的检测装置500包括：

第一识别模块501，用于基于预设的感知模型对获取到的图像进行识别，得到图像中的每一个目标对象的检测框信息、长度信息、对象像素信息、以及图像的背景像素信息。

第一确定模块502，用于根据检测框信息、长度信息、对象像素信息、以及背景像素信息，确定检测框置信度，检测框置信度表征错误检测框的长度信息与总检测框的长度信息之间的关联关系。

第二确定模块503，用于根据对象像素信息和背景像素信息，确定像素置信度，像素置信度表征所述对象像素信息与总像素信息之间的关联关系。

生成模块504，用于根据检测框置信度和像素置信度，生成感知模型的模型置信度。

图6是根据本申请第五实施例的示意图，如图6所示，本申请实施例的感知模型的检测装置600包括：

第一识别模块601，用于基于预设的感知模型对获取到的图像进行识别，得到图像中的每一个目标对象的检测框信息、长度信息、对象像素信息、以及图像的背景像素信息。

第一确定模块602，用于根据检测框信息、长度信息、对象像素信息、以及背景像素信息，确定检测框置信度，检测框置信度表征错误检测框的长度信息与总检测框的长度信息之间的关联关系。

第二确定模块603，用于根据对象像素信息和背景像素信息，确定像素置信度，像素置信度表征所述对象像素信息与总像素信息之间的关联关系。

生成模块604，用于根据检测框置信度和像素置信度，生成感知模型的模型置信度。

一个示例中，第一确定模块602，包括：

错误检测框确定子模块6021，用于根据对象像素信息和背景像素信息从检测框信息中确定错误检测框，其中，错误检测框表征检测框信息中检测框的背景像素信息与总像素信息之间的比值大于预设阈值的检测框。

检测框置信度确定子模块6022，用于根据错误检测框和长度信息确定检测框置信度。

在一些实施例中，检测框置信度确定子模块6022用于，根据长度信息确定错误检测框的误检测长度，并根据长度信息确定检测框信息对应的总检测框的总检测长度，误检测长度表征错误检测框的长度信息，总检测长度表征总检测框的长度信息，且根据误检测长度和总检测长度确定检测框置信度。

另一个示例中，第二确定模块603，包括：

像素数量确定子模块6031，用于根据对象像素信息确定对象像素数量，并根据背景像素信息确定背景像素数量，并根据对象像素数量和背景像素数量，确定总像素数量。

像素置信度确定子模块6032，用于根据对象像素数量和总像素数量，确定像素置信度。

再一个示例中，第一识别模块601，包括：

识别子模块6011，用于基于感知模型对图像进行识别，得到目标对象的二维坐标信息。

转换子模块6012，用于对二维坐标信息进行转换，得到目标对象的三维坐标信息。

计算子模块6013，用于根据三维坐标信息计算得到长度信息。

在一些实施例中，图像由多帧图像组合而成；像素置信度确定子模块6032用于，根据对象像素数量和总像素数量确定目标对象权值，其中，目标对象权值表征目标对象的像素信息的置信度，并根据目标对象权值和获取到的帧计数信息确定像素置信度，其中，帧计数信息表征图像对应的帧的数量。

图7是根据本申请第六实施例的示意图，如图7所示，本申请实施例的感知模型的检测装置700包括：

第一识别模块701，用于基于预设的感知模型对获取到的图像进行识别，得到图像中的每一个目标对象的检测框信息、长度信息、对象像素信息、以及图像的背景像素信息。

第一确定模块702，用于根据检测框信息、长度信息、对象像素信息、以及背景像素信息，确定检测框置信度，检测框置信度表征错误检测框的长度信息与总检测框的长度信息之间的关联关系。

第二确定模块703，用于根据对象像素信息和背景像素信息，确定像素置信度，像素置信度表征所述对象像素信息与总像素信息之间的关联关系。

生成模块704，用于根据检测框置信度和像素置信度，生成感知模型的模型置信度。

一个示例中，检测装置700还包括：

构建模块705，用于根据获取到的视频流的像素信息构建像素矩阵。

检测模块706，用于对视频流进行逐帧检测，得到初始对象检测框。

第三确定模块707，用于根据像素矩阵和初始对象检测框确定感兴趣区域，图像为获取到的感兴趣区域内的图像。

在一些实施例中，第三确定模块707，包括：

调整子模块7071，用于根据初始对象检测框对像素矩阵中的像素进行调整，得到调整后的像素矩阵。

生成子模块7072，用于根据调整后的像素矩阵生成二值化图像。

处理子模块7073，用于对二值化图像进行形态学处理，得到连续化的区域，并将连续化的区域作为感兴趣区域。

另一个示例中，检测装置700还包括：

第二识别模块708，用于根据感知模型对获取待识别图像进行识别，得到识别结果。

控制模块709，用于根据模型置信度和识别结果对交通灯进行控制。

值得说明地是，本实施例提供的检测装置700，可以包括图6的各个子模块，也可以不包括图6的各个子模块。(图6的各个子模块，在图8中未示出)。

根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。

根据本申请的实施例，本申请还提供了一种计算机程序产品，程序产品包括：计算机程序，计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从可读存储介质读取计算机程序，至少一个处理器执行计算机程序使得电子设备执行上述任一实施例提供的方案。

图8示出了可以用来实施本申请的实施例的示例电子设备800的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图8所示，电子设备800包括计算单元801，其可以根据存储在只读存储器(ROM)802中的计算机程序或者从存储单元808加载到随机访问存储器(RAM)803中的计算机程序，来执行各种适当的动作和处理。在RAM 803中，还可存储设备800操作所需的各种程序和数据。计算单元801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。

设备800中的多个部件连接至I/O接口805，包括：输入单元806，例如键盘、鼠标等；输出单元807，例如各种类型的显示器、扬声器等；存储单元808，例如磁盘、光盘等；以及通信单元809，例如网卡、调制解调器、无线通信收发机等。通信单元809允许设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理，例如方法感知模型的检测方法。例如，在一些实施例中，感知模型的检测方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元808。在一些实施例中，计算机程序的部分或者全部可以经由ROM 802和/或通信单元809而被载入和/或安装到设备800上。当计算机程序加载到RAM 803并由计算单元801执行时，可以执行上文描述的感知模型的检测方法的一个或多个步骤。备选地，在其他实施例中，计算单元801可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行感知模型的检测方法。

本文中以上描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上***的***(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的***和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的***和技术实施在包括后台部件的计算***(例如，作为数据服务器)、或者包括中间件部件的计算***(例如，应用服务器)、或者包括前端部件的计算***(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将***的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务("Virtual Private Server"，或简称"VPS")中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式***的服务器，或者是结合了区块链的服务器。

根据本申请实施例的另一个方面，本申请实施例还提供了一种路侧设备，包括如上实施例所述的电子设备。

根据本申请实施例的另一个方面，本申请实施例还提供了一种云控平台，包括如上实施例所述的电子设备。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (23)

1.一种感知模型的检测方法，包括：

基于预设的感知模型对获取到的图像进行识别，得到所述图像中的每一个目标对象的检测框信息、长度信息、对象像素信息、以及所述图像的背景像素信息；

根据所述检测框信息、长度信息、对象像素信息、以及背景像素信息，确定检测框置信度，所述检测框置信度表征错误检测框的长度信息与总检测框的长度信息之间的关联关系；并根据所述对象像素信息和所述背景像素信息，确定像素置信度，所述像素置信度表征所述对象像素信息与总像素信息之间的关联关系；

根据所述检测框置信度和所述像素置信度，生成所述感知模型的模型置信度。

2.根据权利要求1所述的方法，其中，根据所述检测框信息、长度信息、对象像素信息、以及背景像素信息，确定检测框置信度，包括：

根据所述对象像素信息和所述背景像素信息从所述检测框信息中确定错误检测框，其中，所述错误检测框表征所述检测框信息中检测框的背景像素信息与总像素信息之间的比值大于预设阈值的检测框；

根据所述错误检测框和所述长度信息确定所述检测框置信度。

3.根据权利要求2所述的方法，其中，根据所述错误检测框和所述长度信息确定所述检测框置信度，包括：

根据所述长度信息确定所述错误检测框的误检测长度，并根据所述长度信息确定所述检测框信息对应的总检测框的总检测长度，所述误检测长度表征所述错误检测框的长度信息，所述总检测长度表征所述总检测框的长度信息；

根据所述误检测长度和所述总检测长度确定所述检测框置信度。

4.根据权利要求1所述的方法，其中，根据所述对象像素信息和所述背景像素信息，确定像素置信度，包括：

根据所述对象像素信息确定对象像素数量，并根据所述背景像素信息确定背景像素数量；

根据所述对象像素数量和所述背景像素数量，确定总像素数量；

根据所述对象像素数量和所述总像素数量，确定所述像素置信度。

5.根据权利要求4所述的方法，其中，所述图像由多帧图像组合而成；根据所述对象像素数量和所述总像素数量，确定所述像素置信度，包括：

根据所述对象像素数量和所述总像素数量确定目标对象权值，其中，所述目标对象权值表征所述目标对象的像素信息的置信度；

根据所述目标对象权值和获取到的帧计数信息确定所述像素置信度，其中，所述帧计数信息表征所述图像对应的帧的数量。

6.根据权利要求1至5中任一项所述的方法，在基于预设的感知模型对获取到的图像进行识别之前，所述方法还包括：

根据获取到的视频流的像素信息构建像素矩阵；

对所述视频流进行逐帧检测，得到初始对象检测框；

根据所述像素矩阵和所述初始对象检测框确定感兴趣区域，所述图像为获取到的所述感兴趣区域内的图像。

7.根据权利要求6所述的方法，其中，根据所述像素矩阵和所述初始对象检测框确定感兴趣区域，包括：

根据所述初始对象检测框对所述像素矩阵中的像素进行调整，得到调整后的像素矩阵；

根据所述调整后的像素矩阵生成二值化图像；

对所述二值化图像进行形态学处理，得到连续化的区域，并将所述连续化的区域作为所述感兴趣区域。

8.根据权利要求1至5中任一项所述的方法，其中，基于预设的感知模型对获取到的图像进行识别，得到所述图像中的每一个目标对象的长度信息，包括：

基于所述感知模型对所述图像进行识别，得到目标对象的二维坐标信息；

对所述二维坐标信息进行转换，得到目标对象的三维坐标信息；

根据所述三维坐标信息计算得到所述长度信息。

9.根据权利要求1至5中任一项所述的方法，在根据所述检测框置信度和所述像素置信度，生成所述感知模型的模型置信度之后，还包括：

根据所述感知模型对获取待识别图像进行识别，得到识别结果；

根据所述模型置信度和所述识别结果对交通灯进行控制。

10.一种感知模型的检测装置，包括：

第一识别模块，用于基于预设的感知模型对获取到的图像进行识别，得到所述图像中的每一个目标对象的检测框信息、长度信息、对象像素信息、以及所述图像的背景像素信息；

第一确定模块，用于根据所述检测框信息、长度信息、对象像素信息、以及背景像素信息，确定检测框置信度，所述检测框置信度表征错误检测框的长度信息与总检测框的长度信息之间的关联关系；

第二确定模块，用于根据所述对象像素信息和所述背景像素信息，确定像素置信度，所述像素置信度表征所述对象像素信息与总像素信息之间的关联关系；

生成模块，用于根据所述检测框置信度和所述像素置信度，生成所述感知模型的模型置信度。

11.根据权利要求10所述的装置，其中，所述第一确定模块，包括：

错误检测框确定子模块，用于根据所述对象像素信息和所述背景像素信息从所述检测框信息中确定错误检测框，其中，所述错误检测框表征所述检测框信息中检测框的背景像素信息与总像素信息之间的比值大于预设阈值的检测框；

检测框置信度确定子模块，用于根据所述错误检测框和所述长度信息确定所述检测框置信度。

12.根据权利要求11所述的装置，其中，所述检测框置信度确定子模块用于，根据所述长度信息确定所述错误检测框的误检测长度，并根据所述长度信息确定所述检测框信息对应的总检测框的总检测长度，所述误检测长度表征所述错误检测框的长度信息，所述总检测长度表征所述总检测框的长度信息，且根据所述误检测长度和所述总检测长度确定所述检测框置信度。

13.根据权利要求10所述的装置，其中，所述第二确定模块，包括：

像素数量确定子模块，用于根据所述对象像素信息确定对象像素数量，并根据所述背景像素信息确定背景像素数量，并根据所述对象像素数量和所述背景像素数量，确定总像素数量；

像素置信度确定子模块，用于根据所述对象像素数量和所述总像素数量，确定所述像素置信度。

14.根据权利要求13所述的装置，其中，所述图像由多帧图像组合而成；所述像素置信度确定子模块用于，根据所述对象像素数量和所述总像素数量确定目标对象权值，其中，所述目标对象权值表征所述目标对象的像素信息的置信度，并根据所述目标对象权值和获取到的帧计数信息确定所述像素置信度，其中，所述帧计数信息表征所述图像对应的帧的数量。

15.根据权利要求10至14中任一项所述的装置，所述装置还包括：

构建模块，用于根据获取到的视频流的像素信息构建像素矩阵；

检测模块，用于对所述视频流进行逐帧检测，得到初始对象检测框；

第三确定模块，用于根据所述像素矩阵和所述初始对象检测框确定感兴趣区域，所述图像为获取到的所述感兴趣区域内的图像。

16.根据权利要求15所述的装置，其中，所述第三确定模块，包括：

调整子模块，用于根据所述初始对象检测框对所述像素矩阵中的像素进行调整，得到调整后的像素矩阵；

生成子模块，用于根据所述调整后的像素矩阵生成二值化图像；

处理子模块，用于对所述二值化图像进行形态学处理，得到连续化的区域，并将所述连续化的区域作为所述感兴趣区域。

17.根据权利要求10至14中任一项所述的装置，其中，所述第一识别模块，包括：

识别子模块，用于基于所述感知模型对所述图像进行识别，得到目标对象的二维坐标信息；

转换子模块，用于对所述二维坐标信息进行转换，得到目标对象的三维坐标信息；

计算子模块，用于根据所述三维坐标信息计算得到所述长度信息。

18.根据权利要求10至14中任一项所述的装置，所述装置还包括：

第二识别模块，用于根据所述感知模型对获取待识别图像进行识别，得到识别结果；

控制模块，用于根据所述模型置信度和所述识别结果对交通灯进行控制。

19.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-9中任一项所述的方法。

20.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行权利要求1-9中任一项所述的方法。

21.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-9中任一项所述的方法。

22.一种路侧设备，包括如权利要求19所述的电子设备。

23.一种云控平台，包括如权利要求19所述的电子设备。

Images