CN117710779A - 稳定性系数的确定方法、装置、电子设备和存储介质 - Google Patents
稳定性系数的确定方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN117710779A CN117710779A CN202311756037.2A CN202311756037A CN117710779A CN 117710779 A CN117710779 A CN 117710779A CN 202311756037 A CN202311756037 A CN 202311756037A CN 117710779 A CN117710779 A CN 117710779A
- Authority
- CN
- China
- Prior art keywords
- frame
- detection frame
- detection
- target
- projection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 101
- 238000001514 detection method Methods 0.000 claims abstract description 636
- 238000004590 computer program Methods 0.000 claims description 15
- 238000012360 testing method Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 description 17
- 230000000694 effects Effects 0.000 description 13
- 238000002156 mixing Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000008859 change Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/776—Validation; Performance evaluation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本公开实施例涉及一种稳定性系数的确定方法、装置、电子设备和存储介质。所述方法包括:获取相邻时刻采集的图像中目标物体的第一检测结果和第二检测结果;其中,目标物体的检测结果包括目标物体的实际检测框、预测检测框和所属类别的评分值;获取所述目标物体的第一预测检测框投影到预先构建的目标检测框的第一投影框,以及所述目标物体的第二预测检测框投影到所述目标检测框的第二投影框;根据所述第一投影框和所述第二投影框间的相似度、所述目标物体的第一评分值和第二评分值,确定所述第一检测结果与所述第二检测结果之间的目标稳定性系数。采用本方法能够对目标检测的检测结果的稳定性进行度量。
Description
技术领域
本公开实施例涉及目标检测技术领域,特别是涉及一种稳定性系数的确定方法、装置、电子设备和存储介质。
背景技术
目标检测是计算机视觉领域中一项关键任务,其作用是在图像中(如相机图像,激光点云图,毫米波雷达图等)准确地识别和定位图像中存在的物体。目标检测在许多应用领域中都有实际应用,包括自动驾驶、视频监控、医学图像分析等。
传统技术中,由于目标检测模型的敏感性、获取图像的传感器的噪声等因素,会导致检测结果不稳定,难以准确的估计目标物体的运动和位置,从而影响速度预测和目标跟踪的准确度。因此,需要对目标检测的检测结果的稳定性进行度量。
发明内容
本公开实施例提供一种稳定性系数的确定方法、装置、电子设备和存储介质,可以用于对目标检测的检测结果的稳定性进行度量。
第一方面,本公开实施例提供一种稳定性系数的确定方法,所述方法包括:
获取相邻时刻采集的图像中目标物体的第一检测结果和第二检测结果;其中,目标物体的检测结果包括目标物体的预测检测框和所属类别的评分值;
获取所述目标物体的第一预测检测框投影到预先构建的目标检测框的第一投影框,以及所述目标物体的第二预测检测框投影到所述目标检测框的第二投影框;
根据所述第一投影框和所述第二投影框间的相似度、所述目标物体的第一评分值和第二评分值,确定所述第一检测结果与所述第二检测结果之间的目标稳定性系数。
第二方面,本公开实施例提供一种稳定性系数的确定装置,所述装置包括:
第一获取模块,用于获取相邻时刻采集的图像中目标物体的第一检测结果和第二检测结果;其中,目标物体的检测结果包括目标物体的实际检测框、预测检测框和所属类别的评分值;
第二获取模块,用于获取所述目标物体的第一预测检测框投影到预先构建的目标检测框的第一投影框,以及所述目标物体的第二预测检测框投影到所述目标检测框的第二投影框;
第一确定模块,用于根据所述第一投影框和所述第二投影框间的相似度、所述目标物体的第一评分值和第二评分值,获取所述第一检测结果与所述第二检测结果之间的目标稳定性系数。
第三方面,本公开实施例提供一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述第一方面所述的方法。
第四方面,本公开实施例提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述第一方面所述的方法。
第五方面,本公开实施例提供一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述第一方面所述的方法。
本公开实施例提供的稳定性系数的确定方法、装置、电子设备和存储介质,通过获取相邻时刻采集的图像中目标物体的第一检测结果和第二检测结果,并获取目标物体的第一预测检测框投影到预先构建的目标检测框的第一投影框,以及目标物体的第二预测检测框投影到目标检测框的第二投影框,能够根据第一投影框和第二投影框间的相似度、目标物体的第一评分值和第二评分值,确定第一检测结果与第二检测结果之间的目标稳定性系数,由于从检测框和评分值两个角度确定第一检测结果和第二检测结果,能够全面的考虑到影响检测结果的稳定性的因素,从而能够确定出可以准确的表征第一检测结果与第二检测结果之间的稳定性的目标稳定性系数,进而能够根据目标稳定性系数对目标检测的检测结果进行度量;另外,由于第一投影框和第二投影框是将目标物体的第一预测检测框和第二预测检测框投影到同一个目标检测框得到的,通过第一预测检测框与目标检测框之间的关系,以及第二预测检测框与目标检测框之间的关系,能够准确的确定第一预测检测框和第二预测检测框间的相似度,进而能够提高确定的目标稳定性系数的准确度。
附图说明
图1为一个实施例中目标检测的检测结果不稳定的示意图;
图2为一个实施例中稳定性系数的确定方法的流程示意图;
图3为另一个实施例中稳定性系数的确定方法的流程示意图;
图4为另一个实施例中稳定性系数的确定方法的流程示意图;
图5为另一个实施例中稳定性系数的确定方法的流程示意图;
图6为另一个实施例中稳定性系数的确定方法的流程示意图;
图7为另一个实施例中稳定性系数的确定方法的流程示意图;
图8为一个实施例中投影关系的示意图;
图9为一个实施例中稳定性系数的确定方法的示意图;
图10为一个实施例中稳定性系数的确定装置的结构框图;
图11为另一个实施例中稳定性系数的确定装置的结构框图;
图12为一个实施例中电子设备的内部结构图。
具体实施方式
为了使本公开实施例的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本公开实施例进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本公开实施例,并不用于限定本公开实施例。
首先,在具体介绍本公开实施例的技术方案之前,先对本公开实施例基于的技术背景或者技术演进脉络进行介绍。通常情况下,在目标检测领域,当前的技术背景是:通过目标检测模型等,对图像中的目标物体进行检测,估计图像中目标物体的运动和位置。基于该背景,申请人通过长期的模型模拟研发以及实验数据的搜集、演示和验证,发现当目标物体的检测结果不稳定时,会导致对目标物体的运动和位置的估计偏差较大,可能会误导检测***的决策。因此,如何对目标检测的检测结果的稳定性进行度量的问题,成为目前亟待解决的难题。另外,需要说明的是,从确定目标物体的检测结果不稳定时,会导致对目标物体的运动和位置的估计偏差较大,可能会误导检测***的决策以及下述实施例介绍的技术方案,申请人均付出了大量的创造性劳动。
通常,目标检测的检测结果中包括物体所属类别的置信度得分和检测框,其中,若
目标检测的图像是二维的,则检测框为二维检测框(),其中,是检测框中心
点的坐标,为检测框的长和宽,是检测框的偏转角,若目标检测的图像是三维的,则检
测框为三维检测框,其中,是检测框中心点的坐标,是检测
框的长、宽、高,是检测框在鸟瞰图平面上的偏转角。
在检测过程中,由于传感器噪声、模型的敏感性、检测过程中的非确定性运算符、轻微的场景变化等因素,均会产生不稳定的检测结果。进一步地,如果在自动驾驶中,错误的检测结果可能会导致检测***做出不恰当的驾驶决策;或者,在目标跟踪中,不稳定的检测结果可能会导致错误的目标跟踪结果,使得***难以准确的估计目标的运动轨迹和位置;又或者,不稳定的检测结果可能会使得检测***难以适应检测结果的变化,影响检测***的稳定性;以及在应对检测结果的不稳定性时,检测***需要引入更复杂的滤波器或校正算法,增加检测***设计和维护的复杂性。
示例性的,以自动驾驶场景中的目标检测为例,如图1所示,分别表示置信度得分不稳定和检测框不稳定所对应的检测结果,虚线框表示实际检测框,实线框表示预测检测框。其中,图1(a)表示置信度得分不稳定的情况,图1(a)中的两个实际检测框表示图中包括两个物体,但是,在T-1时刻由于右侧物体的置信度得分低,导致右侧物体未被检测到,而T时刻由于左侧物体的置信度得分低,导致左侧物体未被检测到,因此,由于置信度得分不稳定,导致目标跟踪时可能对两个物体进行错误的关联,从而可能会对物体的预测结果做出误判,例如,在车辆检测场景中,若检测***发现一个速度较高的物体接近目标车辆,但实际上并不存在速度较高的物体,可能会对目标车辆做出减速/刹车/让行等错误的驾驶决策;图1(b)表示检测框不稳定的情况,其中,T-1时刻和T时刻的车辆均停止于路边,但是,T-1时刻的预测检测框和T时刻的预测检测框不一致,存在预测检测框的检测结果不稳定的情况,在速度预测时可能会错误地认为该车在运动,而且有并入车流的意图,因此,由于检测框不稳定会影响检测***的鲁棒性。综上,目标检测结果的不稳定会影响速度预测和目标跟踪的准确度,从而影响自动驾驶***的鲁棒性。因此,需要对目标检测结果的稳定性进行度量。基于此,本申请提出了一种能够对目标检测的检测结果进行度量的稳定性系数的确定方法。
下面结合本公开实施例所应用的场景,对本公开实施例涉及的技术方案进行介绍。
在一个实施例中,如图2所示,提供了一种稳定性系数的确定方法,本实施例以该方法应用于电子设备进行举例说明,其中,电子设备可以为计算机设备、服务器、终端设备等,也可以为具体的应用场景中的各种电子设备。例如,在自动驾驶场景中,该方法可以应用于包括交通工具和车载终端的***;在视频监控场景中,该方法可以应用于包括拍摄设备和处理器的***;在医学图像分析中,该方法可以应用于包括检测仪器的***。本实施例中,该方法包括以下步骤:
S201,获取相邻时刻采集的图像中目标物体的第一检测结果和第二检测结果;其中,目标物体的检测结果包括目标物体的预测检测框和所属类别的评分值。
其中,目标物体指的是采集的图像中所包含的物体,可以理解的是,在同一个图像中,可能包含一个目标物体,也可能包含多个目标物体,在本实施例中,可以将同一个目标物体在相邻时刻采集的图像对应的检测结果作为一个匹配对,本实施例以一个匹配对为例,对本申请的稳定性系数的确定方法进行描述。在本实施例中,可以采集相邻的t1时刻和t2时刻的图像,将t1时刻采集的图像中目标物体的检测结果确定为第一检测结果,将t2时刻采集的图像中目标物体的检测结果确定为第二检测结果,其中,预测检测框指的是通过目标检测算法对图像进行识别后得到的检测框,所属类别的评分值指的是用于表征图像中的目标物体与某个类别之间的接近程度的度量值的置信度得分。
可选的,在本实施例中,可以利用预设的目标检测模型对采集的相邻时刻的图像进行目标检测,得到目标物体在第一个时刻的第一预测结果以及在第二个时刻的第二预测结果,从而将第一预测结果中评分值最高的预测结果对应的检测框确定为第一预测检测框,将第一预测检测框的置信度得分确定为第一评分值,以及将第二预测结果中评分值最高的预测结果对应的检测框确定为第二预测检测框,将第二预测检测框的置信度得分确定为第二评分值。示例性地,在自动驾驶场景中,可以将采集的相邻时刻的三维点云图像输入预设的目标检测模型中,得到目标物体的预测结果,从而将某一个目标物体在相邻时刻对应的第一预测检测框、所属类别的第一评分值、第二预测检测框和所属类别的第二评分值确定为该目标物体的检测结果。
S202,获取目标物体的第一预测检测框投影到预先构建的目标检测框的第一投影框,以及目标物体的第二预测检测框投影到目标检测框的第二投影框。
需要说明的是,在目标检测中,对于静态的目标物体,其在相邻时刻对应的位置、大小、角度是不变的,可以将前一时刻的预测检测框投影至当前时刻的预测检测框的位置处,从而根据投影后的预测检测框与当前时刻的预测检测框之间的相似度确定检测结果是否稳定;对于动态的目标物体,其在相邻时刻对应的位置、大小、角度均可能发生变化,若将前一时刻的预测检测框投影至当前时刻的预测检测框,则难以根据投影后的预测检测框与当前时刻的预测检测框之间的相似度确定检测结果是否稳定,因此,在本实施例中,可以构建标准的目标检测框,分别将相邻时刻的预测检测框投影至标准的目标检测框的位置处,保证第一预测检测框和第二预测检测框能够投影至同一个位置,从而得到相邻时刻对应的投影框。
其中,第一预测检测框指的是第一检测结果中的预测检测框,第二预测检测框指的是第二检测结果中的预测检测框,在本实施例中,可以根据预设的投影关系将第一预测检测框投影到预先构建的目标检测框的第一投影框,以及将第二预测检测框投影到预先构建的目标检测框,从而将第一预测检测框和第二预测检测框投影至同一个位置。
可以理解的是,在本实施例中,对于构建目标检测框的方法不加以限制,对于所构建的目标检测框的位置、尺寸、角度均不做限制,只要保证第一预测检测框和第二预测检测框投影至同一个目标检测框位置处即可。
S203,根据第一投影框和第二投影框间的相似度、目标物体的第一评分值和第二评分值,确定第一检测结果与第二检测结果之间的目标稳定性系数。
需要说明的是,第一投影框是第一预测检测框投影至目标检测框得到的,第二投影框是第二预测检测框投影至同一个目标检测框得到的,第一投影框能够表征第一预测检测框与目标检测框之间的位置关系,第二投影框能够表征第二预测检测框与目标检测框之间的位置关系,根据第一投影框和第二投影框就能够表征第一预测检测框和第二预测检测框相对于同一个标准检测框的位置关系,从而根据第一投影框和第二投影框之间的相似度能够表征第一预测检测框和第二预测检测框之间的稳定性,进而能够根据第一投影框和第二投影框对第一检测结果与第二检测结果之间的稳定性进行度量;进一步地,第一评分值可以用于表征第一检测结果所属类别的得分值,第二评分值可以用于表征第二检测结果所属类别的得分值,根据第一评分值和第二评分值能够表征第一检测结果和第二检测结果对应的所属类别之间的差异,从而能够根据第一评分值和第二评分值表征第一检测结果和第二检测结果对应的所属类别的稳定性。
在本实施例中,可以通过边界框的相似度算法计算第一投影框和第二投影框间的相似度,以及计算目标物体的第一评分值和第二评分值之间的差异值,从而可以根据相似度和差异值确定第一检测结果与第二检测结果之间的目标稳定性系数。
可以理解的是,若第一投影框与第二投影框间的相似度越大,且目标物体的第一评分值和第二评分值之间的差值越小,得到的目标稳定性系数的值越大,表征第一检测结果和第二检测结果之间的稳定性越高;若第一投影框与第二投影框间的相似度越小,且目标物体的第一评分值和第二评分值之间的差值越大,得到的目标稳定性系数的值越小,表征第一检测结果和第二检测结果之间的稳定性越低。
作为一种可选的实施方式,可以分别确定每个目标物体的第一检测结果与第二检测结果间的稳定性系数,从而将所有目标物体的稳定性系数的均值作为相邻时刻采集的图像的目标检测的检测结果的目标稳定性系数。
上述稳定性系数的确定方法中,通过获取相邻时刻采集的图像中目标物体的第一检测结果和第二检测结果,并获取目标物体的第一预测检测框投影到预先构建的目标检测框的第一投影框,以及目标物体的第二预测检测框投影到目标检测框的第二投影框,能够根据第一投影框和第二投影框间的相似度、目标物体的第一评分值和第二评分值,确定第一检测结果与第二检测结果之间的目标稳定性系数,由于从检测框和评分值两个角度确定第一检测结果和第二检测结果,能够全面的考虑影响到检测结果的稳定性的因素,从而能够确定出可以准确的表征第一检测结果与第二检测结果之间的稳定性的目标稳定性系数,进而能够根据目标稳定性系数对目标检测的检测结果进行度量;另外,由于第一投影框和第二投影框是将目标物体的第一预测检测框和第二预测检测框投影到同一个目标检测框得到的,通过第一预测检测框与目标检测框之间的关系,以及第二预测检测框与目标检测框之间的关系,能够准确的确定第一预测检测框和第二预测检测框间的相似度,进而能够提高确定的目标稳定性系数的准确度。
在上述根据获取第一投影框和第二投影框间的相似度的场景中,可以通过第一投影框和第二投影框的坐标值,确定第一投影框和第二投影框间的相似度。在一个实施例中,如图3所示,上述方法还包括:
S301,根据第一投影框的坐标信息和目标检测框的坐标信息,获取第一目标检测框;第一目标检测框包括第一位置检测框、第一尺寸检测框、第一角度检测框。
需要说明的是,检测框的位置、大小、朝向对于检测结果的稳定性有着不同的影响,例如,对于比较大的目标物体,检测框的角度的抖动对检测结果的影响较大,对于比较小的目标物体,检测框的位置的抖动对检测结果的影响较大,因此,在确定检测框对于稳定性的影响时,需要考虑检测框的位置、大小、角度三个方面的影响。在本实施例中,以三维图像为例,可以通过第一投影框和目标检测框的坐标信息表示位置、大小和角度。
可以理解的是,在对检测框进行投影时,检测框的位置和角度的变化不会影响投
影后的检测框,而检测框的大小会影响投影后的检测框的准确度,因此,目标检测框可以表
示为,表示目标检测框,表示目标检测框的长、
宽、高,第一投影框的坐标信息可以表示为,表示第一
投影框,表示第一投影框的中心点,表示第一投影框的长、宽、高,表
示第一投影框的偏转角。在本实施例中,可以通过第一目标检测框表示第一投影框与目标
检测框之间的位置关系。
在本实施例中,可以将第一投影框的坐标信息与目标检测框的坐标信息进行结
合,得到第一目标检测框,具体的,可以利用第一投影框的坐标信息中的位置坐标替代目标
检测框的坐标信息中的位置坐标,得到第一位置检测框
,其中,表示第一位置坐标;以及利用第一投影框的坐标信息中的尺寸坐标替代目
标检测框的坐标信息中的尺寸坐标,得到第一尺寸检测框,
其中,表示第一尺寸坐标;并利用第一投影框的坐标信息中的角度坐标替代目标
检测框的坐标信息中的角度坐标,得到第一角度检测框,
其中,表示第一角度坐标。
S302,根据第二投影框的坐标信息和目标检测框的坐标信息,获取第二目标检测框;第二目标检测框包括第二位置检测框、第二尺寸检测框、第二角度检测框。
其中,第二投影框的坐标信息可以表示为,表
示第二投影框,表示第二投影框的中心点,表示第二投影框的长、宽、
高,表示第二投影框的偏转角。在本实施例中,可以通过第二目标检测框表示第二投影框
与目标检测框之间的位置关系。
在本实施例中,可以将第二投影框的坐标信息与目标检测框的坐标信息进行结
合,得到第二目标检测框,具体的,可以利用第二投影框的坐标信息中的位置坐标替代目标
检测框的坐标信息中的位置坐标,得到第二位置检测框
,其中,表示第二位置坐标;以及利用第二投影框的坐标信息中的尺寸坐标替代目
标检测框的坐标信息中的尺寸坐标,得到第二尺寸检测框,
其中,表示第二尺寸坐标;并利用第二投影框的坐标信息中的角度坐标替代目标
检测框的坐标信息中的角度坐标,得到第二角度检测框,
其中,表示第二角度坐标。
S303,根据第一目标检测框和第二目标检测框,获取第一投影框和第二投影框间的相似度。
可以理解的是,由于第一目标检测框表征第一投影框与目标检测框之间的位置关系,第二目标检测框表征第二投影框与目标检测框之间的位置关系,因此,通过计算第一目标检测框和第二目标检测框之间的差异值,就能够得到第一投影框和第二投影框间的相似度。
可选的,在本实施例中,可以计算第一目标检测框和第二目标检测框之间的欧氏距离,将欧氏距离的值确定为第一投影框和第二投影框间的相似度;或者,也可以计算第一目标检测框和第二目标检测框之间的形状匹配相似度,将形状匹配相似度确定为第一投影框和第二投影框间的相似度。
本实施例中,根据第一投影框的坐标信息和目标检测框的坐标信息,能够获取第一目标检测框,以及根据第二投影框的坐标信息和目标检测框的坐标信息,能够获取第二目标检测框,从而能够根据第一目标检测框和第二目标检测框,获取第一投影框和第二投影框间的相似度,由于第一目标检测框包括第一位置检测框、第一尺寸检测框、第一角度检测框,第二目标检测框包括第二位置检测框、第二尺寸检测框、第二角度检测框,能够从位置、尺寸、角度三个方面计算第一目标检测框和第二目标检测框之间的位置关系的差异,从而能够全面的考虑影响检测框稳定性的因素,保证第一目标检测框和第二目标检测框的准确度,进而能够提高第一投影框和第二投影框之间的相似度的准确度。
下面对获取第一投影框和第二投影框间的相似度的具体过程进行详细描述。在一个实施例中,如图4所示,上述S303,包括:
S401,根据第一位置检测框和第二位置检测框,确定第一投影框与第二投影框间的位置交并比。
其中,交并比指的是两个边界框的交集和并集的比值,根据交并比的值可以表征两个边界框之间的相似度。在本实施例中,可以通过计算第一位置检测框和第二位置检测框之间的交并比,得到第一投影框与第二投影框在位置层面的位置交并比。示例性地,可以通过以下公式计算位置交并比:
式中,表示位置交并比,表示第一位置检测框,表示第二位置检测框。
S402,根据第一尺寸检测框和第二尺寸检测框,确定第一投影框与第二投影框间的尺寸交并比。
在本实施例中,可以通过计算第一尺寸检测框和第二尺寸检测框之间的交并比,得到第一投影框与第二投影框在尺寸层面的尺寸交并比。示例性地,可以通过以下公式计算尺寸交并比:
式中,表示尺寸交并比,表示第一尺寸检测框,表示第二尺寸检测
框。
S403,根据第一角度检测框和第二角度检测框,确定第一投影框与第二投影框间的角度交并比。
在本实施例中,可以通过计算第一角度检测框和第二角度检测框之间的交并比,得到第一投影框与第二投影框在角度层面的角度交并比。需要说明的是,在对目标检测的检测结果的稳定性进行度量时,位置交并比、尺寸交并比、角度交并比的值应该具备单调性,即稳定性越好,其对应的度量值应该越高,当第一角度和第二角度的差值小于或等于45度时,角度交并比才具备单调性变化,因此,当第一角度和第二角度的差值大于45度时,角度交并比的值可以设置为0。
示例性地,可以通过以下公式计算角度交并比:
式中,表示角度交并比,表示第一角度检测框,表示第二角度检测
框,表示第一角度坐标,表示第二角度坐标。
S404,根据位置交并比、尺寸交并比和角度交并比,获取相似度。
可选的,在本实施例中,可以根据位置、尺寸和角度对于不同目标物体的不同影响程度分配位置交并比权重、尺寸交并比权重和角度交并比权重,从而计算位置交并比、尺寸交并比和角度交并比的加权和,将加权和的均值确定为第一投影框和第二投影框间的相似度。
作为一种可选的实施例,也可以将位置交并比、尺寸交并比和角度交并比的平均值确定为第一投影框和第二投影框间的相似度。
本实施例中,根据第一位置坐标和第二位置坐标,能够确定第一投影框与第二投影框间的位置交并比,并根据第一尺寸坐标和第二尺寸坐标,能够确定第一投影框与第二投影框间的尺寸交并比,以及根据第一角度坐标和第二角度坐标,能够确定第一投影框与第二投影框间的角度交并比,从而能够根据位置交并比、尺寸交并比和角度交并比获取相似度,由于根据位置交并比、尺寸交并比和角度交并比三个因素考虑了第一投影框和第二投影框间的相似度,能够充分考虑影响第一投影框和第二投影框间的相似度的影响因素,从而能够保证第一投影框和第二投影框间的相似度的准确度;另外,由于交并比的计算过程比较简单,能够提高确定第一投影框和第二投影框间的相似度的效率。
在上述根据第一投影框和第二投影框间的相似度、目标物体的第一评分值和第二评分值,确定第一检测结果与第二检测结果之间的目标稳定性系数的场景中,可以根据第一评分值和第二评分值确定置信度稳定系数,从而根据置信度稳定性系数和相似度,确定目标稳定性系数。在一个实施例中,如图5所示,上述S203,包括:
S501,根据第一评分值和第二评分值,确定第一检测结果与第二检测结果之间的置信度稳定性系数。
其中,置信度稳定性系数可以用于度量检测结果在相邻时刻的评分值的稳定性情况。在本实施例中,可以计算第一评分值与第二评分值的比值,将比值确定为第一检测结果与第二检测结果之间的置信度稳定性系数,可选的,若比值大于或等于预设的阈值,则表明第一评分值与第二评分值的差异较小,第一检测结果与第二检测结果之间的置信度稳定性系数较大;若比值小于预设的阈值,则表明第一评分值与第二评分值的差异较大,第一检测结果与第二检测结果之间的置信度稳定性系数较小。
S502,将置信度稳定性系数与相似度的乘积值,确定为目标稳定性系数。
在本实施例中,可以将置信度稳定性系数作为相似度的权重,计算置信度稳定性系数与相似度的乘积值,将乘积值确定为目标稳定性系数。
示例性地,可以根据如下公式计算目标稳定性系数:
式中,表示目标稳定性系数,表示置信度稳定性系数,表示位置交并比,表示尺寸交并比,表示角度交并比。
作为一种可选的实施方式,如图6所示,上述S501可以包括:
S601,获取第一评分值和第二评分值间的差值的绝对值。
S602,将单位值与绝对值之间的差值,确定为置信度稳定性系数。
在本实施例中,可以计算第一评分值和第二评分值间的差值,根据差值的绝对值表示第一评分值和第二评分值之间的差异,从而将单位值与差值的绝对值之间的差值,确定为置信度稳定性系数,用于表征第一评分值与第二评分值之间的稳定性。
示例性地,可以根据如下公式计算置信度稳定性系数:
式中,表示置信度稳定性系数,表示第一评分值,表示第二评分值。
可以理解的是,在该实施方式中,由于获取第一评分值和第二评分值间的差值的绝对值的过程简单,能够快速的将单位值与绝对值之间的差值,确定为置信度稳定性系数,从而能够提高确定置信度稳定性系数的效率。
本实施例中,根据第一评分值和第二评分值,能够确定第一检测结果与第二检测结果之间的置信度稳定性系数,由于第一评分值和第二评分值能够表示目标物体在相邻时刻中所属类别的准确度,根据第一评分值和第二评分值确定的置信度稳定性系数能够从评分值的角度确定检测结果的稳定性,从而将置信度稳定性系数与相似度的乘积值,确定为目标稳定性系数,能够从检测结果的置信度的稳定性和检测框的稳定性两个角度确定目标稳定系数,进而能够提高确定的目标稳定系数的准确度。
在上述获取目标物体的第一预测检测框投影到预先构建的目标检测框的第一投影框,以及目标物体的第二预测检测框投影到目标检测框的第二投影框的场景中,可以根据第一实际检测框得到第一投影框,以及根据第二实际检测框得到第二投影框。在一个实施例中,目标物体的检测结果还包括目标物体的实际检测框;如图7所示,上述S202,包括:
S701,根据第一实际检测框与目标检测框之间的位置关系,将第一预测检测框投影到目标检测框,得到第一投影框。
其中,第一实际检测框指的是目标物体在第一时刻采集的图像对应的真实的检测框。在本实施例中,可以根据第一实际检测框和目标检测框,以及预设的投影关系,确定第一实际检测框与目标检测框之间的位置关系,从而根据位置关系将第一预测检测框投影到目标检测框,得到第一投影框。
示例性的,如图8所示,该投影关系可以表示为:
式中,表示投影后得到的投影框,表示前一时刻的实际检测框,表示当前
时刻的实际检测框,表示前一时刻对应的预测检测框,通过该公式,可以将前一时刻的实
际检测框与前一时刻对应的预测检测框之间的关系投影至当前时刻的实际检测框
与投影框,得到检测结果稳定的情况下,当前时刻对应的预测检测框。
可选的,若针对二维检测框,,,,,则得到的计算过程
可以表示为:
若针对三维检测框,,,,,则得到的计算过程可以表示为:
在本实施例中,可以根据如下公式得到第一投影框:
式中,表示第一投影框,表示第一实际检测框,表示目标检测框,表示
第一预测检测框。
S702,根据第二实际检测框与目标检测框之间的位置关系,将第二预测检测框投影到目标检测框,得到第二投影框。
其中,第二实际检测框指的是目标物体在第二时刻采集的图像对应的真实的检测框,在本实施例中,可以根据第二实际检测框和目标检测框,以及预设的投影关系,确定第二实际检测框与目标检测框之间的位置关系,从而根据位置关系将第二预测检测框投影到目标检测框,得到第二投影框。
在本实施例中,可以根据如下公式得到第二投影框:
式中,表示第一投影框,表示第一实际检测框,表示目标检测框,表示
第一预测检测框。
本实施例中,由于第一投影框能够表征第一预测检测框与目标检测框之间的位置关系,第二投影框能够表征第二预测检测框与目标检测框之间的位置关系,根据第一实际检测框与目标检测框之间的位置关系,将第一预测检测框投影到目标检测框,得到第一投影框,以及根据第二实际检测框与目标检测框之间的位置关系,将第二预测检测框投影到目标检测框,得到第二投影框,就能够根据第一投影框和第二投影框表征第一预测检测框和第二预测检测框相对于同一个标准检测框的位置关系,从而能够根据第一投影框和第二投影框之间的相似度表征第一预测检测框和第二预测检测框之间的稳定性,进而能够根据第一投影框和第二投影框对第一检测结果与第二检测结果之间的稳定性进行度量;另外,由于根据第一实际检测框与目标检测框之间的位置关系,将第一预测检测框投影到目标检测框,以及根据第二实际检测框与目标检测框之间的位置关系,将第二预测检测框投影到目标检测框,能够充分考虑第一实际检测框、第二实际检测框分别与目标检测框之间的位置关系,保证了确定的目标检测框能够满足第一实际检测框和第二实际检测框的对称性。
对于上述目标检测框,可以根据第一实际检测框和第二实际检测框构建目标检测框。在一个实施例中,上述方法还包括:根据第一实际检测框的坐标信息和第二实际检测框的坐标信息,确定目标检测框的坐标信息,以构建目标检测框。
需要说明的是,在对稳定性进行度量时,应该避免稳定性系数与检测框的时序之间的关联性,因此,可以根据第一实际检测框的位置和第二实际检测框的位置确定目标检测框的位置,从而将目标检测框作为第一预测检测框和第二预测检测框的标准框,对第一预测检测框和第二预测检测框间的相似性确定目标稳定性系数。在本实施例中,可以根据第一实际检测框的坐标信息和第二实际检测框的坐标信息,确定目标检测框的坐标信息,可以理解的是,由于检测框的大小会影响投影后的检测框的准确度,因此,目标检测框的坐标信息中可以包括尺寸坐标。
在本实施例中,可以根据第一实际检测框对应的尺寸坐标和第二实际检测框对应
的尺寸坐标,确定目标检测框的尺寸坐标,其中,第一实际检测框的坐标可以表示为,表示第一实际检测框,表示第一实际检测
框的长、宽、高,第二实际检测框的坐标可以表示为,
表示第二实际检测框,表示第二实际检测框的长、宽、高,目标实际检测框可以表
示为,其中,,,。
本实施例中,由于根据第一实际检测框的坐标信息和第二实际检测框的坐标信息确定目标检测框的坐标信息,并根据目标检测框的坐标信息构建目标检测框,使得构建的目标检测框能够保证第一实际检测框和第二实际检测框之间位置的对称性,保证了通过目标检测框得到的第一投影框和第二投影框间的对称性,从而能够避免第一投影框和第二投影框与对应的采集图像的时序的关联性,进而能够避免得到的目标稳定性系数与时序之间的关联,提高目标稳定性系数的准确度。
作为一种可选的实施方式,还可以将本申请提供的稳定性系数的确定方法的过程划分为四个步骤:匹配、投影、分解、聚合。示例性的,该过程可以如图9所示,图9中,以采集的三维图像中的某一个目标物体为例,t1和t2为两个相邻的时刻,图9(a)表示根据t1时刻的实际检测框从检测结果中匹配出t1时刻的预测检测框,该预测检测框的置信度分数为0.9,以及根据t2时刻的实际检测框从检测结果中匹配出t2时刻的预测检测框,该预测检测框的置信度分数为0.3;图9(b)表示将两个预测检测框投影至同一个标准检测框的位置处;图9(c)表示分别确定两个预测检测框之间的置信度、位置交并比、尺寸交并比、角度交并比;图9(d)表示根据的两个预测检测框之间的置信度、位置交并比、尺寸交并比、角度交并比进行聚合,确定t1时刻的检测结果和t2时刻的检测结果之间的目标稳定性系数。
下面结合一个具体的场景来介绍本公开的一个实施例,该方法包括如下步骤:
S1,获取相邻时刻采集的图像中目标物体的第一检测结果和第二检测结果;其中,目标物体的检测结果包括目标物体的预测检测框和所属类别的评分值。
S2,获取目标物体的第一实际检测框和第二实际检测框,根据第一实际检测框的坐标信息和第二实际检测框的坐标信息,确定目标检测框的坐标信息,以构建目标检测框。
S3,根据第一实际检测框与目标检测框之间的位置关系,将第一预测检测框投影到目标检测框,得到第一投影框。
S4,根据第二实际检测框与目标检测框之间的位置关系,将第二预测检测框投影到目标检测框,得到第二投影框。
S5,根据第一投影框的坐标信息和目标检测框的坐标信息,获取第一目标检测框;第一目标检测框包括第一位置检测框、第一尺寸检测框、第一角度检测框。
S6,根据第二投影框的坐标信息和目标检测框的坐标信息,获取第二目标检测框;第二目标检测框包括第二位置检测框、第二尺寸检测框、第二角度检测框。
S7,根据第一位置检测框和第二位置检测框,确定第一投影框与第二投影框间的位置交并比。
S8,根据第一尺寸检测框和第二尺寸检测框,确定第一投影框与第二投影框间的尺寸交并比。
S9,根据第一角度检测框和第二角度检测框,确定第一投影框与第二投影框间的角度交并比。
S10,将位置交并比、尺寸交并比和角度交并比的平均值确定为相似度。
S11,根据第一评分值和第二评分值,确定第一检测结果与第二检测结果之间的置信度稳定性系数。
S12,将置信度稳定性系数与相似度的乘积值,确定为目标稳定性系数。
需要说明的是,针对上述S1-S12中的描述可以参见上述实施例中相关的描述,且其效果类似,本实施例在此不再赘述。
应该理解的是,虽然上述流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,上述流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图10所示,提供了一种稳定性系数的确定装置,包括:第一获取模块11、第二获取模块12和第一确定模块13,其中:
第一获取模块11,用于获取相邻时刻采集的图像中目标物体的第一检测结果和第二检测结果;其中,目标物体的检测结果包括目标物体的预测检测框和所属类别的评分值。
第二获取模块12,用于获取目标物体的第一预测检测框投影到预先构建的目标检测框的第一投影框,以及目标物体的第二预测检测框投影到目标检测框的第二投影框。
第一确定模块13,用于根据第一投影框和第二投影框间的相似度、目标物体的第一评分值和第二评分值,获取第一检测结果与第二检测结果之间的目标稳定性系数。
本实施例提供的稳定性系数的确定装置,可以执行上述方法实施例,其实现原理和技术效果类似,在此不再赘述。
在一个实施例中,如图11所示,上述装置还包括:第三获取模块14、第四获取模块15、第四获取模块15和第五获取模块16,其中:
第三获取模块14,用于根据第一投影框的坐标信息和目标检测框的坐标信息,获取第一目标检测框;第一目标检测框包括第一位置检测框、第一尺寸检测框、第一角度检测框。
第四获取模块15,用于根据第二投影框的坐标信息和目标检测框的坐标信息,获取第二目标检测框;第二目标检测框包括第二位置检测框、第二尺寸检测框、第二角度检测框。
第五获取模块16,用于根据第一目标检测框和第二目标检测框,获取第一投影框和第二投影框间的相似度。
本实施例提供的稳定性系数的确定装置,可以执行上述方法实施例,其实现原理和技术效果类似,在此不再赘述。
在一个实施例中,请继续参照图11,上述第五获取模块16,包括:第一确定单元161、第二确定单元162、第三确定单元163和第一获取单元164,其中:
第一确定单元161,用于根据第一位置检测框和第二位置检测框,确定第一投影框与第二投影框间的位置交并比。
第二确定单元162,用于根据第一尺寸检测框和第二尺寸检测框,确定第一投影框与第二投影框间的尺寸交并比。
第三确定单元163,用于根据第一角度检测框和第二角度检测框,确定第一投影框与第二投影框间的角度交并比。
第一获取单元164,用于根据位置交并比、尺寸交并比和角度交并比,获取相似度。
本实施例提供的稳定性系数的确定装置,可以执行上述方法实施例,其实现原理和技术效果类似,在此不再赘述。
在一个实施例中,请继续参照图11,上述第一获取单元164,具体用于:将位置交并比、尺寸交并比和角度交并比的平均值确定为相似度。
本实施例提供的稳定性系数的确定装置,可以执行上述方法实施例,其实现原理和技术效果类似,在此不再赘述。
在一个实施例中,请继续参照图11,上述第一确定模块13,包括:第四确定单元131和第五确定单元132,其中:
第四确定单元131,用于根据第一评分值和第二评分值,确定第一检测结果与第二检测结果之间的置信度稳定性系数;
第五确定单元132,用于将置信度稳定性系数与相似度的乘积值,确定为目标稳定性系数。
本实施例提供的稳定性系数的确定装置,可以执行上述方法实施例,其实现原理和技术效果类似,在此不再赘述。
在一个实施例中,请继续参照图11,上述第四确定单元131,具体用于:根据第一评分值和第二评分值,确定第一检测结果与第二检测结果之间的置信度稳定性系数;将置信度稳定性系数与相似度的乘积值,确定为目标稳定性系数。
本实施例提供的稳定性系数的确定装置,可以执行上述方法实施例,其实现原理和技术效果类似,在此不再赘述。
在一个实施例中,请继续参照图11,上述第四确定单元131,具体用于:获取第一评分值和第二评分值间的差值的绝对值;
将单位值与绝对值之间的差值,确定为置信度稳定性系数。
本实施例提供的稳定性系数的确定装置,可以执行上述方法实施例,其实现原理和技术效果类似,在此不再赘述。
在一个实施例中,目标物体的检测结果还包括目标物体的实际检测框,请继续参照图11,上述第二获取模块12,包括:第二获取单元121和第三获取单元122,其中:
第二获取单元121,用于根据第一实际检测框与目标检测框之间的位置关系,将第一预测检测框投影到目标检测框,得到第一投影框。
第三获取单元122,用于根据第二实际检测框与目标检测框之间的位置关系,将第二预测检测框投影到目标检测框,得到第二投影框。
本实施例提供的稳定性系数的确定装置,可以执行上述方法实施例,其实现原理和技术效果类似,在此不再赘述。
在一个实施例中,请继续参照图11,上述装置还包括:第二确定模块17,其中:
第二确定模块17,用于根据第一实际检测框的坐标信息和第二实际检测框的坐标信息,确定目标检测框的坐标信息,以构建目标检测框。
本实施例提供的稳定性系数的确定装置,可以执行上述方法实施例,其实现原理和技术效果类似,在此不再赘述。
关于稳定性系数的确定装置的具体限定可以参见上文中对于稳定性系数的确定方法的限定,在此不再赘述。上述稳定性系数的确定装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以以硬件形式内嵌于或独立于电子设备中的处理器中,也可以以软件形式存储于电子设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
图12是根据一示例性实施例示出的一种电子设备1300的框图。例如,电子设备1300可以是车载终端,计算机,平板设备,医疗设备,健身设备,个人数字助理等。
参照图12,电子设备1300可以包括以下一个或多个组件:处理组件1302,存储器1304,电源组件1306,多媒体组件1308,音频组件1310,输入/输出(I/ O)的接口1312,传感器组件1314,以及通信组件1316。其中,存储器上存储有在处理器上运行的计算机程序或者指令。
处理组件1302通常控制电子设备1300的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件1302可以包括一个或多个处理器1320来执行指令,以完成上述方法的全部或部分步骤。此外,处理组件1302可以包括一个或多个模块,便于处理组件1302和其他组件之间的交互。例如,处理组件1302可以包括多媒体模块,以方便多媒体组件1308和处理组件1302之间的交互。
存储器1304被配置为存储各种类型的数据以支持在电子设备1300的操作。这些数据的示例包括用于在电子设备1300上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器1304可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
电源组件1306为电子设备1300的各种组件提供电力。电源组件1306可以包括电源管理***,一个或多个电源,及其他与为电子设备1300生成、管理和分配电力相关联的组件。
多媒体组件1308包括在所述电子设备1300和用户之间的提供一个输出接口的触控显示屏。在一些实施例中,触控显示屏可以包括液晶显示器(LCD)和触摸面板(TP)。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件1308包括一个前置摄像头和/或后置摄像头。当电子设备1300处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜***或具有焦距和光学变焦能力。
音频组件1310被配置为输出和/或输入音频信号。例如,音频组件1310包括一个麦克风(MIC),当电子设备1300处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器1304或经由通信组件1316发送。在一些实施例中,音频组件1310还包括一个扬声器,用于输出音频信号。
I/ O接口1312为处理组件1302和***接口模块之间提供接口,上述***接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件1314包括一个或多个传感器,用于为电子设备1300提供各个方面的状态评估。例如,传感器组件1314可以检测到电子设备1300的打开/关闭状态,组件的相对定位,例如所述组件为电子设备1300的显示器和小键盘,传感器组件1314还可以检测电子设备1300或电子设备1300一个组件的位置改变,用户与电子设备1300接触的存在或不存在,电子设备1300方位或加速/减速和电子设备1300的温度变化。传感器组件1314可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件1314还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件1314还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
通信组件1316被配置为便于电子设备1300和其他设备之间有线或无线方式的通信。电子设备1300可以接入基于通信标准的无线网络,如WiFi,2G或3G,或它们的组合。在一个示例性实施例中,通信组件1316经由广播信道接收来自外部广播管理***的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件1316还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,电子设备1300可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述稳定性系数的确定方法。
在示例性实施例中,还提供了一种计算机程序产品,该计算机程序被处理器执行时,可以实现上述方法。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行这些计算机指令时,可以全部或部分地按照本公开实施例所述的流程或功能实现上述方法中的部分或者全部。
需要说明的是,本说明书及实施例中所述方案,如涉及个人信息处理,则均会在具备合法性基础(例如征得个人信息主体同意,或者为履行合同所必需等)的前提下进行处理,且仅会在规定或者约定的范围内进行处理。用户拒绝处理基本功能所需必要信息以外的个人信息,不会影响用户使用基本功能。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本公开实施例所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory,ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic Random Access Memory,DRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本公开实施例的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本公开实施例构思的前提下,还可以做出若干变形和改进,这些都属于本公开实施例的保护范围。因此,本公开实施例专利的保护范围应以所附权利要求为准。
Claims (12)
1.一种稳定性系数的确定方法,其特征在于,所述方法包括:
获取相邻时刻采集的图像中目标物体的第一检测结果和第二检测结果;其中,目标物体的检测结果包括目标物体的预测检测框和所属类别的评分值;
获取所述目标物体的第一预测检测框投影到预先构建的目标检测框的第一投影框,以及所述目标物体的第二预测检测框投影到所述目标检测框的第二投影框;
根据所述第一投影框和所述第二投影框间的相似度、所述目标物体的第一评分值和第二评分值,确定所述第一检测结果与所述第二检测结果之间的目标稳定性系数。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
根据所述第一投影框的坐标信息和所述目标检测框的坐标信息,获取第一目标检测框;所述第一目标检测框包括第一位置检测框、第一尺寸检测框、第一角度检测框;
根据所述第二投影框的坐标信息和所述目标检测框的坐标信息,获取第二目标检测框;所述第二目标检测框包括第二位置检测框、第二尺寸检测框、第二角度检测框;
根据所述第一目标检测框和所述第二目标检测框,获取所述第一投影框和所述第二投影框间的相似度。
3.根据权利要求2所述的方法,其特征在于,所述根据所述第一目标检测框和所述第二目标检测框,获取所述第一投影框和所述第二投影框间的相似度,包括:
根据所述第一位置检测框和所述第二位置检测框,确定所述第一投影框与所述第二投影框间的位置交并比;
根据所述第一尺寸检测框和所述第二尺寸检测框,确定所述第一投影框与所述第二投影框间的尺寸交并比;
根据所述第一角度检测框和所述第二角度检测框,确定所述第一投影框与所述第二投影框间的角度交并比;
根据所述位置交并比、所述尺寸交并比和所述角度交并比,获取所述相似度。
4.根据权利要求3所述的方法,其特征在于,所述根据所述位置交并比、所述尺寸交并比和所述角度交并比,获取所述相似度,包括:
将所述位置交并比、所述尺寸交并比和所述角度交并比的平均值确定为所述相似度。
5.根据权利要求1-4任一项所述的方法,其特征在于,所述根据所述第一投影框和所述第二投影框的相似度、所述目标物体的第一评分值和第二评分值,确定所述第一检测结果与所述第二检测结果之间的目标稳定性系数,包括:
根据所述第一评分值和所述第二评分值,确定所述第一检测结果与所述第二检测结果之间的置信度稳定性系数;
将所述置信度稳定性系数与所述相似度的乘积值,确定为所述目标稳定性系数。
6.根据权利要求5所述的方法,其特征在于,所述根据所述第一评分值和所述第二评分值,确定所述第一检测结果与所述第二检测结果之间的置信度稳定性系数,包括:
获取所述第一评分值和所述第二评分值间的差值的绝对值;
将单位值与所述绝对值之间的差值,确定为所述置信度稳定性系数。
7.根据权利要求1-4任一项所述的方法,其特征在于,所述目标物体的检测结果还包括所述目标物体的实际检测框;所述获取所述目标物体的第一预测检测框投影到预先构建的目标检测框的第一投影框,以及所述目标物体的第二预测检测框投影到所述目标检测框的第二投影框,包括:
根据第一实际检测框与所述目标检测框之间的位置关系,将所述第一预测检测框投影到所述目标检测框,得到所述第一投影框;以及,
根据第二实际检测框与所述目标检测框之间的位置关系,将所述第二预测检测框投影到所述目标检测框,得到所述第二投影框。
8.根据权利要求7所述的方法,其特征在于,所述方法还包括:
根据所述第一实际检测框的坐标信息和所述第二实际检测框的坐标信息,确定所述目标检测框的坐标信息,以构建所述目标检测框。
9.一种稳定性系数的确定装置,其特征在于,所述装置包括:
第一获取模块,用于获取相邻时刻采集的图像中目标物体的第一检测结果和第二检测结果;其中,目标物体的检测结果包括目标物体的实际检测框、预测检测框和所属类别的评分值;
第二获取模块,用于获取所述目标物体的第一预测检测框投影到预先构建的目标检测框的第一投影框,以及所述目标物体的第二预测检测框投影到所述目标检测框的第二投影框;
第一确定模块,用于根据所述第一投影框和所述第二投影框间的相似度、所述目标物体的第一评分值和第二评分值,获取所述第一检测结果与所述第二检测结果之间的目标稳定性系数。
10.一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述的方法的步骤。
11.一种存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。
12.一种计算机程序产品,包括计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311756037.2A CN117710779A (zh) | 2023-12-19 | 2023-12-19 | 稳定性系数的确定方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311756037.2A CN117710779A (zh) | 2023-12-19 | 2023-12-19 | 稳定性系数的确定方法、装置、电子设备和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117710779A true CN117710779A (zh) | 2024-03-15 |
Family
ID=90153048
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311756037.2A Pending CN117710779A (zh) | 2023-12-19 | 2023-12-19 | 稳定性系数的确定方法、装置、电子设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117710779A (zh) |
-
2023
- 2023-12-19 CN CN202311756037.2A patent/CN117710779A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI766286B (zh) | 圖像處理方法及圖像處理裝置、電子設備和電腦可讀儲存媒介 | |
CN108010060B (zh) | 目标检测方法及装置 | |
US11288531B2 (en) | Image processing method and apparatus, electronic device, and storage medium | |
US20210158560A1 (en) | Method and device for obtaining localization information and storage medium | |
WO2023103377A1 (zh) | 标定方法及装置、电子设备、存储介质及计算机程序产品 | |
CN109902725A (zh) | 移动目标的检测方法、装置及电子设备和存储介质 | |
WO2022110800A1 (zh) | 定位方法、装置、电子设备、存储介质及计算机程序产品 | |
CN112115894B (zh) | 手部关键点检测模型的训练方法、装置及电子设备 | |
CN114267041B (zh) | 场景中对象的识别方法及装置 | |
WO2021031790A1 (zh) | 一种信息处理方法、装置、电子设备、存储介质和程序 | |
WO2022017140A1 (zh) | 目标检测方法及装置、电子设备和存储介质 | |
KR102367648B1 (ko) | 전 방향 시차 영상 합성 방법, 장치 및 저장 매체 | |
CN110930351A (zh) | 一种光斑检测方法、装置及电子设备 | |
US20220345621A1 (en) | Scene lock mode for capturing camera images | |
CN113450459A (zh) | 目标物的三维模型构建方法及装置 | |
WO2022099988A1 (zh) | 目标跟踪方法及装置、电子设备和存储介质 | |
WO2023155393A1 (zh) | 特征点匹配方法、装置、电子设备、存储介质和计算机程序产品 | |
CN115407355B (zh) | 库位地图的验证方法、装置及终端设备 | |
US20230048952A1 (en) | Image registration method and electronic device | |
CN116310633A (zh) | 一种关键点检测模型训练方法及关键点检测方法 | |
CN111325674A (zh) | 图像处理方法、装置及设备 | |
WO2022110801A1 (zh) | 数据处理方法及装置、电子设备和存储介质 | |
CN117710779A (zh) | 稳定性系数的确定方法、装置、电子设备和存储介质 | |
CN113673603A (zh) | 一种要素点匹配的方法及相关装置 | |
WO2023220987A1 (zh) | 目标点确定方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |