CN116129296A - 一种漏检视频帧的检测方法、装置、电子设备和存储介质 - Google Patents
一种漏检视频帧的检测方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN116129296A CN116129296A CN202111313686.6A CN202111313686A CN116129296A CN 116129296 A CN116129296 A CN 116129296A CN 202111313686 A CN202111313686 A CN 202111313686A CN 116129296 A CN116129296 A CN 116129296A
- Authority
- CN
- China
- Prior art keywords
- video frame
- missed
- moving object
- missed detection
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 271
- 238000000034 method Methods 0.000 claims abstract description 51
- 238000012544 monitoring process Methods 0.000 claims abstract description 24
- 238000004422 calculation algorithm Methods 0.000 claims description 28
- 238000012549 training Methods 0.000 claims description 13
- 238000006073 displacement reaction Methods 0.000 claims description 9
- 230000008859 change Effects 0.000 claims description 7
- 238000012795 verification Methods 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 6
- 230000004044 response Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 10
- 238000005457 optimization Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 3
- 238000011835 investigation Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000005266 casting Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Studio Devices (AREA)
Abstract
本公开提供了一种漏检视频帧的检测方法、装置、电子设备和存储介质，其中方法包括：根据从监控视频帧中检测到的运动目标，确定漏检视频帧；根据所述漏检视频帧的前一帧和后一帧中运动目标的位置参数，在所述漏检视频帧中标定漏检区域；基于从所述漏检视频帧中检测出的运动区域，对所述漏检区域进行验证。本公开方案自动确定漏检视频帧，并对漏检视频帧的漏检区域进行标定，避免了人工标定，提升了漏检视频帧标定的效率；而且利用漏检视频帧的运动区域，验证标定的漏检区域是否准确，保证了最终得到的漏检区域的准确性。
Description
技术领域
本公开涉及安防领域，尤其涉及一种漏检视频帧的检测方法、装置、电子设备和存储介质。
背景技术
随着网络摄像机逐渐趋于智能化，通常都内嵌有智能模块，可以通过算法分析的方式实现智能告警。当前算法指标的保证往往强烈依托严格按照工勘场景安装。然而在实际使用场景中，客户环境千差万别，往往无法严格执行工勘要求，使得被检测目标由于角度和大小变化，出现某几帧画面漏检的情况，进而导致实况叠框不连续，同一目标的多次上报告警等。
目前，为了降低画面漏检出现的概率，需对客户环境下的算法进行优化，具体优化过程是：通过人工对客户反馈的包括漏检画面视频进行标定，进而利用人工标定的漏检画面进行算法优化。然而，这种方式不仅需要人工从视频中确定漏检画面，而且通过人工标定漏检画面，十分耗费人力，且标定效率低。
发明内容
本公开提供了一种漏检视频帧的检测方法、装置、电子设备和存储介质，以达到提高漏检画面的标定效率的目的。
根据本公开的一方面，提供了一种漏检视频帧的检测方法，包括：
根据从监控视频帧中检测到的运动目标，确定漏检视频帧；；
根据所述漏检视频帧的前一帧和后一帧中运动目标的位置参数，在所述漏检视频帧中标定漏检区域；
基于从所述漏检视频帧中检测出的运动区域，对所述漏检区域进行验证。
根据本公开的另一方面，提供了一种漏检视频帧的检测装置，包括：
漏检帧确定模块，用于根据从监控视频帧中检测到的运动目标，确定漏检视频帧；
标定模块，用于根据所述漏检视频帧的前一帧和后一帧中运动目标的位置参数，在所述漏检视频帧中标定漏检区域；
验证模块，用于基于从所述漏检视频帧中检测出的运动区域，对所述漏检区域进行验证。
根据本公开的另一方面，提供了一种电子设备，包括：
至少一个处理器；以及
与至少一个处理器通信连接的存储器；其中，
存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本公开任意实施例的漏检视频帧的检测方法。
根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行本公开任意实施例的漏检视频帧的检测方法。
根据本公开的技术，自动确定漏检视频帧，并对漏检视频帧的漏检区域进行标定，避免了人工标定，提升了漏检视频帧标定的效率。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1a是本公开实施例提供的一种漏检视频帧的检测方法的流程示意图；
图1b是本公开实施例提供的一种包括运动目标的连续视频帧的示意图；
图1c是本公开实施例提供的另一包括运动目标的连续视频帧的示意图；
图2是本公开实施例提供的又一种漏检视频帧的检测方法的流程示意图；
图3a是本公开实施例提供的另一种漏检视频帧的检测方法的流程示意图；
图3b是本公开实施例提供的又一包括运动目标的连续视频的示意图；
图4a是本公开实施例提供的又一种漏检视频帧的检测方法的流程示意图；
图4b是本公开实施例提供的又一包括运动目标的连续视频帧的示意图；
图5a是本公开实施例提供的又一种漏检视频帧的检测方法的流程示意图；
图5b是本公开实施例提供的又一包括漏检视频帧的连续视频帧的示意图；
图6是本公开实施例提供的又一种漏检视频帧的检测方法的流程示意图；
图7是本公开实施例提供的又一种漏检视频帧的检测方法的流程示意图；
图8是本公开实施例提供的一种漏检视频帧的检测装置的结构示意图；
图9是用来实现本公开实施例的漏检视频帧的检测方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
本公开实施例适用于监控场景，在监控场景中布置至少一个网络摄像机，网络摄像机基于预先部署的目标检测算法模型可对场景中的运动目标进行检测，进而实现目标跟踪或入侵检测的目的。然而在一些监控场景中，有时因为监控区域的亮度、摄像机的拍摄角度、以及部分遮挡或全部遮挡等原因，出现算法漏检测的情况，此时可确定网络摄像机中的目标检测算法模型并不完全适合该场景，需要对目标检测算法模型进行优化。常用的优化方式是，对用户提供的场景素材(例如包括漏检视频帧的视频)进行人工标定，在利用标定后的图像训练目标检测算法模型。然而，这种模型优化方式中，需要用户提供素材而且需要人工标定，导致标定效率低，浪费大量的人力和时间。基于此，提出一种漏检视频帧的检测方法，利用网络摄像机自动确定漏检视频帧并对其进行标定，以达到提升标定漏检视频帧的效率的目的。具体的实现过程参见如下实施例。
图1a为本公开实施例的一种漏检视频帧的检测方法的流程示意图，本实施例可适用于利用网络摄像机自动确定漏检视频帧，并对漏检视频帧进行标定的情况。该方法可由一种漏检视频帧的检测装置来执行，该装置采用软件和/或硬件的方式实现，并集成在电子设备上，例如集成在网络摄像机中。
具体的，参见图1a，漏检视频帧的检测方法的流程如下：
S101、根据从监控视频帧中检测到的运动目标，确定漏检视频帧。
其中，监控场景下的运动目标可选的为行人、机动车或非机动车中的至少一种，且相同的运动目标由同一目标标识码(例如目标ID)标注。本公开实施例中，发生漏检的实质是将某一历史运动目标检测为新的运动目标，使得该历史运动目标和新的运动目标除了目标标识码不同之外，其他完全相同。因此，在目标检测过程中，如果检测到两个运动目标除了目标标识码不同之外其他完全相同，则确定目标检测过程中发生漏检，此时需要确定漏检视频帧。需要说明的是，漏检视频帧是指由光线因素(部分视频区域亮度差异)、阴影投射、物理遮挡、部分视频区域相较于摄像机而言，其角度不符合安装工勘等因素所造成的没有检测出运动目标的视频帧，示例性的，针对物理遮挡这种情况，漏检视频帧既可以是包括被部分遮挡的运动目标的视频帧，也可以是运动目标被完全遮挡的视频帧(即画面中不存在运动目标的视频帧)。
S102、根据漏检视频帧的前一帧和后一帧中运动目标的位置参数，在所述漏检视频帧中标定漏检区域。
本公开实施例中，漏检视频帧的数量可以是一帧，也可以是多帧。若漏检视频帧的数量为一帧，则漏检视频帧的前一帧是指在采集到漏检视频帧的前一刻所采集的视频帧，漏检视频帧的后一帧是指在采集到漏检视频帧的后一刻所采集到的视频帧。若漏检视频帧的数量为多帧，根据各漏检视频帧采集时间由先到后的顺序，漏检视频帧的前一帧是指在采集时间最早的漏检视频帧的前一刻所采集的视频帧，漏检视频帧的后一帧是指在采集时间最晚的漏检视频帧的后一刻所采集到的视频帧。
示例性的，参见图1b和图1c，其示出了包括运动目标的连续视频帧的示意图，其中，每个视频帧有唯一帧标识码(例如帧号)。示例性的，在图1b中，若通过S101确定帧号00003的视频帧为漏检视频帧，则漏检视频帧的前一帧是指帧号00002的视频帧，漏检视频帧的后一帧是指帧号00004的视频帧。在图1c中，若通过S101确定帧号00002、00003和00004的视频帧均为漏检视频帧，则漏检视频帧的前一帧是指帧号00001的视频帧，漏检视频帧的后一帧是指帧号00005的视频帧。
本公开实施例中，漏检视频帧的前一帧和后一帧中运动目标的位置参数可选的是表征运动目标所占区域范围的位置坐标，示例性的，前一帧和后一帧中运动目标的位置参数为运动目标左上角的位置坐标和右上角的位置坐标。根据前一帧和后一帧中运动目标的位置参数，结合预设的预测公式，预测漏检视频帧中的漏检区域，也即是标定漏检区域的位置参数，也可以通过其他方式进行预测标定，在此不做具体限定。需要说明的是，除了标定漏检区域的位置参数外，还可以对漏检区域中包括的运动目标的类型进行标定。由于漏检视频帧的类型与前一帧和后一帧中运动目标的类型一致，因此可从前一帧或后一帧的目标检测结果中确定运动目标的类型，进行对漏检视频帧中的运动目标进行类型标定。
S103、基于从漏检视频帧中检测出的运动区域，对漏检区域进行验证。
本公开实施例中，在运动目标进入一个被完全遮挡的环境后又从完全遮挡的环境驶出，倘若按照S101和S102的步骤标定漏检区域，存在将环境图像区域误认为是漏检区域的可能。因此需要对这种情况进行验证。可选的，根据漏检视频帧中是否存在运动区域，以及运动区域和漏检区域的关系，验证标定的漏检区域是否准确，其中，运动区域是基于运动检测算法对漏检视频帧进行检测后得到的。例如，若漏检视频帧中不存在运动区域，则认为标定的漏检区域是错误的，也即此时标定的漏检区域实际上是环境图像；若漏检视频帧中存在运动区域，且运动区域与漏检区域存在部分重合，则确定标定的漏检区域准确。
本公开实施例中，网络摄像机自动确定漏检视频帧，同时对漏检视频帧的漏检区域进行标定，由此避免了人工标定，提升了漏检视频帧标定的效率；而且利用漏检视频帧的运动区域，验证标定的漏检区域是否准确，保证了最终得到的漏检区域的准确性。
图2是根据本公开实施例的又一漏检视频帧的检测方法的流程示意图，本实施例是在上述实施例的基础上对确定漏检视频帧的操作进行优化，参见图2，漏检视频帧的检测方法具体流程如下：
S201、根据监控视频帧中运动目标的属性参数或运动参数，确定漏检视频帧。
本公开实施例的监控场景下，运动目标可选的为行人、机动车或非机动车中的至少一种，且相同的运动目标由同一目标标识码(例如目标ID)标注。属性参数用于表征运动目标的特征，示例性的，如果运动目标为机动车，则机动车的属性参数至少包括车辆的类型、颜色、车牌号等；运动参数用于表征运动目标在监控场景下的运动状态，示例性的，运动参数包括运动目标在视频帧帧中的尺寸、运动目标的位移向量和运动目标的位置中的至少一项。
本公开实施例中，可根据监控视频帧中运动目标的属性参数或运动参数判断两个目标标识码不同的运动目标是否为同一目标，进而判断是否发生漏检。示例性的，如果存在两个目标标识码不同的运动目标的属性参数完全相同，则认为这两个运动目标属于同一目标，也即检测过程中发生漏检；又如，在目标检测过程中，某一历史运动目标在视频帧画面中消失，后续视频帧中出现新的运动目标时，如果根据两个运动目标的运动参数确定两者为同一目标，则确定发生漏检。在确定发生漏检的情况下，网络摄像机可直接从监控视频帧中确定漏检视频帧，其中，漏检视频帧是指由光线因素(部分视频区域亮度差异)、阴影投射、物理遮挡、部分视频区域相较于摄像机而言，其角度不符合安装工勘等因素所造成没有检测出运动目标的视频帧，示例性的，针对物理遮挡这种情况，漏检视频帧既可以是包括被部分遮挡的运动目标的视频帧，也可以是运动目标被完全遮挡的视频帧(即不存在运动目标的视频帧)。
S202、根据漏检视频帧的前一帧和后一帧中运动目标的位置参数，在漏检视频帧中标定漏检区域。
S203、基于从所述漏检视频帧中检测出的运动区域，对所述漏检区域进行验证。
标定漏检区域的过程和验证漏检区域的过程参见上述实施例的描述，在此不再赘述。
本公开实施例中，根据监控视频帧中运动目标的属性参数或运动参数，可以快速且准确的感知是否发生漏检，进而从视频帧中确定漏检视频帧，由此可以保证及时发现漏检视频帧，以便进行后续的标定。
图3a是根据本公开实施例的又一漏检视频帧的检测方法的流程示意图，本实施例是在上述实施例的基础上对基于属性参数确定漏检视频帧的过程进行优化，参见图3a，漏检视频帧的检测方法具体流程如下：
S301、响应于检测到第一运动目标和第二运动目标的目标标识码不同但属性参数相同，则确定存在视频帧被漏检。
S302、根据包括第一运动目标的视频帧的帧标识码和包括第二运动目标的视频帧的帧标识码，确定漏检视频帧。
本公开实施例中，运动目标的目标标识码可选的为目标ID，也可以为其他唯一标识，在此不做具体限定。示例性的，参见图3b，其示出了包括运动目标的连续视频的示意图，将目标ID(即目标标识码)为00001的运动目标作为第一运动目标，将目标ID为00002的运动目标作为第二运动目标。通过对比可知，第一运动目标和第二运动目标的目标标识码不同但属性参数相同(例如都是黑色轿车)，则认为发生漏检，也即存在视频帧被漏检。
本公开实施例中，要确定漏检视频帧，需要先确定漏检发生前后的视频帧，也即是确定最后采集到的包括第一运动目标的视频帧A，以及首次采集的包括第二运动目标的视频帧B。由于各视频帧的帧标识码(即帧号)是按照整数依次增加的，因此根据视频帧A和视频帧B的帧号，即可确定两帧之间存在的视频帧的数量和帧号。示例性的，参见图3b，视频帧A为帧号为00002的视频帧，视频帧B是帧号为00004的视频帧，因此漏检视频帧的数量为一帧，帧号为00003。
S303、根据漏检视频帧的前一帧和后一帧中运动目标的位置参数，在漏检视频帧中标定漏检区域。
S304、基于从所述漏检视频帧中检测出的运动区域，对所述漏检区域进行验证。
标定漏检区域的过程以及验证漏检区域的过程参见上述实施例的描述，在此不再赘述。
本公开实施例通过比较运动目标的目标标识码和属性参数，即可准确感知是否发生漏检，进而在发生漏检时，可基于视频帧的帧标识码可以快速且精准的定位漏检视频帧。
图4a是根据本公开实施例的又一漏检视频帧的检测方法的流程示意图，本实施例是在上述实施例的基础上对基于属性参数确定漏检视频帧的过程进行优化，参见图4a，漏检视频帧的检测方法具体流程如下：
S401、响应于检测到监控视频帧中的第三运动目标消失，实时检测视频帧中是否出现第四运动目标。
本公开实施例中，第三运动目标和第四运动目标是指目标ID(即目标标识码)不同的运动目标，且第四运动目标的数量可以是一个，也可以是多个，在此不做限定。
S402、在检测到第四运动目标后，根据第三运动目标和第四运动目标的运动参数，判断第三运动目标和第四运动目标是否相同。
本公开实施例中，运动参数包括运动目标在视频帧帧中的尺寸、运动目标的位移向量和运动目标的位置中的至少一项。因此可根据第三运动目标和第四运动目标的尺寸变化数据、第三运动目标和第四运动目标之间的位移向量的夹角，或第三运动目标和第四运动目标的位置关系，判断第三运动目标和第四运动目标是否相同。
示例性的，参见图4b，其示出了包括运动目标的连续视频帧的示意图，其中，目标A为第三运动目标，目标B和目标C均为第四运动目标。任一运动目标的位移向量是指由首次检测到该运动目标的位置指向最后一次检测到该运动目标的位置的向量。示例性的，目标A的位移向量为向量A。在判断目标A和目标B是否为同一目标时，可根据目标A运动到目标B的过程中，目标尺寸变化数据是否突变；同时还可以计算向量A与向量A2之间的夹角，以及向量A2与向量B之间的夹角；如果尺寸变化数据没有突变且夹角变化小于预设阈值，则认为目标A和目标B为同一目标。而在确定目标A和目标C是否为同一目标时，通过计算向量A与向量A1的夹角，以及向量A1与向量C的夹角可知，在经过遮挡物(例如图4b中的树形遮挡物)时，方向发生大范围偏移，不符合实际情况，因此目标A和目标C不是同一目标。
S403、若第三运动目标和第四运动目标相同，则根据包括第三运动目标的视频帧的帧标识码和包括第四运动目标的视频帧的帧标识码，确定漏检视频帧。
可选的，要确定漏检视频帧，需要先确定漏检发生前后的视频帧，也即是确定最后采集到的包括第三运动目标(即目标A)的视频帧，以及首次采集的包括第四运动目标(即目标B)的视频帧，进而根据两个视频帧的帧标识码(即帧号)，确定漏检视频帧的数量和帧号。
S404、根据漏检视频帧的前一帧和后一帧中运动目标的位置参数，在漏检视频帧中标定漏检区域。
S405、基于从漏检视频帧中检测出的运动区域，对漏检区域进行验证。
标定和验证漏检区域的过程参见上述实施例的描述，在此不再赘述。
本公开实施例中，可根据运动目标的运动参数快速感知是否发生漏检，并在发生漏检时，基于视频帧的帧标识码可以快速且精准的定位漏检视频帧。
图5a是根据本公开实施例的又一漏检视频帧的检测方法的流程示意图，本实施例是在上述实施例的基础上进行优化，参见图5a，漏检视频帧的检测方法具体流程如下：
S501、根据从监控视频帧中检测到的运动目标，确定漏检视频帧。
确定漏检视频帧的过程可参见上述实施例，在此不再赘述。
S502、根据漏检视频帧的前一帧和后一帧的帧标识码，确定漏检视频帧中漏检区域的位置加权系数。
示例性的，参见图5b，其示出了包括漏检视频帧的连续视频帧的示意图，如图所示，帧号(即视频帧的帧标识码)0000x到帧号0000y之间出现了漏检情况，也即帧号0000x到帧号0000y之间的视频帧为漏检视频帧，帧号为0000A的视频帧为漏检视频帧的前一帧，帧号为0000B的视频帧为漏检视频帧的后一帧。可选的，将漏检的视频帧的相对帧号σ作为位置加权系数。其中，相对帧号的是大于零的正整数，且相对帧号小于帧号为0000A与帧号为0000B的差值。也即漏检的相对帧号为{σ|σ∈N+，σ＜B-A}。示例性的，帧号0000x的位置加权系数为1，帧号0000x+1的位置加权系数为2，依次类推，即可确定每个漏检视频帧的位置加权系数。
S503、根据漏检视频帧的前一帧和后一帧中运动目标的位置参数，以及位置加权系数，在漏检视频帧中标定漏检区域。
示例性的，帧号0000A中运动目标的左上角及右下角的坐标分别为(XAT，YAT)，(XAB，YAB)；帧号0000B中运动目标的左上角及右下角的坐标分别为(XBT，YBT)，(XBB，YBB)。每个漏检视频帧中漏检区域左上角及右下角的通用坐标表达式为：
因此通过通用坐标表达式，可得到每个漏检视频帧中漏检区域左上角及右下角的坐标后，以完成每个漏检视频帧中漏检区域的标定。
S504、基于从漏检视频帧中检测出的运动区域，对漏检区域进行验证。
本公开实施例中，根据漏检视频帧的前一帧和后一帧中运动目标的位置参数，以及位置加权系数，可快速标定漏检视频帧中的漏检区域，为后续优化目标检测算法模型提供保证。
图6是根据本公开实施例的又一漏检视频帧的检测方法的流程示意图，本实施例是在上述实施例的基础上进行优化，参见图6，漏检视频帧的检测方法具体流程如下：
S601、根据监控视频帧中运动目标的属性参数或运动参数，确定漏检视频帧。
S602、根据漏检视频帧的前一帧和后一帧中运动目标的位置参数，在漏检视频帧中标定漏检区域。
本公开实施例中，在运动目标进入一个被完全遮挡的环境后又从完全遮挡的环境驶出，倘若按照S601和S602的步骤标定漏检区域，存在将环境图像区域误认为是漏检区域的可能。因此需要对这种情况进行验证，验证过程可参见S603-S605的步骤。
S603、根据运动区域的面积和所述漏检区域的面积，计算漏检区域的置信度。
S604、若所述置信度大于或等于预设阈值，则确定所述漏检区域标定准确。
S605、若所述置信度小于预设阈值否则，确定漏检区域标定错误。
本公开实施例中，既可以在确定发生漏检时，触发运动检测，以便检测漏检视频帧中的运动区域，也可以在进行目标检测的同时可进行运动检测，以确定每个视频帧中的运动区域，以得到漏检视频帧中的运动区域。针对通过S602标定的漏检区域，可通过漏检区域的坐标，计算漏检区域的面积，并将运动区域的面积和漏检区域的面积的比值作为漏检区域的置信度。当比值大于或等于预设阈值时，则确定漏检区域标定准确；反之，则标定错误，此时将标定的结果丢弃。
本公开实施例中，通过对标定结果进行验证，避免出现错误标定的情况，进而避免后续利用带有错误标定数据的图像优化目标检测算法。
图7是根据本公开实施例的又一漏检视频帧的检测方法的流程示意图，本实施例是在上述实施例的基础上进行优化，参见图7，漏检视频帧的检测方法具体流程如下：
S701、根据监控视频帧中运动目标的属性参数或运动参数，确定漏检视频帧。
S702、根据漏检视频帧的前一帧和后一帧中运动目标的位置参数，在漏检视频帧中标定漏检区域。
S703、对漏检视频帧中标定的漏检区域进行编图处理，得到带标定数据的图片。
本公开实施例中，对漏检视频帧中的漏检区域进行编图处理，其目的是将漏检区域的视频流数据转换成图片格式的数据，也即通过编图处理可以得到带标定数据的图片，其中，标定数据至少包括运动目标的类型。
S704、将图片上传到云端服务器，使得云端服务器在接收的图片数量达到阈值时，将图片发送到模型训练服务器，以便模型训练服务器根据图片优化目标检测算法模型，并将优化后的目标检测算法模型反馈到云端服务器。
S705、接收并部署云端服务器传输的优化后的目标检测算法模型。
本公开实施例中，通过S703得到图片后，网络摄像机将图片信息发送至云端服务器进行保存。当网络摄像机暂时无网络连接却开启算法漏检自动标定功能时，则先将图片缓存到前端存储路径中(SD卡、NAS等)。待网络通畅后将图片发送至云端服务器进行保存。
云端服务器收到对应网络摄像机发来的已初步标定的图片后，将图片信息在云端先进行收集，当收集的数量达到目标检测算法模型优化训练的数量要求时，将图片信息发送至模型训练服务器进行优化训练。待训练完成后。将训练好的模型传回云端服务器，由云端服务器通知网络摄像机进行模型升级。用户在确认升级后，云服务器将目标检测算法模型文件发送至网络摄像机对其原来的目标检测算法模型文件进行替换。升级完成后，网络摄像机则实现了对自身环境漏检物品实现了针对性的优化，从而提升了算法在不同环境下的指标。
需要说明的是，训练服务器平台预置一些主流的目标检测算法模型(YOLO、SSD、FASTRCNN)和网络结构(VGG、ResNet、DarkNet)，实现自动训练脚本，可根据导入的标定文件自动完成模型训练的结果。
本公开实施例中，将标定的漏检区域生成图片并上传到云端服务器，达到了及时收集漏检素材的目的；根据标定的图片，优化训练目标检测算法模型，使得网络摄像机升级模型后，可降低漏检的概率。
图8是根据本公开实施例的漏检视频帧的检测装置的结构示意图，本实施例可适用于利用网络摄像机自动确定漏检视频帧，并对漏检视频帧进行标定的情况。该装置配置于网络摄像机中，如图8所示，该装置具体包括：
漏检帧确定模块801，用于根据从监控视频帧中检测到的运动目标，确定漏检视频帧；
标定模块802，用于根据漏检视频帧的前一帧和后一帧中运动目标的位置参数，在漏检视频帧中标定漏检区域；
验证模块，用于基于从所述漏检视频帧中检测出的运动区域，对所述漏检区域进行验证。
在上述实施例的基础上，可选的，漏检帧确定模块包括：
漏检帧确定单元，用于根据监控视频帧中运动目标的属性参数或运动参数，确定漏检视频帧
在上述实施例的基础上，可选的，漏检帧确定单元包括：
漏检感知子单元，用于响应于检测到第一运动目标和第二运动目标的目标标识码不同但属性参数相同，则确定存在视频帧被漏检；
第一漏检帧确定子单元，用于根据包括第一运动目标的视频帧的帧标识码和包括第二运动目标的视频帧的帧标识码，确定漏检视频帧。
在上述实施例的基础上，可选的，漏检帧确定单元包括：
目标检测子单元，用于响应于检测到监控视频帧中的第三运动目标消失，实时检测视频帧中是否出现第四运动目标；
判断子单元，用于在检测到第四运动目标后，根据第三运动目标和第四运动目标的运动参数，判断第三运动目标和第四运动目标是否相同；
第二漏检帧确定子单元，用于若判断第三运动目标和第四运动目标为同一运动目标，则根据包括第三运动目标的视频帧的帧标识码和包括第四运动目标的视频帧的帧标识码，确定漏检视频帧。
在上述实施例的基础上，可选的，运动参数包括运动目标在视频帧帧中的尺寸、运动目标的位移向量和运动目标的位置中的至少一项；
相应的，根据判断子单元具体用于：
根据第三运动目标和第四运动目标的尺寸变化数据、第三运动目标和第四运动目标之间的位移向量的夹角，或第三运动目标和第四运动目标的位置关系，判断第三运动目标和第四运动目标是否相同。
在上述实施例的基础上，可选的，标定模块包括：
系数确定单元，用于根据漏检视频帧的前一帧和后一帧的帧标识码，确定漏检视频帧中漏检区域的位置加权系数；
标定单元，用于根据漏检视频帧的前一帧和后一帧中运动目标的位置参数，以及位置加权系数，在漏检视频帧中标定漏检区域。
在上述实施例的基础上，可选的，验证模块还包括：
置信度计算单元，用于根据运动区域的面积和所述漏检区域的面积，计算所述漏检区域的置信度；
第一校验单元，用于若置信度大于或等于预设阈值，则确定所述漏检区域标定准确；
第二校验单元，用于若置信度小于预设阈值否则，确定漏检区域标定错误。
在上述实施例的基础上，可选的，该装置还包括：
编图模块，用于对漏检视频帧中标定的漏检区域进行编图处理，得到带标定数据的图片；
图片上传模块，用于将图片上传到云端服务器，使得云端服务器在接收的图片数量达到阈值时，将图片发送到模型训练服务器，以便模型训练服务器根据图片优化目标检测算法模型，并将优化后的目标检测算法模型反馈到云端服务器；
接收与部署模块，用于接收并部署云端服务器传输的优化后的检测算法模型。
本公开实施例提供的装置可执行本公开任意实施例提供的漏检视频帧的检测方法，具备执行漏检视频帧的检测方法相应的功能模块和有益效果。本实施例中未详尽描述的内容可以参考本公开任意方法实施例中的描述。
图9是本公开实施例中提供的一种电子设备的结构示意图。本公开实施例中，电子设备示例性的为网络摄像机设备。如图9所示结构，本公开实施例中提供的电子设备包括：一个或多个处理器902和存储器901；该电子设备中的处理器902可以是一个或多个，图9中以一个处理器902为例；存储器901用于存储一个或多个程序；一个或多个程序被一个或多个处理器902执行，使得一个或多个处理器902实现如本公开实施例中任一项的漏检视频帧的检测方法。
该电子设备还可以包括：输入装置903和输出装置904。
该电子设备中的处理器902、存储器901、输入装置903和输出装置904可以通过总线或其他方式连接，图9中以通过总线连接为例。
该电子设备中的存储器901作为一种计算机可读存储介质，可用于存储一个或多个程序，程序可以是软件程序、计算机可执行程序以及模块。处理器902通过运行存储在存储器901中的软件程序、指令以及模块，从而执行电子设备的各种功能应用以及数据处理，即实现上述方法实施例中漏检视频帧的检测方法。
存储器901可包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器901可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器901可进一步包括相对于处理器902远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置903可用于接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入。输出装置904可包括显示屏等显示设备。
并且，当上述电子设备所包括一个或者多个程序被一个或者多个处理器902执行时，程序进行如下操作：
根据从监控视频帧中检测到的运动目标，确定漏检视频帧；
根据漏检视频帧的前一帧和后一帧中运动目标的位置参数，在漏检视频帧中标定漏检区域；
基于从所述漏检视频帧中检测出的运动区域，对所述漏检区域进行验证。
当然，本领域技术人员可以理解，当上述电子设备所包括一个或者多个程序被一个或者多个处理器执行时，程序还可以进行本公开任意实施例中所提供的漏检视频帧的检测方法中的相关操作。
本公开的一个实施例中提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时用于执行漏检视频帧的检测方法，该方法包括：
根据从监控视频帧中检测到的运动目标，确定漏检视频帧；
根据漏检视频帧的前一帧和后一帧中运动目标的位置参数，在漏检视频帧中标定漏检区域；
基于从所述漏检视频帧中检测出的运动区域，对所述漏检区域进行验证。
本公开实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(Random AccessMemory，RAM)、只读存储器(Read Only Memory，ROM)、可擦式可编程只读存储器(ErasableProgrammable Read Only Memory，EPROM)、闪存、光纤、便携式CD-ROM、光存储器件、磁存储器件、或者上述的任意合适的组合。计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于：电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、无线电频率(Radio Frequency，RF)等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开操作的计算机程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言(诸如“C”语言或类似的程序设计语言)。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络(例如包括局域网(LAN)或广域网(WAN))连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本公开的较佳实施例及所运用技术原理。本领域技术人员会理解，本公开不限于这里的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本公开的保护范围。因此，虽然通过以上实施例对本公开进行了较为详细的说明，但是本公开不仅仅限于以上实施例，在不脱离本公开构思的情况下，还可以包括更多其他等效实施例，而本公开的范围由所附的权利要求范围决定。
Claims (11)
1.一种漏检视频帧的检测方法，其特征在于，包括：
根据从监控视频帧中检测到的运动目标，确定漏检视频帧；
根据所述漏检视频帧的前一帧和后一帧中运动目标的位置参数，在所述漏检视频帧中标定漏检区域；
基于从所述漏检视频帧中检测出的运动区域，对所述漏检区域进行验证。
2.根据权利要求1所述的方法，其特征在于，根据从监控视频帧中检测到的运动目标，确定漏检视频帧，包括：
根据监控视频帧中运动目标的属性参数或运动参数，确定漏检视频帧。
3.根据权利要求2所述的方法，其特征在于，根据监控视频帧中运动目标的属性参数，确定漏检视频帧，包括：
响应于检测到第一运动目标和第二运动目标的目标标识码不同但属性参数相同，则确定存在视频帧被漏检；
根据包括第一运动目标的视频帧的帧标识码和包括第二运动目标的视频帧的帧标识码，确定漏检视频帧。
4.根据权利要求2所述的方法，其特征在于，根据监控视频帧中运动目标的运动参数，确定漏检视频帧，包括：
响应于检测到监控视频帧中的第三运动目标消失，实时检测视频帧中是否出现第四运动目标；
在检测到所述第四运动目标后，根据所述第三运动目标和所述第四运动目标的运动参数，判断所述第三运动目标和所述第四运动目标是否相同；
若相同，则根据包括所述第三运动目标的视频帧的帧标识码和包括所述第四运动目标的视频帧的帧标识码，确定漏检视频帧。
5.根据权利要求4所述的方法，其特征在于，其中，所述运动参数包括运动目标在视频帧帧中的尺寸、运动目标的位移向量和运动目标的位置中的至少一项；
相应的，根据所述第三运动目标和所述第四运动目标的运动参数，判断所述第三运动目标和所述第四运动目标是否相同，包括：
根据所述第三运动目标和所述第四运动目标的尺寸变化数据、所述第三运动目标和所述第四运动目标之间的位移向量的夹角，或所述第三运动目标和所述第四运动目标的位置关系，判断所述第三运动目标和所述第四运动目标是否相同。
6.根据权利要求1所述的方法，其特征在于，根据所述漏检视频帧的前一帧和后一帧中运动目标的位置参数，在所述漏检视频帧中标定漏检区域，包括：
根据所述漏检视频帧的前一帧和后一帧的帧标识码，确定漏检视频帧中漏检区域的位置加权系数；
根据所述漏检视频帧的前一帧和后一帧中运动目标的位置参数，以及所述位置加权系数，在所述漏检视频帧中标定漏检区域。
7.根据权利要求1所述的方法，其特征在于，所述基于从所述漏检视频帧中检测出的运动区域，对所述漏检区域进行验证，包括：
根据所述运动区域的面积和所述漏检区域的面积，计算所述漏检区域的置信度；
若所述置信度大于或等于预设阈值，则确定所述漏检区域标定准确；
若所述置信度小于预设阈值否则，确定漏检区域标定错误。
8.根据权利要求1所述的方法，其特征在于，所述方法还包括：
对所述漏检视频帧中标定的漏检区域进行编图处理，得到带标定数据的图片；
将所述图片上传到云端服务器，使得云端服务器在接收的图片数量达到阈值时，将所述图片发送到模型训练服务器，以便所述模型训练服务器根据所述图片优化目标检测算法模型，并将优化后的目标检测算法模型反馈到所述云端服务器；
接收并部署所述云端服务器传输的优化后的目标检测算法模型。
9.一种漏检视频帧的检测装置，其特征在于，所述装置包括：
漏检帧确定模块，用于根据从监控视频帧中检测到的运动目标，确定漏检视频帧；
标定模块，用于根据所述漏检视频帧的前一帧和后一帧中运动目标的位置参数，在所述漏检视频帧中标定漏检区域；
验证模块，用于基于从所述漏检视频帧中检测出的运动区域，对所述漏检区域进行验证。
10.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-8中任一项所述的方法。
11.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-8中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111313686.6A CN116129296A (zh) | 2021-11-08 | 2021-11-08 | 一种漏检视频帧的检测方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111313686.6A CN116129296A (zh) | 2021-11-08 | 2021-11-08 | 一种漏检视频帧的检测方法、装置、电子设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116129296A true CN116129296A (zh) | 2023-05-16 |
Family
ID=86295988
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111313686.6A Pending CN116129296A (zh) | 2021-11-08 | 2021-11-08 | 一种漏检视频帧的检测方法、装置、电子设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116129296A (zh) |
-
2021
- 2021-11-08 CN CN202111313686.6A patent/CN116129296A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20200326179A1 (en) | Distance Measurement Method, Intelligent Control Method, Electronic Device, and Storage Medium | |
| CN107886048B (zh) | 目标跟踪方法及***、存储介质及电子终端 | |
| US11933604B2 (en) | Detection method and apparatus for automatic driving sensor, and electronic device | |
| CN111988524A (zh) | 一种无人机与摄像头协同避障方法、服务器及存储介质 | |
| JP7111175B2 (ja) | 物体認識システム、認識装置、物体認識方法および物体認識プログラム | |
| CN109544870B (zh) | 用于智能监控***的报警判断方法与智能监控*** | |
| CN113744348A (zh) | 一种参数标定方法、装置及雷视融合检测设备 | |
| CN113408454A (zh) | 一种交通目标检测方法、装置、电子设备及检测*** | |
| CN110738867B (zh) | 一种车位检测方法、装置、设备及存储介质 | |
| CN109345567B (zh) | 物体运动轨迹识别方法、装置、设备和存储介质 | |
| CN109903308B (zh) | 用于获取信息的方法及装置 | |
| CN113344906A (zh) | 车路协同中相机评估方法、装置、路侧设备和云控平台 | |
| US11393181B2 (en) | Image recognition system and updating method thereof | |
| CN111582296B (zh) | 一种遥感图像综合匹配方法、装置、电子设备及存储介质 | |
| CN115407355B (zh) | 库位地图的验证方法、装置及终端设备 | |
| CN116129296A (zh) | 一种漏检视频帧的检测方法、装置、电子设备和存储介质 | |
| CN115484721A (zh) | 基于路侧感知***的路灯控制方法、装置、设备及介质 | |
| CN113947769A (zh) | 基于长短焦双摄像头的红绿灯检测方法、设备和存储介质 | |
| KR101984070B1 (ko) | 지능형 스테레오 영상 기반 시설물 진동 감시 방법 | |
| CN111372051A (zh) | 多相机联动盲区检测方法、装置和电子设备 | |
| CN114708557B (zh) | 一种基于空地通信的电力施工监控方法及*** | |
| CN104700396B (zh) | 从图像中确定用于估计交通量的参数的方法和*** | |
| JP7327355B2 (ja) | 地図更新装置及び地図更新方法 | |
| US20230421720A1 (en) | Validation of infrared (ir) camera distortion accuracy | |
| CN113052839A (zh) | 一种地图检测方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |