CN110427816B - 物体检测方法、装置、计算机设备和存储介质 - Google Patents
物体检测方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN110427816B CN110427816B CN201910554748.9A CN201910554748A CN110427816B CN 110427816 B CN110427816 B CN 110427816B CN 201910554748 A CN201910554748 A CN 201910554748A CN 110427816 B CN110427816 B CN 110427816B
- Authority
- CN
- China
- Prior art keywords
- frame
- detection
- network
- offset
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 544
- 238000000034 method Methods 0.000 claims abstract description 24
- 230000002441 reversible effect Effects 0.000 claims description 38
- 238000004590 computer program Methods 0.000 claims description 26
- 230000004927 fusion Effects 0.000 claims description 9
- 238000013528 artificial neural network Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 5
- 238000012935 Averaging Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000011895 specific detection Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种基于神经网络的物体检测方法、装置、计算机设备和存储介质。所述方法包括:接收待检测视频和物体检测指令,待检测视频中包括视频帧;根据物体检测指令确定检测方式;基于检测方式将各视频帧输入预先训练好的用于物体检测的单帧网络和特征偏移网络,以利用单帧网络和特征偏移网络对各视频帧进行物体检测,得到检测结果;检测结果包括检测特征图和各视频帧的特征点偏移值;根据特征点偏移值将对应的检测特征图中的特征点进行偏移,得到偏移特征图,并根据检测特征图和偏移特征图中的坐标框确定物体信息。采用本方法能够利用帧间信息且提高检测速度。
Description
技术领域
本申请涉及计算机技术领域,特别是涉及一种物体检测方法、装置、计算机设备和存储介质。
背景技术
物体检测是计算机视觉中的经典问题之一,其任务是用框标出物体的位置并给出物体的类别。因此,物体检测在人脸识别、安全监控以及动态追踪等很多方面都有广泛的应用。然而,传统进行物体检测的算法大多采用逐帧检测网络直接对视频帧依次进行检测。虽然在一定程度上保证了检测的精度性,但是在高分辨情况下难以达到实时,导致检测速度缓慢。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提高检测速度的物体检测方法、装置、计算机设备和存储介质。
一种物体检测方法,所述方法包括:
接收待检测视频和物体检测指令,所述待检测视频中包括视频帧;
根据所述物体检测指令确定检测方式;
基于所述检测方式将各所述视频帧输入预先训练好的用于物体检测的单帧网络和特征偏移网络,以利用所述单帧网络和特征偏移网络对各所述视频帧进行物体检测,得到检测结果;所述检测结果包括检测特征图和特征点偏移值;
根据所述特征点偏移值将对应的检测特征图中的特征点进行偏移,得到偏移特征图,并根据所述检测特征图和偏移特征图中的坐标框确定物体信息。
在其中一个实施例中,所述检测方式包括快速检测;所述基于所述检测方式将各所述视频帧输入至预先训练好的用于物体检测的单帧网络和特征偏移网络,以利用所述单帧网络和特征偏移网络对各所述视频帧进行物体检测,得到检测结果的步骤,包括:
当确定所述检测方式为所述快速检测时,依次将各所述视频帧作为当前帧,获取关键帧标志位;
基于获取的关键帧标志位,从所述单帧网络和特征偏移网络中确定当前帧对应的检测网络;
利用当前帧对应的检测网络对当前帧进行物体检测,得到当前帧对应的检测结果;
根据所述检测结果更改所述关键帧标志位,返回获取关键帧标志位的步骤,直至各所述视频帧均得到对应的检测结果。
在其中一个实施例中,所述基于获取的关键帧标志位,从所述单帧网络和特征偏移网络中确定当前帧对应的检测网络的步骤,包括:
当根据所述关键帧标志位确定当前帧为关键帧时,将所述单帧网络作为当前帧对应的检测网络;
当根据所述关键帧标志位确定当前帧为非关键帧时,将所述特征偏移网络作为当前帧对应的检测网络。
在其中一个实施例中,所述利用当前帧对应的检测网络对当前帧进行检测,得到当前帧对应的检测结果的步骤,包括:
若当前帧对应的检测网络为所述单帧网络,则利用所述单帧网络对所述当前帧进行单帧的物体检测,得到的检测特征图作为当前帧对应的检测结果;
若当前帧对应的检测网络为所述特征偏移网络,则利用所述特征偏移网络对当前帧以及当前帧对应的上一帧视频帧进行特征点偏移值的检测,得到的特征点偏移值作为当前帧对应的检测结果。
在其中一个实施例中,所述根据所述检测结果更改所述关键帧标志位,返回获取关键帧标志位的步骤,直至各所述视频帧均得到对应的检测结果的步骤,包括:
当所述检测结果为检测特征图时,更改所述关键帧标志位,并返回获取关键帧标志位的步骤,直至各所述视频帧均得到对应的检测结果;
或
当所述检测结果为特征点偏移值时,基于所述特征点偏移值计算得到物体偏移均值,并将所述物体偏移均值累加至预设的物体偏移总值;
若所述物体偏移总值不小于门限值,则将所述物体偏移总值清零,以及更改所述关键帧标志位,并返回获取关键帧标志位的步骤,直至各所述视频帧均得到对应的检测结果。
在其中一个实施例中,所述检测方式包括精度检测;所述特征点偏移值包括特征点正偏移值和特征点反偏移值;
所述基于所述检测方式将各所述视频帧输入预先训练好的用于物体检测的单帧网络和特征偏移网络,以利用所述单帧网络和特征偏移网络对各所述视频帧进行物体检测,得到检测结果的步骤,包括:
当确定所述检测方式为所述精度检测时,利用所述单帧网络对各所述视频帧进行单帧的物体检测,得到各所述视频帧对应的检测特征图;
利用特征偏移网络对各所述视频帧进行特征点正序偏移值的检测,得到各所述视频帧对应的特征点正偏移值;
利用特征偏移网络对各所述视频帧进行特征点倒序偏移值的检测,得到各所述视频帧对应的特征点反偏移值。
在其中一个实施例中,所述根据所述特征点偏移值将对应的检测特征图中的特征点进行偏移,得到偏移特征图,并根据所述检测特征图和偏移特征图中的坐标框,确定物体信息的步骤,包括:
根据所述视频帧对应的特征点正偏移值,将所述视频帧对应的上一帧视频帧的检测特征图中的特征点进行偏移,生成所述视频帧对应的正偏移特征图;
根据所述视频帧对应的特征点反偏移值,将所述视频帧对应的下一帧视频帧的检测特征图中的特征点进行偏移,生成所述视频帧对应的反偏移特征图;
将所述视频帧的检测特征图、正偏移特征图以及反偏移特征图进行特征融合,生成最终的特征图;
根据所述最终的特征图中的坐标框确定物体信息。
一种物体检测装置,所述装置包括:
接收模块,用于接收待检测视频和物体检测指令,所述待检测视频中包括视频帧;
确定模块,用于根据所述物体检测指令确定检测方式;
检测模块,用于基于所述检测方式将各所述视频帧输入预先训练好的用于物体检测的单帧网络和特征偏移网络,以利用所述单帧网络和特征偏移网络对各所述视频帧进行物体检测,得到检测结果;所述检测结果包括检测特征图和各所述视频帧的特征点偏移值;
偏移模块,用于根据所述特征点偏移值将各所述视频帧输入预先训练好的用于物体检测的单帧网络和特征偏移网络,并根据所述检测特征图和偏移特征图中的坐标框确定物体信息。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述任一项所述的物体检测方法。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述任一项所述的物体检测方法。
上述物体检测方法、装置、计算机设备和存储介质,当接收到待检测视频和物体检测指令后,根据物体检测指令确定检测方式,从而保证根据用户需求使用准确的检测方式。然后基于检测方式将各视频帧输入预先训练好的用于物体检测的单帧网络和特征偏移网络,且以利用单帧网络和特征偏移网络对待检测视频中的各视频帧进行物体检测,根据检测得到的检测特征图和特征点偏移值生成偏移特征图,从而根据检测特征图和偏移特征图中的坐标框确定物体的信息,从而保证上述方法不仅能够通过单帧网络保证检测的精度,还能利用特征偏移网络得到能够表明各视频帧变化程度的特征点偏移值,不仅利用了帧间信息还提高了检测速度。
附图说明
图1为一个实施例中物体检测方法的应用场景图;
图2为一个实施例中物体检测方法的流程示意图;
图3为一个实施例中基于检测方式,利用预设的单帧网络和特征偏移网络对各视频帧进行检测,得到检测结果步骤的流程示意图;
图4为另一个实施例中基于检测方式,利用预设的单帧网络和特征偏移网络对各视频帧进行检测,得到检测结果步骤的流程示意图;
图5为一个实施例中物体检测装置的结构框图;
图6为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请提供的物体检测方法,可以应用于如图1所示的应用环境中。其中,终端102通过网络与服务器104进行通信。服务器104接收终端102发送的待检测视频和物体检测指令,待检测视频中包括视频帧。服务器104根据物体检测指令确定检测方式。服务器104基于检测方式将各视频帧输入预先训练好的用于物体检测的单帧网络和特征偏移网络,以利用单帧网络和特征偏移网络对各视频帧进行物体检测,得到检测结果。检测结果包括检测特征图和特征点偏移值。服务器104根据特征点偏移值将对应的检测特征图中的特征点进行偏移,得到偏移特征图,并根据检测特征图和偏移特征图中的坐标框确定物体信息。其中,终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备,服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中,如图2所示,提供了一种物体检测方法,以该方法应用于图1中的服务器为例进行说明,包括以下步骤:
步骤S202,接收待检测视频和物体检测指令,待检测视频中包括视频帧。
其中,待检测视频是指需要进行物体检测的视频,视频帧则是用于组成视频的视频图像。例如,待检测视频包括但不限于监控设备的监控视频。而物体检测指令是指用于请求服务器进行物体检测的指令。
具体地,当用户有物体检测需求时,通过操作用户终端给服务器下发物体检测指令,以及随物体检测指令向服务器发送本次进行物体检测的待检测视频。
步骤S204,根据物体检测指令确定检测方式。
其中,检测方式包括快速检测和精度检测,通过不同的物体检测确定本次进行物体检测的方式。具体地,当用户需要进行物体检测时,通过操作终端发起物体检测任务和选择对应的检测方式,终端根据用户的操作生成对应的物体检测指令。也就是说,若物体检测任务的需求是快速获取检测结果的,则用户在操作终端发起物体检测任务时同步在终端页面选择快速检测方式,当终端接收到用户选择了快速检测方式后,根据用户所选择的快速检测方式生成快速物体检测指令,则生成的物体检测指令为快速物体检测指令。服务器接收到快速物体检测指令时,即可响应该快速物体检测指令确定检测方式为快速检测,则基于快速检测方式进行快速的物体检测。同样的,当用户需要高精度的物体检测结果的,则在下发物体检测指令时同步选择精度检测方式,则生成的物体检测指令为精度物体检测指令。服务器接收到精度物体检测指令时,即可响应该精度物体检测进行高精度的物体检测。或者,当用户操作终端发起物体检测任务和选择对应的检测方式时,终端可以直接生成物体检测指令,将用户所选择的方式随物体检测指令发送给服务器,即物体检测指令中包括检测方式。服务器通过对物体检测指令进行判断,确定物体检测指令所包括的检测方式,从而确定物体检测的检测方式。
步骤S206,基于检测方式将各视频帧输入预先训练好的用于物体检测的单帧网络和特征偏移网络,以利用单帧网络和特征偏移网络对各视频帧进行物体检测,得到检测结果;检测结果包括检测特征图和特征点偏移值。
其中,单帧网络和特征偏移网络为预先训练好的用于物体检测的神经网络。单帧网络为传统的逐帧检测算法网络,可以为现有任意一种,例如faster rcnn检测网络、yolov3检测网络等。特征偏移网络是一种近似光流网络的目标检测网络,利用flownet作为网络的基础架构。与传统的光流网络相比,特征偏移网络的输出层从计算图像中每个像素点的偏移值更改为只计算特征图中每个像素点的偏移值。单帧网络得到的检测结果是检测特征图,特征偏移网络得到的检测结果是特征点偏移值。基于不同的检测方式将各视频帧输入至预先训练好的单帧网络和特征偏移网络进行物体检测。
具体地,基于不同的检测方式,各视频帧输入至单帧网络和特征偏移网络的形式不一样。当检测方式为快速检测时,需要对所有的视频帧进行关键帧和非关键帧的划分。属于关键帧的视频帧利用单帧网络进行检测,属于非关键帧的视频帧利用特征偏移网络进行检测。而当检测方式为精度检测时,所有的视频帧需要同时利用单帧网络和特征偏移网络进行检测,即所有视频帧输入到单帧网络检测一次,还需要将所述视频帧输入到特征偏移网络检测一次。
步骤S208,根据特征点偏移值将对应的检测特征图中的特征点进行偏移,得到偏移特征图,并根据检测特征图和偏移特征图中的坐标框确定物体信息。
其中,检测特征图是单帧网络对视频帧进行检测输出的特征图,而特征点偏移值是特征偏移网络对视频帧进行检测,得到的该视频帧中的特征点相对于上一帧视频帧中的特征点的偏移值,即相对应的特征点之间的变化程度。也就是通过相邻视频帧之间的特征点的偏移值就能得到视频中物体偏移的程度,即物体的移动变化程度。物体信息是指被检测出的物体所属的类别。
具体地,由于利用网络模型进行物体检测,网络模型输出的特征图上包括被检测出物体的坐标框,则根据该坐标框可直接确定物体信息。即,当视频帧属于关键帧,也就是利用单帧网络对该视频帧进行检测,得到的是该视频帧对应的检测特征图,则根据单帧检测网络输出的检测特征图上的坐标框直接确定物体信息。而当视频帧属于非关键帧,也就是利用特征偏移网络检测对该视频帧进行检测,得到的是该视频帧相对于上一帧视频帧中特征点的变化程度,即特征点偏移值,则进一步根据该视频帧对应的特征点偏移值以及对应的上一帧视频帧的检测结果得到该视频帧的偏移特征图。可以理解,该偏移特征图与检测特征图相同,同样包括物体坐标框,根据偏移特征图即可直接确定该视频帧中物体的物体信息。其中,上一帧视频帧对应的检测结果为上一帧视频帧对应的检测特征图或者偏移特征图。
也就是说,无论视频帧是关键帧还是非关键帧,都有对应的检测特征图。关键帧对应的检测特征图利用单帧网络可以直接得到,而非关键帧对应的检测特征图是利用特征偏移网络得到特征点偏移值后,根据对应上一帧视频帧的检测特征图和本视频帧的特征点偏移值计算得到的本视频帧的偏移特征图。即,当得到检测特征图和特征点偏移值时,根据检测特征图和特征点偏移值计算得到属于非关键帧的视频帧对应的偏移特征图。也就是说,根据检测特征图和偏移特征图中的坐标框直接确定视频帧中的物体信息。
进一步的,根据上一帧视频帧的检测特征图和本视频帧的特征点偏移值得到本视频帧的偏移特征图的步骤,具体包括:基于特征点偏移值,对对应的上一帧视频帧的检测特征图或是偏移特征图进行偏移。其中,若对应的上一帧视频帧为关键帧,则是检测特征图,对应的上一视频帧是非关键帧,则是偏移特征图。经过偏移得到的特征图即为本视频帧的偏移特征图,该偏移特征图即为本视频帧的检测特征图。也就是说,当特征点偏移值为向右平移2个单位,则将检测特征图中所对应的特征点向右平移2个单位。
上述物体检测方法中,当接收到待检测视频和物体检测指令后,根据物体检测指令确定检测方式,从而保证根据用户需求使用准确的检测方式。然后基于检测方式,且利用预设的单帧网络和特征偏移网络对待检测视频中的各视频帧进行检测,根据检测得到的检测特征图和特征点偏移值确定物体的信息,从而保证上述方法不仅能够通过单帧网络保证检测的精度,还能利用特征偏移网络得到能够表明各视频帧变化程度的特征点偏移值,不仅利用了帧间信息还提高了检测速度。
在一个实施例中,当检测方式为快速检测时,基于检测方式将各视频帧输入至预先训练好的用于物体检测的单帧网络和特征偏移网络,以利用单帧网络和特征偏移网络对各视频帧进行物体检测,得到检测结果的步骤,具体包括:依次将待检测视频中的各视频帧作为当前帧,获取关键帧标志位。基于获取的关键帧标志位,从单帧网络和特征偏移网络中确定当前帧对应的检测网络。利用当前帧对应的检测网络对当前帧进行物体检测,得到当前帧对应的检测结果。根据检测结果更改关键帧标志位,返回获取关键帧标志位的步骤,直至视频帧均得到对应的检测结果。
其中,依次将待检测视频中的各视频帧作为当前帧,即为从各视频帧中确定当前帧时需按照视频帧的顺序依次确定,例如,若待检测视频中的视频帧按播放顺序为视频帧1、视频帧2和视频帧3,则首先将视频帧1作为当前帧,得到视频帧1的检测结果后在将视频帧2作为当前帧,得到视频帧2的检测结果后在将视频帧3作为当前帧。
关键帧标志位则是指用于表示当前获取的视频帧是否为关键帧的标志,即用于表示当前帧是否为关键帧的标志。关键帧标志位包括true(正确)和false(错误),若关键帧标志位为true,则表示当前获取的视频帧为关键帧,若关键帧标志位为false,则表示当前获取的视频帧为非关键帧。
具体地,当确定一帧视频帧作为当前帧后,获取当前的关键帧标志位。基于关键帧标志位为当前帧选择对应的检测网络,检测网络为单帧网络和特征偏移网络中任意一种。若获取的关键帧标志位为true,则表示当前帧为关键帧,关键帧对应的检测网络为单帧网络,则选择单帧网络作为当前帧的检测网络。而若关键帧标志位为false,则表示当前帧为非关键帧,非关键帧对应的检测网络为特征偏移网络,则选择特征偏移网络作为当前帧的检测网络。获取到当前帧对应的检测网络后,利用对应的检测网络对当前帧进行检测。也就是说,当前帧对应的检测网络为单帧网络,则利用单帧网络对当前帧进行检测。当前帧对应的检测网络为特征偏移网络,则利用特征偏移网络对当前帧进行检测。然后,根据检测得到的检测结果更改关键帧标志位,并且重新获取关键帧标志位,作为下个当前帧的关键帧标志位,直到所有的视频帧都有对应的检测结果为止。
其中,由于是依次将待检测视频中的各视频帧作为当前帧,也就是说第一次作为当前帧的视频帧为待检测视频中的第一帧视频帧。而第一帧视频帧作为第一个当前帧是本次物体检测的开始,所以第一帧视频帧对应的关键帧标志位为预设的初始值。在本实施例中,由于特征偏移网络的检测需要当前帧以及对应的上一帧视频帧进行偏移检测,而第一帧视频帧是没有对应的上一帧视频帧的。因此,关键帧标志位为的初始值为true,即待检测视频中的第一帧视频帧一定被作为关键帧。
进一步的,本实施例可以理解为如图3所示的流程图,具体包括以下步骤:
步骤S302,确定当前帧。
步骤S304,获取关键帧标志位。
步骤S306,基于获取的关键帧标志位,从单帧网络和特征偏移网络中确定当前帧对应的检测网络。
步骤S308,利用当前帧对应的检测网络对当前帧进行检测,得到当前帧对应的检测结果。
步骤S310,根据检测结果更改关键帧标志位,返回步骤S302,从各视频帧中确定当前帧,直至视频帧均得到对应的检测结果。
具体地,以待检测视频含有三帧视频帧为例进行说明,首先确定视频帧1为当前帧,获取当前的关键帧标志位。而关键帧标志位为true,则表示视频帧1为关键帧。那么,视频帧1对应的检测网络则为单帧网络,则选择单帧网络作为视频帧1的检测网络。利用单帧网络对视频帧1进行检测,得到视频帧1对应的检测结果。并且,根据视频帧1的检测结果更改关键帧标志位。然后,按顺序确定视频帧2为当前帧,获取当前的关键帧标志位,而该关键帧标志位已经根据视频帧1的检测结果进行更改了。可能该关键帧标志位没有变,还是true,也可能已经变为false了,假设经过视频帧1的检测结果将该关键帧标志位改为了false,则表示视频帧2为非关键帧。那么,视频帧2对应的检测网络为特征偏移网络,则选择特征偏移网络作为视频帧2的检测网络。利用特征偏移网络对视频帧2进行检测,得到视频帧2对应的检测结果。同样的,根据视频帧2的检测结果再次更改关键帧标志位。最后,确定视频帧3为当前帧,具体检测过程同视频帧1和视频帧2一致,在此不再赘述。
在本实施例中,利用视频帧之间信息冗余较大的特点,通过划分关键帧和非关键帧,使用单帧网络对关键帧进行检测。利用单帧网络保证检测精度的同时下,采用特征偏移网络对非关键帧进行偏移检测,只需要快速检测确定连续帧之间物体的变化程度就能得到对应的特征图,不仅利用了帧间信息,还提升了检测速度。
在一个实施例中,基于获取的关键帧标志位,从单帧网络和特征偏移网络中确定当前帧对应的检测网络,具体包括:当根据关键帧标志位确定当前帧为关键帧时,将单帧网络作为当前帧对应的检测网络。当根据关键帧标志位确定当前帧为非关键帧时,将特征偏移网络作为当前帧对应的检测网络。
具体地,若获取的关键帧标志位为true,则表示当前帧为关键帧,关键帧对应的检测网络为单帧网络,则选择单帧网络作为当前帧的检测网络。而若关键帧标志位为false,则表示当前帧为非关键帧,非关键帧对应的检测网络为特征偏移网络,则选择特征偏移网络作为当前帧的检测网络。
在一个实施例中,利用当前帧对应的检测网络对当前帧进行物体检测,得到当前帧对应的检测结果的步骤,具体包括:若当前帧对应的检测网络为单帧网络,则利用单帧网络对当前帧进行单帧的物体检测,得到的检测特征图作为当前帧对应的检测结果。若当前帧对应的检测网络为特征偏移网络,则利用特征偏移网络对当前帧以及当前帧对应的上一帧视频帧进行特征点偏移值的检测,得到的特征点偏移值作为当前帧对应的检测结果。
具体地,当视频帧对应的检测网络为单帧网络时,即可直接将该视频帧输入至单帧网络中,利用单帧网络直接对该视频帧进行单帧检测,得到的检测结果为该视频帧的检测特征图。而,当视频帧对应的检测网络为特征偏移网络时,需要检测该视频帧的偏移值,因此除了将该视频帧输入至特征偏移网络之外,还有将该视频帧对应的上一帧视频帧输入至特征偏移网络一起进行偏移检测。即利用特征偏移网络得到的检测结果为该视频帧中的特征点相对上一帧视频帧中的特征点的偏移值。
在一个实施例中,根据检测结果更改关键帧标志位的步骤,具体包括:
当检测结果为检测特征图时,更改关键帧标志位。或者,
当检测结果为特征点偏移值时,基于特征点偏移值计算得到物体偏移均值,并将物体偏移均值累加至预设的物体偏移总值。若物体偏移总值不小于门限值,则将物体偏移总值清零,以及更改关键帧标志位。
具体地,当检测结果为检测特征图时,直接将关键帧标志位进行更改。例如关键帧标志位为true,则更改为false。
当检测结果为特征点偏移值时,基于该特征点偏移值计算得到物体偏移均值,然后将物体偏移均值累加到物体偏移总值中,最后根据物体偏移总值决定是否更改标志位。即,当物体偏移总值大于等于预设的门限值时,则更改关键帧标志位,并同时将物体偏移总值清零。反之,物体偏移总值小于预设的门限值时,不更改关键帧标志位也不清零。其中,预设的物体偏移总值的初始值为0,通过一次次将计算得到的物体偏移均值进行累加,使得物体偏移总值达到门限值时才会再次清除到0,而物体偏移总值一旦清零就意味着需要更改关键帧标志位。
进一步的,计算物体偏移均值具体包括:根据视频帧的特征点偏移值,对对应上一帧视频帧对应的特征图进行偏移,得到视频帧对应的偏移特征图,由于上一帧视频帧中的特征图包括坐标框,即根据特征点偏移值得到的偏移特征图也有对应的偏移的坐标框。因此,确定该偏移特征图中的坐标框,获取该坐标框内所有特征点对应的特征点偏移值,基于坐标框内特征点对应的特诊点偏移值做均值运算,得到的均值为物体偏移均值。其中,上一帧视频帧为关键帧时,上一帧视频帧对应的特征图为检测特征图。上一帧视频帧为非关键帧时,上一帧视频帧对应的特征图为偏移特征图。
在另一个实施例中,如图4所示,当检测方式为精度检测时,检测结果中的特征点偏移值包括特征点正偏移值和特征点反偏移值。则,当确定检测方式为精度检测时,基于检测方式将各视频帧输入预先训练好的用于物体检测的单帧网络和特征偏移网络,以利用单帧网络和特征偏移网络对各视频帧进行检测,得到检测结果的步骤,包括以下步骤:
步骤S402,利用单帧网络对各视频帧进行单帧的物体检测,得到各视频帧对应的检测特征图。
当确定检测方式为精度检测时,表示需要进行高精度的物体检测。则无需如快速检测一般将各视频帧进行关键帧、非关键帧的划分后,再输入到对应的网络进行检测。
具体地,将待检测视频中的各视频帧均输入到单帧网络中进行检测,得到各视频帧对应的检测特征图。例如,假设待检测视频帧包括视频帧1、视频帧2和视频帧3,则将视频帧1、视频帧2和视频帧3均输入到单帧网络中,分别得到视频帧1对应的检测特征图、视频帧2对应的检测特征图和视频帧3对应的检测特征图。
步骤S404,利用特征偏移网络对各视频帧进行特征点正序偏移值的检测,得到各视频帧对应的特征点正偏移值。
步骤S406,利用特征偏移网络对各视频帧进行特征点倒序偏移值的检测,得到各视频帧对应的特征点反偏移值。
其中,特征点正偏移值是指视频帧中的特征点相对上一帧视频帧中特征点的偏移,而特征点反偏移值则是指视频帧中的特征点相对下一帧视频帧中特征点的偏移。正序偏移检测是指特征偏移网络接收正序的视频帧,倒序偏移检测是指特征偏移网络接收倒序的视频帧。正序即是按照待检测视频的正播放顺序,例如视频帧1、视频帧2和视频帧3。而倒序即是按照待检测视频的反播放顺序,例如视频帧3、视频帧2和视频帧1。
具体地,将待检测视频中的各视频帧均输入到特征偏移网络中进行检测。而为了充分利用连续视频帧的上下文信息,除了将待检测视频中的各视频帧按照正序输入至特征偏移网络中进行正序偏移检测之外,还将待检测视频中的各视频帧倒序输入至特征偏移网络中进行反序偏移检测。通过正序偏移检测可以得到每一帧视频帧相对上一帧视频帧的特征点偏移值,即特征点正偏移值,以视频帧1、视频帧2和视频帧3为例,即根据视频帧1和视频帧2计算得到视频帧2相对于视频帧1的特征点正偏移值。同样的,通过倒序偏移检测可以得到每一帧视频帧相对下一帧视频帧的特征点偏移值,即特征点反偏移值,以视频帧1、视频帧2和视频帧3为例,即根据视频帧2和视频帧3计算得到视频帧2相对于视频帧3的特征点反偏移值。
在本实施例中,通过对待检测视频中的各视频帧进行三遍不同的物体检测,虽然进行三次检测使得检测速度有所下降,但是充分利用了连续视频帧的上下文信息,通过更多的信息进行检测从而提高物体检测的精度,尤其在运动比较模糊的情况下运用精度检测,能够提高检测的准确率。
在一个实施例中,当检测方式为精度检测,且检测结果中的特征点偏移值包括特征点正偏移值和特征点反偏移值时,则根据特征点偏移值将对应的检测特征图中的特征点进行偏移,得到偏移特征图,并根据检测特征图和偏移特征图中的坐标框确定物体信息的步骤,具体包括:根据视频帧对应的特征点正偏移值,将视频帧对应的上一帧视频帧的检测特征图中的特征点进行偏移,生成视频帧对应的正偏移特征图。根据视频帧对应的特征点反偏移值,将视频帧对应的下一帧视频帧的检测特征图中的特征点进行偏移,生成视频帧对应的反偏移特征图。将视频帧的检测特征图、正偏移特征图以及反偏移特征图进行特征融合,生成最终的特征图,根据最终的特征图中的坐标框确定物体信息。
具体地,基于视频帧的特征点正偏移值,对对应的上一帧视频帧的检测特征图进行偏移,得到视频帧对应的正偏移特征图。例如,基于视频帧2的特征点正偏移值对视频帧1的检测特征图进行偏移,得到的特征图为视频帧2对应的正偏移特征图。相同的,基于视频帧的特征点反偏移值,对对应的下一帧视频帧的检测特征图进行偏移,得到视频帧对应的反偏移特征图。例如,基于视频帧2的特征点反偏移值对视频帧3的检测特征图进行偏移,得到的特征图为视频帧2对应的反偏移特征图。而确定物体信息时,即将视频帧对应的三张特征图进行特征融合,即将视频帧对应的检测特征图、正偏移特征图以及反偏移特征图进行特征融合,生成最终的特征图。特征融合包括但不限于取平均值或者加权平均的方法。例如,采用平均值即三张特征图相加除以3,加权平均则是根据预设的权重分别相乘后相加即可。其中,由于待检测视频中的第一帧视频帧没有对应的上一帧视频帧,以及最后一帧视频帧没有对应的下一帧视频帧,因此,第一帧视频帧无法根据上一帧视频帧的检测特征图生成没有正偏移特征图,即第一帧视频帧没有正偏移特征图。而最后一帧视频帧无法根据下一帧视频帧的检测特征图生成反偏移特征图,即最后一帧视频帧没有反偏移特征图。
在一个实施例中,关键帧标志位根据预设的等间隔规则进行设定,其中,等间隔规则是指包括关键帧划分的规则,例如,若等间隔规则规定每隔2帧取一帧视频帧为关键帧,则相隔的两帧视频帧为非关键帧。也就是说,每3帧中有两帧非关键帧和一帧关键帧。在待检测视频帧的第一帧一定为关键帧的基础上,则可以简单表示为“关键帧、非关键帧、非关键帧、关键帧……”。同样的,当根据等间隔规则确定好关键帧和非关键帧后,同样是关键帧输入至单帧网络进行单帧检测,得到检测特征图。而为非关键帧的视频帧则同样将该非关键帧以及对应的上一帧视频帧输入至特征偏移网络进行偏移检测,从而得到非关键帧的特征点偏移值。也就是说,当接收到待检测视频后,根据预设的等间隔规则预先将待检测视频中的各视频帧进行关键帧划分,确定各视频帧是关键帧还是非关键帧,后续直接调用对应的网络进行检测,无需对关键帧标志位设定初始值,也无需进行关键标志位的更改。在本实施例中,利用等间隔循环的方法可以适用于偏静止的视频场景,可以进一步提升检测速度。
应该理解的是,虽然图2-4的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2-4中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图5所示,提供了一种物体检测装置,包括:接收模块502、确定模块504、检测模块506和偏移模块508,其中:
接收模块502,用于接收待检测视频和物体检测指令,待检测视频中包括视频帧。
确定模块504,用于根据物体检测指令确定检测方式。
检测模块506,用于基于检测方式将各视频帧输入预先训练好的用于物体检测的单帧网络和特征偏移网络,以利用单帧网络和特征偏移网络对各视频帧进行物体检测,得到检测结果;检测结果包括检测特征图和各视频帧的特征点偏移值。
偏移模块508,用于根据特征点偏移值将对应的检测特征图中的特征点进行偏移,得到偏移特征图,并根据检测特征图和偏移特征图中的坐标框确定物体信息。
在一个实施例中,检测模块506还用于当确定检测方式为快速检测时,依次将各视频帧作为当前帧,获取关键帧标志位;基于获取的关键帧标志位,从单帧网络和特征偏移网络中确定当前帧对应的检测网络;利用当前帧对应的检测网络对当前帧进行物体检测,得到当前帧对应的检测结果;根据检测结果更改关键帧标志位,返回获取关键帧标志位的步骤,直至各视频帧均得到对应的检测结果。
在一个实施例中,检测模块506还用于当根据关键帧标志位确定当前帧为关键帧时,将单帧网络作为当前帧对应的检测网络;当根据关键帧标志位确定当前帧为非关键帧时,将特征偏移网络作为当前帧对应的检测网络。
在一个实施例中,检测模块506还用于若当前帧对应的检测网络为单帧网络,则利用单帧网络对当前帧进行单帧的物体检测,得到的检测特征图作为当前帧对应的检测结果;若当前帧对应的检测网络为特征偏移网络,则利用特征偏移网络对当前帧以及当前帧对应的上一帧视频帧进行特征点偏移值的检测,得到的特征点偏移值作为当前帧对应的检测结果。
在一个实施例中,检测模块506还用于当检测结果为检测特征图时,更改关键帧标志位,并返回获取关键帧标志位的步骤,直至各视频帧均得到对应的检测结果;或
当检测结果为特征点偏移值时,基于特征点偏移值计算得到物体偏移均值,并将物体偏移均值累加至预设的物体偏移总值;若物体偏移总值不小于门限值,则将物体偏移总值清零,以及更改关键帧标志位,并返回获取关键帧标志位的步骤,直至各视频帧均得到对应的检测结果。
在一个实施例中,检测模块506还用于当确定检测方式为精度检测时,利用单帧网络对各视频帧进行单帧的物体检测,得到各视频帧对应的检测特征图;利用特征偏移网络对各视频帧进行特征点正序偏移值的检测,得到各视频帧对应的特征点正偏移值;利用特征偏移网络对各视频帧进行特征点倒序偏移值的检测,得到各视频帧对应的特征点反偏移值。
在一个实施例中,偏移模块508还用于根据视频帧对应的特征点正偏移值,将视频帧对应的上一帧视频帧的检测特征图中的特征点进行偏移,生成视频帧对应的正偏移特征图;根据视频帧对应的特征点反偏移值,将视频帧对应的下一帧视频帧的检测特征图中的特征点进行偏移,生成视频帧对应的反偏移特征图;将视频帧的检测特征图、正偏移特征图以及反偏移特征图进行特征融合,生成最终的特征图;根据最终的特征图中的坐标框确定物体信息。
关于物体检测装置的具体限定可以参见上文中对于物体检测方法的限定,在此不再赘述。上述物体检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图6所示。该计算机设备包括通过***总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***、计算机程序和数据库。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的数据库用于存储数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种物体检测方法。
本领域技术人员可以理解,图6中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,该存储器存储有计算机程序,该处理器执行计算机程序时实现以下步骤:
接收待检测视频和物体检测指令,待检测视频中包括视频帧;
根据物体检测指令确定检测方式;
基于检测方式将各视频帧输入预先训练好的用于物体检测的单帧网络和特征偏移网络,以利用单帧网络和特征偏移网络对各视频帧进行检测,得到物体检测结果;检测结果包括检测特征图和各视频帧的特征点偏移值;
根据特征点偏移值将对应的检测特征图中的特征点进行偏移,得到偏移特征图,并根据检测特征图和偏移特征图中的坐标框确定物体信息。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
当确定检测方式为快速检测时,依次将各视频帧作为当前帧,获取关键帧标志位;基于获取的关键帧标志位,从单帧网络和特征偏移网络中确定当前帧对应的检测网络;利用当前帧对应的检测网络对当前帧进行物体检测,得到当前帧对应的检测结果;根据检测结果更改关键帧标志位,返回获取关键帧标志位的步骤,直至各视频帧均得到对应的检测结果。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
当根据关键帧标志位确定当前帧为关键帧时,将单帧网络作为当前帧对应的检测网络;当根据关键帧标志位确定当前帧为非关键帧时,将特征偏移网络作为当前帧对应的检测网络。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
若当前帧对应的检测网络为单帧网络,则利用单帧网络对当前帧进行单帧的物体检测,得到的检测特征图作为当前帧对应的检测结果;若当前帧对应的检测网络为特征偏移网络,则利用特征偏移网络对当前帧以及当前帧对应的上一帧视频帧进行特征点偏移值的检测,得到的特征点偏移值作为当前帧对应的检测结果。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
当检测结果为检测特征图时,更改关键帧标志位,并返回获取关键帧标志位的步骤,直至各视频帧均得到对应的检测结果;或
当检测结果为特征点偏移值时,基于特征点偏移值计算得到物体偏移均值,并将物体偏移均值累加至预设的物体偏移总值;若物体偏移总值不小于门限值,则将物体偏移总值清零,以及更改关键帧标志位,并返回获取关键帧标志位的步骤,直至各视频帧均得到对应的检测结果。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
当确定检测方式为精度检测时,利用单帧网络对各视频帧进行单帧的物体检测,得到各视频帧对应的检测特征图;利用特征偏移网络对各视频帧进行特征点正序偏移值的检测,得到各视频帧对应的特征点正偏移值;利用特征偏移网络对各视频帧进行特征点倒序偏移值的检测,得到各视频帧对应的特征点反偏移值。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
根据视频帧对应的特征点正偏移值,将视频帧对应的上一帧视频帧的检测特征图中的特征点进行偏移,生成视频帧对应的正偏移特征图;根据视频帧对应的特征点反偏移值,将视频帧对应的下一帧视频帧的检测特征图中的特征点进行偏移,生成视频帧对应的反偏移特征图;将视频帧的检测特征图、正偏移特征图以及反偏移特征图进行特征融合,生成最终的特征图;根据最终的特征图中的坐标框确定物体信息。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
接收待检测视频和物体检测指令,待检测视频中包括视频帧;
根据物体检测指令确定检测方式;
基于检测方式将各视频帧输入预先训练好的用于物体检测的单帧网络和特征偏移网络,以利用单帧网络和特征偏移网络对各视频帧进行检测,得到检测结果;检测结果包括检测特征图和各视频帧的特征点偏移值;
根据特征点偏移值将对应的检测特征图中的特征点进行偏移,得到偏移特征图,并根据检测特征图和偏移特征图中的坐标框确定物体信息。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
当确定检测方式为快速检测时,依次将各视频帧作为当前帧,获取关键帧标志位;基于获取的关键帧标志位,从单帧网络和特征偏移网络中确定当前帧对应的检测网络;利用当前帧对应的检测网络对当前帧进行物体检测,得到当前帧对应的检测结果;根据检测结果更改关键帧标志位,返回获取关键帧标志位的步骤,直至各视频帧均得到对应的检测结果。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
当根据关键帧标志位确定当前帧为关键帧时,将单帧网络作为当前帧对应的检测网络;当根据关键帧标志位确定当前帧为非关键帧时,将特征偏移网络作为当前帧对应的检测网络。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
若当前帧对应的检测网络为单帧网络,则利用单帧网络对当前帧进行单帧的物体检测,得到的检测特征图作为当前帧对应的检测结果;若当前帧对应的检测网络为特征偏移网络,则利用特征偏移网络对当前帧以及当前帧对应的上一帧视频帧进行特征点偏移值的检测,得到的特征点偏移值作为当前帧对应的检测结果。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
当检测结果为检测特征图时,更改关键帧标志位,并返回获取关键帧标志位的步骤,直至各视频帧均得到对应的检测结果;或
当检测结果为特征点偏移值时,基于特征点偏移值计算得到物体偏移均值,并将物体偏移均值累加至预设的物体偏移总值;若物体偏移总值不小于门限值,则将物体偏移总值清零,以及更改关键帧标志位,并返回获取关键帧标志位的步骤,直至各视频帧均得到对应的检测结果。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
当确定检测方式为精度检测时,利用单帧网络对各视频帧进行单帧的物体检测,得到各视频帧对应的检测特征图;利用特征偏移网络对各视频帧进行特征点正序偏移值的检测,得到各视频帧对应的特征点正偏移值;利用特征偏移网络对各视频帧进行特征点倒序偏移值的检测,得到各视频帧对应的特征点反偏移值。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
根据视频帧对应的特征点正偏移值,将视频帧对应的上一帧视频帧的检测特征图中的特征点进行偏移,生成视频帧对应的正偏移特征图;根据视频帧对应的特征点反偏移值,将视频帧对应的下一帧视频帧的检测特征图中的特征点进行偏移,生成视频帧对应的反偏移特征图;将视频帧的检测特征图、正偏移特征图以及反偏移特征图进行特征融合,生成最终的特征图;根据最终的特征图中的坐标框确定物体信息。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种物体检测方法,所述方法包括:
接收待检测视频和物体检测指令,所述待检测视频中包括视频帧;
根据所述物体检测指令确定检测方式,所述检测方式包括快速检测和精度检测;
基于所述检测方式将各所述视频帧输入预先训练好的用于物体检测的单帧网络和特征偏移网络,以利用所述单帧网络和特征偏移网络对各所述视频帧进行物体检测,得到检测结果;所述检测结果包括检测特征图和特征点偏移值;
根据所述特征点偏移值将对应的检测特征图中的特征点进行偏移,得到偏移特征图,并根据所述检测特征图和偏移特征图中的坐标框确定物体信息;
其中,所述基于所述检测方式将各所述视频帧输入至预先训练好的用于物体检测的单帧网络和特征偏移网络,以利用所述单帧网络和特征偏移网络对各所述视频帧进行物体检测,得到检测结果的步骤,包括:当确定所述检测方式为所述快速检测时,依次将各所述视频帧作为当前帧,获取关键帧标志位;基于获取的关键帧标志位,从所述单帧网络和特征偏移网络中确定当前帧对应的检测网络;利用当前帧对应的检测网络对当前帧进行物体检测,得到当前帧对应的检测结果;根据所述检测结果更改所述关键帧标志位,返回获取关键帧标志位的步骤,直至各所述视频帧均得到对应的检测结果;
所述特征点偏移值包括特征点正偏移值和特征点反偏移值;当确定所述检测方式为所述精度检测时,利用所述单帧网络对各所述视频帧进行单帧的物体检测,得到各所述视频帧对应的检测特征图;利用特征偏移网络对各所述视频帧进行特征点正序偏移值的检测,得到各所述视频帧对应的特征点正偏移值;利用特征偏移网络对各所述视频帧进行特征点倒序偏移值的检测,得到各所述视频帧对应的特征点反偏移值。
2.根据权利要求1所述的方法,其特征在于,所述基于获取的关键帧标志位,从所述单帧网络和特征偏移网络中确定当前帧对应的检测网络的步骤,包括:
当根据所述关键帧标志位确定当前帧为关键帧时,将所述单帧网络作为当前帧对应的检测网络;
当根据所述关键帧标志位确定当前帧为非关键帧时,将所述特征偏移网络作为当前帧对应的检测网络。
3.根据权利要求1所述的方法,其特征在于,所述利用当前帧对应的检测网络对当前帧进行物体检测,得到当前帧对应的检测结果的步骤,包括:
若当前帧对应的检测网络为所述单帧网络,则利用所述单帧网络对所述当前帧进行单帧的物体检测,得到的检测特征图作为当前帧对应的检测结果;
若当前帧对应的检测网络为所述特征偏移网络,则利用所述特征偏移网络对当前帧以及当前帧对应的上一帧视频帧进行特征点偏移值的检测,得到的特征点偏移值作为当前帧对应的检测结果。
4.根据权利要求1所述的方法,其特征在于,所述根据所述检测结果更改所述关键帧标志位,返回获取关键帧标志位的步骤,直至各所述视频帧均得到对应的检测结果的步骤,包括:
当所述检测结果为检测特征图时,更改所述关键帧标志位,并返回获取关键帧标志位的步骤,直至各所述视频帧均得到对应的检测结果;
或
当所述检测结果为特征点偏移值时,基于所述特征点偏移值计算得到物体偏移均值,并将所述物体偏移均值累加至预设的物体偏移总值;
若所述物体偏移总值不小于门限值,则将所述物体偏移总值清零,以及更改所述关键帧标志位,并返回获取关键帧标志位的步骤,直至各所述视频帧均得到对应的检测结果。
5.根据权利要求1所述的方法,其特征在于,所述根据所述特征点偏移值将对应的检测特征图中的特征点进行偏移,得到偏移特征图,并根据所述检测特征图和偏移特征图中的坐标框确定物体信息的步骤,包括:
根据所述视频帧对应的特征点正偏移值,将所述视频帧对应的上一帧视频帧的检测特征图中的特征点进行偏移,生成所述视频帧对应的正偏移特征图;
根据所述视频帧对应的特征点反偏移值,将所述视频帧对应的下一帧视频帧的检测特征图中的特征点进行偏移,生成所述视频帧对应的反偏移特征图;
将所述视频帧的检测特征图、正偏移特征图以及反偏移特征图进行特征融合,生成最终的特征图;
根据所述最终的特征图中的坐标框确定物体信息。
6.一种物体检测装置,其特征在于,所述装置包括:
接收模块,用于接收待检测视频和物体检测指令,所述待检测视频中包括视频帧;
确定模块,用于根据所述物体检测指令确定检测方式,所述检测方式包括快速检测和精度检测;
检测模块,用于基于所述检测方式将各所述视频帧输入预先训练好的用于物体检测的单帧网络和特征偏移网络,以利用所述单帧网络和特征偏移网络对各所述视频帧进行物体检测,得到检测结果;所述检测结果包括检测特征图和特征点偏移值;
偏移模块,用于根据所述特征点偏移值将对应的检测特征图中的特征点进行偏移,得到偏移特征图,并根据所述检测特征图和偏移特征图中的坐标框确定物体信息;
其中,所述基于所述检测方式将各所述视频帧输入至预先训练好的用于物体检测的单帧网络和特征偏移网络,以利用所述单帧网络和特征偏移网络对各所述视频帧进行物体检测,得到检测结果的步骤,包括:当确定所述检测方式为所述快速检测时,依次将各所述视频帧作为当前帧,获取关键帧标志位;基于获取的关键帧标志位,从所述单帧网络和特征偏移网络中确定当前帧对应的检测网络;利用当前帧对应的检测网络对当前帧进行物体检测,得到当前帧对应的检测结果;根据所述检测结果更改所述关键帧标志位,返回获取关键帧标志位的步骤,直至各所述视频帧均得到对应的检测结果;
所述特征点偏移值包括特征点正偏移值和特征点反偏移值;当确定所述检测方式为所述精度检测时,利用所述单帧网络对各所述视频帧进行单帧的物体检测,得到各所述视频帧对应的检测特征图;利用特征偏移网络对各所述视频帧进行特征点正序偏移值的检测,得到各所述视频帧对应的特征点正偏移值;利用特征偏移网络对各所述视频帧进行特征点倒序偏移值的检测,得到各所述视频帧对应的特征点反偏移值。
7.根据权利要求6所述的装置,其特征在于,检测模块还用于当根据所述关键帧标志位确定当前帧为关键帧时,将所述单帧网络作为当前帧对应的检测网络;当根据所述关键帧标志位确定当前帧为非关键帧时,将所述特征偏移网络作为当前帧对应的检测网络。
8.根据权利要求6所述的装置,其特征在于,检测模块还用于若当前帧对应的检测网络为所述单帧网络,则利用所述单帧网络对所述当前帧进行单帧的物体检测,得到的检测特征图作为当前帧对应的检测结果;若当前帧对应的检测网络为所述特征偏移网络,则利用所述特征偏移网络对当前帧以及当前帧对应的上一帧视频帧进行特征点偏移值的检测,得到的特征点偏移值作为当前帧对应的检测结果。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910554748.9A CN110427816B (zh) | 2019-06-25 | 2019-06-25 | 物体检测方法、装置、计算机设备和存储介质 |
PCT/CN2019/103195 WO2020258499A1 (zh) | 2019-06-25 | 2019-08-29 | 物体检测方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910554748.9A CN110427816B (zh) | 2019-06-25 | 2019-06-25 | 物体检测方法、装置、计算机设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110427816A CN110427816A (zh) | 2019-11-08 |
CN110427816B true CN110427816B (zh) | 2023-09-08 |
Family
ID=68408630
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910554748.9A Active CN110427816B (zh) | 2019-06-25 | 2019-06-25 | 物体检测方法、装置、计算机设备和存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN110427816B (zh) |
WO (1) | WO2020258499A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113590877B (zh) * | 2021-08-05 | 2024-06-14 | 杭州海康威视数字技术股份有限公司 | 获取标注数据的方法及装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108229307A (zh) * | 2017-11-22 | 2018-06-29 | 北京市商汤科技开发有限公司 | 用于物体检测的方法、装置和设备 |
CN108256506A (zh) * | 2018-02-14 | 2018-07-06 | 北京市商汤科技开发有限公司 | 一种视频中物体检测方法及装置、计算机存储介质 |
CN109543519A (zh) * | 2018-10-15 | 2019-03-29 | 天津大学 | 一种用于物体检测的深度分割引导网络 |
CN109902620A (zh) * | 2019-02-26 | 2019-06-18 | 广州二元科技有限公司 | 一种改良的视频物体检测提升稳定性的方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9449216B1 (en) * | 2013-04-10 | 2016-09-20 | Amazon Technologies, Inc. | Detection of cast members in video content |
US9710712B2 (en) * | 2015-01-16 | 2017-07-18 | Avigilon Fortress Corporation | System and method for detecting, tracking, and classifiying objects |
CN107578011A (zh) * | 2017-09-05 | 2018-01-12 | 中国科学院寒区旱区环境与工程研究所 | 视频关键帧的判定方法及装置 |
-
2019
- 2019-06-25 CN CN201910554748.9A patent/CN110427816B/zh active Active
- 2019-08-29 WO PCT/CN2019/103195 patent/WO2020258499A1/zh active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108229307A (zh) * | 2017-11-22 | 2018-06-29 | 北京市商汤科技开发有限公司 | 用于物体检测的方法、装置和设备 |
WO2019100946A1 (zh) * | 2017-11-22 | 2019-05-31 | 北京市商汤科技开发有限公司 | 用于物体检测的方法、装置和设备 |
CN108256506A (zh) * | 2018-02-14 | 2018-07-06 | 北京市商汤科技开发有限公司 | 一种视频中物体检测方法及装置、计算机存储介质 |
CN109543519A (zh) * | 2018-10-15 | 2019-03-29 | 天津大学 | 一种用于物体检测的深度分割引导网络 |
CN109902620A (zh) * | 2019-02-26 | 2019-06-18 | 广州二元科技有限公司 | 一种改良的视频物体检测提升稳定性的方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2020258499A1 (zh) | 2020-12-30 |
CN110427816A (zh) | 2019-11-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11557147B2 (en) | Systems and methods for selecting a best facial image of a target human face | |
WO2020052476A1 (zh) | 特征点定位方法、存储介质和计算机设备 | |
CN110824587B (zh) | 图像预测方法、装置、计算机设备和存储介质 | |
US9014463B2 (en) | System for real-time stereo matching | |
CN111104925B (zh) | 图像处理方法、装置、存储介质和电子设备 | |
CN111914878A (zh) | 特征点跟踪训练及跟踪方法、装置、电子设备及存储介质 | |
CN110427816B (zh) | 物体检测方法、装置、计算机设备和存储介质 | |
CN111754429A (zh) | 运动矢量后处理方法和装置、电子设备及存储介质 | |
CN111586321A (zh) | 视频生成方法、装置、电子设备和计算机可读存储介质 | |
JP2015226326A (ja) | 映像解析方法及び映像解析装置 | |
CN107977986B (zh) | 一种运动轨迹的预测方法及装置 | |
CN112446951B (zh) | 三维重建方法、装置、电子设备及计算机存储介质 | |
KR20200130602A (ko) | 영상 인식 장치, 영상 인식 장치의 동작 방법, 그리고 영상 인식 장치를 포함하는 컴퓨팅 장치 | |
CN111711823B (zh) | 运动矢量处理方法和装置、电子设备及存储介质 | |
CN111753729B (zh) | 一种假脸检测方法、装置、电子设备及存储介质 | |
JP2019067169A (ja) | 移動ベクトル算出方法、装置、プログラム、及びノイズ除去処理を含む移動ベクトル算出方法 | |
CN110705513A (zh) | 视频特征提取方法、装置、可读存储介质和计算机设备 | |
CN114998814A (zh) | 目标视频生成方法、装置、计算机设备和存储介质 | |
CN113421241B (zh) | 异常事件上报方法、装置、计算机设备及存储介质 | |
JP4997179B2 (ja) | 画像処理装置、方法およびプログラム | |
CN115049731A (zh) | 一种基于双目摄像头的视觉建图和定位方法 | |
US11057641B1 (en) | Systems and methods of motion estimation using monocular event-based sensor | |
CN112784828A (zh) | 基于方向梯度直方图的图像检测方法、装置、计算机设备 | |
CN112862002A (zh) | 多尺度目标检测模型的训练方法、目标检测方法和装置 | |
JP2010039968A (ja) | オブジェクト検出装置及び検出方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |