CN104063878A - 运动对象检测装置、运动对象检测方法以及电子设备 - Google Patents

运动对象检测装置、运动对象检测方法以及电子设备 Download PDF

Info

Publication number
CN104063878A
CN104063878A CN201310090806.XA CN201310090806A CN104063878A CN 104063878 A CN104063878 A CN 104063878A CN 201310090806 A CN201310090806 A CN 201310090806A CN 104063878 A CN104063878 A CN 104063878A
Authority
CN
China
Prior art keywords
contour images
image
pixel
field picture
moving objects
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310090806.XA
Other languages
English (en)
Other versions
CN104063878B (zh
Inventor
伍健荣
谭志明
东明浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to CN201310090806.XA priority Critical patent/CN104063878B/zh
Publication of CN104063878A publication Critical patent/CN104063878A/zh
Application granted granted Critical
Publication of CN104063878B publication Critical patent/CN104063878B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了运动对象检测装置、运动对象检测方法以及电子设备,以克服现有的目标检测技术存在的检测精度低的问题。运动对象检测装置包括:轮廓图像获得单元,用于获得针对待检测区域捕获的多帧图像各自的轮廓图像;前景轮廓获得单元,用于获得每帧图像的轮廓图像中的前景轮廓;运动对象确定单元,用于确定每帧图像中的运动对象;和更新单元,用于至少基于每帧图像的轮廓图像中除前景轮廓以外的像素更新其上一帧图像对应的环境轮廓图像,获得该帧图像对应的环境轮廓图像以用于下一帧图像的检测。运动对象检测方法用于执行能够实现运动对象检测装置的功能的处理。电子设备包括运动对象检测装置。本发明的上述技术能够应用于运动目标检测领域。

Description

运动对象检测装置、运动对象检测方法以及电子设备
技术领域
本发明涉及运动目标检测领域,尤其涉及运动对象检测装置、运动对象检测方法以及电子设备。
背景技术
运动目标检测是一种基于图像处理来检测运动目标的技术,其普遍应用于人们的日常生活、工作以及军事领域范围内。例如,在智能化交通***、智能监控***以及军事目标检测等方面,运动目标检测技术都具有广泛的应用价值。
目前,现有的目标检测技术的检测精度往往不高。此外,现有的目标检测技术在检测运动目标的过程中的计算量较大,进而使得检测的功耗较高。
发明内容
在下文中给出了关于本发明的简要概述,以便提供关于本发明的某些方面的基本理解。应当理解,这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分,也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念,以此作为稍后论述的更详细描述的前序。
鉴于此,本发明提供了运动对象检测装置、运动对象检测方法以及电子设备,以至少解决现有的目标检测技术的检测精度低的问题。
根据本发明的一个方面,提供了一种运动对象检测装置,该运动对象检测装置包括:轮廓图像获得单元,用于获得针对待检测区域所捕获的多帧图像各自的轮廓图像;前景轮廓获得单元,用于根据上述多帧图像中的每帧图像的轮廓图像与其上一帧图像对应的环境轮廓图像的差分图像,获得该帧图像的轮廓图像中的前景轮廓,其中,上述前景轮廓中的像素的强度高于其在上一帧图像对应的环境轮廓图像中对应位置的像素的强度;运动对象确定单元,用于基于上述多帧图像中的每帧图像的轮廓图像中的前景轮廓来确定该帧图像中的运动对象;以及更新单元,用于至少基于上述多帧图像中的每帧图像的轮廓图像中除前景轮廓以外的像素来更新该帧图像的上一帧图像对应的环境轮廓图像,获得该帧图像对应的环境轮廓图像以用于下一帧图像的检测。
根据本发明的另一个方面,还提供了一种运动对象检测方法,该运动对象检测方法包括:对于针对待检测区域所捕获的多帧图像中的每一帧,获得该帧图像的轮廓图像,根据该帧图像的轮廓图像与其上一帧图像对应的环境轮廓图像的差分图像,获得该帧图像的轮廓图像中的前景轮廓,其中,上述前景轮廓中的像素的强度高于其在上一帧图像对应的环境轮廓图像中对应位置的像素的强度,基于该帧图像的轮廓图像中的前景轮廓来确定该帧图像中的运动对象,以及至少基于该帧图像的轮廓图像中除前景轮廓以外的像素来更新上一帧图像对应的环境轮廓图像,获得该帧图像对应的环境轮廓图像以用于下一帧图像的检测。
根据本发明的另一个方面,还提供了一种电子设备,该电子设备包括如上所述的运动对象检测装置。
根据本发明的又一个方面,还提供了一种存储有机器可读取的指令代码的程序产品,上述程序产品在执行时能够使上述机器执行如上所述的运动对象检测方法。
此外,根据本发明的其他方面,还提供了一种计算机可读存储介质,其上存储有如上所述的程序产品。
上述根据本发明实施例的运动对象检测装置、运动对象检测方法以及电子设备,利用图像的轮廓图像以及环境轮廓图像之间的差分来检测运动对象,能够至少实现以下有益效果之一:所利用的差分结果能够更准确的反映背景环境的特征;能够使得检测的精度较高;计算量较小;以及功耗较低。
通过以下结合附图对本发明的最佳实施例的详细说明,本发明的这些以及其他优点将更加明显。
附图说明
本发明可以通过参考下文中结合附图所给出的描述而得到更好的理解,其中在所有附图中使用了相同或相似的附图标记来表示相同或者相似的部件。所述附图连同下面的详细说明一起包含在本说明书中并且形成本说明书的一部分,而且用来进一步举例说明本发明的优选实施例和解释本发明的原理和优点。在附图中:
图1是示意性地示出根据本发明的实施例的运动对象检测装置的一种示例结构的框图。
图2A-2D是示出针对待检测区域所捕获的多帧图像的一个示例的图。
图3A-3D是示出用于计算像素pj,k的4种梯度检测器的示例的示意图。
图4是示出图2C中图像的轮廓图像的一个示例的图。
图5A是示出多帧图像中的第1帧图像的轮廓图像的一个示例的图。
图5B是示出多帧图像中的第i-1帧图像对应的环境轮廓图像的一个示例的图。
图6是示出多帧图像中的第i帧图像的轮廓图像与第i-1帧图像对应的环境轮廓图像的差分图像的一个示例的图。
图7是示出从多帧图像中的第i帧图像的轮廓图像与第i-1帧图像对应的环境轮廓图像的差分图像中分割出的前景轮廓的一个示例的图。
图8是示出检测到的连通域的一个示例的图。
图9是将如图8所示的两个连通域(已被判定为运动对象)对应到相应的原始图像中的图。
图10是示意性地示出根据本发明的实施例的运动对象检测方法的一种示例性处理的流程图。
图11是示出了可用来实现根据本发明的实施例的运动对象检测装置和运动对象检测方法的一种可能的信息处理设备的硬件配置的结构简图。
本领域技术人员应当理解,附图中的元件仅仅是为了简单和清楚起见而示出的,而且不一定是按比例绘制的。例如,附图中某些元件的尺寸可能相对于其他元件放大了,以便有助于提高对本发明实施例的理解。
具体实施方式
在下文中将结合附图对本发明的示范性实施例进行描述。为了清楚和简明起见,在说明书中并未描述实际实施方式的所有特征。然而,应该了解,在开发任何这种实际实施例的过程中必须做出很多特定于实施方式的决定,以便实现开发人员的具体目标,例如,符合与***及业务相关的那些限制条件,并且这些限制条件可能会随着实施方式的不同而有所改变。此外,还应该了解,虽然开发工作有可能是非常复杂和费时的,但对得益于本公开内容的本领域技术人员来说,这种开发工作仅仅是例行的任务。
在此,还需要说明的一点是,为了避免因不必要的细节而模糊了本发明,在附图中仅仅示出了与根据本发明的方案密切相关的装置结构和/或处理步骤,而省略了与本发明关系不大的其他细节。
本发明的实施例提供了一种运动对象检测装置,该运动对象检测装置包括:轮廓图像获得单元,用于获得针对待检测区域所捕获的多帧图像各自的轮廓图像;前景轮廓获得单元,用于根据上述多帧图像中的每帧图像的轮廓图像与其上一帧图像对应的环境轮廓图像的差分图像,获得该帧图像的轮廓图像中的前景轮廓,其中,上述前景轮廓中的像素的强度高于其在上一帧图像对应的环境轮廓图像中对应位置的像素的强度;运动对象确定单元,用于基于上述多帧图像中的每帧图像的轮廓图像中的前景轮廓来确定该帧图像中的运动对象;以及更新单元,用于至少基于上述多帧图像中的每帧图像的轮廓图像中除前景轮廓以外的像素来更新该帧图像的上一帧图像对应的环境轮廓图像,获得该帧图像对应的环境轮廓图像以用于下一帧图像的检测。
下面结合图1来详细描述根据本发明的实施例的运动对象检测装置的一个示例。
如图1所示,根据本发明的实施例的运动对象检测装置100包括轮廓图像获得单元110、前景轮廓获得单元120、运动对象确定单元130以及更新单元140。
轮廓图像获得单元110用于获得针对待检测区域所捕获的多帧图像各自的轮廓图像。
其中,在根据本发明的实施例的运动对象检测装置的一种实现方式中,上述多帧图像可以通过摄像头等摄影、摄像设备来预先获得。例如,假设预先通过摄像头针对待检测区域连续捕获了多帧图像,可以将这多帧图像输入到轮廓图像获得单元110中由其进行处理。
在根据本发明的实施例的运动对象检测装置的另一种实现方式中,上述多帧图像也可以是由轮廓图像获得单元110自身获得的。例如,可以在轮廓图像获得单元110内置诸如摄像头等摄影、摄像设备,然后通过上述摄像设备在预定时间段内捕获待检测区域的一组连续图像,作为上述多帧图像。
此外,在根据本发明的实施例的运动对象检测装置的一种实现方式中,待检测区域可以是某个房间、某个场所,或者可以是某条道路,等等。在一个例子中,待检测区域可以是某条预定道路,或该预定道路的部分道路。在实际应用中,例如可以将诸如摄像头等摄影、摄像设备的摄像范围对应地设置为上述待检测区域,以便于捕获上述待检测区域的图像。
图2A-2D示出了上述多帧图像的一个示例。在如图2A-2D所示的例子中,待检测区域为某条预定道路的一段。其中,图2A、2B、2C和2D中的图像例如分别可以是t1时刻、t2时刻、t3时刻和t4时刻捕获的图像,、t1、t2、t3和t4例如是连续等间隔的4个时刻。需要说明的是,在其他示例中,图2A-2D所示的4帧图像也可以是上述多帧图像的部分帧的一个示例。也就是说,上述多帧图像的数量不限于图2A-2D所示的数量。
另外,在根据本发明的实施例的运动对象检测装置的一种实现方式中,轮廓图像获得单元110可以通过梯度算法来获得上述多帧图像中每帧图像的轮廓图像。
在一个例子中,对于上述多帧图像中的每帧图像中的每个像素,可以通过例如5×5的多种梯度检测器来获得该帧图像中每个像素的梯度。
以上述多帧图像中的某帧图像fi中的某个像素pj,k为例,图3A-3D给出了用于计算像素pj,k的4种梯度检测器的示例。其中,像素pj,k表示上述某帧图像fi的第j行、第k列的像素。
如图3A所示,针对于上述像素pj,k来说,可以选取以像素pj,k为中心的5×5像素大小的区域,即,选取上述某帧图像fi的第j-2行至第j+2行这5行中的第k-2列至第k+2列的25个像素(如pj-2,k-2、pj-2,k-1、pj-2,k、pj-2,k+1以及pj-2,k+2等)构成的正方形区域Ri
其中,对于每帧图像来说,其中的最左边两列像素、最右边两列像素、最上边两行像素以及最下边两行像素(以下简称为边缘像素)可以不作处理。例如,在每帧图像的轮廓图像中可以舍去对应于上述边缘像素位置的那些像素。又如,在每帧图像的轮廓图像中,可以将上述边缘像素的强度分别直接作为该帧图像的轮廓图像中与上述边缘像素位置对应的那些像素的强度。
需要注意的是,图3A中并未标出上述正方形区域Ri的每个像素的附图标记,但未示出的部分像素的附图标记是可以由其他像素推出的。
此外,需要说明的是,实际可选取的梯度检测器不限于图3A-3D所示的种类,即,不限于图3A-3D所示梯度检测器所选择的正方形区域Ri的形状和大小。
用px(上),y(上)表示正方形区域Ri中位于像素pj,k上侧的两行中的各个像素,即,px(上),y(上)=pj-2,k-2、pj-2,k-1、pj-2,k、pj-2,k+1、pj-2,k+2、pj-1,k-2、pj-1,k-1、pj-1,k、pj-1,k+1以及pj-1,k+2。用px(下),y(下)表示正方形区域Ri中位于像素pj,k下侧的两行中的各个像素,即,px(下),y(下)=pj+1,k-2、pj+1,k-1、pj+1,k、pj+1,k+1、pj+1,k+2、pj+2,k-2、pj+2,k-1、pj+2,k、pj+2,k+1以及pj+2,k+2
这样,利用如图3A所示的梯度检测器所计算的像素pj,k的梯度(下文中简称为第一类梯度)可以由公式一来获得。
公式一:diff(a)=abs[mean(g(px(上),y(上)))-mean(g(px(下)y(下)))]
在公式一中,diff(a)表示像素pj,k的第一类梯度,g(px(上),y(上))表示正方形区域Ri中位于像素pj,k上侧的两行中的各个像素的灰度值,mean(g(px(上),y(上)))表示正方形区域Ri中位于像素pj,k上侧的两行中的所有像素的灰度值的平均值,g(px(下),y(下))表示正方形区域Ri中位于像素pj,k下侧的两行中的各个像素的灰度值,mean(g(px(下),y(下)))表示正方形区域Ri中位于像素pj,k下侧的两行中的所有像素的灰度值的平均值,abs[…]表示括号内的“…”的绝对值。
类似地,如图3B所示,用px(左),y(左)表示正方形区域Ri中位于像素pj,k左侧的两列中的各个像素,即,px(左),y(左)=pj-2,k-2、pj-1,k-2、pj,k-2、pj+1,k-2、pj+2,k-2、pj-2,k-1、pj-1,k-1、pj,k-1、pj+1,k-1以及pj+2,k-1。用px(右),y(右)表示正方形区域Ri中位于像素pj,k右侧的两列中的各个像素,即,px(右),y(右)=pj-2,k+1、pj-1,k+1、pj-,k+1、pj+1,k+1、pj+2,k+1、pj-2,k+2、pj-1,k+2、pj,k+2、pj+1,k+2以及pj+2,k+2
这样,利用如图3B所示的梯度检测器所计算的像素pj,k的梯度(下文中简称为第二类梯度)可以由公式二来获得。
公式二:diff(b)=abs[mean(g(px(右),y(右)))-mean(g(px(左),y(左)))]
在公式二中,diff(b)表示像素pj,k的第二类梯度,g(px(左),y(左))表示正方形区域Ri中位于像素pj,k左侧的两列中的各个像素的灰度值,mean(g(px(左),y(左)))表示正方形区域Ri中位于像素pj,k左侧的两列中的所有像素的灰度值的平均值,g(px(右),y(右))表示正方形区域Ri中位于像素pj,k右侧的两列中的各个像素的灰度值,mean(g(px(右),y(右)))表示正方形区域Ri中位于像素pj,k右侧的两列中的所有像素的灰度值的平均值。
此外,如图3C所示,用px(左下),y(左下)表示正方形区域Ri中位于像素pj,k左下侧的各个像素,即,px(左下),y(左下)=pj-1,k-2、pj,k-2、pj,k-1、pj+1,k-2、pj+1,k-1、pj+1,k、pj+2,k-1、pj+2,k-1、pj+2,k以及pj+2,k+1。用px(右上),y(右上)表示正方形区域Ri中位于像素pj,k右上侧的各个像素,即,px(右上),y(右上)=pj-2,k-1、pj-2,k、pj-2,k+1、pj-2,k+2、pj-1,k、pj-1,k+1、pj-1,k+2、pj,k+1、pj,k+2以及pj+1,k+2
这样,利用如图3C所示的梯度检测器所计算的像素pj,k的梯度(下文中简称为第三类梯度)可以由公式三来获得。
公式三:diff(c)=abs[mean(g(px(左下),y(左下)))-mean(g(px(右上),y(右上)))]
在公式三中,diff(c)表示像素pj,k的第三类梯度,g(px(左下),y(左下))表示正方形区域Ri中位于像素pj,k左下侧的各个像素的灰度值,mean(g(px(左下),y(左 下)))表示正方形区域Ri中位于像素pj,k左下侧的所有像素的灰度值的平均值,g(px(右上),y(右上))表示正方形区域Ri中位于像素pj,k右上侧的各个像素的灰度值,mean(g(px(右上),y(右上)))表示正方形区域Ri中位于像素pj,k右上侧的所有像素的灰度值的平均值。
需要说明的是,为了清楚起见,图3C中左侧的图中用虚线圈出了px(左 下),y(左下)对应的像素区域,图3C中右侧的图用虚线圈出了px(右上),y(右上)对应的像素区域,但图3C中左侧和右侧的图表示同一种梯度检测器,即,上述第三类梯度对应的梯度检测器。
类似地,如图3D所示,用px(左上),y(左上)表示正方形区域Ri中位于像素pj,k左上侧的各个像素,即,px(左上),y(左上)=pj-2,k-2、pj-2,k-1、pj-2,k、pj-2,k+1、pj-1,k-2、pj-1,k-1、pj-1,k、pj,k-1、pj,k-1以及pj+1,k-2。用px(右下),y(右下)表示正方形区域Ri中位于像素pj,k右下侧的各个像素,即,px(右下),y(右下)=pj-1,k+2、pj,k+1、pj,k+2、pj+1,k、pj+1,k+1、pj+1,k+2、pj+2,k-1、pj+2,k、pj+2,k+1以及pj+2,k+2
这样,利用如图3D所示的梯度检测器所计算的像素pj,k的梯度(下文中简称为第四类梯度)可以由公式四来获得。
公式四:diff(d)=abs[mean(g(px(右下),y(右下)))-mean(g(px(左上),y(左上)))]
在公式四中,diff(d)表示像素pj,k的第四类梯度,g(px(左上),y(左上))表示正方形区域Ri中位于像素pj,k左上侧的各个像素的灰度值,mean(g(px(左上),y(左 上)))表示正方形区域Ri中位于像素pj,k左上侧的所有像素的灰度值的平均值,g(px(右下),y(右下))表示正方形区域Ri中位于像素pj,k右下侧的各个像素的灰度值,mean(g(px(右下),y(右下)))表示正方形区域Ri中位于像素pj,k右下侧的所有像素的灰度值的平均值。
需要说明的是,为了清楚起见,图3D中左侧的图中用虚线圈出了px(左 上),y(左上)对应的像素区域,图3D中右侧的图用虚线圈出了px(右下),y(右下)对应的像素区域,但图3D中左侧和右侧的图表示同一种梯度检测器,即,上述第四类梯度对应的梯度检测器。
这样,针对于上述像素pj,k,利用如图3A-3D的4种梯度检测器,轮廓图像获得单元110可以得到关于像素pj,k的第一类梯度至第四类梯度共4种梯度,即,得到diff(a)、diff(b)、diff(c)和diff(d)。于是,如公式五所示,轮廓图像获得单元110可以将关于像素pj,k的这四种梯度中最大的那个梯度作为像素pj,k的轮廓值。
公式五:C0=max(diff(a),diff(b),diff(d),diff(d))
其中,C0表示像素pj,k的轮廓值。
对于上述多帧图像中的每帧图像中的每个像素均可以采用如上方法来计算该像素的轮廓值。这样,在得到每帧图像的所有像素的轮廓值后,用每个像素的轮廓值表示该像素,即可得到该帧图像的轮廓图像。
需要说明的是,以上所给出的例子仅用于举例说明轮廓图像获得单元110如何获得轮廓图像,而轮廓图像获得单元110获得轮廓图像所采用的算法并不限于以上例子中所给出的梯度算法,也可以是其他用于获得轮廓图像的现有算法,这里不再详述。
这样,以图2A-2D为例,则轮廓图像获得单元110能够获得图2A-2D中各个图像的轮廓图像。例如,通过轮廓图像获得单元110的处理,图2C中图像的轮廓图像可以如图4所示。类似地,可以得到图2A、2B和2D中各个图像的轮廓图像(未示出)。下面,以图2C作为示例来详细描述各个单元的处理过程,对其他帧的处理与之类似,将不再详细描述。
在轮廓图像获得单元110得到上述多帧图像中每帧图像的轮廓图像之后,前景轮廓获得单元120用于获得每帧图像的轮廓图像中的前景轮廓。
对于上述多帧图像中的每帧图像来说,前景轮廓获得单元120根据该帧图像的轮廓图像与该帧图像的上一帧图像对应的环境轮廓图像的差分图像,来获得该帧图像的轮廓图像中的前景轮廓。
需要说明的是,对于上述多帧图像中的第1帧图像来说,前景轮廓获得单元120可以对其不进行处理,而只是由轮廓图像获得单元110来获得上述第1帧图像的轮廓图像。
例如,假设在上述多帧图像中,图2A中的图像为上述多帧图像中的第1帧图像,则通过轮廓图像获得单元110获得的上述第1帧图像的轮廓图像可以如图5A所示,并将图5A所示的轮廓图像(即上述多帧图像中的第1帧图像的轮廓图像)作为初始的环境轮廓图像(即第1帧图像对应的环境轮廓图像)。
对于上述多帧图像中的第i帧图像,其中,i为大于1的整数,前景轮廓获得单元120可以根据公式六来获得第i帧图像的轮廓图像与第i-1帧图像对应的环境轮廓图像的差分图像。
公式六:
其中,CB(x,y,ti-1)表示捕获时间为ti-1的图像对应的环境轮廓图像中的像素(x,y)的强度,CC(x,y,ti)表示捕获时间为ti的图像的轮廓图像中的像素(x,y)的强度。假设捕获时间为ti-1的图像为上述多帧图像中的第i-1帧图像,捕获时间为ti的图像为上述多帧图像中的第i帧图像,等等。x,y分别表示像素(x,y)在相应的图像中的位置。
CD(x,y,ti)表示第i帧图像的轮廓图像与第i-1帧图像对应的环境轮廓图像的差分图像中的像素(x,y)的强度。根据公式六可知,当第i帧图像的轮廓图像中的像素(x,y)的强度大于第i-1帧图像对应的环境轮廓图像中的像素(x,y)的强度时,即,当CC(x,y,ti)>CB(x,y,ti-1)时,上述差分图像中像素(x,y)的强度大小为CC(x,y,ti)-CB(x,y,ti-1);而当第i帧图像的轮廓图像中的像素(x,y)的强度小于或等于第i-1帧图像对应的环境轮廓图像中的像素(x,y)的强度时,即,当CC(x,y,ti)≤CB(x,y,ti-1)时,上述差分图像中像素(x,y)的强度大小为0。
例如,假设图2C中的图像是上述多帧图像中的第i帧图像,图2B中的图像是上述多帧图像中的第i-1帧图像(即第i帧图像的上一帧图像)。在这种情况下,假设图4中的图像是上述第i帧图像的轮廓图像,图5B中的图像是上述第i-1帧图像对应的环境轮廓图像。上述第i帧图像的轮廓图像与上述第i-1帧图像对应的环境轮廓图像的差分图像例如可以如图6所示。
在根据本发明的实施例的运动对象检测装置的一种实现方式中,对于上述多帧图像中的每帧图像来说,前景轮廓获得单元120可以在该帧图像的轮廓图像与其上一帧图像对应的环境轮廓图像的差分图像中,将强度高于该帧图像对应的动态阈值的那些像素确定为前景像素,并将所确定的所有前景像素所构成的轮廓作为该帧图像的轮廓图像中的前景轮廓。
这样,通过动态阈值的设定,能够将差分图像中的那些强度较低的像素从前景轮廓中排除出去,从而使得前景轮廓获得单元120确定的前景轮廓中的像素(即前景像素)能够更好地排除环境噪声的干扰。
其中,对于上述多帧图像中的每帧图像来说,该帧图像对应的动态阈值例如可以根据该帧图像的轮廓图像与其上一帧图像对应的环境轮廓图像的差分图像来确定。
在一个例子中,前景轮廓获得单元120可以如下公式七来计算上述动态阈值:
公式七:
Thre(ti)=mean(CD(x,y,ti))
+Wegt*[max(CD(x,y,ti))-mean(CD(x,y,ti))+std(CD(x,y,ti))]
其中,Thre(ti)表示捕获时间为ti的图像所对应的动态阈值。mean(CD(x,y,ti))表示捕获时间为ti的图像中所有像素对应的CD(x,y,ti)的平均值,max(CD(x,y,ti))表示捕获时间为ti的图像中所有像素对应的CD(x,y,ti)中的最大值,std(CD(x,y,ti))表示捕获时间为ti的图像中所有像素对应的CD(x,y,ti)的标准差,以及Wegt为预设的权重值。
在捕获时间为ti的图像为上述第i帧图像的情况下,Thre(ti)表示第i帧图像对应的动态阈值,mean(CD(x,y,ti))表示第i帧图像的轮廓图像与第i-1帧图像对应的环境轮廓图像的差分图像中所有像素的强度的平均值,max(CD(x,y,ti))表示该差分图像中所有像素的强度的最大值,std(CD(x,y,ti))表示该差分图像中所有像素的强度的标准差。需要说明的是,Wegt例如可以根据经验值来设定,也可以通过试验的方法来确定,这里不再详述。
在另一个例子中,前景轮廓获得单元120还可以将动态阈值设置成大于或等于预设下限值。预设下限值可以在0-255之间取值。通常,预设下限值可以根据经验值来设定,或者也可以通过试验的方法来确定,这里不再详述。例如,假设预设下限值为30,则当通过前景轮廓获得单元120所得到的动态阈值的计算值(例如根据公式七得到的计算值)高于或等于30时,将其计算值作为动态阈值的最终值保留;而当其计算值低于30时,则舍去该计算值,而将动态阈值直接设为30。
这样,对于上述第i帧图像的轮廓图像中的前景轮廓中的每个像素来说,该像素的强度是高于第i-1帧图像对应的环境轮廓图像中与该像素位置对应的那个像素的强度的。也就是说,上述多帧图像中每帧图像的轮廓图像中的每个前景像素的强度是高于其上一帧图像对应的环境轮廓图像中与该前景像素位置对应的那个像素的强度的。
这样,通过将动态阈值与每帧图像对应的差分图像相关联,也可以使得动态阈值能够更好地反映当前环境中的噪声。
此外,在根据本发明的实施例的运动对象检测装置的一种实现方式中,前景轮廓获得单元120还可以根据公式八来将其获得的前景轮廓从对应帧图像的轮廓图像中分割出来。
公式八:
Seg ( x , y , t i ) = 1 CD ( x , y , t i ) > Thre ( t i ) 0 CD ( x , y , t i ) ≤ Thre ( t i )
其中,Seg(x,y,ti)=1对应于捕获时间为ti的图像(例如第i帧图像的轮廓图像)的轮廓图像中的前景轮廓中的像素(即前景像素),Seg(x,y,ti)=0对应于捕获时间为ti的图像(例如第i帧图像的轮廓图像)的轮廓图像中除前景轮廓以外的像素。例如,根据公式八,前景轮廓获得单元120可以从上述第i帧图像的轮廓图像与上述第i-1帧图像对应的环境轮廓图像的差分图像(如图6所示)中分割出如图7所示的前景轮廓。
需要说明的是,由公式七和公式八可知,Wegt越小,对应的分割的灵敏度越高;Wegt越大,则分割的灵敏度越低。其中,Wegt例如可以根据经验值来设定,或者也可以通过试验的方法来确定,这里不再赘述。
这样,通过前景轮廓获得单元120的处理,能够得到上述多帧图像中的每帧图像的轮廓图像中的前景轮廓。然后,基于上述多帧图像中的每帧图像的轮廓图像中的前景轮廓,运动对象确定单元130能够确定该帧图像中的运动对象。
在根据本发明的实施例的运动对象检测装置的一种实现方式中,对于上述多帧图像中的每帧图像来说,运动对象确定单元130可以根据该帧图像的轮廓图像中的前景轮廓中像素(即前景像素)的连通域进行检测,在连通域中所包含的像素数大于或等于预定数量的情况下,判定该连通域对应为运动对象。
例如,在对如图7所示的前景轮廓进行连通域检测时,运动对象确定单元130可以得到如图8所示的两个连通域(白色矩形框内)。预定数量例如为500,即,当连通域中所包含的像素数大于或等于500的情况下该连通域被判定为运动对象。假设如图8所示的两个连通域包含的像素数分别为800和1000,均大于500,因此运动对象确定单元130将判定上述两个连通域分别对应于运动对象。
在根据本发明的实施例的运动对象检测装置的一种实现方式中,在待检测区域为某个预定道路或其部分道路的情况下,运动对象可以是在上述预定道路或其部分道路上行驶的运动车辆。
例如,将如图8所示的两个连通域(已被判定为运动对象)对应到相应的原始图像(即图2C中的图像)中,可以得到如图9所示的图像。由图9容易看出,这两个连通域分别对应于图2C中的原始图像中的两个行驶的车辆。
在根据本发明的实施例的运动对象检测装置的其他实现方式中,运动对象也可以是待检测区域内的其他运动物体,而不限于车辆。在一个例子中,在待检测区域为某个房间的情况下,运动对象也可以是房间中走动的人。
此外,更新单元140用于至少基于上述多帧图像中的每帧图像的轮廓图像中除前景轮廓以外的像素来更新该帧图像的上一帧图像对应的环境轮廓图像,获得该帧图像对应的环境轮廓图像以用于下一帧图像的检测。
在上文的描述中,主要以上述多帧图像中的第i帧图像的处理为例描述了轮廓图像获得单元110、前景轮廓获得单元120和运动对象确定单元130的处理,实现了对上述第i帧图像中运动对象的检测。其中,i为大于或等于2的整数。
在一个例子中(以下简称为例子一),对于上述多帧图像中的第1帧图像来说,可以将第1帧图像的轮廓图像本身作为其对应的环境轮廓图像,然后,通过轮廓图像获得单元110、前景轮廓获得单元120和运动对象确定单元130对第2帧图像的依次处理,可以得到第2帧图像的轮廓图像以及其中的前景轮廓,并可以确定第2帧图像中的运动图像。然后,更新单元140可以至少基于第2帧图像的轮廓图像中除前景轮廓以外的像素来更新当前的环境轮廓图像,即,更新第1帧图像对应的环境轮廓图像,并将更新后的环境轮廓图像作为第2帧图像对应的环境轮廓图像。然后,根据上述第2帧图像对应的环境轮廓图像,可以依次完成轮廓图像获得单元110、前景轮廓获得单元120和运动对象确定单元130对第3帧图像的处理,得到第3帧图像的轮廓图像以及其中的前景轮廓,并可以确定第3帧图像中的运动图像。类似地,利用更新单元140可以至少基于第3帧图像的轮廓图像中除前景轮廓以外的像素来对上述第2帧图像对应的环境轮廓图像进行更新,并将更新后的环境轮廓图像作为第3帧图像对应的环境轮廓图像,以完成对第4帧图像的处理。依此类推,可以完成对上述多帧图像中每一帧的处理。
在另一个例子中(以下简称为例子二),假设在对上述多帧图像中的第i帧进行处理时,尚未构建好第i帧的上一帧(即第i-1帧)图像对应的环境轮廓图像。这种情况下,可以将第i帧作为第2帧,也即,将第i-1帧图像的轮廓图像作为第i-1帧图像对应的环境轮廓图像来完成第2帧图像的处理。或者,在这种情况下,也可以将前面若干帧图像(如前200帧)的轮廓图像的加权平均和作为第i-1帧图像对应的环境轮廓图像,来完成第2帧图像的处理。在例子二中,对第i+1帧及以后帧图像的处理可以与例子一中的处理相类似,这里不再赘述。
在根据本发明的实施例的运动对象检测装置的一种实现方式中,针对上述多帧图像中的每帧图像,更新单元140可以利用该帧图像的轮廓图像中除前景轮廓以外的每个像素的强度来对该帧图像的上一帧图像所对应的环境轮廓图像中的与该像素位置对应的那个像素的强度进行更新。在这种实现方式中,更新单元140例如可以利用卡尔曼(Kalman)方法来按照公式九完成更新处理。
公式九:
CB(x,y,ti)=CB(x,y,ti-1)
+b*(1-Seg(x,y,ti))*(CC(x,y,ti)-CB(x,y,ti-1))
其中,CB(x,y,ti)和CB(x,y,ti-1)分别表示捕获时间为ti和ti-1的图像对应的环境轮廓图像中的像素(x,y)的强度;CC(x,y,ti)表示捕获时间为ti的图像的轮廓图像中的像素(x,y)的强度;x,y分别表示像素(x,y)在相应的图像中的位置;b为预设的、与轮廓图像中除前景轮廓以外的像素相对应的更新率(简称为背景像素更新率)。此外,Seg(x,y,ti)可以参照公式八的定义。需要注意的是,捕获时间为ti-1的图像是捕获时间为ti的图像的上一帧图像,且i≥2。其中,捕获时间为t1的图像对应的环境轮廓图像中的像素(x,y)的强度CB(x,y,t1)等于捕获时间为t1的图像的轮廓图像中的像素(x,y)的强度CC(x,y,t1)
这样,根据实际情况或根据经验来设定合适的b,则能够控制合适的环境轮廓图像的更新速率,使得更新的环境轮廓图像能够实时地反映当前的环境。其中,b也可以通过试验的方法来确定。
在根据本发明的实施例的运动对象检测装置的另一种实现方式中,针对上述多帧图像中的每帧图像,更新单元140可以利用该帧图像的轮廓图像中除前景轮廓以外的每个像素的强度来对该帧图像的上一帧图像所对应的环境轮廓图像中的与该像素位置对应的那个像素的强度进行更新,以及利用该帧图像的轮廓图像中的前景轮廓中的每个像素的强度来对该帧图像的上一帧图像所对应的环境轮廓图像中的与该像素位置对应的那个像素的强度进行更新。在这种实现方式中,更新单元140例如可以按照公式十来完成更新处理。
公式十:
CB(x,y,ti)=CB(x,y,ti-1)
+[b*(1-Seg(x,y,ti))+a*Seg(x,y,ti)]*(CC(x,y,ti)-CB(x,y,ti-1)),
其中,a为预设的前景像素更新率。公式十中各个参数的定义可以参考公式九,这里不再赘述。其中,a可以根据实际情况或根据经验来设定,也可以通过试验的方法来确定。根据实际情况或根据经验来设定合适的a和b,例如使得a相对较小,b相对较大,则可以利用不同的前景像素更新率和背景像素更新率,使得更新后的环境轮廓图像能够实时地反映当前的环境。特别地,例如当行驶进入待检测区域中的某车辆在某时刻停止行驶于该待检测区域中、或者当待检测区域中一直停止行驶的某车辆某时刻突然行驶的时候,利用这种实现方式(如公式十)所更新的环境轮廓图像能够更加准确地反映环境的上述变化。
传统的目标检测技术往往直接利用图像与背景图像的帧差来识别运动对象,这样所得到的检测结果的精度往往有限。而上述根据本发明的实施例的运动对象检测装置利用图像的轮廓图像以及环境轮廓图像之间的差分来检测运动对象,其利用的差分结果能够更准确的反映背景环境的特征,进而使得检测精度较高。
此外,上述根据本发明的实施例的运动对象检测装置在每次检测到运动对象后执行对环境轮廓图像的更新,而不同于传统的目标检测技术对背景图像的更新。相比之下,上述根据本发明的实施例的运动对象检测装置的计算量较小,进而使得装置的功耗较低。
此外,本发明的实施例还提供了一种运动对象检测方法,该运动对象检测方法包括:对于针对待检测区域所捕获的多帧图像中的每一帧,获得该帧图像的轮廓图像,根据该帧图像的轮廓图像与其上一帧图像对应的环境轮廓图像的差分图像,获得该帧图像的轮廓图像中的前景轮廓,其中,上述前景轮廓中的像素的强度高于其在上一帧图像对应的环境轮廓图像中对应位置的像素的强度,基于该帧图像的轮廓图像中的前景轮廓来确定该帧图像中的运动对象,以及至少基于该帧图像的轮廓图像中除前景轮廓以外的像素来更新上一帧图像对应的环境轮廓图像,获得该帧图像对应的环境轮廓图像以用于下一帧图像的检测。
下面结合图10来描述上述运动对象检测方法的一种示例性处理。
如图10所示,根据本发明的实施例的运动对象检测方法的处理流程1000开始于步骤S1010,然后对于针对待检测区域所捕获的多帧图像中的每一帧图像分别执行以下描述的步骤S1020至S1050。
下面以上述多帧图像中的第i帧图像为例来描述步骤S1020至S1050的处理。
在步骤S1020中,获得第i帧图像的轮廓图像。然后执行步骤S1030。其中,步骤S1020中对第i帧图像的处理例如可以参考上文中结合图1所描述的轮廓图像获得单元110所执行的对上述多帧图像中每一帧的处理,对于上述多帧图像中第1帧图像的处理也可以参考轮廓图像获得单元110所执行的对上述第1帧图像的处理,这里不再赘述。
在步骤S1030中,根据第i帧图像的轮廓图像与其上一帧图像即第i-1帧图像对应的环境轮廓图像的差分图像,获得第i帧图像的轮廓图像中的前景轮廓。其中,上述第i帧图像的轮廓图像中的前景轮廓中的像素的强度高于其上一帧图像(即第i-1帧图像)对应的环境轮廓图像中与这个像素对应位置的像素的强度。然后执行步骤S1040。其中,步骤S1030中对第i帧图像的处理例如可以参考上文中结合图1所描述的前景轮廓获得单元120所执行的对上述多帧图像中每一帧的处理,并能够达到类似的技术效果,这里不再赘述。其中,第1帧图像对应的环境轮廓图像例如可以是第1帧图像的轮廓图像本身。
在步骤S1040中,基于第i帧图像的轮廓图像中的前景轮廓来确定第i帧图像中的运动对象。然后执行步骤S1050。其中,步骤S1040中对第i帧图像的处理例如可以参考上文中结合图1所描述的运动对象确定单元130所执行的对上述多帧图像中每一帧的处理,并能够达到类似的技术效果,这里不再赘述。
在步骤S1050中,至少基于第i帧图像的轮廓图像中除前景轮廓以外的像素来对第i帧图像对应的环境轮廓图像进行更新,并将得到的更新后的环境轮廓图像作为第i帧图像对应的环境轮廓图像,以便能够利用第i帧图像对应的环境轮廓图像来进行下一帧图像即第i+1帧图像中运动对象的检测。其中,步骤S1050中对第i帧图像的处理例如可以参考上文中结合图1所描述的更新单元140所执行的对上述多帧图像中每一帧的处理,并能够达到类似的技术效果,这里不再赘述。
这样,对于上述第i帧图像,通过步骤S1020至S1040的处理完成了第i帧图像中运动对象的检测,并通过步骤S1050完成了对环境轮廓图像的更新。然后,在步骤S1060中,判断是否结束当前处理,若是,则执行步骤S1070,否则,再次返回步骤S1020来对下一帧图像即第i+1帧图像进行处理。其中,在步骤S1060中例如可以根据用户输入来判断是否结束当前处理。这样,对第i+1帧图像重复执行步骤S1020至S1050的处理,以完成对第i+1帧图像中运动对象的检测以及环境轮廓图像的更新。直至对上述多帧图像中所有帧均完成步骤S1020至S1050的处理之后,在步骤S1060中判断的结果为是,于是执行步骤S1070。
处理流程1000结束于步骤S1070。
上述根据本发明的实施例的运动对象检测方法利用图像的轮廓图像以及环境轮廓图像之间的差分来检测运动对象,其利用的差分结果能够更准确的反映背景环境的特征,进而使得检测精度较高。此外,上述根据本发明的实施例的运动对象检测方法在每次检测到运动对象后执行对环境轮廓图像的更新,而不同于传统的目标检测技术对背景图像的更新。相比之下,上述根据本发明的实施例的运动对象检测方法的计算量较小,进而使得检测的功耗较低。
此外,本发明的实施例还提供了一种电子设备,该电子设备包括如上所述的运动对象检测装置。在根据本发明的实施例的上述电子设备的具体实现方式中,上述电子设备可以是以下设备中的任意一种设备:计算机;平板电脑;个人数字助理;多媒体播放设备;手机以及电纸书等等。其中,该电子设备具有上述用于运动对象检测装置的各种功能和技术效果,这里不再赘述。
上述根据本发明的实施例的运动对象检测装置中的各个组成单元、子单元、模块等可以通过软件、固件、硬件或其任意组合的方式进行配置。在通过软件或固件实现的情况下,可从存储介质或网络向具有专用硬件结构的机器(例如图11所示的通用机器1100)安装构成该软件或固件的程序,该机器在安装有各种程序时,能够执行上述各组成单元、子单元的各种功能。
图11是示出了可用来实现根据本发明的实施例的运动对象检测装置和运动对象检测方法的一种可能的信息处理设备的硬件配置的结构简图。
在图11中,中央处理单元(CPU)1101根据只读存储器(ROM)1102中存储的程序或从存储部分1108加载到随机存取存储器(RAM)1103的程序执行各种处理。在RAM1103中,还根据需要存储当CPU1101执行各种处理等等时所需的数据。CPU1101、ROM1102和RAM1103经由总线1104彼此连接。输入/输出接口1105也连接到总线1104。
下述部件也连接到输入/输出接口1105:输入部分1106(包括键盘、鼠标等等)、输出部分1107(包括显示器,例如阴极射线管(CRT)、液晶显示器(LCD)等,和扬声器等)、存储部分1108(包括硬盘等)、通信部分1109(包括网络接口卡例如LAN卡、调制解调器等)。通信部分1109经由网络例如因特网执行通信处理。根据需要,驱动器1110也可连接到输入/输出接口1105。可拆卸介质1111例如磁盘、光盘、磁光盘、半导体存储器等等可以根据需要被安装在驱动器1110上,使得从中读出的计算机程序可根据需要被安装到存储部分1108中。
在通过软件实现上述系列处理的情况下,可以从网络例如因特网或从存储介质例如可拆卸介质1111安装构成软件的程序。
本领域的技术人员应当理解,这种存储介质不局限于图11所示的其中存储有程序、与设备相分离地分发以向用户提供程序的可拆卸介质1111。可拆卸介质1111的例子包含磁盘(包含软盘)、光盘(包含光盘只读存储器(CD-ROM)和数字通用盘(DVD))、磁光盘(包含迷你盘(MD)(注册商标))和半导体存储器。或者,存储介质可以是ROM1102、存储部分1108中包含的硬盘等等,其中存有程序,并且与包含它们的设备一起被分发给用户。
此外,本发明还提出了一种存储有机器可读取的指令代码的程序产品。上述指令代码由机器读取并执行时,可执行上述根据本发明的实施例的运动对象检测方法。相应地,用于承载这种程序产品的例如磁盘、光盘、磁光盘、半导体存储器等的各种存储介质也包括在本发明的公开中。
在上面对本发明具体实施例的描述中,针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用,与其它实施方式中的特征相组合,或替代其它实施方式中的特征。
此外,本发明的各实施例的方法不限于按照说明书中描述的或者附图中示出的时间顺序来执行,也可以按照其他的时间顺序、并行地或独立地执行。因此,本说明书中描述的方法的执行顺序不对本发明的技术范围构成限制。
此外,显然,根据本发明的上述方法的各个操作过程也可以以存储在各种机器可读的存储介质中的计算机可执行程序的方式实现。
而且,本发明的目的也可以通过下述方式实现:将存储有上述可执行程序代码的存储介质直接或者间接地提供给***或设备,并且该***或设备中的计算机或者中央处理单元(CPU)读出并执行上述程序代码。
此时,只要该***或者设备具有执行程序的功能,则本发明的实施方式不局限于程序,并且该程序也可以是任意的形式,例如,目标程序、解释器执行的程序或者提供给操作***的脚本程序等。
上述这些机器可读存储介质包括但不限于:各种存储器和存储单元,半导体设备,磁盘单元例如光、磁和磁光盘,以及其它适于存储信息的介质等。
另外,客户计算机通过连接到因特网上的相应网站,并且将依据本发明的计算机程序代码下载和安装到计算机中然后执行该程序,也可以实现本发明。
最后,还需要说明的是,在本文中,诸如左和右、第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
综上,在根据本发明的实施例中,本发明提供了如下方案但不限于此:
附记1.一种运动对象检测装置,包括:
轮廓图像获得单元,用于获得针对待检测区域所捕获的多帧图像各自的轮廓图像;
前景轮廓获得单元,用于根据所述多帧图像中的每帧图像的轮廓图像与其上一帧图像对应的环境轮廓图像的差分图像,获得该帧图像的轮廓图像中的前景轮廓,其中,所述前景轮廓中的像素的强度高于其在所述上一帧图像对应的环境轮廓图像中对应位置的像素的强度;
运动对象确定单元,用于基于所述多帧图像中的每帧图像的轮廓图像中的前景轮廓来确定该帧图像中的运动对象;以及
更新单元,用于至少基于所述多帧图像中的每帧图像的轮廓图像中除所述前景轮廓以外的像素来更新该帧图像的上一帧图像对应的环境轮廓图像,获得该帧图像对应的环境轮廓图像以用于下一帧图像的检测。
附记2.根据附记1所述的运动对象检测装置,其中,所述更新单元用于:针对所述多帧图像中的每帧图像的轮廓图像中除前景轮廓以外的每个像素,利用该像素的强度对所述上一帧图像对应的环境轮廓图像中与该像素位置对应的像素的强度进行更新。
附记3.根据附记2所述的运动对象检测装置,其中,所述更新单元还用于:针对所述多帧图像中的每帧图像的轮廓图像中的前景轮廓中的每个像素,利用该像素的强度对所述上一帧图像对应的环境轮廓图像中与该像素位置对应的像素的强度进行更新。
附记4.根据附记3所述的运动对象检测装置,其中,所述更新单元用于根据如下公式来更新所述多帧图像中的每帧图像对应的环境轮廓图像:
CB(x,y,ti)=CB(x,y,ti-1)
+[b*(1-Seg(x,y,ti))+a*Seg(x,y,ti)]*(CC(x,y,ti)-CB(x,y,ti-1)),
CB(x,y,ti)和CB(x,y,ti-1)分别表示捕获时间为ti和ti-1的图像对应的环境轮廓图像中的像素(x,y)的强度;CC(x,y,ti)表示捕获时间为ti的图像的轮廓图像中的像素(x,y)的强度;x,y分别表示像素(x,y)在相应的图像中的位置;a为预设的前景像素更新率;b为预设的背景像素更新率;当像素(x,y)是所述捕获时间为ti的图像的轮廓图像中的前景轮廓中的像素时,Seg(x,y,ti)为1;当像素(x,y)是所述捕获时间为ti的图像的轮廓图像中除前景轮廓以外的像素时,Seg(x,y,ti)为0;捕获时间为ti-1的图像是捕获时间为ti的图像的上一帧图像;以及i≥2;
其中,捕获时间为t1的图像对应的环境轮廓图像中的像素(x,y)的强度CB(x,y,t1)等于所述捕获时间为t1的图像的轮廓图像中的像素(x,y)的强度CC(x,y,t1)。
附记5.根据附记1-4中任一项所述的运动对象检测装置,其中,所述前景轮廓获得单元用于:
将所述多帧图像中的每帧图像的轮廓图像与其上一帧图像对应的环境轮廓图像的差分图像中满足如下条件的像素确定为前景像素,以获得该帧图像的轮廓图像中的前景轮廓:强度高于该帧图像对应的动态阈值的像素;
其中,所述动态阈值根据该帧图像的轮廓图像与其上一帧图像对应的环境轮廓图像的差分图像来确定。
附记6.根据附记5所述的运动对象检测装置,其中,所述前景轮廓获得单元还用于根据如下公式来计算所述动态阈值:
Thre(ti)=mean(CD(x,y,ti))
+Wegt*[max(CD(x,y,ti))-mean(CD(x,y,ti))+std(CD(x,y,ti))],
其中,Thre(ti)表示所述捕获时间为ti的图像所对应的动态阈值,CB(x,y,ti-1)表示捕获时间为ti-1的图像对应的环境轮廓图像中的像素(x,y)的强度,CC(x,y,ti)表示捕获时间为ti的图像的轮廓图像中的像素(x,y)的强度,mean(CD(x,y,ti))表示所述捕获时间为ti的图像中所有像素对应的CD(x,y,ti)的平均值,max(CD(x,y,ti))表示所述捕获时间为ti的图像中所有像素对应的CD(x,y,ti)中的最大值,std(CD(x,y,ti))表示所述捕获时间为ti的图像中所有像素对应的CD(x,y,ti)的标准差,以及Wegt为预设的权重值。
附记7.根据附记5或6所述的运动对象检测装置,其中,所述前景轮廓获得单元还用于将所述动态阈值设置成大于或等于预设下限值。
附记8.根据附记1-7中任一项所述的运动对象检测装置,其中,所述轮廓图像获得单元用于通过梯度算法获得所述多帧图像中每帧图像的轮廓图像。
附记9.根据附记1-8中任一项所述的运动对象检测装置,其中,所述待检测区域为预定道路或其部分道路,以及所述运动对象是在所述预定道路或其部分道路上行驶的运动车辆。
附记10.一种运动对象检测方法,包括:
对于针对待检测区域所捕获的多帧图像中的每一帧,
获得该帧图像的轮廓图像,
根据该帧图像的轮廓图像与其上一帧图像对应的环境轮廓图像的差分图像,获得该帧图像的轮廓图像中的前景轮廓,其中,所述前景轮廓中的像素的强度高于其在所述上一帧图像对应的环境轮廓图像中对应位置的像素的强度,
基于该帧图像的轮廓图像中的所述前景轮廓来确定该帧图像中的运动对象,以及
至少基于该帧图像的轮廓图像中除所述前景轮廓以外的像素来更新所述上一帧图像对应的环境轮廓图像,获得该帧图像对应的环境轮廓图像以用于下一帧图像的检测。
附记11.根据附记10所述的运动对象检测方法,其中,所述更新所述上一帧图像对应的环境轮廓图像的步骤包括:针对该帧图像的轮廓图像中除前景轮廓以外的每个像素,利用该像素的强度对所述上一帧图像对应的环境轮廓图像中与该像素位置对应的像素的强度进行更新。
附记12.根据附记11所述的运动对象检测方法,其中,所述更新所述上一帧图像对应的环境轮廓图像的步骤还包括:针对该帧图像的轮廓图像中的前景轮廓中的每个像素,利用该像素的强度对所述上一帧图像对应的环境轮廓图像中与该像素位置对应的像素的强度进行更新。
附记13.根据附记12所述的运动对象检测方法,其中,所述更新该帧图像对应的环境轮廓图像的步骤通过如下卡尔曼(Kalman)方法实现:
CB(x,y,ti)=CB(x,y,ti-1)
+[b*(1-Seg(x,y,ti))+a*Seg(x,y,ti)]*(CC(x,y,ti)-CB(x,y,ti-1)),
CB(x,y,ti)和CB(x,y,ti-1)分别表示捕获时间为ti和ti-1的图像对应的环境轮廓图像中的像素(x,y)的强度;CC(x,y,ti)表示捕获时间为ti的图像的轮廓图像中的像素(x,y)的强度;x,y分别表示像素(x,y)在相应的图像中的位置;a为预设的前景像素更新率;b为预设的背景像素更新率;当像素(x,y)是所述捕获时间为ti的图像的轮廓图像中的前景轮廓中的像素时,Seg(x,y,ti)为1;当像素(x,y)是所述捕获时间为ti的图像的轮廓图像中除前景轮廓以外的像素时,Seg(x,y,ti)为0;捕获时间为ti-1的图像是捕获时间为ti的图像的上一帧图像;以及i≥2;
其中,捕获时间为t1的图像对应的环境轮廓图像中的像素(x,y)的强度CB(x,y,t1)等于所述捕获时间为t1的图像的轮廓图像中的像素(x,y)的强度CC(x,y,t1)。
附记14.根据附记10-13中任一项所述的运动对象检测方法,其中:
所述多帧图像中的每一帧图像的轮廓图像中的前景轮廓中像素的强度高于与该帧图像对应的动态阈值,所述动态阈值根据该帧图像的轮廓图像与其上一帧图像对应的环境轮廓图像的差分图像来确定。
附记15.根据附记14所述的运动对象检测方法,其中,所述动态阈值通过如下公式来计算:
Thre(ti)=mean(CD(x,y,ti))
+Wegt*[max(CD(x,y,ti))-mean(CD(x,y,ti))+std(CD(x,y,ti))],
其中,Thre(ti)表示所述捕获时间为ti的图像所对应的动态阈值,CB(x,y,ti-1)表示捕获时间为ti-1的图像对应的环境轮廓图像中的像素(x,y)的强度,CC(x,y,ti)表示捕获时间为ti的图像的轮廓图像中的像素(x,y)的强度,mean(CD(x,y,ti))表示所述捕获时间为ti的图像中所有像素对应的CD(x,y,ti)的平均值,max(CD(x,y,ti))表示所述捕获时间为ti的图像中所有像素对应的CD(x,y,ti)中的最大值,std(CD(x,y,ti))表示所述捕获时间为ti的图像中所有像素对应的CD(x,y,ti)的标准差,以及Wegt为预设的权重值。
附记16.根据附记14或15所述的运动对象检测方法,其中,所述动态阈值大于或等于预设下限值。
附记17.一种电子设备,包括如附记1-9中任一项所述的运动对象检测装置。
附记18.根据附记17所述的电子设备,其中,所述电子设备是以下设备中的任意一种:计算机;平板电脑;个人数字助理;多媒体播放设备;手机以及电纸书。
附记19.一种存储有机器可读取的指令代码的程序产品,所述程序产品在执行时能够使所述机器执行根据附记10-16中任一项所述的运动对象检测方法。
附记20.一种计算机可读存储介质,其上存储有根据附记19所述的程序产品。

Claims (10)

1.一种运动对象检测装置,包括:
轮廓图像获得单元,用于获得针对待检测区域所捕获的多帧图像各自的轮廓图像;
前景轮廓获得单元,用于根据所述多帧图像中的每帧图像的轮廓图像与其上一帧图像对应的环境轮廓图像的差分图像,获得该帧图像的轮廓图像中的前景轮廓,其中,所述前景轮廓中的像素的强度高于其在所述上一帧图像对应的环境轮廓图像中对应位置的像素的强度;
运动对象确定单元,用于基于所述多帧图像中的每帧图像的轮廓图像中的前景轮廓来确定该帧图像中的运动对象;以及
更新单元,用于至少基于所述多帧图像中的每帧图像的轮廓图像中除所述前景轮廓以外的像素来更新该帧图像的上一帧图像对应的环境轮廓图像,获得该帧图像对应的环境轮廓图像以用于下一帧图像的检测。
2.根据权利要求1所述的运动对象检测装置,其中,所述更新单元用于:针对所述多帧图像中的每帧图像的轮廓图像中除前景轮廓以外的每个像素,利用该像素的强度对所述上一帧图像对应的环境轮廓图像中与该像素位置对应的像素的强度进行更新。
3.根据权利要求2所述的运动对象检测装置,其中,所述更新单元还用于:针对所述多帧图像中的每帧图像的轮廓图像中的前景轮廓中的每个像素,利用该像素的强度对所述上一帧图像对应的环境轮廓图像中与该像素位置对应的像素的强度进行更新。
4.根据权利要求3所述的运动对象检测装置,其中,所述更新单元用于根据如下公式来更新所述多帧图像中的每帧图像对应的环境轮廓图像:
CB(x,y,ti)=CB(x,y,ti-1)
+[b*(1-Seg(x,y,ti))+a*Seg(x,y,ti)]*(CC(x,y,ti)-CB(x,y,ti-1)),
CB(x,y,ti)和CB(x,y,ti-1)分别表示捕获时间为ti和ti-1的图像对应的环境轮廓图像中的像素(x,y)的强度,CC(x,y,ti)表示捕获时间为ti的图像的轮廓图像中的像素(x,y)的强度,x,y分别表示像素(x,y)在相应的图像中的位置,a为预设的前景像素更新率,b为预设的背景像素更新率,当像素(x,y)是所述捕获时间为ti的图像的轮廓图像中的前景轮廓中的像素时,Seg(x,y,ti)为1,当像素(x,y)是所述捕获时间为ti的图像的轮廓图像中除前景轮廓以外的像素时,Seg(x,y,ti)为0,捕获时间为ti-1的图像是捕获时间为ti的图像的上一帧图像,以及i≥2;其中,捕获时间为t1的图像对应的环境轮廓图像中的像素(x,y)的强度CB(x,y,t1)等于所述捕获时间为t1的图像的轮廓图像中的像素(x,y)的强度CC(x,y,t1)。
5.根据权利要求1-4中任一项所述的运动对象检测装置,其中,所述前景轮廓获得单元用于:
将所述多帧图像中的每帧图像的轮廓图像与其上一帧图像对应的环境轮廓图像的差分图像中满足如下条件的像素确定为前景像素,以获得该帧图像的轮廓图像中的前景轮廓:强度高于该帧图像对应的动态阈值的像素;
其中,所述动态阈值根据该帧图像的轮廓图像与其上一帧图像对应的环境轮廓图像的差分图像来确定。
6.根据权利要求5所述的运动对象检测装置,其中,所述前景轮廓获得单元还用于根据如下公式来计算所述动态阈值:
Thre(ti)=mean(CD(x,y,ti))
+Wegt*[max(CD(x,y,ti))-mean(CD(x,y,ti))+std(CD(x,y,ti))],
其中,Thre(ti)表示所述捕获时间为ti的图像所对应的动态阈值,CB(x,y,ti-1)表示捕获时间为ti-1的图像对应的环境轮廓图像中的像素(x,y)的强度,CC(x,y,ti)表示捕获时间为ti的图像的轮廓图像中的像素(x,y)的强度,mean(CD(x,y,ti))表示所述捕获时间为ti的图像中所有像素对应的CD(x,y,ti)的平均值,max(CD(x,y,ti))表示所述捕获时间为ti的图像中所有像素对应的CD(x,y,ti)中的最大值,std(CD(x,y,ti))表示所述捕获时间为ti的图像中所有像素对应的CD(x,y,ti)的标准差,以及Wegt为预设的权重值。
7.根据权利要求5或6所述的运动对象检测装置,其中,所述前景轮廓获得单元还用于将所述动态阈值设置成大于或等于预设下限值。
8.根据权利要求1-7中任一项所述的运动对象检测装置,其中,所述轮廓图像获得单元用于通过梯度算法获得所述多帧图像中每帧图像的轮廓图像。
9.一种运动对象检测方法,包括:
对于针对待检测区域所捕获的多帧图像中的每一帧,
获得该帧图像的轮廓图像,
根据该帧图像的轮廓图像与其上一帧图像对应的环境轮廓图像的差分图像,获得该帧图像的轮廓图像中的前景轮廓,其中,所述前景轮廓中的像素的强度高于其在所述上一帧图像对应的环境轮廓图像中对应位置的像素的强度,
基于该帧图像的轮廓图像中的所述前景轮廓来确定该帧图像中的运动对象,以及
至少基于该帧图像的轮廓图像中除所述前景轮廓以外的像素来更新所述上一帧图像对应的环境轮廓图像,获得该帧图像对应的环境轮廓图像以用于下一帧图像的检测。
10.一种电子设备,包括如权利要求1-8中任一项所述的运动对象检测装置。
CN201310090806.XA 2013-03-20 2013-03-20 运动对象检测装置、运动对象检测方法以及电子设备 Active CN104063878B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310090806.XA CN104063878B (zh) 2013-03-20 2013-03-20 运动对象检测装置、运动对象检测方法以及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310090806.XA CN104063878B (zh) 2013-03-20 2013-03-20 运动对象检测装置、运动对象检测方法以及电子设备

Publications (2)

Publication Number Publication Date
CN104063878A true CN104063878A (zh) 2014-09-24
CN104063878B CN104063878B (zh) 2017-08-08

Family

ID=51551570

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310090806.XA Active CN104063878B (zh) 2013-03-20 2013-03-20 运动对象检测装置、运动对象检测方法以及电子设备

Country Status (1)

Country Link
CN (1) CN104063878B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105488542A (zh) * 2015-12-24 2016-04-13 福建星网锐捷安防科技有限公司 一种前景物体检测方法和设备
CN109993767A (zh) * 2017-12-28 2019-07-09 北京京东尚科信息技术有限公司 图像处理方法和***
CN111626188A (zh) * 2020-05-26 2020-09-04 西南大学 一种室内不可控明火监测方法及***
WO2021000418A1 (zh) * 2019-07-03 2021-01-07 平安科技(深圳)有限公司 图像数据处理方法和图像数据处理设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101221663A (zh) * 2008-01-18 2008-07-16 电子科技大学中山学院 一种基于运动目标检测的智能监控报警方法
CN102074113A (zh) * 2010-09-17 2011-05-25 浙江大华技术股份有限公司 基于视频的牌照识别和车辆速度测量方法
US20110164823A1 (en) * 2007-09-05 2011-07-07 ELECTRONICS AND TELECOMMUNICATIONS RESEARCH INSTITUTE of Daejeon,Republic of Korea Video object extraction apparatus and method
CN102722982A (zh) * 2012-03-30 2012-10-10 上海市金山区青少年活动中心 基于背景与帧间差分算法的车流及其运动状态检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110164823A1 (en) * 2007-09-05 2011-07-07 ELECTRONICS AND TELECOMMUNICATIONS RESEARCH INSTITUTE of Daejeon,Republic of Korea Video object extraction apparatus and method
CN101221663A (zh) * 2008-01-18 2008-07-16 电子科技大学中山学院 一种基于运动目标检测的智能监控报警方法
CN102074113A (zh) * 2010-09-17 2011-05-25 浙江大华技术股份有限公司 基于视频的牌照识别和车辆速度测量方法
CN102722982A (zh) * 2012-03-30 2012-10-10 上海市金山区青少年活动中心 基于背景与帧间差分算法的车流及其运动状态检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈国玉: "序列图像中运动目标检测算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105488542A (zh) * 2015-12-24 2016-04-13 福建星网锐捷安防科技有限公司 一种前景物体检测方法和设备
CN105488542B (zh) * 2015-12-24 2019-04-23 福建星网物联信息***有限公司 一种前景物体检测方法和设备
CN109993767A (zh) * 2017-12-28 2019-07-09 北京京东尚科信息技术有限公司 图像处理方法和***
CN109993767B (zh) * 2017-12-28 2021-10-12 北京京东尚科信息技术有限公司 图像处理方法和***
WO2021000418A1 (zh) * 2019-07-03 2021-01-07 平安科技(深圳)有限公司 图像数据处理方法和图像数据处理设备
CN111626188A (zh) * 2020-05-26 2020-09-04 西南大学 一种室内不可控明火监测方法及***
CN111626188B (zh) * 2020-05-26 2022-05-06 西南大学 一种室内不可控明火监测方法及***

Also Published As

Publication number Publication date
CN104063878B (zh) 2017-08-08

Similar Documents

Publication Publication Date Title
CN109147368A (zh) 基于车道线的智能驾驶控制方法装置与电子设备
CN107871129B (zh) 用于处理点云数据的方法和装置
CN108875603A (zh) 基于车道线的智能驾驶控制方法和装置、电子设备
CN111241989B (zh) 图像识别方法及装置、电子设备
EP2858008A2 (en) Target detecting method and system
JP2018097807A (ja) 学習装置
CN102236902B (zh) 一种目标检测方法和装置
CN110211119A (zh) 图像质量评估方法、装置、电子设备及可读存储介质
CN110866872B (zh) 一种路面裂缝图片预处理智能选择方法、装置及电子设备
CN104063878A (zh) 运动对象检测装置、运动对象检测方法以及电子设备
CN103473776A (zh) 一种比较图像清晰度的方法、***及自动聚焦控制方法
CN110910445B (zh) 一种物件尺寸检测方法、装置、检测设备及存储介质
CN106845494A (zh) 一种检测图像中轮廓角点的方法及装置
CN105069441A (zh) 一种基于背景更新与粒子群算法的运动车辆检测方法
CN115082752A (zh) 基于弱监督的目标检测模型训练方法、装置、设备及介质
CN114898434A (zh) 口罩识别模型的训练方法、装置、设备及存储介质
CN112434715A (zh) 基于人工智能的目标识别方法、装置及存储介质
CN110942097A (zh) 基于单像素探测器的免成像分类方法和***
CN113780287A (zh) 一种多深度学习模型的最优选取方法及***
CN114331823A (zh) 图像处理方法、装置、电子设备及存储介质
CN105574844B (zh) 辐射响应函数估计方法和装置
CN103839247A (zh) 边缘像素确定方法、边缘像素确定装置和图像处理设备
CN105184809A (zh) 运动对象检测方法和运动对象检测装置
JP6800901B2 (ja) 物体領域識別装置、物体領域識別方法およびプログラム
JP2021515482A (ja) 光学センサの内蔵試験のためのシステムおよび方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant