CN102414718B - 对象位置估计设备和对象位置估计方法 - Google Patents
对象位置估计设备和对象位置估计方法 Download PDFInfo
- Publication number
- CN102414718B CN102414718B CN201080018812.9A CN201080018812A CN102414718B CN 102414718 B CN102414718 B CN 102414718B CN 201080018812 A CN201080018812 A CN 201080018812A CN 102414718 B CN102414718 B CN 102414718B
- Authority
- CN
- China
- Prior art keywords
- candidate target
- degree
- cone
- candidate
- confidence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/285—Analysis of motion using a sequence of stereo image pairs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
- G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
在通过视锥相交法获取对象位置的技术中,提供了一种对象位置估计设备,该对象位置估计设备减少了因重象对象导致的对不正确的位置的估计,在所述对象位置估计设备中,对象候选获取装置通过视锥相交法来估计对象位置并获取候选对象;对象候选信息存储装置针对基于捕捉到的图像所获取的对象的视锥,存储与所述候选对象间的重叠有关的信息;联动度获取装置获取作为联动度的指标,并针对候选对象指示候选对象间的相互关系,所述指标是基于包括与所述候选对象的运动联动的其他候选对象在内的视锥的数目计算的;以及候选对象确定装置通过后验概率将所述候选对象识别为对象或非对象,并输出被确定为对象的所述候选对象的位置,所述后验概率是基于所获取的指标计算的。
Description
技术领域
本发明涉及使用多个摄像机图像来估计对象位置的对象位置估计设备、对象位置估计方法和程序。
背景技术
传统上,利用对象位置估计设备、对象位置估计方法和程序,来估计目标对象在图像监视***中的位置(即,对于地面的位置)。日本专利申请待审公开No.2008-15573(以下称为“现有技术”)公开了与这类对象位置估计设备相关的技术。在现有技术中,公开了一种设备发明,使用多个摄像机图像来确定目标对象在真实空间中的存在,并估计目标对象的位置。遵循根据现有技术的估计目标对象位置的设备的方法,配置多个摄像机,使得每个摄像机的视场在执行位置估计的真实空间(即,三维空间)中彼此重叠。然后,使用包括背景减去法和帧差异法在内的图像处理,从由每个摄像机获取的图像中提取目标对象的运动对象区域。
每个摄像机处于以下状态:事先执行摄像机校准,使得二维的摄像机图像的坐标和三维真实空间可以相互转换。每个摄像机在该状态下捕捉目标对象。接着,根据现有技术的设备逆向地将包括从每个摄像机提取的运动对象区域在内的图像投影至在真实空间中指定了该图像的平面。接着,根据现有技术的设备在每个平面上检测逆向投影的来自所有摄像机的运动对象区域的重叠。采用该方式,根据现有技术的设备确定运动对象区域(目标对象)在真实空间中的存在,并估计对象的位置。
发明内容
技术问题
在用户执行现有技术中描述的方法的情况下,可能出现以下问题。除了从逆向投影的运动对象区域的重叠获取的真实空间中对象的实际目标对象,根据现有技术的设备还可能检测到重象对象(作为示例,如图1所示)。由于根据现有技术的设备可能根据这些重象对象来估计对象位置,在该情况下,用户可能接收到不正确的信息。以下描述了该问题可能发生的原因。
根据现有技术的图1所示的设备对重象对象的检测是由对大范围区域执行运动对象区域的逆向投影(即,视锥)的过程引起的,所述大范围区域包括真实空间中的实际目标对象(作为示例,如图1中的区域S所示)。因此,根据摄像机A、摄像机B和实际目标对象在位置和方向上的相对位置关系,将形成不同于目标对象的重象对象。
鉴于上述技术问题,提出了本发明,并且目的在于提供一种对象位置估计设备、对象位置估计方法和程序,能够在使用视锥相交法获取对象位置的技术中,降低基于重象对象的不正确的位置估计的频率。
技术方案
为了解决上述问题,提供了根据本发明的对象位置估计设备,其中,所述设备包括:候选对象获取单元,通过视锥相交法来估计对象位置并获取候选对象;候选对象信息存储单元,针对基于捕捉到的图像获取的对象的视锥,存储与候选对象间的重叠有关的信息;联动度获取单元,针对候选对象获取作为联动度的指标,并指示候选对象间的相互关系,所述指标是基于包括与候选对象的运动联动的其他候选对象在内的视锥的数目计算的;以及对象候选确定单元,通过基于所获取的指标的后验概率,来将候选对象识别为对象或非对象,并输出被确定为对象的候选对象的位置。
此外,根据本发明的对象位置估计方法包括:通过视锥相交法来估计对象位置并获取候选对象;针对基于捕捉到的图像获取的对象的视锥,存储与候选对象间的重叠有关的信息;针对候选对象获取作为联动度的指标,并指示候选对象间的相互关系,所述指标是基于包括与候选对象的运动联动的其他候选对象在内的视锥的数目计算的;以及通过基于所获取的指标的后验概率,来将候选对象识别为对象或非对象,并输出被确定为对象的候选对象的位置。
此外,根据本发明的程序使计算机执行以下过程:候选对象获取过程,其中,通过视锥相交法来估计对象位置并获取候选对象;候选对象信息存储过程,其中,针对基于捕捉到的图像获取的对象的视锥,存储与候选对象间的重叠有关的信息;联动度获取过程,其中,获取作为联动度的指标,并指示候选对象间的相互关系,所述指标是基于包括与候选对象的运动联动的其他候选对象在内的视锥的数目计算的;以及候选对象确定过程,其中,通过基于所获取的指标的后验概率,来将候选对象识别为对象或非对象,并输出被确定为对象的候选对象的位置。
技术效果
根据本发明,对于使用视锥相交法获取对象位置的技术,(本发明)能够降低因重象对象导致估计出不正确的对象位置的可能性。
附图说明
图1是示出了重象对象的定义及其创建情形的图,所述重象对象属于现有技术问题。
图2是示出了根据本发明第一实施例的配置的框图。
图3是示出了根据第一实施例的、在对象候选信息存储装置中存储的信息的示例的图。
图4是示出了根据第一实施例的、使用视锥相交法来获取候选对象的示例的图。
图5是示出了根据第一实施例的、使用对象模型标记的对象体元的示例的图。
图6是示出了根据第一实施例的、获取与每个对象体元的重叠有关的信息的图。
图7是示出了根据第一实施例的、计算获取联动度Gi所需Ki的过程图像的图。
图8是示出了根据本发明第一实施例的操作的流程图。
图9是示出了根据本发明第一实施例的操作的流程图。
图10是示出了根据本发明第一实施例的操作的流程图。
图11是示出了根据本发明第一实施例的操作的流程图。
图12是示出了根据本发明第一实施例的操作的流程图。
图13是示出了根据本发明第一实施例的操作的流程图。
图14是示出了根据本发明第一实施例的操作的流程图。
图15是示出了根据本发明第二实施例的配置的框图。
图16是示出了根据本发明第二实施例的操作的流程图。
图17是示出了根据本发明第二实施例的操作的流程图。
图18是示出了根据本发明第三实施例的配置的框图。
图19是示出了根据本发明第一实施例的另一配置的框图。
图20是示出了根据本发明第一实施例的另一配置的框图。
具体实施方式
第一示例实施例
下面,将参照附图详细地描述根据本发明的第一实施例。
图2是示出了根据第一实施例的配置的框图。参照图2描述第一实施例。
根据该实施例的对象位置估计设备包括:n个图像获取单元,包括从运动图像获取图像的第一图像获取单元至第n图像获取单元,所述运动图像是由数字摄像机或视频摄像机等获取的;数据处理设备3,通过程序控制进行操作;以及存储设备4,存储信息。
所述存储设备4包括候选对象信息存储单元41。候选对象信息存储单元41将从候选对象获取单元31获取的对象位置识别为存在对象候选(候选对象)的位置,并将与候选对象有关的信息与其位置一起存储。
此外,候选对象信息存储单元41存储诸如候选对象的位置信息(即,平面上的坐标)以及与候选对象同其他候选对象相互重叠有关的信息。与重叠有关的信息指:针对第c图像获取单元(c:1至n,n是自然数)所创建的视锥,候选对象间的重叠。与重叠有关的信息包括诸如:针对第c图像获取单元所创建的视锥,候选对象间的重叠的存在性;在第c图像获取单元的视场中观察到候选对象的存在性(以下,将观察到候选对象的情形称为清晰的视场,将未观察到候选对象的情形称为无视场);以及重 叠状态下的候选对象的编号。
图3示出了信息内容的示例。其中,表格中O的下标i指示:
i:1至m,且m=3。
此外,图像获取装置的编号c指示:
c:1至n,且n=2
此外,每行中重叠的存在性以及视场的存在性的数字和符号分别由以下标记来表示:
1:重叠(清晰的视场).
0:不重叠(清晰的视场)
-:无视场
此外,候选对象信息存储41存储包括过去获取的信息在内的上述信息。
数据处理设备3包括:候选对象获取单元31、重叠状态确定单元32、置信度获取单元33、联动度获取单元34和对象候选确定单元35。
候选对象获取单元31使用视锥相交法来估计对象位置,并获取候选对象。具体地,候选对象获取单元31将第一图像获取单元1和第n图像获取单元2的图像捕捉定时进行同步,并从这些图像获取单元获取图像。候选对象获取单元31对这些图像中的每一个图像执行包括背景减去等在内的图像处理,并获取指示对象区域的图像。候选对象获取单元31使用事先获取的摄像机参数以及指示对象区域的图像,通过视锥相交法获取对象体元(即,指示对象的体元)。
接着,候选对象获取单元31对于平面上的位置统计对象体元的数目,执行阈值处理、标记和质心计算等,并估计对象位置。候选对象获取单元31在候选对象信息存储单元41中,将所述位置处的相应的对象体元存储为构成候选对象的对象体元。
虽然以上描述指出了对象位置估计(即,获取候选对象)的示例,但是可以应用任何方法,只要该方法包括使用视锥相交法来估计对象位置即可。
图5示出了候选对象获取单元31通过图4所示的视锥相交来估计对象位置并获取候选对象O1和O2的示例。即使候选对象获取单元31创建了 对象体元,也可以通过候选对象获取单元31在以下阈值处理中排除对象体元,并且所创建的对象体元可能不是候选对象。
以上描述中指出的摄像机参数指:将屏幕上的二维坐标与真实空间上的三维坐标相关联的参数。即,摄像机参数指示:二维坐标和三维坐标间的转换参数、图像获取单元的以三维坐标表示的位置、以及图像获取单元的三维空间或二维平面中的方向。
使用与每个图像获取单元相对应的摄像机参数,通过候选对象获取单元31的转换过程,图像获取单元获取的二维坐标的图像以及真实空间的三维坐标可以相互转换。
重叠状态确定单元32获取与候选对象间的重叠有关的信息。首先,重叠状态确定单元32执行将对象体元标记为候选对象。
如图5所示,重叠状态确定单元32配置三维模型(即,对象模型),并执行将包括在模型中的对象体元标记为候选对象Oi的对象体元,所述三维模型示出了候选对象Oi的位置处的目标对象的形状。重叠状态确定单元32不使用(或移除)那些不属于任何候选对象的对象体元。
作为对象模型的示例,在目标对象是行人的情况下,重叠状态确定单元32使用圆柱形模型。在以上描述中,虽然描述了重叠状态确定单元32使用对象模型来执行对对象体元的标记的示例,但是可以使用任何方法,只要在目标对象存在于候选对象的位置的假设情况下,重叠状态确定单元32能够执行对对象体元的标记即可。
接着,重叠状态确定单元32在第c图像获取单元创建的视锥处,针对每个候选对象Oi,获取与候选对象间的重叠有关的信息。首先,重叠状态确定单元32在始于第c图像获取单元的投影方向上,针对对象体元,检查摄像机的视场的存在性(即,能或不能保持清晰的视场),所述对象体元被执行标记为候选对象Oi。在该情况下,当摄像机的视场中存在障碍时,重叠状态确定单元32检查是否存在未被障碍阻挡的区域。接着,在清晰的摄像机视场可用的情况下,重叠状态确定单元32对于整个投影方向,检查候选对象Oi以外的候选对象的对象体元与每个候选对象Oi间是否存在重叠。在存在重叠的情况下,接着,重叠状态确定单元32提取处于重叠状态的对象体元的所有候选对象。
图6示出了上述操作的示例。其中,目标对象的对象体元处于以下条件下:
视场的存在性:清晰
重叠的存在性:重叠
处于重叠状态的对象体元的候选对象:O2
重叠状态确定单元32对将被标记为候选对象Oi的整个对象体元执行所述操作,并且重叠状态确定单元32使用式(1)确定重叠状态:
其中,Fi,c是候选对象Oi中,从第c图像获取单元观察具有清晰的视场的对象体元的数目;Ei,c是候选对象Oi中,针对始于第c图像获取单元的投影方向,处于重叠状态的对象体元的数目;以及thi是阈值。
当满足式(1)的条件时,重叠状态确定单元32判定针对候选对象Oi在第c图像获取单元处创建的视锥上存在候选对象间的重叠。换言之,在候选对象的全部对象体元大都与其他候选对象的对象体元重叠的情况下,重叠状态确定单元32确定候选对象与其他候选对象完全重叠。采用该方式,当重叠的对象体元的数目不满足式(1)时,重叠状态确定单元32确定不存在重叠(即,无重叠)。
此外,在Fi,c=0(即,对于第c图像获取单元,不存在视场)的情况下,重叠状态确定单元32确定:对于第c图像获取单元,不存在视场。此外,在重叠状态确定单元32确定存在重叠(即,候选对象重叠)的情况下,重叠状态确定单元32提取具有处于重叠状态下的对象体元的所有候选对象,作为处于重叠状态的候选对象。重叠状态确定单元32在候选对象信息存储单元41中存储与这些重叠状态的确定有关的所有信息。
重叠状态确定单元32针对所有候选对象Oi以及针对所有图像获取单元(即,第c图像获取单元)执行这些操作。此外,重叠状态确定单元32对对象体元数目Fi,c和Ei,c的计数规则可以包括:将同一投影方向上的对象体元的数目计为1的计数方法。
置信度获取单元33针对关于对象体元的信息获取置信度,所述置信度是通过视锥相交法获取的,并且是判决候选对象Oi为现存对象所需的。 候选对象Oi由候选对象获取单元31基于视锥相交法予以确定。在图像获取单元的所有视锥与其他候选对象重叠的情况下,候选对象可能是重象对象。因此,降低信息的置信度。此外,在与其他候选对象的重叠数目可能增加的情况下,更大程度地降低置信度。
相应地,实施例将置信度定义为值。通过使用该值,置信度获取单元33识别候选对象Oi是对象还是非对象(即,重象对象)。置信度获取单元33使用式(2)获取置信度Ri:
此处,Si是每个图像获取单元的针对候选对象Oi被确定为清晰的视场视锥的数目,并且是不大于每个图像获取单元的总视锥数的值。Li是每个图像获取单元的针对候选对象Oi被确定为重叠的视锥的数目。α是系数,并取1至2间的值。置信度Ri将指示0和1间的值。
式(2)指示:在重叠发生在每个图像获取单元的针对候选对象Oi具有清晰的视场的所有视锥(即,Si=Li)上的情况下,置信度随重叠数目变大而降低。此外,由于存在至少一个不重叠的图像获取单元的情形指示不可能存在重象对象,置信度获取单元33判定关于与该视锥相交有关的信息的置信度是高(Ri=1)。置信度获取单元33从候选对象信息存储单元41中提取在式(2)的计算中使用的Si和Li。
考虑到候选对象间的重叠情形,置信度Ri可以被表示为如式(3)所示。置信度获取单元33对于被确定为具有清晰的视场的图像获取单元(即,第c图像获取单元),执行式(3)中∑的计算以及“min”的选择。
联动度获取单元34获取联动度,所述联动度示出了随候选对象Oi的运动联动的其他候选对象的数目。由于重象对象是根据实际对象的视锥形成的,其必然随实际对象联动。另一方面,实际对象很少完全随其他 对象联动,并且随着实际对象数目的增加,实际对象的联动更为少见。
相应地,在实施例中定义了联动度的值。联动度获取单元34使用该值,将候选对象Oi识别为对象或非对象(即,重象对象)。联动度获取单元34使用式(4)来获取联动度Gi:
此处,Ki是包括与候选对象Oi的运动联动的其他候选对象在内的视锥的数目(即,其单位基于图像获取单元的数目的视锥的数目),并且是不大于每个图像获取单元的总视锥数的值(具体地,将不大于上述Li)。稍后将描述Ki计算的详细方法。β是系数,并取1至2间的值。因此,联动度Gi将取0和1间的值。
式(4)指示:联动度Gi随着与候选对象Oi的运动联动的其他候选对象的数目变大而变大。
具体地,可以按如下方式计算Ki。联动度获取单元34使用在候选对象信息存储单元41中存储的信息,作为计算Ki所需的信息。首先,联动度获取单元34提取被确定为在第c图像获取单元的视场中与候选对象Oi处于重叠状态的另一候选对象(可以是多个候选对象)。接着,联动度获取单元34提取关于在先候选对象Oi(A*)的信息,所述在先候选对象是在前一时间捕捉的,并且位于与当前候选对象Oi最近的位置。此外,联动度获取单元34还针对在上述过程中获取的并且处于重叠状态的另一候选对象(即,当前另一候选对象;并且可以是多个候选对象),提取关于在先候选对象(B*)的那些信息,所述在先候选对象(B*)位于与当前另一候选对象最近的位置。
如果在与其他候选对象有关的信息中,存在至少一个与关于被提取为B*的在先候选对象的信息一致的信息,则联动度获取单元34使计数Ki加1,所述其他候选对象处于第c图像获取单元的针对被指示为上述A*的在先候选对象Oi的重叠状态。对所有图像获取单元执行该过程,以获取Ki。
图7示出了如何计算连续度,作为联动获取单元34的过程的示例。这些过程是按照从“a”到“e”的顺序执行的。在图中,t和t-1按如下方式定 义:
t:当前
t-1:前一时间
过程a:联动度获取单元34选择O2 (t)作为候选对象(即,图7中的由最近的虚线圈“a”中的十字指示的候选对象)。
过程b:联动度获取单元34提取O3 (t)作为另一候选对象(即,图7中的由围绕最近的虚线圈“b”中的十字的圆圈指示的候选对象),该另一候选对象处于摄像机A的针对O2 (t)的重叠状态。应当注意的是,虽然处于重叠状态的另一候选对象也存在于摄像机B的视场中,但图7仅示出了摄像机A的视场作为示例。
过程c:假定当前候选对象是O2 (t),联动度获取单元34提取位于起始自O2 (t)的箭头前面的候选对象O2 (t-1)(即,图7中的由箭头c前面的十字指示的候选对象),作为位于最近位置的在先候选对象。
过程d:假定处于所获取的重叠状态的另一候选对象(当前候选对象)是O3 (t),联动度获取单元34提取位于起始自O3 (t)的箭头前面的O1 (t-1)(即,图7中的由围绕箭头d前面的十字的圆圈指示的候选对象),作为位于最近位置的在先候选对象。
过程e:假定在先候选对象是O2 (t-1),联动度获取单元34检查其他候选对象(即,图7中的虚椭圆线e中指示的候选对象)中是否可能存在至少一个在先候选对象O1 (t-1),在从摄像机A观察时所述其他候选对象与O2 (t-1)重叠。在图7中,由于如以上所述存在O1 (t-1),将对Ki进行计数。
对象候选确定单元35使用从置信度获取单元33获取的置信度Ri和从联动度获取单元34获取的联动度Gi,根据式(5),计算候选对象Oi的对象或非对象的后验概率。接着,对象候选确定单元35区分候选对象Oi是对象还是非对象,并输出被确定为对象的候选对象Oi的位置。由于对象候选确定单元35不输出被判定为非对象(即,重象对象)的候选对象Oi的位置,可以减少对对象位置的不正确的估计。
此处,ωi具有0和1两个状态,其中,ωi=1指示对象,ωi=0指示非对象。此外,先验概率P(ωi)可以被设置为0.5,或者可以基于用户的知识进行适当地设置。此外,在ωi=1的情况下,作为置信度Ri的概率密度函数P(Ri|ωi),对象候选确定单元35选择函数,使得概率密度随置信度Ri变高而变高(是对象的可能性变高),概率密度随置信度Ri变低而变低。
此外,在ωi=0的情况下,对象候选确定单元35选择逆函数。作为联动度Gi的概率密度函数P(Gi|ωi),在ωi=1的情况下,对象候选确定单元35选择函数,使得概率密度随联动度Gi变低而变高(是对象的可能性变高),概率密度随联动度Gi变高而变低。对象候选确定单元35将概率密度函数的积分值设置为1。
此处,虽然如上定义了概率密度函数,但对象候选确定单元35可以通过学习概率密度函数来进行估计。此外,虽然如上所述对象候选确定单元35同时使用从置信度获取单元33获取的置信度Ri和从联动度获取单元34获取的联动度Gi来获取候选对象Oi的对象或非对象的后验概率,但对象候选确定单元35可以使用置信度和联动度之一来获取后验概率。在该情况下,对象候选确定单元35使用以下式(5-1)或式(5-2)来获取对象或非对象的后验概率。此外,在该情况下,完整的实施例采取图19(仅针对置信度的情况)或图20所示的配置(仅针对联动度的情况)。
接着,将参照图2、图8、图9、图10、图11、图12、图13和图14详细描述第一实施例的操作。
图8示出了根据第一实施例的操作的流程图。第一图像获取单元1至第n图像获取单元2从数字摄像机或视频摄像机等的运动图像获取图像。 接着,候选对象获取单元31在同步n个图像获取单元间的捕捉定时后获取每个图像获取单元捕捉的图像(步骤S1)。接着,候选对象获取单元31执行诸如背景减去等图像处理,获取指示对象区域的图像,并在每个图像上通过视锥相交法获取对象体元。此外,候选对象获取单元31对于平面上的每个位置统计对象体元的数目,在阈值处理、标记和质心计算等后估计对象的位置,并在候选对象信息存储单元41中将估计值存储为候选位置的位置(步骤S2)。
重叠状态确定单元32在第c图像获取单元所创建的视锥中,针对候选对象Oi,获取与候选对象间的重叠有关的信息(步骤S3)。
此处,将根据图9所示的流程图进一步详细地描述步骤S3。重叠状态确定单元32配置对象模型,所述对象模型指示候选对象Oi的位置处的目标对象的形状(步骤S301),并执行对在该对象模型中包括的对象体元的标记,将所述对象体元标记为候选对象Oi的对象体元(步骤S302)。
在重叠状态确定单元32已完成了步骤S302的过程后,重叠状态确定单元32检查是否已针对所有候选对象Oi完成了过程步骤S301至步骤S302(步骤303),并在尚未针对所有候选对象Oi完成过程时(步骤S303中的否),重复步骤S301至步骤S302,直至过程被完成。
在重叠状态确定单元32已针对所有候选对象Oi完成了过程的情况下(步骤S303中的是),其移除未被标记的对象体元(步骤S304)。
接着,重叠状态确定单元32选择候选对象Oi作为处理对象(步骤S305),并选择与作为处理对象的候选对象Oi相对应的第c图像获取单元(步骤S306)。接着,重叠状态确定单元32将数目Fi,c和Ei,c初始化为0计数,Fi,c是候选对象Oi的从第c图像获取单元观察具有清晰的视场的对象体元的数目,Ei,c是候选对象Oi的在始于第c图像获取单元的投影方向上具有重叠的对象体元的数目(步骤S307)。
接着,将根据图10和11所示的流程图,描述图9中从圆圈内的数字2到圆圈内的数字4。重叠状态确定单元32从候选对象Oi中,选择对象体元作为所要标记的处理对象(步骤S308),并且针对候选对象Oi中被执行标记的对象体元,调查在第c图像获取单元的投影方向上从摄像机观察的视场是否可用(步骤S309)。在该情况下,当在摄像机的视场中存在障碍时, 重叠状态确定单元32检查是否存在未被障碍干扰的区域。
在存在清晰的视场的情况下(步骤S309中的是,图10),重叠状态确定单元32令数目Fi,c增加(即,Fi,c=Fi,c+1)(步骤S310,图10),并且针对始于第c图像获取单元的所有投影方向,调查是否存在与其他候选对象的对象体元的重叠(步骤S311,图10)。在存在重叠的情况下(步骤311中的是,图10),重叠状态确定单元32令数目Ei,c增加(即,Ei,c=Ei,c+1)(步骤S312,图10),并提取处于重叠状态的对象体元的所有候选对象(数目i)(步骤S313,图10)。
在不存在视场(步骤S309中的否,图10)或不存在重叠(步骤S311中的否,图10)或已完成步骤S313(图10)的过程时,重叠状态确定单元3检查是否已针对候选对象Oi中所有所要标记的对象体元完成了过程步骤S308至步骤S313(图10)(步骤S314,图10)。
在尚未针对候选对象Oi中所有所要标记的对象体元完成所述过程的情况下(步骤S314中的否,图10),重叠状态确定单元32重复步骤S308至步骤S314(图10),直至过程被完成。在已针对候选对象Oi中所有所要标记的对象体元完成了过程的情况下(步骤S314中的是,图10),重叠状态确定单元32确定是否有Fi,c=0(步骤S315,图11)。在Fi,c=0的情况下(步骤S315中的是,图11),重叠状态确定单元32确定候选对象Oi处于从第c图像获取单元观察无视场的状态,并且在候选对象信息存储单元41上存储该信息(步骤S316,图11)。
在不满足Fi,c=0的情况下(步骤S315中的否,图11),重叠状态确定单元32确定是否满足式(1)的条件(步骤S317,图11),并在不满足式(1)时(步骤S317中的否,图11),向候选对象信息存储单元41存储基于确定在第c图像获取单元的投影方向上不存在候选对象Oi的重叠的信息(步骤S318,图11)。
在满足式(1)的情况下(步骤S317中的是,图11),重叠状态确定单元32判决在第c图像获取单元的投影方向上存在候选对象Oi的重叠,并向候选对象信息存储单元41存储该信息(步骤S319,图11)。此外,重叠状态确定单元32在候选对象信息存储单元41中存储处于重叠状态的对象体元的所有候选对象,作为重叠状态下的候选对象(步骤S320,图11)。
如果已完成了步骤S316、步骤S318或步骤S320的过程,重叠状态确定单元32检查是否针对所有第c图像获取单元执行了过程步骤S306至步骤S320(步骤S321,图9),并在尚未针对所有第c图像获取单元完成过程的情况下(步骤S321中的否,图9),重复步骤S306至步骤S321的过程(图9,10和11),直至过程被完成。
在已针对所有第c图像获取单元完成了过程的情况下(步骤S321中的是,图9),重叠状态确定单元32检查是否针对所有候选对象Oi执行了过程步骤S305至步骤S321(图9,10和11)(步骤S322),并在尚未针对所有候选对象Oi完成过程的情况下(步骤S322中的否),重复从步骤S305到步骤S322的过程,直至过程被完成。
在已完成了针对所有候选对象Oi的过程的情况下(步骤S322中的是),重叠状态确定单元32完成步骤S3的过程。
接着,置信度获取单元33针对通过视锥相交法获取的对象体元,获取判决候选对象Oi是否为现存对象所需的置信度(步骤S4,图8)。
此处,将根据图12所示的流程图进一步详细描述步骤S4。置信度获取单元33使用候选对象信息存储单元41,计算并获取每个图像获取单元的针对候选对象Oi被确定为从每个图像获取单元观察具有清晰的视场的视锥的数目Si(步骤S401,图12)。
接着,置信度获取单元33使用候选对象信息存储单元41,计算并获取每个图像获取单元的针对候选对象Oi被确定为在图像获取单元处重叠的视锥的数目Li(步骤S402,图12)。接着,置信度获取单元33使用在步骤S401中获取的Si和在步骤S402中获取的Li,通过式(2),计算并获取置信度Ri(步骤S403,图12)。
如果已完成了步骤S403的过程,置信度获取单元33检查是否针对所有候选对象Oi执行了步骤S401至步骤S403的过程(步骤S404,图12),并在尚未针对所有候选对象Oi完成了过程的情况下(步骤S404中的否,图12),重复步骤S401至步骤S404,直至过程被完成。在已针对所有候选对象Oi完成了过程的情况下(步骤S404中的是,图12),置信度获取单元33完成步骤S4的过程。
接着,联动度获取单元34获取联动度,所述联动度示出了其他候选 对象随候选对象Oi的运动联动的程度(步骤S5,图8)。
此处,将根据图13所示的流程图进一步详细描述步骤S5。联动度获取单元34在所要处理的候选对象Oi中选择一个候选对象(步骤S501,图13),并将每个图像获取单元的包括与候选对象Oi的运动联动的其他候选对象在内的视锥的数目Ki初始化为0(步骤S502,图13)。
接着,联动度获取单元34在与候选对象Oi相对应的第c图像获取单元中选择一个图像获取单元(步骤S503,图13),并从候选对象信息存储单元41中提取从第c图像获取单元观察与候选对象Oi处于重叠状态的其他候选对象(步骤S504,图13)。
接着,联动度获取单元34从候选对象信息存储单元41中提取位于与当前候选对象Oi最近的位置的在先候选对象Oi(步骤S505,图13)。此外,联动度获取单元34从候选对象信息存储单元41中提取与在先候选对象有关的信息,所述在先候选对象位于与在步骤S504中获取的其他候选对象(即,当前候选对象)最近的位置并且处于重叠状态(步骤S506,图13)。接着,联动度获取单元34从候选对象信息存储单元41中提取从第c图像获取单元观察与在先候选对象Oi处于重叠状态的(图13)、在步骤S505中获取的其他候选对象(图13和步骤S507)。接着,联动度获取单元34确定在步骤S507中提取的候选对象中是否存在至少一个在步骤S506(图13)中提取的候选对象(步骤S508,图13)。
在存在至少一个的情况下(步骤S508中的是,图13),联动度获取单元34令数目Ki增加(即,Ki=Ki+1)(步骤S509,图13)。在不存在(步骤S508中的否,图13)或已完成步骤S509的过程(图13)的情况下,联动度获取单元34检查是否已对于所有第c图像获取单元执行了过程步骤S503至步骤S509(图13)(步骤S510,图13)。
在尚未针对所有第c图像获取单元完成过程的情况下(步骤S510中的否),联动度获取单元34重复步骤S503至步骤S510的过程(图13),直至过程被完成。在已针对所有第c图像获取单元完成了过程的情况下(步骤S510中的是,图13),联动度获取单元34使用所获取的Ki,通过式(4),计算并获取联动度Gi(步骤S511,图13)。
当已完成步骤S511的过程(图13)时,联动度获取单元34检查是否对 所有候选对象Oi执行了步骤S501至步骤S511的过程(图13)(步骤S512,图13)。在尚未针对所有候选对象Oi完成过程的情况下(步骤S512中的否,图13),联动度获取单元34重复步骤S501至步骤S512的过程(图13),直至过程被完成。在已针对所有候选对象Oi完成了过程的情况下(步骤S512中的是,图13),联动度获取单元34完成步骤S5的过程(图8)。
接着,对象候选确定单元35获取候选对象Oi的对象或非对象的后验概率,将候选对象Oi识别为对象或非对象,并输出被确定为对象的候选对象Oi的位置(步骤S6,图8)。
将根据图14所示的流程图进一步详细描述步骤S6。对象候选确定单元35在所要处理的对象中选择候选对象Oi(步骤S601,图14)。
接着,对象候选确定单元35使用从置信度获取单元33获取的置信度Ri和从联动度获取单元34获取的联动度Gi,通过式(5),获取候选对象Oi的对象或非对象的后验概率(步骤S602,图14)。
此外,对象候选确定单元35确定对象的后验概率是否大于非对象的后验概率(步骤S603,图14),并且在对象的后验概率大于非对象的后验概率的情况下(步骤S603中的是,图14),输出候选对象Oi的对象位置(步骤S604,图14)。在对象的后验概率不大于非对象的后验概率(步骤S603中的否,图14)或已完成步骤S604的过程(图14)的情况下,对象候选确定单元35检查是否对于所有候选对象Oi执行了步骤S601至步骤S604的过程(图14)。接着,在尚未针对所有候选对象Oi完成过程的情况下(步骤S605中的否,图14),对象候选确定单元35重复步骤S601至步骤S605的过程(图14),直至过程被完成。
在已针对所有候选对象Oi完成了过程的情况下(步骤S605中的是,图14),完成步骤S6的过程。
接着,将描述第一实施例的效果。
根据第一实施例,由于使用后验概率来将通过视锥相交法获取的候选对象识别为对象或非对象,并仅仅输出被确定为对象的候选对象的对象位置,所述后验概率使用包括置信度或联动度在内的两个指标,因此可以降低将重象对象位置估计为不正确的对象的可能性。此外,使用包括置信度和联动度在内的两个指标,可以减少错误估计的对象位置。
此处,置信度的特征可以由以下事实来表示:重象对象构成的所有视锥与实际对象构成的视锥重叠;以及重象对象的可能性会随着重叠的增加而增加。
此外,联动度的特征可以由以下事实来表示:重象对象与实际对象的运动联动;以及重象对象的可能性会随着重象对象的实际对象联动数目的增加而增加。
第二示例实施例
接着,将参照附图进一步详细描述第二实施例。图15是示出了根据第二实施例的配置的框图。
参照图15,第二实施例包括以下配置:其中,如图15中的设备200所示,将连续度获取单元36添加至根据图2所示的第一实施例的数据处理设备2。此外,根据第二实施例,相对于第一实施例,修改候选对象信息存储单元41的部分内容、置信度获取单元33和对象候选确定单元35。
接着,将根据第二实施例来描述候选对象信息存储单元41的内容、置信度获取单元33、连续度获取单元36和对象候选确定单元35。
除了根据第一实施例存储的内容以外,候选对象信息存储单元41还存储在置信度获取单元33中获取的置信度Ri。应当指出的是,候选对象信息存储单元41还存储与图像获取单元在前一时间捕捉的过去图像有关的信息。
除了根据第一实施例存储的内容以外,置信度获取单元33还在候选对象信息存储单元41中存储所获取的置信度Ri。
连续度获取单元36获取连续度,所述连续度示出了:针对当前候选对象Oi,从在先候选对象Oi起,候选对象Oi在时间序列中连续存在。连续度获取单元36通过提取位于与候选对象Oi最近的位置并且由候选对象获取单元在前一时间获取的在先候选对象Oi,来获取连续度的指标。具体地,该指标是:当前候选对象Oi的位置和在先候选对象Oi的位置间的距离di(即,空间方向上的指标),以及在先候选对象Oi的置信度Ri’(即,时间方向上的指标)。
在候选对象Oi是对象的情况下,候选对象Oi在时间空间中连续存在。 即,过去在当前候选对象Oi附近存在有效的视锥相交。如果空间方向线上的指标di变小,则该情形意味着候选对象连续存在。此外,如果时间方向上的指标Ri’变大,则该情形意味着候选对象连续存在。在候选对象Oi是重象对象的情况下,对象在时间空间上不是连续存在的,并且同对象连续存在的情况相比,空间方向的指标di极大;或者同对象连续存在的情况相比,时间方向上的指标Ri’极小。
此处,连续度获取单元36使用在候选对象信息存储单元41中存储的信息作为用于获取连续度的指标的信息。此外,如以上所述,假定在类型ωi的条件下(即,对象或非对象重象(图像对象))距离di和置信度Ri’不相互独立。
对象候选确定单元35将从连续度获取单元36获取的距离di和置信度Ri’添加至第一实施例,并通过式(6)获取候选对象Oi的对象或非对象的后验概率。
此处,由于di和Ri’不独立,函数P(di,Ri’|ωi)仍保留在式(6)中。
对象候选确定单元35针对概率密度函数P(di,Ri’|ωi)选择函数,使得:在ωi=1的情况下,概率密度随距离di变短和置信度Ri’变高而变高,并且概率密度随距离di变长或置信度Ri’变低而变低。
相反,对象候选确定单元35针对概率密度函数P(di,Ri’|ωi)选择函数,使得:在ωi=0的情况下,概率密度随距离di变长和置信度Ri’变低而变高,并且概率密度随距离di变短或置信度Ri’变高而变低。对象候选确定单元35将概率密度函数的积分值设置为1。此处,虽然如上定义了概率密度函数,但对象候选确定单元35可以通过学习概率密度函数来进行估计。
接着,将参照图12、图14、图15、图16和图17详细描述第二实施例的操作。
根据第二实施例,将图16所示的操作(步骤S7)添加至图8所示的第一实施例的操作。此外,第二实施例与第一实施例的不同之处在于:第二 实施例修改了图12所示的操作(步骤S403)和图14所示的操作(步骤S602)。由于其他步骤与第一实施例的操作相同,将跳过对其他步骤的描述。
首先,按如下方式修改图12所示的操作(步骤S403)。通过使用在步骤S401中获取的Si和在步骤S402中获取的Li,置信度获取单元33通过式(2)计算并获取置信度Ri,并在候选对象信息存储单元41中加以存储(步骤S403)。
接着,将图16所示的步骤S7的操作添加至图8。
连续度获取单元36获取候选对象Oi的连续度,所述连续度表示:从在先候选对象Oi起,候选对象Oi是否在时间空间中连续存在(步骤S7,图16)。
将参照图17所示的流程图,进一步详细描述步骤S7。连续度获取单元36选择过程目标下的候选对象Oi之一(步骤S701,图17),并从候选对象信息存储单元41中提取与在先候选对象Oi有关的信息,所述在先候选对象Oi是候选对象获取单元在前一时间获取的,并且位于与当前候选对象Oi最近的位置(步骤S702,图17)。
接着,连续度获取单元36计算并获取当前候选对象Oi的位置和在先候选对象Oi的位置间的距离di(即,连续度:空间方向的指标)(步骤S703,图17)。此外,连续度获取单元36从候选对象信息存储单元41中获取在先候选对象Oi的在步骤S702中提取的置信度Ri’(即,连续度:时间方向上的指标),所述在先候选对象Oi是候选对象获取单元在前一时间获取的(步骤S704,图17)。
如果已完成了步骤S704的过程(图17),连续度获取单元36检测是否针对所有候选对象Oi执行了过程步骤S701至步骤S704(图17)(步骤S705,图17)。在尚未针对所有候选对象Oi完成过程的情况下(步骤S705中的否,图17),连续度获取单元36重复过程步骤S701至步骤S705(图17),直至过程被完成。如果已针对所有候选对象Oi完成了过程(步骤S705中的是,图17),连续度获取单元36完成步骤S7的过程。
最后,在该实施例中,按如下方式修改图14中所示的操作(步骤S602,图14)。在步骤S602中,对象候选确定单元35使用从置信度获取单元33获取的置信度Ri、从联动度获取单元34获取的联动度Gi、从连续度获取 单元36获取的距离di以及在先候选对象的置信度Ri’,通过式(6),来获取候选对象Oi的对象或非对象的后验概率。
接着,将描述第二实施例的效果。第二实施例利用了实际对象在时间空间中连续存在的特征。具体地,对象候选确定单元35在将两个指标加入在第一实施例中使用的指标后,计算后验概率,所述两个指标包括:当前候选对象和与该当前候选对象相对应的在先候选对象间的距离、以及在先候选对象的置信度。接着,使用该结果,对象候选确定单元35识别通过视锥相交法获取的候选对象是对象还是非对象。由于对象候选确定单元35被构成为可以输出被确定为对象的候选对象的对象位置,因此能够减少对作为重象对象的对象位置的不正确的估计。
第三示例实施例
接着,将参照附图详细描述第三实施例。参照图18,就在该实施例中包括第一图像获取单元1、第n图像获取单元2和具有候选对象信息存储单元41的存储设备4而言,第三实施例与第一实施例相似,并且在第三实施例中上述组件与计算机100相连。此外,存储有对象位置估计程序101的计算机可读存储介质102与计算机100相连。
计算机可读存储介质102由磁盘或半导体存储器等构成,并且当启动计算机100时,将由计算机100读取在计算机可读存储介质102中存储的对象位置估计程序101。由于程序能够使计算机100执行与上述第一实施例中的数据处理设备3中的每个单元31至35相对应的功能,因此能够如图8至14所示的执行过程。
在该实施例中,尽管实现了使用计算机和程序的根据第一实施例的对象位置估计设备,也还可以实现使用计算机和程序的根据第二实施例的对象位置估计设备。
此外,根据上述实施例,对于通过视锥相交法获取的对象位置,可以降低对象候选确定单元35假定重象对象是现存对象而估计出不正确的对象位置的风险。
其原因在于:对象候选确定单元35使用置信度或联动度或者这两个指标来识别实际对象或重象对象,并且从通过视锥相交法获取的对象位 置中排除重象对象。此处,置信度的特征可以由以下事实来表示:重象对象构成的所有视锥与实际对象构成的视锥重叠;以及重象对象的可能性会随着重叠的增加而增加。此外,联动度的特征可以由以下事实来表示:重象对象与实际对象的运动联动;以及重象对象的可能性会随着重象对象的实际对象联动数目的增加而增加。
其他示例实施例
此外,本发明可以包括:重叠状态确定单元32,基于在候选对象信息存储单元41中存储的信息,获取针对候选对象被确定为与其他候选对象重叠的视锥的数目;以及置信度获取单元,获取基于该数目计算的可靠度,作为候选对象的置信度的指标。
此外,本发明可以包括:连续度获取单元,基于实际对象在时间空间中连续存在这一事实,针对候选对象获取作为连续度的指标,所述指标包括距离和置信度,所述距离是当前候选对象和与该当前候选对象相对应的在先候选对象间的距离,所述置信度表示在先候选对象的视锥相交信息的可靠度。
此外,根据本发明的联动度获取单元可以获取包括与候选对象的运动联动的其他候选对象在内的视锥的数目,并通过从1中减去一个值的倒数与预先固定的系数的乘积来计算联动度,所述值是通过将所述视锥数目加1而获得的。
此外,根据本发明的置信度获取单元可以通过以下步骤a:至步骤c:来获取置信度。
步骤a:置信度获取单元获取在基于所捕捉的候选对象的图像而获取的视锥中被确定为具有清晰的视场的视锥的数目,以及在基于所捕捉的候选对象的图像而获取的视锥中被确定为与其他候选对象重叠的视锥的数目。
步骤b:如果在步骤a:中确定的相应的视锥数目不同,则置信度获取单元将置信度的值设置为1。
步骤c:如果在步骤a:中确定的相应的视锥数目相同,则置信度获取单元将置信度的值设置为:被确定为重叠的视锥的数目的倒数值与预 先固定的系数的乘积。此外,根据本发明的由连续度获取单元获取在先候选对象可以包括:提取并获取位于与当前候选对象最近的位置并且在图像捕捉单元中同步捕捉的在先候选对象。
此外,本发明可以包括置信度获取步骤,包括:由重叠状态确定单元32基于在候选对象信息存储步骤中存储的信息,获取针对候选对象被确定为与其他候选对象重叠的视锥的数目;以及获取基于该数目计算的可靠度,作为候选对象的置信度的指标。
此外,本发明可以包括连续度获取步骤,其中,基于实际对象在时间空间中连续存在这一事实,针对候选对象获取作为连续度的指标,所述指标包括距离和置信度,所述距离是当前候选对象和与该当前候选对象相对应的在先候选对象间的距离,所述置信度表示在先候选对象的视锥相交信息的可靠度。
此外,根据本发明的联动度获取步骤可以获取包括与候选对象的运动联动的其他候选对象在内的视锥的数目,并通过从1中减去一个值的倒数与预先固定的系数的乘积来计算联动度,所述值是通过将所述视锥数目加1而获得的。
此外,根据本发明的置信度获取步骤可以通过以下步骤a:至步骤c:来获取置信度。
步骤a:置信度获取单元获取在基于所捕捉的候选对象的图像而获取的视锥中被确定为具有清晰的视场的视锥的数目,以及在基于所捕捉的候选对象的图像而获取的视锥中被确定为与其他候选对象重叠的视锥的数目。
步骤b:如果在步骤a:中确定的相应的视锥的数目不同,则置信度获取单元将置信度的值设置为1。
步骤c:如果在步骤a:中确定的相应的视锥的数目相同,则置信度获取单元将置信度的值设置为:被确定为重叠的视锥的数目的倒数值与预先固定的系数的乘积。
此外,根据本发明的在连续度获取步骤中获取在先候选对象可以包括:提取并获取位于与当前候选对象最近的位置并且在图像捕捉单元中同步捕捉的在先候选对象。
此外,本发明可以用软件程序使对象位置估计设备执行置信度获取过程,从而由重叠状态确定单元32基于在候选对象信息存储单元41中存储的信息,获取针对候选对象被确定为与其他候选对象重叠的视锥的数目;以及获取基于该数目计算的视锥相交信息的可靠度,作为候选对象的置信度的指标。
此外,本发明可以用软件程序使对象位置估计设备执行连续度获取过程,所述连续度获取过程基于实际对象在时间空间中连续存在这一事实,针对候选对象获取作为连续度的指标,所述指标包括距离和置信度,所述距离是当前候选对象和与该当前候选对象相对应的在先候选对象间的距离,所述置信度表示在先候选对象的视锥相交信息的可靠度。
此外,根据本发明的联动度获取过程可以用软件程序使对象位置估计设备获取包括与候选对象的运动联动的其他候选对象在内的视锥的数目,并通过从1中减去一个值的倒数与预先固定的系数的乘积来计算联动度,所述值是通过将所述视锥数目加1而获得的。
此外,根据本发明的置信度获取过程可以用软件程序使对象位置估计设备执行以下过程:
过程a:置信度获取单元获取在基于所捕捉的候选对象的图像而获取的视锥中被确定为具有清晰的视场的视锥的数目,以及在基于所捕捉的候选对象的图像而获取的视锥中被确定为与其他候选对象重叠的视锥的数目。
过程b:如果在过程a:中确定的相应的视锥的数目不同,则置信度获取单元将置信度的值设置为1。
过程c:如果在过程a:中确定的相应的视锥的数目相同,则置信度获取单元将置信度的值设置为:被确定为与视锥中的其他候选对象重叠的视锥的数目的倒数值与预先固定的系数的乘积。
此外,根据本发明的在连续度获取过程中获取在先候选对象可以用软件程序使对象位置估计设备执行:提取并获取位于与当前候选对象最近的位置并且在图像捕捉单元中同步捕捉的在先候选对象。
虽然参照实施例描述了本申请的发明,但本申请的发明不限于上述实施例。应理解的是,所属领域技术人员能够在本申请的发明的范围内, 对本申请的发明的配置和细节做出各种改变。
本申请要求于2009年4月28日提交的日本专利申请No.2009-109827的优先权,其全部内容被并入于此作为参考。
工业实用性
根据本发明,使计算机执行对象位置估计设备、对象位置估计方法和程序的软件程序可以适用于各种用途,包括:监视域中的侵入检测、对可疑人员的检测、对不明对象的遗弃的检测、搬移行李检测、追尾检测、用于检测拥塞和队列的设备、市场中的流分析、行为分析设备、用于从视频摄像机或所存储的视频输入对象位置的接口设备、以及具有对象位置的触发键的视频摄像机或图像取得设备。
附图标记说明
1 第一图像获取单元
2 第n图像获取单元
3 数据处理设备
4 存储设备
31 候选对象获取单元
32 重叠状态确定单元
33 置信度获取单元
34 联动度获取单元
35 对象候选确定单元
36 连续度获取单元
41 候选对象信息存储单元
100 计算机
101 对象位置估计程序
102 计算机可读存储介质
200 数据处理设备
Claims (10)
1.一种对象位置估计设备,包括:
对象候选获取单元,用于通过视锥相交法来估计对象位置并获取候选对象;
对象候选信息存储单元,针对基于捕捉到的图像所获取的对象的视锥,存储与所述候选对象间的重叠有关的信息;
联动度获取单元,用于获取所述候选对象的联动度,所述联动度是基于包括与所述候选对象的运动联动的其他候选对象在内的视锥的数目计算的;或者置信度获取单元,用于获取所述候选对象的置信度,所述置信度是基于重叠条件确定单元确定存在所述候选对象与其他候选对象的重叠的视锥的数目计算的;以及
候选对象确定单元,用于通过后验概率将所述候选对象识别为对象或非对象,并输出被确定为对象的所述候选对象的位置,所述后验概率是基于所获取的所述联动度或所述置信度计算的。
2.根据权利要求1所述的对象位置估计设备,还包括:
连续度获取单元,用于针对所述候选对象获取连续度,所述连续度包括差和置信度,所述差是所述候选对象的当前位置和与所述候选对象相对应的候选对象的前一位置间的差,所述置信度是与所述候选对象相对应的在先候选对象的置信度,其中
所述候选对象确定单元通过后验概率将所述候选识别为对象或非对象,所述后验概率是基于所述联动度或基于所述置信度或基于所述连续度计算的。
3.根据权利要求1所述的对象位置估计设备,其中
所述联动度是通过从1中减去一个乘积来计算的,所述乘积是一个值的倒数与预先固定的系数的乘积,所述值是通过将包括与所述候选对象的运动联动的其他候选对象在内的视锥的数目加1获得的。
4.根据权利要求1所述的对象位置估计设备,其中所述置信度获取单元:
如果在基于所捕捉的候选对象的图像而获取的视锥中被确定为具有清晰的视场的视锥的数目不同于在基于所捕捉的候选对象的图像而获取的视锥中被确定为与其他候选对象重叠的视锥的数目,将所述置信度设置为1;以及
如果在基于所捕捉的候选对象的图像而获取的视锥中被确定为具有清晰的视场的视锥的数目与在基于所捕捉的候选对象的图像而获取的视锥中被确定为与其他候选对象重叠的视锥的数目相同,将所述置信度设置为:被确定为重叠的视锥的数目的倒数值与预先固定的系数的乘积。
5.根据权利要求2所述的对象位置估计设备,其中,
在存在与所述候选对象相对应的多个在先候选对象的情况下,连续度获取单元选择位于与所述候选对象最近的位置并且与所述候选对象相对应的在先候选对象。
6.一种对象位置估计方法,包括:
通过视锥相交法来估计对象位置并获取候选对象;
针对基于捕捉到的图像所获取的对象的视锥,存储与所述候选对象间的重叠有关的信息;
获取所述候选对象的联动度,所述联动度是基于包括与所述候选对象的运动联动的其他候选对象在内的视锥的数目计算的;或者基于所存储的与重叠有关的所述信息获取针对所述候选对象被确定为与其他候选对象重叠的视锥的数目,并基于所述视锥的数目计算置信度;
通过后验概率将所述候选对象识别为对象或非对象,所述后验概率是基于所获取的所获取的所述联动度或所述置信度计算的;以及
输出被确定为对象的所述候选对象的位置。
7.根据权利要求6所述的对象位置估计方法,还包括:
获取连续度,所述连续度包括差和置信度,所述差是所述候选对象的当前位置和与所述候选对象相对应的候选对象的前一位置间的差,所述置信度是与所述候选对象相对应的在先候选对象的置信度,以及
通过后验概率将所述候选识别为对象或非对象,所述后验概率是基于所述联动度或基于所述置信度或基于所述连续度计算的。
8.根据权利要求6所述的对象位置估计方法,其特征在于:
所述联动度是通过从1中减去一个乘积来计算的,所述乘积是一个值的倒数与预先固定的系数的乘积,所述值是通过将包括与所述候选对象的运动联动的其他候选对象在内的视锥的数目加1获得的。
9.根据权利要求6所述的对象位置估计方法,包括:
如果在基于所捕捉的候选对象的图像而获取的视锥中被确定为具有清晰的视场的视锥的数目不同于在基于所捕捉的候选对象的图像而获取的视锥中被确定为与其他候选对象重叠的视锥的数目,将所述置信度设置为1;以及
如果在基于所捕捉的候选对象的图像而获取的视锥中被确定为具有清晰的视场的视锥的数目与在基于所捕捉的候选对象的图像而获取的视锥中被确定为与其他候选对象重叠的视锥的数目相同,将所述置信度设置为:被确定为重叠的视锥的数目的倒数值与预先固定的系数的乘积。
10.根据权利要求7所述的对象位置估计方法,其中,在存在与所述候选对象相对应的多个在先候选对象的情况下,选择位于与所述候选对象最近的位置并且与所述候选对象相对应的在先候选对象。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009109827 | 2009-04-28 | ||
JP2009-109827 | 2009-04-28 | ||
PCT/JP2010/057524 WO2010126071A1 (ja) | 2009-04-28 | 2010-04-21 | 物***置推定装置、物***置推定方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102414718A CN102414718A (zh) | 2012-04-11 |
CN102414718B true CN102414718B (zh) | 2014-12-10 |
Family
ID=43032215
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201080018812.9A Active CN102414718B (zh) | 2009-04-28 | 2010-04-21 | 对象位置估计设备和对象位置估计方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US8885879B2 (zh) |
EP (1) | EP2426643A4 (zh) |
JP (1) | JP5454573B2 (zh) |
CN (1) | CN102414718B (zh) |
WO (1) | WO2010126071A1 (zh) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9341705B2 (en) | 2008-01-31 | 2016-05-17 | Bae Systems Information And Electronic Systems Integration Inc. | Passive ranging of a target |
US8436762B2 (en) * | 2008-01-31 | 2013-05-07 | Bae Systems Information And Electronic Systems Integration Inc. | Determining at least one coordinate of an object using intersecting surfaces |
WO2013006649A2 (en) | 2011-07-05 | 2013-01-10 | Omron Corporation | A method and apparatus for projective volume monitoring |
US9501692B2 (en) * | 2011-10-14 | 2016-11-22 | Omron Corporation | Method and apparatus for projective volume monitoring |
JP6303254B2 (ja) * | 2012-10-12 | 2018-04-04 | 三菱電機株式会社 | 追尾装置 |
KR101381075B1 (ko) | 2013-04-30 | 2014-04-14 | 재단법인대구경북과학기술원 | 객체 위치 추정 장치 및 그 방법 |
US10078898B2 (en) * | 2014-11-07 | 2018-09-18 | National Institute Of Standards And Technology | Noncontact metrology probe, process for making and using same |
JP6700752B2 (ja) * | 2015-12-01 | 2020-05-27 | キヤノン株式会社 | 位置検出装置、位置検出方法及びプログラム |
JP6736414B2 (ja) | 2016-08-10 | 2020-08-05 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
US10902540B2 (en) * | 2016-08-12 | 2021-01-26 | Alitheon, Inc. | Event-driven authentication of physical objects |
JP6896401B2 (ja) * | 2016-11-25 | 2021-06-30 | 東芝テック株式会社 | 物品認識装置 |
JP7257752B2 (ja) * | 2018-07-31 | 2023-04-14 | 清水建設株式会社 | 位置検出システム |
JP7177020B2 (ja) * | 2019-08-26 | 2022-11-22 | Kddi株式会社 | 画像処理装置、方法及びプログラム |
WO2021044549A1 (ja) * | 2019-09-04 | 2021-03-11 | 日本電気株式会社 | 位置推定方法、位置推定システム、及び位置推定装置 |
CN110728229B (zh) * | 2019-10-09 | 2023-07-18 | 百度在线网络技术(北京)有限公司 | 图像处理方法、装置、设备和存储介质 |
JP2021076888A (ja) * | 2019-11-05 | 2021-05-20 | 株式会社日立製作所 | 作業認識装置 |
CN112750201B (zh) * | 2021-01-15 | 2024-03-29 | 浙江商汤科技开发有限公司 | 三维重建方法及相关装置、设备 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030053658A1 (en) * | 2001-06-29 | 2003-03-20 | Honeywell International Inc. | Surveillance system and methods regarding same |
DE60330898D1 (de) * | 2002-11-12 | 2010-02-25 | Intellivid Corp | Verfahren und system zur verfolgung und verhaltensüberwachung von mehreren objekten, die sich durch mehrere sichtfelder bewegen |
JP4070618B2 (ja) * | 2003-01-15 | 2008-04-02 | 日本電信電話株式会社 | 物体追跡方法、物体追跡装置、物体追跡方法のプログラム並びにそのプログラムを記録した記録媒体 |
JP2008015573A (ja) * | 2006-07-03 | 2008-01-24 | Sony Corp | 画像処理装置、画像処理方法および画像監視システム |
JP2008176504A (ja) | 2007-01-17 | 2008-07-31 | Toshiba Corp | 物体検出装置及びその方法 |
JP2009109827A (ja) | 2007-10-31 | 2009-05-21 | Canon Inc | 磁性トナー |
-
2010
- 2010-04-21 WO PCT/JP2010/057524 patent/WO2010126071A1/ja active Application Filing
- 2010-04-21 JP JP2011511427A patent/JP5454573B2/ja not_active Expired - Fee Related
- 2010-04-21 EP EP10769769.0A patent/EP2426643A4/en not_active Ceased
- 2010-04-21 CN CN201080018812.9A patent/CN102414718B/zh active Active
- 2010-04-21 US US13/265,486 patent/US8885879B2/en active Active
Non-Patent Citations (2)
Title |
---|
JP特开2008-15573A 2008.01.24 * |
JP特开2008-176504A 2008.07.31 * |
Also Published As
Publication number | Publication date |
---|---|
CN102414718A (zh) | 2012-04-11 |
US20120051598A1 (en) | 2012-03-01 |
EP2426643A1 (en) | 2012-03-07 |
JPWO2010126071A1 (ja) | 2012-11-01 |
EP2426643A4 (en) | 2017-07-05 |
US8885879B2 (en) | 2014-11-11 |
JP5454573B2 (ja) | 2014-03-26 |
WO2010126071A1 (ja) | 2010-11-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102414718B (zh) | 对象位置估计设备和对象位置估计方法 | |
CN108537112B (zh) | 图像处理装置、图像处理***、图像处理方法及存储介质 | |
CN109670474B (zh) | 一种基于视频的人体姿态估计方法、装置及设备 | |
WO2020259481A1 (zh) | 定位方法及装置、电子设备、可读存储介质 | |
CN103252778B (zh) | 用于估计机器人位置的设备及其方法 | |
JP4881766B2 (ja) | カメラ間連結関係情報生成装置 | |
WO2016147644A1 (en) | Image processing apparatus, image processing system, method for image processing, and computer program | |
CN103516983B (zh) | 图像处理装置、摄像装置以及图像处理方法 | |
EP2405393A1 (en) | Device for creating information for positional estimation of matter, method for creating information for positional estimation of matter, and program | |
EP3274964B1 (en) | Automatic connection of images using visual features | |
TW201619910A (zh) | 監控系統及其影像處理方法 | |
JP2011029737A (ja) | 監視映像検索装置及び監視システム | |
CN109313805A (zh) | 图像处理装置、图像处理***、图像处理方法和程序 | |
CN103460248B (zh) | 图像处理方法和装置 | |
CN108198044A (zh) | 商品信息的展示方法、装置、介质及电子设备 | |
CN107346414B (zh) | 行人属性识别方法和装置 | |
Hinz et al. | Car detection in aerial thermal images by local and global evidence accumulation | |
CN104700355A (zh) | 室内二维平面图的生成方法、装置和*** | |
CN105934757A (zh) | 一种用于检测第一图像的关键点和第二图像的关键点之间的不正确关联关系的方法和装置 | |
JP2021108193A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
CN110717593B (zh) | 神经网络训练、移动信息测量、关键帧检测的方法及装置 | |
CN109961092B (zh) | 一种基于视差锚点的双目视觉立体匹配方法及*** | |
CN104243970A (zh) | 基于立体视觉注意力机制和结构相似度的3d绘制图像的客观质量评价方法 | |
CN109858319A (zh) | 图像处理设备及控制方法和非暂时性计算机可读存储介质 | |
CN105138979A (zh) | 基于立体视觉的运动人体头部检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |