CN105701839A - 状态估计装置、状态估计方法以及集成电路 - Google Patents
状态估计装置、状态估计方法以及集成电路 Download PDFInfo
- Publication number
- CN105701839A CN105701839A CN201510820272.0A CN201510820272A CN105701839A CN 105701839 A CN105701839 A CN 105701839A CN 201510820272 A CN201510820272 A CN 201510820272A CN 105701839 A CN105701839 A CN 105701839A
- Authority
- CN
- China
- Prior art keywords
- data
- reliability
- likelihood score
- observation
- acquisition unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/292—Multi-camera tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
Abstract
实现一种状态估计装置,关于跟踪对象的物体,获取多个观测数据,使用从获取到的多个观测数据分别得到的似然度和观测数据的可靠度,对物体的内部状态进行估计。第一观测获取部获取第一观测数据,第二观测获取部获取第二观测数据。第一似然度获取部基于第一观测数据来获取第一似然度。第二似然度获取部基于第二观测数据来获取第二似然度。似然度合成部基于第一似然度、第二似然度、示出第一观测数据的可靠度的第一可靠度数据以及示出第二观测数据的可靠度的第二可靠度数据,来获取合成似然度。后验概率分布获取部根据合成似然度和预测概率分布数据,来获取在当前时刻t的、作为观测对象的内部状态的概率分布的后验概率分布数据。
Description
技术领域
本发明涉及使用时间序列滤波器对可观测的现象的状态进行估计的技术,例如涉及使用时间序列滤波器来跟踪运动图像上的物体的技术。
背景技术
作为对时时刻刻变化的观测对象的内部状态进行估计的技术,存在使用时间序列滤波器的技术。时间序列滤波器是指在将时刻t的对象的内部状态设为状态矢量xt并将在时刻t观测到的特征设为观测矢量yt时,根据观测到的观测矢量yt对无法直接观测的对象的内部状态xt进行估计的技术。
也就是说,时间序列滤波器是指如下技术:在从以下的状态空间模型、即,
***模型:xt~f(xt|xt-1)
观测模型:yt~h(yt|xt)
给出观测系列(直到时刻t的观测矢量的集合)y1:t={y1,y2,···,yt}时,求出状态系列x0:t={x0,x1,···,xt}的带条件概率分布p(xt|y1:t)。
当将***噪声设为vt并将观测噪声设为wt时,能够以以下方式表示对象的内部状态的***模型以及观测对象时的观测模型。
对象的内部状态的***模型:xt=f(xt-1,vt)
观测对象时的观测模型:yt=h(xt,wt)
f(xt-1,vt):表示时刻t-1和时刻t的状态变化的状态转变函数
h(xt,wt):表示在状态xt时得到的观测矢量的函数
此时,1个先期预测为
[式1]
,
通过贝叶斯法则,在时刻t的后验概率分布p(xt|y1:t)成为
[式2]
此外,h(yt|xt)为似然度(在状态xt时,得到观测矢量yt的概率),p(xt|y1:t-1)为预测概率分布。
作为安装时间序列滤波器的一种技术,存在粒子滤波器。在粒子滤波器中,用粒子的分布来表现观测对象的内部状态的概率分布,将当前时刻的状态的后验概率分布设为下一时刻的状态的先验概率分布。而且,在粒子滤波器中,通过把根据表示该先验概率分布的粒子(按该先验概率分布生成的样本集合)的状态估计出的模板的观测(预测样本)与下一时刻的实际图像(实际观测)进行比较来求出似然度。
而且,在粒子滤波器中,根据求出的似然度和预测概率分布来对粒子的后验概率分布进行估计。
在下一时刻以后,反复进行前述的处理,由此在粒子滤波器中,对动态地变化的观测对象(例如跟踪对象)的状态逐次地进行估计。
在粒子滤波器中,在将粒子数(粒子的数量)设为M(M:自然数)并设为1≦i≦M(i:整数)时,进行以下(1)~(4)的处理。
(1)粒子生成(1个先期预测)
通过相当于以下数学式的处理,关于各样本(各粒子),生成在时刻t的预测样本。也就是说,从时刻t-1的后验概率分布(时刻t-1的观测对象的内部状态的概率分布)获取通过***模型(状态转变函数)预测出的概率分布(预测概率分布)。具体地说,按照***模型f,使时刻t-1的各样本(各粒子)转变而生成预测样本。
xat ( i)~f(xt|xt-1 (i))
xat={xat (1),xat (2),xat (3),···,xat (M)}
xat:由状态转变函数f()得到的状态矢量xt的预测(估计)矢量。
(2)权重的计算(似然度计算)
通过相当于以下数学式的处理,关于通过处理(1)生成的各预测样本,计算出权重(似然度)。也就是说,按照观测模型h,对得到观测矢量yt的概率(似然度)进行估计。
wat ( i)~h(yt|xat (i))
wat={wat (1),wat (2),wat (3),···,wat (M)}
wat:由函数h()得到的权重(似然度)wt的预测(估计)矢量(似然度的预测值的集合)。
(3)重采样
以与权重(似然度) wat (i)成比例的比率来恢复提取M个粒子(提取粒子xat (i))。从像这样恢复提取出的M个粒子的分布获取时刻t的后验概率分布(时刻t的观测对象的内部状态的概率分布)。
(4)前进到时刻t而返回至(1)。此时,将通过处理(3)获取到的后验概率分布(在时刻t处的后验概率分布)设为下一时刻(时刻t+1)的先验概率分布。
像这样,所谓粒子滤波器,是通过反复进行表示观测对象的状态的参数的先验概率分布的预测以及后验概率分布的计算来对时时刻刻变化的表示观测对象的状态的参数进行估计的技术。这样的粒子滤波器例如被利用于跟踪运动图像上的物体(目标)的位置。在使用粒子滤波器来进行物体(目标)的位置跟踪处理的情况下,表示跟踪对象(观测对象的一个例子)的状态的参数例如为表示物体的位置的参数。在该情况下,在粒子滤波器中,通过把根据表示物体的位置的参数估计出的观测(预测样本)与实际观测(例如通过照相机等拍摄的图像)进行比较来计算出似然度,基于计算出的似然度来进行粒子的重采样,由此能够获取表示观测对象的状态的参数的后验概率分布(例如专利文献1)。
现有技术文献
专利文献
专利文献1:特开2012-234466号公报。
发明内容
发明要解决的课题
然而,在以往的技术中,由于使用单一的观测数据来执行物体的跟踪处理,因此在获取观测数据的环境变化的情况等当中,无法稳定地获取适当的观测数据,其结果,有时无法适当地进行内部状态的估计。另外,在以往的技术中,由于使用单一的观测数据来执行物体的跟踪处理,因此难以对多样的对象物适当地进行检测/跟踪处理。
进一步地,在以往的技术中,在观测数据存在噪声的情况下、在获取观测数据时发生错误、异常的情况下,难以适当地对跟踪对象的物体的内部状态进行估计。
于是,鉴于上述问题点,本发明目的在于实现如下的状态估计装置、程序以及集成电路:关于跟踪对象的物体,获取多个观测数据,使用从获取到的多个观测数据分别导出的似然度(多个似然度)和观测数据的可靠度(多个观测数据的可靠度),来估计物体的内部状态,由此能够更正确且鲁棒地进行物体的检测处理、跟踪处理。
用于解决课题的方案
为了解决上述课题,第一发明是对观测对象的内部状态进行估计的状态估计装置,具备:第一观测获取部、第二观测获取部、先验概率分布预测部、第一似然度获取部、第二似然度获取部、似然度合成部以及后验概率分布获取部。
第一观测获取部以任意的时间间隔来获取从可观测的现象得到的第一观测数据。
第二观测获取部以任意的时间间隔来获取从可观测的现象得到的第二观测数据。
先验概率分布预测部把在前一时刻t-1获取到的、作为观测对象的内部状态的概率分布的后验概率分布数据设为在当前时刻t的先验概率分布数据,对在该时刻t的先验概率数据进行预测处理,获取在当前时刻t的、作为观测对象的内部状态的概率分布的预测概率分布数据。
第一似然度获取部基于第一观测数据来获取第一似然度。
第二似然度获取部基于第二观测数据来获取第二似然度。
似然度合成部基于第一似然度、第二似然度、示出第一观测数据的可靠度的第一可靠度数据以及示出第二观测数据的可靠度的第二可靠度数据,来获取合成似然度。
后验概率分布获取部根据合成似然度和预测概率分布数据,来获取在当前时刻t的、作为观测对象的内部状态的概率分布的后验概率分布数据。
在该状态估计装置中,获取多个观测数据(例如第一观测数据和第二观测数据),基于观测数据的可靠度(例如第一可靠度数据和第二可靠度数据)对从获取到的多个观测数据分别导出的多个似然度(例如第一似然度和第二似然度)进行合成,由此获取合成似然度。也就是说,在该状态估计装置中,由于能够基于观测数据的可靠度更高的数据来获取合成似然度,因此能够获取精度高的后验概率分布数据。其结果,在该状态估计装置中,使用精度高的后验概率分布数据,能够更正确且鲁棒地进行物体的检测处理、跟踪处理。
此外,“时刻”是指例如包含基于对观测对象进行采样的时间间隔的时刻的概念,例如时刻t-1示出时刻t的采样的前一个采样时刻。
另外,“当前时刻t”与“下一时刻t+1”或者“前一时刻t-1”与“当前时刻t”的时间间隔例如在后验概率分布获取部中只要对于获取单位图像的量(例如一帧的量)的后验概率分布数据来说是足够的时间即可,例如是相当于一帧的时间(一帧时间)。
第二发明是第一发明,进一步具备第一可靠度获取部和第二可靠度获取部。
第一可靠度获取部获取第一可靠度数据。
第二可靠度获取部获取第二可靠度数据。
而且,第一观测获取部获取作为与第一观测数据的检测精度有关的数据的第一检测精度数据,第二观测获取部获取作为与第二观测数据的检测精度有关的数据的第二检测精度数据。
而且,第一可靠度获取部基于第一检测精度数据来获取第一可靠度数据,第二可靠度获取部基于第二检测精度数据来获取第二可靠度数据。
由此,在该状态估计装置中,基于由第一可靠度获取部获取到的第一可靠度数据以及由第二可靠度获取部获取到的第二可靠度数据,能够更适当地获取合成似然度。例如在该状态估计装置中,第一可靠度获取部能够按时间序列连续地获取第一可靠度数据,第二可靠度获取部能够按时间序列连续地获取第二可靠度数据,因此能够获取精度更高的第一可靠度数据、第二可靠度数据。因而,在该状态估计装置中,基于观测数据的可靠度更高的数据,能够更适当地获取合成似然度,因此能够获取精度高的后验概率分布数据。其结果,在该状态估计装置中,使用精度高的后验概率分布数据,能够更正确且鲁棒地进行物体的检测处理、跟踪处理。
第三发明是第二发明,进一步具备传感器部,该传感器部基于由一个或者多个传感器检测出的规定的物理量,来获取一个或者多个传感器检测值。
而且,似然度合成部基于由传感器部获取到的传感器检测值,修正第一可靠度数据,由此获取修正第一可靠度数据;基于由传感器部获取到的传感器检测值,修正第二可靠度数据,由此获取修正第二可靠度数据。
而且,似然度合成部基于修正第一可靠度数据和修正第二可靠度数据,来获取合成似然度。
由此,在该状态估计装置中,由于能够获取考虑了传感器检测值的合成似然度,因此进一步地能够获取精度高的后验概率分布数据。其结果,在该状态估计装置中,使用精度高的后验概率分布数据,能够更正确且鲁棒地进行物体的检测处理、跟踪处理。
第四发明是第二发明,进一步具备传感器部,该传感器部基于由一个或者多个传感器检测出的规定的物理量,来获取一个或者多个传感器检测值。
而且,第一可靠度获取部基于由传感器部获取到的传感器检测值和第一检测精度数据来获取第一可靠度数据。
第二可靠度获取部基于由传感器部获取到的传感器检测值和第二检测精度数据来获取第二可靠度数据。
由此,在该状态估计装置中,由于能够获取考虑了传感器检测值的合成似然度,因此进一步地能够获取精度高的后验概率分布数据。其结果,在该状态估计装置中,使用精度高的后验概率分布数据,能够更正确且鲁棒地进行物体的检测处理、跟踪处理。
第五发明是第一发明至第四发明中的任一个的发明,第一可靠度数据为固定值,第二可靠度数据为固定值。
由此,在该状态估计装置中,能够使用作为固定值的第一可靠度数据和第二可靠度数据,执行状态估计处理。
第六发明是第一发明至第五发明中的任一个的发明,第一可靠度数据为二值数据,第二可靠度数据为二值数据。
由此,在该状态估计装置中,能够使用作为二值数据的第一可靠度数据和第二可靠度数据,执行状态估计处理。
第七发明是第一发明至第五发明中的任一个的发明,第一可靠度数据为连续值,第二可靠度数据为连续值。
由此,在该状态估计装置中,由于使用作为连续值的第一可靠度数据和第二可靠度数据,因此能够获取精度更高的合成似然度。其结果,在该状态估计装置中,使用精度更高的后验概率分布数据,能够更正确且鲁棒地进行物体的检测处理、跟踪处理。
第八发明是对观测对象的内部状态进行估计的状态估计方法,具备第一观测获取步骤、第二观测获取步骤、先验概率分布预测步骤、第一似然度获取步骤、第二似然度获取步骤、合成似然度获取步骤以及后验概率分布获取步骤。
第一观测获取步骤以任意的时间间隔来获取从可观测的现象得到的第一观测数据。
第二观测获取步骤以任意的时间间隔来获取从可观测的现象得到的第二观测数据。
在先验概率分布预测步骤中,把在前一时刻t-1获取到的、作为观测对象的内部状态的概率分布的后验概率分布数据设为在当前时刻t的先验概率分布数据,对在该时刻t的先验概率数据进行预测处理,获取在当前时刻t的、作为观测对象的内部状态的概率分布的预测概率分布数据。
在第一似然度获取步骤中,基于第一观测数据来获取第一似然度。
在第二似然度获取步骤中,基于第二观测数据来获取第二似然度。
在合成似然度获取步骤中,基于第一似然度、第二似然度、示出第一观测数据的可靠度的第一可靠度数据以及示出第二观测数据的可靠度的第二可靠度数据,来获取合成似然度。
在后验概率分布获取步骤中,根据合成似然度和预测概率分布数据,来获取在当前时刻t的、作为观测对象的内部状态的概率分布的后验概率分布数据。
由此,能够实现使计算机执行起到与第一发明相同的效果的状态估计方法的程序。
第九发明是对观测对象的内部状态进行估计的集成电路,具备第一观测获取部、第二观测获取部、先验概率分布预测部、第一似然度获取部、第二似然度获取部、似然度合成部以及后验概率分布获取部。
第一观测获取部以任意的时间间隔来获取从可观测的现象得到的第一观测数据。
第二观测获取部以任意的时间间隔来获取从可观测的现象得到的第二观测数据。
先验概率分布预测部把在前一时刻t-1获取到的、作为观测对象的内部状态的概率分布的后验概率分布数据设为在当前时刻t的先验概率分布数据,对在该时刻t的先验概率数据进行预测处理,获取在当前时刻t的、作为观测对象的内部状态的概率分布的预测概率分布数据。
第一似然度获取部基于第一观测数据来获取第一似然度。
第二似然度获取部基于第二观测数据来获取第二似然度。
似然度合成部基于第一似然度、第二似然度、示出第一观测数据的可靠度的第一可靠度数据以及示出第二观测数据的可靠度的第二可靠度数据,来获取合成似然度。
后验概率分布获取部根据合成似然度和预测概率分布数据,来获取在当前时刻t的、作为观测对象的内部状态的概率分布的后验概率分布数据。
由此,能够实现起到与第一发明相同的效果的集成电路。
根据本发明,能够实现如下的状态估计装置、程序以及集成电路:关于跟踪对象的物体,获取多个观测数据,使用从获取到的多个观测数据分别导出的似然度(多个似然度)和观测数据的可靠度(多个观测数据的可靠度),对物体的内部状态进行估计,由此能够更正确且鲁棒地进行物体的检测处理、跟踪处理。
附图说明
图1是第一实施方式的状态估计装置1000的概要结构图。
图2是示意性地示出作为由摄像装置(未图示)拍摄到的运动图像(摄像运动图像)的输入数据Din的图。
图3是示意性地示出由第一观测获取部1获取到的第一观测数据D1的图。
图4是示意性地示出由第二观测获取部2获取到的第二观测数据D2的图。
图5是使第一观测数据D1(由第一观测数据得到的图像数据D1)与第二观测数据D2(由第二观测数据得到的图像数据D2)重叠来示意性地进行示出的图。
图6是用于说明在将观测对象(跟踪对象)设为物体TG1的情况下的预测处理、似然度获取处理(似然度计算)、重采样处理的图。
图7是第一实施方式的第一变形例的状态估计装置1000A的概要结构图。
图8是第二实施方式的状态估计装置2000的概要结构图。
图9是示意性地示出作为由具有可见光用图像传感器的摄像装置(未图示)拍摄到的运动图像(摄像运动图像)的输入数据Din1的图。
图10是示意性地示出作为由具有红外光用图像传感器的摄像装置(未图示)拍摄到的运动图像(摄像运动图像)的输入数据Din2的图。
图11是示意性地示出由第一观测获取部1A获取到的第一观测数据D1的图。
图12是示意性地示出由第二观测获取部2A获取到的第二观测数据D2的图。
图13是使第一观测数据D1(由第一观测数据得到的图像数据D1)与第二观测数据D2(由第二观测数据得到的图像数据D2)重叠来示意性地进行示出的图。
图14是用于说明在将状态估计装置2000放置在明亮环境下的情况下将观测对象(跟踪对象)设为物体TG1时的预测处理、似然度获取处理(似然度计算)、重采样处理的图。
图15是用于说明在将状态估计装置2000放置在暗环境下的情况下将观测对象(跟踪对象)设为物体TG1时的预测处理、似然度获取处理(似然度计算)、重采样处理的图。
图16是第二实施方式的第一变形例的状态估计装置2000A的概要结构图。
图17是第二实施方式的第二变形例的状态估计装置2000B的概要结构图。
图18是用于说明第一可靠度获取部9A、第二可靠度获取部10A以及似然度合成部5的处理的定时图。
图19是第二实施方式的第一变形例的状态估计装置的n个观测获取部、n个似然度获取部、n个可靠度获取部以及似然度合成部5B的概要结构图(多输入的情况下)。
图20是示出第二实施方式的第三变形例的状态估计装置的n个观测获取部、n个似然度获取部、n个可靠度获取部、似然度合成部5C以及传感器部S1的概要结构图(多输入的情况下)。
图21是示出第二实施方式的第三变形例的状态估计装置的n个观测获取部、n个似然度获取部、n个可靠度获取部以及似然度合成部5B的概要结构图(多输入的情况下)。
图22是第二实施方式的第三变形例的状态估计装置的n个观测获取部、n个似然度获取部、n个可靠度获取部以及似然度合成部5B的概要结构图(一输入的情况下)。
图23是示出第二实施方式的第三变形例的状态估计装置的n个观测获取部、n个似然度获取部、n个可靠度获取部、似然度合成部5C以及传感器部S1的概要结构图(一输入的情况下)。
图24是示出第二实施方式的第三变形例的状态估计装置的n个观测获取部、n个似然度获取部、n个可靠度获取部以及似然度合成部5B的概要结构图(一输入的情况下)。
具体实施方式
[第一实施方式]
以下,一边参照附图一边说明第一实施方式。
<1.1:状态估计装置的结构>
图1是第一实施方式的状态估计装置1000的概要结构图。
如图1所示,状态估计装置1000具备第一观测获取部1、第二观测获取部2、第一似然度获取部3、第二似然度获取部4、似然度合成部5、后验概率分布获取部6、先验概率分布预测部7以及初始状态设定部8。
第一观测获取部1将输入数据Din设为输入。第一观测获取部1从输入数据Din获取第一观测数据D1,将获取到的第一观测数据D1输出到第一似然度获取部3。第一观测获取部1例如将由摄像装置拍摄到的图像(摄像图像)设为输入数据Din,从该输入数据Din中作为第一观测数据D1而获取提取出规定的图像特征量的图像特征量提取图像。
第二观测获取部2将输入数据Din设为输入。第二观测获取部2从输入数据Din获取第二观测数据D2,将获取到的第二观测数据D2输出到第二似然度获取部4。第二观测获取部2例如将由摄像装置拍摄到的图像(摄像图像)设为输入数据Din,从该输入数据Din中作为第二观测数据D2而获取提取出规定的图像特征量的图像特征量提取图像。
第一似然度获取部3输入从第一观测获取部1输出的第一观测数据D1以及从先验概率分布预测部7输出的预测概率分布数据。第一似然度获取部3基于第一观测数据D1和预测概率分布数据来获取第一似然度w1。而且,第一似然度获取部3将获取到的第一似然度w1输出到似然度合成部5。
第二似然度获取部4输入从第二观测获取部2输出的第二观测数据D2以及从先验概率分布预测部7输出的预测概率分布数据。第二似然度获取部4基于第二观测数据D2和预测概率分布数据来获取第二似然度w2。而且,第二似然度获取部4将获取到的第二似然度w2输出到似然度合成部5。
似然度合成部5输入从第一似然度获取部3输出的第一似然度w1以及从第二似然度获取部4输出的第二似然度w2。另外,似然度合成部5输入示出第一观测获取部1的观测数据的可靠度的可靠度数据P(1)以及示出第二观测获取部2的观测数据的可靠度的可靠度数据P(2)。似然度合成部5基于第一似然度w1、第二似然度w2以及可靠度数据P(1)、P(2)来获取合成似然度wc。而且,似然度合成部5将获取到的合成似然度wc输出到后验概率分布获取部6。
后验概率分布获取部6输入从似然度合成部5输出的合成似然度wc以及从先验概率分布预测部7输出的预测概率分布数据。后验概率分布获取部6基于合成似然度wc和预测概率分布数据来获取(估计)后验概率分布数据。而且,后验概率分布获取部6将获取到的后验概率分布数据输出到先验概率分布预测部7。
先验概率分布预测部7输入从初始状态设定部8输出的初始状态的设定数据以及从后验概率分布获取部6输出的后验概率分布数据。先验概率分布预测部7在初始状态下基于从初始状态设定部8输出的初始状态的设定数据,来生成先验概率分布数据,将所生成的先验概率分布数据作为预测概率分布数据而输出到第一似然度获取部3、第二似然度获取部4以及后验概率分布获取部6。
另外,先验概率分布预测部7在初始状态以外的状态下从后验概率分布获取部6输出的、在时刻t的后验概率分布数据中获取通过***模型(状态转变函数)预测出的概率分布数据。而且,先验概率分布预测部7将获取到的概率分布数据作为下一时刻t+1的预测概率分布数据,而输出到第一似然度获取部3、第二似然度获取部4以及后验概率分布获取部6。
初始状态设定部8保持用于生成初始状态下的先验概率分布(先验概率分布数据)的数据(初始值),将该数据(初始值)输出到先验概率分布预测部7。
<1.2:状态估计装置的动作>
以下,说明如以上那样构成的状态估计装置1000的动作。
此外,以下,作为一个例子说明如下情况:将由摄像装置(未图示)拍摄到的运动图像(摄像运动图像)设为输入数据Din,第一观测获取部1作为第一观测数据而获取从输入数据Din中提取出相当于人的区域的图像特征量提取图像,第二观测获取部2作为第二观测数据而获取从输入数据Din中提取出相当于活动物体的区域的图像特征量提取图像。
图2是示意性地示出作为由摄像装置(未图示)拍摄到的运动图像(摄像运动图像)的输入数据Din的图。
图3是示意性地示出由第一观测获取部1获取到的第一观测数据D1的图。此外,在图3中,还示意性地描绘使用于检测(跟踪)物体的粒子(粒子)(一个例子)。
图4是示意性地示出由第二观测获取部2获取到的第二观测数据D2的图。
在当前时刻(时刻t),图2示出的输入数据Din被输入到第一观测获取部1和第二观测获取部2。
如图2所示,设为在时刻t的输入数据Din包含四个物体TG1~TG4的情况。而且,设为物体TG1、TG2、TG3为人,物体TG4为人以外的物体的情况。另外,设为物体TG1、TG2为活动物体的情况。也就是说,设为物体TG1、TG2为在从前一时刻t-1(一帧前的时刻)至当前时刻t(当前帧的时刻)中在图像上移动规定的距离以上的物体的情况。
第一观测获取部1从输入数据Din中提取相当于人的图像区域,由此获取第一观测数据D1。第一观测获取部1例如通过在输入数据Din中检测包含很多肤色的区域和/或通过人的形状的图案匹配等,来在输入数据Din的图像上检测相当于人的图像区域。而且,第一观测获取部1作为第一观测数据D1而获取检测出的结果图像。像这样,通过第一观测获取部1来获取图3示出的第一观测数据D1。如根据图3可知那样,在第一观测数据D1中,检测出分别相当于输入数据Din所包含的作为人的物体TG1、TG2、TG3的图像区域TG1_D1、TG2_D1、TG3_D1。此外,设为在图3的第一观测数据D1(图像D1)中,图像区域TG1_D1、TG2_D1、TG3_D1内的像素具有“0”以外的像素值、图像区域TG1_D1、TG2_D1、TG3_D1以外的图像区域的像素的像素值为“0”的情况。
由第一观测获取部1获取到的第一观测数据D1被从第一观测获取部1输出到第一似然度获取部3。
第二观测获取部2从输入数据Din中提取相当于活动物体的图像区域,由此获取第二观测数据D2。第二观测获取部2例如在输入数据Din中检测出在一帧期间(从前一时刻t-1至当前时刻t为止的时间)在图像上移动规定的距离以上的物体的图像区域,由此在输入数据Din的图像上检测出相当于活动物体的图像区域。而且,第二观测获取部2作为第二观测数据D2而获取检测出的结果图像。像这样,通过第二观测获取部2来获取图4示出的第二观测数据D2。此外,在图4中,关于第二观测获取部2在输入数据Din中将一帧期间(从前一时刻t-1至当前时刻t为止时间)在图像上移动规定的距离以上的物体的图像区域作为以该物体的在时刻t的重心为中心的规定的半径圆形区域而检测的情况,示出检测出的图像区域TG1_D2和TG2_D2。如根据图4可知那样,在第二观测数据D2中检测出分别相当于输入数据Din所包含的活动物体TG1、TG2的图像区域TG1_D2、TG2_D2。此外,设为在图4的第二观测数据D2(图像D2)中,图像区域TG1_D2、TG2_D2内的像素具有“0”以外的像素值、图像区域TG1_D2、TG2_D2以外的图像区域的像素的像素值为“0”的情况。
由第二观测获取部2获取到的第二观测数据D2被从第二观测获取部2输出到第二似然度获取部4。
在此,将示出作为观测对象(跟踪对象)的物体的时刻t的内部状态的状态矢量设为xt,将在时刻t观测到的特征设为观测矢量yt,将按照预测概率分布p(xt|yt-1)来生成的样本集合(粒子的集合)St|t-1设为
St|t-1={st|t-1 (1),st|t-1 (2),···,st|t-1 (M)}
将按照后验概率分布p(xt|yt)生成的样本集合(粒子的集合)St|t设为
St|t={st|t (1),st|t (2),···,st|t (M)}。
另外,设为如下情况:样本集合(粒子的集合)St|t的第i个样本(粒子)st|t (i)是把第i个样本(粒子)的图像上的坐标位置(Xt (i),Yt (i))和用于决定以该坐标位置为中心的宽度Wt、高度Ht的矩形状的图像区域的宽度Wt、高度Ht设为内部变量的矢量数据。也就是说,设为如下情况:样本(粒子)st|t (i)为
st|t (i)=(Xt (i),Yt (i),Wt (i),Ht (i))。
此外,在存在多个观测对象(跟踪对象)的情况下,对每个观测对象附加目标编号,对每个观测对象与上述同样地设定按照预测概率分布生成的样本集合(粒子的集合)St|t-1、按照后验概率分布生成的样本集合(粒子的集合)St|t即可。
以下,为了使说明简单,说明将观测对象(跟踪对象)设为物体TG1的情况。
在先验概率分布预测部7中执行预测处理。
具体地说,先验概率分布预测部7将由后验概率分布获取部6获取到的在时刻t-1的后验概率分布数据作为时刻t的先验概率分布数据而进行预测处理。也就是说,先验概率分布预测部7基于与先验概率分布(先验概率分布数据)一致的粒子的集合St-1|t-1,来进行预测处理,获取预测处理后的粒子的集合St|t-1(预测概率分布数据)。
例如,使假设随机游动的动态的高斯噪声对于与表示在时刻t-1的物体TG1的状态的参数的先验概率分布(先验概率分布数据)一致的粒子的集合St-1|t-1(将其表述为“先验概率分布数据St-1|t-1”)所包含的各粒子的状态重叠,由此获取预测处理后的粒子的集合St|t-1(将其表述为“预测概率分布数据St|t-1”)。也就是说,将vt (i)设为与高斯分布一致的***噪声,先验概率分布预测部7通过
st|t-1 (i)=f(St-1|t-1 (i),vt (i))
f():表示时刻t-1与时刻t的状态变化的状态转变函数
vt (i):***噪声
来获取预测处理后的粒子的集合St|t-1。
具体地说,与在时刻t-1的物体TG1的先验概率分布(先验概率分布数据)一致的第i个粒子的内部状态为(Xt-1|t-1 (i),Yt-1|t-1 (i),Wt-1|t-1 (i),Ht-1|t-1 (i),wct-1|t-1 (i)),预测处理后的第i个粒子的内部状态为(Xt|t-1 (i),Yt|t-1 (i),Wt|t-1 (i),Ht|t-1 (i),wct|t-1 (i)),因此通过
Xt|t-1 (i)=Xt-1|t-1 (i)+ΔX(i)
Yt|t-1 (i)=Yt-1|t-1 (i)+ΔY(i)
Wt|t-1 (i)=Wt-1|t-1 (i)+W(i)
Ht|t-1 (i)=Ht-1|t-1 (i)+H(i),
先验概率分布预测部7获取物体TG1的预测处理后的粒子的集合St|t-1。此外,ΔX(i)、ΔY(i)、ΔW(i)、ΔH(i)分别与高斯分布一致。
将像这样获取到的、物体TG1的预测处理后的粒子的集合St|t-1作为预测概率分布数据而从先验概率分布预测部7输出到第一似然度获取部3、第二似然度获取部4以及后验概率分布获取部6。
此外,在初始状态下,通过先验概率分布预测部7,基于从初始状态设定部8输出的初始状态的设定数据,生成先验概率分布数据,将所生成的先验概率分布数据作为预测概率分布数据而从先验概率分布预测部7输出到第一似然度获取部3、第二似然度获取部4以及后验概率分布获取部6。
在第一似然度获取部3中,基于由先验概率分布预测部7获取到的预测概率分布数据和第一观测数据D1来获取第一似然度w1。
图5是示意性地示出使第一观测数据D1(由第一观测数据得到的图像数据D1)与第二观测数据D2(由第二观测数据得到的图像数据D2)重叠的图。
图6是用于说明在将观测对象(跟踪对象)设为物体TG1的情况下的预测处理、似然度获取处理(似然度计算)、重采样处理的图。此外,在图6中,仅示意性地示出垂直方向(Y轴向)的粒子。具体地说,在图6中,仅示意性地示出在图5示出的垂直方向的直线A1-A2上配置的粒子。另外,在图6中,示出示出直线A1-A2的第一观测数据D1的值(图像D1的像素值)的曲线D1以及示出直线A1-A2的第二观测数据D2的值(图像D2的像素值)的曲线D2。此外,在图6中,曲线D1和曲线D2被描绘成图6的左方向为像素值变大的方向(正方向)。
第一似然度获取部3使用从先验概率分布预测部7输出的预测概率分布数据St|t-1和第一观测数据D1(图像D1)来计算出第一似然度w1。
如图6所示,通过先验概率分布预测部7对与时刻t的先验概率分布(时刻t-1的后验概率分布)一致的粒子集合St-1|t-1执行预测处理,由此获取预测概率分布数据St|t-1。
第一似然度获取部3对按照预测概率分布数据St|t-1获取到的各粒子所占的图像区域内的第一观测数据D1(图像D1)的值(在图像D1中,各粒子所占的图像区域内的像素的像素值)进行累加,将该累加值设为第一似然度w1。在图6中用圆圈来示出像这样获取到的第一似然度w1,越是第一似然度w1大的值则越描绘成大圆。
此外,在图像D1中,关于预测处理后的第i个粒子所占的图像区域,由于该粒子的内部状态为(Xt|t-1 (i),Yt|t-1 (i),Wt|t-1 (i),Ht|t-1 (i),wct|t-1 (i)),因此是以坐标(Xt|t-1 (i),Yt|t-1 (i))为中心、宽度(水平方向的长度)为Wt|t-1 (i)、高度(垂直方向的长度)为Ht|t-1 (i)的矩形区域。
在图6中,设为第一观测数据D1(图像D1)的值为归一化的数据(值),取0~1的值的情况。
如图6所示,当将按照预测概率分布数据St|t-1获取到的粒子的粒子编号设为i1~i9并将第i个粒子的第一似然度值设为w1(i)时,w1(i1)、w1(i2)、w1(i7)、w1(i8)、w1(i9)的第一似然度的值为“0”。
而且,第i3~i6个粒子的第一似然度值为按照如下那样。
w1( i3)=0.4
w1( i4)=0.95
w1( i5)=0.8
w1( i6)=0.25
将如上所述那样获取到的第一似然度(包含各粒子的第一似然度值的数据)被从第一似然度获取部3输出到似然度合成部5。
第二似然度获取部4使用从先验概率分布预测部7输出的预测概率分布数据St|t-1和第二观测数据D2(图像D2)来计算出第二似然度w2。
如图6所示,通过先验概率分布预测部7对与时刻t的先验概率分布(时刻t-1的后验概率分布)一致的粒子集合St-1|t-1执行预测处理,由此获取预测概率分布数据St|t-1。
第二似然度获取部4对按照预测概率分布数据St|t-1获取到的各粒子所占的图像区域内的第二观测数据D2(图像D2)的值(在图像D2中,各粒子所占的图像区域内的像素的像素值)进行累加,将该累加值设为第二似然度w2。
此外,在图像D2中,关于预测处理后的第i个粒子所占的图像区域,由于该粒子的内部状态为((Xt|t-1 (i),Yt|t-1 (i),Wt|t-1 (i),Ht|t-1 (i),wct|t-1 (i))),因此是以坐标(Xt|t-1 (i),Yt|t-1 (i))为中心、宽度(水平方向的长度)为Wt|t-1 (i)、高度(垂直方向的长度)为H t|t-1 (i)的矩形区域。
在图6中,第二观测数据D2(图像D2)的值为归一化的数据(值),设为0~1的值。
如图6所示,当将按照预测概率分布数据St|t-1获取到的粒子的粒子编号设为i1~i9并将第i个粒子的第二似然度值设为w2(i)时,w2(i1)、w2(i2)、w2(i3)、w2(i6)、w2(i7)、w2(i8)、w2(i9)的第二似然度的值为“0”。
而且,第i4~i5个粒子的第二似然度值为按照如下那样。
w2( i4)=0.6
w2( i5)=0.2
将如上所述那样获取到的第二似然度(包含各粒子的第二似然度值的数据)从第二似然度获取部4输出到似然度合成部5。
在似然度合成部5中,基于示出第一观测获取部1的观测数据的可靠度的可靠度数据P(1)和示出第二观测获取部2的观测数据的可靠度的可靠度数据P(2),使第一似然度w1与第二似然度w2进行合成,获取合成似然度wc。
此外,为了便于说明,设为第一观测数据的可靠度数据P(1)和第二观测数据的可靠度数据P(2)均为相同值“1”的情况进行说明。也就是说,设为由第一观测获取部1获取到的观测数据的可靠度与由第二观测获取部2获取到的观测数据的可靠度相同的情况进行说明。
似然度合成部5对按照预测概率分布数据St|t-1获取到的粒子的每个,将第一似然度w1与第二似然度w2进行合成,获取合成似然度wc。具体地说,当将第i个粒子的合成似然度值设为wc(i)时,似然度合成部5通过
wc(i)=P(1)/{P(1)+P(2)}×w1(i)+P(2)/{P(1)+P(2)}×w2(i)
获取第i个粒子的合成似然度值wc(i)。
在图6中,用曲线Dc示出对通过上述获取到的合成似然度wc进行连结的曲线。
在图6的情况下,似然度合成部5以下那样获取第i个粒子的合成似然度值wc(i)。
wc(i1)=wc(i2)=wc(i7)=wc(i8)=wc(i9)=0
wc(i3)=0.5×w1(i3)+0.5×w2(i3)
=0.5×0.4+0.5×0.0=0.2
wc(i4)=0.5×w1(i4)+0.5×w2(i4)
=0.5×0.95+0.5×0.6=0.775
wc(i5)=0.5×w1(i5)+0.5×w2(i5)
=0.5×0.8+0.5×0.2=0.5
wc(i6)=0.5×w1(i5)+0.5×w2(i5)
=0.5×0.25+0.5×0.0=0.125
将如上所述那样获取到的合成似然度(包含各粒子的合成似然度值的数据)从似然度合成部5输出到后验概率分布获取部6。
在后验概率分布获取部6中,基于合成似然度wc和预测概率分布数据来获取(估计)后验概率分布(后验概率分布数据)。
后验概率分布获取部6以与在时刻t的物体TG1的合成似然度wc(i)成比例的比例来恢复提取M1个粒子(粒子)(提取粒子xat (i)(物体TG1的第i个粒子))。例如在图6的情况下,在图像区域TG1_D1所包含的直线A1-A2上恢复提取九个粒子。
由于从按照预测概率分布数据St|t-1获取到的第i3个粒子中获取合成似然度wc(i3)=0.2,因此在按照预测概率分布数据St|t-1获取到的第i3个粒子的位置,通过比例分配,恢复一个粒子。也就是说,恢复按照后验概率分布数据St|t获取到的第i1个粒子。
由于从按照预测概率分布数据St|t-1获取到的第i4个粒子中获取合成似然度wc(i4)=0.775,因此在按照预测概率分布数据St|t-1获取到的第i4个粒子的位置,通过比例分配来恢复四个粒子。也就是说,恢复按照后验概率分布数据St|t获取到的第i2~i5个粒子、即合计四个粒子。
由于从按照预测概率分布数据St|t-1获取到的第i5个粒子中获取合成似然度wc(i5)=0.5,在按照预测概率分布数据St|t-1获取到的第i5个粒子的位置,通过比例分配来恢复三个粒子。也就是说,恢复按照后验概率分布数据St|t获取到的第i6~i8个粒子、即合计三个粒子。
由于从按照预测概率分布数据St|t-1获取到的第i6个粒子中获取合成似然度wc(i6)=0.125,因此在按照预测概率分布数据St|t-1获取到的第i6个粒子的位置,通过比例分配来恢复一个粒子。也就是说,恢复按照后验概率分布数据St|t获取到的第i9个粒子。
如以上那样,后验概率分布获取部6以与在时刻t的物体TG1的合成似然度wc(i)成比例的比例来恢复提取M1个粒子(粒子)(提取粒子xat (i)(物体TG1的第i个粒子))。
像这样,后验概率分布获取部6从恢复提取出的M1个粒子的分布中获取按照时刻t的后验概率分布p(xt|yt)来生成的样本集合(粒子的集合)St|t(后验概率分布数据St|t)、即
St|t={st|t (1),st|t (2),···,st|t (M1)}
而且,后验概率分布获取部6将估计(获取)到的后验概率分布(后验概率分布数据)从状态估计装置1000输出,并且输出到先验概率分布预测部7。
先验概率分布预测部7将从后验概率分布获取部6输入的在时刻t的后验概率分布(后验概率分布数据)作为下一时刻t+1的先验概率分布数据,与上述说明的处理同样地,执行预测处理。
而且,以后,在状态估计装置1000中反复进行与上述相同的处理。
如以上那样,在状态估计装置1000中,获取多个观测数据,使用从获取到的多个观测数据分别导出的似然度(多个似然度)和观测数据的可靠度(多个观测数据的可靠度)来获取合成似然度wc。而且,在状态估计装置1000中,能够获取反映了获取到的合成似然度wc的后验概率分布(后验概率分布数据)St|t。
在状态估计装置1000中,获取多个观测数据(第一观测数据D1和第二观测数据D2),基于观测数据的可靠度(示出第一观测获取部1的观测数据的可靠度的可靠度数据P(1)、示出第二观测获取部2的观测数据的可靠度的可靠度数据P(2))对从获取到的多个观测数据分别导出的多个似然度(第一似然度w1和第二似然度w2)进行合成,由此获取合成似然度wc。也就是说,在状态估计装置1000中,能够基于观测数据的可靠度更高的数据来获取合成似然度wc,因此能够获取精度高的后验概率分布数据St|t。其结果,在状态估计装置1000中,使用精度高的后验概率分布数据St|t,能够更正确且鲁棒地进行物体的检测处理、跟踪处理。
此外,例如在预先已知获取观测数据的传感器等的精度的情况下,也可以基于该传感器等的精度,将可靠度数据P(1)、P(2)设定为固定值。
另外,可靠度数据P(1)、P(2)也可以是二值数据(例如,取“0”或者“1”的数据),也可以是取“0”至“1”之间的连续值的数据。
≪第一变形例≫
接着,说明第一实施方式的第一变形例。
在本变形例中,对与第一实施方式相同的部分附加相同的附图标记而省略详细说明。
图7是第一实施方式的第一变形例的状态估计装置1000A的概要结构图。
在第一变形例的状态估计装置1000A中,在第一观测获取部1输入第一输入数据Din1,在第二观测获取部2输入第二输入数据Din2。也就是说,在第一实施方式的状态估计装置1000中,一个输入数据Din被输入到第一观测获取部1和第二观测获取部2,但是在本变形例的状态估计装置1000A中,在第一观测获取部1和第二观测获取部2输入其它数据。这一点上,本变形例的状态估计装置1000A与第一实施方式的状态估计装置1000不同。
在本变形例的状态估计装置1000A中,由于在第一观测获取部1和第二观测获取部2能够输入其它数据,因此,例如能够将由第一传感器(例如可见光用图像传感器等)(未图示)获取到的信号(数据)Din1输入到第一观测获取部1,将由第二传感器(例如红外光用图像传感器等)(未图示)获取到的信号(数据)Din2输入到第二观测获取部2。
在本变形例的状态估计装置1000A中,获取多个观测数据,使用从获取到的多个观测数据分别导出的似然度(多个似然度)和观测数据的可靠度(多个观测数据的可靠度)来获取合成似然度wc。而且,在状态估计装置1000A中,能够获取反映了获取到的合成似然度wc的后验概率分布(后验概率分布数据)St|t。
在状态估计装置1000A中,获取多个观测数据(第一观测数据D1和第二观测数据D2),基于观测数据的可靠度(示出第一观测获取部1的观测数据的可靠度的可靠度数据P(1)和示出第二观测获取部2的观测数据的可靠度的可靠度数据P(2))对从获取到的多个观测数据分别导出的多个似然度(第一似然度w1和第二似然度w2)进行合成,由此获取合成似然度wc。也就是说,在状态估计装置1000A中,基于观测数据的可靠度更高的数据来能够获取合成似然度wc,因此能够获取精度高的后验概率分布数据St|t。其结果,在状态估计装置1000A中,使用精度高的后验概率分布数据St|t,能够更正确且鲁棒地进行物体的检测处理、跟踪处理。
[第二实施方式]
接着,说明第二实施方式。
在本实施方式中,对与上述实施方式和变形例相同的部分附加相同的附图标记,省略详细说明。
<2.1:状态估计装置的结构>
图8是第二实施方式的状态估计装置2000的概要结构图。
如图8所示,第二实施方式的状态估计装置2000具有如下结构:在第一实施方式的第一变形例的状态估计装置1000A中,将第一观测获取部1替换为第一观测获取部1A,将第二观测获取部2替换为第二观测获取部2A,进一步地,追加了第一可靠度获取部9和第二可靠度获取部10。
第一观测获取部1A获取与第一观测数据D1的检测精度有关的数据(第一检测精度数据),将获取到的第一检测精度数据输出到第一可靠度获取部9。
第二观测获取部2A获取与第二观测数据D2的检测精度有关的数据(第二检测精度数据),将获取到的第二检测精度数据输出到第二可靠度获取部10。
第一可靠度获取部9输入从第一观测获取部1A输出的第一检测精度数据。第一可靠度获取部9基于第一检测精度数据来获取示出第一观测获取部1的观测数据的可靠度的可靠度数据P(1),将获取到的可靠度数据P(1)输出到似然度合成部5。
第二可靠度获取部10输入从第二观测获取部2A输出的第二检测精度数据。第二可靠度获取部10基于第二检测精度数据来获取示出第二观测获取部2的观测数据的可靠度的可靠度数据P(2),将获取到的可靠度数据P(2)输出到似然度合成部5。
<2.2:状态估计装置的动作>
以下,说明如以上那样构成的状态估计装置2000的动作。
以下,作为一个例子而说明如下情况:在状态估计装置2000中,在第一观测获取部1A输入由具有可见光用图像传感器的摄像装置获取到的信号(数据)Din1,在第二观测获取部2A输入由具有红外光用图像传感器的摄像装置获取到的信号(数据)Din2。
此外,省略与第一实施方式相同的部分的详细说明。
图9是示意性地示出作为由具有可见光用图像传感器的摄像装置(未图示)拍摄到的运动图像(摄像运动图像)的输入数据Din1的图。
图10是示意性地示出作为由具有红外光用图像传感器的摄像装置(未图示)拍摄到的运动图像(摄像运动图像)的输入数据Din2的图。
图11是示意性地示出由第一观测获取部1A获取到的第一观测数据D1的图。此外,在图11中,也示意性地描绘了使用于检测(跟踪)物体的粒子(粒子)(一个例子)。
图12是示意性地示出由第二观测获取部2A获取到的第二观测数据D2的图。
在第一观测获取部1A输入作为由具有可见光用图像传感器的摄像装置获取到的运动图像(摄像运动图像)的输入数据Din1。
第一观测获取部1A从输入数据Din1中提取相当于人的图像区域,由此获取第一观测数据D1。第一观测获取部1A例如通过在输入数据Din1中检测包含很多肤色的区域和/或通过人的形状的图案匹配等,来在输入数据Din1的图像上检测相当于人的图像区域。而且,第一观测获取部1A作为第一观测数据D1而获取检测出的结果图像。像这样,通过第一观测获取部1A来获取图11示出的第一观测数据D1。如根据图11可知那样,在第一观测数据D1中,检测出分别相当于作为输入数据Din1所包含的人的物体TG1、TG2、TG3的图像区域TG1_D1、TG2_D1、TG3_D1。此外,设为在图11的第一观测数据D1(图像D1)中,图像区域TG1_D1、TG2_D1、TG3_D1内的像素具有“0”以外的像素值,图像区域TG1_D1、TG2_D1、TG3_D1以外的图像区域的像素的像素值为“0”的情况。
将由第一观测获取部1A获取到的第一观测数据D1从第一观测获取部1输出到第一似然度获取部3。
在第二观测获取部2A输入作为由具有红外光用图像传感器的摄像装置获取到的运动图像(摄像运动图像)的输入数据Din2。
第二观测获取部2A从输入数据Din2中提取相当于人的图像区域,由此获取第二观测数据D2。第二观测获取部2A例如通过在输入数据Din2中检测相当于发出很多红外光的物体的区域和/或通过人的形状的图案匹配等,来在输入数据Din2的图像上检测相当于人的图像区域。而且,第二观测获取部2A作为第二观测数据D2而获取检测出的结果图像。像这样,通过第二观测获取部2A来获取图12示出的第二观测数据D2。如根据图12可知那样,在第二观测数据D2中,检测出分别相当于作为输入数据Din2所包含的人的物体TG1、TG2、TG3的图像区域TG1_D2、TG2_D2、TG3_D2。此外,设为在图12的第二观测数据D2(图像D2)中,图像区域TG1_D2、TG2_D2、TG3_D2内的像素具有“0”以外的像素值,图像区域TG1_D2、TG2_D2、TG3_D2以外的图像区域的像素的像素值为“0”的情况。
将由第二观测获取部2A获取到的第二观测数据D2从第二观测获取部2输出到第二似然度获取部4。
另外,在第一观测获取部1A中获取与第一观测数据D1的检测精度有关的数据(第一检测精度数据)。而且,将获取到的第一检测精度数据从第一观测获取部1A输出到第一可靠度获取部9。
在第二观测获取部2A中,获取与第二观测数据D2的检测精度有关的数据(第二检测精度数据)。而且,将获取到的第二检测精度数据从第二观测获取部2A输出到第二可靠度获取部10。
在第一可靠度获取部9中,基于从第一观测获取部1A输出的第一检测精度数据,来获取示出第一观测获取部1的观测数据的可靠度的可靠度数据P(1)。而且,将获取到的可靠度数据P(1)从第一可靠度获取部9输出到似然度合成部5。
在第二可靠度获取部10中,基于从第二观测获取部2A输出的第二检测精度数据,来获取示出第二观测获取部2的观测数据的可靠度的可靠度数据P(2)。而且,将获取到的可靠度数据P(2)从第二可靠度获取部10输出到似然度合成部5。
第一似然度获取部3和第二似然度获取部4的处理与第一实施方式、第一实施方式的第一变形例相同。
以下,将似然度合成部5、后验概率分布获取部6的处理分为(1)状态估计装置2000放置在明亮环境下的情况以及(2)状态估计装置2000放置在暗环境下的情况而进行说明。
(2.2.1:在状态估计装置2000放置在明亮环境下的情况)
首先,说明状态估计装置2000放置在明亮环境下的情况。
在该情况下,由作为具有可见光用图像传感器的摄像装置获取到的运动图像(摄像运动图像)的输入数据Din1的精度高,另外,由作为具有红外光用图像传感器的摄像装置获取到的运动图像(摄像运动图像)的输入数据Din2的精度也高。
因而,在第一观测获取部1A中获取到的第一观测数据D1的精度也高,另外,在第二观测获取部2A中获取到的第二观测数据D2的精度也高。
在这种情况下,第一观测获取部1A将示出第一观测数据的检测精度高这一情况的第一检测精度数据输出到第一可靠度获取部9。而且,第二观测获取部2A也将示出第二观测数据的检测精度高这一情况的第二检测精度数据输出到第二可靠度获取部10。
而且,第一可靠度获取部9基于示出第一观测数据的检测精度高这一情况的第一检测精度数据,使可靠度数据P(1)为示出第一观测数据的可靠度高这一情况的值,将可靠度数据P(1)输出到似然度合成部5。
另外,第二可靠度获取部10基于示出第二观测数据的检测精度高这一情况的第二检测精度数据,使可靠度数据P(2)为示出第二观测数据的可靠度高这一情况的值,将可靠度数据P(2)输出到似然度合成部5。
此外,为了便于说明,在状态估计装置2000放置在明亮环境下的情况下,第一可靠度获取部9将第一观测数据的可靠度数据P(1)设定为“1”,第二可靠度获取部10将第二观测数据的可靠度数据P(2)设定为“1”。也就是说,设为
P(1)=P(2)=1。
图13是示意性地示出使第一观测数据D1(由第一观测数据得到的图像数据D1)与第二观测数据D2(由第二观测数据得到的图像数据D2)重叠的图。
图14是用于说明在状态估计装置2000放置在明亮环境下的情况下将观测对象(跟踪对象)设为物体TG1时的预测处理、似然度获取处理(似然度计算)、重采样处理得图。此外,在图14中仅示意性地示出垂直方向(Y轴向)的粒子。具体地说,在图14中仅示意性地示出在图13示出的垂直方向的直线A1-A2上配置的粒子。另外,在图14中,示出示出直线A1-A2的第一观测数据D1的值(图像D1的像素值)的曲线D1以及示出直线A1-A2的第二观测数据D2的值(图像D2的像素值)的曲线D2。此外,在图14中,曲线D1和曲线D2被描绘成图14的左方向为像素值变大的方向(正方向)。
图14的情况与在第一实施方式中说明的图6的情况相同。
也就是说,如以下那样,似然度合成部5对于按照预测概率分布数据St|t-1获取到的粒子的每个,将第一似然度w1与第二似然度w2进行合成,获取合成似然度wc。具体地说,当将第i个粒子的合成似然度值设为wc(i)时,似然度合成部5通过
wc(i)=P(1)/{P(1)+P(2)}×w1(i)+P(2)/{P(1)+P(2)}×w2(i)
获取第i个粒子的合成似然度值wc(i)。
在图14中用曲线Dc示出对通过上述获取到的合成似然度wc进行连结的曲线。
在图14的情况下,似然度合成部5如下那样获取第i个粒子的合成似然度值wc(i)。
wc(i1)=wc(i2)=wc(i7)=wc(i8)=wc(i9)=0
wc(i3)=0.5×w1(i3)+0.5×w2(i3)
=0.5×0.4+0.5×0.0=0.2
wc(i4)=0.5×w1(i4)+0.5×w2(i4)
=0.5×0.95+0.5×0.6=0.775
wc(i5)=0.5×w1(i5)+0.5×w2(i5)
=0.5×0.8+0.5×0.2=0.5
wc(i6)=0.5×w1(i5)+0.5×w2(i5)
=0.5×0.25+0.5×0.0=0.125
将如上所述那样获取到的合成似然度(包含各粒子的合成似然度值的数据)从似然度合成部5输出到后验概率分布获取部6。
在后验概率分布获取部6中,基于合成似然度wc和预测概率分布数据来获取(估计)后验概率分布(后验概率分布数据)。
后验概率分布获取部6以在时刻t的物体TG1的合成似然度wc(i)成比例的比例来恢复提取M1个粒子(粒子)(提取粒子xat (i)(物体TG1的第i个粒子))。
在图14的情况下,在图像区域TG1_D1所包含的直线A1-A2上恢复提取九个粒子。
由于从按照预测概率分布数据St|t-1获取到的第i3个粒子中获取合成似然度wc(i3)=0.2,因此在按照预测概率分布数据St|t-1获取到的第i3个粒子的位置,通过比例分配来恢复一个粒子。也就是说,恢复按照后验概率分布数据St|t获取到的第i1个粒子。
由于从按照预测概率分布数据St|t-1获取到的第i4个粒子中获取合成似然度wc(i4)=0.775,因此在按照预测概率分布数据St|t-1获取到的第i4个粒子的位置,通过比例分配来获取四个粒子。也就是说,恢复按照后验概率分布数据St|t获取到的第i2~i5个粒子、即合计四个粒子。
由于从按照预测概率分布数据St|t-1获取到的第i5个粒子中获取合成似然度wc(i5)=0.5,因此在按照预测概率分布数据St|t-1获取到的第i5个粒子的位置,通过比例分配来恢复三个粒子。也就是说,恢复按照后验概率分布数据St|t获取到的第i6~i8个粒子、即合计三个粒子。
由于从按照预测概率分布数据St|t-1获取到的第i6个粒子中获取合成似然度wc(i6)=0.125,因此在按照预测概率分布数据St|t-1获取到的第i6个粒子的位置,通过比例分配来恢复一个粒子。也就是说,恢复按照后验概率分布数据St|t获取到的第i9个粒子。
如以上那样,在状态估计装置2000放置在明亮环境下的情况下,后验概率分布获取部6以与在时刻t的物体TG1的合成似然度wc(i)成比例的比例来恢复提取M1个粒子(粒子)(提取粒子xat (i)(物体TG1的第i个粒子))。
此外,第一可靠度获取部9按时间序列来连续地获取(监视)从第一观测获取部1A输出的第一检测精度数据,在第一检测精度数据的值成为规定的范围外的情况下,也可以使得减小可靠度数据P(1)的值(减小到示出可靠度低这一情况的值)。另外,第二可靠度获取部10按时间序列来连续地获取(监视)从第二观测获取部2A输出的第二检测精度数据,在第二检测精度数据的值成为规定的范围外的情况下,也可以使得减小可靠度数据P(2)的值(减小至示出可靠度低这一情况的值)。
(2.2.2:在状态估计装置2000放置在暗环境下的情况下)
接着,说明状态估计装置2000放置在暗环境下的情况。
在该情况下,由作为具有可见光用图像传感器的摄像装置获取到的运动图像(摄像运动图像)的输入数据Din1的精度低,另外,作为由具有红外光用图像传感器的摄像装置获取到的运动图像(摄像运动图像)的输入数据Din2的精度高。
因而,在第一观测获取部1A中获取到的第一观测数据D1的精度低,在第二观测获取部2A中获取到的第二观测数据D2的精度高。
在这样的情况下,第一观测获取部1A将示出第一观测数据的检测精度低这一情况的第一检测精度数据输出到第一可靠度获取部9。第二观测获取部2A将示出第二观测数据的检测精度高这一情况的第二检测精度数据输出到第二可靠度获取部10。
而且,第一可靠度获取部9基于示出第一观测数据的检测精度低这一情况的第一检测精度数据,使可靠度数据P(1)为示出第一观测数据的可靠度低这一情况的值,将可靠度数据P(1)输出到似然度合成部5。在此,设为第一可靠度获取部9设定成
P(1)=0的情况。
第二可靠度获取部10基于示出第二观测数据的检测精度高这一情况的第二检测精度数据,使可靠度数据P(2)为示出第二观测数据的可靠度高这一情况的值,将可靠度数据P(2)输出到似然度合成部5。在此,设为将第二可靠度获取部10设定成
P(2)=1的情况。
图15是用于说明在状态估计装置2000放置在暗环境下的情况下将观测对象(跟踪对象)设为物体TG1时的预测处理、似然度获取处理(似然度计算)、重采样处理的图。此外,在图15中仅示意性地示出垂直方向(Y轴向)的粒子。具体地说,在图15中仅示意性地示出在图13示出的垂直方向的直线A1-A2上配置的粒子。另外,在图15中示出了示出直线A1-A2的第一观测数据D1的值(图像D1的像素值)的曲线D1以及示出直线A1-A2的第二观测数据D2的值(图像D2的像素值)的曲线D2。此外,在图15中,曲线D1和曲线D2被描绘成图15的左方向为像素值变大的方向(正方向)。
在图15的情况下,似然度合成部5对于按照预测概率分布数据St|t-1获取到的粒子的每个,对第一似然度w1与第二似然度w2进行合成,获取合成似然度wc。具体地说,当将第i个粒子的合成似然度值设为wc(i)时,为P(1)=0、P(2)=1,因此似然度合成部5通过
wc(i)=P(1)/{P(1)+P(2)}×w1(i)+P(2)/{P(1)+P(2)}×w2(i)
=w2( i)
获取第i个粒子的合成似然度值wc(i)。
在图15中用曲线Dc示出对通过上述获取到的合成似然度wc进行连结的曲线。如根据图15可知那样,曲线Dc与曲线D2(连结第二似然度值的曲线)一致。
在图15的情况下,似然度合成部5如下那样获取第i个粒子的合成似然度值wc(i)。
wc(i1)=wc(i2)=wc(i3)=wc(i6)=wc(i7)=wc(i8)=wc(i9)=0
wc( i4)=w2(i4)=0.6
wc( i5)=w2(i5)=0.2
将如上述那样获取到的合成似然度(包含各粒子的合成似然度值的数据)从似然度合成部5输出到后验概率分布获取部6。
在后验概率分布获取部6中,基于合成似然度wc和预测概率分布数据来获取(估计)后验概率分布(后验概率分布数据)。
后验概率分布获取部6以与在时刻t的物体TG1的合成似然度wc(i)成比例的比例来恢复提取M1个粒子(粒子)(提取粒子xat (i)(物体TG1的第i个粒子))。
在图15的情况下,在图像区域TG1_D1所包含的直线A1-A2上恢复提取九个粒子。
由于从按照预测概率分布数据St|t-1获取到的第i4个粒子中获取合成似然度wc(i4)=0.6,因此在按照预测概率分布数据St|t-1获取到的第i4个粒子的位置,通过比例分配来恢复七个粒子。也就是说,恢复按照后验概率分布数据St|t获取到的第i1个~第i7个粒子。
由于从按照预测概率分布数据St|t-1获取到的第i5个粒子中获取到合成似然度wc(i5)=0.2,因此在按照预测概率分布数据St|t-1获取到的第i5个粒子的位置,通过比例分配来恢复两个粒子。也就是说,恢复按照后验概率分布数据St|t获取到的第i8~i9个粒子、即合计两个粒子。
如以上那样,在状态估计装置2000放置在暗环境下的情况下,后验概率分布获取部6以与在时刻t的物体TG1的合成似然度wc(i)成比例的比例来恢复提取M1个粒子(粒子)(提取粒子xat (i)(物体TG1的第i个粒子))。
像这样,后验概率分布获取部6从恢复提取出的M1个粒子的分布中获取按照时刻t的后验概率分布p(xt|yt)生成的样本集合(粒子的集合)St|t(后验概率分布数据St|t)、即
St|t={st|t (1),st|t (2),···,st|t (M1)}。
而且,后验概率分布获取部6将估计(获取)到的后验概率分布(后验概率分布数据)从状态估计装置2000输出,并且输出到先验概率分布预测部7。
先验概率分布预测部7将从后验概率分布获取部6输入的在时刻t的后验概率分布(后验概率分布数据)作为下一时刻t+1的先验概率分布数据,与上述说明的处理同样地,执行预测处理。
而且,以后,在状态估计装置2000中反复进行与上述相同的处理。
如将图14与图15进行比较可知那样,在图15的情况下,所恢复的粒子比图14的情况更集中于图像区域TG1_D2。
这是由于,在状态估计装置2000放置在暗环境下的情况下,在状态估计装置2000中,使用作为可靠度高的数据的第二观测数据D2来计算出合成似然度wc,执行重采样处理。也就是说,在状态估计装置2000中,基于由第一观测获取部1A获取到的观测数据的可靠度数据P(1)以及由第二观测获取部2A获取到的观测数据的可靠度数据P(2),来计算出合成似然度wc,根据计算出的合成似然度wc来获取后验概率分布数据。
像这样,在状态估计装置2000中,能够基于观测数据的可靠度更高的数据来获取合成似然度wc,因此能够获取精度高的后验概率分布数据St|t。其结果,在状态估计装置2000中,使用精度高的后验概率分布数据St|t,能够更正确且鲁棒地进行物体的检测处理、跟踪处理。
≪第一变形例≫
接着,说明第二实施方式的第一变形例。
此外,在本变形例中,省略与上述实施方式相同部分的详细说明。
作为一个例子而说明如下情况:在本变形例的状态估计装置2000A中,在第一观测获取部1A输入由具有可见光用图像传感器的摄像装置获取到的信号(数据)Din1,在第二观测获取部2A输入由具有红外光用图像传感器的摄像装置获取到的信号(数据)Din2。
图16是第二实施方式的第一变形例的状态估计装置2000A的概要结构图。
如图16所示,本变形例的状态估计装置2000A具有如下结构:在第二实施方式的状态估计装置2000中,追加传感器部S1,将似然度合成部5替换为似然度合成部5A。
传感器部S1基于由一个或者多个传感器(未图示)检测出的检测信号(示出由传感器检测出的规定的物理量的检测信号),来获取传感器检测值。
传感器部S1也可以基于由k个(k:自然数)传感器获取到的检测信号(传感器检测信号),来获取k个传感器检测值S_det(i)(i:自然数、1≤i≤k)。
例如,传感器部S1获取示出由温度传感器获取到的温度的传感器检测值以及示出由照度传感器获取到的照度的传感器检测值等。以下,为了便于说明,设为传感器部S1通过照度传感器来获取示出状态估计装置2000A所放置的环境光的照度(明亮度)的传感器检测值S_det的情况而进行说明。
传感器部S1将获取到的传感器检测值S_det输出到似然度合成部5A。
似然度合成部5A输入从第一似然度获取部3输出的第一似然度w1、从第二似然度获取部4输出的第二似然度w2以及从传感器部S1输出的传感器检测值S_det。另外,似然度合成部5输入示出第一观测获取部1的观测数据的可靠度的可靠度数据P(1)以及示出第二观测获取部2的观测数据的可靠度的可靠度数据P(2)。似然度合成部5基于第一似然度w1、第二似然度w2、可靠度数据P(1)、P(2)、传感器检测值S_det,来获取合成似然度wc。
例如,似然度合成部5A基于传感器检测值S_det和可靠度数据P(1),来获取修正可靠度数据P’(1),基于传感器检测值S_det和可靠度数据P(2),来获取修正可靠度数据P’(2)。
在此,将传感器检测值S_det的最大值(照度的最大值)设为Lmax,将传感器检测值S_det的最小值(照度的最小值)设为Lmin,将函数f1(x)设为
f1(x)=(x-Lmin)/(Lmax-Lmin)
Lmin≤S_det≤Lmax
似然度合成部5A通过
P’(1)=f1(S_det)×P(1)
P’(2)={1-f1(S_det)}×P(2)
获取修正可靠度数据P’(1)和P’(2)。
进一步地,似然度合成部5A通过
P’’(1)=P’(1)/(P’(1)+P’(2))
P’’(2)=P’(2)/(P’(1)+P’(2))
获取归一化的修正可靠度数据P’’(1)和P’’(2)。
而且,似然度合成部5A通过
wc=P’’(1)×w1+P’’(2)×w2
获取合成似然度wc。
似然度合成部5A例如在以下(A)、(B)的情况下,如下述那样获取合成似然度wc。
(A)为P(1)=P(2)=1,在S_det=Lmax的情况下(在照度为最大值的情况下),似然度合成部5A设为
wc=w1
获取合成似然度wc。也就是说,在该情况下,似然度合成部5A将基于由具有可见光用图像传感器的摄像装置获取到的信号(数据)Din1来把获取到的似然度w1设为合成似然度wc。
(B)为P(1)=P(2)=1,在S_det=Lmin的情况下(在照度为最小值的情况下),似然度合成部5A设为
wc=w2
获取合成似然度wc。也就是说,在该情况下,似然度合成部5A将基于由具有红外光用图像传感器的摄像装置获取到的信号(数据)Din2来把获取到的第二似然度w2设为合成似然度wc。
像这样,似然度合成部5A能够基于示出状态估计装置2000A所放置的环境光的照度(明亮度)的传感器检测值S_det,使用获取到的修正可靠度数据P’(1)、P’(2)(或者归一化的修正可靠度数据P’’(1)、P’’(2)),来获取合成似然度wc。
例如,
(1)在环境光的照度高的情况下(明亮环境下的情况下),似然度合成部5A基于由具有在明亮环境下能够获取精度更高的数据的可见光用图像传感器的摄像装置获取到的信号(数据)Din1,来获取合成似然度wc,
(2)在环境光的照度低的情况下(暗环境下的情况下),似然度合成部5A基于由具有在暗环境下能够获取精度更高的数据的红外光用图像传感器的摄像装置获取到的信号(数据)Din2,来获取合成似然度wc,
(3)在环境光的照度为中间的情况下(上述(1)、(2)的中间的明亮度的环境下的情况下),似然度合成部5A取得如下的值作为合成似然度wc:该值是把由通过具有可见光用图像传感器的摄像装置获取到的信号(数据)Din1得到的第一似然度w1、和由通过具有红外光用图像传感器的摄像装置获取到的信号(数据)Din2得到的第二似然度w2按例如基于照度计算出的内分比来进行合成而得到的值。
像这样,似然度合成部5A考虑由传感器部S1获取到的传感器检测值,能够获取精度更高的合成似然度wc。
此外,在上述中,设为传感器部S1通过照度传感器获取示出状态估计装置2000A所放置的环境光的照度(明亮度)的传感器检测值S_det的情况而进行了说明,但是并不限定于此。传感器部S1也可以通过多个传感器作为多个数据而获取示出状态估计装置2000A所放置的状态的传感器检测值S_det。而且,似然度合成部5A也可以基于由传感器部S1获取到的多个数据,来获取修正可靠度数据P’(1)、P’(2)(或者归一化的修正可靠度数据P’’(1)、P’’(2)),并获取合成似然度wc。
如以上那样,在本变形例的状态估计装置2000A中,搭载多种传感器,基于由传感器部S1获取到的传感器检测值,来获取适当地修正了可靠度数据P(1)、P(2)的修正可靠度数据P’(1)、P’(2)(或者归一化的修正可靠度数据P’’(1)、P’’(2))。而且,在状态估计装置2000A中,基于获取到的修正可靠度数据P’(1)、P’(2)(或者归一化的修正可靠度数据P’’(1)、P’’(2))来获取合成似然度wc。
也就是说,在本变形例的状态估计装置2000A中,使用基于传感器检测值作为更适当的值而获取到的合成似然度wc,能够获取精度更高的后验概率分布数据St|t。
因而,在本变形例的状态估计装置2000A中,使用精度更高的后验概率分布数据St|t,能够更正确且鲁棒地进行物体的检测处理、跟踪处理。
≪第二变形例≫
接着,说明第二实施方式的第二变形例。
此外,在本变形例中,省略与上述实施方式相同部分的详细说明。
作为一个例子而说明以下情况:在本变形例的状态估计装置2000B中,在第一观测获取部1A输入由具有可见光用图像传感器的摄像装置获取到的信号(数据)Din1,在第二观测获取部2A输入由具有红外光用图像传感器的摄像装置获取到的信号(数据)Din2。
图17是第二实施方式的第二变形例的状态估计装置2000B的概要结构图。
如图17所示,本变形例的状态估计装置2000B具有以下结构:在第二实施方式的状态估计装置2000中,追加传感器部S2,将第一可靠度获取部9替换为第一可靠度获取部9A,将第二可靠度获取部10替换为第二可靠度获取部10A。
传感器部S2基于由一个或者多个传感器(未图示)检测出的检测信号(示出由传感器检测出的规定的物理量的检测信号),来获取传感器检测值。
传感器部S2也可以基于由k个(k:自然数)传感器获取到的检测信号(传感器检测信号)来获取k个传感器检测值S_det(i)(i:自然数、1≤i≤k)。
例如,传感器部S2获取示出由温度传感器获取到的温度的传感器检测值以及示出由照度传感器获取到的照度的传感器检测值等。以下,为了便于说明,设为传感器部S2通过照度传感器来获取示出状态估计装置2000B所放置的环境光的照度(明亮度)的传感器检测值S_det的情况而进行说明。
传感器部S2将获取到的传感器检测值S_det作为传感器检测值S_det(1)而输出到第一可靠度获取部9A。另外,传感器部S2将获取到的传感器检测值S_det作为传感器检测值S_det(2)而输出到第二可靠度获取部10A。此外,在本变形例中,传感器检测值S_det(1)与传感器检测值S_det(2)为相同值(相当于由照度传感器获取到的物理量的传感器检测值S_det(=S_det(1)=S_det(2)))。
第一可靠度获取部9A输入从第一观测获取部1A输出的第一检测精度数据以及从传感器部S2输出的传感器检测值S_det(1)(=S_det)。第一可靠度获取部9A基于第一检测精度数据和传感器检测值S_det(1)(=S_det),来获取示出第一观测获取部1A的观测数据的可靠度的可靠度数据P(1),将获取到的可靠度数据P(1)输出到似然度合成部5。
第二可靠度获取部10A输入从第二观测获取部2A输出的第二检测精度数据以及从传感器部S2输出的传感器检测值S_det(2)(=S_det)。第二可靠度获取部10A基于第二检测精度数据和传感器检测值S_det(2)(=S_det),来获取示出第二观测获取部2A的观测数据的可靠度的可靠度数据P(2),将获取到的可靠度数据P(2)输出到似然度合成部5。
在此,使用图18来说明第一可靠度获取部9A、第二可靠度获取部10A以及似然度合成部5的处理(一个例子)。
图18是用于说明第一可靠度获取部9A、第二可靠度获取部10A以及似然度合成部5的处理的定时图。具体地说,图18是按时间序列来示出状态估计装置2000B所放置的环境光的状态、传感器检测值S_det(=S_det(1)=S_det(2))、可靠度数据P(1)、P(2)以及合成似然度wc的图。
此外,设为如下的情况:在图18示出的时刻t0~t1的期间,照度传感器不进行动作,传感器部S2不获取传感器检测值S_det,以及在时刻t1以后,照度传感器进行动作,传感器部S2获取传感器检测值S_det。
以下,使用图18的定时图来说明第一可靠度获取部9A、第二可靠度获取部10A以及似然度合成部5的处理。
(时刻t0~t1):
设为在时刻t0~t1的期间,第一检测精度数据和第二检测精度数据的精度足够高的情况。在该情况下,在时刻t0~t1的期间,第一可靠度获取部9A基于第一检测精度数据,将可靠度数据P(1)设定为示出可靠度高这一情况的值“1”,将所设定的可靠度数据P(1)输出到似然度合成部5。另外,第二可靠度获取部10A基于第二检测精度数据,将可靠度数据P(2)设定为示出可靠度高这一情况的值“1”,将所设定的可靠度数据P(2)输出到似然度合成部5。
似然度合成部5基于可靠度数据P(1)、P(2)对第一似然度w1和第二似然度w2进行加权并合成,由此获取合成似然度wc。例如,似然度合成部5通过相当于如下的处理,来获取合成似然度wc。
wc=(P(1)×w1+P(2)×w2)/(P(1)+P(2))
=0.5×w1+0.5×w2。
(时刻t1~t2):
设为在时刻t1~t2的期间,将状态估计装置2000B放置在明亮环境下的情况。在该情况下,传感器部S2基于由照度传感器获取到的检测信号,将传感器检测值S_det设定为示出照度高这一情况的值“1”。而且,传感器部S2将传感器检测值S_det(=1)输出到第一可靠度获取部9A和第二可靠度获取部10A。此外,设为传感器检测值S_det为0≤S_det≤1,照度越高则越是取接近“1”的值的情况。
第一可靠度获取部9A基于第一检测精度数据和传感器检测值S_det(=1)来获取可靠度数据P(1)。例如,第一可靠度获取部9A通过相当于如下的处理,来获取可靠度数据P(1)。
P(1)=S_det×f2(D1)
f2(Dx):获取数据Dx的可靠度的函数
在本变形例中,(在不考虑传感器检测值的情况下的)第一观测数据D1的可靠度高,设为f2(D1)=1。此外,关于函数f2(Dx),设为0≤f2(Dx)≤1、数据Dx的可靠度越高则越是成为接近“1”的值的情况(以下,相同)。
因而,由于f2(D1)=1,因此,第一可靠度获取部9A通过
P(1)=S_det×f2(D1)
=S_det
来获取可靠度数据P(1)。
而且,第一可靠度获取部9A将获取到的可靠度数据P(1)输出到似然度合成部5。
第二可靠度获取部10A基于第二检测精度数据和传感器检测值S_det(=1)来获取可靠度数据P(2)。例如,第二可靠度获取部10A通过相当于如下的处理来获取可靠度数据P(2)。
P(2)=(1-S_det)×f2(D2)
f2(Dx):获取数据Dx的可靠度的函数
在本变形例中,设为(在不考虑传感器检测值的情况下的)第二观测数据D2的可靠度高、f2(D2)=1的情况。
因而,由于f2(D2)=1,因此第二可靠度获取部10A通过
P(2)=(1-S_det)×f2(D1)
=1-S_det
来获取可靠度数据P(2)。
而且,第二可靠度获取部10A将获取到的可靠度数据P(2)输出到似然度合成部5。
似然度合成部5根据可靠度数据P(1)、P(2)对第一似然度w1和第二似然度w2进行加权并合成,由此获取合成似然度wc。例如,似然度合成部5通过相当于如下的处理来获取合成似然度wc。
wc=(P(1)×w1+P(2)×w2)/(P(1)+P(2))
=S_det×w1+(1-S_det)×w2
由于S_det=1,因此,似然度合成部5作为wc=w1而获取合成似然度wc。
由此,似然度合成部5能够根据状态估计装置2000B所放置的环境光的照度来获取适当的合成似然度wc。
也就是说,似然度合成部5在状态估计装置2000B所放置的环境光的照度足够高的情况下,能够作为合成似然度wc而获取第一似然度w1,该第一似然度w1是从由具有在明亮环境下能够获取精度更高的数据的可见光用图像传感器的摄像装置获取到的信号(数据)Din1中获取到的。
(时刻t2~t3):
在时刻t2~t3的期间,设为将状态估计装置2000B放置在环境光从明亮状态逐渐转变为暗状态的环境下。而且,如图18所示,设为由传感器部S2获取到的传感器检测值S_det在时刻t2为S_det=1,在时刻t2至时刻t3中,线性地减少,在时刻t3成为S=0。
第一可靠度获取部9A基于第一检测精度数据和传感器检测值S_det来获取可靠度数据P(1)。例如,第一可靠度获取部9A通过相当于如下的处理来获取可靠度数据P(1)。
P(1)=S_det×f2(D1)
f2(Dx):获取数据Dx的可靠度的函数
在本变形例中,设为(在不考虑传感器检测值的情况下的)第一观测数据D1的可靠度高,为f2(D1)=1。
因而,由于为f2(D1)=1,因此第一可靠度获取部9A通过
P(1)=S_det×f2(D1)
=S_det
来获取可靠度数据P(1)。
而且,第一可靠度获取部9A将获取到的可靠度数据P(1)输出到似然度合成部5。
第二可靠度获取部10A基于第二检测精度数据和传感器检测值S_det来获取可靠度数据P(2)。例如,第二可靠度获取部10A通过相当于如下的处理来获取可靠度数据P(2)。
P(2)=(1-S_det)×f2(D2)
f2(Dx):获取数据Dx的可靠度的函数
在本变形例中,设为(在不考虑传感器检测值的情况下的)第二观测数据D2的可靠度高,为f2(D2)=1。
因而,由于为f2(D2)=1,因此第二可靠度获取部10A通过
P(2)=(1-S_det)×f2(D1)
=1-S_det
来获取可靠度数据P(2)。
而且,第二可靠度获取部10A将获取到的可靠度数据P(2)输出到似然度合成部5。
似然度合成部5基于可靠度数据P(1)、P(2)对第一似然度w1和第二似然度w2加权并合成,由此获取合成似然度wc。例如,似然度合成部5通过相当于如下的处理来获取合成似然度wc。
wc=(P(1)×w1+P(2)×w2)/(P(1)+P(2))
=S_det×w1+(1-S_det)×w2
由此,似然度合成部5能够根据状态估计装置2000B所放置的环境光的照度,来获取适当的合成似然度wc。
也就是说,似然度合成部5能够在状态估计装置2000B所放置的环境光的照度越高的情况下,获取使第一似然度w1的加权越大的合成似然度wc,该第一似然度w1是从由具有在明亮环境下能够获取精度更高的数据的可见光用图像传感器的摄像装置获取到的信号(数据)Din1获取到的。
另一方面,似然度合成部5能够在状态估计装置2000B所放置的环境光的照度越低的情况下,获取使第二似然度w2的加权越大的合成似然度wc,该第二似然度w2是从由具有在暗环境下能够获取精度更高的数据的红外光用图像传感器的摄像装置获取到的信号(数据)Din2获取到的。
(时刻t3~t4):
设为在时刻t3~t4的期间,将状态估计装置2000B放置在暗环境下。在该情况下,传感器部S2基于由照度传感器获取到的检测信号,将传感器检测值S_det设定为示出照度低这一情况的值“0”。而且,传感器部S2将传感器检测值S_det(=0)输出到第一可靠度获取部9A和第二可靠度获取部10A。此外,设为传感器检测值S_det为0≤S_det≤1,照度越高则越是取接近“1”的值。
第一可靠度获取部9A基于第一检测精度数据和传感器检测值S_det(=0)来获取可靠度数据P(1)。例如,第一可靠度获取部9A通过相当于如下的处理来获取可靠度数据P(1)。
P(1)=S_det×f2(D1)
f2(Dx):获取数据Dx的可靠度的函数
在本变形例中,设为(在不考虑传感器检测值的情况下的)第一观测数据D1的可靠度高,为f2(D1)=1。
因而,由于为f2(D1)=1,因此第一可靠度获取部9A通过
P(1)=S_det×f2(D1)
=S_det
来获取可靠度数据P(1)。
而且,第一可靠度获取部9A将获取到的可靠度数据P(1)输出到似然度合成部5。
第二可靠度获取部10A基于第二检测精度数据和传感器检测值S_det(=0)来获取可靠度数据P(2)。例如,第二可靠度获取部10A通过相当于如下的处理来获取可靠度数据P(2)。
P(2)=(1-S_det)×f2(D2)
f2(Dx):获取数据Dx的可靠度的函数
在本变形例中,设为(在不考虑传感器检测值的情况下的)第二观测数据D2的可靠度高,为f2(D2)=1。
因而,由于为f2(D2)=1,因此第二可靠度获取部10A通过
P(2)=(1-S_det)×f2(D1)
=1-S_det
来获取可靠度数据P(2)。
而且,第二可靠度获取部10A将获取到的可靠度数据P(2)输出到似然度合成部5。
似然度合成部5基于可靠度数据P(1)、P(2)对第一似然度w1和第二似然度w2加权并合成,由此获取合成似然度wc。例如,似然度合成部5通过相当于如下的处理来获取合成似然度wc。
wc=(P(1)×w1+P(2)×w2)/(P(1)+P(2))
=S_det×w1+(1-S_det)×w2
由于为S_det=0,因此似然度合成部5设为wc=w2而获取合成似然度wc。
由此,似然度合成部5能够根据状态估计装置2000B所放置的环境光的照度,来获取适当的合成似然度wc。
也就是说,似然度合成部5能够在状态估计装置2000B所放置的环境光的照度足够低的情况下,获取第二似然度w2作为合成似然度wc,该第二似然度w2是从由具有在暗环境下能够获取精度更高的数据的红外光用图像传感器的摄像装置获取到的信号(数据)Din2获取到的。
此外,在上述中,虽然设为传感器部S2通过照度传感器来获取示出状态估计装置2000B所放置的环境光的照度(明亮度)的传感器检测值S_det的情况进行了说明,但是并不限定于此。也可以是传感器部S2通过多个传感器获取示出状态估计装置2000B所放置的状态的传感器检测值S_det作为多个数据的情况。而且,也可以是似然度合成部5基于由传感器部S2获取到的多个数据,来获取修正可靠度数据P’(1)、P’(2)(或者归一化的修正可靠度数据P’’(1)、P’’(2))并获取合成似然度wc的情况。
另外,在上述中,设为从传感器部S2输出到第一可靠度获取部9A的传感器检测值S_det(1)与从传感器部S2输出到第二可靠度获取部10A的传感器检测值S_det(2)相同而进行了说明,但是并不限定于此。从传感器部S2输出到第一可靠度获取部9A的传感器检测值S_det(1)与从传感器部S2输出到第二可靠度获取部10A的传感器检测值S_det(2)也可以是不同的数据。
如以上那样,在本变形例的状态估计装置2000B中,搭载各种传感器,能够基于由传感器部S1获取到的传感器检测值来获取可靠度数据P(1)、P(2),基于获取到的可靠度数据P(1)、P(2)来获取合成似然度wc。而且,在本变形例的状态估计装置2000B中,使用基于传感器检测值作为更适当的值而获取到的合成似然度wc,能够获取精度更高的后验概率分布数据St|t。
因而,在本变形例的状态估计装置2000B中,使用精度更高的后验概率分布数据St|t,能够更正确且鲁棒地进行物体的检测处理、跟踪处理。
≪第三变形例≫
接着,说明第二实施方式的第三变形例。
在第二实施方式的状态估计装置2000中,观测获取部(第一观测获取部1A、第二观测获取部2A)为两个,可靠度获取部为两个,似然度获取部为两个(第一似然度获取部3、第二似然度获取部4),但是在第二实施方式的第一变形例的状态估计装置中,观测获取部为n个,可靠度获取部为n个,似然度获取部为n个。另外,在第二实施方式的第一变形例的状态估计装置中,使用n个似然度来进行处理。
在图19示出本变形例的状态估计装置的n个观测获取部、n个似然度获取部、n个可靠度获取部以及似然度合成部5B的概要结构图。
似然度合成部5B基于n个可靠度数据P(1)~P(n)对n个似然度w1~wn进行合成,获取合成似然度wc。似然度合成部5B例如如下那样获取合成似然度wc。
似然度合成部5B以成为以下数学式的方式使n个可靠度归一化。
[式3]
而且,似然度合成部5B通过如下来获取合成似然度wc。
[式4]
另外,也可以使得对似然度合成部输入传感器的检测信号。
例如,如图20所示,也可以将状态估计装置设为如下结构:将图19的似然度合成部5B替换为似然度合成部5C,并追加传感器部S1。在像这样构成的状态估计装置中,传感器部S1基于由温度传感器、照度传感器、湿度传感器、压力传感器等检测出的信号(传感器检测信号)来获取传感器检测值S_det,似然度合成部5C也可以使得基于由传感器部S1获取到的传感器检测值S_det对可靠度数据P(i)的值进行变更。
例如,在第一观测获取部11从由具有可见光用图像传感器的摄像装置获取到的图像数据获取第一观测数据D1、并且第二观测获取部12从由具有红外光用图像传感器的摄像装置获取到的图像数据获取第二观测数据D2的情况下,在通过照度传感器判断为状态估计装置所放置的环境为暗的情况下,似然度合成部5C也可以使得将第一观测数据D1的可靠度数据P(1)的值修正为小值,将第二观测数据D2的可靠度数据P(2)的值修正为大值,使用修正后的可靠度数据P(1)、P(2)来获取合成似然度wc。
另外,也可以是似然度合成部5C具有使各传感器的传感器检测信号的信号值(例如k个传感器检测值S_det(i)(i:自然数,1≤i≤k))与规定的可靠度数据P(i)(i:自然数,1≤i≤n)对应的查询表(LUT)的情况。
使用像这样的查询表,例如在特定传感器的传感器检测信号的信号值超出规定的值的情况下,似然度合成部5C也可以使得根据该情况来修正所对应的可靠度数据P(i)的值。
另外,也可以使得对第k可靠度获取部(k:自然数,1≤k≤n)输入传感器的检测信号。
例如,如图21所示,也可以将状态估计装置设为如下结构:将图19的第一可靠度获取部91替换为第一可靠度获取部91A,将第二可靠度获取部92替换为第二可靠度获取部92A,将第n可靠度获取部93替换为第n可靠度获取部93A。
在像这样构成的状态估计装置中,传感器部(在图21中未图示)基于由温度传感器、照度传感器、湿度传感器、压力传感器等检测出的信号(传感器检测信号)来获取传感器检测值S_det,将获取到的传感器检测值S_det输出到第一可靠度获取部91A、第二可靠度获取部92A、···、第n可靠度获取部93A。
第一可靠度获取部91A基于从传感器部输入的传感器检测值S_det(S_det(1))和第一观测数据D1来获取可靠度数据P(1),将获取到的可靠度数据P(1)输出到似然度合成部5B。
第二可靠度获取部92A基于从传感器部输入的传感器检测值S_det(S_det(2))和第二观测数据D2来获取可靠度数据P(2),将获取到的可靠度数据P(2)输出到似然度合成部5B。
第n可靠度获取部93A基于从传感器部输入的传感器检测值S_det(S_det(n))和第n观测数据Dn来获取可靠度数据P(n),将获取到的可靠度数据P(n)输出到似然度合成部5B。
此外,第k可靠度获取部(k:自然数,1≤k≤n)中的处理也可以是与第二实施方式和第二变形例中的第一可靠度获取部9A、第二可靠度获取部10A的处理相同的处理。
通过使得为这样,在本变形例的状态估计装置中,搭载各种传感器,能够基于传感器检测信号的信号值来适当地修正可靠度数据P(i)。其结果,在本变形例的状态估计装置中,能够获取更适当的合成似然度wc,能够获取精度更高的后验概率分布数据St|t。
因而,在本变形例的状态估计装置中,使用精度更高的后验概率分布数据St|t,能够更正确且鲁棒地进行物体的检测处理、跟踪处理。
此外,在上述中,说明了输入到本变形例的状态估计装置的输入数据为n个的情况,但是并不限定于此。例如图22所示,也可以将本变形例的状态估计装置构成为将一个输入数据Din共通地输入到n个观测获取部。
另外,也可以将状态估计装置设为图23示出的结构。也就是说,也可是如下的情况:状态估计装置具有在图22示出的状态估计装置中将似然度合成部5B替换为似然度合成部5C并追加了传感器部S1的结构。
另外,也可以将状态估计装置设为图24示出的结构。也就是说,也可以是如下的情况:状态估计装置具有在图22示出的状态估计装置中将第一可靠度获取部91替换为从传感器部(未图示)输入传感器检测值S_det(S_det(1))的第一可靠度获取部91A、将第二可靠度获取部92替换为从传感器部(未图示)输入传感器检测值S_det(S_det(2))的第二可靠度获取部92A,将第n可靠度获取部93替换为从传感器部(未图示)输入传感器检测值S_det(S_det(n))的第n可靠度获取部93A的结构。
另外,在本变形例的状态估计装置中,也可以使得在k个观测获取部分别输入k个输入数据,也可以使得在m个观测获取部共通地输入一个输入数据。
另外,可靠度数据P(i)也可以为二值数据(例如取“0”或者“1”的数据),也可以是取“0”至“1”之间的连续值(0≤P(i)≤1)的情况。
[其它实施方式]
也可以使得组合上述实施方式和变形例而构成状态估计装置。
另外,在上述实施方式(包含变形例)中,将获取似然度时的参数设为第i个粒子的图像上的坐标位置(Xt (i),Yt (i))以及用于决定以该坐标位置为中心的宽度W、高度H的矩形状的图像区域的宽度W、高度H,设为对矩形区域进行设定的参数,但是并不限定于此。
例如,也可以将获取似然度时的参数设为第i个粒子的图像上的坐标位置(Xt (i),Yt (i))以及用于决定以该坐标位置为中心的半径R的圆状的图像区域的半径R,设为对圆形区域进行设定的参数。
另外,也可以将获取似然度时的参数设为第i个粒子的图像上的坐标位置(Xt (i),Yt (i))以及用于决定以该坐标位置为中心的长轴2A、短轴2B的椭圆状的图像区域的值A(长轴的长度的一半的值)、值B(短轴的长度的一半的值),设为对椭圆形区域进行设定的参数。进一步的,也可以将长轴与短轴所形成的角度θ作为对椭圆形区域进行设定的参数而进行追加。
另外,在上述实施方式中说明的状态估计装置中,关于各块,可以通过LSI等半导体装置来分别单片化,也可以以包含一部分或者全部的方式单片化。
此外,虽然在此设为LSI,但是根据集成度的不同,有时也被称为IC、***LSI、超级LSI、超大规模LSI。
另外,集成电路化的方法并不限于LSI,也可以用专用电路或者通用处理器来实现。在LSI制造之后,也可以利用可编程的FPGA(Field Programmable Gate Array:现场可编程门阵列)、能够使LSI内部的电路单元的连接、设定重新构成的可重构处理器。
另外,上述各实施方式的各功能块的处理的一部分或者全部也可以通过程序来实现。而且,上述各实施方式的各功能块的处理的一部分或者全部在计算机中通过中央运算装置(CPU)来进行。另外,将用于进行各处理的程序存储在硬盘、ROM等存储装置,读出到ROM中或者RAM中而被执行。
另外,关于上述实施方式的各处理,也可以通过硬件来实现,也可以通过软件(包含与OS(操作***)、中间件或者规定的库一起实现的情况)来实现。并且,也可以通过软件和硬件的混合处理来实现。
另外,上述实施方式中的处理方法的执行顺序不一定必须限制为上述实施方式的记载,在不脱离发明的宗旨的范围内,还能够替换执行顺序。
使计算机执行前述方法的计算机程序以及记录有该程序的计算机可读取的记录介质包含在本发明的范围内。在此,作为计算机可读取的记录介质,例如能够举出软盘、硬盘、CD-ROM、MO、DVD、DVD-ROM、DVD-RAM、大容量DVD、下一代DVD、半导体存储器。
上述计算机程序并不限于记录在上述记录介质中的程序,也可以是经由电通信线路、无线或者有线通信线路、以因特网为代表的网络等而传送的程序。
此外,本发明的具体结构不限于前述实施方式,在不脱离发明的宗旨的范围内能够进行各种变更和修正。
附图标记说明
1000、1000A、2000:状态估计装置;1、1A:第一观测获取部;2、2A:第二观测获取部;3:第一似然度获取部;4:第二似然度获取部;5、5A:似然度合成部;6:后验概率分布获取部;7:先验概率分布预测部;8:初始状态设定部;9:第一可靠度获取部;10:第二可靠度获取部。
Claims (9)
1. 一种状态估计装置,作为对观测对象的内部状态进行估计的状态估计装置,具备:
第一观测获取部,以任意的时间间隔来获取从可观测的现象得到的第一观测数据;
第二观测获取部,以任意的时间间隔来获取从可观测的现象得到的第二观测数据;
先验概率分布预测部,将在前一时刻t-1获取到的、作为观测对象的内部状态的概率分布的后验概率分布数据设为在当前时刻t的先验概率分布数据,对在该时刻t的先验概率数据进行预测处理,获取在当前时刻t的、作为观测对象的内部状态的概率分布的预测概率分布数据;
第一似然度获取部,基于所述第一观测数据来获取第一似然度;
第二似然度获取部,基于所述第二观测数据来获取第二似然度;
似然度合成部,基于所述第一似然度、所述第二似然度、示出所述第一观测数据的可靠度的第一可靠度数据以及示出所述第二观测数据的可靠度的第二可靠度数据,来获取合成似然度;以及
后验概率分布获取部,根据所述合成似然度和所述预测概率分布数据,来获取在当前时刻t的、作为观测对象的内部状态的概率分布的后验概率分布数据。
2. 根据权利要求1所述的状态估计装置,
进一步具备:
第一可靠度获取部,获取所述第一可靠度数据;以及
第二可靠度获取部,获取所述第二可靠度数据,
所述第一观测获取部获取作为与第一观测数据的检测精度有关的数据的第一检测精度数据,
所述第二观测获取部获取作为与第二观测数据的检测精度有关的数据的第二检测精度数据,
所述第一可靠度获取部基于所述第一检测精度数据来获取所述第一可靠度数据,
所述第二可靠度获取部基于所述第二检测精度数据来获取所述第二可靠度数据。
3. 根据权利要求2所述的状态估计装置,
进一步具备传感器部,所述传感器部基于由一个或者多个传感器检测出的规定的物理量,来获取一个或者多个传感器检测值,
所述似然度合成部基于由所述传感器部获取到的所述传感器检测值,来修正所述第一可靠度数据,由此获取修正第一可靠度数据,
基于由所述传感器部获取到的所述传感器检测值,来修正所述第二可靠度数据,由此获取修正第二可靠度数据,
基于所述修正第一可靠度数据和所述修正第二可靠度数据,来获取所述合成似然度。
4. 根据权利要求2所述的状态估计装置,
进一步具备传感器部,所述传感器部基于由一个或者多个传感器检测出的规定的物理量,来获取一个或者多个传感器检测值,
所述第一可靠度获取部基于由所述传感器部获取到的所述传感器检测值和所述第一检测精度数据,来获取所述第一可靠度数据,
所述第二可靠度获取部基于由所述传感器部获取到的所述传感器检测值和所述第二检测精度数据,来获取所述第二可靠度数据。
5. 根据权利要求1到4中的任一项所述的状态估计装置,
所述第一可靠度数据为固定值,
所述第二可靠度数据为固定值。
6. 根据权利要求1到4中的任一项所述的状态估计装置,
所述第一可靠度数据为二值数据,
所述第二可靠度数据为二值数据。
7. 根据权利要求1到4中的任一项所述的状态估计装置,
所述第一可靠度数据为连续值,
所述第二可靠度数据为连续值。
8. 一种状态估计方法,具备:
第一观测获取步骤,以任意的时间间隔来获取从可观测的现象得到的第一观测数据;
第二观测获取步骤,以任意的时间间隔来获取从可观测的现象得到的第二观测数据;
先验概率分布预测步骤,将在前一时刻t-1获取到的、作为观测对象的内部状态的概率分布的后验概率分布数据设为在当前时刻t的先验概率分布数据,对在该时刻t的先验概率数据进行预测处理,获取在当前时刻t的、作为观测对象的内部状态的概率分布的预测概率分布数据;
第一似然度获取步骤,基于所述第一观测数据来获取第一似然度;
第二似然度获取步骤,基于所述第二观测数据来获取第二似然度;
合成似然度获取步骤,基于所述第一似然度、所述第二似然度、示出所述第一观测数据的可靠度的第一可靠度数据以及示出所述第二观测数据的可靠度的第二可靠度数据,来获取合成似然度;以及
后验概率分布获取步骤,根据所述合成似然度和所述预测概率分布数据,来获取在当前时刻t的、作为观测对象的内部状态的概率分布的后验概率分布数据。
9. 一种集成电路,作为对观测对象的内部状态进行估计的集成电路,具备:
第一观测获取部,以任意的时间间隔来获取从可观测的现象得到的第一观测数据;
第二观测获取部,以任意的时间间隔来获取从可观测的现象得到的第二观测数据;
先验概率分布预测部,将在前一时刻t-1获取到的、作为观测对象的内部状态的概率分布的后验概率分布数据设为在当前时刻t的先验概率分布数据,对在该时刻t的先验概率数据进行预测处理,获取在当前时刻t的、作为观测对象的内部状态的概率分布的预测概率分布数据;
第一似然度获取部,基于所述第一观测数据来获取第一似然度;
第二似然度获取部,基于所述第二观测数据来获取第二似然度;
似然度合成部,基于所述第一似然度、所述第二似然度、示出所述第一观测数据的可靠度的第一可靠度数据以及示出所述第二观测数据的可靠度的第二可靠度数据,来获取合成似然度;以及
后验概率分布获取部,根据所述合成似然度和所述预测概率分布数据,来获取在当前时刻t的、作为观测对象的内部状态的概率分布的后验概率分布数据。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014-250985 | 2014-12-11 | ||
JP2014250985A JP6482844B2 (ja) | 2014-12-11 | 2014-12-11 | 状態推定装置、プログラムおよび集積回路 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105701839A true CN105701839A (zh) | 2016-06-22 |
CN105701839B CN105701839B (zh) | 2019-04-12 |
Family
ID=54780057
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510820272.0A Active CN105701839B (zh) | 2014-12-11 | 2015-11-24 | 状态估计装置、状态估计方法以及集成电路 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10375360B2 (zh) |
EP (1) | EP3032496B1 (zh) |
JP (1) | JP6482844B2 (zh) |
CN (1) | CN105701839B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020215209A1 (zh) * | 2019-04-23 | 2020-10-29 | 日本电气株式会社 | 预测操作结果的方法、电子设备和计算机程序产品 |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6820204B2 (ja) * | 2017-01-18 | 2021-01-27 | 日本放送協会 | 状態推定器、及びプログラム |
US11468275B1 (en) * | 2019-03-05 | 2022-10-11 | Apple Inc. | Computer vision using a prior probability distribution selected based on an image capture condition |
JP7322622B2 (ja) * | 2019-09-17 | 2023-08-08 | 富士通株式会社 | 情報処理装置、情報処理方法及び情報処理プログラム |
JP7249919B2 (ja) * | 2019-09-17 | 2023-03-31 | 株式会社東芝 | 推定装置、推定方法及びプログラム |
JP2022175094A (ja) * | 2021-05-12 | 2022-11-25 | 株式会社Soken | 追跡装置 |
JP7357659B2 (ja) * | 2021-06-30 | 2023-10-06 | 本田技研工業株式会社 | データ異常判定装置及び内部状態予測システム |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070147661A1 (en) * | 2005-12-21 | 2007-06-28 | Denso Corporation | Estimation device |
CN101515995A (zh) * | 2008-02-21 | 2009-08-26 | 株式会社东芝 | 通过使用粒子滤波来跟踪运动对象的*** |
US20090245577A1 (en) * | 2008-03-28 | 2009-10-01 | Yuyu Liu | Tracking Processing Apparatus, Tracking Processing Method, and Computer Program |
US20110029278A1 (en) * | 2009-02-19 | 2011-02-03 | Toru Tanigawa | Object position estimation system, object position estimation device, object position estimation method and object position estimation program |
US20120316845A1 (en) * | 2011-06-09 | 2012-12-13 | Pulsar Informatics, Inc. | Systems and Methods for Distributed Calculation of Fatigue-Risk Prediction and Optimization |
WO2014171212A1 (ja) * | 2013-04-15 | 2014-10-23 | 株式会社メガチップス | 状態推定装置、プログラムおよび集積回路 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6882959B2 (en) * | 2003-05-02 | 2005-04-19 | Microsoft Corporation | System and process for tracking an object state using a particle filter sensor fusion technique |
EP2416132B1 (de) * | 2010-08-05 | 2013-03-27 | Mettler-Toledo (Albstadt) GmbH | Waage mit Anzeige- und Bedieneinheit |
JP5674550B2 (ja) | 2011-05-09 | 2015-02-25 | 日本電信電話株式会社 | 状態追跡装置、方法、及びプログラム |
JP2013196294A (ja) * | 2012-03-19 | 2013-09-30 | Toshiba Corp | 人物画像処理装置、及び人物画像処理方法 |
US20140275886A1 (en) * | 2013-03-14 | 2014-09-18 | Streamline Automation, Llc | Sensor fusion and probabilistic parameter estimation method and apparatus |
-
2014
- 2014-12-11 JP JP2014250985A patent/JP6482844B2/ja active Active
-
2015
- 2015-11-19 EP EP15195370.0A patent/EP3032496B1/en active Active
- 2015-11-24 CN CN201510820272.0A patent/CN105701839B/zh active Active
- 2015-11-24 US US14/950,302 patent/US10375360B2/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070147661A1 (en) * | 2005-12-21 | 2007-06-28 | Denso Corporation | Estimation device |
CN101515995A (zh) * | 2008-02-21 | 2009-08-26 | 株式会社东芝 | 通过使用粒子滤波来跟踪运动对象的*** |
US20090245577A1 (en) * | 2008-03-28 | 2009-10-01 | Yuyu Liu | Tracking Processing Apparatus, Tracking Processing Method, and Computer Program |
US20110029278A1 (en) * | 2009-02-19 | 2011-02-03 | Toru Tanigawa | Object position estimation system, object position estimation device, object position estimation method and object position estimation program |
CN102105811A (zh) * | 2009-02-19 | 2011-06-22 | 松下电器产业株式会社 | 物***置推定***、物***置推定装置、物***置推定方法及物***置推定程序 |
US20120316845A1 (en) * | 2011-06-09 | 2012-12-13 | Pulsar Informatics, Inc. | Systems and Methods for Distributed Calculation of Fatigue-Risk Prediction and Optimization |
WO2014171212A1 (ja) * | 2013-04-15 | 2014-10-23 | 株式会社メガチップス | 状態推定装置、プログラムおよび集積回路 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020215209A1 (zh) * | 2019-04-23 | 2020-10-29 | 日本电气株式会社 | 预测操作结果的方法、电子设备和计算机程序产品 |
Also Published As
Publication number | Publication date |
---|---|
US10375360B2 (en) | 2019-08-06 |
US20160171717A1 (en) | 2016-06-16 |
JP2016114988A (ja) | 2016-06-23 |
JP6482844B2 (ja) | 2019-03-13 |
EP3032496A1 (en) | 2016-06-15 |
EP3032496B1 (en) | 2019-04-17 |
CN105701839B (zh) | 2019-04-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105701839A (zh) | 状态估计装置、状态估计方法以及集成电路 | |
US11288548B2 (en) | Target detection method and apparatus, and computer device | |
CN108416266A (zh) | 一种利用光流提取运动目标的视频行为快速识别方法 | |
US9911191B2 (en) | State estimation apparatus, state estimation method, and integrated circuit with calculation of likelihood data and estimation of posterior probability distribution data | |
CN108781267A (zh) | 图像处理设备和方法 | |
CN107133986B (zh) | 一种基于二维标定物的相机标定方法 | |
CN109247068A (zh) | 用于滚动快门补偿的方法和设备 | |
CN105469397B (zh) | 一种基于系数矩阵分析的目标遮挡检测方法 | |
US11461875B2 (en) | Displacement measurement device and displacement measurement method | |
JP6366999B2 (ja) | 状態推定装置、プログラムおよび集積回路 | |
CN114241422A (zh) | 一种基于ESRGAN和改进YOLOv5s的学生课堂行为检测方法 | |
US20220067357A1 (en) | Full skeletal 3d pose recovery from monocular camera | |
CN117853706A (zh) | 旋转目标检测方法、装置、设备及介质 | |
Xia et al. | Cascaded 3d full-body pose regression from single depth image at 100 fps | |
Wang et al. | Predicting diverse future frames with local transformation-guided masking | |
Chen et al. | Alfpn: adaptive learning feature pyramid network for small object detection | |
JP2018066687A (ja) | 情報処理装置、情報処理方法、および情報処理プログラム | |
CN113424220B (zh) | 生成点云补全网络及点云数据的处理 | |
CN113361360B (zh) | 基于深度学习的多人跟踪方法及*** | |
US11373295B2 (en) | Displacement measurement device and displacement measurement method | |
CN112017113B (zh) | 图像处理方法及装置、模型训练方法及装置、设备及介质 | |
Han et al. | Progressive Feature Interleaved Fusion Network for Remote-Sensing Image Salient Object Detection | |
Meng | [Retracted] Tennis Video Target Tracking Based on Mobile Network Communication and Machine Learning Algorithm | |
CN117351136A (zh) | 一种三维人体模型构建方法及装置 | |
Samet et al. | PAFUSE: Part-based Diffusion for 3D Whole-Body Pose Estimation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |