CN102396001A - 移动体检测装置以及移动体检测方法 - Google Patents

Abstract

移动体检测装置(100)具有：图像输入部(101)，受理构成动态图像的多张图片；移动轨迹计算部(102)，根据多张图片计算多个移动轨迹；子类分类部(103)，将多个移动轨迹分类为多个子类；子类间近似测地距离计算部(104)，按照每个子类，使用包含属于该子类的移动轨迹与属于其他子类的移动轨迹之间的线性距离的最小值的距离即子类间距离，计算表示该子类与其他子类之间的类似性的子类间近似测地距离；以及区域分割部(105)，根据计算出的子类间近似测地距离，确定由类似的移动轨迹构成的子类的集合作为一个类，从而执行区域分割。

Description

移动体检测装置以及移动体检测方法

技术领域

本发明涉及通过确定图像中的移动体的区域来检测移动体的图像处理技术。特别涉及在移动体是人物那样在形状变化的同时进行移动的对象的情况下根据动态图像中的运动信息来高速检测移动体的移动体检测装置等。

背景技术

以往，广泛进行如下的区域提取技术的研究开发：从包含移动体的像(以下简称为“移动体”。)的图像中提取图像中的移动体的区域，由此检测移动体。特别地，在移动体是人的情况下，提取该移动体的区域的技术成为数字摄像机或者数字静止照相机的焦点控制和画质改善处理、汽车的安全运转辅助***、或者机器人中的与人的冲突避免控制或冲突避免用的警报等共同利用的基础技术。

作为提取图像中的移动体的区域的技术中的一般手法，存在如下手法：在从图像中提取移动体区域的候选后，评价提取出的移动体区域的候选与预先准备的移动体模型之间的类似度，提取类似度高的区域作为移动体区域。

进而，存在如下手法：在提取步行的人物等在变形的同时进行移动的移动体的区域的情况下，利用考虑了变形的移动体模型。例如，在专利文献1的技术中，从多个图像中提取移动体的剪影图像作为移动体区域候选。而且，公开了如下手法：评价预先参数化的与移动体的变形有关的模型与提取出的剪影图像之间的类似度，估计类似度高的区域和与该区域对应的模型的参数。由此，针对在形状周期变化的同时进行移动的人物，也能够适用参数化的模型，所以，能够进行移动体的区域提取。

并且，在非专利文献1的技术中，将从多个视点拍摄固定的一个移动体而得到的图像作为输入，计算排列了各图像中的像素值的矢量与排列了其他图像的像素值的矢量之间的欧几里德距离。而且，公开了如下方法：对计算出的欧几里德距离进行测地距离转换后，进行维数压缩，由此，能够以使从类似视点拍摄的图像在二维空间上成为近距离的方式进行投射。这里，与现有的PCA(Principal ComponentAnalysis)等的线性维数压缩方法相比，通过测地距离转换，能够压缩为更低维数，进而，还能够对非线性分布的数据进行处理。

现有技术文献

专利文献

专利文献1：日本特开平8-214289号公报

非专利文献

非专利文献1：Joshua Tenenbaum，Vin de Silva and John Langford，“A Global Geometric Framework for Nonlinear DimensionalityReduction”，Science，VOL290，pp.2319-2322，22 December，2000

发明内容

发明要解决的课题

但是，上述现有的区域提取的技术存在如下问题：例如，如在街头等多个人物等移动体来回行走的场景等那样，在移动体被其他移动体部分遮挡的情况下、或者包括大小显著不同的移动体的情况下等，无法正确提取移动体。

在以专利文献1为代表的现有的区域提取手法中，需要从图像中提取移动体区域的候选。此时，如果无法适当提取移动体区域候选，则无法准确地在移动体区域候选中适用对移动体进行参数化而得到的模型。特别地，在上述那种场景中，难以适当提取移动体区域候选。进而，即使能够适当提取移动体区域候选，也存在以下课题。即，特别地，在将人物等多关节物体作为移动体的情况下，由于移动体的各种姿势或大小而引起的图像的变化和变动非常大，所以，在进行移动体模型的参数化时需要数量庞大的参数。这将诱发模型的适用错误。因此，例如存在将多个移动体误检测为一个移动体、或将不存在作为提取对象的移动体的区域误检测为移动体等、无法正确检测移动体的课题。

另一方面，在以非专利文献1为代表的图像处理手法中，通过将图像间的距离作为输入而进行非线性处理，能够向高效压缩后的低维空间投射图像数据。由此，能够期待针对噪声的耐性。进而，通过测地距离转换和维数压缩，能够高效地表现连续且非线性分布的数据。但是，非专利文献1的主要目的在于，通过向低维空间投射多个图像从而使图像间的类似度可视化，没有公开对应于形状变化的人物等多关节物体中的各种姿势变化来正确检测移动体的方法。

这里，在非专利文献1中，在设要处理的全部数据数为N的情况下，需要使用具有N²的要素数的矩阵进行测地距离转换和维数压缩。因此，在数据数N较大的情况下，公知存在计算量庞大的问题。

与此相对，在非专利文献2和非专利文献3中提示了如下方法：从数据点中设定数量比数据点数量少的地标点，使用所设定的地标点生成所述矩阵，进行测地距离转换和维数压缩，从而削减计算量。

非专利文献2：Vin de Silva and Joshua B.Tenenbaum，“GlobalVersus Local Methods in Nonlinear Dimensionality Reduction”，NeuralInformation Processing Systems 15，pp.705-712，2002

非专利文献3：Vin de Silva and Joshua B.Tenenbaum，“SparseMultidimensional Scaling using Landmark Points”，Technical Report，Stanford University，June 2004

因此，本发明人以解决专利文献1的无法正确进行区域提取的问题为目的，发明了由以下单元构成的区域提取技术。使用该区域提取技术的区域提取装置包含：图像输入单元；运动解析单元，从在时间上不同的图像中检测运动，在时间上连接检测到的运动，从而计算移动轨迹；距离计算单元，计算表示移动轨迹间的类似性的距离；以及区域分割单元，将所述距离转换为测地距离，根据所得到的测地距离对移动轨迹进行分类，从而进行区域提取。

特别地，在该区域提取技术中，作为基于非专利文献1所记载的测地距离转换处理的性质，利用能够高效表现连续且非线性分布的数据的性质。

但是，在该区域提取技术中，与非专利文献1的技术同样，当输入数据数增多时，存在计算量庞大的问题。进而，在以非专利文献2和非专利文献3为代表的计算量的削减方法中，关于存在于地标点与地标点之间的数据点、即未选作地标点的点，使用地标点进行线性插值。但是，特别地，在形状变化的人物等移动体中，即使是同一移动体，运动也根据不同部位而不同，如头和脚的运动不同。例如，在头和脚存在地标点的情况下或者在地标点与地标点之间存在关节的情况下，当进行地标点间的线性插值时，无法适当捕捉手腕或膝盖的关节运动等的运动。因此，难以对应于形状变化的人物等多关节物体中的各种姿势变化来正确提取移动体。进而，在没有预先提取被摄体的阶段中，难以针对人物等多关节物体适当设定地标点。

因此，本发明是为了解决上述课题而完成的，其目的在于，提供一种移动体检测装置等，确保能够高效表现连续且非线性分布的数据的测地距离的性质，并且，针对包含在形状变化的同时进行移动的人物等移动体的图像，也能够以较少的计算量、高速且正确地进行区域提取，而不受移动体的姿势或大小的影响。

用于解决课题的手段

为了解决该课题，本发明的某个方面的移动体检测装置通过执行确定动态图像中的移动体的全部或一部分区域的区域分割来检测动态图像中的移动体，其中，该移动体检测装置具有：图像输入部，受理构成动态图像的多张图片；移动轨迹计算部，按照构成所受理的所述图片的由一个以上的像素构成的每个块，检测构成所述动态图像的2张图片间的该块的运动，针对所述多张图片连接检测到的运动，从而计算多个移动轨迹；子类分类部，将计算出的所述多个移动轨迹分类为彼此类似的移动轨迹的集合即多个子类；子类间近似测地距离计算部，按照每个子类，使用包含属于该子类的移动轨迹与属于其他子类的移动轨迹之间的线性距离的最小值的距离即子类间距离，计算表示该子类与所述其他子类之间的类似性的子类间近似测地距离；以及区域分割部，根据计算出的所述子类间近似测地距离，确定由类似的移动轨迹构成的子类的集合作为一个类，从而执行区域分割。

根据该结构，根据针对全部移动轨迹的对计算出的线性距离，计算子类间距离，使用子类间距离计算子类间近似测地距离。并且，子类间距离包含属于分别不同的子类的移动轨迹间的线性距离的最小值作为距离，所以，在产生多关节物体的运动的情况下，也难以变化。进而，本发明的类与图像中的移动体区域对应，所以，其结果，能够检测移动体。因此，确保能够高效表现连续且非线性分布的数据的测地距离的性质，并且，针对包含在形状变化的同时进行移动的人物等移动体的图像，也能够以较少的计算量、高速且正确地进行区域提取，而不受移动体的姿势或大小的影响。

另外，本发明不仅能够作为上述移动体检测装置实现，还能够作为将移动体检测装置中包含的特征处理部作为步骤的移动体检测方法、使计算机执行上述各步骤的程序、存储了该程序的CD-ROM等计算机可读取的记录介质等实现。另外，这种程序当然能够经由因特网等通信网络流通。

发明效果

根据本发明，确保能够高效表现连续且非线性分布的数据的测地距离的性质，并且，针对包含在形状变化的同时进行移动的人物等移动体的图像，也能够以较少的计算量、高速且正确地进行区域提取，而不受移动体的姿势或大小的影响。

附图说明

图1是示出本发明的实施方式1的移动体检测装置的基本结构的图。

图2是通过软件实现本发明的实施方式1的移动体检测装置时的硬件结构图。

图3是示出本发明的实施方式1的移动体检测装置的基本动作的流程图。

图4是示出本发明的实施方式1的移动轨迹计算部的处理例的图。

图5是示出本发明的实施方式1的子类分类部的处理例的图。

图6是示出本发明的实施方式1的测地距离的效果的一例的图。

图7是示出本发明的实施方式1的子类间近似测地距离的效果的一例的图。

图8是示出本发明的实施方式1的子类间近似测地距离的计算方法的一例的图。

图9是示出本发明的实施方式1的区域分割部的处理例的图。

图10是示出本发明的实施方式2的移动体检测装置的基本结构的图。

图11是示出本发明的实施方式2的移动体检测装置的基本动作的流程图。

图12是示出本发明的实施方式2的子类分类部的处理例的图。

图13是示出本发明的实施方式3的移动体检测装置的基本动作的流程图。

图14是示出本发明的实施方式3的子类间近似测地距离的性质的概念图。

图15是示出本发明的实施方式3的图像输入部的处理例的图。

图16是示出本发明的实施方式1～3的第1变形例的移动体检测装置的基本结构的图。

图17是示出本发明的实施方式1～3的第1变形例的记录/发送数据的一例的图。

图18是示出本发明的实施方式1～3的第2变形例的移动体检测装置的结构例的图。

图19是示出本发明的实施方式1～3的第2变形例的移动体检测装置的基本动作的流程图。

图20是示出本发明的实施方式2的运动预测的一例的图。

图21是示出本发明的第3变形例的移动体检测用数据生成装置的功能结构的框图。

图22是示出记录在记录介质中的信息的数据结构的图。

图23是用于说明图片的尺寸(X，Y)和图片张数(T)的图。

图24是用于说明移动轨迹数(N)的图。

图25是用于说明子类数(S)的图。

图26是用于说明带子类标记的移动轨迹矢量的图。

图27是示出记录在记录介质中的信息的具体例的图。

图28是示出移动体检测装置的功能结构的框图。

具体实施方式

本发明的一个实施方式的移动体检测装置通过执行确定动态图像中的移动体的全部或一部分区域的区域分割来检测动态图像中的移动体，其中，该移动体检测装置具有：图像输入部，受理构成动态图像的多张图片；移动轨迹计算部，按照构成所受理的所述图片的由一个以上的像素构成的每个块，检测构成所述动态图像的2张图片间的该块的运动，针对所述多张图片连接检测到的运动，从而计算多个移动轨迹；子类分类部，将计算出的所述多个移动轨迹分类为彼此类似的移动轨迹的集合即多个子类；子类间近似测地距离计算部，按照每个子类，使用包含属于该子类的移动轨迹与属于其他子类的移动轨迹之间的线性距离的最小值的距离即子类间距离，计算表示该子类与所述其他子类之间的类似性的子类间近似测地距离；以及区域分割部，根据计算出的所述子类间近似测地距离，确定由类似的移动轨迹构成的子类的集合作为一个类，从而执行区域分割。

由此，根据类似性汇集连续且非线性分布的移动轨迹并进行类分类，所以，在将由运动不同的多个部位构成的人物等多关节物体检测为移动体的情况下，也被判定为一个区域。其结果，能够进行准确的区域提取，正确检测移动体。即，针对在形状变化的同时进行移动的人物等移动体，也能够正确进行区域提取，由此，能够高速且可靠地检测图像中的移动体。

并且，将移动轨迹分类为子类，进而，代替表示移动轨迹的类似性的测地距离，计算子类间近似测地距离，由此，特别地，针对具有关节的物体的运动，能够以更少的计算量计算具有与计算测地距离的情况相同的性质的距离，所以，能够进行高速的移动体检测。进而，不需要预先保持或学习与应该提取的移动体有关的形状信息等事前信息。

优选所述子类间近似测地距离计算部按照每个子类，计算对表示属于该子类的移动轨迹的类似性的子类内距离、所述其他子类的所述子类内距离、该子类与所述其他子类之间的所述子类间距离进行相加后的距离，作为该子类与其他子类之间的所述子类间近似测地距离。

使用子类间距离和子类内距离作为子类间近似测地距离，从而能够更高精度地近似测地距离。由此，针对在形状变化的同时进行移动的人物等移动体，也能够以较少的计算量正确地进行区域提取，由此，能够高速且可靠地检测图像中的移动体。

这里，也可以构成为，所述子类间近似测地距离计算部按照每个子类，计算属于该子类的移动轨迹间的线性距离的平均值、最频值或中值，作为该子类的所述子类内距离。

进而，特别地，在移动体的大小变化的情况下，所述区域分割部还计算通过所述子类内距离对2个子类间的所述子类间近似测地距离进行归一化后的距离，作为所述子类间近似测地距离。通过包含子类的空间大小的信息的子类内距离对子类间近似测地距离进行归一化，由此，能够更准确地检测图像上的尺寸变化的移动体。

并且，也可以构成为，所述子类间近似测地距离计算部在所述最小值大于规定阈值的情况下，进行将所述子类间近似测地距离变更为无限大的非线性化，从而计算所述子类间近似测地距离。

并且，也可以构成为，所述子类间近似测地距离计算部对第1子类与第2子类之间的子类间近似测地距离、所述第1子类与第3子类之间的子类间近似测地距离、以及所述第3子类与所述第2子类之间的子类间近似测地距离之和进行比较，计算较小的值作为所述第1子类与所述第2子类之间的子类间近似测地距离。

并且，也可以构成为，所述区域分割部根据所述子类间近似测地距离的时间变化，确定由类似的移动轨迹构成的子类的集合作为表示一个区域的类，从而执行区域分割。这样，根据子类间近似测地距离的时间变化来判定子类标记的统合/非统合，由此，针对关节物体等的运动，也能够检测为一个移动体。

另外，为了根据时间变化对子类标记进行统合，优选所述区域分割部在表示2个子类间的所述子类间近似测地距离的时间变化的值为规定的时间变化阈值以下的情况下，判定为所述2个子类属于同一类，从而执行区域分割。由此，在子类间近似测地距离的时间变化较小的情况下，如关节运动或刚体那样能够判定为同一移动体。

进而，为了根据时间变化而不对子类标记进行统合，优选所述区域分割部在表示2个子类间的所述子类间近似测地距离的时间变化的值大于规定的时间变化阈值的情况下，判定为所述2个子类属于不同的类，从而执行区域分割。由此，在子类间近似测地距离的时间变化较大的情况下，能够判定为不同的移动体。

并且，也可以是，所述子类间近似测地距离计算部按照每个子类，将属于该子类的移动轨迹与属于其他子类的移动轨迹之间的距离中的、从最小距离起的规定个数的距离的平均值，作为该子类与所述其他子类之间的所述子类间距离。并且，也可以是，所述子类间近似测地距离计算部按照每个子类，将属于该子类的移动轨迹与属于其他子类的移动轨迹之间的距离中的、规定阈值以下的距离的平均值，作为该子类与所述其他子类之间的所述子类间距离。根据该结构，能够计算更难受噪声影响的子类间近似测地距离。

并且，关于子类的生成方法，本发明的更加优选的方式构成为，所述子类分类部通过将计算出的所述多个移动轨迹中的类似的移动轨迹分类为同一子类，将所述多个移动轨迹分类为多个子类。更加优选构成为，所述子类分类部以规定次数或者直到将所述多个移动轨迹分类为规定子类数为止，反复执行将计算出的所述多个移动轨迹中的最类似的移动轨迹的组合分类为同一子类的处理，从而将所述多个移动轨迹分类为多个子类。这样，通过将类似的移动轨迹分类为同一子类，与不分类为子类的情况相比，能够削减子类间近似测地距离的计算量。

进而，关于子类的生成方法，其他优选方式构成为，所述子类分类部根据在所述图像输入部中受理的所述多张图片中的至少一张图片，使用该图片的边缘信息、颜色信息和亮度信息中的至少一方，将该图片分割为多个区域，将通过分割后的各区域的移动轨迹分类为同一子类，从而将所述多个移动轨迹分类为多个子类，还能够使用边缘、亮度、颜色等的图像的空间信息将移动轨迹分类为子类。

优选上述移动体检测装置还具有输出部，该输出部针对在所述图像输入部中受理的所述多张图片中的至少一张图片，按照通过由所述区域分割部执行区域分割而确定的每个区域，实施图像处理以使其成为与其他确定的区域不同的显示方式，输出包含实施了图像处理后的区域的图片。

根据该结构，在图像上显示提取出的移动体，从而在AV、图像监视装置等中分别在图像上显示移动体，由此，具有用户容易识别各个被摄体的效果。

更加优选上述移动体检测装置还具有记录/发送部，该记录/发送部针对在所述图像输入部中受理的所述多张图片中的至少一张图片，将赋予了由所述区域分割部执行的区域分割的结果后的图片写入记录装置，或者经由传送路径发送到外部。

根据该结构，根据提取出的区域分别保持检测到的移动体图像，由此，仅从各移动体图像中选择必要部分的图像进行保存或输出到外部，由此，作为图形要素，能够进行高效的保存和输出。因此，在便携电话等处理能力有限的设备中进行保存和发送的情况下，有效发挥作用。

并且，也可以是，上述移动体检测装置还具有运动预测部，该运动预测部计算构成由所述区域分割部确定的类的移动轨迹中的代表该类的代表移动轨迹，根据计算出的所述代表移动轨迹，预测为与该类对应的区域在图片间移动，从而预测所述移动体的运动。

通过使用代表多个块的移动轨迹的轨迹对移动体的运动进行预测，能够进行噪声耐性高的运动预测。

本发明的其他实施方式的计算机可读取的记录介质记录了具有包含头信息和体信息的数据构造的数据，其中，所述头信息包含：构成动态图像的图片的尺寸；构成所述动态图像的所述图片的张数即图片张数；从所述动态图像得到的移动轨迹的数量即移动轨迹数；以及作为类似的移动轨迹的集合的子类的数量即子类数，所述体信息包含：构成所述动态图像的所述图片张数的图片；表示从所述动态图像得到的所述移动轨迹数的移动轨迹的数据；表示各所述移动轨迹所属的子类的数据；以及按照每个子类表示该子类与其他子类之间的类似性的子类间近似测地距离。

这样，通过保持与图片的尺寸、图片张数、移动轨迹数、子类数有关的信息作为头，接受这些数据进行区域分割的装置能够确保区域分割所需要的信息的存储。并且，作为区域分割所需要的信息，包含子类间近似测地距离，所以，与包含移动轨迹间的测地距离的情况相比，在装置侧，具有能够以较少的存储量进行区域分割的效果。

本发明的另一实施方式的移动体检测用数据生成装置具有：图像输入部，受理构成动态图像的多张图片；移动轨迹计算部，按照构成所受理的所述图片的由一个以上的像素构成的每个块，检测构成所述动态图像的2张图片间的该块的运动，针对所述多张图片连接检测到的运动，从而计算多个移动轨迹；子类分类部，将计算出的所述多个移动轨迹分类为彼此类似的移动轨迹的集合即多个子类；子类间近似测地距离计算部，按照每个子类，使用包含属于该子类的移动轨迹与属于其他子类的移动轨迹之间的线性距离的最小值的距离即子类间距离，计算表示该子类与所述其他子类之间的类似性的子类间近似测地距离；以及数据输出部，输出至少包含所述子类间近似测地距离计算部计算出的所述子类间近似测地距离的数据。

数据输出部输出包含子类间近似测地距离的数据。因此，在接受该数据的其他装置中，能够以较少的存储量进行区域分割。

本发明的另一实施方式的移动体检测装置通过执行确定动态图像中的移动体的全部或一部分区域的区域分割来检测动态图像中的移动体，其中，该移动体检测装置具有：数据输入部，至少受理包含子类间近似测地距离的数据的输入，该子类间近似测地距离表示属于动态图像中的类似的移动轨迹的集合即子类的移动轨迹、与属于不同于该子类的所述动态图像中的类似的移动轨迹的集合即子类的移动轨迹之间的类似性；以及区域分割部，根据由所述数据输入部受理的所述子类间近似测地距离，确定由类似的移动轨迹构成的子类的集合作为一个类，从而执行区域分割。

受理包含子类间近似测地距离的数据的输入，执行区域分割。因此，与根据移动轨迹间的测地距离进行区域分割的情况相比，能够以较少的存储量进行区域分割。

下面，使用附图详细说明本发明的实施方式。

(实施方式1)

下面，使用附图说明本发明的实施方式。

图1是示出实施方式的移动体检测装置100的结构的图。如图1所示，该移动体检测装置100具有图像输入部101、移动轨迹计算部102、子类分类部103、子类间近似测地距离计算部104、区域分割部105以及输出部106。移动体检测装置100是通过执行确定动态图像中的移动体的全部或一部分区域的区域分割来检测动态图像中的移动体的装置。即，移动体检测装置100是通过使用2张以上的图片间的对应点的轨迹即移动轨迹执行确定动态图像中的移动体的全部或一部分区域的类分类(聚类)来检测动态图像中的移动体的装置。以下，将图片称为图像。

图像输入部101是如下的处理部：受理构成动态图像且摄影时刻在时间上不同的多张图片的输入，例如是摄像机或者与摄像机连接的通信接口等。并且，图像输入部101也可以从蓄积了动态图像的存储器中取得动态图像。

移动轨迹计算部102是如下的处理部：按照构成由图像输入部101受理的图片的由一个以上的像素构成的每个块，检测构成动态图像的2张图片间的图像的运动，针对多张图片连接检测到的运动，从而计算多个移动轨迹。这里，块是计算移动轨迹的单位，是一个以上的像素的集合。

子类分类部103是如下的处理部：将由移动轨迹计算部102计算出的多个移动轨迹分类为彼此类似的移动轨迹的集合即多个子类。即，子类分类部103关于由移动轨迹计算部102计算出的多个移动轨迹，以使类似的移动轨迹属于相同子类的方式进行分类，针对各移动轨迹赋予分类结果即子类的标记。

子类间近似测地距离计算部104是如下的处理部：使用由子类分类部103赋予标记的移动轨迹，计算表示子类间的类似度的距离。在本实施方式中，为了捕捉移动物体的形状变化并缩短距离的计算时间，子类分类部103使用子类内距离和子类间距离，计算子类间的近似的测地距离即子类间近似测地距离。即，子类间近似测地距离计算部104按照每个子类，使用包含属于该子类的移动轨迹与属于其他子类的移动轨迹之间的线性距离的最小值的距离即子类间距离，计算表示该子类与其他子类之间的类似性的子类间近似测地距离。这里，测地距离是追寻作为中继点的移动轨迹而从一个移动轨迹到达另一个移动轨迹的路径的距离。并且，子类内距离是使用对同一子类赋予标记的移动轨迹而计算出的距离，是表示属于同一子类的移动轨迹间的类似性的距离。子类间距离是包含属于2个不同子类的移动轨迹间的线性距离的最小值的距离。另外，在希望进一步削减距离计算的计算量的情况下，也可以不使用子类内距离，而将子类间距离代用作子类间近似测地距离。另外，距离表示类似性，例如，在距离大的情况下类似性低，在距离小的情况下类似性高。

这里，在使用S个子类的情况下，计算出的子类间近似测地距离为S行S列(S×S)的距离矩阵。这样，通过计算对属于2个不同子类间的移动轨迹的类似性进行评价的距离，能够将块间的线性距离由于运动而变化的移动体、特别是如关节物体那样在形状变化的同时进行移动的人物等物体的运动表现为近似测地距离矩阵。由此，能够针对关节物体的运动进行健壮的被摄体提取。这里，本说明书中的“距离”不仅包含二维空间中的两点间的距离，如后所述，还包含多维数据间的算术距离，是一个值或者多个值的集合(距离矩阵)。

区域分割部105是如下的处理部：根据由子类间近似测地距离计算部104计算出的子类间近似测地距离，确定由类似的移动轨迹构成的子类的集合作为一个类，从而执行区域分割。即，区域分割部105根据由子类间近似测地距离计算部104计算出的子类间近似测地距离，针对由类似的移动轨迹构成的子类的集合进行统合/非统合的判断。然后，通过将子类分类为类，检测动态图像中的移动体。这里，一个类对应于一个被摄体或者被摄体的部位，所以，如果能够分类为类，则能够确定移动体的区域，并检测移动体。另外，类是子类的集合。

输出部106输出由区域分割部105进行的动态图像中的移动体的检测结果。具体而言，输出部106针对由图像输入部101受理的多张图片中的至少一张图片实施图像处理，以使其成为例如按照由区域分割部105检测到的移动体的每个区域而不同的显示方式，向显示装置等输出包含实施了图像处理后的区域的图片。

另外，在本说明书中，“区域”包含提取某个特定的对象物所在的图像区域的检测技术、以及不区分对象物而按照每个物体对图像区域(移动轨迹)进行分类的类分类技术这两者。另外，检测技术和类分类技术的相同部分很多，所以，在本申请说明书中不对两者进行区分。

另外，构成上述移动体检测装置100的各结构要素(图像输入部101、移动轨迹计算部102、子类分类部103、子类间近似测地距离计算部104、区域分割部105、输出部106)可以利用在计算机上执行的程序等软件实现，也可以利用电子电路或集成电路等硬件实现。图2是示出通过软件实现的本实施方式的移动体检测装置的硬件结构的图。在图2中，照相机201拍摄图像并输出。计算机202从照相机201取得图像并进行移动体检测处理，生成显示移动体检测结果的图像。显示器203取得由计算机202生成的图像并进行显示。计算机202包含I/F 204、CPU 205、ROM 206、RAM 207、HDD 208以及视频卡209。使计算机202工作的程序预先保持在ROM 206或HDD 208中。程序通过处理器即CPU 205从ROM 206或HDD 208读出到RAM207中进行展开。CPU 205执行在RAM 207中展开的程序中的被编码的各命令。I/F 204根据程序的执行，将由照相机201拍摄的图像取入到RAM 207中。视频卡209输出根据程序的执行而生成的图像，在显示器203上显示该图像。

另外，计算机程序不限于存储在半导体即ROM 206或HDD 208中，例如也可以存储在光盘中。并且，还可以经由有线或无线的网络、放送等进行传送而取入到计算机的RAM 207中。

下面，使用图3说明本实施方式的移动体检测装置100的动作。

图3是示出本实施方式的移动体检测装置100的动作的流程图。

在图3中，7个步骤S301～S306分别对应于图1的各处理部。即，在图像输入部101中执行图像输入步骤S301的动作，在移动轨迹计算部102中执行移动轨迹计算步骤S302的动作，在子类分类部103中执行子类分类步骤S303的动作，在子类间近似测地距离计算部104中执行子类间近似测地距离计算步骤S304的动作，在区域分割部105中执行区域分割步骤S305的动作，在输出部106中执行图像输出步骤S306的动作。

在图像输入步骤S301中，图像输入部101从照相机201取得构成动态图像的多个图片。这里，假设输入有T张图片。

接着，在移动轨迹计算步骤S302中，移动轨迹计算部102计算所输入的多个图片间的运动信息，生成移动轨迹并输出。作为计算多个(T张)图片间的运动信息的手法，这里，以多个图片中的某一个图片上的I点的像素为基准，搜索其他T-1张图片中的对应像素。另外，代替I点的像素，也可以以I个小矩形区域(块)为基准，搜索对应的小矩形区域的位置。例如，如图4(a)所示，移动轨迹计算部102使用在时刻t和时刻t+1拍摄的图片，估计与时刻t的图片上的像素i的像素坐标(x_it，y_it)(i＝1…I)对应的、时刻t+1的图片上的像素坐标(x_it+1，y_it+1)。此时，移动轨迹计算部102在时刻t+1的图片上扫描(虚线)时刻t中的小矩形区域404(块)，将时刻t中的小矩形区域内的像素值与时刻t+1中的小矩形区域内的像素值之差的总和最小时的像素坐标(实线箭头所指的坐标)估计为对应的像素坐标。像素坐标使用表示块的中心位置的像素坐标即可。这里，也可以预先决定扫描小矩形区域404的范围。并且，作为评价块彼此的差异的尺度，不限于像素值之差的总和，只要是表示要比较的块内的像素值的差异的尺度即可，也可以是其他尺度。例如，也可以使用时刻t中的小矩形区域内的像素值和时刻t+1中的小矩形区域内的像素值的平均二乘误差，还可以使用中值等的很难受极值(异常值)影响的值。在图片存在3张以上的情况下，如图4(b)所示，移动轨迹计算部102在相邻的2张图片间依次求出对应的坐标，从而针对所输入的T张图片计算I点的对应点。另外，为了求出对应的坐标而使用的2张图片不一定相邻。例如，也可以在2张图片之间隔着另外的一张以上的图片。

作为上述的计算多个图片间的对应点的其他具体手法，也可以使用非专利文献4或非专利文献5等所示的方法。

非专利文献4：P.Anandan，“A Computational Framework and anAlgorithm for the Measurement of Visual Motion”，International Journalof Computer Vision，Vol.2，pp.283-310，1989

非专利文献5：Vladimir Kolmogorov and Ramin Zabih，“Computing Visual Correspondence with Occlusions via Graph Cuts”，International Conference on Computer Vision，2001

然后，在该移动轨迹计算步骤S302中，移动轨迹计算部102根据I点的像素的T张图片所涉及的运动信息即对应点的像素坐标的组，生成I个与每个像素对应的移动轨迹。使用第1帧的图片上的某个像素i的坐标值(x₁ ⁱ，y₁ ⁱ)与对应点的像素坐标(x_t ⁱ，y_t ⁱ)，如下述式1那样示出像素i的移动轨迹xⁱ。

[数式1]

$x^i=(x_1^i,y_1^i,...,x_t^i,y_t^i,...,x_T^i,y_T^i)$ (式1)

这里，T是用于计算移动轨迹的图片的张数。

图4(b)是示出移动轨迹xⁱ的一例的图。移动轨迹xⁱ是在时刻t到时刻t+(T-1)的T张输入图像401中根据从第1帧的图片上的像素i403到其他图片上的与像素i403对应的像素的运动信息402计算出的、由像素坐标的集合构成的矢量。

接着，在子类分类步骤S303中，子类分类部103将式1所示的I个移动轨迹分类为S个子类。使用图5说明针对子类的分类。例如，如图5(a)所示，假设第1帧的图片中包含的被摄体501A和501B在第N帧中分别移动到被摄体502B和502B的位置。此时的被摄体501A和501B的移动轨迹分别如多个移动轨迹503A和503B所示。但是，在图5(a)中，为了简化说明，仅示出移动轨迹的一部分。

关于针对子类的分类，只要能够将类似的移动轨迹分类为同一子类即可，所以，可以使用各种方法。例如，如果将式1所示的I个移动轨迹作为输入，使用非专利文献6的pp.526-528所示的k-means法，将子类数设定为S个，则如图5(b)那样，能够在移动轨迹矢量构成的多维空间上将移动轨迹矢量分类为子类。这里，如虚线的箭头所示，图5(b)的○表示与图5(a)的各移动轨迹对应的多维空间上的点。为了进行说明，在三维空间图上示出与移动轨迹对应的点，但是，移动轨迹矢量所在的空间实际上是式1所示的维数为2×T的多维空间。因此，如图5(c)所示，在所述多维空间上，将类似的移动轨迹作为同一子类，能够将I个移动轨迹分类为S个子类。

进而，还可以将I个移动轨迹作为输入，使用以非专利文献6的pp.550-555所示的树状图为基准的聚类算法。这里，直到子类数成为S个为止，反复进行依次将类似度最高(距离最小)的移动轨迹的对作为同一子类的处理，或者进行规定次数的该处理。其结果，如图5(c)那样，能够将类似的移动轨迹作为同一子类，将I个移动轨迹分类为S个子类。另外，这里，移动轨迹的类似度可以使用移动轨迹矢量间的欧几里德距离，也可以使用利用属于子类的移动轨迹的数量对所述欧几里德距离进行归一化后的距离。

例如，在计算移动轨迹对的类似度(距离)时，如果执行使用属于同一子类的移动轨迹的数量进行归一化的处理，则如图5(d)那样，容易使各子类的尺寸均匀。即，属于各子类的移动轨迹的数量的偏差减小。另外，距离或类似度不限于通过上述计算方法计算出的距离或类似度，只要是能够判定移动轨迹矢量间的类似性的距离或类似度即可。另外，在这些情况下，距离越小，类似度越大。即，这里，进行将类似度最大或距离最小的移动轨迹对作为同一子类的处理。这样将移动轨迹分类为子类的结果如图5(d)所示。即，对各移动轨迹赋予子类标记的结果为，类似的移动轨迹被分类为同一子类。例如，如果对象是人物，则能够得到如图5(d)那样细细分割人物身体的结果。

非专利文献6：Richard O.Duda，Peter E.Hart and David G Stork，“Pattern Classification”，John Wiley & Sons，Inc.，2001

通过使用上述聚类算法的处理，如下述式2所示，各移动轨迹xⁱ分别属于子类Dj中的任意一方。即，分别对各移动轨迹赋予子类Dj的标记。

[数式2]

$x^{i\∈D_j}=(x_1^i,y_1^i,...,x_t^i,y_t^i,...,x_T^i,y_T^i)$ (式2)

另外，可以以如下方式分类为子类：使与子类对应的区域的尺寸为与希望检测的移动体的最小尺寸相同或更小的尺寸，也可以以使子类数比预先假设的被摄体数多的方式分类为子类。

接着，在子类间近似测地距离计算步骤S304中，子类间近似测地距离计算部104使用由子类分类步骤S303赋予的子类标记和属于该子类的移动轨迹，计算子类间近似测地距离。这里，使用图6说明计算测地距离的优点。这里，为了以易于理解的方式说明线性距离与测地距离的差异，以时刻t中的移动轨迹间距离为例。例如，属于子类Da602的头部的像素与属于子类Db603的手指部的像素之间的线性距离601为图6(a)所示的距离。另一方面，在测地距离的情况下，如图6(b)所示，属于子类Da602的头部的像素与属于子类Db603的手指部的像素的测地距离为，通过作为中继点的属于子类Dc604的像素到达属于子类Db603的手指部的像素的箭头所示的距离之和。因此，在图6(a)所示的线性距离601中，无法将在人物这种关节处连续连接的形状连续表现为数据，与此相对，根据图6(b)所示的测地距离，具有能够将在关节处连续连接的形状作为距离而表现连续性的效果。

另外，在计算测地距离时，如图6(a)所示，不是计算属于子类Da602的头部的像素与属于子类Db603的手指部的像素之间的直线距离，而是如图6(b)所示，需要进行搜索通过中继点追寻两点间的最短路径的计算。关于最短路径搜索用的高效计算方法，例如广泛公知有非专利文献7所示的最短路径法，但是，在非专利文献3中报告了，即使使用该手法，当移动轨迹的数量特别多时，计算量也变得庞大。

非专利文献7：E.W.Dijkstra，“A note on two problems in connexionwith graphs”，Numerische Mathematik，pp.269-271，1959

因此，在子类间近似测地距离计算步骤S304中，将以更少的计算量实现具有与测地距离相同的性质的距离的计算作为目的，子类间近似测地距离计算部104计算子类间近似测地距离。这里，说明对子类间的测地距离进行近似的方法。例如，如图7(a)所示，在寻求像素i的移动轨迹与像素j的移动轨迹的测地距离的情况下，即使使用非专利文献7所示的最短路径法，也需要计算连接像素i的移动轨迹与像素j的移动轨迹的距离的多个候选(实线和虚线)，并从中选择最小的距离(实线)。因此，在计算作为候选的距离的过程中需要较多的计算量。

但是，通过子类分类步骤S303将类似的移动轨迹分类为同一子类，所以，能够假设被分类为同一子类的移动轨迹是类似的。即，图5示出将移动轨迹分类为子类的例子，可以认为属于同一子类内的移动轨迹是不引起大幅形状变化的刚体的移动轨迹。而且，在刚体的移动轨迹的情况下，可以认为测地距离与线性距离之差较小。因此，关于子类内的移动轨迹，线性距离与测地距离之差较小，利用图7(b)所示的线性距离的平均来近似测地距离的平均。即，子类内的线性距离的平均

[数式3]

$\stackrel{\‾}{f_{\mathrm{aa}}^{\mathrm{Intra}}}$

与子类内的测地距离的平均

[数式4]

$\stackrel{\‾}{g_{\mathrm{aa}}^{\mathrm{Intra}}}$

的关系如下述式3表现。

[数式5]

$\stackrel{\‾}{f_{\mathrm{aa}}^{\mathrm{Intra}}}\≈\stackrel{\‾}{g_{\mathrm{aa}}^{\mathrm{Intra}}}$ (式3)

接着，说明属于不同子类的移动轨迹间的距离即子类间距离。列举使用非专利文献7所公开的方法计算子类间距离的情况的例子。例如，在寻求属于图7(a)的子类Da的像素j的移动轨迹与属于子类Db的像素k的移动轨迹的测地距离的情况下，也需要计算连接像素j的移动轨迹与像素k的移动轨迹的距离的多个候选(实线和虚线)，并从中选择最小的距离(实线)。但是，如上所述，关于子类内的移动轨迹，能够利用线性距离来近似。因此，连接一个子类与另一个子类的距离很重要。这里，如图7(b)所示，将连接一个子类与其他子类的最小距离定义为子类间距离。根据该方法，不需要进行图7(a)所示的搜索通过中继点追寻两点间的最短路径的处理，只要求出分别属于子类Da和子类Db的移动轨迹间的线性距离的最小值f_min ^Inter即可。进而，为了使噪声更加健壮，也可以按照分别属于子类Da和子类Db的移动轨迹间的距离从小到大的顺序选择多个距离，将选择出的距离的平均值作为f_min ^Inter，还可以将选择出的距离的中值作为f_min ^Inter。

然后，如图7(b)所示，子类间近似测地距离g’能够如下述式4表现。

[数式6]

$\stackrel{\‾}{g_{\mathrm{ab}}^{\mathrm{Inter}}}\≈{g^{\′}}_{\mathrm{ab}}=\stackrel{\‾}{f_{\mathrm{aa}}^{\mathrm{Intra}}}+f_{\min }^{\mathrm{Inter}}+\stackrel{\‾}{f_{\mathrm{bb}}^{\mathrm{Intra}}}$ (式4)

子类间近似测地距离g’不限于上述式4，例如也可以将f_min ^Inter作为子类间近似测地距离g’。

如图7(c)所示，通过使用子类内的距离和子类间的距离，如上所述，能够计算子类间近似测地距离。

使用图8详细说明具体的计算例。在图8(a)中，椭圆分别表示子类。即，在各椭圆中包含属于各个子类的移动轨迹。并且，如图8(a)所示，假设在多维空间中子类Da与子类Db相邻、子类Db与子类Dc相邻。因此，子类间近似测地距离计算部104按照每个子类，使用属于同一子类内的移动轨迹，根据下述式5计算移动轨迹间的距离。

属于子类Da的像素i的移动轨迹与像素j的移动轨迹的距离f_aa(i，j)能够通过下述式5计算。

[数式7]

$f_{\mathrm{aa}}(i,j)=\frac{1}{T}\underset{t=1}{\overset{T}{\mathrm{\Σ}}}{d}_{\mathrm{ij}}^t$ (式5)

这里， $d_{\mathrm{ij}}^t=\sqrt{{(x_t^i-x_t^j)}^2+{(y_t^i-y_t^j)}^2}$ i，j∈D_a

另外，作为计算属于子类Da的像素i的移动轨迹与像素j的移动轨迹的距离f_aa(i，j)的式子，代替上述式5，也可以使用下述式6。

[数式8]

f_aa(i，j)＝ptn_ij+w·mtn_ij   i，j∈D_a(式6)

其中，

${\mathrm{ptn}}_{\mathrm{ij}}=\frac{1}{T}\underset{t=1}{\overset{T}{\mathrm{\Σ}}}{d}_{\mathrm{ij}}^t$

${\mathrm{mtn}}_{\mathrm{ij}}=\sqrt{\frac{1}{T}\underset{t=1}{\overset{T}{\mathrm{\Σ}}}{(d_{\mathrm{ij}}^t-{\mathrm{ptn}}_{\mathrm{ij}})}^2}$

$d_{\mathrm{ij}}^t=\sqrt{{(x_t^i-x_t^j)}^2+{(y_t^i-y_t^j)}^2}$

这里，w是权重系数，是设计者设定的参数。上述式6的属于子类Da的像素i的移动轨迹与像素j的移动轨迹的距离f_aa(i，j)是在移动轨迹间距离的时间平均值ptn_ij中加上移动轨迹间距离的时间变动分量mtn_ij而得到的。特别地，移动轨迹间距离的时间变动分量mtn_ij表示像素的运动的类似度，由此，不仅能够捕捉像素间形成的距离的关系不随时间变化的刚体，还能够捕捉形状变化的关节物体等。这样，按照每个子类进行基于式5或式6的距离计算。如果是图8的例子，则分别针对子类Da～Dc，使用属于同一子类的移动轨迹来计算距离。另外，属于同一子类的像素i的移动轨迹与像素j的移动轨迹的距离f_aa(i，j)不限于上述，例如，也可以使用移动轨迹矢量彼此的内积或COS，只要是表示移动轨迹间的像素上的距离或运动的类似性的尺度即可。

接着，根据下述式7，按照每个子类求出移动轨迹间的距离f_aa(i，j)的平均值即子类内距离。

[数式9]

$\stackrel{\‾}{f_{\mathrm{aa}}^{\mathrm{Intra}}}=\frac{1}{N}\underset{i,j}{\mathrm{\Σ}}{f}_{\mathrm{aa}}(i,j)$ i，j∈D_a    (式7)

这里，N是移动轨迹i和j的组合的数量。另外，也可以将移动轨迹间的距离f_aa(i，j)的最频值或中值作为子类内距离。子类内距离能够根据同一子类中包含的移动轨迹或者任意的移动轨迹间的距离f_aa(i，j)来计算，N不一定是所有移动轨迹i和j的组合。并且，代替式7，也可以计算多个i和j的组合中的f_aa(i，j)，将其最大值作为子类内距离。

接着，子类间近似测地距离计算部104根据以下的式8求出子类间距离。

[数式10]

$f_{\min }^{\mathrm{Inter}}=\underset{i\∈\mathrm{Da},j\∈\mathrm{Db}}{\min }{f}_{\mathrm{ab}}(i,j)$ (式8)

式8用于计算属于不同子类的移动轨迹i、j的距离中的最小距离。进而，子类间距离的计算方法不限于此，例如，也可以在属于不同子类的移动轨迹i、j的距离中，按照从小到大的顺序选择N个，将其平均值作为子类间距离，进而，还可以对其进行加权。进而，还可以将上述N个中的中值作为子类间距离。

这里，在使用式8计算出的子类间距离f_min ^Inter大于预先设定的阈值的情况下，也可以进行使子类间距离f_min ^Inter无限大的处理。例如，设输入图像的尺寸为640×480，将移动轨迹划分为4×4的网格，仅使用通过网格上的移动轨迹计算子类间距离f_min ^Inter的情况下，设所述阈值为10.0左右时，得到良好的结果。当然，优选根据图像的尺寸或移动轨迹的空间密度(上述网格尺寸越大，密度越小)来调整上述参数。

如上所述，使用根据式7和式8计算出的子类内距离和子类间距离，能够根据式4计算子类间近似测地距离。

然后，生成将下述式9所示的子类作为结构要素的S×S的子类内距离/子类间近似测地距离矩阵G’。这里，如图8(b)所示，子类内距离/子类间近似测地距离矩阵G’的对角要素为子类内距离，除此之外为子类间近似测地距离。

[数式11]

G′＝{g′(s_i，s_j)}       (式9)

这里，s_i，s_j是子类的下标(index)。

接着，如上所述，在f_min ^Inter大于预先设定的阈值的情况下，也可以进行使f_min ^Inter无限大的处理，如下所述，再次计算无限大的子类间近似测地距离。

[数式12]

g′(a，c)＝min(g′(a，c)，g′(a，b)+g′(b，c))  (式10)

在上述式10中，min(x，y)是使值x和值y中较小的一方返回的函数。

如图8(a)所示，在计算子类Da、Dc间的近似测地距离的情况下，子类Db作为用于从子类Da到达子类Dc的中继点发挥功能。这里，中继点不限于一个点。

上述测地距离计算中的2点间的最短路径搜索例如可以使用非专利文献4的最短路径法。由此，中继点的数量不限于一个点，能够进行最短路径搜索。当设数据点数为N时，最短路径法的计算量的等级由N²logN表现。这里，设不执行步骤S303和步骤S304的处理而进行最短路径法时的移动轨迹数为N，设计算子类间近似测地距离时的子类数为M。例如，如果以将100个类似的移动轨迹分类为一个子类的方式进行处理，则即使在这里使用最短路径法，也具有最短路径法的计算量削减为1/20000的效果。这样，移动轨迹数越多，最短路径法的计算量非线性越大。另一方面，步骤S303中的子类标记赋予所需要的计算量的增加相对于移动轨迹数为线性的。因此，在图像尺寸大的情况下或者在空间上高密度地计算移动轨迹的情况下，根据计算近似测地距离的本发明，在移动轨迹数增加的条件下，尤其具有计算量削减的效果。

接着，在区域分割步骤S305中，区域分割部105使用子类间近似测地距离，针对类似的移动轨迹(子类)的集合进行统合/非统合的判断。这里，只要是能够判断子类的统合/非统合的手法，则可以使用任意方法。例如，可以使用非专利文献1所记载的方法。也可以针对式9所示的子类内距离/子类间近似测地距离矩阵G’进行维数压缩，在压缩后的空间上使用K-means法等的聚类手法，判断子类的统合/非统合。当然，聚类手法不限于K-means法。下面进行具体说明。

首先，区域分割部105进行在步骤S304中计算出的子类内距离/子类间近似测地距离矩阵G’的维数压缩。通过在进行Young-Householder转换后求出Eigen system，从而能够实现维数压缩。这是用于高效地向低维空间投射在多维空间中分布的数据的方法，针对输入数据的噪声(这里，相当于在计算上述式2的像素i的时间移动轨迹时在像素i的运动信息中包含误差的情况)、上述式4中的子类间距离f_min ^Inter的噪声，能够表现健壮的数据。

即，针对上述式9所示的子类内距离/子类间近似测地距离矩阵G’，如下述式11所示，针对中心化行列H进行从两侧施加的Young-Householder转换。距离矩阵是由点间距离构成的距离行列，对此，将其转换为以重心为原点的距离矩阵。

[数式13]

$\mathrm{\τ}\left(G^{\′}\right)=\frac{H{G}^{\′\left(2\right)}H}{2}$ (式11)

其中，H是中心化行列，

[数式14]

H_ab＝(I-1/N)    (式12)

I是单位行列，N是子类数。

并且，

[数式15]

G′⁽²⁾＝{g′(s_i，s_j)²}  (式13)

这里，s_i，s_j是子类的下标。

接着，区域分割部105计算针对τ(G)的P个固有矢量(eigenvector)e_p和与其对应的固有值(eigen value)λ_p，以便进行维数压缩。

由此，当设

[数式16]

g′a＝(g′(a，0)，g′(a，1)，...，g′(a，S))  (式14)

时，在维数压缩后的空间上投射g’^a的结果，能够如下表现为数据z_p ^a。

[数式17]

$z_p^a=\sqrt{{\mathrm{\λ}}_p}{e}_p^a$ (式15)

另外，e_p ^a是第p个固有矢量e_p的第a个要素。可以根据要利用的场景而通过实验决定固有矢量的数量P，也可以如下所述根据固有值λ_p计算作用率α_p，根据该作用率α_p来决定固有矢量的数量P。

[数式18]

${\mathrm{\α}}_p=\frac{\underset{p=1}{\overset{P}{\mathrm{\Σ}}}{\mathrm{\λ}}_p}{\underset{p=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\λ}}_p}$ (式16)

这里，P是要利用的固有矢量的数量、即压缩后的空间的维数。N是全部固有矢量的数量。因此，只要设作用率α_p为一定值以上时的数量P为固有矢量的数量即可。

如上所述，根据基于式2～式16的处理，能够将式2所示的像素i的时间移动轨迹分类为子类，使用分类后的子类和根据属于该子类的移动轨迹生成的子类内距离/子类间近似测地距离矩阵G’，得到利用固有矢量e_p扩展的维数压缩后的空间上的数据z_p ^a。

使用图9说明区域分割部105的处理的具体例。

图9(a)示出将人物的步行图像作为输入时的移动轨迹a～h，图9(b)示出向维数压缩后的空间投射对分别类似的移动轨迹进行分类后的多个子类的结果。纵轴、横轴是固有矢量e₁、e₂。二维上投射的点(z₁ ^a，z₂ ^a)是对式14所示的g’^a进行投射而得到的。这里，非线性空间上的数据z_p ^a与子类Da存在一对一的关系，所以，能够使属于子类Da的图像上的像素i的移动轨迹xⁱ∈^Da与非线性空间上的数据z_p ^a对应，另外，这里，为了使结果可视化，设非线性空间的维数为二维，但是，不一定必须是二维，高维数的空间能够以更高精度投射数据。优选维数设定为二维以上且式1所示的移动轨迹矢量的维数以下。

接着，区域分割部105针对投射到压缩后的非线性空间上的数据判定子类的统合/非统合，从而进行移动体的检测。

首先，如下所述表现类。这里，类数与移动体的数量对应。

[数式19]

θ＝{θ₁，...θ_m...θ_M}   (式17)

这里，M是类数，是根据要利用的场景而通过经验决定的。

各个类θ_m由参数

[数式20]

$\stackrel{\‾}{z_m}$

和参数Z_m表现。这里，

[数式21]

$\stackrel{\‾}{z_m}$

是压缩后的非线性空间中的属于类θ_m的被投射的数据的坐标值的平均值，Z_m是与属于类θ_m的被投射的数据的坐标值有关的协方差行列。

[数式22]

$\stackrel{\‾}{z_m}$

的初始值可以随机决定，也可以通过利用网格对压缩后的非线性空间进行等间隔分割等，将其交点的坐标值作为初始值。

另外，

[数式23]

$\stackrel{\‾}{z_m}$

和Z_m能够如以下的式18和式19那样表示。

[数式24]

$\stackrel{\‾}{z_m}=\left[\begin{array}{c}\stackrel{\‾}{z_1^m}\\ \·\\ \·\\ \·\\ \stackrel{\‾}{z_P^m}\end{array}\right]$ (式18)

[数式25]

$Z_m=\frac{1}{C_m}\underset{c_m=1}{\overset{C_m}{\mathrm{\Σ}}}\left[\begin{array}{c}{z}_1^{c_m}-\stackrel{\‾}{z_1^m}\\ \·\\ \·\\ \·\\ z_P^{c_m}-\stackrel{\‾}{z_P^m}\end{array}\right]\left[\begin{array}{ccc}{z}_1^{c_m}-\stackrel{\‾}{z_1^m}& \·\·\·& z_P^{c_m}-\stackrel{\‾}{z_P^m}\end{array}\right]$ (式19)

这里，C_m是在压缩后的非线性空间上属于类θ_m的数据数。

下面，说明具体的计算方法。首先，使用下式的距离函数求出压缩后的非线性空间上的数据z_a所属的类θ_m。

[数式26]

(式20)

这里，ψ_m(z_a)表示与像素i的时间移动轨迹对应的非线性空间上的数据z_i与各个类θ_m的距离。各数据属于ψ_m(z_a)取最小值的类θ_m。另外，

是马氏距离，能够由下式21表示。

[数式27]

(式21)

并且，也可以使用

来代替ψ_m(z_a)。

进而，p(ω_m)可以是一定值，在提取人物等确定的移动体的情况下，也可以预先根据人物部位的形状或面积比等设定。ω_m是针对类θ_m的权重系数。

接着，根据式20的计算结果，使用属于类θ_m的数据z_a，如以下的式22和式23那样更新类θ_m的参数

[数式28]

$\stackrel{\‾}{z_m}$

和Z_m。

[数式29]

$\stackrel{\‾}{z_m}=\frac{\underset{c_m=1}{\overset{C_m}{\mathrm{\Σ}}}{\mathrm{\ω}}_{c_m}{z}_{c_m}}{\underset{c_m=1}{\overset{C_m}{\mathrm{\Σ}}}{\mathrm{\ω}}_{c_m}}$ (式22)

[数式30]

$Z_m=\frac{\underset{c_{\mathrm{mk}}}{\overset{C_m}{\mathrm{\Σ}}}{{\mathrm{\ω}}_{c_m}}^2(z_{c_m}-\stackrel{\‾}{z_m}){(z_{c_m}-\stackrel{\‾}{z_m})}^t}{\underset{c_m=1}{\overset{C_m}{\mathrm{\Σ}}}{{\mathrm{\ω}}_{c_m}}^2}$ (式23)

这里，z_cm是属于类θ_m的压缩后的非线性空间上的数据。并且，可以设ω＝1，也可以根据与输入数据的平均值的偏差情况来调整ω的值。这样，区域分割部105反复进行规定次数的式20～式23所示的距离计算和参数更新，由此，能够得到非线性空间上的各数据所属的类θ_m。另外，代替上述方法，也可以使用k-means法、竞争学习等其他的聚类方法。另外，子类内距离/子类间近似测地距离矩阵G’的维数压缩不是必须的处理，也可以根据子类内距离/子类间近似测地距离矩阵G’，通过谱聚类进行聚类，从而进行区域分割。例如，关于谱聚类，可以使用非专利文献8的手法。

非专利文献8：Arik Azran and Zoubin Ghahramani，“SpectralMethods for Automatic Multiscale Data Clustering”，Proc.IEEEComputer Society Conference on Computer Vision and PatternRecognition 2006(CVPR06)

这样，进行了基于聚类的类判定后的结果，如图9(c)所示，属于子类Da～Dd的移动轨迹被统合为一个类θ₁，属于子类De～Dh的移动轨迹被统合为另一个类θ₂。对各移动轨迹赋予类标记，所以，当按照每个类标记汇集移动轨迹时，如图9(d)所示，能够提取被摄体。另外，与压缩后的非线性空间上的类对应的不仅是一张图像上的区域，还是遍及在时间上连续的多张图像追踪像素而得到的结果。即，区域分割部105在压缩后的非线性空间上进行分段，由此，在时间上追踪在图像中移动的物体的区域，其结果，能够进行图像中的被摄体(被摄体的部位)的检测、以及包含被摄体的图像的分段。并且，作为预处理，不需要设定人物候选区域，所以，分段不会由于人物候选区域的检测错误而失败。

如上所述，根据本实施方式，不需要拟合庞大的参数，通过在非线性空间中进行聚类，针对包含在形状变化的同时进行移动的人物等的图像，能够稳定且高速地进行被摄体的检测。

即，通过计算近似测地距离，与不进行近似而计算测地距离的情况相比，能够高速且高效表现连续且非线性分布的数据。并且，确保了测地距离的性质，同时，针对包含在形状变化的同时进行移动的人物等移动体的图像，也能够正确地进行区域提取，而不受移动体的姿势或大小的影响。

并且，针对包含在形状变化的同时进行移动的人物等移动体的图像，也能够高速且正确地检测移动体并对部位进行区域提取，而不受移动体的姿势或大小的影响。进而，使用进行检测和区域提取后的结果，还能够进行移动体的移动预测等。

由此，在数字摄像机等动态图像摄影装置普及的今天，作为针对数字照相机的焦点控制和画质改善处理、汽车的安全运转辅助***、机器人中的与人的冲突避免控制或警报等的应用技术，本发明的实用价值极高。

(实施方式2)

接着，说明本发明的实施方式2的移动体检测装置。

这里，说明子类分类部103利用与实施方式1不同的方法进行子类分类处理的例子。图10是示出实施方式2的移动体检测装置100a的结构的图。

实施方式2的移动体检测装置100a包含图像输入部101、移动轨迹计算部102、子类分类部103a、子类间近似测地距离计算部104、区域分割部105以及输出部106。

除了子类分类部103a的结构以外，这种实施方式2的移动体检测装置100a与实施方式1的移动体检测装置100的结构相同，所以，省略同一结构要素的说明。

子类分类部103a进行如下处理：根据在图像输入部101中受理的多张图像中的至少一张图像，使用亮度、边缘信息、颜色等，将类似的图像区域分类为同一子类。接着，子类分类部103a针对由移动轨迹计算部102计算出的移动轨迹，赋予移动轨迹所通过的图像区域的子类标记。即，子类分类部103a对通过同一图像区域的移动轨迹赋予同一子类标记，由此分类为同一子类。与实施方式1的不同之处在于，不是根据移动轨迹分类为子类，而是根据图像信息分类为子类，并根据该信息对移动轨迹赋予子类标记。另外，也可以不使用与移动轨迹有关的信息来进行子类分类部103a中的图像区域的子类分类处理。因此，不一定在移动轨迹计算部102的处理之后进行子类分类处理，也可以并行地对两者进行处理，还可以在移动轨迹计算部102的处理之前进行图像区域的子类分类处理。

下面，使用图11说明本实施方式1的第1变形例的移动体检测装置100a的动作。

步骤S301、S302与实施方式1相同，所以省略说明。接着，在子类分类步骤S303a中，子类分类部103a使用在图像输入步骤S301中输入的多个图像中的至少一张图像，进行图像的区域分割。这里，只要是将像素(亮度)值、颜色信息、边缘信息等及其位置信息等作为输入进行区域分割的手法即可，可以是任意手法，例如可以使用非专利文献9的方法。

非专利文献9：X.Ren and J.Malik，“Learning a Classification Modelfor Segmentation，International Conference on Computer Vision”，Vol.1，p.10-17，2003

在非专利文献9的方法中，使用边缘信息或空间附近的像素值的光滑度将图像区域分割为多个小区域。例如在对象是人物的情况下，如图12(a)那样，成为细细分割人物的结果。这里，例如在输入T张的帧的图像时，也可以从中选择一张图像进行区域分割。这里，优选使用多个图像中的在时间上中间的图像进行区域分割，但是，并不对图像的选择进行限制。

除此之外，例如也可以排列像素值和像素位置作为三维矢量，将其作为输入，通过k-means法等聚类算法对图像区域进行分割，当然，也可以排列RGB等颜色信息和像素位置信息作为五维矢量，进而，还可以排列作为边缘信息的像素值的空间微分矢量(二维)和像素位置作为四维矢量，只要是能够在空间上对图像进行区域分割的手法即可。

然后，将分割后的区域作为子类，根据为了进行区域分割而选择出的图像的时刻和在移动轨迹计算步骤S302中计算出的移动轨迹的关系，对移动轨迹赋予子类标记。

具体而言，如图12(b)所示，子类分类部103a将在空间上进行区域分割后的各区域考虑为子类，在为了进行区域分割而选择出的时刻t’的图像中，根据各移动轨迹通过哪个子类来赋予子类标记。例如，移动轨迹1～4分别在时刻t’中分别通过子类Da～Dd。因此，子类分类部103a对移动轨迹1～4分别赋予对应的子类标记a～d。如果针对相应的移动轨迹进行这种处理，则如式2所示，各移动轨迹x分别属于子类Dj中的任意一方。即，与实施方式1的子类分类步骤S303的处理同样，分别对各移动轨迹赋予子类Dj的标记。

子类间近似测地距离计算步骤S304以后的处理与实施方式1相同，所以省略说明。

如上所述，根据实施方式2，能够根据移动轨迹进行图像中的被摄体(被摄体的部位)的检测。并且，作为预处理，不需要设定人物候选区域。因此，分段不会由于人物候选区域的检测错误而失败。进而，与实施方式1相比，能够明示地使用颜色或亮度等信息，所以，例如在检测穿着单一颜色的衣服等的被摄体的情况下，能够进行更高精度的移动体检测。如上所述，根据实施方式2，不需要拟合庞大的参数，通过在非线性空间中进行聚类，针对包含在形状变化的同时进行移动的人物等的图像，能够稳定且高速地进行被摄体的检测。

即，通过计算近似测地距离，与不进行近似而计算测地距离的情况相比，能够高速且高效表现连续且非线性分布的数据。并且，确保了能够高效表现连续且非线性分布的数据的测地距离的性质，同时，针对包含在形状变化的同时进行移动的人物等移动体的图像，也能够正确地进行区域提取，而不受移动体的姿势或大小的影响。

并且，针对包含在形状变化的同时进行移动的人物等移动体的图像，也能够高速且正确地检测移动体并对部位进行区域提取，而不受移动体的姿势或大小的影响。进而，使用进行检测和区域提取后的结果，还能够进行移动体的移动预测等。

由此，在数字摄像机等动态图像摄影装置普及的今天，作为针对数字照相机的焦点控制和画质改善处理、汽车的安全运转辅助***、机器人中的与人的冲突避免控制或警报等的应用技术，本发明的实用价值极高。

(实施方式3)

接着，说明本发明的实施方式3的移动体检测装置。

在实施方式3中，在实施方式1和2的基础上，根据子类间近似测地距离的时间变化来判定子类的统合/非统合。

这种实施方式3的移动体检测装置100与图1所示的实施方式1的移动体检测装置100的结构相同，所以，省略各结构要素的说明。但是，区域分割部105执行的处理的内容与实施方式1不同。下面，以与实施方式1不同之处为中心说明实施方式3。

下面，使用图13说明本实施方式3的移动体检测装置100的动作。

首先，图像输入步骤S301～子类间近似测地距离计算步骤S304的处理与实施方式1相同，所以省略说明。另外，关于本实施方式，根据实施方式1的例子进行说明，但是，也能够应用于在实施方式2中说明的方法。

接着，在区域分割步骤S305a中，区域分割部105使用针对时刻0～T的图像通过步骤S301～S304的处理而计算出的子类间近似测地距离、以及针对时刻T～2T的图像同样计算出的子类间近似测地距离，通过其时间变化，判定子类的统合/非统合。

在图14(a)中，以由关节状连接的2个子类Da、Db构成的物体的运动为例，示出测地距离(○、实线)、子类间近似测地距离(□、虚线)、欧几里德距离(△、虚线)的时间变化。这里，物体的运动是如人物的脚或手腕那样关节状连接的运动，所以，优选作为同一移动体进行提取。这里，能够预想到，测地距离的时间变化和子类间近似测地距离的时间变化不大，但是，另一方面，欧几里德距离的时间变化大幅变动。即，测地距离的优点在于，通过计算追寻连续分布的数据的距离，针对关节物体，距离的时间变动也很小，进而，子类间近似测地距离能够以较少的计算量实现与测地距离相同的性质。测地距离是子类间的测地距离的平均值，子类间距离是包含子类间的线性距离的最小值而计算出的距离。因此，如图14(a)所示，测地距离和子类间近似测地距离的绝对值距离不同。但是，针对关节物体这种运动，关于距离的时间变动小、即很难受关节物体的姿势变化影响的性质，测地距离和子类间距离均优于欧几里德距离。进而，图14(b)示出实际的实验结果。图14(b)示出利用关节连接椭圆状的2个物体而进行关节运动的例子。在图像输入步骤S301中按照每6帧集中输入图像。图14(b)是使用60帧的图像计算出的各种距离的结果。例如，根据0～6帧的图像而得到的距离描绘在横轴的0(帧)的位置。

这里，利用(○、实线)示出测地距离，利用(□、虚线)示出子类间近似测地距离，利用(△、虚线)示出欧几里德距离。由图14(b)可知，各距离示出与图14(a)相同的性质。测地距离和子类间近似测地距离的时间变动比欧几里德距离的时间变动小。即，针对关节运动，这些距离的时间变动少，所以，具有如下效果：针对在欧几里德距离中可能被分类为不同被摄体的物体，也容易判定为同一被摄体。

因此，利用下式，具体说明通过子类间近似测地距离的时间变动而实现的子类的统合/非统合的判定方法。

首先，区域分割部105根据以下的式24，使用根据时刻0～T的图像和移动轨迹计算出的子类间近似测地距离，估计时刻T～2T的子类间近似测地距离。

[数式31]

$E\left({g^{\′}}_{\mathrm{ab}}\left(2T\right)\right)=\frac{\stackrel{\‾}{f_{\mathrm{aa}}^{\mathrm{Intra}}}\left(2T\right)+\stackrel{\‾}{f_{\mathrm{bb}}^{\mathrm{Intra}}}\left(2T\right)}{\stackrel{\‾}{f_{\mathrm{aa}}^{\mathrm{Intra}}}\left(T\right)+\stackrel{\‾}{f_{\mathrm{bb}}^{\mathrm{Intra}}}\left(T\right)}{g^{\′}}_{\mathrm{ab}}\left(T\right)$ (式24)

这里，E是估计值。并且，

[数式32]

$\stackrel{\‾}{f_{\mathrm{aa}}^{\mathrm{Intra}}}$

是子类内距离，T对应于根据时刻0～T的图像计算出的子类内距离和子类间近似测地距离，2T对应于根据时刻T～2T的图像计算出的子类内距离和子类间近似测地距离。

另外，式24中的子类内距离特别是为了得到针对移动体的尺寸变化的情况进行归一化的效果而导入的，在固定照相机中，在应用于移动体的尺寸没有变动的场景的情况下，也可以简化为下式。

[数式33]

E(g′_ab(2T))＝g′_ab(T)  (式25)

然后，区域分割部105针对子类Da和Db，如下式那样计算估计出的子类间近似测地距离与时刻T～2T的实际的子类间近似测地距离之间的差分的绝对值，如果子类间近似测地距离的时间变化K为预先设定的阈值以下，则进行子类的统合，如果时间变化K大于阈值，则不进行统合。

[数式34]

K＝|E(g′_ab(2T))-g′_ab(2T)|  (式26)

区域分割部105针对全部子类的对进行该处理，从而判断子类的统合/非统合，生成最终的类。在图14的例子中，如果时间变动为阈值以下，则对子类Da和Db进行统合，能够判定为是相同的移动体。例如，设输入图像的尺寸为640×480，将移动轨迹划分为4×4的网格，仅使用通过网格上的移动轨迹计算子类间近似测地距离的情况下，设所述阈值为5.0左右时，得到良好的结果。当然，优选根据图像的尺寸或移动轨迹的空间密度(上述网格尺寸越大，密度越小)来调整上述参数。另外，这里，为了易于说明，对输入时刻0～T、T～2T的图像的情况进行了说明，但是，如时刻0～T、T～2T、2T～3T、…、(N-1)T～NT那样，也可以根据更长时间的变化来判定子类的统合/非统合。

例如，如图15(a)那样，也可以针对时刻0～T、T～2T、…、(N-1)T～NT分别进行式26的处理，将对在式26中分别计算出的时间变化K进行平均而得到的值作为时间变化K，还可以将通过对离当前时刻越近的时间平均K赋予越大的权重而求出的加权平均值作为时间变化K。

进而，也可以通过图像输入步骤S301，如图15(b)那样，预先将时刻0～NT的图像输入，对其进行移动轨迹计算步骤S302、子类分类步骤S303的处理，通过子类间近似测地距离计算步骤S304，如时刻0～T、T～2T、…、(N-1)T～NT那样在时间上分割图像，使用分割后的图像分别计算子类间近似测地距离。然后，通过区域分割步骤S305a，通过上述的子类间近似测地距离的时间变化，判定子类的统合/非统合。

如上所述，根据实施方式3，根据子类间近似测地距离的时间变化进行类的统合/非统合判定，由此，对属于被判定为同一类的子类的移动轨迹赋予相同的类标记。因此，当按照同一类标记汇集移动轨迹时，如图9(d)所示，能够提取被摄体。其结果，能够进行图像中的移动体(移动体的部位)的检测、以及包含移动体的图像的分段。并且，作为预处理，不需要设定人物候选区域，所以，分段不会由于人物候选区域的检测错误而失败。如上所述，不需要拟合庞大的参数，通过在非线性空间中进行聚类，针对包含在形状变化的同时进行移动的人物等的图像，能够稳定且高速地进行被摄体的检测。

即，通过使用子类间近似测地距离的时间变化，具有如下效果：针对包含关节的物体的运动或放大、缩小，也能够作为同一被摄体进行区域分割。并且，确保了能够高效表现连续且非线性分布的数据的测地距离的性质，同时，针对包含在形状变化的同时进行移动的人物等移动体的图像，也能够以较少的计算量、正确地进行区域提取，而不受移动体的姿势或大小的影响。

并且，针对包含在形状变化的同时进行移动的人物等移动体的图像，也能够正确地检测移动体并对部位进行区域提取，而不受移动体的姿势或大小的影响。进而，使用进行检测和区域提取后的结果，还能够进行移动体的移动预测等。

由此，在数字摄像机等动态图像摄影装置普及的今天，作为针对数字照相机的焦点控制和画质改善处理、汽车的安全运转辅助***、机器人中的与人的冲突避免控制或警报等的应用技术，本发明的实用价值极高。

(实施方式1～3的第1变形例)

接着，说明本发明的实施方式1～3的第1变形例的移动体检测装置。这里，说明在实施方式1～3中附加如下功能的例子：进行类判定，按照分别检测到的每个区域记录/发送检测到移动体的结果。另外，叙述实施方式1中的变形例，但是，在实施方式2、3中也能够同样应用。

如图16所示，这种第1变形例的移动体检测装置100c能够通过对图像输入部101、移动轨迹计算部102、子类分类部103、子类间近似测地距离计算部104、区域分割部105附加记录/发送部1501来实现。

记录/发送部1501是如下的处理部：根据区域分割部105进行被摄体检测的结果，确定由图像输入部101受理的图片中的被摄体区域，按照所确定的每个被摄体区域，将用于表示该被摄体区域的信息记录在存储器或硬盘等记录介质中，或者经由通信接口等发送到外部。即，该记录/发送部1501与图像显示的情况同样，根据类标记θ_m分别记录/发送表示检测到被摄体的结果的图像。并且，如以下的式27和式28那样对属于各类的运动信息进行平均，由此，还能够对运动信息进行压缩。通常需要按照每个像素保持运动信息，但是，如果进行运动信息的平均处理，则针对一个被摄体保持一个运动信息即可。例如，在使用像素i的运动矢量(u_t ⁱ，v_t ⁱ)作为运动信息的情况下，记录/发送部1501能够计算如以下的式27和式28那样按照分割后的区域进行平均的运动信息。

[数式35]

$u_t^m=\frac{1}{C_m}\underset{c_m=1}{\overset{C_m}{\mathrm{\Σ}}}{u}_t^{c_m}$ (式27)

[数式36]

$v_t^m=\frac{1}{C_m}\underset{c_m=1}{\overset{C_m}{\mathrm{\Σ}}}{v}_t^{c_m}$ (式28)

这里，C_m是属于类θ_m的像素数或移动轨迹数。u_t ^cm、v_t ^cm分别是属于类θ_m的像素的运动矢量。图17是用于表示从时刻T起将t张图像作为输入进行类分类并使用其结果确定的被摄体区域的信息。记录/发送部1501记录并发送作为识别符的各类标记θ_m、属于各类标记θ₁、θ₂的时刻T中的图片的像素位置和像素值、以及与各类标记对应的时刻T～时刻T+t的运动矢量u_T ^m、v_T ^m、u_T+1 ^m、v_T+1 ^m、…、u_T+t ^m、v_T+t ^m。当然，代替使用图像的像素位置和像素值，记录/发送部1501也可以针对时刻T中的一张图片，按照每个像素赋予各类标记进行发送。由此，仅发送类数的量的运动信息即可，所以，与发送t张图片的情况相比，具有能够高效地记录并发送用于表示被摄体区域的信息的效果。特别地，与像素数相比，类数越少，越能够高效地记录并发送表示被摄体区域的信息。

(实施方式1～3的第2变形例)

接着，作为本发明的实施方式1～3的第2变形例，对附加了根据检测到移动体的结果来预测移动体的运动的功能的移动体检测装置进行说明。这里，沿着实施方式1进行说明，但是，在实施方式2、3中也能够同样应用。

如图18所示，第2变形例的移动体检测装置100d通过对图像输入部101、移动轨迹计算部102、子类分类部103、子类间近似测地距离计算部104、区域分割部105附加运动预测部1701和输出部1702，从而具有预测移动体的运动的功能。

运动预测部1701根据检测到被摄体的结果，根据各类中包含的像素的移动轨迹计算代表移动轨迹，根据代表移动轨迹预测移动体的运动，预测移动体的位置和移动体部位的位置。

输出部1702输出由运动预测部1701预测的移动体的位置和移动体部位的位置。

图19示出第2变形例的移动体检测装置100d执行的处理的流程图。步骤S301～S305与实施方式1相同，所以省略说明。

接着，在步骤S1801中，运动预测部1701根据区域分割部105进行被摄体检测的结果，根据属于各类的移动轨迹，求出各类的代表点及其代表移动轨迹。

这里，假设属于类θ_m的像素的移动轨迹表现为x^cm。运动预测部1701根据下式29，按照每个类θ_m求出代表移动轨迹。这里，对计算平均移动轨迹作为代表移动轨迹的例子进行了说明，但是，也可以按照像素的移动轨迹x^cm对下述计算进行加权等，还可以将与类在图像上的重心对应的像素的移动轨迹作为代表移动轨迹。

[数式37]

$\stackrel{\‾}{x^m}=\frac{1}{C_m}\underset{c=1}{\overset{C_m}{\mathrm{\Σ}}}{x}^{c_m}$ (式29)

这里，C_m是属于类θ_m的像素数或像素的移动轨迹数。

图20示出根据式29按照每个类θ_m求出代表移动轨迹的例子。图20仅示出与对应于某个移动体的类θ₁和对应于其他移动体的类θ₂分别相关的代表移动轨迹。图中的×表示分别与时刻t对应的代表移动轨迹

[数式38]

$\stackrel{\‾}{x^m}$

的要素即像素位置。根据该方法，与单纯地求出接近像素的移动轨迹的时间平均的方法相比，仅使用运动类似的像素的移动轨迹，就能够计算代表移动轨迹。因此，能够以更高精度求出代表移动轨迹。这样，通过按照每个类求出代表移动轨迹，能够准确且简便地表现每个被摄体或每个部位的运动。

接着，在步骤S1802中，运动预测部1701根据在步骤S1801中计算出的代表移动轨迹，预测时刻T之前的时刻中的移动体的位置。首先，说明根据代表移动轨迹计算加速度并预测时刻T+1以后的移动体的位置的例子。在输入了3张以上的时间序列图像的情况下，如下式30那样，能够按照每个代表移动轨迹

[数式39]

$\stackrel{\‾}{x^m}$

得到加速度矢量s^m。

[数式40]

$s_{t+1}^m=\{u_{t+1}^{m1}-u_t^m\}-\{u_t^m-u_{t-1}^n\}$ (式30)

这里，u_t ^m是运动矢量，能够如下式31那样表现。

[数式41]

$u_t^m=(u_t^m,v_t^m)$ (式31)

使用式30的加速度矢量，如图20中的虚线的箭头和○所示，运动预测部1701能够按照每个移动体，根据以下的式32预测时刻T+t’中的移动体的位置pos_m(T+t’)。这里，举出移动体的例子，但是，通过利用实施方式1的区域分割部105增加类数，或者利用实施方式3的区域分割部105减小阈值，还能够预测移动体的各部位的位置。

[数式42]

${\mathrm{pos}}_m(T+t^{\′})={\mathrm{pos}}_m\left(T\right)+t^{\′}{u}_T^m+\frac{1}{2}{t}^{\′2}{s}_T^m$ (式32)

然后，输出部1702输出在步骤S1802中预测的移动体的位置和移动体部位的位置。由此，能够进行考虑了加速度的运动预测。具有如下效果：在运动急剧变快或者急剧停止的情况下，能够反映该加速度来预测移动体的位置。并且，代替运动矢量，当然可以使用仿射参数。仿射参数能够表现包含旋转运动的运动，适于表现手腕或脚的回旋运动，所以，特别地，能够更加准确地预测关节物体的位置。

进而，代替上述运动矢量和加速度，针对代表移动轨迹x^m，还能够直接拟合N次函数。在将T张以时间序列排列的图像作为输入的情况下，能够针对代表移动轨迹

[数式43]

$\stackrel{\‾}{x^m}$

中包含的T个图像上的位置信息，拟合N次函数。由此，能够沿着拟合后的函数的值，估计时刻(T+t’)中的图像上的位置pos_m(T+t’)。具体而言，通过对函数进行拟合，能够表现更加平滑的运动，所以，能够进行更高精度的预测。特别地，能够进行沿着拟合后的函数的预测，所以，在拟合后的函数接近原本的运动的情况下，运动预测的精度高。当然，这些图像上的位置预测还能够用于时间上的内插。

如上所述，根据本变形例，能够将运动类似的像素的移动轨迹作为同一类进行计算，所以，能够高精度地求出代表移动轨迹。特别地，针对关节物体等，能够表现每个被摄体、每个部位的运动，作为预处理，不需要设定人物候选区域，具有能够高精度地预测移动体的部位位置的效果。

(实施方式1～3的第3变形例)

接着，说明本发明的实施方式1～3的第3变形例的移动体检测***。这里，说明针对实施方式1～3的处理使用根据运算所需要的存储量而不同的2个设备的例子。具体而言，移动体检测***包含移动体检测用数据生成装置和移动体检测装置。移动体检测用数据生成装置进行所需要的存储量大的处理。移动体检测用数据生成装置由以个人计算机等为代表的、存储容量大且处理速度快的设备实现。移动体检测装置进行所需要的存储量比移动体检测用数据生成装置的处理的存储量小的处理。移动体检测装置由以便携电话或移动终端为代表的、存储容量小且处理速度慢的设备实现。

下面，沿着实施方式1，使用附图说明实施方式1～3的第3变形例，但是，在实施方式2、3中也能够同样应用。

图21是示出实施方式1的第3变形例的移动体检测用数据生成装置的功能结构的框图。移动体检测用数据生成装置具有图像输入部101、移动轨迹计算部102、子类分类部103、子类间近似测地距离计算部104、类判定用数据输出部2101。图像输入部101～子类间近似测地距离计算部104执行的处理与实施方式1所示的处理相同。即，图像输入部101、移动轨迹计算部102、子类分类部103、子类间近似测地距离计算部104分别执行图3所示的图像输入步骤S301、移动轨迹计算步骤S302、子类分类步骤S303、子类间近似测地距离计算步骤S304的动作。下面，在本变形例中补充重要的部分。

在子类分类部103中，通过子类分类步骤S303将I个移动轨迹分类为S个子类。另外，I＞S。这里，如上所述，在使用非专利文献7的最短路径法计算测地距离的情况下，当设数据点数(移动轨迹数)为N时，计算量的等级为N²logN。此时，需要在存储器中存储任意数据点间的距离，所以，需要移动轨迹数的2次方即N²的存储量。

与此相对，在子类间近似测地距离计算部104中，通过步骤S304计算具有与测地距离相同的性质的子类间近似测地距离。这里，子类间近似测地距离具有如下优点：不仅能够削减所述计算量，还能够由用于存储S²的数据的存储量实现。另外，N＞S，所以，能够大幅削减存储量。例如，如果以将100个类似的移动轨迹分类为一个子类的方式进行处理，则能够将与测地距离有关的存储量削减为1/10000。

接着，说明类判定用数据输出部2101。类判定用数据输出部2101在记录介质中记录以下说明的信息。记录介质使用SD卡、USB存储器、便携型硬盘、CD、DVD等即可。

如图22所示，记录在记录介质中的信息包含头信息和体信息。

头信息包含：构成动态图像的图片的尺寸(X，Y)、构成动态图像的图片的张数即图片张数(T)、从动态图像得到的移动轨迹的数量即移动轨迹数(N)、以及作为类似的移动轨迹的集合的子类的数量即子类数(S)。

图23是用于说明图片的尺寸(X，Y)和图片张数(T)的图。如图23所示，动态图像由T张图片构成，各图片的尺寸为X×Y像素。

图24是用于说明移动轨迹数(N)的图。如图24所示，假设从动态图像得到由直线或曲线所示的N个移动轨迹。在图24的例子中，N＝12。

图25是用于说明子类数(S)的图。9个较大的圆圈记号分别表示子类，各个较大圆圈中包含的较小圆圈表示同一子类内的移动轨迹。在图25的例子中，S＝9。

体信息包含：构成动态图像的上述图片张数的图片、带子类标记的移动轨迹矢量、以及子类间近似测地距离矩阵。

带子类标记的移动轨迹矢量包含表示从动态图像得到的移动轨迹数的移动轨迹的数据、以及表示各移动轨迹所属的子类的数据。图26是用于说明带子类标记的移动轨迹矢量的图。图26示出5个带子类标记的移动轨迹矢量。例如，说明最上面的带子类标记的移动轨迹矢量。该带子类标记的移动轨迹矢量是如下的矢量：表示移动轨迹所属的子类是子类a，该移动轨迹的4张图片(t＝1～4)中的坐标为(a1x1，a1y1)、(a1x2，a1y2)、(a1x3，a1y3)、(a1x4，a1y4)。

子类间近似测地距离矩阵是关于各子类包含表示该子类与其他子类之间的类似性的子类间近似测地距离的矩阵，是图8(b)所示的矩阵。

图27是示出记录在记录介质中的信息的具体例的图。如该图所示，在头信息中，作为图片尺寸(X)、图片尺寸(Y)、图片张数(T)、移动轨迹数(N)、子类数(S)，分别存储有640、480、4、5、3。另外，这里，作为图片尺寸(X)、图片尺寸(Y)、图片张数(T)、移动轨迹数(N)、子类数(S)，使用具体的数值进行说明，但是，不限于各个数值。

并且，在体信息中包含4张图片的图像数据、针对5个移动轨迹的带子类标记的移动轨迹矢量、以及子类间近似测地距离矩阵。例如，第1个带子类标记的移动轨迹矢量为(a a1x1 a1y1 a1x2 a1y2 a1x3a1y3 a1x4 a1y4)，表示上述图26的最上面的带子类标记的移动轨迹矢量的信息。子类间近似测地距离矩阵关于全部子类的组合存储子类内距离或子类间近似测地距离。例如，在(a，a)的列中存储有子类a与子类a的子类内距离f_aa ^Intra，在(a，b)的列中存储有子类a与子类b的子类间近似测地距离g_ab’。

另外，通过类判定用数据输出部2101中包含的类判定用数据生成部2101A生成记录在该记录介质中的信息。例如，类判定用数据生成部2101A从图像输入部101取得图片尺寸(X，Y)、图片尺寸(Y)、图片张数(T)以及图像数据。类判定用数据生成部2101A从移动轨迹计算部102取得移动轨迹数。类判定用数据生成部2101A从子类分类部103取得子类数(S)。类判定用数据生成部2101A从移动轨迹计算部102取得带子类标记的移动轨迹矢量中的表示移动轨迹的数据，从子类分类部103取得表示子类的数据。类判定用数据生成部2101A从子类间近似测地距离计算部104取得子类间近似测地距离矩阵。类判定用数据生成部2101A汇集所取得的这些信息，生成记录在记录介质中的信息。

通过在记录介质中记录子类间近似测地距离矩阵，与关于全部移动轨迹的组合存储测地距离的情况相比，能够将存储量从N²个数据的存储容量削减为S²(N＞S)个数据的存储容量。因此，使用上述记录介质，能够使用搭载存储量小于移动体检测用数据生成装置的移动体检测装置进行处理。

接着，说明移动体检测装置。图28是示出移动体检测装置的功能结构的框图。移动体检测装置是通过执行确定动态图像中的移动体的全部或一部分区域的区域分割来检测动态图像中的移动体的装置，其包含：类判定用数据输入部2102、区域分割部105、输出部106。类判定用数据输入部2102从上述记录介质中读入记录在该记录介质中的信息。区域分割部105根据类判定用数据输入部2102读入的数据来执行区域分割。区域分割部105和输出部106执行的处理与实施方式1所示的处理相同。即，区域分割部105和输出部106分别执行图3所示的区域分割步骤S305和图像输出步骤S306的动作。

类判定用数据输入部2102从记录介质中读入头信息，确保与T张输入图像尺寸(X×Y×T)一致的存储器(存储区域)。接着，类判定用数据输入部2102根据移动轨迹数N和图片张数T，确保用于存储(2T+1)×N的数据的存储器。这里，如式1所示，各移动轨迹矢量是由二维像素坐标构成的矢量，所以，需要用于存储2T的像素坐标的存储器，进而，由于对各移动轨迹矢量赋予子类标记，所以，需要用于存储子类标记的存储器。然后，类判定用数据输入部2102根据头信息中的子类数S，确保用于存储保持子类间近似测地距离矩阵所需要的S²个数据的存储器。类判定用数据输入部2102在确保了上述存储器之后，读入各个信息。另外，子类间近似测地距离矩阵是对称行列，所以，实际上，只要确保用于存储用于保持子类间近似测地距离的_SC₂个数据的存储器即可。

接着，在区域分割步骤S305中，区域分割部105使用子类间近似测地距离，对类似的移动轨迹(子类)的集合进行统合/非统合的判断。具体方法与实施方式1相同，所以省略说明。

并且，在图像输出步骤S306中，输出部106输出由区域分割部105进行的动态图像中的移动体的检测结果。具体方法与实施方式1相同，所以省略说明。

如上所述，使用移动体检测用数据生成装置计算移动轨迹和子类间近似测地距离，并保存在记录介质中。然后，经由记录介质，使用移动体检测装置进行区域分割，由此，能够提取被摄体。

这样，通过保持与图片尺寸、图片张数、移动轨迹数、子类数有关的信息作为头，移动体检测装置能够确保区域分割所需要的信息的存储。并且，使用子类间近似测地距离矩阵作为区域分割所需要的信息，所以，与使用移动轨迹间的测地距离的矩阵即测地距离矩阵进行区域分割的情况相比，具有能够以较少的存储量进行区域分割的效果。

由此，具有能够使用存储容量受限的设备作为移动体检测装置的优点。例如，在便携电话等移动设备中，通过使用本变形例中的区域提取的结果，能够着眼于特定的被摄体进行变焦显示或者进行追踪。

另外，移动体检测用数据生成装置也可以向记录介质输出至少包含子类间近似测地距离的数据，作为用于在移动体检测装置中进行区域分割的最低限度的数据。并且，移动体检测装置也可以从记录介质受理至少包含子类间近似测地距离的数据，进行区域分割。该情况下，也可以不具有输出部106。

以上，根据实施方式及其变形例对本发明的移动体检测方法和移动体检测装置进行了说明，但是，本发明不限于这些实施方式和变形例。在不脱离本发明主旨的范围内对各实施方式实施本领域技术人想到的各种变形而实现的方式也包含在本发明中。

并且，任意组合各实施方式中的特征结构要素而实现的方式也包含在本发明中。

并且，上述实施方式的移动体检测装置具有图像输入部101和移动轨迹计算部102，但是，本发明不将这些结构要素作为必须的要素。即，在预先计算出构成动态图像的多个块中的每个块的图像的移动轨迹的情况下，移动体检测装置100也可以从外部取得这种移动轨迹，并对所取得的移动轨迹执行步骤S303～S306的处理。

并且，本发明作为移动体检测装置来实现，但是，当然能够作为对在动态图像中具有运动的目标区域进行提取或分割的图像处理装置来实现。

产业上的可利用性

本发明作为根据多张图片中的运动对包含在形状变化的同时进行移动的人物等移动体的图像进行区域提取从而检测图像中的移动体的移动体检测装置，例如能够用作在运动分析装置、监视装置、摄像机或TV等AV设备中内置的移动体检测装置等。

符号说明

100、100a、100c、100d：移动体检测装置；101：图像输入部；102：移动轨迹计算部；103、103a：子类分类部；104：子类间近似测地距离计算部；105：区域分割部；106、1702：输出部；201：照相机；202：计算机；203：显示器；204：I/F；205：CPU；206：ROM；207：RAM；208：HDD；209：视频卡；1501：记录/发送部；1701：运动预测部；2101：类判定用数据输出部；2101A：类判定用数据生成部；2102：类判定用数据输入部。

Claims (22)

1.一种移动体检测装置，该移动体检测装置通过执行确定动态图像中的移动体的全部或一部分区域的区域分割来检测动态图像中的移动体，其中，该移动体检测装置具有：

图像输入部，受理构成动态图像的多张图片；

移动轨迹计算部，按照构成所受理的所述图片的由一个以上的像素构成的每个块，检测构成所述动态图像的2张图片间的该块的运动，针对所述多张图片连接检测到的运动，从而计算多个移动轨迹；

子类分类部，将计算出的所述多个移动轨迹分类为彼此类似的移动轨迹的集合即多个子类；

子类间近似测地距离计算部，按照每个子类，使用包含属于该子类的移动轨迹与属于其他子类的移动轨迹之间的线性距离的最小值的距离即子类间距离，计算表示该子类与所述其他子类之间的类似性的子类间近似测地距离；以及

区域分割部，根据计算出的所述子类间近似测地距离，确定由类似的移动轨迹构成的子类的集合作为一个类，从而执行区域分割。

2.如权利要求1所述的移动体检测装置，其中，

所述子类间近似测地距离计算部按照每个子类，计算对表示属于该子类的移动轨迹的类似性的子类内距离、所述其他子类的所述子类内距离、该子类与所述其他子类之间的所述子类间距离进行相加后的距离，作为该子类与其他子类之间的所述子类间近似测地距离。

3.如权利要求2所述的移动体检测装置，其中，

所述子类间近似测地距离计算部按照每个子类，计算属于该子类的移动轨迹间的线性距离的平均值、最频值或中值，作为该子类的所述子类内距离。

4.如权利要求2或3所述的移动体检测装置，其中，

所述区域分割部还计算通过所述子类内距离对2个子类间的所述子类间近似测地距离进行归一化后的距离，作为所述子类间近似测地距离。

5.如权利要求1～4中的任意一项所述的移动体检测装置，其中，

所述子类间近似测地距离计算部在所述最小值大于规定阈值的情况下，进行将所述子类间近似测地距离变更为无限大的非线性化，从而计算所述子类间近似测地距离。

6.如权利要求5所述的移动体检测装置，其中，

所述子类间近似测地距离计算部对第1子类与第2子类之间的子类间近似测地距离、与所述第1子类与第3子类之间的子类间近似测地距离以及所述第3子类与所述第2子类之间的子类间近似测地距离之和进行比较，计算较小的值作为所述第1子类与所述第2子类之间的子类间近似测地距离。

7.如权利要求1～6中的任意一项所述的移动体检测装置，其中，

所述区域分割部根据所述子类间近似测地距离的时间变化，确定由类似的移动轨迹构成的子类的集合作为表示一个区域的类，从而执行区域分割。

8.如权利要求7所述的移动体检测装置，其中，

所述区域分割部在表示2个子类间的所述子类间近似测地距离的时间变化的值为规定的时间变化阈值以下的情况下，判定为所述2个子类属于同一类，从而执行区域分割。

9.如权利要求7或8所述的移动体检测装置，其中，

所述区域分割部在表示2个子类间的所述子类间近似测地距离的时间变化的值大于规定的时间变化阈值的情况下，判定为所述2个子类属于不同的类，从而执行区域分割。

10.如权利要求1～9中的任意一项所述的移动体检测装置，其中，

所述子类间近似测地距离计算部按照每个子类，将属于该子类的移动轨迹与属于其他子类的移动轨迹之间的距离中的、从小的距离起的规定个数的距离的平均值，作为该子类与所述其他子类之间的所述子类间距离。

11.如权利要求1～9中的任意一项所述的移动体检测装置，其中，

所述子类间近似测地距离计算部按照每个子类，将属于该子类的移动轨迹与属于其他子类的移动轨迹之间的距离中的、规定阈值以下的距离的平均值，作为该子类与所述其他子类之间的所述子类间距离。

12.如权利要求1～11中的任意一项所述的移动体检测装置，其中，

所述子类分类部通过将计算出的所述多个移动轨迹中的类似的移动轨迹分类为同一子类，将所述多个移动轨迹分类为多个子类。

13.如权利要求12所述的移动体检测装置，其中，

所述子类分类部以规定次数或者直到将所述多个移动轨迹分类为规定子类数为止，反复执行将计算出的所述多个移动轨迹中的最类似的移动轨迹的组合分类为同一子类的处理，从而将所述多个移动轨迹分类为多个子类。

14.如权利要求1～11中的任意一项所述的移动体检测装置，其中，

所述子类分类部根据在所述图像输入部中受理的所述多张图片中的至少一张图片，使用该图片的边缘信息、颜色信息和亮度信息中的至少一方，将该图片分割为多个区域，将通过分割后的各区域的移动轨迹分类为同一子类，从而将所述多个移动轨迹分类为多个子类。

15.如权利要求1～14中的任意一项所述的移动体检测装置，其中，

所述移动体检测装置还具有输出部，该输出部针对在所述图像输入部中受理的所述多张图片中的至少一张图片，按照通过由所述区域分割部执行区域分割而确定的每个区域，实施图像处理以成为与其他确定的区域不同的显示方式，输出包含实施了图像处理后的区域的图片。

16.如权利要求1～15中的任意一项所述的移动体检测装置，其中，

所述移动体检测装置还具有记录/发送部，该记录/发送部针对在所述图像输入部中受理的所述多张图片中的至少一张图片，将赋予了由所述区域分割部执行的区域分割的结果后的图片写入到记录装置，或者经由传送路径发送到外部。

17.如权利要求1～15中的任意一项所述的移动体检测装置，其中，

所述移动体检测装置还具有运动预测部，该运动预测部计算构成由所述区域分割部确定的类的移动轨迹中的代表该类的代表移动轨迹，根据计算出的所述代表移动轨迹，预测为与该类对应的区域在图片间移动，从而预测所述移动体的运动。

18.一种移动体检测方法，该移动体检测方法通过执行确定动态图像中的移动体的全部或一部分区域的区域分割来检测动态图像中的移动体，其中，该移动体检测方法包含以下步骤：

图像输入步骤，受理构成动态图像的多张图片；

移动轨迹计算步骤，按照构成所受理的所述图片的由一个以上的像素构成的每个块，检测构成所述动态图像的2张图片间的该块的运动，针对所述多张图片连接检测到的运动，从而计算多个移动轨迹；

子类分类步骤，将计算出的所述多个移动轨迹分类为彼此类似的移动轨迹的集合即多个子类；

子类间近似测地距离计算步骤，按照每个子类，使用包含属于该子类的移动轨迹与属于其他子类的移动轨迹之间的线性距离的最小值的距离即子类间距离，计算表示该子类与所述其他子类之间的类似性的子类间近似测地距离；以及

区域分割步骤，根据计算出的所述子类间近似测地距离，确定由类似的移动轨迹构成的子类的集合作为一个类，从而执行区域分割。

19.一种程序，该程序用于通过执行确定动态图像中的移动体的全部或一部分区域的区域分割来检测动态图像中的移动体，其中，

该程序用于使计算机执行权利要求18所述的移动体检测方法中包含的步骤。

20.一种计算机可读取的记录介质，该计算机可读取的记录介质记录了具有包含头信息和体信息的数据结构的数据，其中，

所述头信息包含：

构成动态图像的图片的尺寸；

构成所述动态图像的所述图片的张数即图片张数；

从所述动态图像得到的移动轨迹的数量即移动轨迹数；以及

作为类似的移动轨迹的集合的子类的数量即子类数，

所述体信息包含：

构成所述动态图像的所述图片张数的图片；

表示从所述动态图像得到的所述移动轨迹数的移动轨迹的数据；

表示各所述移动轨迹所属的子类的数据；以及

按照每个子类表示该子类与其他子类之间的类似性的子类间近似测地距离。

21.一种移动体检测用数据生成装置，其中，该移动体检测用数据生成装置具有：

图像输入部，受理构成动态图像的多张图片；

移动轨迹计算部，按照构成所受理的所述图片的由一个以上的像素构成的每个块，检测构成所述动态图像的2张图片间的该块的运动，针对所述多张图片连接检测到的运动，从而计算多个移动轨迹；

子类分类部，将计算出的所述多个移动轨迹分类为彼此类似的移动轨迹的集合即多个子类；

子类间近似测地距离计算部，按照每个子类，使用包含属于该子类的移动轨迹与属于其他子类的移动轨迹之间的线性距离的最小值的距离即子类间距离，计算表示该子类与所述其他子类之间的类似性的子类间近似测地距离；以及

数据输出部，输出至少包含所述子类间近似测地距离计算部计算出的所述子类间近似测地距离的数据。

22.一种移动体检测装置，该移动体检测装置通过执行确定动态图像中的移动体的全部或一部分区域的区域分割来检测动态图像中的移动体，其中，该移动体检测装置具有：

数据输入部，至少受理包含子类间近似测地距离的数据的输入，该子类间近似测地距离表示属于动态图像中的类似的移动轨迹的集合即子类的移动轨迹、与属于不同于该子类的所述动态图像中的类似的移动轨迹的集合即子类的移动轨迹之间的类似性；以及

区域分割部，根据由所述数据输入部受理的所述子类间近似测地距离，确定由类似的移动轨迹构成的子类的集合作为一个类，从而执行区域分割。

Images