CN1227624C - 物体领域信息产生方法和设备 - Google Patents

Abstract

本发明提供一种能够高精度快速地多边形近似影像中所期望的物体领域、并能够以少的数据量来记述影像中的所期望物体领域的物体领域信息产生装置。本发明还提供一种对于连接了影像中任意物体的领域的多个帧来产生所述信息的领域信息用物体领域信息记述方法，由多边形产生部(101)产生表示影像中成为对象的物体领域的近似多边形，由顶点对应产生部(102)特定该近似多边形的顶点的邻接帧中的顶点对应，由函数近似处理部(103)通过规定的函数来近似沿帧的行进排列该近似多边形的顶点位置数据时的顶点轨迹，使用该函数的参数作为关于该物体领域的信息。

Description

物体领域信息产生方法和设备

技术领域

本发明涉及产生表示影像和图像中的物体的领域的信息的物体领域信息产生方法和物体领域信息产生装置，以及产生近似影像或图像的1个帧中的任意物体的领域的近似多边形的近似多边形产生方法和近似多边形产生装置。

背景技术

近年来，由于影像图像处理技术的快速发展，一般将影像和图像处理为数字数据。确立了将该数字化的数据量与效率地压缩为大的影像和图像的技术。另外，伴随着互联网和卫星广播和CATV等网络技术的发展，与大量的影像需求相对照取得的利用影像和图像数据库和影像联机实时进入实用阶段。另外，来自远方的自动监视***也变得主要了。如此利用影像和图像时，要求通过画面内的内容来将影像和图像分类，并抽出影像和图像中的物体后进行处理或检索。

为了响应该要求，判别影像和图像内描述的内容用的技术的研究盛行起来。然而，因为在影像和图像中存在同时多个物体和背景，所以为了判别物体，作为前提条件就有必要将背景与物体区分开。此时，虽然有必要以其形状来表示物体的领域信息，但它却不能正确表现物体的位置、大小、形状信息。作为此目的的方法有例如作为提高物体存在的部分的亮度、降低没有存在部分的亮度的图像表示的α变换和由长方形近似的包围盒等方案。但是，α变换具有数据量大，物体的位置和大小的检测的计算量大的缺点，另外，在包围盒中不可能表现物体的形状。

作为解决这些缺点的方法是以多边形来近似物体的方法。因为仅记述了多边形各顶点的坐标，所以与α变换相比，数据量特别少。另外，因为具有能够忠实地表现物体的位置、大小、形状的特征，所以是最适于物体领域信息的表现的方法。

但是，作为已有的多边形近似物体的方法，主要使用求出物体的惯性主轴并将惯性主轴与物体轮廓的交点作为顶点后、向顶点追加离连接各顶点间的直线的距离最远的物体轮廓上的顶点、得到必要的顶点数的多边形的方法。在该方法中，在追加一个顶点时，需要探索物体轮廓上的点，因而多边形近似的计算量大。另外，因为顶点一定存在于物体轮廓上，所以在物体的凸出部分中，顶点间的连线进入物体的内部。反过来，在物体的凹入部分中，顶点间的连线在物体的外部之外，多边形与物体的误差大。

另外，即使在影像中的物体的表观，由于与图像相同的理由，与α变换和包围盒(バゥンディングボツクス)相比，多边形近似在数据量和物体的位置、大小、形状的表面方面具有优点。但是，以多边形近似来表现物体的时间变化的情况下，虽然记述了多边形近似的各顶点的移动，但为了逐一记录各帧的顶点的位置，数据量变多，因而不适合。

发明内容

因为考虑了上述事情，所以本发明的目的是提供一种能够快速高精度地产生表现影像中所期望的物体的领域的近似多边形的顶点的轨迹的物体领域信息产生方法和物体领域信息产生装置。

本发明的另一个目的是提供一种能够以少的数据量来记述影像中所期望物体的领域且容易进行其操作和其数据处理的物体领域信息产生方法和物体领域产生装置。

本发明的再一个目的是提供一种能够高精度快速地产生近似影像或图像的1个帧中的任意物体的领域的近似多边形的近似多边形产生方法和近似多边形产生装置。

本发明提供一种生成与运动图像的诸帧中的物体领域有关的物体领域数据的方法，其中该诸帧按时间序列变化进行排列，该方法包括：生成对每个帧中的物体领域的轮廓进行近似的多边形，该多边形具有规定个数的顶点；将每个帧中的每个顶点和相邻帧中的每个顶点关联起来；获得基于诸帧的时间序列变化把被关联在一起的规定个数的顶点连接起来的预定个数的轨迹；以及基于该规定个数的轨迹生成物体领域数据。

本发明提供一种生成与具有多个帧的运动图像数据中的物体领域有关的物体领域数据的方法，该方法包括：生成对若干个帧中的物体领域的轮廓进行近似的多边形，该多边形具有诸顶点；将该若干个帧中的每一个中的每个顶点和相邻帧中的每个顶点关联起来；获取把被关联在一起的该若干个帧的顶点连接起来的轨迹；基于轨迹估计位于该若干个帧中最后一个帧之后的一个给定的帧中的多边形的顶点；按照该给定的帧中的物体区域的轮廓移动已被估计的顶点的位置；将该给定的帧中的每个顶点与该最后一个帧中的每个顶点关联起来；通过将该给定的帧的顶点与该最后一个帧的顶点连接起来以更新轨迹；基于轨迹生成物体领域数据。

最好是，在上述时应中，只要使顶点1对1的对应就行。

最好是，在上述对应中，只要使顶点对应不替换顶点的顺序的进行对应就行。

最好是，为了推定产生的帧的近似多边形的顶点位置数据，函数近似已产生的多个帧中的近似多边形的顶点位置数据的轨迹，只要推定产生的帧的近似多边形的顶点位置数据就行。

最好是，为了在推定上述近似多边形的顶点位置数据，只要利用已产生的最近的帧的近似多边形的顶点位置数据就行。

最好是，为了在推定上述近似多边形的顶点位置数据中，最好从经过已产生的多个帧的近似多边形的重心来推定该帧的重心位置，只要利用移动至推定的已产生的最近帧的近似多边形的重心位置时的近似多边形的顶点位置数据就行。

最好是，上述特征量是使用在该顶点和与其邻接的2个顶点形成的三角形面积。

最好是，上述特征量是使用在该顶点和与其邻接的2个顶点形成的角度。

最好是，上述终止条件是使用比指定的多边形的顶点数的值低的值。

最好是，上述终止条件是使用比多边形和物体的近似误差的值高的值。

通过本发明，例如，如下所述，能够将影像中的物体表示为多边形的顶点的轨迹。

例如，首先，检测各帧中存在物体的领域，从领域的轮廓产生初期多边形。通过消除多边形备顶点的特征量来试着消除影响小的顶点。此时，通过移动邻接顶点，由于顶点的消除来缩小误差的扩大。通过在满足终止条件时重复上述动作，形成表示物体领域信息的多边形。

因为只是在计算量最大的是寻找物体轮廓上的点来形成初期多边形的时候，所以该算法操作得比已有的算法快速。另外其优点在于，因为一边移动变化顶点一边产生多边形，所以近似误差少。

在各帧中产生领域信息，并通过对应于邻接帧间的顶点将物体的时间变化记述为顶点的轨迹。此时，例如，对应于对应的顶点间的距离为最小。此后，函数近似各顶点的轨迹来消除数据量。

另外，在输入各帧的物体处产生顶点轨迹时，由已形成的帧的物体领域信息来推定产生的帧的物体领域，通过与物体比较来改变推定的物体领域信息来产生顶点的轨迹。

据此，本发明能够高精度地快速多边形近似影像中所期望的物体的领域的大小、形状、移动、变形。另外，能够用少的数据量来记述影像中所期望的物体的领域，并且容易进行其形成和其数据的处理。因此，在影像数据库和监视***中能够被有效地利用于物体的确认、分类、检索等。

另外，本发明能够在通过各帧的顶点数可能变得不同和物体的变形、移动等而帧之间的顶点对应可能多的情况下进行适当的函数近似。

并且，与装置相关的本发明也可以作为与方法相关的发明成立，并且与方法相关的本发明也可以作为与装置相关的本发明成立。

另外，与装置或方法相关的本发明也可作为在计算机中记录实行相当于本发明的顺序用(或是作为计算机中相当于本发明的装置的机能用、或是计算机中实现相当于本发明的机能用)程序的计算机能够读取的记录媒体而成立。

本发明能够高精度地快速地多边形近似影像中所期望的物体的领域。

另外，本发明能够用少的数据量来记述影像中所期望的物体的领域，并且容易地进行其形成和其数据的处理。

附图说明

图1是表示关于本发明的实施例1的物体领域信息产生装置的构成实例的图；

图2是表示同一实施例中的处理顺序的一个实例的图；

图3是表示多边形产生处理的顺序的一个实例的流程图；

图4是用于说明多边形产生处理的图；

图5是用于说明近似多边形产生处理中的顶点去除和相邻顶点的移动处理的图；

图6是表示顶点对应处理的顺序的一个实例的流程图；

图7是用于说明顶点对应处理的图；

图8是用于说明函数近似处理的图；

图9是表示物体领域信息的数据结构的一个实例的图；

图10是表示物体领域信息中近似多边形数据的数据结构的一个实例的图；

图11是表示近似多边形数据中的顶点轨迹数据的数据结构的一个实例的图；

图12是表示本发明的实施例2的处理顺序的一个实例的流程图；

图13是用于说明本发明的实施例2的处理的图。

具体实施方式

下面，参照附图来说明发明的实施例。

实施例1

图1是表示关于本发明的实施例1的物体领域信息产生装置的构成实例的图。在图1中，该物体领域信息产生装置包括影像数据存储部100、多边形产生部101、顶点对应形成部102、函数近似处理部103和物体领域信息存储部104。

影像数据存储部100因为存储影像数据，所以由例如硬盘和光盘、半导体存储器等构成。

多边形产生部101对于存在应由影像(或图像)数据中抽出的物体的各帧产生表示其物体的领域的多边形。并且，物体是例如影像中的特定的人和动物、其它自然物、或车、建筑物等制造物、构造物等(或其一部分、例如人的头部、车的发动机罩、建筑物的大门等)的图像。下面，将表示物体的领域的多边形称为近似多边形。近似多边形用该多边形的各顶点的坐标(X-Y坐标组)来表示。

并且，对于同一物体有对于与该物体相关的全部帧使用同一顶点数的多边形的方法和每个帧中的多边形的顶点数变得不同的方法。

顶点对应形成部102对于各物体的多个帧产生的近似多边形的各顶点，连锁地进行相邻帧产生的多边形的各顶点的对应，产生关于各物体的多个帧的近似多边形的顶点的轨迹。另外，对于由影像数据中应抽出的各物体，从该物体出现的帧到消除的帧来进行该顶点对应处理。

例如，将近似某一帧中的物体的领域的近似多边形的顶点与邻接的帧的对应的近似多边形的顶点进行时应来求出顶点轨迹时，通过(例如使多边形的重心一致时的)该某一帧中的顶点与邻接的帧的对应的顶点的距离变得最小来决定。

另外，例如，从已对应的顶点的轨迹来推定邻接帧的顶点的位置，通过该顶点与邻接的帧的顶点间距离变得最小来决定。

另外，例如计算多边形顶点中的特征量，通过邻接帧的对应顶点中的特征量变得最接近来决定。

函数近似处理部103对于各物体对于近似多边形的各顶点的轨迹(从出现帧至消失帧的多个帧的各对应顶点的坐标系列)来进行函数近似。例如，1个物体的近似多边形的各顶点在X坐标、Y坐标中表现为帧号码f和时间标志t的函数。作为函数近似方法是直线近似、仿样(spline)曲线等。函数近似的结果，例如由近似函数的多项式系数等的参数值表示。因此，通过函数近似经过多个帧的顶点的轨迹，能够消除应记录的数据量。

物体领域信息存储部104按照规定的格式存储包含由函数近似处理部103产生的函数近似表现的各物体的近似多边形的各顶点的各坐标的顺序轨迹的数据(例如，近似函数的多项式系数等参数值)的物体领域信息。物体领域信息存储部104与影像数据存储部100一样，由例如硬盘和光盘、半导体存储器等构成。

对于各物体产生的物体领域信息能够有效用于例如在进行影像数据库和监视***等的物体的确认和分类等。

并且，影像数据存储部100、物体领域信息存储部104可由不同的存储装置构成，也可由同一存储装置构成。

图2是表示通过本实施例的物体领域信息产生装置的处理顺序的一个实例的流程图。

并且，作为处理顺序的变形，

(1)取出一个帧，对于该帧，进行步骤S11-S13的连续处理(多边形产生处理、顶点对应处理、函数近似处理)，读入下一帧，如上述，顺序进行每1帧的方法。和

(2)从最初对于多个帧来进行步骤11的多边形产生处理开始，接着批量进行步骤S12的顶点对应处理，接着进行步骤13的函数近似处理，如上述，对于每多个帧进行处理的方法。和

(3)对于最初成为对象的全部帧来进行步骤11的多边形产生处理开始，接着批量进行步骤S12的顶点对应处理，接着进行步骤13的函数近似处理的方法。

不用说，本实施例的物体领域信息产生装置使用软件也能实现，在该情况下，根据图2的流程图形成参数，安装在计算机中，只要在计算机上运行就行。

并且，虽然在下面主要说明由函数近似处理部103进行函数近似、数据量变少、记录物体领域信息的情况，但由函数近似处理部103进行函数近似时，也可能在物体领域信息中记录各帧的每个近似图形的各顶点的坐标值(在后面的情况下也可以没有函数近似处理部103)。

下面，详细说明本实施例中的各处理。

首先，参照图3-5来说明由多边形产生部101的多边形产生处理。

图3中表示了产生表示存在物体的帧中的物体的领域的近似多边形的处理顺序的一个实例。

首先，在步骤S21中由物体的领域产生初期多边形。

输入图像如果区分作为物体存在时为1、不存在时为0的位映象(bit map)图像(α变换)和取出只是图像中的陡边的边缘图像等物体存在部分和不存在部分时，不管利用怎样的格式都行。输入图像的实例表示为图4(a)的图像301。

从输入图像查找物体轮廓上的一点，该点是所谓的初期多边形的顶点。以该顶点作为始点，一边在短的间隔内描绘物体轮廓，一边向初期多边形追加顶点。一般而言，初期多边形虽然是顶点数非常多的多边形，但多边形的近似误差(例如，物体领域的面积和近似多边形的面积的差、该差由物体领域的面积或近似多边形的面积除，等等)具有小的特征。由图像301所得的初期多边形的实例表示为图4(b)的图像302。

在步骤S22中，对于求得的多边形的各顶点算出特征量。特征量在去除该顶点时，因为推定多边形的近似误差的程度变大，所以对于各顶点，能够使用由该顶点和与其邻接的两个顶点形成的角度和由该顶点和与其邻接的两个顶点形成的三角形的面积。

顶点和其特征量的关系的一个实例表示为图5(a)的图像304。在图像304中，设顶点t_i的角度为θ_i，面积为s_i。

使用顶点t_i→＝(x_i，y_i)的特征量作为面积为s_i的特征量时，邻接顶点t_i-1＝(x_i+1，y_i+1)，t_i+1＝(x_i-1，y_i-1)时，特征量s_i表示为s_i＝|(x_i+1-x_i)·(y_i-1，y_i)-(x_i-1-x_i)·(y_i+1，y_i)|/2。

去除t_i前的多边形十分近似于物体，由于去除t_i增加的近似误差与s_i成正比。为此可以说，如果s_i小，则即使去除t_i后影响也小。

在步骤S23中，从由步骤S22产生的特征量来选择一个去除顶点时的多边形的近似误差最小的顶点，除去该顶点。

如果去除的点为多边形的凸出部分，则由于去除顶点产生的近似误差为多边形通过进入物体内部所产生的误差的比例高。在这种情况下，通过将与去除的顶点邻接的两个顶点向多边形的外侧移动，使近似误差变小。

反之，如果去除的点为多边形的凹入部分，则由于去除顶点产生的近似误差为多边形通过超出物体外部所产生的误差的比例高。在这种情况下，通过将与去除的顶点邻接的两个顶点向多边形的内侧移动，使近似误差变小。

邻接顶点的移动矢量虽然是任意的，但移动量大时，近似误差反之也变大。因此，例如由多边形的近似误差和周围的顶点的坐标等来决定。

在从多边形的近似误差来决定的情况下，一边变化移动的矢量时，一边查找最好的移动矢量(例如采用误差最小的移动矢量)。

在由周围的顶点的坐标决定的情况下，例如在去除顶点t_i→时，邻接顶点t_i-1→、t_i+1→的移动矢量v_i→为垂直于矢量t_i+1→-t_i-1→的矢量。并且，在决定作为具有连接t_i+1→和t_i-1→的直线和t_i→的距离的一半长度的矢量时，a_i→＝t_i→-t_i-1→，b_i→＝t_i+1→-t_i-1→，移动矢量v_i→由v_i→＝{a_i→-(a_i→·b_i→/|b_i→|²)×b_i→}/2表示。

这里，(a_i→·b_i→/|b_i→|²)×b_i→表示a_i→和b_i→的正投影。

去除顶点时的邻接顶点的移动矢量的实例表示为图5(b)中的图像305，使邻接顶点移动矢量分移动的实例表示为图5(c)的图像306。

通过去除顶点，移动邻接顶点，有必要更新顶点的特征量。因此，在步骤S24计算应更新的顶点的特征量并修改。应更新的顶点为在步骤S23中移动的顶点(图5的实例中为t_i-1→和t_i+1→)和与其邻接的顶点(图5的实例中为t_i-2→和t_i+2→)。

在步骤S25中，判断是否满足终止条件。

作为终止条件具有各种改变。

例如，作为终止条件有使用近似多边形的顶点数是否比指定的数多的方法。此时，如果不是指定的顶点数，则终止处理，如果超过了指定的顶点数，则返回步骤S23，为指重复步骤S23-S25直到为指定的顶点数。

另外，通过多边形的顶点数是否为指定的数来判定之外，例如还有由多边形的近似误差是否超过临界值来指定终止条件的方法。此时，多边形的近似误差超过临界值时则终止。

另外，也可以是多个条件的AND和OR等。

并且，在由函数近似处理部103进行函数近似时，最好是顶点数相同(使全部物体相同的方法和每个物体不同的方法)。反之，在由函数近似处理部103进行函数近似时，构成相同的顶点数。

表示由此处理得到的物体领域的近似多边形的实例表示为图(c)的图像303。

接着，参照图6、图7来说明由顶点对应形成部102进行的顶点对应处理。

在图6中，表示了对应于表示在各物体的各帧中抽出的该物体的领域的近似多边形的各顶点的处理的顺序的一个实例。

首先，在步骤S71中，表示物体的某一帧中的其物体领域的近似多边形为P_i，该帧的下一个帧(邻接帧)中的近似多边形为P_i+1时，求出这些多边形P_i、P_i+1的重心。近似多边形P_i、P_i+1和由此求出的重心的实例表示为图7(a)的图像311、321。

如果，在邻接的帧中，在存在多个物体(即其近似多边形)的情况下，那么计算着眼于该帧的物体的近似多边形P_i的重心和邻接帧中的各近似多边形的重心之间的距离，将其中具有距离最短的重心的近似多边形作为对应于该物体的近似多边形P_i+1。勿需说明，也可以用其它各种方法来相互对应近似多边形。

接着，在步骤S72中，考虑移动的多边形P·_i使相应的帧的近似多边形P_i重心位于近似多边形P_i+1的重心上。多边形P·_i，多边形P_i、P_i+1、P·_i和各自重心的关系的实例表示为图7(b)的图像312、322。

但是，在近似多边形的重心和近似多边形的重心的距离近等的情况下，通过使近似多边形P_i的重心与近似多边形P_i+1的重心一致而不移动时，该近似多边形P_i的重心也可作为P·_i。

因此，在步骤S73中，多边形P·_i的各个顶点与P_i+1的各个顶点相对应。顶点对应的实例表示为图7(c)的图像313、323。

下面表示顶点对应处理的各种实例

(方法1：基于顶点间距离的方法)

在移动该帧中的近似多边形的各个多边形P·_i的每个中，求出该顶点和邻接帧中的近似多边形P_i+1的各顶点的距离，将距离最短的多边形P_i+1的顶点作为对应于该顶点的顶点。

上述处理的结果是如果在多边形P_i+1的顶点中有一个或多个顶点不能对应于多边形P·_i的顶点，则例如，该顶点对应于距多边形P_i的顶点中最近的顶点(这点与方法2、3相同)

(方法2：由多边形的形状来确定对应的方法)

求出各帧中的近似多边形的各顶点的特征量，特征量相近的顶点对应起来。作为特征量可以是由该顶点和与其邻接的2个顶点形成的三角形的面积和顶点角度等。

(方法3：由顶点的轨迹来推定对应的帧的顶点位置的方法)

通过对于至进行顶点对应的相应的帧的帧，由时间函数T_j(t)来近似对应的多边形的顶点P₁，...，P_i中的第j个顶点的轨迹，由函数T_j(t)来推定该相应的帧中的顶点位置，该帧中的多边形P_i+1的顶点中距离推定顶点位置最近的顶点作为对应于顶点P_j的顶点。

(方法4)

多边形P·_i的顶点数和多边形P_i+1的顶点数相等的情况下，根据上述各方法(1-3)的处理结果，多边形P·_i的多个顶点对应于多边形P_i+1的同一顶点的情况(在多边形P_i+1的顶点中，发生与多边形P·_i的顶点不对应的情况)下，不使用该对应，也可以继续进行为得到多边形P·_i的顶点和多边形P_i+1的顶点为1对1的对应的其它对应的处理(例如，从对应于多边形P_i+1的同一顶点的该多边形P·_i的多个顶点中去除适当的一个，将剩下的顶点与在多边形P_i+1的顶点中没有与多边形P·_i的顶点对应的顶点对应)。

(方法5)

在上述各方法(1-4)中，在仅限定为多边形顶点的对应中不发生交换顶点号码的部分的对应(例如，相邻接的两个帧中的多边形的顶点之间按顺时针方向相互对应的情况)情况下，变为交换顶点号码的对应时，不使用该对应，继续进行得到其它对应的处理(例如，一边变更此时的对应的部分或全部，一边以试行错误方式反复进行处理)。

(方法6)

在多边形P·_i的顶点数和多边形P_i+1的顶点数相等的情况下，顶点的顺号码限定为不交换的1对1对应时，例如，求出多边形P·_i的顶点和多边形P_i+1的顶点的距离中最短的距离，决定对应此时的多边形P·_i的顶点和多边形P_i+1的顶点的部分，之后，将该多边形P·_i顶点的右侧邻接的顶点与多边形P_i+1顶点的右侧邻接的顶点对应，后面也可以按顺时针方向同样地对应。另外，代替求出最初对应的1个顶点，根据在多边形P·_i中邻接的规定数量(多个)的顶点和在多边形P_i+1中邻接的相同数量的顶点来求出将它们对应起来时的顶点间距离的总和，采用该和为最小的规定数量的顶点的对应，然后，将该多边形P·_i的顶点右侧邻接的顶点对应于多边形P_i+1的顶点右侧邻接的顶点，后面也可以按顺时针方向同样地对应。并且，除在最初的顶点决定中使用顶点间距离之外，也可以是使用特征量的方法和使用推定顶点位置的方法。

(方法7)

另外，在多边形P·_i的顶点数和多边形P_i+1的顶点数相等的情况下，作为上述方法1的变形，也可以采用对于移动相应帧中的近似多边形后的多边形P_i的各个顶点，求出该顶点和邻接帧中的近似多边形的各顶点的距离，通过1对1对应来组合多边形P·_i的顶点和多边形P_i+1的顶点，用将全顶点间距离的总和作为最小的顶点的对应组合。根据上述方法2和方法3，也可能有同样的变形(在方法2中使用特征量的差的总和，在方法3中使用推定顶点位置和对应顶点位置的距离的总和就行)。

另外，在这时，有可能加重如上述不交换顺号码的条件、1对1对应的条件或交换顶点顺序号码并1对1对应的条件。

并且，在表示一个物体中从出现帧至消除帧之间的物体领域的近似多边形的顶点数由于帧而变得不同的情况下，如果进行下面的处理，则能够以与相等地情况同样地处理多边形P·_i的顶点数和多边形P_i+1的顶点数。

设求出作为表示物体领域的近似多边形的顶点的轨迹的顶点数为s，各帧的近似多边形的顶点数在s以下时，一帧的近似多边形的顶点数为s-Δs(Δs＞0)的帧变为邻接帧时，通过将该帧的近似多边形内的一个顶点处理为多重化具有同一坐标的Δs+1个顶点后的顶点(或者，通过将Δs个顶点处理为多重化具有同一坐标的两个顶点后的顶点，或通过使用同样装置的其它对应)，因此，能够使用顶点数相同时的处理(方法1-7)(首先决定作为多重化处理的顶点的方法和决定作为处理结果多重化处理的顶点的方法)。

另外，作为表示物体领域的近似多边形的顶点，设求出轨迹的顶点数为s，各帧的近似多边形的顶点数在s以上时，一帧的近似多边形的顶点数为s+Δs的帧变为邻接帧时，在不对应于该帧的近似多边形的顶点内的Δs个顶点，通过特别将该坐标作为孤立点记录，或将该数据作为孤立点去除(该顶点不作为处理顶点)等时，能够使用顶点数相同情况下的处理(方法1-7)(首先决定作为孤立点处理的顶点的处理方法和决定作为处理结果处理作为孤立点的顶点的方法)。

另外，设求出作为表示物体领域的近似多边形的顶点的轨迹的顶点数为s，各帧的近似多边形的顶点数从s以下变为s以上时，根据该帧的近似多边形的顶点数比s小，或超过s，只要进行上述处理就行。

下面说明由函数近似处理部103进行的函数近似处理。

根据存在物体的全部帧，终止上述多边形近似和顶点对应，通过函数近似各物体的近似多边形的各顶点的各坐标的轨迹来消除数据量。函数近似可以是一次近似、二次近似、通过仿样函数近似等近似方法。

图8是用来较具体地说明由函数近似处理部103通过曲线近似近似多边形的顶点轨迹的处理的概要的图。

根据图8(a)，331表示成为处理对象的影像中的1帧。332为以多边形近似物体领域时的各顶点。为了简单，对于一系列帧，这里以矩形(4顶点)来近似。另外，在函数近似中，用仿样函数来说明。

在函数近似处理中，通过对于其每个X坐标和Y坐标由仿样函数来近似按时间序列排列表示各物体的领域的近似多边形的各顶点的轨迹，。在此实例中，因为对于近似多边形的顶点分别为四顶点，X坐标和Y坐标的仿样函数变得必要，所以总共产生八个仿样函数。

并且，由函数近似处理部103的处理具有每次进行得到关于该物体领域的各帧的近似多边形的顶点的坐标值的方法(例如，每次进行得到各帧中的顶点的坐标值的近似同时求出近似误差、通过将近似误差设定在一定范围内来适当分割近似区间的方法)和得到关于该物体领域的全部帧的顶点坐标值后进行的方法。

另外，根据由顶点对应形成部102的顶点对应处理方法具有当仅求从出现该物体的领域至消除的全部帧中的顶点的轨迹的情况(例如，对于全部帧近似多边形的顶点数相等、在全部的邻接帧之间、顶点和顶点为1对1对应的对应情况)，和求出仅在从该物体领域出现至消除的全部帧内的一部分区间中存在的顶点轨迹的情况(例如，基于不同的帧的近似多边形的顶点数变得不同，在顶点数少的帧中某顶点轨迹断开时，或即使全部帧的近似多边形的顶点数相等，由于在某一帧中对应的顶点不是1对1地对应，在该帧中某顶点的轨迹断开的情况)。在后面的情况下，断开顶点的轨迹后的该帧必然成为近似函数的节点。

图8(b)的333三维地表现近似的仿样函数。

表示由此得到的近似函数的数据以事先设定的数据形式存储在物体领域信息存储部104中。

下面，说明存储在物体领域信息存储部104中的物体领域信息的数据形式。并且，在这里，虽然举例说明了由仿样函数近似顶点的情况，勿需多言，由其它函数近似的情况也是同样的。

图9中表示了记录表示影像中物体领域的仿样函数用的物体领域信息的数据形式的一个实例。

ID号码400为赋予物体的识别号码。

开始帧号码401和最终帧号码402为定义该ID号码的物体的存在的最初和最后的帧号码，具体而言，为在影像中出现物体至消失的帧号码。但是，实际上不是在影像中出现物体至消失的帧号码，例如，可以将在影像中物体出现之后的任意的帧号码作为开始帧号码，另外，可以将在开始帧号码之后中的影像中物体消失前的任意帧号码作为最终帧号码。另外，开始/最终帧号码能够被开始/最终时间标志替代。

近似多边形数据403为表现近似多边形用的顶点的轨迹数据(例如仿样函数的参数等)。另外，由多个物体领域构成一个物体的情况下，将近似多边形数据403变为具有多个的数据。

下面，图10表示了近似多边形数据(403)的数据结构的一个实例。

顶点数431表示表现近似多边形的顶点的数量。

一组顶点轨迹数据432-1、432-1为表现近似多边形的代表点的轨迹的关于仿样函数的数据领域。对于一个顶点，X坐标、Y坐标的仿样函数数据变得有必要。因此，特定仿样函数的顶点轨迹数据仅存在顶点数(M)×2。另外，记录顶点的顺序例如是沿外周的顺序等事先决定的顺序。

下面，图11表示了顶点轨迹数据(432-1、432-2)的数据结构的一个实例。

节点帧号码4320表示仿样函数的节点，还表示至该节点的多项式的数据4323是有效的。多项式的系数数据的数量通过仿样函数的最高次数来变化(最高次数为K时，系数数据的数量为K+1)。为此，参照多项式次数4321。在多项式次数4321之后，接着是相当于多项次数+1个的数量的多项式系数4322。

另外，因为在节点间以其它多项式来表现仿样函数，对应于节点数的数量的多项式就变得必要。因此，多次返回记述包含节点帧号码、多顶式系数等的数据4323。节点帧号码变为与最终帧相等时，因为它表示为最后的多项式系数数据，所以代表点轨迹数据终止。

并且，根据所述变形，在对于某帧的近似多边形的某顶点不进行对应就记录该坐标时，在数据4323中记述该顶点的坐标和该帧的号码。

换言之，也可以向图9的物体领域信息中附加其它各种信息。例如，也可以附加与该ID号码的物体关联的各种属性信息，和表示关联于该ID号码的物体的关联信息数据的访问方法的信息(文件名和URL和其它地址等)。关联信息数据也可以是文字、声音、静止图像、活动图像或它们的适当组合，也可以是程序和记述计算机动作的数据。

另外，在函数近似处理部103不进行函数近似时，例如，在图9的近似多边形数据中，也可以记录各帧的每个近似图形的各顶点的坐标值。

下面说明影像数据和物体领域信息的提供方法。

在向用户提供由本实施例处理所形成的物体领域信息时，用什么方法从形成方处向用户提供物体领域信息是有必要的。作为该提供方法可以是下面示例的各种形态。

(1)在一个或多个记录媒体中记录并同时提供影像数据和其物体领域信息的形态

(2)单独提供影像数据，另外，在一个或多个记录媒体中记录并同时提供物体领域信息的形态

虽然上述主要是在由记录媒体来提供的情况，但除此以外也可考虑由通信媒体来提供部分或全部的形态。

根据上述实施例，能够高精度快速地多边形近似影像中所期望物体的领域的大小、形状、移动、变形等。另外，也能够用少的数据量来记述影像中所期望的物体的领域并容易地进行其形成和其数据的处理。因此，根据影像数据库和监视***等，能够有效地利用于物体的识别、分类、检索等。

另外，根据本实施例，在由于各帧而使顶点数变得不同和由于物体的变形、移动等而使帧间的顶点有多种对应的情况下，能够进行适当的函数近似。

另外，能够将影像中的物体领域记述为近似其近似多边形的顶点的顺序的轨迹(将帧号码或时间标志作为变量的顶点的坐标轨迹)的曲线的参数。因此，因为能够通过函数的参数来表现影像中的物体领域，所以数据量少，能够产生操作容易的物体领域信息。另外，能够容易地进行由近似曲线的参数产生近似多边形。

(实施例2)

下面说明本发明的实施例2的物体领域信息产生装置。

本实施例基本上与实施例1相同，下面主要说明与实施例1不同的部分。

在实施例1中，在相邻接的两帧中由物体领域求得近似多边形的顶点后，虽然求出了两帧的近似多边形的顶点的对应，但在本实施例中，利用已求得的前面的帧中的近似多边形的各时应顶点的轨迹，求出作为对象的帧中的近似多边形的各对应顶点，例如根据流影像等有效地一边进行影像输入一边进行处理。

本实施例的物体领域信息产生装置的构成实例与图1相同。

另外，由本实施例的物体领域信息产生装置的处理流程的一个实例与图2相同。但是，步骤S11的多边形产生处理中，仅根据出现物体的最初的1帧来进行该处理。另外，对于最初规定数量(多个)的帧，根据实施例1中的步骤S11、S12的求出经过近似多边形的顶点和多个帧的顶点的对应。接着，通过本实施例中的步骤S12的处理来依次求出后续帧中的近似多边形的顶点。

下面，参照图12、13来说明由本实施例中的顶点对应形成部102进行的顶点对应处理。

首先，在步骤S81中，对于一个物体，由图13(a)的601将已经产生的多个帧(例如全部帧或附近的一定数据的帧)的近似多边形的各顶点的轨迹近似为时间的函数。该函数近似可以使用一次近似、二次近似、仿样近似等近似方法。

下面，在步骤S82中，推定近似函数应处理的帧中的顶点位置，产生由此应产生的帧中的推定多边形(的顶点)。推定的近似多边形的实例表示为图13(b)的602。

并且，在各帧中的物体的移动量小的情况下，不进行函数近似，将最近的帧的近似多边形的顶点作为该推定的多边形(的顶点)。

另外，当物体的移动量大而变形小时，由已产生的多个帧的近似多边形的重心来推定应产生的帧中的近似多边形的重心，当最近的帧的近似多边形的重心与推定的重心一致时移动该多边形，将其作为推定的近似多边形来使用。

并且，在处理的初期阶段，处理完的帧数量少时，仅在该少的帧中进行步骤S81、S82；或者，不进行步骤S81的近似，刚好在其前的帧在的近似多边形也可作为推定的多边形。另外，在最初求得一帧的近似多边形时或处理的帧数量少时，不进行步骤S81的近似，将刚好在其前的帧中的近似多边形作为推定的多边形。

接着，在步骤S83中，读入应处理的帧的物体领域，在物体领域内处理移动推定的近似多边形的各顶点。应处理的帧的物体领域的实例表示为图13(c)的603。

作为移动方法包括对于各顶点从该推定的位置移动到最近的物体轮廓上的位置，或使用近似误差最小的梯度法和牛顿法等参数最适合方法来移动等各种方法。

并且，在邻接的帧中，在物体(即其近似多边形)存在多个时，与第1实施例相同，使用被判断为与在相应的帧种的目标物体对应的物体领域。

如此适合于物体中各顶点并移动的实例表示为图13(d)的604，另外移动后产生的近似多边形的实例表示为图13(e)的605。

并且，根据由函数近似处理部103的函数近似处理与实施例1相同。

另外，由函数近似处理部103进行的函数近似时，也可能在物体领域信息中记录各帧的每个的似图形的各顶点的坐标值(在后者的情况下，也可以没有函数近拟处理部103)。

并且，以上的各功能也可以作为软件实现。

另外，本实施例也能够实施将执行算机中规定方法用的(或将计算机作为规定的机能用的、或实现计算机中规定的机能用的)程序作为记录的计算机可读取的记录媒体。

本发明不限于上述实施例，根据其技术范围能够进行各种变形。

Claims (10)

1.一种生成与运动图像的诸帧中的物体领域有关的物体领域数据的方法，其中该诸帧按时间序列变化进行排列，该方法包括：

生成对每个帧中的物体领域的轮廓进行近似的多边形，该多边形具有规定个数的顶点；

将每个帧中的每个顶点和相邻帧中的每个顶点关联起来；

获得基于诸帧的时间序列变化把被关联在一起的规定个数的顶点连接起来的预定个数的轨迹；以及

基于该规定个数的轨迹生成物体领域数据。

2.根据权利要求1所述的方法，其中每个帧中的每个顶点和相邻帧中的每个顶点关联起来使得每个帧中的每个顶点和相邻帧中的每个顶点之间的距离最小。

3.根据权利要求2所述的方法，其中当每个帧中的多边形的重心和相邻帧中的多边形的重心一致以后，计算每个帧中的每个顶点和相邻帧中的每个顶点之间的距离。

4.根据权利要求1所述的方法，其中将每个帧中的每个顶点和相邻帧中的每个顶点关联起来的步骤包括基于轨迹估计相邻帧的顶点，并且选择相邻帧中那些离已被估计的顶点最接近的顶点。

5.根据权利要求1所述的方法，其中将每个帧中的每个顶点和相邻帧中的每个顶点关联起来的步骤包括获取每个帧的顶点的特征量，并且将具有最接近的特征量的每个帧中的一个顶点和相邻帧中的一个顶点关联起来。

6.根据权利要求2至5中的任意一项所述的方法，其中由规定的函数分别近似这些轨迹，通过使用这些函数生成物体领域数据。

7.根据权利要求2至5中的任意一项所述的方法，其中物体领域数据包含每个帧的顶点的位置数据和标识帧之间的顶点的对应关系的关联数据。

8.一种生成与具有多个帧的运动图像数据中的物体领域有关的物体领域数据的方法，该方法包括：

生成对若干个帧中的物体领域的轮廓进行近似的多边形，该多边形具有诸顶点；

将该若干个帧中的每一个中的每个顶点和相邻帧中的每个顶点关联起来；

获取把被关联在一起的该若干个帧的顶点连接起来的轨迹；

基于轨迹估计位于该若干个帧中最后一个帧之后的一个给定的帧中的多边形的顶点；

按照该给定的帧中的物体区域的轮廓移动已被估计的顶点的位置；

将该给定的帧中的每个顶点与该最后一个帧中的每个顶点关联起来；

通过将该给定的帧的顶点与该最后一个帧的顶点连接起来以更新轨迹；

基于轨迹生成物体领域数据。

9.根据权利要求8所述的方法，其中由规定的函数分别近似这些轨迹，通过使用这些函数生成物体领域数据。

10.根据权利要求8所述的方法，其中物体领域数据包含每个帧的顶点的位置数据和标识帧之间的顶点的对应关系的关联数据。

Images