CN101615294B - 一种多重对象追踪的方法 - Google Patents

Abstract

本发明公开了一种多重对象追踪的方法，涉及一种影像处理的方法，适用于影像处理。本方法包括下列步骤：执行模型建立程序，使第二影像数据与第一影像数据中的每一像素个别地具有颜色参数与位置参数。然后，使第一影像数据中的第一对象个别地分解为复数个第一子区块。其后，使第二影像数据中的第二对象个别地分解为复数个第二子区块。接着，根据第一子区块与第二子区块，以形成物件区块。

Description

一种多重对象追踪的方法

技术领域

本发明涉及一种影像处理的方法，特别涉及一种根据五维参数，以进行多重对象追踪的方法。

背景技术

智能型视讯监控***能够从影像中辨识出移动物体，并且追踪物体，进而判断发生的事件。现有自动物体追踪的方法为，在时间轴上，建立物体的对应关系，以获得物体的移动轨迹，进而进行事件侦测。此外，现有自动物体追踪的方法利用物体特征，例如：物体的影像、物体的外表模型(Appearance Model)、颜色、边界框(Bounding Box)等等，以建立物体的对应关系。亦即，现有自动物体追踪的方法以视讯(video)为切割的基础，并进行连结组件分析(connectedcomponent analysis)。然后，现有自动物体追踪的方法取得连结组件的特征，以便将连结组件对应于特定的物体。相关的专利案件可参考US6574353，US6226388，US5845009，US6674877。

现有技术建立颜色统计模型(Statistical Color Model)，以便利用颜色统计模型来描述对应的物体。当现有技术建立颜色统计模型时，此方法统计每个像素颜色分布情况，并利用多个已知的机率分布，来近似整体分布。再者，此方法使用这些机率分布的参数，来作为物体模型。每一机率分布包含三维，即R、G、B。亦即，每一个机率分布对应至某一个物体模型。

然而，若物体间发生遮蔽的情形，则现有技术仅凭屏蔽(mask)无法正确地辨识物体的边界。因此，现有自动物体追踪的方法无法有效地对个别对象建立正确的模型。现有技术在追踪遮蔽物体时，通常的解决方法是，不以视讯切割为基础(Non-segmentation based)来建立物体样板(Template)。然后，利用物体样板，此方法在画面中寻找最相似的区域，以便追踪遮蔽物体。但是，前述的方法无法自动化，并且需要手动建立物体样板，不利于实际的应用。另一种方法以视讯切割为基础(Segmentation based)，从某一个连结组件中，分辨不同物体所在的位置。由于此种方法以连结组件为建立外表模型时的基本单位，当多重对象间产生遮蔽的情况时，仍然不能有效地追踪遮蔽物体。

发明内容

针对上述问题，本发明提供一种多重对象追踪的方法。本方法将对象分解为子区块，再重新组合成新对象，以解决多重对象间产生遮蔽的问题，并提高对象追踪的准确率。

为达到上述目的，本发明提出一种多重对象追踪的方法，适用于影像处理。其中，第二影像数据(第t-n秒)产生的时间在第一影像数据(第t秒)之前，本方法包括下列步骤：本方法执行模型建立步骤，使前述第二影像数据与前述第一影像数据中的每一像素，具有颜色参数(R，G，B)与位置参数(x，y)。然后，根据颜色参数与位置参数，使前述第一影像数据中的每一个第一对象分解为复数个第一子区块。其后，根据颜色参数与位置参数，使前述第二影像数据中的每一个第二对象分解为复数个第二子区块。接着，根据前述第一子区块与前述第二子区块，以形成物件区块。

依照本发明的较佳实施例所述，上述方法更包括：本方法执行对象切割步骤，以取得至少一个前景物体。然后，本方法执行对象卷标步骤，以标示前述第一对象或第二对象。

依照本发明的较佳实施例所述，上述模型建立步骤包括下列步骤：本方法设定每一个像素具有红色值、绿色值、蓝色值、x坐标与y坐标。然后，根据前述红色值、前述绿色值、前述蓝色值、前述x坐标、前述y坐标与机率模型(高斯机率分布模型)，使至少一个对象具有对应的外表机率分布。其后，本方法分析对应像素，以产生复数个子机率分布，以使对应对象分解为复数个子区块。

依照本发明的较佳实施例所述，上述机率模型具有至少一个特定分布参数，前述特定分布参数为高斯机率分布模型的高斯分布平均值。前述模型建立步骤更包括下列步骤：本方法组合前述红色值、前述绿色值、前述蓝色值、前述x坐标、前述y坐标成为一个目标参数。然后，本方法逐一地比较对应像素的目标参数与对应的特定分布参数，以取得至少一个第一差异值。其后，本方法判断前述第一差异值是否小于一个第一临界值。接着，若前述第一差异值小于前述第一临界值，则根据对应像素，重新计算对应的子机率分布参数。接下来，根据对应的子机率分布参数，本方法形成前述第一子区块与前述第二子区块。

依照本发明的较佳实施例所述，上述方法更包括：本方法比对前述些第一子区块与前述些第二子区块。然后，根据前述些第一子区块与前述些第二子区块之比对结果，重新组合前述第一子区块，以形成新的对象区块，以处理可能的遮蔽情形。

依照本发明的较佳实施例所述，上述方法更包括：根据第n个第一子区块，本方法计算对应的第一分布平均值(高斯分布平均值)。此外，根据第m个第二子区块，本方法计算对应的第二分布平均值(高斯分布平均值)。然后，本方法比较前述第一分布平均值与前述些第二分布平均值，以得到一个第二差异值。其后，本方法判断前述第二差异值是否小于第二临界值。若前述第二差异值小于前述第二临界值，则本方法判断第n个第一子区块是否已对应至前述对象区块。若前述第二差异值小于前述第二临界值，且对应的第n个第一子区块未被对应至前述对象区块，则本方法设定第n个第一子区块与第m个第二子区块具有对应的子机率分布。接下来，本方法组合具有对应子机率分布的第一子区块的边界框，形成前述对象区块。

综合上述，本发明提出一种多重对象追踪的方法。本方法建立五维的空间对颜色的机率模型，并且，本方法将对象分解为子区块，再重新组合成新对象，以解决对象遮蔽的问题，并提高对象追踪的准确率。本发明至少具有下列优点：

1、本方法建立五维的空间对颜色的机率模型，能够更详细的描述一个连结组件的组成，以有效地取得更多的对象特征，以更精密地分析对象行为。

2、本方法将对象分解为子区块，再重新组合成新对象，能精确地区别出各对象的边界。这种方法不仅具有新颖性，而且能解决多重对象间产生遮蔽的问题，极具有进步性。

附图说明

为让本发明的目的、特征、和优点能更明显易懂，下文特举较佳实施例，并配合所附图式，作详细说明如下：

图1为依照本发明一较佳实施例的多重对象追踪的方法的流程图；

图2为依照本发明一较佳实施例的模型建立步骤的流程图；

图3为依照本发明另一较佳实施例的多重对象追踪的方法的流程图；

图4为依照本发明一较佳实施例的对象区块的示意图；

图5为依照本发明一较佳实施例的建立遮蔽时的对象区块的示意图。

图中主要组件符号说明：

S102-S114：流程图的步骤

S202-S218：流程图的步骤

S302-S320：流程图的步骤

402-424，502-518：子区块

426，428，520，522：物件区块

具体实施方式

为了更清楚地说明本发明实施例的技术方案，下面将结合附图对本发明的实施例进行详细的介绍，下面的描述仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些实施例获得本发明的其它的实施方式。

请参照图1，其绘示的是依照本发明一较佳实施例的多重对象追踪的方法的流程图。本方法适用于影像处理，复数笔第二影像数据(第t-1秒)产生的时间在第一影像数据(第t秒)之前。本方法包括下列步骤：本方法输入第一影像数据S102。然后，本方法执行对象切割步骤，以取得前景物体，成为一个对象S104。其后，本方法执行对象卷标步骤，通过卷标连结算法，标示至少一个连结组件S106。接着，本方法执行模型建立步骤，在前述第二影像数据与前述第一影像数据中，每一个像素具有至少一个颜色参数与至少一个位置参数。根据前述颜色参数与前述位置参数，使前述第一影像数据中的第一对象分解为复数个第一子区块S108。接下来，根据前述颜色参数与前述位置参数，使前述第二影像数据中的第二对象分解为复数个第二子区块S110。然后，本方法比对第一子区块与第二子区块S112。其后，根据第一子区块与第二子区块，以形成前述第一影像数据中的至少一个对象区块S114。其中，前述颜色参数为红色值、绿色值与蓝色值。前述位置参数为对应像素的x坐标与y坐标。

请参照图2，其绘示的是依照本发明一较佳实施例的模型建立步骤的流程图。模型建立步骤包括下列步骤：本方法初始化子机率分布参数S202。然后，根据子机率分布参数，本方法建立对应的子区块S204。接着，本方法设定每一像素具有红色值、绿色值、蓝色值、x坐标、y坐标，以成为目标参数，并且，本方法取得第一对象或第二对象对应的像素的目标参数S206。接下来，本方法逐一地比较对应像素的目标参数与对应的子机率分布参数，以取得第一差异值S208。然后，判断前述第一差异值是否小于第一临界值S210。其后，若前述第一差异值小于第一临界值，则根据前述对象的像素，本方法更新子机率分布参数，使新的子机率分布对应的子区块包含此对应像素的信息。本方法根据对应的子机率分布参数，可形成第一子区块与第二子区块S212。若前述第一差异值大于第一临界值，则本方法判断对应子机率分布参数是否为最后一个子机率分布参数S214。若对应子机率分布参数为最后一个子机率分布参数，则代表此对应像素无法找到对应的子机率分布，则本方法利用此对应像素，建立一个新的子机率分布S216。若对应子机率分布参数不为最后一个子机率分布参数，则本方法重新执行步骤S204。其后，本方法判断对应像素是否为最后一个像素S218。若对应像素为最后一个像素，则结束模型建立步骤S220。若对应像素不为最后一个像素，则本方法重新执行步骤S206。

根据前述步骤可产生复数笔子机率分布参数。根据不同的子机率分布参数，本方法可形成多个第一子区块或多个第二子区块。亦即，本方法比对第一子区块与第二子区块，根据第一子区块与第二子区块的比对结果，本方法组合第一子区块，以形成对象区块。

请参照图3，其绘示的是依照本发明另一较佳实施例的多重对象追踪的方法的流程图。本方法包括下列步骤：根据第n个第一子区块，本方法计算对应的第一分布平均值S302。根据第m个第二子区块，计算对应的第二分布平均值S304。然后，本方法比较前述第一分布平均值与前述第二分布平均值，以得到第二差异值S306。其后，本方法判断前述第二差异值是否小于第二临界值S308。若前述第二差异值不小于第二临界值，则本方法重新执行步骤S304。接着，若前述第二差异值小于第二临界值，则本方法判断第n个第一子区块是否已对应至某一个对象区块S310。接下来，若第n个第一子区块已对应至某一个对象区块，则本方法重新执行步骤304。若第n个第一子区块未对应至某一个对象区块，则本方法设定第n个第一子区块与第m个第二子区块为对应的子区块S312。接着，本方法判断是否第一子区块皆已经进行过寻找对应子区块的流程S314。若第一子区块皆已进行过寻找对应子区块的流程，则根据对应的子机率分布，本方法组合第一子区块的边界框S316。然后，本方法形成对应的对象区块S318。

举例来说，本方法设定每一像素具有红色值、绿色值、蓝色值、x坐标与y坐标，形成五维空间。根据红色值、绿色值、蓝色值、x坐标、y坐标与机率模型，使至少一个对象具有外表机率分布。本方法分析对应像素与对象的子机率分布参数的差异，以产生复数个子机率分布，以使对应的对象分解为复数个子区块。在本实施例中，若前述机率模型为高斯机率分布模型，则特定分布参数为高斯分布平均值μ。若本方法以像素为p，对象为P，则数学形式为，

p＝[R_p，G_p，B_p，X_p，Y_p]^T

P＝{p₁，p₂，p₃......，p_n}

$f\left(P\right)=\underset{i=1}{\overset{K}{\mathrm{\Σ}}}{\mathrm{\α}}_i\·g_i(p:{\mathrm{\μ}}_i,{\mathrm{\σ}}_i^2)$

其中，R，G，B，X与Y分别为前述红色值、前述绿色值、前述蓝色值、前述x坐标与前述y坐标。而对象P可以使用K个子机率分布之和来近似。本方法以p的目标参数(R，G，B，X，Y)减去对应的高斯分布平均值μ_i求得能够使得差值为最小的i，而以p-μ_i为第一差异值。亦即，每一像素找平均值与其最接近的子分布。其数学形式可表示如下：

然后，若第一差异值小于利用经验设定的第一临界值，则根据对象的像素，本方法更新机率分布参数，而使此对应机率分布包含像素p的信息，前述机率分布参数可更新为，

μ_i′＝μ_i+ω·(p-μ_i)

${{\mathrm{\σ}}_i^2}^{\′}={\mathrm{\σ}}_i^2+\mathrm{\ω}\·[(p-{\mathrm{\μ}}_i)\·(p-{\mathrm{\μ}}_i)-{\mathrm{\σ}}_i^2]$

因此，每一笔子机率分布参数可对应至某一子区块。然后，当对象内的像素都分配到对应的子机率分布后，本方法即可将子机率分布再加以分类。本方法预测近似的子机率分布可能属于同一对象，故根据对应的子机率分布，本方法可组合第一子区块的边界框，以形成对应的对象区块。值得说明的是，本方法以五维空间，将对象划分为多个子区块，通过重组子区块，以解决对象遮蔽的问题。

请参照图4，其绘示的是依照本发明一较佳实施例的对象区块的示意图。请配合参照图1至3，本方法可将图4中的人物切割成子区块402至子区块424。然后，本方法组合子区块402至子区块414的边界框，以形成对象区块426。本方法组合子区块416至子区块424的边界框，以形成对象区块428。

请参照图5，其绘示的是依照本发明一较佳实施例的建立遮蔽时的对象区块的示意图。请配合参照图4，若图4为第二影像数据(第t-1秒)，而图5为第一影像数据(第t秒)，则子区块402对应于子区块502，子区块406对应于子区块504等等，其余以此类推。由于子区块406对应于子区块504，故子区块406的子机率分布参数对应于子区块504的子机率分布参数。由于子区块518与子区块510产生遮蔽情况。其中子区块518是由子区块404与子区块418连结而产生，故根据图3所示的方法中，子区块518会先对应到子区块404，而后再对应到子区块418，当此多重对应发生时，图3所示的方法会将子区块518舍弃不用。另外，子区块510是由子区块414与子区块424连结而产生，同样也会发生多重对应的情况，而子区块510将会被舍弃不用。根据图3的方法，可找出图5中的子区块，与图4中，对象426与对象428的子区块的对应关系，使用对应的子区块以重组边界框，即可得对象区块520与对象区块522。因此，子区块518与子区块510的遮蔽问题即可获得解决。

本领域普通技术人员可以理解实现上述实施例中的全部或部分步骤，可以通过程序指令相关硬件完成。所述实施例对应的软件可以存储在一个计算机可存储读取的介质中。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种多重对象追踪的方法，适用于影像处理，其特征在于，至少一第二影像数据产生的时间在一第一影像数据之前，本方法包括下列步骤：

执行模型建立步骤，使该第二影像数据与该第一影像数据中的每一像素，具有至少一颜色参数与至少一位置参数；

根据该颜色参数与该位置参数，使该第一影像数据中的至少一第一对象分解为复数个第一子区块；

根据该颜色参数与该位置参数，使该第二影像数据中的至少一第二对象分解为复数个第二子区块；

根据上述复数个第一子区块与上述复数个第二子区块，以形成至少一物件区块。

2.如权利要求1所述的多重对象追踪的方法，其特征在于，该方法更包括：

执行对象切割步骤，以取得至少一前景物体；

执行对象卷标步骤，以标示至少一连结组件。

3.如权利要求1所述的多重对象追踪的方法，其特征在于，该颜色参数为红色值、绿色值与蓝色值。

4.如权利要求1所述的多重对象追踪的方法，其特征在于，该位置参数为对应像素的一x坐标与一y坐标。

5.如权利要求1所述的多重对象追踪的方法，其特征在于，该模型建立步骤包括下列步骤：

设定每一该像素具有一红色值、一绿色值、一蓝色值、一x坐标与一y坐标；

根据该红色值、该绿色值、该蓝色值、该x坐标、该y坐标与一机率模型，使对应的对象具有一外表机率分布；

分析对应像素与对应对象的像素的差异，以产生复数个子机率分布，以使对应对象分解为复数个子区块。

6.如权利要求5所述的多重对象追踪的方法，其特征在于，该机率模型具有一特定分布参数，该模型建立步骤更包括下列步骤：

设定该红色值、该绿色值、该蓝色值、该x坐标、该y坐标成为一目标参数；

逐一比较对应像素的该目标参数与对应的该特定分布参数，以取得至少一第一差异值；

判断该第一差异值是否小于一第一临界值；

若该第一差异值小于该第一临界值，则根据对应像素，以形成对应的子机率分布参数；

根据对应的子机率分布参数，以形成上述复数个第一子区块与上述复数个第二子区块。

7.如权利要求5所述的多重对象追踪的方法，其特征在于，该特定分布参数为一高斯机率分布模型的一高斯分布平均值。

8.如权利要求1所述的多重对象追踪的方法，其特征在于，该方法更包括：

比对上述复数个第一子区块与上述复数个第二子区块；

根据上述复数个第一子区块与上述复数个第二子区块的比对结果，组合上述复数个第一子区块，以形成该物件区块。

9.如权利要求8所述的多重对象追踪的方法，其特征在于，该方法更包括：

根据第n个第一子区块，计算对应的一第一分布平均值；

根据第m个第二子区块，计算对应的一第二分布平均值；

比较该第一分布平均值与上述复数个第二分布平均值，以得到一第二差异值；

判断该第二差异值是否小于一第二临界值；

若该第二差异值小于该第二临界值，则判断第n个第一子区块是否已对应至该对象区块；

若上述复数个第二差异值小于该第二临界值，且对应的第n个第一子区块未被对应至该对象区块，则设定第n个第一子区块与第m个第二子区块具有对应的子机率分布；

组合具有对应的子机率分布的上述复数个第一子区块，形成该物件区块。

10.如权利要求9所述的多重对象追踪的方法，其特征在于，根据至少一边界框，组合具有对应的子机率分布的子区块，形成该物件区块。

Images