CN102457680B - 图像处理装置及图像处理方法 - Google Patents
图像处理装置及图像处理方法 Download PDFInfo
- Publication number
- CN102457680B CN102457680B CN201110344017.5A CN201110344017A CN102457680B CN 102457680 B CN102457680 B CN 102457680B CN 201110344017 A CN201110344017 A CN 201110344017A CN 102457680 B CN102457680 B CN 102457680B
- Authority
- CN
- China
- Prior art keywords
- certain objects
- unit
- detected
- track
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/254—Analysis of motion involving subtraction of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
Abstract
本发明提供图像处理装置及图像处理方法。该图像处理装置包括:物体检测单元,其被构造为从图像中检测物体;追踪单元,其被构造为追踪所检测到的物体;轨迹管理单元,其被构造为管理被追踪物体的轨迹;特定物体检测单元,其被构造为从所述图像中检测特定物体。在所述特定物体检测单元检测到所述追踪单元追踪的被追踪物体为所述特定物体的情况下,所述轨迹管理单元将在所述被追踪物体被检测为所述特定物体的时间点之前的时间点的所述被追踪物体的轨迹,作为所述特定物体的轨迹进行管理。
Description
技术领域
本发明涉及用于追踪从图像中检测到的物体的图像处理装置及图像处理方法。
背景技术
传统上,提供了用于追踪从照相机拍摄的图像中检测到的物体或者人体的技术。例如,日本专利申请特开2002-373332号中讨论了例如如下的技术,该技术用于基于运动矢量检测物体、推测下一帧中的搜索点,并通过模板匹配进行物体追踪。另外,在例如日本专利申请特开2010-50934号中讨论了如下技术,该技术用于进行面部的检测,并且使用基于当前帧和过去帧之间的关系检测到的运动信息来进行面部追踪。
然而,在照相机拍摄的图像中,被摄体的面部和人体并不总是在容易检测面部和人体的特征的方向拍摄。由于该问题,难以持续检测面部和人体。对于该问题,如果进行面部检测或人体检测,则可能不能获得合适的追踪结果。此外,在检测和追踪物体的处理中,追踪处理的目标并不特定于特定物体。因此,该追踪技术不适合分析特定的物体的运动。
发明内容
本发明旨在精确追踪图像中的特定物体(例如面部),在所述图像中难以检测作为所述特定物体的特征。
根据本发明的一方面,图像处理装置包括:物体检测单元,其被构造为从图像中检测物体;追踪单元,其被构造为追踪所检测到的物体;轨迹管理单元,其被构造为管理被追踪物体的轨迹;以及特定物体检测单元,其被构造为从所述图像中检测特定物体。在所述特定物体检测单元检测到所述追踪单元追踪的物体为所述特定物体的情况下,所述轨迹管理单元将在所述被追踪物体被检测为所述特定物体的时间点之前的时间点的所述被追踪物体的轨迹,作为所述特定物体的轨迹进行管理。
通过下面参照附图对示例性实施例的详细描述,本发明的其他特征和方面将变得清楚。
附图说明
包括在说明书中并构成说明书的一部分的附图,例示本发明的示例性实施例、特征和方面,与文字说明一起用于解释本发明的原理。
图1是例示图像处理装置的框图。
图2A例示检测到的物体和检测到的人体之间的关联的示例。
图2B例示检测到的物体和多个检测到的人体之间的关联的示例。
图3例示物体的移动信息管理的示例。
图4例示位置信息更新的示例。
图5例示确定参数的示例。
图6例示线段通过确定的示例。
图7是处理流程图。
具体实施方式
现在,参照附图详细说明本发明的各种示例性实施例、特征和方面。
下述示例性实施例中描述的构造仅为示例,并且本发明并不限于图中例示的构造。
下面描述第一示例性实施例。图1例示用作追踪装置的图像处理装置100的***构造。用作追踪装置的图像处理装置100包括图像获取单元101、物体检测单元102、物体追踪单元103、人体检测单元104、物体关联单元105、轨迹管理单元106。用作追踪装置的图像处理装置100还包括确定参数设置单元107、轨迹信息确定单元108以及外部输出单元109。
图像获取单元101按时间顺序从外部设备获取要处理的图像。外部设备例如是照相机或者服务器。作为另选方案,可以获取存储在外部存储器等中的图像。
物体检测单元102使用背景去除(background subtraction)技术从图像获取单元101获取的图像中检测物体。处理中检测到的物体例如是移动物体。该物体可以是通过背景去除技术检测到的前景,或者是确定为不是背景的部分。检测到的物体的信息包括图像上的位置、边界框和物体大小。在物体检测单元102中进行从图像中检测物体的处理,并且处理方法不限于背景去除技术。
物体追踪单元103将物体检测单元102检测到的物体与前一图像中检测到的物体相关联,并追踪检测到的物体。对于新出现的物体,给予新的物体标识(ID)(物体标识符)。对于与前一图像关联的物体,给予前一图像中已经给予的物体ID。
人体检测单元104使用图案匹配处理从物体检测单元102检测到物体的区域中检测人体。人体检测单元104中的处理用于从图像中检测人体,并且该处理不限于图案匹配处理。另外,不总是需要从物体检测单元102检测到的区域中检测人体。可以对整个图像进行人体检测处理。检测目标不限于人体,而可以检测特定物体(具有特定特征的物体或者确定为具有特定图案的物体)。例如,可以进行该检测以确定该物体是汽车还是动物。
物体关联单元105建立物体检测单元102检测的物体和人体检测单元104检测到的人体之间的关联。
图2A和图2B例示检测到的物体和检测到的人体之间的关联的示例。图2A例示了检测到的物体的边界框201不包括检测到的人体的边界框202的情况。边界框201是物体检测单元102检测到的物体的边界框。人体的边界框202是人体检测单元104检测到的人体的边界框。如果人体的边界框202与物体的边界框201的交叠比率超过预定阈值,则确定所检测到的物体和所检测到的人体彼此关联。交叠比率是物体的边界框201与人体的边界框202的交叠部分的面积相对于人体的边界框202的面积的比率。
人体检测单元104提取图像中期望是人体的部分的特征量,并确定该部分是否是人体。如果人体检测单元104仅从人体的右侧的特征量就能够充分地确定该部分是人体,则人体检测单元104不提取人体的左侧的形状,通过估计确定人体的形状,并输出人体的边界框。通过该操作,在能够在移动物体的边界框中充分提取作为人体的特征量、仅人体的右侧的特征量包括在移动物体的外接矩形中的情况下,人体检测单元104估计人体的左侧的形状并输出人体边界框。因此,在这种情况下,人体的左侧不包含在移动物体的边界框中。
图2B例示了在从检测到的物体的边界框203中检测到多个人体的情况。在这种情况下,如果人体的边界框204和人体的边界框205与物体的边界框203的各自交叠比率分别超过预定阈值,则确定检测到的物体和检测到的人体分别彼此关联。在这种情况下,人体的边界框204和205与物体的边界框203相关联,并确定边界框203的物体包括两个人体。
轨迹管理单元106管理物体追踪单元103追踪的物体的移动信息。另外,轨迹管理单元106将通过物体关联单元105与物体关联的人体的信息作为物体的属性进行管理。换句话说,轨迹管理单元106管理通过物体关联单元105对被追踪物体与人体的关联。
图3例示轨迹管理单元106进行的物体的移动信息管理的示例。针对各物体ID将物体的移动信息(追踪信息)301作为物体信息302进行管理。物体信息302包括最初检测到物体的时间、包含检测到物体的时间、画面上的位置、边界框、大小、物体的属性以及属性数的位置信息303的组。物体的属性是“无属性”或者“人体”。属性数是通过物体关联单元105与物体相关联的人体的数量。在图2B的示例中,人体的数量是“2”。例如,在物体ID“32”的物体信息302中,最初检测到物体的时间是2009/3/2/12:34:54。当在2009/3/2/12:34:58检测到物体时,边界框的中央位置为(15,20),并且边界框由(10,10)和(20,30)表示。物体的大小是200。属性是“人体”,并且人体的数量是“1”。
通过由人体检测单元104检测人体,并使用物体关联单元105的结果,更新对应的物体的位置信息的属性和属性数。另外,使用该结果更新过去位置信息的属性和属性数。另外,对于未来位置信息的属性和属性数,设置该结果。
在上述示例中,位置信息包括属性和属性数,然而,属性或者属性数的信息可以直接与物体信息302相关联。例如,在物体的属性被检测为“人体”的时间点,指示物体的物体信息302的物体ID可以与“人体”的属性相关联。通过将物体ID与属性“人体”相关联,包括在物体ID中的当前、过去和未来位置信息和属性“人体”能够彼此关联。除了属性之外,类似地,属性数也可以直接与物体信息302相关联。
当人体检测单元104通过上述处理检测到物体追踪单元103追踪的物体为人体时,轨迹管理单元106能够将在当被追踪物体被检测为人体的时间点之前的过去时间点追踪的物体的轨迹,作为人体的轨迹进行管理。
人体检测单元104将物体追踪单元103追踪的物体检测为人体的情况包括参照图2A描述的情况,其中检测到的物体的边界框201不包括检测到的人体的边界框202。换句话说,物体追踪单元103追踪的物体只要通过物体关联单元105与人体关联即可,并且被追踪物体可以是人体的一部分。
人体检测单元104将由物体追踪单元103追踪的物体检测为人体的情况也包括参照图2B描述的情况,其中,边界框203的物体与两个人的人体相关联。换句话说,包括通过物体关联单元105将物体追踪单元103追踪的物体与多个人体关联的情况。
另外,将被追踪物体的轨迹作为人体的轨迹进行管理的情况包括仅被追踪物体的轨迹的部分被作为人体关联的情况。
图4例示了位置信息更新的示例。例如,在点403,如果人体与物体关联,则通过将在点403关联的属性和属性数设置为如下位置信息,将轨迹404作为具有人体属性的物体进行管理。另外,通过将在点403处相关联的属性和属性数设置为过去位置信息,能够将轨迹402作为具有人体属性的物体进行管理。轨迹402、404和点403对应于以预定时间间隔检测到的物体的边界框的中央位置。当在点403处人体与物体相关联时,将“人体”的属性的信息存储在指示点403的位置信息中。另外,“人体”的属性的信息存储在指示轨迹402的位置信息中。在图4中,附图标记401表示画面,附图标记405表示物体。如上所述,在物体检测单元102检测到的物体和人体检测单元104检测到的人体彼此关联的情况下,轨迹管理单元106通过添加“人体”的属性来管理物体存在的位置的信息。在该示例中,将物体存在于当进行物体与人体的关联时的时间点(物体存在于点403处的时间点)之前的时间点的位置的信息,与人体相关联,并进行管理。过去时间点是物体在轨迹402上移动的时间点。
如上所述,在该示例性实施例中,通过人体检测单元104确定物体的属性,然而,并不限于上述情况。作为属性,可以采用诸如面部、汽车和动物之类能够用于识别和确定物体的任何属性。另外,如果提供多种特定物体检测单元,并且物体同时包括多个属性,则物体可以具有多种类型和属性数。换句话说,作为位置信息303的物体的属性,可以存储“人体”、“汽车”、“动物”等属性。另外,作为位置信息303中的属性数,可以针对属性“人体”、“汽车”和“动物”的各个分别存储检测的物体数。例如,当物体检测单元102检测的一个物体包括两个人体和一个汽车时,管理这样一种信息,其中轨迹被管理的物体的属性是“人体”和“汽车”,人体的数量是2,汽车的数量是1。
确定参数设置单元107从外部将用于确定物体的轨迹信息的确定参数设置给轨迹信息确定单元108。确定参数包括指示执行确定的位置的坐标对,用于确定坐标对是否属于“区域”或“线”的区域类型、物体大小的范围、物体属性、属性数、画面中的存续时间的范围以及检测事件。图5例示了确定参数的示例。在示例中,检测到物体经连接坐标(10,10)和坐标(20,30)的线通过,其中,该物体具有100到250的大小,属性“人体”,属性数是1,存续时间是1秒以上。
图6例示了线通过确定的示例。通过确定连接前一图像中的物体的边界框502的中心点和当前图像中的物体的边界框503的中心点的线段504是否与确定线段501相交,来进行通过的确定。线段504是物体的移动矢量。在该示例中,使用边界框的中心点来确定通过。作为另选方案,可以通过检测一个边界框通过确定线段501,来确定通过。如果确定参数设置为“区域”,则确定物体是否进入区域或者物体是否从该区域出去。可以通过确定参数中的检测事件,来进行物体是进入区域还是物体从区域出去的指定。
轨迹信息确定单元108使用确定参数设置单元107中设置的确定参数,通过确定轨迹管理单元106管理的物体的轨迹信息,来检测目标物体。在每次轨迹管理单元106中更新轨迹信息时,对所有设置确定参数进行轨迹信息的确定处理。例如,轨迹信息确定单元108确定被追踪物体通过特定场所。
通过该处理,在使用图5所示的确定参数进行确定的情况下,能够进行以下确定。换句话说,在物体穿过确定线段501的时间点,如果“人体”的属性与该物体不相关联,则在该时间点之后,在“人体”的属性与物体相关联的时间点,能够检测到与“人体”的属性相关联的物体通过该线段。由物体关联单元105进行“人体”的属性的关联。
外部输出单元109向外部输出轨迹管理单元106管理的物体的轨迹信息以及轨迹信息确定单元108的确定结果。
图7是处理的流程图。在步骤f1中,确定是继续处理还是结束处理。当要继续处理时(步骤f1中为是),则在步骤f2中,图像获取单元101从外部获取图像。在步骤f3中,物体检测单元102对所获取的图像进行物体检测处理。在步骤f3中,例如,物体检测单元102将两个图像相互比较,并确定不同部分中存在物体。在步骤f4中,进行物体检测处理中的结果的确定。如果检测到物体(步骤f4中为是),则处理进行到步骤f5,并且如果没有检测到物体(步骤f4中为否),则处理返回到f1。
如果检测到物体(步骤f4中为是),则在步骤f5中,物体追踪单元103进行物体的追踪处理。在步骤f6中,使用追踪处理结果,轨迹管理单元106更新移动信息(追踪信息)。在步骤f5中,例如,在物体检测单元102在第一图像中检测到物体,并在第二图像中检测到物体的情况下,如果物体追踪单元103确定这两个物体之间的距离比预定距离近,则物体追踪单元103确定这两个物体是相同的物体。轨迹管理单元106通过存储物体检测单元102在各时间点检测到的物体的各个位置,来管理被追踪物体的轨迹。在上面参照图3说明了轨迹管理单元106管理的移动信息。
在步骤f7中,人体检测单元104进行从物体检测单元102检测到物体的区域检测人体的人体检测处理。在步骤f8中,人体检测单元104确定结果。如果检测到人体(步骤f8中为是),则处理进行到步骤f9。如果没有检测到人体(步骤f8中为否),则处理进行到步骤f11。步骤f8中进行的人体检测是特定物体的检测的示例。步骤f8中检测的特定物体不限于人体。例如,可以检测动物或者汽车。
如果检测到人体(步骤f8中为是),则在步骤f9中,物体关联单元105进行将物体与人体相关联的处理。在步骤f10中,使用结果,轨迹管理单元106更新移动信息(追踪信息)。如果物体检测单元102检测到的物体以预定比率或更大比率与人体检测单元104检测到的人体交叠,则物体关联单元105确定物体检测单元102检测到的物体是人体,并将属性“人体”添加给物体检测单元102检测到的物体。替代人体检测,如果物体确定为汽车或者动物,则将对应属性添加给物体检测单元102检测到的物体。轨迹管理单元106将人体检测单元104确定物体追踪单元103追踪的物体为人体的信息,以及通过物体关联单元105与物体关联的属性存储为移动信息,并管理物体的轨迹和属性。属性指示物体是特定物体。
如上所述,如果物体检测单元102检测的物体与人体检测单元104检测到的人体相关联,则轨迹管理单元106按如下所述管理物体。换句话说,轨迹管理单元106将在当物体与人体相关联的时间点(图4中对应于点403的时间点)之前的时间点存在的位置的信息与人体相关联,并管理该信息。该时间点(对应于图4中的点403的时间点)之前的该关联的时间点是对应于图4中的轨迹402的时间点。因此,能够精确管理诸如人体的特定物体的移动的轨迹。
另外,在步骤f11中,轨迹信息确定单元108进行轨迹信息的确定处理。在步骤f12中,将确定的结果和轨迹管理单元106管理的物体的轨迹信息输出到外部。轨迹信息确定单元108例如确定被追踪物体通过特定场所。轨迹管理单元106可以包括轨迹信息确定单元108的功能,并进行轨迹信息的确定。
如上所述,根据本发明的示例性实施例,在物体的面部或者难以检测作为人体的特征的图像中,通过进行人体追踪并进一步更新追踪信息,能够进行人体的精确计数。
下面说明其他示例性实施例。在实现上述示例性实施例时,能够在捕获图像上显示物体追踪单元103追踪的物体的轨迹。在这种情况下,如果轨迹管理单元106将被追踪物体与特定物体相关联,并管理信息,则能够与在没有进行关联的情况下不同地,进行物体的轨迹的显示。例如,特定物体的轨迹的颜色可以与其他物体的轨迹的颜色不同。
另外,如果,在物体关联单元105中进行被追踪物体与特定物体的关联,则能够将在进行关联的时间点之前的时间点追踪的物体的轨迹作为特定物体的轨迹进行显示。
可以由计算机实现图1中图像处理装置(追踪装置)100的部分或者全部。在由计算机实现图1中的图像处理装置(追踪装置)100全部的示例性实施例中,图7中的流程图示出计算机中的程序的流程。
图7中的步骤f3中的物体检测处理和步骤f7中的人体检测处理二者或者这些处理之一可以使用硬件实现,而可以通过计算机由软件处理来实现其他处理。示例性实施例通过利用计算机可执行程序执行下列过程来实现。换句话说,在示例性实施例中,进行用于确定是否从图像中检测到物体的物体确定过程f4,进行用于追踪检测到的物体的追踪过程f5,并且通过更新移动信息(追踪信息)来进行用于管理被追踪物体的轨迹的轨迹管理过程f6。移动信息是图3所示的信息。另外,进行用于确定是否从图像中检测到特定物体(人体)的特定物体确定过程f8。在该处理之后,进行用于将确定为在物体确定过程f4中检测到的物体与确定为在特定物体确定过程f8中检测到的特定物体相关联的关联过程f9,并更新移动信息(轨迹信息)。通过更新处理,进行用于管理被追踪物体与特定物体的关联的特定物体管理过程f10。
在特定物体管理过程f10中,将当进行物体与特定物体(人体)关联时的时间点之前的时间点的信息,与特定物体(人体)相关联并管理。另外,在f11中,确定被追踪物体通过特定场所。
上面详细说明了示例性实施例。可以将本发明应用于包括多个设备(例如,主计算机,接口设备,摄像设备,web应用)的***、或者包括单个设备的装置。
虽然参照示例性实施例说明了本发明,但是应当理解,本发明并不限于所公开的示例性实施例。应当给予所附权利要求的范围最宽的解释,以涵盖所有变形、等同结构和功能。
Claims (10)
1.一种图像处理装置,该图像处理装置包括:
物体检测单元,其被构造为从图像中检测尚未被检测为特定物体的物体;
追踪单元,其被构造为追踪所检测到的物体;
轨迹管理单元,其被构造为管理被追踪物体的轨迹;以及
特定物体检测单元,其被构造为从所述图像中检测所述特定物体,其中,在所述特定物体检测单元检测到已被所述追踪单元追踪、但尚未被检测为特定物体的所述物体为所述特定物体的情况下,所述轨迹管理单元将与所述物体已被所述追踪单元追踪、但尚未被所述特定物体检测单元检测为所述特定物体的时间段相对应的所述物体的轨迹,作为所述特定物体的轨迹进行管理,
其中,所述特定物体检测单元从被所述物体检测单元检测到的所述物体的区域中检测多个特定物体,并且
其中,所述轨迹管理单元将所述追踪单元在所述时间段期间追踪到的所述物体与从所述追踪单元追踪到的所述物体的区域中检测到的所述多个特定物体的计数相关联。
2.一种图像处理装置,该图像处理装置包括:
物体检测单元,其被构造为从图像中检测尚未被检测为特定物体的物体;
追踪单元,其被构造为追踪所检测到的物体;
轨迹管理单元,其被构造为管理被追踪物体的轨迹;
特定物体检测单元,其被构造为从所述图像中检测所述特定物体;以及
关联单元,其被构造为基于与所述物体检测单元检测到的物体相对应的第一区域和与所述特定物体检测单元检测到的所述特定物体相对应的第二区域之间的交叠区域的面积大小,将所述物体检测单元检测到的物体与所述特定物体检测单元检测到的所述特定物体相关联,
其中,所述轨迹管理单元管理通过所述关联单元对所述被追踪物体与所述特定物体进行的关联,其中,在所述特定物体检测单元检测到已被所述追踪单元追踪、但尚未被检测为所述特定物体的所述物体为所述特定物体的情况下,所述关联单元将与所述物体已被所述追踪单元追踪、但尚未被所述特定物体检测单元检测为所述特定物体的时间段相对应的所述物体的轨迹,与所述特定物体相关联,
其中,所述特定物体检测单元从被所述物体检测单元检测到的所述物体的区域中检测多个特定物体,并且
其中,所述轨迹管理单元将所述追踪单元在所述时间段期间追踪到的所述物体与从所述追踪单元追踪到的所述物体的区域中检测到的所述多个特定物体的计数相关联。
3.根据权利要求2所述的图像处理装置,其中,如果第一特定物体的第二区域和第二特定物体的第三区域与所述被追踪物体的第一区域的各自交叠比率分别超过预定阈值,则所述关联单元确定所述第一区域包括两个特定物体,并且
其中,在所述物体检测单元检测到的物体与所述特定物体检测单元检测到的多个特定物体相关联的情况下,所述轨迹管理单元将所述被追踪物体与所检测到的特定物体的计数相关联,并管理该关联。
4.根据权利要求2所述的图像处理装置,其中,如果第一特定物体的第二区域和第二特定物体的第三区域与所述被追踪物体的第一区域的各自交叠比率分别超过预定阈值,则所述关联单元确定所述第一区域包括两个特定物体,并且
其中,在所述物体检测单元检测到的物体与所述特定物体检测单元检测到的多种类型的特定物体相关联的情况下,所述轨迹管理单元将所述被追踪物体与所检测到的多种类型的特定物体相关联,并管理该关联。
5.根据权利要求2所述的图像处理装置,其中,在所述物体检测单元检测到的物体与所述特定物体检测单元检测到的所述特定物体相关联的情况下,所述轨迹管理单元将在当所述物体与所述特定物体相关联时的时间点之前的时间点存在的位置的信息,与所述特定物体相关联,并管理该关联。
6.根据权利要求2所述的图像处理装置,该图像处理装置还包括:
确定单元,其被构造为确定所述特定物体是否通过特定场所,
其中,在所述特定物体检测单元检测到在所述追踪单元已追踪所述物体、但所述特定物体检测单元尚未将所述物体检测为所述特定物体期间通过所述特定场所的所述物体为所述特定物体的情况下,所述确定单元确定所述特定物体通过所述特定场所。
7.一种图像处理方法,该图像处理方法包括以下步骤:
由物体检测单元从图像中检测尚未被检测为特定物体的物体;
由追踪单元追踪所检测到的物体;
由轨迹管理单元管理被追踪物体的轨迹;
由特定物体检测单元从所述图像中检测所述特定物体;以及
在所述特定物体检测单元检测到已被所述追踪单元追踪、但尚未被检测为特定物体的所述物体为所述特定物体的情况下,将与所述物体已被所述追踪单元追踪、但尚未被所述特定物体检测单元检测为所述特定物体的时间段相对应的所述物体的轨迹,作为所述特定物体的轨迹进行管理,
其中,由所述特定物体检测单元从被所述物体检测单元检测到的所述物体的区域中检测多个特定物体,并且
其中,由所述轨迹管理单元将所述追踪单元在所述时间段期间追踪到的所述物体与从所述被追踪物体的区域中检测到的所述多个特定物体的计数相关联。
8.一种图像处理方法,该图像处理方法包括:
第一检测步骤,由物体检测单元从图像中检测尚未被检测为特定物体的物体;
追踪步骤,由追踪单元追踪所检测到的物体;
第一管理步骤,由轨迹管理单元管理被追踪物体的轨迹;
第二检测步骤,由特定物体检测单元从所述图像中检测所述特定物体;
关联步骤,通过关联单元基于与在所述物体的检测步骤中检测到的物体相对应的第一区域和与在所述特定物体的检测步骤中检测到的所述特定物体相对应的第二区域之间的交叠区域的面积大小,将所述物体检测单元检测到的物体与所述特定物体检测单元检测到的所述特定物体相关联;以及
第二管理步骤,由所述轨迹管理单元来管理通过所述关联单元对所述被追踪物体与所述特定物体进行的关联,
其中,在所述第二检测步骤中检测到已被所述追踪单元追踪、但尚未被检测为所述特定物体的所述物体为所述特定物体的情况下,将与所述物体已被所述追踪单元追踪、但尚未被检测为所述特定物体的时间段相对应的所述物体的轨迹,与所述特定物体相关联,
其中,由所述特定物体检测单元从被所述物体检测单元检测到的所述物体的区域中检测多个特定物体,并且
其中,由所述轨迹管理单元将所述追踪单元在所述时间段期间追踪到的所述物体与从所述被追踪物体的区域中检测到的所述多个特定物体的计数相关联。
9.根据权利要求8所述的图像处理方法,该图像处理方法还包括:
第三管理步骤,在所述物体检测单元检测到的物体与所述特定物体检测单元检测到的所述特定物体相关联的情况下,所述轨迹管理单元将在当该物体与该特定物体相关联时的时间点之前的时间点存在的位置的信息、与该特定物体相关联地进行管理,
其中,如果第一特定物体的第二区域和第二特定物体的第三区域与所述被追踪物体的第一区域的各自交叠比率分别超过预定阈值,则所述关联单元确定所述第一区域包括两个特定物体。
10.根据权利要求8所述的图像处理方法,该图像处理方法还包括:
确定步骤,由所述轨迹管理单元确定与所述特定物体相关联的物体是否通过特定场所。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510116917.2A CN104639840B (zh) | 2010-11-05 | 2011-11-02 | 图像处理装置及图像处理方法 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010-248977 | 2010-11-05 | ||
JP2010248977A JP5656567B2 (ja) | 2010-11-05 | 2010-11-05 | 映像処理装置および方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510116917.2A Division CN104639840B (zh) | 2010-11-05 | 2011-11-02 | 图像处理装置及图像处理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102457680A CN102457680A (zh) | 2012-05-16 |
CN102457680B true CN102457680B (zh) | 2015-04-15 |
Family
ID=45476298
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510116917.2A Active CN104639840B (zh) | 2010-11-05 | 2011-11-02 | 图像处理装置及图像处理方法 |
CN201110344017.5A Active CN102457680B (zh) | 2010-11-05 | 2011-11-02 | 图像处理装置及图像处理方法 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510116917.2A Active CN104639840B (zh) | 2010-11-05 | 2011-11-02 | 图像处理装置及图像处理方法 |
Country Status (4)
Country | Link |
---|---|
US (2) | US9953225B2 (zh) |
EP (2) | EP3518146A1 (zh) |
JP (1) | JP5656567B2 (zh) |
CN (2) | CN104639840B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210241490A1 (en) * | 2018-10-30 | 2021-08-05 | Ncr Corporation | Image processing for tracking actions of individuals |
Families Citing this family (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9195883B2 (en) | 2012-04-09 | 2015-11-24 | Avigilon Fortress Corporation | Object tracking and best shot detection system |
JP5921329B2 (ja) * | 2012-05-17 | 2016-05-24 | キヤノン株式会社 | 映像処理装置、追尾物体の管理方法、および、プログラム |
JP5959951B2 (ja) * | 2012-06-15 | 2016-08-02 | キヤノン株式会社 | 映像処理装置、映像処理方法、及びプログラム |
JP5925068B2 (ja) * | 2012-06-22 | 2016-05-25 | キヤノン株式会社 | 映像処理装置、映像処理方法、およびプログラム |
JP6057562B2 (ja) | 2012-06-28 | 2017-01-11 | キヤノン株式会社 | 情報処理装置およびその制御方法 |
JP6468725B2 (ja) | 2013-08-05 | 2019-02-13 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びコンピュータプログラム |
JP2015142181A (ja) * | 2014-01-27 | 2015-08-03 | キヤノン株式会社 | 制御装置、制御方法 |
JP5830706B2 (ja) * | 2014-01-29 | 2015-12-09 | パナソニックIpマネジメント株式会社 | 店員作業管理装置、店員作業管理システムおよび店員作業管理方法 |
JP6194963B2 (ja) * | 2014-02-14 | 2017-09-13 | 日本電気株式会社 | 映像処理システム |
US9495606B2 (en) * | 2014-02-28 | 2016-11-15 | Ricoh Co., Ltd. | Method for product recognition from multiple images |
JP6747292B2 (ja) * | 2014-09-19 | 2020-08-26 | 日本電気株式会社 | 画像処理装置、画像処理方法、及びプログラム |
JP6027070B2 (ja) * | 2014-09-24 | 2016-11-16 | 富士フイルム株式会社 | 領域検出装置、領域検出方法、画像処理装置、画像処理方法、プログラムおよび記録媒体 |
JP6464635B2 (ja) * | 2014-09-26 | 2019-02-06 | 株式会社リコー | 画像処理装置、画像処理装置の制御方法、及びプログラム |
US20160132728A1 (en) * | 2014-11-12 | 2016-05-12 | Nec Laboratories America, Inc. | Near Online Multi-Target Tracking with Aggregated Local Flow Descriptor (ALFD) |
JP6655878B2 (ja) * | 2015-03-02 | 2020-03-04 | キヤノン株式会社 | 画像認識方法及び装置、プログラム |
GB201512283D0 (en) | 2015-07-14 | 2015-08-19 | Apical Ltd | Track behaviour events |
JP6755713B2 (ja) | 2016-05-25 | 2020-09-16 | キヤノン株式会社 | 追尾装置、追尾方法及びプログラム |
JP6378740B2 (ja) * | 2016-12-01 | 2018-08-22 | キヤノン株式会社 | 情報処理装置およびその制御方法 |
CN108734049A (zh) * | 2017-04-13 | 2018-11-02 | 佳能株式会社 | 图像处理方法和装置以及图像处理*** |
JP6991045B2 (ja) | 2017-11-30 | 2022-01-12 | キヤノン株式会社 | 画像処理装置、画像処理装置の制御方法 |
CN111797652A (zh) * | 2019-04-09 | 2020-10-20 | 佳能株式会社 | 对象跟踪方法、设备及存储介质 |
CN111860067A (zh) * | 2019-04-30 | 2020-10-30 | 百度时代网络技术(北京)有限公司 | 用于获取跟踪轨迹的方法及装置 |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000105835A (ja) * | 1998-07-28 | 2000-04-11 | Hitachi Denshi Ltd | 物体認識方法及び物体追跡監視装置 |
JP3657463B2 (ja) * | 1999-06-29 | 2005-06-08 | シャープ株式会社 | 動作認識システムおよび動作認識プログラムを記録した記録媒体 |
JP2002037332A (ja) | 2000-07-13 | 2002-02-06 | Yan Chen-Ze | 容器アセンブリおよび容器ユニット |
JP2002342762A (ja) | 2001-05-22 | 2002-11-29 | Matsushita Electric Ind Co Ltd | 物体追跡方法 |
JP4467838B2 (ja) * | 2001-06-15 | 2010-05-26 | パナソニック株式会社 | 画像認識装置および画像認識方法 |
US7206434B2 (en) * | 2001-07-10 | 2007-04-17 | Vistas Unlimited, Inc. | Method and system for measurement of the duration an area is included in an image stream |
US7688349B2 (en) * | 2001-12-07 | 2010-03-30 | International Business Machines Corporation | Method of detecting and tracking groups of people |
US9052386B2 (en) * | 2002-02-06 | 2015-06-09 | Nice Systems, Ltd | Method and apparatus for video frame sequence-based object tracking |
GB0326375D0 (en) | 2003-11-12 | 2003-12-17 | British Telecomm | Object tracking within video images |
US20050104960A1 (en) * | 2003-11-17 | 2005-05-19 | Mei Han | Video surveillance system with trajectory hypothesis spawning and local pruning |
US7088846B2 (en) * | 2003-11-17 | 2006-08-08 | Vidient Systems, Inc. | Video surveillance system that detects predefined behaviors based on predetermined patterns of movement through zones |
CA2563478A1 (en) * | 2004-04-16 | 2005-10-27 | James A. Aman | Automatic event videoing, tracking and content generation system |
GB0502371D0 (en) * | 2005-02-04 | 2005-03-16 | British Telecomm | Identifying spurious regions in a video frame |
US7825954B2 (en) * | 2005-05-31 | 2010-11-02 | Objectvideo, Inc. | Multi-state target tracking |
US20070291104A1 (en) * | 2006-06-07 | 2007-12-20 | Wavetronex, Inc. | Systems and methods of capturing high-resolution images of objects |
US8131011B2 (en) * | 2006-09-25 | 2012-03-06 | University Of Southern California | Human detection and tracking system |
GB2452512B (en) | 2007-09-05 | 2012-02-29 | Sony Corp | Apparatus and method of object tracking |
US8200011B2 (en) * | 2007-09-27 | 2012-06-12 | Behavioral Recognition Systems, Inc. | Context processor for video analysis system |
JP5151451B2 (ja) * | 2007-12-19 | 2013-02-27 | 日本電気株式会社 | 人物特定システム、人物特定装置、人物特定方法および人物特定プログラム |
CN101465033B (zh) * | 2008-05-28 | 2011-01-26 | 丁国锋 | 一种自动追踪识别***及方法 |
JP5219697B2 (ja) * | 2008-08-25 | 2013-06-26 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理装置の制御方法及びプログラム |
US8320617B2 (en) * | 2009-03-27 | 2012-11-27 | Utc Fire & Security Americas Corporation, Inc. | System, method and program product for camera-based discovery of social networks |
-
2010
- 2010-11-05 JP JP2010248977A patent/JP5656567B2/ja active Active
-
2011
- 2011-11-02 CN CN201510116917.2A patent/CN104639840B/zh active Active
- 2011-11-02 US US13/287,382 patent/US9953225B2/en active Active
- 2011-11-02 CN CN201110344017.5A patent/CN102457680B/zh active Active
- 2011-11-03 EP EP19157856.6A patent/EP3518146A1/en active Pending
- 2011-11-03 EP EP11187597.7A patent/EP2450832B1/en active Active
-
2018
- 2018-03-16 US US15/923,887 patent/US10417503B2/en active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210241490A1 (en) * | 2018-10-30 | 2021-08-05 | Ncr Corporation | Image processing for tracking actions of individuals |
Also Published As
Publication number | Publication date |
---|---|
JP2012103752A (ja) | 2012-05-31 |
CN104639840B (zh) | 2018-05-15 |
CN104639840A (zh) | 2015-05-20 |
CN102457680A (zh) | 2012-05-16 |
EP3518146A1 (en) | 2019-07-31 |
EP2450832A1 (en) | 2012-05-09 |
US9953225B2 (en) | 2018-04-24 |
US20180204070A1 (en) | 2018-07-19 |
EP2450832B1 (en) | 2019-03-27 |
JP5656567B2 (ja) | 2015-01-21 |
US20120114176A1 (en) | 2012-05-10 |
US10417503B2 (en) | 2019-09-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102457680B (zh) | 图像处理装置及图像处理方法 | |
Song et al. | Apollocar3d: A large 3d car instance understanding benchmark for autonomous driving | |
JP6849403B2 (ja) | 単一のカメラを用いた移動物体検出のための方法およびシステム | |
Jeelani et al. | Real-time vision-based worker localization & hazard detection for construction | |
Ni et al. | Multilevel depth and image fusion for human activity detection | |
US10740964B2 (en) | Three-dimensional environment modeling based on a multi-camera convolver system | |
CN109472828B (zh) | 一种定位方法、装置、电子设备及计算机可读存储介质 | |
CN102369549B (zh) | 用于估计物***置的信息创建设备、用于估计物***置的信息创建方法 | |
CN107431786A (zh) | 图像处理设备、图像处理***、图像处理方法和计算机程序 | |
Riazuelo et al. | Semantic visual slam in populated environments | |
CN109033985B (zh) | 商品识别的处理方法、装置、设备、***及存储介质 | |
CN110459064A (zh) | 车辆违法行为检测方法、装置、计算机设备 | |
CN111814510B (zh) | 一种遗留物主体检测方法及装置 | |
US20210183098A1 (en) | Multi-view three-dimensional positioning | |
CN111798487A (zh) | 目标跟踪方法、装置和计算机可读存储介质 | |
CN110443824A (zh) | 用于生成信息的方法和装置 | |
CN109857878A (zh) | 物品标注方法及装置、电子设备及存储介质 | |
US11722763B2 (en) | System and method for audio tagging of an object of interest | |
Singh et al. | Fast semantic-aware motion state detection for visual slam in dynamic environment | |
Bazo et al. | Baptizo: A sensor fusion based model for tracking the identity of human poses | |
Hsieh et al. | Tracking any object amodally | |
KR20150137698A (ko) | 농장에서의 움직임 개체의 이동 궤적 트래킹 방법 및 장치 | |
CN114648572A (zh) | 虚拟定位方法及装置、虚拟定位*** | |
Beleznai et al. | Reliable left luggage detection using stereo depth and intensity cues | |
Winkens et al. | Long range optical truck tracking |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |