CN1698069A - 检测视频的图像时间序列中的活动对象的方法 - Google Patents
检测视频的图像时间序列中的活动对象的方法 Download PDFInfo
- Publication number
- CN1698069A CN1698069A CNA2004800005442A CN200480000544A CN1698069A CN 1698069 A CN1698069 A CN 1698069A CN A2004800005442 A CNA2004800005442 A CN A2004800005442A CN 200480000544 A CN200480000544 A CN 200480000544A CN 1698069 A CN1698069 A CN 1698069A
- Authority
- CN
- China
- Prior art keywords
- image
- detection window
- moving object
- filtrator
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 230000002123 temporal effect Effects 0.000 title claims abstract description 5
- 238000001514 detection method Methods 0.000 claims abstract description 40
- 230000009471 action Effects 0.000 claims description 29
- 230000008569 process Effects 0.000 claims description 16
- 238000006073 displacement reaction Methods 0.000 claims description 11
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 244000287680 Garcinia dulcis Species 0.000 claims description 2
- 238000009825 accumulation Methods 0.000 claims description 2
- 238000012886 linear function Methods 0.000 claims description 2
- 230000008878 coupling Effects 0.000 claims 1
- 238000010168 coupling process Methods 0.000 claims 1
- 238000005859 coupling reaction Methods 0.000 claims 1
- 230000006870 function Effects 0.000 abstract description 15
- 230000001186 cumulative effect Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 15
- 238000012549 training Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 6
- 241000405217 Viola <butterfly> Species 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000003909 pattern recognition Methods 0.000 description 3
- 230000004907 flux Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000001054 cortical effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 230000005021 gait Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000007789 sealing Methods 0.000 description 1
- 238000011895 specific detection Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/446—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering using Haar-like filters, e.g. using integral image techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
- G06V10/7515—Shifting the patterns to accommodate for positional errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Image Analysis (AREA)
Abstract
一种方法检测图像时间序列中的活动对象。从时间排序的图像序列中选择图像。对所选图像应用一组功能,以产生一组组合图像。对组合图像组中的检测窗应用过滤器的线性组合,以确定检测窗的动作和外观特征。总计动作和外观特征,以确定累积分,这使得可以将检测窗分类为含有活动对象的检测窗。
Description
技术领域
本发明一般涉及计算机视觉和模式识别,尤其涉及检测视频中的诸如行人之类的活动对象。
背景技术
为了检测和识别图像中的对象,模式识别方法在计算机视觉领域中已取得了重大的成就,实例包括面部、机动车和行人检测,可以参见例如:Avidan,“Support vector tracking,”IEEE Conference onComputer Vision and Pattern Recognition,2001;Papageorgiou et al.,“A general framework for object detection,”International Conferenceon Computer Vision,1998;Rowley et al.,“Neural network-based facedetection,”IEEE Patt.Anal.Mach.Intell.,Volume 20,pages 22-38,1998;Schneiderman et al.,“A statistical method for 3D objectdetection applied to faces and cars,”International Conference onComputer Vision,2000;和Viola et al.“Rapid object detection using aboosted cascade of simple features,”IEEE Conference on ComputerVision and Pattern Recognition,2001。
这些方法一般利用机器学习能力,以根据大量的训练图像构造检测器或过滤器。然后在输入图像上用过滤器进行扫描,以便找出特征的模式,这种模式与目标对象相符。那些***对于面部检测运行得很好,但对行人检测却运行得不太好,这可能是因为,由于身体姿势和服装的变化而使行人的图像变化较大,而面部在纹理和构造方面相当统一并且相对来说动作很少。因此,需要提供一种方法,能对时间排序的图像序列以及对单个静态图像起作用。
在监视应用中,行人检测甚至更为困难,在这些应用中,图像分辨率相对较低,例如,目标对象可能只有总共约100-200个像素,例如5×20或10×20个像素。尽管利用更好的“图像强度”的功能进行行人检测的改进是一项很有价值的工作,然而,还是需要一种新的解决办法。
众所周知,人体动作的模式(尤其像步行动作那样的摆动)与其他类型的动作不同,并且,动作可以用来识别和检测人,参见:Cutleret al.,“Robust real-time periodic motion detection:Analysis andapplications,”IEEE Patt.Anal.Mach.Intell.,Volume 22,pages781-796,2000;Lee,“Gait dynamics for recognition andclassification,”,MIT AI Lab.,Memo,AIM-2001-019,MIT,2001;Liu etal.,“Finding periodicity in space and time,”IEEE InternationalConference on Computer Vision,pages 376-383,1998;和Polana et al.,“Detecting activities,”Journal of Visual Communication and ImageRepresentation,June 1994。
与基于强度的方法相比,这些方法一般设法通过许多帧来跟踪活动对象,然后分析其动作以寻找周期性或其他提示。检测动作“式样”的过程是十分有效的,并且可以按多标度分辨率对整个图像进行彻底的搜索。当用图像的大量数据组进行训练后,这些过程可以达到高检测率和很低的误肯定率(false positive rate)。
人体动作分析领域很广,其历史可以追溯到Hoffman等人的工作:“The interpretation of biological motion,”Biological Cybernetics,pages 195-204,1982。大多数现有技术的***都认为一半问题已经解决,即已经检测了特定类型的活动对象(例如人),剩余的问题只是要识别、分类或分析该特定活动对象的动作的长期模式。
近来,人们对基于动作的方法越来越感兴趣,因为这些方法可能应用到监视问题中。上述Cutler等人对该领域中的相关工作作了很好的综述。他们描述了一种直接对图像起作用的***。他们的***首先是要进行对象的分割和跟踪。将这些对象对准对象的重心。然后,构造一种2D格子,对其进行周期分析。
对象检测领域同样很广,尽管还不了解同时能利用强度和动作信息进行直接行人检测的***。在静态强度图像中,已利用一组例子通过先提取边缘再匹配边缘来检测行人,参见:Gavrila et al.,“Real-timeobject detection for“smart”vehicles,”IEEE International Conferenceon Computer Vision,pages 87-93,1999。他们的***是一种高度优化的***,并且似乎已成为机动车中的内装候选***。然而,在每一图像误肯定率为2的情况下,所公布的检测率约为75%。其他相关工作包括上述Papageorgiou等人的工作。该***利用基于过完全小波训练的支持矢量机来检测行人。根据所公布的实验数据,这种***的误肯定率大大高于相关面部检测***的误肯定率。
因此,需要根据图像时间序列直接提取动作的短期模式和外观信息,以便检测诸如行人之类的活动对象的情况。
发明内容
本发明提供了一种通过同时综合图像强度和动作信息来检测特定类型的活动对象的***。通过一组组合图像对一组过滤器进行扫描。例如,过滤器是矩形的,并通过对视频中的连续图像应用某些功能来获得组合图像。过滤器的扫描产生一些特征值。总计这些特征并进行分类。
训练分类器,以便利用特定类型的对象(比如行人)的动作和外观信息。过去的某些方法根据动作信息构成一些检测器。其他检测器基于外观信息。然而,本发明则在单个检测器中综合了动作和外观信息。
附图说明
图1是一种根据本发明用于检测活动对象的方法的流程图;
图2A是本发明所用的矩形过滤器的框图;
图2B是本发明所用的矩形过滤器的框图;
图2C是本发明所用的矩形过滤器的框图;
图2D是本发明所用的矩形过滤器的框图;
图2E是本发明所用的矩形过滤器的框图;
图2F是本发明所用的矩形过滤器的框图;
图3A是本发明所用的组合图像的框图;
图3B是本发明所用的组合图像的框图;
图3C是本发明所用的组合图像的框图;
图3D是本发明所用的组合图像的框图;
图3E是本发明所用的组合图像的框图;
图3F是本发明所用的组合图像的框图;
图3G是本发明所用的组合图像的框图;和
图3H是本发明所用的组合图像的框图。
具体实施方式
图1示出了一种用于检测时间排序的图像序列101(即视频)中的活动对象105(例如行人)的方法100。所选图像111从输入视频101中得到,例如相邻对、重叠对、每间隔两个的图像等。功能102应用120于所选图像111,以产生组合图像组121。将组合图像分割成不同尺寸的检测窗或“碎块”,例如,整个图像4个窗口(每个为图像的1/4),等等。通过组合图像组的检测窗对过滤器200进行扫描和评估,以确定130一些特征131,将这些特征总计140到累积分C 141中。对累积分进行分类150,以判断特定检测窗是否真的含有特定类型的活动对象,例如行人105。针对所有组合图像的所有检测窗重复151这一过程,然后针对视频101中的所有图像重复152这一过程。
过滤器、特征和分类器
如图2A-2F中所示,我们的动态行人检测器采用了Viola等人于2002年7月22日所申请的美国专利申请系列号10/200,726“ObjectRecognition System”中所述的矩形过滤器200,该申请在此作为参考。
图2F示出了相对于封闭检测窗201(本例组合图像202中有8个检测窗)的矩形过滤器200。应当注意,有几万种其他简单的矩形过滤器结构可以使用。这些过滤器可具有不同的尺寸,以便与检测窗的尺寸匹配。对于两个矩形过滤器情况,可从将阴影矩形中的像素的强度总和减去无阴影矩形中的像素的强度总和。对于三个矩形过滤器情况,可将无阴影矩形中的像素的总和乘以2,以计算出阴影像素的两倍,依次类推。利用根据本发明的过滤器,还可以使用其他组合功能。我们优先选择我们的过滤器的简单操作,因为这些过滤器与现有技术的更复杂的过滤器相比评估起来很快。
Viola等人使用了矩形过滤器,用于检测单个图像中的静态面部。我们以两种方式延伸了将他们的工作。第一,我们还使用了其内部构成是对角线排列的矩形过滤器,参见图2E。对角线过滤器其优点是适合于检测象腿部动作那样的摆动。此外,对角线过滤器对不同取向的对象也敏感。对角线的角度可以由过滤器内的组成矩形的纵横比来控制。第二,我们将过滤器应用于时间移位图像的组合,如下所述。取决于其设计,这些矩形过滤器可以按不同比例、取向和纵横比非常快地进行评估,以测量区域平均值。尽管这些过滤器好像有些限制,然而,显然它们提供了一些便于对特定活动对象(比如行人)进行精确检测的有用信息。
形式上,我们的过滤器、特征和分类器的操作定义如下(其他细节参见Viola等人的描述)。图像特征hi(x)按
被赋予权重αj或βj,其中,过滤器fj(x)是图像x(即检测窗)的线性函数,而θj是预定过滤器阈值。累积和C(x)按
被赋予值1或0,其中,hj是图像x的多个特征,而T是预定分类器阈值。同时考虑外观和动作的定义如下所述。
在现有技术中,动作信息按不同方式(包括光流量和块动作估算)从图像对中提取。块动作估算需要比较窗的规格,这决定了估算的比例。这与多比例对象检测完全不兼容。在对象检测情况下,光流量估算通常很耗时,因为每一像素都需要上百或上千条操作。我们要求更快一些。
尽管已利用矩形过滤器确定分类器的特征值描述了本发明,然而,应当理解还可以使用其他类型的过滤器。例如,可以用其他线性或非线性过滤器(比如盖博过滤器或高斯过滤器)来代替矩形过滤器。矩形过滤器的优点在于,它们从计算角度上讲评估起来很有效。然而,其他类型的过滤器有可能捕捉到更复杂的动作和外观信息,因此也可能有其优点,参见:Daugman,“Uncertainty Relation for Resolution inSpace,Spatial Frequency,and Orientation Optimized byTwo-Dimensional Visual Cortical Filters,”J.Opt.Soc.Am.A,vol 2,no 7,pp 1160-1169,July 1985。
组合图像
因此,如图3A-3H中所示,我们的特征不同于Viola等人所述的那些特征,是对组合图像组121进行操作。可以通过对所选图像111应用不同的功能102来确定组合图像组。例如,所选图像组包括连续图像对、不相交图像对或重叠图像对。此外,这个组还可以包括预定时间段上的每间隔9个的图像,或者这个组还可以包括三个一组的图像。在所选图像111中还可能采用其他组合和时间排序。
功能102在应用于所选图像111时,得到一个“组合”图像。例如,该功能可以只选择该组中的一个图像,如图3A。这一功能可以彼此减去该组中的所选图像。在这种情况下,这样的组合图像称之为差或Δ图像,如图3B。组合图像中差的绝对值的和为非零的区域(例如沿对象边缘)相应于动作。如下所述,还可以确定动作的幅度和方向。
可以通过对所选图像111应用其他功能102来确定动作的方向。例如,该功能在做差操作之前可以对组中的图像进行“移位”。这种移位可以是线性的、旋转的、按比例的或它们的组合,以检测例如实质上在图像平面中的线性运动、环形运动或实质上与图像平面垂直的运动。图3C和3D示出了上(U)和下(D)移位的图像,图3E和3F示出了左(L)和右(R)移位的图像,图3G示出了旋转()的图像,而图3H示出了按比例(s)的移位。这组功能可表示为:
a.I=It|It+1
Δ=abs(It-It+1),
U=abs(It It+1↑),
D=abs(It-II+1↓),
L=abs(It-It+1←),
R=abs(It-It+1→),
C=abs(It-It+1),
s=abs(It-It+1s),
其中,It和It+1是随着时间的图像,另外,箭头表示线性移位操作,是旋转,而s表示按比例。移位可以是一个或多个像素。应当注意,其他差及其他移位操作也是可能的,只是上述例子针对我们的用途来说计算起来简单快捷而已。
一种动作特征根据fi=ri(Δ)-ri(S)对差图像Δ与集合{U,L,R,D,,s}中的一个或多个移位图像之间的绝对差值的和进行比较,其中,S是{U,L,R,D,,s}之一,ri是检测窗内的和。这些特征提取出与特定区域正以给定方向移动的可能性相关的信息。
另一种动作特征根据fj=фj(S)对同一图像内的和进行比较,其中,фj是像图2A-2F中所示的例子那样的过滤器。这些特征近似于测量动作修剪。
另一种动作特征按照fk=rk(S)测量运动图像之一的动作幅度。
动作幅度还可以由组中的图像之间的时间差来确定。
我们还可以利用外观特征,这些特征使用根据fm=ф(It)对组中单个图像进行操作的过滤器。
应当注意,一旦在图像的某一区域中检测到活动对象,就有可能跟踪后续图像中的对象,以便更好地理解动作的幅度和方向。由于活动对象的位置是知道的,因此,只需要评估少部分后续图像,这可以以快得多的帧速率来完成。
这些动作特征以及外观信息可以利用功能{It,Δ,U,D,L,R,,s}中的“综合图像”进行快速评估。由于过滤器可以具有任何尺寸、纵横比或取向,因此,只要它们符合检测窗,就有很多种可能的动作和外观特征。过滤器还可以按不同的尺寸来定标。所有这些都可以存储在缓存器中以便快速处理。在训练期间,可以选择最能区分肯定例子与否定例子的特征。
141为
图像锥
为了支持多比例检测,功能102{↑,↓,←,→,,s}根据检测比例来定义。这就可以保证按比例不变的方式来测量动作速率。比例不变性可以在训练期间通过按基本分辨率20×15像素定标训练图像来取得。检测的比例不变性通过对图像锥进行操作来取得。最初,计算It和It+1的锥。{Δ,U,D,L,R,,s}的锥表示计算如下:
Δl=abs(Il t-I l t+1),
Ul=abs(Il t-Il t+1↑),
Dl=abs(Il t-Il t+1↓),
Ll=abs(Il t-Il t+1←),
Rl=abs(Il t-Il t+1→),
1=abs(Il t-Il t+1),和
sl=abs(Il t-Il t+1s),
其中,Xl是指锥的第l级。从定标为20×15训练图像学习到的分类器和特征按比例不变的方式对锥的每一级进行操作。
训练
训练过程利用Adaboost来选择特征子集并构造分类器。Adaboost提供了一种有效学习算法和通用性能的强界限,参见:Freund ea a1.,“A decision-theoretic generalization of on-line learning andapplication to boosting,”Computational Learning Theory,Eurocolt’95,pages 23-37.,Springer-Verlag,1995;Schapire et al.,“Boosting the margin:A new explanation for the effectiveness ofvoting methods,”Proceedings of the Fourteenth InternationalConference on Machine Learning,1997;和Tieu et al.,“Boostingimage retrieval,”International Conference on Computer Vision,2000。
发明的效果
本发明提供了一种用于检测视频序列中的活动对象的方法。该方法利用了矩形过滤器,通过组合图像对这种过滤器进行扫描以确定组合图像的特征。总计这些特征,以检测诸如行人之类的特定活动对象。
尽管本发明利用几例优选实施方式进行了描述,然而,应当理解,在本发明的思想和范围内可以作出其他不同的变动和修改。因此,附属权利要求书的目的在于,覆盖本发明的真实思想和范围内的所有这些变化和修改。
Claims (20)
1.一种用于检测视频的图像时间序列中的活动对象的方法,包括:
从时间排序的图像序列中选择图像;
对所选图像应用一组功能,以产生一组组合图像;
在所述组合图像组中的检测窗上评估过滤器的线性组合,以确定该检测窗的动作和外观特征;
总计所述动作和外观特征,以确定累积分;和
当该累积分大于预定阈值时,将该检测窗分类为含有活动对象的检测窗。
2.权利要求1的方法,其中,活动对象是行人。
3.权利要求1的方法,其中,所选图像是一对相邻的图像。
4.权利要求1的方法,其中,针对整个视频重复进行所述选择、应用、评估、总计和分类。
5.权利要求1的方法,还包括:
将每一组合图像分割成一组检测窗;和
针对每一检测窗重复进行所述评估、总计和分类。
6.权利要求1的方法,其中,特定过滤器的内部部件是矩形的并且是以对角线排列的。
7.权利要求6的方法,其中,使每一矩形过滤器的尺寸与相关的检测窗匹配。
9.权利要求8的方法,其中,特定累积和C(x)按被赋予值1或0,其中,hj是检测窗x的多个评估特征,而T是预定分类器阈值。
10.权利要求1的方法,其中,特定组合图像是所选图像的差。
11.权利要求1的方法,其中,特定组合图像是移位的所选图像的差。
12.权利要求11的方法,其中,移位是线性的。
13.权利要求11的方法,其中,移位是旋转的。
14.权利要求11的方法,其中,移位是按比例的。
15.权利要求1的方法,其中,所述功能组根据检测窗的比例来定义。
16.权利要求1的方法,还包括:
确定活动对象的动作方向。
17.权利要求1的方法,还包括:
确定活动对象的动作幅度。
18.权利要求1的方法,其中,过滤器是矩形过滤器。
19.权利要求19的方法,其中,过滤器是线性的。
20.权利要求1的方法,其中,过滤器是非线性的。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US10/463,800 | 2003-06-17 | ||
US10/463,800 US7212651B2 (en) | 2003-06-17 | 2003-06-17 | Detecting pedestrians using patterns of motion and appearance in videos |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1698069A true CN1698069A (zh) | 2005-11-16 |
CN100550055C CN100550055C (zh) | 2009-10-14 |
Family
ID=33517147
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB2004800005442A Expired - Lifetime CN100550055C (zh) | 2003-06-17 | 2004-05-31 | 检测视频的图像时间序列中的活动对象的方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US7212651B2 (zh) |
EP (1) | EP1634244B1 (zh) |
JP (1) | JP4575374B2 (zh) |
CN (1) | CN100550055C (zh) |
WO (1) | WO2004114219A1 (zh) |
Families Citing this family (78)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8788020B2 (en) | 1998-10-23 | 2014-07-22 | Varian Medical Systems, Inc. | Method and system for radiation application |
US7259784B2 (en) | 2002-06-21 | 2007-08-21 | Microsoft Corporation | System and method for camera color calibration and image stitching |
US20050046703A1 (en) * | 2002-06-21 | 2005-03-03 | Cutler Ross G. | Color calibration in photographic devices |
US7495694B2 (en) | 2004-07-28 | 2009-02-24 | Microsoft Corp. | Omni-directional camera with calibration and up look angle improvements |
US20050117015A1 (en) * | 2003-06-26 | 2005-06-02 | Microsoft Corp. | Foveated panoramic camera system |
US20050053267A1 (en) * | 2003-09-05 | 2005-03-10 | Varian Medical Systems Technologies, Inc. | Systems and methods for tracking moving targets and monitoring object positions |
US7590941B2 (en) * | 2003-10-09 | 2009-09-15 | Hewlett-Packard Development Company, L.P. | Communication and collaboration system using rich media environments |
JP3934119B2 (ja) * | 2004-06-14 | 2007-06-20 | 本田技研工業株式会社 | 車両周辺監視装置 |
US7593057B2 (en) * | 2004-07-28 | 2009-09-22 | Microsoft Corp. | Multi-view integrated camera system with housing |
US7466841B2 (en) * | 2004-08-16 | 2008-12-16 | Siemens Corporate Research, Inc. | Method for traffic sign detection |
US7885440B2 (en) * | 2004-11-04 | 2011-02-08 | Dr Systems, Inc. | Systems and methods for interleaving series of medical images |
US7768544B2 (en) * | 2005-01-21 | 2010-08-03 | Cutler Ross G | Embedding a panoramic image in a video stream |
US7286707B2 (en) * | 2005-04-29 | 2007-10-23 | National Chiao Tung University | Object-detection method multi-class Bhattacharyya Boost algorithm used therein |
JP4767595B2 (ja) * | 2005-06-15 | 2011-09-07 | パナソニック株式会社 | 対象物検出装置及びその学習装置 |
US7576766B2 (en) * | 2005-06-30 | 2009-08-18 | Microsoft Corporation | Normalized images for cameras |
DE102005038603A1 (de) | 2005-08-16 | 2007-02-22 | Robert Bosch Gmbh | Verfahren und Vorrichtung zur Verfolgung eines Objekts in einer Bildersequenz |
US7630571B2 (en) * | 2005-09-15 | 2009-12-08 | Microsoft Corporation | Automatic detection of panoramic camera position and orientation table parameters |
US20070189607A1 (en) * | 2005-10-17 | 2007-08-16 | Siemens Corporate Research Inc | System and method for efficient feature dimensionality and orientation estimation |
US8024189B2 (en) * | 2006-06-22 | 2011-09-20 | Microsoft Corporation | Identification of people using multiple types of input |
US7697839B2 (en) * | 2006-06-30 | 2010-04-13 | Microsoft Corporation | Parametric calibration for panoramic camera systems |
EP1912157A1 (en) * | 2006-10-09 | 2008-04-16 | MAGNETI MARELLI SISTEMI ELETTRONICI S.p.A. | Digital image processing system for automatically representing surrounding scenes to the driver of a vehicle for driving assistance, and corresponding operating method |
US20080147488A1 (en) * | 2006-10-20 | 2008-06-19 | Tunick James A | System and method for monitoring viewer attention with respect to a display and determining associated charges |
WO2008066930A2 (en) * | 2006-11-30 | 2008-06-05 | Dolby Laboratories Licensing Corporation | Extracting features of video & audio signal content to provide reliable identification of the signals |
EP2088558B1 (en) * | 2006-11-30 | 2013-03-27 | Mitsubishi Electric Corporation | Motion vector detecting device |
US20080255840A1 (en) * | 2007-04-16 | 2008-10-16 | Microsoft Corporation | Video Nametags |
US8245043B2 (en) * | 2007-06-15 | 2012-08-14 | Microsoft Corporation | Audio start service for Ad-hoc meetings |
US8526632B2 (en) * | 2007-06-28 | 2013-09-03 | Microsoft Corporation | Microphone array for a camera speakerphone |
US8165416B2 (en) * | 2007-06-29 | 2012-04-24 | Microsoft Corporation | Automatic gain and exposure control using region of interest detection |
US8300080B2 (en) | 2007-06-29 | 2012-10-30 | Microsoft Corporation | Techniques for detecting a display device |
US8330787B2 (en) * | 2007-06-29 | 2012-12-11 | Microsoft Corporation | Capture device movement compensation for speaker indexing |
US8744069B2 (en) * | 2007-12-10 | 2014-06-03 | Microsoft Corporation | Removing near-end frequencies from far-end sound |
US8433061B2 (en) * | 2007-12-10 | 2013-04-30 | Microsoft Corporation | Reducing echo |
US8219387B2 (en) * | 2007-12-10 | 2012-07-10 | Microsoft Corporation | Identifying far-end sound |
US8314829B2 (en) | 2008-08-12 | 2012-11-20 | Microsoft Corporation | Satellite microphones for improved speaker detection and zoom |
US10667727B2 (en) | 2008-09-05 | 2020-06-02 | Varian Medical Systems, Inc. | Systems and methods for determining a state of a patient |
MY159289A (en) * | 2008-09-24 | 2016-12-30 | Mimos Berhad | A system and a method for identifying human behavioural intention based on an effective motion analysis |
US8909572B2 (en) * | 2008-10-03 | 2014-12-09 | The Trustees Of Columbia University In The City Of New York | Systems, methods, and media for performing classification using a boosted classifier |
KR101192365B1 (ko) * | 2008-12-18 | 2012-10-17 | 한국전자통신연구원 | 얼굴 검출 시스템 및 그 방법 |
JP2010165052A (ja) * | 2009-01-13 | 2010-07-29 | Canon Inc | 画像処理装置及び画像処理方法 |
US8447139B2 (en) * | 2010-04-13 | 2013-05-21 | International Business Machines Corporation | Object recognition using Haar features and histograms of oriented gradients |
JP4712907B2 (ja) * | 2010-10-12 | 2011-06-29 | パナソニック株式会社 | 対象物検出装置及びその学習装置 |
JP4741036B2 (ja) * | 2011-02-18 | 2011-08-03 | パナソニック株式会社 | 特徴抽出装置、対象物検出装置、特徴抽出方法、および対象物検出方法 |
KR101289087B1 (ko) | 2011-11-03 | 2013-08-07 | 인텔 코오퍼레이션 | 얼굴 검출 방법, 장치, 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체 |
US20130156343A1 (en) * | 2011-12-20 | 2013-06-20 | Harman International Industries, Incorporated | System for communicating relationship data associated with image characteristics |
US8594488B1 (en) * | 2012-03-13 | 2013-11-26 | Google Inc. | Methods and systems for video retargeting using motion saliency |
CN103366177B (zh) * | 2012-03-28 | 2016-12-07 | 佳能株式会社 | 对象检测分类器生成方法和设备、图像对象检测方法和设备 |
FR2990038A1 (fr) | 2012-04-25 | 2013-11-01 | St Microelectronics Grenoble 2 | Procede et dispositif de detection d'un objet dans une image |
US9260122B2 (en) * | 2012-06-06 | 2016-02-16 | International Business Machines Corporation | Multisensor evidence integration and optimization in object inspection |
CN104412300B (zh) * | 2012-06-14 | 2017-09-29 | 丰田自动车株式会社 | 识别器生成装置及图案检测装置 |
KR20140013142A (ko) * | 2012-07-18 | 2014-02-05 | 삼성전자주식회사 | 이미지에서 목표를 검출하는 목표 검출 방법 및 이미지 처리 장치 |
US9633436B2 (en) | 2012-07-26 | 2017-04-25 | Infosys Limited | Systems and methods for multi-dimensional object detection |
US9336436B1 (en) * | 2013-09-30 | 2016-05-10 | Google Inc. | Methods and systems for pedestrian avoidance |
GB2516512B (en) * | 2013-10-23 | 2015-10-14 | Imagination Tech Ltd | Face detection |
CN104881881B (zh) | 2014-02-27 | 2018-04-10 | 株式会社理光 | 运动对象表示方法及其装置 |
US10460194B2 (en) * | 2014-03-07 | 2019-10-29 | Lior Wolf | System and method for the detection and counting of repetitions of repetitive activity via a trained network |
JP6609505B2 (ja) * | 2016-04-06 | 2019-11-20 | Kddi株式会社 | 画像合成装置及びプログラム |
US10241514B2 (en) | 2016-05-11 | 2019-03-26 | Brain Corporation | Systems and methods for initializing a robot to autonomously travel a trained route |
US10282849B2 (en) * | 2016-06-17 | 2019-05-07 | Brain Corporation | Systems and methods for predictive/reconstructive visual object tracker |
CN106203276A (zh) * | 2016-06-30 | 2016-12-07 | 中原智慧城市设计研究院有限公司 | 一种视频客流统计***及客流统计方法 |
US10016896B2 (en) * | 2016-06-30 | 2018-07-10 | Brain Corporation | Systems and methods for robotic behavior around moving bodies |
WO2018009567A1 (en) | 2016-07-05 | 2018-01-11 | Nauto Global Limited | System and method for automatic driver identification |
US10037471B2 (en) | 2016-07-05 | 2018-07-31 | Nauto Global Limited | System and method for image analysis |
EP3497405B1 (en) | 2016-08-09 | 2022-06-15 | Nauto, Inc. | System and method for precision localization and mapping |
US10733460B2 (en) | 2016-09-14 | 2020-08-04 | Nauto, Inc. | Systems and methods for safe route determination |
EP3513265A4 (en) | 2016-09-14 | 2020-04-22 | Nauto Global Limited | SYSTEMS AND METHODS FOR DETERMINING ALMOST COLLISIONS |
CN106504266B (zh) * | 2016-09-29 | 2019-06-14 | 北京市商汤科技开发有限公司 | 行走行为的预测方法和装置、数据处理装置和电子设备 |
US10274325B2 (en) | 2016-11-01 | 2019-04-30 | Brain Corporation | Systems and methods for robotic mapping |
US10001780B2 (en) | 2016-11-02 | 2018-06-19 | Brain Corporation | Systems and methods for dynamic route planning in autonomous navigation |
EP3535646A4 (en) | 2016-11-07 | 2020-08-12 | Nauto, Inc. | SYSTEM AND METHOD FOR DETERMINING DRIVER DISTRACTION |
US10723018B2 (en) | 2016-11-28 | 2020-07-28 | Brain Corporation | Systems and methods for remote operating and/or monitoring of a robot |
US10852730B2 (en) | 2017-02-08 | 2020-12-01 | Brain Corporation | Systems and methods for robotic mobile platforms |
US10453150B2 (en) | 2017-06-16 | 2019-10-22 | Nauto, Inc. | System and method for adverse vehicle event determination |
US10552671B2 (en) | 2017-11-22 | 2020-02-04 | King Fahd University Of Petroleum And Minerals | Multi-kernel fuzzy local Gabor feature extraction method for automatic gait recognition |
WO2019169031A1 (en) | 2018-02-27 | 2019-09-06 | Nauto, Inc. | Method for determining driving policy |
CN108520216B (zh) * | 2018-03-28 | 2022-05-03 | 电子科技大学 | 一种基于步态图像的身份识别方法 |
US11050933B2 (en) * | 2018-04-27 | 2021-06-29 | Continenal Automotive Systems, Inc. | Device and method for determining a center of a trailer tow coupler |
US10951859B2 (en) | 2018-05-30 | 2021-03-16 | Microsoft Technology Licensing, Llc | Videoconferencing device and method |
KR102198912B1 (ko) * | 2018-09-21 | 2021-01-06 | 네이버웹툰 유한회사 | 비디오 영상 내의 행동 인식 방법 및 장치 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5150426A (en) * | 1990-11-20 | 1992-09-22 | Hughes Aircraft Company | Moving target detection method using two-frame subtraction and a two quadrant multiplier |
JP3300092B2 (ja) * | 1993-02-19 | 2002-07-08 | オリンパス光学工業株式会社 | 画像特徴抽出装置 |
GB9308952D0 (en) * | 1993-04-30 | 1993-06-16 | Philips Electronics Uk Ltd | Tracking objects in video sequences |
JPH1091795A (ja) * | 1996-09-12 | 1998-04-10 | Toshiba Corp | 移動物体検出装置及び移動物体検出方法 |
AU5810998A (en) * | 1996-12-23 | 1998-07-17 | Esco Electronics Corporation | Low false alarm rate video security system using object classification |
JP3725784B2 (ja) * | 1998-08-07 | 2005-12-14 | コリア インスティテュート オブ サイエンス アンド テクノロジー | 色フレームイメージシーケンスで移動体を検出する装置及び方法 |
JP3141004B2 (ja) * | 1998-08-31 | 2001-03-05 | インターナショナル・ビジネス・マシーンズ・コーポレ−ション | 動画中のオブジェクトを分類する方法 |
US7099510B2 (en) * | 2000-11-29 | 2006-08-29 | Hewlett-Packard Development Company, L.P. | Method and system for object detection in digital images |
US6778705B2 (en) * | 2001-02-27 | 2004-08-17 | Koninklijke Philips Electronics N.V. | Classification of objects through model ensembles |
TW503650B (en) * | 2001-04-13 | 2002-09-21 | Huper Lab Co Ltd | Method using image screen to detect movement of object |
JP2003044853A (ja) * | 2001-05-22 | 2003-02-14 | Matsushita Electric Ind Co Ltd | 顔検出装置、顔向き検出装置、部分画像抽出装置及びそれらの方法 |
US7177445B2 (en) * | 2002-04-16 | 2007-02-13 | Koninklijke Philips Electronics N.V. | Discriminating between changes in lighting and movement of objects in a series of images using different methods depending on optically detectable surface characteristics |
-
2003
- 2003-06-17 US US10/463,800 patent/US7212651B2/en active Active
-
2004
- 2004-05-31 CN CNB2004800005442A patent/CN100550055C/zh not_active Expired - Lifetime
- 2004-05-31 EP EP04735498.0A patent/EP1634244B1/en not_active Expired - Lifetime
- 2004-05-31 JP JP2006516831A patent/JP4575374B2/ja not_active Expired - Lifetime
- 2004-05-31 WO PCT/JP2004/007866 patent/WO2004114219A1/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
US20040258307A1 (en) | 2004-12-23 |
EP1634244A1 (en) | 2006-03-15 |
EP1634244B1 (en) | 2013-09-18 |
US7212651B2 (en) | 2007-05-01 |
JP4575374B2 (ja) | 2010-11-04 |
JP2006527881A (ja) | 2006-12-07 |
CN100550055C (zh) | 2009-10-14 |
WO2004114219A1 (en) | 2004-12-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN1698069A (zh) | 检测视频的图像时间序列中的活动对象的方法 | |
Stoffregen et al. | Event-based motion segmentation by motion compensation | |
US9846946B2 (en) | Objection recognition in a 3D scene | |
Viola et al. | Detecting pedestrians using patterns of motion and appearance | |
Zhang et al. | Vehicle detection in the aerial infrared images via an improved Yolov3 network | |
Babahajiani et al. | Object recognition in 3D point cloud of urban street scene | |
Wu et al. | An attempt to pedestrian detection in depth images | |
Mekonnen et al. | Comparative evaluations of selected tracking-by-detection approaches | |
Deguchi et al. | Intelligent traffic sign detector: Adaptive learning based on online gathering of training samples | |
Wang et al. | Bridging text spotting and slam with junction features | |
Gao et al. | Robust visual tracking using exemplar-based detectors | |
Mondal et al. | Moving object detection for event-based vision using k-means clustering | |
Qian et al. | Recognizing human actions from silhouettes described with weighted distance metric and kinematics | |
Fornaciari et al. | Very fast ellipse detection for embedded vision applications | |
CN111027482A (zh) | 基于运动向量分段分析的行为分析方法及装置 | |
Scherer et al. | Robust, Real-Time Number Sign Detection on a Mobile Outdoor Robot. | |
Bang et al. | An image augmentation method for detecting construction resources using convolutional neural network and UAV images | |
Kim et al. | Stereo-based region of interest generation for real-time pedestrian detection | |
Lucena et al. | Human action recognition using optical flow accumulated local histograms | |
Hanten et al. | Robust real-time 3d person detection for indoor and outdoor applications | |
Zhang et al. | FESNet: Spotting Facial Expressions Using Local Spatial Discrepancy and Multi-Scale Temporal Aggregation | |
Sun et al. | Fast and Robust RGB-D Multiple Human Tracking Based on Part Model for Mobile Robots | |
Beleznai et al. | Multi-resolution binary shape tree for efficient 2D clustering | |
Wang et al. | Fast pedestrian detection based on object proposals and HOG | |
Ahuja et al. | Object Detection and Classification for Autonomous Drones |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CX01 | Expiry of patent term |
Granted publication date: 20091014 |
|
CX01 | Expiry of patent term |