CN103530646B - 使用分类器级联的复杂对象检测 - Google Patents

使用分类器级联的复杂对象检测 Download PDF

Info

Publication number
CN103530646B
CN103530646B CN201310469453.4A CN201310469453A CN103530646B CN 103530646 B CN103530646 B CN 103530646B CN 201310469453 A CN201310469453 A CN 201310469453A CN 103530646 B CN103530646 B CN 103530646B
Authority
CN
China
Prior art keywords
block
pixels
grader
complex object
cascade
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310469453.4A
Other languages
English (en)
Other versions
CN103530646A (zh
Inventor
D·利瓦伊
A·B·希勒尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN103530646A publication Critical patent/CN103530646A/zh
Application granted granted Critical
Publication of CN103530646B publication Critical patent/CN103530646B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及使用分类器级联的复杂对象检测，用于：识别图像中的复杂对象的各部分，级联中的相继的分类器处理像素块的条件是先前分类器的相应的判别特征集合已被识别；并且，通过应用已识别出的复杂对象的部分和待识别的另一部分之间的已知位置关系，从查询图像中选择另外的像素块。

Description

使用分类器级联的复杂对象检测
背景技术
基于计算机的对象检测***和方法被用在要求几乎实时地实现高准确度的许多不同应用中。这样的应用的例子包括：主动车辆安全***、智能监控***和机器人。
在车辆安全领域中，例如，对行驶路径中的行人或对象的准确的高速识别使得自动化安全***能够采取必要措施来避免碰撞，或者使得自动化***能够警示司机以允许司机采取必要的预防措施来避免碰撞。
发明内容
本发明包括如下方案。
1.一种用于在查询图像中识别复杂对象的方法，所述方法包括：
执行启用计算机的步骤，所述步骤包括：
使用分类器的级联处理来自所述查询图像的至少一个像素块，所述级联中的每个分类器都被配置为识别表示了所述复杂对象的一部分的特点的至少一个判别特征，其中所述级联中每个相继的分类器识别的判别特征的数量大于由所述级联中的先前分类器识别的判别特征的数量；以及
在所述级联中的最后一个分类器已经识别出区别特征后，从所述查询图像中选择另外的像素块用于处理，所述选择是基于所述复杂对象的所述部分和另外的部分之间的已知位置关系。
2.如方案1的方法，其中，所述已知位置关系从样本图像习得。
3.如方案1的方法，其中，所述已知位置关系是人体测量学关系。
4.如方案1的方法，进一步包括：在所述级联的最后一个分类器已经识别出第二部分的区别特征后，从所述查询图像中选择第二另外的像素块用于处理，所述选择是基于所述复杂对象的所述部分、所述第二部分与第三另外的部分之间的已知位置关系。
5.如方案1的方法，进一步包括识别样本复杂图像的一部分的至少一个判别特征，所述判别特征表示了所述复杂对象的所述部分的特点。
6.如方案1的方法，进一步包括按随机原则选择另外的像素块。
7.如方案1的方法，进一步包括：当选择未来的像素块时，将搜索的像素块指定成被放弃，所述搜索的像素块被确定为缺乏表示了所述复杂对象的一部分的特点的判别特征。
8.一种在查询图像中识别复杂对象的***，所述***包括：
处理器，所述处理器被配置为：
使用分类器的级联来处理所述查询图像中的至少一个像素块，所述级联中的每个分类器被配置为识别表示了所述复杂对象的一部分的特点的至少一个判别特征，其中，所述级联中每个相继的分类器使用的判别特征的数量大于由所述级联中的先前分类器使用的判别特征的数量；以及
在所述级联的最后一个分类器已经识别出区别特征后，从所述查询图像中选择另外的像素块用于处理，所述选择是基于所述复杂对象的所述部分和另外的部分之间的已知位置关系。
9.如方案8的***，其中，所述已知位置关系从样本图像中习得。
10.如方案8的***，其中，所述已知位置关系是人体测量学关系。
11.如方案8的***，其中，所述处理器进一步被配置为：在所述级联的最后一个分类器已经识别出第二部分后，从所述查询图像中选择第二另外的像素块用于处理，其中，基于所述复杂对象的所述部分、所述第二部分与第三另外的部分之间的已知位置关系来选择所述第二另外的像素块。
12.如方案7的***，其中，所述处理器进一步被配置为：识别样本复杂图像的一部分的判别特征，所述判别特征表示了所述复杂对象的所述部分的特点。
13.如方案8的***，其中，所述处理器进一步被配置为按随机原则选择另外的像素块。
14.如方案8的***，其中，所述处理器进一步被配置为：当选择未来的像素块时，将搜索的像素块指定成被放弃，所述搜索的像素块被发现为缺乏表示了所述复杂对象的一部分的特征的判别特征。
15.一种具有存储于其上的指令的非暂态计算机可读介质，所述指令用于在查询图像中识别复杂对象，当被处理器执行时，其使得所述处理器执行包括下述各项的指令：
使用分类器的级联来处理所述查询图像中的至少一个像素块，所述级联中每个相继的分类器被配置为识别所述像素块中表示了所述复杂对象的一部分的特点的至少一个判别特征；其中，所述级联中每个相继的分类器使用的判别特征的数量大于所述级联的先前分类器中使用的判别特征的数量；以及
在所述级联的最后一个分类器已经识别出所述判别特征后，从所述查询图像中选择另外的像素块用于处理，所述选择是基于所述复杂对象的所述部分和另外的部分之间的已知位置关系。
16.如方案15的非暂态计算机可读存储介质，其中，所述已知位置关系从样本图像中习得。
17.如方案15的非暂态计算机可读存储介质，其中，所述程序代码被进一步配置为：将从所述查询图像中识别的所述复杂对象的各部分组合，以便识别完整的复杂对象。
18.如方案15的非暂态计算机可读存储介质，其中，所述程序代码被进一步配置为：使得所述处理器在所述级联的最后一个分类器已经识别出第二部分的区别特征后从所述查询图像中选择第二另外的像素块用于处理，其中，基于所述复杂对象的所述部分、所述第二部分与第三另外的部分之间的已知位置关系来选择所述第二另外的像素块。
19.如方案15的非暂态计算机可读存储介质，其中，所述程序代码被进一步配置为：使得所述处理器识别样本复杂图像的一部分的判别特征，所述判别特征表示了所述复杂对象的所述部分的特点。
20.如方案15的非暂态计算机可读存储介质，其中，所述程序代码被进一步配置为：使得所述处理器当选择未来的像素块时将搜索的像素块指定成被放弃，所述搜索的像素块被发现为缺乏表示了所述复杂对象的一部分的特征的判别特征。
附图说明
在申请文档的结束部分，本发明的主题被特别地指出并且被清楚地要求保护。然而，参照如下的详细说明和附图，本发明可在其部件、特征、操作方法及其优势方面得到最好的理解，附图中：
图1是根据本发明一实施例的使用了分类器的级联的复杂对象检测***的示意性框图；
图2是具有待识别的复杂对象的询问图像；
图3是样本复杂对象，其各部分已被指定成用于学习，以便由分类器级联的各分类器使用。
图4是根据本发明一实施例的特征的图形表示，当识别与复杂对象的一部分相关联的特征时，从特征的图形表示中获得判别特征，以便由分类器级联的三个分类器中的每一个使用。
图5根据本发明的一实施例描述了具有三个分类器的分类器级联，其中每个分类器识别其各自的已习得的判别特征集合，该判别特征集合表示了与图2中描述的复杂对象相关联的部分的区别特征。
图6根据本发明的一实施例描述了图5的分类器级联的处理配置，其用于来自多个位置的三个对象部分，其中每个相继的分类器在下述条件下处理像素块，所述条件是先前的分类器已成功识别出它们各自的判别特征。
图7是示出了根据本发明一实施例的基于习得的关于已识别部分的位置关系来识别另外的像素块的方法的流程图，所述另外的像素块可能包含另外的复杂对象部分。
图8是示出了根据本发明一实施例的基于计算出的关于已识别部分的概率来识别另外的像素块的方法的流程图，所述另外的像素块可能包含另外的复杂对象部分。
图9根据本发明的一实施例示出了图2的查询图像，其中，含有像素块的多个搜索窗口在成功识别复杂对象部分之前被扩展到各个位置处以及在成功识别所述部分之后被扩展到第一优选位置处。
图10根据本发明的一实施例示出了图9的查询图像，其中，含有像素块的多个搜索窗口在成功识别一部分之前被扩展到各个位置处以及在成功识别一部分之后被扩展到第二优选位置处。
图11根据本发明的一实施例示出了图2的查询图像，其中，含有像素块的搜索窗口被未来识别相关特征的试图拒绝，并且搜索窗口基于对两个对象部件的成功识别在对复杂对象部件的搜索中扩展在优选位置处。
图12根据本发明的一实施例描述了图2的具有被部分遮挡的复杂对象的查询图像，其中，有可能包含另一对象部分的含有像素块的搜索窗口基于先前所识别出的部分。
图13根据本发明的一实施例描述了图2的具有缩减尺寸的复杂对象的查询图像，其中，有可能包含另一对象部分的含有像素块的搜索窗口基于先前所识别出的部分。
图14描述了根据本发明的一实施例的在其上具有存储的指令的非暂态计算机可读介质，所述指令用于在查询图像中使用分类器级联来识别复杂对象。
应当理解，为了说明的简洁和清楚，图中示出的元件并没有必要按照比例尺绘制，并且在不同的图中，附图标记可以被重复使用以表示相同、相应或相似的元件。
具体实施方式
在下面的详细说明中，为了透彻理解本发明，大量细节被阐述。然而，本领域技术人员应当理解，在没有这些特定的细节的情况下本发明仍可被实施。进一步地，为了不与本发明混淆，已知的方法、程序和组件没有被详细描述。
应当理解的是，下面的术语将在本文档中通篇使用。
“复杂对象”指的是这样的对象：所述对象呈现于一图像中，并且由于与该对象相关联的多种复杂性，因而需要多种模板来描述或识别。这些复杂性可以包括：具有彼此之间的变化的人体测量学关系的多个对象部分；在特定类别中的大尺寸变化；部分遮挡；以及多视角。尤其是，典型的例子包括人、动物或车辆。为了本文档的目的并且不减弱普适性，将人作为复杂对象的一个例子被突出描述。
“分类器”指的是一种函数(例如，计算机可执行的函数)，其被配置为：基于表示了与复杂对象相关联的部分的特点的判别特征来识别图像的对象部分。这些判别特征通常可被处理以生成例如输出值，该输出值与从模型图像类似地获取的阈值相比较以确定“匹配”。这样的匹配可基于，例如，诸如像素密度、几何图元之类的成像参数，和／或其他图像参数。
“分类器级联”指的是多个相继的分类器。
“像素块”指的是像素的一个区域。
“判别特征”指的是这种图像像素的参数，例如密度梯度、平均密度、像素颜色，并且表示了图像内容的特征。
“人体测量学关系”指的是投影在图像中的人的身体部分的相对尺寸、放置和取向。
“协作搜索”指的是基于先前对至少一个复杂对象的部分的成功识别或分类在查询图像中选择像素块。
根据本发明的实施例，一种用于使用分类器级联的复杂对象检测方法可以包括：识别查询图像中的像素块，并且在对习得的判别特征的搜索中使用分类器级联来处理它。如上文所述，分类器的级联可具有一连串的分类器，其中每一个分类器可被配置为识别其各自的判别特征集合。级联中每个相继的分类器为同一对象部分搜索更大数量的判别特征，并且被配置为：只有在先前使用的分类器已经成功识别它们各自的判别特征之后，再识别其各自的判别特征集合。如果这没有实现，那么每个相继阶段的分类器就不处理所述像素块，并且那个特定的像素块被拒绝并被指定为缺少所需判别特征的区域。然后另一个像素块可从查询图像中按随机或半随机原则被选择。在其他实施例中，当先前分类器确实识别出它们各自的判别特征集合时，可选择相邻的块或任何其他的块作为要被处理的下一个块，相继的分类器处理该像素集合直至识别出对象部分。在被发现之后，该对象部分的位置与模型对象图像的各对象部分之间的已习得的空间关系一起作为下述内容的基础，即：用于在查询图像内扩展到有可能包含另外的对象部分的另外的像素块。其他实施例使用了这样的数据图，其中概率函数的变量的最大值被用来选择这样的另外像素集合，该另外像素集合具有包含对象部分的最大概率。
根据本发明的实施例，通过针对每一部分的分类操作的数量减少以及搜索位置数量的减少从而提供了整体的计算节省，使得对复杂对象的近实时、高准确度的识别成为可能。相应地，根据本发明的方法和***在需要准确和快速识别复杂对象的真实世界应用(例如，主动车辆安全特征、智能监控***和机器人)中有着广泛的使用。
现在转向附图，图1是根据本发明一个实施例的使用了分类器级联的复杂对象检测***的示意性框图。复杂对象检测***100可包括一个或多个计算机视觉传感器10(例如，照相机、摄像机、数码照相机／摄像机，或其他图像采集设备)。计算机视觉传感器10能够捕捉可包含有一个或多个对象和／或特征的图像。另外，图像也可以另外的方式被输入到***100中，例如，从其他计算机、数据库或***下载。对象检测***100可包括一个或多个处理器或控制器20、存储器30、长期非暂态存储器40、输入设备50和输出设备60。输入设备50的非限制性例子可以是，例如，触摸屏、电容输入设备、键盘、麦克风、指示器设备、按键、开关或其他设备。输出设备的非限制性例子包括显示屏、例如扩音器或耳机之类的音频设备。输入设备50和输出设备60可被组合到单个设备中。
处理器或控制器20可以是，例如，中央处理单元(CPU)，芯片或任何适于计算的设备。处理器或控制器20可包括多个处理器，并且可包括通用处理器和／或例如图形处理芯片之类的专用处理器。处理器20可执行例如存储在存储器30或长期存储器40中的代码或指令来实施本发明的实施例。
存储器30可以是随机存取存储器(RAM)、只读存储器(ROM)、动态RAM(DRAM)、同步DRAM(SD-DRAM)、双数据率(DDR)存储芯片、闪存存储器、易失性存储器、非易失性存储器、缓存存储器、缓冲器、短期存储器单元、长期存储器单元，或其他适合的存储器单元或存储单元。存储器30可以是或者可包括多种存储器单元。
长期非暂态存储器40可以是或可包括，例如，硬盘驱动器、软盘驱动器、光盘(CD)驱动器、可写CD(CD-R)驱动器、通用串行总线(USB)设备、或其它适合的可移除和／或固定的存储单元，并且可包括多个这样的单元或这样的单元的组合。应当理解的是，图像数据、代码和其它相关数据结构被存储在上述存储器和／或存储设备中。
图2是查询图像210，其包含复杂对象220，复杂对象220是有待通过识别多个部分来进行分类的人，所述多个部分包括；头部240，背部250，以及足部260。应当理解的是，为了本发明的目的，人被用作复杂对象的非限制性例子。
图3描述了复杂对象模型330的图像，从中能提取出每一部分的判别特征集合以及这些部分之间的人体测量学关系。模型复杂对象330被划分成包含各对象部分的各像素块或各图像区域。图3的非限制性例子中，复杂对象是一个人330，其中三个独立的部分已被识别；头部340，背部350以及足部360。应当理解的是，多种多样的复杂对象都是可被用于训练阶段分类器的适合模型。这样的模型包括：有生命和无生命的对象；具有很多个部分的对象；包括彼此之间具有可变几何关系的各部分的对象；被部分遮挡的对象；所有对象都如上所述那样从不同角度或距离来观看到。
图4描述了从图像样本(未示出)的前视图获取的特征的三个图形表示：405、410和415。根据本发明的实施例，这些特征用于训练级联中的相继的分类器。可以对图像样本应用特征选择算法来获取图形表示405、410和415，其可进一步被处理以识别最能代表与样本相关联的特征的特点的判别特征。例如，该特征选择算法可以仅基于供第一分类器使用的两个像素区域406和407来生成理想的判别特征，理想的判别特征也可基于供第二分类器使用的像素区域411413，并且七个另外的像素区域414一起被指定成由第三分类器使用。以这种方式，具有三个分类器的级联中的每个分类器都被启用，从而以提高的准确性和清楚性来识别与复杂对象相关联的对象部分的区别特征。
应当注意到，很多像素或图像参数都可被用于提取识别判别特征的最有效的特征，并且一些例子包括梯度直方图(HoGs)、积分通道特征、Haar特征。此外，应当理解的是，图4例子中的前视面部特征从样本图像中被识别；然而，根据待识别的对象部分的特定视角，这些特征可以从样本图像的侧视图中提取。
根据本发明的实施例，图5描述了具有三个分类器的级联，其被配置为按一个阶段接一个阶段(或者一级接一级)的原则使用已习得的判别特征来识别复杂对象部分240。
如上文所述，每个相继的分类器都搜索对象部分240来识别其相应的判别特征集合。在当前的非限制性例子中，第一阶段分类器505针对从图形表示405中获取的判别特征来检查候选对象部分240。如果它们没被找到，则已识别出的像素块被拒绝，并且***100或者在查询图像210中扩展到另外的搜索区域，或者将第一阶段分类器505应用至队列中的复杂对象部分的另外的像素块。如果第一阶段分类器505识别出第一判别特征集合，则第二分类器510搜索从图形表示410中获取的第二判别特征集合。如果分类器510没有识别出它们，则如上文所述，这个像素块对象也被拒绝。如果实现了匹配，则第三分类器515被应用并且试图识别从图形表示415中获取的判别特征。如果没有识别出匹配，则所搜索的像素块部分被拒绝，相反，如果识别出匹配，则对象部分240被认为已经由分类器级联520识别出。应当注意的是，在本发明的实施例中，可以考虑任何分类器级联，其包括有使用了任何数量的判别特征的任何数量的分类器。
应当注意的是，在被拒绝的情况下，被发现为不包含判别特征的像素块被指定为关于这个特定对象部分的非可行区域，以便避免在相同的区域内针对被拒绝的该部分进行不必要的搜索。应当理解的是，本发明包括这样的实施例，其中一些像素块关于特定部分被拒绝，但是这些像素块确实可能关于另外的对象部分而被搜索。
根据本发明的实施例，图6描述了对在五个不同位置I-V的像素块进行处理的分类器示例，其中五个分开的具有三个分类器1-3的级联均被用来识别三个复杂对象部分1-3。如描述的那样，分类器1a确定来自位置I和III的内容缺少期望的特征，所以不需要剩余分类器1b和1c进一步处理来自这些位置的内容。分类器2b继续处理来自剩余位置II、IV和V的内容。分类器2b确定来自位置V的内容也缺少所需的特征，所以分类器1c继续处理仅仅来自位置II和IV的内容。分类器1c确定来自位置IV的内容也缺少所需的特征，并且处理来自位置II的内容的分类器1识别出所需的特征，所以部分1被认为位于位置II处。
对复杂对象部分2的搜索可以在几个(例如，五个)不同位置处继续，其中来自位置VI-X的相应的像素块由具有三个分类器2a-2c的另一级联来处理。来自位置VII和VIII的内容被分类器2a拒绝，所以由分类器2b继续处理来自剩余位置VI、VIII和X的内容。分类器2b拒绝来自位置VIII的内容，所以由分类器2c继续处理来自位置VI和X的内容。分类器2c拒绝来自位置VI的内容，而分类器2a识别出了来自位置X的内容中的相关特征。因为所有三个分类器2a-2c识别出了来自位置X的内容中的相关特征，所以部分2被认为已经得到识别。
对第三部分的搜索使用五个各自具有三个分类器3a-3c的级联来继续，每一3a-3c中的内容来自位置VI-X。分类器3a拒绝从位置XIIII获取的内容，所以继续处理从剩余位置XI-XIII、XV获得的像素块。分类器3b拒绝从位置XIII获得的内容，并且分类器3c继续处理从剩余位置XI-XII、XV获取的内容，然后拒绝从位置XII和XV获取的内容。剩余的分类器3c识别来自位置XI的内容中的相关特征。同样，因为所有三个分类器3a-3c已经识别出从这个位置获取的内容中的相关特征，所以部分3被认为在位置XI处得到识别。
图7是描述了上述方法的流程图，其中具有的另外的步骤是：在对象部分得到分类之后，为剩余的对象部分扩展另外的搜索区域或像素块。
特别地，在根据本发明实施例的步骤710中，根据本发明的实施例，例如，可以基于随机原则从查询图像210中选择第一像素块。
在步骤715中，相继的分类器被应用于每一部分的条件是，级联中的所有先前分类器已识别出它们各自的判别特征集合。在步骤720中，如果所有分类器的所有相应的判别特征集合已得到识别，则对象部分被认为已经如上文所述的那样被分类或识别。然而，如果不是所有相应的判别特征集合都已得到识别，则在步骤721中指定那个像素块为“被拒绝的”，并且在步骤710中按照随机或半随机原则从查询图像210中选择新的像素块。再一次地，如在步骤715中所示的那样，相继的分类器处理新选择的像素块。当所有分类器都已成功识别出它们各自的判别特征时，则如步骤725中所示，一对象部分已被分类，并且还如步骤730中所示的那样，基于已习得的先前已识别出的对象部分(如果有的话)和待识别的该对象部分之间的空间关系，从查询图像中选择另外的像素块。当选择了可能包含另外的对象部分的新的像素块后，如步骤715所示，通过应用与该另外的部分相关联的相继的分类器，该处理过程被重复进行。
图8描述的方法与图7阐述的方法类似，其中使用了一种选择另外的像素块的替代方式，所述另外的像素块可能包含另外的对象部分，在该替代方式中采用了概率图，如步骤830中所示的那样。
特别地，响应于处理特定像素块的每个分类器的输出值，范围在0和1之间的概率值被分配给每个像素。在一对象部分已经得到识别后，相应地更新概率图，并且通过计算下一对象部分的概率函数变量最大值(Argmax)来选择像素块，或者等效地：
ArgmaxPn+1Prob(Pn+1|P’n+1，P1，...，Pn)其中：
Pn是检测部分的概率图，n=1...N；
Pn+1是先前的概率图。
通过将概率值设置为零，从而拒绝概率值小于预定值的区域。
图9和图10是图2的查询图像，其中具有叠加的搜索窗口来表示针对对象部分正被搜索的区域。在各个实施例中，根据本发明一实施例，使用分类器级联的复杂对象检测***被配置为扩展搜索窗口，所述搜索窗口包含有基本上对应于已习得的对象部分的区域的区域。作为非限制性例子，搜索窗口970和975包含有这样的区域，所述区域分别对应于图3中包含有已习得的头部340和已习得的背部350的区域。另外，搜索窗口970和975可在多个位置或在一种方法中被扩展，在这些位置中，新搜索区域的一部分与所示的先前已搜索区域的一部分重叠，在该方法中，无论是选择第一像素块，还是因缺少相关的判别特征而拒绝两个替补块，都是完全随机的。
当对象部分被识别出时，如上所述，它被作为基础用来扩展到最可能包含所要求的对象部分的另外的搜索区域。如上所述，一些实施例对该识别出的部分应用习得的人体测量学关系，以便将随后的搜索区域引导到最可能包含另外的部分的像素区域。如上所述，当针对所有部分确定了概率函数的“变量最大值(maxarg)”时，其它实施例使用已识别出的部分的位置作为先验数据。窗口980指示头部240(图2)已被定位，从而搜索窗口990和1090(图10)被扩展在最有可能包含背部250的区域中，因为这些区域表示了图3的模型图像330中的这些部分的人体测量学关系。因为对象220的两侧都符合习得的人体测量学关系，所以搜索窗口990和1090区域两者都被识别为待搜索的合适的像素块。
本发明的一些实施例中，当应用概率图时，鉴于更新的概率数据，窗口990和1090两者所包含有的区域都可被确定为具有包含背部250的高概率。应当理解的是，本发明的范围内包括任意多个搜索。
图11阐述了一实施例，其中基于对多个对象部分的成功识别或分类来扩展像素块。例如，头部240和足部260(图3)都已经分别在搜索窗口1110和1120中得以识别。根据在图3描述的模型图像330中的这些部分各个部分之间的已习得的人体测量学关系或更新的概率数据，搜索窗口1190被扩展。应当理解的是，在本发明的范围内包括：根据任何数量的先前识别出的对象部分来扩展另外的搜索区域的实施例。
本发明的一些实施例中，通过减少计算冗余来进一步优化计算有效性。窗口1100是在级联的分类器中任意分类器已经确定了一像素块缺乏判别特征之后指定被拒绝的该像素块或区域的窗口。
图12和图13阐释了分别根据本发明的实施例的如上所述的应用，其中级联的分类器有助于对部分遮挡的或者比例缩小的复杂对象的搜索。特别是，头部240在窗口1210中被识别，并且如上文所述，基于已习得的图3中头部340和足部360之间的人体测量学关系，或者基于已识别出的头部240的概率数据，窗口1220作为足部260的可能位置而被扩展。
图14描述了根据本发明实施例的非限制性的包含可执行代码的计算机可读介质，所述可执行代码用于配置计算机***以便执行上述针对在图像内复杂对象的级联分类器辅助的搜索。
本发明实施例通过组合在各像素块中被识别出的对象部分来识别完整对象。
应当理解的是，根据特定的实施例，可以基于任何数量的已被成功识别的对象部分来扩展搜索区域。还应当进一步理解的是，如圆形、三角形、多边形搜索窗口这样的搜索，都处于本发明的范围内。
尽管在此已经阐述和说明了本发明的某些特征，但现在很多修改、替代、变化和等效形式将很容易被本领域的那些普通技术人员想到。从而应当理解的是，所附权利要求旨在覆盖落入本发明的真实精神内的所有这样的修改和变化。

Claims (14)

1.一种用于在查询图像中识别复杂对象的方法，所述方法包括：
执行启用计算机的步骤，所述步骤包括：
使用分类器的级联处理来自所述查询图像的至少一个像素块，所述级联中的每个分类器都被配置为识别表示了所述复杂对象的一部分的特点的至少一个判别特征，其中所述级联中每个相继的分类器识别的判别特征的数量大于由所述级联中的先前分类器识别的判别特征的数量；以及
在所述级联中的最后一个分类器已经识别出区别特征后，从所述查询图像中选择另外的像素块用于处理，所述选择是基于所述复杂对象的所述部分和另外的部分之间的已知位置关系。
2.如权利要求1的方法，其中，所述已知位置关系从样本图像习得。
3.如权利要求1的方法，其中，所述已知位置关系是人体测量学关系。
4.如权利要求1的方法，进一步包括：在所述级联的最后一个分类器已经识别出第二部分的区别特征后，从所述查询图像中选择第二另外的像素块用于处理，所述选择是基于所述复杂对象的所述部分、所述第二部分与第三另外的部分之间的已知位置关系。
5.如权利要求1的方法，进一步包括识别样本复杂图像的一部分的至少一个判别特征，所述判别特征表示了所述复杂对象的所述部分的特点。
6.如权利要求1的方法，进一步包括按随机原则选择另外的像素块。
7.如权利要求1的方法，进一步包括：当选择未来的像素块时，将搜索的像素块指定成被放弃，所述搜索的像素块被确定为缺乏表示了所述复杂对象的一部分的特点的判别特征。
8.一种在查询图像中识别复杂对象的***，所述***包括：
处理器，所述处理器被配置为：
使用分类器的级联来处理所述查询图像中的至少一个像素块，所述级联中的每个分类器被配置为识别表示了所述复杂对象的一部分的特点的至少一个判别特征，其中，所述级联中每个相继的分类器使用的判别特征的数量大于由所述级联中的先前分类器使用的判别特征的数量；以及
在所述级联的最后一个分类器已经识别出区别特征后，从所述查询图像中选择另外的像素块用于处理，所述选择是基于所述复杂对象的所述部分和另外的部分之间的已知位置关系。
9.如权利要求8的***，其中，所述已知位置关系从样本图像中习得。
10.如权利要求8的***，其中，所述已知位置关系是人体测量学关系。
11.如权利要求8的***，其中，所述处理器进一步被配置为：在所述级联的最后一个分类器已经识别出第二部分后，从所述查询图像中选择第二另外的像素块用于处理，其中，基于所述复杂对象的所述部分、所述第二部分与第三另外的部分之间的已知位置关系来选择所述第二另外的像素块。
12.如权利要求8的***，其中，所述处理器进一步被配置为：识别样本复杂图像的一部分的判别特征，所述判别特征表示了所述复杂对象的所述部分的特点。
13.如权利要求8的***，其中，所述处理器进一步被配置为按随机原则选择另外的像素块。
14.如权利要求8的***，其中，所述处理器进一步被配置为：当选择未来的像素块时，将搜索的像素块指定成被放弃，所述搜索的像素块被发现为缺乏表示了所述复杂对象的一部分的特征的判别特征。
CN201310469453.4A 2012-06-12 2013-06-12 使用分类器级联的复杂对象检测 Active CN103530646B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/494,676 US8630483B2 (en) 2012-06-12 2012-06-12 Complex-object detection using a cascade of classifiers
US13/494,676 2012-06-12
US13/494676 2012-06-12

Publications (2)

Publication Number Publication Date
CN103530646A CN103530646A (zh) 2014-01-22
CN103530646B true CN103530646B (zh) 2017-08-15

Family

ID=49668204

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310469453.4A Active CN103530646B (zh) 2012-06-12 2013-06-12 使用分类器级联的复杂对象检测

Country Status (3)

Country Link
US (1) US8630483B2 (zh)
CN (1) CN103530646B (zh)
DE (1) DE102013210771A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9449259B1 (en) * 2012-07-25 2016-09-20 Hrl Laboratories, Llc Opportunistic cascade and cascade training, evaluation, and execution for vision-based object detection
US20140241618A1 (en) * 2013-02-28 2014-08-28 Hewlett-Packard Development Company, L.P. Combining Region Based Image Classifiers
KR102255215B1 (ko) 2014-12-12 2021-05-24 삼성전자주식회사 이미지에서 객체를 검출하는 객체 검출 방법 및 이미지 처리 장치
US11651179B2 (en) 2017-02-20 2023-05-16 3M Innovative Properties Company Optical articles and systems interacting with the same
EP3688662A1 (en) 2017-09-27 2020-08-05 3M Innovative Properties Company Personal protective equipment management system using optical patterns for equipment and safety monitoring
DE102018207923A1 (de) * 2018-05-18 2019-11-21 Robert Bosch Gmbh Verbessertes Training eines Klassifikators

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101369315A (zh) * 2007-08-17 2009-02-18 上海银晨智能识别科技有限公司 人脸检测方法
CN101561867A (zh) * 2009-05-19 2009-10-21 华中科技大学 一种基于高斯形状特征的人体检测方法
CN101667245A (zh) * 2009-09-25 2010-03-10 西安电子科技大学 基于支持向量新颖检测分类器级联的人脸检测方法
CN102129572A (zh) * 2011-02-25 2011-07-20 杭州海康威视软件有限公司 采用级联分类器的人脸检测方法及其装置
CN102142078A (zh) * 2010-02-03 2011-08-03 中国科学院自动化研究所 基于部件结构模型的目标检测与识别方法
CN102201059A (zh) * 2011-05-20 2011-09-28 北京大学深圳研究生院 一种行人检测方法及装置
CN102449661A (zh) * 2009-06-01 2012-05-09 惠普发展公司，有限责任合伙企业 确定级联分类器的检测确定性

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009117607A1 (en) * 2008-03-19 2009-09-24 The Trustees Of Columbia University In The City Of New York Methods, systems, and media for automatically classifying face images
US20120169860A1 (en) * 2010-06-30 2012-07-05 Guan Lian Method for detection of a body part gesture to initiate a web application

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101369315A (zh) * 2007-08-17 2009-02-18 上海银晨智能识别科技有限公司 人脸检测方法
CN101561867A (zh) * 2009-05-19 2009-10-21 华中科技大学 一种基于高斯形状特征的人体检测方法
CN102449661A (zh) * 2009-06-01 2012-05-09 惠普发展公司，有限责任合伙企业 确定级联分类器的检测确定性
CN101667245A (zh) * 2009-09-25 2010-03-10 西安电子科技大学 基于支持向量新颖检测分类器级联的人脸检测方法
CN102142078A (zh) * 2010-02-03 2011-08-03 中国科学院自动化研究所 基于部件结构模型的目标检测与识别方法
CN102129572A (zh) * 2011-02-25 2011-07-20 杭州海康威视软件有限公司 采用级联分类器的人脸检测方法及其装置
CN102201059A (zh) * 2011-05-20 2011-09-28 北京大学深圳研究生院 一种行人检测方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于组合特征和AdabOost级联分类器的行人检测;周晨卉等;《图像图形技术研究与应用2009——第四届图像图形技术与应用学术会议论文集》;20090401;第157-161页 *

Also Published As

Publication number Publication date
US20130329988A1 (en) 2013-12-12
CN103530646A (zh) 2014-01-22
US8630483B2 (en) 2014-01-14
DE102013210771A1 (de) 2013-12-19

Similar Documents

Publication Publication Date Title
TWI651662B (zh) 影像標註方法、電子裝置及非暫態電腦可讀取儲存媒體
CN103530646B (zh) 使用分类器级联的复杂对象检测
JP6397986B2 (ja) 画像オブジェクト領域の認識方法及び装置
Hoang Ngan Le et al. Robust hand detection and classification in vehicles and in the wild
CN106295502B (zh) 一种人脸检测方法及装置
Pham et al. A comparative study for classification of skin cancer
Eweiwi et al. Temporal key poses for human action recognition
CN105303163B (zh) 一种目标检测的方法及检测装置
CN107103608B (zh) 一种基于区域候选样本选择的显著性检测方法
JP2005190400A (ja) 顔画像検出方法及び顔画像検出システム並びに顔画像検出プログラム
CN112861917A (zh) 基于图像属性学习的弱监督目标检测方法
Sehgal Human activity recognition using BPNN classifier on HOG features
Ngxande et al. Detecting inter-sectional accuracy differences in driver drowsiness detection algorithms
CN111095295B (zh) 物体检测方法和装置
JP2015194927A (ja) 対象識別装置
KR20220144269A (ko) 인공지능 기반 객체 재인식 장치
Vasanthselvakumar et al. Automatic detection and classification of chronic kidney diseases using CNN architecture
CN103377370A (zh) 使用级联分类器进行复杂目标检测
CN104899544A (zh) 图像处理装置和图像处理方法
Al-agha et al. Geometric-based feature extraction and classification for emotion expressions of 3D video film
Collazos et al. Abandoned object detection on controlled scenes using kinect
JP5286574B2 (ja) オブジェクト検出認識装置、オブジェクト検出認識方法、および、プログラム
CN104680123A (zh) 对象识别装置、对象识别方法和程序
JP2008027130A (ja) オブジェクト認識装置およびオブジェクト認識方法ならびにオブジェクト認識用プログラム
Kosala et al. MSER-Vertical Sobel for Vehicle Logo Detection

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant