CN106295666B - 获取分类器、检测对象的方法和装置及图像处理设备 - Google Patents

获取分类器、检测对象的方法和装置及图像处理设备 Download PDF

Info

Publication number
CN106295666B
CN106295666B CN201510244526.9A CN201510244526A CN106295666B CN 106295666 B CN106295666 B CN 106295666B CN 201510244526 A CN201510244526 A CN 201510244526A CN 106295666 B CN106295666 B CN 106295666B
Authority
CN
China
Prior art keywords
class
classifier
background
sample
samples
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510244526.9A
Other languages
English (en)
Other versions
CN106295666A (zh
Inventor
江龙
姜涌
张文文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to CN201510244526.9A priority Critical patent/CN106295666B/zh
Priority to US15/152,375 priority patent/US10242295B2/en
Publication of CN106295666A publication Critical patent/CN106295666A/zh
Application granted granted Critical
Publication of CN106295666B publication Critical patent/CN106295666B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

本公开涉及分类器生成、更新与对象检测方法和装置及图像处理设备。一种多类分类器生成方法，包括以下步骤：通过使用一个单类对象分类器和从图像序列中获取的背景图像区域，生成至少一个单类背景分类器；以及将所述单类对象分类器与所述至少一个单类背景分类器组合为一个多类分类器。

Description

获取分类器、检测对象的方法和装置及图像处理设备
技术领域
本发明一般地涉及图像处理领域，更具体地，涉及多类分类器生成方法和装置、多类分类器更新方法和装置、对象检测方法和装置、以及图像处理设备。
背景技术
近年来，作为计算机视觉中的一个主要研究方面的对象检测已经取得了相当的发展。大多数方法依赖于收集许多正样本和负样本用于学习二类分类器以识别对象和非对象。但是，在一些应用(诸如一般的对象检测、图像检索等)中，这些方法可能是无效的，因为难以预先收集许多样本。
一个常用的方案是用一个或几个正样本来学习单类分类器，以在用户给定对象样本时，能够将对象从所有其它可能的对象区分出来。该单类分类的一个主要问题是，与诸如二类分类或多类分类的其他方案相比，对象辨别可能较弱，因为不能使用对比样本。因此，将导致高的误检测率。
为了解决该问题，提出了一些基于背景建模的方法。如果能够从背景图像区域收集一些负样本，则可以将对象检测看作二类分类任务以从背景区分对象，这能够提高当前背景下的分类精度。现有文献中的大多数方法，例如题目为“Semi-Supervised On-lineBoosting for Robust Tracking”的论文(Helmut Grabner，Christian Leistner，andHorst Bischof.ECCV，2008)给出的方法是先用对象样本和背景样本学习二类分类器，然后用新收集的样本更新该分类器。
但是，这种方法在一些应用(例如，用手持式照相机拍摄一个奔跑的狗)中不能使用，因为在现有技术中存在几个问题。
例如，一个问题在于，它需要从对象样本和背景样本学习二类分类器。当背景信息不能起到正面作用(例如，对象进入一个完全不同的场景)时，不能自由地去除背景分类器。
再例如，另一个问题在于，所学习的二类分类器仅适于固定背景或缓慢变化的背景。如果背景突然变化，无法实现非常好的对象检测结果。
发明内容
鉴于以上可知，现有技术中存在期望解决的问题。本发明旨在解决上面提到的问题。本发明的一个目的是提供解决上面的问题中的任一个的方法和装置。
具体地，为了解决这样的问题，本发明提供了一种基于背景建模的创新的方法。
首先，在本发明中，可以产生包括一个单类对象分类器和几个单类背景分类器的组合的多类分类器，这与传统的二类分类器和多类分类器完全不同，由于传统的多类分类器是一个单个的分类器，即，它是仅由一个分类器构成的，而不是由多个单独的单类分类器构成的。进一步地，在本发明中，这多个分类器是彼此独立的。换而言之，在本发明中，这多个分类器在生成之后不互相影响，并且它们中的每一个都能独立地和单独地执行分类。
此外，由于构成所述多类分类器的各分类器在生成之后不互相影响并且它们中的每一个都能独立地和单独地执行分类，所以可以改变该多类分类器的构成或配置以更好地适合场景。因此，通过使用这样生成的多类分类器，将获得更高的分类精度。
第二，在本发明中，可以基于一些新样本来更新通过组合包括一个单类对象分类器和至少一个(一个或多个)单类背景分类器的多个单类分类器而生成的多类分类器。
多类分类器的更新可适于场景变换，因此可以直接提高分类精度。
第三，在本发明中，可以自由地添加或去除一个多类分类器中的任何单类分类器，该多类分类器包括彼此独立的单类对象分类器和几个单类背景分类器。
如上所述，由于构成所述多类分类器的各分类器在生成之后不互相影响并且它们中的每一个都能独立地和单独地执行分类，所以可以改变该多类分类器的构成或配置。具体地，例如，可以通过添加或去除一个或多个单类分类器(其可以是对象分类器或背景分类器)来改变该多类分类器的构成或配置。
因此，本发明不仅适合固定的背景或缓慢变化的背景，而且还适合突然变化的背景。因此，本发明能够实现更好的对象检测和/或图像处理结果。
根据本发明的一个方面，提供一种多类分类器生成方法，包括以下步骤：通过使用一个单类对象分类器和从图像序列中获取的背景图像区域，生成至少一个单类背景分类器；以及将所述单类对象分类器与所述至少一个单类背景分类器组合为一个多类分类器。
这里，上述的单类对象分类器可以是现有的单类对象分类器，也可以是在生成至少一个单类背景分类器的步骤之前生成的。
另外，生成至少一个单类背景分类器的示例性方法包括：使用所述单类对象分类器从所述背景图像区域选择背景样本；将所选取的背景样本聚类为至少一个背景样本集；以及针对每个背景样本集生成一个单类背景分类器。
作为例子，使用所述单类对象分类器从所述背景图像区域选择背景样本的方法可包括：以至少一种尺度在各背景图像区域上滑动搜索窗口，并获得该背景图像区域中被该搜索窗口界定的内容作为背景样本；基于各背景样本与所述单类对象分类器之间的距离，将背景样本排序；以及基于背景样本的排序结果来选择背景样本。
根据本发明的另一方面，提供一种多类分类器更新方法，所述多类分类器是通过组合包括一个单类对象分类器和至少一个单类背景分类器的多个单类分类器而生成的，该方法包括以下步骤：针对所述多个单类分类器中的每个单类分类器，从新加的样本之中选择样本作为该单类分类器的候选更新样本；以及使用相应的候选更新样本，更新各单类分类器。
需要注意，上述的要更新的多类分类器可以是本发明中公开中的这样的多类分类器，也可以是其它适当的多类分类器。
这里，关于每个单类分类器，可以例如基于各新加的样本与该单类分类器之间的距离，从新加的样本为该单类分类器选择候选更新样本。
此外，在本发明中，优选地，可以使用新加的样本之中不是各单类分类器的候选更新样本的样本，生成至少一个新的单类分类器。另外，所生成的至少一个新的单类分类器添加到所述多类分类器中。
另一方面，在本发明中，优选地，可以从所述多类分类器之中去除无效的单类分类器。这里，所述无效的单类分类器可以包括例如多个单类分类器之中的比较不适应新场景的单类分类器。
根据本发明的再一方面，提供对象检测方法，包括以下步骤：通过组合能够彼此独立地执行分类的一个单类对象分类器和至少一个单类背景分类器，生成多类分类器；以及使用所述多类分类器来检测图像中的对象。
这里，上述的多类分类器可以是通过使用根据本发明的多类分类器生成方法来生成的。但是，本发明不限于此。
另外，上述的多类分类器可以通过使用根据本发明的多类分类器更新方法来更新。但是，本发明不限于此。
此外，在本发明中，优选地，从图像序列收集新的对象样本和背景样本以从所述新的对象样本和背景样本之中选取样本作为新加的样本，然后，基于所述新加的样本，更新所述多类分类器。例如，从图像序列收集新的对象样本和背景样本以从所述新的对象样本和背景样本之中选取样本作为新加的样本可以包括：以至少一种尺度在图像上滑动搜索窗口，并获得该图像中的被该搜索窗口界定的内容作为新的样本；基于各新的样本与所述单类对象分类器之间的距离，将这些新的样本排序；以及基于这些新的样本的排序结果，从这些新的样本中选择样本作为所述新加的样本。
根据本发明的再一方面，提供一种多类分类器生成装置，所述装置包括：背景分类器生成单元，被配置为通过使用一个单类对象分类器和从图像序列中获取的背景图像区域，生成至少一个单类背景分类器；以及组合单元，被配置为将所述单类对象分类器与所述至少一个单类背景分类器组合为一个多类分类器。
根据本发明的再一方面，提供一种多类分类器更新装置，所述多类分类器是通过组合包括一个单类对象分类器和至少一个单类背景分类器的多个单类分类器而生成的，所述装置包括：样本选择单元，被配置为针对所述多个单类分类器中的每个单类分类器，从新加的样本之中选择样本作为该单类分类器的候选更新样本；以及单类分类器更新单元，被配置为使用相应的候选更新样本来更新各单类分类器。
优选地，上述的多类分类器更新装置可以进一步包括：新单类分类器生成单元，被配置为使用新加的样本之中不是各单类分类器的候选更新样本的样本，生成至少一个新的单类分类器，以及添加单元，被配置为将由所述新单类分类器生成单元生成的至少一个新的单类分类器添加到所述多类分类器中。
另外，上述的多类分类器更新装置可以进一步包括被配置为从所述多类分类器之中去除无效的单类分类器的去除单元。
根据本发明的再一方面，提供一种对象检测装置，所述装置包括：生成单元，被配置为通过组合能够彼此独立地执行分类的一个单类对象分类器和至少一个单类背景分类器，生成多类分类器；以及检测单元，被配置为使用所述多类分类器来检测图像中的对象。
根据本发明的再一方面，提供一种图像处理设备，包括根据本发明的对象检测装置。
在本发明中，提供了创新的多类分类器生成方法和装置、创新的多类分类器更新方法和装置、创新的对象检测方法和装置、以及创新的图像处理设备，它们不仅适合固定的背景或者缓慢改变的背景，而且适合突然变化的背景。因此，通过使用本发明，可以在对象检测和/或图像处理方面实现极好的结果。
此外，在本发明中，通过新加的样本，不仅能够更新由多个独立的单类分类器构成的多类分类器中的每个单类分类器，而且能够更新整个多类分类器。以这种方式，本发明能够显著提高分类精度，并由此提高召回率和降低误检测。
参照附图阅读示例性实施例的以下描述，本发明的其他特性特征和优点将变得清晰。
附图说明
并入到说明书中并且构成说明书一部分的附图示出了本发明的实施例，并且与描述一起用于解释本发明的原理。在这些附图中，类似的附图标记用于表示类似的项。
参照下图描述了本发明的一些实施例。
图1是示例性示出用于实现根据本发明的实施例的方法和装置的计算设备的配置的框图。
图2示例性地示出多类分类器生成方法的流程图。
图3示例性地示出另一多类分类器生成方法的流程图。
图4示例性地示出生成单类背景分类器的示例性方法的流程图。
图5示例性地示出从背景图像区域选择背景样本的示例性方法的流程图。
图6示例性地示出一种示例性的多类分类器更新方法的流程图。
图7示例性地示出另一示例性的多类分类器更新方法的流程图。
图8示例性地示出一种示例性的对象检测方法的流程图。
图9示例性地示出另一示例性的对象检测方法的流程图。
图10示例性地示出使用多类分类器的示例性对象检测方法。
图11示例性地示出收集新的样本以选择作为新加样本的样本的示例性方法的流程图。
图12示例性地示出应用本发明的示例性的整体方法的流程图。
图13示例性地示出示例性的多类分类器生成装置的功能框图。
图14示例性地示出示例性的背景分类器生成单元的功能框图。
图15示例性地示出示例性的多类分类器更新装置的功能框图。
图16示例性地示出示例性的对象监测装置的功能框图。
图17示例性地示出示例性的图像处理设备的功能框图。
图18示出来自测试视频的两个例示帧。
图19A和图19B示出通过使用不同的方法得到的检测率和FPPI关于时间的检测结果。
具体实施方式
应当注意，以下的实施例并不意欲限制所附权利要求的范围，并且在实施例中描述的特征的所有组合对于解决本发明的技术问题并不一定是必需的。以下描述的本发明的实施例中的每一个都可单独地实施，或者在必要的情况下或在单个实施例中组合来自各个实施例的要素或特征是有益的情况下作为多个实施例或者它们的特征的组合来实施。
此外，在本公开中，可以通过软件、硬件、固件或者其任意组合来实施本发明的被配置为确定文档图像中的词间距的设备的每个单元、部件和/或组件。另外，可以通过软件、硬件、固件或者其任意组合来实施根据本发明的用于确定文档图像中的词间距的方法。也就是说，本发明的方法和***不限于其实现方式，并且，本发明的保护范围仅由所附的权利要求限定。
而且，在本公开中，步骤的执行顺序不是必须要按照流程图所示出和实施例中所提到的那样，而是可以根据实际情况来灵活变通的，即，本发明不应该受到流程图所示出的步骤的执行顺序的限制。
下面将参照附图来详细描述本发明的实施例。
图1是示出能够实现根据本发明的实施例的计算机***的示例性硬件配置的框图。
如图1中所示，计算机***1000包括计算机1110。计算机1110包括经由***总线1121连接的处理单元1120、***存储器1130、固定非易失性存储器接口1140、可移动非易失性存储器接口1150、用户输入接口1160、网络接口1170、视频接口1190和输出***接口1195。
***存储器1130包括ROM(只读存储器)1131和RAM(随机存取存储器)1132。BIOS(基本输入输出***)1133驻留在ROM 1131中。操作***1134、应用程序1135、其他程序模块1136和某些程序数据1137驻留在RAM 1132中。
诸如硬盘之类的固定非易失性存储器1141连接到固定非易失性存储器接口1140。固定非易失性存储器1141例如可以存储操作***1144、应用程序1145、其他程序模块1146和某些程序数据1147。
诸如软盘驱动器1151和CD-ROM驱动器1155之类的可移动非易失性存储器连接到可移动非易失性存储器接口1150。例如，软盘1152可以被***到软盘驱动器1151中，以及CD(光盘)1156可以被***到CD-ROM驱动器1155中。
诸如麦克风1161和键盘1162之类的输入设备被连接到用户输入接口1160。
计算机1110可以通过网络接口1170连接到远程计算机1180。例如，网络接口1170可以经由局域网1171连接到远程计算机1180。或者，网络接口1170可以连接到调制解调器(调制器-解调器)1172，以及调制解调器1172经由广域网1173连接到远程计算机1180。
远程计算机1180可以包括诸如硬盘之类的存储器1181，其存储远程应用程序1185。
视频接口1190连接到监视器1191。
输出***接口1195连接到打印机1196和扬声器1197。
图1所示的计算机***1000只是示例性的，并且决不意图限制本发明、本发明的应用或用途。
图1所示的计算机***可以被实施于任何实施例，可作为独立计算机，或者也可作为设备中的处理***，可以移除一个或更多个不必要的部件，也可以向其添加一个或更多个附加的部件。
图2是示例性地示出根据本发明的实施例的多类分类器生成方法的流程图。
具体地，在步骤S10，通过使用一个单类对象分类器和从图像序列中获取的背景图像区域，生成至少一个单类背景分类器。
然后，在步骤S20，将所述单类对象分类器与所述至少一个单类背景分类器组合为一个多类分类器。
组合的多类分类器包括一个单类对象分类器和至少一个(一个或多个，通常是几个)单类背景分类器。这些分类器，即，所述单类对象分类器和单类背景分类器彼此独立。换而言之，它们在生成之后不互相影响，并且它们中的每一个都能独立地和单独地执行分类。
因此，所生成的根据本发明实施例的多类分类器与现有的二类分类器和多类分类器完全不同，由于各个现有的多类分类器仅是一个单个的分类器，即，它们中的每一个都不是由多个单类分类器构成的。换而言之，它们中的每一个不能独立地和单独地执行分类。
通过使用这样生成的多类分类器，一般地，得到的分类精度将高于任何一个简单的单类分类器，另一方面，它不差于任何二类分类器。
而且，由于构成多类分类器的各个分类器在生成之后不互相影响，并且它们中的每一个都能独立地和单独地执行分类，所以可以改变该多类分类器的构成或配置。
通过使用上述的根据本实施例的多类分类器生成方法生成的多类分类器可以用于例如检测固定场景中的对象。
存在多种组合单类对象分类器和至少一个单类背景分类器的方法。例如，它们可以通过简单地彼此相加来进行组合，即，假设有三个要被组合的单类分类器，并且C1、C2和C3是这三个单类分类器，则按照C1+C2+C3的方式进行组合。再例如，可以通过对各单类分类器进行加权然后将加权的单类分类器相加来进行组合，即，假设有三个要被组合的单类分类器，并且C1、C2和C3是这三个单类分类器，则按照ω1C1+ω2C2+ω3C3的方式来进行组合。
请注意，组合单类对象分类器和至少一个背景分类器的方法不限于上述的例子。本领域普通技术人员会明白，有很多种组合单类对象分类器和至少一个背景分类器的方法，并且任何合适的组合单类对象分类器和至少一个背景分类器的方法都可以在本发明中使用。
这里，上述的单类对象分类器可以是现有的通过适当的方法生成的单类对象分类器。
另外，上述的单类对象分类器也可以是在图2中的步骤S10生成至少一个单类背景分类器之前，基于至少一个对象样本(其可以是用户指定或输入的)临时生成的。现有技术中有多种生成单类对象分类器的方法，例如，支持向量数据描述(SVDD)的方法、在专利申请No.CN103295024A和CN103294716A中公开的方法等。
基于这一点，图3示例性地示出了根据本发明实施例的另一多类分类器生成方法的流程图。如图3所示，图3与图2的主要区别在于步骤S05。具体地，在步骤S05，基于至少一个对象样本生成一个单类对象分类器。所述对象样本例如可以是由用户指定或输入的。
总之，上述的单类对象分类器可以是现有的单类对象分类器，或者可以是临时生成的。换而言之，本发明并非想要对单类对象分类器作出任何限制。
另外，当生成单类背景分类器时，可以采用图4所示的下述示例性方法。
具体地，首先，在步骤S110，使用上述的单类对象分类器从背景图像区域选择背景样本。
然后，在步骤S120，将所选取的背景样本聚类为至少一个背景样本集。
接着，在步骤S130，针对每个背景样本集生成一个单类背景分类器。
这里，可以在步骤S120采用任何适当的聚类方法，例如K-means聚类方法(BrianT.Luke：“K-Means Clustering”http://fconyx.ncifcrf.gov/～lukeb/kmeans.html)。
另外，可以看出，生成的单类背景分类器的数量对应于聚类的背景样本集的数量。
应当注意，单类背景分类器的生成方法不限于上面示出的，现有技术中的或者以后要开发的任何适当的单类背景分类器生成方法都可以用在本发明中。
此外，对于大小为1280×720的背景图像，可以通过使用已知的滑动窗口方法来收集几千个样本。但是，对于训练背景分类器可能只有几百个样本是有用的。背景样本与对象(可选地，对象样本)越相似，背景分类器具有的性能越好。因此，期望从背景中选择与对象(可选地，对象样本)最相似的背景样本，其也可被称为“硬背景样本”。
例如，在实施例中，当在图4所示的步骤S110使用单类对象分类器从背景图像区域选择背景样本时，可以采用图5所示的以下示例性方法。
如图5所示，首先，在步骤S1110，在各背景图像区域上滑动搜索窗口，并获得该背景图像区域中被该搜索窗口界定的内容(由局部窗口限定的范围)作为背景样本。
这里，所采用的搜索窗口可以取几种尺度(一种或多种尺度)。具体地，例如，在将搜索窗口围绕整个输入图像移动之后，输入图像的大小调整。重复调整大小和移动步骤，直到达到预定的值。
然后，在步骤S1120，基于各背景样本与所述单类对象分类器之间的距离，将背景样本排序。
例如，使用所述单类对象分类器来对这些背景样本打分，其中，得分是从该样本到所述单类分类器的中心的距离。这里，计算距离的方法可以是用来计算向量之间的距离的任何方法。
接着，在步骤S1130，基于背景样本的排序结果来选择背景样本。
例如，以降序对这些背景样本分级，并且选择一些靠前的背景样本(例如，前300个背景样本)作为所述硬背景样本。
通过上述的根据实施例的使用单类对象分类器从背景图像区域选择背景样本的方法，可以提高处理效率和分类精度。
这里，应当注意，使用单类对象分类器从背景图像区域选择背景样本的方法不限于上述示例性的方法，现有技术中的或以后要开发的使用单类对象分类器从背景图像区域选择背景样本的任何适当方法都可以用在实施例中。
此外，本公开还提供多类分类器更新方法，将参照附图对其进行详细描述。
首先，图6示例性地示出了一种示例性的多类分类器更新方法的流程图，该多类分类器是通过组合包括一个单类对象分类器和至少一个单类背景分类器的多个单类分类器而生成的。
如图6所示，在步骤S30，针对所述多个单类分类器中的每个单类分类器，从新加的样本之中选择样本作为该单类分类器的候选更新样本。
接着，在步骤S40，使用其相应的候选更新样本，更新各单类分类器。
这里，更新单类分类器可以使用在线SVDD或者专利申请CN103294716A中公开的方法中的任何一个或者现有技术中存在的或以后要开发的任何其他适当方法。
上述的根据本实施例的多类分类器更新方法可以应用于例如背景缓慢变化的场景。
此外，当在步骤S30从新加的样本之中选择样本时，可以采用下面的基于距离的方法。
具体地，针对每个单类分类器，基于各新加的样本与该单类分类器之间的距离，从新加的样本为该单类分类器选择候选更新样本。
例如，首先，从所述多类分类器选择一个单类分类器。然后，计算从每个所述新加样本到所述单类分类器的距离，如果所述距离小于一个阈值(其例如可以是预先设定的)，该新加样本将是候选更新样本。重复上面的步骤直到已经针对该多类分类器中的所有单类分类器执行了操作。
应当注意，上述的从新加的样本之中选择样本作为候选更新样本的方法仅是示例性的。本发明不限于该方法，本领域普通技术人员可以了解的或以后要开发的从新加的样本之中选择样本的任何适当方法都可以用在本发明中。
应当注意，上述的要更新的多类分类器可以是通过使用根据实施例的多类分类器生成方法生成的这种多类分类器，或者可选地，也可以是在现有技术中存在的或者以后要开发的其他适当的多类分类器。
此外，根据另一实施例，优选地，可以使用新加的样本之中不是各单类分类器的候选更新样本的样本，生成至少一个新的单类分类器。此外，所生成的至少一个新的单类分类器可以添加到所述多类分类器中。
新生成的单类分类器可以是单类背景分类器，也可以是单类对象分类器。一般地，它是单类背景分类器，因为场景通常变化。但是，单类对象分类器可以是新生成的。例如，在前一个单类对象分类器无法检测到对象(例如，检测的对象已发生变化)的情况下，可以从至少一个新的对象样本(其可以例如是由用户指定的或者从外部输入的)生成新的单类对象分类器。
这样，根据实施例的多类分类器生成/更新方法可以适合突然变化的场景。也就是说，即使在突然变化的场景中，也可以通过使用根据实施例的多类分类器生成/更新方法来获得较高的分类精度。
另一方面，在实施例中，优选地，可以从所述多类分类器之中去除无效的单类分类器。
这里，所述无效的单类分类器可以包括例如多个单类分类器之中的比较不适应新场景的单类分类器。比较不适应新场景的单类分类器可以是最旧的单类分类器、从中无法找到候选更新样本的这种单类分类器、无用的单类分类器等。
另外，要去除的单类分类器可以是单类背景分类器，也可以是单类对象分类器，与新生成的单类分类器的情况类似。
根据本发明的实施例的多类分类器更新方法不仅能更新多类分类器中的每个单类分类器，而且能更新整个多类分类器。如果背景突然变化，其不仅能自如地选择几个单类分类器来更新，而且能创建适合当前背景的一些新的单类分类器或者从组合的多类分类器中去除一些无用的单类分类器。
具体地，首先，其可以针对多类分类器中的每个单类分类器从新加样本之中选择候选更新样本。如果找到某个分类器的候选更新样本，则使用候选更新样本来更新该单类分类器自身。此外，优选地，如果有一些样本对于任一个单类分类器都不是候选更新样本，则使用那些非候选更新样本来更新该多类分类器。
接着，作为例子，根据本发明的实施例的多类分类器更新方法可以通过下面的式子来示出：
1)原本的多类分类器：M＝w1S1+w2S2+…+wnSn
2)更新后的多类分类器：
M′＝wk+1Sk+1+wk+2Sk+2+…+wnSn+wn+1Sn+1+…+wn+kSn+k
其中，w是单类分类器的权重，n是所有单类分类器的数量，并且k＜n，Si(i＝n+1，…，n+k)是新加的单类分类器。这些新加的单类分类器是从通常来自新背景的非候选更新样本学习的。Sj(j＝1，…，k)是被去除的单类分类器。被去除的单类分类器可以是没有被任何样本更新的单类分类器或者可以是最早学习的单类分类器。
接着，将参照图7描述根据本发明另一优选实施例的多类分类器更新方法的详细的总体流程图。
首先，如图7所示，在步骤S30，针对所述多个单类分类器中的每个单类分类器，从新加的样本之中选择样本作为该单类分类器的候选更新样本，接着，在步骤S40，使用其相应的候选更新样本，更新各单类分类器，步骤S30和S40与图6中的那些步骤类似。
这里，更新单类分类器可以使用在线SVDD或者专利申请CN103294716A中公开的方法中的任何一个或者现有技术中存在的或以后要开发的任何其他适当方法。
在步骤S31，判断在新加样本之中是否有非候选更新样本。如果是，则在步骤S50，使用这些非候选更新样本来生成至少一个新的单类分类器。然后，在步骤S60，所生成的至少一个新的单类分类器被添加到该多类分类器。
这里，生成新的单类分类器的方法可以是在本实施例中提出的那些方法之一，也可以是现有技术中已有的或者以后要开发的方法之一。如果判断在新加样本之中没有非候选更新样本，则不执行生成新的单类分类器的操作。
在步骤S32，判断该多类分类器中是否有无效的单类分类器。如果是，则在步骤S70去除所述无效的单类分类器。如果判断在该多类分类器中没有无效的单类分类器，则不执行去除无效的单类分类器的操作。
这样，可以获得更新后的多类分类器，优选地在重新组合剩余的单类分类器之后获得。
上述的根据该优选实施例的多类分类器更新方法也可以应用于例如背景缓慢变化的场景或者背景突然变化的场景。因此，通过使用该方法将获得较高的分类精度。
根据本发明的另一实施例，还提供一种使用多类分类器来检测对象的方法。图8示例性地示出了示例性的对象检测方法的流程图。
具体地，如图8所示，在步骤S80，使用该多类分类器来检测图像中的对象。
其中，该多类分类器是通过组合能够彼此独立地执行分类的一个单类对象分类器和至少一个单类背景分类器而生成的。组合单类分类器的方法与上面描述的那些类似，并且在本发明中不被限制。
这里，上述的多类分类器可以通过使用根据实施例的多类分类器生成方法来生成。但是，本发明不限于此，用于生成这种多类分类器的以后要开发的任何适当方法都可以用在实施例中。
另外，上述的多类分类器可以通过使用根据实施例的多类分类器更新方法来更新。但是，本发明不限于此，用于更新这种多类分类器的现有技术中存在的或者以后要开发的任何适当方法都可以用在本发明中。
这里，将参照图10描述使用多类分类器来检测图像中的对象的例示方法。
具体地，在图像上滑动搜索窗口以使用多类分类器来将每个这样的局部窗口分类为对象或背景。
对于每个局部窗口，可能有如下四种分类结果。
1)如果没有被任一单类分类器检测到，则是背景区域。
2)如果仅被单类对象分类器检测到，则是对象区域。
3)如果仅被某些单类背景分类器检测到，则是背景区域。
4)如果同时被单类对象和背景分类器检测到，则计算属于各单类分类器的概率，如果属于单类对象分类器的概率最低，则是对象区域，否则，是背景区域。这里，所述概率例如可以是从该未知样本到分类器中心的距离与分类器半径的比率。
更具体地，下面描述使用多类分类器来检测对象的示例性方法。
例如，首先，从图像或视频帧生成多个部分区域。在一个实施例中，先设定与正样本具有相同大小的搜索窗口。然后，搜索窗口在该图像或视频帧上不断移动，以提取包含在该搜索窗口中的像素，并且创建输入图像的一部分。在围绕整个输入图像移动了搜索窗口之后，调整输入图像的大小。重复调整大小和移动步骤，直到达到预定的值。其次，从每个生成的部分区域提取特征向量，并且将所述特征向量输入到多类分类器。最后，记录在其中检测到正样本的部分区域并且对象的大小和位置被分组。由此，能够实现对象检测。
应当注意，使用多类分类器检测对象的方法不限于实施例中描述的那些，本领域普通技术人员能明白，现有技术中或者以后要开发的任何适当方法都可以用在本发明中。
此外，在本实施例中，优选的是，在图9中所示的步骤S90，从图像序列收集新的对象样本和背景样本，以从所述新的对象样本和背景样本之中选取样本作为新加的样本，然后在图9所示的步骤S100，基于所述新加的样本，更新所述多类分类器。这里，图9示例性地示出了用于检测对象的另一示例性方法的流程图。
接着，将参照图11描述从图像序列收集新的对象样本和背景样本以从所述新的对象样本和背景样本之中选取样本作为新加的样本的例示方法。
具体地，在步骤S910，以至少一种尺度在图像上滑动搜索窗口，并获得该图像中的被该搜索窗口界定的内容作为新的样本。
然后，在步骤S920，基于各新的样本与所述单类对象分类器之间的距离，将这些新的样本排序。
接着，在步骤S930，基于这些新的样本的排序结果，从这些新的样本中选择一些样本(例如，数量可以是200)作为所述新加的样本。
应当注意，所选择的样本可以包括没有被任何单类分类器检测到的一些样本。一般地，这些没有被任何单类分类器检测到的样本来自新的背景场景，由此它们可以被用来学习至少一个新的背景分类器。
当然，如上所述，新的对象分类器可能也是从新的对象样本学习的。
通过使用适于各种场景的上述根据本发明实施例的使用背景建模来检测对象的方法，将提高对象检测精度，尤其是在突然变化的场景中，与常规方法相比，对象检测精度将被极大地提高。因此，将降低错误检测率。另外，它们不仅能够应对背景固定或有限的情况(正如现有的背景建模方法那样)，还能够应对背景变化的情况(例如，用手持相机或摄像机拍摄)。
图12示例性地示出了一种应用本发明的示例性总体方法的流程图。
具体地，在步骤S1，可以通过使用如上所述的根据本发明实施例的方法，基于一个单类对象分类器和从图像序列中获取的背景图像区域，生成至少一个多类分类器。
然后，在步骤S2，通过使用如上所述的根据本发明实施例的方法，更新所生成的多类分类器。
具体地，通过使用如上所述的根据本发明实施例的方法，可以更新该多类分类器中的每个单类分类器，然后可以通过添加或去除单类分类器来更新整个多类分类器。
接着，所生成的和/或所更新的多类分类器可以用来检测输入图像中的对象，同时，可以收集新的对象和背景样本作为用于更新多类分类器的新加样本。
因此，在步骤S2，可以基于在步骤S3收集的新加样本或者基于从外部输入的新加样本来更新多类分类器。
当然，实施例中公开的方法不限于以这种方式使用，它们可以适于任何适当的应用，本发明对于它们的应用和/或用途不作任何限制。
此外，根据本发明的另一实施例，提供一种多类分类器生成装置。
图13示例性地示出根据本发明实施例的示例性的多类分类器生成装置的功能框图。
如图13所示，多类分类器生成装置1可以包括：背景分类器生成单元10，其可以被配置为通过使用一个单类对象分类器和从图像序列中获取的背景图像区域，生成至少一个单类背景分类器；以及组合单元20，其可以被配置为将所述单类对象分类器与所述至少一个单类背景分类器组合为一个多类分类器。
另外，根据本发明的另一实施例，如图13所示，多类分类器生成装置1可以进一步包括对象分类器生成单元05，其可以被配置为生成所述单类对象分类器。
此外，为了容易理解本发明，图14示例性地示出了根据本发明实施例的示例性的背景分类器生成单元的功能框图。
如图14所示，示例性的背景分类器生成单元10可以包括：背景样本选择部件110，其可以被配置为使用单类对象分类器从背景图像区域选择背景样本；背景样本聚类部件120，其可以被配置为将所选取的背景样本聚类为至少一个背景样本集；以及背景分类器生成部件130，其可以被配置为针对每个背景样本集生成一个单类背景分类器。
另外，为了容易理解本发明，根据本发明实施例的背景样本选择部件110可以进一步被配置为执行以下操作以使用单类对象分类器从背景图像区域选择背景样本：首先，以至少一种尺度在各背景图像区域上滑动搜索窗口，并获得该背景图像区域中被该搜索窗口界定的内容作为背景样本；然后，基于各背景样本与所述单类对象分类器之间的距离，将背景样本排序；最后，基于背景样本的排序结果来选择背景样本。
应当注意，由上述装置、单元和/或部件执行的操作与由上面描述的方法执行的步骤类似，例如，使用单类对象分类器和从图像序列获得的背景图像区域生成单类背景分类器的方法，组合单类分类器的方法，使用单类对象分类器从背景图像区域选择背景样本的方法等。
通过上面所述的多类分类器生成装置，可以生成包括彼此独立的一个单类对象分类器和几个单类背景分类器的组合多类分类器。换而言之，这些分类器在被生成之后不互相影响，并且它们中的每一个都能够独立地和单独地执行分类。
通过使用这样生成的多类分类器，一般地，得到的分类精度将高于任何简单的单类分类器，另一方面，将不比任何二类分类器差。
此外，由于构成该多类分类器的各分类器在被生成之后不互相影响并且它们中的每一个都能够独立地和单独地执行分类，其能够灵活地改变该多类分类器的构成或配置。
此外，根据本发明的另一实施例，提供一种多类分类器更新装置。
图15示例性地示出根据本发明实施例的示例性的多类分类器更新装置的功能框图。
如图15所示，多类分类器更新装置2可以包括：样本选择单元30，其可以被配置为针对所述多个单类分类器中的每个单类分类器，从新加的样本之中选择样本作为该单类分类器的候选更新样本；以及单类分类器更新单元40，其可以被配置为使用相应的候选更新样本来更新各单类分类器。
另外，根据本发明另一实施例，如图15所示，多类分类器更新装置2可以进一步包括：新单类分类器生成单元50，其可以被配置为使用新加的样本之中不是各单类分类器的候选更新样本的样本，生成至少一个新的单类分类器，以及添加单元60，其可以被配置为将由所述新单类分类器生成单元生成的至少一个新的单类分类器添加到所述多类分类器中。
另外，根据本发明的再一实施例，如图15所示，多类分类器更新装置2可以进一步包括：去除单元70，其可以被配置为从所述多类分类器之中去除无效的单类分类器。其中，所述无效的单类分类器包括多个单类分类器之中的可能比较不适应新场景的单类分类器，如上面解释的那样。
另外，所述样本选择单元30可以针对每个单类分类器，基于各新加的样本与该单类分类器之间的距离，从新加的样本为该单类分类器选择候选更新样本。
通过上述的多类分类器更新装置，可以基于一些新样本来更新通过组合能够彼此独立地执行分类的一个单类对象分类器和至少一个单类背景分类器而生成的多类分类器。此外，多类分类器的更新可以适应场景的变化，因此可以提高分类精度。
应当注意，由上述装置、单元和/或部件执行的操作与由上面描述的方法执行的步骤类似，例如，用于更新单类背景分类器的方法、用于从新加样本选择样本作为候选更新样本的方法、用于使用相应候选更新样本更新单类分类器的方法、用于生成新的单类分类器的方法、用于选择候选更新样本的方法等。
此外，根据本发明另一实施例，提供一种对象检测装置。
图16示例性地示出本发明实施例的示例性的对象监测装置的功能框图。
如图16所示，对象检测装置3可以包括：生成单元1’，被配置为通过组合能够彼此独立地执行分类的一个单类对象分类器和至少一个单类背景分类器，生成多类分类器；以及检测单元80，被配置为使用所述多类分类器来检测图像中的对象。
其中，生成单元1’可以与通过组合能够彼此独立地执行分类的一个单类对象分类器和至少一个单类背景分类器而生成多类分类器的装置1类似。但是，本发明对于检测对象时要使用的方法不作任何限制，所述多类分类器也可以是通过以后要开发的任何适当的生成单元和/或方法生成的。
此外，生成单元1’可以作为一个部件包括在对象检测装置3中，或者可替换地，也可以不包括在其中。本发明在这点上不作任何限制。
另外，根据本发明的另一实施例，如图16所示，对象检测装置3可以进一步包括：收集单元90，其可以被配置为从图像序列收集新的对象样本和背景样本以从所述新的对象样本和背景样本之中选取样本作为新加的样本；和多类分类器更新单元100，其可以被配置为基于所述新加的样本，更新所述多类分类器。
另外，根据本发明的再一实施例，如图16所示，多类分类器更新单元100可以包括如上所述的多类分类器更新装置2。但是，本发明并不想要对于多类分类器更新单元100作出任何限制。
另外，为了容易理解本发明，根据本发明实施例的收集单元90可以进一步被配置为执行以下操作以从图像序列收集新的对象样本和背景样本以从所述新的对象样本和背景样本之中选取样本作为新加的样本：以至少一种尺度在图像上滑动搜索窗口，并获得该图像中的被该搜索窗口界定的内容作为新的样本；基于各新的样本与所述单类对象分类器之间的距离，将这些新的样本排序；以及基于这些新的样本的排序结果，从这些新的样本中选择样本作为所述新加的样本。
通过上述的对象检测装置，在实施例中，可以自如地添加或去除包括彼此独立的一个单类对象分类器和几个单类背景分类器的多类分类器中的任何单类分类器。
如上所述，由于构成该多类分类器的各分类器在被生成之后不互相影响并且它们中的每一个都能够独立地和单独地执行分类，其能够改变该多类分类器的构成或配置。具体地，例如，可以通过添加或去除一个或多个单类分类器(可以是对象分类器或背景分类器)来改变多类分类器的构成或配置。
因此，本实施例不仅适合于固定背景或缓慢变化的背景，而且适合于突然变化的背景。因此，在对象检测和/或图像处理方面，它能够实现更好的结果。
应当注意，由上述装置、单元和/或部件执行的操作与由上面描述的方法执行的步骤类似，例如，用于检测对象的方法、用于生成多类分类器的方法、用于从图像序列收集新的对象样本和背景样本的方法、用于更新单类分类器的方法等。
此外，根据本发明的另一实施例，还提供一种图像处理设备。
图17示例性地示出示例性的图像处理设备的功能框图。
如图17所示，图像处理设备4可以包括根据实施例的对象检测装置3。
这里，图像处理设备4可以是图像拍摄或拾取装置，例如摄像机、便携式摄像机、照相机、监视/控制装置、任何种类的计算机、平板电脑、智能手机、游戏机、报警设备等。
在实施例中，提供了创新的多类分类器生成方法和装置、创新的多类分类器更新方法和装置、创新的对象检测方法和装置、以及创新的图像处理设备，它们不仅适合固定的背景或者缓慢改变的背景，而且适合突然变化的背景。因此，通过使用实施例，可以在对象检测和/或图像处理方面实现极好的结果。
此外，在实施例中，通过新加的样本，不仅能够更新由多个独立的单类分类器构成的多类分类器中的每个单类分类器，而且能够更新整个多类分类器。以这种方式，实施例能够显著提高分类精度，并由此提高召回率和降低误检测。
结果比较
为了评估本发明，在用户注册对象检测(UROD)***中使用在线学习方法。由用户给出规定对象的单拍(one-shot)样本(教导者)，并且，创建通过支持向量数据描述(SVDD)从给定样本学习的单类分类器，以检测用户注册对象，并且通过在图像上(可能以多个尺度)滑动窗口以将每个这样的局部窗口分类为包含对象或背景来执行对象检测。然后，针对真值(ground truth)评估检测结果。图像区域描述的特征是颜色和局部三值模式(localternary pattern，LTP)。
评估准则是使用PASCAL评估准则(作者为M.Everingham、A.Zisserman，C.K.I.Williams、和L.Gool，题目为“The PASCAL Visual Object Classes Challenge2006(VOC2006)Results，”参见http://www.pascal-network.org/challenges/VOC/voc2006/resu lts.pdf)。即，当
Figure GDA0002267789230000251
时，检测区域被视作正确检测的区域。这里，假定T是0.5。
另外，使用以下参数来评估检测结果。
1)召回率：
Figure GDA0002267789230000252
2)误检每图像(false positive per image，FPPI)：
Figure GDA0002267789230000253
其中，误测的帧包括不包含对象但是被检测到的帧。
评估1
将通过使用实施例中公开的方法所获得的检测结果与通过使用由HelmutGrabner、Christian Leistner和Horst Bischof在论文“Semi-Supervised On-lineBoosting for Robust Tracking”(ECCV，2008)中公开的二类背景建模方法所获得的检测结果进行比较。这些评估视频都是用手持相机拍摄的。要检测对象是很多种动物，例如猫、狗等。每种动物具有不同的外观，并且背景缓慢变化。
图18示出来自测试视频的两个例示帧，其中，通过二类背景建模获得的检测结果用细线围起来的矩形表示，通过实施例获得的检测结果用粗线围起来的矩形表示。从图18可以看出，通过实施例获得的检测结果比通过二类背景建模获得的检测结果精确。
另外，通过以下三种方法来评估整个视频。方法1是现有技术中的二类背景建模方法；方法2是仅用新加样本更新多类分类器中的单类分类器的多类背景建模方法，如图6所示；方法3是不仅更新多类分类器中的各单类分类器，而且还更新整个多类分类器的多类背景建模方法，如图7所示。通过上述三种方法所获得的得到的召回率和FPPI在表1中示出。
表1比较结果
UROD*** 总帧数 对象帧数 召回率(检测率) FPPI
方法1 167607 95672 82.02％ 0.63％
方法2 167607 95672 90.15％ 0.58％
方法3 167607 95672 92.97％ 0.46％
从上述表1可以看出，当通过实施例提出的背景建模方法(即，方法2和方法3)被用于对象检测时，可以提高召回率并且大大地减少FPPI。
评估2
不同情形(诸如背景、发光条件等)下的关于波美拉尼亚种小狗的视频被选择用于评估实施例中提出的在线学习方法。在该视频中，对象和背景明显地改变。以下三种使用背景建模方法的对象检测方法被用于UROD***中。方法1是现有技术中的二类背景建模方法；方法2是仅用新加样本更新多类分类器中的单类分类器的多类背景建模方法，如图6所示；方法3是不仅更新多类分类器中的各单类分类器，而且还更新整个多类分类器的多类背景建模方法，如图7所示。在图19A和图19B中关于时间示出检测率和FPPI。
从图19A和图19B可以看出，当通过实施例提出的在线学习方法(即，方法2和方法3)被用于对象检测时，与方法1相比，它们可以明显地提高检测率和降低FPPI。当继续添加新样本时，在保持与方法2基本相同的检测率的同时，方法3还导致FPPI显著低于方法2。
总之，实施例公开了用于提高分类精度的多类分类器的在线学习方法，并且该多类分类器可以是由多个独立的单类分类器构成的组合的多类分类器。它不仅可以更新多类分类器中的每个单类分类器，而且还能够更新整个多类分类器。所述多类分类器的组合的架构使得它非常容易用在很多应用中。
此外，实施例还公开了基于背景建模的对象检测方法，以便提高召回率和降低错误检测率。它不仅能够应对固定或限制的背景情况，还能够应对急剧变化的背景情况。
在实施例中，提供了创新的多类分类器生成方法和装置、创新的多类分类器更新方法和装置、创新的对象检测方法和装置、以及创新的图像处理设备，它们不仅适合固定的背景或者缓慢改变的背景，而且适合突然变化的背景。因此，通过使用本发明，可以在对象检测和/或图像处理方面实现极好的结果。
此外，在本发明中，通过新加的样本，不仅能够更新由多个独立的单类分类器构成的多类分类器中的每个单类分类器，而且能够更新整个多类分类器。以这种方式，实施例能够显著提高分类精度，并由此提高召回率和降低误检测。
请注意，上述实施例仅是示例性的，本发明不限于它们。此外，说明书中的各个方面的各种组合都应包含在本发明的保护范围中。
另外，请注意，可以用许多方式实施本公开的方法和装置。例如，可以通过软件、硬件、固件、或其任何组合来实施本公开的方法和设备。上述的方法步骤的次序仅是示例性的，本公开的方法步骤不限于以上具体描述的次序，除非以其他方式明确说明。此外，在一些实施例中，本公开还可以被实施为记录在记录介质中的程序，其包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于实现根据本公开的方法的程序的记录介质。
在上面的描述中，虽然已通过示例详细展示了本公开的一些具体实施例，但是本领域普通技术人员应当理解，上述例子仅意图是示例性的而非限制本公开的范围。本领域普通技术人员应当理解，上述实施例可以被修改而不脱离本公开的范围和实质。本公开的范围是通过所附的权利要求来限定的。

Claims (23)

1.一种获取多类分类器的方法，所述多类分类器是通过组合包括单类对象分类器和至少一个单类背景分类器的多个单类分类器而生成的，该方法包括以下步骤：
通过组合包括单类对象分类器和至少一个单类背景分类器的多个单类分类器，生成多类分类器；
在所述多个单类分类器中顺序选择单类分类器；
基于各新加的样本与所选取的单类分类器之间的距离，从新加的样本之中选择样本作为所选取的单类分类器的候选更新样本；
使用相应的候选更新样本，更新每个单类分类器；
使用新加的样本之中没有被选择作为各单类分类器中的任意单类分类器的候选更新样本的样本，生成至少一个新的单类分类器，以及
将生成的至少一个新的单类分类器添加到所述多类分类器中。
2.根据权利要求1所述的方法，其中，生成多类分类器的步骤，包括以下步骤：
通过使用单类对象分类器和从图像序列中获取的背景图像区域，生成至少一个单类背景分类器；以及
将所述单类对象分类器与所述至少一个单类背景分类器组合为多类分类器。
3.根据权利要求2所述的方法，还包括生成所述单类对象分类器的步骤。
4.根据权利要求2或3所述的方法，其中，生成至少一个单类背景分类器的步骤包括：
使用所述单类对象分类器从所述背景图像区域选择背景样本；
将所选取的背景样本聚类为至少一个背景样本集；以及
针对每个背景样本集生成单类背景分类器。
5.根据权利要求4所述的方法，其中，选择背景样本的步骤包括：
以至少一种尺度在每个背景图像区域上滑动搜索窗口，并获得该背景图像区域中被该搜索窗口界定的内容作为背景样本；
基于各背景样本与所述单类对象分类器之间的距离，将背景样本排序；以及
基于背景样本的排序结果来选择背景样本。
6.根据权利要求1所述的方法，还包括以下步骤：
从所述多类分类器之中去除无效的单类分类器。
7.根据权利要求6所述的方法，其中，所述无效的单类分类器包括所述多个单类分类器之中的不适应新场景的单类分类器。
8.一种检测对象的方法，包括以下步骤：
根据权利要求1-7中任一项所述的方法，获取多类分类器；以及
使用所述多类分类器来检测图像中的对象。
9.根据权利要求8所述的方法，还包括以下步骤：
从图像序列收集新的对象样本和背景样本以从所述新的对象样本和背景样本之中选择样本作为新加的样本；和
基于所述新加的样本，更新所述多类分类器。
10.根据权利要求9所述的方法，其中，使用根据权利要求1和6-7中的任一项所述的获取多类分类器的方法来更新所述多类分类器。
11.根据权利要求9所述的方法，其中，从图像序列收集新的对象样本和背景样本以从所述新的对象样本和背景样本之中选取样本作为新加的样本的步骤包括：
以至少一种尺度在图像上滑动搜索窗口，并获得该图像中被该搜索窗口界定的内容作为新的样本；
基于各新的样本与所述单类对象分类器之间的距离，将这些新的样本排序；以及
基于这些新的样本的排序结果，从这些新的样本中选择样本作为所述新加的样本。
12.一种获取多类分类器的装置，所述多类分类器是通过组合包括单类对象分类器和至少一个单类背景分类器的多个单类分类器而生成的，所述装置包括：
生成单元，被配置为通过组合包括单类对象分类器和至少一个单类背景分类器的多个单类分类器来生成多类分类器；
样本选择单元，被配置为在所述多个单类分类器中顺序选择单类分类器，并基于各新加的样本与所选取的单类分类器之间的距离，从新加的样本之中选择样本作为所选取的单类分类器的候选更新样本；
单类分类器更新单元，被配置为使用其相应的候选更新样本来更新每个单类分类器；
新单类分类器生成单元，被配置为使用新加的样本之中没有被选择作为各单类分类器中的任意单类分类器的候选更新样本的样本，生成至少一个新的单类分类器，以及
添加单元，被配置为将由所述新单类分类器生成单元生成的至少一个新的单类分类器添加到所述多类分类器中。
13.根据权利要求12所述的装置，其中，用于生成多类分类器的生成单元包括：
背景分类器生成单元，被配置为通过使用单类对象分类器和从图像序列中获取的背景图像区域，生成至少一个单类背景分类器；以及
组合单元，被配置为将所述单类对象分类器与所述至少一个单类背景分类器组合为多类分类器。
14.根据权利要求13所述的装置，还包括被配置为生成所述单类对象分类器的对象分类器生成单元。
15.根据权利要求13或14所述的装置，其中，所述背景分类器生成单元包括：
背景样本选择部件，被配置为使用所述单类对象分类器从所述背景图像区域选择背景样本；
背景样本聚类部件，被配置为将所选取的背景样本聚类为至少一个背景样本集；以及
背景分类器生成部件，被配置为针对每个背景样本集生成单类背景分类器。
16.根据权利要求15所述的装置，其中，所述背景样本选择部件进一步被配置为：
以至少一种尺度在每个背景图像区域上滑动搜索窗口，并获得该背景图像区域中被该搜索窗口界定的内容作为背景样本；
基于各背景样本与所述单类对象分类器之间的距离，将背景样本排序；以及
基于背景样本的排序结果来选择背景样本。
17.根据权利要求12所述的装置，还包括：
去除单元，被配置为从所述多类分类器之中去除无效的单类分类器。
18.根据权利要求17所述的装置，其中，所述无效的单类分类器包括所述多个单类分类器之中的不适应新场景的单类分类器。
19.一种检测对象的装置，所述装置包括：
多类分类器，使用根据权利要求12-18中任一项所述的装置来获取；以及
检测单元，被配置为使用所述多类分类器来检测图像中的对象。
20.根据权利要求19所述的装置，还包括：
收集单元，被配置为从图像序列收集新的对象样本和背景样本以从所述新的对象样本和背景样本之中选取样本作为新加的样本；和
多类分类器更新单元，被配置为基于所述新加的样本，更新所述多类分类器。
21.根据权利要求20所述的装置，其中，所述多类分类器更新单元包括根据权利要求12和17-18中的任一项所述的获取多类分类器的装置。
22.根据权利要求20所述的装置，其中，所述收集单元还被配置为：
以至少一种尺度在图像上滑动搜索窗口，并获得该图像中被该搜索窗口界定的内容作为新的样本；
基于各新的样本与所述单类对象分类器之间的距离，将这些新的样本排序；以及
基于这些新的样本的排序结果，从这些新的样本中选择样本作为所述新加的样本。
23.一种图像处理设备，包括根据权利要求19至22中的任一项所述的检测对象的装置。
CN201510244526.9A 2015-05-14 2015-05-14 获取分类器、检测对象的方法和装置及图像处理设备 Active CN106295666B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201510244526.9A CN106295666B (zh) 2015-05-14 2015-05-14 获取分类器、检测对象的方法和装置及图像处理设备
US15/152,375 US10242295B2 (en) 2015-05-14 2016-05-11 Method and apparatus for generating, updating classifier, detecting objects and image processing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510244526.9A CN106295666B (zh) 2015-05-14 2015-05-14 获取分类器、检测对象的方法和装置及图像处理设备

Publications (2)

Publication Number Publication Date
CN106295666A CN106295666A (zh) 2017-01-04
CN106295666B true CN106295666B (zh) 2020-03-03

Family

ID=57277566

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510244526.9A Active CN106295666B (zh) 2015-05-14 2015-05-14 获取分类器、检测对象的方法和装置及图像处理设备

Country Status (2)

Country Link
US (1) US10242295B2 (zh)
CN (1) CN106295666B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106295666B (zh) * 2015-05-14 2020-03-03 佳能株式会社 获取分类器、检测对象的方法和装置及图像处理设备
EP3467769A4 (en) * 2016-05-27 2019-11-13 Rakuten, Inc. PICTURE PROCESSING DEVICE, PICTURE PROCESSING METHOD AND PICTURE PROCESSING PROGRAM
US9734373B1 (en) * 2016-08-31 2017-08-15 Vium, Inc. Method of reading animal marks
CN106845537B (zh) * 2017-01-09 2020-12-04 北京邮电大学 一种基于自适应阈值的分类器半径确定方法及装置
US10754514B1 (en) * 2017-03-01 2020-08-25 Matroid, Inc. Machine learning in video classification with schedule highlighting
US11829848B2 (en) * 2017-05-09 2023-11-28 Microsoft Technology Licensing, Llc Adding negative classes for training classifier
US10275646B2 (en) * 2017-08-03 2019-04-30 Gyrfalcon Technology Inc. Motion recognition via a two-dimensional symbol having multiple ideograms contained therein
CN108921111A (zh) * 2018-07-06 2018-11-30 南京旷云科技有限公司 对象检测后处理方法及对应装置
CN109961032B (zh) * 2019-03-18 2022-03-29 北京字节跳动网络技术有限公司 用于生成分类模型的方法和装置
US11636385B2 (en) * 2019-11-04 2023-04-25 International Business Machines Corporation Training an object detector using raw and unlabeled videos and extracted speech
CN111832627B (zh) * 2020-06-19 2022-08-05 华中科技大学 抑制标签噪声的图像分类模型训练方法、分类方法及***
US20220101066A1 (en) * 2020-09-29 2022-03-31 Objectvideo Labs, Llc Reducing false detections for night vision cameras
US11805139B1 (en) 2021-01-25 2023-10-31 Trend Micro Incorporated Multiclass classification system with accumulator-based arbitration

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102129572A (zh) * 2011-02-25 2011-07-20 杭州海康威视软件有限公司 采用级联分类器的人脸检测方法及其装置
CN102436589A (zh) * 2010-09-29 2012-05-02 中国科学院电子学研究所 一种基于多类基元自主学习的复杂目标自动识别方法
CN102915450A (zh) * 2012-09-28 2013-02-06 常州工学院 一种在线自适应调整的目标图像区域跟踪方法
CN102999760A (zh) * 2012-09-28 2013-03-27 常州工学院 投票权值在线自适应调整的目标图像区域跟踪方法
EP2833295A2 (en) * 2013-07-31 2015-02-04 Fujitsu Limited Convolutional-neural-network-based classifier and classifying method and training methods for the same
CN104424466A (zh) * 2013-08-21 2015-03-18 佳能株式会社 对象检测方法、对象检测设备及图像拾取设备
CN104504392A (zh) * 2014-12-05 2015-04-08 成都国科海博信息技术股份有限公司 一种车辆分类方法及***

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7769228B2 (en) * 2004-05-10 2010-08-03 Siemens Corporation Method for combining boosted classifiers for efficient multi-class object detection
US20090154814A1 (en) * 2007-12-12 2009-06-18 Natan Y Aakov Ben Classifying objects using partitions and machine vision techniques
CN101853389A (zh) * 2009-04-01 2010-10-06 索尼株式会社 多类目标的检测装置及检测方法
US8385632B2 (en) * 2010-06-01 2013-02-26 Mitsubishi Electric Research Laboratories, Inc. System and method for adapting generic classifiers for object detection in particular scenes using incremental training
US8924313B2 (en) * 2010-06-03 2014-12-30 Xerox Corporation Multi-label classification using a learned combination of base classifiers
CN102737255A (zh) * 2011-03-30 2012-10-17 索尼公司 目标检测设备和方法
CN103294716B (zh) 2012-02-29 2016-08-10 佳能株式会社 用于分类器的在线半监督学习方法和装置及处理设备
US9213896B2 (en) * 2013-03-05 2015-12-15 Mitsubishi Electric Research Laboratories, Inc. Method for detecting and tracking objects in image sequences of scenes acquired by a stationary camera
CN105718937B (zh) * 2014-12-03 2019-04-05 财团法人资讯工业策进会 多类别对象分类方法及***
IN2015MU01794A (zh) * 2015-05-05 2015-06-19 Manharlal Shah Bhavin
CN106295666B (zh) * 2015-05-14 2020-03-03 佳能株式会社 获取分类器、检测对象的方法和装置及图像处理设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102436589A (zh) * 2010-09-29 2012-05-02 中国科学院电子学研究所 一种基于多类基元自主学习的复杂目标自动识别方法
CN102129572A (zh) * 2011-02-25 2011-07-20 杭州海康威视软件有限公司 采用级联分类器的人脸检测方法及其装置
CN102915450A (zh) * 2012-09-28 2013-02-06 常州工学院 一种在线自适应调整的目标图像区域跟踪方法
CN102999760A (zh) * 2012-09-28 2013-03-27 常州工学院 投票权值在线自适应调整的目标图像区域跟踪方法
EP2833295A2 (en) * 2013-07-31 2015-02-04 Fujitsu Limited Convolutional-neural-network-based classifier and classifying method and training methods for the same
CN104424466A (zh) * 2013-08-21 2015-03-18 佳能株式会社 对象检测方法、对象检测设备及图像拾取设备
CN104504392A (zh) * 2014-12-05 2015-04-08 成都国科海博信息技术股份有限公司 一种车辆分类方法及***

Also Published As

Publication number Publication date
US10242295B2 (en) 2019-03-26
CN106295666A (zh) 2017-01-04
US20160335521A1 (en) 2016-11-17

Similar Documents

Publication Publication Date Title
CN106295666B (zh) 获取分类器、检测对象的方法和装置及图像处理设备
CN110175549B (zh) 人脸图像处理方法、装置、设备及存储介质
US9652694B2 (en) Object detection method, object detection device, and image pickup device
JP5570629B2 (ja) 分類器の学習方法及び装置、並びに処理装置
US10395136B2 (en) Image processing apparatus, image processing method, and recording medium
JP2019521443A (ja) 適応型追加学習を用いた細胞のアノテーション法及びアノテーションシステム
CN109189767B (zh) 数据处理方法、装置、电子设备及存储介质
CA3066029A1 (en) Image feature acquisition
KR102315574B1 (ko) 데이터 분류 방법 및 장치와 관심영역 세그멘테이션 방법 및 장치
JP2007537542A5 (zh)
JP6897749B2 (ja) 学習方法、学習システム、および学習プログラム
CN111222397B (zh) 一种绘本识别方法、装置及机器人
CN107133629B (zh) 图片分类方法、装置和移动终端
JP2017102906A (ja) 情報処理装置、情報処理方法及びプログラム
CN115062186B (zh) 一种视频内容检索方法、装置、设备以及存储介质
CN113963303A (zh) 图像处理方法、视频识别方法、装置、设备及存储介质
CN105678333B (zh) 一种拥挤区域的确定方法和装置
WO2023280229A1 (zh) 图像处理方法、电子设备及存储介质
CN111797762A (zh) 一种场景识别方法和***
CN106156808B (zh) 对象分类器的在线学习方法和设备以及检测方法和设备
JP7119774B2 (ja) 学習プログラム、画像分類プログラム、学習方法、画像分類方法、学習装置および画像分類装置
CN113987243A (zh) 一种图像聚档方法、图像聚档装置和计算机可读存储介质
JP5004743B2 (ja) データ処理装置
CN107403428B (zh) 板材缺陷识别方法及装置
JP2016062249A (ja) 識別辞書学習システム、認識辞書学習方法および認識辞書学習プログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant