CN106355182A - 用于对象检测和图像处理的方法和装置 - Google Patents

Abstract

本发明提供用于对象检测和图像处理的方法和装置。对象检测方法包括：基于预定特征点位置，确定获取图像中的第一特征点；确定覆盖所述第一特征点的局部区域中的第二特征点；计算所述第一特征点和所述第二特征点的基于位置的特征值；以及基于预定查找表以及计算出的所述基于位置的特征值，来确定所述局部区域的置信度。此外，通过使用本发明能够提高对象检测精度。

Description

用于对象检测和图像处理的方法和装置

技术领域

本发明涉及用于图像处理的方法和装置，尤其涉及用于对象检测的方法和装置。

背景技术

近年来，通过对象检测器(即，对象分类器)来检测和/或识别图像或视频中的对象(例如人脸、人体、宠物、汽车等)成为引人注目的用法。由于boosting方法的快速特性和高精度特性，因此通过提高方法来获得大部分对象检测器，例如在“High-Performance Rotation InvariantMultiview Face Detection(Chang HUANG,Haizhou AI,Yuan LI,ShihongLAO；IEEE Transactions on Pattern Analysis and Machine Intelligence,Vol.29,No.4,pp.671-686,APRIL 2007)”中公开的方法。

图1示出了对象检测技术中的通常对象检测***100的示例性多级结构。如图1所示，对象检测***包括通过提高方法训练的多个弱对象分类器，并且各弱对象分类器包含阈值(TH)和至少一个查找表(LUT)。通过该对象检测***100，只有输入图像通过从第一个弱对象分类器到最后一个弱对象分类器的所有弱对象分类器，才将输入图像判断为期望对象。如果输入图像被任何一个弱对象分类器拒绝，则将输入图像判断为非期望对象，并且将不使用下一个弱对象分类器。

针对图1所示的弱对象分类器中的一个，其通常操作包括：首先，弱对象分类器基于一些预定特征点位置来确定输入图像中的某些特征点；其次，弱对象分类器针对所确定的特征点计算特征值；再次，弱对象分类器基于计算出的特征值和预先训练的LUT，针对所确定的特征点确定置信度；然后，弱对象分类器基于所确定的置信度和预先训练的TH，判断输入图像是否为期望对象。

由于基于位置的特征反映了对象的局部位置信息，因此在对象检测期间，通过使用基于位置的特征能够获得对象的精确位置，所以，在对象检测技术中，基于位置的特征被普遍用于计算特征点的特征值。上述基于位置的特征例如可以是局部二值模式(LBP)特征、均匀LBP特征、局部三值模式(LTP)特征。此外，在“Object detection using non-redundantLocal Binary Patterns(Nguyen,D.,Zong,z.,Ogunbona,P.&Li,W；Proceedings of 2010IEEE 17^th International Conference on Image Processing(pp.4609-4612).New York,NY,USA:IEEE)”中公开了使用LBP特征检测对象的一种示例性技术。

然而，通常地，基于位置的特征对于特征点的位置信息是敏感的。如果在输入图像中未准确地确定特征点，则基于特征点计算出的基于位置的特征值将导致获得不正确的置信度，这会使弱对象分类器最终做出不正确的判断。换句话说，如果输入图像中的对象具有小的位置偏移或变形，和/或在拍摄图像时照明具有小的方向偏移，则基于预定特征点位置而确定的特征点可能会与实际代表输入图像中的对象的真实特征点不相匹配。然后，获得的置信度可能会不正确。因此，弱对象分类器将做出不正确的判断，例如将实际上是期望对象的输入图像判断为非期望对象，或将实际上是非期望对象的输入图像判断为期望对象。

发明内容

因此，鉴于以上背景技术中的记述，本发明要解决的问题是：使对象检测对于输入图像中的对象的小的位置偏移和/或变形更加鲁棒(robust)，并且对于输入图像的照明的小的方向偏移更加鲁棒。

根据本发明的一方面，提供了一种对象检测方法，其包括：第一特征点确定步骤，基于至少一个预定特征点位置，确定获取图像中的至少一个第一特征点；第二特征点确定步骤，将至少一个第一局部区域中的至少一个特征点确定为第二特征点，其中，所述第一局部区域中的一个覆盖所述第一特征点中的一个；特征值计算步骤，计算所述第一特征点和所述第二特征点的基于位置的特征值；以及置信度确定步骤，基于至少一个预定查找表以及所述第一特征点和所述第二特征点的所述基于位置的特征值，来确定所述第一局部区域的置信度。

为了使对象检测对于所确定的特征点的位置信息更加不敏感，在基于预定的特征点位置确定第一特征点之后，本发明在计算基于位置的特征值和确定置信度时，考虑第一特征点的周围特征点。因此，如果在获取图像中存在对象的小的位置偏移和/或变形，或者在拍摄获取图像时存在照明的小的方向偏移，则能够使用周围特征点的特征值来优化置信度的确定。也就是说，本发明能够获得更加准确的置信度，并且最终能够做出正确的判断。因此，通过使用本发明能够提高对象检测精度。

通过以下参照附图的描述，本发明的其他特征和优点将变得清楚。

附图说明

包含在说明书中并构成说明书的一部分的附图例示了本发明的实施例，并且与文字说明一起用来解释本发明的原理。

图1示出了对象检测技术中的通常对象检测***的示例性多级结构。

图2是示出应用根据本发明的对象检测技术的对象检测***的整体构造的框图。

图3是例示根据本发明的实施例的对象检测装置的示例性控制结构的框图。

图4示意性地示出了根据本发明的实施例的对象检测方法的流程图。

图5示意性地示出了根据本发明的实施例的用于更新一个预定LUT的处理的流程图。

图6示意性地示出了根据本发明的实施例的用于以多级方式判断获取图像是否包含对象的处理的流程图。

图7A和图7B示意性地示出了根据本发明的实施例的用于从获取图像中获得子图像的两种方法。

图8示意性地示出了根据本发明的实施例的图像处理方法的流程图。

图9是例示根据本发明的实施例的对象检测装置的示例性功能结构的框图。

具体实施方式

下面将参照附图详细描述本发明的示例性实施例。应当指出，以下描述实质上仅仅用于例示并且是示例性的描述，绝不意在限制本发明及其应用或用途。除非另外具体说明，在这些实施例中给出的部件和步骤的相对布置、数字表达式及数值不限制本发明的范围。另外，不会对本领域技术人员已知的技术、方法和设备进行详细讨论，但是在适当时，这些技术、方法和设备意在成为说明书的一部分。

请注意，类似的附图标记和字母指代图中的类似项目，因此一旦在一个图中定义了项目，则无需针对后面的图讨论该项目。

(对象检测***)

图2是示出应用根据本发明的对象检测技术的对象检测***200的整体构造的框图。如图2所示，对象检测***200可以包括图像获取设备210和对象检测装置220。

图像获取设备210捕获或获取要被判断其中是否存在要检测的对象的图像。此外，图像获取设备210可以是任意类型的电子设备，只要其能够捕获或获取图像即可，例如照相机、数字照相机、电视照相机、摄像机、移动电话、个人数据助理(PDA)、笔记本电脑、或其他合适的电子设备。

由图像获取设备210获取的图像被发送至对象检测装置220。此外，根据下文中将参照图3至图9详细描述的本发明的实施例，对象检测装置220判断获取图像是否包含要检测的对象。通常地，对象检测装置220可以包括两个主要部分，即图像处理部分(即，特征提取部分)和判断部分。首先，如图2所示，在图像处理部分中，对象检测装置220(即，图像处理装置221)从获取图像中获得或提取特征(例如基于位置的特征值和/或其他类型的特征值)。然后，在判断部分中，对象检测装置220(即，判断装置222)基于获得或提取的特征，判断获取图像是否包含要检测的对象。

然后，对象检测装置220将检测结果输出至后续操作。

在一个实例中，假设图2所示的对象检测装置220应用在数字照相机中，在对象检测装置220检测到一个对象(例如人、人脸、宠物等)出现在数字照相机的拍摄区域中之后，聚焦框呈现在数字照相机的显示画面中，其中，聚焦框与根据本发明被判断为包含对象的图像块相对应。此外，图像获取设备210可以是数字照相机的现有部件，对象检测装置220可以由数字照相机中的硬件和/或软件实现。在一个实施方式中，能够执行对象检测的功能模块或功能装置可以被整合到数字照相机中，因此数字照相机具有相应的对象检测功能。在另一实施方式中，能够执行对象检测的软件程序可以被存储在数字照相机的存储设备中，因此数字照相机也具有相应的对象检测功能。

(对象检测方法)

图3是例示图2所示的对象检测装置220的、能够实现下文中描述的技术的示例性控制结构300的框图。对象检测装置220的控制结构300可以包括中央处理单元(CPU)310、随机存取存储器(RAM)320、只读存储器(ROM)330、硬盘340、输入设备350、输出设备360、网络接口370和***总线380。

CPU 310可以是任意合适的可编程控制设备，并且能够通过执行存储在ROM 330或硬盘340中的各种应用程序，来执行下文中将描述的各种功能。RAM 320用于临时存储从ROM 330或硬盘340加载的程序或数据，并且还用作如下空间，在所述空间中CPU 310执行各种程序(例如执行下文中将参照图4至图9详细描述的技术)以及由对象检测装置200进行的其他功能。硬盘340可以存储多种信息，例如操作***(OS)、各种应用、控制程序和由制造商预先生成或训练的数据，其中，数据例如可以是下文中将描述的LUT、TH、特征点位置。

在一个实施方式中，输入设备350可以是输入接口，并且可以接收例如从图2所示的图像获取设备210输出的图像。另外，输出设备360可以是输出接口，并且可以将检测结果输出至后续操作，例如使照相机呈现上述检测对象的聚焦框。

在另一实施方式中，输入设备350可以使用户能够与对象检测装置220交互，例如用户可以通过输入设备350输入图像。此外，输入设备350可以采取各种形式，例如按钮、小键盘、拨盘、点击式触摸转盘或触摸屏。输出设备360可以包括阴极射线管(CRT)或液晶显示器，并且可以向用户显示检测结果。另外，如果对象检测装置220是所谓的诸如智能移动电话、PDA、平板电脑或其他合适的个人设备等的设备，则输入设备350和输出设备360可以被一体化地整合。此外，如果对象检测装置220是所谓的诸如传统移动电话、笔记本电脑、桌上电脑或其他合适的个人设备等的设备，则输入设备350和输出设备360可以被分开地整合。

网络接口370提供用于将对象检测装置220连接至网络(未示出)的接口。例如，对象检测装置220能够经由网络接口370与经由网络连接的其他电子设备(例如图2所示的图像获取设备210)和/或服务器(未示出)进行数据通信。另选地，可以为对象检测装置220提供无线接口，以进行无线数据通信。***总线380可以提供数据传输路径，以将数据在CPU 310、RAM 320、ROM 330、硬盘340、输入设备350、输出设备360和网络接口370等之间相互传输。尽管被称为总线，但是***总线380不限于任何特定的数据传输技术。

图4示意性地示出了根据本发明的实施例的对象检测方法的流程图400。

图4的流程图所示的对象检测所需的程序与其他程序(例如将在下文中详细描述的图8的流程图所示的图像处理所需的程序)一起存储在硬盘340中。当CPU 310需要执行图4的流程图时，存储在硬盘340中的程序被加载到RAM 320中。稍后描述的流程图的处理也以相同方式被加载到RAM 320中，并由CPU 310执行。

如上所述，首先，图3所示的输入设备350接收从图2所示的图像获取设备210输出的、或由用户输入的一个图像。其次，输入设备350将获取图像经由***总线380传输至CPU 310。

然后，如图4所示，在第一特征点确定步骤S420中，CPU 310通过***总线380从输入设备350获取该获取图像，并基于至少一个预定特征点位置确定获取图像中的至少一个第一特征点，其中，预定特征点位置可以存储在图3所示的ROM 330或硬盘340中，和/或可以存储在经由网络(未示出)与图2所示的对象检测装置220连接的服务器中。

在一个实施方式中，可以根据经验或先验知识(priori knowledge)，由制造商手动标记预定特征点位置。例如以人脸作为检测的对象，可以将关键位置(例如眼睛的位置、鼻子的位置及嘴巴的位置)标记为预定特征点位置。在另一实施方式中，当训练上述弱对象分类器时可以确定预定特征点位置。

此外，作为可选方案，首先，CPU 310将获取图像的大小缩放为与预定特征点位置相对应的、并同预定特征点位置一起确定和存储的样本图像块的大小。然后，CPU 310基于预定特征点位置在样本图像块中的坐标，在缩放后的图像中确定第一特征点。此外，在该可选方案中，由CPU 310确定的第一特征点的量与预定特征点位置的量相同。

在如图4所示的第二特征点确定步骤S430中，CPU 310确定至少一个第一局部区域中的至少一个特征点，作为第二特征点，其中第一局部区域中的一个覆盖第一特征点中的一个。其中，第二特征点可以是第一局部区域中的任意特征点，并且通常将第一局部区域中的均匀分布的特征点确定为第二特征点。

为了减少计算量并获得更好的对象检测精度，作为优选方案，CPU310可以根据第一特征点之间的距离来确定第一局部区域的大小。此外，确定的第一局部区域不相互交叠。

在一个实施方式中，CPU 310可以根据经验或先验知识确定第一局部区域。在一个实例中，一个第一局部区域可以是通过以一个第一特征点作为圆心或以一个第一特征点作为圆周上的点而确定的圆。在另一实例中，一个第一局部区域可以是通过以一个第一特征点作为多边形对角线的中心或以一个第一特征点作为多边形的边上的点而确定的多边形。

为了确保CPU 310在任意情形下(例如，对象的小的位置偏移和/或变形、或照明的小的方向偏移)总是能够在确定的第一局部区域中确定与第一特征点匹配的第二特征点，作为优选方案，第一局部区域可以是通过以第一特征点作为圆心并且以几个像素(例如一个像素)的大小作为圆的半径而确定的圆。

如图4所示，在CPU 310确定第一特征点和第二特征点之后，在特征值计算步骤S440中，CPU 310计算第一特征点和第二特征点的第一基于位置的特征值。如上所述，基于位置的特征例如可以是LBP特征、均匀LBP特征及LTP特征。

然后，在置信度确定步骤S450中，CPU 310基于至少一个预定LUT以及第一特征点和第二特征点的第一基于位置的特征值，确定第一局部区域的置信度，其中，预定LUT被存储在图3所示的ROM 330或硬盘340中，和/或可以被存储在经由网络(未示出)与图2所示的对象检测装置220连接的服务器中。预定LUT中的一个与预定特征点位置中的一个相对应，并且预定LUT中的一个包含至少一个特征值-置信度对，该特征值-置信度对表示与特征值相对应的特征点属于对象的置信度。此外，CPU 310将检测结果(即，第一局部区域的所确定的置信度)经由***总线380传输至输出设备360，然后输出设备360将检测结果输出至后续操作。

以一个第一局部区域为例，确定该第一局部区域的置信度的步骤S450可以包括以下步骤：

首先，在置信度获取步骤中，CPU 310可以基于预定LUT中的一个，获取与该第一局部区域中的第一特征点和第二特征点的第一基于位置的特征值相对应的置信度；其中，该预定LUT对应于与由该第一局部区域覆盖的第一特征点匹配的预定特征点位置。

在某些情形中，如果该第一局部区域中的第一特征点和第二特征点的一些第一基于位置的特征值在该预定LUT中不具有相应特征值，则在一个实施方式中，CPU 310可以使用插值算法来确定第一基于位置的特征值的相应特征值。在另一实施方式中，CPU 310可以将该预定LUT中的近似特征值确定为第一基于位置的特征值的相应特征值。

其次，在置信度决定步骤中，CPU 310可以根据获取的置信度来决定该第一局部区域的置信度。

在一个实施方式中，首先，CPU 310可以对获取的与该第一局部区域中的第一特征点和第二特征点的第一基于位置的特征值相对应的置信度进行比较；然后，CPU 310可以选择第一大置信度或第二大置信度作为该第一局部区域的置信度。在另一实施方式中，CPU 310可以对获取的与该第一局部区域中的第一特征点和第二特征点的第一基于位置的特征值相对应的置信度求平均，并将获取的平均值视为该第一局部区域的置信度。

为了获得更好的对象检测精度，作为优选方案，CPU 310可以将获取的置信度当中的第一大置信度决定为该第一局部区域的置信度。同时，CPU 310可以获得与第一大置信度相对应的特征点的特征值和位置，并且可以将它们存储在图3所示的ROM 330或硬盘340中。

此外，为了获得更加好的对象检测精度，制造商还可以使得本发明能够更新预先存储在图3所示的ROM 330或硬盘340中、和/或预先存储在经由网络(未示出)与图2所示的对象检测装置220连接的服务器中的预定LUT。然后，在对象检测中，本发明可以在图4所示的上述置信度确定步骤S450中使用更新后的LUT，由此本发明可以获得更加好的对象检测精度。图5示意性地示出了根据本发明的实施例的用于更新一个预定LUT的处理的流程图500。

如图5所示，针对一个预定的LUT，在步骤S510中，CPU 310将第二局部区域中的至少一个特征点确定为第三特征点，其中第二局部区域中的一个处于可以存储在制造商的存储设备和/或服务器中的正训练样本或负训练样本中的一个中，并且覆盖第四特征点中的一个，第四特征点与上述对应于该预定LUT的预定特征点位置匹配。此外，第三特征点可以是第二局部区域中的任意特征点，并且通常将第二局部区域中的均匀分布的特征点确定为第三特征点。

类似于图4所示的步骤S430中的确定第一局部区域的描述，为了获得更加好的对象检测精度，作为优选方案，针对各训练样本，CPU 310可以根据该训练样本中与预定特征点位置匹配的第四特征点之间的距离，来确定第二局部区域的大小。此外，所确定的第二局部区域不相互交叠。

由于对第二局部区域的大小和形状的确定类似于对第一局部区域的确定，因此这里将不重复具体的描述。

在步骤S520中，在CPU 310在步骤S510中确定第三特征点和第四特征点之后，CPU 310计算第三特征点和第四特征点的第二基于位置的特征值。如上所述，基于位置的特征例如还可以是LBP特征、均匀LBP特征及LTP特征。

然后，在步骤S530中，CPU 310基于该预定LUT以及第三特征点和第四特征点的第二基于位置的特征值，来确定第二局部区域的置信度。

以一个第二局部区域为例，确定该第二局部区域的置信度的步骤S530可以包括以下步骤：

首先，CPU 310可以基于该预定LUT，获取与该第二局部区域中的第三特征点和第四特征点的第二基于位置的特征值相对应的置信度。

类似于图4所示的步骤S450的描述，在某些情形中，如果该第二局部区域中的第三特征点和第四特征点的一些第二基于位置的特征值在该预定LUT中不具有相应特征值，则CPU 310可以使用插值算法来确定第二基于位置的特征值的相应特征值，或者，CPU 310可以将该预定LUT中的近似特征值确定为第二基于位置的特征值的相应特征值。

其次，CPU 310可以将获取的置信度当中的最大置信度决定为该第二局部区域的置信度。同时，CPU 310还可以获得与最大置信度相对应的特征值。

最后，在步骤S540中，CPU 310通过根据第二基于位置的特征值在正训练样本和负训练样本上的分布重新计算LUT，来替换该预定LUT，其中，这些第二基于位置的特征值是与第二局部区域的所确定的置信度相对应的特征值。

现在返回到图4，除了在置信度确定步骤S450中确定第一局部区域的置信度之外，本发明还可以判断获取图像是否包含对象。因此，在对象判断步骤S460中，CPU 310还通过使用至少一个预定TH和第一局部区域的所确定的置信度，来判断获取图像是否包含对象，其中预定TH可以由制造商根据经验或先验知识来设置，并且预定TH可以被存储在图3所示的ROM 330或硬盘340中，和/或可以被存储在经由网络(未示出)与图2所示的对象检测装置220连接的服务器中。

为了使对象检测更加鲁棒，本发明可以以多级方式判断获取图像是否包含对象，多级方式可以具有例如图1所示的多级结构。用于以多级方式判断获取图像的一个示例性方法如图6所示。图6示意性地示出了在图4所示的步骤S460中进行的、用于以多级方式判断获取图像是否包含对象的处理的流程图。

如图6所示，图4所示的对象判断步骤S460可以包括以下步骤：

首先，在步骤S461中，CPU 310可以根据在步骤S450中确定的第一局部区域的置信度，来确定获取图像的置信度。

在一个实例中，CPU 310可以选择第一局部区域的所确定的置信度当中的最大置信度，作为获取图像的置信度。在另一实例中，为了使用尽可能多的信息并获得更加好的对象检测精度，CPU 310可以对第一局部区域的所确定的置信度求平均，并将获取的平均值视为获取图像的置信度。

然后，CPU 310可以通过以多级方式将在步骤S461中确定的获取图像的置信度与预定TH相比较，来判断获取图像是否包含对象。此外，多级方式的详细步骤可以如下图6中所示：

在步骤S462中，CPU 310判断获取图像的置信度是否大于或等于当前TH，例如第一TH。如果CPU 310判断出获取图像的置信度小于当前TH，则在步骤S463中，CPU 310判断为获取图像不是期望对象，将检测结果经由***总线380传输至输出设备360，并终止后续的判断操作。

否则，如果CPU 310判断出获取图像的置信度大于或等于当前TH，则CPU 310判断为获取图像是期望对象，并判断是否存在下一判断操作。

也就是说，首先，在步骤S464中，CPU 310判断是否存在下一判断操作。如果不再存在判断操作，则CPU 310在步骤S465中判断为获取图像是期望对象。此外，CPU 310将检测结果(即，获取图像包含对象)经由图3中的***总线380传输至输出设备360，然后输出设备360可以将检测结果输出至后续操作。否则，CPU 310使与下一判断操作相对应的TH作为当前TH，并进一步执行下一判断操作。

首先，在步骤S466中，CPU 310重新计算获取图像的置信度。在一个实例中，CPU 310可以通过使用图4所示的上述方法，重新计算获取图像的置信度。在另一实例中，CPU 310还可以通过使用现有技术中的现有方法，重新计算获取图像的置信度，例如，使用LBP特征或方向梯度直方图(HOG)特征来计算置信度。

然后，在步骤S467中，CPU 310将重新计算出的置信度与获取图像的至少一个在先置信度组合。在一个实例中，CPU 310可以对重新计算出的置信度与获取图像的前一置信度求平均，并将获取的平均值视为获取图像的组合置信度。在另一实例中，为了获得更稳定的置信度，CPU 310可以对重新计算出的置信度与获取图像的所有在先置信度求平均，并将获取的平均值视为获取图像的组合置信度。

最后，CPU 310再次在步骤S462中，判断获取图像的组合置信度是否大于或等于当前TH，例如第二TH。

如上所述，图4中描述的对象检测方法直接对整个获取图像执行相应的操作。然而，获取图像的大小越大，越容易判断为获取图像不包含对象，因此，对象检测精度变得较差。为了降低错误的检测并提高对象检测精度，本发明可以首先例如通过使用图像扫描方法来获得获取图像的子图像，然后可以对获得的各子图像执行图4中描述的相应操作。因此，图4所示的流程图400还可以包括子图像获得步骤S410。

如图4所示，在子图像获得步骤S410中，CPU 310首先例如通过使用图像扫描方法从获取图像中获得至少一个子图像，然后CPU 310对获得的各子图像操作上述第一特征点确定步骤S420、第二特征点确定步骤S430、特征值计算步骤S440、置信度确定步骤S450和对象判断步骤S460。

上述图像扫描方法的主要概念是利用预定大小的扫描窗扫描获取图像，并从获取图像的原点起以预定的步长移动扫描窗。为了检测具有各种图像大小的对象，图7A和图7B示出了两种示例性图像扫描方法。图7A和图7B示意性地示出了根据本发明的实施例的用于从获取图像中获得子图像的两种方法。

在一个实施方式中，在子图像获得步骤S410中，CPU 310可以通过将获取图像的大小调整为不同的尺度并利用具有固定大小的扫描窗扫描调整大小后的图像(如图7A所示)，来执行图像扫描操作。在另一实施方式中，在子图像获得步骤S410中，CPU 310可以通过在扫描操作的各循环中利用具有不同大小的扫描窗扫描获取图像(如图7B所示)，来执行图像扫描操作。由于上述图像扫描方法在现有技术中普遍使用，因此这里将不重复具体的描述。

如上所述，为了使对象检测对于对象的小的位置偏移和/或变形更加鲁棒，并且对于照明的小的方向偏移更加鲁棒，也就是使对象检测对于所确定的特征点的位置信息更加不敏感，在基于预定特征点位置确定第一特征点之后，本发明还确定通过第一特征点确定的局部区域中的其他特征点(即，第二特征点)。

此外，本发明使用局部区域的置信度来判断获取图像是否包含对象，其中，根据一个局部区域中的所有确定的特征点(即，第一特征点和第二特征点)的基于位置的特征值，来确定该局部区域的置信度。也就是说，本发明在确定基于位置的特征值和确定置信度时考虑了第一特征点的周围特征点。

因此，如果在获取图像中存在对象的小的位置偏移和/或变形，或者在拍摄获取图像时存在照明的小的方向偏移，则可以使用周围特征点的特征值来优化置信度的确定。也就是说，本发明能够获得更加准确的置信度，并且最终能够做出正确的判断。因此，通过使用本发明能够提高对象检测精度。

(图像处理方法)

如图2所示，通常地，对象检测过程可以包括两个主要部分，即图像处理部分(即，图2所示的图像处理装置221)和判断部分(即，图2所示的判断装置222)。在本发明中，由于上述对象检测过程(图3至图7所示)的主要方案是确定特征点，因此上述图像处理部分可以独立于上述对象检测过程。此外，图像处理装置221的示例性控制结构与对象检测装置220的控制结构(图3所示)相同。

图8示意性地示出了根据本发明的实施例的图像处理方法的流程图800。

如上所述，首先，图3所示的输入设备350接收从图2所示的图像获取设备210输出的、或由用户输入的一个图像。其次，输入设备350将获取图像经由***总线380传输至CPU 310。

然后，如图8所示，在第一特征点确定步骤S820中，CPU 310通过***总线380从输入设备350获取该获取图像，并基于至少一个预定特征点位置来确定获取图像中的至少一个第一特征点，其中，预定特征点位置可以被存储在图3所示的ROM 330或硬盘340中，和/或可以被存储在经由网络(未示出)与图2所示的对象检测装置220连接的服务器中。

在第二特征点确定步骤S830中，CPU 310确定至少一个局部区域中的至少一个特征点，作为第二特征点，其中局部区域中的一个覆盖第一特征点中的一个。

为了减少计算量，作为优选方案，CPU 310可以根据第一特征点之间的距离来确定局部区域的大小。此外，所确定的第一局部区域不相互交叠。

最后，在CPU 310确定第一特征点和第二特征点之后，在特征值计算步骤S840中，CPU 310计算第一特征点和第二特征点的基于位置的特征值。如上所述，基于位置的特征例如可以是LBP特征、均匀LBP特征和LTP特征。此外，CPU 310将计算出的第一特征点和第二特征点的基于位置的特征值经由***总线380传输至输出设备360，然后，输出设备360将计算出的基于位置的特征值输出至后续操作，例如图4至图7所示的上述对象检测过程。

如图8所示，除了在特征值计算步骤S840中计算第一特征点和第二特征点的基于位置的特征值之外，本发明还确定局部区域的特征值。因此，在特征值确定步骤S850中，CPU 310确定局部区域的特征值，其中一个局部区域的特征值包括由该局部区域覆盖的第一特征点的基于位置的特征值、以及该局部区域中的确定的第二特征点的基于位置的特征值。

如上所述，图8中描述的图像处理方法直接对整个获取图像执行相应的操作。然而，获取图像的大小越大，获得的基于位置的特征值越差。因此，为了获得更好的基于位置的特征值，本发明可以首先例如通过使用图像扫描方法来获得获取图像的子图像，然后可以对获得的各子图像执行图8中描述的相应操作。因此，图8所示的流程图800还包括子图像获得步骤S810。

如图8所示，在子图像获得步骤S810中，CPU 310首先例如通过使用图像扫描方法从获取图像中获得至少一个子图像，然后CPU 310对获得的各子图像操作上述第一特征点确定步骤S820、第二特征点确定步骤S830、特征值计算步骤S840和特征值确定步骤S850。

由于图8所示的子图像获得步骤S810、第一特征点确定步骤S820、第二特征点确定步骤S830和特征值计算步骤S840与图4所示的子图像获得步骤S410、第一特征点确定步骤S420、第二特征点确定步骤S430和特征值计算步骤S440类似，因此这里将不重复具体的描述。

(对象检测装置和图像处理装置)

如图2所示，由于对象检测装置220包括图像处理部分(即，图像处理装置221)和判断部分(即，判断装置222)，因此下文中将与对象检测装置的描述一起来描述图像处理装置的相应描述。

图9是例示根据本发明的实施例的图2所示的对象检测装置220的示例性功能结构900的框图。

如图9所示，根据本发明的实施例的对象检测装置900包括：图像处理装置910、判断装置920和存储预定特征点位置、LUT和TH的数据库930。另外，数据库930可以直接是图3所示的ROM 330或硬盘340。另选地，数据库930还可以是经由网络(未示出)与对象检测装置220连接的服务器或外部存储设备。

首先，图3所示的输入设备350接收从图2所示的图像获取设备210输出的、或由用户输入的一个图像。其次，输入设备350将获取图像经由***总线380传输至图像处理装置910。在图像处理装置910完成相应的处理并且判断装置920完成相应的判断(将在下面描述)之后，判断装置920将检测结果(例如，第一局部区域的确定的置信度或获取图像是否包含对象)经由***总线380传输至输出设备360，然后输出设备360将检测结果输出至后续操作。

如图9所示，图像处理装置910包括：第一特征点确定单元912、第二特征点确定单元913和特征值计算单元914。此外，图像处理装置910还可以包括子图像获得单元911和特征值确定单元(图9中未示出)。

更具体地说，第一特征点确定单元912被构造为基于数据库930中存储的至少一个预定特征点位置，来确定获取图像中的至少一个第一特征点(对应于图4所示的步骤S420或图8所示的步骤S820)。

第二特征点确定单元913被构造为将至少一个局部区域中的至少一个特征点确定为第二特征点，其中，局部区域中的一个覆盖第一特征点中的一个(对应于图4所示的步骤S430或图8所示的步骤S830)。

特征值计算单元914被构造为计算第一特征点和第二特征点的基于位置的特征值(对应于图4所示的步骤S440或图8所示的步骤S840)。

此外，特征值确定单元被构造为确定局部区域的特征值，其中，一个局部区域中的特征值包括由该局部区域覆盖的第一特征点的基于位置的特征值、以及该局部区域中的确定的第二特征点的基于位置的特征值(对应于图8所示的步骤S850)。

子图像获得单元911被构造为从获取图像中获得至少一个子图像(对应于图4所示的步骤S410或图8所示的步骤S810)。

如图9所示，判断装置920包括置信度确定单元921。此外，判断装置920还可以包括对象判断单元922。

更具体地说，置信度确定单元921被构造为基于数据库930中存储的至少一个预定LUT以及第一特征点和第二特征点的基于位置的特征值，来确定局部区域的置信度(对应于图4所示的步骤S450)。

此外，对象判断单元922被构造为通过使用数据库930中存储的至少一个预定TH以及局部区域的确定的置信度，来判断获取图像是否包含对象(对应于图4所示的步骤S460)。

对象检测装置900中的各单元(即，图像处理装置910和判断装置920)可以被构造为进行图4至图8中的流程图所示的各步骤。

上述所有单元均是用于实现本公开中描述的处理的示例性和/或优选模块。这些单元可以是硬件单元(例如现场可编程门阵列(FPGA)、数字信号处理器、专用集成电路等)和/或软件模块(例如计算机可读程序)。以上并未详尽地描述用于实现各种步骤的单元。然而，在存在用于进行某一处理的步骤的情况下，可以存在用于实现相同处理的相应功能模块或单元(通过硬件和/或软件实现)。所描述的步骤以及与这些步骤相对应的单元的所有组合的技术方案被包括在本申请的公开中，只要这些组合构成的技术方案完整、适用即可。

此外，与图4至图8中的上述方法相对应的程序可以被存储在图3所示的硬盘340中。

此外，如果由各种单元构成的图9所示的上述装置900部分或全部由软件构造，则其可以被存储在图3所示的硬盘340中。在另一方面，如果图9中的上述装置900部分或全部由硬件或固件构造，则其还可以作为功能模块而被整合在电子设备(例如数字照相机)中，只要需要在电子设备中检测对象即可。此外，除了该装置900之外，电子设备当然还具有其他硬件或软件部件。

可以以许多方式实现本发明的方法和装置。例如，可以通过软件、硬件、固件或其任意组合来实现本发明的方法和装置。除非另外具体说明，否则上述方法的步骤的顺序仅用于例示，本发明的方法的步骤不限于以上具体描述的顺序。此外，在一些实施例中，本发明还可以被实施为记录在记录介质中的程序，包括用于实现根据本发明的方法的机器可读指令。因此，本发明还覆盖存储用于实现根据本发明的方法的程序的记录介质。

尽管利用示例详细说明了本发明的一些特定实施例，但是本领域的技术人员应当理解，以上示例仅用于例示，而不限制本发明的范围。本领域的技术人员应当理解，可以在不背离本发明的范围和主旨的情况下对以上实施例进行变型。本发明的范围由所附权利要求限定。

Claims (20)

1.一种对象检测方法，所述对象检测方法包括：

第一特征点确定步骤，基于至少一个预定特征点位置，确定获取图像中的至少一个第一特征点；

第二特征点确定步骤，将至少一个第一局部区域中的至少一个特征点确定为第二特征点，其中，所述第一局部区域中的一个覆盖所述第一特征点中的一个；

特征值计算步骤，计算所述第一特征点和所述第二特征点的第一基于位置的特征值；以及

置信度确定步骤，基于至少一个预定查找表以及所述第一特征点和所述第二特征点的所述第一基于位置的特征值，来确定所述第一局部区域的置信度。

2.根据权利要求1所述的对象检测方法，所述对象检测方法还包括：

对象判断步骤，通过使用至少一个预定阈值以及所述第一局部区域的确定的置信度，来判断所述获取图像是否包含对象。

3.根据权利要求2所述的对象检测方法，所述对象检测方法还包括：

子图像获得步骤，从所述获取图像中获得至少一个子图像，

其中，对所获得的子图像操作所述第一特征点确定步骤、所述第二特征点确定步骤、所述特征值计算步骤、所述置信度确定步骤以及所述对象判断步骤。

4.根据权利要求1所述的对象检测方法，其中，根据所述第一特征点之间的距离，来确定所述第一局部区域的大小。

5.根据权利要求4所述的对象检测方法，其中，所述第一局部区域不相互交叠。

6.根据权利要求1所述的对象检测方法，其中，针对所述第一局部区域中的一个，所述置信度确定步骤包括：

置信度获取步骤，基于所述预定查找表中的一个，获取与该第一局部区域中的所述第一特征点和所述第二特征点的所述第一基于位置的特征值相对应的置信度；以及

置信度决定步骤，根据所获取的置信度，来决定该第一局部区域的置信度。

7.根据权利要求6所述的对象检测方法，其中，所述置信度决定步骤包括以下步骤：

将所获取的置信度当中的最大置信度，决定为该第一局部区域的置信度。

8.根据权利要求1所述的对象检测方法，其中，通过以下步骤更新所述预定查找表：

针对所述预定查找表中的一个，

将第二局部区域中的至少一个特征点确定为第三特征点，其中，所述第二局部区域中的一个处于正训练样本或负训练样本中，并且覆盖第四特征点中的一个，所述第四特征点与对应于该预定查找表的预定特征点位置匹配；

计算所述第三特征点和所述第四特征点的第二基于位置的特征值；

基于该预定查找表以及所述第三特征点和所述第四特征点的所述第二基于位置的特征值，来确定所述第二局部区域的置信度；以及

通过根据所述第二基于位置的特征值在所述正训练样本和所述负训练样本上的分布重新计算查找表，来替换该预定查找表，其中，所述第二基于位置的特征值是与所述第二局部区域的确定的置信度相对应的特征值。

9.根据权利要求8所述的对象检测方法，其中，针对所述第二局部区域中的一个，确定该第二局部区域的置信度的步骤包括以下步骤：

基于该预定查找表，获取与该第二局部区域中的所述第三特征点和所述第四特征点的所述第二基于位置的特征值相对应的置信度；以及

将所获取的置信度当中的最大置信度，决定为该第二局部区域的置信度。

10.根据权利要求8所述的对象检测方法，其中，针对各训练样本，根据该训练样本中与所述预定特征点位置匹配的所述第四特征点之间的距离，来确定所述第二局部区域的大小，并且所述第二局部区域不相互交叠。

11.一种图像处理方法，所述图像处理方法包括：

第一特征点确定步骤，基于至少一个预定特征点位置，确定获取图像中的至少一个第一特征点；

第二特征点确定步骤，将至少一个局部区域中的至少一个特征点确定为第二特征点，其中，所述局部区域中的一个覆盖所述第一特征点中的一个；以及

特征值计算步骤，计算所述第一特征点和所述第二特征点的基于位置的特征值。

12.根据权利要求11所述的图像处理方法，所述图像处理方法还包括：

特征值确定步骤，确定所述局部区域的特征值，其中，所述局部区域中的一个局部区域的特征值包括：由该局部区域覆盖的所述第一特征点的基于位置的特征值，以及该局部区域中的确定的所述第二特征点的基于位置的特征值。

13.根据权利要求12所述的图像处理方法，所述图像处理方法还包括：

子图像获得步骤，从所述获取图像中获得至少一个子图像，

其中，对所获得的子图像操作所述第一特征点确定步骤、所述第二特征点确定步骤、所述特征值计算步骤以及所述特征值获得步骤。

14.根据权利要求11所述的图像处理方法，其中，根据所述第一特征点之间的距离，来确定所述局部区域的大小，并且所述局部区域不相互交叠。

15.一种对象检测装置，所述对象检测装置包括：

第一特征点确定单元，其被构造为基于至少一个预定特征点位置，确定获取图像中的至少一个第一特征点；

第二特征点确定单元，其被构造为将至少一个局部区域中的至少一个特征点确定为第二特征点，其中，所述局部区域中的一个覆盖所述第一特征点中的一个；

特征值计算单元，其被构造为计算所述第一特征点和所述第二特征点的基于位置的特征值；以及

置信度确定单元，其被构造为基于至少一个预定查找表以及所述第一特征点和所述第二特征点的所述基于位置的特征值，来确定所述局部区域的置信度。

16.根据权利要求15所述的对象检测装置，所述对象检测装置还包括：

对象判断单元，其被构造为通过使用至少一个预定阈值以及所述局部区域的所确定的置信度，来判断所述获取图像是否包含对象。

17.根据权利要求16所述的对象检测装置，所述对象检测装置还包括：

子图像获得单元，其被构造为从所述获取图像中获得至少一个子图像，

其中，对所获得的子图像操作所述第一特征点确定单元、所述第二特征点确定单元、所述特征值计算单元、所述置信度确定单元以及所述对象判断单元。

18.一种图像处理装置，所述图像处理装置包括：

第一特征点确定单元，其被构造为基于至少一个预定特征点位置，确定获取图像中的至少一个第一特征点；

第二特征点确定单元，其被构造为将至少一个局部区域中的至少一个特征点确定为第二特征点，其中，所述局部区域中的一个覆盖所述第一特征点中的一个；以及

特征值计算单元，其被构造为计算所述第一特征点和所述第二特征点的基于位置的特征值。

19.根据权利要求18所述的图像处理装置，所述图像处理装置还包括：

特征值确定单元，其被构造为确定所述局部区域的特征值，其中，所述局部区域中的一个局部区域的特征值包括：由该局部区域覆盖的所述第一特征点的基于位置的特征值，以及该局部区域中的确定的所述第二特征点的基于位置的特征值。

20.根据权利要求19所述的图像处理装置，所述图像处理装置还包括：

子图像获得单元，其被构造为从所述获取图像中获得至少一个子图像，

其中，对所获得的子图像操作所述第一特征点确定单元、所述第二特征点确定单元、所述特征值计算单元和所述特征值确定单元。