CN102067175B - 图像中的自动面部检测和身份屏蔽及其应用 - Google Patents

Abstract

公开了一种用来遮掩与图像中的面部区域相对应的身份的身份屏蔽方法和***。面部检测器被应用以检测图像中的一组可能的面部区域。接着身份屏蔽器被用来通过身份屏蔽技术处理所检测的面部区域，以便遮掩与所述区域相对应的身份。例如，所检测到的区域可以被运动模糊算法模糊为如同其处于运动之中，以使得经模糊的区域无法被识别为原始身份。或者可以通过面部替换算法用替代面部图像替换所检测到的面部区域以遮掩相应身份。

Description

图像中的自动面部检测和身份屏蔽及其应用

技术领域

本发明涉及图像处理，更具体地涉及通过自动检测和处理图像中的面部区域所进行的身份屏蔽及其应用。

背景技术

计算机联网和处理近年来的进展使得图像可以容易获取。然而，图像的公共访问，特别是包含人脸的图像的公共访问引起了有关隐私的关注。之前已经通过使得人脸无法辨认以遮掩其身份(identity)而做出了一些努力来保护在图像中出现的人的隐私。为了遮掩图像中的面部，首先要识别包含面部的区域。自动面部检测技术能够有助于在处理大量图像时识别面部区域。然而，自动面部检测技术的精确度引起了关注。在检测到的区域不对应于面部的情况下会出现错误确定(false positives)。也会没有检测到包含面部的区域。此外，为了遮掩面部，图像中所检测到的面部区域通常被具有单一颜色或马赛克的替换形状所替换。虽然遮掩了其面部出现在图像中的个人的身份，但是图像的外观也由于利用这样的方法中所使用的其它形状来替代面部而受到了不利影响。

发明内容

本发明涉及通过自动检测并处理图像中的面部区域所进行的身份屏蔽及其应用。在一个实施例中，面部检测器检测图像中的一组可能的面部区域，并且身份屏蔽器使用身份屏蔽算法来处理所检测到的面部区域以便遮掩所检测到的面部区域内的识别特征。在一个实施例中，身份屏蔽器使用运动模糊算法来模糊所检测到的面部区域，使得经模糊的面部区域显现为如同其处于运动之中并且不能识别出相应的身份。在另一个实施例中，身份屏蔽器使用面部替换算法以利用替代的面部图像来替换所检测的面部区域，使得遮掩相应的身份。在又另一个实施例中，身份屏蔽器使用运动模糊算法来模糊一些所检测到的面部区域，并且使用面部替换算法来替换其它所检测到的面部区域以遮掩相应的身份。

在一个实施例中，为了确保图像中的身份被遮掩，可以调节面部检测器的敏感度以检测可能对应于面部的可能区域。接着使用预先定义的验证分析来拒绝错误确定，即不对应于图像中的人脸的特征。在一个实施例中，执行肤色分析来拒绝面部检测器所检测到的错误确定。替选地，可以使用基于这样验证标准的模糊算法来处理潜在的错误确定。在一个实施例中，基于颜色区域为自然肤色的概率来应用模糊算法。越高的概率导致越强的模糊。

以下参考附图对本发明的其它实施例、特征和优势以及本发明各个实施例的结构和操作进行详细描述。

附图说明

参考附图对本发明的实施例进行描述。在附图中，相同的附图标记可以指示相同或功能相似的元素。元素在其中第一次出现的附图通常由相应附图标记中最左侧的数字来指示。

图1是用于对可以通过网络查看的图像执行身份屏蔽的示例性***100的图。

图2A是根据本发明实施例的使用运动模糊对图像进行身份屏蔽的示例。

图2B是根据本发明另一实施例的使用面部替换对图像进行身份屏蔽的示例。

图2C是根据本发明另一实施例的使用运动模糊和面部替换两者对图像进行身份屏蔽的示例。

图3A是面部区域的运动模糊的示例。

图3B是使用基于来自面部图像数据库的匹配图像所生成的面部图像替换面部区域的示例。

图4是用于对图像进行身份屏蔽的示例性过程的流程图。

图5是用于通过运动模糊对面部区域进行身份屏蔽的示例性过程的流程图。

图6是用于通过面部替换对面部区域进行身份屏蔽的示例性过程的流程图。

图7是用于利用被调整以检测可能的面部区域的面部检测算法的敏感度对图像中的面部区域进行检测的示例性过程连同后续验证过程的流程图。

图8是基于肤色分析以拒绝面部检测器所检测的错误确定的若干面部模糊示例的图表。

具体实施方式

本发明涉及通过自动检测并处理图像中的面部区域所进行的身份屏蔽及其应用。在这里对本发明的详细描述中，对“一个实施例”、“实施例”、“示例性实施例”等的引用指示所描述的实施例可以包括特定特征、结构或特性，但是每个实施例可以不必包括所述特定特征、结构或特性。此外，这样的短语不必指代相同的实施例。另外，当结合实施例对特定特征、结构或特性进行描述时，假设结合其它实施例实现这样的特征、结构或特性无论是否被明确描述均处于本领域技术人员的知识之内。

为了保护其面部出现在图像中的个人的隐私，执行身份屏蔽以在图像能够被他人查看之前对其进行处理。在本发明的实施例中，应用面部检测算法来检测图像中可能包含面部的区域，接着选择身份屏蔽算法对所检测到的区域中的面部进行处理以遮蔽相应身份。在身份屏蔽之后，经处理的图像可以被存储在图像数据库中并且准备被其他查看者所访问。

为了保留图像的布局和整体外观，优选诸如运动模糊算法和面部替换算法之类的技术进行身份屏蔽。运动模糊算法可以使得所检测到的面部呈现为如同在运动时被拍摄但是其身份被遮掩。面部替换算法能够利用其它一些面部图像替换所检测到的面部以遮掩其身份。

图1图示了根据本发明一个实施例的用于身份屏蔽的示例性***100。***100包括未处理图像(或原始图像)的图像数据库，原始图像数据库102。原始图像数据库102连接到处理管道服务器110，所述处理管道服务器110包括面部检测器112和身份屏蔽器114。处理管道服务器110使用面部检测器112检测图像中的面部，并且使用身份屏蔽器114遮掩相应的身份。***100进一步包括一个或多个图像存储组件，诸如用于存储经处理的图像的图像数据库。这样的数据库被示为经处理图像数据库120，其可以被图像服务器130访问。图像服务器130可以被图像查看者访问。在图示的实施例中，访问能够通过网络140来提供。图像浏览器150连接到网络140以便通过图像服务器130访问经处理的图像。身份屏蔽器114包括使用不同身份屏蔽算法的一组身份屏蔽工具。这些工具包括面部替换器116，其实施面部替换算法以通过替代面部图像替换所检测的面部。另一种工具是运动模糊器118，其实施运动模糊算法以对面部检测器112所检测的面部进行模糊就如同其在运动中被拍摄。

注意，在本发明的替选实施例或应用中，可以使用其它原始图像源替代原始图像数据库。例如，特定的原始图像可以由用户直接提供。原始图像也可以从视频中取得。

此外，服务器110和其中所示出的逻辑可以以软件、硬件或固件或者其组合来实现。例如，服务器110可以在一个或多个定制或通用计算机上实现，其中面部检测器112、身份屏蔽器114、面部替换器116和运动模糊起118被实现为软件。

网络140可以是能够进行数据通信的任意网络或网络组合，并且在这里可以被称作计算机网络。这样的网络可以包括局域网、中域网和/或诸如互联网的广域网，但是并不局限于此。网络140能够支持包括万维网协议和/或服务在内的协议和技术，但是并不局限于此。根据特定应用或环境，可以在***100的组件之间提供中间web服务器、网关或其它服务器(未示出)。

为了遮掩原始图像中的面部，首先需要检测包含面部的区域。这能够通过面部检测算法来进行。由于身份屏蔽的目的是遮掩其面部出现在图像中的个人的身份，所以面部检测算法需要识别出图像中的可能面部区域。

在本发明的一个实施例中，图1中的处理管道服务器110从原始图像数据库102得到原始图像。处理管道服务器110使用面部检测器112检测与原始图像中的面部(或面部区域)相对应的区域。在本发明的一个实施例中，调节面部检测器112的敏感度以检测尽可能多的面部区域。最初检测到的面部区域可以包括包含面部的真实命中以及实际上并不对应于面部的错误确定。为了限制错误确定上的遮掩效果，面部检测器112可以使用验证标准来验证所检测的区域并拒绝错误确定。在本发明的一个实施例中，使用肤色分析来验证所检测到的区域是否具有自然肤色。被错误检测为面部的区域被认为是错误确定。处理管道服务器110还可以要求身份屏蔽器114使用身份屏蔽算法以基于验证标准来处理潜在的错误确认。例如，在一个实施例中，基于这种验证标准的模糊算法可以被用来处理潜在的错误确定。所述模糊算法基于颜色区域是自然肤色的概率而得以应用。越高的概率导致越强的模糊。

由于一些图像可能包含并不涉及隐私问题的图像，所以所检测到的具有这样内容的区域可以无需身份屏蔽。在一个实施例中，面部检测器112可以搜索图像数据库以验证所检测到的区域是否与这样的图像相匹配。如果所检测到的区域在数据库中具有匹配，则其被去除标记并且不进行用于身份屏蔽的处理。

在检测到面部区域时，可以应用身份屏蔽算法以使得面部区域不可辨认从而遮掩相应身份。在本发明的各个实施例中，有若干种方式来遮掩图像中所检测到区域的身份。面部区域中的面部可以被模糊，被不涉及隐私问题的替代面部图像所替换，等等。

如图1所示，在面部检测器112检测到原始图像中的一组面部区域之后，处理管道服务器110调用身份屏蔽器114以遮掩与所检测到的面部区域相对应的身份。在本发明的一个实施例中，身份屏蔽器114使用运动模糊器118以使得所检测到的面部区域看上去就像其处于运动中一样。在本发明的另一个实施例中，身份屏蔽器114使用面部替换器116以利用替代面部图像替换所检测到的面部区域。在替选实施例中，运动模糊器118和面部替换器116均被身份屏蔽器114所使用。

例如，如图2A所示，在本发明的一个实施例中，图像200为包含两个面部的原始图像。在过程210中，面部检测器112取图像200作为输入，检测两个包含两个各自面部的区域，并且输出与两个所检测到的面部区域-区域222和区域224-相关的信息。在所图示的实施例中，身份屏蔽器114在过程230中选择对所检测到的面部区域进行运动模糊。区域222和区域224在过程230中使用运动模糊算法而被改变为区域242和区域244。经模糊的包含区域242和244的面部区域240被输出到经处理的图像250。

如图2B所示，在本发明的另一个实施例中，身份屏蔽器114利用替代面部图像替换所检测到的面部区域。区域242和区域244在过程230中使用面部替换算法被区域262和264所替换。所替换的包含区域262和264的面部区域260被输出到经处理的图像270。

身份屏蔽器也能够使用不同的身份屏蔽算法以分别对不同的所检测到的面部区域进行处理。例如，如图2C所示，区域222被运动模糊以创建区域282，而区域224则被区域284所替代。身份屏蔽的面部区域280被输出以创建经处理的图像290。替选地，身份屏蔽器能够对相同的所检测到的面部区域应用两种和更多不同的身份屏蔽算法以屏蔽它们的身份。

注意，所述附图是用于说明的目的。所检测到的面部区域并不必为诸如图中所示的矩形和方形的规则形状。

运动模糊器118能够使用运动模糊算法以使得图像中原来的面部区域显现为就像面部在运动中或未对准焦距时被拍摄。图3A示出了运动模糊的图示。原始检测的面部区域310由运动模糊器118在过程320中使用运动模糊算法进行处理。输出为运动模糊的面部区域330。

另一种遮掩面部身份的可能方式是通过利用替代面部图像替换所述面部。所述替代面部图像可以是不涉及隐私问题的面部图像，或者是与原面部不同的所生成面部。存在许多方法可被用来生成面部。例如，在一个实施例中，可以从3D计算机图形模型生成面部，其可以与图像中的量度相匹配。使用这样生成的面部进行的面部替换可能产生比其它替换方法更为自然的图像外观。

图3B图示了一种利用从面部数据库所选择的替代面部图像替换所检测到的面部区域的方式。首先查找面部图像数据库350，基于所检测到的面部区域340的概要选择替代面部图像。所述概要可以包括方位、面部特征(例如，大小、眼睛、鼻子、嘴等)，或者甚至是诸如面部深度之类的三维信息。为了对所检测到的面部进行替换而不会影响图像的相邻区域，替代面部图像应当具有与所检测到的面部类似的方位和大小。其还可以具有类似的面部特征位置。所检测到的面部区域340接着被替代面部图像360所替换。在替选实施例中，可以通过将所选择的面部图像与所检测到的面部区域进行混合来生成替代面部图像。由于所生成的面部图像数据不同于原始的所检测到的面部区域，所以所检测到的面部区域340的身份被遮掩。

注意，所要求保护的发明并不局限于这两种类型的身份屏蔽算法。也能够使用其它算法用于身份屏蔽。

图4是根据本发明一个实施例的用于身份屏蔽的示例性过程400的流程图。在阶段410，从原始图像数据库选择原始图像。所述原始图像数据库可以是用来存储图像的任意存储装置。例如，其可以是图1中的原始图像数据库102。在替选实施例中，原始图像可以来自于诸如视频等的其它来源。在阶段420中，面部检测器(例如，面部检测器112)被用来使用面部检测算法检测所选择的原始图像中的面部区域。所检测到的面部区域将被处理以遮掩相应的身份。在阶段430中，选择所检测到的面部区域。为了遮掩所选择的面部区域的身份，在阶段440中选择身份屏蔽算法。可以在阶段452中应用运动模糊算法来遮掩身份，或者可以在阶段454中应用面部替换算法。在替选实施例中，没有选择阶段440中，并且每次使用一个或多个固定的屏蔽算法。

也可以使用其它身份屏蔽算法。例如，在本发明的一个实施例中，可以选择基于肤色的模糊算法来遮掩身份。所选择的面部区域中的每个像素都与其具有自然肤色的概率成比例的进行模糊。因此，如果所选择的区域基于颜色而具有低的与人脸相对应的概率，则在该区域上执行的模糊效果将很少。

在所选择的身份屏蔽算法遮掩了所选择区域的身份之后，处理管道服务器110将在阶段460中确定是否已经处理了全部的所检测到的面部区域。如果存在还没有被处理的所检测到的面部区域，则例程将返回阶段430以选择下一个所检测到的面部区域。否则，如果所选择的原始图像中所有的所检测到的面部区域都被处理，则经处理的图像将在阶段470中被输出到经处理图像数据库120。

注意，在所示的实施例中，所选择的区域由一种身份屏蔽算法进行处理。在替选实施例中，可以对相同的所选择区域应用一种或多种身份屏蔽算法以屏蔽相应的身份。

还注意到，在所图示的实施例中，所选择的面部区域被串行处理。可替换地，所选择的面部区域可以并行处理。

图5是根据本发明一个实施例的使用运动模糊的身份屏蔽的示例性过程452的流程图。当选取了所检测到的面部区域并且选择了运动模糊时，需要选择特定的运动模糊算法来遮掩所选择的面部区域的身份。

可获得若干种运动模糊算法来遮掩所选择的面部区域，诸如线积分卷积(Line Integral Convolution)运动模糊、基于典范映射函数的运动模糊、基于面部朝向的运动模糊等等。在替选实施例中，可以使用其它模糊算法。在其它实施例中，可以对所选择的面部区域应用多于一种的模糊算法。

例如，如果在阶段520中选择了线积分卷积(LIC)运动模糊，则在阶段522中为了运动模糊效果而对所选择的面部区域应用线积分卷积运动模糊。LIC在对图像的矢量场进行视觉化的领域中是已知的。其可以包含选择地作为所要显示的矢量场的函数来模糊图像。在一个实施例中，为了对面部区域进行运动模糊，创建与所述面部区域相关联的矢量场以表示模糊中每个像素的运动方向和程度。通过改变矢量场的运动方向和程度，面部区域可以以不同模糊量在不同方向中被运动模糊。

如果在阶段530中选择了基于典范映射函数的模糊，则在阶段532中应用典范映射函数算法。典范映射函数在本领域中同样已知为当与所选择的面部对准时的三维深度的平均估计。接着能够根据面部深度对所选择的面部区域进行运动模糊。

如果在阶段540中选择了基于面部朝向的模糊，则需要首先在阶段542中计算所选择的面部区域的朝向。图像中的面部朝向涉及相应个人面向哪里。例如，个人可能直接面对相机，即面向前方。或者个人可能面向相机的左侧或右侧。在本发明的一个实施例中，所选择的面部区域的朝向可以包括面部方向矢量、图像矢量和它们之间的角度。面部方向矢量是表示面部的方向的矢量。图像矢量是与图像相关联的矢量。例如，面部方向矢量可以是鼻子的方向中的矢量，而图像矢量可以是与图像垂直的矢量。接着在阶段544对所选择的面部区域应用基于面部朝向的运动模糊算法。在本发明的一个实施例中，模糊对应于在面部方向矢量和图像矢量之间的角度增加/减小的方向中转动的面部运动。

本发明并不局限于以上所提到的用于身份屏蔽的运动模糊算法。在本发明的替选实施例中，也可以根据选择应用其它运动模糊或图像模糊算法。在本发明的一些实施例中，由于模糊算法在面部区域的不同位置具有不同的模糊程度，所以模糊过程是不可逆或不可恢复的。

图6是根据本发明一个实施例的用于使用面部替换算法进行身份屏蔽的示例性过程454的流程图。这里，替代面部图像替换图像中的所选择的面部区域，从而遮掩所选择的面部区域的身份。在阶段620对所选择的面部区域确定面部概要。所述面部概要通常在面部识别算法中用于识别面部。例如，所述面部概要可以包括眼睛、鼻子和嘴的位置和形状、面部轮廓、面部朝向等。基于所述面部概要，能够在阶段630中生成或者从面部数据库中选择替代面部图像。具有生成替代面部图像的不同方式。根据本发明的一个实施例，可以通过将所选择面部区域与选自面部数据库的面部图像的一个或多个相应特征进行混合来生成替代面部图像。在本发明的又另一个实施例中，能够将图像中两个或更多的所检测到的面部区域的一些特征进行混合来生成替代面部图像。为了替换所选择的面部区域而不影响原始图像的布局，所述替代面部图像应当具有与所选择的面部区域类似的大小。例如，在一个实施例中，两个图像区域的长度或高度之间的差异可以小于所选择的面部区域的长度或高度的5％。当替代面部图像可用时，在阶段640中，所选择的面部区域被所述替代面部图像所替换以遮掩相应的身份。

为了遮掩图像中一组面部的身份，面部检测算法需要检测可能的面部区域。在本发明的一个实施例中，面部检测算法的敏感度被调整为检测尽可能多的与面部相对应的区域。可能存在并不对应于面部的所检测到的区域，其通常被称作错误确定。为了排除这样的错误确定，可以基于预先定义的标准应用验证过程。图7是根据本发明一个实施例的用于拒绝面部检测算法的错误确定的示例性过程700的流程图。首先在阶段705中，面部检测器对可能包括面部的图像区域进行标记。面部检测器的敏感度被调整为标记尽可能多的面部区域，包括真实命中和错误确定。接着在阶段710中选择所标记的区域。在阶段720中，使用预先定义的验证标准测试所选择的区域以验证该区域包含面部。所述验证标准可以基于肤色、三维面部概要等进行定义。如果所选择的区域不包含面部，在其将在阶段722中去除标记。在阶段730中，如果所有的标记区域都被测试，则过程结束。否则，过程返回阶段710，以选择另一个标记区域以便进行验证。

注意，在所图示的实施例中，拒绝错误确定的过程被串行执行。在替选实施例中，所述过程可以并行执行。

图8示出了用于基于肤色分析排除错误确定的一些示例。图表800的列810包含来自输入图像的原始的所检测到的面部区域。栏810中的面部区域811和812对应于面部。区域813和814是不同于人脸的错误检测的区域，而区域815是具有黑白人类图形的海报。在本发明的一个实施例中，应用肤色分析来验证以上所提到的区域。以上五个所检测到的区域的肤色分析结果在图表的列820中列出。肤色分析结果821和822指示相应的所检测到的区域811和812包括人类肤色并且可以由此包含人脸。肤色分析结果823-825指示相应的所检测到的区域813-815是错误确定。注意，虽然区域815具有人脸，但是如果它们为黑白的，则由此区域815被指示为错误确定。所检测的区域接着基于肤色分析进行模糊。最终的结果在列830中列出，但是仅包含人脸的区域被模糊，即图像831和832。

应理解的是，具体实施方案部分而不是发明内容和摘要部分，意在被用来解释权利要求。发明内容和摘要部分可以给出如发明人所预期的本发明的一个或多个但不是全部示例性实施例，从而并非意在以任何方式对本发明以及所附权利要求进行限制。

以上已经借助于图示出指定功能及其关系的实施方式的功能构建模块对本发明进行了描述。这些功能构建模块的边界在此已经为了方便描述而进行了任意确定。可以定义替选边界，只要适当执行指定功能及其关系即可。

对特定实施例的以上描述将全面揭示本发明的一般特性，他人能够通过应用本领域内的知识对这些特定实施例的各种应用容易地进行修改和/或适用，不需要过度的实验，而不会背离本发明的一般感念。因此，基于这里所给出的教导和指引，这样的适用和修改意在处于所公开实施例的等同范围和含义内。所要理解的是，这里的措辞或术语是为了描述而不是限制，从而本说明书的术语或措辞要由技术人员根据所述教导和指引进行解释。

本发明的宽度和范围不应当由以上所描述的任何示例性实施例所限制，而是仅应当依据所附权利要求及其等同物来确定。

Claims (13)

1.一种用于遮掩图像中的身份的方法，包括：

检测图像中与面部相对应的区域；

选择所述区域中包括所述面部的一个或多个特征的部分；以及

至少部分地基于所述面部的朝向对所述区域的所述部分进行运动模糊以遮掩所述面部的所述一个或多个特征，使得所述区域的所述部分以不同模糊量在不同方向中被运动模糊。

2.如权利要求1所述的方法，其中所述检测包括：

使用肤色分析以拒绝错误确定。

3.如权利要求2所述的方法，其中所述检测包括：

验证所述区域包括与人类皮肤一致的颜色。

4.如权利要求1所述的方法，其中所述检测包括：

以所存储的公共图像检查所检测到的区域；并且

拒绝所检测到的区域，其中所检测到的区域与所存储的公共图像相匹配。

5.如权利要求1所述的方法，其中所述选择包括选择所述面部的鼻子、眼睛、嘴和轮廓中的至少一个。

6.如权利要求1所述的方法，其中所述运动模糊包括基于典范映射函数对所述面部的所述一个或多个特征进行运动模糊。

7.如权利要求1所述的方法，其中所述运动模糊包括使用线积分卷积对所述面部的所述一个或多个特征进行运动模糊。

8.如权利要求1所述的方法，其中所述运动模糊包括：

确定所述面部的朝向；并且

基于所述面部的朝向对所述区域的所述部分进行运动模糊。

9.如权利要求8所述的方法，其中确定所述面部的朝向包括：

将第一矢量与所述面部相关联；并且

确定所述第一矢量和与所述图像相关联的第二矢量之间的关系。

10.如权利要求1所述的方法，其中所述运动模糊包括与所述面部的所述一个或多个特征的每个像素为自然肤色的概率成比例地对所述每个像素进行模糊。

11.一种用于遮掩图像中的身份的***，包括：

用于遮掩所述图像中的身份的处理管道服务器，其中所述处理管道服务器包括：

面部检测器，用于检测所述图像中的面部区域并且拒绝错误确定；和

身份屏蔽器，用于至少部分地基于所述面部区域的朝向对所述面部区域进行运动模糊以遮掩与所检测到的面部区域相对应的身份而不使得所述图像失真，使得所述面部区域以不同模糊量在不同方向中被运动模糊。

12.如权利要求11所述的***，其中所述身份屏蔽器包括：

运动模糊器，用于将所检测到的面部区域模糊为就像其处于运动中一样。

13.如权利要求11所述的***，其中所述面部检测器被配置为使用肤色来拒绝不是面部区域的所检测到的区域。