CN102483854A

CN102483854A - 图像处理***

Info

Publication number: CN102483854A
Application number: CN2010800402438A
Authority: CN
Inventors: K.C.范布里; H.J.W.贝尔特
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2009-09-11
Filing date: 2010-09-02
Publication date: 2012-05-30
Also published as: US20120162356A1; JP2013504918A; BR112012005222A2; KR20120081127A; RU2012114124A; EP2476100A1; WO2011030263A1

Abstract

本发明涉及一种用于图像处理***（100）的方法，所述方法包括步骤：获取（S1）第一个人的第一图像（I₁）；定位（S2）所述第一图像（I₁）中的包含所述第一个人的至少一个眼睛的第一片段（202，204）；获取（S3）第二个人的第二图像（I₂），定位（S4）所述第二图像（I₂）中的包含所述第二个人的至少一个眼睛的第二片段（206，208），所述第二片段在相对位置和大小方面与所述第一片段（202，204）相对应，比较所述第二片段（206，208）和所述第一片段（202，204），以及如果所述比较得出小于预定阈值的差，则用所述第一片段（202，204）替换所述第二图像（I₂）中的所述第二片段（206，208）。本发明允许用具有改进例如近端/远端用户视频会议***中的眼睛到眼睛的接触的特征的预先记录的相应片段替换面部的片段。

Description

图像处理***

技术领域

本发明涉及一种用于图像处理***的方法。本发明还涉及一种相应的图像处理***。

背景技术

在面对面通信中，眼睛凝视感知具有高度的社交重要性。然而，在典型的视频会议和视频电话应用中，在近端用户和远端用户之间，常常失去眼睛凝视感知。

这通常是由于以下事实：图像捕获视频摄像机位于显示屏的顶端，并且用户本能地直视他们的显示另一端参与方的显示屏，而不是朝着所述摄像机。结果，在近端用户使用视频摄像机捕获且在远端用户的显示屏上显示的图像中，所述近端用户将看起来就像迷路一样。因此，远端用户将不会感觉到正在被注视，因为近端参与方看来就像迷路一样。

研究已经表明：例如已经由在显示器顶端的摄像机的放置和用户直视显示屏造成的眼睛凝视方向上的“误差角”α，超过8度将造成眼睛接触的丢失。

为了克服上述问题已经引入了不同方法，并且在US 5,675,376中公开了这种方法的一个示例。在US 5,675,376中，为了确定各个眼睛凝视方向，检测用户眼睛的虹膜位置，并且当需要校正眼睛凝视方向时，“移动”与虹膜位置对应的图像像素，以实现眼睛到眼睛的接触。

然而，尽管US 5,675,376中公开的方法对上述讨论的问题提供了一些改进，但是它由于像素移动操作所需要的虹膜位置的分析和巨大精确度而引入了不需要的复杂性和可靠性问题。相应地，因此需要一种改进方法，所述改进方法至少减轻在视频会议和视频电话应用中的近端用户和远端用户之间的眼睛接触丢失的问题。

发明内容

依照本发明的一个方面，通过一种用于图像处理***的方法至少部分地满足以上所述，所述方法包含以下步骤：获取第一个人的第一图像，定位所述第一图像中的包含所述第一个人的至少一个眼睛的第一片段，获取第二个人的第二图像，定位所述第二图像中的包含所述第二个人的至少一个眼睛的第二片段，所述第二片段在相对位置和大小方面与所述第一片段相对应，比较所述第二片段和所述第一片段，并且如果所述比较得出小于预定阈值的差，则用所述第一片段替换所述第二图像中的所述第二片段。

本发明采用以下事实：眼睛边缘附近的区域是均匀的，即属于眼部附近区域的像素全都具有基本上相同的色彩值（相同的亮度和色度值），因为它都是皮肤。这个事实使得它更容易局部地重写面部像素以及用空间的邻域进行转换，而没有使它看起来不自然。另外，眼睛位图的布置中的小误差仅仅导致眼睛轻微的位移，其经证明是几乎看不见的。此外，只有在第一片段和第二片段之间的比较造成小于预定阈值的差时，才用第一片段对第二片段的替换提供了在接受结果图像（所述结果图像看起来是自然的）方面的改进，因为例如当用户眨眼和/或从一侧到另一侧移动他/她的头时的情况将被排除，即将没有替换发生。因此，本发明允许用具有改进例如近端/远端用户视频会议***中的眼睛到眼睛的接触的特征的预先记录的相应片段替换面部的片段。

例如，可以在“训练阶段”期间获取第一图像，其中用户被要求“直视摄像机”，例如，包含在第一片段中的眼睛凝视方向基本上垂直于所述第一图像的图像平面。然而，还可以在自动的过程期间获取所述第一图像，其中，获取所述第一个人的多个图像，并且从中选择一个图像，其中所述第一个人的眼睛凝视方向基本上垂直于所述图像平面，也就是，所述第一个人正直视所述摄像机。

另外，不需要存储整个第一图像，其中所述用户直视所述摄像机，而是仅存储所述第一片段，还可能包含相应的眉毛，从而最小化所述图像处理***需要的存储能力。可以将第一和/或第二图像捕获为单一的静止图像或者图像序列，例如从视频流中捕获。因此，本发明的方法可以用于静止图像和视频序列相关的两方面，例如来自视频会议和/或视频电话应用的诸如实时视频序列。

在另选的实施例中，可以在一个过程期间获取所述第一图像，其中用一个摄像机获取所述第一图像，并且用不同的摄像机获取所述第二图像。因此，所述第一个人和第二个人没有必要是同一个人，并且因此可能允许用第一个人的眼睛替换第二个人的眼睛，例如，用一个名人的眼睛替换第二个人的眼睛。然而，典型地，所述第一个人和所述第二个人是同一个人。

为了进一步改进结果图像的自然外观，可能允许利用第一片段替换第二图像中的第二片段的步骤将所述第二片段和第一片段混合在一起。这种混合可以包含使用预定的查找表以便允许阿尔法混合第一和第二片段。

依照本发明的另一个方面，提供了一种图像处理***，所述图像处理***包含：以通信连接布置的摄像机和控制单元，其中，所述控制单元适合于使用所述摄像机获取人的第一图像，定位所述第一图像中的包含所述人的至少一个眼睛的第一片段，获取所述人的第二图像，定位所述第二图像中的包含所述第二人的至少一个眼睛的第二片段，所述第二片段在相对位置和大小方面与所述第一片段相对应，比较所述第二片段和所述第一片段，并且如果所述比较得出小于预定阈值的差，则用所述第一片段替换所述第二图像中的所述第二片段。本发明的这个方面提供了与如上所讨论的本发明的前一方面有关的类似优点。

依照一个实施例，所述图像处理***可以包含计算机形式的控制单元，并且所述摄像机可以是连接到所述计算机的网络摄像机。然而，所述控制单元还可以与所述摄像机结合成一体，从而形成独立的实现方式。

依照本发明更进一步的方面，提供了一种计算机程序产品，所述计算机程序产品包含：计算机可读介质，在其上存储了用于使得计算机提供一种图像处理方法的计算机程序装置，其中，所述计算机程序产品包含用于获取人的第一图像的代码，用于定位所述第一图像中的包含所述人的至少一个眼睛的第一片段的代码，用于获取所述人的第二图像的代码，用于定位所述第二图像中的包含所述第二人的至少一个眼睛的第二片段的代码，所述第二片段在相对位置和大小方面与所述第一片段相对应，用于比较所述第二片段和所述第一片段的代码，以及用于如果所述比较得出小于预定阈值的差，则用所述第一片段替换所述第二图像中的所述第二片段的代码。本发明的这个方面提供了与如上所讨论的本发明的先前的方面有关的类似优点。

优选地，所述计算机是个人计算机，并且所述计算机可读介质是可拆卸的非易失性随机存取存储器、硬盘驱动器、软盘、CD-ROM、DVD-ROM、USB存储器或者本领域已知的类似的计算机可读介质之一。同样，可以使用连接到所述计算机的摄像机获取所述第一和第二图像。

当对所附权利要求和随后的说明书进行研究时，将会明了本发明进一步的特征和优点。在不脱离本发明范围的情况下，本领域技术人员应当认识到：可以组合本发明的不同特征来创建除了以下描述实施例之外的实施例。

附图说明

根据随后的详细描述和附图，将容易理解本发明的各个方面，包括本发明的特定特征和优点，在附图中：

图1图示了典型的视频会议***中的空间未对准问题，以及

图2示出了依照本发明的方法的概念流程图。

具体实施方式

现在，在下文将参照附图更加全面地描述本发明，其中，示出了本发明当前优选实施例。然而，可以以多种不同形式实施本发明，并且不应将其看作局限于本文所阐述的实施例；相反，为了详尽和完整起见，提供这些实施例，并且将本发明的范围完全转达给本领域技术人员。相同的附图标记始终指示相同的元件。

现在，参照附图且尤其参照图1，描述了典型的图像处理***（例如视频会议***100）的一部分，其包含控制单元，例如个人计算机102，摄像机104和显示器屏幕106。在图1中，两个用户（第一近端用户108和第二远端用户110）使用视频会议***100参加视频会议。根据理解，将远端用户110的图像显示在近端用户108的显示屏106上的远端用户110具有他这一侧的相应设备，例如他这一端的计算机、摄像机和显示器屏幕。例如，用于使用视频会议***100在近端用户108和远端用户110之间信息通信的传输可以例如采取使用局域网（LAN）或者全局区域网络，例如因特网。

在典型的视频会议***100的操作中，近端用户108将基本上直视近端用户显示屏106上的远端用户110的图像，并且因此与直视摄像机104相比使他的眼睛凝视呈误差角α。结果，在他的显示屏上，将给远端用户110提供近端用户108的图像，其中，近端用户108将“向下看”，并且没有直接朝着远端用户110。眼睛凝视的误差角将是α。

并行地参照图2，在使用本发明方法的视频会议***100的操作中，提供了一种补偿眼睛凝视误差角α的方式，并且因此改进了近端用户108和远端用户110之间的眼睛接触。

在第一步骤S1中，使用摄像机（例如摄像机104）获取人的第一图像I₁。优选地，当用户基本上注视所述摄像机，即具有眼睛凝视误差角α大约等于0时，应当进行第一图像I₁的获取，然而，可能允许一些偏差。当所述用户注视所述摄像机时，所述用户可以执行第一图像I₁的获取，或者由自动的眼睛凝视估算触发。

在第二步骤S2中，定位第一图像I₁中的第一片段（在图示的实施例中是每个眼的第一片段）202，204，第一片段202，204的每一个都包含所述人的至少一个眼睛。可以通过提供面部区域坐标的面部查找和跟踪算法确定所述面部区域，例如通过在面部上使用例如主动外观模型（AAM）。所述AAM提供许多面部特征点的坐标（x,y）。根据所述AAM特征点坐标，可能的是计算例如两个成三角形形状的片段202，204的坐标，片段202，204包括眼睛和眉毛。可以通过给定的所述面部的面部特征的稳定坐标的固定线性组合来计算所述三角形的角的坐标。存储所述三角形内部的像素值以供稍后使用。

步骤S1和S2可以在任何时候进行，并且可以存储第一图像I₁和/或仅存储第一片段202，204以供稍后使用。因此，可以不用直接在步骤S1和S2之后进行第三步骤S3，而是可以在稍后的时间进行，例如当使用包含本发明功能的视频会议***100时进行。因此，在步骤S3中，将使用与用于获取第一图像I₁相同的（或另一个）摄像机来获取所述人的第二图像I₂。优选地，当使用视频会议***100时，实时地获取并处理第二图像I₂。步骤S3和步骤S4基本上分别对应于步骤S1和S2，然而在步骤S4以及第二片段206，208的定位中，所述人由于正在开会不太可能注视所述摄像机，并且将存在眼睛凝视误差角α。如上所讨论的，所述第二片段在相对位置和大小方面与所述第一片段相对应。另外，所述第二片段还可以在方向上与所述第一片段相对应。用于确定在形状和位置方面与第一成三角形形状的片段202，204相对应的第二成三角形形状的片段206，208的方法可以对应于步骤S2中使用的方法。

应当注意到，可以通过例如变形方法（morphing method）来处理与第一成三角形形状的片段202，204相关的第二成三角形形状的片段206，208的大小和可能存在的角中的差，其中第一成三角形形状的片段202，204的大小和角与相应的第二成三角形形状的片段206，208相匹配。可以通过第一成三角形形状的片段202，204的仿射转换来完成所述变形。

在步骤S4之后的步骤S5中，执行比较，其中，将相应的第二成三角形形状的片段206，208与第一成三角形形状的片段202，204进行比较。例如，可以通过计算（可能变形的）第一成三角形形状的片段202，204和相应的第二成三角形形状的片段206，208（例如，来自直播视频）之间的三角形眼睛区域中的像素亮度值的绝对差（SAD）的和来确定比较误差数。

最终，在步骤S6，将用相应的第一成三角形形状的片段202，204替换在第二图像I₂中的第二成三角形形状的片段206，208，从而形成包含第一成三角形形状的片段202，204的第二图像I₂。然而，只有在所述比较得出小于预定阈值的差的情况下，才进行所述替换。这样确保了将保护第二图像I₂以免错误地替换像素，例如在未对准所述形状模型、所述用户眨眼和/或第二图像I₂中的面部不是正面的情况中。为了预防原始的像素和替换的像素（即分别来自第二和第一片段）之间的转换的可见性，可以例如使用混合算法混合各个片段的像素。

虽然已经参照本发明具体示范的实施例描述了本发明，但是对于本领域技术人员来说，许多不同的变更、修改等将变得显而易见。根据附图、本公开和所附权利要求的研究，在实施所要求保护的发明时，可以由本领域技术人员理解并实现所公开实施例的变更。例如，还可以连同视频序列的“自我记录”一起使用本发明的方法，例如，为了在因特网的例如YouTube上公布。在这种情况下，不会将结果视频序列传送给远端用户，而是改为仅记录和存储所述结果视频序列以供稍后公布。另外，另选地，所述方法可以用来例如通过有趣的眼睛、不同颜色的眼睛、阴影或黑色栏替换直播视频中的眼睛。这个特征可用于在视频电话期间隐藏或者改变你自己的身份。

此外，在所述权利要求中，词语“包括”没有排除其他元件或者步骤，并且不定冠词“一个”或“一种”没有排除复数。仅仅是为了简短和便利起见而进行在文本中的任何偏爱引用。

Claims

1.一种用于图像处理***（100）的方法，所述方法包括步骤：

获取（S1）第一个人的第一图像（I₁）；

定位（S2）所述第一图像（I₁）中的包含所述第一个人的至少一个眼睛的第一片段（202，204）；

获取（S3）第二个人的第二图像（I₂）；

定位（S4）所述第二图像（I₂）中的包含所述第二个人的至少一个眼睛的第二片段（206，208），所述第二片段在相对位置和大小方面与所述第一片段（202，204）相对应；

比较（S5）所述第二片段（206，208）和所述第一片段（202，204），以及

如果所述比较得出小于预定阈值的差，则用所述第一片段（202，204）替换（S6）所述第二图像（I₂）中的所述第二片段（206，208）。

2.依照权利要求1所述的方法，其中，所述第一个人和所述第二个人是同一个人。

3.依照权利要求1或2所述的方法，其中，所述第一片段（202，204）和所述第二片段（206，208）还包括相应的眉毛。

4.依照前述任一项权利要求所述的方法，其中，包含在所述第一片段（202，204）中的眼睛凝视方向基本上垂直于所述第一图像（I₁）的图像平面。

5.依照权利要求1-3的任一项所述的方法，还包括步骤：

获取所述第一个人的多个图像；

为所述多个图像的每一个确定所述第一个人的眼睛凝视方向；以及

选择所述多个图像之一，其中，所述第一个人的眼睛凝视方向基本上垂直于所述图像平面。

6.依照前述任一项权利要求所述的方法，其中，用所述第一片段（202，204）替换所述第二图像（I₂）中的所述第二片段（206，208）的步骤包括混合所述第二片段（206，208）和所述第一片段（202，204）。

7.一种图像处理***（100），包括以通信连接布置的控制单元（102）和摄像机（104），其中所述控制单元（102）适合于：

使用所述摄像机（102）获取人的第一图像（I₁）；

定位所述第一图像（I₁）中的包含所述人的至少一个眼睛的第一片段（202，204）；

获取所述人的第二图像（I₂）；

定位所述第二图像（I₂）中的包含所述第二个人的至少一个眼睛的第二片段（206，208），所述第二片段（206，208）在相对位置和大小方面与所述第一片段（202，204）相对应；

比较所述第二片段（206，208）和所述第一片段（202，204），以及

如果所述比较得出小于预定阈值的差，则用所述第一片段（202，204）替换所述第二图像（I₂）中的所述第二片段（206，208）。

8.依照权利要求7所述的图像处理***（100），其中，所述摄像机（104）是网络摄像机。

9.依照权利要求7或8所述的图像处理***（100），其中，所述控制单元（102）与所述摄像机（104）结合成一体。

10.一种计算机程序产品，包括计算机可读介质，在其上存储用于使得计算机提供一种图像处理方法的计算机程序装置，其中，所述计算机程序产品包括：

用于获取人的第一图像的代码；

用于定位所述第一图像中的包含所述人的至少一个眼睛的第一片段的代码；

用于获取所述人的第二图像的代码；

用于定位所述第二图像中的包含所述第二个人的至少一个眼睛的第二片段的代码，所述第二片段在相对位置和大小方面与所述第一片段相对应；

用于比较所述第二片段和所述第一片段的代码，以及

用于如果所述比较得出小于预定阈值的差，则用所述第一片段替换所述第二图像中的所述第二片段的代码。

11.依照权利要求10所述的计算机程序产品，其中，使用连接到所述计算机的摄像机获取所述第一和第二图像。