CN109983501A - 一种隐藏图像或视频中的对象的方法和相关的增强现实方法 - Google Patents

Abstract

本发明涉及一种从初始图像生成最终图像的图像生成方法，包括适合由个人佩戴的对象。所述方法包括以下步骤：a)检测初始图像中该对象的存在；b)在初始图像上叠加第一透明层，该第一透明层包括一个掩模，该掩模至少部分地覆盖初始图像上的该对象；c)修改该掩模的至少一部分的外观。特别地，本发明使得可以隐藏图像或视频中对象的全部或一部分。本发明还涉及旨在由在面部佩戴着一个视觉设备的个人使用的增强现实的方法，以及虚拟对象的试穿装置。

Description

一种隐藏图像或视频中的对象的方法和相关的增强现实方法

技术领域

本发明属于图像处理和图像合成领域。

更具体地，本发明涉及一种隐藏图像或视频中的对象的方法。

本发明在增强现实领域中具有特定应用，用于在个人佩戴一副真实眼镜时试戴一副虚拟眼镜。

背景技术

对于戴着一副矫正眼镜的人来说，在购买之前很难试戴一副新眼镜。实际上，新的框架在被试戴时，不包括任何光学校正，用户只能看到其视觉缺陷相应的精度。因此，例如对于一般的近视用户，该用户必须接近镜子的二十厘米内进行自我观察。因此其无法确定该新框架是否适合自己。在试戴一副太阳镜的情况下，这甚至更加复杂，其中着色镜片大大降低了亮度，进一步降低了用户的可视性。

在现有技术中，特别是在人脸识别的背景下，已知用于从图像中除去一副眼镜的技术。

这些技术基于人脸识别，特别是允许检测眼睛位置的特征点。这种检测结合了对戴着一副眼镜和不戴眼镜的面部之间的差异学习，允许根据佩戴着一副眼镜的个人图像重建一个未佩戴眼镜的个人图像。

该技术的主要缺点在于，其通常根据相同视角，通常是从正面的个体图像***地重建面部。此技术仅在两个维度中起作用，即仅考虑图像上面部的2D包络面的内部。换句话说，这种技术不考虑与面部背景重叠的一副眼镜的所有元素，这对于具有比面部更宽的眼镜的图像或当面部在图片中不正对前方时存在缺陷。

该技术的另一个主要缺点是其只考虑具有特别薄的框架的眼镜，从而排除了所有具有厚框架的眼镜。

在现有技术中，还已知允许个人在试戴一副新眼镜时，借助替身在屏幕上进行虚拟的自我观察的技术。

这些技术基于预先获取未佩戴眼镜的个人图像。这些图像允许制作个人头部的虚拟模型，在该模型上添加新眼镜的模型。

该技术的主要缺点在于，当试戴一副新眼镜时，该技术不能实现眼镜佩戴者可以像在镜子中那样在屏幕上看到其图像的现实技术。

最后，存在增强现实***，允许人们试戴一副虚拟眼镜。

目前，现有的增强现实***都不能在佩戴该对象的一个人或多个人身上，虚拟地移除该真实对象，例如一副眼镜。

本发明旨在弥补上述现有技术的全部或部分缺陷。

本发明的主要目的之一是提出一种技术，该技术允许佩戴真实视觉设备的用户在屏幕上看到自己，就像在镜子中看到自己那样，面部没有该真实视觉设备，和试戴一个保留在面部作为该真实视觉设备的替代的虚拟对象。

本发明的另一个目的是提出一种技术，该技术对用户来说是接近现实的技术。

本发明的另一个目的是提出一种技术，该技术是实时运行的技术。

本发明的另一个目的是提出一种技术，该技术允许用户在任何方向上移动其头部时试戴一个虚拟对象。

本发明的目的还在于提出一种在图像上或视频中去除对象可见部分的技术，特别是一副眼镜，以及局部的光交互，例如眼镜的反光或投射的阴影。

发明内容

通过使用从原始图像生成最终图像的图像生成方法，来实现以上目的以及随后将出现的其他目的，所述原始图像包括适于由个人佩戴的对象。

该对象可以是例如佩戴在脸上的一个视觉设备，例如佩戴在头部的一副眼镜或便携式装置，其包括一个框架和一个显示屏，例如一个虚拟现实、混合现实或增强现实头盔。该对象也可以是佩戴在个人头部的任何其他配件，例如围巾、帽子、妆容、珠宝或发型。

应该强调的是，该对象是真实的。

通过图像采集装置获取图像，该图像采集装置可以是摄像机、照相设备或深度摄像机。本领域技术人员公知的深度摄像机结合了摄像机和元件相对于对象的红外距离测量。该图像可以是单个图像或包括在图像序列中，也称为视频。

根据本发明，该图像生成方法包括以下步骤：

a)检测初始图像中该对象的存在；

a’)制作至少部分地覆盖初始图像上的该对象的掩模；

b)在该初始图像上叠加第一透明层，该第一透明层包括至少部分地覆盖该初始图像上的该对象的掩模；

c)修改该掩模的至少一部分的外观

因此，该方法允许通过对被检测的对象覆盖一个掩模，修改被检测到的对象的外观。该掩模包括覆盖初始图像中的连续或非连续区域的像素。该掩模可以覆盖该对象的全部或一部分。在一副眼镜的示例中，该掩模可以仅覆盖一副眼镜的框架，或框架和一部分镜片，或框架和全部镜片，或仅镜片。应该强调的是，眼镜投射的阴影也可以被该掩模覆盖。

对该掩模的外观的修改对应于对该掩模的一部分或全部像素的颜色和/或不透明度的修改。

在本发明的特定实施例中，对该掩模外观的修改包括一个对最终图像中的全部或部分对象的纹理的替换步骤。

因此，用户可以佩戴一副特定颜色的眼镜，并观看到自己佩戴另一种颜色的同一副眼镜。对象的纹理是该对象外表的一种描述。该纹理可以例如与物体的颜色，与其组成相关联，例如存在不同的多孔或半透明材料层。该纹理也可以与对象的透明层类型相关联，例如存在一层光亮或哑光釉。

在本发明的特定实施方式中，对该掩模外观的修改包括一个确定对象的全部或部分纹理的步骤，该纹理在最终图像上再现对象的背景元素以隐藏该对象的全部或一部分。

因此，在初始图像中检测到的对象在最终图像中被自动隐藏。换句话说，从初始图像生成最终图像的方法是在图像中隐藏对象的方法。

在本发明的特定实施方式中，掩模还覆盖由对象投射的全部或部分阴影。

因此，对掩模外观的修改还允许使对象投射的阴影不可见。例如，一副眼镜在戴着所述眼镜的个人的脸上投射的阴影也可以从面部擦除，从而增强了隐藏一副眼镜的真实感。

在本发明的一个特定实施例中，该图像生成方法还包括以下步骤：

d)在第一透明层上方的初始图像上叠加第二透明层，所述第二透明层至少包括一个部分覆盖该掩模的元素。

因此，包括在第二透明层中的元素，例如是覆盖一副眼镜的一侧的头发或一部分放置在该对象前面的手。不同透明层的叠加保留了最终图像的真实感。

在本发明的特定实施例中，该图像生成方法在步骤b)之前还包括以下步骤：

-确定所述对象相对于所述初始图像采集装置的方向；

-确定所述初始图像上的所述对象的特征尺寸。

该初始图像采集装置包括一个照相传感器和一个摄影镜头，其能够将真实图像会聚到照相传感器的敏感表面上。该摄影镜头包括至少一个会聚透镜。该图像采集装置可以是例如一个摄像机、一个照相设备或一个网络摄像头。

该对象相对于该图像采集装置的方向对应于该对象在采集装置的参考系中形成的角度。该参考系可以是例如正交参考系，其中一个轴与该对象的光轴重合。换句话说，该对象在图像序列期间被监测，以确定其方向。

该对象的特征尺寸可以是例如一副眼镜的框架的宽度。

在本发明的特定实施例中，该图像生成方法还包括在步骤b)之前的以下步骤：

-制作所述对象的三维模型；

-通过在第一透明层上三维模型的几何投影，制作所述掩模，该模型在第一透明层上具有与所述对象相同的方向和相同的特征尺寸。

因此，代表该对象的模型实际上被虚拟地叠加在该对象上。应该强调的是，该对象的模型可以包含根据真实对象的方向和尺寸变形和扁平化的二维图像。该对象的模型也可以是具有或不具有厚度的三维模型。模型的方向和特征尺寸对应于对象模型与真实对象之间的相似性参数。该三维模型的投影提供了该掩模。该掩模可以覆盖模型在透明层上投影结果的全部或一部分。需要强调的是，该掩模还可以覆盖比投影更宽的图像区域。

在本发明的特定实施例中，仅从所述对象的至少一个图像实施所述对象的模型的制作。

对象模型的生成可以例如在专用于建模的设备中实施，包括容纳该对象的框，和一个或多个朝向该对象的图像采集装置。一个图像可以满足对象模型的制作，只要其呈现平面对称的对象的四分之三的视图，例如一副眼镜。更一般地，根据对象的至少两个图像来实施对象的模型的制作，该图像从两个不同的角度呈现该对象。

在本发明的特定实施例中，该对象被佩戴在个人的面部。

在本发明的一个特定实施例中，根据佩戴在个人面部的对象的至少一个图像来实施物体模型的制作。

因此，个体可以在模型的生成期间可以将该对象保持在其面部。

在本发明的一个特定实施例中，该对象包括延伸到面部两侧的框架，以及组装到所述框架的至少一个镜片。

因此，该对象可以是视觉装置，例如一副眼镜。

在本发明的特定实施例中，该图像生成方法还包括一个从先前建模并被存储在数据库中的框架中识别该框架的步骤，该掩模基于所识别的框架的模型来开发。

因此，被识别和被预先建模的框架模型在第一透明层上的投影可以获得该框架的真实掩模。应该强调的是，该掩模可以包括框架在第一透明层上的全部或部分投影。对应于组装在框架中的镜片或投射阴影的图像区域也可以杯添加到该掩模。应该强调的是，数据库可以存储框架模型，并且从存储在数据库中的框架中识别该框架。

该识别可以通过该方法自动进行，也可以由个人手动进行。手动识别可以例如通过制造商在一副眼镜的框架内部上记录下的信息来进行。

在本发明的一个特定实施例中，通过产生与该框架轮廓相匹配的支撑曲线，来实施对该框架的识别。

在本发明的一个特定实施例中，该框架的识别基于以下标准中的至少一个：

-框架的形状；

-框架的颜色；

-框架的纹理；

-框架的标志(logo)。

在本发明的一个特定实施例中，该图像生成方法还包括一个对该对象环境描述的制作步骤。

环境包括图像中该对象周围的所有元素，以及图像中该对象背景中的元素。该描述可以是图像和/或三维模型的形式。例如，在面部佩戴着一副眼镜的情况下，该环境描述可以包括佩戴着该副眼镜的面部模型和/或与面部背景相对应的图像。

在本发明的一个特定实施例中，对该掩模外观的修改步骤包括以下子步骤：

-在叠加在第一透明层上的中间透明层对所述环境描述几何投影；

-根据所述掩模像素附近的中间透明层的至少一个像素的颜色，确定所述掩模像素的新颜色。

因此，对掩模外观的修改允许在最终图像中隐藏该对象。中间透明层上环境描述的几何投影允许获得在其上叠加该对象掩模的图像。在该描述包括背景图像和三维模型的情况下，该三维模型在中间透明层上的几何投影产生叠加在背景图像上的图像。因此，中间透明层呈现了该环境的二维描述，在该二维描述上叠加该对象的掩模。

应该强调的是，该三维模型是有纹理的。

在本发明的一个特定实施例中，新颜色的确定实施了“泊松图像编辑(Poissonimage editing)”类型的图像编辑方法。

因此，根据初始图像对应用于掩模的纹理进行比色调整以便与其融合。特别地，该掩模的边缘在最终图像中不再可见，并且在该最终图像中不再能够区分该掩模。这种图像编辑技术，例如在P.Perez和M.Gangnet的文献“泊松图像编辑”中所描述，特别求解了一个泊松方程。

在本发明的一个特定实施例中，该图像生成方法还包括一个检测环境中面部的存在的步骤，并且其中环境描述包括检测到的面部的模型，在该模型上应用面部的纹理。

该面部纹理是二维图像，应用于该模型。应该强调的是，模型和纹理可以是有利地接近现实的。可以通过检测面部的特征点来检测面部的存在，例如镜腿的边缘、鼻子或下巴的尖端，或眼睛的角落。

在本发明的一个特定实施例中，该图像生成方法还包括一个确定面部相对于采集装置的方向的步骤，并且其中面部模型基本上根据先前确定的方向定位。

因此，表示面部的三维模型在与由图像获取的场景对应的虚拟空间中以逼真的方式定向。

在本发明的一个特定实施例中，掩模是基于第一透明层上面部模型的几何投影制作而成的，该掩模覆盖被佩戴在面部上对象的至少一部分。

因此，该掩模实现了佩戴在面部的对象的隐藏，该掩模是基于面部模型的投影，而不是基于对象模型的投影的而制作。应该强调的是，本发明的该特定实施例摆脱了监测物体的需要。此外，所制作的掩模可能没有考虑对象的尺寸，在这种情况下，该掩模的尺寸根据面部的尺寸而设定。在面部佩戴着一副眼镜的情况下，该掩模的尺寸有利地足以覆盖现有眼镜的大部分模型。

在本发明的一个特定实施例中，该图像生成方法还包括以下步骤：

-至少分析照亮个人面部的一个光源；

-全部或部分面部模型的比色变换。

因此，面部的模型以接近于实际场景的方式被照亮。

在本发明的一个具体实施例中，该图像生成方法还包括以下步骤：

-根据初始图像对面部模型的至少一个像素进行比色变换的估计；

-在全部或部分面部模型上应用该比色变换。

可以通过分析照射个人面部的至少一个光源来执行该比色变换的估计。

在本发明的一个特定实施例中，通过该像素附近补丁颜色的修复方法来确定面部纹理上像素的颜色。

该补丁对应于组成连续区域的多个像素。该补丁的形状可以是正方形或矩形，每侧通常包括一到五个像素。通过在方形补丁内***高斯滤波器可以获得圆形补丁。本领域技术人员已知的修补方法允许补充面部的纹理，特别是在生成佩戴着一副眼镜的个人面部模型的情况下。实际上，在该实施例中，该框架甚至遮盖部分面部。

在本发明的特定实施方式中，该补丁的位置基本上位于相对于包括缺失像素区域的轮廓的垂线上。

因此，如果隐藏了面部的一部分，则根据缺失像素附近的补丁重新制作缺少面部纹理的像素的颜色，该补丁位于与面部隐藏区域轮廓的垂直位置。

在本发明的特定实施例中，该补丁的位置基本上位于所述像素的垂直方向上。

因此，该修补方法考虑到面部的一般形状，其在任一侧包括覆盖部分镜腿的头发的垂直区域。

在本发明的一个特定实施例中，通过基于预先建立和定向的面部模型的修复方法，来确定面部纹理上的像素的颜色，该面部模型包括眼睛的描述。

在本发明的一个特定实施例中，该图像生成方法还包括一个识别面部纹理上的至少一个眼部区域的步骤，该眼部区域对应于检测到的面部的一只眼睛的位置。

可以通过识别一只眼睛的特征点的位置，例如眼睛的精确外角和内角，来实施面部纹理上一个眼睛区域的识别。

在本发明的特定实施方式中，通过了解检测到的面部眼睛的拓扑结构，来进行眼部区域的填充。

眼睛的拓扑结构包括通过曲线的眼部各个区域的参数表示，包括虹膜和眼睑。

因此，眼睛区域的填充更加真实，因为其遵守虹膜和瞳孔的位置。虹膜的填充可以通过修复虹膜的相应区域中附近像素的修复方法来进行。在虹膜的对应区域覆盖空像素或没有相应值的像素的情况下，通过考虑另一个可能检测到的眼睛虹膜的颜色，根据标准虹膜拓扑重建虹膜。

在本发明的一个特定实施例中，在不检测环境中的面部的情况下实施佩戴在个人面部的对象的环境描述的制作。

因此，使用该方法无需检测或监测个体的面部。

在本发明的一个特定实施例中，该环境描述的制作包括一个校正光学变形的子步骤，所述光学变形由一个放置在环境和初始图像采集装置之间的透明元件引起。

因此，校正了例如通过位于个体面部的一副眼镜的矫正镜片的反射引起的面部或背景图像中的几何变形。

在本发明的一个特定实施例中，该图像生成方法应用于形成视频的图像序列的全部或一部分。

应该强调的是，该视频可以是实时记录或实时视频流的形式，例如流式视频广播，这是一种众所周知的技术。该视频也可以是来自摄像机的实时流，并且在屏幕上即时可见。

在本发明的特定实施例中，针对序列中的每个图像更新环境描述和/或对象的模型。

因此，根据序列的多个图像进行更新的描述和/或模型越来越接近现实。因此，当个人转动头部时，可以在包括面部模型的环境描述中更新被对象隐藏的区域，例如位于一副眼镜后面的面部部分。实际上，在转动头部时，初始图像采集装置在新的角度拍摄面部图像，这改善了脸部的识别。

在本发明的一个特定实施例中，基于根据多个不同角度获得的多个初始图像来更新环境描述和/或对象的模型。

可以利用根据不同角度聚焦的一个或多个图像采集装置来获取以多个不同角度拍摄的初始图像。

在本发明的一个特定实施例中，从初始图像实时实施最终图像的生成。

因此，对获取图像的处理在短且确定的时间内进行。获取的个人图像的处理时间特别地允许显示个体的处理图像，且对于个体没有可见的滞后。处理时间小于1/10e秒。处理时间优选但不一定小于两个图像之间的显示时间，其通常等于1/25e秒。换句话说，该实时处理允许在屏幕上实时显示来自摄像机的视频流，该图像流已经在足够短的时间内被处理，以便不被人眼察觉。

本发明还涉及一种增强现实的方法，该方法旨在由在面部佩戴便携式装置的个人使用，其包括以下步骤：

-实时获取在面部佩戴便携式设备的个人的视频；

-通过该图像生成方法，实时显示所述视频，其中便携式装置的外观被全部或部分修改。

因此，通过该图像生成方法，个人可以直接在屏幕上看到未佩戴该便携式设备的自己。该便携式设备通常包括可佩戴在头部上的框架。便携式设备还可包括至少一个镜片和/或至少一个显示器。在仅具有一个框架的便携式设备的情况下，该框架被有利地布置为避免遮盖眼睛和眉毛。应该强调的是，便携式设备可以是一个视觉设备。这种增强现实的方法特别允许佩戴一副矫正眼镜的个人在屏幕上看到自己佩戴着同一副眼镜但具有不同颜色和/或纹理。

有利地，该便携式设备完全或部分地隐藏在实时显示的视频中。

因此，戴着一副矫正眼镜的人可以在在屏幕中看到没有佩戴眼镜的自己，虽然实际上该眼镜位于其鼻部。

在本发明的一个特定实施例中，该便携式设备是一个视觉设备，包括框架和矫正镜片，该矫正镜片适于在面部佩戴该便携式设备的个人的视力。

换句话说，个人佩戴的便携式设备包括适合于个人视力的矫正镜片。

在本发明的一个特定实施例中，佩戴着该便携式设备的个人试戴一个虚拟对象，该对象至少部分叠加在部分或全部隐藏在视频中的便携式设备上。

因此，佩戴一副矫正眼镜的个人可以虚拟地试戴一副新眼镜，同时保留其自身的一副矫正眼镜，使其能够保持舒适视觉。

在本发明的一个特定实施例中，该增强现实的方法包括由未在面部佩戴便携式设备的个人的至少一个图像对个体的面部模型初始化的步骤。

因此，个人先从其面部摘除该便携式设备，以生成面部模型，并在指定时间结束时重新戴回。可以通过一个或多个图像采集装置来获取个体的图像。个人可以移动其头部，使得根据不同角度下获取的面部的多个图像来生成面部模型。

在本发明的一个特定实施例中，该增强现实的方法包括根据佩戴着便携式设备的个人的多个图像，对个人的面部模型初始化的步骤，该图像对应于面部的不同角度。

因此，生成了面部模型，而无需用户从面部摘除该便携式设备。

在本发明的一个特定实施例中，该增强现实的方法包括一个根据专用于建模的设备的所述采集装置的至少一个图像，对便携式设备的模型初始化的步骤。

在本发明的另一特定实施例中，该增强现实的方法包括一个根据佩戴着便携式设备的个人的至少一个图像，来对便携式设备的模型初始化的步骤。

本发明还涉及一种增强现实装置，其能够由佩戴视觉设备的个体试戴一个虚拟对象，该虚拟对象至少部分地覆盖该视觉设备，该试戴设备包括：

-至少一个摄像机，所述摄像机用于获取个人的视频；

-一个对所获取视频的处理单元，所述处理单元通过该图像生成方法，对所述视觉设备的视频图像的大部分或者全部进行隐藏；

-至少一个屏幕，所述屏幕显示处理过的个人的视频。

在本发明的一个特定实施例中，该屏幕是垂直的，并且相机相应地固定在在屏幕的平面。

因此，这种特定的配置使得面对相机坐着或站立的个人能够在屏幕上观看，就像镜子一样。

在本发明的一个特定实施例中，该虚拟对象的试戴装置包括两个平行于屏幕的边缘间隔开的摄像机，间隔距离在三十到五十厘米之间。

因此，个人通常处于距离屏幕25厘米到1米之间的距离处，以便能够触摸屏幕，摄像机之间的距离对于获得能够以逼真的方式重建面部模型和纹理的两个视角是最佳的。

在本发明的一个特定实施例中，虚拟对象试戴装置还包括基本上放置在两个第一摄像机之间中轴上的第三摄像机。

因此，该第三摄像机允许获得个人的正面图像，该图像显示在屏幕上。两个第一摄像机能够改善对面部和用户佩戴的一副眼镜的逼真建模。

在本发明的特定实施例中，屏幕是触屏。

因此，用户可以选择要试戴的虚拟对象。该虚拟对象可以是一个视觉设备，诸如一副视力眼镜或太阳镜、面部装饰品甚至妆容。

在本发明的一个特定实施例中，被获取和修改的视频的显示是实时进行的。

换句话说，该设备是增强现实设备，其中用户可以试戴虚拟对象，并在屏幕上实时看到自己。

在本发明的一个特定实施例中，该虚拟对象的试戴装置包括对该视觉设备的三维模型的采集装置。

附图说明

本发明的其他优点、目的和特征将参考附图，从作为本发明主题的方法和装置的至少一个特定实施例的以下非限制性描述中得出，其中：

-图1表示一个增强现实装置的实施例，该增强现实装置能够由佩戴着真实视觉设备的个人试穿一个虚拟对象；

-图2表示根据一个初始图像生成最终图像的图像生成方法的实施例的框图；

-图3以示意图的形式示出了参考图2中图像生成方法的步骤；

-图4以五种视图的形式示出了眼睛的模型：

4a：眼睛模型的透视图；

4b：整体眼球模型的侧视图；

4c：眼睛模型的正面视图；

4d：整体眼球模型的侧视图，包括眼睑的曲线；

4e：眼睛模型的正面视图，示出了虹膜的运动；

-图5示出了从真实面部获取的纹理的示例；

-图6示出了参考图2中的图像生成方法期间生成的掩模；

-图7表示该增强现实设备的另一个实施例，其能够由佩戴着真实视觉设备的个人试穿一个虚拟对象；

-图8以示意图的形式示出了根据初始图像生成最终图像的另一个实施例；

-图9表示佩戴着真实视觉装置的个人使用该增强现实装置的另一个实施例；

-图10表示在本发明的实施例中使用的一副眼镜；

-图11表示显示面部佩戴着一副眼镜的个人的视频的屏幕；

-图12表示参考图11中显示着视频的屏幕，其中该副眼镜被隐藏。

具体实施方式

本说明书以非限制性的方式给出，实施例的每个特征能够以有利的方式与任何其他实施例的任何其他特征进行组合。

应注意附图并非按比例绘制。

本发明实施例的初步描述

图10示出了一幅眼镜111，该副眼镜包括一个刚性框架112和组装在该框架112中的两个矫正镜片113。该框架112相对于一个中间平面AA对称，该中间平面包括一个面112b和在面112b的两侧横向延伸的两个镜腿117。

该平面112b包括环绕该镜片113的两个镜片框114，确保两个镜片框114之间和两个销119之间的间隔的桥115。各自连接到镜片框114的两个鼻垫116，被置于个体鼻子的两侧。

两个镜腿117各自通过铰链118连接到面112b的销119，使得框架111被铰接。在框架112的打开位置，面112b相对于由镜腿117的轴线形成的垂直平面以5°和10°之间的角度倾斜。该角度基本上与该幅眼镜的内窥角度一致，也就是指当一副眼镜111被放置在向远处看的个人的鼻子上且头部不倾斜时，镜腿117的平面是水平的，该面112b与垂直方向的夹角。

每个镜腿117以镜腿端部117b结束，该镜腿端部用于放置在个人耳朵上。该框架112因此横向延伸到佩戴着一副眼镜111的个人的面部的任一侧。

应该注意的是，在本发明的以下两个实施例中使用的一副眼镜111，是根据本发明的主题方法隐藏图像或图像序列中的真实对象的非限制性实施例。

本发明的特定实施例

图1表示在面部佩戴着一副眼镜111的个体120的虚拟对象110试穿装置100。

应该强调的是，在本发明的非限制性实施例中，该个体120是中度近视的。因此，未佩戴任何矫正眼镜的个体120的可见度约为20厘米。

该装置100包括垂直固定在支撑件131上的一个触摸屏130，在屏幕130上方居中的一个摄像机132，两个***摄像机133和一个处理单元134。

在该实施例的变型例中，该装置100还包括一个深度传感器，其通过红外线测量元件相对于摄像机的距离。该深度传感器可包括红外线投射器和红外波长的光传感器。该光传感器紧邻投影仪，图像点的密度允许推断出指示该图像的每个点相对于该传感器的距离的深度图。

在本发明的该特定实施例的另一个变型例中，该装置100还包括一个扫描仪或一个双传感器，其允许获得个体120的整个面部的模型。

当个人120面向屏幕130时，个人120从前方看到其面部121的图像，该图像由该摄像机132实时获取。为了能够触摸该触摸屏130，个人120站立在该屏幕130的一个臂长得距离内。个人120和触摸屏130之间的距离在六十到一百二十厘米之间。该个人120佩戴一副眼镜111，以便清楚地看到屏幕130。

该两个***摄像机133沿着屏幕130的上边缘固定在平行轨道135上，对称地位于该摄像机132的两侧。两个***摄像机133之间的距离在三十到五十厘米之间。在本实施例中，两个摄像机133之间间隔距离为40厘米，这允许以偏离法线大约20度的视角获取个体120的面部121的最终图像。

该处理单元134基于由摄像机132获取的一系列初始图像中的每一个，生成个体120面部121的最终图像，其中隐藏了一副眼镜111。换句话说，在屏幕130上的实时显示中，实际位于面部121的一副眼镜111被处理为不可见。

为此目的，制作由摄像机132获取的场景的虚拟表示。该虚拟表示包括位于环境描述中的一副眼镜111的三维模型，该环境描述包括个体120的面部模型。一副眼镜111的模型的投影以及该环境描述允许在由摄像机132获取的序列图像中的每一个图像上制作叠加在真实眼镜上的掩模。

应当注意，对于虚拟表示，一个虚拟摄像机替换具有相同角度和相同放大率的摄像机132。

换句话说，虚拟相机的光学特性与摄像机132的光学特性相同。

如图2所示，该处理单元134根据该图像生成方法300，基于由摄像机132获取的图像序列200中的每个图像220生成一个新图像210。

图3以示意图的形式示出了该图像生成方法。

在第一步骤310中，该图像生成方法300检测初始图像220中的一副眼镜111的存在。

在该图像生成方法300的第二步骤320中，确定该副眼镜111相对于摄像机132的方向。

在该图像生成方法300的步骤330中，确定初始图像220中的该副眼镜111的特征尺寸。

本发明的当前非限制性示例中，该特征尺寸等于该框架112的宽度。

该图像生成方法在步骤340中，在代表由摄像机132获取的真实空间的一个虚拟空间中，制作该副眼镜111的三维模型。

制作该副眼镜111模型的步骤340包括第一子步骤341，其从预先建模并被存储在与该处理单元134相关的数据库中的眼镜中，识别该副眼镜111。该识别可以通过了解眼镜的编号和印在眼镜上的框架标记元素来实现。

该副眼镜111的识别还可以通过基于用户佩戴着该副眼镜的图像，或者专用于单独的该副眼镜的图像采集装置的自动识别来进行，例如灯箱。为此目的，通过生成例如与一副眼镜111的轮廓相匹配的支撑曲线，使用本领域技术人员公知的3D对象的索引和视觉外观识别方法中使用的自动识别。

应该强调的是，可以基于以下标准进行眼镜的视觉识别：

-眼镜的形状；

-眼镜的颜色；

-眼镜的纹理；

-该副眼镜或标志(logo)上存在的显着特征。

在子步骤341导致识别出该副眼镜111的情况下，通过子步骤342从数据库中提取该副眼镜111的模型。

在该副眼镜111与数据库的任何一副眼镜都不匹配的情况下，在子步骤343期间，基于由摄像机132获取的图像序列200，最终基于在数据库中搜索步骤期间确定的最接近模型的参数，制作该副眼镜111的3D模型。

应该强调的是，图像序列200呈现该个体20，该个体面部佩戴着一副眼镜111。因此，基于由中央摄像机132和***摄像机133获取的图像，实时地制作该幅眼镜111的模型。当个体120的头部倾斜和/或转动时，摄像机从一个新的角度获取图像。在每个图像中更新该副眼镜111的模型，特别是当图像从不同角度呈现个体120的视图时。

在子步骤343期间制作的该副眼镜111的模型，是通过在第一步骤中形成该副眼镜111的面112b的形状模型和该副眼镜111的镜腿117模型而构成。需要强调的是，在该副眼镜不对称的情况下，会产生每个镜腿的模型。

在本发明的该特定实施例的变型例中，面112b的形状模型还包括鼻垫116。

为了制作一副眼镜111的面112b的模型和镜腿117的模型，使用一副眼镜的骨架。该骨架是从眼镜的拓扑类型的分组数据库中提取的。眼镜的拓扑类型使得能够根据眼镜的形状，对眼镜对进行分类。拓扑结构定义如下：

-镜片框类型：全框，上半框，下半框，无框；

-镜片框形状：圆形，椭圆形，矩形；

-销的形状；

-连接两个镜片的桥或杆，镜腿和/或杆可以是单个或多个；

-两个镜腿；

-识别上述每个元素的显着特征，例如镜腿中存在洞，镜片框之间不对称，框架上的突起......

通过生成围绕该副眼镜111的闭合3D包络来确定该幅眼镜的骨架的厚度。

该3D包络通过以下三个子步骤生成：

-在骨架的垂直平面上制作支撑曲线。这些支撑曲线基本对应于框架112的剖面；

-生成与支撑曲线接触的3D包络；

-在3D包络内部制作网格。

应该强调的是，用于生成3D包络的支撑曲线是根据先前的认知制作的，用于手动或统计计算。该支撑曲线的初始化通常在视觉识别步骤期间进行，试图自动识别该副眼镜111。基于被佩戴在面部的该副眼镜111的图像或基于通过专用建模设备(未在图1中示出)在中性背景上获得的该幅眼镜111的图像生成该支撑曲线。

在基于在面部佩戴着一副眼镜111的个体120的图像生成该副眼镜111的模型之后，然后在步骤350期间，以与真实的一副眼镜相同的方式重新校准该副眼镜111的模型。因此，该幅眼镜111的模型具有图像中真实眼镜111相对于摄像机132相同的方向和相同的特征尺寸。换句话说，该副眼镜111的模型位于虚拟空间中，根据虚拟摄像机的位置定向并且根据该幅真实眼镜111的尺寸来配置。因此，可以对该幅眼镜111应用一个放大系数。该幅眼镜111模型的放置参数被记为Pe_Mg。

在步骤355期间，该图像生成方法制作表示未佩戴该副眼镜111的面部的替身的一个三维几何模型M_a。在步骤355期间还制作未佩戴该副眼镜111的面部的纹理T_aNG。该几何模型M_a根据以下描述的面部模型的制作方法从形态和表达式配置参数。

该替身的制作方法包括检测图像中的面部和对检测到面部的面部分析的第一步骤。通过例如在专利FR2955409中所解释的Viola-Jones方法，在本发明的当前非限制性实施例中实施对面部的检测。

在面部制作方法的第二子步骤期间，使用特征对齐算法来发现面部特有的特征。为此目的，使用本领域技术人员公知的特征检测机构，允许以非常可靠的方式发现面部的内部特征。

然后，在欧洲专利申请EP2678804中描述的HPAAM特征对齐算法允许图像中重要3D特征投影的精确定位。与在拥挤环境中引起定位误差的现有技术相反，HPAAM对位于面部轮廓上的特征特别稳定，例如耳朵的尖端。鉴于HPAAM算法是在学习阶段中使用的技术，使用具有3D匹配的预定点对全局面部分析技术能否成功具有影响，特别是关于该技术的稳健性和有效性。通常，这种关系特别针对3D面部分析技术中的少量点，例如3DMM调整策略的起点，其中手动定义了五个点。

应该强调的是，该面部检测步骤对于由一副眼镜111形成的面部遮挡是稳健的。

该替身制作方法的第二个步骤涉及面部模型θ_model的参数估计，包括：

-面部模型的外在参数Pe_Ma，即面部的曝光参数，其面部的位置和方向；

-面部的内在参数Pi_Ma，即面部的三维形态；和最后

-面部表情模型，和眼镜的外部参数(平移T_SE)和形状，在监测过程中对每个图像重新估计。

使用人脸形态的统计几何模型来估计面部模型θ_model的参数。为此目的，使用面部数据库，例如Blanz和Vetter在2003年出版的名为“Face Recognition Based on Fittinga 3D Morphable Model”文件中描述的数据库。

通过使用在特征检测阶段中找到的特征，并通过动态调整图像中的轮廓，来制作对虚拟摄像机的面部模型θ_model和参数θ_cam的估计。

为了估计相机的内在和外在参数θ_cam以及面部模型θ_model的参数，同时实施最小化在图像f_i,i＝1..n中找到的面部特征和i＝1..n和在参数面部Proj(X_s(i))上定义的3D语义投影点之间的距离的最小化，以及面部参数轮廓的投影与图像的相关边缘之间的距离的最小化。

函数Proj(X)表示从3D场景到层或图像平面的投影变换，例如面部或一副眼镜，该函数通过考虑针孔型摄像机模型，本领域技术人员公知该模型可实现透视划分。因此，函数Proj(X)通过考虑摄像机的内在参数，可以从场景的欧几里德空间内的3D点X＝(x,y,z)实现到层中点(u，v)处的变换，该摄像机的内在参数包含在K矩阵和形状RX+T的刚性变换中，其中旋转矩阵R为3x3矩阵，平移T为3x1矩阵。必要时，该投影记为Proj(X；K,R,T)。应该强调的是，面部参数轮廓的投影对应于面部模型中点的投影，其法线与对其观察方向正交。

为此目的，对当前采样点轮廓的正交方向进行采样，并允许因多个原因对轮廓进行采样：数值效率、数值稳定性以及与3D对象监测中使用的其他对齐技术的兼容性。为此，对于最小化的每次迭代，计算C(θ_cam,θ_model)，其包含面部模型的点X_j的子集，其法线n_j与轴向投影正交，和实现与图像轮廓相关的点cont_j＝ProjContour(X_j,n_j)，其中ProjContour是一个点X_j的投影函数，并沿着法线投影寻找多个假设中更优的轮廓。这些假设是局部计算的，因为沿法线方向计算边缘并遵循信号幅度，这导致根据整个对象-面部的比例对边缘检测的准确和不变性。将通过遵循法线的方法来调用此方法。

成本函数可以例如通过使用M类型估计器的方法来实施，例如使用Tukey的鲁棒权重函数的方法。或者，可以在多个假设上计算沿着轮廓法线方向的最近点的残差。

最终，要解决的等式是：

其中‖.,.‖₂表示欧几里德距离，γ是一个参数，该参数可对成本函数两部分中的其中一部分给予更重的权重：轮廓或特征。该等式可以通过使用本领域技术人员公知的梯度下降经典法来解决。

该估计技术的主要优点在于，例如在图像序列200中，当多个图像可用时，其扩展到多图像分析算法，该算法放松了语义2D/3D匹配的约束，并实现所有估计参数的简洁。该技术可用于寻求所有图像的最佳调整的形态。

应当强调的是，当进行面部3D扫描时产生3D数据，例如通过红外传感器或RGB-D(英语“Red-Green-Blue-Depth”的首字母缩写)型深度摄像机，添加了3D/3D约束。因此，对于面部模型的每个点，我寻求面部模型的点X_i与最接近扫描数据的3D点之间距离的最小化。因此，我们可以在式(1)中增加下一项的最小化：

该替身的制作方法的第三步骤涉及添加面部的3D表达。

该表达式为面部模型增加了一定的可变性，并且其排除允许更加稳定和精确地估计曝光参数和面部的形态。

通常用于制作网格的参数变化的一种方法包括使用混合形状，也就是说，几何模型的集合线性地组合以便产生唯一的实例。一种通常用于计算这种混合形状的技术包括对其的统计推断，如在文章“A 3D Face Model for Pose and Illumination InvariantFace Recognition,Paysan et al.,2009”中所述。

该模型如下：

g(α)＝g_m+α×V,

其中g(α)是表示新形状的向量且计为g(α)＝(x1，y2，z3，...，xn，yn，zn)中(xi，yi，zi)是第i个最高点，g_m是平均3D形状，α是包含属于用户的自适应参数的向量，V是包含统计形状数据库的矩阵。通常，统计形状数据库仅包括标识的变体，无论表达式如何变化，以确保分离命令参数的良好能力。

然而，有利地将表达式添加到用于实时计算的模型中。

该3D模型是一个线框模型，其可以根据g(α,β)＝gm+αV+βA变形，其中β是一个包含动画参数的向量，A是一个包含动画单元的矩阵。如在文件“CANDIDE-3-An UpdatedParameterised Face,Ahlberg,technical report,2001”中所示，该动画单元矩阵允许确保3D监测点表示该表达式的变型。

这种参数分离不仅比传统建模更强大，而且还可以实时简化计算。不是管理3D曝光的所有参数，而是面部身份和表达式在监测过程期间修改每个框架，根据面部分析阶段提供恒定的身份参数。仅针对每个图像估计3D曝光参数和少量变化表达式的参数。

对具有可变形的形状和曝光模型的参数的完整估计，基于以下求解来实现：

其中R是3D旋转矩阵，T是3D平移，K是摄像机的内在参数，α在面部分析阶段是固定的，p2D是3D图像中监测点的当前位置。

该面部模型包括一个眼睛模型，该眼镜模型通过面部模型参考系和眼睛模型参考系之间的刚性平移T_SE被连接。

如图4所示，两只眼睛401由两个旋转中心402表示，标记为PS，其中S∈{R,L}分别对应于右(S＝R对应于英语中的“Right”)或左(S＝L对应于英语中的“Left”)。两个旋转中心402与眼睛***SE的坐标系相连，距离为pdS，其中S∈{R,L}。每只眼睛401相对于眼睛***坐标系的角度为rxe,ryeS,S∈{R,L}，相应围绕x和y轴旋转。旋转中心402距离表示虹膜的半径为hdi的圆盘403的中心距离为dr。该圆盘403包括在由三个3阶贝塞尔曲线410组成的元素中，所述三个3阶贝塞尔曲线具有相同的起点和终点控制点pEo,pEi，如图4c所示。眼睛边缘的曲线可以在面部的网格上以3D表示。重要的是，点pEo,pEi位于眼睛边缘的曲线的交叉处，并且该移动曲线由允许眼睑曲线410₃在较高曲线410₁和较低曲线410₂之间变化的参数dpELv确定。该一维参数可以根据在空间中定义的曲线，影响眼睑的曲线410₃的3D路线。

应该强调的是，曲线4101和4102由控制点控制，该控制点分别包括点pEuL和pEuR，以及点pEdL和pEdR。

眼睑曲线410₃的3D路线可以根据围绕眼睛的特定坐标系x轴旋转rxEL所给定的眼睑位置dpELy(t)的位移，以可配置形态模型的变形模式来表示，其中t在0和1之间，允许配置眼睑曲线410₃上一个点的位置。

应该强调的是，眼睑曲线410₃的点在t等于0.5时对应于中值点。在这一点上，位置dpELy(t＝0,5)基本上在圆盘的半径dr上移动。我们区分左眼L和右眼R的dpELy的配置，其允许对一个眼睑的闭合进行建模，与眼睛垂直旋转rxe的参数相反，绝大多数情况下左眼的位移和右眼是一样的。

该关系T_SE使得眼睛的虹膜盘能够围绕点PL和PR旋转并接触眼睑的曲线。

基于检测到面部图像220，以及对于曝光Pe_Ma0和面部的内部参数Pi_Ma0，当面部模型在每个图像上曝光的时刻估计参数T_SE,rxEL,rxe,{pdS,ryeS}；S∈{R,L}。眼睛***SE在面部坐标系T_SE中的定位参数，以及瞳孔距离pdR和pdL的参数被认为是属于用户的形态，并且其一旦稳定后就不需要重新估计。其可以相对于图像中模型的再投影来解决，或者基于所获取的全体图像来解决。例如在专利FR 2971873中描述的瞳孔距离参数的解决方案。

对全体参数T_SE,rxEL,rxe,{pdS,ryeS}；S∈{R,L}的求解，通过考虑一个或多个获取的图像，基于以下元素：

-在考虑模型投影和图像之间差异的情况下：通过梯度下降法，其利用Lucas-Kanaof法实现面部合成外观与图像之间差异的最小化；

-在考虑虹膜和眼睑曲线在轮廓图像中对齐的情况下：通过轮廓之间的距离最小化。为实现轮廓之间距离的最小化，考虑位于轮廓法线上的对应点。曲线是参数化的，很容易用以下方法对其进行采样：

·圆形虹膜曲线的角度参数θ，θ∈[0，2π]；

·眼睑曲线的评估参数s，s∈[0，1]，该眼睑曲线为3阶贝塞尔曲线。

对内部参数Pi_Ma0,测量该模型投影到曝光Pe_Ma0的采样点C_Iθi和C_Esi之间的差异，以及用Canny或Sobel类型的经典算子获得的面部轮廓图像I_C0。

应该强调的是，采样点和轮廓图像之间的差异也可以通过根据先前描述的标准方法的研究来确定。

还可以通过生成投影轮廓的模型的距离图来求解曝光参数，并且将图像的轮廓点投影到该图上，用于该计算。

要解决的两类方程是：

a)对应于用于求解眼睛***图像差异的等式：

其中K是摄像机内部参数的矩阵，I(f_projTM_a,SE)是通过替身模型的投影和眼镜***SE通过闭合眼睑考虑眼镜***的隐藏，或通过由于模型曝光的自动隐藏而生产的图像。图像的生成假设已知纹理。因此，在初始化期间，使用活动外观模型类型添加对于纹理的学习参数的计算。初始化时，应使用场景的特定纹理。应该强调的是，出于性能和简化数据的原因，轮廓差异有利地用于初始化。

b)用于求解眼睛***的轮廓差异方程：

其中，对于与参数θ和s相关联的曲线的点，沿着投影曲线C_I或C_E的梯度的法向选择图像I_C0的所有点。

在本发明的该特定实施例的变型例中，该方程ProjContour还用于眼睛的最小化。

应该注意，为了在第一次初始化中使方程组***稳健，使用以下默认值：

-hdi＝6.5mm和dr＝10.5mm用于初始化；

-和约束pdR＝pdL,ryeR＝ryeL。

-重要学***均统计值为rxe₀＝0。这允许约束眼睛***的参数求解。

然后在更新参数期间重新估计这些值。

在处理两个校准图像或深度图的情况下，可以容易地找到所有参数。这些方程可以耦合到面部外部和内部参数的求解。

在该图像上图像深度图可用的情况下，改善了面部的外部和内部参数的估计。实际上，这些值用于完美地估计参数模型。如果参数模型不完全对应，因为参数设置不允许解释深度，则通过求解3D面部的式(1)中描述的***，面部模型被调整到表面。因此，没有实施面部参数的估计，而是估计用户面部的计量参数模型。

一旦实现了面部模型、眼睛模型和图像220之间的对齐，在步骤356期间更新面部模型、眼睛模型、图像220、面部的纹理T_aNG和背景的纹理T_bg，其在下文中更详细地定义，以便对应于由摄像机132获取的现实场景。

图5中所示的纹理T_aNG450是面部的图，根据本领域技术人员公知的经典网格展开方法计算。一旦3D面部例如通过z缓冲或剔除方法投影在图像中，其可视面朝向摄像机，就能够填充图像纹理T_aNG450。

眼睛的纹理分布在面部的纹理上并且被分成三个部分：虹膜纹理T_{aNG_I}451、眼白纹理T_{aNG_E}452、眼睑的纹理T_{aNG_EL}。这三个元素在采集过程中可能是不完整的，但可以通过对要合成的未知区域的T_{aNG_E}和T_{aNG_EL}的插值，或通过认知不可见部分的拓扑以简单的方式完成，该不可见部分例如眼睛不睁大时的虹膜上部。瞳孔和虹膜的圆形特点允许根据极参数化补充纹理。

一个背景图T_bg，在步骤357被制作。

对应于背景的图T_bg，和所有被认为既不属于用户佩戴着的该幅真实眼镜，也不属于面部，也不属于明确建模的任何其他元素，例如头发模型或叠加在面部和该幅眼镜111的一个手。

通过遵循诸如在背景减法(英语中的“background subtraction”)的经典技术中的更新规则，以动态方式更新图T_bg。我们通过使用颜色的概率分布和可能的模式，对每个像素指代每个像素的主色模型。可以采用多个模型，例如高斯混合，或通过核心方法对直方图的模式估计。该模型与动态模型的时间和可能的空间更新相结合。

例如，更新动态模型可以通过以下方式进行：例如在“Active AttentionalSampling for Speed-up of Background Subtraction,Chang et al.,2012”中，对于每一个像素，通过考虑时间特性P_t，空间特性P_s，该空间特性消除了孤立的像素和视频P_f的最后图像中的频率特性，允许消除过于频繁地改变并且可能由噪声引起的像素。这三个值的乘积给出了每个像素属于该图并被更新的概率。

该背景图T_bg由此阶段所有不属于面部投影或该幅眼镜投影的像素初始化。该背景图具有与图像220相同的尺寸。

为了效果，并且通过对监测模型的补充分析，和对统计上异常点的分析，该异常点也称为离群点，使用了修改方法。该方法包括以下步骤：

-对于每个新图像I，基于在图像中面部模型M_a的投影来计算面部的分割图T_a。以相同的方式，眼镜模型的投影M_g允许获得眼镜的分割图T_g。

-对于每一个图，属于模型投影的像素的值为1，而其他像素的值为0。在没有其他模型的简单情况下，每个像素p通过以下方式进行处理：

·如果T_a(p)＝0和T_g＝0，T_bg(p)＝I(p)，

·否则，不修改纹理。

还可以对于T_bg的每个像素计算一个图，指示在自从像素的最后一次更新所获取图像的数量，这允许评估像素最近是否被修改。因此，可以根据上次更新的相应时间来评估像素的值是否与位于附近的像素相关。这种修改方法因此有利于最近修改的像素。

在步骤358期间制作叠加在面部121的元素的隐藏模型，例如一只手或一缕头发。

该遮挡图由动态纹理T_fg表示，该动态纹理在序列图像200中的每个图像处被更新。认为所有对该幅眼镜111和面部121的模型外观的干扰都是遮挡，具有空间和时间一致性，其与面部121的照明特征、该副眼镜111投射的阴影或面部自有的阴影(例如鼻子)，或者由一副眼镜111在面部121产生的焦散不同。最可能的情况是头发或手。

该遮挡图与几何模型M_fg相关联，该几何模型可以是可变的。这可以是表示3D场景之前的一个层的平面，或者是估计或可用的深度图。

该遮挡图的值由预测外观与真实图像之间的差异确定，即由表示面部的虚拟模型的投影，该幅眼镜和背景与真实图像之间的差异确定。换句话说，该遮挡图包括之前未建模的所有元素。

在本发明的该特定实施例的变型例中，使用修复技术以填充该遮挡图中的最终空白空间，从而允许改进该遮挡图的外观。

同样地，对于小于图像中像素尺寸的小元素，例如与像素中的面部元素或该副眼镜111的元素一起呈现的细发束，该遮挡图考虑了局部不透明度。这种不透明度的修改目前用于解决数字消光的问题。将该遮挡图灰度级的不透明度通道记为Tα_fg，值为1的不透明像素的二值化记为TB_fg。

在使用深度传感器的情况下，遮挡的检测更容易，并且可以应用本领域技术人员公知的方法。然而，在用户佩戴着眼镜的当前情况下，基于红外技术的RGBD传感器获得非常差的信号，因为该幅眼镜通常由复杂且高动态材料制成，例如金属、半透明塑料和玻璃。这些材料的衍射和反射的影响阻碍了深度图制作***的正确运行。另一方面，这些传感器的空间分辨率对于非常薄的眼镜来说是不足的。因此，不仅***无法或非常难以识别眼镜，而且其破坏或使得位于附近和后方面部的所有数据都无法获得。使用图像和提出的该副眼镜的参数模型允许纠正深度传感器的这些结构问题。

在图像生成方法的步骤359期间补充并更新该副眼镜、面部和/或背景的纹理。

在此方法中，表示显示到图像的元素的图的状态根据元素的认知改变。在本实施例中，个体120的面部被该副眼镜111部分遮盖。当个体120转动头部时，出现个体120面部的新元素。由于镜片的反射，颜色的信息也可能会失真，特别是在镜片着色的情况下或者由于该副眼镜111在面部投射的阴影。

因此，由于用户未发生足够的移动使必要区域出现，对于已建立图的像素该颜色信息不可用，此处的图例如是背景图或面部图。

通过学习的统计模型用于面部区域，但效率低于背景。因此，我们可以用诸如主动外观模型或3D可变形模型(英语中“3D morphable models”)的已知技术替换面部区域的像素。

在不可能进行外观预测的情况下，使用通过局部空间填充的技术。类似于本领域技术人员公知的修补技术，该填充技术依赖于纹理的合成，通过应用相关认知实现填充问题的可靠和实时性。鉴于眼镜模型的拓扑结构是已知的，并且实时约束是重要的，因此使用补丁填充，这将保证着色区域之间颜色的连续性和纹理结构的一致。该技术允许快速搜索图像中的类似元素以及对要替换的大多数像素的并行处理。

实时填充技术依赖于本领域技术人员公知的修复技术。

通过三个步骤使用算法，由像素或补丁来填充要处理的区域：

1.计算补丁的优先级特性，

2.纹理和结构信息的传播，

3.更新可信值。

在本发明的当前非限制性示例中，该补丁由以像素为中心的方形窗口构成。

通过了解不同元素的拓扑结构，例如该副眼镜111和面部模型，通过使用本领域技术人员经常使用的技术提供多个优势，对区域实时填充：

-独立于行程方向；

-可以通过任意大小的补丁(直到像素)工作；

-避免对类似的补丁进行***性和高成本的搜索；

-并保证填充时颜色的连续性。

对补丁特性的计算，为本领域技术人员公知，对于没有任何可用信息的区域被持续进行，例如对应于背景区域的掩模的像素。

然而，对于位于面部区域的像素，已知面部拓扑允许定义行程的方向和优先级，以及补丁的先验采样区域。例如，如果眼睛被遮挡，事先以参数形式已知眼睛构造的几何模型，因此可以根据与眼睛的特定拓扑相关的曲线调整该特性、补丁的大小和传播方向。

在没有关于下层参数结构的信息的区域，例如背景或皮肤，是由该幅眼镜的拓扑结构的认知，允许根据形状骨架的垂线或镜片框的垂线预先确定结构传播的行程方向。

应该强调的是，对于任何面部曝光，结构的传播与等照度线的传播方向类似。实际上，该副眼镜虽然可能具有厚框架，但在图像中具有投影，使得同一子对象的不同边缘几乎平行。

通过将真实行程集中在一副眼镜的拓扑结构上，改善了两个方面。首先，补丁的搜索减少到找到的包含此方向信息的第一个补丁。当然，在每次迭代时，使用在前一次迭代中替换的像素，从而允许结构的连续性。传播方向也是预定义的，并且仅对于根据结构标准认为非常结构化的补丁进行计算。例如，可以使用所考虑的补丁的熵，或者取决于梯度方向的默认值的系数。该方法避免了优先级和传播方向的***分类和高成本。

为了在保持结构的同时保证颜色的连续性，并避免在“洋葱皮”类型的行程中可以观察到的定向轧光，使用以下方法：

以像素为中心的要被替换的补丁与要填充的掩模的前面的距离，使得该补丁包含已知区域的像素。定义了最大置信距离d_max，其保证了结构的连续性，并且在眼镜框法向方向的两条路径内移动，以找到最接近的区域纹理的两个完整补丁T1和T2，以pT1和pT2为中心。该技术允许减少最接近比色的补丁的搜索计算。然后通过考虑从p0到pT1的距离d1和从p0到pT2之间的距离d2来进行色度适应，以填充该补丁的像素，以允许以下线性插值：

其中每个pi(u,v)_T对应于一个补丁T的像素。符号iff对应于“当且仅当”的缩写。

在其他情况下，我们有：

pi(u,v)_T0＝pi(u,v)_T1,iff d1<d_maxand d2≥d_max

pi(u,v)_T0＝pi(u,v)_T2,iff d1≥d_maxand d2<d_max

多次调用该过程，直到处理了该掩模的所有像素。

为了避免洋葱皮效应，并且由于图像压缩而不能再现结构伪影，对于小尺寸(最大到像素)的补丁，对弱结构区域添加随机局部移动。可以使用均匀或高斯噪声。通过本领域技术人员公知的技术，根据图像的已知周围区域的平均噪声来估计该均匀噪声。如果通过模型还不已知后者，则可以使用熵来对结构进行排序。替换区域可以是要由完整补丁替换的像素，或者是小补丁，该补丁直到小于像素。

应该强调的是，该补丁的尺寸取决于要替换的结构的尺寸，即该副眼镜的厚度，以及用户与摄像机的距离。

图6示出了基于用户120的图像220制作掩模(图6a)。如图6b所示，该副眼镜111的背景的环境I_bg分解为多个区域：

-与面部相对应的区域470；和

-与背景相对应的471区。

应该强调的是，区域470可以被细分为语义子区域472，例如对应于头发472₁的区域，对应于皮肤472₂的区域。

在步骤360期间，该生成方法通过在第一透明层上该副眼镜111三维模型的几何投影来制作该副眼镜111的掩模。

应该强调的是，在进行几何投影之前先清除第一透明层。因此，第一透明层包含根据与真实眼镜111相同视角和相同尺寸的该副眼镜111的三维模型的图像。

该副眼镜111的掩模TM_g分为多个部分：

-框架112b和镜腿117的掩模TM_{g_f}；和

-镜片113的掩模TM_{g_l}。

与面部承载的照明效果，特别是缩小和阴影，相对应的掩模TM_{g_f}同时产生。该掩模还包括对镜片的照明效果，尤其是反射。

对于在与图像220对应瞬间的面部和眼镜参数的估计值，该掩模TM_{g_f}对应于该副眼镜111模型的RGBA渲染图像。该掩模TM_{g_f}计及该副眼镜111的未来遮挡，例如一只手放在脸前或一缕头发落在脸上。

通过对掩模TM_{g_f}的渲染的alpha层进行二值化来获得二元掩模TM_{g_f}。alpha层表示像素透明度，alpha层的二值化允许限定该掩模TM_{g_f}。

图6c表示图6b中添加了掩模TM_{g_f}的环境I_bg。

通过分别考虑每个透镜113的掩模和诸如透镜上的反射或投射在面部的阴影之类的照明效果，通过遵循与掩模TM_{g_f}相同的技术来确定掩模TM_{g_l}和TM_{g_e}。

在步骤365期间，基于包括眼睛的面部模型，根据先前对图像220估计的面部方向和定位的参数，制作对应于面部的掩模TM_a。

应该强调的是，该副眼镜的二元掩模TMB_{g_f}包含在面部区域TM_a或背景图T_bg中，如图6c所示。

通过了解该幅眼镜的拓扑，根据该副眼镜的拓扑给出的参数，在镜框的法线方向上，在该掩模TMB_{g_f}的任一侧上定义的位置进行采样。

因此，在最大尺寸的区域中的每一侧上对该副眼镜的镜腿进行采样，该区域表示由TM_a或T_bg定义的区域的分区Ω_R。在当前情况下，沿着区域的边缘曲线进行空间修剪的调整。由于这种修剪，可以对眼镜区域TM_g内部的面部区域TM_a和背景T_bg估计外观预测和当前图像之间的局部比色变换的场，其允许由整体照明或投射阴影的变化而发现该变换。

对于面部，首先可能不会考虑不响应于该比色动态的区域，例如眉毛、头发或胡须，以便集中在皮肤上，其遵循伪朗伯动态并允许中低频颜色的适应。在重新识别特征期间通过找到的点和曲线来识别和分割这些区域，并且可以在纹理空间中显示这些区域。然后，我们在相同变换类型的区域中计算，类似于本领域技术人员公知的颜色转移或色调映射技术。

该色度变换场分别应用于图像TM_a和T_bg以形成图TM_aWc和T_bgWc。应该强调的是，该色度变换被应用在与图像TM_a和T_bg相一致的子区域。这些一致子区域可以有利地包括在语义子区域472中，以便改善最终结果。另外，色度变换考虑了这些空间的子区域之间的动态差异。

应该强调的是，“泊松图像编辑”类型的图像编辑技术也可以用于避免对掩模轮廓的阈值影响。

这些新图像TM_aWc和T_bgWc用于分析当前图像I的像素，其中颜色不是由预测确定的，特别是在镜片和面部的区域中，以便检测镜片的反射、照明以及几何调整TM_{g_l}，以及相关区域中框架投射的阴影TM_{g_e}。该技术特别能够校正由于用户120佩戴着该副眼镜111的镜片的光学校正而导致的面部畸变。

因此，根据以下测量对图TMB_{g_l}和TMB_{g_e}填充所考虑区域的每个像素x：

其中Ω_R为区域Ω＝{x；TMB_a(x)＝1}∪{x；TMB_bg(x)＝1}的一致色度子区域。阈值∈足够大，以包围混叠颜色并避免图像压缩和传感器的伪像。然后可以根据对3D对象的认知和重新校准的置信度来放大该掩模。

图6d表示来自图6c的图像，其中添加了表示照明效果、反射和阴影的图TMB_{g_e}。

要替换的像素图TMB_g是除遮挡图TB_fg的alpha图以外的图TMB_{g_l}、TMB_{g_e}和TMB_{g_f}的组合。

TMB_g＝∪{TMB_gl,TMB_ge,TMB_gf·}\TB_fg

遮挡图TB_fg的alpha图表示遮挡图T_fg的不透明像素，也就是说图T_fg的alpha值等于1的像素。

图6e表示来自图6d的图像，其中添加了遮挡图TB_fg的alpha图。

在步骤370期间，实施表示该副眼镜111的掩模的外观的修改。

基于图像220和制作的全部掩模，外观的修改将对应于二元掩模TMB_g的图像220的像素替换为允许其隐藏或对图像220中该幅眼镜111可见部分实施处理的适当值。

可通过以下技术或其组合选择颜色：

对应于比色的几何和调整参数的估计值的预测颜色；

通过形状模型按统计学离线学习获得的颜色；

没有先验认知的颜色，其保证空间的连贯性和颜色的连续性，能与先验的形状认知相结合；

在方法300中按统计学获得的颜色。

在任何情况下，掩模边界周围颜色的连续性约束以隐式或显式方式集成。

在本实施例中有利的技术是通过预测替换颜色，因为其最能处理模型的不连续性。虽然其可能对估计误差敏感，增加掩模的放大以及颜色连续性的约束使得能够提出人眼无法检测到的替换结果。通过计算的图TM_aWc、图T_bgWc和图T_fg，在大多数情况下可以替换整个像素。

通常使用的另一种优选技术是称为“泊松图像编辑”的图像编辑技术。该技术包括通过保证掩模轮廓的连续性来求解要替换区域中的像素的颜色。应该强调的是，该技术改变了色度，同时保持了应用于掩模的纹理结构。该纹理通常例如通过投影变形，以便获得适合于该副眼镜111的环境的纹理。

还应该强调的是，“鱼图像编辑”图像编辑技术需要应用纹理的先验认知，这与修复技术不同，该修复技术允许从图像中的附近像素填充缺失像素。

然后，在方法300的步骤380期间，通过展平叠加在初始图像220上的各个透明层，即可从背景中生成最终图像210：

-初始图像210；

-包括该副眼镜111的掩模的第一透明层；

-第二透明层包括遮挡掩模。

因此，佩戴该副眼镜111的个体120在屏幕130上看到其自身的图像，就像在镜子中看见一样，而看不到其面部佩戴着的该副眼镜111。因此，其可以虚拟地试戴一副新眼镜110，该幅新眼镜位于面部，而不是该幅真实的眼镜111。该幅虚拟眼镜110通过***在第一透明层和第二透明层之间的中间透明层，定位在个体120的面部121。该中间透明层包括该幅虚拟眼镜110模型的投影，其以逼真的方式定位在个体120的面部121。

对于该幅虚拟眼镜110的定位或生成该中间透明层的技术细节，本领域技术人员例如可以参考申请FR 1050305或申请FR 1551531，该申请详细描述允许个人试戴一副虚拟眼镜的技术。

本发明的另一个特定实施例

图7表示在面部佩戴着一副眼镜111的个体520的虚拟对象510试穿装置500。

该装置500包括一个垂直固定在支撑件531上的触摸屏530，在屏幕530上方居中的一个摄像机532，两个***摄像机533和一个处理单元534。

该装置500还包括一个测量装置537，用于测量元件相对于屏幕530的距离，包括投射纹理的一个红外投影仪535和一个红外摄像机536。

该装置500还包括一个建模设备540，其包括用于在其中心接收一副眼镜的转盘541，朝向转盘541中心的两个固定数字摄像机542，和用于在该幅被建模眼镜的背景中的背景单元543。该建模设备540连接到该处理单元534，因此可以启动该转盘541，并从各种角度获得该副眼镜111的图像。

在本发明的该特定实施例的变型中，该建模装置540的转盘是不可移动的。该建模装置540还包括朝向转盘中心的两个辅助的固定数字摄像机。这两个辅助摄像机的位置对应于两个摄像机542围绕转盘上中心法线轴进行90度旋转。

应该强调的是，该建模设备540仅对获取为背景单元543的图像的每个相机542实施校准。

个人520摘除其面部佩戴的该副眼镜111并将其镜腿117打开，放置在转盘541的中央。为了正确地定位该副眼镜111，在转盘541上指示坐标系。

第一摄像机542₁通过以下方式聚焦：摄像机542₁的光轴获取该副眼镜111的正面图像，然后在转盘541旋转90°之后拍摄该副眼镜111的一侧的图像。

同时，第二摄像机542₂在俯视图中从前面的3/4和后面的3/4获取该副眼镜111的图像。因此摄像机542₂的位置升高到相对于转盘541的中间平面大约45°。

基于获取的该副眼镜111的四个图像和两个背景图像，制作该副眼镜111的三维模型。

为此目的，在每个获取图像中分割该副眼镜111，其指示背景图像与具有该副眼镜111的图像之间的差异，这允许制作各种元件的二元掩模。

对于建模，该副眼镜111的框架112被认为是三个3D表面的组件：

-一个表示该副眼镜111的面112b的表面；和

-该副眼镜111的每个镜腿117的表面。

应该强调的是，由于该副眼镜111是对称的，所以两个镜腿117是相似的，只有每个镜腿117和面112b之间的开口角度可以变化。因此仅生成镜腿117的三维模型。然后，基于第一条镜腿117的模型相对于第一镜腿117的中间主平面对称地制作另一个镜腿117的三维模型。

为了估计3D表面，基于从分割中提取的掩模，对每个图像进行距离图的计算。通过遵循中心对称标准和该副眼镜111框架的连续性，通过最小化来进行3D表面的参数估计。

基于面112b和镜腿117的二元掩模来制作面部112b和镜腿117的2D轮廓的估计。

然后将2D轮廓投影在相应的3D表面上。将厚度添加到投影在表面上的每个2D轮廓上，以获得面112b和形成该副眼镜111的镜腿117的三维模型。

为此，基于2D轮廓的点，进行Delaunay三角测量。该三角测量用在3D表面的点上以用于制作该副眼镜111的模型。获取该副眼镜111的图像以纹理的形式应用在该副眼镜111的模型上。

应该强调的是，该副眼镜111的每个元件的3D统计模型可以用于基于2D轮廓的3D表面的参数设置和网格。

通过摄像机532获取未佩戴眼镜的个体520的图像。

基于未佩戴眼镜的个体520的图像，根据获取的图像和图像的元素与屏幕之间距离的测量，按照在第一个实施例中先前描述的制作替身模型M_a的步骤355，制作表示个体520的替身的模型M_a。

在本发明实施例的变型例中，该装置包括三个摄像机，例如一个相对于屏幕垂直居中的摄像机和两个水平对称地位于中央摄像机两侧的摄像机。这三个相机使得可以获得具有不同视角的个体520的三个图像，以便改善个体面部的表现。

从替身模型M_a中提取个体520的面部的平坦纹理。

在获得该副眼镜111的2D掩模之前，通过一副眼镜111的监测方法600在由摄像机132在获取的图像序列中监测该副眼镜111。

该监测方法600，在图8中以示意图形式示出，包括第一个初始化步骤610。

该初始化步骤610允许将该副眼镜111的模型定位在该替身M_a上，并以与实际佩戴在个体520面部的该副眼镜111相同的方式打开模型的镜腿。

为此，该模型M_g的第一定位以该副眼镜111放置在替身M_a鼻子和耳朵上的方式，3D置于该替身上。该模型M_g根据曝光参数的计算进行定位。曝光参数包括相对于相机的取向和要应用于用于获得图像中显示的该副眼镜111的模型M_g的放大。

根据具有与摄像机532相同的方向和相同的光学参数的虚拟摄像机对替身进行定位和定向。为此，通过本领域技术人员公知的面部监测过程确定每个图像的面部的位置和方向。面部的监测基于对面部特征点的监测。然而，需要强调的是，在监测脸部时不考虑图像中掩盖的特征，特别是在一副眼镜后面或在着色镜片后面发现的特征。

位于替身上该副眼镜111的模型在叠加在初始图像上的第一透明层上的投影使得能够获得该副眼镜111的掩模。

为了细化第一透明层上该副眼镜111的掩模的位置，通过基于两个分量最小化成本函数来计算曝光参数：

-根据序列中的前一图像中可见面部和眼睛***的特征点，并根据序列中的先前图像计算的分量；

-根据图像中该副眼镜111的轮廓和先前合成的该副眼镜111模型M_g计算的分量。

在初始化该副眼镜111的模型M_g之后，该监测方法600在第二步骤620期间，选择模型M_g的点集合ω，其默认基本垂直于在点与虚拟摄像机之间形成的轴。

应该强调的是，在该副眼镜111的面112b基本上平行于摄像机132平面的情况下，镜腿117基本不可见，在监测该副眼镜111时仅考虑面部模型。

还应该强调的是，在面部急剧转动的情况下，使面部112b基本不可见，在监测该副眼镜111时仅考虑镜腿模型。

在第三步骤630期间，该监测方法600在模型M_g的点集合ω中选择n个点的子样本。图像中n个点的投影p2D_m＝1..n呈现出基本均匀和规则的间隔。因此，当一副眼镜111的面112b几乎平行于相机的图像平面时，子样本包括镜腿的少数或零个点。

在第四步骤640期间计算对应于集合ω中n个点的法线投影的向量n2D_m＝1..n。

基于投影p2D和矢量n2D，该方法600针对每个下标m，寻找点n2D_m沿着投影p2D_m具有最大梯度的图像的点p_grad_m。

然后，该监测方法600在第五步骤650期间，计算点p2D和点p_grad之间的距离函数的最小值。当达到最小值时，该模型M_g的位置被认为代表该副眼镜111的实际位置。

基于模型在第一透明层上的投影来制作覆盖该副眼镜111的掩模。

通过用新颜色替换由个人520佩戴着的真实眼镜111的框架112的颜色，来制作对该幅眼镜111的掩模外观的修改。

实施亮度的调整以逼真地修改该框架112的颜色。

因此，个人520在屏幕530上看到自己戴着同一副眼镜111的图像，但该幅眼镜具有不同颜色的框架112。

在本发明实施例的一个变型例中，改变该副眼镜111掩模的外观，允许在最终图像中隐藏该副眼镜111，使得在其面部佩戴着该副眼镜111的个人520在屏幕530上看到未佩戴该副眼镜111的自己。

为此目的，如在本发明的另一个实施例中所述的生成一副眼镜的环境描述。因此，实施面部纹理值和表示该副眼镜111的背景的投影，允许用投影产生的像素替换与该副眼镜111的掩模对应的初始图像的每个像素。为了使最终图像逼真，调整掩模全部或部分新像素的色度，例如去除掩模边缘处的任何色度差异。为此目的，使用称为“泊松图像编辑”的图像编辑技术。

本发明的另一个特定实施例

图9表示由在面部佩戴着一副眼镜111的个人820使用的增强现实装置800。在该实施例中，一副眼镜111安装有适于个人820视力的矫正镜片。

该个人820面向摄像机832，该摄像机连接到就像镜子一样实时显示个体820头部821图像的屏幕830。显示在屏幕830上的图像呈现面部并未佩戴该幅眼镜111的个人820的头部。因此，个人820可以就像戴着隐形眼镜一样，清楚地看见未佩戴眼镜的自己。

为了从给定时刻，在序列图像中的每个图像中实时隐藏实际上被佩戴在个人820面部的该副眼镜，该也称为视频，在屏幕830上被显示，使用一种基于初始图像生成最终图像的图像生成方法。

在该方法过程中，在图像序列的每个图像中检测并监测该副眼镜111。该副眼镜111的模型以与该副眼镜111相同的方式生成和定向，以便通过要叠加在初始图像上的一个透明层的投影来制作掩模。

调整覆盖该副眼镜111的掩模的外观，以便在屏幕上除去佩戴在个人面部的该副眼镜111。

为此目的，通过考虑在视频的每个图像中获取的信息，以动态方式制作和更新该副眼镜111背景中环境的平面图。

一种修补方法允许根据掩模像素附近图像的至少一个像素，来确定该副眼镜111的掩模的每个像素的颜色。

应该强调的是，在本实施例中使用的生成方法中，面部被包括在该副眼镜111的环境中，但是不被检测用于环境描述图的制作。仅检测并监测该副眼镜111。

在本发明的该特定实施例的变型例中，检测个体820的面部的存在但不对其监测。因此，相对于在图像中监测的该副眼镜的位置产生并定位一个面部模型。该面部模型用于投影以制作环境图。面部模型也可以通过修复方法直接使用。

个人820可以试戴一副虚拟眼镜或化妆品，并在屏幕上看到自己。应该强调的是，在试戴虚拟对象的情况下，可能仅对该副眼镜111可见部分的外观进行调整，该可见部分也就是说未被虚拟对象的投影覆盖的部分，从而能够节省计算时间。

本发明的另一个实施例

图11表示显示存储在计算机存储器中的视频915或来自摄像机的实时视频流的一个屏幕910。

视频915呈现在面部921佩戴着一副眼镜111的个体920处理之前的头部。

图12表示显示视频915的屏幕910，但是其中该幅眼镜110，通过根据本发明基于初始图像生成最终图像的图像生成方法，在视频的每个图像中被隐藏。

在该方法期间，在视频的每个图像中检测并监测面部921。在每个图像中，该方法添加一个透明层，该透明层包括覆盖该副眼镜111的不透明掩模。应该强调的是，掩模的尺寸设计成覆盖大多数眼镜的形状和尺寸。因此，该掩模与在本实施例中未被检测的该副眼镜111不相关联。

该方法因此为每个图像生成一个透明层，在该透明层上，该掩模相对于检测到的面部定向和定尺寸。

对于每一透明层，该生成方法将先前在未佩戴该副眼镜的情况下制作的面部模型的纹理应用于掩模。

为了使最终图像逼真，该生成方法包括“重新点亮”掩模纹理的技术，使得能够根据照射到面部921的实际光线调整该纹理的颜色。

为了能够分析光源，对面部的部分，例如皮肤，应用众所周知的技术，例如光度立体声或称为“由明暗重构形状(Shape from shading)”的技术，其遵循伪朗伯面部模型。然后使用光源及其参数，例如用于面部“重新点亮”的合成源。

可以在面部921的眼睛处的每个掩模上建立孔径，以使眼睛在每个图像上可见。

应该强调的是，为了更逼真，在眼睛经过该副眼镜111的镜片产生光学形变或者当镜片着色时，不在该掩模上生成孔径。

在掩模上没有形成孔径的情况下，在掩模透明层上方添加包括成对的再合成眼的透明层。

可以有利地基于通过本领域技术人员公知的技术检测和监测眼睛的实际方向来制作合成眼睛的取向。

本发明的其他优点和可选特征

在本发明的实施方式的变型例中，从图像去除的真实物体可以是帽子、围巾、头发或部分或完全覆盖面部的任何其他元素。该方法还可以应用于试图在图像中隐藏的任何其他真实物体，例如个人佩戴的衣物。

在本发明的实施方式的变型例中，放置在个人面部的物体替换佩戴在脸上的一副眼镜，例如化妆品、珠宝或衣服。因此，佩戴一副眼镜的个人可以虚拟地试妆容或正式着装，同时从图像中移除佩戴的该副眼镜，从而能够模拟佩戴隐形眼镜。应该强调的是，在个人身体上试穿衣物，例如西装或晚礼服的情况下，扫描个体的身体形态可能对于获得逼真的服装渲染有作用。

在本发明的实施方式的变型例中，戴着一副眼镜的个人可以在屏幕上看见自己佩戴着同一副眼镜，但具有与实际佩戴的该副眼镜的镜框颜色、纹理和/或材料不相同。

在本发明的实施方式的变型例中，戴着一副眼镜的个人可以在屏幕上看见佩戴着同一副眼镜，但是镜片包括与实际佩戴的该副眼镜的镜片不同的处理。该处理对应于眼镜商熟知的一种处理或一种处理组合的增加或去除，例如抗反射处理或磨薄镜片。

在本发明的实施方案的变型例中，戴着一副眼镜的个人可以在屏幕上看到试戴一副新虚拟眼镜的自己，其中真实眼镜的镜片的区域包括在保留该幅虚拟眼镜的边缘的内部图像中，从而能够增强该幅虚拟眼镜的真实感。实际上，通过保留一部分真实镜片，由于环境引起的真实反射也保留在图像中。应该强调的是，可以修改真实镜片的保留部分的颜色，以便获得具有着色或非着色镜片的虚拟眼镜，同时保持镜片的真实反射。

在本发明的实施方式的变型例中，一个虚拟对象部分重叠在图像中要去除的真实对象上，并且仅修改与真实对象相对应的掩模的可见部分。

在本发明的实施方式的变型例中，在图像中去除一部分或大部分该真实对象。

Claims (47)

1.一种从初始图像(220)生成最终图像(210)的图像生成方法(300)，包括适于由个人(120；520；820；920)佩戴的对象(111)，其特征在于，其包括以下步骤：

a)检测(310)所述初始图像中所述对象的存在；

a’)制作(360)至少部分覆盖所述初始图像上所述对象的一个掩模；

b)在所述初始图像上叠加第一透明层，该第一透明层包括至少部分覆盖所述初始图像上所述对象的所述掩模；

c)修改(370)所述掩模的至少一部分的外观。

2.根据权利要求1所述的图像生成方法，其特征在于，所述修改所述掩模的外观的步骤包括一个替换步骤，该步骤替换所述最终图像上的所述对象的部分或全部。

3.根据权利要求1或2所述的图像生成方法，其特征在于，所述修改所述掩模的外观的步骤包括一个确定该对象的部分或全部结构的步骤，所述结构再现所述对象背景中的元素，以覆盖所述最终图像上的全部或部分对象。

4.根据权利要求1至3中任一项所述的图像生成方法，其特征在于，所述掩模还覆盖所述对象投射阴影的全部或部分。

5.根据权利要求1至4中任一项所述的图像生成方法，其特征在于，其包括以下步骤：

d)在所述初始图像上的所述第一透明层上叠加第二透明层，所述第二透明层至少包括一个部分覆盖所述掩模的元素。

6.根据权利要求1至5中任一项所述的图像生成方法，其特征在于，在步骤b)之前还包括以下步骤：

-确定所述对象相对于所述初始图像采集装置的方向；

-确定所述初始图像上所述对象的特征尺寸。

7.根据权利要求6所述的图像生成方法，其特征在于，在步骤b)之前，还包括以下步骤：

-制作所述对象的三维模型；

-通过在所述第一覆透明上所述三维模型的几何投影制作所述掩模，该模型在所述第一透明层上具有与所述对象相同的方向和相同的特征尺寸。

8.根据权利要求7所述的图像生成方法，其特征在于，根据所述对象的至少一个图像实施所述对象的模型的制作。

9.根据权利要求1至8中任一项所述的图像生成方法，其特征在于，所述对象被佩戴在个人面部。

10.根据权利要求9所述的图像生成方法，其特征在于，根据佩戴在个人面部的所述对象的至少一个图像实施所述对象模型的制作。

11.根据权利要求9或10所述的图像生成方法，其特征在于，所述对象包括在所述面部两侧延伸的一个框架，以及组装到所述框架的至少一个镜片。

12.根据权利要求11所述的图像生成方法，其特征在于，其还包括在先前建模并被存储在数据库中对所述框架进行识别步骤，根据被识别的框架模型实施所述掩模的制作。

13.根据权利要求12所述的图像生成方法，其特征在于，通过生成与所述框架轮廓相匹配的支撑曲线来执行对所述框架的识别。

14.根据权利要求12或13所述的图像生成方法，其特征在于，所述框架的识别基于以下标准中的至少一个：

-所述框架的形状；

-所述框架的颜色；

-所述框架的结构；

-所述框架上的标志。

15.根据权利要求1至14中任一项所述的图像生成方法，其特征在于，还包括一个制作所述对象的环境描述的步骤。

16.根据权利要求15所述的图像生成方法，其特征在于，所述掩模外观的修改步骤包括以下子步骤：

-在叠加在所述第一透明层上的中间透明层上对所述环境描述几何投影；

-根据所述掩模像素附近的中间透明层的至少一个像素的颜色，确定所述掩模像素的新颜色。

17.根据权利要求16所述的图像生成方法，其特征在于，所述新颜色的确定实施了“泊松图像编辑(Poisson image editing)”类型的图像编辑方法。

18.根据权利要求15或17所述的图像生成方法，其特征在于，还包括一个环境中面部存在的检测步骤，并且环境描述包括检测到的面部模型，在该面部模型上应用面部纹理。

19.根据权利要求18所述的图像生成方法，其特征在于，还包括一个确定所述面部相对于所述采集装置的方向的步骤，其中基本上根据先前确定的方向设置所述面部模型。

20.根据权利要求18或19所述的图像生成方法，其特征在于，根据在第一透明层上所述面部模型的几何投影制作所述掩模，所述掩模至少部分地覆盖面部佩戴的所述对象。

21.根据权利要求18至20中任一项所述的图像生成方法，其特征在于，其还包括以下步骤：

-至少分析照亮个人面部的一个光源；

-全部或部分面部模型的比色变换。

22.根据权利要求20或21所述的图像生成方法，其特征在于，所述面部纹理上像素的颜色通过像素附近补丁颜色的一种图像修补方法来确定。

23.根据权利要求22所述的图像生成方法，其特征在于，所述补丁的位置基本上位于相对于所述像素的铅垂和/或垂直方向上。

24.根据权利要求21至23中任一项所述的图像生成方法，其特征在于，所述面部纹理上像素的颜色是通过先前建立和定向的面部模型的一种图像修补方法来确定，所述面部模型包括眼睛的表示。

25.根据权利要求20至24中任一项所述的图像生成方法，其特征在于，其还包括一个对所述面部纹理上的至少一个眼部区域的识别步骤，所述眼部区域对应于检测到面部眼睛的位置。

26.根据权利要求25所述的图像生成方法，其特征在于，通过认知所检测的到的面部眼睛的拓扑结构，执行眼部区域的填充。

27.根据权利要求15至17中任一项所述的图像生成方法，其特征在于，在不检测环境中面部的情况下，实施所佩戴在个人面部的对象的环境描述的制作。

28.根据权利要求15至27中任一项所述的图像生成方法，其特征在于，所述环境描述的开制作包括一个校正光学变形的子步骤，所述光学变形由一个放置在环境和初始图像采集装置之间的透明元件引起。

29.根据权利要求1至28中任一项所述的图像生成方法，其特征在于，将所述方法应用于形成视频的图像序列的全部或一部分。

30.根据权利要求29所述的图像生成方法，其特征在于，对所述序列的每个图像进行所述环境描述和/或所述对象模型的更新。

31.根据权利要求15至30中任一项所述的图像生成方法，其特征在于，由通过多个不同视角拍摄的多个初始图像，对所述环境描述和/或所述对象模型进行更新。

32.根据权利要求1至31中任一项所述的图像生成方法，其特征在于，根据初始图像实时地实施所述最终图像的生成。

33.一种增强现实的方法，该方法提供给在面部佩戴一个便携式装置的个人使用，其特征在于，其包括以下步骤：

-实时获取在面部佩戴着便携式装置的个人的视频；

-通过根据权利要求1至32中任一项所述的图像生成方法，实时显示所述视频，所述视频中所述便携式装置的外观被全部或部分修改。

34.根据权利要求33所述的增强现实方法，其特征在于，在实时显示的视频中，所述便携式装置被全部或部分隐藏。

35.根据权利要求33或34所述的增强现实方法，其特征在于，由个人佩戴的所述便携式装置包括适合于个人视力的矫正镜片。

36.根据权利要求33至35中任一项所述的增强现实方法，其特征在于，佩戴着所述便携式设备的个人在被完全或部分隐藏的便携式装置上试穿一个虚拟对象，该虚拟对象至少部分地叠加在所述视频中。

37.根据权利要求33至36中任一项所述的增强现实方法，其特征在于，所述增强现实方法包括根据至少一个未在面部佩戴所述便携式装置的个体的图像，对个体的面部模型初始化的步骤。

38.根据权利要求33至36中任一项所述的增强现实方法，其特征在于，其包括根据佩戴着所述便携式装置的个人的多个图像，对个体的面部模型初始化的步骤，所述多个图像对应于面部不同的视角。

39.根据权利要求33至38中任一项所述的增强现实方法，其特征在于，其包括根据在一个专用建模设备中获取的所述装置的至少一个图像，对所述便携式装置模型初始化的步骤。

40.根据权利要求33至38中任一项所述的增强现实方法，其特征在于，其包括一个根据佩戴着所述便携式装置的个人的至少一个图像，对所述便携式装置模型初始化的步骤。

41.增强现实装置(100；500；800)，用于由携带着一个视觉设备(111)的个人(120；520；820；920)试穿一个虚拟对象(110；510)，所述虚拟对象至少部分地覆盖所述视觉设备，其特征在于，其包括：

-至少一个摄像机(532；832)，所述摄像机用于获取个人的视频；

-一个对所获取视频的处理单元(134；534)，所述处理单元通过根据权利要求3至32中任一项所述的图像生成方法，对所述视觉设备的视频图像的大部分或者全部进行隐藏；

-至少一个屏幕(130；530；830)，所述屏幕显示处理过的个人的视频。

42.根据权利要求41所述的增强现实装置，其特征在于，所述屏幕是垂直的，并且所述摄像机基本上固定在所述屏幕的平面。

43.根据权利要求41或42所述的增强现实装置，其特征在于，其包括平行于屏幕的边缘间隔开的两个摄像机，间隔距离在三十到五十厘米之间。

44.根据权利要求43所述的增强现实装置，其特征在于，其还包括基本上在前两个摄像机之间的中轴上的第三个摄像机。

45.根据权利要求41至44中任一项所述的增强现实装置，其特征在于，所述屏幕是触屏。

46.根据权利要求41至45中任一项所述的增强现实装置，其特征在于，对所获取和被修改视频的显示是实时执行的。

47.根据权利要求41至46中任一项所述的增强现实装置，其特征在于，所述增强现实装置包括用于获取所述视觉设备的三维模型的装置。