CN103562934B - 脸部位置检测 - Google Patents
脸部位置检测 Download PDFInfo
- Publication number
- CN103562934B CN103562934B CN201280025930.1A CN201280025930A CN103562934B CN 103562934 B CN103562934 B CN 103562934B CN 201280025930 A CN201280025930 A CN 201280025930A CN 103562934 B CN103562934 B CN 103562934B
- Authority
- CN
- China
- Prior art keywords
- images
- face
- image
- surface models
- angle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims description 37
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 25
- 238000005259 measurement Methods 0.000 claims abstract description 13
- 238000000034 method Methods 0.000 claims description 36
- 238000012545 processing Methods 0.000 claims description 10
- 238000012360 testing method Methods 0.000 claims description 8
- 238000007689 inspection Methods 0.000 claims description 2
- 238000003672 processing method Methods 0.000 claims 1
- 230000003287 optical effect Effects 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 7
- 230000004927 fusion Effects 0.000 description 6
- 238000004590 computer program Methods 0.000 description 5
- 238000012935 Averaging Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000009795 derivation Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000002349 favourable effect Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000013016 learning Effects 0.000 description 2
- 238000003325 tomography Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000005481 NMR spectroscopy Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000002844 melting Methods 0.000 description 1
- 230000008018 melting Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000000465 moulding Methods 0.000 description 1
- 238000001579 optical reflectometry Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
- G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Graphics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
从关于场景的数据来检测脸部位置。从所述场景的测量结果获得3D表面模型。从所述3D表面模型生成2D角度数据图像。针对虚拟照明方向生成所述角度数据图像，所述图像表示在来自虚拟光源方向的射线方向与3D表面的法线之间的角度。将2D脸部位置算法应用于各自的2D图像中的每个。在实施例中，生成针对多个虚拟照明方向的各自的2D角度数据图像，并且融合从所述各自的2D图像检测的脸部位置。
Description
技术领域
本发明涉及一种用于从产生包含脸部的场景的3维表面模型的测量结果确定脸部位置的***和方法。
背景技术
US 7436988公开了一种使用2维图像以形成3维模型的脸部认证和识别方法，以及通过3维模型与参考数据的比较来验证人的身份。从的脸部的对称平面与3D模型的交叉提取脸部轮廓线，并且使用该轮廓线的特性验证人的身份。通过形成3D模型的镜像版本并且以导致最佳匹配的方式相对于彼此定位原始3D模型和镜像版本来寻找对称平面。假设在建模的空间中脸部是仅有的基本上对称的对象，则用于寻找对称平面的程序隐含地确定涉及脸部位置的信息。然而，US 7436988并未讨论位置确定的问题。
脸部识别和脸部位置确定是涉及不同考虑的不同任务。脸部识别是固有的人特异性的：脸部识别的本质是不同的人应当是被区分。另一方面，脸部位置确定优选地是不依赖于人的：应当不依赖于独特的人的脸部特征来确定位置。
发明内容
除了其他因素，目的在于提供用于从包含脸部的场景的3维模型确定脸部的位置的***和方法。
提供了根据本申请的方法。在本文中，使用包含脸部的场景的3D表面模型作为开始点，以用于脸部定位，即，在场景中检测脸部的位置。例如，可以从2D光学成像推导3D表面模型。从3D表面模型生成2D角度数据图像，所述2D角度数据图像表示建模的3D表面的法线与根据虚拟光源的方向的入射方向之间的角度的角度数据。在执行2D脸部位置算法中使用角度数据图像。
以这种方式，能够使用可用的和测试的2D脸部位置算法，以确定3D模型中的脸部位置。不需要脸部的光学表面特性的可靠的测量结果。即使是从2D光学图像推导3D表面模型，3D表面模型的使用使脸部位置检测更加鲁棒，以防表面的反射特性和色彩的效应。优选地，仅从关于在生成的2D图像的各自像素位置处看得见的3D点处建模的3D表面的几何信息确定生成的2D图像的像素值，而不使用非几何光学特性。
在实施例中，生成针对各自不同的虚拟照明方向的具有角度数据的多幅各自的2D图像，并且将脸部位置检测算法应用于各自的2D图像的每幅。产生的位置检测可以被组合，以提供检测的脸部位置。例如，可以通过任选地在移除异常值后对针对不同方向检测的位置取平均，或者通过选择针对不同方向检测的位置的中值或其他具有代表性的一个，来融合产生的位置检测。组合还可以包括聚类步骤，这涉及将位置检测分配到选定的聚类并且在聚类内融合位置检测。
在实施例中，针对所述各自方向的相同观察方向，生成多幅2D图像。以这种方式，使所述方法更加鲁棒。此外，使得能够确定在2D图像中的脸部位置的平均。或者，可以使用所述各自方向的观察方向的任意组合。在实施例中，生成针对多个不同的观察方向的图像。这使所述方法鲁棒地防止脸部的旋转的变化。
在实施例中，2D脸部定位算法可以包括确定在图像中的各自区域上的角度数据的多个总和、将所述总和与阈值进行比较并且组合将所述比较的结果。
从Viola等人题目为《Robust Real-Time Face Detection》(InternationalJournal of Computer Vision 57(2)，2004年，第137-154页)的文章中已知用于从2维图像进行脸部位置确定的成功的算法。Viola等人使用在各种矩形图像区域中的像素值的总和的组合，以决定脸部的位置。借助计算机学习来设置矩形图像区域的组合。在学习阶段，提出具有可以使用的脸部的大量范例和反例以及大量不同尺寸和位置的矩形的***。使用AdaBoost计算机学习技术来选择提供鲁棒结果的矩形的组合。例如，可以通过使用针对2D图像的训练结果，而不必经历新的训练程序，而使用由Viola等人描述的算法。
可以从存储设备获得3D表面模型，在已经生成所述3D表面模型之后，所述3D表面模型已经存储在所述存储设备中。在实施例中，使用来自从场景接收的光的一幅或多幅2D图像的信息，以获得3D表面模型。可以使用结构光来照亮场景。通过首先将该信息转换为3D表面模型并且之后转换回2D图像(其中，使用表面取向而不是直接的光学图像特性)所述方法不必获得关于脸部的光学表面特性的可靠信息。或者，可以使用诸如3D断层摄影技术的其他测量技术，以例如从3D体积模型间接地获得3D表面。
附图说明
这些和其他目的以及有利的方面将使用以下附图，通过对示范性实施例的描述变得显而易见。
图1示出了脸部数据处理***。
图2示出了脸部位置确定的流程图。
图3示出了处理架构。
具体实施方式
图1示出了脸部数据处理***，其包括结构光源10、照相机12和处理器14。结构光源10和照相机12被耦合到处理器14。尽管通过举例的方式示出结构光源10和照相机12，但应当认识到，可以使用用于捕获3D几何信息的其他设备。结构光源10可以被配置为将点或条纹的阵列投影到对象上，即，仅在相互独立的射线方向的阵列中或在相互独立的射线平面的阵列中传播光。结构光源10可以被配置为借助沿方向的模式的动态扫描或例如使用例如穿过静态掩模的投影来实现投影。
示出了操作配置，其中，结构光源10和照相机12被导引到含有脸部16的场景处。在操作中，结构光源10利用一个或多个结构光模式来照射场景，并且在结构光源10照射所述场景的同时照相机12捕获场景的图像。结构光源10向处理器14提供表示一幅或多幅产生的图像的信息。
处理器14处理一幅或多幅图像，以形成场景的3D表面模型。用于这样做的方法本身是已知的。处理器14可以是可编程处理器，其包括使处理器14这样做的计算机程序。事实上，处理器14可以是处理***，包括执行处理器14被配置执行的任务的不同部分的多个计算机。如在本文中所使用的，在处理器14具有将使其执行操作的程序时，处理器14将被描述为被配置为当其具有执行操作的程序时，执行这些操作。然而，如果处理器14包含被设计为执行操作的专用电路，则处理器14还将被描述为被配置为执行所述操作。
处理器14可以被配置为检测像素位置，在所述像素位置处，由来自结构光源10的光照射的场景中的表面点是可见的。另外，处理器14可以被配置为每个这样的像素识别在来自结构光源10的结构光的模式内的照射光的位置。考虑到照相机姿态和结构光源10的几何形状，模式中的位置和像素位置每个都定义了3D空间中的射线方向，各方向在所照射的对象点处交叉。处理器14从像素位置和模式中的位置计算对象点的3D坐标。
处理器14可以通过在所计算的位置之间插值，例如，通过逼近如平面三角形的相邻检测点之间的表面，来逼近对象的表面。通过这样的插值，能够确定任何表面点的差值的3D坐标，以及在那些表面点处的表面法线。这样的确定能够应用于由照相机12捕获的图像的像素，而且能够应用于从其他照相机姿态能够获得的虚拟图像。处理器14被配置为使用该信息以确定在3D空间中的脸部的位置。
图2示出了用于确定脸部位置的过程的流程图。将根据由处理器14执行的动作来描述所述流程图。应当理解，处理器14被“配置”为执行这些动作。在第一步骤21中，处理器14选择相对于3D模型的第一方向。选定的第一方向将被称为虚拟照相机方向。在实施例中，第一方向可以对应于照相机12的方向。
在第二步骤22中，处理器14定义包括像素阵列的图像。像素阵列与具有相对于选定的第一方向定义的方向的射线路径阵列相关联。处理器14使用从结构照明获得的3D表面模型来为每个像素确定3D点，该3D点是针对该像素的射线路径与3D表面和在该3D点处的表面法线的交叉的3D点。
在第三步骤23中，处理器14选择相对于3D模型的第二方向。选定的第二方向将被称为虚拟光源方向。(应当强调，虚拟光源方向一词仅用作对于该方向的标签，并不意味着虚拟光源必须用于生成图像，或所生成的图像表示能够利用特定光源获得的图像。)
在第四步骤24中，处理器14确定在第二方向和针对各自像素的法线之间的角度，或者至少处理器14确定作为角度的函数的量，诸如，角度的余弦。角度或作为角度的函数的量将被称为角度数据。与图像中的各自位置相关联的角度数据形成角度数据图像。在实施例中，具有与第二方向一直相同的推导的方向的角度可以用于图像位置中的每个，从而利用来自在无穷远处的虚拟照射源的射线模拟角度。或者，可以确定具有从第二方向间接推导的方向的角度。可以例如，通过假设沿第二方向的在来自场景的线上的源点、确定从该源点到在2D图像平面中的各自位置处可见的各自3D点的线并且使用这些线的方向作为推导的方向，来确定推导的方向。通常，角度数据指示角度，从而能够从角度数据确定角度，而不需要了解光学表面特性。
在第五步骤25中，处理器14将2D脸部位置检测算法应用于角度数据。使用通过在正常2D照相机图像(示出光强度)上进行训练而已经选定的检测器矩形的组合，可以使用常规算法，例如由Viola等人描述的算法。可以使用检测器矩形的标准组合，所述检测器矩形的标准组合通过利用2D照相机图像训练检测算法是可用的。简言之，2D脸部位置检测算法可以包括在图像中的检测器矩形的预定集合中确定针对每个检测器矩形的角度数据的各自总和。可以通过递增地确定针对各自像素位置的连续参考总和来计算各自总和，针对每个像素位置的参考总和是在具有该像素位置和作为斜对角的图像的一角的矩形中的像素值的总和。确定参考总和之后，选择用于检测器矩形的角(LL＝左下等到UR＝右上)的参考总和值V(LL)、V(LR)、V(UL)、V(UR)并且减去针对检测器矩形的各对儿斜对角的参考总和值。尽管针对矩形已经给出范例，应当认识到，通过使用针对从像素位置到具有不同形状的图像的角的其他形状的参考总和，类似的技术能够应用于其他形状的区域，诸如，平行四边形。之后，处理器14可以将针对检测器三角形的总和与(可以通过学习已经获得的)各自预定阈值进行比较，并且组合比较的结果，以形成检测结果。检测结果指示在图像中所检测的脸部的至少2D中心像素位置，如果有的话。
可以针对第二方向的不同选择重复第三到第五步骤23-25。在第六步骤26中，处理器14确定是否已经选择预定数量的第二方向。如果没有，则处理器14针对新的第二方向从第三步骤23重复。当针对预定数量的第二方向已经执行了步骤时，处理器14进行到第七步骤27。
在第七步骤27中，处理器14组合针对不同的第二方向获得的结果。可以通过结果的融合来实现所述组合。在实施例中，融合可以涉及确定针对不同的第二方向确定的2D中心像素位置的中值以及使用所述中值作为融合的检测结果。或者，任选地在移除异常值之后，可以计算平均。用于融合针对相同的测量的参数的多个结果的这些和其他技术本身是已知的。在这种情况下，检测结果的组合产生标称像素位置，或将多个2D位置和矩形尺寸进行组组合的类似结果，所述标称像素位置是中值或平均的像素位置。接着，处理器14确定与标称像素位置相关联的3D位置。在另一实施例中，针对具有不同的各个第二方向的2D图像，可以确定各自3D位置，并且各自3D位置可以用于确定标称3D位置。第三步骤27的组合还可以包括聚类。诸如k-均值算法的聚类技术本身是已知的，并且可以涉及为各自聚类确定多个标称脸部位置、将每个所检测的脸部位置分配到具有最接近的标称脸部位置的聚类中并且将已经分配到相同聚类的检测的脸部位置进行融合以产生组合结果。
在借助图2的流程图描述的方法中，优选地确定3D脸部位置，而不在2D位置确定中使用(依赖光强度和对象反射率的)常规图像信息。3D表面模型可以是仅定义空间位置和方向向量的纯粹的几何模型。3D模型中的方向向量可以是测量的结果，或者它们可以通过插值来定义。如果3D模型包含光学反射率信息(例如，反射系数，其能够作为漫反射或者甚至镜面光反射的波长的函数)，则可以在针对2D脸部位置检测的2D图像的生成中忽略该信息。
当然，光强度和对象反射率可以在利用结构光进行照射期间在形成照相机图像中起作用，但在第二到第四步骤22-24中使用的3D表面模型中丢失了该信息，在这些步骤中仅使用几何信息。避免使用这样的常规图像信息使脸部位置检测更加独立于个体脸部之间的差异，诸如脸部色彩。对比脸部识别，个体性的抑制对于脸部位置检测是有利的。同时，使用角度数据的图像使得可以使用常规2D脸部位置检测算法，而不需要广泛学习，并且使用多个第二方向使所述方法鲁棒地防止脸部旋转的效应。
处理器14被配置为例如在计算机程序的控制下或者通过使用被设计为执行步骤的电子电路或者通过使用执行步骤的各自部分的计算机程序和电路的混合体来执行所描述的步骤。
尽管已经描述了实施例，其中，针对多个第一和/或第二方向的多幅2D图像被生成，并且将被用于脸部位置检测，应当认识到，来自针对特定第一和第二方向的各个2D图像的脸部位置检测可以是足够的。在这种情况下，能够借助关于3D表面模型点的信息(所述信息是对于所检测的2D脸部位置的图像)，将所检测的2D脸部位置转换为3D位置。使用多个虚拟照明方向使所述方法鲁棒地防止对虚拟照明方向的依赖性。
图3示出了处理器14的架构的实施例，其包括3D表面模型生成器30、2D图像生成器32、2D脸部位置检测器34、数据组合器36、2D-3D转换器38和控制模块39。3D表面模型生成器30具有用于从照相机(未示出)接收2D图像数据的输入端和用于提供3D表面模型数据的输出端。2D图像生成器32具有耦合到3D表面模型生成器30的输出端的输入端，以及用于输出2D角度数据图像和3D坐标(或深度数据)的2D图像的输出端。2D脸部位置检测器34具有耦合到针对2D角度数据图像的输出端的输入端。示出了实施例，其中，2D脸部位置检测器34包括总和器340、比较器342和串联耦合的组合模块344。
2D脸部位置检测器34具有用于输出表示检测结果的信息的输出端，所述2D脸部位置检测器34包括在其输入图像中指示所检测的脸部位置和/或脸部区域的信息。数据组合器36具有用于接收指示所检测的脸部位置和/或脸部区域的信息的输入端，以及用于输出指示标称位置和/或区域的输出端。数据组合器36可以是数据融合器。如在本文中所使用的，融合是组合关于相同参数的不同数据以确定参数值的任何操作，例如，包括对所检测的脸部位置和/或脸部区域的位置求平均(如在本文中所使用的，广义地使用平均，包括均值、中值或在移除异常值之后获得的均值)。数据组合器是模块，例如，以这种方式组合数据的程序模块。在使用单个第一和第二方向的实施例中，可以省略数据组合器36。
2D-3D转换器具有输入端，所述输入端耦合到用于输出指示平均的所检测的脸部位置和/或脸部区域的信息的输出端，并且耦合到用于输出3D坐标(或深度数据)的2D图像的2D图像生成器32的输出端。控制模块39耦合到3D表面模型生成器30、2D图像生成器32、2D脸部位置检测器34、平均模块36和2D-3D转换器。控制模块39被配置为使2D图像生成器32生成针对来自相同3D表面模型的多个角度的图像，并且被配置为使平均模块36对针对多个角度的2D脸部检测结果求平均(即，均值或中值)。如所解释的，该架构的各种元件可以是由可编程处理器或电子电路或其组合来执行的软件模块。所述元件执行图2的流程图的步骤：控制模块39可以执行第一、第三和第六步骤21、23、26，2D图像生成器32可以执行第二和第四步骤22、24，2D脸部位置检测器34可以执行第五步骤25，并且数据组合器36可以执行第七步骤27。并不是所有的步骤都需要在相同设备中执行。例如，可以在2D图像捕获期间在一个设备中在线执行3D表面模型生成器30，并且之后将3D表面模型生成器30从该设备提供给包含图3的其他元件另一设备，以于离线处理。
在实施例中，可以多个不同的选定的第一方向重复第一到第七步骤21-27。以这种方式，确定与针对不同的第二方向的标称像素位置相关联的多个3D位置。通过这些3D位置，可以确定标称3D位置(例如，针对不同的第一方向的3D位置的中值或平均)。在实施例中，针对图像位置中的每个，可以使用相同的第一方向，从而模拟无穷远处的虚拟照相机。或者，可以使用从第一方向推导的衍生第一方向。例如可以通过假设沿第一方向的来自场景的线上的观察点、确定从该观察点穿过成像平面中的2D位置的线并且使用那些线与建模的3D表面的交叉点作为表面点，来确定推导的方向。
当通过针对利用相同的第二方向获得的多幅2D图像的标称的所检测的脸部位置来确定3D位置时，可以在确定与标称的2D表面位置相关联的3D表面位置之前，在2D中确定该标称的所检测的脸部位置。当通过针对各幅2D图像的脸部位置检测来确定3D位置并且随后在3D中确定标称位置时，没有必要具有利用相同的第二方向获得的2D图像集合：可以组合第一步骤21和第三步骤23，从而以任何方式选择第一和第二方向的对儿。
在实施例中，可以在第五步骤25中使用2D脸部位置检测算法，所述2D脸部位置检测算法以已经检测到脸部的2D图像区域的指示的形式输出所检测的脸部位置。2D图像区域的指示可以指示例如具有在所检测的脸部的上、下、左和右侧的边缘的矩形。在该实施例中，处理器14可以被配置为使用矩形的中心点作为所检测的脸部位置。这些中的每个可以用作单个所检测的脸部位置。
另外，处理器14可以被配置为使用2D图像区域的指示，来确定已经检测到脸部的3D表面区域，例如，从与所指示的2D图像区域内的像素位置相关联的3D坐标，或者从与沿所指示的2D图像区域的边界的像素位置相关联的3D坐标。在实施例中，处理器14被配置为从利用各自第二方向获得的所指示的2D图像区域来确定针对所检测的脸部的标称2D图像区域，例如，通过确定矩形区域边缘的位置的中值或平均值，或者通过对从标称中心位置到边界的距离取中值或平均。
另外的步骤可以跟随所描述的步骤，以确定脸部的取向、边界和/或尺寸。处理器14可以被配置为在其他步骤中使用3D脸部位置，以确定搜索区域，以执行对诸如鼻子、嘴和眼睛的脸部特征的位置的搜索。这样的特征的位置可以用于确定脸部取向和/或尺寸。
尽管在附图和前述说明中详细说明并描述了示范性实施例，但是这样的说明和描述应当被认为是说明性或者示范性而不是限制性的；本发明不限于所公开的实施例。
尽管已经示出了实施例，其中，结构光用于获得3D表面模型，应当认识到，其他的技术可以用于获得这样的模型。例如，可以使用立体技术，其中，使用来自不同位置处的多个照相机的图像，或者可以使用SLAM技术，其中，使用来自相同的移动照相机的多幅图像，以推导3D表面模型。可以使用深度成像照相机(范围照相机)，其被配置为如果多个方向对应于各自像素则基于“飞行时间”测量来形成图像。可以使用非光学技术，例如核磁成像、超声回波摄影、X-射线断层摄影，以作为备选。当使用体积技术时，可以使用产生的体积模型，以推导3D表面模型。在从2D照相机图像推导3D表面模型的实施例中，选择等于2D照相机图像中的一幅或多幅的观察方向的第一方向。在这种情况中，替代从相同观察方向观察的光强度的原始2D照相机图像，或除了从相同观察方向观察的光强度的原始2D照相机图像以外，使用具有由3D表面模型定义的法线的角度来生成针对脸部位置检测的图像。
可以在存储设备(例如，磁盘或半导体存储器)中存储3D表面模型，从所述存储设备中可以读取所述3D表面模型，以便获得所述3D表面模型，以用于所描述的脸部位置检测。或者，当执行脸部位置检测时，可以从测量结果直接获得3D表面模型，或者当执行脸部位置检测时，可以通过从2D图像或体积模型推导3D表面模型来获得所述3D表面模型。
根据所期望的应用，可以以不同方式使用产生的所检测的3D脸部位置。例如，其可以用于执行脸部识别算法，以从3D表面模型验证或找到人的身份。作为另一范例，其可以作为输入，以进一步处理3D表面模型，例如，确定待拟合到脸部的掩模的形状，以及从预定的掩模集合中选择合适的掩模，或者控制这种掩模的制造。作为另一范例，其可以用于控制对诸如NMI图像的体积数据的处理，例如，针对获得哪些测量结果，控制体积模型中的3D区域的位置。
通过研究附图、说明书和权利要求书，本领域的技术人员在实施所主张保护的发明时，能够理解并且影响对所公开实施例的其他变型。在权利要求中，“包括”一词不排除其他元件或步骤，并且量词“一”或“一个”不排除多个。单个处理器或其他单元可以实现在权利要求中记载的若干项目的功能。在相互不同的从属权利要求中记载特定措施并不指示不能有利地使用这些措施的组合。计算机程序可以存储/分布在合适介质上，所述合适介质例如为与其他硬件一起提供或者作为其他硬件的一部分提供的光学存储器介质或者固态介质，但是计算机程序也可以以其他形式分布，例如经由因特网或者其他有线或无线的远程通信***。权利要求书中的任何附图标记不得被解释为对范围的限制。
Claims (25)
1.一种检测脸部位置的图像处理方法，所述方法包括：
-从场景的测量结果获得3D表面模型；
-从所述3D表面模型生成(24)角度数据的2D图像，所述2D图像表示角度数据，针对所述2D图像中的每个各自的图像点的角度数据是根据从虚拟照明方向导出的入射方向与在3D表面上的在所述2D图像中的所述图像点处看得到的点处的所述3D表面的法线之间的角度而选择的；
-将2D脸部位置算法应用(25)于所述2D图像；
-从所述3D表面模型生成(24)多幅各自的2D图像，每幅所述各自的2D图像针对各自的虚拟照明方向；
-将所述2D脸部位置算法应用(25)于所述各自的2D图像中的每幅；
-组合(27)从所述各自的2D图像检测的脸部位置。
2.根据权利要求1所述的方法，包括针对所述各自的虚拟照明方向的相同观察方向来生成多幅所述各自的2D图像。
3.根据权利要求2所述的方法，包括从包括针对多个相互不同的各自的虚拟照明方向的各自的2D图像的每个多幅所述各自的2D图像来生成各自的多个多幅所述各自的2D图像，每个多幅所述各自的2D图像来自不同的观察方向。
4.根据权利要求2所述的方法，包括确定针对所述多幅各自的2D图像的平均的检测的2D位置，并且根据所述3D表面模型确定与所述平均的检测的2D位置相关联的3D表面位置。
5.根据权利要求1所述的方法，其中，应用(25)所述2D脸部位置算法包括确定在图像中的各自区域上的角度的多个总和、将所述总和与阈值进行比较并且组合所述比较的结果。
6.根据权利要求1所述的方法，包括根据所述3D表面模型确定与各自的检测的2D脸部位置相关联的各自的3D表面位置，并且确定所述各自的3D表面位置的平均。
7.根据权利要求1所述的方法，其中，使用来自从所述场景接收的光的一幅或多幅另外的2D图像的信息，获得所述3D表面模型。
8.根据权利要求7所述的方法，包括借助结构光对所述场景进行照明。
9.根据权利要求7所述的方法，其中，针对与从所述场景接收的光的所述一幅或多幅另外的2D图像的观察方向相对应的观察方向，生成所述各自的2D图像。
10.根据权利要求7所述的方法，其中，如果有与所述3D表面上的所述点相关联的光反射特性，独立于所述光反射特性生成所述各自的2D图像。
11.根据权利要求1所述的方法，包括使用所述3D表面模型和由所述2D脸部位置算法检测的脸部位置，来确定在所述3D表面上的在所检测的脸部位置处可见的点的3D位置。
12.一种检测脸部位置的图像处理装置，所述装置包括：
-用于从场景的测量结果获得3D表面模型的单元；
-用于从所述3D表面模型生成(24)角度数据的2D图像的单元，所述2D图像表示角度数据，针对所述2D图像中的每个各自的图像点的角度数据是根据从虚拟照明方向导出的入射方向与在3D表面上的在所述2D图像中的所述图像点处看得到的点处的所述3D表面的法线之间的角度而选择的；
-用于将2D脸部位置算法应用(25)于所述2D图像的单元；
-用于从所述3D表面模型生成(24)多幅各自的2D图像的单元，每 幅所述各自的2D图像针对各自的虚拟照明方向；
-用于将所述2D脸部位置算法应用(25)于所述各自的2D图像中的每幅的单元；
-用于组合(27)从所述各自的2D图像检测的脸部位置的单元。
13.根据权利要求12所述的装置，包括用于针对所述各自的虚拟照明方向的相同观察方向来生成多幅所述各自的2D图像的单元。
14.根据权利要求13所述的装置，包括用于从包括针对多个相互不同的各自的虚拟照明方向的各自的2D图像的每个多幅所述各自的2D图像来生成各自的多个多幅所述各自的2D图像的单元，每个多幅所述各自的2D图像来自不同的观察方向。
15.根据权利要求13所述的装置，包括用于确定针对所述多幅各自的2D图像的平均的检测的2D位置，并且根据所述3D表面模型确定与所述平均的检测的2D位置相关联的3D表面位置的单元。
16.根据权利要求12所述的装置，其中，应用(25)所述2D脸部位置算法包括确定在图像中的各自区域上的角度的多个总和、将所述总和与阈值进行比较并且组合所述比较的结果。
17.根据权利要求12所述的装置，包括用于根据所述3D表面模型确定与各自的检测的2D脸部位置相关联的各自的3D表面位置，并且确定所述各自的3D表面位置的平均的单元。
18.根据权利要求12所述的装置，其中，使用来自从所述场景接收的光的一幅或多幅另外的2D图像的信息，获得所述3D表面模型。
19.根据权利要求18所述的装置，包括用于借助结构光对所述场景进行照明的单元。
20.根据权利要求18所述的装置，其中，针对与从所述场景接收的光的所述一幅或多幅另外的2D图像的观察方向相对应的观察方向，生成所述各自的2D图像。
21.根据权利要求18所述的装置，其中，如果有与所述3D表面上的所述点相关联的光反射特性，独立于所述光反射特性生成所述各自的2D图像。
22.根据权利要求12所述的装置，包括用于使用所述3D表面模型和由所述2D脸部位置算法检测的脸部位置，来确定在所述3D表面上的在所检测的脸部位置处可见的点的3D位置的单元。
23.一种图像处理***，所述***包括：
-2D图像生成器(32)，其被配置为从针对场景获得的3D表面模型生成2D图像，所述2D图像表示角度数据，针对所述2D图像中的每个各自的图像点的角度数据是根据从虚拟照明方向导出的入射方向与在3D表面上的在所述图像中的所述图像点处看得到的点处的所述3D表面的法线之间的角度而选择的；
-2D脸部位置检测器(34)，其被配置为将2D脸部位置检测算法应用于所述各自的2D图像中的每幅，其中，所述2D图像生成器(32)被配置为从所述3D表面模型生成多幅各自的2D图像，每幅各自的2D图像针对各自的虚拟照明方向，所述图像处理***包括数据组合器，所述数据组合器被配置为组合由2D脸部位置检测器从所述多幅各自的2D图像检测的脸部位置检测结果。
24.根据权利要求23所述的图像处理***，包括照相机和3D模型生成器(3)，所述3D模型生成器被配置为使用来自所述照相机的图像数据生成所述3D表面模型。
25.一种提供针对受试体的掩模的方法，包括以下步骤：
-从场景的测量结果接收3D表面模型，在所述场景中已经通过根据权利要求1所述的方法或借助根据权利要求23所述的图像处理***检测了脸部的位置，或者通过根据权利要求1所述的方法或借助根据权利要求23所述的图像处理***从场景的测量结果在3D表面模型之内检测脸部的位置，并且
-使用在所述3D表面模型之内所检测的所述脸部的位置来制造所述掩模，确定所述掩模的形状和/或从掩模的预定集合选择合适的掩模。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP11164162.7 | 2011-04-28 | ||
| EP11164162 | 2011-04-28 | ||
| PCT/IB2012/052038 WO2012147027A1 (en) | 2011-04-28 | 2012-04-23 | Face location detection |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103562934A CN103562934A (zh) | 2014-02-05 |
| CN103562934B true CN103562934B (zh) | 2017-05-10 |
Family
ID=46062679
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201280025930.1A Active CN103562934B (zh) | 2011-04-28 | 2012-04-23 | 脸部位置检测 |
Country Status (6)
| Country | Link |
|---|---|
| US (2) | US9582706B2 (zh) |
| EP (1) | EP2702533A1 (zh) |
| JP (1) | JP6073858B2 (zh) |
| CN (1) | CN103562934B (zh) |
| AU (3) | AU2012247147A1 (zh) |
| WO (1) | WO2012147027A1 (zh) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9396587B2 (en) | 2012-10-12 | 2016-07-19 | Koninklijke Philips N.V | System for accessing data of a face of a subject |
| JP6297675B2 (ja) | 2013-05-10 | 2018-03-20 | コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． | ３ｄ患者インターフェイスデバイス選択システム及び方法 |
| US9020213B1 (en) | 2013-10-17 | 2015-04-28 | Daon Holdings Limited | Methods and systems for detecting biometric characteristics in an image |
| KR101619661B1 (ko) * | 2014-12-08 | 2016-05-10 | 현대자동차주식회사 | 운전자의 얼굴 방향 검출 방법 |
| JP6669444B2 (ja) * | 2015-06-29 | 2020-03-18 | 株式会社ミツトヨ | 造形装置、及び造形方法 |
| US10586379B2 (en) | 2017-03-08 | 2020-03-10 | Ebay Inc. | Integration of 3D models |
| WO2019192744A1 (en) * | 2018-04-06 | 2019-10-10 | Siemens Aktiengesellschaft | Object recognition from images using cad models as prior |
| US11727656B2 (en) | 2018-06-12 | 2023-08-15 | Ebay Inc. | Reconstruction of 3D model with immersive experience |
| CN109146962B (zh) * | 2018-09-07 | 2020-06-09 | 百度在线网络技术（北京）有限公司 | 检测脸部角度的方法、装置、存储介质和终端设备 |
| KR102151851B1 (ko) * | 2018-09-12 | 2020-09-03 | 한양대학교 산학협력단 | 적외선 영상 기반 얼굴 인식 방법 및 이를 위한 학습 방법 |
| US11051001B2 (en) * | 2019-05-29 | 2021-06-29 | Avigilon Corporation | Method and system for generating a two-dimensional and a three-dimensional image stream |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6137896A (en) * | 1997-10-07 | 2000-10-24 | National Research Council Of Canada | Method of recognizing faces using range images |
| CN1607551A (zh) * | 2003-08-29 | 2005-04-20 | 三星电子株式会社 | 基于图像的超现实主义三维脸部建模的方法和设备 |
| CN101377814A (zh) * | 2007-08-27 | 2009-03-04 | 索尼株式会社 | 人脸图像处理设备、人脸图像处理方法以及计算机程序 |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| IL113496A (en) | 1995-04-25 | 1999-09-22 | Cognitens Ltd | Apparatus and method for recreating and manipulating a 3d object based on a 2d projection thereof |
| US7660444B2 (en) * | 2000-02-24 | 2010-02-09 | Nokia Corporation | Method and apparatus for user recognition using CCD cameras |
| US7155036B2 (en) * | 2000-12-04 | 2006-12-26 | Sony Corporation | Face detection under varying rotation |
| US7221809B2 (en) | 2001-12-17 | 2007-05-22 | Genex Technologies, Inc. | Face recognition system and method |
| JP3627058B2 (ja) * | 2002-03-01 | 2005-03-09 | 独立行政法人科学技術振興機構 | ロボット視聴覚システム |
| US6947579B2 (en) | 2002-10-07 | 2005-09-20 | Technion Research & Development Foundation Ltd. | Three-dimensional face recognition |
| EP1590762A4 (en) * | 2003-01-16 | 2007-07-25 | Intelitrac Inc | METHOD AND / OR SYSTEM FOR AUTOMATED FACE RECOGNITION AND AUTOMATED FACE COMPARISON USING MULTIPLE 2D FACE PICTURES PAINTED FROM A RECORDED 3D FACE IMAGE |
| US20040223631A1 (en) | 2003-05-07 | 2004-11-11 | Roman Waupotitsch | Face recognition based on obtaining two dimensional information from three-dimensional face shapes |
| KR100816607B1 (ko) * | 2003-10-21 | 2008-03-24 | 닛본 덴끼 가부시끼가이샤 | 화상 대조 시스템, 화상 대조 방법 및 컴퓨터로 판독가능한 기록 매체 |
| US7436988B2 (en) | 2004-06-03 | 2008-10-14 | Arizona Board Of Regents | 3D face authentication and recognition based on bilateral symmetry analysis |
| SE528068C2 (sv) | 2004-08-19 | 2006-08-22 | Jan Erik Solem Med Jsolutions | Igenkänning av 3D föremål |
| US8660319B2 (en) | 2006-05-05 | 2014-02-25 | Parham Aarabi | Method, system and computer program product for automatic and semi-automatic modification of digital images of faces |
| WO2008130906A1 (en) | 2007-04-17 | 2008-10-30 | Mikos, Ltd. | System and method for using three dimensional infrared imaging to provide psychological profiles of individuals |
| JP4655235B2 (ja) * | 2008-03-14 | 2011-03-23 | ソニー株式会社 | 情報処理装置および方法、並びにプログラム |
| JP2010277242A (ja) * | 2009-05-27 | 2010-12-09 | Mitsubishi Electric Corp | 画像処理装置 |
| US9390317B2 (en) * | 2011-03-21 | 2016-07-12 | Hewlett-Packard Development Company, L.P. | Lip activity detection |
-
2012
- 2012-04-23 EP EP12720652.2A patent/EP2702533A1/en not_active Ceased
- 2012-04-23 US US14/114,213 patent/US9582706B2/en active Active
- 2012-04-23 WO PCT/IB2012/052038 patent/WO2012147027A1/en active Application Filing
- 2012-04-23 CN CN201280025930.1A patent/CN103562934B/zh active Active
- 2012-04-23 JP JP2014506970A patent/JP6073858B2/ja active Active
- 2012-04-23 AU AU2012247147A patent/AU2012247147A1/en not_active Abandoned
-
2017
- 2017-01-24 US US15/413,718 patent/US9740914B2/en active Active
- 2017-07-18 AU AU2017206169A patent/AU2017206169A1/en not_active Abandoned
-
2019
- 2019-06-05 AU AU2019203928A patent/AU2019203928B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6137896A (en) * | 1997-10-07 | 2000-10-24 | National Research Council Of Canada | Method of recognizing faces using range images |
| CN1607551A (zh) * | 2003-08-29 | 2005-04-20 | 三星电子株式会社 | 基于图像的超现实主义三维脸部建模的方法和设备 |
| CN101377814A (zh) * | 2007-08-27 | 2009-03-04 | 索尼株式会社 | 人脸图像处理设备、人脸图像处理方法以及计算机程序 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103562934A (zh) | 2014-02-05 |
| JP2014517380A (ja) | 2014-07-17 |
| US9582706B2 (en) | 2017-02-28 |
| AU2019203928A1 (en) | 2019-06-27 |
| US9740914B2 (en) | 2017-08-22 |
| US20140056510A1 (en) | 2014-02-27 |
| EP2702533A1 (en) | 2014-03-05 |
| US20170132454A1 (en) | 2017-05-11 |
| AU2019203928B2 (en) | 2020-08-20 |
| WO2012147027A1 (en) | 2012-11-01 |
| JP6073858B2 (ja) | 2017-02-01 |
| AU2017206169A1 (en) | 2017-09-07 |
| AU2012247147A1 (en) | 2013-12-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103562934B (zh) | 脸部位置检测 | |
| US7822267B2 (en) | Enhanced object reconstruction | |
| CN107025663A (zh) | 视觉***中用于3d点云匹配的杂波评分***及方法 | |
| US20100328308A1 (en) | Three Dimensional Mesh Modeling | |
| CN110490967A (zh) | 图像处理和对象建模方法与设备、图像处理装置及介质 | |
| WO2020075252A1 (ja) | 情報処理装置、プログラム及び情報処理方法 | |
| CN107680125A (zh) | 在视觉***中自动选择三维对准算法的***和方法 | |
| EP3309750B1 (en) | Image processing apparatus and image processing method | |
| JP2013101464A (ja) | 画像処理装置および画像処理方法 | |
| CN112883920A (zh) | 基于点云深度学习的三维人脸扫描特征点检测方法和装置 | |
| Siddique et al. | 3d object localization using 2d estimates for computer vision applications | |
| Hu et al. | Multiple-view 3-D reconstruction using a mirror | |
| Chow et al. | Recovering shape by shading and stereo under lambertian shading model | |
| Bellmann et al. | A benchmarking dataset for performance evaluation of automatic surface reconstruction algorithms | |
| Montenegro et al. | Space carving with a hand-held camera | |
| Luhmann et al. | Comparison and verification of optical 3-d surface measurement systems | |
| KR101541114B1 (ko) | 3d 스캐너를 위한 추가 촬영 방향 결정 방법 | |
| Hu | It's all done with mirrors: Calibration-and-correspondence-free 3D reconstruction | |
| Ballan et al. | 3D content creation by passive optical methods | |
| de Sousa Azevedo | 3d object reconstruction using computer vision: Reconstruction and characterization applications for external human anatomical structures | |
| Fernandes et al. | Computing box dimensions from single perspective images in real time | |
| JP2015137887A (ja) | 変化形状測定装置、変化形状測定方法、および変化形状測定装置用プログラム | |
| Higbee | A Quantification of the 3D Modeling Capabilities of the Kinect Fustion Algorithm | |
| Mota-Gutierrez et al. | Efficient reconstruction of complex 3-D scenes from incomplete RGB-D data | |
| Lang et al. | Active object modeling with VIRTUE |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |