CN111386069B - 三维人脸诊断装置的操作方法 - Google Patents

Abstract

本发明涉及一种三维人脸视频拍摄方法，所述方法包括以下步骤：从右下巴到左前额方向拍摄用户的面部区域；从左前额到左下巴方向拍摄所述面部区域；从左下巴到右前额方向拍摄所述面部区域；以及从右前额到右下巴方向拍摄所述面部区域。

Description

三维人脸诊断装置的操作方法

技术领域

本发明涉及一种用于获取面部视频的装置，更具体地，涉及一种有效地操作用于获取面部视频的装置的方法。

背景技术

如今，人们正在开发出使用各种方法的三维视频拍摄装置。最常见的三维视频的拍摄装置通过将由RGB摄像机和深度摄像机获得的视频进行融合，从而生成三维视频。

三维视频拍摄装置根据拍摄路径难免会出现盲点，并且需要很长的测量时间。因此，需要一种最适合于拍摄和获取三维人脸视频的移动路径的算法。

先行技术文献

专利文献

韩国公开专利第10-2014-0077751号(公开日期2014年6月24日)提出了一种扫描三维人脸的装置。该专利涉及一种通过减小体积来提高移动性的三维人脸扫描装置。

发明内容

解决问题的技术方法

根据一实施例，公开了一种三维人脸诊断装置的操作方法，其通过计算机至少得到暂时执行，并利用摄像机移动机构使摄像机沿用户的面部周围的拍摄轨道在垂直轴方向上升降，以及围绕垂直轴旋转来拍摄用户的面部周围，从而获取包括跨面部的正面和侧面的面部深度信息的三维视频信息，包括以下步骤：从左前额到右下巴方向拍摄用户的面部区域；从右下巴到右前额方向拍摄所述面部区域；从右前额到左下巴方向拍摄所述面部区域；以及从左下巴到左前额方向拍摄所述面部区域。

根据另一实施例，在三维人脸诊断装置的操作方法中，所述从左前额到右下巴方向拍摄面部区域的步骤及从右前额到左下巴方向拍摄所述面部区域的步骤各自的移动路径也可以在所述用户的面部中心部进行交叉。

根据又另一实施例，所述从左下巴到左前额方向拍摄面部区域的步骤及从右下巴到右前额方向拍摄所述面部区域的步骤各自的移动路径朝所述用户的面部外部方向凸出。

根据另一实施例，提出了一种三维人脸诊断装置的操作方法，其拍摄所述面部区域的步骤根据所述用户的面部大小来调整移动距离。

根据一侧，公开了一种三维人脸诊断装置的操作方法，其通过计算机至少得到暂时执行，并利用摄像机移动机构使摄像机沿用户的面部周围的拍摄轨道在垂直轴方向上升降，以及围绕垂直轴旋转来拍摄用户的面部周围，从而获取包括跨面部的正面和侧面的面部深度信息的三维视频信息，包括以下步骤：从右下巴到左前额方向拍摄用户的面部区域；从左前额到左下巴方向拍摄所述面部区域；从左下巴到右前额方向拍摄所述面部区域；以及从右前额到右下巴方向拍摄所述面部区域。

根据另一侧，在三维人脸诊断装置的操作方法中，所述从右下巴到左前额方向拍摄面部区域的步骤及从左下巴到右前额方向拍摄所述面部区域的步骤各自的移动路径也可以在所述用户的面部中心部进行交叉。

根据又另一侧，所述从左前额到左下巴方向拍摄面部区域的步骤及从右前额到右下巴方向拍摄所述面部区域的步骤各自的移动路径可以朝所述用户的面部外部方向凸出。

根据另一侧，拍摄所述面部区域的步骤可以根据所述用户的面部大小来调整移动距离。

根据一实施例，提出了一种三维人脸诊断装置的操作方法，其通过计算机至少得到暂时执行，并利用摄像机移动机构使摄像机沿用户的面部周围的拍摄轨道在垂直轴方向上升降，以及围绕垂直轴旋转来拍摄用户的面部周围，从而获取包括跨面部的正面和侧面的面部深度信息的三维视频信息，包括以下步骤：摄像机部对用户的面部区域进行第一次拍摄；计算部根据第一次拍摄的视频计算所述用户的面部大小；所述计算部基于所述面部大小来计算第二次拍摄的移动距离；以及根据所述摄像机部计算的所述移动距离，从左前额到右下巴方向、从右下巴到右前额方向、从右前额到左下巴方向、从左下巴到左前额方向拍摄所述面部区域。

或者，也可以包括以下步骤：摄像机部对用户的面部区域进行第一次拍摄；计算部根据第一次拍摄的视频计算所述用户的面部大小；所述计算部基于所述面部大小来计算第二次拍摄的移动距离；以及根据所述摄像机部计算的所述移动距离，从右下巴到左前额方向、从左前额到左下巴方向、从左下巴到右前额方向、从右前额到右下巴方向拍摄所述面部区域。

根据一实施例，公开了一种三维人脸诊断装置的操作方法，通过拍摄用户的面部周围来获取包括跨面部的正面和侧面的面部深度信息的三维视频信息，包括以下步骤：从面部中心部到右下巴方向拍摄用户的面部区域；从右下巴到右前额方向拍摄所述面部区域；从右前额到左下巴方向拍摄所述面部区域；从左下巴到左前额方向拍摄所述面部区域；以及从左前额到面部中心部方向拍摄所述面部区域。另外，也可以改变特定的拍摄步骤顺序。

根据另一侧，提出了一种计算机可读存储介质，其存储用于执行所述三维人脸诊断装置的操作方法的程序。

附图说明

图1为显示根据一实施例的三维人脸诊断装置的结构的附图。

图2为显示根据一实施例的用户操作三维人脸诊断装置的示例的附图。

图3a为显示根据一实施例的三维人脸诊断装置的摄像机的移动路径的附图。

图3b为显示根据一实施例的摄像机的另一移动路径及盲点的附图。

图3c为显示根据一实施例的摄像机的又另一移动路径及盲点的附图。

图4为显示根据一实施例的三维人脸诊断装置的操作方法的附图。

具体实施方式

以下，将参照附图对实施例进行详细说明。然而，本发明的权利范围并非受到这些实施例的限制或限定。在各附图中，相同的构成要素赋予相同的附图标记。

以下描述中使用的术语被选定为相关技术领域中广泛使用的、通用的术语，但可以根据技术的发展和/或变更、惯例及本领域技术人员的偏好等来表示为其他术语。因此，以下描述中使用的术语不应理解为限制本发明的技术构思，而应理解为用于描述实施例的示例性术语。

另外，在特定情况下，某些术语由申请人任意选择，此时，将在相应的说明中描述其详细的含义。因此，以下描述中使用的术语应根据术语的含义和本说明书中的全部内容来理解，而不仅仅是术语的名称。

图1为显示根据一实施例的三维人脸诊断装置的结构的附图。根据一实施例的三维人脸诊断装置包括摄像机100和摄像机移动机构。所述摄像机沿着垂直移动轨道120及旋转移动轨道130移动。

摄像机100可以都包括一般的RGB摄像机和可拍摄深度视频的深度摄像机，并可以获取面部的三维视频信息。具体地，可以通过拍摄面部的正面及侧面来在最大范围内获取面部的三维视频信息。

摄像机移动机构使摄像机沿用户的面部周围的拍摄轨道在垂直轴方向上升降，以及围绕垂直轴旋转来拍摄用户的面部周围。可以沿垂直移动轨道120在垂直方向上升降，并可以根据旋转移动轨道130围绕垂直轴旋转。图1将示出用于获取包括根据所述移动轨道跨面部的正面和侧面的面部深度信息的三维视频信息的三维人脸诊断装置。然而，本实施例不限于此，本领域普通技术人员可以对实施例进行多种更改。

在韩国专利申请第10-20170044895号(三维人脸诊断装置)中详细描述了三维人脸诊断装置。

图2为显示根据一实施例的用户操作三维人脸诊断装置的示例的附图。图2示出了用户根据一实施例的三维人脸诊断装置200的操作方法来测量面部的示例，并且，三维人脸诊断装置200可以根据用户的面部位置来调整其位置。

具体地，所述三维人脸诊断装置200可以在用户观看的方向上前后移动。例如，可以在坐姿或站姿中进行测量。

图3a为显示根据一实施例的三维人脸诊断装置的摄像机的移动路径的附图。如在图1中所述，三维人脸诊断装置包括摄像机，并且，所述摄像机沿垂直移动轨道及旋转移动轨道移动。图3示出了根据一实施例的摄像机的移动路径310。

所述移动路径从用户的面部中心部，即鼻梁开始，经过右耳部分，通过顺时针旋转进行拍摄。以下详细描述各箭头的移动路径。首先从以点表示的面部中心部开始进行拍摄，再到右耳方向、再从右耳到右额头方向、再从右额头到左额头方向、再从左额头到左下巴方向、再从左下巴到右下巴方向、再从右下巴到右耳方向、最后从右耳到初始起点的面部中心部方向移动并进行拍摄。

当沿着根据一实施例的移动路径310进行拍摄时，虽然可以在没有盲点的情况下获取三维视频信息，但由于摄像机的移动路径较长，需要相当长的拍摄时间。当沿垂直移动轨道进行移动时，沿旋转移动轨道的移动是固定的；反之，当沿旋转移动轨道进行移动时，沿垂直移动轨道的移动是固定的。因此，摄像机沿着单个移动轨道进行移动，由此需要很长的时间。

此外，在三维人脸诊断装置中，由于改变方向的区域的移动速度慢于直线区域的移动速度，因此需要更长的时间。因此，当沿着所述移动路径310进行拍摄时，需要相当长的时间来获取整个三维人脸信息。

图3b为显示根据一实施例的摄像机的另一移动路径及盲点的附图。图3b示出了不同于图3a的移动路径320。所述移动路径320从面部中心部(即眉毛之间的中点)开始到左下巴方向、再从左下巴到右下巴方向、再从右下巴到眉毛之间的中点方向进行连接。

当沿着所述移动路径330进行拍摄时，在从眉毛之间的中点开始到左下巴方向的移动路径及从右下巴再到眉毛之间的中点方向的移动路径上，将会缩短拍摄时间。这是因为当沿着所述两条路径进行移动时，将会同时执行垂直移动及旋转移动。因此，与图3a的移动路径310相比，可以缩短拍摄时间。然而，在所述路径中，在连续匹配三维模型的过程中，由于在用户的左下巴区域321的边界的不连续点，将会出现盲点。

图3c为显示根据一实施例的摄像机的又另一移动路径及盲点的附图。图3c示出了不同于图3a及图3b的移动路径320。所述移动路径320从面部中心部(即眉毛之间的中点)开始到右下巴方向、再从右下巴到左下巴方向、再从左下巴到眉毛之间的中点方向进行连接。

当沿着所述移动路径330进行拍摄时，类似于图3b，在从眉毛之间的中点开始到右下巴方向的移动路径及从左下巴再到眉毛之间的中点方向的移动路径上，将会缩短拍摄时间。当沿着所述路径进行移动时，由于同时执行垂直移动及旋转移动，与图3a的移动路径310相比，可以缩短拍摄时间。然而，在所述路径中难免也会出现盲点。具体地，在连续匹配三维模型的过程中，由于在用户的右下巴区域331的下巴边界的不连续点，将会出现盲点。

图4为显示根据一实施例的三维人脸诊断装置的操作方法的附图。

根据一实施例的三维人脸诊断装置的操作方法可以从面部中心部开始拍摄。例如，所述面部中心部可以是眉毛之间的中点、前额的中间或鼻梁，其高度可以根据用户的面部的长度而改变。所述操作方法可以包括从面部中心部到左下巴方向拍摄用户的面部区域的步骤410、从左下巴到左前额方向拍摄所述面部区域的步骤420、从左前额到右下巴方向拍摄所述面部区域的步骤430、从右下巴到右前额方向拍摄所述面部区域的步骤440以及从右前额到面部中心部方向拍摄所述面部区域的步骤。拍摄的结束点为面部中心部，相同于与拍摄的起点。

一般来说，人脸的下巴向下突出，因此若按照图3b及图3c的方法进行拍摄会出现盲点。因此，为了防止出现盲点，应清晰地拍摄左右下巴区域。

根据一实施例所提出的方法通过执行从面部中心部到左下巴方向拍摄用户的面部区域的步骤410及从左前额到右下巴方向拍摄面部区域的步骤430来防止在下巴区域中发生盲点。此外，由于通过所述路径与面部中心部交叉的方式进行拍摄，因此可以缩短拍摄时间。具体地，当通过所述步骤进行拍摄时，可以缩短摄像机的移动路径，减少方向改变区域，从而可以缩短时间。

此外，即使先执行从左前额到右下巴方向拍摄所述面部区域的步骤之后再执行从右前额到左下巴方向拍摄用户的面部区域的步骤，所述方法也可行。

并且，如图4所示，在所述方法中，从左下巴到左前额方向拍摄所述面部区域的步骤420及从右下巴到右前额方向拍摄所述面部区域的步骤440可以朝面部的外部方向凸出。然而，本实施例并不限于此，并且，从下巴到前额实际上垂直提升也是可以的。

以上说明的装置能够通过硬件构成要素、软件构成要素，和/或硬件构成要素及软件构成要素的组合实现。例如，实施例中说明的装置及构成要素，能够利用例如处理器、控制器、算术逻辑单元(arithmetic logic unit，ALU)、数字信号处理器(digital signalprocessor)、微型计算机、现场可编程阵列(field programmable array，FPA)、可编程逻辑单元(programmable logic unit，PLU)、微处理器、或能够执行与应答指令(instruction)的任何其他装置，能够利用一个以上的通用计算机或特殊目的计算机进行体现。处理装置能够执行操作***(OS)及在所述操作***中执行的一个以上的应用软件。并且，处理装置应答软件的执行，从而访问、存储、操作、处理及生成数据。为方便理解，说明为仅具有一个处理装置的方式，但本领域普通技术人员应理解处理装置能够包括多个处理元件(processing element)和/或多个类型的处理要素。例如，处理装置能够包括多个处理器或一个处理器及一个控制器。并且，也能够包括类似于并行处理器(parallel processor)的其他处理配置(processing configuration)。

软件能够包括计算机程序(computer program)、代码(code)、指令(instruction)，或其中的一个以上的组合，能够使处理装置按照所期待的方式操作，或者，单独或共同(collectively)命令处理装置。为通过处理装置进行解释或者向处理装置提供命令或数据，软件和/或数据能够永久或临时体现于(embody)任何类型的设备、构成要素(component)、物理装置、虚拟装置(virtual equipment)、计算机存储介质或装置，或者传送的信号波(signal wave)。软件分布于通过网络连接的计算机***上，能够以分布式存储或执行。软件及数据能够存储于一个以上的计算机读写存储介质中。

根据实施例的方法以能够通过多种计算机手段执行的程序命令的形式体现，并记录在计算机读写介质中。所述计算机读写介质能够以单独或者组合的形式包括程序命令、数据文件、数据结构等。记录在所述介质的程序指令能够是为实现实施例而特别设计与构成的指令，或者是计算机软件领域普通技术人员能够基于公知使用的指令。计算机读写记录介质能够包括硬盘、软盘以及磁带等磁性媒介(magnetic media)；与CD-ROM、DVD等类似的光学媒介(optical media)；与光磁软盘(floptical disk)类似的磁光媒介(magneto-optical media)，以及与只读存储器(ROM)、随机存取存储器(RAM)、闪存等类似的为存储并执行程序命令而特别构成的硬件装置。程序指令的例子不仅包括通过编译器生成的机器语言代码，还包括通过使用解释器等能够由计算机执行的高级语言代码。为执行实施例的操作，所述硬件装置能够构成为以一个以上的软件模块实现操作的方式，反之亦然。

通过有限的附图对实施例进行了说明，但本领域普通技术人员能够基于所述记载进行多种更改与变形。例如，所说明的技术按照与说明的方法不同的顺序执行，和/或所说明的***、结构、装置、电路等构成要素按照与说明的方法不同的形态进行结合或组合，或者由其他构成要素或者等同物置换或代替，也能得到适当的结果。

由此，其他体现，其他实施例以及权利要求范围的等同物，均属于本发明的权利要求范围。

Claims (11)

1.一种三维人脸诊断装置的操作方法，其通过计算机至少得到暂时执行，并利用摄像机移动机构使摄像机沿用户的面部周围的拍摄轨道在垂直轴方向上升降，以及围绕垂直轴旋转来拍摄用户的面部周围，从而获取包括跨面部的正面和侧面的面部深度信息的三维视频信息，包括以下步骤：

从面部中心部到右下巴方向拍摄用户的面部区域；

从右下巴到右前额方向拍摄所述面部区域；

从右前额到左下巴方向拍摄所述面部区域；

从左下巴到左前额方向拍摄所述面部区域；以及

从左前额到面部中心部方向拍摄所述面部区域，

所述从左下巴到左前额方向拍摄面部区域的步骤及从右下巴到右前额方向拍摄所述面部区域的步骤各自的移动路径朝所述用户的面部外部方向凸出。

2.根据权利要求1所述的三维人脸诊断装置的操作方法，

从右前额到左下巴方向拍摄所述面部区域的步骤的移动路径经过所述用户的面部中心部。

3.根据权利要求1所述的三维人脸诊断装置的操作方法，

拍摄所述面部区域的步骤根据所述用户的面部大小来调整移动距离。

4.一种三维人脸诊断装置的操作方法，其通过计算机至少得到暂时执行，并利用摄像机移动机构使摄像机沿用户的面部周围的拍摄轨道在垂直轴方向上升降，以及围绕垂直轴旋转来拍摄用户的面部周围，从而获取包括跨面部的正面和侧面的面部深度信息的三维视频信息，包括以下步骤：

从面部中心部到左下巴方向拍摄用户的面部区域；

从左下巴到左前额方向拍摄所述面部区域；

从左前额到右下巴方向拍摄所述面部区域；

从右下巴到右前额方向拍摄所述面部区域；以及

从右前额到面部中心部方向拍摄所述面部区域，

所述从左下巴到左前额方向拍摄面部区域的步骤及从右下巴到右前额方向拍摄所述面部区域的步骤各自的移动路径朝所述用户的面部外部方向凸出。

5.根据权利要求4所述的三维人脸诊断装置的操作方法，

所述从左前额到右下巴方向拍摄所述面部区域的步骤的移动路径经过所述用户的面部中心部。

6.根据权利要求4所述的三维人脸诊断装置的操作方法，

拍摄所述面部区域的步骤根据所述用户的面部大小来调整移动距离。

7.一种三维人脸诊断装置的操作方法，其通过计算机至少得到暂时执行，并利用摄像机移动机构使摄像机沿用户的面部周围的拍摄轨道在垂直轴方向上升降，以及围绕垂直轴旋转来拍摄用户的面部周围，从而获取包括跨面部的正面和侧面的面部深度信息的三维视频信息，包括以下步骤：

摄像机部对用户的面部区域进行第一次拍摄；

计算部根据第一次拍摄的视频计算所述用户的面部大小；

所述计算部基于所述面部大小来计算第二次拍摄的移动距离；以及

所述摄像机部根据所计算的所述移动距离，从面部中心部到右下巴方向、从右下巴到右前额方向、从右前额到左下巴方向、从左下巴到左前额方向及从左前额到面部中心部方向拍摄所述面部区域，

在拍摄面部区域的步骤中，

从右下巴到右前额方向、及从左下巴到左前额方向拍摄所述面部区域时的各自的移动路径朝所述用户的面部外部方向凸出。

8.一种三维人脸诊断装置的操作方法，其通过计算机至少得到暂时执行，并利用摄像机移动机构使摄像机沿用户的面部周围的拍摄轨道在垂直轴方向上升降，以及围绕垂直轴旋转来拍摄用户的面部周围，从而获取包括跨面部的正面和侧面的面部深度信息的三维视频信息，包括以下步骤：

摄像机部对用户的面部区域进行第一次拍摄；

计算部根据第一次拍摄的视频计算所述用户的面部大小；

所述计算部基于所述面部大小来计算第二次拍摄的移动距离；以及

所述摄像机部根据所计算的所述移动距离，从面部中心部到左下巴方向、从左下巴到左前额方向、从左前额到右下巴方向、从右下巴到右前额方向及从右前额到面部中心部方向拍摄所述面部区域，

在拍摄面部区域的步骤中，

从左下巴到左前额方向、及从右下巴到右前额方向拍摄所述面部区域时的各自的移动路径朝所述用户的面部外部方向凸出。

9.一种三维人脸诊断装置的操作方法，通过拍摄用户的面部周围来获取包括跨面部的正面和侧面的面部深度信息的三维视频信息，包括以下步骤：

从面部中心部到右下巴方向拍摄用户的面部区域；

从右下巴到右前额方向拍摄所述面部区域；

从右前额到左下巴方向拍摄所述面部区域；

从左下巴到左前额方向拍摄所述面部区域；以及

从左前额到面部中心部方向拍摄所述面部区域，

所述从左下巴到左前额方向拍摄面部区域的步骤及从右下巴到右前额方向拍摄所述面部区域的步骤各自的移动路径朝所述用户的面部外部方向凸出。

10.一种三维人脸诊断装置的操作方法，通过拍摄用户的面部周围来获取包括跨面部的正面和侧面的面部深度信息的三维视频信息，包括以下步骤：

从面部中心部到左下巴方向拍摄用户的面部区域；

从左下巴到左前额方向拍摄所述面部区域；

从左前额到右下巴方向拍摄所述面部区域；

从右下巴到右前额方向拍摄所述面部区域；以及

从右前额到面部中心部方向拍摄所述面部区域，

所述从左下巴到左前额方向拍摄面部区域的步骤及从右下巴到右前额方向拍摄所述面部区域的步骤各自的移动路径朝所述用户的面部外部方向凸出。

11.一种计算机可读存储介质，

其存储用于执行权利要求1至10中任一项所述的三维人脸诊断装置的操作方法的程序。

Images