CN108833772A - 基于深度相机的拍照引导***及方法 - Google Patents

基于深度相机的拍照引导***及方法 Download PDF

Info

Publication number
CN108833772A
CN108833772A CN201810543016.5A CN201810543016A CN108833772A CN 108833772 A CN108833772 A CN 108833772A CN 201810543016 A CN201810543016 A CN 201810543016A CN 108833772 A CN108833772 A CN 108833772A
Authority
CN
China
Prior art keywords
face
user
taking pictures
processing module
depth camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810543016.5A
Other languages
English (en)
Inventor
邓想全
许星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Orbbec Co Ltd
Original Assignee
Shenzhen Orbbec Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Orbbec Co Ltd filed Critical Shenzhen Orbbec Co Ltd
Priority to CN201810543016.5A priority Critical patent/CN108833772A/zh
Publication of CN108833772A publication Critical patent/CN108833772A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/166Detection; Localisation; Normalisation using acquisition arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

本发明提供基于深度相机的拍照引导***及方法,***,包括:深度相机模块,用于采集用户的人脸图像,并将所述人脸图像反馈给处理模块;处理模块,获取所述人脸图像,重构所述用户的三维人脸图像;处理所述三维人脸图像,获取所述用户的脸型特征和/或脸部器官的分布特征;根据所述脸型特征和/或脸部器官的分布特征从预设拍照引导技巧中选择拍照引导技巧;存储器,用于存储包括但不限于:所述三维人脸图像、所述用户的脸型特征和/或脸部器官的分布特征、所述预设拍照引导技巧。通过获取更精准、全面的用户人脸图像,从而给出用户更准确的拍照引导技巧引导用户拍照。

Description

基于深度相机的拍照引导***及方法
技术领域
本发明涉及移动终端的拍照领域,尤其涉及一种基于深度相机的拍照引导***及方法。
背景技术
随着电子技术的发展,智能移动终端所搭载的相机,其像素和成像质量都获得了前所未有的提升。部分手机所搭载的前置/后置相机,其像素高达1200万,性能完全可以媲美专业的数码相机。基于移动终端强大的功能以及出色的拍照性能,智能移动终端已经逐渐取代传统的普通相机,成为用户记录生活、捕捉美好瞬间的第一选择。
然而,现有智能移动终端所搭载的相机及其拍照***,功能相对单一,一般需要用户自主判断/选择拍照角度或拍照方式完成对焦拍照,对用户的拍照技术具有强烈的依赖性。此外,被拍摄者在镜头下容易出现紧张情绪(比如,表情、姿势僵硬等),如果用户由于技术粗糙,未能对被拍摄者表情、姿势加以正确的引导,就更加难以拍出让人满意的照片。
获取被拍照者的脸部特征信息,再通过对脸部特征信息处理为拍照者提供角度、姿势的建议的方法有很多,但是因为对脸部特征信息获取不全面,处理信息丢失导致无法全面、准确的获取拍照者的脸部特征信息,然后通过训练模型或者参考模型对拍照者的脸部特征信息进行处理,给出拍照者建议,这种建议是不够精准的。
发明内容
本发明为了解决现有技术中的问题,提供一种基于深度相机的拍照引导***及方法。
为了解决上述问题,本发明采用的技术方案如下所述:
基于深度相机的拍照引导***,包括:深度相机模块,用于采集用户的人脸图像,并将所述人脸图像反馈给处理模块;处理模块,获取所述人脸图像,重构所述用户的三维人脸图像;处理所述三维人脸图像,获取所述用户的脸型特征和/或脸部器官的分布特征;根据所述脸型特征和/或脸部器官的分布特征从预设拍照引导技巧中选择拍照引导技巧;存储器,用于存储包括但不限于:所述三维人脸图像、所述用户的脸型特征和/或脸部器官的分布特征、所述预设拍照引导技巧。
在本发明的一种实施例中,所述处理模块通过特征标记算法标记所述用户的面部器官以及额头、颧骨、脸颊、下巴的特征位置,以进一步计算用户人脸的长、宽比值;脸部器官的位置、尺寸以及比例,确定用户的脸型特征和/或脸部器官的分布特征;所述拍照引导技巧包括但不限于根据所述脸型特征和/或脸部器官分布特征,提供拍照角度、拍照动作、拍照姿势;所述深度相机模块包括深度相机和RGB相机、RGBD相机、深度相机和IR相机中的一种或多种组合。
本发明还提供一种基于深度相机的拍照引导方法,包括如下步骤:S1:深度相机模块采集用户的人脸图像并反馈给处理模块;S2:所述处理模块接收所述人脸图像,重构用户的三维人脸图像;对特征位置或器官进行特征点标记;S3:所述处理模块计算用户所述特征点之间的距离及所述特征点之间距离的变化趋势;S4:所述处理模块根据所述特征点之间的距离及所述特征点之间距离的变化趋势,区分、确定用户的脸型;S5:所述处理模块基于所述用户的脸型提供拍照引导技巧。
在本发明的一种实施例中,所述用户的脸型包括但不限于:圆形脸、长形脸、椭圆脸、方形脸和梨形脸;所述特征位置或器官包括但不仅限于:左/右鬓角或额角位置、左/右颧骨位置、左/右脸颊位置、额头/下巴位置;所述特征点之间的距离包括但不限于:人脸额头宽度、颧骨宽度、脸颊宽度以及额度到下巴长度;所述特征点之间距离的变化趋势包括但不限于:左/右鬓角特征点之间的距离与左/右颧骨特征点之间距离的比值。
本发明又提供另一种基于深度相机的拍照引导方法,包括如下步骤:T1:深度相机模块采集用户的人脸图像并反馈给处理模块;T2:所述处理模块接收所述人脸图像,重构用户的三维人脸图像,对特征位置或器官进行特征点标记;T3:所述处理模块提取用户脸部器官的特征信息;T4:所述处理模块根据所述用户脸部器官的特征信息,确定用户人脸器官的分布特征;T5:所述处理模块基于用户人脸器官的分布特征提供拍照引导技巧。
在本发明的一种实施例中,所述标记特征位置包括但不限于:左/右太阳穴特征点之间的距离,左/右内眼角特征点之间的距离以及左/右外眼角特征点之间的距离;所述脸部器官的特征信息包括但不限于:用户眉毛、眼、耳、鼻、嘴器官的位置信息、尺寸信息以及比例信息中的一种或多种组合。
在本发明的另外一种实施例中,以上所述人脸图像包括:深度人脸图像、RGB人脸图像、IR人脸图像中的一种或多种组合。
本发明的有益效果为:提供一种基于深度相机的拍照引导***及方法,通过深度相机模块获取全面的用户的人脸图像,以便处理模块重构用户的三维人脸图像信息;通过特征标记、提取算法,获取用户的脸型特征和/或脸部器官分布特征,获取用户的信息更精准、全面;基于用户的脸型特征和/或脸部器官分布特征,处理模块选择预设的拍照引导技巧,以引导用户选择更合适的拍照角度、动作、姿势或借用道具,完成拍照;有利于用户拍出更漂亮的人物照片,丰富智能移动终端的拍照功能,提升智能移动终端的拍照乐趣、拍照体验。
附图说明
图1是根据本发明实施例的一种基于深度相机的拍照引导***示意图。
图2是根据本发明实施例的一种用户脸型分类图。
图3是根据本发明实施例的一种基于深度相机的拍照引导方法示意图。
图4是根据本发明实施例的一种基于用户脸型特征的拍照引导方法流程图。
图5是根据本发明实施例的一种用户人脸器官分布特征示意图。
图6是根据本发明实施例的又一种基于深度相机的拍照引导方法示意图。
图7是根据本发明实施例的一种基于用户人脸器官分布特征的拍照引导方法流程图。
其中,101-智能移动终端。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合附图对本发明的各实施方式进行详细的阐述。应当理解的是,所述实施例仅是本发明的一部分实施例,而不是全部实施例,不能理解为对本发明的限制。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应该属于本发明保护的范围。
需要说明的是,本发明实施例中所含盖的功能模块,可以根据需要,通过现有技术中的一种或多种编程语言实现。对于公知的编程原理和软件构成,下文虽然不作详细阐述,但应属于本发明技术方案的一部分。
图1是根据本发明实施例的一种基于深度相机的拍照引导***示意图。该实施例中,拍照引导***通过智能移动终端101内嵌的深度相机模块(包括RGB相机、深度相机、IR相机等元器件),在一种实施例中,深度相机和RGB相机、RGBD相机、深度相机和IR相机中的一种或多种组合。从立体空间全面采集用户的人脸图像,并反馈给处理模块,这里所说的立体空间是指包括上下左右或者用户脸部围绕深度相机模块最大限度的旋转角度所构成的空间;处理模块通过三角测量算法,计算出用户人脸的深度信息,重构用户的三维人脸图像,保存在存储器中;基于所述三维人脸图像,处理模块通过特征标记算法,标记用户的面部器官以及额头、颧骨、脸颊、下巴等特征位置,以进一步计算用户人脸的长、宽比值,脸部器官的位置、尺寸以及脸部器官之间的比例,确定用户的脸型特征以及脸部器官的分布特征;脸部器官包括眉毛、眼睛、鼻、嘴以及耳朵。预设拍照引导技巧保存于存储器中,以便处理模块根据用户的脸型特征和/或脸部器官分布特征,选择恰当的拍照引导技巧,引导用户完成拍照。所述拍照引导技巧包括但不仅限于,根据用户的脸型特征和/或脸部器官分布特征,提供不同的拍照角度、拍照动作、拍照姿势等技巧性建议。在一种实施例中,***可以通过立体空间引导用户转动角度;或者显示透明度为50%-80%的框架给出拍照动作或拍照姿势的轮廓供用户模仿参考。在其他一些等效实施例中,所述拍照引导技巧还可以包括,根据用户的脸型特征和/或脸部器官分布特征,通过显示屏或语音提示设备引导或建议用户借用道具(比如,眼镜、帽子、书、伞等),完成拍照。在另外的等效实施例中,随着用户使用次数的增多,处理器可以不断深度学习优化引导技巧,也可以根据用户当下的发型、着装和拍照时的自然光线强度等实时因素给出最优的建议,以便用户展现出最好的状态。在其他的实施例中,考虑到用户随着时间或者年龄或身体状况的不同引起样貌改变,可以定期或不定期的更新用户的三维人脸图像,或者在每次拍照之前进行精准度确认,当精准度降低到一定程度时,重新采集用户的人脸图像构建三维人脸图像。
可以理解的是,上述***不仅仅适用于单个人的拍照还可以适用于多个人的拍照,当多个人同时使用该***拍合照时,***会根据每个人的情况给出引导技巧,同时为使合照整体最优的原则给出排位次序等引导技巧。拍照包括自拍在内的拍照方式。可以理解的是,用户拍摄的照片也可以存储在存储器中。
需要理解的是,所述拍照引导***实质可以作为一种功能性应用,植根于智能移动终端的操作***中;当然,所述拍照引导***也可以是一个独立的APP应用,并通过相关接口、指令与智能移动终端的拍照***相关联。一种实施方式中,当用户使用智能移动终端设备进行拍照时,用户可以根据自主意愿选择开启或关闭拍照引导功能(***);在其他等效实施方式中,当用户使用智能移动终端相机进行拍照时,操作***也可以自动开启拍照引导功能(***),以便用户能够拍出更漂亮的人物照片。此处的智能移动终端设备包括手机、平板电脑、照相机、摄像机以及其他具有拍照功能的电子设备,此处不一一列举。
图2是根据本发明实施例的一种用户脸型分类图。该实施例中,拍照引导***对用户脸型的分类过程可以理解为:先通过深度相机模块,采集用户的全面的人脸图像,并反馈给处理模块;然后再通过处理模块重构用户的三维人脸图像,以及利用特征点标记用户脸部的多个特征位置(一般地,一个特征位置对应至少一个特征点);再然后通过处理模块计算所述特征点之间的距离及不同特征点之间距离的变化趋势,区分、确定用户的脸型。
具体地,一种实施方式中,拍照引导***先通过深度相机模块的投影模组连续或间歇性向用户所在空间投射红外散斑光束;然后再通过深度相机模块的图像采集装置实时采集投影在用户表面的红外散斑光图案以及RGB图像,反馈给处理模块;根据三角测量算法,处理模块可以由所述红外散斑图案的畸变量(对比标准散斑图案),获得用户人脸的深度信息;基于所述人脸的深度信息以及点云匹配算法,处理模块可以重构用户的三维人脸图像。进一步地,处理模块可以根据人脸器官、组织的独特轮廓形状,通过特征点标记算法标记所述三维人脸图像的任一位置(比如,左/右鬓角位置、左/右颧骨位置、左/右脸颊位置、额头/下巴位置等)作为用户的脸部特征点;基于所述特征点,处理模块可以通过逻辑运算获得任意两个特征点之间的距离,以及计算不同特征点之间距离的比值(比如,左/右鬓角特征点之间的距离与左/右颧骨特征点之间距离的比值),区分、确定用户的脸型。
为了便于理解,图2实施例中,以用户的额头宽度W1、颧骨宽度W2、脸颊宽度W3及额头-下巴长度L之间的大小变化关系或比例关系,区分用户的脸型,具体包括如下五类:
圆形脸201:一般地,当用户额头宽度W1与脸颊宽度W3大小相近,或者颧骨宽度W2与额头-下巴长度L大小相近,或者额头-下巴长度L长度与颧骨宽度W2的比值接近1时,可以认为该用户的脸型为圆形脸。
长形脸202:一般地,当用户额头宽度W1、脸颊宽度W3接近或略小于颧骨宽度W2,并且额头-下巴长度L与颧骨宽度W2之间的比值大于4:3时,可以认为该用户的脸型为长形脸。
椭圆脸203:一般地,当用户额头宽度W1、颧骨宽度W2、脸颊宽度W3之间满足递减关系,并且额头-下巴长度L与颧骨宽度W2满足4:3的比值关系时,可以认为该用户的脸型为椭圆脸。
方形脸204:一般地,当用户额头宽度W1、颧骨宽度W2、脸颊宽度W3之间满足近似关系,并且额头-下巴长度L与颧骨宽度W2的比值接近或等于4:3时,可以认为该用户的脸型为方形脸。
梨形脸205:一般地,当用户额头宽度W1、颧骨宽度W2、脸颊宽度W3之间满足递增关系时,可以认为该用户的脸型为梨形脸。
当然,在其他等效实施方式中,也可以通过图形的相似性,比如用户脸型与圆形、长方形、椭圆形、正方形、正三角形等几何图像的相似度,判断用户的脸型。
需要理解的是,图2实施例的脸型分类仅用于示意说明,不能理解为对本发明内容的限定;在实际情况中,根据用户脸部特征位置尺寸的差异,可以归类出更多或更少的脸型。
如图3所示,本发明提供基于深度相机的拍照引导方法,包括如下步骤:
1.深度相机模块采集用户的人脸图像并反馈给处理模块;
2.所述处理模块接收所述人脸图像,重构用户的三维人脸图像;对特征位置或器官进行特征点标记;
3.所述处理模块计算用户所述特征点之间的距离及所述特征点之间距离的变化趋势;
4.所述处理模块根据所述特征点之间的距离及所述特征点之间距离的变化趋势,区分、确定用户的脸型;
5.所述处理模块基于所述用户的脸型提供拍照引导技巧。
在本发明的一种实施例中,所述人脸图像包括:深度人脸图像、RGB人脸图像、IR人脸图像中的一种或多种组合。
图4是根据本发明实施例的一种基于用户脸型特征的拍照引导方法流程图。该实施例中,拍照引导方法流程图包括:
步骤401,深度相机模块通过显示屏、语音提示设备等元器件,提醒用户从立体空间采集用户的人脸图像,包括深度人脸图像、RGB人脸图像、IR人脸图像,反馈给处理模块;
步骤402,处理模块根据所述深度人脸图像以及三角测量算法,重构用户的三维人脸图像;并根据用户脸部器官、组织的轮廓特征,对特征位置、器官进行特征点标记;所述特征点包括但不仅限于,左/右鬓角(额角)位置、左/右颧骨位置、左/右脸颊位置、额头/下巴位置;
步骤403,处理模块通过相关逻辑运算,计算左/右鬓角(额角)特征点之间的距离确定用户人脸额头宽度W1;以及计算左/右颧骨特征点之间的距离确定用户人脸颧骨宽度W2;以及计算左/右脸颊特征点之间的距离确定用户人脸脸颊宽度W3;以及计算额头/下巴特征点之间的距离确定用户额头-下巴长度L;
步骤404,处理模块根据用户的额头宽度W1、颧骨宽度W2、脸颊宽度W3以及额头-下巴长度L的大小、比值关系,进一步对用户脸型进行归类,确定用户脸型特征;
步骤405,基于用户的脸型特征,处理模块通过相关调用程序,调用预存于存储器中的拍照引导技巧,并通过显示屏或语音提示设备,引导用户完成拍照/自拍。
为了便于理解,一种实施方式中,针对用户的脸型特征,预设的拍照引导技巧具体包括:
圆形脸的拍照引导技巧:建议/提醒用户选择45度角-60度角拍照,优选侧向45度角拍照;在其他等效实施方式中,还可以提醒用户,尤其是女性用户,借用头发或者道具(比如,扇子、书本等)或者手部姿势(比如,剪刀手、握拳等),遮挡部分脸颊,完成拍照。
长形脸的拍照引导技巧:建议/提醒用户头部向下垂(优选角度为10度-20度),同时眼睛往上凝视(优选凝视方向为斜向上30度-45度),选择正面拍照。
椭圆脸的拍照引导技巧:建议/提醒用户放松脸部肌肉、自然正面或侧面45度-60度拍照即可。
方形脸的拍照引导技巧:建议/提醒用户采用3/4侧面或正侧面拍照,在其他实施方式中,还可以利用逆光对用户的人脸进行抓拍。
梨形脸的拍照引导技巧:建议/提醒用户优选45度拍照,在其他等效实施方式中,可以充分利用手部姿势或头发或道具,遮挡较宽的脸颊(优选可以遮挡脸颊的2/3部分),进行拍照。
需要理解的是,在用户利用智能移动终端进行拍照的过程中,拍照引导***需要实时通过深度相机模块获取用户的人脸深度图像,反馈给处理模块;处理模块通过所述深度人脸图像,实时提取用户的人脸朝向信息、眼球注视方向信息等,以进一步计算用户人脸所在平面法向量与智能移动终端的夹角关系或者用户眼球注视方向与智能移动终端的夹角关系;针对用户人脸与智能移动终端夹角或眼球注视方向与智能移动终端的夹角落于建议拍照夹角范围外的情况,处理模块及时通过显示屏或语音提醒设备,提醒用户调整脸部朝向或智能移动终端的拍照角度,以拍出更加漂亮的人物照片。
图5是根据本发明实施例的一种用户人脸器官分布特征示意图。该实施例中,拍照引导***,通过深度相机模块获取用户的人脸图像,反馈给处理模块;处理模块基于三角测量算法、特征提取算法,重构用户的三维人脸图像,以及提取用户脸部器官的特征信息。所述脸部器官的特征信息,包括用户眉毛、眼、耳、鼻、嘴等器官的位置信息、尺寸信息以及比例信息中的一种或多种组合。
为了便于理解,仅以用户人脸眼器官为例进行示意说明。具体地,拍照引导***,通过处理模块计算用户人脸左/右太阳穴特征点之间的距离e1,左/右内眼角特征点之间的距离e2以及左/右外眼角特征点之间的e3,三者的比例关系判断用户眼器官的比例特征。一种实施方式中,当e3与e1的比值小于4/5或者e2与e3的比值大于1/3时,可以认为用户的眼器官偏小;针对用户眼睛偏小的情况,拍照引导***通过相关拍照引导技巧,掩盖用户眼睛偏小的缺陷,拍出更漂亮的人物照片。
类似地,处理模块也可以通过计算、分析用户脸部其他器官的尺寸以及所述器官尺寸占据脸部的比例来衡量用户脸部器官的相对大小。在其他实施方式中,处理模块还可以通过计算、分析用户脸部器官之间的相对位置(比如,眼球到额头的距离与眼球到下巴的距离是否满足黄金分割比3/4),来衡量用户脸部器官的位置信息。
基于用户人脸器官的大小、位置以及比例等分布特征信息,拍照引导***可以针对性的选择预设的拍照引导技巧,引导用户完成拍照,以便拍出更漂亮的人物照片。
如图6所示,本发明还提供一种基于深度相机的拍照引导方法,包括如下步骤:
1.深度相机模块采集用户的人脸图像并反馈给处理模块;
2.所述处理模块接收所述人脸图像,重构用户的三维人脸图像,对特征位置或器官进行特征点标记;
3.所述处理模块提取用户脸部器官的特征信息;
4.所述处理模块根据所述用户脸部器官的特征信息,确定用户人脸器官的分布特征;
5.所述处理模块基于用户人脸器官的分布特征提供拍照引导技巧。
在本发明的一种实施例中,所述人脸图像包括:深度人脸图像、RGB人脸图像、IR人脸图像中的一种或多种组合。
图7是根据本发明实施例的一种基于用户人脸器官分布特征的拍照引导方法流程图。该实施例中,拍照引导方法流程图包括:
步骤701-步骤702,与图3实施例类似,为拍照引导***对用户人脸信息采集及三维人脸图像的重建过程,区别在于,步骤702还包括对用户人脸器官特征信息的标记、提取过程;
步骤703,处理模块通过相关逻辑运算,计算人脸器官的长、宽尺寸信息,位置信息,以及各个器官之间的位置比例信息;
步骤704,处理模块根据用户人脸器官的长、宽尺寸信息,位置信息,以及各个器官之间的位置比例信息,确定用户人脸器官的分布特征;
步骤705,基于用户人脸器官的分布特征,处理模块通过相关调用程序,调用预存于存储器中的拍照引导技巧,并通过显示屏或语音提示设备,引导用户完成拍照/自拍。
为了便于理解,仅以用户眼器官的尺寸为例,预设拍照引导技巧;需要理解的,所述预设拍照引导技巧仅用于示意说明,不能理解为对本发明的限定,在其他实施方式中,可以包括更多或更少的拍照技巧。具体地,分为如下两类:
小眼睛的拍照引导技巧:建议/提醒用户选择45度至60度仰角拍照,优选为45度仰角拍照;此外,建议用户用力睁大眼睛或选择墨镜等道具掩盖眼睛缺陷。
大眼睛的拍照引导技巧:建议/提醒正面拍照或者选择45度俯角拍照,以协调用户五官分布比例。
在其他等效实施方式中,还可以预设其他特别的表情(比如,轻微嘟嘴等表情)、动作(比如,将食指靠近唇边等动作),引导用户拍出更漂亮、更有趣的人物照片。
区别于现有技术,本发明提供的拍照引导***及方法,通过深度相机模块获取用户的人脸图像,以便处理模块重构用户的三维人脸图像信息;进一步地,通过特征标记、提取算法,获取用户的脸型特征或脸部器官分布特征;基于用户的脸型特征或脸部器官分布特征,处理模块选择预设的拍照引导技巧,以引导用户选择更合适的拍照角度、动作、姿势或借用道具,完成拍照。本发明提供的拍照引导***及方法,有利于用户拍出更漂亮的人物照片,丰富智能移动终端的拍照功能,提升智能移动终端的拍照乐趣、拍照体验。现有技术中的拍照引导技巧是在没有全面、精准获取用户人脸头像的基础上,通过对用户人脸的器官或脸型特征加以处理或优化的基础上提供拍照引导技巧,而不是基于用户原本的人脸图像。
上述根据本发明的眼球训练的方法可在硬件、固件中实现,或者被实现为可存储在记录介质(诸如CD ROM、RAM、软盘、硬盘或磁光盘)中的软件或计算机代码,或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码,从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如ASIC或FPGA)的记录介质上的这样的软件处理。可以理解,计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如,RAM、ROM、闪存等),当所述软件或计算机代码被计算机、处理器或硬件访问且执行时,实现在此描述的处理方法。此外,当通用计算机访问用于实现在此示出的处理的代码时,代码的执行将通用计算机转换为用于执行在此示出的处理的专用计算机。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明,不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说,在不脱离本发明构思的前提下,还可以做出若干等同替代或明显变型,而且性能或用途相同,都应当视为属于本发明的保护范围。

Claims (10)

1.基于深度相机的拍照引导***,其特征在于,包括:
深度相机模块,用于采集用户的人脸图像,并将所述人脸图像反馈给处理模块;
处理模块,获取所述人脸图像,重构所述用户的三维人脸图像;处理所述三维人脸图像,获取所述用户的脸型特征和/或脸部器官的分布特征;根据所述脸型特征和/或脸部器官的分布特征从预设拍照引导技巧中选择拍照引导技巧;
存储器,用于存储包括但不限于:所述三维人脸图像、所述用户的脸型特征和/或脸部器官的分布特征、所述预设拍照引导技巧。
2.如权利要求1所述的基于深度相机的拍照引导***,其特征在于,所述处理模块通过特征标记算法标记所述用户的面部器官以及额头、颧骨、脸颊、下巴的特征位置,以进一步计算用户人脸的长、宽比值;脸部器官的位置、尺寸以及比例,确定用户的脸型特征和/或脸部器官的分布特征。
3.如权利要求1所述的基于深度相机的拍照引导***,其特征在于,所述拍照引导技巧包括但不限于根据所述脸型特征和/或脸部器官分布特征,提供拍照角度、拍照动作、拍照姿势。
4.如权利要求1所述的基于深度相机的拍照引导***,其特征在于,所述深度相机模块包括深度相机和RGB相机、RGBD相机、深度相机和IR相机中的一种或多种组合。
5.基于深度相机的拍照引导方法,其特征在于,包括如下步骤:
S1:深度相机模块采集用户的人脸图像并反馈给处理模块;
S2:所述处理模块接收所述人脸图像,重构用户的三维人脸图像;对特征位置或器官进行特征点标记;
S3:所述处理模块计算用户所述特征点之间的距离及所述特征点之间距离的变化趋势;
S4:所述处理模块根据所述特征点之间的距离及所述特征点之间距离的变化趋势,区分、确定用户的脸型;
S5:所述处理模块基于所述用户的脸型提供拍照引导技巧。
6.如权利要求5所述的基于深度相机的拍照引导方法,其特征在于,所述用户的脸型包括但不限于:圆形脸、长形脸、椭圆脸、方形脸和梨形脸。
7.如权利要求5所述的基于深度相机的拍照引导方法,其特征在于,所述特征位置或器官包括但不仅限于:左/右鬓角或额角位置、左/右颧骨位置、左/右脸颊位置、额头/下巴位置;
所述特征点之间的距离包括但不限于:人脸额头宽度、颧骨宽度、脸颊宽度以及额度到下巴长度;
所述特征点之间距离的变化趋势包括但不限于:左/右鬓角特征点之间的距离与左/右颧骨特征点之间距离的比值。
8.基于深度相机的拍照引导方法,其特征在于,包括如下步骤:
T1:深度相机模块采集用户的人脸图像并反馈给处理模块;
T2:所述处理模块接收所述人脸图像,重构用户的三维人脸图像,对特征位置或器官进行特征点标记;
T3:所述处理模块提取用户脸部器官的特征信息;
T4:所述处理模块根据所述用户脸部器官的特征信息,确定用户人脸器官的分布特征;
T5:所述处理模块基于用户人脸器官的分布特征提供拍照引导技巧。
9.如权利要求8所述的基于深度相机的拍照引导方法,其特征在于,所述标记特征位置包括但不限于:左/右太阳穴特征点之间的距离,左/右内眼角特征点之间的距离以及左/右外眼角特征点之间的距离;
所述脸部器官的特征信息包括但不限于:用户眉毛、眼、耳、鼻、嘴器官的位置信息、尺寸信息以及比例信息中的一种或多种组合。
10.如权利要求5-9任一所述的基于深度相机的拍照引导方法,其特征在于,所述人脸图像包括:深度人脸图像、RGB人脸图像、IR人脸图像中的一种或多种组合。
CN201810543016.5A 2018-05-30 2018-05-30 基于深度相机的拍照引导***及方法 Pending CN108833772A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810543016.5A CN108833772A (zh) 2018-05-30 2018-05-30 基于深度相机的拍照引导***及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810543016.5A CN108833772A (zh) 2018-05-30 2018-05-30 基于深度相机的拍照引导***及方法

Publications (1)

Publication Number Publication Date
CN108833772A true CN108833772A (zh) 2018-11-16

Family

ID=64147052

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810543016.5A Pending CN108833772A (zh) 2018-05-30 2018-05-30 基于深度相机的拍照引导***及方法

Country Status (1)

Country Link
CN (1) CN108833772A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111127848A (zh) * 2019-12-27 2020-05-08 深圳奥比中光科技有限公司 一种人体坐姿检测***及方法
CN111182203A (zh) * 2019-11-19 2020-05-19 广东小天才科技有限公司 一种引导用户拍照的方法及智能音箱
CN114697516A (zh) * 2020-12-25 2022-07-01 花瓣云科技有限公司 三维模型重建方法、设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103369214A (zh) * 2012-03-30 2013-10-23 华晶科技股份有限公司 图像获取方法与图像获取装置
CN106021550A (zh) * 2016-05-27 2016-10-12 湖南拓视觉信息技术有限公司 一种发型设计方法和***
CN106909875A (zh) * 2016-09-12 2017-06-30 湖南拓视觉信息技术有限公司 人脸脸型分类方法和***
CN108055461A (zh) * 2017-12-21 2018-05-18 广东欧珀移动通信有限公司 自拍角度的推荐方法、装置、终端设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103369214A (zh) * 2012-03-30 2013-10-23 华晶科技股份有限公司 图像获取方法与图像获取装置
CN106021550A (zh) * 2016-05-27 2016-10-12 湖南拓视觉信息技术有限公司 一种发型设计方法和***
CN106909875A (zh) * 2016-09-12 2017-06-30 湖南拓视觉信息技术有限公司 人脸脸型分类方法和***
CN108055461A (zh) * 2017-12-21 2018-05-18 广东欧珀移动通信有限公司 自拍角度的推荐方法、装置、终端设备及存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111182203A (zh) * 2019-11-19 2020-05-19 广东小天才科技有限公司 一种引导用户拍照的方法及智能音箱
CN111127848A (zh) * 2019-12-27 2020-05-08 深圳奥比中光科技有限公司 一种人体坐姿检测***及方法
CN114697516A (zh) * 2020-12-25 2022-07-01 花瓣云科技有限公司 三维模型重建方法、设备和存储介质
CN114697516B (zh) * 2020-12-25 2023-11-10 花瓣云科技有限公司 三维模型重建方法、设备和存储介质

Similar Documents

Publication Publication Date Title
CN106056064B (zh) 一种人脸识别方法及人脸识别装置
CN101779218B (zh) 化妆模拟***及其化妆模拟方法
US7764828B2 (en) Method, apparatus, and computer program for processing image
JP3984191B2 (ja) 仮想化粧装置及びその方法
KR101259662B1 (ko) 얼굴 분류 방법, 얼굴 분류 장치, 분류맵, 얼굴 분류프로그램, 및 상기 프로그램이 기록된 기록매체
CN106327482B (zh) 一种基于大数据的面部表情的重建方法及装置
JP5261586B2 (ja) メイクアップシミュレーションシステム、メイクアップシミュレーション装置、メイクアップシミュレーション方法およびメイクアップシミュレーションプログラム
CN110390632B (zh) 基于妆容模板的图像处理方法、装置、存储介质及终端
JP4435809B2 (ja) 仮想化粧装置及びその方法
JP5949331B2 (ja) 画像生成装置、画像生成方法及びプログラム
JPH10255066A (ja) 顔画像の修正方法、化粧シミュレーション方法、化粧方法、化粧サポート装置及びファンデーション転写膜
JP2005038375A (ja) 目の形態分類方法及び形態分類マップ並びに目の化粧方法
CN103945104B (zh) 信息处理方法及电子设备
TW202129524A (zh) 妝容處理方法、裝置、電子設備及儲存媒體
CN108093174A (zh) 拍照设备的构图方法、装置和拍照设备
CN108833772A (zh) 基于深度相机的拍照引导***及方法
CN110866139A (zh) 一种化妆处理方法、装置及设备
KR101948040B1 (ko) 얼굴형 구분에 따른 메이크업 추천 방법, 이를 구현하기 위한 프로그램이 저장된 기록매체 및 이를 구현하기 위해 매체에 저장된 컴퓨터프로그램
CN108810406A (zh) 人像光效处理方法、装置、终端及计算机可读存储介质
JP2013200735A (ja) 画像生成装置、画像生成方法及びプログラム
CN111008971A (zh) 一种合影图像的美学质量评价方法及实时拍摄指导***
CN107835373A (zh) 一种移动终端及其拍照美化方法和***
CN108197549A (zh) 基于3d成像的人脸识别方法及终端
KR20230110787A (ko) 개인화된 3d 머리 및 얼굴 모델들을 형성하기 위한 방법들 및 시스템들
TWI471807B (zh) Face classification method, face classification device, classification chart, face classification program and recorded the program of the recording media

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 11-13 / F, joint headquarters building, high tech Zone, 63 Xuefu Road, Yuehai street, Nanshan District, Shenzhen, Guangdong 518000

Applicant after: Obi Zhongguang Technology Group Co., Ltd

Address before: 12 / F, joint headquarters building, high tech Zone, 63 Xuefu Road, Nanshan District, Shenzhen, Guangdong 518000

Applicant before: SHENZHEN ORBBEC Co.,Ltd.

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181116