CN108804975A - 唇彩指引装置及方法 - Google Patents

唇彩指引装置及方法 Download PDF

Info

Publication number
CN108804975A
CN108804975A CN201710289141.3A CN201710289141A CN108804975A CN 108804975 A CN108804975 A CN 108804975A CN 201710289141 A CN201710289141 A CN 201710289141A CN 108804975 A CN108804975 A CN 108804975A
Authority
CN
China
Prior art keywords
lip
level
gloss
peak
upper lip
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710289141.3A
Other languages
English (en)
Inventor
沈轼荣
季敏昶
蔡承轩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cal Comp Big Data Inc
Original Assignee
Cal Comp Big Data Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cal Comp Big Data Inc filed Critical Cal Comp Big Data Inc
Priority to CN201710289141.3A priority Critical patent/CN108804975A/zh
Priority to US15/623,394 priority patent/US10783802B2/en
Priority to KR1020170092862A priority patent/KR20180120549A/ko
Priority to EP17183023.5A priority patent/EP3396585A1/en
Priority to JP2017166496A priority patent/JP6731896B2/ja
Publication of CN108804975A publication Critical patent/CN108804975A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D34/00—Containers or accessories specially adapted for handling liquid toiletry or cosmetic substances, e.g. perfumes
    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D40/00—Casings or accessories specially adapted for storing or handling solid or pasty toiletry or cosmetic substances, e.g. shaving soaps or lipsticks
    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D44/00—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
    • A45D44/005—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms for selecting or displaying personal cosmetic colours or hairstyle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/40—Filling a planar surface by adding surface attributes, e.g. colour or texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D34/00—Containers or accessories specially adapted for handling liquid toiletry or cosmetic substances, e.g. perfumes
    • A45D2034/002—Accessories
    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D40/00—Casings or accessories specially adapted for storing or handling solid or pasty toiletry or cosmetic substances, e.g. shaving soaps or lipsticks
    • A45D2040/0006—Accessories
    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D44/00—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
    • A45D2044/007—Devices for determining the condition of hair or skin or for selecting the appropriate cosmetic or hair treatment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供了一种唇彩指引装置，以导引使用者画上唇彩。此唇彩指引装置包括图像获取单元、处理单元以及显示单元。图像获取单元用以获取使用者脸部图像，且脸部图像至少包括使用者的唇部。处理单元用以接收脸部图像，并依据脸部图像获取多个唇部特征点。处理单元依据唇部特征点以及针对上唇唇峰的预设角度进行运算以获得上唇彩指引区块。显示单元显示使用者脸部图像及上唇彩指引区块，并导引使用者对上唇彩指引区块进行化妆。本发明还提供了适用于此唇彩指引装置的唇彩指引方法。

Description

唇彩指引装置及方法
技术领域
本发明涉及一种脸部特征识别技术，且特别涉及一种基于唇形识别的唇彩指引装置与其方法。
背景技术
爱美是女人的天性，许多女性会通过化妆的方式增添脸部的特色。然而，化妆的技巧并非与生俱来的，化妆者可以经过多次教导，并进行多次练习后以提升化妆的效果。
若想要学习化妆，学习者目前可从网络上获得图像来学习。然而，通过图像来学习的化妆方法仍然在实作时会发生偏差。因此，如何通过现代化设备来学习化妆，便是厂商想要实现的技术问题。
发明内容
本发明提供一种唇彩指引装置及唇彩指引方法，以根据使用者的脸部图像计算并显示出上唇彩指引区块，使得使用者可以依唇彩指引装置提供的提示来上妆，以提供便利地互动化妆教学。
本发明的唇彩指引装置，包括图像获取单元、处理单元以及显示单元。图像获取单元获取使用者脸部图像，且脸部图像至少包括使用者的唇部。处理单元用以接收脸部图像，并依据脸部图像获取多个唇部特征点。处理单元也依据唇部特征点以及针对上唇唇峰的预设角度进行运算以获得上唇彩指引区块。显示单元显示脸部图像及上唇彩指引区块，以导引使用者对上唇彩指引区块进行化妆。
本发明的唇彩指引方法，包括获取使用者脸部图像，接收脸部图像，依据脸部图像获取多个唇部特征点，并依据唇部特征点以及针对上唇唇峰的预设角度进行运算，以获得上唇彩指引区块，以及显示脸部图像及与其对应的上唇彩指引区块，以导引使用者对上唇彩指引区块进行化妆。其中，脸部图像至少包括使用者的唇部。
基于上述，本发明所提供的唇彩指引装置及唇彩指引方法可以依据使用者的脸部图像计算并显示出上唇彩指引区块，以让使用者能够知晓在自己的唇部画唇彩的区域，使得使用者在化妆时能够明确地知悉如何通过不同的上妆部位获得不同的唇形。藉此，即使使用者不谙化妆，也可以依照唇彩指引装置提供的提示来上妆，以提供便利地互动化妆教学。
为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合所附附图作详细说明如下。
附图说明
图1示出本发明实施例的唇彩指引装置的显示界面示意图。
图2示出本发明实施例的唇彩指引装置的***方块图。
图3示出本发明实施例的上唇彩指引区块的示意图。
图4示出本发明实施例的第二上唇彩指引区块的示意图。
图5示出本发明实施例的上唇彩指引方法的流程图。
图6示出本发明实施例所述获得上唇彩指引区块的局部流程图。
附图标记说明
100：唇彩指引装置
110：图像获取单元
120：显示单元
130：处理单元
S510～S540：执行唇彩指引方法的步骤
S610～S616：获得上唇彩指引区块的步骤
A1～A2：上唇彩指引区块
CP：第一交点
h：垂直间距
L1：第一水平线
L2：第二直线
L3：第三垂线
LP9：第一唇部特征点
LP0、LP1:唇角端点
LP2、LP3:上唇唇峰
LP4:上唇唇谷
LP5:下唇唇峰
w1、w2：水平间距
θ：夹角
具体实施方式
图1示出本发明实施例的唇彩指引装置的显示界面示意图，图2示出本发明实施例的唇彩指引装置的***方块图。请同时参考图1及图2，在本范例实施例中，唇彩指引装置100具有图像获取单元110、多媒体显示单元120以及处理单元130。
图像获取单元110是用以获取使用者的图像，特别是使用者的唇部图像。图像获取单元110例如为内嵌式的摄影机、相机，或者是以外接方式连接的手机、相机等，本发明不以此为限。
显示单元120可即时地显示多媒体信息以及使用者的脸部图像，例如，在显示单元120中显示使用者的唇部图像以及提供使用者多种唇形及唇彩的选项，以供使用者选取。在本范例实施例中，显示单元120可以为设置在具有高反射率的材质(如，镜子)后方，并结合有机发光二极管(Organic Light-Emitting Diode，OLED)所制成的显示器。如此一来，使用者可通过镜子来看到自己脸部，显示单元120也可显示相关信息在镜子上以供使用者参阅及触控选取，本发明并不以此为限。本发明实施例的唇彩指引装置100可以是设置在化妆台上的设备，唇彩指引装置100的屏幕140可以设置在镜子后方，其显示的文字或图像可以穿透镜子而让使用者观看。在其他实施例中，此唇彩指引装置100也可以是智能手机、平板电脑等消费型电子产品，或是与可携式镜子结合而成的携带型镜盒。
处理单元130是根据图像获取单元110所获取的使用者图像进行计算，以获取与使用者唇部轮廓相关的多个使用者的唇部特征点。举例来说，在本范例实施例的一实际情形中，处理单元130可以为中央处理器(central processing unit，CPU)、微处理器(Microprocessor)、特殊应用集成电路(Application Specific Integrated Circuits，ASIC)、可程序化逻辑装置(Programmable Logic Device，PLD)或其它类似装置。处理单元130用以运行提供上唇彩指引区块的必要的各种软件程序和/或指令集。在本范例实施例中，处理单元130是运行套用Dlib数据库的脸部检测***(Dlib Face Landmark)，以检测并分析使用者脸部的194个脸部特征点。在其他的情形中，也可以仅分析使用者脸部119个脸部特征点，或者使用其他检测脸部特征点的算法来获取使用者的脸部特征点。
在本实施例中，当使用者面对镜子并化妆时，在显示单元120中即会显示使用者的脸部及唇部图像，并且即时的分析脸部特征点。为了提供便利地互动化妆指引装置，在本发明中，还基于使用者的唇部位置而在显示单元120中显示上唇彩指引区块，以提示使用者示出唇彩的位置与方式。藉此，使用者可以经由显示单元120所显示的上唇彩指引区块的导引，而在使用者自身脸上嘴唇的位置画上唇彩。并且，在本实施例中，显示单元120特别针对使用者上唇唇峰以及上唇的宽度比例调整唇部特征点，以指引使用者在不同曲线上画上唇彩，以呈现不同的唇形。上唇彩指引区块的显示方式为显示在上唇周围的框线。然而，上唇彩指引区块的显示方式并不以本发明为限，在其他的实施例中，上唇彩指引区块的显示方式可以直接以使用者的上唇为基准，调整上唇的显示区块，并以调整后的使用者的唇部显示区块作为唇彩指引区块。
请参考图3，图3示出了本发明实施例的上唇彩指引区块的示意图。在图像获取单元110获取使用者脸部图像后，处理单元130会依据此使用者脸部图像，以获取使用者的多个唇部特征点。处理单元130所获取的使用者的唇部特征点至少包括唇角端点LP0、LP1、上唇唇峰LP2、LP3、上唇唇谷LP4以及下唇唇峰LP5。
处理单元130所获取的使用者唇部特征点并不限于此，在其他的实施例中，处理单元130所获取的脸部特征点可以多达118、194个点等不同的实施态样。其中，唇部特征点可以例如为43个特征点。举例来说，在119点的实施例中，处理单元会将每一个脸部的特征点都进行标号，例如，处理单元130将所有脸部特征点编成0～118号，其中，唇部特征点为58～100号。并且，嘴唇左右两侧的端点LP0、LP1分别为第58及100号，上唇唇峰LP2、LP3分别为第63及66号，上唇唇谷LP4为第64号，下唇唇峰LP5为第78号。然而，本发明并不限于此。
在获取了唇部特征点之后，处理单元130会根据唇部特征点的位置、使用者欲选择的唇形调整使用者的上唇唇峰LP2、LP3与上唇唇谷LP4的位置，并以调整后的唇部特征点所形成的区块座为上唇彩指引区块A1，以显示不同唇形。
具体来说，使用者选择的不同唇形会对应至不同的上唇唇峰预设角度，以使唇形具有不同的曲线。此外，使用者选择的不同唇形也会对应至不同的上唇宽度比例。因此，在使用者选择不同唇形时，处理单元130会计算使用者上唇唇峰的角度以及上唇宽度比例，并调整唇部特征点，以获得上唇彩指引区块A1。以下将详细说明处理单元130计算使用者上唇唇峰的角度以及上唇宽度比例的方法。
以唇部右侧为例，第一水平线L1为水平通过上唇唇谷LP4的直线，即，在坐标平面中与y轴方向相同的直线。第一水平线L1并通过位于唇部轮廓上的第一唇部特征点LP9。第二直线L2为穿过右上唇唇峰LP3与上唇唇谷LP4的直线。也就是说，第一水平线L1与第二直线L2都会穿过上唇唇谷LP4并在上唇唇谷LP4的地方产生交点。此外，第三垂线L3为穿过右上唇唇峰LP3并垂直于第一水平线L1的直线，且第三垂线L3会与第一水平线L1会产生第一交点CP。在本实施例中所欲计算的上唇唇峰的角度即为第一水平线L1与第二直线L2的夹角θ，并且，处理单元130会调整唇部特征点，以使夹角θ符合针对上唇唇峰所设定的预设角度。
须先说明的是，在本实施例所述的第一水平线L1、第二直线L2以及第三垂直线L3仅为辅助说明使用。在实际的范例中，处理单元130并不一定需要实际示出或者计算出实际的线条。处理单元130可以仅根据唇部特征点的坐标，达到本案所述的计算。举例来说，在获取交点CP时，可以仅依据右上唇唇峰LP3在平面坐标上的x坐标以及上唇唇谷LP4在平面坐标上的y坐标获得第一水平线L1与第三垂直线L3的交点CP，并据此执行下述的运算。以坐标点获取交点CP方式，本领域技术人员可根据坐标平面与三角函数的通常知识进而推知，此处即不赘述。
在处理单元130依据使用者唇部特征点以及针对上唇唇峰的预设角度进行运算，以获得上彩妆指引区块的过程中，首先，处理单元130会判断夹角θ是否符合对应上唇唇峰的预设角度。举例来说，处理单元130会计算上唇唇谷LP4至第一交点CP的第一水平间距w1，以及右上唇唇峰LP3至交点的垂直间距h。依据tanθ的定义，夹角θ、第一水平间距w1以及垂直间距h可以表示为下述公式：
由于第一水平间距w1与垂直间距h都是已计算出的数据，因此，处理单元130可以据此推知夹角θ的实际角度。接着，处理单元130会判断夹角θ是否符合对应上唇唇峰的预设角度。在本实施例中，若夹角θ不符合对应上唇唇峰的预设角度，则处理单元130会调整右上唇唇峰LP3以及右上唇唇峰LP3与右唇唇角LP1之间的唇部特征点在垂直方向的位置，以获取上唇彩指引区块A1。
详细地说，依据tanθ的定义，夹角θ、第一水平间距w1以及垂直间距h可以调整如下：
H＝tanθ×w1 (2)
基此，处理单元130可以以第一水平间距w1为基准，计算出在预设角度下的垂直间距H大小。并且，处理单元130进一步依据计算出的垂直间距H调整右上唇唇峰LP3的垂直位置，使得垂直间距h与计算出的在预设角度下的垂直间距H相同，而使夹角θ的角度符合预设角度。
举例来说，当夹角θ大于预设角度时，处理单元130会根据计算式(2)计算垂直间距H。此时，根据计算式(2)计算出的垂直间距H会小于实际的垂直间距h。因此，处理单元130会向下调整右上唇唇峰LP3的垂直位置(即y轴方向的位置)，使得垂直间距h变小。基此，夹角θ的角度变小，符合预设角度。反之，若夹角θ小于预设角度时，处理单元130会使右上唇唇峰LP3的垂直位置向上移动，使得垂直间距h变大。基此，夹角θ变大，符合预设角度。在调整垂直间距h后，处理单元130也会对应的调整上唇唇谷LP4与右唇唇角LP1间的唇部特征点，以获取上唇彩指引区块A1。
值得一提的是，本实施例的预设角度为10度，因为此预设角度为目前医学美容界当中认知上的最佳上唇唇峰角度。本发明不限于此，此预设角度会依据使用者所选择的唇形对应的改变。使用者也可以根据自身的与需求与妆容的选择以调整此预设角度。
在另一实施例中，当夹角θ大于预设角度时，处理单元130也可以以右上唇唇峰LP3的位置为基准，向上调整上唇唇谷LP4的位置，以使夹角θ变小。或者是当夹角θ小于预设角度时，处理单元130以右上唇垂峰LP3的位置为基准，向下调整上唇唇谷LP4的位置，使得夹角θ变小。
需说明的是，在调整右上唇唇峰LP3的过程中，会造成上唇厚度高度的改变。因此，处理单元130也可以适当的依据调整后的右上唇唇峰LP3与上唇唇谷LP4的位置，以相同比例同时向上或向下平移右上唇唇峰LP3与上唇唇谷LP4的位置。然而，本发明并不以此为限。
在其他实施例中，处理单元130若判断第一水平线L1与第二直线L2之间的夹角θ不符合预设角度，则处理单元130也可以调整右上唇唇峰LP3在水平方向的位置。
详细地说，依据tanθ的定义，夹角θ、第一水平间距w1以及垂直间距h也可以调整如下：
基此，处理单元130可以以垂直间距h为基准，计算出在预设角度下的第一水平间距W1大小，并且依据计算出的第一水平间距W1调整右上唇唇峰LP3的水平位置，以使夹角θ的角度符合预设角度。
举例来说，当夹角θ大于预设角度时，处理单元130会根据计算式(3)计算第一水平间距W1。此时，根据计算式(3)计算出的第一水平间距W1会大于实际的第一水平间距w1。因此，处理单元130会向右调整右上唇唇峰LP3的水平位置，即x轴方向的位置，使得第一水平间距w1变大。基此，夹角θ的角度变小，符合预设角度。反之，若夹角θ小于预设角度时，处理单元130会使右上唇唇峰LP3的水平位置向左移动，使得第一水平间距w1变小。基此，夹角θ的角度变大，符合预设角度。
除了调整上唇唇峰LP2、LP3的位置，以使角度θ符合预设角度外，在本实施例中，处理单元130会计算使用者上唇宽度比例并据此调整上唇唇峰LP2、LP3及唇角LP0、LP1的相对位置，以获得上唇彩指引区块A1。
具体来说，处理单元130会进一步判断第一水平间距w1及第二水平间距w2的比例是否符合宽度预设比例。举例来说，本实施例的宽度预设比例是第一水平间距w1与第二水平间距w2的比例为1:1，在其他实施例中，使用者也可以依据需求调整宽度预设比例。
若第一水平间距w1与第二水平间距w2的比例不符合1:1，则处理单元130会选择性的调整右上唇唇峰LP3、上唇唇谷LP4以及右上唇唇角LP2的水平位置(即：x坐标)，使得第一水平间距w1与第二水平间距w2的比例改变为1:1，以符合宽度预设比例。举例来说，当第一水平间距w1与第二水平间距w2的比例为1:2，处理单元130会向左调整右上唇唇峰LP3水平位置，以使第一水平间距w1与第二水平间距w2的比例符合1:1。反之，当第一水平间距w1与第二水平间距w2的比例为2:1，处理单元130会向右调整右上唇唇峰LP3水平位置，以使第一水平间距w1与第二水平间距w2的比例符合1:1。
值得一提的是，由于依据第一水平间距w1、第二水平间距w2及垂直间距h调整唇部特征点，以获取符合预设角度及宽度预设比例的上唇彩指引区块A1的过程中，夹角θ可能会在此过程中随之改变。因此，处理单元130会重复的执行上述依据水平间距w、垂直间距h以及宽度预设比例调整唇部特征点的方式，以获取符合预设角度及宽度预设比例的上唇彩指引区块A1。
在计算并获取符合预设角度及宽度预设比例的上唇彩指引区块A1后，处理单元130会指示显示单元130以显示上唇彩指引区块A1以及使用者图像在显示单元130中。
值得一提的是，在本发明的其他实施例中，处理单元130并可进一步计算使用者上唇与下唇的高度比例，并据此调整唇部的特征点。然本发明并不限制其计算并调整上唇与下唇高度比例的具体方法。
此外，请参考图4，图4示出本发明一实施例的第二上唇彩指引区块的示意图。在本发明的一实施例中，当上唇彩指引区块A1小于使用者实际的唇部区块时，处理单元130更进一步指示显示区块120显示位于使用者唇部区块与上唇彩指引区块A1之间的第二上唇彩指引区块A2。藉此，使用者可以在自己的唇部中，对应第二上唇彩指引区块A2的位置画上修饰的唇彩或遮瑕膏，以使使用者能够更精准的示出出想画的唇型。
请接着参考图5，图5示出了本发明一范例实施例的唇彩指引方法的流程图。请同时参考图2及图5，当使用者欲通过唇彩指引装置100提供画唇彩的指引时，首先，在步骤S510中，图像获取单元110会先获取使用者脸部图像，并将获取的脸部图像传送至处理单元130。此脸部图像中包括使用者的唇部图像。接着，在步骤S520中，处理单元130会计算被获取的脸部图像，以获取多个唇部特征点。并且，在步骤S530中，处理单元130会依据唇部特征点以及针对上唇唇峰的预设比例进行运算，以获得上唇彩指引区块。最后，处理单元130会将图像获取单元110获取的脸部图像以及处理单元130计算出的上唇彩指引区块A1传送至显示单元120，并且在步骤S540中，处理单元130会指示显示单元120显示使用者脸部图像以及上唇彩指引区块A1。
值得一提的是，在本范例实施例中，由于执行唇彩指引方法是以即时的方式获取脸部图像并计算上唇彩指引区块A1，因此，步骤S510至步骤S540会不断的重复执行，直至使用者停止操作为止。
此外，本范例实施例的唇彩指引方法可以依据使用者选取的选项而调整上唇彩指引区块的样式，例如：根据使用者所选择不同的上唇曲线，因而调整预设角度以及宽度预设比例。此外，使用者也可以在显示单元120中点选唇彩的颜色、质地，并在显示单元120中预览。在其他的范例实施例中，处理单元130并可依据使用者选择的颜色、质地微调上唇彩指引区块，并在显示单元120中显示。
图6示出获得上唇彩指引区块的细部流程图。请同时参考图3及图6，以右唇为例，在此实施例中，在执行步骤S530处理单元130依据使用者唇部特征点以及针对上唇唇峰的预设角度进行运算，以获得上唇彩指引区块A1时，首先会先执行步骤S610，处理单元130判断第一水平线与第二直线的夹角θ是否符合预设角度。其中，如何计算夹角θ，并判断夹角θ是否符合预设角度的详细的计算方法已在图3中所发明，此处即不再赘述。
接着，在步骤S612，当夹角θ不符合预设角度时，处理单元130会调整垂直间距h，以使夹角θ符合预设角度。例如：处理单元130可以可以选择以上唇唇谷LP4或上唇唇峰LP3为基准，调整垂直间距h。详细的调整方式已在图3中所发明，此处即不再赘述。
在步骤S612调整夹角θ后，或者是在步骤S610中，处理单元130判断夹角θ符合预设角度，不需调整夹角θ，此时，处理单元130执行步骤S614，判断第一水平间距w1与第二水平间距w2的比例是否符合宽度预设比例。若第一水平间距w1与第二水平间距w2的比例不符合宽度预设比例，则在步骤S616中，处理单元130会调整上唇唇峰LP3的水平位置，以使第一水平间距w1与第二水平间距w2的比例符合宽度预设比例。详细的调整方式已在图3中所发明，此处即不再赘述。
在执行完步骤S616，调整上唇唇峰LP3的水平位置，以使第一水平间距w1与第二水平间距w2的比例之后，或者是在步骤S614中，处理单元130判断第一水平间距w1与第二水平间距w2符合宽度预设比例，不需调整第一水平间距w1与第二水平间距w2，此时，执行步骤S540，处理单元130会指示显示单元120显示脸部图像以及上唇彩指引区块A1。
由于依据第一水平间距w1、第二水平间距w2及垂直间距h调整唇部特征点，以上唇彩指引区块A1的过程中，夹角θ会在这个过程中随之改变。因此，上述步骤S610至S616会重复的执行，以获取符合预设角度及宽度预设比例的上唇彩指引区块A1。
通过图5及图6的流程，处理单元130可以计算出上唇彩指引区块A1。因此，使用者即可在显示单元120中看到被计算出的上唇彩指引区块A1，并在自己的脸上对应此上唇彩指引区块A1的区块画上唇彩。
综上所述，本发明所提供的唇彩指引装置及唇彩指引方法可以依据使用者的脸部图像计算并显示出上唇彩指引区块，以让使用者能够知晓在自己的唇部画唇彩的区域，使得使用者在化妆时能够明确地知悉如何通过不同的上妆部位获得不同的唇形。藉此，即使使用者不谙化妆，也可以依照唇彩指引装置提供的提示来上妆，以提供便利地互动化妆教学。
虽然本发明已以实施例发明如上，然其并非用以限定本发明，任何所属技术领域中技术人员，在不脱离本发明的精神和范围内，当可作些许的更动与润饰，故本发明的保护范围当视后附的权利要求为准。

Claims (10)

1.一种唇彩指引装置，其特征在于，包括：
图像获取单元，所述图像获取单元获取使用者脸部图像，所述脸部图像至少包括使用者的唇部；
处理单元，用以接收所述脸部图像，依据所述脸部图像获取多个唇部特征点，依据所述唇部特征点以及针对上唇唇峰的预设角度进行运算，以获得上唇彩指引区块；以及
显示单元，显示所述脸部图像及与其对应的所述上唇彩指引区块，以导引使用者对所述上唇彩指引区块进行化妆。
2.根据权利要求1所述的唇彩指引装置，其中所述唇部特征点至少包括唇角端点、所述上唇唇峰、上唇唇谷以及下唇唇峰，且水平通过所述上唇唇谷的直线为第一水平线，通过所述上唇唇峰与所述上唇唇谷的直线为第二直线，
其中，所述处理单元依据所述唇部特征点以及针对所述上唇唇峰的所述预设角度进行运算以获得所述上唇彩指引区块，包括：
所述处理单元计算所述第一水平线与所述第二直线的夹角，以及
所述处理单元判断所述夹角是否符合所述预设角度，
当所述夹角不符合所述预设角度时，所述处理单元调整所述唇部特征点的垂直位置，以使所述夹角符合所述预设角度，以获得所述上唇彩指引区块。
3.根据权利要求2所述的唇彩指引装置，其中垂直通过所述上唇唇峰的直线为第三垂线，第一水平线与第三垂线形成第一交点，
其中所述处理单元计算所述第一水平线与所述第二直线的夹角，是依据所述上唇唇峰与所述第一交点间的垂直间距以及所述上唇唇谷与所述第一交点间的第一水平间距计算所述夹角。
4.根据权利要求1所述的唇彩指引装置，其中所述预设角度为10度。
5.根据权利要求1所述的唇彩指引装置，其中所述唇部特征点至少包括唇角端点、所述上唇唇峰、上唇唇谷以及下唇唇峰，
其中，水平通过所述上唇唇谷的直线为第一水平线，垂直通过所述上唇唇峰的直线为第三垂线，且第一水平线与所述唇部的轮廓相交于第一唇部特征点，第一水平线与第三垂线形成第一交点，
其中，所述处理单元依据所述唇部特征点以及针对所述上唇唇峰的所述预设角度进行运算以获得所述上唇彩指引区块，包括：
所述处理单元计算第一水平间距与第二水平间距，其中，所述第一水平间距是所述上唇唇谷与所述交点的距离，所述第二水平间距是所述第一交点与所述第一唇部特征点的距离；
所述处理单元判断所述第一水平间距与第二水平间距的比例是否符合宽度预设比例，
当所述第一水平间距与第二水平间距的比例不符合所述宽度预设比例时，所述处理单元调整所述上唇唇峰的水平距离，以使所述第一水平间距与第二水平间距的比例符合所述宽度预设比例，以获得所述上唇彩指引区块。
6.根据权利要求5所述的唇彩指引装置，其中所述宽度预设比例为第一水平间距与第二水平间距的比例为1:1。
7.一种唇彩指引方法，其特征在于，包括：
获取使用者脸部图像，所述脸部图像至少包括使用者的唇部；
接收所述脸部图像，依据所述脸部图像获取多个唇部特征点，并依据所述唇部特征点以及针对上唇唇峰的预设角度进行运算以获得上唇彩指引区块；以及
显示所述脸部图像及与其对应地所述上唇彩指引区块，并导引使用者对所述上唇彩指引区块进行化妆。
8.根据权利要求7所述的唇彩指引方法，其中所述唇部特征点至少包括唇角端点、所述上唇唇峰、上唇唇谷以及下唇唇峰，且水平通过所述上唇唇谷的直线为第一水平线，通过所述上唇唇峰与所述上唇唇谷的直线为第二直线，所述依据所述唇部特征点以及针对上唇唇峰的预设角度进行运算以获得上唇彩指引区块的步骤包括：
计算所述第一水平线与所述第二直线的夹角，以及
判断所述夹角是否符合所述预设角度，
当所述夹角不符合所述预设角度时，调整所述唇部特征点的垂直位置，以使所述夹角符合所述预设角度，以获得所述上唇彩指引区块。
9.根据权利要求8所述的唇彩指引方法，其中垂直通过所述上唇唇峰的直线为第三垂线，第一水平线与第三垂线形成第一交点，所述判断所述夹角是否符合所述预设角度包括：
依据所述上唇唇峰与所述第一交点间的垂直间距以及所述上唇唇谷与所述第一交点间的第一水平间距计算所述夹角。
10.根据权利要求7所述的唇彩指引方法，其中所述唇部特征点至少包括唇角端点、所述上唇唇峰、上唇唇谷以及下唇唇峰，其中，水平通过所述上唇唇谷的直线为第一水平线，垂直通过所述上唇唇峰的直线为第三垂线，且第一水平线与所述唇部的轮廓相交于第一唇部特征点，第一水平线与第三垂线形成第一交点，所述依据所述唇部特征点以及针对所述上唇唇峰的所述预设角度进行运算以获得所述上唇彩指引区块包括：
计算第一水平间距与第二水平间距，其中，所述第一水平间距是所述上唇唇谷与所述交点的距离，所述第二水平间距是所述第一交点与所述第一唇部特征点的距离；
判断所述第一水平间距与第二水平间距的比例是否符合宽度预设比例，
当所述第一水平间距与第二水平间距的比例不符合所述宽度预设比例时，调整所述上唇唇峰的水平距离，以使所述第一水平间距与第二水平间距的比例符合所述宽度预设比例，以获得所述上唇彩指引区块。
CN201710289141.3A 2017-04-27 2017-04-27 唇彩指引装置及方法 Pending CN108804975A (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201710289141.3A CN108804975A (zh) 2017-04-27 2017-04-27 唇彩指引装置及方法
US15/623,394 US10783802B2 (en) 2017-04-27 2017-06-15 Lip gloss guide device and method thereof
KR1020170092862A KR20180120549A (ko) 2017-04-27 2017-07-21 립 글로스 가이드 장치 및 그 방법
EP17183023.5A EP3396585A1 (en) 2017-04-27 2017-07-25 Lip gloss guide device and method thereof
JP2017166496A JP6731896B2 (ja) 2017-04-27 2017-08-31 リップ・グロス案内装置及びその方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710289141.3A CN108804975A (zh) 2017-04-27 2017-04-27 唇彩指引装置及方法

Publications (1)

Publication Number Publication Date
CN108804975A true CN108804975A (zh) 2018-11-13

Family

ID=59676946

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710289141.3A Pending CN108804975A (zh) 2017-04-27 2017-04-27 唇彩指引装置及方法

Country Status (5)

Country Link
US (1) US10783802B2 (zh)
EP (1) EP3396585A1 (zh)
JP (1) JP6731896B2 (zh)
KR (1) KR20180120549A (zh)
CN (1) CN108804975A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111259696A (zh) * 2018-11-30 2020-06-09 百度在线网络技术（北京）有限公司 用于显示图像的方法及装置
CN111553219A (zh) * 2020-04-21 2020-08-18 海信集团有限公司 一种数据处理方法及智能设备
WO2023025239A1 (zh) * 2021-08-25 2023-03-02 咪咕视讯科技有限公司 人像唇部的自动上妆方法、装置、设备、存储介质及程序产品

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11816144B2 (en) 2022-03-31 2023-11-14 Pinterest, Inc. Hair pattern determination and filtering

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1975870A1 (en) * 2006-01-17 2008-10-01 Shiseido Co., Ltd. Makeup simulation system, makeup simulation device, makeup simulation method, and makeup simulation program
US20090139536A1 (en) * 2004-10-22 2009-06-04 Shiseido Co., Ltd. Lip categorizing method, makeup method, categorizing map, and makeup tool
CN101779218A (zh) * 2007-08-10 2010-07-14 株式会社资生堂 化妆模拟***、化妆模拟装置、化妆模拟方法以及化妆模拟程序
US20150262403A1 (en) * 2014-03-13 2015-09-17 Panasonic Intellectual Property Management Co., Ltd. Makeup support apparatus and method for supporting makeup

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000013818A (ja) * 1998-06-23 2000-01-14 Nec Corp 立体表示装置及び立体表示方法
US7312765B2 (en) * 1998-08-05 2007-12-25 Microvision, Inc. Display system and method for reducing the magnitude of or eliminating a visual artifact caused by a shift in a viewer's gaze
US6966882B2 (en) * 2002-11-25 2005-11-22 Tibion Corporation Active muscle assistance device and method
US7834890B2 (en) * 2003-10-17 2010-11-16 Canon Kabushiki Kaisha Information processing method and image processing method
US20050237485A1 (en) * 2004-04-21 2005-10-27 Blum Ronald D Method and apparatus for correcting vision
JP4642400B2 (ja) * 2004-07-20 2011-03-02 オリンパス株式会社 情報表示システム
KR100594117B1 (ko) * 2004-09-20 2006-06-28 삼성전자주식회사 Ｈｍｄ 정보 단말기에서 생체 신호를 이용하여 키를입력하는 장치 및 방법
JP5036177B2 (ja) * 2005-12-12 2012-09-26 オリンパス株式会社 情報表示装置
US7693341B2 (en) * 2006-04-21 2010-04-06 Apple Inc. Workflows for color correcting images
JP4688739B2 (ja) * 2006-05-02 2011-05-25 株式会社ソニー・コンピュータエンタテインメント 情報表示装置
US20090217315A1 (en) * 2008-02-26 2009-08-27 Cognovision Solutions Inc. Method and system for audience measurement and targeting media
JP5261586B2 (ja) 2007-08-10 2013-08-14 株式会社 資生堂 メイクアップシミュレーションシステム、メイクアップシミュレーション装置、メイクアップシミュレーション方法およびメイクアップシミュレーションプログラム
JP4458151B2 (ja) * 2007-11-06 2010-04-28 ソニー株式会社 自動撮像装置、自動撮像制御方法、画像表示システム、画像表示方法、表示制御装置、表示制御方法
US8155479B2 (en) * 2008-03-28 2012-04-10 Intuitive Surgical Operations Inc. Automated panning and digital zooming for robotic surgical systems
US9965778B2 (en) 2009-02-02 2018-05-08 Modiface Inc. System and method for the indication of modification region boundaries on facial images
CN102450001B (zh) * 2009-05-29 2015-08-12 惠普开发有限公司 减少多投影仪***中的视点相关伪像的方法、设备和投影***
JP5775074B2 (ja) * 2009-07-07 2015-09-09 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ ３次元（３ｄ）投影用の明度補正のための方法及びシステム
US20110149098A1 (en) * 2009-12-18 2011-06-23 Electronics And Telecommunications Research Institute Image processing apparutus and method for virtual implementation of optical properties of lens
US8954885B2 (en) * 2010-10-05 2015-02-10 Fergason Patent Properties, Llc Display system using metadata to adjust area of interest and method
JP5565258B2 (ja) * 2010-10-12 2014-08-06 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
JP2012181688A (ja) 2011-03-01 2012-09-20 Sony Corp 情報処理装置、情報処理方法、情報処理システムおよびプログラム
US8908904B2 (en) 2011-12-28 2014-12-09 Samsung Electrônica da Amazônia Ltda. Method and system for make-up simulation on portable devices having digital cameras
TWI543726B (zh) 2012-12-07 2016-08-01 宗經投資股份有限公司 自動上色系統及其方法
TW201424624A (zh) 2012-12-21 2014-07-01 Zong Jing Investment Inc 自動彩妝機的彩妝工具的移動方法
CN105164999B (zh) 2013-04-17 2018-08-10 松下知识产权经营株式会社 图像处理方法及图像处理装置
US9760762B2 (en) * 2014-11-03 2017-09-12 Anastasia Soare Facial structural shaping

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090139536A1 (en) * 2004-10-22 2009-06-04 Shiseido Co., Ltd. Lip categorizing method, makeup method, categorizing map, and makeup tool
EP1975870A1 (en) * 2006-01-17 2008-10-01 Shiseido Co., Ltd. Makeup simulation system, makeup simulation device, makeup simulation method, and makeup simulation program
CN101779218A (zh) * 2007-08-10 2010-07-14 株式会社资生堂 化妆模拟***、化妆模拟装置、化妆模拟方法以及化妆模拟程序
US20150262403A1 (en) * 2014-03-13 2015-09-17 Panasonic Intellectual Property Management Co., Ltd. Makeup support apparatus and method for supporting makeup

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111259696A (zh) * 2018-11-30 2020-06-09 百度在线网络技术（北京）有限公司 用于显示图像的方法及装置
CN111259696B (zh) * 2018-11-30 2023-08-29 百度在线网络技术（北京）有限公司 用于显示图像的方法及装置
CN111553219A (zh) * 2020-04-21 2020-08-18 海信集团有限公司 一种数据处理方法及智能设备
WO2023025239A1 (zh) * 2021-08-25 2023-03-02 咪咕视讯科技有限公司 人像唇部的自动上妆方法、装置、设备、存储介质及程序产品

Also Published As

Publication number Publication date
JP6731896B2 (ja) 2020-07-29
KR20180120549A (ko) 2018-11-06
US10783802B2 (en) 2020-09-22
EP3396585A1 (en) 2018-10-31
JP2018185783A (ja) 2018-11-22
US20180315336A1 (en) 2018-11-01

Similar Documents

Publication Publication Date Title
CN108804975A (zh) 唇彩指引装置及方法
CN108804972A (zh) 唇彩指引装置及方法
CN114402589B (zh) 用于2d和3d图形用户界面中的元素映射的智能触笔光束和辅助概率输入
EP4320502A1 (en) Bimanual interactions between mapped hand regions for controlling virtual and graphical elements
US8730332B2 (en) Systems and methods for ergonomic measurement
US9996958B2 (en) System and method for creating a virtual backdrop
CN108875462A (zh) 眉毛造型指引装置及其方法
JP2015114818A (ja) 情報処理装置、情報処理方法及びプログラム
CN107438812B (zh) 信息处理设备、信息处理方法和程序
CN105765513A (zh) 信息处理装置、信息处理方法和程序
US20190095747A1 (en) Nail contour detecting device, nail contour detecting method and storage medium
CN109426767A (zh) 眼线描绘指引装置及其方法
CN105518579A (zh) 信息处理设备和信息处理方法
CN108463789A (zh) 信息处理设备、信息处理方法和程序
CN110119700A (zh) 虚拟形象控制方法、虚拟形象控制装置和电子设备
US20190217046A1 (en) Device and method for training memory using brain stimulation
US10444831B2 (en) User-input apparatus, method and program for user-input
CN109891459B (zh) 图像处理装置及图像处理方法
JP2010205031A (ja) 入力位置特定方法、入力位置特定システムおよび入力位置特定用プログラム
US10607503B2 (en) Blush guide device and method thereof
WO2022257386A1 (zh) 对目标对象的调整项进行显示的方法、装置、电子设备
EP3185239A1 (en) Information processing device, information processing method, and program
TW201337644A (zh) 資訊處理裝置、資訊處理方法、及記錄媒體
CN109993029A (zh) 注视点模型初始化方法
CN113196730B (zh) 视觉效果提供方法及使用该方法的电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20181113