CN108292423A - 局部妆容制作装置、局部妆容利用装置、局部妆容制作方法、局部妆容利用方法、局部妆容制作程序和局部妆容利用程序 - Google Patents

局部妆容制作装置、局部妆容利用装置、局部妆容制作方法、局部妆容利用方法、局部妆容制作程序和局部妆容利用程序 Download PDF

Info

Publication number
CN108292423A
CN108292423A CN201680069583.0A CN201680069583A CN108292423A CN 108292423 A CN108292423 A CN 108292423A CN 201680069583 A CN201680069583 A CN 201680069583A CN 108292423 A CN108292423 A CN 108292423A
Authority
CN
China
Prior art keywords
image
information
dressing
local
local dressing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680069583.0A
Other languages
English (en)
Other versions
CN108292423B (zh
Inventor
西千枝
竹下幸子
浅井理惠子
田冈宏毅
筿田雅世
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN108292423A publication Critical patent/CN108292423A/zh
Application granted granted Critical
Publication of CN108292423B publication Critical patent/CN108292423B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D44/00—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D44/00—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
    • A45D44/005—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms for selecting or displaying personal cosmetic colours or hairstyle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

局部妆容制作装置(200)具有：描绘受理部(230)，其受理对面部图像重叠的局部妆容图像的描绘操作；信息取得部(240)，其按描绘操作过程中的每个时刻，取得作为到该时刻为止所描绘的图像的经过图像和该时刻的描绘方法；以及信息处理部(250)，其记录并输出按时间序列包含图像信息和技法信息的局部妆容信息，所述图像信息表示经过图像，所述技法信息表示描绘方法和作为与该描绘方法对应的化妆剂的涂抹方法的化妆方法中的至少一个。

Description

局部妆容制作装置、局部妆容利用装置、局部妆容制作方法、 局部妆容利用方法、局部妆容制作程序和局部妆容利用程序
技术领域
本公开涉及生成或利用对面部图像重叠的局部妆容(makeup part)图像的局部妆容制作装置、局部妆容利用装置、局部妆容制作方法、局部妆容利用方法、局部妆容制作程序和局部妆容利用程序。
背景技术
以往存在将表示对面部实施了妆容(化妆)时的妆容状态的局部妆容图像重叠于面部图像来生成模拟图像的技术(例如参照专利文献1～3)。例如，按眼影或腮红这样的各化妆项目来生成对面部图像重叠的图像(以下，称作“局部妆容图像”)。局部妆容图像例如是通过在显示有面部图像的带触摸屏的显示器上对面部的各部分进行描绘而制作的。
例如，专业的化妆师所制作的局部妆容图像出于审美性或流行性等观点，容易获得人气。进而，这样的人气高的局部妆容图像容易给予第三人实际想要对面部实施与该图像标示的妆容同样的妆容这样的欲求。
现有技术文献
专利文献1:日本特开2004-094917号公报
专利文献2:日本特开2009-064423号公报
专利文献3:日本特开2010-017360号公报
发明内容
但是，根据局部妆容图像，该图像是通过高级的描绘技术而制作的，第三人难以准确地再现该图像标示的妆容。
因此，本公开的一个方式，提供第三人能够更准确地再现局部妆容图像标示的妆容的局部妆容制作装置和局部妆容利用装置。
本公开的局部妆容制作装置具有：描绘受理部，其受理对面部图像重叠的局部妆容图像的描绘操作；信息取得部，其按所述描绘操作过程中的每个时刻，取得作为到该时刻为止所描绘的图像的经过图像和该时刻的描绘方法；以及信息处理部，其记录并输出按时间序列包含图像信息和技法信息的局部妆容信息，所述图像信息表示所述经过图像，所述技法信息表示所述描绘方法和作为与该描绘方法对应的化妆剂的涂抹方法的化妆方法中的至少一个。
本公开的局部妆容利用装置，具有：面部图像取得部，其取得面部图像；局部妆容取得部，其取得按时间序列包含局部妆容图像的描绘操作过程中的每个时刻的图像信息和技法信息的局部妆容信息，所述图像信息表示作为到该时刻为止所描绘的部分的图像的经过图像，所述技法信息表示该时刻的描绘方法和作为与该描绘方法对应的化妆剂的涂抹方法的化妆方法中的至少一个；以及妆容信息提示部，其基于取得的所述局部妆容信息，将所述经过图像按时间序列重叠于所述面部图像并显示，并且与所述经过图像的显示联动地，按时间序列提示所述化妆方法。
此外，这些概括性或具体的方式可由***、方法、集成电路、计算机程序或记录介质实现，也可由***、装置、方法、集成电路、计算机程序和记录介质的任意组合实现。
根据本公开，第三人能够更准确地再现局部妆容图像标示的妆容。
附图说明
图1是示出本实施方式的化妆辅助***的结构的一例的***结构图。
图2是示出本实施方式的局部妆容制作装置的结构的一例的框图。
图3是示出本实施方式的局部妆容利用装置的结构的一例的框图。
图4是示出本实施方式中的局部图像制作画面的一例的俯视图。
图5是示出本实施方式中的局部妆容图像的描绘过程的情况的一例的图。
图6是示出本实施方式中的笔压-宽度转换信息的一例的图。
图7是示出本实施方式中的宽度-技法转换信息的一例的图。
图8是示出本实施方式中的宽度引导提示信息的一例的图。
图9是示出本实施方式中的笔压-次数转换信息的一例的图。
图10是示出本实施方式中的次数-涂抹工具转换信息的一例的图。
图11是示出本实施方式中的次数引导提示信息的一例的图。
图12是示出本实施方式的局部妆容制作装置的工作的一例的流程图的图。
图13是示出本实施方式中的局部信息的一例的图。
图14是示出本实施方式中的时间序列信息的一例的图。
图15是示出本实施方式中的局部妆容利用装置的工作的一例的流程图的图。
图16是示出本实施方式中的化妆辅助画面的一例的俯视图。
图17A是示出使用本实施方式中的睫毛刷的描绘的一例的图。
图17B是示出使用本实施方式中的睫毛刷的描绘的另一例的图。
图18是示出本实施方式中的用于赋予由唇彩产生的光泽的工作的一例的图。
具体实施方式
以下，参照附图，对本公开的一实施方式进行详细说明。
＜***概要＞
首先，对包含本实施方式的局部妆容制作装置和局部妆容利用装置的化妆辅助***的概要进行说明。
图1是示出本实施方式的化妆辅助***的结构的一例的***结构图。
在图1中，化妆辅助***100具有经由互联网等通信网络110以彼此能够通信的方式连接的局部妆容制作装置200、信息服务器300和多个局部妆容利用装置400(4001～400N)。
局部妆容制作装置200例如是专业的化妆师使用的、具有通用的描绘应用软件的个人计算机。局部妆容制作装置200接受化妆师的操作，生成局部妆容信息，并将所生成的局部妆容信息发送(上传)给信息服务器300。
局部妆容信息是定义了作为对面部图像重叠的图像的局部妆容图像的信息。关于局部妆容信息的详细情况，将在后面记述。此外，表示局部妆容信息的格式的信息预先在局部妆容制作装置200、信息服务器300和全部局部妆容利用装置400中共享。
信息服务器300从局部妆容制作装置200受理在局部妆容制作装置200中制作的局部妆容信息的上传。另外，信息服务器300从各局部妆容利用装置400受理被上传的局部妆容信息的下载和利用。
局部妆容利用装置400访问信息服务器300，取得上述上传的局部妆容信息，根据取得的局部妆容信息生成局部妆容图像，将生成的局部图像重叠于面部图像并进行显示。局部妆容利用装置400例如是放置于化妆品的销售网点或个人住宅的、生成化妆的模拟图像的装置(化妆模拟器)。
即，由局部妆容制作装置200制作的局部妆容图像能够经由通信网络110和信息服务器300，在店员或个人等很多用户之间共享地使用。此外，局部妆容制作装置200也可以存在多个，信息服务器300可以与其中任一个局部妆容制作装置200一体地构成。
＜各装置的结构＞
接下来，对各装置的结构进行说明。
图2是示出局部妆容制作装置200的结构的一例的框图。
在图2中，局部妆容制作装置200具有制作侧通信部210、制作侧信息保存部220、描绘受理部230、信息取得部240和信息处理部250。
制作侧通信部210经由通信网络110，以至少能够与信息服务器300通信的方式连接。
制作侧信息保存部220保存局部妆容制作装置200的各部的工作所需的信息和作为该工作的结果而生成的信息。
描绘受理部230例如包含带有触控笔和笔压检测功能的带触摸屏的显示器等用户界面。另外，描绘受理部230例如包含描绘应用软件，该描绘应用软件经由该用户界面，受理针对预先准备的面部图像的局部妆容的描绘。描绘受理部230显示局部图像制作画面，受理相关描绘操作。关于局部图像制作画面的详细情况，将在后面记述。
进而，描绘受理部230基于所进行的操作，将表示作为描绘对象的局部妆容的类别(眼影、腮红等)的项目信息输出到信息取得部240。此外，描绘受理部230在进行描绘操作期间，按预定的时间(例如33毫秒)，将表示对面部图像重叠的局部妆容图像的描绘操作(以下，简单称作“描绘操作”)的过程(描绘进展状况)的描绘操作信息输出到信息取得部240。描绘操作信息例如包含表示作为描绘对象的位置的描绘位置信息、表示用于描绘的虚拟的描绘工具(以下，称作“虚拟描绘工具”)的类别的描绘工具信息和表示笔压的笔压信息。此外，虚拟描绘工具的类别除了包含刷子或笔等具有涂抹颜色的功能的描绘工具之外，还包含擦除橡皮具有擦除颜色的功能的描绘工具。另外，作为描绘对象的位置例如通过带触摸屏的液晶显示器的坐标系来定义。
信息取得部240基于从描绘受理部230输出的描绘操作信息，按描绘操作过程中的每个时刻(例如每隔上述预定时间)，取得作为到该时刻为止所描绘的图像的经过图像和该时刻的描绘方法。进而，信息取得部240将项目信息和与该项目信息对应地取得的各时刻的经过图像以及描绘方法输出到信息处理部250。
经过图像是局部妆容的描绘操作的各阶段中的暂定的局部妆容图像，包含局部妆容的描绘中途的图像和完成了局部妆容描绘的状态的图像。信息取得部240按每个时刻，基于笔压来决定在该时刻所描绘的图像部分的宽度和浓度中的至少一个。描绘方法包含虚拟描绘工具的类别(描绘工具信息)、操作虚拟描绘工具时的笔压和操作虚拟描绘工具时的运笔(触摸、速度、加速度等)中的至少一个。
信息处理部250将按时间序列包含图像信息和技法信息的局部妆容信息记录到制作侧信息保存部220，其中，所述图像信息表示经过图像，所述技法信息表示描绘方法和作为与该描绘方法对应的化妆剂的涂抹方法的化妆方法中的至少一个。或者，信息处理部250将局部妆容信息经由制作侧通信部210上传(发送、输出)到信息服务器300。
化妆方法例如包含预先与虚拟描绘工具的类别、笔压和运笔中的至少一个关联的、用于涂抹化妆剂的化妆涂抹工具(化妆用刷子、贴片等)的类别和化妆剂的重叠涂抹的次数(以下，称作“涂抹次数”)中的至少一个。信息处理部250例如在由信息取得部240取得的描绘方法包含笔压的情况下，基于该笔压，生成表示化妆涂抹工具的类别和涂抹次数中的至少一个的技法信息。
此外，图像信息包含以面部的嘴角、眼头和眼尾这样的面部特征点为基准的、表示经过图像的位置的位置信息。关于面部图像中的面部特征点的位置的取得，可以由描绘受理部230、信息取得部240或信息处理部250通过模式匹配等已知的图像解析方法来进行，也可以通过用户对局部妆容制作装置200的手动输入操作来进行。
通过这样的结构，局部妆容制作装置200能够取得局部妆容图像的描绘的过程(历史)，生成按时间序列表示经过图像和描绘方法/化妆方法的局部妆容信息，并上传到信息服务器300。
虽然没有图示，但信息服务器300具有服务器侧通信部和服务器侧信息保存部。服务器侧通信部经由通信网络110，以至少能够与局部妆容制作装置200和化妆利用装置400分别通信的方式连接。服务器侧信息保存部保存经由服务器侧通信部而从局部妆容制作装置200发送来的局部妆容信息，并将所保存的局部妆容信息的复制体发送给局部妆容利用装置400。
通过这样的结构，信息服务器300能够在多个局部妆容利用装置400共享由局部妆容制作装置200生成的局部妆容信息。
图3是示出局部妆容利用装置400的结构的一例的框图。
在图3中，局部妆容利用装置400包含利用侧通信部410、利用侧信息保存部420、面部图像取得部430、局部妆容取得部440和妆容信息提示部450。
利用侧通信部410经由通信网络110，以至少能够与信息服务器300通信的方式连接。
利用侧信息保存部420保存局部妆容利用装置400的各部的工作所需的信息和作为该工作的结果而生成的信息。
面部图像取得部430例如包含摄像头，拍摄作为以化妆模拟图像为参考的施加妆容的对象的面部。进而，面部图像取得部430将所取得的面部图像(面部影像)输出到局部妆容取得部440。
局部妆容取得部440经由利用侧通信部410，从信息服务器300下载(接收)被上传到信息服务器300的局部妆容信息。或者，局部妆容取得部440从信息服务器300经由利用侧通信部410，从利用侧信息保存部420读出利用侧信息保存部420中保存的局部妆容信息。进而，局部妆容取得部440将面部图像和所取得的局部妆容信息输出到妆容信息提示部450。
妆容信息提示部450例如包含带触摸屏的液晶显示器和扬声器，并基于局部妆容信息，按时间序列将经过图像重叠于面部图像并进行显示，并且，与经过图像的显示联动地，按时间序列提示上述化妆方法。妆容信息提示部450例如生成如下化妆辅助画面并输出：在显示在面部图像上重叠经过图像而得到的化妆模拟图像的同时，通过声音来输出化妆方法。关于化妆辅助画面的详细情况，将在后面记述。
此外，妆容信息提示部450基于面部图像中的面部特征点的位置和上述经过图像的位置信息，来决定经过图像的显示位置。关于面部图像中的面部特征点的位置的取得，可由面部图像取得部430、局部妆容取得部440或妆容信息提示部450通过模式匹配等已知的图像解析方法来进行，也可通过用户对局部妆容利用装置400的手动输入操作来进行。
通过这样的结构，基于上传到信息服务器300的局部妆容信息，能够向用户提示表示局部妆容图像的描绘的过程(历史)的信息(时间序列的经过图像和化妆方法)。
此外，虽然没有图示，上述各装置例如分别具有CPU(Central Processing Unit：中央处理器)、保存有控制程序的ROM(Read Only Memory：只读存储器)或硬盘等存储介质、RAM(Random Access Memory：随机存取存储器)等作业用存储器和通信电路。在该情况下，上述各部的功能通过CPU执行控制程序来实现。
＜局部图像制作画面＞
此处，对局部妆容制作装置200显示的局部图像制作画面的详细情况进行说明。
图4是示出局部图像制作画面的一例的俯视图。
如图4所示，局部图像制作画面510具有面部图像显示区域511、编辑对象局部选择区域512、编辑菜单区域513和刷子选择列表区域514。另外，局部图像制作画面510配置有能够经由上述触摸屏进行移动操作和点击操作的光标515。
面部图像显示区域511显示面部图像516。面部图像516可以是通过计算机图形等制作的标准的面部的面部图像，也可以是通过未图示的数字照相机拍摄的面部图像。描绘受理部230基于面部图像516中包含的面部特征点的位置和光标515的位置，生成上述描绘位置信息。
编辑对象局部选择区域512受理作为局部图像的制作对象的局部妆容的选择。描绘受理部230基于编辑对象局部选择区域512中的操作，生成上述项目信息。
编辑菜单区域513受理局部图像的追加、编辑和保存等图像操作的选择。
刷子选择列表区域514受理在局部图像的描绘中使用的虚拟刷子的选择。描绘受理部230基于刷子选择列表区域514中的操作，生成上述描绘工具信息。
描绘受理部230根据检测出的笔压(例如触控笔对触摸屏的按压力)，即根据描绘操作，大致实时地生成对应的局部妆容图像的经过图像517，并重叠于面部图像516。描绘受理部230基于检测出的笔压，生成上述笔压信息。
此外，描绘受理部230例如以笔压信息标示的位置为中心，以与笔压信息标示的笔压对应的大小或浓度，来生成描绘工具信息标示的颜色的圆状的图像，取得开始描绘后所生成的图像的逻辑和，由此逐次生成经过图像517。
图5是示出局部妆容图像的描绘过程的情况的一例的图。
例如，眉毛的局部妆容图像在以描绘开始时刻为基准的时刻t1～时刻t3进行描绘。在该情况下，如图5所示，例如，在时刻t1～时刻t3，分别生成不同的描绘阶段的经过图像5171～经过图像5173，并在各时刻显示。
此外，关于使笔压反映于所描绘的图像部分的宽度和浓度中的哪一个，可以在描绘受理部230中预先设定，也可以由描绘受理部230从用户受理设定。例如，触摸屏输入用的笔(触控笔)可以具有开关等，该开关受理对使笔压反映于宽度的输入模式和使笔压反映于浓度的输入模式进行切换的操作。在该情况下，描绘受理部230根据短距离通信等检测该开关操作，切换输入模式。或者，描绘受理部230根据虚拟描绘工具的类别，来切换输入模式。
另外，经过图像517的生成可以不在描绘受理部230中进行，而在信息取得部240或信息处理部250中进行。
＜技法转换信息＞
在信息处理部250基于笔压来生成技法信息的情况下，局部妆容制作装置200需要将用于将笔压转换为技法信息的技法转换信息保存于制作侧信息保存部220。
首先，对使笔压反映于化妆涂抹工具的涂抹部分的宽度(粗细，以下称作“涂抹宽度”)的情况下的技法转换信息进行说明。在该情况下，技法转换信息例如包含将笔压与化妆涂抹工具的涂抹宽度关联的笔压-宽度转换信息、将涂抹宽度与化妆涂抹工具的类别关联的宽度-技法转换信息以及规定了技法信息的提示方式的宽度引导提示信息。
图6是示出笔压-宽度转换信息的一例的图。
如图6所示，笔压-宽度转换信息520按每一笔压级别521记述作为化妆师所希望的化妆料的涂抹区域的宽度而预先取得的涂抹宽度522。例如，在设能够由触摸屏检测的最大笔压级别521为100％时，针对“100％”这一笔压级别521，对应有“10mm”这一涂抹宽度522。另外，针对“60％”这一笔压级别521，对应有“6mm”这一涂抹宽度522。此外，笔压级别521可通过压力值等定义。另外，涂抹宽度522可通过像素数或画面上的点数等定义。
此外，笔压级别521与涂抹宽度522之间的关系不限于图6所示的线性关系(单调增加)，也可以是随着笔压的增大而涂抹宽度的增加量减少等非线性关系。
图7是示出宽度-技法转换信息的一例的图。
如图7所示，宽度-技法转换信息530对每一涂抹宽度531，记述有应该在局部妆容利用装置400侧提示的刷子图像532和涂抹工具名称533。此外，涂抹宽度531可以是1mm～7mm等的数值范围。例如，针对“W1”这一涂抹宽度531，对应有毛宽度粗的化妆用刷子的刷子图像532和“刷子A”这一涂抹工具名称533。
此外，宽度-技法转换信息530可以按化妆项目来准备。在该情况下，例如，关于刷子图像532和涂抹工具名称533，如果是粉底或腮红，则可以是毛尖较大的刷子或相当于粉底的东西。另外，同样，关于刷子图像532和涂抹工具名称533，如果是眼影，则可以是毛尖较小的刷子或与手指尖相当的东西，如果是眼线，则可以是与细的笔相当的东西，如果是睫毛膏，则可以是与刷子状的预定道具相当的东西。
图8是示出宽度引导提示信息的一例的图。
如图8所示，宽度引导提示信息540针对开始提示技法信息的每一时机(以下，称作“提示开始时机”)541，记述有引导固定文本542。例如，针对“描绘开始时”这样的提示开始时机541，对应有“以＜描绘工具名称＞开始化妆”这样的引导固定文本542。“＜描绘工具名称＞”是指***对应的涂抹工具名称533(参照图7)这一情况。
接下来，对使笔压反映于化妆涂抹工具的涂抹次数的情况下的技法转换信息进行说明。在该情况下，技法信息例如包含将笔压与化妆涂抹工具的涂抹次数关联的笔压-次数转换信息、将涂抹次数与化妆涂抹工具的类别关联的次数-涂抹工具转换信息和规定技法信息的提示方式的次数引导提示信息。
图9是示出笔压-次数转换信息的一例的图。
如图9所示，笔压-次数转换信息550对每一笔压级别551，记述有作为实现化妆师希望的化妆料的浓度所需的重叠涂抹的次数而预先取得的涂抹次数552。例如，在设能够通过触摸屏检测的最大笔压级别551为100％时，针对“100％”这一笔压级别551，对应有“5次”这一涂抹次数552，针对“60％”这一笔压级别551，对应有“3次”这一涂抹次数552。此外，笔压级别551可通过压力值等定义。
此外，关于实现预定浓度所需的重叠涂抹的次数，根据化妆剂的粘度和/或摩擦系数的差异，随化妆剂的类别而不同。因此，希望对化妆品的每一类别准备笔压-次数转换信息550。例如，在化妆剂的粘度和/或摩擦系数高的情况下，由于涂抹后容易附着于皮肤，故而与粘度和/或摩擦系数低的情况相比，可采取减少涂抹次数等应对。这样，在进行笔压-次数的转换时，化妆剂的粘度和/或摩擦系也可以用于计算在涂抹后使化妆剂扩展或晕色的动作的次数。
另外，笔压级别551与涂抹次数552之间的关系不限于图9所示的线性关系(单调增加)，也可以是随笔压的增大而使涂抹次数的增加量减小等非线性关系。
图10是示出次数-涂抹工具转换信息的一例的图。
如图10所示，次数-涂抹工具转换信息560对每一涂抹次数561，记述有应该在局部妆容利用装置400侧提示的刷子图像562和涂抹工具名称563。例如，针对“3”这一涂抹次数561，对应有毛宽度小的化妆用刷子的刷子图像562和“刷子A”这一涂抹工具名称563。
图11是示出次数引导提示信息的一例的图。
如图11所示，次数引导提示信息570对每一开始提示技法信息的时机(以下，称作“提示开始时机”)571，记述有引导固定文本572。例如，针对“描绘开始时”这一提示开始时机571，对应有“该部分请重叠涂抹＜涂抹次数＞次”这一引导固定文本572。“＜涂抹次数＞”是指***对应的涂抹次数561(参照图10)这一情况。
＜各装置的工作＞
接下来，对各装置的工作进行说明。此处，例示了使笔压反映于涂抹宽度的情况。
图12是示出局部妆容制作装置200的工作的一例的流程图。
在步骤S1010中，描绘受理部230取得作为局部妆容图像的描绘对象的面部图像，此外，取得面部图像中包含的面部特征点及其位置。
在步骤S1020中，描绘受理部230显示局部图像制作画面510(参照图4)，受理描绘操作。
在步骤S1030中，信息取得部240判断是否对某个局部妆容图像开始了描绘操作。信息取得部240例如在选择了刷子等具有涂抹颜色的功能的描绘工具的状态下使触控笔以预定压力接触了触摸屏的情况下，判定为开始了描绘操作。信息取得部240在开始了描绘操作的情况下(S1030：是)，使处理进入到步骤S1040。另外，信息取得部240在未开始描绘操作的情况下(S1030：否)，使处理进入到后述的步骤S1120。
在步骤S1040中，信息处理部250判定是否选择了某个化妆项目，生成表示在连续描绘多个局部妆容的情况下的多个局部妆容的描绘顺序的顺序信息。此外，信息处理部250在已经生成了顺序信息的情况下，适当更新该信息的内容。
在步骤S1050中，描绘受理部230判定是否正进行描绘操作。描绘受理部230例如在选择了刷子等具有涂抹颜色的功能的描绘工具的状态下、正在使触控笔以预定压力接触触摸屏的情况下，判定为正进行描绘操作。描绘受理部230在未进行描绘操作的情况下(S1050：是)，使处理进入到步骤S1060。此外，描绘受理部230在最初使处理进入到步骤S1050的情况下，可以不进行判定处理，而直接使处理进入到步骤S1060。另外，描绘受理部230在未进行描绘操作的情况下(S1050：否)，使处理进入到后述的步骤S1080。
在步骤S1060中，描绘受理部230对当前(最新的)触控笔与触摸屏接触的触摸区域进行描绘。
在步骤S1070中，信息取得部240基于当前(最新的)描绘操作信息，取得经过图像和描绘方法(笔压)并记录。
在步骤S1080中，描绘受理部230判定是否正进行取消描绘的操作(以下，称作“取消操作”)。描绘受理部230例如在选择了擦除橡皮等具有擦除颜色的功能的描绘工具的状态下使触控笔以预定压力接触触摸屏的情况下，判定为正进行取消操作。描绘受理部230在正进行取消操作的情况下(S1080：是)，使处理进入到步骤S1090。另外，描绘受理部230在未进行取消操作的情况下(S1080：否)，使处理进入到后述的步骤S1100。
在步骤S1090中，描绘受理部230按照返回到对当前(最新的)触摸区域进行描绘的时刻之前的情形，来恢复图像的状态。另外，信息取得部240删除上述时刻以后取得的经过图像和描绘方法(笔压)的记录。
在步骤S1100中，描绘受理部230判定对一个局部妆容的描绘操作是否结束。描绘受理部230例如在触控笔未以预定压力接触触摸屏的状态下持续了预定时间以上的情况下、在切换了化妆项目的选择的情况下或在进行了选择结束描绘处理的操作的情况下，判定为结束了描绘操作。描绘受理部230在针对一个局部妆容的描绘操作未结束的情况下(S1100：否)，使处理返回到步骤S1050。此外，局部妆容制作装置200在反复进行步骤S1050～S1100的处理的情况下，将上述预定时间作为其反复间隔。另外，描绘受理部230在针对一个局部妆容的描绘操作已结束的情况下(S1100：是)，使处理进入到步骤S1110。
在步骤S1110中，信息处理部250生成局部妆容信息，该局部妆容信息按时间序列包含由信息取得部240记录的经过图像和描绘方法。其中，信息处理部250使用笔压-宽度转换信息520、宽度-技法转换信息530和宽度引导提示信息540(参照图6～图8)，将笔压转换为与涂抹宽度相关的涂抹方法并包含到局部妆容信息中。进而，信息处理部250使处理返回到步骤S1030。
在步骤S1120中，描绘受理部230判定是否进行了表示结束局部妆容图像的描绘的结束操作，该局部妆容图像对应于针对同一面部应该作为一个面部整体的妆容而一齐实施的一个或多个局部妆容(以下，称作“妆容集”)。该结束操作例如是点击局部图像制作画面510中显示“上传按钮”(未图示)的操作。描绘受理部230在未进行结束操作的情况下(S1120：否)，使处理返回到步骤S1030。
即，局部妆容制作装置200每当开始一个局部妆容图像的描绘操作时，反复进行步骤S1040～S1110的工作，生成局部妆容信息，并生成/更新表示局部妆容图像的描绘顺序的顺序信息。
另一方面，描绘受理部230在进行了结束操作的情况下(S1120：是)，使处理进入到步骤S1130。
在步骤S1130中，信息处理部250将所生成的关于一个妆容集的局部妆容信息上传(发送)到信息服务器300。此外，信息处理部250在描绘了至少多个局部妆容图像的情况下，使局部妆容信息包含顺序信息。
通过这样的工作，局部妆容制作装置200能够基于各局部妆容图像的描绘操作，生成局部妆容信息，并共享所生成的局部妆容信息。
这样，局部妆容制作装置200即使在化妆师一边误进行描绘操作或试错一边进行描绘的情况下，也能够编辑描绘过程，生成有效地辅助掌握化妆技术或短时间内的化妆等的内容的局部妆容信息。
另外，例如，在描绘了黄色腮红的局部妆容图像后重叠地描绘粉红色腮红的局部妆容图像的情况下，希望以同样的顺序进行化妆。关于该点，局部妆容制作装置200通过包含顺序信息，能够生成可提示这样的适当的化妆顺序的局部妆容信息。
此外，信息处理部250也可以将所生成的局部妆容信息和顺序信息在发送之前进行编辑。例如，信息处理部250在同时并行地描绘多个局部妆容的情况下、即在一个局部妆容的描绘过程中夹杂有其它局部妆容的描绘过程的情况下，信息处理部250可以在时间轴上融合信息，以使得按每个局部妆容使描绘过程连续。
另外，关于除该融合处理和不需要的描绘过程以外的处理，也可以在生成包含全部描绘过程(步骤)的时间序列的局部妆容信息组之后，通过用户对局部妆容制作装置200的手动操作来进行。该手动操作例如通过采用用于编辑带时间信息的内容的已知创作工具的技术来实现。
＜局部妆容信息＞
局部妆容信息例如由局部信息和时间序列信息构成，其中，局部信息表示一个妆容集的局部妆容图像和顺序信息，时间序列信息按时间序列表示每一局部妆容图像的描绘过程中的各时刻的经过图像和技法信息。
图13是示出局部信息的一例的图。在图13中，在横向一排上排列的信息表示一个局部妆容的局部信息的内容。
如图13所示，局部信息(组)610针对一个妆容集的每一局部妆容，包含局部ID611、项目信息612、顺序信息(化妆的前后信息)613、局部图像614、颜色信息615、导航局部图像616、位置信息617、化妆品信息618和使用者信息619。
局部ID 611是在化妆辅助***100中，对所制作的每一局部妆容唯一的识别信息。关于局部ID 611，例如在局部图像制作画面510(参照图4)中，每当开始描绘新的局部妆容图像时，由描绘受理部230决定。
项目信息612是表示化妆项目的类别的信息。项目信息612例如接受用户在局部图像制作画面510(参照图4)中的化妆项目选择操作，并由描绘受理部230决定。
顺序信息613是表示应该进行与多个化妆项目对应的化妆的顺序的信息。关于顺序信息613，例如，在局部图像制作画面510(参照图4)中，每当开始描绘新的局部妆容图像时，由描绘受理部230决定。此外，顺序信息613也可以是针对每一化妆项目，表示应该在该化妆项目的前一个进行化妆的化妆项目的识别信息或应该在该化妆项目的后一个进行化妆的化妆项目的识别信息的参照信息。
局部图像614是描绘完成后的局部妆容图像，例如是二值(白黑、亮度)数据。此外，局部图像614可以不是图像数据自身，而是用于访问图像数据的参照信息。颜色信息615是表示局部妆容图像的颜色和重叠方式的信息。
导航局部图像616是以虚线等表示局部妆容图像的外形(涂抹区域)的辅助图像。关于导航局部图像616，例如，在信息处理部250中，通过提取局部妆容图像614的边缘(轮廓)来生成。此外，导航局部图像616也可以不是图像数据自身，而是用于访问图像数据的参照信息。另外，导航局部图像616通过与局部图像614共同的坐标系(局部图像坐标系)来定义。
位置信息617是预先对局部妆容的每一类别定义的多个参照点的局部妆容图像和导航局部图像中的坐标值。
关于局部图像614、颜色信息615、导航局部图像616和位置信息617，例如，在局部图像制作画面510(参照图4)中，每当完成新的局部妆容图像的描绘时，由描绘受理部230生成。
化妆品信息618是表示应该在与局部妆容对应的化妆中使用的化妆品的信息。关于化妆品信息618，例如使用将可选择的虚拟描绘工具(和颜色)和对应的化妆品信息关联起来的表，由描绘受理部230生成。此外，化妆品信息也可以包含化妆剂的颜色、形状、粘度、摩擦系数和刷子等附属品等的信息。另外，上述表例如预先保存于制作侧信息保存部220。
使用者信息619是局部妆容图像的制作者、使用期限和可否编辑等、应该向局部妆容的利用侧通知的信息。关于使用者信息619，例如在局部图像制作画面510(参照图4)中，由描绘受理部230从用户受理输入。
关于预先对局部妆容的每一类别定义的多个参照点，如果是眼影，则以与眼头的位置、眼尾的位置和上眼睑的边缘的顶点的位置对应的方式，预先定义与各面部特征点之间的关系。进而，该定义作为表示局部信息的格式的信息，如上述那样，预先在局部妆容制作装置200、信息服务器300和全部局部妆容利用装置400中共享。
因此，由局部妆容制作装置200生成的局部信息610能够在全部局部妆容利用装置400中适当地再利用。
图14是示出时间序列信息的一例的图。对每一局部妆容图像生成时间序列信息620。
如图14所示，时间序列信息620针对局部妆容图像的描绘操作过程中的每一时刻621，包含经过图像622、刷子信息623和引导信息624。
经过图像622是到对应的时刻为止所描绘的部分的图像，例如是二值(白黑、亮度)数据。经过图像622例如上述那样，由描绘受理部230生成。此外，经过图像622可以是静态图像帧，也可以是如Motion JPEG或MPEG等这样实施帧内压缩或时间方向压缩而保持的图像。其中，经过图像622以能够正确再现参照点的形式保持，所述参照点用于对面部特征点进行映射。
刷子信息623是与应该在对应的时刻使用的化妆涂抹工具(刷子)相关的信息，是表示涂抹工具名称、刷子图像和显示位置的信息。关于刷子信息623，例如使用上述笔压-宽度转换信息520(参照图6)和宽度-技法转换信息530(参照图7)，由信息处理部250生成。
引导信息624是表示应该在对应的时刻提示的引导的内容的信息。关于引导信息624，例如使用上述宽度引导提示信息540(参照图8)，由信息处理部250生成。
在图14所示的例子中，时间序列信息620包含有在第1时刻t1～第3时刻t3，逐渐涂抹眉毛这样的3个不同的经过图像622。进而，时间序列信息620包含指示如下内容的引导信息624：在第1时刻t1～第3时刻t3，一边使涂抹工具图像移动，一边将在第2时刻t2使用的化妆涂抹工具从“刷子A”变更为“刷子B”。
这样的关于一个或多个局部妆容的局部信息(组)610和各局部妆容的时间序列信息620，作为局部妆容信息供局部妆容利用装置400利用。
此外，例如，颜色信息615、化妆品信息618和引导信息624也可以通过用户的手动操作来决定或修正。该手动操作例如通过采用用于编辑带时间信息的内容的附加信息的已知创作工具的技术来实现。
另外，信息处理部250在实际进行多个局部妆容(包含相同的化妆项目的情况)的化妆的涂抹时，判定是否应该空出预定的时间间隔，并使顺序信息包含表示该预定的时间间隔的时间间隔信息。例如，信息处理部250在针对同一化妆项目(面部的部分)，指示在以液体(液状)的第1化妆剂进行涂抹之后涂抹其它第2化妆剂的情况下，使顺序信息包含表示第1化妆剂充分干燥所需的预定时间的时间间隔信息。此外，信息处理部250在使处理从图12的步骤S1110返回到步骤S1030时，也可以在时间序列信息620中***(WAIT)预定的时间，由此使顺序信息包含时间间隔信息。另外，信息处理部250也可以使时间序列信息620包含有在该预定的时间输出“请等待10秒”等文字或声音这样的引导信息。
图15是示出局部妆容利用装置400的工作的一例的流程图。
在步骤S2010中，局部妆容取得部440从信息服务器300下载关于一个妆容集的局部妆容信息(局部信息610和时间序列信息620(参照图13和图14))。
在步骤S2020中，妆容信息提示部450开始后述的化妆辅助画面的显示。
在步骤S2030中，妆容信息提示部450从局部妆容信息标示的妆容集中，根据顺序信息613，按时刻顺序选择一个局部妆容(局部ID 611)(参照图13)。
在步骤S2040中，妆容信息提示部450根据选择中的局部妆容的时间序列信息620，按照时刻621，按时刻顺序选择一个经过图像622(参照图14)。
在步骤S2050中，面部图像取得部430拍摄面部图像，取得以镜像方式使所拍摄到的面部图像左右反转而得到的图像(以下，称作“面部图像”)，并从所取得的面部图像中取得(检测)面部特征点。
在步骤S2060中，妆容信息提示部450将选择中的经过图像622重叠于面部图像并进行显示。另外，妆容信息提示部450按照刷子信息623，在应该涂抹化妆的位置显示刷子图像，并且，进行引导信息624的文字显示或声音输出，来提示化妆剂的涂抹方法。此外，妆容信息提示部450基于该位置信息617来显示选择中的局部妆容的导航局部图像616，由此，向用户提示应该最终涂抹哪个范围(参照图13和图14)。
在步骤S2070中，妆容信息提示部450判定选择中的经过图像是否是选择中的局部妆容的最后的(时刻最后的)经过图像。妆容信息提示部450在选择中的经过图像不是最后的经过图像的情况下(S2070：否)，使处理返回到步骤S2040，转移到下一经过图像的处理。另外，妆容信息提示部450在选择中的经过图像是最后的经过图像的情况下(S2070：是)，使处理进入到步骤S2080。
在步骤S2080中，妆容信息提示部450判定选择中的局部妆容是否是妆容集的最后的(时刻最后的)局部妆容。妆容信息提示部450在选择中的局部妆容不是最后的局部妆容的情况下(S2080：否)，使处理返回到步骤S2030，移动到下一局部妆容的处理。另外，妆容信息提示部450在选择中的局部妆容是最后的局部妆容的情况下(S2080：是)，结束一系列的处理。
此外，期望的是，妆容信息提示部450基于上述时间间隔信息，调整使处理向步骤S2050返回时的时机(timing，时刻)。
另外，妆容信息提示部450也可以从用户受理反复进行步骤S2040～S2070的处理时的反复时间间隔和使处理向步骤S2030返回时的时间间隔的设定。即，局部妆容或妆容集局部妆容制作装置200中的描绘速度和对应的局部妆容或妆容集的局部妆容利用装置400中的导航速度也可以不同。
此外，妆容信息提示部450也可以从用户受理使经过图像和化妆方法的时间序列数据的再现暂时停止的操作和再次开始的操作。
通过这样的工作，局部妆容利用装置400能够按照局部妆容信息，提示再现局部妆容图像的描绘操作(描绘的方法)这样的化妆模拟图像。
＜化妆辅助画面＞
图16是示出化妆辅助画面的一例的俯视图。
如图16所示，化妆辅助画面630包含镜像显示区域631、模拟显示区域632和引导显示区域633。此处，示出了选择上述第2时刻t2的经过图像的时机的显示状态。
妆容信息提示部450在镜像显示区域631大致实时地显示使所拍摄到的面部影像以镜像方式左右反转而得到的影像(以下，称作“面部影像”)634。
妆容信息提示部450在模拟显示区域632显示使用了面部图像635的化妆模拟图像。即，妆容信息提示部450在模拟显示区域632显示对面部图像635重叠局部妆容信息所标示的导航局部图像636、位置时刻变化的刷子图像637和大小时刻变化的经过图像638而得到的图像。
妆容信息提示部450在引导显示区域633显示化妆模拟图像的附加信息。即，妆容信息提示部450显示时刻变化的引导信息639。
即，妆容信息提示部450在面部图像635上按时间序列重叠经过图像638并进行显示，并且，与经过图像638的显示联动地，按时间序列提示化妆方法(刷子图像637和引导信息639)。
此外，妆容信息提示部450也可以在模拟显示区域632显示在面部影像(动态图像)上重叠导航局部图像636、刷子图像637和经过图像638而得到的影像。在该情况下，局部妆容制作装置200与面部影像同步地反复进行图15的步骤S2040～S2070的处理。另外，经过图像需要以能够与面部影像的动态图像帧的间隔同步的粒度来进行记录。
用户按照这样的化妆辅助画面630所提示的化妆方法，例如在与第1时刻t1对应的时机，以粗的毛宽度的刷子开始描绘眉毛，并持续进行基于该刷子的化妆，直到与第2时刻t2对应的时机为止。进而，用户能够换成细的毛宽度的刷子，来进行第2时刻t3以后的化妆。另外，用户能够在该化妆剂涂抹作业之间，以与导航局部图像636相符的方式调整化妆的方式，由此直观地进行化妆。
由此，局部妆容利用装置400能够更准确地对用户再现由局部妆容制作装置200制作的局部妆容图像标示的妆容。
＜本实施方式的效果＞
如以上说明的那样，在本实施方式中，局部妆容制作装置200具有：描绘受理部230，其受理对面部图像重叠的局部妆容图像的描绘操作；以及信息取得部240，其针对描绘操作过程中的每一时刻，取得经过图像和描绘方法。另外，局部妆容制作装置200具有记录并输出按时间序列包含图像信息和技法信息的局部妆容信息的信息处理部250，其中，所述图像信息表示经过图像，所述技法信息表示描绘方法和作为与该描绘方法对应的化妆剂的涂抹方法的化妆方法中的至少一个。
另外，局部妆容利用装置400具有：面部图像取得部430，其取得面部图像；以及局部妆容取得部440，其取得按时间序列包含局部妆容图像的描绘操作过程中的每一时刻的图像信息和技法信息的局部妆容信息，其中，所述图像信息表示经过图像，所述技法信息表示描绘方法或化妆方法。另外，局部妆容利用装置400具有妆容信息提示部450，所述妆容信息提示部450基于局部妆容利用装置400取得的局部妆容信息，按时间序列将经过图像重叠于面部图像并进行显示，并与经过图像的显示联动地，按时间序列提示化妆方法。
由此，化妆辅助***100能够更准确地再现局部妆容图像标示的妆容。例如，能够实现考虑了制作局部妆容时的笔压的局部妆容的描绘再现，针对化妆涂抹工具的使用感等，能够进行更细微的化妆导航。
具体而言，化妆辅助***100例如适合于以下情况：个人模仿专业的化妆，经验浅的化妆师或学生学习专业的化妆，或者化妆品网点的店员对顾客进行化妆。
＜与化妆方法相关的变形例＞
此外，作为提示对象的化妆方法不限于上述例子。例如，局部妆容制作装置200取得各时刻的操作虚拟描绘工具时的运笔(触摸、速度、加速度等)和化妆剂的类别(化妆品品牌名、商品名等)，作为化妆方法来记录。
另外，笔压信息向化妆方法的转换方式不限于上述例子。例如，局部妆容制作装置200也可以使用笔压-次数转换信息550和次数-涂抹工具转换信息560(参照图9和图10)，将检测出的笔压转换为涂抹次数，作为化妆方法来记录。在该情况下，局部妆容利用装置400能够向用户提示化妆剂的涂抹次数。
另外，运笔信息也可以包含使虚拟描绘工具接触触摸屏时(触摸时)的虚拟描绘工具的部位或使虚拟描绘工具与触摸屏保持接触并移动来进行描绘时的虚拟描绘工具的倾斜程度、移动速度或加速度信息等。此外，虚拟描绘工具的部位是虚拟描绘工具的前端部中的与触摸屏接触的部分，例如，在从前端垂直地触摸触摸屏的情况下与在倾斜地触摸的情况下，是不同的。例如，通过在虚拟描绘工具上搭载6轴加速度传感器，可以通过虚拟描绘工具取得上述信息，并通知给局部妆容制作装置200。
另外，化妆方法的内容及其提示方法不限于上述例子。例如，局部妆容利用装置400也可以仅提示导航局部图像、刷子图像和引导中的一部分。另外，局部妆容利用装置400也可以通过声音来输出引导。
＜与信息转换相关的变形例＞
此外，关于从局部妆容图像的描绘方法到向用户提示的信息的转换、即向作为化妆剂的涂抹方法的化妆方法的转换，也可以由信息服务器300或局部妆容利用装置400进行。另外，关于去除不需要的信息的处理或编辑顺序的处理，也可以由信息服务器300或局部妆容利用装置400进行。在这些情况下，局部妆容制作装置200在局部妆容信息中不包含化妆方法(化妆涂抹工具的类别等)，而包含描绘方法(笔压等)。进而，信息服务器300或局部妆容利用装置400具有局部妆容制作装置200的信息处理部250的功能，来进行作为信息处理部250所进行的处理而说明的上述各种处理。
另外，局部妆容制作装置200、信息服务器300或局部妆容利用装置400也可以在转换为化妆方法的时间序列信息之后进行去除不需要的信息的处理或编辑顺序的处理。
另外，局部妆容制作装置200、信息服务器300或局部妆容利用装置400也可以基于局部妆容利用装置400的用户的信息来决定要提示的信息。
例如，在尽管局部妆容信息指定使用毛宽度粗的刷子但用户只持有毛宽度细的刷子的情况下，局部妆容利用装置400检测该情况，提示指示增加重叠涂抹(扫动)次数的化妆方法。另外，例如，局部妆容利用装置400从用户受理局部妆容图像的颜色、形状、大小和浓度等的变更。
另外，例如，局部妆容利用装置400在用户不具有由局部妆容信息指定的颜色的化妆剂的情况下，检测该情况，建议使用近似的其它颜色的化妆剂、或者显示近似的其它颜色的经过图像。局部妆容利用装置400例如基于颜色空间(RGB等)中的距离来决定近似的其它颜色。
另外，即使是同一用户，在睁开眼睛的状态和闭上眼睛的状态下，表情大为不同。局部妆容图像通常是使用睁开眼睛的面部图像而制作的。但是，实际的化妆有时在闭上眼睛的状态下进行。因此，期望的是，局部妆容利用装置400针对睁开眼睛的面部图像和闭上眼睛的面部图像这两方，生成化妆模拟图像并显示。这些不同的图像可以同时在2个画面中显示，也可以通过用户操作来切换显示。
此时，局部妆容制作装置200或局部妆容利用装置400也可以将对睁开眼睛的面部/闭上眼睛的面部中的某一方描绘的化妆联动地在另一方的面部上进行描绘。在该情况下，以被描绘一方的面部特征点(睁开眼睛的状态的面部特征点)为基础，与未描绘的另一方的面部图像的面部特征点(闭上眼睛的状态下的对应的面部特征点)对应地重新进行映射，由此，能够进行对不同表情的自动描绘。
另外，也可以记录同一人物的多个模式的表情的图像(例如睁开眼睛的表情和闭上眼睛的表情)。进而，在制作局部妆容时，针对按各种表情自动描绘的图像，也可以选择具有在面部上合成的局部图像看上去最自然的特征点的表情的图像并记录该特征点。另外，根据人的情况，随表情而存在位置偏差，因此也可以针对多个面部/表情，排列地显示在面部上合成的局部图像，记录其中看上去最自然的特征点。
另外，例如，局部妆容利用装置400从用户的面部图像中取得面部器官的配置、大小和形状等面部特征，基于面部特征的个人差，对经过图像等进行微调并显示。
例如，关于各局部妆容图像标示的妆容是否合适，还取决于用户的面部特征。例如，根据眼睛的宽度、单眼皮还是双眼皮、皮肤的颜色、面部器官的大小和形状、面部的凹凸程度等面部特征、或年龄等属性，合适的妆容设计是不同的。因此，期望的是，信息服务器300例如按面向圆脸人的妆容、面向下颌突出的人的妆容等各面部特征来准备局部妆容信息，取得局部妆容利用装置400的用户的面部特征，选择适当的局部妆容信息来建议或提供。此时，也可以将具有同样化妆概念的多个局部妆容图像和根据面部特征对作为基本的局部妆容图像进行微调而得到的局部妆容图像作为具有可代替关系的局部妆容组(多样性)，并保持该关系作为属性信息。
另外，各局部妆容利用装置400也可以编辑(arrange，编排)局部妆容信息。在该情况下，例如，信息服务器300从各局部妆容利用装置400收集基于预定规则而数值化的编辑内容以及作为编辑对象的用户的面部特征或其它属性。信息服务器300分析所收集到的信息，决定局部妆容信息的编辑规则，向各局部妆容利用装置400提供或建议与用户的面部特征和/或属性相符的编辑内容。由此，关于进行了局部妆容信息的编辑的用户的经验和知识，也能够共享。另外，信息服务器300关于选择哪个局部妆容图像，也可以同样进行解析，决定局部妆容信息的选择规则，提供或建议与用户的面部特征和/或属性相符的编辑内容。
＜与局部妆容信息相关的变形例＞
另外，也可以对局部妆容信息进一步赋予对此后的检索有用的信息。作为该信息，例如可举出化妆师(操作者)、日期时间、场所、顾客、所使用的化妆品(从调色板选择的化妆品)、化妆项目和季节(化妆剂的商品发布的时机)等。另外，作为该信息，可举出用户的面部特征和属性(用户喜欢的颜色等)、过去的意见历史、局部妆容的销售实际成绩以及制作局部妆容的每个设计师的销售实际成绩等。例如，信息服务器300能生成设计师的销售实际成绩顺序的排行信息，并提供给局部妆容利用装置400。
＜与共享相关的变形例＞
另外，由局部妆容制作装置200生成的局部妆容信息的共享方式不限于上述例子。例如，局部妆容制作装置200通过邮件将用于访问局部妆容信息的保存场所的URL(UniformResource Locator：统一资源定位符)发送给局部妆容利用装置400的用户，局部妆容利用装置400访问该URL。
＜用户界面的变形例＞
此处，对能够搭载于上述实施方式的局部妆容制作装置的、辅助用户制作(描绘操作)局部妆容图像的用户界面(UI)功能进行说明。
制作局部妆容的作业是复杂的，特别是在描绘局部妆容图像的步骤中，根据所制作的局部妆容的类别(眉毛和脸颊等)，适当的虚拟描绘工具(刷子等)和可能的描绘操作是不同的。因此，用户一直注意这些并工作会成为负担。
鉴于上述课题，本公开的目的在于，提供使制作局部妆容的用户能够直观地进行作业、使作业效率提高的用户界面。
首先，上述使用图2，对在本公开中关联功能的大致工作进行说明。
描绘受理部230受理用户的描绘操作和/或描绘菜单选择等。信息取得部240还具有如下功能：取得当前用户作业中的局部妆容的类别或用户选择的刷子等与虚拟描绘工具相关的信息。信息处理部250基于信息取得部240取得的当前作业中的局部妆容的信息等，管理当前的描绘受理部230的状态。此外，信息处理部250参照制作侧信息保存部220所保持的信息，进行与当前的描绘受理部230的状态对应的菜单和/或图标的显示、或者菜单的选择禁止处理等的控制。
制作侧信息保存部220还保持在局部妆容描绘作业时使用的刷子等与虚拟描绘工具相关的信息(以下，称作“刷子预设信息”)。制作侧信息保存部220还保持记述了制作局部妆容图像时所需的一系列加工作业而得到的信息(以下，称作“局部制作宏信息”)。
关于与作业中的局部类别对应的刷子、菜单等的显示，以下进行说明。
首先，设想用户使用局部妆容制作装置200来制作局部妆容图像的情况。对该情况下与作业中的(用户所选择的)局部妆容对应的虚拟描绘工具(刷子)的图标的显示，进行详细说明。
以下示出了制作侧信息保存部220保持的刷子预设信息的详细情况。
1)关联的局部类别
使用该刷子的局部妆容的类别(眉毛和脸颊等)。
2)刷子形状
刷子形状是表示刷子的形状(和用途)的信息。具体而言，可以是眼影气刷(airbrush)、眼影圆刷、脸颊空刷、脸颊圆刷、睫毛刷(右用、左用)等。此外，在眉毛刷1(稍粗)、眉毛刷2(稍细)、眉毛刷3(更细)、睫毛刷1(略弯曲)、睫毛刷2(中程度弯曲)、睫毛刷3(很弯)等同一类别的刷子中，根据用途，还可存在详细种类的刷子形状。
3)尺寸
其是使用该刷子来描绘的情况下的描绘尺寸，由pt(分)表示。
4)描绘风格
其是表示选择出的每一刷子的描绘方法的信息，例如，包含笔压是否与尺寸对应、是否与不透明度对应这样的信息。
5)图标图像
其是用于在描绘画面显示刷子等虚拟描绘工具的图标图像。包含使实际对人实施该化妆时应该使用的刷子等化妆用涂抹工具或通过该刷子描绘的妆容的形状(睫毛膏等)图标化而得到的图像即图标图像(或指向它们的连接信息)。此外，在图7等中说明的刷子图像是在利用装置侧进行再现时使用的信息，与此处说明的在制作装置侧显示的图像，可以相同，也可以不同。
6)刷子的方向与毛排列的关系
其是表示在描绘时移动刷子(运笔、扫动)的方向与所描绘的毛排列方向之间的关系的信息。例如，在眉毛处，显示为毛排列按刷子的操作方向流动。另外，在睫毛的情况下，毛是竖立方向的，故而如图17A和图17B所示，为了沿刷子的操作方向641保持睫毛的蓬松，连续地描绘了多根睫毛。
信息处理部250基于描绘受理部230的当前状态，使描绘受理部230参照制作侧信息保存部220的刷子预设信息，将可选择的刷子作为菜单进行显示。另外，在描绘区中显示与选择出的(描绘作业中的)局部妆容对应的虚拟描绘工具(刷子等)的图标。
例如，在正描绘眼影的局部妆容的情况下，刷子预设信息的眼影气刷的图像显示为作为指示设备的虚拟描绘工具的光标图标。进而，在正描绘睫毛的局部妆容的情况下，将刷子预设信息的眉毛刷的图像显示为作为指示设备的虚拟描绘工具的光标图标。
将通过刷子预设而管理的各种信息作为刷子等虚拟描绘工具的属性来保持，由此，能够简化容易变得复杂的描绘参数的设定。
此外，制作侧信息保存部220按各局部妆容的每一类别保持有描绘区域。进而，信息处理部250在选择了特定类别的局部妆容时，即使用户要在该局部妆容的类别所指定的描绘区域之外进行描绘，也能够进行使描绘受理部230忽略该输入的控制。由此，能够防止错误地在与作业中的局部妆容无关的区域进行描绘的情况。
接下来，对如下工作例进行说明：该工作例使用记述了制作局部妆容图像时所需的一系列加工作业(行动)而得到的信息(局部制作宏信息)。
如先前记述的那样，制作侧信息保存部220还保持记述了制作局部妆容图像时所需的一系列加工作业而得到的信息(局部制作宏信息)。
以下示出了局部制作宏信息的例子。
1)用于二值化数据生成的掩码处理
2)合成时的乘法处理属性的赋予
3)特殊效果(模式)的赋予
1)用于二值化数据生成的掩码处理
本公开的局部妆容制作装置为了容易进行后面的局部妆容的颜色变更，将在描绘局部妆容图像时使用的颜色进行分离，并记录局部妆容的二值化图像。掩码处理是用于分离并保持将在描绘该局部妆容图像时用户所选择的颜色(RGB)信息去除的二值图像的处理。具体而言，是如下处理：在通过层结构来保持图像数据的情况下，分别保持二值图像的层与颜色(彩色)的层，对颜色的层施加掩码，由此，能够容易地显示或记录二值图像。作为预先制作局部妆容时所需的处理，局部妆容制作装置将其作为局部制作宏信息来保持，故而，用户无需明示地意识到二值化的处理，能够省略制作局部妆容所需的步骤。
2)合成时的乘法处理属性的赋予
局部妆容利用装置400(化妆模拟器等)在将通过本公开的局部妆容制作工具制作的局部妆容的局部妆容图像与用户的面部图像进行合成并显示时，希望进行与按各用户不同的皮肤色适应的自然的合成。由此，被赋予了乘法处理属性的局部妆容图像不进行基于单纯覆写处理的合成(覆盖显示)，而进行与合成对象的用户面部图像的乘法处理，由此能够进行与按各用户不同的肤色适应的自然的合成。此外，在粉底的情况下，根据合成颜色，也可以在亮的情况下变亮，在暗的情况下变暗(柔和光线)。
3)特殊效果(模式)的赋予
作为特殊效果的例子，存在包含箔丝(Lamé)、光亮(gloss)、珠光等光泽的质感。图2的局部妆容制作装置200制作用于显示包含箔丝、光亮、珠光等光泽的质感的信息(局部制作宏信息)。在箔丝处理中，例如制作表示基于金色的箔丝(淡、浓)、银色的箔丝(淡、浓)以及金色与银色的混合颜色箔丝(淡、浓)的光泽和颜色的模式图像。在光亮处理中，在局部图像中，在赋予基于光亮的光泽的区域(以下，称作“涂覆对象区域”)中，制作表示基于光亮的光泽的模式图像。另外，在珠光处理中，在局部图像的涂覆对象区域中，制作表示基于比上述箔丝细的颗粒的光泽和颜色的模式图像。图2的制作侧信息保存部220保存这些模式图像。这些模式图像可以经由描绘受理部230制作并输入到信息取得部240，也可以保存在制作侧信息保存部220中。
进而，图3的局部妆容取得部440经由通信网络等，取得由图2的局部妆容制作装置200制作的模式图像。此外，局部妆容取得部440也可以不经由通信网络取得上述模式图像，而独立地制作模式图像。图3的妆容信息提示部450针对局部图像的涂覆对象区域，覆盖地显示表示箔丝、光亮、珠光等质感的模式图像等，由此进行合成。此处，模式图像作为具有α信道(不透明度)的图像而制作。例如，使用图18，对赋予基于唇彩的光泽的情况下的工作进行说明。
图18是示出用于在图3的局部妆容利用装置400中赋予基于唇彩的光泽的工作的一例的流程图。
在步骤S3010中，局部妆容取得部440从面部图像取得部430取得面部图像，妆容信息提示部450显示所取得的面部图像。接下来，在步骤S3020中，提取预先制作的、表示上唇和下唇各自的基于唇彩的光泽及其位置、范围的唇彩模式图像。
在步骤S3030中，针对上唇和下唇，分别提取应该进行描绘处理的区域(描绘区域)。具体而言，在原始的面部图像的唇区域重叠任意颜色(RGB)，针对上唇和下唇各自的区域，提取应该赋予基于唇彩的光泽的涂覆对象区域(S3030)。
在步骤S3040中，针对上唇和下唇，分别按照原图像的唇部分的涂覆对象区域，保持唇彩模式图像的长宽比而放大或缩小，按照尺寸进行变形。
在步骤S3050中，在上唇和下唇这两个区域重叠唇彩模式图像来进行合成。在合成唇彩模式图像时，利用涂覆对象区域的面部特征点，来匹配唇彩模式图像的大小、位置。
在以上的说明中，对赋予基于唇彩的光泽的情况进行了说明，但这只是一例。与唇彩同样地，例如在眼影箔丝的情况下，针对眼睑上的涂覆对象区域，通过合成眼影的箔丝模式图像，能够表现箔丝的质感。
作为用于表现质感的另一方法，可以提取原图像的任意区域内的高亮部分，在强调了高亮部分的基础上，再次在上述区域上合成高亮部分。上述第一个方法(合成表示箔丝、光亮、珠光等光泽和颜色的模式图像)和第二个方法(高亮的合成)可以分别独立地使用，也可以组合地使用。
图2的信息处理部250基于以上的说明的局部制作宏信息，经由描绘受理部230作为描绘处理的宏菜单来显示。信息处理部250基于与用户选择出的菜单对应的局部制作宏信息，执行与局部妆容描绘相关的一系列的处理。信息处理部250进行将结果记录到制作侧信息保存部220或在描绘受理部230显示的处理。
此外，关于以上说明的局部制作宏信息的选择，也可以根据用户所选择(作业中)的局部妆容的类别，通过信息处理部250控制描绘受理部230来进行。例如，描绘受理部230可以仅显示与可选择的局部制作宏信息相关的菜单，或将可选择的菜单以外的菜单以灰显来显示。
此外，作为局部妆容制作装置200中的局部图像的输出方法，也可以输出预先合成了多个局部图像的合成局部图像。例如，合成多个眼影局部图像而作为一个合成眼影局部图像来输出。在该情况下，合成局部图像不是每一个具有1组颜色信息的二值图像，而是表现出具有合成的多个局部图像的颜色信息的彩色图像。另外，合成顺序遵照顺序信息。作为多个局部图像的组合，除了眼影以外，还有多个腮红图像的合成、粉底图像与遮瑕图像的组合、局部图像与模式图像(质感)的组合等。
＜其它变形例＞
另外，局部妆容利用装置400的妆容信息提示部450也可以生成将在与描绘过程的各时刻对应的各化妆步骤中应该显示的信息(相当于图16的模拟显示区域632和引导显示区域633信息)按顺序排列而得到的信息来作为化妆步骤手册(引导)。进而，妆容信息提示部450也可以通过邮件发送所生成的化妆步骤手册，或者作为对顾客的配送对象来印刷。
另外，局部妆容利用装置400的用途不限于上述例子。例如，将局部妆容制作装置200配置在熟练美容师所工作的美容网点，将局部妆容利用装置400配置在经验浅的美容师所工作的美容网点。在这样的用途中，经验浅的美容师能够远程地从熟练的美容师接受化妆技术或接待顾客技术的监督或指导。
例如，局部妆容利用装置400可以将应该按熟练的美容师制作的各化妆步骤来显示的信息顺序地排列而得到的信息或化妆步骤手册作为引导来显示。由此，经验浅的美容师能够远程接受各化妆步骤、化妆技术或接待顾客技术的监督或指导，或者独立地自学。
另外，例如，局部妆容利用装置400可以通过对面部印刷妆容的装置或对面部附加妆容的薄片印刷机或喷雾等，将在各化妆步骤中应该显示的信息按顺序排列而得到的信息或化妆步骤手册导入到对面部实施化妆的装置等。即，局部妆容利用装置400可以使用薄片印刷机或喷雾等，自动地对顾客的面部实施各化妆步骤。
另外，各装置的结构的一部分可以与该装置的结构的其它部分物理地分离。在该情况下，这些分离的多个部分需要各自具有用于彼此进行通信的通信部。例如，各装置的功能的一部分可以云计算化。
＜本公开的总结＞
本公开的局部妆容制作装置，具有：描绘受理部，其受理对面部图像重叠的化妆部件图像的描绘操作；信息取得部，其按所述描绘操作过程中的每个时刻，取得作为到该时刻为止所描绘的图像的经过图像和该时刻的描绘方法；以及信息处理部，其记录并输出按时间序列包含图像信息和技法信息的化妆部件信息，所述图像信息表示所述经过图像，所述技法信息表示所述描绘方法和作为与该描绘方法对应的化妆剂的涂抹方法的化妆方法中的至少一个。
此外，在上述局部妆容制作装置中，所述图像信息也可以包含表示以面部特征点为基准的所述经过图像的位置的位置信息。
另外，在上述局部妆容制作装置中，可以是，在所述技法信息表示所述描绘方法的情况下，所述描绘方法包含有在所述描绘操作中使用的虚拟描绘工具的类别、操作所述虚拟描绘工具时的笔压以及操作所述虚拟描绘工具时的运笔中的至少一个，在所述技法信息表示所述化妆方法的情况下，所述化妆方法包含与所述虚拟描绘工具的类别、所述笔压和所述运笔中的至少一个预先关联的在所述化妆剂的涂抹中使用的化妆涂抹工具的类别、和所述化妆剂的重叠涂抹次数中的至少一个。
另外，在上述局部妆容制作装置中，可以是，所述信息处理部在由所述信息取得部取得的所述描绘方法包含所述笔压的情况下，基于该笔压，生成表示所述化妆涂抹工具的类别和所述重叠涂抹次数中的至少一个的所述技法信息。
另外，在上述局部妆容制作装置中，可以是，所述信息取得部按每个所述时刻，基于所述笔压来决定在该时刻描绘的图像部分的宽度和浓度中的至少一个。
本公开的局部妆容制作装置具有：面部图像取得部，其取得面部图像；化妆部件取得部，其取得按时间序列包含化妆部件图像的描绘操作过程中的每个时刻的图像信息和技法信息的化妆部件信息，所述图像信息表示作为到该时刻为止所描绘的部分的图像的经过图像，所述技法信息表示该时刻的描绘方法和作为与该描绘方法对应的化妆剂的涂抹方法的化妆方法中的至少一个；以及妆容信息提示部，其基于取得的所述化妆部件信息，将所述经过图像按时间序列重叠于所述面部图像并显示，并且与所述经过图像的显示联动地，按时间序列提示所述化妆方法。
此外，在上述局部妆容利用装置中，可以是，所述面部图像取得部从所述面部图像中提取面部特征点，所述图像信息包含表示以所述面部特征点为基准的所述经过图像的位置的位置信息，所述妆容信息提示部以所述面部特征点为基准，决定所述经过图像相对于所述面部图像的重叠位置。
另外，在上述局部妆容利用装置中，可以是，所述妆容信息提示部提示包含有在所述化妆剂的涂抹中使用的化妆涂抹工具的类别和所述化妆剂的重叠涂抹次数中的至少一个的所述化妆方法。
另外，在上述局部妆容利用装置中，可以是，所述妆容信息提示部在由所述化妆部件取得部取得的所述技法信息表示所述描绘方法且不表示所述化妆方法的情况下，将所述描绘方法转换为所述化妆方法。
另外，在上述局部妆容利用装置中，可以是，所述妆容信息提示部在由所述化妆部件取得部取得的所述技法信息表示在所述描绘操作中操作虚拟描绘工具时的笔压的情况下，将该笔压转换为所述化妆涂抹工具的类别和所述重叠涂抹次数中的至少一个。
本公开的局部妆容制作方法包括：受理对面部图像重叠的化妆部件图像的描绘操作的步骤；按所述描绘操作过程中的每个时刻，取得作为到该时刻为止所描绘的图像的经过图像和该时刻的描绘方法的步骤；以及记录并输出按时间序列包含图像信息和技法信息的化妆部件信息的步骤，所述图像信息表示所述经过图像，所述技法信息表示所述描绘方法和作为与该描绘方法对应的化妆剂的涂抹方法的化妆方法中的至少一个。
本公开的局部妆容利用方法包括：取得面部图像的步骤；取得按时间序列包含化妆部件图像的描绘操作过程中的每个时刻的图像信息和技法信息的化妆部件信息的步骤，所述图像信息表示作为到该时刻为止所描绘的部分的图像的经过图像，所述技法信息表示该时刻的描绘方法和作为与该描绘方法对应的化妆剂的涂抹方法的化妆方法中的至少一个；以及基于取得的所述化妆部件信息，将所述经过图像按时间序列重叠于所述面部图像并进行显示，并且与所述经过图像的显示联动地，按时间序列提示所述技法信息的步骤。
本公开的局部妆容制作程序使计算机执行如下处理：受理对面部图像重叠的化妆部件图像的描绘操作的处理；按所述描绘操作过程中的每个时刻，取得作为到该时刻为止所描绘的图像的经过图像和该时刻的描绘方法的处理；以及记录并输出按时间序列包含图像信息和技法信息的化妆部件信息的处理，所述图像信息表示所述经过图像，所述技法信息表示所述描绘方法和作为与该描绘方法对应的化妆剂的涂抹方法的化妆方法中的至少一个。
本公开的局部妆容利用程序使计算机执行如下处理：取得面部图像的处理；取得按时间序列包含化妆部件图像的描绘操作过程中的每个时刻的图像信息和技法信息的化妆部件信息的处理，所述图像信息表示作为到该时刻为止所描绘的部分的图像的经过图像，所述技法信息表示该时刻的描绘方法和作为与该描绘方法对应的化妆剂的涂抹方法的化妆方法中的至少一个；以及基于取得的所述化妆部件信息，将所述经过图像按时间序列重叠于所述面部图像并进行显示，并且与所述经过图像的显示联动地，按时间序列提示所述技法信息的处理。
本公开的技术对于能够更准确地实现局部妆容图像标示的妆容的局部妆容制作装置、局部妆容利用装置、局部妆容制作方法、局部妆容利用方法、局部妆容制作程序和局部妆容利用程序是有用的。
标号说明
100 化妆辅助***
110 通信网络
200 局部妆容制作装置
210 制作侧通信部
220 制作侧信息保存部
230 描绘受理部
240 信息取得部
250 信息处理部
300 信息服务器
400 局部妆容利用装置
410 利用侧通信部
420 利用侧信息保存部
430 面部图像取得部
440 局部妆容取得部
450 妆容信息提示部

Claims (14)

1.一种局部妆容制作装置，具有：
描绘受理部，其受理对面部图像重叠的局部妆容图像的描绘操作；
信息取得部，其按所述描绘操作过程中的每个时刻，取得作为到该时刻为止所描绘的图像的经过图像和该时刻的描绘方法；以及
信息处理部，其记录并输出按时间序列包含图像信息和技法信息的局部妆容信息，所述图像信息表示所述经过图像，所述技法信息表示所述描绘方法和作为与该描绘方法对应的化妆剂的涂抹方法的化妆方法中的至少一个。
2.根据权利要求1所述的局部妆容制作装置，
所述图像信息包含表示以面部特征点为基准的所述经过图像的位置的位置信息。
3.根据权利要求2所述的局部妆容制作装置，
在所述技法信息表示所述描绘方法的情况下，所述描绘方法包含有在所述描绘操作中使用的虚拟描绘工具的类别、操作所述虚拟描绘工具时的笔压以及操作所述虚拟描绘工具时的运笔中的至少一个，
在所述技法信息表示所述化妆方法的情况下，所述化妆方法包含与所述虚拟描绘工具的类别、所述笔压和所述运笔中的至少一个预先关联的在所述化妆剂的涂抹中使用的化妆涂抹工具的类别、和所述化妆剂的重叠涂抹次数中的至少一个。
4.根据权利要求3所述的局部妆容制作装置，
所述信息处理部在由所述信息取得部取得的所述描绘方法包含所述笔压的情况下，基于该笔压，生成表示所述化妆涂抹工具的类别和所述重叠涂抹次数中的至少一个的所述技法信息。
5.根据权利要求3所述的局部妆容制作装置，
所述信息取得部按每个所述时刻，基于所述笔压来决定在该时刻描绘的图像部分的宽度和浓度中的至少一个。
6.一种局部妆容利用装置，具有：
面部图像取得部，其取得面部图像；
局部妆容取得部，其取得按时间序列包含局部妆容图像的描绘操作过程中的每个时刻的图像信息和技法信息的局部妆容信息，所述图像信息表示作为到该时刻为止所描绘的部分的图像的经过图像，所述技法信息表示该时刻的描绘方法和作为与该描绘方法对应的化妆剂的涂抹方法的化妆方法中的至少一个；以及
妆容信息提示部，其基于取得的所述局部妆容信息，将所述经过图像按时间序列重叠于所述面部图像并显示，并且与所述经过图像的显示联动地，按时间序列提示所述化妆方法。
7.根据权利要求6所述的局部妆容利用装置，
所述面部图像取得部从所述面部图像中提取面部特征点，
所述图像信息包含表示以所述面部特征点为基准的所述经过图像的位置的位置信息，
所述妆容信息提示部以所述面部特征点为基准，决定所述经过图像相对于所述面部图像的重叠位置。
8.根据权利要求7所述的局部妆容利用装置，
所述妆容信息提示部提示包含有在所述化妆剂的涂抹中使用的化妆涂抹工具的类别和所述化妆剂的重叠涂抹次数中的至少一个的所述化妆方法。
9.根据权利要求8所述的局部妆容利用装置，
所述妆容信息提示部在由所述局部妆容取得部取得的所述技法信息表示所述描绘方法且不表示所述化妆方法的情况下，将所述描绘方法转换为所述化妆方法。
10.根据权利要求9所述的局部妆容利用装置，
所述妆容信息提示部在由所述局部妆容取得部取得的所述技法信息表示在所述描绘操作中操作虚拟描绘工具时的笔压的情况下，将该笔压转换为所述化妆涂抹工具的类别和所述重叠涂抹次数中的至少一个。
11.一种局部妆容制作方法，包括：
受理对面部图像重叠的局部妆容图像的描绘操作的步骤；
按所述描绘操作过程中的每个时刻，取得作为到该时刻为止所描绘的图像的经过图像和该时刻的描绘方法的步骤；以及
记录并输出按时间序列包含图像信息和技法信息的局部妆容信息的步骤，所述图像信息表示所述经过图像，所述技法信息表示所述描绘方法和作为与该描绘方法对应的化妆剂的涂抹方法的化妆方法中的至少一个。
12.一种局部妆容利用方法，包括：
取得面部图像的步骤；
取得按时间序列包含局部妆容图像的描绘操作过程中的每个时刻的图像信息和技法信息的局部妆容信息的步骤，所述图像信息表示作为到该时刻为止所描绘的部分的图像的经过图像，所述技法信息表示该时刻的描绘方法和作为与该描绘方法对应的化妆剂的涂抹方法的化妆方法中的至少一个；以及
基于取得的所述局部妆容信息，将所述经过图像按时间序列重叠于所述面部图像并进行显示，并且与所述经过图像的显示联动地，按时间序列提示所述技法信息的步骤。
13.一种局部妆容制作程序，使计算机执行如下处理：
受理对面部图像重叠的局部妆容图像的描绘操作的处理；
按所述描绘操作过程中的每个时刻，取得作为到该时刻为止所描绘的图像的经过图像和该时刻的描绘方法的处理；以及
记录并输出按时间序列包含图像信息和技法信息的局部妆容信息的处理，所述图像信息表示所述经过图像，所述技法信息表示所述描绘方法和作为与该描绘方法对应的化妆剂的涂抹方法的化妆方法中的至少一个。
14.一种局部妆容利用程序，使计算机执行如下处理：
取得面部图像的处理；
取得按时间序列包含局部妆容图像的描绘操作过程中的每个时刻的图像信息和技法信息的局部妆容信息的处理，所述图像信息表示作为到该时刻为止所描绘的部分的图像的经过图像，所述技法信息表示该时刻的描绘方法和作为与该描绘方法对应的化妆剂的涂抹方法的化妆方法中的至少一个；以及
基于取得的所述局部妆容信息，将所述经过图像按时间序列重叠于所述面部图像并进行显示，并且与所述经过图像的显示联动地，按时间序列提示所述技法信息的处理。
CN201680069583.0A 2015-12-25 2016-11-29 局部妆容制作、局部妆容利用装置、方法和记录介质 Expired - Fee Related CN108292423B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015-254174 2015-12-25
JP2015254174 2015-12-25
PCT/JP2016/004990 WO2017110041A1 (ja) 2015-12-25 2016-11-29 メイクパーツ作成装置、メイクパーツ利用装置、メイクパーツ作成方法、メイクパーツ利用方法、メイクパーツ作成プログラム、およびメイクパーツ利用プログラム

Publications (2)

Publication Number Publication Date
CN108292423A true CN108292423A (zh) 2018-07-17
CN108292423B CN108292423B (zh) 2021-07-06

Family

ID=59089924

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680069583.0A Expired - Fee Related CN108292423B (zh) 2015-12-25 2016-11-29 局部妆容制作、局部妆容利用装置、方法和记录介质

Country Status (6)

Country Link
US (1) US10783672B2 (zh)
EP (1) EP3396619A4 (zh)
JP (1) JP6778877B2 (zh)
CN (1) CN108292423B (zh)
HK (1) HK1255469A1 (zh)
WO (1) WO2017110041A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109165571A (zh) * 2018-08-03 2019-01-08 北京字节跳动网络技术有限公司 用于***图像的方法和装置
CN111610924A (zh) * 2020-04-30 2020-09-01 北京小米移动软件有限公司 基于颜色采集的数据处理方法及装置、触控笔、终端设备
CN113837020A (zh) * 2021-08-31 2021-12-24 北京新氧科技有限公司 一种化妆进度检测方法、装置、设备及存储介质
CN116301531A (zh) * 2023-05-23 2023-06-23 世优（北京）科技有限公司 基于虚拟数字人的化妆方法、装置及***

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6731616B2 (ja) * 2016-06-10 2020-07-29 パナソニックＩｐマネジメント株式会社 バーチャルメイク装置、バーチャルメイク方法、およびバーチャルメイクプログラム
US10373348B2 (en) * 2016-08-05 2019-08-06 Optim Corporation Image processing apparatus, image processing system, and program
US10540697B2 (en) * 2017-06-23 2020-01-21 Perfect365 Technology Company Ltd. Method and system for a styling platform
JP6470438B1 (ja) * 2017-08-10 2019-02-13 株式会社ミラーロイド ミラー装置及びプログラム
CN109407912A (zh) * 2017-08-16 2019-03-01 丽宝大数据股份有限公司 电子装置及其提供试妆信息方法
KR102339223B1 (ko) * 2017-08-22 2021-12-15 삼성전자주식회사 전자 장치 및 전자 장치에서 카메라 기능과 연관된 콘텐트 제공 방법
JP2019115653A (ja) * 2017-12-26 2019-07-18 パナソニックＩｐマネジメント株式会社 身体外観補正支援装置、身体外観補正支援方法、およびコンピュータプログラム
JP2021518785A (ja) * 2018-04-27 2021-08-05 ザ プロクター アンド ギャンブル カンパニーＴｈｅ Ｐｒｏｃｔｅｒ ＆ Ｇａｍｂｌｅ Ｃｏｍｐａｎｙ 表面適用製品のユーザーコンプライアンスを改善するための方法及びシステム
US10885697B1 (en) * 2018-12-12 2021-01-05 Facebook, Inc. Systems and methods for generating augmented-reality makeup effects
CN109558011B (zh) * 2018-12-21 2022-06-17 佛山市海科云筹信息技术有限公司 一种虚拟口红试色方法、装置及电子设备
KR102031512B1 (ko) * 2019-01-23 2019-10-11 조기용 스마트 미러를 갖는 사용자 뷰티 크리에이터 화장 제공 방법
US11253045B2 (en) * 2019-07-18 2022-02-22 Perfect Mobile Corp. Systems and methods for recommendation of makeup effects based on makeup trends and facial analysis
JP6969622B2 (ja) * 2020-02-20 2021-11-24 株式会社セガ 撮影遊戯装置およびプログラム
CN111563427A (zh) * 2020-04-23 2020-08-21 中国科学院半导体研究所 人脸图像属性编辑方法、装置及设备
CN113450248A (zh) * 2020-08-24 2021-09-28 北京新氧科技有限公司 基于图像的操作引导方法、装置、设备及可读存储介质
CN112749634A (zh) * 2020-12-28 2021-05-04 广州星际悦动股份有限公司 基于美容设备的控制方法、装置以及电子设备
KR102350186B1 (ko) * 2021-04-08 2022-01-12 조준경 반영구 화장 시술 연습 시스템
CN113837016B (zh) * 2021-08-31 2024-07-02 北京新氧科技有限公司 一种化妆进度检测方法、装置、设备及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005044283A (ja) * 2003-07-25 2005-02-17 Seiko Epson Corp 化粧品ガイダンスシステム、サーバ装置、端末装置およびプログラム
CN1867881A (zh) * 2003-09-12 2006-11-22 O－笔公司 确定辐射散射/反射件的位置的***和方法
US20090231356A1 (en) * 2008-03-17 2009-09-17 Photometria, Inc. Graphical user interface for selection of options from option groups and methods relating to same
US20120223956A1 (en) * 2011-03-01 2012-09-06 Mari Saito Information processing apparatus, information processing method, and computer-readable storage medium
CN103970525A (zh) * 2013-01-25 2014-08-06 韩国电子通信研究院 用于虚拟化妆的设备和方法
CN104380339A (zh) * 2013-04-08 2015-02-25 松下电器（美国）知识产权公司 能够将涂敷了化妆涂料的状态虚拟地再现的图像处理装置、图像处理方法、程序
CN104584531A (zh) * 2012-08-30 2015-04-29 夏普株式会社 图像处理装置以及图像显示装置
CN104797165A (zh) * 2013-08-30 2015-07-22 松下知识产权经营株式会社 化妆辅助装置、化妆辅助方法以及化妆辅助程序
CN104822292A (zh) * 2013-08-30 2015-08-05 松下知识产权经营株式会社 化妆辅助装置、化妆辅助***、化妆辅助方法以及化妆辅助程序

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6870550B1 (en) * 1999-04-26 2005-03-22 Adobe Systems Incorporated Digital Painting
JP3984191B2 (ja) 2002-07-08 2007-10-03 株式会社東芝 仮想化粧装置及びその方法
JP2009064423A (ja) 2007-08-10 2009-03-26 Shiseido Co Ltd メイクアップシミュレーションシステム、メイクアップシミュレーション装置、メイクアップシミュレーション方法およびメイクアップシミュレーションプログラム
JP5442966B2 (ja) 2008-07-10 2014-03-19 株式会社 資生堂 ゲーム装置、ゲーム制御方法、ゲーム制御プログラム、及び、該プログラムを記録した記録媒体
US8854342B2 (en) * 2012-03-02 2014-10-07 Adobe Systems Incorporated Systems and methods for particle-based digital airbrushing
TWI457794B (zh) * 2012-03-28 2014-10-21 Wistron Corp 可偵測筆觸壓力之觸控筆及其光機系統
EP3005085A1 (en) * 2013-05-29 2016-04-13 Nokia Technologies Oy An apparatus and associated methods
US10553006B2 (en) * 2014-09-30 2020-02-04 Tcms Transparent Beauty, Llc Precise application of cosmetic looks from over a network environment

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005044283A (ja) * 2003-07-25 2005-02-17 Seiko Epson Corp 化粧品ガイダンスシステム、サーバ装置、端末装置およびプログラム
CN1867881A (zh) * 2003-09-12 2006-11-22 O－笔公司 确定辐射散射/反射件的位置的***和方法
US20090231356A1 (en) * 2008-03-17 2009-09-17 Photometria, Inc. Graphical user interface for selection of options from option groups and methods relating to same
US20120223956A1 (en) * 2011-03-01 2012-09-06 Mari Saito Information processing apparatus, information processing method, and computer-readable storage medium
CN104584531A (zh) * 2012-08-30 2015-04-29 夏普株式会社 图像处理装置以及图像显示装置
CN103970525A (zh) * 2013-01-25 2014-08-06 韩国电子通信研究院 用于虚拟化妆的设备和方法
CN104380339A (zh) * 2013-04-08 2015-02-25 松下电器（美国）知识产权公司 能够将涂敷了化妆涂料的状态虚拟地再现的图像处理装置、图像处理方法、程序
CN104797165A (zh) * 2013-08-30 2015-07-22 松下知识产权经营株式会社 化妆辅助装置、化妆辅助方法以及化妆辅助程序
CN104822292A (zh) * 2013-08-30 2015-08-05 松下知识产权经营株式会社 化妆辅助装置、化妆辅助***、化妆辅助方法以及化妆辅助程序

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109165571A (zh) * 2018-08-03 2019-01-08 北京字节跳动网络技术有限公司 用于***图像的方法和装置
US11205290B2 (en) 2018-08-03 2021-12-21 Beijing Bytedance Network Technology Co., Ltd. Method and device for inserting an image into a determined region of a target eye image
CN111610924A (zh) * 2020-04-30 2020-09-01 北京小米移动软件有限公司 基于颜色采集的数据处理方法及装置、触控笔、终端设备
CN113837020A (zh) * 2021-08-31 2021-12-24 北京新氧科技有限公司 一种化妆进度检测方法、装置、设备及存储介质
CN113837020B (zh) * 2021-08-31 2024-02-02 北京新氧科技有限公司 一种化妆进度检测方法、装置、设备及存储介质
CN116301531A (zh) * 2023-05-23 2023-06-23 世优（北京）科技有限公司 基于虚拟数字人的化妆方法、装置及***
CN116301531B (zh) * 2023-05-23 2023-08-11 世优（北京）科技有限公司 基于虚拟数字人的化妆方法、装置及***

Also Published As

Publication number Publication date
WO2017110041A1 (ja) 2017-06-29
HK1255469A1 (zh) 2019-08-16
EP3396619A1 (en) 2018-10-31
EP3396619A4 (en) 2019-05-08
CN108292423B (zh) 2021-07-06
JP6778877B2 (ja) 2020-11-04
US10783672B2 (en) 2020-09-22
JPWO2017110041A1 (ja) 2018-10-11
US20180268572A1 (en) 2018-09-20

Similar Documents

Publication Publication Date Title
CN108292423A (zh) 局部妆容制作装置、局部妆容利用装置、局部妆容制作方法、局部妆容利用方法、局部妆容制作程序和局部妆容利用程序
CN110612533B (zh) 用于根据表情对图像进行识别、排序和呈现的方法
CN104205162B (zh) 化妆辅助装置和化妆辅助方法
US8550818B2 (en) System and method for providing and modifying a personalized face chart
CN104203042B (zh) 化妆辅助装置、化妆辅助方法、以及记录介质
JP5324031B2 (ja) 美容シミュレーションシステム
EP3697258B1 (en) Method for manufacturing a personalized applicator for the application of a cosmetic composition
Sun et al. SmartPaint: a co-creative drawing system based on generative adversarial networks
US20070052726A1 (en) Method and system for likeness reconstruction
Olszewski et al. Intuitive, interactive beard and hair synthesis with generative models
JP6934632B2 (ja) メイクトレンド分析装置、メイクトレンド分析方法、およびメイクトレンド分析プログラム
CN116744820A (zh) 数字彩妆师
CN112465606A (zh) 一种化妆品定制***
US8523570B2 (en) System and method for providing a face chart
JP2013178789A (ja) 美容シミュレーションシステム
Gayler et al. FlavorDesigner app: Capturing multisensory experiences and crafting personalized flavors for cueing their recall
Maughan The artist's complete guide to drawing the head
Nishimura et al. iMake: eye makeup design generator
Jeamsinkul MasqueArray: Automatic makeup selector/applicator
US20240065420A1 (en) Interreality cosmetics for a smart cosmetic device system
WO2023120525A1 (ja) 印象変更支援方法
Iacono Watercolor Fashion Illustration: Step-by-step techniques for illustrating fashion and figures in watercolors
Hammond How To Draw Lifelike Portraits From Photographs-Revised: 20 step-by-step demonstrations
Giardina Exploring Choices: a case study of color-customised lipstick choices
Shi et al. Personalizing Products with Stylized Head Portraits for Self-Expression

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1255469

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210706