JP6731616B2 - バーチャルメイク装置、バーチャルメイク方法、およびバーチャルメイクプログラム - Google Patents

バーチャルメイク装置、バーチャルメイク方法、およびバーチャルメイクプログラム Download PDF

Info

Publication number
JP6731616B2
JP6731616B2 JP2016116340A JP2016116340A JP6731616B2 JP 6731616 B2 JP6731616 B2 JP 6731616B2 JP 2016116340 A JP2016116340 A JP 2016116340A JP 2016116340 A JP2016116340 A JP 2016116340A JP 6731616 B2 JP6731616 B2 JP 6731616B2
Authority
JP
Japan
Prior art keywords
makeup
virtual makeup
camera
virtual
face image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016116340A
Other languages
English (en)
Other versions
JP2017220158A (ja
Inventor
冨田　裕人
裕人 冨田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2016116340A priority Critical patent/JP6731616B2/ja
Priority to US16/306,276 priority patent/US10666853B2/en
Priority to CN201780033963.3A priority patent/CN109196856B/zh
Priority to PCT/JP2017/018311 priority patent/WO2017212878A1/ja
Publication of JP2017220158A publication Critical patent/JP2017220158A/ja
Application granted granted Critical
Publication of JP6731616B2 publication Critical patent/JP6731616B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H04N23/959—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

本開示は、顔映像に対してバーチャルメイクを行うバーチャルメイク装置、バーチャルメイク方法、およびバーチャルメイクプログラムに関する。
従来、顔を撮影した画像に対して画像処理により仮想的な化粧を施す、いわゆるバーチャルメイクに関する技術が存在する（例えば、特許文献１参照）。特許文献１に記載の技術は、オートフォーカス機能を備えたカメラによって撮影された顔の静止画像を表示させ、目や唇等の顔部品に対する選択操作が行われると、選択された顔部品の部分の色を任意の色に置き換える。かかる技術によれば、ユーザが選択した顔部品に対して仮想的に化粧が施された画像を、簡単に生成する事ができる。
更に、近年では、顔を撮影した動画（以下「顔映像」という）に対するバーチャルメイクに関する技術の開発も盛んである（例えば、特許文献２参照）。特許文献２に記載の技術は、目頭や口角等の顔特徴点をトラッキングポイントとして顔部品の位置を追跡し、アイシャドウや口紅等のメイクパーツの画像（以下「メイクパーツ画像」という）を、映像において顔の所定位置に継続的に重畳する。かかる技術によれば、顔の位置や向きが時々刻々と変化する顔映像においても、バーチャルメイクを実現する事ができる。
特開２００１−２０４５４５号公報 特開２０１３−１０１６３３号公報
ところで、顔映像に対するバーチャルメイクの内容を指定する操作（以下「メイク指定操作」という）が行われる毎に、操作の内容をリアルタイムで反映した映像を生成および表示する事が考えられる。このようなバーチャルメイクは、以下、単に「顔映像に対するバーチャルメイク」という。
ところが、顔映像に対するバーチャルメイクにおいてオートフォーカス動作が頻繁に行われると、ユーザに不快感を与えるおそれがある。なぜなら、画像のコントラストによりフォーカス位置を決定するコントラストオートフォーカス動作は、フォーカスレンズを前後に移動させてコントラストのピーク位置（テクスチャが最も鮮明になるレンズ位置）をサーチするものであるため、表示映像を乱すからである。
一方で、ユーザが注目している顔画像がぼやけていると、やはりユーザに不快感を与え得る。したがって、顔映像に対するバーチャルメイクを、より快適に行う事を可能にするような技術が望まれる。
本開示の目的は、顔映像に対するバーチャルメイクをより快適に行う事を可能にするバーチャルメイク装置、バーチャルメイク方法、およびバーチャルメイクプログラムを提供する事である。
本開示のバーチャルメイク装置は、オートフォーカス機能を備えたカメラによって撮影された顔映像を表示させた状態において、前記顔映像に対するバーチャルメイクの内容を指定するメイク指定操作を受け付ける表示制御部と、所定の前記メイク指定操作が行われた事を条件として、前記カメラのオートフォーカス動作を開始させるカメラ制御部と、を有する。
本開示のバーチャルメイク方法は、オートフォーカス機能を備えたカメラによって撮影された顔映像の表示を開始し、前記顔映像に対するバーチャルメイクの内容を指定するメイク指定操作を受け付けるステップと、所定の前記メイク指定操作が行われた事を条件として、前記カメラのオートフォーカス動作を開始させるステップと、を有する。
本開示のバーチャルメイクプログラムは、オートフォーカス機能を備えたカメラによって撮影された顔映像の表示を開始し、前記顔映像に対するバーチャルメイクの内容を指定するメイク指定操作を受け付けるステップと、所定の前記メイク指定操作が行われた事を条件として、前記カメラのオートフォーカス動作を開始させるステップと、を有する。
本開示によれば、顔映像に対するバーチャルメイクをより快適に行う事を可能にする。
本開示の一実施の形態に係るバーチャルメイク装置の使用状態の一例を示す図 本実施の形態におけるバーチャルメイク画面一例を示す図 本実施の形態に係るバーチャルメイク装置の構成の一例を示すブロック図 本実施の形態における顔部品情報テーブルの一例を示す図 本実施の形態における化粧アイテム情報テーブルの一例を示す図 本実施の形態における情報対応テーブルの一例を示す図 本実施の形態に係るバーチャルメイク装置の動作の一例を示すフローチャート
以下、本開示の一実施の形態について、図面を参照して詳細に説明する。
＜装置の概要＞
まず、本実施の形態に係るバーチャルメイク装置の概要について説明する。
図１は、本実施の形態に係るバーチャルメイク装置の使用状態の一例を示す図である。
図１に示すように、バーチャルメイク装置１００は、例えば、卓上に立てて置く事が可能なタブレット型端末である。バーチャルメイク装置１００は、板状の筐体１１０の主面に、カメラ１２０およびタッチパネル付きディスプレイ１３０を配置している。なお、バーチャルメイク装置１００は、筐体１１０の主面に、ライトを更に配置していてもよい。
ユーザ２００とバーチャルメイク装置１００との間の相対位置は、例えば、カメラ１２０に顔２１０が写り、タッチパネル付きディスプレイ１３０を視認でき、かつ、指２２０がタッチパネル付きディスプレイ１３０に触れられるように、ユーザ２００によって調整される。
カメラ１２０は、オートフォーカス機能を備えたデジタルカメラであり、ユーザ２００の顔２１０の映像（以下「顔映像」という）を撮影する。
タッチパネル付きディスプレイ１３０は、顔映像に対するバーチャルメイクを行うためのユーザインタフェースである、バーチャルメイク画面３００を表示する。
図２は、バーチャルメイク画面３００の一例を示す図である。
図２に示すように、バーチャルメイク画面３００は、映像表示領域３１０および操作受付領域３２０を含む。
映像表示領域３１０は、カメラ１２０が撮影した顔映像の鏡像映像（以下、単に「顔映像」という）を、リアルタイムで表示する。また、映像表示領域３１０は、操作受付領域３２０に対する操作に応じて、当該操作に基づいて決定されたメイクパーツ画像（図示せず）を、顔映像に重畳して表示する。
なお、ここで、「リアルタイム」とは、ユーザ２００が鏡を見ている感覚に近い感覚を覚える程度に小さい遅延時間を含む概念とする。また、メイクパーツ画像とは、化粧アイテム（例えば、口紅やアイシャドウ）を、対応する顔部品（例えば、唇や瞼）に施したときの、化粧した状態を示す画像である。
操作受付領域３２０は、例えば、アイテム選択エリア３２１、色選択エリア３２２、スタイル選択エリア３２３、および処理選択エリア３２４を含む。
アイテム選択エリア３２１は、予め定められた複数の化粧アイテムの中から、操作の対象となる化粧アイテムを選択する操作を受け付ける。なお、アイテム選択エリア３２１は、大分類と小分類とで階層的に選択操作を受け付けてもよい。色選択エリア３２２は、化粧アイテム毎に予め定められた複数の色の中から、化粧アイテムに適用する色を選択する操作を受け付ける。スタイル選択エリア３２３は、化粧アイテム毎に予め定められた複数の化粧の塗布形状の中から、化粧アイテムに適用する形状を選択する操作を受け付ける。すなわち、アイテム選択エリア３２１〜スタイル選択エリア３２３は、バーチャルメイクの内容を指定する操作（以下「メイク指定操作」という））を受け付ける。
処理選択エリア３２４は、メイク指定操作により指定されたバーチャルメイクの内容を示す情報（以下「メイク指定情報」という）に関して実行すべき処理を選択する操作を受け付ける。かかる処理には、メイク指定情報に対応するメイクパーツ画像のプレビュー表示およびメイク指定情報の記録等を含む。
映像表示領域３１０は、撮影した顔映像をリアルタイムで表示し続けている。この状態で、カメラ１２０（図１参照）のオートフォーカス動作が頻繁に行われると、上述の通り、ユーザに不快感を与えるおそれがある。そこで、バーチャルメイク装置１００は、所定のメイク指定操作が行われた事を条件として、カメラ１２０のオートフォーカス動作を開始させるようにし、当該操作が行われていないときは、むやみにオートフォーカス動作を行わないようにする。
例えば、バーチャルメイク装置１００は、アイテム選択エリア３２１において、化粧アイテムを選択する操作（以下「アイテム選択操作」という）が行われたか否かを逐次判定する。そして、バーチャルメイク装置１００は、アイテム選択操作が行われたとき、選択された化粧アイテム（例えば口紅）に対応する顔部分（例えば唇）３１１をフォーカス位置として、カメラ１２０のフォーカス動作を行う。なお、バーチャルメイク装置１００は、フォーカス位置を示すフォーカス枠３１２を、処理選択エリア３２４の顔映像に重畳して表示してもよい。
ユーザ２００（図１参照）は、例えばリップ類（ＬＩＰ）のバーチャルメイクを開始しようとする場合、まず、アイテム選択エリア３２１において、口紅を選択する。すると、バーチャルメイク装置１００は、即座に口紅に対応する顔部品である唇にフォーカス（焦点）を合わせ、ユーザ２００が注目している唇が鮮明に映し出された顔映像を表示する。
すなわち、バーチャルメイク装置１００は、オートフォーカス動作がむやみに行われる事による煩わしさを回避しつつ、ユーザ２００がバーチャルメイクの対象として注目している顔部分を鮮明に表示する事を可能にする。
以下、かかるバーチャルメイク装置１００の構成および動作について、詳細に説明する。
＜装置の構成＞
まず、バーチャルメイク装置１００の構成について説明する。
図３は、バーチャルメイク装置１００の構成の一例を示すブロック図である。
図３において、バーチャルメイク装置１００は、カメラ１２０、タッチパネル付きディスプレイ１３０、情報格納部１４０、映像処理部１５０、表示制御部１６０、およびカメラ制御部１７０を有する。
カメラ１２０は、図示しない光学系、シャッター機構、および撮像素子を有するデジタルカメラであり、顔映像を撮影し、得られた顔映像のストリームデータを、映像処理部１５０へ出力する。なお、顔映像を左右方向において反転させる処理は、カメラ１２０において行われてもよいし、後段の映像処理部１５０または表示制御部１６０において行われてもよい。
また、カメラ１２０は、ＡＦ（Auto Focus）部１２１を有している。ＡＦ部１２１は、後述のカメラ制御部１７０からフォーカス位置を指定されたとき、かかる位置にフォーカスを合わせるフォーカス動作を行う。なお、カメラ１２０は、フォーカス動作の有無によらず、撮影を行い、映像ストリームデータを出力する。
タッチパネル付きディスプレイ１３０は、例えば、液晶ディスプレイとその表面に配置された透明なタッチパネルを有する。タッチパネル付きディスプレイ１３０は、ユーザの指２２０がタッチパネル付きディスプレイ１３０に接触しているとき、かかる接触を検出し、どの領域に指２２０が接触しているかを示す操作情報を表示制御部１６０へ出力する。また、タッチパネル付きディスプレイ１３０は、例えば画像信号の入力等による表示制御部１６０からの制御を受けて、上述のバーチャルメイク画面３００（図２参照）等の各種画像および映像を表示する。
情報格納部１４０は、バーチャルメイク装置１００の各部が動作するのに必要な各種情報を格納する。情報格納部１４０は、例えば、顔部品情報テーブル、化粧アイテム情報テーブル、および情報対応テーブルを予め格納している。
図４は、顔部品情報テーブルの一例を示す図である。
図４に示すように、顔部品情報テーブル４１０は、顔部品４１１毎に、抽出用情報４１２、基準顔特徴点４１３、ＡＦ用領域４１４等を記述している。
抽出用情報４１２は、顔映像から、顔部品を抽出するための情報であり、例えば、顔部品を含む画像領域の画像特徴である。基準顔特徴点４１３は、顔特徴点のうち、顔部品が顔映像において占める領域の基準となる、１つまたは複数の顔特徴点である。ＡＦ用領域４１４は、基準顔特徴点４１３を基準として定まる、顔部品にフォーカスを合わせる際にフォーカス判定の対象となる領域である。
例えば、「唇」という顔部品４１１に対応付けて、「Ｅ１」という抽出用情報４１２、「左口角、右口角、・・・」という基準顔特徴点４１３、および「Ｆ１」というＡＦ用領域４１４が記述されている。これは、顔映像から唇を抽出する場合、抽出用情報Ｅ１を用いる事、および、唇にフォーカスを合わせる場合には左口角や右口角等の顔特徴点を基準として定まる領域Ｆ１を用いてコントラストのピーク位置をサーチする事を、規定している。
図５は、化粧アイテム情報テーブルの一例を示す図である。
図５に示すように、化粧アイテム情報テーブル４２０は、化粧アイテム４２１と化粧アイテムの細目であるアイテム細目４２２との組合せ（以下、単に「化粧アイテム」という毎に、色４２３、濃さ４２４、基準顔特徴点４２５、およびパーツ領域４２６を記述している。
色４２３は、化粧アイテムのメイクパーツ画像の色である。濃さ４２４は、メイクパーツ画像を顔画像に重畳する際の透過度である。基準顔特徴点４２５は、顔特徴点のうち、メイクパーツ画像が顔映像において占める領域の基準となる、１つまたは複数の顔特徴点である。パーツ領域４２６は、基準顔特徴点４２５を基準として定まる、メイクパーツ画像が顔映像において占める領域である。
例えば、「リップ類（ＬＩＰＳ）」という化粧アイテム４２１の「口紅」というアイテム細目４２２に対応付けて、「ピンク」という色４２３、「Ｄ１１」という濃さ４２４、「左口角、右口角、・・・」という基準顔特徴点４２４、および「Ｍ１１」というパーツ領域４２６が記述されている。これは、口紅の色としてピンクが選択された場合、顔映像のうち左口角や右口角等の顔特徴点を基準として定まる領域Ｍ１１を、濃さＤ１１のピンクで占めるような画像を、メイクパーツ画像として使用する事を規定している。
図６は、情報対応テーブルの一例を示す図である。
図６に示すように、情報対応テーブル４３０は、化粧アイテム４３１毎に、当該化粧アイテム４３１の適用の対象となる顔部品４３２を記述している。すなわち、情報対応テーブル４３０は、ユーザ２００がバーチャルメイクの対象として選択している化粧アイテム４３１が存在するとき、どの顔部品４３２にユーザ２００が注目している可能性が高いかを記述している。なお、化粧アイテム４３１は、化粧アイテム情報テーブル４２０に記述された化粧アイテム４２１に対応し（図５参照）、顔部品４３２は、顔部品情報テーブル４１０に記述された顔部品４１１に対応している（図４参照）。
例えば、「リップ類（ＬＩＰＳ）」とう化粧アイテム４２１に対応付けて、「唇」という顔部品４３２が対応付けられている。これは、リップ類（ＬＩＰＳ）は、唇が適用対象であるという事を規定する。言い換えると、かかる対応付けは、リップ類がバーチャルメイクの対象として選択されたとき、唇にフォーカスを合わせるべきであるという事を示す。
図３の映像処理部１５０は、顔部品情報テーブル４１０の抽出用情報４１２（図４参照）に基づき、唇や目等の顔部品を顔映像のストリームデータから逐次抽出する。そして、映像処理部１５０は、表示制御部１６０に対して、顔映像のストリームデータを出力すると共に、基準顔特徴点を含む各顔部品の位置を示す情報（以下「部品位置情報」という）を逐次出力する。なお、映像処理部１５０による顔特徴点の抽出手法としては、特許文献１および特許文献２に記載の手法等、公知の手法を採用することができる。
表示制御部１６０は、顔映像のストリームデータ、操作情報、および部品位置情報に基づいて、顔映像を含むバーチャルメイク画面３００（図２参照）を生成してタッチパネル付きディスプレイ１３０に表示させる。表示制御部１６０は、操作受付部１６１およびメイク重畳部１６２を有する。
操作受付部１６１は、顔映像がタッチパネル付きディスプレイ１３０に表示された状態において、メイク指定操作を受け付ける。すなわち、操作受付部１６１は、バーチャルメイク画面３００の操作受付領域３２０を生成して表示させ、操作受付領域３２０に対して行われた操作を操作情報に基づいて判定する。そして、操作受付部１６１は、メイク指定操作が行われる毎に、その操作内容を示す情報を、メイク重畳部１６２へ出力する。また、操作受付部１６１は、所定のメイク指定操作が行われたとき、その旨をカメラ制御部１７０へ通知する。
所定のメイク指定操作とは、バーチャルメイクの対象として、ユーザ２００が顔映像のいずれかの部分に注目している可能性が高い事を示す操作である。本実施の形態において、所定のメイク指定操作は、上述のアイテム選択操作とする。操作受付部１６１は、アイテム選択操作が行われたとき、選択された化粧アイテムを示す情報（以下「選択アイテム情報」という）を、カメラ制御部１７０へ出力する。
メイク重畳部１６２は、顔映像のストリームデータに基づいて、バーチャルメイク画面３００の映像表示領域３１０にリアルタイムの顔映像を表示させる。また、メイク重畳部１６２は、メイク指定操作の有無およびその内容に応じて、部品位置情報および化粧アイテム情報テーブル４２０（図５参照）に基づき、メイクパーツ画像を生成して顔映像に重畳する。なお、メイク重畳部１６２によるバーチャルメイク映像（メイクパーツ画像が重畳された顔映像）の生成手法としては、特許文献１および特許文献２に記載の手法等、公知の手法を採用することができる。
カメラ制御部１７０は、オートフォーカス動作を含む、カメラ１２０の各種動作を制御する。カメラ制御部１７０は、特に、アイテム選択操作が行われた事を条件として、カメラ１２０のＡＦ部１２１のオートフォーカス動作を開始させる。この時、カメラ制御部１７０は、選択アイテム情報、情報対応テーブル４３０（図６参照）、および顔部品情報テーブル４１０（図４参照）に基づき、選択された化粧アイテムに対応する顔部品のＡＦ用領域を、オートフォーカス動作のフォーカス位置とする。すなわち、カメラ制御部１７０は、むやみにオートフォーカス動作を行わないようにするとともに、少なくともアイテム選択操作が行われたとき、選択された化粧アイテムに対応する顔部品が鮮明に映し出されるように、オートフォーカス動作を行う。
なお、バーチャルメイク装置１００は、図示しないが、例えば、ＣＰＵ（Central Processing Unit）、制御プログラムを格納したＲＯＭ（Read Only Memory）等の記憶媒体、およびＲＡＭ（Random Access Memory）等の作業用メモリ等のハードウェアを有する。この場合、上記した各部の機能は、ＣＰＵが制御プログラムを実行する事により実現される。
このような構成により、バーチャルメイク装置１００は、少なくともユーザ２００が顔映像のいずれかの部分に注目している可能性が高いタイミングにおいて、オートフォーカス動作を行い、他のタイミングにおけるオートフォーカス動作を制限する事ができる。
＜装置の動作＞
次に、バーチャルメイク装置１００の動作について説明する。
図７は、バーチャルメイク装置１００の動作の一例を示すフローチャートである。
ステップＳ１１００において、カメラ制御部１７０は、カメラ１２０の露出（明るさ）、ホワイトバランス（色）、およびフォーカス位置を、規定値に設定する。かかる規定値は、例えば、バーチャルメイク装置１００の設置時におけるオペレータ等による事前セットアップにより、設置環境（周囲の明るさ等）に合わせて決定されたものである。
なお、ユーザ２００の顔のカメラ１２０に対する位置は変化し易いが、特に設置場所が店舗の場合、周辺の照明環境は大きく変化しない場合が多い。
ステップＳ１２００において、カメラ１２０、カメラ１２０およびタッチパネル付きディスプレイ１３０は、顔映像の撮影およびバーチャルメイク画面３００（図２参照）の表示を開始する。
バーチャルメイク装置１００は、後続するステップＳ１３００〜Ｓ１９００の処理を、所定の周期（例えば、顔映像のフレーム間隔毎）で繰り返し実行する。
ステップＳ１３００において、映像処理部１５０は、顔映像から顔部品を抽出する。
ステップＳ１４００において、操作受付部１６１は、メイク指定操作が行われたか否かを判定する。操作受付部１６１は、メイク指定操作が行われていない場合（Ｓ１４００：ＮＯ）、処理を後述のステップＳ１９００へ進める。また、操作受付部１６１は、メイク指定操作が行われた場合（Ｓ１４００：ＹＥＳ）、処理をステップＳ１５００へ進める。
ステップＳ１５００において、操作受付部１６１は、行われたメイク指定操作が、アイテム選択操作（所定のメイク指定操作）であるか否かを判定する。操作受付部１６１は、行われたメイク指定操作がアイテム選択操作である場合（Ｓ１５００：ＹＥＳ）、処理をステップＳ１６００へ進める。また、操作受付部１６１は、行われたメイク指定操作がアイテム選択操作以外の操作である場合（Ｓ１５００：ＮＯ）、処理を後述のステップＳ１８００へ進める。
ステップＳ１６００において、カメラ制御部１７０は、アイテム選択操作により選択された化粧アイテムに対応する顔部品の位置（ＡＦ用領域、以下「注目位置」という）を判定する。
ステップＳ１７００において、カメラ制御部１７０は、注目位置をフォーカス位置として、ＡＦ部１２１に対しオートフォーカス動作を実施させる。カメラ制御部１７０は、ステップＳ１７００以外のタイミングにおいては、基本的に、オートフォーカス動作を指示しないものとする。
なお、表示制御部１６０は、オートフォーカス動作が行われている間、オートフォーカス動作が開始される前に撮影された顔映像から得られる顔静止画像を、顔映像のストリームデータに代えて、バーチャルメイク画面３００の映像表示領域３１０に表示させてもよい。これにより、映像表示領域３１０の顔映像が急に不明瞭になるのを防ぐ事ができ、ユーザ２００に与える不快感を低減する事ができる。
ステップＳ１８００において、メイク重畳部１６２は、メイク指定操作が指定したバーチャルメイクの内容に応じたメイクパーツ画像の生成、および、メイクパーツ画像の顔映像への重畳を開始する。なお、メイク重畳部１６２は、既にメイクパーツ画像の重畳が開始されている場合、最後に行われたメイク指定操作の内容に応じてバーチャルメイク映像の状態を変更する。
そして、ステップＳ１９００において、カメラ１２０（または他の装置部）は、ユーザ２００による操作等により、バーチャルメイクに関する処理の終了を指示されたか否かを判定する。カメラ１２０は、処理の終了を指示されていない場合（Ｓ１９００：ＮＯ）、処理をステップＳ１３００へ戻す。また、カメラ１２０は、処理の終了を指示された場合（Ｓ１９００：ＹＥＳ）、一連の処理を終了する。
このような動作により、バーチャルメイク装置１００は、オートフォーカス動作の実施をアイテム選択操作が行われたタイミングに制限しつつ、顔映像の変化に追従したバーチャルメイク映像を表示する事ができる。
なお、カメラ制御部１７０は、アイテム選択操作が行われた後のオートフォーカス動作が完了した後、顔映像における顔の大きさ（顔領域の幅や面積等）の変化に基づいて、カメラの焦点距離を調整してもよい。
この場合、例えば、映像処理部１５０は、周期的に、顔映像における顔の大きさを判定し、判定結果をカメラ制御部１７０へ出力する。顔の大きさは、例えば、肌色領域の面積や左右の瞳中心の間の距離を算出する事により、判定する事ができる。そして、カメラ制御部１７０は、前回オートフォーカス動作が行われた直後からの顔の大きさの変化（例えば大きさの比）と、前回のオートフォーカス動作により決定された焦点距離とに基づいて、現在の顔の位置に焦点が合う焦点距離を推定する。この場合、カメラ制御部１７０は、顔の大きさの変化のパターン毎にフォーカスレンズの調整後の位置を示すテーブルを、予め保持しておく事が望ましい。
また、カメラ制御部１７０は、アイテム選択操作が行われる前においても、ＡＦ部１２１に対してオートフォーカス動作を実施させてもよい。但し、カメラ制御部１７０は、アイテム選択操作が行われた後のオートフォーカス動作の頻度に比べて、アイテム選択操作が行われる前のオートフォーカス動作の頻度を高くする事が望ましい。
また、カメラ制御部１７０は、所定の条件が満たされる場合、アイテム選択操作が行われたとしてもオートフォーカス動作を実施しないようにしてもよい。かかる所定の条件としては、例えば、前回のオートフォーカス動作が行われたタイミング（以下「前回ＡＦタイミング」という）からの経過時間が少ない事、前回ＡＦタイミングからの顔の動きが少ない事、および、前回ＡＦタイミングからの顔の大きさの変化が少ない事等が含まれる。
＜本実施の形態の効果＞
以上説明したように、本実施の形態に係るバーチャルメイク装置１００は、オートフォーカス機能を備えたカメラ１２０によって撮影された顔映像を表示させた状態において、顔映像に対するバーチャルメイクの内容を指定するメイク指定操作を受け付ける表示制御部１６０と、所定のメイク指定操作が行われた事を条件として、カメラ１２０のオートフォーカス動作を開始させるカメラ制御部１７０とを有する。
すなわち、本実施の形態に係るバーチャルメイク装置１００は、リアルタイムによるバーチャルメイクアップにおいて、カメラ１２０のＡＦ処理を、バーチャルメイクアップ処理と連動させて制限する。これにより、本実施の形態に係るバーチャルメイク装置１００は、顔映像に対するバーチャルメイクを、より快適に行う事を可能にする。
＜本実施の形態の変形例＞
なお、オートフォーカス動作のトリガとなる所定のメイク指定操作は、アイテム選択操作に限定されるものではなく、例えば、バーチャルメイクの開始のために、操作受付領域３２０の表示開始を指示する操作であってもよい。
また、バーチャルメイクの対象となるメイクパーツおよび顔部品は、上述の例に限定されるものではない。バーチャルメイク装置１００は、鬘、カラーコンタクト、タトゥー、眼鏡、アクセサリー、特殊メイク等を、バーチャルメイクの対象となるメイクパーツに含んでもよい。この場合においても、バーチャルメイク装置１００は、メイクパーツ毎にどの顔部品にフォーカスを合わせるべきかを示す情報を、予め保持しておくことが望ましい。
また、バーチャルメイク装置は、タブレット型端末に限定されるものではなく、例えば、スマートフォンやパーソナルコンピュータであってもよい。
また、タッチパネルによる接触検出の対象は、指に限定されるものではなく、例えば、スタイラスであってもよい。
また、操作受付部は、ディスプレイと離隔したタッチパネル、マウス、キーボード、操作受付領域３２０の各領域を多数のキースイッチ等で置き換えた専用入力装置、あるいは視線検出による操作インタフェース等を介して、メイク指定操作を受け付けてもよい。
また、バーチャルメイク装置の構成の一部は、当該装置の構成の他の部分と物理的に離隔していてもよい。この場合、それらの離隔した複数の部分は、互いに通信を行うための通信部をそれぞれ備える必要がある。
＜本開示のまとめ＞
本開示のバーチャルメイクは、オートフォーカス機能を備えたカメラによって撮影された顔映像を表示させた状態において、前記顔映像に対するバーチャルメイクの内容を指定するメイク指定操作を受け付ける表示制御部と、所定の前記メイク指定操作が行われた事を条件として、前記カメラのオートフォーカス動作を開始させるカメラ制御部と、を有する。
なお、上記バーチャルメイク装置において、前記カメラ制御部は、前記所定のメイク指定操作が行われた後の前記オートフォーカス動作の頻度に比べて、前記所定のメイク指定操作が行われる前の前記オートフォーカス動作の頻度を低くしてもよい。
また、上記バーチャルメイク装置において、前記カメラ制御部は、前記所定のメイク指定操作が行われるまで、前記オートフォーカス動作を開始させなくてもよい。
また、上記バーチャルメイク装置において、前記所定のメイク指定操作は、前記顔映像に対するバーチャルメイクのパーツであって顔部品に予め対応付けられた化粧アイテムを選択するアイテム選択操作、を含み、前記カメラ制御部は、選択された前記化粧アイテムに対応する前記顔部品の、前記顔映像における位置に対応する位置を、前記オートフォーカス動作のフォーカス位置としてもよい。
また、上記バーチャルメイク装置において、前記表示制御部は、選択された前記化粧アイテムのメイクパーツ画像を、表示されている前記顔映像のうち、対応する前記顔部品の位置に重畳して表示してもよい。
また、上記バーチャルメイク装置において、前記表示制御部は、前記オートフォーカス動作が行われている間に取得された前記顔映像に代えて、前記オートフォーカス動作が開始される前の前記顔映像から得られる顔静止画像を表示してもよい。
また、上記バーチャルメイク装置において、前記カメラ制御部は、前記所定のメイク指定操作が行われた後の前記オートフォーカス動作が完了した後、前記顔映像における顔の大きさの変化に基づいて、前記カメラの焦点距離を調整してもよい。
本開示のバーチャルメイク方法は、オートフォーカス機能を備えたカメラによって撮影された顔映像の表示を開始し、前記顔映像に対するバーチャルメイクの内容を指定するメイク指定操作を受け付けるステップと、所定の前記メイク指定操作が行われた事を条件として、前記カメラのオートフォーカス動作を開始させるステップと、を有する。
本開示のバーチャルメイクプログラムは、オートフォーカス機能を備えたカメラによって撮影された顔映像の表示を開始し、前記顔映像に対するバーチャルメイクの内容を指定するメイク指定操作を受け付けるステップと、所定の前記メイク指定操作が行われた事を条件として、前記カメラのオートフォーカス動作を開始させるステップと、を有する。
本開示に係るバーチャルメイク装置、バーチャルメイク方法、およびバーチャルメイクプログラムは、顔映像に対するバーチャルメイクをより快適に行う事を可能にするバーチャルメイク装置、バーチャルメイク方法、およびバーチャルメイクプログラムとして有用である。
１００ バーチャルメイク装置
１１０ 筐体
１２０ カメラ
１２１ ＡＦ部
１３０ タッチパネル付きディスプレイ
１４０ 情報格納部
１５０ 映像処理部
１６０ 表示制御部
１６１ 操作受付部
１６２ メイク重畳部
１７０ カメラ制御部

Claims (9)

  1. オートフォーカス機能を備えたカメラによって撮影された顔映像を表示させた状態において、前記顔映像に対するバーチャルメイクの内容を指定するメイク指定操作を受け付ける表示制御部と、
    所定の前記メイク指定操作が行われた事を条件として、前記カメラのオートフォーカス動作を開始させるカメラ制御部と、を有する、
    バーチャルメイク装置。
  2. 前記カメラ制御部は、
    前記所定のメイク指定操作が行われた後の前記オートフォーカス動作の頻度に比べて、前記所定のメイク指定操作が行われる前の前記オートフォーカス動作の頻度を低くする、
    請求項１に記載のバーチャルメイク装置。
  3. 前記カメラ制御部は、
    前記所定のメイク指定操作が行われるまで、前記オートフォーカス動作を開始させない、
    請求項１に記載のバーチャルメイク装置。
  4. 前記所定のメイク指定操作は、前記顔映像に対するバーチャルメイクのパーツであって顔部品に予め対応付けられた化粧アイテムを選択するアイテム選択操作、を含み、
    前記カメラ制御部は、
    選択された前記化粧アイテムに対応する前記顔部品の、前記顔映像における位置に対応する位置を、前記オートフォーカス動作のフォーカス位置とする、
    請求項１に記載のバーチャルメイク装置。
  5. 前記表示制御部は、
    選択された前記化粧アイテムのメイクパーツ画像を、表示されている前記顔映像のうち、対応する前記顔部品の位置に重畳して表示する、を有する、
    請求項４に記載のバーチャルメイク装置。
  6. 前記表示制御部は、
    前記オートフォーカス動作が行われている間に取得された前記顔映像に代えて、前記オートフォーカス動作が開始される前の前記顔映像から得られる顔静止画像を表示する、
    請求項１に記載のバーチャルメイク装置。
  7. 前記カメラ制御部は、
    前記所定のメイク指定操作が行われた後の前記オートフォーカス動作が完了した後、前記顔映像における顔の大きさの変化に基づいて、前記カメラの焦点距離を調整する、
    請求項１に記載のバーチャルメイク装置。
  8. オートフォーカス機能を備えたカメラによって撮影された顔映像の表示を開始し、前記顔映像に対するバーチャルメイクの内容を指定するメイク指定操作を受け付けるステップと、
    所定の前記メイク指定操作が行われた事を条件として、前記カメラのオートフォーカス動作を開始させるステップと、を有する、
    バーチャルメイク方法。
  9. バーチャルメイク装置に、
    オートフォーカス機能を備えたカメラによって撮影された顔映像の表示を開始し、前記顔映像に対するバーチャルメイクの内容を指定するメイク指定操作を受け付けるステップと、
    所定の前記メイク指定操作が行われた事を条件として、前記カメラのオートフォーカス動作を開始させるステップと、
    を実行させるバーチャルメイクプログラム。
JP2016116340A 2016-06-10 2016-06-10 バーチャルメイク装置、バーチャルメイク方法、およびバーチャルメイクプログラム Active JP6731616B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2016116340A JP6731616B2 (ja) 2016-06-10 2016-06-10 バーチャルメイク装置、バーチャルメイク方法、およびバーチャルメイクプログラム
US16/306,276 US10666853B2 (en) 2016-06-10 2017-05-16 Virtual makeup device, and virtual makeup method
CN201780033963.3A CN109196856B (zh) 2016-06-10 2017-05-16 虚拟化妆装置和虚拟化妆方法
PCT/JP2017/018311 WO2017212878A1 (ja) 2016-06-10 2017-05-16 バーチャルメイク装置、およびバーチャルメイク方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016116340A JP6731616B2 (ja) 2016-06-10 2016-06-10 バーチャルメイク装置、バーチャルメイク方法、およびバーチャルメイクプログラム

Publications (2)

Publication Number Publication Date
JP2017220158A JP2017220158A (ja) 2017-12-14
JP6731616B2 true JP6731616B2 (ja) 2020-07-29

Family

ID=60578640

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016116340A Active JP6731616B2 (ja) 2016-06-10 2016-06-10 バーチャルメイク装置、バーチャルメイク方法、およびバーチャルメイクプログラム

Country Status (4)

Country Link
US (1) US10666853B2 (ja)
JP (1) JP6731616B2 (ja)
CN (1) CN109196856B (ja)
WO (1) WO2017212878A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11113511B2 (en) * 2017-02-01 2021-09-07 Lg Household & Health Care Ltd. Makeup evaluation system and operating method thereof
KR102339223B1 (ko) * 2017-08-22 2021-12-15 삼성전자주식회사 전자 장치 및 전자 장치에서 카메라 기능과 연관된 콘텐트 제공 방법
WO2020090458A1 (ja) * 2018-10-29 2020-05-07 ソニー株式会社 表示装置、及び表示制御方法
CN111324274A (zh) * 2018-12-13 2020-06-23 北京京东尚科信息技术有限公司 虚拟试妆方法、装置、设备及存储介质
US11690435B2 (en) 2020-07-07 2023-07-04 Perfect Mobile Corp. System and method for navigating user interfaces using a hybrid touchless control mechanism
CN111988530B (zh) * 2020-09-01 2022-07-29 青岛海信移动通信技术股份有限公司 移动终端及其拍照方法
JP2024508267A (ja) * 2021-02-23 2024-02-26 北京市商▲湯▼科技▲開▼▲發▼有限公司 画像処理方法及び装置、電子機器並びに記憶媒体
EP4113253A1 (en) * 2021-07-02 2023-01-04 Perfect Mobile Corp. System and method for navigating user interfaces using a hybrid touchless control mechanism
US11900545B2 (en) * 2022-01-06 2024-02-13 Lemon Inc. Creating effects based on facial features

Family Cites Families (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3912834B2 (ja) * 1997-03-06 2007-05-09 有限会社開発顧問室 顔画像の修正方法、化粧シミュレーション方法、化粧方法、化粧サポート装置及びファンデーション転写膜
JP2001204545A (ja) 2000-01-28 2001-07-31 Iti Joho Kogaku Kenkyusho:Kk 化粧鏡装置
JP3779570B2 (ja) * 2001-07-30 2006-05-31 デジタルファッション株式会社 化粧シミュレーション装置、化粧シミュレーション制御方法、化粧シミュレーションプログラムを記録したコンピュータ読み取り可能な記録媒体
US8553949B2 (en) * 2004-01-22 2013-10-08 DigitalOptics Corporation Europe Limited Classification and organization of consumer digital images using workflow, and face detection and recognition
JP4416462B2 (ja) * 2003-09-19 2010-02-17 パナソニック株式会社 自動焦点調節方法、および自動焦点調節カメラ
US7555148B1 (en) * 2004-01-22 2009-06-30 Fotonation Vision Limited Classification system for consumer digital images using workflow, face detection, normalization, and face recognition
US20070019882A1 (en) * 2004-01-30 2007-01-25 Shoji Tanaka Makeup simulation program, makeup simulation device, and makeup simulation method
US8194173B2 (en) * 2004-07-16 2012-06-05 Nikon Corporation Auto-focusing electronic camera that focuses on a characterized portion of an object
US7612794B2 (en) * 2005-05-25 2009-11-03 Microsoft Corp. System and method for applying digital make-up in video conferencing
CN101341507B (zh) * 2005-12-01 2012-07-04 株式会社资生堂 面部分类方法以及面部分类装置
CN101371272B (zh) 2006-01-17 2012-07-18 株式会社资生堂 化妆模拟***，化妆模拟装置，化妆模拟方法
US7634108B2 (en) * 2006-02-14 2009-12-15 Microsoft Corp. Automated face enhancement
US8620038B2 (en) * 2006-05-05 2013-12-31 Parham Aarabi Method, system and computer program product for automatic and semi-automatic modification of digital images of faces
US8660319B2 (en) * 2006-05-05 2014-02-25 Parham Aarabi Method, system and computer program product for automatic and semi-automatic modification of digital images of faces
WO2007128117A1 (en) * 2006-05-05 2007-11-15 Parham Aarabi Method. system and computer program product for automatic and semi-automatic modification of digital images of faces
US7916129B2 (en) * 2006-08-29 2011-03-29 Industrial Technology Research Institute Interactive display system
US7664384B2 (en) * 2006-11-07 2010-02-16 Sony Ericsson Mobile Communications Ab User defined autofocus area
JP4254873B2 (ja) * 2007-02-16 2009-04-15 ソニー株式会社 画像処理装置及び画像処理方法、撮像装置、並びにコンピュータ・プログラム
US8340512B2 (en) * 2007-03-15 2012-12-25 Nvidia Corporation Auto focus technique in an image capture device
JP5052263B2 (ja) * 2007-09-04 2012-10-17 オリンパスイメージング株式会社 画像処理装置および画像処理方法
JP5432532B2 (ja) * 2008-01-22 2014-03-05 株式会社 資生堂 化粧方法、化粧シミュレーション装置、及び化粧シミュレーションプログラム
JP5025532B2 (ja) * 2008-03-12 2012-09-12 キヤノン株式会社 撮影装置、撮像装置の制御方法及び撮像装置の制御プログラム
FR2942401A1 (fr) * 2009-02-23 2010-08-27 Oreal Procede de traitement cosmetique comportant la projection d'une image sur la zone a traiter
CN101719984B (zh) * 2009-11-09 2012-06-06 无锡中星微电子有限公司 一种图像处理的装置
JP5420381B2 (ja) * 2009-11-25 2014-02-19 オリンパスイメージング株式会社 撮影機器及びこの撮影機器に着脱可能なアクセサリ機器
CN102870136B (zh) * 2010-06-21 2017-05-10 宝丽化学工业有限公司 年龄估计方法
CN102339466B (zh) * 2010-07-15 2016-04-13 韩华泰科株式会社 用于检测具有特定形状的区域的方法和相机
US20120099756A1 (en) * 2010-10-20 2012-04-26 Faiz Feisal Sherman Product Identification
TWI406025B (zh) * 2010-11-25 2013-08-21 Ind Tech Res Inst 自動聚焦裝置及方法
JP2012181688A (ja) * 2011-03-01 2012-09-20 Sony Corp 情報処理装置、情報処理方法、情報処理システムおよびプログラム
US8767030B2 (en) 2011-04-07 2014-07-01 Tara Chand Singhal System and method for a grooming mirror in a portable electronic device with a user-facing camera
JP5156108B2 (ja) * 2011-04-23 2013-03-06 オリンパスイメージング株式会社 撮像装置および撮像方法
US8811726B2 (en) * 2011-06-02 2014-08-19 Kriegman-Belhumeur Vision Technologies, Llc Method and system for localizing parts of an object in an image for computer vision applications
JP2013070303A (ja) * 2011-09-26 2013-04-18 Kddi Corp 画面への押圧で撮影が可能な撮影装置、撮影方法及びプログラム
WO2013084233A1 (en) * 2011-12-04 2013-06-13 Digital Makeup Ltd Digital makeup
US8908904B2 (en) * 2011-12-28 2014-12-09 Samsung Electrônica da Amazônia Ltda. Method and system for make-up simulation on portable devices having digital cameras
TW201330609A (zh) * 2012-01-06 2013-07-16 Hon Hai Prec Ind Co Ltd 智慧追蹤裝置
US9118876B2 (en) * 2012-03-30 2015-08-25 Verizon Patent And Licensing Inc. Automatic skin tone calibration for camera images
US9449412B1 (en) * 2012-05-22 2016-09-20 Image Metrics Limited Adaptive, calibrated simulation of cosmetic products on consumer devices
US9224248B2 (en) * 2012-07-12 2015-12-29 Ulsee Inc. Method of virtual makeup achieved by facial tracking
US20140160019A1 (en) * 2012-12-07 2014-06-12 Nvidia Corporation Methods for enhancing user interaction with mobile devices
KR20140095739A (ko) * 2013-01-25 2014-08-04 한국전자통신연구원 가상 분장 방법 및 장치
WO2014118842A1 (ja) * 2013-02-01 2014-08-07 パナソニック株式会社 美容支援装置、美容支援システム、美容支援方法、並びに美容支援プログラム
JP6008323B2 (ja) * 2013-02-01 2016-10-19 パナソニックＩｐマネジメント株式会社 メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
JP6128309B2 (ja) * 2013-02-01 2017-05-17 パナソニックＩｐマネジメント株式会社 メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
JP5991536B2 (ja) * 2013-02-01 2016-09-14 パナソニックＩｐマネジメント株式会社 メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
US20140253785A1 (en) * 2013-03-07 2014-09-11 Mediatek Inc. Auto Focus Based on Analysis of State or State Change of Image Content
CN103197491B (zh) * 2013-03-28 2016-03-30 华为技术有限公司 快速自动聚焦的方法和图像采集装置
US9603437B2 (en) * 2013-04-08 2017-03-28 Panasonic Intellectual Property Corporation Of America Image processing device, image processing method, and program, capable of virtual reproduction of makeup application state
GB2518589B (en) * 2013-07-30 2019-12-11 Holition Ltd Image processing
CN104822292B (zh) * 2013-08-30 2019-01-04 松下知识产权经营株式会社 化妆辅助装置、化妆辅助***、化妆辅助方法以及化妆辅助程序
WO2015029371A1 (ja) 2013-08-30 2015-03-05 パナソニックＩｐマネジメント株式会社 メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
US10339685B2 (en) * 2014-02-23 2019-07-02 Northeastern University System for beauty, cosmetic, and fashion analysis
JP6581333B2 (ja) * 2014-03-14 2019-09-25 キヤノン株式会社 画像処理装置、撮像装置およびプログラム
US9760935B2 (en) * 2014-05-20 2017-09-12 Modiface Inc. Method, system and computer program product for generating recommendations for products and treatments
US20160042557A1 (en) * 2014-08-08 2016-02-11 Asustek Computer Inc. Method of applying virtual makeup, virtual makeup electronic system, and electronic device having virtual makeup electronic system
KR102214918B1 (ko) * 2014-10-21 2021-02-10 삼성전자주식회사 얼굴 인식 방법 및 장치
US20160127691A1 (en) * 2014-11-04 2016-05-05 WOW Insites LLP Method, computer program, and system for adjusting cameras
EP3017755A1 (en) * 2014-11-04 2016-05-11 Samsung Electronics Co., Ltd. Electronic device, and method for analyzing face information in electronic device
US10083345B2 (en) * 2015-05-05 2018-09-25 Myongsu Choe Makeup supporting methods for creating and applying a makeup guide content to makeup user's face on a real-time basis
US20160357578A1 (en) * 2015-06-03 2016-12-08 Samsung Electronics Co., Ltd. Method and device for providing makeup mirror
US9584716B2 (en) * 2015-07-01 2017-02-28 Sony Corporation Method and apparatus for autofocus area selection by detection of moving objects
CN104954695B (zh) * 2015-07-14 2018-03-30 厦门美图之家科技有限公司 一种视频拍摄的对焦锁定方法和***
KR102429427B1 (ko) * 2015-07-20 2022-08-04 삼성전자주식회사 촬영 장치 및 그 동작 방법
EP3335195A2 (en) * 2015-08-14 2018-06-20 Metail Limited Methods of generating personalized 3d head models or 3d body models
WO2017073001A1 (ja) * 2015-10-26 2017-05-04 パナソニックＩｐマネジメント株式会社 メイクパーツ生成装置およびメイクパーツ生成方法
JP6778877B2 (ja) * 2015-12-25 2020-11-04 パナソニックＩｐマネジメント株式会社 メイクパーツ作成装置、メイクパーツ利用装置、メイクパーツ作成方法、メイクパーツ利用方法、メイクパーツ作成プログラム、およびメイクパーツ利用プログラム
EP3423990A1 (en) * 2016-03-02 2019-01-09 Holition Limited Locating and augmenting object features in images
US10324739B2 (en) * 2016-03-03 2019-06-18 Perfect Corp. Systems and methods for simulated application of cosmetic effects

Also Published As

Publication number Publication date
CN109196856B (zh) 2022-02-11
CN109196856A (zh) 2019-01-11
JP2017220158A (ja) 2017-12-14
WO2017212878A1 (ja) 2017-12-14
US10666853B2 (en) 2020-05-26
US20190297271A1 (en) 2019-09-26

Similar Documents

Publication Publication Date Title
JP6731616B2 (ja) バーチャルメイク装置、バーチャルメイク方法、およびバーチャルメイクプログラム
CN111901476B (zh) 用于捕获和管理视觉媒体的用户界面
US9838597B2 (en) Imaging device, imaging method, and program
JP6317452B2 (ja) ターゲット上に投影するためのコンテンツをトリミングするための方法、装置、システム及び非一時的コンピュータ可読記憶媒体
US10165199B2 (en) Image capturing apparatus for photographing object according to 3D virtual object
CN112118380B (zh) 相机操控方法、装置、设备及存储介质
RU2672502C1 (ru) Устройство и способ для формирования изображения роговицы
CN111970456B (zh) 拍摄控制方法、装置、设备及存储介质
KR102407190B1 (ko) 영상 촬영 장치 및 그 동작 방법
JP2010134738A (ja) 端末装置、表示制御方法および表示制御プログラム
CN109644235B (zh) 用于提供混合现实图像的方法、设备和计算机可读介质
US11650661B2 (en) Electronic device and control method for electronic device
US9521329B2 (en) Display device, display method, and computer-readable recording medium
KR20150011742A (ko) 사용자 단말 장치 및 그 제어 방법
CN118159935A (zh) 用于内容应用程序的设备、方法和图形用户界面
JP2014017665A (ja) 表示制御装置、表示制御装置の制御方法、プログラムおよび記録媒体
CN113810627A (zh) 视频处理方法、装置、移动终端
CN113853569A (zh) 头戴式显示器
KR102479860B1 (ko) 증강현실을 이용한 사진 촬영방법
TW202318342A (zh) 影像擷取系統和調整焦點的方法
CN113014820A (zh) 一种处理方法、装置及电子设备
JP2012065049A (ja) 画像処理装置及び画像処理方法
JP2017004258A (ja) 画像処理装置、画像処理方法及びプログラム
KR20200114170A (ko) 배경 제거 사진 촬영과 이를 이용한 합성사진 촬영 방법 및 컴퓨터 프로그램
JP2019121991A (ja) 動画マニュアル作成システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190531

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190625

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20191018

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200303

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200427

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200526

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200618

R151 Written notification of patent or utility model registration

Ref document number: 6731616

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151