JP6747443B2 - 情報処理装置、情報処理方法およびプログラム - Google Patents
情報処理装置、情報処理方法およびプログラム Download PDFInfo
- Publication number
- JP6747443B2 JP6747443B2 JP2017529487A JP2017529487A JP6747443B2 JP 6747443 B2 JP6747443 B2 JP 6747443B2 JP 2017529487 A JP2017529487 A JP 2017529487A JP 2017529487 A JP2017529487 A JP 2017529487A JP 6747443 B2 JP6747443 B2 JP 6747443B2
- Authority
- JP
- Japan
- Prior art keywords
- face
- model
- face mask
- synthetic
- control unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/0486—Drag-and-drop
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Signal Processing (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
- Editing Of Facsimile Originals (AREA)
Description
本開示は、情報処理装置、情報処理方法およびプログラムに関する。
近年、画像処理技術の発展に伴い、仮想または現実の像に画像を重ね合わせて表示する技術が研究開発されている。このような技術には、例えばＡＲ（Augmented Reality）技術があり、当該技術は様々な分野に適用されるようになっている。
例えば、特許文献１では、画像から認識される顔パーツの位置に基づいて、当該画像内の顔にトラッキングする化粧画像を当該画像に重畳表示する情報処理装置が開示されている。また、上記の化粧画像の代わりに、様々な画像が重畳表示され得る。具体的には、２つ以上の画像間の合成により得られる合成画像がある。
しかし、上記画像の合成の操作について、ユーザにとってより使いやすいインタフェースが求められていた。そこで、本開示では、ユーザがより直感的に合成についての操作を行うことが可能な新規かつ改良された情報処理装置、情報処理方法およびプログラムを提案する。
本開示によれば、第１の物体モデルと第２の物体モデルとの合成により合成物体モデルを生成し、生成される前記合成物体モデルを前記第１の物体モデルまたは前記第２の物体モデルに対応する画像に関連付けて表示させる制御部を備え、前記制御部は、物体モデルまたは物体モデルに対応する画像が表示される画面に対するユーザの動きに基づく入力に応じて前記合成のために前記第１の物体モデルまたは前記第２の物体モデルを移動させる、情報処理装置が提供される。
また、本開示によれば、制御部によって、第１の物体モデルと第２の物体モデルとの合成により合成物体モデルを生成することと、生成される前記合成物体モデルを前記第１の物体モデルまたは前記第２の物体モデルに対応する画像に関連付けて表示させることと、物体モデルまたは物体モデルに対応する画像が表示される画面に対するユーザの動きに基づく入力に応じて前記合成のために前記第１の物体モデルまたは前記第２の物体モデルを移動させることと、を含む、情報処理方法が提供される。
また、本開示によれば、第１の物体モデルと第２の物体モデルとの合成により合成物体モデルを生成する機能と、生成される前記合成物体モデルを前記第１の物体モデルまたは前記第２の物体モデルに対応する画像に関連付けて表示させる機能と、物体モデルまたは物体モデルに対応する画像が表示される画面に対するユーザの動きに基づく入力に応じて前記合成のために前記第１の物体モデルまたは前記第２の物体モデルを移動させる機能と、をコンピュータに実現させるためのプログラムが提供される。
以上説明したように本開示によれば、ユーザがより直感的に合成についての操作を行うことが可能な情報処理装置、情報処理方法およびプログラムが提供される。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なる番号を付して区別する場合もある。例えば、実質的に同一の機能を有する複数の構成を、必要に応じて顔マスク２０Ａおよび顔マスク２０Ｂなどのように区別する。ただし、実質的に同一の機能構成を区別する必要が無い場合、同一符号のみを付する。例えば、顔マスク２０Ａおよび顔マスク２０Ｂを特に区別する必要がない場合には、単に顔マスク２０と称する。
なお、説明は以下の順序で行うものとする。
１．第１の実施形態（携帯端末への適用例）
１−１．装置の構成
１−２．装置の技術的特徴
１−３．装置の処理
１−４．第１の実施形態のまとめ
１−５．変形例
２．第２の実施形態（デジタルサイネージ装置への適用例）
２−１．装置の構成
２−２．装置の技術的特徴
２−３．装置の処理
２−４．第１の実施形態のまとめ
２−５．変形例
３．適用例
４．本開示の一実施形態に係る情報処理装置のハードウェア構成
５．むすび
１−１．装置の構成
１−２．装置の技術的特徴
１−３．装置の処理
１−４．第１の実施形態のまとめ
１−５．変形例
２．第２の実施形態（デジタルサイネージ装置への適用例）
２−１．装置の構成
２−２．装置の技術的特徴
２−３．装置の処理
２−４．第１の実施形態のまとめ
２−５．変形例
３．適用例
４．本開示の一実施形態に係る情報処理装置のハードウェア構成
５．むすび
＜１．第１の実施形態（携帯端末への適用例）＞
まず、本開示の第１の実施形態に係る情報処理装置１００−１について説明する。本実施形態に係る情報処理装置１００−１は、スマートフォンまたはタブレット端末等の可搬性のある携帯端末である。なお、説明の便宜上、第１および第２の実施形態による情報処理装置１００を、情報処理装置１００−１および情報処理装置１００−２のように、末尾に実施形態に対応する番号を付することにより区別する。
まず、本開示の第１の実施形態に係る情報処理装置１００−１について説明する。本実施形態に係る情報処理装置１００−１は、スマートフォンまたはタブレット端末等の可搬性のある携帯端末である。なお、説明の便宜上、第１および第２の実施形態による情報処理装置１００を、情報処理装置１００−１および情報処理装置１００−２のように、末尾に実施形態に対応する番号を付することにより区別する。
＜１−１．装置の構成＞
図１を参照して、本開示の第１の実施形態に係る情報処理装置１００−１の機能構成について説明する。図１は、本開示の第１の実施形態に係る情報処理装置１００−１の概略的な機能構成の例を示すブロック図である。
図１を参照して、本開示の第１の実施形態に係る情報処理装置１００−１の機能構成について説明する。図１は、本開示の第１の実施形態に係る情報処理装置１００−１の概略的な機能構成の例を示すブロック図である。
情報処理装置１００−１は、図１に示したように、撮像部１０２、顔認識部１０４、操作検出部１０６、制御部１０８、記憶部１１０および表示部１１２を備える。
撮像部１０２は、情報処理装置１００−１の周辺を撮像する。具体的には、撮像部１０２は、制御部１０８の指示に基づいて静止画または動画の撮像を行う。例えば、撮像部１０２は、光を集光する撮影レンズおよびズームレンズなどの撮像光学系、およびＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の信号変換素子を備え得る。なお、撮像部１０２の代わりに、画像を得る入力部が備えられてもよい。また、画像は通信を介して取得されてもよい。
顔認識部１０４は、物体（物体の部分を含む。）として、画像に含まれる顔を認識する。具体的には、顔認識部１０４は、撮像部１０２の撮像により得られる画像に映る顔または記憶部１１０に記憶される画像に含まれる顔を認識する。そして、顔認識結果が制御部１０８に提供される。例えば、顔認識部１０４は、一般的な顔認識技術を用いて顔認識処理を行う。
操作検出部１０６は、情報処理装置１００−１に対して行われるユーザの操作を検出する。具体的には、操作検出部１０６は、ユーザにより操作が行われると、操作に係る情報を取得し、取得される操作に係る情報から操作内容を検出する。そして、操作検出結果が制御部１０８に提供される。例えば、検出される操作は、ボタン操作、クリック操作、タップ操作、ドラッグアンドドロップ操作、スワイプ操作、フリック操作またはジェスチャ操作等であり得る。
制御部１０８は、画像の表示制御を行う。具体的には、制御部１０８は、顔認識部１０４の顔認識結果と操作検出部１０６により検出される操作検出結果に基づいて画像の合成処理を行う。さらに、図２を参照して画像の合成処理について詳細に説明する。図２は、本実施形態における画像の合成処理を説明するための図である。
まず、制御部１０８は、認識された顔の特徴点を検出する。例えば、制御部１０８は、図２の左図に示したような顔認識部１０４により認識された顔についての画像（以下、顔画像とも称する。）１０Ａおよび１０Ｂについて、図２の中左図に示したように特徴点をそれぞれ検出する。
次に、制御部１０８は、検出される特徴点に基づいて顔モデル（以下、顔マスクとも称する。）を生成する。具体的には、制御部１０８は、特徴点に基づいてメッシュ情報およびテクスチャ情報を含む情報（以下、顔特徴情報とも称する。）を生成する。そして、制御部１０８は、当該顔特徴情報に基づいて顔マスクを生成する。例えば、制御部１０８は、特徴点に基づいて図２の中右図に示したようなメッシュに係るメッシュ情報を生成し、メッシュにより区切られた領域のテクスチャに係るテクスチャ情報を生成する。そして、制御部１０８は、顔画像１０Ａおよび１０Ｂの各々について、メッシュ情報およびテクスチャ情報に基づいて、図２の右中図に示したような顔マスク２０Ａおよび２０Ｂをそれぞれ生成する。
次に、制御部１０８は、顔マスクの合成により合成顔マスクを生成する。具体的には、制御部１０８は、顔マスクの顔特徴情報の各々を掛け合わせ、当該掛け合わせにより得られる当該顔特徴情報に基づいて合成顔マスクを生成する。例えば、制御部１０８は、図２の中右図に示したような顔マスク２０Ａのメッシュ情報と顔マスク２０Ｂのテクスチャ情報とを有する顔特徴情報を生成し、当該顔特徴情報に基づいて合成顔マスクを生成する。
次に、制御部１０８は、生成される合成顔マスクを合成先または合成元（以下、合成対象とも称する。）となる顔マスクに対応する画像に関連付けて表示させる。例えば、制御部１０８は、図２の右図に示したように、生成される合成顔マスク３０を顔マスク２０Ａに対応する顔画像１０Ａに重畳表示させる。
図１を参照して、情報処理装置１００−１の機能構成の説明に戻ると、記憶部１１０は、画像処理に係る情報を記憶する。具体的には、記憶部１１０は、顔認識処理への入力となる画像および顔認識のための辞書情報（特徴点情報）を記憶する。
表示部１１２は、画像を表示する。具体的には、表示部１１２は、制御部１０８から提供される画像を表示する。例えば、表示部１１２は、液晶パネルまたは有機ＥＬ（Electro Luminescence）等のディスプレイであり得る。
＜１−２．装置の技術的特徴＞
次に、本実施形態に係る情報処理装置１００−１の技術的特徴について説明する。
次に、本実施形態に係る情報処理装置１００−１の技術的特徴について説明する。
（Ａ．合成対象の決定）
情報処理装置１００−１は、ユーザの入力に応じて合成対象を決定する。具体的には、制御部１０８は、ユーザの入力操作に基づいて特定される顔マスクまたは特定される顔画像から生成される顔マスクを合成対象として決定する。合成対象の決定は、合成元（ソース：ｓｒｃ）および合成先（デスティネーション：ｄｓｔ）の決定である。さらに、図３を参照して、ｓｒｃおよびｄｓｔの組合せについて説明する。図３は、本実施形態におけるｓｒｃおよびｄｓｔの組合せの例を示す図である。
情報処理装置１００−１は、ユーザの入力に応じて合成対象を決定する。具体的には、制御部１０８は、ユーザの入力操作に基づいて特定される顔マスクまたは特定される顔画像から生成される顔マスクを合成対象として決定する。合成対象の決定は、合成元（ソース：ｓｒｃ）および合成先（デスティネーション：ｄｓｔ）の決定である。さらに、図３を参照して、ｓｒｃおよびｄｓｔの組合せについて説明する。図３は、本実施形態におけるｓｒｃおよびｄｓｔの組合せの例を示す図である。
まず、合成対象となる顔マスクに対応する顔画像は主に三種類ある。例えば、顔画像は、静止画、動画または撮像により一時的に記録される画像（以下、スルー画とも称する。）であり得る。制御部１０８は、静止画、動画またはスルー画の顔画像から生成される顔マスクと、静止画、動画またはスルー画の顔画像から生成される顔マスクとを合成する。そのため、合成のパターンは、例えば図３に示したように９パターン存在する。なお、ｓｒｃまたはｄｓｔが既に生成されている顔マスクであってもよく、この場合を含めると、合成のパターンは１６パターンとなる。
なお、顔マスクが生成されるタイミングはいくつか存在する。具体的には、顔マスクは、合成処理の前または合成処理の開始時点で生成される。例えば、合成処理の前としては、顔認識部１０４によって顔が認識された時点がある。また、合成処理の開始時点としては、後述する顔マスクの移動の開始時点または後述する顔マスクの移動を伴わない合成対象の決定の完了時点がある。
また、制御部１０８は、ユーザの動きに基づく入力に応じて合成対象となる顔マスクを移動させる。具体的には、ユーザの動きに基づく入力は、始点と終点の両方を決定する操作、または始点のみを決定する操作を含む。始点と終点の両方を決定する操作としては、ドラッグアンドドロップ操作がある。また、始点のみを決定する操作としては、スワイプ操作またはフリック操作がある。例えば、制御部１０８は、ドラッグ操作の対象となる顔マスクまたは顔画像（以下、顔マスク等とも称する。）をｓｒｃとして決定し、ドロップ操作の対象となる顔マスク等をｄｓｔとして決定する。また、制御部１０８は、スワイプ操作またはフリック操作が行われた顔マスク等をｓｒｃとして決定し、スワイプ操作またはフリック操作の方向に位置する顔マスク等をｄｓｔとして決定する。また、スワイプ操作またはフリック操作が行われた顔マスク等は操作の方向に向かって飛ばされるように移動させられる。
（Ａ−１．合成元の決定）
制御部１０８は、ユーザの入力操作により選択される顔マスクまたは選択される顔画像から生成される顔マスクをｓｒｃとして決定する。具体的には、制御部１０８は、顔マスクまたは顔画像が並べられる顔リストを画面に表示させる。そして、制御部１０８は、ユーザの入力操作により当該顔リストから選択された顔マスクまたは選択された顔画像から生成される顔マスクをｓｒｃとして決定する。例えば、制御部１０８は、移動対象として選択された顔マスクをｓｒｃとして決定する。さらに、図４を参照して合成元の決定処理について詳細に説明する。図４は、本実施形態における合成顔マスクに係る操作および処理を説明するための図である。
制御部１０８は、ユーザの入力操作により選択される顔マスクまたは選択される顔画像から生成される顔マスクをｓｒｃとして決定する。具体的には、制御部１０８は、顔マスクまたは顔画像が並べられる顔リストを画面に表示させる。そして、制御部１０８は、ユーザの入力操作により当該顔リストから選択された顔マスクまたは選択された顔画像から生成される顔マスクをｓｒｃとして決定する。例えば、制御部１０８は、移動対象として選択された顔マスクをｓｒｃとして決定する。さらに、図４を参照して合成元の決定処理について詳細に説明する。図４は、本実施形態における合成顔マスクに係る操作および処理を説明するための図である。
制御部１０８は、顔マスクまたは顔画像が並べられる顔リストを画面に表示させる。例えば、制御部１０８は、図４の下部に示したような静止画の顔画像１２Ａ１〜１２Ａ３が並べられる顔リストを画面に表示させる。
そして、制御部１０８は、顔リストからユーザの入力操作により特定される顔マスクまたは特定される顔画像から生成される顔マスクをｓｒｃとして決定する。例えば、制御部１０８は、図４の左図に示したようなドラッグ操作の対象となる静止画の顔画像１２Ａ１をｓｒｃとして決定する。
なお、上記では、顔リストからｓｒｃが選択される例について説明したが、ｓｒｃは画面に表示されている静止画、動画またはスルー画から選択されてもよい。例えば、制御部１０８は、画面に表示されている静止画、動画またはスルー画についての顔認識結果に含まれる顔画像または当該顔画像から生成される顔マスクからユーザにより選択される顔マスク等をｓｒｃとして決定する。
また、制御部１０８は、顔リストに並べられる顔マスク等を、合成候補の顔マスクで表現される顔の属性に基づいて選出する。具体的には、当該顔の属性は、年齢または性別を含む。例えば、制御部１０８は、顔認識部１０４の顔認識結果として提供される顔画像の顔から推定される年齢に近い年齢または推定される性別と一致する性別である顔を表現する顔マスクまたは当該顔マスクに対応する顔画像を記憶部１１０から選出する。そして、制御部１０８は、選出される顔マスク等が並べられる顔リストを表示させる。
なお、顔リストに並べられる顔マスク等は、所定の時間内に顔認識された顔についての顔マスク等であってもよい。
（Ａ−２．合成先の決定）
制御部１０８は、ユーザの入力操作により選択される顔マスクまたは選択される顔画像から生成される顔マスクをｄｓｔとして決定する。具体的には、制御部１０８は、移動させられる顔マスク等の移動先の顔マスク等をｄｓｔとして決定する。さらに、図４を参照して合成先の決定処理について詳細に説明する。
制御部１０８は、ユーザの入力操作により選択される顔マスクまたは選択される顔画像から生成される顔マスクをｄｓｔとして決定する。具体的には、制御部１０８は、移動させられる顔マスク等の移動先の顔マスク等をｄｓｔとして決定する。さらに、図４を参照して合成先の決定処理について詳細に説明する。
制御部１０８は、ｓｒｃとして決定された顔マスク等をユーザの動きに基づく入力に応じて移動させる。例えば、制御部１０８は、図４の左図に示したようにドラッグ操作の対象として決定された静止画の顔画像１２Ａ１をユーザの指の動きに応じて移動させる。
次に、制御部１０８は、ユーザの動きに基づく入力が終了した際に、入力が終了した位置に存在する顔マスク等をｄｓｔとして決定する。例えば、制御部１０８は、図４の左図に示したように静止画の顔画像１２Ａ１がスルー画の顔画像１６Ａに向けて移動され、当該顔画像１６Ａ上でドロップ操作が行われると、当該顔画像１６Ａをｄｓｔとして決定する。
（Ｂ．合成モードに基づく合成顔マスクの生成）
情報処理装置１００−１は、合成対象として決定された顔マスク等に基づいて、合成のためのモード（以下、合成モードとも称する。）に応じた合成顔マスクを生成する。具体的には、制御部１０８は、ｓｒｃとして決定された顔マスクまたは決定された顔画像から生成される顔マスクおよびｄｓｔとして決定された顔マスクまたは決定された顔画像から生成される顔マスクとの合成モードに応じた合成により合成顔マスクを生成する。
情報処理装置１００−１は、合成対象として決定された顔マスク等に基づいて、合成のためのモード（以下、合成モードとも称する。）に応じた合成顔マスクを生成する。具体的には、制御部１０８は、ｓｒｃとして決定された顔マスクまたは決定された顔画像から生成される顔マスクおよびｄｓｔとして決定された顔マスクまたは決定された顔画像から生成される顔マスクとの合成モードに応じた合成により合成顔マスクを生成する。
ここで、合成モードは、ｓｒｃである顔マスクのメッシュ情報に基づいて合成顔マスクを生成する第１のモードと、ｄｓｔである顔マスクのメッシュ情報に基づいて合成顔マスクを生成する第２のモードと、を含む。また、第１のモードでは、ｄｓｔである顔マスクのテクスチャ情報に基づいて合成顔マスクが生成され、第２のモードでは、ｓｒｃである顔マスクのテクスチャ情報に基づいて合成顔マスクが生成される。
例えば、制御部１０８は、ｓｒｃとして決定された図４の左図に示したような顔画像１２Ａ１から生成される顔マスクと、ｄｓｔとして決定された図４の左図に示したような顔画像１６Ａから生成される顔マスクと、を合成する。図４の例では、制御部１０８は、第２のモードに従って、メッシュ情報がｄｓｔである顔画像１６Ａから生成される顔マスクのメッシュ情報であり、テクスチャ情報がｓｒｃである顔画像１２Ａ１から生成される顔マスクのテクスチャ情報である、図４の中図に示したような合成顔マスク３６Ａを生成する。
なお、制御部１０８は、合成先が決定されない場合には、合成を行わないとしてもよい。具体的には、制御部１０８は、ユーザの動きに基づく入力が中断されると、顔マスクの合成を行わない。例えば、制御部１０８は、ドロップ操作が顔マスクまたは顔画像の表示されない位置において行われた場合、合成を行わない。
（Ｃ．合成モードの制御）
情報処理装置１００−１は、上述した合成モードを制御する。具体的には、制御部１０８は、合成モードを入力情報に基づいて制御する。より具体的には、入力情報は、制御部１０８の処理の入力となるｓｒｃである顔マスクまたはｄｓｔである顔マスクに対応する画像に係る情報を含む。例えば、当該画像に係る情報としては、画像の属性または画像の内容に係る情報がある。画像の属性としては、静止画、動画もしくはスルー画等のメディア（電子媒体）の種類または写真もしくはＣＧ（Computer Graphics）等のコンテンツの種類がある。例えば、制御部１０８は、静止画の顔マスクがｄｓｔであり、動画の顔マスクがｓｒｃである場合、第１のモードを選択する。また、画像の内容としては、画像に映る人間のスピーチ、演奏もしくはスポーツ等の行動の有無もしくは内容がある。
情報処理装置１００−１は、上述した合成モードを制御する。具体的には、制御部１０８は、合成モードを入力情報に基づいて制御する。より具体的には、入力情報は、制御部１０８の処理の入力となるｓｒｃである顔マスクまたはｄｓｔである顔マスクに対応する画像に係る情報を含む。例えば、当該画像に係る情報としては、画像の属性または画像の内容に係る情報がある。画像の属性としては、静止画、動画もしくはスルー画等のメディア（電子媒体）の種類または写真もしくはＣＧ（Computer Graphics）等のコンテンツの種類がある。例えば、制御部１０８は、静止画の顔マスクがｄｓｔであり、動画の顔マスクがｓｒｃである場合、第１のモードを選択する。また、画像の内容としては、画像に映る人間のスピーチ、演奏もしくはスポーツ等の行動の有無もしくは内容がある。
また、入力情報は、ユーザの入力操作に係る情報であってもよい。具体的には、ユーザの入力操作は、ｓｒｃとなる顔マスクまたはｄｓｔとなる顔マスクの選択操作を含み、制御部１０８は、ｓｒｃとなる顔マスクまたはｄｓｔとなる顔マスクの選択位置に応じて合成モードを決定する。さらに、図５を参照して、選択位置に応じた合成モードの決定処理について詳細に説明する。図５は、本実施形態に係る情報処理装置１００−１によって表示される顔マスクの例を示す図である。
制御部１０８は、ｓｒｃとなる顔マスクまたはｄｓｔとなる顔マスクにおける合成モードの各々に対応する選択位置を、視覚的に判別される態様で表示させる。具体的には、制御部１０８は、表示される顔マスクのテクスチャ情報により特定される態様と異なる態様で上記選択位置を表示させる。例えば、制御部１０８は、図５に示したような斜線で示されるような領域Ａ１と網掛けで示されるような領域Ａ２とが異なる色で彩色される顔マスク２０を表示させる。例えば、ユーザが領域Ａ１を起点にドラッグ操作を開始した場合、合成モードが第１のモードに決定され、ユーザが領域Ａ２を起点にドラッグ操作を開始した場合、合成モードが第２のモードに決定される。
なお、上記では、視覚的に判別される態様が色彩である例を説明したが、当該態様は、明度、輝度、模様または点滅であってもよい。また、合成モードの各々に対応する選択位置以外の位置が選択される場合、制御部１０８は、選択位置に基づく合成モードの決定を行わない。
また、上記では、ユーザの入力操作が顔マスクの選択操作である例を説明したが、ユーザの入力操作は、上記のほか、合成顔マスク上でのクリック操作もしくはタップ操作であってもよい。また、ユーザの入力操作は、専用のＧＵＩ（Graphical User Interface）の操作であってもよい。例えば、合成モードの切り替えボタン、またはドロップ操作が行われた際に表示される合成モードの決定メニュー、の操作結果に応じてモードが決定される。また、選択中の合成モードを示す表示オブジェクトが画面に表示されてもよい。
（Ｄ．合成顔マスクの表示）
情報処理装置１００−１は、生成された合成顔マスクを顔画像に関連付けて表示する。具体的には、制御部１０８は、ｓｒｃである顔マスクおよびｄｓｔである顔マスクに対応する顔画像のうちのユーザの入力に基づいて特定される顔画像に合成顔マスクを関連付けて表示させる。より具体的には、制御部１０８は、ｓｒｃの顔マスクからｄｓｔの顔マスクへの移動の完了後に、合成顔マスクをｄｓｔの顔マスクに対応する画像に関連付けて表示させる。例えば、制御部１０８は、合成により得られる図４の中図に示したような合成顔マスク３６Ａを、ドロップ操作によってｄｓｔとして決定された顔画像１６Ａに重畳表示させる。なお、制御部１０８は、合成顔マスクの表示の際に、合成顔マスクのテクスチャを透明化し、時間経過と共に透明度を低下させてもよい。
情報処理装置１００−１は、生成された合成顔マスクを顔画像に関連付けて表示する。具体的には、制御部１０８は、ｓｒｃである顔マスクおよびｄｓｔである顔マスクに対応する顔画像のうちのユーザの入力に基づいて特定される顔画像に合成顔マスクを関連付けて表示させる。より具体的には、制御部１０８は、ｓｒｃの顔マスクからｄｓｔの顔マスクへの移動の完了後に、合成顔マスクをｄｓｔの顔マスクに対応する画像に関連付けて表示させる。例えば、制御部１０８は、合成により得られる図４の中図に示したような合成顔マスク３６Ａを、ドロップ操作によってｄｓｔとして決定された顔画像１６Ａに重畳表示させる。なお、制御部１０８は、合成顔マスクの表示の際に、合成顔マスクのテクスチャを透明化し、時間経過と共に透明度を低下させてもよい。
（Ｅ．合成顔マスクの操作）
情報処理装置１００−１は、顔マスクと同様に合成顔マスクをユーザ操作に応じて移動させる。具体的には、制御部１０８は、ユーザの動きに基づく入力に応じて合成顔マスクを移動させる。例えば、制御部１０８は、ユーザのドラッグ操作に応じて、図４の右図に示したように合成顔マスク３６Ａを移動させる。なお、合成顔マスクは、顔画像に重畳表示されていない間であってもｓｒｃまたはｄｓｔの変化に応じて変化させられる。
情報処理装置１００−１は、顔マスクと同様に合成顔マスクをユーザ操作に応じて移動させる。具体的には、制御部１０８は、ユーザの動きに基づく入力に応じて合成顔マスクを移動させる。例えば、制御部１０８は、ユーザのドラッグ操作に応じて、図４の右図に示したように合成顔マスク３６Ａを移動させる。なお、合成顔マスクは、顔画像に重畳表示されていない間であってもｓｒｃまたはｄｓｔの変化に応じて変化させられる。
（Ｆ．画像の保存）
情報処理装置１００−１は、合成顔マスクが重畳表示される画像（以下、加工済み画像とも称する。）を保存する。具体的には、制御部１０８は、合成顔マスクが画面に表示されている状態において操作検出部１０６によって画像の保存操作が検出されると、加工済み画像を記憶部１１０に記憶させる。
情報処理装置１００−１は、合成顔マスクが重畳表示される画像（以下、加工済み画像とも称する。）を保存する。具体的には、制御部１０８は、合成顔マスクが画面に表示されている状態において操作検出部１０６によって画像の保存操作が検出されると、加工済み画像を記憶部１１０に記憶させる。
なお、情報処理装置１００−１は、保存対象を加工済み画像および未加工画像からユーザに選択させてもよい。例えば、制御部１０８は、操作検出部１０６によって画像の保存操作が検出されると、加工済み画像および未加工画像のうちのいずれを保存するかをユーザに選択させるＧＵＩを画面に表示させる。そして、制御部１０８は、選択結果に応じて加工済み画像または未加工画像を保存する。
また、情報処理装置１００−１は、加工済み画像であることを示す表示オブジェクトを画面に表示してもよい。例えば、制御部１０８は、加工済み画像の隅にマーキングオブジェクトを表示させる。また、制御部１０８は、合成顔マスクに隣接する位置にツマミのような表示オブジェクトを表示させてもよく、合成顔マスクの輪郭の透明度を低くしてもよく、合成顔マスクをめくられそうな態様に表示させてもよい。
＜１−３．装置の処理＞
次に、図６を参照して、本実施形態に係る情報処理装置１００−１の処理について説明する。図６は、本実施形態に係る情報処理装置１００−１の処理を概念的に示すフローチャートである。
次に、図６を参照して、本実施形態に係る情報処理装置１００−１の処理について説明する。図６は、本実施形態に係る情報処理装置１００−１の処理を概念的に示すフローチャートである。
情報処理装置１００−１は、顔マスク等のドラッグ操作の有無を判定する（ステップＳ３０２）。具体的には、制御部１０８は、操作検出部１０６によってドラッグ操作が検出されたかを判定する。
ドラッグ操作が行われたと判定されると、情報処理装置１００−１は、ドラッグ操作に基づいてｓｒｃを決定する（ステップＳ３０４）。具体的には、制御部１０８は、操作検出部１０６によってドラッグ操作が検出されると、検出されたドラッグ操作の開始位置における顔マスク等をｓｒｃとして決定する。
次に、情報処理装置１００−１は、顔マスク等のドロップ操作の有無を判定する（ステップＳ３０６）。具体的には、制御部１０８は、操作検出部１０６によってドロップ操作が検出されたかを判定する。
ドロップ操作が行われたと判定されると、情報処理装置１００−１は、ドロップ操作に基づいてｄｓｔを決定する（ステップＳ３０８）。具体的には、制御部１０８は、操作検出部１０６によってドロップ操作が検出されると、検出されたドロップ操作の位置における顔マスク等をｄｓｔとして決定する。
なお、ドロップ操作が正常に行われない場合、処理が終了する。具体的には、制御部１０８は、ドロップ操作が顔マスク等の存在しない位置で行われた場合、処理を終了させる。
次に、情報処理装置１００−１は、入力情報に基づいて合成モードを決定する（ステップＳ３１０）。具体的には、制御部１０８は、ｓｒｃまたはｄｓｔとして決定された顔画像または顔マスクに対応する顔画像に係る情報に基づいて合成モードを決定する。
次に、情報処理装置１００−１は、決定された合成モードを判定する（ステップＳ３１２）。具体的には、制御部１０８は、決定された合成モードが第１のモードであるか、または第２のモードであるかを判定する。
決定された合成モードが第１のモードである場合、情報処理装置１００−１は、ｓｒｃの顔マスクのメッシュ情報とｄｓｔの顔マスクのテクスチャ情報とに基づいて合成顔マスクを生成する（ステップＳ３１４）。具体的には、制御部１０８は、合成モードが第１のモードである場合、メッシュ情報がｓｒｃの顔マスクのメッシュ情報であり、テクスチャ情報がｄｓｔの顔マスクのテクスチャ情報である、合成顔マスクを生成する。
決定された合成モードが第２のモードである場合、情報処理装置１００−１は、ｄｓｔの顔マスクのメッシュ情報とｓｒｃの顔マスクのテクスチャ情報とに基づいて合成顔マスクを生成する（ステップＳ３１６）。具体的には、制御部１０８は、合成モードが第２のモードである場合、メッシュ情報がｄｓｔの顔マスクのメッシュ情報であり、テクスチャ情報がｓｒｃの顔マスクのテクスチャ情報である、合成顔マスクを生成する。
次に、情報処理装置１００−１は、合成顔マスクをｄｓｔの顔画像に関連付けて表示する（ステップＳ３１８）。具体的には、制御部１０８は、生成される合成顔マスクをｄｓｔの顔マスクに対応する顔画像に重畳表示させる。
＜１−４．第１の実施形態のまとめ＞
このように、本開示の第１の実施形態によれば、情報処理装置１００−１は、第１の物体マスクと第２の物体マスクとの合成により合成物体マスクを生成し、生成される合成物体マスクを第１の物体マスクまたは第２の物体マスクに対応する画像に関連付けて表示させる。また、情報処理装置１００−１は、合成のためのモードを入力情報に基づいて制御する。このため、入力情報に応じた合成が行われることにより、ユーザにとって望ましい合成を行うことが可能となる。
このように、本開示の第１の実施形態によれば、情報処理装置１００−１は、第１の物体マスクと第２の物体マスクとの合成により合成物体マスクを生成し、生成される合成物体マスクを第１の物体マスクまたは第２の物体マスクに対応する画像に関連付けて表示させる。また、情報処理装置１００−１は、合成のためのモードを入力情報に基づいて制御する。このため、入力情報に応じた合成が行われることにより、ユーザにとって望ましい合成を行うことが可能となる。
また、第１の物体マスクは、第１の顔マスクを含み、第２の物体マスクは、第２の顔マスクを含み、合成物体マスクは、合成顔マスクを含む。このため、人体の特徴的な部分である顔が合成対象とされることにより、ユーザを楽しませることが可能となる。なお、物体マスクの対象は、人間以外の物体、例えば野菜もしくは岩石等の天然物または時計等の人工物であってもよい。また、上述したように、物体は、物体の部分を含む。そのため、物体マスクの対象は、顔以外の人体の他の部位、または人間以外の物体の一部であってもよい。
また、モードは、第１の顔マスクのメッシュ情報に基づいて合成顔マスクを生成する第１のモードと、第２の顔マスクのメッシュ情報に基づいて合成顔マスクを生成する第２のモードと、を含む。このため、合成顔マスクのメッシュ情報が合成モードで切り替えられることにより、合成顔マスクの顔の表情をｓｒｃまたはｄｓｔの顔マスクの顔の表情から選択することが可能となる。その結果、ユーザの利便性が向上し得る。
また、第１のモードでは、第２の顔マスクのテクスチャ情報に基づいて合成顔マスクが生成され、第２のモードでは、第１の顔マスクのテクスチャ情報に基づいて合成顔マスクが生成される。このため、合成モードに応じてメッシュ情報とテクスチャ情報とが組み替えられることにより、自動的に合成顔マスクが切り替えられ、ユーザの利便性を向上させることが可能となる。
また、情報処理装置１００−１は、第１の顔マスクおよび第２の顔マスクに対応する画像のうちのユーザの入力に基づいて特定される画像に合成顔マスクを関連付けて表示させる。このため、ユーザの指定する顔画像に合成顔マスクが重畳表示されることにより、ユーザの利便性を向上させることが可能となる。
また、入力情報は、制御処理の入力となる第１の顔マスクまたは第２の顔マスクに対応する画像に係る情報を含む。このため、顔画像、特に合成顔マスクが重畳表示される顔画像に適した合成が行われることにより、ユーザに与える違和感を抑制したり、反対にユーザにあえて違和感を与えたりすることが可能となる。
また、上記の画像に係る情報は、上記の画像の属性または上記の画像の内容に係る情報を含む。このため、画像の属性に応じた合成によれば、画像の内容に応じた合成よりも処理負荷の低減が可能となる。また、画像の内容に応じた合成によれば、画像の属性に応じた合成よりも表示される場面に適した合成が可能となる。
また、入力情報は、ユーザの入力操作に係る情報を含む。このため、ユーザの意図に沿った合成が行われることにより、ユーザの利便性を向上させることが可能となる。
また、ユーザの入力操作は、第１の顔マスクまたは第２の顔マスクの選択操作を含み、情報処理装置１００−１は、第１の顔マスクまたは第２の顔マスクの選択位置に応じてモードを決定する。このため、合成対象の選択時に合成モードの選択が可能にされることにより、操作性を向上させることが可能となる。
また、情報処理装置１００−１は、第１の顔マスクまたは第２の顔マスクにおけるモードの各々に対応する選択位置を、視覚的に判別される態様で表示させる。このため、ユーザにとって選択位置が把握しやすくなり、ユーザの利便性を向上させることが可能となる。
また、第１の顔マスクおよび第２の顔マスクに対応する画像のうちの少なくとも一方は、撮像により一時的に記録される画像を含む。このため、ユーザは撮影中に合成具合を観察することができ、試行錯誤することができる。これにより、ユーザの利便性を向上させることが可能となる。
また、本開示の第１の実施形態によれば、情報処理装置１００−１は、物体マスクまたは物体マスクに対応する画像が表示される画面に対するユーザの動きに基づく入力に応じて合成のために第１の物体マスクまたは第２の物体マスクを移動させる。このため、ユーザの意図に即して顔マスクが移動されることにより、合成についての操作感を向上させることが可能となる。
また、情報処理装置１００−１は、第１の顔マスクまたは第２の顔マスクの一方から他方への移動の完了後に、合成顔マスクを他方の顔マスクに対応する画像に関連付けて表示させる。このため、ユーザの動きに応じて合成顔マスクが表示されるタイミングが決定されることにより、操作感を向上させることが可能となる。
また、情報処理装置１００−１は、ユーザの動きに基づく入力が中断されると、合成を行わない。このため、ユーザの意図に応じて合成が中止されることにより、ユーザの利便性を向上させることが可能となる。
また、ユーザの動きに基づく入力は、始点と終点の両方を決定する操作または始点のみを決定する操作を含む。このため、ユーザは感覚的に顔マスクを操作することができ、操作性をより向上させることが可能となる。
また、移動させられる第１の顔マスクまたは第２の顔マスクは、画面に表示される顔リストに並べられる顔マスクまたは顔リストに並べられる画像から生成される顔マスクを含む。このため、顔リストからｓｒｃとなる顔マスクまたは顔画像が選択されることにより、画面に映っていない顔を合成対象とすることができ、ユーザの選択肢を広げることが可能となる。
また、情報処理装置１００−１は、顔リストに並べられる顔マスクまたは画像を、第１の顔マスクまたは第２の顔マスクで表現される顔の属性に基づいて選出する。このため、合成候補となる顔に合った顔マスクまたは顔画像が顔リストに並べられることにより、リストアップされる顔マスクまたは顔画像に対するユーザの満足度を向上させることが可能となる。
また、第１の顔マスクおよび第２の顔マスクのうちの少なくとも一方は、ユーザについての顔マスクを含む。このため、自分の顔を他の顔に合成させたり、自分の顔に他の顔をごうせいさせたりすることができ、自分に合った髪型または服装等をシミュレーションすることが可能となる。
＜１−５．変形例＞
以上、本開示の第１の実施形態について説明した。なお、本実施形態は、上述の例に限定されない。以下に、本実施形態の第１〜第１０の変形例について説明する。
以上、本開示の第１の実施形態について説明した。なお、本実施形態は、上述の例に限定されない。以下に、本実施形態の第１〜第１０の変形例について説明する。
（第１の変形例）
本実施形態の第１の変形例として、情報処理装置１００−１は、合成対象のメッシュ情報の両方またはテクスチャ情報の両方に基づいて合成顔マスクを生成してもよい。具体的には、合成モードは、ｓｒｃとなる顔マスクのメッシュ情報およびｄｓｔとなる顔マスクのメッシュ情報と、ｓｒｃとなる顔マスクのテクスチャ情報およびｄｓｔとなる顔マスクのテクスチャ情報とに基づいて合成顔マスクを生成する第３のモードを含む。
本実施形態の第１の変形例として、情報処理装置１００−１は、合成対象のメッシュ情報の両方またはテクスチャ情報の両方に基づいて合成顔マスクを生成してもよい。具体的には、合成モードは、ｓｒｃとなる顔マスクのメッシュ情報およびｄｓｔとなる顔マスクのメッシュ情報と、ｓｒｃとなる顔マスクのテクスチャ情報およびｄｓｔとなる顔マスクのテクスチャ情報とに基づいて合成顔マスクを生成する第３のモードを含む。
例えば、第３のモードでは、制御部１０８は、ｓｒｃとなる顔マスクのメッシュとｄｓｔとなる顔マスクのメッシュとを合成させることにより合成顔マスクのメッシュを決定する。例えば、第３のモードにおける合成顔マスクのメッシュは、ｓｒｃのメッシュとｄｓｔのメッシュとの平均化により得られてもよい。なお、テクスチャについても上述したメッシュの場合と同様である。また、当然ながら、第３のモードも、第１のモードおよび第２のモードと同様に、入力情報に基づいて制御される。
このように、本実施形態の第１の変形例によれば、合成モードは、ｓｒｃとなる顔マスクのメッシュ情報およびｄｓｔとなる顔マスクのメッシュ情報と、ｓｒｃとなる顔マスクのテクスチャ情報およびｄｓｔとなる顔マスクのテクスチャ情報とに基づいて合成顔マスクを生成する第３のモードを含む。このため、合成の程度がより細かく設定可能であることにより、多様なユーザニーズに対応することが可能となる。
（第２の変形例）
本実施形態の第２の変形例として、情報処理装置１００−１は、ｄｓｔとなる顔マスク等が複数存在する場合、当該複数の顔マスク等の全てについて合成顔マスクを生成してもよい。具体的には、制御部１０８は、画面に複数の顔マスクまたは顔画像が表示される場合、移動させられる顔マスクと当該複数の顔マスクまたは顔画像の各々とに基づいて合成顔マスクをそれぞれ生成する。さらに、図７および図８を参照して本変形例の処理について詳細に説明する。図７は、本実施形態の第２の変形例における顔リストから選択される顔マスク等に基づく複数の合成顔マスクの生成処理を説明するための図であり、図８は、本実施形態の第２の変形例における画面に表示される顔画像等から選択される顔マスク等に基づく複数の合成顔マスクの生成処理を説明するための図である。
本実施形態の第２の変形例として、情報処理装置１００−１は、ｄｓｔとなる顔マスク等が複数存在する場合、当該複数の顔マスク等の全てについて合成顔マスクを生成してもよい。具体的には、制御部１０８は、画面に複数の顔マスクまたは顔画像が表示される場合、移動させられる顔マスクと当該複数の顔マスクまたは顔画像の各々とに基づいて合成顔マスクをそれぞれ生成する。さらに、図７および図８を参照して本変形例の処理について詳細に説明する。図７は、本実施形態の第２の変形例における顔リストから選択される顔マスク等に基づく複数の合成顔マスクの生成処理を説明するための図であり、図８は、本実施形態の第２の変形例における画面に表示される顔画像等から選択される顔マスク等に基づく複数の合成顔マスクの生成処理を説明するための図である。
制御部１０８は、複数の顔マスクまたは顔マスクに対応する顔画像のうちの１つに顔マスク等が移動させられると、合成を行う。例えば、顔リストから選択される顔マスク等に基づく複数の合成顔マスクの生成について考える。制御部１０８は、図７の左図に示したような顔リストに並べられる顔画像１２Ｂ３が静止画の顔画像１４Ｂ１〜１４Ｂ４のいずれかに移動させられると、顔画像１４Ｂ１〜１４Ｂ４の顔マスクの各々について顔画像１２Ｂ３の顔マスクとの合成が第２のモードで行われる。その結果、図７の右図に示したように、顔画像１４Ｂ１〜１４Ｂ４の各々に生成された合成顔マスク３４Ｂ１〜３４Ｂ４の各々がそれぞれ重畳表示される。
また、例えば、画面に表示される顔画像等から選択される顔マスク等に基づく複数の合成顔マスクの生成について考える。制御部１０８は、例えば、制御部１０８は、図８の左図に示したような静止画の顔画像１４Ｃ１が他の顔画像１４Ｃ２〜１４Ｃ４のいずれかに移動させられると、顔画像１４Ｃ２〜１４Ｃ４の顔マスクの各々について顔画像１４Ｃ１の顔マスクとの合成が第２のモードで行われる。その結果、図８の右図に示したように、顔画像１４Ｃ２〜１４Ｃ４の各々に生成された合成顔マスク３４Ｃ２〜３４Ｃ４の各々がそれぞれ重畳表示される。
なお、制御部１０８は、ｓｒｃとなる顔マスク等を移動させずに合成を行ってもよい。例えば、制御部１０８は、ｓｒｃとなる顔マスク等が選択されると、ｄｓｔとなる複数の顔マスク等との合成を行う。
また、当然ながら、複数の顔マスク等のうちの選択される１つについて合成顔マスクの生成が行われてもよい。
また、制御部１０８は、画面に複数の顔マスク等が表示される場合における合成顔マスクの生成対象をユーザ操作に基づいて切り替えてもよい。具体的には、制御部１０８は、表示オブジェクトの操作に基づいて合成顔マスクの生成対象を切り替える。例えば、制御部１０８は、図８に示したようなボタンオブジェクト４０がオンに設定されると、合成顔マスクの生成対象を複数の顔マスク等の全てに設定する。また、制御部１０８は、図８に示したようなボタンオブジェクト４０がオフに設定されると、合成顔マスクの生成対象を複数の顔マスク等のうちの１つに設定する。
このように、本実施形態の第２の変形例によれば、情報処理装置１００−１は、画面に複数の顔マスクまたは顔画像が表示される場合、移動させられる顔マスクと当該複数の顔マスクまたは顔画像の各々とに基づいて合成顔マスクをそれぞれ生成する。このため、複数の顔マスクとの合成にかかるユーザの手間を省くことが可能となる。
また、制御部１０８は、複数の顔マスクまたは顔マスクに対応する顔画像のうちの１つに顔マスク等が移動させられると、合成を行う。このため、ｄｓｔの数に関わらず合成のためのインタフェースが統一されることにより、操作の分かり易さを向上させることが可能となる。
（第３の変形例）
本実施形態の第３の変形例として、情報処理装置１００−１は、ユーザ操作に基づいて顔リストに顔マスク等を登録してもよい。具体的には、制御部１０８は、顔リストに向けて移動させられた顔マスクを顔リストに追加する。さらに、図９を参照して、顔リストへの登録処理について詳細に説明する。図９は、本実施形態の第３の変形例における顔リストへの登録処理を説明するための図である。
本実施形態の第３の変形例として、情報処理装置１００−１は、ユーザ操作に基づいて顔リストに顔マスク等を登録してもよい。具体的には、制御部１０８は、顔リストに向けて移動させられた顔マスクを顔リストに追加する。さらに、図９を参照して、顔リストへの登録処理について詳細に説明する。図９は、本実施形態の第３の変形例における顔リストへの登録処理を説明するための図である。
制御部１０８は、顔リストの登録枠を用意する。例えば、顔リストへの登録前においては、図９の左図に示したように顔リストには顔マスク等が並べられていないが、登録可能な枠を示すオブジェクトが並べられる。
次に、制御部１０８は、顔マスク等が顔リストに移動されると、当該顔マスク等を顔リストに追加する。例えば、図９の左図の左上に示したようなスルー画から顔画像１６Ｄから生成される顔マスクがユーザによって顔リストに移動させられると、制御部１０８は、図９の右図に示したように当該顔マスク２２Ｄを顔リストに追加する。
次に、制御部１０８は、顔リストに登録された顔マスク等をｓｒｃとして合成を行う。例えば、顔リストに登録された顔マスク２２Ｄを顔画像１４Ｄ１〜１４Ｄ３に移動させることにより、制御部１０８は、当該顔マスク２２Ｄをｓｒｃとし、移動先の顔画像の各々をｄｓｔとして合成顔マスクの生成を第２のモードで行う。そして、生成される合成顔マスク３４Ｄ１〜３４Ｄ３の各々が顔画像１４Ｄ１〜１４Ｄ３の各々にそれぞれ重畳表示される。
また、制御部１０８は、顔リストに顔画像が移動させられると、当該顔画像から生成される顔マスクを顔リストに登録してもよい。例えば、ユーザがスルー画に映る自身の顔が顔リストに移動されるように自身の顔または情報処理装置１００−１を移動させると、制御部１０８は、当該スルー画のユーザの顔から顔マスクを生成し、生成される顔マスクを顔リストに登録する。
また、制御部１０８は、顔マスク等の移動を伴わない操作に基づいて顔リストに登録してもよい。例えば、顔マスク等について所定の時間タッチ操作等の選択操作が継続した場合、制御部１０８は、当該選択操作に係る顔マスクを顔リストに追加する。また、この場合、制御部１０８は、当該選択操作の継続の検出後に、登録可否を確認するＧＵＩを表示させてもよい。また、制御部１０８は、撮像により得られた画像または記憶部１１０に記憶される画像の中からユーザが選択する画像を追加してもよい。
また、制御部１０８は、自動的に顔リストが生成されてもよい。例えば、制御部１０８は、撮像により得られる画像（静止画、動画およびスルー画を含む。）に映っている顔について顔マスクを生成し、生成される顔マスクを顔リストに追加する。また、制御部１０８は、撮像中に被写体となった顔について顔マスクを生成し、生成される顔マスクを顔リストに追加してもよい。なお、一旦登録された顔マスクが更新されてもよい。例えば、制御部１０８は、登録済みの顔マスクよりもより正面に近い方向を向いている顔画像または顔マスクが取得されると、当該登録済みの顔マスクの代わりに新たに取得された顔マスクが登録される。
なお、顔リストから顔マスク等が削除されてもよい。具体的には、制御部１０８は、ユーザ操作に基づいて顔リストから顔マスク等を削除する。例えば、顔リストに並べられる顔マスク等がドラッグアンドドロップ操作で顔リスト外に移動された場合、制御部１０８は、当該移動された顔マスク等を顔リストから削除する。
また、制御部１０８は、自動的に顔マスク等を顔リストから削除してもよい。例えば、制御部１０８は、顔リストへの登録から所定の時間が経過した顔マスク等を削除する。また、制御部１０８は、撮像範囲から外れた顔マスク等を顔リストから削除してもよい。また、制御部１０８は、撮像が終了し、または撮像画面が印刷されると、顔マスク等を顔リストから削除してもよい。また、制御部１０８は、ユーザの位置情報に基づいて顔マスク等を削除してもよい。例えば、制御部１０８は、ユーザが所定の領域から離れた際に、当該所定の領域に対応する顔マスク等を削除する。
このように、本実施形態の第３の変形例によれば、情報処理装置１００−１は、顔リストに向けて移動させられた顔マスクを顔リストに追加する。このため、ユーザは顔リストを感覚的に作成することができ、操作性を向上させることが可能となる。
（第４の変形例）
本実施形態の第４の変形例として、情報処理装置１００−１は、現実の人間の顔以外の顔に合成顔マスクを関連付けて表示させてもよい。具体的には、合成に用いられる顔マスクは、人工的に生成された顔（以下、人工顔とも称する。）についての顔マスクを含む。例えば、制御部１０８は、人工顔の顔画像から生成される顔マスクと他の顔マスクとを合成する。そして、制御部１０８は、合成により得られる合成顔マスクを人工顔の顔画像に重畳表示させる。さらに、図１０を参照して、本変形例の処理について説明する。図１０は、本実施形態に係る第４の変形例における合成処理を説明するための図である。
本実施形態の第４の変形例として、情報処理装置１００−１は、現実の人間の顔以外の顔に合成顔マスクを関連付けて表示させてもよい。具体的には、合成に用いられる顔マスクは、人工的に生成された顔（以下、人工顔とも称する。）についての顔マスクを含む。例えば、制御部１０８は、人工顔の顔画像から生成される顔マスクと他の顔マスクとを合成する。そして、制御部１０８は、合成により得られる合成顔マスクを人工顔の顔画像に重畳表示させる。さらに、図１０を参照して、本変形例の処理について説明する。図１０は、本実施形態に係る第４の変形例における合成処理を説明するための図である。
人工顔は、絵画として描かれる顔を含む。例えば、図１０の左図に示したような絵画として描かれる女性の顔についての顔画像１４Ｅに向けてスルー画の顔画像１６Ｅから生成される顔マスクが移動させられると、制御部１０８は、当該顔画像１４Ｅから生成される顔マスクと移動させられる顔マスクとの合成を第２のモードで行う。そして、制御部１０８は、図１０の右図に示したように、合成により得られる合成顔マスク３４Ｅを顔画像１４Ｅに重畳表示させる。当然ながら、スルー画の顔画像１６Ｅから生成される顔マスクの代わりに、顔リストに登録されている顔マスク、例えば顔マスク２２Ｅ１が合成に用いられてもよい。
なお、人工顔は、ＣＧで作成される顔であってもよい。また、人工顔の代わりに、人工物ではないが顔のような形態の野菜または岩石等の天然物が用いられてもよい。
このように、本実施形態の第４の変形例によれば、合成に用いられる顔マスクは、人工的に生成された顔についての顔マスクを含む。このため、合成対象が拡張されることにより、より多様なユーザニーズに対応することが可能となる。
（第５の変形例）
本実施形態の第５の変形例として、情報処理装置１００−１は、合成顔マスクに関連する第２の合成顔マスクの事前表示（以下、合成顔マスクのプレビューとも称する。）を行ってもよい。具体的には、合成顔マスクのプレビューは、移動中の顔マスクを第２の合成顔マスクに変化させることを含み、第２の合成顔マスクは合成顔マスクを含む。例えば、制御部１０８は、移動対象として選択された顔マスクを、当該顔マスクと移動先として推定される顔マスクとの合成により得られる合成顔マスクに変化させる。例えば、制御部１０８は、移動操作がドラッグ操作である場合、ドラッグされる方向に存在する顔マスクをｄｓｔとなる顔マスクとしてプレビューを行う。なお、スワイプ操作またはフリック操作についてもドラッグ操作の場合と同様である。
本実施形態の第５の変形例として、情報処理装置１００−１は、合成顔マスクに関連する第２の合成顔マスクの事前表示（以下、合成顔マスクのプレビューとも称する。）を行ってもよい。具体的には、合成顔マスクのプレビューは、移動中の顔マスクを第２の合成顔マスクに変化させることを含み、第２の合成顔マスクは合成顔マスクを含む。例えば、制御部１０８は、移動対象として選択された顔マスクを、当該顔マスクと移動先として推定される顔マスクとの合成により得られる合成顔マスクに変化させる。例えば、制御部１０８は、移動操作がドラッグ操作である場合、ドラッグされる方向に存在する顔マスクをｄｓｔとなる顔マスクとしてプレビューを行う。なお、スワイプ操作またはフリック操作についてもドラッグ操作の場合と同様である。
また、第２の合成顔マスクは、移動中の顔マスクの移動に関する情報に応じて合成顔マスクの顔特徴情報が変化させられた合成顔マスクを含む。具体的には、移動により変化するｓｒｃである顔マスクとｄｓｔである顔マスクとの間の距離に応じてプレビューに係る合成顔マスクの顔特徴情報が変化させられる。例えば、制御部１０８は、当該距離が縮まるほど、移動中の顔マスクを移動後の合成顔マスクに近い合成顔マスクに変化させる。詳細には、制御部１０８は、当該距離が縮まるほど、移動中の顔マスクのメッシュおよびテクスチャを合成顔マスクのメッシュおよびテクスチャに近づける。なお、移動操作はドラッグ操作であってもよく、スワイプ操作であってもよい。
また、顔マスクの移動方向に応じてプレビューに係る合成顔マスクの顔特徴情報が変化させられてもよい。例えば、制御部１０８は、所定の方向に顔マスクが移動させられると、移動させられる顔マスクをｓｒｃの顔マスクのメッシュおよびテクスチャが強調された合成顔マスクに変化させる。また、制御部１０８は、当該所定の方向と反対方向に顔マスクが移動させられると、移動させられる顔マスクをｄｓｔの顔マスクのメッシュおよびテクスチャが強調された合成顔マスクに変化させる。
また、顔マスクの移動の速さに応じてプレビューに係る合成顔マスクの顔特徴情報が変化させられてもよい。例えば、制御部１０８は、顔マスクの移動が速いほど、移動させられる顔マスクのメッシュおよびテクスチャを合成顔マスクのメッシュおよびテクスチャに近づける。また、制御部１０８は、移動の速さが閾値以上である場合に、移動させられる顔マスクを合成顔マスクに変化させてもよい。
また、合成顔マスクのプレビューは、顔リストに並べられる顔マスクまたは並べられる顔画像から生成される顔マスクを第２の合成顔マスクに変化させることであってもよい。具体的には、制御部１０８は、顔リストに並べられる顔マスクまたは顔画像のうちの選択される顔マスクまたは選択される顔画像から生成される顔マスクを第２の合成顔マスクに変化させる。さらに、図１１を参照して、顔リストにおけるプレビューについて詳細に説明する。図１１は、本実施形態の第５の変形例における顔リストにおけるプレビューについて説明するための図である。
制御部１０８は、顔リスト上でユーザ操作により選択される１つまたは複数の顔マスク等の各々について、顔認識部１０４によって認識された画面上の顔についての顔マスクとの合成をそれぞれ行う。例えば、制御部１０８は、顔リストに並べられる顔マスクと、当該顔マスクとそれぞれ対応する顔画像１４Ｆ１〜１４Ｆ３から生成される顔マスクとの合成を第１のモードでそれぞれ行う。
そして、制御部１０８は、生成された合成顔マスクの各々を対応する選択された顔リスト上の顔マスクに代えてそれぞれ表示させる。例えば、制御部１０８は、図１１に示したように、合成顔マスク３２Ｆ１〜３２Ｆ３を顔リストの顔マスクに代えてそれぞれ表示させる。顔リスト上で顔画像が選択される場合は、当該顔画像に合成顔マスクが重畳表示されてもよい。
なお、制御部１０８は、顔リストに並べられる顔マスク等の全てをプレビュー対象としてもよい。また、プレビュー対象はユーザ操作に基づいて切り替えられてもよい。
また、プレビュー中の合成顔マスクは、ｓｒｃまたはｄｓｔのメッシュ情報に基づいて更新されてもよい。例えば、プレビュー中の合成顔マスクは、ｓｒｃまたはｄｓｔの顔の動きに応じて表情が変化させられる。
また、上記では、ｄｓｔとなる顔マスク等が合成顔マスクに変化する例を説明したが、ｓｒｃとなる顔マスク等が合成顔マスクに変化してもよい。
また、上記では、合成対象となる顔マスク等が合成顔マスクに変化することによりプレビューが行われる例を説明したが、別途プレビュー用の画面が設けられ、当該画面に合成顔マスクのプレビューが表示されてもよい。
このように、本実施形態の第５の変形例によれば、情報処理装置１００−１は、合成顔マスクに関連する第２の合成顔マスクの事前表示を行う。このため、事前に合成後の様子が提示されることにより、ユーザは合成の実行有無を合成前に行うことができ、ユーザの利便性を向上させることが可能となる。
また、第２の合成顔マスクの事前表示は、移動中の顔マスクを第２の合成顔マスクに変化させることを含む。このため、合成のための移動操作中に合成顔マスクのプレビューが行われることにより、ユーザは移動中に合成の実行有無を判断することが可能となる。
また、第２の合成顔マスクは、ｓｒｃである顔マスクとｄｓｔである顔マスクとの間の距離に応じて合成顔マスクの顔特徴情報が変化させられた合成顔マスクを含む。このため、移動操作においてユーザは合成の過程を確認することができ、ユーザに楽しみを与えることが可能となる。
また、第２の合成顔マスクの事前表示は、顔リストに並べられる顔マスクまたは並べられる顔画像から生成される顔マスクを第２の合成顔マスクに変化させることを含む。このため、顔リストに並べられる顔マスクがプレビュー対象とされることにより、ユーザは移動操作を伴わずにプレビューを観察することが可能となる。
また、情報処理装置１００−１は、顔リストに並べられる顔マスクまたは顔画像のうちの選択される顔マスクまたは全てを第２の合成顔マスクに変化させる。このため、ユーザの意図する顔マスクのみプレビュー対象とされることにより、ユーザは確認したい合成顔マスクを集中して観察することが可能となる。
（第６の変形例）
本実施形態の第６の変形例として、情報処理装置１００−１は、合成顔マスクの重畳表示の際に、当該合成顔マスクが重畳表示される顔画像についての顔マスクを確保しておいてもよい。具体的には、制御部１０８は、合成顔マスクの表示の際に、合成顔マスクと関連付けられる画像に対応する顔マスクを、当該合成顔マスクに隣接して表示させる。さらに、図１２および図１３を参照して、本変形例の処理について詳細に説明する。図１２は、本実施形態の第６の変形例における顔マスクの確保を行わない場合の合成処理を説明するための図であり、図１３は、本実施形態の第６の変形例における顔マスクの確保を行う場合の合成処理を説明するための図である。
本実施形態の第６の変形例として、情報処理装置１００−１は、合成顔マスクの重畳表示の際に、当該合成顔マスクが重畳表示される顔画像についての顔マスクを確保しておいてもよい。具体的には、制御部１０８は、合成顔マスクの表示の際に、合成顔マスクと関連付けられる画像に対応する顔マスクを、当該合成顔マスクに隣接して表示させる。さらに、図１２および図１３を参照して、本変形例の処理について詳細に説明する。図１２は、本実施形態の第６の変形例における顔マスクの確保を行わない場合の合成処理を説明するための図であり、図１３は、本実施形態の第６の変形例における顔マスクの確保を行う場合の合成処理を説明するための図である。
まず、顔マスクの確保を行わない場合について説明する。制御部１０８は、ｓｒｃとなる顔マスクがｄｓｔとなる顔マスク等に移動させられると、合成顔マスクを生成する。例えば、図１２の左図に示したように、スルー画の顔画像１６Ｇから生成される顔マスク２６Ｇがドラッグ操作により動画の顔画像１８Ｇに移動させられると、制御部１０８は、当該顔マスク２６Ｇと顔画像１８Ｇから生成される顔マスクとを第２のモードで合成する。
次に、制御部１０８は、生成される合成顔マスクをｄｓｔとなる顔画像に重畳表示させる。例えば、制御部１０８は、生成される合成顔マスク３８Ｇをｄｓｔである顔画像１８Ｇに重畳表示させる。ここで、顔画像１８Ｇには合成顔マスク３８Ｇが重畳表示されているため、ユーザは顔画像１８Ｇの顔マスクを生成したい場合に、顔画像１８Ｇから顔マスクを生成する操作を顔画像１８Ｇに対して行うことが困難となる場合がある。そこで、後述するように、情報処理装置１００−１では、顔マスクが確保される。
制御部１０８は、ｓｒｃとなる顔マスクがｄｓｔとなる顔マスク等に移動させられると、合成顔マスクを生成する。例えば、図１３の左図に示したように、静止画の顔画像１４Ｈから生成される顔マスクがドラッグ操作によりスルー画の顔画像１６Ｈに移動させられると、制御部１０８は、移動させられる顔マスクと顔画像１６Ｈから生成される顔マスクとを第２のモードで合成する。
次に、制御部１０８は、生成される合成顔マスクをｄｓｔとなる顔画像に重畳表示させると共に、ｄｓｔとなる顔画像から生成される顔マスクを合成顔マスクに隣接する位置に表示させる。例えば、制御部１０８は、図１３の中図に示したように、生成される合成顔マスク３６Ｈをｄｓｔである顔画像１６Ｈに重畳表示させると共に、顔画像１６Ｈから生成される顔マスク２６Ｈを合成顔マスク３６Ｈすなわち顔画像１６Ｈの上に表示させる。
なお、確保される顔マスクは、上述してきた顔マスクと同様に移動および合成が可能である。例えば、制御部１０８は、図１３の中図に示したように、確保のために生成された顔マスク２６Ｈが顔画像１４Ｈに移動させられると、当該顔マスク２６Ｈと顔画像１４Ｈから生成される顔マスクとを第２のモードで合成する。
次に、制御部１０８は、生成される合成顔マスクをｄｓｔとなる顔画像に重畳表示させると共に、ｄｓｔとなる顔画像から生成される顔マスクを合成顔マスクに隣接する位置に表示させる。例えば、制御部１０８は、図１３の左図に示したように、生成された合成顔マスク３４Ｈを顔画像１４Ｈに重畳表示させると共に、顔画像１４Ｈから生成される顔マスク２４Ｈを合成顔マスク３４Ｈすなわち顔画像１４Ｈの上に表示させる。その結果、顔画像に係る顔が入れ替わったように表示される。
なお、上記の顔マスクの確保の有無は切り替えられてもよい。具体的には、制御部１０８は、ユーザ操作に基づいて顔マスクの確保の有無を切り替える。例えば、制御部１０８は、図１３の左図に示したようなボタンオブジェクト５０のオンとオフとの切り替えに応じて、顔マスクの確保の有無を切り替える。
このように、本実施形態の第６の変形例によれば、情報処理装置１００−１は、合成顔マスクの表示の際に、合成顔マスクと関連付けられる画像に対応する顔マスクを、当該合成顔マスクに隣接して表示させる。このため、合成顔マスクが重畳表示された顔画像についても顔マスクの操作が可能とされることにより、ユーザの利便性を向上させることが可能となる。
（第７の変形例）
本実施形態の第７の変形例として、情報処理装置１００−１は、合成顔マスクの顔特徴情報を変更してもよい。具体的には、制御部１０８は、入力情報に基づいて合成顔マスクの顔特徴情報を変更する。より具体的には、制御部１０８は、ユーザの入力操作に基づいて、ｓｒｃである顔マスクの顔特徴情報とｄｓｔである顔モデルの顔特徴情報との間で合成顔マスクの顔特徴情報を変更する。さらに、図１４を参照して、本変形例の処理について詳細に説明する。図１４は、本実施形態の第７の変形例における合成顔マスクの顔特徴情報を調整するためのインタフェースの例を示す図である。
本実施形態の第７の変形例として、情報処理装置１００−１は、合成顔マスクの顔特徴情報を変更してもよい。具体的には、制御部１０８は、入力情報に基づいて合成顔マスクの顔特徴情報を変更する。より具体的には、制御部１０８は、ユーザの入力操作に基づいて、ｓｒｃである顔マスクの顔特徴情報とｄｓｔである顔モデルの顔特徴情報との間で合成顔マスクの顔特徴情報を変更する。さらに、図１４を参照して、本変形例の処理について詳細に説明する。図１４は、本実施形態の第７の変形例における合成顔マスクの顔特徴情報を調整するためのインタフェースの例を示す図である。
制御部１０８は、合成顔マスクの顔特徴情報を調整するためのインタフェースをユーザに提供する。例えば、制御部１０８は、図１４に示したようなＧＵＩ６０を表示させる。当該ＧＵＩ６０は、合成顔マスクのメッシュ情報を調整するためのスライダのようなインタフェースと、合成顔マスクのテクスチャ情報を調整するためのスライダのようなインタフェースと、を含む。例えば、スライダの左端がｓｒｃに対応し、スライダの右端がｄｓｔに対応する。
なお、メッシュ情報についてのスライダのつまみが左端に設定され、テクスチャ情報についてのスライダのつまみが右端に設定される場合、合成顔マスクの顔特徴情報は、上述した第１のモードの顔特徴情報に対応する。２つのスライダの各々のつまみがそれぞれ逆に設定される場合、合成顔マスクの特徴情報は、上述した第２のモードの顔特徴情報に対応する。また、２つのスライダの各々のつまみが左端と右端との間に設定される場合、合成顔マスクの顔特徴情報は、上述した第３のモードの顔特徴情報に対応する。
そして、制御部１０８は、インタフェースを通じて設定される顔特徴情報に基づいて合成顔マスクの表示を変化させる。例えば、制御部１０８は、図１４に示したような合成顔マスクのメッシュ情報およびテクスチャ情報をＧＵＩ６０のスライダで設定されるメッシュ情報およびテクスチャ情報に変更する。なお、制御部１０８は、ＧＵＩ６０の操作についてリアルタイムに合成顔マスクを変化させてもよく、ＧＵＩ６０の操作の終了後、例えば終了操作後に、合成顔マスクを変化させてもよい。
また、合成顔マスクの顔特徴情報は、ｓｒｃおよびｄｓｔである顔マスクの顔特徴情報に関わらず変更されてもよい。具体的には、制御部１０８は、ｓｒｃである顔マスクまたはｄｓｔである顔マスクの属性情報に基づいて合成顔マスクのメッシュ情報を変更する。さらに、図１５Ａ〜図１５Ｃを参照して、本構成について詳細に説明する。図１５Ａ〜図１５Ｃはそれぞれ、本実施形態の第７の変形例における合成顔マスクのメッシュ情報の変更処理を説明するための図である。
制御部１０８は、顔マスクの属性情報に基づいてメッシュの型を選択し、選択されるメッシュの型に基づいてメッシュ情報を変更する。例えば、顔マスクの属性情報としては、お面もしくはマスク等の被り物、漫画もしくはＣＧのキャラクタまたは前髪の有無等の種類がある。例えば、制御部１０８は、顔マスクの種類が被り物である場合、図１５Ａまたは図１５Ｂに示されるような、額または目等の顔の一部のメッシュが欠けたメッシュの型を選択する。また、制御部１０８は、顔マスクの種類がキャラクタである場合、図１５Ｃに示されるような、目等の顔の一部がデフォルメされたように他のメッシュの型よりも大きく設定されるメッシュの型を選択する。
また、制御部１０８は、メッシュの型を選択する代わりにまたはそれに加えて、動的にメッシュ情報を変更してもよい。本構成について、図１６を参照して詳細に説明する。図１６は、本実施形態の第７の変形例における合成顔マスクのメッシュ情報の変更処理の他の例を説明するための図である。
制御部１０８は、ユーザ操作に応じてメッシュ情報を動的に変更する。具体的には、制御部１０８は、メッシュ情報の一部をユーザ操作により選択される大きさに変更する。例えば、制御部１０８は、図１６に示した合成顔マスク３６Ｉ１〜３６Ｉ３のように、メッシュのうちの目に相当する部分の大きさをユーザ操作により設定される倍率１．０〜１．５倍まで変化させる。
また、制御部１０８は、合成顔マスクが関連付けられる顔画像または合成対象の顔マスクに基づいて合成顔マスクのテクスチャ情報を変更してもよい。具体的には、制御部１０８は、ｓｒｃである顔マスクのテクスチャ情報とｄｓｔである顔マスク等のテクスチャ情報との対比に基づいて合成顔マスクのテクスチャ情報を変更する。さらに、図１７および図１８を参照して、本構成について詳細に説明する。図１７および図１８はそれぞれ、本実施形態の第７の変形例における合成顔マスクのテクスチャ情報の変更処理を説明するための図である。
まず、テクスチャ情報の変更を行わない場合について説明する。制御部１０８は、合成顔マスクが生成されると、生成される合成顔マスクをｄｓｔである顔画像に重畳表示させる。例えば、制御部１０８は、図１７の左図に示したような合成顔マスク３６Ｊ１を表示させる。ここで、合成顔マスク３６Ｊ１のテクスチャの色合いは、重畳表示される顔画像の色合いと異なるため、ユーザは当該合成を不自然に感じる可能性がある。そこで、制御部１０８は、ｓｒｃである顔マスクのテクスチャとｄｓｔである顔マスクのテクスチャとの視覚的な差異の程度に応じて合成顔マスクのテクスチャの透明度を変更する。
具体的には、制御部１０８は、ｓｒｃである顔マスクのテクスチャとｄｓｔである顔マスクのテクスチャの輝度または色属性（色相、明度または彩度）の差異の程度に応じて合成顔マスクのテクスチャの透明度を変更する。例えば、制御部１０８は、図１７の右図に示した合成顔マスク３６Ｊ２のように、合成顔マスクの輪郭周辺のテクスチャの透明度を上げる。これにより違和感を抑制することが可能となる。
また、制御部１０８は、テクスチャの透明度を変更する代わりにまたはそれに加えて、テクスチャの色属性を変更してもよい。具体的には、制御部１０８は、ｓｒｃである顔マスクのテクスチャとｄｓｔである顔マスクのテクスチャの輝度または色属性の差異の程度に応じて合成顔マスクのテクスチャの色属性を変更する。例えば、制御部１０８は、合成顔マスクのテクスチャの明度を低下させることにより、図１８の右図に示したような合成顔マスク３６Ｋ１から図１８の右図に示した合成顔マスク３６Ｋ２に合成顔マスクを変更する。これにより、違和感を抑制することが可能となる。
なお、上述した合成顔マスクの顔特徴情報の変更処理は、合成後に行われてもよく、合成時に行われてもよい。
このように、本実施形態の第７の変形例によれば、情報処理装置１００−１は、入力情報に基づいて合成顔マスクの顔特徴情報を変更する。このため、入力情報に適した合成顔マスクが表示されることにより、ユーザの合成顔マスクに対する視認性を改善することが可能となる。
また、情報処理装置１００−１は、ユーザの入力操作に基づいて、ｓｒｃである顔マスクの顔特徴情報とｄｓｔである顔モデルの顔特徴情報との間で合成顔マスクの顔特徴情報を変更する。このため、合成顔マスクの顔特徴情報の細かな設定が容易となることにより、ユーザの利便性を向上させることが可能となる。特に、合成後にユーザの入力操作に応じてリアルタイムに合成顔マスクの顔特徴情報が変更される場合、ユーザは合成顔マスクの変化を確認しながら調整することができ、さらに利便性を高めることが可能となる。
また、情報処理装置１００−１は、ｓｒｃである顔マスクまたはｄｓｔである顔マスクの属性情報に基づいて合成顔マスクのメッシュ情報を変更する。このため、ｓｒｃおよびｄｓｔの顔マスクにとらわれず、合成顔マスクが変更されることにより、ユーザの選択肢が広がり、多様なユーザニーズに対応することが可能となる。また、合成顔マスクのメッシュ情報が変更されることにより、合成顔マスクにより表現される顔の表情を変更し、合成顔マスクを合成先になじませることが可能となる。
また、情報処理装置１００−１は、合成顔マスクが関連付けられる顔画像または合成対象の顔マスクに基づいて合成顔マスクのテクスチャ情報を変更する。このため、合成顔マスクのテクスチャ情報が変更されることにより、合成顔マスクにより表現される顔色を変更し、合成顔マスクを合成先になじませることが可能となる。
（第８の変形例）
本実施形態の第８の変形例として、情報処理装置１００−１は、合成顔マスクの生成のための顔特徴情報が不足する場合、他の顔マスクの顔特徴情報を用いてもよい。ここで、動画またはスルー画等において画像に映る人が首を振ったり、カメラワークが変化したりすることにより、顔マスクに対応する顔画像の特徴点の検出数が減少する場合がある。この場合、ｓｒｃまたはｄｓｔの顔マスクのメッシュ情報およびテクスチャ情報の情報量が減少し、ユーザにとって違和感のある合成顔マスクが生成される可能性がある。そこで、制御部１０８は、不足する顔特徴情報を補うため、過去の顔マスクの顔特徴情報を利用する。
本実施形態の第８の変形例として、情報処理装置１００−１は、合成顔マスクの生成のための顔特徴情報が不足する場合、他の顔マスクの顔特徴情報を用いてもよい。ここで、動画またはスルー画等において画像に映る人が首を振ったり、カメラワークが変化したりすることにより、顔マスクに対応する顔画像の特徴点の検出数が減少する場合がある。この場合、ｓｒｃまたはｄｓｔの顔マスクのメッシュ情報およびテクスチャ情報の情報量が減少し、ユーザにとって違和感のある合成顔マスクが生成される可能性がある。そこで、制御部１０８は、不足する顔特徴情報を補うため、過去の顔マスクの顔特徴情報を利用する。
具体的には、制御部１０８は、顔マスクが生成され、または更新されると、顔特徴情報を記憶させておく。例えば、制御部１０８は、顔マスクの生成または更新から所定の時間経過するまでの間、当該顔マスクの特徴点情報を記憶部１１０に一時的に記憶させる。
そして、制御部１０８は、顔特徴情報が不足する場合に、記憶される過去の顔特徴情報を取得し、不足分する顔特徴情報の補完を行う。例えば、制御部１０８は、特徴点の検出数が閾値以下である場合に、記憶される過去の特徴点を用いて、不足する特徴点を補う。
また、補完に用いられる顔特徴情報を有する他の顔マスクは、合成相手となるｓｒｃまたはｄｓｔの顔マスクであってもよい。例えば、制御部１０８は、ｓｒｃの顔マスクの特徴点の検出数が閾値以下である場合、ｓｒｃの顔マスクで検出されなかった特徴点に対応するｄｓｔの顔マスクの特徴点を用いてｓｒｃの特徴点を補う。
なお、検出される特徴点の数に応じて、合成顔マスクの透明度が変更されてもよい。例えば、制御部１０８は、ｓｒｃまたはｄｓｔである顔マスクの特徴点の検出数が少ないほど、合成顔マスクのテクスチャの透明度を高くする。ここで、特徴点の検出数が少ないほど、メッシュ情報およびテクスチャ情報は少なくなり、合成顔マスクの見た目も粗くなる。しかし、この構成によれば、特徴点の検出数が少ないほど、合成顔マスクの透明度が高くなるため、ユーザにとって合成顔マスクがはっきりと視認されず、合成顔マスクの粗さを目立たなくすることが可能となる。
また、特徴点が検出されなくなった場合には、合成顔マスクが消されてもよい。例えば、制御部１０８は、ｓｒｃまたはｄｓｔである顔マスクの特徴点が検出されなくなった場合、合成顔マスクのテクスチャの透明度を徐々に高くすることにより、合成顔マスクをフェードアウトさせる。
また、合成顔マスクを削除する代わりに、特徴点が検出されているｓｒｃまたはｄｓｔの顔マスクが合成顔マスクの代わりに重畳表示されてもよい。この場合、合成処理は行われない。
このように、本実施形態の第８の変形例によれば、情報処理装置１００−１は、合成顔マスクの生成のための顔特徴情報が不足する場合、他の顔マスクの顔特徴情報を用いる。このため、一部の特徴点が検出されない場合であっても合成顔マスクの表示が継続されることにより、合成顔マスクの表示および非表示の切り替わりが頻発することを抑制し、ユーザの視認性を維持することが可能となる。
また、他の顔マスクは、合成相手となるｓｒｃである顔マスクもしくはｄｓｔである顔マスクまたは過去の顔マスクを含む。このため、合成顔マスクと親和性のある特徴点が補われることにより、合成顔マスクを観察するユーザに違和感を与える可能性を低下させることが可能となる。
（第９の変形例）
本実施形態の第９の変形例として、情報処理装置１００−１は、顔以外の物体の合成を行ってもよい。具体的には、制御部１０８は、ｓｒｃまたはｄｓｔのモデルの少なくとも一方が顔以外の物体のモデルである合成を行う。例えば、事前に顔以外の物体の画像に顔モデルが紐付けられる。そして、制御部１０８は、当該物体の画像と紐づく顔モデルと顔画像の顔モデルとを合成し、合成により得られる合成顔モデルを当該物体の画像または顔画像に重畳表示させる。さらに、図１９および図２０を参照して、本変形例の処理について詳細に説明する。図１９は、本実施形態の第９の変形例における顔以外の物体の合成処理の例を示す図であり、図２０は、本実施形態の第９の変形例における顔以外の物体の合成処理の他の例を示す図である。
本実施形態の第９の変形例として、情報処理装置１００−１は、顔以外の物体の合成を行ってもよい。具体的には、制御部１０８は、ｓｒｃまたはｄｓｔのモデルの少なくとも一方が顔以外の物体のモデルである合成を行う。例えば、事前に顔以外の物体の画像に顔モデルが紐付けられる。そして、制御部１０８は、当該物体の画像と紐づく顔モデルと顔画像の顔モデルとを合成し、合成により得られる合成顔モデルを当該物体の画像または顔画像に重畳表示させる。さらに、図１９および図２０を参照して、本変形例の処理について詳細に説明する。図１９は、本実施形態の第９の変形例における顔以外の物体の合成処理の例を示す図であり、図２０は、本実施形態の第９の変形例における顔以外の物体の合成処理の他の例を示す図である。
顔以外の物体としては、イラストがある。例えば、図１９に示したような顔リストに並べられる歌舞伎のイラストの画像１２Ｌに予め顔モデルが紐付けられる。なお、当該物体が顔に近い物体である場合は、顔認識処理を経て顔モデルが生成されてもよい。制御部１０８は、イラストの画像１２Ｌまたは当該画像１２Ｌに紐付けられる顔モデルが他の顔モデルまたは顔画像に移動させられると、当該画像１２Ｌに紐付けられる顔モデルと移動先の顔モデルまたは顔画像から生成される顔モデルとの合成を行う。そして、制御部１０８は、図１９に示したような合成により得られる合成顔モデル３６Ｌを移動先の顔画像に重畳表示させる。
また、顔以外の物体としては、重畳用の画像がある。例えば、図２０に示したような顔リストに並べられる化粧画像１２Ｍに予め顔モデルが紐付けられる。制御部１０８は、化粧画像１２Ｍまたは当該化粧画像１２Ｍに紐付けられる顔モデルが他の顔モデルまたは顔画像に移動させられると、当該化粧画像１２Ｍに紐付けられる顔モデルと移動先の顔モデルまたは顔画像から生成される顔モデルとの合成を行う。そして、制御部１０８は、図２０に示したような合成により得られる合成顔モデル３６Ｍを移動先の顔画像に重畳表示させる。
なお、上記では、顔以外の物体がイラストまたは重畳用の画像である例を説明したが、当該物体は野菜等の天然物または時計などの人工物であってもよい。
また、上記では、顔モデルが物体の画像に予め紐付けられる例を説明したが、情報処理装置１００−１は、物体の画像から生成される当該物体についてのモデルを合成してもよい。例えば、制御部１０８は、トマトの画像から生成されるトマトのモデルと他のトマトのモデルとを合成してもよい。
さらに、制御部１０８は、異なる物体についてのモデル間で合成を行ってもよい。例えば、制御部１０８は、顔画像から生成される顔モデルとトマトの画像から生成されるトマトのモデルとの合成を行う。この場合、顔モデルとトマトのモデルとの間で特徴点の取り方および数が異なるため、メッシュ情報およびテクスチャ情報が異なる。そのため、予めモデル間での特徴点、メッシュ情報およびテクスチャ情報の対応付けが行われる。
このように、本実施形態の第９の変形例によれば、情報処理装置１００−１は、ｓｒｃまたはｄｓｔのモデルの少なくとも一方が顔以外の物体のモデルである合成を行う。このため、合成処理の適用先が顔以外の物体に拡張されることにより、多様なユーザニーズに対応することが可能となる。
（第１０の変形例）
本実施形態の第１０の変形例として、ユーザの操作によらず合成顔マスクの重畳表示が行われてもよい。具体的には、制御部１０８は、顔認識から所定の時間が経過すると、当該顔認識に係る顔画像から生成される顔マスクと所定の顔マスクとの合成を行い、合成により得られる合成顔マスクを当該顔画像に重畳表示させる。
本実施形態の第１０の変形例として、ユーザの操作によらず合成顔マスクの重畳表示が行われてもよい。具体的には、制御部１０８は、顔認識から所定の時間が経過すると、当該顔認識に係る顔画像から生成される顔マスクと所定の顔マスクとの合成を行い、合成により得られる合成顔マスクを当該顔画像に重畳表示させる。
また、合成される顔マスクが認識された顔に係る顔画像に向けて移動させられてもよい。例えば、ユーザの顔が画面上に表示される場合、当該ユーザの顔認識から所定の時間が経過すると、認識された画面上のユーザの顔すなわち顔画像に向かって合成に用いられる顔マスク等が飛んでくるように移動させられる。そして、当該移動させられる顔マスクがユーザの顔に到達すると、合成顔マスクがユーザの顔に重畳表示される。なお、当該移動させられる顔マスクがユーザの顔に到達しない場合、合成が行われない。
また、合成される顔マスクは、画面に表示される表示オブジェクトによって運ばれるように移動させられてもよい。例えば、キャラクタが顔マスクを持って移動し、ユーザの顔まで当該キャラクタが移動すると、ユーザの顔に合成顔マスクが重畳表示される。
また、ｄｓｔとなる顔マスク等が所定の数である場合、当該所定の数に対応する顔マスクとｄｓｔとなる顔マスクとの合成が行われてもよい。例えば、７つの顔が画面上に存在する場合、７つに対応する顔マスク群、例えば７人のコミックヒーローの顔についての顔マスクと画面上の７つの顔についての顔マスクとをそれぞれ対応付けて合成し、合成により得られる７つの合成顔マスクを画面上の７つの顔にそれぞれ重畳表示させる。
このように、本実施形態の第１０の変形例によれば、ユーザの操作によらず合成顔マスクの重畳表示が行われる。このため、ユーザは操作を行わずに済み、ユーザの手間を省くことが可能となる。また、ユーザにとって操作を行うことが困難な場合には、ユーザの利便性が向上される。
＜２．第２の実施形態（デジタルサイネージ装置への適用例）＞
以上、本開示の第１の実施形態に係る情報処理装置１００−１について説明した。続いて、本開示の第２の実施形態に係る情報処理装置１００−２について説明する。本実施形態に係る情報処理装置１００−２は、デジタルサイネージ等の据置型装置である。
以上、本開示の第１の実施形態に係る情報処理装置１００−１について説明した。続いて、本開示の第２の実施形態に係る情報処理装置１００−２について説明する。本実施形態に係る情報処理装置１００−２は、デジタルサイネージ等の据置型装置である。
＜２−１．装置の構成＞
本開示の第２の実施形態に係る情報処理装置１００−２の機能構成は、第１の実施形態に係る情報処理装置１００−１の機能構成と実質的に同一であるため、説明を省略する。
本開示の第２の実施形態に係る情報処理装置１００−２の機能構成は、第１の実施形態に係る情報処理装置１００−１の機能構成と実質的に同一であるため、説明を省略する。
＜２−２．装置の技術的特徴＞
次に、本実施形態に係る情報処理装置１００−２の技術的特徴について説明する。なお、第１の実施形態と実質的に同一である特徴については説明を省略する。
次に、本実施形態に係る情報処理装置１００−２の技術的特徴について説明する。なお、第１の実施形態と実質的に同一である特徴については説明を省略する。
（Ｇ．合成対象の決定）
情報処理装置１００−１は、ユーザの動きに基づく入力として、ユーザのジェスチャ操作に応じて合成対象を決定する。
情報処理装置１００−１は、ユーザの動きに基づく入力として、ユーザのジェスチャ操作に応じて合成対象を決定する。
（Ｇ−１．顔マスクの移動に基づく合成対象の決定）
制御部１０８は、ユーザのジェスチャ操作に応じて合成対象の顔マスクを移動させる。さらに、図２１を参照して、ジェスチャ操作に応じた顔マスクの移動処理について説明する。図２１は、本実施形態に係る情報処理装置１００−２における合成対象の顔マスクの移動操作を説明するための図である。
制御部１０８は、ユーザのジェスチャ操作に応じて合成対象の顔マスクを移動させる。さらに、図２１を参照して、ジェスチャ操作に応じた顔マスクの移動処理について説明する。図２１は、本実施形態に係る情報処理装置１００−２における合成対象の顔マスクの移動操作を説明するための図である。
まず、制御部１０８は、合成対象となる顔マスク等を表示させる。例えば、制御部１０８は、図２１の左図に示したようにｓｒｃとなる顔マスク等が並べられる顔リストを表示させる。
そして、制御部１０８は、顔リストから顔マスク等を選択するユーザのジェスチャに応じて、顔マスク等を移動させる。例えば、制御部１０８は、図２１の中図に示したように、ユーザが顔リストから顔画像１２Ｎを抜き出す仕草を行うと、当該顔画像１２Ｎをユーザの仕草に応じて移動させる。
次に、制御部１０８は、顔マスク等がユーザの顔まで移動させられると、合成顔マスクをユーザの顔に重畳表示させる。例えば、制御部１０８は、ユーザの顔まで顔画像１２Ｎが移動させられると、図２１の右図に示したように、当該顔画像１２Ｎについての顔マスクとユーザの顔についての顔マスクとの合成により得られる合成顔マスク３６Ｎをユーザの顔に重畳表示させる。
（Ｇ−２．ユーザの移動に基づく合成対象の決定）
また、制御部１０８は、ユーザの移動に基づいて合成対象を決定してもよい。図２２を参照して、本構成の処理について詳細に説明する。図２２は、本実施形態に係る情報処理装置１００−２におけるユーザの移動に基づく合成対象の決定処理を説明するための図である。なお、上述した機能と実質的に同一である機能については説明を省略する。
また、制御部１０８は、ユーザの移動に基づいて合成対象を決定してもよい。図２２を参照して、本構成の処理について詳細に説明する。図２２は、本実施形態に係る情報処理装置１００−２におけるユーザの移動に基づく合成対象の決定処理を説明するための図である。なお、上述した機能と実質的に同一である機能については説明を省略する。
まず、制御部１０８は、上述したように合成対象となる顔マスクを表示させる。
そして、制御部１０８は、ユーザの移動によりユーザの顔と顔マスクとが重なると、合成顔マスクをユーザの顔に重畳表示させる。例えば、制御部１０８は、図２２の中図に示したようにユーザの顔が顔リストに並べられる顔画像１２と重なると、図２２の右図に示したように、当該顔画像１２Ｏについての顔マスクとユーザの顔についての顔マスクとの合成により得られる合成顔マスク３６Ｏをユーザの顔に重畳表示させる。
＜２−３．装置の処理＞
本開示の第２の実施形態に係る情報処理装置１００−２の処理は、第１の実施形態に係る情報処理装置１００−１の処理と実質的に同一であるため、説明を省略する。
本開示の第２の実施形態に係る情報処理装置１００−２の処理は、第１の実施形態に係る情報処理装置１００−１の処理と実質的に同一であるため、説明を省略する。
＜２−４．第２の実施形態のまとめ＞
このように、本開示の第２の実施形態によれば、ユーザの動きに基づく入力は、ジェスチャ操作を含み、情報処理装置１００−２は、ジェスチャ操作に基づいて合成のために顔マスクを移動させる。このため、ユーザは感覚的に合成のための操作を行うことができ、合成に関する操作における操作性を向上させることが可能となる。
このように、本開示の第２の実施形態によれば、ユーザの動きに基づく入力は、ジェスチャ操作を含み、情報処理装置１００−２は、ジェスチャ操作に基づいて合成のために顔マスクを移動させる。このため、ユーザは感覚的に合成のための操作を行うことができ、合成に関する操作における操作性を向上させることが可能となる。
＜２−５．変形例＞
以上、本開示の第２の実施形態について説明した。なお、本実施形態は、上述の例に限定されない。以下に、本実施形態の第１および第２の変形例について説明する。
以上、本開示の第２の実施形態について説明した。なお、本実施形態は、上述の例に限定されない。以下に、本実施形態の第１および第２の変形例について説明する。
（第１の変形例）
本実施形態の第１の変形例として、ユーザの操作によらず合成顔マスクの重畳表示が行われてもよい。具体的には、制御部１０８は、合成対象の顔マスクを、画面に表示される表示オブジェクトによって運ばれるように移動させる。さらに、図２３を参照して、本変形例の処理について詳細に説明する。図２３は、本実施形態の第１の変形例におけるキャラクタにより合成対象となる顔マスク等が移動される例を説明するための図である。
本実施形態の第１の変形例として、ユーザの操作によらず合成顔マスクの重畳表示が行われてもよい。具体的には、制御部１０８は、合成対象の顔マスクを、画面に表示される表示オブジェクトによって運ばれるように移動させる。さらに、図２３を参照して、本変形例の処理について詳細に説明する。図２３は、本実施形態の第１の変形例におけるキャラクタにより合成対象となる顔マスク等が移動される例を説明するための図である。
制御部１０８は、顔マスクを伴う表示オブジェクトを画面に映るユーザの顔に向けて移動させる。例えば、図２３の左図に示したように、顔マスク２２Ｐを持つキャラクタ７０が画面上のユーザの顔に向けて移動する。
次に、制御部１０８は、顔マスクを伴う表示オブジェクトが画面に映るユーザの顔の近傍に到達すると、顔マスクを表示オブジェクトからユーザの顔に移動させる。例えば、図２３の中図に示したように、キャラクタ７０は、ユーザの顔の近傍まで移動すると、保持していた顔マスク２２Ｐをユーザの顔に向けて投げる。
次に、制御部１０８は、顔マスクが画面に映るユーザの顔に到達すると、合成顔マスクを当該ユーザの顔に重畳表示させる。例えば、図２３の右図に示したように、ユーザの顔に顔マスク２２Ｐが到達すると、当該顔マスク２２Ｐとユーザの顔についての顔マスクとの合成により得られる合成顔マスク３６Ｐがユーザの顔に重畳表示される。
このように、本実施形態の第１の変形例によれば、情報処理装置１００−２は、合成対象の顔マスクを、画面に表示される表示オブジェクトによって運ばれるように移動させる。このため、合成が行われるまでの過程をユーザに楽しませることにより、顔マスクの合成処理に対するユーザの魅力を向上させることが可能となる。
（第２の変形例）
本実施形態の第２の変形例として、情報処理装置１００−２は、合成対象のリンクに従って合成を行ってもよい。具体的には、制御部１０８は、ユーザの選択操作に基づいて合成対象のリンク付けを行い、リンクされる合成対象に基づいて合成を行う。例えば、ユーザが合成対象、例えばｄｓｔとなる顔マスク等を選択し、自身の顔を撮像すると、制御部１０８は、ユーザの顔についての顔マスクを生成し、選択される顔マスク等とユーザの顔マスクとをリンク付ける。そして、制御部１０８は、ユーザの顔マスクとリンクされる顔マスク等に基づいて合成を行い、ユーザの顔の映る画像に生成される合成顔マスクを重畳表示させる。
本実施形態の第２の変形例として、情報処理装置１００−２は、合成対象のリンクに従って合成を行ってもよい。具体的には、制御部１０８は、ユーザの選択操作に基づいて合成対象のリンク付けを行い、リンクされる合成対象に基づいて合成を行う。例えば、ユーザが合成対象、例えばｄｓｔとなる顔マスク等を選択し、自身の顔を撮像すると、制御部１０８は、ユーザの顔についての顔マスクを生成し、選択される顔マスク等とユーザの顔マスクとをリンク付ける。そして、制御部１０８は、ユーザの顔マスクとリンクされる顔マスク等に基づいて合成を行い、ユーザの顔の映る画像に生成される合成顔マスクを重畳表示させる。
なお、合成対象の一方または両方が顔リスト上で選択されてもよい。また、リンクは複数設けられてもよく、その場合、ユーザがどのリンクを用いるかを選択してもよい。例えば、スマートフォンまたはタブレット端末等の携帯端末にてユーザがリンクを選択し、選択されるリンクについての情報（以下、リンク情報とも称する。）がデジタルサイネージ等の情報処理装置１００−２に提供され、情報処理装置１００−２は提供されるリンク情報に従って合成顔マスクの表示を行う。
また、合成対象のリンク情報は、他の装置と共有されてもよい。具体的には、制御部１０８は、通信を介してリンク情報を他の情報処理装置に提供する。さらに、図２４を参照して、リンク情報の共有について詳細に説明する。図２４は、本実施形態の第２の変形例におけるリンク情報の生成と共有について説明するための図である。
制御部１０８は、ユーザの選択に基づいて合成対象のリンク情報を生成し、生成されるリンク情報を共有する。例えば、図２４の左図に示したような顔出し看板２００の顔出し位置と当該顔出し位置のキャラクタの顔マスクとが予め対応付けられる。ユーザは、リンクさせたい顔を選択して、当該リンクさせたい顔の顔出し穴に自身の顔を嵌め込み、顔が嵌め込まれた状態の顔出し看板２００を撮像する。そして、撮像により得られる画像が通信を介して情報処理装置１００−２に提供されると、制御部１０８は、嵌め込まれているユーザの顔についての顔マスクを生成する。次いで、制御部１０８は、生成される顔マスクと顔出し看板２００の顔出し位置と対応付けられている顔マスクとのリンク情報を生成する。そして、制御部１０８は、通信を介して他の情報処理装置１００−２にリンク情報を提供する。
リンク情報が提供されると、制御部１０８は、リンク情報を記憶する。例えば、制御部１０８は、リンク情報が受信されると、記憶部１１０にリンク情報を記憶させる。
次に、制御部１０８は、撮像により得られる画像についてリンク情報に該当する顔マスクに対応する顔が認識されると、認識される顔についての顔マスクを生成し、当該顔マスクとリンクされる顔マスクとに基づいて合成顔マスクの重畳表示を行う。例えば、制御部１０８は、記憶されるリンク情報に係るユーザが撮像範囲に入り、当該ユーザの顔が認識されると、当該ユーザの顔について顔マスクを生成する。そして、制御部１０８は、生成される顔マスクと当該顔マスクとリンクされる顔マスクとの合成により得られる合成顔マスク３４Ｑ１および３４Ｑ２をそれぞれ当該リンクされる顔マスクに対応するキャラクタの顔画像に重畳表示させる。
なお、上記では、物理的な顔出し看板２００が利用される例を説明したが、デジタルサイネージ等に表示される仮想的な顔出し看板が利用されてもよい。
また、顔出し看板を撮像する情報処理装置は、第１の実施形態に係る情報処理装置１００−１であってもよい。この場合、撮像を行った情報処理装置１００−１においてリンク情報が生成され、当該情報処理装置１００−１からリンク情報が提供される。
このように、本実施形態の第２の変形例によれば、情報処理装置１００−２は、ユーザの選択操作に基づいて合成対象のリンク付けを行い、リンクされる合成対象に基づいて合成を行う。このため、合成対象がリンクで管理されることにより、合成対象の組合せを記憶したり、組み替えたりすることが容易となる。
また、リンク情報は、他の装置と共有される。このため、他の装置においてもリンクに従って合成顔マスクの表示が行われることにより、装置ごとに合成対象を設定する手間が省かれ、ユーザの利便性を向上させることが可能となる。
＜３．適用例＞
上記各実施形態において説明した構成については、様々な事例に適用され得る。以下では、上述した各実施形態以外の事例の一部について説明する。
上記各実施形態において説明した構成については、様々な事例に適用され得る。以下では、上述した各実施形態以外の事例の一部について説明する。
（プライバシーの保護）
画像に映る人物の顔に合成顔マスクを重畳表示させることにより、プライバシーの保護が可能となる。例えば、情報処理装置１００は、画像に映る人物の顔マスクをｄｓｔとし、別途選択される顔マスクをｓｒｃとして、ｄｓｔのメッシュ情報とｓｒｃのテクスチャ情報とに基づいて合成顔マスクを生成する。そして、情報処理装置１００は、生成される顔マスクをｄｓｔとなる画像に映る人物の顔に重畳表示させる。
画像に映る人物の顔に合成顔マスクを重畳表示させることにより、プライバシーの保護が可能となる。例えば、情報処理装置１００は、画像に映る人物の顔マスクをｄｓｔとし、別途選択される顔マスクをｓｒｃとして、ｄｓｔのメッシュ情報とｓｒｃのテクスチャ情報とに基づいて合成顔マスクを生成する。そして、情報処理装置１００は、生成される顔マスクをｄｓｔとなる画像に映る人物の顔に重畳表示させる。
なお、ｓｒｃとなる顔マスクがｄｓｔとなる顔マスクに対応する顔画像に重畳表示されてもよい。この場合、画像に映る顔にお面が被せられたようになる。
（空オーケストラの映像）
空オーケストラ（以下、カラオケとも称する。）装置の表示する映像に映る人物の顔に合成顔マスクを重畳表示させることにより、カラオケの演奏に合わせて歌唱する人またはそれを鑑賞する人の気持ちを盛り上げることが可能となる。例えば、情報処理装置１００は、カラオケの映像に映る人物の顔マスクをｄｓｔとし、歌唱する人の顔マスクをｓｒｃとして、ｄｓｔのメッシュ情報とｓｒｃのテクスチャ情報とに基づいて合成顔マスクを生成する。そして、情報処理装置１００は、生成される合成顔マスクをｄｓｔとなるカラオケの映像に映る人物の顔に重畳表示させる。なお、逆にｓｒｃのテクスチャ情報とｄｓｔのテクスチャ情報とに基づいて合成顔マスクが生成されてもよい。
空オーケストラ（以下、カラオケとも称する。）装置の表示する映像に映る人物の顔に合成顔マスクを重畳表示させることにより、カラオケの演奏に合わせて歌唱する人またはそれを鑑賞する人の気持ちを盛り上げることが可能となる。例えば、情報処理装置１００は、カラオケの映像に映る人物の顔マスクをｄｓｔとし、歌唱する人の顔マスクをｓｒｃとして、ｄｓｔのメッシュ情報とｓｒｃのテクスチャ情報とに基づいて合成顔マスクを生成する。そして、情報処理装置１００は、生成される合成顔マスクをｄｓｔとなるカラオケの映像に映る人物の顔に重畳表示させる。なお、逆にｓｒｃのテクスチャ情報とｄｓｔのテクスチャ情報とに基づいて合成顔マスクが生成されてもよい。
また、カラオケの映像に映る人物の顔の間で合成が行われてもよい。例えば、情報処理装置１００は、カラオケの映像に映る人物Ｘさんの顔に、Ｘさんの顔についての顔マスクとカラオケの映像に映る別の人物Ｙさんの顔についての顔マスクとの合成により得られる合成顔マスクを重畳表示させる。
（ビデオチャットの映像）
ビデオチャットの映像に映る人物の顔に合成顔マスクを重畳表示させることにより、ビデオチャットにおけるコミュニケーションの円滑化が可能となる。例えば、情報処理装置１００は、ビデオチャットの映像に映る人物についての顔マスクのうちの目の部分をビデオチャットのカメラに向いている目と合成することにより得られる合成顔マスクを当該人物に重畳表示させる。これにより、ビデオチャットの映像に映る人物の目線がカメラに向けられているように表示される。
ビデオチャットの映像に映る人物の顔に合成顔マスクを重畳表示させることにより、ビデオチャットにおけるコミュニケーションの円滑化が可能となる。例えば、情報処理装置１００は、ビデオチャットの映像に映る人物についての顔マスクのうちの目の部分をビデオチャットのカメラに向いている目と合成することにより得られる合成顔マスクを当該人物に重畳表示させる。これにより、ビデオチャットの映像に映る人物の目線がカメラに向けられているように表示される。
（媒体への顔特徴情報の埋め込み）
媒体に予め顔特徴情報を紐付けることにより、媒体に係る画像から直接的に顔マスクが生成困難な場合であっても当該画像に映る顔に合成顔マスクを重畳表示させることが可能となる。例えば、媒体は動画データであり、動画の各フレームに紐づく顔特徴情報または特徴点情報が動画のメタ情報として動画情報に格納される。そして、情報処理装置１００は、動画の再生時に、当該動画の動画情報として格納される顔特徴情報等を用いて合成を行う。なお、顔特徴情報等は動画のフレームの一部について紐付けられてもよい。また、動画情報として格納される情報は、特徴点情報および特徴点に係る色情報であってもよい。
媒体に予め顔特徴情報を紐付けることにより、媒体に係る画像から直接的に顔マスクが生成困難な場合であっても当該画像に映る顔に合成顔マスクを重畳表示させることが可能となる。例えば、媒体は動画データであり、動画の各フレームに紐づく顔特徴情報または特徴点情報が動画のメタ情報として動画情報に格納される。そして、情報処理装置１００は、動画の再生時に、当該動画の動画情報として格納される顔特徴情報等を用いて合成を行う。なお、顔特徴情報等は動画のフレームの一部について紐付けられてもよい。また、動画情報として格納される情報は、特徴点情報および特徴点に係る色情報であってもよい。
また、媒体は雑誌、書籍または新聞紙等の紙であり得る。例えば、雑誌に掲載される人物の近くに予め２次元ＡＲマーカのような読み取り可能な顔特徴情報が書き込まれる。そして、情報処理装置１００は、ユーザにより当該２次元ＡＲマーカが撮像されると、当該２次元ＡＲマーカから読み取られる顔特徴情報に基づいて顔マスクを生成し、生成される顔マスクを用いて合成を行う。
＜４．本開示の一実施形態に係る情報処理装置のハードウェア構成＞
図２５は、本開示の一実施形態に係る情報処理装置１００のハードウェア構成を示した説明図である。図２５に示したように、情報処理装置１００は、ＣＰＵ（Central Processing Unit）１４２と、ＲＯＭ（Read Only Memory）１４４と、ＲＡＭ（Random Access Memory）１４６と、ブリッジ１４８と、バス１５０と、インタフェース１５２と、入力装置１５４と、出力装置１５６と、ストレージ装置１５８と、ドライブ１６０と、接続ポート１６２と、通信装置１６４とを備える。
図２５は、本開示の一実施形態に係る情報処理装置１００のハードウェア構成を示した説明図である。図２５に示したように、情報処理装置１００は、ＣＰＵ（Central Processing Unit）１４２と、ＲＯＭ（Read Only Memory）１４４と、ＲＡＭ（Random Access Memory）１４６と、ブリッジ１４８と、バス１５０と、インタフェース１５２と、入力装置１５４と、出力装置１５６と、ストレージ装置１５８と、ドライブ１６０と、接続ポート１６２と、通信装置１６４とを備える。
ＣＰＵ１４２は、演算処理装置として機能し、各種プログラムと協働して情報処理装置１００内の顔認識部１０４、操作検出部１０６および制御部１０８の動作を実現する。また、ＣＰＵ１４２は、マイクロプロセッサであってもよい。ＲＯＭ１４４は、ＣＰＵ１４２が使用するプログラムまたは演算パラメータ等を記憶する。ＲＡＭ１４６は、ＣＰＵ１４２の実行にいて使用するプログラムまたは実行において適宜変化するパラメータ等を一時記憶する。ＲＯＭ１４４およびＲＡＭ１４６により、情報処理装置１００内の記憶部１１０の一部が実現される。ＣＰＵ１４２、ＲＯＭ１４４およびＲＡＭ１４６は、ＣＰＵバスなどから構成される内部バスにより相互に接続されている。
入力装置１５４は、例えば情報処理装置１００内の撮像部１０２の一例として、マウス、キーボード、タッチパネル、ボタン、マイクロホン、スイッチおよびレバーなどユーザが情報を入力するための入力手段、およびユーザによる入力に基づいて入力信号を生成し、ＣＰＵ１４２に出力する入力制御回路などから構成されている。情報処理装置１００のユーザは、入力装置１５４を操作することにより、情報処理装置１００に対して各種のデータを入力したり処理動作を指示したりすることができる。
出力装置１５６は、例えば情報処理装置１００内の表示部１１２の一例として、液晶ディスプレイ（LCD）装置、ＯＬＥＤ（Organic Light Emitting Diode）装置、ランプなどの装置への出力を行う。さらに、出力装置１５６は、スピーカおよびヘッドフォンなどの音声出力を行ってもよい。
ストレージ装置１５８は、データ格納用の装置である。ストレージ装置１５８は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されるデータを削除する削除装置等を含んでもよい。ストレージ装置１５８は、ＣＰＵ１４２が実行するプログラムや各種データを格納する。
ドライブ１６０は、記憶媒体用リーダライタであり、情報処理装置１００に内蔵、あるいは外付けされる。ドライブ１６０は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、ＲＡＭ１３４に出力する。また、ドライブ１６０は、リムーバブル記憶媒体に情報を書込むこともできる。
接続ポート１６２は、例えば、情報処理装置１００の外部の情報処理装置または周辺機器と接続するためのバスである。また、接続ポート１６２は、ＵＳＢ（Universal Serial Bus）であってもよい。
通信装置１６４は、例えば、ネットワークに接続するための通信デバイスで構成される通信インタフェースである。通信装置１６４は、赤外線通信対応装置であっても、無線ＬＡＮ（Local Area Network）対応通信装置であっても、ＬＴＥ（Long Term Evolution）対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。
＜５．むすび＞
以上、本開示の第１の実施形態によれば、入力情報に応じた合成が行われることにより、ユーザにとって望ましい合成を行うことが可能となる。また、ユーザの意図に即して顔マスクが移動されることにより、合成についての操作感を向上させることが可能となる。
以上、本開示の第１の実施形態によれば、入力情報に応じた合成が行われることにより、ユーザにとって望ましい合成を行うことが可能となる。また、ユーザの意図に即して顔マスクが移動されることにより、合成についての操作感を向上させることが可能となる。
また、本開示の第２の実施形態によれば、ユーザは感覚的に合成のための操作を行うことができ、合成に関する操作における操作性を向上させることが可能となる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上記実施形態では、合成対象となる顔マスク等が同一画面上に表示されるとしたが、本技術はかかる例に限定されない。例えば、合成対象となる顔マスク等はそれぞれ別の画面に表示されてもよい。例えば、ユーザはｓｒｃとなる顔マスク等をスマートフォン等の携帯端末で選択し、選択される顔マスク等をｄｓｔとなる顔マスク等が表示されているデジタルサイネージ等の装置に向けて例えばスワイプ操作で移動させる。その結果、スマートフォンからデジタルサイネージへｓｒｃとなる顔マスクが通信を介して提供され、提供される顔マスクを用いた合成により得られる合成顔マスクがデジタルサイネージの表示するｄｓｔについての顔に重畳表示される。
また、上記実施形態では、顔の全体について合成が行われる例を説明したが、顔の一部について合成が行われてもよい。例えば、目、鼻、口または眉毛等の顔の一部のみについて合成が行われる。
また、上記実施形態では、表示部１１２はディスプレイである例を説明したが、表示部１１２はプロジェクタであってもよい。例えば、制御部１０８は、ｄｓｔとなる顔マスクに対応する顔に向けて表示部１１２に合成顔マスクを投影させる。
また、上記実施形態では、主に合成対象が顔マスクである例について説明したが、合成対象は頭についてのマスクであってもよい。例えば、情報処理装置１００は、頭全体についてのモデルすなわち頭マスクを生成し、生成される頭マスクについての合成を行ってもよい。
また、上記実施形態では、情報処理装置１００がスマートフォンもしくはタブレット端末またはデジタルサイネージである例を説明したが、情報処理装置１００は、いわゆる光学シースルー方式またはビデオシースルー方式等のＨＭＤ（Head Mount Display）またはＰＣ（Personal Computer）であってもよい。
また、情報処理装置１００は、ｓｒｃとなる顔マスク等に係る人物の位置情報に基づいて合成顔マスクを変化させてもよい。具体的には、情報処理装置１００は、当該位置情報の示す位置と特定の位置との距離に応じて合成顔マスクを変化させる。例えば、情報処理装置１００は、音楽のライブ会場にユーザが近づくにつれて、当該ユーザの顔についての顔マスクと当該ライブのアーティストの顔についての顔マスクとの合成により得られる合成顔マスクの顔特徴情報を、当該アーティストの顔マスクの顔特徴情報に近づける。なお、情報処理装置１００がＨＭＤである場合は、ユーザ周辺の人に合成顔マスクが重畳表示される。また、当然ながら、アーティストの顔に合成顔マスクが重畳表示されてもよい。この場合、ライブ会場等の特定の位置に向かう過程においてもユーザに楽しみを与えることが可能となる。
また、情報処理装置１００は、当該位置情報の示す位置が特定の領域内であるかに応じて合成顔マスクを変化させてもよい。例えば、情報処理装置１００は、ユーザがテーマパーク内にいる場合、テーマパーク内の他の人に当該他の人のついての顔マスクとユーザの顔についての顔マスクとの合成により得られる合成顔マスクを重畳表示させる。また、情報処理装置１００は、ユーザがテーマパーク外に出ると、合成顔マスクの重畳表示を停止する。この場合、テーマパーク等の特定の領域における臨場感を向上させることが可能となる。
また、上記では、いくつかの適用例を説明したが、当然ながら本開示の各実施形態の構成は他の分野、業態、製品またはアプリケーション等に適用されてもよい。例えば、美容整形について適用されてもよい。この場合、例えば、整形後の顔が合成顔マスクとしてユーザの顔に重畳させられる。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
また、上記の実施形態のフローチャートに示されたステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的にまたは個別的に実行される処理をも含む。また時系列的に処理されるステップでも、場合によっては適宜順序を変更することが可能であることは言うまでもない。
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
第１の物体モデルと第２の物体モデルとの合成により合成物体モデルを生成し、
生成される前記合成物体モデルを前記第１の物体モデルまたは前記第２の物体モデルに対応する画像に関連付けて表示させる制御部を備え、
前記制御部は、前記合成のためのモードを入力情報に基づいて制御する、情報処理装置。
（２）
前記第１の物体モデルは、第１の顔モデルを含み、
前記第２の物体モデルは、第２の顔モデルを含み、
前記合成物体モデルは、合成顔モデルを含む、前記（１）に記載の情報処理装置。
（３）
前記モードは、前記第１の顔モデルのメッシュ情報に基づいて前記合成顔モデルを生成する第１のモードと、前記第２の顔モデルのメッシュ情報に基づいて前記合成顔モデルを生成する第２のモードと、を含む、前記（２）に記載の情報処理装置。
（４）
前記第１のモードでは、前記第２の顔モデルのテクスチャ情報に基づいて前記合成顔モデルが生成され、
前記第２のモードでは、前記第１の顔モデルのテクスチャ情報に基づいて前記合成顔モデルが生成される、前記（３）に記載の情報処理装置。
（５）
顔特徴情報は、顔モデルのメッシュ情報およびテクスチャ情報を含み、
前記モードは、前記第１の顔モデルのメッシュ情報および前記第２の顔モデルのメッシュ情報と、前記第１の顔モデルのテクスチャ情報および前記第２の顔モデルのテクスチャ情報とに基づいて前記合成顔モデルを生成する第３のモードを含む、前記（２）〜（４）のいずれか１項に記載の情報処理装置。
（６）
前記制御部は、前記第１の顔モデルおよび前記第２の顔モデルに対応する画像のうちのユーザの入力に基づいて特定される画像に前記合成顔モデルを関連付けて表示させる、前記（２）〜（５）のいずれか１項に記載の情報処理装置。
（７）
前記入力情報は、前記制御部の処理の入力となる前記第１の顔モデルまたは前記第２の顔モデルに対応する画像に係る情報を含む、前記（２）〜（６）のいずれか１項に記載の情報処理装置。
（８）
前記画像に係る情報は、前記画像の属性または前記画像の内容に係る情報を含む、前記（７）に記載の情報処理装置。
（９）
前記入力情報は、ユーザの入力操作に係る情報を含む、前記（２）〜（８）のいずれか１項に記載の情報処理装置。
（１０）
前記ユーザの入力操作は、前記第１の顔モデルまたは前記第２の顔モデルの選択操作を含み、
前記制御部は、前記第１の顔モデルまたは前記第２の顔モデルの選択位置に応じて前記モードを決定する、前記（９）に記載の情報処理装置。
（１１）
前記制御部は、前記第１の顔モデルまたは前記第２の顔モデルにおける前記モードの各々に対応する選択位置を、視覚的に判別される態様で表示させる、前記（１０）に記載の情報処理装置。
（１２）
前記制御部は、前記合成顔モデルの生成のための顔特徴情報が不足する場合、他の顔モデルの前記顔特徴情報を用いる、前記（２）〜（１１）のいずれか１項に記載の情報処理装置。
（１３）
前記他の顔モデルは、合成相手となる前記第１の顔モデルもしくは前記第２の顔モデルまたは過去の顔モデルを含む、前記（１２）に記載の情報処理装置。
（１４）
前記制御部は、前記入力情報に基づいて前記合成顔モデルの顔特徴情報を変更する、前記（２）〜（１３）のいずれか１項に記載の情報処理装置。
（１５）
前記制御部は、ユーザの入力操作に基づいて前記第１の顔モデルの顔特徴情報と前記第２の顔モデルの顔特徴情報との間で前記合成顔モデルの顔特徴情報を変更する、前記（１４）に記載の情報処理装置。
（１６）
前記制御部は、前記第１の顔モデルまたは前記第２の顔モデルの属性情報に基づいて前記合成顔モデルのメッシュ情報を変更する、前記（１４）または（１５）に記載の情報処理装置。
（１７）
前記制御部は、前記合成顔モデルが関連付けられる画像または前記第１の顔モデルまたは前記第２の顔モデルに基づいて前記合成顔モデルのテクスチャ情報を変更する、前記（１４）〜（１６）のいずれか１項に記載の情報処理装置。
（１８）
前記第１の顔モデルおよび前記第２の顔モデルに対応する画像のうちの少なくとも一方は、撮像により一時的に記録される画像を含む、前記（２）〜（１７）のいずれか１項に記載の情報処理装置。
（１９）
制御部によって、第１の物体モデルと第２の物体モデルとの合成により合成物体モデルを生成することと、
生成される前記合成物体モデルを前記第１の物体モデルまたは前記第２の物体モデルに対応する画像に関連付けて表示させることと、
前記合成のためのモードを入力情報に基づいて制御することと
を含む、情報処理方法。
（２０）
第１の物体モデルと第２の物体モデルとの合成により合成物体モデルを生成する機能と、
生成される前記合成物体モデルを前記第１の物体モデルまたは前記第２の物体モデルに対応する画像に関連付けて表示させる機能と、
前記合成のためのモードを入力情報に基づいて制御する機能と、
をコンピュータに実現させるためのプログラム。
（１）
第１の物体モデルと第２の物体モデルとの合成により合成物体モデルを生成し、
生成される前記合成物体モデルを前記第１の物体モデルまたは前記第２の物体モデルに対応する画像に関連付けて表示させる制御部を備え、
前記制御部は、前記合成のためのモードを入力情報に基づいて制御する、情報処理装置。
（２）
前記第１の物体モデルは、第１の顔モデルを含み、
前記第２の物体モデルは、第２の顔モデルを含み、
前記合成物体モデルは、合成顔モデルを含む、前記（１）に記載の情報処理装置。
（３）
前記モードは、前記第１の顔モデルのメッシュ情報に基づいて前記合成顔モデルを生成する第１のモードと、前記第２の顔モデルのメッシュ情報に基づいて前記合成顔モデルを生成する第２のモードと、を含む、前記（２）に記載の情報処理装置。
（４）
前記第１のモードでは、前記第２の顔モデルのテクスチャ情報に基づいて前記合成顔モデルが生成され、
前記第２のモードでは、前記第１の顔モデルのテクスチャ情報に基づいて前記合成顔モデルが生成される、前記（３）に記載の情報処理装置。
（５）
顔特徴情報は、顔モデルのメッシュ情報およびテクスチャ情報を含み、
前記モードは、前記第１の顔モデルのメッシュ情報および前記第２の顔モデルのメッシュ情報と、前記第１の顔モデルのテクスチャ情報および前記第２の顔モデルのテクスチャ情報とに基づいて前記合成顔モデルを生成する第３のモードを含む、前記（２）〜（４）のいずれか１項に記載の情報処理装置。
（６）
前記制御部は、前記第１の顔モデルおよび前記第２の顔モデルに対応する画像のうちのユーザの入力に基づいて特定される画像に前記合成顔モデルを関連付けて表示させる、前記（２）〜（５）のいずれか１項に記載の情報処理装置。
（７）
前記入力情報は、前記制御部の処理の入力となる前記第１の顔モデルまたは前記第２の顔モデルに対応する画像に係る情報を含む、前記（２）〜（６）のいずれか１項に記載の情報処理装置。
（８）
前記画像に係る情報は、前記画像の属性または前記画像の内容に係る情報を含む、前記（７）に記載の情報処理装置。
（９）
前記入力情報は、ユーザの入力操作に係る情報を含む、前記（２）〜（８）のいずれか１項に記載の情報処理装置。
（１０）
前記ユーザの入力操作は、前記第１の顔モデルまたは前記第２の顔モデルの選択操作を含み、
前記制御部は、前記第１の顔モデルまたは前記第２の顔モデルの選択位置に応じて前記モードを決定する、前記（９）に記載の情報処理装置。
（１１）
前記制御部は、前記第１の顔モデルまたは前記第２の顔モデルにおける前記モードの各々に対応する選択位置を、視覚的に判別される態様で表示させる、前記（１０）に記載の情報処理装置。
（１２）
前記制御部は、前記合成顔モデルの生成のための顔特徴情報が不足する場合、他の顔モデルの前記顔特徴情報を用いる、前記（２）〜（１１）のいずれか１項に記載の情報処理装置。
（１３）
前記他の顔モデルは、合成相手となる前記第１の顔モデルもしくは前記第２の顔モデルまたは過去の顔モデルを含む、前記（１２）に記載の情報処理装置。
（１４）
前記制御部は、前記入力情報に基づいて前記合成顔モデルの顔特徴情報を変更する、前記（２）〜（１３）のいずれか１項に記載の情報処理装置。
（１５）
前記制御部は、ユーザの入力操作に基づいて前記第１の顔モデルの顔特徴情報と前記第２の顔モデルの顔特徴情報との間で前記合成顔モデルの顔特徴情報を変更する、前記（１４）に記載の情報処理装置。
（１６）
前記制御部は、前記第１の顔モデルまたは前記第２の顔モデルの属性情報に基づいて前記合成顔モデルのメッシュ情報を変更する、前記（１４）または（１５）に記載の情報処理装置。
（１７）
前記制御部は、前記合成顔モデルが関連付けられる画像または前記第１の顔モデルまたは前記第２の顔モデルに基づいて前記合成顔モデルのテクスチャ情報を変更する、前記（１４）〜（１６）のいずれか１項に記載の情報処理装置。
（１８）
前記第１の顔モデルおよび前記第２の顔モデルに対応する画像のうちの少なくとも一方は、撮像により一時的に記録される画像を含む、前記（２）〜（１７）のいずれか１項に記載の情報処理装置。
（１９）
制御部によって、第１の物体モデルと第２の物体モデルとの合成により合成物体モデルを生成することと、
生成される前記合成物体モデルを前記第１の物体モデルまたは前記第２の物体モデルに対応する画像に関連付けて表示させることと、
前記合成のためのモードを入力情報に基づいて制御することと
を含む、情報処理方法。
（２０）
第１の物体モデルと第２の物体モデルとの合成により合成物体モデルを生成する機能と、
生成される前記合成物体モデルを前記第１の物体モデルまたは前記第２の物体モデルに対応する画像に関連付けて表示させる機能と、
前記合成のためのモードを入力情報に基づいて制御する機能と、
をコンピュータに実現させるためのプログラム。
また、以下のような構成も本開示の技術的範囲に属する。
（１）
第１の物体モデルと第２の物体モデルとの合成により合成物体モデルを生成し、
生成される前記合成物体モデルを前記第１の物体モデルまたは前記第２の物体モデルに対応する画像に関連付けて表示させる制御部を備え、
前記制御部は、物体モデルまたは物体モデルに対応する画像が表示される画面に対するユーザの動きに基づく入力に応じて前記合成のために前記第１の物体モデルまたは前記第２の物体モデルを移動させる、情報処理装置。
（２）
前記第１の物体モデルは、第１の顔モデルを含み、
前記第２の物体モデルは、第２の顔モデルを含み、
前記合成物体モデルは、合成顔モデルを含む、前記（１）に記載の情報処理装置。
（３）
前記制御部は、前記第１の顔モデルまたは前記第２の顔モデルの一方から他方への移動の完了後に、前記合成顔モデルを前記他方の顔モデルに対応する画像に関連付けて表示させる、前記（２）に記載の情報処理装置。
（４）
前記制御部は、前記ユーザの動きに基づく入力が中断されると、前記合成を行わない、前記（２）または（３）に記載の情報処理装置。
（５）
前記ユーザの動きに基づく入力は、始点と終点の両方を決定する操作または始点のみを決定する操作を含む、前記（２）〜（４）のいずれか１項に記載の情報処理装置。
（６）
前記ユーザの動きに基づく入力は、ジェスチャ操作を含む、前記（２）〜（５）のいずれか１項に記載の情報処理装置。
（７）
前記制御部は、前記合成顔モデルの表示の際に、前記合成顔モデルと関連付けられる画像に対応する前記第１の顔モデルまたは前記第２の顔モデルを、前記合成顔モデルに隣接して表示させる、前記（２）〜（６）のいずれか１項に記載の情報処理装置。
（８）
移動させられる前記第１の顔モデルまたは前記第２の顔モデルは、前記画面に表示される顔リストに並べられる顔モデルまたは前記顔リストに並べられる画像から生成される顔モデルを含む、前記（２）〜（７）のいずれか１項に記載の情報処理装置。
（９）
前記制御部は、前記顔リストに並べられる顔モデルまたは画像を、前記第１の顔モデルまたは前記第２の顔モデルで表現される顔の属性に基づいて選出する、前記（８）に記載の情報処理装置。
（１０）
前記制御部は、前記顔リストに向けて前記移動させられた前記第１の顔モデルまたは前記第２の顔モデルを前記顔リストに追加する、前記（８）または（９）に記載の情報処理装置。
（１１）
前記制御部は、前記合成顔モデルに関連する第２の合成顔モデルの事前表示を行う、前記（８）〜（１０）のいずれか１項に記載の情報処理装置。
（１２）
前記第２の合成顔モデルの事前表示は、移動中の前記第１の顔モデルまたは前記第２の顔モデルを前記第２の合成顔モデルに変化させることを含む、前記（１１）に記載の情報処理装置。
（１３）
前記第２の合成顔モデルは、移動中の前記第１の顔モデルまたは前記第２の顔モデルの移動に関する情報に応じて前記合成顔モデルの顔特徴情報が変化させられた合成顔マスクを含む、前記（１２）に記載の情報処理装置。
（１４）
前記第２の合成顔モデルの事前表示は、前記顔リストに並べられる顔モデルまたは前記顔リストに並べられる画像から生成される顔モデルを前記第２の合成顔モデルに変化させることを含む、前記（１１）〜（１３）のいずれか１項に記載の情報処理装置。
（１５）
前記制御部は、前記顔リストに並べられる顔モデルまたは前記顔リストに並べられる画像から生成される顔モデルのうちの選択される顔モデルまたは全てを前記第２の合成顔モデルに変化させる、前記（１４）に記載の情報処理装置。
（１６）
前記制御部は、前記画面に複数の顔モデルまたは顔モデルに対応する画像が表示される場合、移動させられる顔モデルと前記複数の顔モデルまたは顔モデルに対応する画像の各々とに基づいて前記合成顔モデルをそれぞれ生成する、前記（２）〜（１５）のいずれか１項に記載の情報処理装置。
（１７）
前記制御部は、前記複数の顔モデルまたは顔モデルに対応する画像のうちの１つに顔モデルが移動させられると、前記合成を行う、前記（１６）に記載の情報処理装置。
（１８）
前記第１の顔モデルおよび前記第２の顔モデルのうちの少なくとも一方は、前記ユーザについての顔モデルを含む、前記（２）〜（１７）のいずれか１項に記載の情報処理装置。
（１９）
制御部によって、第１の物体モデルと第２の物体モデルとの合成により合成物体モデルを生成することと、
生成される前記合成物体モデルを前記第１の物体モデルまたは前記第２の物体モデルに対応する画像に関連付けて表示させることと、
物体モデルまたは物体モデルに対応する画像が表示される画面に対するユーザの動きに基づく入力に応じて前記合成のために前記第１の物体モデルまたは前記第２の物体モデルを移動させることと、
を含む、情報処理方法。
（２０）
第１の物体モデルと第２の物体モデルとの合成により合成物体モデルを生成する機能と、
生成される前記合成物体モデルを前記第１の物体モデルまたは前記第２の物体モデルに対応する画像に関連付けて表示させる機能と、
物体モデルまたは物体モデルに対応する画像が表示される画面に対するユーザの動きに基づく入力に応じて前記合成のために前記第１の物体モデルまたは前記第２の物体モデルを移動させる機能と、
をコンピュータに実現させるためのプログラム。
（１）
第１の物体モデルと第２の物体モデルとの合成により合成物体モデルを生成し、
生成される前記合成物体モデルを前記第１の物体モデルまたは前記第２の物体モデルに対応する画像に関連付けて表示させる制御部を備え、
前記制御部は、物体モデルまたは物体モデルに対応する画像が表示される画面に対するユーザの動きに基づく入力に応じて前記合成のために前記第１の物体モデルまたは前記第２の物体モデルを移動させる、情報処理装置。
（２）
前記第１の物体モデルは、第１の顔モデルを含み、
前記第２の物体モデルは、第２の顔モデルを含み、
前記合成物体モデルは、合成顔モデルを含む、前記（１）に記載の情報処理装置。
（３）
前記制御部は、前記第１の顔モデルまたは前記第２の顔モデルの一方から他方への移動の完了後に、前記合成顔モデルを前記他方の顔モデルに対応する画像に関連付けて表示させる、前記（２）に記載の情報処理装置。
（４）
前記制御部は、前記ユーザの動きに基づく入力が中断されると、前記合成を行わない、前記（２）または（３）に記載の情報処理装置。
（５）
前記ユーザの動きに基づく入力は、始点と終点の両方を決定する操作または始点のみを決定する操作を含む、前記（２）〜（４）のいずれか１項に記載の情報処理装置。
（６）
前記ユーザの動きに基づく入力は、ジェスチャ操作を含む、前記（２）〜（５）のいずれか１項に記載の情報処理装置。
（７）
前記制御部は、前記合成顔モデルの表示の際に、前記合成顔モデルと関連付けられる画像に対応する前記第１の顔モデルまたは前記第２の顔モデルを、前記合成顔モデルに隣接して表示させる、前記（２）〜（６）のいずれか１項に記載の情報処理装置。
（８）
移動させられる前記第１の顔モデルまたは前記第２の顔モデルは、前記画面に表示される顔リストに並べられる顔モデルまたは前記顔リストに並べられる画像から生成される顔モデルを含む、前記（２）〜（７）のいずれか１項に記載の情報処理装置。
（９）
前記制御部は、前記顔リストに並べられる顔モデルまたは画像を、前記第１の顔モデルまたは前記第２の顔モデルで表現される顔の属性に基づいて選出する、前記（８）に記載の情報処理装置。
（１０）
前記制御部は、前記顔リストに向けて前記移動させられた前記第１の顔モデルまたは前記第２の顔モデルを前記顔リストに追加する、前記（８）または（９）に記載の情報処理装置。
（１１）
前記制御部は、前記合成顔モデルに関連する第２の合成顔モデルの事前表示を行う、前記（８）〜（１０）のいずれか１項に記載の情報処理装置。
（１２）
前記第２の合成顔モデルの事前表示は、移動中の前記第１の顔モデルまたは前記第２の顔モデルを前記第２の合成顔モデルに変化させることを含む、前記（１１）に記載の情報処理装置。
（１３）
前記第２の合成顔モデルは、移動中の前記第１の顔モデルまたは前記第２の顔モデルの移動に関する情報に応じて前記合成顔モデルの顔特徴情報が変化させられた合成顔マスクを含む、前記（１２）に記載の情報処理装置。
（１４）
前記第２の合成顔モデルの事前表示は、前記顔リストに並べられる顔モデルまたは前記顔リストに並べられる画像から生成される顔モデルを前記第２の合成顔モデルに変化させることを含む、前記（１１）〜（１３）のいずれか１項に記載の情報処理装置。
（１５）
前記制御部は、前記顔リストに並べられる顔モデルまたは前記顔リストに並べられる画像から生成される顔モデルのうちの選択される顔モデルまたは全てを前記第２の合成顔モデルに変化させる、前記（１４）に記載の情報処理装置。
（１６）
前記制御部は、前記画面に複数の顔モデルまたは顔モデルに対応する画像が表示される場合、移動させられる顔モデルと前記複数の顔モデルまたは顔モデルに対応する画像の各々とに基づいて前記合成顔モデルをそれぞれ生成する、前記（２）〜（１５）のいずれか１項に記載の情報処理装置。
（１７）
前記制御部は、前記複数の顔モデルまたは顔モデルに対応する画像のうちの１つに顔モデルが移動させられると、前記合成を行う、前記（１６）に記載の情報処理装置。
（１８）
前記第１の顔モデルおよび前記第２の顔モデルのうちの少なくとも一方は、前記ユーザについての顔モデルを含む、前記（２）〜（１７）のいずれか１項に記載の情報処理装置。
（１９）
制御部によって、第１の物体モデルと第２の物体モデルとの合成により合成物体モデルを生成することと、
生成される前記合成物体モデルを前記第１の物体モデルまたは前記第２の物体モデルに対応する画像に関連付けて表示させることと、
物体モデルまたは物体モデルに対応する画像が表示される画面に対するユーザの動きに基づく入力に応じて前記合成のために前記第１の物体モデルまたは前記第２の物体モデルを移動させることと、
を含む、情報処理方法。
（２０）
第１の物体モデルと第２の物体モデルとの合成により合成物体モデルを生成する機能と、
生成される前記合成物体モデルを前記第１の物体モデルまたは前記第２の物体モデルに対応する画像に関連付けて表示させる機能と、
物体モデルまたは物体モデルに対応する画像が表示される画面に対するユーザの動きに基づく入力に応じて前記合成のために前記第１の物体モデルまたは前記第２の物体モデルを移動させる機能と、
をコンピュータに実現させるためのプログラム。
１００ 情報処理装置
１０２ 撮像部
１０４ 顔認識部
１０６ 操作検出部
１０８ 制御部
１１０ 記憶部
１１２ 表示部
１０２ 撮像部
１０４ 顔認識部
１０６ 操作検出部
１０８ 制御部
１１０ 記憶部
１１２ 表示部
Claims (18)
- 第１の顔モデルを含む第１の物体モデルと、第２の顔モデルを含む第２の物体モデルとの合成により、合成顔モデルを含む合成物体モデルを生成し、
生成される前記合成物体モデルを前記第１の物体モデルまたは前記第２の物体モデルに対応する画像に関連付けて表示させ、
前記合成顔モデルの表示の際に、前記合成顔モデルと関連付けられる画像に対応する前記第１の顔モデルまたは前記第２の顔モデルを、前記合成顔モデルに隣接して表示させる制御部を備え、
前記制御部は、物体モデルまたは物体モデルに対応する画像が表示される画面に対するユーザの動きに基づく入力に応じて前記合成のために前記第１の物体モデルまたは前記第２の物体モデルを移動させる、情報処理装置。 - 前記制御部は、前記第１の顔モデルまたは前記第２の顔モデルの一方から他方への移動の完了後に、前記合成顔モデルを前記他方の顔モデルに対応する画像に関連付けて表示させる、請求項１に記載の情報処理装置。
- 前記制御部は、前記ユーザの動きに基づく入力が中断されると、前記合成を行わない、請求項１に記載の情報処理装置。
- 前記ユーザの動きに基づく入力は、始点と終点の両方を決定する操作、または始点のみを決定する操作を含む、請求項１に記載の情報処理装置。
- 前記ユーザの動きに基づく入力は、ジェスチャ操作を含む、請求項１に記載の情報処理装置。
- 移動させられる前記第１の顔モデルまたは前記第２の顔モデルは、前記画面に表示される顔リストに並べられる顔モデルまたは前記顔リストに並べられる画像から生成される顔モデルを含む、請求項１に記載の情報処理装置。
- 前記制御部は、前記顔リストに並べられる顔モデルまたは画像を、前記第１の顔モデルまたは前記第２の顔モデルで表現される顔の属性に基づいて選出する、請求項６に記載の情報処理装置。
- 前記制御部は、前記顔リストに向けて前記移動させられた前記第１の顔モデルまたは前記第２の顔モデルを前記顔リストに追加する、請求項６に記載の情報処理装置。
- 前記制御部は、前記合成顔モデルに関連する第２の合成顔モデルの事前表示を行う、請求項６に記載の情報処理装置。
- 前記第２の合成顔モデルの事前表示は、移動中の前記第１の顔モデルまたは前記第２の顔モデルを前記第２の合成顔モデルに変化させることを含む、請求項９に記載の情報処理装置。
- 前記第２の合成顔モデルは、移動中の前記第１の顔モデルまたは前記第２の顔モデルの移動に関する情報に応じて前記合成顔モデルの顔特徴情報が変化させられた合成顔マスクを含む、請求項１０に記載の情報処理装置。
- 前記第２の合成顔モデルの事前表示は、前記顔リストに並べられる顔モデルまたは前記顔リストに並べられる画像から生成される顔モデルを前記第２の合成顔モデルに変化させることを含む、請求項９に記載の情報処理装置。
- 前記制御部は、前記顔リストに並べられる顔モデルまたは前記顔リストに並べられる画像から生成される顔モデルのうちの選択される顔モデルまたは全てを前記第２の合成顔モデルに変化させる、請求項１２に記載の情報処理装置。
- 前記制御部は、前記画面に複数の顔モデルまたは顔モデルに対応する画像が表示される場合、移動させられる顔モデルと前記複数の顔モデルまたは顔モデルに対応する画像の各々とに基づいて前記合成顔モデルをそれぞれ生成する、請求項１に記載の情報処理装置。
- 前記制御部は、前記複数の顔モデルまたは顔モデルに対応する画像のうちの１つに顔モデルが移動させられると、前記合成を行う、請求項１４に記載の情報処理装置。
- 前記第１の顔モデルおよび前記第２の顔モデルのうちの少なくとも一方は、前記ユーザについての顔モデルを含む、請求項１に記載の情報処理装置。
- 制御部によって、第１の顔モデルを含む第１の物体モデルと、第２の顔モデルを含む第２の物体モデルとの合成により、合成顔モデルを含む合成物体モデルを生成することと、
生成される前記合成物体モデルを前記第１の物体モデルまたは前記第２の物体モデルに対応する画像に関連付けて表示させることと、
前記合成顔モデルの表示の際に、前記合成顔モデルと関連付けられる画像に対応する前記第１の顔モデルまたは前記第２の顔モデルを、前記合成顔モデルに隣接して表示させることと、
物体モデルまたは物体モデルに対応する画像が表示される画面に対するユーザの動きに基づく入力に応じて前記合成のために前記第１の物体モデルまたは前記第２の物体モデルを移動させることと、
を含む、情報処理方法。 - 第１の顔モデルを含む第１の物体モデルと、第２の顔モデルを含む第２の物体モデルとの合成により、合成顔モデルを含む合成物体モデルを生成する機能と、
生成される前記合成物体モデルを前記第１の物体モデルまたは前記第２の物体モデルに対応する画像に関連付けて表示させる機能と、
前記合成顔モデルの表示の際に、前記合成顔モデルと関連付けられる画像に対応する前記第１の顔モデルまたは前記第２の顔モデルを、前記合成顔モデルに隣接して表示させる機能と、
物体モデルまたは物体モデルに対応する画像が表示される画面に対するユーザの動きに基づく入力に応じて前記合成のために前記第１の物体モデルまたは前記第２の物体モデルを移動させる機能と、
をコンピュータに実現させるためのプログラム。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015143720 | 2015-07-21 | ||
| JP2015143720 | 2015-07-21 | ||
| PCT/JP2016/064856 WO2017013936A1 (ja) | 2015-07-21 | 2016-05-19 | 情報処理装置、情報処理方法およびプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2017013936A1 JPWO2017013936A1 (ja) | 2018-05-10 |
| JP6747443B2 true JP6747443B2 (ja) | 2020-08-26 |
Family
ID=57834039
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017529487A Active JP6747443B2 (ja) | 2015-07-21 | 2016-05-19 | 情報処理装置、情報処理方法およびプログラム |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US10916044B2 (ja) |
| JP (1) | JP6747443B2 (ja) |
| CN (1) | CN107852443B (ja) |
| WO (1) | WO2017013936A1 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102417425B1 (ko) * | 2021-06-07 | 2022-07-06 | 주식회사 클레온 | 얼굴형을 고려하며 딥러닝 네트워크를 이용하는 배경 및 얼굴 합성 방법 및 장치 |
Families Citing this family (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107851299B (zh) | 2015-07-21 | 2021-11-30 | 索尼公司 | 信息处理装置、信息处理方法以及程序 |
| WO2018025402A1 (ja) * | 2016-08-05 | 2018-02-08 | 株式会社オプティム | 画像処理装置、画像処理システム、及びプログラム |
| CN106780662B (zh) | 2016-11-16 | 2020-09-18 | 北京旷视科技有限公司 | 人脸图像生成方法、装置及设备 |
| CN106780658B (zh) * | 2016-11-16 | 2021-03-09 | 北京旷视科技有限公司 | 人脸特征添加方法、装置及设备 |
| US10636175B2 (en) * | 2016-12-22 | 2020-04-28 | Facebook, Inc. | Dynamic mask application |
| US11430028B1 (en) * | 2017-11-30 | 2022-08-30 | United Services Automobile Association (Usaa) | Directed information assistance systems and methods |
| EP3833012A4 (en) * | 2018-09-20 | 2021-08-04 | Huawei Technologies Co., Ltd. | AUGMENTED REALITY COMMUNICATION PROCESS AND ELECTRONIC DEVICES |
| CN109523461A (zh) * | 2018-11-09 | 2019-03-26 | 北京达佳互联信息技术有限公司 | 显示目标图像的方法、装置、终端及存储介质 |
| CN109359220A (zh) * | 2018-12-05 | 2019-02-19 | 深圳市子瑜杰恩科技有限公司 | 短视频的道具更新方法及相关产品 |
| CN109885231B (zh) | 2019-02-27 | 2021-07-02 | 北京市商汤科技开发有限公司 | 显示方法及装置、电子设备及存储介质 |
| USD900129S1 (en) * | 2019-03-12 | 2020-10-27 | AIRCAP Inc. | Display screen or portion thereof with graphical user interface |
| CN110428390B (zh) * | 2019-07-18 | 2022-08-26 | 北京达佳互联信息技术有限公司 | 一种素材展示方法、装置、电子设备和存储介质 |
| CN110399849B (zh) * | 2019-07-30 | 2021-07-27 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、处理器、电子设备及存储介质 |
| JP7215793B2 (ja) * | 2019-09-09 | 2023-01-31 | 株式会社ラディウス・ファイブ | 画像表示システム及びプログラム |
| CN110807728B (zh) * | 2019-10-14 | 2022-12-13 | 北京字节跳动网络技术有限公司 | 对象的显示方法、装置、电子设备及计算机可读存储介质 |
| JPWO2021090741A1 (ja) * | 2019-11-08 | 2021-05-14 | ||
| US11410396B2 (en) | 2020-03-27 | 2022-08-09 | Snap Inc. | Passing augmented reality content between devices |
| US11704851B2 (en) * | 2020-05-27 | 2023-07-18 | Snap Inc. | Personalized videos using selfies and stock videos |
| CN112099712B (zh) | 2020-09-17 | 2022-06-07 | 北京字节跳动网络技术有限公司 | 人脸图像显示方法、装置、电子设备及存储介质 |
| TWI788827B (zh) * | 2021-04-28 | 2023-01-01 | 漫話科技股份有限公司 | 情緒覺察輔助學習系統 |
Family Cites Families (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001216386A (ja) | 2000-02-02 | 2001-08-10 | Nippon Telegr & Teleph Corp <Ntt> | 化粧支援装置 |
| JP4626784B2 (ja) | 2000-05-19 | 2011-02-09 | ソニー株式会社 | 通信装置および通信方法、並びに記録媒体 |
| US7809574B2 (en) * | 2001-09-05 | 2010-10-05 | Voice Signal Technologies Inc. | Word recognition using choice lists |
| US6784905B2 (en) * | 2002-01-22 | 2004-08-31 | International Business Machines Corporation | Applying translucent filters according to visual disability needs |
| US7218760B2 (en) * | 2003-06-30 | 2007-05-15 | Microsoft Corporation | Stereo-coupled face shape registration |
| JP2006119844A (ja) | 2004-10-20 | 2006-05-11 | Fuji Photo Film Co Ltd | 画像処理装置、画像処理方法及び画像処理プログラム |
| JP2007134763A (ja) | 2005-11-08 | 2007-05-31 | Seiko Epson Corp | 画像処理装置 |
| US8749556B2 (en) * | 2008-10-14 | 2014-06-10 | Mixamo, Inc. | Data compression for real-time streaming of deformable 3D models for 3D animation |
| US20110113361A1 (en) * | 2009-11-06 | 2011-05-12 | Apple Inc. | Adjustment presets for digital images |
| JP5525923B2 (ja) * | 2010-06-09 | 2014-06-18 | 任天堂株式会社 | 画像処理プログラム、画像処理装置、画像処理システム、および画像処理方法 |
| JP5444137B2 (ja) * | 2010-06-18 | 2014-03-19 | 株式会社東芝 | 顔画像検索装置および顔画像検索方法 |
| JP5750253B2 (ja) | 2010-09-28 | 2015-07-15 | 任天堂株式会社 | 画像生成プログラム、撮像装置、撮像システム、及び画像生成方法 |
| KR101795601B1 (ko) * | 2011-08-11 | 2017-11-08 | 삼성전자주식회사 | 영상 처리 장치, 영상 처리 방법, 및 컴퓨터 판독가능 저장매체 |
| US20130198690A1 (en) * | 2012-02-01 | 2013-08-01 | Microsoft Corporation | Visual indication of graphical user interface relationship |
| US9402057B2 (en) * | 2012-04-02 | 2016-07-26 | Argela Yazilim ve Bilisim Teknolojileri San. ve Tic. A.S. | Interactive avatars for telecommunication systems |
| WO2014124097A2 (en) * | 2013-02-06 | 2014-08-14 | Content Delivery Ads, Inc. | Internet vending machine/mobile vending machine system and method |
| US20150200889A1 (en) * | 2014-01-15 | 2015-07-16 | Heysnap Ltd. | System and method for sending messages |
-
2016
- 2016-05-19 JP JP2017529487A patent/JP6747443B2/ja active Active
- 2016-05-19 US US15/577,084 patent/US10916044B2/en active Active
- 2016-05-19 CN CN201680041315.8A patent/CN107852443B/zh active Active
- 2016-05-19 WO PCT/JP2016/064856 patent/WO2017013936A1/ja active Application Filing
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102417425B1 (ko) * | 2021-06-07 | 2022-07-06 | 주식회사 클레온 | 얼굴형을 고려하며 딥러닝 네트워크를 이용하는 배경 및 얼굴 합성 방법 및 장치 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107852443B (zh) | 2020-01-07 |
| CN107852443A (zh) | 2018-03-27 |
| JPWO2017013936A1 (ja) | 2018-05-10 |
| WO2017013936A1 (ja) | 2017-01-26 |
| US20180182144A1 (en) | 2018-06-28 |
| US10916044B2 (en) | 2021-02-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6747443B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
| JP6733672B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
| US20240193833A1 (en) | System and method for digital makeup mirror | |
| CN107180446B (zh) | 人物面部模型的表情动画生成方法及装置 | |
| US20170032577A1 (en) | Real-time virtual reflection | |
| JP2019510297A (ja) | ユーザの真実の人体モデルへの仮想的な試着 | |
| JP2002196855A (ja) | 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス | |
| US8830243B2 (en) | System and method for making emotion based digital storyboard | |
| JP2001344612A (ja) | アニメーション作成方法及びアニメーション作成装置並びにアニメーション作成プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JP2011107877A (ja) | 画像処理装置および画像処理方法、並びにプログラム | |
| CN108876886B (zh) | 图像处理方法、装置和计算机设备 | |
| JPWO2018025402A1 (ja) | 画像処理装置、画像処理システム、及びプログラム | |
| US11238657B2 (en) | Augmented video prototyping | |
| JP7499819B2 (ja) | ヘッドマウントディスプレイ | |
| CN109063314A (zh) | 一种服装设计*** | |
| JPH0877387A (ja) | 映像提示装置 | |
| JP4189339B2 (ja) | ３次元モデル生成方法と生成装置およびプログラムと記録媒体 | |
| JP5687881B2 (ja) | 表示制御プログラム、表示制御装置、表示制御システム、および表示制御方法 | |
| CN109200586A (zh) | 基于增强现实的游戏实现方法和装置 | |
| JP7427786B2 (ja) | 拡張現実に基づく表示方法、機器、記憶媒体及びプログラム製品 | |
| CN116419031A (zh) | 一种数据处理方法、装置以及设备 | |
| JPH11149285A (ja) | 映像音響システム | |
| CN114125271B (zh) | 图像处理方法、装置及电子设备 | |
| JP2024014517A (ja) | 情報処理システム、情報処理方法及びコンピュータプログラム | |
| Ucchesu | A Mixed Reality application to support TV Studio Production |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190208 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20190214 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190222 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190426 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20190426 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190522 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200428 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200619 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200707 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200720 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6747443 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |