JP6733672B2 - 情報処理装置、情報処理方法およびプログラム - Google Patents
情報処理装置、情報処理方法およびプログラム Download PDFInfo
- Publication number
- JP6733672B2 JP6733672B2 JP2017529480A JP2017529480A JP6733672B2 JP 6733672 B2 JP6733672 B2 JP 6733672B2 JP 2017529480 A JP2017529480 A JP 2017529480A JP 2017529480 A JP2017529480 A JP 2017529480A JP 6733672 B2 JP6733672 B2 JP 6733672B2
- Authority
- JP
- Japan
- Prior art keywords
- face
- face mask
- information
- model
- synthetic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 189
- 238000003672 processing method Methods 0.000 title description 6
- 230000015572 biosynthetic process Effects 0.000 claims description 90
- 238000003786 synthesis reaction Methods 0.000 claims description 90
- 230000001815 facial effect Effects 0.000 claims description 33
- 238000012545 processing Methods 0.000 claims description 28
- 230000002194 synthesizing effect Effects 0.000 claims description 21
- 239000002131 composite material Substances 0.000 claims description 18
- 238000003384 imaging method Methods 0.000 claims description 12
- 238000010586 diagram Methods 0.000 description 66
- 238000000034 method Methods 0.000 description 61
- 238000012986 modification Methods 0.000 description 61
- 230000004048 modification Effects 0.000 description 61
- 230000008569 process Effects 0.000 description 54
- 239000000203 mixture Substances 0.000 description 43
- 230000033001 locomotion Effects 0.000 description 41
- 230000008859 change Effects 0.000 description 23
- 238000004891 communication Methods 0.000 description 16
- 210000000887 face Anatomy 0.000 description 13
- 238000001514 detection method Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 12
- 241000227653 Lycopersicon Species 0.000 description 6
- 235000007688 Lycopersicon esculentum Nutrition 0.000 description 6
- 210000003128 head Anatomy 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000008921 facial expression Effects 0.000 description 4
- 239000000047 product Substances 0.000 description 4
- 230000007423 decrease Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 239000003550 marker Substances 0.000 description 3
- 229930014626 natural product Natural products 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 239000013589 supplement Substances 0.000 description 3
- 235000013311 vegetables Nutrition 0.000 description 3
- ZYXYTGQFPZEUFX-UHFFFAOYSA-N benzpyrimoxan Chemical compound O1C(OCCC1)C=1C(=NC=NC=1)OCC1=CC=C(C=C1)C(F)(F)F ZYXYTGQFPZEUFX-UHFFFAOYSA-N 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000001151 other effect Effects 0.000 description 2
- 238000010422 painting Methods 0.000 description 2
- 239000011435 rock Substances 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 229930091051 Arenine Natural products 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000002316 cosmetic surgery Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
- G06T17/205—Re-meshing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/0486—Drag-and-drop
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
- Studio Devices (AREA)
Description
1−1.装置の構成
1−2.装置の技術的特徴
1−3.装置の処理
1−4.第1の実施形態のまとめ
1−5.変形例
2.第2の実施形態(デジタルサイネージ装置への適用例)
2−1.装置の構成
2−2.装置の技術的特徴
2−3.装置の処理
2−4.第1の実施形態のまとめ
2−5.変形例
3.適用例
4.本開示の一実施形態に係る情報処理装置のハードウェア構成
5.むすび
まず、本開示の第1の実施形態に係る情報処理装置100−1について説明する。本実施形態に係る情報処理装置100−1は、スマートフォンまたはタブレット端末等の可搬性のある携帯端末である。なお、説明の便宜上、第1および第2の実施形態による情報処理装置100を、情報処理装置100−1および情報処理装置100−2のように、末尾に実施形態に対応する番号を付することにより区別する。
図1を参照して、本開示の第1の実施形態に係る情報処理装置100−1の機能構成について説明する。図1は、本開示の第1の実施形態に係る情報処理装置100−1の概略的な機能構成の例を示すブロック図である。
次に、本実施形態に係る情報処理装置100−1の技術的特徴について説明する。
情報処理装置100−1は、ユーザの入力に応じて合成対象を決定する。具体的には、制御部108は、ユーザの入力操作に基づいて特定される顔マスクまたは特定される顔画像から生成される顔マスクを合成対象として決定する。合成対象の決定は、合成元(ソース:src)および合成先(デスティネーション:dst)の決定である。さらに、図3を参照して、srcおよびdstの組合せについて説明する。図3は、本実施形態におけるsrcおよびdstの組合せの例を示す図である。
制御部108は、ユーザの入力操作により選択される顔マスクまたは選択される顔画像から生成される顔マスクをsrcとして決定する。具体的には、制御部108は、顔マスクまたは顔画像が並べられる顔リストを画面に表示させる。そして、制御部108は、ユーザの入力操作により当該顔リストから選択された顔マスクまたは選択された顔画像から生成される顔マスクをsrcとして決定する。例えば、制御部108は、移動対象として選択された顔マスクをsrcとして決定する。さらに、図4を参照して合成元の決定処理について詳細に説明する。図4は、本実施形態における合成顔マスクに係る操作および処理を説明するための図である。
制御部108は、ユーザの入力操作により選択される顔マスクまたは選択される顔画像から生成される顔マスクをdstとして決定する。具体的には、制御部108は、移動させられる顔マスク等の移動先の顔マスク等をdstとして決定する。さらに、図4を参照して合成先の決定処理について詳細に説明する。
情報処理装置100−1は、合成対象として決定された顔マスク等に基づいて、合成のためのモード(以下、合成モードとも称する。)に応じた合成顔マスクを生成する。具体的には、制御部108は、srcとして決定された顔マスクまたは決定された顔画像から生成される顔マスクおよびdstとして決定された顔マスクまたは決定された顔画像から生成される顔マスクとの合成モードに応じた合成により合成顔マスクを生成する。
情報処理装置100−1は、上述した合成モードを制御する。具体的には、制御部108は、合成モードを入力情報に基づいて制御する。より具体的には、入力情報は、制御部108の処理の入力となるsrcである顔マスクまたはdstである顔マスクに対応する画像に係る情報を含む。例えば、当該画像に係る情報としては、画像の属性または画像の内容に係る情報がある。画像の属性としては、静止画、動画もしくはスルー画等のメディア(電子媒体)の種類または写真もしくはCG(Computer Graphics)等のコンテンツの種類がある。例えば、制御部108は、静止画の顔マスクがdstであり、動画の顔マスクがsrcである場合、第1のモードを選択する。また、画像の内容としては、画像に映る人間のスピーチ、演奏もしくはスポーツ等の行動の有無もしくは内容がある。
情報処理装置100−1は、生成された合成顔マスクを顔画像に関連付けて表示する。具体的には、制御部108は、srcである顔マスクおよびdstである顔マスクに対応する顔画像のうちのユーザの入力に基づいて特定される顔画像に合成顔マスクを関連付けて表示させる。より具体的には、制御部108は、srcの顔マスクからdstの顔マスクへの移動の完了後に、合成顔マスクをdstの顔マスクに対応する画像に関連付けて表示させる。例えば、制御部108は、合成により得られる図4の中図に示したような合成顔マスク36Aを、ドロップ操作によってdstとして決定された顔画像16Aに重畳表示させる。なお、制御部108は、合成顔マスクの表示の際に、合成顔マスクのテクスチャを透明化し、時間経過と共に透明度を低下させてもよい。
情報処理装置100−1は、顔マスクと同様に合成顔マスクをユーザ操作に応じて移動させる。具体的には、制御部108は、ユーザの動きに基づく入力に応じて合成顔マスクを移動させる。例えば、制御部108は、ユーザのドラッグ操作に応じて、図4の右図に示したように合成顔マスク36Aを移動させる。なお、合成顔マスクは、顔画像に重畳表示されていない間であってもsrcまたはdstの変化に応じて変化させられる。
情報処理装置100−1は、合成顔マスクが重畳表示される画像(以下、加工済み画像とも称する。)を保存する。具体的には、制御部108は、合成顔マスクが画面に表示されている状態において操作検出部106によって画像の保存操作が検出されると、加工済み画像を記憶部110に記憶させる。
次に、図6を参照して、本実施形態に係る情報処理装置100−1の処理について説明する。図6は、本実施形態に係る情報処理装置100−1の処理を概念的に示すフローチャートである。
このように、本開示の第1の実施形態によれば、情報処理装置100−1は、第1の物体マスクと第2の物体マスクとの合成により合成物体マスクを生成し、生成される合成物体マスクを第1の物体マスクまたは第2の物体マスクに対応する画像に関連付けて表示させる。また、情報処理装置100−1は、合成のためのモードを入力情報に基づいて制御する。このため、入力情報に応じた合成が行われることにより、ユーザにとって望ましい合成を行うことが可能となる。
以上、本開示の第1の実施形態について説明した。なお、本実施形態は、上述の例に限定されない。以下に、本実施形態の第1〜第10の変形例について説明する。
本実施形態の第1の変形例として、情報処理装置100−1は、合成対象のメッシュ情報の両方またはテクスチャ情報の両方に基づいて合成顔マスクを生成してもよい。具体的には、合成モードは、srcとなる顔マスクのメッシュ情報およびdstとなる顔マスクのメッシュ情報と、srcとなる顔マスクのテクスチャ情報およびdstとなる顔マスクのテクスチャ情報とに基づいて合成顔マスクを生成する第3のモードを含む。
本実施形態の第2の変形例として、情報処理装置100−1は、dstとなる顔マスク等が複数存在する場合、当該複数の顔マスク等の全てについて合成顔マスクを生成してもよい。具体的には、制御部108は、画面に複数の顔マスクまたは顔画像が表示される場合、移動させられる顔マスクと当該複数の顔マスクまたは顔画像の各々とに基づいて合成顔マスクをそれぞれ生成する。さらに、図7および図8を参照して本変形例の処理について詳細に説明する。図7は、本実施形態の第2の変形例における顔リストから選択される顔マスク等に基づく複数の合成顔マスクの生成処理を説明するための図であり、図8は、本実施形態の第2の変形例における画面に表示される顔画像等から選択される顔マスク等に基づく複数の合成顔マスクの生成処理を説明するための図である。
本実施形態の第3の変形例として、情報処理装置100−1は、ユーザ操作に基づいて顔リストに顔マスク等を登録してもよい。具体的には、制御部108は、顔リストに向けて移動させられた顔マスクを顔リストに追加する。さらに、図9を参照して、顔リストへの登録処理について詳細に説明する。図9は、本実施形態の第3の変形例における顔リストへの登録処理を説明するための図である。
本実施形態の第4の変形例として、情報処理装置100−1は、現実の人間の顔以外の顔に合成顔マスクを関連付けて表示させてもよい。具体的には、合成に用いられる顔マスクは、人工的に生成された顔(以下、人工顔とも称する。)についての顔マスクを含む。例えば、制御部108は、人工顔の顔画像から生成される顔マスクと他の顔マスクとを合成する。そして、制御部108は、合成により得られる合成顔マスクを人工顔の顔画像に重畳表示させる。さらに、図10を参照して、本変形例の処理について説明する。図10は、本実施形態に係る第4の変形例における合成処理を説明するための図である。
本実施形態の第5の変形例として、情報処理装置100−1は、合成顔マスクに関連する第2の合成顔マスクの事前表示(以下、合成顔マスクのプレビューとも称する。)を行ってもよい。具体的には、合成顔マスクのプレビューは、移動中の顔マスクを第2の合成顔マスクに変化させることを含み、第2の合成顔マスクは合成顔マスクを含む。例えば、制御部108は、移動対象として選択された顔マスクを、当該顔マスクと移動先として推定される顔マスクとの合成により得られる合成顔マスクに変化させる。例えば、制御部108は、移動操作がドラッグ操作である場合、ドラッグされる方向に存在する顔マスクをdstとなる顔マスクとしてプレビューを行う。なお、スワイプ操作またはフリック操作についてもドラッグ操作の場合と同様である。
本実施形態の第6の変形例として、情報処理装置100−1は、合成顔マスクの重畳表示の際に、当該合成顔マスクが重畳表示される顔画像についての顔マスクを確保しておいてもよい。具体的には、制御部108は、合成顔マスクの表示の際に、合成顔マスクと関連付けられる画像に対応する顔マスクを、当該合成顔マスクに隣接して表示させる。さらに、図12および図13を参照して、本変形例の処理について詳細に説明する。図12は、本実施形態の第6の変形例における顔マスクの確保を行わない場合の合成処理を説明するための図であり、図13は、本実施形態の第6の変形例における顔マスクの確保を行う場合の合成処理を説明するための図である。
本実施形態の第7の変形例として、情報処理装置100−1は、合成顔マスクの顔特徴情報を変更してもよい。具体的には、制御部108は、入力情報に基づいて合成顔マスクの顔特徴情報を変更する。より具体的には、制御部108は、ユーザの入力操作に基づいて、srcである顔マスクの顔特徴情報とdstである顔モデルの顔特徴情報との間で合成顔マスクの顔特徴情報を変更する。さらに、図14を参照して、本変形例の処理について詳細に説明する。図14は、本実施形態の第7の変形例における合成顔マスクの顔特徴情報を調整するためのインタフェースの例を示す図である。
本実施形態の第8の変形例として、情報処理装置100−1は、合成顔マスクの生成のための顔特徴情報が不足する場合、他の顔マスクの顔特徴情報を用いてもよい。ここで、動画またはスルー画等において画像に映る人が首を振ったり、カメラワークが変化したりすることにより、顔マスクに対応する顔画像の特徴点の検出数が減少する場合がある。この場合、srcまたはdstの顔マスクのメッシュ情報およびテクスチャ情報の情報量が減少し、ユーザにとって違和感のある合成顔マスクが生成される可能性がある。そこで、制御部108は、不足する顔特徴情報を補うため、過去の顔マスクの顔特徴情報を利用する。
本実施形態の第9の変形例として、情報処理装置100−1は、顔以外の物体の合成を行ってもよい。具体的には、制御部108は、srcまたはdstのモデルの少なくとも一方が顔以外の物体のモデルである合成を行う。例えば、事前に顔以外の物体の画像に顔モデルが紐付けられる。そして、制御部108は、当該物体の画像と紐づく顔モデルと顔画像の顔モデルとを合成し、合成により得られる合成顔モデルを当該物体の画像または顔画像に重畳表示させる。さらに、図19および図20を参照して、本変形例の処理について詳細に説明する。図19は、本実施形態の第9の変形例における顔以外の物体の合成処理の例を示す図であり、図20は、本実施形態の第9の変形例における顔以外の物体の合成処理の他の例を示す図である。
本実施形態の第10の変形例として、ユーザの操作によらず合成顔マスクの重畳表示が行われてもよい。具体的には、制御部108は、顔認識から所定の時間が経過すると、当該顔認識に係る顔画像から生成される顔マスクと所定の顔マスクとの合成を行い、合成により得られる合成顔マスクを当該顔画像に重畳表示させる。
以上、本開示の第1の実施形態に係る情報処理装置100−1について説明した。続いて、本開示の第2の実施形態に係る情報処理装置100−2について説明する。本実施形態に係る情報処理装置100−2は、デジタルサイネージ等の据置型装置である。
本開示の第2の実施形態に係る情報処理装置100−2の機能構成は、第1の実施形態に係る情報処理装置100−1の機能構成と実質的に同一であるため、説明を省略する。
次に、本実施形態に係る情報処理装置100−2の技術的特徴について説明する。なお、第1の実施形態と実質的に同一である特徴については説明を省略する。
情報処理装置100−1は、ユーザの動きに基づく入力として、ユーザのジェスチャ操作に応じて合成対象を決定する。
制御部108は、ユーザのジェスチャ操作に応じて合成対象の顔マスクを移動させる。さらに、図21を参照して、ジェスチャ操作に応じた顔マスクの移動処理について説明する。図21は、本実施形態に係る情報処理装置100−2における合成対象の顔マスクの移動操作を説明するための図である。
また、制御部108は、ユーザの移動に基づいて合成対象を決定してもよい。図22を参照して、本構成の処理について詳細に説明する。図22は、本実施形態に係る情報処理装置100−2におけるユーザの移動に基づく合成対象の決定処理を説明するための図である。なお、上述した機能と実質的に同一である機能については説明を省略する。
本開示の第2の実施形態に係る情報処理装置100−2の処理は、第1の実施形態に係る情報処理装置100−1の処理と実質的に同一であるため、説明を省略する。
このように、本開示の第2の実施形態によれば、ユーザの動きに基づく入力は、ジェスチャ操作を含み、情報処理装置100−2は、ジェスチャ操作に基づいて合成のために顔マスクを移動させる。このため、ユーザは感覚的に合成のための操作を行うことができ、合成に関する操作における操作性を向上させることが可能となる。
以上、本開示の第2の実施形態について説明した。なお、本実施形態は、上述の例に限定されない。以下に、本実施形態の第1および第2の変形例について説明する。
本実施形態の第1の変形例として、ユーザの操作によらず合成顔マスクの重畳表示が行われてもよい。具体的には、制御部108は、合成対象の顔マスクを、画面に表示される表示オブジェクトによって運ばれるように移動させる。さらに、図23を参照して、本変形例の処理について詳細に説明する。図23は、本実施形態の第1の変形例におけるキャラクタにより合成対象となる顔マスク等が移動される例を説明するための図である。
本実施形態の第2の変形例として、情報処理装置100−2は、合成対象のリンクに従って合成を行ってもよい。具体的には、制御部108は、ユーザの選択操作に基づいて合成対象のリンク付けを行い、リンクされる合成対象に基づいて合成を行う。例えば、ユーザが合成対象、例えばdstとなる顔マスク等を選択し、自身の顔を撮像すると、制御部108は、ユーザの顔についての顔マスクを生成し、選択される顔マスク等とユーザの顔マスクとをリンク付ける。そして、制御部108は、ユーザの顔マスクとリンクされる顔マスク等に基づいて合成を行い、ユーザの顔の映る画像に生成される合成顔マスクを重畳表示させる。
上記各実施形態において説明した構成については、様々な事例に適用され得る。以下では、上述した各実施形態以外の事例の一部について説明する。
画像に映る人物の顔に合成顔マスクを重畳表示させることにより、プライバシーの保護が可能となる。例えば、情報処理装置100は、画像に映る人物の顔マスクをdstとし、別途選択される顔マスクをsrcとして、dstのメッシュ情報とsrcのテクスチャ情報とに基づいて合成顔マスクを生成する。そして、情報処理装置100は、生成される顔マスクをdstとなる画像に映る人物の顔に重畳表示させる。
空オーケストラ(以下、カラオケとも称する。)装置の表示する映像に映る人物の顔に合成顔マスクを重畳表示させることにより、カラオケの演奏に合わせて歌唱する人またはそれを鑑賞する人の気持ちを盛り上げることが可能となる。例えば、情報処理装置100は、カラオケの映像に映る人物の顔マスクをdstとし、歌唱する人の顔マスクをsrcとして、dstのメッシュ情報とsrcのテクスチャ情報とに基づいて合成顔マスクを生成する。そして、情報処理装置100は、生成される合成顔マスクをdstとなるカラオケの映像に映る人物の顔に重畳表示させる。なお、逆にsrcのテクスチャ情報とdstのテクスチャ情報とに基づいて合成顔マスクが生成されてもよい。
ビデオチャットの映像に映る人物の顔に合成顔マスクを重畳表示させることにより、ビデオチャットにおけるコミュニケーションの円滑化が可能となる。例えば、情報処理装置100は、ビデオチャットの映像に映る人物についての顔マスクのうちの目の部分をビデオチャットのカメラに向いている目と合成することにより得られる合成顔マスクを当該人物に重畳表示させる。これにより、ビデオチャットの映像に映る人物の目線がカメラに向けられているように表示される。
媒体に予め顔特徴情報を紐付けることにより、媒体に係る画像から直接的に顔マスクが生成困難な場合であっても当該画像に映る顔に合成顔マスクを重畳表示させることが可能となる。例えば、媒体は動画データであり、動画の各フレームに紐づく顔特徴情報または特徴点情報が動画のメタ情報として動画情報に格納される。そして、情報処理装置100は、動画の再生時に、当該動画の動画情報として格納される顔特徴情報等を用いて合成を行う。なお、顔特徴情報等は動画のフレームの一部について紐付けられてもよい。また、動画情報として格納される情報は、特徴点情報および特徴点に係る色情報であってもよい。
図25は、本開示の一実施形態に係る情報処理装置100のハードウェア構成を示した説明図である。図25に示したように、情報処理装置100は、CPU(Central Processing Unit)142と、ROM(Read Only Memory)144と、RAM(Random Access Memory)146と、ブリッジ148と、バス150と、インタフェース152と、入力装置154と、出力装置156と、ストレージ装置158と、ドライブ160と、接続ポート162と、通信装置164とを備える。
以上、本開示の第1の実施形態によれば、入力情報に応じた合成が行われることにより、ユーザにとって望ましい合成を行うことが可能となる。また、ユーザの意図に即して顔マスクが移動されることにより、合成についての操作感を向上させることが可能となる。
(1)
第1の物体モデルと第2の物体モデルとの合成により合成物体モデルを生成し、
生成される前記合成物体モデルを前記第1の物体モデルまたは前記第2の物体モデルに対応する画像に関連付けて表示させる制御部を備え、
前記制御部は、前記合成のためのモードを入力情報に基づいて制御する、情報処理装置。
(2)
前記第1の物体モデルは、第1の顔モデルを含み、
前記第2の物体モデルは、第2の顔モデルを含み、
前記合成物体モデルは、合成顔モデルを含む、前記(1)に記載の情報処理装置。
(3)
前記モードは、前記第1の顔モデルのメッシュ情報に基づいて前記合成顔モデルを生成する第1のモードと、前記第2の顔モデルのメッシュ情報に基づいて前記合成顔モデルを生成する第2のモードと、を含む、前記(2)に記載の情報処理装置。
(4)
前記第1のモードでは、前記第2の顔モデルのテクスチャ情報に基づいて前記合成顔モデルが生成され、
前記第2のモードでは、前記第1の顔モデルのテクスチャ情報に基づいて前記合成顔モデルが生成される、前記(3)に記載の情報処理装置。
(5)
顔特徴情報は、顔モデルのメッシュ情報およびテクスチャ情報を含み、
前記モードは、前記第1の顔モデルのメッシュ情報および前記第2の顔モデルのメッシュ情報と、前記第1の顔モデルのテクスチャ情報および前記第2の顔モデルのテクスチャ情報とに基づいて前記合成顔モデルを生成する第3のモードを含む、前記(2)〜(4)のいずれか1項に記載の情報処理装置。
(6)
前記制御部は、前記第1の顔モデルおよび前記第2の顔モデルに対応する画像のうちのユーザの入力に基づいて特定される画像に前記合成顔モデルを関連付けて表示させる、前記(2)〜(5)のいずれか1項に記載の情報処理装置。
(7)
前記入力情報は、前記制御部の処理の入力となる前記第1の顔モデルまたは前記第2の顔モデルに対応する画像に係る情報を含む、前記(2)〜(6)のいずれか1項に記載の情報処理装置。
(8)
前記画像に係る情報は、前記画像の属性または前記画像の内容に係る情報を含む、前記(7)に記載の情報処理装置。
(9)
前記入力情報は、ユーザの入力操作に係る情報を含む、前記(2)〜(8)のいずれか1項に記載の情報処理装置。
(10)
前記ユーザの入力操作は、前記第1の顔モデルまたは前記第2の顔モデルの選択操作を含み、
前記制御部は、前記第1の顔モデルまたは前記第2の顔モデルの選択位置に応じて前記モードを決定する、前記(9)に記載の情報処理装置。
(11)
前記制御部は、前記第1の顔モデルまたは前記第2の顔モデルにおける前記モードの各々に対応する選択位置を、視覚的に判別される態様で表示させる、前記(10)に記載の情報処理装置。
(12)
前記制御部は、前記合成顔モデルの生成のための顔特徴情報が不足する場合、他の顔モデルの前記顔特徴情報を用いる、前記(2)〜(11)のいずれか1項に記載の情報処理装置。
(13)
前記他の顔モデルは、合成相手となる前記第1の顔モデルもしくは前記第2の顔モデルまたは過去の顔モデルを含む、前記(12)に記載の情報処理装置。
(14)
前記制御部は、前記入力情報に基づいて前記合成顔モデルの顔特徴情報を変更する、前記(2)〜(13)のいずれか1項に記載の情報処理装置。
(15)
前記制御部は、ユーザの入力操作に基づいて前記第1の顔モデルの顔特徴情報と前記第2の顔モデルの顔特徴情報との間で前記合成顔モデルの顔特徴情報を変更する、前記(14)に記載の情報処理装置。
(16)
前記制御部は、前記第1の顔モデルまたは前記第2の顔モデルの属性情報に基づいて前記合成顔モデルのメッシュ情報を変更する、前記(14)または(15)に記載の情報処理装置。
(17)
前記制御部は、前記合成顔モデルが関連付けられる画像または前記第1の顔モデルまたは前記第2の顔モデルに基づいて前記合成顔モデルのテクスチャ情報を変更する、前記(14)〜(16)のいずれか1項に記載の情報処理装置。
(18)
前記第1の顔モデルおよび前記第2の顔モデルに対応する画像のうちの少なくとも一方は、撮像により一時的に記録される画像を含む、前記(2)〜(17)のいずれか1項に記載の情報処理装置。
(19)
制御部によって、第1の物体モデルと第2の物体モデルとの合成により合成物体モデルを生成することと、
生成される前記合成物体モデルを前記第1の物体モデルまたは前記第2の物体モデルに対応する画像に関連付けて表示させることと、
前記合成のためのモードを入力情報に基づいて制御することと
を含む、情報処理方法。
(20)
第1の物体モデルと第2の物体モデルとの合成により合成物体モデルを生成する機能と、
生成される前記合成物体モデルを前記第1の物体モデルまたは前記第2の物体モデルに対応する画像に関連付けて表示させる機能と、
前記合成のためのモードを入力情報に基づいて制御する機能と、
をコンピュータに実現させるためのプログラム。
(1)
第1の物体モデルと第2の物体モデルとの合成により合成物体モデルを生成し、
生成される前記合成物体モデルを前記第1の物体モデルまたは前記第2の物体モデルに対応する画像に関連付けて表示させる制御部を備え、
前記制御部は、物体モデルまたは物体モデルに対応する画像が表示される画面に対するユーザの動きに基づく入力に応じて前記合成のために前記第1の物体モデルまたは前記第2の物体モデルを移動させる、情報処理装置。
(2)
前記第1の物体モデルは、第1の顔モデルを含み、
前記第2の物体モデルは、第2の顔モデルを含み、
前記合成物体モデルは、合成顔モデルを含む、前記(1)に記載の情報処理装置。
(3)
前記制御部は、前記第1の顔モデルまたは前記第2の顔モデルの一方から他方への移動の完了後に、前記合成顔モデルを前記他方の顔モデルに対応する画像に関連付けて表示させる、前記(2)に記載の情報処理装置。
(4)
前記制御部は、前記ユーザの動きに基づく入力が中断されると、前記合成を行わない、前記(2)または(3)に記載の情報処理装置。
(5)
前記ユーザの動きに基づく入力は、始点と終点の両方を決定する操作または始点のみを決定する操作を含む、前記(2)〜(4)のいずれか1項に記載の情報処理装置。
(6)
前記ユーザの動きに基づく入力は、ジェスチャ操作を含む、前記(2)〜(5)のいずれか1項に記載の情報処理装置。
(7)
前記制御部は、前記合成顔モデルの表示の際に、前記合成顔モデルと関連付けられる画像に対応する前記第1の顔モデルまたは前記第2の顔モデルを、前記合成顔モデルに隣接して表示させる、前記(2)〜(6)のいずれか1項に記載の情報処理装置。
(8)
移動させられる前記第1の顔モデルまたは前記第2の顔モデルは、前記画面に表示される顔リストに並べられる顔モデルまたは前記顔リストに並べられる画像から生成される顔モデルを含む、前記(2)〜(7)のいずれか1項に記載の情報処理装置。
(9)
前記制御部は、前記顔リストに並べられる顔モデルまたは画像を、前記第1の顔モデルまたは前記第2の顔モデルで表現される顔の属性に基づいて選出する、前記(8)に記載の情報処理装置。
(10)
前記制御部は、前記顔リストに向けて前記移動させられた前記第1の顔モデルまたは前記第2の顔モデルを前記顔リストに追加する、前記(8)または(9)に記載の情報処理装置。
(11)
前記制御部は、前記合成顔モデルに関連する第2の合成顔モデルの事前表示を行う、前記(8)〜(10)のいずれか1項に記載の情報処理装置。
(12)
前記第2の合成顔モデルの事前表示は、移動中の前記第1の顔モデルまたは前記第2の顔モデルを前記第2の合成顔モデルに変化させることを含む、前記(11)に記載の情報処理装置。
(13)
前記第2の合成顔モデルは、移動中の前記第1の顔モデルまたは前記第2の顔モデルの移動に関する情報に応じて前記合成顔モデルの顔特徴情報が変化させられた合成顔マスクを含む、前記(12)に記載の情報処理装置。
(14)
前記第2の合成顔モデルの事前表示は、前記顔リストに並べられる顔モデルまたは前記顔リストに並べられる画像から生成される顔モデルを前記第2の合成顔モデルに変化させることを含む、前記(11)〜(13)のいずれか1項に記載の情報処理装置。
(15)
前記制御部は、前記顔リストに並べられる顔モデルまたは前記顔リストに並べられる画像から生成される顔モデルのうちの選択される顔モデルまたは全てを前記第2の合成顔モデルに変化させる、前記(14)に記載の情報処理装置。
(16)
前記制御部は、前記画面に複数の顔モデルまたは顔モデルに対応する画像が表示される場合、移動させられる顔モデルと前記複数の顔モデルまたは顔モデルに対応する画像の各々とに基づいて前記合成顔モデルをそれぞれ生成する、前記(2)〜(15)のいずれか1項に記載の情報処理装置。
(17)
前記制御部は、前記複数の顔モデルまたは顔モデルに対応する画像のうちの1つに顔モデルが移動させられると、前記合成を行う、前記(16)に記載の情報処理装置。
(18)
前記第1の顔モデルおよび前記第2の顔モデルのうちの少なくとも一方は、前記ユーザについての顔モデルを含む、前記(2)〜(17)のいずれか1項に記載の情報処理装置。
(19)
制御部によって、第1の物体モデルと第2の物体モデルとの合成により合成物体モデルを生成することと、
生成される前記合成物体モデルを前記第1の物体モデルまたは前記第2の物体モデルに対応する画像に関連付けて表示させることと、
物体モデルまたは物体モデルに対応する画像が表示される画面に対するユーザの動きに基づく入力に応じて前記合成のために前記第1の物体モデルまたは前記第2の物体モデルを移動させることと、
を含む、情報処理方法。
(20)
第1の物体モデルと第2の物体モデルとの合成により合成物体モデルを生成する機能と、
生成される前記合成物体モデルを前記第1の物体モデルまたは前記第2の物体モデルに対応する画像に関連付けて表示させる機能と、
物体モデルまたは物体モデルに対応する画像が表示される画面に対するユーザの動きに基づく入力に応じて前記合成のために前記第1の物体モデルまたは前記第2の物体モデルを移動させる機能と、
をコンピュータに実現させるためのプログラム。
102 撮像部
104 顔認識部
106 操作検出部
108 制御部
110 記憶部
112 表示部
Claims (17)
- 第1の顔モデルを含む第1の物体モデルと第2の顔モデルを含む第2の物体モデルとの合成により合成顔モデルを含む合成物体モデルを生成し、
生成される前記合成物体モデルを前記第1の物体モデルまたは前記第2の物体モデルに対応する画像に関連付けて表示させる制御部を備え、
前記制御部は、前記合成のためのモードであって、前記第1の顔モデルまたは前記第2の顔モデルの選択位置に応じて決定されたモードを、前記第1の顔モデルまたは前記第2の顔モデルの選択操作を含むユーザの入力操作に係る情報を含む入力情報に基づいて制御する、情報処理装置。 - 前記モードは、前記第1の顔モデルのメッシュ情報に基づいて前記合成顔モデルを生成する第1のモードと、前記第2の顔モデルのメッシュ情報に基づいて前記合成顔モデルを生成する第2のモードと、を含む、請求項1に記載の情報処理装置。
- 前記第1のモードでは、前記第2の顔モデルのテクスチャ情報に基づいて前記合成顔モデルが生成され、
前記第2のモードでは、前記第1の顔モデルのテクスチャ情報に基づいて前記合成顔モデルが生成される、請求項2に記載の情報処理装置。 - 顔特徴情報は、顔モデルのメッシュ情報およびテクスチャ情報を含み、
前記モードは、前記第1の顔モデルのメッシュ情報および前記第2の顔モデルのメッシュ情報と、前記第1の顔モデルのテクスチャ情報および前記第2の顔モデルのテクスチャ情報とに基づいて前記合成顔モデルを生成する第3のモードを含む、請求項3に記載の情報処理装置。 - 前記制御部は、前記第1の顔モデルおよび前記第2の顔モデルに対応する画像のうちのユーザの入力に基づいて特定される画像に前記合成顔モデルを関連付けて表示させる、請求項1に記載の情報処理装置。
- 前記入力情報は、前記制御部の処理の入力となる前記第1の顔モデルまたは前記第2の顔モデルに対応する画像に係る情報を含む、請求項1に記載の情報処理装置。
- 前記画像に係る情報は、前記画像の属性または前記画像の内容に係る情報を含む、請求項6に記載の情報処理装置。
- 前記制御部は、前記第1の顔モデルまたは前記第2の顔モデルにおける前記モードの各々に対応する選択位置を、視覚的に判別される態様で表示させる、請求項1に記載の情報処理装置。
- 前記制御部は、前記合成顔モデルの生成のための顔特徴情報が不足する場合、他の顔モデルの前記顔特徴情報を用いる、請求項1に記載の情報処理装置。
- 前記他の顔モデルは、合成相手となる前記第1の顔モデルもしくは前記第2の顔モデルまたは過去の顔モデルを含む、請求項9に記載の情報処理装置。
- 前記制御部は、前記入力情報に基づいて前記合成顔モデルの顔特徴情報を変更する、請求項1に記載の情報処理装置。
- 前記制御部は、ユーザの入力操作に基づいて前記第1の顔モデルの顔特徴情報と前記第2の顔モデルの顔特徴情報との間で前記合成顔モデルの顔特徴情報を変更する、請求項11に記載の情報処理装置。
- 前記制御部は、前記第1の顔モデルまたは前記第2の顔モデルの属性情報に基づいて前記合成顔モデルのメッシュ情報を変更する、請求項12に記載の情報処理装置。
- 前記制御部は、前記合成顔モデルが関連付けられる画像または前記第1の顔モデルまたは前記第2の顔モデルに基づいて前記合成顔モデルのテクスチャ情報を変更する、請求項12に記載の情報処理装置。
- 前記第1の顔モデルおよび前記第2の顔モデルに対応する画像のうちの少なくとも一方は、撮像により一時的に記録される画像を含む、請求項1に記載の情報処理装置。
- 制御部によって、第1の顔モデルを含む第1の物体モデルと第2の顔モデルを含む第2の物体モデルとの合成により合成顔モデルを含む合成物体モデルを生成することと、
生成される前記合成物体モデルを前記第1の物体モデルまたは前記第2の物体モデルに対応する画像に関連付けて表示させることと、
前記合成のためのモードであって、前記第1の顔モデルまたは前記第2の顔モデルの選択位置に応じて決定されたモードを、前記第1の顔モデルまたは前記第2の顔モデルの選択操作を含むユーザの入力操作に係る情報を含む入力情報に基づいて制御することと
を含む、情報処理方法。 - 第1の顔モデルを含む第1の物体モデルと第2の顔モデルを含む第2の物体モデルとの合成により合成顔モデルを含む合成物体モデルを生成する機能と、
生成される前記合成物体モデルを前記第1の物体モデルまたは前記第2の物体モデルに対応する画像に関連付けて表示させる機能と、
前記合成のためのモードであって、前記第1の顔モデルまたは前記第2の顔モデルの選択位置に応じて決定されたモードを、前記第1の顔モデルまたは前記第2の顔モデルの選択操作を含むユーザの入力操作に係る情報を含む入力情報に基づいて制御する機能と、
をコンピュータに実現させるためのプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015143711 | 2015-07-21 | ||
JP2015143711 | 2015-07-21 | ||
PCT/JP2016/063746 WO2017013925A1 (ja) | 2015-07-21 | 2016-05-09 | 情報処理装置、情報処理方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2017013925A1 JPWO2017013925A1 (ja) | 2018-05-10 |
JP6733672B2 true JP6733672B2 (ja) | 2020-08-05 |
Family
ID=57833881
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017529480A Active JP6733672B2 (ja) | 2015-07-21 | 2016-05-09 | 情報処理装置、情報処理方法およびプログラム |
Country Status (5)
Country | Link |
---|---|
US (3) | US10460493B2 (ja) |
EP (1) | EP3327661A4 (ja) |
JP (1) | JP6733672B2 (ja) |
CN (2) | CN107851299B (ja) |
WO (1) | WO2017013925A1 (ja) |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018025402A1 (ja) * | 2016-08-05 | 2018-02-08 | 株式会社オプティム | 画像処理装置、画像処理システム、及びプログラム |
WO2018068146A1 (en) | 2016-10-14 | 2018-04-19 | Genetec Inc. | Masking in video stream |
US10636175B2 (en) * | 2016-12-22 | 2020-04-28 | Facebook, Inc. | Dynamic mask application |
WO2018203555A1 (ja) * | 2017-05-02 | 2018-11-08 | 日本電信電話株式会社 | 信号検索装置、方法、及びプログラム |
US11282543B2 (en) * | 2018-03-09 | 2022-03-22 | Apple Inc. | Real-time face and object manipulation |
JP2021121877A (ja) * | 2018-04-27 | 2021-08-26 | ソニーグループ株式会社 | 情報処理装置および情報処理方法 |
KR102082894B1 (ko) * | 2018-07-09 | 2020-02-28 | 에스케이텔레콤 주식회사 | 오브젝트 표시 장치, 방법 및 이러한 방법을 수행하는 컴퓨터 판독 가능 매체에 저장된 프로그램 |
CN109215007B (zh) * | 2018-09-21 | 2022-04-12 | 维沃移动通信有限公司 | 一种图像生成方法及终端设备 |
US11089238B2 (en) * | 2019-01-18 | 2021-08-10 | Snap Inc. | Personalized videos featuring multiple persons |
KR102664688B1 (ko) * | 2019-02-19 | 2024-05-10 | 삼성전자 주식회사 | 가상 캐릭터 기반 촬영 모드를 제공하는 전자 장치 및 이의 동작 방법 |
US11074753B2 (en) * | 2019-06-02 | 2021-07-27 | Apple Inc. | Multi-pass object rendering using a three- dimensional geometric constraint |
CN110428390B (zh) * | 2019-07-18 | 2022-08-26 | 北京达佳互联信息技术有限公司 | 一种素材展示方法、装置、电子设备和存储介质 |
CN110399849B (zh) * | 2019-07-30 | 2021-07-27 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、处理器、电子设备及存储介质 |
CN111507890B (zh) * | 2020-04-13 | 2022-04-19 | 北京字节跳动网络技术有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
CN111586296B (zh) * | 2020-04-27 | 2021-11-16 | 北京小米移动软件有限公司 | 图像拍摄方法、图像拍摄装置及存储介质 |
US11704851B2 (en) * | 2020-05-27 | 2023-07-18 | Snap Inc. | Personalized videos using selfies and stock videos |
CN113573086A (zh) * | 2021-07-22 | 2021-10-29 | 哈尔滨徙木科技有限公司 | 直播社交平台 |
CN115272151A (zh) * | 2022-08-05 | 2022-11-01 | 北京字跳网络技术有限公司 | 图像处理方法、装置、设备及存储介质 |
Family Cites Families (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10126687A (ja) * | 1996-10-16 | 1998-05-15 | Matsushita Electric Ind Co Ltd | すり替え編集システム |
US6879324B1 (en) * | 1998-07-14 | 2005-04-12 | Microsoft Corporation | Regional progressive meshes |
KR100411760B1 (ko) * | 2000-05-08 | 2003-12-18 | 주식회사 모리아테크놀로지 | 애니메이션 영상 합성 장치 및 방법 |
JP4404650B2 (ja) * | 2004-01-30 | 2010-01-27 | デジタルファッション株式会社 | 化粧シミュレーション装置、化粧シミュレーション方法、化粧シミュレーションプログラム |
EP1710746A1 (en) * | 2004-01-30 | 2006-10-11 | Digital Fashion Ltd. | Makeup simulation program, makeup simulation device, and makeup simulation method |
WO2006057267A1 (ja) * | 2004-11-25 | 2006-06-01 | Nec Corporation | 顔画像合成方法および顔画像合成装置 |
WO2009101153A2 (en) * | 2008-02-13 | 2009-08-20 | Ubisoft Entertainment S.A. | Live-action image capture |
JP2009211513A (ja) * | 2008-03-05 | 2009-09-17 | Toshiba Corp | 画像処理装置及びその方法 |
WO2009128784A1 (en) * | 2008-04-14 | 2009-10-22 | Xid Technologies Pte Ltd | Face expressions identification |
US20110298799A1 (en) * | 2008-06-03 | 2011-12-08 | Xid Technologies Pte Ltd | Method for replacing objects in images |
US8315461B2 (en) * | 2010-01-25 | 2012-11-20 | Apple Inc. | Light source detection from synthesized objects |
FR2958487A1 (fr) * | 2010-04-06 | 2011-10-07 | Alcatel Lucent | Une methode de detourage en temps reel d'une entite reelle enregistree dans une sequence video |
US20120130717A1 (en) * | 2010-11-19 | 2012-05-24 | Microsoft Corporation | Real-time Animation for an Expressive Avatar |
US20140043329A1 (en) * | 2011-03-21 | 2014-02-13 | Peng Wang | Method of augmented makeover with 3d face modeling and landmark alignment |
US9196089B2 (en) * | 2012-05-17 | 2015-11-24 | Disney Enterprises, Inc. | Techniques for processing reconstructed three-dimensional image data |
US9224248B2 (en) * | 2012-07-12 | 2015-12-29 | Ulsee Inc. | Method of virtual makeup achieved by facial tracking |
US9245176B2 (en) * | 2012-08-01 | 2016-01-26 | Disney Enterprises, Inc. | Content retargeting using facial layers |
CN102880866B (zh) * | 2012-09-29 | 2014-12-17 | 宁波大学 | 一种人脸特征提取方法 |
IL226047A (en) * | 2013-04-29 | 2017-12-31 | Hershkovitz Reshef May | A method and system for giving personal expressions |
GB2518589B (en) * | 2013-07-30 | 2019-12-11 | Holition Ltd | Image processing |
US9508197B2 (en) * | 2013-11-01 | 2016-11-29 | Microsoft Technology Licensing, Llc | Generating an avatar from real time image data |
US10438631B2 (en) * | 2014-02-05 | 2019-10-08 | Snap Inc. | Method for real-time video processing involving retouching of an object in the video |
KR102294927B1 (ko) * | 2014-03-31 | 2021-08-30 | 트라이큐빅스 인크. | 가상 성형 sns 서비스 방법 및 장치 |
US20160191958A1 (en) * | 2014-12-26 | 2016-06-30 | Krush Technologies, Llc | Systems and methods of providing contextual features for digital communication |
EP3186787A1 (en) * | 2014-08-29 | 2017-07-05 | Thomson Licensing | Method and device for registering an image to a model |
GB201419441D0 (en) * | 2014-10-31 | 2014-12-17 | Microsoft Corp | Modifying video call data |
GB201419438D0 (en) * | 2014-10-31 | 2014-12-17 | Microsoft Corp | Modifying video call data |
JP6747443B2 (ja) * | 2015-07-21 | 2020-08-26 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
US10636175B2 (en) * | 2016-12-22 | 2020-04-28 | Facebook, Inc. | Dynamic mask application |
-
2016
- 2016-05-09 CN CN201680041354.8A patent/CN107851299B/zh active Active
- 2016-05-09 US US15/735,745 patent/US10460493B2/en active Active
- 2016-05-09 WO PCT/JP2016/063746 patent/WO2017013925A1/ja active Application Filing
- 2016-05-09 EP EP16827489.2A patent/EP3327661A4/en active Pending
- 2016-05-09 CN CN202111227051.4A patent/CN114049459A/zh active Pending
- 2016-05-09 JP JP2017529480A patent/JP6733672B2/ja active Active
-
2019
- 2019-10-24 US US16/662,788 patent/US10922865B2/en active Active
-
2021
- 2021-01-25 US US17/156,988 patent/US11481943B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
CN107851299B (zh) | 2021-11-30 |
US20200058147A1 (en) | 2020-02-20 |
CN107851299A (zh) | 2018-03-27 |
US20210142543A1 (en) | 2021-05-13 |
US10460493B2 (en) | 2019-10-29 |
JPWO2017013925A1 (ja) | 2018-05-10 |
US20180182145A1 (en) | 2018-06-28 |
US11481943B2 (en) | 2022-10-25 |
EP3327661A4 (en) | 2019-04-10 |
WO2017013925A1 (ja) | 2017-01-26 |
CN114049459A (zh) | 2022-02-15 |
EP3327661A1 (en) | 2018-05-30 |
US10922865B2 (en) | 2021-02-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6747443B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
JP6733672B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
US20240193833A1 (en) | System and method for digital makeup mirror | |
US20170032577A1 (en) | Real-time virtual reflection | |
JP2019510297A (ja) | ユーザの真実の人体モデルへの仮想的な試着 | |
US8830243B2 (en) | System and method for making emotion based digital storyboard | |
JP2002196855A (ja) | 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス | |
JP2001344612A (ja) | アニメーション作成方法及びアニメーション作成装置並びにアニメーション作成プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
JPWO2018025402A1 (ja) | 画像処理装置、画像処理システム、及びプログラム | |
CN112884908A (zh) | 基于增强现实的显示方法、设备、存储介质及程序产品 | |
CN108629821A (zh) | 动画生成方法和装置 | |
JP7499819B2 (ja) | ヘッドマウントディスプレイ | |
JPH0877387A (ja) | 映像提示装置 | |
JP5687881B2 (ja) | 表示制御プログラム、表示制御装置、表示制御システム、および表示制御方法 | |
JP4189339B2 (ja) | 3次元モデル生成方法と生成装置およびプログラムと記録媒体 | |
CN109200586A (zh) | 基于增强现实的游戏实现方法和装置 | |
JP7427786B2 (ja) | 拡張現実に基づく表示方法、機器、記憶媒体及びプログラム製品 | |
JPH11149285A (ja) | 映像音響システム | |
US20200379554A1 (en) | Controlling a user selection queue | |
US20230418374A1 (en) | Controlling a user selection queue | |
Ucchesu | A Mixed Reality application to support TV Studio Production | |
JP2024014517A (ja) | 情報処理システム、情報処理方法及びコンピュータプログラム | |
CN116983655A (zh) | 纹样的显示方法、装置、设备、介质及程序产品 | |
CN116943191A (zh) | 基于故事场景的人机互动方法、装置、设备及介质 | |
CN117351105A (zh) | 图像编辑方法、终端和电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190208 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20190214 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190222 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190423 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20190423 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190522 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200407 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200525 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200609 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200622 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6733672 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |