JP2021192220A - 仮想アバター生成方法および装置、電子機器、記憶媒体並びにコンピュータプログラム - Google Patents

Abstract

【課題】目標顔を仮想化すると同時に仮想アバターの模擬度合いを高める仮想アバター生成方法、装置、電子機器及び記憶媒体を提供する。【解決手段】方法は、少なくとも２つの真実顔特徴テンプレートに基づいて、処理対象画像における目標顔のテンプレート係数を確定するステップと、テンプレート係数と少なくとも２つの真実顔特徴テンプレートに関連付けられる少なくとも２つの仮想顔特徴テンプレートとに基づいて、目標顔の仮想アバターを確定するステップと、を含む。【選択図】図１

Description

本出願の実施例は深層学習および画像技術分野、特に、インターネットソフトウェアの技術分野に関している。具体的には、本出願の実施例は仮想アバター生成方法および装置、電子機器、記憶媒体並びにコンピュータプログラムを提供している。

一枚の顔の写真に基づいてその顔部の特徴に類似する仮想アバターを生成する技術は、現在の３次元の顔分野における技術開発および製品応用の注目点である。

現在、写真における顔特徴と予め設定された仮想アバターとをマッチングすることにより、予め設定された仮想アバター（ｖｉｒｔｕａｌ ａｖａｔａｒ）から、写真における顔に類似する仮想アバターを確定する。

しかしながら、上記の方法によって得られた仮想アバターは現実感が高くない。

本出願の実施例は仮想アバター生成方法および装置、電子機器、記憶媒体並びにコンピュータプログラムを提供している。

第１態様において、本出願の実施例は、少なくとも２つの真実顔特徴テンプレートに基づいて、処理対象画像における目標顔のテンプレート係数を確定するステップと、前記テンプレート係数と前記少なくとも２つの真実顔特徴テンプレートに関連付けられる少なくとも２つの仮想顔特徴テンプレートとに基づいて、前記目標顔の仮想アバターを確定するステップと、を含む仮想アバター生成方法を提供する。

第２態様において、本出願の実施例は、少なくとも２つの真実顔特徴テンプレートに基づいて、処理対象画像における目標顔のテンプレート係数を確定するための係数確定モジュールと、前記テンプレート係数と、前記少なくとも２つの真実顔特徴テンプレートに関連付けられる少なくとも２つの仮想顔特徴テンプレートとに基づいて、前記目標顔の仮想アバターを確定するためのアバター確定モジュールと、を備える仮想アバター生成装置を提供する。

第３態様において、本出願の実施例は、少なくとも１つのプロセッサと、前記少なくとも１つのプロセッサに通信可能に接続されているメモリと、を備えており、前記メモリには前記少なくとも１つのプロセッサに実行され得る指令が記憶され、前記指令が前記少なくとも１つのプロセッサによって実行されると、前記少なくとも１つのプロセッサに本出願の実施例のいずれかに記載の方法を実行させる、電子機器を提供する。

第４態様において、本出願の実施例は、コンピュータ指令が記憶されている非一時的なコンピュータ読取可能な記憶媒体であって、前記コンピュータ指令は本出願の実施例のいずれかに記載の方法を前記コンピュータに実行させる、非一時的なコンピュータ読取可能な記憶媒体を提供する。

第５態様において、本出願の実施例は、コンピュータプログラムであって、前記コンピュータプログラムがプロセッサにより実行されると、本出願の実施例のいずれかに記載の方法を実現する、コンピュータプログラムを提供する。

本出願の実施例に係る技術案によれば、目標顔を仮想化するとともに、仮想アバターの模擬度合いを高めることは図れる。

この部分に記載されている内容が本出願に係る実施例の肝心のまたは重要な特徴に対する識別を主旨とするものでもないし、本出願の範囲を限定するものでもないことを理解するべきである。以下の明細書により本出願の他の特徴は明白となる。

図面はこの技術案をよりよく理解するために用いられるものであり、本出願を限定するものではない。
本出願の第１の実施例に係る仮想アバター生成方法のフローチャートである。 本出願の第２の実施例に係る仮想アバター生成方法のフローチャートである。 本出願の第３の実施例に係る仮想アバター生成方法のフローチャートである。 本出願の第４の実施例に係る仮想アバター生成方法のフローチャートである。 本出願の第５の実施例に係る仮想アバター生成方法のフローチャートである。 本出願の第６の実施例に係る仮想アバター生成装置の構造模式図である。 本出願の実施例に係る仮想アバター生成方法に基づく電子機器のブロック図である。

以下、本出願の例示的な実施例について図面を合わせて説明を行なう。ここでは理解を助けるため、本出願の実施形態の様々な詳細が記載されるが、これらは単なる例示であるに過ぎない。従って、本出願の範囲および要旨を逸脱しない限り、当業者が本明細書の実施形態に対して様々な変更と修正を行うことができることを理解すべきである。なお、以下の説明では、明確化および簡略化のため、公知の機能および構成については説明を省略する。

第１の実施例

図１は本出願の第１の実施例に係る仮想アバター生成方法のフローチャートである。本実施例は、顔画像に基づいて画像における顔特徴に類似する仮想アバターを生成する場合に適用可能である。該方法は仮想アバター生成装置により実行されてもよい。該装置はソフトウェアおよび／またはハードウェアにより実現されてもよい。図１を参照して、本出願の実施例に係る仮想アバター生成方法は以下のステップを含む。

ステップＳ１１０、少なくとも２つの真実顔特徴テンプレートに基づいて、処理対象画像における目標顔のテンプレート係数を確定する。

ここで、真実顔特徴テンプレートとは実の顔が表れる特徴のテンプレートを指す。該テンプレートは３次元のものであってもよいし、２次元のものであってもよい。

具体的には、真実顔特徴テンプレートは顔全体の特徴テンプレートであってもよいし、顔の一部の特徴テンプレートであってもよい。

前記少なくとも２つの真実顔特徴テンプレートは、少なくとも１種の顔特徴を記述するために用いられる。

前記顔特徴は、顔の表情、顔の形、および、五官のうちの少なくとも１種を含む。

オプションとして、前記顔特徴は顔の表情、顔の形、または、五官であってもよい。

前記顔特徴は、顔の表情および顔の形、顔の表情および五官、あるいは、顔の形および五官であってもよい。

さらに、前記顔特徴は、顔の表情、顔の形および五官であってもよい。

例示的には、顔の表情は、興奮、喜び、驚き、悲しみ、危惧、内気、嫌悪や怒りなどからなる群から選ばれる少なくとも１種を含んでもよい。

顔の形は、丸顔、四角顔、うりざね顔、楕円型顔、および、ダイヤモンド型顔などからなる群から選ばれる少なくとも１種を含んでもよい。

鼻は、普通の鼻、曲線鼻および直線鼻などからなる群から選ばれる少なくとも１種を含んでもよい。

目は、普通の目、上瞼が垂れた目、フェニックス目（ｐｈｏｅｎｉｘ ｅｙｅ）、三角形目、目じりが上がっている目（ｈｙｐｅｒｔｒｏｐｉａ ｅｙｅ）、細長い目、および円形目などからなる群から選ばれる少なくとも１種を含んでもよい。

眉は、自然的な眉、真っすぐな眉、柳の葉の形の眉、アーチ形の眉、および、上がっている眉などからなる群から選ばれる少なくとも１種を含んでもよい。

口は、普通の口、小さな口、大きな口、および歪んだ口などからなる群から選ばれる少なくとも１種を含んでもよい。

処理対象画像は、画像における目標顔に基づいて仮想アバターを生成しようとする画像である。

テンプレート係数とは、少なくとも２つの真実顔特徴テンプレートを融合することにより、目標顔との類似度が所定の類似度閾値よりも大きい融合顔を得るための融合重みを指す。

具体的には、少なくとも２つの真実顔特徴テンプレートに基づいて、処理対象画像における目標顔のテンプレート係数を確定するステップは、

処理対象画像を予め訓練されたテンプレート係数識別モデルに入力して、目標顔のテンプレート係数を出力するステップを含んでもよい。

オプションとして、少なくとも２つの真実顔特徴テンプレートに基づいて、処理対象画像における目標顔のテンプレート係数を確定するステップは、さらに、
処理対象画像における目標顔の特徴点を抽出するステップと、
抽出された特徴点に基づいて、データから目標顔のテンプレート係数をインデックス化するステップと、を含んでもよい。

ステップＳ１２０：前記テンプレート係数と前記少なくとも２つの真実顔特徴テンプレートに関連付けられる少なくとも２つの仮想顔特徴テンプレートとに基づいて、前記目標顔の仮想アバターを確定する。

ここで、仮想顔特徴テンプレートとは、あるスタイルの顔が表れる特徴のテンプレートを指す。該スタイルは、具体的には、甘くて可愛い、自然で優雅、ロマンチックで魅力的、カリスマ的でスタイリッシュ、優雅で優しい、ゴージャスで優雅、清純で簡潔、知的で穏やか、および現代的からなる群から選ばれた少なくとも１種であってもよい。

仮想顔特徴テンプレートは漫画家が真実顔特徴テンプレートに基づいて作成して得られる。

真実顔特徴テンプレートのいずれも１種の仮想顔特徴テンプレートに関連付けられている。

仮想アバターとは非現実的な様子を指す。

オプションとして、仮想アバターは３次元モデルの形態であってもよいし２次元画像の形態であってもよい。

具体的には、前記の、前記テンプレート係数と前記少なくとも２つの真実顔特徴テンプレートに関連付けられる少なくとも２つの仮想顔特徴テンプレートとに基づいて、前記目標顔の仮想アバターを確定するステップは、
前記テンプレート係数に基づいて、前記少なくとも２つの真実顔特徴テンプレートにおける各特徴点の位置に加重合計を行うステップと、
加重合計の結果を仮想アバターにおける対応の特徴点の位置として、目標顔の仮想アバターを得るステップと、を含む。

本出願の実施例に係る技術案は、テンプレート係数と少なくとも２つの真実顔特徴テンプレートに関連付けられる少なくとも２つの仮想顔特徴テンプレートとに基づいて、前記目標顔の仮想アバターを確定する。少なくとも２つの真実顔特徴テンプレートがフィッティングされることで、目標顔に対する更なる現実的な表現は図れる。本出願の実施例では、目標顔を仮想化するとともに、仮想アバターの模擬度合いを高めることは図れる。

第２の実施例

図２は、本出願の第２の実施例に係る仮想アバター生成方法のフローチャートである。本実施例は上記の実施例を基に、上記のステップＳ１２０を具体的に最適化した。図２を参照して、本出願の実施例に係る仮想アバター生成方法は、以下のステップを含む。

ステップＳ２１０、少なくとも２つの真実顔特徴テンプレートに基づいて、処理対象画像における目標顔のテンプレート係数を確定する。

ステップＳ２２０、前記テンプレート係数、前記少なくとも２つの仮想顔特徴テンプレート、および前記処理対象画像に基づいて、前記目標顔の仮想顔画像を確定する。

ここで、仮想顔画像とは仮想アバターの顔画像を指す。

具体的には、前記の、前記テンプレート係数、前記少なくとも２つの仮想顔特徴テンプレート、および前記処理対象画像に基づいて、前記目標顔の仮想顔画像を確定するステップは、
前記テンプレート係数と前記少なくとも２つの仮想顔特徴テンプレートとに基づいて仮想顔の３次元モデルを確定するステップと、
前記処理対象画像から前記目標顔のテクスチャ情報を抽出するステップと、
前記目標顔のテクスチャ情報に基づいて、前記仮想顔の３次元モデルをレンダリングして前記仮想顔画像を得るステップと、を含んでもよい。

ここで、テクスチャ情報は、色情報および光照射情報のうちの少なくとも１種を含む。

仮想顔とは仮想アバターの顔を指す。

ステップＳ２３０、前記処理対象画像における目標顔の顔マスクに基づいて、前記仮想顔画像を前記処理対象画像における目標顔エリアに充填して前記仮想アバターの画像を得る。

本出願の実施例に係る技術案は、前記処理対象画像における目標顔の顔マスクを用いて、仮想顔画像を前記処理対象画像における目標顔エリアに充填することで、仮想アバターに目標顔以外の、ヘアスタイル、衣服などのようなその他のユーザ特徴を有させることによって、仮想アバターと目標顔の該当するユーザとの類似度を更に向上させる。

仮想顔と目標顔との類似度を更に向上するために、前記の、前記処理対象画像における目標顔の顔マスクを用いて、前記仮想顔画像を前記処理対象画像における目標顔エリアに充填して前記仮想アバターの画像を得るステップより前に、前記方法は、更に、
前記目標顔の顔キーポイントに基づいて、前記仮想顔画像における仮想顔と前記目標顔とを位置合わせするように前記仮想顔画像を変形させるステップを含む。

第３の実施例

図３は、本出願の第３の実施例に係る仮想アバター生成方法のフローチャートである。本実施例は、上記の実施例に基づいて、上記のステップＳ１２０を具体的に最適化した。図３を参照して、本出願の実施例に係る仮想アバター生成方法は、ステップＳ３１０〜Ｓ３２０を含む。

Ｓ３１０、少なくとも２つの真実顔特徴テンプレートに基づいて、処理対象画像における目標顔のテンプレート係数を確定する。

Ｓ３２０、前記テンプレート係数および前記少なくとも２つの仮想顔特徴テンプレートに基づいて、ベースライン顔モデルを調整して前記目標顔の仮想アバターを得る。

ここで、ベースライン顔モデルとはベースラインとしての顔モデルを指す。

ベースラインとは、人々が異なる表情をする前に現れる１種の静かな状態を指す。

具体的には、前記の、前記テンプレート係数および前記少なくとも２つの仮想顔特徴テンプレートに基づいて、ベースライン顔モデルを調整して前記目標顔の仮想アバターを得るステップは、
前記仮想顔特徴テンプレートにおける顔キーポイントとベースライン顔モデルにおける顔キーポイントとをマッチングしてマッチングポイントペアを得るステップと、
前記テンプレート係数に基づいて、ベースライン顔モデルにおける顔キーポイントに関連付けられる少なくとも２つのマッチングポイントペアの距離に対して加重合計を行うステップと、
加重合計の結果に基づいて、ベースライン顔モデルにおける顔キーポイントを並進させて前記目標顔の仮想アバターを得るステップと、を含んでもよい。

例示的には、下記の式で前記目標顔の仮想アバターを確定する。

ｘ＝ｘ_０＋ａ（ｘ_１−ｘ_０）＋ｂ（ｘ_２−ｘ_０）

ここで、ｘは仮想アバターにおけるある１つの特徴点の１次元座標であり、ｘ_０はベースライン顔モデルにおける対応特徴点の対応次元座標であり、ｘ_１は１つの仮想顔特徴テンプレートにおける対応特徴点の対応次元座標であり、ｘ_２は他の仮想顔特徴テンプレートにおける対応特徴点の対応次元座標であり、ａおよびｂはテンプレート係数である。

本出願の実施例に係る技術案は、得られた前記目標顔の仮想アバターをベースライン顔モデルによって規制することで仮想アバターのひずみが防止され、仮想アバターの正確率が向上される。

第４の実施例

図４は本出願の第４の実施例に係る仮想アバター生成方法のフローチャートである。本実施例は上記の実施例を基に、上記のステップＳ１１０を具体化した。図４を参照して、本出願の実施例が提供する仮想アバター生成方法はステップＳ４１０〜Ｓ４４０を含む。

ステップＳ４１０、前記処理対象画像に対して顔検出を行い、前記目標顔の第１の顔キーポイントを得る。

ここで、第１のキーポイントは、処理対象画像における目標顔のキーポイントである。

ステップＳ４２０、前記少なくとも２つの真実顔特徴テンプレートにおける第２の顔キーポイントを取得する。

ここで、第２のキーポイントとは、真実顔特徴テンプレートにおける顔のキーポイントを指す。

ステップＳ４３０、前記第１の顔キーポイントと前記第２の顔キーポイントとの関連関係を確定する。

ここで、顔キーポイントは顔のキー位置を表す特徴点である。

典型的には、顔キーポイントは、顔の設定部位におけるキーポイントである。該顔の設定部位は、目の中心点の位置、鼻先の位置および口元の位置のうちの少なくとも１種であってもよい。

具体的には、顔を表現する特徴情報に基づいて、前記第１の顔キーポイントと前記第２の顔キーポイントとの間の関連関係を確立することができる。

例えば、顔における左目の目角の位置を表現する第１の顔キーポイントと第２の顔キーポイントとの関連関係を確立する。

ステップＳ４４０、前記関連関係に基づいて、前記第１の顔キーポイントと前記第２の顔キーポイントとに基づいて、前記テンプレート係数を確定する。

具体的には、前記関連関係に基づいて、前記第１の顔キーポイントと前記第２の顔キーポイントとに基づいて、前記テンプレート係数を確定するステップは、
前記関連関係に基づいて方程式系を確立するステップと、
前記第１の顔キーポイントと前記第２の顔キーポイントを方程式系に代入して前記テンプレート係数を求めるステップと、を含む。

本出願の実施例に係る技術案によれば、前記第１の顔キーポイントと前記第２の顔キーポイントとの間の関連関係を確定し、前記関連関係に従って、前記第１の顔キーポイントと前記第２の顔キーポイントとに基づいて、前記テンプレート係数を確定することによって、テンプレート係数の確定を実現する。

第５の実施例

図５は本出願の第５実施例に係る仮想アバター生成方法のフローチャートである。本実施例は上記の実施例に基づいて提出されるオプション的な技術案である。図５を参照して本出願の実施例に係る仮想アバター生成方法は、
処理対象画像を顔の形・表情係数ソルバに入力し、目標顔のテンプレート係数および目標顔の姿勢情報を出力するステップと、
目標顔の姿勢情報および処理対象画像をテクスチャ光照射推定装置に入力し、目標顔の平均色、目標顔における唇の平均色、および光照射情報を出力するステップと、
目標顔の平均色、目標顔における唇の平均色、および光照射情報をテクスチャ合成器に入力して、目標テクスチャマップを出力するステップと、
テンプレート係数に基づいて、ベースライン顔モデルを調整して仮想顔の３次元モデルを得るステップと、
目標テクスチャマップを用いて仮想顔の３次元モデルをレンダリングして仮想顔画像を得るステップと、
処理対象画像における目標顔の顔キーポイントに基づいて、仮想顔画像を変形させるステップと、
処理対象画像に基づいて、目標顔の顔マスクを確定するステップと、
顔マスクに基づいて、変形された仮想顔画像を処理対象画像における目標顔エリアに充填するステップと、
充填して得られた画像を目標顔の仮想アバターとするステップと、を含む。

ここで、顔の形・表情係数ソルバは、顔特徴点の透視変換（Ｐｅｒｓｐｅｃｔｉｖｅ−ｎ−Ｐｏｉｎｔ、ＰＮＰ）方法により実現されてもよいし、深層学習にて実現されてもよい。

テンプレート係数は表情テンプレート係数、顔の形テンプレート係数および五官テンプレート係数のうちの少なくとも１種を含んでもよい。

具体的には、上記のテクスチャ光照射推定装置およびテクスチャ合成器はいずれも深層学習により実現されてもよい。

本出願の実施例に係る技術案は、テンプレート係数に基づいて、仮想顔の表情テンプレート、顔の形テンプレートおよび五官テンプレートを組み合わせて、画像における顔に一致する仮想アバターを得ることによって、仮想化すると同時に、仮想アバターの模擬度合いを高めることができる。

第６の実施例

図６は本出願の第６実施例に係る仮想アバター生成装置の構造模式図である。図６を参照して、本出願の実施例に係る仮想アバター生成装置６００は、係数確定モジュール６０１およびアバター確定モジュール６０２を備える。

ここで、係数確定モジュール６０１は、少なくとも２つの真実顔特徴テンプレートに基づいて、処理対象画像における目標顔のテンプレート係数を確定するように構成される。

アバター確定モジュール６０２は、前記テンプレート係数と前記少なくとも２つの真実顔特徴テンプレートに関連付けられる少なくとも２つの仮想顔特徴テンプレートとに基づいて、前記目標顔の仮想アバターを確定するように構成される。

本出願の実施例に係る技術案は、テンプレート係数と少なくとも２つの真実顔特徴テンプレートに関連付けられる少なくとも２つの仮想顔特徴テンプレートとに基づいて、前記目標顔の仮想アバターを確定する。少なくとも２つの真実顔特徴テンプレートのフィッティングによって、目標顔に対する更なる現実的な表現が実現できるため、本出願の実施例では、目標顔を仮想化するとともに、仮想アバターの模擬度合いを高めることは達成できる。

更に、前記アバター確定モジュールは、
前記テンプレート係数と、前記少なくとも２つの仮想顔特徴テンプレートと、前記処理対象画像とに基づいて、前記目標顔の仮想顔画像を確定するための画像確定ユニットと、
前記処理対象画像における目標顔の顔マスクを用いて、前記仮想顔画像を前記処理対象画像における目標顔エリアに充填するためのエリア充填ユニットと、
充填して得られた画像を前記仮想アバターとするためのアバター取得ユニットと、を備える。

更に、前記画像確定ユニットは、
前記テンプレート係数と前記少なくとも２つの仮想顔特徴テンプレートとに基づいて、仮想顔の３次元モデルを確定するためのモデル確定サブユニットと、
前記処理対象画像から前記目標顔のテクスチャ情報を抽出するための情報抽出サブユニットと、
前記目標顔的テクスチャ情報に基づいて、前記仮想顔の３次元モデルをレンダリングして前記仮想顔画像を得るためのレンダリングサブユニットと、を備える。

更に、前記アバター確定モジュールは、
前記テンプレート係数と前記少なくとも２つの仮想顔特徴テンプレートとに基づいて、ベースライン顔モデルを調整するためのモデル調整ユニットと、
調整により得られた新たな顔モデルを前記目標顔の仮想アバターとするためのアバター確定ユニットと、を備える。

更に、前記モデル調整ユニットは、
前記仮想顔特徴テンプレートにおける顔キーポイントと前記ベースライン顔モデルにおける顔キーポイントとをマッチングして、マッチングポイントペアを得るためのマッチングサブユニットと、
前記テンプレート係数に基づいて、前記ベースライン顔モデルにおける顔キーポイントに関連付けられる少なくとも２つのマッチングポイントペアの距離に対して加重合計を行うための加重サブユニットと、
加重合計の結果に基づいて、前記ベースライン顔モデルにおける顔キーポイントを並進させるための並進サブユニットと、を備える。

第７の実施例

本出願の実施例によれば、本出願は電子機器および読み取り可能な記憶媒体も提供している。

図７に示すように、それは本出願の実施例に係る仮想アバター生成方法を実行する電子機器のブロック図である。電子機器は、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレード型サーバ、メインフレームコンピュータおよびその他の適切なコンピュータ等の様々な形態のデジタルコンピュータを表す。また、電子機器は、個人デジタル処理、携帯電話、スマートフォン、ウェアラブル機器およびその他の類似するコンピューティングデバイス等の様々な形態のモバイルデバイスを表すことができる。なお、ここで示したコンポーネント、それらの接続関係、およびそれらの機能はあくまでも例示であり、ここで記述および／または要求した本出願の実施形態を限定することを意図するものではない。

図７に示すように、該電子機器は、１つ以上のプロセッサ７０１、メモリ７０２、および各コンポーネントを接続するためのインタフェース（高速インタフェースおよび低速インタフェースを含む）を含む。各コンポーネントは、互いに異なるバスで接続されており、共通のマザーボード上に実装されていてもよいし、必要に応じて他の方式で実装されていてもよい。プロセッサは、電子機器内で実行される指令を処理することができ、前記指令は、インタフェースに結合された表示装置等の外部入出力装置にグラフィカルユーザインタフェース（ＧＵＩ，Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）のグラフィック情報を表示するために、メモリ内またはメモリ上に格納される指令を含む。他の実施形態では、必要に応じて、複数のプロセッサおよび／または複数のバスを、複数のメモリとともに使用することができる。また、複数の電子機器が接続されていてもよく、各機器は、例えば、サーバアレイ、ブレードサーバ群またはマルチプロセッサシステムなど、一部の必要な動作を提供する。図７では、１つのプロセッサ７０１を備える例を示す。

メモリ７０２は本出願に係る非一時的なコンピュータ読取可能な記憶媒体である。ここで、前記メモリには、少なくとも１つのプロセッサにより実行され得る指令が格納されており、少なくとも１つのプロセッサに本出願に係る仮想アバター生成方法を実行させる。本出願に係る非一時的なコンピュータ読取可能な記憶媒体には、コンピュータに本出願に係る仮想アバター生成方法を実行させるためのコンピュータ指令は格納されている。

メモリ７０２は、１つの非一時的なコンピュータ読取可能な記憶媒体として、非一時的なソフトウェアプログラム、非一時的なコンピュータ実行可能なプログラム、例えば本出願の実施形態に係る仮想アバター生成方法に対応するプログラム指令／モジュール（例えば、図面６に示す係数確定モジュール６０１およびアバター確定モジュール６０２）などのモジュールを格納することに用いることができる。プロセッサ７０１は、メモリ７０２に格納されている非一時的なソフトウェアプログラム、指令、およびモジュールを実行させることによって、サーバの各種の機能アプリケーションおよびデータ処理を実行し、即ち、上記の方法実施例に係る仮想アバター生成方法を実現する。

メモリ７０２は、オペレーティングシステム、少なくとも１つの機能に要するアプリケーションを格納できるプログラム記憶領域、および、仮想アバター生成方法を実行する電子機器の利用に応じて作成されるデータなどを格納できるデータ記憶領域を含んでもよい。なお、メモリ７０２としては、高速ランダムアクセスメモリを含むことができ、また非一時的メモリ（例えば、少なくとも１つの磁気ディスク記憶装置、フラッシュメモリデバイスまたはその他の非一時的ソリッドステート記憶装置）を含み得る。いくつかの実施例において、メモリ７０２はオプションとしてプロセッサ７０１に対して遠隔に設置されたリモートメモリを含み、これらのリモートメモリはネットワークを介して仮想アバター生成方法を実行する電子機器に接続することができる。上記ネットワークとしては、例えば、インターネット、企業イントラネット、ローカルエリアネットワーク、移動体通信網およびこれらの組み合わせなどが挙げられるが、それらに限定されない。

仮想アバター生成方法を実行する電子機器は、入力装置７０３および出力装置７０４を更に備える。プロセッサ７０１、メモリ７０２、入力装置７０３および出力装置７０４はバスまたは他の方式にて接続され得る。図７では、例としてバスによる接続を示している。

入力装置７０３は、（例えばタッチパネル、キーパッド、マウス、トラックパッド、タッチパッド、ポインティングデバイス、１つまたは複数のマウスボタン、トラックボール、ジョイスティック等）は、入力された数字や文字情報を受信でき、仮想アバター生成方法を実行する電子機器のユーザ設定および機能制御に関するキー信号入力を生成することができる。出力装置７０４は表示装置、補助照明装置（例えば、ＬＥＤ）および触覚フィードバック装置（例えば、振動モータ）等を含むことができる。該表示装置は、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイおよびプラズマディスプレイを含むことができるが、これらに限定されない。いくつかの実施形態において、表示装置はタッチパネルであってもよい。

ここで記述するシステムおよび技術の各実施形態はデジタル電子回路システム、集積回路システム、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ，ＡＳＩＣ）、コンピュータハードウェア、ファームウェア、ソフトウェア、および／またはそれらの組み合わせにおいて実装され得る。これらの各実施形態は、１つまたは複数のコンピュータプログラムに実装され、該１つまたは複数のコンピュータプログラムは少なくとも１つのプログラマブルプロセッサを含むプログラマブルシステムにおいて実行および／または解釈することができ、該プログラマブルプロセッサは専用または汎用プログラマブルプロセッサであってもよく、記憶システム、少なくとも１つの入力装置および少なくとも１つの出力装置からデータおよび指令を受信することができ、且つデータおよび指令を該記憶システム、該少なくとも１つの入力装置および該少なくとも１つの出力装置に伝送することを含み得る。

これらのコンピュータプログラムは、プログラム、ソフトウェア、ソフトウェアアプリケーションまたはコードとも呼ばれ、プログラマブルプロセッサの機械命令を含み、且つ高度プロセスおよび／またはオブジェクト指向のプログラミング言語、および／またはアセンブリ言語／機械語により実装され得る。ここで、「機械可読媒体」および「コンピュータ可読媒体」という用語は、機械指令および／またはデータをプログラマブルプロセッサに供給するための任意のコンピュータプログラム、機器、および／または装置（たとえば、磁気ディスク、光ディスク、メモリ、プログラマブルロジックデバイス（ＰＬＤ））を意味し、機械可読信号である機械命令を受信する機械可読媒体を含む。「機械可読信号」という用語は、機械命令および／またはデータをプログラマブルプロセッサに供給するための任意の信号を意味する。

ユーザとのやりとりを行うために、ここで記述するシステムと技術は、ユーザに情報を表示するための表示装置（例えば、陰極線管（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ，ＣＲＴ）またはＬＣＤ（液晶ディスプレイ）モニタ）と、キーボードおよびポインティングデバイス（例えば、マウスまたはトラックボール）とを備えるコンピュータ上で実装することができ、ユーザが該キーボードおよび該ポインティングデバイスを介してコンピュータに入力を提供できる。他の種類の装置もユーザとのやりとりを行うことに用いることができる。例えば、ユーザに提供されるフィードバックは、例えば、視覚フィードバック、聴覚フィードバック、または触覚フィードバックであるいかなる形態のセンシングフィードバックであってもよく、且つ音入力、音声入力若しくは触覚入力を含むいかなる形態でユーザからの入力を受信してもよい。

ここで記述したシステムおよび技術は、バックグラウンドコンポーネントを含む演算システム（例えば、データサーバ）に実施されてもよく、またはミドルウェアコンポーネントを含む演算システム（例えば、アプリケーションサーバ）に実施されてもよく、またはフロントエンドコンポーネントを含む演算システム（例えば、グラフィカルユーザインタフェースまたはウェブブラウザを有するユーザコンピュータ）に実施されてもよく、ユーザは該グラフィカルユーザインタフェースまたはウェブブラウザを介してここで記述したシステムおよび技術の実施形態とやりとりを行っていてもよく、またはこのようなバックグラウンドコンポーネント、ミドルウェアコンポーネントまたはフロントエンドコンポーネントのいずれかの組み合わせを含む演算システムに実施されてもよい。また、システムの各コンポーネントの間は、通信ネットワーク等の任意の形態または媒体を介してデジタルデータ通信により接続されていてもよい。通信ネットワークとしては、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）およびインターネットなどを含む。

コンピュータシステムは、クライアントとサーバとを含んでもよい。クライアントとサーバは、通常、互いに離れており、通信ネットワークを介してやりとりを行う。クライアントとサーバとの関係は、互いにクライアント−サーバの関係を有するコンピュータプログラムをそれぞれのコンピュータ上で動作することによって生成される。サーバはクラウドサーバであってもよく、クラウドコンピューティングサーバまたはクラウドホストとも呼ばれ、クラウドコンピューティングサービスシステムにおけるホスト製品であり、従来の物理ホストと仮想専用サーバ（ＶＰＳ、Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｓｅｒｖｅｒ）サービスにおける管理難度が大きく、ビジネス拡張性が弱いという欠陥を解決する。

本出願の実施例に係る技術案は、目標顔を仮想化すると同時に、仮想アバターの模擬度合いを高める技術効果を達成できる。

なお、上述した様々な形態のフローを用いて、ステップを並び替え、追加または削除を行うことができることを理解されるべきである。例えば、本出願に記載された各ステップは、本出願に開示された技術案の所望の結果が達成できる限り、並行して実行されてもよく、順番に実行されてもよく、異なる順序で実行されてもよい。本明細書はここで制限はしない。

上記の発明を実施するための形態は本出願の保護範囲を限定するものではない。当業者であれば、設計要求およびその他の要因に応じて、様々な修正、組み合わせ、副次的な組み合わせ、および代替を行うことができることは理解される。本出願の精神および原理内で行われたあらゆる補正、均等な置換および改善などは、いずれも本出願の保護範囲内に含まれるべきである。

Claims (13)

1. 少なくとも２つの真実顔特徴テンプレートに基づいて、処理対象画像における目標顔のテンプレート係数を確定するステップと、
   前記テンプレート係数と前記少なくとも２つの真実顔特徴テンプレートに関連付けられる少なくとも２つの仮想顔特徴テンプレートとに基づいて、前記目標顔の仮想アバターを確定するステップと、
   を含む仮想アバター生成方法。
2. 前記の、前記テンプレート係数と前記少なくとも２つの真実顔特徴テンプレートに関連付けられる少なくとも２つの仮想顔特徴テンプレートとに基づいて、前記目標顔の仮想アバターを確定するステップは、
   前記テンプレート係数、前記少なくとも２つの仮想顔特徴テンプレート、および前記処理対象画像に基づいて、前記目標顔の仮想顔画像を確定するステップと、
   前記処理対象画像における目標顔の顔マスクを用いて、前記仮想顔画像を前記処理対象画像における目標顔エリアに充填するステップと、
   充填により得られた画像を前記仮想アバターとするステップと、
   を含む請求項１に記載の仮想アバター生成方法。
3. 前記の、前記テンプレート係数、前記少なくとも２つの仮想顔特徴テンプレート、および前記処理対象画像に基づいて、前記目標顔の仮想顔画像を確定するステップは、
   前記テンプレート係数と前記少なくとも２つの仮想顔特徴テンプレートとに基づいて、仮想顔の３次元モデルを確定するステップと、
   前記処理対象画像から前記目標顔のテクスチャ情報を抽出するステップと、
   前記目標顔のテクスチャ情報に基づいて、前記仮想顔の３次元モデルをレンダリングして前記仮想顔画像を得るステップと、
   を含む請求項２に記載の仮想アバター生成方法。
4. 前記の、前記テンプレート係数と前記少なくとも２つの真実顔特徴テンプレートに関連付けられる少なくとも２つの仮想顔特徴テンプレートとに基づいて、前記目標顔の仮想アバターを確定するステップは、
   前記テンプレート係数と前記少なくとも２つの仮想顔特徴テンプレートとに基づいて、ベースライン顔モデルを調整するステップと、
   調整により得られた新たな顔モデルを前記目標顔の仮想アバターとするステップと、
   を含む請求項１〜３のいずれか１項に記載の仮想アバター生成方法。
5. 前記の、前記テンプレート係数と前記少なくとも２つの仮想顔特徴テンプレートとに基づいて、ベースライン顔モデルを調整するステップは、
   前記仮想顔特徴テンプレートにおける顔キーポイントと前記ベースライン顔モデルにおける顔キーポイントとをマッチングしてマッチングポイントペアを得るステップと、
   前記テンプレート係数に基づいて、前記ベースライン顔モデルにおける顔キーポイントに関連付けられる少なくとも２つのマッチングポイントペアの距離に対して加重合計を行うステップと、
   加重合計の結果に基づいて、前記ベースライン顔モデルにおける顔キーポイントを並進させるステップと、
   を含む請求項４に記載の仮想アバター生成方法。
6. 少なくとも２つの真実顔特徴テンプレートに基づいて、処理対象画像における目標顔のテンプレート係数を確定するための係数確定モジュールと、
   前記テンプレート係数と前記少なくとも２つの真実顔特徴テンプレートに関連付けられる少なくとも２つの仮想顔特徴テンプレートとに基づいて、前記目標顔の仮想アバターを確定するためのアバター確定モジュールと、
   を備える仮想アバター生成装置。
7. 前記アバター確定モジュールは、
   前記テンプレート係数、前記少なくとも２つの仮想顔特徴テンプレート、および前記処理対象画像に基づいて、前記目標顔の仮想顔画像を確定するための画像確定ユニットと、
   前記処理対象画像における目標顔の顔マスクを用いて、前記仮想顔画像を前記処理対象画像における目標顔エリアに充填するためのエリア充填ユニットと、
   充填により得られた画像を前記仮想アバターとするためのアバター取得ユニットと、を備える請求項６に記載の仮想アバター生成装置。
8. 前記画像確定ユニットは、
   前記テンプレート係数と前記少なくとも２つの仮想顔特徴テンプレートとに基づいて、仮想顔の３次元モデルを確定するためのモデル確定サブユニットと、
   前記処理対象画像から前記目標顔のテクスチャ情報を抽出するための情報抽出サブユニットと、
   前記目標顔的テクスチャ情報に基づいて、前記仮想顔の３次元モデルをレンダリングして前記仮想顔画像を得るためのレンダリングサブユニットと、
   を備える請求項７に記載の仮想アバター生成装置。
9. 前記アバター確定モジュールは、
   前記テンプレート係数と前記少なくとも２つの仮想顔特徴テンプレートとに基づいて、ベースライン顔モデルを調整するためのモデル調整ユニットと、
   調整により得られた新たな顔モデルを前記目標顔の仮想アバターとするためのアバター確定ユニットと、
   を備える請求項６〜８のいずれか１項に記載の仮想アバター生成装置。
10. 前記モデル調整ユニットは、
    前記仮想顔特徴テンプレートにおける顔キーポイントと、前記ベースライン顔モデルにおける顔キーポイントとをマッチングしてマッチングポイントペアを得るためのマッチングサブユニットと、
    前記テンプレート係数に基づいて、前記ベースライン顔モデルにおける顔キーポイントに関連付けられる少なくとも２つのマッチングポイントペアの距離に対して加重合計を行うための加重サブユニットと、
    加重合計の結果に基づいて、前記ベースライン顔モデルにおける顔キーポイントを並進させるための並進サブユニットと、
    を備える請求項９に記載の仮想アバター生成装置。
11. 少なくとも１つのプロセッサと、
    前記少なくとも１つのプロセッサに通信可能に接続されているメモリと、を備えており、
    前記メモリには前記少なくとも１つのプロセッサに実行可能な指令が格納され、前記指令が前記少なくとも１つのプロセッサによって実行されると、前記少なくとも１つのプロセッサに請求項１〜５のいずれか１項に記載の仮想アバター生成方法を実行させる、電子機器。
12. コンピュータ指令が格納されている非一時的なコンピュータ読取可能な記憶媒体であって、
    前記コンピュータ指令は請求項１〜５のいずれか１項に記載の仮想アバター生成方法を前記コンピュータに実行させる、非一時的なコンピュータ読取可能な記憶媒体。
13. プロセッサにより実行されると、請求項１〜５のいずれか１項に記載の仮想アバター生成方法を実現するコンピュータプログラム。

Images