JP7086362B1 - 情報処理システム、情報処理方法および情報処理プログラム - Google Patents

Abstract

【課題】 少ないユーザ手動操作で２次元画像上の部分動物画像領域をキャラクタの３次元モデルにテクスチャマッピングすることが可能な情報処理システム、情報処理方法および情報処理プログラムを提供する。
【解決手段】 ２次元画像上の部分画像領域をキャラクタの３次元モデルにテクスチャマッピングする情報処理システムであって、２次元画像から動物領域を動物画像として抽出する動物画像領域抽出手段と、２次元画像における動物のキーポイントを推定する２次元キーポイント推定手段と、２次元画像から動物の３次元ポーズを推定し、推定された３次元ポーズを表す３次元ポーズデータを取得する３次元ポーズ推定手段と、キャラクタのキーポイントを取得するキャラクタキーポイント取得手段と、キャラクタのキーポイントと、動物のキーポイントと、３次元ポーズデータと、に基づいて、動物画像をキャラクタの３次元モデルにテクスチャマッピングするテクスチャマッピング手段と、を備える情報処理システムが提供される。
【選択図】 図１

Description

本発明は、２次元画像に含まれる動物画像をキャラクタの３次元モデルにテクスチャマッピングする情報処理システム、情報処理方法および情報処理プログラムに関する。なお、本明細書における「動物」は人物を含む。また、本明細書における「動物」には、擬人化したキャラクタも含まれる。

人工知能技術を利用した画像処理技術が知られている。例えば、非特許文献１には、人工知能を利用して人物が写った写真からキーポイントを推定する技術が開示されている。ここで、キーポイントとは、関節点（肩、肘、手首、腰、膝、足首など）や特徴点（目、鼻、口、耳など）のことである。また、非特許文献２には、セマンティックセグメンテーションによって、予め学習された人物、自転車、動物といった領域を写真から推定することが開示されている。さらに、非特許文献３には、１枚の人物の顔写真から光源の方向を推定し、光源の方向を変えた写真を作り出すことが開示されている。また、非特許文献４には、２次元画像における被写体の３次元ポーズを推定する技術が開示されている。

その他、非特許文献５には、２次元形状を回転、移動、変形する技術が開示されている。

ところで、従来、コンピュータグラフィックスのキャラクタの３次元モデルを作成する手法として、例えば３次元モデルのポリゴンの頂点と、所望の２次元画像上の点とを対応付ける「テクスチャマッピング」が知られている。テクスチャマッピングの具体的な手法の１つとして、あたかも映写機で面に向かって映像を投射しているように３次元モデルに２次元画像を貼り付ける「投影マッピング」がある。

投影マッピングにおける２次元画像として、人物のスナップショット写真など既存の画像が使用され得る。この場合、人物のポーズはキャラクタの３次元モデルの初期ポーズと同じであるとは限らない。よって、キャラクタの３次元モデルのポーズを２次元画像における人物のポーズに合わせて、両者のキーポイントおよび輪郭を位置合わせする必要がある。

しかし、それぞれのキーポイントや輪郭の位置合わせをユーザが手動で行うのは非常に時間と労力が必要という問題がある。

なお、特許文献１には、修正画像を生成するためのコンピュータ実施方法が提案されているが、テクスチャマッピングを行うものではない。

特表２０１２－５２６４７９号公報

Zhe Cao, Tomas Simon, Shih-En Wei, Yaser Sheikh，"Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields"，［online］，２０１７年４月１４日，［令和３年３月２５日検索］，インターネット＜URL：https://arxiv.org/abs/1611.08050＞ Evan Shelhamer, Jonathan Long, Trevor Darrell，" Fully Convolutional Networks for Semantic Segmentation"，［online］，２０１６年５月２０日，［令和３年３月２５日検索］，インターネット＜URL：https://arxiv.org/abs/1605.06211＞ Tiancheng Sun, Jonathan T. Barron, Yun-Ta Tsai, Zexiang Xu, Xueming Yu, Graham Fyffe, Christoph Rhemann, Jay Busch, Paul Debevec, Ravi Ramamoorthi，" Single Image Portrait Relighting"，［online］，２０１９年５月２日，［令和３年３月２５日検索］，インターネット＜URL：https://arxiv.org/abs/1905.00824＞ Zdushyant Mehta, Srinath Sridhar, Oleksandr Sotnychenko, Helge Rhodin, Mohammad Shafiei, Hans-Peter Seidel, Weipeng Xu, Dan Casas, Christian Theobalt，"VNect: Real-time 3D Human Pose Estimation with a Single RGB Camera"，［online］，２０１７年７月，［令和３年３月２５日検索］，インターネット＜URL：http://gvv.mpi-inf.mpg.de/projects/VNect/content/VNect_SIGGRAPH2017.pdf＞ Takeo Igarashi, Tomer Moscovich, John F. Hughes，"As-Rigid-As-Possible Shape Manipulation"，［online］，［令和３年３月２５日検索］，インターネット＜URL：https://www-ui.is.s.u-tokyo.ac.jp/~takeo/papers/rigid.pdf＞

本発明の課題は、少ないユーザ手動操作で２次元画像上の部分動物画像領域をキャラクタの３次元モデルにテクスチャマッピングすることが可能な情報処理システム、情報処理方法および情報処理プログラムを提供することである。

本発明の一態様によれば、２次元画像上の部分画像領域をキャラクタの３次元モデルにテクスチャマッピングする情報処理システムであって、前記２次元画像から動物領域を動物画像として抽出する動物画像領域抽出手段と、前記２次元画像における前記動物のキーポイントを推定する２次元キーポイント推定手段と、前記２次元画像から前記動物の３次元ポーズを推定し、推定された３次元ポーズを表す３次元ポーズデータを取得する３次元ポーズ推定手段と、前記キャラクタのキーポイントを取得するキャラクタキーポイント取得手段と、前記キャラクタのキーポイントと、前記動物のキーポイントと、前記３次元ポーズデータと、に基づいて、前記動物画像を前記キャラクタの３次元モデルにテクスチャマッピングするテクスチャマッピング手段と、を備える情報処理システムが提供される。

この構成によれば、情報処理システムが、２次元画像からの動物画像領域抽出、２次元画像における動物の２次元キーポイント推定、および２次元画像からの動物の３次元ポーズ推定による３次元ポーズデータの取得を行うため、ユーザの手動操作を減らすことができる。

前記テクスチャマッピング手段は、前記３次元ポーズデータを適用して前記キャラクタの３次元モデルを変形するポーズ適用手段と、前記変形されたキャラクタの３次元モデルから前記キャラクタの２次元画像であるキャラクタ画像を生成するキャラクタ描画手段と、前記キャラクタ画像に基づいて、前記動物画像を変形する動物画像変形手段と、前記変形された動物画像を前記変形されたキャラクタの３次元モデルに投影することにより、前記動物画像を前記キャラクタの３次元モデルにテクスチャマッピングする投影手段と、を有してもよい。

この構成によれば、キャラクタの３次元モデルの初期ポーズが２次元画像の動物のポーズと異なる場合であっても、また、生成されたキャラクタ画像の輪郭やキーポイントと動物画像の輪郭やキーポイントとが完全に一致していなくても、動物画像をキャラクタの３次元モデルにテクスチャマッピングできる。

前記３次元ポーズ推定手段は、前記動物と、この動物を撮影したカメラとの相対的な向きの情報を含むカメラ設定を推定し、前記キャラクタ描画手段は、前記カメラ設定に基づいて設定された仮想カメラを用いて、前記変形されたキャラクタの３次元モデルを描画することにより、前記キャラクタ画像を生成してもよい。

この構成によれば、キャラクタの３次元モデルを描画する際に、動物を撮影した際のカメラの向きの情報を利用することによって、キャラクタの３次元モデルに対する仮想カメラの向きの設定が可能となる。例えば、平行投影によって仮想カメラからの撮影を行う場合に、動物と、この動物を撮影したカメラとの相対的な向きを示すカメラ設定を推定すればよい。

なお、前記カメラ設定は、前記動物と、前記動物を撮影したカメラとの相対的な位置の情報をさらに含んでもよい。

この構成によれば、キャラクタの３次元モデルを描画する際に、動物を撮影した際のカメラの位置情報を利用することによって、キャラクタの３次元モデルに対する仮想カメラの位置の設定が可能となる。例えば、透視投影によって仮想カメラからの撮影を行う場合に、動物と、この動物を撮影したカメラとの相対的な向きだけでなく位置の情報をも示すカメラ設定を推定することができる。

前記キャラクタ描画手段は、前記キャラクタの３次元モデルに予め設定されているキーポイントに基づいて、前記キャラクタ画像上の前記キャラクタのキーポイントの位置を示す２次元座標を生成し、前記動物画像変形手段は、前記動物画像上の前記動物の各キーポイントの位置と、前記キャラクタ画像上の前記キャラクタの対応するキーポイントの位置と、が概略一致し、かつ、前記動物画像の輪郭と、前記キャラクタ画像の輪郭と、が概略一致するよう、前記動物画像を変形してもよい。

この構成によれば、動物画像をより精度よくキャラクタの３次元モデルに投影できる。また、情報処理システムがキャラクタのキーポイントを推定しなくて済む。

前記テクスチャマッピング手段は、キャラクタキーポイント推定手段をさらに有し、前記キャラクタキーポイント推定手段は、前記キャラクタ画像におけるキャラクタのキーポイントの位置を示す２次元座標を推定し、前記動物画像変形手段は、前記動物画像上の前記動物の各キーポイントの位置と、前記キャラクタ画像上の前記キャラクタの対応するキーポイントの位置と、が概略一致し、かつ、前記動物画像の輪郭と、前記キャラクタ画像の輪郭と、が概略一致するよう、前記動物画像を変形してもよい。

この構成によれば、動物画像をより精度よくキャラクタの３次元モデルに投影できる。また、キャラクタの３次元モデルに予めキーポイントが設定されていなくてもよい。

より具体的には、前記動物画像変形手段は、前記動物画像上の前記動物の各キーポイントの位置と、前記キャラクタ画像上の前記キャラクタの対応するキーポイントの位置と、が概略一致するよう前記動物画像を変形し、その後、キーポイントどうしの概略一致を維持しつつ、前記動物画像の輪郭と、前記キャラクタ画像の輪郭と、が概略一致するよう、前記動物画像を変形してもよい。

この構成によれば、動物のキーポイントとキャラクタのキーポイントとを精度よく一致させ、かつ、動物画像の輪郭とキャラクタ画像の輪郭とを精度よく一致させることができる。

前記動物画像変形手段は、前記動物のキーポイントのうちの２つを結ぶ直線と直交する方向に前記動物画像の輪郭を伸縮することにより、前記動物画像の輪郭と、前記キャラクタ画像の輪郭と、が概略一致するよう、前記動物画像を変形してもよい。

この構成によっても、動物のキーポイントとキャラクタのキーポイントとを精度よく一致させ、かつ、動物画像の輪郭とキャラクタ画像の輪郭とを精度よく一致させることができる。

また、前記動物画像変形手段は、前記動物のキーポイントに基づいて、前記動物画像の輪郭に複数の点を設定し、前記キャラクタのキーポイントに基づいて、前記キャラクタ画像の輪郭に複数の点を設定し、前記動物画像の輪郭に設定された各点と、前記キャラクタ画像の輪郭に設定された対応する点と、が概略一致するよう前記動物画像を変形してもよい。

ここで、前記動物画像の輪郭に設定される複数の点のうちの少なくとも１つの点は、前記動物の２つのキーポイントを結ぶ第１の直線上に追加された点を通り、前記第１の直線と直交する第２の直線と、前記動物画像の輪郭とが交わる点であり、前記キャラクタ画像の輪郭に設定される複数の点のうちの少なくとも１つの点は、前記キャラクタの２つキーポイントを結ぶ第３の直線上に追加された点を通り、前記第３の直線と直交する第４の直線と、前記キャラクタ画像の輪郭とが交わる点であってもよい。

これらの構成によれば、動物画像の輪郭とキャラクタ画像の輪郭とを精度よく一致させることができる。

前記投影手段は、仮想プロジェクタから、前記変形された動物画像を前記変形されたキャラクタの３次元モデルに投影することにより、前記動物画像を前記キャラクタの３次元モデルにテクスチャマッピングしてもよい。

ここで、前記３次元ポーズ推定手段は、前記２次元画像における動物と、この動物を撮影したカメラとの相対的な向きの情報を含むプロジェクタ設定を推定し、前記投影手段は、前記プロジェクタ設定に基づいて設定された前記仮想プロジェクタを用いて、前記変形された動物画像を前記変形されたキャラクタの３次元モデルに投影してもよい。

これらの構成によれば、変形された動物画像を変形されたキャラクタの３次元モデルに投影する際に、動物を撮影した際のカメラの向きの情報を利用することによって、変形されたキャラクタの３次元モデルに対する仮想プロジェクタの向きの設定が可能となる。例えば、平行投影によって仮想プロジェクタからの投影を行う場合に、動物と、この動物を撮影したカメラとの相対的な向きを示すプロジェクタ設定を推定すればよい。

あるいは、前記プロジェクタ設定は、前記動物と、前記動物を撮影したカメラとの相対的な位置の情報をさらに含んでもよい。

この構成によれば、変形された動物画像を変形されたキャラクタの３次元モデルに投影する際に、動物を撮影した際のカメラの位置情報を利用することによって、変形されたキャラクタの３次元モデルに対する仮想プロジェクタの位置の設定が可能となる。例えば、透視投影によって仮想プロジェクタからの投影を行う場合に、動物と、この動物を撮影したカメラとの相対的な向きだけでなく位置の情報をも示すプロジェクタ設定を推定することができる。プロジェクタ設定は、カメラ設定と同一のものであってもよい。

前記キャラクタ描画手段は、前記２次元画像を撮影した際の光源を考慮して、陰影がある前記キャラクタ画像を生成し、前記テクスチャマッピング手段は、明るさ調整手段を有し、前記明るさ調整手段は、陰影がある前記キャラクタ画像に基づいて、前記２次元画像における光源の影響が低減されるよう、前記動物画像または前記変形された動物画像の明るさを調整してもよい。

前記テクスチャマッピング手段は、前記２次元画像から前記２次元画像を撮影した際の光源の方向および／または位置を推定し、前記推定された光源の方向および／または位置を示す情報を含む光源設定を出力する光源方向推定手段を有し、前記キャラクタ描画手段は、前記光源設定に基づいて光源を配置して、前記変形された前記キャラクタの３次元モデルを仮想カメラで描画することにより、陰影がある前記キャラクタ画像を生成してもよい。

より具体的には、前記明るさ調整手段は、陰影がある前記キャラクタ画像の画素が明るいほど、前記動物画像または前記変形された動物画像における前記画素と対応する画素を暗くしてもよい。

これらの構成によれば、２次元画像を撮影した際の光源の方向および／または位置を考慮して陰影がある前記キャラクタ画像を描画し、陰影がある前記キャラクタ画像に基づいて前記変形された動物画像の明るさを調整することで、２次元画像における光源に起因する陰影の影響を低減できる。

本発明の別の態様によれば、複数の２次元画像のそれぞれの上の単数または複数の部分画像領域または、単数の２次元画像上の複数の部分画像領域を１つのキャラクタの３次元モデルにテクスチャマッピングするシステムで実行される情報処理方法であって、前記システムは、請求項１乃至１６のいずれかに記載の情報処理システムをサブシステムとして含み、前記単数または複数の２次元画像は、同一の外観を有する動物を異なる方向から撮影した画像または、同一の外観を有する動物の異なるポーズを撮影した画像を含み、前記情報処理方法は、前記複数の部分画像領域のそれぞれと前記キャラクタの３次元モデルに対して前記サブシステムを適用して複数のテクスチャマッピングデータを生成するステップと、前記複数のテクスチャマッピングデータを統合したテクスチャマッピングデータを生成するステップと、を含む、情報処理方法が提供される。

この構成によれば、キャラクタの３次元モデルに対して、一方向のみならず複数の方向からテクスチャマッピングすることができる。

本発明の別の態様によれば、２次元画像上の部分画像領域をキャラクタの３次元モデルにテクスチャマッピングする情報処理方法であって、前記２次元画像から動物領域を動物画像として抽出するステップと、前記２次元画像における前記動物のキーポイントを推定するステップと、前記２次元画像から前記動物の３次元ポーズを推定し、推定された３次元ポーズを表す３次元ポーズデータを取得するステップと、前記キャラクタのキーポイントを取得するステップと、前記キャラクタのキーポイントと、前記動物のキーポイントと、前記３次元ポーズデータと、に基づいて、前記動物画像を前記キャラクタの３次元モデルにテクスチャマッピングするステップと、を含む、情報処理方法が提供される。

この構成によれば、動物画像領域を抽出するステップにおいて２次元画像からの動物画像領域抽出を行い、２次元キーポイントを推定するステップにおいて２次元画像における動物の２次元キーポイント推定を行い、３次元ポーズを推定するステップにおいて２次元画像からの動物の３次元ポーズ推定を行うため、ユーザの手動操作を減らすことができる。

本発明の別の態様によれば、２次元画像上の部分画像領域をキャラクタの３次元モデルにテクスチャマッピングする情報処理プログラムであって、コンピュータを、前記２次元画像から動物領域を動物画像として抽出する動物画像領域抽出手段と、前記２次元画像における前記動物のキーポイントを推定する２次元キーポイント推定手段と、前記２次元画像から前記動物の３次元ポーズを推定し、推定された３次元ポーズを表す３次元ポーズデータを取得する３次元ポーズ推定手段と、前記キャラクタのキーポイントを取得するキャラクタキーポイント取得手段と、前記キャラクタのキーポイントと、前記動物のキーポイントと、前記３次元ポーズデータと、に基づいて、前記動物画像を前記キャラクタの３次元モデルにテクスチャマッピングするテクスチャマッピング手段、として機能させる、情報処理プログラムが提供される。

この構成によれば、コンピュータが、２次元画像からの動物画像領域抽出、２次元画像における動物の２次元キーポイント推定および２次元画像からの動物の３次元ポーズ推定を行うため、ユーザの手動操作を減らすことができる。

少ないユーザ手動操作で２次元画像上の部分動物画像領域をキャラクタの３次元モデルにテクスチャマッピングできる。

第１実施形態に係る情報処理システムの概略構成を示すブロック図。 テクスチャマッピング部４の概略構成の一例を示すブロック。 情報処理システムの処理動作の一例を示すフローチャート。 人物画像領域抽出部１の処理動作を説明する図。 人物画像領域抽出部１の処理動作を説明する図。 ２次元キーポイント推定部２の処理動作を説明する図。 ３次元ポーズ適用前のキャラクタの３次元モデル１３の上面図。 ３次元ポーズ適用前のキャラクタの３次元モデル１３の正面図。 ３次元ポーズ適用前のキャラクタの３次元モデル１３の右側面図。 ３次元ポーズ適用前のキャラクタの３次元モデル１３の斜視図。 ３次元ポーズ適用後のキャラクタの３次元モデル１３’の上面図。 ３次元ポーズ適用後のキャラクタの３次元モデル１３’の正面図。 ３次元ポーズ適用後のキャラクタの３次元モデル１３’の右側面図。 ３次元ポーズ適用後のキャラクタの３次元モデル１３’の斜視図。 キャラクタ描画部４２の処理動作を説明する図。 キャラクタ画像１３ａの一例を模式的に示す図。 キャラクタ画像１３ａのキーポイントを模式的に示す図。 キャラクタ画像の別の例を模式的に示す図。 キャラクタ画像の別の例のキーポイントを模式的に示す図。 変形後の人物画像１２’の一例を模式的に示す図。 人物画像変形部４２の処理動作の一例を示すフローチャート。 人物画像変形部４２の処理動作の一例を説明する図。 人物画像変形部４２の処理動作の一例を説明する図。 人物画像変形部４２の処理動作の別の例を示すフローチャート。 人物画像変形部４２の処理動作の別の例を説明する図。 人物画像変形部４２の処理動作の別の例を説明する図。 投影部４４の処理動作を説明する図。 人物画像がテクスチャマッピングされたキャラクタの３次元モデルの顔部分を模式的に示す図。 第１実施形態の第１変形例に係る情報処理システムの概略構成を示すブロック図。 図１８Ａのテクスチャマッピング部４の概略構成の一例を示すブロック図。 第１実施形態の第２変形例に係る情報処理システムの概略構成を示すブロック図。 図１９Ａのテクスチャマッピング部４の概略構成の一例を示すブロック図。 第２実施形態に係る情報処理システムの概略構成を示すブロック図。 図２０Ａのテクスチャマッピング部４の概略構成を示すブロック図。 第２実施形態の第１変形例に係る情報処理システムの概略構成を示すブロック図。 図２１Ａのテクスチャマッピング部４の概略構成の一例を示すブロック図。 第２実施形態の第２変形例に係る情報処理システムの概略構成を示すブロック図。 図２２Ａのテクスチャマッピング部４の概略構成の一例を示すブロック図。

以下、本発明に係る実施形態について、図面を参照しながら具体的に説明する。

（第１実施形態）
図１は、第１実施形態に係る情報処理システムの概略構成を示すブロック図である。情報処理システムは、１台の装置から構成されてもよいし、互いに通信可能な複数の装置から構成されてもよい。後者の場合、例えば処理の一部をスマートフォンなどのユーザ端末が行い、他の一部をサーバが行ってもよい。

この情報処理システムには、ユーザからテクスチャとして利用したい２次元画像（人物が写った２次元画像）が入力される。この２次元画像はテクスチャマッピング用に用意された画像である必要はなく、人物が写っていればスナップショット写真など一般の画像であってよい。また、情報処理システムには、予めキーポイントが設定されたコンピュータグラフィックスのキャラクタの３次元モデルが入力される。キーポイントは３次元座標で表される。そして、情報処理システムは２次元画像上の部分画像領域をキャラクタの３次元モデルにテクスチャマッピングする。

具体的には、情報処理システムは、人物画像領域抽出部１、２次元キーポイント推定部２、３次元ポーズ推定部３およびテクスチャマッピング部４を備えている。これら各部の一部または全部の機能は、ハードウェアで実装されてもよいし、プロセッサが所定のプログラムを実行することによって実現されてもよい。

人物画像領域抽出部１には、２次元画像が入力される。そして、人物画像領域抽出部１は２次元画像から人物の領域を部分人物画像領域として抽出する。より具体的には、人物画像領域抽出部１は２次元画像から人物領域を検出することにより、２次元画像中の人物領域を２次元画像から画素レベルで抽出する。領域の検出には任意の公知の手法（例えば、予め人物について学習されたセマンティックセグメンテーション（非特許文献２））を適用すればよい。

２次元キーポイント推定部２には、２次元画像が入力される。そして、２次元キーポイント推定部２は２次元画像に含まれる人物のキーポイントを推定する。推定されたキーポイントは２次元座標（２次元画像上の位置座標）で表される。キーポイントの推定には任意の公知の手法（例えば非特許文献１に記載の手法）を適用すればよい。

３次元ポーズ推定部３には、２次元画像が入力される。そして、３次元ポーズ推定部３は２次元画像に含まれる人物の３次元ポーズおよびカメラ設定を推定する。３次元ポーズの推定には、任意の公知の手法（例えば、非特許文献４に記載の手法）を適用すればよい。

推定された３次元ポーズは、人型オブジェクト（人物またはキャラクタ）のポーズを表す３次元ポーズデータで表される。３次元ポーズデータは、例えば、各関節の角度と、人型オブジェクト全体の向きおよび位置の情報である。あるいは、３次元ポーズデータは、各関節の角度に代えて各関節の位置の３次元座標であってもよく、３次元ポーズデータの形式に特に制限はない。

また、カメラ設定とは、２次元画像における人物と、この人物を撮影したカメラとの相対的な向きの情報を含み、必要に応じてさらに人物とカメラとの相対的な位置情報を含んでいる。

なお、３次元ポーズデータがカメラ設定を暗黙的に含んでいる場合もある。例えば、３次元ポーズデータが人型オブジェクト全体の向きおよび位置の情報を含んでいて、さらにその向きおよび位置の情報がカメラ座標系で記述されている場合、この３次元ポーズデータは人型オブジェクトとカメラとの相対的な向きおよび位置の情報を含んでいる。このように、３次元ポーズデータがカメラ設定を暗黙的に含んでいる場合、３次元ポーズ推定部３は、カメラ設定を明示的に出力するのではなく、３次元ポーズデータのみを出力してもよい。

また、３次元ポーズ推定部３がカメラ設定を出力するのではなく、ユーザがカメラ設定を手動設定してもよい。また、カメラ設定は２次元画像から推定されてもよい。

テクスチャマッピング部４には、人物画像が人物画像領域抽出部１から入力され、人物のキーポイントの２次元座標が２次元キーポイント推定部２から入力され、３次元ポーズデータおよびカメラ設定が３次元ポーズ推定部３から入力される。なお、人物画像領域抽出部１とテクスチャマッピング部４とが接続されており、人物画像領域抽出部１から出力される人物画像が自動的にテクスチャマッピング部４に入力されてもよい。あるいは、人物画像領域抽出部１から出力される人物画像を示すデータをユーザがテクスチャマッピング部４に手動入力してもよい。この点は他の各部の入出力についても同様である。

テクスチャマッピング部４は、キャラクタの３次元モデルに予め設定されているキーポイントと、人物のキーポイントの２次元座標と、３次元ポーズデータとに基づいて、人物画像をキャラクタの３次元モデルにテクスチャマッピングする。そして、テクスチャマッピング部４はテクスチャマッピングの結果であるテクスチャマッピングデータを出力する。加えて、テクスチャマッピング部４は後述する変形済人物画像も出力する。

図２は、テクスチャマッピング部４の概略構成の一例を示すブロックである。テクスチャマッピング部４は、ポーズ適用部４１と、キャラクタ描画部４２と、人物画像変形部４３と、投影部４４とを有する。

ポーズ適用部４１には、キャラクタの３次元モデルと、キャラクタのキーポイントの３次元座標と、３次元ポーズデータとが入力される。そして、ポーズ適用部４１は、３次元ポーズデータが示す人物の３次元ポーズをキャラクタの３次元モデルに適用することにより、キャラクタの３次元モデルを変形する。その結果、ポーズ適用済のキャラクタの３次元モデルと、ポーズ適用済キャラクタのキーポイントの３次元座標とが生成される。

キャラクタ描画部４２には、ポーズ適用済のキャラクタの３次元モデル（言い換えると、ポーズ適用部４１によって変形されたキャラクタの３次元モデル）と、ポーズ適用済キャラクタのキーポイントの３次元座標と、カメラ設定とが入力される。そして、キャラクタ描画部４２は入力されたカメラ設定を仮想カメラに適用する。さらに、キャラクタ描画部４２は、仮想カメラを使ってポーズ適用済のキャラクタの３次元モデルからキャラクタの２次元画像（以下「キャラクタ画像」という。）を生成する。具体例として、キャラクタ描画部４２は、カメラ設定が示す向きおよび位置に配置された仮想カメラからポーズ適用済のキャラクタの３次元モデルを仮想的に描画して、キャラクタ画像を生成する。また、キャラクタ描画部４２は仮想カメラを使ってポーズ適用済みのキャラクタのキーポイントの３次元座標を変換し、キャラクタのキーポイントの２次元座標（キャラクタ画像上の位置座標）を生成する。

なお、キャラクタ描画部４２が出力するキャラクタ画像は、キャラクタの輪郭のみであってもよい。また、その場合、キャラクタ画像のデータ形式は画像データの形式である必要はなく、例えばキャラクタの輪郭を点列とそれを順に結ぶ線分で表現するような、複数の点の２次元座標の配列であってもよい。

人物画像変形部４３には、人物画像と、人物のキーポイントの２次元座標と、キャラクタ画像と、キャラクタのキーポイントの２次元座標とが入力される。そして、人物画像変形部４３はキャラクタ画像に基づいて人物画像を変形する。より具体的には、人物画像変形部４３は、人物のキーポイントとキャラクタのキーポイントとが概略一致し、かつ、人物画像の輪郭とキャラクタ画像の輪郭とが概略一致するよう、人物画像を変形する。この変形には、公知の手法（例えば非特許文献５に記載の手法）を利用してもよい。変形によって得られた変形済人物画像はテクスチャマッピング部４から（すなわち、情報処理システムから）出力される。

人物画像変形手法の第１例として、人物画像変形部４３は、まず人物のキーポイントとキャラクタのキーポイントとが概略一致するよう人物画像を変形し、次いで、人物画像の輪郭とキャラクタ画像の輪郭とが概略一致するよう、人物画像を変形してもよい。あるいは、人物画像の輪郭とキャラクタ画像の輪郭とが概略一致するよう、人物画像を変形し、次いで、人物のキーポイントとキャラクタのキーポイントとが概略一致するよう人物画像を変形してもよい。

人物画像変形手法の第２例として、以下のようにしてもよい。人物画像変形部４３は人物のキーポイントに基づいて人物画像の輪郭に複数の点を設定する。また、人物画像変形部４３はキャラクタのキーポイントに基づいてキャラクタ画像の輪郭に複数の点を設定する。そして、人物画像変形部４３は、人物画像の輪郭に設定された各点と、キャラクタ画像の輪郭に設定された対応する点と、が重なるよう人物画像を変形してもよい。

投影部４４には、ポーズ適用済のキャラクタの３次元モデルと、人物画像変形部４３によって変形された人物画像と、カメラ設定とが入力される。そして、投影部４４は、カメラ設定が示す向きおよび位置に配置された仮想プロジェクタから、変形された人物画像をポーズ適用済のキャラクタの３次元モデルに投影することにより、人物画像をキャラクタの３次元モデルにテクスチャマッピングする。テクスチャマッピングの結果であるテクスチャマッピングデータはテクスチャマッピング部４から（すなわち、情報処理システムから）出力される。

図３は、情報処理システムの処理動作の一例を示すフローチャートである。なお、図３は例示であり、一部の処理（例えば、ステップＳ１～Ｓ３）の順序を適宜入れ替えたり、一部の処理を省略したりしてもよい。

ステップＳ１において、人物画像領域抽出部１は人物を含む２次元画像から人物画像を抽出する。例えば、人物画像領域抽出部１は、図４Ａに示す人物１１ａを含む２次元画像１１から、図４Ｂに示すような人物画像１２を抽出する。

また、図３のステップＳ２において２次元キーポイント推定部２は２次元画像に含まれる人物のキーポイントの２次元座標を推定する。例えば、２次元キーポイント推定部２は、図４Ａに示す２次元画像１１に含まれる人物１１ａのキーポイント（図５に黒丸で示す）の位置を推定する。なお、２次元キーポイント推定部２は、肩、肘、手首、腰、膝、足首、目、鼻、口、耳といった多くのキーポイントを推定してもよいが、これらの一部のみを推定してもよいし、指、爪先、踵といったより多くのキーポイントを推定してもよい。

さらに、図３のステップＳ３において、３次元ポーズ推定部３は２次元画像に含まれる人物の３次元ポーズおよびカメラ設定を推定する。例えば、図４Ａに示す２次元画像１１において、人物１１ａは、右腕を前に突き出していること、左ひじを上方に曲げて左腕を上げていること、両足を前後に開いていることなどを、人物１１ａの３次元ポーズとして３次元ポーズ推定部３が推定し、３次元ポーズデータとして取得する。また、３次元ポーズ推定部３は、人物１１ａと人物１１ａを撮影したカメラとの相対的な向きおよび位置を推定する。

続いて、以下のステップＳ４～Ｓ７によってテクスチャマッピング部４は人物画像をキャラクタの３次元モデルにテクスチャマッピングする。

まず、図３のステップＳ４において、テクスチャマッピング部４におけるポーズ適用部４１は、３次元ポーズデータをキャラクタの３次元モデルに適用することにより、キャラクタの３次元モデルを変形する。

図６Ａ～図６Ｄに、３次元ポーズ適用前のキャラクタの３次元モデル１３を例示する。なお、図６Ａ～図６Ｄは、それぞれ、キャラクタの３次元モデル１３の上面図、正面図、右側面図および斜視図である。このキャラクタの３次元モデル１３の初期ポーズは、両腕を下げて直立した、いわゆる「気を付け」のポーズである。一方、３次元ポーズ推定部３によって推定される、図４Ａの２次元画像１１における人物１１ａの３次元ポーズは、右腕を前に突き出しており、左ひじを上方に曲げて左腕を上げており、また、両足を前後に開いている。このように、多くの場合、キャラクタの３次元モデル１３の初期ポーズは、人物画像における人物の３次元ポーズとは異なる。

ポーズ適用部４１は、図６Ａ～図６Ｄに示すキャラクタの３次元モデル１３を、右腕を前に突き出し、左ひじを上方に曲げて左腕を上げ、両足を前後に開くよう変形し、図７Ａ～図７Ｄに示す変形されたキャラクタの３次元モデル１３’を生成する。なお、図７Ａ～図７Ｄは、それぞれ、変形されたキャラクタの３次元モデル１３’の上面図、正面図、右側面図および斜視図である。

具体的な処理としては、ポーズ適用部４１は、キャラクタの３次元モデルの関節点の位置や、腕、首、足などの角度を、ステップＳ３で得られたポーズデータを適用して２次元画像から推定された人物の３次元ポーズに合わせて変形する。

続いて、図３のステップＳ５において、キャラクタ描画部４２は、カメラ設定に応じた向きおよび位置に配置された仮想カメラを使ってキャラクタ画像を生成するとともに、キャラクタ画像のキーポイントの２次元座標を生成する。

例えば、３次元ポーズ推定部３は、図４Ａの人物１１ａ撮影時のカメラ設定を推定する。よって、図８に示すように、キャラクタ描画部４２は、図６Ａ～図６Ｄに示す変形後のキャラクタの３次元モデル１３’を、撮影時と同じように配置された仮想カメラ２０から描画することにより、図９Ａに示すようなキャラクタ画像１３ａを生成する。

なお、図８では透視投影によってキャラクタ画像を生成しているが、平行投影によってキャラクタ画像を生成してもよい。後者の場合、カメラ設定においてカメラの向きの情報があればよく、カメラの位置情報は不要である。

また、キャラクタの３次元モデルには複数のキーポイントが３次元座標として予め設定されているが、キャラクタ描画部４２はそのそれぞれのキャラクタ画像上の２次元座標を算出する（図９Ｂに、キーポイントを黒丸で示す）。

なお、キャラクタ画像は図１０Ａおよび図１０Ｂに示すように輪郭のみであってもよい。また、後述の陰影補正を行う場合には、陰影のあるキャラクタ画像を生成しておくことが望ましい。

次いで、図３のステップＳ６において、人物画像を変形する。これは、キャラクタ画像と人物画像とが完全に一致しない場合が多いからである。この不一致は、３次元ポーズ推定の精度が必ずしも高くない場合があることや、キャラクタの３次元モデルと２次元画像における人物の体型の違いに起因する。人物画像変形部４３は、人物のキーポイントとキャラクタのキーポイントとが概略一致し、かつ、人物画像の輪郭とキャラクタ画像の輪郭とが概略一致するよう、人物画像を変形する。

例えば、人物画像変形部４３は、図９Ａに示すキャラクタ画像１３ａの輪郭およびキーポイント（図９Ｂ）と、図４Ｂに示す人物画像１２の輪郭およびキーポイント（図５）とが、それぞれ概略一致するよう、図４Ｂに示す人物画像を変形し、図１１に示す変形後の人物画像１２’を得る。

人物画像変形手法の第１例を図１２のフローチャートに示す。まず、ステップＳ２１において、人物画像変形部４３は、人物のキーポイントとキャラクタのキーポイントとが一致するよう、人物画像を変形する。これにより、変形後の人物画像における人物のキーポイントの位置は、キャラクタ画像のキーポイントの位置に概略一致する。しかし、人物の体型とキャラクタの体型とが異なるなどの理由により、両者の輪郭が一致するとは限らない。

そこで、ステップＳ２２において、人物画像変形部４３は、ステップＳ２１で合わせたキーポイントどうしがずれないよう、人物画像の輪郭がキャラクタ画像の輪郭に一致するよう、人物画像をさらに変形する。すなわち、人物画像変形部４３は人物画像およびキャラクタ画像のキーポイントどうしおよび輪郭どうしを合わせる。

例として、図１３Ａに、ステップＳ２１での人物画像変形処理後、かつ、ステップＳ２２での人物画像変形処理前の人物画像の輪郭（実線）およびキャラクタ画像の輪郭（破線）の一部を模式的に示す。両者のキーポイント（２つの黒丸）はステップＳ２１での変形によって位置合わせされているが、輪郭は一致していない。この場合、人物画像変形部４３は、２つのキーポイントを結ぶ線（図１３Ａに一点鎖線で示す）と直交する方向に人物画像の輪郭を伸縮することによって、人物画像の輪郭をキャラクタ画像の輪郭にできる限り近づける（図１３Ｂ）。これにより、変形後の人物画像の輪郭は、キャラクタ画像の輪郭とほぼ一致する。

人物画像変形手法の第２例を図１４のフローチャートに示す。まず、ステップＳ３１において、人物画像変形部４３は人物のキーポイントに基づいて人物画像の輪郭に複数の点を設定する。

例として、図１５Ａに、人物画像の輪郭およびその２つのキーポイント（黒丸）ｋ１，ｋ２を示す。例えば、キーポイントｋ１は右肩であり、キーポイントｋ２は右ひじである。人物画像変形部４３はキーポイントｋ１，ｋ２を結ぶ線（図１５Ａに一点鎖線で示す、以下「基準線」と呼ぶ）上に任意に点を追加する（同図では、２つのキーポイントｋ１，ｋ２を結ぶ線分を３等分する位置に２つの点（黒四角で示す）ｍ１，ｍ２を追加している）。そして、人物画像変形部４３は、キーポイントｋ１を通り基準線と直交する直線と、人物画像の輪郭と交わる位置に点ｐ１，ｐ２を設定する。他のキーポイントｋ２や、追加した点ｍ１，ｍ２に対しても同様にして、人物画像変形部４３は人物画像の輪郭に複数の点を設定する。

図１４のステップＳ３２において、人物画像変形部４３はキャラクタのキーポイントに基づいてキャラクタ画像の輪郭に複数の点を設定する。

例として、図１５Ｂに、キャラクタ画像の輪郭およびその２つのキーポイント（白丸）ｋ１１，ｋ１２とを示す。図１５Ａのキーポイントｋ１，ｋ２は図１５Ｂのキーポイントｋ１１，ｋ１２とそれぞれ対応しているものとする。例えば、図１５Ａのキーポイントｋ１が右肩であり、キーポイントｋ２が右ひじである場合、図１５Ｂのキーポイントｋ１１も右肩であり、キーポイントｋ１２も右ひじである。図１５Ａで説明したのと同様に、人物画像変形部４３はキャラクタ画像の輪郭に複数の点を設定する。図１５Ａで人物画像の輪郭に設定された各点と、図１５Ｂでキャラクタ画像の輪郭に設定された各点との対応関係を人物画像変形部４３は把握している。

図１４のステップＳ３３において、人物画像変形部４３は、人物画像の輪郭に設定された各点と、キャラクタ画像の輪郭に設定された対応する点と、が重なるよう人物画像を変形する。以上により、変形後の人物画像のキーポイントおよび輪郭は、キャラクタ画像のキーポイントおよび輪郭とほぼ一致する。

なお、図３のステップＳ６において、人物画像変形部４３は、人物画像の形状を変形するのみならず、陰影の影響が低減されるよう人物画像の明るさを調整してもよい。より具体的には、人物画像変形部４３は陰影があるキャラクタ画像をキャラクタ描画部４２から受け取り、キャラクタ画像の特定画素が明るい（暗い）ほど、人物画像における当該特定画素と対応する画素を暗く（明るく）する。

続いて、図３のステップＳ７において、投影部４４は、カメラ設定に応じた位置に配置された仮想プロジェクタから、ステップＳ６にて変形された人物画像を、ステップＳ４にて変形されたキャラクタの３次元モデルに投影することにより、変形された人物画像をキャラクタの３次元モデルにテクスチャマッピングする。

例えば、３次元ポーズ推定部３によって推定されたカメラ設定によれば、図４Ａの人物１１ａはその左側に配置されたカメラから撮影されている。よって、図１６に示すように、投影部４４は、変形されたキャラクタの３次元モデルの左側に仮想プロジェクタ２１を配置し、図１１に示す変形後の人物画像１２’を、仮想プロジェクタから投影する。例えば、キャラクタの３次元モデル１３’上の頂点Ｑ１と仮想プロジェクタ２１とを結ぶ直線と、人物画像１２’との交点Ｐ１が、頂点Ｑ１に対応するテクスチャ座標として得られる。

なお、図１６では透視投影によってキャラクタのテクスチャマッピングを行っているが、平行投影によってテクスチャマッピングを行ってもよい。後者の場合、カメラ設定においてカメラの向きの情報があればよく、位置情報は不要である。

以上によって人物画像がキャラクタの３次元モデルにテクスチャマッピングされる。そして、ステップＳ８において、情報処理システムからテクスチャマッピングデータおよび変形済人物画像が出力される。

図１７は、図１６の投影によって人物画像がテクスチャマッピングされたキャラクタの３次元モデルの顔部分の正面から見た図を模式的に示している。上述した投影によれば、キャラクタの３次元モデルに仮想プロジェクタの方向から投影するため、キャラクタの３次元モデルの一部分のみ（より具体的には、仮想プロジェクタ側のみ）に人物画像がテクスチャマッピングされる。例えば、図１６に示すように人物の左側から投影を行った場合、図１７に示すようにキャラクタの３次元モデルの顔の左側には人物画像がテクスチャマッピングされるが、右側（図１７における斜線部分）には何もテクスチャマッピングされない。

そこで、以上述べた処理を、同一の人物をそれぞれ異なる方向から撮影した複数の２次元画像を用いて複数回実行することにより、キャラクタの３次元モデルの全表面にテクスチャマッピングするのが望ましい。本実施形態によれば、２次元画像から３次元ポーズ推定を行い、キャラクタの３次元モデルに対してポーズ適用を行うので、複数の２次元画像における人物のポーズが互いに異なっていてもよい。

以上説明したように、本実施形態では、情報処理装置が、２次元画像からの部分人物画像領域抽出、２次元画像における人物の２次元キーポイント推定および２次元画像からの人物の３次元ポーズ推定を行う。そのため、ユーザの手動操作を減らすことができる。

なお、本実施形態では、キャラクタの３次元モデルには、３次元座標で表されるキーポイント位置が予め設定されているものとした。しかし、キャラクタには必ずしも予めキーポイントが設定されていなくてもよい。この場合、キャラクタ描画部４２から出力されるキャラクタ画像から人物画像変形部４３がキャラクタ画像におけるキャラクタのキーポイントの２次元座標を（例えば人工知能を使って）推定すればよい。人工知能を使う場合、キャラクタに類した人型オブジェクトを描画した画像を用いて予め学習しておけばよい。

以下、情報処理システムの出力について、いくつか変形例を説明する。
図１８Ａは、第１実施形態の第１変形例に係る情報処理システムの概略構成を示すブロック図である。また、図１８Ｂは、図１８Ａのテクスチャマッピング部４の概略構成の一例を示すブロック図である。本第１変形例では、情報処理システムがテクスチャマッピングデータおよび人物画像を出力する。より詳細には以下のとおりである。

図１８Ｂの人物画像変形部４３は、人物画像を変形する際に、変形済人物画像の各画素と、元の（変形前の）人物画像の各画素と、の対応関係を表す画像変形時画素対応データを生成する。投影部４４はキャラクタの３次元モデルの各頂点に対応する変形済人物画像上の座標を出力する。そして、投影部４４は、画像変形時画素対応データを用いて、変形済人物画像上の座標を元の人物画像上の座標に変換する。これによって、キャラクタの３次元モデルの各頂点と、これに対応する人物画像上の座標のデータ、すなわち、テクスチャマッピングデータが得られる。

図１９Ａは、第１実施形態の第２変形例に係る情報処理システムの概略構成を示すブロック図である。また、図１９Ｂは、図１９Ａのテクスチャマッピング部４の概略構成の一例を示すブロック図である。本第２変形例は第１変形例のさらなる変形例であり、情報処理システムがテクスチャマッピングデータおよび２次元画像を出力する。第１変形例での処理に加え、第２変形例では以下の処理が行われる。

図１９Ａの人物画像領域抽出部１は、人物画像を抽出する際、抽出された人物画像の各画素と、元の２次元画像の各画素と、の対応関係を表す画像領域抽出時画素対応データを生成する。図１９Ｂの人物画像変形部４３は、人物画像を変形する際に、変形済人物画像の各画素と、元の（変形前の）人物画像の各画素と、の対応関係を表す画像変形時画素対応データを生成する。図１９Ｂの投影部４４は、画像変形時画素対応データおよび画像領域抽出時画素対応データを用いて、変形済人物画像上の座標を元の２次元画像上の座標に変換する。これによって、キャラクタの３次元モデルの各頂点と、これに対応する２次元画像上の座標のデータ、すなわち、テクスチャマッピングデータが得られる。

（第２実施形態）
情報処理システムに入力される２次元画像において、特定の方向から光源が人物を照らしている場合、人物には陰影がついている。例えば、人物の左側に光源がある場合、仮に人物の肌の色および明るさが一定であったとしても、人物の左側は人物の右側より明るい肌色となる。一方、一般にキャラクタの３次元モデルを用いて静止画または動画の作品を制作する場合、作品の場面に応じて光源を設定して適切な陰影を生じさせることが行われる。そのため、キャラクタの３次元モデルのテクスチャ自体に、特定の光源に基づく陰影が付いていると、場面に応じた適切な陰影を生じさせる上で障害となる。そこで、人物画像から陰影の影響を取り除いた画像を、キャラクタの３次元モデルにテクスチャマッピングするのが望ましい。

そこで、次に説明する第２実施形態は、情報処理システムに入力される２次元画像における陰影の影響を低減するものである。以下、第１実施形態との違いを中心に述べる。

図２０Ａは、第２実施形態に係る情報処理システムの概略構成を示すブロック図である。図２０Ｂは、図２０Ａのテクスチャマッピング部４の概略構成を示すブロック図である。

図２０Ａに示すように、２次元画像がテクスチャマッピング部４にも入力される。そして、図２０Ｂに示すように、テクスチャマッピング部４は光源方向推定部４５を有する。この光源方向推定部４５には２次元画像が入力される。そして、光源方向推定部４５は２次元画像を撮影した際の光源の方向および／または位置を推定し、光源の方向および／または位置を示す情報を含む光源設定を出力する。推定の手法としては、例えば非特許文献３に記載の手法を適用すればよい。あるいは、ユーザが手動で光源の方向および／または位置を設定してもよい。いずれにしても、光源設定がキャラクタ描画部４２に入力される。

そこで、キャラクタ描画部４２は、光源設定に基づいて光源の方向および／または位置を設定し、仮想カメラを用いてキャラクタを描画して、陰影があるキャラクタ画像を生成する。例えば、情報処理システムに入力される２次元画像において、人物の左側に光源がある場合、キャラクタ描画部４２はキャラクタの３次元モデルの左側に光源を配置して仮想カメラで描画することによって、キャラクタ画像を生成する。これにより、キャラクタ画像において、キャラクタの左側は明るく、右側は暗くなる。

そして、人物画像変形部４３は人物画像の形状を変形するのみならず、陰影の補正を行う。例えば、キャラクタ画像において、キャラクタが明るくなっている部分は、光源の影響を受けて本来の明度より明るくなっていると考えられる。そこで、当該部分と対応する人物画像における部分を暗く補正する。逆に、キャラクタ画像において本来の明度より暗くなっている部分と対応する人物画像における部分を明るく補正する。

より詳細には次のとおりである。陰影補正前の変形済人物画像における画素Ｐａの明るさがＣａであり、キャラクタ画像における対応する画素Ｐｂの明るさがＣｂであるとする。この場合、陰影補正後の変形済人物画像における画素Ｐａの明るさＣａ’を下式により得る。この明るさＣａ’は、明るさＣａに比べて、陰影が軽減されている。
Ｃａ’＝ｆ（Ｃａ，Ｃｂ）
ここで、ｆは、Ｃａに対して単調増加、Ｃｂに対して単調減少する関数である。

このように人物画像変形部４３が、陰影補正された変形済人物画像を出力することにより、陰影が少ない変形済の人物画像を得ることができ、情報処理システムに入力される２次元画像における光源の影響を低減できる。

以下、情報処理システムの出力について、いくつか変形例を説明する。
図２１Ａは、第２実施形態の第１変形例に係る情報処理システムの概略構成を示すブロック図である。また、図２１Ｂは、図２１Ａのテクスチャマッピング部４の概略構成の一例を示すブロック図である。本第１変形例は第１実施形態の第１変形例と対応しており、情報処理システムがテクスチャマッピングデータおよび陰影補正された人物画像を出力する。より詳細には以下のとおりである。

図２１Ｂの人物画像変形部４３は、人物画像を変形する際に、変形済人物画像の各画素と、元の（変形前の）人物画像の各画素と、の対応関係を表す画像変形時画素対応データを生成する。人物画像変形部４３は、陰影補正を行う際に、キャラクタ画像の画素に対応する変形済人物画像の画素の位置を、画像変形時画素対応データを用いて元の（変形前の）人物画像の画素の位置に変換して、元の（変形前の）人物画像に対して陰影補正を行い、陰影補正された人物画像を生成する。投影部４４はキャラクタの３次元モデルの各頂点に対応する変形済人物画像上の座標を出力する。そして、投影部４４は、画像変形時画素対応データを用いて、変形済人物画像上の座標を元の人物画像上の座標に変換する。陰影補正された人物画像は元の人物画像に対して変形されていないので、元の人物画像上の座標は陰影補正された人物画像上の座標として使うことができる。以上によって、キャラクタの３次元モデルの各頂点と、これに対応する陰影補正された人物画像上の座標のデータ、すなわち、テクスチャマッピングデータが得られる。

図２２Ａは、第２実施形態の第２変形例に係る情報処理システムの概略構成を示すブロック図である。また、図２２Ｂは、図２２Ａのテクスチャマッピング部４の概略構成の一例を示すブロック図である。本第２変形例は第１変形例のさらなる変形例であり、また、第１実施形態の第２変形例と対応しており、情報処理システムがテクスチャマッピングデータおよび陰影補正された２次元画像を出力する。図２１Ａおよび図２１Ｂに示す第１変形例での処理に加え、図２２Ａおよび図２２Ｂの第２変形例では以下の処理が行われる。

図２２Ａの人物画像領域抽出部１は、人物画像を抽出する際、抽出された人物画像の各画素と、元の２次元画像の各画素と、の対応関係を表す画像領域抽出時画素対応データを生成する。人物画像変形部４３は、人物画像を変形する際に、変形済人物画像の各画素と、元の（変形前の）人物画像の各画素と、の対応関係を表す画像変形時画素対応データを生成する。人物画像変形部４３は、陰影補正を行う際に、キャラクタ画像の画素に対応する変形済人物画像の画素の位置を、画像変形時画素対応データおよび画像領域抽出時画素対応データを用いて元の２次元画像上の座標に変換して、元の２次元画像に対して陰影補正を行い、陰影補正された２次元画像を生成する。投影部４４はキャラクタの３次元モデルの各頂点に対応する変形済人物画像上の座標を出力する。そして、投影部４４は、画像変形時画素対応データおよび画像領域抽出時画素対応データを用いて、変形済人物画像上の座標を元の２次元画像上の座標に変換する。陰影補正された２次元画像は元の２次元画像に対して変形されていないので、元の２次元画像上の座標は陰影補正された２次元画像上の座標として使うことができる。以上によって、キャラクタの３次元モデルの各頂点と、これに対応する陰影補正された２次元画像上の座標のデータ、すなわち、テクスチャマッピングデータが得られる。

なお、以上述べた各実施形態では２次元画像から人物の領域を人物領域として抽出するものであったが、人物に限らず犬や猫といった任意の動物を抽出してテクスチャマッピングを行ってもよい。この点で、「人物画像」を「動物画像」と上位概念化することができる。すなわち、「動物画像」には「人物画像」が含まれる。

上述した実施形態は、本発明が属する技術分野における通常の知識を有する者が本発明を実施できることを目的として記載されたものである。上記実施形態の種々の変形例は、当業者であれば当然になしうることであり、本発明の技術的思想は他の実施形態にも適用しうることである。したがって、本発明は、記載された実施形態に限定されることはなく、特許請求の範囲によって定義される技術的思想に従った最も広い範囲とすべきである。

１ 人物画像領域抽出部
２ ２次元キーポイント推定部
３ ３次元ポーズ推定部
４ テクスチャマッピング部
４１ ポーズ適用部
４２ キャラクタ描画部
４３ 人物画像変形部
４４ 投影部
４５ 光源方向推定部

Claims (19)

1. ２次元画像上の部分画像領域を少なくとも腕または脚をもつキャラクタの３次元モデルにテクスチャマッピングする情報処理システムであって、
   前記２次元画像から少なくとも腕または脚を含む動物領域を動物画像として抽出する動物画像領域抽出手段と、
   前記２次元画像における前記動物の少なくとも腕または脚のキーポイントを含むキーポイントを推定する２次元キーポイント推定手段と、
   前記２次元画像から３次元ポーズ推定により、前記動物の各部位の３次元座標を生成し、前記動物の少なくとも腕または脚のポーズを含む１つの３次元ポーズを表す３次元ポーズデータを取得する３次元ポーズ推定手段と、
   前記キャラクタの少なくとも腕または脚のキーポイントを含むキーポイントを取得するキャラクタキーポイント取得手段と、
   前記キャラクタのキーポイントと、前記動物のキーポイントと、前記３次元ポーズデータと、に基づいて、前記動物画像を前記キャラクタの３次元モデルにテクスチャマッピングするテクスチャマッピング手段と、を備え、
   前記テクスチャマッピング手段は、
   前記３次元ポーズデータを適用して前記キャラクタの３次元モデルを変形するポーズ適用手段を有する、情報処理システム。
2. 前記テクスチャマッピング手段は、更に、
   前記変形されたキャラクタの３次元モデルから前記キャラクタの２次元画像であるキャラクタ画像を生成するキャラクタ描画手段と、
   前記キャラクタ画像に基づいて、前記動物画像を変形する動物画像変形手段と、
   前記変形された動物画像を前記変形されたキャラクタの３次元モデルに投影することにより、前記動物画像を前記キャラクタの３次元モデルにテクスチャマッピングする投影手段と、
   を有する、請求項１に記載の情報処理システム。
3. 前記３次元ポーズ推定手段は、前記動物と、この動物を撮影したカメラとの相対的な向きの情報を含むカメラ設定を推定し、
   前記キャラクタ描画手段は、前記カメラ設定に基づいて設定された仮想カメラを用いて、前記変形されたキャラクタの３次元モデルを描画することにより、前記キャラクタ画像を生成する、請求項２に記載の情報処理システム。
4. 前記カメラ設定は、前記動物と、前記動物を撮影したカメラとの相対的な位置の情報をさらに含む、請求項３に記載の情報処理システム。
5. 前記キャラクタ描画手段は、前記キャラクタの３次元モデルに予め設定されているキーポイントに基づいて、前記キャラクタ画像上の前記キャラクタのキーポイントの位置を示す２次元座標を生成し、
   前記動物画像変形手段は、前記動物画像上の前記動物の各キーポイントの位置と、前記キャラクタ画像上の前記キャラクタの対応するキーポイントの位置と、が概略一致し、かつ、前記動物画像の輪郭と、前記キャラクタ画像の輪郭と、が概略一致するよう、前記動物画像を変形する、請求項２乃至４のいずれかに記載の情報処理システム。
6. 前記テクスチャマッピング手段は、キャラクタキーポイント推定手段をさらに有し、
   前記キャラクタキーポイント推定手段は、前記キャラクタ画像におけるキャラクタのキーポイントの位置を示す２次元座標を推定し、
   前記動物画像変形手段は、前記動物画像上の前記動物の各キーポイントの位置と、前記キャラクタ画像上の前記キャラクタの対応するキーポイントの位置と、が概略一致し、かつ、前記動物画像の輪郭と、前記キャラクタ画像の輪郭と、が概略一致するよう、前記動物画像を変形する、請求項２乃至４のいずれかに記載の情報処理システム。
7. 前記動物画像変形手段は、
   前記動物画像上の前記動物の各キーポイントの位置と、前記キャラクタ画像上の前記キャラクタの対応するキーポイントの位置と、が概略一致するよう前記動物画像を変形し、
   その後、前記キーポイントどうしの概略一致を維持しつつ、前記動物画像の輪郭と、前記キャラクタ画像の輪郭と、が概略一致するよう、前記動物画像を変形する、請求項５または６に記載の情報処理システム。
8. 前記動物画像変形手段は、前記動物のキーポイントのうちの２つを結ぶ直線と直交する方向に前記動物画像の輪郭を伸縮することにより、前記動物画像の輪郭と、前記キャラクタ画像の輪郭と、が概略一致するよう、前記動物画像を変形する、請求項７に記載の情報処理システム。
9. 前記動物画像変形手段は、
   前記動物のキーポイントに基づいて、前記動物画像の輪郭に複数の点を設定し、
   前記キャラクタのキーポイントに基づいて、前記キャラクタ画像の輪郭に複数の点を設定し、
   前記動物画像の輪郭に設定された各点と、前記キャラクタ画像の輪郭に設定された対応する点と、が概略一致するよう前記動物画像を変形する、請求項５または６に記載の情報処理システム。
10. 前記動物画像の輪郭に設定される複数の点のうちの少なくとも１つの点は、前記動物の２つのキーポイントを結ぶ第１の直線上に追加された点を通り、前記第１の直線と直交する第２の直線と、前記動物画像の輪郭とが交わる点であり、
    前記キャラクタ画像の輪郭に設定される複数の点のうちの少なくとも１つの点は、前記キャラクタの２つキーポイントを結ぶ第３の直線上に追加された点を通り、前記第３の直線と直交する第４の直線と、前記キャラクタ画像の輪郭とが交わる点である、請求項９に記載の情報処理システム。
11. 前記投影手段は、仮想プロジェクタから、前記変形された動物画像を前記変形されたキャラクタの３次元モデルに投影することにより、前記動物画像を前記キャラクタの３次元モデルにテクスチャマッピングする、請求項２乃至１０のいずれかに記載の情報処理システム。
12. 前記３次元ポーズ推定手段は、前記２次元画像における動物と、この動物を撮影したカメラとの相対的な向きの情報を含むプロジェクタ設定を推定し、
    前記投影手段は、前記プロジェクタ設定に基づいて設定された前記仮想プロジェクタを用いて、前記変形された動物画像を前記変形されたキャラクタの３次元モデルに投影する、請求項１１に記載の情報処理システム。
13. 前記プロジェクタ設定は、前記動物と、前記動物を撮影したカメラとの相対的な位置の情報をさらに含む、請求項１２に記載の情報処理システム。
14. 前記キャラクタ描画手段は、前記２次元画像を撮影した際の光源を考慮して、陰影がある前記キャラクタ画像を生成し、
    前記テクスチャマッピング手段は、明るさ調整手段を有し、
    前記明るさ調整手段は、陰影がある前記キャラクタ画像に基づいて、前記２次元画像における光源の影響が低減されるよう、前記動物画像または前記変形された動物画像の明るさを調整する、請求項２乃至１３のいずれかに記載の情報処理システム。
15. 前記テクスチャマッピング手段は、前記２次元画像から前記２次元画像を撮影した際の光源の方向および／または位置を推定し、前記推定された光源の方向および／または位置を示す情報を含む光源設定を出力する光源方向推定手段を有し、
    前記キャラクタ描画手段は、前記光源設定に基づいて光源を配置して、前記変形された前記キャラクタの３次元モデルを仮想カメラで描画することにより、陰影がある前記キャラクタ画像を生成する、請求項１４に記載の情報処理システム。
16. 前記明るさ調整手段は、陰影がある前記キャラクタ画像の画素が明るいほど、前記動物画像または前記変形された動物画像における前記画素と対応する画素を暗くする、請求項１４または１５に記載の情報処理システム。
17. 複数の２次元画像のそれぞれの上の部分画像領域を１つのキャラクタの３次元モデルにテクスチャマッピングするシステムで実行される情報処理方法であって、
    前記システムは、請求項１乃至１６のいずれかに記載の情報処理システムをサブシステムとして含み、
    前記複数の２次元画像は、同一の外観を有する動物を異なる方向から撮影した画像または、同一の外観を有する動物の異なるポーズを撮影した画像を含み、
    前記情報処理方法は、
    前記部分画像領域のそれぞれと前記キャラクタの３次元モデルに対して前記サブシステムを適用して複数のテクスチャマッピングデータを生成するステップと、
    前記複数のテクスチャマッピングデータを統合したテクスチャマッピングデータを生成するステップと、
    を含む、情報処理方法。
18. ２次元画像上の部分画像領域を少なくとも腕または脚をもつキャラクタの３次元モデルにテクスチャマッピングする情報処理方法であって、
    前記２次元画像から少なくとも腕または脚を含む動物領域を動物画像として抽出するステップと、
    前記２次元画像における前記動物の少なくとも腕または脚のキーポイントを含むキーポイントを推定するステップと、
    前記２次元画像から３次元ポーズ推定により、前記動物の各部位の３次元座標を生成し、前記動物の少なくとも腕または脚のポーズを含む１つの３次元ポーズを表す３次元ポーズデータを取得するステップと、
    前記キャラクタの少なくとも腕または脚のキーポイントを含むキーポイントを取得するステップと、
    前記キャラクタのキーポイントと、前記動物のキーポイントと、前記３次元ポーズデータと、に基づいて、前記動物画像を前記キャラクタの３次元モデルにテクスチャマッピングするステップと、
    を含み、
    前記テクスチャマッピングするステップは、
    前記３次元ポーズデータを適用して前記キャラクタの３次元モデルを変形するステップを含む、情報処理方法。
19. ２次元画像上の部分画像領域を少なくとも腕または脚をもつキャラクタの３次元モデルにテクスチャマッピングする情報処理プログラムであって、コンピュータを、
    前記２次元画像から少なくとも腕または脚を含む動物領域を動物画像として抽出する動物画像領域抽出手段と、
    前記２次元画像における前記動物の少なくとも腕または脚のキーポイントを含むキーポイントを推定する２次元キーポイント推定手段と、
    前記２次元画像から３次元ポーズ推定により、前記動物の各部位の３次元座標を生成し、前記動物の少なくとも腕または脚のポーズを含む１つの３次元ポーズを表す３次元ポーズデータを取得する３次元ポーズ推定手段と、
    前記キャラクタの少なくとも腕または脚のキーポイントを含むキーポイントを取得するキャラクタキーポイント取得手段と、
    前記キャラクタのキーポイントと、前記動物のキーポイントと、前記３次元ポーズデータと、に基づいて、前記動物画像を前記キャラクタの３次元モデルにテクスチャマッピングするテクスチャマッピング手段、
    として機能させ、
    前記テクスチャマッピング手段は、
    前記３次元ポーズデータを適用して前記キャラクタの３次元モデルを変形するポーズ適用手段を有する、情報処理プログラム。
    

Images