JP2007004732A - 画像生成装置及び画像生成方法 - Google Patents

Abstract

【課題】 画像中に存在する関節物体が持つ形状、服装、動きなどのパラメータを反映した新たな画像を生成する画像生成装置等を提供する。
【解決手段】 関節物体を撮像した画像から、関節物体の特性を反映した新たな画像を生成する画像生成装置であって、関節物体を撮像した画像を取得する画像入力部１０１と、取得された画像中の関節物体に対して、あらかじめ保持した関節を有するモデルを当てはめることによって、関節物体の関節又は関節間部位の位置に関する第１パラメータを算出するパラメータ算出部１０２と、第１パラメータを用いて、関節物体の関節間部位の形状情報、第１パラメータには含まれない関節の位置及び動きに関する第２パラメータを推定するモデル変換を行うモデル変換部１０３と、第２パラメータを用いて、関節物体の特性を反映した新たな画像を生成する画像生成部１０４とを備える。
【選択図】 図１

Description

本発明は、画像処理によって人物や動物等を含む関節物体の画像を生成する画像生成装置及びその方法に関する。

従来の関節物体の画像生成技術は、コンピュータグラフィクスの分野において多く実現がなされている。これらの多くは、モーションキャプチャシステムを用いて、実際の人物の形状や動きデータを取得し、その動きデータに基づいてアニメーション生成を行っている。これによって、関節物体のさまざまな姿勢や動きを画像として出力することが可能である。また、モーションキャプチャシステムを使わなくともアニメーション生成可能な方法も存在する。例えば、特許文献１には、動力学を用いて人物の筋肉動作を最小とする動きを推定することによって、人体動作のアニメーションを生成する方法が開示されている。

また、動作解析等を目的として、画像中に存在する関節物体に対して、関節モデルを当てはめる画像解析方法が開示されている。例えば、特許文献２では、画像中に存在する対象物に対して、その対象物が持つ部位それぞれについて構成したモデルを当てはめ、当てはめた結果、対象物をモデルパラメータとして保持するものである。また、非特許文献１には、１０個の身体部位で構成した人物モデルを用いて、画像中に存在する人物に対して円柱の組合せで構成した人物モデルを当てはめ、画像中に存在する人物が動いた場合にも、その身体部位をトラッキングすることができる技術が提案されている。
特許第３３５５１１３号公報 特開平８−２１４２８９号公報 Ｌｅｏｎｉｄ Ｓｉｇａｌ，Ｓｉｄｈａｒｔｈ Ｂｈａｔｉａ、Ｓｔｅｆａｎ Ｒｏｔｈ、 Ｍｉｃｈａｅｌ Ｊ．Ｂｌａｃｋ、Ｍｉｃｈａｅｌ Ｉｓａｒｄ、"Ｔｒａｃｋｉｎｇ Ｌｏｏｓｅ−Ｌｉｍｂｅｄ Ｐｅｏｐｌｅ"、２００４ ＩＥＥＥ ＣｏｍｐｕｔｅｒＳｏｃｉｅｔｙ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ ＣｏｍｐｕｔｅｒＶｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，Ｖｏｌ．１，ｐｐ４２１−４２８、２００４

しかしながら、上記従来技術に代表される画像生成方法や画像解析方法を用いても、画像中に存在する関節物体が持つ身体部位形状や服装などのパラメータを反映した正確な画像を生成することができなという問題がある。

特許文献１に代表される画像生成方法では、関節物体の動きに関するパラメータをあらかじめ算出しているために、関節物体の動きパラメータからアニメーション生成が可能である。ところが、画像中に存在する関節物体から服装や形状に関するパラメータを得ることは行っていない。そのため、実際の画像中に存在する関節物体の形状、色、動きを反映したアニメーションを生成することができない。

また、特許文献２や非特許文献１に代表される画像解析方法では、円柱や直線等で簡略化した人物モデルを当てはめるのみである。そのため、画像中に存在する関節物体の関節位置等の大まかなパラメータは取得できるものの、より詳細な動き、服装、細かな形状に関する情報は取得することが難しい。例えば、非特許文献１では、１０個の部位位置を同定する方法が提案されているが、アニメーション生成等の画像生成を行うためには、画像中に存在する関節物体に関する、より詳細な動き、服装、細かな形状などの情報が必要となる。ところが、現状の技術水準では、モデルの部位数が増えれば増えるほど、モデルの当てはめが困難となり、画像生成に十分な詳細モデルを画像に対して正確に当てはめることは難しい。さらに、モデルの部位数が増えれば増えるほど、計算すべきパラメータが増加するため、計算量も大きくなる。また、オクルージョン等によって、関節や部位が隠されている場合には、隠された関節や部位に関する位置や動きの情報を画像から得ることが難しいといった問題もある。なお、オクルージョンとは、移動物体の一部が物陰に隠れてしまい、撮影できるピクセル数が変化することである。

そこで、本発明は、このような課題を解決するものであり、画像中に存在する関節物体の情報（特性）を反映した新たな画像を生成する画像生成装置等を提供することを目的とする。

つまり、本発明は、画像中に存在する関節物体の画像から、画像中に存在する関節物体の部位形状、服装、動き等に関する情報を抽出し、抽出した情報を用いて、画像中に存在する関節物体の特性を反映した新たな画像を生成することを目的とする。

具体的には、本発明は、画像中に存在する関節物体の画像から、画像中に存在する関節物体の部位形状、服装、動き等に関する情報を抽出し、抽出した情報を用いて、時間的、空間的に内挿、外挿した画像を生成する技術を提供する。また、画像中に存在する関節物体の画像から、画像中に存在する関節物体の身体部位形状や動きに関する情報を抽出し、抽出した情報を用いて、関節物体を構成する部位が明確に目視できる画像を生成する技術をも提供する。さらに、画像中に存在する関節物体の画像から、画像中に存在する関節物体の部位形状、服装、動きに関する情報を抽出し、抽出した情報を用いて、得られた画像中に存在する関節物体の姿勢や動きとは異なる姿勢や動きを含む関節物体の画像を生成する技術をも提供する。

上記目的を達成するために、本発明に係る画像生成装置は、関節物体を示す画像から、前記関節物体の特性を反映した新たな画像を生成する画像生成装置であって、関節物体を撮像した画像を取得する画像入力手段と、取得された画像中の関節物体に対して、あらかじめ保持した関節を有するモデルを当てはめることによって、前記関節物体の関節又は関節間部位の位置に関する第１パラメータを算出するパラメータ算出手段と、前記第１パラメータを用いて、前記関節物体の関節間部位の形状情報、前記第１パラメータには含まれない関節の位置及び動きに関する第２パラメータを推定するモデル変換を行うモデル変換手段と、前記第２パラメータを用いて、前記関節物体の特性を反映した新たな画像を生成する画像生成手段とを備えることを特徴とする。

ここで、前記画像入力手段が時間的に連続した画像を取得する場合には、前記パラメータ算出手段は、前記画像を用いて、前記関節物体の関節又は関節間部位の位置及び動きに関する第１パラメータを算出してもよい。

なお、本発明は、このような画像生成装置として実現できるだけでなく、画像生成方法、その方法をステップとして含むプログラム、そのプログラムを記録したコンピュータ読み取り可能な記録媒体等としても実現することができる。

上記の方法により、画像中に存在する関節物体に対して関節モデルを当てはめることによって得られる大まかな関節及び部位の位置や動き情報から、より詳細な関節及び部位の位置や動き情報を推定することによって、画像中に存在する関節物体の部位形状、動きなどの情報を反映させた新たな画像を生成することが可能である。

具体的には、画像中に存在する関節物体の画像から時間的、空間的に内挿、外挿した画像を生成することが可能である。また、画像中に存在する関節物体の画像から関節物体の構成する部位が明確に目視できる画像を生成することが可能である。さらに、画像中に存在する関節物体の画像から、その関節物体の部位形状や服装等を反映した上で、画像中に存在する関節物体の姿勢や動きとは異なる姿勢や動きを含む関節物体の画像を生成することが可能である。また、さらに、オクルージョン等によって、一部の関節及び部位の位置や動き情報を画像から得ることができないような場合においても、画像から得ることができなかった関節及び部位の位置や動き情報を推定することによって、画像中に存在する関節物体の部位形状、動きなどの情報を反映させた新たな画像を生成することが可能である。

よって、本発明により、撮像された実画像から高精度な画像が生成され、特に、デジタルカメラやカメラ付き携帯電話、ビデオ装置等の撮影によって得られた映像を補完して精度を向上させる映像補完装置等として、その実用的価値は高い。

本発明の一実施形態は、関節物体を示す画像から、前記関節物体の特性を反映した新たな画像を生成する画像生成装置であって、関節物体を撮像した画像を取得する画像入力手段と、取得された画像中の関節物体に対して、あらかじめ保持した関節を有するモデルを当てはめることによって、前記関節物体の関節又は関節間部位の位置に関する第１パラメータを算出するパラメータ算出手段と、前記第１パラメータを用いて、前記関節物体の関節間部位の形状情報、前記第１パラメータには含まれない関節の位置及び動きに関する第２パラメータを推定するモデル変換を行うモデル変換手段と、前記第２パラメータを用いて、前記関節物体の特性を反映した新たな画像を生成する画像生成手段とを備えることを特徴とする。ここで、前記画像生成手段は、関節物体の特性を反映した新たな画像として、例えば、関節物体の関節又は関節間部位の位置、および、前記関節物体の関節間部位の色およびテクスチャ情報を反映した画像を生成する。これによって、前記第１のパラメータより、情報量が多い第２のパラメータを推定するか、もしくはオクルージョン等の原因により、画像への関節モデルの当てはめのみでは得る事ができない情報に関するパラメータを第２のパラメータとして推定することによって、画像中に存在する関節物体の情報（特性）を反映した新たな画像の生成が可能となる。

また、本発明のより好ましい形態は、前記画像入力手段は、時間的に連続した画像を取得し、前記パラメータ算出手段は、前記画像を用いて、前記関節物体の関節又は関節間部位の位置及び動きに関する第１パラメータを算出することを特徴とする。これによって、前記画像生成手段は、時間的に連続した画像に対して、前記第１パラメータ又は前記第２パラメータに含まれる動き情報をもとに生成した、時間的に内挿および外挿した画像を前記新たな画像として生成することができる。

また、本発明のより好ましい形態は、前記画像生成装置はさらに、前記画像生成手段によって生成された画像と目標画像との誤差を算出することにより、前記画像を評価する画像評価手段と、前記画像評価手段による評価結果に基づいて、前記第１パラメータを変更するパラメータ変更手段とを備え、前記モデル変換手段は、前記パラメータ変更手段で変更された第１パラメータに基づいて前記モデル変換を行うことを特徴とする。これによって、これによって、目標画像に近づくように前記パラメータを変更することによって、パラメータをより高精度に得ることができるため、さらに忠実に、画像中に存在する関節物体の特性を反映した新たな画像生成が可能となる。また、フレームレートの低い動画像から、よりフレームレートの高い動画像の生成が可能となる。

なお、前記画像生成手段は、前記関節物体を構成する各部位に異なる色またはテクスチャを貼り付けた画像を前記新たな画像として生成してもよい。これによって、関節物体の構成する各部位の状態や動きを、画像中に存在する関節物体の情報（特性）を反映した画像で把握することが可能となる。

また、前記画像生成手段は、前記関節物体の姿勢又は動きとは異なる姿勢又は動きを含む関節物体の画像に、前記関節物体の関節間部位のテクスチャを貼り付けた画像を前記新たな画像として生成してもよい。これによって、画像中に存在する関節物体の情報（特性）を反映した上で、他の姿勢、動き、形状に加工した画像の生成が可能となる。

また、本発明のより好ましい形態は、前記モデル変換手段は、前記パラメータ算出手段によって前記第１パラメータの一部が抽出不能な場合に、抽出不能なパラメータ値を推定することによって、前記第２パラメータを推定するモデル変換を行うことを特徴とする。これによって、オクルージョン等の原因により、画像への関節モデルの当てはめのみでは得る事ができない情報に関するパラメータを前記第２パラメータとして推定することによって、画像中に存在する関節物体の情報（特性）を反映した、新たな画像の生成が可能となる。

ここで、前記動きは、動きベクトル、加速度ベクトル、アフィンパラメータ及び近似曲線パラメータのいずれかによって表されるのが好ましい。これによって、関節を有する物体の動きに関するパラメータを得ることで、動き情報を用いて時間的に内挿および外挿する新たな画像の生成が可能となる。

また、前記モデル変換手段は、予め求められた前記第１パラメータと前記第２パラメータとの相関情報を保持し、前記相関情報を参照することで、前記第２パラメータを推定するモデル変換を行うのが好ましい。これによって、関節物体の関節の位置や動きに関する情報をあらかじめ学習しておくことによって、前記第２パラメータの推定が容易となる。

前記相関情報の例としては、前記第１パラメータの自己相関および第１パラメータと第２パラメータとの相互相関を含む構成としてもよい。あるいは、前記相関情報は、複数組の相互相関情報から、その重み付き線形和により算出されていてもよい。さらに、前記相関情報は、関節物体の種類又は関節物体ごとに、あらかじめ求められていてもよい。これによって、前記第２パラメータの推定がより高精度になる。

以下、本発明の実施の形態について、図面を用いて説明する。

（実施の形態１）
まず、本発明の実施の形態１について説明する。図１は、実施の形態１による処理手順の概略を示す図である。この画像生成装置は、画像中に存在する関節物体の関節の位置や形状、動きに関する情報（特性）を反映した、新たな画像の生成を可能とする装置であり、画像入力部１０１、パラメータ算出部１０２、モデル変換部１０３及び画像生成部１０４から構成される。

画像入力部１０１は、関節物体をデジタルカメラやビデオ装置等で撮像して得られる画像（つまり、コンピュータグラフィック等ではない実画像）を取得する入力インタフェース等である。ここでは、時系列に並んだ画像であっても構わない。

パラメータ算出部１０２は、あらかじめ用意した関節を有するモデルを画像に当てはめることによって、画像中に存在する関節物体の関節の位置を検出する処理部である。ここで、時系列に並んだ画像で、かつ画像中の関節物体が動いている場合は、その関節物体の関節、関節間部位の動きを検出することもできる。パラメータ算出部１０２の構成例を図２を用いて説明する。パラメータ算出部１０２は、入力された画像から関節物体領域を抽出する関節物体領域抽出部１０２１と、抽出した関節物体領域に対して、あらかじめ用意した関節モデルを当てはめるモデル当てはめ部１０２２と、関節モデルを当てはめることによって得た関節位置から、関節間部位の位置を算出する関節間部位位置計算部１０２３とで構成される。関節モデルを３次元で構成する場合は、３次元情報を２次元の画像空間へ射影する処理を行う。

モデル変換部１０３は、パラメータ算出部１０２で得られたパラメータから、関節物体の関節間部位の形状情報、そのパラメータには含まれない関節の位置及び動きに関するパラメータを推定するモデル変換を行う処理部であり、パラメータ算出部１０２で抽出した関節物体の関節位置やその動きを入力として、形状情報を含むさらに高精度な関節物体の関節位置や動きの情報を出力したり、オクルージョン等で画像から得ることができなかった関節の位置やその動きに関する情報を出力する。

画像生成部１０４は、モデル変換部１０３で推定した関節位置および、関節間部位の動き情報や形状に関係する情報を用いて、新たな画像を生成する処理部である。つまり、この画像生成部１０４は、関節物体の特性を反映した新たな画像として、例えば、関節物体の関節又は関節間部位の位置、および、関節物体の関節間部位の色およびテクスチャ情報を反映した画像を生成する。

時間的に内挿および外挿した新たな画像を生成する場合の画像生成部１０４の構成例を図３を用いて説明する。画像生成部１０４は、生成するフレーム（時刻）に対応した画素位置を動き情報をもとに決定する画素移動位置計算部１０４１と、画素を移動させた結果生じる画素の欠落等を補間する補間処理部１０４２と移動した画素の色情報を決定する画素値決定部１０４３とから構成される。

なお、時間的に内挿、外挿する画像を生成しない場合は、動き情報が不要なため、画素移動位置計算部１０４１と補間処理部１０４２は、なくてもよい。

次に、以上のように構成された本実施の形態の画像生成装置による関節物体の画像生成方法について、図４のフローチャートを用いて詳細に説明する。

まず、Ｓ２００１にて、画像入力部１０１は、撮影された画像の入力を受け付ける。
次に、Ｓ２００２にて、パラメータ算出部１０２の関節物体領域抽出部１０２１は、入力された画像に対して背景差分処理を行い、関節物体領域を切り出す。なお、ここでは、背景差分処理の代わりにフレーム間差分処理を行っても良い。さらに、対象とする関節物体が人物である場合は、Ｍ．ＯｒｅｎＣ．ＰａｐａｇｅｏｒｇｉｏｕＰ．ＳｉｎｈａＥ．Ｏｓｕｎａ ａｎｄ Ｔ．Ｐｏｇｇｉｏ“Ｐｅｄｅｓｔｒｉａｎ Ｄｅｔｅｃｔｉｏｎ ｕｓｉｎｇ ｗａｖｅｌｅｔ ｔｅｍｐｌａｔｅｓ”Ｐｒｏｃ．ｏｆ ＣＶＰＲ９７ｐｐ．１９３−１９９１９９７等を用いて、人物領域を切り出しても良い。さらに、エッジ検出処理を併用しても良い。また、背景差分処理を行う場合は、人物の存在しない背景となる画像を事前に準備しておく。動画を入力とする場合には、背景スプライトを生成し、生成した背景スプライト画像を用いることもできる。

次に、Ｓ２００３にて、パラメータ算出部１０２のモデル当てはめ部１０２２は、図５（ａ）に示すような関節モデル１００１を用いて、図５（ｂ）のモデル当てはめ結果１００２に示されるように、前記関節物体領域に対して、あらかじめ用意した関節を有するモデルを当てはめる。ここでは、Ｌｅｏｎｉｄ ＳｉｇａｌＳｉｄｈａｒｔｈ Ｂｈａｔｉａ、Ｓｔｅｆａｎ Ｒｏｔｈ、Ｍｉｃｈａｅｌ Ｊ．Ｂｌａｃｋ、Ｍｉｃｈａｅｌ Ｉｓａｒｄ、“Ｔｒａｃｋｉｎｇ Ｌｏｏｓｅ−Ｌｉｍｂｅｄ Ｐｅｏｐｌｅ”、２００４ ＩＥＥＥＣｏｍｐｕｔｅｒＳｏｃｉｅｔｙ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ ＣｏｍｐｕｔｅｒＶｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ ＲｅｃｏｇｎｉｔｉｏｎＶｏｌ．１，ｐｐ４２１−４２８、２００４などのモデル当てはめ手法を用いることができる。これによって、モデル当てはめ結果１００２の黒丸で示した各部分が、モデル当てはめによって検出した関節位置となる。すなわち、３次元の関節位置｛Ｘｗｉ（ｔ），Ｙｗｉ（ｔ），Ｚｗｉ（ｔ）｝および、関節の角度情報を得ることができる。なお、関節の角度情報は、関節モデル１００１で示した円柱の接続角度を用いることができる。また、時系列画像を入力した場合は、上記に加えて、入力画像ごとにモデル当てはめを行い、モデル当てはめ結果１００２で示した黒丸の３次元位置情報を時系列で得ることで、動き情報｛ΔＸｗｉ（ｔ），ΔＹｗｉ（ｔ），ΔＺｗｉ（ｔ）｝を得ることができる。

さらに、パラメータ算出部１０２の関節間部位位置計算部１０２３は、検出した３次元の関節位置１００２を用いて、図５（ｃ）に示されるように、隣接する関節どうしの中間点を関節間部位の代表位置１００３として算出する。なお、この代表位置１００３は、必ずしも中心位置である必要は無く、関節間部位ごとに関節間部位位置を算出しても良い。

なお、図５は、関節数および関節間部位の数を限定するものではない。また、頭部、手、足のように関節の先に存在する部位に関する中心位置については、首、手首、足首の関節位置とその角度情報から、規定値を用いて算出する。ここで、頭部の中心位置は、首位置から１５ｃｍ、手の中心位置は、手首位置から５ｃｍ、足は、足首位置から９ｃｍとした。もちろん、図６に示す例のように体型や性別ごとに、それぞれの値をデータベースとして用意しても構わない。

Ｓ２００４では、モデル変換部１０３は、入力と出力の関係を記述したモデル変換データを使用することによって、入力情報から出力情報を推定する。具体的には、パラメータ算出部１０２で抽出された関節物体の関節位置やその動きを入力として、モデル変換部１０３は、オクルージョン等で得られなかった関節の位置やその動きに関する情報を推定して出力する。さらに、パラメータ算出部１０２で抽出された関節物体の関節位置やその動きを入力として、形状情報を含むさらに高精度な関節物体の関節位置等の情報を出力する。ここでは、モデル変換データを相関情報によって生成する例について述べる。

まず、入力ベクトルをｘとする。ｘは、パラメータ算出部１０２で抽出された関節物体の関節位置やその動きに相当する。

Ｘは、入力ベクトルの集合である。Ｎは、データセットの数である。

また、

であり、ｍは関節位置や関節間の部位に相当する。

次に、出力ベクトルをｙとする。ｙは、推定したいパラメータであり、オクルージョン等で得られなかった関節の位置やその動きに関する情報でも良いし、形状情報を含むさらに情報量の多い関節物体の関節位置等の情報でも良い。

Ｙは、出力ベクトルの集合である。

であり、ｌは、関節位置、関節間部位に加えて、形状を表現するためのマーカ位置等の情報を含む。

次に、Ｘの自己相関行列を次のように決定する。

また、ＸとＹの相互相関行列を次のように決定する。

ここで、モデル変換行列をＣとすると、

で表すことができる。ここで、Ｃ_x ^*はＣ_xの逆行列、または疑似逆行列である。

そして、推定したいｙは、モデル変換行列を用いて次の式で表すことができる。

ここで、ｍ_xおよびｍ_yは、ｘおよびｙの平均ベクトルである。

（数８）より、ｘの平均ベクトルｍ_xおよびｙの平均ベクトルｍ_y、モデル変換行列Ｃを保持しておけば、モデル変換部１０３は、新たに与えられた入力ベクトルｘから、出力ベクトルｙを推定することが可能である。

ここで、具体的なｍ_x、ｍ_y、Ｃの決定方法について説明する。
ＸおよびＹとしては、モーションキャプチャデータを使うことができる。

モーションキャプチャは、実際の関節物体の関節位置などにマーカを取り付けて、そのマーカの３次元位置を時系列で得ることができるものである。

時刻ｔにおける入力ベクトルｘをマーカｉについて次のように記述すると、

として、位置情報と動き情報を表現できる。

動き情報については、動きベクトルの他に、動きベクトルを関数で近似しても良いし、アフィンパラメータでも良いし、加速度を用いても良い。

また、ｙも同様にマーカｋについて記述すると、

のように、位置情報と動き情報を表現できる。

ここでも、動き情報については、動きベクトルの他に、動きベクトルを関数で近似しても良いし、アフィンパラメータでも良いし、加速度を用いても良い。

ｘおよびｙは、これらのベクトルをマーカ順に並べたもので表現できる。
さらに、ｍ_x、ｍ_yは、マーカ順に並べたそれぞれのベクトルの平均である。

そして、モデル変換行列Ｃは、同時刻におけるｘとｙを組として、（数５）、（数６）、（数７）によって、計算することが可能である。なお、ｍ_x、ｍ_y、Ｃについては、あらかじめ計算しておいても良いし、データセットからその都度計算しても良い。

ここで、具体的なｘとｙの例について図７を用いて説明する。ｘについては、画像から比較的検出しやすいことが重要であるため、図７（ａ）のマーカ位置の例１１０１に示されるように、大まかな関節位置に取り付けたマーカデータを用いることが望ましい。そして、ｙについては、図７（ｂ）のマーカ位置の例１１０２に示されるように、黒丸で示したｘの関節位置に加えて、白丸で示した関節間部位等に取り付けたマーカデータも含むことができる。ここで、黒丸で示した関節位置を示すマーカと白丸で示した関節間部位に取り付けたマーカとの位置関係を用いれば、おおまかな形状を得ることができる。また、図７（ｃ）に示されるように、ｙについては、ＣＧ等で作成した形状データ１１０３に示されるように、ポリゴンデータを用いることもできる。これによって、モデル変換部１０３は、画像から検出しやすい関節位置のデータから、形状に関わる情報も含めた詳細なデータを推定することが可能である。

また、オクルージョンが生じやすい例として、人物や動物等が画像上を横向きに移動している場合がある。このような例では、左半身、もしくは右半身のどちらか一方の情報が得られない事がある。他にも、他の物体によって対象とする関節物体の一部が隠されたり、関節物体の情報の一部が得られない事もある。

このような状況に備えるためには、図８（ａ）の例に示されるように、ｘについては、マーカ位置の例３２０１の片半身に関するマーカデータを用いて生成し、図８（ｂ）の例に示されるように、ｙについては、マーカ位置の例３２０２の白丸で示すマーカを含む全身に関するマーカデータを生成することによって、片半身の情報から全身の情報を推定することが可能である。

なお、ｘ、ｍ_x、Ｃについては、あらかじめテスト画像等で、画像にモデルを当てはめた結果を用いて生成しても良い。さらに、ＣＧの関節位置データを用いても良い。また、ｙについては、ＣＧからポリゴンなどの形状データを含めたデータを用いても良い。さらに、モデル変換の例として、関節物体の体型や動作ごとに、上記ｍ_x、ｍ_y、Ｃを複数組用意しても良いし、オクルージョンが生じやすい例ごとに上記ｍ_x、ｍ_y、Ｃを複数組用意しても良い。

また、図９（ａ）及び（ｂ）に示されるマーカ位置の例３３０１及び３３０２のように、異なる姿勢間の相関情報を求めておくことによって、モデル変換部１０３は、入力された姿勢情報とは異なる姿勢情報を出力することも可能である。これにより、画像中に存在する関節物体の情報（特性）を反映した上で、他の姿勢に加工した画像の生成を可能とする。さらに、動き情報を含めて相関情報を求めておけば、モデル変換部１０３は、入力された動作とは異なる動作を出力することも可能である。これにより、画像中に存在する関節物体の情報（特性）を反映した上で、他の動きに加工した画像の生成を可能とする。

さらに、図９（ａ）及び（ｂ）に示されるマーカ位置の例３３０１及び３３０２のように、異なる姿勢間の相関情報において、ｘ、ｙそれぞれのベクトルの要素として位置情報に加えて、（数９）、（数１０）のように動き情報を含め、動き情報を含めたｘ、ｙから相関情報を求めておけば、モデル変換部１０３は、入力された動作とは異なる動作を出力することも可能である。これにより、画像中に存在する関節物体の情報（特性）を反映した上で、他の動きに加工した画像の生成を可能とする。さらに、上記相関情報のみならず、後述するように、モデル変換部１０３は、ニューラルネットワークを用いて、ＸとＹの関係を学習しても良い。さらに、上記相関情報のみならず、ニューラルネットワークを用いて、ＸとＹの関係を学習しても良い。

ここで、Ｓ２００４のモデル変換によって推定するベクトルｙの一部を、図７（ｂ）のマーカ位置１１０２とした場合は、マーカ位置を基準点としてベジェ曲面等を用いた３次元形状推定を行う。もちろん、他のパラメトリックな曲面を用いて近似しても構わないし、図７（ｃ）の１１０３のようにポリゴンを用いたデータで形状を表現しても構わない。なお、基準点を用いた曲線近似の方法は、栗原恒弥、安生健一「３ＤＣＧアニメーション」、技術評論社、Ｐ３６、２００３等に詳しく記載されている。

次に、Ｓ２００５にて、モデル変換部１０３は、後処理として、Ｓ２００４で推定した３次元形状を画像に投影する。これによって、関節物体の画像がメッシュ状に区切られた状態となる。ここでは、カメラパラメータが既知である場合の例について述べるが、３次元の実世界座標値を画像に投影できるものであれば良く、画像からカメラパラメータを推定する手法を用いても良い。３次元の実世界座標値を画像に投影する手法としては、徐、辻著、「３次元ビジョン」、９ページ、共立出版、１９９８年発行に詳細が記述されている。カメラパラメータを規定できれば、図１０に示されるように、Ｓ２００４で推定した３次元形状を画像上に投影することができる。なお、このステップＳ２００５は、画像生成部１０４が画像生成の前処理として行ってもよい。

ここで、３次元形状におけるある一点を画像上に投影した位置を（ｘｊ，ｙｊ）とする。そして、各ｊの位置（ｘｊ，ｙｊ）の画素における色情報（Ｒｊ，Ｇｊ，Ｂｊ）とする。ｊは画素である。これによって、推定した３次元位置に対応する画像上での位置や色情報を得ることができる。これによって、パラメータ算出Ｓ２００２で検出した関節間部位をもとに、それぞれのメッシュ領域がどの関節間部位に属するかを得ることができる。この効果として、図１１に示されるように、領域ごとに色分けを行ったり、テクスチャを変えて、関節物体の構成する各部位を明確に目視できる画像を生成することが可能である。

次に、Ｓ２００６では、画像生成部１０４は、Ｓ２００５で推定した関節物体の関節位置、動き、形状に関するパラメータを用いて画像生成を行う。ここでは、画像生成部１０４の画素移動位置計算部１０４１は、推定したベクトルｙの動き情報を用いて、メッシュに区切られた領域ごとに動きを計算する。動きは、アフィン動きを用いても良いし、領域ごとの平均動きベクトルでもよいし、動きを関数近似しても良い。そして、メッシュ状に区切られた領域ごとに得た動き情報を用いて画素を移動させて、新たな画像を生成する。

ここでは、図１２のように、２枚の時系列画像Ｉ（ｔ）１２０１とＩ（ｔ＋ｎ）１２０２を入力として、Ｉ（ｔ）１２０１とＩ（ｔ＋ｎ）１２０２との間に時間的に内挿する画像１２０３をＮ枚生成する場合について説明するが、入力の枚数を規定するものでは無い。

メッシュで区切られた領域について、領域Ａの動きパラメータをＭａ、領域Ｂの動きパラメータをＭｂとすると、内挿する画像１３０３は、Ｉ（ｔ）１３０１の画像をもとに、補間処理部１０４２及び画素値決定部１０４３が、領域Ａ、Ｂに属するそれぞれの画素を、Ｍａ／（Ｎ＋１），Ｍｂ／（Ｎ＋１）ずつ移動させることによって生成できる。

外挿する場合については、図１３（ａ）に示されるＩ（ｔ）１３０１と図１３（ｃ）に示されるＩ（ｔ＋ｎ）１３０２の間で生成した動き情報をもとに、補間処理部１０４２及び画素値決定部１０４３が、Ｉ（ｔ＋ｎ）１３０２の画像から、領域Ａ、Ｂに属するそれぞれの画素を、Ｍａ／（Ｎ＋１），Ｍｂ／（Ｎ＋１）移動させることによって生成できる。

なお、動きパラメータＭａとしては、平均動きベクトルｕ_A(ave)を、領域Ｂの動きパラメータＭｂとしては、平均動きベクトルをｕ_B(ave)を用いることができる。ただし、動きパラメータは、動きベクトルのみならず、アフィンパラメータ、加速度ベクトル、近似曲線パラメータでも構わない。

この時、領域Ａと領域Ｂが異なる方向に移動するために、図１３(ｄ)及び（ｅ）の画像例１３０４および１３０５のように関節位置および領域境界を中心に領域Ａと領域Ｂが分離したり、重なったりする危険性がある。これについては、以下のように処理を行うと効果的である。

まず、画素移動位置計算部１０４１は、隣接する領域ＡおよびＢにおいて、領域Ａの動きパラメータをＭａ領域Ｂの動きパラメータをＭｂとする。次に、各領域に属する画素ごとに、領域境界の画素までの最短距離ｄｉｓｔ_{j_min}を計算する。ここでｊは、画素である。なお、ｄｉｓｔ_{j_min}は、領域境界の重心までの距離でも構わない。

領域Ａに属する画素を例として説明する。
次のように、画素移動位置計算部１０４１は、各画素の動きパラメータＭａ＿ｊを決定する。ここでｊは画素である。

同様に、領域Ｂに属する画素については、

で表せる。

なお、非線形関数を利用しても良く、

のようにすることも可能である。

以上のような手法を用いることで、画像生成部１０４は、図１３（ｂ）の内挿画像１３０３のように、関節で接続された部位が分離せず、かつおよび領域どうしが重ならない条件で新たな画像を生成することが可能である。画像生成部１０４は、関節で接続された部位が分離しないように、関節位置を基準とした画素移動を行うことにより、新たな画像を生成することができる。

ここでは、領域境界付近の画素の動き情報がなだらかに変化するような条件であれば良い。

もちろん、外挿画像１２０４についても同様である。
また、さらに、画素を移動させることによって、新たに生成した画像の画素が一部欠ける場合があるが、この場合は、近傍画素から補間するか、もしくは、時刻ｔ＋ｎの画像から、時間的に逆向きの時刻ｔの画像を生成し、順方向から生成した画像と逆方向から生成した画像とを用いて画像を生成することも有効である。なお、補間方法としては、バイリニアやバイキュービック法、モルフォロジー処理等を用いることができる。

以上の処理により、本実施の形態における画像生成装置によって、関節を有する関節モデルの当てはめによって得た動きや関節の位置等に関するパラメータと画像から得た形状や服装等に関するパラメータとを用いて、画像中に存在する関節物体の情報（特性）を反映した、新たな画像の生成が可能である。

また、内挿画像１２０３、外挿画像１２０４と入力画像とを時間順に並べて再生することによって、フレームレートの低い動画像から、よりフレームレートの高い動画像の生成が可能である。

（実施の形態２）
次に、本発明の実施の形態２について説明する。図１４は、実施の形態２による処理手順の概略を示す図である。この画像生成装置は、実施の形態１に加えて、生成した画像を評価しながら関節物体の関節位置、形状、服装、動きに関するパラメータを変更することによって、画像中に存在する関節物体の関節の位置や形状、服装、動きに関する情報を反映した、より精度の高い新たな画像の生成を可能とする装置であり、画像入力部１０１、パラメータ算出部１０２、モデル変換部１０３、画像生成部１０４、画像評価部２０１及びパラメータ変更部２０２から構成される。なお、画像入力部１０１、パラメータ算出部１０２、モデル変換部１０３については、実施の形態１と同様であるので、説明は省略する。

画像生成部１０４では、入力画像Ｉ（ｔ）１２０１をもとに、入力画像Ｉ（ｔ）１２０１とＩ（ｔ＋ｎ）１２０２のから検出したパラメータを用いて、Ｉ（ｔ＋ｎ）に相当する時刻の画像を生成する。これを生成画像Ｉ'（ ｔ＋ｎ）とする。

画像評価部２０１では、図１５（ａ）〜（ｃ）に示されるように前記入力画像Ｉ（ｔ＋ｎ）３５０１と生成画像Ｉ'（ｔ＋ｎ）３５０２との誤差を計算する。なお、生成画像Ｉ'（ｔ＋ｎ）３５０２は、ポリゴン表示された面ごとにハッチングによって表示したが、実際には、Ｓ２００５で投影した画像上での画素値を用いても良い。

次に、パラメータ変更部２０２では、パラメータ算出部１０２で検出したパラメータである関節位置や動きパラメータを変更する。そして、変更したパラメータに従って、再度、モデル変換部１０３、画像生成部１０４、画像評価部２０１が各処理を行う。ここで、パラメータ変更部２０２では、モデル変換部１０３で推定したパラメータを変更しても良い。

これら処理を繰り返しながら、誤差が小さくなるパラメータを決定し、この時のパラメータを用いて、画像生成部１０４は、新たな画像を生成する。ここで、処理の繰返しは、必ずしもすべてのパラメータを網羅的に変更する必要は無く、誤差が閾値以下になるまで行ったり、規定回数繰り返したり、処理時間によって決定することができる。

処理時間によって決定する場合は、フレームレートと新たに生成する画像の枚数を考慮する必要がある。例えば、１０フレーム／秒で入力される画像に対し、フレーム間に２枚の画像を新たに生成することで、３０フレーム／秒の画像列をリアルタイムに生成することを考えた場合、少なくとも０．１秒の間に２枚の画像を生成する必要がある。この場合、一枚あたり０．０５秒で生成する必要があり、このような情報を処理時間の閾値として用いることが可能である。

次に、以上のように構成された本実施の形態の画像生成装置による関節物体の画像生成方法について、図１６のフローチャートを用いて詳細に説明する
Ｓ２１０１からＳ２１０５までは、実施の形態１と同様であるため、説明を省略する。

Ｓ２１０６では、画像生成部１０４は、入力画像Ｉ（ｔ）１４０１をもとに、入力画像Ｉ（ｔ）１４０１とＩ（ｔ＋ｎ）１４０２から検出したパラメータを用いて、Ｉ（ｔ＋ｎ）に相当する時刻の画像を生成する。これをＩ'（ｔ＋ｎ）とする。ここで、Ｉ（ｔ＋ｎ）を目標画像と呼ぶ。

Ｉ'（ｔ＋ｎ）の生成方法について述べる。ここでは、実施の形態１と同様の手法により、入力画像Ｉ（ｔ）をもとに、Ｓ２１０３とＳ２１０４にて検出したパラメータを用いて、時刻ｔ＋ｎの予測画像Ｉ'（ｔ＋ｎ）を生成する。

Ｓ２１０６では、画像評価部２０１は、評価値として、目標画像Ｉ（ｔ＋ｎ）３４０１と予測画像Ｉ'（ｔ＋ｎ）３４０２との誤差を計算する。評価値の計算方法としては、目標画像Ｉ（ｔ＋ｎ）３５０１の画素値と、生成画像Ｉ'（ｔ＋ｎ）３５０２の画素値との差を計算する。目標画像Ｉ（ｔ＋ｎ）と生成画像Ｉ'（ｔ＋ｎ）３５０２とのオーバーラップが多く、かつ画素値が近ければ、目標画像に近いと判断することが望ましい。そこで、次のような評価値を用いることができる。

評価値の計算方法としては、

等を用いることができる。もちろん、上式に限らず、目標画像と予測画像との誤差を評価する計算方法であれば良い。

次に、Ｓ２１０７では、画像評価部２０１は、Ｅｒｒ値があらかじめ設定した評価値を満たしているか否かを計算する。ここで、Ｅｒｒ値があらかじめ設定した評価値を満たしていない場合は、現時点において、最も評価値に近い値とその時のＳ２１０４及びＳ２１０５で検出したパラメータとを組として保持する。反対に、Ｅｒｒ値があらかじめ設定した評価値を満たしている場合は、Ｓ２１０９の処理を行う。もちろん、すべてのパラメータを網羅的に処理し、評価値が最も良いパラメータを決定してからＳ２１０９の処理を行っても良い。ただし、リアルタイム処理等、処理時間を考慮する場合は、規定回数繰返したり、規定した処理時間に達するまでとしても良い。この場合は、繰返し処理の中で最も評価値に近いパラメータを選択する。

次に、Ｓ２１０８では、パラメータ変更部２０２は、Ｓ２１０３で検出したモデル当てはめの結果を変更する。そして変更されたパラメータを入力として、再度Ｓ２１０４以降を繰り返す。

この時、図１７のような階層表現（関節間部位の接続関係）を用いることも効果的である。これによって、モデル当てはめの結果に対して階層的な接続関係を得ることができる。この効果としては、例えば、胴体のパラメータを先に決定し、次に、左右上腕、左右大腿、頭のように、胴体と接続されている関係を用いて、上位の階層に属する関節位置から順にパラメータを変更することで、効率的にパラメータを変更、決定することができることにある。すなわち、効率的に誤差が小さくなるパラメータを決定することができる。

そして、Ｓ２１０９では、画像生成部１０４は、上記階層表現（関節間部位の接続関係）を利用した画像生成を行うことができる。上位の階層にある関節間部位の動きパラメータをＭｂ、上位の階層と関節によって接続された下位階層にある関節間部位の動きパラメータをＭａとすると、（数１１）から（数１４）で示した、各画素の動きパラメータは、次式のように書き換えられる。

これによって、上位階層の関節間部位の動きが支配的になるため、より関節物体の構造を反映した画像を生成することができる。

また、さらに、あらかじめ用意した関節モデルの関節間距離を変更するように、パラメータを変更することも可能である。

その場合には、Ｓ２１０９では、画像生成部１０４は、Ｓ２１０７で最終的に決定したパラメータを用いて画像を生成する。この時の画像生成方法は、実施の形態１におけるＳ２００５と同様であり、時間的に内挿、外挿した画像を生成することもできるし、関節物体の構成する各部位を明確に目視できるように、各部位に異なる色やテクスチャ等を貼り付けた画像を生成することもできる。図１５（ｂ）の画像３５０２に示されるように、画像評価前の画像生成時には、実際の目標画像と一部ずれがあったとしても、（数２２）のような評価に基づいてパラメータを変更することによって、パラメータ変更後の画像３５０３に示されるように、目標画像とのずれを最小限に押さえた画像を生成することができる。これにより、より精度の高い新たな画像を生成することができる。

以上の処理により、実施の形態１の効果に加えて、生成した画像を評価しながら関節物体の関節位置、形状、服装、動きに関するパラメータを変更することによって、画像中に存在する関節物体の関節の位置や形状、服装、動きに関する情報を反映した、より精度の高い新たな画像の生成が可能となる。

（実施の形態３）
次に、本発明の実施の形態３について説明する。実施の形態３は、実施の形態１及び２における別の動作例である。つまり、実施の形態３は、実施の形態１および２において、画像から関節モデルのパラメータの一部が抽出不能な場合に、モデル変換を行うことによって、検出不能なパラメータを推定し、推定したパラメータを用いて画像生成を行う動作例に相当する。ここでは、図１に沿って説明する。もちろん、図１４と同様に、生成した画像を目標画像との誤差により評価する画像評価ステップと、その評価結果に基づいて、パラメータの値を変更するパラメータ変更ステップとを追加しても構わない。

画像入力部１０１、パラメータ算出部１０２、画像生成部１０４については、実施の形態１と同様であるので、説明は省略する。

パラメータ算出部１０２では、あらかじめ用意した関節を有する関節モデル１００１を図５（ｂ）のモデル当てはめ結果１００２のように画像に当てはめることによって、画像中に存在する関節物体の関節の位置を検出する。しかしながら、画像中を左右に横切る場合や、遮蔽物によって一時的に関節物体の一部が隠されてしまう場合においては、関節物体の関節位置やその動きに関する情報の一部を得られない事がある。

図８を用いて、画像中を人物が歩きながら左右に横切る場合について説明する。この場合、図８（ａ）に示されるマーカ位置の例３２０１の黒丸で示す部位は、画像から検出することが可能であるが、一方、図８（ｂ）に示されるマーカ位置の例３２０２の白丸で示す部位は、動作の途中で右半身の一部が左半身の一部を遮蔽するために、画像から検出不能な場合がある。この場合、パラメータ算出部１０２では、関節モデルが有する関節位置のパラメータをすべて正確に検出することが難しい、また、遮蔽された関節位置は、検出したとしても信頼性が低い。

ここで、（数２）を用いて説明すると、遮蔽によって一部の関節位置が得られない場合は、ベクトルの要素の一部が情報として得られないことになる。この場合は、画像から検出できなかった関節位置を表現するＸ_inputの要素に次のように０を入れることで、モデル変換部１０３は、実施の形態１と同様の計算を行う。

また、以下の方法を用いることで、検出不能なパラメータを推定することができる。

人物や動物を例として挙げると、画像中に存在する関節物体の片半身のみの情報しか得ることが出来ない場合がある。

このような場合は、モデル変換部１０３は、（数１）の入力ベクトルの集合を、図８（ａ）のマーカ位置の例３２０１の黒丸で示すデータのように、片半身のみのデータを用いて生成し、（数３）の出力ベクトルの集合を、図８（ｂ）のマーカ位置の例３２０２の黒丸と白丸のように全身データとする、もしくは、図８（ｂ）のマーカ位置の例３２０２の白丸のように入力ベクトルとは反対の片半身データを用いて、（数５）〜（数８）のモデル変換行列を生成する。これによって、片半身の入力データから全身の関節位置、もしくはその動きに関する情報を得ることができる。推定誤差を図１８に示す。図１８は、さまざまな動作を時系列で行った場合に、右半身の関節位置の入力情報から、入力とは反対側の左半身における関節位置である、左肩、左肘、左手首、左膝、左足首の位置を推定した場合の誤差平均を示したものである。画像からは得られない情報を５センチ程度の誤差で得られるため、画像生成を目的とした場合は十分な精度である。さらに、出力ベクトルｙに形状情報を含めて推定することも可能である。

このように、片半身のみのデータから、全身のデータを推定するモデル変換は、例えば、関節物体の移動方向が画像上で水平方向に動いている場合に特に有効である。そこで、モデル変換部１０３は、画像入力部１０１でオプティカルフロー等を用いて、物体の移動方向算出を行い、その移動方向が水平方向であれば、このモデル変換手法を選択するようにしても良い。

また、肘や膝などの関節位置が抽出できない場合や、図１９に示されるように他の遮蔽物３６０２によって、３６０１のように足首位置等が検出できない場合等、さまざまな状況を想定して、状況に応じたモデル変換行列を用意することで、モデル変換部１０３は、関節位置およびその動きや形状の高精度な推定が可能となる。状況をＳ個想定した場合は、次式のようにモデル変換行列をＳ個用意することになる。

以上の処理により、実施の形態１および２の効果に加えて、モデル変換部１０３によって、オクルージョン等で画像から検出困難なパラメータをモデル変換によって推定することで、画像のみからでは抽出不能なパラメータを用いた新たな画像の生成を可能とするものである。

さらに、（数９）（数１０）のように動き情報を用いて、（数２１）で動き情報を含めた相関情報を求めておけば、モデル変換部１０３は、入力された動作とは異なる動作を出力することも可能である。この場合、入力ベクトルｘと出力ベクトルｙをそれぞれ、異なる動作や姿勢に対応するように相関情報を求めておけばよい。これにより、画像中に存在する関節物体の情報（特性）を反映した上で、他の姿勢や動作に加工した画像の生成を可能とする。

これにより、本実施の形態における画像生成装置によって、画像中に存在する関節物体の情報（特性）を反映した上で、他の動きに加工した画像の生成が可能となる。

（実施の形態４）
次に、本発明の実施の形態４について説明する。図２０は、実施の形態４による処理手順の概略を示す図である。この画像生成装置は、実施の形態１〜３に加えて、画像中に存在する関節物体の情報（特性）を反映した上で、他の形状に加工した画像の生成を可能とする装置であり、画像入力部１０１、パラメータ算出部１０２、モデル変換部１０３、画像生成部１０４及びユーザ設定部３０１から構成される。ここでは、実施の形態１に沿って説明するが、すべての実施の形態で利用可能である。なお、画像入力部１０１、パラメータ算出部１０２、モデル変換部１０３については、実施の形態１と同様であるため、説明は省略する。

ここでは、モデル変換部１０３にて、パラメータ算出部１０２で抽出された関節物体の関節位置やその動きを入力として、形状情報を含むさらに高精度な関節物体の関節位置等の情報を出力する場合について説明する。

ユーザ設定部３０１は、モデル変換部１０３で得られた形状情報を含むパラメータの一部をユーザが変更する。ここでは、太らせる、痩せさせる、といったパラメータを変更するように画面表示することも可能である。

画像生成部１０４は、ユーザ設定部３０１で設定した形状情報を含むパラメータとモデル変換部１０３で得たパラメータとを用いた画像生成を行うことで、入力された関節物体の形状、動き、色などに関する情報を反映した上で、形状を変更した画像を生成する。

次に、以上のように構成された本実施の形態の画像生成装置による関節物体の画像生成方法について、図２１のフローチャートを用いて詳細に説明する。

Ｓ２２０１からＳ２２０５までは、実施の形態１と同様であるため、説明を省略する。
Ｓ２２０４でモデル変換部１０３が推定したパラメータｙは、関節位置やその動きに関する情報に加えて、関節間部位に取り付けたマーカの位置情報も得ることができる。これはすなわち、関節間部位の形状を表現していることになる。

Ｓ２２０７では、ユーザ設定部３０１は、特に関節間部位に取り付けられたマーカ位置情報等、形状に関するパラメータを、ユーザからの指示に従って、変更する。人物や動物の場合を例に挙げると、腹の上に取り付けたマーカの位置情報を変更することによって、腹の大きさを変更することができる。

人物や動物の場合を例に挙げると腹の上に取り付けたマーカの位置情報を変更することによって、図２２に示されるように、腹の大きさを変更することができる。図２３にユーザが変更するパラメータの設定画面の例を示す。ユーザが変更可能なパラメータは、例えば、図２３のＡ〜Ｅのように、あらかじめ制御可能な関節間部位位置を決定しておくことが望ましい。具体的には図７（ｂ）のｙのマーカ位置の例１１０２に示されるように、白丸で示した形状に関連するマーカ位置を制御可能な関節間部位位置とすることで、ユーザ設定部３０１は、入力画像の形状を関節間部位ごとに変化させることが可能である。そして、ユーザは、形状パラメータ制御バー３７０２を操作することによって、関節間部位ごとに形状を変化させる。このように、表示装置で表示するようにすることで、ユーザが簡単に形状を変更することができる。

次に、Ｓ２２０６では、画像生成部１０４は、Ｓ２２０４で推定したパラメータｙと、Ｓ２２０７で変更した形状に関するパラメータとを用いて画像を生成する。図２２（ａ）に示されるように、入力画像１７０１を入力として、Ｓ２２０７で形状に関するパラメータを変更することによって、入力画像の情報を反映した上で、図２２（ｂ）に示されるように、一部の形状を加工もしくは変更した出力画像１７０２を得ることができる。

ここで、Ｓ２２０７について図２４を用いて詳しく説明する。Ｓ２２０４にて、図２４（ａ）における形状パラメータ１８０５が得られたとする。この時、画像生成部１０４は、両端の関節位置を端点として、形状パラメータ１８０５の点を制御点としたベジェ曲線を生成する。そして、Ｓ２２０７にて、ユーザ設定部３０１が取得したユーザからの指示に従って、画像生成部１０４は、形状パラメータ１８０５を図２４（ａ）の矢印のように変更する、すなわち、図２３の形状パラメータ制御バー３７０２を操作すると、両端の関節位置と変更された形状パラメータ１８０５の点とを通るベジェ曲線１８０６を生成して、新たな画像を生成する。この時、色情報やテクスチャ情報は、Ｓ２２０５で得た色、テクスチャ情報を用いる。

なお、領域の輪郭点すべてをベジェ曲線の制御点とすることも可能であるし、ベジェ曲線の代わりとして、スプライン補間などのパラメトリックに曲線を処理する手法を使うことも可能である。また、図２３の形状パラメータ制御バー３７０２は、図７（ｂ）のマーカ位置の例１１０２に示した白丸の点の位置を変更させることになり、これは、図２４における形状パラメータ１８０５に相当する。

以上の処理により、本実施の形態における画像生成装置により、画像中に存在する関節物体の情報（特性）を反映した上で、他の形状に加工した画像の生成が可能となる。

（実施の形態５）
次に、本発明の実施の形態５について説明する。実施の形態５は、実施の形態１〜４における別の動作例である。つまり、実施の形態５では、実施の形態１〜４で説明した処理に加えて、パラメータ算出ステップ、モデル変換ステップで動き情報を用いる動作例に相当する。ここでは、実施の形態１を例として説明するが、すべての実施の形態において適用可能である。また、入力画像は、時系列に並んだ複数枚の画像であることが望ましい。なお、時系列に並んだ画像を３次元に並べた時空間画像としても良い。

図１のパラメータ算出部１０２およびモデル変換部１０３で用いることができる動き情報について説明する。パラメータ算出部１０２では、モデル当てはめ手法を用いて、３次元の関節位置および、角度情報を得ることができる。ここで、時系列画像を入力した場合は、上記に加えて各時刻における動き情報を得ることができる。さらに、モデル変換部１０３においても、関節位置の動き情報に加え、関節間部位の動き情報を得ることができる。以下に、上記動きベクトルに加えて、加速度ベクトルを用いた例を説明する。

例えば、Ｔ枚の時系列に並んだ画像を入力とした場合、パラメータ算出部１０２は、各関節位置、もしくは関節間部位位置ｉの動きベクトル｛ΔＸｗｉ（ｔ），ΔＹｗｉ（ｔ），ΔＺｗｉ（ｔ）｝を、Ｔ−１個得ることができる。この時、３枚以上の時系列画像が入力された場合は、次式のように加速度ベクトルｓを得ることができる。なお、ｖは動きベクトルである。

計算した加速度ベクトルを用いた場合の画像生成方法を説明する。実施の形態１におけるＳ２００６の画像生成では、画像中の関節物体が一定速度で動いている場合における、時間的に内挿、外挿する画像の生成例ついて説明した。これに加えて、加速度ベクトルを用いて、実施の形態１における動きパラメータを（ｓ／（Ｎ＋１）＋ｕ）／（Ｎ＋１）とすることで、加速度を加味した時間的に内挿、外挿した画像を生成することが可能である。具体的には、関節物体の動きが急激に早くなったり、急激に止まったりといった場合に、その加速度を反映して、内挿、外挿した画像を生成することが可能となる。

次に、動きベクトルの代わりに、Ｎ次関数をフィッティングした場合について述べる。Ｔ枚の時系列に並んだ画像を入力とした場合、パラメータ算出部１０２は、Ｔ個の関節位置情報や画像上での位置情報に対してＮ次の関数でフィティングすることができる。これにより、フィッティングした関数の値に沿うように、時間的に内挿、外挿した画像を生成することが可能である。具体的には、関数でフィッティングすることによって、より滑らかな動きを表現することが可能となるため、内挿、外挿した画像を用いてより滑らかな動画を生成することが可能となる。

次に、動きベクトルの代わりに、アフィンパラメータを用いる場合について述べる。Ｔ枚の時系列に並んだ画像を入力とした場合、パラメータ算出部１０２及びモデル変換部１０３は、Ｔ個の関節位置情報や画像上での位置情報を用いて、アフィンパラメータを推定することが可能である。

ここでは、画像上での位置情報を用いて、パラメータ算出部１０２がアフィンパラメータを推定する例について説明する。時刻ｔにおける位置を（ｘ、ｙ）、時刻ｔ＋１でその画素が移動した先を（ｘ'ｙ'、）とすると、アフィン変換は、次のように表すことができる。

ここで、アフィンパラメータａ〜ｆを（数９）（数１０）におけるΔｘ、Δｙ、Δｚの代わりとして用いれば、動きベクトルの代わりにアフィンパラメータを用いたモデル変換を行うことができる。これによって、動きパラメータとして、動きベクトルの代わりにアフィンパラメータを用いた時間的に内挿、外挿した画像を生成することができる。アフィンパラメータは、回転運動を含む動きの表現が可能であり、腕や足の回旋運動の表現に適している。

特に、回転運動を含む動きに有効である。さらに、実施の形態２の図１７で説明したように、関節モデルを階層的に表現し、それに対しアフィンパラメータを組み合わせることも有効である。階層的に表現すれば、関節間部位の階層的な接続関係を得ることができる。この効果としては、例えば、胴体のパラメータを先に決定し、次に、左右上腕、左右大腿、頭のように、胴体と接続されている関係を用いて、上位の階層に属する関節位置から順にパラメータを変更することで、効率的にパラメータを変更、決定することができることにある。さらに、上位階層の関節間部位の動きが支配的になるため、より関節物体の構造を反映した画像を生成することができる。

以上で説明した動きパラメータの決定方法により、実施の形態１から４で説明した効果に加えて、効率的に高精度な画像を生成可能である。

（実施の形態６）
次に、本発明の実施の形態６について説明する。実施の形態６では、実施の形態１〜５におけるモデル変換部１０３に置き換わる別のモデル変換部（あるいは、モデル変換部１０３をより具体化したもの）について詳しく説明する。ここでは、実施の形態１に沿って説明するが、すべての実施の形態において適用可能である。

実施の形態１では、モデル変換部１０３は、入力と出力の関係を記述したモデル変換データを使用することによって、入力情報から出力情報を推定する。具体的には、パラメータ算出部１０２で抽出された関節物体の関節位置やその動きを入力として、オクルージョン等で得られなかった関節の位置やその動きに関する情報を推定して出力する。さらに、パラメータ算出部１０２で抽出された関節物体の関節位置やその動きを入力として、形状情報を含むさらに高精度な関節物体の関節位置等の情報を出力する。

このようなモデル変換部１０３の具体例として、まず、図２６に示すニューラルネットワークを用いたモデル変換部１０３ａについて説明する。このモデル変換部１０３ａは、パラメータ算出部１０２から出力されるパラメータを取得する入力部１０３１と、入力部１０３１によって取得されたパラメータを入力ベクトルとして出力ベクトルに変換するニューラルネットワーク１０３２と、ニューラルネットワーク１０３２からの出力ベクトルを画像生成部１０４に出力する出力部１０３３とから構成される。

ニューラルネットワーク１０３２については、（数１）〜（数４）に示した入力ベクトルｘと出力ベクトルｙを用いて、誤差逆伝播法によってニューラルネットワークの学習を行っておく。学習が終了すれば、モデル変換部１０３ａは、ｘの入力に対して推定したｙを出力することができる。なお、図２６のニューラルネットワークは３層としたが、階層数を限定するものではない。また、ニューラルネットワーク１０３２について、予め学習させておくのではなく、学習させながら使用してもよい。

学習過程においては、具体的には、入力ベクトルｘと出力ベクトルｙの組を用いて、図２６に示されるように階層間の結合荷重ｗを変更する。

ここで、ｚは各階層における出力値、ｉはニューラルネットワークの素子番号、ｌは、階層番号を示す。なお、

ここで、ｆ（ｘ）はシグモイド関数、ｎ^lは、階層ｌの素子数である。

上記、（数２４）〜（数２６）を用いて繰返し学習を行うことにとって、結合荷重ｗを得ることができる。結合荷重ｗを得ることができれば、モデル変換部１０３ａにより、入力ベクトルｘに対して、出力ベクトルｙを得ることができる。

これにより、パラメータ算出部１０２で抽出された関節物体の関節位置やその動きを入力ベクトルｘとして、モデル変換部１０３ａは、オクルージョン等で得られなかった関節の位置やその動きに関する出力ベクトルｙを推定することができる。さらに、パラメータ算出部１０２で抽出された関節物体の関節位置やその動きを入力ベクトルｘとして、形状情報を含むさらに高精度な関節物体の関節位置等に関する出力ベクトルｙを推定することが可能となる。なお、誤差逆伝播法については、アービブ「ニューラルネットと脳理論」、ｐ４３７、サイエンス社、１９９２年に詳しく説明されている。

次に、実施の形態１で説明した相関情報を複数の相関情報の線形和で表現する方法について説明する。図２７は、複数の相関情報の線形和を相関情報とするモデル変換部１０３ｂの構成を示す機能ブロック図である。このモデル変換部１０３ｂは、複数の相関情報を保持する相関情報記憶部１０３５と、パラメータ算出部１０２から出力されたパラメータを取得する入力部１０３１と、入力部１０３１で取得されたパラメータに対して、相関情報記憶部１０３５に保持された複数の相関情報の線形和を用いて変換する変換部１０３４と、変換部１０３４で得られたパラメータを画像生成部１０４に出力する出力部１０３３とから構成される。なお、相関情報記憶部１０３５は、関節物体の体型や動作ごとに、（数１）〜（数１０）で説明したｍ_x、ｍ_y、Ｃを複数組保持しても良いし、オクルージョンが生じやすい例ごとに、ｍ_x、ｍ_y、Ｃを複数組保持しても良い。

ここでは、図２５を用いて関節物体の体型ごとにＰ個の相関情報を用いた例について説明する。図２５の相関情報Ｃ¹〜Ｃ^pは、それぞれ体型別相関行列を生成する例である。それぞれの体型を持った関節物体ごとに、モーションキャプチャデータで得た３次元位置情報や動き情報を用いて入力ベクトルｘと出力ベクトルｙとを得る。そして、それぞれのｘとｙとを用いて相関行列Ｃを生成する。

そして、（数５）は体型ごとに用意したＮ^p組の入力ベクトルｘを用いて、以下のように書き換えることができる。

また、（数６）は、体型ごとに用意したＮ^p組の入力ベクトルｘと出力ベクトルｙを用いて、以下のように書き換えることができる。

そして、（数７）は、（数２７）と（数２８）より、

で表すことができる。ここで、Ｃ_x ^p*はＣ_x ^pの逆行列、または疑似逆行列である。

そして、関節物体の体型ごとに推定するｙ^p _expectedは、モデル変換行列を用いて次の式で表すことができる。

そして、最終的に推定したい出力ベクトルｙは、Ｐ個の推定結果の線形和によって表現することができる。

ここで、

である。α_k，ｍ_x ^k，Ｃ_x ^kは、ＥＭアルゴリズムで推定することができる。

ＥＭアルゴリズムについては、上田修功「ベイズ学習Ｉ−統計的学習の基礎―」、電子情報通信学会誌、Ｖｏｌ．８５Ｎｏ．４ｐｐ．２６５−２７１，２００２に詳しく記載されている。

このように、複数の体型ごとに相関行列を求めておき、それを相関情報記憶部１０３５が保持し、変換部１０３４がその線形和を用いてモデル変換を行うことで、モデル変換部１０３ｂは、さまざまな体型に対しても、複数の体型の線形和でモデル変換を行える効果を奏する。

以上により、実施の形態１〜５の効果に加えて、対象とする関節物体の体型のバリエーションに頑健となる。

以上、本発明に係る画像生成装置について、実施の形態及び変形例に基づいて説明したが、本発明は、これらの形態や例に限定されるものではない。各実施の形態や変形例における構成要素を適宜組み合わせて実現される別の形態や、各実施の形態に対して当業者が思いつく変形を施して得られる形態も本発明に含まれる。

なお、特許請求の範囲と実施の形態における構成要素の対応は次の通りである。つまり、特許請求の範囲における「画像入力手段」、「パラメータ算出手段」、「モデル変換手段」、「画像生成手段」、「画像評価手段」、「パラメータ変更手段」の一例が、それぞれ、実施の形態における画像入力部１０１、パラメータ算出部１０２、モデル変換部１０３、画像生成部１０４、画像評価部２０１、パラメータ変更部２０２である。ただし、特許請求の範囲における構成要素は、これら実施の形態における対応する構成要素だけに限定されるのでなく、その等価物も含まれる。

本発明は、画像生成装置として、特に、画像処理によって、人物や動物等を含む関節物体の画像を生成する装置として、例えば、画像中に存在する関節物体の動きや関節の位置等に関するパラメータと形状、服装等に関するパラメータとを用いて、画像中に存在する関節物体の特性を反映した新たな画像を生成する装置、アニメーション生成装置、デジタルカメラ・カメラ付き携帯電話・ビデオ装置等で撮影した映像を補完して精度を向上させる映像補完装置、ゲーム・映画・コンピュータグラフィックス用の静止画や動画を生成する装置として、有用である。

本発明の実施の形態１における画像生成装置の構成を示す図 パラメータ算出部の詳細な構成を示す図 画像生成部の詳細な構成を示す図 画像生成装置の動作を示すフローチャート 関節モデルを示す図 頭、手、足の位置を示すデータベースの例を示す図 入力データと出力データを示す図 入力、出力ベクトルの例を示す図 入力、出力ベクトルの例を示す図 ３次元情報の画像への投影例を示す図 画像生成例を示す図 内挿、外挿画像の例を示す図 画像生成方法を示す図 本発明の実施の形態２における画像生成装置の構成を示す図 画像評価部の動作を説明する図 画像生成装置の動作を示すフローチャート 関節モデルの階層表現の例を示す図 本発明の実施の形態３による関節位置の推定結果を示す図 画像の一部が遮蔽されている例を示す図 本発明の実施の形態４における画像生成装置の構成を示す図 画像生成装置の動作を示すフローチャート 画像生成例を示す図 パラメータ設定画面の例を示す図 画像生成方法を示す図 本発明の実施の形態６による相関行列の例を示す図 モデル変換部の別の構成例を示す図 モデル変換部の別の構成例を示す図

符号の説明

１０１ 画像入力部
１０２ パラメータ算出部
１０３、１０３ａ、１０３ｂ モデル変換部
１０４ 画像生成部
２０１ 画像評価部
２０２ パラメータ変更部
３０１ ユーザ設定部
１０２１ 関節物体領域抽出部
１０２２ モデル当てはめ部
１０２３ 関節間部位位置計算部
１０３１ 入力部
１０３２ ニューラルネットワーク
１０３３ 出力部
１０３４ 変換部
１０３５ 相関情報記憶部
１０４１ 画素移動位置計算部
１０４２ 補間処理部
１０４３ 画素値決定部

Claims (19)

1. 関節物体を撮像した画像から、前記関節物体の特性を反映した新たな画像を生成する画像生成装置であって、
   関節物体を撮像した画像を取得する画像入力手段と、
   取得された画像中の関節物体に対して、あらかじめ保持した関節を有するモデルを当てはめることによって、前記関節物体の関節又は関節間部位の位置に関する第１パラメータを算出するパラメータ算出手段と、
   前記第１パラメータに基づいて前記関節物体の画像の領域分割を行うことによって、前記関節物体の関節間部位の色及びテクスチャ情報の少なくとも一つに関する第２パラメータを抽出する領域分割手段と、
   前記パラメータ算出手段によって算出された第１パラメータと前記領域分割手段によって抽出された第２パラメータとを用いて、前記関節物体の特性を反映した新たな画像を生成する画像生成手段と
   を備えることを特徴とする画像生成装置。
2. 前記画像生成手段は、関節物体の特性を反映した新たな画像として、関節物体の関節又は関節間部位の位置、および、前記関節物体の関節間部位の色およびテクスチャ情報を反映した画像を生成する
   ことを特徴とする請求項１記載の画像生成装置。
3. 前記画像入力手段は、時間的に連続した画像を取得し、
   前記パラメータ算出手段は、前記画像を用いて、前記関節物体の関節又は関節間部位の位置及び動きに関する第１パラメータを算出する
   ことを特徴とする請求項１記載の画像生成装置。
4. 前記画像生成装置はさらに、
   前記画像生成手段によって生成された画像と目標画像との誤差を算出することにより、前記画像を評価する画像評価手段と、
   前記画像評価手段による評価結果に基づいて、前記第１パラメータを変更するパラメータ変更手段とを備え、
   前記領域分割手段は、前記パラメータ変更手段で変更された第１パラメータに基づいて前記領域分割を行い、
   前記画像生成手段は、前記パラメータ変更手段によって変更された第１パラメータと前記領域分割手段によって抽出された第２パラメータとを用いて、前記画像を生成する
   ことを特徴とする請求項１記載の画像生成装置。
5. 前記画像生成装置はさらに、前記第１パラメータを用いて、前記関節物体の関節間部位の形状情報、前記第１パラメータには含まれない関節の位置及び動きに関する第３パラメータを推定するモデル変換手段を備え、
   前記画像生成手段は、前記第１パラメータと前記第２パラメータと前記第３パラメータとを用いて、前記関節物体の特性を反映した新たな画像を生成する
   ことを特徴とする請求項１記載の画像生成装置。
6. 前記画像生成手段は、時間的に連続した画像に対して、前記第１パラメータに含まれる動き情報をもとに生成した、時間的に内挿および外挿した画像を前記新たな画像として生成する
   ことを特徴とする請求項３記載の画像生成装置。
7. 前記画像生成手段は、前記関節物体を構成する各部位に異なる色またはテクスチャを貼り付けた画像を前記新たな画像として生成する
   ことを特徴とする請求項１記載の画像生成装置。
8. 前記画像生成手段は、前記関節物体の姿勢又は動きとは異なる姿勢又は動きを含む関節物体の画像に、前記関節物体の関節間部位のテクスチャを貼り付けた画像を前記新たな画像として生成する
   ことを特徴とする請求項１記載の画像生成装置。
9. 前記パラメータ算出手段は、前記画像に対して、関節物体の領域を抽出する関節物体領域抽出部を有し、抽出した領域に対して、前記当てはめをする
   ことを特徴とする請求項１記載の画像生成装置。
10. 関節物体領域抽出部は、前記画像に対して、エッジ抽出をすることによって、前記領域を抽出する
    ことを特徴とする請求項９記載の画像生成装置。
11. 前記画像生成装置はさらに、前記画像入力手段によって取得された画像中に存在する関節物体の動作の周期を検出する周期性検出手段を備え、
    前記パラメータ算出手段、前記領域分割手段及び前記画像生成手段は、前記周期性検出手段で検出された１周期分の時系列画像ごとに、それぞれ、第１パラメータの算出、第２パラメータの抽出、及び、画像の生成をする
    ことを特徴とする請求項３記載の画像生成装置。
12. 前記動きは、動きベクトル、加速度ベクトル、アフィンパラメータ及び近似曲線パラメータのいずれかによって表される
    ことを特徴とする請求項３記載の画像生成装置。
13. 前記領域分割手段は、前記第１パラメータに含まれる関節位置又は関節間部位の位置情報を初期値として、前記第２パラメータを算出する
    ことを特徴とする請求項１記載の画像生成装置。
14. 前記画像生成手段は、関節で接続された部位が分離しないように、関節位置を基準とした画素移動を行うことにより、前記新たな画像を生成する
    ことを特徴とする請求項１記載の画像生成装置。
15. 前記モデル変換手段は、前記第１パラメータと前記第３パラメータとの相関情報をあらかじめ求めておき、その相関情報に基づいて前記第３パラメータを推定する
    ことを特徴とする請求項５記載の画像生成装置。
16. 前記モデル変換手段は、前記パラメータ算出手段によって前記第１パラメータの一部が抽出不能な場合に、抽出不能なパラメータ値を推定することによって、前記第３パラメータを推定する
    ことを特徴とする請求項５記載の画像生成装置。
17. 前記パラメータ算出手段は、関節物体の関節間部位の接続関係をもとに、階層的に表現した前記第１パラメータを算出し、
    前記モデル変換手段は、関節物体の関節間部位の接続関係をもとに、階層的に表現した前記第３パラメータを推定する
    ことを特徴とする請求項５記載の画像生成装置。
18. 関節物体を撮像した画像から、前記関節物体の特性を反映した新たな画像を生成する画像生成方法であって、
    関節物体を撮像した画像を取得する画像入力ステップと、
    取得された画像中の関節物体に対して、あらかじめ保持した関節を有するモデルを当てはめることによって、前記関節物体の関節又は関節間部位の位置又は動きに関する第１パラメータを算出するパラメータ算出ステップと、
    前記第１パラメータに基づいて前記関節物体の画像の領域分割を行うことによって、前記関節物体の関節間部位の色及びテクスチャ情報の少なくとも一つに関する第２パラメータを抽出する領域分割ステップと、
    前記パラメータ算出ステップによって算出された第１パラメータと前記領域分割ステップによって抽出された第２パラメータとを用いて、前記関節物体の特性を反映した新たな画像を生成する画像生成ステップと
    を含むことを特徴とする画像生成方法。
19. 関節物体を撮像した画像から、前記関節物体の特性を反映した新たな画像を生成するためのプログラムであって、
    請求項１８記載の画像生成方法に含まれるステップをコンピュータに実行させる
    ことを特徴とするプログラム。

Images