JP6370820B2 - 画像生成システム、ゲーム装置及びプログラム。 - Google Patents

Description

本発明は、画像生成システム、ゲーム装置及びプログラム等に関する。

従来より、プレーヤなどの被写体を撮影し、撮像画像をゲームのキャラクタなどに反映させるタイプの画像生成システムが知られている。このような画像生成システムの従来技術としては、例えば特許文献１に開示される技術がある。この従来技術では、撮像部からの実像と、グラフィックス記憶部からのグラフィックス画像とが合成されたキャラクタを形成し、形成されたキャラクタを表示部の画面に表示する。

特開平７−１９２１４３号公報

この従来技術によれば、プレーヤの撮像画像が合成されたキャラクタを画面に表示して、ゲームを楽しむことができる。しかしながら、キャラクタの顔については、プレーヤの顔画像が用いられるが、キャラクタの顔以外の部位については、ＣＧ画像であるグラフィックス画像が用いられる。このため、キャラクタが自身の分身であるかのような感覚を、今ひとつプレーヤに与えることができなかった。

本発明の幾つかの態様によれば、被写体の部位画像が合成されると共に被写体の肌色情報についても反映させたキャラクタの画像を生成できる画像生成システム及びプログラム等を提供できる。

本発明の一態様は、被写体の撮像画像を取得する入力処理部と、色情報の抽出処理を行う抽出処理部と、前記被写体の前記撮像画像に含まれる前記被写体の所定部位の部位画像が、キャラクタの画像に合成された合成画像を生成する画像生成部と、を含み、前記抽出処理部は、前記被写体の前記所定部位の前記部位画像に基づいて、前記被写体の肌色情報の抽出処理を行い、前記画像生成部は、抽出された前記肌色情報に基づいて、前記キャラクタの前記所定部位以外の部位の色情報を設定して、前記キャラクタの画像を生成する画像生成システムに関係する。

本発明の一態様によれば、被写体の撮像画像に含まれる被写体の所定部位の部位画像が、キャラクタの画像に合成される。この場合に本発明の一態様では、被写体の当該部位画像に基づいて、肌色情報が抽出される。そして抽出された肌色情報に基づいて、キャラクタの所定部位以外の部位の色情報が設定されて、キャラクタの画像が生成される。このようにすれば、被写体の所定部位の部位画像に基づき取得された肌色情報を、キャラクタの所定部位以外の部位の色情報として反映させることができる。従って、被写体の部位画像が合成されると共に被写体の肌色情報についても反映させたキャラクタの画像の生成が可能になる。

また本発明の一態様では、前記部位画像は前記被写体の顔画像であり、前記抽出処理部は、前記顔画像に基づいて、前記肌色情報の抽出処理を行い、前記画像生成部は、前記顔画像から抽出された前記肌色情報に基づいて、前記キャラクタの顔以外の部位の色情報を設定してもよい。

このようにすれば、被写体の顔画像がキャラクタに合成されると共に、被写体の顔画像に基づき取得された肌色情報を、キャラクタの顔以外の部位の色情報として反映させることが可能になる。

また本発明の一態様では、前記キャラクタは、複数のオブジェクトにより構成されるモデルオブジェクトであり、前記画像生成部は、前記被写体の前記肌色情報に基づいて、前記モデルオブジェクトの前記複数のオブジェクトのうち、前記所定部位以外の部位のオブジェクトの色情報を設定して、前記モデルオブジェクトのレンダリング処理を行うことで、前記モデルオブジェクトの画像を生成してもよい。

このようにすれば、被写体の所定部位の部位画像から抽出した肌色情報を、モデルオブジェクトを構成するオブジェクトのうち、所定部位以外の部位のオブジェクトの色情報として設定して、レンダリング処理を行って、モデルオブジェクトであるキャラクタの画像を生成できるようになる。

また本発明の一態様では、前記画像生成部は、前記キャラクタの画像と前記部位画像との境界領域において補正処理を行ってもよい。

このようにすれば、キャラクタの画像と部位画像との境界領域での画像が不自然な画像になるのを、補正処理により補正できるようになる。

また本発明の一態様では、前記画像生成部は、前記補正処理として、前記境界領域において前記キャラクタの画像の色情報と前記部位画像の色情報の半透明合成処理を行ってもよい。

このようにすれば、キャラクタの画像と部位画像との境界領域での画像を、キャラクタの画像の色情報と部位画像の色情報が半透明合成された画像に補正できるようになる。

また本発明の一態様では、前記画像生成部は、前記補正処理として、前記境界領域に対してデコレーション処理を行ってもよい。

このようにすれば、キャラクタの画像と部位画像との境界領域での不自然な画像を、デコレーション処理により目立たなくさせることなどが可能になる。

また本発明の一態様では、前記抽出処理部は、前記被写体の前記部位画像の中から、肌色条件に合致する画素を抽出し、抽出した画素の色情報に基づいて、前記被写体の前記肌色情報を求めてもよい。

このようにすれば、被写体の部位画像の画素のうち、肌色の抽出に適する画素を選択して、肌色情報を抽出できるようになる。

また本発明の一態様では、センサからのセンサ情報に基づいて、前記被写体の動きを特定するための被写体情報を取得する被写体情報取得部を含み（被写体情報取得部としてコンピュータを機能させ）、前記画像生成部は、前記被写体情報により特定される前記被写体の動きに応じて動作する前記キャラクタの画像を生成してもよい。

このようにすれば、センサ情報に基づき取得された被写体情報に基づいて、被写体の動きを特定し、当該被写体の動きに応じて動作するキャラクタの画像を生成できるようになる。そして、このように被写体の動きに応じて動作するキャラクタに対して、被写体の部位画像を適正に合成できると共に、被写体の肌色情報についても反映させることが可能になる。

また本発明の一態様では、前記画像生成部は、前記被写体情報に基づいて、前記被写体の前記所定部位を特定して、前記被写体の前記撮像画像から前記部位画像を切り出し、切り出された前記部位画像を前記キャラクタの画像に合成し、前記抽出処理部は、前記被写体情報に基づき特定された前記所定部位の前記部位画像に基づいて、前記被写体の前記肌色情報の抽出処理を行ってもよい。

このようにすれば、被写体の動きを特定するための被写体情報を利用して、被写体の所定部位を特定し、特定された所定部位の部位画像を、キャラクタの画像に合成したり、特定された所定部位の部位画像から、被写体の肌色情報を抽出できるようになる。

また本発明の一態様では、前記被写体情報取得部は、前記センサ情報に基づいて、前記被写体情報として、前記被写体のスケルトン情報を取得し、前記抽出処理部は、前記スケルトン情報に基づき特定された前記所定部位の前記部位画像に基づいて、前記被写体の前記肌色情報の抽出処理を行ってもよい。

このようにすれば、被写体の動きを特定するためのスケルトン情報を利用し、被写体の所定部位を特定して、特定された所定部位の部位画像から、被写体の肌色情報を抽出できるようになる。

本実施形態の画像生成システムの構成例。 本実施形態の画像生成システムの業務用ゲーム装置への適用例。 図３（Ａ）、図３（Ｂ）は本実施形態の画像生成システムの家庭用ゲーム装置、パーソナルコンピュータへの適用例。 図４（Ａ）、図４（Ｂ）は深度情報、ボディーインデックス情報の例。 スケルトン情報の説明図。 キャラクタの画像とプレーヤの顔画像の画像合成手法の説明図。 図７（Ａ）はプレーヤの撮像画像の例、図７（Ｂ）はキャラクタと顔画像の合成画像の例。 本実施形態により生成されるゲーム画像の例。 本実施形態の手法の説明図。 本実施形態の手法の説明図。 肌色情報の抽出処理例を示すフローチャート。 図１２（Ａ）、図１２（Ｂ）はモデルオブジェクト情報、オブジェクト情報の例。 プレーヤの動きに応じてキャラクタを動作させる手法の説明図。 スケルトン情報を用いてキャラクタを動作させる手法の説明図。 モデルオブジェクトのレンダリング処理の説明図。 スケルトン情報により顔画像の位置を特定する手法の説明図。 半透明合成処理による境界領域での補正処理の説明図。 キャラクタの画像と顔画像の画像合成処理の際に半透明合成処理を行う手法の説明図。 デコレーション処理による境界領域での補正処理の説明図。 本実施形態の詳細な処理例を示すフローチャート。

以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。

１．画像生成システム
図１に本実施形態の画像生成システム（画像生成装置、ゲームシステム、ゲーム装置）の構成例を示す。画像生成システムは、処理部１００、操作部１６０、センサ１６２、記憶部１７０、表示部１９０、音出力部１９２、Ｉ／Ｆ部１９４、通信部１９６、印刷部１９８を含む。なお本実施形態の画像生成システムの構成は図１に限定されず、その構成要素（各部）の一部を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。

処理部１００は、操作部１６０からの操作情報や、センサ１６２からのセンサ情報や、プログラムなどに基づいて、入力処理、演算処理、出力処理などの各種の処理を行う。

処理部１００の各部が行う本実施形態の各処理（各機能）はプロセッサ（ハードウェアを含むプロセッサ）により実現できる。例えば本実施形態の各処理は、プログラム等の情報に基づき動作するプロセッサと、プログラム等の情報を記憶するメモリーにより実現できる。プロセッサは、例えば各部の機能が個別のハードウエアで実現されてもよいし、或いは各部の機能が一体のハードウェアで実現されてもよい。プロセッサは、例えばＣＰＵ（Central Processing Unit）であってもよい。但し、プロセッサはＣＰＵに限定されるものではなく、ＧＰＵ（Graphics Processing Unit）、或いはＤＳＰ（Digital Processing Unit）等、各種のプロセッサを用いることが可能である。またプロセッサはＡＳＩＣによるハードウェア回路であってもよい。メモリー（記憶部１７０）は、ＳＲＡＭ、ＤＲＡＭ等の半導体メモリーであってもよいし、レジスターであってもよい。或いはハードディスク装置（ＨＤＤ）等の磁気記憶装置であってもよいし、光学ディスク装置等の光学式記憶装置であってもよい。例えば、メモリーはコンピュータにより読み取り可能な命令を格納しており、当該命令がプロセッサにより実行されることで、処理部１００の各部の処理（機能）が実現されることになる。ここでの命令は、プログラムを構成する命令セットでもよいし、プロセッサのハードウェア回路に対して動作を指示する命令であってもよい。

処理部１００は、入力処理部１０２、演算処理部１１０、出力処理部１４０を含む。入力処理部１０２は、各種の情報の入力処理を行う。例えば入力処理部１０２は、操作部１６０により入力されたプレーヤの操作情報を受け付ける処理を、入力処理として行う。例えば操作部１６０で検出された操作情報を取得する処理を行う。また入力処理部１０２は、センサ１６２からのセンサ情報を取得する処理を、入力処理として行う。また入力処理部１０２は、記憶部１７０から情報を読み出す処理を、入力処理として行う。例えば読み出しコマンドで指定された情報を、記憶部１７０から読み出す処理を行う。また入力処理部１０２は、通信部１９６を介して情報を受信する処理を、入力処理として行う。例えば画像生成システムの外部装置（他の画像生成システム、サーバシステム等）からネットワークを介して情報を受信する処理を行う。受信処理は、通信部１９６に情報の受信を指示したり、通信部１９６が受信した情報を取得して記憶部１７０に書き込む処理などである。

演算処理部１１０は、各種の演算処理を行う。例えば演算処理部１１０は、ゲーム処理、オブジェクト空間設定処理、キャラクタ処理、ゲーム成績演算処理、仮想カメラ制御処理、画像生成処理、或いは音生成処理などの演算処理を行う。この演算処理部１１０は、ゲーム処理部１１１、オブジェクト空間設定部１１２、キャラクタ処理部１１３、被写体情報取得部１１４、抽出処理部１１５、ゲーム成績演算部１１８、仮想カメラ制御部１１９、画像生成部１２０、音生成部１３０、印刷処理部１３２を含む。

ゲーム処理は、ゲーム開始条件が満たされた場合にゲームを開始する処理、ゲームを進行させる処理、或いはゲーム終了条件が満たされた場合にゲームを終了する処理などである。このゲーム処理はゲーム処理部１１１（ゲーム処理のプログラムモジュール）により実行される。

オブジェクト空間設定処理は、オブジェクト空間に複数のオブジェクトを配置設定する処理である。このオブジェクト空間設定処理はオブジェクト空間設定部１１２（オブジェクト空間設定処理のプログラムモジュール）により実行される。例えばオブジェクト空間設定部１１２は、ゲームに登場するキャラクタ（人、ロボット、動物、怪物、飛行機、船舶、戦闘機、戦車、戦艦、車等）、マップ（地形）、建物、コース（道路）、樹木、壁、水面などの表示物を表す各種オブジェクト（ポリゴン、自由曲面又はサブディビジョンサーフェイスなどのプリミティブ面で構成されるオブジェクト）を、オブジェクト空間に配置設定する。即ちワールド座標系でのオブジェクトの位置や回転角度（向き、方向と同義）を決定し、その位置（Ｘ、Ｙ、Ｚ）にその回転角度（Ｘ、Ｙ、Ｚ軸回りでの回転角度）でオブジェクトを配置する。具体的には、記憶部１７０のオブジェクト情報記憶部１７２には、オブジェクト（パーツオブジェクト）の位置、回転角度、移動速度、移動方向等の情報であるオブジェクト情報がオブジェクト番号に対応づけて記憶される。オブジェクト空間設定部１１２は、例えば各フレーム毎にこのオブジェクト情報を更新する処理などを行う。

キャラクタ処理（移動体演算処理）は、キャラクタ（移動体）について行われる各種の演算処理である。例えばキャラクタ処理は、キャラクタ（ゲームに登場する表示物）をオブジェクト空間（仮想３次元空間、３次元ゲーム空間）で移動させるための処理や、キャラクタを動作させるための処理である。このキャラクタ処理はキャラクタ処理部１１３（キャラクタ処理のプログラムモジュール）により実行される。例えばキャラクタ処理部１１３は、操作部１６０によりプレーヤが入力した操作情報や、センサ１６２からのセンサ情報や、プログラム（移動・動作アルゴリズム）や、各種データ（モーションデータ）などに基づいて、キャラクタ（モデルオブジェクト）をオブジェクト空間内で移動させたり、キャラクタを動作（モーション、アニメーション）させる制御処理を行う。具体的には、キャラクタの移動情報（位置、回転角度、速度、或いは加速度）や動作情報（パーツオブジェクトの位置、或いは回転角度）を、１フレーム（例えば１／６０秒）毎に順次求めるシミュレーション処理を行う。なおフレームは、キャラクタの移動・動作処理（シミュレーション処理）や画像生成処理を行う時間の単位である。

ゲーム成績演算処理は、プレーヤのゲームでの成績を演算する処理である。例えばゲーム成績演算処理は、プレーヤがゲームで獲得するポイントや得点を演算する処理や、ゲーム内通貨、メダル又はチケットなどのゲーム成果を演算する処理である。このゲーム成績演算処理はゲーム成績演算部１１８（ゲーム成績演算処理のプログラムモジュール）により実行される。

仮想カメラ制御処理は、オブジェクト空間内の所与（任意）の視点から見える画像を生成するための仮想カメラ（視点、基準仮想カメラ）を制御する処理である。この仮想カメラ制御処理は仮想カメラ制御部１１９（仮想カメラ制御処理のプログラムモジュール）により実行される。具体的には仮想カメラ制御部１１９は、仮想カメラの位置（Ｘ、Ｙ、Ｚ）又は回転角度（Ｘ、Ｙ、Ｚ軸回りでの回転角度）を制御する処理（視点位置、視線方向あるいは画角を制御する処理）を行う。

画像生成処理は、表示部１９０に表示される画像（ゲーム画像）や、印刷部１９８により印刷される画像を生成するための処理であり、各種の画像合成処理や画像エフェクト処理などを含むことができる。音生成処理は、音出力部１９２により出力されるＢＧＭ、効果音又は音声等の音（ゲーム音）を生成するための処理であり、各種の音合成処理やサウンドエフェクト処理などを含むことができる。これらの画像生成処理、音生成処理は、画像生成部１２０、音生成部１３０（画像生成処理、音生成処理のプログラムモジュール）により実行される。

例えば画像生成部１２０は、処理部１００で行われる種々の処理（ゲーム処理、シミュレーション処理）の結果に基づいて描画処理を行い、これにより画像を生成し、表示部１９０に出力する。具体的には、座標変換（ワールド座標変換、カメラ座標変換）、クリッピング処理、透視変換、或いは光源処理等のジオメトリ処理が行われ、その処理結果に基づいて、描画データ（プリミティブ面の頂点の位置座標、テクスチャ座標、色データ、法線ベクトル或いはα値等）が作成される。そして、この描画データ（プリミティブ面データ）に基づいて、透視変換後（ジオメトリ処理後）のオブジェクト（１又は複数プリミティブ面）を、描画バッファ１７８（フレームバッファ、ワークバッファ等のピクセル単位で画像情報を記憶できるバッファ）に描画する。これにより、オブジェクト空間内において所与の視点（仮想カメラ）から見える画像が生成される。なお、画像生成部１２０で行われる描画処理は、頂点シェーダ処理やピクセルシェーダ処理等により実現してもよい。

出力処理部１４０は、各種の情報の出力処理を行う。例えば出力処理部１４０は、記憶部１７０に情報を書き込む処理を、出力処理として行う。例えば、書き込みコマンドで指定された情報を、記憶部１７０に書き込む処理を行う。また出力処理部１４０は、生成された画像の情報を表示部１９０に出力したり、生成された音の情報を音出力部１９２に出力する処理を、出力処理として行う。また出力処理部１４０は、通信部１９６を介して情報を送信する処理を、出力処理として行う。例えば画像生成システムの外部装置（他の画像生成システム、サーバシステム等）に対してネットワークを介して情報を送信する処理を行う。送信処理は、通信部１９６に情報の送信を指示したり、送信する情報を通信部１９６に指示する処理などである。また出力処理部１４０は、印刷媒体に印刷される画像を印刷部１９８に転送する処理を、出力処理として行う。

操作部１６０（操作デバイス）は、プレーヤ（ユーザ）が操作情報を入力するためのものであり、その機能は、方向指示キー、操作ボタン、アナログスティック、レバー、各種センサ（角速度センサ、加速度センサ等）、マイク、或いはタッチパネル型ディスプレイなどにより実現できる。

センサ１６２は、被写体情報を取得するためのセンサ情報を検出する。センサ１６２は例えばカラーセンサ１６４（カラーカメラ）、デプスセンサ１６６（デプスカメラ）を含むことができる。

記憶部１７０（メモリー）は、処理部１００や通信部１９６などのワーク領域となるもので、その機能はＲＡＭやＳＳＤやＨＤＤなどにより実現できる。そしてゲームプログラムや、ゲームプログラムの実行に必要なゲームデータは、この記憶部１７０に保持される。記憶部１７０は、オブジェクト情報記憶部１７２、描画バッファ１７８を含む。

情報記憶媒体１８０（コンピュータにより読み取り可能な媒体）は、プログラムやデータなどを格納するものであり、その機能は、光ディスク（ＤＶＤ、ＣＤ等）、ＨＤＤ（ハードディスクドライブ）、或いはメモリー（ＲＯＭ等）などにより実現できる。処理部１００は、情報記憶媒体１８０に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。この情報記憶媒体１８０に、本実施形態の各部としてコンピュータ（操作部、処理部、記憶部、出力部を備える装置）を機能させるためのプログラム（各部の処理をコンピュータに実行させるためのプログラム）を記憶できる。

表示部１９０は、本実施形態により生成された画像を出力するものであり、その機能は、ＬＣＤ、有機ＥＬディスプレイ、ＣＲＴ、或いはＨＭＤなどにより実現できる。音出力部１９２は、本実施形態により生成された音を出力するものであり、その機能は、スピーカ、或いはヘッドフォンなどにより実現できる。

Ｉ／Ｆ（インターフェース）部１９４は、携帯型情報記憶媒体１９５とのインターフェース処理を行うものであり、その機能はＩ／Ｆ処理用のＡＳＩＣなどにより実現できる。携帯型情報記憶媒体１９５は、ユーザが各種の情報を保存するためのものであり、電源が非供給になった場合にもこれらの情報の記憶を保持する記憶装置である。携帯型情報記憶媒体１９５は、ＩＣカード（メモリーカード）、ＵＳＢメモリー、或いは磁気カードなどにより実現できる。

通信部１９６は、ネットワークを介して外部装置（他の画像生成システム、サーバシステム等）との間で通信を行うものであり、その機能は、通信用ＡＳＩＣ又は通信用プロセッサなどのハードウェアや、通信用ファームウェアにより実現できる。

印刷部１９８は、例えばプリント用紙やシール紙などの印刷媒体に画像を印刷する。この印刷部１９８は、例えば印刷用ヘッド、印刷媒体の送り機構などにより実現できる。具体的には、処理部１００の印刷処理部１３２（印刷処理のプログラムモジュール）が、印刷対象画像を選択するための処理を行い、選択された印刷対象画像の印刷を、印刷部１９８に指示する。これにより、印刷対象画像が印刷された印刷物が、後述する図２の払い出し口１５２から払い出されるようになる。印刷対象画像は、例えばゲーム中のプレーヤのキャラクタの様子を撮影した画像や、プレーヤのキャラクタと他のキャラクタとで一緒に撮る記念写真の画像などである。

なお本実施形態の各部としてコンピュータを機能させるためのプログラム（データ）は、サーバシステム（ホスト装置）が有する情報記憶媒体からネットワーク及び通信部１９６を介して情報記憶媒体１８０（あるいは記憶部１７０）に配信してもよい。このようなサーバシステムによる情報記憶媒体の使用も本発明の範囲内に含めることができる。

図２、図３（Ａ）、図３（Ｂ）は本実施形態の画像生成システムが適用されるハードウェア装置の例を示す図である。

図２は本実施形態の画像生成システムが適用された業務用ゲーム装置の例である。この業務用ゲーム装置は、操作ボタン、方向指示ボタンにより実現される操作部１６０や、カラーセンサ１６４、デプスセンサ１６６を有するセンサ１６２や、ＬＣＤ、ＣＲＴなどにより実現される表示部１９０や、スピーカにより実現される音出力部１９２や、コイン投入口１５０や、写真などの印刷物の払い出し口１５２を備えている。プレーヤＰＬは、表示部１９０に表示されるゲーム画像を見ながら、ゲームをプレイするための各種の動作を行う。プレーヤＰＬの動き（手足のなどの部位の動きや位置の移動）は、センサ１６２により検出される。そして検出結果に応じたゲーム処理が行われ、ゲーム処理に基づくゲーム画像が表示部１９０に表示される。

本実施形態の画像生成システムが適用されるハードウェア装置は、図２のような業務用ゲーム装置には限定されず、例えば図３（Ａ）に示す家庭用ゲーム装置や、図３（Ｂ）に示すパーソナルコンピュータ（情報処理装置）などの種々のハードウェア装置に適用可能である。図３（Ａ）では、カラーセンサ１６４やデプスセンサ１６６を有するセンサ１６２（センサ装置）を家庭用ゲーム装置の本体装置に接続し、当該センサ１６２を、例えば表示部であるテレビの近くに配置する。そしてセンサ１６２によりプレーヤの動作を検出することで、家庭用ゲーム装置の本体装置が、種々のゲーム処理を実行し、テレビの画面にゲーム画像を表示する。図３（Ｂ）では、センサ１６２をパーソナルコンピュータの本体装置に接続し、センサ１６２によりプレーヤの動作を検出し、ゲーム処理の結果に基づくゲーム画像を、表示部である液晶ディスプレイに表示する。

そして本実施形態の画像生成システム（画像生成装置、ゲーム装置、ゲームシステム）は、図１に示すように、被写体の撮像画像を取得する入力処理部１０２と、色情報の抽出処理を行う抽出処理部１１５と、被写体の撮像画像に含まれる被写体の所定部位の部位画像が、キャラクタの画像に合成された合成画像を生成する画像生成部１２０を含む。

被写体は例えば図２に示すプレーヤＰＬである。被写体は人間以外の動物であってもよいし、動物以外の物であってもよい。撮像画像は、例えばセンサ１６２が有するカラーセンサ１６４（カラーカメラ）により撮影される画像（ＲＧＢ画像等のカラー画像）である。このカラーセンサ１６４とデプスセンサ１６６は別々に設けられていてもよい。例えばカラーセンサ１６４によって撮影された撮像画像から、被写体の所定部位の部位画像（例えば顔画像）が切り出され、切り出された部位画像が、キャラクタの画像に合成された合成画像が生成される。例えばキャラクタの所定部位に対応する部分に対して、被写体の部位画像が合成される。

抽出処理部１１５は、被写体の所定部位の部位画像に基づいて、被写体の肌色情報（広義には所定色情報）の抽出処理を行う。例えば部位画像の画素の色情報に基づいて被写体の肌色情報の抽出処理を行う。具体的には部位画像の画素のうち肌色条件に合致する画素の色情報に基づいて、肌色情報を求める。

そして画像生成部１２０は、抽出された被写体の肌色情報に基づいて、キャラクタの所定部位以外の部位の色情報を設定して、キャラクタの画像を生成する。例えばキャラクタが、所定部位以外の部位（例えば顔以外の部位）として第１〜第Ｎの部位を有しており、第１〜第Ｎの部位のうちの第ｉ〜第ｊの部位が、基本色として肌色が設定可能な部位（例えば手、足、胸元等の部位）であったとする。この場合には、抽出された被写体の肌色情報が、当該第ｉ〜第ｊの部位の基本色の情報として設定されることになる。

このようにすることで、キャラクタに対して合成される部位画像に対応する所定部位のみならず、所定部位以外の部位（第ｉ〜第ｊの部位）に対しても、被写体の肌色情報を反映させることが可能になる。従って、被写体の部位画像が合成されると共に被写体の肌色情報についても反映させたキャラクタの画像の生成が可能になる。

また本実施形態では、部位画像は、例えば被写体の顔画像であり、抽出処理部１１５は、当該顔画像に基づいて、肌色情報の抽出処理を行う。そして画像生成部１２０は、顔画像から抽出された肌色情報に基づいて、キャラクタの顔以外の部位の色情報を設定して、キャラクタの画像を生成する。そして生成されたキャラクタの画像に顔画像が合成された合成画像が生成される。

例えば、被写体の全体が映る撮像画像から、顔の部分を切り取ることで、所定部位である顔の部位画像である顔画像が取得される。撮像画像での顔の位置は、後述するように被写体情報取得部１１４により取得された被写体情報（スケルトン情報等）に基づき特定できる。そして抽出処理部１１５は、被写体の撮像画像から取得された顔画像に基づいて、被写体の顔の肌色に相当する肌色情報を抽出する。そして抽出された肌色情報に基づいて、キャラクタの顔以外の部位である例えば手、足、又は胸元などの部位の色情報（基本色情報）が設定される。これにより、被写体の顔から抽出された肌色情報を、顔以外の例えば手、足又は胸元などの部位などにも反映できるようになる。なお、肌色情報の抽出対象となる被写体の部位は、顔には限定されず、顔以外の部位（例えば手、足、胸元）から肌色情報を抽出してもよい。また被写体の所定部位の部位画像から、肌色情報以外の色情報を抽出し、抽出された色情報を、当該所定部位以外の部位の色情報に設定するというような変形実施も可能である。

またキャラクタ（被写体キャラクタ）は、例えば複数のオブジェクトにより構成されるモデルオブジェクトである。例えば複数の３次元のオブジェクト（パーツオブジェクト）により構成される３次元のモデルオブジェクトである。各オブジェクトは例えば複数のポリゴン（広義にはプリミティブ面）により構成される。

この場合に画像生成部１２０は、被写体の肌色情報に基づいて、モデルオブジェクトの複数のオブジェクトのうち、所定部位以外の部位のオブジェクトの色情報（基本色情報）を設定して、モデルオブジェクトのレンダリング処理を行うことで、キャラクタであるモデルオブジェクトの画像を生成する。

具体的には画像生成部１２０は、オブジェクト空間において、被写体（プレーヤ等）の位置に対応する位置に配置されるモデルオブジェクトのレンダリング処理を行って、キャラクタの画像を生成する。例えば被写体情報取得部１１４により取得された被写体情報に基づいて、被写体の位置を特定し、オブジェクト空間内において、特定された被写体の位置に対応する位置に、キャラクタであるモデルオブジェクトが配置される。そして、当該モデルオブジェクトのレンダリング処理が行われて、仮想カメラから見えるキャラクタの画像が生成される。この場合に画像生成部１２０は、モデルオブジェクトのレンダリング処理を、照明モデルに基づいて行って、キャラクタの画像を生成する。このようにすれば、キャラクタの画像として、照明モデルの光源による陰影づけが施された画像を生成できるようになる。なおキャラクタの画像として2次元画像（アニメ画像）を用いる変形実施も可能である。

また画像生成部１２０は、キャラクタの画像と部位画像との境界領域において補正処理を行う。例えばキャラクタの所定部位に対応する第１の部位（例えば顔）と、被写体の部位画像から抽出された肌色情報が設定される第２の部位（例えば胸元）が、隣接する部位であったとする。この場合には、第１の部位と第２の部位の境界領域において、当該補正処理が行われる。即ち、第１の部位（顔）の位置に合成された部位画像（顔画像）と、キャラクタの第２の部位（胸元）の画像（抽出された肌色情報に基づき生成された画像）の境界領域において、補正処理が行われる。例えば、合成された部位画像の色情報と、キャラクタの第２の部位の画像の色情報に基づく補正処理が行われる。

例えば画像生成部１２０は、補正処理として、境界領域においてキャラクタの画像の色情報と部位画像の色情報の半透明合成処理（アルファブレンド処理）を行う。即ち、キャラクタの画像の色と部位画像の色を馴染ませるための補正処理が行われる。例えば境界領域において、部位画像に近いほど、部位画像の色情報の半透明合成のブレンド率が高くなり、キャラクタの画像に近いほど、キャラクタの画像の色情報の半透明合成のブレンド率が高くなる半透明合成処理が行われる。例えば境界領域が、上述の第１の部位（顔）と第２の部位（胸元）の間の境界領域であったとする。この場合には、第１の部位に近いほど、部位画像の色情報の半透明合成のブレンド率が高くなり、第２の部位に近いほど、キャラクタの画像の色情報の半透明合成のブレンド率が高くなる半透明合成処理が、当該境界領域において行われることになる。

また画像生成部１２０は、補正処理として、境界領域に対してデコレーション処理を行うようにしてもよい。このようにすれば、キャラクタの画像と部位画像の境界領域が、デコレーション処理により馴染んで、目立たなくなるようにすることが可能になる。なおデコレーション処理としては、例えば境界領域にデコレーション用の表示物（オブジェクト）を配置したり、境界領域に対して種々の画像エフェクトを施す処理などが考えられる。

また抽出処理部１１５は、被写体の部位画像の中から、肌色条件に合致する画素を抽出し、抽出した画素の色情報に基づいて、被写体の肌色情報を求める。例えば部位画像を構成する複数の画素の中から、肌色条件に合致する画素を抽出しする。具体的には、例えば所定部位の画素の色情報を、ＲＧＢ値からＨＳＶ値（色相、彩度、明度）に変換して、各画素のＨＶＳ値が肌色条件に合致するか否かを判断する。そして、肌色条件に合致した画素の色情報（例えばＲＧＢ値）に対して平均化処理などの所定の演算処理を行い、演算処理の結果に基づいて、肌色情報を求める。こうすることで、被写体の所定部位において肌色ではない部分（例えば目、髪の毛等）がある場合に、この部分の色情報の影響を除外して、肌色情報を抽出できるようになる。

また被写体情報取得部１１４（被写体情報取得処理のプログラムモジュール）は、センサ１６２からのセンサ情報に基づいて、被写体の動きを特定するための被写体情報を取得する。そして画像生成部１２０は、被写体情報により特定される被写体の動き（部位の動きや位置の移動等）に応じて動作するキャラクタの画像を生成する。例えば被写体情報取得部１１４は、センサ１６２からのセンサ情報に基づいて、被写体情報であるスケルトン情報（広義には動き情報）を取得する。このスケルトン情報に基づいて、被写体の動きが特定され、画像生成部１２０は、被写体の動きに応じて動作するキャラクタの画像を生成する。例えばスケルトン情報に基づくモーション再生により、キャラクタを動作させて、当該キャラクタのレンダリング処理を行うことで、当該キャラクタの画像を生成する。

例えば画像生成部１２０は、被写体情報に基づいて、被写体の所定部位を特定して、被写体の撮像画像から当該所定部位の部位画像を切り出し、切り出された部位画像をキャラクタの画像に合成する。例えば、特定された所定部位の位置を基準とした所与のサイズのエリアを、撮像画像から切り出すことで、所定部位の部位画像を取得し、切り出された部位画像をキャラクタの画像に合成する。この場合に抽出処理部１１５は、被写体情報に基づき特定された所定部位の部位画像に基づいて、被写体の肌色情報の抽出処理を行う。即ち、被写体情報に基づいて、被写体の所定部位の位置が特定されると、抽出処理部１１５は、特定された所定部位の位置での画像である部位画像から、被写体の肌色情報を抽出する。そして、抽出した肌色情報に基づいて、キャラクタの所定部位以外の部位の色情報が設定されるようになる。

具合的には被写体情報取得部１１４は、センサ情報に基づいて、被写体情報として、被写体のスケルトン情報を取得する。そして抽出処理部１１５は、スケルトン情報に基づき特定された所定部位の部位画像に基づいて、被写体の肌色情報の抽出処理を行う。例えばセンサ１６２により検出された被写体のスケルトン情報に基づき、被写体の所定部位の位置を特定し、被写体の撮像画像から、特定された所定部位の位置での画像である部位画像を切り出し、当該部位画像の色情報に基づいて、被写体の肌色情報を抽出する。こうすることで、センサ１６２により検出された被写体のスケルトン情報を有効利用して、被写体の肌色情報を抽出できるようになる。

２．本実施形態の手法
次に本実施形態の手法について詳細に説明する。なお以下では、プレーヤの動きに応じてキャラクタを動作させるゲームに本実施形態の手法を適用した場合について説明するが、本実施形態の手法はこれに限定されず、様々なゲーム（ＲＰＧゲーム、音楽ゲーム、戦闘ゲーム、コミュニケーションゲーム、ロボットゲーム、カードゲーム、スポーツゲーム、或いはアクションゲーム等）に適用可能である。

２．１ ゲームの説明
まず本実施形態の画像生成システムにより実現されるゲームの例について説明する。本実施形態では図２のセンサ１６２によりプレーヤＰＬ（広義には被写体）の動きを検出し、検出された動きを反映させたゲーム処理を行って、ゲーム画像を生成している。

図２に示すように、センサ１６２（画像センサ）は、例えばその撮像方向（光軸方向）がプレーヤＰＬ（ユーザ、操作者）の方に向くように設置されている。例えばセンサ１６２の撮像方向は、小さな子供についてもその全体を撮像できるように、水平面に対して俯角方向に設定されている。なお図２ではセンサ１６２は表示部１９０の横に設置されているが、設置位置はこれに限定されず、任意の位置（例えば表示部１９０の下部、上部等）に設置できる。

センサ１６２はカラーセンサ１６４とデプスセンサ１６６を含む。カラーセンサ１６４はカラー画像（ＲＧＢ画像）を撮像するものであり、ＣＭＯＳセンサやＣＣＤなどにより実現できる。デプスセンサ１６６では、赤外線等の光を投射し、その投射光の反射強度や、投射光が戻ってくるまでの時間を検出することで、深度情報（デプス情報）が取得される。例えばデプスセンサ１６６は、赤外線を投光する赤外プロジェクタと、赤外線カメラにより構成できる。そして例えばＴＯＦ（Time Of Flight）方式により深度情報を取得する。深度情報は、その各画素位置に深度値（奥行き値）が設定され情報である。深度情報では、プレーヤやその周りの風景の深度値（奥行き値）が、例えばグレースケール値として設定される。

なお、センサ１６２は、カラーセンサ１６４とデプスセンサ１６６とが別々に設けられたセンサであってもよいし、カラーセンサ１６４とデプスセンサ１６６とが複合的に組み合わせられたセンサであってもよい。またデプスセンサ１６６はＴＯＦ方式以外の方式（例えばライトコーディング）のセンサであってもよい。また深度情報の取得手法としては種々の変形実施が可能であり、例えば超音波などを用いた測距センサなどにより深度情報を取得してもよい。

図４（Ａ）、図４（Ｂ）は、各々、センサ１６２に基づき取得される深度情報、ボディーインデックス情報の例である。図４（Ａ）は深度情報を概念的に示すものであり、この深度情報は、センサ１６２から見たプレーヤ等の被写体の距離を表す情報である。図４（Ｂ）のボディーインデックス情報は、人物領域を表す情報である。このボディーインデックス情報によりプレーヤのボディーの位置や形状を特定できる。

図５は、センサ１６２からのセンサ情報に基づき取得されるスケルトン情報の例である。図５ではスケルトン情報として、スケルトンを構成する骨の位置情報（３次元座標）が、関節（部位）Ｃ０〜Ｃ２０の位置情報として取得されている。Ｃ０、Ｃ１、Ｃ２、Ｃ３、Ｃ４、Ｃ５、Ｃ６は、各々、腰、背骨、肩中央、右肩、左肩、首、頭に対応する。Ｃ７、Ｃ８、Ｃ９、Ｃ１０、Ｃ１１、Ｃ１２は、各々、右肘、右手首、右手、左肘、左手首、左手に対応する。Ｃ１３、Ｃ１４、Ｃ１５、Ｃ１６、Ｃ１７、Ｃ１８、Ｃ１９、Ｃ２０は、各々、右腰、左腰、右膝、右かかと、右足、左膝、左かかと、左足に相当する。スケルトンを構成する各骨は、センサ１６２に映るプレーヤの各部位に対応するものとなる。例えば被写体情報取得部１１４は、センサ１６２からのセンサ情報（カラー画像情報、深度情報）に基づいて、プレーヤの３次元形状を特定する。そして３次元形状の情報や画像の動きベクトル（オプティカルフロー）などを用いて、プレーヤの各部位を推定し、各部位の関節の位置を推定する。そして推定された関節位置に対応する、深度情報での画素位置の２次元座標と、当該画素位置に設定された深度値に基づいて、スケルトンの関節の位置の３次元座標情報を求め、図５に示すようなスケルトン情報を取得する。取得されたスケルトン情報を用いることで、プレーヤの動き（手足などの部位の動きや位置の移動）を特定できるようになる。これにより、プレーヤの動きに応じてキャラクタを動作させることが可能になる。例えば図２においてプレーヤＰＬが手足を動かした場合に、これに連動して、表示部１９０に表示されるキャラクタ（プレーヤキャラクタ）の手足を動かすことが可能になる。またプレーヤＰＬが前後左右に移動すると、これに連動して、オブジェクト空間内でキャラクタを前後左右に移動させることが可能になる。

また本実施形態では、センサ１６２のカラーセンサ１６４によりプレーヤＰＬを撮影することで得られた撮像画像と、キャラクタ（プレーヤキャラクタ）の画像の合成画像を生成している。具体的には撮像画像から切り出された顔画像（広義には被写体画像、部位画像）と、キャラクタの画像の合成画像を生成する。

例えば図６では、キャラクタＣＨＰ（衣装）のモデルオブジェクトが用意されており、ポリゴンＳＣＩ（ビルボードポリゴン、スクリーン）には、撮像画像から切り出されたプレーヤＰＬの顔画像ＩＭＦが表示されている。キャラクタＣＨＰのモデルオブジェクトは、顔（頭部）以外の複数の部位のオブジェクトで構成されており、綺麗な衣装を着たキャラクタとなっている。

そして図６では、仮想カメラＶＣの視点位置とキャラクタＣＨＰの顔の位置を結ぶ線の延長線上に、ポリゴンＳＣＩの顔画像ＩＭＦが表示されている。仮想カメラＶＣ、キャラクタＣＨＰ、ポリゴンＳＣＩの顔画像ＩＭＦを、このような配置関係に設定することで、キャラクタＣＨＰの顔の部分にプレーヤの顔画像ＩＭＦが合成された画像を生成できるようになる。

なおキャラクタＣＨＰに対する顔画像ＩＭＦの画像合成手法は、図６に示す手法には限定されない。例えばキャラクタＣＨＰの顔（所定部位）を構成するオブジェクトに対して、顔画像ＩＭＦ（被写体画像、部位画像）のテクスチャをマッピングするなどの種々の画像合成手法を採用できる。

例えば図７（Ａ）は、センサ１６２のカラーセンサ１６４により撮像されたプレーヤＰＬの撮像画像の例である。この撮像画像からプレーヤＰＬの顔画像ＩＭＦを切り出し（トリミングし）、図６の画像合成手法によりキャラクタＣＨＰの画像と合成することで、図７（Ｂ）に示すような合成画像を生成できる。図７（Ｂ）では、顔の部分がプレーヤＰＬの顔画像ＩＭＦとなっており、顔以外の部分がＣＧ画像であるキャラクタＣＨＰの画像になっている。これによりプレーヤＰＬは、自分の分身であるキャラクタＣＨＰに対して、童話やアニメの世界の主人公が着ているような衣装を着せて、ゲームをプレイできるため、ゲームの面白味やプレーヤの熱中度を向上できる。

図８は、本実施形態の画像生成システムにより生成されて、図２の表示部１９０に表示されるゲーム画像の例である。プレーヤＰＬの顔画像ＩＭＦが合成されたキャラクタＣＨＰは、例えばその手に魔法の杖ＳＴを持っている。そして図２のプレーヤＰＬが腕を動かすと、この腕の動きがセンサ１６２により検出されて、図５のスケルトン情報として、腕の骨が動いているスケルトンの情報が取得される。これにより、図８に示すゲーム画像上のキャラクタＣＨＰの腕が動くようになり、魔法の杖ＳＴで、敵キャラクタＥＮ１、ＥＮ２、ＥＮ３をヒットして攻撃できるようになる。そして敵を倒した数やボーナスポイントの獲得などによって、プレーヤのゲーム成績が演算される。

このように本実施形態の手法によれば、プレーヤＰＬは、童話やアニメの主人公の衣装を、自分の分身であるキャラクタＣＨＰに着せて、あたかもその主人公になったかのように感じながら、図８のようなゲームをプレイできるようになる。従って、子供などのプレーヤＰＬが熱中できる面白味のあるゲームの実現が可能になる。

２．２ 肌色情報の抽出及び設定
図６〜図８に示すように本実施形態では、キャラクタＣＨＰにプレーヤの顔画像ＩＭＦが合成された画像である合成キャラクタ画像を生成し、プレーヤＰＬの動きに応じてキャラクタＣＨＰを動作させることで、プレーヤはゲームを楽しむ。この合成キャラクタ画像（ＣＨＰ、ＩＭＦ）では、顔の部位がプレーヤの顔画像ＩＭＦに置き換えられているため、プレーヤは、当該キャラクタＣＨＰを、自身に対応するキャラクタであるとして、ゲームを楽しむことができる。

しかしながら、この合成キャラクタ画像では、顔の部位はプレーヤの顔画像ＩＭＦに置き換えられているが、それ以外の部位は、いわゆるＣＧ（コンピュータグラフィックス）画像により生成されている。このため、キャラクタＣＨＰが、自身の本当の分身であるかのような感覚を、今ひとつプレーヤに与えることができないという課題がある。

例えば、肌の色が白いプレーヤがゲームをプレイした場合に、キャラクタＣＨＰの顔の色は、当該プレーヤの顔画像ＩＭＦが合成されることで、白い肌色になるが、顔以外の手、足、胸元等の部位については、キャラクタＣＨＰのＣＧ画像（レンダリング画像）の色のままとなる。従って、キャラクタＣＨＰの顔の色と、手、足、胸元等の部位の色が異なってしまう場合があり、違和感のある画像になってしまう。同様に、肌の色が浅黒いプレーヤがゲームをプレイした場合に、キャラクタＣＨＰの顔の色は、当該プレーヤの顔画像ＩＭＦが合成されることで、浅黒い肌色になるが、顔以外の手、足、胸元等の部位については、キャラクタＣＨＰのＣＧ画像の色のままとなる。従って、キャラクタＣＨＰの顔の色と、手、足、胸元等の部位の色が異なってしまう場合があり、違和感のある画像になってしまう。このように、キャラクタＣＨＰの顔の部分に単に顔画像ＩＭＦを合成する手法では、キャラクタＣＨＰが、自身の本当の分身であるかのような感覚を、今ひとつプレーヤに与えることができないと共に、肌色の色合いの違いが原因で違和感のある画像になってしまうおそれがある。

そこで本実施形態では、プレーヤの部位画像をキャラクタＣＨＰに合成すると共に、部位画像から抽出された肌色情報に基づいて、キャラクタＣＨＰのその他の部位の色情報を設定する手法を採用する。

具体的には図９に示すように、プレーヤＰＬの撮像画像ＩＭに含まれる顔画像ＩＭＦ（広義には部位画像）を、キャラクタＣＨＰの顔（広義には所定部位）の部分に合成すると共に、当該顔画像ＩＭＦから肌色情報を抽出する。例えば顔画像ＩＭＦの肌色部分の画素の色情報に基づいて、肌色情報を抽出する。そして抽出された肌色情報に基づいて、顔以外の部位の色情報を設定する。例えば図９に示すように、抽出された肌色情報を、胸元ＮＣ（首・胸）、手ＡＲ、ＡＬ、足ＬＲ、ＬＬなどの部位（広義には所定部位以外の部位）の色情報として設定する。即ち、当該肌色情報を基本色情報として、胸元ＮＣ、手ＡＲ、ＡＬ、足ＬＲ、ＬＬなどの部位のオブジェクトのレンダリング処理を行う。

より具体的には図１０に示すように、センサ１６２のカラーセンサ１６４により撮像されたプレーヤＰＬの全体が映る撮像画像ＩＭから、顔画像ＩＭＦを切り出す。これは、図５で説明したプレーヤＰＬのスケルトン情報に基づいて、プレーヤＰＬの顔の位置を特定し、その顔の位置を中心とした所定サイズのエリアの画像を、顔画像ＩＭＦとして切り出す（トリミングする）ことで実現できる。そして、このように切り出された顔画像ＩＭＦをキャラクタＣＨＰの顔の部分に合成すると共に、この顔画像ＩＭＦから抽出された肌色情報を、胸元ＮＣ、手ＡＲ、ＡＬ、足ＬＲ、ＬＬなどの部位の基本色情報に設定する。

このような本実施形態の手法によれば、例えばプレーヤＰＬの肌の色が白い場合には、キャラクタＣＨＰに合成される顔画像ＩＭＦの肌の色のみならず、胸元、手、足などの他の部位の肌の色も、白い肌色に設定されるようになる。同様に、プレーヤＰＬの肌の色が浅黒い場合には、キャラクタＣＨＰに合成される顔画像ＩＭＦの肌の色のみならず、胸元、手、足などの他の部位の肌の色も、浅黒い肌色に設定されるようになる。従って本実施形態によれば、顔の部位のみならず、それ以外の部位についても、プレーヤＰＬの肌の色が反映されるようになる。これにより、キャラクタＣＨＰが、自身の本当の分身であるかのような感覚を、プレーヤに与えることが可能になる。また、顔の肌色と、それ以外の胸元、手、足などの部位の肌色が揃うようになるため、肌色の色合いの違いが原因で違和感のある画像になってしまうような事態の発生を抑制できる。

図１１は肌色情報の抽出処理の一例を示すフローチャートである。まずプレーヤの撮像画像から顔画像を切り出す（ステップＳ１）。例えば図１０のようにプレーヤの全体の撮像画像から、図５のスケルトン情報などを利用して、顔画像の部分を切り出す。そして、切り出された顔画像に対して、解像度低減処理やぼかし処理などの画像処理を施す（ステップＳ２）。例えば、処理負荷の軽減のために、切り出された顔画像の画素数を減らしたり、大まかな色情報を抽出するために、顔画像に対してぼかしフィルター処理などを施す。

次に、画像処理後の顔画像のＲＧＢ値をＨＳＶ値に変換し、肌色条件に合致する画素を抽出する（ステップＳ３）。例えば、顔画像の各画素のＨＳＶ値の色相や彩度や明度の各値について、肌色の色相、彩度、明度の規定範囲内に入っているか否かを判断することで、肌色条件に合致する画素か否かを判断し、合致した画素を抽出する。そして、抽出した画素の色情報（ＲＧＢ値）に基づいて、肌色の基本色となる肌色情報を求める（ステップＳ４）。例えば、肌色条件に合致する画素としてＭ個の画素が抽出された場合には、これらのＭ個の画素の色情報（ＲＧＢ値）の平均値を求め、求められた色情報の平均値を、顔画像の肌色情報として求める。このようにすることで、プレーヤの顔の各部分のうち肌色ではない部分（例えば目、髪の毛等）を除外して、プレーヤの顔の肌色の平均的な色を、肌色情報として抽出できるようになる。そして抽出された肌色情報を、図９、図１０の胸元ＮＣ、手ＡＲ、ＡＬ、足ＬＲ、ＬＬなどの部位の基本色に設定して、モデルオブジェクトであるキャラクタＣＨＰのレンダリング処理を行って、キャラクタＣＨＰの画像を生成する。このように本実施形態では、プレーヤ（被写体）の顔画像ＩＭＦ（部位画像）の中から、肌色条件に合致する画素を抽出し、抽出した画素の色情報に基づいて、プレーヤの肌色情報を求めている。

例えば図１２（Ａ）は、キャラクタＣＨＰのモデルオブジェクト情報の例である。このモデルオブジェクト情報は、オブジェクト空間内でのモデルオブジェクトの位置の情報や方向の情報を含む。またモデルオブジェクトを構成する複数のオブジェクトＯＢ１、ＯＢ２、ＯＢ３・・・の情報を含む。

図１２（Ｂ）は、キャラクタＣＨＰのモデルオブジェクトを構成するオブジェクトＯＢ１、ＯＢ２、ＯＢ３・・・のオブジェクト情報の例である。このオブジェクト情報は、各オブジェクトＯＢ１、ＯＢ２、ＯＢ３・・・に対して、その基本色や、各オブジェクトを構成するポリゴンのデータが対応づけられている。本実施形態では図１２（Ｂ）の基本色の情報として、図１１の手法により抽出された肌色情報を設定する。つまり、抽出された肌色情報を基本色として、モデルオブジェクトの各オブジェクトのレンダリング処理を行って、キャラクタＣＨＰの画像を生成する。

即ち本実施形態では、図１３において表示部１９０に表示されるキャラクタＣＨＰは、複数のオブジェクトにより構成されるモデルオブジェクトとなっている。例えばポリゴン等のプリミティブ面で構成された３次元のＣＧオブジェクトでキャラクタＣＨＰの画像が生成される。そして図１３に示すように、キャラクタＣＨＰの画像として、当該モデルオブジェクトの顔の位置にプレーヤＰＬ（被写体）の顔画像ＩＭＦが表示される画像が生成される。このようなキャラクタＣＨＰと顔画像ＩＭＦの合成キャラクタ画像は、例えば図６で説明した画像合成手法により生成できる。

そして図１３に示すようにプレーヤＰＬ（被写体）が動いた場合に、プレーヤＰＬの動きに応じて、合成対象画像での顔画像ＩＭＦ（部位画像）の合成位置が変化する合成画像を生成されて、表示部１９０に表示される。即ち、プレーヤＰＬが右に動いて、その顔が右に移動した場合には、それに応じて、表示部１９０に表示される顔画像ＩＭＦも右側に移動する。同様にプレーヤＰＬが左に動いて、その顔が左に移動した場合には、それに応じて、顔画像ＩＭＦも左側に移動する。

具体的には本実施形態では、図５で説明したスケルトン情報を用いてキャラクタＣＨＰの動作を制御している。例えばスケルトン情報に基づくモーションデータにより、キャラクタＣＨＰのモーション再生を行って、キャラクタＣＨＰを動作させる。

図１４はスケルトンを概念的に説明する図である。キャラクタＣＨＰを動作させるスケルトンは、キャラクタＣＨＰの位置に配置設定される３次元形状の骨格であり、ＳＫは、このスケルトンをスクリーンＳＣＳに投影したものを表している。スケルトンは、図５で説明したように複数の関節で構成されており、各関節の位置は３次元座標で表される。スケルトンは、図１３のプレーヤＰＬの動きに連動して、その骨が動く。そして、スケルトンの骨が動くと、これに連動して、キャラクタＣＨＰの当該骨に対応する部位も動くことになる。例えばプレーヤＰＬが腕を動かすと、これに連動して、スケルトンの腕の骨が動き、キャラクタＣＨＰの腕も動くことになる。またプレーヤＰＬが足を動かすと、これに連動して、スケルトンの足の骨が動き、キャラクタＣＨＰの足も動くことになる。またプレーヤＰＬが頭部を動かすと、これに連動して、スケルトンの頭部の骨が動き、キャラクタＣＨＰの頭部も動くことになる。なお図１４では、例えば仮想カメラＶＣの視点位置にセンサ１６２が配置され、仮想カメラＶＣの視線方向にセンサ１６２の撮像方向が向いているものとして想定されている。

このように本実施形態では、プレーヤＰＬの動きに連動してキャラクタＣＨＰが動作する。従って、プレーヤＰＬが頭部を動かすと、表示部１９０に表示される顔画像ＩＭＦも、これに連動して動く。そこで本実施形態では、図５、図１４で説明したスケルトン情報を用いて、プレーヤＰＬの顔（頭部）の位置を特定し、特定した顔の位置に基づいて、図９、図１０のように撮像画像ＩＭから顔画像ＩＭＦを切り出して、キャラクタＣＨＰに合成したり、顔画像ＩＭＦから肌色情報を抽出する。

また本実施形態では、キャラクタＣＨＰとして、複数のオブジェクトにより構成されるモデルオブジェクトを用いる。そして、オブジェクト空間（３次元仮想空間）において、プレーヤＰＬ（被写体）の位置に対応する位置に配置される当該モデルオブジェクトのレンダリング処理を行うことで、キャラクタＣＨＰの画像を生成する。例えば図１５において、キャラクタＣＨＰは、オブジェクト空間内において、図１３でのプレーヤＰＬの位置に対応する位置に配置される。例えばプレーヤＰＬが前後左右に移動すると、キャラクタＣＨＰもオブジェクト空間内において前後左右に移動することになる。

そして、モデルオブジェクトであるキャラクタＣＨＰのレンダリング処理は、図１５に示すように光源ＬＳを用いた照明モデルに基づいて行われる。具体的には、照明モデルに基づくライティング処理（シェーディング処理）が行われる。このライティング処理は、光源ＬＳの情報（光源ベクトル、光源色、明るさ、光源タイプ等）や、仮想カメラＶＣの視線ベクトルや、キャラクタＣＨＰを構成するオブジェクトの法線ベクトルや、オブジェクトのマテリアル（色、材質）などを用いて行われる。なお照明モデルとしては、アンビエント光とディフューズ光だけを考慮したランバードの拡散照明モデルや、アンビエント光、ディフューズ光に加えてスペキュラ光も考慮するフォンの照明モデルやブリン・フォンの照明モデルなどがある。

このように照明モデルに基づくライティング処理を行うことで、キャラクタＣＨＰに対して光源ＬＳによる適切な陰影づけがついたリアルで高品質な画像を生成できるようになる。例えばスポットライトの光源を用いてライティング処理を行えば、スポットライトにより照らされているように見えるキャラクタＣＨＰ（衣装）の画像を生成できるようになり、プレーヤの仮想現実感等を向上できる。

そして本実施形態では、胸元、手、足などの顔以外の部位のオブジェクトの基本色（図１２（Ｂ））として、顔画像ＩＭＦから抽出された肌色情報を設定して、図１５のようなレンダリング処理を行っている。このようにすれば、設定された肌色情報を基本色として、図１５の光源ＬＳなどを用いたライティング処理により陰影づけが施されたリアルなキャラクタＣＨＰの画像を生成できるようになる。

以上のように本実施形態では、プレーヤ（被写体）の撮像画像ＩＭに含まれる顔画像ＩＭＦ（所定部位の部位画像）が、キャラクタＣＨＰの画像に合成された合成画像が生成される。この場合に図９〜図１１で説明したように、キャラクタの顔画像ＩＭＦ（被写体の所定部位の部位画像）に基づいて、キャラクタＣＨＰの肌色情報が抽出される。そして抽出された肌色情報に基づいて、キャラクタＣＨＰの顔以外の部位（所定部位以外の部位）の色情報が設定されて、キャラクタＣＨＰの画像が生成され、キャラクタＣＨＰの画像に顔画像ＩＭＦが合成された合成画像が生成される。

この場合に図１２（Ａ）、図１２（Ｂ）で説明したように、キャラクタＣＨＰは、複数のオブジェクトにより構成されるモデルオブジェクトとなっている。そしてプレーヤの肌色情報に基づいて、モデルオブジェクトの複数のオブジェクトのうち、顔以外の部位（所定部位以外の部位）のオブジェクトの色情報が設定される。即ち、抽出された肌色情報に基づいて、胸元、手、足などの部位のオブジェクトの色情報が設定される。そして図１５のようにモデルオブジェクトのレンダリング処理を行うことで、モデルオブジェクトであるキャラクタＣＨＰの画像が生成される。

この場合に本実施形態では、センサ１６２からのセンサ情報に基づいて、プレーヤＰＬ（被写体）の動きを特定するための被写体情報が取得される。そして図１３で説明したように、被写体情報により特定されるプレーヤＰＬの動きに応じて動作するキャラクタＣＨＰの画像が生成される。

例えば被写体情報に基づいて、キャラクタＣＨＰの顔の部位（被写体の所定部位）が特定され、図１０に示すように、プレーヤＰＬの撮像画像ＩＭから顔画像ＩＭＦ（部位画像）が切り出され、切り出された顔画像ＩＭＦがキャラクタＣＨＰの画像に合成される。この場合に、被写体情報に基づき特定された顔画像ＩＭＦ（所定部位の部位画像）に基づいて、プレーヤＰＬ（被写体）の肌色情報の抽出処理が行われる。

より具体的には、センサ１６２にからのセンサ情報に基づいて、被写体情報として、図５、図１４で説明したようなプレーヤＰＬのスケルトン情報が取得される。そして図１６に示すように、スケルトン情報（ＳＫ）に基づき特定された顔画像ＩＭＦに基づいて、肌色情報の抽出処理が行われる。例えば図１６において、スケルトン情報（ＳＫ）に基づいて、プレーヤＰＬの頭の位置（Ｃ６）を特定できる。即ち図１３のようにプレーヤＰＬが動くことで、頭の位置が動いた場合にも、センサ１６２によりプレーヤＰＬの動きを検出してスケルトン情報を取得することで、動いている頭の位置をトラッキングできる。従って、スケルトン情報を用いてプレーヤのＰＬの頭の位置を特定して、特定された位置の情報を用いて、カラーセンサ１６４で撮像された撮像画像ＩＭから、顔画像ＩＭＦを切り出して、肌色情報を抽出することが可能になる。即ち、プレーヤＰＬの動きに連動してキャラクタＣＨＰが動作するようなゲームにおいて、前後左右等に動いているプレーヤＰＬの顔画像ＩＭＦをトラッキングして、当該顔画像ＩＭＦから肌色情報を抽出し、抽出された肌色情報を、動作しているキャラクタＣＨＰの他の部位の肌色の基本色として設定することが可能になる。

２．３ 補正処理
本実施形態では図９、図１０に示すように、プレーヤＰＬの顔画像ＩＭＦから肌色情報を抽出し、顔画像ＩＭＦが合成されるキャラクタＣＨＰの胸元、手、足などの他の部位の基本色として設定する。この場合にキャラクタＣＨＰの画像の色と顔画像ＩＭＦの色の間に、色の差異が生じるおそれがある。例えば図１７において、顔画像ＩＭＦとキャラクタＣＨＰの胸元（胸・首）との境界領域ＢＤにおいて、色が不連続に変化（離散的に変化）してしまうおそれがある。

例えば図１７において、顔画像ＩＭＦの肌の色をＣＬＦとし、キャラクタＣＨＰの胸元の肌の色をＣＬＣとしたとする。この場合に、色ＣＬＦとＣＬＣは完全な同色にはならない。例えば色ＣＬＣは、顔画像ＩＭＦから抽出された肌色情報に基づき設定されるが、抽出された肌色と、色ＣＬＣとが、厳密に同じ色になるとは限らない。またキャラクタＣＨＰの胸元の色ＣＬＣについては、図１５で説明したように照明モデルに基づくライティング処理により陰影づけが施された色になる。このため顔画像の色ＣＬＦと胸元の色ＣＬＣは同じ色にならず、色の差異が発生する。

そこで本実施形態では、キャラクタＣＨＰの画像と顔画像ＩＭＦ（部位画像）との境界領域ＢＤにおいて、このような色の差異を目立たなくするための補正処理を行う。例えば顔画像ＩＭＦの色ＣＬＦから胸元の色ＣＬＣへと徐々に色を変化させる補正処理（グラディエーション処理）を行う。

具体的には、当該補正処理として、境界領域ＢＤにおいてキャラクタＣＨＰの画像の色ＣＬＣと顔画像ＩＭＦ（部位画像）の色ＣＬＦの半透明合成処理を行う。例えば色ＣＬＣの半透明合成のブレンド率をαとし、色ＣＬＦの半透明合成のブレンド率をβとし、生成される色をＣＬとする。この場合に図１７では、ＣＬ＝α×ＣＬＣ＋β×ＣＬＦで表される半透明合成処理を、補正処理として行う。ここでブレンド率αは、顔画像ＩＭＦの位置から胸元の位置に向かうにつれて大きくなる値であり、ブレンド率βは、胸元の位置から顔画像ＩＭＦの位置に向かうにつれて大きくなる値であり、例えばβ＝α−１の関係式が成り立つ。

このようにすれば、顔画像ＩＭＦの位置からキャラクタＣＨＰの胸元の位置に向かうにつれて、境界領域ＢＤの色ＣＬが、色ＣＬＦから色ＣＬＣに徐々に変化するようになる。従って、境界領域ＢＤにおいて色が不連続に変化することで画像が不自然になってしまう事態を、効果的に抑制できるようになる。

なお、この半透明合成処理は、図６で説明したキャラクタＣＨＰの画像と顔画像ＩＭＦの画像合成処理の際に行うことが望ましい。即ち図１８に示すように、キャラクタＣＨＰの画像と顔画像ＩＭＦの画像合成処理の際に、キャラクタＣＨＰに対してブレンド率αを設定し、顔画像ＩＭＦに対してブレンド率βを設定する。そしてキャラクタＣＨＰの領域のうち、図１７の境界領域ＢＤ以外の領域では、α＝１、β＝０に設定する。同様に、顔画像ＩＭＦの領域のうち、境界領域ＢＤ以外の領域では、β＝１、α＝０に設定する。そして境界領域ＢＤでは、０＜α＜１、０＜β＜１に設定して、ＣＬ＝α×ＣＬＣ＋β×ＣＬＦで表される半透明合成処理を行う。このようにすれば、キャラクタＣＨＰの画像と顔画像ＩＭＦの画像合成処理の際に、境界領域ＢＤでの半透明合成処理も実行できるようになり、処理の効率化等を図れる。

また本実施形態では、補正処理として、境界領域ＢＤに対してデコレーション処理を行ってもよい。

例えば図１９では、顔画像ＩＭＦとキャラクタＣＨＰの胸元の間の境界領域ＢＤに対して、例えば境界領域ＢＤを覆うようにマフラーやネックレスなどのデコレーション用の表示物ＡＣ（オブジェクト、アイテム）を配置するデコレーション処理を行っている。このようにすれば、デコレーション用の表示物ＡＣにより、境界領域ＢＤの部分を隠すことが可能になる。即ち、境界領域ＢＤでの不連続な色の変化を、デコレーション用の表示物ＡＣにより隠すことが可能になり、生成される画像が不自然になってしまう事態を、効果的に抑制できるようになる。

なおデコレーション処理に使用される表示物（オブジェクト）は、プレーヤが所有しているアイテムの表示物であってもよいし、キャラクタＣＨＰに関連づけて付随しているような表示物であってもよい。なおデコレーション処理として、境界領域ＢＤに対してデコレーションの効果がある画像エフェクト処理を施してもよい。

また境界領域ＢＤでの補正処理の手法としては種々の手法が考えられる。例えば境界領域ＢＤの画像に対してぼかしフィルター処理を行ったり、顔画像ＩＭＦと胸元の画像を馴染ませるための明るさ調整を行ったり、色情報の平均化処理（平滑化処理）を行うなどの種々の変形実施が可能である。

また本実施形態では、センサ１６２（カラーセンサ１６４）による撮影時の環境での明るさ情報等の環境情報に基づいて、抽出された肌色情報の補正処理を行ってもよい。例えば撮影環境が暗い環境である場合には、顔画像等の部位画像から抽出された肌色情報は、プレーヤの実際の肌の色に比べて、暗い肌色になってしまう可能性がある。従って、この場合には、部位画像から抽出された肌色情報を、より明るい肌色になるように補正する。一方、撮影環境が明るい環境である場合には、顔画像等の部位画像から抽出された肌色情報は、プレーヤの実際の肌の色に比べて、明るい肌色になってしまう可能性がある。従って、この場合には、部位画像から抽出された肌色情報を、より暗い肌色になるように補正する。このようにすることで、キャラクタＣＨＰの手、足、胸元等の部位に設定される肌色を、実際のプレーヤの肌色に近づけることが可能になり、より適切なキャラクタ画像を生成できるようになる。

また本実施形態では、顔画像等の部位画像の肌色情報や、当該肌色情報に基づいて他の部位に肌色として設定された色情報を、ゲーム状況に応じて変色させる補正処理を行ってもよい。例えばゲーム状況に応じて、プレーヤのキャラクタＣＨＰの肌の色の血色が良くなったり、青ざめて血色が悪くなるようなゲーム演出を行う。このようにすることで、キャラクタＣＨＰの部位（手、足、胸元、顔等）の肌の色が、ゲーム状況に応じて種々に変化するようになり、当該肌の色が画一的な色になってしまうのを防止できる。

３．詳細な処理
次に本実施形態の詳細な処理例について図２０のフローチャートを用いて説明する。

まず、プレーヤのスケルトン情報に基づいて、プレーヤの顔の位置を特定し、特定された位置に基づいて、プレーヤの撮像画像から、顔画像を切り出す（ステップＳ１１）。例えば図５、図１４、図１６で説明したスケルトン情報等を用いて、カラー画像である撮像画像におけるプレーヤの顔画像ＩＭＦの位置を特定し、その位置を中心とする所与のサイズのエリアをトリミングすることで、顔画像ＩＭＦを切り出す。

次に、顔画像から肌色情報を抽出する（ステップＳ１２）。例えば図１１で説明した手法等により顔画像から肌色情報を抽出する。そして抽出された肌色情報に基づいて、キャラクタの顔以外の部位の肌色の基本色を設定する（ステップＳ１３）。例えば図９、図１０で説明したように、顔以外の胸元ＮＣ、手ＡＲ、ＡＬ、足ＬＲ、ＬＬなどの部位の肌色の基本色を設定する。この肌色の基本色の設定は、例えば図１２（Ｂ）のオブジェクト情報の対応するオブジェクトに対して行う。

次に、照明モデルに基づいて、キャラクタのレンダリング処理を行って、キャラクタの画像を生成する（ステップＳ１４）。例えば図１５で説明したように光源ＬＳを用いたライティング処理を行いながらレンダリング処理を行って、キャラクタのレンダリング画像（陰影づけが施された画像）を生成する。そしてキャラクタの画像と顔画像の合成処理を行い、この際にキャラクタの画像と顔画像の境界領域において補正処理を実行する（ステップＳ１５）。例えば図１８に示すように、ブレンド率α、βを用いて、キャラクタＣＨＰの画像と顔画像ＩＭＦの画像合成処理を行い、このブレンド率α、βを用いて、図１７に示すように、キャラクタＣＨＰの画像と顔画像ＩＭＦの境界領域ＢＤにおいて補正処理（半透明合成処理）を実行する。

なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語（被写体、所定部位、部位画像等）と共に記載された用語（プレーヤ、顔、顔画像等）は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また、肌色情報の抽出処理、画像合成処理、色情報の設定処理、補正処理、レンダリング処理、被写体の動きの特定処理等も、本実施形態で説明したものに限定されず、これらと均等な手法も本発明の範囲に含まれる。

ＰＬ プレーヤ（被写体）、ＣＨＰ キャラクタ、ＩＭＦ 顔画像（部位画像）、
ＩＭ 撮像画像、ＮＣ 胸元、ＡＲ、ＡＬ 手、ＬＲ、ＬＬ 足、
ＢＤ 境界領域、ＡＣ 表示物、ＳＣ スケルトン、
１００ 処理部、１０２ 入力処理部、１１０ 演算処理部、１１１ ゲーム処理部、
１１２ オブジェクト空間設定部、１１３ キャラクタ処理部、
１１４ 被写体情報取得部、１１５ 抽出処理部、１１８ ゲーム成績演算部、
１１９ 仮想カメラ制御部、１２０ 画像生成部、１３０ 音生成部、
１３２ 印刷処理部、１４０ 出力処理部、１５０ 払い出し口、１５２ コイン投入口、
１６０ 操作部、１６２ センサ、１６４ カラーセンサ、１６６ デプスセンサ、
１７０ 記憶部、１７２ オブジェクト情報記憶部、１７８ 描画バッファ、
１８０ 情報記憶媒体、１９０ 表示部、１９２ 音出力部、１９４ Ｉ／Ｆ部、
１９５ 携帯型情報記憶媒体、１９６ 通信部、１９８ 印刷部

Claims (12)

1. 被写体の撮像画像を取得する入力処理部と、
   色情報の抽出処理を行う抽出処理部と、
   センサからのセンサ情報に基づいて、前記被写体の動きを特定するための被写体情報を取得する被写体情報取得部と、
   前記被写体の前記撮像画像に含まれる前記被写体の所定部位の部位画像が、キャラクタの画像に合成された合成画像を生成する画像生成部と、
   を含み、
   前記画像生成部は、
   前記被写体情報に基づいて、前記被写体の前記所定部位を特定して、前記被写体の前記撮像画像から前記所定部位の前記部位画像を切り出し、
   前記抽出処理部は、
   前記被写体情報に基づき切り出された前記所定部位の前記部位画像に基づいて、前記被写体の肌色情報の抽出処理を行い、
   前記画像生成部は、
   抽出された前記肌色情報に基づいて、前記キャラクタの前記所定部位以外の部位の色情報を設定して、前記キャラクタの画像を生成し、生成された前記キャラクタの画像と前記部位画像とを合成することで、前記被写体の動きに応じて前記部位画像の合成位置が変化する前記合成画像を生成することを特徴とする画像生成システム。
2. 請求項１において、
   前記画像生成部は、
   抽出された前記肌色情報に基づき前記所定部位以外の部位に設定された色情報を、ゲーム状況に応じて変色させる補正処理を行うことを特徴とする画像生成システム。
3. 請求項１又は２において、
   前記部位画像は前記被写体の顔画像であり、
   前記抽出処理部は、
   前記顔画像に基づいて、前記肌色情報の抽出処理を行い、
   前記画像生成部は、
   前記顔画像から抽出された前記肌色情報に基づいて、前記キャラクタの顔以外の部位の色情報を設定することを特徴とする画像生成システム。
4. 請求項１乃至３のいずれかにおいて、
   前記キャラクタは、複数のオブジェクトにより構成されるモデルオブジェクトであり、
   前記画像生成部は、
   前記被写体の前記肌色情報に基づいて、前記モデルオブジェクトの前記複数のオブジェクトのうち、前記所定部位以外の部位のオブジェクトの色情報を設定して、前記モデルオブジェクトのレンダリング処理を行うことで、前記モデルオブジェクトの画像を生成することを特徴とする画像生成システム。
5. 請求項１乃至４のいずれかにおいて、
   前記画像生成部は、
   前記キャラクタの画像と前記部位画像との境界領域において補正処理を行うことを特徴とする画像生成システム。
6. 請求項５において、
   前記画像生成部は、
   前記補正処理として、前記境界領域において前記キャラクタの画像の色情報と前記部位画像の色情報の半透明合成処理を行うことを特徴とする画像生成システム。
7. 請求項５において、
   前記画像生成部は、
   前記補正処理として、前記境界領域に対してデコレーション処理を行うことを特徴とする画像生成システム。
8. 請求項１乃至７のいずれかにおいて、
   前記抽出処理部は、
   前記被写体の前記部位画像の中から、肌色条件に合致する画素を抽出し、抽出した画素の色情報に基づいて、前記被写体の前記肌色情報を求めることを特徴とする画像生成システム。
9. 請求項１乃至８のいずれかにおいて、
   前記画像生成部は、
   前記被写体情報により特定される前記被写体の動きに応じて動作する前記キャラクタの画像を生成することを特徴とする画像生成システム。
10. 請求項１乃至９のいずれかにおいて、
    前記被写体情報取得部は、
    前記センサ情報に基づいて、前記被写体情報として、前記被写体のスケルトン情報を取得し、
    前記抽出処理部は、
    前記スケルトン情報に基づき特定された前記所定部位の前記部位画像に基づいて、前記被写体の前記肌色情報の抽出処理を行うことを特徴とする画像生成システム。
11. 被写体の撮像画像を取得する入力処理部と、
    色情報の抽出処理を行う抽出処理部と、
    センサからのセンサ情報に基づいて、前記被写体の動きを特定するための被写体情報を取得する被写体情報取得部と、
    前記被写体の前記撮像画像に含まれる前記被写体の所定部位の部位画像が、キャラクタの画像に合成された合成画像を生成する画像生成部と、
    前記キャラクタが登場するゲームの処理を行うゲーム処理部と、
    を含み、
    前記画像生成部は、
    前記被写体情報に基づいて、前記被写体の前記所定部位を特定して、前記被写体の前記撮像画像から前記所定部位の前記部位画像を切り出し、
    前記抽出処理部は、
    前記被写体情報に基づき切り出された前記所定部位の前記部位画像に基づいて、前記被写体の肌色情報の抽出処理を行い、
    前記画像生成部は、
    抽出された前記肌色情報に基づいて、前記キャラクタの前記所定部位以外の部位の色情報を設定して、前記キャラクタの画像を生成し、生成された前記キャラクタの画像と前記部位画像とを合成することで、前記被写体の動きに応じて前記部位画像の合成位置が変化する前記合成画像を生成することを特徴とするゲーム装置。
12. 被写体の撮像画像を取得する入力処理部と、
    色情報の抽出処理を行う抽出処理部と、
    センサからのセンサ情報に基づいて、前記被写体の動きを特定するための被写体情報を取得する被写体情報取得部と、
    前記被写体の前記撮像画像に含まれる前記被写体の所定部位の部位画像が、キャラクタの画像に合成された合成画像を生成する画像生成部として、
    コンピュータを機能させ、
    前記画像生成部は、
    前記被写体情報に基づいて、前記被写体の前記所定部位を特定して、前記被写体の前記撮像画像から前記所定部位の前記部位画像を切り出し、
    前記抽出処理部は、
    前記被写体情報に基づき切り出された前記所定部位の前記部位画像に基づいて、前記被写体の肌色情報の抽出処理を行い、
    前記画像生成部は、
    抽出された前記肌色情報に基づいて、前記キャラクタの前記所定部位以外の部位の色情報を設定して、前記キャラクタの画像を生成し、生成された前記キャラクタの画像と前記部位画像とを合成することで、前記被写体の動きに応じて前記部位画像の合成位置が変化する前記合成画像を生成することを特徴とするプログラム。