JP2002232783A - 画像処理装置および画像処理方法、並びにプログラム記憶媒体 - Google Patents
画像処理装置および画像処理方法、並びにプログラム記憶媒体Info
- Publication number
- JP2002232783A JP2002232783A JP2001029150A JP2001029150A JP2002232783A JP 2002232783 A JP2002232783 A JP 2002232783A JP 2001029150 A JP2001029150 A JP 2001029150A JP 2001029150 A JP2001029150 A JP 2001029150A JP 2002232783 A JP2002232783 A JP 2002232783A
- Authority
- JP
- Japan
- Prior art keywords
- image
- target object
- position information
- viewpoint position
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Studio Circuits (AREA)
Abstract
(57)【要約】
【課題】 素材映像内の特定の置き換え対象オブジェク
トにカメラで撮影した貼り付け対象オブジェクトに変更
する画像合成処理を簡易に実行可能な画像処理装置を提
供する。 【解決手段】 映画などの素材映像、あるいは3DCG
に基づいて生成される画像データ内の置き換え対象オブ
ジェクト(ex.特定の登場人物の顔)の視点位置情報
を取得し、該視点位置情報に基づいて、貼り付け対象オ
ブジェクト(ex.ユーザの顔)を様々な視点位置から
撮影した複数の画像から近似視点画像を選択し、必要で
あればビューインターポレーション処理により画像を生
成して素材画像に合成する。本構成により、貼り付け対
象オブジェクト(ex.ユーザの顔)に様々な動きを強
いることなく画像合成が可能となる。
トにカメラで撮影した貼り付け対象オブジェクトに変更
する画像合成処理を簡易に実行可能な画像処理装置を提
供する。 【解決手段】 映画などの素材映像、あるいは3DCG
に基づいて生成される画像データ内の置き換え対象オブ
ジェクト(ex.特定の登場人物の顔)の視点位置情報
を取得し、該視点位置情報に基づいて、貼り付け対象オ
ブジェクト(ex.ユーザの顔)を様々な視点位置から
撮影した複数の画像から近似視点画像を選択し、必要で
あればビューインターポレーション処理により画像を生
成して素材画像に合成する。本構成により、貼り付け対
象オブジェクト(ex.ユーザの顔)に様々な動きを強
いることなく画像合成が可能となる。
Description
【0001】
【発明の属する技術分野】本発明は、画像処理装置およ
び画像処理方法、並びにプログラム記憶媒体に関し、特
に、映画やドラマなどのシーン(素材映像)に同期して
決められた軌道を移動するカメラでユーザの顔を取り込
み、素材映像の登場人物の顔に合成するすることで、ユ
ーザが素材映像中の登場人物に成り代わってインタラク
ティブに入り込んだ映像を生成する画像処理装置および
画像処理方法、並びにプログラム記憶媒体に関する。
び画像処理方法、並びにプログラム記憶媒体に関し、特
に、映画やドラマなどのシーン(素材映像)に同期して
決められた軌道を移動するカメラでユーザの顔を取り込
み、素材映像の登場人物の顔に合成するすることで、ユ
ーザが素材映像中の登場人物に成り代わってインタラク
ティブに入り込んだ映像を生成する画像処理装置および
画像処理方法、並びにプログラム記憶媒体に関する。
【0002】
【従来の技術】映画やドラマなどシーンにおいて、そこ
に登場する人物にユーザ自身の画像を貼り付けて登場人
物に成り代わってユーザが映画やドラマなどのシーン中
にインタラクティブに入り込んだ映像を生成するシステ
ムとして、現在提案されているものに例えば次のような
ものがある。
に登場する人物にユーザ自身の画像を貼り付けて登場人
物に成り代わってユーザが映画やドラマなどのシーン中
にインタラクティブに入り込んだ映像を生成するシステ
ムとして、現在提案されているものに例えば次のような
ものがある。
【0003】まず、映画の画像中の登場人物の顔部分に
貼り付けるためのユーザの顔の三次元形状と画像を取得
する。次に、映画の登場人物の顔部分に対する顔モデル
のフィッティング情報をもとに合成処理を実行する。こ
のフィッティング処理はマッチムーブと呼ばれ、映画の
特殊効果としては一般的である。しかしながら、このマ
ッチムーブ処理は、例えば映画の各シーンを構成する各
フレームにおける時間方向の不連続や振動が生じないよ
うに考慮した処理が必要となり、結果としてフレーム単
位での合成処理が必要になる。
貼り付けるためのユーザの顔の三次元形状と画像を取得
する。次に、映画の登場人物の顔部分に対する顔モデル
のフィッティング情報をもとに合成処理を実行する。こ
のフィッティング処理はマッチムーブと呼ばれ、映画の
特殊効果としては一般的である。しかしながら、このマ
ッチムーブ処理は、例えば映画の各シーンを構成する各
フレームにおける時間方向の不連続や振動が生じないよ
うに考慮した処理が必要となり、結果としてフレーム単
位での合成処理が必要になる。
【0004】フィッティング処理に用いられる顔モデル
は三次元空間上で動かすことが可能であり、実際に映画
のシーンが進行し、登場人物と置き換わった自分の顔を
インタラクティブに操作できる。また、マイクに向かっ
て例えばセリフを話しかければ、その言葉を話すように
合成されたユーザの顔の口形状が変化する。また、キー
操作によって表情を任意に変えることがもきる。(詳し
くは例えば森島繁生,“顔の認識・合成と新メディアの
可能性”,第6回画像センシングシンポジウム講演論文
集,pp.415-424, June 2000 を参照のこと)また、顔の
表情などの動きに関しては、ユーザの顔の動きを計測し
て、それを顔モデルに反映させることも考えられる。
は三次元空間上で動かすことが可能であり、実際に映画
のシーンが進行し、登場人物と置き換わった自分の顔を
インタラクティブに操作できる。また、マイクに向かっ
て例えばセリフを話しかければ、その言葉を話すように
合成されたユーザの顔の口形状が変化する。また、キー
操作によって表情を任意に変えることがもきる。(詳し
くは例えば森島繁生,“顔の認識・合成と新メディアの
可能性”,第6回画像センシングシンポジウム講演論文
集,pp.415-424, June 2000 を参照のこと)また、顔の
表情などの動きに関しては、ユーザの顔の動きを計測し
て、それを顔モデルに反映させることも考えられる。
【0005】上記の従来のフィッティング処理方法で
は、画像中に貼り付けるデータとしてユーザの三次元形
状を取り込む必要がある。また、このアプローチで技術
が進んだとしても、表現できる口形状や表情に限界があ
り、合成された画像には不自然な口の動きや表情が残っ
てしまう。このような不自然さを解消するために、顔の
向きや位置に関して、映画の中の登場人物と全く同じ動
作をユーザにしてもらい、その方向、位置部分の顔デー
タを抽出して合成する処理も考えられるが、映画などの
登場人物と全く同じ動作をすることは不可能であり、現
実的ではない。また、合成処理後に各シーンの合成画像
を取り出して微少な調整処理を実行するということも考
えられるが、このような後処理を実行するとリアルタイ
ムのインタラクティブなシステムとして成り立たなくな
ってしまう。
は、画像中に貼り付けるデータとしてユーザの三次元形
状を取り込む必要がある。また、このアプローチで技術
が進んだとしても、表現できる口形状や表情に限界があ
り、合成された画像には不自然な口の動きや表情が残っ
てしまう。このような不自然さを解消するために、顔の
向きや位置に関して、映画の中の登場人物と全く同じ動
作をユーザにしてもらい、その方向、位置部分の顔デー
タを抽出して合成する処理も考えられるが、映画などの
登場人物と全く同じ動作をすることは不可能であり、現
実的ではない。また、合成処理後に各シーンの合成画像
を取り出して微少な調整処理を実行するということも考
えられるが、このような後処理を実行するとリアルタイ
ムのインタラクティブなシステムとして成り立たなくな
ってしまう。
【0006】また、カメラを移動させて、様々な角度か
らの被写体画像を撮り込み、映画の各シーン中の置き換
え対象画像の角度に近い撮影画像を選択して画像の置き
換え処理を行なう手法も提案されている。しかし、この
手法は、カメラの移動制御のための駆動機構が必要とな
り、被写体画像撮影装置のコストアップ、信頼性低下な
どの問題を発生させる。
らの被写体画像を撮り込み、映画の各シーン中の置き換
え対象画像の角度に近い撮影画像を選択して画像の置き
換え処理を行なう手法も提案されている。しかし、この
手法は、カメラの移動制御のための駆動機構が必要とな
り、被写体画像撮影装置のコストアップ、信頼性低下な
どの問題を発生させる。
【0007】
【発明が解決しようとする課題】本発明は、上記のよう
な従来のフィッティング処理の問題点に鑑みてなされた
ものであり、映画やドラマ、あるいは3DCGなどに基
づく様々な画像データに対してユーザの顔、あるいは他
のオブジェクトの画像貼り付け処理をインタラクティブ
にかつ容易に実行し、自然な合成画像の生成を可能とし
た画像処理装置および画像処理方法を提供することを目
的とする。
な従来のフィッティング処理の問題点に鑑みてなされた
ものであり、映画やドラマ、あるいは3DCGなどに基
づく様々な画像データに対してユーザの顔、あるいは他
のオブジェクトの画像貼り付け処理をインタラクティブ
にかつ容易に実行し、自然な合成画像の生成を可能とし
た画像処理装置および画像処理方法を提供することを目
的とする。
【0008】さらに、本発明は、被写体画像をカメラを
移動させることなく、様々な角度からの画像撮り込みを
可能とし、自然な合成画像の生成を可能とした画像処理
装置および画像処理方法を提供することを目的とする。
移動させることなく、様々な角度からの画像撮り込みを
可能とし、自然な合成画像の生成を可能とした画像処理
装置および画像処理方法を提供することを目的とする。
【0009】
【課題を解決するための手段】本発明の第1の側面は、
素材画像データ内の特定オブジェクトを置き換え対象オ
ブジェクトとし、該置き換え対象オブジェクトの画像
を、カメラで撮影した貼り付け対象オブジェクトの画像
データに置き換える処理を実行する画像処理装置であ
り、貼り付け対象オブジェクトの画像を複数の視点位置
から撮り込む複数のカメラを配列した撮像手段と、前記
素材画像データ内の置き換え対象オブジェクトの視点位
置情報に基づいて、前記撮像手段から取得される異なる
視点位置からの複数の撮影画像から、前記視点位置情報
に近似する視点位置画像を選択し、該選択画像に基づい
て貼り付け対象オブジェクトの画像を生成し、前記素材
画像データ内の置き換え対象オブジェクトの画像を前記
貼り付け対象オブジェクトの画像に変更する画像合成処
理を実行する画像合成手段と、を有することを特徴とす
る画像処理装置にある。
素材画像データ内の特定オブジェクトを置き換え対象オ
ブジェクトとし、該置き換え対象オブジェクトの画像
を、カメラで撮影した貼り付け対象オブジェクトの画像
データに置き換える処理を実行する画像処理装置であ
り、貼り付け対象オブジェクトの画像を複数の視点位置
から撮り込む複数のカメラを配列した撮像手段と、前記
素材画像データ内の置き換え対象オブジェクトの視点位
置情報に基づいて、前記撮像手段から取得される異なる
視点位置からの複数の撮影画像から、前記視点位置情報
に近似する視点位置画像を選択し、該選択画像に基づい
て貼り付け対象オブジェクトの画像を生成し、前記素材
画像データ内の置き換え対象オブジェクトの画像を前記
貼り付け対象オブジェクトの画像に変更する画像合成処
理を実行する画像合成手段と、を有することを特徴とす
る画像処理装置にある。
【0010】さらに、本発明の画像処理装置の一実施態
様において、前記画像処理装置は、前記置き換え対象オ
ブジェクトを含む素材画像データを格納した素材映像蓄
積手段と、前記置き換え対象オブジェクトの視点位置情
報を蓄積した視点位置情報蓄積手段を有し、視点位置情
報蓄積手段に格納される視点位置情報は、前記素材映像
蓄積手段に格納された素材画像データの各フレームに対
応する時系列データとして構成され、前記視点位置情報
蓄積手段に記録された視点位置情報の前記画像合成手段
に対する出力、および、前記素材映像蓄積手段に記録さ
れた素材映像の前記画像合成手段に対する出力、および
前記撮像手段からの撮影画像の前記画像合成手段に対す
る出力を同期させた処理として実行し、前記画像合成手
段は、前記素材映像蓄積手段から入力する素材映像と、
前記視点位置情報蓄積手段から入力する視点位置情報
と、前記撮像手段から入力される貼り付け対象オブジェ
クトの複数画像を並列に入力し、該入力データに基づい
て、前記素材画像中の置き換え対象オブジェクトの画像
を前記貼り付け対象オブジェクトの画像に変更する処理
を実行する構成であることを特徴とする。
様において、前記画像処理装置は、前記置き換え対象オ
ブジェクトを含む素材画像データを格納した素材映像蓄
積手段と、前記置き換え対象オブジェクトの視点位置情
報を蓄積した視点位置情報蓄積手段を有し、視点位置情
報蓄積手段に格納される視点位置情報は、前記素材映像
蓄積手段に格納された素材画像データの各フレームに対
応する時系列データとして構成され、前記視点位置情報
蓄積手段に記録された視点位置情報の前記画像合成手段
に対する出力、および、前記素材映像蓄積手段に記録さ
れた素材映像の前記画像合成手段に対する出力、および
前記撮像手段からの撮影画像の前記画像合成手段に対す
る出力を同期させた処理として実行し、前記画像合成手
段は、前記素材映像蓄積手段から入力する素材映像と、
前記視点位置情報蓄積手段から入力する視点位置情報
と、前記撮像手段から入力される貼り付け対象オブジェ
クトの複数画像を並列に入力し、該入力データに基づい
て、前記素材画像中の置き換え対象オブジェクトの画像
を前記貼り付け対象オブジェクトの画像に変更する処理
を実行する構成であることを特徴とする。
【0011】さらに、本発明の画像処理装置の一実施態
様において、前記画像合成手段は、選択された前記視点
位置情報に近似する視点位置画像が複数である際に、該
選択画像に基づくビューインターポレーション処理を実
行して貼り付け対象オブジェクトの画像を生成する処理
を実行する構成であることを特徴とする。
様において、前記画像合成手段は、選択された前記視点
位置情報に近似する視点位置画像が複数である際に、該
選択画像に基づくビューインターポレーション処理を実
行して貼り付け対象オブジェクトの画像を生成する処理
を実行する構成であることを特徴とする。
【0012】さらに、本発明の画像処理装置の一実施態
様において、前記画像合成手段は、さらに、前記撮像手
段の撮影した画像から貼り付け対象オブジェクトの画像
のみを抽出する撮り込み画像抽出処理を実行する構成で
あることを特徴とする。
様において、前記画像合成手段は、さらに、前記撮像手
段の撮影した画像から貼り付け対象オブジェクトの画像
のみを抽出する撮り込み画像抽出処理を実行する構成で
あることを特徴とする。
【0013】さらに、本発明の画像処理装置の一実施態
様において、前記画像処理装置は、さらに、素材画像デ
ータ内の前記置き換え対象オブジェクトの遮蔽領域情報
としての隠れマスク情報を格納した隠れマスク情報蓄積
手段を有し、前記画像合成手段は、該隠れマスク情報蓄
積手段からの隠れマスク情報を入力し、マスク領域につ
いては、前記撮像手段からの貼り付け対象オブジェクト
の画像データではなく、前記素材画像データのデータを
出力データとして選択する合成処理を実行することを特
徴とする。
様において、前記画像処理装置は、さらに、素材画像デ
ータ内の前記置き換え対象オブジェクトの遮蔽領域情報
としての隠れマスク情報を格納した隠れマスク情報蓄積
手段を有し、前記画像合成手段は、該隠れマスク情報蓄
積手段からの隠れマスク情報を入力し、マスク領域につ
いては、前記撮像手段からの貼り付け対象オブジェクト
の画像データではなく、前記素材画像データのデータを
出力データとして選択する合成処理を実行することを特
徴とする。
【0014】さらに、本発明の画像処理装置の一実施態
様において、前記画像処理装置は、さらに、素材画像デ
ータ内の前記置き換え対象オブジェクトの輝度情報に基
づいて生成される照明位置情報を格納した照明位置情報
蓄積手段と、貼り付け対象オブジェクトを異なる方向か
ら照射する複数の照明を配列した照明手段と、前記照明
手段の各照明を前記照明位置情報に従って明滅させる照
明制御手段とを有する構成であることを特徴とする。
様において、前記画像処理装置は、さらに、素材画像デ
ータ内の前記置き換え対象オブジェクトの輝度情報に基
づいて生成される照明位置情報を格納した照明位置情報
蓄積手段と、貼り付け対象オブジェクトを異なる方向か
ら照射する複数の照明を配列した照明手段と、前記照明
手段の各照明を前記照明位置情報に従って明滅させる照
明制御手段とを有する構成であることを特徴とする。
【0015】さらに、本発明の画像処理装置の一実施態
様において、前記画像処理装置は、さらに、3次元モデ
ルデータを格納した3次元モデル蓄積手段と、前記3次
元モデル蓄積手段に格納した3次元モデルデータに含ま
れる置き換え対象オブジェクトの仮想撮影視点情報を格
納した仮想カメラ情報蓄積手段と、前記3次元モデルデ
ータと、前記仮想撮影視点情報に基づいて素材映像デー
タを生成する素材映像生成手段とを有し、前記画像合成
手段は、前記素材映像生成手段の生成する素材映像に含
まれる置き換え対象オブジェクトの仮想撮影視点情報に
基づいて生成される視点位置情報に従って、前記撮像手
段から入力される画像中から、該視点位置情報に近似す
る視点位置画像を選択し、該選択画像に基づいて貼り付
け対象オブジェクトの画像を生成し、前記素材画像デー
タ内の置き換え対象オブジェクトの画像を前記貼り付け
対象オブジェクトの画像に変更する画像合成処理を実行
する構成であることを特徴とする。
様において、前記画像処理装置は、さらに、3次元モデ
ルデータを格納した3次元モデル蓄積手段と、前記3次
元モデル蓄積手段に格納した3次元モデルデータに含ま
れる置き換え対象オブジェクトの仮想撮影視点情報を格
納した仮想カメラ情報蓄積手段と、前記3次元モデルデ
ータと、前記仮想撮影視点情報に基づいて素材映像デー
タを生成する素材映像生成手段とを有し、前記画像合成
手段は、前記素材映像生成手段の生成する素材映像に含
まれる置き換え対象オブジェクトの仮想撮影視点情報に
基づいて生成される視点位置情報に従って、前記撮像手
段から入力される画像中から、該視点位置情報に近似す
る視点位置画像を選択し、該選択画像に基づいて貼り付
け対象オブジェクトの画像を生成し、前記素材画像デー
タ内の置き換え対象オブジェクトの画像を前記貼り付け
対象オブジェクトの画像に変更する画像合成処理を実行
する構成であることを特徴とする。
【0016】さらに、本発明の第2の側面は、素材画像
データ内の特定オブジェクトを置き換え対象オブジェク
トとし、該置き換え対象オブジェクトの画像を、カメラ
で撮影した貼り付け対象オブジェクトの画像データに置
き換える処理を実行する画像処理方法であり、貼り付け
対象オブジェクトの画像を複数の視点位置から撮り込む
複数のカメラを配列した撮像手段により複数画像を撮り
込む画像撮り込みステップと、画像合成手段において、
前記素材画像データ内の置き換え対象オブジェクトの視
点位置情報に基づいて、前記撮像手段から取得される異
なる視点位置からの複数の撮影画像から、前記視点位置
情報に近似する視点位置画像を選択し、該選択画像に基
づいて貼り付け対象オブジェクトの画像を生成し、前記
素材画像データ内の置き換え対象オブジェクトの画像を
前記貼り付け対象オブジェクトの画像に変更する画像合
成処理を実行する画像合成ステップと、を有することを
特徴とする画像処理方法にある。
データ内の特定オブジェクトを置き換え対象オブジェク
トとし、該置き換え対象オブジェクトの画像を、カメラ
で撮影した貼り付け対象オブジェクトの画像データに置
き換える処理を実行する画像処理方法であり、貼り付け
対象オブジェクトの画像を複数の視点位置から撮り込む
複数のカメラを配列した撮像手段により複数画像を撮り
込む画像撮り込みステップと、画像合成手段において、
前記素材画像データ内の置き換え対象オブジェクトの視
点位置情報に基づいて、前記撮像手段から取得される異
なる視点位置からの複数の撮影画像から、前記視点位置
情報に近似する視点位置画像を選択し、該選択画像に基
づいて貼り付け対象オブジェクトの画像を生成し、前記
素材画像データ内の置き換え対象オブジェクトの画像を
前記貼り付け対象オブジェクトの画像に変更する画像合
成処理を実行する画像合成ステップと、を有することを
特徴とする画像処理方法にある。
【0017】さらに、本発明の画像処理方法の一実施態
様において、前記画像処理方法は、さらに、素材映像蓄
積手段に格納された素材画像データの各フレームに対応
する時系列データとして置き換え対象オブジェクトの視
点位置情報を生成し、視点位置情報蓄積手段に蓄積する
視点位置情報蓄積ステップと、前記視点位置情報蓄積手
段に記録された視点位置情報の前記画像合成手段に対す
る出力、および、前記素材映像蓄積手段に記録された素
材映像の前記画像合成手段に対する出力、および前記撮
像手段からの撮影画像の前記画像合成手段に対する出力
を同期させた処理として実行するステップとを有し、前
記画像合成ステップは、前記素材映像蓄積手段から入力
する素材映像と、前記視点位置情報蓄積手段から入力す
る視点位置情報と、前記撮像手段から入力される貼り付
け対象オブジェクトの複数画像を並列に入力し、該入力
データに基づいて、前記素材画像中の置き換え対象オブ
ジェクトの画像を前記貼り付け対象オブジェクトの画像
に変更する処理を実行することを特徴とする。
様において、前記画像処理方法は、さらに、素材映像蓄
積手段に格納された素材画像データの各フレームに対応
する時系列データとして置き換え対象オブジェクトの視
点位置情報を生成し、視点位置情報蓄積手段に蓄積する
視点位置情報蓄積ステップと、前記視点位置情報蓄積手
段に記録された視点位置情報の前記画像合成手段に対す
る出力、および、前記素材映像蓄積手段に記録された素
材映像の前記画像合成手段に対する出力、および前記撮
像手段からの撮影画像の前記画像合成手段に対する出力
を同期させた処理として実行するステップとを有し、前
記画像合成ステップは、前記素材映像蓄積手段から入力
する素材映像と、前記視点位置情報蓄積手段から入力す
る視点位置情報と、前記撮像手段から入力される貼り付
け対象オブジェクトの複数画像を並列に入力し、該入力
データに基づいて、前記素材画像中の置き換え対象オブ
ジェクトの画像を前記貼り付け対象オブジェクトの画像
に変更する処理を実行することを特徴とする。
【0018】さらに、本発明の画像処理方法の一実施態
様において、前記画像合成ステップは、選択された前記
視点位置情報に近似する視点位置画像が複数である際
に、該選択画像に基づくビューインターポレーション処
理を実行して貼り付け対象オブジェクトの画像を生成す
る処理を実行することを特徴とする。
様において、前記画像合成ステップは、選択された前記
視点位置情報に近似する視点位置画像が複数である際
に、該選択画像に基づくビューインターポレーション処
理を実行して貼り付け対象オブジェクトの画像を生成す
る処理を実行することを特徴とする。
【0019】さらに、本発明の画像処理方法の一実施態
様において、前記画像処理方法は、さらに、前記画像撮
り込みステップにおいて撮影した画像から貼り付け対象
オブジェクトの画像のみを抽出する撮り込み画像抽出ス
テップを有することを特徴とする。
様において、前記画像処理方法は、さらに、前記画像撮
り込みステップにおいて撮影した画像から貼り付け対象
オブジェクトの画像のみを抽出する撮り込み画像抽出ス
テップを有することを特徴とする。
【0020】さらに、本発明の画像処理方法の一実施態
様において、前記画像処理方法は、さらに、素材画像デ
ータ内の前記置き換え対象オブジェクトの遮蔽領域情報
としての隠れマスク情報を生成し格納する隠れマスク情
報蓄積ステップを有し、前記画像合成ステップは、前記
隠れマスク情報を入力し、マスク領域については、前記
画像撮り込みステップにおいて撮り込まれた貼り付け対
象オブジェクトの画像データではなく、前記素材画像デ
ータのデータを出力データとして選択する合成処理を実
行することを特徴とする。
様において、前記画像処理方法は、さらに、素材画像デ
ータ内の前記置き換え対象オブジェクトの遮蔽領域情報
としての隠れマスク情報を生成し格納する隠れマスク情
報蓄積ステップを有し、前記画像合成ステップは、前記
隠れマスク情報を入力し、マスク領域については、前記
画像撮り込みステップにおいて撮り込まれた貼り付け対
象オブジェクトの画像データではなく、前記素材画像デ
ータのデータを出力データとして選択する合成処理を実
行することを特徴とする。
【0021】さらに、本発明の画像処理方法の一実施態
様において、前記画像処理方法は、さらに、素材画像デ
ータ内の前記置き換え対象オブジェクトの輝度情報に基
づいて生成される照明位置情報を生成し格納する照明位
置情報蓄積ステップを有し、前記画像撮り込みステップ
は、前記照明位置情報蓄積ステップにおいて生成した照
明位置情報に従って前記貼り付け対象オブジェクトを異
なる方向から照射する複数の照明を選択的に明滅させる
処理を実行することを特徴とする。
様において、前記画像処理方法は、さらに、素材画像デ
ータ内の前記置き換え対象オブジェクトの輝度情報に基
づいて生成される照明位置情報を生成し格納する照明位
置情報蓄積ステップを有し、前記画像撮り込みステップ
は、前記照明位置情報蓄積ステップにおいて生成した照
明位置情報に従って前記貼り付け対象オブジェクトを異
なる方向から照射する複数の照明を選択的に明滅させる
処理を実行することを特徴とする。
【0022】さらに、本発明の画像処理方法の一実施態
様において、前記画像処理方法は、さらに、3次元モデ
ル蓄積手段に格納した3次元モデルデータに含まれる置
き換え対象オブジェクトの仮想撮影視点情報を生成格納
する仮想カメラ情報蓄積ステップと、前記3次元モデル
データと、前記仮想撮影視点情報に基づいて素材映像デ
ータを生成する素材映像生成ステップとを有し、前記画
像合成ステップは、前記素材映像生成ステップにおいて
生成する素材映像に含まれる置き換え対象オブジェクト
の仮想撮影視点情報に基づいて生成される視点位置情報
に従って、前記撮像ステップにおいて撮影された複数画
像中から、該視点位置情報に近似する視点位置画像を選
択し、該選択画像に基づいて貼り付け対象オブジェクト
の画像を生成し、前記素材画像データ内の置き換え対象
オブジェクトの画像を前記貼り付け対象オブジェクトの
画像に変更する画像合成処理を実行することを特徴とす
る。
様において、前記画像処理方法は、さらに、3次元モデ
ル蓄積手段に格納した3次元モデルデータに含まれる置
き換え対象オブジェクトの仮想撮影視点情報を生成格納
する仮想カメラ情報蓄積ステップと、前記3次元モデル
データと、前記仮想撮影視点情報に基づいて素材映像デ
ータを生成する素材映像生成ステップとを有し、前記画
像合成ステップは、前記素材映像生成ステップにおいて
生成する素材映像に含まれる置き換え対象オブジェクト
の仮想撮影視点情報に基づいて生成される視点位置情報
に従って、前記撮像ステップにおいて撮影された複数画
像中から、該視点位置情報に近似する視点位置画像を選
択し、該選択画像に基づいて貼り付け対象オブジェクト
の画像を生成し、前記素材画像データ内の置き換え対象
オブジェクトの画像を前記貼り付け対象オブジェクトの
画像に変更する画像合成処理を実行することを特徴とす
る。
【0023】さらに、本発明の第3の側面は、素材画像
データ内の特定オブジェクトを置き換え対象オブジェク
トとし、該置き換え対象オブジェクトの画像を、カメラ
で撮影した貼り付け対象オブジェクトの画像データに置
き換える画像処理をコンピュータ・システム上で実行せ
しめるコンピュータ・プログラムを提供するプログラム
記憶媒体であって、前記コンピュータ・プログラムは、
貼り付け対象オブジェクトの画像を複数の視点位置から
撮り込む複数のカメラを配列した撮像手段により複数画
像を撮り込む画像撮り込みステップと、前記素材画像デ
ータ内の置き換え対象オブジェクトの視点位置情報に基
づいて、前記撮像手段によって撮影された異なる視点位
置からの複数画像から、前記視点位置情報に近似する視
点位置画像を選択し、該選択画像に基づいて貼り付け対
象オブジェクトの画像を生成し、前記素材画像データ内
の置き換え対象オブジェクトの画像を前記貼り付け対象
オブジェクトの画像に変更する画像合成処理を実行する
画像合成ステップと、を有することを特徴とするプログ
ラム記憶媒体にある。
データ内の特定オブジェクトを置き換え対象オブジェク
トとし、該置き換え対象オブジェクトの画像を、カメラ
で撮影した貼り付け対象オブジェクトの画像データに置
き換える画像処理をコンピュータ・システム上で実行せ
しめるコンピュータ・プログラムを提供するプログラム
記憶媒体であって、前記コンピュータ・プログラムは、
貼り付け対象オブジェクトの画像を複数の視点位置から
撮り込む複数のカメラを配列した撮像手段により複数画
像を撮り込む画像撮り込みステップと、前記素材画像デ
ータ内の置き換え対象オブジェクトの視点位置情報に基
づいて、前記撮像手段によって撮影された異なる視点位
置からの複数画像から、前記視点位置情報に近似する視
点位置画像を選択し、該選択画像に基づいて貼り付け対
象オブジェクトの画像を生成し、前記素材画像データ内
の置き換え対象オブジェクトの画像を前記貼り付け対象
オブジェクトの画像に変更する画像合成処理を実行する
画像合成ステップと、を有することを特徴とするプログ
ラム記憶媒体にある。
【0024】なお、本発明のプログラム記憶媒体は、例
えば、様々なプログラム・コードを実行可能な汎用コン
ピュータ・システムに対して、コンピュータ・プログラ
ムをコンピュータ可読な形式で提供する媒体である。媒
体は、CDやFD、MOなどの記録媒体、あるいは、ネ
ットワークなどの伝送媒体など、その形態は特に限定さ
れない。
えば、様々なプログラム・コードを実行可能な汎用コン
ピュータ・システムに対して、コンピュータ・プログラ
ムをコンピュータ可読な形式で提供する媒体である。媒
体は、CDやFD、MOなどの記録媒体、あるいは、ネ
ットワークなどの伝送媒体など、その形態は特に限定さ
れない。
【0025】このようなプログラム記憶媒体は、コンピ
ュータ・システム上で所定のコンピュータ・プログラム
の機能を実現するための、コンピュータ・プログラムと
記憶媒体との構造上又は機能上の協働的関係を定義した
ものである。換言すれば、該記憶媒体を介してコンピュ
ータ・プログラムをコンピュータ・システムにインスト
ールすることによって、コンピュータ・システム上では
協働的作用が発揮され、本発明の他の側面と同様の作用
効果を得ることができるのである。
ュータ・システム上で所定のコンピュータ・プログラム
の機能を実現するための、コンピュータ・プログラムと
記憶媒体との構造上又は機能上の協働的関係を定義した
ものである。換言すれば、該記憶媒体を介してコンピュ
ータ・プログラムをコンピュータ・システムにインスト
ールすることによって、コンピュータ・システム上では
協働的作用が発揮され、本発明の他の側面と同様の作用
効果を得ることができるのである。
【0026】本発明のさらに他の目的、特徴や利点は、
後述する本発明の実施例や添付する図面に基づくより詳
細な説明によって明らかになるであろう。
後述する本発明の実施例や添付する図面に基づくより詳
細な説明によって明らかになるであろう。
【0027】
【発明の実施の形態】[実施例1]図1は、本発明の画
像処理装置の一実施形態に係るインタラクティブ型の画
像処理装置のブロック図である。図2は図1の画像処理
装置におけるカメラ部1の具体的構成例を示す図であ
る。図1および図2を用いて本発明の画像処理装置の概
要について説明する。ここで説明する実施例において
は、映画、ドラマなどの動画像データの登場人物の顔を
図2に示すカメラ部1を用いて撮り込んだユーザの顔画
像を貼り付ける処理を想定して説明する。なお、本実施
例では撮り込み画像をユーザの顔とした例を説明する
が、その他のオブジェクト、例えば人物全体、車、建
物、風景など様々な被写体を撮り込みオブジェクトとす
る構成が可能である。
像処理装置の一実施形態に係るインタラクティブ型の画
像処理装置のブロック図である。図2は図1の画像処理
装置におけるカメラ部1の具体的構成例を示す図であ
る。図1および図2を用いて本発明の画像処理装置の概
要について説明する。ここで説明する実施例において
は、映画、ドラマなどの動画像データの登場人物の顔を
図2に示すカメラ部1を用いて撮り込んだユーザの顔画
像を貼り付ける処理を想定して説明する。なお、本実施
例では撮り込み画像をユーザの顔とした例を説明する
が、その他のオブジェクト、例えば人物全体、車、建
物、風景など様々な被写体を撮り込みオブジェクトとす
る構成が可能である。
【0028】なお、以下の説明では、映画、ドラマなど
の元画像中の人物の顔を、カメラで撮り込んだユーザの
顔に置き換える処理例を説明する。以下の説明中におい
て、映画、ドラマなどの素材画像中の人物の顔など置き
換え処理の対象となるオブジェクトを置き換え対象オブ
ジェクトと呼び、カメラで撮り込んだユーザの顔など、
元画像に貼り付けるオブジェクトを貼り付け対象オブジ
ェクトと呼ぶ。
の元画像中の人物の顔を、カメラで撮り込んだユーザの
顔に置き換える処理例を説明する。以下の説明中におい
て、映画、ドラマなどの素材画像中の人物の顔など置き
換え処理の対象となるオブジェクトを置き換え対象オブ
ジェクトと呼び、カメラで撮り込んだユーザの顔など、
元画像に貼り付けるオブジェクトを貼り付け対象オブジ
ェクトと呼ぶ。
【0029】図1の構成において、カメラ部1は、図2
に示すように異なる方向から貼り付け対象オブジェクト
となるユーザの顔2を撮影する複数台のカメラからな
る。カメラ部1の各カメラで撮影された画像は画像合成
部3に送られる。
に示すように異なる方向から貼り付け対象オブジェクト
となるユーザの顔2を撮影する複数台のカメラからな
る。カメラ部1の各カメラで撮影された画像は画像合成
部3に送られる。
【0030】素材映像蓄積部5には、映画やドラマのシ
ーンの映像(以下、素材映像と呼ぶ)が蓄積されてお
り、蓄積画像は時系列で画像合成部3に送られる。画像
合成部3では、素材映像蓄積部5から入力する映画、ド
ラマなどの素材画像中の人物の顔など置き換え処理の対
象となる置き換え対象オブジェクトをカメラ部1から入
力される貼り付け対象オブジェクトとなるユーザの顔の
画像に置き換える画像合成処理を実行する。
ーンの映像(以下、素材映像と呼ぶ)が蓄積されてお
り、蓄積画像は時系列で画像合成部3に送られる。画像
合成部3では、素材映像蓄積部5から入力する映画、ド
ラマなどの素材画像中の人物の顔など置き換え処理の対
象となる置き換え対象オブジェクトをカメラ部1から入
力される貼り付け対象オブジェクトとなるユーザの顔の
画像に置き換える画像合成処理を実行する。
【0031】カメラ部1では、図2に示すように貼り付
け対象オブジェクトとなるユーザの顔を異なる方向から
撮影する複数のカメラを備えており、各カメラがユーザ
の顔を異なる方向から撮り込む。各カメラの撮影画像は
画像合成部3に入力される。画像合成部3では、カメラ
部1から入力する複数画像から最適な撮影画像を選択し
て素材画像中の置き換え対象オブジェクト(ex.特定
の登場人物の顔)と置き換える処理を実行する。あるい
は、必要であれば、カメラ部1から入力する複数画像か
ら最適画像をビュー・インターポレーション(View Int
erpolation; View Morphingとも呼ばれる)処理により生
成し、生成画像を、素材画像中の置き換え対象オブジェ
クト(ex.特定の登場人物の顔)と置き換える処理を
実行する。これらの処理については後段で詳細に説明す
る。
け対象オブジェクトとなるユーザの顔を異なる方向から
撮影する複数のカメラを備えており、各カメラがユーザ
の顔を異なる方向から撮り込む。各カメラの撮影画像は
画像合成部3に入力される。画像合成部3では、カメラ
部1から入力する複数画像から最適な撮影画像を選択し
て素材画像中の置き換え対象オブジェクト(ex.特定
の登場人物の顔)と置き換える処理を実行する。あるい
は、必要であれば、カメラ部1から入力する複数画像か
ら最適画像をビュー・インターポレーション(View Int
erpolation; View Morphingとも呼ばれる)処理により生
成し、生成画像を、素材画像中の置き換え対象オブジェ
クト(ex.特定の登場人物の顔)と置き換える処理を
実行する。これらの処理については後段で詳細に説明す
る。
【0032】画像合成部3におけるカメラ部1から入力
する複数画像についての画像選択処理は、視点位置情報
蓄積部4から画像合成部3に入力される視点位置情報に
基づいて行われる。
する複数画像についての画像選択処理は、視点位置情報
蓄積部4から画像合成部3に入力される視点位置情報に
基づいて行われる。
【0033】視点位置情報蓄積部4は、予め素材映像蓄
積部5に格納された素材データ、例えば映画のある特定
の登場人物の顔の向き(方向)、位置情報に対応してユ
ーザの顔2を撮り込む視点位置としてのカメラ位置情報
を時系列のシーケンシャルデータとして格納している。
すなわち視点位置情報蓄積部4は、素材映像蓄積部5の
置き換え対象となる画像オブジェクト(ここでは特定の
登場人物の顔)に一致した方向から貼り付け対象オブジ
ェクトである顔画像の撮り込みを行なうための視点位置
情報としてのカメラの位置情報を時系列シーケンシャル
データとして蓄積している。視点位置情報の取得処理の
詳細については後段で図面を用いて詳細に説明する。
積部5に格納された素材データ、例えば映画のある特定
の登場人物の顔の向き(方向)、位置情報に対応してユ
ーザの顔2を撮り込む視点位置としてのカメラ位置情報
を時系列のシーケンシャルデータとして格納している。
すなわち視点位置情報蓄積部4は、素材映像蓄積部5の
置き換え対象となる画像オブジェクト(ここでは特定の
登場人物の顔)に一致した方向から貼り付け対象オブジ
ェクトである顔画像の撮り込みを行なうための視点位置
情報としてのカメラの位置情報を時系列シーケンシャル
データとして蓄積している。視点位置情報の取得処理の
詳細については後段で図面を用いて詳細に説明する。
【0034】素材映像蓄積部5に格納された映画、ドラ
マなどの素材データの画像合成部3に対する出力と、視
点位置情報蓄積部4の視点位置情報の画像合成部3に対
する出力は、同期して実行され、画像合成部3は素材デ
ータの各画像フレームに対応する視点位置情報に基づい
て、各フレーム毎にカメラ部1から入力される複数画像
からの画像選択、合成処理を実行する。
マなどの素材データの画像合成部3に対する出力と、視
点位置情報蓄積部4の視点位置情報の画像合成部3に対
する出力は、同期して実行され、画像合成部3は素材デ
ータの各画像フレームに対応する視点位置情報に基づい
て、各フレーム毎にカメラ部1から入力される複数画像
からの画像選択、合成処理を実行する。
【0035】隠れマスク情報蓄積部6には、隠れマスク
情報が記録されており、素材映像蓄積部5の蓄積画像出
力に同期して時系列で画像合成部3に送られる。隠れマ
スク情報蓄積部6の格納している隠れマスク情報は、素
材画像中の置き換え処理対象オブジェクトの一部が手前
のオブジェクト、例えば柱、建物などに隠れているよう
な場合の隠れ領域情報である。
情報が記録されており、素材映像蓄積部5の蓄積画像出
力に同期して時系列で画像合成部3に送られる。隠れマ
スク情報蓄積部6の格納している隠れマスク情報は、素
材画像中の置き換え処理対象オブジェクトの一部が手前
のオブジェクト、例えば柱、建物などに隠れているよう
な場合の隠れ領域情報である。
【0036】画像合成部3は、隠れマスク情報に応じ
て、その画素領域についてカメラ部1の撮影画像ではな
く、素材映像蓄積部5から入力する素材映像データを選
択出力することにより、素材映像に対する撮り込み画像
の貼り付けが忠実に実行可能となる。例えば素材映像中
の登場人物の顔に手や柱の画像が手前にかぶさって顔の
一部または全部が隠れている場合に、隠れマスク情報蓄
積部9の格納している隠れマスク情報に基づく合成処理
を実行することにより、合成画像においてもその隠れ部
分が忠実に再現される。
て、その画素領域についてカメラ部1の撮影画像ではな
く、素材映像蓄積部5から入力する素材映像データを選
択出力することにより、素材映像に対する撮り込み画像
の貼り付けが忠実に実行可能となる。例えば素材映像中
の登場人物の顔に手や柱の画像が手前にかぶさって顔の
一部または全部が隠れている場合に、隠れマスク情報蓄
積部9の格納している隠れマスク情報に基づく合成処理
を実行することにより、合成画像においてもその隠れ部
分が忠実に再現される。
【0037】画像合成部3では、素材映像と、撮り込み
画像から抽出したユーザの顔の画像とを、隠れマスク情
報を用いて合成した画像を生成する。ただし、他の物体
で顔が隠れてしまうような状態がない場合には、隠れマ
スク情報はなくても合成可能である。生成された画像は
出力部7に送られ、出力される。出力部は、例えばCR
T、LCD等のモニタ装置や、CD,DVD,ビデオな
どの記録装置、あるいはデータ通信のための通信手段等
である。
画像から抽出したユーザの顔の画像とを、隠れマスク情
報を用いて合成した画像を生成する。ただし、他の物体
で顔が隠れてしまうような状態がない場合には、隠れマ
スク情報はなくても合成可能である。生成された画像は
出力部7に送られ、出力される。出力部は、例えばCR
T、LCD等のモニタ装置や、CD,DVD,ビデオな
どの記録装置、あるいはデータ通信のための通信手段等
である。
【0038】なお、視点位置情報蓄積部4に記録された
視点位置情報、素材映像蓄積部5に記録された素材映
像、および隠れマスク情報蓄積部6に記録された隠れマ
スク情報の読み出しは、時系列で同期して行われる。
視点位置情報、素材映像蓄積部5に記録された素材映
像、および隠れマスク情報蓄積部6に記録された隠れマ
スク情報の読み出しは、時系列で同期して行われる。
【0039】カメラ部1の構成について図2を参照して
説明する。図2の構成は、ユーザの顔の映像を貼り付け
対象オブジェクトとして撮り込む構成を示したものであ
る。ユーザ20は固定台21に貼り付け対象オブジェク
トとなる顔を固定する。固定台21とカメラ部1の位置
関係は既知である。カメラ部1に属する複数のカメラに
おいて、各カメラの位置関係は既知である。なお、図2
の例では各カメラ間の光軸は平行であるが、このように
各カメラ間の光軸を平行に設定することは必須ではな
く、各カメラの視野内に必ずユーザの顔が入るようにす
ればよい。また、図2ではカメラ部1の各カメラは平面
的に配置されているが、その必要はなく、たとえばユー
ザの横顔もカバーするように、半球のドーム状に配置し
てもよい。
説明する。図2の構成は、ユーザの顔の映像を貼り付け
対象オブジェクトとして撮り込む構成を示したものであ
る。ユーザ20は固定台21に貼り付け対象オブジェク
トとなる顔を固定する。固定台21とカメラ部1の位置
関係は既知である。カメラ部1に属する複数のカメラに
おいて、各カメラの位置関係は既知である。なお、図2
の例では各カメラ間の光軸は平行であるが、このように
各カメラ間の光軸を平行に設定することは必須ではな
く、各カメラの視野内に必ずユーザの顔が入るようにす
ればよい。また、図2ではカメラ部1の各カメラは平面
的に配置されているが、その必要はなく、たとえばユー
ザの横顔もカバーするように、半球のドーム状に配置し
てもよい。
【0040】すなわち、貼り付け対象オブジェクト(e
x.ユーザの顔)を異なる方向から撮影する構成を達成
するものであればよく、素材画像中の置き換対象オブジ
ェクト(ex.登場人物の顔)に近い視点方向からの撮
影画像を選択可能な複数画像を撮影可能な構成であれば
よい。
x.ユーザの顔)を異なる方向から撮影する構成を達成
するものであればよく、素材画像中の置き換対象オブジ
ェクト(ex.登場人物の顔)に近い視点方向からの撮
影画像を選択可能な複数画像を撮影可能な構成であれば
よい。
【0041】固定台21は、例えば図2に示すように貼
り付け対象オブジェクト(顔)を出す穴のついた青、緑
等の単色に塗られた板を取りつけ、顔画像抽出部で顔の
抽出がしやすい構成とする。あるいは貼り付け対象オブ
ジェクト(ex.ユーザの顔)以外の部分を青、緑等の
布で覆うという構成としてもよい。
り付け対象オブジェクト(顔)を出す穴のついた青、緑
等の単色に塗られた板を取りつけ、顔画像抽出部で顔の
抽出がしやすい構成とする。あるいは貼り付け対象オブ
ジェクト(ex.ユーザの顔)以外の部分を青、緑等の
布で覆うという構成としてもよい。
【0042】カメラ部1を構成する各カメラの撮り込む
画像は、顔の周囲画像も含む画像となるので、図1に示
す画像合成部3では、貼り付け対象として選択した画像
から貼り付け対象となる顔画像のみを抽出する処理を実
行する。この抽出処理は、たとえば青や緑といった単色
の色情報を持つ固定台21とともに貼り付け対象オブジ
ェクト(ex.ユーザの顔)をカメラで撮影し、撮影画
像から単色の色情報データを削除して所望の領域として
の貼り付け対象オブジェクト画像を抽出する、すなわち
クロマキー技術を用いることが可能である。
画像は、顔の周囲画像も含む画像となるので、図1に示
す画像合成部3では、貼り付け対象として選択した画像
から貼り付け対象となる顔画像のみを抽出する処理を実
行する。この抽出処理は、たとえば青や緑といった単色
の色情報を持つ固定台21とともに貼り付け対象オブジ
ェクト(ex.ユーザの顔)をカメラで撮影し、撮影画
像から単色の色情報データを削除して所望の領域として
の貼り付け対象オブジェクト画像を抽出する、すなわち
クロマキー技術を用いることが可能である。
【0043】なお、素材映像の進行状況やその時のセリ
フ情報をユーザに提示するディスプレイ25をユーザの
見える位置に配置し、ユーザがディスプレイ25に表示
された素材映像を見て、貼り付け対象となる登場人物の
表情あるいはセリフに基づいて口を動かすなどを行なう
構成としてもよい。このような処理構成とすることで、
より登場人物に近い表情に従ったユーザの顔を素材映像
に貼り付けることが可能となる。
フ情報をユーザに提示するディスプレイ25をユーザの
見える位置に配置し、ユーザがディスプレイ25に表示
された素材映像を見て、貼り付け対象となる登場人物の
表情あるいはセリフに基づいて口を動かすなどを行なう
構成としてもよい。このような処理構成とすることで、
より登場人物に近い表情に従ったユーザの顔を素材映像
に貼り付けることが可能となる。
【0044】先に説明したように、図1に示す視点位置
情報蓄積部4には、素材映像蓄積部5に蓄積された映画
などの素材映像に基づく視点位置情報が予め蓄積され
る。素材映像中の置き換え対象オブジェクトである特定
のオブジェクト(例えば特定の登場人物の顔)に基づい
てその方向データを求めて、その同一方向からユーザの
顔2を撮りこむカメラの位置を視点位置情報とする。
情報蓄積部4には、素材映像蓄積部5に蓄積された映画
などの素材映像に基づく視点位置情報が予め蓄積され
る。素材映像中の置き換え対象オブジェクトである特定
のオブジェクト(例えば特定の登場人物の顔)に基づい
てその方向データを求めて、その同一方向からユーザの
顔2を撮りこむカメラの位置を視点位置情報とする。
【0045】素材映像中の登場人物の顔の領域の特定
は、マニュアル作業で行なうか、自動的に抽出してもよ
い。画像からの特定画像抽出処理方法としては、例えば
H.Rowley, S.Baluja, and T.Kanade, "Neural Network-
Based Face Detection," IEEETransactions on Pattern
Analysis and Machine Intelligence, Vol. 20, No.1,
January, 1998, pp. 23-38. に詳細に記載されてい
る。
は、マニュアル作業で行なうか、自動的に抽出してもよ
い。画像からの特定画像抽出処理方法としては、例えば
H.Rowley, S.Baluja, and T.Kanade, "Neural Network-
Based Face Detection," IEEETransactions on Pattern
Analysis and Machine Intelligence, Vol. 20, No.1,
January, 1998, pp. 23-38. に詳細に記載されてい
る。
【0046】視点位置情報の求め方を、図3を用いて説
明する。図3は、素材映像の2つのフレームp,qの画
像(a),(d)について、貼り付け対象オブジェクト
(ユーザの顔)の画像撮りこみ処理を行なうためのカメ
ラ位置を設定する視点位置情報の取得処理について説明
する図である。
明する。図3は、素材映像の2つのフレームp,qの画
像(a),(d)について、貼り付け対象オブジェクト
(ユーザの顔)の画像撮りこみ処理を行なうためのカメ
ラ位置を設定する視点位置情報の取得処理について説明
する図である。
【0047】まず、それぞれのフレーム画像(a),
(d)の画像中の置き換え対象オブジェクトとしての登
場人物30の位置と向きから直交座標軸を設定する。こ
こでは首の付け根を原点とし、顔の向きにZ、頭の上に
向かってY、そしてY−Z平面に垂直な方向をXとす
る。なお、画像中の顔の向きの検出処理方法は、例えば
T.Horprasert, Y.Yacoob, and L.Davis, "Computing 3-
D head orientation froma monocular image sequenc
e," Proc. of the second International Conference o
n Automatic Face and Gesture Recognition, pp.242-2
47, 1996に詳細に説明されている。
(d)の画像中の置き換え対象オブジェクトとしての登
場人物30の位置と向きから直交座標軸を設定する。こ
こでは首の付け根を原点とし、顔の向きにZ、頭の上に
向かってY、そしてY−Z平面に垂直な方向をXとす
る。なお、画像中の顔の向きの検出処理方法は、例えば
T.Horprasert, Y.Yacoob, and L.Davis, "Computing 3-
D head orientation froma monocular image sequenc
e," Proc. of the second International Conference o
n Automatic Face and Gesture Recognition, pp.242-2
47, 1996に詳細に説明されている。
【0048】ユーザの顔40をカメラ50によって撮り
こむ環境(b),(e)では、座標系はユーザの顔に固
定されており、各X,Y,Z軸の取り方を、それぞれ対
応するフレーム画像(a),(d)に示す各フレームの
素材映像中の登場人物に対応させる位置のカメラ50を
選択する。すなわち、素材映像のフレームの画像(a)
に対するカメラ位置は、(b)のユーザの顔40をカメ
ラ50によって撮りこむ環境において、(a),(b)
の2つの座標軸をほぼ一致するような位置にあるカメラ
の撮影画像を選択する。
こむ環境(b),(e)では、座標系はユーザの顔に固
定されており、各X,Y,Z軸の取り方を、それぞれ対
応するフレーム画像(a),(d)に示す各フレームの
素材映像中の登場人物に対応させる位置のカメラ50を
選択する。すなわち、素材映像のフレームの画像(a)
に対するカメラ位置は、(b)のユーザの顔40をカメ
ラ50によって撮りこむ環境において、(a),(b)
の2つの座標軸をほぼ一致するような位置にあるカメラ
の撮影画像を選択する。
【0049】この結果(c)に示すように、(a)の登
場人物30の顔と同じ位置・向き・大きさのユーザの顔
40を撮影するカメラ50によって撮り込む画像を選択
することができる。なお、(c)は前述のクロマキー技
術を用いて周囲画像を削除し撮り込み画像としてのユー
ザの顔40のみを抽出した画像である。
場人物30の顔と同じ位置・向き・大きさのユーザの顔
40を撮影するカメラ50によって撮り込む画像を選択
することができる。なお、(c)は前述のクロマキー技
術を用いて周囲画像を削除し撮り込み画像としてのユー
ザの顔40のみを抽出した画像である。
【0050】同様に、素材映像のフレームの画像(d)
に対するカメラ位置は、(e)のユーザの顔40をカメ
ラ50によって撮りこむ環境において、(d),(e)
の2つの座標軸を一致するようなカメラ位置として設定
する。この結果(f)に示すように、(d)の登場人物
30の顔と同じ位置・向き・大きさのユーザの顔40を
カメラ50によって撮り込むことができる。
に対するカメラ位置は、(e)のユーザの顔40をカメ
ラ50によって撮りこむ環境において、(d),(e)
の2つの座標軸を一致するようなカメラ位置として設定
する。この結果(f)に示すように、(d)の登場人物
30の顔と同じ位置・向き・大きさのユーザの顔40を
カメラ50によって撮り込むことができる。
【0051】なお、図3に示す(a),(b),
(c)、および(d),(e),(f)のそれぞれは素
材画像の1フレーム画像についての視点位置情報設定処
理であり、このような視点位置情報設定処理を素材画像
の各フレームにおいて実行し、これらを時系列情報とし
て視点位置情報蓄積部4に格納する。
(c)、および(d),(e),(f)のそれぞれは素
材画像の1フレーム画像についての視点位置情報設定処
理であり、このような視点位置情報設定処理を素材画像
の各フレームにおいて実行し、これらを時系列情報とし
て視点位置情報蓄積部4に格納する。
【0052】視点位置情報蓄積部4に格納された視点位
置情報は画像合成部3に出力され、画像合成部3は、視
点位置情報に最も近い視点位置から撮影した1つまたは
複数のカメラ部1の画像を貼り付け処理画像として選択
する。複数の画像選択を行なった場合は、選択した複数
の画像からビューインターポレーションにより視点位置
の画像を生成する。視点位置情報に基づく撮影画像の選
択処理は、素材映像蓄積部5から画像合成部3に入力さ
れる各フレーム毎に実行される。この処理により、素材
映像の例えば特定の登場人物の顔と同一の方向からのユ
ーザの顔を時系列的に撮り込むことが可能となる。
置情報は画像合成部3に出力され、画像合成部3は、視
点位置情報に最も近い視点位置から撮影した1つまたは
複数のカメラ部1の画像を貼り付け処理画像として選択
する。複数の画像選択を行なった場合は、選択した複数
の画像からビューインターポレーションにより視点位置
の画像を生成する。視点位置情報に基づく撮影画像の選
択処理は、素材映像蓄積部5から画像合成部3に入力さ
れる各フレーム毎に実行される。この処理により、素材
映像の例えば特定の登場人物の顔と同一の方向からのユ
ーザの顔を時系列的に撮り込むことが可能となる。
【0053】このように、素材映像における、カメラの
移動やズームなどのカメラワークによる顔の位置や向き
の変化のみならず、置き換え対象オブジェクトである登
場人物の移動、あるいは首をまわしたりすることによる
顔の位置や向きの変化に対しても、貼り付け対象オブジ
ェクトであるユーザの顔を複数方向から撮影する複数の
撮影カメラの画像を選択することで対応でき、貼り付け
対象オブジェクトであるユーザは顔の位置は固定したま
まとすることができる。ユーザは、前述したディスプレ
イ25(図2参照)を観察しながら顔や声の演技を楽し
むことが、さらにリアルな画像データの合成が可能にな
る。
移動やズームなどのカメラワークによる顔の位置や向き
の変化のみならず、置き換え対象オブジェクトである登
場人物の移動、あるいは首をまわしたりすることによる
顔の位置や向きの変化に対しても、貼り付け対象オブジ
ェクトであるユーザの顔を複数方向から撮影する複数の
撮影カメラの画像を選択することで対応でき、貼り付け
対象オブジェクトであるユーザは顔の位置は固定したま
まとすることができる。ユーザは、前述したディスプレ
イ25(図2参照)を観察しながら顔や声の演技を楽し
むことが、さらにリアルな画像データの合成が可能にな
る。
【0054】次に、画像合成部3における隠れマスク情
報との合成処理について図4を用いて説明する。隠れマ
スク情報は、前述したように、置き換え対象オブジェク
トの一部が手前のオブジェクト、例えば柱、建物などに
隠れているような場合の遮蔽領域情報である。
報との合成処理について図4を用いて説明する。隠れマ
スク情報は、前述したように、置き換え対象オブジェク
トの一部が手前のオブジェクト、例えば柱、建物などに
隠れているような場合の遮蔽領域情報である。
【0055】図4(a)に示すように、素材画像のある
フレームで、たとえば柱60のようなものが置き換え対
象となる登場人物30の顔を隠す形で存在する場合、画
像合成部3は合成処理の際に、この柱60を描く、すな
わち出力する必要がある。そこで図4(b)のようなマ
スクを設定する。このマスク領域70内の画素は、撮り
込み画像抽出部6の出力データではなく、必ず素材映像
蓄積部5の出力する素材映像を選択する処理を実行する
ことで、素材映像と同様にユーザの顔が柱60に隠れた
画像として出力され、隠れの問題が解決される。なお、
画像合成部3はこのマスク領域70の周囲にアルファブ
レンディング(ぼかし処理)の効果を入れる処理を実行
することで、より一層自然な合成が可能となる。
フレームで、たとえば柱60のようなものが置き換え対
象となる登場人物30の顔を隠す形で存在する場合、画
像合成部3は合成処理の際に、この柱60を描く、すな
わち出力する必要がある。そこで図4(b)のようなマ
スクを設定する。このマスク領域70内の画素は、撮り
込み画像抽出部6の出力データではなく、必ず素材映像
蓄積部5の出力する素材映像を選択する処理を実行する
ことで、素材映像と同様にユーザの顔が柱60に隠れた
画像として出力され、隠れの問題が解決される。なお、
画像合成部3はこのマスク領域70の周囲にアルファブ
レンディング(ぼかし処理)の効果を入れる処理を実行
することで、より一層自然な合成が可能となる。
【0056】次に、本発明の画像処理装置における処理
フローを、視点位置情報およびマスク情報生成処理、お
よび合成処理とに分けてそれぞれフローを用いて説明す
る。
フローを、視点位置情報およびマスク情報生成処理、お
よび合成処理とに分けてそれぞれフローを用いて説明す
る。
【0057】まず、図5を用いて視点位置情報およびマ
スク情報生成処理の手順について説明する。ステップS
101では初期値としてフレームナンバを示すi(i=
1〜n、nは素材映像のフレーム数)について、i=1
の設定処理を実行する。
スク情報生成処理の手順について説明する。ステップS
101では初期値としてフレームナンバを示すi(i=
1〜n、nは素材映像のフレーム数)について、i=1
の設定処理を実行する。
【0058】次に、ステップS102において、素材映
像のiフレームの画像を取得し、ステップS103にお
いて、素材映像のiフレーム画像から置き換え対象オブ
ジェクト画像(ex.特定の登場人物の顔)を選択し、
顔の位置と向き情報を抽出する。次に、これらの情報に
基づいてステップS104において、貼り付け対象オブ
ジェクト(ex.顔)の撮影方向、位置情報としての視
点位置情報を生成する。この処理は、先に図3を用いて
説明した処理である。この視点位置情報が視点位置情報
蓄積部4に格納される。
像のiフレームの画像を取得し、ステップS103にお
いて、素材映像のiフレーム画像から置き換え対象オブ
ジェクト画像(ex.特定の登場人物の顔)を選択し、
顔の位置と向き情報を抽出する。次に、これらの情報に
基づいてステップS104において、貼り付け対象オブ
ジェクト(ex.顔)の撮影方向、位置情報としての視
点位置情報を生成する。この処理は、先に図3を用いて
説明した処理である。この視点位置情報が視点位置情報
蓄積部4に格納される。
【0059】さらに、ステップS105において、隠れ
マスク情報の生成処理がなされる。これは、先に図4を
用いて説明した処理であり、素材映像のフレームiにつ
いて、置き換え対象となる登場人物の顔を隠す形で存在
する領域を抽出し、これらの領域をマスク領域として設
定(図4(b)参照)する処理であり、素材映像の各フ
レームに対応させて、マスク情報が生成されて隠れマス
ク情報蓄積部6に格納される。
マスク情報の生成処理がなされる。これは、先に図4を
用いて説明した処理であり、素材映像のフレームiにつ
いて、置き換え対象となる登場人物の顔を隠す形で存在
する領域を抽出し、これらの領域をマスク領域として設
定(図4(b)参照)する処理であり、素材映像の各フ
レームに対応させて、マスク情報が生成されて隠れマス
ク情報蓄積部6に格納される。
【0060】次に、ステップS106において、すべて
のフレームに対する処理が終了したか否かを判定し、未
処理フレームがある場合は、ステップS107において
フレームナンバiのインクリメント処理を実行し、ステ
ップS102以下の処理をフレームi+1について実行
する。
のフレームに対する処理が終了したか否かを判定し、未
処理フレームがある場合は、ステップS107において
フレームナンバiのインクリメント処理を実行し、ステ
ップS102以下の処理をフレームi+1について実行
する。
【0061】すべてのフレームについての視点位置情
報、隠れマスク情報の生成が終了すると、ステップS1
08において、各フレームがスムーズなつながりを持つ
ように、画像のパラメータの調整が実行される。これ
は、画像を動画として見たときに不連続や振動が生じな
いようにパラメータを調整する処理である。なお、この
処理は最後に一括して行なうか、あるいは、各フレーム
についての情報を生成するたびに過去の生成済みフレー
ム情報との連続性を考慮して調整するフレーム単位処理
としてもよい。
報、隠れマスク情報の生成が終了すると、ステップS1
08において、各フレームがスムーズなつながりを持つ
ように、画像のパラメータの調整が実行される。これ
は、画像を動画として見たときに不連続や振動が生じな
いようにパラメータを調整する処理である。なお、この
処理は最後に一括して行なうか、あるいは、各フレーム
についての情報を生成するたびに過去の生成済みフレー
ム情報との連続性を考慮して調整するフレーム単位処理
としてもよい。
【0062】次に、図6を用いて合成処理の手順につい
て説明する。まず、ステップS201において、図1に
おけるカメラ部1の撮影する貼り付け対象オブジェクト
(ex.ユーザの顔)の画像を取得する。
て説明する。まず、ステップS201において、図1に
おけるカメラ部1の撮影する貼り付け対象オブジェクト
(ex.ユーザの顔)の画像を取得する。
【0063】次にステップS202では、画像合成部3
が撮り込み画像と、素材映像との合成処理を実行する。
この合成処理については、図7を用いて後段でさらに詳
細に説明する。画像合成部3において合成された画像は
ステップS203において出力部(ex.表示モニタ、
データ蓄積手段、通信手段)に出力する。ステップS2
04では、素材映像が終了したか否かを判定し、終了し
ていない場合は、ステップS201以下の処理を繰り返
し実行する。
が撮り込み画像と、素材映像との合成処理を実行する。
この合成処理については、図7を用いて後段でさらに詳
細に説明する。画像合成部3において合成された画像は
ステップS203において出力部(ex.表示モニタ、
データ蓄積手段、通信手段)に出力する。ステップS2
04では、素材映像が終了したか否かを判定し、終了し
ていない場合は、ステップS201以下の処理を繰り返
し実行する。
【0064】画像合成部3における画像合成処理の詳細
について、図7の処理フローに従って説明する。まずス
テップS301において、画像合成部3は、カメラ部1
から得た異なる方向から貼り付け対象オブジェクト(e
x.ユーザの顔)を撮影した複数の画像のうち、視点位
置情報にある視点位置の周辺のカメラの画像を1以上選
択する。この画像選択処理は、視点位置情報蓄積部4か
ら時系列に画像合成部に入力される視点位置情報に従っ
て行なわれるものであり、視点位置情報にもっとも近い
視点位置からの1以上の撮影画像が選択される。
について、図7の処理フローに従って説明する。まずス
テップS301において、画像合成部3は、カメラ部1
から得た異なる方向から貼り付け対象オブジェクト(e
x.ユーザの顔)を撮影した複数の画像のうち、視点位
置情報にある視点位置の周辺のカメラの画像を1以上選
択する。この画像選択処理は、視点位置情報蓄積部4か
ら時系列に画像合成部に入力される視点位置情報に従っ
て行なわれるものであり、視点位置情報にもっとも近い
視点位置からの1以上の撮影画像が選択される。
【0065】次に、ステップS302において、選択さ
れた画像中の貼り付け対象オブジェクト(ex.顔)領
域の抽出処理を実行する。この処理は、前述したよう
に、撮影画像から単色の色情報データを削除して所望の
領域としての貼り付け対象オブジェクト画像を抽出する
クロマキー技術を用いることが可能である。
れた画像中の貼り付け対象オブジェクト(ex.顔)領
域の抽出処理を実行する。この処理は、前述したよう
に、撮影画像から単色の色情報データを削除して所望の
領域としての貼り付け対象オブジェクト画像を抽出する
クロマキー技術を用いることが可能である。
【0066】次に、ステップS303において、カメラ
部1から入力されステップS301で選択された選択画
像すなわち視点周辺の画像と、視点位置情報を用い、ビ
ューインターポレーションを行って、視点位置で見える
べきユーザの顔の画像を生成する。ビューインターポレ
ーションについて図8を用いて説明する。
部1から入力されステップS301で選択された選択画
像すなわち視点周辺の画像と、視点位置情報を用い、ビ
ューインターポレーションを行って、視点位置で見える
べきユーザの顔の画像を生成する。ビューインターポレ
ーションについて図8を用いて説明する。
【0067】ビューインターポレーション(View Inter
polation; View Morphingとも呼ばれる)とは、複数のカ
メラからの画像から、実際にはカメラのない視点から見
えるべき画像を生成する技術である。例えば図8のよう
に、カメラAからの画像AとカメラBからの画像Bを用
いて、その間に位置する仮想的なカメラCで撮影される
べき画像Cを生成することである。この画像Cは、実際
にカメラCがあったとして得られる画像と寸分違わぬ画
像である必要はなく、人の目に違和感なく自然に見えれ
ばよい。このビューインターポレーションを実現するた
めの技術はいくつかあるが、たとえば S. M. Seitz and
C. R. Dyer, "View Morphing," Proc. SIGGRAPH 96, A
CM, 1996pp.21-30. が利用できる。ただし、この手法は
仮想視点がカメラの投影中心を結んだ直線上しか移動で
きないので、たとえば仮想視点がカメラより前方に移動
する(被写体に近づく)ことを実現するには、たとえば
S.J. Gortler, R. Grzeszczuk, R. Szeliski, and M.F.
Cohen, "The Lumigraph", Proc. of SIGGRAPH '96, AC
M, 1996, pp. 43-54. にある手法が利用できる。
polation; View Morphingとも呼ばれる)とは、複数のカ
メラからの画像から、実際にはカメラのない視点から見
えるべき画像を生成する技術である。例えば図8のよう
に、カメラAからの画像AとカメラBからの画像Bを用
いて、その間に位置する仮想的なカメラCで撮影される
べき画像Cを生成することである。この画像Cは、実際
にカメラCがあったとして得られる画像と寸分違わぬ画
像である必要はなく、人の目に違和感なく自然に見えれ
ばよい。このビューインターポレーションを実現するた
めの技術はいくつかあるが、たとえば S. M. Seitz and
C. R. Dyer, "View Morphing," Proc. SIGGRAPH 96, A
CM, 1996pp.21-30. が利用できる。ただし、この手法は
仮想視点がカメラの投影中心を結んだ直線上しか移動で
きないので、たとえば仮想視点がカメラより前方に移動
する(被写体に近づく)ことを実現するには、たとえば
S.J. Gortler, R. Grzeszczuk, R. Szeliski, and M.F.
Cohen, "The Lumigraph", Proc. of SIGGRAPH '96, AC
M, 1996, pp. 43-54. にある手法が利用できる。
【0068】なお、視点位置情報蓄積部4から提供され
る視点位置情報が、カメラ部1の1つのカメラ位置に一
致し、カメラ部1からの複数画像中の1つのみが選択さ
れた場合は上述のビューインターポレーション処理は省
略可能である。
る視点位置情報が、カメラ部1の1つのカメラ位置に一
致し、カメラ部1からの複数画像中の1つのみが選択さ
れた場合は上述のビューインターポレーション処理は省
略可能である。
【0069】次に、ステップS304において、画像合
成部3が撮り込み画像と、素材映像との合成処理を実行
する。この合成処理において、素材映像の置き換え対象
オブジェクト(ex.登場人物の顔)と、貼り付け対象
オブジェクト、例えば撮影画像から抽出されたユーザの
顔は、視点位置情報に基づく画像選択およびビューイン
ターポレーションにより視点方向、位置、大きさが一致
した画像となるので、貼り付け対象オブジェクトである
ユーザの顔領域を素材画像の置き換え対象オブジェクト
の画像領域に上書きするのみの処理となる。なお、前述
したように貼り付け処理を行なった顔領域の周囲にアル
ファブレンディングの効果を入れることで、より一層自
然な合成が可能となる。また、画像合成部3は、隠れマ
スク情報蓄積部7から出力される隠れマスク情報がある
場合には、マスク領域部分は素材画像の出力データを選
択する。
成部3が撮り込み画像と、素材映像との合成処理を実行
する。この合成処理において、素材映像の置き換え対象
オブジェクト(ex.登場人物の顔)と、貼り付け対象
オブジェクト、例えば撮影画像から抽出されたユーザの
顔は、視点位置情報に基づく画像選択およびビューイン
ターポレーションにより視点方向、位置、大きさが一致
した画像となるので、貼り付け対象オブジェクトである
ユーザの顔領域を素材画像の置き換え対象オブジェクト
の画像領域に上書きするのみの処理となる。なお、前述
したように貼り付け処理を行なった顔領域の周囲にアル
ファブレンディングの効果を入れることで、より一層自
然な合成が可能となる。また、画像合成部3は、隠れマ
スク情報蓄積部7から出力される隠れマスク情報がある
場合には、マスク領域部分は素材画像の出力データを選
択する。
【0070】なお、例えば、貼り付け対象オブジェクト
の色、明るさなどが撮影方向によって変化している場合
など、これらのパラメータを各フレーム間で一致させた
り、あるいは各フレームの画像に合わせる処理などのパ
ラメータ調整処理を画像合成部3がオプショナルステッ
プとしてのステップS304’において実行してもよ
い。ステップS304’の処理は、オプション処理であ
り、必ずしも必要とはならない。このパラメータ調整処
理は、ある条件設定の下に自動的に実行することが可能
である。例えば貼り付け対象オブジェクトの輝度値が撮
影方向の差異により、前フレームと一定の閾値以上異な
っている場合に、貼り付け対象オブジェクトの輝度値を
変更したり、あるいは素材画像の平均輝度値と、貼り付
け対象オブジェクトの輝度値とが一定の閾値以上異なっ
ている場合に、貼り付け対象オブジェクトの輝度値を変
更するなどの処理を自動的に実行する。また、素材映像
の登場人物の顔の領域とユーザの顔の領域とでは輪郭が
異なり、ユーザの領域に入りきらないと、上書きしたと
きに素材映像の登場人物の顔が残ってしまうので、素材
映像の登場人物の顔領域(特にその周辺部)に、背景
(あるいは肌)を生成して置き換える処理を実行するこ
とが望ましい。
の色、明るさなどが撮影方向によって変化している場合
など、これらのパラメータを各フレーム間で一致させた
り、あるいは各フレームの画像に合わせる処理などのパ
ラメータ調整処理を画像合成部3がオプショナルステッ
プとしてのステップS304’において実行してもよ
い。ステップS304’の処理は、オプション処理であ
り、必ずしも必要とはならない。このパラメータ調整処
理は、ある条件設定の下に自動的に実行することが可能
である。例えば貼り付け対象オブジェクトの輝度値が撮
影方向の差異により、前フレームと一定の閾値以上異な
っている場合に、貼り付け対象オブジェクトの輝度値を
変更したり、あるいは素材画像の平均輝度値と、貼り付
け対象オブジェクトの輝度値とが一定の閾値以上異なっ
ている場合に、貼り付け対象オブジェクトの輝度値を変
更するなどの処理を自動的に実行する。また、素材映像
の登場人物の顔の領域とユーザの顔の領域とでは輪郭が
異なり、ユーザの領域に入りきらないと、上書きしたと
きに素材映像の登場人物の顔が残ってしまうので、素材
映像の登場人物の顔領域(特にその周辺部)に、背景
(あるいは肌)を生成して置き換える処理を実行するこ
とが望ましい。
【0071】このようにして合成された画像をステップ
S305において出力部(ex.表示モニタ、データ蓄
積手段、通信手段)に出力する。
S305において出力部(ex.表示モニタ、データ蓄
積手段、通信手段)に出力する。
【0072】なお、より見た目に正しい合成を行うため
に、最初にユーザが固定台に顔を固定したときに、固定
台の位置のずれの補正や、顔の大きさや皮膚の色といっ
たユーザの固体差を校正する処理をステップS301の
処理以前に行ってもよい。
に、最初にユーザが固定台に顔を固定したときに、固定
台の位置のずれの補正や、顔の大きさや皮膚の色といっ
たユーザの固体差を校正する処理をステップS301の
処理以前に行ってもよい。
【0073】このように、本発明の画像処理装置によれ
ば、素材映像蓄積部に蓄積された画像に含まれる置き換
え対象オブジェクト(ex.特定の登場人物の顔)を、
カメラで撮影した貼り付け対象オブジェクト(ex.ユ
ーザの顔)に変更して出力する画像合成処理を蓄積画像
の再生に同期した処理として迅速かつ容易に実行するこ
とが可能となる。
ば、素材映像蓄積部に蓄積された画像に含まれる置き換
え対象オブジェクト(ex.特定の登場人物の顔)を、
カメラで撮影した貼り付け対象オブジェクト(ex.ユ
ーザの顔)に変更して出力する画像合成処理を蓄積画像
の再生に同期した処理として迅速かつ容易に実行するこ
とが可能となる。
【0074】ユーザは図2に示す固定台に顔を固定する
のみで、移動させたり方向を変えたりといった動作を行
なうことなく、素材映像の置き換え対象オブジェクトに
併せた画像をカメラの移動により取得して貼り付けるこ
とが可能となる。
のみで、移動させたり方向を変えたりといった動作を行
なうことなく、素材映像の置き換え対象オブジェクトに
併せた画像をカメラの移動により取得して貼り付けるこ
とが可能となる。
【0075】[実施例2]図9は、本発明の第2の実施
の形態に係わるインタラクティブ型の画像処理装置のブ
ロック図である。図10は図9の画像処理装置における
カメラ部1と照明部12の具体的構成例を示す図であ
る。図9および図10を用いて本発明の画像処理装置の
第2実施例概要について説明する。
の形態に係わるインタラクティブ型の画像処理装置のブ
ロック図である。図10は図9の画像処理装置における
カメラ部1と照明部12の具体的構成例を示す図であ
る。図9および図10を用いて本発明の画像処理装置の
第2実施例概要について説明する。
【0076】照明位置情報蓄積部10には照明位置情報
が格納される。照明位置情報は、予め素材映像蓄積部5
に格納された素材データ中の置き換え対象オブジェク
ト、例えば映画のある特定の登場人物の顔の輝度情報に
対応した輝度分布を持つユーザの顔2を撮り込むための
照明12の位置情報を時系列のシーケンシャルデータと
して格納している。すなわち素材映像蓄積部5の置き換
え対象となる画像オブジェクト(ここでは特定の登場人
物の顔)の輝度分布に対応する輝度分布を持つ貼り付け
対象オブジェクトの顔画像の撮り込みを行なうための照
明12の位置情報をシーケンシャルデータとして蓄積し
ている。
が格納される。照明位置情報は、予め素材映像蓄積部5
に格納された素材データ中の置き換え対象オブジェク
ト、例えば映画のある特定の登場人物の顔の輝度情報に
対応した輝度分布を持つユーザの顔2を撮り込むための
照明12の位置情報を時系列のシーケンシャルデータと
して格納している。すなわち素材映像蓄積部5の置き換
え対象となる画像オブジェクト(ここでは特定の登場人
物の顔)の輝度分布に対応する輝度分布を持つ貼り付け
対象オブジェクトの顔画像の撮り込みを行なうための照
明12の位置情報をシーケンシャルデータとして蓄積し
ている。
【0077】照明位置情報蓄積部10に格納された照明
位置情報は、照明制御部11に送られる。照明位置情報
は、素材データ中の置き換え対象オブジェクト、例えば
映画のある特定の登場人物の顔の輝度情報に対応した輝
度分布を持つユーザの顔2を撮り込むための照明12の
位置情報として生成されたデータとしたとえば照明部1
2の点灯すべき照明の位置について、素材画像の各フレ
ームに対応した時系列情報である。照明制御部11では
照明位置情報に沿って照明部12の照明を明滅させる。
照明部12の照明は、ユーザの顔2に照明をあてる。
位置情報は、照明制御部11に送られる。照明位置情報
は、素材データ中の置き換え対象オブジェクト、例えば
映画のある特定の登場人物の顔の輝度情報に対応した輝
度分布を持つユーザの顔2を撮り込むための照明12の
位置情報として生成されたデータとしたとえば照明部1
2の点灯すべき照明の位置について、素材画像の各フレ
ームに対応した時系列情報である。照明制御部11では
照明位置情報に沿って照明部12の照明を明滅させる。
照明部12の照明は、ユーザの顔2に照明をあてる。
【0078】視点位置情報蓄積部4は、予め素材映像蓄
積部5に格納された素材データ、例えば映画のある特定
の登場人物の顔の向き(方向)、位置情報に対応してユ
ーザの顔2を撮り込むための視点位置情報を時系列のシ
ーケンシャルデータとして格納している。すなわち素材
映像蓄積部5の置き換え対象となる画像オブジェクト
(ここでは特定の登場人物の顔)に一致した方向から貼
り付け対象オブジェクトである顔画像の撮り込みを行な
うための視点位置情報をシーケンシャルデータとして蓄
積している。
積部5に格納された素材データ、例えば映画のある特定
の登場人物の顔の向き(方向)、位置情報に対応してユ
ーザの顔2を撮り込むための視点位置情報を時系列のシ
ーケンシャルデータとして格納している。すなわち素材
映像蓄積部5の置き換え対象となる画像オブジェクト
(ここでは特定の登場人物の顔)に一致した方向から貼
り付け対象オブジェクトである顔画像の撮り込みを行な
うための視点位置情報をシーケンシャルデータとして蓄
積している。
【0079】素材映像蓄積部5に格納された映画、ドラ
マなどの素材データの画像合成部3に対する出力と、視
点位置情報蓄積部4の視点位置情報の画像合成部3に対
する出力、さらに、照明位置情報蓄積部10に格納され
た照明位置情報の照明制御部11に対する出力は同期し
て実行され、画像合成部3は素材データの各画像フレー
ムに対応する視点位置情報に基づいて、各フレーム毎に
カメラ部1から入力される複数画像からの画像選択処理
を実行する。
マなどの素材データの画像合成部3に対する出力と、視
点位置情報蓄積部4の視点位置情報の画像合成部3に対
する出力、さらに、照明位置情報蓄積部10に格納され
た照明位置情報の照明制御部11に対する出力は同期し
て実行され、画像合成部3は素材データの各画像フレー
ムに対応する視点位置情報に基づいて、各フレーム毎に
カメラ部1から入力される複数画像からの画像選択処理
を実行する。
【0080】素材映像蓄積部5には、映画やドラマのシ
ーンの映像(以下、素材映像と呼ぶ)が蓄積されてお
り、蓄積画像は時系列で画像合成部3に送られる。隠れ
マスク情報蓄積部6には、隠れマスク情報が記録されて
おり、素材映像蓄積部5の蓄積画像出力に同期して時系
列で画像合成部3に送られる。画像合成部3における合
成処理、隠れマスク情報についての処理については実施
例1と同様であるので説明を省略する。画像合成部3に
おいて生成された画像は出力部7に送られ、出力され
る。出力部は、例えばCRT、LCD等のモニタ装置
や、CD,DVD,ビデオなどの記録装置、あるいはデ
ータ通信のための通信手段等である。
ーンの映像(以下、素材映像と呼ぶ)が蓄積されてお
り、蓄積画像は時系列で画像合成部3に送られる。隠れ
マスク情報蓄積部6には、隠れマスク情報が記録されて
おり、素材映像蓄積部5の蓄積画像出力に同期して時系
列で画像合成部3に送られる。画像合成部3における合
成処理、隠れマスク情報についての処理については実施
例1と同様であるので説明を省略する。画像合成部3に
おいて生成された画像は出力部7に送られ、出力され
る。出力部は、例えばCRT、LCD等のモニタ装置
や、CD,DVD,ビデオなどの記録装置、あるいはデ
ータ通信のための通信手段等である。
【0081】なお、視点位置情報蓄積部4に記録された
視点位置情報、照明位置情報蓄積部10に蓄積された照
明位置情報、素材映像蓄積部5に記録された素材映像、
および隠れマスク情報蓄積部6に記録された隠れマスク
情報の読み出しは、時系列で同期して行われる。
視点位置情報、照明位置情報蓄積部10に蓄積された照
明位置情報、素材映像蓄積部5に記録された素材映像、
および隠れマスク情報蓄積部6に記録された隠れマスク
情報の読み出しは、時系列で同期して行われる。
【0082】カメラ部1と照明部12の構成について図
10を参照して説明する。図10の構成は、ユーザの顔
の映像を、貼り付け対象オブジェクトとして撮り込む構
成を示したものである。ユーザ20は固定台21に貼り
付け対象オブジェクトとなる顔を固定する。固定台21
とカメラ部1の位置関係は既知である。カメラ部1に属
する複数のカメラにおいて、各カメラの位置関係は既知
である。なお、図10の例では各カメラ間の光軸は平行
であるが、このように各カメラ間の光軸を平行に設定す
ることは必須ではなく、各カメラの視野内に必ずユーザ
の顔が入るようにすればよい。また、図10ではカメラ
部1の各カメラは平面的に配置されているが、その必要
はなく、たとえばユーザの横顔もカバーするように、半
球のドーム状に配置してもよい。
10を参照して説明する。図10の構成は、ユーザの顔
の映像を、貼り付け対象オブジェクトとして撮り込む構
成を示したものである。ユーザ20は固定台21に貼り
付け対象オブジェクトとなる顔を固定する。固定台21
とカメラ部1の位置関係は既知である。カメラ部1に属
する複数のカメラにおいて、各カメラの位置関係は既知
である。なお、図10の例では各カメラ間の光軸は平行
であるが、このように各カメラ間の光軸を平行に設定す
ることは必須ではなく、各カメラの視野内に必ずユーザ
の顔が入るようにすればよい。また、図10ではカメラ
部1の各カメラは平面的に配置されているが、その必要
はなく、たとえばユーザの横顔もカバーするように、半
球のドーム状に配置してもよい。
【0083】すなわち、貼り付け対象オブジェクト(e
x.ユーザの顔)を異なる方向から撮影する構成を達成
するものであればよく、素材画像中の置き換対象オブジ
ェクト(ex.登場人物の顔)にもっとも近い視点方向
からの撮影画像を選択可能な複数画像を撮影可能な構成
であればよい。
x.ユーザの顔)を異なる方向から撮影する構成を達成
するものであればよく、素材画像中の置き換対象オブジ
ェクト(ex.登場人物の顔)にもっとも近い視点方向
からの撮影画像を選択可能な複数画像を撮影可能な構成
であればよい。
【0084】照明部12に属する照明は、カメラ部1の
カメラの視野に入らず、しかもユーザの顔を照らすこと
ができる位置に多数配置する。照明部12に属する照明
の位置関係は既知であり、前述の照明位置情報にしたが
って明滅し、貼り付け対象オブジェクト(ex.ユーザ
の顔)に照明をあてる。
カメラの視野に入らず、しかもユーザの顔を照らすこと
ができる位置に多数配置する。照明部12に属する照明
の位置関係は既知であり、前述の照明位置情報にしたが
って明滅し、貼り付け対象オブジェクト(ex.ユーザ
の顔)に照明をあてる。
【0085】固定台21は、例えば図10に示すように
貼り付け対象オブジェクト(顔)を出す穴のついた青、
緑等の単色に塗られた板を取りつけ、顔画像抽出部で顔
の抽出がしやすい構成とする。あるいは貼り付け対象オ
ブジェクト(ex.ユーザの顔)以外の部分を青、緑等
の布で覆うという構成としてもよい。
貼り付け対象オブジェクト(顔)を出す穴のついた青、
緑等の単色に塗られた板を取りつけ、顔画像抽出部で顔
の抽出がしやすい構成とする。あるいは貼り付け対象オ
ブジェクト(ex.ユーザの顔)以外の部分を青、緑等
の布で覆うという構成としてもよい。
【0086】カメラ部1の各カメラの撮り込む画像は、
顔の周囲画像も含む画像となるので、図8に示す画像合
成部3が貼り付け対象となる顔画像のみを抽出する処理
を実行する。たとえば青や緑といった単色の色情報を持
つ固定台21とともに貼り付け対象オブジェクト(e
x.ユーザの顔)をカメラ部の複数カメラで撮影し、撮
影画像から単色の色情報データを削除して所望の領域と
しての貼り付け対象オブジェクト画像を抽出する、すな
わちクロマキー技術を用いることが可能である。
顔の周囲画像も含む画像となるので、図8に示す画像合
成部3が貼り付け対象となる顔画像のみを抽出する処理
を実行する。たとえば青や緑といった単色の色情報を持
つ固定台21とともに貼り付け対象オブジェクト(e
x.ユーザの顔)をカメラ部の複数カメラで撮影し、撮
影画像から単色の色情報データを削除して所望の領域と
しての貼り付け対象オブジェクト画像を抽出する、すな
わちクロマキー技術を用いることが可能である。
【0087】なお、素材映像の進行状況やその時のセリ
フ情報をユーザに提示するディスプレイ25をユーザの
見える位置に配置し、ユーザがディスプレイ25に表示
された素材映像を見て、貼り付け対象となる登場人物の
表情あるいはセリフに基づいて口を動かすなどを行なう
構成としてもよい。このような処理構成とすることで、
より登場人物に近い表情に従ったユーザの顔を素材映像
に貼り付けることが可能となる。
フ情報をユーザに提示するディスプレイ25をユーザの
見える位置に配置し、ユーザがディスプレイ25に表示
された素材映像を見て、貼り付け対象となる登場人物の
表情あるいはセリフに基づいて口を動かすなどを行なう
構成としてもよい。このような処理構成とすることで、
より登場人物に近い表情に従ったユーザの顔を素材映像
に貼り付けることが可能となる。
【0088】本実施例は、照明を制御することで、合成
された画像を第1の実施例より自然で質の高いものにす
ることが可能となる。照明位置情報は、素材映像の各フ
レームにおいて、画像を解析して光源の位置を推定して
作成される。したがって、光源の数を増やせば、より質
の高い合成が可能となる。
された画像を第1の実施例より自然で質の高いものにす
ることが可能となる。照明位置情報は、素材映像の各フ
レームにおいて、画像を解析して光源の位置を推定して
作成される。したがって、光源の数を増やせば、より質
の高い合成が可能となる。
【0089】[実施例3]次に、本発明の画像処理装置
の実施例3として、映画やドラマのシーンの素材映像で
はなく、3DCG(コンピュータグラフィクス)のキャ
ラクタの映像を素材映像とし、その3DCGのオブジェ
クトを置き換え対象オブジェクトとした構成を持つシス
テムについて説明する。例えば、3DCG(コンピュー
タグラフィクス)のキャラクタの顔を置き換え対象オブ
ジェクトとし、ユーザの顔を貼り付け対象オブジェクト
として、キャラクタにユーザが成り代わってインタラク
ティブに入り込んだ映像を生成するシステムである。
の実施例3として、映画やドラマのシーンの素材映像で
はなく、3DCG(コンピュータグラフィクス)のキャ
ラクタの映像を素材映像とし、その3DCGのオブジェ
クトを置き換え対象オブジェクトとした構成を持つシス
テムについて説明する。例えば、3DCG(コンピュー
タグラフィクス)のキャラクタの顔を置き換え対象オブ
ジェクトとし、ユーザの顔を貼り付け対象オブジェクト
として、キャラクタにユーザが成り代わってインタラク
ティブに入り込んだ映像を生成するシステムである。
【0090】図11に3DCG(コンピュータグラフィ
クス)のキャラクタの映像を素材映像とし、その顔にユ
ーザが成り代わってインタラクティブに入り込んだ映像
を生成する画像処理装置のブロック図を示す。
クス)のキャラクタの映像を素材映像とし、その顔にユ
ーザが成り代わってインタラクティブに入り込んだ映像
を生成する画像処理装置のブロック図を示す。
【0091】3DCGモデル蓄積部31は、CGのキャ
ラクタの三次元モデルと、その動き情報が時系列で記録
された記憶部である。仮想カメラ情報蓄積部32は、3
DCGのオブジェクトに対する視点に対応させてカメラ
を設定したと想定した仮想カメラに関する情報を蓄積す
る。すなわち、画像レンダリングの際に利用する仮想カ
メラのパラメータとしての、焦点距離、画像サイズ、3
DCGモデルに対する仮想カメラの位置情報等が時系列
データとして記憶される。
ラクタの三次元モデルと、その動き情報が時系列で記録
された記憶部である。仮想カメラ情報蓄積部32は、3
DCGのオブジェクトに対する視点に対応させてカメラ
を設定したと想定した仮想カメラに関する情報を蓄積す
る。すなわち、画像レンダリングの際に利用する仮想カ
メラのパラメータとしての、焦点距離、画像サイズ、3
DCGモデルに対する仮想カメラの位置情報等が時系列
データとして記憶される。
【0092】素材映像生成部33では、3DCGモデル
蓄積部31に格納された3DCGモデルの情報と仮想カ
メラ情報蓄積部32に格納された仮想カメラ情報とか
ら、レンダリングを行い、素材映像を生成する。
蓄積部31に格納された3DCGモデルの情報と仮想カ
メラ情報蓄積部32に格納された仮想カメラ情報とか
ら、レンダリングを行い、素材映像を生成する。
【0093】視点位置情報生成部34では、素材映像生
成部33において3DCGモデルの情報から得られる顔
の向き情報と、仮想カメラ情報に基づくレンダリング処
理の結果、生成された素材映像内の置き換え対象オブジ
ェクト(ex.キャラクタの顔)の向き、位置情報を求
め、これらの情報に対応して、貼り付け対象オブジェク
ト(ex.ユーザの顔2)を撮り込むための視点位置情
報を時系列のシーケンシャルデータとして生成する。す
なわち素材映像生成部33の置き換え対象となる画像オ
ブジェクト(ここでは特定の3DCGキャラクタの顔)
に一致した方向から貼り付け対象オブジェクトである顔
画像の撮り込みを行なうための視点位置情報としてのカ
メラの位置情報をシーケンシャルデータとして生成蓄積
する。なお、この際、実際のカメラ4のパラメータ(焦
点距離やレンズによる歪曲収差等)を加味して、視点位
置情報を生成する。
成部33において3DCGモデルの情報から得られる顔
の向き情報と、仮想カメラ情報に基づくレンダリング処
理の結果、生成された素材映像内の置き換え対象オブジ
ェクト(ex.キャラクタの顔)の向き、位置情報を求
め、これらの情報に対応して、貼り付け対象オブジェク
ト(ex.ユーザの顔2)を撮り込むための視点位置情
報を時系列のシーケンシャルデータとして生成する。す
なわち素材映像生成部33の置き換え対象となる画像オ
ブジェクト(ここでは特定の3DCGキャラクタの顔)
に一致した方向から貼り付け対象オブジェクトである顔
画像の撮り込みを行なうための視点位置情報としてのカ
メラの位置情報をシーケンシャルデータとして生成蓄積
する。なお、この際、実際のカメラ4のパラメータ(焦
点距離やレンズによる歪曲収差等)を加味して、視点位
置情報を生成する。
【0094】すなわち、本実施例における画像合成部3
は、素材映像生成部33の生成する素材映像に含まれる
置き換え対象オブジェクトの仮想撮影視点情報に基づい
て生成される視点位置情報に従ってカメラ部1の複数カ
メラの撮影画像から1以上の画像を選択、さらに必要で
あればビューインターポーレーション処理を実行して貼
り付け対象オブジェクトの画像として豪勢処理を実行す
る。
は、素材映像生成部33の生成する素材映像に含まれる
置き換え対象オブジェクトの仮想撮影視点情報に基づい
て生成される視点位置情報に従ってカメラ部1の複数カ
メラの撮影画像から1以上の画像を選択、さらに必要で
あればビューインターポーレーション処理を実行して貼
り付け対象オブジェクトの画像として豪勢処理を実行す
る。
【0095】隠れマスク情報生成部35では、3DCG
モデルの情報と仮想カメラ情報から隠れマスク情報が生
成される。隠れマスク情報の意味は、前述の実施例1で
説明したシステムと同様である。これ以降の処理構成は
実施例1と同じ処理となる。
モデルの情報と仮想カメラ情報から隠れマスク情報が生
成される。隠れマスク情報の意味は、前述の実施例1で
説明したシステムと同様である。これ以降の処理構成は
実施例1と同じ処理となる。
【0096】なお、本システムにおいては、レンダリン
グの際に、3DCGデータからなる背景や他の物体との
合成処理が可能である。また、素材映像生成の際に任意
の方向からの光源設定処理も可能となる。このようなレ
ンダリング処理において生成した光源情報に基づいて、
先に説明した実施例2と同様、貼り付け対象オブジェク
ト(ex.ユーザの顔)に対して照射する照明を選択す
る構成とすることも可能である。
グの際に、3DCGデータからなる背景や他の物体との
合成処理が可能である。また、素材映像生成の際に任意
の方向からの光源設定処理も可能となる。このようなレ
ンダリング処理において生成した光源情報に基づいて、
先に説明した実施例2と同様、貼り付け対象オブジェク
ト(ex.ユーザの顔)に対して照射する照明を選択す
る構成とすることも可能である。
【0097】また、3DCGモデルの動き情報や仮想カ
メラの位置情報等は、蓄積された情報を使うのではなく
て、例えばユーザの動き情報を取得してユーザと同様の
動作を3DCGのキャラクタの動作として反映させる処
理構成としてインタラクティブな3DCG合成画像を生
成する構成としてもよい。
メラの位置情報等は、蓄積された情報を使うのではなく
て、例えばユーザの動き情報を取得してユーザと同様の
動作を3DCGのキャラクタの動作として反映させる処
理構成としてインタラクティブな3DCG合成画像を生
成する構成としてもよい。
【0098】なお、上述した実施例において、貼り付け
対象オブジェクト(ex.ユーザの顔)の映像を取り込
む環境において、貼り付け対象オブジェクト(ex.ユ
ーザの顔)を固定する構成を説明した。しかし、たとえ
ばジャイロなどのセンサを貼り付け対象オブジェクト
(ex.ユーザの顔)につけるなどして、ユーザの顔の
位置と向きをリアルタイムに計測する構成とし、その情
報を照明位置情報、視点位置情報、および顔位置情報に
付加することで、貼り付け対象オブジェクト(ex.ユ
ーザの顔)を固定しないで貼り付け対象オブジェクト
(ex.ユーザの顔)の撮り込み画像を取得して合成す
ることも可能である。
対象オブジェクト(ex.ユーザの顔)の映像を取り込
む環境において、貼り付け対象オブジェクト(ex.ユ
ーザの顔)を固定する構成を説明した。しかし、たとえ
ばジャイロなどのセンサを貼り付け対象オブジェクト
(ex.ユーザの顔)につけるなどして、ユーザの顔の
位置と向きをリアルタイムに計測する構成とし、その情
報を照明位置情報、視点位置情報、および顔位置情報に
付加することで、貼り付け対象オブジェクト(ex.ユ
ーザの顔)を固定しないで貼り付け対象オブジェクト
(ex.ユーザの顔)の撮り込み画像を取得して合成す
ることも可能である。
【0099】なお、上述の各実施例で述べた一連の処理
は、ハードウェアにより行うことは勿論、ソフトウェア
により行うこともできる。即ち、汎用のコンピュータ
や、マイクロコンピュータにプログラムを実行させるこ
とにより行う構成とすることが可能である。一連の処理
をソフトウェアによって行う場合には、そのソフトウェ
アを構成するプログラムが、例えば汎用のコンピュータ
や1チップのマイクロコンピュータ等にインストールさ
れる。図13は、上述した一連の処理を実行するプログ
ラムがインストールされるコンピュータの一実施の形態
の構成例を示している。
は、ハードウェアにより行うことは勿論、ソフトウェア
により行うこともできる。即ち、汎用のコンピュータ
や、マイクロコンピュータにプログラムを実行させるこ
とにより行う構成とすることが可能である。一連の処理
をソフトウェアによって行う場合には、そのソフトウェ
アを構成するプログラムが、例えば汎用のコンピュータ
や1チップのマイクロコンピュータ等にインストールさ
れる。図13は、上述した一連の処理を実行するプログ
ラムがインストールされるコンピュータの一実施の形態
の構成例を示している。
【0100】プログラムは、コンピュータに内蔵されて
いる記録媒体としてのハードディスク205やROM2
03に予め記録しておくことができる。あるいは、プロ
グラムはフロッピー(登録商標)ディスク、CD−RO
M(Compact Disc Read Only Memory),MO(Magneto op
tical)ディスク,DVD(Digital Versatile Disc)、磁
気ディスク、半導体メモリなどのリムーバブル記録媒体
210に、一時的あるいは永続的に格納(記録)してお
くことができる。このようなリムーバブル記録媒体21
0は、いわゆるパッケージソフトウエアとして提供する
ことができる。
いる記録媒体としてのハードディスク205やROM2
03に予め記録しておくことができる。あるいは、プロ
グラムはフロッピー(登録商標)ディスク、CD−RO
M(Compact Disc Read Only Memory),MO(Magneto op
tical)ディスク,DVD(Digital Versatile Disc)、磁
気ディスク、半導体メモリなどのリムーバブル記録媒体
210に、一時的あるいは永続的に格納(記録)してお
くことができる。このようなリムーバブル記録媒体21
0は、いわゆるパッケージソフトウエアとして提供する
ことができる。
【0101】なお、プログラムは、上述したようなリム
ーバブル記録媒体210からコンピュータにインストー
ルする他、ダウンロードサイトから、ディジタル衛星放
送用の人工衛星を介して、コンピュータに無線で転送し
たり、LAN(Local Area Network)、インターネットと
いったネットワークを介して、コンピュータに有線で転
送し、コンピュータでは、そのようにして転送されてく
るプログラムを、通信部208で受信し、内蔵するハー
ドディスク205にインストールすることができる。
ーバブル記録媒体210からコンピュータにインストー
ルする他、ダウンロードサイトから、ディジタル衛星放
送用の人工衛星を介して、コンピュータに無線で転送し
たり、LAN(Local Area Network)、インターネットと
いったネットワークを介して、コンピュータに有線で転
送し、コンピュータでは、そのようにして転送されてく
るプログラムを、通信部208で受信し、内蔵するハー
ドディスク205にインストールすることができる。
【0102】コンピュータは、CPU(Central Process
ing Unit)202を内蔵している。CPU202には、
バス201を介して、入出力インタフェース211が接
続されており、CPU202は、入出力インタフェース
210を介して、キーボードやマウス等を介して入力部
207が操作されることにより指令が入力されると、そ
れにしたがって、ROM(Read Only Memory)203に格
納されているプログラムを実行する。上述の実施例にお
ける貼り付け対象オブジェクトの画像は、カメラ212
を介して入力され、CPU202の制御の下、例えばリ
ムーバブル記録媒体210に格納された素材映像、3D
CGデータ等のデータとの合成処理が実行される。図に
はリムーバブル記録媒体210として1つの構成のみを
示しているが、様々なデータ、例えばカメラ位置情報、
照明位置情報、素材映像、隠れマスク情報等をそれぞれ
個別の記憶媒体に格納して接続する構成としてもよい。
また、これらのデータのいくつかはハードディスク20
5に格納する構成としてもよい。
ing Unit)202を内蔵している。CPU202には、
バス201を介して、入出力インタフェース211が接
続されており、CPU202は、入出力インタフェース
210を介して、キーボードやマウス等を介して入力部
207が操作されることにより指令が入力されると、そ
れにしたがって、ROM(Read Only Memory)203に格
納されているプログラムを実行する。上述の実施例にお
ける貼り付け対象オブジェクトの画像は、カメラ212
を介して入力され、CPU202の制御の下、例えばリ
ムーバブル記録媒体210に格納された素材映像、3D
CGデータ等のデータとの合成処理が実行される。図に
はリムーバブル記録媒体210として1つの構成のみを
示しているが、様々なデータ、例えばカメラ位置情報、
照明位置情報、素材映像、隠れマスク情報等をそれぞれ
個別の記憶媒体に格納して接続する構成としてもよい。
また、これらのデータのいくつかはハードディスク20
5に格納する構成としてもよい。
【0103】CPU202は、ROM格納プログラムに
限らず、ハードディスク205に格納されているプログ
ラム、衛星若しくはネットワークから転送され、通信部
208で受信されてハードディスク205にインストー
ルされたプログラム、またはドライブ209に装着され
たリムーバブル記録媒体210から読み出されてハード
ディスク205にインストールされたプログラムを、R
AM(Random Access Memory)204にロードして実行す
ることも可能である。
限らず、ハードディスク205に格納されているプログ
ラム、衛星若しくはネットワークから転送され、通信部
208で受信されてハードディスク205にインストー
ルされたプログラム、またはドライブ209に装着され
たリムーバブル記録媒体210から読み出されてハード
ディスク205にインストールされたプログラムを、R
AM(Random Access Memory)204にロードして実行す
ることも可能である。
【0104】これにより、CPU202は、上述した各
実施例にしたがった処理、あるいは上述したブロック
図、フローチャートに従って行われる処理を行う。そし
て、CPU202は、その処理結果を、必要に応じて、
例えば、入出力インタフェース211を介して、LCD
(Liquid CryStal Display)やスピーカ等で構成される出
力部206から出力、あるいは、通信部208から送
信、さらには、ハードディスク205に記録させる。
実施例にしたがった処理、あるいは上述したブロック
図、フローチャートに従って行われる処理を行う。そし
て、CPU202は、その処理結果を、必要に応じて、
例えば、入出力インタフェース211を介して、LCD
(Liquid CryStal Display)やスピーカ等で構成される出
力部206から出力、あるいは、通信部208から送
信、さらには、ハードディスク205に記録させる。
【0105】ここで、本明細書において、コンピュータ
に各種の処理を行わせるためのプログラムを記述する処
理ステップは、必ずしもフローチャートとして記載され
た順序に沿って時系列に処理する必要はなく、並列的あ
るいは個別に実行される処理(例えば、並列処理あるい
はオブジェクトによる処理)も含むものである。
に各種の処理を行わせるためのプログラムを記述する処
理ステップは、必ずしもフローチャートとして記載され
た順序に沿って時系列に処理する必要はなく、並列的あ
るいは個別に実行される処理(例えば、並列処理あるい
はオブジェクトによる処理)も含むものである。
【0106】また、プログラムは、1のコンピュータに
より処理されるものであっても良いし、複数のコンピュ
ータによって分散処理されるものであっても良い。さら
に、プログラムは、遠方のコンピュータに転送されて実
行されるものであっても良い。
より処理されるものであっても良いし、複数のコンピュ
ータによって分散処理されるものであっても良い。さら
に、プログラムは、遠方のコンピュータに転送されて実
行されるものであっても良い。
【0107】以上、特定の実施例を参照しながら、本発
明について詳解してきた。しかしながら、本発明の要旨
を逸脱しない範囲で当業者が該実施例の修正や代用を成
し得ることは自明である。すなわち、例示という形態で
本発明を開示してきたのであり、限定的に解釈されるべ
きではない。本発明の要旨を判断するためには、冒頭に
記載した特許請求の範囲の欄を参酌すべきである。例え
ば、実施例においては、人の顔を素材映像中の登場人物
の顔と入れ替えるシステムを提供しているが、人の顔に
限らず、素材映像中のあらゆる物体を別の物体と入れ替
えることがインタラクティブに行える。
明について詳解してきた。しかしながら、本発明の要旨
を逸脱しない範囲で当業者が該実施例の修正や代用を成
し得ることは自明である。すなわち、例示という形態で
本発明を開示してきたのであり、限定的に解釈されるべ
きではない。本発明の要旨を判断するためには、冒頭に
記載した特許請求の範囲の欄を参酌すべきである。例え
ば、実施例においては、人の顔を素材映像中の登場人物
の顔と入れ替えるシステムを提供しているが、人の顔に
限らず、素材映像中のあらゆる物体を別の物体と入れ替
えることがインタラクティブに行える。
【0108】
【発明の効果】以上、説明したように、本発明の画像処
理装置、および画像処理方法、並びにプログラム記憶媒
体によれば、映画、ドラマなどの素材映像、あるいは3
DCGに基づいて生成される画像データ内の特定の置き
換え対象オブジェクト(ex.特定の登場人物の顔)に
カメラで撮影した貼り付け対象オブジェクト(ex.ユ
ーザの顔)を合成して貼り付ける処理が、貼り付け対象
オブジェクト(ex.ユーザの顔)に様々な動きを強い
ることなく、複数視点から撮影した画像の視点位置情報
に基づく選択処理によって実現される。
理装置、および画像処理方法、並びにプログラム記憶媒
体によれば、映画、ドラマなどの素材映像、あるいは3
DCGに基づいて生成される画像データ内の特定の置き
換え対象オブジェクト(ex.特定の登場人物の顔)に
カメラで撮影した貼り付け対象オブジェクト(ex.ユ
ーザの顔)を合成して貼り付ける処理が、貼り付け対象
オブジェクト(ex.ユーザの顔)に様々な動きを強い
ることなく、複数視点から撮影した画像の視点位置情報
に基づく選択処理によって実現される。
【0109】また、本発明の画像処理装置、および画像
処理方法、並びにプログラム記憶媒体によれば、貼り付
け対象オブジェクト(ex.ユーザの顔)の三次元形状
を取得する必要がなく、カメラ映像からの顔の画像をそ
のまま利用できるので、置き換え対象オブジェクト(e
x.特定の登場人物の顔)の動きや声を解析したり、表
情を合成したりする必要がなく、自然な合成画像の生成
が容易に実現できる。また、画像合成処理に必要な情報
としての視点位置情報等はあらかじめ求めておけばよ
く、運用時は極めて少ないの計算量となり、リアルタイ
ムのインタラクティブなシステムとして有効である。
処理方法、並びにプログラム記憶媒体によれば、貼り付
け対象オブジェクト(ex.ユーザの顔)の三次元形状
を取得する必要がなく、カメラ映像からの顔の画像をそ
のまま利用できるので、置き換え対象オブジェクト(e
x.特定の登場人物の顔)の動きや声を解析したり、表
情を合成したりする必要がなく、自然な合成画像の生成
が容易に実現できる。また、画像合成処理に必要な情報
としての視点位置情報等はあらかじめ求めておけばよ
く、運用時は極めて少ないの計算量となり、リアルタイ
ムのインタラクティブなシステムとして有効である。
【0110】また、本発明の画像処理装置、および画像
処理方法、並びにプログラム記憶媒体によれば、貼り付
け対象オブジェクト(ex.ユーザの顔)をカメラを移
動させることなく、様々な角度から撮り込むことが可能
となり、自然な合成画像の生成を低コストの装置で実現
できる。
処理方法、並びにプログラム記憶媒体によれば、貼り付
け対象オブジェクト(ex.ユーザの顔)をカメラを移
動させることなく、様々な角度から撮り込むことが可能
となり、自然な合成画像の生成を低コストの装置で実現
できる。
【図1】本発明の画像処理装置の第1実施例の構成を示
すブロック図である。
すブロック図である。
【図2】本発明の画像処理装置の第1実施例の画像撮り
込み部の構成例を示す図である。
込み部の構成例を示す図である。
【図3】本発明の画像処理装置における視点位置情報の
取得処理を説明する図である。
取得処理を説明する図である。
【図4】本発明の画像処理装置における隠れマスク情報
の取得処理を説明する図である。
の取得処理を説明する図である。
【図5】本発明の画像処理装置における視点位置情報、
隠れマスク情報の取得処理を説明するフロー図である。
隠れマスク情報の取得処理を説明するフロー図である。
【図6】本発明の画像処理装置における画像合成処理を
説明するフロー図である。
説明するフロー図である。
【図7】本発明の画像処理装置における画像合成処理の
詳細を説明するフロー図である。
詳細を説明するフロー図である。
【図8】本発明の画像処理装置においてて着ようか能な
ビューインターポレーションについて説明する図であ
る。
ビューインターポレーションについて説明する図であ
る。
【図9】本発明の画像処理装置の第2実施例の構成を示
すブロック図である。
すブロック図である。
【図10】本発明の画像処理装置の第2実施例の画像撮
り込み部の構成例を示す図である。
り込み部の構成例を示す図である。
【図11】本発明の画像処理装置の第3実施例の構成を
示すブロック図である。
示すブロック図である。
【図12】本発明の画像処理装置における処理をソフト
ウェアによって実行する場合の処理手段構成を示したブ
ロック図である。
ウェアによって実行する場合の処理手段構成を示したブ
ロック図である。
1 カメラ部 2 貼り付け対象オブジェクト(ユーザの顔) 3 画像合成部 4 視点位置情報蓄積部 5 素材映像蓄積部 6 隠れマスク情報蓄積部 7 出力部 20 ユーザ 21 固定台 25 デイスプレイ 30 登場人物 40 ユーザの顔 50 カメラ 60 柱 70 マスク領域 10 照明位置情報蓄積部 11 照明制御部 12 照明部 31 3DCGモデル蓄積部 32 仮想カメラ情報蓄積部 33 素材映像生成部 34 視点位置情報生成部 35 隠れマスク情報生成部 201 バス 202 CPU 203 ROM 204 RAM 205 ハードディスク 206 出力部 207 入力部 208 通信部 209 ドライブ 210 リムーバブル記録媒体 211 入出力インタフェース 212 カメラ
───────────────────────────────────────────────────── フロントページの続き Fターム(参考) 5B050 BA08 BA12 DA02 EA03 EA19 FA02 5B057 BA02 CA08 CA12 CA16 CB08 CB12 CB16 CE08 DA08 DA16 DB02 DB09 5C023 AA06 AA10 AA16 AA37 BA02 BA11 CA01 5C061 AA20 AB04 AB08
Claims (15)
- 【請求項1】素材画像データ内の特定オブジェクトを置
き換え対象オブジェクトとし、該置き換え対象オブジェ
クトの画像を、カメラで撮影した貼り付け対象オブジェ
クトの画像データに置き換える処理を実行する画像処理
装置であり、 貼り付け対象オブジェクトの画像を複数の視点位置から
撮り込む複数のカメラを配列した撮像手段と、 前記素材画像データ内の置き換え対象オブジェクトの視
点位置情報に基づいて、前記撮像手段から取得される異
なる視点位置からの複数の撮影画像から、前記視点位置
情報に近似する視点位置画像を選択し、該選択画像に基
づいて貼り付け対象オブジェクトの画像を生成し、前記
素材画像データ内の置き換え対象オブジェクトの画像を
前記貼り付け対象オブジェクトの画像に変更する画像合
成処理を実行する画像合成手段と、 を有することを特徴とする画像処理装置。 - 【請求項2】前記画像処理装置は、 前記置き換え対象オブジェクトを含む素材画像データを
格納した素材映像蓄積手段と、 前記置き換え対象オブジェクトの視点位置情報を蓄積し
た視点位置情報蓄積手段を有し、 視点位置情報蓄積手段に格納される視点位置情報は、前
記素材映像蓄積手段に格納された素材画像データの各フ
レームに対応する時系列データとして構成され、 前記視点位置情報蓄積手段に記録された視点位置情報の
前記画像合成手段に対する出力、および、前記素材映像
蓄積手段に記録された素材映像の前記画像合成手段に対
する出力、および前記撮像手段からの撮影画像の前記画
像合成手段に対する出力を同期させた処理として実行
し、 前記画像合成手段は、前記素材映像蓄積手段から入力す
る素材映像と、前記視点位置情報蓄積手段から入力する
視点位置情報と、前記撮像手段から入力される貼り付け
対象オブジェクトの複数画像を並列に入力し、該入力デ
ータに基づいて、前記素材画像中の置き換え対象オブジ
ェクトの画像を前記貼り付け対象オブジェクトの画像に
変更する処理を実行する構成であることを特徴とする請
求項1に記載の画像処理装置。 - 【請求項3】前記画像合成手段は、 選択された前記視点位置情報に近似する視点位置画像が
複数である際に、該選択画像に基づくビューインターポ
レーション処理を実行して貼り付け対象オブジェクトの
画像を生成する処理を実行する構成であることを特徴と
する請求項1または2に記載の画像処理装置。 - 【請求項4】前記画像合成手段は、さらに、 前記撮像手段の撮影した画像から貼り付け対象オブジェ
クトの画像のみを抽出する撮り込み画像抽出処理を実行
する構成であることを特徴とする請求項1または2に記
載の画像処理装置。 - 【請求項5】前記画像処理装置は、さらに、 素材画像データ内の前記置き換え対象オブジェクトの遮
蔽領域情報としての隠れマスク情報を格納した隠れマス
ク情報蓄積手段を有し、 前記画像合成手段は、該隠れマスク情報蓄積手段からの
隠れマスク情報を入力し、マスク領域については、前記
撮像手段からの貼り付け対象オブジェクトの画像データ
ではなく、前記素材画像データのデータを出力データと
して選択する合成処理を実行することを特徴とする請求
項1または2に記載の画像処理装置。 - 【請求項6】前記画像処理装置は、さらに、 素材画像データ内の前記置き換え対象オブジェクトの輝
度情報に基づいて生成される照明位置情報を格納した照
明位置情報蓄積手段と、 貼り付け対象オブジェクトを異なる方向から照射する複
数の照明を配列した照明手段と、 前記照明手段の各照明を前記照明位置情報に従って明滅
させる照明制御手段と、 を有する構成であることを特徴とする請求項1または2
に記載の画像処理装置。 - 【請求項7】前記画像処理装置は、さらに、 3次元モデルデータを格納した3次元モデル蓄積手段
と、 前記3次元モデル蓄積手段に格納した3次元モデルデー
タに含まれる置き換え対象オブジェクトの仮想撮影視点
情報を格納した仮想カメラ情報蓄積手段と、 前記3次元モデルデータと、前記仮想撮影視点情報に基
づいて素材映像データを生成する素材映像生成手段とを
有し、 前記画像合成手段は、 前記素材映像生成手段の生成する素材映像に含まれる置
き換え対象オブジェクトの仮想撮影視点情報に基づいて
生成される視点位置情報に従って、前記撮像手段から入
力される画像中から、該視点位置情報に近似する視点位
置画像を選択し、該選択画像に基づいて貼り付け対象オ
ブジェクトの画像を生成し、前記素材画像データ内の置
き換え対象オブジェクトの画像を前記貼り付け対象オブ
ジェクトの画像に変更する画像合成処理を実行する構成
であることを特徴とする請求項1または2に記載の画像
処理装置。 - 【請求項8】素材画像データ内の特定オブジェクトを置
き換え対象オブジェクトとし、該置き換え対象オブジェ
クトの画像を、カメラで撮影した貼り付け対象オブジェ
クトの画像データに置き換える処理を実行する画像処理
方法であり、 貼り付け対象オブジェクトの画像を複数の視点位置から
撮り込む複数のカメラを配列した撮像手段により複数画
像を撮り込む画像撮り込みステップと、 画像合成手段において、前記素材画像データ内の置き換
え対象オブジェクトの視点位置情報に基づいて、前記撮
像手段から取得される異なる視点位置からの複数の撮影
画像から、前記視点位置情報に近似する視点位置画像を
選択し、該選択画像に基づいて貼り付け対象オブジェク
トの画像を生成し、前記素材画像データ内の置き換え対
象オブジェクトの画像を前記貼り付け対象オブジェクト
の画像に変更する画像合成処理を実行する画像合成ステ
ップと、 を有することを特徴とする画像処理方法。 - 【請求項9】前記画像処理方法は、さらに、 素材映像蓄積手段に格納された素材画像データの各フレ
ームに対応する時系列データとして置き換え対象オブジ
ェクトの視点位置情報を生成し、視点位置情報蓄積手段
に蓄積する視点位置情報蓄積ステップと、 前記視点位置情報蓄積手段に記録された視点位置情報の
前記画像合成手段に対する出力、および、前記素材映像
蓄積手段に記録された素材映像の前記画像合成手段に対
する出力、および前記撮像手段からの撮影画像の前記画
像合成手段に対する出力を同期させた処理として実行す
るステップとを有し、 前記画像合成ステップは、 前記素材映像蓄積手段から入力する素材映像と、前記視
点位置情報蓄積手段から入力する視点位置情報と、前記
撮像手段から入力される貼り付け対象オブジェクトの複
数画像を並列に入力し、該入力データに基づいて、前記
素材画像中の置き換え対象オブジェクトの画像を前記貼
り付け対象オブジェクトの画像に変更する処理を実行す
ることを特徴とする請求項8に記載の画像処理方法。 - 【請求項10】前記画像合成ステップは、 選択された前記視点位置情報に近似する視点位置画像が
複数である際に、該選択画像に基づくビューインターポ
レーション処理を実行して貼り付け対象オブジェクトの
画像を生成する処理を実行することを特徴とする請求項
8または9に記載の画像処理方法。 - 【請求項11】前記画像処理方法は、さらに、 前記画像撮り込みステップにおいて撮影した画像から貼
り付け対象オブジェクトの画像のみを抽出する撮り込み
画像抽出ステップを有することを特徴とする請求項8ま
たは9に記載の画像処理方法。 - 【請求項12】前記画像処理方法は、さらに、 素材画像データ内の前記置き換え対象オブジェクトの遮
蔽領域情報としての隠れマスク情報を生成し格納する隠
れマスク情報蓄積ステップを有し、 前記画像合成ステップは、前記隠れマスク情報を入力
し、マスク領域については、前記画像撮り込みステップ
において撮り込まれた貼り付け対象オブジェクトの画像
データではなく、前記素材画像データのデータを出力デ
ータとして選択する合成処理を実行することを特徴とす
る請求項8または9に記載の画像処理方法。 - 【請求項13】前記画像処理方法は、さらに、 素材画像データ内の前記置き換え対象オブジェクトの輝
度情報に基づいて生成される照明位置情報を生成し格納
する照明位置情報蓄積ステップを有し、 前記画像撮り込みステップは、 前記照明位置情報蓄積ステップにおいて生成した照明位
置情報に従って前記貼り付け対象オブジェクトを異なる
方向から照射する複数の照明を選択的に明滅させる処理
を実行することを特徴とする請求項8または9に記載の
画像処理方法。 - 【請求項14】前記画像処理方法は、さらに、 3次元モデル蓄積手段に格納した3次元モデルデータに
含まれる置き換え対象オブジェクトの仮想撮影視点情報
を生成格納する仮想カメラ情報蓄積ステップと、 前記3次元モデルデータと、前記仮想撮影視点情報に基
づいて素材映像データを生成する素材映像生成ステップ
とを有し、 前記画像合成ステップは、 前記素材映像生成ステップにおいて生成する素材映像に
含まれる置き換え対象オブジェクトの仮想撮影視点情報
に基づいて生成される視点位置情報に従って、前記撮像
ステップにおいて撮影された複数画像中から、該視点位
置情報に近似する視点位置画像を選択し、該選択画像に
基づいて貼り付け対象オブジェクトの画像を生成し、前
記素材画像データ内の置き換え対象オブジェクトの画像
を前記貼り付け対象オブジェクトの画像に変更する画像
合成処理を実行することを特徴とする請求項8または9
に記載の画像処理方法。 - 【請求項15】素材画像データ内の特定オブジェクトを
置き換え対象オブジェクトとし、該置き換え対象オブジ
ェクトの画像を、カメラで撮影した貼り付け対象オブジ
ェクトの画像データに置き換える画像処理をコンピュー
タ・システム上で実行せしめるコンピュータ・プログラ
ムを提供するプログラム記憶媒体であって、前記コンピ
ュータ・プログラムは、 貼り付け対象オブジェクトの画像を複数の視点位置から
撮り込む複数のカメラを配列した撮像手段により複数画
像を撮り込む画像撮り込みステップと、 前記素材画像データ内の置き換え対象オブジェクトの視
点位置情報に基づいて、前記撮像手段によって撮影され
た異なる視点位置からの複数画像から、前記視点位置情
報に近似する視点位置画像を選択し、該選択画像に基づ
いて貼り付け対象オブジェクトの画像を生成し、前記素
材画像データ内の置き換え対象オブジェクトの画像を前
記貼り付け対象オブジェクトの画像に変更する画像合成
処理を実行する画像合成ステップと、 を有することを特徴とするプログラム記憶媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001029150A JP2002232783A (ja) | 2001-02-06 | 2001-02-06 | 画像処理装置および画像処理方法、並びにプログラム記憶媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001029150A JP2002232783A (ja) | 2001-02-06 | 2001-02-06 | 画像処理装置および画像処理方法、並びにプログラム記憶媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2002232783A true JP2002232783A (ja) | 2002-08-16 |
Family
ID=18893529
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001029150A Pending JP2002232783A (ja) | 2001-02-06 | 2001-02-06 | 画像処理装置および画像処理方法、並びにプログラム記憶媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2002232783A (ja) |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006527529A (ja) * | 2003-05-02 | 2006-11-30 | アラン ロバート ステイカー、 | ビデオ合成のための対話型システムおよび方法 |
JP2007041876A (ja) * | 2005-08-03 | 2007-02-15 | Samii Kk | 画像表示装置及び画像表示プログラム |
JP2007184741A (ja) * | 2006-01-06 | 2007-07-19 | Kddi Corp | 多視点映像符号化方法、装置及びプログラム |
JP2008271495A (ja) * | 2007-04-16 | 2008-11-06 | Chang Hwan Lee | ユーザー指定の顔面像が反映された映像コンテンツの製作システム |
JP2009021964A (ja) * | 2007-07-13 | 2009-01-29 | Kao Corp | 画像合成装置、画像合成方法及び画像合成プログラム |
JP2009533786A (ja) * | 2006-04-10 | 2009-09-17 | アヴァワークス インコーポレーテッド | 自分でできるフォトリアリスティックなトーキングヘッド作成システム及び方法 |
JP2010035237A (ja) * | 2009-11-12 | 2010-02-12 | Fujifilm Corp | 対象画像の位置検出装置および方法ならびに対象画像の位置検出装置を制御するプログラム |
US7747157B2 (en) | 2005-09-16 | 2010-06-29 | Fujifilm Corporation | Target-image position detecting apparatus, method and program for controlling said apparatus |
EP2293221A2 (en) | 2009-08-31 | 2011-03-09 | Sony Corporation | Apparatus, method, and program for processing image |
CN102096901A (zh) * | 2009-11-17 | 2011-06-15 | 精工爱普生株式会社 | 背景限制新视图插值 |
JP2011228846A (ja) * | 2010-04-16 | 2011-11-10 | Canon Inc | 画像処理装置および方法 |
US8824861B2 (en) | 2008-07-01 | 2014-09-02 | Yoostar Entertainment Group, Inc. | Interactive systems and methods for video compositing |
JP2017016463A (ja) * | 2015-07-02 | 2017-01-19 | 日本電信電話株式会社 | 画像処理方法、画像処理装置、及び、プログラム |
US10332560B2 (en) | 2013-05-06 | 2019-06-25 | Noo Inc. | Audio-video compositing and effects |
CN110298786A (zh) * | 2019-07-02 | 2019-10-01 | 北京字节跳动网络技术有限公司 | 图像渲染方法、装置、设备及存储介质 |
CN111291218A (zh) * | 2020-01-20 | 2020-06-16 | 北京百度网讯科技有限公司 | 视频融合方法、装置、电子设备及可读存储介质 |
WO2022259618A1 (ja) * | 2021-06-08 | 2022-12-15 | ソニーグループ株式会社 | 情報処理装置、情報処理方法およびプログラム |
-
2001
- 2001-02-06 JP JP2001029150A patent/JP2002232783A/ja active Pending
Cited By (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006527529A (ja) * | 2003-05-02 | 2006-11-30 | アラン ロバート ステイカー、 | ビデオ合成のための対話型システムおよび方法 |
US7646434B2 (en) | 2003-05-02 | 2010-01-12 | Yoostar Entertainment Group, Inc. | Video compositing systems for providing interactive entertainment |
US7649571B2 (en) | 2003-05-02 | 2010-01-19 | Yoostar Entertainment Group, Inc. | Methods for interactive video compositing |
JP2007041876A (ja) * | 2005-08-03 | 2007-02-15 | Samii Kk | 画像表示装置及び画像表示プログラム |
US7747157B2 (en) | 2005-09-16 | 2010-06-29 | Fujifilm Corporation | Target-image position detecting apparatus, method and program for controlling said apparatus |
JP2007184741A (ja) * | 2006-01-06 | 2007-07-19 | Kddi Corp | 多視点映像符号化方法、装置及びプログラム |
JP4570159B2 (ja) * | 2006-01-06 | 2010-10-27 | Kddi株式会社 | 多視点映像符号化方法、装置及びプログラム |
JP2009533786A (ja) * | 2006-04-10 | 2009-09-17 | アヴァワークス インコーポレーテッド | 自分でできるフォトリアリスティックなトーキングヘッド作成システム及び方法 |
JP4665147B2 (ja) * | 2007-04-16 | 2011-04-06 | エフエックスギア インコーポレイテッド | ユーザー指定の顔面像が反映された映像コンテンツの製作システム |
JP2008271495A (ja) * | 2007-04-16 | 2008-11-06 | Chang Hwan Lee | ユーザー指定の顔面像が反映された映像コンテンツの製作システム |
JP2009021964A (ja) * | 2007-07-13 | 2009-01-29 | Kao Corp | 画像合成装置、画像合成方法及び画像合成プログラム |
US9143721B2 (en) | 2008-07-01 | 2015-09-22 | Noo Inc. | Content preparation systems and methods for interactive video systems |
US8824861B2 (en) | 2008-07-01 | 2014-09-02 | Yoostar Entertainment Group, Inc. | Interactive systems and methods for video compositing |
US8634658B2 (en) | 2009-08-31 | 2014-01-21 | Sony Corporation | Apparatus, method, and program for processing image |
EP2293221A2 (en) | 2009-08-31 | 2011-03-09 | Sony Corporation | Apparatus, method, and program for processing image |
JP2010035237A (ja) * | 2009-11-12 | 2010-02-12 | Fujifilm Corp | 対象画像の位置検出装置および方法ならびに対象画像の位置検出装置を制御するプログラム |
CN102096901A (zh) * | 2009-11-17 | 2011-06-15 | 精工爱普生株式会社 | 背景限制新视图插值 |
CN102096901B (zh) * | 2009-11-17 | 2012-10-31 | 精工爱普生株式会社 | 背景限制新视图插值 |
JP2011228846A (ja) * | 2010-04-16 | 2011-11-10 | Canon Inc | 画像処理装置および方法 |
US10332560B2 (en) | 2013-05-06 | 2019-06-25 | Noo Inc. | Audio-video compositing and effects |
JP2017016463A (ja) * | 2015-07-02 | 2017-01-19 | 日本電信電話株式会社 | 画像処理方法、画像処理装置、及び、プログラム |
CN110298786A (zh) * | 2019-07-02 | 2019-10-01 | 北京字节跳动网络技术有限公司 | 图像渲染方法、装置、设备及存储介质 |
CN111291218A (zh) * | 2020-01-20 | 2020-06-16 | 北京百度网讯科技有限公司 | 视频融合方法、装置、电子设备及可读存储介质 |
CN111291218B (zh) * | 2020-01-20 | 2023-09-08 | 北京百度网讯科技有限公司 | 视频融合方法、装置、电子设备及可读存储介质 |
WO2022259618A1 (ja) * | 2021-06-08 | 2022-12-15 | ソニーグループ株式会社 | 情報処理装置、情報処理方法およびプログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Thies et al. | Facevr: Real-time facial reenactment and eye gaze control in virtual reality | |
CN110557625A (zh) | 虚拟形象直播方法、终端、计算机设备及存储介质 | |
JP2002232783A (ja) | 画像処理装置および画像処理方法、並びにプログラム記憶媒体 | |
US8655152B2 (en) | Method and system of presenting foreign films in a native language | |
WO2018006377A1 (zh) | 实时互动动画的全息投影***、方法及人工智能机器人 | |
JP4872135B2 (ja) | 顔メッシュを使用して顔アニメーションを作成する技術 | |
JP2007156945A (ja) | 画像処理装置および画像処理方法、プログラム、並びにデータ構造 | |
US20100271368A1 (en) | Systems and methods for applying a 3d scan of a physical target object to a virtual environment | |
JPWO2008126371A1 (ja) | 映像合成方法、映像合成システム | |
JP2009075880A (ja) | 仮想顔モデル変形装置及び仮想顔モデル変形プログラム | |
US11941729B2 (en) | Image processing apparatus, method for controlling image processing apparatus, and storage medium | |
Schreer et al. | Advanced volumetric capture and processing | |
JPH10240908A (ja) | 映像合成方法 | |
KR101859318B1 (ko) | 360˚ 가상카메라를 활용한 영상콘텐츠 제작 방법 | |
WO2023236656A1 (zh) | 互动画面的渲染方法、装置、设备、存储介质及程序产品 | |
Eisert et al. | Volumetric video–acquisition, interaction, streaming and rendering | |
KR100422470B1 (ko) | 3차원 동화상 모델 얼굴 대체 방법 및 장치 | |
JP2002232782A (ja) | 画像処理装置および画像処理方法、並びにプログラム記憶媒体 | |
JP2002083286A (ja) | アバタ生成方法、装置及びそのプログラムを記録した記録媒体 | |
JP7011728B2 (ja) | 画像データ出力装置、コンテンツ作成装置、コンテンツ再生装置、画像データ出力方法、コンテンツ作成方法、およびコンテンツ再生方法 | |
JP4126835B2 (ja) | 画像合成装置 | |
Huang et al. | A process for the semi-automated generation of life-sized, interactive 3D character models for holographic projection | |
JP2021015417A (ja) | 画像処理装置、画像配信システム、および画像処理方法 | |
US20230291883A1 (en) | Image processing system, image processing method, and storage medium | |
US20240259518A1 (en) | Information processing device, video processing method, and program |