JP7062506B2 - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法、及びプログラムに関し、特に、仮想視点画像を生成するために用いて好適なものである。

被写体（例えば人物等のオブジェクト）を複数の撮像装置で撮像して得られた画像に基づいて、仮想視点（実際には撮像装置が存在しない視点を含む任意の視点）から被写体を観察した際に得られる画像（仮想視点画像）を再構成（生成）する技術が知られている。特許文献１には、以下の方法が開示されている。まず、複数のカメラにより撮像された被写体の撮像画像と、カメラの位置情報とを用いて、被写体の三次元モデルを生成する。次に、三次元モデル上の各位置のテクスチャ画像（ブレンドテクスチャ画像）を、複数の撮像画像に写っているテクスチャ画像をブレンドすることにより生成する。最後に、ブレンドテクスチャ画像を三次元モデルにテクスチャマッピングすることにより、仮想視点からの画像を再構成する。

特許第５０１１２２４号公報

W.Matusik, C.Buehler, R.Raskar, S.Gortler, L.McMillan,"Image Based Visual Hulls", ACM SIGGRAPH2000,pp.369-374, 2000

しかしながら、特許文献１に記載の技術では、撮像画像において動きブレ（被写体の動きによって被写体がブレた状態で撮像画像に写し出されること）が起こった場合、動きブレが起こった部分が実際とは異なる大きな形状としてレンダリングされる虞がある。即ち、特許文献１に記載の技術では、撮像画像において動きブレが起こった場合に仮想視点画像を適切に生成することが容易ではないという課題がある。
本発明は、このような課題に鑑みてなされたものであり、撮像画像において動きブレが起こった場合でも仮想視点画像を適切に生成することができるようにすることを目的とする。

本発明の画像処理装置は、複数の撮像装置により撮像された被写体の撮像画像に基づいて、仮想視点における前記被写体の画像である仮想視点画像として、第１の仮想視点画像を生成する第１の生成手段と、複数の撮像装置により撮像された被写体の撮像画像に基づいて、前記仮想視点における前記被写体の画像である仮想視点画像として、第２の仮想視点画像を生成する第２の生成手段と、前記第１の仮想視点画像と、前記第２の仮想視点画像とに基づいて、前記仮想視点における前記被写体の画像である仮想視点画像として、第３の仮想視点画像を生成する第３の生成手段と、を有し、前記第１の仮想視点画像の方が前記第２の仮想視点画像よりも、画像において前記被写体の少なくとも一部の領域に生じているブレが大きいことを特徴とする。

本発明によれば、撮像画像において被写体の動きブレが起こった場合でも仮想視点画像を適切に生成することができる。

画像処理システムの構成を示す図である。 画像処理装置のハードウェアの構成を示す図である。 画像処理装置の機能的な構成の第１の例を示す図である。 画像処理方法の第１の例を説明するフローチャートである。 画像処理の内容の第１の例を説明する図である。 画像処理装置の機能的な構成の第２の例を示す図である。 画像処理方法の第２の例を説明するフローチャートである。 画像処理の内容の第２の例を説明する図である。 画像処理装置の機能的な構成の第３の例を示す図である。 画像処理方法の第３の例を説明するフローチャートである。

以下、本発明の実施形態について、添付の図面を参照して詳細に説明する。
＜第１の実施形態＞
本実施形態では、被写体（例えば人物などのオブジェクト）の動き情報を撮像画像から取得し、その速さと撮像条件とに基づいて、撮像画像において被写体の動きによってブレが起こっている領域とブレが起こっていない領域とを特定する。そして、ブレが生じている領域が半透明になるように、仮想視点から被写体を観察した場合の画像を、複数の撮像画像を用いて生成（再構成）する。本実施形態の画像処理システムは、同一の被写体を異なる視点から撮像することにより得られる複数の画像データに対して適用することができる。以下の説明では、仮想視点から被写体を観察した場合の画像を必要に応じて仮想視点画像と称する。また、被写体の動きによって撮像画像において被写体の少なくとも一部の領域に生じるブレを必要に応じて動きブレと称する。

図１は、画像処理システムの構成の一例を示す模式図である。画像処理システムは、複数のカメラ１０１と、画像処理装置１０２と、表示装置１０３と、入力装置１０４とを有する。カメラ１０１は、概略平面上の領域に配置された被写体１０５を囲むような複数の視点から、被写体１０５を撮像する。画像処理装置１０２には、表示装置１０３及び入力装置１０４が接続されている。利用者は、表示装置１０３と入力装置１０４とを用いて画像処理装置１０２に対する入力操作を行う。利用者は、この入力操作によって、撮像条件の設定や、カメラ１０１による撮像により取得した画像データを処理した結果の確認等を行う。

図２は、画像処理装置１０２のハードウェアの構成の一例を示すブロック図である。画像処理装置１０２は、ＣＰＵ２０１と、ＲＡＭ２０２と、ＲＯＭ２０３と、記憶部２０４と、入力インターフェース２０５と、出力インターフェース２０６と、システムバス２０７とを含んで構成される。入力インターフェース２０５には、外部メモリ２０８が接続されている。出力インターフェース２０６には表示装置１０３が接続されている。
ＣＰＵ２０１は、画像処理装置１０２の各構成要素を統括的に制御するプロセッサーである。ＲＡＭ２０２は、ＣＰＵ２０１の主メモリおよびワークエリアとして機能するメモリである。ＲＯＭ２０３は、画像処理装置１０２内の処理に用いられるプログラム等を格納するメモリである。ＣＰＵ２０１は、ＲＡＭ２０２をワークエリアとして使用し、ＲＯＭ２０３に格納されたプログラムを実行することで、後述する様々な処理を実行する。

記憶部２０４は、画像処理装置１０２での処理に用いる画像データや、当該処理のためのパラメータ（即ち、設定値）等を記憶する記憶デバイスである。記憶部２０４としては、ＨＤＤ、光ディスクドライブ、フラッシュメモリ等を用いることができる。
入力インターフェース２０５は、例えば、ＵＳＢやＩＥＥＥ１３９４等のシリアルバスインターフェースである。画像処理装置１０２は、入力インターフェース２０５を介して、外部メモリ２０８（例えば、ハードディスク、メモリカード、ＣＦカード、ＳＤカード、ＵＳＢメモリ）から処理対象の画像データ等を取得することができる。出力インターフェース２０６は、例えばＤＶＩやＨＤＭＩ（登録商標）等の映像出力端子である。画像処理装置１０２は、出力インターフェース２０６を介して、表示装置１０３（液晶ディスプレイ等の画像表示デバイス）に、画像処理装置１０２で処理した画像データを出力することができる。尚、画像処理装置１０２は、構成要素として前記以外のものも含み得るが、本発明の主眼ではないため、その詳細な説明を省略する。

以下、図３、図４、および図５を参照して、本実施形態の画像処理装置１０２における画像処理の一例を説明する。図３は、本実施形態の画像処理装置１０２の機能的な構成の一例を示すブロック図である。図４は、本実施形態の画像処理方法の一例を説明するフローチャートである。図５は、本実施形態の画像処理の内容の一例を説明する模式図である。
本実施形態では、ＣＰＵ２０１が、ＲＯＭ２０３に格納されたプログラムを実行することにより、図３に記載の各ブロックとして機能し、図４のフローチャートによる処理を実行する。尚、ＣＰＵ２０１が必ずしも画像処理装置１０２の全ての機能を実行しなくてもよく、画像処理装置１０２内に各機能に対応する処理回路を設け、当該処理回路が当該機能を実行してもよい。

図５では、左手を素早く動かしている被写体を撮像した場合を例に挙げて画像処理の内容を示す。被写体の実際の動きを表す画像は、画像５０１Ａ、画像５０１Ｂ、画像５０１Ｃの順で得られる。しかしながら、カメラ１０１の露光時間（Ｔｖ）が長いと、画像５０２のように左手部が動きブレしている画像がカメラ１０１により撮像される。
Ｓ４０１において、動画像データ取得部３０１は、入力インターフェース２０５を介して外部メモリ２０８から複数の動画像データを取得してＲＡＭ２０２に格納する。複数の動画像データはそれぞれ、同一の被写体を互いに異なる視点から各カメラ１０１により撮像することにより得られる画像データ、即ち、同一の被写体を異なる視点から表す動画像データである。図５では、画像５０２が動画像データの例を表す。

次に、Ｓ４０２において、背景画像取得部３０２は、入力インターフェース２０５を介して外部メモリ２０８から、Ｓ４０１で取得された動画像データに対応する複数の背景画像データを取得してＲＡＭ２０２に格納する。図５では、画像５０３が（或る１つのカメラ１０１で撮像された）背景画像データの例を表す。尚、背景画像は、被写体１０５が存在しない状態で、各カメラ１０１により撮像された画像であり、予め外部メモリ２０８に格納されているものとする。背景画像を撮像する際の各カメラ１０１の位置および姿勢は、被写体１０５が存在するときと同じであるのが好ましい。

次に、Ｓ４０３において、第１前景背景分離部３０３は、ＲＡＭ２０２に格納された動画像データと背景画像データとの差分に基づいて、動画像データを前景画像と背景画像に分離しそれぞれＲＡＭ２０２に保存する。第１前景背景分離部３０３は、例えば、動画像データおよび背景画像データと同じサイズの画像データであって、各画素の値が２値の画像データを前景背景画像データとして生成する。そして、第１前景背景分離部３０３は、動画像データと背景画像データとの互いに対応する画素の画素値の差の絶対値が閾値を上回る場合、当該画素に白（１）を割り当て、そうでない場合に当該画素に黒（０）を割り当てることを各画素について行う。この場合、白（１）が割り当てられた領域が前景領域であり、黒（０）が割り当てられた領域が背景領域になる。第１前景背景分離部３０３は、このような前景背景画像データを、動画像データおよび背景画像データと共にＲＡＭ２０２に保存する。図５では、画像５０４が、前景背景画像データの例を表す。

次に、Ｓ４０４において、動体マップ算出部３０４は、ＲＡＭ２０２に格納された動画像データから動画像の動体マップを算出し、算出した動体マップをＲＡＭ２０２に保存する。動体マップとは、各フレームの画像中の被写体の、前または後のフレームの画像に対するｘ，ｙ座標のそれぞれの移動量を、１画素ごとにマップ状に保存したものである。動体マップ算出部３０４は、計算量の削減のため、ＲＡＭ２０２に格納された前記前景領域の部分のみの動きを算出することによって、前記前景領域のみの動体マップを算出してもよい。

次に、Ｓ４０５において、動きブレ量算出部３０５は、動体マップと、露光時間（Tv）［sec］と、周波数［fps（frame/sec）］とに基づいて、動きブレ量を算出してＲＡＭ２０２に保存する。尚、周波数は、フレームレートであり、撮像周期に対応する周波数である。本実施形態では、動きブレ量を、画像における被写体のブレの大きさを画素数で表す。動きブレ量の算出方法は、例えば、動体マップの各画素における移動量を（ｘ，ｙ）［pixel/frame］とすると、動きブレ量算出部３０５は、動きブレ量［pixel］を、以下の式（１）により算出すればよい。

また、動きブレ量算出部３０５は、例えば、カメラ１０１ごとに、画像の各画素に、動きブレ量（数値）がマップ形式で割り当てられたものをＲＡＭ２０２に保存すればよい。以降、このマップ形式で保存される動きブレ量を、必要に応じて動きブレ量マップと称する。図５では、動きブレ量マップ５０５において、速く動いている左手部分に対応する値が大きな動きブレ量であることを示す。

次に、Ｓ４０６において、第２前景背景分離部３０６は、前記前景背景画像データから、非動きブレ前景領域を抽出し、ＲＡＭ２０２に保存する。具体的には、例えば、第２前景背景分離部３０６は、前記前景背景画像データ（画像５０４）のうち、前景領域（白の領域）であり、且つ、対応する動きブレ量マップ５０５の値が一定の閾値以下になる領域（黒の領域）を非動きブレ前景領域とすればよい。図５では、画像５０６が非動きブレ前景領域の例を表す。このように非動きブレ前景領域は、前景領域のうち、動きブレが起こっていない領域である。前景領域のうち、非動きブレ前景領域以外の領域は、動きブレが起こっている領域であり、前景と背景とが混ざっていてこれらを区別できない領域（動きブレ領域）である。

次に、Ｓ４０７において、第１形状推定部３０７は、前景領域の形状を推定する。また、第２形状推定部３０８は、非動きブレ前景領域の形状を推定する。形状の推定には、例えば、カメラ１０１の位置および姿勢を示す情報を含むカメラ位置姿勢パラメータが用いられる。形状の推定の方法としては、例えば、非特許文献１に記載のVisual Hull法を用いる方法が挙げられる。例えば、第１形状推定部３０７は、Visual Hull法を用いて、前景領域のシルエットを実空間上に投影し、そのシルエットが重複する部分を、前景の形状として推定する。第１形状推定部３０７、第２形状推定部３０８は、例えば、カメラ１０１ごとに、画像の各画素に、（形状を表す情報としての）距離がマップ形式で割り当てられたものをＲＡＭ２０２に保存すればよい。ここで、距離とは、出力視点から着目画素に写る被写体までの距離を指す。以下の説明では、このマップ形式で保存されている距離を、必要に応じて距離マップと称する。出力視点は、仮想視点のことを指す。

複数のカメラ１０１により得られた被写体の撮像画像に基づいて距離マップを生成する方法は公知であり、任意の方法を採用することができる。例えば、特許文献１に記載されている視体積公差法またはステレオマッチング法を用いて、被写体の三次元モデルを生成することができる。そして、仮想視点と被写体の三次元モデルとの関係に基づいて、仮想視点画像の各画素について、仮想視点から対応する被写体までの距離を各画素について導出して距離マップに格納する。距離マップの生成方法は被写体の撮像画像に基づく方法に限られず、何らかのトラッカー等を用いて被写体の三次元モデルを生成し、この三次元モデルに基づいて距離マップを生成してもよい。また、事前にレンジセンサなどで仮想視点から対応する被写体までの距離を計測し、距離マップを取得してもよい。

次に、Ｓ４０８において、第１レンダリング部３０９は、前景領域の形状をレンダリングして前景仮想視点画像を生成する。また、第２レンダリング部３１０は、非動きブレ前景領域の形状をレンダリングして非動きブレ仮想視点画像を生成する。レンダリングに際しては、例えば、仮想視点の位置および視線の方向を含む仮想視点パラメータが用いられる。
以下、第１レンダリング部３０９と第２レンダリング部３１０の処理の概略の一例について説明する。
第１レンダリング部３０９と第２レンダリング部３１０が行う処理は、着目方向に存在する被写体の位置を距離マップに基づいて特定し、この被写体の色情報を撮像画像から抽出する処理に相当する。言い換えれば、第１レンダリング部３０９と第２レンダリング部３１０は、仮想視点画像中の着目画素について、着目画素に写る被写体の位置を距離マップに基づいて特定し、着目画素に写る被写体の色情報を撮像画像から抽出する。具体的に第１レンダリング部３０９と第２レンダリング部３１０は、仮想視点から着目方向に存在する被写体までの距離と、仮想視点とカメラ１０１との位置および姿勢の関係とに基づいて、着目方向に存在する被写体に対応する撮像画像上の画素を特定する。そして、第１レンダリング部３０９と第２レンダリング部３１０は、特定した画素の色情報を、仮想視点から着目方向に存在する被写体の色情報として取得する。

この処理は、例えば以下のように行うことができる。以下の説明では、仮想視点画像中の着目画素の座標を（ｕ₀，ｖ₀）とする。着目画素に写る被写体の位置は、以下の式（２）に従って、出力視点におけるカメラ座標系の座標で表すことができる。

式（２）において、（ｘ₀，ｙ₀，ｚ₀）は被写体のカメラ座標系の座標を表す。ｄ₀（ｕ₀，ｖ₀）は、距離マップに示される、出力視点から着目画素に写る被写体までの距離を表す。ｆ₀は出力視点の焦点距離を表し、ｃ_x0およびｃ_y0は、出力視点の主点位置を表す。
次に、着目画素に写る被写体について、出力視点におけるカメラ座標系の座標は、以下の式（３）に従って世界座標系の座標に変換することができる。

式（３）において、（Ｘ₀，Ｙ₀，Ｚ₀）は被写体の世界座標系の座標を表す。Ｒ₀は、出力視点の光軸方向を表す。（Ｘ_output，Ｙ_output，Ｚ_output）は、出力視点の世界座標系の座標を表す。
次に、被写体の世界座標系の座標（Ｘ₀，Ｙ₀，Ｚ₀）に存在する被写体が写っている、入力視点からの撮像画像上の座標は、以下の式（５）に従って算出することができる。入力視点とは、カメラ１０１の視点のことを指す。

式（４）において、Ｒ_iは入力視点ｉの光軸方向を表す（入力視点ｉは、複数の入力視点のうちｉ番目の入力視点である）。（Ｘ_cam,i，Ｙ_cam,i，Ｚ_cam,i）は、入力視点ｉのカメラ１０１の世界座標系の座標を表す。ｆ_iは、入力視点ｉの焦点距離を表し、ｃ_xi及びｃ_yiは入力視点ｉの主点位置を表す。また、ｔは定数を表す。式（４）を（ｕ_i，ｖ_i）について解くことにより、式（５）が得られる。

式（５）に従うと、まず定数ｔを算出することができ、更に得られた定数ｔを用いて（ｕ_i，ｖ_i）を算出することができる。このように、仮想視点画像中の着目画素の座標（ｕ₀，ｖ₀）は、撮像画像中の画素の座標（ｕ_i，ｖ_i）に変換することができる。仮想視点画像中の着目画素の座標（ｕ₀，ｖ₀）と撮像画像中の画素の座標（ｕ_i，ｖ_i）とは、同じ被写体に対応する可能性が高い。したがって、撮像画像中の画素の座標（ｕ_i，ｖ_i）の画素値（色情報）を、仮想視点画像中の着目画素の座標（ｕ₀，ｖ₀）の画素値（色情報）として用いることができる。

しかしながら、視線方向の違いのために、仮想視点画像中の着目画素の座標（ｕ₀，ｖ₀）と撮像画像中の画素の座標（ｕ_i，ｖ_i）とが同じ被写体に対応するとは限らない。また、光源の方向等の影響により、これらが同じ被写体に対応したとしても、撮像画像間で色が異なっている可能性もある。このため、本実施形態では、第１レンダリング部３０９と第２レンダリング部３１０は、複数の撮像画像から、仮想視点画像中の着目画素の座標（ｕ₀，ｖ₀）に対応する撮像画像中の画素の座標（ｕ_i，ｖ_i）（ｉ＝１～Ｎ：Ｎはカメラ１０１の数）を特定する。そして、第１レンダリング部３０９と第２レンダリング部３１０は、特定した画素の画素値を重み付け合成する。ここで、被写体が撮像範囲外にある等の理由で、着目画素に対応する被写体が写っていない撮像画像については、合成の対象から外すことができる。このような重み付け合成により得られた画素値が、仮想視点画像中の着目画素の座標（ｕ₀，ｖ₀）の画素値として用いられる。

このとき、同時に、動きブレ量マップの、仮想視点画像中の着目画素の座標（ｕ₀，ｖ₀）における値も、画素値と同様に、実視点での動きブレ量マップの重み付け合成によって生成することができる。
図５において、画像５０７は、第１レンダリング部３０９によるレンダリングの結果（前景仮想視点画像）の例を表し、画像５０８は、第２レンダリング部３１０のレンダリングの結果（非動きブレ仮想視点画像）の例を表す。画像５０７では、速く動く左手部分が不透明な大きな固まりとしてレンダリングされる。画像５０８では、速く動く左手部分が消えた画像がレンダリングされる。ここで、本来、仮想視点から見えるべき絵は、左手の部分が動きブレして半透明に透けて見える絵である。このように、画像５０７（前景仮想視点画像）の方が、画像５０８（非動きブレ仮想視点画像）よりも、被写体の動きによって画像上の前記被写体の少なくとも一部の領域に生じるブレが大きい。

図４の説明に戻り、Ｓ４０９において、αブレンド部３１１は、前景仮想視点画像と非動きブレ仮想視点画像とを動きブレ量に従ってαブレンドし、動きブレ混合仮想視点画像を生成する。図５では、画像５０９が、動きブレ混合仮想視点画像の例を表す。動きブレ量マップ５０５に従って、画像５０７（前景仮想視点画像）、５０８（非動きブレ仮想視点画像）をαブレンドする。このようにすることで、速く動く左手部分が半透明に透けた画像５０９を生成することができる。

αは、前景仮想視点画像と非動きブレ仮想視点画像との、相互に対応する画素における当該画素の値の合成比率を決定するためのパラメータの一例である。例えば、動きブレ量マップ５０５の値をｘ［pixel］とすると、αは、以下の式（６）のように表される。そして、第１レンダリング部３０９によるレンダリングの結果（前景仮想視点画像）として得られるＲＧＢ値を[R1,G1,B1]とする。また、第２レンダリング部３１０のレンダリングの結果（非動きブレ仮想視点画像）として得られるＲＧＢ値を[R2,G2,B2]とする。そうすると、これらのＲＧＢ値[R1,G1,B1]、[R2,G2,B2]を、αを用いて以下の式（７）のように合成することにより、出力画像のＲＧＢ値を決めればよい。

以上のように本実施形態では、画像処理装置１０２は、被写体の動き情報を撮像画像から取得し、撮像画像の被写体の領域を動きブレ領域と非動きブレ前景領域とに分けてレンダリングしてαブレンドする。したがって、動きブレが起こっている前景領域が自然な半透明になるような仮想視点画像を生成することができる。よって、撮像画像において動きブレが起こった場合でも仮想視点画像を適切に生成することができる。

本実施形態では、動きブレ領域と非動きブレ前景領域の２つに分けてレンダリングする例を示した。しかしながら、動きブレの大きさによって３つ以上の領域に分けて形状の推定とレンダリングとを行ってもよい。
また、計算リソースの削減のために、第２形状推定部３０８と第２レンダリング部３１０において、前景の形状の推定とレンダリングとを実行せずに、背景の形状のみをレンダリングしてもよい。この場合、式（７）の[R2,G2,B2]を背景画像のレンダリングの結果として、前景領域([R1,G1,B2])のブレ量（動きブレ量マップ５０５の値）に応じて透明度だけ変えるようにすることができる。

＜第２の実施形態＞
次に、第２の実施形態を説明する。本実施形態では、短秒露光をするカメラと長秒露光をするカメラとを混合して画像を作る例について示す。ここで、短秒露光と長秒露光とは相対的に露光時間が長い動画像と短い動画像のことを示す。例えば、６０［fps］の動画像において、長秒が１／１００［sec］の露光時間とし、短秒が１／１０００［sec］の露光時間とするような撮り方をしているものとする。これらのカメラの周波数［fps］は同じであり、撮影タイミングは同期しているものとする。また、短秒露光を行うカメラ１０１と長秒露光を行うカメラ１０１として、それぞれ複数のカメラ１０１が予め設定されているものとする。後述するように、短秒露光を行うカメラ１０１による撮像画像に基づいて仮想視点画像を生成すると共に、長秒露光を行うカメラ１０１による撮像画像に基づいて仮想視点画像を生成する。それぞれの仮想視点画像が適切に生成されるように、短秒露光を行うカメラ１０１と長秒露光を行うカメラ１０１とを分散して配置するのが好ましい。例えば、図１において、短秒露光を行うカメラ１０１と長秒露光を行うカメラ１０１とを１台おきに交互に配置することができる。尚、短秒露光を行うカメラ１０１と長秒露光を行うカメラ１０１の数は、同じであっても異なっていてもよい。

前述した第１の実施形態では、１つのカメラの画像の時系列での動体マップを推定して動きブレが起こっている領域を判断する。このようにすると、動体マップの算出に比較的時間がかかる。そこで、本実施形態では、動体マップの算出を行わずに、短秒露光で相対的に動きブレの少ない画像群と、長秒露光で相対的に動きブレの大きい画像群との両方を使うことで動きブレのある場面の仮想視点画像を生成する。このように本実施形態と第１の実施形態とでは、動きブレが起こっている領域の判定のための処理が主として異なる。したがって、本実施形態の説明において、第１の実施形態と同一の部分については、図１～図５に付した符号と同一の符号を付す等して詳細な説明を省略する。

以下、図６、図７、および図８を参照して、本実施形態の画像処理装置１０２における画像処理の一例を説明する。図６は、本実施形態の画像処理装置１０２の機能的な構成の一例を示すブロック図である。図７は、本実施形態の画像処理方法の一例を説明するフローチャートである。図８は、本実施形態の画像処理の内容の一例を説明する模式図である。
本実施形態においても、ＣＰＵ２０１が、ＲＯＭ２０３に格納されたプログラムを実行することにより、図６に記載の各ブロックとして機能し、図７のフローチャートによる処理を実行する。また、ＣＰＵ２０１が必ずしも画像処理装置１０２の全ての機能を実行しなくてもよく、画像処理装置１０２内に各機能に対応する処理回路を設け、当該処理回路が当該機能を実行してもよい。

図８では、左手を素早く動かしている被写体を撮像した場合を例に挙げて画像処理の内容を示す。被写体の実際の動きを表す画像は、画像８０１Ａ、画像８０１Ｂ、画像８０１Ｃの順で得られる。しかしながら、カメラ１０１の露光時間（Ｔｖ）が長いと、画像８０２のように左手部が動きブレしている画像がカメラ１０１により撮像される。一方、カメラ１０１の露光時間（Ｔｖ）が短いと、画像８０３のように左手部が動きブレしていない画像がカメラ１０１により撮像される。

以降、露光時間（Ｔｖ）が相対的に長いカメラ１０１により撮像された画像を、必要に応じて長Ｔｖ画像と称し、露光時間（Ｔｖ）が相対的に短いカメラ１０１により撮像された画像を、必要に応じて短Ｔｖ画像と称する。
Ｓ７０１において、長Ｔｖ画像取得部６０１は、長Ｔｖ画像データを取得する。短Ｔｖ画像取得部６０２は、短Ｔｖ画像データを取得する。例えば、画像８０１Ａ→画像８０１Ｂ→画像８０１Ｃのように人が左手を素早く振った動作をした場合、長Ｔｖ画像は画像８０２のようになり、短Ｔｖ画像は画像８０３のようになる。

次に、Ｓ７０２において、長Ｔｖ背景画像取得部６０３は、長Ｔｖ背景画像データを取得する。短Ｔｖ背景画像取得部６０４は、短Ｔｖ背景画像データを取得する。長Ｔｖ背景画像は、被写体１０５が存在しない状態で、各カメラ１０１により相対的に長い露光時間（Ｔｖ）で撮像された画像であり、予め外部メモリ２０８に格納されているものとする。短Ｔｖ背景画像は、被写体１０５が存在しない状態で、各カメラ１０１により相対的に短い露光時間（Ｔｖ）で撮像された画像であり、予め外部メモリ２０８に格納されているものとする。長Ｔｖ画像を撮像する際の露光時間と長Ｔｖ背景画像を撮像する際の露光時間は同じであるのが好ましい。同様に、短Ｔｖ画像を撮像する際の露光時間と短Ｔｖ背景画像を撮像する際の露光時間は同じであるのが好ましい。また長Ｔｖ背景画像、短Ｔｖ背景画像を撮像する際の各カメラ１０１の位置および姿勢は、被写体１０５が存在するときと同じであるのが好ましい。図８では、例えば、画像８０４のような背景画像が取得される。

次に、Ｓ７０３において、第１前景画像分離部６０５は、長Ｔｖ画像データを長Ｔｖ前景領域と長Ｔｖ背景領域とに分離する。例えば、第１前景画像分離部６０５は、画像（長Ｔｖ画像）８０２と画像（背景画像）８０４の互いに対応する画素において、色およびテクスチャの少なくとも何れか一方の差分の絶対値が閾値を上回るか否かを判定する。第１前景画像分離部６０５は、この絶対値が閾値を上回る領域を前景領域とし、当該領域の画素に白（１）を割り当て、そうでない領域を背景領域とし、当該領域の画素に黒（０）を割り当てることを各画素について行う。この場合、白（１）が割り当てられた領域が前景領域であり、黒（０）が割り当てられた領域が背景領域になる。このようにして前景領域とされたものが、長Ｔｖ前景領域であり、背景領域とされたものが、長Ｔｖ背景領域である。これにより、図８に示す画像８０５のような画像が得られる。

次に、Ｓ７０４において、第２前景画像分離部６０６は、短Ｔｖ画像データを短Ｔｖ前景領域と短Ｔｖ背景領域とに分離する。例えば、第２前景画像分離部６０６は、画像（短Ｔｖ画像）８０３と画像（背景画像）８０４の互いに対応する画素において、色およびテクスチャの少なくとも何れか一方の差分の絶対値が閾値を上回るか否かを判定する。第２前景画像分離部６０６は、この絶対値が閾値を上回る領域を前景領域とし、当該領域の画素に白（１）を割り当て、そうでない領域を背景領域とし、当該領域の画素に黒（０）を割り当てることを各画素について行う。この場合、白（１）が割り当てられた領域が前景領域であり、黒（０）が割り当てられた領域が背景領域になる。このようにして前景領域とされたものが、短Ｔｖ前景領域であり、背景領域とされたものが、短Ｔｖ背景領域である。これにより、図８に示す画像８０６のような画像が得られる。

次に、Ｓ７０５において、第１形状推定部６０７は、多視点の長Ｔｖ前景領域（各カメラ１０１で得られた長Ｔｖ前景領域）の重複領域から、相対的に長い露光時間で撮像した場合の前景領域の形状を推定する。以下の説明では、この形状を、必要に応じて長Ｔｖ形状と称する。
次に、Ｓ７０６において、第２形状推定部６０８は、多視点の短Ｔｖ前景領域（各カメラ１０１で同じタイミングで得られた短Ｔｖ前景領域）の重複領域から、相対的に短い露光時間で撮像した場合の前景領域の形状を推定する。以下の説明では、この形状を、必要に応じて短Ｔｖ形状と称する。

次に、Ｓ７０７において、第１レンダリング部６０９は、長Ｔｖ形状をレンダリングして、仮想視点から相対的に長い露光時間で撮像したと仮定した場合に得られる仮想視点画像を生成する。以下の説明では、この仮想視点画像を必要に応じて、長Ｔｖ仮想視点画像と称する。また、第２レンダリング部６１０は、短Ｔｖ形状をレンダリングして、仮想視点から相対的に短い露光時間で撮像したと仮定した場合に得られる仮想視点画像を生成する。以下の説明では、この仮想視点画像を必要に応じて、短Ｔｖ仮想視点画像と称する。

ここで、仮想視点画像（長Ｔｖ仮想視点画像、短Ｔｖ仮想視点画像）を生成するときに使うテクスチャに、必ずしも、それぞれの前景領域の画像を作るときに使った入力画像（長Ｔｖ画像、短Ｔｖ画像）を使わなくてもよい。例えば、露光時間（Ｔｖ）が異なると色味も変わってしまう場合がある。このため、仮想視点画像（長Ｔｖ仮想視点画像、短Ｔｖ仮想視点画像）を生成するときに使うテクスチャには、長Ｔｖ画像のみを使うようにしてもよい。図８では、例えば、画像８０７が長Ｔｖ仮想視点画像であり、長Ｔｖ仮想視点画像には、画像８０７のように、動いている部分が大きな不透明な固まりとなって表れる。また、画像８０８が短Ｔｖ仮想視点画像であり、短Ｔｖ仮想視点画像には、画像８０８のように、或る止まった瞬間の手の形が表れる。このように、画像８０７（長Ｔｖ仮想視点画像）の方が、画像８０８（短Ｔｖ仮想視点画像）よりも、被写体の動きによって画像上の前記被写体の少なくとも一部の領域に生じるブレが大きい。

次に、Ｓ７０８において、動きブレ量算出部６１１は、長Ｔｖ仮想視点画像と短Ｔｖ仮想視点画像の相互に対応する画素の画素値の差分の絶対値の大きさから動きブレ量を算出する。このとき、長Ｔｖ仮想視点画像と短Ｔｖ仮想視点画像に代えて、長Ｔｖ形状と短Ｔｖ形状を用いてもよい。
次に、Ｓ７０９において、αブレンド部６１２は、動きブレ量に従って、長Ｔｖ仮想視点画像と短Ｔｖ仮想視点画像とをαブレンドして、動きブレ混合仮想視点画像を生成する。例えば、αブレンド部６１２は、式（７）において、長Ｔｖ仮想視点画像のＲＧＢ値を[R1,G1,B1]とし、短Ｔｖ仮想視点画像のＲＧＢ値を[R2,G2,B2]として、長Ｔｖ仮想視点画像と短Ｔｖ仮想視点画像とを式（７）に従って合成できる。このとき、αブレンド部６１２は、例えば、動きブレ量が大きいほど、長Ｔｖ仮想視点画像のαブレンドの値（＝α）が小さくなるようにする（即ち、長Ｔｖ仮想視点画像のブレンド率を低くする）。図８では、例えば、αブレンドした結果は、画像８０９のように手が動いているためにブレている部分は半透明になるような画像となり、実際に仮想視点において、長い露光時間（Ｔｖ）で撮ったような画像となる。

以上のように本実施形態では、画像処理装置１０２は、短秒露光で動きブレの小さい画像群と、長秒露光で動きブレの大きい画像群との両方を使ってそれぞれレンダリングしたものをαブレンドする。したがって、動きマップを算出しなくても動きブレのある場面の仮想視点画像を生成することができる。よって、第１の実施形態で説明した効果に加えて、処理時間を削減することができるという効果が得られる。

＜第３の実施形態＞
次に、第３の実施形態を説明する。本実施形態では、仮想視点とカメラの実視点（実際の視点）との違いによってαブレンドの比率を切り替えたり、処理を簡略化したりする例について示す。第１の実施形態と第２の実施形態において、動きブレで半透明になる部分の仮想視点画像を生成した場合に問題となるのは、仮想視点とカメラの実視点とが遠い場合である。仮想視点とカメラの実視点とが十分に近い場合は、カメラの映像が仮想視点で見た場合と近いため、動きブレしている部分の形状にカメラの実映像をテクスチャとして貼っても自然な絵となる。そこで、本実施形態では、仮想視点とカメラの実視点との近さに応じて、αブレンドを行うか否かの切り替えと、αブレンドを行う際のαブレンドの値（＝α）の制御とを行う例を示す。このように本実施形態と第１、第２の実施形態とは、αブレンドに係る処理が主として異なる。したがって、本実施形態の説明において、第１、第２の実施形態と同一の部分については、図１～図８に付した符号と同一の符号を付す等して詳細な説明を省略する。

以下、図９と図１０を参照して、本実施形態の画像処理装置１０２における画像処理の一例を説明する。図９は、本実施形態の画像処理装置１０２の機能的な構成の一例を示すブロック図である。図１０は、本実施形態の画像処理方法の一例を説明するフローチャートである。
図９に示す画像処理装置１０２は、図３に示す画像処理装置１０２に対して、視点依存処理設定部９１２を更に備える。図９の９０１～９１１は、それぞれ、図３のブロック３０１～３１１と同じである。ただし、本実施形態における動体マップ算出部９０４と第１前景背景分離部９０３は、視点依存処理設定部９１２の結果として出力される処理切り替え設定によって処理を変える。また、仮想視点とカメラ１０１の実視点とが十分に近い場合、動画像データ取得部９０１は、動体マップ算出部９０４に動画像データを送らない。この場合、画像処理装置１０２は、動体マップ算出部９０４以降の処理ブロックによる処理を実行しない。また同様に、第１前景背景分離部９０３は、前景画像データを第２前景背景分離部９０６に送らない。この場合、画像処理装置１０２は、第２前景背景分離部９０６以降の処理ブロックによる処理を実行しない。

また、本実施形態においても、ＣＰＵ２０１が、ＲＯＭ２０３に格納されたプログラムを実行することにより、図９に記載の各ブロックとして機能し、図１０のフローチャートによる処理を実行する。また、ＣＰＵ２０１が必ずしも画像処理装置１０２の全ての機能を実行しなくてもよく、画像処理装置１０２内に各機能に対応する処理回路を設け、当該処理回路が当該機能を実行してもよい。
図１０のＳ１００１～Ｓ１００３は、図４のＳ４０１～Ｓ４０３と同じであるため、その詳細な説明を省略する。

Ｓ１００４において、視点依存処理設定部９１２は、仮想視点とカメラ１０１の実視点とが十分に近いかどうかを判定する。この判定に用いるカメラ１０１の実視点として、仮想視点画像の生成に際し、複数のカメラ１０１の代表となるカメラ１０１の実視点を採用する。例えば、仮想視点画像を生成する際にテクスチャとなる画像を撮像するカメラ１０１の実視点を採用することができる。また、仮想視点に最も近いカメラ１０１の実視点を採用してもよい。この判定の結果、仮想視点とカメラ１０１の実視点とが十分に近い場合、処理はＳ１０１１に進み、そうでない場合、処理はＳ１００５に進む。視点の近さを評価する指標には、例えば、各視点の位置と、各視点の姿勢（視点と被写体とを結ぶ仮想線と基準線（例えば水平面）との角度）とのうち、少なくとも何れか１つが含まれる。ここで、例えば、入力視点から被写体への方向が、出力視点から被写体への方向により近いほど、撮像画像に写る被写体像は仮想視点からの被写体像により近いと考えられる。従って、入力視点から被写体への方向を示す方向ベクトルの方向と、出力視点から被写体への方向を示す方向ベクトルの方向との近さで視点の近さを評価することができる。具体的には、仮想視点から被写体への方向を示す方向ベクトル（大きさは任意）と、出力視点から被写体への方向を示す方向ベクトル（大きさは任意）とのがなす角度が閾値より小さいかどうかで視点の近さを評価すればよい。

このような方向に加えて、カメラ１０１の視野内における、着目方向に位置する被写体の位置を更に考慮して視点の近さを評価してもよい。例えば、被写体の位置がカメラ１０１の視野外に近ければ視点差が大きくなるよう視点の近さを評価すればよい。この場合、例えば、入力視点（カメラ１０１の実視点）から被写体への方向が出力視点（仮想視点）から被写体への方向と近くても、被写体が当該カメラ１０１の視野に含まれない場合、仮想視点と当該カメラ１０１の実視点の近さが近くないと評価できる。このように、視点の近さを評価する指標には、例えば、各視点の視野が含まれる。以下の説明では、仮想視点とカメラ１０１の実視点の近さを、必要に応じて仮想視点差と称する。
前述したようにＳ１００４において、仮想視点差が大きいと判定された場合、処理は、Ｓ１００５に進む。Ｓ１００５～Ｓ１００９の処理は、図４のＳ４０４～Ｓ４０８の処理と同様であるため、これらの処理の詳細な説明を省略する。

そして、処理は、Ｓ１０１０に進む。Ｓ１０１０において、αブレンド部９１１は、前景仮想視点画像と非動きブレ仮想視点画像を、動きブレ量と、仮想視点差とに従ってαブレンドして、動きブレ混合仮想視点画像を生成する。このとき、動きブレ量が大きいほど、前景仮想視点画像のブレンド率（αブレンドを行う際のαブレンドの値（＝α））を小さくする。また、仮想視点差が小さいほど、前景仮想視点画像のブレンド率（αブレンドを行う際のαブレンドの値（＝α））を大きくする。仮想視点差が大きい場合の処理はこれで終了する。

一方、Ｓ１００４で仮想視点差が小さいと判断された場合、処理は、Ｓ１０１１に進む。Ｓ１０１１において、第１形状推定部９０７は、前景領域の形状を推定する。この処理の内容はＳ４０７と同じであるため、その詳細な説明を省略する。
次に、Ｓ１０１２において、第１レンダリング部９０９は、前景領域の形状をレンダリングして仮想視点画像を生成する。この処理の内容はＳ４０８と同じであるため、その詳細な説明を省略する。ここでは、出力される仮想視点画像は、αブレンドしたものでなく、動きブレを含んだ形状をレンダリングしたもののみから作られた画像である。αブレンドしなくても、仮想視点とカメラ１０１の実視点とが十分に近い場合には自然な動きブレの画像がレンダリングすることができる。

以上のように本実施形態では、画像処理装置１０２は、仮想視点とカメラ１０１の実視点とが十分に近いかどうかで、動きブレ量マップおよび非動きブレ仮想視点画像の生成の有無を切り替る。また、画像処理装置１０２は、仮想視点とカメラ１０１の実視点との近さに応じて、非動きブレ仮想視点画像を生成する場合のαブレンドにおけるブレンド比率を制御する。従って、自然な動きブレの画像をレンダリングすると共に処理時間を削減することができる。
本実施形態の手法は、第２の実施形態に対しても適用することができる。このようにする場合、例えば、仮想視点とカメラ１０１の実視点とが十分に近い場合には、短Ｔｖ仮想視点画像の生成のための処理を省略する。

尚、前述した実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

＜その他の実施例＞
本発明は、前述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１：カメラ、１０２：画像処理装置、１０３：表示装置、１０４：入力装置、１０５：被写体

Claims (12)

1. 複数の撮像装置により撮像された被写体の撮像画像に基づいて、仮想視点における前記被写体の画像である仮想視点画像として、第１の仮想視点画像を生成する第１の生成手段と、
   複数の撮像装置により撮像された被写体の撮像画像に基づいて、前記仮想視点における前記被写体の画像である仮想視点画像として、第２の仮想視点画像を生成する第２の生成手段と、
   前記第１の仮想視点画像と、前記第２の仮想視点画像とに基づいて、前記仮想視点における前記被写体の画像である仮想視点画像として、第３の仮想視点画像を生成する第３の生成手段と、を有し、
   前記第１の仮想視点画像の方が前記第２の仮想視点画像よりも、画像において前記被写体の少なくとも一部の領域に生じているブレが大きいことを特徴とする画像処理装置。
2. 前記被写体の撮像画像に基づいて、少なくとも前記被写体の複数の領域ごとに、前記ブレの大きさを導出する導出手段と更に有し、
   前記第３の生成手段は、前記導出手段により導出された前記ブレの大きさに基づいて、前記第１の仮想視点画像と前記第２の仮想視点画像の合成比率を決定し、決定した合成比率で前記第１の仮想視点画像と前記第２の仮想視点画像とを合成して前記第３の仮想視点画像を生成することを特徴とする請求項１に記載の画像処理装置。
3. 前記複数の撮像装置により撮像された被写体の撮像画像を、前記被写体の領域である前景領域の画像と、前記被写体の背景の領域である背景領域の画像とに分離する第１の分離手段と、
   前記第１の分離手段により分離された前記前景領域の画像を、前記ブレが生じている領域の画像と、前記ブレが生じていない領域の画像とに分離する第２の分離手段と、を更に有し、
   前記第１の生成手段は、前記前景領域の画像に基づいて、前記第１の仮想視点画像を生成し、
   前記第２の生成手段は、前記前景領域の画像のうち、前記ブレが生じていない領域の画像に基づいて、前記第２の仮想視点画像を生成することを特徴とする請求項１に記載の画像処理装置。
4. 異なるタイミングで撮像された前記被写体の複数の撮像画像に基づいて、前記被写体の領域の動きの量を、前記撮像画像の複数の領域ごとに導出し、導出した前記被写体の領域の動きの量と、前記撮像画像を撮像した際の露光時間および撮像周期とに基づいて、少なくとも前記被写体の複数の領域ごとに、前記ブレの大きさを導出する導出手段を更に有し、
   前記第３の生成手段は、前記導出手段により導出された前記ブレの大きさに基づいて、前記第１の仮想視点画像と前記第２の仮想視点画像の合成比率を決定し、決定した合成比率で前記第１の仮想視点画像と前記第２の仮想視点画像とを合成して前記第３の仮想視点画像を生成することを特徴とする請求項３に記載の画像処理装置。
5. 複数の撮像装置により撮像された被写体の撮像画像であって、相対的に長い露光時間で撮像された前記被写体の撮像画像を、前記被写体の領域である前景領域の画像と、前記被写体の背景の領域である背景領域の画像とに分離する第１の分離手段と、
   複数の撮像装置により撮像された被写体の撮像画像であって、相対的に短い露光時間で撮像された前記被写体の撮像画像を、前記被写体の領域である前景領域の画像と、前記被写体の背景の領域である背景領域の画像とに分離する第２の分離手段と、を更に有し、
   前記第１の生成手段は、前記第１の分離手段により分離された前記前景領域の画像に基づいて、前記第１の仮想視点画像を生成し、
   前記第２の生成手段は、前記第２の分離手段により分離された前記前景領域の画像に基づいて、前記第２の仮想視点画像を生成することを特徴とする請求項１に記載の画像処理装置。
6. 相対的に長い露光時間で撮像された前記被写体の撮像画像と、相対的に短い露光時間で撮像された前記被写体の撮像画像とに基づいて、少なくとも前記被写体の複数の領域ごとに、前記ブレの大きさを導出する導出手段を更に有し、
   前記第３の生成手段は、前記導出手段により導出された前記ブレの大きさに基づいて、前記第１の仮想視点画像と前記第２の仮想視点画像の合成比率を決定し、決定した合成比率で前記第１の仮想視点画像と前記第２の仮想視点画像とを合成して前記第３の仮想視点画像を生成することを特徴とする請求項５に記載の画像処理装置。
7. 前記第３の生成手段は、前記導出手段により導出された前記ブレの大きさと、前記仮想視点と前記撮像装置における視点との差を評価する指標とに基づいて、前記第１の仮想視点画像と前記第２の仮想視点画像の合成比率を決定することを特徴とする請求項２、４、または６に記載の画像処理装置。
8. 前記仮想視点と前記撮像装置における視点との差を評価する指標に基づいて、前記導出手段による前記ブレの大きさの導出を行うか否かを判定する第１の判定手段を更に有し、
   前記導出手段は、前記第１の判定手段により、前記ブレの大きさの導出を行わないと判定された場合には、前記ブレの大きさを導出せず、前記第１の判定手段により、前記ブレの大きさの導出を行うと判定された場合に、前記ブレの大きさを導出することを特徴とする請求項２、４、６、または７に記載の画像処理装置。
9. 前記仮想視点と前記撮像装置における視点との差を評価する指標に基づいて、前記第２の生成手段による前記第２の仮想視点画像の生成を行うか否かを判定する第２の判定手段を更に有し、
   前記第３の生成手段は、前記第２の判定手段により、前記第２の生成手段による前記第２の仮想視点画像の生成を行わないと判定された場合には、前記第１の仮想視点画像に基づいて、前記第３の仮想視点画像を生成し、前記第２の判定手段により、前記第２の生成手段による前記第２の仮想視点画像の生成を行うと判定された場合には、前記第１の仮想視点画像と前記第２の仮想視点画像とに基づいて、前記第３の仮想視点画像を生成することを特徴とする請求項１～８の何れか１項に記載の画像処理装置。
10. 前記第３の生成手段は、前記ブレが生じている領域が半透明になるように前記第３の仮想視点画像を生成することを特徴とする請求項１～９の何れか１項に記載の画像処理装置。
11. 複数の撮像装置により撮像された被写体の撮像画像に基づいて、仮想視点における前記被写体の画像である仮想視点画像として、第１の仮想視点画像を生成する第１の生成工程と、
    複数の撮像装置により撮像された被写体の撮像画像に基づいて、前記仮想視点における前記被写体の画像である仮想視点画像として、第２の仮想視点画像を生成する第２の生成工程と、
    前記第１の仮想視点画像と、前記第２の仮想視点画像とに基づいて、前記仮想視点における前記被写体の画像である仮想視点画像として、第３の仮想視点画像を生成する第３の生成工程と、を有し、
    前記第１の仮想視点画像の方が前記第２の仮想視点画像よりも、画像において前記被写体の少なくとも一部の領域に生じているブレが大きいことを特徴とする画像処理方法。
12. 請求項１～１０の何れか１項に記載の画像処理装置の各手段としてコンピュータを機能させるためのプログラム。

Images