JP6200316B2 - 画像生成方法、画像生成装置及び画像生成プログラム - Google Patents

Description

本発明は、既存の画像から所望の視点位置の画像を生成する画像生成方法、画像生成装置及び画像生成プログラムに関する。

従来から、視点の変化に応じた画像を２次元ディスプレイ上に表示する技術が知られている（例えば、特許文献１参照）。図１０（特許文献１の図１から引用）は、従来技術による映像表示のイメージを示す概念図である。図１０において、ユーザ１が視点を変えると（３軸移動に対応）、映像中の対話相手２の奥行き位置（対話相手２とその背景の壁３）を、その視点の変化に応じて２次元ディスプレイ４上に表示することで、対話相手２、背景の壁３の見え方があたかも現実のように再現することができる。

これは、ユーザ１が位置Ｐ１にて２次元ディスプレイ４に対峙する場合には、対話相手２を正面から見ているように表示し、ユーザ１が左側の位置Ｐ２から見ている場合には、対話相手２、及びその背景にある壁３との位置関係（奥行き）を反映し、対話相手２を左側から見ているように表示し、ユーザ１が右側の位置 Ｐ３から見ている場合には、対話相手２、及びその背景にある壁３との位置関係（奥行き）を反映し、対話相手２を右側から見ているように表示するものである。

この従来技術を実現するために、ディスプレイ４に対するユーザ１の視点位置・姿勢の検出、ユーザ１の視点位置に応じた対話相手２の映像の生成・表示の２つの技術が重要であり、カメラから撮影された２次元映像から、人物と背景を分離し、多層化して奥行きを持つ３次元映像を生成し、ユーザの視点位置に応じて、ディスプレイ面に投影して表示することを提案している。

しかしながら、特許文献１に記載の映像表示方法にあっては、ユーザと背景の位置関係や大きさを正しく表現はできるものの、背景が立体的な構造を有していた場合、ユーザ１の視点が変化しても背景が変化しないため、背景の状態を正しく表現することができないという問題がある。このような問題は、視線方向に応じた背景画像を生成すれば解決することができる。このような問題を解決する技術として、複数のカメラ画像から所望の位置の視点からの映像を生成する仮想視点画像生成方法が知られている（例えば、特許文献２参照）。

特許第５２３７２３４号公報 特許第４０５２３３１号公報

しかしながら、特許文献２に記載の仮想視点画像生成方法にあっては、複数の画像のマッチングにより奥行位置を推定して画像を計算するため、画像のテクスチャ状態によって奥行が取得できなかったり、奥行の誤差が大きすぎてしまったりという問題を有している。特許文献２に記載の仮想視点画像生成方法においては奥行位置の尤度を考慮して画質の向上を図っているが、高臨場感を与えられるような品質での特定の視点からの画像を作成することは困難であるという問題がある。

本発明は、このような事情に鑑みてなされたもので、高臨場感を与えられる品質で所望の視点位置から見た画像を生成することができる画像生成方法、画像生成装置及び画像生成プログラムを提供することを目的とする。

本発明は、被写体をそれぞれ異なる位置から撮像する複数の撮像手段と、複数の前記撮像手段が撮像した画像を選択して出力する画像選択手段と、前記被写体に対する視点位置を設定する視点位置設定手段とを備えた画像生成装置が行う画像生成方法であって、前記被写体と前記視点位置との位置関係と、前記被写体と前記撮像手段との位置関係とが近い前記撮像手段を複数選択する選択ステップと、選択された前記撮像手段が出力する画像を前記画像選択手段によって複数選択して、伝送路を介して、選択した複数の前記画像を伝送する伝送ステップと、前記伝送路を介して伝送された複数の前記画像に基づいて、前記視点位置設定手段によって設定された前記視点位置から見た前記被写体の画像を生成する画像生成ステップとを有することを特徴とする。

本発明は、前記画像生成ステップでは、選択された複数の前記撮像手段によって撮像された複数の画像の対象画素の輝度値から加重平均によって求めた値を生成すべき画像の対象画素の輝度値とすることを特徴とする。

本発明は、前記画像生成ステップでは、生成すべき画像の画素位置と、前記撮像手段によって撮像した複数の画像の画素位置とのずれに応じて、シフトした位置の画素を前記対象画素として選択し、選択した前記対象画素の輝度値の加重平均を求めることを特徴とする。

本発明は、被写体をそれぞれ異なる位置から撮像する複数の撮像手段と、前記被写体に対する視点位置を設定する視点位置設定手段と、前記被写体と前記視点位置の位置関係と、前記被写体と前記撮像手段の位置関係とが近い前記撮像手段を複数選択する選択手段と、複数の前記撮像手段が撮像した画像を選択して出力する画像選択手段と、選択された前記撮像手段が出力する画像を前記画像選択手段によって複数選択して、伝送路を介して、選択した複数の前記画像を伝送する伝送手段と、前記伝送路を介して伝送された複数の前記画像に基づいて、前記視点位置設定手段によって設定された前記視点位置から見た前記被写体の画像を生成する画像生成手段とを備えたことを特徴とする。

本発明は、コンピュータに、前記画像生成方法を実行させるための画像生成プログラムである。

本発明によれば、所望の視点位置から見た画像を高臨場感が与えられる品質で生成することができるという効果が得られる。また、撮影する場所と表示を行う場所が離れている場合に、撮像手段と画像生成手段との間に伝送路を設け、複数の撮像手段によって撮像された画像のうち、必要な画像のみを伝送路によって伝送するようにしたため、低容量の伝送路を使用しても高画質で通信を行うことが可能になる。

本発明の第１の実施形態の構成を示すブロック図である。 図１に示す画像生成部５が行う画像生成処理の概略を示す説明図である。 図１に示す画像生成部５の処理動作を示すフローチャートである。 ２つの画像の加重平均と輪郭位置の関係を示す図である。 カメラ位置の後方に視点位置がある場合の画像生成処理の概略を示す説明図である。 ２つの画像の加重平均と輪郭位置の関係を示す図である。 図１に示す画像生成部５が行う画像生成処理の概略を示す説明図である。 本発明の第４の実施形態の構成を示すブロック図である。 加重が負の場合の２つの画像の加重平均と輪郭位置の関係を示す図である。 従来技術による映像表示のイメージを示す概念図である。

＜第１の実施形態＞
以下、図面を参照して、本発明の第１の実施形態による画像生成装置を説明する。図１は同実施形態の構成を示すブロック図である。この図において、符号１は、画像生成対象の被写体である。符号２は、生成すべき画像を映す仮想のスクリーンである。符号３−１、３−２は、被写体１を撮像する複数のカメラである。図１においては、カメラを２台のみ図示したが、必要に応じて３台以上のカメラを備えていてもよい。生成する画像の品質を向上させるためには、多数のカメラを備えていることが望ましい。また、複数のカメラは、スクリーン２と平行な面状に配置されていることが望ましい。符号４は、生成した画像を見る者の視点位置を検出して、生成すべき画像の視点位置を設定する視点位置設定部である。符号５は、視点位置設定部４によって設定した視点位置から見た被写体１の画像を生成する画像生成部である。符号６は、画像生成部５において生成された生成画像を表示する表示装置である。

次に、図２を参照して、図１に示す画像生成部５の画像生成の原理について説明する。
図２は図１に示す画像生成部５が行う画像生成処理の概略を示す説明図である。図２は、スクリーン２に垂直な断面を示しており、スクリーン２上のある画素の輝度の計算方法の概略を示している。図２に示す視点位置から見た場合の画像の生成方法を説明する。図２に示す対象画素の輝度は、対象画素から出た光が視点位置に達する光線の近傍にあるカメラ位置から撮像された画像から計算する。図２に示す例では、第１のカメラ位置、第２のカメラ位置の２箇所のカメラによって撮像した画像から設定した視点位置の画像を生成する。対象画素の輝度Ｌは、第１のカメラ位置、第２のカメラ位置から撮像した画像の画素の輝度（画素値）をＬ１、Ｌ２とし、第１のカメラ位置、第２のカメラ位置それぞれから光線までの距離をｄ１、ｄ２とすると、（１）式によって求める。ここで、ｄ１、ｄ２の値は、カメラ位置の座標Ｘ１、Ｘ２と視点位置の座標Ｘ０として、ｄ１＝Ｘ０−Ｘ１、ｄ２＝Ｘ２−Ｘ０として計算することにより算出する。

なお、カラー画像の場合には、各原色ごとに同様の計算をすればよい。また、演算量を減らすため三原色の中で分解能が最も高い緑色のみについて計算し、他の原色については一方のカメラ画像の画素値を使用してもよい。また、ＹＰｂＰｒのように輝度信号と色差信号で映像が提供される場合に輝度信号のみに対してのみ同様の計算を行い色差信号については一方のカメラの情報を用いてもよい。カメラと光線の距離は、カメラ位置から光線におろした垂線の長さであるが、格子状にカメラを配置している場合は、格子を形成する面と光線の交点とカメラ位置の距離を用いるなど近似をしてもよい。また、近傍のカメラ数を２としたが、２より多くてもよい。この場合には近傍のカメラ数をｎとすると、対象画素の輝度Ｌは、（２）式によって求める。

なお、視点位置がカメラ位置と同一の場合、（１）式、（２）式は不安定になるがその場合は視点位置に配置されたカメラの画像の輝度値をそのまま対象画素の輝度Ｌとして用いればよい。

次に、図３を参照して、図１に示す画像生成部５の処理動作を説明する。図３は、図１に示す画像生成部５の処理動作を示すフローチャートである。図３に示す処理動作は、１枚の静止画像を生成する処理動作であるが、図３に示す処理動作を連続して繰り返すことで動画像にも対応することができる。

まず、画像生成部５は、生成すべきスクリーン上の画像中の対象画素を１個選択する（ステップＳ１）。そして、画像生成部５は、選択した対象画素と、視点位置設定部４において設定した視点位置とを結ぶ光線（直線）を計算する（ステップＳ２）。

次に、画像生成部５は、求めた光線の近傍に位置するカメラを選択する（ステップＳ３）。ここで、近傍に位置するカメラの選択は、（１）各カメラ位置について光線からの距離を計算し近い順に所定の個数選ぶ、（２）視点位置とカメラ位置の距離を算出し近い順に所定の個数選ぶ、（３）カメラを格子状にならべ、格子の単位胞がなす多角形の頂点に相当するカメラ位置を選ぶ、などの手法を適用することができる。

次に、画像生成部５は、光線からの距離をパラメータとする所定の重みで、選択されたカメラの画像のスクリーン上の対象画素の輝度を加重平均し、対象画素の輝度値とする（ステップＳ４）。そして、画像生成部５は、未計算の画素が残っているか否かを判定し（ステップＳ５）、残っていればステップＳ１に戻って他の対象画素の計算を繰り返し、残っていなければ処理を終了する。

この処理動作により作成された画像は、複数カメラ位置から撮像された画像となる。カメラ位置の違いによりずれた画像の加重平均となる。ずれの幅が小さい場合には図４のように輪郭位置が加重比によって連続的に変化するため、視点位置にあった適切な輪郭位置の画像が生成されることになる。図４は、２つの画像の加重平均と輪郭位置の関係を示す図である。

ここでは、カメラ位置と視点が同一直線上に並んだ場合を説明したが、異なってもよい。図５はカメラ位置の後方に視点位置がある場合の説明図である。このような場合にも図３に示す処理動作に従って画像生成を行えばよい。図３に示す処理動作に従うと画素によって加重平均する画像が変化する。図５に示す第１の対象画素については第１、第２のカメラ位置の画像、第２の対象画素については第２、第３のカメラ位置の画像、第３の対象画素については第３、第４のカメラ位置の画像になるが、カメラ位置が前後に変化しても同様な処理動作によって画像生成することができる。

本実施形態で使用する各カメラ位置から撮像された画像は、それぞれのカメラ位置で撮像された画像をスクリーン面に対し射影したものとする。このような画像は、一般的なカメラよって所定の位置から画像を撮像し、カメラの光軸がスクリーンの法線からずれに相当する台形補正を施すことで容易に取得することができる。また、カメラの光軸をスクリーン法線と平行として撮像し、スクリーンの表示領域に相当する部分を切り抜いてもよい。また、カメラの光軸をスクリーン法線と平行とし、シフト可能なレンズを使用しスクリーンの表示領域の中心と光軸のずれを補償しながら撮像して取得し、表示領域に相当する部分を切り抜いてもよい。

このように、所望の視点位置から見た画像生成において、複数カメラの画像から特定の視点の画像を生成する際に、画像を劣化させる原因となる奥行情報を使用しないようにしたため、高臨場感を与えられる品質で所望の視点位置から見た画像を生成することができる。

＜第２の実施形態＞
次に、本発明の第２の実施形態による画像生成装置を説明する。第２の実施形態おける装置構成は、図１に示す装置構成と同様であるので、ここでは詳細な説明を省略する。第２の実施形態おける画像生成装置が、第１の実施形態における画像生成装置と異なる点は、カメラ位置による画像のずれ量が大きい場合に適した加重とする点である。図６に示すように画像のずれが大きい場合には、輪郭位置は図４のように加重に比例するのではなく、図６に示したように敏感に変化するように人は知覚する。すなわち、視点位置に最も近いカメラ位置の画像の加重を０．５以上として主に使用し、他の近傍のカメラ位置の画像をそれより小さい加重で平均するものである。これにより、多重像を目立たせずに適切な輪郭位置の画像を生成することができるようになる。

＜第３の実施形態＞
次に、本発明の第３の実施形態による画像生成装置を説明する。第３の実施形態おける装置構成は、図１に示す装置構成と同様であるので、ここでは詳細な説明を省略する。また、画像生成の処理動作も図３に示す処理動作と同様である。第３の実施形態おける画像生成装置は、スクリーン位置と画像の物体（被写体１）位置が異なる場合に適した画像生成方法である。この場合、異なるカメラ位置の画像をそのまま重ねると、スクリーン上での画像のずれがそのまま重ねられてしまい、多重像が見苦しい画像となってしまう。図３に示す処理動作における加重平均処理（ステップＳ４）において、注目する画素に対応する物体（被写体１）上の位置を計算し、第１のカメラ位置、第２のカメラ位置の画像の物体（被写体１）上の位置に対応する画素の輝度を加重平均することで、多重像を抑制する。すなわち、図７に示すように、図３に示す画像生成処理における加重平均処理（ステップＳ４）において、第１のカメラ位置、第２のカメラ位置の画像の画素位置の算出の際に第１のシフト量、第２のシフト量に相当するオフセットを加えて計算する。図７は、画像生成部５が行う画像生成処理の概略を示す説明図である。これにより、多重像を抑制する輝度計算を容易に行うことができる。

なお、演算方法は前述した演算方法に限るものではなく、同等の結果が得られる別の演算方法を用いるようにしてもよい。例えば、第１〜第３の実施形態におけるスクリーン位置を本実施形態の物体（被写体）位置と仮定して計算し、得られた画像を被写***置とスクリーン位置の差に相当する視差だけシフトするようにしてもよい。

次に、前述した第１〜第３の実施形態による画像生成装置によって生成した所望の視点位置における画像を表示装置６に表示した結果について説明する。使用者（画像を見る者）の視点位置の検出し、視点位置設定部４によって視点位置を設定して、画像生成部５によって視点位置に応じた画像を表示装置６に表示した。表示装置６に表示される画像は、視点位置に対応した画像となるので定位感が高く高臨場な表示が可能であった。また、表示装置６に表示される表示画像を被写体１の実サイズとすることで、より高い臨場感を得ることができた。また、使用者の左右眼の位置に合わせた画像を生成し、３Ｄメガネを使用して左右眼それぞれに画像を提示したところあたかもそこに実物があるかのような高臨場感で画像を見ることができた。さらに表示装置として、裸眼式の３Ｄ表示装置を使用し、各視点位置に対応した画像を生成表示したところ、３Ｄメガネのような特殊な器具を装着しなくてもあたかもそこに実物があるかのような高臨場感で画像を見ることができた。

＜第４の実施形態＞
次に、本発明の第４の実施形態による画像生成装置を説明する。図８は、第４実施形態による画像生成装置の構成を示すブロック図である。図８に示す画像生成装置は、撮影を行う場所と表示を行う場所が遠く離れている場合を想定したものである。図８において、図１に示す装置と同一の部分には同一の符号を付し、その説明を省略する。この図に示す装置が図１に示す装置と異なる点は、映像スイッチ７を新たに設け、第１の地点（カメラが設置される地点）と第２の地点（表示装置が設置される地点）との間を伝送路８によって接続した点である。伝送路８は、公衆ネットワークであってもよい。この構成に伴い、画像生成部５１は、複数のカメラ（ここでは、６台のカメラ３−１〜３−６）の映像を選択するための映像選択信号を伝送路８を介して映像スイッチ７に対して出力するようになっている。画像生成部５１は、視点位置設定部４から出力する視点位置情報に基づいて、取得するべき映像を出力するカメラを特定し、そのカメラが出力する映像を選択するように映像選択信号を出力する。

撮影を行う第１の地点には、複数のカメラ３−１〜３−６と映像スイッチ７が備えられ、第２の地点には視点位置設定部４、画像生成部５１、表示装置６が備えられる。第２の地点の画像生成部５１から第１の地点の映像スイッチ７には映像選択信号が伝送路７を介して伝送され、所望のカメラからの映像を選択する。第１の地点から、第２の地点へは６台のカメラ３−１〜３−６が出力するカメラ映像のうち映像スイッチ７によって選択された映像のみが伝送路８を介して伝送される。例えば、視点位置設定部４によって設定された視点位置がカメラ３−３とカメラ３−４の間にある場合にはカメラ３−３とカメラ３−４のカメラ映像を選択し伝送する。映像スイッチは市販の遠隔制御機能がある映像マトリクススイッチを使用することができる。

図８に示す構成は、映像数を最も削減し視点位置の直近の２映像を送る例であるが、両眼の視点位置に対し４系統を送ったり、さらに多くのカメラ映像を送ってもよい。また、視点がカメラの後方にある場合には、広範囲のカメラが必要とされるが、狭いカメラ間隔は不要なので、広範囲のカメラの中から間隔を広げて選択し間引いて伝送してもよい。

この構成により画像生成部５１による画像生成は観察者がいる第２の地点側で行われるため、観察者の位置情報の送信にかかる遅延が発生せず、観察者位置の変化への応答が高速な表示を実現することができる。また、第１の地点側でカメラ映像が選択されるため、すべての映像を送る場合に比べ伝送路８の帯域が狭くても高速に伝送することができる。

また、図８に示す構成では伝送路８の伝送遅延や映像スイッチ７の遅延により、入力画像が切り替わるまでに時間遅延が発生することがあるが、図９に示すようにおおむね外挿される。図９は、加重が負の場合の２つの画像の加重平均と輪郭位置の関係を示す図である。このため、視点がカメラの外にある場合でも同様の処理で臨場感がおおむね高い映像を提供することができる。

以上説明したように、所望の視点位置における画像の生成において、視点位置と画面上の位置を結ぶ直線（光線）の近傍の位置において撮像された画像を所定の比率で加重平均して画像生成するようにした。そして、所定の比率として、直線（光線）と撮像位置の距離に反比例する量を加重として用いるようにした。また、所定の比率として、直線（光線）と撮像位置の距離が最も近い画像に対する加重を重くするようにした。さらに、複数の撮像画像を光線と撮像位置の関係から決まる所定量だけシフトするようにした。

この構成により、所望の視点位置における画像の生成において、奥行情報を使用しないため、高画質の画像を生成することができる。また、加重平均となる対象の画像間のずれがあまり大きくない場合には、人間の知覚特性により正しい位置に物体のエッジを表現することができる。また、加重平均となる対象の画像間のずれが比較的大きい場合には、人間の知覚特性により正しい位置に物体のエッジが表現されかつ、エッジが目障りな二重像になることを抑制することができる。また、スクリーン位置と被写体の奥行方向の処理が異なる場合でも、多重像になることを防ぐことができる。これにより、高臨場な表現の画像を生成して表示することが実現できる。

前述した実施形態における画像生成装置をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。

以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行ってもよい。

既存の画像から所望の視点位置の画像を生成することが不可欠な用途に適用できる。

１・・・被写体、２・・・スクリーン、３−１〜３−６・・・カメラ（撮像手段）、４・・・視点位置設定部、５、５１・・・画像生成部、６・・・表示装置、７・・・映像スイッチ、８・・・伝送路

Claims (5)

1. 被写体をそれぞれ異なる位置から撮像する複数の撮像手段と、複数の前記撮像手段が撮像した画像を選択して出力する画像選択手段と、前記被写体に対する視点位置を設定する視点位置設定手段とを備えた画像生成装置が行う画像生成方法であって、
   前記被写体と前記視点位置との位置関係と、前記被写体と前記撮像手段との位置関係とが近い前記撮像手段を複数選択する選択ステップと、
   選択された前記撮像手段が出力する画像を前記画像選択手段によって複数選択して、伝送路を介して、選択した複数の前記画像を伝送する伝送ステップと、
   前記伝送路を介して伝送された複数の前記画像に基づいて、前記視点位置設定手段によって設定された前記視点位置から見た前記被写体の画像を、負の加重を用いた外挿により生成する画像生成ステップと
   を有することを特徴とする画像生成方法。
2. 前記画像生成ステップでは、選択された複数の前記撮像手段によって撮像された複数の画像の対象画素の輝度値から加重平均によって求めた値を生成すべき画像の対象画素の輝度値とすることを特徴とする請求項１に記載の画像生成方法。
3. 前記画像生成ステップでは、生成すべき画像の画素位置と、前記撮像手段によって撮像した複数の画像の画素位置とのずれに応じて、シフトした位置の画素を前記対象画素として選択し、選択した前記対象画素の輝度値の加重平均を求めることを特徴とする請求項２に記載の画像生成方法。
4. 被写体をそれぞれ異なる位置から撮像する複数の撮像手段と、
   前記被写体に対する視点位置を設定する視点位置設定手段と、
   前記被写体と前記視点位置の位置関係と、前記被写体と前記撮像手段の位置関係とが近い前記撮像手段を複数選択する選択手段と、
   複数の前記撮像手段が撮像した画像を選択して出力する画像選択手段と、
   選択された前記撮像手段が出力する画像を前記画像選択手段によって複数選択して、伝送路を介して、選択した複数の前記画像を伝送する伝送手段と、
   前記伝送路を介して伝送された複数の前記画像に基づいて、前記視点位置設定手段によって設定された前記視点位置から見た前記被写体の画像を、負の加重を用いた外挿により生成する画像生成手段と
   を備えたことを特徴とする画像生成装置。
5. コンピュータに、請求項１から３のいずれか１項に記載の画像生成方法を実行させるための画像生成プログラム。

Images