JP2005100367A - 画像生成装置、画像生成方法、及び画像生成プログラム - Google Patents

Abstract

【課題】視線方向を検出する装置を装着させることなく、撮像装置に撮像された被撮像者から見た視野画像を生成する。
【解決手段】複数の撮像装置によりそれぞれ撮像された複数の２次元画像に基づいて、複数の２次元画像の少なくとも一部に撮像された被撮像者から見た視野画像を生成する画像生成装置であって、複数の２次元画像の少なくとも２枚に基づいて、被撮像者の位置を検出する被撮像者位置検出部と、被撮像者の顔の向きを検出する被撮像者方向検出部と、複数の２次元画像の少なくとも２枚に基づいて、撮像された空間の立体情報を生成する立体情報生成部と、立体情報、被撮像者の位置、及び被撮像者の顔の向きに基づいて、被撮像者の位置から顔の向きの方向を見た場合における視野画像を生成する画像生成部とを備える画像生成装置を提供する。
【選択図】図１

Description

本発明は、画像生成装置、画像生成方法、及び画像生成プログラムに関する。特に本発明は、複数の撮像装置によりそれぞれ撮像された複数の２次元画像に基づいて、複数の２次元画像の少なくとも一部に撮像された被撮像者から見た視野画像又は被撮像者の画像を生成する画像生成装置、画像生成方法、及び画像生成プログラムに関する。

従来、撮像された画像に基づいて、ある視点からある視線方向を見た画像を生成する種々の方法が開示されている。
特許文献１は、カメラを移動させて複数の視点から対象物体を予め撮影した画像に基づいて、観察者の頭部に装着した視線入力眼鏡により検出された視点位置及び視線方向から見た画像を生成する際に、視野周辺部の画質を視野中心部の画質と比較し低くしてデータ量を圧縮する技術を開示する（特許文献１参照。）。

特許文献２は、画像入力手段に入力される画像に基づいて被写体までの距離、及び、画像入力手段の移動方向・移動量を算出し、入力された画像にこれらの情報に基づく画像処理を施して、所定の視線方向から見た画像を生成する技術を開示する（特許文献２参照。）。

特許文献３は、移動量検出部が付加されたカメラを用いて撮像した画像に対応する移動方向、移動量、視線方向、及び再生順序の情報に基づいて、任意の視点、視線方向から見た画像を生成する技術を開示する（特許文献３参照。）。

特許文献４は、３次元空間を移動する移動物体を撮影した画像を、カメラの視野内にある一つの面を媒介として、任意位置の仮想カメラで撮像した画像に変換する技術を開示する（特許文献４参照。）。

特許文献５は、予め番組制作時に３次元情報の対象オブジェクトを通常の画像情報に付加して記録しておき、視聴者の指示に基づき異なる視点から観測可能とする技術を開示する（特許文献５参照。）。

特許文献６は、放送局から送られてくる複数の映像素材情報の中から選択した視聴者の好みに応じた映像素材情報に基づいて、視聴者固有の３次元映像を提供可能とする技術を開示する（特許文献６参照。）。
特開平９−２５１５５０号公報 特開平９−１６７７２号公報 特開平８−８４３５１号公報 特開平７−１６２７４４号公報 特開２００１−２８７６５号公報 特開平１１−４５３５１号公報

スポーツ競技等の番組においてより臨場感を高めるための一手段として、競技に参加している選手から見た映像を生成することが期待される。しかしながら、従来の方法においてこれを実現するためには、選手に視線入力眼鏡等を装着させる必要があり、激しいスポーツにおいて実現することが困難であった。

また、例えばテーマパークや観光地においては、アトラクション等の参加者の写真を撮影するサービスが提供されている。しかしながら、撮像装置は所定の場所に固定されているため、参加者を正面から撮影した写真を得ることが困難であった。

そこで本発明は、上記の課題を解決することのできる画像生成装置、画像生成方法、及び画像生成プログラムを提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。

本発明の第１の形態によると、複数の撮像装置によりそれぞれ撮像された複数の２次元画像に基づいて、前記複数の２次元画像の少なくとも一部に撮像された被撮像者から見た視野画像を生成する画像生成装置であって、前記複数の２次元画像の少なくとも２枚に基づいて、前記被撮像者の位置を検出する位置検出部と、前記複数の２次元画像の少なくとも１枚に基づいて、前記被撮像者の視線方向を検出する視線方向検出部と、前記複数の２次元画像の少なくとも２枚に基づいて、撮像された空間の立体情報を生成する立体情報生成部と、前記立体情報、前記被撮像者の位置、及び前記被撮像者の視線方向に基づいて、前記被撮像者の位置から前記視線方向を見た場合における前記視野画像を生成する視野画像生成部とを備える画像生成装置を提供する。

前記視線方向検出部は、前記複数の２次元画像の少なくとも１枚に撮像された、前記被撮像者の顔及び目の部分画像を抽出する部分画像抽出部と、前記部分画像抽出部により抽出された顔及び目の部分画像に基づいて、前記視線方向を算出する視線方向算出部とを有してもよい。

前記被撮像者の位置及び視線方向に基づいて、前記複数の撮像装置のうち、前記被撮像者の視野を撮像した少なくとも２つの前記撮像装置を選択する撮像装置選択部を更に備え、前記立体情報生成部は、前記撮像装置選択部により選択された少なくとも２つの前記撮像装置がそれぞれ撮像した少なくとも２枚の前記２次元画像に基づいて、前記立体情報を生成してもよい。

前記撮像装置選択部は、前記被撮像者の位置及び視線方向に基づいて、前記複数の撮像装置のうち、撮影方向が前記視線方向と予め定められたしきい値以下の相対角となる少なくとも２つの前記撮像装置を選択してもよい。

前記複数の撮像装置のそれぞれは、予め定められた時間間隔毎に前記２次元画像を撮像することにより動画像を撮像し、前記位置検出部は、各時間間隔において撮像された前記複数の２次元画像の少なくとも２枚に基づいて、当該時間間隔における前記被撮像者の位置を検出し、前記視線方向検出部は、各時間間隔において撮像された前記複数の２次元画像の少なくとも１枚に基づいて、当該時間間隔における前記被撮像者の視線方向を検出し、ある時間間隔において撮像された前記２次元画像に基づいて当該時間間隔における前記被撮像者の位置又は視線方向を検出できない場合に、当該時間間隔の前及び後の少なくとも一方の時間間隔における前記被撮像者の位置又は視線方向に基づいて、当該時間間隔における前記被撮像者の位置又は視線方向を算出する補間部を更に備え、前記立体情報生成部は、各時間間隔において撮像された前記複数の２次元画像の少なくとも２枚に基づいて、当該時間間隔における立体情報を生成し、前記視野画像生成部は、各時間間隔のそれぞれについて、当該時間間隔において撮像された前記立体情報、当該時間間隔における前記被撮像者の位置、及び当該時間間隔における前記被撮像者の視線方向に基づいて、当該時間間隔における前記視野画像を生成してもよい。

本発明の第２の形態によると、複数の撮像装置によりそれぞれ撮像された複数の２次元画像に基づいて、前記複数の２次元画像の少なくとも一部に撮像された被撮像者から見た視野画像をコンピュータにより生成する画像生成方法であって、前記複数の２次元画像の少なくとも２枚に基づいて、前記被撮像者の位置を前記コンピュータにより検出する位置検出段階と、前記複数の２次元画像の少なくとも１枚に基づいて、前記被撮像者の視線方向を前記コンピュータにより検出する視線方向検出段階と、前記複数の２次元画像の少なくとも２枚に基づいて、撮像された空間の立体情報を前記コンピュータにより生成する立体情報生成段階と、前記立体情報、前記被撮像者の位置、及び前記被撮像者の視線方向に基づいて、前記被撮像者の位置から前記視線方向を見た場合における前記視野画像を前記コンピュータにより生成する視野画像生成段階とを備える画像生成方法を提供する。

本発明の第３の形態によると、複数の撮像装置によりそれぞれ撮像された複数の２次元画像に基づいて、前記複数の２次元画像の少なくとも一部に撮像された被撮像者から見た視野画像を生成する画像生成装置としてコンピュータを機能させる画像生成プログラムであって、当該画像生成プログラムは、前記コンピュータを、前記複数の２次元画像の少なくとも２枚に基づいて、前記被撮像者の位置を検出する位置検出部と、前記複数の２次元画像の少なくとも１枚に基づいて、前記被撮像者の視線方向を検出する視線方向検出部と、前記複数の２次元画像の少なくとも２枚に基づいて、撮像された空間の立体情報を生成する立体情報生成部と、前記立体情報、前記被撮像者の位置、及び前記被撮像者の視線方向に基づいて、前記被撮像者の位置から前記視線方向を見た場合における前記視野画像を生成する視野画像生成部として機能させる画像生成プログラムを提供する。

本発明の第４の形態によると、複数の撮像装置によりそれぞれ撮像された複数の２次元画像に基づいて、前記複数の２次元画像の少なくとも一部に撮像された被撮像者から見た視野画像を生成する画像生成装置であって、前記複数の２次元画像の少なくとも２枚に基づいて、前記被撮像者の位置を検出する被撮像者位置検出部と、前記被撮像者の顔の向きを検出する被撮像者方向検出部と、前記複数の２次元画像の少なくとも２枚に基づいて、撮像された空間の立体情報を生成する立体情報生成部と、前記立体情報、前記被撮像者の位置、及び前記被撮像者の顔の向きに基づいて、前記被撮像者の位置から前記顔の向きの方向を見た場合における前記視野画像を生成する画像生成部とを備える画像生成装置を提供する。

前記被撮像者方向検出部は、前記被撮像者の顔の向きとして、前記被撮像者の視線方向を検出し、前記画像生成部は、前記立体情報、前記被撮像者の位置、及び前記被撮像者の前記視線方向に基づいて、前記被撮像者の位置から前記視線方向を見た場合における前記視野画像を生成してもよい。
前記被撮像者方向検出部は、前記複数の２次元画像の少なくとも１枚に基づいて、前記視線方向を検出してもよい。

前記被撮像者方向検出部は、前記複数の２次元画像の少なくとも１枚に撮像された、前記被撮像者の顔及び目の部分画像を抽出する部分画像抽出部と、前記部分画像抽出部により抽出された顔及び目の部分画像に基づいて、前記視線方向を算出する視線方向算出部とを有してもよい。
前記被撮像者の位置及び視線方向に基づいて、前記複数の撮像装置のうち、前記被撮像者の視野を撮像した少なくとも２つの前記撮像装置を選択する撮像装置選択部を更に備え、前記立体情報生成部は、前記撮像装置選択部により選択された少なくとも２つの前記撮像装置がそれぞれ撮像した少なくとも２枚の前記２次元画像に基づいて、前記立体情報を生成してもよい。

前記撮像装置選択部は、前記被撮像者の位置及び視線方向に基づいて、前記複数の撮像装置のうち、撮影方向が前記視線方向と予め定められたしきい値以下の相対角となる少なくとも２つの前記撮像装置を選択してもよい。

前記複数の撮像装置のそれぞれは、予め定められた時間間隔毎に前記２次元画像を撮像することにより動画像を撮像し、前記被撮像者位置検出部は、各時間間隔において撮像された前記複数の２次元画像の少なくとも２枚に基づいて、当該時間間隔における前記被撮像者の位置を検出し、前記被撮像者方向検出部は、各時間間隔において撮像された前記複数の２次元画像の少なくとも１枚に基づいて、当該時間間隔における前記被撮像者の視線方向を検出し、ある時間間隔において撮像された前記２次元画像に基づいて当該時間間隔における前記被撮像者の位置又は視線方向を検出できない場合に、当該時間間隔の前及び後の少なくとも一方の時間間隔における前記被撮像者の位置又は視線方向に基づいて、当該時間間隔における前記被撮像者の位置又は視線方向を算出する補間部を更に備え、前記立体情報生成部は、各時間間隔において撮像された前記複数の２次元画像の少なくとも２枚に基づいて、当該時間間隔における立体情報を生成し、前記画像生成部は、各時間間隔のそれぞれについて、当該時間間隔において撮像された前記立体情報、当該時間間隔における前記被撮像者の位置、及び当該時間間隔における前記被撮像者の視線方向に基づいて、当該時間間隔における前記視野画像を生成してもよい。

前記被撮像者位置検出部は、前記複数の２次元画像の少なくとも２枚に基づいて、複数の前記被撮像者のそれぞれの位置を検出して、前記複数の被撮像者の位置を平均した平均位置を算出し、前記被撮像者方向検出部は、前記複数の被撮像者のそれぞれの顔の向きを検出して、前記複数の被撮像者の顔の向きを平均した平均向きを算出し、前記画像生成部は、前記立体情報、前記複数の被撮像者の平均位置、及び平均向きに基づいて、前記平均位置から前記平均向きの方向を見た場合における前記視野画像を生成してもよい。

複数の前記被撮像者のそれぞれから当該被撮像者の顔の向き方向へ延ばした延長線が予め定められた密度以上となる中心領域を検出する中心領域検出部と、前記複数の被撮像者のうち、当該被撮像者から顔の向き方向へ延ばした前記延長線が前記中心領域と交差する前記被撮像者を、主対象者として選択する主対象者選択部とを更に備え、前記被撮像者位置検出部は、前記複数の２次元画像の少なくとも２枚に基づいて、前記主対象者の位置を平均した平均位置を算出し、前記被撮像者方向検出部は、前記主対象者の顔の向きを平均した平均向きを算出し、前記画像生成部は、前記立体情報、前記平均位置、及び前記平均向きに基づいて、前記平均位置から前記平均向きの方向を見た場合における前記視野画像を生成してもよい。

前記被撮像者位置検出部は、前記複数の２次元画像の少なくとも２枚に基づいて、複数の前記被撮像者のそれぞれの位置を検出して、前記複数の被撮像者の位置を平均した平均位置を算出し、前記複数の被撮像者のうち、前記平均位置の最も近くに位置する前記被撮像者を主対象者として選択する主対象者選択部を更に備え、前記被撮像者方向検出部は、前記主対象者の顔の向きを検出し、前記画像生成部は、前記立体情報、前記主対象者の位置、及び前記主対象者の顔の向きに基づいて、前記主対象者の位置から前記顔の向きの方向を見た場合における前記視野画像を生成してもよい。

複数の前記被撮像者の少なくとも一人を観察する観察者の位置を検出する観察者位置検出部と、前記観察者の顔の向きを検出する観察者方向検出部と、前記観察者の位置及び顔の向きに基づいて、前記観察者が観察している前記被撮像者を特定し、主対象者とする主対象者選択部とを備え、前記被撮像者位置検出部は、前記複数の２次元画像の少なくとも２枚に基づいて、前記主対象者の位置を検出し、前記被撮像者方向検出部は、前記主対象者の顔の向きを検出し、前記画像生成部は、前記立体情報、前記主対象者の位置、及び前記主対象者の顔の向きに基づいて、前記主対象者の位置から前記顔の向きの方向を見た場合における前記視野画像を生成してもよい。

前記観察者位置検出部は、前記複数の２次元画像の少なくとも２枚に基づいて、前記観察者の位置を検出し、前記観察者方向検出部は、前記複数の２次元画像の少なくとも１枚に基づいて、前記観察者の顔の向きを検出してもよい。
前記観察者位置検出部は、複数の前記観察者のそれぞれの位置を検出して、前記複数の被撮像者の位置を平均した平均位置を算出し、前記観察者方向検出部は、前記複数の観察者のそれぞれの顔の向きを検出して、前記複数の観察者の顔の向きを平均した平均向きを算出し、前記主対象者選択部は、前記複数の観察者の前記平均位置及び前記平均向きに基づいて、前記複数の観察者が観察している前記被撮像者を前記主対象者としてもよい。

前記画像生成部は、前記立体情報、前記被撮像者の位置、及び前記被撮像者の顔の向きに基づいて、前記被撮像者の位置から前記顔の向きの方向を見た場合における、予め定められた被写体を含む前記視野画像を生成してもよい。

本発明の第５の形態によると、複数の撮像装置によりそれぞれ撮像された複数の２次元画像に基づいて、前記複数の２次元画像の少なくとも一部に撮像された被撮像者の画像を生成する画像生成装置であって、前記被撮像者の位置を検出する被撮像者位置検出部と、前記被撮像者の顔の向きを検出する被撮像者方向検出部と、前記複数の２次元画像の少なくとも２枚に基づいて、撮像された空間の立体情報を生成する立体情報生成部と、前記被撮像者の位置及び顔の向きに基づいて、前記被撮像者の顔の向きの延長線上に略位置する視点を決定する視点決定部と、前記立体情報及び前記視点の位置に基づいて、前記視点の位置から見た前記被撮像者を含む画像を生成する画像生成部とを備える画像生成装置を提供する。

前記被撮像者位置検出部は、前記複数の２次元画像の少なくとも２枚に基づいて、前記被撮像者の位置を検出し、前記被撮像者方向検出部は、前記被撮像者の顔の向きとして、前記被撮像者の視線方向を検出し、前記視点決定部は、前記被撮像者の位置及び前記視線方向に基づいて、前記被撮像者の前記視線方向の延長線上に略位置する視点を決定してもよい。
前記被撮像者方向検出部は、前記複数の２次元画像の少なくとも１枚に基づいて、前記被撮像者の前記視線方向を検出してもよい。

前記被撮像者位置検出部は、複数の前記被撮像者のそれぞれの位置を検出して、前記複数の被撮像者の位置を平均した平均位置を算出し、前記被撮像者方向検出部は、前記複数の被撮像者のそれぞれの顔の向きを検出して、前記複数の被撮像者の顔の向きを平均した平均向きを算出し、前記視点決定部は、前記複数の被撮像者の前記平均位置及び前記平均向きに基づいて、前記複数の被撮像者の前記平均位置から前記平均向きの延長線上に略位置する視点を決定し、前記画像生成部は、前記立体情報及び前記視点の位置に基づいて、前記視点の位置から見た前記複数の被撮像者を含む画像を生成してもよい。

複数の前記被撮像者のそれぞれから当該被撮像者の顔の向き方向へ延ばした延長線が予め定められた密度以上となる中心領域を検出する中心領域検出部と、前記複数の被撮像者のうち、当該被撮像者から顔の向き方向へ延ばした前記延長線が前記中心領域と交差する前記被撮像者を、主対象者として選択する主対象者選択部とを更に備え、前記被撮像者位置検出部は、前記複数の２次元画像の少なくとも２枚に基づいて、前記主対象者の位置を平均した平均位置を算出し、前記被撮像者方向検出部は、前記主対象者の顔の向きを平均した平均向きを算出し、前記視野画像生成部は、前記立体情報、前記平均位置、及び前記平均向きに基づいて、前記平均位置から前記平均向きの方向を見た前記複数の被撮像者を含む前記画像を生成してもよい。

前記被撮像者位置検出部は、複数の前記被撮像者のそれぞれの位置を検出して、前記複数の被撮像者の位置を平均した平均位置を算出し、前記複数の被撮像者のうち、前記平均位置の最も近くに位置する前記被撮像者を主対象者として選択する主対象者選択部を更に備え、前記被撮像者方向検出部は、前記主対象者の顔の向きを算出し、前記視点決定部は、前記主対象者の位置及び顔の向きに基づいて、前記主対象者の位置から前記顔の向きの延長線上に略位置する視点を決定し、前記画像生成部は、前記立体情報及び前記視点の位置に基づいて、前記視点の位置から見た前記複数の被撮像者を含む画像を生成してもよい。
前記画像生成部は、前記立体情報及び前記視点の位置に基づいて、前記視点の位置から見た前記被撮像者と、予め定められた被写体とを含む画像を生成してもよい。

本発明の第６の形態によると、複数の撮像装置によりそれぞれ撮像された複数の２次元画像に基づいて、前記複数の２次元画像の少なくとも一部に撮像された被撮像者から見た視野画像をコンピュータにより生成する画像生成方法であって、前記複数の２次元画像の少なくとも２枚に基づいて、前記被撮像者の位置を前記コンピュータにより検出する被撮像者位置検出段階と、前記被撮像者の顔の向きを前記コンピュータにより検出する被撮像者方向検出段階と、前記複数の２次元画像の少なくとも２枚に基づいて、撮像された空間の立体情報を前記コンピュータにより生成する立体情報生成段階と、前記立体情報、前記被撮像者の位置、及び前記被撮像者の顔の向きに基づいて、前記被撮像者の位置から前記顔の向きの方向を見た場合における前記視野画像を前記コンピュータにより生成する画像生成段階とを備える画像生成方法を提供する。

本発明の第７の形態によると、複数の撮像装置によりそれぞれ撮像された複数の２次元画像に基づいて、前記複数の２次元画像の少なくとも一部に撮像された被撮像者の画像をコンピュータにより生成する画像生成方法であって、前記被撮像者の位置を前記コンピュータにより検出する被撮像者位置検出段階と、前記被撮像者の顔の向きを前記コンピュータにより検出する被撮像者方向検出段階と、前記複数の２次元画像の少なくとも２枚に基づいて、撮像された空間の立体情報を前記コンピュータにより生成する立体情報生成段階と、前記被撮像者の位置及び顔の向きに基づいて、前記被撮像者の顔の向きの延長線上に略位置する視点を前記コンピュータにより決定する視点決定段階と、前記立体情報及び前記視点の位置に基づいて、前記視点の位置から見た前記被撮像者を含む画像を前記コンピュータにより生成する画像生成段階とを備える画像生成方法を提供する。

本発明の第８の形態によると、複数の撮像装置によりそれぞれ撮像された複数の２次元画像に基づいて、前記複数の２次元画像の少なくとも一部に撮像された被撮像者から見た視野画像を生成する画像生成装置としてコンピュータを機能させる画像生成プログラムであって、当該画像生成プログラムは、前記コンピュータを、前記複数の２次元画像の少なくとも２枚に基づいて、前記被撮像者の位置を検出する被撮像者位置検出部と、前記被撮像者の顔の向きを検出する被撮像者視線方向検出部と、前記複数の２次元画像の少なくとも２枚に基づいて、撮像された空間の立体情報を生成する立体情報生成部と、前記立体情報、前記被撮像者の位置、及び前記被撮像者の顔の向きに基づいて、前記被撮像者の位置から前記顔の向きの方向を見た場合における前記視野画像を生成する画像生成部として機能させる画像生成プログラムを提供する。

本発明の第９の形態によると、複数の撮像装置によりそれぞれ撮像された複数の２次元画像に基づいて、前記複数の２次元画像の少なくとも一部に撮像された被撮像者の画像を生成する画像生成装置としてコンピュータを機能させる画像生成プログラムであって、当該画像生成プログラムは、前記コンピュータを、前記被撮像者の位置を検出する被撮像者位置検出部と、前記被撮像者の顔の向きを検出する被撮像者方向検出部と、前記複数の２次元画像の少なくとも２枚に基づいて、撮像された空間の立体情報を生成する立体情報生成部と、前記被撮像者の位置及び顔の向きに基づいて、前記被撮像者の顔の向きの延長線上に略位置する視点を決定する視点決定部と、前記立体情報及び前記視点の位置に基づいて、前記視点の位置から見た前記被撮像者を含む画像を生成する画像生成部として機能させる画像生成プログラムを提供する。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた、発明となりうる。

本発明によれば、視線方向を検出する装置を装着させることなく、撮像装置に撮像された被撮像者から見た視野画像を生成することができる。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、本実施形態に係る画像生成システム１０の構成を示す。画像生成システム１０は、複数の撮像装置１１０を用いて撮像対象となる被撮像フィールド１００を撮像し、複数の撮像装置１１０によりそれぞれ撮像された複数の２次元画像に基づいて、複数の２次元画像の少なくとも一部に撮像された被撮像者から見た視野画像を生成することを目的とする。これにより画像生成システム１０は、例えばスポーツ競技において、競技に参加している選手から見た映像を生成することができる。

画像生成システム１０は、被撮像フィールド１００と、複数の撮像装置１１０と、画像生成装置１１５とを備える。被撮像フィールド１００は、例えばサッカー等の球技を行う球技場や、相撲又はレスリング等の格闘技を行う土俵又はリング等や、陸上競技を行うトラック等であってよい。以下被撮像フィールド１００は、サッカーのフィールドである場合を例として説明する。

複数の撮像装置１１０は、被撮像フィールド１００の周囲に設けられ、被撮像フィールド１００、被撮像フィールド１００内に位置する選手等の人物、及び、球技の場合においてはボール等を撮像する。

画像生成装置１１５は、複数の撮像装置１１０によりそれぞれ撮像された複数の２次元画像に基づいて、複数の２次元画像の少なくとも一部に撮像された人物である被撮像者から見た視野画像を生成する。例えば画像生成装置１１５は、シュートを放った選手である被撮像者１０５の視野画像を生成することにより、撮像装置１１０から直接得ることができない映像を生成する。

画像生成装置１１５は、位置検出部１２０と、視線方向検出部１２５と、補間部１４０と、撮像装置選択部１４５と、立体情報生成部１５０と、視野画像生成部１５５とを有する。位置検出部１２０は、本発明に係る撮像者位置検出部の一例であり、被撮像者１０５の位置を検出する。本実施形態において位置検出部１２０は、撮像装置１１０により撮像された複数の２次元画像の少なくとも２枚に基づいて、被撮像者１０５の位置を検出する。

視線方向検出部１２５は、本発明に係る被撮像者方向検出部の一例であり、被撮像者１０５の顔の向きを検出する。本実施形態に係る視線方向検出部１２５は、被撮像者１０５の顔の向きとして、被撮像者１０５の視線方向を検出する。ここで視線方向検出部１２５は、複数の２次元画像の少なくとも１枚に基づいて、被撮像者１０５の視線方向を検出してよい。視線方向検出部１２５は、複数の２次元画像の少なくとも１枚に撮像された、被撮像者１０５の顔及び目の部分画像を抽出する部分画像抽出部１３０と、部分画像抽出部１３０により抽出された顔及び目の部分画像に基づいて、視線方向を算出する視線方向算出部１３５とを含む。

補間部１４０は、被撮像者１０５の視野画像を動画像として生成する場合において、例えば被撮像者１０５が他の選手の影になった結果あるタイミングにおける被撮像者１０５の位置又は視線方向を検出できなかった場合に、当該タイミングにおける被撮像者１０５の位置又は視線方向を算出する。

撮像装置選択部１４５は、被撮像者１０５の位置及び視線方向に基づいて、複数の撮像装置１１０のうち、被撮像者１０５の視野を撮像した少なくとも２つの撮像装置１１０を、視野画像の生成に使用する２次元画像を出力する撮像装置１１０として選択する。立体情報生成部１５０は、撮像装置１１０により撮像された複数の２次元画像の少なくとも２枚に基づいて、撮像された空間の立体情報を生成する。より具体的には、立体情報生成部１５０は、撮像装置選択部１４５により選択された少なくとも２つの撮像装置１１０がそれぞれ撮像した少なくとも２枚の２次元画像に基づいて、立体情報を生成する。

視野画像生成部１５５は、本発明に係る画像生成部の一例であり、立体情報、被撮像者１０５の位置、及び被撮像者１０５の顔の向きに基づいて、被撮像者１０５の位置から顔の向きの方向を見た場合における視野画像を生成する。すなわち、本実施形態に係る視野画像生成部１５５は、立体情報、被撮像者１０５の位置、及び被撮像者１０５の視線方向に基づいて、被撮像者１０５の位置から視線方向を見た場合における視野画像を生成する。

以上に示した画像生成システム１０によれば、複数の撮像装置１１０により撮像された複数の２次元画像に基づいて、被撮像者１０５の位置及び視線方向を検出することにより、視線方向を検出する装置を装着させることなく被撮像者１０５から見た視野画像を生成することができる。

図２は、本実施形態に係る部分画像抽出部１３０により部分画像を抽出する方法の一例を示す。部分画像抽出部１３０は、複数の撮像装置１１０によりそれぞれ撮像された複数の２次元画像の中から、被撮像者１０５が撮像された２次元画像２００を選択する。ここで部分画像抽出部１３０は、被撮像者１０５が最も正面から撮像されていると判断した２次元画像や、被撮像者１０５の両目が撮像されていると判断した２次元画像を選択してよい。

次に、部分画像抽出部１３０は、複数の２次元画像のうち選択された少なくとも１枚の２次元画像２００に撮像された、被撮像者１０５の顔及び目の部分の画像を部分画像２１０として抽出する。視線方向算出部１３５は、部分画像２１０に基づいて、被撮像者１０５の顔の向きを検出する。ここで視線方向算出部１３５は、この顔の向きとして、被撮像者１０５の視線方向を検出してよい。より具体的には、視線方向算出部１３５は、例えば部分画像における顔の領域に対する目の領域の位置から顔の向き及び／又は視線方向を算出してよく、これに代えて部分画像における顔の領域に対する目の領域の位置、及び、目の領域の位置に対する黒目部分の位置から顔の向き及び／又は視線方向を算出してもよい。

以上に示した通り、視線方向検出部１２５は、視線方向を検出する装置を被撮像者１０５に装着させることなく、２次元画像２００に基づいて被撮像者１０５の顔の向き又は視線方向を算出することができる。なお、以上に代えて視線方向検出部１２５は、複数の撮像装置１１０によりそれぞれ撮像された複数の２次元画像の少なくとも２枚に基づいて、被撮像者１０５の立体情報を生成し、立体情報に基づいて被撮像者１０５の顔の向き及び／又は目の向きを検出することにより、被撮像者１０５の視線方向を検出してもよい。

図３は、本実施形態に係る画像生成装置１１５により生成される視野画像３００の一例を示す。撮像装置選択部１４５は、複数の撮像装置１１０のうち少なくとも２つの撮像装置１１０を選択することにより、これらの撮像装置１１０により撮像された少なくとも２枚の２次元画像を視野画像３００の生成に使用する２次元画像として立体情報生成部１５０に選択させる。

立体情報生成部１５０は、撮像装置選択部１４５により選択された少なくとも２枚の２次元画像に基づいて、撮像された空間の立体情報を生成する。例えば立体情報生成部１５０は、少なくとも２枚の２次元画像に撮像されたそれぞれの物体の視差を用いて、それぞれの物体の位置及び形状を含む立体情報を生成してよい。視野画像生成部１５５は、位置検出部１２０により検出された被撮像者１０５の位置、視線方向検出部１２５及び／又は補間部１４０により検出・算出された被撮像者１０５の視線方向、及び、立体情報生成部１５０により生成された立体情報に基づいて、被撮像者１０５の視野画像３００を生成する。

以上に示した撮像装置選択部１４５によれば、複数の２次元画像の中から視野画像３００の生成に使用する２次元画像を選択する結果、視野画像３００の生成に用いる２次元画像を制限することができ、立体情報生成部１５０による立体情報の生成及び視野画像生成部１５５による視野画像３００の生成に要する計算量を低減させることができる。

以上において、撮像装置選択部１４５は、被撮像者１０５の位置及び視線方向に基づいて、複数の撮像装置１１０のうち、撮像装置１１０による撮影方向が視線方向と予め定められたしきい値以下の相対角となる少なくとも２つの撮像装置１１０を選択してもよい。これにより撮像装置選択部１４５は、被撮像者１０５の視線方向により近い２次元画像を選択することができ、立体情報生成時に生じる誤差を低減させることができる。

図４は、本実施形態に係る画像生成装置１１５の動作フローを示す。
まず、複数の撮像装置１１０は、複数の２次元画像を撮像する（Ｓ４００）。ここで視野画像の動画像を生成する場合、複数の撮像装置１１０のそれぞれは、例えばフレーム間隔等の予め定められた時間間隔毎に２次元画像を撮像することにより動画像を撮像する。

次に、位置検出部１２０は、撮像装置１１０により撮像された複数の２次元画像の少なくとも２枚に基づいて視差等を計算し、被撮像者１０５の位置を検出する（Ｓ４１０）。ここで視野画像の動画像を生成する場合、位置検出部１２０は、各時間間隔において撮像された複数の２次元画像の少なくとも２枚に基づいて、当該時間間隔における被撮像者１０５の位置を順次検出する。

次に、視線方向検出部１２５内の部分画像抽出部１３０は、複数の２次元画像の少なくとも１枚を選択し、当該２次元画像に撮像された被撮像者１０５の顔及び目の部分画像を抽出する（Ｓ４２０）。そして、視線方向検出部１２５内の視線方向算出部１３５は、部分画像抽出部１３０により抽出された顔及び目の部分画像に基づいて、顔の向きを算出する（Ｓ４３０）。より具体的には、視線方向算出部１３５は、顔の向きとして視線方向を算出する。ここで視野画像の動画像を生成する場合、部分画像抽出部１３０は、各時間間隔において撮像された複数の２次元画像の少なくとも１枚を選択し、視線方向算出部１３５は、選択された２次元画像に基づいて、当該時間間隔における被撮像者１０５の視線方向を検出する。

次に、補間部１４０は、ある時間間隔において撮像された２次元画像に基づいて当該時間間隔における被撮像者１０５の位置又は視線方向を検出できない場合に、当該時間間隔の前及び後の少なくとも一方の時間間隔における被撮像者１０５の位置又は視線方向に基づいて、当該時間間隔における被撮像者１０５の位置又は視線方向を算出する（Ｓ４４０）。例えば、補間部１４０は、当該時間間隔の前後における被撮像者１０５の位置又は視線方向を補間することにより、当該時間間隔における被撮像者１０５の位置又は視線方向を算出してよい。これにより補間部１４０は、被撮像者１０５の位置又は視線方向が一時的に検出できない場合であっても、補間により被撮像者１０５の位置又は視線方向を算出することができ、激しいスポーツ等においても適切に被撮像者１０５の位置又は視線方向を定めることができる。

次に、撮像装置選択部１４５は、被撮像者１０５の位置及び視線方向に基づいて、複数の撮像装置１１０のうち、被撮像者１０５の視野を撮像した少なくとも２つの撮像装置１１０を選択する（Ｓ４５０）。次に、立体情報生成部１５０は、撮像装置選択部１４５により選択された少なくとも２つの撮像装置１１０がそれぞれ撮像した少なくとも２枚の２次元画像に基づいて、撮像された空間の立体情報を生成する（Ｓ４６０）。ここで視野画像の動画像を生成する場合、立体情報生成部１５０は、各時間間隔において撮像された複数の２次元画像の少なくとも２枚に基づいて、当該時間間隔における立体情報を生成する。

次に、視野画像生成部１５５は、立体情報、被撮像者１０５の位置、及び被撮像者１０５の視線方向に基づいて、被撮像者１０５の位置から視線方向を見た場合における視野画像を生成する（Ｓ４７０）。ここで視野画像の動画像を生成する場合、視野画像生成部１５５は、各時間間隔のそれぞれについて、当該時間間隔において撮像された立体情報、当該時間間隔における被撮像者１０５の位置、及び当該時間間隔における被撮像者１０５の視線方向に基づいて、当該時間間隔における視野画像を生成する。

視野画像の生成において、視野画像生成部１５５は、立体情報、被撮像者１０５の位置、及び被撮像者１０５の顔の向きに基づいて、被撮像者１０５の位置から顔の向きの方向を見た場合における、予め定められた被写体を含む視野画像を生成してもよい。より具体的には、視野画像生成部１５５は、位置検出部１２０及び視線方向検出部１２５により決定された視点と当該被写体の位置・大きさとに応じて、視点の位置、視線の方向、及び／又は画角等を調整することにより、生成される画像に当該被写体を含める。これにより視野画像生成部１５５は、予め定められた広告や風景等の被写体を、視野画像に含めることができる。

図５は、本実施形態の第１変形例に係る画像生成装置１１５の構成を示す。第１変形例に係る画像生成装置１１５は、複数の被撮像者の位置及び顔の向きに応じて、視野画像の視線を定めることができる。これにより、画像生成装置１１５は、例えばスポーツ観戦の観客等を被撮像者として撮像し、複数の被撮像者の位置及び顔の向きに応じて定めた視線から見たスポーツの画像を生成することができる。

第１変形例に係る画像生成装置１１５は、位置検出部１２０と、視線方向検出部１２５と、中心領域検出部５００と、主対象者選択部５１０と、撮像装置選択部１４５と、立体情報生成部１５０と、視野画像生成部１５５とを備える。図５に示した位置検出部１２０、視線方向検出部１２５、撮像装置選択部１４５、立体情報生成部１５０、及び視野画像生成部１５５は、図１と略同一の機能及び構成をとるため、以下相違点を除き説明を省略する。

位置検出部１２０は、図１の位置検出部１２０と同様にして、複数の被撮像者のそれぞれの位置を検出する。そして、位置検出部１２０は、複数の被撮像者の位置に応じて、視野画像の視線の基準となる位置を定める。視線方向検出部１２５は、図１の視線方向検出部１２５と同様にして、複数の被撮像者のそれぞれの顔の向きを検出する。そして、視線方向検出部１２５は、複数の被撮像者の顔の向きに応じて、視野画像の視線の方向を定める。

中心領域検出部５００は、複数の被撮像者の視線が集中している領域を検出する。主対象者選択部５１０は、複数の被撮像者のうち、視野画像の視線を決定に寄与する被撮像者を主対象者として選択する。位置検出部１２０及び視線方向検出部１２５は、主対象者選択部５１０により決定された主対象者の位置及び顔の向きに基づいて、視野画像の視線を定める。

図６は、本実施形態の第１変形例に係る、視野画像の視線の生成方法を示す。本変形例に係る画像生成装置１１５は、図６（ａ）から（ｃ）のうち、画像生成装置１１５の使用者により指定された方法を用いて視線を生成する。

図６（ａ）は、複数の被撮像者６００ａの視線を平均して、視野画像の視線６３０ａを生成する方法である。まず、位置検出部１２０は、複数の被撮像者６００ａのそれぞれの位置を検出し、複数の被撮像者６００ａの位置を平均した平均位置６２０ａを算出する。次に、視線方向検出部１２５は、複数の被撮像者６００ａのそれぞれの顔の向きを検出し、複数の被撮像者６００ａの顔の向きを平均した平均向きを算出する。

これらの処理により、位置検出部１２０及び視線方向検出部１２５は、平均位置から平均向きの方向に向かう視線６３０ａを生成することができる。以下、補間部１４０、撮像装置選択部１４５、立体情報生成部１５０、及び視野画像生成部１５５は、単一の被撮像者の位置及び顔の向きに代えて、位置検出部１２０により算出された平均位置及び視線方向検出部１２５により算出された平均向きを用いて処理を行う。この結果、視野画像生成部１５５は、立体情報、複数の被撮像者６００ａの平均位置、及び平均向きに基づいて、平均位置から平均向きの方向を見た場合における視野画像を生成することができる。

図６（ｂ）は、複数の被撮像者６００ｂのうち、多くの被撮像者６００ｂが見ている方向に対応した視線６３０ｂを生成する方法である。まず、位置検出部１２０及び視線方向検出部１２５は、複数の被撮像者６００ａのそれぞれの位置及び顔の向きを検出する。

次に、中心領域検出部５００は、複数の被撮像者６００ｂのそれぞれから当該被撮像者６００ｂの顔の向き方向へ延ばした延長線６１０ｂが、予め定められた密度以上となる中心領域６４０を検出する。すなわち例えば、中心領域検出部５００は、空間を予め定められた複数の領域に分割し、各領域と交差する延長線６１０ｂの数をカウントする。そして、中心領域検出部５００は、このカウント値が最大の領域を、中心領域とする。

次に、主対象者選択部５１０は、複数の被撮像者６００ｂのうち、当該被撮像者６００ｂから顔の向き方向へ延ばした延長線が中心領域と交差する被撮像者６００ｂを、主対象者として選択する。そして、位置検出部１２０及び視線方向検出部１２５は、主対象者の位置を平均した平均位置６２０ｂ、及び、主対象者の顔の向きを平均した平均向きをそれぞれ算出する。

これらの処理により、位置検出部１２０及び視線方向検出部１２５は、主対象者の位置及び顔の向きに応じた視線６３０ｂを生成することができる。以下、補間部１４０、撮像装置選択部１４５、立体情報生成部１５０、及び視野画像生成部１５５は、単一の被撮像者の位置及び顔の向きに代えて、位置検出部１２０により算出された平均位置及び視線方向検出部１２５により算出された平均向きを用いて処理を行う。この結果、視野画像生成部１５５は、立体情報、主対象者の平均位置、及び平均向きに基づいて、平均位置から平均向きの方向を見た場合における視野画像を生成することができる。

図６（ｃ）は、複数の被撮像者６００ｃのうち、代表となる被撮像者６００ｂを選択して視線６３０ｃを生成する方法である。まず、位置検出部１２０は、複数の被撮像者６００ｃのそれぞれの位置を検出して、複数の被撮像者６００ｃの位置を平均した平均位置を算出する。次に、主対象者選択部５１０は、複数の被撮像者６００ｃのうち、平均位置の最も近くに位置する被撮像者６０５ｃを主対象者として選択する。

これらの処理により、位置検出部１２０及び視線方向検出部１２５は、主対象者の位置及び顔の向きに応じた視線６３０ｃを生成することができる。以下、補間部１４０、撮像装置選択部１４５、立体情報生成部１５０、及び視野画像生成部１５５は、単一の被撮像者の位置及び顔の向きに代えて、位置検出部１２０により算出された主対象者の位置、及び、視線方向検出部１２５により検出された主対象者の顔の向きを用いて処理を行う。この結果、視野画像生成部１５５は、立体情報、主対象者の位置、及び主対象者の顔の向きに基づいて、主対象者の位置から顔の向きの方向を見た場合における視野画像を生成することができる。

図７は、本実施形態の第１変形例に係る画像生成装置１１５の動作フローを示す。本図において図４と同一のステップ番号を付した処理段階は、図４と略同一の動作を行うため、以下相違点を除き説明を省略する。

画像生成装置１１５は、図４と同様にして、Ｓ４００、Ｓ４１０、Ｓ４２０、及びＳ４３０の処理を行う。次に、図６（ｂ）又は（ｃ）に示した方法を用いる場合、主対象者選択部５１０は、視線の決定に寄与する主対象者を選択する（Ｓ７００）。ここで、図６（ｂ）に示した方法を用いる場合、中心領域検出部５００は、図６（ｂ）に関連して示したように中心領域６４０を求め、主対象者選択部５１０に供給する。

次に、位置検出部１２０及び視線方向検出部１２５は、視線の基準となる位置及び視線の向きを決定する（Ｓ７１０）。すなわち、図６（ａ）に示した方法を用いる場合、位置検出部１２０及び視線方向検出部１２５は、複数の被撮像者６００ａの位置及び顔の向きを平均して平均位置及び平均向きを算出し、視線の基準となる位置及び視線の向きとする。図６（ｂ）に示した方法を用いる場合、位置検出部１２０及び視線方向検出部１２５は、主対象者の位置及び顔の向きを平均して平均位置及び平均向きを算出し、視線の基準となる位置及び視線の向きとする。また、図６（ｃ）に示した方法を用いる場合、複数の被撮像者６００ａの平均の位置に最も近い被撮像者を主対象者とし、主対象者の位置及び顔の向きを視線の基準となる位置及び視線の向きとする。

以下、画像生成装置１１５は、Ｓ７１０において定めた視線を用いてＳ４４０以降の処理を行う。第１変形例に係る画像生成装置１１５によれば、複数の被撮像者の位置及び顔の向きに応じて、視野画像の視線を定めることができ、被撮像者が注目する場面の画像を適切に生成することができる。

図８は、本実施形態の第２変形例に係る画像生成装置１１５の構成を示す。第２変形例に係る画像生成装置１１５は、複数の被撮像者の少なくとも一人を観察する観察者が注目している被撮像者を選択し、選択した被撮像者から見た視野画像を生成する。これにより画像生成装置１１５は、例えばスポーツ観戦している観客等の観察者の視線から、被撮像者であるいずれかのスポーツ選手を選択し、選択したスポーツ選手から見た視野画像を生成することができる。

第２変形例に係る画像生成装置１１５は、観察者位置検出部８００と、観察者方向検出部８０５と、主対象者選択部８１０と、被撮像者位置検出部８２０と、被撮像者方向検出部８２５と、補間部１４０と、撮像装置選択部１４５と、立体情報生成部１５０と、視野画像生成部１５５とを備える。図８に示した補間部１４０、撮像装置選択部１４５、立体情報生成部１５０、及び視野画像生成部１５５は、図１と略同一の機能及び構成をとるため、以下相違点を除き説明を省略する。

観察者位置検出部８００は、複数の被撮像者１０５の少なくとも一人を観察する観察者の位置を検出する。ここで観察者位置検出部８００は、図１に示した位置検出部１２０と略同一の機能及び構成をとってもよい。観察者方向検出部８０５は、観察者の顔の向きを検出する。ここで観察者方向検出部８０５は、図１に示した視線方向検出部１２５と略同一の機能及び構成をとってもよい。主対象者選択部８１０は、観察者の位置及び顔の向きに基づいて、観察者が観察している被撮像者１０５を特定し、主対象者とする。被撮像者位置検出部８２０は、図１に示した位置検出部１２０と略同一の機能及び構成をとり、主対象者の位置を検出する。被撮像者方向検出部８２５は、図１に示した視線方向検出部１２５と略同一の機能及び構成をとり、主対象者の顔の向きを検出する。

図９は、本実施形態の第２変形例に係る画像生成装置１１５の動作フローを示す。
まず、複数の撮像装置１１０は、複数の２次元画像を撮像する（Ｓ４００）。本変形例において、被撮像者及び観察者は、撮像された２次元画像のうち少なくとも２枚に撮像される。

次に、観察者位置検出部８００は、観察者の位置を検出する（Ｓ９００）。本変形例に係る観察者位置検出部８００は、図１に示した位置検出部１２０と同様にして、複数の２次元画像のうち、観察者が撮像された少なくとも２枚に基づいて、観察者の位置を検出する。次に、観察者方向検出部８０５は、図１に示した視線方向検出部１２５と同様にして、観察者が撮像された少なくとも１枚の２次元画像から観察者の顔及び目の部分画像を抽出し（Ｓ９１０）、部分画像に基づいて顔の向きを算出する（Ｓ９２０）。より具体的には、観察者方向検出部８０５は、観察者の顔の向きとして、視線方向を算出する。

次に、主対象者選択部８１０は、観察者の位置及び顔の向きに基づいて、観察者の視野の略中心に位置する被撮像者１０５を検出することにより観察者が観察している被撮像者１０５を特定し、主対象者とする（Ｓ９３０）。

以下、画像生成装置１１５は、図４と同様にしてＳ４１０からＳ４７０の処理を行う。この結果、視野画像生成部１５５は、立体情報、主対象者の位置、及び主対象者の顔の向きに基づいて、主対象者の位置から顔の向きの方向を見た場合における視野画像を生成することができる。

本変形例に係る画像生成装置１１５によれば、観察者が注目している被撮像者から見た視野画像を生成することができる。これにより画像生成装置１１５は、例えば野球において、観客がバッターに注目している場合に、バッターが見ているピッチャー等の視野画像を生成することができる。

なお、複数の観察者が存在する場合、観察者位置検出部８００及び観察者方向検出部８０５は、図６（ａ）と同様の方法により、複数の観察者の位置及び顔の向きを平均した平均位置及び平均向きを算出し、主対象者選択部８１０は、複数の観察者の平均位置及び平均向きに基づいて、複数の観察者が観察している被撮像者１０５を主対象者としてもよい。これに代えて、第２変形例に係る画像生成装置１１５は、複数の観察者の位置及び顔の向きに基づいて、図６（ｂ）又は図６（ｃ）と同様の方法により観察者を代表する視線を生成し、この視線に基づいて主対象者を決定してもよい。これを実現するため、画像生成装置１１５は、図５の中心領域検出部５００と略同一の機能及び構成を有し、観察者の視線の中心領域を算出する観察者用中心領域検出部と、図５の主対象者選択部５１０と略同一の機能及び構成を有し、観察者の中から代表者（観察者の主対象者）を選択する観察者用主対象者選択部とを更に備えてもよい。

図１０は、本実施形態の第３変形例に係る画像生成システム１０の構成を示す。第３変形例に係る画像生成システム１０は、複数の撮像装置１１０を用いて被撮像者１０５を撮像し、複数の撮像装置１１０によりそれぞれ撮像された複数の２次元画像に基づいて、複数の２次元画像の少なくとも一部に撮像された被撮像者１０５の画像、特に被撮像者１０５を正面から見た画像を生成することを目的とする。本変形例に係る画像生成システム１０により、例えば遊園地等においてアトラクションの乗り物に乗っている被撮像者を正面から見た画像を生成することができる。図１０において、図１及び図５と同一の符号を付した部材は、図１及び図５と略同一の機能及び構成を有するため、以下相違点を除き説明を省略する。

本変形例に係る画像生成システム１０は、複数の撮像装置１１０と、画像生成装置１１５とを備える。画像生成装置１１５は、位置検出部１２０と、視線方向検出部１２５と、中心領域検出部５００と、主対象者選択部５１０と、視点決定部９５０と、補間部１４０と、撮像装置選択部１４５と、立体情報生成部１５０と、画像生成部９６０とを有する。

視点決定部９５０は、位置検出部１２０及び視線方向検出部１２５により検出された被撮像者１０５の位置及び顔の向きに基づいて、被撮像者１０５の顔の向きの延長線上に略位置する視点を決定する。すなわち例えば、視点決定部９５０は、被撮像者１０５の顔の向きの延長線に対し、被撮像者１０５から見た角度が所定の誤差の範囲内となるような視点を定める。更に、視点決定部９５０は、視点を始点とする視線の向きを、被撮像者１０５の顔の向きと反対方向に設定する。

画像生成部９６０は、図１に示した視野画像生成部１５５と略同一の機能及び構成を有し、立体情報及び視点の位置に基づいて、視点の位置から見た被撮像者１０５を含む画像を生成する。

図１１は、本実施形態の第３変形例に係る画像生成装置１１５により生成される画像１０１０の一例を示す。視点決定部９５０は、位置検出部１２０及び視線方向検出部１２５により検出された被撮像者１０５の位置及び顔の向きに基づいて、被撮像者１０５の略正面に位置する視点を決定する。また、視点決定部９５０は、視点から被撮像者１０５へ向かう視線を設定する。この結果、画像生成部９６０は、立体情報生成部１５０により生成された立体情報及び視点の位置に基づいて、視点の位置から見た被撮像者１０５を含む画像１０１０を生成することができる。

ここで、画像生成部９６０は、立体情報及び視点の位置に基づいて、視点の位置から見た被撮像者１０５と、予め定められた被写体１００５とを含む画像１０１０を生成してもよい。より具体的には、画像生成部９６０は、視点決定部９５０により決定された視点の位置や視線の方向と被写体１００５とに応じて、視点の位置、視線の方向、及び／又は画角等を調整することにより、生成される画像１０１０に被写体１００５を含める。これにより画像生成部９６０は、例えば名物となる風景や、予め指定された広告等の被写体１００５をバックとする被撮像者１０５の画像１０１０を生成することができる。

図１２は、本実施形態の第３変形例に係る画像生成装置１１５の動作フローを示す。
画像生成装置１１５は、図７と同様にして、Ｓ４００、Ｓ４１０、Ｓ４２０、Ｓ４３０、Ｓ７００、及びＳ７１０の処理を行い、被撮像者１０５の位置及び顔の向きを決定する。次に、視点決定部９５０は、被撮像者１０５の位置及び顔の向きに基づいて、被撮像者１０５の顔の向きの延長線上に略位置する視点を決定する（Ｓ１０１０）。そして、画像生成装置１１５は、この視点から被撮像者１０５の方向へ向かう視線について、図７と同様にしてＳ４４０、Ｓ４５０、Ｓ４６０、及びＳ４７０の処理を行い、視点から見た被撮像者１０５を含む画像１０１０を生成する。

以上の処理において、被撮像者１０５が複数存在する場合、画像生成装置１１５は、図６（ａ）から（ｃ）に示した方法により、複数の被撮像者１０５（図６における被撮像者６００）のそれぞれの位置及び顔の向きに応じた被撮像者１０５の視線を決定し、この視線に応じて画像１０１０の視点を決定する。

より具体的には、図６（ａ）の方法を用いる場合、位置検出部１２０は、複数の被撮像者６００ａのそれぞれの位置を検出して、複数の被撮像者６００ａの位置を平均した平均位置を算出する（Ｓ４１０）。また視線方向検出部１２５は、複数の被撮像者６００ａのそれぞれの顔の向きを検出して、複数の被撮像者６００ａの顔の向きを平均した平均向きを算出する（Ｓ４３０）。これを受けて視点決定部９５０は、複数の被撮像者６００ａの平均位置及び平均向きに基づいて、複数の被撮像者６００ａの平均位置から平均向きの延長線上に略位置する視点を決定する（Ｓ１０１０）。この結果、視野画像生成部１５５は、平均位置から平均向きの方向を見た、複数の被撮像者６００ａを含む画像を生成する（Ｓ４７０）。

また、図６（ｂ）の方法を用いる場合、中心領域検出部５００は、複数の被撮像者６００ｂのそれぞれから当該被撮像者６００ｂの顔の向き方向へ延ばした延長線が、予め定められた密度以上となる中心領域を検出する。次に、主対象者選択部５１０は、複数の被撮像者６００ｂのうち、当該被撮像者６００ｂから顔の向き方向へ延ばした延長線が中心領域と交差する被撮像者６００ｂを、主対象者として選択する（Ｓ７００）。次に、位置検出部１２０及び視線方向検出部１２５は、主対象者の位置を平均した平均位置及び主対象者の顔の向きを平均した平均向きをそれぞれ算出する（Ｓ７１０）。この結果、視野画像生成部１５５は、立体情報、平均位置、及び平均向きに基づいて、平均位置から平均向きの方向を見た複数の被撮像者６００ｂを含む画像を生成する（Ｓ４７０）。

また、図６（ｃ）の方法を用いる場合、位置検出部１２０は、複数の被撮像者６００ｃのそれぞれの位置を検出して、複数の被撮像者６００ｃの位置を平均した平均位置を算出する（Ｓ４１０）。次に、主対象者選択部５１０は、複数の被撮像者６００ｃのうち、平均位置の最も近くに位置する被撮像者６０５ｃを主対象者として選択する。そして、位置検出部１２０及び視線方向検出部１２５は、選択された主対象者の位置及び顔の向きを視点決定部９５０へ供給する（Ｓ７１０）。次に、視点決定部９５０は、主対象者の位置及び顔の向きに基づいて、主対象者の位置から顔の向きの延長線上に略位置する視点を決定する（Ｓ１０１０）。この結果、画像生成部９６０は、立体情報及び視点の位置に基づいて、視点の位置から見た複数の被撮像者６００ｃを含む画像を生成する（Ｓ４７０）。

以上に示したように、第３変形例に係る画像生成システム１０によれば、複数の撮像装置１１０を用いて撮像した被撮像者１０５の２次元画像から被撮像者１０５の位置及び顔の向きを検出し、被撮像者１０５を正面から見た画像を生成することができる。

図１３は、本実施形態に係るコンピュータ１２００のハードウェア構成の一例を示す。本実施形態に係るコンピュータ１２００は、ＣＰＵ１１００、ＲＯＭ１１１０、ＲＡＭ１１２０、通信インターフェイス１１３０、ハードディスク・ドライブ１１４０、フレキシブルディスク・ドライブ１１５０、及びＣＤ−ＲＯＭドライブ１１６０を備える。

ＣＰＵ１１００は、ＲＯＭ１１１０及びＲＡＭ１１２０に格納されたプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ１１１０は、コンピュータ１２００の起動時にＣＰＵ１１００が実行するブートプログラムや、コンピュータ１２００のハードウェアに依存するプログラム等を格納する。ＲＡＭ１１２０は、ＣＰＵ１１００が実行するプログラム及びＣＰＵ１１００が使用するデータ等を格納する。通信インターフェイス１１３０は、通信ネットワークを介して他の装置と通信する。また撮像装置１１０は、通信ネットワークを介して通信インターフェイス１１３０に接続される。ハードディスク・ドライブ１１４０は、コンピュータ１２００が使用するプログラム及びデータを格納し、ＲＡＭ１１２０を介してＣＰＵ１１００に供給する。フレキシブルディスク・ドライブ１１５０は、フレキシブルディスク１１９０からプログラム又はデータを読み取り、ＲＡＭ１１２０に提供する。ＣＤ−ＲＯＭドライブ１１６０は、ＣＤ−ＲＯＭ１１９５からプログラム又はデータを読み取り、ＲＡＭ１１２０に提供する。

ＲＡＭ１１２０を介してＣＰＵ１１００に提供されるプログラムは、フレキシブルディスク１１９０、ＣＤ−ＲＯＭ１１９５、又はＩＣカード等の記録媒体に格納されて利用者によって提供される。プログラムは、記録媒体から読み出され、ＲＡＭ１１２０を介してコンピュータ１２００にインストールされ、コンピュータ１２００において実行される。

コンピュータ１２００にインストールされて実行され、コンピュータ１２００を画像生成装置１１５として機能させるプログラムは、位置検出モジュールと、部分画像抽出モジュール及び視線方向算出モジュールを有する視線方向検出モジュールと、補間モジュールと、撮像装置選択モジュールと、立体情報生成モジュールと、視野画像生成モジュールとを備える。これらのプログラム又はモジュールは、コンピュータ１２００を、位置検出部１２０と、部分画像抽出部１３０及び視線方向算出部１３５を有する視線方向検出部１２５と、補間部１４０と、撮像装置選択部１４５と、立体情報生成部１５０と、視野画像生成部１５５としてそれぞれ機能させる。

また、当該プログラムは、中心領域検出モジュールと、主対象者選択モジュールとを備えてもよい。これらのプログラム又はモジュールは、コンピュータ１２００を、中心領域検出部５００と、主対象者選択部５１０としてそれぞれ機能させる。

また、当該プログラムは、観察者位置検出モジュールと、観察者方向検出モジュールと、主対象者選択モジュールと、被撮像者位置検出モジュールと、被撮像者方向検出モジュールとを備えてもよい。これらのプログラム又はモジュールは、コンピュータ１２００を、観察者位置検出部８００と、観察者方向検出部８０５と、主対象者選択部８１０と、被撮像者位置検出部８２０と、被撮像者方向検出部８２５としてそれぞれ機能させる。

また、当該プログラムは、視点決定モジュールと、画像生成モジュールとを備えてもよい。これらのプログラム又はモジュールは、コンピュータ１２００を、視点決定部９５０と、画像生成部９６０としてそれぞれ機能させる。

以上に示したプログラム又はモジュールは、外部の記録媒体に格納されてもよい。記録媒体としては、フレキシブルディスク１１９０、ＣＤ−ＲＯＭ１１９５の他に、ＤＶＤやＰＤ等の光学記録媒体、ＭＤ等の光磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、専用通信ネットワークやインターネットに接続されたサーバシステムに設けたハードディスク又はＲＡＭ等の記憶装置を記録媒体として使用し、通信ネットワークを介して外部のネットワークからプログラムをコンピュータ１２００に提供してもよい。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

例えば、位置検出部１２０及び視線方向検出部１２５は、例えば被撮像者１０５がシュートを放つ等の特定の動作をした場合に、その後予め定められた期間被撮像者１０５の位置及び視線方向を同一の値に保つことにより、より見やすい視野画像を提供してもよい。

本発明の実施形態に係る画像生成システム１０の構成を示す。 本発明の実施形態に係る部分画像抽出部１３０により部分画像を抽出する方法の一例を示す。 本発明の実施形態に係る画像生成装置１１５により生成される視野画像３００の一例を示す。 本発明の実施形態に係る画像生成装置１１５の動作フローを示す。 本発明の実施形態の第１変形例に係る画像生成装置１１５の構成を示す。 本発明の実施形態の第１変形例に係る視線の生成方法を示す。 本発明の実施形態の第１変形例に係る画像生成装置１１５の動作フローを示す。 本発明の実施形態の第２変形例に係る画像生成装置１１５の構成を示す。 本発明の実施形態の第２変形例に係る画像生成装置１１５の動作フローを示す。 本発明の実施形態の第３変形例に係る画像生成システム１０の構成を示す。 本発明の実施形態の第３変形例に係る画像生成装置１１５により生成される画像１０１０の一例を示す。 本発明の実施形態の第３変形例に係る画像生成装置１１５の動作フローを示す。 本発明の実施形態に係るコンピュータ１２００のハードウェア構成の一例を示す。

符号の説明

１０ 画像生成システム
１００ 被撮像フィールド
１０５ 被撮像者
１１０ 撮像装置
１１５ 画像生成装置
１２０ 位置検出部
１２５ 視線方向検出部
１３０ 部分画像抽出部
１３５ 視線方向算出部
１４０ 補間部
１４５ 撮像装置選択部
１５０ 立体情報生成部
１５５ 視野画像生成部
２００ ２次元画像
２１０ 部分画像
３００ 視野画像
５００ 中心領域検出部
５１０ 主対象者選択部
６００ａ〜ｃ 被撮像者
６１０ａ〜ｃ 延長線
６２０ａ〜ｃ 平均位置
６３０ａ〜ｃ 視線
６４０ 中心領域
８００ 観察者位置検出部
８０５ 観察者方向検出部
８１０ 主対象者選択部
８２０ 被撮像者位置検出部
８２５ 被撮像者方向検出部
９５０ 視点決定部
９６０ 画像生成部
１００５ 被写体
１０１０ 画像
１１００ ＣＰＵ
１１１０ ＲＯＭ
１１２０ ＲＡＭ
１１３０ 通信インターフェイス
１１４０ ハードディスク・ドライブ
１１５０ フレキシブルディスク・ドライブ
１１６０ ＣＤ−ＲＯＭドライブ
１１９０ フレキシブルディスク
１１９５ ＣＤ−ＲＯＭ
１２００ コンピュータ

Claims (25)

1. 複数の撮像装置によりそれぞれ撮像された複数の２次元画像に基づいて、前記複数の２次元画像の少なくとも一部に撮像された被撮像者から見た視野画像を生成する画像生成装置であって、
   前記複数の２次元画像の少なくとも２枚に基づいて、前記被撮像者の位置を検出する被撮像者位置検出部と、
   前記被撮像者の顔の向きを検出する被撮像者方向検出部と、
   前記複数の２次元画像の少なくとも２枚に基づいて、撮像された空間の立体情報を生成する立体情報生成部と、
   前記立体情報、前記被撮像者の位置、及び前記被撮像者の顔の向きに基づいて、前記被撮像者の位置から前記顔の向きの方向を見た場合における前記視野画像を生成する画像生成部と
   を備える画像生成装置。
2. 前記被撮像者方向検出部は、前記被撮像者の顔の向きとして、前記被撮像者の視線方向を検出し、
   前記画像生成部は、前記立体情報、前記被撮像者の位置、及び前記被撮像者の前記視線方向に基づいて、前記被撮像者の位置から前記視線方向を見た場合における前記視野画像を生成する
   請求項１記載の画像生成装置。
3. 前記被撮像者方向検出部は、前記複数の２次元画像の少なくとも１枚に基づいて、前記視線方向を検出する請求項２記載の画像生成装置。
4. 前記被撮像者方向検出部は、
   前記複数の２次元画像の少なくとも１枚に撮像された、前記被撮像者の顔及び目の部分画像を抽出する部分画像抽出部と、
   前記部分画像抽出部により抽出された顔及び目の部分画像に基づいて、前記視線方向を算出する視線方向算出部と
   を有する請求項２記載の画像生成装置。
5. 前記被撮像者の位置及び視線方向に基づいて、前記複数の撮像装置のうち、前記被撮像者の視野を撮像した少なくとも２つの前記撮像装置を選択する撮像装置選択部を更に備え、
   前記立体情報生成部は、前記撮像装置選択部により選択された少なくとも２つの前記撮像装置がそれぞれ撮像した少なくとも２枚の前記２次元画像に基づいて、前記立体情報を生成する
   請求項２記載の画像生成装置。
6. 前記撮像装置選択部は、前記被撮像者の位置及び視線方向に基づいて、前記複数の撮像装置のうち、撮影方向が前記視線方向と予め定められたしきい値以下の相対角となる少なくとも２つの前記撮像装置を選択する請求項５記載の画像生成装置。
7. 前記複数の撮像装置のそれぞれは、予め定められた時間間隔毎に前記２次元画像を撮像することにより動画像を撮像し、
   前記被撮像者位置検出部は、各時間間隔において撮像された前記複数の２次元画像の少なくとも２枚に基づいて、当該時間間隔における前記被撮像者の位置を検出し、
   前記被撮像者方向検出部は、各時間間隔において撮像された前記複数の２次元画像の少なくとも１枚に基づいて、当該時間間隔における前記被撮像者の視線方向を検出し、
   ある時間間隔において撮像された前記２次元画像に基づいて当該時間間隔における前記被撮像者の位置又は視線方向を検出できない場合に、当該時間間隔の前及び後の少なくとも一方の時間間隔における前記被撮像者の位置又は視線方向に基づいて、当該時間間隔における前記被撮像者の位置又は視線方向を算出する補間部を更に備え、
   前記立体情報生成部は、各時間間隔において撮像された前記複数の２次元画像の少なくとも２枚に基づいて、当該時間間隔における立体情報を生成し、
   前記画像生成部は、各時間間隔のそれぞれについて、当該時間間隔において撮像された前記立体情報、当該時間間隔における前記被撮像者の位置、及び当該時間間隔における前記被撮像者の視線方向に基づいて、当該時間間隔における前記視野画像を生成する
   請求項２記載の画像生成装置。
8. 前記被撮像者位置検出部は、前記複数の２次元画像の少なくとも２枚に基づいて、複数の前記被撮像者のそれぞれの位置を検出して、前記複数の被撮像者の位置を平均した平均位置を算出し、
   前記被撮像者方向検出部は、前記複数の被撮像者のそれぞれの顔の向きを検出して、前記複数の被撮像者の顔の向きを平均した平均向きを算出し、
   前記画像生成部は、前記立体情報、前記複数の被撮像者の平均位置、及び平均向きに基づいて、前記平均位置から前記平均向きの方向を見た場合における前記視野画像を生成する
   請求項１記載の画像生成装置。
9. 複数の前記被撮像者のそれぞれから当該被撮像者の顔の向き方向へ延ばした延長線が予め定められた密度以上となる中心領域を検出する中心領域検出部と、
   前記複数の被撮像者のうち、当該被撮像者から顔の向き方向へ延ばした前記延長線が前記中心領域と交差する前記被撮像者を、主対象者として選択する主対象者選択部と
   を更に備え、
   前記被撮像者位置検出部は、前記複数の２次元画像の少なくとも２枚に基づいて、前記主対象者の位置を平均した平均位置を算出し、
   前記被撮像者方向検出部は、前記主対象者の顔の向きを平均した平均向きを算出し、
   前記画像生成部は、前記立体情報、前記平均位置、及び前記平均向きに基づいて、前記平均位置から前記平均向きの方向を見た場合における前記視野画像を生成する
   請求項１記載の画像生成装置。
10. 前記被撮像者位置検出部は、前記複数の２次元画像の少なくとも２枚に基づいて、複数の前記被撮像者のそれぞれの位置を検出して、前記複数の被撮像者の位置を平均した平均位置を算出し、
    前記複数の被撮像者のうち、前記平均位置の最も近くに位置する前記被撮像者を主対象者として選択する主対象者選択部を更に備え、
    前記被撮像者方向検出部は、前記主対象者の顔の向きを検出し、
    前記画像生成部は、前記立体情報、前記主対象者の位置、及び前記主対象者の顔の向きに基づいて、前記主対象者の位置から前記顔の向きの方向を見た場合における前記視野画像を生成する
    請求項１記載の画像生成装置。
11. 複数の前記被撮像者の少なくとも一人を観察する観察者の位置を検出する観察者位置検出部と、
    前記観察者の顔の向きを検出する観察者方向検出部と、
    前記観察者の位置及び顔の向きに基づいて、前記観察者が観察している前記被撮像者を特定し、主対象者とする主対象者選択部と
    を備え、
    前記被撮像者位置検出部は、前記複数の２次元画像の少なくとも２枚に基づいて、前記主対象者の位置を検出し、
    前記被撮像者方向検出部は、前記主対象者の顔の向きを検出し、
    前記画像生成部は、前記立体情報、前記主対象者の位置、及び前記主対象者の顔の向きに基づいて、前記主対象者の位置から前記顔の向きの方向を見た場合における前記視野画像を生成する
    請求項１記載の画像生成装置。
12. 前記観察者位置検出部は、前記複数の２次元画像の少なくとも２枚に基づいて、前記観察者の位置を検出し、
    前記観察者方向検出部は、前記複数の２次元画像の少なくとも１枚に基づいて、前記観察者の顔の向きを検出する
    請求項１１記載の画像生成装置。
13. 前記観察者位置検出部は、複数の前記観察者のそれぞれの位置を検出して、前記複数の被撮像者の位置を平均した平均位置を算出し、
    前記観察者方向検出部は、前記複数の観察者のそれぞれの顔の向きを検出して、前記複数の観察者の顔の向きを平均した平均向きを算出し、
    前記主対象者選択部は、前記複数の観察者の前記平均位置及び前記平均向きに基づいて、前記複数の観察者が観察している前記被撮像者を前記主対象者とする
    請求項１１記載の画像生成装置。
14. 前記画像生成部は、前記立体情報、前記被撮像者の位置、及び前記被撮像者の顔の向きに基づいて、前記被撮像者の位置から前記顔の向きの方向を見た場合における、予め定められた被写体を含む前記視野画像を生成する請求項１記載の画像生成装置。
15. 複数の撮像装置によりそれぞれ撮像された複数の２次元画像に基づいて、前記複数の２次元画像の少なくとも一部に撮像された被撮像者の画像を生成する画像生成装置であって、
    前記被撮像者の位置を検出する被撮像者位置検出部と、
    前記被撮像者の顔の向きを検出する被撮像者方向検出部と、
    前記複数の２次元画像の少なくとも２枚に基づいて、撮像された空間の立体情報を生成する立体情報生成部と、
    前記被撮像者の位置及び顔の向きに基づいて、前記被撮像者の顔の向きの延長線上に略位置する視点を決定する視点決定部と、
    前記立体情報及び前記視点の位置に基づいて、前記視点の位置から見た前記被撮像者を含む画像を生成する画像生成部と
    を備える画像生成装置。
16. 前記被撮像者位置検出部は、前記複数の２次元画像の少なくとも２枚に基づいて、前記被撮像者の位置を検出し、
    前記被撮像者方向検出部は、前記被撮像者の顔の向きとして、前記被撮像者の視線方向を検出し、
    前記視点決定部は、前記被撮像者の位置及び前記視線方向に基づいて、前記被撮像者の前記視線方向の延長線上に略位置する視点を決定する
    請求項１５記載の画像生成装置。
17. 前記被撮像者方向検出部は、前記複数の２次元画像の少なくとも１枚に基づいて、前記被撮像者の前記視線方向を検出する請求項１６記載の画像生成装置。
18. 前記被撮像者位置検出部は、複数の前記被撮像者のそれぞれの位置を検出して、前記複数の被撮像者の位置を平均した平均位置を算出し、
    前記被撮像者方向検出部は、前記複数の被撮像者のそれぞれの顔の向きを検出して、前記複数の被撮像者の顔の向きを平均した平均向きを算出し、
    前記視点決定部は、前記複数の被撮像者の前記平均位置及び前記平均向きに基づいて、前記複数の被撮像者の前記平均位置から前記平均向きの延長線上に略位置する視点を決定し、
    前記画像生成部は、前記立体情報及び前記視点の位置に基づいて、前記視点の位置から見た前記複数の被撮像者を含む画像を生成する
    請求項１５記載の画像生成装置。
19. 複数の前記被撮像者のそれぞれから当該被撮像者の顔の向き方向へ延ばした延長線が予め定められた密度以上となる中心領域を検出する中心領域検出部と、
    前記複数の被撮像者のうち、当該被撮像者から顔の向き方向へ延ばした前記延長線が前記中心領域と交差する前記被撮像者を、主対象者として選択する主対象者選択部と
    を更に備え、
    前記被撮像者位置検出部は、前記複数の２次元画像の少なくとも２枚に基づいて、前記主対象者の位置を平均した平均位置を算出し、
    前記被撮像者方向検出部は、前記主対象者の顔の向きを平均した平均向きを算出し、
    前記視野画像生成部は、前記立体情報、前記平均位置、及び前記平均向きに基づいて、前記平均位置から前記平均向きの方向を見た前記複数の被撮像者を含む前記画像を生成する
    請求項１５記載の画像生成装置。
20. 前記被撮像者位置検出部は、複数の前記被撮像者のそれぞれの位置を検出して、前記複数の被撮像者の位置を平均した平均位置を算出し、
    前記複数の被撮像者のうち、前記平均位置の最も近くに位置する前記被撮像者を主対象者として選択する主対象者選択部を更に備え、
    前記被撮像者方向検出部は、前記主対象者の顔の向きを算出し、
    前記視点決定部は、前記主対象者の位置及び顔の向きに基づいて、前記主対象者の位置から前記顔の向きの延長線上に略位置する視点を決定し、
    前記画像生成部は、前記立体情報及び前記視点の位置に基づいて、前記視点の位置から見た前記複数の被撮像者を含む画像を生成する
    請求項１５記載の画像生成装置。
21. 前記画像生成部は、前記立体情報及び前記視点の位置に基づいて、前記視点の位置から見た前記被撮像者と、予め定められた被写体とを含む画像を生成する請求項１５記載の画像生成装置。
22. 複数の撮像装置によりそれぞれ撮像された複数の２次元画像に基づいて、前記複数の２次元画像の少なくとも一部に撮像された被撮像者から見た視野画像をコンピュータにより生成する画像生成方法であって、
    前記複数の２次元画像の少なくとも２枚に基づいて、前記被撮像者の位置を前記コンピュータにより検出する被撮像者位置検出段階と、
    前記被撮像者の顔の向きを前記コンピュータにより検出する被撮像者方向検出段階と、
    前記複数の２次元画像の少なくとも２枚に基づいて、撮像された空間の立体情報を前記コンピュータにより生成する立体情報生成段階と、
    前記立体情報、前記被撮像者の位置、及び前記被撮像者の顔の向きに基づいて、前記被撮像者の位置から前記顔の向きの方向を見た場合における前記視野画像を前記コンピュータにより生成する画像生成段階と
    を備える画像生成方法。
23. 複数の撮像装置によりそれぞれ撮像された複数の２次元画像に基づいて、前記複数の２次元画像の少なくとも一部に撮像された被撮像者の画像をコンピュータにより生成する画像生成方法であって、
    前記被撮像者の位置を前記コンピュータにより検出する被撮像者位置検出段階と、
    前記被撮像者の顔の向きを前記コンピュータにより検出する被撮像者方向検出段階と、
    前記複数の２次元画像の少なくとも２枚に基づいて、撮像された空間の立体情報を前記コンピュータにより生成する立体情報生成段階と、
    前記被撮像者の位置及び顔の向きに基づいて、前記被撮像者の顔の向きの延長線上に略位置する視点を前記コンピュータにより決定する視点決定段階と、
    前記立体情報及び前記視点の位置に基づいて、前記視点の位置から見た前記被撮像者を含む画像を前記コンピュータにより生成する画像生成段階と
    を備える画像生成方法。
24. 複数の撮像装置によりそれぞれ撮像された複数の２次元画像に基づいて、前記複数の２次元画像の少なくとも一部に撮像された被撮像者から見た視野画像を生成する画像生成装置としてコンピュータを機能させる画像生成プログラムであって、
    当該画像生成プログラムは、前記コンピュータを、
    前記複数の２次元画像の少なくとも２枚に基づいて、前記被撮像者の位置を検出する被撮像者位置検出部と、
    前記被撮像者の顔の向きを検出する被撮像者視線方向検出部と、
    前記複数の２次元画像の少なくとも２枚に基づいて、撮像された空間の立体情報を生成する立体情報生成部と、
    前記立体情報、前記被撮像者の位置、及び前記被撮像者の顔の向きに基づいて、前記被撮像者の位置から前記顔の向きの方向を見た場合における前記視野画像を生成する画像生成部と
    して機能させる画像生成プログラム。
25. 複数の撮像装置によりそれぞれ撮像された複数の２次元画像に基づいて、前記複数の２次元画像の少なくとも一部に撮像された被撮像者の画像を生成する画像生成装置としてコンピュータを機能させる画像生成プログラムであって、
    当該画像生成プログラムは、前記コンピュータを、
    前記被撮像者の位置を検出する被撮像者位置検出部と、
    前記被撮像者の顔の向きを検出する被撮像者方向検出部と、
    前記複数の２次元画像の少なくとも２枚に基づいて、撮像された空間の立体情報を生成する立体情報生成部と、
    前記被撮像者の位置及び顔の向きに基づいて、前記被撮像者の顔の向きの延長線上に略位置する視点を決定する視点決定部と、
    前記立体情報及び前記視点の位置に基づいて、前記視点の位置から見た前記被撮像者を含む画像を生成する画像生成部と
    して機能させる画像生成プログラム。

Images