JP6392737B2 - 光学装置及び撮像システム - Google Patents

Description

本発明は、被写体を撮影するために用いる光学装置及び撮像システムに関する。

近年、周囲３６０度を含む全天の画像である全天球画像を撮影できるカメラ（以下、全天球カメラという。）およびその全天球画像の視聴において利用者が向いた方向を視聴することができるヘッドマウントディスプレイ（ＨＭＤ）が普及し始めている。そして、ネットワークを介して全天球画像を配信するサービスが注目を集めている。上記のような全天球画像は、ＨＭＤで視聴することで高い臨場感を得ることができ、スポーツやアーティストのライブ等のコンテンツの視聴における利用が期待されている。

一般に、これらの全天球画像は、所望の視点に全天球カメラを設置することで撮影することができる。しかしながら、競技中のサッカーコートの中やバスケットコートの中は、全天球カメラを設置しようとすると競技者の邪魔となるため、全天球カメラを設置することができない。しかし、競技中のサッカーコートの中やバスケットコートの中に立っているかのような映像を視聴してみたいという要望がある。そこで、通常では全天球カメラを設置することのできない場所に仮想的な視点である仮想視点を設定して、仮想視点を含む領域を撮影する複数のカメラを設置し、それらのカメラからの画像を合成することにより、この仮想視点において全天球カメラで撮影したかのような全天球画像を得る技術が考案されている（例えば、非特許文献１）。以下の説明において、仮想視点における全天球画像を、仮想全天球画像という。

仮想全天球画像を複数のカメラからの画像の合成によって得る画像処理システムの具体例について説明する。図１２は、従来の仮想全天球画像を得るための画像処理システムを示す図である。図１２に示すように、画像処理システム１は、全天球カメラ２と、Ｎ台の複数のカメラ３−１、３−２、３−３、…、３−Ｎ（以下、カメラ群３とする。）と、画像処理装置４と、表示装置５とを備える。画像処理システム１は、フットサルのコート１０内に仮想視点１１を設定した場合に、コート１０の周囲に設置したカメラ群３からの画像の合成によって仮想視点１１における仮想全天球画像を得る。

全天球カメラ２は、全天球画像を撮影するカメラである。全天球カメラ２は、試合が行われる前のタイミングでコート１０内の仮想視点１１の位置に設置される。全天球カメラ２は、予め、仮想視点１１の位置から仮想全天球画像の背景となる背景画像２０を撮影する。全天球カメラ２で撮影された背景画像２０は、画像処理装置４に入力されて蓄積される。

コート１０の周囲には、Ｎ台の複数のカメラ群３が設置されている。図１２においてＮは４以上の自然数である。カメラ群３は、それぞれ仮想視点１１を含む画角となるようにコート１０の周囲に設置されている。画像処理装置４は、背景画像２０に対して合成するため各カメラ群３が出力する入力画像に対して画像処理を行う。画像処理装置４は、全天球カメラ２より取得した背景画像２０に画像処理後の入力画像を合成して仮想全天球画像を生成する。表示装置５は、画像処理装置４で生成した仮想全天球画像を表示する装置であり、液晶ディスプレイ等である。

画像処理システム１における画像処理の具体例を説明する。図１３は、画像処理システム１における画像処理される画像の具体例を示す図である。図１３（Ａ）は、仮想視点１１の位置に設置された全天球カメラ２で撮影された背景画像２０の例を示す図である。仮想視点１１を中心とする３６０度の画像となっている。背景画像２０は、競技開始前に撮影される画像であるのでコート１０内に競技を行う選手等は映っていない。

図１３（Ｂ）は、左からカメラ３−１で撮影した入力画像２１と、カメラ３−２で撮影した入力画像２２と、カメラ３−３で撮影した入力画像２３とを示している。画像処理装置４は、入力画像２１〜２３のそれぞれから仮想視点１１を含み、かつ、フットサルの選手を含む領域２１１、２２１、２３１を切り出す。画像処理装置４は、切り出した領域２１１、２２１、２３１の画像に対して、画像処理を行うことで背景画像２０に貼り付け可能な部分画像２１１ａ、２２１ａ、２３１ａを生成する。

画像処理装置４は、背景画像２０に対して部分画像２１１ａ、２２１ａ、２３１ａを合成することで、仮想全天球画像２４を生成する。図１３（Ｃ）は、画像処理装置４が生成する仮想全天球画像２４の例を示す図である。図１３（Ｃ）に示すように、仮想全天球画像２４は、所定の領域に部分画像２１１ａ、２２１ａ、２３１ａを貼り付けているので、コート１０上で競技を行っているフットサルの選手が映っている画像である。

従来の画像処理システム１は、合成に用いているカメラ群３の光学中心および仮想視点１１において想定する仮想全天球カメラの光学中心はそれぞれ異なる。このため、合成された仮想全天球画像２４は幾何学的に正しくない画像を含む。これを防ぐためには、画像処理装置４は、部分画像２１１ａ、２２１ａ、２３１ａを、仮想視点１１からの距離を示す奥行きの一点で整合性が保たれるよう画像処理を行い背景画像２０に貼り付ける必要がある。しかしながら、整合性が保たれる奥行きに存在せずに別の奥行に存在している物体（例えば、競技中の選手）の部分画像を貼り付ける場合には、画像処理により奥行きの整合性を保つことができない。このような奥行に整合性のない物体は、仮想全天球画像２４において、その画像が分身（多重像）したり、消失したりする現象が発生する。

以下に、図面を用いて仮想全天球画像２４において、物体の画像が分身したり、消失したりする現象について説明する。図１４は、画像処理システム１における課題を説明するための図である。図１４において、撮影範囲４１は、カメラ３−１の撮影範囲の一部であって図１３（Ｂ）に示した領域２１１の撮影範囲を示す。撮影範囲４２は、カメラ３−２の撮影範囲の一部であって図１３（Ｂ）に示した領域２２１の撮影範囲を示す。撮影範囲４３は、カメラ３−３の撮影範囲の一部であって図１３（Ｂ）に示した領域２３１の撮影範囲を示す。すなわち、撮影範囲４１〜４３は、入力画像から切り出す切り出し領域に対応する撮影範囲を示している。また、仮想視点１１からの距離（奥行）が異なる３つの被写体（選手）４９〜５１が存在する。

図１４において破線で示している仮想視点１１からの第１の距離を示す奥行４６は、各撮影範囲４１〜４３が、重なりなく並んでいる。このような奥行４６に位置する被写体４９は、その画像が分身したり消失したりすることがなく、奥行に整合性のある被写体４９である。仮想視点１１からの第２の距離を示す奥行４７は、各撮影範囲４１〜４３が、横線部分４４に示すように重なっている。このような奥行４７に位置する被写体５０は、その画像が分身してしまうので、奥行に整合性のない被写体５０となる。仮想視点１１からの第３の距離を示す奥行４８は、各撮影範囲４１〜４３の間が斜線部分４５に示すように空いている。このような奥行４８に位置する被写体５１は、その画像の一部が消失してしまうので、奥行に整合性のない被写体５１となる。

高橋康輔、外３名、「複数カメラ映像を用いた仮想全天球映像合成に関する検討」、信学技報、2015年06月01日、vol.115, no.76、MVE2015-5、p.43-48

仮想全天球画像２４において、物体の画像が分身したり、消失したりする問題を解決する一つの方法として、カメラ群３の設置数を仮想全天球画像の画素数と同じ数だけ設置する方法がある。しかし、カメラの数が膨大となるので現実的な解決方法ではない。

上記事情に鑑み、本発明は、仮想視点の周囲に設置するカメラの数を抑制しながら画質の劣化を抑制した仮想全天球画像を提供する光学装置及び撮像システムを提供することを目的としている。

本発明の一態様は、仮想的な視点である仮想視点において撮影したかのような仮想画像を、前記仮想視点以外の位置に設置した撮像装置からの画像に基づいて作成する場合に用いられる光学装置であって、前記仮想視点の位置を焦点とする凸レンズと、前記凸レンズから入射される光線を前記撮像装置へ反射し、前記撮像装置の光学中心の位置を焦点とする楕円又は放物面に沿った形状の鏡面を有する反射部と、を備える光学装置である。

本発明の一態様は、前記の光学装置であって、前記反射部の前記鏡面は、前記撮像装置の画角に応じた大きさである。

本発明の一態様は、前記の光学装置であって、前記楕円に沿った前記鏡面は、複数の平面鏡により構成される。

本発明の一態様は、前記の光学装置であって、前記複数の平面鏡の角度及び位置を調整する鏡駆動部と、任意の曲率の楕円の円周を近似する鏡面を形成するように前記複数の平面鏡の角度及び位置を調整するよう前記鏡駆動部を制御する鏡制御部と、をさらに備える。

本発明の一態様は、前記の光学装置と、前記撮像装置と、を備える撮像システムである。

本発明の一態様は、前記の光学装置と、前記撮像装置と、前記鏡制御部からの制御に応じて前記複数の平面鏡が任意の曲率の楕円の円周を近似する鏡面を形成した場合に、前記楕円の第２の焦点に前記撮像装置の光学中心が位置するように前記撮像装置の位置を調整する駆動部と、を備える撮像システムである。

本発明の一態様は、前記の撮像システムであって、前記撮像装置及び前記光学装置による撮影方向を調整する方向駆動部と、前記楕円の第１の焦点が前記仮想視点に位置するように前記方向駆動部を制御する方向制御部と、をさらに備える。

本発明により、仮想視点の周囲に設置するカメラの数を抑制しながら画質の劣化を抑制した仮想全天球画像を提供することができる。

第１の実施形態における画像処理システムの概略を示す図である。 第１の実施形態におけるカメラシステム群６の構成例を示す図である。 第１の実施形態における画像処理装置３０の構成例を示す図である。 入力画像の各画素と背景画像２０の各画素との対応関係を示すテーブルの取得方法について説明する図である。 入力画像の各画素と全天球画像の各画素との対応関係を示す対応情報テーブル３０３の具体例を示す図である。 画像合成部３２における合成処理を示すフロー図である。 第１の実施形態における画像処理装置３０が仮想全天球画像を作成する動作を示すフロー図である。 カメラシステム群６における各カメラシステムの撮影範囲の広さと、その撮影範囲の広さに応じて必要となる各カメラシステムの設置個数との関係について説明する図である。 第２の実施形態におけるカメラシステム６−１Ａの構成例を示す図である。 第３の実施形態におけるカメラシステム６−１Ｂの構成例を示す図である。 第４の実施形態におけるカメラシステム６−１Ｂａの構成例を示す図である。 従来の仮想全天球画像を得るための画像処理システムを示す図である。 画像処理システム１における画像処理される画像の具体例を示す図である。 画像処理システム１における課題を説明するための図である。

以下、図面を参照して、本発明の実施形態について説明する。
（第１の実施形態）
図１は、第１の実施形態における画像処理システムの概略を示す図である。図１に示す画像処理システム１Ａにおいて、図１２に示した従来の画像処理システム１と同じ構成には、同一符号を付しており、説明を簡略化する。

図１に示すように、画像処理システム１Ａは、全天球カメラ２と、ｍ台の複数のカメラシステム６−１、６−２、６−３、…、６−ｍ（以下、カメラシステム群６とする。）と、画像処理装置３０と、表示装置５とを備える。画像処理システム１Ａは、フットサルのコート１０内に仮想視点１１を設定した場合に、コート１０の周囲に設置したカメラシステム群６からの画像の合成によって仮想視点１１における仮想全天球画像を得る。

全天球カメラ２は、全天球画像を撮影するカメラである。全天球カメラ２は、競技が行われる前のタイミングでコート１０内の仮想視点１１の位置に設置される。全天球カメラ２は、予め、仮想視点１１の位置から仮想全天球画像の背景となる背景画像２０を撮影する。全天球カメラ２で撮影された背景画像２０は、画像処理装置４に入力されて蓄積される。全天球カメラ２は、競技中も仮想視点１１に設置したままだと競技の支障となるため、競技開始前に仮想視点１１の位置から取り除かれる。

コート１０の周囲には、ｍ台の複数のカメラシステム群６が設置されている。カメラシステム群６の各カメラシステム６−１、６−２、６−３、…、６−ｍは、背景画像２０に対して合成する入力画像を動画で撮影するカメラシステムであり、それぞれ仮想視点１１を含む画角となるようにコート１０の周囲を取り囲むように設置されている。ｍは、２以上の整数であり、同程度の画質の仮想全天球画像を得ようとするのであればコート１０が大きいほど大きな値となり、コート１０の大きさが同じであれば仮想全天球画像の画質を高いものにしようとするほど大きな値となる。

画像処理装置３０は、各カメラシステム群６からの入力画像に対して画像処理を施して、全天球カメラ２より取得した背景画像２０に画像処理後の入力画像を合成する処理を行う。表示装置５は、画像処理装置３０で生成した仮想全天球画像を表示する装置であり、液晶ディスプレイ、ヘッドマウントディスプレイ（ＨＭＤ）等である。

表示装置５がＨＭＤである場合、図１には示していないが画像処理装置３０から映像信号等を受信する受信部と、受信部を介して受信した映像信号を表示する液晶ディスプレイや有機ＥＬディスプレイ等で構成される画面と、視聴者の頭の動きを検出する検出部とを備える。ＨＭＤの画面に表示される映像は、仮想全天球画像に基づいた仮想全天球映像の一部であり視野と呼ぶ。ＨＭＤは、検出部が検出した視聴者の頭の動きに応じて表示する映像の範囲である視野を変更する機能を有する。

頭を上下左右に動かすことに応じて視聴している映像が変化するので、ＨＭＤを頭に装着した視聴者は、仮想視点１１の位置から競技を見ているかのような映像を視聴することができる。このように、ＨＭＤを装着した視聴者は、あたかも仮想視点１１に立って競技を観戦しているかのような臨場感のある映像を視聴することができる。

次に、カメラシステム群６の構成例について説明する。図２は、第１の実施形態におけるカメラシステム群６の構成例を示す図である。カメラシステム６−１は、仮想視点１１の位置に焦点を有し仮想視点１１からの光線を平行光にする凸レンズＬ−１と、放物面の形状をした鏡面を有し凸レンズＬ−１からの平行光を反射する放物面鏡Ｍ−１と、放物面鏡Ｍ−１の放物面の焦点に配置され放物面鏡Ｍ−１が反射する光線を受光するカメラＣ−１とを備える。放物面鏡Ｍ−１の軸と凸レンズＬ−１の軸は一致している。１つの放物面鏡Ｍ−１に対して、凸レンズＬ−１及びカメラＣ−１はそれぞれ１つずつ設置されている。凸レンズＬ−１の位置は光軸方向に可変であり、凸レンズＬ−１の焦点の位置にある仮想視点１１を移動させることができる。なお、凸レンズＬ−１は、複数のレンズから構成されるものであってもよい。

カメラシステム６−２は、仮想視点１１の位置に焦点を有し仮想視点１１からの光線を平行光にする凸レンズＬ−２と、放物面の形状をした鏡面を有し凸レンズＬ−２からの平行光を反射する放物面鏡Ｍ−２と、放物面鏡Ｍ−２の放物面の焦点に配置され放物面鏡Ｍ−２が反射する光線を受光するカメラＣ−２とを備える。カメラシステム６−３は、仮想視点１１の位置に焦点を有し仮想視点１１からの光線を平行光にする凸レンズＬ−３と、放物面の形状をした鏡面を有し凸レンズＬ−３からの平行光を反射する放物面鏡Ｍ−３と、放物面鏡Ｍ−３の放物面の焦点に配置され放物面鏡Ｍ−３が反射する光線を受光するカメラＣ−３とを備える。上述した放物面鏡Ｍ−１の軸と凸レンズＬ−１の軸の関係及び放物面鏡Ｍ−１に対する凸レンズＬ−１及びカメラＣ−１の対応関係は、カメラシステム６−２、６−３についても同様である。

図２に示すように、カメラシステム６−１〜６−３は、凸レンズの物体側の焦点からでた光線は凸レンズに入射すると屈折して凸レンズの光軸と平行な光線となるという性質と、放物面の軸に平行に入射した光線は、全て放物面の焦点に集まるという性質とを利用して、仮想視点１１からの光線を効率的にカメラＣ−１〜Ｃ−３に集光している。これにより、カメラシステム６−１〜６−３は、仮想視点１１を視点とする撮影範囲１２−１〜１２−３に示す範囲をそれぞれ撮影することができる。各カメラシステム群６で撮影される入力画像は、所定のフレーム周期を有する動画像であり、各フレームには撮影時間が関連付けられている。なお、図２は、カメラシステム６−１〜６−３の３台のみ示しているが、他のカメラシステム６−４〜６−ｍについても同様の構成である。

次に、第１の実施形態における画像処理システム１Ａの画像処理装置３０の構成例について説明する。
図３は、第１の実施形態における画像処理装置３０の構成例を示す図である。図３に示すように、画像処理装置３０は、画像入力部３１と、画像合成部３２と、表示処理部３３と、各カメラシステム群６が撮影した入力画像を格納する入力画像格納部３０１と、背景画像２０を格納する背景画像格納部３０２と、入力画像の各画素と背景画像２０の各画素との対応関係を示すテーブルを格納する対応情報テーブル３０３とを備える。

入力画像格納部３０１は、カメラシステム群６内の各カメラシステムを特定するカメラコードに関連付けて各カメラシステム群６で撮影した入力画像を格納する。入力画像は、撮影時刻と関連付けられた動画の画像データを含むものである。入力画像格納部３０１は、例えば、カメラシステム６−１で撮影した入力画像を、カメラシステム６−１を特定するカメラコードに関連付けて格納する。

背景画像格納部３０２は、全天球カメラ２で撮影した全天球画像である背景画像２０を格納する。背景画像格納部３０２は、例えば、コート１０内の仮想視点１１に設置した全天球カメラ２で撮影した図１３（Ａ）に示す背景画像２０を格納する。格納する背景画像２０は、１フレーム分の画像データでも所定時間分の動画の画像データでもよい。所定時間分の画像データを格納する場合は、背景画像２０において周期的に変化する部分（例えば電光掲示板が映っている部分があり、かつ、電光掲示板の表示内容が周期的に変化している部分。）があれば、その周期に応じた時間分の画像データを背景画像２０として格納すればよい。

画像処理装置３０が全天球カメラ２から背景画像２０を取得する構成はどのような構成であってもよい。例えば、画像処理装置３０が全天球カメラ２と有線又は無線で通信可能な通信部を備えて、その通信部を介して背景画像２０を取得する構成であってもよい。また、全天球カメラ２に着脱可能な記録媒体を用いて当該記録媒体に背景画像２０を記録して、記録後の記録媒体を画像処理装置３０に接続して、画像処理装置３０が記録媒体から背景画像２０を読み出す構成により、背景画像２０を取得する構成であってもよい。また、画像処理装置３０が、カメラシステム群６から入力画像を取得する構成も全天球カメラ２の場合と同様にどのような構成であってもよい。

画像入力部３１は、入力画像格納部３０１から入力画像を取得し、背景画像格納部３０２から背景画像２０を取得して、入力画像及び背景画像２０を画像合成部３２へ出力する。画像合成部３２は、対応情報テーブル３０３を参照して入力画像の各画素の値を、背景画像２０の対応する画素の値として貼り付けて合成することで仮想全天球画像を生成する。

ここで、対応情報テーブル３０３に格納する入力画像の各画素と背景画像２０の各画素との対応関係を示すテーブルの取得方法について説明する。図４は、入力画像の各画素と背景画像２０の各画素との対応関係を示すテーブルの取得方法について説明する図である。図４に示すように、点光源５４を全天球カメラ２及びカメラシステム６−１で撮影することでテーブルを取得する。なお、説明を簡単にするため図４では、カメラシステム６−１の処理のみを示しているが、他のカメラシステム６−２〜６−ｍにおいても同様の処理を行う。

まず、コート１０内の仮想視点１１に全天球カメラ２を設置して、図２に示したカメラシステム６−１の撮影範囲１２−１内で点光源５４を点灯する。図４において撮像面５７は、全天球カメラ２において被写体像が結像する撮像面を仮想的に示したものである。点光源５４からの光は、全天球カメラ２において撮像面５７の画素５７Ａで受光される。全天球カメラ２は、点光源５４を撮影した全天球画像５５を出力する。図４に示すように、仮想視点１１における全天球画像５５には、画素５５Ａに点光源５４の光が写っている。全天球画像５５の画素５５Ａは、撮像面５７の画素５７Ａに対応する画素である。点光源５４を移動させて撮影範囲１２−１の全ての画素に対応する位置で撮影を行う。撮影を終えると全天球カメラ２を仮想視点１１から取り去る。

次に、カメラシステム６−１は、撮影範囲１２−１内で点灯する点光源５４を撮影して、画像５６を出力する。図４において、撮像面５８は、カメラＣ−１において被写体像が結像する撮像面を仮想的に示したものである。点光源５４からの光線は、仮想視点１１を通過して凸レンズＬ−１で屈折され、放物面鏡Ｍ−１で反射されてカメラＣ−１において撮像面５８の画素５８Ａで受光される。図４に示すように、カメラシステム６−１で撮影した画像５６には、画素５６Ａに点光源５４の光が写っている。画像５６の画素５６Ａは、撮像面５８の画素５８Ａに対応する画素である。全天球カメラ２の時と同様に、点光源５４を移動させてカメラシステム６−１の撮影範囲１２−１の全ての画素に対応する位置で撮影を行う。点光源５４を点灯させる位置とその順番は、全天球カメラ２の時と同じとする。

以上の処理により、同じ位置で点灯させた点光源５４が写っている画素を対応させることで、入力画像の各画素と全天球画像（＝背景画像２０）の各画素との対応関係を示すテーブルを作成する。図５は、入力画像の各画素と全天球画像の各画素との対応関係を示す対応情報テーブル３０３の具体例を示す図である。図５に示すように、全天球画像の各画素の識別子ｑｊ（ｊ＝１〜Ｎｑ）及び画素アドレスを示すｑ１：（０、０）、ｑ２：（０、１）、…、ｑＮｑ：（３８３９、１９１９）と、カメラシステム群６の識別子Ｓｉ（ｉ＝１〜Ｍ）及び識別子Ｓｉで特定されるカメラシステムからの入力画像の画素アドレスを示すＳ１、（１００、５０）、Ｓ１、（１００、５２）、…、Ｓｍ、（１００、２００）とを対応させている。

識別子Ｓ１、Ｓ２、…、Ｓｍは、カメラシステム６−１、６−２、…、６−ｍを特定する識別子である。図５に示した対応情報テーブル３０３は、全天球画像の全画素に対してカメラシステム群６の入力画像の画素との対応情報を格納したが、これに限定されるものではない。例えば、対応情報テーブル３０３は、全天球画像の一部の画素に対してのみカメラシステム群６の入力画像の画素との対応情報を格納してもよい。例えば、全天球画像において、カメラシステム群６が対応していない領域があれば、その領域の対応情報は格納する必要がない。このような対応情報テーブル３０３を備えることで、カメラシステム群６に備えられる放物面鏡Ｍ−１〜Ｍ−ｍの鏡面が理想的な放物面から多少ずれた曲率であったり、放物面鏡Ｍ−１〜Ｍ−ｍ間で鏡面の曲率がばらついたりしても生成する全天球画像の画質への影響を抑えることができる。

次に、画像合成部３２における、対応情報テーブル３０３を参照して入力画像の各画素の値を、背景画像２０の対応する画素の値として貼り付ける処理について説明する。図６は、画像合成部３２における合成処理を示すフロー図である。画像合成部３２は、背景画像２０の各画素ｑｊに関するループを開始する（ステップＳ１０１）。具体的には、画像合成部３２は、背景画像２０の画素ｑ１の処理から画素ｑＮｑまでの処理のループを開始する。

画像合成部３２は、対応情報テーブル３０３を参照して、背景画像２０の画素ｑｊに対応するカメラシステムの識別子Ｓｉ及び識別子Ｓｉのカメラシステムで撮影した入力画像の画素アドレスを特定し、特定した画素アドレスの画素の値を、背景画像２０の画素ｑｊの値とする（ステップＳ１０２）。画像合成部３２は、背景画像２０の画素ｑＮｑ対する処理を終えたか否かを判断することで、ループを終了させるか否かを判断する（ステップＳ１０３）。ここで画素ｑＮｑ対する処理を終えていなければ、画像合成部３２は、ステップＳ１０１に戻り、画素ｑＮｑ対する処理を終えていれば合成処理を終了する。以上の処理により、画像合成部３２は、対応情報テーブル３０３を参照してカメラシステム群６からの入力画像の各画素の値を、背景画像２０の対応する画素の値として貼り付けて合成して得た仮想全天球画像を出力する。

表示処理部３３は、画像合成部３２が出力する仮想全天球画像を表示装置５において表示可能な映像信号に変換して出力する。仮想全天球画像は、図１３（Ｃ）に示した通り、歪みを含む画像であり、かつ、仮想視点１１を中心とする３６０度の景色を含む画像であるので、表示処理部３３は、仮想全天球画像から表示装置５に表示させる範囲の画像を切り出して、切り出した画像の歪みを補正する機能を有する。

画像処理装置３０は、入力画像格納部３０１及び背景画像格納部３０２を備える構成としたが、これに限定されるものではない。例えば、入力画像格納部３０１及び背景画像格納部３０２を備える画像格納装置を別に設け、画像処理装置３０は、画像格納装置から入力画像格納部３０１及び背景画像格納部３０２を取得する構成であってもよい。また、画像処理装置３０は、入力画像格納部３０１を備えずに、カメラシステム群６から入力される入力画像をリアルタイムで取得して、取得した入力画像を順次処理する構成としてもよい。

次に、画像処理システム１Ａにおいて仮想全天球画像を作成する動作について説明する。図７は、第１の実施形態における画像処理装置３０が仮想全天球画像を作成する動作を示すフロー図である。図７に示す動作は、入力画像に基づいて各撮影時刻における仮想全天球画像を生成する処理の前に、予め対応情報テーブル３０３を取得する処理、背景画像２０を取得して背景画像格納部３０２に格納する処理及び入力画像を取得して入力画像格納部３０１に格納する処理も含まれる。

仮想視点１１に全天球カメラ２を設置し、点光源５４を全天球画像の各画素に対応する位置に所定の順番で移動させて、移動先の各位置で点灯してその全天球画像を撮影する（ステップＳ２０１）。全天球カメラ２を仮想視点１１から取り去って、カメラシステム群６の各カメラシステムは、点光源５４をステップＳ２０１の時と同じ位置、同じ順番で移動させて、移動先の各位置で点灯してその画像をする。具体的には、カメラシステム群６の各カメラシステムは、自身の撮影範囲に点光源５４が存在する場合に、画像の撮影を行う。同じ位置で点灯させた点光源５４が写っている画素を対応させることで、全天球画像の各画素ｑｊと識別子Ｓｉで特定されるカメラシステムで撮影され入力画像の画素との対応関係を示すテーブルである対応情報テーブル３０３を作成する（ステップＳ２０２）。

仮想視点１１に全天球カメラ２が設置され、全天球カメラ２は、背景画像２０を撮影する（ステップＳ２０３）。撮影された背景画像２０は、背景画像格納部３０２に格納される。次に、全天球カメラ２を仮想視点１１から取り去った後に、例えばコート１０おける競技開始と共に、カメラシステム群６は入力画像の撮影を開始する（ステップＳ２０４）。これにより、画像処理装置３０は、カメラシステム群６が撮影した入力画像を入力画像格納部３０１に格納する。

画像合成部３２は、対応情報テーブル３０３を参照してカメラシステム群６からの入力画像の各画素の値を、背景画像２０の対応する画素の値として貼り付けて合成して得た仮想全天球画像を出力する（ステップＳ２０５）。

以上に説明したように、第１の実施形態における画像処理装置３０は、放物面鏡を備えカメラシステム群６を用いて所定の撮影範囲からの仮想視点１１を通る光線に基づく被写体像を撮影して入力画像を取得し、この入力画像を背景画像２０に合成して仮想全天球画像を生成することができる。これにより、第１の実施形態における画像処理装置３０は、仮想全天球画像に含まれる被写体において分身が起こったり、消失が起こったりすることを抑制し、かつ、カメラシステム群６に含まれる各カメラシステムを所定の撮影範囲が重ならない間隔で設置することができる。すなわち、第１の実施形態における画像処理装置３０は、仮想視点の周囲に設置するカメラシステムの数を抑制し、かつ、画質の劣化を抑制した仮想全天球画像を得ることができる。第１の実施形態における画像処理装置３０は、仮想視点の周囲に設置する限られた数のカメラシステムの中で、より精度の高い仮想全天球画像を得ることができる。

上述した画像処理システム１Ａの動作の変形例として、カメラシステム群６で撮影した入力画像をリアルタイムで背景画像２０に合成して仮想全天球画像を生成する動作について説明する。リアルタイムで仮想全天球画像を生成する場合、画像処理システム１Ａは、図７の処理において、ステップＳ２０１〜Ｓ２０３までの処理を事前に行い、ステップＳ２０４、Ｓ２０５の処理をリアルタイムで行う。リアルタイムで仮想全天球画像を生成するとは、例えば、入力画像が１秒間に６０フレームを有する動画像であれば、画像処理システム１Ａが、その動画像の入力画像を処理して、１秒間に６０フレームを有する仮想全天球画像を生成することである。

ここで、カメラシステム群６における各カメラシステムの撮影範囲の広さと、その撮影範囲の広さに応じて必要となる各カメラシステムの設置個数（ｍ個）との関係について説明する。図８は、カメラシステム群６における各カメラシステムの撮影範囲の広さと、その撮影範囲の広さに応じて必要となる各カメラシステムの設置個数（ｍ個）との関係について説明する図である。図８では、凸レンズＬ−１と、放物面鏡Ｍ−１と、カメラＣ−１とを備えるカメラシステム６−１を例に挙げて説明する。

図８に示すように、凸レンズＬ−１の半径をｒとし、凸レンズの焦点距離をｆとする。また、凸レンズＬ−１の焦点ｆ_１から凸レンズの両端へ入射する光線がなす角を角度θとすると、角度θは以下の（式１）で表される。

そして、カメラＣ−１の実質的な画角は、上記（式１）で求めた角度θである。撮影範囲の大きさが角度θであるカメラシステム６−１の個数は、背景画像２０に対して合成したい範囲が角度θ_ａである場合に、以下の（式２）を満たす個数ｍである。なお、（式２）において、θ_ｉとはカメラシステム６−ｉ（１≦ｉ≦ｍ）の撮影範囲を示す。（式２）に示すように、背景画像２０に対して合成したい範囲の角度θ_ａの値が大きくなれば、カメラシステム６−１の個数ｍの値も大きくなる。

（第２の実施形態）
第２の実施形態におけるカメラシステムの構成例について説明する。図２等に示した第１の実施形態におけるカメラシステム群６の各カメラシステムの放物面鏡にはカメラが写り込んでいる領域がある。これに対して、第２の実施形態におけるカメラシステムは、各カメラシステムの放物面鏡においてカメラが写り込む領域を無くす（カメラが写り込まない領域のみ残す）構成としたものである。これにより、放物面鏡の軽量化および小型化を図ることができる。

図９は、第２の実施形態におけるカメラシステム６−１Ａの構成例を示す図である。カメラシステム６−１Ａは、凸レンズＬ−１と、カメラＣ−１と、欠損部９０を有する放物面鏡Ｍ−１Ａとを具備する。放物面鏡Ｍ−１Ａの欠損部９０は、図２に示した放物面鏡Ｍ−１においてカメラＣ−１が写り込む領域に穴をあけることで形成することができる。また、放物面鏡Ｍ−１Ａは、更に図９の光軸から上半分又は下半分の領域を取り除いた構成としてもよく、目的とする撮影範囲に応じた領域に放物面となる鏡面を備える構成であればよい。

なお、カメラシステム６−１Ａは、図１に示すようにコート１０の周囲にｍ個配置されるものであり、ｍ個のカメラシステム６−１Ａの凸レンズＬ−１〜Ｌ−Ｍの物体側（放物面鏡Ｍ−１Ａと反対側）の焦点は仮想視点１１の位置に一致する。第２の実施形態におけるカメラシステム６−１Ａを図１に示す画像処理システム１Ａに適用することで、画像処理システム１Ａの軽量化及び小型化を実現することができる。

（第３の実施形態）
第３の実施形態におけるカメラシステムの構成例について説明する。図２等に示した第１の実施形態におけるカメラシステム群６の各カメラシステムは放物面鏡を用いている。これに対して、第３の実施形態におけるカメラシステムは、楕円の一部と同じ曲率の曲面を有して光線を反射する楕円鏡を用いて較正したものである。これにより、仮想視点の位置をより柔軟に設定することができる。

図１０は、第３の実施形態におけるカメラシステム６−１Ｂの構成例を示す図である。カメラシステム６−１Ｂは、凸レンズＬ−１ａ、Ｌ−１ｂと、カメラＣ−１と、楕円鏡Ｍ−１Ｂとを具備する。楕円鏡Ｍ−１Ｂの軸と、凸レンズＬ−１ａ、Ｌ−１ｂの軸は一致している。カメラＣ−１は、楕円鏡Ｍ−１Ｂの第１の焦点の位置に設置されている。楕円鏡Ｍ−１Ｂの第２の焦点は、凸レンズＬ−１ａの焦点と同じ位置ｆ_０である。凸レンズＬ−１ｂの焦点は、仮想視点１１と同じ位置ｆ_１である。

凸レンズＬ−１ａと凸レンズＬ−１ｂとの間の距離をｄｉとし、楕円鏡Ｍ−１Ｂに基づく楕円の中心をＯとし、楕円鏡Ｍ−１Ｂの焦点距離をｆとし、凸レンズＬ−１ａの焦点距離をｆ_０とし、凸レンズＬ−１ｂの焦点距離をｆ_１とする。仮想視点１１から中心Ｏまでの距離は、ｆ＋ｆ_０＋ｄｉ＋ｆ_１で求まる。すなわち、これらの各ｆ、ｆ_０、ｄｉ、ｆ_１の値を調整することで、仮想視点１１の位置を調整することができる。

楕円鏡Ｍ−１Ｂの焦点距離ｆについては、本実施形態では固定であるが、後述する第４の実施形態に記載の構成とすることで調整することができる。凸レンズＬ−１ａの焦点距離ｆ_０と、凸レンズＬ−１ｂの焦点距離ｆ_１とは、凸レンズＬ−１ａ、Ｌ−１ａの製造時に任意の焦点距離を設定することができる。なお、凸レンズＬ−１ａ、Ｌ−１ａの焦点距離を可変とする構成とすれば、製造後も焦点距離を変更可能である。凸レンズＬ−１ａと凸レンズＬ−１ｂとの間の距離をｄｉは、凸レンズＬ−１ａ又は凸レンズＬ−１ｂを光軸方向に移動可能とする構成とすれば変更可能となる。

ここで、カメラシステム群６における各カメラシステム６−１Ｂの撮影範囲の広さと、その撮影範囲の広さに応じて必要となる各カメラシステム６−１Ｂの設置個数（ｍ個）との関係について説明する。カメラＣ−１の画角をθ_０、カメラシステム６−１Ｂの撮影範囲をθ_１、楕円鏡Ｍ−１Ｂの焦点距離をｆ、凸レンズＬ−１ａの焦点距離をｆ_０、凸レンズＬ−１ｂの焦点距離をｆ_１として、楕円鏡Ｍ−１Ｂに基づく楕円の中心を原点とするｘｙ座標において、カメラＣ−１の画角θ_０とカメラシステム６−１Ｂの撮影範囲θ_１は、以下の（式３）、（式４）で表すことができる。

撮影範囲の大きさが角度θ_１であるカメラシステム６−１Ｂの個数は、背景画像２０に対して合成したい範囲が角度θである場合に、以下の（式５）を満たす個数ｍである。なお、（式５）において、θ_１ ^ｉとはカメラシステム６−ｉＢ（１≦ｉ≦ｍ）の撮影範囲を示す。（式５）に示すように、背景画像２０に対して合成したい範囲の角度θの値が大きくなれば、カメラシステム６−１Ｂの個数ｍの値も大きくなる。

なお、カメラシステム６−１Ｂは、図１に示すようにコート１０の周囲にｍ個配置されるものであり、ｍ個のカメラシステム６−１Ｂの凸レンズＬ−１ｂ〜Ｌ−Ｍｂの物体側（楕円鏡Ｍ−１Ｂと反対側）の焦点は仮想視点１１の位置に一致する。第３の実施形態におけるカメラシステム６−１Ｂを図１に示す画像処理システム１Ａに適用することで、画像処理システム１Ａがコート１０内に設定する仮想視点１１の位置を柔軟に変更することができる。

（第４の実施形態）
第４の実施形態におけるカメラシステムの構成例について説明する。図１０に示した第３の実施形態におけるカメラシステム６−１Ｂの楕円鏡Ｍ−１Ｂの曲率は固定である。これに対して、第４の実施形態におけるカメラシステムは、楕円鏡の曲率を変更可能に構成したものである。これにより、楕円鏡の鏡面に基づく楕円の焦点の位置を変更することができる。そして、楕円鏡の焦点距離ｆを変更することで、凸レンズＬ−１ａ、Ｌ−１ｂの先にある仮想視点１１の位置を変更することができる。

図１１は、第４の実施形態におけるカメラシステム６−１Ｂａの構成例を示す図である。カメラシステム６−１Ｂａは、カメラＣ−１ａ、焦点位置を変更可能な楕円鏡Ｍ−１Ｂａ及び撮影方向を駆動する撮影方向駆動部８４を備えるカメラ部８５と、撮影方向駆動部８４に対して撮影方向を制御する信号を出力するカメラ制御部８６とを具備する。カメラＣ−１ａは、駆動部８３により図１１に示す矢印方向（カメラＣ−１ａの光軸方向）に位置を変更することができる。駆動部８３は、楕円鏡Ｍ−１Ｂａの焦点位置の変更に応じて、カメラＣ−１ａの位置を変更する。

楕円鏡Ｍ−１Ｂａは、平面鏡８０−１〜８０−５と、平面鏡８０−１〜８０−５のそれぞれに設けられ各平面鏡８０−１〜８０−５の角度及び位置を変更する鏡駆動部８１−１〜８１−５と、鏡駆動部８１−１〜８１−５に対して、平面鏡８０−１〜８０−５により第１の焦点（カメラシステム６−１Ｂａ側の焦点）が所望の位置となる曲率の楕円を近似する配置となるよう制御信号を出力する鏡制御部８２とを備える。楕円鏡Ｍ−１Ｂａが近似する楕円の第１の焦点が変更されると、第２の焦点（凸レンズＬ−１ａの焦点と重なっている焦点）までの距離も変更される。仮想視点１１の位置で複数のカメラシステム６−１Ｂａ〜６−ｍＢａの凸レンズＬ−１ｂの焦点が重なるように、カメラ制御部８６は、カメラ部８５の撮影方向を制御する。

なお、カメラシステム６−１Ｂａは、図１に示すようにコート１０の周囲にｍ個配置されるものであり、ｍ個のカメラシステム６−１Ｂａの凸レンズＬ−１ｂの焦点は仮想視点１１の位置に一致する。第４の実施形態におけるカメラシステム６−１Ｂａを用いることで、カメラシステム６−１Ｂａから仮想視点１１までの距離を任意の距離に変更することができる。

なお、カメラシステム６−１Ｂａの楕円鏡Ｍ−１Ｂａにおいて、鏡面の楕円への近似の精度を変更するため平面鏡８０−１〜８０−５の数を変えてもよい。平面鏡の数を増やして個々の平面鏡のサイズを小さくするほど、楕円への近似の精度が高くなる。

上述した第１の実施形態の画像処理システム１Ａは、仮想視点１１に設置した全天球カメラ２で撮影した全天球画像を背景画像２０としたが、仮想視点１１に広角で撮影可能な広角カメラを設置して撮影した広角画像を背景画像２０としてもよい。このような場合は、画像処理システム１Ａは、広角画像である背景画像２０に対して部分画像を合成することで仮想広角画像を生成する。ただし、仮想広角画像に写る範囲は、仮想全天球画像に比べて狭い範囲となる。

上述した第１の実施形態の画像処理システム１Ａは、全天球カメラ２を含む構成としたが、背景画像２０となる全天球画像を得ることができる構成であれば、全天球カメラ２を含まない構成でもよい。上述した第１の実施形態の画像処理装置３０は、入力画像格納部３０１と、背景画像格納部３０２とを備える構成としたが、これに限定されるものではない。入力画像格納部３０１及び背景画像格納部３０２を備える装置を別に設けて、画像処理装置３０は、その装置から入力画像及び背景画像２０を取得する構成でもよい。

上述した第１の実施形態における画像処理装置３０が備える各機能部及び第４の実施形態におけるカメラシステム６−１ａが備える鏡制御部８２及びカメラ制御部８６は、例えば、コンピュータで実現することができる。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ（Field Programmable Gate Array）等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

本発明の光学装置及び撮像システムは、サッカー等のスポーツの映像やコンサート、ライブなどの映像のように、様々な奥行きのオブジェクト（人など）がシーン内に存在する映像を仮想全天球映像として視聴者に視聴させるシステムを構築する場合に用いることができる。

１Ａ…画像処理システム， ２…全天球カメラ， ６…カメラシステム群， ６−１〜６−ｍ、６−１Ａ、６−１Ｂ、６−１Ｂａ…カメラシステム， ４、３０…画像処理装置， ５…表示装置， ２０…背景画像， ３１…画像入力部， ３２…画像合成部， ３３…表示処理部， ８０−１〜８０−５…平面鏡， ８１−１〜８１−５…鏡駆動部， ８２…鏡制御部， ８３…駆動部， ８４…撮影方向駆動部， ８５…カメラ部， ８６…カメラ制御部， ３０１…入力画像格納部， ３０２…背景画像格納部， ３０３…対応情報テーブル， Ｃ−１、Ｃ−２、Ｃ−３、Ｃ−１ａ…カメラ，Ｌ−１、Ｌ−２、Ｌ−３、Ｌ−１ａ、Ｌ−１ｂ…凸レンズ， Ｍ−１、Ｍ−２、Ｍ−３、Ｍ−１ａ…放物面鏡（反射部）， Ｍ−１Ｂ、Ｍ−１Ｂａ…楕円鏡（反射部）

Claims (8)

1. 仮想的な視点である仮想視点において撮影したかのような仮想画像を、前記仮想視点以外の位置に設置した複数の撮像装置からの画像に基づいて作成する場合に用いられる光学装置であって、
   前記仮想視点の位置を焦点とする凸レンズと、
   前記複数の撮像装置のうち自装置に対応する１つの撮像装置の光学中心の位置を焦点とする楕円又は放物面に沿った形状の鏡面を有し、前記凸レンズを介して前記仮想視点から入射される光線を前記鏡面によって反射して自装置に対応する前記撮像装置へ入射させる反射部と、
   を備え、
   前記仮想視点の位置を中心とする球面上に配置される前記複数の撮像装置のそれぞれに１つずつ設けられる、
   光学装置。
2. 前記反射部の前記鏡面は、前記撮像装置の画角に応じた大きさである請求項１に記載の光学装置。
3. 前記楕円に沿った前記鏡面は、複数の平面鏡により構成される請求項１又は請求項２に記載の光学装置。
4. 前記複数の平面鏡の角度及び位置を調整する鏡駆動部と、
   任意の曲率の楕円の円周を近似する鏡面を形成するように前記複数の平面鏡の角度及び位置を調整するよう前記鏡駆動部を制御する鏡制御部と、
   をさらに備える請求項３に記載の光学装置。
5. 仮想的な視点である仮想視点において撮影したかのような仮想画像を、前記仮想視点以外の位置に設置した撮像装置からの画像に基づいて作成する場合に用いられる光学装置であって、
   前記仮想視点の位置を焦点とする凸レンズと、
   複数の平面鏡により構成される鏡面であって、前記撮像装置の光学中心の位置を焦点とする楕円又は放物面に沿った形状の鏡面を有し、前記凸レンズから入射される光線を前記撮像装置へ反射する反射部と、
   前記複数の平面鏡の角度及び位置を調整する鏡駆動部と、
   任意の曲率の楕円の円周を近似する鏡面を形成するように前記複数の平面鏡の角度及び位置を調整するよう前記鏡駆動部を制御する鏡制御部と、
   を備える光学装置。
6. 請求項１から５のいずれか一項に記載の光学装置と、
   前記撮像装置と、
   を備える撮像システム。
7. 請求項４又は５に記載の光学装置と、
   前記撮像装置と、
   前記鏡制御部からの制御に応じて前記複数の平面鏡が任意の曲率の楕円の円周を近似する鏡面を形成した場合に、前記楕円の第２の焦点に前記撮像装置の光学中心が位置するように前記撮像装置の位置を調整する駆動部と、
   を備える撮像システム。
8. 前記撮像装置及び前記光学装置による撮影方向を調整する方向駆動部と、
   前記楕円の第１の焦点が前記仮想視点に位置するように前記方向駆動部を制御する方向制御部と、
   をさらに備える請求項７に記載の撮像システム。

Images