JP4871820B2 - 映像表示システム及び該システムのパラメータ生成方法 - Google Patents

Description

本発明は、映像表示システム及び該システムのパラメータ生成方法に係り、特に、入力された映像に幾何補正を施して表示することにより所望の映像を得るようにした映像表示システム及び該システムのパラメータ生成方法に関する。

魚眼レンズ等を用いて撮影した入力映像を、複数の画像投射装置を用いて表示する従来技術として、例えば、特許文献１等に記載された技術が知られている。この従来技術は、入力幾何プロファイルと出力幾何プロファイルとに基づいて入力映像から実際に表示すべき領域を切り出し、その切り出された映像に幾何補正を施した上で投射することにより、映像品質の劣化を抑えつつ、スクリーン上で所望の映像が得られるようにしたものである。
特開２００５−３４７８１３号公報

前述した従来技術は、表示領域の切り出し処理をリサンプリング処理として実施せざるを得ないため、切り出し処理をスキャンコンバータ等の単純な構成の安価な装置で実施することができず、システム全体のコストを増加させているという課題を有している。

本発明の目的は、前述した従来技術の課題を解決し、映像品質の劣化を抑えながらも、より低いコストで、魚眼レンズ等を用いて撮影した映像を表示することのできる映像表示システム及び該システムのパラメータ生成方法を提供することにある。

本発明によれば前記目的は、撮像パラメータに基づく条件で生成された画像である入力画像を供給する画像供給部と、抽出パラメータに基づいて、前記入力画像の一部分を成す矩形領域を切り出して、切り出し画像として出力する画像切り出し部と、幾何補正パラメータに基づいて前記切り出し画像に対して幾何学的な補正を施して出力する補正部と、前記補正部が出力した画像を表示する表示部とを備え、前記幾何補正パラメータは、前記表示部の設計値に基づく投影パラメータに基づいて生成された画像を補正して出力したときに前記表示部で所望の映像が得られるような補正パラメータである第１の補正パラメータと、前記撮像パラメータ及び前記抽出パラメータに基づいて生成される画像と前記投影パラメータに基づいて生成される画像との差異を補正するための補正パラメータである第２の補正パラメータとを合成した補正パラメータとされていることにより達成される。

すなわち、本発明は、高解像度な入力画像に対して、特許文献１に記載の技術のように複雑な切り出し処理による映像品質の維持を図ることはせず、切り出し部が実施する処理を矩形領域の抽出と解像度の変換のみに単純化し、複雑な幾何補正処理を補正部において一括して実施するようにすることにより、映像品質の劣化を抑えるようにしている。

本発明によれば、映像品質の劣化を抑えながら、従来技術に比較してより低いコストで、魚眼レンズ等を用いて撮影した映像を所望の映像として表示することができる。

以下、本発明による映像表示システム及び該システムのパラメータ生成方法の実施形態を図面により詳細に説明する。

図１は本発明の第１の実施形態による映像表示システムの構成を示すブロック図である。本実施形態による映像表示システムは、画像供給部１０１、切り出し部１１２及び１２２、補正部１１３及び１２３、投映部１１４及び１２４、及び、スクリーン１０５を備えて構成される。

画像供給部１０１は、切り出し部１１２及び１２２に対して、等距離魚眼レンズで撮影した画像を時々刻々供給するものであり、例えば、等距離魚眼レンズを付けたハイビジョンカメラと映像分配器との組により構成される。

切り出し部１１２及び１２２は、画像供給部１０１によって供給された画像から、スクリーン１０５に投射すべき領域を含む一部分の領域を切り出した上で解像度変換を行い、補正部１１３及び１２３に出力するものであり、例えば、スキャンコンバータである。なお、詳細な構成については、図２により後述する。

補正部１１３及び１２３は、切り出し部１１２及び１２２から入力された画像に、幾何補正処理及び画素値変換処理を施してから、投映部１１４及び１２４に供給することにより、スクリーン１０５に投映された２つの映像が滑らかに繋がり１つの所望の映像として観賞されるようにするものである。なお、詳細な構成については、図３により後述する。

投映部１１４及び１２４は、補正部１１３及び１２３から入力された画像をスクリーン１０５に対して投映するものであり、個々の映像がスクリーン１０５において１つの映像を形成できるように、隣り合う投映領域が互いに一部分重複するように配置される。投映部１１４及び１２４の具体的な例としては、例えば、液晶プロジェクタである。

スクリーン１０５は、例えば、観賞者から見て凹面となるような半球面形状の、正面投射用スクリーンを用いる。これによって、等距離魚眼レンズを用いて撮影した画像を、観賞者の視野の広い部分を効率よく覆うように正しく表示することが可能となる。

なお、以下に説明する本発明の実施形態では、切り出し部と補正部と投映部とからなる構成を「表示系列」と呼ぶこととする。図１に示す例における映像表示システムは、２つの表示系列を備えているとして示しているが、本発明は、表示系列の数を２つに限る必要はなく、画像供給部１０１が出力するチャンネル数を増減させることにより、増減させることが可能である。

図２は切り出し部１１２の構成を示すブロック図である。切り出し部１１２は、画像入力部２０１、フレームメモリ２０２、領域選択部２０３、出力部２０４、領域選択パラメータ入力部２０５、領域選択パラメータ記憶部２０６により構成される。なお、切り出し部１２２も同様に構成される。

画像入力部２０１は、画像供給部１０１から供給された１チャンネル分の画像を読み込み、デジタル画像データとしてフレームメモリ２０２に書き込むものであり、画像がアナログ信号として供給される場合、Ａ／Ｄ変換器を備えて構成される。

フレームメモリ２０２は、１チャンネル分の入力画像が格納可能な大きさのメモリを２フレーム分だけ備えて構成され、１フレーム分を画像入力部２０１からの書き込み用に、残りの１フレーム分を領域選択部２０３からの読み出し用に、奇数フレームと偶数フレームとでそれらの役割を交互に交代しながら使用される。

領域選択部２０３は、領域選択パラメータ記憶部２０６に格納されている領域選択パラメータに基づいて、フレームメモリ２０２上の画像データの一部を成している矩形領域を切り出し、適切な解像度変換を施して、出力部２０４に対して出力する。ここで、前記領域選択パラメータは、フレームメモリ２０２上の矩形領域が特定できるようなパラメータであり、例えば、フレームメモリ２０２上の座標系における矩形領域の左上の座標値（Ｘ０，Ｙ０）と矩形領域の幅及び高さの組（Ｗ，Ｈ）とにより構成される。パラメータの構成としては、その他に、左上と右下との座標値を指定する方法や、Ｘ座標とＹ座標とのそれぞれの最小値と最大値とを指定する方法、また、座標値の指定を画像全体の幅や高さに対する割合で実施する方法等、種々の方法によるものが考えられるが、矩形領域が特定できるものであれば、どのような方法で表現したパラメータで構成してもよい。

なお、切り出し部１１２が出力すべき画像の解像度、すなわち、前記領域選択部２０３による解像度変換後の解像度は、補正部１１３の入力解像度（後述する表示設計パラメータ４３２に含まれている）に応じて決定される。この解像度の設計値は、切り出し部１１２の図示しない記憶部に予め格納しておき、領域選択部２０３から参照できるようにされている。

出力部２０４は、領域選択部２０３から出力された画像を適切な映像信号に変換して補正部１１３に対して出力するものであり、補正部１１３がアナログ映像信号を入力するように構成されている場合、Ｄ／Ａ変換器を備えて構成される。

領域選択パラメータ記憶部２０６には、領域選択パラメータ入力部２０５を介して入力された領域選択パラメータが格納される。領域選択パラメータ入力部２０５には、後述するパラメータ生成部４０１の領域選択パラメータ出力部４１３に対応して領域選択パラメータを受け取れるようなものを使用する。例えば、領域選択パラメータ入力部２０５としては、フラッシュメモリ等の記憶媒体からパラメータを読み込む装置や、ネットワークインタフェース、ＲＳ−２３２ＣインタフェースやＵＳＢインタフェース等、種々のものを使用することができ、また、押ボタン等のユーザインタフェースを備えるように構成し、パラメータ生成部４０１の生成した領域選択パラメータ４１３をユーザが手動で入力できるようにしてもよい。

なお、切り出し部１１２の具体的な形態としては、フレームメモリ２０２としてＲＡＭを、領域選択パラメータ記憶部２０６として書き換え可能な不揮発性のメモリを、領域選択部２０３としてＦＰＧＡやＡＳＩＣを、それぞれ使用すればよいが、本発明の実施形態は、これらに限るものではない。

図３は補正部１１３の構成を示すブロック図である。補正部１１３は、画像入力部３０１、フレームメモリ３０２、幾何補正部３０３、画素値変換部３０４、出力部３０５、幾何補正パラメータ入力部３０６、幾何補正パラメータ記憶部３０７、画素値変換パラメータ入力部３０８、画素値変換パラメータ記憶部３０９により構成される。なお、補正部１２３も同様に構成される。

画像入力部３０１は、切り出し部１１２から供給された１チャンネル分の画像を読み込み、デジタル画像データとしてフレームメモリ３０２に書き込むものであり、画像がアナログ信号として供給される場合、Ａ／Ｄ変換器を備えて構成される。

フレームメモリ３０２は、１チャンネル分の入力画像が格納可能な大きさのメモリを２フレーム分だけ備えて構成され、１フレーム分を画像入力部３０１からの書き込み用に、残りの１フレーム分を幾何補正部３０３からの読み出し用に、奇数フレームと偶数フレームとでそれらの役割を交互に交代しながら使用される。

幾何補正部３０３は、幾何補正パラメータ記憶部３０７に格納されている幾何補正パラメータに基づいて、フレームメモリ３０２上の画像データに幾何補正を行った結果の画像データを画素値変換部３０４に対して出力するものである。前述の幾何補正パラメータは、幾何補正部３０３が出力する画像データのそれぞれの画素に対して該画素の画素値をフレームメモリ３０２上のどの画素を参照してどのように決定するかを定義したパラメータである。例えば、各画素について実数値Ｘと実数値Ｙとの組を格納しておき、それをフレームメモリ３０２上の（Ｘ，Ｙ）という座標値に対応させて、基準色（例えば、Ｒ，Ｇ，Ｂ）毎に、四近傍画素の双線形補間によって画素値を定めるように実装すればよい。なお、フレームメモリ３０２上に対応する座標値がない場合、予め定めた例外値を格納しておき、幾何補正部３０３を、そのような画素に対しては常に「黒」すなわち（Ｒ，Ｇ，Ｂ）＝（０，０，０）を出力するように構成する。

画素値変換部３０４は、画素値変換パラメータ記憶部３０９に格納されている画素値変換パラメータに基づいて、幾何補正部３０３から入力された画像中の各画素に対して画素値を変換して出力部３０５に対して出力するものであり、画像の色や明るさの補正に相当する処理を行う部分である。画素値変換部３０４への入力となる画像の解像度、及び、画素値変換部３０４からの出力となる画像の解像度は、いずれも、補正部１１３から出力される画像の解像度に等しくなるようにされている。前述の画素値変換パラメータは、例えば、各画素のＲとＧとＢとのそれぞれに独立に、入力画素値に対して出力画素値を定めたルックアップテーブルとして保持される。

出力部３０５は、画素値変換部３０４から出力された画像を適切な映像信号に変換して投映部１１４に対して出力するものであり、投映部１１４がアナログ映像信号を投映するように構成されている場合、Ｄ／Ａ変換器を備えて構成される。

幾何補正パラメータ記憶部３０７には、幾何補正パラメータ入力部３０６を介して入力された幾何補正パラメータが格納される。幾何補正パラメータ入力部３０６としては、後述するパラメータ生成部４０１の幾何補正パラメータ出力部４１４に対応して幾何補正パラメータを受け取れるようなものが使用される。例えば、幾何補正パラメータ入力部３０６としては、フラッシュメモリ等の記憶媒体からパラメータを読み込む装置や、ネットワークインタフェース、ＲＳ−２３２ＣインタフェースやＵＳＢインタフェース等、種々のものを使用することができる。

画素値変換パラメータ記憶部３０９には、画素値変換パラメータ入力部３０８を介して入力された画素値変換パラメータが格納される。画素値変換パラメータ入力部３０８としては、幾何補正パラメータ入力部３０６と同様に、画素値変換パラメータを供給する装置のインタフェースに合わせて、種々のものを使用することができる。画素値変換パラメータ記憶部３０９に格納する画素値変換パラメータは、既存の技術を用いて予め生成されたものであり、予め生成されたものを画素値変換パラメータ記憶部３０９に格納したものである。そして、この画素値変換パラメータは、後述する表示設計パラメータ４３２に基づいて生成された画像を画像供給部１０１から供給し、幾何補正パラメータ記憶部３０７に後述する原幾何補正パラメータ４３３を格納して幾何補正部３０３で幾何補正を施した上で、画素値変換部３０４で変換してから表示した場合に、スクリーン１０５上で所望の映像が得られるようにするパラメータである。

なお、補正部１１３の具体的な形態としては、フレームメモリ３０２としてＲＡＭを、幾何補正パラメータ記憶部３０７及び画素値変換パラメータ記憶部３０９として書き換え可能な不揮発性のメモリを、幾何補正部３０３及び画素値変換部３０４としてＦＰＧＡやＡＳＩＣを、それぞれ使用すればよいが、本発明の実施形態は、これらに限るものではない。

図４は切り出し部、補正部が使用するパラメータを生成するパラメータ生成部４０１の構成を示すブロック図である。なお、このパラメータ生成部４０１は、以下の説明では、１つの表示系列に対するパラメータを生成するものとして説明しているが、複数の表示系列に対するパラメータを生成するものとして、共通で使用される。このパラメータ生成部４０１は、切り出し部１１２が使用する領域選択パラメータと補正部１１３が使用する幾何補正パラメータとを生成するものであり、画像供給部１０１から供給される一連の映像に対して領域選択パラメータと幾何補正パラメータとをそれぞれ１つ生成して、切り出し部１１２、補正部１１３の記憶部に記憶させる際に使用される。従って、パラメータ生成部４０１は、図１に示す本発明の実施形態による映像表示システムを用いて、画像の投映を行う場合には、利用されず、映像表示システムとは、切り離されていてよい。

パラメータ生成部４０１は、演算処理部４１１と、記憶部４１２と、領域選択パラメータ出力部４１３と、幾何補正パラメータ出力部４１４と、コマンド入力部４１５とにより構成される。

演算処理部４１１は、記憶部４１２に記憶されたプログラム及びパラメータを使用して、適宜記憶部４１２を使用しながらコマンド入力部４１５から入力されたコマンドに対する処理を行うものであり、例えば、ＣＰＵである。

記憶部４１２は、パラメータ生成プログラム４２１と、撮像パラメータ４３１と、表示設計パラメータ４３２と、原幾何補正パラメータ４３３と、領域選択パラメータ４３４と、幾何補正パラメータ４３５と、演算処理部４１１が実行する処理の途中で一時的に生成される中間データとを格納するものであり、例えば、ＲＡＭとハードディスクとの組や、不揮発性メモリである。

領域選択パラメータ出力部４１３は、切り出し部１１２の領域選択パラメータ入力部２０５に対応して領域選択パラメータの授受ができるように構成されたものであり、例えば、フラッシュメモリ等の記憶媒体にパラメータを書き込む装置や、ネットワークインタフェース、ＲＳ−２３２ＣやＵＳＢのインタフェース等の種々のものを使用することができる。

幾何補正パラメータ出力部４１４は、補正部１１３の幾何補正パラメータ入力部３０６に対応して幾何補正パラメータの授受ができるように構成されたものであり、例えば、フラッシュメモリ等の記憶媒体にパラメータを書き込む装置や、ネットワークインタフェース、ＲＳ−２３２ＣやＵＳＢのインタフェース等の種々のものを使用することができる。

コマンド入力部４１５は、パラメータ生成プログラム４２１の起動コマンドと、領域選択パラメータの出力コマンドと、幾何補正パラメータの出力コマンドとを入力するためのものであり、例えば、キーボードである。

パラメータ生成プログラム４２１は、撮像パラメータ４３１と表示設計パラメータ４３２と原幾何補正パラメータ４３３とを入力として領域選択パラメータ４３４と幾何補正パラメータ４３５とを生成するプログラムである。パラメータ生成プログラム４２１の具体的な処理の内容については、図５により後述する。

撮像パラメータ４３１は、原画像の各画素位置に対して撮影視点位置からの三次元方向を算出するためのパラメータである。本発明の実施形態では、等距離魚眼レンズを用いて撮影した画像を画像供給部１０１から供給しているため、撮像パラメータ４３１としては、原画像の座標系における投影中心の座標位置と、像円の半径、魚眼レンズの画角、原画像の幅及び高さ、ワールド座標系（＝表示設計パラメータ４３２が従っている三次元の座標系）における撮像姿勢、を含むように構成される。

なお、本発明の実施形態では、魚眼レンズの高次の歪みは無視して処理を行うが、歪みが無視できない場合、それらを表現するためのパラメータを撮像パラメータ４３１が備えるように構成すればよい。また、前述した投影中心の座標位置及び像円の半径については、撮影された画像から推定するようにしてもよい。具体的には、像円の外側の領域が、一般に黒あるいは黒に近い状態で撮影されることを利用して、２値化処理によって像円の境界線を抽出し、ハフ変換等の手法によって円の方程式を推定すればよい。

表示設計パラメータ４３２は、各補正部の入力解像度と、「各補正部に供給される画像の各画素が、ワールド座標系において、仮想的な投影中心位置を基準としてどの３次元方向に対応するデータであるか」を表すパラメータとを含むパラメータである。

原幾何補正パラメータ４３３は、予め既存の技術を利用して生成したものであり、表示設計パラメータ４３２に基づいて生成された画像を画像供給部１０１から供給し、幾何補正パラメータ記憶部３０７に原幾何補正パラメータ４３３を格納して幾何補正を施してから表示した場合に、スクリーン１０５上で幾何学的に所望の映像が得られるように生成されたパラメータである。

領域選択パラメータ４３４は、演算処理部４１１がパラメータ生成プログラム４２１を使用して生成するパラメータであり、それぞれの表示系列に対して、原画像上の座標系における矩形領域の左上のＸ座標値及びＹ座標値と、矩形領域の幅及び高さとを備えたパラメータである。

幾何補正パラメータ４３５は、演算処理部４１１がパラメータ生成プログラム４２１を使用して生成するパラメータであり、投映部１１４に供給する画像の各画素に対し、フレームメモリ上の座標系で、リサンプリングに用いるＸ座標値及びＹ座標値を備えたパラメータである。

なお、原画像上の座標系、及び、フレームメモリ上の座標系においては、左上隅の位置を原点（０，０）として、右に行くほどＸ座標が大きくなるように、下に行くほどＹ座標が大きくなるように、座標系を構成する。

図５はパラメータ生成部でのパラメータ生成の処理動作を説明するフローチャート、図６は必要範囲算出方法と矩形領域抽出方法とを説明する図である。なお、図５、図６においては、１つの表示系列に対する処理のみを説明するが、実際には、それぞれの処理は、必要な表示系列のそれぞれに対して実施される。また、図５に示すフローのステップ５０１、５０２は、図６において、原画像６００から必要範囲６０１を算出し、算出した必要範囲６０１に基づいて切り出しを行う矩形領域６０２を抽出する処理に相当する。以下、その具体的な方法について、仮想的な投影中心位置と撮影視点位置とを一致させる場合を例として、説明する。

（１）パラメータ生成処理が開始されると、まず、必要範囲算出処理を実行する。この必要範囲算出処理は、原画像上において、補正部１１３におけるリサンプリング処理によって画素値を決定するために参照される画素をマークする処理である。具体的には、例えば、補正部１１３の幾何補正部３０３を、四近傍画素の双線形補間によって画素値を定めるように構成した場合、原画像と同じ大きさの２値画像を用意して全画素の画素値を「０」で初期化しておき、画素値を生成する必要のある各画素に対してその参照元の座標値（ｘ，ｙ）を計算し、（ｘ，ｙ）が原画像の右と下の境界を含まない内部に存在する場合に、ｘ０を「ｘを超えない最大の整数値」、ｘ１を「ｘ０＋１」、ｙ０を「ｙを超えない最大の整数値」、ｙ１を「ｙ０＋１」と定義したときに、前述の２値画像上で、四点（ｘ０，ｙ０）、（ｘ０，ｙ１）、（ｘ１，ｙ０）、（ｘ１，ｙ１）の画素値を「１」にする処理である。ここで、参照元の座標値の計算は、撮像パラメータ４３１と表示設計パラメータ４３２とから既存の技術を用いて実施される（ステップ５０１）。

（２）次に、矩形領域抽出処理を実行する。この矩形領域抽出処理は、原画像上の座標系において、ステップ５０１の処理で算出した必要範囲を含み、かつ、当該領域の各辺が原画像の対応する各辺に平行であるような最小の矩形領域を抽出する処理である。このような矩形領域は、ステップ５０１で生成した２値画像から、画素値が「１」であるような画素が存在するＸ座標の最小値及び最大値、Ｙ座標の最小値及び最大値を求めることにより、抽出することができる（ステップ５０２）。

（３）次に、領域選択パラメータ保存処理を実行する。この領域選択パラメータ保存処理は、ステップ５０２の処理で抽出された矩形領域を、適切なフォーマット変換によって領域選択パラメータ４３４として記憶部４１２に格納する処理である。なお、領域選択パラメータ出力部４１３と切り出し部１１２の領域選択パラメータ入力部２０５とが接続されている場合には、前記領域選択パラメータを領域選択パラメータ記憶部２０６に格納する処理を同時に行うようにしてもよい（ステップ５０３）。

（４）次に、幾何補正パラメータ合成処理を実行する。この幾何補正パラメータ合成処理は、原幾何補正パラメータ４３３と、切り出し部で切り出された入力画像を設計値に合わせるための幾何補正パラメータとを合成する処理である。ここで後者の幾何補正パラメータは、撮像パラメータ４３１と表示設計パラメータ４３２との間での投影方法の差異を補正するための幾何補正関数ｇ（・）と、矩形領域の抽出に伴う補正をするための幾何補正関数ｈ（・）と、解像度変換に伴う補正をするための幾何補正関数ｋ（・）とを合成したものである。すなわち、ここでの幾何補正パラメータ合成処理では、原幾何補正パラメータ４３３による幾何補正を関数ｆ（・）で表した場合、ｋ（ｈ（ｇ（ｆ（ｘ））））という合成関数で表現される幾何補正パラメータを生成する。なお、いずれの関数も、２次元座標値を入力として２次元座標値を出力する関数である（ステップ５０４）。

前述のステップ５０４での処理をより具体的に説明すると、まず、原幾何補正パラメータ４３３による幾何補正においては、画素位置ｘの画素の画素値は、フレームメモリ上の座標ｆ（ｘ）に基づいて決定される。しかし実際に幾何補正部に入力されるのは、表示設計パラメータで想定されている投影方法とは異なる投影方法で生成された画像であるため、ワールド座標系における３次元構造を考慮して、両者の食い違いを補正する必要がある。表示設計パラメータ４３２を参照することにより、フレームメモリ上の座標ｆ（ｘ）は、ワールド座標系において仮想的な投影中心位置を基準とした３次元の方向ｄに対応するということが判るから、撮像パラメータ４３１を参照することにより、同じ方向ｄに対応する原画像上の座標ｇ（ｆ（ｘ））を算出することができる。この座標値は、矩形領域の切り出しによって座標原点が移動することにより、ｈ（ｇ（ｆ（ｘ）））という座標値になる。さらに、Ｘ方向とＹ方向とのそれぞれで独立のスケール変換が施されることによりｋ（ｈ（ｇ（ｆ（ｘ））））という座標値となり、これが切り出し部から出力される画像、すなわち、補正部のフレームメモリに入力される画像上において、リサンプリングされるべき座標値となる。なお、それぞれの幾何補正関数は、既存の技術を用いて容易に生成することができる。例外処理については、ｆ（ｘ）が前出の例外値に一致する場合には、合成後の座標値も同じく例外値にすればよく、さらに、ｇ（ｆ（ｘ））が原画像からはみ出す場合やｈ（ｇ（ｆ（ｘ）））が矩形領域の範囲からはみ出す場合についても、合成後の座標値を例外値とすればよい。

（５）次に、幾何補正パラメータ保存処理を行う。この幾何補正パラメータ保存処理は、ステップ５０４の処理で合成された幾何補正パラメータを、記憶部４１２に幾何補正パラメータ４３５として格納する処理である。なお、幾何補正パラメータ出力部４１４と補正部１１３の幾何補正パラメータ入力部３０６とが接続されている場合には、前記幾何補正パラメータを幾何補正パラメータ記憶部３０７に格納する処理を同時に行うようにしてもよい（ステップ５０５）。

ステップ５０５での幾何補正パラメータ保存処理の終了後、パラメータ生成処理を終了する。

前述した本発明の第１の実施形態によれば、高解像度な入力画像に対して、切り出し部が、補正部の処理に必要となる最小限の矩形領域を抽出した上で、補正部で処理が可能な解像度に変換して画像を出力するようにし、補正部が、従来の幾何補正パラメータと、切り出し部で切り出された入力画像を設計値に合わせるための幾何補正パラメータとを合成した、第２の幾何補正パラメータを用いて幾何補正を実施するようにしたことにより、映像品質の劣化を抑えながら、従来技術に比べより低いコストで、魚眼レンズ等を用いて撮影した映像を表示することのできる映像表示システムを提供することができる。

なお、前述した本発明の第１の実施形態においては、切り出し部の個数が投映部の個数と同数となるような構成としたが、本発明の実施形態はこれに限るものではない。例えば、切り出し部が、投映部の個数と同じ個数の出力部を持つような構成として、１個の切り出し部によって複数の補正部に映像を供給するようなシステム構成としてもよい。

また、前述した本発明の第１の実施形態においては、画像供給部１０１が供給する画像は、等距離魚眼レンズを用いて撮像した画像であるとしたが、本発明の実施形態は、これに限るものではなく、撮像パラメータ４３１、必要範囲算出処理５０１、幾何補正パラメータ合成処理５０４を、適切に構成することができるものであればよい。例えば、表示設計パラメータとして想定されているものとは別の透視変換に基づくような画像であってもよいし、「軸対称自由曲面レンズ」と呼ばれる水平画角３６０度を一度に撮影できるような光学系を使用して撮影された画像であってもよい。さらに、各種の投影方式に基づき、コンピュータグラフィクスの技術によって生成された画像であってもよい。

また、前述した本発明の第１の実施形態においては、仮想的な投影中心位置と撮影視点位置とが一致している場合について説明したが、本発明の実施形態は、これに限るものではない。例えば、表示設計パラメータ４３２がスクリーン１０５の形状・姿勢・配置に関する情報を備えるようにし、パラメータ生成処理のステップ５０１及びステップ５０４での処理において原画像上の座標値を算出する際に、「スクリーン１０５上の対応する点」を介して求めるような構成とすることにより、仮想的な投影中心位置と撮影視点位置とをワールド座標系上で異なる位置に設定したい場合にも、適用可能である。

次に、本発明の第２の実施形態による映像表示システムについて説明する。本発明の第２の実施形態は、前述までに説明した第１の実施形態におけるパラメータ生成処理を、複数の表示系列間の領域選択パラメータの関係を考慮して実施するように変更したものであり、それ以外の構成は第１の実施形態と同一である。

図７は本発明の第２の実施形態でのパラメータ生成の処理動作を説明するフローチャート、図８は図７に示すフローにおけるステップ７０１のサイズ調整処理の詳細を説明するフローチャートである。図７に示すフローにおいて、ステップ５０１〜５０５は、図５の場合と同一の処理である。

図７に示すように、本発明の第２の実施形態におけるパラメータ生成の処理動作は、図５により説明したステップ５０２の矩形領域抽出処理の終了後、ステップ５０３の領域選択パラメータ保存処理を開始する前に、サイズ調整処理を実施するステップ７０１の処理を加えた点で第１の実施形態と相違する。以下、図８に示すフローを参照して、ステップ７０１のサイズ調整処理について説明する。

（１）サイズ調整処理が開始されると、まず、サイズ決定処理を実行する。このサイズ決定処理は、全ての表示系列に対して不具合が発生しないように、かつ、全ての表示系列に対して原画像から最終的に抽出する矩形領域が同一のサイズとなるように、原画像から最終的に抽出する矩形領域のサイズを決定する処理である。具体的な処理は、全ての表示系列に対して、ステップ５０２で抽出された矩形領域を参照し、該矩形領域の幅の最大値を、原画像から最終的に抽出する矩形領域の幅として、同様に該矩形領域の高さの最大値を、原画像から最終的に抽出する矩形領域の高さとして、それぞれ決定する処理である（ステップ８０１）。

（２）続いて、位置調整処理を実行する。この位置調整処理は、矩形領域のサイズの変更に伴って、抽出する矩形領域が原画像の外の領域を含むことになってしまう不具合を解消するための処理である。具体的には、各表示系列に対して、ステップ５０２の処理で抽出された矩形領域を含み、かつ、原画像の外の領域を含まないように、矩形領域の左上位置を修正する処理である。例えば、矩形領域の左上位置のＸ座標がｘ０、矩形領域の幅がｗ０、原画像の幅がＷ（すなわち、原画像のＸ座標値が０〜Ｗ−１）である場合には、「Ｗ≦ｘ０＋ｗ０」となると矩形領域が原画像の外の領域を含むことになるが、その場合、「Ｗ−ｗ０−１」の値を改めて矩形領域の左上位置のＸ座標とすることにより、不具合を解消する。Ｙ座標、すなわち、高さ方向に関しても、同様に処理を行う（ステップ８０２）。

ステップ８０２の位置調整処理の終了後、サイズ調整処理を終了する。

前述した本発明の第２の実施形態によれば、重複する投映領域同士の間で、画素値の算出に用いられる原画像上の画素密度を一致させられるため、スクリーン上での複数の映像の間のつなぎ目を目立ちにくくすることができる。

次に、本発明の第３の実施形態による映像表示システムについて説明する。本発明の第３の実施形態は、前述で説明した第２の実施形態におけるサイズ調整処理を、システム全体として画素値算出に要する補間演算の回数ができるだけ少なくなるように変更したものである。

図９は本発明の第３の実施形態でのサイズ調整処理の詳細を説明するフローチャートである。本発明の第３の実施形態でのサイズ調整処理は、図８により説明した第２の実施形態でのサイズ調整処理におけるステップ８０１のサイズ決定処理を、サイズ選択処理９０１に変更したものである。なお、以下の説明では、補正部１１３のフレームメモリ３０２における一画面分の解像度を「基準サイズ」と定義する。

本発明の第３の実施形態でのサイズ調整処理におけるステップ９０１のサイズ選択処理は、表示系列毎に基準サイズとステップ５０２の処理で抽出された矩形領域のサイズとのどちらを原画像から最終的に抽出する矩形領域のサイズとするのかを選択する処理である。

このサイズ選択処理は、具体的には、表示系列毎に、ステップ５０２の処理で抽出された矩形領域のサイズと、基準サイズとを、幅及び高さに関してそれぞれ比較し、いずれも基準サイズの方が大きい場合に、原画像から最終的に抽出する矩形領域のサイズとして基準サイズを選択し、それ以外の場合、原画像から最終的に抽出する矩形領域のサイズとしてステップ５０２で抽出された矩形領域のサイズを選択する処理である。

前述した本発明の第３の実施形態によれば、原画像から最終的に抽出する矩形領域のサイズが基準サイズに等しい場合、切り出し部における処理で、画素値算出のための補間演算が発生しないため、システム全体として画素値算出に要する補間演算の回数を、原理的に可能な範囲で少なくすることができ、映像品質の劣化をさらに抑えることができる。

前述した本発明の第１〜第３の実施形態から判るように、本発明の本質は、高解像度な入力画像から担当領域の表示に必要な部分を切り出すための処理を単純化し、単純化したことで必要となる幾何学的な補正処理を、複数の投映部から投映した映像をスクリーン上で滑らかに繋げるための幾何補正処理と合成して同時に実施するようにした点にあり、前述した本発明の各実施形態に記載の特徴を、用途に合わせて適宜組み合わせて使用してもよいことは言うまでもない。例えば、補正部の実装やスクリーン形状等は、例示したものに限るものではない。

本発明の第１の実施形態による映像表示システムの構成を示すブロック図である。 切り出し部の構成を示すブロック図である。 補正部の構成を示すブロック図である。 切り出し部、補正部が使用するパラメータを生成するパラメータ生成部の構成を示すブロック図である。 パラメータ生成部でのパラメータ生成の処理動作を説明するフローチャートである。 必要範囲算出方法と矩形領域抽出方法とを説明する図である。 本発明の第２の実施形態でのパラメータ生成の処理動作を説明するフローチャートである。 図７に示すフローにおけるサイズ調整処理の詳細を説明するフローチャートである。 本発明の第３の実施形態でのサイズ調整処理の詳細を説明するフローチャートである。

符号の説明

１０１ 画像供給部
１０５ スクリーン
１１２、１２２ 切り出し部
１１３ １２３ 補正部
１１４ １２４ 投映部
２０１ 画像入力部
２０２、３０２ フレームメモリ
２０３ 領域選択部
２０４、３０５ 出力部
２０５ 領域選択パラメータ入力部
２０６ 領域選択パラメータ記憶部
３０１ 画像入力部
３０３ 幾何補正部
３０４ 画素値変換部
３０６ 幾何補正パラメータ入力部
３０７ 幾何補正パラメータ記憶部
３０８ 画素値変換パラメータ入力部
３０９ 画素値変換パラメータ記憶部
４０１ パラメータ生成部
４１１ 演算処理部
４１２ 記憶部
４１３ 領域選択パラメータ出力部
４１４ 幾何補正パラメータ出力部
４１５ コマンド入力部
４２１ パラメータ生成プログラム
４３１ 撮像パラメータ
４３２ 表示設計パラメータ
４３３ 原幾何補正パラメータ
４３４ 領域選択パラメータ
４３５ 幾何補正パラメータ

Claims (6)

1. 撮像パラメータに基づく条件で生成された画像である入力画像を供給する画像供給部と、
   抽出パラメータに基づいて、前記入力画像の一部分を成す矩形領域を切り出して、切り出し画像として出力する画像切り出し部と、
   幾何補正パラメータに基づいて前記切り出し画像に対して幾何学的な補正を施して出力する補正部と、
   前記補正部が出力した画像を表示する表示部とを備え、
   前記幾何補正パラメータは、前記表示部の設計値に基づく投影パラメータに基づいて生成された画像を補正して出力したときに前記表示部で所望の映像が得られるような補正パラメータである第１の補正パラメータと、前記撮像パラメータ及び前記抽出パラメータに基づいて生成される画像と前記投影パラメータに基づいて生成される画像との差異を補正するための補正パラメータである第２の補正パラメータとを合成した補正パラメータとされていることを特徴とする映像表示システム。
2. 前記画像切り出し部は、画素密度の変更をも行うことを特徴とする請求項１記載の映像表示システム。
3. 前記表示部は、複数の表示装置を備え、
   前記切り出し部は、前記複数の表示装置のそれぞれに対応する前記切り出し画像を、互いに同じ大きさの矩形領域を切り出して生成することを特徴とする請求項１記載の映像表示システム。
4. 前記切り出し部は、前記切り出し画像と同じ大きさの矩形領域を切り出すことを特徴とする請求項１記載の映像表示システム。
5. 前記画像供給部は、魚眼投影系に基づく条件で生成された画像を供給することを特徴とする請求項１ないし４のうちいずれか１記載の映像表示システム。
6. 撮像パラメータに基づく条件で生成された画像である入力画像を供給する画像供給部と、
   抽出パラメータに基づいて前記入力画像の一部分を成す矩形領域を切り出して、切り出し画像として出力する画像切り出し部と、
   幾何補正パラメータに基づいて前記切り出し画像に対して幾何学的な補正を施して出力する補正部と、
   前記補正部が出力した画像を表示する表示部と、
   を備え、
   前記幾何補正パラメータは前記表示部において幾何学的に所望の映像が得られるようなパラメータとされていること、を特徴とする映像表示システムの、前記抽出パラメータを生成するパラメータ生成方法であって、
   前記表示部の設計値として与えられる投影パラメータと、前記撮像パラメータと、に基づいて、前記補正部における処理で参照され得る領域である切り出し必須領域を算出する第一のステップと、
   前記切り出し必須領域を含む矩形領域として、前記入力画像から切り出す前記矩形領域を決定する第二のステップと、
   を備えたことを特徴とする、パラメータ生成方法。

Images