JP2018151696A - 自由視点移動表示装置 - Google Patents

Abstract

【課題】ＣＧを用いることなく、対象映像中でＣＧに貼り付けたテクスチャーを自由視点で見るときの特有のゆがみのない連続視点移動を可能とする。【解決手段】対象映像のカメラ位置と姿勢の三次元座標値を示すＣＶ（カメラベクトル）値を求めるＣＶ演算を行い対象映像にＣＶ値を付加したＣＶ映像を生成するＣＶ映像取得部２０と、ＣＶ値を付加した複数のＣＶ映像をその三次元座標に合わせて仮想空間に配置する仮想三次元空間配置部３１と、複数のＣＶ映像から、予定する視点移動座標に最も近い画像フレームを、予定の視点移動座標に沿って適切な間隔で複数選択する視点移動経路画像選択部３２と、複数の画像フレームの視点方向及び視点移動方向を予定の方向に合致するように変換しそれら複数の画像フレームを順次結合して連続画像を生成する始点・終点連続画像表示部３５を備え、連続画像により視覚的に自然な視点移動及び自然な視点方向移動の画像を表示する。【選択図】図１４

Description

本発明は、ＣＧを使わないで、ビデオカメラ等で取得された画像・映像のみによって、画像や映像を自由視点で忠実に表現する画像・映像処理技術に関する。

現状、画像を自由な視点で表示する手法としてはＣＧ（コンピュータ・グラフィック）があり、特に、３ＤＣＧ（三次元ＣＧ）が唯一の手法として知られている。
また、簡易的に、しかも擬似的に視点移動ができるように、概略のＣＧを作って、そこに画像を貼り付け、擬似的に自由視点で表示する方法がある。
これは、本願の出願人に係る特許第４２７２９６６号にあるように、一度概略のＣＧを作って、そこにテクスチャーとして画像を貼り付け、それを自由な視点で見るように、任意の視点方向から表示する手法である。
例えばＧｏｏｇｌｅ社のストリートビューやグーグルアースなどはこの手法を用いている。

このようにＣＧと画像の貼り付けに関する技術としては、例えば、通常のカメラで撮影された映像に、画像から生成した、或いは直接コンピュータで生成した３ＤＣＧを合成する技術が知られている。
この種の３ＤＣＧ合成技術は、例えば、車載カメラや撮影者が持つカメラ等の移動するカメラにより撮影された実写映像と３ＤＣＧを合成するもので、テレビ放送や映画，コンピュータゲームなどの映像表現の分野で用いられている（例えば、特許文献１−４参照。）。

特開平０７−２８７７７５号公報 特開平０９−０５０５４０号公報 特開平１０−３２０５９０号公報 特開２００１−２０２５３１号公報

しかしながら、上記のような３ＤＣＧ合成技術を含めて、ＣＧを用いた擬似的な自由視点表示は、ＣＧが精緻であれば、それなりの精度の高い自由視点が得られるが、ＣＧが粗ければ、視点によって、画像は大きくゆがめられ、不自然さを隠しきれなくなる。
例えば、概略ＣＧに、道路上の画像から作った或る視点から撮影した画像を貼り付け、表示する視点を移動させると、貼り付けた画像と同じ視点から見るように視点を表示したときのみ、正しい視点表示が得られるが、それ以外の視点を表示したときは、次第に表示はゆがみ、例えば電柱が折れ曲がるように表示されてしまう。

つまり、正しい視点を作り出すためには、徹底的に現実と同じ形状のＣＧを作る以外には無い。しかしそれはもう既に、ＣＧを作ることそのものであり、画像をテクスチャーとし貼り付けたＣＧそのものである。
そのように現実と同視できるように徹底的に作り込まれたＣＧは、しかしそれであってもＣＧである限り、現実の世界とは異なり、以下のような問題が発生する。

１．現実に存在するモノが、ＣＧに表示されているとは限らず、また、ＣＧに表示されているモノが、現実にあるとは限らない。さらに、
２．ＣＧに表示されていないモノが、現実にも無いとは限らないし、現実に無いものがＣＧにも表示されていないとは限らない。
つまり、ＣＧは原理的に、如何に精緻に作っても、もとの現実世界を忠実に映し出した映像情報からの情報欠落と誤情報付加がある。
ここで重要なことは、ＣＧは原理的に必ず情報欠落と誤情報付加があることであり、一方、現実をカメラで写した画像や映像にはそれが無いことである。

本発明は、以上のような従来の技術が有する問題を解決するために提案されたものであり、ＣＧを一切用いず、複数の画像データを仮想空間に配置して、その画像を視点移動に従って、最も近い画像を選択しながら、順次表示し、その中間を、ＣＧを使わず、画像の拡大と縮小と視点方向移動で結合しつつ、視点を移動することで、ＣＧ独自のゆがみのない連続視点移動を可能とする、自由視点移動表示装置の提供を目的とする。

上記目的を達成するため、本発明の自由視点移動表示装置は、所定の映像取得手段で撮影された対象映像のカメラ位置と姿勢の三次元座標値を示すＣＶ（カメラベクトル）値を求めるＣＶ演算を行い、前記対象映像に前記ＣＶ値を付加したＣＶ映像を生成するＣＶ映像取得手段と、前記カメラ位置と姿勢の三次元座標値を示すＣＶ値を付加した複数のＣＶ映像を、その三次元座標に合わせて仮想空間に配置する仮想三次元空間配置手段と、前記複数のＣＶ映像から、予定する視点移動座標に最も近い画像フレームを、予定の視点移動座標に沿って適切な間隔で複数選択する視点移動経路選択手段と、前記選択された複数の画像フレームの視点方向、拡大率、画角、及び視点移動方向等を、予定の方向に合致するように変換し、それらの選択された画像フレームを順次結合して、動画映像又は連続静止画像からなる連続画像を生成する連続画像生成手段と、を備え、前記連続画像により、視覚的に自然な視点移動及び自然な視点方向移動の画像を表示する構成としてある。

本発明の自由視点移動表示装置によれば、ＣＧを一切用いず、複数の画像データを仮想空間に配置して、その画像を視点移動に従って、最も近い画像を選択しながら、順次表示し、その中間を、ＣＧを使わず、画像の拡大と縮小と視点方向移動で結合しつつ、視点を移動することができる。
これによって、ＣＧでは避けられなかった、ゆがみのない、連続視点移動を可能とし、自然な視点移動の動画を再生することができ、しかも、画像のどの位置で止めて静止画として表示しても、ＣＧのような情報欠落は発生せず、ゆがみのない静止画像を表示することができる。

本発明の自由視点移動表示装置において、対象映像のＣＶ演算を行うＣＶ演算手段（ＣＶ映像取得部）の一実施形態の基本構成を示すブロック図である。 図１に示すＣＶ演算手段で使用する全周ビデオ映像を撮影する手段を示す概略図であり、屋根部に全周カメラを搭載した車輌の斜視図である。 図１に示すＣＶ演算手段で使用する全周ビデオ映像を撮影する手段を示す概略図であり、（ａ）は屋根部に全周カメラを搭載した車輌の正面図、（ｂ）は同じく平面図である。 全周カメラで撮影される映像から得られる変換画像を示す説明図であり、（ａ）は球面画像が貼り付けられる仮想球面を、（ｂ）は仮想球面に貼り付けられた球面画像の一例を、（ｃ）は（ｂ）に示した球面画像をメルカトール図法に従って平面展開した画像を示している。 本発明の一実施形態に係るＣＶ演算手段おける具体的なカメラベクトルの検出方法を示す説明図である。 本発明の一実施形態に係るＣＶ演算手段における具体的なカメラベクトルの検出方法を示す説明図である。 本発明の一実施形態に係るＣＶ演算手段における具体的なカメラベクトルの検出方法を示す説明図である。 本発明の一実施形態に係るＣＶ演算手段によるカメラベクトルの検出方法における望ましい特徴点の指定態様を示す説明図である。 本発明の一実施形態に係るＣＶ演算手段により得られる特徴点の三次元座標とカメラベクトルの例を示すグラフである。 本発明の一実施形態に係るＣＶ演算手段により得られる特徴点の三次元座標とカメラベクトルの例を示すグラフである。 本発明の一実施形態に係るＣＶデータ演算手段により得られる特徴点の三次元座標とカメラベクトルの例を示すグラフである。 本発明の一実施形態に係るＣＶ演算手段において、カメラから特徴点の距離に応じて複数の特徴点を設定し、それを隣接するフレームに亘って追跡し、複数の演算を繰り返し行う場合を示す説明図である。 本発明の一実施形態に係るＣＶデータ演算手段で求められたカメラベクトルの軌跡をビデオ映像中に表示した場合の図である。 本発明の一実施形態に係る自由視点移動表示装置の基本構成を示すブロック図である。 図１４に示す自由視点移動表示装置において、対象映像から取得されたＣＶ値を三次元の仮想空間に配置した状態を模式的に示す説明図である。 図１５に示す三次元の仮想空間に配置されたＣＶ値の詳細を模式的に示す説明図である。 本発明の一実施形態に係る自由視点移動表示装置における、対象映像と当該対象映像のＣＶ値の関係を模式的に示した説明図であり、（ａ）は対象映像の一例を、（ｂ）は（ａ）に示す対象映像に対応するＣＶ値を示したものである。 図１７に引き続いて、対象映像と当該対象映像のＣＶ値の関係を模式的に示した説明図である。 図１８に引き続いて、対象映像と当該対象映像のＣＶ値の関係を模式的に示した説明図である。 図１９に引き続いて、対象映像と当該対象映像のＣＶ値の関係を模式的に示した説明図である。 本発明の一実施形態に係る自由視点移動表示装置における、ＣＶ値に基づく画角の調整処理の動作を説明する説明図である。 本発明の一実施形態に係る自由視点移動表示装置における、ＣＶ値に基づく視点位置と画角の関係を説明する説明図である。 本発明の一実施形態に係る自由視点移動表示装置における、ＣＶ値に基づく中間フレーム画像のブレンド処理の動作を説明する説明図であり、（ａ）はブレンド処理された対象映像の一例を、（ｂ）は（ａ）に示すブレンド処理された２つの中間フレーム画像のブレンド比率と視点から目標フレームまでの距離の関係を示すグラフである。 本発明の一実施形態に係る自由視点移動表示装置における、複数のフレーム画像によるアニメーションの経過時間と視点から目標フレームまでの距離の関係を示すグラフである。 本発明の一実施形態に係る自由視点移動表示装置における、複数のフレーム画像によるアニメーション中に取得される各中間フレーム画像の画角の変化の一例を示す説明図である。 自己位置姿勢標定装置に適用する本発明の一実施形態に係る自由視点移動表示装置を示す機能ブロック図である。 本発明に係る自由視点移動表示装置を備えた自己位置姿勢標定装置の一実施形態を示す機能ブロック図である。

以下、本発明に係る自由視点移動表示装置の好ましい実施形態について、図面を参照しつつ説明する。
ここで、以下に示す本発明の自由視点移動表示装置は、プログラム（ソフトウェア）の命令によりコンピュータで実行される処理，手段，機能によって実現される。プログラムは、コンピュータの各構成要素に指令を送り、以下に示すような所定の処理や機能、例えば、対象映像中の基準となる特徴点（基準点）やその他の特徴点の自動抽出，抽出した基準点の自動追跡，基準点の三次元座標の算出，ＣＶ（カメラベクトル）値の演算，複数のＣＶ映像の仮想三次元空間への配置，複数のＣＶ映像からの最適な画像フレームの選択，複数の画像フレームの視点方向及び視点移動方向の変換，選択された画像フレームの結合等を行わせる。このように、本発明における各処理や手段は、プログラムとコンピュータとが協働した具体的手段によって実現される。

なお、プログラムの全部又は一部は、例えば、磁気ディスク，光ディスク，半導体メモリ，その他任意のコンピュータで読取り可能な記録媒体により提供され、記録媒体から読み出されたプログラムがコンピュータにインストールされて実行される。
また、プログラムは、記録媒体を介さず、通信回線を通じて直接にコンピュータにロードし実行することもできる。
また、コンピュータは、例えば一台のＰＣ等で構成してもよく、また、複数台のサーバコンピュータ等で構成することもできる。

［ＣＶ映像］
以下に示す本発明の一実施形態に係る自由視点移動表示装置は、例えばビデオカメラで撮影・取得された対象映像において、映像中の任意の点や対象物を指定・選択することにより、その指定された点・対象物に向かって、複数のフレーム画像にわたる最適な経路を選択して視点を移動させ、ＣＧにおけるようなゆがみのない、自然な視点移動による動画（連続画像）として再生することができるための手段である。
そして、本実施形態に係る自由視点移動表示装置では、上記のような自由視点移動表示を実現するために、対象映像に所定の三次元座標と姿勢の計６変数の情報を付与したＣＶ（カメラベクトル）映像を用いることを前提としている。
なお、上記と同等の６変数は、例えばカメラに取り付けた機械センサー（ＩＭＵとジャイロ等）などによっても取得できるが、ＣＶ演算による方が、精度が高く、コストがかからず、簡単に生成・取得することができる。

以下、本発明に係る自由視点移動表示で用いられるＣＶ映像について説明する。
自由視点移動表示を行う前提として、視点移動の対象・目的となる対象映像を取得・撮影する撮影カメラを車両等の移動体に設置し、動画映像、又は連続する静止画を取得する。その上で、取得した対象映像の各フレーム画像の中に特徴点を抽出するなどして、数学的演算により、全フレームのカメラ位置と姿勢を演算で求める。
具体的にはカメラ位置と姿勢を６変数、具体的には、カメラの位置座標（Ｘ，Ｙ，Ｚ）とそれぞれの座標軸の回転角（Φｘ，Φｙ，Φｚ）の六個の自由度のベクトル（カメラベクトル：ＣＶ）で表し、それを映像の各フレームに一対一に対応させることで、ＣＶ映像を生成することができる（後述する図１〜１３参照）。
このＣＶ映像を用いることで、既存の画像合成技術のようなＣＧを用いることなく、任意の映像において自由な視点移動表示が可能となる。

ここで、目的となるカメラの位置と姿勢を示す６変数とは、座標［Ｘ，Ｙ，Ｚ］と姿勢［Φｘ，Φｙ，Φｚ］の計６種類の変数である。
すなわち、本実施形態に係る自由視点移動表示装置は、対象映像に含まれる任意の点・対象物について、その位置と姿勢を示す６変数を取得するものである。この６変数の取得とは、上述のとおり、三次元位置座標を示す［Ｘ，Ｙ，Ｚ］と姿勢を示す［Φｘ，Φｙ，Φｚ］の６個の変数を決定することである。
このような位置と姿勢の６変数を示すＣＶ値が付与された映像が、ＣＶ映像である。

［用語の定義］
次に、本明細書・特許請求の範囲中において使用する用語・語句についての定義を説明する。
・ＣＶ値／ＣＶ映像／ＣＶ画像：
移動する物体、（たとえば車両やロボット等）に積載された機械センサーで得られた６変数、及びカメラから得られた連続する静止画像、又は動画像から、カメラの位置と姿勢を算出した６変数をカメラベクトル（ＣＶ）と呼称し、その値をＣＶ値といい、ＣＶ値を演算で求めることをＣＶ演算といい、そしてそのようなＣＶ値を有する画像をＣＶ映像という。

なお、カメラに一体化された機械センサーから得られた６変数も、本発明に係るＣＶ値とすることができる。
また、連続しない単独の画像についてはＣＶ画像と呼称することがある。あるいは、１フレームについてのみ着目するときには、当該１フレームの画像をＣＶ画像と呼称することがある。つまり、ＣＶ画像はＣＶ映像の特殊な状態（単独画像）である。

・視点移動／視点方向の移動：
本発明において、「視点移動」とは、任意の映像（対象映像・ＣＶ映像・連続画像）中において、視点の場所と視点方向を自由に変化させて表示することをいう。
一方、「視点方向の移動」とは、任意の映像中において、場所は固定として、視点の方向のみを変化させることをいう。
これら視点移動／移転方向の移動については、後述する図１４〜２５を参照しつつ詳しく説明する。

［ＣＶ演算］
次に、上記のような本発明の自由視点移動表示装置で用いられるＣＶ映像を生成するためのＣＶ演算の詳細について図１〜図１３を参照しつつ説明する。
ＣＶ演算とはＣＶ値を求めることを意味し、求められた結果をＣＶ値，ＣＶデータと呼ぶ。ＣＶという表記は、「カメラベクトル：Camera Vector」の略記であり、カメラベクトル（ＣＶ）とは計測等のために映像を取得するビデオカメラ等のカメラの三次元位置と３軸回転姿勢を示す値である。
ＣＶ演算は、動画像（ビデオ映像）を取得し、その映像内の特徴点を検出し、それを隣接する複数のフレームに追跡し、カメラ位置と特徴点の追跡軌跡とが作る三角形を画像内に数多く生成し、その三角形を解析することで、カメラの三次元位置とカメラの３軸回転姿勢を求めるものである。

ＣＶ演算では、ＣＶ値を求める過程で、同時に映像内の特徴点（基準点）についても三次元座標が同時に求まることが重要な特性である。
また、動画像から演算で求められるＣＶ値は、動画像の各フレームに対応して、三次元のカメラ位置と三次元のカメラ姿勢とが同時に求まる。しかも、原理的には一台のカメラで、映像と対応してＣＶ値が求められる特性は、ＣＶ演算でしか実現し得ない、優れた特徴である。
例えば、他の方法による計測手段（ＧＰＳやＩＭＵ等）では、動画像の各フレームと、その三次元的カメラ位置と三次元的カメラ姿勢とを同時に取得するためには画像フレームと計測サンプリング時刻を高精度で、しかも完全に同期しなければならないために、巨額の装置となり、実質的には実現が困難である。

動画像から演算で求められるＣＶデータは、加工しない段階では相対値であるが、短区間であれば高精度で三次元位置情報と３軸回転の角度情報を取得できる。
また、ＣＶデータは画像から取得するため、取得されたデータは相対値であるが、画像内の任意の対象物との位置関係を計測することができるという他の方法では実現は可能な優れた特性を備える。
また、画像に対応したＣＶ値が求まるので、画像内計測や測量において、画像から直接にカメラ位置とその３軸回転姿勢を求めることができるＣＶ演算は画像内計測や画像内測量に好適となる。
そして、本発明の自由視点移動表示装置は、このＣＶ演算により得られたＣＶ値データが付与された映像（ＣＶ映像）に基づいて、映像中の任意の点・対象物についての視点移動処理を行うものである。

［ＣＶ演算手段］
ＣＶ演算は、後述する本発明の自由視点移動表示装置のＣＶ映像取得部２０（図１４参照）として機能するＣＶ演算手段２０で行われる。
ＣＶ演算手段（ＣＶ映像取得部）２０は、図１に示すように、車載のビデオカメラ等で構成される対象映像取得部１０から入力されるビデオ映像について所定のＣＶ演算処理を行うようになっており、具体的には、特徴点抽出部２１と、特徴点対応処理部２２と、カメラベクトル演算部２３と、誤差最小化部２４と、三次元情報追跡部２５と、高精度カメラベクトル演算部２６とを備えている。

まず、ＣＶ演算に使用する映像としては、どのような映像でもよいが、画角の限られた映像では視点方向を移動した場合に映像がとぎれてしまうので、全周映像（図２〜４参照）とすることが望ましい。なお、動画映像は連続する静止画と同様であり、静止画と同様に扱うことができる。
また、映像は、一般には予め記録した動画映像を使うことになるが、自動車等の移動体の移動に合わせてリアルタイムに取り込んだ映像を使用することも勿論可能である。

そこで、本実施形態では、ＣＶ演算に使用する映像として、車輌等の移動体の３６０度の全周囲を撮影した全周映像（図２〜４参照）か、又は全周映像に近い広角映像を用いて、その全周映像を視点方向に平面展開することにより、任意の視点移動の対象となる対象映像を取得・生成する対象映像取得部１０を備えている（図１参照）。
ここで、全周映像の平面展開とは、全周映像を、通常の画像として遠近法的に表現するものである。ここで、「遠近法」と呼称するのは、全周画像のそのものはメルカトール図法や球面投影図法のように、遠近法とは異なる方法で表示されているので（図４参照）、これを平面展開表示することで、通常の遠近法映像に変換表示できるからである。

対象映像取得部１０において全周映像を生成するには、まず、図２及び図３に示すように、全周ビデオカメラ１１を使用して、ＣＶ値データを取得する目的で、走行車輌等の移動体１１ａに固定された全周ビデオカメラ１１で、移動体１１ａの移動とともに移動体周辺を撮影する。
なお、移動体１１ａには、その位置座標を取得する目的で、例えば、絶対座標を取得するＧＰＳ機器単独やＩＭＵ機器を付加したもの等により構成した位置計測機器等を備えることができる。
また、移動体１１ａに搭載される全周ビデオカメラ１１としては、広範囲映像を撮影，取得するカメラであればどのような構成であってもよく、例えば、広角レンズや魚眼レンズ付きカメラ、移動カメラ、固定カメラ、複数のカメラを固定したカメラ、３６０度周囲に回転可能なカメラ等がある。本実施形態では、図２及び図３に示すように、車輌に複数のカメラが一体的に固定され、移動体１１ａの移動に伴って広範囲映像を撮影する全周ビデオカメラ１１を使用している。

そして、以上のような全周ビデオカメラ１１によれば、図３に示すように、移動体１１ａの天井部等に設置されることで、カメラの３６０度全周囲の映像を複数のカメラで同時に撮影することができ、移動体１１ａが移動することで、広範囲映像を動画データとして取得できる。
ここで、全周ビデオカメラ１１は、カメラの全周映像を直接取得できるビデオカメラであるが、カメラの全周囲の半分以上を映像として取得できれば全周映像として使用できる。
また、画角が制限された通常のカメラの場合でも、ＣＶ演算の精度としては低下するが、全周映像の一部分として取り扱うことが可能である。

なお、全周ビデオカメラ１１で撮影された広範囲映像は、一枚の画像として、撮影時の画角に一致する仮想球面に貼り付けることができる。
仮想球面に貼り付けられた球面画像データは、仮想球面に貼り付けた状態の球面画像（３６０度画像）データとして保存・出力される。仮想球面は、広範囲映像を取得するカメラ部を中心点とした任意の球面状に設定することができる。
図４（ａ）は球面画像が貼り付けられる仮想球面の外観イメージであり、同図（ｂ）は仮想球面に貼り付けられた球面画像の一例である。また、同図（ｃ）は、（ｂ）の球面画像をメルカトール図法に従って平面展開した画像例を示す。

そして、以上のように生成・取得された全周ビデオ映像が、本発明に係る対象映像としてＣＶ演算手段（ＣＶ映像取得部）２０に入力されてＣＶ値データが求められる（図１参照）。
ＣＶ演算手段２０では、まず、特徴点抽出部２１が、対象映像取得部１０の全周ビデオカメラ１１で撮影されて一時記録された動画像データの中から、十分な数の特徴点（基準点）を自動抽出する。
特徴点対応処理部２２は、自動抽出された特徴点を、各フレーム間で各フレーム画像内において自動的に追跡することで、その対応関係を自動的に求める。
カメラベクトル演算部２３は、対応関係が求められた特徴点の三次元位置座標から各フレーム画像に対応したカメラベクトルを演算で自動的に求める。
誤差最小化部２４は、複数のカメラ位置の重複演算により、各カメラベクトルの解の分布が最小になるように統計処理し、誤差の最小化処理を施したカメラ位置方向を自動的に決定する。

三次元情報追跡部２５は、カメラベクトル演算部２３で得られたカメラベクトルを概略のカメラベクトルと位置づけ、その後のプロセスで順次画像の一部として得られる三次元情報に基づいて、複数のフレーム画像に含まれる部分的三次元情報を隣接するフレームの画像に沿って自動追跡を行う。ここで、三次元情報（三次元形状）とは、主に特徴点の三次元分布情報であり、すなわち、三次元の点の集まりであり、この三次元の点の集まりが三次元形状を構成する。
高精度カメラベクトル演算部２６は、三次元情報追跡部２５で得られた追跡データに基づいて、カメラベクトル演算部２３で得られるカメラベクトルより、さらに高精度なカメラベクトルを生成，出力する。
そして、以上のようにして得られたカメラベクトルが、後述する自由視点移動表示装置３０に入力され、映像中で指定・選択される任意の点や対象物についての視点移動処理に利用されることになる。

複数の画像（動画又は連続静止画）の特徴点からカメラベクトルを検出するには幾つかの方法があるが、図１に示す本実施形態のＣＶ演算手段２０では、画像内に十分に多くの数の特徴点を自動抽出し、それを自動追跡することで、エピポーラ幾何学により、カメラの三次元ベクトル及び３軸回転ベクトルを求めるようにしてある。
特徴点を充分に多くとることにより、カメラベクトル情報が重複することになり、重複する情報から誤差を最小化させて、より精度の高いカメラベクトルを求めることができる。

カメラベクトルとは、カメラの持つ自由度のベクトルである。
一般に、静止した三次元物体は、位置座標（Ｘ，Ｙ，Ｚ）と、それぞれの座標軸の回転角（Φｘ，Φｙ，Φｚ）の六個の自由度を持つ。
したがって、カメラベクトルは、カメラの位置座標（Ｘ，Ｙ，Ｚ）とそれぞれの座標軸の回転角（Φｘ，Φｙ，Φｚ）の六個の自由度のベクトル（６変数）をいう。なお、カメラが移動する場合は、自由度に移動方向も入るが、これは上記の六個の自由度（変数）から微分して導き出すことができる。
このように、本実施形態のカメラベクトルの検出とは、カメラは各フレーム毎に六個の自由度の値をとり、各フレーム毎に異なる六個の自由度を決定することである。

以下、ＣＶ演算手段２０における具体的なカメラベクトルの検出方法について、図５以下を参照しつつ説明する。
まず、上述した対象映像取得部１０の全周ビデオカメラ１１で取得された画像データは、間接に又は直接に、ＣＶ演算手段２０の特徴点抽出部２１に入力され、特徴点抽出部２１で、適切にサンプリングされたフレーム画像中に、特徴点となるべき点又は小領域画像が自動抽出され、特徴点対応処理部２２で、複数のフレーム画像間で特徴点の対応関係が自動的に求められる。
具体的には、カメラベクトルの検出の基準となる、十分に必要な数以上の特徴点を求める。画像間の特徴点とその対応関係の一例を、図５〜図７に示す。図中「＋」が自動抽出された特徴点であり、複数のフレーム画像間で対応関係が自動追跡される（図７に示す対応点１〜４参照）。
ここで、特徴点の抽出は、図８に示すように、各画像中に充分に多くの特徴点を指定，抽出することが望ましく（図８の○印参照）、例えば、１００点程度の特徴点を抽出する。

続いて、カメラベクトル演算部２３で、抽出された特徴点の三次元座標が演算により求められ、その三次元座標に基づいてカメラベクトルが演算により求められる。具体的には、カメラベクトル演算部２３は、連続する各フレーム間に存在する、十分な数の特徴の位置と、移動するカメラ間の位置ベクトル、カメラの３軸回転ベクトル、各カメラ位置と特徴点をそれぞれ結んだベクトル等、各種三次元ベクトルの相対値を演算により連続的に算出する。
本実施形態では、例えば、３６０度全周画像のエピポーラ幾何からエピポーラ方程式を解くことによりカメラ運動（カメラ位置とカメラ回転）を計算するようになっている。

図７に示す画像１，２は、３６０度全周画像をメルカトール展開した画像であり、緯度φ、経度θとすると、画像１上の点は（θ１，φ１）、画像２上の点は（θ２，φ２）となる。そして、それぞれのカメラでの空間座標は、ｚ１＝（ｃｏｓφ１ｃｏｓθ１，ｃｏｓφ１ｓｉｎθ１，ｓｉｎφ１）、ｚ２＝（ｃｏｓφ２ｃｏｓθ２，ｃｏｓφ２ｓｉｎθ２，ｓｉｎφ２）である。カメラの移動ベクトルをｔ、カメラの回転行列をＲ、とすると、ｚ１^T［ｔ］×Ｒｚ２＝０がエピポーラ方程式である。
十分な数の特徴点を与えることにより、線形代数演算により最小自乗法による解としてｔ及びＲを計算することができる。この演算を対応する複数フレームに適用し演算する。

ここで、カメラベクトルの演算に利用する画像としては、３６０度全周画像を用いることが好ましい。
カメラベクトル演算に用いる画像としては、原理的にはどのような画像でも良いが、図７に示す３６０度全周画像のような広角画像の方が特徴点を数多く選択し易くなる。そこで、本実施形態では、ＣＶ演算に３６０度全周画像を用いており、これによって、特徴点の追跡距離を長くでき、特徴点を十分に多く選択することができ、遠距離、中距離、短距離それぞれに都合の良い特徴点を選択することができるようになる。また、回転ベクトルを補正する場合には、極回転変換処理を加えることで、演算処理も容易に行えるようになる。これらのことから、より精度の高い演算結果が得られるようになる。
なお、図７は、ＣＶ演算手段２０における処理を理解し易くするために、１台又は複数台のカメラで撮影した画像を合成した３６０度全周囲の球面画像を地図図法でいうメルカトール図法で展開したものを示しているが、実際のＣＶ演算では、必ずしもメルカトール図法による展開画像である必要はない。

次に、誤差最小化部２４では、各フレームに対応する複数のカメラ位置と複数の特徴点の数により、複数通り生じる演算方程式により、各特徴点に基づくベクトルを複数通り演算して求めて、各特徴点の位置及びカメラ位置の分布が最小になるように統計処理をして、最終的なベクトルを求める。例えば、複数フレームのカメラ位置、カメラ回転及び複数の特徴点について、Levenberg-Marquardt法により最小自乗法の最適解を推定し、誤差を収束してカメラ位置、カメラ回転行列、特徴点の座標を求める。
さらに、誤差の分布が大きい特徴点につては削除し、他の特徴点に基づいて再演算することで、各特徴点及びカメラ位置での演算の精度を上げるようにする。
このようにして、特徴点の位置とカメラベクトルを精度良く求めることができる。

図９〜図１１に、ＣＶ演算により得られる特徴点の三次元座標とカメラベクトルの例を示す。図９〜図１１は、本実施形態のＣＶ演算によるベクトル検出方法を示す説明図であり、移動するカメラによって取得された複数のフレーム画像によって得られるカメラ及び対象物の相対的な位置関係を示す図である。
図９では、図７の画像１，２に示した特徴点１〜４の三次元座標と、画像１と画像２の間で移動するカメラベクトル（Ｘ，Ｙ，Ｚ）が示されている。
図１０及び図１１は、充分に多くの特徴点とフレーム画像により得られた特徴点の位置と移動するカメラの位置が示されている。同図中、グラフ中央に直線状に連続する○印がカメラ位置であり、その周囲に位置する○印が特徴点の位置と高さを示している。

ここで、ＣＶ演算手段２０におけるＣＶ演算は、より高精度な特徴点とカメラ位置の三次元情報を高速に得るために、図１２に示すように、カメラから特徴点の距離に応じて複数の特徴点を設定し、複数の演算を繰り返し行うようにする。
具体的には、ＣＶ演算手段２０では、画像内には映像的に特徴がある特徴点を自動検出し、各フレーム画像内に特徴点の対応点を求める際に、カメラベクトル演算に用いるｎ番目とｎ＋ｍ番目の二つのフレーム画像ＦｎとＦｎ＋ｍに着目して単位演算とし、ｎとｍを適切に設定した単位演算を繰り返すことができる。
ｍはフレーム間隔であり、カメラから画像内の特徴点までの距離によって特徴点を複数段に分類し、カメラから特徴点までの距離が遠いほどｍが大きくなるように設定し、カメラから特徴点までの距離が近いほどｍが小さくなるように設定する。このようにするのは、カメラから特徴点までの距離が遠ければ遠いほど、画像間における位置の変化が少ないからである。

そして、特徴点のｍ値による分類を、十分にオーバーラップさせながら、複数段階のｍを設定し、画像の進行とともにｎが連続的に進行するのにともなって、演算を連続的に進行させる。そして、ｎの進行とｍの各段階で、同一特徴点について複数回重複演算を行う。
このようにして、フレーム画像ＦｎとＦｎ＋ｍに着目した単位演算を行うことにより、ｍ枚毎にサンプリングした各フレーム間（フレーム間は駒落ちしている）では、長時間かけて精密カメラベクトルを演算し、フレーム画像ＦｎとＦｎ＋ｍの間のｍ枚のフレーム（最小単位フレーム）では、短時間処理で行える簡易演算とすることができる。

ｍ枚毎の精密カメラベクトル演算に誤差がないとすれば、ｍ枚のフレームのカメラベクトルの両端は、高精度演算をしたＦｎとＦｎ＋ｍのカメラベクトルと重なることになる。したがって、ＦｎとＦｎ＋ｍの中間のｍ枚の最小単位のフレームについては簡易演算で求め、簡易演算で求めたｍ枚の最小単位フレームのカメラベクトルの両端を、高精度演算で求めたＦｎとＦｎ＋ｍのカメラベクトルに一致するように、ｍ枚の連続したカメラベクトルのスケール調整をすることができる。
このようにして、画像の進行とともにｎが連続的に進行することにより、同一特徴点について複数回演算されて得られる各カメラベクトルの誤差が最小になるようにスケール調整して統合し、最終のカメラベクトルを決定することができる。
これにより、誤差のない高精度のカメラベクトルを求めつつ、簡易演算を組み合わせることにより、演算処理を高速化することができるようになる。

ここで、簡易演算としては、精度に応じて種々の方法があるが、例えば、(1)高精度演算では１００個以上の多くの特徴点を用いる場合に、簡易演算では最低限の１０個程度の特徴点を用いる方法や、(2)同じ特徴点の数としても、特徴点とカメラ位置を同等に考えれば、そこには無数の三角形が成立し、その数だけの方程式が成立するため、その方程式の数を減らすことで、簡易演算とすることができる。
これによって、各特徴点及びカメラ位置の誤差が最小になるようにスケール調整する形で統合し、距離演算を行い、さらに、誤差の分布が大きい特徴点を削除し、必要に応じて他の特徴点について再演算することで、各特徴点及びカメラ位置での演算の精度を上げることができる。

また、このように高速な簡易演算を行うことにより、カメラベクトルのリアルタイムに近い処理が可能となる。カメラベクトルの高速演算処理は、目的の精度をとれる最低のフレーム数と、自動抽出した最低の特徴点数で演算を行い、カメラベクトルの概略値を高速演算で求め、表示し、次に、画像が蓄積するにつれて、フレーム数を増加させ、特徴点の数を増加させ、より精度の高いカメラベクトル演算を行い、概略値を精度の高いカメラベクトル値に置き換えて表示することができる。

さらに、本実施形態では、より高精度のカメラベクトルを求めるために、三次元情報（三次元形状）の追跡を行うことができる。
具体的には、まず、三次元情報追跡部２５で、カメラベクトル演算部２３，誤差最小化部２４を経て得られたカメラベクトルを概略のカメラベクトルと位置づけ、その後のプロセスで生成される画像の一部として得られる三次元情報（三次元形状）に基づいて、複数のフレーム画像に含まれる部分的三次元情報を隣接するフレーム間で連続的に追跡して三次元形状の自動追跡を行う。
そして、この三次元情報追跡部２５で得られた三次元情報の追跡結果から、高精度カメラベクトル演算部２６においてより高精度なカメラベクトルが求められる。

上述した特徴点抽出部２１及び特徴点対応処理部２２では、特徴点を複数のフレーム間画像内に自動追跡するが、特徴点が消失するなどして特徴点の追跡フレーム数に制限が出てくることがある。また、画像は二次元であり、追跡途中で形状が変化するために追跡精度にも一定の限界がある。
そこで、特徴点追跡で得られるカメラベクトルを概略値と位置づけ、その後のプロセスで得られる三次元情報（三次元形状）を各フレーム画像上に追跡して、その軌跡から高精度カメラベクトルを求めることができる。
三次元形状の追跡は、マッチング及び相関の精度を得やすく、三次元形状はフレーム画像によって、その三次元形状も大きさも変化しないので、多くのフレームに亘って追跡が可能であり、そのことでカメラベクトル演算の精度を向上させることができる。これはカメラベクトル演算部２３により概略のカメラベクトルが既知であり、三次元形状が既に分かっているから可能となるものである。

カメラベクトルが概略値の場合、非常に多くのフレームに亘る三次元座標の誤差は、特徴点追跡による各フレームに関係するフレームが少ないので、誤差が累積して長距離では次第に大きな誤差になるが、画像の一部分を切り取ったときの三次元形状の誤差は相対的に少なく、形状の変化と大きさに及ぼす影響はかなり少ないものとなる。このため、三次元形状での比較や追跡は、二次元形状追跡の時よりも極めて有利となる。追跡において、二次元形状での追跡の場合、複数のフレームにおける形状の変化と大きさの変化を避けられないまま追跡することになるので、誤差が大きかったり、対応点が見つからないなどの問題があったが、三次元形状での追跡においては形状の変化が極めて少なく、しかも原理的に大きさの変化もないので、正確な追跡が可能となる。

ここで、追跡の対象となる三次元形状データとしては、例えば、特徴点の三次元分布形状や、特徴点の三次元分布形状から求められるポリゴン面等がある。
また、得られた三次元形状を、カメラ位置から二次元画像に変換して、二次元画像として追跡することも可能である。カメラベクトルの概略値が既知であることから、カメラ視点からの二次元画像に投影変換が可能であり、カメラ視点の移動による対象の形状変化にも追従することが可能となる。

以上のようにして求められたカメラベクトルは、全周ビデオカメラ１１で撮影されたビデオ映像中に重ねて表示することができる。
例えば、図１３に示すように、車載カメラからの映像を平面展開して、各フレーム画像内の目的平面上の対応点を自動で探索し、対応点を一致させるように結合して目的平面の結合画像を生成し、同一の座標系に統合して表示する。
さらに、その共通座標系の中にカメラ位置とカメラ方向を次々に検出し、その位置や方向、軌跡をプロットしていくことができる。ＣＶデータは、その三次元位置と３軸回転を示しており、ビデオ映像に重ねて表示することで、ビデオ映像の各フレームでＣＶ値を同時に観察できる。ＣＶデータをビデオ映像に重ねた表示した画像例を図１３に示す。

なお、ビデオ映像内にカメラ位置を正しく表示すると、ＣＶ値が示すビデオ映像内の位置は画像の中心となり、カメラ移動が直線に近い場合は、すべてのフレームのＣＶ値が重なって表示されてしまうので、例えば図１３に示すように、敢えてカメラ位置から真下に１メートルの位置を表示することが適切である。あるいは道路面までの距離を基準として、道路面の高さにＣＶ値を表示するのがより適切である。

［自由視点移動表示装置］
次に、以上のようにして求められたＣＶ値が付与された対象映像（ＣＶ映像）に基づいて実行される、対象映像中の任意の点・対象物についての視点移動表示処理を行う本発明に係る自由視点移動表示装置の実施形態について、図面を参照しつつ具体的に説明する。
図１４は、本発明の一実施形態に係る自由視点移動表示装置３０の基本構成を示すブロック図である。
なお、同図に示す本実施形態では、自由視点移動表示装置３０と、対象映像取得部１０及びＣＶ映像取得部２０とを、別の装置構成として示しているが、対象映像取得部１０及びＣＶ映像取得部２０のいずれか又は双方を、自由視点移動表示装置３０の構成要素として含むことも勿論可能である。

図１４に示すように、本実施形態に係る自由視点移動表示装置３０は、上述したＣＶ値が付与された対象映像（ＣＶ映像）を前提として、映像中の任意の点や対象物が指定・選択されることにより、その指定された点・対象物に向かって、複数のフレーム画像にわたる最適な経路を選択して視点を移動させ、テクスチャーを貼り付けたＣＧにおけるようなゆがみ（形の崩れ／情報欠落／誤情報付加）のない、自然な視点移動による動画（連続画像）として再生することができるための装置・手段である。
具体的には、本実施形態に係る自由視点移動表示装置３０は、対象映像取得部１０・ＣＶ映像取得部２０とともに、仮想三次元空間配置部３１，視点移動経路画像選択部３２，画像表示パラメータ選択部３３，画像結合パラメータ設定部３４，始点・終点連続画像表示部３５の各部として機能するように構成されている。

対象映像取得部１０は、自由視点移動表示の基準映像地図を生成するための基準映像を撮影・取得するための手段であり、本願請求項１の映像取得手段を構成している。
本実施形態では、対象映像取得部１０は、上述した図１〜３に示したように、全周ビデオカメラ１１を備えた走行車両等の移動体１１ａによって構成される。
この移動体１１ａが、基準映像地図を取得する目的で、所定の道路等を一定範囲で走行することで、移動体１１ａに備えられた全周ビデオカメラ１１により、移動体１１ａの移動に伴って移動体周辺の映像を対象映像として撮影・取得する。
この対象映像取得部１０で取得された対象映像が、ＣＶ映像取得部２０に入力されて、上述したＣＶ演算に基づくＣＶ映像の作成処理が行われる（図１〜１３参照）。

ＣＶ映像取得部２０は、 所定の映像取得手段（対象映像取得部１０）で撮影された対象映像のカメラ位置と姿勢の三次元座標値と姿勢値を示すＣＶ（カメラベクトル）値を求めるＣＶ演算を行い、対象映像に前記ＣＶ値を付加したＣＶ映像を生成するＣＶ映像取得手段であり、本願請求項１のＣＶ映像取得手段を構成している。
具体的には、ＣＶ映像取得部２０は、上述した図１〜１３で示したＣＶ演算手段によって構成される。ＣＶ映像取得部２０によるＣＶ演算の具体的な内容については、上述したとおりである（図１〜１３参照）。

仮想三次元空間配置部３１は、ＣＶ映像取得部２０で生成される、カメラ位置と姿勢の三次元座標値を示すＣＶ値を付加した複数のＣＶ映像を、その三次元座標に合わせて仮想空間に配置する手段であり、本願請求項１の仮想三次元空間配置手段を構成している。
図１５に、仮想三次元空間配置部３１によって、対象映像から取得されたＣＶ値を三次元の仮想空間に配置した状態を模式的に示す。

同図において、複数の球体で示されるのは、対象映像の連続するフレーム画像に付与されたＣＶ値であり、各フレーム画像を撮影したビデオカメラ等の位置と姿勢を示す相対的な三次元座標情報であり、各フレーム画像が、［１ｐ１］→・・・［１ｐ５］→・・・［２ｐ１］→・・・［２ｐ８］→・・・［３ｐ１］→［３ｐ２］→・・・［４ｐ１］→・・・［４ｐ５］→・・・［５ｐ１］→・・・［５ｐ４］→・・・［６ｐ１］→［２６ｐ２］→・・・と連続する連続画像を構成していることを示している。
このように対象映像の各フレーム画像のＣＶ値（カメラ位置・姿勢）が三次元仮想空間に配置されることで、各フレーム画像の相対位置が三次元的に特定・確定され、映像中の任意の点や対象物の視点移動／視点方向移動が可能となる。

視点移動経路画像選択部３２は、上記のように三次元仮想空間に配置された複数のＣＶ映像から、予定する視点移動座標に最も近い画像フレームを、予定の視点移動座標に沿って適切な間隔で複数選択する手段であり、本願請求項１の視点移動経路選択手段を構成している。
具体的には、視点移動経路画像選択部３２は、複数の画像フレームの始点及び終点と、当該始点及び終点の途中経過点の座標を指定する。
図１６に、三次元の仮想空間に配置された複数の画像フレームの始点及び終点と、当該始点及び終点の途中経過点の座標が指定された状態を模式的に示す。

同図においては、対象映像の連続するフレーム画像（ＣＶ値）のうち、［１ｐ１］を始点、［６ｐ２］を終点として、その間に存在する連続する各フレーム画像の中から、［１ｐ５］→［２ｐ８］→［３ｐ２］→［４ｐ５］→［５ｐ４］が、途中経過点として指定されている場合である。
このように対象映像の複数のフレーム画像の中から、始点・終点・途中通過点が指定されることで、映像中の任意の点や対象物の視点移動／視点方向移動が可能となる。

画像表示パラメータ選択部３３・画像結合パラメータ設定部３４・始点・終点連続画像表示部３５は、上記のように選択・指定された複数の画像フレームの視点方向及び視点移動方向を、予定の方向に合致するように変換し、それらの選択された画像フレームを順次結合して、動画映像又は連続静止画像からなる連続画像を生成する手段であり、本願請求項１の連続画像生成手段を構成している。
このように生成される連続画像により、視覚的に自然な視点移動及び自然な視点方向移動の画像が、例えばコンピュータの表示手段等において出力・表示されるようになる。

画像表示パラメータ選択部３３は、上記のように始点・終点・途中通過点が指定・選択された複数の画像フレームについての、各画像の大きさ，ズームの拡大率，画角，視点の座標，姿勢などのパラメータを選択する。
これらのパラメータは、少なくともいずれかが選択されるもので、好ましくは、複数のパラメータの一部又は全部が選択されることが望ましい。
画像結合パラメータ設定部３４は、上記のような複数の各パラメータの少なくともいずれかを、始点・終点・途中通過点が指定・選択された複数の画像フレームを結合する結合パラメータとして設定する。
これら画像表示パラメータ選択部３３・画像結合パラメータ設定部３４が、本願請求項２の画像結合パラメータ設定手段を構成している。

始点・終点連続画像表示部３５は、上記のように選択・設定された結合パラメータの設定に基づいて、複数の画像フレームの始点及び終点と途中経過点を含む三次元空間の移動軌跡を生成する手段であり、本願請求項２の始点・終点連続画像表示手段を構成している。
以上のような画像表示パラメータ選択部３３・画像結合パラメータ設定部３４・始点・終点連続画像表示部３５によって、連続する複数の画像中の重要な対象物の大きさの変化に合致させて、各画像を表示することにより、選択された複数の画像間を連続的に表示することができるようになる。
この自由視点移動表示装置３０による、対象映像における視点移動表示の処理・動作の詳細については、図１７〜２５を参照しつつ後述する。

さらに、上記のような自由視点移動表示装置３０で生成される連続画像については、ＣＶ演算手段（ＣＶ映像取得部）２０によって任意の対象映像についてＣＶ値が付与されることにより、次のような処理が可能となる。
すなわち、対象となる連続画像のいずれかのフレーム画像に含まれる静止した画像の６変数を示すＣＶ値に基づいて、当該連続画像内の、任意の点の三次元座標を当該点の近傍の画像のＣＶ値から算出し、任意の二点間の距離を計測し、任意の形状の面積を計測し、任意の形状体積を計測し、任意の位置に所定のタグ情報を配置し、任意の対象物を認識又は当該対象物の座標を決定し、任意の場所に情報を埋設することができる。そして、それらの各情報が連続画像を構成するすべての画像フレームで共有することが可能となる。
これらの機能は、ＣＶ演算手段（ＣＶ映像取得部）２０による本質的なものであるが、自由視点移動表示装置３０と組み合わされることによって、対象映像の視点移動表示処理に付随する付加的・補完的な機能として実施することができる。

［自由視点移動表示処理］
次に、上述した自由視点移動表示装置３０における自由視点移動表示処理の詳細について、図１７〜２５を参照しつつ説明する。
まず、予め用意・準備する画像（対象映像）としては、上述のとおり、全周映像か、広角の映像を使うことが望ましい（図２〜４参照）。これは、対象映像中において任意に視点方向を変えても、全体の画像から表示画像がはみ出ないようにするためである。
また、元となる画像は、多数の静止画でも良いが、動画映像であることが望ましい。

そして、用意した対象映像は、ＣＶ映像取得部（ＣＶ演算手段）２０により、対象映像に含まれる各画像フレームについて、それぞれの画像を取得した時点のＣＶ値、つまりカメラの位置と姿勢の６変数（ｘｙｚｙｐｒ）が付与される（図５〜１３参照）。
ここで、この６変数は、ＣＶ映像取得部（ＣＶ演算手段）２０によるＣＶ演算を実行することで、ＣＶ値として取得することができるが、上述のとおり、例えばジャイロやＩＭＵ，ＧＰＳ等の機械センサーでも取得することができる。

このように任意の対象映像にＣＶ値を付与したＣＶ映像を前提として、視点移動表示を実行するには、まず、ＣＶ値を持った画像又は動画像の画像フレームを、その座標と姿勢に従って三次元の仮想空間に配置する（本発明に係る仮想三次元空間配置手段）。なお、この「仮想空間」は。本発明の説明・理解のために用いるものであり、実際の自由視点移動表示処理を行うためには、必ずしもこの空間を構成する必要は無い。
次に、表示の段階において、映像中で指定・選択された点や対象物について、始点の位置と姿勢を決定するとともに、視点移動の途中の経路点を指定する（本発明に係る視点移動経路選択手段）。
なお、視点移動の途中経路点は、指定された点・対象物についての始点と終点が指定・決定されてから自動で決めても良い。
また、途中経路は、始点・終点間において、必ずしも最短である必要は無く、既にある画像のＣＶ値を渡り歩くように視点経路を指定するのが、円滑な視点移動につながるので好ましい。

次に、視点移動の終点を指定する（本発明に係る視点移動経路選択手段）。
具体的には、上述した始点から終点に向かうルートを、自動又は手動で決定する。
さらに、途中経過点における各画像フレームの画角や方向、移動速度を任意に設定し、又は自動で適切に選択する（本発明に係る画像結合パラメータ設定手段）。
ここで、終点の視点のみ詳細に設定することは効果的である。
そして、上記のように選択された条件に合わせて、画像は自由視点で表示され、最終地点に到達して、最終地点を表示することができる（本発明に係る連続画像生成手段）。

以下、図１７〜２５を参照しつつ、具体的な対象映像（ＣＶ映像）を例にとって、上記の視点移動表示の処理動作について説明する。
図１７〜２０は、本実施形態に係る自由視点移動表示装置３０における、対象映像と当該対象映像のＣＶ値の関係を模式的に示した説明図であり、（ａ）は対象映像の一例を、（ｂ）は（ａ）に示す対象映像に対応するＣＶ値を示したものである。
これらの図に示す対象映像は、前提条件として、ＣＶ映像取得部（ＣＶ演算手段）２０によりＣＶ値が付与され、三次元計測が可能なＣＶ映像を用いることを前提とする。

［フレーム移動アニメーション］
まず、フレーム移動アニメーション（連続画像の視点移動表示）のアルゴリズムについて解説する。
対象映像は、例えばユーザのＰＣなどのコンピュータのディスプレイに表示され、ユーザの入力操作（例えばマウスなどの入力デバイスやタッチ操作等）に応じて、対象映像中の任意の点や対象物が選択・指定される（図１７（ａ）参照）。
対象映像中に表示された対象物が指定されると、その三次元位置が決定する。
対象物の三次元位置が決定すると、図１７（ｂ）に示すように、その対象物に対する視点は、初期フレームから目標フレームに向かって直線的に移動する。
このとき、目標フレームは、対象物から距離的に最も近いフレームとする。

そして、視点が移動する過程を自然に見せるために、視点付近にある中間フレーム画像をブレンドさせながら移動し、視点は常に対象物の方向を向くようにする。
また、このとき、すべての中間フレーム画像を採用するのではなく、一定時間内で可能な限り多くの画像を採用するようにする。

また、視点は直線的に移動するので、視点の位置と本来のフレームの位置は一致しない。
よって、単にフレーム画像を連続して表示させただけでは、画像が切り替わるときに対象物の見かけ上の大きさが不連続に変化することになる。
これを回避するため、対象物までの距離に応じて対象物の見かけ上の大きさが自然に変化するよう画角を調整する。

図１８〜２０では、対象映像中の、道路前方左側にある「選挙ポスター用掲示板」が選択・指定された場合である。
この場合に、中間フレームの選択は、まず、図１８に示す「経過時間０」では、視点の位置と初期フレームｆ０の位置は等しい（図１８（ｂ）参照）。
このとき、ウィンドウ（ＰＣのディスプレイ等）には、対象物を中心としたｆ０の画像が表示される（図１８（ａ）参照）。
この状態から、視点は、目標フレームに向かって移動を開始し、対象物がズームされるように画角を変化させる。画角は視点の位置によって変化する。

具体的には、図１９に示す「経過時間ｔ１」のときには、視点の位置から最も近いフレームが、ｆ０から中間フレームｆ１に変わる（移動する）。
ここで、ｆ１の画像（図１９（ａ）参照）の取得処理を開始する。画像の取得処理の間も、視点の移動とズームは継続して行われる。
ｆ１の画像の取得処理が完了すると、ウィンドウには、対象物を中心としてブレンドされたｆ０とｆ１の画像が表示される。このとき、ｆ０とｆ１の画像の画角は、視点の位置によって決定される。

続いて、図２０に示す「経過時間ｔ２」のときには、視点の位置から最も近い中間フレームが、ｆ１からｆ２に変わる。
ここで、ｆ２の画像の取得処理を開始する。
ただし、ｆ１の画像の取得処理が完了していない場合には、ｆ２の画像の取得処理は行なわれず、取得処理が完了するまで、視点の移動とズームだけが継続される。
ｆ２の画像の取得処理が完了したとき、ウィンドウには、対象物を中心としてブレンドされたｆ１とｆ２の画像が表示される。このとき、ｆ１とｆ２の画像の画角は、視点の位置によって決定する。

以降、上記の一連の処理を、目標フレームｆｎに到達するまで繰り返し実行される。
これによって、三次元空間に配置された複数の画像データから、最も近い画像を選択して順次表示しつつ、画像の拡大と縮小と視点方向移動を行いながら結合することで、ゆがみのない自然な連続視点移動が行われることになる。

［画角調整］
図２１は、本実施形態に係る自由視点移動表示装置３０における、ＣＶ値に基づく画角の調整処理の動作を説明する説明図である。
画角の調整は、視点が対象物に近づくに従って、対象物のサイズが徐々に大きくみえるように画角の調整を行う。
図２２に示すように、連続画像中で視点移動が行われるアニメーション中の視点の画角φは、採用した中間フレーム画像によって異なり、以下の式１によって決定する。

［式１］
φ＝ａｒｃｔａｎ（ｔａｎ（θ／２）＊ｌ／ｄｋ）＊２
ｌ：視点から対象物までの距離
ｄｋ：ｆｋから対象物までの距離
θ:アニメーション開始直前の視点の画角
φ:アニメーション中の視点の画角
上記式１に示されるように、視点が目標フレームに到達したとき、ｌ＝ｄｋとなるので、最終的な画角φは、アニメーション開始直前の画角θと等しくなる。

図２２は、図２１に示すＣＶ値に基づく視点位置と画角の関係を説明する説明図である。
図２２中、「Ｌ’」は、初期フレームから対象物までの距離を示す。
アニメーション中の視点の位置と画角の関係は、図２２に示すようになり、視点が目標フレームに到達したときに、最終的な画角φは、アニメーション開始直前の画角θと等しくなることが分かる。

［中間フレーム画像ブレンド］
図２３は、本実施形態に係る自由視点移動表示装置３０における、ＣＶ値に基づく中間フレーム画像のブレンド処理の動作を説明する説明図であり、（ａ）はブレンド処理された対象映像の一例を、（ｂ）は（ａ）に示すブレンド処理された２つの中間フレーム画像のブレンド比率と視点から目標フレームまでの距離の関係を示すグラフである。
図２３（ａ）は、最も新しい２つの中間フレーム画像をブレンドした結果の画面上の表示例である。

図２３（ａ）に示すように、古い方の中間フレーム画像(ｆｋ−１)を、透明度０％（完全不透明状態）とし、その上に新しい方の中間フレーム画像（ｆｋ）を、透明度α％（例えば１６〜２５％等）で重ねる。
ブレンドする２つの画像は、対象物を中心にしているので、図２３（ａ）のように、中心から離れた場所ほど画像間のブレが大きくなる。
採用する２つの中間フレーム画像のブレンド比率と視点から目標フレームまでの距離の関係は、図２３（ｂ）に示すようになる。

［経過時間と目標フレームまでの距離］
図２４は、本実施形態に係る自由視点移動表示装置３０における、複数のフレーム画像によるアニメーションの経過時間と視点から目標フレームまでの距離の関係を示すグラフである。
同図に示すように、アニメーションの所要時間Ｔは、初期フレームから目標フレームまでの距離Ｌに比例するよう調整することができる。
「経過時間」と「視点から最終フレームまでの距離」の関係は、余弦曲線となるようにすることが好ましい。
これは、開始直後と終了直前で視点を低速で移動させることにより設定・調整が可能で、画像が切り替わる回数を増やして映像を滑らかに変化させることができるようになる。

［画角の変化］
図２５は、本実施形態に係る自由視点移動表示装置３０における、複数のフレーム画像によるアニメーション中に取得される各中間フレーム画像の画角の変化の一例を示す説明図である。
アニメーション中に取得した各中間フレーム画像は、図２５に示すように、見かけ上の画角が変化する。
このようにして、表示される連続画像の動きを滑らかにすることが可能となる。

以上のように、本実施形態に係る自由視点移動表示装置３０における視点移動は、動画像又は連続静止画として表示することになるが、この場合、途中再生の画像が多ければ多いほど、つまりフレームの密度が上がれば上がるほど、動きはなめらかになる。
それは丁度、コマドリの画像の枚数が多ければなめらかに再生されることと同じである。そこで、動きが円滑に見えるように、動画像として表示するときのみ、中間フレームを追加することも可能である。
中間フレームは、両隣の画像フレームを参考にするが、どちらか一方の画像から拡大率と方向のみを変更して生成することから、画像としては歪みはないので、静止画としてみても歪みは発生しない。
ただし、動画再生に重きを置き、両端の画像をブレンドして生成すると、画像としては重複して表示されるため動画の中で見るときは円滑に見えるが、静止画像としてみれば重複して再生されるため不自然となり、これは動画再生時のみ有効である。

以上説明したように、本実施形態の自由視点移動表示装置３０によれば、ＣＧを一切用いず、複数の画像データを仮想空間に配置して、その画像を視点移動に従って、最も近い画像を選択しながら、順次表示し、その中間を、ＣＧを使わず、画像の拡大と縮小と視点方向移動で結合しつつ、視点を移動することができる。
これによって、ＣＧ独自のゆがみのない連続視点移動を可能とし、自然な視点移動の動画を再生することができ、しかも、画像のどの位置で止めて静止画として表示しても、ＣＧのような情報欠落は発生せず、ゆがみのない静止画像を表示することができる。

次に、本実施形態に係る自由視点移動表示装置の、より具体的な実施例について説明する。
［実施例１］
建物の玄関と内部について、平面上に複数の軌跡を描くように、動画映像を取得した。これらの軌跡は仮想の三次元空間に配置・記録されている。
Ａ地点の映像を停止させ、静止画として表示し、病院建物近くのＸ地点をクリックすると、映像はＡ地点を表示した後、Ｂ地点、Ｃ地点、Ｄ地点を表示しながら、最終的にＸ地点に達した。
本実施例では、次第にズームしながら、最終的に拡大した目的の場所を表示することができた。
出発地点をＥ地点に変更すると、Ｅ地点、Ｇ地点を表示しつつ通過し、最終のＹ地点に達した。
この例では、地上撮影のため、上空の映像はないが、ＵＡＶ等で上空のＣＶ映像を取得すれば、３次元空間を自由自在に視点変更することができることは明らかである。

［実施例２］
ドローンを用いて、三次元空間を移動しながら対象映像を撮影した。
具体的には、対象エリアの空撮映像を、三次元的にあらゆる角度、異なる高度から撮影した。撮影さいた空撮映像の各フレーム画像は、撮影と同時に機械センサーと、ＣＶ演算によりＣＶ値を取得した。そして、それらＣＶ値を取得した画像（ＣＶ画像）を、仮想空間に配置した。
ＣＶ値を持つ画像群、又は動画像群の中から、始点と終点を選択し、視点の予定移動経路に沿って、画像を自動選択した。
視点移動の予定経路に近い適切な画像を選択し、軌跡を指定し、画像表示の属性を視程又は自動選択した。
自由視点で途中の画像を選択しつつ、終点に向かって視点移動させるパラメータを選択した。

本来画像が連続する静止画であることに由来する不連続性を緩和するために、隣接する画像間をスムースに結合して移動するようにすることが望ましい。
そこで、本実施例では、隣接する画像フレーム同士を重ね合わせることで、中間画像を生成した。さらにこのとき、対象となる物体が最も連続的に変化するように、隣接する画像の拡大率を調整した。このようにすることで、始点から終点まで連続的に視点を自由に変更させながら表示することができた。
なお、本実施例では、三次元空間に複数の撮影軌跡が生じるが、地上撮影の画像もそのうちの一つになる。そして、地上撮と空撮との撮影画像は、ＣＶ値に基づいて統合され、本発明に係る連続画像として生成・表示することができた。

以上、本発明の自由視点移動表示装置について、好ましい実施形態及び実施例を示して説明したが、本発明に係る自由視点移動表示装置は、上述した実施形態や実施例のみに限定されるものではなく、本発明の範囲で種々の変更実施が可能であることは言うまでもない。
上述した実施形態では、自由視点移動表示装置３０における視点移動表示は、ユーザ等の人間が見るためのものとして説明している。
しかし、本発明に係る視点移動表示を、機械が見る３Ｄ地図として応用することも可能である。

すなわち、本発明に係る自由視点移動表示装置では、ＣＧを使わないために、情報の欠落がなく、画像として正しい情報となる。したがって、本発明に係る自由視点移動表示装置で生成・表示される視点移動表示を、３Ｄ地図として用いることで、自己位置姿勢標定装置（本願請求項４の自己位置姿勢標定手段）として利用が可能となる。
自己位置姿勢標定装置は、本願の出願人が先に特許出願している発明であり（特願２０１６−２２３５６３）、各種車両や航空機，船舶等の自動運転、ロボット等の自動走行などにおいて、移動する車両等が、自らの位置と姿勢をリアルタイムに標定するための自己位置姿勢標定を、ＣＶ映像からなる基準映像地図として用いることにより、簡易かつ低コストで、高速かつ高精度に求めることができるようにしたものである。

［自己位置姿勢標定装置への応用］
このような自己位置姿勢標定装置に対して、本発明に係る自由視点移動表示装置による視点移動表示処理を組み合わせることにより、自己位置姿勢標定の基準となる基準映像地図において、様々な視点方向と様々な画角と様々な拡大率を利用できることで、ライブ映像との整合が極めて容易となる。
したがって、より精度の高い自己位置姿勢標定装置が実現できる。
特に、航空機やドローンのための自己位置姿勢標定においては、飛行体に搭載したカメラに近い画角と視点方向を選択できることになるので、自己位置姿勢標定装置の精度が向上する。

図２６，２７に、本発明に係る自由視点移動表示装置を自己位置姿勢標定装置に適用する場合の機能構成ブロック図を示す。
これらの図に示すように、本発明に係る自己位置姿勢標定装置は、上述した対象映像取得部１０・ＣＶ映像取得部２０を含む自由視点移動表示装置３０を、自由視点表示装置１０１として備え（図２６参照）、本発明に係るＣＶ映像取得手段（ＣＶ映像取得部２０）によってＣＶ値が付与された画像を基準画像として、視点移動可能な当該基準画像を用いる。

具体的には、自由視点移動が可能な自由視点移動表示装置（１０１）を、基準映像となる３Ｄ地図として用いる。
一方、標定すべき対象となる、車両搭載カメラ等で取得されるＣＶ値を持たない画像が、ライブ映像取得装置１０３で取得される。
ライブ映像取得装置１０３で取得されたライブ映像は、ライブ映像概略位置検出装置１０４による概略位置検出と、ライブ映像スタート位置検出装置１０５による初期位置設定を経て、比較特徴点検索装置１０２及び比較装置１０６で比較される。

ここで、３Ｄ地図として利用する基準画像としては、必ずしも完成された全画像である必要はない。基準画像を削除して、基準画像内の複数の特徴点及び特徴物のみから成る画像を新たな基準画像とすることができる。特徴点及び特徴物はその三次元座標を演算で求めておく方が有利である。
比較装置１０６では、複数の特徴点及び特徴物が自動選択され、比較されて、自己位置姿勢標定装置１０７に入力される。
自己位置姿勢標定装置１０７では、基準映像となる３Ｄ地図と標定対象となるライブ映像の両者の複数の特徴点及び特徴物の対応が取られるが、その特徴点及び特徴物の画面上の大きさが、両者で大きく異なると有効な比較ができない。
そこで、両者の概略の大きさを合わせるために、自動視点移動装置１０１により、比較映像と同じ程度の倍率の画像、及び特徴点を含む小画像領域を自動選択し、視点方向、拡大率等を概略合わせた状態で、比較することができる。

このように、自由視点移動表示装置１０１を備えた自己位置姿勢標定装置１０７によれば、画像の視点、大きさ等をできるだけ合わせた状態で比較することができ、精度良く、効率良く、自己位置姿勢標定が可能となる。
すなわち、複数の特徴点及び特徴物が自動選択されるときに、基準画像が、自由視点移動表示装置１０１によって、比較画像（ＣＶ値を持たない画像）と可能な限り近い倍率の画像を選択して、比較することができる。近い倍率で両画像を比較することで、比較装置１０６は適切に比較機能が作動し、自己位置姿勢標定装置１０７により、精度の高い自己位置姿勢標定が成される。
これによって、自由視点移動表示装置を持たない基準画像を３Ｄ地図とした場合に比較して、ＣＶ値を持たない画像に、効率的に、精度良く同じ点又は領域を対応させることでＣＶ値を与えて、当該画像の自己位置姿勢を決定することができる。

本発明は、ビデオカメラ等で取得された画像・映像に基づいて、画像や映像を自由視点で表現・表示するための画像・映像処理技術として好適に利用することができる。
また、本発明の自由視点移動表示装置によれば、自動的に最適な画像を選択し、それを３Ｄ地図として、座標の持たない、画角や拡大率が不定の画像に対して、座標と姿勢を与えることができる。
さらに、本発明の自由視点移動表示装置によれば、画角や拡大率の異なる任意の画像に、座標と姿勢を与える画像処理技術として、多くの産業分野で好適に利用することができる。したがって、例えば様々な画角があり得る一般人が撮影したデジカメやスマホ画像などからでも、上述した自己位置姿勢標定が可能となる。

１０ 対象映像取得部
２０ ＣＶ映像取得部（ＣＶ演算手段）
３０ 自由視点移動表示装置
３１ 仮想三次元空間配置部
３２ 視点移動経路画像選択部
３３ 画像表示パラメータ選択部
３４ 画像結合パラメータ設定部
３５ 始点・終点連続画像表示部

Claims (5)

1. 所定の映像取得手段で撮影された対象映像のカメラ位置と姿勢の三次元座標値を示すＣＶ（カメラベクトル）値を求めるＣＶ演算を行い、前記対象映像に前記ＣＶ値を付加したＣＶ映像を生成するＣＶ映像取得手段と、
   前記カメラ位置と姿勢の三次元座標値を示すＣＶ値を付加した複数のＣＶ映像を、その三次元座標に合わせて仮想空間に配置する仮想三次元空間配置手段と、
   前記複数のＣＶ映像から、予定する視点移動座標に最も近い画像フレームを、予定の視点移動座標に沿って適切な間隔で複数選択する視点移動経路選択手段と、
   前記選択された複数の画像フレームの視点方向、拡大率、画角、及び視点移動方向等を、予定の方向に合致するように変換し、それらの選択された画像フレームを順次結合して、動画映像又は連続静止画像からなる連続画像を生成する連続画像生成手段と、を備え、
   前記連続画像により、視覚的に自然な視点移動及び自然な視点方向移動の画像を表示する
   ことを特徴とする自由視点移動表示装置。
2. 前記視点移動経路選択手段が、
   前記複数の画像フレームの始点及び終点と、当該始点及び終点の途中経過点の座標を指定し、
   前記連続画像生成手段が、
   前記複数の画像フレームについての、各画像の大きさ，ズームの拡大率，画角，視点の座標，姿勢の、少なくともいずれかを、当該複数の画像フレームを結合する結合パラメータとして設定する画像結合パラメータ設定手段と、
   前記結合パラメータの設定に基づいて、前記複数の画像フレームの始点及び終点と途中経過点を含む三次元空間の移動軌跡を生成する始点・終点連続画像表示手段と、を備え、
   連続する複数の画像中の重要な対象物の大きさの変化に合致させて、各画像を表示することにより、選択された複数の画像間を連続的に表示する
   ことを特徴とする請求項１記載の自由視点移動表示装置。
3. 前記ＣＶ映像取得手段が、
   前記連続画像に含まれる静止した画像の６変数を示す前記ＣＶ値に基づき、
   当該連続画像内の、
   任意の点の三次元座標を当該点の近傍の画像のＣＶ値から算出し、任意の二点間の距離を計測し、任意の形状の面積を計測し、任意の形状体積を計測し、任意の位置に所定のタグ情報を配置し、任意の対象物を認識又は当該対象物の座標を決定し、任意の場所に情報を埋設し、それらの各情報が前記連続画像を構成するすべての画像フレームで共有される
   ことを特徴とする請求項１又は２記載の自由視点移動表示装置。
4. 前記ＣＶ値が付与された画像を基準画像として、当該基準画像と、前記ＣＶ値を持たない画像とを比較することにより、
   前記基準画像内の複数の特徴点及び特徴物を自動選択し、又は、
   前記基準画像を削除して、前記基準画像内の複数の特徴点及び特徴物のみから成る画像を自動選択し、
   前記ＣＶ値を持たない画像に、同じ点又は領域を対応させることで前記ＣＶ値を与えて、当該画像の自己位置姿勢を決定する自己位置姿勢標定手段を備える、
   ことを特徴とする請求項１〜３のいずれか一項記載の自由視点移動表示装置。
5. 前記ＣＶ映像取得手段が、
   前記対象映像の画像データから、所定数の特徴点を自動抽出する特徴点抽出部と、
   抽出された特徴点について、対象映像の各フレーム画像内で自動追跡してフレーム画像間での対応関係を求める特徴点対応処理部と、
   対応関係が求められた特徴点の三次元位置座標を求め、当該三次元位置座標から、各フレーム画像に対応したカメラの三次元位置及び姿勢を示すカメラベクトルを求めるカメラベクトル演算部と、を備える
   ことを特徴とする請求項１〜４のいずれか一項記載の自由視点移動表示装置。