JP4673861B2 - 情報表示システム及び情報表示方法 - Google Patents

Description

この発明は、車両などの移動体に設置したビデオカメラからの画像上に存在する物体の位置を指定して通信路経由で送信する空間情報伝達システム及び方法、並びに車両などの移動体に設置したカメラの投影画像に視点がほぼ一致している映像を検索して対比表示する空間情報表示システム及び方法に関するものである。

パトロール車両などでパトロール中に、前方に見える建造物の位置と高さなどを把握し、その結果をセンタに報告したいという要求がある。これにより現場の状況に適した支援車両の派遣や、送信元の車両に対して的確な指令を行うことなどができる。車両などの位置を特定するシステムとして、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）があげられる。ＧＰＳでは、複数個の衛星よりの電波を受信してその到達差異によって位置を同定する。これを移動体に設置することで、移動体の位置を特定することができる。しかしながら、ＧＰＳは、設置した物体の位置情報をリアルタイムで把握することは可能であるが、移動体から前方に見える物体に関しての測定は行うことはできない。

特開２０００−１２１３６０では、カメラにより撮影した画像から建造物の高さを求める点を開示している。特開２０００−１２１３６０では、次のように処理を行っている。予め地図上で目標建造物を設定し、現場付近にカメラを設置して撮影を行う。このときに、建造物との距離やカメラの設置角・設置高さなどの情報を同時に取得する。建造物に対する角度を変更して複数枚の画像を撮影することで、高さの情報を求めている。しかしながら、データ収集時に建造物とカメラの距離を人手により計測する必要があるため、緊急時に利用することはできない。

また、特開平１０−２３２１３５では、過去に撮影した映像と、現在の撮影映像を照合して車両などの移動体の現在地を把握する点が開示されている。しかしながら、映像上の物体に関して３次元的な認識は行っていないため、前方の物体の位置・高さまでは理解できない。

また、災害発生時などに災害発生前の状況を同一視点から確認したい場合という要求もある。土砂崩れなどの発生時にもともとの道路状況を現在の状況と対比表示することで、復旧対策計画を支援することができる。特開１０−２３２１３５では、過去に撮影された映像を自車位置に基づいて検索し、表示する点が開示されている。また、別の例として、特開１０−２３２１３５、特開２０００−８１３３９、特開２０００−１４９１９３では、いずれも位置センサによって得られた位置情報を用いて現在位置もしくは所望の場所に近いところの画像を受信して表示する。しかしながら、近い場所の表示を行うことは可能であるが、視点をあわせるための補正機構は存在しないため、同一視点の映像を意図して取り出すことは不可能である。
特開２０００−１２１３６０号 特開平１０−２３２１３５号 特開２０００−８１３３９号 特開２０００−１４９１９３号 特開平９−９１９７号 特開２００１−２４５２８０号 特開２０００−３２４３６号

以上のように、限られた条件下で建造物の高さや移動体の現在位置を把握するものは存在したが、建造物との距離を計測せずに、建造物の位置・高さ情報を把握できるようなものは存在しない。

また、現在地の過去の映像を検索するものは存在するが、視点をあわせるための機構は具備されていないので、ほぼ同一の視点からの映像を意図して取り出すことはできない。

そこで、この発明は、車両などの移動体に設置したビデオカメラからの画像上に存在する物体の位置・高さを認識し、認識した情報を通信路経由で送信することを目的とする。

また、本発明は、車両に設置されたビデオカメラとほぼ同一視点の過去に撮影された映像を検索し、対比表示することを目的とする。

この発明に係る情報伝達システムは、カメラが撮影した映像情報を入力し、入力した映像情報を撮影映像情報として記憶する映像入力部と、
上記映像情報を撮影したカメラが存在する位置を特定する３次元座標値とカメラが映像を撮影する方向を示す角度とを位置情報として、上記撮影映像情報に対応づけて記憶する位置記憶部と、
上記映像入力部が記憶した撮影映像情報を表示する映像表示部と、
上記映像表示部が表示した撮影映像情報の中の所定の領域を指定する映像−位置指定部と、
上記映像−位置指定部によって指定された領域を３次元座標値で示す空間情報を、上記位置記憶部に記憶した位置情報を用いて生成して出力する領域位置出力部と、
上記領域位置出力部によって出力された空間情報を通信路経由で送信する情報送信部と
を備えることを特徴とする。

上記位置記憶部は、
３次元座標値と角度とを入力し、入力した３次元座標値と角度とを位置情報として記憶する位置入力部と、
上記位置入力部が入力した３次元座標値と角度とを補正する位置補正部と
を備えることを特徴とする。

上記位置補正部は、
位置情報に対応付けた映像情報を位置映像情報として、予め、記憶する対応表と、
位置入力部が入力した３次元座標値と角度とを検索キーとして、上記対応表を検索して位置映像情報を取得する位置映像検索部と、
上記映像入力部に記憶した撮影映像情報と、上記位置映像検索部が取得した位置映像情報とを照合し、上記撮影映像情報を撮影したカメラの位置と上記位置映像情報を撮影したカメラの位置との変異を算出する位置変異算出部と
を備え、
上記位置補正部は、上記撮影映像情報に対応づけられた位置情報へ位置変異算出部が算出した変異を加算して、補正位置情報を算出することを特徴とする。

上記映像−位置指定部は、上記映像表示部が表示した撮影映像情報へ所定の大きさのオブジェクトを表示し、上記オブジェクトをカメラのレンズ中心を原点とした３次元座標上で移動させて所定の領域の指定を促し、上記オブジェクトの位置を２次元投影したものを上記撮影映像情報と重ね合わせて表示することによって、指定したい領域の位置とカメラとの変位を知ることを特徴とする。

上記映像−位置指定部は、上記指定された領域とカメラとの距離を計算する距離計算部を備え、
上記映像−位置指定部は、上記距離計算部によって算出された距離の値を用いて指定された領域の３次元座標値を生成することを特徴とする。

上記距離計算部は、映像入力部が記憶する撮影映像情報と、位置映像検索部が検索した位置映像情報とを比較して、共通する領域を抽出し、抽出した領域とカメラとの距離を計算することを特徴とする。

上記距離計算部は、ステレオカメラを用いて撮影した２つの映像情報を入力し、入力した２つの映像情報の対応関係から、指定された領域とカメラとの距離を計算することを特徴とする。

上記映像−位置指定部は、上記距離計算部によって計算した距離の値を、上記映像表示部により表示された撮影映像情報に表示し、所定の領域の指定を促し、指定された領域の３次元座標値を、上記距離の値を用いて生成することを特徴とする。

上記情報伝達システムは、さらに、
上記空間情報を受信する情報受信部と、
上記情報受信部で受信した空間情報を上記撮影映像情報へ重ねて表示する空間情報表示部と
を備えることを特徴とする。

上記空間情報表示部は、上記空間情報を３次元座標を用いて上記撮影映像情報へ表示することを特徴とする。

この発明に係る情報表示システムは、カメラが撮影した映像情報を入力し、入力した映像情報を撮影映像情報として記憶する映像入力部と、
上記撮影映像情報を撮影したカメラが存在する位置を特定する３次元座標値とカメラが映像を撮影する方向を示す角度とを入力し、入力した３次元座標値と角度とを位置情報として、上記撮影映像情報に対応づけて記憶する位置入力部と、
上記位置入力部が記憶した位置情報を補正して補正位置情報を出力する位置補正部と、
予め、位置情報に対応づけた映像情報を位置映像情報として記憶する対応表と、
上記位置補正部による補正位置情報を検索キーとして、上記対応表を検索して上記補正位置情報に対応づけられる位置映像情報を取得する位置映像検索部と、
上記位置映像検索部によって取得された位置映像情報を表示する位置映像表示部と
を備えることを特徴とする。

上記位置補正部は、さらに、
上記位置映像検索部が検索した位置映像情報に対応づけられた位置情報を入力し、入力した位置情報を検索キーとして、上記対応表を検索して入力した位置情報に対応づけられる位置映像情報を取得する第２の位置映像検索部と、
上記映像入力部に記憶した撮影映像情報と、上記第２の位置映像検索部により取得された位置映像情報を照合し、上記撮影映像情報を撮影したカメラの位置と上記位置映像情報を撮影したカメラの位置との変異を算出する位置変異算出部とを備え、
上記位置補正部は、上記撮影映像情報に対応づけられた位置情報へ位置変異算出部が算出した変異を加算して、補正位置情報を算出することを特徴とする。

上記位置映像表示部は、映像入力部が入力した映像情報と、上記第２の位置映像検索部が検索した位置映像情報とを対比して表示することを特徴とする。

上記位置映像表示部は、上記撮影映像情報と上記位置映像情報とを所定の割合で重畳合成表示することを特徴とする。

この発明に係る情報伝達方法は、カメラが撮影した映像情報を入力し、
入力した映像情報を撮影映像情報として記憶し、
上記撮影映像情報を撮影したカメラが存在する位置を特定する３次元座標値とカメラが映像を撮影する方向を示す角度とを位置情報として、上記撮影映像情報に対応づけて記憶し、
上記記憶した撮影映像情報を表示し、
上記表示した撮影映像情報の中の所定の領域を指定し、
上記指定された領域を３次元座標値で示す空間情報を、上記記憶した位置情報を用いて生成し、
上記生成した空間情報を通信路経由で送信することを特徴とする。

この発明に係る情報表示方法は、予め、位置情報に対応づけた映像情報を位置映像情報として対応表へ記憶し、
カメラが撮影した映像情報を入力し、
入力した映像情報を撮影映像情報として記憶し、
上記撮影映像情報を撮影したカメラが存在する位置を特定する３次元座標値とカメラが映像を撮影する方向を示す角度とを入力し、
入力した３次元座標値と角度とを位置情報として、上記撮影映像情報に対応づけて記憶し、
記憶した位置情報を補正して補正位置情報を出力し、
上記補正位置情報を検索キーとして、上記対応表を検索して上記補正位置情報に対応づけられる位置映像情報を取得し、
取得した位置映像情報を表示することを特徴とする。

上記映像−位置指定部は、カメラのレンズ中心を原点とした３次元座標を用いて、指定された領域を特定し、上記３次元座標に基づいて、指定された領域とカメラの位置との変位を取得することを特徴とする。

この発明の情報伝達システム及び方法によれば、カメラが撮影する映像情報を３次元座標値と高度とからなる位置情報を用いて解析して、映像情報のうちの指定した領域を特定する空間情報を伝達することができる。

また、位置情報を補正することによって、指定した領域のより正確な空間情報を取得することができる。

また、撮影映像情報と位置映像情報とを照合することによって、カメラが撮影している現在地と、過去に映像を撮影した場所との変位を算出することができるとともに、算出した変位を用いて、より正確な空間情報を生成することができる。

また、カメラを原点とする３次元座標を用いて、指定したい領域を特定することによって、指定したい領域の位置のカメラからの変位を取得することができる。

距離計算部を有することによって、指定した領域とカメラとの距離を計算することができる。

さらに、撮影映像情報と位置映像情報とを比較することによって、指定した領域とカメラとの距離を算出することができる。

さらに、ステレオカメラで撮影した映像を用いることによって、指定した領域とカメラとの距離を算出することができる。

また、表示した撮影映像情報へ算出した距離を重ねて表示することによって、指定したい領域とカメラとの距離を示すことができ、利用者が領域を指定する際の補助になる。

また、外部から空間情報を受信し、受信した空間情報を表示することができる。

また、受信した空間情報に対応する映像情報を３次元座標のデータを用いて３次元的に表示することができる。

３次元座標値と角度とを入力し、入力した３次元座標値と角度に対応する映像情報を表示することができる。

また、３次元座標値と角度とを補正することによって、異なる過去の映像情報を表示することができる。

また、現在撮影している映像（撮影映像情報）と、過去の映像（位置映像情報）とを対比して表示することができる。

また、撮影映像情報と位置映像情報とを任意の割合で、重合表示することができる。

実施の形態１．
この発明の実施の形態１に係る空間情報伝達システムについて、図面を参照しながら説明する。
図１は、この発明の実施の形態１に係る空間情報伝達システムの構成の一例を示す図である。
なお、以降の説明において、各図中、同一符号は同一または相当部分を示す。

図１において、１はビデオカメラから一定周期で映像（映像情報）を入力し所定の時間分記憶する映像入力部であり、２はビデオカメラの位置と角度を知り記憶するための位置受信部（位置記憶部）であり、３は映像入力部によって入力された映像を表示する映像表示部であり、４は映像表示部によって表示されている映像上において領域（領域は、点を含む）もしくは特定の物体を指定するための映像−位置指定部であり、５は位置受信部２で記憶されている位置情報を利用して、映像−位置指定部４によって指定された領域もしくは特定の物体の位置情報を算出し、出力する領域位置出力部であり、６は領域位置出力部５によって出力された映像中の領域もしくは特定の物体の位置情報を通信路経由で送信する空間情報送信部である。映像入力部１と位置受信部２とは、記憶領域を有する。

ここで、位置情報とは経度・緯度・高度とそれらに水平な軸との角度を取り扱うものとする。すなわち、位置情報は、経度、緯度、高度、経度に水平な軸との角度、緯度に水平な軸との角度、高度に水平な軸との角度との６自由度の値から構成される。また、経度に水平な軸との角度、緯度に水平な軸との角度、高度に水平な軸との角度との３つの要素を、ワールド座標系と定義する。ワールド座標系は、経度・緯度・高度と相対的な座標を用いて、すなわち、地球上の任意の地点を原点として表される。

なお、本実施の形態において、映像−位置指定部４によって指定されるものは領域とする。映像入力部１から入力された映像は、映像表示部３に表示される。利用者は、映像表示部３に表示されている映像を見て、情報伝達したい領域を表示画面上で直接指定する。
なお、ここで、直接指定とは、タッチパネルのようなデバイスによって画面上で領域を直接指定することや、マウスのような補助デバイスによって映像上の領域をカーソルなどによって示すことで行うことを言う。本実施の形態では、マウス操作により指定する場合を考える。

ここで、図２に示すようなカメラのレンズ中心を原点とした３次元座標系（以後、この座標系を「カメラ座標系」とする）を定義する。カメラ座標系は、前記ワールド座標系と図３に示すような関係になっている（ただし、図３において、各座標系のスケールは一致しているものとする）。すなわち、ワールド座標系とカメラ座標系の原点同士が運動ベクトルで示されるベクトルと回転によって移動したものと考える。運動ベクトルと回転行列、つまり変換行列が分かれば、カメラ座標系での座標値とワールド座標系での座標値を相互に計算することができる。ワールド座標系では、経度・緯度・高度に基づいて示される座標値であり、原点は、任意の地点一箇所に固定されている。カメラ座標系では、カメラの位置を原点として示される座標値であり、原点は、カメラの移動に伴って移動する。従って、カメラの移動に伴って、カメラ座標系の座標値は、ワールド座標系の座標上を移動することになる。

例えば、運動ベクトルが（ｘ，ｙ，ｚ）で、回転が各軸の周りに（α，β，γ）だったとすると、カメラ座標系で（１，１，１）の点はワールド座標系では、図４の式１の右辺（ｘ，ｙ，ｚ）に（１，１，１）を代入して得られた値となる。これによって、カメラ座標系の点は、ワールド座標系の点に変換できる。映像−位置指定部４は、カメラ座標系上に任意の大きさの３次元的な形状を持つオブジェクトを配置する。
なお、オブジェクトは、カメラ座標系の任意の場所を示すマークである。これをコンピュータグラフィック（ＣＧ）の手法を用いて、映像入力部１によって取得された映像フレーム上に合成表示する（図５）。これによって、映像上において、３次元的にどの位置を示しているかが利用者に分かりやすくなる。

例えば、オブジェクトの移動が指定対象領域の移動を示す。オブジェクトの操作は、例えば、次のように規定できる（図６）。左ボタンをクリックしたままマウスを動かすことで、視点より奥行き方向の位置を固定し、２次元的にオブジェクトを移動させる。奥行き方向に移動したい場合はマウスの右ボタンをクリックした状態で、垂直方向に上に動かした場合は奥へ、下へ動かした場合は手前へ移動するようにする。領域を指定する場合は、オブジェクトを目的地に移動させてマウスの左ボタンをダブルクリックすることにより指定開始する。指定の終了は、右ボタンのダブルクリックにより行う。これにより、２次元的に動くマウス操作で３次元的な領域を指定する操作を行うことができる。

上記オブジェクトの下に影を付加することで、立体的な構造上のどの辺を指し示そうとしているのかを分かりやすくすることもできる。オブジェクトの形状は、直径１ｍの球体とするなどサイズを固定することで、奥行き方向に動かした場合に画面表示上で小さく、手前方向に動かした場合に画面表示上で大きく投影されるので、視点からどの程度離れたかを分かりやすくすることができる。

このようにして、指定された領域の座標は、カメラ座標系で出力される。出力された領域の座標値は、領域位置出力部５によって位置受信部２で記憶されている位置情報を用いてワールド座標系の座標値に変換され、空間情報として出力される。空間座標は、ワールド座標系の３つの座標値から構成される３次元座標値である。
すなわち、位置受信部２に記憶されている位置情報が運動ベクトルを示すことになる。空間情報は、空間情報送信部６によって無線通信路などを用いて所定の送信先へ送信する。無線通信路としては、携帯電話や衛星回線を利用するなど、様々な方法をとることができる。

この情報を受信して、地図上に重畳表示するなどの表示機能を設けた特定の受信センタを用意し、受信センタと移動体装置間でのやり取りを行うシステムとしてもよい。受信センタでは、空間情報を受け取り、３次元地図上へ領域表示したり、指定された領域が建造物の一部である場合などに、該当個所を３次元ＣＧによって表示することも可能である。

例えば、自動車に本空間情報伝達システムを設置する場合の装置構成例を図７に示す。
１０１は映像を取り込むビデオカメラであり、１０２は位置情報を取得するためのＧＰＳであり、１０３はカメラの設置角度を知るための角度センサであり、１０４はシステムを制御するための装置本体であり、１０５はビデオカメラ１０１により取り込まれた映像を表示し、映像上の位置を指定することができる表示装置であり、１０６は位置情報を送出するための通信装置である。通信装置１０６は、例えば携帯電話などである。

設置方法としては、運転席のバックミラー近辺にビデオカメラ１０１を設置し、ビデオカメラ１０１に角度センサ１０３を固定する。ＧＰＳ１０２のアンテナは、フロントパネル前方に設置する。これらの装置は、すべて装置本体１０４に接続されている。装置本体１０４と表示装置１０５はダッシュパネルに設置し、通信装置１０６は携帯電話を利用するものとして装置本体１０４と接続する。装置本体１０４において、図１に示した構成を持つソフトウェアを導入することで、本装置を車両に積載することが可能になる。

図１と図７の構成を対応付けると下記のようになる。
映像入力部１は、ビデオカメラ１０１、位置受信部２は、ＧＰＳ１０２と角度センサ１０３、領域位置出力部５は、装置本体１０４、映像表示部３と映像−位置指定部４とは、表示装置１０５、空間情報送信部６は、通信装置１０６によって実現していることになる。

なお、映像入力部内に記憶する映像フレームは、カメラが撮影した映像情報を入力したものであり、撮影映像情報ともいう。撮影映像情報は、撮影中の現在の映像情報を意味する。撮影中の撮影映像情報に対応づけられる位置情報は、位置受信部（位置記憶部）に撮影映像情報と対応づけられて記憶される。位置情報は、３次元座標値と角度とから構成され、ＧＰＳや角度センサによって、位置受信部に受信（入力）されるものである。従って、撮影映像情報と、上記撮影映像情報に対応する位置情報は、リアルタイムに映像入力部と位置受信部とへ入力されることになる。
また、映像表示部に表示される映像情報自体は、３次元の対象を撮影して２次元投影された映像である。

以上のように構成することで、映像上で指定した物体の位置情報を送信することが可能となる。

以上のように、この実施の形態では、移動体に設置されたビデオカメラからの映像信号を受け取り記憶する映像入力部と、カメラの位置（３次元座標値）・向き（角度）を知り、位置情報を記憶する位置受信部と、前記映像入力部に存在する映像をリアルタイム表示する映像表示部と、映像中に投影されている領域を指定する映像−位置指定部と、映像−位置指定部によって指定された領域の位置を、位置受信部に記憶されている位置情報を元にして出力する領域位置出力部と、物***置出力部によって生成された領域の位置情報を通信路経由で送信する空間情報送信部を備える空間情報伝達システムを説明した。

また、前記映像−位置指定部は、所定の大きさのオブジェクトを、カメラのレンズ中心を原点とした３次元空間内を移動させ、その位置をカメラ投影面に２次元投影したものを映像データと重ね合わせて表示することで、指定したい領域の位置のカメラからの変位を知ることができる。

また、前記空間情報送信部より送信される空間情報を受信する空間情報受信部と、空間情報受信部で受信した空間情報を所定の方法で表示する空間情報表示部を持つ。

また、前記空間情報表示部は、当該空間情報を３次元的に配置して表示する空間情報伝達システムを説明した。

実施の形態２．
実施の形態１のシステムを、さらに、図８で示すように拡張する。
図８において、７は位置に関連付いた映像フレームを検索する位置映像検索部であり、８は位置映像検索部７によって検索された映像フレ−ムと映像入力部に存在する映像フレームを照合して、検索した映像フレームが撮影された位置と映像入力部に存在する映像フレームの撮影位置の変異を算出する位置変異算出部であり、９は位置受信部２の位置情報を補正して補正位置情報を出力する位置補正部である。
本実施の形態の場合、位置補正部９は、位置変異算出部８で算出された変異と位置受信部２による位置情報を加算して、位置補正情報として出力するものとする。その他の構成部は、実施の形態１と同様であるので省略する。

このように拡張することで、最終的に送信する領域の空間情報の誤差を押えることができる。位置映像検索部７は、位置受信部２による位置情報をキーにして、該当する位置近辺の映像データと当該映像の撮影時の位置情報を取得する。位置情報による映像情報の検索は、例えば、図９に示すような対応表をシステムが管理し、対応表を参照することによって行うことができる。
図９は、位置情報と映像情報との対応表の一例を示す図である。
図９の対応表を用いると、「緯度Ｘ経度Ｚ高さＹの座標を持ち、カメラの角度がｘ軸方向にα度回転しているもの」という条件の場合、４番目のレコードが選択され、映像１の開始から６０秒の地点のフレームが取得される。この例では、完全に一致するものを選択しているが、入力される位置・角度と対応表に存在するデータの位置・角度に関する相関を計算することで、類似度の最も高い情報を取得するなどしてもよい。

このようにして、位置映像検索部７によって取得された該当位置近辺の過去に撮影された映像と、映像入力部１に存在する映像データを位置変異算出部８によりフレーム単位で照合し、位置の変異を算出する。位置の変異計算は、例えば、次のように行われる。

まず、両画像上において、同一物体上の一致点（これを対応点とする）を複数個求める。対応点は、両画像にエッジ抽出フィルタをかけ、線分のコーナー検出を行い、その結果の幾何学的な特徴の照合を行うことで求めることができる。
得られた対応点の関係と、カメラの焦点距離、画像中心の座標、画像の水平方向と垂直方向のなす角度などの固有情報（これを内部パラメータとする）と、検索結果の画像に関する撮影情報が分かれば、検索結果の画像撮影時と現在画像を撮影したときのカメラ位置の差異を求めることができる。
この計算によって、現在画像撮影時の正確なカメラの位置を知ることができる。内部パラメータは、予め既知のカメラ構成手法により計測しておくことができるので、これは計測済みで装置に記憶されているものとして扱う。
また、カメラの設置角・設置高さなどの情報も予め計測しておき、既知の情報として利用する。

これらの条件から、近代科学社発行の「写真から作る３次元ＣＧ」Ｐ４０に示される式４．３８または４．３９を解き、さらに得られた結果と既知のパラメータを利用して同書Ｐ６９の式７．１及び７．２を解くことにより、カメラ撮影位置の変異を計算することができる。

この情報を利用して、位置補正部９が補正位置情報を出力する。映像−位置指定部４により指定された領域の情報を、実施の形態１と同様の方式により領域位置出力部５によって位置計算して出力する。生成された空間情報は、実施の形態１と同様に、通信路経由で送信される。

また、本実施の形態における装置を車載するために、図７に示した装置を図１０に示すように変更する。
１０７は位置に関連付いた映像を蓄積記憶する大容量記憶装置である。例えば、１０７はＤＶＤなどのリムーバブルな記憶媒体を読み込み可能な装置であってもよいし、ＨＤＤ（ハードディスクドライブ）のような固定記憶装置であってもよい。リムーバブルな記録媒体を読み込み可能な装置を利用する場合は、行動範囲が限定されていれば、ＤＶＤ１枚程度で十分な容量であり、行動範囲が広い場合でも、オートチェンジャつきの装置に変更することで、かなりの範囲の位置に関連付いた映像データを保持することができる。映像データは、必要に応じて圧縮処理を行ったものを利用することで、より広範囲のデータを保持することができる。

なお、図１０では、大容量記憶装置１０７は、装置本体１０４に直接接続されているが、遠隔地のサーバマシンに配置して通信路経由でアクセスしてもよい。大容量記憶装置１０７は、装置本体１０４内部に組み込むことも可能であるし、運転席下部もしくはトランクルームなどに固定設置し、装置本体１０４に接続することができる。

以上のように構成することで、映像上で指定した物体の正確な位置情報を取得することができ、領域の空間情報を送信することが可能となる。

この実施の形態では、位置受信部は、カメラの位置・向きを外部から入力してその位置・向きの情報を記憶する位置入力部と、位置入力部により入力されたカメラの位置・向きを補正する位置補正部とを備える空間情報伝達システムを説明した。

更に、前記位置補正部は、位置に対応づいた映像情報を予め蓄積・記憶し、位置入力部によって入力されたカメラの位置・向きを検索キーとして映像を取得する位置映像検索部と、前記映像入力部に存在する映像フレームと、前記位置映像検索部により取得された位置映像データを照合し、現在地と位置映像撮影時のカメラの変異を算出する位置変異算出部を持ち、位置入力部の情報に位置変異算出部の値を加算したものを新たな位置情報として算出する例を説明した。

実施の形態３．
実施の形態２においては、３次元空間上を移動するカーソルによって領域を指定した。本実施の形態では、画面上の点を指定することにより、領域を指定する例に関して記述する。
図８に示した構成を、図１１に示す構成のように拡張する。
図１１において、４１は位置映像検索部７によって検索された映像フレームと、映像入力部に記憶されている映像フレームを照合して、指定された点のカメラ中心からの距離を求める距離計算部である。その他の構成要素は、図８のものと同様である。

距離の計算は、以下のようにして行う。
実施の形態２に述べたシステムでは、位置に対応付けた映像を検索して現在の映像と比較することで、位置情報の誤差を補正して空間情報を伝達することができた。２枚の画像間の撮影位置の変異と内部パラメータが分かれば、エピポーラ幾何に従って、特徴点のカメラからの距離を計算することができる。この距離計算は、いくつかのアルゴリズムが提案されており、そのいずれかを用いればよい。また、奥行き計算の対象となる点は、２枚の画像間の撮影位置の変異と内部パラメータが分かっていれば、特徴点に限らず任意の点に関して計算することが可能となる。例えば、予め規定された道路標識などをモデルとして、このモデルを画像内で検索したものの中心点に関して奥行きを求めることも可能である。

また、上記方法では過去の映像と、現在の映像の２枚によって奥行き情報を求めているが、これをステレオカメラによる視差を設けた２枚のリアルタイム画像を利用する方法をとることも可能である。２台のカメラを平行に配置して配置パラメータを取得しておき、両画像の対応点を見つけることで、上記と同様の計算によって奥行き情報を求めることができる。

領域指定インターフェースとしては、例えば、上記のようにして求めた対応点または建物の角などの特徴点に関して奥行き情報を予め計算し、画像上の座標値に従って合成表示した上で（図１２）、利用者が表示されている対応点もしくは特徴点を指定する方法をとることができる。このようにすることで、どの程度はなれているかを表示するので、利用者に映像上のどの点がカメラからどのぐらい離れているかを示すことができる。また、対応点・特徴点以外でも画面を直接指定することで、３次元空間上の点のカメラからの距離を計算することができるので、その位置を出力することができる。

以上のように構成することで、利用者に物体の奥行きを示すことができるので、物体の指定を行い物体の空間情報を送信することが可能となる。

この実施の形態では、前記映像−位置指定部は、カメラ映像上に撮影されている領域のカメラからの距離を計算する距離計算部を持ち、距離計算部によって算出された値を指定位置とする空間情報伝達システムを説明した。

また、前記距離計算部は、映像入力部によって記憶されている映像情報と位置映像検索部により検索された位置映像情報から、両者に共通して撮影されている領域のカメラからの距離を計算する。

また、前記距離計算部は、ステレオカメラによる２枚の画像間の対応関係から、指定された領域のカメラからの距離を計算する。

更に、前記映像−位置指定部は、前記距離計算部によって計測した結果の値を該領域近辺に重畳表示し、領域近辺をポインティングデバイスなどで指示されたときに領域が指定されたと判断して、その計測結果を指定位置として用いる例を説明した。

実施の形態４．
この発明の実施の形態４に係る空間情報表示システムについて、図面を参照しながら説明する。

図１３に、空間情報表示システムの処理動作を示す。
図１３において、１７は位置受信部２に記憶されている位置情報と、位置変異算出部８によって算出された位置の変異とを加算して新たな位置情報を生成し、位置映像検索部７に新たな位置情報を用いて位置に関連付いた映像を取得する第２の位置映像検索部（位置映像検索部２）であり、２３は第２の位置映像検索部によって取得された映像フレームを表示する映像表示部である。
なお、同一符号の部分の動作は、実施の形態２における空間情報伝達システムと同一である。

映像入力部１は、ビデオカメラより入力された映像を取り込んで記憶する。位置受信部２は、逐次位置情報をセンサなどから取得し、記憶する。位置映像検索部７は、位置受信部２に存在する位置情報を元にして、位置に関連付いた映像フレームを検索する。映像検索は、実施の形態２に記述したものと同様の方法によって行われる。位置変異算出部８は、位置映像検索部７によって検索された映像フレームと、映像入力部１によって記憶されている映像フレームを実施の形態２で説明した方法と同様の方法を利用して照合し、カメラ位置の変異を求める。第２の位置映像検索部は、位置受信部２に記憶されている位置情報と、位置変異算出部８によって算出された変異を加算して新たな位置情報を計算し、この位置情報を元にして、位置映像検索部７に映像フレームの検索を要求して結果の映像フレームを取得する。取得した映像フレームは、映像表示部２３によって表示される。

映像表示部２３では、図１４に示しているように、同時に映像入力部１に記憶されている映像を横または縦に並べて同時に表示してもよいし、図１５に示すように、二つの画像の縦横画素数を、片方を縮小処理するなどして一致させた上で、指定された割合で重ね合わせて表示してもよい。合成割合は、任意に変更できるようにすることで、例えば、現在の映像を０％とした場合は検索された過去映像のみ、５０％と指定された場合は双方が半々の割合で合成表示、１００％と指定された場合は現在の映像のみ、というように状況に応じて見たい映像の割合を増減させて表示を切り替えることができる。

以上のように構成することで、視点がほぼ一致した過去の状態映像を対比表示することができる。また、合成割合を変化させることで、過去の状態映像と現在の映像を状況に応じて変化させてみることができる。

この実施の形態では、移動体に設置されたビデオカメラからの映像信号を受け取り記憶する映像入力部と、カメラの位置・向きを外部から入力してその位置・向きの情報を記憶する位置入力部と、位置入力部により入力されたカメラの位置・向きを補正して補正位置情報を出力する位置補正部と、位置に対応づいた映像情報を予め蓄積・記憶し、位置補正部による補正位置情報を検索キーとして位置映像を取得する位置映像検索部と、位置映像検索部によって取得された映像を表示する位置映像表示部を備える空間情報表示システムを説明した。

また、前記位置補正部は、位置に対応づいた映像情報を予め蓄積・記憶し、位置入力部によって入力されたカメラの位置・向きを検索キーとして映像を取得する第２の位置映像検索部と、前記映像入力部に存在する映像フレームと、前記位置映像検索部により取得された位置映像データを照合し、現在地と位置映像撮影時のカメラの変異を算出する位置変異算出部を持ち、位置入力部の情報に位置変異算出部の値を加算したものを補正位置情報として算出する。

また、前記位置映像表示部は、映像入力部によって現在撮影されている映像と、検索された位置映像を対比表示する。

更に、前記位置映像表示部は、対比表示の際に現在の映像と位置映像を所定の割合で重畳合成表示する例を説明した。

実施の形態５．
なお、実施の形態１〜５に述べたシステムは、車両に積載するように記述したが、装置本体を小型軽量化することでバイクや人間など他の移動体にも適用可能である。また、実施の形態１〜３では、位置指定処理により位置が指定された段階で位置・高さ情報を算出して送信していたが、指定された位置とそのときの現在映像を対応付けて複数記憶しておき、後に一括して計算・送信することも可能である。

実施の形態１に係る空間情報伝達システムの構成の一例を示す図。 カメラ座標系を説明する図。 カメラ座標系とワールド座標系との関係を示す図。 カメラ座標系とワールド座標系との座標を変換する式を示す図。 映像−位置指定部４が配置したオブジェクトを映像入力部１によって取得された映像フレーム上に合成表示した図。 映像情報に合成表示したオブジェクトの操作例を説明する図。 自動車に本空間情報伝達システムを設置する場合の装置構成例を表す図。 実施の形態２に係る空間情報伝達システムの構成の一例を表す図。 位置情報と映像情報との対応表の一例を示す図。 自動車に本空間情報伝達システムを設置する場合の装置構成例を表す図。 実施の形態３に係る空間情報伝達システムの構成の一例を表す図。 映像情報へ所定の座標値を表示して利用者が距離を把握しやすいようにした図。 空間情報表示システムの処理動作を示す図。 映像入力部１に記憶されている映像を横または縦に並べて同時に表示した例を示す図。 二つの画像の縦横画素数を、片方を縮小処理するなどして一致させた上で指定された割合で重ね合わせて表示した例を示す図。

符号の説明

１ 映像入力部、２ 位置受信部、３ 映像表示部、４ 映像−位置指定部、５ 領域位置出力部、６ 空間情報送信部、７ 位置映像検索部、８ 位置変異算出部、９ 位置補正部、１７ 第２の位置映像検索部、２３ 映像表示部、４１ 距離計算部、１０１ ビデオカメラ、１０２ ＧＰＳ、１０３ 角度センサ、１０４ 装置本体、１０５ 表示装置、１０６ 通信装置、１０７ 大容量記憶装置。

Claims (4)

1. カメラが撮影した複数の映像情報を複数の過去映像情報として記憶し、過去映像情報毎に過去映像情報を撮影したときの上記カメラの位置情報を過去映像情報に対応づけて記憶する記憶装置と、
   上記カメラが撮影した映像情報を撮影映像情報として入力する映像入力部と、
   上記撮影映像情報を撮影したときの上記カメラの位置情報を入力する位置入力部と、
   上記位置入力部に入力された位置情報に対応する過去映像情報を第１の過去映像情報として上記記憶装置から取得する第１の位置映像検索部と、
   上記映像入力部に入力された撮影映像情報と上記第１の位置映像検索部により取得された第１の過去映像情報とを所定の方法で照合し、上記撮影映像情報を撮影したときの上記カメラの位置情報と上記第１の過去映像情報を撮影したときの上記カメラの位置情報との差を位置変位として算出する位置変位算出部と、
   上記撮影映像情報を撮影したときの上記カメラの位置情報に上記位置変位算出部により算出された位置変位を加算して新たな位置情報を算出し、算出した新たな位置情報に対応する過去映像情報を第２の過去映像情報として上記記憶装置から取得する第２の位置映像検索部と、
   上記第２の位置映像検索部によって取得された第２の過去映像情報を表示する位置映像表示部と
   を備えることを特徴とする情報表示システム。
2. 上記位置映像表示部は、上記映像入力部が入力した撮影映像情報と、上記第２の位置映像検索部により取得された第２の過去映像情報とを対比して表示することを特徴とする請求項１記載の情報表示システム。
3. 上記位置映像表示部は、上記撮影映像情報と上記第２の過去映像情報とを所定の割合で重畳合成表示することを特徴とする請求項１記載の情報表示システム。
4. カメラが撮影した複数の映像情報を複数の過去映像情報として記憶装置に記憶し、過去映像情報毎に過去映像情報を撮影したときの上記カメラの位置情報を過去映像情報に対応づけて上記記憶装置に記憶し、
   上記カメラが撮影した映像情報を撮影映像情報として入力し、
   上記撮影映像情報を撮影したときの上記カメラの位置情報を入力し、
   入力した位置情報に対応する過去映像情報を第１の過去映像情報として上記記憶装置から取得し、
   上記撮影映像情報と上記第１の過去映像情報とを所定の方法で照合し、上記撮影映像情報を撮影したときの上記カメラの位置情報と上記第１の過去映像情報を撮影したときの上記カメラの位置情報との差を位置変位として算出し、
   上記撮影映像情報を撮影したときの上記カメラの位置情報に上記位置変位を加算して新たな位置情報を算出し、算出した新たな位置情報に対応する過去映像情報を第２の過去映像情報として上記記憶装置から取得し、
   取得した第２の過去映像情報を表示することを特徴とする情報表示方法。

Images