JP6074137B2 - 車両周辺情報提供システム及びその方法 - Google Patents

Description

本発明は、車両周辺情報提供システム及びその方法に係り、より詳しくは、車両周辺の障害物の位置を正確に算出できるようにする技術である。

最近、車両が高度に知能化するに伴い、車両に搭載された各種センサを用いて多様な機能を行っているが、その中で前方の障害物又は移動物体を感知して衝突を予め防止する前方衝突防止システム、車間距離維持システム等がある。従来は、距離測定センサ又は映像センサを用いて前方の障害物又は移動物体を感知し、前方の障害物又は移動物体の位置を感知している。しかし、従来のこのような方式は、前方の移動物体又は移動物体の位置感知の結果において誤差が大きい問題があった。

特開２００９−９８０８５号公報

本発明の目的は、車両周辺の移動物体又は移動物体の位置を正確に算出することにある。

本発明による車両周辺情報提供システムは、予め定めた間隔で車両に設けられ、メイン映像獲得部と複数のサブ映像獲得部からなる複数の映像獲得部と、前記映像獲得部のうち少なくとも二つ以上を選択し、選択された映像獲得部から映像データを受信する映像獲得部選択器と、前記映像獲得部選択器から受信した映像データから障害物認識及び位置を算出し、車両の車速情報に従い前記映像獲得部のうち少なくとも二つ以上の映像獲得部を選択するように前記映像獲得部選択器を制御する制御部と、を含み、前記制御部は、前記メイン映像獲得部の映像を引き続き一括して見せるため、選択された映像獲得部から算出された障害物の位置に基づき、前記メイン映像獲得部の映像データ上の障害物の位置を補正することを特徴とする。

前記制御部により補正された映像データを画面に示す表示部を含むことを特徴とする。

前記制御部は、車速が速いほどベースラインを長く決定し、車速が遅いほどベースラインを短く決定することを特徴とする。

前記制御部は、車両が低速走行の場合、第１ベースラインを有する少なくとも二つ以上の映像獲得部を選択するように制御し、車両が中速走行の場合、第１ベースラインより長い第２ベースラインを有する少なくとも二つ以上の映像獲得部を選択するように制御し、車両が高速走行の場合、第２ベースラインより長い第３ベースラインを有する少なくとも二つ以上の映像獲得部を選択するように制御することを特徴とする。

前記映像獲得部は、数列に従い互いに相違するベースラインを有するように設けられることを特徴とする。

前記映像獲得部は少なくとも３つ以上であることを特徴とする。

前記制御部は、補正された映像データを用いて車間距離制御を行うことを特徴とする。

前記制御部は、車両が路地走行の場合、第１ベースラインを有する少なくとも二つ以上の映像獲得部を選択するように制御し、車両が市内走行の場合、第１ベースラインより長い第２ベースラインを有する少なくとも二つ以上の映像獲得部を選択するように制御し、車両が高速道路走行の場合、第２ベースラインより長い第３ベースラインを有する少なくとも二つ以上の映像獲得部を選択するように制御することを特徴とする。

本発明による第１の車両周辺情報提供方法は、車両の現在車速を判断する過程と、車両の現在車速が予め定めた第１基準値未満の場合、メイン映像獲得部と複数のサブ映像獲得部からなる複数の映像獲得部のうち第１ベースラインを有する少なくとも二つの映像獲得部を選択する過程と、車両の現在車速が予め定めた第２基準値未満の場合、複数の映像獲得部のうち第１ベースラインより長い第２ベースラインを有する少なくとも二つの映像獲得部を選択する過程と、車両の現在車速が予め定めた第２基準値以上の場合、複数の映像獲得部のうち第２ベースラインより長い第３ベースラインを有する少なくとも二つの映像獲得部を選択する過程と、選択された少なくとも二つ以上の映像獲得部から映像データを受信して映像処理を行う過程と、映像処理された映像データから障害物を認識して障害物の位置を算出する過程と、メイン映像獲得部の映像を引き続き一括して見せるため、前記算出された障害物の位置を用いて前記映像獲得部のうちメイン映像獲得部から獲得された映像データ上の障害物の位置を補正し、補正された映像データを画面に表示する過程と、を含むことを特徴とする。

本発明によれば、道路の地面と周辺移動物体に対する正確な位置情報を提供して運転者の安全性及び便宜性を増大させる効果がある。

本発明の実施例に係わる車両周辺情報提供システムの構成を示す図である。 図１の複数の映像獲得部を車両に設けた例示図である。 図２の複数の映像獲得部の設置時に映像獲得部間の最適間隔を説明するための図である。 図３のベースライン長さの影響に伴う変位当測定距離を示すグラフである。 本発明の実施例に係わる車両周辺情報提供方法を示すフローチャートである。

以下、図面を参照して、本発明の実施例を詳しく説明する。なお、各図面の構成要素の符号は、同一の構成要素に対しては同一符号を付与した。本明細書での交通手段は、スポーツ機能車両（ＳＵＶ）、バス、トラック、多様な商業車両を含む乗用車、多様なボートと船舶を含むウォータークラフト（ｗａｔｅｒｃｒａｆｔ）、エアクラフト（ａｉｒｃｒａｆｔ）等々のようなモータ車両、ハイブリッド（ｈｙｂｒｉｄ）車両、電気車両、プラグインハイブリッド電気車両、水素（ｈｙｄｒｏｇｅｎ−ｐｏｗｅｒｅｄ）車両、その他の異なる燃料を用いる車両（例えば、石油外の燃料を用いる車両）などを含む。ハイブリッド車両は、２つ又はそれ以上の資源（例えば、ガソリンと電気エネルギーの両方とも用いる車両）を用いた車両である。

図１は、本発明の実施例に係る車両周辺情報提供システムの構成を示す図である。本発明の車両周辺情報提供システムは、映像獲得部１１０、映像獲得部選択器１２０、映像処理部１３０、表示部１４０、及び制御部１５０を含む。映像獲得部１１０は、車両前方の周辺環境映像情報を獲得する。このため、映像獲得部１１０は、メイン映像獲得部１１１と複数のサブ映像獲得部１１２、１１３を含む。映像獲得部１１０はカメラも含む。

このような複数の映像獲得部１１０は、図２に示すように、車両前面ウィンドウ上端に予め定めた間隔に羅列されて設けられ、少なくとも３つ以上のカメラが設けられる。このとき、予め定めた間隔は、図３のように、ベースライン１、ベースライン２、ベースライン３に命名され、各ベースライン１、２、３は数列（等比数列、等価数列）を介して非対称的な値を有する。即ち、各ベースライン１、２、３は値が互いに相違するように構成され、ＢＳ１、ＢＳ２、ＢＳ３の順に値が大きくなるように設定される。このような非対称性は映像獲得部１１１〜１１３の間のベースラインの長さを多様に組み合わせることを可能にする。図２及び図３では、３つの映像獲得部１１１〜１１３を設けた場合を開示しているが、映像獲得部１１０の個数が多いほど、ベースラインの長さを多様に設定することができる。このとき、ベースライン１は、メイン映像獲得部１１１とサブ映像獲得部１１２との間隔を意味し、ベースライン２は、サブ映像獲得部１１２とサブ映像獲得部１１３との間隔を意味し、ベースライン３は、メイン映像獲得部１１１とサブ映像獲得部１１３との間隔を意味する。

映像獲得部選択器１２０は、制御部１５０により制御され映像獲得部１１０のうち二つを選択し、選択された映像獲得部から映像データの伝達を受けて映像処理部１３０へ伝達する。映像処理部１３０は、映像獲得部選択器１２０から受信した映像データから変位映像データを生成する。このとき、変位映像データは二つの映像獲得部から受信した二つの映像のうち重複するピクセルを除去し、一つのステレオ映像で処理したデータを意味する。制御部１５０は、映像処理部１３０から受信した変位映像データから移動物体を探知して移動物体の位置（距離）を分析する。さらに、制御部１５０はメイン映像獲得部１１１により撮影された映像データに分析した移動物体の位置を補正し、補正された映像データを表示部１４０に伝達する。

表示部１４０は、メイン映像獲得部１１１により獲得された映像データを表示するが、制御部１５０により補正された映像データを画面に表示する。車速に応じて選択される映像獲得部が毎度変更されるが、毎度選択される映像獲得部により撮影された映像データを提供するのではなく、メイン映像獲得部１１１による映像データを基本に提供する。つまり算出された移動物体の位置を基盤にメイン映像獲得部１１１による映像データを補正して提供することにより、移動物体の位置情報を正確に把握しながら、毎度基本画面が変更されず、一貫した画面を提供する。これにより運転者の便宜性を増大させることができる。

例えば、サブ映像獲得部１１２とサブ映像獲得部１１３はその位置及び方向が異なるので、同一の環境を撮影しても、角度及び位置が少しずつ異なる。選択される映像獲得部の映像を提供することになれば、引き続き角度及び位置が変更され運転者に疲労感を与えることがある。例えば、メイン映像獲得部１１１の映像を基本に引き続き一括的に見せている場合、選択された映像獲得部から算出された移動物体の位置情報からメイン映像獲得部１１１の映像の移動物体の位置を補正して表示することにより、運転者の疲労感を最小化することができる。

一方、制御部１５０は、車速情報に従い映像獲得部選択器１２０を制御して複数個の映像獲得部１１０のうち二つを選択するようにする。このとき、車速情報は変速器（図示しない）、ナビゲーション（図示しない）などを介して収集することができる。下記の「表１」を参照して２つの映像獲得部１１０を選択する方法を説明する。

「表１」でベースラインは、図３のように、映像獲得部間の距離を意味し、ＢＳ１、ＢＳ２、ＢＳ３の順に長さが長くなると仮定する。即ち、ＢＳ１＜ＢＳ２＜ＢＳ３の通りである。ベースラインは、図４に示すグラフのように、関心地点距離を縦軸にして変位を横軸にする場合、反比例形態になる。ここで、変位は二つの映像獲得部から受信した映像データ上の移動物体間のピクセル数を意味する。図４で、関心地点距離が遠いほど、変位１つ当たりの距離測定の誤差が大きくなり、ベースラインがあまり長くなると、短距離の移動物体の変位が有効値から遠くなる。

このようなベースラインは、長いほど距離測定誤差は低くなるが、二つの映像獲得部から受信した映像データを一つのステレオ映像データに生成するとき、映像処理量が多くなる短所がある。逆に、ベースラインが短いほど距離測定誤差は高くなるが、映像処理量は少なくなる。ここに、制御部１５０は関心地点距離が短い低速走行時には誤差確率が低いので、ベースラインを短い映像獲得部を選択するようにして映像処理量を低減し、関心地点距離が長い高速走行時には誤差確率が高くなるので、ベースラインが長い映像獲得部を選択して映像処理量が多くとも誤差確率を低減するようにする。

例えば、２５ｍｍの焦点距離を有する６４０×４８０カメラで判別可能な変位の差を６４ピクセル〜１６ピクセルに指定した場合、下記のように映像獲得部を選択することができる。先ず、制御部１５０は低速走行中の場合、関心地点距離が２０ｍ以内なので、短いベースラインＢＳ１を有する映像獲得部１１１、１１２を選択するよう映像獲得部選択器１２０を制御する。さらに、制御部１５０は中速走行中の場合、関心地点距離が２１〜５０ｍの範囲に属するので、中間ベースラインＢＳ２を有する映像獲得部１１２、１１３を選択するよう映像獲得部選択器１２０を制御する。一方、制御部１５０は高速走行中の場合、関心地点距離が５１〜１５０ｍの範囲に属するので、長いベースラインＢＳ３を有する映像獲得部１１１、１１３を選択するよう映像獲得部選択器１２０を制御する。

このように、本発明は高速走行では遠い距離を見ることになり、誤差確率が高くなり得るので、映像処理量が多くともベースラインを大きく設定するようにし、低速走行では近距離を見ることになり相対的に距離測定誤差確率が低いので、ベースラインを小さく設定するようにする。

ここに、本発明は多様なベースラインの長さを用いてそれぞれの距離に合わせて映像獲得部１１０の間隔を選択することができ、ベースライン可変のために映像獲得部を動かさなくても良いので、映像獲得部自体の動きによるキャリブレーション（ｃａｌｉｂｒａｔｉｏｎ）誤謬の発生可能性を低減することができる。

以下、図３及び図５を参照し、本発明による車両周辺情報提供方法を具体的に説明する。先ず、制御部１５０は現在車速が２０ｋｍ未満なのかを判断し（Ｓ１０１）、現在車速が２０ｋｍ未満の場合、映像獲得部選択器１２０を制御してベースラインが短い二つの映像獲得部１１１、１１２を選択する（Ｓ１０２）。一方、現在車速が２０ｋｍ未満でない場合、制御部１５０は現在車速が５０ｋｍ未満なのかを判断し（Ｓ１０３）、映像獲得部選択器１２０を制御してベースラインが中間である二つの映像獲得部１１２、１１３を選択するようにする（Ｓ１０４）。その後、現在車速が５０ｋｍ以上の場合、制御部１５０は映像獲得部選択器１２０を制御してベースラインが最も長い二つの映像獲得部１１１、１１３を選択するようにする（Ｓ１０５）。

次いで、映像獲得部選択器１２０は選択された二つの映像獲得部から映像データをそれぞれ受信して映像処理部１３０に伝達し（Ｓ１０６）、映像処理部１３０は伝達を受けた二つの映像データを映像処理し、制御部１５０が映像処理された映像データから障害物を認識して障害物の位置を算出する（Ｓ１０７）。
その後、制御部１５０は算出された障害物位置情報に基づきメイン映像獲得部が提供する映像データ上の障害物の位置を補正し（Ｓ１０８）、補正された映像データを表示部１４０に出力する（Ｓ１０９）。

このように、本発明は複数のカメラを設け、カメラ間の間隔（ベースライン）を、数列を介し設定して多様なベースラインを作成できるようにすることにより、ステレオカメラの特性上、ベースラインの長さが固定され測定できる距離の精度が固定される問題点と、ベースライン可変形カメラ設置時にカメラ軸上のパラメータなどが変化することのある問題点を解決し、多様な距離での測定結果の正確度を高めることができる。

即ち、固定されたベースラインを有する場合、障害物が遠距離に存在するほど測定誤差の範囲が増加することになり、逆に障害物が近い距離に存在するほど障害物がカメラの一方でのみ見えられ得るので、距離に応じて位置を精密に測定することができなくなるが、ベースラインを可変的に利用することによりこのような問題点を解決することができる。さらに、ベースラインを可変的に利用するため映像獲得部１１０を動かすのではなく、映像獲得部１１０は固定するものの、複数個の映像獲得部１１０のうち二つのみ選択してベースラインを異に組み合わせることにより、映像獲得部１１０は固定設置するものの、ベースラインを可変的に利用することができるようになる。

ここに、本発明はステレオ映像データを用いて車両前方の障害物を認識し、その障害物との距離を正確に認知することにより、正確な距離情報を用いて車間距離制御、車両速度制御など多様な車両制御を行うことができる。さらに、本発明は障害物の位置を正確に算出することにより距離誤差による急な車両挙動発生可能性を最小化することにより運転者の便宜性を増大させる。

以上、本発明の好ましい実施例を説明したが、本発明はこれに限られるものではなく、本発明の技術範囲を逸脱しない範囲での種々の変更を含む。

１１０〜１１３ 映像獲得部
１２０ 映像獲得部選択器
１３０ 映像処理部
１４０ 表示部
１５０ 制御部

Claims (11)

1. 予め定めた間隔で車両に設けられ、メイン映像獲得部と複数のサブ映像獲得部からなる複数の映像獲得部と、
   前記映像獲得部のうち少なくとも二つ以上を選択し、選択された映像獲得部から映像データを受信する映像獲得部選択器と、
   前記映像獲得部選択器から受信した映像データから障害物認識及び位置を算出し、車両の車速情報に従い前記映像獲得部のうち少なくとも二つ以上の映像獲得部を選択するように前記映像獲得部選択器を制御する制御部と、
   を含み、
   前記制御部は、前記メイン映像獲得部の映像を引き続き一括して見せるため、選択された映像獲得部から算出された障害物の位置に基づき、前記メイン映像獲得部の映像データ上の障害物の位置を補正することを特徴とする車両周辺情報提供システム。
   
2. 前記制御部により補正された映像データを画面に表示する表示部をさらに含むことを特徴とする請求項１に記載の車両周辺情報提供システム。
   
3. 前記制御部は、
   車速が速いほどベースラインを長く決定し、車速が遅いほどベースラインを短く決定することを特徴とする請求項１に記載の車両周辺情報提供システム。
   
4. 前記制御部は、
   車両が低速走行の場合、第１ベースラインを有する少なくとも二つ以上の映像獲得部を選択するように制御し、
   車両が中速走行の場合、第１ベースラインより長い第２ベースラインを有する少なくとも二つ以上の映像獲得部を選択するように制御し、
   車両が高速走行の場合、第２ベースラインより長い第３ベースラインを有する少なくとも二つ以上の映像獲得部を選択するように制御することを特徴とする請求項１に記載の車両周辺情報提供システム。
   
5. 前記映像獲得部は、
   数列に従い互いに相違するベースラインを有するように設けられることを特徴とする請求項１に記載の車両周辺情報提供システム。
   
6. 前記映像獲得部は、少なくとも３つ以上であることを特徴とする請求項１に記載の車両周辺情報提供システム。
   
7. 前記制御部は、
   補正された映像データを用いて車間距離制御を行うことを特徴とする請求項１に記載の車両周辺情報提供システム。
   
8. 前記制御部は、
   車両が路地走行の場合、第１ベースラインを有する少なくとも二つ以上の映像獲得部を選択するように制御し、
   車両が市内走行の場合、第１ベースラインより長い第２ベースラインを有する少なくとも二つ以上の映像獲得部を選択するように制御し、
   車両が高速道路走行の場合、第２ベースラインより長い第３ベースラインを有する少なくとも二つ以上の映像獲得部を選択するように制御することを特徴とする請求項１に記載の車両周辺情報提供システム。
   
9. 車両の現在車速を判断する過程と、
   車両の現在車速が予め定めた第１基準値未満の場合、メイン映像獲得部と複数のサブ映像獲得部からなる複数の映像獲得部のうち第１ベースラインを有する少なくとも二つの映像獲得部を選択する過程と、
   車両の現在車速が予め定めた第２基準値未満の場合、複数の映像獲得部のうち第１ベースラインより長い第２ベースラインを有する少なくとも二つの映像獲得部を選択する過程と、
   車両の現在車速が予め定めた第２基準値以上の場合、複数の映像獲得部のうち第２ベースラインより長い第３ベースラインを有する少なくとも二つの映像獲得部を選択する過程と、
   選択された少なくとも二つの映像獲得部から映像データを受信して映像処理を行う過程と、
   映像処理された映像データから障害物を認識して障害物の位置を算出する過程と、
   メイン映像獲得部の映像を引き続き一括して見せるため、前記算出された障害物の位置を用いて前記映像獲得部のうちメイン映像獲得部から獲得された映像データ上の障害物の位置を補正し、補正された映像データを画面に表示する過程と、
   を含むことを特徴とする車両周辺情報提供方法。
   
10. ベースラインは、数列に従い設定されることを特徴とする請求項９に記載の車両周辺情報提供方法。
    
11. 前記映像獲得部は、少なくとも３つ以上であることを特徴とする請求項９に記載の車両周辺情報提供方法。
    

Images