JP2006111197A - 視覚情報提供システム - Google Patents

Abstract

【課題】車外の略全周囲の情報を常時または先行して取得し、車内のディスプレイに供給して表示させる視覚情報提供システムを提供する。
【解決手段】動画カメラで車両１外の略全周囲の情報を常時または先行して獲得する。ディスプレイ５，６，７を車両内に配置する。操舵ハンドルセンサ３は、ハンドル４の把握位置角度（θ）と掴み角（ｒ）を軸として規定される舵輪表面に多数配置された複数のセンサ群を有し、把握位置角度（θ）と掴み角（ｒ）情報を出力する。走行状態検出センサは、舵角（σ）を検出する舵角センサ、走行速度（ｖ）を検出する速度センサを含んでいる。前記操舵ハンドルセンサ３の（θ，ｒ）に基づいて車両内のディスプレイ（d ）を選択し、前記（θ）からディスプレイの表示方向（α）を、前記（ｒ）から仰角（β）を、前記（ｖ）から視野の大きさ（γ）をそれぞれ決定する。
【選択図】図１

Description

本発明は、運転者に必要な視覚情報を適時に提供する視覚情報提供システム、さらに詳しく言えば、通常予め必要な全範囲の情報を取得しておいて、ハンドルの握り位置の情報、舵角の情報、車速情報等々により車内に配置したディスプレイに運転者が必要とする車外の情報を表示することにより、運転者を支援する視覚情報提供システムに関する。

従来の運転者支援システム等は、全て、個別的な目的の解決に向けられたものである。下記特許文献１記載の発明（ステアリング入力装置）は、ステアリングホイールに圧電センサを配置し、ステアリングへの荷重のかけ方によりウインカ、前照灯、車載機器（ワイパー、曇り止めヒータ、シガーライタ、画像・音響機器、空調機器、通信機器）等の制御を行う入力装置を開示している。
特許文献２記載の発明（適応型スイッチ装置）は、ステアリングホイールの形成するリング状部に複数の圧力センサを配置し、ステアリングホイールを握る運転者の指の位置を検出し、メニューを生成して表示し、対応する位置の指でメニュー選択を行い、ハンドルから手を離さず車載機器の操作ができる入力装置を開示している。
特許文献３記載の発明（車両用障害物警報装置）は、注視行動によってカメラ制御を行なう装置を開示している。ミラーの注視行動（回数）により障害物に関する情報を報知する車両用障害物警報装置である。
特開２０００−２２８１２６ 特開２００３−０９５０３８ 特開２００１−２６０７７６

本発明は、運転者に視覚情報を加工して提供するシステム、さらに詳しく言えば、運転者が必要となるであろう車外の変動する情報を常時あるいは、先行して取得しておいて、その内から必要時に必要量の情報を車内のディスプレイに表示することができるようにするシステムに関する。

車載システムを手動で操作する場合、ハンドルから手を離して当該車載システムを操作する必要があり、片手運転やわき見運転など危険である。
運転時に握っているハンドルを利用して、走行に関連する種々のデータを入力して、車載システムを操作することができれば、無理なく運転の安全性を向上させることができる。 本発明の基本的な考え方は、運転者を支援するのに必要な車外の視覚情報を常に取得しておいて、その中から必要なときに必要な情報を予測して表示することであり、従来のシステムとは全く異なるものである。

前記目的を達成するために、本発明による請求項１記載の視覚情報提供システムは、車体外の略全周囲の情報を常時獲得している動画カメラと、
車両内に配置された一つ以上の車内ディスプレイと、
ハンドルの把握位置角度（θ）と掴み角（ｒ）を軸として規定される舵輪表面に多数配置された複数のセンサ群を有し、把握位置角度（θ）と掴み角（ｒ）情報を出力する操舵ハンドルセンサと、
舵角（σ）を検出する舵角センサ、走行速度（ｖ）を検出する速度センサを含む走行状態検出センサと、
前記操舵ハンドルセンサの（θ，ｒ）に基づいて車両内のディスプレイ(d) を選択し、前記（θ）からディスプレイの表示方向（α）を、前記（ｒ）から仰角（β）を、前記（ｖ）から視野の大きさ（γ）をそれぞれ決定することにより、常時取得されている車外の略全周囲の情報を加工して、車内のディスプレイ(d) に車両の（α，β，γ）で示される方向の映像を供給して表示させる制御手段とから構成されている。

請求項２記載の視覚情報提供システムは、車体外の略全周囲の情報を常時獲得している動画カメラと、
車両内に配置された一以上の車内ディスプレイと、
ハンドルの把握位置角度（θ）と掴み角（ｒ）を軸として規定される舵輪表面に多数配置された複数のセンサ群を有し、把握位置角度（θ）と掴み角（ｒ）情報を出力する操舵ハンドルセンサと、
舵角（σ）を検出する舵角センサ、走行速度（ｖ）を検出する速度センサを含む走行状態検出センサと、
前記操舵ハンドルセンサの（θ，ｒ）に基づいて車両内のディスプレイ(d) を選択し、前記（θ）からディスプレイの表示方向（α）を、前記（ｒ）から視野の大きさ（γ）を、前記（ｖ）から仰角（β）をそれぞれ決定することにより、常時取得されている車外の略全周囲の情報を加工して、車内のディスプレイ(d) に車両の（α，β，γ）で示される方向の映像を供給して表示させる制御手段とから構成されている。

請求項３記載の発明は、請求項１または２記載の視覚情報提供システムにおいて、電源投入後の起動時において、前回電源オフ時の表示パラメタ（d,α，β，γ）の値で表示するように構成されている。
請求項４記載の発明は、請求項１または２記載の視覚情報提供システムにおいて、電源投入後の起動時において、あらかじめ決められたデフォルトの値、またはユーザが設定した値で表示するように構成されている。
請求項５記載の発明は、請求項１または２記載の視覚情報提供システムにおいて、利用頻度の高い（α，β，γ）の組み合わせをあらかじめ表にして記憶し、そこから選択して表示できるように構成されている。
請求項６記載の発明は、請求項１または２記載の視覚情報提供システムにおいて、舵角（σ）が一定角度以上になったとき、あらかじめ決められた (d,α，β，γ）の組み合わせで表示できるように構成されている。

請求項７記載の視覚情報提供システムは、車体外の略全周囲の情報を常時獲得している動画カメラと、
車両内に配置された一つ以上の車内ディスプレイと、
ハンドルの把握位置角度（θ）と掴み角（ｒ）を軸として規定される舵輪表面に多数配置された複数のセンサ群を有し、把握位置角度（θ）と掴み角（ｒ）情報を出力する操舵ハンドルセンサと、
前記操舵ハンドルセンサの（θ，ｒ）に基づいて車両内のディスプレイ(d) を選択し、前記（θ）からディスプレイの表示方向（α）を、前記（ｒ）から仰角（β）または視野の大きさ（γ）を、走行速度（ｖ）から視野の大きさ（γ）または仰角（β）をそれぞれ決定することにより、常時取得されている車外の略全周囲の情報を加工して、車内のディスプレイに供給して表示させ、舵角（σ）と前記（ｖ）を、あらかじめ決められたデフォルト値またはユーザが設定した値、あるいはあらかじめ表にして記憶した複数の値の組み合わせから選択し、表示できるようにした制御手段とから構成されている。

ハンドル型入力装置からのデータにより、運転者の要求を推定して、必要な運転支援情報を車内のディスプレイに表示できるから、運転を容易にすることができる。

以下図面等を参照して本発明による装置の実施の形態を説明する。
図１は、本発明による視覚情報提供システムを搭載した車両１内のディスプレイ５，６および７の配置を示す斜視図である。図２は、車両１に搭載された、外部の視覚情報提供システムのカメラの設置例を示す平面図である。この実施例では、広角レンズを用いたカメラ２ａ，２ｂは車両１の略全周囲の映像を取得できるように配置されている。
しかし、カメラは２台に限らず、数台であっても良く、オーバラップしても一向に差し支えない。逆に双曲面を有する反射鏡を介して撮影する動画カメラ、魚眼レンズを用いる動画カメラのようなものであれば、１台であっても良いのである。概ね全周の動画情報が必要な解像力が得られれば足りるのである。

図３はディスプレイへの表示の方向を示す説明図である。この図は前述の車両１内の任意のディスプレイ５，６および７に表示される映像を定義している。すなわちαは表示の方向、βはカメラの仰角（俯角は負の仰角と考える）、γは視野角である。

図４は、操舵ハンドルセンサを備えるハンドルの正面図、図５は、前記ハンドルの断面図、図６は、前記ハンドルの握り位置と座標空間の対応を示す説明図、および図７は握り位置を座標空間に示した説明図である。
図４，５に示すように、ハンドル４のステアリングの周囲に圧電素子を用いたセンサ３を配置し、ハンドルの握り位置を検出する。圧電素子の代わりに握り位置を検出するのに十分な密度のスイッチを配置してもよい。ステアリングの断面を図５に示す。握り位置検出用のセンサ３はステアリングに巻き付けるように設置され、握り位置はハンドルのθとｒで定義される。
画像の表示速度にあわせてステアリングの握り位置センサの情報をスキャンする。
例えば、画像の表示速度が１／３０秒であるならば、握り位置センサの情報のスキャンは１／３０秒以下で行う。

握り位置はユーザの視点から見た絶対位置（ワールド座標）のθ_w ，ｒ_w を用いる。絶対位置を用いることにより、操舵中でもユーザから見て、ハンドル上部は車両の前方、下部は車両の後方に対応させることができる。
これにより、操舵中に操舵角にかかわらずユーザからみたハンドルの握り位置で表示位置を指示することが可能になる。
また、操舵角σがそれぞれ左右方向にある一定の角度以上になった場合には、握り位置にかかわらず、あらかじめ設定された方向の画像を定められたディスプレイに表示することも可能になる。
例えば、交差点を左折する際には、低速で左折操舵していることを検出し、左ディスプレイには左ピラーの死角部分や左後方の巻き込みの部分を補償する画像を表示し、右ディスプレイには右方向の道路の映像を表示する。また、右側への車線変更を行う際には、高速で右車線へのレーン変更操舵をしていることを検出し、右ディスプレイには、右後方から側方のサイドミラーの死角部分の映像を表示し、左ディスプレイには左後方の映像を表示する。

図８は、本発明による視覚情報提供システムのブロック図である。
このシステムへの入力は、ハンドル型握り位置センサ８１，操舵角センサ８２，車速センサ８３で行われる。
これらのセンサから画像の表示速度以上の速度で情報をスキャンし、コントロールユニット８４に入力される。複数のカメラ２ａ，２ｂで撮影された画像は、コントロールユニット８４内の画像データスイッチ８６に送られる。

演算処理部８５において、握り位置，操舵角，車速からそれぞれのディスプレイへの表示位置を決定する。表示位置情報は車両周囲のどの方向か表し、方向，仰角，視野角で表現する。また、握り位置センサからのタップ（たたく）などの接触方法を判断し、表示ディスプレイや表示位置を決定する。操舵ハンドルセンサに専用スイッチがあれば、タップ（たたく）などの接触方法の代わりに用いてもよい。

演算処理部８５で決定された表示位置情報（方向，仰角，視野角等）を、画像データスイッチ８６と画像処理・表示制御部へ送る。
画像データスイッチ８６は、得られた表示位置情報に従い、撮影された画像から表示に必要なカメラの画像情報を適切な画像処理・表示制御部８７，８８に転送する。画像データスイッチ８６はアナログスイッチや画像スイッチャで構成することができる。

画像処理・表示制御部８７，８８では、画像データスイッチ８６から得られた画像に対し、方向，仰角，視野角を元に表示するディスプレイ５または６に合わせて、透視投影変換などの画像処理を行ない、それぞれのディスプレイ５または６に画像を出力する。画像処理・表示制御部８７，８８では、低速時の近接物体を認識する。または、高速走行時における車線変更の際に後方からの接近する車両を認識する。これらの認識物体と操舵角の関係から衝突の危険が予測されるときに、運転者に対し、音または光・映像で警告を発する。

図９は、本発明による視覚情報提供システムの動作を説明するための流れ図である。
（ステップ９１）視覚情報提供システムを起動する。
（ステップ９２）θ，ｒ，σ，ｖを検出する
（ステップ９３）（θ，σ）からディスプレイd と表示方向αを，（ｒ，ｖ）から視野角γと仰角βを決定する。
（ステップ９４）方向α，仰角β，視野角γに該当する全周囲カメラ画像を選択する。
（ステップ９５）選択したカメラ画像に対して表示位置（α，β，γ）の透視投影画像を求める。
（ステップ９６）透視投影画像をディスプレイd に表示する
（ステップ９７）視覚情報提供システムの動作を終了する。

次に必要とするディスプレイ内容を決めるアルゴリズムを詳しく説明する。
図４，５に示すように、ハンドル４のステアリングの周囲にセンサ３を配置し、握り位置はハンドル４のθ_l , ｒ_l で検出する。θをハンドル４の下方向から左回りにとると、右手の握りと左手の握り位置はおおむね図７に示すように、２か所の握り領域として求めることができる。
右手握り位置を（θ_lr，ｒ_lr）とし，左手握り位置を（θ_ll，ｒ_ll）とすると、θ，ｒの最小値，最大値の平均（中間値）から右手握り位置（θ_lr__avg ，ｒ_lr__avg ）と左手握り位置（θ_ll__avg ，ｒ_ll__avg ）が求まる。右手握り位置で表示する情報を右側ディスプレイに、左握り位置で表示する情報を左側ディスプレイに表示する。

表示位置（方向，仰角，視野角（ズーム））を決定するアルゴリズムは、以下のとおり。
１．右ディスプレイに表示する方向α_r は、θ_lr__avg ，左ディスプレイに表示する方向α_l はθ_ll__avg とする。
２．車速センサからの速度ｖより、停車時又は低速走行時は近傍（仰角βが下向き）、高速走行時は遠方（仰角βは上向き）を選択する。仰角βの選択は、あらかじめ設定したり、学習させたり、定期的に更新する構成としてもよく、使い勝手を向上させることができる。
３．握り位置のｒ_lr__avg ，ｒ_ll__avg から視野角γ（ズーム）を決定する。視野角γはｒが小さいとき広角（ズームアウト）にし、ｒが大きくなるに連れて視野角γを狭く（ズームイン）する。視野角の選択は、あらかじめ設定したり、学習させたり、定期的に更新する構成としてもよく、使い勝手を向上させることができる。

上記の例では、仰角βを車速ｖにより制御し、視野角γを握り位置のｒにより制御しているが、仰角βを握り位置ｒによって制御し、視野角γを車速ｖにより制御してもよい。例えば、
２’. 握り位置のｒ_lr__avg ，ｒ_ll__avg から仰角βを決定する。ｒが大きいときは近傍（仰角βが下向き）、ｒが小さい時には遠方（仰角βは上向き）を選択する。仰角βの選択は、あらかじめ設定したり、学習させたり、定期的に更新する構成としてもよく、使い勝手を向上させることができる。
３’. 車速センサからの速度ｖより、停車時又は低速走行時は視野角γを広角（ズームアウト）にし、ｖが大きくなるに連れて視野角γを狭く（ズームイン）する。視野角γの選択は、あらかじめ設定したり、学習させたり、定期的に更新する構成としてもよく、使い勝手を向上させることができる。

また、ハンドル位置（ローカル座標）のθ_l ，ｒ_l を用いるだけでなく、ユーザの視点から見た絶対位置（ワールド座標）のθ_w ，ｒ_w を用いても良い。絶対位置を用いることにより、操舵中でもユーザから見て、ハンドル上部は前方、下部は後方に対応させることができる。ハンドル位置（ローカル座標）のθ_l ，ｒ_l から、ユーザから見た絶対位置（ワールド座標）のθ_w ，ｒ_w への変換は、θ方向に対する巡回シフトの座標変換を施せばよい。これにより、操舵中に操舵角σにかかわらずユーザからみたハンドルの握り位置で表示位置を指示することが可能になる。

以上詳しく説明したように、本発明によれば、運転支援のために必要な方向の映像を車内のディスプレイに表示することができる。また運転者に警告を発生する装置を、車両に装備することができる。
自動車関連産業や、交通運輸の産業に広く利用できる。

本発明による視覚情報提供システムを搭載した車両内のディスプレイの配置を示す斜視図である。 視覚情報提供システムのカメラの設置例を示す平面図である。 ディスプレイへの表示の方向を示す説明図である。 本発明による視覚情報提供システムの入力手段である操舵ハンドルセンサを備えるハンドルの正面図である。 前記ハンドルの断面図である。 前記ハンドルの握り位置と座標空間の対応を示す説明図である。 握り位置を座標空間に示した説明図である。 本発明による視覚情報提供システムのブロック図である。 本発明による視覚情報提供システムの動作を説明するための流れ図である。

符号の説明

１ 車両
２ カメラ
３ 操舵ハンドルセンサ
４ ハンドル
５，６，７ ディスプレイ

Claims (7)

1. 車体外の略全周囲の情報を常時獲得している動画カメラと、
   車両内に配置された一つ以上の車内ディスプレイと、
   ハンドルの把握位置角度（θ）と掴み角（ｒ）を軸として規定される舵輪表面に多数配置された複数のセンサ群を有し、把握位置角度（θ）と掴み角（ｒ）情報を出力する操舵ハンドルセンサと、
   舵角（σ）を検出する舵角センサ、走行速度（ｖ）を検出する速度センサを含む走行状態検出センサと、
   前記操舵ハンドルセンサの（θ，ｒ）に基づいて車両内のディスプレイ(d) を選択し、前記（θ）からディスプレイの表示方向（α）を、前記（ｒ）から仰角（β）を、前記（ｖ）から視野の大きさ（γ）をそれぞれ決定することにより、常時取得されている車外の略全周囲の情報を加工して、車内のディスプレイに供給して表示させる制御手段と、
   から構成した視覚情報提供システム。
2. 車体外の略全周囲の情報を常時獲得している動画カメラと、
   車両内に配置された一つ以上の車内ディスプレイと、
   ハンドルの把握位置角度（θ）と掴み角（ｒ）を軸として規定される舵輪表面に多数配置された複数のセンサ群を有し、把握位置角度（θ）と掴み角（ｒ）情報を出力する操舵ハンドルセンサと、
   舵角（σ）を検出する舵角センサ、走行速度（ｖ）を検出する速度センサを含む走行状態検出センサと、
   前記操舵ハンドルセンサの（θ，ｒ）に基づいて車両内のディスプレイ(d) を選択し、前記（θ）からディスプレイの表示方向（α）を、前記（ｒ）から視野の大きさ（γ）を、前記（ｖ）から仰角（β）をそれぞれ決定することにより、常時取得されている車外の略全周囲の情報を加工して、車内のディスプレイに供給して表示させる制御手段と、
   から構成した視覚情報提供システム。
3. 電源投入後の起動時において、前回電源オフ時の表示パラメタ（d,α，β，γ）の値で表示するようにした請求項１または２記載の視覚情報提供システム。
4. 電源投入後の起動時において、あらかじめ決められたデフォルトの値、またはユーザが設定した値で表示するようにした請求項１または２記載の視覚情報提供システム。
5. 利用頻度の高い（α，β，γ）の組み合わせをあらかじめ表にして記憶し、そこから選択して表示できるようにした請求項１または２記載の視覚情報提供システム。
6. 舵角（σ）が一定角度以上になったとき、あらかじめ決められた (d,α，β，γ）の組み合わせで表示できるようにした請求項１または２記載の視覚情報提供システム。
7. 車体外の略全周囲の情報を常時獲得している動画カメラと、
   車両内に配置された一つ以上の車内ディスプレイと、
   ハンドルの把握位置角度（θ）と掴み角（ｒ）を軸として規定される舵輪表面に多数配置された複数のセンサ群を有し、把握位置角度（θ）と掴み角（ｒ）情報を出力する操舵ハンドルセンサと、
   前記操舵ハンドルセンサの（θ，ｒ）に基づいて車両内のディスプレイ(d) を選択し、前記（θ）からディスプレイの表示方向（α）を、前記（ｒ）から仰角（β）または視野の大きさ（γ）を、走行速度（ｖ）から視野の大きさ（γ）または仰角（β）をそれぞれ決定することにより、常時取得されている車外の略全周囲の情報を加工して、車内のディスプレイに供給して表示させ、舵角（σ）と前記（ｖ）を、あらかじめ決められたデフォルト値またはユーザが設定した値、あるいはあらかじめ表にして記憶した複数の値の組み合わせから選択し、表示できるようにした制御手段と、
   から構成した視覚情報提供システム。

Images