JP5201242B2 - 車両周辺表示装置 - Google Patents

Description

本発明は、運転者の意図に合った車両周辺画像を自動表示する車両周辺表示装置に関する。

車両の周辺を確認するものとして、ルームミラーやドアミラーに加えて、運転者の死角となる場所をカメラにより撮像して、車室内のモニタに車両周辺の画像を表示する装置が知られている。

従来は、車両周辺の画像を表示するには、運転者が必要と感じた時に、スイッチ操作によって画像表示していたため、使用に煩わしさがあった。

このような問題に鑑みて、車両周辺の画像を自動表示する技術も提案されている（例えば、特許文献１参照）。

特開２００５−５１４０３号公報

特許文献１に開示されている車両周辺表示装置は、運転者の頭部の動きから運転者が表示させたい画像を推定し、該画像をモニタに自動表示する。

この手法では、運転者の頭部の動きしか検出できず、運転者が頭部を動かさないと意図に合った画像を表示できず、また、運転者の頭部の動きによっては意図せぬ画像が表示されることがあった。

本発明は、上記問題点を鑑みてなされたものであり、運転者の意図にあった車両周辺画像を自動表示する車両周辺表示装置を提供することを目的とする。

上記目的を達成するために、本発明の車両周辺表示装置は、
車両に設けられ、運転者の死角となる前記車両の周辺を異なった位置から撮像する複数の車両周辺撮像手段と、
前記車両内に設けられ、画像を画面に表示する表示手段と、
前記車両の運転者の注視する方向を検出する注視方向検出手段と、
前記注視方向検出手段により検出した運転者の注視する方向に基づいて、前記車両周辺撮像手段のいずれかを選択し、選択した車両周辺撮像手段の撮像した画像を前記表示手段に表示させる表示画像切替手段と、
前記注視方向検出手段により検出した運転者の注視する方向が、前記表示手段の方向であるか否かを判別する判別手段と、を備え、
前記表示画像切替手段は、前記判別手段により前記表示手段の方向であると判別したときに、前記表示手段の表示を切り替えないように制御することを特徴とする。

前記注視方向検出手段は、例えば、運転者が所定の時間継続して注視した方向を、運転者の注視する方向であると判別してもよい。

また、前記注視方向検出手段は、例えば、運転者が所定の時間内に所定の回数注視した方向を、運転者の注視する方向であると判別してもよい。

さらに、前記注視方向検出手段は、例えば、運転者の視線方向と顔の向きに基づき、運転者の注視する方向を判別してもよい。

また、前記注視方向検出手段は、例えば、運転者の顔の向きが左右・上下、視線の向きが左右・上下においてどの範囲を向いているかにより注視方向を決めるテーブルが設定されており、該テーブルに基づいて運転者の注視する方向を検出してもよい。

本発明によれば、運転者の意図にあった車両周辺画像を自動表示することができる。

本発明の実施の形態に係る車両周辺表示装置の全体構成を示すブロック図である。 本発明の実施の形態に係る車両周辺表示装置を車両に設置した状態を示す平面図である。 図１に示す車両周辺表示装置の表示画像切替処理を説明するためのフローチャートである。 図３のフローチャートにおける注視方向検出処理を説明するためのフローチャートである。 図４のフローチャートにおける注視方向フラグセット処理を説明するためのフローチャートである。 視線方向の検出方法を説明するための図である。 顔向きの検出を説明するための図である。 注視方向テーブルの具体例を示す図である。 注視方向の時系列データの具体例を示す図である。

以下、図面に基づき、本発明の実施の形態に係る車両周辺表示装置について説明する。

図１は、本実施の形態に係る車両周辺表示装置の全体構成を示すブロック図である。図２は本実施の形態に係る車両周辺表示装置を車両に設置した状態を示す平面図である。

本実施の形態に係る車両周辺表示装置を備える車両１００は、ＣＣＤ（Charge Coupled Device）カメラ群１と、運転者７を撮像する赤外線カメラ２と、赤外線照明３と、ナビゲーション装置４と、受光センサ５と、画像を表示するモニタ６と、ＥＣＵ（Electric Control Unit）１０と、を備えている。

ＣＣＤカメラ群１は、ＣＣＤカメラ１ａ、ＣＣＤカメラ１ｂ、ＣＣＤカメラ１ｃ、を備え、各カメラはフロントバンパーや車体に埋め込まれている。

図２に示すように、ＣＣＤカメラ１ａは、運転者７にとって死角となる車両１００の前方下方向を撮像する。ＣＣＤカメラ１ｂは、運転者７にとって死角となる車両１００の前方左下方向を撮像する。ＣＣＤカメラ１ｃは、運転者７にとって死角となる車両１００の左下方向を撮像する。

前方死角用ＣＣＤカメラ１ａ、左前死角用ＣＣＤカメラ１ｂ、左死角用ＣＣＤカメラ１ｃ、は撮像した画像信号をＥＣＵ１０に供給する。

赤外線カメラ２は、ダッシュボード上やステアリングホイールの付近（例えば、ステアリングコラム上）に設置され、運転者７から発生する赤外線を可視化して撮像する。撮像した画像から注視方向を判別するため、ＥＣＵ１０に接続されている。

赤外線照明３は、赤外線カメラ２の近傍に設置され、赤外線を発する装置であって、運転者７の顔の領域を照らすことで、赤外線光量が不足する夜間でも赤外線カメラ２による撮像を可能とする。

ナビゲーション装置４は、モニタ６に表示する地図情報及び自動車現在位置情報を提供する装置であって、モニタ６に表示する画像を制御するＥＣＵ１０に接続されている。

受光センサ５は、車両１００の外部の光度を感知する装置であって、感知した光度をＥＣＵ１０に入力する。ＥＣＵ１０は、この光度を基に赤外線照明３を点灯する。

ＥＣＵ１０は、赤外線カメラ２により取得された顔画像を処理して運転者７の視線方向及び顔向きを検出し、この検出した視線方向及び顔向きに基づいて、運転者７の注視方向を判別し、モニタ６に表示する画像を撮像するＣＣＤカメラをＣＣＤカメラ群１から選択する装置である。ＥＣＵ１０は、キャプチャ１１と、画像メモリ１２と、ＲＯＭ（Read Only Memory）１３と、ＣＰＵ（Central Processing Unit）１４と、ＲＡＭ（Random Access Memory）１５と、を備える。

キャプチャ１１は、ＣＣＤカメラ群１で撮影されたアナログ画像信号を取得する。

画像メモリ１２は、赤外線カメラ２により撮像された画像データを記憶する。

ＲＯＭ１３は、ＣＰＵ１４の動作を制御するためのプログラムを記憶する。また、ＲＯＭ１３は、運転者７の視線方向及び顔向きから注視方向を判別する注視方向テーブルを記憶する。

注視方向テーブルは、運転者７の顔の上下左右方向の向き及び視線の上下左右方向の向きから運転者７が注視している方向を判別するための基準データを記憶する。具体的には、注視方向テーブルは、図８に例示するように、顔の左右方向の向きと、顔の上下方向の向きと、視線の左右方向の向きと、視線の上下方向の向きと、の組み合わせから、運転者７が注視している方向を特定するためのデータを格納する。このデータは、例えば、実験等により計測したデータ等に基づいて構成される。

なお、注視テーブルにおける、上下方向を示す符号及び角度は、図７（ａ）に示すように、水平を基準として下方向を−（負）、上方向を＋（正）とし、水平線と成す角度を表す。また、左右方向を示す符号及び角度は、図７（ｂ）に示すように、正面方向を基準として右方向を−（負）、左方向を＋（正）とし、正面方向と成す角度を示す。

ＣＰＵ１４は、ＲＯＭ１３に格納されているプログラムを実行することにより、赤外線カメラ２により取得された顔画像を処理して運転者７の視線方向及び顔向きを検出し、この検出した視線方向及び顔向きに基づいて、運転者７の注視方向を判別し、モニタ６に表示する画像を選択する装置である。

ＲＡＭ１５は、ＣＰＵ１４のワークエリアとして機能する。また、ＲＡＭ１５には、運転者７の注視方向を示す注視方向フラグが設けられている。

次に、上記構成を備える車両周辺表示装置の動作を説明する。車両１００に電源が投入されると、ＣＰＵ１４は、図３のフローチャートに示す表示画像切替処理を実行する。

まず、ＣＰＵ１４は、モニタ６の電源を入れ、モニタ６の表示を、例えばナビゲーション装置４からの情報に切り替える（ステップＳ１）。

続いて、運転者７を撮像するため、赤外線カメラ２の電源を入れる（ステップＳ２）。

ステップＳ２で、赤外線カメラ２の電源を入れるとＣＰＵ１４は、運転者７の注視方向を検出する、注視方向検出処理に入る（ステップＳ３）。

注視方向検出処理（ステップＳ３）のフローチャートを図４に示す。

注視方向検出処理（ステップＳ３）では、ＣＰＵ１４は、まず、赤外線カメラ２に運転者７を撮像させて、撮像した顔画像を画像メモリ１２に記憶する（ステップＳ３１）。

次に、画像メモリ１２に記憶した顔画像から運転者７の視線方向及び顔向きを検出する（ステップＳ３２）。

運転者７の視線方向及び顔向きを検出する手法は任意であるが、例えば、ＣＰＵ１４は、以下の手法により視線方向と顔向きとを検出する。

まず、視線方向に関しては、ＣＰＵ１４は、画像メモリ１２に記憶した図６（a）に示すような顔画像を二値化し黒点を抽出することにより、顔画像の左領域と右領域とのそれぞれから眼の候補を１又は複数取得する。

続いて、左領域と右領域との１又は複数の眼の候補と、それぞれ図６（b）に示すような眼のサンプルとのマッチングをとることにより、左眼像と右眼像とを判別し、これらの黒目部分の位置座標を求める。続いて、求めた黒目部分の位置座標と目の中心との上下方向及び左右方向のずれの量から、左眼と右眼との上下方向及び左右方向の回転角を求める。

次に、顔向きに関しては、ＣＰＵ１４は、まず、画像メモリ１２に記憶した顔画像をソーベルフィルタ処理し、横エッジ（顔の上下両側端）と縦エッジ（顔の左右両側端）を検出する。

続いて、顔の二値化画像から顔の重心（中心位置）を求める。

そして、顔の重心の、縦エッジ及び横エッジに対する位置関係等から運転者７の上下方向の顔向きと左右方向の顔向きを、図７（ａ）と（ｂ）に示すように、頭部の中心を基準とする角度で求める。

このようにして、視線方向及び顔向きの検出（ステップＳ３２）が終わると、ＣＰＵ１４は、検出した視線方向及び顔向きに基づいて、運転者７の注視方向を判別する（ステップＳ３３）。

具体的には、ＣＰＵ１４は、ステップＳ３２で判別した、顔の左右方向の向き、顔の上下方向の向き、視線の左右方向の向き、及び、視線の上下方向の向きの組み合わせを、ＲＯＭ１３に格納されている図８に示す注視方向テーブルに適合し、一致する注視方向を選択する。

例えば、左右方向の顔向きが＋１０°、上下方向の顔向きが＋７°、左右方向の視線の方向が＋１５°、上下方向の視線の向きが−１０°であると検出されたとすると、この組み合わせは、図８に示す注視方向テーブルの第１列の組み合わせに該当し、注視方向は「前方下方向」であると判別される。

次に、ＣＰＵ１４は、判別した注視方向に基づき、ＲＡＭ１５に設けられた注視方向フラグをセットする、注視方向フラグセット処理に移る（ステップＳ３４）。

即ち、ＣＰＵ１４は、図４のステップＳ３３で、注視方向がモニタ６の方向であると判別したときには、モニタ方向を示す注視方向フラグ「１」をセットする（ステップＳ３４１；Ｙｅｓ、ステップＳ３４５）。

また、注視方向が前方下方向であると判別したときには（ステップＳ３４２；Ｙｅｓ）、注視方向フラグ「２」をセットする（ステップＳ３４６）。

さらに、注視方向が前方左下方向であると判別したときには（ステップＳ３４３；Ｙｅｓ）、注視方向フラグ「３」をセットする（ステップＳ３４７）。

また、注視方向が左方向であると判別したときには（ステップＳ３４４；Ｙｅｓ）、注視方向フラグ「４」をセットする（ステップＳ３４８）。

さらに、注視方向がその他の方向であると判別したときには（ステップＳ３４４；Ｎｏ）中心方向フラグ「０」をセットする（ステップＳ３４９）。

注視方向フラグセット処理（ステップＳ３４１〜Ｓ３４９）が完了すると、処理は、図４に示す注視方向検出処理（ステップＳ３）も終了し、図３の表示画像切替処理に戻る。

表示画像切替処理に戻ると、ＣＰＵ１４は注視方向フラグが「０」であるか、即ち、注視方向が、モニタ６でも、ＣＣＤカメラ群１の撮像範囲でもないか、を判別する（ステップＳ４）。

ステップＳ４で、注視方向フラグが「０」であると判別すると（ステップＳ４；Ｙｅｓ）、モニタ６の表示をナビ画面に切り替え、再び運転者７の注視方向を検出するためにステップＳ３に処理を戻す。ただし、すでに、ナビ画面が表示されている場合は切り替えない（ステップＳ５）。

ステップＳ４で、注視方向フラグが「０」でないと判別すると（ステップＳ４；Ｎｏ）、注視方向フラグが「１」であるか、即ち注視方向がモニタ６の方向であるか否か、を判別する（ステップＳ６）。

ステップＳ６で、注視方向フラグが「１」であると判別すると（ステップＳ６；Ｙｅｓ）、運転者７はモニタ画面を注視していることになるので、ナビ画面に表示中の地図情報等を参照中か、運転者７の死角である車両周辺画像を参照中であるので、モニタ６の画像は切り替えない。そして、再び運転者７の注視方向を検出するためにステップＳ３に処理を戻す。

ステップＳ６で、注視方向フラグが「１」でないと判別すると（ステップＳ６；Ｎｏ）、注視方向フラグが「２」であるか、即ち注視方向が前方下方向であるか否かを、を判別する（ステップＳ７）。

ステップＳ７で、注視方向フラグが「２」であると判別すると（ステップＳ７；Ｙｅｓ）、運転者７は前方下方向を注視していることになる。

そこで、ＣＰＵ１４は、キャプチャ１１を制御して、車両１００の前方下方向を撮像するＣＣＤカメラ１aの出力画像データをキャプチャさせ、モニタ６に供給させることにより、ＣＣＤカメラ１ａが撮像した車両前方下方向の死角域の画像をモニタ６に表示させる（ステップＳ９）。ただし、既に前方下方向を表示中であれば処理をしない。そして、再び運転者７の注視方向を検出するためにステップＳ３に処理を戻す。

ステップＳ７の判別の結果、注視方向フラグが「２」でないと判別すると（ステップＳ７；Ｎｏ）、注視方向フラグが「３」であるか否か、即ち注視方向が前方左下方向であるか否か、を判別する（ステップＳ８）。

ステップＳ８で、注視方向フラグが「３」であると判別すると（ステップＳ８；Ｙｅｓ）、運転者７は前方左下方向を注視していることになる。

そこで、ＣＰＵ１４は、キャプチャ１１を制御して、車両１００の前方左下方向を撮像するＣＣＤカメラ１ｂの出力画像データをキャプチャさせ、モニタ６に供給させることにより、ＣＣＤカメラ１ｂが撮像した車両前方左下方向の死角域の画像をモニタ６に表示させる（ステップＳ１０）。ただし、既に前方左下方向を表示中であれば処理をしない。そして、再び運転者７の注視方向を検出するためにステップＳ３に処理を戻す。

ステップＳ８で、注視方向フラグが「３」でないと判別すると（ステップＳ８；Ｎｏ）、注視方向フラグは「４」ということ、即ち、運転者７は左方向を注視していることになる。

そこで、ＣＰＵ１４は、キャプチャ１１を制御して、車両１００の左方向を撮像するＣＣＤカメラ１ｃの出力画像データをキャプチャさせ、モニタ６に供給させることにより、ＣＣＤカメラ１ｃが撮像した車両左方向の死角域の画像をモニタ６に表示させる（ステップＳ１１）。ただし、既に左方向を表示中であれば処理をしない。そして、再び運転者７の注視方向を検出するためにステップＳ３に処理を戻す。

ステップS３〜S１１の処理を繰り返すことで、ＣＰＵ１４は、運転者７の注視方向に応じて、画像を自動で切り替えることができる。

次に、図８に示す注視方向テーブルと、図９に示す注視方向の時系列データと、を用いて上記構成を備える車両周辺表示装置の動作の具体例を説明する。

図９は、左横に駐車車両のある駐車場から運転者７が車両を左方向に出発させる場合の注視方向の時系列データである。

時刻０〜ｔ１では、顔向きの左右が０°、上下が０°、視線の左右が０°、上下０°、で運転者７は正面方向を向いていることとなり、ＣＰＵ１４は画像を切り替えない。

時刻ｔ１で、顔向きの左右が＋３０°、上下が＋１０°、視線の左右が＋３０°、上下が−１０°、となり、ＣＰＵ１４は注視方向テーブルから、前方左下方向を注視方向として判別し、ＣＣＤカメラ１ｂで撮像する前方左下方向画像をモニタ６に表示させる（ステップＳ１０）。

時刻ｔ２で、顔向きの左右が＋３０°、上下が−１０°、視線の左右が＋３０°、上下が＋１０°、となり、ＣＰＵ１４は注視方向テーブルから、モニタ方向を注視方向として判別し、ＣＣＤカメラ１ｂで撮像する前方左下方向画像をモニタ６に表示させ続ける（ステップＳ３、Ｓ４、Ｓ６）。

時刻ｔ３で、顔向きの左右が＋６０°、上下が＋１０°、視線の左右が＋６０°、上下が−１０°、となり、ＣＰＵ１４は注視方向テーブルから、左方向を注視方向として判別し、ＣＣＤカメラ１ｃで撮像する左方向画像をモニタ６に表示させる（ステップＳ１１）。

時刻ｔ４で、顔向きの左右が＋３０°、上下が−１０°、視線の左右が＋３０°、上下が＋１０°、となり、ＣＰＵ１４は注視方向テーブルから、モニタ方向を注視方向として判別し、ＣＣＤカメラ１ｃで撮像する左方向画像をモニタ６に表示させ続ける（ステップＳ３、Ｓ４、Ｓ６）。

時刻ｔ５以降、顔向きの左右が０°、上下が０°、視線の左右が０°、上下０°、で運転者７は正面方向を向いていることとなり、ＣＰＵ１４は、ナビ画像をモニタ６に表示させる（ステップＳ５）。

以上のように、上記実施の形態に係る車両周辺表示装置によれば、運転者７の特別な操作や大きな動きを必要とせず、ＣＰＵ１４が、赤外線カメラ２で撮像された画像情報から運転者７の顔向きと視線を検出し、運転者７の注視方向を判別して、その注視方向を基に、モニタ６に表示する画像を、運転者７の意図する画像に自動で切り替える。

なお、この発明は上記実施の形態に限定されず、種々の変形及び応用が可能である。

注視方向の判別は、積分機能により、ある所定時間（例えば１秒）注視を続けたことにより判別してもよい。あるいは、ある所定時間（例えば３秒）の間に運転者７が注視した頻度を計測して、頻度が所定回数（例えば２回）を超えた方向を注視方向として判別するようにしてもよい。

また、上記実施の形態では、画像処理によって視線方向と顔向きを検出し、視線方向と顔向きの組み合わせで運転者７の注視方向を判別していた。赤外線照射によって運転者７の眼の網膜による赤外光の再帰反射を発生させ、その反射光を検出することによって運転者７の注視方向を判別してもよい。

図１、図２を参照して説明したシステム構成も一例であり、任意に変更可能である。例えば、上記実施の形態では周辺を撮像するＣＣＤカメラ群１は３台であったが、後方にＣＣＤカメラを増設するなど、台数を増減してもよい。

また、上記実施の形態では、ＥＣＵ１０がモニタ６に表示する画像を制御し切り替えていたが、ＣＣＤカメラ群１やナビゲーション装置４を画像セレクタ等に接続し、ＥＣＵ１０が画像セレクタ等を制御することによりモニタ６に表示する画像を切り替えてもよい。

上記実施の形態では右ハンドル車の車両１００に設けられた車両周辺表示装置について説明した。左ハンドル車でも、上記実施の形態のＣＣＤカメラ群１の設置場所を左右変更し、視線と顔向きの検出時の、顔向きの左右角度のプラスマイナス、視線の左右角度のプラスマイナスを逆にすることで本発明は実施可能である。

また、上記実施の形態では、ＣＰＵ１４が実行するプログラムは、ＲＯＭ１３に記憶されていたが、予め任意の記憶媒体に記憶したり、ネットワークを介して任意の記憶媒体に記憶するようにしてもよい。

上記実施の形態では、運転者７のモニタ６への注視が検出されてもナビ画面を表示し続けていたが、運転者７の注意力低下の防止のため、運転者７のモニタ６への注視が検出されると、モニタ６の表示を消すなどするようにしてもよい。

１ ＣＣＤカメラ群 （車両周辺撮像手段）
２ 赤外線カメラ （注視方向検出手段）
３ 赤外線照明 （注視方向検出手段）
４ ナビゲーション装置
５ 受光センサ
６ モニタ （表示手段）
１０ ＥＣＵ （注視方向検出手段、表示画像切替手段）

Claims (5)

1. 車両に設けられ、運転者の死角となる前記車両の周辺を異なった位置から撮像する複数の車両周辺撮像手段と、
   前記車両内に設けられ、画像を画面に表示する表示手段と、
   前記車両の運転者の注視する方向を検出する注視方向検出手段と、
   前記注視方向検出手段により検出した運転者の注視する方向に基づいて、前記車両周辺撮像手段のいずれかを選択し、選択した車両周辺撮像手段の撮像した画像を前記表示手段に表示させる表示画像切替手段と、
   前記注視方向検出手段により検出した運転者の注視する方向が、前記表示手段の方向であるか否かを判別する判別手段と、を備え、
   前記表示画像切替手段は、前記判別手段により前記表示手段の方向であると判別したときに、前記表示手段の表示を切り替えないように制御することを特徴とする車両周辺表示装置。
2. 前記注視方向検出手段は、運転者が所定の時間継続して注視した方向を、運転者の注視する方向であると判別することを特徴とする、請求項１に記載の車両周辺表示装置。
3. 前記注視方向検出手段は、運転者が所定の時間内に所定の回数注視した方向を、運転者の注視する方向であると判別することを特徴とする、請求項１に記載の車両周辺表示装置。
4. 前記注視方向検出手段は、運転者の視線方向と顔の向きに基づき、運転者の注視する方向を判別することを特徴とする、請求項１に記載の車両周辺表示装置。
5. 前記注視方向検出手段は、運転者の顔の向きが左右・上下、視線の向きが左右・上下においてどの範囲を向いているかにより注視方向を決めるテーブルが設定されており、該テーブルに基づいて運転者の注視する方向を検出することを特徴とする、請求項１に記載の車両周辺表示装置。

Images