JP5184596B2

JP5184596B2 - 脇見判定装置

Info

Publication number: JP5184596B2
Application number: JP2010198167A
Authority: JP
Inventors: 昭夫高橋; 信介植田; 誠一山本
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2010-09-03
Filing date: 2010-09-03
Publication date: 2013-04-17
Anticipated expiration: 2030-09-03
Also published as: EP2426001A1; US20120057749A1; US8447072B2; JP2012058769A; EP2426001B1

Description

本発明は、脇見判定装置に関する。

従来、例えば運転者の顔を撮像して得られる顔画像に基づいて顔向き角度を検知し、この顔向き角度を用いて脇見判定を行なうときに基準となる角度閾値を、車両の走行状態（例えば、カーブ走行状態など）に応じた車速とヨーレートまたは横加速度とに基づいて変更する装置が知られている（例えば、特許文献１参照）。

特開２００９−２９４７５３号公報

ところで、上記従来技術に係る装置によれば、実際に車両の走行状態が変化したときに発生するヨーレートまたは横加速度を検出してから角度閾値を変更している。
しかしながら、運転者は通常、カーブに進入する手前の直進路を走行する直進状態から前方での旋回方向を目視確認する動作を行なうことから、上記従来技術のようにカーブ進入後に角度閾値を変更する場合には、角度閾値の変更が遅れてしまい、誤った脇見判定が行なわれてしまうという問題が生じる。つまり、カーブに進入する手前の直進路を走行する直進状態で前方に存在するカーブの旋回方向を目視確認する状態が脇見状態であると誤判定されてしまう虞がある。

本発明は上記事情に鑑みてなされたもので、運転者の脇見を適切に判定することが可能な脇見判定装置を提供することを目的とする。

上記課題を解決して係る目的を達成するために、本発明の第１態様に係る脇見判定装置は、車両の運転席に着座した運転者の顔を撮像して顔画像を出力する撮像手段（例えば、実施の形態での乗員カメラ１２）と、該撮像手段から出力された前記顔画像から前記運転者の視線方向を検出して検出結果を出力する視線方向検出手段（例えば、実施の形態での視線方向検知部２４）と、該視線方向検出手段から出力された前記検出結果の前記視線方向が所定範囲以外の範囲に向かう場合に前記運転者が脇見状態であると判定する脇見判定手段（例えば、実施の形態での脇見判定部２７）と、前記車両の旋回方向を含む走行挙動の情報を取得して取得結果を出力する情報取得手段（例えば、実施の形態での車両状態取得部２５）と、該情報取得手段から出力された前記取得結果に基づいて前記所定範囲を所定量だけ変位させるようにして変更する範囲変更手段（例えば、実施の形態での判定範囲変更部２８）とを備える脇見判定装置であって、前記車両から所定距離以内の前方におけるカーブの存在有無および当該カーブのカーブ方向を検出して検出結果を出力するカーブ検出手段（例えば、実施の形態でのカーブ検出部２６）を備え、前記範囲変更手段は、前記カーブ検出手段から前記カーブの存在を示す前記検出結果が出力された場合に、前記情報取得手段から出力された前記取得結果の前記旋回方向が前記カーブ検出手段から出力された前記検出結果の前記カーブ方向に変化する以前に前記所定範囲を前記カーブ方向に前記所定量だけ変位させるようにして変更し、前記脇見判定手段は、前記範囲変更手段により変更された前記所定範囲に基づいて前記運転者が脇見状態であるか否かを判定する。

さらに、前記範囲変更手段は、前記カーブ検出手段から前記カーブの存在を示す前記検出結果が出力された場合に、前記情報取得手段から出力された前記取得結果の前記旋回方向が前記カーブ検出手段から出力された前記検出結果の前記カーブ方向に変化する以前であって、かつ、前記視線方向検出手段から出力された前記検出結果の前記視線方向が前記所定範囲から前記カーブ方向側に前記所定範囲の外の範囲に向かうときに、前記所定範囲を前記カーブ方向に前記所定量だけ変位させるようにして変更する。

さらに、本発明の第２態様に係る脇見判定装置では、前記情報取得手段は、前記車両の旋回方向および転舵角度を含む走行挙動の情報を取得して取得結果を出力しており、前記脇見判定手段は、前記情報取得手段から出力された前記取得結果の前記転舵角度が所定値以上である場合には、前記運転者が脇見状態であるか否かの判定を禁止する。

さらに、本発明の第３態様に係る脇見判定装置は、前記車両のフロントガラス上に所定画像を表示可能な表示手段と、前記カーブ検出手段から前記カーブの存在を示す前記検出結果が出力された場合に、前記カーブに対する前記車両の相対位置を推定して推定結果を出力する位置推定手段と、前記カーブ検出手段から出力された前記検出結果の前記カーブ方向と、前記位置推定手段から出力された前記推定結果の前記相対位置とに基づいて前記フロントガラス上で前記運転者が視認すべき点である基準点を算出して算出結果を出力する基準点算出手段とを備え、前記表示手段は、前記カーブ検出手段から前記カーブの存在を示す前記検出結果が出力された場合に、前記基準点算出手段から出力された前記算出結果の前記基準点を示す前記所定画像を表示する。

さらに、本発明の第４態様に係る脇見判定装置では、前記基準点算出手段は、前記基準点として、前記位置推定手段から出力された前記推定結果の前記相対位置を含む直線が前記カーブの内周の接線になるときの接点を算出する。

本発明の第１態様に係る脇見判定装置によれば、車両挙動が変化して車両の旋回方向がカーブ方向に変化する以前のタイミングで運転者の脇見状態を判定するための所定範囲を所定量だけ変位させることにより、所定範囲の変更が遅れてしまうことを防止することができる。これにより、車両が前方に存在するカーブに進入する以前のタイミングで運転者がカーブの旋回方向を目視確認する状態を脇見状態であると誤判定してしまうことを防止することができる。

さらに、車両挙動が変化して車両の旋回方向がカーブ方向に変化する以前のタイミングで視線方向がカーブ方向側に所定範囲から外れたときに、運転者の脇見状態を判定するための所定範囲を所定量だけ変位させることにより、所定範囲を適切なタイミングで変更することができる。これにより、運転者が脇見状態であるか否かの判定精度を向上させることができる。

さらに、本発明の第２態様に係る脇見判定装置によれば、転舵角度が所定値以上である走行時に運転者が脇見状態であるか否かの判定を禁止することで、運転者による外界の目視動作によって視線方向が大きく変化する可能性が高い場合に誤った判定が行われてしまうことを防止し、運転者が脇見状態であるか否かの判定精度を向上させることができる。

さらに、本発明の第３態様に係る脇見判定装置によれば、カーブの存在有無に応じて運転者の脇見状態を判定するための所定範囲が変位しているか否かを運転者に認識させることができ、カーブへの進入時およびカーブの通過時に適切な視認位置への視線誘導を促すことができる。

さらに、本発明の第４態様に係る脇見判定装置によれば、カーブへの進入時およびカーブの通過時に適切な視認位置への視線誘導を促すことができる。

本発明の実施の形態に係る脇見判定装置の構成図である。本発明の実施の形態に係る脇見判定装置により変更される非脇見判定範囲Ｃと運転者Ｄの視線方向Ｂとの一例を示す図である。本発明の実施の形態に係る脇見判定装置により変更される非脇見判定範囲の例を示す図である。本発明の実施の形態に係る脇見判定装置により変更される非脇見判定範囲の所定角度θの一例を示す図である。本発明の実施の形態に係る脇見判定装置によりフロントウィンドＷ上に表示される注視点および基準点の例を示す図である。

以下、本発明の脇見判定装置の一実施形態について添付図面を参照しながら説明する。
本実施の形態による脇見判定装置１０は、例えば図１に示すように、光源１１と、乗員カメラ１２と、車両状態センサ１３と、ナビゲーション装置１４と、処理装置１５と、表示装置１６とを備えて構成されている。

光源１１は、撮像対象（例えば、運転席に着座した運転者の顔など）に可視光線または赤外線などの光を照射する。
乗員カメラ１２は、少なくとも運転席に着座した運転者の顔を撮像対象として撮像領域内に含み、例えば可視光領域または赤外線領域にて撮像可能であって、運転者の顔を含む顔画像を出力する。

車両状態センサ１３は、例えば、自車両の速度（車速）を検出する車速センサと、車体の姿勢や進行方向を検知するジャイロセンサと、ヨーレート（車両重心の上下方向軸回りの回転角速度）を検知するヨーレートセンサと、運転者により操作されるステアリングホイールの舵角（操舵角度）あるいはステアリングホイールの舵角に応じた実舵角（転舵角度）を検出する舵角センサとなどを備えて構成され、各種の車両情報（つまり、車速、姿勢、ヨーレート、操舵角度、転舵角度など）の検出結果の信号を処理装置１５に出力する。

ナビゲーション装置１４は、例えば人工衛星を利用して自車両の位置を測定するためのＧＰＳ（Global Positioning System）信号などの測位信号を受信し、この測位信号によって自車両の現在位置を算出する。
また、ナビゲーション装置１４は、車両状態センサ１３の車速センサおよびヨーレートセンサ（図示略）などから出力される自車両の速度（車速）およびヨーレートの検出信号に基づく自律航法の算出処理によって、自車両の現在位置を算出する。

そして、ナビゲーション装置１４は、表示装置１６の表示画面に地図を表示するための地図表示用のデータおよび自車両の現在位置に基づくマップマッチングの処理に必要とされる道路座標データを地図データとして備えている。
さらに、ナビゲーション装置１４は、経路探索や経路誘導などの処理に必要とされるデータ、例えば交差点および分岐点などの所定位置の緯度および経度からなる座標点であるノードと、各ノード間を結ぶ線であるリンクと、各リンクの距離と、道路の形状（例えば、カーブの曲率半径に関する情報）および幅員および交差角度および種別となどの道路データを地図データとして備えている。

処理装置１５は、例えば、照射制御部２１と、撮像制御部２２と、顔画像取得部２３と、視線方向検知部２４と、車両状態取得部２５と、カーブ検出部２６と、脇見判定部２７と、判定範囲変更部２８と、自車位置推定部２９と、基準点算出部３０と、表示制御部３１とを備えて構成されている。

照射制御部２１は、光源１１による光の照射を制御する。
撮像制御部２２は、乗員カメラ１２による撮像を制御する。

顔画像取得部２３は、乗員カメラ１２から出力される顔画像を取得する。
視線方向検知部２４は、顔画像取得部２３により取得された顔画像から運転者の左右の眼球を検知対象物とした特徴量算出および形状判別などの認識処理を行ない、この処理結果に基づき、例えば、眼の虹彩や瞳孔の中心位置や、角膜表面における赤外線の反射像であるプルキニエ像の中心位置や、眼球中心位置や、目頭の位置などを用いた所定の視線検知処理により運転者の視線方向および注視点を検知する。

車両状態取得部２５は、車両状態センサから出力される各種の検出結果の信号に基づき、自車両の各種の状態に関する車両情報を取得する。
例えば、車両状態取得部２５は、自車両の走行挙動の情報として、自車両の速度（車速）と、車体の姿勢と、進行方向および旋回方向と、ステアリングホイールの舵角（操舵角度）に応じた実舵角（転舵角度）との情報を取得する。

カーブ検出部２６は、例えばナビゲーション装置１４の道路データ、あるいは車両状態センサ１３から出力されるステアリングホイールの舵角（操舵角度）またはステアリングホイールの舵角に応じた実舵角（転舵角度）などに基づき、自車両から所定距離以内（例えば、カーブ入口に到達するまで２秒以内の距離以内など）の前方におけるカーブの存在有無および当該カーブのカーブ方向を検出する。これにより、カーブ検出部２６は、例えば複数のカーブが連続する連続カーブに対しては、カーブの切り替わりを検出する。
なお、カーブ検出部２６は、例えば自車両の外界を撮像する外界カメラ（図示略）から出力される画像に基づいてカーブを検出してもよいし、例えば外部から受信した走行路に関する情報に基づきカーブを検出してもよい。

脇見判定部２７は、視線方向検知部２４により検知された運転者の視線方向が、所定範囲（非脇見判定範囲）以外の範囲（つまり、脇見判定範囲）に向う方向（つまり、脇見方向）である継続時間が、所定時間以上であるか否かを判定する。
具体的には、脇見判定部２７は、運転者の視線方向の角度（例えば、運転席に着座した運転者の正面方向を基準とした視線方向の角度）が、非脇見判定範囲を規定する所定の非脇見角度範囲を逸脱している状態が所定時間（例えば、２秒など）以上維持された場合には、運転者が脇見をしていると判定し、判定結果の信号を出力する。
一方、運転者の視線方向の角度が所定の非脇見角度範囲内であれば、運転者が脇見をしていないと判定し、判定結果の信号を出力する。

なお、脇見判定部２７は、車両状態取得部２５により取得されたステアリングホイールの舵角（操舵角度）、あるいはステアリングホイールの舵角（操舵角度）に応じた実舵角（転舵角度）が所定値（例えば、８°など）以上である場合には、運転者が脇見状態であるか否かの判定を禁止する。

判定範囲変更部２８は、車両状態取得部２５により取得された車両情報と、カーブ検出部２６により検出されたカーブの存在有無および当該カーブのカーブ方向と、視線方向検知部２４により検知される視線方向とに基づき、非脇見判定範囲を所定量だけ変位させることを指示する指令を出力する。

例えば、判定範囲変更部２８は、自車両から所定距離以内の前方にカーブが存在すること、および、このカーブのカーブ方向がカーブ検出部２６によって検出された場合に、車両状態取得部２５により取得された自車両の旋回方向がカーブ方向に変化する以前の所定タイミングで非脇見判定範囲をカーブ方向に所定量だけ変位させるようにして変更する。
なお、自車両の旋回方向がカーブ方向に変化する以前の所定タイミングは、例えば視線方向検知部２４により検知される視線方向が、この時点で設定されている非脇見判定範囲をカーブ方向側に逸脱して、この非脇見判定範囲の外の範囲に向かうときなどである。

例えば図２に示すように、判定範囲変更部２８は、自車両Ｐの進行方向前方にカーブが存在する場合に、自車両Ｐがカーブに進入するより前のタイミングのカーブの手前位置（Ｐ１）において、転舵方向Ａが不変（例えば直進状態と同じ）であっても、運転者Ｄの視線方向Ｂがカーブ方向に変化することに応じて、非脇見判定範囲Ｃをカーブ方向に所定量だけ変位させる。
これにより、例えば自車両Ｐがカーブに進入した後のタイミングのカーブ通過中の位置（Ｐ２）で転舵方向Ａがカーブ方向に変化することに応じて、非脇見判定範囲Ｃをカーブ方向に変位させる場合に比べて、非脇見判定範囲Ｃの変更が遅れてしまうことが防止される。

なお、非脇見判定範囲をカーブ方向に変位させる所定量は、例えば固定値であってもよいし、例えばカーブ検出部２６によって検出されるカーブに応じて変化する値や、例えば車両状態取得部２５により取得される操舵角度あるいは転舵角度に応じて変化する値などであってもよい。

例えばカーブ検出部２６によって検出されるカーブの形状に応じて所定量が変化する場合には、判定範囲変更部２８は、例えば図３に示すように、変更後の非脇見判定範囲Ｃ２がカーブの内周に接する視線方向Ｂ２を含むように（例えば、カーブの内周に接する視線方向Ｂ２が非脇見判定範囲Ｃ２の中心線に一致するように）して、視線方向Ｂ１に対する非脇見判定範囲Ｃ１をカーブ方向に変位させる所定量（例えば、所定角度θ）を設定する。

また、例えば車両状態取得部２５により取得される自車両Ｐの前輪の転舵角度δに応じて所定量が変化する場合には、判定範囲変更部２８は、例えば図４に示すように、カーブの曲率半径Ｒと、所定の固定値とされる自車両Ｐの車端から路肩までの距離αと、既知である自車両Ｐのホイールベースｌとにより、所定量（例えば、所定角度θ）を設定する。
つまり、下記数式（１）において、曲率半径Ｒがホイールベースｌに比べて大きい場合には、下記数式（２）が成り立ち、さらに、下記数式（２）から下記数式（３）が導かれる。
これにより、判定範囲変更部２８は、下記数式（３）に基づき、下記数式（４）に示すように、転舵角度δと距離αとホイールベースｌとにより所定角度θを算出する。

自車位置推定部２９は、自車両から所定距離以内の前方にカーブが存在することがカーブ検出部２６によって検出された場合に、このカーブに対する自車両の相対位置を推定する。
基準点算出部３０は、カーブ検出部２６によって検出されたカーブ方向と、自車位置推定部２９により推定された自車両の相対位置とに基づいて、自車両のフロントガラス上で運転者が視認すべき点である基準点（例えば、図５に示す接点Ｅなど）を算出する。

この基準点は、例えば図３，４に示すように、自車位置推定部２９により推定された自車両の相対位置（例えば、運転席に着座した運転者の眼の位置など）を含む直線（例えば、運転者の視線など）がカーブの内周の接線になる場合の接点Ｅなどである。

表示制御部３１は、カーブ検出部２６によってカーブの存在を示す検出結果が出力された場合に、表示装置１６を制御して、視線方向検知部２４により検知された運転者の視線方向に応じた注視点を示す所定画像と、基準点算出部３０により算出された基準点を示す所定画像とをフロントガラス上に表示させる。
表示装置１６は、例えば図５に示すように、車両のフロントウィンドＷを表示画面とするヘッドアップディスプレイなどである。
表示装置１６は、視線方向検知部２４により検知された運転者の視線方向に応じた注視点（例えば、図５に示す注視点Ｆ）の位置および基準点算出部３０により算出された基準点（例えば、図５に示す接点Ｅなど）の位置に各所定画像の虚像（例えば、円形画像など）を結像させるようにしてフロントウィンドＷ上に表示をおこなう。

上述したように、本実施の形態による脇見判定装置１０によれば、車両挙動が変化して車両の旋回方向がカーブ方向に変化する以前のタイミングで運転者の視線方向がカーブ方向側に非脇見判定範囲から外れたときに、非脇見判定範囲をカーブ方向に所定量（例えば、所定角度θ）だけ変位させることにより、非脇見判定範囲を適切なタイミングで変更することができる。これにより、車両が前方に存在するカーブに進入する以前のタイミングで運転者がカーブの旋回方向を目視確認する状態を脇見状態であると誤判定してしまうことを防止することができ、運転者が脇見状態であるか否かの判定精度を向上させることができる。

また、ステアリングホイールの舵角（操舵角度）、あるいは操舵角度に応じた実舵角（転舵角度）が所定値以上である場合には、運転者が脇見状態であるか否かの判定を禁止することで、運転者による外界の目視動作によって視線方向が大きく変化する可能性が高い場合に誤った判定が行われてしまうことを防止し、運転者が脇見状態であるか否かの判定精度を向上させることができる。

さらに、運転者の注視点および基準点算出部３０により算出された基準点の位置を示すに各所定画像をフロントウィンドＷ上に表示することにより、カーブの存在有無に応じて運転者の脇見状態を判定するための非脇見判定範囲が変位しているか否かを運転者に認識させることができ、カーブへの進入時およびカーブの通過時に適切な視認位置への視線誘導を促すことができる。

本実施の形態による脇見判定装置１０は車両の警報装置に適用することができ、車両の警報装置は、脇見判定装置１０により運転者が脇見をしていると判定された場合には、触覚的伝達装置、視覚的伝達装置、聴覚的伝達装置などの各種の伝達装置によって運転者に警報の報知を行なう。

１０脇見判定装置
１２乗員カメラ（撮像手段）
２４視線方向検知部（視線方向検出手段）
２５車両状態取得部（情報取得手段）
２６カーブ検出部（カーブ検出手段）
２７脇見判定部（脇見判定手段）
２８判定範囲変更部（範囲変更手段）

Claims

車両の運転席に着座した運転者の顔を撮像して顔画像を出力する撮像手段と、該撮像手段から出力された前記顔画像から前記運転者の視線方向を検出して検出結果を出力する視線方向検出手段と、該視線方向検出手段から出力された前記検出結果の前記視線方向が所定範囲以外の範囲に向かう場合に前記運転者が脇見状態であると判定する脇見判定手段と、前記車両の旋回方向を含む走行挙動の情報を取得して取得結果を出力する情報取得手段と、該情報取得手段から出力された前記取得結果に基づいて前記所定範囲を所定量だけ変位させるようにして変更する範囲変更手段とを備える脇見判定装置であって、
前記車両から所定距離以内の前方におけるカーブの存在有無および当該カーブのカーブ方向を検出して検出結果を出力するカーブ検出手段を備え、
前記範囲変更手段は、前記カーブ検出手段から前記カーブの存在を示す前記検出結果が出力された場合に、前記情報取得手段から出力された前記取得結果の前記旋回方向が前記カーブ検出手段から出力された前記検出結果の前記カーブ方向に変化する以前であって、かつ、前記視線方向検出手段から出力された前記検出結果の前記視線方向が前記所定範囲から前記カーブ方向側に前記所定範囲の外の範囲に向かうときに前記所定範囲を前記カーブ方向に前記所定量だけ変位させるようにして変更し、
前記脇見判定手段は、前記範囲変更手段により変更された前記所定範囲に基づいて前記運転者が脇見状態であるか否かを判定することを特徴とする脇見判定装置。
前記情報取得手段は、前記車両の旋回方向および転舵角度を含む走行挙動の情報を取得して取得結果を出力しており、
前記脇見判定手段は、前記情報取得手段から出力された前記取得結果の前記転舵角度が所定値以上である場合には、前記運転者が脇見状態であるか否かの判定を禁止することを特徴とする請求項１に記載の脇見判定装置。
前記車両のフロントガラス上に所定画像を表示可能な表示手段と、
前記カーブ検出手段から前記カーブの存在を示す前記検出結果が出力された場合に、前記カーブに対する前記車両の相対位置を推定して推定結果を出力する位置推定手段と、
前記カーブ検出手段から出力された前記検出結果の前記カーブ方向と、前記位置推定手段から出力された前記推定結果の前記相対位置とに基づいて前記フロントガラス上で前記運転者が視認すべき点である基準点を算出して算出結果を出力する基準点算出手段とを備え、
前記表示手段は、前記カーブ検出手段から前記カーブの存在を示す前記検出結果が出力された場合に、前記基準点算出手段から出力された前記算出結果の前記基準点を示す前記所定画像を表示することを特徴とする請求項１または請求項２に記載の脇見判定装置。
前記基準点算出手段は、前記基準点として、前記位置推定手段から出力された前記推定結果の前記相対位置を含む直線が前記カーブの内周の接線になるときの接点を算出することを特徴とする請求項３に記載の脇見判定装置。