JP2822508B2 - 運転者の運転状態検出装置 - Google Patents

Description

【発明の詳細な説明】 産業上の利用分野 この発明は、自動車、電車、航空機、船舶などの運転
者の運転状態を検出する装置に関する。

従来の技術 運転者に対してわき見運転や居眠り運転などの危険運
転行為を警報するなどのために、運転者の運転状態を検
出するものが望まれている。

その運転状態検出装置の一例としては特開昭60−1583
0号公報に開示されている車両運転者の眼の位置認識装
置がある。これは、運転者を撮像し得られる画像を処理
することにより、運転者の眼の位置を検出するもので、
眼の位置から運転者の顔の向きを検出し、運転中に運転
者の顔が向くべき方向、たとえば運転者が正面遠方を見
るときの顔の方向に対してその検出方向が所定許容角度
以上ずれ、かつその方向に所定許容時間以上向いている
ときには、前述の危険運転行為を行っているとして、運
転者に対して警報を発することができるものである。

発明が解決しようとする課題 しかしながら上述の運転状態検出装置においては許容
角度および許容時間が一定値となっていたため、わき見
運転で居眠り運転などの運転行為に対し、必ずしも的確
に警報することができない場合があった。

たとえば、許容角度を40度程度に設定し、許容時間を
1.5秒程度に設定した場合、自動車のサイドウインドウ
から運転者が外を見ているようなわき見運転は検出でる
が、20m前方の歩行者や看板などに見とられていて顔の
向き角度が５〜15度程度のときにはわき見運転としては
判定されず警報が発せられない。これに対し、許容角度
を40度よりかなり小さく例えば５度程度にすると、許容
角度が小さいがため高速道路での合流時の側方チェック
や道路標識の確認などわき見運転でないのに頻繁に警報
が発せられる事態が生じる。また、角度を小さくする代
わりに許容時間を1.5秒よりかなり長くすると、サイド
ウインドウから外を見ているようなわき見運転状態が応
答よく検出されない事態が生じる。

そこで、この発明は運転者に対してわき見運転や居眠
り運転などの運転行為をより適切に検出することができ
る運転状態検出装置を提供することを目的とする。

課題を解決するための手段 この発明は、第１図に示すように、 運転中に運転者の顔が向くべき基準方向を予め設定す
る基準方向設定手段５と、 運転者の顔が向いている方向を検出する方向検出手段
１と、 前記基準方向と前記方向検出手段１により検出された
顔の方向とがなく顔向き角度を検出する角度検出手段２
と、 運転中の車両状態を検出する車両状態検出手段６と、 前記顔向き角度及び車両状態に応じて許容時間を可変
設定する許容時間設定手段３と、 前記顔向き角度が所定の許容角度以上となっている間
の時間を計時する計時手段４と、 この計時手段４により検出される計時時間が前記許容
時間を越える場合に警報を発する警報発生手段７と、 を備えたことを特徴としている。

作用 移動方向検出手段１により運転者な顔が向いている方
向が検出され、角度検出手段２によりその方向と、運転
中に運転者の顔が向くべき方向（通常、運転者が正面遠
方を見るときの方向）である基準方向設定手段で設定さ
れた基準方向とのなす顔向き角度が検出される。そし
て、この顔向き角度及び車両状態検出手段６により検出
される車両状態に応じて、許容時間設定手段３により許
容時間が可変設定され、計時手段４で検出された計時時
間が許容時間を越える場合に、警報発生手段７により警
告が発せられる。

実施例 第２図〜第６図を参照して、この発明の運転状態検出
装置を自動車に適用した一実施例について説明する。

この実施例では、運転状態検出装置が第２図に示すよ
うに、眼鏡10、CCDカメラ11、処理装置12、設定スイッ
チ13および警報器14によって大略構成されている。

移動方向検出手段である眼鏡10は通常の眼鏡と同様に
運転者15の頭部に装着されるものであり、レンズフレー
ム10aのほぼ中央部に赤外線発光LED（以下、LEDと略
す）10bが配設されている。LED10bは運転者15が眼鏡10
を装着すると自動的に電源スイッチがオンになり、赤外
線を発光する。

このLED10bから発せられる赤外線を受光するCCDカメ
ラ11は、図外のフロントウインドウ上端付近の車体ルー
フが取り付けられ、運転者15が運転席16に座ったときに
運転者15の頭部全体が撮像されるように配置されてい
る。

マイクロコンピュータシステムからなる処理装置12は
角度検出手段，許容時間設定手段，計時手段及び警報発
生手段の一部を構成している。該処理装置12は、図外の
インストルメントパネル内に設けられ、CCDカメラ11の
入出力信号を処理するとともに後述するようにこの発明
に係る運転者15の運転状態検出処理を行う。

設定スイッチ13は、運転者15が通常の運転姿勢を保ち
ながら操作できる位置、たとえばステアリングホイール
の中央パッド部に配設されている。運転開始時間など運
転者15が前記姿勢を保った状態、特に正面遠方を向いた
状態でこの設定スイッチ13を押すことにより、処理装置
12においてCCDカメラ11で撮像された画像におけるLED10
bの基準位置（基準方向）が設定される。つまり、第３
図に示すように、前記画像において水平方向位置ｘと垂
直方向位置ｙでLED10bの位置を表すとすると、その座標
における原点（基準位置）が設定される。前記画像にお
いて、LED10bがその座標原点にあるとき、運転中に向く
べき方向、いいかえると正面遠方を見るときの方向に運
転者15の顔が向いていることになる。

警報手段の一部を構成する警報器14は、図外のインス
トルメントパネルに取り付けられ、後述するように処理
装置12において運転者がわき見運転や居眠り運転などの
運転行為をしていると判定されたときに、運転者15に対
してブザー音などで警報を発するものである。

更に第７図に示すように、各種の車両状態を検出する
装置、具体的にはレーザレーダ17、車速センサ18、ライ
トスイッチ19およびワイパスイッチ20が処理装置12に関
連して備えられている。

レーザレーダ17は自車と先行車の車間距離を検出する
ものであり、車速センサ18は自車の速度を検出するもの
である。すなわち、この実施例ではレーザレーダ17およ
び車速センサ18の出力により、後述するように衝突予測
時間ｔが演算されるとともに、ライトスイッチ19および
ワイパスイッチ20のオン／オフ動作信号に基づいて夜間
走行や雨天走行などの運転環境が検出され、これらに応
じてわき見許容時間T₁が補正される。

次に第４図のフローチャートを参照しながら、運転中
における処理装置12の運転状態検出動作について説明す
る。

前述したように運転前に運転者15が設定スイッチ13を
押すことにより、CCDカメラ11によって、撮像された画
像におけるLED10bの座標原点位置が、（0,0）が設定さ
れ、この動作の後、運転状態検出動作が開始される。ま
ず、第３図に示すように前記画像におけるLED10bの座標
位置（x,y）が検出される（ステップS11）。次にその座
標位置（x,y）から簡易的に運転者15が正面遠方を正視
しているか否かが判定される（ステップS12,S13）。た
とえば、運転者15の顔の向きが基準方向（LED10bの座標
位置（x,y）が原点（0,0）にあるときの顔の方向）に対
して２度程ずれているときの水平座標位置ｘと垂直座標
位置ｙの取りうる各範囲は前もってわかるので、その各
範囲における各座標位置x,yの各最小値をx₁およびy₁と
すると、|x|＞x₁または|y|＞y₁になったときに正面遠方
を正視していず、わき見状態にあると判定する。わき見
状態にあると判定されたときは次のステップS14に進
み、そうでないときはステップS11に戻る。

次のステップS14は計時手段に関するステップで、該
ステップS4ではLED10bの座標位置（x,y）が変わらず同
じであるときの時間ΔＴが検出され、その時間ΔＴが１
秒以上か否かが判定される（ステップS14,S15）。時間
ΔＴが１秒以上のときは次のステップS16に進み、１秒
以下のときはステップS11に戻る。つまり、ここでは危
険ではないわき見、例えば安全確認を行うための極短時
間のわき見が排除される。

ステップS16は角度検出手段に関するステップで、こ
のステップS16では、LED10bの座標位置（x,y）に基づい
て運転者15の顔向き角度θの演算が行われる。第５図に
運転者15の頭部の中心Ｐを中心としてLED10bの位置が回
転移動すると仮定する場合の角度θの検出原理が示され
ており、この第５図を参照して角度θの演算方法を説明
する。第５図において、11aはCCDカメラ11の対物レン
ズ、11bはCCDカメラ11の受光面、Ａは対物レンズ11aと
受光面11bの間の距離、Ｂは運転者15が正面を向いたと
きのLED10bから対物レンズ11aまでの距離、ＣはLED10b
が回転移動するときの半径である。受光面11bにおけるL
ED10bの座標位置（x,y）であったとすると、LED10bの実
際の移動距離Ｓ（ただし、ここでは受光面11bに平行な
面上での移動距離）は、 Ｓ＝（x²＋y²）^1/2×B/A であり、角度θは次の式から求められる。

θ＝arc sin（S/C） このようにして、顔向き角度θが演算される。

次のステップS17では次式で衝突予測時間ｔが演算さ
れる。

ｔ＝L/（V1−V2） ただし、Ｌは車間距離、V1は自車の車速、V2は先行車
の車速である。なお、V1＜V2のときは衝突予測時間ｔが
５秒に固定的に設定される。

衝突予測時間ｔが演算されると、次のステップS18で
顔向き角度θおよび車両状態に応じた衝突予測時間ｔに
基づき、わき見許容時間T₁が設定される。

詳述すると、まず、わき見許容時間T₀がその角度θに
基づいて設定される。すなわち、第６図に示すように顔
向き角度θが大きくなるに従い、わき見許容時間T₀が短
くなるように設定される。たとえば、顔向き角度θが40
度程度であるとき（たとえば、サイドウインドウから外
を見ている場合など）にはわき見許容時間T₀を1.5秒と
短く設定する。また、顔向き角度θが５度程度のとき
（たとえば、１車線道路で20m前方向の路肩歩行者など
を見ている場合など）にはわき見許容時間T₁を３秒と長
く設定する。

次に第８図に示すように衝突予測時間ｔから時間補正
係数ｋが設定され、kT₀がわき見許容時間T₁として設定
される。たとえば、顔向き角度θが40度で、衝突予測時
間Ｔが1.0秒のときは、わき見許容時間T₁は1.5秒×0.5
＝0.75秒に設定される。すなわち、ここでは追突するま
での余裕時間が短い程、時間補正係数ｋを小さくし、わ
き見運転を許容しないようにわき見許容時間T₁を設定し
ている。

わき見許容時間T₁が設定されると、次にライトスイッ
チ19がオンか否かが判定され、ライトスイッチ19がオン
であると0.9×T₁としてわき見許容時間T₁が更に短くな
るように補正される（ステップS19,S20）。ここでは、
視認性の悪い夜間走行のときにわき見許容時間T₁を通常
より１割減じる処理を行っている。

ステップS19,S20の次はワイパスイッチ20がオンか否
かが判定され、ワイパスイッチ20がオンであると0.9×T
₁にわき見許容時間T₁が更に短く補正される（ステップS
21,S22）。ここでは、視認性の悪い雨天走行のときにわ
き見許容時間T₁を通常より１割減じる処理を行ってい
る。

次にステップS23では、最終的に添付設定されたわき
見許容時間T₁と、ステップS14で検出された時間ΔＴと
が比較され、ΔＴ＞T₁でないときはステップS11〜S23が
繰り返され、ΔＴ＞T₁であるときにはステップS24へ進
み、運転者15に対して警報器14から警報音が発せられ
る。このステップ23,24は警報発生手段に関するステッ
プである。

このようにこの実施例では、顔向き角度θが大きくな
るに従い、わき見許容時間T₁が短く設定されるので、顔
向き角度θが大きく比較的危険度の高いわき見状態の場
合にはそのわき見状態になってから比較的短時間で警報
が発生せられ、顔向き角度θが比較的危険度の低いわき
見状態の場合にはそのわき見状態が比較的長く続いたと
きに警報が発せられる。したがって、無用な警報を極力
減らすことができ運転者15の運転状態に応じて明確な動
作が行われる。

また、この実施例では、車速が速いときや車間距離Ｌ
が短いとき、また夜間走行や雨天走行で視認性の悪いと
きは通常よりわき見許容時間T₁を短く設定するので、前
述の実施例に比べより車両状態に応じて的確に運転者15
に対して警報が発せられ、一層安全性が高められる。

第９図は、更に別の実施例を示したもので例えばドラ
イバーが、路肩に立っている歩行者を目で追った場合
等、視線が大きく動き、正面になかなか戻ってこない場
合にも警報できる実施例である。

すなわち、ステップS120でわき見が始まったことを検
出し、ステップS130では頭の方向が正面方向に戻ったか
否かを判断する。例えば真正面に対し左右５度以内の範
囲に頭の向きが戻ったかを判定する。

ステップS130でわき見が続いていることを検出した場
合には、ステップS140で５度以上の範囲に頭がある経過
時間T_aの値を計測し、ステップS150,160で頭の停止して
いる停留時間ΔT_aを演算する。

そして、ステップ170で顔の向きの正確な角度θを算
出し、ステップ180で自車速，先行車速，車間距離を検
出する。

次にステップ190で、前記頭のずれている停留時間ΔT
_aに対するわき見許容時間T_bを頭のずれている角度θの
関数として設定すると共に、経過時間T_aに対する経過わ
き見許容時間T_cを設定する。ここでT_cは例えばT_bの約２
倍の値とする。

そして、ステップ200から203で第４図のステップ19か
ら22と同様に、車両の環境条件によるわき見許容時間T_b
の補正を行い、ステップ204でわき見許容時間T_bと停留
時間ΔT_aの比較を行う。そして停留時間ΔT_aが許容値以
下のときはステップ230に進み、直ちに警報を行う。一
方、ΔT_aがT_bより小さい場合はステップ205へ進み、経
過時間T_aと経過わき見許容時間T_cと比較し、所定時間以
上の時、ステップ230へ進み、警報を発する。このた
め、頭を止めることなく動かしながらわき見をした場合
でも、正確に警報することができる。尚、ステップ230
で警報を発した後、または、ステップ130で所定時間以
内にわき見を止めたときはステップ240で経過時間T_aの
計測をリセットする。

この発明では、運転者15の顔が向いている方向を検出
する方向検出手段としては、第10図に示すような磁気検
出装置を用いることもできる。この磁気検出装置は、ド
ライブ回路30から直交コイル31に交流を印加すると磁界
が発生し、この磁界中に直交コイル32を置くと直交コイ
ル32に電流が誘起され、この電流を検出回路33に取り込
み、その電流値をコンピュータ34で処理することによ
り、直交コイル31に対する直交コイル32の相対位置が検
出できるものである。直交コイル32を運転者15が頭部に
装着する眼鏡などに取り付け、直交コイル31を運転者15
の前方で運転の妨げにならない位置、たとえばフロント
ウインドウの上端付近やインストルメントパネルの上端
付近に配置することにより、運転者15の顔の向いている
方向を検出することができる。

前述の実施例はいずれも運転車の状態を検出した信号
により警報を発するようにしたが、例えば自動的にブレ
ーキをかけたり、エンジン回転数を低下させることもで
きる。

なお、本発明は自動車以外の電車や航空機などにも容
易に適用することができる。そして、単にわき見運転だ
けでなく居眠りなどの運転行為も検出し、その行為に対
しても警報を発することができる。

また、前述の実施例では方向検出手段をメガネに設け
たが、帽子、ヘアバンド、バイザー、ネクタイピンなど
人間の体に固定する他の部材を用いることもできる。更
に前述の実施例では頭を左右に振るわき見を中心に実施
例を説明したが、居眠り運転などのように頭を上に振る
運転状態に対しても適用できるのはもちろんである。

発明の効果 以上のようにこの発明に係る運転者の運転状態検出装
置によれば、運転中に向くべき方向に対する顔の角度が
変化するのに従い、その許容時間を可変設定するととも
に、車両状態に応じて許容時間を可変設定するようにし
たので、たとえば自動車のサイドウインドウから外を見
るような運転行為を的確に検出して警告することがで
き、運転の安全性を高めることができる。

【図面の簡単な説明】

第１図はこの発明の構成を示すフレーム対応図、第２図
はこの発明を自動車に適用した一実施例の構成を示す説
明図、第３図はCCDカメラの撮像画像を示す説明図、第
４図は上記実施例における処理装置の動作を示すフロー
チャート、第５図は同実施例において顔向き角度を検出
する原理を示す原理図、第６図は顔向き角度とわき見許
容時間の関係を示すグラフ、第７図は上記実施例の構成
を模式的に示す説明図、第８図は衝突予測時間とわき見
許容時間係数の関係を示すグラフ、第９図はこの発明を
自動車に適用した更に別の実施例の動作を示すフローチ
ャート、第10図は磁気検出装置の構成を示す説明図であ
る。 １……移動方向検出手段、２……角度検出手段、３……
許容時間設定手段、４……計時手段。

Claims (1)

(57)【特許請求の範囲】
1. 【請求項１】運転中に運転者の顔が向くべき基準方向を
   予め設定する基準方向設定手段と、 運転者の顔が向いている方向を検出する方向検出手段
   と、 前記基準方向と前記方向検出手段により検出された顔の
   方向とがなす顔向き角度を検出する角度検出手段と、 運転中の車両状態を検出する車両状態検出手段と、 前記顔向き角度及び車両状態に応じて許容時間を可変設
   定する許容時間設定手段と、 前記顔向き角度が所定の許容角度以上となっている間の
   時間を計時する計時手段と、 この計時手段により検出される計時時間が前記許容時間
   を越える場合に警報を発する警報発生手段と、 を備えたことを特徴とする運転者の運転状態検出装置。