JP2000351339A

JP2000351339A - 運転装置の制御装置

Info

Publication number: JP2000351339A
Application number: JP16421199A
Authority: JP
Inventors: Tadayuki Niibe; 忠幸新部
Original assignee: Mazda Motor Corp
Current assignee: Mazda Motor Corp
Priority date: 1999-06-10
Filing date: 1999-06-10
Publication date: 2000-12-19
Anticipated expiration: 2019-06-10
Also published as: JP4337130B2

Abstract

(57)【要約】【課題】操作者の状態に応じて迅速且つ的確な制御を
行う運転装置の制御装置の提供。【解決手段】ステップＳ７で情報提供・警報発報が必
要と判断したときであってドライバが前方を見ていない
ときには、ステップＳ８で検出した瞳孔径Ｌの大きさを
利用して脇見をしているか否かを判断し(S9,S10)、脇見
をしているときには情報提供・警報発報のタイミングを
早める、或いはスピーカ出力の音量を大きくする(S1
2)。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、操作者により運転
される各種の運転装置の制御装置に関し、例えば、代表
的な移動体である自動車に適用して好適な制御装置に関
する。

【０００２】

【従来の技術】従来より、代表的な運転装置である自動
車においては、予防安全の観点から自動車を制御する制
御装置の一例として、ドライバの脇見に対する警報装置
が提案されており、例えば、特開平６−２７０７１２号
には、ＣＣＤカメラにより撮影した画像の明るさの勾配
に基づいてドライバの視線方向を検出し、その検出した
視線方向と車両の進行方向とが一致しないときに脇見と
判断して警報出力を行う警報装置が提案されている。

【０００３】

【発明が解決しようとする課題】しかしながら、上記従
来例においては、検出した視線方向と車両の進行方向と
が一致しないときには、その視線方向をドライバが積極
的に注視していないときであっても脇見と判断して警報
出力を行うため、ドライバに違和感を与えることが予想
される。この違和感を解消するためには、検出したドラ
イバの視線方向が車両の進行方向と異なる状態の継続時
間を計測し、その継続時間が所定時間より長い場合には
じめて「ドライバが脇見をしている」と判断して警報出
力を行えば良いが、この場合はドライバが実際に脇見を
しており、直ちに警報出力が必要なときにも当該所定時
間が経過するまで警報出力が開始されないため問題とな
る。

【０００４】そこで本発明は、操作者の状態に応じて迅
速且つ的確な制御を行う運転装置の制御装置の提供を目
的とする。

【０００５】

【課題を解決するための手段】上記の目的を達成するた
め、本発明に係る運転装置の制御装置は、以下の構成を
特徴とする。

【０００６】即ち、運転装置の操作者の頭顔部を撮影す
るカメラと、前記カメラからの映像信号に基づいて、前
記操作者の視線方向を検出する視線方向検出手段と、前
記カメラからの映像信号に基づいて、前記操作者の瞳孔
径に関する値を検出する瞳孔径検出手段と、前記視線方
向検出手段により検出された視線方向と、前記瞳孔径検
出手段により検出された瞳孔径とに基づいて、前記運転
装置を制御する制御手段とを備えることを特徴とする。

【０００７】また、例えば前記制御手段が、主に前記検
出された視線方向に基づいて前記運転装置を制御する場
合において、前記制御手段は、前記検出された瞳孔径が
所定値より小さいときに、その時点で前記視線方向検出
手段により検出されている視線方向に基づく前記運転装
置の制御を規制すると良い。

【０００８】また、例えば前記運転装置は移動体であ
り、前記移動体の進行方向を検出する進行方向検出手段
を更に備え、前記制御手段は、前記視線方向検出手段に
より検出された視線方向と、前記進行方向検出手段によ
り検出された進行方向とに基づいて前記操作者の脇見を
検出したときであって、且つ前記瞳孔径検出手段により
検出した瞳孔径が前記所定値より大きいときに警報する
警報手段を含むと良い。

【０００９】また、例えば、前記運転装置の運転環境及
び／または運転状態を検出する検出手段を更に備え、前
記制御手段は、前記検出手段による検出結果が所定の状
態になったときに、前記操作者に対して前記運転環境及
び／または運転状態に関する情報を提供する情報提供手
段を含み、前記情報提供手段は、前記視線方向検出手段
により検出した視線方向と、前記進行方向検出手段によ
って検出した進行方向とに基づいて前記操作者の脇見を
検出したときに、前記瞳孔径検出手段により検出した瞳
孔径が大きい程、情報提供の度合を大きく補正すること
を特徴とする。

【００１０】

【発明の実施の形態】以下、本発明に係る運転装置の制
御装置を、代表的な運転装置である自動車に適用した実
施形態として、図面を参照して詳細に説明する。

【００１１】［第１の実施形態］図１は、第１の実施形
態における運転装置の制御装置を搭載する自動車のシス
テム構成を示す図である。また、図２は、図１に示す自
動車の運転席を示す図である。

【００１２】図１及び図２において、１は、後述する制
御を行うコントロールユニットである。２は、前方の障
害物との距離を検出するレーザレーダである。３は、前
方を撮影する赤外線カメラである。４は、所定の走行位
置検出等を行うべく道路上に設けられた磁気マーカから
の磁気を検出する磁気マーカセンサである。５は、例え
ばサイドミラーや車体後方に設けられ、車両側方や後方
を撮影するラインＣＣＤ(Charge Coupled Device)であ
る。６は、道路上の白線等によって走行車線を検出すべ
く、車両前方を撮影する走行車線検出用ＣＣＤカメラで
ある。７は、走行速度を検出する車速センサである。８
は、車両の向きや横方向へのＧを検出すべく、ヨー角を
検出するヨーレートセンサである。９は、スロットル開
度を検出するスロットルセンサである。１０は、ブレー
キの操作状態を検出するブレーキスイッチである。１１
は、ステアリングホイールの操舵角度を検出する操舵角
センサである。１２は、ウインカスイッチの操作状態を
検出するウインカセンサである。１３は、後述する如く
ドライバの頭顔の位置や注視点の検出を行うドライバモ
ニタユニットである。１４は、地図情報と受信したＧＰ
Ｓ（Global Positioning System）信号等に基づいて、
車両の現在位置の検出や目的地までの経路誘導を行うナ
ビゲーションユニットである。１５は、交通情報、前方
の障害物に関する情報、或いは横断歩道を歩行している
歩行者の有無に関する情報等を道路上に設けられた無線
機と通信する路車間通信ユニットである。２１は、ナビ
ゲーションユニット１４の出力結果や各種の情報提供を
行う液晶表示器（ＬＣＤ）やヘッドアップディスプレイ
（ＨＵＤ）等のディスプレイである。２２は、各種の音
声出力や後述する脇見運転に対する情報提供・警報報知
を行うスピーカである。２３は、例えばステアリングホ
イールのコラムカバーに設けられ、ドライバの頭顔部に
赤外光を投光する赤外投光ランプである。そして、２４
は、例えばステアリングホイールのコラムカバーに設け
られ、赤外投光ランプ２３による頭顔からの反射光を撮
影する赤外投光領域撮像カメラである。

【００１３】ここで、上述したシステム構成における制
御の機能構成について説明する。

【００１４】図３は、第１の実施形態に係る運転装置の
制御装置における制御機能の構成を示すブロック図であ
り、本実施形態において以下に説明する各モジュール
は、コントロールユニット１が備える不図示のＣＰＵが
実行するソフトウエアの機能単位を表わす。

【００１５】同図に示すように、コントロールユニット
１の外部環境判断モジュールでは、レーザレーダ２、赤
外線カメラ３、磁気マーカセンサ４、ラインＣＣＤ５、
走行車線検出用ＣＣＤカメラ６の各出力信号と、ナビゲ
ーションユニット１４の検出結果、並びに路車間通信ユ
ニット１５による入手情報とを用いて、車両の外部環境
のセンシングが行われる。尚、これら各出力信号を用い
た外部環境のセンシングには、一般的な方法を採用する
ものとし、本実施形態における詳細な説明は省略する。
また、本実施形態では、一例として上記の如く複数種類
の検出信号を利用して外部環境のセンシングを行うが、
これに限られるものではなく、それら複数種類の検出信
号のうち一部の検出信号を適宜利用してセンシングを行
っても良い。

【００１６】また、コントロールユニット１の危険判断
モジュールでは、車両状態のセンシングとして、車速セ
ンサ７、ヨーレートセンサ８、スロットルセンサ９、ブ
レーキスイッチ１０、操舵角センサ１１、そしてウイン
カセンサ１２の各出力信号と、路車間通信ユニット１５
による入手情報とを用いて、危険状態の判断が行われ
る。この危険判断モジュールでは、切迫した危険状態、
即ちドライバによる危険回避の余裕が無いと判断したと
きには、ドライバによる危険回避を待つことなく、ブレ
ーキ操作、スロットル操作、或いはオートマチックトラ
ンスミッション（ＡＴ）の変速操作による自動制動、或
いは自動操舵等の車両制御を行う。尚、これら各出力信
号を用いた危険状態の判断、並びに車両制御には、一般
的な方法を採用するものとし、本実施形態における詳細
な説明は省略する。

【００１７】また、コントロールユニット１のドライバ
状態判断モジュールでは、ドライバモニタユニット１３
にて検出されたドライバの注視点、頭顔位置、そして瞳
孔径の検出結果を用いて、ドライバの状態判断が行われ
る（詳細は後述する）。

【００１８】そして、コントロールユニット１の情報提
供・警報発報判定モジュールでは、危険判断モジュール
による判断結果と、ドライバ状態判断モジュールによる
判断結果とに基づいて情報提供・警報発報の要否や開始
タイミングの判断が行われると共に、その判断結果に応
じたディスプレイ２１への情報表示と、スピーカ２２に
よる警報発報とが行われる（詳細は後述する）。

【００１９】＜注視点の検出＞次に、ドライバモニタユ
ニット１３によるドライバの注視点の検出方法について
説明する。

【００２０】図４は、第１の実施形態におけるドライバ
モニタユニットのシステム構成を示すブロック図であ
り、本実施形態において以下に説明する各モジュール
は、ドライバモニタユニット１３が備える不図示のＣＰ
Ｕが実行するソフトウエアの機能単位を表わす。

【００２１】同図に示すように、赤外投光ランプ２３の
投光部分と、赤外投光領域撮像カメラ２４の受光部に
は、赤外透過フィルタが設けられており、ドライバモニ
タユニット１３は、赤外投光領域撮像カメラ２４から出
力される映像信号に基づいて、画像処理モジュールにお
いて一般的な２値化処理や特徴点の抽出処理を行うこと
によってドライバの頭顔部の画像を抽出し、その抽出し
た頭顔部の画像に基づいて、注視点検出モジュールにお
いてドライバの注視点の検出すべく、頭顔方向Ｄｈの検
出、視線方向Ｄｓの検出、そして瞳孔径Ｌの検出を行
う。

【００２２】次に、ドライバモニタユニット１３の機能
について、図５から図８を参照して説明する。

【００２３】図５は、第１の実施形態における注視点検
出処理のフローチャートを示す図であり、画像処理モジ
ュール及び注視点検出モジュールにより実現される機能
を表わす。

【００２４】同図において、ステップＳ５１：赤外投光
ランプ２３によってドライバの頭顔部に投光を行うと共
に、赤外投光領域撮像カメラ２４によって撮影した当該
頭顔部のアナログ映像信号を画像処理モジュールに取り
込み、その映像信号に一般的な２値化処理を施すことに
より、ピクセル毎のデジタル多値画像データに変換す
る。

【００２５】ステップＳ５２：入手した多値画像データ
から、一般的な画像処理手法を用いてドライバの顔画像
部分を抽出し、その抽出した顔画像部分に含まれる複数
の特徴点（例えば目頭、目尻、鼻孔等）の位置を検出す
る。

【００２６】ステップＳ５３：抽出した顔画像部分の画
像データから、赤外投光によってドライバの眼球の角膜
に発生している反射点の位置と瞳孔の位置とを、一般的
な画像処理手法を用いて検出する。

【００２７】ステップＳ５４：検出した瞳孔の位置に対
応する画像データの水平方向のピクセル数のうちの最大
値を、瞳孔径Ｌとして検出する。ここで、水平方向に注
目するのは、垂直方向に注目した場合にはドライバによ
る「瞬き」が影響することによって正確な瞳孔径が検出
できないからである。

【００２８】ステップＳ５５：ステップＳ５２で検出し
た特徴点の位置に基づいて、所定の３次元座標空間にお
けるドライバの頭顔面の傾きを算出することにより、ド
ライバの頭顔が向けられている方向（頭顔方向）Ｄｓを
計測する。

【００２９】ステップＳ５６：ステップＳ５３で検出し
た角膜反射点と、ステップＳ５５で検出した頭顔方向Ｄ
ｓとに基づいて、ドライバの視線の方向（注視方向）Ｄ
ｓを検出する。

【００３０】ステップＳ５７：ステップＳ５６で検出し
た注視方向Ｄｓと、予め記憶している車両内外の所定位
置（前方位置、ルームミラー取り付け位置、左右のサイ
ドミラー取り付け位置等）とに基づいて、ドライバの注
視点を検出する。

【００３１】＜コントロールユニット１による制御処理
＞次に、コントロールユニット１における制御処理につ
いて説明する。

【００３２】図６は、第１の実施形態における運転装置
の制御装置としてのコントロールユニットによる制御処
理を示すフローチャートであり、図１に示した当該ユニ
ットの外部環境判断モジュール、危険判断モジュール、
ドライバ状態判断モジュール、そして情報提供・警報発
報判定モジュールにより実現される機能を表わす。

【００３３】同図において、ステップＳ１：レーザレー
ダ２、赤外線カメラ３、磁気マーカセンサ４、ラインＣ
ＣＤ５、走行車線検出用ＣＣＤカメラ６の各出力信号と
を用いて、一般的な手法により、車両の外部環境のセン
シングを行う。

【００３４】ステップＳ２：ナビゲーションユニット１
４により（路車間通信ユニット１５による入手情報を利
用しても良い）、一般的な手法により、車両の現在の走
行位置、並びに進路上の道路の形状等を検出する。

【００３５】ステップＳ３：車速センサ７、ヨーレート
センサ８、スロットルセンサ９、ブレーキスイッチ１
０、操舵角センサ１１、そしてウインカセンサ１２の各
出力信号を用いて、一般的な手法により、現在の車両状
態（直進や旋回状態等）を検出する。

【００３６】ステップＳ４：路車間通信ユニット１５を
介して、道路側の設備より道路に関する情報（カーブの
半径、速度規制情報、障害物情報等）を入手する。

【００３７】ステップＳ５：ステップＳ１からステップ
Ｓ４で検出した結果に基づいて、一般的な手法（例え
ば、上記の各ステップにおける検出結果を数値（ポイン
ト）化し、それら数値の積または和を採る等）により、
危険な状態（例えば、前方を走行する他車両への追突
や、周囲の障害物との衝突等が発生し得る状態）か否か
を判定する。このとき、判定結果が所定の条件を満足す
るときには、ドライバによる危険回避の余裕が無いと判
断し、ブレーキ操作、スロットル操作、或いはオートマ
チックトランスミッション（ＡＴ）の変速操作による自
動制動、或いは自動操舵等の車両制御を行う。

【００３８】ステップＳ６，ステップＳ７：ステップＳ
５における判定結果により、ドライバによる危険回避の
余裕が有ると判断したときには、情報提供・警報発報の
要否を判定し（ステップＳ６）、その判定結果がＮＯの
とき（必要無いとき）にはリターンし、ＹＥＳのとき
（必要なとき）にはステップＳ８に進む（ステップＳ
７）。

【００３９】ステップＳ８，ステップＳ９：図５を参照
して上述したドライバモニタユニット１３よりドライバ
の頭顔方向Ｄｈの検出、視線方向Ｄｓの検出、瞳孔径
Ｌ、そして注視点の検出結果を入手し（ステップＳ
８）、その入手した注視点に基づいてドライバが現在前
方を見ているか否かを判断し、その判断結果がＹＥＳの
とき（前方を見ているとき）にはリターンし、ＮＯのと
き（前方を見ていないとき）にはステップＳ１０に進む
（ステップＳ８）。

【００４０】尚、ステップＳ９の判断では、ドライバモ
ニタユニット１３より視線方向Ｄｓを入手し、且つステ
ップＳ３で検出した車両状態に含まれる車両進行方向と
の偏差を検出し、その検出した偏差が所定の大きさより
大きいときにステップＳ１０以降の処理を行っても良
い。

【００４１】ステップＳ１０：ドライバモニタユニット
１３より入手した瞳孔径Ｌが、所定の基準値Ｓと係数Ｋ
との積より大きいか否かを判断する。これは、人の瞳孔
径は、興味の対象となるものを見ているときには広がる
という性質に注目した判断であり、例えば、車線変更等
の運転操作に先立って車両側方の障害物の有無を判断し
ているドライバの瞳孔径は、サイドミラー等を注視して
いるときに大きく変化する。ここで、ドライバの頭顔の
動きと瞳孔の動きとに関する実験結果の一例を、図７を
参照して説明する。

【００４２】図７は、車線変更時のドライバの頭顔の動
きと瞳孔の動きに関する実験結果を示す図である。

【００４３】同図に示すように、車線変更の可否を判断
する合流終了前３０秒から１５秒暗いまでの間において
は、ドライバの頭顔は車両後方を確認するために何度も
水平方向に大きく向けられ、且つ車線変更が終了するま
での間に渡って瞳孔が左右に激しく動いてサイドミラー
及びルームミラーを注視していることが判ると共に、一
方、垂直方向に対する頭顔部及び瞳孔の動きには大きな
変化が見られないことが判る。これにより、被験者の車
線変更時の運転操作には、脇見等の無駄な目視が含まれ
ていなかったと判断できる。

【００４４】また、人の瞳孔は、一般に、２．２ｍｍか
ら１３ｍｍ程度の範囲で変化し、興味の対象に対しては
瞳孔径が拡大することが知られている。即ち、ドライバ
の注視点が前方に向けられているときであっても、瞳孔
径が所定の基準値より小さいときには、運転操作に対す
る注意力が散漫になっていると判断することができ、ま
た、ドライバの注視点が前方に向けられていないときで
あっても、後側方の目視確認をすべくサイドミラー等を
凝視する等によって瞳孔径が所定の基準値より大きい場
合もあるため、一概に脇見をしていると判断することは
できない。

【００４５】そこで、本実施形態では、瞳孔径Ｌの大き
さを判断要素として運転操作に対する集中の度合を判定
すべく、ドライバに運転に対する精神的な負担の少ない
走行環境下であって、且つ運転開始初期のタイミングで
実験的に求めたドライバの平均的な瞳孔径を、所定の基
準値Ｓとして使用する。また、係数Ｋには、ステップＳ
２或いはステップＳ４で検出した走行車線の旋回半径Ｒ
に応じて変化する値が出力されるマップ（テーブル）と
して予め設定しておく。即ち、旋回半径Ｒが小さいとき
ほどドライバは運転に集中しなければならないため、ド
ライバの瞳孔径は一般に大きくなる。そこで、このよう
な場合には、マップから出力される係数Ｋが大きくなる
ように設定することにより（例えば、第２の実施形態で
後述する図１１の明暗２つの特性のうち何れか一方の特
性）、外部環境の変化に応じて変化するドライバの運転
操作に対する精神的な負担を考慮する。そして、ステッ
プＳ１０では、瞳孔径Ｌが所定の基準値Ｓと係数Ｋとの
積より大きいか否かを判断することにより、ドライバが
脇見をしているか否かを判断する。この判断において、
ＹＥＳのとき（瞳孔径Ｌが算出した積より大きいとき）
には、ドライバが脇見をしている可能性が高いため、直
ちに情報提供・警報発報が必要と判断してステップＳ１
２に進み、ＮＯのとき（瞳孔径Ｌが算出した積より小さ
いとき）にはステップＳ１１に進む。

【００４６】ステップＳ１１：ステップＳ１２の判断で
ＮＯのときには、ドライバが脇見をしている可能性が低
く、直ちに情報提供・警報発報が必要とは判断できない
ため、本ステップにおいて所定時間が経過するまではリ
ターンし、所定時間が経過してもステップＳ１０でＮＯ
と判断したドライバの状態に変化が無いときには「脇見
をしている」と判断してステップＳ１２に進む。

【００４７】ステップＳ１２：ドライバに対して脇見運
転に対する注意、並びにステップＳ７で検出した状態
（即ち、切迫した危険状態ではないがドライバに報知す
べき障害物等に関する情報）を報知すべく、情報提供・
警報発報の開始タイミングを早めに変更する。即ち、デ
ィスプレイ２１に所定の事項を表示する情報提供の開始
タイミング及び／またはスピーカ２２による警報発報の
開始タイミングを所定のタイミングより早めに開始す
る、或いはスピーカ２２による警報発報の音量を所定の
音量より大きくする。

【００４８】上述した本実施形態によれば、ドライバが
前方を見ていないときに、検出した瞳孔径Ｌの大きさを
利用して脇見をしているか否かを判断し、脇見をしてい
るときには直ちに情報提供・警報発報の態様（警報出力
タイミング、音量）をドライバがより気がつき易い態様
に変更し、脇見をしているとは直ちには判断できないと
きにはその状態が所定時間継続してから情報提供・警報
発報の態様を変更している。即ち、情報提供・警報発報
の態様を、ドライバの状態に応じて迅速且つ的確に変更
することができ、予防安全性を向上することができる。

【００４９】［第２の実施形態］次に、上述した第１の
実施形態に係る運転装置の制御装置を基本とする第２の
実施形態を説明する。以下の説明においては、第１の実
施形態と同様な構成については重複する説明を省略し、
本実施形態における特徴的な部分を中心に説明する。

【００５０】本実施形態では、ドライバの瞳孔径の大き
さが周囲の環境（運転環境）に応じて変化するというこ
とに着目して、コントロールユニット１による情報提供
・警報発報の制御を行う。はじめに、周囲の環境に応じ
て瞳孔径が変化することについて説明する。

【００５１】図９及び図１０は、実験的に求めた瞳孔径
Ｌの変化の様子を示す図である。

【００５２】図９では、計測時間１３０から３８０にお
いて周囲を急に明るくしたことに応じて、被験者の瞳孔
径（ピクセル数）が急速に縮小していることが判る。こ
の状況は、例えば暗い走行環境において対向車線を走行
する他車両のヘッドライトの光がドライバの目に入射し
た場合に相当する。

【００５３】また、図１０では、計測時間１５０以降に
おいて被験者を驚かせたことにより、瞳孔径（ピクセル
数）が大きくなると共に激しく上下に変化していること
が判る。この状況は、例えば走行車線前方への他車両の
急な割り込み等により、ドライバが緊張や不安を感じた
場合に相当する。

【００５４】そこで、本実施形態では、周囲の運転環境
の一例として、外部の明暗状態に応じた情報提供・警報
発報の制御を行う。

【００５５】＜コントロールユニット１による制御処理
＞次に、コントロールユニット１における制御処理につ
いて説明する。

【００５６】図８は、第２の実施形態における運転装置
の制御装置としてのコントロールユニットによる制御処
理を示すフローチャートである。

【００５７】同図において、ステップＳ１Ａ：ナビゲー
ションユニット１４等から現在の時刻情報を入手し、そ
の入手した時刻に基づいて、周囲の明暗状態を判定す
る。即ち、入手した時刻情報が、１９時から４時頃まで
であれば暗環境、５時から１８時頃までであれば明環境
と判断する。また、好ましくは時刻情報と共に月日情報
を入手し、季節による明暗状態の変動を考慮すると良
い。

【００５８】ステップＳ２〜ステップＳ４：第１の実施
形態における図６のステップＳ２からステップＳ４と同
様に、走行位置、車両状態、そして路車間情報を入手す
る。

【００５９】ステップＳ５Ａ：ステップＳ１Ａで判定し
た明暗状態と、旋回Ｒとに応じて予め記憶している図１
１または図１２のマップ（テーブル）を参照することに
より、係数Ｋを決定する。

【００６０】図１１及び図１２は、第２の実施形態にお
ける運転装置の制御装置としてのコントロールユニット
に予め記憶するマップの特性例を示す図であり、図１１
では、明環境及び暗環境のそれぞれについて、旋回半径
が大きくなるのに応じて、略直線とみなすＲ＝１０００
ｍまで次第に係数Ｋが小さくなる特性を示しており、図
１２では、明環境及び暗環境のそれぞれについて、旋回
半径が大きくなるのに応じて、略直線とみなすＲ＝１０
００ｍまで係数Ｋが段階的に小さくなる特性を示してい
る。即ち、本実施形態では、暗環境においては一般に運
転操作に負担が掛かり、瞳孔径が大きくなるため、その
ような暗環境の場合には、脇見判断のしきい値（基準値
Ｓと係数Ｋとの積）を大きな値にするために、係数Ｋが
明環境のときより大きくなるように図１１または図１２
を設定している。

【００６１】尚、図１１及び図１２では、明環境及び暗
環境の２通りを例示しているが、それら２種類の特性の
間に挟まれる薄暮の環境等を複数設定すると良い。

【００６２】ステップＳ８〜ステップＳ１２：第１の実
施形態における図６のステップＳ８からステップＳ１２
と同様に、ドライバが前方を見ていないときには、周囲
の明暗状態を表わす係数Ｋを用いてステップＳ１０にて
脇見判断を行い、その判断結果に応じて情報提供・警報
発報の制御を行う。

【００６３】このような第２の実施形態によれば、周囲
の運転環境に応じて、情報提供・警報発報の態様を、ド
ライバがより気が付き易い態様に迅速且つ的確に変更す
ることができ、予防安全性を向上することができる。

【００６４】尚、上述した第２の実施形態では、周囲の
運転環境の一例として明暗状態を考慮したが、これに限
られるものではなく、例えば、車速が早い場合、荒天の
場合、自車両の周囲に他車両が多く存在する渋滞等の場
合には、何れの場合にも運転操作に対する精神的な負担
が高く、瞳孔径が大きくなる。そこで、ステップＳ５Ａ
において参照する図１１（図１２）のマップに、明暗の
特性の代わりに、車速センサ７により検出した車速、ワ
イパースイッチの操作状態、或いは路車間通信ユニット
１５及び／またはナビゲーションユニット１４により入
手可能な周囲の他車両の状態を表わす特性を記憶してお
き、そのマップから係数Ｋを求めるように構成しても良
い。

【００６５】また、上述した各実施形態では自動車を対
象としたが、これに限られるものではなく、本発明に係
る運転装置の制御装置は、列車や航空機等の移動体、或
いはプラント等の運転監視装置にも適用でき、その場合
においても、外部環境判断モジュールで外部より入手す
る各種情報を本発明を適用する運転装置に応じたセンサ
出力にすれば良い。

【００６６】また、上述した各実施形態では、コントロ
ールユニット１にて行われる各モジュールの機能を当該
ユニット内に設けられたＣＰＵにて行われるソフトウエ
アとして説明したが、これに限られるものではなく、そ
れらのモジュールの機能を実現する専用のハードウエア
を採用しても良い。

【００６７】

【発明の効果】以上説明したように、本発明によれば、
操作者の状態に応じて迅速且つ的確な制御を行う運転装
置の制御装置の提供が実現する。

【００６８】即ち、請求項１の発明によれば、操作者の
視線方向と、その操作者の瞳孔径とを考慮した迅速かつ
的確な制御を行うことができる。

【００６９】また、請求項２の発明によれば、瞳孔径が
所定値より小さいときには、操作者がその時点で向けて
いる視線方向への関心が低いと想定できるため、そのよ
うな場合に視線方向に基づいて制御を行うことに対する
弊害を抑制することができる。

【００７０】また、請求項３の発明によれば、自動車
（請求項４）等の移動体の操作者が脇見をしていると判
断したときには直ちに警報を出力することができ、予防
安全を図ることができる。

【００７１】また、請求項５及び請求項１３の発明によ
れば、例えば走行している道路の旋回半径が小さいとき
等（請求項６、請求項１４）、車両の運転に対する精神
的な負担に応じて変換する操作者の瞳孔径を考慮した的
確な制御を行うことができる。

【００７２】また、請求項７及び請求項１５の発明によ
れば、例えば走行している道路の明暗状態等（請求項
８、請求項１６）、車両の運転環境に応じて変換する操
作者の瞳孔径を考慮した的確な制御を行うことができ
る。

【００７３】また、請求項９の発明によれば、操作者が
脇見をしているときに、瞳孔径に応じて情報提供のタイ
ミングを早くする等（請求項１０）、的確な情報提供を
行うことができる。

【図面の簡単な説明】

【図１】第１の実施形態における運転装置の制御装置を
搭載する自動車のシステム構成を示す図である。

【図２】図１に示す自動車の運転席を示す図である。

【図３】第１の実施形態に係る運転装置の制御装置にお
ける制御機能の構成を示すブロック図である。

【図４】第１の実施形態におけるドライバモニタユニッ
トのシステム構成を示すブロック図である。

【図５】第１の実施形態における注視点検出処理のフロ
ーチャートを示す図である。

【図６】第１の実施形態における運転装置の制御装置と
してのコントロールユニットによる制御処理を示すフロ
ーチャートである。

【図７】車線変更時のドライバの頭顔の動きと瞳孔の動
きに関する実験結果を示す図である。

【図８】第２の実施形態における運転装置の制御装置と
してのコントロールユニットによる制御処理を示すフロ
ーチャートである。

【図９】実験的に求めた瞳孔径Ｌの変化の様子を示す図
である。

【図１０】実験的に求めた瞳孔径Ｌの変化の様子を示す
図である。

【図１１】第２の実施形態における運転装置の制御装置
としてのコントロールユニットに予め記憶するマップの
特性例を示す図である。

【図１２】第２の実施形態における運転装置の制御装置
としてのコントロールユニットに予め記憶するマップの
特性例を示す図である。

【符号の説明】１：コントロールユニット，２：レーザレーダ，３：赤外線カメラ，４：磁気マーカセンサ，５：ラインＣＣＤ，６：走行車線検出用ＣＣＤカメラ，７：車速センサ，８：ヨーレートセンサ，９：スロットルセンサ，１０：ブレーキスイッチ，１１：操舵角センサ，１２：ウインカセンサ，１３：ドライバモニタユニット，１４：ナビゲーションユニット，１５：路車間通信ユニット，２１：ディスプレイ，２２：スピーカ，２３：赤外投光ランプ，２４：赤外投光領域撮像カメラ，

Claims

【特許請求の範囲】

【請求項１】運転装置の操作者の頭顔部を撮影するカ
メラと、前記カメラからの映像信号に基づいて、前記操作者の視
線方向を検出する視線方向検出手段と、前記カメラからの映像信号に基づいて、前記操作者の瞳
孔径に関する値を検出する瞳孔径検出手段と、前記視線方向検出手段により検出された視線方向と、前
記瞳孔径検出手段により検出された瞳孔径とに基づい
て、前記運転装置を制御する制御手段と、を備えること
を特徴とする運転装置の制御装置。
【請求項２】前記制御手段が、主に前記検出された視
線方向に基づいて前記運転装置を制御する場合におい
て、前記制御手段は、前記検出された瞳孔径が所定値より小
さいときに、その時点で前記視線方向検出手段により検
出されている視線方向に基づく前記運転装置の制御を規
制することを特徴とする請求項１記載の運転装置の制御
装置。
【請求項３】前記運転装置は移動体であり、更に、前記移動体の進行方向を検出する進行方向検出手
段を備え、前記制御手段は、前記視線方向検出手段により検出され
た視線方向と、前記進行方向検出手段により検出された
進行方向とに基づいて前記操作者の脇見を検出したとき
であって、且つ前記瞳孔径検出手段により検出した瞳孔
径が前記所定値より大きいときに警報する警報手段を含
むことを特徴とする請求項２記載の運転装置の制御装
置。
【請求項４】前記移動体は、車両であることを特徴と
する請求項３記載の運転装置の制御装置。
【請求項５】更に、前記車両の走行状態を検出する走
行状態検出手段を備え、前記制御手段は、前記走行状態検出手段により検出され
た走行状態に応じて、前記所定値を変更することを特徴
とする請求項４記載の運転装置の制御装置。
【請求項６】前記制御手段は、前記検出された走行状
態によって前記車両が旋回していると判断したとき、前
記所定値を小さく変更することを特徴とする請求項５記
載の運転装置の制御装置。
【請求項７】更に、前記運転装置の運転環境を検出す
る運転環境検出手段を備え、前記制御手段は、前記運転環境検出手段により検出され
た運転環境に応じて、前記所定値を変更することを特徴
とする請求項３記載の運転装置の制御装置。
【請求項８】前記制御手段は、前記検出された運転環
境が暗い環境であるとき、前記所定値を大きく変更する
ことを特徴とする請求項７記載の運転装置の制御装置。
【請求項９】更に、前記運転装置の運転環境及び／ま
たは運転状態を検出する検出手段を備え、前記制御手段は、前記検出手段による検出結果が所定の
状態になったときに、前記操作者に対して前記運転環境
及び／または運転状態に関する情報を提供する情報提供
手段を含み、前記情報提供手段は、前記視線方向検出手段により検出
した視線方向と、前記進行方向検出手段によって検出し
た進行方向とに基づいて前記操作者の脇見を検出したと
きに、前記瞳孔径検出手段により検出した瞳孔径が大き
い程、情報提供の度合を大きく補正することを特徴とす
る請求項２記載の運転装置の制御装置。
【請求項１０】前記情報提供の度合を大きく補正する
とは、情報提供のタイミングを早くする、回数を増や
す、或いは情報提供の態様を激しくすることであること
を特徴とする請求項９記載の運転装置の制御装置。
【請求項１１】前記運転装置は移動体であり、更に、前記移動体の進行方向を検出する進行方向検出手
段を備え、前記制御手段は、前記視線方向検出手段により検出され
た視線方向と、前記進行方向検出手段により検出された
進行方向とが少なくとも一致しないときに、前記操作者
が脇見をしていると判断することを特徴とする請求項９
記載の運転装置の制御装置。
【請求項１２】前記移動体は、車両であることを特徴
とする請求項１１記載の運転装置の制御装置。
【請求項１３】前記検出手段によって前記車両の走行
状態を検出する場合において、前記制御手段は、前記検出手段により検出された走行状
態に応じて、前記所定値を変更することを特徴とする請
求項１２記載の運転装置の制御装置。
【請求項１４】前記制御手段は、前記検出された走行
状態によって前記車両が旋回していると判断したとき、
前記所定値を小さく変更することを特徴とする請求項１
３記載の運転装置の制御装置。
【請求項１５】前記検出手段によって前記運転装置の
運転環境を検出する場合において、前記制御手段は、前記検出手段により検出された運転環
境に応じて、前記所定値を変更することを特徴とする請
求項９記載の運転装置の制御装置。
【請求項１６】前記制御手段は、前記検出された運転
環境が暗い環境であるとき、前記所定値を大きく変更す
ることを特徴とする請求項１５記載の運転装置の制御装
置。