JP3716647B2

JP3716647B2 - Safety promotion device for automobile

Info

Publication number: JP3716647B2
Application number: JP32089498A
Authority: JP
Inventors: 正次大和田; 孝幸柳島; 雅之金田
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 1998-11-11
Filing date: 1998-11-11
Publication date: 2005-11-16
Anticipated expiration: 2018-11-11
Also published as: JP2000142282A

Description

【０００１】
【発明の属する技術分野】
本発明は、自動車の運転者に安全確認のための注意を喚起する自動車用の安全促進装置に関するものである。
【０００２】
【従来の技術】
従来の自動車用の安全促進装置としては、例えば特開平７−１０８８５０号公報に記載されているものがある。この安全促進装置は、道路上に障害物等を検出したときに該障害物等から自車両までの距離を求め、その距離と自車速との関係から通常のブレーキによる停車、警報を伴う停車、自動ブレーキによる停車と３段階の停車手段を備えており、警報又は自動ブレーキによる停車後には、再発進時に、運転者に安全確認を促す警報を発するようになっている。
【０００３】
【発明が解決しようとする課題】
しかしながら、この従来の安全促進装置では、障害物等の検出による停車後の再発進時にのみ警報を発するため、ごく限られた場面でしか安全確認のための注意を喚起することができず、通常走行時における安全確認が必要な走行環境では安全保持を促すことができないという問題がある。しかも、運転者の安全確認の有無に係わらず警報が発せられるため、運転者が安全確認を行った場合には煩わしいという問題点もある。
【０００４】
そこで、本発明では、安全確認が必要な走行環境において運転者が安全確認を怠った場合に、運転者に安全保持を促すことができる自動車用の安全促進装置を提供することを課題としている。
【０００５】
【課題を解決するための手段】
請求項１の発明は、自動車の運転者の顔画像を入力する画像入力手段と、該画像入力手段が入力した顔画像を画像処理して顔の特徴量を検出し記憶する特徴量検出手段と、自車両の走行環境を検出する走行環境検出手段と、該走行環境検出手段の検出データに基づいて自車両の走行環境が安全確認を必要とする環境か否かを判定する走行環境判定手段と、該走行環境判定手段が安全確認を必要とする走行環境であると判定した場合に、前記特徴量検出手段の検出データに基づいて運転者の安全確認の有無を判定する安全確認判定手段と、該安全確認判定手段による安全確認を怠ったとの判定に基づいて運転者に安全保持を促す安全促進手段とを備え、前記走行環境検出手段は、自車両の操舵角変化と方向指示器の作動によって自車両の進路変更とを検出し、前記走行環境判定手段は、方向指示器が作動した場合を安全確認が必要な走行環境と判定し、前記安全確認判定手段は、方向指示器の作動開始時から操舵角が変化するまでの間に運転者が安全確認を怠ったと判定した場合、運転者に安全保持を促すよう前記安全促進手段に指示することを特徴としている。
【０００８】
請求項２の発明は、自動車の運転者の顔画像を入力する画像入力手段と、該画像入力手段が入力した顔画像を画像処理して顔の特徴量を検出し記憶する特徴量検出手段と、自車両の走行環境を検出する走行環境検出手段と、該走行環境検出手段の検出データに基づいて自車両の走行環境が安全確認を必要とする環境か否かを判定する走行環境判定手段と、該走行環境判定手段が安全確認を必要とする走行環境であると判定した場合に、前記特徴量検出手段の検出データに基づいて運転者の安全確認の有無を判定する安全確認判定手段と、該安全確認判定手段による安全確認を怠ったとの判定に基づいて運転者に安全保持を促す安全促進手段とを備え、前記走行環境検出手段は、ブレーキペダルの踏み込みの有無とトランスミッションのギヤ位置がリバース位置か否かを検出し、前記走行環境判定手段は、前記リバース位置にある場合を安全確認が必要な走行環境と判定し、前記安全確認判定手段は、トランスミッションのギヤ位置がリバース位置になった時点からブレーキペダルの踏み込み無しが検出されるまでの間に運転者が安全確認を怠ったと判定した場合、運転者に安全保持を促すよう前記安全促進手段に指示することを特徴としている。
【０００９】
請求項３の発明は、自動車の運転者の顔画像を入力する画像入力手段と、該画像入力手段が入力した顔画像を画像処理して顔の特徴量を検出し記憶する特徴量検出手段と、自車両の走行環境を検出する走行環境検出手段と、該走行環境検出手段の検出データに基づいて自車両の走行環境が安全確認を必要とする環境か否かを判定する走行環境判定手段と、該走行環境判定手段が安全確認を必要とする走行環境であると判定した場合に、前記特徴量検出手段の検出データに基づいて運転者の安全確認の有無を判定する安全確認判定手段と、該安全確認判定手段による安全確認を怠ったとの判定に基づいて運転者に安全保持を促す安全促進手段とを備え、前記走行環境検出手段は、アクセルペダルの踏み込みの有無とトランスミッションのギヤ位置がリバース位置か否かを検出し、前記走行環境判定手段は、前記リバース位置にある場合を安全確認が必要な走行環境と判定し、前記安全確認判定手段は、トランスミッションのギヤ位置がリバース位置になった時点からアクセルペダルの踏み込み有りが検出されるまでの間に運転者が安全確認を怠ったと判定した場合、運転者に安全保持を促すよう前記安全促進手段に指示することを特徴としている。
【００１９】
【発明の効果】
請求項１の発明では、画像入力手段は、自動車の運転者の顔画像を入力し、特徴量検出手段は、画像入力手段が入力した顔画像を画像処理し顔の特徴量を検出して記憶し、走行環境検出手段は、自車両の走行環境を検出し、走行環境判定手段は、走行環境検出手段の検出データに基づいて自動車の走行環境が安全確認を必要とする環境か否かを判定し、安全確認判定手段は、走行環境判定手段が安全確認を必要とする走行環境であると判定した場合に、特徴量検出手段の検出データに基づいて運転者の安全確認の有無を判定し、安全促進手段は、安全確認判定手段による安全確認を怠ったとの判定に基づいて運転者に安全保持を促すので、安全確認が必要な走行環境において運転者が安全確認を怠った場合には運転者に安全保持を促すことができる。
【００２０】
また、請求項１の発明では、走行環境検出手段は、方向指示器の作動によって自車両の進路変更を検出し、走行環境判定手段は、方向指示器が作動した場合を安全確認が必要な走行環境と判定するので、方向指示器が作動した場合には、安全確認判定手段が運転者の安全確認の有無を判定し、運転者が安全確認を怠ると安全促進手段が運転者に安全保持を促すことができ、従って、方向指示器を作動させて車線変更，追い越し又は交差点での右左折等の進路変更を行う際の事故を未然に防止することができる。
【００２１】
また、請求項１の発明では、走行環境検出手段は、自車両の操舵角変化を検出し、安全確認判定手段は、方向指示器の作動開始時から操舵角が変化するまでの間に、運転者の安全確認の有無を判定するので、運転者が方向指示器を作動させて車線変更等の進路変更を行う際に、運転者が方向指示器を作動させてからハンドルを切るまでに安全確認を怠ると、運転者がハンドルを切り始めた直後に安全確認判定手段の指示で安全促進手段が運転者に安全保持を促すことができ、従って、車線変更等の進路変更時の事故を確実に防止することができる。
【００２８】
請求項２の発明では、走行環境検出手段は、トランスミッションのギヤ位置がリバース位置か否かを検出し、走行環境判定手段は、リバース位置にある場合を安全確認が必要な走行環境と判定するので、自動車を後退させる場合には、安全確認判定手段が運転者の安全確認の有無を判定し、運転者が安全確認を怠ると安全促進手段が運転者に安全保持を促すことができ、従って、車両後退時の事故を未然に防止することができる。
【００２９】
また、請求項２の発明では、走行環境検出手段は、ブレーキペダルの踏み込みの有無を検出し、安全確認判定手段は、トランスミッションのギヤ位置がリバース位置になった時点からブレーキペダルの踏み込み無しが検出されるまでの間に、運転者が安全確認を怠ったと判定した場合には、運転者に安全保持を促すよう前記安全促進手段に指示するので、自動車を後退させる時に運転者が安全確認を怠った場合には、安全確認判定手段の指示によりフットブレーキの作動解除直後に安全促進手段が運転者に安全保持を促して、車両後退時の事故を確実に防止することができる。
【００３０】
請求項３の発明では、走行環境検出手段は、トランスミッションのギヤ位置がリバース位置か否かを検出し、走行環境判定手段は、リバース位置にある場合を安全確認が必要な走行環境と判定するので、自動車を後退させる場合には、安全確認判定手段が運転者の安全確認の有無を判定し、運転者が安全確認を怠ると安全促進手段が運転者に安全保持を促すことができ、従って、車両後退時の事故を未然に防止することができる。また、請求項５の発明では、走行環境検出手段は、アクセルペダルの踏み込みの有無を検出し、安全確認判定手段は、トランスミッションのギヤ位置がリバース位置になった時点からアクセルペダルの踏み込み有りが検出されるまでの間に、運転者が安全確認を怠ったと判定した場合には、運転者に安全保持を促すよう前記安全促進手段に指示するので、自動車を後退させる時に運転者が安全確認を怠った場合には、安全確認判定手段の指示によりアクセルペダルの踏み込み開始直後に安全促進手段が運転者に安全保持を促して、車両後退時の事故を確実に防止することができる。
【００３４】
【発明の実施の形態】
図１は、本発明の一実施形態を示す機能ブロック図である。図１に示すように、この安全促進装置は、画像入力手段ＣＬ１，顔の特徴量検出手段ＣＬ２，走行環境検出手段ＣＬ３，走行環境判定手段ＣＬ４，安全確認判定手段ＣＬ５及び安全促進手段ＣＬ６を備えている。
【００３５】
画像入力手段ＣＬ１は、自動車の運転者の顔画像を入力する。特徴量検出手段ＣＬ２は、画像入力手段ＣＬ１が入力した顔画像を画像処理して顔の特徴量を検出する。走行環境検出手段ＣＬ３は、自車両の走行環境を検出する。走行環境判定手段ＣＬ４は、走行環境検出手段ＣＬ３の検出データに基づいて自車両の走行環境が安全確認を必要とする環境か否かを判定する。
【００３６】
安全確認判定手段ＣＬ５は、走行環境判定手段ＣＬ４が安全確認を必要とする走行環境であると判定した場合に、特徴量検出手段ＣＬ２の検出データに基づいて運転者の安全確認の有無を判定する。安全促進手段ＣＬ６は、安全確認判定手段ＣＬ５による安全確認を怠ったとの判定に基づいて運転者に安全保持を促す。
【００３７】
図２は、本発明の一実施形態の構成を示す構成ブロック図である。図２に示すように、本実施形態では、自動車のインストルメントパネルに、運転者の顔を正面から撮影する画像入力手段ＣＬ１としてのＴＶカメラ１１が設けられている。このＴＶカメラ１１で撮影された顔画像は、ＡＤ変換器１２により画像データに変換される。この画像データは、画像メモリ１３に格納され、画像メモリ１３から画像データ演算回路１４に出力される。
【００３８】
画像データ演算回路１４は、前記画像データから顔の縦方向の画素列における濃度の局所的な高まり毎に画素を定めて抽出点とし、隣接する抽出点を顔の横方向へ連続させた連続データに基づいて眼と眉の位置を特定する。特徴量認識回路１５は、画像データ演算回路１４が特定した眼と眉の位置を含む所定領域を設定し、その設定した所定領域内に存在する眼と眉のデータのデータ数をカウントして、運転者の顔の特徴量を認識する。
【００３９】
従って、ＡＤ変換器１２，画像メモリ１３，画像データ演算回路１４及び特徴量認識回路１５は、顔の特徴量検出手段ＣＬ２を構成している。なお、運転者の顔画像の画像処理による顔の特徴量の認識に関しては追って詳述する。
【００４０】
走行環境検出手段ＣＬ３としての走行環境検出回路２１は、各種センサ等によって自車両の走行環境を検出する。判定回路２２は、走行環境検出回路２１から入力したデータに基づいて自車両の走行環境が左右の安全確認を必要とする環境であるか否かを判定し、安全確認を必要とする環境であると判定した場合には、顔の特徴量認識回路１５から入力したデータに基づいて運転者の安全確認の有無を判定する。従って、判定回路２２は、走行環境判定手段ＣＬ４と安全確認判定手段ＣＬ５とを構成している。なお、判定回路２２による判定に関しては追って詳述する。
【００４１】
安全促進手段ＣＬ６としての警報処理回路２３は、音や光で運転者に警報を発する警報器を含み、運転者が安全確認を怠ったと判定回路２２が判定した場合に、判定回路２２からの指示によって運転者に警報を発する。
【００４２】
ここで、運転者の顔画像の画像処理によって運転者の顔の特徴量を認識する方法について説明する。図３は、運転者の顔画像の画像処理を示すフローチャートであり、図４は、画素列の設定を示す説明図である。
【００４３】
図３に示すように、ステップＳ１１０では、ＴＶカメラ１１によって撮影された運転者の顔画像がＡＤ変換器１２によって、各画素の濃度がデジタル値の画素像に変換される。ステップＳ１２０では、画像メモリ１３に１フレームの画像に対応する画像データが蓄積される。
【００４４】
ステップＳ１３０では、画像メモリ１３に蓄積された膨大な画像データの中から顔の縦方向の画素列が図４に示すように選択される。すなわち、顔の縦（Ｙ）方向の画素列が画面の中央部分に等間隔で数十列となるように、横（Ｘ）方向の１０画素毎に一列の画素列が設定される。なお、横（Ｘ）方向には５１２列の画素列が設定され、１列の画素列は縦（Ｙ）方向に４８０個の画素を有し、画素列毎に全画素の濃度値が演算処理される。
【００４５】
ステップＳ１４０では、画素列ごとに濃度値を演算処理して抽出点となる画素（Ｙ座標値）を特定する。ステップＳ１５０では、画素列ごとに求めた抽出点を横（Ｘ）方向に連結してグループ化する。ステップＳ１６０では、グループ化した連結データから不必要な連結データを除去し、最終的に必要な連結データについてだけ候補点データを形成する。ステップＳ１７０では、複数の候補点データの中から眼と眉の候補点データを選択して、眼と眉の位置を特定する。従って、ステップＳ１３０〜ステップＳ１７０は、図２中の画像データ演算回路１４によって実行される。
【００４６】
ステップＳ１８０では、眼と眉の位置を含む所定領域を設定し、その所定領域内に存在する眼と眉のデータのデータ数をカウントして、運転者の顔の特徴量を認識する。従って、ステップＳ１８０は、図２中の顔の特徴量認識回路１５によって実行される。なお、ステップＳ１４０〜Ｓ１８０に関しては、以下に詳述する。
【００４７】
図５は、ステップＳ１４０を示すフローチャートである。図６は、図４中の画素列Ｘａの濃度を示すグラフであって、（ａ）は相加平均濃度値を示し、（ｂ）は相加平均濃度値の微分値を示している。図７は、図４中の画素列Ｘｂの濃度を示すグラフであって、（ａ）は相加平均濃度値を示し、（ｂ）は相加平均濃度値の微分値を示している。
【００４８】
図５に示すように、ステップＳ１４１では、図４に示す画像データの左側から順番に、画素列ごとの全画素の濃度値を所定回数呼び出す。ステップＳ１４２では、画素列上の各画素の濃度値を相加平均して、画素列上の濃度値から高周波数成分（ノイズ）を除去した相加平均濃度値を求める。例えば、図４に示す画素列Ｘａからは図６（ａ）、画素列Ｘｂからは図７（ａ）に示す相加平均濃度値が算出される。
【００４９】
ステップＳ１４３では、相加平均濃度値を微分する。図６（ａ）に示す相加平均濃度値は、図６（ｂ）に示す微分値となり、図７（ａ）に示す相加平均濃度値は、図７（ｂ）に示す微分値となる。
【００５０】
ステップＳ１４４では、先ず、ステップＳ１４３で算出した微分値から、相加平均濃度値の暗さのピークに対応するＹ座標値を求める。すなわち、微分値が負から正に反転するＹ座標値は、暗さのピークに対応して眉，眼，口等をそれぞれ代表する１個づつのＹ座標値となる。なお、微分値が正から負に反転するＹ座標値は、眉，眼等の中間位置に対応する明るさのピーク位置であるから採用しない。
【００５１】
例えば、図６（ａ）に示す相加平均濃度値は（ｂ）に示す微分値となり、微分値が負から正に反転するＹ座標値ｐ１，ｐ２，ｐ３，ｐ４，ｐ５が抽出される。次に、ステップＳ１４４では、各Ｙ座標値ｐ１，ｐ２，ｐ３，ｐ４，ｐ５の手前の微分値のピーク値が所定のしきい値（破線）以下となるＹ座標値ｑ１，ｑ２，ｑ３を抽出点として特定する。なお、手前の微分値のピーク値を判別することにより、顔面の皺や凹凸が抽出点となることを回避している。
【００５２】
図７（ａ）に示す相加平均濃度値からは、（ｂ）に示す微分値が負から正に反転するＹ座標値ｐ１，ｐ２，ｐ３が抽出される。しかし、何れも手前の微分値のピーク値がしきい値（破線）以下とならず、抽出点が形成されない。
【００５３】
ステップＳ１４５では、最後の画素列、すなわち、図４の右端の画素列であるか否かを判定する。最後の画素列であれば、全ての画素列で抽出点を特定済みであるから、ステップＳ１５０へ進む。最後の画素列でなければ、ステップＳ１４１へ戻って、次の画素列の濃度値データからの抽出点の特定を行う。
【００５４】
このようにして特定した抽出点の分布を図８に示している。この図に示すように、画素列毎に０〜４個程度の抽出点Ａ１，Ａ２，Ａ３，Ａ４が特定される。例えば、画素列Ｘｃでは抽出点Ａ１，Ａ２、画素列Ｘｄでは抽出点Ａ１，Ａ２，Ａ３，Ａ４が特定される。
【００５５】
図９は、図３中のステップＳ１５０を示すフローチャートである。図１０（ａ）は、抽出点のグループ化を示すグラフである。ステップＳ１５０では、図１０（ａ）に示すように、画素列毎に特定した抽出点をＸ方向へ連結してグループ化する。
【００５６】
図９に示すように、ステップＳ１５１では、画素列の抽出点データを画素列の順番に呼び出す。ステップＳ１５２では、互いに隣接する画素列の抽出点についてＹ座標値を比較し、ステップＳ１５３では、互いに隣接する画素列で抽出点のＹ座標値の差が所定の範囲（本実施形態では１０画素）内であるか否かを判定する。互いに隣接する画素列の抽出点のＹ座標値の差が１０画素以下であれば、ステップＳ１５４へ進んで連結データが形成され、Ｙ座標値の差が１０画素を超えていれば、ステップＳ１５５へ進んで連結データは形成されない。
【００５７】
ステップＳ１５４では、互いに隣接する画素列の抽出点から連結データを形成する。連結データは、発生したグループ毎に順番に付与されるグループ番号と、各グループの左端の抽出点が属する画素列の番号（Ｘ座標値に対応）とで分類されて、連結された抽出点の個数Ｎ（画素列数）とＹ座標値とがメモリに記憶され、画素列を処理する毎にメモリの記憶内容が書き換えられて形成される。
【００５８】
ステップＳ１５５では、最後の画素列であるか否かを判定する。最後の画素列であれば、全ての画素列について抽出点データのグループ化が終了しているので、ステップＳ１６０へ進む。最後の画素列でなければ、ステップＳ１５１へ戻って、次の画素列の抽出点データのグループ化を行う。
【００５９】
図１１は、図３中のステップＳ１６０を示すフローチャートである。図１０（ｂ）は、抽出点のグループ化データから形成された候補点を示すグラフである。ステップＳ１６０では、不必要な連結データを除去し、最終的に必要な連結データについてだけ候補点データを形成する。
【００６０】
図１１に示すように、ステップＳ１６１では、メモリから連結データをグループ番号の順に１個づつ呼び出す。ステップＳ１６２では、連結データのデータ数Ｎを評価する。ステップＳ１６３では、連結データのデータ数Ｎが所定値（本実施形態では５）以上か否かを判定する。連結データのデータ数Ｎが所定値以上であれば、ステップＳ１６４へ進んで候補点データを形成する。連結データのデータ数Ｎが所定値未満であれば、例えば鼻の穴等と判定し、ステップＳ１６５へ進んで候補点データを形成しない。
【００６１】
ステップＳ１６４では、各グループ毎に、連結データのＹ座標値の平均値と、連結データのＸ座標値の平均値（連結開始画素列番号と連結終了画素列番号との平均値）とからなる候補点データを形成する。例えば、図８に示す抽出点群からは、図１０（ａ）に示すように、両方の眉及び眼，鼻の影，口にそれぞれ対応する抽出点のグループＧ１〜Ｇ６が残される。ただし、ここでは、残された６個のグループＧ１〜Ｇ６について左から右、上から下方向へ順番に番号を付け直している。従って、図１０（ａ）に示す抽出点の各グループＧ１〜Ｇ６は、図１０（ｂ）に示す６個の候補点Ｋ１〜Ｋ６で代表される。
【００６２】
ステップＳ１６５では、最後の連結データであるか否かを判定する。最後の連結データであれば、全ての連結データを評価済みであるから、ステップＳ１７０へ進む。最後の連結データでなければ、ステップＳ１６１へ戻って、次の連結データの評価を開始する。
【００６３】
図３中のステップＳ１７０では、複数の候補点データの中から眼と眉の候補点データを選択して、眼と眉の位置を特定する。例えば、図１０（ｂ）に示す６個の候補点Ｋ１〜Ｋ６の場合、Ｙ座標値の大きい（低い）候補点Ｋ５，Ｋ６を中心にして中央の検出ゾーンＺＣを設定する。検出ゾーンＺＣの外側には、Ｙ座標値の小さい（高い）候補点Ｋ１，Ｋ３と候補点Ｋ２，Ｋ４をそれぞれ中心にして左右の検出ゾーンＺＬ，ＺＲを設定する。
【００６４】
そして、左右の検出ゾーンＺＬ，ＺＲに含まれる候補点Ｋ１〜Ｋ４と、中央の検出ゾーンＺＣに含まれる候補点Ｋ５，Ｋ６との高さ関係や、検出ゾーンＺＬに含まれる両候補点Ｋ１，Ｋ３の位置関係や、検出ゾーンＺＲに含まれる両候補点Ｋ２，Ｋ４の位置関係に基づき、眼に対応する候補点Ｋ３，Ｋ４と、眉に対応する候補点Ｋ１，Ｋ２とを選択して、眼と眉の位置を特定する。
【００６５】
図３中のステップＳ１８０では、眼と眉の位置を含む所定領域を設定し、その所定領域内に存在する眼と眉のデータのデータ数をカウントして、運転者の顔の特徴量を認識する。ここで、図１２〜図１６を使用してステップＳ１８０について説明する。
【００６６】
図１２は、運転者の目と眉の部分の顔画像を示す説明図である。図１２において、符号３１は画面の外枠、符号３２は運転者の眉、符号３３は運転者の眼を示している。図１３は、図１２に示すものから抽出点をグループ化し、そのグループ化したものに基づく所定領域の設定を示す説明図である。なお、抽出点のグループ化については、既に説明したので、説明を省略する。
【００６７】
図１３において、符号Ｇ１，Ｇ２は、眉３２に対応する抽出点のグループを示し、符号Ｇ３，Ｇ４は、眼３３に対応する抽出点のグループを示している。符号３４は、運転者の安全確認の有無を判定するための所定領域（以下、ウインドウという）を示している。このウインドウ３４の大きさは、運転者が前方を注視している前方注視状態で運転者の眼及び眉が入る大きさに、走行中の振動で眼や眉が動く量を含んだ大きさとしている。
【００６８】
図１４は、運転者が左ドアミラーを見た状態を示す処理画像の説明図である。図１４に示すように、運転者が前方注視状態から左ドアミラーを見ると、眼３３や眉３２に対応する抽出点のグループＧ１〜Ｇ４は、高さ方向の変化は無いが横方向へ大きく移動して、左側の両グループＧ２，Ｇ４がウインドウ３４から外れる。
【００６９】
図１５は、運転者が右ドアミラーを見た状態を示す処理画像の説図である。図１５に示すように、運転者が前方注視状態から右ドアミラーを見ると、眼３３や眉３２に対応する抽出点のグループＧ１〜Ｇ４は、右側の両グループＧ１，Ｇ３がウインドウ３４から外れる。
【００７０】
図１６は、運転者が斜め後方を見た状態を示す処理画像の説明図である。図１６に示すように、運転者が前方注視状態から斜め後方を見ると、眼３３や眉３２に対応する抽出点のグループＧ１〜Ｇ４は全てウインドウ３４から外れる。
【００７１】
従って、抽出点のグループＧ１〜Ｇ４を代表する候補点Ｋ１〜Ｋ４が移動する方向と、ウインドウ３４内に存在する候補点Ｋ１〜Ｋ４数のカウントとによって、運転者が車両前方を注視しているのか、車両左側の安全確認を行ったのか、車両右側の安全確認を行ったのか、あるいは、車両後方の安全確認を行ったのかを認識することができる。
【００７２】
図１７は、運転者が安全確認を行ったか否かを判定するフローチャートである。図１７に示すように、ステップＳ１では、ウィンドウ３４内に存在するグループＧ１〜Ｇ４を代表する候補点Ｋ１〜Ｋ４の数をデータ数としてカウントする。ウィンドウ３４内には、通常は両目と両眉の計４個のデータが存在している。
【００７３】
ステップＳ２では、ウィンドウ３４内に存在するデータ数が減少したか否かを判定する。ウィンドウ３４内に存在するデータ数が減少していれば、ステップＳ３へ進んで安全確認をしたと判定し、ウィンドウ３４内に存在するデータ数が４個のまま不変であれば、ステップＳ４へ進んで安全確認を怠ったと判定する。
【００７４】
以上説明したように、本実施形態では、特徴量検出手段ＣＬ２は、運転者の顔画像から眼３３と眉３２の位置を特定し、その特定した眼３３と眉３２の位置を含むウインドウ３４内に存在する眼３２と眉３２のデータのデータ数をカウントし、安全確認判定手段ＣＬ５は、ウインドウ３４内のデータ数が運転者の前方注視時のデータ数と同数の場合には、運転者が安全確認を怠ったと判定し、ウインドウ３４内のデータ数が運転者の前方注視時のデータ数より減少した場合には、運転者が安全確認を行ったと判定する。
【００７５】
このため、左右あるいは後方の安全確認が必要な走行環境で運転者が前方注視状態のままのときは、運転者が安全確認を怠ったと判定することができ、左右あるいは後方の安全確認が必要な走行環境で運転者が左右あるいは後方を向いて安全確認を行ったときは、運転者が安全確認を行ったと判定することができ、従って、安全確認判定手段ＣＬ５により運転者の安全確認の有無を確実に判定することができる。
【００７６】
図１８は、自動車が車線変更をする場合を示す説明図である。自動車４１の運転者は、車線変更をするために、片側２車線の道路４２のＡ地点で方向指示器を作動させ、右ドアミラーを見て右後方の安全を確認した後、Ｂ地点でハンドルを右に切る。なお、図１８において、符号４３は、センターラインを示し、符号４４は、自動車の車線変更の軌跡を示し、符号Ｌ１は、ＡＢ間の距離を示している。
【００７７】
図１９は、本実施形態において車線変更時に判定回路が実行するフローチャートである。ただし、図２に示す走行環境検出回路２１は、ステアリングホイルの操舵角を検出する舵角センサと、方向指示器の作動の有無を検出する作動センサとを備え、舵角センサによってステアリングホイルの操舵角を検出し、作動センサによって方向指示器の作動の有無を検出している。
【００７８】
自動車４１が車線変更をする場合には、図１９に示すように、図２の判定回路２２は、ステップＳ１１において、舵角センサからステアリングホイルの操舵角を舵角信号として入力し、ステップＳ１２において、作動センサから方向指示器の作動の有無を方向指示器信号として入力する。
【００７９】
判定回路２２は、ステップＳ１３では、ステップＳ１２で入力した方向指示器信号に基づいて方向指示器の作動の有無を判定する。方向指示器が作動している場合にはステップＳ１４へ進み、方向指示器が作動していない場合にはステップＳ１１へ戻る。
【００８０】
ステップＳ１４では、ステップＳ１１で入力した舵角信号に基づいて進路変更動作の有無を判定する。Ａ地点で維持されていた舵角が変化して進路変更動作があればステップＳ１５へ進み、進路変更動作が無ければステップＳ１１へ戻る。
【００８１】
ステップＳ１５では、方向指示器が作動を開始してからステアリングホイールが操舵されるまでの間に、図２に示す顔の特徴量認識回路１５からのデータに基づいて運転者が安全確認を行ったか否かを判定する。方向指示器が作動してからステアリングホイールが操舵されるまでの間に運転者が安全確認を怠った場合にはステップＳ１６へ進み、運転者が安全確認を行った場合にはステップＳ１１へ戻る。
【００８２】
ステップＳ１６では、判定回路２２は、図２の警報処理回路２３に信号を出力して、運転者に安全確認を促す音や光等の警報を警報処理回路２３から発生させる。
【００８３】
以上説明したように、本実施形態において自動車４１が車線変更をする場合には、判定回路２２は、先ず方向指示器の作動の有無を判定し、方向指示器が作動している場合には、進路変更動作の有無を判定し、進路変更動作があったと判定した場合には、運転者の安全確認の有無を判定し、運転者が安全確認を怠った場合には、警報処理回路２３に指示して運転者に安全確認を促す警報を警報処理回路２３から発生させる。従って、本実施形態では、車線変更時の事故を未然に防止することができる。
【００８４】
しかも、本実施形態では、判定回路２２は、方向指示器が作動を開始してからステアリングホイールが操舵されるまでの間に運転者が安全確認を怠った場合に、運転者に安全確認を促す警報を警報処理回路２３から発生させるので、車線変更時に運転者が安全確認を怠ると、運転者がハンドルを切った直後に、運転者に安全確認を促す警報を警報処理回路２３から発生させることができ、従って、車線変更時の事故を未然に、かつ確実に防止することができる。
【００８５】
ところで、車線変更を行う場合には、運転者が図１８のＡＢ区間で安全確認を行う場合の他に、安全確認を行った後に方向指示器を作動させ、その作動後すぐにハンドルを切る場合もある。
【００８６】
この場合に対処するには、方向指示器の作動時より所定時間過去に遡った時点から方向指示器の作動時までの間に、運転者が安全確認を行ったか否かを判定回路２２に判定させ、運転者が安全確認を怠ったと判定回路２２が判定した場合に、判定回路２２の指示によって警報処理回路２３が運転者に警報を発するようにすれば良い。
【００８７】
このようにすれば、運転者が方向指示器を作動させる前の安全確認を怠ったまま方向指示器の作動直後にハンドルを切った場合には、方向指示器の作動開始直後に警報処理回路２３が運転者に警報を発して、運転者に安全確認を促すことができ、従って、運転者が方向指示器を作動させる前の安全確認を怠ったまま方向指示器の作動直後に車線変更を行う際の事故を未然に、かつ確実に防止することができる。
【００８８】
加えて、判定回路２２は、方向指示器の作動開始時より所定時間過去に遡って運転者の安全確認の有無を判定するので、運転者が方向指示器を作動させる前に安全確認を行った場合の運転者への警報を回避することができ、安全確認を行った運転者への警報に対して運転者が感じる煩わしさを解消することもできる。
【００８９】
なお、図１９図示のフローチャートは、自動車４１が車線変更をする場合だけでなく、例えば、運転者が方向指示器を作動させて追い越しを行う場合や交差点を右左折する場合等、運転者が方向指示器を作動させて自動車４１の進路を変更する進路変更時に適用することができるのは勿論のことである。
【００９０】
図２０は、自動車が交差点を通過する場合を示す説明図である。自動車４１の運転者は、信号の無い交差点６３を通過するために、走行道路６１の交差点６３手前の停止線６４で自動車４１ａを一時停止させて左右の安全を確認した後、交差点６３に進入して交差点６３を通過する。なお、図２０において、符号６２は走行道路６１と交差する道路を示し、符号４１ｂは交差点６３通過後の自動車を示している。
【００９１】
図２１は、本実施形態において交差点通過の際に判定回路が実行するフローチャートである。ただし、図２に示す走行環境検出回路２１は、ナビゲーションシステム（以下、ＮＡＶＩと略称する）と、車速を検出する車速センサとを備え、ＮＡＶＩによって走行道路６１の道路情報を検出し、車速センサによって自車両４１の車速を検出している。
【００９２】
自動車４１が交差点を通過する場合には、図２１に示すように、図２の判定回路２２は、ステップＳ２１において、ＮＡＶＩから走行道路の情報をＮＡＶＩ情報として入力し、ステップＳ２２において、車速センサから自車両４１の車速を車速信号として入力する。
【００９３】
判定回路２２は、ステップＳ２３では、ステップＳ２１で入力したＮＡＶＩ情報に基づいて、走行道路６１における自車両４１から所定距離前方までに存在する交差点６３に信号機があるか否かを判定する。交差点６３に信号機が無い場合にはステップＳ２４へ進み、信号機がある場合にはステップＳ２５へ進む。
【００９４】
ステップＳ２４では、ステップＳ２１で入力したＮＡＶＩ情報と、ステップＳ２２で入力した車速信号とに基づいて交差点６３手前での一時停止の有無を判定する。交差点６３手前で一時停止した場合にはステップＳ２５へ進み、交差点６３手前で一時停止しなかった場合にはステップＳ２６へ進んで、図２の警報処理回路２３に直ちに警報を発せさせる。
【００９５】
ステップＳ２５では、交差点６３通過前の交差点６３進入時に、図２に示す顔の特徴量認識回路１５からのデータに基づいて運転者が安全確認を行ったか否かを判定する。交差点６３進入時に運転者が安全確認を怠った場合にはステップＳ２６へ進み、運転者が安全確認を行った場合にはステップＳ２１へ戻る。
【００９６】
ステップＳ２６では、判定回路２２は、警報処理回路２３に信号を出力して、運転者に安全確認を促す音や光等の警報を車速の立ち上がり等のタイミングで警報処理回路２３から発生させる。
【００９７】
なお、運転者に安全確認を促す警報発生のタイミングは、ステップＳ２２で入力した車速信号に基づく車速の立ち上がりのタイミングに限定されるものではない。例えば、走行環境検出回路２１が、ブレーキスイッチによってブレーキペダルの踏み込みの有無を検出すると共に、アクセルスイッチによってアクセルペダルの踏み込みの有無を検出し、判定回路２２が、フットブレーキの踏み込み解除後であってアクセルペダルの踏み込み開始直後のタイミングを捉えて警報処理回路２３から警報を発生させるようにしても良い。
【００９８】
以上説明したように、本実施形態において自動車４１が交差点６３を通過する場合には、判定回路２２は、交差点６３における信号機の有無に係わらず、交差点６３通過前の交差点６３進入時に運転者が安全確認を行ったか否かを判定し、交差点６３進入時に運転者が安全確認を怠った場合には、車速の立ち上がり等のタイミングで警報処理回路２３に指示して運転者に安全確認を促す警報を警報処理回路２３から発生させる。従って、本実施形態では、交差点６３通過時の事故を未然に、かつ確実に防止することができる。
【００９９】
しかも、判定回路２２は、交差点６３に信号機が無い場合には、交差点６３手前での一旦停車の有無を判定し、交差点６３手前で一旦停車しなかった場合には、車速の立ち上がり等のタイミングで警報処理回路２３に指示して運転者に安全確認を促す警報を警報処理回路２３から発生させる。従って、本実施形態では、信号機の無い交差点６３での一旦停車無視による事故を未然に防止することもできる。
【０１００】
更に、本実施形態では、走行環境検出手段ＣＬ３としての走行環境検出回路２１がＮＡＶＩを備えているので、自車両４１から所定距離前方までの走行道路６１に存在する交差点６３を確実に検出することができ、その交差点６３が信号機を備えているか否かも確実に検出することができ、交差点で車両が停車すべき停車位置も検出することができる。
【０１０１】
このため、本実施形態では、自車両４１が前記停車位置で停車したか否かを確実に検出することができ、該停車位置で停車した場合に運転者が左右の安全を確認したか否かを判定することもできる。
【０１０２】
図２２は、自動車が踏切を通過する場合を示す説明図である。自動車４１の運転者は、走行道路７１の踏切７２手前の停止線７３で自動車４１ａを一時停止させて左右の安全を確認した後、踏切７２に進入し踏切７２を通過する。なお、図２２において、符号Ｌ３は、自動車４１から踏切７２までの距離を示している。
【０１０３】
図２３は、本実施形態において踏切通過の際に判定回路が実行するフローチャートである。ただし、図２に示す走行環境検出回路２１は、ＮＡＶＩと、車速を検出する車速センサとを備え、ＮＡＶＩによって走行道路７１の道路情報を検出し、車速センサによって自車両４１の車速を検出している。
【０１０４】
自動車４１が踏切７２を通過する場合には、図２３に示すように、図２図示の判定回路２２は、ステップＳ３１において、ＮＡＶＩから走行道路７１の情報をＮＡＶＩ情報として入力し、ステップＳ３２において、車速センサから自車両４１の車速を車速信号として入力する。
【０１０５】
判定回路２２は、ステップＳ３３では、ステップＳ３１で入力したＮＡＶＩ情報に基づいて、走行道路７１における自車両４１から所定距離前方までに踏切７２が存在するか否かを判定する。踏切７２が存在する場合にはステップＳ３４へ進み、踏切７２が存在しない場合にはステップＳ３１へ戻る。
【０１０６】
ステップＳ３４では、ステップＳ３１で入力したＮＡＶＩ情報と、ステップＳ３２で入力した車速信号とに基づいて踏切７２手前での一時停止の有無を判定する。踏切７２手前で一時停止した場合にはステップＳ３５へ進み、踏切７２手前で一時停止しなかった場合にはステップＳ３６へ進んで、図２の警報処理回路２３に直ちに警報を発せさせる。
【０１０７】
ステップＳ３５では、踏切７２手前で一時停止した後、再発進するまでの間に、図２に示す顔の特徴量認識回路１５からのデータに基づいて運転者が安全確認を行ったか否かを判定する。踏切７２手前で一時停止した後、再発進するまでの間に運転者が安全確認を怠った場合にはステップＳ３６へ進み、運転者が安全確認を行った場合にはステップＳ３１へ戻る。
【０１０８】
ステップＳ３６では、判定回路２２は、警報処理回路２３に信号を出力して、運転者に安全確認を促す音や光等の警報を車速の立ち上がり等のタイミングで警報処理回路２３から発生させる。
【０１０９】
以上説明したように、本実施形態において自動車４１が踏切７２を通過する場合には、判定回路２２は、先ず、走行道路７１における自車両４１から所定距離前方までに踏切７２が存在するか否かを判定し、踏切７２が存在する場合には、踏切７２手前での一時停止の有無を判定し、踏切７２手前で一時停止した場合には、再発進までの間に運転者が安全確認を行ったか否かを判定し、運転者が安全確認を怠った場合には、車速の立ち上がり等のタイミングで警報処理回路２３に指示して運転者に安全確認を促す警報を警報処理回路２３から発生させる。従って、本実施形態では、踏切７２通過時の事故を未然に、かつ確実に防止することができる。
【０１１０】
しかも、判定回路２２は、踏切７２手前で一旦停車しなかった場合には、車速の立ち上がり等のタイミングで警報処理回路２３に指示して運転者に安全確認を促す警報を警報処理回路２３から発生させるので、本実施形態では、踏切７２手前での一旦停車無視による事故を未然に防止することもできる。
【０１１１】
更に、本実施形態では、走行環境検出手段ＣＬ３としての走行環境検出回路２１がＮＡＶＩを備えているので、自車両４１から所定距離前方までの走行車線７１に存在する踏切７２を確実に検出することができると共に、踏切７２で車両が停車すべき停車位置を検出することもできる。
【０１１２】
このため、本実施形態では、自車両４１が前記停車位置で停車したか否かを確実に検出することができ、該停車位置で停車した場合に運転者が左右の安全を確認したか否かを判定することもできる。
【０１１３】
図２４は、本実施形態において自動車を後退させる場合に判定回路が実行するフローチャートである。ただし、図２に示す走行環境検出回路２１は、ブレーキペダルの踏み込みの有無を検出するブレーキスイッチと、トランスミッションのギヤ位置が車両を後退させるリバース位置にあるか否かを検出するリバーススイッチとを備え、ブレーキスイッチによってブレーキペダルの踏み込みの有無を検出し、リバーススイッチによってトランスミッションのギヤ位置がリバース位置か否かを検出している。
【０１１４】
自動車を後退させる場合には、図２４に示すように、図２の判定回路２２は、ステップＳ４１において、リバーススイッチからトランスミッションのギヤ位置がリバース位置か否かをリバースＳＷ信号として入力し、ステップＳ４２において、ブレーキスイッチからブレーキペダルの踏み込みの有無をフットブレーキＳＷ信号として入力する。
【０１１５】
判定回路２２は、ステップＳ４３では、ステップＳ４１で入力したリバースＳＷ信号に基づいて、トランスミッションのギヤ位置がリバース位置にあるか否かを判定する。トランスミッションのギヤ位置がリバース位置にある場合にはステップＳ４４へ進み、トランスミッションのギヤ位置がリバース位置にはない場合にはステップＳ４１へ戻る。
【０１１６】
ステップＳ４４では、ステップＳ４２で入力したフットブレーキＳＷ信号に基づいてブレーキペダルの踏み込みの有無を判定する。ブレーキペダルの踏み込み無しが検出されてフットブレーキが作動していない場合にはステップＳ４５へ進み、ブレーキペダルが踏み込み有りが検出されてフットブレーキが作動している場合にはステップＳ４１へ戻る。
【０１１７】
ステップＳ４５では、図２に示す顔の特徴量認識回路１５からのデータに基づいて運転者が安全確認を行ったか否かを判定する。運転者が安全確認を怠った場合にはステップＳ４６へ進み、運転者が安全確認を行った場合にはステップＳ４１へ戻る。
【０１１８】
ステップＳ４６では、判定回路２２は、図２に示す警報処理回路２３に信号を出力して、運転者に安全確認を促す音や光等の警報を警報処理回路２３から直ちに発生させる。
【０１１９】
以上説明したように、本実施形態において自動車を後退させる場合には、判定回路２２は、トランスミッションのギヤ位置がリバース位置か否かを判定し、トランスミッションのギヤ位置がリバース位置にある場合には、ブレーキペダルの踏み込みの有無を判定し、ブレーキペダルの踏み込みが開放されてブレーキペダルの踏み込み無しが検出され、フットブレーキが作動していない場合には、運転者が安全確認を行ったか否かを判定し、運転者が安全確認を怠った場合には、警報処理回路２３に指示して運転者に安全確認を促す警報を警報処理回路２３から直ちに発生させる。
【０１２０】
このため、本実施形態では、車両後退時に運転者が安全確認を怠った場合には、フットブレーキの作動開放直後に警報を発して運転者に安全確認を促すことができ、従って、車両後退時の事故を未然に、かつ確実に防止することができる。
【０１２１】
なお、自動車を後退させる場合には、走行環境検出回路２１は、前記ブレーキスイッチに代えて、アクセルペダルの踏み込みの有無を検出するアクセルスイッチを備え、このアクセルスイッチによってアクセルペダルの踏み込みの有無を検出するようにしても良い。
【０１２２】
このようにした場合には、判定回路２２は、図２４のステップＳ４２では、アクセルスイッチからアクセルペダルの踏み込みの有無をアクセルＳＷ信号として入力し、ステップＳ４４では、アクセルＳＷ信号に基づいてアクセルペダルの踏み込みの有無を判定し、アクセルペダルが少しでも踏み込まれている場合にはステップＳ４５へ進み、アクセルペダルが踏み込まれていない場合にはステップＳ４１へ戻るようにすれば良い。
【０１２３】
このようにすることにより、トランスミッションのギヤ位置がリバース位置になってからアクセルペダルの踏み込みを開始するまでの間に運転者が安全確認を怠った場合には、アクセルペダルの踏み込み開始直後に警報を発して運転者に安全確認を促すことができ、車両後退時の事故を未然にかつ確実に防止することができる。
【０１２４】
以上説明したように、本実施形態では、画像入力手段ＣＬ１は、自動車４１の運転者の顔画像を入力し、特徴量検出手段ＣＬ２は、画像入力手段ＣＬ１が入力した顔画像を画像処理して顔の特徴量を検出し、走行環境検出手段ＣＬ３は、自車両の走行環境を検出する。
【０１２５】
そして、本実施形態では、走行環境判定手段ＣＬ４と安全確認判定手段ＣＬ５とを構成する判定回路２２は、走行環境検出手段ＣＬ３の検出データに基づいて自動車４１の走行環境が安全確認を必要とする環境か否かを判定し、安全確認を必要とする走行環境であると判定した場合には、特徴量検出手段ＣＬ２の検出データに基づいて運転者の安全確認の有無を判定し、運転者が安全確認を怠ったと判定した場合には、運転者に安全確認を促す警報を発するよう安全促進手段ＣＬ６に指示する。
【０１２６】
従って、本実施形態では、安全確認が必要な走行環境において運転者が安全確認を怠った場合に、運転者に安全保持を促すことができる。
【０１２７】
なお、以上説明した本実施形態では、安全促進手段ＣＬ６として、運転者に音や光等で警報を発する警報器を含む警報処理回路２３を採用している。しかし、安全促進手段ＣＬ６は、このような警報処理回路２３に限定されず、例えば、安全確認判定手段ＣＬ５による安全確認を怠ったとの判定に基づいて自車両４１を自動ブレーキ等で制動し、安全保持を促すものであっても良い。
【０１２８】
そして、安全促進手段ＣＬ６として、自車両４１を自動ブレーキ等で制動して安全保持を促すものを採用した場合には、走行中の進路変更の際には減速させ、踏切等では一旦停車状態を維持させることにより、安全性をより向上させることができる。勿論、自動ブレーキ等と警報とを組み合わせることも容易である。
【図面の簡単な説明】
【図１】本発明の一実施形態を示す機能ブロック図である。
【図２】本発明の一実施形態の構成を示す構成ブロック図である。
【図３】運転者の顔画像の画像処理を示すフローチャートである。
【図４】運転者の顔画像の画素列の設定を示す説明図である。
【図５】図３中のステップＳ１４０を示すフローチャートである。
【図６】図４中の画素列Ｘａの濃度を示すグラフであって、（ａ）は相加平均濃度値を示し、（ｂ）は相加平均濃度値の微分値を示している。
【図７】図４中の画素列Ｘｂの濃度を示すグラフであって、（ａ）は相加平均濃度値を示し、（ｂ）は相加平均濃度値の微分値を示している。
【図８】抽出点の分布を示すグラフである。
【図９】図３中のステップＳ１５０を示すフローチャートである。
【図１０】抽出点からの候補点の特定を示すグラフであって、（ａ）は抽出点のグループ化を示し、（ｂ）は候補点の特定を示している。
【図１１】図３中のステップＳ１６０を示すフローチャートである。
【図１２】運転者の目と眉の部分の顔画像を示す説明図である。
【図１３】図１２に示すものの所定領域の設定を示す説明図である。
【図１４】運転者が左ドアミラーを見た状態を示す処理画像の説明図である。
【図１５】運転者が右ドアミラーを見た状態を示す処理画像の説明図である。
【図１６】運転者が斜め後方を見た状態を示す処理画像の説明図である。
【図１７】運転者が安全確認を行ったか否かを判定するフローチャートである。
【図１８】自動車が車線変更をする場合を示す説明図である。
【図１９】車線変更時に判定回路が実行するフローチャートである。
【図２０】自動車が交差点を通過する場合を示す説明図である。
【図２１】交差点通過の際に判定回路が実行するフローチャートである。
【図２２】自動車が踏切を通過する場合を示す説明図である。
【図２３】踏切通過の際に判定回路が実行するフローチャートである。
【図２４】車両後退時に判定回路が実行するフローチャートである。
【符号の説明】
ＣＬ１画像入力手段
ＣＬ２特徴量検出手段
ＣＬ３走行環境検出手段
ＣＬ４走行環境判定手段
ＣＬ５安全確認判定手段
ＣＬ６安全促進手段
１１ＴＶカメラ
１２ＡＤ変換器
１３画像メモリ
１４画像データ演算回路
１５特徴量認識回路
２１走行環境検出回路
２２判定回路
２３警報処理回路
３３眼
３４ウインドウ（所定領域）
４１自動車（自車両）
６３交差点
７２踏切[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a safety promoting device for a vehicle that alerts a driver of the vehicle to a safety confirmation.
[0002]
[Prior art]
As a conventional safety promoting device for automobiles, for example, there is one described in JP-A-7-108850. This safety promotion device obtains the distance from the obstacle to the host vehicle when an obstacle is detected on the road, and stops with a normal brake or a warning from the relationship between the distance and the host vehicle speed, The vehicle is provided with stopping by automatic braking and three-stage stopping means, and after stopping by warning or automatic braking, an alarm for prompting the driver to confirm safety is issued when the vehicle restarts.
[0003]
[Problems to be solved by the invention]
However, with this conventional safety promotion device, an alarm is issued only when the vehicle restarts after stopping due to the detection of an obstacle, etc., so it is possible to call attention for safety confirmation only in very limited situations. There is a problem that safety cannot be promoted in a driving environment that requires safety confirmation during driving. Moreover, since an alarm is issued regardless of whether or not the driver confirms safety, there is a problem that it is troublesome when the driver confirms safety.
[0004]
Therefore, an object of the present invention is to provide an automobile safety promoting device that can prompt the driver to maintain safety when the driver fails to confirm safety in a driving environment that requires safety confirmation.
[0005]
[Means for Solving the Problems]
The invention according to claim 1 is an image input means for inputting a face image of a driver of a car, and a feature amount detection means for detecting and storing a face feature amount by performing image processing on the face image input by the image input means. Driving environment detection means for detecting the driving environment of the host vehicle; and driving environment determination means for determining whether the driving environment of the host vehicle is an environment that requires safety confirmation based on detection data of the driving environment detection means; A safety confirmation determination means for determining whether or not the driver has confirmed safety based on the detection data of the feature amount detection means when the travel environment determination means determines that the travel environment requires safety confirmation; Safety promoting means for urging the driver to maintain safety based on the determination that the safety confirmation by the safety confirmation determining means is neglected The traveling environment detection means detects a change in the steering angle of the host vehicle and a change in the course of the host vehicle by the operation of the direction indicator, and the traveling environment determination means needs to confirm safety when the direction indicator is operated. The safety confirmation determination means prompts the driver to maintain safety when it is determined that the driver has failed to confirm safety during the period from the start of operation of the direction indicator until the steering angle changes. Instructing the safety promotion means It is characterized by.
[0008]
Claim 2 The invention includes an image input unit that inputs a face image of a driver of a car, a feature amount detection unit that detects and stores a face feature amount by performing image processing on the face image input by the image input unit, and the host vehicle A traveling environment detecting means for detecting the traveling environment of the vehicle, a traveling environment determining means for determining whether the traveling environment of the host vehicle is an environment that requires safety confirmation based on detection data of the traveling environment detecting means, and the traveling A safety confirmation determining means for determining presence or absence of a driver's safety confirmation based on detection data of the feature amount detecting means when the environment determining means determines that the driving environment requires safety confirmation; and the safety confirmation Safety promotion means for encouraging the driver to maintain safety based on the determination that the safety check by the determination means is neglected, and the travel environment detection means is configured to check whether the brake pedal is depressed and the gear position of the transmission The travel environment determination means determines that the vehicle is in the reverse position as a travel environment that requires safety confirmation, and the safety confirmation determination means determines that the gear position of the transmission is in the reverse position. When it is determined that the driver has failed to confirm the safety from when the brake pedal is not depressed, the safety promoting means is instructed to encourage the driver to maintain safety.
[0009]
Claim 3 The invention includes an image input unit that inputs a face image of a driver of a car, a feature amount detection unit that detects and stores a face feature amount by performing image processing on the face image input by the image input unit, and the host vehicle A traveling environment detecting means for detecting the traveling environment of the vehicle, a traveling environment determining means for determining whether the traveling environment of the host vehicle is an environment that requires safety confirmation based on detection data of the traveling environment detecting means, and the traveling A safety confirmation determining means for determining presence or absence of a driver's safety confirmation based on detection data of the feature amount detecting means when the environment determining means determines that the driving environment requires safety confirmation; and the safety confirmation Safety promoting means for encouraging the driver to maintain safety based on the determination that the safety confirmation by the judging means is neglected, and the traveling environment detecting means is configured to detect whether the accelerator pedal is depressed and the gear position of the transmission The travel environment determination means determines that the vehicle is in the reverse position as a travel environment that requires safety confirmation, and the safety confirmation determination means determines that the gear position of the transmission is in the reverse position. When it is determined that the driver has failed to confirm the safety from when the accelerator pedal is depressed, the safety promoting means is instructed to urge the driver to maintain safety.
[0019]
【The invention's effect】
According to the first aspect of the present invention, the image input means inputs the face image of the driver of the car, and the feature amount detection means detects the face feature amount by performing image processing on the face image input by the image input means, and stores it. The traveling environment detection means detects the traveling environment of the host vehicle, and the traveling environment determination means determines whether the traveling environment of the automobile is an environment that requires safety confirmation based on the detection data of the traveling environment detection means. The safety confirmation determining means determines whether or not the driver confirms safety based on the detection data of the feature amount detecting means when the driving environment determining means determines that the driving environment requires safety confirmation. The safety promotion means prompts the driver to maintain safety based on the determination that the safety confirmation judgment means has failed, so if the driver fails to confirm safety in a driving environment where safety confirmation is required, the driver To promote safety Kill.
[0020]
In the invention of claim 1, The travel environment detection means detects a change in the course of the host vehicle by the operation of the direction indicator, and the travel environment determination means determines that the travel environment in which the safety check is necessary when the direction indicator is operated. The safety confirmation determination means determines whether or not the driver has confirmed safety, and if the driver neglects the safety confirmation, the safety promotion means can prompt the driver to maintain safety. Accidents can be prevented in advance when changing the lane, overtaking, or changing the course such as turning left or right at an intersection.
[0021]
In the invention of claim 1, The traveling environment detection means detects a change in the steering angle of the host vehicle, and the safety confirmation determination means determines whether or not the driver has confirmed the safety between the start of operation of the direction indicator and the change in the steering angle. Therefore, when the driver operates the direction indicator to change the course, such as changing lanes, if the driver neglects safety after operating the direction indicator and turning the steering wheel, the driver Immediately after starting to cut, the safety promotion means can prompt the driver to maintain safety in accordance with an instruction from the safety confirmation determination means, and accordingly, an accident at the time of course change such as a lane change can be surely prevented.
[0028]
Claim 2 In this invention, the traveling environment detecting means detects whether or not the gear position of the transmission is in the reverse position, and the traveling environment determining means determines that the vehicle is in the reverse position as a traveling environment that requires safety confirmation. When reversing, the safety confirmation determining means determines the presence or absence of the driver's safety confirmation, and if the driver neglects the safety confirmation, the safety promotion means can urge the driver to keep the safety, and therefore when the vehicle reverses Accidents can be prevented in advance.
[0029]
Claims 2 In the present invention, the traveling environment detecting means detects whether or not the brake pedal is depressed, and the safety confirmation determining means is from when the transmission gear position is in the reverse position to when no depression of the brake pedal is detected. In addition, when it is determined that the driver has neglected the safety check, the safety promotion means is instructed to urge the driver to keep the safety, so when the driver neglects the safety check when moving the vehicle backward, The safety promotion means prompts the driver to maintain safety immediately after the release of the foot brake according to the instruction from the safety confirmation determination means, and it is possible to reliably prevent an accident when the vehicle moves backward.
[0030]
Claim 3 In this invention, the traveling environment detecting means detects whether or not the gear position of the transmission is in the reverse position, and the traveling environment determining means determines that the vehicle is in the reverse position as a traveling environment that requires safety confirmation. When reversing, the safety confirmation determining means determines the presence or absence of the driver's safety confirmation, and if the driver neglects the safety confirmation, the safety promotion means can urge the driver to keep the safety, and therefore when the vehicle reverses Accidents can be prevented in advance. According to the invention of claim 5, the traveling environment detecting means detects whether or not the accelerator pedal is depressed, and the safety confirmation determining means detects whether or not the accelerator pedal is depressed from the time when the transmission gear position is in the reverse position. If it is determined that the driver has failed to confirm the safety, the safety promotion means is instructed to encourage the driver to maintain the safety. In such a case, the safety promotion means prompts the driver to maintain safety immediately after the accelerator pedal is depressed by the instruction of the safety confirmation determination means, so that an accident at the time of reverse of the vehicle can be surely prevented.
[0034]
DETAILED DESCRIPTION OF THE INVENTION
FIG. 1 is a functional block diagram showing an embodiment of the present invention. As shown in FIG. 1, this safety promotion device includes image input means CL1, facial feature amount detection means CL2, running environment detection means CL3, running environment judgment means CL4, safety confirmation judgment means CL5, and safety promotion means CL6. ing.
[0035]
The image input means CL1 inputs the face image of the driver of the car. The feature amount detection unit CL2 detects the feature amount of the face by performing image processing on the face image input by the image input unit CL1. The traveling environment detection means CL3 detects the traveling environment of the host vehicle. The traveling environment determination unit CL4 determines whether the traveling environment of the host vehicle is an environment that requires safety confirmation based on the detection data of the traveling environment detection unit CL3.
[0036]
The safety confirmation determination means CL5 determines the presence or absence of the driver's safety confirmation based on the detection data of the feature amount detection means CL2 when the travel environment determination means CL4 determines that the travel environment requires safety confirmation. . The safety promotion means CL6 prompts the driver to maintain safety based on the determination that the safety confirmation by the safety confirmation determination means CL5 is neglected.
[0037]
FIG. 2 is a block diagram showing the configuration of one embodiment of the present invention. As shown in FIG. 2, in the present embodiment, a TV camera 11 is provided as an image input means CL 1 for photographing a driver's face from the front on an instrument panel of an automobile. The face image photographed by the TV camera 11 is converted into image data by the AD converter 12. This image data is stored in the image memory 13 and output from the image memory 13 to the image data calculation circuit 14.
[0038]
The image data calculation circuit 14 determines pixels for each local increase in density in the vertical pixel row of the face from the image data as extraction points, and continuous data in which adjacent extraction points are continued in the horizontal direction of the face. The positions of the eyes and eyebrows are specified based on the above. The feature amount recognition circuit 15 sets a predetermined area including the eye and eyebrow positions specified by the image data calculation circuit 14, counts the number of data of eye and eyebrow data existing in the set predetermined area, Recognize driver's facial features.
[0039]
Therefore, the AD converter 12, the image memory 13, the image data calculation circuit 14, and the feature quantity recognition circuit 15 constitute a face feature quantity detection means CL2. The recognition of the facial feature amount by image processing of the driver's face image will be described in detail later.
[0040]
The travel environment detection circuit 21 as the travel environment detection means CL3 detects the travel environment of the host vehicle by various sensors. The determination circuit 22 determines whether the traveling environment of the host vehicle is an environment that requires left and right safety confirmation based on the data input from the traveling environment detection circuit 21, and is an environment that requires safety confirmation. Is determined based on the data input from the facial feature amount recognition circuit 15. Accordingly, the determination circuit 22 constitutes a travel environment determination unit CL4 and a safety confirmation determination unit CL5. The determination by the determination circuit 22 will be described in detail later.
[0041]
The alarm processing circuit 23 as the safety promotion means CL6 includes an alarm device that issues an alarm to the driver with sound or light, and when the determination circuit 22 determines that the driver has failed to confirm safety, an instruction from the determination circuit 22 To alert the driver.
[0042]
Here, a method for recognizing the feature amount of the driver's face by image processing of the driver's face image will be described. FIG. 3 is a flowchart illustrating image processing of a driver's face image, and FIG. 4 is an explanatory diagram illustrating setting of a pixel row.
[0043]
As shown in FIG. 3, in step S 110, the driver's face image captured by the TV camera 11 is converted by the AD converter 12 into a pixel image in which the density of each pixel is a digital value. In step S120, image data corresponding to an image of one frame is stored in the image memory 13.
[0044]
In step S130, a vertical pixel row of the face is selected from the enormous amount of image data stored in the image memory 13 as shown in FIG. That is, one pixel column is set for every 10 pixels in the horizontal (X) direction so that the pixel columns in the vertical (Y) direction of the face are several tens of columns at equal intervals in the central portion of the screen. Note that 512 pixel columns are set in the horizontal (X) direction, and one pixel column has 480 pixels in the vertical (Y) direction, and the density value of all pixels is calculated for each pixel column. Is done.
[0045]
In step S140, a density value is calculated for each pixel column to specify a pixel (Y coordinate value) that serves as an extraction point. In step S150, the extracted points obtained for each pixel column are connected and grouped in the horizontal (X) direction. In step S160, unnecessary connection data is removed from the grouped connection data, and candidate point data is formed only for the finally required connection data. In step S170, eye and eyebrow candidate point data is selected from a plurality of candidate point data, and the positions of the eye and eyebrow are specified. Accordingly, steps S130 to S170 are executed by the image data calculation circuit 14 in FIG.
[0046]
In step S180, a predetermined area including the positions of the eyes and eyebrows is set, and the number of eye and eyebrow data existing in the predetermined area is counted to recognize the feature amount of the driver's face. Accordingly, step S180 is executed by the facial feature amount recognition circuit 15 in FIG. Steps S140 to S180 will be described in detail below.
[0047]
FIG. 5 is a flowchart showing step S140. 6 is a graph showing the density of the pixel row Xa in FIG. 4, where (a) shows the arithmetic mean density value, and (b) shows the differential value of the arithmetic mean density value. FIG. 7 is a graph showing the density of the pixel row Xb in FIG. 4, where (a) shows the arithmetic mean density value, and (b) shows the differential value of the arithmetic mean density value.
[0048]
As shown in FIG. 5, in step S141, the density values of all the pixels for each pixel column are called a predetermined number of times in order from the left side of the image data shown in FIG. In step S142, the density value of each pixel on the pixel column is arithmetically averaged to obtain an arithmetic average density value obtained by removing high frequency components (noise) from the density value on the pixel column. For example, the arithmetic average density value shown in FIG. 6A is calculated from the pixel column Xa shown in FIG. 4 and the arithmetic average density value shown in FIG. 7A is calculated from the pixel column Xb.
[0049]
In step S143, the arithmetic mean concentration value is differentiated. The arithmetic average concentration value shown in FIG. 6 (a) is the differential value shown in FIG. 6 (b), and the arithmetic average concentration value shown in FIG. 7 (a) is the differential value shown in FIG. 7 (b). .
[0050]
In step S144, first, the Y coordinate value corresponding to the dark peak of the arithmetic mean density value is obtained from the differential value calculated in step S143. That is, the Y coordinate value whose differential value is inverted from negative to positive becomes one Y coordinate value representing each of the eyebrows, eyes, mouth and the like corresponding to the darkness peak. Note that the Y coordinate value at which the differential value is inverted from positive to negative is not employed because it is a peak position of brightness corresponding to an intermediate position such as an eyebrow or eye.
[0051]
For example, the arithmetic mean concentration value shown in FIG. 6A becomes the differential value shown in FIG. 6B, and Y coordinate values p1, p2, p3, p4, and p5 at which the differential value is inverted from negative to positive are extracted. Next, in step S144, Y coordinate values q1, q2, and q3 are extracted such that the peak value of the differential value before each Y coordinate value p1, p2, p3, p4, and p5 is equal to or less than a predetermined threshold value (broken line). Identify as a point. Note that it is possible to avoid facial wrinkles and irregularities from becoming extraction points by discriminating the peak value of the differential value in front.
[0052]
From the arithmetic mean concentration value shown in FIG. 7A, Y coordinate values p1, p2, and p3 are extracted in which the differential values shown in FIG. 7B are inverted from negative to positive. However, in any case, the peak value of the previous differential value does not fall below the threshold value (broken line), and no extraction point is formed.
[0053]
In step S145, it is determined whether or not it is the last pixel column, that is, the rightmost pixel column in FIG. If it is the last pixel column, the extraction points have been specified in all the pixel columns, and the process proceeds to step S150. If it is not the last pixel column, the process returns to step S141 to specify the extraction point from the density value data of the next pixel column.
[0054]
The distribution of the extracted points specified in this way is shown in FIG. As shown in this figure, about 0 to 4 extraction points A1, A2, A3, and A4 are specified for each pixel column. For example, the extraction points A1 and A2 are specified in the pixel column Xc, and the extraction points A1, A2, A3, and A4 are specified in the pixel column Xd.
[0055]
FIG. 9 is a flowchart showing step S150 in FIG. FIG. 10A is a graph showing grouping of extraction points. In step S150, as shown in FIG. 10A, the extraction points specified for each pixel column are connected in the X direction to be grouped.
[0056]
As shown in FIG. 9, in step S151, the extraction point data of the pixel column is called in the order of the pixel column. In step S152, the Y coordinate values are compared for the extraction points of the pixel rows adjacent to each other. In step S153, the difference of the Y coordinate values of the extraction points in the pixel rows adjacent to each other is within a predetermined range (10 pixels in this embodiment). It is determined whether it is in. If the difference between the Y coordinate values of the extraction points of the pixel rows adjacent to each other is 10 pixels or less, the process proceeds to step S154 to form concatenated data. If the difference between the Y coordinate values exceeds 10 pixels, the process proceeds to step S155. No concatenated data is formed.
[0057]
In step S154, concatenated data is formed from extraction points of adjacent pixel columns. The concatenated data is classified by the group number given in order for each generated group and the number of the pixel column to which the extraction point at the left end of each group belongs (corresponding to the X coordinate value). The number N (number of pixel columns) and the Y coordinate value are stored in the memory, and each time the pixel column is processed, the memory content is rewritten and formed.
[0058]
In step S155, it is determined whether or not it is the last pixel column. If it is the last pixel column, the grouping of the extraction point data has been completed for all the pixel columns, and the process proceeds to step S160. If it is not the last pixel column, the process returns to step S151 to group the extraction point data of the next pixel column.
[0059]
FIG. 11 is a flowchart showing step S160 in FIG. FIG. 10B is a graph showing candidate points formed from grouped data of extracted points. In step S160, unnecessary connection data is removed, and candidate point data is formed only for the finally required connection data.
[0060]
As shown in FIG. 11, in step S161, the concatenated data is called from the memory one by one in the order of group numbers. In step S162, the number N of linked data is evaluated. In step S163, it is determined whether the number N of linked data is greater than or equal to a predetermined value (5 in the present embodiment). If the number N of linked data is greater than or equal to a predetermined value, the process proceeds to step S164 to form candidate point data. If the number N of connected data is less than the predetermined value, it is determined as, for example, a nostril or the like, and the process proceeds to step S165 and no candidate point data is formed.
[0061]
In step S164, for each group, a candidate consisting of the average value of the Y coordinate values of the concatenated data and the average value of the X coordinate values of the concatenated data (the average value of the concatenation start pixel column number and the concatenation end pixel column number). Form point data. For example, as shown in FIG. 10A, extraction point groups G1 to G6 corresponding to both the eyebrows and the eyes, the shadow of the nose, and the mouth are left from the extraction point group shown in FIG. However, here, the remaining six groups G1 to G6 are renumbered in order from left to right and from top to bottom. Therefore, each group G1 to G6 of extraction points shown in FIG. 10A is represented by six candidate points K1 to K6 shown in FIG.
[0062]
In step S165, it is determined whether it is the last concatenated data. If it is the last concatenated data, since all the concatenated data has been evaluated, the process proceeds to step S170. If it is not the last concatenated data, the process returns to step S161 to start evaluation of the next concatenated data.
[0063]
In step S170 in FIG. 3, eye and eyebrow candidate point data is selected from a plurality of candidate point data, and the positions of the eye and eyebrow are specified. For example, in the case of six candidate points K1 to K6 shown in FIG. 10B, a central detection zone ZC is set around the candidate points K5 and K6 having large (low) Y coordinate values. Outside the detection zone ZC, left and right detection zones ZL and ZR are set with the candidate points K1 and K3 having small (high) Y coordinate values and the candidate points K2 and K4 as centers.
[0064]
The height relationship between the candidate points K1 to K4 included in the left and right detection zones ZL and ZR and the candidate points K5 and K6 included in the center detection zone ZC, and both candidate points K1 and K1 included in the detection zone ZL. Based on the positional relationship between K3 and the positional relationship between both candidate points K2, K4 included in the detection zone ZR, candidate points K3, K4 corresponding to the eyes and candidate points K1, K2 corresponding to the eyebrows are selected, Identify eye and eyebrow positions.
[0065]
In step S180 in FIG. 3, a predetermined area including the positions of the eyes and eyebrows is set, and the number of data of eye and eyebrow data existing in the predetermined area is counted to recognize the feature amount of the driver's face. To do. Here, step S180 will be described with reference to FIGS.
[0066]
FIG. 12 is an explanatory diagram showing face images of the driver's eyes and eyebrows. In FIG. 12, reference numeral 31 denotes an outer frame of the screen, reference numeral 32 denotes a driver's eyebrow, and reference numeral 33 denotes a driver's eye. FIG. 13 is an explanatory diagram showing grouping of extracted points from those shown in FIG. 12 and setting of a predetermined area based on the grouped points. Note that the grouping of extraction points has already been described, and a description thereof will be omitted.
[0067]
In FIG. 13, reference symbols G 1 and G 2 indicate extraction point groups corresponding to the eyebrows 32, and reference symbols G 3 and G 4 indicate extraction point groups corresponding to the eyes 33. Reference numeral 34 indicates a predetermined area (hereinafter referred to as a window) for determining whether or not the driver has confirmed safety. The size of the window 34 is such that the driver's eyes and eyebrows are in the forward gaze state where the driver is gazing forward, and includes the amount of movement of the eyes and eyebrows due to vibration during travel. Yes.
[0068]
FIG. 14 is an explanatory diagram of a processed image showing a state where the driver looks at the left door mirror. As shown in FIG. 14, when the driver looks at the left door mirror from the forward gazing state, the extraction point groups G1 to G4 corresponding to the eyes 33 and the eyebrows 32 move largely in the horizontal direction, although there is no change in the height direction. Then, both the left groups G2 and G4 are removed from the window 34.
[0069]
FIG. 15 is an explanatory diagram of a processed image showing a state where the driver looks at the right door mirror. As shown in FIG. 15, when the driver looks at the right door mirror from the front gaze state, the right-side groups G1 and G3 of the extraction point groups G1 to G4 corresponding to the eyes 33 and the eyebrows 32 are removed from the window 34.
[0070]
FIG. 16 is an explanatory diagram of a processed image showing a state in which the driver looks obliquely backward. As shown in FIG. 16, when the driver looks diagonally backward from the front gaze state, all the extraction point groups G1 to G4 corresponding to the eyes 33 and the eyebrows 32 are removed from the window 34.
[0071]
Accordingly, the driver is gazing at the front of the vehicle based on the direction in which the candidate points K1 to K4 representing the extracted point groups G1 to G4 move and the number of candidate points K1 to K4 existing in the window 34. It is possible to recognize whether the left side of the vehicle has been checked for safety, whether the right side of the vehicle has been checked for safety, or whether the vehicle has been checked for safety behind the vehicle.
[0072]
FIG. 17 is a flowchart for determining whether or not the driver has confirmed safety. As shown in FIG. 17, in step S1, the number of candidate points K1 to K4 representing the groups G1 to G4 existing in the window 34 is counted as the number of data. In the window 34, there are usually four pieces of data for both eyes and both eyebrows.
[0073]
In step S2, it is determined whether or not the number of data existing in the window 34 has decreased. If the number of data existing in the window 34 has decreased, the process proceeds to step S3, and it is determined that the safety has been confirmed. If the number of data existing in the window 34 remains four, the process proceeds to step S4. It is determined that the safety check has been neglected.
[0074]
As described above, in the present embodiment, the feature amount detection unit CL2 specifies the positions of the eyes 33 and the eyebrows 32 from the driver's face image, and within the window 34 including the specified positions of the eyes 33 and the eyebrows 32. When the number of data in the window 34 is the same as the number of data when the driver gazes forward, the safety confirmation determination means CL5 When it is determined that the safety check is neglected and the number of data in the window 34 is smaller than the number of data when the driver gazes forward, it is determined that the driver has confirmed the safety.
[0075]
For this reason, when the driver remains in the forward gaze state in a driving environment that requires safety confirmation on the left, right, or rear, it can be determined that the driver has failed to confirm safety, and safety confirmation on the left, right, or rear is required. When the driver confirms safety by turning left or right or rearward in the driving environment, it can be determined that the driver has confirmed safety. Therefore, the safety confirmation determination means CL5 determines whether the driver has confirmed safety. It can be determined with certainty.
[0076]
FIG. 18 is an explanatory diagram showing a case where the automobile changes lanes. To change the lane, the driver of the automobile 41 operates the direction indicator at the point A of the road 42 on one side two lanes, confirms the safety on the right rear by looking at the right door mirror, and then touches the handle at the point B. Turn right. In FIG. 18, reference numeral 43 denotes a center line, reference numeral 44 denotes a lane change locus of the automobile, and reference numeral L1 denotes a distance between AB.
[0077]
FIG. 19 is a flowchart executed by the determination circuit when a lane is changed in the present embodiment. However, the traveling environment detection circuit 21 shown in FIG. 2 includes a steering angle sensor that detects the steering angle of the steering wheel and an operation sensor that detects whether or not the direction indicator is operating, and the steering wheel is steered by the steering angle sensor. The angle is detected, and the presence or absence of the operation of the direction indicator is detected by the operation sensor.
[0078]
When the automobile 41 changes lanes, as shown in FIG. 19, the determination circuit 22 of FIG. 2 inputs the steering angle of the steering wheel from the steering angle sensor as a steering angle signal in step S11, and in step S12 The presence / absence of operation of the direction indicator is input from the operation sensor as a direction indicator signal.
[0079]
In step S13, the determination circuit 22 determines whether or not the direction indicator is activated based on the direction indicator signal input in step S12. When the direction indicator is operating, the process proceeds to step S14, and when the direction indicator is not operating, the process returns to step S11.
[0080]
In step S14, the presence or absence of a course changing operation is determined based on the steering angle signal input in step S11. If the rudder angle maintained at the point A changes and there is a course changing operation, the process proceeds to step S15, and if there is no course changing operation, the process returns to step S11.
[0081]
In step S15, whether the driver has confirmed safety based on the data from the facial feature amount recognition circuit 15 shown in FIG. 2 from when the direction indicator starts to operate until the steering wheel is steered. Determine whether or not. If the driver fails to confirm safety after the direction indicator is activated and before the steering wheel is steered, the process proceeds to step S16. If the driver confirms safety, the process returns to step S11.
[0082]
In step S 16, the determination circuit 22 outputs a signal to the alarm processing circuit 23 of FIG. 2, and generates an alarm such as a sound or light that prompts the driver to confirm safety from the alarm processing circuit 23.
[0083]
As described above, when the automobile 41 changes lanes in the present embodiment, the determination circuit 22 first determines whether or not the direction indicator is operating, and when the direction indicator is operating, The presence / absence of a course change operation is determined. If it is determined that a course change operation has been performed, the presence / absence of a driver's safety check is determined. If the driver fails to check the safety, an instruction is given to the alarm processing circuit 23. The alarm processing circuit 23 generates an alarm that prompts the driver to confirm safety. Therefore, in this embodiment, it is possible to prevent an accident when changing lanes.
[0084]
Moreover, in the present embodiment, the determination circuit 22 prompts the driver to confirm safety when the driver neglects safety from when the direction indicator starts to operate until the steering wheel is steered. Since an alarm is generated from the alarm processing circuit 23, if the driver neglects safety when changing lanes, an alarm prompting the driver to confirm safety is generated from the alarm processing circuit 23 immediately after the driver turns the steering wheel. Therefore, accidents when changing lanes can be prevented in advance and reliably.
[0085]
By the way, when changing lanes, in addition to the case where the driver confirms safety in the AB section of FIG. 18, the direction indicator is activated after confirming safety and the steering wheel is turned off immediately after the activation. There is also.
[0086]
In order to cope with this case, the determination circuit 22 determines whether or not the driver has confirmed the safety between the time when the direction indicator is activated and the time when the direction indicator is activated. When the determination circuit 22 determines that the driver has failed to confirm the safety, the alarm processing circuit 23 may issue an alarm to the driver according to an instruction from the determination circuit 22.
[0087]
In this way, when the driver turns off the steering wheel immediately after the operation of the direction indicator while neglecting the safety check before operating the direction indicator, the alarm processing circuit 23 immediately after the start of the operation of the direction indicator. Can issue a warning to the driver and prompt the driver to confirm safety, so the lane change is made immediately after activation of the direction indicator without the driver confirming safety before operating the direction indicator. Accidents can be prevented without fail.
[0088]
In addition, since the determination circuit 22 determines the presence or absence of the driver's safety check by going back a predetermined time from the start of the operation of the direction indicator, the safety check was performed before the driver operated the direction indicator. The warning to the driver in the case can be avoided, and the troublesomeness felt by the driver with respect to the warning to the driver who has confirmed the safety can be eliminated.
[0089]
Note that the flowchart shown in FIG. 19 is not only for the case where the automobile 41 changes lanes, but for example, when the driver overtakes by operating the direction indicator, or when the driver turns right or left at the intersection. Needless to say, the present invention can be applied when changing the course of the vehicle 41 by operating the indicator.
[0090]
FIG. 20 is an explanatory diagram illustrating a case where a vehicle passes through an intersection. The driver of the automobile 41 enters the intersection 63 after confirming safety on the left and right by temporarily stopping the automobile 41a at the stop line 64 before the intersection 63 of the traveling road 61 in order to pass through the intersection 63 without a signal. Pass through the intersection 63. In FIG. 20, reference numeral 62 indicates a road that intersects the traveling road 61, and reference numeral 41 b indicates a car that has passed through the intersection 63.
[0091]
FIG. 21 is a flowchart executed by the determination circuit when passing the intersection in the present embodiment. However, the traveling environment detection circuit 21 shown in FIG. 2 includes a navigation system (hereinafter abbreviated as NAVI) and a vehicle speed sensor that detects the vehicle speed, detects road information of the traveling road 61 using the NAVI, and uses the vehicle speed sensor. The vehicle speed of the host vehicle 41 is detected.
[0092]
When the automobile 41 passes through the intersection, as shown in FIG. 21, the determination circuit 22 of FIG. 2 inputs the information on the traveling road from the NAVI as NAVI information in step S21, and from the vehicle speed sensor in step S22. The vehicle speed of the host vehicle 41 is input as a vehicle speed signal.
[0093]
In step S23, the determination circuit 22 determines whether there is a traffic light at the intersection 63 existing on the traveling road 61 from the host vehicle 41 to a predetermined distance ahead based on the NAVI information input in step S21. If there is no traffic light at the intersection 63, the process proceeds to step S24, and if there is a traffic signal, the process proceeds to step S25.
[0094]
In step S24, based on the NAVI information input in step S21 and the vehicle speed signal input in step S22, it is determined whether or not there is a temporary stop before the intersection 63. If the vehicle is temporarily stopped before the intersection 63, the process proceeds to step S25. If the vehicle is not temporarily stopped before the intersection 63, the process proceeds to step S26, and the alarm processing circuit 23 of FIG.
[0095]
In step S25, when entering the intersection 63 before passing through the intersection 63, it is determined whether or not the driver has confirmed safety based on the data from the facial feature amount recognition circuit 15 shown in FIG. If the driver fails to confirm safety when entering the intersection 63, the process proceeds to step S26. If the driver confirms safety, the process returns to step S21.
[0096]
In step S 26, the determination circuit 22 outputs a signal to the alarm processing circuit 23 and causes the alarm processing circuit 23 to generate an alarm such as a sound or light that prompts the driver to confirm safety at a timing such as the rise of the vehicle speed.
[0097]
Note that the alarm generation timing for prompting the driver to confirm safety is not limited to the vehicle speed rising timing based on the vehicle speed signal input in step S22. For example, the traveling environment detection circuit 21 detects whether or not the brake pedal is depressed by a brake switch, detects whether or not the accelerator pedal is depressed by an accelerator switch, and the determination circuit 22 is after the depression of the foot brake is released. An alarm may be generated from the alarm processing circuit 23 by capturing the timing immediately after the start of depression of the accelerator pedal.
[0098]
As described above, when the automobile 41 passes through the intersection 63 in the present embodiment, the determination circuit 22 ensures that the driver is safe when entering the intersection 63 before passing through the intersection 63 regardless of the presence or absence of a traffic light at the intersection 63. It is determined whether or not confirmation has been performed, and if the driver fails to confirm safety when entering the intersection 63, an alarm is issued to instruct the driver to confirm safety by instructing the alarm processing circuit 23 at a timing such as the rise of the vehicle speed. Generated from the alarm processing circuit 23. Therefore, in this embodiment, an accident when passing through the intersection 63 can be prevented in advance.
[0099]
In addition, when there is no traffic signal at the intersection 63, the determination circuit 22 determines whether or not the vehicle has stopped before the intersection 63. The alarm processing circuit 23 is instructed to generate an alarm from the alarm processing circuit 23 that prompts the driver to confirm safety. Therefore, in this embodiment, it is possible to prevent an accident caused by ignoring stoppage at the intersection 63 where there is no traffic signal.
[0100]
Furthermore, in this embodiment, since the traveling environment detection circuit 21 as the traveling environment detection means CL3 includes the NAVI, it is possible to reliably detect the intersection 63 existing on the traveling road 61 from the host vehicle 41 to a predetermined distance ahead. It is possible to reliably detect whether or not the intersection 63 has a traffic light, and it is also possible to detect the stop position at which the vehicle should stop at the intersection.
[0101]
For this reason, in the present embodiment, it is possible to reliably detect whether or not the own vehicle 41 has stopped at the stop position, and whether or not the driver has confirmed left and right safety when stopping at the stop position. Can also be determined.
[0102]
FIG. 22 is an explanatory diagram showing a case where the automobile passes through the railroad crossing. The driver of the automobile 41 temporarily stops the automobile 41a at the stop line 73 before the level crossing 72 of the traveling road 71 and confirms the left and right safety, and then enters the level crossing 72 and passes through the level crossing 72. In FIG. 22, the symbol L 3 indicates the distance from the automobile 41 to the level crossing 72.
[0103]
FIG. 23 is a flowchart executed by the determination circuit when passing through a crossing in the present embodiment. However, the traveling environment detection circuit 21 shown in FIG. 2 includes a NAVI and a vehicle speed sensor that detects the vehicle speed, detects road information of the traveling road 71 using the NAVI, and detects the vehicle speed of the host vehicle 41 using the vehicle speed sensor. Yes.
[0104]
When the automobile 41 passes the railroad crossing 72, as shown in FIG. 23, the determination circuit 22 shown in FIG. 2 inputs the information of the traveling road 71 from the NAVI as NAVI information in step S31, and in step S32, The vehicle speed of the host vehicle 41 is input from the vehicle speed sensor as a vehicle speed signal.
[0105]
In step S33, the determination circuit 22 determines whether or not there is a railroad crossing 72 from the host vehicle 41 on the traveling road 71 to a predetermined distance ahead based on the NAVI information input in step S31. If there is a level crossing 72, the process proceeds to step S34. If there is no level crossing 72, the process returns to step S31.
[0106]
In step S34, based on the NAVI information input in step S31 and the vehicle speed signal input in step S32, it is determined whether or not there is a temporary stop before the level crossing 72. If it is temporarily stopped before the level crossing 72, the process proceeds to step S35. If it is not temporarily stopped before the level crossing 72, the process proceeds to step S36, and the alarm processing circuit 23 of FIG.
[0107]
In step S35, it is determined whether or not the driver has confirmed safety based on the data from the facial feature amount recognition circuit 15 shown in FIG. To do. If the driver fails to confirm the safety before the vehicle restarts after the temporary stop before the level crossing 72, the process proceeds to step S36, and if the driver confirms the safety, the process returns to step S31.
[0108]
In step S36, the determination circuit 22 outputs a signal to the alarm processing circuit 23 and causes the alarm processing circuit 23 to generate an alarm such as a sound or light that prompts the driver to confirm safety at a timing such as rising of the vehicle speed.
[0109]
As described above, in the present embodiment, when the automobile 41 passes the railroad crossing 72, the determination circuit 22 first determines whether or not the railroad crossing 72 exists in front of the predetermined distance from the own vehicle 41 on the traveling road 71. If there is a level crossing 72, it is determined whether or not there is a temporary stop before the level crossing 72. If it is temporarily stopped before the level crossing 72, the driver confirms the safety before restarting. If the driver fails to confirm the safety, the alarm processing circuit 23 is instructed to issue an alarm from the alarm processing circuit 23 to prompt the driver to confirm the safety at a timing such as the rise of the vehicle speed. . Therefore, in the present embodiment, an accident at the time of passing through the level crossing 72 can be prevented without fail.
[0110]
Moreover, if the determination circuit 22 has not stopped once before the level crossing 72, the alarm processing circuit 23 generates an alarm for instructing the driver to confirm safety by instructing the alarm processing circuit 23 at the timing of rising of the vehicle speed or the like. Therefore, in this embodiment, it is possible to prevent an accident caused by ignoring the stop once before the level crossing 72.
[0111]
Furthermore, in this embodiment, since the traveling environment detection circuit 21 as the traveling environment detection means CL3 includes the NAVI, it is possible to reliably detect the level crossing 72 present in the traveling lane 71 from the host vehicle 41 to a predetermined distance ahead. It is also possible to detect the stop position at which the vehicle should stop at the level crossing 72.
[0112]
For this reason, in the present embodiment, it is possible to reliably detect whether or not the own vehicle 41 has stopped at the stop position, and whether or not the driver has confirmed left and right safety when stopping at the stop position. Can also be determined.
[0113]
FIG. 24 is a flowchart executed by the determination circuit when the automobile is moved backward in the present embodiment. However, the traveling environment detection circuit 21 shown in FIG. 2 includes a brake switch that detects whether or not the brake pedal is depressed, and a reverse switch that detects whether or not the gear position of the transmission is in a reverse position for reversing the vehicle. The brake switch detects whether or not the brake pedal is depressed, and the reverse switch detects whether or not the transmission gear position is the reverse position.
[0114]
When the vehicle is to be moved backward, as shown in FIG. 24, the determination circuit 22 of FIG. 2 inputs, as a reverse SW signal, whether or not the gear position of the transmission is the reverse position from the reverse switch in step S41. , Whether or not the brake pedal is depressed is input as a foot brake SW signal from the brake switch.
[0115]
In step S43, the determination circuit 22 determines whether or not the gear position of the transmission is in the reverse position based on the reverse SW signal input in step S41. If the gear position of the transmission is in the reverse position, the process proceeds to step S44. If the gear position of the transmission is not in the reverse position, the process returns to step S41.
[0116]
In step S44, it is determined whether or not the brake pedal is depressed based on the foot brake SW signal input in step S42. If it is detected that the brake pedal is not depressed and the foot brake is not activated, the process proceeds to step S45. If it is detected that the brake pedal is depressed and the foot brake is activated, the process returns to step S41.
[0117]
In step S45, it is determined whether or not the driver has confirmed safety based on the data from the facial feature quantity recognition circuit 15 shown in FIG. If the driver fails to confirm safety, the process proceeds to step S46, and if the driver confirms safety, the process returns to step S41.
[0118]
In step S46, the determination circuit 22 outputs a signal to the alarm processing circuit 23 shown in FIG. 2, and immediately generates an alarm such as a sound or light that prompts the driver to confirm safety from the alarm processing circuit 23.
[0119]
As described above, when the vehicle is moved backward in the present embodiment, the determination circuit 22 determines whether or not the transmission gear position is in the reverse position, and when the transmission gear position is in the reverse position, Determine whether the brake pedal is depressed, and if the brake pedal is released and no brake pedal depression is detected, and the foot brake is not activated, determine whether the driver has confirmed safety. If the driver fails to confirm the safety, the alarm processing circuit 23 is instructed to immediately generate an alarm prompting the driver to confirm the safety from the alarm processing circuit 23.
[0120]
For this reason, in this embodiment, if the driver fails to confirm safety when the vehicle is moving backward, an alarm can be issued immediately after the foot brake is released to prompt the driver to confirm safety. Accidents can be prevented without fail.
[0121]
When the vehicle is to be moved backward, the driving environment detection circuit 21 includes an accelerator switch for detecting whether or not the accelerator pedal is depressed, instead of the brake switch, and detects whether or not the accelerator pedal is depressed by the accelerator switch. You may make it do.
[0122]
In this case, the determination circuit 22 inputs the presence / absence of depression of the accelerator pedal from the accelerator switch as an accelerator SW signal in step S42 of FIG. 24, and in step S44, the accelerator pedal of the accelerator pedal is input based on the accelerator SW signal. The presence or absence of depression is determined, and if the accelerator pedal is depressed even a little, the process proceeds to step S45, and if the accelerator pedal is not depressed, the process returns to step S41.
[0123]
In this way, if the driver fails to confirm safety after the transmission gear position is in the reverse position and before the accelerator pedal is depressed, an alarm is issued immediately after the accelerator pedal is depressed. It is possible to prompt the driver to confirm the safety and to prevent accidents when the vehicle moves backward.
[0124]
As described above, in this embodiment, the image input unit CL1 inputs the face image of the driver of the automobile 41, and the feature amount detection unit CL2 performs image processing on the face image input by the image input unit CL1. The facial feature amount is detected, and the traveling environment detection means CL3 detects the traveling environment of the host vehicle.
[0125]
In the present embodiment, the determination circuit 22 that constitutes the travel environment determination unit CL4 and the safety confirmation determination unit CL5 requires the travel environment of the automobile 41 to confirm safety based on the detection data of the travel environment detection unit CL3. When it is determined whether or not the vehicle is in a driving environment that requires safety confirmation, it is determined whether or not the driver has confirmed safety based on the detection data of the feature amount detection means CL2, and the driver If it is determined that the safety check has been neglected, the safety promoting means CL6 is instructed to issue an alarm that prompts the driver to confirm the safety.
[0126]
Therefore, in the present embodiment, when the driver fails to confirm safety in a traveling environment where safety confirmation is required, the driver can be encouraged to maintain safety.
[0127]
In the present embodiment described above, an alarm processing circuit 23 including an alarm device that issues an alarm to the driver with sound, light, or the like is employed as the safety promoting means CL6. However, the safety promotion means CL6 is not limited to such an alarm processing circuit 23. For example, the safety promotion means CL6 brakes the host vehicle 41 with an automatic brake or the like based on the determination that the safety confirmation by the safety confirmation determination means CL5 is neglected. It may be one that promotes retention.
[0128]
If the vehicle 41 is urged to maintain safety by braking the own vehicle 41 with an automatic brake or the like as the safety promoting means CL6, the vehicle is decelerated when the course is changed while traveling, and once stopped at a railroad crossing or the like. By maintaining it, safety can be further improved. Of course, it is easy to combine an automatic brake or the like with an alarm.
[Brief description of the drawings]
FIG. 1 is a functional block diagram showing an embodiment of the present invention.
FIG. 2 is a configuration block diagram showing the configuration of an embodiment of the present invention.
FIG. 3 is a flowchart showing image processing of a driver's face image.
FIG. 4 is an explanatory diagram illustrating setting of a pixel column of a driver's face image.
FIG. 5 is a flowchart showing step S140 in FIG.
6 is a graph showing the density of the pixel row Xa in FIG. 4, where (a) shows the arithmetic mean density value, and (b) shows the differential value of the arithmetic mean density value.
7 is a graph showing the density of the pixel row Xb in FIG. 4, wherein (a) shows the arithmetic mean density value, and (b) shows the differential value of the arithmetic mean density value.
FIG. 8 is a graph showing the distribution of extracted points.
FIG. 9 is a flowchart showing step S150 in FIG.
FIG. 10 is a graph showing identification of candidate points from extracted points, where (a) shows grouping of extracted points and (b) shows identification of candidate points.
FIG. 11 is a flowchart showing step S160 in FIG. 3;
FIG. 12 is an explanatory diagram showing a face image of a driver's eyes and eyebrows.
13 is an explanatory diagram showing setting of a predetermined area shown in FIG. 12. FIG.
FIG. 14 is an explanatory diagram of a processed image showing a state in which the driver looks at the left door mirror.
FIG. 15 is an explanatory diagram of a processed image showing a state where the driver looks at the right door mirror.
FIG. 16 is an explanatory diagram of a processed image showing a state in which the driver looks obliquely backward.
FIG. 17 is a flowchart for determining whether or not a driver has confirmed safety.
FIG. 18 is an explanatory diagram showing a case where a vehicle changes lanes.
FIG. 19 is a flowchart executed by a determination circuit when a lane is changed.
FIG. 20 is an explanatory diagram showing a case where an automobile passes through an intersection.
FIG. 21 is a flowchart executed by a determination circuit when passing an intersection;
FIG. 22 is an explanatory diagram showing a case where an automobile passes through a railroad crossing.
FIG. 23 is a flowchart executed by a determination circuit when passing a railroad crossing.
FIG. 24 is a flowchart executed by the determination circuit when the vehicle is moving backward.
[Explanation of symbols]
CL1 Image input means
CL2 feature quantity detection means
CL3 Running environment detection means
CL4 traveling environment judgment means
CL5 Safety confirmation judgment means
CL6 Safety promotion means
11 TV camera
12 AD converter
13 Image memory
14 Image data arithmetic circuit
15 Feature recognition circuit
21 Driving environment detection circuit
22 Judgment circuit
23 Alarm processing circuit
33 eyes
34 windows (predetermined area)
41 Automobile (own vehicle)
63 Intersection
72 level crossing

Claims

自動車の運転者の顔画像を入力する画像入力手段と、該画像入力手段が入力した顔画像を画像処理して顔の特徴量を検出し記憶する特徴量検出手段と、自車両の走行環境を検出する走行環境検出手段と、該走行環境検出手段の検出データに基づいて自車両の走行環境が安全確認を必要とする環境か否かを判定する走行環境判定手段と、該走行環境判定手段が安全確認を必要とする走行環境であると判定した場合に、前記特徴量検出手段の検出データに基づいて運転者の安全確認の有無を判定する安全確認判定手段と、該安全確認判定手段による安全確認を怠ったとの判定に基づいて運転者に安全保持を促す安全促進手段とを備え、
前記走行環境検出手段は、自車両の操舵角変化と方向指示器の作動によって自車両の進路変更とを検出し、前記走行環境判定手段は、方向指示器が作動した場合を安全確認が必要な走行環境と判定し、前記安全確認判定手段は、方向指示器の作動開始時から操舵角が変化するまでの間に運転者が安全確認を怠ったと判定した場合、運転者に安全保持を促すよう前記安全促進手段に指示することを特徴とする自動車用の安全促進装置。An image input means for inputting the face image of the driver of the car, a feature amount detecting means for detecting and storing a face feature value by performing image processing on the face image input by the image input means, and a traveling environment of the host vehicle A traveling environment detecting means for detecting, a traveling environment determining means for determining whether or not the traveling environment of the host vehicle is an environment that requires safety confirmation based on detection data of the traveling environment detecting means, and the traveling environment determining means; When it is determined that the driving environment requires safety confirmation, safety confirmation determination means for determining presence / absence of driver's safety confirmation based on detection data of the feature amount detection means, and safety by the safety confirmation determination means A safety promotion means for encouraging the driver to maintain safety based on the determination that the confirmation is neglected,
The traveling environment detection means detects a change in the steering angle of the host vehicle and a change in the course of the host vehicle by the operation of the direction indicator, and the traveling environment determination unit needs to confirm safety when the direction indicator is operated. When the driving environment is determined and the safety check determining means determines that the driver has failed to check the safety between the start of the operation of the direction indicator and the change of the steering angle, the safety check determining means prompts the driver to maintain safety. A safety promoting device for an automobile, characterized by instructing the safety promoting means.

自動車の運転者の顔画像を入力する画像入力手段と、該画像入力手段が入力した顔画像を画像処理して顔の特徴量を検出し記憶する特徴量検出手段と、自車両の走行環境を検出する走行環境検出手段と、該走行環境検出手段の検出データに基づいて自車両の走行環境が安全確認を必要とする環境か否かを判定する走行環境判定手段と、該走行環境判定手段が安全確認を必要とする走行環境であると判定した場合に、前記特徴量検出手段の検出データに基づいて運転者の安全確認の有無を判定する安全確認判定手段と、該安全確認判定手段による安全確認を怠ったとの判定に基づいて運転者に安全保持を促す安全促進手段とを備え、An image input means for inputting the face image of the driver of the automobile, a feature amount detecting means for detecting and storing a face feature amount by processing the face image input by the image input means, and a traveling environment of the host vehicle A traveling environment detecting means for detecting, a traveling environment determining means for determining whether the traveling environment of the host vehicle is an environment requiring safety confirmation based on detection data of the traveling environment detecting means, and the traveling environment determining means; When it is determined that the driving environment requires safety confirmation, safety confirmation determination means for determining the presence or absence of a driver's safety confirmation based on detection data of the feature amount detection means, and safety by the safety confirmation determination means A safety promotion means for encouraging the driver to maintain safety based on the determination that the confirmation is neglected,
前記走行環境検出手段は、ブレーキペダルの踏み込みの有無とトランスミッションのギヤ位置がリバース位置か否かを検出し、前記走行環境判定手段は、前記リバース位置にある場合を安全確認が必要な走行環境と判定し、前記安全確認判定手段は、トランスミッションのギヤ位置がリバース位置になった時点からブレーキペダルの踏み込み無しが検出されるまでの間に運転者が安全確認を怠ったと判定した場合、運転者に安全保持を促すよう前記安全促進手段に指示することを特徴とする自動車用の安全促進装置。The travel environment detection means detects whether or not the brake pedal is depressed and whether or not the gear position of the transmission is in the reverse position, and the travel environment determination means determines that the safety condition is required when the vehicle is in the reverse position. The safety confirmation determining means determines that if the driver has neglected the safety check from the time when the gear position of the transmission is in the reverse position until the absence of depression of the brake pedal is detected, A safety promoting device for an automobile, wherein the safety promoting means is instructed to promote safety maintenance.

自動車の運転者の顔画像を入力する画像入力手段と、該画像入力手段が入力した顔画像を画像処理して顔の特徴量を検出し記憶する特徴量検出手段と、自車両の走行環境を検出する走行環境検出手段と、該走行環境検出手段の検出データに基づいて自車両の走行環境が安全確認を必要とする環境か否かを判定する走行環境判定手段と、該走行環境判定手段が安全確認を必要とする走行環境であると判定した場合に、前記特徴量検出手段の検出データに基づいて運転者の安全確認の有無を判定する安全確認判定手段と、該安全確認判定手段による安全確認を怠ったとの判定に基づいて運転者に安全保持を促す安全促進手段とを備え、An image input means for inputting the face image of the driver of the automobile, a feature amount detecting means for detecting and storing a face feature amount by processing the face image input by the image input means, and a traveling environment of the host vehicle A traveling environment detecting means for detecting, a traveling environment determining means for determining whether the traveling environment of the host vehicle is an environment requiring safety confirmation based on detection data of the traveling environment detecting means, and the traveling environment determining means; When it is determined that the driving environment requires safety confirmation, safety confirmation determination means for determining the presence or absence of a driver's safety confirmation based on detection data of the feature amount detection means, and safety by the safety confirmation determination means A safety promotion means for encouraging the driver to maintain safety based on the determination that the confirmation is neglected,
前記走行環境検出手段は、アクセルペダルの踏み込みの有無とトランスミッションのギヤ位置がリバース位置か否かを検出し、前記走行環境判定手段は、前記リバース位置にある場合を安全確認が必要な走行環境と判定し、前記安全確認判定手段は、トランスミッションのギヤ位置がリバース位置になった時点からアクセルペダルの踏み込み有りが検出されるまでの間に運転者が安全確認を怠ったと判定した場合、運転者に安全保持を促すよう前記安全促進手段に指示することを特徴とする自動車用の安全促進装置。The travel environment detection means detects whether or not the accelerator pedal is depressed and whether or not the transmission gear position is the reverse position, and the travel environment determination means determines that the safety condition is required when the vehicle is in the reverse position. The safety confirmation determining means determines if the driver has neglected the safety check from the time when the gear position of the transmission is in the reverse position until the presence of depression of the accelerator pedal is detected. A safety promoting device for an automobile, wherein the safety promoting means is instructed to promote safety maintenance.