JP4692447B2

JP4692447B2 - 居眠り検知装置、居眠り検知方法

Info

Publication number: JP4692447B2
Application number: JP2006244650A
Authority: JP
Inventors: 健一大上; 重康魚住
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2006-09-08
Filing date: 2006-09-08
Publication date: 2011-06-01
Anticipated expiration: 2026-09-08
Also published as: JP2008065705A

Description

本発明は、運転者の居眠り検知装置及び居眠り検知方法に関し、特に、運転者の顔画像を解析して運転者の居眠りを検知する居眠り検知装置及び居眠り検知方法に関する。

車両などを運転するオペレータの居眠りを検知して、注意喚起や減速などの制御を行うべく、閉眼時間や眼の開度に基づき居眠りを検知する方法が提案されている（例えば、特許文献１参照。）。特許文献１では、運転者の顔画像を撮影し、濃淡画像から眼の位置を検出すると共に黒眼領域の増減に基づき眼の開度変化を検出し、眼の開度が所定以下となると居眠り又はその傾向があると判定する。

また、顔の向きを検出して注意喚起するため、顔画像の対称性を利用した顔向きの検出方法が提案されている（例えば、特許文献２参照。）。特許文献２では、運転者の顔画像を撮影し、運転者の顔画像から両眼及び鼻孔の４点の特徴部を検出し、この４点を結ぶ直線の長さや平面の大きさの変化から、運転者の顔向きを検出している。運転者の顔向きが所定時間以上継続して下向きと検出された場合、居眠り又はその傾向があると判定することができる。
特開２０００−３０１９６２号公報特開２００５−２６６８６８号公報

しかしながら、特許文献１のように眼の開度変化を検出する居眠り検知方法では、眼の位置を追跡する必要があるため、眼の位置が追跡困難になると居眠り判定を禁止してしまう。したがって、居眠りにより顔が伏せられ眼の位置の検出が困難になると居眠り判定が行われず、居眠りしていても居眠りが検知されないおそれがある。

また、顔の対称性にのみ注目して顔向きを検出する場合、顔画像の撮影時の光環境、また、髪型やメガネの有無など個人差に起因して、精度よく顔向きを判定できない場合がある。

本発明は、上記課題に鑑み、顔向きが下向きになっても居眠りを検知することができる居眠り検知装置及び居眠り検知方法を提供することを目的とする。

上記課題を解決するため、本発明は、運転者の顔画像に基づき居眠りを検知する居眠り検知装置であって、運転者の前記顔画像を撮影する撮影手段と、前記撮影手段により撮影された前記顔画像から鼻孔を検出する鼻孔検出手段と、前記顔画像から鼻孔が検出されない場合、前記運転者が居眠りしていると判定する運転者状態判定手段と、時刻又は天候に応じて鼻孔の検出の困難さを検出する鼻孔検出レベル検出手段と、を有し、前記鼻孔検出手段は、鼻孔の検出過程の画像処理にて用いられる値を、前記困難さが高いほど鼻孔検出が容易となるように変更する、を有することを特徴とする。

本発明によれば、顔画像における鼻孔の有無に基づき居眠りを検知するので、眼を追跡する必要がなく、また、運転者が顔を伏せて眼が検出されない体勢になっても居眠りを検出することができる。
本発明によれば、鼻孔の検出容易レベルを検出して鼻孔の検出が困難な場合には検出し易くすることによって、居眠りの誤判定を低減し運転者が煩わしさを感じにくくすることができる。

本発明によれば、鼻孔の検出容易レベルを検出して鼻孔の検出が困難な場合には検出し易くすることによって、居眠りの誤判定を低減し運転者が煩わしさを感じにくくすることができる。

顔向きが下向きになっても居眠りを検知することができる居眠り検知装置及び居眠り検知方法を提供することができる。

以下、本発明を実施するための最良の形態について、実施例を上げながら図面を参照して説明する。

図１は、居眠り検知装置１０の概略構成図を示す。本実施例の居眠り検知装置１０は、第１段階としてカメラ２が撮影した顔画像の対称性に基づき顔向きを検出し、第２段階として鼻孔の検出状態に基づき最終的な運転者の顔向き又は居眠りを検知する。なお、運転者の顔向きを検出することなく鼻孔の検出状態に基づき居眠りを検知してもよい。

カメラ２は、運転者１の顔を正面やや下方から臨む位置、例えば、メータパネル３内やステアリングコラムに配置される。カメラ２は、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）の光電変換素子を有し、入射した光をその強度に応じて光電変換して、蓄積した電荷を電圧として読み出し、さらに増幅してＡ／Ｄ変換した後、所定の輝度階調（例えば、２５６階調）のデジタル画像（以下、顔画像という）を出力する。

カメラ２は画像処理ＥＣＵ（Electronic Control Unit）４に接続され、画像処理ＥＣＵ４は運転者の顔画像を解析して居眠りを検知する。そして、衝突判定ＥＣＵ５は、画像処理ＥＣＵ４から居眠り検知信号を受信すると、ＣＡＮ（Controller Area Network）など車内ＬＡＮを介して接続されたメータＥＣＵ６、ブレーキＥＣＵ７及びシートベルトＥＣＵ８に、運転者を注意喚起するため等の制御を実行する制御信号を送出する。

例えば、衝突判定ＥＣＵ５は、シートベルトＥＣＵ８と通信してシートベルトの巻き上げ要求信号を送信し、メータＥＣＵ６にウォーニングランプを点灯させたり、警報音を吹鳴させることで運転者に注意を喚起する。また、ブレーキＥＣＵ７に制動要求信号を送出し、先行車等との衝突を回避し又は衝撃を緩和させてもよい。

なお、衝突判定ＥＣＵ５にはレーダ装置やレーン検出用のカメラが接続されており、障害物等と衝突が不可避である場合にはシートベルトの巻き上げやブレーキ制御などプリクラッシュ制御を実行し、また、走行レーンを逸脱するおそれが生じた場合には電動ステアリングを操舵して車線を維持する制御を実行する。

画像処理ＥＣＵ４は、プログラムを実行するＣＰＵ、プログラム実行の作業領域となり又は一時的にデータを記憶するＲＡＭ、イグニションオフしてもデータを保持するＥＥＰＲＯＭ（Electronically Erasable and Programmable Read Only Memory）、画像データの入力や他のＥＣＵとのインターフェイスとなる入出力インターフェイ、他のＥＣＵと通信する通信コントローラ、及び、プログラムを記憶するＲＯＭ等がバスにより接続されたマイコンにより構成される。ＣＰＵがプログラムを実行することで、顔向き検出手段４ａ、鼻孔検出手段４ｂ及び運転者状態判定手段４ｃを実現する。なお、衝突判定ＥＣＵ５など他のＥＣＵも、ＣＰＵ、ＲＡＭ、ＥＥＰＲＯＭ、入出力インターフェイス、通信コントローラ、及び、ＲＯＭ等がバスにより接続されたマイコンにより構成される。

図２（ａ）は、カメラ２により撮影された顔画像の一例を示す。顔向き検出手段４ａは図２（ａ）のごとき顔画像に画像処理を施し顔向きを検出し、鼻孔検出手段４ｂは鼻孔を検出する。鼻孔は２つあるので、全て検出可能であれば両方を、一方のみ検出可能であれば単数の鼻孔を検出する。

顔向きの検出及び鼻孔の検出について説明する。まず、顔向き検出手段４ａは、人の顔の眼や鼻などパーツが左右対称に配置されていることを利用して顔向きを検出する。顔向き検出手段４ａは、図２（ｂ）に示すように顔画像の輝度値を上下方向及び横方向に微分処理してエッジ情報を取得する。

図２（ｃ）は顔画像からえられるエッジ情報の一例を示す。人の顔には、眉、眼、鼻孔唇等のパーツがほぼ左右に均等に配置されているので、パーツにより得られるエッジ情報も左右に略均等に分布していると考えられる。そこで、顔向き検出手段４ａは、左右のエッジ情報の数がほぼ均等になるように顔の中央線を設定し、以降は、該中央線を追跡することで顔向きを検出する。

ところで、顔画像には背景や服装なども写っているため、それらのエッジ情報が人の顔と近似してしまうことがあり、顔向きを誤って検出するおそれがある。そこで、顔向きや鼻孔を検出する上では、顔画像から顔の輪郭を検出しておくことが好適となる。顔の輪郭は、例えば、順次撮影される顔画像の差分演算や、顔の標準画像（テンプレート）を使用したパターンマッチング、カラーの顔画像を用いて肌色の領域を検出する等の方法により検出される。

順次入力される顔画像の差分演算を利用する場合、車や乗員の微振動のため顔画像から顔の輪郭を浮かび上がらせることができる。すなわち、背景が静止しているのに対し顔の輪郭より内側の画像は移動しうるので、輪郭部分の輝度が微少変動することで顔の輪郭が検出される。顔向き検出手段４ａは、所定数の顔画像において輝度の変動の大きい領域を顔の輪郭として検出する。

鼻孔検出手段４ｂは、このようにして得られた顔向き及び顔の輪郭から鼻孔を検出する。鼻孔は顔の中央部のやや下方に存在するので、中央線のやや下方の所定領域を検出対象領域に設定し、検出対象領域から鼻孔を検出することで、検出精度を向上することができる。

また、鼻孔は顔画像において暗く撮影されるので、暗部のみを取り出す所定の閾値により顔画像の画素値（輝度）を２値化することで抽出される。図３（ａ）は、図２（ａ）の顔画像を２値化した顔画像の一例を示す。２値化したのみでは、瞳や眉なども抽出されるため、検出対称領域から、黒領域が連結されている領域の画素数が鼻孔の大きさ程度の所定範囲に含まれるものを鼻孔として検出する。また、鼻孔は略楕円の形状であるので、外接矩形の縦横比により絞り込んでもよい。

図３（ｂ）は、画像処理により浮かび上がらせた顔の輪郭内に検出された鼻孔の一例を示す図である。以上のようにして、鼻孔検出手段４ｂは顔画像から鼻孔を検出する。そして、運転者状態判定手段４ｃは、鼻孔が検出されない場合に運転者が居眠りしていると判定する。

カメラ２の撮影範囲と運転者の顔の位置から、運転者が正面を向いている場合は２つの鼻孔が検出可能であり、運転者が左右のいずれかを向いている場合は左右いずれかの鼻孔が検出可能である。したがって、鼻孔が２つとも検出されない場合は運転者がうつむいていると推定でき、運転者状態判定手段４ｃは鼻孔が２つとも検出されない時間が所定以上継続する場合、運転者が居眠りしていると判定する。

ところで、鼻孔の検出結果は、顔向きの検出結果にフィードバックすることができる。エッジ情報を検出した場合、上記のように背景などを顔のパーツがもたらすエッジ情報と誤検出する場合があるため、顔の輪郭を上下に大きく異なる位置で検出してしまう場合がある。

そこで、鼻孔が検出された場合には、鼻孔の検出位置を顔向きの検出位置にフィードバックすることで、顔向きの検出精度を向上することができる。鼻孔検出手段４ｂは、鼻孔が２つ検出された場合には２つの鼻孔の中間に中央線があることを確認し、鼻孔が１つ検出された場合には１つの鼻孔と間隔の狭い側の輪郭線との間に中央線があることを確認する。また、眼の開度に基づき居眠りを検知する場合、眼と鼻孔には相対的な位置関係があるので、鼻孔位置は眼の開度を監視する処理に有効な情報となる。

このように、鼻孔の検出結果を、顔向きの検出結果にフィードバックすることで、さらに顔向きの検出精度を向上させることができる。

図４は、居眠り検知装置１０が居眠りを検知する手順を示すフローチャート図である。図４のフローチャート図の処理は、イグニッションオンかつシフトポジションをドライブなど前進走行のポジションにシフトした場合にスタートする。

まず、顔向き検出手段４ａがカメラ２が撮影した顔画像から顔向きを検出し、鼻孔検出手段４ｂが顔向き検出結果を利用して鼻孔を検出する（Ｓ１）。鼻孔の検出は、全ての顔画像を対象に行ってもよいし所定のサイクル時間毎に行ってもよい。

運転者状態判定手段４ｃは鼻孔の検出結果に応じて運転者の状態を判定する（Ｓ２）。鼻孔が２つとも検出される場合、運転者は正面を向いていると考えられるので、運転者状態判定手段４ｃは鼻孔検出を繰り返す。

鼻孔が１つのみ検出される場合、運転者状態判定手段４ｃは運転者が左右のいずれか横方向を向いていると判定する（Ｓ３）。運転中、運転者は安全確認などのため、横方向を見ることがあるが、横方向を向いている時間が所定以上となった場合には、メッセージの表示や警報の吹鳴などを行う。

また、警報を吹鳴するか否かにおいてはステアリングの操舵方向を考慮し、操舵方向を向いている場合には警報の吹鳴を禁止することで運転者が煩わしく感じることを防止できる。また、横方向を向いている状態でレーダなどが障害物を検知した場合、通常よりも早めに警報を吹鳴することで、余裕を持って回避操作することができる。

そして、鼻孔が２つとも検出されない場合、運転者は下方向を向いていると考えられるので、運転者状態判定手段４ｃは運転者が居眠りしていると判定する（Ｓ４）。上述のように、画像処理ＥＣＵ４は衝突判定ＥＣＵ５に居眠り検知信号を送出する（Ｓ５）。以上の処理により、衝突判定ＥＣＵ５は、運転者に注意を喚起するための制御を実行できる。

鼻孔が２つとも検出されない場合として、運転者が大きく横を向いた場合も考えられる。例えば、ナビ画面を見ている場合だと正面に対し２０度程度であるが、左側のドアミラーを見ている場合だと５０〜６０度、運転者の顔向きが横方向になり鼻孔は２つとも検出されない。このような場合には鼻孔が消失する直前の顔向きから横方向を向いていると判定されれば、注意喚起の制御を禁止することで、煩わしさを防止できる。また、運転者が後退走行のため後方を注視している場合は警報を吹鳴すべきでないので、横方向を向いていてもシフトポジション「Ｒ（リア）」を検出した場合には注意喚起の制御を禁止する。

本実施例によれば、眼の位置や開度を検出しなくてもよいので、顔が伏せられている場合のように眼が検出されない場合であっても、居眠りを検出することができる。また、１つのみ検出されている場合には脇見検知することができる。

本実施例では、鼻孔を検出するための制御値を顔画像の撮影状況に応じて設定する居眠り検知装置１０について説明する。

鼻孔の検出には鼻孔が暗部となることを利用するが、光の加減により鼻孔が形成する暗部の検出が困難な場合がある。そこで、本実施例では時刻や天候に応じて鼻孔を検出するための制御値を可変として、鼻孔が検出しにくい撮影状況では鼻孔を検出しやすくなるように制御値を設定する。

これにより、鼻孔が検出しにくい撮影状況であっても鼻孔を検出可能となり、居眠りを誤検知することを防止できる。なお、鼻孔を検出するための制御値とは、例えば、顔画像を２値化するための閾値、又は、鼻孔を検出する顔画像の撮影回数である。また、制御値として、輪郭内中央部のやや下方に設けられた検出対象領域の大きさ、鼻孔の黒領域の大きさや形状を判定するための上限及び下限値等、鼻孔の検出過程において基準とされる値又はその組み合わせを含めてもよい。

鼻孔の検出に影響を与える撮影状況には、次のようなものがある。レベルｎ（ｎ：１，２，３、…）は数字が大きいほど鼻孔が検出しやすいことを表す。

レベル１：晴天かつ昼間
例えば光の入射方向と顔の位置とが逆光の関係になると、暗部を検出することが困難になる。また、逆に、運転者の顔に真正面から光が入射した場合には、鼻孔に光が差し込んでしまい鼻孔を検出することが困難になる。

レベル２：ワイパーオン時
ワイパーがオンにされるのは雨天等であるが、雨天時には光が直接車内に入射して顔画像に影響を及ぼすことが少ないので晴天時に比べると鼻孔を検出しやすい。

レベル３：テールライトオン時
テールライトがオンにされるのは夕方から夜間であるが、夜間等は雨天時よりも光が直接入射することが更に少なくなるので、鼻孔の検出精度が高い状態となる。

居眠り検知装置１０は、鼻孔の検出に影響を与える撮影状況を検出して、制御値を可変とする。図５（ａ）は、本実施例の画像処理装置の機能ブロック図を示す。なお、図５（ａ）において、図１と同一構成部分には同一の符号を付しその説明は省略する。

図５（ａ）では、画像処理ＥＣＵ４が、鼻孔検出レベル検出手段４ｄ及び制御値４ｅを有する点で図１と異なる。鼻孔検出レベル検出手段４ｄは、「時計、ワイパーＳＷ、テールランプＳＷ、日射センサ（コンライトセンサ）」から時刻情報、オンオフ信号、日射量情報を取得し鼻孔の検出の困難さを示すレベルｎを判定する。

そして、鼻孔検出手段４ｂはこのレベルｎに応じて制御値４ｅを抽出し、鼻孔を検出する。図５（ｂ）は鼻孔の検出の困難さを示すレベルｎと制御値４ｅの関係の一例を示す図である。制御値は値が小さいほど、鼻孔の検出が容易となるように設定されている。

制御値が２値化の閾値の場合、レベルｎが小さい（鼻孔の検出が困難）場合には閾値を小さくすることで、暗部を検出しやすくすることができる。また、制御値が鼻孔を検出する顔画像の撮影回数の場合、レベルｎが小さい場合には撮影回数を多くすることで、鼻孔を検出しやすくすることができる。

したがって、鼻孔の検出が困難な撮影状況でも鼻孔を検出することができ、居眠りの誤判定を防止しうる。なお、図５（ｂ）に示すレベルｎと制御値４ｅの関係は画像処理ＥＣＵ４のＲＯＭに予め記憶されている。

図６は、居眠り検知装置１０が、撮影状況に応じて居眠りを検知する手順を示すフローチャート図である。なお、図６において図３と同一ステップには、同一の符号を付しその説明は簡単に行う。

図６のフローチャート図では、鼻孔を検出する前に撮影状況を検出する点で異なる（Ｓ１０）。鼻孔検出レベル検出手段４ｄは、テールライトがオンか否かを判定しオンであればレベル３、テールライトがオフであってワイパーがオンである場合はレベル２、テールライトとワイパーのいずれもがオフであれば、レベル１と判定する。なお、レベル１においてさらに日射センサにより日射方向や日射量等の日射情報を検出して、それに応じて制御値を設定してもよい。

鼻孔検出手段４ｂは、鼻孔検出レベル検出手段４ｄが判定したレベルｎに応じて制御値４ｅを参照し、レベルに応じた制御値を設定する。

以降は図３の処理手順と同様である。すなわち、鼻孔検出手段４ｂは、鼻孔を検出し（Ｓ１）、鼻孔が２つ共検出されない場合は運転者が居眠りしていていると判定する（Ｓ４）。

本実施例によれば、撮影状況に応じて鼻孔検出のための閾値を可変とすることで、鼻孔を検出しにくい撮影状況であっても居眠り検知の誤判定を低減することができる。

以上のように本実施形態の居眠り検知装置１０は、眼の位置を検出しなくてもよいので、顔向きが下向きになっても居眠りを検知することができる。

居眠り検知装置の概略構成図である。カメラにより撮影された顔画像の一例である。２値化した顔画像の一例を示す。画像処理ＥＣＵが居眠りを検知する手順を示すフローチャート図である。鼻孔の検出の困難さを示すレベルと制御値の関係の一例を示す図である。画像処理ＥＣＵが、撮影状態に応じて居眠りを検知する手順を示すフローチャート図である。

符号の説明

１運転者
２カメラ
３メータパネル
４画像処理ＥＣＵ
４ａ顔向き検出手段
４ｂ鼻孔検出手段
４ｃ運転者状態判定手段
４ｄ鼻孔検出レベル検出手段
４ｅ制御値
５衝突判定ＥＣＵ
６メータＥＣＵ
７ブレーキＥＣＵ
８シートベルトＥＣＵ

Claims

運転者の顔画像に基づき居眠りを検知する居眠り検知装置であって、
運転者の前記顔画像を撮影する撮影手段と、
前記撮影手段により撮影された前記顔画像から鼻孔を検出する鼻孔検出手段と、
前記顔画像から鼻孔が検出されない場合、前記運転者が居眠りしていると判定する運転者状態判定手段と、
時刻又は天候に応じて鼻孔の検出の困難さを検出する鼻孔検出レベル検出手段、を有し、
前記鼻孔検出手段は、鼻孔の検出過程の画像処理にて用いられる値を、前記困難さが
高いほど鼻孔検出が容易となるように変更する、
ことを特徴とする居眠り検知装置。