JP4331197B2 - 眼開度検出装置及び方法 - Google Patents

Description

本発明は、被験者の眼の開度を検出する眼開度検出装置及び方法に関する。

従来から、上述の種の眼開度検出装置において、下瞼の上端位置を検出し、次に、上瞼の下端位置を検出する技術が知られている（例えば、特許文献１参照）。この特許文献１に記載の装置では、下瞼の上端位置は、先ず虹彩端点検出用閾値を求めた範囲より下方に計測列の画素を走査し、濃度値が所定の虹彩端点検出用閾値を上回る画素の位置として検出されている。また、上瞼の下端位置は、瞳孔の上端位置から上方向に計測列の画素を走査し、濃度値が所定の虹彩端点検出用閾値を上回る画素の位置として検出されている。尚、虹彩端点検出用閾値は、瞳孔の下端位置から下方向に濃度値の最大値を求め、得られた最大値に基づいて設定されている。
特許第３３８３５９４号公報

ところで、被験者の眼の開度を検出するには、下瞼と上瞼を検出する必要があるが、下瞼の方が上瞼よりも形状的な特徴が少ないため、検出が困難である。この点、上述の特許文献１に記載の発明では、下瞼を検出してから上瞼を検出するので、下瞼の誤検出が生じやすく、眼の開度の検出精度が悪くなる虞がある。

そこで、本発明は、下瞼の誤検出を適切に防止して眼の開度を精度良く検出することができる眼開度検出装置及び方法の提供を目的とする。

上記目的を達成するため、第１の発明は、被験者の顔を撮像する撮像手段と、
前記撮像された画像のエッジを抽出するエッジ抽出手段と、
前記抽出されたエッジに基づいて被験者の眼の上瞼と下瞼を検出する上下瞼検出手段とを有し、
前記検出された上瞼と下瞼の距離に基づいて被験者の眼の開度を検出する眼開度検出装置において、
前記上下瞼検出手段が、瞬き時に上瞼が他の眼の部分に比べて大きく動くことを利用して複数の時系列で連続する画像から上瞼を検出すると共に、該検出した上瞼の位置を基準にして下瞼の探索範囲の位置を決定し、該決定した位置に配置された探索範囲内で下瞼を検出することを特徴とする。

この第１の発明によれば、瞬き時に他の眼の部分に比べて大きく動く上瞼が他の眼の部分よりも検出率が良くなることに着目して、検出された上瞼を基準にして下瞼の探索範囲の位置を決定し、該決定した位置に配置された探索範囲内で下瞼を検出することで、下瞼の誤検出を適切に防止して眼の開度を精度良く検出することができる。

第２の発明は、第１の発明に係る眼開度検出装置において、
前記撮像手段が、被験者の眼の位置より水平方向下側に配置されることを特徴とする。

この第２の発明によれば、撮像手段により下方から上向きに被験者を撮像すると、上瞼の方が下瞼よりも鮮明に判別することできることに着目して、上瞼の検出精度を高めることができ、当該精度良く検出された上瞼を基準にすることで、下瞼の検出精度を更に高めることができる。

第３の発明は、第１の発明に係る眼開度検出装置において、
被験者が車両の操作者であり、
前記撮像手段が、操作者用座席に設けられるヘッドレストの位置より水平方向下側に配置されることを特徴とする。これにより、撮像手段により下方から上向きに車両の操作者を適切に撮像することができる。

第４の発明は、第１〜３の何れかの発明に係る眼開度検出装置において、
被験者の顔に光を照射する照明手段を更に有し、
該照明手段が、被験者の眼の位置より水平方向下側に配置されることを特徴とする。

この第４の発明によれば、照明手段により下方から上向きに被験者を照明すると、当該照明による影の出来る方向が上になり上瞼の方が下瞼よりも鮮明に判別することできることに着目して、上瞼の検出精度を高めることができ、当該精度良く検出された上瞼を基準にすることで、下瞼の検出精度を更に高めることができる。

第５の発明は、第４の発明に係る眼開度検出装置において、
被験者が車両の操作者であり、
前記照明手段が、操作者用座席に設けられるヘッドレストの位置より水平方向下側に配置されることを特徴とする。これにより、照明手段により下方から上向きに車両の操作者を適切に照明することができる。

第６の発明は、第１〜４のうちの何れかの発明に係る眼開度検出装置において、前記撮像手段を第１の撮像手段として、更に別の撮像手段を第２の撮像手段として備え、
前記エッジ抽出手段が、前記第１の撮像手段及び前記第２の撮像手段のいずれかによって得られた画像のエッジを抽出し、
前記上下瞼検出手段が、前記第１及び前記第２の撮像手段のうち少なくとも前記第１の撮像手段から得られた画像に対して、上瞼を検出すると共に、該検出した上瞼を基準にして下瞼を検出することを特徴とする。

第７の発明は、被験者の眼の開度を検出する眼開度検出方法であって、
被験者の顔の画像を入力するステップと、
前記取得した顔の画像のエッジを抽出するステップと、
瞬き時に上瞼が他の眼の部分に比べて大きく動くことを利用して、複数の時系列で連続する画像から抽出された前記エッジに基づいて被験者の眼の上瞼を検出するステップと、
前記検出された上瞼を基準にして被験者の眼の下瞼を検出するステップとを備えることを特徴とする。

この第７の発明によれば、瞬き時に他の眼の部分に比べて大きく動く上瞼が他の眼の部分よりも検出率が良くなることに着目して、検出された上瞼を基準にして下瞼を検出することで、下瞼の誤検出を適切に防止して眼の開度を精度良く検出することができる。

本発明によれば、下瞼の誤検出を適切に防止して眼の開度を精度良く検出することができる眼開度検出装置及び方法が得られる。

以下、図面を参照して、本発明を実施するための最良の形態の説明を行う。

図１は、本発明の眼開度検出装置の一実施例の主要構成を示す構成図である。本実施例の眼開度検出装置１００は、被験者の顔を撮像する撮像手段１２０と、画像処理装置１４０とを備える。

撮像手段１２０は、例えばＣＣＤ（charge-coupled device）やＣＭＯＳ(complementary metal oxide semiconductor)等を撮像素子としたセンサアレイを備えるカメラであってよい。撮像手段１２０は、濃淡画像（例えば２５６階調の濃淡画像）を取得するものであってよい。撮像手段１２０は、運転者の前面（例えば運転者の顔部を前方から）を捕捉可能なように、車両の適切な箇所に設けられる。撮像手段１２０は、好ましくは、運転者の眼の位置より水平方向下側に配置される。即ち、本実施例のように被験者が運転者の場合、撮像手段１２０は、好ましくは、運転者用座席に設けられるヘッドレストの位置より水平方向下側に配置される。更に、この撮像手段１２０の光軸は、水平方向から上向きに傾いており、例えば、撮像手段１２０は、運転者の顔部を上向きの光軸で捕捉するように、ステアリングコラム又はメータ内に配置される。このような好ましい配置によれば、後述の如く運転者の上瞼を精度良く認識することができる（理由については後述）。撮像手段１２０は、車両走行中にリアルタイムに運転者の顔部の画像（以下、「顔画像」という）を取得し、典型的には３０fps(frame per second)のストリーム形式で、画像処理装置１４０に供給するものであってよい。

撮像手段１２０は、好ましくは、運転者の顔部に光を照射する照明手段１３０を備える。照明手段１３０は、例えば近赤外光を照射するものであってよい。照明手段１３０は、運転者の前面（例えば運転者の顔部を前方から）を照明可能なように、車両の適切な箇所に設けられる。照明手段１３０は、撮像手段１２０と同様、好ましくは、運転者の眼の位置より水平方向下側に配置される。即ち、本実施例のように被験者が運転者の場合、照明手段１３０は、好ましくは、運転者用座席に設けられるヘッドレストの位置より水平方向下側に配置される。更に、照明手段１３０の光軸は、水平方向から上向きに傾いており、下方から上向きに運転者の顔を照明するように配置されている。このような好ましい配置によれば、後述の如く運転者の上瞼を精度良く認識することができる（理由については後述）。尚、照明手段１３０は、図１に示すように、撮像手段１２０に内蔵されていてよく、照明手段１３０の光軸と撮像手段１２０の光軸が同一方向であってよい。

画像処理装置１４０は、ハードウェア構成としては、適切なプロセッサ（例えばDSP：digital signal processor）ないしマイクロコンピューターを中心に構成され、以下で説明する各種画像処理を行うＣＰＵや、以下で説明する各種画像処理を行うために用いられるプログラム及びデータが格納されたＲＯＭ、演算結果等を格納する読書き可能なＲＡＭ、タイマ、カウンタ、入力インターフェイス、及び出力インターフェイス等を有する。

図２は、画像処理装置１４０により実行される主要処理を示すフローチャートである。

ステップ１００では、顔画像のおける鼻の位置が検出される。鼻の位置は、例えば鼻の穴（２つ）を特徴として検出されてよい。尚、本実施例では、上述の如く撮像手段１２０により下方から上向きに運転者の顔を捕捉して顔画像を取得することにより、運転者が正常な姿勢であれば（例えば極端に下を向いている場合等を除いて）、鼻の穴を検出することが可能である。

ステップ１１０では、検出された鼻の位置に基づいて、眼ウインドウの位置が決定される。眼ウインドウの位置は、鼻と眼の幾何学的な位置関係に基づいて適切に決定される。例えば、眼ウインドウは、鼻の位置を中心として画像の上方向両側に２箇所設定される。眼ウインドウは、眼の全体範囲をカバーできるようなサイズを有するが、顔における鼻に対する眼の相対位置に個人差があることや、同一の運転者においても顔向きの相違に応じて同相対位置が変化しうることを考慮して、ある程度の余裕分を有したサイズに設定される。

ステップ１２０では、眼ウインドウ内の領域に対してエッジ抽出処理及び特徴量抽出処理が実行される。エッジ抽出処理は、例えばSobelのエッジ検出アルゴリズムを適用して実行されてよい。例えば、一般的な3×3のSobelフィルタを用いて眼ウインドウ内の横エッジが抽出される。以下では、便宜上、抽出された横エッジのうち、垂直ライン上で上から下方向に濃淡値が白から黒への遷移することに起因して抽出された横エッジを、「白黒エッジ」とも称し、濃淡値の黒から白への遷移に起因して抽出された横エッジを、「黒白エッジ」とも称する。

特徴量抽出処理は、例えば以下のように実行されてよい。先ず、水平ライン毎に、横エッジの強度和(濃淡値の和)を評価し、横エッジの強度和がピークとなる横エッジ (即ち、横エッジのヒストグラムでピークを構成する横エッジ)を抽出する。

ステップ１３０では、眼ウインドウ内で探索ウインドウを動かして、エッジ抽出処理結果及び特徴量抽出処理に基づいて、上瞼の位置が決定される。探索ウインドウは、上瞼の表す画素の範囲を予め試験等で導出し、当該画素範囲に基づいて決定されてよい。探索ウインドウは、例えば１×１５（垂直方向に１画素、水平方向に１５画素）程度であってよく、解像度やスケーリング等に応じて適切に決定される。具体的には、眼ウインドウ内で探索ウインドウを動かしながら、探索ウインドウ内の横エッジの強度和を算出し、横エッジの強度和が所定値以上となる位置の探索ウインドウ内の横エッジ（白黒エッジ）を、「上瞼候補」として認識する。この際、上下で隣接する上瞼候補が存在する場合には、最も上側の上瞼候補以外の上瞼候補を破棄する。更に、眼ウインドウの上端付近に上瞼候補が存在する場合には、当該上瞼候補を破棄する。これは、眼ウインドウは上述の如く大きめに設定しているので、上端付近に眉毛を表す横エッジが存在する場合があるからである。次いで、残存する上瞼候補を、上瞼を表す横エッジとして認識する。

或いは、開眼時の上瞼が一般的に円弧形状であるいう形状的特徴を利用して、上瞼を表すエッジを抽出してもよい。即ち、略水平に延びる円弧状に連続するエッジ（垂直方向で上から白から黒になるエッジ）が、上瞼を表すエッジとして認識されてよい。かかる形状的特徴を利用することで、精度良く上瞼の位置を検出することができる。また、複数の連続的な画像フレームを用いる場合には、上瞼の位置は、瞬き時に上瞼が他の眼の部分(例えば下瞼や、眉毛やメガネのフレーム)に比べてより大きく動くという特徴を利用して決定されてもよい。

ステップ１４０では、上記のステップ１３０にて決定された上瞼の位置に基づいて、下瞼を検出するための探索ウインドウの位置が決定される。下瞼検出用の探索ウインドウの位置は、上述の如く検出された上瞼の位置を基準に上瞼よりも下方に設定され、例えば、眼の平均的なサイズ（眼が開いた状態での平均的な上瞼と下瞼の間の距離）に相当する画素数だけ上瞼の位置から下方に設定されてよい。下瞼検出用の探索ウインドウのサイズは、上瞼検出用の探索ウインドウのサイズと同様であってよく、下瞼を表す画素の範囲を予め試験等で導出し、当該画素範囲に基づいて決定されてよい。

ステップ１５０では、上記のステップ１４０にて決定された位置に探索ウインドウを移動させて、下瞼が検出される。例えば、探索ウインドウ内に横エッジ（黒白エッジ）が存在する場合には、当該横エッジを、下瞼を表す横エッジとして認識する。

ステップ１６０では、上記のステップ１３０で認識された上瞼を表す横エッジと、１５０で認識された下瞼を表す横エッジとの垂直方向の距離を、眼の開度として算出し、当該眼の開度に基づいて、運転者の眼が閉じられているか否かが判定される。尚、この判定結果は、各種警報制御に利用されてよい。例えば運転者の眼の閉じた時間の長さを検出し、当該時間の長さが所定時間以上となった場合に運転者の覚醒度が低下したと判断して、警報を出力してよい。

以上説明した本実施例の眼開度検出装置１００によれば、とりわけ以下のような有利な効果が奏される。

上述の如く、上瞼を検出してから、当該上瞼の検出結果を基準として下瞼の探索範囲を決定し、当該探索範囲内で下瞼を検出するので、上瞼及び下瞼を別個独立的に検出する構成や、下瞼を検出してから上瞼を検出する構成に比べて、下瞼の検出精度が大幅に向上する。特に、上瞼は、上述の如く開眼時の上瞼が円弧形状であるいう上瞼の形状的な特徴を利用して検出できるので、かかる形状的特徴に乏しい下瞼に比べて、検出しやすい。他言すると、下瞼は、上瞼よりも特徴が乏しく検出し難い。従って、上述の如く、上瞼を検出してからその結果を利用して下瞼を検出することで、特徴が乏しく検出し難い下瞼を容易に精度良く検出することができる。

また、上述の如く、撮像手段１２０により下方から上向きに運転者の顔を捕捉して顔画像を取得することにより、上瞼のまつげが眼球部分にかからなくなるので、上瞼を表す横エッジが抽出されやすくなる(即ち、上瞼を表す横エッジが鮮明に出る。)。これにより、上瞼の検出精度及びそれに伴い下瞼の検出精度が大幅に向上する。尚、撮像手段１２０により下方から上向きに運転者の顔を捕捉して顔画像を取得する場合、下瞼のまつげが眼球部分にかかり、下瞼を表す横エッジが鮮明に出ない可能性がある。この点、上述の如く本実施例では、上瞼を検出してからその結果を利用して下瞼を検出することで、不鮮明であったとしても下瞼を表す横エッジを精度良く検出することができる。

また、上述の如く、照明手段１３０により下方から上向きに運転者の顔を照明して顔画像を取得することにより、影が上方向にできるので、上瞼を表す横エッジが抽出されやすくなる(即ち、上瞼を表す横エッジが鮮明に出る。)。これにより、上瞼の検出精度及びそれに伴い下瞼の検出精度が大幅に向上する。尚、照明手段１３０により下方から上向きに運転者の顔を照明して顔画像を取得する場合、下瞼の影部分が眼球部分にかかり、下瞼を表す横エッジが鮮明に出ない可能性がある。この点、上述の如く本実施例では、上瞼を検出してからその結果を利用して下瞼を検出することで、不鮮明であったとしても下瞼を表す横エッジを精度良く検出することができる。

尚、上述の実施例においては、添付の特許請求の範囲における「エッジ抽出手段」は、画像処理装置１４０が図２のステップ１２０の処理を実行することにより実現され、同特許請求の範囲における「上下瞼検出手段」は、画像処理装置１４０が図２のステップ１３０,１４０の処理を実行することにより実現されている。

以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなく、上述した実施例に種々の変形及び置換を加えることができる。

例えば、被験者は、車両の操作者である運転者であるが、被験者としては、自動二輪車、鉄道、飛行機等の操作者であってもよい。

また、上述の実施例では、横エッジの強度和やヒストグラムのピーク(横エッジピーク)を評価値として上瞼等を検出しているが、パターンマッチングを用いて上瞼ないし下瞼を検出してもよい。この場合、上述の如く上瞼の円弧状の形状的特徴を利用してパターンマッチングを行うことで、上瞼の検出精度を高め、ひいては上瞼を基準として検出される下瞼の検出精度を高めることができる。

また、上述の実施例では、１つ撮像手段１２０を用いたアプリケーションを例示しているが、撮像手段１２０とは別の第２の撮像手段を設けて、２以上の撮像手段により運転者の眼開度を検出することも可能である。この場合、第２の撮像手段は、例えばサンバイザやバックミラーに設けられてよい。この場合、画像処理装置１４０は、少なくとも水平方向下側に配置される撮像手段により撮像された画像に対しては上述のような上瞼を基準とした下瞼の検出方法を採用することとしてよい。また、複数の撮像手段を切り替えて用いる構成では、撮像手段の切り替えを判別し、撮像手段の切り替えに応じてエッジ抽出方法（ひいては上下瞼検出方法）を適宜切り替えてもよい。

本発明の眼開度検出装置の一実施例の主要構成を示す構成図である。 画像処理装置１４０により実行される主要処理を示すフローチャートである。

符号の説明

１００ 眼開度検出装置
１２０ 撮像手段
１３０ 照明手段
１４０ 画像処理装置

Claims (7)

1. 被験者の顔を撮像する撮像手段と、
   前記撮像された画像のエッジを抽出するエッジ抽出手段と、
   前記抽出されたエッジに基づいて被験者の眼の上瞼と下瞼を検出する上下瞼検出手段とを有し、
   前記検出された上瞼と下瞼の距離に基づいて被験者の眼の開度を検出する眼開度検出装置において、
   前記上下瞼検出手段が、瞬き時に上瞼が他の眼の部分に比べて大きく動くことを利用して複数の時系列で連続する画像から上瞼を検出すると共に、該検出した上瞼の位置を基準にして下瞼の探索範囲の位置を決定し、該決定した位置に配置された探索範囲内で下瞼を検出することを特徴とする、眼開度検出装置。
2. 前記撮像手段が、被験者の眼の位置より水平方向下側に配置される、請求項１に記載の眼開度検出装置。
3. 被験者が車両の操作者であり、
   前記撮像手段が、操作者用座席に設けられるヘッドレストの位置より水平方向下側に配置される、請求項１に記載の眼開度検出装置。
4. 被験者の顔に光を照射する照明手段を更に有し、
   該照明手段が、被験者の眼の位置より水平方向下側に配置される、請求項１〜３の何れかに記載の眼開度検出装置。
5. 被験者が車両の操作者であり、
   前記照明手段が、操作者用座席に設けられるヘッドレストの位置より水平方向下側に配置される、請求項４に記載の眼開度検出装置。
6. 前記撮像手段を第１の撮像手段として、更に別の撮像手段を第２の撮像手段として備え、
   前記エッジ抽出手段が、前記第１の撮像手段及び前記第２の撮像手段のいずれかによって得られた画像のエッジを抽出し、
   前記上下瞼検出手段が、前記第１及び前記第２の撮像手段のうち少なくとも前記第１の撮像手段から得られた画像に対して、上瞼を検出すると共に、該検出した上瞼を基準にして下瞼を検出する、請求項１〜４のうちの何れか１項に記載の眼開度検出装置。
7. 被験者の眼の開度を検出する眼開度検出方法であって、
   被験者の顔の画像を入力するステップと、
   前記取得した顔の画像のエッジを抽出するステップと、
   瞬き時に上瞼が他の眼の部分に比べて大きく動くことを利用して、複数の時系列で連続する画像から抽出された前記エッジに基づいて被験者の眼の上瞼を検出するステップと、
   前記検出された上瞼を基準にして被験者の眼の下瞼を検出するステップとを備えることを特徴とする、眼開度検出方法。

Images