JP4895847B2 - 瞼検出装置及びプログラム - Google Patents

Description

本発明は、瞼検出装置及びプログラムに関する。

人の顔を含む画像から、人の顔や目の位置を検出する技術が知られている。例えば、特許文献１には、入力画像を小領域に分割し、各小領域の輝度特徴から目の候補領域と目の間の候補領域とを検出し、目の候補領域と目の間の候補領域の位置関係から目の間の領域を決定し、目の間の領域を含むように目や顔の領域を決定する顔検出装置が開示されている。

しかし、特許文献１の顔検出装置は、広い領域から目の間という局所領域を検出するため処理負担が大きい。また、上下左右隣り合う小領域での濃度ヒストグラムやエッジ情報から眼鏡の有無を判定しているため、眼鏡のフレームデザインの影響を受けることも考えられる。そのような条件で検出された目の間の領域にもとづいて、左右の目の位置を検出しているため、検出結果が不安定になりかねない。

また、車両等の移動体を運転しているドライバーの眼の開閉状態を検出する開閉状態検出装置が、例えば、特許文献２に開示されている。特許文献２に開示されている開閉検出装置は、対象者の顔を撮像し、得られた顔画像中の上瞼（の画像）を検出する。次に、検出した上瞼を多次曲線で近似し、近似した多次曲線の曲率を算出し、算出した曲率を上瞼の曲率とし、曲率の大小に基づいて、眼の開閉を判定する。

上記の開閉検出技術では、顔画像中の上瞼検出する際に、外乱光の写り込みの影響や眼鏡により上瞼を誤検出する可能性があった。また、上瞼を検出するたびに多次曲線で近似し、近似した多次曲線の曲率を算出する必要があるので膨大な演算処理が必要であった。
特開２００１−２１６５１５号公報 特開２００４−２２００８０号公報

本発明は、上記問題点を鑑みてなされたものであり、高速に精度良く瞼（目）の位置を判別する瞼検出装置を提供することを目的とする。
また、本発明は、瞼を正確に検出できる瞼検出装置を提供することを他の目的とする。さらに、本発明は、少ない演算で瞼を検出できる瞼検出装置を提供することを他の目的とする。

上記目的を達成するために、本発明の第１の観点に係る瞼検出装置は、
異なったタイミングで取得した対象者の顔の複数の画像を記憶する顔画像記憶手段と、
前記顔画像記憶手段に記憶されている複数の画像を処理し、瞬きに起因する画像の変化を検出する変化検出手段と、
前記変化検出手段が検出した変化に基づき、対象者の瞼の位置を検出する瞼検出手段と、
前記顔画像記憶手段に記憶されている画像を処理し、画像の領域の境界に相当するエッジラインを抽出するエッジライン抽出手段と、
前記エッジライン抽出手段が抽出したエッジラインのうちから、上瞼に対応するエッジラインと下瞼に対応するエッジラインとの組み合わせの候補となるエッジラインの対を抽出する瞼候補抽出手段と、を備え、
前記瞼検出手段は、前記瞼候補抽出手段が抽出したエッジラインのうち、対を構成する上瞼候補のエッジラインの代表点が所定の方向に移動する対を、前記対象者の上瞼と下瞼に対応するエッジラインの対であると判別する瞼判別手段をさらに備える、
ことを特徴とする。

例えば、前記顔画像記憶手段に記憶されている画像に含まれる前記対象者の顔の輪郭の中心線を検出する中心線検出手段をさらに備え、
前記瞼候補抽出手段は、前記エッジライン抽出手段が抽出したエッジラインの対のうちで、前記中心線検出手段が検出した中心線を軸として線対称であるエッジラインの対が存在するエッジラインの対の内から、前記対象者の上瞼に対応するエッジラインと下瞼に対応するエッジラインとの組み合わせの候補となるエッジラインの対を抽出する、
ことを特徴としてもよい。

例えば、前記変化検出手段は、
前記瞼候補抽出手段が抽出した複数対のエッジラインについて、上瞼に対応するエッジラインの代表点と下瞼に対応するエッジラインの代表点との距離が変化する態様を示すパラメータを算出するパラメータ算出手段と、
前記パラメータ算出手段が算出したパラメータに基づいて前記エッジラインが前記対象者の瞼である確度を示す信頼度を算出する信頼度算出手段と、をさらに備え、
前記瞼判別手段は、前記瞼候補抽出手段が抽出したエッジラインの対の内で、前記信頼度算出手段が算出した信頼度が所定の値を満たしているものを検出し、前記対象者の瞼と判別する、
ことを特徴としてもよい。

例えば、前記パラメータは、前記距離の変化の、振幅及び／又は周期である、
ことを特徴としてもよい。

例えば、顔画像記憶手段に記憶されている画像に含まれる前記対象者の顔の輪郭の中心線を検出する中心線検出手段を備え、
前記変化検出手段は、
前記瞼候補抽出手段が抽出した上瞼に対応するエッジラインの代表点と、下瞼に対応するエッジラインの代表点との距離が変化する態様を示すパラメータを算出するパラメータ算出手段と、
前記パラメータ算出手段が算出したパラメータに基づいて、エッジラインの対が前記対象者の上瞼と下瞼に対応するエッジラインの対である確度を示す信頼度を算出する信頼度算出手段と、を備え、
前記瞼判別手段は、前記エッジライン抽出手段が抽出したエッジラインの対の内で、前記中心線検出手段が検出した中心線を軸として線対称である対が存在する対のうちから、前記信頼度算出手段が算出した信頼度が所定の値を満たしているものを検出し、前記対象者の上瞼と下瞼のエッジラインの対であると判別する、
ことを特徴としてもよい。

顔画像の濃度（階調）やサイズ（縦横）、色、等を正規化してから処理を行っても良い。

本発明の第２の観点に係る瞼検出装置は、
異なったタイミングで取得した対象者の顔の複数の画像を記憶する顔画像記憶手段と、
前記顔画像記憶手段に記憶されている複数の画像を処理し、瞬きに起因する画像の変化を検出する変化検出手段と、
前記変化検出手段が検出した変化に基づき、対象者の瞼の位置を検出する瞼検出手段と、を備え、
前記変化検出手段は、
前記顔画像記憶手段に記憶されている複数の画像から、顔の領域を検出する顔領域検出手段と、
前記顔領域検出手段が検出した顔の領域を所定の大きさに正規化し、顔領域画像を生成する正規化手段と、
前記正規化手段が生成した顔領域画像を、複数記憶する正規化画像記憶手段と、
前記正規化画像記憶手段に記憶された、最新の顔領域画像とその他の複数の顔領域画像との差分をとり、複数の差分画像を生成する差分画像生成手段と、
前記差分画像生成手段が生成した複数の差分画像から、所定のしきい値以上の濃度値をもつ領域を動領域として検出する動領域検出手段と、をさらに備え、
前記瞼検出手段は、
前記複数の差分画像から、前記動領域検出手段が検出した動領域の面積が最大の一を選択する差分画像選択手段と、
前記差分画像選択手段が選択した差分画像の動領域から、目の領域を特定する目領域特定手段と、をさらに備え、
前記正規化画像記憶手段は、人の閉眼に掛かる時間に基づいた時間、各顔領域画像を記憶する、
ことを特徴とする。

例えば、前記目領域特定手段は、動領域の左右対称性に基づき目の領域を特定するようにしてもよい。

本発明の第３の観点に係る瞼検出装置は、
対象者の顔の画像を記憶する顔画像記憶手段と、
前記顔画像記憶手段が記憶している画像の所定の領域から画像の諧調に基づいてエッジラインを抽出するエッジライン抽出手段と、
前記エッジライン抽出手段が抽出したエッジラインのうちから、対象者の上瞼のエッジラインと下瞼のエッジラインとの組み合わせの候補となるエッジラインの対を抽出する瞼候補抽出手段と、
前記顔画像記憶手段に記憶されている画像に含まれる顔の輪郭の中心線を検出する中心線検出手段と、
前記瞼候補抽出手段が抽出したエッジラインの対の内から、前記中心線検出手段が検出した中心線を軸として線対称であるエッジラインが存在するものを検出し、そのうちから前記対象者の上瞼と下瞼に対応するエッジラインに相当するものを判別する瞼判別手段と、
を備えることを特徴とする。

本発明の第４の観点に係るプログラムは、
コンピュータを、
異なったタイミングで取得した対象者の顔の複数の画像を記憶する顔画像記憶手段、
前記顔画像記憶手段に記憶されている画像を処理し、画像の領域の境界に相当するエッジラインを抽出するエッジライン抽出手段と、
前記エッジライン抽出手段が抽出したエッジラインのうちから、上瞼に対応するエッジラインと下瞼に対応するエッジラインとの組み合わせの候補となるエッジラインの対を抽出する瞼候補抽出手段、
前記瞼候補抽出手段が抽出したエッジラインのうち、対を構成する上瞼候補のエッジラインの代表点が所定の方向に移動する対を、前記対象者の上瞼と下瞼に対応するエッジラインの対であると判別する瞼判別手段、
として機能させることを特徴とする。

本発明の第５の観点に係るプログラムは、
コンピュータを、
対象者の顔の画像を記憶する顔画像記憶手段、
前記顔画像記憶手段が記憶している画像の所定の領域から画像の諧調に基づいてエッジラインを抽出するエッジライン抽出手段、
前記エッジライン抽出手段が抽出したエッジラインのうちから、対象者の上瞼のエッジラインと下瞼のエッジラインとの組み合わせの候補となるエッジラインの対を抽出する瞼候補抽出手段、
顔画像記憶手段に記憶されている画像に含まれる顔の輪郭の中心線を検出する中心線検出手段、
前記瞼候補抽出手段が抽出したエッジラインの対の内から、前記中心線検出手段が検出した中心線を軸として線対称であるエッジラインが存在するものを検出し、そのうちから前記対象者の上瞼と下瞼に対応するエッジラインに相当するものを判別する瞼判別手段、
として機能させることを特徴とする。

本発明の第６の観点に係るプログラムは、
コンピュータを、
対象者の顔を含む画像を記憶する画像記憶手段、
前記画像記憶手段に記憶されている複数の画像から、顔の領域を検出する顔領域検出手段、
前記顔領域検出手段が検出した顔の領域を所定の大きさに正規化し、顔領域画像を生成する正規化手段、
前記正規化手段が生成した顔領域画像を、複数記憶する顔画像記憶手段、
前記顔画像記憶手段に記憶された、最新の顔領域画像とその他の複数の顔領域画像との差分をとり、複数の差分画像を生成する差分画像生成手段、
前記差分画像生成手段が生成した複数の差分画像から、所定のしきい値以上の濃度値をもつ領域を動領域として検出する動領域検出手段、
前記複数の差分画像から、前記動領域検出手段が検出した動領域の面積が最大の一を選択する差分画像選択手段、
前記差分画像選択手段が選択した差分画像の動領域から、目の領域を特定する目領域特定手段、として機能させ、
前記顔画像記憶手段は、人の閉眼に掛かる時間に基づいた時間、各顔領域画像を記憶する、
ことを特徴とする。

本発明によれば、少ない演算で正確に瞼を検出できる瞼検出装置及びプログラムを提供できる。

（第１の実施形態）
以下、本発明の第１の実施形態に係る瞼検出装置５０について説明する。瞼検出装置５０は、複数のドライバーの顔画像から瞬きに起因する変化を検出し、さらにその変化がある部分から瞼の位置を検出する。第１の実施形態に係る瞼検出装置５０は、特に、画像の諧調に基づいてエッジラインを抽出することで瞼の候補を抽出し、その候補からエッジラインの代表点（この実施形態では重心）が所定の方向に移動する対を瞼であると判別する。

本実施形態の瞼検出装置５０は、図１に示すように、ドライバーの顔を撮影して顔画像を生成するカメラ１０と、ドライバーの顔を照明する照明光源１２と、ドライバーの顔中心位置を検出するコンピュータ１４と、コンピュータ１４に接続された表示装置１６と、から構成される。

カメラ１０は、例えばＣＣＤカメラ等から構成され、ドライバーの顔の階調画像を一定周期（例えば、１／３０秒）で取得し、出力する。カメラ１０から順次出力される顔画像は、ドライバーの顔（の画像）だけでなく、その背景（の画像）なども含む。

表示装置１６は、ＬＣＤ（Liquid Crystal Display)又はＣＲＴ(Cathode Ray Tube)などから構成され、カメラ１０で撮影された顔画像から生成された二値化画像などを表示する。なお、表示装置１６は必須の構成ではなく、なくてもよい。

コンピュータ１４は、カメラ１０により取得された顔動画像を処理してその瞼の位置を検出する装置である。コンピュータ１４は、図２に示すように、Ａ／Ｄ変換器２１と、画像メモリ２２と、ＲＯＭ（Read Only Memory）２３と、ＣＰＵ（Central Processing Unit）２４と、ＲＡＭ（Random Access Memory）２５と、表示制御装置２６と、光源制御装置２７と、設定メモリ２８と、操作装置２９と、から構成される。

Ａ／Ｄ（アナログ／ディジタル）変換器２１は、カメラ１０で撮影されたアナログ画像信号をディジタル信号に変換する。

画像メモリ２２は、カメラ１０により生成され、Ａ／Ｄ変換器２１でディジタル化された画像データを格納する。

ＲＯＭ２３は、ＣＰＵの動作を制御するためのプログラムを記憶する。また、ＲＯＭ２３は、後述する画像処理を実行するための様々な固定データを記憶する。

ＣＰＵ２４は、コンピュータ１４全体を制御する。また、ＣＰＵ２４は、ＲＯＭ２３に格納されているプログラムを実行することにより、カメラ１０により取得された一連の顔画像を処理して瞼を検出する。
ＲＡＭ２５は、ＣＰＵ２４のワークエリアとして機能する。

表示制御装置２６は、ＣＰＵ２４の制御のもと、映像データ等を表示装置１６が出力可能なデータ形式に変換し、表示装置１６に出力する。

光源制御装置２７は、照明光源１２の点灯・消灯を制御する。

設定メモリ２８は、ＣＰＵ２４が顔動画像を処理して瞼を検出する処理の設定に関する情報（以下、設定情報）を格納する。

操作装置２９は、ユーザから操作情報を受け付け、操作に応じた操作信号をＣＰＵ２４に送出する。

次に、ＲＯＭ２３に格納される固定データの例を、図３を参照しながら説明する。まず、ＲＯＭ２３は、図３（ａ）に示すような、横エッジ検出用ソーベルフィルタのオペレータを格納する。横エッジ検出用ソーベルフィルタは、図３（ｂ）に示すような横方向の濃淡差を強調するためのオペレータである。

設定メモリ２８には、図３（ｃ）に示すような、ＲＡＭ２５に格納される顔画像のうち、目や眉の画像が存在すると想定される領域を示す設定情報が予め格納されている。例えば、図３（ｃ）では、眼や眉の画像が存在すると想定される領域が「ｙ１≦ｙ≦ｙ２」の範囲に設定されている。以下、眼や眉の画像が存在すると想定される領域を設定領域と呼ぶ。

以下、上記構成を有する第１の実施形態に係る瞼検出装置５０の動作を説明する。

まず、図４を参照して、瞼検出装置５０が、顔画像中の瞼を検出する動作の概要を説明する。

カメラ１０は、図３（ｃ）に示すような対象者の顔画像を所定周期（例えば、１／３０秒周期）で撮影して顔画像を出力する。出力された顔画像は画像メモリ２２に順次格納される。
次に、ＣＰＵ２４は、画像メモリ２２に格納されている顔画像を順次読み出し、以下の処理を行う。

まず、ＣＰＵ２４は、設定メモリ２８に格納されている設定情報が示す設定領域を取得し、描く顔動画像のそれぞれの画像の設定領域において、図３（ａ）に示す横エッジ検出用ソーベルフィルタを用いて画像内の横のエッジラインを抽出する処理を行う。その結果、図４（ａ）に示すように、ｙ軸方向に明るい画素から暗い画素に移るエッジラインがマイナスエッジとして表され、ｙ軸方向に光度が暗い画素から明るい画素に移るエッジラインがプラスエッジとして現れる。なお、図面上は、マイナスエッジを破線で、プラスエッジを実線で表す。

次に、ＣＰＵ２４は、求めたマイナスエッジラインとプラスエッジラインとから、次の三つの数式を満たすマイナスエッジとプラスエッジの組み合わせを抽出する。
Ｌｐ−Ｌｍ＜Ｌｔｈ・・・（１）
ただし、Ｌｐはプラスエッジの長さを表す値であり、Ｌｍはマイナスエッジの長さを表す値であり、Ｌｔｈは閾値である。数式（１）を満たすマイナスエッジとプラスエッジとの長さは閾値Ｌｔｈの範囲で近似している。
Ｃｘｐ−Ｃｘｍ＜Ｃｘｔｈ・・・（２）
ただし、Ｃｘｐはプラスエッジの重心（代表点）のｘ座標であり、Ｃｘｍはマイナスエッジの重心（代表点）のｘ座標であり、Ｃｘｔｈは閾値である。数式（２）を満たすマイナスエッジとプラスエッジとの重心のｘ座標は閾値Ｃｘｔｈの範囲で近似している。
Ｄｇ＜Ｄｔｈ・・・（３）
ただし、Ｄｇはマイナスエッジの重心とプラスエッジの重心との間の距離であり、Ｄｔｈは閾値である。数式（３）を満たすマイナスエッジとプラスエッジとの重心間距離は閾値Ｄｔｈ以内である。

ＣＰＵ２４は、上記三つの数式を使って、抽出されたマイナスエッジとプラスエッジの組み合わせの内、プラスエッジは上瞼候補とされ、マイナスエッジは下瞼候補とされる。

つまり、数式（１）〜（３）を満たすマイナスエッジとプラスエッジの組み合わせは、ある程度、長さが等しく、位置が近く、重心のｘ座標が一致しているマイナスエッジとプラスエッジの組み合わせである。

図４（ｂ）は、数式（１）〜（３）によりマイナスエッジとプラスエッジの組み合わせの一例を示す。プラスエッジ１０２とマイナスエッジ１０３との組み合わせと、プラスエッジ１０５とマイナスエッジ１０６との組み合わせと、プラスエッジ１０７とマイナスエッジ１０８との組み合わせと、プラスエッジ１０９とマイナスエッジ１１０との組み合わせと、が対象者の瞼の候補である。

ＣＰＵ２４は、上記の瞼の候補の内、異なったタイミングで取得された複数の顔画像を解析して、図４（ｃ）に示すように、プラスエッジの重心がｙ軸方向と反対方向に移動し、それに対して、マイナスエッジの重心は移動しない組み合わせを瞼と判定する。ここでは、エッジラインの代表点を重心としているが、代表点は重心以外であってもよい。例えば、「エッジ強度に重み付けして算出された点」、「エッジ強度の極大点」、「エッジ強度の極小点」、「画像の上下方向におけるエッジラインの頂点」、「画像の上下方向におけるエッジラインの下端点」等を代表点としてもよい。

ここで、本発明の第１の実施形態に係る瞼検出装置５０が行う瞼検出処理について図５を参照して詳細に説明する。

ＣＰＵ２４は、周期的（例えば、１／３０秒毎）に図５の処理を開始する。ＣＰＵ２４は、カメラ１０の撮影した対象者の顔の画像をＡ／Ｄ変換器２１を介して取り込み、画像メモリ２２に格納する（ステップＳ１０１）。

ＣＰＵ２４は、画像メモリ２２に格納した顔画像の各画像のうち、設定メモリ２８に格納された設定情報に基づく設定領域の部分を抽出する（ステップＳ１０２）。

ＣＰＵ２４は、顔動画像の各画像の設定領域の部分から、ＲＯＭ２３に格納されている横エッジ検出用ソーベルフィルタを用いて横のエッジラインを抽出する処理を行う（ステップＳ１０３）。

ＣＰＵ２４は、抽出したエッジラインの内、上記の数式（１）〜（３）を満たすマイナスエッジとプラスエッジの組み合わせを抽出する（ステップＳ１０４）。

ＣＰＵ２４は、抽出したプラスエッジとマイナスエッジについて、その重心を求める。ＣＰＵ２４は、さらに、過去の顔画像について求めたプラスエッジとマイナスエッジの対についての各エッジの重心位置を求め、一連の画像で抽出した各エッジラインの重心の履歴を求める。これにより、ＣＰＵ２４は、図４（ｃ）に示すようにｙ軸方向にまたはその反対方向に重心が移動するプラスエッジと重心の移動が（あまり）ないマイナスエッジの組み合わせがあるか否かを判別する（ステップＳ１０５）。

ｙ軸方向にまたはその反対方向に重心が移動するプラスエッジと重心の移動がないマイナスエッジの組み合わせがない場合（ステップＳ１０５；ＮＯ）、ＣＰＵ２４は、設定メモリ２８に格納されている設定情報を変更し、設定領域を変更または拡大する（ステップＳ１０７）。そして、処理をステップＳ１０２に戻す。

ｙ軸方向にまたはその反対方向に重心が移動するプラスエッジと重心の移動がないマイナスエッジの組み合わせがある場合（ステップＳ１０５；ＹＥＳ）、ＣＰＵ２４は、そのマイナスエッジとプラスエッジの組み合わせを対象者の瞼と判定し（ステップＳ１０６）、処理を終了する。

このようにして、本発明の第１の実施形態に係る瞼検出装置５０は、少ない演算で正しく瞼を検出できる。即ち、目（の位置）を検出することができる。

なお、このようにして特定した上瞼と下瞼の位置に基づいて、以後、ドライバーの注視方向の特定や、ドライバーが起きているか否かを判別するために利用される。例えば、瞼の位置に対応する瞳の位置を求め、さらに、顔の向きを求め、これらからドライバーの視線の向きを判別することができ、判別した視線の向きを車両の様々な制御に利用できる。また、上瞼と下瞼の距離が基準より小さい状態が一定時間以上継続した場合に、ドライバーが寝ていると判別し、所定の制御を行うといったことも可能となる。

（第２の実施の形態）
第１の実施形態では、瞼検出装置５０は、抽出したマイナスエッジとプラスエッジとの組み合わせから、その重心が所定の方向に移動するものを対象者の瞼と判別した。
第２の実施形態では、複数の画像の差分を取り、変化のある部分を抽出する。そして、変化のあった部分の中から瞼を検出する。即ち、ドライバーの瞬き動作を検出することで、瞼の位置（目の領域）を検出する。

次に、瞼検出装置５０が、顔画像中の目の領域を検出する動作を説明する。

図６は、ＣＰＵ２４が実行する蓄積処理の動作を示すフローチャートである。蓄積処理は、ＣＰＵ２４が、カメラ１０が撮像した画像から顔領域を抽出し、正規化して画像メモリ２２に蓄積する処理である。

ＣＰＵ２４は、所定のフレーム周期（例えば、３３ミリ秒）で、蓄積処理を実行する。先ず、ＣＰＵ２４は、カメラ１０を制御して、画像を撮像させる（ステップＳ２１０）。

次に、ＣＰＵ２４は、顔領域検出処理を実行する（ステップＳ２２０）。顔領域検出処理は、カメラ１０が撮像した、顔画像を含む原画像から顔画像の領域を検出し、該顔領域を抽出する処理である。

図７は、顔領域検出処理（ステップＳ２２０）の動作を示すフローチャートである。先ず、ＣＰＵ２４は、カメラ１０が撮像した画像を取得する（ステップＳ２２１）。そして、ＣＰＵ２４は、撮像画像の輝度を横方向に微分し（ステップＳ２２２）、得られた画像から縦エッジ画像を抽出する（ステップＳ２２３）。さらに、得られた縦エッジ部分を明確にするため、得られた縦エッジ画像を２値化する（ステップＳ２２４）。続いて、２値化した画像を縦方向の長さで重み付けして投影して（ステップＳ２２５）、ヒストグラムを作成する（ステップＳ２２６）。具体的には、エッジ部分の縦方向の長さの２乗の値で重み付けをすることで、縦に長いエッジ部分を強調して投影することができる。これにより、縦に長い顔の縦エッジを特定する（ステップＳ２２７）。
同様の処理を縦方向について繰り返すことで横エッジを得ることができる（ステップＳ２２１〜Ｓ２２７）。

ステップＳ２２１〜Ｓ２２７の処理により、縦エッジ及び横エッジ画像が得られたら、その両エッジに囲まれた部分を顔領域として抽出する（ステップＳ２２８）。

以上のようにして、顔領域検出処理にて、顔領域を検出し、抽出することができる。なお、画像から顔領域を検出する方法はこの例で示した方法に限らない。例えば、第１の実施形態と同様にソーベルフィルタを用いたり、撮像画像を蓄積し、時間微分して（差分を取り）、その画像からヒストグラムを取得することで顔領域を検出してもよい。また、これを上記方法と組み合わせても良い。さらに、予め登録されたテンプレートを用いてマッチングすることで顔領域検出するようにしてもよい。

続いて、ＣＰＵ２４は、顔領域画像を正規化する（ステップＳ２３０）。ここでは、顔領域検出処理（ステップＳ２２０）にて抽出した顔領域を所定のサイズに正規化する。顔領域検出処理で抽出される顔領域は、ドライバーの姿勢等によって、サイズや形が常時変化する。この処理では、各顔領域画像のフレーム間差分を行うために、共通に扱えるように画像サイズを正規化する。具体的には、顔領域検出処理（ステップＳ２２０）で抽出した顔画像を、縦１００画素×横１００画素の画像となるように線形的に正規化する。また、ＣＰＵ２４は、正規化した画像から得た目領域を、原画像の座標値に変換できるように、正規化に用いたパラメータをＲＡＭ２５に記憶する（ステップＳ２３０）。なお、濃度の正規化も行うようにしてもよい。

そして、ＣＰＵ２４は、ステップＳ２３０にて正規化した顔画像を画像メモリ２２に記憶する（ステップＳ２４０）。ここでは、正規化された顔領域画像のみ蓄積しているので、画像メモリ２２のメモリ領域を節約することができる。なお、フレーム間差分を行うため、正規化された顔領域画像を複数蓄積する必要がある。ここでは、統計的に調査された人間の閉眼の所要時間（５０〜１５０ミリ秒）に基づき、１５０ミリ秒間（４フレーム分に相当する時間以上）蓄積している。

具体的には、ステップＳ２１０にて図１３（ａ）に示すようなドライバーの顔を含む画像（原画像）が撮像されたとする。顔領域検出処理（ステップＳ２２０）にて図１３（ｂ）に示すように顔領域が検出される。そして、ステップＳ２３０にて図１３（ｃ）に示すように顔画像が正規化される。

次に、目領域検出処理について説明する。目領域検出処理は、画像メモリ２２に蓄積された顔画像から目領域を検出するための処理である。図８は、目領域検出処理の動作を説明するためのフローチャートである。

目領域検出処理において、先ず、ＣＰＵ２４は、差分画像生成処理（ステップＳ２５０）を実行する。差分画像生成処理は、画像メモリ２２に蓄積された最新画像と他の全画像との差分を取り、差分画像を生成する処理である。詳しい動作については後述する。

次に、ＣＰＵ２４は、動領域検出処理（ステップＳ２６０）を実行する。動領域検出処理は、差分画像生成処理（ステップＳ２５０）にて生成した差分画像に基づき、動きのある領域（動領域）を検出する処理である。詳しい動作については後述する。

続いて、ＣＰＵ２４は、差分画像選択処理を実行する（ステップＳ２７０）。差分画像生成処理は、差分画像生成処理（ステップＳ２５０）で生成され、動領域検出処理（ステップＳ２６０）で動領域を検出された複数の差分画像の中から、目領域を検出するための差分画像を選択するための処理である。詳しい動作については後述する。

そして、ＣＰＵ２４は、目領域特定処理を実行する（ステップＳ２８０）。目領域特定処理は、差分画像選択処理（ステップＳ２７０）にて選択された差分画像の動領域から目領域を特定するための処理である。詳しい動作については後述する。

続いて、目領域検出処理の各処理の詳細な動作について説明する。図９は、差分画像生成処理（ステップＳ２５０）の動作を示すフローチャートである。差分画像生成処理では、先ず、ＣＰＵ２４は、画像メモリ２２に蓄積された複数の顔画像を取得する（ステップＳ２５１）。そして、その中から最新の画像を特定する（ステップＳ２５２）。続いて、ＣＰＵ２４は、最新の画像とその他の画像との差分を取り、複数の差分画像を生成し（ステップＳ２５３）、その差分画像をＲＡＭ２５に保存する（ステップＳ２５４）。

具体的には、図１４に示すように、最新の正規化画像（ａ）と６６ミリ秒前の正規化画像（ｂ）との差分画像（ｅ）と、の正規化画像と９９ミリ秒前の正規化画像（ｃ）との差分画像（ｆ）と、最新の正規化画像と１３２ミリ秒前の正規化画像（ｄ）との差分画像（ｇ）と、が生成される。

なお、統計等の解析により予め用意された画像との差分を取り差分画像を生成するようにしてもよい。

図１０は、動領域検出処理（ステップＳ２６０）の動作を示すフローチャートである。動領域検出処理では、先ず、ＣＰＵ２４は、差分画像生成処理（ステップＳ２５０）にて、生成された差分画像を取得する（ステップＳ２６１）。そして、取得した差分画像から濃度値が所定値以上の画素（例えば、濃度差が５０以上になる画素）を抽出する（ステップＳ２６２）。そして、ＣＰＵ２４は、ステップＳ２６２で抽出した画素のうち、近傍の画素をグループ化する（ステップＳ２６３）。ここでは、近傍３画素以内にあるものを同じグループとしている。そして、そのグループ化された領域を動領域画像としてＲＡＭに保存する（ステップＳ２６４）。これらの処理を、全ての差分画像について繰り返すことで、全ての差分画像の動領域を検出することができる。

なお、この処理で用いた条件に解像度、濃度階調などを追加してもよい。また、グループ化する際に、画素の位置情報だけでなく、濃度情報を条件に追加してもよい。

図１１は、差分画像選択処理（ステップＳ２７０）の動作を示すフローチャートである。差分画像選択処理では、先ず、ＣＰＵ２４は、動領域検出処理（ステップＳ２６０）にて動領域を検出された複数の差分画像（動領域画像）を取得する（ステップＳ２７１）。そして、複数の差分画像の動領域の画素合計値（動領域面積）を比較する（ステップＳ２７２）。比較した結果、画素合計値が最大な差分画像を選択して（ステップＳ２７３）、ＲＡＭ２５に保存する（ステップＳ２７４）。

具体的には、図１４（ｅ）〜（ｇ）の差分画像から、動領域面積が最大の図１４（ｆ）が選択される。

以上のようにして、目領域の検出に用いる差分画像を選択することができる。差分画像のうち、動領域の最大のものを選択するので、ドライバーが瞬きをする前と後との差分画像を選択できる。

図１２は、目領域特定処理（ステップＳ２８０）の動作を示すフローチャートである。目領域特定処理では、目領域の左右対称性を利用して目領域を特定する。目領域特定処理では、先ず、ＣＰＵ２４は、差分画像特定処理（ステップＳ２７０）、で選択された差分画像を取得する（ステップＳ２８１）。そして、グループ化された動領域のうち、左右方向に存在する動領域を探索する（ステップＳ２８２）。そして、検出された動領域について、重心及び面積（画素数）が所定のしきい値内であるか否かを判別する（ステップＳ２８３）。所定のしきい値内でなければ（ステップＳ２８３；Ｎｏ）、再びステップＳ２８２の処理に戻り、動領域を探索する。ステップＳ２８３で、所定のしきい値内であれば（ステップＳ２８３；Ｙｅｓ）、該領域を目領域として特定し（ステップＳ２８４）、ＲＡＭ２５に保存する（ステップＳ２８５）。即ち、ステップＳ２８２、Ｓ２８３の処理では、重心やその面積が目領域としてふさわしくないもの（左右のバランスが悪いもの、小さすぎるもの、左右対称性が不適切なもの）を除外している。

具体的には、図１５（ａ）に示す画像から、面積の対称性がない部分が除外され、図１５（ｂ）に示すように目領域が特定される。

以上のようにして、目領域を特定することができる。なお、目領域特定処理において、左右対称性をより正確に評価するために、濃度値の平均値が高い領域や、領域中に濃度差ピークを持つ領域を目領域として特定してもよい。さらに、原画像から抽出したエッジ部分との位置関係を条件として追加してもよい。

なお、目領域が特定された画像は、正規化した際に用いたパラメータに基づき、原画像のサイズに変換される。変換された画像は、ドライバーの注視方向の特定や、ドライバーが起きているか否かを判別するために利用される。

例えば、目領域と判別された領域から第１実施形態で示したようなエッジペアを検出し、このエッジペアを上瞼に対応するエッジ、下瞼に対応するエッジとして処理してもよい。この場合、上瞼に対応するエッジの重心の移動をチェックして真の上瞼であることを判別してもよいし、判別を省略してもよい。
また、目領域と判別された領域から任意の既知の手法で、目のパラメータを抽出し、他の制御に使用してもよい。

以上説明したようにフレーム間差分を取ることで、目に現れる瞬き動作を画像中から抽出している。その後、目の持つ画像的特徴を利用して目を検出するため、顔画像内に存在する眉毛、髭、眼鏡フレーム等の誤検出を防止できる。また、画像特徴を用いた目領域の検出を顔画像という限定した領域で行えばよいため、処理時間を高速にすることができる。このように、高速に精度良く目の位置を検出することができる。

なお、正規化の対象は顔のサイズに限定されず、例えば、画像の濃度（階調）、色などを正規化してもよい。濃度を正規化する場合、例えば、処理対象の各画像の平均輝度が同一となるように、各画像の平均輝度を求め、この平均輝度と基準輝度との比「基準輝度／平均輝度」を各画像内の全画素に乗算して各画素の輝度を補正してから処理するようにすればよい。なお、基準輝度は、複数の画像に共通の基準値である。

（第３の実施形態）
第１の実施形態では、瞼検出装置５０は、抽出したマイナスエッジとプラスエッジとの組み合わせから、その重心が所定の方向に移動するものを対象者の瞼と判定した。第３の実施形態ではさらに対象者の顔の輪郭の中心線を検出し、マイナスエッジとプラスエッジの組み合わせであって中心線に対して線対称である他のマイナスエッジとプラスエッジの組み合わせがあるものを対象者の瞼と判別する。なお、第３の実施形態の構成は、第１の実施形態の構成と同様である。

次に、図１６（ａ）、（ｂ）を参照して、瞼検出装置５０が、顔動画像中の瞼を検出する動作の概要を説明する。

先ず、瞼検出装置５０は、第１の実施形態と同様の処理を行い、図１６（ａ）に示す顔画像から、顔の輪郭の中心線２００を求める。

次に、図１６（ａ）に示す画像からｙ座標がｙ１〜ｙ２の範囲にある設定領域を抽出する。

次に、抽出した画像にソーベルフィルタ処理を実行し、図１６（ｂ）に示すように、図１６（ｂ）に示すよう、マイナスエッジとプラスエッジの組み合わせを抽出する。ここで、プラスエッジ３０１とマイナスエッジ３０２との組み合わせを候補１とし、プラスエッジ３０５とマイナスエッジ３０６との組み合わせを候補２とし、プラスエッジ３０３とマイナスエッジ３０４との組み合わせを候補３とし、プラスエッジ３０７とマイナスエッジ３０８との組み合わせを候補４とし、プラスエッジ３０９とマイナスエッジ３１０との組み合わせを候補５とする。

次に、瞼検出装置５０は、顔の中心線２００を基準として、中心線２００に対して線対象であるエッジラインの対が存在しないものを候補から排除する。これにより、エッジライン３０９と３１０の組み合わせからなる候補５が排除される。次に、残った区候補のうちから上瞼に相当するエッジラインの重心が移動する組み合わせ、即ち、候補の３と４を瞼のエッジペアとして処理する。

本発明の第３の実施形態に係る瞼検出装置５０が行う瞼検出処理について図１７を参照して詳細に説明する。

ＣＰＵ２４は、周期的に図１７の処理を開始し、まず、カメラ１０の撮影した対象者の顔の動画像をＡ／Ｄ変換器２１を介して取り込み、画像メモリ２２に格納する（ステップＳ３０１）。

ＣＰＵ２４は、今回取得した顔画像中の各画像の顔の輪郭の中心線を検出する（ステップＳ３０２）

ＣＰＵ２４は、画像メモリ２２に格納された顔画像の各画像の内、設定メモリ２８に格納された設定情報に基づく設定領域の部分を抽出する（ステップＳ３０３）。

ＣＰＵ２４は、顔画像の設定領域の部分から、ＲＯＭ２３に格納されている横エッジ検出用ソーベルフィルタを用いて横のエッジラインを抽出する処理を行う（ステップＳ３０４）。

ＣＰＵ２４は、抽出したエッジラインの内、第１の実施形態において使用した数式（１）〜（３）を満たすマイナスエッジとプラスエッジの組み合わせを抽出する（ステップＳ３０５）。

ＣＰＵ２４は、ステップＳ３０５において抽出したマイナスエッジとプラスエッジの組み合わせの内から、中心線に対して線対称となる対がない組み合わせを除外する（ステップＳ３０６）。

ＣＰＵ２４は、残ったマイナスエッジとプラスエッジの組み合わせのうちから、中心線方向に重心が移動するプラスエッジと重心が移動しないマイナスエッジの組み合わせがあるか否かを判別する（ステップＳ３０７）。

中心線方向に重心が移動するプラスエッジと重心が移動しないマイナスエッジの組み合わせがない場合（ステップＳ３０７；ＮＯ）、ＣＰＵ２４は、設定メモリ２８に格納されている設定情報を変更し、設定領域を変更または拡大する（ステップＳ３１０）。そして、処理をステップＳ３０３に戻す。

中心線方向に重心が移動するプラスエッジと重心が（あまり）移動しないマイナスエッジの組み合わせがある場合（ステップＳ３０７；ＹＥＳ）、ＣＰＵ２４は、そのマイナスエッジとプラスエッジの組み合わせを抽出する（ステップＳ３０８）。

ＣＰＵ２４は、マイナスエッジとプラスエッジの組み合わせのうち、中心線軸方向に重心が移動し、中心線に対して線対称となる対があるマイナスエッジとプラスエッジの組み合わせを対象者の瞼と判定する（ステップＳ３０９）。

このように、本発明の第３の実施形態に係る瞼検出装置５０は、設定領域に対象者の口などが含まれている場合でも少ない演算で正しい瞼を検出できる。

なお、第１実施形態に対応して、瞼を検出する例を示したが、第２実施形態の図１２のステップＳ２８２〜Ｓ２８４にて目領域を特定する際に適用してもよい。

（第４の実施形態）
第１の実施形態では、瞼検出装置５０は、抽出したマイナスエッジとプラスエッジとの組み合わせから、その重心が所定の方向に移動するものを対象者の瞼と判定した。第４の実施形態ではさらにマイナスエッジとプラスエッジの重心の所定の方向への移動が眼の瞬きによるものであるか否かを判別し、眼の瞬きによるものであると判別されたマイナスエッジとプラスエッジとの組み合わせを対象者の瞼と判定する。なお、第４の実施形態の構成は、第１の実施形態の構成と同様である。

次に、図１８，１９を参照して、瞼検出装置５０が、顔動画像中の瞼を検出する動作の概要を説明する。

先ず、瞼検出装置５０は、第１の実施形態と同様の処理を行い、図１８に示すようなマイナスエッジとプラスエッジの組み合わせを抽出する。ここで、プラスエッジ３０１とマイナスエッジ３０２との組み合わせを候補１とし、プラスエッジ３０５とマイナスエッジ３０６との組み合わせを候補２とし、プラスエッジ３０３とマイナスエッジ３０４との組み合わせを候補３とし、プラスエッジ３０７とマイナスエッジ３０８との組み合わせを候補４とし、プラスエッジ３０９とマイナスエッジ３１０との組み合わせを候補５とする。

そして、瞼検出装置５０は、候補１〜５について、マイナスエッジの重心とプラスエッジの重心との間の距離Ｄｇの時間軸に対する変化を計測する。図１９（ａ）〜（ｅ）に示すグラフは、候補１〜５の、時間軸に対するマイナスエッジとプラスエッジとの重心間距離Ｄｇの変化を示すグラフである。

例えば、候補１は、図１９（ａ）に示すように距離Ｄｇは時間軸に対してほとんど変化がない。また、候補２も、図１９（ｂ）に示すように距離Ｄｇは時間軸に対してほとんど変化がない。例えば、候補３〜５は、図１９（ｃ）〜（ｅ）に示すように距離Ｄｇの時間軸に対するグラフにおいて極小値４０１〜４１０を持つ。

瞼検出装置５０は、重心間距離Ｄｇの極小点位置の周期と、及び／又は、極小点と極大点との距離（つまり振幅）と、から候補が対象者の瞼である可能性を示す信頼度を算出し、所定の条件を満たす信頼度の候補を対象者の瞼であると判定する。
信頼度としては、例えば、振幅の分散と周期の分散の和の逆数などを使用することができる。目の瞬きのように、比較的振幅が一定で周期が一定の場合には、信頼度が高くなる。一方、他の動きの場合には、通常、振幅や周期がばらつくため、分散が大きくなり、信頼度が低くなる。

ここで、第４の実施形態に係る瞼検出装置５０のＣＰＵ２４が行う瞼検出処理について図２０を参照して詳細に説明する。

ＣＰＵ２４は、周期的に図２０の処理を開始し、カメラ１０の撮影した対象者の顔の画像をＡ／Ｄ変換器２１を介して取り込み、画像メモリ２２に格納する（ステップＳ４０１）。

ＣＰＵ２４は、画像メモリ２２に格納された顔画像の各画像の内、設定メモリ２８に格納された設定情報に基づく設定領域の部分を抽出する（ステップＳ４０２）。

ＣＰＵ２４は、顔画像の設定領域の部分から、ＲＯＭ２３に格納されている横エッジ検出用ソーベルフィルタを用いて縦のエッジラインを抽出する処理を行う（ステップＳ４０３）。

ＣＰＵ２４は、抽出したエッジラインの内、第１の実施形態で使用した数式（１）〜（３）を満たすマイナスエッジとプラスエッジの組み合わせを抽出する（ステップＳ４０４）。

ＣＰＵ２４は、抽出したプラスエッジとマイナスエッジについて、その重心を求める。ＣＰＵ２４は、さらに、過去の顔画像について求めたプラスエッジとマイナスエッジの対についての各エッジの重心位置を求め、一連の画像で抽出した各エッジラインの重心の履歴を求める。これにより、ＣＰＵ２４は、ｙ軸方向にまたはその反対方向に重心が移動するプラスエッジと重心が（あまり）移動しないマイナスエッジの組み合わせがあるか否かを判別する（ステップＳ４０５）。

ｙ軸方向にまたはその反対方向に重心が移動するプラスエッジと重心が移動しないマイナスエッジの組み合わせがない場合（ステップＳ４０５；ＮＯ）、ＣＰＵ２４は、設定メモリ２８に格納されている設定情報を変更し、設定領域を変更または拡大する（ステップＳ４１０）。そして、処理をステップＳ４０２に戻す。

ｙ軸方向にまたはその反対方向に重心が移動するプラスエッジと重心が移動しないマイナスエッジの組み合わせがある場合（ステップＳ４０５；ＹＥＳ）、ＣＰＵ２４は、そのマイナスエッジとプラスエッジの組み合わせを抽出する（ステップＳ４０６）。

ＣＰＵ２４は、ステップＳ４０６において抽出したマイナスエッジとプラスエッジとの組み合わせの信頼度を、上述の例のように、算出する（ステップＳ４０７）。

ＣＰＵ２４は、所定の値以上の信頼度のマイナスエッジとプラスエッジとの組み合わせがあるか否かを判別する（ステップＳ４０８）。

所定の値以上の信頼度のマイナスエッジとプラスエッジとの組み合わせがないと判別した場合（ステップＳ４０８；ＮＯ）、ＣＰＵ２４は、設定メモリ２８に格納されている設定情報を変更し、設定領域を変更または拡大する（ステップＳ４１０）。そして、処理をステップＳ４０２に戻す。

所定の値以上の信頼度のマイナスエッジとプラスエッジとの組み合わせがあると判別した場合（ステップＳ４０８；ＹＥＳ）、ＣＰＵ２４は、所定の値以上の信頼度のマイナスエッジとプラスエッジとの組み合わせを対象者の瞼と判定して（ステップＳ４０９）、処理を終了する。

このように、本発明の第４の実施形態に係る瞼検出装置５０は、第３の実施形態と同様に設定領域に対象者の口などが含まれている場合でも少ない演算で正しい瞼を検出できる。例えば、図１８、図１９に示す例では、プラスエッジ３０３とマイナスエッジ３０４との組み合わせを候補３と、プラスエッジ３０７とマイナスエッジ３０８との組み合わせを候補４と、が瞼として検出される。

なお、この発明は上記実施形態に限定されず、種々の変形及び応用が可能である。

第３の実施形態では、瞼検出装置５０は、マイナスエッジとプラスエッジとの組み合わせを抽出し、顔の輪郭の中心線に対して線対称であるマイナスエッジとプラスエッジの組み合わせの対の内から、動きのある組み合わせの対を瞼として判定した。第４の実施形態では、瞼検出装置５０は、動きのあるマイナスエッジとプラスエッジとの組み合わせを抽出し、マイナスエッジの重心とプラスエッジの重心との動きを評価して信頼度を算出し、所定の値以上の信頼度を持つマイナスエッジとプラスエッジの組み合わせを瞼として判定した。第２と第３の実施形態の応用例として、瞼検出装置５０は、マイナスエッジとプラスエッジとの組み合わせを抽出し、顔の輪郭の中心線に対して線対称であるマイナスエッジとプラスエッジの組み合わせの対を抽出し、マイナスエッジの重心とプラスエッジの重心との動きを評価して信頼度を算出し、所定の値以上の信頼度を持つマイナスエッジとプラスエッジの組み合わせを瞼として判定してもよい。

また、単純に、瞼検出装置５０は、上瞼と下瞼との組み合わせの候補となるエッジラインを抽出し、抽出したエッジラインの内、顔の輪郭の中心線に対して線対称であるエッジラインの対を対象者の左右瞼と判別してもよい。

また、第１〜４の実施形態では、コンピュータ１４は、カメラ１０が撮影した対象者の顔の動画像について瞼検出処理を行ったが、カメラ１０以外の外部装置から取得した対象者の顔の動画像を画像メモリ２２に格納しておき、その動画像について瞼検出処理を行ってもよい。また、複数の顔の画像について瞼検出処理を行ってもよい。

本発明の第１の実施形態に係る瞼検出装置の構成を示すブロック図である。 図１に示すコンピュータの構成を示すブロック図である。 ＲＯＭまたはＲＡＭに格納されている各種データを説明するための図である。 本発明の第１の実施形態に係る処理の概要を説明するための図である。 第１の実施形態の瞼検出処理を説明するためのフローチャートである。 本発明の第２実施の形態に係る瞼検出装置の蓄積処理の動作を示すフローチャートである。 図６に示す顔領域検出処理の動作を示すフローチャートである。 第２実施の形態に係る瞼検出装置の目領域検出処理の動作を説明するためのフローチャートである。 図８に示す差分画像生成処理の動作を示すフローチャートである。 図８に示す動領域検出処理の動作を示すフローチャートである。 図８に示す差分画像選択処理の動作を示すフローチャートである。 図８に示す目領域特定処理の動作を示すフローチャートである。 顔画像検出の具体例を示す図である。 差分画像生成の具体例を示す図である。 目領域検出の具体例を示す図である。 本発明の第３の実施形態に係る処理の概要を説明するための図である。 第３の実施形態の瞼検出処理を説明するためのフローチャートである。 本発明の第４の実施形態に係る処理の概要を説明するための図である。 本発明の第４の実施形態に係る処理の概要を説明するための図である。 第４の実施形態の瞼検出処理を説明するためのフローチャートである。

符号の説明

１０ カメラ
１２ 照明光源
１４ コンピュータ
１６ 表示装置
２１ Ａ／Ｄ変換器
２２ 画像メモリ （顔画像記憶手段）
２３ ＲＯＭ
２４ ＣＰＵ （エッジライン抽出手段、瞼候補抽出手段、瞼判別手段、中心線検出手段）、
２５ ＲＡＭ
２６ 表示制御装置
２８ 設定メモリ
２９ 操作装置
５０ 瞼検出装置

Claims (12)

1. 異なったタイミングで取得した対象者の顔の複数の画像を記憶する顔画像記憶手段と、
   前記顔画像記憶手段に記憶されている複数の画像を処理し、瞬きに起因する画像の変化を検出する変化検出手段と、
   前記変化検出手段が検出した変化に基づき、対象者の瞼の位置を検出する瞼検出手段と、
   前記顔画像記憶手段に記憶されている画像を処理し、画像の領域の境界に相当するエッジラインを抽出するエッジライン抽出手段と、
   前記エッジライン抽出手段が抽出したエッジラインのうちから、上瞼に対応するエッジラインと下瞼に対応するエッジラインとの組み合わせの候補となるエッジラインの対を抽出する瞼候補抽出手段と、を備え、
   前記瞼検出手段は、前記瞼候補抽出手段が抽出したエッジラインのうち、対を構成する上瞼候補のエッジラインの代表点が所定の方向に移動する対を、前記対象者の上瞼と下瞼に対応するエッジラインの対であると判別する瞼判別手段をさらに備える、
   ことを特徴とする瞼検出装置。
2. 前記顔画像記憶手段に記憶されている画像に含まれる前記対象者の顔の輪郭の中心線を検出する中心線検出手段をさらに備え、
   前記瞼候補抽出手段は、前記エッジライン抽出手段が抽出したエッジラインの対のうちで、前記中心線検出手段が検出した中心線を軸として線対称であるエッジラインの対が存在するエッジラインの対の内から、前記対象者の上瞼に対応するエッジラインと下瞼に対応するエッジラインとの組み合わせの候補となるエッジラインの対を抽出する、
   ことを特徴とする請求項１に記載の瞼検出装置。
3. 前記変化検出手段は、
   前記瞼候補抽出手段が抽出した複数対のエッジラインについて、上瞼に対応するエッジラインの代表点と下瞼に対応するエッジラインの代表点との距離が変化する態様を示すパラメータを算出するパラメータ算出手段と、
   前記パラメータ算出手段が算出したパラメータに基づいて前記エッジラインが前記対象者の瞼である確度を示す信頼度を算出する信頼度算出手段と、をさらに備え、
   前記瞼判別手段は、前記瞼候補抽出手段が抽出したエッジラインの対の内で、前記信頼度算出手段が算出した信頼度が所定の値を満たしているものを検出し、前記対象者の瞼と判別する、
   ことを特徴とする請求項１に記載の瞼検出装置。
4. 前記パラメータは、前記距離の変化の、振幅及び／又は周期である、
   ことを特徴とする請求項３に記載の瞼検出装置。
5. 前記顔画像記憶手段に記憶されている画像に含まれる前記対象者の顔の輪郭の中心線を検出する中心線検出手段をさらに備え、
   前記変化検出手段は、
   前記瞼候補抽出手段が抽出した上瞼に対応するエッジラインの代表点と下瞼に対応するエッジラインの代表点との距離が変化する態様を示すパラメータを算出するパラメータ算出手段と、
   前記パラメータ算出手段が算出したパラメータに基づいて、エッジラインの対が前記対象者の上瞼と下瞼に対応するエッジラインの対である確度を示す信頼度を算出する信頼度算出手段と、を備え、
   前記瞼判別手段は、前記エッジライン抽出手段が抽出したエッジラインの対の内で、前記中心線検出手段が検出した中心線を軸として線対称である対が存在する対のうちから、前記信頼度算出手段が算出した信頼度が所定の値を満たしているものを検出し、前記対象者の上瞼と下瞼のエッジラインの対であると判別する、
   ことを特徴とする請求項１に記載の瞼検出装置。
6. 前記顔画像記憶手段に記憶されている複数の顔の画像のサイズ及び／又は濃度を正規化する正規化手段をさらに備える、
   ことを特徴とする請求項１に記載の瞼検出装置。
7. 異なったタイミングで取得した対象者の顔の複数の画像を記憶する顔画像記憶手段と、
   前記顔画像記憶手段に記憶されている複数の画像を処理し、瞬きに起因する画像の変化を検出する変化検出手段と、
   前記変化検出手段が検出した変化に基づき、対象者の瞼の位置を検出する瞼検出手段と、を備え、
   前記変化検出手段は、
   前記顔画像記憶手段に記憶されている複数の画像から、顔の領域を検出する顔領域検出手段と、
   前記顔領域検出手段が検出した顔の領域を所定の大きさに正規化し、顔領域画像を生成する正規化手段と、
   前記正規化手段が生成した顔領域画像を、複数記憶する正規化画像記憶手段と、
   前記正規化画像記憶手段に記憶された、最新の顔領域画像とその他の複数の顔領域画像との差分をとり、複数の差分画像を生成する差分画像生成手段と、
   前記差分画像生成手段が生成した複数の差分画像から、所定のしきい値以上の濃度値をもつ領域を動領域として検出する動領域検出手段と、をさらに備え、
   前記瞼検出手段は、
   前記複数の差分画像から、前記動領域検出手段が検出した動領域の面積が最大の一を選択する差分画像選択手段と、
   前記差分画像選択手段が選択した差分画像の動領域から、目の領域を特定する目領域特定手段と、をさらに備え、
   前記正規化画像記憶手段は、人の閉眼に掛かる時間に基づいた時間、各顔領域画像を記憶する、
   ことを特徴とする瞼検出装置。
8. 前記目領域特定手段は、動領域の左右対称性に基づき目の領域を特定することを特徴とする請求項７に記載の瞼検出装置。
9. 対象者の顔の画像を記憶する顔画像記憶手段と、
   前記顔画像記憶手段が記憶している画像の所定の領域から画像の諧調に基づいてエッジラインを抽出するエッジライン抽出手段と、
   前記エッジライン抽出手段が抽出したエッジラインのうちから、対象者の上瞼のエッジラインと下瞼のエッジラインとの組み合わせの候補となるエッジラインの対を抽出する瞼候補抽出手段と、
   前記顔画像記憶手段に記憶されている画像に含まれる顔の輪郭の中心線を検出する中心線検出手段と、
   前記瞼候補抽出手段が抽出したエッジラインの対の内から、前記中心線検出手段が検出した中心線を軸として線対称であるエッジラインが存在するものを検出し、そのうちから前記対象者の上瞼と下瞼に対応するエッジラインに相当するものを判別する瞼判別手段と、
   を備えることを特徴とする瞼検出装置。
10. コンピュータを、
    異なったタイミングで取得した対象者の顔の複数の画像を記憶する顔画像記憶手段、
    前記顔画像記憶手段に記憶されている画像を処理し、画像の領域の境界に相当するエッジラインを抽出するエッジライン抽出手段、
    前記エッジライン抽出手段が抽出したエッジラインのうちから、上瞼に対応するエッジラインと下瞼に対応するエッジラインとの組み合わせの候補となるエッジラインの対を抽出する瞼候補抽出手段、
    前記瞼候補抽出手段が抽出したエッジラインのうち、対を構成する上瞼候補のエッジラインの代表点が所定の方向に移動する対を、前記対象者の上瞼と下瞼に対応するエッジラインの対であると判別する瞼判別手段、
    として機能させることを特徴とするプログラム。
11. コンピュータを、
    対象者の顔の画像を記憶する顔画像記憶手段、
    前記顔画像記憶手段が記憶している画像の所定の領域から画像の諧調に基づいてエッジラインを抽出するエッジライン抽出手段、
    前記エッジライン抽出手段が抽出したエッジラインのうちから、対象者の上瞼のエッジラインと下瞼のエッジラインとの組み合わせの候補となるエッジラインの対を抽出する瞼候補抽出手段、
    顔画像記憶手段に記憶されている画像に含まれる顔の輪郭の中心線を検出する中心線検出手段、
    前記瞼候補抽出手段が抽出したエッジラインの対の内から、前記中心線検出手段が検出した中心線を軸として線対称であるエッジラインが存在するものを検出し、そのうちから前記対象者の上瞼と下瞼に対応するエッジラインに相当するものを判別する瞼判別手段、
    として機能させることを特徴とするプログラム。
12. コンピュータを、
    対象者の顔を含む画像を記憶する画像記憶手段、
    前記画像記憶手段に記憶されている複数の画像から、顔の領域を検出する顔領域検出手段、
    前記顔領域検出手段が検出した顔の領域を所定の大きさに正規化し、顔領域画像を生成する正規化手段、
    前記正規化手段が生成した顔領域画像を、複数記憶する顔画像記憶手段、
    前記顔画像記憶手段により蓄積された、最新の顔領域画像とその他の複数の顔領域画像との差分をとり、複数の差分画像を生成する差分画像生成手段、
    前記差分画像生成手段が生成した複数の差分画像から、所定のしきい値以上の濃度値をもつ領域を動領域として検出する動領域検出手段、
    前記複数の差分画像から、前記動領域検出手段が検出した動領域の面積が最大の一を選択する差分画像選択手段、
    前記差分画像選択手段が選択した差分画像の動領域から、目の領域を特定する目領域特定手段、として機能させ、
    前記顔画像記憶手段は、人の閉眼に掛かる時間に基づいた時間、各顔領域画像を記憶する、
    ことを特徴とするプログラム。

Images