JP2007323104A - 目の状態判別方法および装置ならびにプログラム - Google Patents

Abstract

【課題】画像内の顔の検出について誤検出率を低く保ちつつ高速化を図る。
【解決手段】全体画像Ｐから顔画像ＦＰが検出され、この顔画像ＦＰから目が存在すべき存在領域ＥＲが抽出される。その後、抽出した存在領域ＥＲ内に開いた目が存在するか否かが判断され、存在する場合には目が開いている状態であると判別され、存在しない場合には目が閉じている状態であると判別される。
【選択図】図１

Description

本発明は、顔画像の目が開いている状態であるか閉じている状態であるかを判別する目の状態判別方法および装置ならびにプログラムに関するものである。

現在、デジタルカメラにより取得された画像から目の状態を検出し、目が閉じている場合には撮影をやり直すことができるように、デジタルカメラのモニタを介して撮影者にアドバイスし、もしくは閉じた目の部分を開いた目に合成する等を行うことが提案されている。このとき、画像から顔を検出する方法もしくは顔の中から目を検出する方法として、ニューラルネットワークを用いた検出方法の他にブースティング（Ｂｏｏｓｔｉｎｇ）アルゴリズムによる検出方法が用いられる（特許文献１，２参照）。

このブースティングアルゴリズムは複数の弱い判別器（弱判別器）を結合することにより１つの強い判別器を形成する２クラス判別器の学習方法であって、無数のパターンの中から検出すべき１つの対象物を選択するものである。
米国特許出願公開２００２／１０２０２４号明細書 米国特許出願公開２００５／１３４７９号明細書

しかし、特許文献１、２に示すようなブースティングアルゴリズムは、対象物であるか否かを判断するものであって、対象物Ａであるか対象物Ｂであるかを分類することは前提としていない。具体的には、ブースティングアルゴリズムを用いて目が開いているか閉じているかの判別を行う場合、開いた目である画像であるかそれ以外の画像であるかという分類が行われる。つまり、開いた目以外の画像は、たとえば閉じた目と目尻のシワのように種類が違うものであっても「開いた目ではない」という同じカテゴリーに分類されてしまい、閉じた目の判別が困難になってしまうという問題がある。同様に、閉じた目であるか否かを判別した場合にも開いた目の判別が困難になってしまうという問題がある。

さらに、上記ブースティングアルゴリズムに限らず、閉じた目はほぼ線状の形状を有し目尻のシワと形状が似ているため検出が難しいという問題がある。

そこで、本発明は、目が開いた状態なのか閉じた状態なのかを精度良く判別することができる目の状態判別方法および装置ならびにプログラムを提供することを目的とするものである。

本発明の目の状態判別方法は、全体画像に含まれる顔画像を検出し、検出した顔画像の輪郭から目が存在すべき存在領域を抽出し、抽出した存在領域内に開いた目が存在するか否かを検出し、存在領域内から開いた目が検出されたときに目が開いている状態であると判別し、検出されなかったときに目が閉じている状態であると判別することを特徴とするものである。

本発明の目の状態判別装置は、全体画像に含まれる顔画像を検出する顔検出手段と、顔検出手段により検出された顔画像から目が存在すべき存在領域を抽出する領域抽出手段と、領域抽出手段により抽出された存在領域内に開いた目が存在するか否かを検出する目検出手段と、目検出手段において開いた目が存在領域内から検出されたとき目が開いている状態であると判別し、検出されなかったとき目が閉じている状態であると判別する状態判別手段とを備えたことを特徴とするものである。

本発明の目の状態判別プログラムは、コンピュータに、全体画像に含まれる顔画像を検出し、検出した顔画像の輪郭から目が存在すべき存在領域を抽出し、抽出した存在領域内に開いた目が存在するか否かを検出し、存在領域内から開いた目が検出されたとき目が開いている状態であると判別し、検出されなかったとき目が閉じている状態であると判別するように機能させることを特徴とするものである。

ここで、領域抽出手段は、顔画像から目が存在すると予想される存在領域を抽出するものであればその方法を問わず、たとえば抽出された顔画像の輪郭、大きさ等から目が配置されている確率の高い存在領域を抽出するようにしてもよい。

なお、目検出手段は、開いた目が存在するか否かを検出するものであればどのような手法であってもよい。たとえば、目検出手段は、パターンマッチングを用いて開いた目を検出するものであってもよいし、複数の弱判別器による複数の判別結果から最終的な判別を行う判別器を備えたものであり、判別器は、正解サンプル画像として開いた目の画像を用い、不正解サンプル画像として閉じた目の画像を用いて学習されたものであってもよい。このとき、判別器は不正解サンプル画像として閉じた目の画像の他に目の周辺画像を用いて学習されたものであることが好ましい。

本発明の目の状態判別方法および装置ならびにプログラムによれば、全体画像に含まれる顔画像を検出し、検出した顔画像から目が存在すべき存在領域を抽出し、抽出した存在領域内に開いた目が存在するか否かを検出し、存在領域内から開いた目が検出されたとき目が開いている状態であると判別し、検出されなかったとき目が閉じている状態であると判別することにより、顔における目の位置が既知であることおよび開いた目は閉じた目に比べて構造的特徴が多く判別しやすいことに着目し、目の存在領域内において判別しやすい開いた目のみを検出すれば同時に閉じた目を検出することになるため、結果として目の開いた状態もしくは閉じた状態を精度良く判別することができる。

特に、目検出手段が、複数の弱判別器による複数の判別結果から最終的な判別を行う判別器を備えたものであり、判別器が、正解サンプル画像として開いた目の画像を用い、不正解サンプル画像として閉じた目の画像を用いて学習されたものであれば、判別器による開いた目の判別を精度良く行うことができるため、閉じた目も精度良く判別を行うことになり、結果として目の状態判別を精度良く行うことができる。

以下、図面を参照して本発明の目の状態判別装置の実施の形態を詳細に説明する。なお、図１のような目の状態判別装置１の構成は、補助記憶装置に読み込まれた目の状態判別プログラムをコンピュータ（たとえばパーソナルコンピュータ等）上で実行することにより実現される。また、この目の状態判別プログラムは、ＣＤ−ＲＯＭ等の情報記憶媒体に記憶され、もしくはインターネット等のネットワークを介して配布され、コンピュータにインストールされることになる。

目の状態判別装置１は、全体画像に含まれる顔画像ＦＰを検出する顔検出手段１０と、顔画像ＦＰから目が存在すべき存在領域を抽出する領域抽出手段１５と、存在領域内に開いた目が存在するか否かを検出する目検出手段２０と、開いた目が領域内から検出されたときに目が開いていると判別し、検出されなかったときに目が閉じていると判別する状態判別手段３０とを備えている。

顔検出手段１０は、たとえばデジタルカメラ等において取得された全体画像の中から顔を判別し、判別した顔を顔画像ＦＰとして検出する機能を有している。顔検出手段１０は、全体画像Ｐ上にサブウィンドウＷを走査させることにより部分画像ＰＰを生成する部分画像生成手段１１と、部分画像生成手段１１により生成された複数の部分画像ＰＰにおいて、顔である部分画像を検出する顔判別器１２とを有している。

なお、部分画像生成手段１１に入力される全体画像Ｐは前処理手段１０ａにより前処理が施されている。前処理手段１０ａは、全体画像Ｐに対し図２（Ａ）〜（Ｄ）に示すように、全体画像Ｐを多重解像度化して解像度の異なる複数の全体画像Ｐ２、Ｐ３、Ｐ４を生成する機能を有している。さらに、前処理手段１０ａは、生成した複数の全体画像Ｐに対して、局所的な領域におけるコントラストのばらつきを抑制し全体画像Ｐの全領域においてコントラストを所定レベルに揃える正規化（以下、局所正規化という）を施す機能を有している。

部分画像生成手段１１は、図２（Ａ）に示すように、設定された画素数（たとえば３２画素×３２画素）を有するサブウィンドウＷを全体画像Ｐ内において走査させ、サブウィンドウＷにより囲まれた領域を切り出すことにより設定画素数からなる部分画像ＰＰを生成するようになっている。なお、部分画像生成手段１１は、図２（Ｂ）〜（Ｄ）に示すように、生成された低解像度画像上においてサブウィンドウＷを走査させたときの部分画像ＰＰをも生成するようになっている。このように、低解像度画像からも部分画像ＰＰを生成することにより、全体画像ＰにおいてサブウィンドウＷ内に顔もしくは顔が収まらなかった場合であっても、低解像度画像上においてはサブウィンドウＷ内に収めることが可能となり、検出を確実に行うことができる。

図１の顔判別器１２は、部分画像ＰＰが顔であるか非顔かの２値判別を行う機能を有し、アダブーストアルゴリズム（Ａｄａｂｏｏｓｔ Ａｌｇｏｒｉｔｈｍ）により学習されたものであって、複数の弱判別器ＣＦ_１〜ＣＦ_Ｍ（Ｍ：弱判別器の個数）を有している。各弱判別器ＣＦ_１〜ＣＦ_Ｍはそれぞれ部分画像ＰＰから特徴量ｘを抽出し、この特徴量ｘを用いて部分画像ＰＰが顔であるか否かの判別を行う機能を備える。そして、顔判別器２２は弱判別器ＣＦ_１〜ＣＦ_Ｍおける判別結果を用いて顔であるか否かの最終的な判別を行うようになっている。

具体的には、各弱判別器ＣＦ_１〜ＣＦ_Ｍは図３に示すように部分画像ＰＰ内の設定された座標Ｐ１ａ、Ｐ１ｂ、Ｐ１ｃにおける輝度値等を抽出する。さらに、部分画像ＰＰの低解像度画像ＰＰ２内の設定された座標位置Ｐ２ａ、Ｐ２ｂ、低解像度画像ＰＰ３内の設定された座標位置Ｐ３ａ、Ｐ３ｂにおける輝度値等をそれぞれ抽出する。その後、上述した７個の座標Ｐ１ａ〜Ｐ３ｂの２つをペアとして組み合わせ、この組み合わせた輝度の差分を特徴量ｘとする。各弱判別器ＣＦ_１〜ＣＦ_Ｍ毎にそれぞれ異なる特徴量が用いられるものであり、たとえば弱判別器ＣＦ_１では座標Ｐ１ａ、Ｐ１ｃにおける輝度の差分を特徴量として用い、弱判別器ＣＦ_２では座標Ｐ２ａ、Ｐ２ｂにおける輝度の差分を特徴量として用いるようになっている。

なお、各弱判別器ＣＦ_１〜ＣＦ_Ｍがそれぞれ特徴量ｘを抽出する場合について例示しているが、複数の部分画像ＰＰについて上述した特徴量ｘを予め抽出しておき、各弱判別器ＣＦ_１〜ＣＦ_Ｍに入力するようにしてもよい。さらに、輝度値を用いた場合について例示しているが、コントラスト、エッジ等の情報を用いるようにしても良い。

各弱判別器ＣＦ_１〜ＣＦ_Ｍは図４に示すようなヒストグラムを有しており、このヒストグラムに基づいて特徴量ｘの値に応じたスコアｆ_１（ｘ）〜ｆ_Ｍ（ｘ）を出力する。さらに、各弱判別器ＣＦ_１〜ＣＦ_Ｍは判別性能を示す信頼度β_１〜β_Ｍを有している。各弱判別器ＣＦ_１〜ＣＦ_Ｍは、スコアｆ_１（ｘ）〜ｆ_Ｍ（ｘ）と信頼度β_１〜β_Ｍとを用いて判定スコアβ_ｍ・ｆ_ｍ（ｘ）を算出するようになっている。そして、各弱判別器ＣＦ_ｍの判定スコアβ_ｍ・ｆ_ｍ（ｘ）自体が設定しきい値Ｓｒｅｆ以上であるか否かを判断し、設定しきい値以上であるときに顔であると判別する（β_ｍ・ｆ_ｍ（ｘ）≧Ｓｒｅｆ）。

また、顔判別器１２の各弱判別器ＣＦ_１〜ＣＦ_Ｍはカスケード構造を有しており、各弱判別器ＣＦ_１〜ＣＦ_Ｍのすべてが顔であると判別した部分画像ＰＰのみを顔画像ＦＰとして出力するようになっている。つまり、弱判別器ＣＦ_ｍにおいて顔であると判別した部分画像ＰＰのみ下流側の弱判別器ＣＦ_ｍ＋１による判別を行い、弱判別器ＣＦ_ｍで非顔であると判別された部分画像ＰＰは下流側の弱判別器ＣＦ_ｍ＋１による判別は行わない。これにより、下流側の弱判別器において判別すべき部分画像ＰＰの量を減らすことができるため、判別作業の高速化を図ることができる。なお、カスケード構造を有する判別器の詳細は、Shihong LAO等、「高速全方向顔検出」、画像の認識・理解シンポジウム（ＭＩＲＵ２００４）、２００４年７月に開示されている。

なお、各弱判別器ＣＦ_１〜ＣＦ_Ｍから出力された判定スコアＳ_１〜Ｓ_Ｍをそれぞれ個別に判定スコアしきい値Ｓｒｅｆ以上であるか否かを判断するのではなく、弱判別器ＣＦ_ｍにおいて判別を行う際、弱判別器ＣＦ_ｍの上流側の弱判別器ＣＦ_１〜ＣＦ_ｍ−１での判定スコアの和Σ_ｒ=1 ^ｍβ_ｒ・ｆ_ｒが判定スコアしきい値Ｓ１ｒｅｆ以上であるか否かにより判別を行うようにしても良い（Σ_ｒ=1 ^ｍβ_ｒ・ｆ_ｒ（ｘ）≧Ｓ１ｒｅｆ）。これにより、上流側の弱判別器による判定スコアを考慮した判定を行うことができるため、判定精度の向上を図ることができる。

図１の領域抽出手段１５は顔検出手段１０により抽出された顔画像ＦＰにおいて目が存在すべき存在領域ＥＲを抽出するものであって、一般的に顔の輪郭（顔画像ＦＰの大きさ）から目が存在する位置が含まれるような領域を存在領域ＥＲとして抽出する。具体的には図５に示すように、顔の向きが頭が上、あごが下にあるとき、顔画像ＦＰの下端から所定量Ｌ１ｒｅｆだけ上側であって、左右端から所定量Ｌ１０ｒｅｆ離れた領域を特定するようになっている。この所定量Ｌ１ｒｅｆ、Ｌ１０ｒｅｆは統計的に一般人の顔の輪郭から目の位置までの距離として予め定められている。

図１の目検出手段２０は存在領域ＥＲ内に開いた目が存在するか否かを検出するものであって、領域抽出手段１５により特定された領域から複数の周辺画像ＳＣＰを生成する周辺画像生成手段２１と、周辺画像生成手段２１により生成された複数の周辺画像ＳＣＰの目の状態を判別する目判別器２２とを有している。周辺画像生成手段２１は、図６に示すように、存在領域ＥＲ内を設定画素数（たとえば３２画素×３２画素）からなるウィンドウ枠を走査し、ウィンドウ枠Ｗ１０に囲まれた画像を周辺画像ＳＣＰとして生成するようになっている。

図１の目判別器２２は、上述した顔判別器１２と同様にアダブーストアルゴリズムにより学習されたものであって、周辺画像ＳＣＰが開いた目であるか否かを判別する機能を有している。具体的には、目判別器２２は、複数の弱判別器ＣＦ_１０〜ＣＦ_Ｎ（Ｎ：弱判別器の個数）を有している。各弱判別器ＣＦ_１０〜ＣＦ_Ｎはそれぞれ周辺画像ＰＰから特徴量ｘを抽出し、この特徴量ｘを用いて部分画像ＰＰが顔であるか否かの判別を行う機能を備える。そして、目判別器２２は弱判別器ＣＦ_１０〜ＣＦ_Ｎおける判別結果を用いて周辺画像ＳＣＰが開いた目であるか否か最終的な判別を行うようになっている。ここで、目判別器２２が開いた目を判別することができるために、目判別器２２の学習には正解サンプルとして開いた目の画像が用いられ、不正解サンプルとして閉じた目の画像および目の周辺画像が用いられている。

状態判別手段３０は、目検出手段２０における開いた目の判別結果に基づいて目の状態を判別するものであって、開いた目が存在領域ＥＲ内から検出されたときに目が開いている状態であると判別する。一方、開いた目が検出されなかったとき、目が存在すべき存在領域ＥＲに開いた目が存在しなかったものであるから、目が閉じている状態であると判別する。

図７は本発明の目の状態判別方法の好ましい実施の形態を示すフローチャートであり、図１から図７を参照して目の状態判別方法の一例について説明する。まず、顔検出手段１０において全体画像Ｐに前処理が施された後（ステップＳＴ１、図２参照）、全体画像Ｐ上をウィンドウ枠が走査することにより部分画像ＰＰが生成される（ステップＳＴ２）。その後、部分画像ＰＰに対し顔判別器１２による判別が行われ、顔画像ＦＰが検出される（ステップＳＴ３）。

次に、領域抽出手段１５により検出された顔画像ＦＰから目が存在すべき存在領域ＥＲが抽出される（ステップＳＴ４、図５参照）。周辺画像生成手段２１において抽出した存在領域ＥＲ内からウィンドウ枠を走査することにより周辺画像ＳＣＰが生成される（ステップＳＴ５、図６参照）。そして目判別器２２によりこの周辺画像ＳＣＰが開いた目であるか否かが判別される（ステップＳＴ６）。その後、状態判別手段３０において、存在領域ＥＲから生成された複数の周辺画像ＳＣＰに開いた目が存在したときには、目が開いていると判断され、複数の周辺画像ＳＣＰに開いた目がなかったときには、目が閉じていると判断される（ステップＳＴ７）。

このように、目が存在すべき存在領域ＥＲ内において開いた目の判別を行うことにより、目が開いているか閉じているかの２つの状態を精度良く判別することができる。まず、開いた目と閉じた目とを比較した場合、開いた目は横長の明るい（白い）楕円の中に、暗い円構造を含んでいるという多くの特徴的構造を有している。一方、閉じた目は主として直線状の構造からなっており特徴的構造が少なく、目の周辺画像として取り込まれる目尻のシワ等と構造が似ている。よって、開いた目を正解サンプルとして学習させた判別器と、閉じた目を正解サンプルとして学習させた判別器とを比較した場合、開いた目を正解サンプルとして学習させた判別器の方が誤検出率を低くすることができる。このように、開いた目の方が閉じた目よりも構造的特徴が多いことを利用し、開いた目の判別を精度良く行うことができるようになっている。

一方、顔において目が存在する領域は個人差があるものの既知であり、検出された顔画像ＦＰから目が存在すべき存在領域ＥＲを検出することができる。これを利用し、検出された顔画像ＦＰの輪郭から予め目が存在する存在領域ＥＲを抽出し、この存在領域ＥＲ内において開いた目の判別を行う。目が必ず存在する存在領域ＥＲに開いた目がないとき、それは存在領域ＥＲの目は閉じていることを意味する。このように、存在領域ＥＲ内に開いた目を判別することにより、開いた目であるか否か（対象物か非対象物であるか）といった判別しかできないブースティングアルゴリズムを用いて、開いた目であるか閉じた目であるか（対象物Ａであるか対象物Ｂであるか）という２つの状態を精度良く判別することができる。

上記実施の形態によれば、顔における目の位置が既知であることおよび開いた目は閉じた目に比べて構造的特徴が多く判別しやすいことに着目し、目の存在領域内において判別しやすい開いた目のみを検出すれば同時に閉じた目を検出することになるため、結果として目の開いた状態もしくは閉じた状態を精度良く判別することができる。

特に、目検出手段２０が、複数の弱判別器ＣＦ_１０〜ＣＦ_Ｎによる複数の判別結果から最終的な判別を行う判別器２２を備えたものであり、判別器２２が、正解サンプル画像として開いた目の画像を用い、不正解サンプル画像として閉じた目の画像を用いて学習されたものであれば、判別器２２による開いた目の判別を精度良く行うことができるため、閉じた目も精度良く判別を行うことになり、結果として目の状態判別を精度良く行うことができる。

なお、本発明の実施の形態は上記実施の形態に限定されない。たとえば、上記実施の形態において、正面顔の場合について例示しているが、横顔もしくは斜め顔にも適用することができる。また、顔判別器１２（目判別器２２）にアダブーストアルゴリズムを用いた場合について例示しているが、公知のニューラルネットワーク技術等を用いて顔もしくは目の判別を行うようにしても良い。この場合であっても、存在領域ＥＲから開いた目の検出が行われる。

本発明の目の状態判別装置の好ましい実施の形態を示すブロック図 図１の部分画像生成手段においてサブウィンドウが走査される様子を示す模式図 図１の弱判別器により部分画像から特徴量が抽出される様子を示す模式図 図１の弱判別器が有するヒストグラムの一例を示すグラフ図 図１の領域抽出手段において顔画像から存在領域が抽出される様子を示す模式図 図１の周辺画像生成手段において存在領域から周辺画像が生成される様子を示す模式図 本発明の目の状態判別方法の好ましい実施の形態を示すフローチャート

符号の説明

１ 目の状態判別装置
１０ 顔検出手段
１５ 領域抽出手段
２０ 目検出手段
２１ 周辺画像生成手段
２１ 判別器
２２ 目判別器
３０ 状態判別手段
ＥＲ 存在領域
Ｐ 全体画像
ＦＰ 顔画像

Claims (4)

1. 全体画像の中から顔画像を検出し、
   検出した前記顔画像から目が存在すべき存在領域を抽出し、
   抽出した前記存在領域内に開いた目が存在するか否かを検出し、
   前記存在領域内から前記開いた目が検出されたとき目が開いている状態であると判別し、検出されなかったとき目が閉じている状態であると判別する
   ことを特徴とする目の状態判別方法。
2. 全体画像の中から顔画像を検出する顔検出手段と、
   該顔検出手段により検出された前記顔画像から目が存在すべき存在領域を抽出する領域抽出手段と、
   該領域抽出手段により抽出された前記存在領域内に開いた目が存在するか否かを検出する目検出手段と、
   該目検出手段において開いた目が前記存在領域内から検出されたときに目が開いている状態であると判別し、検出されなかったとき目が閉じている状態であると判別する状態判別手段と
   を備えたことを特徴とする目の状態判別装置。
3. 前記目検出手段が、複数の弱判別器による複数の判別結果から最終的な判別を行う判別器を備えたものであり、該判別器が、正解サンプル画像として開いた目の画像を用い、不正解サンプル画像として閉じた目の画像を用いて学習されたものであることを特徴とする請求項２記載の目の状態判別装置。
4. コンピュータに、
   全体画像に含まれる顔画像を検出し、
   検出した前記顔画像から目が存在すべき存在領域を抽出し、
   抽出した前記存在領域内に開いた目が存在するか否かを検出し、
   前記存在領域内から前記開いた目が検出されたとき目が開いている状態であると判別し、検出されなかったとき目が閉じている状態であると判別する
   ことを実行させるための目の状態判別プログラム。

Images