JP4623172B2 - 瞳孔検出装置、瞳孔検出装置用プログラム及び瞳孔検出方法 - Google Patents

Description

本発明は、人の顔を撮影した画像から瞳孔を検出するための瞳孔検出装置、瞳孔検出装置用プログラム及び瞳孔検出方法に関する。

従来、カメラにより撮影した人の顔画像から眼の領域や瞳孔中心の位置を検出し、視線を算出する技術が知られている。例えば特許文献１記載の発明では、テンプレートマッチング手法により画像上の眼の領域を検出し、得られた眼の領域内においてエッジを抽出し、得られたエッジに対して円ハフ変換を使用して瞳孔の円方程式を求め、瞳孔中心を検出する。そして、得られた眼の領域と瞳孔中心との位置関係から視線を算出する。
特開２００２−２８２２１０号公報

しかしながら、瞳孔の輪郭は、常に完全な形で検出できるものではなく、顔の向きや視線の向きによっては瞳孔の一部が瞼に隠れてしまうこともある。また、眼の形状も個人差があるため、人によっては、正面を向いている状態においても瞳孔の一部が瞼に隠れることがある。例えば、図１４（ａ）に示すように瞳孔（黒目における中心の黒い部分であり、図面上やや大きめに示している。）の上部が上瞼に隠れている状態でエッジを検出しようとした場合、図１４（ｂ）に示すように上瞼のエッジと瞳孔のエッジとが見かけ上連続して検出され、そのようなエッジに対して円ハフ変換を施した場合、図１４（ｃ）に示すように瞼に基づくエッジの影響を受けるため、瞳孔の位置を誤って検出してしまうという問題があった。

本発明は、こうした問題に鑑みなされたものであり、瞳孔の一部が隠れた場合でも精度よく瞳孔を検出することができる瞳孔検出装置、瞳孔検出装置用プログラム及び瞳孔検出方法を提供することを目的とする。

上記目的を達成するためになされた請求項１記載の発明は、取得手段、眼検出手段、エッジ検出手段及び瞳孔検出手段を備えた瞳孔検出装置である。そして、取得手段は、人の顔を撮影した画像を取得し、眼検出手段は、取得手段により取得された画像から眼を検出し、エッジ検出手段は、眼検出手段により検出された眼の領域内でエッジを検出し、瞳孔検出手段は、エッジ検出手段により検出されたエッジから瞳孔を検出する。さらに、本発明の瞳孔検出装置は、形状検出手段及び選択手段を備え、形状検出手段は、眼の形状を検出し、選択手段は、形状検出手段により検出された眼の形状に基づいて、エッジ検出手段により検出されたエッジから瞳孔に沿ったエッジのみを選択する。そして、瞳孔検出手段は、エッジ検出手段により検出された全てのエッジから瞳孔を検出した第１瞳孔検出結果と、選択手段によって選択されたエッジのみから瞳孔を検出した第２瞳孔検出結果とを比較し、高い位置にある方を瞳孔として検出する。

なお、ここにいう眼を検出するとは、具体的には、眼の領域を画像内で特定することをいう。またエッジとは、画像を二値化してフィルタリングするなどの画像処理により抽出されるエッジ点群をいい、画像内で輝度や色彩が異なる領域の境界線を指す。

かかる請求項１記載の瞳孔検出装置による第２瞳孔検出結果は、眼の形状に基づいて選択した瞳孔に沿ったエッジのみから瞳孔を検出したものであるため、例えば前述したように瞳孔の上側部分が上瞼に隠れているような場合にも、眼の形状による影響を排除することができ、精度よく瞳孔を検出することができる。すなわち第２瞳孔検出結果によれば、多くの場合で、エッジ検出手段により検出された全てのエッジから瞳孔を検出した第１瞳孔検出結果よりも精度よく瞳孔を検出することができる。

ただし、瞳孔にノイズがのったような場合、必ずしも第２瞳孔検出結果の方が第１瞳孔検出結果よりも精度よく瞳孔を検出できるとは限らない。
例えば図９（ａ）に示すように、反射光などのノイズで瞳孔の両側が欠けた場合、瞳孔に沿ったエッジはその両側がくぼんだ形となる。このため、眼の形状に基づいて選択した瞳孔に沿ったエッジのみから瞳孔を検出する処理により、瞳孔に沿ったエッジの上側部分が除去されると（図９（ｂ））、エッジの下側部分と内側にくぼんだ部分との影響で、瞳孔が実際の瞳孔よりもやや下方の小さな円として検出されてしまうことになる（図９（ｃ））。

これに対し、エッジ検出手段により検出された全てのエッジから瞳孔を検出する場合には、瞳孔に沿ったエッジの上側部分が除去されないため（図１０（ｂ））、実際の瞳孔に近い円を検出することができる（図１０（ｃ））。

そこで、請求項１記載の瞳孔検出装置では、第２瞳孔検出結果をそのまま最終的な検出結果とするのではなく、エッジ検出手段により検出された全てのエッジから瞳孔を検出した第１瞳孔検出結果と比較し、高い位置にある方を瞳孔として検出するものとした。このため、エッジにノイズがのっていたような場合であっても精度よく瞳孔を検出することが可能となる。

ここにいう画像内の高さで比較するとは、検出した瞳孔の高さ位置を比較することをいい、例えば、瞳孔検出結果が画像内の円で示された場合であれば、円の中心の高さを比較することをいう。

例えば前述の図９の例でいえば、第２瞳孔検出結果は、エッジの下側部分と内側にくぼんだ部分との影響で、瞳孔が実際の瞳孔よりもやや下方の小さな円として検出されることになる（図９（ｃ）参照）。すなわち、第２瞳孔検出結果を検出する過程で、瞳孔に沿ったエッジを選択する際、たとえ瞳孔が隠れていなくても眼の形状による影響を確実に除去するため、エッジを除去することがある（図９（ａ））。このようにエッジを除去する場合、上瞼の形状以外から影響を受けることがほとんどないことから、多くの場合エッジの上側部分が除去されることになる。そして、この場合さらに、瞳孔にノイズがのっていると、エッジ自体が内側にくぼんだ形となるため、第２瞳孔検出結果は、際の瞳孔よりもやや下方の小さい円として誤って検出されることになる（図９（ｃ））。

これに対し、この場合の第１瞳孔検出結果は、図１０に示すように瞳孔に沿ったエッジの上側部分を除去することなく全てのエッジから瞳孔を検出するため実際の瞳孔に近い形で円を検出することができる。すなわち、図１１に示すように円の中心座標が高い位置にある第１瞳孔検出結果の方が実際の瞳孔に近い円となる。

また、図１２及び図１３は、ノイズがなく上瞼により瞳孔が隠れた場合の瞳孔検出結果を示している。ノイズがなく上瞼に瞳孔が隠れる場合（図１２（ａ））、エッジ検出部１２により検出された全てのエッジは上瞼による影響を受けるため実際の瞳孔よりも上側が低い位置でエッジが検出される（図１２（ｂ））。そのため、このエッジから円ハフ変換などにより瞳孔を検出すると、実際の瞳孔よりもやや下方の小さな円として誤って検出されることが多くなる（図１２（ｃ））。

これに対し、この場合の第２瞳孔検出結果は、実際の瞳孔に近い円として検出される。すなわち、ノイズがなく上瞼により瞳孔が隠れた場合（図１３（ａ））、選択手段により選択されたエッジは上側部分を除去した形となり（図１３（ｂ））、これに円ハフ変換を施した第２瞳孔検出結果は上側部分の影響を受けることがないため実際の瞳孔に近い円となる（図１３（ｃ））。

以上から、瞳孔が誤って検出される場合はいずれも瞳孔検出結果が低い位置となることが多いことになる。
そこで、請求項２記載の発明によれば、第１瞳孔検出結果と第２瞳孔検出結果とを比較して高い位置にある瞳孔検出結果の方を選択するため、多くの場合で正確に瞳孔を検出できることになる。

請求項２記載の発明は、瞳孔検出装置において、瞳孔検出手段が、第１瞳孔検出結果と第２瞳孔検出結果とを画像内の大きさで比較し、大きい方を瞳孔として検出する。

ここにいう画像内の大きさで比較するとは、検出した瞳孔の大きさを比較することをいい、例えば、瞳孔検出結果が画像内の円で示された場合であれば、円の半径の長さや面積などにより両者の大きさを比較することをいう。

前述のとおり、瞳孔の両側に反射光などノイズがのった場合にしても、上瞼による影響を受けた場合にしても、正確でない瞳孔検出結果は実際の瞳孔よりも小さく検出されることが多くなる。

そのため請求項２記載の発明によれば、より大きい方を瞳孔検出結果とするため、多くの場合に、より正確に瞳孔を検出できることになる。
請求項３記載の発明は、瞳孔検出装置において、形状検出手段が、顔形状モデルにより眼の形状を検出する。
かかる請求項３記載の瞳孔検出装置によれば、精度よく眼形状を検出することができる。また、眼検出手段についても顔形状モデルを利用することができるため、その場合は両者で同じ処理を用いることができ、簡素な処理で実現できる。
請求項４記載の発明は、請求項１乃至３記載の瞳孔検出装置において、形状検出手段が、眼の形状として瞼の輪郭を検出し、選択手段が、形状検出手段により検出された瞼の輪郭に沿ったエッジを除去することにより瞳孔に沿ったエッジのみを選択する。

かかる請求項４記載の瞳孔検出装置によれば、瞼の輪郭に沿ったエッジを除去することにより瞳孔に沿ったエッジのみを選択するため、瞼の輪郭の影響を受けることが少なくなり精度よく瞳孔を検出することができる。

請求項５記載の発明は、請求項４記載の瞳孔検出装置において、形状検出手段が、瞼の輪郭として上瞼の輪郭を検出し、選択手段が、形状検出手段により検出された上瞼の輪郭に沿ったエッジを除去することにより瞳孔に沿ったエッジのみを選択する。

かかる請求項５記載の瞳孔検出装置によれば、特に瞳孔が隠れることが多い上瞼の輪郭に沿ったエッジを除去することで精度よく瞳孔を検出できるとともに、除去する領域が上瞼に制限されるため処理量が少なくて済む。

請求項６記載の発明は、人の顔を撮影した画像を取得する取得手段と、取得手段により取得された画像から眼を検出する眼検出手段と、眼検出手段により検出された眼の領域内でエッジを検出するエッジ検出手段と、エッジ検出手段により検出されたエッジから瞳孔を検出する瞳孔検出手段としてコンピュータを機能させる瞳孔検出装置用プログラムであり、さらに、眼の形状を検出する形状検出手段と、形状検出手段により検出された眼の形状に基づいて、エッジ検出手段により検出されたエッジから瞳孔に沿ったエッジのみを選択する選択手段としてコンピュータを機能させ、瞳孔検出手段は、エッジ検出手段により検出された全てのエッジから瞳孔を検出した第１瞳孔検出結果と、選択手段によって選択されたエッジのみから瞳孔を検出した第２瞳孔検出結果とを比較し、高い位置にある方を瞳孔として検出する。

かかる請求項６記載の瞳孔検出装置用プログラムによれば、請求項１記載の瞳孔検出装置としてコンピュータを機能させることができ、同様の効果を得ることができる。
請求項７記載の発明は、取得ステップ、眼検出ステップ、エッジ検出ステップ、瞳孔検出ステップを備えた瞳孔検出方法である。そして、取得ステップでは、人の顔を撮影した画像を取得し、眼検出ステップでは、取得ステップで取得した画像から眼を検出し、エッジ検出ステップでは、眼検出ステップで検出した眼の領域内でエッジを検出し、瞳孔検出ステップでは、エッジ検出ステップで検出したエッジから瞳孔を検出する。さらに、本発明の瞳孔検出方法は、形状検出ステップ、選択ステップを備え、形状検出ステップでは、眼の形状を検出し、選択ステップでは、形状検出ステップで検出した眼の形状に基づいて、エッジ検出ステップで検出したエッジから瞳孔に沿ったエッジのみを選択する。そして、瞳孔検出ステップでは、エッジ検出ステップで検出した全てのエッジから瞳孔を検出した第１瞳孔検出結果と、選択ステップで選択したエッジのみから瞳孔を検出した第２瞳孔検出結果とを比較し、高い位置にある方を瞳孔として検出する。

かかる請求項７記載の瞳孔検出方法によれば、請求項１記載の発明と同様の効果を得ることができる。

以下、本発明の実施形態について図面とともに説明する。
［１ 構成］
図１は、実施形態の瞳孔検出装置１の概略構成を表すブロック図である。

この瞳孔検出装置１は、車両に搭載されて用いられるものであって、コンピュータを中心に構成されており、図１に示すように、顔画像取得部１０、眼検出部１１、エッジ検出部１２、眼形状検出部１３、特徴量選択部１４、瞳孔円検出部１５及び瞳孔位置判定部１６として機能する。

顔画像取得部１０は、カメラ２によって撮影された顔画像をキャプチャして一時的に記憶する画像キャプチャボード（図示せず）から、その顔画像を表す画像データを取得する。

ここで、カメラ２は、車両室内における運転席に着座している運転者の顔を正面から撮影できる位置に配置されている。具体的には、カメラ２は、インストルメントパネル内の計器盤又はその近傍に設置されている。このカメラ２は、イメージセンサとして例えばＣＣＤ又はＣＭＯＳを備えるとともに、人の顔が明瞭に撮影できるような焦点距離のレンズが装着される。

また運転者の顔に向けて左右から近赤外線を照射する２台の投光機（図示せず）がインストルメントパネル内の計器盤に設置されており、カメラ２の近傍に配置されている。運転者の眼に近赤外線を照射することで、眼の領域内における運転者の瞳孔を画像上明確に認識できるようになる。

眼検出部１１は、顔画像取得部１０により取得された画像データの表す画像内で、顔が撮影されている領域から眼の領域を検出する。本実施形態では、眼の領域を検出する方法として顔形状モデルを用いる。例えば、「I. Matthews and S. Baker, "Active Appearance Models Revisited," International Journal of Computer Vision, Vol. 60, No. 2, November, 2004, pp. 135 - 164.」記載の技術を用いることができる。

エッジ検出部１２は、眼検出部１１により検出された眼の領域内にてエッジを検出する。具体的には、まず画像を所定の閾値により二値化処理して、公知のソーベルフィルタを用いることにより画像内で輝度や色彩が異なる領域の境界線をエッジとして検出する。

眼形状検出部１３は、眼検出部１１により検出された眼の領域から、撮影された眼の上瞼の形状（以下「上瞼輪郭」という。）を検出する。これについても前述した顔形状モデルを用いる。

特徴量選択部１４は、エッジ検出部１２により検出されたエッジから、眼形状検出部１３により検出された上瞼輪郭に沿ったエッジを除去することにより、瞳孔に沿ったエッジのみを選択する。

瞳孔円検出部１５は、エッジ検出部１２により検出された全てのエッジから瞳孔を検出（具体的には、瞳孔を画像内の円として検出）し、その円の中心座標及び半径を第１瞳孔検出結果として出力するとともに、特徴量選択部１４により選択されたエッジのみからも瞳孔を検出し、その円の中心座標及び半径を第２瞳孔検出結果として出力する。ここでは公知の円ハフ変換の技術を用いる。

瞳孔位置判定部１６は、瞳孔円検出部１５により検出された第１瞳孔検出結果と第２瞳孔検出結果とから、あらかじめ定められている基準（より正確な瞳孔を選択できる基準）に基づき一方の瞳孔検出結果を瞳孔として検出する。ここでは円の中心が高い位置にある方の瞳孔検出結果を瞳孔として検出する。
［２ 処理］
次に、瞳孔検出装置１が実行する具体的な処理手順について説明する。

図２は、瞳孔検出装置１が実行する瞳孔検出処理を示すフローチャートである。この瞳孔検出処理は、車両のイグニションスイッチがオンになることで開始される。
まずＳ１１０では、カメラ２によって撮影された運転者の顔画像を表す画像データを取得する。このＳ１１０の処理は、顔画像取得部１０としての処理に相当する。

続いてＳ１２０では、顔形状モデルを用いて、Ｓ１１０で取得した画像データのフィッティングを行うことで眼の領域を検出する。このＳ１２０の処理は、眼検出部１１としての処理に相当する。

ここで顔形状モデルについて図を用いて説明する。図３（ａ）は基本形状ｓ₀、図３（ｂ）は形状ベクトルｓ₁、図３（ｃ）は形状ベクトルｓ₂、図３（ｄ）は形状ベクトルｓ₃をそれぞれ表している。なお、図３（ｂ），（ｃ），（ｄ）では、ベクトルの始点を明確にするために、基本形状ｓ₀の上にベクトルｓ₁，ｓ₂，ｓ₃を上書きしている。

顔形状モデルは、正面顔を三角形状の複数のメッシュで表現した基本形状（base shape）ｓ₀（図３（ａ）を参照）と、基本形状ｓ₀からの顔向き方向を示すｎ個（ｎは自然数）の形状ベクトル（shape vector）ｓ_i（ｉ＝１，２，３・・・，ｎ）（図３（ｂ），（ｃ），（ｄ）を参照）とが予め設定されており、これら基本形状ｓ₀及びｎ個の形状ベクトルｓ_iを用いて（１）式により計算することにより、人間の顔の形状を表現する。

なお、（１）式のｐ_i（ｉ＝１，２，３・・・）は、重ね合せ係数である。また、形状ベクトルｓ_i（ｉ＝１，２，３・・・）は、基本形状ｓ₀を構成するメッシュの頂点（以下「メッシュ頂点」ともいう。）を始点とするベクトルであり、基本形状ｓ₀の全頂点について形状ベクトルｓ_iが設定されている（図３（ｂ），（ｃ），（ｄ）では、一部のメッシュ頂点についてのみ形状ベクトルｓ₁，ｓ₂，ｓ₃を表示している）。

更に顔形状モデルは、正面顔についての基本となるアピアランスを示す画像（base appearance image）Ａ₀（ｘ）（以下「基本アピアランス像Ａ₀（ｘ）」という。）と、アピアランスのフィッティングの際に基本アピアランス像Ａ₀（ｘ）に重ね合わせるためのｍ個（ｍは自然数）のアピアランス像（appearance image）Ａ_i（ｘ）（ｉ＝１，２，３・・・，ｍ）とが予め設定されており、これら基本アピアランス像Ａ₀（ｘ）及びｍ個のアピアランス像Ａ_i（ｘ）を用いて（２）式で計算することにより人間の顔のアピアランスを表現する。

ここで、ｘは基本形状ｓ₀内の２次元座標を示す。また、（２）式のλ_i（ｉ＝１，２，３・・・）は、重ね合せ係数である。

すなわちＳ１２０では、（１）式及び（２）式で得られる画像が、Ｓ１１０で取得した顔画像に一致するように、重ね合せ係数ｐ_i及び重ね合せ係数λ_iを変化させるフィッティングを行う（図４を参照）。

なお、瞳孔検出装置１は、性別、年代、人種に応じて異なる複数種類の基本形状ｓ₀、ｎ個の形状ベクトルｓ_i、基本アピアランス像Ａ₀（ｘ）、及びｍ個のアピアランス像Ａ_i（ｘ）を記憶している。そして瞳孔検出装置１は、ユーザ（運転者）が自身の性別、年代、人種に応じて複数種類のｓ₀，ｓ_i，Ａ₀（ｘ），Ａ_i（ｘ）から１つのｓ₀，ｓ_i，Ａ₀（ｘ），Ａ_i（ｘ）を選択できるように構成されている。

続いてＳ１３０では、Ｓ１２０で検出した眼の領域内で予め用意しておいた閾値により二値化処理を行った後、ソーベルフィルタによってエッジを検出する。このＳ１３０の処理は、エッジ検出部１２としての処理に相当する。

続いてＳ１４０では、Ｓ１３０で検出したエッジから瞳孔を円として検出し、その結果を瞳孔データ３として出力する瞳孔円検出処理を行う。なお瞳孔データ３としては、前述のとおり瞳孔を表す円の中心座標及び半径を出力する。この処理を実行して瞳孔検出処理を終了する。

次にＳ１４０にて行われる瞳孔円検出処理をさらに詳しく説明する。図５は、瞳孔円検出処理を示すフローチャートである。
まずＳ２１０では、顔形状モデルを用いて、眼形状として上瞼輪郭を検出する。前述のＳ１２０にて顔形状モデルにより眼の領域が検出されると同時に顔形状モデルの眼に関係する複数の三角形メッシュの頂点座標（以下「顔特徴点」ともいう。）から上瞼輪郭が検出できる。

具体的には、図６に示すように顔形状モデルにより眼の領域が検出された時の顔特徴点ＦＰ１、ＦＰ２、ＦＰ３、ＦＰ４から上瞼輪郭を検出することができる。このＳ２１０の処理は、眼形状検出部１３としての処理に相当する。

続いてＳ２２０では、瞳孔に沿ったエッジのみを選択する特徴量選択処理が行われる。ここでは、Ｓ２１０により得られた上瞼位置であるＦＰ２、ＦＰ３を使用して特徴量選択を行う。具体的には、まず、ＦＰ２、ＦＰ３を通る直線Ｌを算出し、その直線Ｌ上に瞼端点である目尻の位置ＦＰ１及び目頭の位置ＦＰ４からそれぞれ垂直に下ろした二点を両端とする線分をその直線Ｌから切り出す（図７（ａ））。

次に、その線分から一定量だけ下がった位置までの領域（以下「エッジ除去領域」という。）に存在するエッジを上瞼に沿ったエッジとして削除する。なお、本実施形態では、一定量として５画素分下がった位置までの領域に存在するエッジを除去する（図７（ｂ））。このように一定の画素分下がった領域を除去する理由は、上瞼に沿ったエッジを確実に除去するためである。このＳ２２０の処理は、特徴量選択部１４としての処理に相当する。

続いてＳ２３０では、Ｓ１３０で検出した全てのエッジに対して円ハフ変換を施して瞳孔を円として検出し、その円の中心座標及び半径を第１瞳孔検出結果とするとともに、Ｓ２２０で選択した瞳孔に沿ったエッジのみに対しても円ハフ変換を施して瞳孔を円として検出し、その円の中心座標及び半径を第２瞳孔検出結果とする。このＳ２３０の処理は、瞳孔円検出部１５としての処理に相当する。

続いてＳ２４０の瞳孔位置判定処理を実行して、あらかじめ定められている基準（より正確な瞳孔を選択できる基準）として円の中心座標が高い方を選択し、その瞳孔検出結果を瞳孔データ３として出力する。このＳ２４０の処理は、瞳孔位置判定部１６としての処理に相当する。その後、この瞳孔円検出処理を終了する。

次にＳ２４０にて行われる瞳孔位置判定処理をさらに詳しく説明する。図８は、瞳孔位置判定処理を示すフローチャートである。
まずＳ３１０では、第１瞳孔検出結果の円の中心座標の高さが第２瞳孔検出結果の円の中心座標の高さ以上であるか否かを判定する。

第１瞳孔検出結果の円の中心座標の高さが第２瞳孔検出結果の円の中心座標の高さ以上である場合（Ｓ３１０：ＹＥＳ）、Ｓ３２０に進み、そうでない場合（Ｓ３１０：ＮＯ）、Ｓ３３０に進む。

Ｓ３２０では、第１瞳孔検出結果の方が高いか同じ高さである場合であるから、第１瞳孔検出結果を瞳孔データ３として出力して、この瞳孔位置判定処理を終了する。
Ｓ３３０では、第２瞳孔検出結果の方が高い場合であるから、第２瞳孔検出結果を瞳孔データ３として出力して、この瞳孔位置判定処理を終了する。
［３ 効果］
以上説明したとおり、本実施形態の瞳孔検出装置１によれば、検出された全てのエッジにより検出された第１瞳孔検出結果と、眼の形状に基づき瞳孔に沿ったエッジのみから検出された第２瞳孔検出結果とが比較されて、検出結果としての円の中心座標がより高い位置にある方が検出結果として選ばれるので（Ｓ３１０〜Ｓ３３０）、より正確な円が瞳孔として検出されることになり、エッジにノイズがのっていたような場合であっても影響を受けず、精度よく瞳孔を検出することができる。

特に、近赤外線を運転者の顔に対し両横から照射する場合は、瞳孔の両側にノイズがのる場合が多いが必ずノイズがのるとは限らず、かつ瞳孔が上瞼以外の原因により隠れることはほとんどないことを考えると、第１瞳孔検出結果と第２瞳孔検出結果の中心座標の高さで比較することは、極めて瞳孔検出の精度を上げるものといえる。

また第２瞳孔検出結果を検出するにあたっては上瞼輪郭に沿ったエッジを除去することにより選択した瞳孔に沿ったエッジのみを使って瞳孔の検出を行うため（Ｓ２１０〜Ｓ２３０）、上瞼輪郭という眼の形状による影響を排除することができ、精度よく瞳孔を検出することができる。

特に、瞳孔が上瞼以外の原因により隠れることはほとんどないことから、本実施形態の瞳孔検出装置１では、上瞼の輪郭に沿ったエッジのみを除去するようにしている。このため、少ない処理量で効率よく瞳孔検出の精度を向上させることができる。

また眼形状検出部１３が、顔形状モデルにより眼の形状を検出するため（Ｓ２１０）、精度よく眼形状を検出することができる。また眼検出部１１でも顔形状モデルにより眼を検出するため（Ｓ１２０）、両者で同じ処理を用いることができ、簡素な処理で実現できる。
［４ 特許請求の範囲との対応］
なお本実施形態において、顔画像取得部１０が取得手段、眼検出部１１が眼検出手段、エッジ検出部１２がエッジ検出手段、眼形状検出部１３が形状検出手段、特徴量選択部１４が選択手段、瞳孔円検出部１５及び瞳孔位置判定部１６が瞳孔検出手段にそれぞれ相当する。
［５ 他の実施形態］
以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の技術的範囲に属する限り種々の形態を採ることができる。

例えば、上記実施形態では、第１瞳孔検出結果と第２瞳孔検出結果とを円の中心座標の高さで比較して高い方を選択するものとしたが（Ｓ３１０）、これに代えて、第１瞳孔検出結果と第２瞳孔検出結果との円の半径が大きい方を基準とすることもできる。このようにしても、多くの場合、正確に瞳孔を検出できる。この場合の処理はＳ３１０の条件を変更するだけであり、その他の処理は上記実施態様と同様である。

同じく、画像内で瞳孔の大きさだけが検出されるような場合であれば、その面積を比較して大きい方を選択するようにＳ３１０を設定することもできる。
また例えば、上記実施形態においては、選択されたエッジに対して、円ハフ変換を施して瞳孔を円として検出したが、最小二乗法による楕円検出によって瞳孔を検出してもよい。

また上記実施形態では、上瞼輪郭によるエッジ除去領域を上瞼に沿ったエッジから算出した直線から線分を切り出し、その線分の５画素分としたが、この画素数については、ＦＰ１とＦＰ２又はＦＰ３とＦＰ４との画像上での高さの差から適宜決定してもよい。

このエッジ除去領域については直線ではなく、ベジエ曲線やスプライン曲線などの方法により曲線を求めて、所定の画素数分下げる形で設定してもよい。このように曲線を切り出せば直線で切り出した場合に比べて、除去する領域を小さくすることができ、瞳孔に沿ったエッジを多く残すことができる。

また上記実施形態では、眼の形状として上瞼輪郭に沿ったエッジのみを除去するものとしたが、これに限定されるものではなく、例えば下瞼に沿ったエッジも除去するようにしてもよい。この場合、運転者が眼を細めるなどして、瞳孔が下瞼によっても隠れるような場合でも正確に瞳孔の位置を検出できる。

さらにエッジ検出処理における二値化処理においては、二値化に使用する閾値を事前に用意しておく代わりに、公知の判別分析法を使用してその都度決定してもよい。これにより、顔画像が全体として明るくなった場合や暗くなった場合などの照明変動にも頑健に二値化処理することができる。

また上記実施形態においては、運転者が自身の性別、年代、人種に応じて、ｓ₀，ｓ_i，Ａ₀（ｘ）及びＡ_i（ｘ）を選択できるように構成されているものを示したが、選択条件としては性別、年代、人種に限られない。また、性別、年代、人種等の条件に依存することなく利用できるｓ₀，ｓ_i，Ａ₀（ｘ）及びＡ_i（ｘ）を用意しておいてもよい。これにより、本装置の使用者がｓ₀，ｓ_i，Ａ₀（ｘ），Ａ_i（ｘ）を選択する手間を省略することができる。

この眼の領域及び眼の形状の検出については、顔形状モデルによらず、テンプレートマッチングの手法によってもよい。
さらに上記実施形態では、車両に搭載され、運転者の顔の画像を一つのカメラから撮影する構成としたが、これは必ずしも一つのカメラに限定されるものではなく、二つ以上のカメラによるステレオ画像を用いることもできる。

また本発明の瞳孔検出装置は、必ずしも車両に搭載されるものに限らなくてもよく、例えば、電車、航空機、船舶などの運転席、医療用機械、シミュレーション機、その他ゲーム機などに搭載してもよい。

実施形態の瞳孔検出装置の概略構成を表すブロック図である。 瞳孔検出処理を示すフローチャートである。 顔形状モデルによる処理方法を示す説明図である。 顔形状モデルでフィッティングを行う場合を示す説明図である。 瞳孔円検出処理を示すフローチャートである。 眼の形状検出方法を示す説明図である。 特徴量選択処理の内容を示す説明図である。 瞳孔位置判定処理を示すフローチャートである。 ノイズで一部が欠けた瞳孔の場合の第２瞳孔検出結果を示す説明図である ノイズで一部が欠けた瞳孔の場合の第１瞳孔検出結果を示す説明図である。 瞳孔位置判定処理の内容を示す説明図である。 ノイズがなく上瞼輪郭により瞳孔が隠れた場合の第１瞳孔検出結果を示す説明図である。 ノイズがなく上瞼輪郭により瞳孔が隠れた場合の第２瞳孔検出結果を示す説明図である。 従来技術を示す説明図である。

符号の説明

１…瞳孔検出装置、２…カメラ、３…瞳孔データ、１０…顔画像取得部、１１…眼検出部、１２…エッジ検出部、１３…眼形状検出部、１４…特徴量選択部、１５…瞳孔円検出部、１６…瞳孔位置判定部

Claims (9)

1. 人の顔を撮影した画像を取得する取得手段と、
   前記取得手段により取得された画像から眼を検出する眼検出手段と、
   前記眼検出手段により検出された眼の領域内でエッジを検出するエッジ検出手段と、
   前記エッジ検出手段により検出されたエッジから瞳孔を検出する瞳孔検出手段とを備えた瞳孔検出装置であって、
   眼の形状を検出する形状検出手段と、
   前記形状検出手段により検出された眼の形状に基づいて、前記エッジ検出手段により検出されたエッジから瞳孔に沿ったエッジのみを選択する選択手段とを備え、
   前記瞳孔検出手段は、前記エッジ検出手段により検出された全てのエッジから瞳孔を検出した第１瞳孔検出結果と、前記選択手段によって選択されたエッジのみから瞳孔を検出した第２瞳孔検出結果とを比較し、高い位置にある方を瞳孔として検出すること
   を特徴とする瞳孔検出装置。
2. 眼検出手段により検出された眼の領域内でエッジを検出するエッジ検出手段と、
   前記エッジ検出手段により検出されたエッジから瞳孔を検出する瞳孔検出手段とを備えた瞳孔検出装置であって、
   眼の形状を検出する形状検出手段と、
   前記形状検出人の顔を撮影した画像を取得する取得手段と、
   前記取得手段により取得された画像から眼を検出する眼検出手段と、
   前記手段により検出された眼の形状に基づいて、前記エッジ検出手段により検出されたエッジから瞳孔に沿ったエッジのみを選択する選択手段とを備え、
   前記瞳孔検出手段は、前記エッジ検出手段により検出された全てのエッジから瞳孔を検出した第１瞳孔検出結果と、前記選択手段によって選択されたエッジのみから瞳孔を検出した第２瞳孔検出結果とを比較し、大きい方を瞳孔として検出すること
   を特徴とする瞳孔検出装置。
3. 人の顔を撮影した画像を取得する取得手段と、
   前記取得手段により取得された画像から眼を検出する眼検出手段と、
   前記眼検出手段により検出された眼の領域内でエッジを検出するエッジ検出手段と、
   前記エッジ検出手段により検出されたエッジから瞳孔を検出する瞳孔検出手段とを備えた瞳孔検出装置であって、
   顔形状モデルにより眼の形状を検出する形状検出手段と、
   前記形状検出手段により検出された眼の形状に基づいて、前記エッジ検出手段により検出されたエッジから瞳孔に沿ったエッジのみを選択する選択手段とを備え、
   前記瞳孔検出手段は、前記エッジ検出手段により検出された全てのエッジから瞳孔を検出した第１瞳孔検出結果と、前記選択手段によって選択されたエッジのみから瞳孔を検出した第２瞳孔検出結果とを比較し、あらかじめ定められている基準に基づき一方の瞳孔検出結果を瞳孔として検出すること
   を特徴とする瞳孔検出装置。
4. 前記形状検出手段は、眼の形状として瞼の輪郭を検出し、
   前記選択手段は、前記形状検出手段により検出された瞼の輪郭に沿ったエッジを除去することにより瞳孔に沿ったエッジのみを選択すること
   を特徴とする請求項１乃至３のいずれか記載の瞳孔検出装置。
5. 前記形状検出手段は、前記瞼の輪郭として上瞼の輪郭を検出し、
   前記選択手段は、前記形状検出手段により検出された上瞼の輪郭に沿ったエッジを除去することにより瞳孔に沿ったエッジのみを選択すること
   を特徴とする請求項４記載の瞳孔検出装置。
6. 人の顔を撮影した画像を取得する取得手段と、
   前記取得手段により取得された画像から眼を検出する眼検出手段と、
   前記眼検出手段により検出された眼の領域内でエッジを検出するエッジ検出手段と、
   前記エッジ検出手段により検出されたエッジから瞳孔を検出する瞳孔検出手段としてコンピュータを機能させる瞳孔検出装置用プログラムであって、
   眼の形状を検出する形状検出手段と、
   前記形状検出手段により検出された眼の形状に基づいて、前記エッジ検出手段により検出されたエッジから瞳孔に沿ったエッジのみを選択する選択手段としてコンピュータを機能させ、
   前記瞳孔検出手段は、前記エッジ検出手段により検出された全てのエッジから瞳孔を検出した第１瞳孔検出結果と、前記選択手段によって選択されたエッジのみから瞳孔を検出した第２瞳孔検出結果とを比較し、高い位置にある方を瞳孔として検出すること
   を特徴とする瞳孔検出装置用プログラム。
7. 人の顔を撮影した画像を取得する取得ステップと、
   前記取得ステップで取得した画像から眼を検出する眼検出ステップと、
   前記眼検出ステップで検出した眼の領域内でエッジを検出するエッジ検出ステップと、
   前記エッジ検出ステップで検出したエッジから瞳孔を検出する瞳孔検出ステップとを備えた瞳孔検出方法であって、
   眼の形状を検出する形状検出ステップと、
   前記形状検出ステップで検出した眼の形状に基づいて、前記エッジ検出ステップで検出したエッジから瞳孔に沿ったエッジのみを選択する選択ステップとを備え、
   前記瞳孔検出ステップは、前記エッジ検出ステップで検出した全てのエッジから瞳孔を検出した第１瞳孔検出結果と、前記選択ステップで選択したエッジのみから瞳孔を検出した第２瞳孔検出結果とを比較し、高い位置にある方を瞳孔として検出すること
   を特徴とする瞳孔検出方法。
8. 人の顔を撮影した画像を取得する取得手段と、
   前記取得手段により取得された画像から眼を検出する眼検出手段と、
   前記眼検出手段により検出された眼の領域内でエッジを検出するエッジ検出手段と、
   前記エッジ検出手段により検出されたエッジから瞳孔を検出する瞳孔検出手段としてコンピュータを機能させる瞳孔検出装置用プログラムであって、
   眼の形状を検出する形状検出手段と、
   前記形状検出手段により検出された眼の形状に基づいて、前記エッジ検出手段により検出されたエッジから瞳孔に沿ったエッジのみを選択する選択手段としてコンピュータを機能させ、
   前記瞳孔検出手段は、前記エッジ検出手段により検出された全てのエッジから瞳孔を検出した第１瞳孔検出結果と、前記選択手段によって選択されたエッジのみから瞳孔を検出した第２瞳孔検出結果とを比較し、大きい方を瞳孔として検出すること
   を特徴とする瞳孔検出装置用プログラム。
9. 人の顔を撮影した画像を取得する取得ステップと、
   前記取得ステップで取得した画像から眼を検出する眼検出ステップと、
   前記眼検出ステップで検出した眼の領域内でエッジを検出するエッジ検出ステップと、
   前記エッジ検出ステップで検出したエッジから瞳孔を検出する瞳孔検出ステップとを備えた瞳孔検出方法であって、
   眼の形状を検出する形状検出ステップと、
   前記形状検出ステップで検出した眼の形状に基づいて、前記エッジ検出ステップで検出したエッジから瞳孔に沿ったエッジのみを選択する選択ステップとを備え、
   前記瞳孔検出ステップは、前記エッジ検出ステップで検出した全てのエッジから瞳孔を検出した第１瞳孔検出結果と、前記選択ステップで選択したエッジのみから瞳孔を検出した第２瞳孔検出結果とを比較し、大きい方を瞳孔として検出すること
   を特徴とする瞳孔検出方法。