JP4623171B2 - 瞳孔検出装置、瞳孔検出装置用プログラム及び瞳孔検出方法 - Google Patents

Description

本発明は、人の顔を撮影した画像から瞳孔を検出するための瞳孔検出装置、瞳孔検出装置用プログラム及び瞳孔検出方法に関する。

従来、カメラにより撮影した人の顔画像から眼の領域や瞳孔中心の位置を検出し、視線を算出する技術が知られている。例えば特許文献１記載の発明では、テンプレートマッチング手法により画像上の眼の領域を検出し、得られた眼の領域内においてエッジを抽出し、得られたエッジに対して円ハフ変換を使用して瞳孔の円方程式を求め、瞳孔中心を検出する。そして、得られた眼の領域と瞳孔中心との位置関係から視線を算出する。
特開２００２−２８２２１０号公報

しかしながら、瞳孔の輪郭は、常に完全な形で検出できるものではなく、顔の向きや視線の向きによっては瞳孔の一部が瞼に隠れてしまうこともある。また、眼の形状も個人差があるため、人によっては、正面を向いている状態においても瞳孔の一部が瞼に隠れることがある。例えば、図９（ａ）に示すように瞳孔（黒目における中心の黒い部分であり、図面上やや大きめに示している。）の上部が上瞼に隠れている状態でエッジを検出しようとした場合、図９（ｂ）に示すように上瞼のエッジと瞳孔のエッジとが見かけ上連続して検出され、そのようなエッジに対して円ハフ変換を施した場合、図９（ｃ）に示すように瞼に基づくエッジの影響を受けるため、瞳孔の位置を誤って検出してしまうという問題があった。

本発明は、こうした問題に鑑みなされたものであり、瞳孔の一部が隠れた場合でも精度よく瞳孔を検出することができる瞳孔検出装置、瞳孔検出装置用プログラム及び瞳孔検出方法を提供することを目的とする。

上記目的を達成するためになされた請求項１記載の発明は、取得手段、眼検出手段、エッジ検出手段及び瞳孔検出手段を備えた瞳孔検出装置である。そして、取得手段は、人の顔を撮影した画像を取得し、眼検出手段は、取得手段により取得された画像から眼を検出し、エッジ検出手段は、眼検出手段により検出された眼の領域内でエッジを検出し、瞳孔検出手段は、エッジ検出手段により検出されたエッジから瞳孔を検出する。さらに、本発明の瞳孔検出装置は、形状検出手段及び選択手段を備え、形状検出手段は、顔形状モデルにより眼の形状を検出し、選択手段は、形状検出手段により検出された眼の形状に基づいて、エッジ検出手段により検出されたエッジから瞳孔に沿ったエッジのみを選択する。そして、瞳孔検出手段は、選択手段によって選択されたエッジから瞳孔を検出する。

かかる請求項１記載の瞳孔検出装置によれば、眼の形状に基づいて選択した瞳孔に沿ったエッジのみから瞳孔の検出を行うため、眼の形状による影響を排除することができ、精度よく瞳孔を検出することができる。
さらに顔形状モデルによるため、精度よく眼形状を検出することができる。また、眼検出手段についても顔形状モデルを利用することができるため、その場合は両者で同じ処理を用いることができ、簡素な処理で実現できる。

なお、ここにいう眼を検出するとは、具体的には、眼の領域を画像内で特定することをいう。またエッジとは、画像を二値化してフィルタリングするなどの画像処理により抽出されるエッジ点群をいい、画像内で輝度や色彩が異なる領域の境界線を指す。

請求項２記載の発明は、請求項１記載の瞳孔検出装置において、形状検出手段が、眼の形状として瞼の輪郭を検出し、選択手段が、形状検出手段により検出された瞼の輪郭に沿ったエッジを除去することにより瞳孔に沿ったエッジのみを選択する。

かかる請求項２記載の瞳孔検出装置によれば、瞼の輪郭に沿ったエッジを除去することにより瞳孔に沿ったエッジのみを選択するため、瞼の輪郭の影響を受けることが少なくなり精度よく瞳孔を検出することができる。

請求項３記載の発明は、請求項２記載の瞳孔検出装置において、形状検出手段が、瞼の輪郭として上瞼の輪郭を検出し、選択手段が、形状検出手段により検出された上瞼の輪郭に沿ったエッジを除去することにより瞳孔に沿ったエッジのみを選択する。

かかる請求項３記載の瞳孔検出装置によれば、特に瞳孔が隠れることが多い上瞼の輪郭に沿ったエッジを除去することで精度よく瞳孔を検出できるとともに、除去する領域が上瞼に制限されるため処理量が少なくて済む。

請求項４記載の発明は、人の顔を撮影した画像を取得する取得手段と、取得手段により取得された画像から眼を検出する眼検出手段と、眼検出手段により検出された眼の領域内でエッジを検出するエッジ検出手段と、エッジ検出手段により検出されたエッジから瞳孔を検出する瞳孔検出手段としてコンピュータを機能させる瞳孔検出装置用プログラムであり、さらに、顔形状モデルにより眼の形状を検出する形状検出手段と、形状検出手段により検出された眼の形状に基づいて、エッジ検出手段により検出されたエッジから瞳孔に沿ったエッジのみを選択する選択手段としてコンピュータを機能させ、瞳孔検出手段は、選択手段によって選択されたエッジから瞳孔を検出する。

かかる請求項４記載の瞳孔検出装置用プログラムによれば、請求項１記載の瞳孔検出装置としてコンピュータを機能させることができ、同様の効果を得ることができる。
請求項５記載の発明は、取得ステップ、眼検出ステップ、エッジ検出ステップ、瞳孔検出ステップを備えた瞳孔検出方法である。そして、取得ステップでは、人の顔を撮影した画像を取得し、眼検出ステップでは、取得ステップで取得した画像から眼を検出し、エッジ検出ステップでは、眼検出ステップで検出した眼の領域内でエッジを検出し、瞳孔検出ステップでは、エッジ検出ステップで検出したエッジから瞳孔を検出する。さらに、本発明の瞳孔検出方法は、形状検出ステップ、選択ステップを備え、形状検出ステップでは、顔形状モデルにより眼の形状を検出し、選択ステップでは、形状検出ステップで検出した眼の形状に基づいて、エッジ検出ステップで検出したエッジから瞳孔に沿ったエッジのみを選択する。そして、瞳孔検出ステップでは、選択ステップで選択したエッジから瞳孔を検出する。

かかる請求項５記載の瞳孔検出方法によれば、請求項１記載の発明と同様の効果を得ることができる。

以下、本発明の実施形態について図面とともに説明する。
［１ 構成］
図１は、実施形態の瞳孔検出装置１の概略構成を表すブロック図である。

この瞳孔検出装置１は、車両に搭載されて用いられるものであって、コンピュータを中心に構成されており、図１に示すように、顔画像取得部１０、眼検出部１１、エッジ検出部１２、眼形状検出部１３、特徴量選択部１４及び瞳孔円検出部１５として機能する。

顔画像取得部１０は、カメラ２によって撮影された顔画像をキャプチャして一時的に記憶する画像キャプチャボード（図示せず）から、その顔画像を表す画像データを取得する。

ここで、カメラ２は、車両室内における運転席に着座している運転者の顔を正面から撮影できる位置に配置されている。具体的には、カメラ２は、インストルメントパネル内の計器盤又はその近傍に設置されている。このカメラ２は、イメージセンサとして例えばＣＣＤ又はＣＭＯＳを備えるとともに、人の顔が明瞭に撮影できるような焦点距離のレンズが装着される。

また運転者の顔に向けて左右から近赤外線を照射する２台の投光機（図示せず）がインストルメントパネル内の計器盤に設置されており、カメラ２の近傍に配置されている。運転者の眼に近赤外線を照射することで、眼の領域内における運転者の瞳孔を画像上明確に認識できるようになる。

眼検出部１１は、顔画像取得部１０により取得された画像データの表す画像内で、顔が撮影されている領域から眼の領域を検出する。本実施形態では、眼の領域を検出する方法として顔形状モデルを用いる。例えば、「I. Matthews and S. Baker, "Active Appearance Models Revisited," International Journal of Computer Vision, Vol. 60, No. 2, November, 2004, pp. 135 - 164.」記載の技術を用いることができる。

エッジ検出部１２は、眼検出部１１により検出された眼の領域内にてエッジを検出する。具体的には、まず画像を所定の閾値により二値化処理して、公知のソーベルフィルタを用いることにより画像内で輝度や色彩が異なる領域の境界線をエッジとして検出する。

眼形状検出部１３は、眼検出部１１により検出された眼の領域から、撮影された眼の上瞼の形状（以下「上瞼輪郭」という。）を検出する。これについても前述した顔形状モデルを用いる。

特徴量選択部１４は、エッジ検出部１２により検出されたエッジから、眼形状検出部１３により検出された上瞼輪郭に沿ったエッジを除去することにより、瞳孔に沿ったエッジのみを選択する。

瞳孔円検出部１５は、特徴量選択部１４により選択されたエッジから瞳孔を検出（具体的には、瞳孔を画像内の円として検出）し、その円の中心座標及び半径を瞳孔データ３として出力する。ここでは公知の円ハフ変換の技術を用いる。
［２ 処理］
次に、瞳孔検出装置１が実行する具体的な処理手順について説明する。

図２は、瞳孔検出装置１が実行する瞳孔検出処理を示すフローチャートである。この瞳孔検出処理は、車両のイグニションスイッチがオンになることで開始される。
まずＳ１１０では、カメラ２によって撮影された運転者の顔画像を表す画像データを取得する。このＳ１１０の処理は、顔画像取得部１０としての処理に相当する。

続いてＳ１２０では、顔形状モデルを用いて、Ｓ１１０で取得した画像データのフィッティングを行うことで眼の領域を検出する。このＳ１２０の処理は、眼検出部１１としての処理に相当する。

ここで顔形状モデルについて図を用いて説明する。図３（ａ）は基本形状ｓ₀、図３（ｂ）は形状ベクトルｓ₁、図３（ｃ）は形状ベクトルｓ₂、図３（ｄ）は形状ベクトルｓ₃をそれぞれ表している。なお、図３（ｂ），（ｃ），（ｄ）では、ベクトルの始点を明確にするために、基本形状ｓ₀の上にベクトルｓ₁，ｓ₂，ｓ₃を上書きしている。

顔形状モデルは、正面顔を三角形状の複数のメッシュで表現した基本形状（base shape）ｓ₀（図３（ａ）を参照）と、基本形状ｓ₀からの顔向き方向を示すｎ個（ｎは自然数）の形状ベクトル（shape vector）ｓ_i（ｉ＝１，２，３・・・，ｎ）（図３（ｂ），（ｃ），（ｄ）を参照）とが予め設定されており、これら基本形状ｓ₀及びｎ個の形状ベクトルｓ_iを用いて（１）式により計算することにより、人間の顔の形状を表現する。

なお、（１）式のｐ_i（ｉ＝１，２，３・・・）は、重ね合せ係数である。また、形状ベクトルｓ_i（ｉ＝１，２，３・・・）は、基本形状ｓ₀を構成するメッシュの頂点（以下「メッシュ頂点」ともいう。）を始点とするベクトルであり、基本形状ｓ₀の全頂点について形状ベクトルｓ_iが設定されている（図３（ｂ），（ｃ），（ｄ）では、一部のメッシュ頂点についてのみ形状ベクトルｓ₁，ｓ₂，ｓ₃を表示している）。

更に顔形状モデルは、正面顔についての基本となるアピアランスを示す画像（base appearance image）Ａ₀（ｘ）（以下「基本アピアランス像Ａ₀（ｘ）」という。）と、アピアランスのフィッティングの際に基本アピアランス像Ａ₀（ｘ）に重ね合わせるためのｍ個（ｍは自然数）のアピアランス像（appearance image）Ａ_i（ｘ）（ｉ＝１，２，３・・・，ｍ）とが予め設定されており、これら基本アピアランス像Ａ₀（ｘ）及びｍ個のアピアランス像Ａ_i（ｘ）を用いて（２）式で計算することにより人間の顔のアピアランスを表現する。

ここで、ｘは基本形状ｓ₀内の２次元座標を示す。また、（２）式のλ_i（ｉ＝１，２，３・・・）は、重ね合せ係数である。

すなわちＳ１２０では、（１）式及び（２）式で得られる画像が、Ｓ１１０で取得した顔画像に一致するように、重ね合せ係数ｐ_i及び重ね合せ係数λ_iを変化させるフィッティングを行う（図４を参照）。

なお、瞳孔検出装置１は、性別、年代、人種に応じて異なる複数種類の基本形状ｓ₀、ｎ個の形状ベクトルｓ_i、基本アピアランス像Ａ₀（ｘ）、及びｍ個のアピアランス像Ａ_i（ｘ）を記憶している。そして瞳孔検出装置１は、ユーザ（運転者）が自身の性別、年代、人種に応じて複数種類のｓ₀，ｓ_i，Ａ₀（ｘ），Ａ_i（ｘ）から１つのｓ₀，ｓ_i，Ａ₀（ｘ），Ａ_i（ｘ）を選択できるように構成されている。

続いてＳ１３０では、Ｓ１２０で検出した眼の領域内で予め用意しておいた閾値により二値化処理を行った後、ソーベルフィルタによってエッジを検出する。このＳ１３０の処理は、エッジ検出部１２としての処理に相当する。

続いてＳ１４０では、Ｓ１３０で検出したエッジから瞳孔を円として検出し、その結果を瞳孔データ３として出力する瞳孔円検出処理を行う。なお瞳孔データ３としては、前述のとおり瞳孔を表す円の中心座標及び半径を出力する。この処理を実行して瞳孔検出処理を終了する。

次にＳ１４０にて行われる瞳孔円検出処理をさらに詳しく説明する。図５は、瞳孔円検出処理を示すフローチャートである。
まずＳ２１０では、顔形状モデルを用いて、眼形状として上瞼輪郭を検出する。前述のＳ１２０にて顔形状モデルにより眼の領域が検出されると同時に顔形状モデルの眼に関係する複数の三角形メッシュの頂点座標（以下「顔特徴点」ともいう。）から上瞼輪郭が検出できる。

具体的には、図６に示すように顔形状モデルにより眼の領域が検出された時の顔特徴点ＦＰ１、ＦＰ２、ＦＰ３、ＦＰ４から上瞼輪郭を検出することができる。このＳ２１０の処理は、眼形状検出部１３としての処理に相当する。

続いてＳ２２０では、瞳孔に沿ったエッジのみを選択する特徴量選択処理が行われる。ここでは、Ｓ２１０により得られた上瞼位置であるＦＰ２、ＦＰ３を使用して特徴量選択を行う。具体的には、まず、ＦＰ２、ＦＰ３を通る直線Ｌを算出し、その直線Ｌ上に瞼端点である目尻の位置ＦＰ１及び目頭の位置ＦＰ４からそれぞれ垂直に下ろした二点を両端とする線分をその直線Ｌから切り出す（図７（ａ））。

次に、その線分から一定量だけ下がった位置までの領域（以下「エッジ除去領域」という。）に存在するエッジを上瞼に沿ったエッジとして削除する。なお、本実施形態では、一定量として５画素分下がった位置までの領域に存在するエッジを除去する（図７（ｂ））。このように一定の画素分下がった領域を除去する理由は、上瞼に沿ったエッジを確実に除去するためである。このＳ２２０の処理は、特徴量選択部１４としての処理に相当する。

続いてＳ２３０では、Ｓ２２０で選択したエッジに対し、公知の円ハフ変換を施して瞳孔を円として検出し、その円の中心座標及び半径を出力する。具体的には、Ｓ２２０で上瞼輪郭に沿うエッジを除去して瞳孔に沿ったエッジを選択した後（図８（ａ））、このＳ２３０で円ハフ変換を施して瞳孔に沿った円の中心及び半径を検出する（図８（ｂ））。

このＳ２３０の処理は、瞳孔円検出部１５としての処理に相当する。この処理を実行して瞳孔円検出処理を終了する。
［３ 効果］
以上説明したとおり、本実施形態の瞳孔検出装置１によれば、上瞼輪郭に沿ったエッジを除去することにより選択した瞳孔に沿ったエッジのみを使って瞳孔の検出を行うため（Ｓ２１０〜Ｓ２３０）、上瞼輪郭による影響を排除することができ、精度よく瞳孔を検出することができる。

特に、瞳孔が上瞼以外の原因により隠れることはほとんどないことから、本実施形態の瞳孔検出装置１では、上瞼の輪郭に沿ったエッジのみを除去するようにしている。このため、少ない処理量で効率よく瞳孔検出の精度を向上させることができる。

また眼形状検出部１３が、顔形状モデルにより眼の形状を検出するため（Ｓ２１０）、精度よく眼形状を検出することができる。また眼検出部１１でも顔形状モデルにより眼を検出するため（Ｓ１２０）、両者で同じ処理を用いることができ、簡素な処理で実現できる。
［４ 特許請求の範囲との対応］
なお本実施形態において、顔画像取得部１０が取得手段、眼検出部１１が眼検出手段、エッジ検出部１２がエッジ検出手段、眼形状検出部１３が形状検出手段、特徴量選択部１４が選択手段、瞳孔円検出部１５が瞳孔検出手段にそれぞれ相当する。
［５ 他の実施形態］
以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の技術的範囲に属する限り種々の形態を採ることができる。

例えば、上記実施形態においては、選択されたエッジに対して、円ハフ変換を施して瞳孔を円として検出したが、最小二乗法による楕円検出によって瞳孔を検出してもよい。
また上記実施形態では、上瞼輪郭によるエッジ除去領域を上瞼輪郭から算出した直線から線分を切り出し、その線分の５画素分としたが、この画素数については、ＦＰ１とＦＰ２又はＦＰ３とＦＰ４との画像上での高さの差から適宜決定してもよい。

このエッジ除去領域については直線ではなく、ベジエ曲線やスプライン曲線などの方法により曲線を求めて、所定の画素数分下げる形で設定してもよい。このように曲線を切り出せば直線で切り出した場合に比べて、除去する領域を小さくすることができ、瞳孔に沿ったエッジを多く残すことができる。

また上記実施形態では、眼の形状として上瞼輪郭に沿ったエッジのみを除去するものとしたが、これに限定されるものではなく、例えば下瞼に沿ったエッジも除去するようにしてもよい。この場合、運転者が眼を細めるなどして、瞳孔が下瞼によっても隠れるような場合でも正確に瞳孔の位置を検出できる。

さらにエッジ検出処理における二値化処理においては、二値化に使用する閾値を事前に用意しておく代わりに、公知の判別分析法を使用してその都度決定してもよい。これにより、顔画像が全体として明るくなった場合や暗くなった場合などの照明変動にも頑健に二値化処理することができる。

また上記実施形態においては、運転者が自身の性別、年代、人種に応じて、ｓ₀，ｓ_i，Ａ₀（ｘ）及びＡ_i（ｘ）を選択できるように構成されているものを示したが、選択条件としては性別、年代、人種に限られない。また、性別、年代、人種等の条件に依存することなく利用できるｓ₀，ｓ_i，Ａ₀（ｘ）及びＡ_i（ｘ）を用意しておいてもよい。これにより、本装置の使用者がｓ₀，ｓ_i，Ａ₀（ｘ），Ａ_i（ｘ）を選択する手間を省略することができる。

この眼の領域及び眼の形状の検出については、顔形状モデルによらず、テンプレートマッチングの手法によってもよい。
さらに上記実施形態では、車両に搭載され、運転者の顔の画像を一つのカメラから撮影する構成としたが、これは必ずしも一つのカメラに限定されるものではなく、二つ以上のカメラによるステレオ画像を用いることもできる。

また本発明の瞳孔検出装置は、必ずしも車両に搭載されるものに限らなくてもよく、例えば、電車、航空機、船舶などの運転席、医療用機械、シミュレーション機、その他ゲーム機などに搭載してもよい。

実施形態の瞳孔検出装置の概略構成を表すブロック図である。 瞳孔検出処理を示すフローチャートである。 顔形状モデルによる処理方法を示す説明図である。 顔形状モデルでフィッティングを行う場合を示す説明図である。 瞳孔円検出処理を示すフローチャートである。 眼の形状検出方法を示す説明図である。 特徴量選択処理の内容を示す説明図である。 瞳孔円検出処理の具体例を示す説明図である。 従来技術を示す説明図である。

符号の説明

１…瞳孔検出装置、２…カメラ、３…瞳孔データ、１０…顔画像取得部、１１…眼検出部、１２…エッジ検出部、１３…眼形状検出部、１４…特徴量選択部、１５…瞳孔円検出部

Claims (5)

1. 人の顔を撮影した画像を取得する取得手段と、
   前記取得手段により取得された画像から眼を検出する眼検出手段と、
   前記眼検出手段により検出された眼の領域内でエッジを検出するエッジ検出手段と、
   前記エッジ検出手段により検出されたエッジから瞳孔を検出する瞳孔検出手段とを備えた瞳孔検出装置であって、
   顔形状モデルにより眼の形状を検出する形状検出手段と、
   前記形状検出手段により検出された眼の形状に基づいて、前記エッジ検出手段により検出されたエッジから瞳孔に沿ったエッジのみを選択する選択手段とを備え、
   前記瞳孔検出手段は、前記選択手段によって選択されたエッジから瞳孔を検出すること
   を特徴とする瞳孔検出装置。
2. 前記形状検出手段は、眼の形状として瞼の輪郭を検出し、
   前記選択手段は、前記形状検出手段により検出された瞼の輪郭に沿ったエッジを除去することにより瞳孔に沿ったエッジのみを選択すること
   を特徴とする請求項１記載の瞳孔検出装置。
3. 前記形状検出手段は、前記瞼の輪郭として上瞼の輪郭を検出し、
   前記選択手段は、前記形状検出手段により検出された上瞼の輪郭に沿ったエッジを除去することにより瞳孔に沿ったエッジのみを選択すること
   を特徴とする請求項２記載の瞳孔検出装置。
4. 人の顔を撮影した画像を取得する取得手段と、
   前記取得手段により取得された画像から眼を検出する眼検出手段と、
   前記眼検出手段により検出された眼の領域内でエッジを検出するエッジ検出手段と、
   前記エッジ検出手段により検出されたエッジから瞳孔を検出する瞳孔検出手段としてコンピュータを機能させる瞳孔検出装置用プログラムであって、
   顔形状モデルにより眼の形状を検出する形状検出手段と、
   前記形状検出手段により検出された眼の形状に基づいて、前記エッジ検出手段により検出されたエッジから瞳孔に沿ったエッジのみを選択する選択手段としてコンピュータを機能させ、
   前記瞳孔検出手段は、前記選択手段によって選択されたエッジから瞳孔を検出すること
   を特徴とする瞳孔検出装置用プログラム。
5. 人の顔を撮影した画像を取得する取得ステップと、
   前記取得ステップで取得した画像から眼を検出する眼検出ステップと、
   前記眼検出ステップで検出した眼の領域内でエッジを検出するエッジ検出ステップと、
   前記エッジ検出ステップで検出したエッジから瞳孔を検出する瞳孔検出ステップとを備えた瞳孔検出方法であって、
   顔形状モデルにより眼の形状を検出する形状検出ステップと、
   前記形状検出ステップで検出した眼の形状に基づいて、前記エッジ検出ステップで検出したエッジから瞳孔に沿ったエッジのみを選択する選択ステップとを備え、
   前記瞳孔検出ステップでは、前記選択ステップで選択したエッジから瞳孔を検出すること
   を特徴とする瞳孔検出方法。