JP5111321B2 - 瞼尤度演算装置、及びプログラム - Google Patents

Description

本発明は、瞼尤度演算装置、及びプログラムに関する。

従来、視線の移動方向を検出するためにアイモデルを用いたコンデンセイション（Condensation）による黒目追跡の技術が知られている（例えば、非特許文献１参照）。非特許文献１に記載の技術では、右の瞼の瞼形状モデル（瞼モデル）のモデルパラメータの少なくとも１つのモデルパラメータを複数回変更して、右の瞼形状モデルの形状が投影された画像座標（２次元座標）上で、画像を撮影して画像データを出力するカメラ等の撮影手段によって撮影された画像の画像データに基づいて右の瞼の尤度を推定している。同様に、左の瞼の瞼形状モデルのモデルパラメータの少なくとも１つのモデルパラメータを複数回変更して、左の瞼形状モデルの形状が投影された画像座標上で、撮影手段によって撮影された画像の画像データに基づいて左の瞼の尤度を推定している。そして、推定された右の瞼の尤度と左の瞼の尤度との和を全体の瞼の尤度として推定している。
北川洋介、加藤丈和、呉海元、和田俊和著「アイモデルを用いたCondensationによる黒目追跡」画像の認識・理解シンポジウム（MIRU2005） インタラクティブセッション、pp.1343--1350、（2005）．

しかしながら、非特許文献１に記載の技術では、図７（Ａ）に示すように、画像を撮影したカメラ９０に対して撮影対象の顔が横を向いていない状況、すなわち画像を撮影した際のカメラ９０の位置と右の瞼９２との距離、及びカメラ９０の位置と左の瞼９４との距離が等しい状況を想定して全体の瞼の尤度を推定しており、図７（Ｂ）に示すように、画像を撮影したカメラ９０に対して撮影対象の顔が横を向いている状況、すなわち画像を撮影した際のカメラ９０の位置と右の瞼９２との距離、及び当該カメラ９０の位置と左の瞼９４との距離が異なる状況では、カメラ９０から遠いほうの瞼（図７（Ｂ）の例では、左の瞼９４）では、遠いほうの瞼を含む領域の画像の精度が近い方の瞼を含む領域の画像の精度と比較して良好なものではなく、このため遠いほうの瞼の瞼尤度が良好な精度で推定できなくなり、ひいては全体の瞼尤度が良好な精度で推定できなくなる、という問題がある。

本発明は、上記の問題を解決するために成されたものであり、画像に含まれる撮影対象の顔の画像が横を向いている場合であっても、瞼尤度をより良好な精度で演算することができる瞼尤度演算装置、及びプログラムを提供することを目的とする。

上記の目的を達成するために、本発明の第１の瞼尤度演算装置は、顔の画像を含む画像を撮影して画像データを出力する撮影手段と、前記画像データに基づいて、前記顔の画像の右目領域のコントラスト及び前記顔の画像の左目領域のコントラスト、または前記顔の画像の右目領域のエッジ強度及び前記顔の画像の左目領域のエッジ強度を演算する第１の演算手段と、複数の第１のモデルパラメータによって右の上瞼及び右の下瞼の形状を定めた右瞼モデル、及び複数の第２のモデルパラメータによって左の上瞼及び左の下瞼の形状を定めた左瞼モデルを記憶した記憶手段と、前記第１のモデルパラメータの少なくとも１つのモデルパラメータを複数回変更することによって複数の右の比較瞼モデルを作成すると共に、前記第２のモデルパラメータの少なくとも１つのモデルパラメータを複数回変更することによって複数の左の比較瞼モデルを作成する作成手段と、前記右の比較瞼モデルによって表される右の上瞼及び右の下瞼の各形状と前記撮影手段によって撮影された画像の右の上瞼及び右の下瞼の各形状とが一致する度合いを示す右の瞼尤度、及び前記左の比較瞼モデルによって表される左の上瞼及び左の下瞼の各形状と該画像の左の上瞼及び左の下瞼の各形状とが一致する度合いを示す左の瞼尤度を演算する第２の演算手段と、前記第１の演算手段によって演算された前記右目領域のコントラスト及び前記左目領域のコントラスト、または前記右目領域のエッジ強度及び前記左目領域のエッジ強度に応じて、前記撮影手段によって撮影された画像の右の上瞼及び右の下瞼を含む右瞼及び左の上瞼及び左の下瞼を含む左瞼のうち、コントラストまたはエッジ強度が小さいほうの瞼の瞼尤度に対応する大きさが、コントラストまたはエッジ強度が大きいほうの瞼の瞼尤度に対応する大きさより小さくなるように定めた、左右の瞼の各々に対応する重みのうち右の瞼に対応する重みを、瞼開度が同一である前記右の比較瞼モデル及び前記左の比較瞼モデルの組み合わせにおける右の比較瞼モデルの前記右の瞼尤度に重み付けた値と、前記左右の瞼の各々に対応する重みのうち左の瞼に対応する重みを、左の比較瞼モデルの前記左の瞼尤度に重み付けた値との和を該組み合わせにおける左右の瞼尤度として組み合わせ毎に複数演算する第３の演算手段と、前記第３の演算手段によって複数演算された組み合わせ毎の左右の瞼尤度のうち、最も大きい左右の瞼尤度を全体の瞼尤度として演算する第４の演算手段とを含んで構成されている。

本発明の瞼尤度演算装置によれば、撮影手段、例えばステレオカメラ等によって撮影された画像に含まれる顔の画像が横を向いている場合（すなわち、画像に含まれる撮影対象の顔の画像が横を向いている場合）であっても、コントラストまたはエッジ強度が小さいほうの瞼の瞼尤度に対応する大きさが、コントラストまたはエッジ強度が大きいほうの瞼の瞼尤度に対応する大きさより小さくなるように定めた左右の瞼の各々に対応する重み、すなわち、画像が撮影された位置に遠いほうの瞼の瞼尤度に対応する大きさが、近いほうの瞼の瞼尤度に対応する大きさより小さくなるように定めた左右の瞼の各々に対応する重みのうち右の瞼に対応する重みを、瞼開度が同一である右の比較瞼モデル及び左の比較瞼モデルの組み合わせにおける右の比較瞼モデルの右の瞼尤度に重み付けた値と、左右の瞼の各々に対応する重みのうち左の瞼に対応する重みを、左の比較瞼モデルの左の瞼尤度に重み付けた値との和をこの組み合わせにおける左右の瞼尤度として組み合わせ毎に複数演算し、複数演算された組み合わせ毎の左右の瞼尤度のうち、最も大きい左右の瞼尤度を全体の瞼尤度として演算するので、全体の瞼尤度に対する精度が低いほうの瞼の瞼尤度の割合がより小さくなり、これにより全体の瞼尤度をより良好な精度で演算することができる。

また、上記の目的を達成するために、本発明の第２の瞼尤度演算装置は、顔の画像を含む画像を撮影して画像データを出力する撮影手段と、前記画像データに基づいて前記顔の顔向き角度を検出する第１の検出手段、前記画像データに基づいて前記顔の右目までの距離及び左目までの距離を検出する第２の検出手段、前記画像データに基づいて前記顔の右耳までの距離及び左耳までの距離を検出する第３の検出手段、前記画像データに基づいて前記右目の目頭から該右目の目じりまでの距離及び前記左目の目頭から該左目の目じりまでの距離を検出する第４の検出手段、前記画像データに基づいて前記顔の画像の右目領域のコントラスト及び前記顔の画像の左目領域のコントラストを演算する第１の演算手段、並びに前記画像データに基づいて前記顔の画像の右目領域のエッジ強度及び前記顔の画像の左目領域のエッジ強度を演算する第２の演算手段の少なくとも１つの手段を備えた処理手段と、複数の第１のモデルパラメータによって右の上瞼及び右の下瞼の形状を定めた右瞼モデル、及び複数の第２のモデルパラメータによって左の上瞼及び左の下瞼の形状を定めた左瞼モデルを記憶した記憶手段と、前記第１のモデルパラメータの少なくとも１つのモデルパラメータを複数回変更することによって複数の右の比較瞼モデルを作成すると共に、前記第２のモデルパラメータの少なくとも１つのモデルパラメータを複数回変更することによって複数の左の比較瞼モデルを作成する作成手段と、前記右の比較瞼モデルによって表される右の上瞼及び右の下瞼の各形状と前記撮影手段によって撮影された画像の右の上瞼及び右の下瞼の各形状とが一致する度合いを示す右の瞼尤度、及び前記左の比較瞼モデルによって表される左の上瞼及び左の下瞼の各形状と該画像の左の上瞼及び左の下瞼の各形状とが一致する度合いを示す左の瞼尤度を演算する第３の演算手段と、検出された顔向き角度、前記右目までの距離及び前記左目までの距離、前記右耳までの距離及び前記左耳までの距離、前記右目の目頭から該右目の目じりまでの距離及び前記左目の目頭から該左目の目じりまでの距離、演算された前記右目領域のコントラスト及び前記左目領域のコントラスト、並びに前記右目領域のエッジ強度及び前記左目領域のエッジ強度の少なくとも１つに応じて、前記撮影手段によって撮影された画像の右の上瞼及び右の下瞼を含む右瞼及び左の上瞼及び左の下瞼を含む左瞼のうち前記撮影手段によって前記画像が撮影された位置に遠いほうの瞼の瞼尤度に対応する大きさが、近いほうの瞼の瞼尤度に対応する大きさより小さくなるように定めた、左右の瞼の各々に対応する重みのうち右の瞼に対応する重みを前記第３の演算手段によって演算された最大の前記右の瞼尤度に重み付けた値、及び前記左右の瞼の各々に対応する重みのうち左の瞼に対応する重みを前記第３の演算手段によって演算された最大の前記左の瞼尤度に重み付けた値のうち大きい方の値を選択する選択手段と、前記選択手段によって選択された値を、該選択された方の瞼の瞼尤度として演算する第４の演算手段とを含んで構成されている。

本発明の瞼尤度演算装置によれば、撮影手段、例えばステレオカメラ等によって撮影された画像に含まれる顔の画像が横を向いている場合（すなわち、画像に含まれる撮影対象の顔の画像が横を向いている場合）であっても、画像が撮影された位置に遠いほうの瞼の瞼尤度に対応する大きさが、近いほうの瞼の瞼尤度に対応する大きさより小さくなるように定めた左右の瞼の各々に対応する重みのうち右の瞼に対応する重みを、最大の右の瞼尤度に重み付けた値、及び左右の瞼の各々に対応する重みのうち左の瞼に対応する重みを、最大の左の瞼尤度に重み付けた値のうち大きい方の値を選択し、選択された値を、この選択された方の瞼の瞼尤度として演算する。すなわち、本発明の瞼尤度演算装置は、重み付けた値のうち大きい方の値を選択して、選択された値を、この選択された方の瞼の瞼尤度として演算するので、より良好な精度で瞼尤度を演算することができる。

また、本発明の第２の瞼尤度演算装置は、前記右の瞼に対応する重みを前記最大の前記右の瞼尤度に重み付けた値、及び前記左の瞼に対応する重みを前記最大の前記左の瞼尤度に重み付けた値が共に所定の基準値以上である場合に、該最大の右の瞼尤度の右の比較瞼モデルが表す右瞼の瞼開度及び該最大の左の瞼尤度の左の比較瞼モデルが表す左瞼の瞼開度を検出し、検出された右瞼の瞼開度及び左瞼の瞼開度の比率を演算する第５の演算手段と、前記第４の演算手段によって演算された瞼尤度の比較瞼モデルが表す瞼の瞼開度を検出すると共に、該検出された瞼開度及び前記比率に基づいて、瞼開度が検出されていない方の瞼の瞼開度を演算することにより、瞼尤度が低い方の瞼の瞼開度を検出する第５の検出手段とを更に含む。これにより、右の比較瞼モデル及び左の比較瞼モデルのどちらか一方のみ信頼性が高い場合に、信頼性の低いほうの瞼の瞼開度を精度良く検出することができる。

また、上記の目的を達成するために、本発明の第３の瞼尤度演算装置は、顔の画像を含む画像を撮影して画像データを出力する撮影手段と、前記画像データに基づいて前記顔の顔向き角度を検出する第１の検出手段、前記画像データに基づいて前記顔の右目までの距離及び左目までの距離を検出する第２の検出手段、前記画像データに基づいて前記顔の右耳までの距離及び左耳までの距離を検出する第３の検出手段、前記画像データに基づいて前記右目の目頭から該右目の目じりまでの距離及び前記左目の目頭から該左目の目じりまでの距離を検出する第４の検出手段、前記画像データに基づいて前記顔の画像の右目領域のコントラスト及び前記顔の画像の左目領域のコントラストを演算する第１の演算手段、並びに前記画像データに基づいて前記顔の画像の右目領域のエッジ強度及び前記顔の画像の左目領域のエッジ強度を演算する第２の演算手段の少なくとも１つの手段を備えた処理手段と、複数の第１のモデルパラメータによって右の上瞼及び右の下瞼の形状を定めた右瞼モデル、及び複数の第２のモデルパラメータによって左の上瞼及び左の下瞼の形状を定めた左瞼モデルを記憶した記憶手段と、前記第１のモデルパラメータの少なくとも１つのモデルパラメータを複数回変更することによって複数の右の比較瞼モデルを作成すると共に、前記第２のモデルパラメータの少なくとも１つのモデルパラメータを複数回変更することによって複数の左の比較瞼モデルを作成する作成手段と、前記画像データに基づいて、前記顔の画像に含まれる右目の目領域の画像である右目領域画像の画素数に対する所定の輝度以上の画素数の割合である第１の割合、及び前記顔の画像に含まれる左目の目領域の画像である左目領域画像の画素数に対する所定の輝度以上の画素数の割合である第２の割合を演算する第３の演算手段と、前記第３の演算手段によって演算された前記第１の割合が所定値以下の場合にのみ前記右の比較瞼モデルによって表される右の上瞼及び右の下瞼の各形状と前記撮影手段によって撮影された画像の右の上瞼及び右の下瞼の各形状とが一致する度合いを示す右の瞼尤度を演算すると共に、前記第３の演算手段によって演算された前記第２の割合が所定値以下の場合にのみ前記左の比較瞼モデルによって表される左の上瞼及び左の下瞼の各形状と該画像の左の上瞼及び左の下瞼の各形状とが一致する度合いを示す左の瞼尤度を演算する第４の演算手段と、検出された顔向き角度、前記右目までの距離及び前記左目までの距離、前記右耳までの距離及び前記左耳までの距離、前記右目の目頭から該右目の目じりまでの距離及び前記左目の目頭から該左目の目じりまでの距離、演算された前記右目領域のコントラスト及び前記左目領域のコントラスト、並びに前記右目領域のエッジ強度及び前記左目領域のエッジ強度の少なくとも１つに応じて、前記撮影手段によって撮影された画像の右の上瞼及び右の下瞼を含む右瞼及び左の上瞼及び左の下瞼を含む左瞼のうち前記撮影手段によって前記画像が撮影された位置に遠いほうの瞼の瞼尤度に対応する大きさが、近いほうの瞼の瞼尤度に対応する大きさより小さくなるように定めた、左右の瞼の各々に対応する重みのうち、前記第１の割合が所定値以下でありかつ前記第２の割合が所定値以下である場合には、右の瞼に対応する重みを前記第４の演算手段によって演算された最大の前記右の瞼尤度に重み付けた値、及び前記左右の瞼の各々に対応する重みのうち、左の瞼に対応する重みを前記第４の演算手段によって演算された最大の前記左の瞼尤度に重み付けた値のうち大きいほうの値を選択すると共に、前記第１の割合及び前記第２の割合の一方の割合のみが所定値以下である場合には、前記第４の演算手段によって演算された前記第１の割合または前記第２の割合が所定値以下となる方の瞼の最大の瞼尤度に、該瞼に対応する重みを重み付けた値を選択する選択手段と、前記選択手段によって選択された値を、該選択された方の瞼の瞼尤度として演算する第５の演算手段とを含んで構成されている。

本発明の瞼尤度演算装置は、第１の割合（右目領域の高輝度画素領域面積比）及び第２の割合（左目領域の高輝度画素領域面積比）を演算し、第１の割合が所定値以下の場合にのみ右の瞼尤度を演算すると共に、第２の割合が所定値以下の場合にのみ左の瞼尤度を演算する。そして、本発明の瞼尤度演算装置は、左右の瞼の各々に対応する重みのうち、第１の割合が所定値以下でありかつ第２の割合が所定値以下である場合には、右の瞼に対応する重みを右の瞼尤度に重み付けた値、及び左の瞼に対応する重みを左の瞼尤度に重み付けた値のうち大きいほうの値を選択すると共に、第１の割合及び第２の割合の一方の割合のみが所定値以下である場合には、割合が所定値以下の方の瞼の最大の瞼尤度（最大の右の瞼尤度または最大の左の瞼尤度）に、この瞼に対応する重みを重み付けた値を選択する。これにより、精度良く瞼尤度を演算することができないほうの瞼の瞼尤度を複雑な演算によって演算することなく、より簡易に瞼尤度を演算することができる。

また、本発明の瞼尤度演算装置によれば、重み付けた値のうち大きい方の値を選択して、選択された値を、この選択された方の瞼の瞼尤度として演算するので、より良好な精度で瞼尤度を演算することができる。

また、上記の目的を達成するために、本発明の第４の瞼尤度演算装置は、顔の画像を含む画像を撮影して画像データを出力する撮影手段と、前記画像データに基づいて前記顔の顔向き角度を検出する第１の検出手段、前記画像データに基づいて前記顔の右目までの距離及び左目までの距離を検出する第２の検出手段、前記画像データに基づいて前記顔の右耳までの距離及び左耳までの距離を検出する第３の検出手段、前記画像データに基づいて前記右目の目頭から該右目の目じりまでの距離及び前記左目の目頭から該左目の目じりまでの距離を検出する第４の検出手段、前記画像データに基づいて前記顔の画像の右目領域のコントラスト及び前記顔の画像の左目領域のコントラストを演算する第１の演算手段、並びに前記画像データに基づいて前記顔の画像の右目領域のエッジ強度及び前記顔の画像の左目領域のエッジ強度を演算する第２の演算手段の少なくとも１つの手段を備えた処理手段と、複数の第１のモデルパラメータによって右の上瞼及び右の下瞼の形状を定めた右瞼モデル、及び複数の第２のモデルパラメータによって左の上瞼及び左の下瞼の形状を定めた左瞼モデルを記憶した記憶手段と、前記第１のモデルパラメータの少なくとも１つのモデルパラメータを複数回変更することによって複数の右の比較瞼モデルを作成すると共に、前記第２のモデルパラメータの少なくとも１つのモデルパラメータを複数回変更することによって複数の左の比較瞼モデルを作成する作成手段と、前記画像データに基づいて、前記顔の画像に含まれる右目の目領域の画像である右目領域画像の画素数に対する所定の輝度以上の画素数の割合である第１の割合、及び前記顔の画像に含まれる左目の目領域の画像である左目領域画像の画素数に対する所定の輝度以上の画素数の割合である第２の割合を演算する第３の演算手段と、前記第３の演算手段によって演算された前記第１の割合が所定値以下の場合に前記右の比較瞼モデルによって表される右の上瞼及び右の下瞼の各形状と前記撮影手段によって撮影された画像の右の上瞼及び右の下瞼の各形状とが一致する度合いを示す右の瞼尤度を演算すると共に前記第１の割合が所定値より大きい場合に、所定の第１の値を右の瞼尤度とすることにより該右の瞼尤度を演算し、かつ前記第３の演算手段によって演算された前記第２の割合が所定値以下の場合に前記左の比較瞼モデルによって表される左の上瞼及び左の下瞼の各形状と該画像の左の上瞼及び左の下瞼の各形状とが一致する度合いを示す左の瞼尤度を演算すると共に前記第２の割合が所定値より大きい場合に、所定の第１の値を左の瞼尤度とすることにより該左の瞼尤度を演算する第４の演算手段と、検出された顔向き角度、前記右目までの距離及び前記左目までの距離、前記右耳までの距離及び前記左耳までの距離、前記右目の目頭から該右目の目じりまでの距離及び前記左目の目頭から該左目の目じりまでの距離、演算された前記右目領域のコントラスト及び前記左目領域のコントラスト、並びに前記右目領域のエッジ強度及び前記左目領域のエッジ強度の少なくとも１つに応じて、前記撮影手段によって撮影された画像の右の上瞼及び右の下瞼を含む右瞼及び左の上瞼及び左の下瞼を含む左瞼のうち前記撮影手段によって前記画像が撮影された位置に遠いほうの瞼の瞼尤度に対応する大きさが、近いほうの瞼の瞼尤度に対応する大きさより小さくなるように定めた、左右の瞼の各々に対応する重みのうち、右の瞼に対応する重みを前記第４の演算手段によって演算された最大の前記右の瞼尤度に重み付けた値、及び前記左右の瞼の各々に対応する重みのうち、左の瞼に対応する重みを前記第４の演算手段によって演算された最大の前記左の瞼尤度に重み付けた値のうち大きいほうの値を選択する選択手段と、前記選択手段によって選択された値を、該選択された方の瞼の瞼尤度として演算する第５の演算手段とを含んで構成されている。

本発明の瞼尤度演算装置によれば、第１の割合が所定値より大きい場合には、所定の第１の値（例えば０）を右の瞼尤度として演算し、また、第２の割合が所定値より大きい場合には、所定の第１の値（例えば０）を左の瞼尤度として演算する。これにより、精度良く瞼尤度を演算することができないほうの瞼の瞼尤度を複雑な演算によって演算することなく、所定の第１の値としているので、より簡易に左右の瞼尤度を演算することができる。

また、本発明の瞼尤度演算装置によれば、重み付けた値のうち大きい方の値を選択して、選択された値を、この選択された方の瞼の瞼尤度として演算するので、より良好な精度で瞼尤度を演算することができる。

また、上記の目的を達成するために、本発明の第１のプログラムは、コンピュータを、本発明の第１の瞼尤度演算装置における前記第１の演算手段、前記作成手段、前記第２の演算手段、前記第３の演算手段、及び前記第４の演算手段として機能させる。従って、本発明のプログラムによれば、全体の瞼尤度に対する精度が低いほうの瞼の瞼尤度の割合がより小さくなり、これにより全体の瞼尤度をより良好な精度で演算することができる。

また、上記の目的を達成するために、本発明の第２のプログラムは、コンピュータを、本発明の第２の瞼尤度演算装置における前記処理手段、前記作成手段、前記第３の演算手段、前記選択手段、前記第４の演算手段、前記第５の演算手段、及び前記第５の検出手段として機能させる。従って、本発明のプログラムによれば、重み付けた値のうち大きい方の値を選択して、選択された値を、この選択された方の瞼の瞼尤度として演算するので、より良好な精度で瞼尤度を演算することができる。

また、本発明の第２のプログラムは、前記右の瞼に対応する重みを前記最大の前記右の瞼尤度に重み付けた値、及び前記左の瞼に対応する重みを前記最大の前記左の瞼尤度に重み付けた値が共に所定の基準値以上である場合に、該最大の右の瞼尤度の右の比較瞼モデルが表す右瞼の瞼開度及び該最大の左の瞼尤度の左の比較瞼モデルが表す左瞼の瞼開度を検出し、検出された右瞼の瞼開度及び左瞼の瞼開度の比率を演算する第５の演算手段、及び前記第４の演算手段によって演算された瞼尤度の比較瞼モデルが表す瞼の瞼開度を検出すると共に、該検出された瞼開度及び前記比率に基づいて、瞼開度が検出されていない方の瞼の瞼開度を演算することにより、瞼尤度が低い方の瞼の瞼開度を検出する第５の検出手段としてコンピュータを機能させる。これにより、右の比較瞼モデル及び左の比較瞼モデルのどちらか一方のみ信頼性が高い場合に、信頼性の低いほうの瞼の瞼開度を精度良く検出することができる。

また、上記の目的を達成するために、本発明の第３のプログラムは、コンピュータを、本発明の第３または第４の瞼尤度演算装置における前記処理手段、前記作成手段、前記第３の演算手段、前記第４の演算手段、前記選択手段、及び前記第５の演算手段として機能させる。従って、本発明のプログラムによれば、重み付けた値のうち大きい方の値を選択して、選択された値を、この選択された方の瞼の瞼尤度として演算するので、より良好な精度で瞼尤度を演算することができる。また、より簡易に左右の瞼尤度を演算することができる。

以上説明したように、本発明の瞼尤度演算装置及びプログラムによれば、画像に含まれる撮影対象の顔の画像が横を向いている場合であっても、瞼尤度をより良好な精度で演算することができる、という効果が得られる。

以下、図面を参照して、本発明の瞼尤度演算装置の各実施の形態を詳細に説明する。

［第１の実施の形態］
まず、第１の実施の形態について説明する。図１に示すように、本実施の形態に係る瞼尤度演算装置１０は、撮影の対象となる対象物を撮影する撮影手段としてのカメラ１２、及びコンピュータ１４を備えている。なお、撮影の対象となる対象物としては、例えば、全体の瞼尤度を演算しようとする人物の顔が考えられる。

カメラ１２は、顔の画像を含む画像を撮影して、図２に示すような右の上瞼６０及び右の下瞼６２からなる右瞼６４及び左の上瞼６６及び左の下瞼６８からなる左瞼７０を含む顔の画像７２を含む画像データを出力することができる。

コンピュータ１４は、Ｉ／Ｏ（入出力）ポート１４ａ、ＲＯＭ（Read Only Memory）１４ｂ、ＨＤＤ（Hard Disk Drive）１４ｃ、ＣＰＵ（Central Processing Unit）１４ｄ、ＲＡＭ（Random Access Memory）１４ｅ、並びにこれらＩ／Ｏポート１４ａ、ＲＯＭ１４ｂ、ＨＤＤ１４ｃ、ＣＰＵ１４ｄ、及びＲＡＭ１４ｅを互いに接続するバス１４ｆを含んで構成されている。

記憶媒体としてのＲＯＭ１４ｂには、ＯＳ等の基本プログラムが記憶されている。

記憶媒体としてのＨＤＤ１４ｃには、詳細を以下で説明する瞼尤度演算処理の処理ルーチンを実行するためのプログラムが記憶されている。

また、ＨＤＤ１４ｃには、例えば、「アイモデルを用いたCondensationによる黒目追跡」（北川洋介、加藤丈和、呉海元、和田俊和著）に記載されているような公知技術を用いて黒目の半径ｒ_ｂ、眼球の半径ｒ_ｗ、及び両眼球の中心間の距離ｄ等に基づいて定まる、図３に示すような、右目の目じりに対応する点Ｐ_１（＝（ｘ_１，ｙ_１，ｚ_１））、右目の目頭に対応する点Ｐ_３（＝（ｘ_３，ｙ_３，ｚ_３））、右目の上瞼における目頭と目じりとの間に対応する点Ｐ_２（＝（ｘ_２，ｙ_２，ｚ_２））、及び右目の下瞼における目頭と目じりとの間に対応する点Ｐ_４（＝（ｘ_４，ｙ_４，ｚ_４））の各々を右瞼の制御点として、これらの複数の右瞼の制御点の各々を適宜定めて、右の上瞼の三次元の形状及び右の下瞼の三次元の形状（すなわち、右瞼の三次元の形状）をベジエ曲線によって定め、定められた右瞼の三次元の形状を画像座標に投影して得られた２次元の所定の右瞼の瞼モデルが記憶されている。なお、所定の右瞼の瞼モデルを形成するために用いた上記の右瞼の制御点の各々を定める座標は、第１のモデルパラメータに対応する。

また、ＨＤＤ１４ｃには、同様に上記の公知技術を用いて黒目の半径ｒ_ｂ、眼球の半径ｒ_ｗ、及び両眼球の中心間の距離ｄ等に基づいて定まる、左目の目頭に対応する点Ｐ_５（＝（ｘ_５，ｙ_５，ｚ_５））、左目の目じりに対応する点Ｐ_７（＝（ｘ_７，ｙ_７，ｚ_７））、左目の上瞼における目頭と目じりとの間に対応する点Ｐ_６（＝（ｘ_６，ｙ_６，ｚ_６））、及び左目の下瞼における目頭と目じりとの間に対応する点Ｐ_８（＝（ｘ_８，ｙ_８，ｚ_８））の各々を左瞼の制御点として、これらの複数の左瞼の制御点の各々を適宜定めて、左の上瞼の三次元の形状及び左の下瞼の三次元の形状（すなわち、左瞼の三次元の形状）をベジエ曲線によって定め、定められた左瞼の三次元の形状を画像座標に投影して得られた２次元の所定の左瞼の瞼モデルが記憶されている。なお、所定の左瞼の瞼モデルを形成するために用いた上記の左瞼の制御点の各々を定める座標は、第２のモデルパラメータに対応する。

ＣＰＵ１４ｄは、プログラムをＲＯＭ１４ｂ及びＨＤＤ１４ｃから読み出して実行する。また、ＲＡＭ１４ｅには、各種データが一時的に記憶される。

Ｉ／Ｏポート１４ａには、カメラ１２が接続されている。

次に、コンピュータ１４のＣＰＵ１４ｄが実行する瞼尤度演算処理の処理ルーチンについて図４を用いて説明する。なお、本実施の形態において、瞼尤度演算処理は、瞼尤度演算装置１０のスイッチ（図示せず）がオンされた時点から所定時間間隔（例えば、数１０ｍｓｅｃ）毎に実行される。

まず、ステップ１００で、カメラ１２で撮影された画像の画像データを取り込む。

次のステップ１０２では、上記ステップ１００で取り込んだ画像データが表す画像から、顔の領域である顔領域を抽出することにより顔領域の画像データを取得する。ステップ１０２で顔領域を抽出する方法としては、例えば、テンプレートマッチング法による画像処理により画像データが表す画像の中から顔領域を検索する方法を用いてもよいし、あるいは、操作者がキーボード（図示せず）、マウス（図示せず）、電子ペン（図示せず）またはライトペン（図示せず）等の顔領域を選択するための顔領域選択手段により画像の上で顔領域を選択することにより顔領域を抽出する方法を用いてもよい。

次のステップ１０４では、上記ステップ１０２で抽出した顔領域の画像データから、瞼及び虹彩を含む目の領域である目領域を抽出することにより目領域の画像データを取得する。ステップ１０４で目領域を抽出する方法としては、例えば、テンプレートマッチング法による画像処理により画像データが表す画像の中から目領域を検索する方法を用いてもよいし、あるいは、操作者がキーボード（図示せず）、マウス（図示せず）、電子ペン（図示せず）またはライトペン（図示せず）等の目領域を選択するための目領域選択手段により画像の上で目領域を選択することにより目領域を抽出する方法を用いてもよい。

次のステップ１０６では、上記ステップ１０２で取得した顔領域の画像データに基づいて、画像データが表す顔の顔向き角度θを検出する。ステップ１０６で顔向き角度θを検出する方法としては、例えば、テンプレートマッチング法による画像処理により画像データが表す顔の顔向き角度θを検出する方法を用いてもよいし、あるいは、「適応的拡散制御を伴うパーティクルフィルタを用いた頭部姿勢推定」（岡兼司、佐藤洋一、中西泰人、小池英樹著）に記載されているような公知技術を用いて頭部姿勢推定を行うことにより顔向き角度θを検出する方法を用いてもよい。

次のステップ１０８では、第１のモデルパラメータの少なくとも１つのモデルパラメータを複数回変更することによって、複数の右の比較瞼モデルを作成すると共に、第２のモデルパラメータの少なくとも１つのモデルパラメータを複数回変更することによって、複数の左の比較瞼モデルを作成するための比較モデル作成処理を実行する。ここで、ステップ１０８の比較モデル作成処理の処理ルーチンの詳細について図５を参照して説明する。

まず、ステップ２００では、ＨＤＤ１４ｃからモデルパラメータが初期値に設定された右瞼の瞼モデル及び左瞼の瞼モデルを読み込んで、読み込んだ右瞼の瞼モデルを初期の右の比較瞼モデルとすると共に、読み込んだ左瞼の瞼モデルを初期の左の比較瞼モデルとし、これら左右の比較瞼モデルをＲＡＭ１４ｅに記憶させることにより、右の比較瞼モデル及び左の比較瞼モデルを作成する。

ここで、右の比較瞼モデルは、後述する右の瞼尤度を演算する際の演算処理において、上記ステップ１０４で抽出した目領域の画像に含まれる右の上瞼及び右の下瞼の各形状と比較される瞼モデルである。また、左の比較瞼モデルは、後述する左の瞼尤度を演算する際の演算処理において、上記ステップ１０４で抽出した目領域の画像に含まれる左の上瞼及び左の下瞼の各形状と比較される瞼モデルである。

次のステップ２０２では、上記ステップ２００で作成された右の比較瞼モデルの右目の上瞼における目頭と目じりとの間に対応する点Ｐ_２（＝（ｘ_２，ｙ_２，ｚ_２））、及び右目の下瞼における目頭と目じりとの間に対応する点Ｐ_４（＝（ｘ_４，ｙ_４，ｚ_４））の組み合わせについて、点Ｐ_２及び点Ｐ_４の各々毎に予め定められた複数の右の比較瞼モデルを作成するための複数の座標のパターンの中から、現時点の点Ｐ_１及び点Ｐ_３の座標の組み合わせの場合において未だ選択されていない点Ｐ_２及び点Ｐ_４の座標の組み合わせを１つ選択する。また、同様に、上記ステップ２００で作成された左の比較瞼モデルの左目の上瞼における目頭と目じりとの間に対応する点Ｐ_６（＝（ｘ_６，ｙ_６，ｚ_６））、及び左目の下瞼における目頭と目じりとの間に対応する点Ｐ_８（＝（ｘ_８，ｙ_８，ｚ_８））の組み合わせについて、点Ｐ_６及び点Ｐ_８の各々毎に予め定められた複数の左の比較瞼モデルを作成するための複数の座標のパターンの中から、現時点の点Ｐ_５及び点Ｐ_７の座標の組み合わせの場合において未だ選択されていない点Ｐ_６及び点Ｐ_８の座標の組み合わせを１つ選択する。

次のステップ２０４では、現時点の点Ｐ_２及び点Ｐ_４の座標を、上記ステップ２０２で選択された点Ｐ_２及び点Ｐ_４の座標に変更し、変更後の点Ｐ_２及び点Ｐ_４の座標を含む第１のモデルパラメータ（点Ｐ_１〜点Ｐ_４の各々の座標）を用いて右の上瞼の三次元の形状及び右の下瞼の三次元の形状（すなわち、右瞼の三次元の形状）をベジエ曲線によって定め、定められた右瞼の三次元の形状を画像座標に投影して得られた２次元の瞼モデルを、新たな右の比較瞼モデルとする。また、同様に、現時点の点Ｐ_６及び点Ｐ_８の座標を、上記ステップ２０２で選択された点Ｐ_６及び点Ｐ_８の座標に変更し、変更後の点Ｐ_６及び点Ｐ_８の座標を含む第２のモデルパラメータ（点Ｐ_５〜点Ｐ_８の各々の座標）を用いて左の上瞼の三次元の形状及び左の下瞼の三次元の形状（すなわち、左瞼の三次元の形状）をベジエ曲線によって定め、定められた左瞼の三次元の形状を画像座標に投影して得られた２次元の瞼モデルを、新たな左の比較瞼モデルとする。そして、新たな右の比較瞼モデル及び左の比較瞼モデルをＲＡＭ１４ｅに記憶させることにより、新たな右の比較瞼モデル及び左の比較瞼モデルを作成する。

次のステップ２０６では、上記ステップ２０２で、現時点の点Ｐ_１及び点Ｐ_３の座標の組み合わせの場合において、点Ｐ_２及び点Ｐ_４の座標の組み合わせを全てのパターンについて選択したか否かを判定すると共に、現時点の点Ｐ_５及び点Ｐ_７の座標の組み合わせの場合において、点Ｐ_６及び点Ｐ_８の座標の組み合わせを全てのパターンについて選択したか否かを判定する。

ステップ２０６で、点Ｐ_２及び点Ｐ_４の座標の組み合わせ並びに点Ｐ_６及び点Ｐ_８の座標の組み合わせの少なくとも１方の組み合わせにおいて全てのパターンについて選択していないと判定された場合には、上記のステップ２０２に戻り、全てのパターンについて選択されていないと判定された組み合わせの座標に対応する処理を上記と同様に行う。

一方、ステップ２０６で、点Ｐ_２及び点Ｐ_４の座標の組み合わせを全てのパターンについて選択したと判定され、かつ点Ｐ_６及び点Ｐ_８の座標の組み合わせを全てのパターンについて選択したと判定された場合には、次のステップ２０８に進む。

次のステップ２０８では、下記で詳細を説明するステップ２１０において点Ｐ_１及び点Ｐ_３の座標の組み合わせを全てのパターンについて選択したか否かを判定すると共に、点Ｐ_５及び点Ｐ_７の座標の組み合わせを全てのパターンについて選択したか否かを判定する。

ステップ２０８で、点Ｐ_１及び点Ｐ_３の座標の組み合わせ並びに点Ｐ_５及び点Ｐ_７の座標の組み合わせの少なくとも１方の組み合わせにおいて全てのパターンについて選択していないと判定された場合には、次のステップ２１０に進む。

ステップ２１０では、点Ｐ_１及び点Ｐ_３の各々毎に予め定められた複数の右の比較瞼モデルを作成するための複数の座標のパターンの中から、未だ選択されていない点Ｐ_１及び点Ｐ_３の座標の組み合わせを１つ選択する。また、同様に、点Ｐ_５及び点Ｐ_７の各々毎に予め定められた複数の左の比較瞼モデルを作成するための複数の座標のパターンの中から、未だ選択されていない点Ｐ_５及び点Ｐ_７の座標の組み合わせを１つ選択する。そして、ステップ２０４に戻る。なお、ステップ２１０からステップ２０４にもどった場合には、ステップ２０４では、点Ｐ_２及び点Ｐ_４の各々毎に予め定められた複数の比較瞼モデルを作成するための複数の座標のパターンの中から、直近の上記ステップ２１０で選択された点Ｐ_１及び点Ｐ_３の座標の組み合わせの場合において未だ選択されていない点Ｐ_２及び点Ｐ_４の座標の組み合わせを１つ選択する。そして、現時点の点Ｐ_１及び点Ｐ_３の座標を、直近の上記ステップ２１０で選択された点Ｐ_１及び点Ｐ_３の座標に変更すると共に、現時点の点Ｐ_２及び点Ｐ_４の座標を、直近の上記ステップ２０２で選択された点Ｐ_２及び点Ｐ_４の座標に変更し、変更後の点Ｐ_１、点Ｐ_２、点Ｐ_３及び点Ｐ_４の座標を含む第１のモデルパラメータ（点Ｐ_１〜点Ｐ_４の各々の座標）を用いて右の上瞼の三次元の形状及び右の下瞼の三次元の形状（すなわち、右瞼の三次元の形状）をベジエ曲線によって定め、定められた右瞼の三次元の形状を画像座標に投影して得られた２次元の瞼モデルを、新たな右の比較瞼モデルとする。また、ステップ２０４では、同様に、点Ｐ_６及び点Ｐ_８の各々毎に予め定められた複数の左の比較瞼モデルを作成するための複数の座標のパターンの中から、直近の上記ステップ２１０で選択された点Ｐ_５及び点Ｐ_７の座標の組み合わせの場合において未だ選択されていない点Ｐ_６及び点Ｐ_８の座標の組み合わせを１つ選択する。そして、現時点の点Ｐ_５及び点Ｐ_７の座標を、直近の上記ステップ２１０において選択された点Ｐ_５及び点Ｐ_７の座標に変更すると共に、現時点の点Ｐ_６及び点Ｐ_８の座標を、直近の当該ステップ２０４で選択された点Ｐ_６及び点Ｐ_８の座標に変更し、変更後の点Ｐ_５、点Ｐ_６、点Ｐ_７及び点Ｐ_８の座標を含む第１のパラメータ（点Ｐ_５〜点Ｐ_８の各々の座標）を用いて左目の上瞼の三次元の形状及び左目の下瞼の三次元の形状（すなわち、左の瞼の三次元の形状）をベジエ曲線によって定め、定められた左の瞼の三次元の形状を画像座標に投影して得られた２次元の瞼モデルを、新たな左目の比較瞼モデルとする。そして、新たな右目の比較瞼モデル及び左目の比較瞼モデルを新たな比較瞼モデルとしてＲＡＭ１６ｅに記憶させることにより、新たな比較瞼モデルを作成する。

一方、ステップ２０８で、点Ｐ_１及び点Ｐ_３の座標の組み合わせを全てのパターンについて選択したと判定され、かつ点Ｐ_５及び点Ｐ_７の座標の組み合わせを全てのパターンについて選択したと判定された場合には、比較モデル作成処理を終了する。

以上説明したように、比較モデル作成処理によって、複数の右の比較瞼モデル及び複数の左の比較瞼モデルが作成される。

次のステップ１１０では、上記ステップ１０８で作成された複数の右の比較瞼モデルのうち、本ステップ１１０で未だ選択されていない右の比較瞼モデルを１つ選択する。

次のステップ１１２では、上記ステップ１１０で選択された右の比較瞼モデルによって表される上瞼及び下瞼の各形状と、上記ステップ１０４で抽出した目領域の画像に含まれる右の上瞼及び右の下瞼の各形状とが一致する度合いを示す右の瞼尤度λ_{ｒ＿ｅｙｅｌｉｄ}を演算し、演算した右の瞼尤度λ_{ｒ＿ｅｙｅｌｉｄ}をＲＡＭ１４ｅに記憶する。

なお、右の瞼尤度λ_{ｒ＿ｅｙｅｌｉｄ}は、瞼部分に影ができ、この影から肌の方向への輝度勾配が生じることから、上記の「アイモデルを用いたCondensationによる黒目追跡」（北川洋介、加藤丈和、呉海元、和田俊和著）に記載されているような公知技術を用いて、法線ベクトルと輝度勾配ベクトルの向きを考慮して演算することができる。

次のステップ１１４では、上記ステップ１１０で全ての右の比較瞼モデルを選択したか否かを判定する。

ステップ１１４で、全ての右の比較瞼モデルを選択していないと判定された場合には、ステップ１１０に戻る。

一方、ステップ１１４で、全ての右の比較瞼モデルを選択したと判定された場合には、次のステップ１１６へ進む。

なお、ステップ１１０からステップ１１４の処理が繰り返されることによって、ステップ１０８で作成された複数の右の比較瞼モデルの各々の右の瞼尤度λ_{ｒ＿ｅｙｅｌｉｄ}が演算される。

次のステップ１１６では、上記ステップ１０８で作成された複数の左の比較瞼モデルのうち、本ステップ１１６で未だ選択されていない左の比較瞼モデルを１つ選択する。

次のステップ１１８では、上記ステップ１１６で選択された左の比較瞼モデルによって表される上瞼及び下瞼の各形状と、上記ステップ１０４で抽出した目領域の画像に含まれる左の上瞼及び左の下瞼の各形状とが一致する度合いを示す左の瞼尤度λ_{ｌ＿ｅｙｅｌｉｄ}を演算し、演算した左の瞼尤度λ_{ｌ＿ｅｙｅｌｉｄ}をＲＡＭ１４ｅに記憶する。

なお、左の瞼尤度λ_{ｌ＿ｅｙｅｌｉｄ}は、瞼部分に影ができ、この影から肌の方向への輝度勾配が生じることから、上記の右の上記の瞼尤度λ_{ｒ＿ｅｙｅｌｉｄ}と同様に、「アイモデルを用いたCondensationによる黒目追跡」（北川洋介、加藤丈和、呉海元、和田俊和著）に記載されているような公知技術を用いて、法線ベクトルと輝度勾配ベクトルの向きを考慮して演算することができる。

次のステップ１２０では、上記ステップ１１６で全ての左の比較瞼モデルを選択したか否かを判定する。

ステップ１２０で、全ての左の比較瞼モデルを選択していないと判定された場合には、ステップ１１６に戻る。

一方、ステップ１２０で、全ての左の比較瞼モデルを選択したと判定された場合には、次のステップ１２２へ進む。

なお、ステップ１１６からステップ１２０の処理が繰り返されることによって、ステップ１０８で作成された複数の左の比較瞼モデルの各々の左の瞼尤度λ_{ｌ＿ｅｙｅｌｉｄ}が演算される。

ステップ１２２では、ステップ１０８で作成された複数の右の比較瞼モデル及び複数の左の比較瞼モデルのうち、瞼開度が同じ右の比較瞼モデル及び左の比較瞼モデルの組み合わせを１つ選択する。なお、ステップ１０８では、瞼開度がほぼ同じ右の比較瞼モデル及び左の比較瞼モデルの組み合わせを１つ選択するようにしてもよい。ここで、「瞼開度がほぼ同じ」とは、例えば、右の比較瞼モデル及び左の比較瞼モデルの各瞼開度が同一とみなせる場合の各瞼開度の差の最大値を予め実験的に求めておき、右の比較瞼モデル及び左の比較瞼モデルの各瞼尤度の差が、予め求められた上記最大値以内になる場合のことを指す。

次のステップ１２４では、上記ステップ１０６で検出された顔向き角度θに応じて、上記ステップ１０２で抽出された顔領域を含む画像の画像データが表す顔の画像に含まれる右瞼及び左瞼のうち、顔の画像を含む画像がカメラ１２によって撮影された位置に遠いほうの瞼の瞼尤度に対応する大きさが、近い方の瞼の瞼尤度に対応する大きさより小さくなるように定めた重みｗ_{ｒｉｇｈｔ}及びｗ_ｌｅｆｔ、直近の上記ステップ１２２で選択された組み合わせの右の比較瞼モデルの右の瞼尤度λ_{ｒ＿ｅｙｅｌｉｄ}、並びに直近の上記ステップ１２２で選択された組み合わせの左の比較瞼モデルの左の瞼尤度λ_{ｌ＿ｅｙｅｌｉｄ}に基づいて、下記の式（１）に示すように、重みｗ_{ｒｉｇｈｔ}が付けられた右の瞼尤度λ_{ｒ＿ｅｙｅｌｉｄ}と、重みｗ_ｌｅｆｔが付けられた左の瞼尤度λ_{ｌ＿ｅｙｅｌｉｄ}との和（（ｗ_{ｒｉｇｈｔ}・λ_{ｒ＿ｅｙｅｌｉｄ}＋ｗ_ｌｅｆｔ・λ_{ｌ＿ｅｙｅｌｉｄ}）／（ｗ_{ｒｉｇｈｔ}＋ｗ_ｌｅｆｔ））を両瞼（左右の瞼）の瞼尤度λ_{ｅｙｅｌｉｄ}として演算する。

ここで、図６を参照して、ステップ１２４において、上記ステップ１０６で検出された顔向き角度θに応じて、重みｗ_{ｒｉｇｈｔ}及び重みｗ_ｌｅｆｔを定める方法の一例について説明する。

図６は、顔向き角度θと右の瞼尤度λ_{ｒ＿ｅｙｅｌｉｄ}に対応する重みｗ_{ｒｉｇｈｔ}の大きさとの関係、及び顔向き角度θと左の瞼尤度λ_{ｌ＿ｅｙｅｌｉｄ}に対応する重みｗ_ｌｅｆｔの大きさとの関係を表す図である。

顔向き角度θが正の値である場合（本実施の形態では、右の方向を向いている場合にはθは正の値をとり、左の方向を向いている場合には負の値をとる）には右瞼からカメラ１２までの距離が、左瞼からカメラ１２までの距離より大きいと考えることができるので、このような場合には、右の瞼尤度λ_{ｒ＿ｅｙｅｌｉｄ}の精度は、左の瞼尤度λ_{ｌ＿ｅｙｅｌｉｄ}の精度より悪いと考えることができる。同様に、顔向き角度θが負の値である場合には左瞼からカメラ１２までの距離が、右瞼からカメラ１２までの距離より大きいと考えることができるので、左の瞼尤度λ_{ｌ＿ｅｙｅｌｉｄ}の精度は、右の瞼尤度λ_{ｒ＿ｅｙｅｌｉｄ}の精度より悪いと考えることができる。そして、顔向き角度θが大きくなればなるほど、右の瞼尤度λ_{ｒ＿ｅｙｅｌｉｄ}の精度が悪くなると考えられ、顔向き角度θが小さくなればなるほど、左の瞼尤度λ_{ｌ＿ｅｙｅｌｉｄ}の精度が悪くなると考えられる。

本実施の形態では、これらのことを考慮して、顔向き角度θに応じて、精度が悪くなるほうの瞼尤度の重みを小さくすることにより、全体の瞼尤度λ_{ｅｙｅｌｉｄ＿ａｌｌ}に対する精度が低い（悪い）ほうの瞼の瞼尤度の割合をより小さくするようにしている。これにより全体の瞼尤度λ_{ｅｙｅｌｉｄ＿ａｌｌ}をより良好な精度で演算することができる。

ステップ１２４では、例えば、図６に示すように、ステップ１０６で検出した顔向き角度θが１５度（図６の例では、顔がカメラ１２に対して正面を向いたときの顔向き角度θを０度として、右方向の顔向き角度θを正の値とし、左方向の顔向き角度θを負の値で表している。）である場合には、重みｗ_{ｒｉｇｈｔ}として０．２５、及び重みｗ_ｌｅｆｔとして０．７５を定める。そして、下記の式（２）に示すように、重み０．２５が付けられた右の瞼尤度λ_{ｒ＿ｅｙｅｌｉｄ}と、重み０．７５が付けられた左の瞼尤度λ_{ｌ＿ｅｙｅｌｉｄ}との和λ_{ｅｙｅｌｉｄ}を演算する。なお、図６の例では、重みｗ_{ｒｉｇｈｔ}と、重みｗ_ｌｅｆｔとの和は１．０となる。

次のステップ１２６では、上記ステップ１２２で全ての組み合わせが選択されたか否かを判定する。ステップ１２６で全ての組み合わせが選択されていないと判定された場合には、ステップ１２２に戻り、選択されていない組み合わせを１つ選択する。一方、ステップ１２６で全ての組み合わせが選択されたと判定された場合には、次のステップ１２８へ進む。なお、ステップ１２２からステップ１２６の処理が繰り返されることによって、瞼開度が同じ左右の比較瞼モデルの組み合わせにおける両瞼の瞼尤度λ_{ｅｙｅｌｉｄ}が複数演算される。

ステップ１２８では、上記ステップ１２４で演算された複数の両瞼の瞼尤度λ_{ｅｙｅｌｉｄ}のうち、最も値が高い（最も大きい）両瞼の瞼尤度λ_{ｅｙｅｌｉｄ＿ｍａｘ}を全体の瞼尤度λ_{ｅｙｅｌｉｄ＿ａｌｌ}とすることにより、全体の瞼尤度λ_{ｅｙｅｌｉｄ＿ａｌｌ}を演算する。そして、瞼尤度演算処理を終了する。

以上、説明したように、本実施形態に係る瞼尤度演算装置１０は、顔の画像を含む画像を撮影して画像データを出力する撮影手段としてのカメラ１２と、複数の第１のモデルパラメータによって右の上瞼及び右の下瞼の形状を定めた右瞼モデル、及び複数の第２のモデルパラメータによって左の上瞼及び左の下瞼の形状を定めた左瞼モデルを記憶した記憶手段としてのＨＤＤ１４ｃを含んで構成されており、画像データに基づいて、顔の顔向き角度θを検出し、第１のモデルパラメータの少なくとも１つのモデルパラメータを複数回変更することによって複数の右の比較瞼モデルを作成すると共に、第２のモデルパラメータの少なくとも１つのモデルパラメータを複数回変更することによって複数の左の比較瞼モデルを作成し、右の比較瞼モデルによって表される右の上瞼及び右の下瞼の各形状とカメラ１２によって撮影された画像の右の上瞼及び右の下瞼の各形状とが一致する度合いを示す右の瞼尤度λ_{ｒ＿ｅｙｅｌｉｄ}、及び左の比較瞼モデルによって表される左の上瞼及び左の下瞼の各形状とカメラ１２によって撮影された画像の左の上瞼及び左の下瞼の各形状とが一致する度合いを示す左の瞼尤度λ_{ｌ＿ｅｙｅｌｉｄ}を演算する。そして、本実施形態に係る瞼尤度演算装置１０は、検出された顔向き角度θに応じて、カメラ１２によって撮影された画像の右瞼及び左瞼のうちカメラ１２によって画像が撮影された位置に遠いほうの瞼の瞼尤度に対応する大きさが、近いほうの瞼の瞼尤度に対応する大きさより小さくなるように定めた、左右の瞼の各々に対応する重みｗ_{ｒｉｇｈｔ}及びｗ_ｌｅｆｔのうち右の瞼に対応する重みｗ_{ｒｉｇｈｔ}を、瞼開度が同一である右の比較瞼モデル及び左の比較瞼モデルの組み合わせにおける右の比較瞼モデルの右の瞼尤度λ_{ｒ＿ｅｙｅｌｉｄ}に重み付けた値（ｗ_{ｒｉｇｈｔ}・λ_{ｒ＿ｅｙｅｌｉｄ}）と、左の瞼に対応する重みｗ_ｌｅｆｔを、左の比較瞼モデルの左の瞼尤度λ_{ｌ＿ｅｙｅｌｉｄ}に重み付けた値（ｗ_ｌｅｆｔ・λ_{ｌ＿ｅｙｅｌｉｄ}）との和（（ｗ_{ｒｉｇｈｔ}・λ_{ｒ＿ｅｙｅｌｉｄ}＋ｗ_ｌｅｆｔ・λ_{ｌ＿ｅｙｅｌｉｄ}）／（ｗ_{ｒｉｇｈｔ}＋ｗ_ｌｅｆｔ））をこの組み合わせにおける左右の瞼尤度λ_{ｅｙｅｌｉｄ}として組み合わせ毎に複数演算する。そして、本実施形態に係る瞼尤度演算装置１０は、複数演算された組み合わせ毎の左右の瞼尤度λ_{ｅｙｅｌｉｄ}のうち、最も大きい左右の瞼尤度λ_{ｅｙｅｌｉｄ＿ｍａｘ}を全体の瞼尤度λ_{ｅｙｅｌｉｄ＿ａｌｌ}として演算する。

本実施形態に係る瞼尤度演算装置１０によれば、撮影手段（本実施の形態ではカメラ１２）によって撮影された画像に含まれる顔の画像が横を向いている場合（すなわち、画像に含まれる撮影対象の顔の画像が横を向いている場合）であっても、画像が撮影された位置に遠いほうの瞼の瞼尤度に対応する大きさが、近いほうの瞼の瞼尤度に対応する大きさより小さくなるように定めた、左右の瞼の各々に対応する重みｗ_{ｒｉｇｈｔ}及びｗ_ｌｅｆｔのうち右の瞼に対応する重みｗ_{ｒｉｇｈｔ}を右の瞼尤度λ_{ｒ＿ｅｙｅｌｉｄ}に重み付けた値（ｗ_{ｒｉｇｈｔ}・λ_{ｒ＿ｅｙｅｌｉｄ}）と、左の瞼に対応する重みｗ_ｌｅｆｔを左の瞼尤度λ_{ｌ＿ｅｙｅｌｉｄ}に重み付けた値（ｗ_ｌｅｆｔ・λ_{ｌ＿ｅｙｅｌｉｄ}）との和（（ｗ_{ｒｉｇｈｔ}・λ_{ｒ＿ｅｙｅｌｉｄ}＋ｗ_ｌｅｆｔ・λ_{ｌ＿ｅｙｅｌｉｄ}）／（ｗ_{ｒｉｇｈｔ}＋ｗ_ｌｅｆｔ））をこの組み合わせにおける左右の瞼尤度λ_{ｅｙｅｌｉｄ}として組み合わせ毎に複数演算し、複数演算された組み合わせ毎の左右の瞼尤度λ_{ｅｙｅｌｉｄ}のうち、最も大きい左右の瞼尤度λ_{ｅｙｅｌｉｄ＿ｍａｘ}を全体の瞼尤度λ_{ｅｙｅｌｉｄ＿ａｌｌ}として演算するので、全体の瞼尤度λ_{ｅｙｅｌｉｄ＿ａｌｌ}に対する精度が低いほうの瞼の瞼尤度の割合がより小さくなり、これにより全体の瞼尤度λ_{ｅｙｅｌｉｄ＿ａｌｌ}をより良好な精度で演算することができる。

なお、本実施の形態の瞼尤度演算装置１０によって演算された全体の瞼尤度λ_{ｅｙｅｌｉｄ＿ａｌｌ}は、例えば、瞼の形状を推定する際の尤度として用いることができる。また、例えば、このようにして推定された瞼の形状から、瞼開度を検出することができる。

また、本実施の形態の瞼尤度演算装置１０を、演算された全体の瞼尤度λ_{ｅｙｅｌｉｄ＿ａｌｌ}に基づいて、瞼モデルを推定し、推定された瞼モデルから、この瞼モデルが表す瞼の瞼開度を検出する瞼開度検出機能を備える構成としてもよい。この場合には、本実施の形態の瞼尤度演算装置１０は、瞼開度検出装置として用いることが可能である。

［第２の実施の形態］
次に第２の実施の形態について説明する。なお、第１の実施の形態と同様の構成及び同様の処理については、同一符号を付して、説明を省略する。

本実施の形態において、第１の実施の形態と異なる点は、本実施の形態に係る瞼尤度演算装置のＨＤＤ１４ｃには図８に示す瞼尤度演算処理の処理ルーチンを実行するためのプログラムが記憶されており、ＣＰＵ１４ｄがこの図８に示す瞼尤度演算処理を実行する点である。同図に図示されるように、ステップ１０４の次にステップ３００が実行され、ステップ１２２の次にステップ３０２が実行される。なお、本実施の形態では、カメラ１２として、撮影した対象物までの距離を検出可能な撮影手段、例えば、ステレオカメラが用いられる。

まず、ステップ３００での処理について説明する。ステップ３００では、上記ステップ１０４で抽出した目領域の画像データに画像処理を行って、上記ステップ１０４で抽出した右の目領域の所定部分（例えば、上瞼の中心）までの距離ｄ_{ｒｉｇｈｔ}を検出することにより、カメラ１２から右目までの距離ｄ_{ｒｉｇｈｔ}を検出すると共に、上記ステップ１０４で抽出した左の目領域の所定部分（例えば、上瞼の中心）までの距離ｄ_ｌｅｆｔを検出することにより、カメラ１２から左目までの距離ｄ_ｌｅｆｔを検出する。

次に、ステップ３０２での処理について説明する。ステップ３０２では、上記ステップ１０６で検出された右目までの距離ｄ_{ｒｉｇｈｔ}及び左目までの距離ｄ_ｌｅｆｔに応じて、上記ステップ１０２で抽出された顔領域を含む画像の画像データが表す顔の画像に含まれる右瞼及び左瞼のうち、顔の画像を含む画像がカメラ１２によって撮影された位置に遠いほうの瞼の瞼尤度に対応する大きさが、近い方の瞼の瞼尤度に対応する大きさより小さくなるように定めた重みｗ_{ｒｉｇｈｔ＿２}及びｗ_{ｌｅｆｔ＿２}、直近の上記ステップ１２２で選択された組み合わせの右の比較瞼モデルの右の瞼尤度λ_{ｒ＿ｅｙｅｌｉｄ}、並びに直近の上記ステップ１２２で選択された組み合わせの左の比較瞼モデルの左の瞼尤度λ_{ｌ＿ｅｙｅｌｉｄ}に基づいて、下記の式（３）に示すように、重みｗ_{ｒｉｇｈｔ＿２}が付けられた右の瞼尤度λ_{ｒ＿ｅｙｅｌｉｄ}と、重みｗ_{ｌｅｆｔ＿２}が付けられた左の瞼尤度λ_{ｌ＿ｅｙｅｌｉｄ}との和（（ｗ_{ｒｉｇｈｔ＿２}・λ_{ｒ＿ｅｙｅｌｉｄ}＋ｗ_{ｌｅｆｔ＿２}・λ_{ｌ＿ｅｙｅｌｉｄ}）／（ｗ_{ｒｉｇｈｔ＿２}＋ｗ_{ｌｅｆｔ＿２}））を両瞼（左右の瞼）の瞼尤度λ_{ｅｙｅｌｉｄ}として演算する。

ここで、図９を参照して、ステップ３０２において、上記ステップ３００で検出された右目までの距離ｄ_{ｒｉｇｈｔ}及び左目までの距離ｄ_ｌｅｆｔに応じて、重みｗ_{ｒｉｇｈｔ＿２}及び重みｗ_{ｌｅｆｔ＿２}を定める方法の一例について説明する。

図９は、（ｄ_ｌｅｆｔ−ｄ_{ｒｉｇｈｔ}）と右の瞼尤度λ_{ｒ＿ｅｙｅｌｉｄ}に対応する重みｗ_{ｒｉｇｈｔ＿２}の大きさとの関係、及び（ｄ_ｌｅｆｔ−ｄ_{ｒｉｇｈｔ}）と左の瞼尤度λ_{ｌ＿ｅｙｅｌｉｄ}に対応する重みｗ_{ｌｅｆｔ＿２}の大きさとの関係を表す図である。

ここで、右瞼からカメラ１２までの距離ｄ_{ｒｉｇｈｔ}と、左瞼からカメラ１２までの距離ｄ_ｌｅｆｔとが同一である場合には、右の瞼尤度λ_{ｒ＿ｅｙｅｌｉｄ}の精度（信頼性）と左の瞼尤度λ_{ｌ＿ｅｙｅｌｉｄ}の精度とは同一であると考えることができる。

一方、右瞼からカメラ１２までの距離ｄ_{ｒｉｇｈｔ}が、左瞼からカメラ１２までの距離ｄ_ｌｅｆｔより大きい場合には、右の瞼尤度λ_{ｒ＿ｅｙｅｌｉｄ}の精度は、左の瞼尤度λ_{ｌ＿ｅｙｅｌｉｄ}の精度より悪いと考えることができる。同様に、左瞼からカメラ１２までの距離ｄ_ｌｅｆｔが、右瞼からカメラ１２までの距離ｄ_{ｒｉｇｈｔ}より大きい場合には、左の瞼尤度λ_{ｌ＿ｅｙｅｌｉｄ}の精度は、右の瞼尤度λ_{ｒ＿ｅｙｅｌｉｄ}の精度より悪いと考えることができる。そして、距離ｄ_{ｒｉｇｈｔ}と距離ｄ_ｌｅｆｔとの差が大きくなればなるほど、精度の差が大きくなると考えられる。

本実施の形態では、これらのことを考慮して、距離ｄ_{ｒｉｇｈｔ}と距離ｄ_ｌｅｆｔとの差が大きくなればなるほど、精度が悪くなるほうの瞼尤度の重みを小さくすることにより、全体の瞼尤度λ_{ｅｙｅｌｉｄ＿ａｌｌ}に対する精度が低い（悪い）ほうの瞼の瞼尤度の割合をより小さくするようにしている。これにより全体の瞼尤度λ_{ｅｙｅｌｉｄ＿ａｌｌ}をより良好な精度で演算することができる。

ステップ３０２では、例えば、図９に示すように、ステップ３００で検出した右目までの距離ｄ_{ｒｉｇｈｔ}及び左目までの距離ｄ_ｌｅｆｔの差（ｄ_ｌｅｆｔ−ｄ_{ｒｉｇｈｔ}）が２．５ｃｍ（図９の例では、ｄ_ｌｅｆｔ＞ｄ_{ｒｉｇｈｔ}の場合を正の値とし、ｄ_ｌｅｆｔ＜ｄ_{ｒｉｇｈｔ}の場合を負の値で表している。）である場合には、重みｗ_{ｒｉｇｈｔ＿２}として０．７５、及び重みｗ_{ｌｅｆｔ＿２}として０．２５を定める。そして、下記の式（４）に示すように、重み０．７５が付けられた右の瞼尤度λ_{ｒ＿ｅｙｅｌｉｄ}と、重み０．２５が付けられた左の瞼尤度λ_{ｌ＿ｅｙｅｌｉｄ}との和λ_{ｅｙｅｌｉｄ}を演算する。なお、図９の例では、重みｗ_{ｒｉｇｈｔ＿２}と、重みｗ_{ｌｅｆｔ＿２}との和は１．０となる。

以上、説明したように、本実施形態に係る瞼尤度演算装置は、検出された右目までの距離ｄ_{ｒｉｇｈｔ}及び左目までの距離ｄ_ｌｅｆｔに応じて、カメラ１２によって撮影された画像の右瞼及び左瞼のうちカメラ１２によって画像が撮影されたときのカメラ１２の位置（撮影位置）に遠いほうの瞼の瞼尤度に対応する大きさが、近いほうの瞼の瞼尤度に対応する大きさより小さくなるように定めた、左右の瞼の各々に対応する重みｗ_{ｒｉｇｈｔ＿２}及びｗ_{ｌｅｆｔ＿２}のうち右の瞼に対応する重みｗ_{ｒｉｇｈｔ＿２}を、瞼開度が同一である右の比較瞼モデル及び左の比較瞼モデルの組み合わせにおける右の比較瞼モデルの右の瞼尤度λ_{ｒ＿ｅｙｅｌｉｄ}に重み付けた値（ｗ_{ｒｉｇｈｔ＿２}・λ_{ｒ＿ｅｙｅｌｉｄ}）と、左の瞼に対応する重みｗ_{ｌｅｆｔ＿２}を、左の比較瞼モデルの左の瞼尤度λ_{ｌ＿ｅｙｅｌｉｄ}に重み付けた値（ｗ_{ｌｅｆｔ＿２}・λ_{ｌ＿ｅｙｅｌｉｄ}）との和（（ｗ_{ｒｉｇｈｔ＿２}・λ_{ｒ＿ｅｙｅｌｉｄ}＋ｗ_{ｌｅｆｔ＿２}・λ_{ｌ＿ｅｙｅｌｉｄ}）／（ｗ_{ｒｉｇｈｔ＿２}＋ｗ_{ｌｅｆｔ＿２}））をこの組み合わせにおける左右の瞼尤度λ_{ｅｙｅｌｉｄ}として組み合わせ毎に複数演算する。そして、本実施形態に係る瞼尤度演算装置は、複数演算された組み合わせ毎の左右の瞼尤度λ_{ｅｙｅｌｉｄ}のうち、最も大きい左右の瞼尤度λ_{ｅｙｅｌｉｄ＿ｍａｘ}を全体の瞼尤度λ_{ｅｙｅｌｉｄ＿ａｌｌ}として演算する。

本実施形態に係る瞼尤度演算装置によれば、撮影手段（本実施の形態ではステレオカメラ）によって撮影された画像に含まれる顔の画像が横を向いている場合（すなわち、画像に含まれる撮影対象の顔の画像が横を向いている場合）であっても、画像が撮影された位置に遠いほうの瞼の瞼尤度に対応する大きさが、近いほうの瞼の瞼尤度に対応する大きさより小さくなるように定めた、左右の瞼の各々に対応する重みｗ_{ｒｉｇｈｔ＿２}及びｗ_{ｌｅｆｔ＿２}のうち右の瞼に対応する重みｗ_{ｒｉｇｈｔ＿２}を右の瞼尤度λ_{ｒ＿ｅｙｅｌｉｄ}に重み付けた値（ｗ_{ｒｉｇｈｔ＿２}・λ_{ｒ＿ｅｙｅｌｉｄ}）と、左の瞼に対応する重みｗ_{ｌｅｆｔ＿２}を左の瞼尤度λ_{ｌ＿ｅｙｅｌｉｄ}に重み付けた値（ｗ_{ｌｅｆｔ＿２}・λ_{ｌ＿ｅｙｅｌｉｄ}）との和（（ｗ_{ｒｉｇｈｔ＿２}・λ_{ｒ＿ｅｙｅｌｉｄ}＋ｗ_{ｌｅｆｔ＿２}・λ_{ｌ＿ｅｙｅｌｉｄ}）／（ｗ_{ｒｉｇｈｔ＿２}＋ｗ_{ｌｅｆｔ＿２}））をこの組み合わせにおける左右の瞼尤度λ_{ｅｙｅｌｉｄ}として組み合わせ毎に複数演算し、複数演算された組み合わせ毎の左右の瞼尤度λ_{ｅｙｅｌｉｄ}のうち、最も大きい左右の瞼尤度λ_{ｅｙｅｌｉｄ＿ｍａｘ}を全体の瞼尤度λ_{ｅｙｅｌｉｄ＿ａｌｌ}として演算するので、全体の瞼尤度λ_{ｅｙｅｌｉｄ＿ａｌｌ}に対する精度が低いほうの瞼の瞼尤度の割合がより小さくなり、これにより全体の瞼尤度λ_{ｅｙｅｌｉｄ＿ａｌｌ}をより良好な精度で演算することができる。

なお、本実施の形態の瞼尤度演算装置によって演算された全体の瞼尤度λ_{ｅｙｅｌｉｄ＿ａｌｌ}は、例えば、瞼の形状を推定する際の尤度として用いることができる。また、例えば、このようにして推定された瞼の形状から、瞼開度を検出することができる。

また、本実施の形態の瞼尤度演算装置を、演算された全体の瞼尤度λ_{ｅｙｅｌｉｄ＿ａｌｌ}に基づいて、瞼モデルを推定し、推定された瞼モデルから、この瞼モデルが表す瞼の瞼開度を検出する瞼開度検出機能を備える構成としてもよい。この場合には、本実施の形態の瞼尤度演算装置は、瞼開度検出装置として用いることが可能である。

［第３の実施の形態］
次に第３の実施の形態について説明する。なお、第２の実施の形態と同様の構成及び同様の処理については、同一符号を付して、説明を省略する。

本実施の形態において、第２の実施の形態と異なる点は、本実施の形態に係る瞼尤度演算装置のＨＤＤ１４ｃには図１０に示す瞼尤度演算処理の処理ルーチンを実行するためのプログラムが記憶されており、ＣＰＵ１４ｄがこの図１０に示す瞼尤度演算処理を実行する点である。同図に図示されるように、ステップ１０２の次にステップ３０４が実行され、ステップ３０４の次にステップ３０６が実行され、ステップ１２２の次にステップ３０８が実行される。なお、本実施の形態では、第２の実施の形態と同様に、カメラ１２として、撮影した対象物までの距離を検出可能な撮影手段、例えば、ステレオカメラが用いられる。

まず、ステップ３０４での処理について説明する。ステップ３０４では、上記ステップ１０２で取得した画像データが表す画像から、第１の実施の形態や第２の実施の形態と同様に、瞼及び虹彩を含む目の領域である目領域を抽出することにより目領域の画像データを取得する。更に、本実施の形態では、ステップ３０４で、右耳及び左耳を含む耳の領域（耳領域）を抽出することにより、耳領域の画像データを取得する。ステップ３０４で耳領域を抽出する方法としては、例えば、テンプレートマッチング法による画像処理により画像データが表す画像の中から右耳を含む領域及び左耳を含む領域を検索する方法を用いてもよいし、あるいは、操作者がキーボード（図示せず）、マウス（図示せず）、電子ペン（図示せず）またはライトペン（図示せず）等の耳領域を選択するための耳領域選択手段により画像の上で耳領域を選択することにより耳領域を抽出する方法を用いてもよい。

次に、ステップ３０６での処理について説明する。ステップ３０６では、上記ステップ３０４で抽出した耳領域の画像データに画像処理を行って、上記ステップ３０４で抽出した右の耳領域の所定部分（例えば、右耳の中心）までの距離ｄ_{ｒｉｇｈｔ＿２}を検出することにより、カメラ１２から右耳までの距離ｄ_{ｒｉｇｈｔ＿２}を検出すると共に、上記ステップ３０４で抽出した左の耳領域の所定部分（例えば、左耳の中心）までの距離ｄ_{ｌｅｆｔ＿２}を検出することにより、カメラ１２から左耳までの距離ｄ_{ｌｅｆｔ＿２}を検出する。

次に、ステップ３０８での処理について説明する。ステップ３０８では、上記ステップ３０６で検出された右耳までの距離ｄ_{ｒｉｇｈｔ＿２}及び左耳までの距離ｄ_{ｌｅｆｔ＿２}に応じて、上記ステップ１０２で抽出された顔領域を含む画像の画像データが表す顔の画像に含まれる右瞼及び左瞼のうち、顔の画像を含む画像がカメラ１２によって撮影された位置に遠いほうの瞼の瞼尤度に対応する大きさが、近い方の瞼の瞼尤度に対応する大きさより小さくなるように定めた重みｗ_{ｒｉｇｈｔ＿３}及びｗ_{ｌｅｆｔ＿３}、直近の上記ステップ１２２で選択された組み合わせの右の比較瞼モデルの右の瞼尤度λ_{ｒ＿ｅｙｅｌｉｄ}、並びに直近の上記ステップ１２２で選択された組み合わせの左の比較瞼モデルの左の瞼尤度λ_{ｌ＿ｅｙｅｌｉｄ}に基づいて、下記の式（５）に示すように、重みｗ_{ｒｉｇｈｔ＿３}が付けられた右の瞼尤度λ_{ｒ＿ｅｙｅｌｉｄ}と、重みｗ_{ｌｅｆｔ＿３}が付けられた左の瞼尤度λ_{ｌ＿ｅｙｅｌｉｄ}との和（（ｗ_{ｒｉｇｈｔ＿３}・λ_{ｒ＿ｅｙｅｌｉｄ}＋ｗ_{ｌｅｆｔ＿３}・λ_{ｌ＿ｅｙｅｌｉｄ}）／（ｗ_{ｒｉｇｈｔ＿３}＋ｗ_{ｌｅｆｔ＿３}））を両瞼（左右の瞼）の瞼尤度λ_{ｅｙｅｌｉｄ}として演算する。

ここで、図１１を参照して、ステップ３０８において、上記ステップ３０６で検出された右耳までの距離ｄ_{ｒｉｇｈｔ＿２}及び左耳までの距離ｄ_{ｌｅｆｔ＿２}に応じて、重みｗ_{ｒｉｇｈｔ＿３}及び重みｗ_{ｌｅｆｔ＿３}を定める方法の一例について説明する。

図１１は、（ｄ_{ｌｅｆｔ＿２}−ｄ_{ｒｉｇｈｔ＿２}）と右の瞼尤度λ_{ｒ＿ｅｙｅｌｉｄ}に対応する重みｗ_{ｒｉｇｈｔ＿３}の大きさとの関係、及び（ｄ_{ｌｅｆｔ＿２}−ｄ_{ｒｉｇｈｔ＿２}）と左の瞼尤度λ_{ｌ＿ｅｙｅｌｉｄ}に対応する重みｗ_{ｌｅｆｔ＿３}の大きさとの関係を表す図である。

ここで、右耳からカメラ１２までの距離ｄ_{ｒｉｇｈｔ＿２}と、左耳からカメラ１２までの距離ｄ_{ｌｅｆｔ＿２}とが同一である場合には、右の瞼尤度λ_{ｒ＿ｅｙｅｌｉｄ}の精度（信頼性）と左の瞼尤度λ_{ｌ＿ｅｙｅｌｉｄ}の精度とは同一であると考えることができる。

一方、右耳からカメラ１２までの距離ｄ_{ｒｉｇｈｔ＿２}が、左耳からカメラ１２までの距離ｄ_{ｌｅｆｔ＿２}より大きい場合には、右の瞼尤度λ_{ｒ＿ｅｙｅｌｉｄ}の精度は、左の瞼尤度λ_{ｌ＿ｅｙｅｌｉｄ}の精度より悪いと考えることができる。同様に、左耳からカメラ１２までの距離ｄ_{ｌｅｆｔ＿２}が、右耳からカメラ１２までの距離ｄ_{ｒｉｇｈｔ＿２}より大きい場合には、左の瞼尤度λ_{ｌ＿ｅｙｅｌｉｄ}の精度は、右の瞼尤度λ_{ｒ＿ｅｙｅｌｉｄ}の精度より悪いと考えることができる。そして、距離ｄ_{ｒｉｇｈｔ＿２}と距離ｄ_{ｌｅｆｔ＿２}との差が大きくなればなるほど、精度の差が大きくなると考えられる。

本実施の形態では、これらのことを考慮して、距離ｄ_{ｒｉｇｈｔ＿２}と距離ｄ_{ｌｅｆｔ＿２}との差が大きくなればなるほど、精度が悪くなるほうの瞼尤度の重みを小さくすることにより、全体の瞼尤度λ_{ｅｙｅｌｉｄ＿ａｌｌ}に対する精度が低い（悪い）ほうの瞼の瞼尤度の割合をより小さくするようにしている。これにより全体の瞼尤度λ_{ｅｙｅｌｉｄ＿ａｌｌ}をより良好な精度で演算することができる。

ステップ３０８では、例えば、図１１に示すように、ステップ３０６で検出した右耳までの距離ｄ_{ｒｉｇｈｔ＿２}及び左耳までの距離ｄ_{ｌｅｆｔ＿２}の差（ｄ_{ｌｅｆｔ＿２}−ｄ_{ｒｉｇｈｔ＿２}）が２．５ｃｍ（図１１の例では、ｄ_{ｌｅｆｔ＿２}＞ｄ_{ｒｉｇｈｔ＿２}の場合を正の値とし、ｄ_{ｌｅｆｔ＿２}＜ｄ_{ｒｉｇｈｔ＿２}の場合を負の値で表している。）である場合には、重みｗ_{ｒｉｇｈｔ＿３}として０．７５、及び重みｗ_{ｌｅｆｔ＿３}として０．２５を定める。そして、下記の式（６）に示すように、重み０．７５が付けられた右の瞼尤度λ_{ｒ＿ｅｙｅｌｉｄ}と、重み０．２５が付けられた左の瞼尤度λ_{ｌ＿ｅｙｅｌｉｄ}との和λ_{ｅｙｅｌｉｄ}を演算する。なお、図１１の例では、重みｗ_{ｒｉｇｈｔ＿２}と、重みｗ_{ｌｅｆｔ＿２}との和は１．０となる。

以上、説明したように、本実施形態に係る瞼尤度演算装置は、検出された右耳までの距離ｄ_{ｒｉｇｈｔ＿２}及び左耳までの距離ｄ_{ｌｅｆｔ＿２}に応じて、カメラ１２によって撮影された画像の右瞼及び左瞼のうちカメラ１２によって画像が撮影されたときのカメラ１２の位置（撮影位置）に遠いほうの瞼の瞼尤度に対応する大きさが、近いほうの瞼の瞼尤度に対応する大きさより小さくなるように定めた、左右の瞼の各々に対応する重みｗ_{ｒｉｇｈｔ＿３}及びｗ_{ｌｅｆｔ＿３}のうち右の瞼に対応する重みｗ_{ｒｉｇｈｔ＿３}を、瞼開度が同一である右の比較瞼モデル及び左の比較瞼モデルの組み合わせにおける右の比較瞼モデルの右の瞼尤度λ_{ｒ＿ｅｙｅｌｉｄ}に重み付けた値（ｗ_{ｒｉｇｈｔ＿３}・λ_{ｒ＿ｅｙｅｌｉｄ}）と、左の瞼に対応する重みｗ_{ｌｅｆｔ＿３}を、左の比較瞼モデルの左の瞼尤度λ_{ｌ＿ｅｙｅｌｉｄ}に重み付けた値（ｗ_{ｌｅｆｔ＿３}・λ_{ｌ＿ｅｙｅｌｉｄ}）との和（（ｗ_{ｒｉｇｈｔ＿３}・λ_{ｒ＿ｅｙｅｌｉｄ}＋ｗ_{ｌｅｆｔ＿３}・λ_{ｌ＿ｅｙｅｌｉｄ}）／（ｗ_{ｒｉｇｈｔ＿３}＋ｗ_{ｌｅｆｔ＿３}））をこの組み合わせにおける左右の瞼尤度λ_{ｅｙｅｌｉｄ}として組み合わせ毎に複数演算する。そして、本実施形態に係る瞼尤度演算装置は、複数演算された組み合わせ毎の左右の瞼尤度λ_{ｅｙｅｌｉｄ}のうち、最も大きい左右の瞼尤度λ_{ｅｙｅｌｉｄ＿ｍａｘ}を全体の瞼尤度λ_{ｅｙｅｌｉｄ＿ａｌｌ}として演算する。

本実施形態に係る瞼尤度演算装置によれば、第１の実施の形態及び第２の実施の形態と同様に、全体の瞼尤度λ_{ｅｙｅｌｉｄ＿ａｌｌ}に対する精度が低いほうの瞼の瞼尤度の割合がより小さくなり、これにより全体の瞼尤度λ_{ｅｙｅｌｉｄ＿ａｌｌ}をより良好な精度で演算することができる。

なお、本実施の形態の瞼尤度演算装置によって演算された全体の瞼尤度λ_{ｅｙｅｌｉｄ＿ａｌｌ}は、例えば、瞼の形状を推定する際の尤度として用いることができる。また、例えば、このようにして推定された瞼の形状から、瞼開度を検出することができる。

また、本実施の形態の瞼尤度演算装置を、演算された全体の瞼尤度λ_{ｅｙｅｌｉｄ＿ａｌｌ}に基づいて、瞼モデルを推定し、推定された瞼モデルから、この瞼モデルが表す瞼の瞼開度を検出する瞼開度検出機能を備える構成としてもよい。この場合には、本実施の形態の瞼尤度演算装置は、瞼開度検出装置として用いることが可能である。

［第４の実施の形態］
次に第４の実施の形態について説明する。なお、第１の実施の形態と同様の構成及び同様の処理については、同一符号を付して、説明を省略する。

本実施の形態において、第１の実施の形態と異なる点は、本実施の形態に係る瞼尤度演算装置のＨＤＤ１４ｃには図１２に示す瞼尤度演算処理の処理ルーチンを実行するためのプログラムが記憶されており、ＣＰＵ１４ｄが図１２に示す瞼尤度演算処理を実行する点である。同図に図示されるように、ステップ１０４の次にステップ３１０が実行され、ステップ１２２の次にステップ３１２が実行される。

まず、ステップ３１０での処理について説明する。ステップ３１０では、右目の目領域のコントラスト及び左目の目領域のコントラストを演算するための目領域コントラスト演算処理を実行する。

この目領域コントラスト演算処理について、図１３を参照して説明すると、まずステップ４００で、上記ステップ１０４で抽出した目領域のうち、右目の目領域（右目領域）の全ての画素の濃度値（画素値：本実施の形態では、例えば０〜２５５の何れかの値）を検出する。

次のステップ４０２では、まず、図１４（Ａ）に示すように、上記ステップ４００で検出した各画素の濃度値に基づいて、横軸を濃度値、縦軸を画素の数とするヒストグラムを作成する。そして、同図に図示されるように、画素の数が所定の閾値Ｉｔｈ_{ｒｉｇｈｔ}より多い場合の濃度値の最大と最小との差Ｉｗ_{ｒｉｇｈｔ}を演算することにより、右目の目領域のコントラストＩｗ_{ｒｉｇｈｔ}を演算する。

次のステップ４０４では、上記ステップ１０４で抽出した目領域のうち、左目の目領域（左目領域）の全ての画素の濃度値を検出する。

次のステップ４０６では、まず、図１４（Ｂ）に示すように、上記ステップ４０４で検出した各画素の濃度値に基づいて、横軸を濃度値、縦軸を画素の数とするヒストグラムを作成する。そして、同図に図示されるように、画素の数が所定の閾値Ｉｔｈ_ｌｅｆｔより多い場合の濃度値の最大と最小との差Ｉｗ_ｌｅｆｔを演算することにより、左目の目領域のコントラストＩｗ_ｌｅｆｔを演算する。そして、目領域コントラスト演算処理を終了する。以上、説明しように、ステップ３１０での目領域コントラスト演算処理によって、左右の目領域の各コントラストが演算される。

ここで、コントラストが低い（小さい）ほどぼやけた画像となることから、コントラストが低いほどカメラ１２とその撮影対象物（撮影対象箇所）との距離が遠いと考えることができる。同様に、コントラストが高い（大きい）ほどはっきりとした画像となることから、コントラストが高いほどカメラ１２とその撮影対象物（撮影対象箇所）との距離が近いと考えることができる。

次に、ステップ３１２での処理について説明する。ステップ３１２では、上記ステップ３１０で演算された右目の目領域のコントラストＩｗ_{ｒｉｇｈｔ}及び左目の目領域のコントラストＩｗ_ｌｅｆｔに応じて、上記ステップ１０２で抽出された顔領域を含む画像の画像データが表す顔の画像に含まれる右瞼及び左瞼のうち、コントラストが小さい方（顔の画像を含む画像がカメラ１２によって撮影された位置に遠いほう）の瞼の瞼尤度に対応する大きさが、コントラストが大きい方（近い方）の瞼の瞼尤度に対応する大きさより小さくなるように定めた重みｗ_{ｒｉｇｈｔ＿４}及びｗ_{ｌｅｆｔ＿４}、直近の上記ステップ１２２で選択された組み合わせの右の比較瞼モデルの右の瞼尤度λ_{ｒ＿ｅｙｅｌｉｄ}、並びに直近の上記ステップ１２２で選択された組み合わせの左の比較瞼モデルの左の瞼尤度λ_{ｌ＿ｅｙｅｌｉｄ}に基づいて、下記の式（７）に示すように、重みｗ_{ｒｉｇｈｔ＿４}が付けられた右の瞼尤度λ_{ｒ＿ｅｙｅｌｉｄ}と、重みｗ_{ｌｅｆｔ＿４}が付けられた左の瞼尤度λ_{ｌ＿ｅｙｅｌｉｄ}との和（（ｗ_{ｒｉｇｈｔ＿４}・λ_{ｒ＿ｅｙｅｌｉｄ}＋ｗ_{ｌｅｆｔ＿４}・λ_{ｌ＿ｅｙｅｌｉｄ}）／（ｗ_{ｒｉｇｈｔ＿４}＋ｗ_{ｌｅｆｔ＿４}））を両瞼（左右の瞼）の瞼尤度λ_{ｅｙｅｌｉｄ}として演算する。

ここで、図１５を参照して、ステップ３１２において、上記ステップ３１０で演算された右目の目領域のコントラストＩｗ_{ｒｉｇｈｔ}及び左目の目領域のコントラストＩｗ_ｌｅｆｔに応じて、重みｗ_{ｒｉｇｈｔ＿４}及び重みｗ_{ｌｅｆｔ＿４}を定める方法の一例について説明する。なお、本実施の形態では、Ｉｗ_{ｒｉｇｈｔ}及びＩｗ_ｌｅｆｔの大小関係によって重みｗ_{ｒｉｇｈｔ＿４}及び重みｗ_{ｌｅｆｔ＿４}を定める方法が以下に示すように異なる。

図１５（Ａ）は、Ｉｗ_ｌｅｆｔ＜Ｉｗ_{ｒｉｇｈｔ}の場合におけるＩｗ_ｌｅｆｔをＩｗ_{ｒｉｇｈｔ}で割った（除算した）値である比（Ｉｗ_ｌｅｆｔ／Ｉｗ_{ｒｉｇｈｔ}）と右の瞼尤度λ_{ｒ＿ｅｙｅｌｉｄ}に対応する重みｗ_{ｒｉｇｈｔ＿４}の大きさとの関係、及び比（Ｉｗ_ｌｅｆｔ／Ｉｗ_{ｒｉｇｈｔ}）と左の瞼尤度λ_{ｌ＿ｅｙｅｌｉｄ}に対応する重みｗ_{ｌｅｆｔ＿４}の大きさとの関係を表す図である。

ここで、比（Ｉｗ_ｌｅｆｔ／Ｉｗ_{ｒｉｇｈｔ}）が１である場合には、右の瞼尤度λ_{ｒ＿ｅｙｅｌｉｄ}の精度（信頼性）と左の瞼尤度λ_{ｌ＿ｅｙｅｌｉｄ}の精度とは同一であると考えることができる。

一方、比（Ｉｗ_ｌｅｆｔ／Ｉｗ_{ｒｉｇｈｔ}）が１より小さい場合には、左の瞼尤度λ_{ｌ＿ｅｙｅｌｉｄ}の精度は、右の瞼尤度λ_{ｒ＿ｅｙｅｌｉｄ}の精度より悪いと考えることができる。そして、比（Ｉｗ_ｌｅｆｔ／Ｉｗ_{ｒｉｇｈｔ}）が１より小さくなればなるほど、左の瞼尤度λ_{ｌ＿ｅｙｅｌｉｄ}の精度が、右の瞼尤度λ_{ｒ＿ｅｙｅｌｉｄ}の精度より悪くなると考えられる。

本実施の形態では、これらのことを考慮して、比（Ｉｗ_ｌｅｆｔ／Ｉｗ_{ｒｉｇｈｔ}）が１より小さくなればなるほど、精度が悪くなるほうの瞼尤度の重みを小さくすることにより、全体の瞼尤度λ_{ｅｙｅｌｉｄ＿ａｌｌ}に対する精度が低い（悪い）ほうの瞼の瞼尤度の割合をより小さくするようにしている。これにより全体の瞼尤度λ_{ｅｙｅｌｉｄ＿ａｌｌ}をより良好な精度で演算することができる。

ステップ３１２では、Ｉｗ_ｌｅｆｔ＜Ｉｗ_{ｒｉｇｈｔ}である場合には、図１５（Ａ）に示すように、左目の目領域のコントラストＩｗ_ｌｅｆｔを、右目の目領域のコントラストＩｗ_{ｒｉｇｈｔ}で割った値である比（Ｉｗ_ｌｅｆｔ／Ｉｗ_{ｒｉｇｈｔ}）を演算して対応する重みｗ_{ｒｉｇｈｔ＿４}及び重みｗ_{ｌｅｆｔ＿４}を定める。より具体的には、例えば、Ｉｗ_ｌｅｆｔ＜Ｉｗ_{ｒｉｇｈｔ}である場合における比（Ｉｗ_ｌｅｆｔ／Ｉｗ_{ｒｉｇｈｔ}）が、０．７５であるときには、重みｗ_{ｒｉｇｈｔ＿４}として０．７５、及び重みｗ_{ｌｅｆｔ＿４}として０．２５を定める。そして、下記の式（８）に示すように、重み０．７５が付けられた右の瞼尤度λ_{ｒ＿ｅｙｅｌｉｄ}と、重み０．２５が付けられた左の瞼尤度λ_{ｌ＿ｅｙｅｌｉｄ}との和λ_{ｅｙｅｌｉｄ}を演算する。なお、図１５（Ａ）の例では、重みｗ_{ｒｉｇｈｔ＿４}と、重みｗ_{ｌｅｆｔ＿４}との和は１．０となる。

また、図１５（Ｂ）は、Ｉｗ_ｌｅｆｔ≧Ｉｗ_{ｒｉｇｈｔ}の場合におけるＩｗ_{ｒｉｇｈｔ}をＩｗ_ｌｅｆｔで割った（除算した）値である比（Ｉｗ_{ｒｉｇｈｔ}／Ｉｗ_ｌｅｆｔ）と右の瞼尤度λ_{ｒ＿ｅｙｅｌｉｄ}に対応する重みｗ_{ｒｉｇｈｔ＿４}の大きさとの関係、及び比（Ｉｗ_{ｒｉｇｈｔ}／Ｉｗ_ｌｅｆｔ）と左の瞼尤度λ_{ｌ＿ｅｙｅｌｉｄ}に対応する重みｗ_{ｌｅｆｔ＿４}の大きさとの関係を表す図である。

ここで、比（Ｉｗ_{ｒｉｇｈｔ}／Ｉｗ_ｌｅｆｔ）が１である場合には、右の瞼尤度λ_{ｒ＿ｅｙｅｌｉｄ}の精度（信頼性）と左の瞼尤度λ_{ｌ＿ｅｙｅｌｉｄ}の精度とは同一であると考えることができる。

一方、比（Ｉｗ_{ｒｉｇｈｔ}／Ｉｗ_ｌｅｆｔ）が１より小さい場合には、右の瞼尤度λ_{ｒ＿ｅｙｅｌｉｄ}の精度は、左の瞼尤度λ_{ｌ＿ｅｙｅｌｉｄ}の精度より悪いと考えることができる。そして、比（Ｉｗ_{ｒｉｇｈｔ}／Ｉｗ_ｌｅｆｔ）が１より小さくなればなるほど、右の瞼尤度λ_{ｒ＿ｅｙｅｌｉｄ}の精度が、左の瞼尤度λ_{ｌ＿ｅｙｅｌｉｄ}の精度より悪くなると考えられる。

本実施の形態では、これらのことを考慮して、比（Ｉｗ_{ｒｉｇｈｔ}／Ｉｗ_ｌｅｆｔ）が１より小さくなればなるほど、精度が悪くなるほうの瞼尤度の重みを小さくすることにより、全体の瞼尤度λ_{ｅｙｅｌｉｄ＿ａｌｌ}に対する精度が低い（悪い）ほうの瞼の瞼尤度の割合をより小さくするようにしている。これにより全体の瞼尤度λ_{ｅｙｅｌｉｄ＿ａｌｌ}をより良好な精度で演算することができる。

ステップ３１２では、Ｉｗ_ｌｅｆｔ≧Ｉｗ_{ｒｉｇｈｔ}である場合には、図１５（Ｂ）に示すように、右目の目領域のコントラストＩｗ_{ｒｉｇｈｔ}を、左目の目領域のコントラストＩｗ_ｌｅｆｔで割った値である比（Ｉｗ_{ｒｉｇｈｔ}／Ｉｗ_ｌｅｆｔ）を演算して対応する重みｗ_{ｒｉｇｈｔ＿４}及び重みｗ_{ｌｅｆｔ＿４}を定める。より具体的には、例えば、Ｉｗ_ｌｅｆｔ≧Ｉｗ_{ｒｉｇｈｔ}である場合における比（Ｉｗ_{ｒｉｇｈｔ}／Ｉｗ_ｌｅｆｔ）が、０．７５であるときには、重みｗ_{ｒｉｇｈｔ＿４}として０．２５、及び重みｗ_{ｌｅｆｔ＿４}として０．７５を定める。そして、上記と同様に、和λ_{ｅｙｅｌｉｄ}を演算する。なお、図１５（Ｂ）の例においても、重みｗ_{ｒｉｇｈｔ＿４}と、重みｗ_{ｌｅｆｔ＿４}との和は１．０となる。

以上、説明したように、本実施形態に係る瞼尤度演算装置は、演算された右目領域のコントラストＩｗ_{ｒｉｇｈｔ}及び左目領域のコントラストＩｗ_ｌｅｆｔに応じて、カメラ１２によって撮影された画像の右瞼及び左瞼のうち、コントラストが小さい方（カメラ１２によって画像が撮影されたときのカメラ１２の位置（撮影位置）に遠いほう）の瞼の瞼尤度に対応する大きさが、コントラストが大きい方（近いほう）の瞼の瞼尤度に対応する大きさより小さくなるように定めた、左右の瞼の各々に対応する重みｗ_{ｒｉｇｈｔ＿４}及びｗ_{ｌｅｆｔ＿４}のうち右の瞼に対応する重みｗ_{ｒｉｇｈｔ＿４}を、瞼開度が同一である右の比較瞼モデル及び左の比較瞼モデルの組み合わせにおける右の比較瞼モデルの右の瞼尤度λ_{ｒ＿ｅｙｅｌｉｄ}に重み付けた値（ｗ_{ｒｉｇｈｔ＿４}・λ_{ｒ＿ｅｙｅｌｉｄ}）と、左の瞼に対応する重みｗ_{ｌｅｆｔ＿４}を、左の比較瞼モデルの左の瞼尤度λ_{ｌ＿ｅｙｅｌｉｄ}に重み付けた値（ｗ_{ｌｅｆｔ＿４}・λ_{ｌ＿ｅｙｅｌｉｄ}）との和（（ｗ_{ｒｉｇｈｔ＿４}・λ_{ｒ＿ｅｙｅｌｉｄ}＋ｗ_{ｌｅｆｔ＿４}・λ_{ｌ＿ｅｙｅｌｉｄ}）／（ｗ_{ｒｉｇｈｔ＿４}＋ｗ_{ｌｅｆｔ＿４}））をこの組み合わせにおける左右の瞼尤度λ_{ｅｙｅｌｉｄ}として組み合わせ毎に複数演算する。そして、本実施形態に係る瞼尤度演算装置は、複数演算された組み合わせ毎の左右の瞼尤度λ_{ｅｙｅｌｉｄ}のうち、最も大きい左右の瞼尤度λ_{ｅｙｅｌｉｄ＿ｍａｘ}を全体の瞼尤度λ_{ｅｙｅｌｉｄ＿ａｌｌ}として演算する。

本実施形態に係る瞼尤度演算装置によれば、第１〜３の各実施の形態と同様に、全体の瞼尤度λ_{ｅｙｅｌｉｄ＿ａｌｌ}に対する精度が低いほうの瞼の瞼尤度の割合がより小さくなり、これにより全体の瞼尤度λ_{ｅｙｅｌｉｄ＿ａｌｌ}をより良好な精度で演算することができる。

なお、本実施の形態の瞼尤度演算装置によって演算された全体の瞼尤度λ_{ｅｙｅｌｉｄ＿ａｌｌ}は、例えば、瞼の形状を推定する際の尤度として用いることができる。また、例えば、このようにして推定された瞼の形状から、瞼開度を検出することができる。

また、本実施の形態の瞼尤度演算装置を、演算された全体の瞼尤度λ_{ｅｙｅｌｉｄ＿ａｌｌ}に基づいて、瞼モデルを推定し、推定された瞼モデルから、この瞼モデルが表す瞼の瞼開度を検出する瞼開度検出機能を備える構成としてもよい。この場合には、本実施の形態の瞼尤度演算装置は、瞼開度検出装置として用いることが可能である。

［第５の実施の形態］
次に第５の実施の形態について説明する。なお、第１〜４の各実施の形態と同様の構成及び同様の処理については、同一符号を付して、説明を省略する。

本実施の形態において、第４の実施の形態と異なる点は、本実施の形態に係る瞼尤度演算装置のＨＤＤ１４ｃには図１６に示す瞼尤度演算処理の処理ルーチンを実行するためのプログラムが記憶されており、ＣＰＵ１４ｄが図１６に示す瞼尤度演算処理を実行する点である。同図に図示されるように、ステップ１０４の次にステップ３１４が実行され、ステップ１２２の次にステップ３１６が実行される。

まず、ステップ３１４での処理について説明する。ステップ３１４では、右目の目領域のエッジ強度及び左目の目領域のエッジ強度を演算するための目領域エッジ強度演算処理を実行する。

この目領域エッジ強度演算処理について、図１７を参照して説明すると、まずステップ５００で、上記ステップ１０４で抽出した目領域のうち、右目の目領域（右目領域）の全ての画素のエッジ強度を検出する。ここで、エッジ強度について説明する。エッジ強度とは、隣り合う画素の画素値の変化度合いを示すもので、画像の鮮鋭感の指標となるものである。例えば、対象物が鮮明に映し出される画像（鮮明画像）とその対象物がぼやけて映し出される画像（不鮮明画像）とを比較すると、対象物とその周辺とを分ける境界線の鮮鋭感（エッジの強さ）は、不鮮明画像よりも鮮明画像の方が大きくなる。ゆえに、エッジ強度は、画像の鮮鋭感の指標となる。

次のステップ５０２では、まず、図１８（Ａ）に示すように、上記ステップ５００で検出した各画素のエッジ強度に基づいて、横軸をエッジ強度、縦軸を画素の数とするヒストグラムを作成する。そして、同図に図示されるように、画素の数が所定の閾値Ｅｔｈ_{ｒｉｇｈｔ}より多い場合のエッジ強度の最大と最小との差Ｅｗ_{ｒｉｇｈｔ}を演算することにより、右目の目領域のエッジ強度Ｅｗ_{ｒｉｇｈｔ}を演算する。

次のステップ５０４では、上記ステップ１０４で抽出した目領域のうち、左目の目領域（左目領域）の全ての画素のエッジ強度を検出する。

次のステップ５０６では、まず、図１８（Ｂ）に示すように、上記ステップ５０４で検出した各画素のエッジ強度に基づいて、横軸をエッジ強度、縦軸を画素の数とするヒストグラムを作成する。そして、同図に図示されるように、画素の数が所定の閾値Ｅｔｈ_ｌｅｆｔより多い場合のエッジ強度の最大と最小との差Ｅｗ_ｌｅｆｔを演算することにより、左目の目領域のエッジ強度Ｅｗ_ｌｅｆｔを演算する。そして、目領域エッジ強度演算処理を終了する。以上、説明しように、ステップ３１４での目領域エッジ強度演算処理によって、左右の目領域の各エッジ強度が演算される。

ここで、エッジ強度が低い（小さい）ほどぼやけた画像となることから、エッジ強度が低いほどカメラ１２とその撮影対象物（撮影対象箇所）との距離が遠くなることが分かる。同様に、エッジ強度が高い（大きい）ほどはっきりとした画像となることから、エッジ強度が高いほどカメラ１２とその撮影対象物（撮影対象箇所）との距離が近くなることが分かる。

次に、ステップ３１６での処理について説明する。ステップ３１６では、上記ステップ３１４で演算された右目の目領域のエッジ強度Ｅｗ_{ｒｉｇｈｔ}及び左目の目領域のエッジ強度Ｅｗ_ｌｅｆｔに応じて、上記ステップ１０２で抽出された顔領域を含む画像の画像データが表す顔の画像に含まれる右瞼及び左瞼のうち、エッジ強度が小さい方（顔の画像を含む画像がカメラ１２によって撮影された位置に遠いほう）の瞼の瞼尤度に対応する大きさが、エッジ強度が大きい方（近い方）の瞼の瞼尤度に対応する大きさより小さくなるように定めた重みｗ_{ｒｉｇｈｔ＿５}及びｗ_{ｌｅｆｔ＿５}、直近の上記ステップ１２２で選択された組み合わせの右の比較瞼モデルの右の瞼尤度λ_{ｒ＿ｅｙｅｌｉｄ}、並びに直近の上記ステップ１２２で選択された組み合わせの左の比較瞼モデルの左の瞼尤度λ_{ｌ＿ｅｙｅｌｉｄ}に基づいて、下記の式（９）に示すように、重みｗ_{ｒｉｇｈｔ＿５}が付けられた右の瞼尤度λ_{ｒ＿ｅｙｅｌｉｄ}と、重みｗ_{ｌｅｆｔ＿５}が付けられた左の瞼尤度λ_{ｌ＿ｅｙｅｌｉｄ}との和（（ｗ_{ｒｉｇｈｔ＿５}・λ_{ｒ＿ｅｙｅｌｉｄ}＋ｗ_{ｌｅｆｔ＿５}・λ_{ｌ＿ｅｙｅｌｉｄ}）／（ｗ_{ｒｉｇｈｔ＿５}＋ｗ_{ｌｅｆｔ＿５}））を両瞼（左右の瞼）の瞼尤度λ_{ｅｙｅｌｉｄ}として演算する。

ここで、図１９を参照して、ステップ３１６において、上記ステップ３１４で演算された右目の目領域のエッジ強度Ｅｗ_{ｒｉｇｈｔ}及び左目の目領域のエッジ強度Ｅｗ_ｌｅｆｔに応じて、重みｗ_{ｒｉｇｈｔ＿５}及び重みｗ_{ｌｅｆｔ＿５}を定める方法の一例について説明する。なお、本実施の形態では、Ｅｗ_{ｒｉｇｈｔ}及びＥｗ_ｌｅｆｔの大小関係によって重みｗ_{ｒｉｇｈｔ＿５}及び重みｗ_{ｌｅｆｔ＿５}を定める方法が以下に示すように異なる。

図１９（Ａ）は、Ｅｗ_ｌｅｆｔ＜Ｅｗ_{ｒｉｇｈｔ}の場合におけるＥｗ_ｌｅｆｔをＥｗ_{ｒｉｇｈｔ}で割った（除算した）値である比（Ｅｗ_ｌｅｆｔ／Ｅｗ_{ｒｉｇｈｔ}）と右の瞼尤度λ_{ｒ＿ｅｙｅｌｉｄ}に対応する重みｗ_{ｒｉｇｈｔ＿５}の大きさとの関係、及び比（Ｅｗ_ｌｅｆｔ／Ｅｗ_{ｒｉｇｈｔ}）と左の瞼尤度λ_{ｌ＿ｅｙｅｌｉｄ}に対応する重みｗ_{ｌｅｆｔ＿５}の大きさとの関係を表す図である。

ここで、比（Ｅｗ_ｌｅｆｔ／Ｅｗ_{ｒｉｇｈｔ}）が１である場合には、右の瞼尤度λ_{ｒ＿ｅｙｅｌｉｄ}の精度（信頼性）と左の瞼尤度λ_{ｌ＿ｅｙｅｌｉｄ}の精度とは同一であると考えることができる。

一方、比（Ｅｗ_ｌｅｆｔ／Ｅｗ_{ｒｉｇｈｔ}）が１より小さい場合には、左の瞼尤度λ_{ｌ＿ｅｙｅｌｉｄ}の精度は、右の瞼尤度λ_{ｒ＿ｅｙｅｌｉｄ}の精度より悪いと考えることができる。そして、比（Ｅｗ_ｌｅｆｔ／Ｅｗ_{ｒｉｇｈｔ}）が１より小さくなればなるほど、左の瞼尤度λ_{ｌ＿ｅｙｅｌｉｄ}の精度が、右の瞼尤度λ_{ｒ＿ｅｙｅｌｉｄ}の精度より悪くなると考えられる。

本実施の形態では、これらのことを考慮して、比（Ｅｗ_ｌｅｆｔ／Ｅｗ_{ｒｉｇｈｔ}）が１より小さくなればなるほど、精度が悪くなるほうの瞼尤度の重みを小さくすることにより、全体の瞼尤度λ_{ｅｙｅｌｉｄ＿ａｌｌ}に対する精度が低い（悪い）ほうの瞼の瞼尤度の割合をより小さくするようにしている。これにより全体の瞼尤度λ_{ｅｙｅｌｉｄ＿ａｌｌ}をより良好な精度で演算することができる。

ステップ３１６では、Ｅｗ_ｌｅｆｔ＜Ｅｗ_{ｒｉｇｈｔ}である場合には、図１９（Ａ）に示すように、左目の目領域のエッジ強度Ｅｗ_ｌｅｆｔを、右目の目領域のエッジ強度Ｅｗ_{ｒｉｇｈｔ}で割った値である比（Ｅｗ_ｌｅｆｔ／Ｅｗ_{ｒｉｇｈｔ}）を演算して対応する重みｗ_{ｒｉｇｈｔ＿５}及び重みｗ_{ｌｅｆｔ＿５}を定める。より具体的には、例えば、Ｅｗ_ｌｅｆｔ＜Ｅｗ_{ｒｉｇｈｔ}である場合における比（Ｅｗ_ｌｅｆｔ／Ｅｗ_{ｒｉｇｈｔ}）が、０．７５であるときには、重みｗ_{ｒｉｇｈｔ＿５}として０．７５、及び重みｗ_{ｌｅｆｔ＿５}として０．２５を定める。そして、下記の式（１０）に示すように、重み０．７５が付けられた右の瞼尤度λ_{ｒ＿ｅｙｅｌｉｄ}と、重み０．２５が付けられた左の瞼尤度λ_{ｌ＿ｅｙｅｌｉｄ}との和λ_{ｅｙｅｌｉｄ}を演算する。なお、図１９（Ａ）の例では、重みｗ_{ｒｉｇｈｔ＿５}と、重みｗ_{ｌｅｆｔ＿５}との和は１．０となる。

また、図１９（Ｂ）は、Ｅｗ_ｌｅｆｔ≧Ｅｗ_{ｒｉｇｈｔ}の場合におけるＥｗ_{ｒｉｇｈｔ}をＥｗ_ｌｅｆｔで割った（除算した）値である比（Ｅｗ_{ｒｉｇｈｔ}／Ｅｗ_ｌｅｆｔ）と右の瞼尤度λ_{ｒ＿ｅｙｅｌｉｄ}に対応する重みｗ_{ｒｉｇｈｔ＿５}の大きさとの関係、及び比（Ｅｗ_{ｒｉｇｈｔ}／Ｅｗ_ｌｅｆｔ）と左の瞼尤度λ_{ｌ＿ｅｙｅｌｉｄ}に対応する重みｗ_{ｌｅｆｔ＿５}の大きさとの関係を表す図である。

ここで、比（Ｅｗ_{ｒｉｇｈｔ}／Ｅｗ_ｌｅｆｔ）が１である場合には、右の瞼尤度λ_{ｒ＿ｅｙｅｌｉｄ}の精度（信頼性）と左の瞼尤度λ_{ｌ＿ｅｙｅｌｉｄ}の精度とは同一であると考えることができる。

一方、比（Ｅｗ_{ｒｉｇｈｔ}／Ｅｗ_ｌｅｆｔ）が１より小さい場合には、右の瞼尤度λ_{ｒ＿ｅｙｅｌｉｄ}の精度は、左の瞼尤度λ_{ｌ＿ｅｙｅｌｉｄ}の精度より悪いと考えることができる。そして、比（Ｅｗ_{ｒｉｇｈｔ}／Ｅｗ_ｌｅｆｔ）が１より小さくなればなるほど、右の瞼尤度λ_{ｒ＿ｅｙｅｌｉｄ}の精度が、左の瞼尤度λ_{ｌ＿ｅｙｅｌｉｄ}の精度より悪くなると考えられる。

本実施の形態では、これらのことを考慮して、比（Ｅｗ_{ｒｉｇｈｔ}／Ｅｗ_ｌｅｆｔ）が１より小さくなればなるほど、精度が悪くなるほうの瞼尤度の重みを小さくすることにより、全体の瞼尤度λ_{ｅｙｅｌｉｄ＿ａｌｌ}に対する精度が低い（悪い）ほうの瞼の瞼尤度の割合をより小さくするようにしている。これにより全体の瞼尤度λ_{ｅｙｅｌｉｄ＿ａｌｌ}をより良好な精度で演算することができる。

ステップ３１６では、Ｅｗ_ｌｅｆｔ≧Ｅｗ_{ｒｉｇｈｔ}である場合には、図１９（Ｂ）に示すように、右目の目領域のエッジ強度Ｅｗ_{ｒｉｇｈｔ}を、左目の目領域のエッジ強度Ｅｗ_ｌｅｆｔで割った値である比（Ｅｗ_{ｒｉｇｈｔ}／Ｅｗ_ｌｅｆｔ）を演算して対応する重みｗ_{ｒｉｇｈｔ＿５}及び重みｗ_{ｌｅｆｔ＿５}を定める。より具体的には、例えば、Ｅｗ_ｌｅｆｔ≧Ｅｗ_{ｒｉｇｈｔ}である場合における比（Ｅｗ_{ｒｉｇｈｔ}／Ｅｗ_ｌｅｆｔ）が、０．７５であるときには、重みｗ_{ｒｉｇｈｔ＿５}として０．２５、及び重みｗ_{ｌｅｆｔ＿５}として０．７５を定める。そして、上記と同様に、和λ_{ｅｙｅｌｉｄ}を演算する。なお、図１９（Ｂ）の例においても、重みｗ_{ｒｉｇｈｔ＿５}と、重みｗ_{ｌｅｆｔ＿５}との和は１．０となる。

以上、説明したように、本実施形態に係る瞼尤度演算装置は、演算された右目領域のエッジ強度Ｅｗ_{ｒｉｇｈｔ}及び左目領域のエッジ強度Ｅｗ_ｌｅｆｔに応じて、カメラ１２によって撮影された画像の右瞼及び左瞼のうち、エッジ強度が小さい方（カメラ１２によって画像が撮影されたときのカメラ１２の位置（撮影位置）に遠いほう）の瞼の瞼尤度に対応する大きさが、エッジ強度が大きい方（近いほう）の瞼の瞼尤度に対応する大きさより小さくなるように定めた、左右の瞼の各々に対応する重みｗ_{ｒｉｇｈｔ＿５}及びｗ_{ｌｅｆｔ＿５}のうち右の瞼に対応する重みｗ_{ｒｉｇｈｔ＿５}を、瞼開度が同一である右の比較瞼モデル及び左の比較瞼モデルの組み合わせにおける右の比較瞼モデルの右の瞼尤度λ_{ｒ＿ｅｙｅｌｉｄ}に重み付けた値（ｗ_{ｒｉｇｈｔ＿５}・λ_{ｒ＿ｅｙｅｌｉｄ}）と、左の瞼に対応する重みｗ_{ｌｅｆｔ＿５}を、左の比較瞼モデルの左の瞼尤度λ_{ｌ＿ｅｙｅｌｉｄ}に重み付けた値（ｗ_{ｌｅｆｔ＿５}・λ_{ｌ＿ｅｙｅｌｉｄ}）との和（（ｗ_{ｒｉｇｈｔ＿５}・λ_{ｒ＿ｅｙｅｌｉｄ}＋ｗ_{ｌｅｆｔ＿５}・λ_{ｌ＿ｅｙｅｌｉｄ}）／（ｗ_{ｒｉｇｈｔ＿５}＋ｗ_{ｌｅｆｔ＿５}））をこの組み合わせにおける左右の瞼尤度λ_{ｅｙｅｌｉｄ}として組み合わせ毎に複数演算する。そして、本実施形態に係る瞼尤度演算装置は、複数演算された組み合わせ毎の左右の瞼尤度λ_{ｅｙｅｌｉｄ}のうち、最も大きい左右の瞼尤度λ_{ｅｙｅｌｉｄ＿ｍａｘ}を全体の瞼尤度λ_{ｅｙｅｌｉｄ＿ａｌｌ}として演算する。

本実施形態に係る瞼尤度演算装置によれば、第１〜４の各実施の形態と同様に、全体の瞼尤度λ_{ｅｙｅｌｉｄ＿ａｌｌ}に対する精度が低いほうの瞼の瞼尤度の割合がより小さくなり、これにより全体の瞼尤度λ_{ｅｙｅｌｉｄ＿ａｌｌ}をより良好な精度で演算することができる。

なお、本実施の形態の瞼尤度演算装置によって演算された全体の瞼尤度λ_{ｅｙｅｌｉｄ＿ａｌｌ}は、例えば、瞼の形状を推定する際の尤度として用いることができる。また、例えば、このようにして推定された瞼の形状から、瞼開度を検出することができる。

また、本実施の形態の瞼尤度演算装置を、演算された全体の瞼尤度λ_{ｅｙｅｌｉｄ＿ａｌｌ}に基づいて、瞼モデルを推定し、推定された瞼モデルから、この瞼モデルが表す瞼の瞼開度を検出する瞼開度検出機能を備える構成としてもよい。この場合には、本実施の形態の瞼尤度演算装置は、瞼開度検出装置として用いることが可能である。

［第６の実施の形態］
次に第６の実施の形態について説明する。なお、第１〜５の各実施の形態と同様の構成及び同様の処理については、同一符号を付して、説明を省略する。

本実施の形態において、第４の実施の形態と異なる点は、本実施の形態に係る瞼尤度演算装置のＨＤＤ１４ｃには図２０に示す瞼尤度演算処理の処理ルーチンを実行するためのプログラムが記憶されており、ＣＰＵ１４ｄが図２０に示す瞼尤度演算処理を実行する点である。同図に図示されるように、ステップ１０４の次にステップ３１８が実行され、ステップ１２２の次にステップ３２０が実行される。

まず、ステップ３１８での処理について説明する。ステップ３１８では、上記ステップ１０４で抽出した目領域のうち、右目の目領域（右目領域）の画像データから、右目の目頭と目じりとの距離ｄ_{ｒｉｇｈｔ＿３}を検出すると共に、左目の目領域（左目領域）の画像データから、左目の目頭と目じりとの距離ｄ_{ｌｅｆｔ＿３}を検出する。例えば、ステップ３１８では、非特許文献「C. Harris and M. Stephens, “A combined corner and edge detector”, Proc. Alvey Vision Conf., pp. 147-151, 1988.」に記載の公知技術を用いて、右目の目頭の位置及び右目の目じりの位置、並びに左目の目頭の位置及び左目の目じりの位置を検出し、検出した各位置から、右目の目頭と右目の目じりとの距離ｄ_{ｒｉｇｈｔ＿３}及び左目の目頭と左目の目じりとの距離ｄ_{ｌｅｆｔ＿３}を検出することができる。

ここで、距離ｄ_{ｒｉｇｈｔ＿３}とｄ_{ｌｅｆｔ＿３}とを比較することにより、目頭と目じりとの距離が短いほうの瞼は、目頭と目じりとの距離が長いほうの瞼に比べて、カメラ１２までの距離が大きい（カメラ１２からの位置が遠い）と判断することができる。

次に、ステップ３２０での処理について説明する。ステップ３２０では、上記ステップ３１８で検出された右目の目頭と目じりとの距離ｄ_{ｒｉｇｈｔ＿３}及び左目の目頭と目じりとの距離ｄ_{ｌｅｆｔ＿３}に応じて、上記ステップ１０２で抽出された顔領域を含む画像の画像データが表す顔の画像に含まれる右瞼及び左瞼のうち、顔の画像を含む画像がカメラ１２によって撮影された位置に遠いほうの瞼の瞼尤度に対応する大きさが、近い方の瞼の瞼尤度に対応する大きさより小さくなるように定めた重みｗ_{ｒｉｇｈｔ＿６}及びｗ_{ｌｅｆｔ＿６}、直近の上記ステップ１２２で選択された組み合わせの右の比較瞼モデルの右の瞼尤度λ_{ｒ＿ｅｙｅｌｉｄ}、並びに直近の上記ステップ１２２で選択された組み合わせの左の比較瞼モデルの左の瞼尤度λ_{ｌ＿ｅｙｅｌｉｄ}に基づいて、下記の式（１１）に示すように、重みｗ_{ｒｉｇｈｔ＿６}が付けられた右の瞼尤度λ_{ｒ＿ｅｙｅｌｉｄ}と、重みｗ_{ｌｅｆｔ＿６}が付けられた左の瞼尤度λ_{ｌ＿ｅｙｅｌｉｄ}との和（（ｗ_{ｒｉｇｈｔ＿６}・λ_{ｒ＿ｅｙｅｌｉｄ}＋ｗ_{ｌｅｆｔ＿６}・λ_{ｌ＿ｅｙｅｌｉｄ}）／（ｗ_{ｒｉｇｈｔ＿６}＋ｗ_{ｌｅｆｔ＿６}））を両瞼（左右の瞼）の瞼尤度λ_{ｅｙｅｌｉｄ}として演算する。

ここで、図２１を参照して、ステップ３２０において、上記ステップ３１８で検出された右目の目頭と目じりとの距離ｄ_{ｒｉｇｈｔ＿３}及び左目の目頭と目じりとの距離ｄ_{ｌｅｆｔ＿３}に応じて、重みｗ_{ｒｉｇｈｔ＿６}及び重みｗ_{ｌｅｆｔ＿６}を定める方法の一例について説明する。なお、本実施の形態では、ｄ_{ｒｉｇｈｔ＿３}及びｄ_{ｌｅｆｔ＿３}の大小関係によって重みｗ_{ｒｉｇｈｔ＿６}及び重みｗ_{ｌｅｆｔ＿６}を定める方法が以下に示すように異なる。

図２１（Ａ）は、ｄ_{ｌｅｆｔ＿３}＜ｄ_{ｒｉｇｈｔ＿３}の場合におけるｄ_{ｌｅｆｔ＿３}をｄ_{ｒｉｇｈｔ＿３}で割った（除算した）値である比（ｄ_{ｌｅｆｔ＿３}／ｄ_{ｒｉｇｈｔ＿３}）と右の瞼尤度λ_{ｒ＿ｅｙｅｌｉｄ}に対応する重みｗ_{ｒｉｇｈｔ＿６}の大きさとの関係、及び比（ｄ_{ｌｅｆｔ＿３}／ｄ_{ｒｉｇｈｔ＿３}）と左の瞼尤度λ_{ｌ＿ｅｙｅｌｉｄ}に対応する重みｗ_{ｌｅｆｔ＿６}の大きさとの関係を表す図である。

ここで、比（ｄ_{ｌｅｆｔ＿３}／ｄ_{ｒｉｇｈｔ＿３}）が１である場合には、右の瞼尤度λ_{ｒ＿ｅｙｅｌｉｄ}の精度（信頼性）と左の瞼尤度λ_{ｌ＿ｅｙｅｌｉｄ}の精度とは同一であると考えることができる。

一方、比（ｄ_{ｌｅｆｔ＿３}／ｄ_{ｒｉｇｈｔ＿３}）が１より小さい場合には、左の瞼尤度λ_{ｌ＿ｅｙｅｌｉｄ}の精度は、右の瞼尤度λ_{ｒ＿ｅｙｅｌｉｄ}の精度より悪いと考えることができる。そして、比（ｄ_{ｌｅｆｔ＿３}／ｄ_{ｒｉｇｈｔ＿３}）が１より小さくなればなるほど、左の瞼尤度λ_{ｌ＿ｅｙｅｌｉｄ}の精度が、右の瞼尤度λ_{ｒ＿ｅｙｅｌｉｄ}の精度より悪くなると考えられる。

本実施の形態では、これらのことを考慮して、比（ｄ_{ｌｅｆｔ＿３}／ｄ_{ｒｉｇｈｔ＿３}）が１より小さくなればなるほど、精度が悪くなるほうの瞼尤度の重みを小さくすることにより、全体の瞼尤度λ_{ｅｙｅｌｉｄ＿ａｌｌ}に対する精度が低い（悪い）ほうの瞼の瞼尤度の割合をより小さくするようにしている。これにより全体の瞼尤度λ_{ｅｙｅｌｉｄ＿ａｌｌ}をより良好な精度で演算することができる。

ステップ３２０では、ｄ_{ｌｅｆｔ＿３}＜ｄ_{ｒｉｇｈｔ＿３}である場合には、図２１（Ａ）に示すように、左目の目頭と目じりとの距離ｄ_{ｌｅｆｔ＿３}を、右目の目頭と目じりとの距離ｄ_{ｒｉｇｈｔ＿３}で割った値である比（ｄ_{ｌｅｆｔ＿３}／ｄ_{ｒｉｇｈｔ＿３}）を演算して対応する重みｗ_{ｒｉｇｈｔ＿６}及び重みｗ_{ｌｅｆｔ＿６}を定める。より具体的には、例えば、ｄ_{ｌｅｆｔ＿３}＜ｄ_{ｒｉｇｈｔ＿３}である場合における比（ｄ_{ｌｅｆｔ＿３}／ｄ_{ｒｉｇｈｔ＿３}）が、０．７５であるときには、重みｗ_{ｒｉｇｈｔ＿６}として０．７５、及び重みｗ_{ｌｅｆｔ＿６}として０．２５を定める。そして、下記の式（１２）に示すように、重み０．７５が付けられた右の瞼尤度λ_{ｒ＿ｅｙｅｌｉｄ}と、重み０．２５が付けられた左の瞼尤度λ_{ｌ＿ｅｙｅｌｉｄ}との和λ_{ｅｙｅｌｉｄ}を演算する。なお、図２１（Ａ）の例では、重みｗ_{ｒｉｇｈｔ＿６}と、重みｗ_{ｌｅｆｔ＿６}との和は１．０となる。

また、図２１（Ｂ）は、ｄ_{ｌｅｆｔ＿３}≧ｄ_{ｒｉｇｈｔ＿３}の場合におけるｄ_{ｒｉｇｈｔ＿３}をｄ_{ｌｅｆｔ＿３}で割った（除算した）値である比（ｄ_{ｒｉｇｈｔ＿３}／ｄ_{ｌｅｆｔ＿３}）と右の瞼尤度λ_{ｒ＿ｅｙｅｌｉｄ}に対応する重みｗ_{ｒｉｇｈｔ＿６}の大きさとの関係、及び比（ｄ_{ｒｉｇｈｔ＿３}／ｄ_{ｌｅｆｔ＿３}）と左の瞼尤度λ_{ｌ＿ｅｙｅｌｉｄ}に対応する重みｗ_{ｌｅｆｔ＿６}の大きさとの関係を表す図である。

ここで、比（ｄ_{ｒｉｇｈｔ＿３}／ｄ_{ｌｅｆｔ＿３}）が１である場合には、右の瞼尤度λ_{ｒ＿ｅｙｅｌｉｄ}の精度（信頼性）と左の瞼尤度λ_{ｌ＿ｅｙｅｌｉｄ}の精度とは同一であると考えることができる。

一方、比（ｄ_{ｒｉｇｈｔ＿３}／ｄ_{ｌｅｆｔ＿３}）が１より小さい場合には、右の瞼尤度λ_{ｒ＿ｅｙｅｌｉｄ}の精度は、左の瞼尤度λ_{ｌ＿ｅｙｅｌｉｄ}の精度より悪いと考えることができる。そして、比（ｄ_{ｒｉｇｈｔ＿３}／ｄ_{ｌｅｆｔ＿３}）が１より小さくなればなるほど、右の瞼尤度λ_{ｒ＿ｅｙｅｌｉｄ}の精度が、左の瞼尤度λ_{ｌ＿ｅｙｅｌｉｄ}の精度より悪くなると考えられる。

本実施の形態では、これらのことを考慮して、比（ｄ_{ｒｉｇｈｔ＿３}／ｄ_{ｌｅｆｔ＿３}）が１より小さくなればなるほど、精度が悪くなるほうの瞼尤度の重みを小さくすることにより、全体の瞼尤度λ_{ｅｙｅｌｉｄ＿ａｌｌ}に対する精度が低い（悪い）ほうの瞼の瞼尤度の割合をより小さくするようにしている。これにより全体の瞼尤度λ_{ｅｙｅｌｉｄ＿ａｌｌ}をより良好な精度で演算することができる。

ステップ３２０では、ｄ_{ｌｅｆｔ＿３}≧ｄ_{ｒｉｇｈｔ＿３}である場合には、図２１（Ｂ）に示すように、右目の目頭と目じりとの距離ｄ_{ｒｉｇｈｔ＿３}を、左目の目頭と目じりとの距離ｄ_{ｌｅｆｔ＿３}で割った値である比（ｄ_{ｒｉｇｈｔ＿３}／ｄ_{ｌｅｆｔ＿３}）を演算して対応する重みｗ_{ｒｉｇｈｔ＿６}及び重みｗ_{ｌｅｆｔ＿６}を定める。より具体的には、例えば、ｄ_{ｌｅｆｔ＿３}≧ｄ_{ｒｉｇｈｔ＿３}である場合における比（ｄ_{ｒｉｇｈｔ＿３}／ｄ_{ｌｅｆｔ＿３}）が、０．７５であるときには、重みｗ_{ｒｉｇｈｔ＿６}として０．２５、及び重みｗ_{ｌｅｆｔ＿６}として０．７５を定める。そして、上記と同様に、和λ_{ｅｙｅｌｉｄ}を演算する。なお、図２１（Ｂ）の例においても、重みｗ_{ｒｉｇｈｔ＿６}と、重みｗ_{ｌｅｆｔ＿６}との和は１．０となる。

以上、説明したように、本実施形態に係る瞼尤度演算装置は、検出された右目の目頭と目じりとの距離ｄ_{ｒｉｇｈｔ＿３}及び左目の目頭と目じりとの距離ｄ_{ｌｅｆｔ＿３}に応じて、カメラ１２によって撮影された画像の右瞼及び左瞼のうちカメラ１２によって画像が撮影された位置に遠いほうの瞼の瞼尤度に対応する大きさが、近いほうの瞼の瞼尤度に対応する大きさより小さくなるように定めた、左右の瞼の各々に対応する重みｗ_{ｒｉｇｈｔ＿６}及びｗ_{ｌｅｆｔ＿６}のうち右の瞼に対応する重みｗ_{ｒｉｇｈｔ＿６}を、瞼開度が同一である右の比較瞼モデル及び左の比較瞼モデルの組み合わせにおける右の比較瞼モデルの右の瞼尤度λ_{ｒ＿ｅｙｅｌｉｄ}に重み付けた値（ｗ_{ｒｉｇｈｔ＿６}・λ_{ｒ＿ｅｙｅｌｉｄ}）と、左の瞼に対応する重みｗ_{ｌｅｆｔ＿６}を、左の比較瞼モデルの左の瞼尤度λ_{ｌ＿ｅｙｅｌｉｄ}に重み付けた値（ｗ_{ｌｅｆｔ＿６}・λ_{ｌ＿ｅｙｅｌｉｄ}）との和（（ｗ_{ｒｉｇｈｔ＿６}・λ_{ｒ＿ｅｙｅｌｉｄ}＋ｗ_{ｌｅｆｔ＿６}・λ_{ｌ＿ｅｙｅｌｉｄ}）／（ｗ_{ｒｉｇｈｔ＿６}＋ｗ_{ｌｅｆｔ＿６}））をこの組み合わせにおける左右の瞼尤度λ_{ｅｙｅｌｉｄ}として組み合わせ毎に複数演算する。そして、本実施形態に係る瞼尤度演算装置は、複数演算された組み合わせ毎の左右の瞼尤度λ_{ｅｙｅｌｉｄ}のうち、最も大きい左右の瞼尤度λ_{ｅｙｅｌｉｄ＿ｍａｘ}を全体の瞼尤度λ_{ｅｙｅｌｉｄ＿ａｌｌ}として演算する。

本実施形態に係る瞼尤度演算装置によれば、第１〜５の各実施の形態と同様に、全体の瞼尤度λ_{ｅｙｅｌｉｄ＿ａｌｌ}に対する精度が低いほうの瞼の瞼尤度の割合がより小さくなり、これにより全体の瞼尤度λ_{ｅｙｅｌｉｄ＿ａｌｌ}をより良好な精度で演算することができる。

なお、本実施の形態の瞼尤度演算装置によって演算された全体の瞼尤度λ_{ｅｙｅｌｉｄ＿ａｌｌ}は、例えば、瞼の形状を推定する際の尤度として用いることができる。また、例えば、このようにして推定された瞼の形状から、瞼開度を検出することができる。

また、本実施の形態の瞼尤度演算装置を、演算された全体の瞼尤度λ_{ｅｙｅｌｉｄ＿ａｌｌ}に基づいて、瞼モデルを推定し、推定された瞼モデルから、この瞼モデルが表す瞼の瞼開度を検出する瞼開度検出機能を備える構成としてもよい。この場合には、本実施の形態の瞼尤度演算装置は、瞼開度検出装置として用いることが可能である。

［第７の実施の形態］
次に第７の実施の形態について説明する。なお、第１〜６の各実施の形態と同様の構成及び同様の処理については、同一符号を付して、説明を省略する。

本実施の形態では、まず、上記で詳細を説明した第１〜６の各実施の形態と同様にして、重みｗ_{ｒｉｇｈｔ}及び重みｗ_ｌｅｆｔの組、重みｗ_{ｒｉｇｈｔ＿２}及び重みｗ_{ｌｅｆｔ＿２}の組、重みｗ_{ｒｉｇｈｔ＿３}及び重みｗ_{ｌｅｆｔ＿３}の組、重みｗ_{ｒｉｇｈｔ＿４}及び重みｗ_{ｌｅｆｔ＿４}の組、重みｗ_{ｒｉｇｈｔ＿５}及び重みｗ_{ｌｅｆｔ＿５}の組、並びに重みｗ_{ｒｉｇｈｔ＿６}及び重みｗ_{ｌｅｆｔ＿６}の組の少なくとも１つ以上の組を定める。

以下、右の瞼に対応する重みｗ_{ｒｉｇｈｔ}、ｗ_{ｒｉｇｈｔ＿２}〜ｗ_{ｒｉｇｈｔ＿６}、及び左の瞼に対応する重みｗ_ｌｅｆｔ、ｗ_{ｌｅｆｔ＿２}〜ｗ_{ｌｅｆｔ＿６}を定める場合（すなわち、上記の第１〜６の実施の形態の全ての重み（６組の重み）を定める場合）を例に挙げて説明する。この場合には、本実施の形態の瞼尤度演算装置は、第１の実施の形態と同様にして顔の顔向き角度θを検出する検出手段（第１の検出手段）、第２の実施の形態と同様にして右目までの距離ｄ_{ｒｉｇｈｔ}及び左目までの距離ｄ_ｌｅｆｔを検出する検出手段（第２の検出手段）、第３の実施の形態と同様にして右耳までの距離ｄ_{ｒｉｇｈｔ＿２}及び左耳までの距離ｄ_{ｌｅｆｔ＿２}を検出する検出手段（第３の検出手段）、第６の実施の形態と同様にして右目の目頭と右目の目じりとの距離ｄ_{ｒｉｇｈｔ＿３}及び左目の目頭と左目の目じりとの距離ｄ_{ｌｅｆｔ＿３}を検出する検出手段（第４の検出手段）、第４の実施の形態と同様にして右目の目領域のコントラストＩｗ_{ｒｉｇｈｔ}及び左目の目領域のコントラストＩｗ_ｌｅｆｔを演算する演算手段（第１の演算手段）、及び第５の実施の形態と同様にして右目領域のエッジ強度Ｅｗ_{ｒｉｇｈｔ}及び左目領域のエッジ強度Ｅｗ_ｌｅｆｔを演算する演算手段（第２の演算手段）を備えた処理手段を含んで構成されている。

次に、６組の重みを演算した場合には、以下の式（１３）に示すように、本実施の形態において、右の瞼尤度λ_{ｒ＿ｅｙｅｌｉｄ}に重み付けするための重みｗ_{ｒｉｇｈｔ＿７}を定める。

ただし、
sum：ａ_１・ｗ_{ｒｉｇｈｔ}×ａ_２・ｗ_{ｒｉｇｈｔ＿２}×ａ_３・ｗ_{ｒｉｇｈｔ＿３}×ａ_４・ｗ_{ｒｉｇｈｔ＿４}×ａ_５・ｗ_{ｒｉｇｈｔ＿５}×ａ_６・ｗ_{ｒｉｇｈｔ＿６}＋ａ_１・ｗ_ｌｅｆｔ×ａ_２・ｗ_{ｌｅｆｔ＿２}×ａ_３・ｗ_{ｌｅｆｔ＿３}×ａ_４・ｗ_{ｌｅｆｔ＿４}×ａ_５・ｗ_{ｌｅｆｔ＿５}×ａ_６・ｗ_{ｌｅｆｔ＿６}
である。

ここで、重み係数ａ_１〜ａ_６について説明する。６組の重みを定めた場合には、ａ_１＋ａ_２＋ａ_３＋ａ_４＋ａ_５＋ａ_６＝１という条件を設定し、重み係数ａ_１〜ａ_６を様々に変えたときに瞼開度検出性能が最大になる値を選択する。なお、瞼開度検出性能が最大とは、例えば、瞼開度誤差平均が最小になる場合などをいう。例えば、上記では、６組の重みを定めた場合について説明したが、２組の重みのみを定めた場合（例えば、重みｗ_{ｒｉｇｈｔ}、ｗ_{ｒｉｇｈｔ＿２}、及び重みｗ_ｌｅｆｔ、ｗ_{ｌｅｆｔ＿２}を定めた場合）には、例えば、ａ_１＋ａ_２＝１という条件を設定する。この場合における重み係数ａ_１の値と、瞼開度誤差平均との関係は、図２２に示すような関係となる。なお、図２２の例では、重み係数ａ_１＝０．６のときに瞼開度誤差平均が最小になるので、重み係数ａ_１＝０．６、ａ_１＝０．４となる。６組の重みが定められた場合には、同様の原理で、重み係数ａ_１〜ａ_６の各値について選択する。

次に、６組の重みが定められた場合には、以下の式（１４）に示すように、本実施の形態において、左の瞼尤度λ_{ｌ＿ｅｙｅｌｉｄ}に重み付けするための重みｗ_{ｌｅｆｔ＿７}を定める。

ただし、sum及び重み係数ａ_１〜ａ_６については上記で説明したものと同様である。

このようにして定められた重みｗ_{ｒｉｇｈｔ＿７}及びｗ_{ｌｅｆｔ＿７}は、カメラ１２によって撮影された画像の右瞼及び左瞼のうちカメラ１２によって画像が撮影された位置に遠いほうの瞼の瞼尤度に対応する大きさが、近いほうの瞼の瞼尤度に対応する大きさより小さくなるように定めた、左右の瞼の各々に対応する重みである。

そして、右の瞼に対応する重みｗ_{ｒｉｇｈｔ＿７}を、上記の第１〜６の各実施形態と同様に、瞼開度が同一である右の比較瞼モデル及び左の比較瞼モデルの組み合わせにおける右の比較瞼モデルの右の瞼尤度λ_{ｒ＿ｅｙｅｌｉｄ}に重み付けた値（ｗ_{ｒｉｇｈｔ＿７}・λ_{ｒ＿ｅｙｅｌｉｄ}）と、左の瞼に対応する重みｗ_{ｌｅｆｔ＿７}を、左の比較瞼モデルの左の瞼尤度λ_{ｌ＿ｅｙｅｌｉｄ}に重み付けた値（ｗ_{ｌｅｆｔ＿７}・λ_{ｌ＿ｅｙｅｌｉｄ}）との和（（ｗ_{ｒｉｇｈｔ＿７}・λ_{ｒ＿ｅｙｅｌｉｄ}＋ｗ_{ｌｅｆｔ＿７}・λ_{ｌ＿ｅｙｅｌｉｄ}）／（ｗ_{ｒｉｇｈｔ＿７}＋ｗ_{ｌｅｆｔ＿７}））をこの組み合わせにおける左右の瞼尤度λ_{ｅｙｅｌｉｄ}として組み合わせ毎に複数演算する。

すなわち、検出された顔向き角度θ、右目までの距離ｄ_{ｒｉｇｈｔ}及び左目までの距離ｄ_ｌｅｆｔ、右耳までの距離ｄ_{ｒｉｇｈｔ＿２}及び左耳までの距離ｄ_{ｌｅｆｔ＿２}、右目の目頭と右目の目じりとの距離ｄ_{ｒｉｇｈｔ＿３}及び左目の目頭と左目の目じりとの距離ｄ_{ｌｅｆｔ＿３}、演算された右目の目領域のコントラストＩｗ_{ｒｉｇｈｔ}及び左目の目領域のコントラストＩｗ_ｌｅｆｔ、並びに右目領域のエッジ強度Ｅｗ_{ｒｉｇｈｔ}及び左目領域のエッジ強度Ｅｗ_ｌｅｆｔに応じて、カメラ１２によって撮影された画像の右瞼及び左瞼のうちカメラ１２によって画像が撮影された位置に遠いほうの瞼の瞼尤度に対応する大きさが、近いほうの瞼の瞼尤度に対応する大きさより小さくなるように定めた、左右の瞼の各々に対応する重みｗ_{ｒｉｇｈｔ＿７}及びｗ_{ｌｅｆｔ＿７}のうち、右の瞼に対応する重みｗ_{ｒｉｇｈｔ＿７}を、瞼開度が同一である右の比較瞼モデル及び左の比較瞼モデルの組み合わせにおける右の比較瞼モデルの右の瞼尤度λ_{ｒ＿ｅｙｅｌｉｄ}に重み付けた値（ｗ_{ｒｉｇｈｔ＿７}・λ_{ｒ＿ｅｙｅｌｉｄ}）と、左の瞼に対応する重みｗ_{ｌｅｆｔ＿７}を、左の比較瞼モデルの左の瞼尤度λ_{ｌ＿ｅｙｅｌｉｄ}に重み付けた値（ｗ_{ｌｅｆｔ＿７}・λ_{ｌ＿ｅｙｅｌｉｄ}）との和（（ｗ_{ｒｉｇｈｔ＿７}・λ_{ｒ＿ｅｙｅｌｉｄ}＋ｗ_{ｌｅｆｔ＿７}・λ_{ｌ＿ｅｙｅｌｉｄ}）／（ｗ_{ｒｉｇｈｔ＿７}＋ｗ_{ｌｅｆｔ＿７}））をこの組み合わせにおける左右の瞼尤度λ_{ｅｙｅｌｉｄ}として組み合わせ毎に複数演算する。

そして、上記の第１〜６の各実施形態と同様に、本実施形態に係る瞼尤度演算装置は、複数演算された組み合わせ毎の左右の瞼尤度λ_{ｅｙｅｌｉｄ}のうち、最も大きい左右の瞼尤度λ_{ｅｙｅｌｉｄ＿ｍａｘ}を全体の瞼尤度λ_{ｅｙｅｌｉｄ＿ａｌｌ}として演算する。

本実施形態に係る瞼尤度演算装置によれば、第１〜６の各実施の形態と同様に、全体の瞼尤度λ_{ｅｙｅｌｉｄ＿ａｌｌ}に対する精度が低いほうの瞼の瞼尤度の割合がより小さくなり、これにより全体の瞼尤度λ_{ｅｙｅｌｉｄ＿ａｌｌ}をより良好な精度で演算することができる。

なお、本実施の形態では６組の重みを演算する例について説明したが、本実施の形態の瞼尤度演算装置を以下で説明するような構成とすることで、少なくとも１組の重みを演算するようにしてもよい。すなわち、本実施の形態の瞼尤度演算装置を、上記第１の検出手段、上記第２の検出手段、上記第３の検出手段、上記第４の検出手段、上記第１の演算手段、及び上記第２の演算手段の少なくとも１つの手段を備えた処理手段を含んで構成して、検出された顔向き角度θ、右目までの距離ｄ_{ｒｉｇｈｔ}及び左目までの距離ｄ_ｌｅｆｔ、右耳までの距離ｄ_{ｒｉｇｈｔ＿２}及び左耳までの距離ｄ_{ｌｅｆｔ＿２}、右目の目頭と右目の目じりとの距離ｄ_{ｒｉｇｈｔ＿３}及び左目の目頭と左目の目じりとの距離ｄ_{ｌｅｆｔ＿３}、演算された右目の目領域のコントラストＩｗ_{ｒｉｇｈｔ}及び左目の目領域のコントラストＩｗ_ｌｅｆｔ、並びに右目領域のエッジ強度Ｅｗ_{ｒｉｇｈｔ}及び左目領域のエッジ強度Ｅｗ_ｌｅｆｔの少なくとも１つに応じて、カメラ１２によって撮影された画像の右瞼及び左瞼のうちカメラ１２によって画像が撮影された位置に遠いほうの瞼の瞼尤度に対応する大きさが、近いほうの瞼の瞼尤度に対応する大きさより小さくなるように定めた、左右の瞼の各々に対応する重みｗ_{ｒｉｇｈｔ＿７}及びｗ_{ｌｅｆｔ＿７}のうち、右の瞼に対応する重みｗ_{ｒｉｇｈｔ＿７}を、瞼開度が同一である右の比較瞼モデル及び左の比較瞼モデルの組み合わせにおける右の比較瞼モデルの右の瞼尤度λ_{ｒ＿ｅｙｅｌｉｄ}に重み付けた値（ｗ_{ｒｉｇｈｔ＿７}・λ_{ｒ＿ｅｙｅｌｉｄ}）と、左の瞼に対応する重みｗ_{ｌｅｆｔ＿７}を、左の比較瞼モデルの左の瞼尤度λ_{ｌ＿ｅｙｅｌｉｄ}に重み付けた値（ｗ_{ｌｅｆｔ＿７}・λ_{ｌ＿ｅｙｅｌｉｄ}）との和（（ｗ_{ｒｉｇｈｔ＿７}・λ_{ｒ＿ｅｙｅｌｉｄ}＋ｗ_{ｌｅｆｔ＿７}・λ_{ｌ＿ｅｙｅｌｉｄ}）／（ｗ_{ｒｉｇｈｔ＿７}＋ｗ_{ｌｅｆｔ＿７}））をこの組み合わせにおける左右の瞼尤度λ_{ｅｙｅｌｉｄ}として組み合わせ毎に複数演算するようにしてもよい。

なお、ｎ（ｎ≧１）組の重みを演算する場合には、ａ_１＋・・・＋ａ_ｎ＝１という条件を設定して、上記と同様の原理で重み係数ａ_１〜ａ_ｎの各々を決定する。このとき、「sum」は、「ａ_１・ｗ_{ｒｉｇｈｔ}×・・・×ａ_ｎ・ｗ_{ｒｉｇｈｔ＿ｎ}＋ａ_１・ｗ_ｌｅｆｔ×・・・×ａ_ｎ・ｗ_{ｌｅｆｔ＿ｎ}」となる。

なお、本実施の形態の瞼尤度演算装置によって演算された全体の瞼尤度λ_{ｅｙｅｌｉｄ＿ａｌｌ}は、例えば、瞼の形状を推定する際の尤度として用いることができる。また、例えば、このようにして推定された瞼の形状から、瞼開度を検出することができる。

また、本実施の形態の瞼尤度演算装置を、演算された全体の瞼尤度λ_{ｅｙｅｌｉｄ＿ａｌｌ}に基づいて、瞼モデルを推定し、推定された瞼モデルから、この瞼モデルが表す瞼の瞼開度を検出する瞼開度検出機能を備える構成としてもよい。この場合には、本実施の形態の瞼尤度演算装置は、瞼開度検出装置として用いることが可能である。

［第８の実施の形態］
次に第８の実施の形態について説明する。なお、第１〜７の各実施の形態と同様の構成及び同様の処理については、同一符号を付して、説明を省略する。

本実施の形態において、第１の実施の形態と異なる点は、本実施の形態に係る瞼尤度演算装置のＨＤＤ１４ｃには図２３に示す瞼尤度演算処理の処理ルーチンを実行するためのプログラムが記憶されており、ＣＰＵ１４ｄが図２３に示す瞼尤度演算処理を実行する点である。同図に図示されるように、ステップ１２０で肯定判定された場合に、ステップ３２２が実行され、ステップ３２２の次にステップ３２４が実行され、ステップ３２４の次にステップ３２６が実行される。

まず、ステップ３２２での処理について説明する。ステップ３２２では、上記ステップ１１２で複数演算された右の瞼尤度λ_{ｒ＿ｅｙｅｌｉｄ}のうち、最大の値の右の瞼尤度λ_{ｒ＿ｅｙｅｌｉｄ＿ｍａｘ}を選択すると共に、上記ステップ１１８で複数演算された左の瞼尤度λ_{ｌ＿ｅｙｅｌｉｄ}のうち、最大の値の左の瞼尤度λ_{ｌ＿ｅｙｅｌｉｄ＿ｍａｘ}を選択する。

次にステップ３２４での処理について説明する。ステップ３２４では、第１の実施の形態と同様に、重みｗ_{ｒｉｇｈｔ}及び重みｗ_ｌｅｆｔを定めて、重みｗ_{ｒｉｇｈｔ}を右の瞼尤度λ_{ｒ＿ｅｙｅｌｉｄ＿ｍａｘ}に重み付けた値（ｗ_{ｒｉｇｈｔ}・λ_{ｒ＿ｅｙｅｌｉｄ＿ｍａｘ}）、及び重みｗ_ｌｅｆｔを左の瞼尤度λ_{ｌ＿ｅｙｅｌｉｄ＿ｍａｘ}に重み付けた値（ｗ_ｌｅｆｔ・λ_{ｌ＿ｅｙｅｌｉｄ＿ｍａｘ}）を比較して、大きい方の値を選択する。

次にステップ３２６での処理について説明する。ステップ３２６では、上記ステップ３２４で選択された値を、選択された方の瞼（右の瞼あるいは左の瞼）の瞼尤度とすることにより、選択された方の瞼の瞼尤度を演算する。

本実施形態に係る瞼尤度演算装置によれば、精度が高いほうの瞼の瞼尤度のみを演算するので、より良好な精度で瞼尤度を演算することができる。

なお、本実施の形態では、第１の実施の形態と同様に重みｗ_{ｒｉｇｈｔ}及び重みｗ_ｌｅｆｔを定める例について説明したが、第２の実施の形態と同様に重みｗ_{ｒｉｇｈｔ＿２}及び重みｗ_{ｌｅｆｔ＿２}を定めるようにしてもよい。同様に、第３〜７の各実施の形態のうち、何れかの実施の形態と同様に左右の各瞼（瞼尤度）に対応する重みを定めるようにしてもよい。例えば、本実施の形態の瞼尤度演算装置を、以下で説明するような構成とするようにしてもよい。すなわち、本実施の形態の瞼尤度演算装置を、上記第１の検出手段、上記第２の検出手段、上記第３の検出手段、上記第４の検出手段、上記第１の演算手段、及び上記第２の演算手段の少なくとも１つの手段を備えた処理手段を含んで構成して、検出された顔向き角度θ、右目までの距離ｄ_{ｒｉｇｈｔ}及び左目までの距離ｄ_ｌｅｆｔ、右耳までの距離ｄ_{ｒｉｇｈｔ＿２}及び左耳までの距離ｄ_{ｌｅｆｔ＿２}、右目の目頭と右目の目じりとの距離ｄ_{ｒｉｇｈｔ＿３}及び左目の目頭と左目の目じりとの距離ｄ_{ｌｅｆｔ＿３}、演算された右目の目領域のコントラストＩｗ_{ｒｉｇｈｔ}及び左目の目領域のコントラストＩｗ_ｌｅｆｔ、並びに右目領域のエッジ強度Ｅｗ_{ｒｉｇｈｔ}及び左目領域のエッジ強度Ｅｗ_ｌｅｆｔの少なくとも１つに応じて、カメラ１２によって撮影された画像の右瞼及び左瞼のうちカメラ１２によって画像が撮影された位置に遠いほうの瞼の瞼尤度に対応する大きさが、近いほうの瞼の瞼尤度に対応する大きさより小さくなるように定めた、左右の瞼の各々に対応する重みｗ_{ｒｉｇｈｔ＿７}及びｗ_{ｌｅｆｔ＿７}のうち、重みｗ_{ｒｉｇｈｔ＿７}を右の瞼尤度λ_{ｒ＿ｅｙｅｌｉｄ＿ｍａｘ}に重み付けた値（ｗ_{ｒｉｇｈｔ＿７}・λ_{ｒ＿ｅｙｅｌｉｄ＿ｍａｘ}）、及び重みｗ_{ｌｅｆｔ＿７}を左の瞼尤度λ_{ｌ＿ｅｙｅｌｉｄ＿ｍａｘ}に重み付けた値（ｗ_{ｌｅｆｔ＿７}・λ_{ｌ＿ｅｙｅｌｉｄ＿ｍａｘ}）を比較して、大きい方の値を選択し、選択された値を、選択された方の瞼（右の瞼あるいは左の瞼）の瞼尤度とすることにより、選択された方の瞼の瞼尤度を演算するようにしてもよい。

このようにして演算された精度が高い方の瞼の瞼尤度は、例えば、精度が高い方の瞼の形状を推定する際の尤度として用いることができる。また、例えば、このようにして推定された瞼の形状から、精度が高い瞼開度を検出することができる。

また、本実施の形態の瞼尤度演算装置を、演算された瞼尤度に基づいて、瞼モデルを推定し、推定された瞼モデルから、この瞼モデルが表す瞼の瞼開度を検出する瞼開度検出機能を備える構成としてもよい。この場合には、本実施の形態の瞼尤度演算装置は、瞼開度検出装置として用いることが可能である。

［第９の実施の形態］
次に第９の実施の形態について説明する。なお、第１〜８の各実施の形態と同様の構成及び同様の処理については、同一符号を付して、説明を省略する。本実施の形態の瞼尤度演算装置は、瞼開度を検出する瞼開度検出機能を備えており、瞼開度検出装置として用いることが可能である。

本実施の形態において、第８の実施の形態と異なる点は、本実施の形態に係る瞼尤度演算装置のＨＤＤ１４ｃには図２３に示す瞼尤度演算処理の処理ルーチンを実行するためのプログラムが記憶されると共に、図２４に示す瞼開度決定処理の処理ルーチンを実行するためのプログラムが記憶されており、本実施の形態に係る瞼尤度演算装置のＣＰＵ１４ｄが、図２３に示す瞼尤度演算処理を実行すると共に図２４に示す瞼開度決定処理を実行する点である。

図２４を参照して、瞼開度決定処理について説明する。まず、ステップ６００で、瞼尤度演算処理の上記ステップ１０６で検出した顔向き角度θが、０度（正面を向いているときの角度を０度とする）、または、（０±β）度の範囲内であるか否かを判定する。これにより、顔が正面（θ＝０度の場合）、または、顔がほぼ正面（θが０±β度の範囲内の場合）を向いているか否かを判定することができる。

ステップ６００で、顔向き角度θが０度である（または、０±β度の範囲内である）と判定された場合には、次のステップ６０６に進む。

一方、ステップ６００で、顔向き角度θが０度でない（または、０±β度の範囲内でない）と判定された場合には、次のステップ６０２へ進む。

なお、ステップ６００は省略可能であり、瞼開度決定処理は、次のステップ６０２から処理を開始するようにしてもよい。

次のステップ６０２では、目尤度演算処理（図２３参照）の上記ステップ３２４において重み付けられた値（ｗ_{ｒｉｇｈｔ}・λ_{ｒ＿ｅｙｅｌｉｄ＿ｍａｘ}）が所定の基準値α以上であり、かつ上記ステップ３２４において重み付けられた値（ｗ_ｌｅｆｔ・λ_{ｌ＿ｅｙｅｌｉｄ＿ｍａｘ}）が所定の基準値α以上であるか否かを判定する。このように判定することで、重み付けが行われた（すなわち補正後の）右瞼の尤度及び左瞼の尤度の各々に対応する（比較）瞼モデルが信頼できるものであるか否かを判断することができる。

ステップ６０２で、（ｗ_{ｒｉｇｈｔ}・λ_{ｒ＿ｅｙｅｌｉｄ＿ｍａｘ}）が所定の基準値α以上であり、かつ（ｗ_ｌｅｆｔ・λ_{ｌ＿ｅｙｅｌｉｄ＿ｍａｘ}）が所定の基準値α以上であると判定された場合には、対応する両瞼の各比較瞼モデルが信頼できるものであると判断して、次のステップ６０４へ進む。

ステップ６０４では、所定の基準値α以上であると判定された、重み付けされた右の瞼尤度（ｗ_{ｒｉｇｈｔ}・λ_{ｒ＿ｅｙｅｌｉｄ＿ｍａｘ}）に対応する右瞼の比較瞼モデルから、この比較瞼モデルの瞼開度（右瞼の瞼開度）ｏ_{ｒｉｇｈｔ}を検出する。また、同様に、所定の基準値α以上であると判定された、重み付けされた左の瞼尤度（ｗ_ｌｅｆｔ・λ_{ｌ＿ｅｙｅｌｉｄ＿ｍａｘ}）に対応する左瞼の比較瞼モデルから、この比較瞼モデルの瞼開度（左瞼の瞼開度）ｏ_ｌｅｆｔを検出する。そして、検出した右瞼の瞼開度ｏ_{ｒｉｇｈｔ}及び左瞼の瞼開度ｏ_ｌｅｆｔの比率（例えば、ｏ_{ｒｉｇｈｔ}／ｏ_ｌｅｆｔ）を演算する。そして、演算された比率をＲＡＭ１４ｅまたはＨＤＤ１４ｃに記憶させる。これにより、左右両方の瞼モデルが信頼性の高い場合に検出した左右の瞼開度の比を演算することができる。この左右の瞼開度の比は、例えば、後述するように、右瞼の瞼モデル及び左瞼の瞼モデルのどちらか一方のみ信頼性が高い場合に、信頼性の低い瞼モデルの瞼開度を精度良く検出したいときに用いることができる。より具体的には、信頼性が高いとされたほうの瞼モデルからこの瞼モデルが表す瞼の瞼開度を検出して、この検出された瞼開度及び比率から、信頼性が低いとされたほうの瞼の瞼開度を演算することにより、精度良く信頼性の低い瞼モデルに対応する瞼の瞼開度を検出することができる。

次のステップ６０６では、ＲＡＭ１４ｅまたはＨＤＤ１４ｃに上記比率が記憶されているか否かを判定する。

ステップ６０６で上記比率が記憶されていると判定された場合には、次のステップ６０８へ進む。

ステップ６０８では、上記比率をＲＡＭ１４ｅまたはＨＤＤ１４ｃから読み込む。そして、瞼尤度演算処理の上記ステップ３２６で瞼尤度が演算された方の瞼の瞼モデルから、この瞼モデルが表す瞼の瞼開度を検出する。そして、検出された瞼開度及び読み込んだ上記比率から、瞼開度が検出されていない方の瞼の瞼開度を演算することにより、瞼尤度が低い方の瞼の瞼開度を検出する。

次のステップ６１０では、上記ステップ６０８で検出された両瞼の各瞼開度を、図示しない出力装置（例えば、表示装置や音声出力装置など）に出力する。そして、瞼開度検出処理を終了する。これにより、精度が良い両瞼の瞼開度が出力装置から出力される。例えば、出力装置が表示装置である場合には、両瞼の瞼開度が表示され、出力装置が音声出力装置である場合には、両瞼の瞼開度が音声で出力される。

一方、ステップ６０６で、上記比率が記憶されていないと判定された場合には、次のステップ６１２へ進む。

ステップ６１２では、瞼尤度演算処理の上記ステップ３２６で瞼尤度が演算された方の瞼の瞼モデルから、この瞼モデルが表す瞼の瞼開度を検出する。そして、検出された瞼開度を、図示しない出力装置（例えば、表示装置や音声出力装置など）に出力する。これにより、出力装置から瞼開度が出力される。そして、瞼開度検出処理を終了する。

本実施の形態の瞼開度検出機能を有した瞼尤度演算装置は、右の瞼に対応する重みｗ_{ｒｉｇｈｔ}を最大の右の瞼尤度λ_{ｒ＿ｅｙｅｌｉｄ＿ｍａｘ}に重み付けた値（ｗ_{ｒｉｇｈｔ}・λ_{ｒ＿ｅｙｅｌｉｄ＿ｍａｘ}）、及び左の瞼に対応する重みｗ_ｌｅｆｔを最大の左の瞼尤度λ_{ｌ＿ｅｙｅｌｉｄ＿ｍａｘ}に重み付けた値（ｗ_ｌｅｆｔ・λ_{ｌ＿ｅｙｅｌｉｄ＿ｍａｘ}）が共に所定の基準値以上である場合に、最大の右の瞼尤度λ_{ｒ＿ｅｙｅｌｉｄ＿ｍａｘ}の右の比較瞼モデルが表す右瞼の瞼開度ｏ_{ｒｉｇｈｔ}及び最大の左の瞼尤度λ_{ｌ＿ｅｙｅｌｉｄ＿ｍａｘ}の左の比較瞼モデルが表す左瞼の瞼開度ｏ_ｌｅｆｔを検出し、検出された右瞼の瞼開度ｏ_{ｒｉｇｈｔ}及び左瞼の瞼開度ｏ_ｌｅｆｔの比率（例えば、ｏ_{ｒｉｇｈｔ}／ｏ_ｌｅｆｔ）を演算し、上記ステップ３２６で演算された瞼尤度の比較瞼モデルが表す瞼の瞼開度を検出すると共に、この検出された瞼開度及び比率に基づいて、瞼開度が検出されていない方の瞼の瞼開度を演算することにより、瞼尤度が低い方の瞼の瞼開度を検出する。

これにより、精度良く信頼性の低い瞼モデルに対応する瞼の瞼開度を検出することができる。

なお、本実施の形態では、第１の実施の形態と同様に重みｗ_{ｒｉｇｈｔ}及び重みｗ_ｌｅｆｔを定める例について説明したが、第２の実施の形態と同様に重みｗ_{ｒｉｇｈｔ＿２}及び重みｗ_{ｌｅｆｔ＿２}を定めるようにしてもよい。同様に、第３〜８の各実施の形態のうち、何れかの実施の形態と同様に左右の各瞼（瞼尤度）に対応する重みを定めるようにしてもよい。例えば、本実施の形態の瞼尤度演算装置を、以下で説明するような構成とするようにしてもよい。すなわち、本実施の形態の瞼尤度演算装置を、上記第１の検出手段、上記第２の検出手段、上記第３の検出手段、上記第４の検出手段、上記第１の演算手段、及び上記第２の演算手段の少なくとも１つの手段を備えた処理手段を含んで構成して、検出された顔向き角度θ、右目までの距離ｄ_{ｒｉｇｈｔ}及び左目までの距離ｄ_ｌｅｆｔ、右耳までの距離ｄ_{ｒｉｇｈｔ＿２}及び左耳までの距離ｄ_{ｌｅｆｔ＿２}、右目の目頭と右目の目じりとの距離ｄ_{ｒｉｇｈｔ＿３}及び左目の目頭と左目の目じりとの距離ｄ_{ｌｅｆｔ＿３}、演算された右目の目領域のコントラストＩｗ_{ｒｉｇｈｔ}及び左目の目領域のコントラストＩｗ_ｌｅｆｔ、並びに右目領域のエッジ強度Ｅｗ_{ｒｉｇｈｔ}及び左目領域のエッジ強度Ｅｗ_ｌｅｆｔの少なくとも１つに応じて、カメラ１２によって撮影された画像の右瞼及び左瞼のうちカメラ１２によって画像が撮影された位置に遠いほうの瞼の瞼尤度に対応する大きさが、近いほうの瞼の瞼尤度に対応する大きさより小さくなるように定めた、左右の瞼の各々に対応する重みｗ_{ｒｉｇｈｔ＿７}及びｗ_{ｌｅｆｔ＿７}のうち、重みｗ_{ｒｉｇｈｔ＿７}を右の瞼尤度λ_{ｒ＿ｅｙｅｌｉｄ＿ｍａｘ}に重み付けた値（ｗ_{ｒｉｇｈｔ＿７}・λ_{ｒ＿ｅｙｅｌｉｄ＿ｍａｘ}）、及び重みｗ_{ｌｅｆｔ＿７}を左の瞼尤度λ_{ｌ＿ｅｙｅｌｉｄ＿ｍａｘ}に重み付けた値（ｗ_{ｌｅｆｔ＿７}・λ_{ｌ＿ｅｙｅｌｉｄ＿ｍａｘ}）を比較して、大きい方の値を選択し、選択された値を、選択された方の瞼（右の瞼あるいは左の瞼）の瞼尤度とすることにより、選択された方の瞼の瞼尤度を演算するようにしてもよい。そして、本実施の形態の瞼尤度演算装置は、右の瞼に対応する重みｗ_{ｒｉｇｈｔ＿７}を、最大の右の瞼尤度λ_{ｒ＿ｅｙｅｌｉｄ＿ｍａｘ}に重み付けた値（ｗ_{ｒｉｇｈｔ＿７}・λ_{ｒ＿ｅｙｅｌｉｄ＿ｍａｘ}）、及び左の瞼に対応する重みｗ_{ｌｅｆｔ＿７}を、最大の左の瞼尤度λ_{ｌ＿ｅｙｅｌｉｄ＿ｍａｘ}に重み付けた値（ｗ_{ｌｅｆｔ＿７}・λ_{ｌ＿ｅｙｅｌｉｄ＿ｍａｘ}）が共に所定の基準値以上である場合に、最大の右の瞼尤度λ_{ｒ＿ｅｙｅｌｉｄ＿ｍａｘ}の右の比較瞼モデルが表す右瞼の瞼開度ｏ_{ｒｉｇｈｔ}及び最大の左の瞼尤度λ_{ｌ＿ｅｙｅｌｉｄ＿ｍａｘ}の左の比較瞼モデルが表す左瞼の瞼開度ｏ_ｌｅｆｔを検出し、検出された右瞼の瞼開度ｏ_{ｒｉｇｈｔ}及び左瞼の瞼開度ｏ_ｌｅｆｔの比率（例えば、ｏ_{ｒｉｇｈｔ}／ｏ_ｌｅｆｔ）を演算し、上記ステップ３２６で演算された瞼尤度の比較瞼モデルが表す瞼の瞼開度を検出すると共に、この検出された瞼開度及び比率に基づいて、瞼開度が検出されていない方の瞼の瞼開度を演算することにより、瞼尤度が低い方の瞼の瞼開度を検出するようにしてもよい。

［第１０の実施の形態］
次に第１０の実施の形態について説明する。なお、第１〜９の各実施の形態と同様の構成及び同様の処理については、同一符号を付して、説明を省略する。本実施の形態の瞼尤度演算装置は、例えば、図２５に示すように、カメラ１２の撮影対象である人物５０が眼鏡５２をかけている場合に、この眼鏡５２のレンズ５４によって光が反射されて、撮影した人物の画像５６の目領域の部分の画像５８の輝度が高くなることにより、正確に瞼の瞼尤度が演算できないときに、精度良く瞼尤度を演算することができるほうの瞼の瞼尤度のみを演算するようにしたものである。例えば、図２５の例では眼鏡５２の左側のレンズ５４から光が反射されており、左目の目領域の部分の輝度が高くなっている。このような場合に、右瞼の瞼尤度のみを演算するようにしたものである。

本実施の形態において、第８の実施の形態と異なる点は、本実施の形態に係る瞼尤度演算装置のＨＤＤ１４ｃには図２６に示す瞼尤度演算処理の処理ルーチンを実行するためのプログラムが記憶されており、ＣＰＵ１４ｄが図２６に示す瞼尤度演算処理を実行する点である。同図に図示されるように、ステップ１０８の次にステップ３２８が実行され、ステップ３２８の次にステップ３３０が実行され、ステップ３３０で肯定判定がされた場合にステップ１１０へ進み、ステップ３３０で否定判定及びステップ１１４で肯定判定がされた場合にステップ３３２が実行される。そして、ステップ３３２で肯定判定がされた場合にはステップ１１６に進む。一方、ステップ３３２で否定判定及びステップ１２０で肯定判定がされた場合にはステップ３３４が実行される。ステップ３３４で肯定判定がされた場合には次のステップ３２２が実行される。一方、ステップ３３４で否定判定がされた場合にはステップ３３６が実行される。ステップ３３６で肯定判定がされた場合には、次にステップ３３８が実行され、ステップ３３８の次にステップ３４０が実行され、そして、ステップ３２６に進む。一方、ステップ３３６で否定判定がされた場合には、次にステップ３４２が実行され、ステップ３４２で肯定判定がされた場合には、次にステップ３４４が実行され、ステップ３４４の次にステップ３４６が実行され、そして、ステップ３２６に進む。また、ステップ３４２で否定判定がされた場合には、瞼尤度演算処理を終了する。

まず、ステップ３２８での処理について説明する。ステップ３２８では、高輝度画素領域面積比演算処理を実行する。

図２７を参照して高輝度画素領域面積比演算処理について説明する。まず、ステップ７００では、瞼尤度演算処理（図２６参照）の上記ステップ１０４で抽出された目領域のうち右目の目領域の画素数を特定する。

次のステップ７０２では、図２８に示すように、上記ステップ１０４で抽出された目領域のうち、右目の目領域の画像５８の画像データに対して、所定の閾値Ｋ（例えばＫ＝２００）より大きい画素値を有する画素の画素値を２５５と設定すると共に、所定の閾値Ｋ以下の画素値を有する画素の画素値を０と設定する二値化処理を実行する。これにより、右目領域の画像５８の各画素が、黒画素（画素値が２５５の画素）と、白画素（画素値が０の画素）とになる。

次のステップ７０４では、上記ステップ７００で特定された右目の目領域の画素数に対する上記ステップ７０２での二値化処理によって得られた白画素の数の割合を第１の割合（右目領域の高輝度画素領域面積比）Ｒ_{ｒｉｇｈｔ}として演算することにより、右目領域の画素数に対する所定の輝度（すなわち閾値Ｋ）以上の画素数の割合である第１の割合（右目領域の高輝度画素領域面積比）Ｒ_{ｒｉｇｈｔ}を演算する。なお、図２８の例では、右目領域の高輝度画素領域面積比Ｒ_{ｒｉｇｈｔ}として０（０％）が演算される。

次のステップ７０６では、上記ステップ１０４で抽出された目領域のうち左目の目領域の画素数を特定する。

次のステップ７０８では、上記ステップ１０４で抽出された目領域のうち、左目の目領域の画像５８の画像データに対して、所定の閾値Ｋ（例えばＫ＝２００）より大きい画素値を有する画素の画素値を２５５と設定すると共に、所定の閾値Ｋ以下の画素値を有する画素の画素値を０と設定する二値化処理を実行する。これにより、左目領域の画像５８が、黒画素（画素値が２５５の画素）と、白画素（画素値が０の画素）とになる。

次のステップ７１０では、上記ステップ７０６で特定された左目の目領域の画素数に対する上記ステップ７０８での二値化処理によって得られた白画素の数の割合を第２の割合（左目領域の高輝度画素領域面積比）Ｒ_ｌｅｆｔとして演算することにより、左目領域の画素数に対する所定の輝度（すなわち閾値Ｋ）以上の画素数の割合である第２の割合（左目領域の高輝度画素領域面積比）Ｒ_ｌｅｆｔを演算する。なお、図２８の例では、左目領域の高輝度画素領域面積比Ｒ_ｌｅｆｔとして０．５４（５４％）が演算される。そして、高輝度画素領域面積比演算処理を終了する。

以上、ステップ３２８で実行する高輝度画素領域面積比演算処理について説明した。

次のステップ３３０では、上記ステップ７０４で演算された右目領域の高輝度画素領域面積比Ｒ_{ｒｉｇｈｔ}と所定値γ（例えば０．４（４０％））とを比較して、右目領域の高輝度画素領域面積比Ｒ_{ｒｉｇｈｔ}が所定値γ以下であるか否かを判定する。なお、右目領域の高輝度画素領域面積比Ｒ_{ｒｉｇｈｔ}が所定値γ以下であると判定された場合には、右目領域の画像５８から精度良く瞼尤度を演算することが可能であると判断できる。一方、右目領域の高輝度画素領域面積比Ｒ_{ｒｉｇｈｔ}が所定値γより大きいと判定された場合には、右目領域の画像５８から精度良く瞼尤度を演算することが可能でないと判断できる。

ステップ３３０で、右目領域の高輝度画素領域面積比Ｒ_{ｒｉｇｈｔ}が所定値γ以下であると判定された場合には、ステップ１１０へ進む。一方、ステップ３３０で、右目領域の高輝度画素領域面積比Ｒ_{ｒｉｇｈｔ}が所定値γより大きいと判定された場合には、ステップ３３２へ進む。ステップ３３２へ進むことにより、ステップ１１０〜１１４の処理を実行せずに省略することができる。

ステップ３３２では、上記ステップ７１０で演算された左目領域の高輝度画素領域面積比Ｒ_ｌｅｆｔと所定値γ（例えば０．４（４０％））とを比較して、左目領域の高輝度画素領域面積比Ｒ_ｌｅｆｔが所定値γ以下であるか否かを判定する。左目領域の高輝度画素領域面積比Ｒ_ｌｅｆｔが所定値γ以下であると判定された場合には、左目領域の画像５８から精度良く瞼尤度を演算することが可能であると判断できる。一方、左目領域の高輝度画素領域面積比Ｒ_ｌｅｆｔが所定値γより大きいと判定された場合には、左目領域の画像５８から精度良く瞼尤度を演算することが可能でないと判断できる。

ステップ３３２で、左目領域の高輝度画素領域面積比Ｒ_ｌｅｆｔが所定値γ以下であると判定された場合には、ステップ１１６へ進む。一方、ステップ３３２で、左目領域の高輝度画素領域面積比Ｒ_ｌｅｆｔが所定値γより大きいと判定された場合には、ステップ３３４へ進む。ステップ３３４へ進むことにより、ステップ１１６〜１２０の処理を実行せずに省略することができる。

ステップ３３４では、右目領域の高輝度画素領域面積比Ｒ_{ｒｉｇｈｔ}が所定値γ以下であり、かつ左目領域の高輝度画素領域面積比Ｒ_ｌｅｆｔが所定値γ以下であるか否かを判定する。

ステップ３３４で、右目領域の高輝度画素領域面積比Ｒ_{ｒｉｇｈｔ}が所定値γ以下であり、かつ左目領域の高輝度画素領域面積比Ｒ_ｌｅｆｔが所定値γ以下であると判定された場合には、ステップ３２２へ進む。

一方、ステップ３３４で、右目領域の高輝度画素領域面積比Ｒ_{ｒｉｇｈｔ}が所定値γ以下であり、かつ左目領域の高輝度画素領域面積比Ｒ_ｌｅｆｔが所定値γ以下でないと判定された場合には、ステップ３３６へ進む。

ステップ３３６では、右目領域の高輝度画素領域面積比Ｒ_{ｒｉｇｈｔ}が所定値γ以下であるか否かを判定する。ステップ３３６で、右目領域の高輝度画素領域面積比Ｒ_{ｒｉｇｈｔ}が所定値γ以下であると判定された場合には、ステップ３３８へ進む。

ステップ３３８では、上記ステップ１１２で複数演算された右の瞼尤度λ_{ｒ＿ｅｙｅｌｉｄ}のうち、最大の値の右の瞼尤度λ_{ｒ＿ｅｙｅｌｉｄ＿ｍａｘ}を選択する。

次のステップ３４０では、第８（１）の実施の形態と同様に、重みｗ_{ｒｉｇｈｔ}を定めて、重みｗ_{ｒｉｇｈｔ}を右の瞼尤度λ_{ｒ＿ｅｙｅｌｉｄ＿ｍａｘ}に重み付けた値（ｗ_{ｒｉｇｈｔ}・λ_{ｒ＿ｅｙｅｌｉｄ＿ｍａｘ}）を選択する。そしてステップ３２６へ進む。

一方、ステップ３３６で、右目領域の高輝度画素領域面積比Ｒ_{ｒｉｇｈｔ}が所定値γより大きいと判定された場合には、ステップ３４２へ進む。

ステップ３４２では、左目領域の高輝度画素領域面積比Ｒ_ｌｅｆｔが所定値γ以下であるか否かを判定する。ステップ３４２で、左目領域の高輝度画素領域面積比Ｒ_ｌｅｆｔが所定値γ以下であると判定された場合には、ステップ３４４へ進む。

ステップ３４４では、上記ステップ１１８で複数演算された左の瞼尤度λ_{ｌ＿ｅｙｅｌｉｄ}のうち、最大の値の左の瞼尤度λ_{ｌ＿ｅｙｅｌｉｄ＿ｍａｘ}を選択する。

次のステップ３４６では、第８（１）の実施の形態と同様に、重みｗ_ｌｅｆｔを定めて、重みｗ_ｌｅｆｔを左の瞼尤度λ_{ｌ＿ｅｙｅｌｉｄ＿ｍａｘ}に重み付けた値（ｗ_ｌｅｆｔ・λ_{ｌ＿ｅｙｅｌｉｄ＿ｍａｘ}）を選択する。そしてステップ３２６へ進む。

一方、ステップ３４２で、左目領域の高輝度画素領域面積比Ｒ_ｌｅｆｔが所定値γより大きいと判定された場合には、瞼尤度演算処理を終了する。

以上、説明したように、本実施の形態の瞼尤度演算装置は、第１の割合（右目領域の高輝度画素領域面積比）Ｒ_{ｒｉｇｈｔ}及び第２の割合（左目領域の高輝度画素領域面積比Ｒ_ｌｅｆｔ）を演算し、第１の割合が所定値γ以下の場合にのみ右の瞼尤度λ_{ｒ＿ｅｙｅｌｉｄ}を演算すると共に、第２の割合が所定値γ以下の場合にのみ左の瞼尤度λ_{ｌ＿ｅｙｅｌｉｄ}を演算する。そして、本実施の形態の瞼尤度演算装置は、顔向き角度θに応じて、カメラ１２によって撮影された画像の右瞼及び左瞼のうちカメラ１２によって画像が撮影された位置に遠いほうの瞼の瞼尤度に対応する大きさが、近いほうの瞼の瞼尤度に対応する大きさより小さくなるように定めた、左右の瞼の各々に対応する重みｗ_{ｒｉｇｈｔ}及びｗ_ｌｅｆｔのうち、第１の割合が所定値γ以下でありかつ第２の割合が所定値γ以下である場合には、右の瞼に対応する重みｗ_{ｒｉｇｈｔ}を右の瞼尤度λ_{ｒ＿ｅｙｅｌｉｄ＿ｍａｘ}に重み付けた値（ｗ_{ｒｉｇｈｔ}・λ_{ｒ＿ｅｙｅｌｉｄ＿ｍａｘ}）、及び左の瞼に対応する重みｗ_ｌｅｆｔを左の瞼尤度λ_{ｌ＿ｅｙｅｌｉｄ＿ｍａｘ}に重み付けた値（ｗ_ｌｅｆｔ・λ_{ｌ＿ｅｙｅｌｉｄ＿ｍａｘ}）のうち大きいほうの値を選択すると共に、第１の割合及び第２の割合の一方の割合のみが所定値γ以下である場合には、瞼尤度が演算された方の瞼（第１の割合または第２の割合が所定値以下となる方の瞼）の最大の瞼尤度（右の瞼尤度λ_{ｒ＿ｅｙｅｌｉｄ＿ｍａｘ}または左の瞼尤度λ_{ｌ＿ｅｙｅｌｉｄ＿ｍａｘ}）に、この瞼に対応する重み（重みｗ_{ｒｉｇｈｔ}または重みｗ_ｌｅｆｔ）を重み付けた値（（ｗ_{ｒｉｇｈｔ}・λ_{ｒ＿ｅｙｅｌｉｄ＿ｍａｘ}）または（ｗ_ｌｅｆｔ・λ_{ｌ＿ｅｙｅｌｉｄ＿ｍａｘ}））を選択する。これにより、精度良く瞼尤度を演算することができないほうの瞼の瞼尤度を複雑な演算によって演算することなく、より簡易に瞼尤度を演算することができる。

なお、本実施の形態では、第１の実施の形態と同様に重みｗ_{ｒｉｇｈｔ}及び重みｗ_ｌｅｆｔを定める例について説明したが、第２の実施の形態と同様に重みｗ_{ｒｉｇｈｔ＿２}及び重みｗ_{ｌｅｆｔ＿２}を定めるようにしてもよい。同様に、第３〜８の各実施の形態のうち、何れかの実施の形態と同様に左右の各瞼（瞼尤度）に対応する重みを定めるようにしてもよい。例えば、本実施の形態の瞼尤度演算装置を、以下で説明するような構成とするようにしてもよい。すなわち、本実施の形態の瞼尤度演算装置を、上記第１の検出手段、上記第２の検出手段、上記第３の検出手段、上記第４の検出手段、上記第１の演算手段、及び上記第２の演算手段の少なくとも１つの手段を備えた処理手段を含んで構成して、検出された顔向き角度θ、右目までの距離ｄ_{ｒｉｇｈｔ}及び左目までの距離ｄ_ｌｅｆｔ、右耳までの距離ｄ_{ｒｉｇｈｔ＿２}及び左耳までの距離ｄ_{ｌｅｆｔ＿２}、右目の目頭と右目の目じりとの距離ｄ_{ｒｉｇｈｔ＿３}及び左目の目頭と左目の目じりとの距離ｄ_{ｌｅｆｔ＿３}、演算された右目の目領域のコントラストＩｗ_{ｒｉｇｈｔ}及び左目の目領域のコントラストＩｗ_ｌｅｆｔ、並びに右目領域のエッジ強度Ｅｗ_{ｒｉｇｈｔ}及び左目領域のエッジ強度Ｅｗ_ｌｅｆｔの少なくとも１つに応じて、カメラ１２によって撮影された画像の右瞼及び左瞼のうちカメラ１２によって画像が撮影された位置に遠いほうの瞼の瞼尤度に対応する大きさが、近いほうの瞼の瞼尤度に対応する大きさより小さくなるように定めた、左右の瞼の各々に対応する重みｗ_{ｒｉｇｈｔ＿７}及びｗ_{ｌｅｆｔ＿７}のうち、第１の割合が所定値γ以下でありかつ第２の割合が所定値γ以下である場合には、右の瞼に対応する重みｗ_{ｒｉｇｈｔ＿７}を右の瞼尤度λ_{ｒ＿ｅｙｅｌｉｄ＿ｍａｘ}に重み付けた値（ｗ_{ｒｉｇｈｔ＿７}・λ_{ｒ＿ｅｙｅｌｉｄ＿ｍａｘ}）、及び左の瞼に対応する重みｗ_{ｌｅｆｔ＿７}を左の瞼尤度λ_{ｌ＿ｅｙｅｌｉｄ＿ｍａｘ}に重み付けた値（ｗ_{ｌｅｆｔ＿７}・λ_{ｌ＿ｅｙｅｌｉｄ＿ｍａｘ}）のうち大きいほうの値を選択すると共に、第１の割合及び第２の割合の一方の割合のみが所定値γ以下である場合には、瞼尤度が演算された方の瞼（第１の割合または第２の割合が所定値以下となる方の瞼）の最大の瞼尤度（右の瞼尤度λ_{ｒ＿ｅｙｅｌｉｄ＿ｍａｘ}または左の瞼尤度λ_{ｌ＿ｅｙｅｌｉｄ＿ｍａｘ}）に、この瞼に対応する重み（重みｗ_{ｒｉｇｈｔ＿７}または重みｗ_{ｌｅｆｔ＿７}）を重み付けた値（（ｗ_{ｒｉｇｈｔ＿７}・λ_{ｒ＿ｅｙｅｌｉｄ＿ｍａｘ}）または（ｗ_{ｌｅｆｔ＿７}・λ_{ｌ＿ｅｙｅｌｉｄ＿ｍａｘ}））を選択するようにしてもよい。

また、本実施の形態においてステップ３２６で演算された精度が高い瞼尤度は、例えば、瞼の形状を推定する際の尤度として用いることができる。また、例えば、このようにして推定された瞼の形状から、精度が高い瞼開度を検出することができる。

また、本実施の形態の瞼尤度演算装置を、演算された瞼尤度に基づいて、瞼モデルを推定し、推定された瞼モデルから、この瞼モデルが表す瞼の瞼開度を検出する瞼開度検出機能を備える構成としてもよい。この場合には、本実施の形態の瞼尤度演算装置は、瞼開度検出装置として用いることが可能である。

［第１１の実施の形態］
次に第１１の実施の形態について説明する。なお、第１〜１０の各実施の形態と同様の構成及び同様の処理については、同一符号を付して、説明を省略する。本実施の形態の瞼尤度演算装置は、例えば、図２５に示すように、カメラ１２の撮影対象である人物５０が眼鏡５２をかけている場合に、この眼鏡５２のレンズ５４によって光が反射されて、撮影した人物の画像５６の目領域の部分の画像５８の輝度が高くなることにより、正確に瞼の瞼尤度が演算できない場合に、精度良く瞼尤度を演算することができないほうの瞼の瞼尤度を、所定の第１の値（例えば０）とすることにより、左右の瞼尤度を演算するようにしたものである。例えば、図２５の例では眼鏡５２の左側のレンズ５４から光が反射されており、左目の目領域の部分の輝度が高くなっている。このような場合に、例えば、左瞼の瞼尤度を所定の第１の値とすることにより、左瞼の瞼尤度を演算するようにしたものである。

本実施の形態において、第１０の実施の形態と異なる点は、本実施の形態に係る瞼尤度演算装置のＨＤＤ１４ｃには図２９に示す瞼尤度演算処理の処理ルーチンを実行するためのプログラムが記憶されており、ＣＰＵ１４ｄが図２９に示す瞼尤度演算処理を実行する点である。同図に図示されるように、ステップ３３０で否定判定がされた場合には、ステップ３４８が実行され、ステップ３４８の次、及びステップ１１４で肯定判定された場合にステップ３３２が実行される。また、ステップ３３２で否定判定がされた場合には、ステップ３５０が実行され、ステップ３５０の次、及びステップ１２０で肯定判定された場合にステップ３５２が実行され、ステップ３５２の次にステップ３２４が実行される。

まず、ステップ３４８の処理について説明する。ステップ３４８では、所定の第１の値（例えば０）を、右の瞼尤度λ_{ｒ＿ｅｙｅｌｉｄ}とすることにより、右の瞼尤度λ_{ｒ＿ｅｙｅｌｉｄ}を演算する。この所定の第１の値は、０に限られないが、ステップ３２６で選択されにくくなるような値が好ましい。

次に、ステップ３５０の処理について説明する。ステップ３５０では、所定の第１の値（例えば０）を、左の瞼尤度λ_{ｌ＿ｅｙｅｌｉｄ}とすることにより、左の瞼尤度λ_{ｌ＿ｅｙｅｌｉｄ}を演算する。この所定の第１の値は、上記と同様に、０に限られないが、ステップ３２６で選択されにくくなるような値が好ましい。

次に、ステップ３５２の処理について説明する。ステップ３５２では、演算された右の瞼尤度λ_{ｒ＿ｅｙｅｌｉｄ}のうち、最大の右の瞼尤度λ_{ｒ＿ｅｙｅｌｉｄ＿ｍａｘ}を選択すると共に、演算された左の瞼尤度λ_{ｌ＿ｅｙｅｌｉｄ}のうち、最大の左の瞼尤度λ_{ｌ＿ｅｙｅｌｉｄ＿ｍａｘ}を選択する。

以上説明したように、本実施の形態の瞼尤度演算装置は、第１の割合（右目領域の高輝度画素領域面積比）Ｒ_{ｒｉｇｈｔ}及び第２の割合（左目領域の高輝度画素領域面積比）Ｒ_ｌｅｆｔを演算し、第１の割合が所定値γより大きい場合に、所定の第１の値を右の瞼尤度λ_{ｒ＿ｅｙｅｌｉｄ}とすることにより、右の瞼尤度λ_{ｒ＿ｅｙｅｌｉｄ}を演算すると共に、第２の割合が所定値γより大きい場合に、所定の第１の値を左の瞼尤度λ_{ｌ＿ｅｙｅｌｉｄ}とすることにより、左の瞼尤度λ_{ｌ＿ｅｙｅｌｉｄ}を演算する。そして、本実施の形態の瞼尤度演算装置は、顔向き角度θに応じて、カメラ１２によって撮影された画像の右瞼及び左瞼のうちカメラ１２によって画像が撮影された位置に遠いほうの瞼の瞼尤度に対応する大きさが、近いほうの瞼の瞼尤度に対応する大きさより小さくなるように定めた、左右の瞼の各々に対応する重みｗ_{ｒｉｇｈｔ}及びｗ_ｌｅｆｔのうち、右の瞼に対応する重みｗ_{ｒｉｇｈｔ}を右の瞼尤度λ_{ｒ＿ｅｙｅｌｉｄ＿ｍａｘ}に重み付けた値（ｗ_{ｒｉｇｈｔ}・λ_{ｒ＿ｅｙｅｌｉｄ＿ｍａｘ}）、及び左の瞼に対応する重みｗ_ｌｅｆｔを左の瞼尤度λ_{ｌ＿ｅｙｅｌｉｄ＿ｍａｘ}に重み付けた値（ｗ_ｌｅｆｔ・λ_{ｌ＿ｅｙｅｌｉｄ＿ｍａｘ}）のうち大きいほうの値を選択する。これにより、精度良く瞼尤度を演算することができないほうの瞼の瞼尤度を複雑な演算によって演算することなく、所定の第１の値としているので、より簡易に瞼尤度を演算することができる。

なお、本実施の形態では、第１の実施の形態と同様に重みｗ_{ｒｉｇｈｔ}及び重みｗ_ｌｅｆｔを定める例について説明したが、第２の実施の形態と同様に重みｗ_{ｒｉｇｈｔ＿２}及び重みｗ_{ｌｅｆｔ＿２}を定めるようにしてもよい。同様に、第３〜８の各実施の形態のうち、何れかの実施の形態と同様に左右の各瞼（瞼尤度）に対応する重みを定めるようにしてもよい。例えば、本実施の形態の瞼尤度演算装置を、以下で説明するような構成とするようにしてもよい。すなわち、本実施の形態の瞼尤度演算装置を、上記第１の検出手段、上記第２の検出手段、上記第３の検出手段、上記第４の検出手段、上記第１の演算手段、及び上記第２の演算手段の少なくとも１つの手段を備えた処理手段を含んで構成して、検出された顔向き角度θ、右目までの距離ｄ_{ｒｉｇｈｔ}及び左目までの距離ｄ_ｌｅｆｔ、右耳までの距離ｄ_{ｒｉｇｈｔ＿２}及び左耳までの距離ｄ_{ｌｅｆｔ＿２}、右目の目頭と右目の目じりとの距離ｄ_{ｒｉｇｈｔ＿３}及び左目の目頭と左目の目じりとの距離ｄ_{ｌｅｆｔ＿３}、演算された右目の目領域のコントラストＩｗ_{ｒｉｇｈｔ}及び左目の目領域のコントラストＩｗ_ｌｅｆｔ、並びに右目領域のエッジ強度Ｅｗ_{ｒｉｇｈｔ}及び左目領域のエッジ強度Ｅｗ_ｌｅｆｔの少なくとも１つに応じて、カメラ１２によって撮影された画像の右瞼及び左瞼のうちカメラ１２によって画像が撮影された位置に遠いほうの瞼の瞼尤度に対応する大きさが、近いほうの瞼の瞼尤度に対応する大きさより小さくなるように定めた、左右の瞼の各々に対応する重みｗ_{ｒｉｇｈｔ＿７}及びｗ_{ｌｅｆｔ＿７}のうち、右の瞼に対応する重みｗ_{ｒｉｇｈｔ＿７}を右の瞼尤度λ_{ｒ＿ｅｙｅｌｉｄ＿ｍａｘ}に重み付けた値（ｗ_{ｒｉｇｈｔ＿７}・λ_{ｒ＿ｅｙｅｌｉｄ＿ｍａｘ}）、及び左の瞼に対応する重みｗ_{ｌｅｆｔ＿７}を左の瞼尤度λ_{ｌ＿ｅｙｅｌｉｄ＿ｍａｘ}に重み付けた値（ｗ_{ｌｅｆｔ＿７}・λ_{ｌ＿ｅｙｅｌｉｄ＿ｍａｘ}）のうち大きいほうの値を選択するようにしてもよい。

また、本実施の形態においてステップ３２６で演算された精度が高い瞼尤度は、例えば、瞼の形状を推定する際の尤度として用いることができる。また、例えば、このようにして推定された瞼の形状から、精度が高い瞼開度を検出することができる。

また、本実施の形態の瞼尤度演算装置を、演算された瞼尤度に基づいて、瞼モデルを推定し、推定された瞼モデルから、この瞼モデルが表す瞼の瞼開度を検出する瞼開度検出機能を備える構成としてもよい。この場合には、本実施の形態の瞼尤度演算装置は、瞼開度検出装置として用いることが可能である。

本発明の第１の実施の形態に係る瞼尤度演算装置の構成を示す概略図である。 第１の実施の形態に係る顔領域を説明するための図である。 第１の実施の形態に係る瞼モデルを説明するための図である。 第１の実施の形態に係る瞼尤度演算装置が実行する瞼尤度演算処理の処理ルーチンのフローチャートを示す図である。 第１の実施の形態に係る瞼尤度演算装置が実行する比較モデル作成処理の処理ルーチンのフローチャートを示す図である。 第１の実施の形態に係る重みを説明するための図である。 本発明が解決しようとする課題を説明するための図である。 第２の実施の形態に係る瞼尤度演算装置が実行する瞼尤度演算処理の処理ルーチンのフローチャートを示す図である。 第２の実施の形態に係る重みを説明するための図である。 第３の実施の形態に係る瞼尤度演算装置が実行する瞼尤度演算処理の処理ルーチンのフローチャートを示す図である。 第３の実施の形態に係る重みを説明するための図である。 第４の実施の形態に係る瞼尤度演算装置が実行する瞼尤度演算処理の処理ルーチンのフローチャートを示す図である。 第４の実施の形態に係る瞼尤度演算装置が実行する目領域コントラスト演算処理の処理ルーチンのフローチャートを示す図である。 目領域コントラスト演算処理について説明するための図である。 第４の実施の形態に係る重みを説明するための図である。 第５の実施の形態に係る瞼尤度演算装置が実行する瞼尤度演算処理の処理ルーチンのフローチャートを示す図である。 第５の実施の形態に係る瞼尤度演算装置が実行する目領域エッジ強度演算処理の処理ルーチンのフローチャートを示す図である。 目領域エッジ強度演算処理について説明するための図である。 第５の実施の形態に係る重みを説明するための図である。 第６の実施の形態に係る瞼尤度演算装置が実行する瞼尤度演算処理の処理ルーチンのフローチャートを示す図である。 第６の実施の形態に係る重みを説明するための図である。 重み係数の値と、瞼開度誤差平均との関係を示す図である。 第８の実施の形態及び第９の実施の形態に係る瞼尤度演算装置が実行する瞼尤度演算処理の処理ルーチンのフローチャートを示す図である。 第９の実施の形態に係る瞼尤度演算装置が実行する瞼開度決定処理の処理ルーチンのフローチャートを示す図である。 カメラの撮影対象である人物が眼鏡をかけている場合に、この眼鏡のレンズによって光が反射されて、撮影した人物の画像の目領域の部分の画像の輝度が高くなることにより、正確に瞼の瞼尤度が演算できないことを説明するための図である。 第１０の実施の形態に係る瞼尤度演算装置が実行する瞼尤度演算処理の処理ルーチンのフローチャートを示す図である。 第１０の実施の形態に係る瞼尤度演算装置が実行する高輝度画素領域面積比演算処理の処理ルーチンのフローチャートを示す図である。 高輝度画素領域面積比演算処理を説明するための図である。 第１１の実施の形態に係る瞼尤度演算装置が実行する瞼尤度演算処理の処理ルーチンのフローチャートを示す図である。

符号の説明

１０ 瞼尤度演算装置
１２ カメラ
１４ 表示装置
１４ コンピュータ
１４ｃ ＨＤＤ
１４ｄ ＣＰＵ

Claims (7)

1. 顔の画像を含む画像を撮影して画像データを出力する撮影手段と、
   前記画像データに基づいて、前記顔の画像の右目領域のコントラスト及び前記顔の画像の左目領域のコントラスト、または前記顔の画像の右目領域のエッジ強度及び前記顔の画像の左目領域のエッジ強度を演算する第１の演算手段と、
   複数の第１のモデルパラメータによって右の上瞼及び右の下瞼の形状を定めた右瞼モデル、及び複数の第２のモデルパラメータによって左の上瞼及び左の下瞼の形状を定めた左瞼モデルを記憶した記憶手段と、
   前記第１のモデルパラメータの少なくとも１つのモデルパラメータを複数回変更することによって複数の右の比較瞼モデルを作成すると共に、前記第２のモデルパラメータの少なくとも１つのモデルパラメータを複数回変更することによって複数の左の比較瞼モデルを作成する作成手段と、
   前記右の比較瞼モデルによって表される右の上瞼及び右の下瞼の各形状と前記撮影手段によって撮影された画像の右の上瞼及び右の下瞼の各形状とが一致する度合いを示す右の瞼尤度、及び前記左の比較瞼モデルによって表される左の上瞼及び左の下瞼の各形状と該画像の左の上瞼及び左の下瞼の各形状とが一致する度合いを示す左の瞼尤度を演算する第２の演算手段と、
   前記第１の演算手段によって演算された前記右目領域のコントラスト及び前記左目領域のコントラスト、または前記右目領域のエッジ強度及び前記左目領域のエッジ強度に応じて、前記撮影手段によって撮影された画像の右の上瞼及び右の下瞼を含む右瞼及び左の上瞼及び左の下瞼を含む左瞼のうち、コントラストまたはエッジ強度が小さいほうの瞼の瞼尤度に対応する大きさが、コントラストまたはエッジ強度が大きいほうの瞼の瞼尤度に対応する大きさより小さくなるように定めた、左右の瞼の各々に対応する重みのうち右の瞼に対応する重みを、瞼開度が同一である前記右の比較瞼モデル及び前記左の比較瞼モデルの組み合わせにおける右の比較瞼モデルの前記右の瞼尤度に重み付けた値と、前記左右の瞼の各々に対応する重みのうち左の瞼に対応する重みを、左の比較瞼モデルの前記左の瞼尤度に重み付けた値との和を該組み合わせにおける左右の瞼尤度として組み合わせ毎に複数演算する第３の演算手段と、
   前記第３の演算手段によって複数演算された組み合わせ毎の左右の瞼尤度のうち、最も大きい左右の瞼尤度を全体の瞼尤度として演算する第４の演算手段と、
   を含む瞼尤度演算装置。
2. 顔の画像を含む画像を撮影して画像データを出力する撮影手段と、
   前記画像データに基づいて前記顔の顔向き角度を検出する第１の検出手段、前記画像データに基づいて前記顔の右目までの距離及び左目までの距離を検出する第２の検出手段、前記画像データに基づいて前記顔の右耳までの距離及び左耳までの距離を検出する第３の検出手段、前記画像データに基づいて前記右目の目頭から該右目の目じりまでの距離及び前記左目の目頭から該左目の目じりまでの距離を検出する第４の検出手段、前記画像データに基づいて前記顔の画像の右目領域のコントラスト及び前記顔の画像の左目領域のコントラストを演算する第１の演算手段、並びに前記画像データに基づいて前記顔の画像の右目領域のエッジ強度及び前記顔の画像の左目領域のエッジ強度を演算する第２の演算手段の少なくとも１つの手段を備えた処理手段と、
   複数の第１のモデルパラメータによって右の上瞼及び右の下瞼の形状を定めた右瞼モデル、及び複数の第２のモデルパラメータによって左の上瞼及び左の下瞼の形状を定めた左瞼モデルを記憶した記憶手段と、
   前記第１のモデルパラメータの少なくとも１つのモデルパラメータを複数回変更することによって複数の右の比較瞼モデルを作成すると共に、前記第２のモデルパラメータの少なくとも１つのモデルパラメータを複数回変更することによって複数の左の比較瞼モデルを作成する作成手段と、
   前記右の比較瞼モデルによって表される右の上瞼及び右の下瞼の各形状と前記撮影手段によって撮影された画像の右の上瞼及び右の下瞼の各形状とが一致する度合いを示す右の瞼尤度、及び前記左の比較瞼モデルによって表される左の上瞼及び左の下瞼の各形状と該画像の左の上瞼及び左の下瞼の各形状とが一致する度合いを示す左の瞼尤度を演算する第３の演算手段と、
   検出された顔向き角度、前記右目までの距離及び前記左目までの距離、前記右耳までの距離及び前記左耳までの距離、前記右目の目頭から該右目の目じりまでの距離及び前記左目の目頭から該左目の目じりまでの距離、演算された前記右目領域のコントラスト及び前記左目領域のコントラスト、並びに前記右目領域のエッジ強度及び前記左目領域のエッジ強度の少なくとも１つに応じて、前記撮影手段によって撮影された画像の右の上瞼及び右の下瞼を含む右瞼及び左の上瞼及び左の下瞼を含む左瞼のうち前記撮影手段によって前記画像が撮影された位置に遠いほうの瞼の瞼尤度に対応する大きさが、近いほうの瞼の瞼尤度に対応する大きさより小さくなるように定めた、左右の瞼の各々に対応する重みのうち右の瞼に対応する重みを前記第３の演算手段によって演算された最大の前記右の瞼尤度に重み付けた値、及び前記左右の瞼の各々に対応する重みのうち左の瞼に対応する重みを前記第３の演算手段によって演算された最大の前記左の瞼尤度に重み付けた値のうち大きい方の値を選択する選択手段と、
   前記選択手段によって選択された値を、該選択された方の瞼の瞼尤度として演算する第４の演算手段と、
   前記右の瞼に対応する重みを前記最大の前記右の瞼尤度に重み付けた値、及び前記左の瞼に対応する重みを前記最大の前記左の瞼尤度に重み付けた値が共に所定の基準値以上である場合に、該最大の右の瞼尤度の右の比較瞼モデルが表す右瞼の瞼開度及び該最大の左の瞼尤度の左の比較瞼モデルが表す左瞼の瞼開度を検出し、検出された右瞼の瞼開度及び左瞼の瞼開度の比率を演算する第５の演算手段と、
   前記第４の演算手段によって演算された瞼尤度の比較瞼モデルが表す瞼の瞼開度を検出すると共に、該検出された瞼開度及び前記比率に基づいて、瞼開度が検出されていない方の瞼の瞼開度を演算することにより、瞼尤度が低い方の瞼の瞼開度を検出する第５の検出手段と、
   を含む瞼尤度演算装置。
3. 顔の画像を含む画像を撮影して画像データを出力する撮影手段と、
   前記画像データに基づいて前記顔の顔向き角度を検出する第１の検出手段、前記画像データに基づいて前記顔の右目までの距離及び左目までの距離を検出する第２の検出手段、前記画像データに基づいて前記顔の右耳までの距離及び左耳までの距離を検出する第３の検出手段、前記画像データに基づいて前記右目の目頭から該右目の目じりまでの距離及び前記左目の目頭から該左目の目じりまでの距離を検出する第４の検出手段、前記画像データに基づいて前記顔の画像の右目領域のコントラスト及び前記顔の画像の左目領域のコントラストを演算する第１の演算手段、並びに前記画像データに基づいて前記顔の画像の右目領域のエッジ強度及び前記顔の画像の左目領域のエッジ強度を演算する第２の演算手段の少なくとも１つの手段を備えた処理手段と、
   複数の第１のモデルパラメータによって右の上瞼及び右の下瞼の形状を定めた右瞼モデル、及び複数の第２のモデルパラメータによって左の上瞼及び左の下瞼の形状を定めた左瞼モデルを記憶した記憶手段と、
   前記第１のモデルパラメータの少なくとも１つのモデルパラメータを複数回変更することによって複数の右の比較瞼モデルを作成すると共に、前記第２のモデルパラメータの少なくとも１つのモデルパラメータを複数回変更することによって複数の左の比較瞼モデルを作成する作成手段と、
   前記画像データに基づいて、前記顔の画像に含まれる右目の目領域の画像である右目領域画像の画素数に対する所定の輝度以上の画素数の割合である第１の割合、及び前記顔の画像に含まれる左目の目領域の画像である左目領域画像の画素数に対する所定の輝度以上の画素数の割合である第２の割合を演算する第３の演算手段と、
   前記第３の演算手段によって演算された前記第１の割合が所定値以下の場合にのみ前記右の比較瞼モデルによって表される右の上瞼及び右の下瞼の各形状と前記撮影手段によって撮影された画像の右の上瞼及び右の下瞼の各形状とが一致する度合いを示す右の瞼尤度を演算すると共に、前記第３の演算手段によって演算された前記第２の割合が所定値以下の場合にのみ前記左の比較瞼モデルによって表される左の上瞼及び左の下瞼の各形状と該画像の左の上瞼及び左の下瞼の各形状とが一致する度合いを示す左の瞼尤度を演算する第４の演算手段と、
   検出された顔向き角度、前記右目までの距離及び前記左目までの距離、前記右耳までの距離及び前記左耳までの距離、前記右目の目頭から該右目の目じりまでの距離及び前記左目の目頭から該左目の目じりまでの距離、演算された前記右目領域のコントラスト及び前記左目領域のコントラスト、並びに前記右目領域のエッジ強度及び前記左目領域のエッジ強度の少なくとも１つに応じて、前記撮影手段によって撮影された画像の右の上瞼及び右の下瞼を含む右瞼及び左の上瞼及び左の下瞼を含む左瞼のうち前記撮影手段によって前記画像が撮影された位置に遠いほうの瞼の瞼尤度に対応する大きさが、近いほうの瞼の瞼尤度に対応する大きさより小さくなるように定めた、左右の瞼の各々に対応する重みのうち、前記第１の割合が所定値以下でありかつ前記第２の割合が所定値以下である場合には、右の瞼に対応する重みを前記第４の演算手段によって演算された最大の前記右の瞼尤度に重み付けた値、及び前記左右の瞼の各々に対応する重みのうち、左の瞼に対応する重みを前記第４の演算手段によって演算された最大の前記左の瞼尤度に重み付けた値のうち大きいほうの値を選択すると共に、前記第１の割合及び前記第２の割合の一方の割合のみが所定値以下である場合には、前記第４の演算手段によって演算された前記第１の割合または前記第２の割合が所定値以下となる方の瞼の最大の瞼尤度に、該瞼に対応する重みを重み付けた値を選択する選択手段と、
   前記選択手段によって選択された値を、該選択された方の瞼の瞼尤度として演算する第５の演算手段と、
   を含む瞼尤度演算装置。
4. 顔の画像を含む画像を撮影して画像データを出力する撮影手段と、
   前記画像データに基づいて前記顔の顔向き角度を検出する第１の検出手段、前記画像データに基づいて前記顔の右目までの距離及び左目までの距離を検出する第２の検出手段、前記画像データに基づいて前記顔の右耳までの距離及び左耳までの距離を検出する第３の検出手段、前記画像データに基づいて前記右目の目頭から該右目の目じりまでの距離及び前記左目の目頭から該左目の目じりまでの距離を検出する第４の検出手段、前記画像データに基づいて前記顔の画像の右目領域のコントラスト及び前記顔の画像の左目領域のコントラストを演算する第１の演算手段、並びに前記画像データに基づいて前記顔の画像の右目領域のエッジ強度及び前記顔の画像の左目領域のエッジ強度を演算する第２の演算手段の少なくとも１つの手段を備えた処理手段と、
   複数の第１のモデルパラメータによって右の上瞼及び右の下瞼の形状を定めた右瞼モデル、及び複数の第２のモデルパラメータによって左の上瞼及び左の下瞼の形状を定めた左瞼モデルを記憶した記憶手段と、
   前記第１のモデルパラメータの少なくとも１つのモデルパラメータを複数回変更することによって複数の右の比較瞼モデルを作成すると共に、前記第２のモデルパラメータの少なくとも１つのモデルパラメータを複数回変更することによって複数の左の比較瞼モデルを作成する作成手段と、
   前記画像データに基づいて、前記顔の画像に含まれる右目の目領域の画像である右目領域画像の画素数に対する所定の輝度以上の画素数の割合である第１の割合、及び前記顔の画像に含まれる左目の目領域の画像である左目領域画像の画素数に対する所定の輝度以上の画素数の割合である第２の割合を演算する第３の演算手段と、
   前記第３の演算手段によって演算された前記第１の割合が所定値以下の場合にのみ前記右の比較瞼モデルによって表される右の上瞼及び右の下瞼の各形状と前記撮影手段によって撮影された画像の右の上瞼及び右の下瞼の各形状とが一致する度合いを示す右の瞼尤度を演算すると共に、前記第３の演算手段によって演算された前記第２の割合が所定値以下の場合にのみ前記左の比較瞼モデルによって表される左の上瞼及び左の下瞼の各形状と該画像の左の上瞼及び左の下瞼の各形状とが一致する度合いを示す左の瞼尤度を演算する第４の演算手段と、
   検出された顔向き角度、前記右目までの距離及び前記左目までの距離、前記右耳までの距離及び前記左耳までの距離、前記右目の目頭から該右目の目じりまでの距離及び前記左目の目頭から該左目の目じりまでの距離、演算された前記右目領域のコントラスト及び前記左目領域のコントラスト、並びに前記右目領域のエッジ強度及び前記左目領域のエッジ強度の少なくとも１つに応じて、前記撮影手段によって撮影された画像の右の上瞼及び右の下瞼を含む右瞼及び左の上瞼及び左の下瞼を含む左瞼のうち前記撮影手段によって前記画像が撮影された位置に遠いほうの瞼の瞼尤度に対応する大きさが、近いほうの瞼の瞼尤度に対応する大きさより小さくなるように定めた、左右の瞼の各々に対応する重みのうち、前記第１の割合が所定値以下でありかつ前記第２の割合が所定値以下である場合には、右の瞼に対応する重みを前記第４の演算手段によって演算された最大の前記右の瞼尤度に重み付けた値、及び前記左右の瞼の各々に対応する重みのうち、左の瞼に対応する重みを前記第４の演算手段によって演算された最大の前記左の瞼尤度に重み付けた値のうち大きいほうの値を選択すると共に、前記第１の割合及び前記第２の割合の一方の割合のみが所定値以下である場合には、前記第４の演算手段によって演算された前記第１の割合または前記第２の割合が所定値以下となる方の瞼の最大の瞼尤度に、該瞼に対応する重みを重み付けた値を選択する選択手段と、
   前記選択手段によって選択された値を、該選択された方の瞼の瞼尤度として演算する第５の演算手段と、
   を含む瞼尤度演算装置。
5. コンピュータを、請求項１記載の瞼尤度演算装置における前記第１の演算手段、前記作成手段、前記第２の演算手段、前記第３の演算手段、及び前記第４の演算手段として機能させるためのプログラム。
6. コンピュータを、請求項２記載の瞼尤度演算装置における前記処理手段、前記作成手段、前記第３の演算手段、前記選択手段、前記第４の演算手段、前記第５の演算手段、及び前記第５の検出手段として機能させるためのプログラム。
7. コンピュータを、請求項３または請求項４記載の瞼尤度演算装置における前記処理手段、前記作成手段、前記第３の演算手段、前記第４の演算手段、前記選択手段、及び前記第５の演算手段として機能させるためのプログラム。