JP4692006B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本発明は、撮像画像から顔の各部位の変化を検出する画像処理装置及び画像処理方法に関する。

画像処理には、カメラで顔を撮像し、その撮像画像から顔の向きや並進運動などを推定するものがある。このように顔の運動を推定する手法としては、例えば、目、口の各端部などの顔において複数の特徴点を設定し、撮像画像においてそれらの特徴点を追跡していくことにより顔の運動を推定している。このように特徴点を用いて顔の運動を推定する場合、笑った場合や怒った場合などの顔の表情が変わったときには、目や口などの特徴点の位置が顔の運動だけでなく表情でも変化してしまう。そのため、顔の表情を考慮しないで顔の運動を推定した場合、その推定精度が低下してしまう。

また、画像処理には、表情の変化を認識するために、撮像画像から顔の各部位の変形を検出するものがある。顔の変形を検出する手法としては、顔上の比較的目立つ点を検出・追跡し、それらの点の時系列的な二次元的あるいは三次元的な動きに基づいて検出を行っている。また、眉に対する目の相対的な位置変化により、目の開閉度の検出を行うものもある（特許文献１参照）。
特開平９−４４６８５号公報

従来の各部位の変形の検出では、もともと顔上には目立つ点が少ないことから、特徴点となりうる点の数が少ない。そのため、この少ない点の動きから各部位の変形が生じたことを検出しても、高い検出精度を望めない。そこで、特徴点の数を増やすためにあまり目立たない点までも特徴点とした場合、それらの点の検出・追跡を失敗する可能性が高く、結局、検出精度が低下してしまう。また、目の開閉度を検出するものについても、表情の変化によって眉の形や位置も変化する場合があり、そのような場合には高い精度を望めない。

そこで、本発明は、高精度に顔の各部位における変化を検出する画像処理装置及び画像処理方法を提供することを課題とする。

本発明に係る画像処理装置は、顔を撮像する撮像手段と、撮像手段で撮像した撮像画像から顔の特徴点を検出する特徴点検出手段と、特徴点検出手段で検出した特徴点を用いて顔の部位全体を含む存在領域を設定する存在領域設定手段と、存在領域設定手段で設定した存在領域内の輝度の統計値として輝度の分散値、標準偏差値及び平均値の少なくとも１つを検出する画像特徴検出手段と、画像特徴検出手段で検出した存在領域内の輝度の統計値と該統計値に応じた閾値とを比較し、比較結果に基づいて顔の部位の開閉状態を判断する判断手段とを備えることを特徴とする。

この画像処理装置では、撮像手段により顔を撮像し、特徴点検出手段により各撮像画像から顔の特徴点を検出する。そして、画像処理装置では、画像特徴検出手段により特徴点周辺の画像特徴を検出する。口が開閉したときなど顔の各部位が変化（変形）した場合、その各部位を含む領域では輝度や色情報などが変化前と変化後で明らかに差がある。そこで、画像処理装置では、判断手段により検出した特徴点周辺の画像特徴から特徴点周辺の状態を判断する。このように、画像処理装置では、顔上の各部位を含む領域の画像特徴から各部位の変化を検出するので、各部位の変化を高精度に検出することができ、特徴点の数が少なくても検出可能である。そのため、この検出結果を利用して顔運動の推定や顔認識などの上位の処理を行った場合、顔における局所的な変化を排除して処理を行うことできるので、その処理精度を向上させることができる。

なお、画像特徴は、例えば、輝度、彩度、色（ＲＧＢ）などについての情報である。特徴点は、顔の中でそれ自体が変化する部位中の検出が容易な点であり、例えば、目、口、眉毛などの各端部である。特徴点周辺の状態は、例えば、特徴点周辺が目や口の場合には開閉であり、特徴点周辺が眉毛の場合には位置や形状の変化である。

本発明に係る画像処理方法は、顔を撮像する撮像ステップと、撮像ステップで撮像した撮像画像から顔の特徴点を検出する特徴点検出ステップと、特徴点検出ステップで検出した特徴点を用いて顔の部位全体を含む存在領域を設定する存在領域設定ステップと、存在領域設定ステップで設定した存在領域内の輝度の統計値として輝度の分散値、標準偏差値及び平均値の少なくとも１つを検出する画像特徴検出ステップと、画像特徴検出ステップで検出した存在領域内の輝度の統計値と該統計値に応じた閾値とを比較し、比較結果に基づいて顔の部位の開閉状態を判断する判断ステップとを含むことを特徴とする。なお、この画像処理方法は、上記の各画像処理装置と同様の作用効果を有している。

本発明によれば、顔の各部位における変化を高精度に検出することができる。

以下、図面を参照して、本発明に係る画像処理装置及び画像処理方法の実施の形態を説明する。

本実施の形態では、本発明を、対象物体を人物の顔とし、顔の運動（回転運動や並進運動）を推定する画像処理装置に適用する。本実施の形態に係る画像処理装置は、目や口の両端部などを特徴点とし、その特徴点の位置の変化から顔の運動を推定する。特に、本実施の形態に係る画像処理装置では、特徴点の中で変形の起こる部位である目及び口における変形を検出する。

図１〜図８を参照して、画像処理装置１について説明する。図１は、本実施の形態に係る画像処理装置の構成図である。図２は、図１のカメラの撮像画像の一例である。図３は、撮像画像から抽出した顔候補領域を示す画像の一例である。図４は、顔候補領域内に設定した各特徴点の候補領域を示す画像の一例である。図５は、各候補領域から検出した各特徴点を示す画像の一例である。図６は、前フレームの各特徴点の位置から予測した現フレームにおける各特徴点の予測領域を示す画像の一例である。図７は、各予測領域から追跡した各特徴点を示す画像の一例である。図８は、口領域の輝度のヒストグラムであり、（ａ）が口が開いている場合であり、（ｂ）が口を閉じている場合である。

画像処理装置１は、顔の運動を高精度に推定するために、特徴点である目や口が変形しているときにはその部位の特徴点を使用しないで顔の運動を推定する。そのために、画像処理装置１では、撮像画像から目の領域及び口の領域を検出し、その各領域の輝度特徴から目や口の変形を検出する。画像処理装置１は、カメラ２及び画像ＥＣＵ[Electronic Control Unit]３を備えており、画像ＥＣＵ３内に特徴点検出・追跡部１０、特徴点周辺輝度特徴計測部１１、顔部位変形検出部１２、顔運動推定部１３が構成される。

なお、本実施の形態では、カメラ２が特許請求の範囲に記載する撮像手段に相当し、特徴点検出・追跡部１０が特許請求の範囲に記載する特徴点検出手段に相当し、特徴点周辺輝度特徴計測部１１が特許請求の範囲に記載する画像特徴検出手段に相当し、顔部位変形検出部１２が特許請求の範囲に記載する判断手段に相当する。

画像処理装置１における顔の運動の推定結果の出力は、その顔の運動を示す画像をモニタに表示したりあるいは顔の運動状態を音声出力するなどしてもよい。また、このような画像処理装置１を車両に搭載した場合、運転者の顔の運動を推定し、その推定結果を信号として走行制御装置や警報装置などに提供するようにしてもよい。例えば、前車との車間距離などに応じて自動的にブレーキを作動させる装置の場合、運転者の顔の運動の推定結果から前方から視線を外していると推測できるときには通常よりもブレーキを早く作動させるなどの制御を行う。また、警報装置の場合、運転者がよそ見していると推測できるときには警報を出力するなどしてもよい。あるいは、車両以外にも人とコミュニケーションをとるロボットなどに組み込まれる構成としてもよい。

カメラ２は、ＣＣＤ［Charge coupled device］などの撮像素子を備えるデジタルカメラであり、デジタル画像データからなる撮像画像を画像信号として画像ＥＣＵ３に送信する。この際、カメラ２では、撮像対象を時間的に連続して撮像し、時間的に連続した画像（動画像）データを出力する。画像ＥＣＵ３では少なくとも輝度情報が有れば処理を行うことができるので、カメラ２はカラーカメラでもあるいは白黒カメラでもよい。ちなみに、画像処理装置１が車両に搭載される場合、カメラ２は、車室内において、運転席に座っている運転者の顔を真正面から撮像できる位置に配置される。

画像ＥＣＵ３は、画像処理用のＥＣＵであり、ＣＰＵ[Central Processing Unit]、ＲＯＭ[Read OnlyMemory]、ＲＡＭ[Random Access Memory]などからなる。画像ＥＣＵ３では、画像処理装置１が起動されると、ＲＯＭに記憶されている専用のアプリケーションプログラムをＲＡＭにロードし、ＣＰＵによってそのプログラムに記述された各処理を実行することによって各処理部１０〜１３が構成される。画像ＥＣＵ３は、正面顔画像から作成した顔領域の参照画像、各特徴点の参照画像を予め保持している。画像ＥＣＵ３では、処理開始後、カメラ２から撮像画像を連続的に（例えば、１／３０秒毎）取り入れ、最初に顔を検出したフレームの撮像画像においては各特徴点を検出し、それ以降のフレームの撮像画像においては各特徴点を追跡する。そして、画像ＥＣＵ３では、検出や追跡した特徴点の位置から目や口の各領域を推定し、目領域や口領域の輝度特徴を求める。さらに、画像ＥＣＵ３では、その各輝度特徴から目や口の変形状態を検出し、その目や口の状態と参照画像を作成した際の正面顔画像における目や口の状態と異なっている場合にはその特徴点を顔の運動推定に使用しない。

顔の特徴点としては、例えば、両目の各目尻、各目頭、鼻の左右の孔、口の左右端などの肌との境界となる箇所であり、輝度や色などの画像情報に明らかな差がある箇所とする。この各特徴点の中で、会話、表情などによって変形が起こる部位である目と口に関する特徴点についてのみ変形状態を検出する。なお、図４〜図７では各特徴点に関する画像の一例として目と口に関する各特徴点のみ（変形状態を検出する部位の各特徴点のみ）を示しているが、実際には顔の運動を推定するために目や口以外の特徴点も存在する場合もある。

顔領域の参照画像及び各特徴点の参照画像は予め作成され、画像ＥＣＵ３に保持される。参照画像の作成方法としては、まず、正面を向いた人の顔の画像を用意する。このときの顔の状態は、口を閉じ、目を開いた通常時の顔の状態である。この用意する顔画像は、顔運動の推定対象の人の顔の画像でもよいが、平均的な顔の画像とする。顔領域の参照画像については、正面顔画像から顔全体を含む矩形領域を切り出すことによって作成される。各特徴点の参照画像については、正面顔画像から各特徴点を中心とする矩形領域をそれぞれ切り出すことによって作成される。

画像ＥＣＵ３では、カメラ２から撮像画像ＰＰを取り入れられる毎に（図２参照）、その撮像画像ＰＰをＲＡＭの所定領域に保持するとともに輝度画像に変換する。ちなみに、カメラ２が白黒カメラの場合にはこの輝度画像への変換は行わない。

特徴点検出・追跡部１０では、撮像画像ＰＰから各特徴点（顔領域）を検出できるまで各フレームの撮像画像ＰＰに対しては特徴点の検出処理を行う。具体的には、特徴点検出・追跡部１０では、顔領域の参照画像を用いて、テンプレートマッチングによって撮像画像（輝度画像）ＰＰから顔候補領域ＦＡを抽出する（図３参照）。そして、特徴点検出・追跡部１０では、顔候補領域ＦＡにおいて、各特徴点が存在する可能性のある候補領域ＣＡ１〜ＣＡ６を設定する（図４参照）。候補領域の設定方法としては、例えば、顔領域の参照画像及び特徴点の参照画像を作成する際に用いた正面顔画像における各特徴点の相対的な位置関係から想定可能な最大範囲で領域を設定する。さらに、特徴点検出・追跡部１０では、各特徴点の参照画像を用いて、テンプレートマッチングによって各候補領域ＣＡ１〜ＣＡ６から特徴点ＣＰ１〜ＣＰ６を探索する（図５参照）。

顔領域や特徴点の探索方法としては、顔領域の参照画像または各特徴点の参照画像毎に、撮像画像の輝度画像または各候補領域の輝度画像から各参照画像と対応する大きさの領域を順次切り出し、その切り出した領域の輝度画像と各参照画像との類似度を式（１）により順次算出し、類似度が最も大きくなる位置（すなわち、式（１）のｃｏｒｒの値が最も小さくなる（ｘ，ｙ））を探索する。なお、顔領域の探索において、類似度が最も大きくなる位置でも式（１）のｃｏｒｒの値が閾値以下とならない場合、撮像画像中に顔が存在しないと判断し、以降の処理を停止し、次のフレームの撮像画像に対する処理に移行する。

式（１）において、Ｉ（ｕ，ｖ）は撮像画像の輝度画像または各候補領域の輝度画像上の位置（ｕ，ｖ）での輝度値であり、Ｔ（ｕ，ｖ）は参照画像上の位置（ｕ，ｖ）での輝度値であり、Ｕがｕの定義域（参照画像の水平方向幅）であり、Ｖがｖの定義域（参照画像の垂直方向幅）であり、ｘは撮像画像の輝度画像または各候補領域の輝度画像から領域を切り出す際の水平方向の基準位置であり、ｙは撮像画像の輝度画像または各候補領域の輝度画像から領域を切り出す際の垂直方向の基準位置である。

特徴点検出・追跡部１０では、各特徴点（顔領域）を検出できた以降の各フレームの撮像画像ＰＰに対しては特徴点の追跡処理を行う。具体的には、特徴点検出・追跡部１０では、前フレームで検出または追跡した各特徴点の位置に基づいて、現フレームの撮像画像（輝度画像）ＰＰにおいて各特徴点が存在する可能性のある予測領域ＰＡ１〜ＰＡ６を算出する（図６参照）。そして、特徴点検出・追跡部１０では、各特徴点の参照画像を用いて、テンプレートマッチングによって各予測領域ＰＡ１〜ＰＡ６から特徴点ＣＰ１’〜ＣＰ６’を探索する（図７参照）。

予測領域の算出方法としては、フレーム間での顔の動きは小さいと考えられるので、各特徴点を中心にして前フレームから現フレームへのフレーム間で動き得る最大領域分を加算した画素を予測領域とする。つまり、（前フレームでの各特徴点の位置±フレーム間画像上での最大移動量）を算出し、予測領域とする。例えば、前フレームのある特徴点の位置を（ｘ０，ｙ０）とした場合、フレーム間で水平、垂直方向に最大で（ｓ，ｔ）だけ動く可能性があるとすると、この特徴点の予測領域は、水平方向がｘ０−ｓ〜ｘ０＋ｓの範囲であり、垂直方向がｙ０−ｔ〜ｙ０＋ｔの範囲である。特徴点の探索方法は上記と同様の方法であるが、特徴点の追跡において、類似度が最も大きくなる位置でも式（１）のｃｏｒｒの値が閾値以下とならない場合、撮像画像中に追跡中の特徴点（ひいては、顔）が存在しないと判断し、以降の処理を停止し、次のフレームの撮像画像に対しては特徴点（顔）の検出処理に戻る。

特徴点周辺輝度特徴計測部１１では、各特徴点を検出または追跡できた場合、各特徴点のうち目と口に関する特徴点の位置を用いて、右目全体、左目全体、口全体を含む各領域を部位存在領域として設定する。この部位存在領域の設定については、水平方向については特徴点の位置に基づいて設定し、垂直方向については目や口が開閉した場合を考慮して開いている状態でも、閉じている状態でも十分に含む範囲を設定する。そして、特徴点周辺輝度特徴計測部１１では、各部位存在領域の輝度画像における各画素の輝度値を用いて、各部位存在領域の輝度特徴を求める。輝度特徴としては、例えば、輝度分布を示す画素値のヒストグラム、輝度値の平均、標準偏差や分散である。

図８には、口の部位存在領域の輝度特徴の一例として輝度値のヒストグラムを示しており、（ａ）図が口を開いた場合であり、（ｂ）図が口を閉じた場合である。口を開いた場合、口の中の暗い部分が現れるので、ヒストグラムには口を閉じた場合より輝度値の小さいところに多く分布している。したがって、輝度値の平均は口を開いた場合も方が小さくなる。また、ヒストグラムから判るように、口を開いた場合の方が輝度値の分布範囲が広いので、輝度値の分散や標準偏差は口を開いた場合の方が大きくなる。目についても、目を閉じた場合には殆ど肌色となるので、目を閉じた場合と開いた場合とではこれらの輝度特徴に差がでる。例えば、目を閉じた場合、肌色の情報が大部分を占めるので、輝度値の分散や標準偏差は目を開いた場合より小さくなり、ヒストグラムにおける輝度値の分布範囲も狭くなる。このように、各輝度特徴を用いることにより各部位の状態を検出でき、幾つかの輝度特徴を組み合せることによりその検出精度が上がる。

顔部位変形検出部１２では、左目、右目、口について、各部位存在領域の輝度特徴に基づいて状態を検出する。そして、顔部位変形検出部１２では、左目、右目、口について、検出した状態が参照画像を作成した際の正面顔画像における左目、右目、口の状態（閉じた状態）から変形しているか否かを判断する。顔部位変形検出部１２では、変形している部位がある場合、その部位に関する特徴点を特定し、その情報を顔運動推定部１３に提供する。

各部位の状態の検出方法としては、１つのフレーム毎に検出する方法と時間的に連続するフレーム間で検出する方法がある。１つのフレーム毎に検出する方法としては、ヒストグラムの分布状態から検出する方法、平均と閾値とを比較することによって検出する方法、分散または標準偏差と閾値とを比較することによって検出する方法があり、このうちの一つの方法で検出してもよいし、２つの以上の方法を組み合せて検出してもよい。口の場合、例えば、口が閉じているときのヒストグラムを予め保持しておき、そのヒストグラムとの類似度などを求めることによって口の開閉状態を検出したり、Ａという閾値を設定し、平均がＡより大きい場合には閉じていると判定し、Ａ以下の場合には開いていると判定したり、Ｂという閾値を設定し、標準偏差がＢより大きい場合には開いていると判定し、Ｂ以下の場合には閉じていると判定する。連続するフレーム間で検出する方法としては、ヒストグラム、平均、標準偏差（分散）のうちの１つまたは複数の時間的な変化を検出することによって、各部位が変形したか否かを検出する。この場合、例えば、あるフレームで変化が起きたか否かを、それ以前のフレームでの平均や標準偏差の値に比べて予め設定した割合よりも小さくなったかあるいは大きくなったかという現象を捉えることで判断でき、また、ヒストグラムの分布状態の変化から判断できる。

顔運動推定部１３では、顔部位変形検出部１２において全ての部位に変形がないと判断している場合、特徴点検出・追跡部１０で検出または追跡した全ての特徴点を用いて、その特徴点の位置の時間変化から顔の運動（回転運動と並進運動）を算出する。また、顔運動推定部１３では、顔部位変形検出部１２においてある部位の変形があると判断している場合、特徴点検出・追跡部１０で検出または追跡した全ての特徴点の中からその変形した部位に関する特徴点を除いた特徴点を用いて、その特徴点の位置の時間変化から顔の運動を算出する。

図１を参照して、画像処理装置１の動作について説明する。特に、画像ＥＣＵ３における特徴点検出処理については図９のフローチャートに沿って説明し、特徴点追跡処理については図１０のフローチャートに沿って説明する。図９は、図１の画像ＥＣＵにおける特徴点検出処理の流れを示すフローチャートである。図１０は、図１の画像ＥＣＵにおける特徴点追跡処理の流れを示すフローチャートである。

カメラ２では、時間的に連続して撮像し、その撮像画像のデータを画像ＥＣＵ３に順次送信する。画像ＥＣＵ３では、その撮像画像を順次取り入れ、撮像画像をＲＡＭに保持するとともに輝度画像に変換する（図９のＳ１０，図１０のＳ２０）。

未だ顔候補領域を抽出していない場合、画像ＥＣＵ３では、撮像画像において顔領域用の参照画像と類似する位置を探索し、顔候補領域を抽出する（Ｓ１１）。顔候補領域を抽出できなかった場合、画像ＥＣＵ３では、以降の処理を停止し、次のフレームの撮像画像に対する処理に移る。一方、顔候補領域を抽出できた場合、画像ＥＣＵ３では、顔候補領域内で、各特徴点の存在する可能性のある候補領域をそれぞれ設定する（Ｓ１２）。さらに、画像ＥＣＵ３では、各特徴点用の候補領域内で各特徴点の参照画像と類似する位置を探索し、各特徴点を検出する（Ｓ１３）。

既に顔候補領域を抽出している場合、画像ＥＣＵ３では、前フレームの撮像画像で検出または追跡した各特徴点の位置から現フレームの撮像画像で各特徴点が存在する可能性のある予測領域を算出する（Ｓ２１）。そして、画像ＥＣＵ３では、各特徴点用の予測領域内で各特徴点の参照画像と類似する位置を探索し、各特徴点を追跡する（Ｓ２２）。特徴点を追跡できなかった場合、画像ＥＣＵ３では、以降の処理を停止し、再度、次のフレームの撮像画像に対する顔候補領域の抽出処理に移る。

特徴点を検出または追跡できた場合、画像ＥＣＵ３では、全ての特徴点のうちの目と口に対する特徴点を用いて、各目全体、口全体を含む各部位存在領域を設定する。そして、画像ＥＣＵ３では、各部位存在領域の輝度画像から、各部位存在領域についての輝度特徴を求める。さらに、画像ＥＣＵ３では、各部位存在領域の輝度特徴に基づいて各目と口の状態を検出し、現フレームにおける各目、口の状態が参照画像のときの状態から変形しているか否かを判断する。

両目及び口が変形していないと判断した場合、画像ＥＣＵ３では、検出または追跡した全ての特徴点を用いて、その各特徴点の位置の時間変化から顔の運動を推定する。一方、両目及び口のうちある部位が変形していると判断した場合、画像ＥＣＵ３では、検出または追跡した全ての特徴点の中から変形した部位に関する特徴点を除いた特徴点を用いて、その各特徴点の位置の時間変化から顔の運動を推定する。

この画像処理装置１によれば、目や口を含む領域の輝度特徴から各部位の変形を検出するので、各部位が変形しているか否かを高精度に検出することができる。そのため、この検出結果を利用して顔運動の推定を行った場合、顔における局所的な変化を排除して処理を行うことできるので、その推定精度を向上させることができる。

以上、本発明に係る実施の形態について説明したが、本発明は上記実施の形態に限定されることなく様々な形態で実施される。

例えば、本実施の形態では顔の各部位の変化を顔の運動の推定に利用する構成としたが、顔の認識や顔の表情検出などの他の処理に利用する構成としてもよい。

また、本実施の形態では画像ＥＣＵでアプリケーションプログラム（ソフトウエア）を実行することによって各処理部を構成したが、パーソナルコンピュータなどのコンピュータ上に各処理部を構成してもよいし、あるいは、ハードウエアによって各処理部を構成してもよい。

また、本実施の形態では輝度情報を用いて特徴点検出や各部位の変形判断などを行う構成としたが、彩度、ＲＧＢの色情報などの他の画像情報を用いて行ってもよい。

また、本実施の形態では顔の目、口についての変形を検出する構成としたが、眉毛などの他の部位の変形を検出する構成としてもよい。

本実施の形態に係る画像処理装置の構成図である。 図１のカメラの撮像画像の一例である。 撮像画像から抽出した顔候補領域を示す画像の一例である。 顔候補領域内に設定した各特徴点の候補領域を示す画像の一例である。 各候補領域から検出した各特徴点を示す画像の一例である。 前フレームの各特徴点の位置から予測した現フレームにおける各特徴点の予測領域を示す画像の一例である。 各予測領域から追跡した各特徴点を示す画像の一例である。 口領域の輝度のヒストグラムであり、（ａ）が口が開いている場合であり、（ｂ）が口を閉じている場合である。 図１の画像ＥＣＵにおける特徴点検出処理の流れを示すフローチャートである。 図１の画像ＥＣＵにおける特徴点追跡処理の流れを示すフローチャートである。

符号の説明

１…画像処理装置、２…カメラ、３…画像ＥＣＵ、１０…特徴点検出・追跡部、１１…特徴点周辺輝度特徴計測部、１２…顔部位変形検出部、１３…顔運動推定部

Claims (2)

1. 顔を撮像する撮像手段と、
   前記撮像手段で撮像した撮像画像から顔の特徴点を検出する特徴点検出手段と、
   前記特徴点検出手段で検出した特徴点を用いて顔の部位全体を含む存在領域を設定する存在領域設定手段と、
   前記存在領域設定手段で設定した存在領域内の輝度の統計値として輝度の分散値、標準偏差値及び平均値の少なくとも１つを検出する画像特徴検出手段と、
   前記画像特徴検出手段で検出した存在領域内の輝度の統計値と該統計値に応じた閾値とを比較し、比較結果に基づいて顔の部位の開閉状態を判断する判断手段と
   を備えることを特徴とする画像処理装置。
2. 顔を撮像する撮像ステップと、
   前記撮像ステップで撮像した撮像画像から顔の特徴点を検出する特徴点検出ステップと、
   前記特徴点検出ステップで検出した特徴点を用いて顔の部位全体を含む存在領域を設定する存在領域設定ステップと、
   前記存在領域設定ステップで設定した存在領域内の輝度の統計値として輝度の分散値、標準偏差値及び平均値の少なくとも１つを検出する画像特徴検出ステップと、
   前記画像特徴検出ステップで検出した存在領域内の輝度の統計値と該統計値に応じた閾値とを比較し、比較結果に基づいて顔の部位の開閉状態を判断する判断ステップと
   を含むことを特徴とする画像処理方法。

Images