JP4898532B2 - 画像処理装置および撮影システム並びに瞬き状態検出方法、瞬き状態検出プログラムおよびそのプログラムが記録された記録媒体 - Google Patents

Description

本発明は、時系列なフレーム画像を使って目の瞬き状態を検出する方法と、その方法の実施に用いられる画像処理装置、撮影システム、プログラムおよびそのプログラムが記録された記録媒体に関する。

人間の目は瞬きをするため、目が開いた状態の人物写真を撮ることは、簡単なようで意外と難しい。特に、集合写真など大人数の撮影では、全員の目が開いている瞬間を見極めてシャッタレリーズボタンを押したつもりでも、撮れた写真を見たら誰かしらが目を瞑っていたということが少なくない。

この問題の解決策としては、いくつかの方法が提案されている。例えば、特許文献１は、同文献の図１６に示されるように、目を瞑ってしまっている画像に対し、目が開いている画像から切り出した目の画像を合成することで、目が開いた状態の画像を生成する方法を提案している。特許文献２は、瞳部分の大きさを監視し、瞳部分が小さい状態の画像がメモリに記録されてしまったときに、その旨を撮影者に知らせることを提案している。特許文献３は、シャッタレリーズボタンを押したときに自動的に複数の画像を取得し、目を瞑っている人物が最も少ない画像を記録することを提案している。また、特許文献４は、撮影した画像を記録するときに、全員の目が開いている画像と誰かが目を瞑ってしまっている画像とを区別して記録することを提案している。
特開２００１−０６７４５９号公報 特開２００３−３３８９５２号公報 特開２００５−０３９３６５号公報 特開２００６−１６３４９６号公報

上記各特許文献には、瞳の半径の変化量、瞳の面積、瞳の縦方向の画素数などを所定の閾値と比較することにより、瞬き状態（目を閉じた状態）を判定する方法が示されている。しかし、瞳本来の大きさや、目を開いた状態での上瞼と下瞼の間隔には、個人差がある。このため、固定された閾値との比較では、目が細い人物が少し目を細めただけで瞬き状態と判定されてしまうなど、瞬き状態を正しく検出できないことがある。本発明の第１の目的は、このような個人差による検出精度のばらつきをなくし、常に高い精度で瞬き状態を検出できるようにすることにある。

また、写真撮影では、撮影範囲に大勢の人物がいるものの、実際に撮影したいのは一人だけという場合がある。例えば、人混みの中に立つ特定の人物をスナップ撮影するような場合である。このような状況では、その特定の人物の瞬き状態さえ避けられればよく、人混みを構成する他の人物の状態は問題とならない。しかし、特許文献１〜４が提案する手法では、瞬き状態検出の対象を特定の人物に限定することができない。本発明の第２の目的は、この問題を解決することにある。

本発明は、瞬き状態の検出に用いられる画像処理装置として、以下に説明する目状態識別手段、閾値設定手段および瞬き状態検出手段を備えた装置を提供する。

目状態識別手段は、フレーム画像を対象とする目領域の探索により検出された目領域ごとに、その目領域を構成する画素データに基づき目の開閉状態を示す所定の特徴量の値を算出する。

閾値設定手段は、瞬き状態検出の対象となる目が開状態のときの特徴量の値に基づいて、開状態から閉状態への遷移点における特徴量の値を示す第１閾値および閉状態から開状態への遷移点における特徴量の値を示す第２閾値を算出し、算出した第１閾値および第２閾値をメモリに記憶せしめる。

瞬き状態検出の対象となる目が開状態のときの特徴量の値は、例えば、目状態識別手段が、瞬き状態検出の対象となる目を含む所定数のフレーム画像について算出した複数の値の中から最大値または最小値を抽出し、抽出した値を瞬き状態検出の対象となる目が開状態のときの前記特徴量の値とすればよい。算出する特徴量が、目が大きく開いているほど値が大きくなる特徴量であれば最大値を、目が大きく開いているほど値が小さくなる特徴量であれば最小値を抽出すればよい。

瞬き状態検出手段は、時系列なフレーム画像について目状態識別手段が順次算出する特徴量の値を、閾値設定手段がメモリに記憶せしめた第１閾値または第２閾値と順次比較することにより、目領域が表す目の瞬き状態を検出する。

本発明の画像処理装置は、開状態から閉状態への遷移点を越えたこと、さらに閉状態から開状態への遷移点を越えたことを検出することで、目を閉じた状態ではなく、目を瞬時に閉じて開く動作、すなわち「瞬き」を高い精度で検出することができる。状態判定の閾値は、検出の対象となる目が開状態のときの特徴量の値に基づいて算出されるため、どのような大きさ、形状の目であっても、高い精度で瞬き状態を検出することができる。

上記画像処理装置には、さらに、フレーム画像を対象とする顔領域の探索により検出された顔領域の中から一の顔領域を選択する代表顔選択手段を設けることが好ましい。代表顔選択手段は、例えば、顔領域の位置、大きさ、確度および輝度の中の少なくとも１つを選択基準として顔領域の選択を行うものとする。

代表顔選択手段を備えた構成では、閾値設定手段は、代表顔選択手段により選択された顔領域に含まれる目のみを瞬き状態検出の対象として、閾値の算出を行う。これにより、主要な顔について確実に瞬きを検出できるようにしつつ、全体の演算量を減らすことができる。

瞬き状態の検出は、表情が固定されているときのみ行うようにしてもよい。そのための構成としては、上記画像処理装置に、口、耳、眉、鼻の孔など目以外の顔器官の状態（形状、色）を識別する顔器官状態識別手段と、その顔器官の状態変化を検出する状態変化検出手段とを設け、顔器官の状態変化が検出されている間は瞬き状態の検出を行わないようにする構成が考えられる。

顔器官状態識別手段は、フレーム画像から目以外の顔器官を表す領域を探索し、検出された領域を構成する画素データに基づいて顔器官の状態を識別すればよい。また、状態変化検出手段は、時系列なフレーム画像について顔器官状態識別手段が順次識別した顔器官の状態から、状態変化を検出すればよい。例えば、顔器官状態識別手段が、顔器官の複数の特徴点の位置を算出し、状態変化検出手段が、時系列なフレーム画像における各特徴点の位置の変化を検出することで、顔器官の状態変化を検出することができる。

瞬き状態の検出は、主として瞬き状態の目を含む画像の取得（記録）を避けるために行うものであるが、表情が変化したときの画像は、瞬きを行っているか否かに拘らず取得に値することが多い。顔器官の状態変化が検出されている間、瞬き状態の検出処理を行わないようにすれば、表情が変化している間は瞬きの有無に拘らず画像を取得することができる。

なお、瞬き状態検出手段は、目領域が検出されたときのみ動作する手段とすることが好ましい。また、目状態識別手段は、フレーム画像を対象とする顔領域の探索により検出された顔領域に基づいて推定された探索範囲においてのみ、目領域の探索を行うようにするのがよい。不要な動作を行わせず、また必要最小限の範囲においてのみ探索を行うことで、演算量を少なくし、装置の消費電力を抑えることができる。

上記画像処理装置には、さらに、フレーム画像に、瞬き状態検出手段の検出結果を示すマーク画像を合成するマーキング手段と、マーキング手段により生成された合成画像を所定の表示装置に出力する表示制御手段とを設けてもよい。マーキング手段と表示制御手段を備えた構成では、表示装置に表示されるマーク画像をみながら画像を取得（記録）するタイミングを見計らうことができる。

前述した代表顔選択手段を備えるときは、マーキング手段を、代表顔選択手段により選択された顔領域に含まれる目の瞬き状態が検出されたときと、代表顔選択手段により選択された顔領域以外の顔領域に含まれる目の瞬き状態が検出されたときとで、異なるマーク画像を合成する手段としてもよい。代表顔とそれ以外の顔とで表示を異ならせることで、代表顔について瞬き状態が検出されたことを、表示を見る者に強く印象付けることができる。

上記画像処理装置は、フレーム画像を所定の記録媒体に記録するタイミングを瞬き状態検出手段が出力する検出結果に基づいて決定し、決定したタイミングでフレーム画像を所定の記録媒体に記録する記録制御手段を備えることが好ましい。代表顔選択手段を備えるときは、記録制御手段は、代表顔選択手段により選択された顔領域に含まれる目の瞬き状態が検出されなくなったときを、フレーム画像を記録するタイミングに決定するとよい。記録制御手段を備えた構成では、特別な操作を要することなく自動的に、瞬き状態の目を含まない画像を取得することができる。

また、本発明は、上記画像処理装置と、被写体を表すフレーム画像を生成し、そのフレーム画像を画像処理装置に供給する撮像装置とを備えた撮影システムを提供する。一例としては、画像処理デバイスと撮像デバイスとを備えたデジタルカメラがあげられる。また、画像処理機能を備えたコンピュータにビデオカメラを接続したシステムも考えられる。

また、本発明は、目の瞬き状態を検出する方法として、フレーム画像を対象とする目領域の探索により検出された目領域ごとに、その目領域を構成する画素データに基づき目の開閉状態を示す所定の特徴量の値を算出する目状態識別処理と、瞬き状態検出の対象となる目が開状態のときの特徴量の値に基づいて、開状態から閉状態への遷移点における特徴量の値を示す第１閾値および閉状態から開状態への遷移点における前記特徴量の値を示す第２閾値を算出し、算出した第１閾値および第２閾値をメモリに記憶せしめる閾値設定処理と、目状態識別処理において時系列なフレーム画像について算出した特徴量の値を、閾値設定処理においてメモリに記憶せしめた第１閾値または第２閾値と順次比較することにより、目領域が表す目の瞬き状態を検出する瞬き状態検出処理とを実行する方法を提案する。

さらに、本発明は、上記目状態識別処理と、閾値設定処理と、瞬き状態検出処理とをコンピュータに実行させる瞬き状態検出プログラムを提供する。また、そのプログラムが記録されたＣＤ−ＲＯＭ、ＤＶＤその他のコンピュータ読取可能な記録媒体をも提供する。

以下、本発明の方法および装置の一実施形態として、瞬き状態検出機能を備えたデジタルカメラを開示する。

［構成および動作概要］
はじめにデジタルカメラの構成について説明する。図１Ａおよび図１Ｂは、デジタルカメラ１の外観を示す図であり、図１Ａはデジタルカメラの正面を、図１Ｂは背面を示している。これらの図に示すように、デジタルカメラ１は、撮像レンズ２、シャッタレリーズボタン３、フラッシュ４、操作ダイヤルあるいはボタン５ａ〜５ｆおよびモニタ６を備えている。また、デジタルカメラ１の下部には、開閉可能なスロットカバーがあり（図示せず）、スロットカバーの中にはメモリカード７を装填するカードスロットが備えられている。

図２は、デジタルカメラ１の内部構成を示す図である。この図に示すように、デジタルカメラ１は、撮像レンズ２、レンズ駆動部１６、絞り１３、絞り駆動部１７、ＣＣＤ１４およびタイミングジェネレータ（ＴＧ）１８からなる撮像部を備える。撮像レンズ２は、被写体にピントを合わせるためのフォーカスレンズ、ズーム機能を実現するためのズームレンズなど複数の機能別レンズにより構成される。レンズ駆動部１６はステッピングモータなど小型のモータで、ＣＣＤ１４から各機能別レンズのまでの距離が目的に適った距離となるように各機能別レンズの位置を調整する。絞り１３は複数の絞り羽根からなる。絞り駆動部１７は、ステッピングモータなど小型のモータで、絞りの開口サイズが目的に適ったサイズになるように絞り羽根の位置を調整する。ＣＣＤ１４は原色カラーフィルタを伴う５００〜１２００万画素のＣＣＤで、タイミングジェネレータ１８からの指示信号に応じて蓄積された電荷を放出する。タイミングジェネレータ１８は、ＣＣＤ１４に所望の時間のみ電荷が蓄積されるようにＣＣＤ１４に対して信号を送り、これによりシャッタ速度を調整する。

また、デジタルカメラ１は、ＣＣＤ１４の出力信号をデジタル信号に変換するＡ／Ｄ変換部１５と、Ａ／Ｄ変換部１５が出力した画像データをシステムバス２４を介して他の処理部に転送する画像入力制御部２３と、画像入力制御部２３から転送された画像データを一時記憶するメモリ２２を備える。

また、デジタルカメラ１は、フラッシュ４と、フラッシュ４の発光タイミングや発光量を制御するフラッシュ制御部１９と、レンズ駆動部１６にレンズの移動を指示して焦点合わせを行う焦点調節部２０と、絞り値とシャッタ速度を決定し、絞り駆動部１７とタイミングジェネレータ１８に指示信号を送出する露出調整部２１を備える。

また、デジタルカメラ１は、メモリ２２に記憶されている画像データに対して画像処理を施す画像処理部２５を備える。画像処理部２５は、画像を自然な色合い、明るさにするための色階調補正や明るさ補正、画像データが赤目を含むものであるときに赤目を黒目に修正する処理など、画像の見栄えを良くするための各種仕上げ処理を行う。また、後述するように、メモリ２２に記憶されている画像データに、瞬きが検出されたことを示すマーク画像を合成する処理も行う。画像処理部２５により処理された処理済画像データは、再度メモリ２２に格納される。

また、デジタルカメラ１は、メモリ２２に記憶されている画像データのモニタ６への出力を制御する表示制御部２６を備える。表示制御部２６は、メモリ２２に記憶されている画像データの画素数を、表示に適した大きさとなるように間引きしてから液晶モニタ９に出力する。また、表示制御部２６は、動作条件などの設定画面の表示も制御する。

また、デジタルカメラ１は、メモリ２２に記憶されている画像データのメモリカード７への書込み、およびメモリカード７に記録されている画像データのメモリ２２へのロードを制御する記録読出制御部２７を備える。記録読出制御部２７は、ユーザの設定に応じて撮影により取得された画像データをそのまま、もしくは圧縮符号化し、Ｅｘｉｆ（Exchangeable Image File Format）ファイルとして、メモリカード７に記録する。Ｅｘｉｆは、日本電子工業振興協会（ＪＥＩＤＡ）が定めたファイルフォーマット規格である。また、メモリカード７に記録されている画像ファイルの再生を要求する操作が行われたときには、Ｅｘｉｆファイルに含まれる画像データを、メモリ２２にロードする。画像データが圧縮されている場合には伸長した後、メモリ２２にロードする。

また、デジタルカメラ１は、メモリ２２に記憶されている画像データを対象として顔、目その他の顔器官を表す領域を探索し、抽出する領域抽出部２８を備える。ここでは、領域抽出部２８は、顔、目、口領域を抽出し、顔領域、目領域、口領域を表す領域情報を出力するものとする。なお、画像データが複数の顔を含むものである場合には、顔ごとに顔領域、目領域、口領域を表す領域情報が出力される。

また、デジタルカメラ１は、領域抽出部２８が出力する領域情報を参照し、その領域情報が示す目領域、口領域内の画素値から、目や口の状態を示す特徴量を算出し、算出された特徴量に基づいて目や口の状態を識別する状態識別部２９を備える。状態識別部２９は、さらに、識別した状態の変化を監視することにより、目の瞬き状態を検出する。

デジタルカメラ１は、この他、ＣＰＵ（Central Processor Unit）３１、操作／制御プログラムが格納されたＲＡＭ（Random Access Memory）３２、各種設定値が記憶されているＥＥＰＲＯＭ（Electronically Erasable and Programmable Read Only Memory）３３からなる全体制御部３０を備える。全体制御部３０のＣＰＵ３１は、ＥＥＰＲＯＭ３３に記憶された設定値を参照し、その設定値に基づいてＲＡＭ３２に記憶されているプログラムを選択、実行する。これにより、全体制御部３０は、シャッタレリーズボタン３、操作ダイヤル／ボタン５ａ〜５ｆの操作を検出し、あるいは各処理部の処理結果を受けて、フラッシュ制御部１９、焦点調節部２０、露出調整部２１、画像入力制御部２３、画像処理部２５、表示制御部２６、記録読出制御部２７、領域抽出部２８および状態識別部２９に対し、実行すべき処理を指示する指示信号を送出する。これにより、デジタルカメラ１の動作が制御される。

本実施形態では、デジタルカメラ１の動作モードとして、撮影モード、画像再生モード、設定モードがある。デジタルカメラ１が撮影モードに設定されると、撮像部は被写体を表す画像データの生成を開始する。生成された画像データは順次メモリに記録される。一方で、表示制御部はメモリに記録された画像データを順次モニタに出力する。これによりモニタ６には被写体の画像が動画表示されることとなる。全体制御部がシャッタレリーズボタン３の押下を検出すると、全体制御部３０の制御の下で焦点調節、露出制御、フラッシュ制御が行われ、その時点で撮像部により生成された画像データが、画像処理部により必要な処理を施された後、記録読出し制御部２７を経てメモリカード７に記録される。

また、デジタルカメラ１が画像再生モードに設定されているときは、全体制御部３０の制御の下で、メモリカード７に記録されている画像がメモリ２２にロードされ、表示制御部２６を経てモニタ６に出力される。デジタルカメラ１が設定モードに設定されているときは、全体制御部３０の制御の下で、モニタ６に設定画面が表示され、操作ダイヤル／ボタン５ａ〜５ｆからの操作入力が受け付けられる。設定画面において、ユーザが操作ダイヤル／ボタン５ａ〜５ｆを使って選択した情報は、ＥＥＰＲＯＭ３３に記憶される。ＥＥＰＲＯＭ３３に記憶された各種設定値は、デジタルカメラ１が撮影モードや再生モードに切り替えられたときに参照され、全体制御部３０は設定された動作が行われるように、各処理部を制御する。

［瞬き状態検出機能］
以下、デジタルカメラ１の瞬き状態検出機能について、さらに説明する。瞬き状態検出機能は、設定画面において瞬き状態検出機能がＯＮに設定されたときに有効になる。ＥＥＰＲＯＭ３３には瞬き状態検出フラグが記憶されており、瞬き状態検出フラグの値は瞬き状態検出機能がＯＮのときは１に、ＯＦＦのときは０に設定される。全体制御部３０は、撮影モードに切り替えられたときに瞬き状態検出フラグを参照し、フラグが１に設定されていれば、領域抽出部２８および状態識別部２９に対し、瞬き状態の検出に必要な処理を行うことを指示する信号を送出する。

図３は、領域抽出部２８の構成を示す図である。図に示すように、領域抽出部２８は、顔領域抽出手段４１、顔器官領域抽出手段４２および代表顔選択手段４３により構成される。領域抽出部２８は、手段４１〜４３として機能するＬＳＩにより構成された回路でもよいし、手段４１〜４３の処理を実行するソフトウェアプログラムが組み込まれたマイクロコンピュータでもよい。

顔領域抽出手段４１は、デジタルカメラ１が撮影モードに設定され、撮像部により生成される画像データが順次メモリ２２に記憶される状態になると、そのメモリ２２に記憶される時系列な画像データを取り込み、フレームごとに、顔を表す顔領域を探索する処理を行う。顔領域の抽出には、肌色領域を探索する方法をはじめ、公知の顔抽出方法を用いることができる。顔領域抽出手段４１は、顔領域を検出した場合、顔領域情報として、フレーム内の顔の位置（重心位置など）を示す座標値と、顔の大きさ（径、面積など）を示す値と、顔領域の確度を表す値を出力する。

顔領域の確度を表す値としては、顔か否かの判定に用いるために算出された顔らしさの評価値、あるいはそのような評価値と判定の基準となる閾値との差分値などを出力する。顔領域の判定では、通常、画像領域を構成する画素データから算出された顔らしさの評価値を、所定の閾値と比較することにより、その領域が顔を表しているか否かを判定する。評価値が閾値を少しでも超えていれば、その領域は顔を表す領域であると判定されるが、顔である確からしさは、評価値が閾値に近いほど低く、評価値が閾値を大幅に超えているほど高い。よって、判定に用いるために算出された評価値や、評価値と閾値との差分値は、顔領域の確度を表す指標となり得る。

顔領域抽出手段４１は、複数の顔領域を検出した場合には、顔ごとに顔領域情報を出力する。一方、顔領域を検出できなかったときは、顔領域情報として、顔を検出できなかったことを示す値（例えば０）を出力する。

顔器官領域抽出手段４２は、顔領域抽出手段４１が出力した顔領域情報を参照し、まず、顔領域の位置、大きさ、色などから目と口がある範囲を大まかに絞り込む。例えば、目領域の探索範囲であれば、図４に例示するように、顔領域４４の中心よりも少し上の、縦幅が顔領域の縦幅の１／４程度、横幅が顔領域の横幅と同程度の（もしくは少し狭い）範囲を探索範囲４５とする。あるいは、顔領域４４内の画像に二値化処理を施すと、瞳や口など肌色以外の色を有する顔器官のみが黒く表示された画像が得られるので、二値化した結果黒く表示された箇所の周辺領域を切り出し、切り出した領域を探索範囲としてもよい。

顔器官領域抽出手段４２は、探索範囲を絞り込んだ後、その範囲において、より精度の高い検出処理を行う。例えば、検出の手法としては、Ａｄａｂｏｏｓｔアルゴリズムなど学習に基づく判別アルゴリズムを利用して目や口を識別する、目や口の識別には、その他公知のあらゆる手法を用いることができる。顔器官領域抽出手段４２は、探索により目領域が検出された場合には、フレーム内の目領域の範囲を示す目領域情報を出力する。複数の顔領域が検出されており、そのそれぞれについて目領域の探索を行った場合には、複数の目領域情報を出力する。目領域が１つも見つからなかったときは、目領域情報として、検出できなかったことを示す値（例えば０）を出力する。また、口領域が検出された場合には、フレーム内の口領域の範囲を示す口領域情報も合わせて出力する。口領域についても同様に、検出できなかった場合には、その旨を示す値（例えば０）を口領域情報として出力する。

目領域や口領域は、フレーム全体から目領域や口領域を直接探索することによっても検出できるが、上記のように、先に顔領域を探索し、顔領域内においてのみ目領域や口領域の探索を行うほうが探索の効率がよく、高い精度で目領域や口領域を検出することができる。また、上記のように、顔領域において目領域や口領域がありそうな範囲を予め推定してから探索を行うことで、さらに探索の効率を高めることができる。

代表顔選択手段４３は、顔領域抽出手段４１が出力した顔領域情報などに基づいて代表顔を選択し、選択した顔を特定する代表顔情報を出力する。１フレームにつき顔が１つしか検出されなかった場合には、その顔が代表顔として選択される。１フレームから複数の顔が検出された場合には、顔領域情報もしくは、顔領域情報を利用して算出できる値に基づいて、代表顔を選択する。代表顔の選択基準は、任意に定めることができる。例えば、各顔領域情報に含まれる顔の位置座標を参照し、位置座標がフレームの最も中央よりの位置を示している顔領域を選択する。または、各顔領域情報に含まれる顔の大きさの情報を参照し、径や面積が最も大きな顔領域を選択する。または、各顔領域情報に含まれる確度の情報を参照し、確度が最も高い顔領域を選択する。または、メモリ２２から取り込んだ画像データに対しＲＧＢ−ＹＣＣ変換処理を施して輝度画像を取得し、顔領域の輝度（最大輝度、輝度平均など）を算出し、最も明るい顔領域を選択する。

また、これらの選択基準は組み合わせて用いてもよい。例えば、各顔領域に対し、配置位置、大きさ、確度、輝度のそれぞれについてポイントを与える。例えば配置位置であれば、中央に近いほど高いポイントを与える。この際、重要視したい要素のポイントの重み付けを高くするなどしてもよい。そして、配置位置、大きさ、確度、輝度のそれぞれについて与えられたポイントを合算し、もっとも高いポイントを獲得した顔領域を、代表顔として選択する。

顔器官領域抽出手段４２が出力する目領域情報および口領域情報と、代表顔選択手段４３が出力する代表顔情報は、領域抽出部２８から状態識別部２９に供給される。また、代表顔情報は、焦点調節部２０、露出調整部２１、画像処理部２５にも供給される。顔領域抽出手段４１が出力する顔領域情報は、焦点調節部２０や露出調整部２１に供給される。焦点調節部２０や露出調整部２１は、供給された顔領域情報や代表顔情報を利用して、顔にピントが合うように、また顔領域が十分明るくなるように、撮像部を制御する。

図５は、状態識別部２９の構成を示す図である。状態識別部２９には、領域抽出部２８から、目領域情報、口領域情報および代表顔情報が供給される。状態識別部２９は、目状態識別手段５１、閾値設定手段５２と閾値用メモリ５３、瞬き状態検出手段５４、口状態識別手段５５および口状態変化検出手段５６により構成される。状態識別部２９は、各手段として機能するＬＳＩと所定の容量のメモリにより構成された回路でもよいし、各手段の処理を実行するソフトウェアプログラムが組み込まれたマイクロコンピュータでもよい。

目状態識別手段５１は、全体制御部３０の制御の下、領域抽出部２８と同期してメモリ２２から時系列な画像データを取り込む。そして、領域抽出部２８から目領域情報が供給されるのを待って、フレームごとに、目領域を構成する画像データに基づいて目の開閉状態を表す特徴量を算出する。目領域が複数ある場合には、目領域ごとに特徴量を算出する。但し、目領域情報として値０、すなわち目領域が１つも検出されなかったことを示す値が供給されている間は、目状態識別手段５１は動作を中断する。この間は、瞬き状態検出手段５４も動作を中断する。

本実施形態では、目の開閉状態を表す特徴量として、図６に示すように瞳の画像に現れている部分の高さｈ（縦幅）を算出する。算出する値ｈは画素数であってもよいし、所定の座標系における距離であってもよい。目状態識別手段５１は、１つのフレームに含まれる全ての目について値ｈを算出し終えると、算出した値を閾値設定手段５２と瞬き状態検出手段５４に供給する。目領域が複数ある場合には、各目を区別するための識別子などを付して目ごとに値ｈを出力する。

目状態識別手段５１は、フレームごとに上記処理を繰り返すため、閾値設定手段５２と瞬き状態検出手段５４には、時系列な画像について順次算出された目ごとの値ｈが連続して入力されることとなる。

図７に、閾値設定手段５２が行う処理の一例を示す。閾値設定手段５２は、以下に説明する処理を目ごとに実行する。閾値設定手段５２は、はじめに、カウンタの値を０に初期化し、処理変数ｈｍａｘの値として仮の値０を設定する（Ｓ１０１）。続いて、目状態識別手段５１がある時点のフレームについて算出した値ｈを取得する（Ｓ１０２）。取得した値ｈをｈｍａｘと比較し（Ｓ１０３）、ｈｍａｘよりも大きければｈｍａｘの値を値ｈに置き換える（Ｓ１０４）。一方、値ｈがｈｍａｘ以下の値であるときは、値の置き換えは行わない。

その後、カウンタ値に値１が加算される（Ｓ１０５）。以降、ステップＳ１０２に戻って目状態識別手段５１が、上記フレームの次のフレームについて算出した値ｈを取得し、その値についてステップＳ１０３、Ｓ１０４、Ｓ１０５の処理を行う。同様にステップＳ１０２〜Ｓ１０５の処理を、カウンタ値が所定の値ｎ（例えば１００）になるまで繰り返す（Ｓ１０６）。ここまでの処理により、変数ｈｍａｘには、値ｈの最大値が設定される。

続いて、閾値設定手段５２は、値ｈｍａｘを使って、瞳の画像に現れている部分の高さを示す値であって、目の開状態から閉状態への遷移点における高さを示す値と、閉状態から開状態への遷移点にける高さを示す値を算出する（Ｓ１０７）。すなわち、目が開状態から閉状態に移行したことの判定基準となる閾値Ｔｈ１と、目が閉状態から開状態に移行したことの判定基準となる閾値Ｔｈ２を算出する。

図８に、値ｈｍａｘと閾値Ｔｈ１，Ｔｈ２の関係を示す。本実施形態では、図７および図８に例示するように、閾値Ｔｈ１を値ｈｍａｘの８０％の値、閾値Ｔｈ２を値ｈｍａｘの２０％の値としている。但し、値ｈｍａｘと閾値Ｔｈ１、Ｔｈ２の関係はこれに限定されるものではなく、例えば閾値Ｔｈ１、閾値Ｔｈ２ともに値ｈｍａｘの５０％の値としてもよい。算出された閾値Ｔｈ１、Ｔｈ２は、目を区別するための識別子とともに、閾値メモリ５３に記憶される（Ｓ１０８）。

図９に、瞬き状態検出手段５４が行う処理の一例を示す。瞬き状態検出手段５４も、以下に説明する処理を目ごとに実行する。なお、本実施形態において瞬き状態検出手段５４は、閉じられた目を検出するのではなく、瞬間的に目を閉じて開く動作を検出する。

瞬き状態検出手段５４は、閾値用メモリ５３から、１つの目についての閾値Ｔｈ１および閾値Ｔｈ２を読み込む（Ｓ２０１）。続いて、目状態識別手段５１がある時点のフレームについて算出した値ｈを取得し（Ｓ２０２）、取得した値ｈを閾値Ｔｈ１と比較する（Ｓ２０３）。値ｈが閾値Ｔｈ１以下であれば、ステップＳ２０２に戻り、目状態識別手段５１が上記フレームの次のフレームについて算出した値ｈを取得し、再びステップＳ２０３の比較を行う。そして、ステップＳ２０３において取得した値ｈが閾値Ｔｈ１より大きいとの判定結果が得られるまで、すなわち目が開いた状態が検出されるまで、この処理を繰り返す。

次に、瞬き状態検出手段５４は、目の開状態が検出されたフレームの次のフレームについて目状態識別手段５１が算出した値ｈを取得し（Ｓ２０４）、取得した値ｈを閾値Ｔｈ２と比較する（Ｓ２０５）。値ｈが閾値Ｔｈ２以上であれば、ステップＳ２０４に戻り、目状態識別手段５１が上記フレームの次のフレームについて算出した値ｈを取得し、再びステップＳ２０５の比較を行う。そして、ステップＳ２０５において取得した値ｈが閾値Ｔｈ２より小さいとの判定結果が得られるまで、すなわち目が閉じた状態が検出されるまで、この処理を繰り返す。

続いて、瞬き状態検出手段５４は、タイマーを所定時間Ｔにセットする（Ｓ２０６）。瞬きで目を閉じている時間は、無意識の瞬きの場合には長くて０．５秒程度である。意識的に行った瞬きの場合には、それよりも目を閉じている時間が長くなるが、概ね０．５秒〜３秒程度である。よって、時間Ｔは１秒〜３秒程度とするのがよい。

瞬き状態検出手段５４は、タイマーをセットした後、再び、次のフレームについて目状態識別手段５１が算出した値ｈを取得し（Ｓ２０７）、取得した値ｈを閾値Ｔｈ１と比較する（Ｓ２０８）。値ｈが閾値Ｔｈ１以下であれば、ステップＳ２０７に戻り、目状態識別手段５１が上記フレームの次のフレームについて算出した値ｈを取得し、再びステップＳ２０８の比較を行う。そして、ステップＳ２０８において取得した値ｈが閾値Ｔｈ１より大きいとの判定結果が得られるまで、すなわち目が開いた状態が検出されるまで、この処理を繰り返す。

ステップＳ２０８において、目の開状態が検出されたら、タイマーの値を参照することにより、タイマーをセットしてからの経過時間が時間Ｔ以上か否かを判定する（Ｓ２０９）。時間Ｔ以上の間目が閉じられていれば、その目の動作は瞬きではないと判断される。この場合、瞬き状態検出手段５４は、ステップＳ２０４に戻り、上記処理を繰り返す。一方、タイマーをセットしてからの経過時間が時間Ｔより短かった場合には、瞬き状態検出手段５４は、その目の動作を瞬きと判定し、瞬き状態を検出したことを示す信号（以下瞬き状態検出信号）を出力する（Ｓ２１０）。目領域が複数ある場合には、各目を区別するための識別子を付した瞬き状態検出信号を出力する。瞬き状態検出手段５４が出力した瞬き状態検出信号は、状態識別部２９から画像処理部２５や記録読出制御部２７に送られる。瞬き状態検出手段は、瞬き状態検出信号を出力した後、ステップＳ２０２に戻り、以降Ｓ２１０までの処理を繰り返す。

このように、瞬き状態か否かの判定を、目領域から算出された特徴量と２つの閾値Ｔｈ１、Ｔｈ２とを、時系列に供給される複数のフレームにおいて繰り返し比較することにより目の瞬き動作を判別すれば、瞬き動作を正確に検出することができる。閾値Ｔｈ１、Ｔｈ２は、閾値設定手段５２により目ごとに設定された値であるため、目の大きさに関わらず最適な判定が行われ、個人差に起因する誤検出も生じにくい。

ここで、瞬き状態での撮影は、一般には避けるべきであるが、中には瞬き状態をそのまま撮影したほうが好ましい場合もある。例えば、驚いて目を瞬かせたときなど、表情の変化とともに行われる瞬きは、撮影に値する場合もある。このため、瞬き状態検出手段５４は、表情が大きく変化している最中は、図９に示した処理を実行しない。複数ある顔のうち、一部の顔のみ表情が大きく変化しているときは、それらの顔以外の顔（目）のみを対象として、図９の処理を実行する。

以下、表情の変化を検出するための手段である口状態識別手段５５と口状態変化検出手段５６の処理について説明する。口状態識別手段５５は、全体制御部３０の制御の下、領域抽出部２８と同期してメモリ２２から同じく時系列な画像データを取り込む。そして、領域抽出部２８から口領域情報が供給されるのを待って、フレームごとに、口状態識別処理を実行する。

口状態識別手段５５は、口領域の画像から、口の形状を特徴づける複数の特徴点の位置座標を算出する。例えば、図１０Ａ、図１０Ｂに例示するように、左右の口角、上唇中心の上端、上唇中心の下端、下唇中心の上端、下唇中心の下端の６つの点を口の特徴点と定め、口領域の画像から特徴点Ｆ１〜Ｆ６を識別し、特徴点Ｆ１〜Ｆ６の位置を示す座標値を口状態変化検出手段５６に供給する。

図１１に、口状態変化検出手段５６の処理の一例を示す。例えば、ある時点のフレームの口領域の画像が図１０Ａに例示するような画像であるとすると、口状態変化検出手段５６は、その口領域の画像から抽出された特徴点Ｆ１〜Ｆ６の位置Ｌ１〜Ｌ６の座標値（平面座標の座標値とする）を取得する（Ｓ３０１）。次に、一つの特徴点を、変化量を算出するときの基準点に設定する。例えば、特徴点Ｆ１を基準点に設定する（Ｓ３０２）。次のフレームの口領域の画像が例えば図１０Ｂに例示するような画像であるとすると、口状態変化検出手段５６は、その画像から抽出された特徴点Ｆ１〜Ｆ６の位置Ｌ１´〜Ｌ６´の座標値を取得する（Ｓ３０３）。

続いて、口状態変化検出手段５６は、取得した座標値に基づいて、特徴点Ｆ１の位置Ｌ１、Ｌ１´のずれを算出し、位置Ｌ１と位置Ｌ１´とを一致させるための座標変換を行う。すなわち、２つのフレームの基準点を合わせる（Ｓ３０４）。その後、基準点以外の特徴点Ｆ２〜Ｆ６について位置の変化量を算出し、さらに、所定の算出式に基づいて、口全体の変化量の評価値Ｅを算出する（Ｓ３０５）。次式（１）は、評価値Ｅの算出式の一例である。

次に、口状態変化検出手段５６は、算出された評価値Ｅを所定の閾値ＴｈＥと比較する（Ｓ３０６）。評価値Ｅが所定の閾値ＴｈＥ以下であれば、瞬き状態検出手段５４に対し、瞬き状態検出の続行を指示する信号を送出する（Ｓ３０７）。一方、評価値Ｅが所定の閾値ＴｈＥよりも大きいときには、口の状態が変化していると判断し、瞬き状態検出手段５４に対し、瞬き状態検出の中断を指示する信号を送出する（Ｓ３０８）。その後、ステップＳ３０３に戻って、前回ステップＳ３０３で取得した座標値と、今回ステップＳ３０３で取得した座標値とを対象としてステップＳ３０４〜Ｓ３０５の処理を繰り返す。

瞬き状態検出処理の続行あるいは中断を指示する信号は、顔が複数ある場合には、その顔に含まれる目の識別子とともに目ごとの信号として送出される（Ｓ３０８）。瞬き状態検出手段５４は、中断指示信号を受信したときは、該当する目の瞬き状態検出処理を中断し、続行指示信号を受信したときは、検出処理を実行中であればそのまま続行し、中断中であれば再び検出を開始する。これにより、表情が変化しているときに行われた瞬きは、瞬き状態として検出されなくなる。

以上の説明では、顔が複数ある場合に全ての顔を対象として瞬き状態の検出を行う場合を例示したが、領域抽出部２８の代表顔選択手段４３が選択した代表顔についてのみ瞬き状態の検出を行うこととしてもよい。図５に示すとおり、目状態識別手段５１と閾値設定手段５２には、代表顔情報が供給される。よって、目状態識別手段５１は、代表顔情報を参照することにより、目状態の識別処理を実行する対象を代表顔に含まれる目に限定することができる。

同様に、閾値設定手段５２も、代表顔情報を参照することにより、閾値Ｔｈ１，Ｔｈ２の算出を行う対象を代表顔に含まれる目に限定することができる。対象を代表顔に限定すれば、状態識別部２９が実行する演算量を大幅に減らすことができるので、主要な人物についてのみ瞬き状態を検出できればよいという場合には、検出の対象を代表顔に限定することが好ましい。なお、全顔について瞬き状態検出を実行するか代表顔のみについて瞬き状態検出を実行するかは、設定で切り替えることができる。

［検出結果の利用］
前述したように、瞬き状態検出手段５４が出力した瞬き状態検出信号は、画像処理部２５と記録読出制御部２７に供給される。画像処理部２５は、モニタ表示用の画像を生成する際に、瞬き状態の検出結果を利用する。記録読出制御部２７は、瞬き状態の検出結果に基づいて、メモリカードに画像を記録するか否かを判断する。

画像処理部２５は、瞬き状態検出信号を受信したときは、メモリ２２に記憶されている画像データに、瞬きが検出されたことを示すマーク画像を合成する。前述したとおり、瞬き状態検出信号は目を区別する識別子とともに出力されるので、画像処理部２５は、その識別子に基づいてマークをつけるべき目（顔、人物）を特定する。そして、マーク画像が、その目の近くに配置されるように、画像を合成する。マーク画像が合成された画像データは、表示制御部２６を介してモニタ６に出力される。

図１２に、画像処理部２５が生成する表示用画像の一例を示す。合成するマーク画像６１、６２の図柄は任意でよいが、瞬き状態であることが感覚的にわかるような図柄とすることが好ましい。また、常に同じ図柄のマーク画像を合成してもよいが、フレームごとに少しずつ形状の異なる図柄を合成すれば、マーク画像はアニメーション画像となる。例えば、時系列なフレームに開状態の目、半分開いた目、閉状態の目を交互に合成すれば、瞬きする目をアニメーション表示させることができる。

また、代表顔情報が供給されたときには、代表顔とそれ以外の顔とで、異なるマーク画像を合成してもよい。例えば図の例では、代表顔に、他の顔のマーク画像６２よりも一回り大きいマーク画像６１を合成している。この他、代表顔のマーク画像のみ色や図柄を異ならせることも考えられる。

撮影モードで、モニタ６に図１２のような画像を表示すれば、撮影者は、被写体が瞬きしているときを避けてシャッタレリーズボタン３を押すことができる。また、代表顔のみ異なるマーク画像を表示すれば、撮影者は、主要被写体が瞬きしているときを避けてシャッタレリーズボタン３を押すことができる。また、表示の上では代表顔と他の顔は区別されるものの、代表顔を特別扱いするか他の顔と同じように扱うかの判断は撮影者に委ねられる。よって、撮影者は、あるときは代表顔のみの瞬き状態を気にしながら撮影し、あるときは全員の瞬き状態を気にしながら撮影を行うというように、その場の状況に応じて代表顔の取り扱いを代えながら撮影を行うことができる。

一方、記録読出制御部２７は、シャッタレリーズボタン３が押された後に、瞬き状態の検出結果を利用した処理を実行する。瞬き状態検出機能がＯＦＦに設定されているときには、シャッタレリーズボタン３が最後の段階まで押下されると、全体制御部３０から記録制御部２６に対しメモリカード７への画像の書き込みが指示される。記録制御部２６はこの指示を受けて、メモリ２２から画像処理済みの画像データを読み出し、メモリカード７に記録する。これに対し、瞬き状態検出機能がＯＮに設定されているときには、記録制御部２６はメモリ２２から読み出した画像データについて瞬き状態が検出されていれば、その画像データは記録せず、メモリ２２から次の画像データ（次のフレーム）を読み出す。同様の処理を瞬き状態が検出されていない画像データを読み出すまで繰り返し、瞬き状態が検出されていない画像データをメモリカード７に記録する。

瞬きは一瞬のうちに行われるため、図１２に例示した表示画面をみながらシャッタレリーズボタン３を押したつもりでも、実際には瞬き状態のときにシャッタレリーズボタン３を押している可能性はある。シャッタレリーズボタン押下後も瞬き状態検出を行って瞬き状態の検出結果に基づいて画像を記録するタイミングを制御すれば、シャッタレリーズボタン３を押したタイミングに拘らず、確実に瞬き状態でないときの画像を取得することができる。

［他の実施形態］
上記実施形態では、目状態識別手段は瞳の上下方向の幅の値を利用して状態を識別しているが、白目領域の面積、まつ毛の向きなど、目の開閉状態を示す他の特徴量を用いて状態を識別してもよい。また、上記実施形態では、閾値設定手段は、瞳の上下方向の幅の最大値ｈｍａｘに基づいて閾値を算出するが、目の開き具合が大きいほど値が小さくなる特徴量を使って状態を識別する場合には、その特徴量の最小値ｈｍｉｎに基づいて閾値を算出することになる。

また、口状態識別手段および口状態変化検出手段に代えて、耳、眉、鼻の穴など他の顔器官を識別し、その状態変化を検出する手段を備えた構成も考えられる。一方、本発明において、顔器官の状態を識別し、状態変化を検出する手段は必須ではないので、これらの手段を備えない構成も考えられる。

また、上記実施形態のデジタルカメラは、代表顔選択手段を備えており、設定により代表顔の選択を行ったり行わなかったりするが、本発明において代表顔選択手段は必須の手段ではなく、したがって代表顔選択手段を備えない形態も考えられる。この他にも、上記実施形態を変形した色々な構成が考えられる。

また、デジタルカメラに限らず、パーソナルコンピュータなど、撮像部を備えない装置に、デジタルカメラ１の領域抽出部２８と状態識別部２９と同等の処理を実行するソフトウェアプログラムを組み込んだものも、本発明の画像処理装置の一実施形態といえる。この場合、コンピュータに組み込んだソフトウェアプログラムが、本発明のプログラムの一実施形態に相当し、そのようなソフトウェアプログラムが記録されたＣＤ−ＲＯＭ、ＤＶＤなどのメディアが、本発明の記録媒体の一実施形態に相当することとなる。

例えば、図１３に例示するように、デジタルビデオカメラ７１とパーソナルコンピュータ７２（以下、ＰＣ７２）とを接続し、デジタルビデオカメラ７１が生成した画像データに対し、ＰＣ７２でフレームごとに瞬き状態検出処理を実行する形態が考えられる。あるいは、瞬き状態の検出はデジタルビデオカメラ７１が行い、瞬き状態検出信号をＰＣ７２に転送し、表示制御や記録制御はＰＣ７２側で行う形態も考えられる。

また、瞬き状態の検出に用いるフレーム画像は、時系列なフレーム画像であればよく、必ずしも撮影によりリアルタイムに生成される画像である必要はない。よって、本発明の他の実施形態として、ＤＶＤ（Digital Versatile Disc）などのメディア７３に記録されている動画像データをＰＣ７２に取り込んで、瞬き状態検出処理を行う形態も考えられる。

このように、本発明は、他の装置により生成された、あるいは過去に生成された動画像データから、被写体が瞬きをしていない瞬間の画像（静止画）を抽出するときにも有用である。

本発明の一実施形態であるデジタルカメラの外観を示す図（正面側） デジタルカメラの外観を示す図（背面側） デジタルカメラの内部構成を示す図 領域抽出部の構成を示す図 目領域の探索範囲について説明するための図 状態識別部の構成を示す図 目の開閉状態を表す特徴量の一例を示す図 閾値設定手段の処理の一例を示すフローチャート 閾値の算出方法について説明するための図 瞬き状態検出手段の処理の一例を示すフローチャート 口状態変化検出手段に供給される情報について説明するための図 口状態変化検出手段に供給される情報について説明するための図 口状態変化検出手段の処理の一例を示す図 画像処理部が生成する表示用画像の一例を示す図 本発明の他の実施形態を示す図

符号の説明

１ デジタルカメラ、 ２ レンズ、 ３ シャッタレリーズボタン、 ４ フラッシュ、 ５ａ〜５ｆ 操作ダイヤル／ボタン、 ６ モニタ、 ７ メモリカード、
２８ 領域抽出部、 ２９ 状態識別部、 ４４ 顔領域、 ４５ 探索領域、
６１ マーク画像（代表顔用）、 ６２ マーク画像（代表顔以外の顔用）、
７１ ビデオカメラ、 ７２ パーソナルコンピュータ、 ７３ 記録メディア

Claims (27)

1. 瞬き状態の検出に用いられる画像処理装置であって、
   フレーム画像を対象とする目領域の探索により検出された目領域ごとに、該目領域を構成する画素データに基づき目の開き具合が大きいほど大きい値を有する所定の特徴量の値を算出する目状態識別手段と、
   瞬き状態検出の対象となる目が開状態のときの前記特徴量の値に基づいて、開状態から閉状態への遷移点における前記特徴量の値を示す第１閾値および閉状態から開状態への遷移点における前記特徴量の値を示すものであって前記第１閾値と同一またはそれより大きい第２閾値を算出し、算出した第１閾値および第２閾値をメモリに記憶せしめる閾値設定手段と、
   時系列なフレーム画像について前記目状態識別手段が順次算出する特徴量の値を、前記閾値設定手段が前記メモリに記憶せしめた第１閾値または第２閾値と順次比較し、前記算出された特徴量の値が前記第２閾値より大きいとの判定結果が得られた後に、前記第１閾値より小さいとの判定結果が得られると、タイマーをセットし、その後再び前記第２閾値より大きいとの判定結果が得られたら、前記タイマーをセットしてからの経過時間が前記所定時間以上か否かを判定し、前記経過時間が前記所定時間より短かった場合に前記目領域が表す目の動作を瞬きと判定することにより、前記目領域が表す目の瞬き状態を検出する瞬き状態検出手段と、
   フレーム画像から目以外の顔器官を表す領域を探索し、検出された領域を構成する画素データに基づき前記顔器官の状態を識別する顔器官状態識別手段と、
   時系列なフレーム画像について前記顔器官状態識別手段が順次識別した顔器官の状態から、該顔器官の状態変化を検出する状態変化検出手段とを備え、
   前記瞬き状態検出手段が、前記状態変化検出手段により前記顔器官の状態変化が検出されている間、瞬き状態の検出を行わないことを特徴とする画像処理装置。
2. フレーム画像を対象とする顔領域の探索により検出された顔領域の中から一の顔領域を選択する代表顔選択手段を備え、
   前記閾値設定手段が、前記代表顔選択手段により選択された顔領域に含まれる目のみを瞬き状態検出の対象として、前記閾値の算出を行うことを特徴とする請求項１記載の画像処理装置。
3. 前記顔器官状態識別手段が、前記顔器官の複数の特徴点の位置を算出し、
   前記状態変化検出手段が、時系列なフレーム画像における前記各特徴点の位置の変化を、前記顔器官の状態変化として検出することを特徴とする請求項１または２記載の画像処理装置。
4. 前記顔器官状態識別手段が、口の形状を識別する手段であり、
   前記状態変化検出手段が、口の形状の変化を検出する手段であることを特徴とする請求項１から３のいずれか１項記載の画像処理装置。
5. 前記瞬き状態検出手段が、前記目領域が検出されたときのみ動作する手段であることを特徴とする請求項１から４のいずれか１項記載の画像処理装置。
6. 前記目状態識別手段が、フレーム画像を対象とする顔領域の探索により検出された顔領域に基づいて推定された探索範囲においてのみ、前記目領域の探索を行うことを特徴とする請求項１から５のいずれか１項記載の画像処理装置。
7. 前記フレーム画像に、前記瞬き状態検出手段の検出結果を示すマーク画像を合成するマーキング手段と、
   前記マーキング手段により生成された合成画像を所定の表示装置に出力する表示制御手段とをさらに備えたことを特徴とする請求項１から６のいずれか１項記載の画像処理装置。
8. フレーム画像を対象とする顔領域の探索により検出された顔領域の中から一の顔領域を選択する代表顔選択手段を備え、
   前記マーキング手段が、前記代表顔選択手段により選択された顔領域に含まれる目の瞬き状態が検出されたときと、前記代表顔選択手段により選択された顔領域以外の顔領域に含まれる目の瞬き状態が検出されたときとで、異なるマーク画像を合成することを特徴とする請求項７記載の画像処理装置。
9. 前記フレーム画像を所定の記録媒体に記録するタイミングを前記瞬き状態検出手段が出力する検出結果に基づいて決定し、決定したタイミングで前記フレーム画像を所定の記録媒体に記録する記録制御手段を備えたことを特徴とする請求項１から８のいずれか１項記載の画像処理装置。
10. フレーム画像を対象とする顔領域の探索により検出された顔領域の中から一の顔領域を選択する代表顔選択手段を備え、
    前記記録制御手段が、前記代表顔選択手段により選択された顔領域顔領域に含まれる目の瞬き状態が検出されなくなったときを、前記フレーム画像を記録するタイミングに決定することを特徴とする請求項９記載の画像処理装置。
11. 前記代表顔選択手段が、顔領域の位置、大きさ、確度および輝度の中の少なくとも１つを選択基準として、前記顔領域の選択を行うことを特徴とする請求項２、８、１０のいずれか１項記載の画像処理装置。
12. 請求項１から１１のいずれか１項記載の画像処理装置と、
    被写体を表すフレーム画像を生成し、該フレーム画像を前記画像処理装置に供給する撮像装置とを備えた撮影システム。
13. 目の瞬き状態を検出する方法であって、
    フレーム画像を対象とする目領域の探索により検出された目領域ごとに、該目領域を構成する画素データに基づき目の開き具合が大きいほど大きい値を有する所定の特徴量の値を算出する目状態識別処理と、
    瞬き状態検出の対象となる目が開状態のときの前記特徴量の値に基づいて、開状態から閉状態への遷移点における前記特徴量の値を示す第１閾値および閉状態から開状態への遷移点における前記特徴量の値を示すものであって前記第１閾値と同一またはそれより大きい第２閾値を算出し、算出した第１閾値および第２閾値をメモリに記憶せしめる閾値設定処理と、
    前記目状態識別処理において時系列なフレーム画像について算出した特徴量の値を、前記閾値設定処理において前記メモリに記憶せしめた第１閾値または第２閾値と順次比較し、前記算出された特徴量の値が前記第２閾値より大きいとの判定結果が得られた後に、前記第１閾値より小さいとの判定結果が得られると、タイマーをセットし、その後再び前記第２閾値より大きいとの判定結果が得られたら、前記タイマーをセットしてからの経過時間が前記所定時間以上か否かを判定し、前記経過時間が前記所定時間より短かった場合に前記目領域が表す目の動作を瞬きと判定することにより、前記目領域が表す目の瞬き状態を検出する瞬き状態検出処理と、
    フレーム画像から目以外の顔器官を表す領域を探索し、検出された領域を構成する画素データに基づき前記顔器官の状態を識別する顔器官状態識別処理と、
    時系列なフレーム画像について前記顔器官状態識別処理において順次識別した顔器官の状態から、該顔器官の状態変化を検出する状態変化検出処理とを実行し、
    前記状態変化検出処理において前記顔器官の状態変化が検出されている間は、前記瞬き状態検出処理を実行しないことを特徴とする瞬き状態検出方法。
14. フレーム画像を対象とする顔領域の探索により検出された顔領域の中から一の顔領域を選択する代表顔選択処理を実行し、
    前記閾値設定処理において、前記代表顔選択処理において選択された顔領域に含まれる目のみを瞬き状態検出の対象として、前記閾値の算出を行うことを特徴とする請求項１３記載の瞬き状態検出方法。
15. 前記目領域が検出されたときのみ、前記瞬き状態検出処理を実行することを特徴とする請求項１３または１４記載の瞬き状態検出方法。
16. 前記フレーム画像に、前記瞬き状態検出処理における検出結果を示すマーク画像を合成するマーキング処理と、
    前記マーキング処理において生成された合成画像を所定の表示装置に出力することを特徴とする請求項１３から１５のいずれか１項記載の瞬き状態検出方法。
17. フレーム画像を対象とする顔領域の探索により検出された顔領域の中から一の顔領域を選択する代表顔選択処理を実行し、
    前記マーキング処理では、前記代表顔選択処理において選択された顔領域に含まれる目の瞬き状態が検出されたときと、前記代表顔選択処理において選択された顔領域以外の顔領域に含まれる目の瞬き状態が検出されたときとで、異なるマーク画像を合成することを特徴とする請求項１６記載の瞬き状態検出方法。
18. 前記フレーム画像を所定の記録媒体に記録するタイミングを、前記瞬き状態検出処理の検出結果に基づいて決定し、決定したタイミングで前記画像を所定の記録媒体に記録することを特徴とする請求項１３から１７のいずれか１項記載の瞬き状態検出方法。
19. フレーム画像を対象とする顔領域の探索により検出された顔領域の中から一の顔領域を選択する代表顔選択処理を実行し、
    前記代表顔選択処理において選択された顔領域顔領域に含まれる目の瞬き状態が検出されなくなったタイミングで、前記画像を記録することを特徴とする請求項１８記載の瞬き状態検出方法。
20. フレーム画像を対象とする目領域の探索により検出された目領域ごとに、該目領域を構成する画素データに基づき目の開き具合が大きいほど大きい値を有する所定の特徴量の値を算出する目状態識別処理と、
    瞬き状態検出の対象となる目が開状態のときの前記特徴量の値に基づいて、開状態から閉状態への遷移点における前記特徴量の値を示す第１閾値および閉状態から開状態への遷移点における前記特徴量の値を示すものであって前記第１閾値と同一またはそれより大きい第２閾値を算出し、算出した第１閾値および第２閾値をメモリに記憶せしめる閾値設定処理と、
    前記目状態識別処理において時系列なフレーム画像について算出した特徴量の値を、前記閾値設定処理において前記メモリに記憶せしめた第１閾値または第２閾値と順次比較し、前記算出された特徴量の値が前記第２閾値より大きいとの判定結果が得られた後に、前記第１閾値より小さいとの判定結果が得られると、タイマーをセットし、その後再び前記第２閾値より大きいとの判定結果が得られたら、前記タイマーをセットしてからの経過時間が前記所定時間以上か否かを判定し、前記経過時間が前記所定時間より短かった場合に前記目領域が表す目の動作を瞬きと判定することにより、前記目領域が表す目の瞬き状態を検出する瞬き状態検出処理と、
    フレーム画像から目以外の顔器官を表す領域を探索し、検出された領域を構成する画素データに基づき前記顔器官の状態を識別する顔器官状態識別処理と、
    時系列なフレーム画像について前記顔器官状態識別処理において順次識別した顔器官の状態から、該顔器官の状態変化を検出する状態変化検出処理とをコンピュータに実行させ、
    前記状態変化検出処理において前記顔器官の状態変化が検出されている間は、前記瞬き状態検出処理を中断することを特徴とする瞬き状態検出プログラム。
21. 前記コンピュータに、フレーム画像を対象とする顔領域の探索により検出された顔領域の中から一の顔領域を選択する代表顔選択処理を実行させ、
    前記閾値設定処理として、前記代表顔選択処理において選択された顔領域に含まれる目のみを瞬き状態検出の対象として、前記閾値の算出を行う処理を実行させることを特徴とする請求項２０記載の瞬き状態検出プログラム。
22. 前記目領域が検出されたときのみ、前記コンピュータに前記瞬き状態検出処理を実行させることを特徴とする請求項２０または２１記載の瞬き状態検出プログラム。
23. 前記コンピュータに、
    前記フレーム画像に、前記瞬き状態検出処理における検出結果を示すマーク画像を合成するマーキング処理と、
    前記マーキング処理において生成された合成画像を所定の表示装置に出力する表示制御処理とを実行させることを特徴とする請求項２０から２２のいずれか１項記載の瞬き状態検出プログラム。
24. 前記コンピュータに、
    フレーム画像を対象とする顔領域の探索により検出された顔領域の中から一の顔領域を選択する代表顔選択処理を実行させ、
    前記マーキング処理として、前記代表顔選択処理において選択された顔領域に含まれる目の瞬き状態が検出されたときと、前記代表顔選択処理において選択された顔領域以外の顔領域に含まれる目の瞬き状態が検出されたときとで、異なるマーク画像を合成する処理を実行させることを特徴とする請求項２３記載の瞬き状態検出プログラム。
25. 前記コンピュータに、前記フレーム画像を所定の記録媒体に記録するタイミングを、前記瞬き状態検出処理の検出結果に基づいて決定し、決定したタイミングで前記画像を所定の記録媒体に記録する記録制御処理を実行させることを特徴とする請求項２０から２４のいずれか１項記載の瞬き状態検出プログラム。
26. 前記コンピュータに、
    フレーム画像を対象とする顔領域の探索により検出された顔領域の中から一の顔領域を選択する代表顔選択処理を実行させ、
    前記記録制御処理として、前記代表顔選択処理において選択された顔領域顔領域に含まれる目の瞬き状態が検出されなくなったタイミングで、前記画像を記録する処理を実行させることを特徴とする請求項２５記載の瞬き状態検出プログラム。
27. 請求項２０から２６のいずれか１項記載の瞬き状態検出プログラムが記録されたコンピュータ読取可能な記録媒体。

Images