JP5388774B2 - 画像処理装置及び画像処理装置の制御方法 - Google Patents

Description

本発明は画像処理装置及び画像処理装置の制御方法に関し、特に、細目の人が目を開いているにもかかわらず、目をつむっていると誤判定されるのを防止するために用いて好適な技術に関するものである。

目をつむっている人物がいる画像と、誰も目をつむっていない画像とを区別して記録できる撮像装置がある（特許文献１参照）。この撮像装置の場合には、画像に目をつむった人物が全くいない場合は成功画像として記録するようにしている。

特開２００６−１６３４９６号公報

しかしながら、引用文献１にて提案されている撮像装置の場合は、細目の人で目を開いているにもかかわらず、目をつむっているとして誤判別する場合の対策については記載されていない。
本発明は前述の問題点に鑑み、細目の人で目を開いているにもかかわらず、目つむり警告されるのを防止できるようにすることを目的とする。

本発明の画像処理装置は、画像から顔を検出する顔検出手段と、前記顔検出手段により検出された顔が目をつむっているかどうかを検出する目つむり検出手段と、複数の画像における、対象となる被写体に対する目つむりの検出結果に応じて、前記複数の画像のうちの第１の画像において、前記対象となる被写体の顔が目をつむっているのかを判定する判定手段と、を備え、前記判定手段は、前記目つむり検出手段によって、前記第１の画像から前記対象となる被写体の顔が目をつむっていることが検出され、かつ、前記複数の画像のうちの、前記第１の画像以外の他の画像から前記対象となる被写体の顔が目をつむっていないことが検出された場合には、前記第１の画像における前記対象となる被写体の顔は目をつむっていると判定し、前記目つむり検出手段によって、前記複数の画像の全てから前記対象となる被写体の顔が目をつむっていることが検出された場合には、前記第１の画像における前記対象となる被写体の顔は目をつむっていないと判定することを特徴とする。

本発明によれば、複数の画像の全てから対象となる被写体の顔が目をつむっていることが検出された場合には、前記対象となる被写体の顔は目をつむっていないと判定するようにした。これにより、細目の人で目を開いているにもかかわらず、目つむり警告されるのを防ぐことができる。

実施形態の撮像装置の概略構成を示すブロック図である。 第１の実施形態の撮像装置の処理動作を表すフローチャートである。 目つむり警告表示の例を示す図である。 目つむり判定結果のパターンの例を示した図である。 第２の実施形態の撮像装置の処理動作を表すフローチャートである。

以下、図面を参照して本発明の好適な実施の形態について説明する。
（撮像装置の構成）
図１は、本実施形態に関わる撮像装置１００の概略構成を示すブロック図である。
図１において、１はレンズ及び絞りからなる光学系、２はメカニカルシャッタ（メカシャッタと図示する）、３は撮像素子、４はアナログ信号処理を行うＣＤＳ回路、５はアナログ信号をデジタル信号に変換するＡ／Ｄ変換器である。また、６は撮像素子３、ＣＤＳ回路４及びＡ／Ｄ変換器５を動作させる信号を発生するタイミング信号発生回路、７は光学系１、メカニカルシャッタ２及び撮像素子３の被写体撮像部を駆動する駆動回路、８は画像データに必要な信号処理を行う信号処理回路である。

９は、信号処理回路８において信号処理された画像データを記憶する画像メモリ、１０は撮像装置１００から取り外し可能な画像記録媒体、１１は信号処理回路８において信号処理された画像データを画像記録媒体１０に記録する記録回路である。また、１２は信号処理回路８において信号処理された画像データを表示する画像表示装置、１３は画像表示装置１２に画像を表示する表示回路、１４は撮像装置全体を制御するシステム制御部となっている。

以下、前述のように構成された本実施形態の撮像装置１００を用いてメカニカルシャッタ２を使用した撮影動作について説明する。
光学系１は、システム制御部１４からの制御信号により、絞りとレンズを駆動して、適切な明るさに設定された被写体像を撮像素子３上に結像させる。次に、メカニカルシャッタ２は、システム制御部１４からの制御信号により、必要な露光時間となるように撮像素子３の動作に合わせて撮像素子３を遮光するように駆動される。この時、撮像素子３が電子シャッタ機能を有する場合は、メカニカルシャッタ２と併用して、必要な露光時間を確保してもよい。

撮像素子３は、システム制御部１４により制御されるタイミング信号発生回路６が発生する動作パルスをもとにした駆動パルスで駆動され、被写体像を光電変換により電気信号に変換してアナログ画像信号として出力する。撮像素子３から出力されたアナログの画像信号は、システム制御部１４により制御されるタイミング信号発生回路６が発生する動作パルスにより、ＣＤＳ回路４でクロック同期性ノイズを除去し、Ａ／Ｄ変換器５でデジタル画像信号に変換される。

次に、信号処理回路８において、色変換、ホワイトバランス、ガンマ補正等の画像処理、解像度変換処理、画像圧縮処理等を行う。信号処理回路８においては、システム制御部１４からの制御信号により信号処理をせずにデジタル画像信号をそのまま画像データとして、画像メモリ９や記録回路１１に出力してもよい。さらに、信号処理回路８は、システム制御部１４から要求があった場合に、信号処理の過程で生じたデジタル画像信号や画像データの情報をシステム制御部１４に出力する。例えば、画像の空間周波数、指定領域の平均値、圧縮画像のデータ量等の情報、あるいは、それらから抽出された情報をシステム制御部１４に出力する。記録回路１１は、システム制御部１４から要求があった場合に、画像記録媒体１０の種類や空き容量等の情報をシステム制御部１４に出力する。

次に、画像記録媒体１０に画像データが記録されている場合の再生動作について説明する。
システム制御部１４からの制御信号により、記録回路１１は、画像記録媒体１０から画像データを読み出す。同じくシステム制御部１４からの制御信号により信号処理回路８は、画像データが圧縮画像であった場合には、画像伸長処理を行い、画像メモリ９に記憶する。画像メモリ９に記憶されている画像データは、信号処理回路８で解像度変換処理を実施された後、表示回路１３において画像表示装置１２に適した信号に変換されて画像表示装置１２に表示される。

信号処理回路８は、プログラムにより構成される顔検出部８a、目領域検出部８ｂ及び目開閉検出部８ｃを有している。顔検出部８aは、公知の顔認識技術により撮影画像から人物の顔を検出する機能を有し、撮影画像に複数の人物が記録されている場合は、複数の顔部分を個別に検出する。目領域検出部８ｂは、顔検出部８aが検出した顔領域から目の存在する目領域を検出する。目開閉検出部８ｃは、目領域内の目が開いているか、または閉じているかを判断する。例えば、目開閉検出部８ｃは、目領域内のヒストグラムから黒目に相当する輝度の領域の面積を検出し、黒目に相当する輝度の領域の面積が、目領域の大きさに応じて設定された閾値を下回った場合に、目を閉じていると判断する。

（第１の実施形態）
図２は、本発明の第１の実施形態の撮像装置１００の処理動作を表すフローチャートである。
始めに、Ｓ２００でプレビュー画像を取得する。ここでのプレビュー画像とは、図１の画像記録媒体１０に記録する目的で撮影された画像ではなく、ユーザが撮影の構図やタイミングを決めるために、撮像素子を通じて画像表示装置１２に表示する動画像のことである。

次に、Ｓ２０１において、取得されたプレビュー画像に対して目つむり検出を行う。そして、ユーザによって記録用画像の撮影が指示されると、Ｓ２０２において、記録用画像の撮影を行う。その後、Ｓ２０３において、撮影された記録用画像に対して目つむり検出を行う。

次に、Ｓ２０４において、記録用画像の中の被写体が目つむり判定されたかどうかを判定する。この目つむり検出結果の判定において、目つむり判定された被写体が存在しなかった場合は、Ｓ２０６に進み、目つむり警告を行わない。また、Ｓ２０４において目つむり判定された被写体が存在した場合は、Ｓ２０５に進み、その被写体が、記録用画像撮影のｔフレーム前からプレビュー画像でも目つむりと判定されていたかどうかを判定する。この判定の結果、その被写体が記録用画像撮影のｔフレーム前から全てのプレビュー画像において、目つむりと判定されていた場合には、Ｓ２０６に進み、ユーザに対して目つむり警告を行わない。

また、その被写体が記録用画像撮影のｔフレーム前からプレビュー画像では１フレームでも目つむりと判定されていなかった場合、あるいはプレビュー画像取得開始からｔフレームが経過する前に記録用画像が撮影された場合には、Ｓ２０７に進む。Ｓ２０７においては、ユーザに対して目つむり警告を行う。前述の説明におけるtフレームの値は、所定値を経験的に適宜設定することができる。

ここでの目つむり警告とは、記録用画像を撮影した後に、例えば、記録した画像を画像表示装置１２で再生表示して、図３（ａ）のように、その中の目をつむっていると判定された被写体に警告用の枠を表示する。あるいは、図３（ｂ）のように、目をつむっている被写体が存在することをユーザに知らせる旨の文字を表示したり、音声やＬＥＤ等の光を発したりすることにより、撮影された画像の中に目をつむっている被写体が存在することをユーザに警告することである。

また、ここでは、目つむり警告を出してユーザに知らせる例を示した。しかし、それ以外にも、撮影画像を画像記録媒体１０にExifファイルとして記録する際に、Exifファイルのヘッダ部分の所定のタグに目を瞑った被写体が存在する旨を示す情報を記録するようにしてもよい。また、記録用画像撮影のｔフレーム前から目つむりの判定を行う例を示したが、プレビュー画像が開始されてから記録用画像撮影が行われるまでの全フレームにおいて、目つむりと判定されたかどうかを判定するようにしてもよい。

以上のように、本実施形態においては、撮影された記録用画像の中に目をつむっていると判定された被写体が存在する場合でも、その被写体が記録用画像撮影の所定のフレーム前からプレビュー画像でも目つむりと判定されていた場合について説明した。このような場合は、ユーザに対して目つむり警告を行わないようにした。このようにすることにより、目を開いているにもかかわらず、目をつむっていると判定されてしまうような細目の人物に対して目つむりであると誤判定してしまう不都合を回避することができる。

図４は、プレビュー画像の時間推移ごとの目つむり判定結果と記録用画像の目つむり判定結果のパターンの例を示した図である。従来の目つむり検出においては、プレビュー画像での目つむり判定結果を参照することなく、記録用画像での目つむり判定結果で、目をつむっていると判定されれば目つむり警告を出し、目をつむっていないと判定されれば目つむり警告を出さないようにしていた。

そのため、従来の目つむり検出に照らし合わせると、図４（ａ）のパターンでは、記録用画像が目をつむっていると判定されたので、目つむり警告を行う。図４（ｂ）のパターンでは、記録用画像が目をつむっていないと判定されたので、目つむり警告を行わない。
このとき、図４（ｃ）のパターンのように、目を開いているにもかかわらず、目をつむっていると判定されてしまうような細目の人物の場合は、記録用画像で目をつむっていると判定され、従来の目つむり検出では、目つむり警告が行われてしまうことになる。

しかし、本実施形態の撮像装置１００では、図４（ｃ）のパターンの場合、記録用画像撮影のtフレーム前のプレビュー画像から、記録用画像撮影の直前のプレビュー画像まで、ずっと目をつむっていると判定されている。このため、前述の説明のように、記録用画像で目をつむっていると判定されても目つむり警告を行わないことになる。したがって、本実施形態の撮像装置１００では、目つむり警告を出すべきでないこのような細目の人物について、誤って目つむり警告を出してしまうことを避けることができる。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。
本実施形態は、記録用画像の中に目つむりと判定された被写体が存在した場合に、自動で記録用画像の再撮影が実行されるような撮像装置での処理について説明する。なお、本実施形態の撮像装置の概略構成は、前述した第１の実施形態と同様であるため、構成を説明するブロック図を省略する。

図５は、本発明の第２の実施形態の撮像装置の処理動作を表すフローチャートである。
始めに、Ｓ５００でプレビュー画像を取得する。次に、Ｓ５０１において、Ｓ５００で取得されたプレビュー画像に対して目つむり検出を行う。そして、ユーザによって記録用画像の撮影が指示されると、Ｓ５０２において、記録用画像の撮影を行う。次に、Ｓ５０３において、記録用画像に対して目つむり検出を行う。次に、Ｓ５０４において、記録用画像の中の被写体が目つむり判定されたかどうかを判定する。

Ｓ５０４の判定の結果、目つむり判定された被写体が存在しなかった場合は、Ｓ５０６に進み、再撮影を行わない。一方、Ｓ５０４の判定の結果、目つむり判定された被写体が存在した場合はＳ５０５に進み、その被写体が、記録用画像撮影のｔ秒前からプレビュー画像でも目つむりと判定されていたかどうかを判定する。この判定の結果、その被写体が記録用画像撮影のｔフレーム前からプレビュー画像でも目つむりと判定されていた場合にはＳ５０６に進み、記録用画像の再撮影を行わない。

Ｓ５０５の判定の結果、その被写体が記録用画像撮影のｔフレーム前からプレビュー画像では１フレームでも目つむりと判定されていなかった場合、あるいはプレビュー画像取得開始からｔフレームが経過する前に記録用画像が撮影された場合にはＳ５０７に進む。Ｓ５０７においては、記録用画像の再撮影を行う。ここでの再撮影とは、撮影した記録用画像に目をつむっていた被写体が存在した場合に、目をつむっていない被写体の画像を得るために、撮像装置が自動で記録用画像を再撮影することである。

以上のように、本実施形態の撮像装置では、撮影された記録用画像の中に目をつむっていると判定された被写体が存在する場合でも、その被写体が記録用画像撮影の所定のフレーム前からプレビュー画像でも目つむりと判定されていた場合には、再撮影を行わない。
それによって、従来ならば、再撮影する必要のない、目を開いた細目の人物について、誤判定によって再撮影することを避けることができる。

（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、前述した実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１ 光学系、３ 撮像素子、７ 駆動回路、８ 信号処理回路、９ 画像メモリ、１０ 画像記録媒体、１１ 記録回路、１２ 画像表示装置、１３ 表示回路、１４ システム制御部

Claims (10)

1. 画像から顔を検出する顔検出手段と、
   前記顔検出手段により検出された顔が目をつむっているかどうかを検出する目つむり検出手段と、
   複数の画像における、対象となる被写体に対する目つむりの検出結果に応じて、前記複数の画像のうちの第１の画像において、前記対象となる被写体の顔が目をつむっているのかを判定する判定手段と、を備え、
   前記判定手段は、
   前記目つむり検出手段によって、前記第１の画像から前記対象となる被写体の顔が目をつむっていることが検出され、かつ、前記複数の画像のうちの、前記第１の画像以外の他の画像から前記対象となる被写体の顔が目をつむっていないことが検出された場合には、前記第１の画像における前記対象となる被写体の顔は目をつむっていると判定し、
   前記目つむり検出手段によって、前記複数の画像の全てから前記対象となる被写体の顔が目をつむっていることが検出された場合には、前記第１の画像における前記対象となる被写体の顔は目をつむっていないと判定することを特徴とする画像処理装置。
2. 前記他の画像は、前記第１の画像よりも前のフレームの画像であることを特徴とする請求項１に記載の画像処理装置。
3. 前記判定手段が前記第１の画像における前記対象となる被写体の顔が目をつむっていると判定した場合に、前記第１の画像について目つむりであることの警告を行う警告手段を有することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記複数の画像を生成する撮像手段と、請求項１乃至３のいずれか１項に記載の画像処理装置を備えた撮像装置。
5. 撮像手段と、
   画像から顔を検出する顔検出手段と、
   前記顔検出手段により検出された顔が目をつむっているかどうかを検出する目つむり検出手段と、
   前記撮像手段で生成した記録用画像における、対象となる被写体に対する目つむりの検出結果に応じて、前記撮像手段に記録用画像を再び生成させる再撮影を行わせる制御手段と、を備え、
   前記制御手段は、
   前記目つむり検出手段によって、前記記録用画像から前記対象となる被写体の顔が目をつむっていることが検出され、かつ、前記記録用画像よりも前に前記撮像手段で生成された他の画像から前記対象となる被写体の顔が目をつむっていないことが検出された場合には、前記撮像手段に再撮影を行わせ、
   前記目つむり検出手段によって、前記記録用画像および前記他の画像のいずれからも前記対象となる被写体の顔が目をつむっていることが検出された場合には、前記撮像手段に再撮影を行わせないことを特徴とする撮像装置。
6. 前記制御手段は、前記記録用画像、および、前記記録用画像を撮影する前の予め設定した全てのフレームの画像から、前記対象とある被写体の顔が目をつむっていることが検出された場合には、前記撮像手段に再撮影を行わせないことを特徴とする請求項５に記載の撮像装置。
7. 画像から顔を検出する顔検出手段と、前記顔検出手段により検出された顔が目をつむっているかどうかを検出する目つむり検出手段と、を有する画像処理装置の制御方法であって、
   前記目つむり検出手段によって、複数の画像のうちの第１の画像から対象となる被写体の顔が目をつむっていることが検出され、かつ、前記複数の画像のうちの、前記第１の画像以外の他の画像から前記対象となる被写体の顔が目をつむっていないことが検出された場合には、前記第１の画像における前記対象となる被写体の顔は目をつむっていると判定し、前記目つむり検出手段によって、前記複数の画像の全てから前記対象となる被写体の顔が目をつむっていることが検出された場合には、前記第１の画像における前記対象となる被写体の顔は目をつむっていないと判定する工程を含むことを特徴とする画像処理装置の制御方法。
8. 撮像手段と、画像から顔を検出する顔検出手段と、前記顔検出手段により検出された顔が目をつむっているかどうかを検出する目つむり検出手段とを備えた撮像装置の制御方法であって、
   前記目つむり検出手段によって、前記撮像手段で生成した記録用画像から対象となる被写体の顔が目をつむっていることが検出され、かつ、前記記録用画像よりも前に前記撮像手段で生成された他の画像から前記対象となる被写体の顔が目をつむっていないことが検出された場合には、前記撮像手段に記録用画像を再び生成させる再撮影を行わせ、前記目つむり検出手段によって、前記記録用画像および前記他の画像のいずれからも前記対象となる被写体の顔が目をつむっていることが検出された場合には、前記撮像手段に再撮影を行わせない工程を含むことを特徴とする撮像装置の制御方法。
9. 画像から顔を検出する顔検出手段と、前記顔検出手段により検出された顔が目をつむっているかどうかを検出する目つむり検出手段と、を有する画像処理装置を制御するシステム制御工程をコンピュータに実行させるコンピュータプログラムであって、
   前記システム制御工程において、
   前記目つむり検出手段によって、複数の画像のうちの第１の画像から対象となる被写体の顔が目をつむっていることが検出され、かつ、前記複数の画像のうちの、前記第１の画像以外の他の画像から前記対象となる被写体の顔が目をつむっていないことが検出された場合には、前記第１の画像における前記対象となる被写体の顔は目をつむっていると判定し、前記目つむり検出手段によって、前記複数の画像の全てから前記対象となる被写体の顔が目をつむっていることが検出された場合には、前記第１の画像における前記対象となる被写体の顔は目をつむっていないと判定する処理をコンピュータに実行させるコンピュータプログラム。
10. 撮像手段と、画像から顔を検出する顔検出手段と、前記顔検出手段により検出された顔が目をつむっているかどうかを検出する目つむり検出手段とを備えた撮像装置を制御するシステム制御工程をコンピュータに実行させるコンピュータプログラムであって、
    前記システム制御工程において、
    前記目つむり検出手段によって、前記撮像手段で生成した記録用画像から対象となる被写体の顔が目をつむっていることが検出され、かつ、前記記録用画像よりも前に前記撮像手段で生成された他の画像から前記対象となる被写体の顔が目をつむっていないことが検出された場合には、前記撮像手段に記録用画像を再び生成させる再撮影を行わせ、前記目つむり検出手段によって、前記記録用画像および前記他の画像のいずれからも前記対象となる被写体の顔が目をつむっていることが検出された場合には、前記撮像手段に再撮影を行わせない処理をコンピュータに実行させるコンピュータプログラム。

Images