JP2018106763A - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- JP2018106763A JP2018106763A JP2018073164A JP2018073164A JP2018106763A JP 2018106763 A JP2018106763 A JP 2018106763A JP 2018073164 A JP2018073164 A JP 2018073164A JP 2018073164 A JP2018073164 A JP 2018073164A JP 2018106763 A JP2018106763 A JP 2018106763A
- Authority
- JP
- Japan
- Prior art keywords
- image
- face
- images
- sharpness
- evaluation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 23
- 238000011156 evaluation Methods 0.000 claims abstract description 64
- 238000001514 detection method Methods 0.000 claims abstract description 47
- 238000000034 method Methods 0.000 description 23
- 238000012854 evaluation process Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 4
- 239000004973 liquid crystal related substance Substances 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 3
- 230000004069 differentiation Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
【課題】顔に不要物が重なった画像を適切に評価すること。【解決手段】撮像装置1は、入力された画像から被写体の顔を検出する顔検出手段11と、顔の領域に複数の小領域を設定する領域設定手段11と、複数の小領域において、特徴量を算出する特徴量算出手段11と、複数の小領域のうちの顔左側の小領域の特徴量と顔右側の小領域の特徴量との違いに基づいて、画像を評価する画像評価手段11と、を備える。【選択図】図1
Description
本発明は、撮像装置に関する。
連写撮影した複数の画像の中からベストショット候補画像を選ぶカメラが知られている(特許文献1参照)。このカメラでは、上記複数の画像に対して、顔部不要物の有無や目瞑りの有無、顔エリアのブレなどの複数の評価因子に関する評価を行い、この評価結果に基づいてベストショット画像が選ばれる。
上記従来技術では、被写体の顔に不要物が重なっている画像についてはベストショット候補画像として選ばれないように評価を低くしている。顔に不要物が重なっているか否かの評価については、顔検出処理の結果、顔のパーツ(目、鼻、口など)の一部が検出されないことにより判断することが可能である。しかしながら、顔に不要物が重なっていても顔のパーツが遮蔽されていないような画像については、顔のパーツの検出結果だけでは顔に不要物が重なっているか判断できず、適切に評価を行えないおそれがある。
本発明の一態様による撮像装置は、入力された複数の画像から被写体の顔を検出する顔検出部と、前記顔検出部で検出された前記顔の領域を含む第1領域および第2領域の特徴に基づいて、前記複数の画像の各画像をそれぞれ評価する評価部と、を備える。
本発明によれば、複数の画像を適切に評価することができる。
以下、図面を参照して本発明を実施するための形態について説明する。図1は、本発明の一実施の形態によるデジタルカメラ1の要部構成を説明するブロック図である。デジタルカメラ1は、メインCPU11によって制御される。
撮影レンズ21は、撮像素子22の撮像面上に被写体像を結像させる。撮像素子22はCCDイメージセンサまたはCMOSイメージセンサによって構成され、撮像面上の被写体像を撮像し、撮像信号を撮像回路23へ出力する。撮像回路23は、撮像素子22から出力される光電変換信号に対するアナログ処理(ゲインコントロールなど)を行う他、内蔵するA/D変換回路でアナログ撮像信号をディジタルデータに変換する。
メインCPU11は、各ブロックから出力される信号を入力して所定の演算を行い、演算結果に基づく制御信号を各ブロックへ出力する。画像処理回路12は、たとえばASICとして構成され、撮像回路23から入力されるディジタル画像信号に対して画像処理を行う。画像処理には、たとえば、輪郭強調や色温度調整(ホワイトバランス調整)処理、画像信号に対するフォーマット変換処理が含まれる。
画像圧縮回路13は、画像処理回路12による処理後の画像信号に対して、たとえばJPEG方式で所定の圧縮比率の画像圧縮処理を行う。表示画像作成回路14は、撮像画像を液晶モニタ19に表示させるための表示用信号を生成する。
液晶モニタ19は液晶パネルによって構成され、表示画像作成回路14から入力される表示用信号に基づいて画像や操作メニュー画面などを表示する。映像出力回路20は、表示画像作成回路14から入力される表示用信号に基づいて、画像や操作メニュー画面などを外部の表示装置に表示させるための映像信号を生成して出力する。
バッファメモリ15は、画像処理前、画像処理後および画像処理途中のデータを一時的に記憶する他、記録媒体30へ記録する前の画像ファイルを記憶したり、記録媒体30から読み出した画像ファイルを記憶したりするために使用される。本実施形態では、撮影指示前(レリーズボタンの全押し操作前)に撮像素子22によって所定のフレームレートで取得するプリキャプチャー画像を一時的に記憶する場合にも使用される。プリキャプチャー画像については後述する。
フラッシュメモリ16は、メインCPU11が実行するプログラムや、メインCPU11が行う処理に必要なデータなどが格納される。フラッシュメモリ16が格納するプログラムやデータの内容は、メインCPU11からの指示によって追加、変更が可能に構成されている。
カードインターフェース(I/F)17はコネクタ(不図示)を有し、該コネクタにメモリカードなどの記録媒体30が接続される。カードインターフェース17は、メインCPU11からの指示により、接続された記録媒体30に対するデータの書き込みや、記録媒体30からのデータの読み込みを行う。記録媒体30は、半導体メモリを内蔵したメモリカード、またはハードディスクドライブなどで構成される。
操作部材18は、デジタルカメラ1の各種ボタンやスイッチ類を含み、モード切替スイッチの切換操作など、各操作部材の操作内容に応じた操作信号をメインCPU11へ出力する。半押しスイッチ18aおよび全押しスイッチ18bは、レリーズボタン(不図示)の押下操作に連動して、それぞれがオン信号をメインCPU11へ出力する。半押しスイッチ18aからのオン信号(半押し操作信号)は、レリーズボタンが通常ストロークの半分程度まで押し下げ操作されると出力され、半ストロークの押し下げ操作解除で出力が解除される。全押しスイッチ18bからのオン信号(全押し操作信号)は、レリーズボタンが通常ストロークまで押し下げ操作されると出力され、通常ストロークの押し下げ操作が解除されると出力が解除される。半押し操作信号は、メインCPU11に対して撮影準備の開始を指示する。全押し操作信号は、メインCPU11に対して記録用画像の取得開始を指示する。
<撮影モード>
デジタルカメラ1は、通常の撮影モードとプリキャプチャー撮影モードとを有する。通常の撮影モードでは、上記全押し操作信号に応じて1コマずつ撮影画像を取得して記録媒体30へ記録する。プリキャプチャー撮影モードでは、上記半押し操作信号を受けると高速シャッタ秒時(たとえば125分の1秒より高速)の静止画像を120フレーム/毎秒(120fps)で連写撮影して複数コマの連写撮影画像を取得する。そして、上記全押し操作信号を受けると当該全押し操作信号を受けた時点の前後の所定のフレーム画像をそれぞれ記録媒体30へ記録する。各撮影モードは、操作部材18からの操作信号に応じて切替え可能に構成されている。
デジタルカメラ1は、通常の撮影モードとプリキャプチャー撮影モードとを有する。通常の撮影モードでは、上記全押し操作信号に応じて1コマずつ撮影画像を取得して記録媒体30へ記録する。プリキャプチャー撮影モードでは、上記半押し操作信号を受けると高速シャッタ秒時(たとえば125分の1秒より高速)の静止画像を120フレーム/毎秒(120fps)で連写撮影して複数コマの連写撮影画像を取得する。そして、上記全押し操作信号を受けると当該全押し操作信号を受けた時点の前後の所定のフレーム画像をそれぞれ記録媒体30へ記録する。各撮影モードは、操作部材18からの操作信号に応じて切替え可能に構成されている。
<再生モード>
再生モードのデジタルカメラ1は、上記各撮影モードにおいて記録された画像を各コマごとに、あるいは所定数のコマごとに、液晶モニタ19に再生表示する。
再生モードのデジタルカメラ1は、上記各撮影モードにおいて記録された画像を各コマごとに、あるいは所定数のコマごとに、液晶モニタ19に再生表示する。
<プリキャプチャー撮影>
図2は、プリキャプチャー撮影モードにおける画像の取得タイミングを説明する図である。図2において、時刻t0に半押し操作信号が入力されると、メインCPU11はレリーズ待機処理を開始させる。レリーズ待機処理では、たとえば、120フレーム/毎秒(120fps)のフレームレートで被写体像を連続的に撮影し、取得した画像データを逐次バッファメモリ15へ記憶する。
図2は、プリキャプチャー撮影モードにおける画像の取得タイミングを説明する図である。図2において、時刻t0に半押し操作信号が入力されると、メインCPU11はレリーズ待機処理を開始させる。レリーズ待機処理では、たとえば、120フレーム/毎秒(120fps)のフレームレートで被写体像を連続的に撮影し、取得した画像データを逐次バッファメモリ15へ記憶する。
プリキャプチャー撮影のために使用するバッファメモリ15のメモリ容量は、あらかじめ十分な容量が確保されている。メインCPU11は、時刻t0以降にバッファメモリ15内に記憶したフレーム画像の枚数が所定枚数(たとえばA枚)に達した場合には、古いフレーム画像から順に上書き消去する。これにより、プリキャプチャー撮影のために使用するバッファメモリ15のメモリ容量を制限できる。
時刻t1に全押し操作信号が入力されると、メインCPU11はレリーズ処理を開始させる。レリーズ処理では、時刻t1以前に撮像したA枚のフレーム画像と、時刻t1以降に撮像されるB枚のフレーム画像とを合わせた(A+B)枚のフレーム画像を記録媒体30への記録候補画像とする。
次に、プリキャプチャー撮影モードにおける処理の流れについて、図3に示すフローチャートを用いて説明する。メインCPU11は、半押し操作信号が入力されると、図3による処理を起動する。
図3のステップS1において、メインCPU11は、上述したレリーズ待機処理を開始して、ステップS2に進む。
ステップS2において、メインCPU11は、全押し操作信号が入力されたか否かを判定する。CPU11は、全押し操作信号が入力されるまでステップS2の判定処理を繰り返し、全押し操作信号が入力されると、ステップS3に進む。
ステップS3において、メインCPU11は、上述したレリーズ処理を行って、(A+B)枚のフレーム画像を記録候補画像とし、ステップS4に進む。
ステップS4において、メインCPU11は、記録候補画像とした(A+B)枚のフレーム画像をそれぞれ評価する画像評価処理を行う。この画像評価処理において、メインCPU11は、(A+B)枚のフレーム画像のそれぞれに対して、顔検出信頼度、目瞑りの有無、顔エリアのブレなど、複数の評価項目について評価を行う。そして、メインCPU11は、各フレーム画像(A+B)枚のフレーム画像のそれぞれについて、これらの評価結果をもとに総合的な評価を求めて、ステップS5に進む。
ステップS5において、メインCPU11は、ステップS4での評価結果をもとに、(A+B)枚のフレーム画像のうち、総合的な評価の高いC枚のフレーム画像(C<(A+B))をベストショット候補画像として選定する。メインCPU11は、選定したC枚のフレーム画像を関連付けて記録媒体30に記録する。さらに、メインCPU11は、C枚のフレーム画像(ベストショット候補画像)のうち、最も総合的な評価の高い1枚のフレーム画像を、ベストショット画像として選定して、図3の処理を終了する。
本実施形態は、上述した画像評価処理において、特に顔検出信頼度の評価処理に特徴を有するため、以下の説明はこの点を中心に行う。
<顔検出信頼度の評価処理>
まず、顔検出信頼度の評価処理の概要について、図4を用いて説明する。図4は、被写体である人物が顔100の前で手150を振っている際に連写撮影された画像の一例を模式的に示している。図4(a)に示す画像では、人物の顔100に手150が重なっており、人物の目は見えているが、鼻と口が遮蔽されている。図4(b)に示す画像では、人物の顔100の一部に手150が重なっているが、人物の目、鼻および口は遮蔽されていない。図4(c)に示す画像では、人物の顔100に手150が重なっていない。たとえば人物が手150を顔に当ててポーズをとるような場合と異なり、手150を動かしているような場合は人物が意図せずに手150が顔に重なり、手150が不要物であると考えられる。そこで、図4(a)〜図4(c)に示す画像の中では、人物の顔100に不要物である手150が重なっていない図4(c)に示す画像がベストショット候補画像として選定されるのが望ましい。そのため、図4(a)および(b)に示す画像では、顔検出信頼度が相対的に低く評価され、図4(c)に示す画像では、顔検出信頼度が相対的に高く評価されることが望ましい。
まず、顔検出信頼度の評価処理の概要について、図4を用いて説明する。図4は、被写体である人物が顔100の前で手150を振っている際に連写撮影された画像の一例を模式的に示している。図4(a)に示す画像では、人物の顔100に手150が重なっており、人物の目は見えているが、鼻と口が遮蔽されている。図4(b)に示す画像では、人物の顔100の一部に手150が重なっているが、人物の目、鼻および口は遮蔽されていない。図4(c)に示す画像では、人物の顔100に手150が重なっていない。たとえば人物が手150を顔に当ててポーズをとるような場合と異なり、手150を動かしているような場合は人物が意図せずに手150が顔に重なり、手150が不要物であると考えられる。そこで、図4(a)〜図4(c)に示す画像の中では、人物の顔100に不要物である手150が重なっていない図4(c)に示す画像がベストショット候補画像として選定されるのが望ましい。そのため、図4(a)および(b)に示す画像では、顔検出信頼度が相対的に低く評価され、図4(c)に示す画像では、顔検出信頼度が相対的に高く評価されることが望ましい。
図4(a)に示す画像に対して顔検出処理を行った場合、顔100の肌色や目は検出されるが、鼻および口が検出されない。そのため、顔のパーツの検出結果から顔100に不要物が重なっていることが判断でき、顔検出信頼度の評価を低くできる。
一方、図4(b)に示す画像に対して顔検出処理を行った場合、顔100の顎部分に手150が重なっているものの、目、鼻および口については検出される。同様に、図4(c)に示す画像に対して顔検出処理を行った場合にも、目、鼻および口が検出される。したがって、顔のパーツの検出結果だけでは、図4(b)に示す画像と図4(c)に示す画像との区別がつかず、図4(b)に示す画像において顔100に不要物が重なっていることを判断できない。そのため、図4(b)に示す画像においても、図4(c)に示す画像と同様に、顔検出信頼度の評価が高くなってしまう。
そこで、本実施形態では、図4(b)のように目、鼻および口が遮蔽されていないが顔100に不要物が重なっている画像については評価が低くなり、図4(c)のように顔100に不要物が重なっていない画像について評価が高くなるように、顔検出信頼度の評価を行う。
以下、顔検出信頼度の評価処理の詳細について説明する。図5は、顔検出信頼度の評価処理の流れを説明するフローチャートである。メインCPU11は、レリーズ処理が終了し、記録候補画像である(A+B)枚のフレーム画像がバッファメモリ15に入力されると、図5による処理を起動する。
図5のステップS11において、メインCPU11は、記録候補画像とした(A+B)枚のフレーム画像の各々において、被写体の顔を検出する顔検出処理を行う。顔検出処理については公知の方法を用いればよい。
ステップS12において、メインCPU11は、図6に示すように、顔検出処理により検出された顔100の領域を分割する矩形状の7つの小領域201〜207を設定する。これら7つの小領域201〜207は、それぞれ顔の一部の輪郭を含む位置および大きさに設定される。
具体的に、メインCPU11は、左目101の輪郭を含むように左目小領域201を設定し、右目102の輪郭を含むように右目小領域202を設定する。左目小領域201および右目小領域202は、目およびその周囲の領域を左目101と右目102の中央位置から左右に分割するように設定される。
また、メインCPU11は、左頬の輪郭を含むように左頬小領域203を設定し、右頬の輪郭を含むように右頬小領域204を設定する。左頬小領域203は、左目小領域201の下側に設定される。右頬小領域204は、右目小領域202の下側に設定される。また左頬小領域203および右頬小領域204は、鼻および頬の領域を鼻103の中央位置から左右に分割するように設定される。
さらに、メインCPU11は、左顎の輪郭を含むように左顎小領域205を設定し、右顎の輪郭を含むように右顎小領域206を設定し、口104の輪郭を含むように口小領域207を設定する。左顎小領域205は、左頬小領域203の下側且つ口小領域207の左側に設定される。右顎小領域206は、口小領域207の右側に設定される。
なお、本実施形態では、顔検出処理によって顔100の輪郭(エッジ)そのものは検出していない。しかしながら、左目101、右目102および口104の位置関係から顔100の標準的な輪郭の位置を推測することができる。このことをふまえ、メインCPU11は、顔検出処理の結果得られた左目101、右目102および口104の位置関係に基づいて、7つの小領域201〜207の位置および大きさを決定する。
図5のステップS13において、メインCPU11は、上記設定した7つの小領域201〜207の各々において、鮮鋭度を算出する。なお、各小領域の鮮鋭度は、たとえば2次微分処理を用いるなど、公知の方法で算出すればよい。
図7は、図4(b)に示した画像の顔100の領域において、上記7つの小領域201〜207を設定した状態を示す図である。図7では、顔100において、目、鼻および口は遮蔽されていないものの、左顎から口元にかけて手150が重なっているため、左顎の輪郭の一部が遮蔽されている。そのため、図7において、左顎小領域205の鮮鋭度は、顎部分の輪郭が遮蔽されていない右顎小領域206の鮮鋭度と比べて低くなる。特に手150を動かしている際に撮影された場合には、手150がブレて写るため、左顎小領域205の鮮鋭度は、右顎小領域206の鮮鋭度と比べてより低くなる。
たとえば、図6に示したように、顔100に手150が重なっていない画像において、左顎小領域205の鮮鋭度と右顎小領域206の鮮鋭度との比が10:9であると仮定する。これに対し、図7に示すように、左顎部分に手150が重なった画像では、たとえば、左顎小領域205の鮮鋭度と右顎小領域206の鮮鋭度との比が5:9となるなど、左顎小領域205の鮮鋭度が図6に示した画像と比べても低くなる。つまり、図6に示す画像と図7に示す画像とを比較すると、左顎小領域205の鮮鋭度と右顎小領域206の鮮鋭度との違いの度合いが異なる。
したがって、左顎小領域205の鮮鋭度と右顎小領域206の鮮鋭度との違いの度合いについて、顔100が遮蔽されていない画像と評価対象の画像とを比較することで、評価対象の画像において左顎または右顎に不要物が重なっているか否かを判断できる。すなわち、顔100が遮蔽されていない画像における上記度合いに対して評価対象の画像における上記度合いが大きく異なる場合には、評価対象の画像において左顎または右顎に不要物が重なっていると判断できる。一方、顔100が遮蔽されていない画像における上記度合いと評価対象の画像における上記度合いとがほぼ等しい場合には、評価対象の画像において左顎または右顎に不要物が重なっていないと判断できる。
また、左目小領域201と右目小領域202、および左頬小領域203と右頬小領域204についても同様に判断できると考えられる。すなわち、顔左側の小領域の鮮鋭度と顔右側の小領域の鮮鋭度との違いに基づいて、顔100に不要物が重なっているか否かを判断できると考えられる。
さらに、左右の小領域における鮮鋭度の違いを比較するだけでなく、左頬小領域203と左顎小領域205、および右頬小領域204と右顎小領域206における鮮鋭度の違いを比較しても、同様に判断できると考えられる。また、左目小領域201と右目小領域202の鮮鋭度の平均値と口小領域207の鮮鋭度との違いを比較すれば、目または口に不要物が重なっているか否かを判断できると考えられる。
本実施形態では、以上の点をふまえて顔検出信頼度の評価処理が行われる。図5のステップS14において、メインCPU11は、記録候補画像とした(A+B)枚のフレーム画像の中から、顔100が遮蔽されていないと予測される1枚のフレーム画像を、基準画像として決定する。このときメインCPU11は、ステップS13において各フレーム画像の上記7つの小領域201〜207の各々で算出した鮮鋭度に基づいて、基準画像を決定する。
たとえば、メインCPU11は、(A+B)枚のフレーム画像において、7つの小領域201〜207の各々における鮮鋭度の最大値を求める。メインCPU11は、各フレーム画像の鮮鋭度と上記鮮鋭度の最大値との差分を算出し、7つの小領域201〜207における上記差分が総合的に最も小さいフレーム画像を、顔100が遮蔽されていない画像と判断し、基準画像として決定する。
ステップS15において、メインCPU11は、(A+B)枚のフレーム画像を順に評価対象画像に設定して、顔検出信頼度の評価を行う。メインCPU11は、以下の第1組〜第6組における鮮鋭度の違いの度合いについて、基準画像と評価対象画像とを比較し、この比較結果に基づいて評価対象画像における顔検出信頼度を評価する。
(第1組)左目小領域201の鮮鋭度と右目小領域202の鮮鋭度との違いの度合い
(第2組)左頬小領域203の鮮鋭度と右頬小領域204の鮮鋭度との違いの度合い
(第3組)左顎小領域205の鮮鋭度と右顎小領域206の鮮鋭度との違いの度合い
(第4組)左頬小領域203の鮮鋭度と左顎小領域205の鮮鋭度との違いの度合い
(第5組)右頬小領域204の鮮鋭度と右顎小領域206の鮮鋭度との違いの度合い
(第6組)左目小領域201の鮮鋭度および右目小領域202の鮮鋭度の平均値と口小領域207の鮮鋭度との違いの度合い
(第1組)左目小領域201の鮮鋭度と右目小領域202の鮮鋭度との違いの度合い
(第2組)左頬小領域203の鮮鋭度と右頬小領域204の鮮鋭度との違いの度合い
(第3組)左顎小領域205の鮮鋭度と右顎小領域206の鮮鋭度との違いの度合い
(第4組)左頬小領域203の鮮鋭度と左顎小領域205の鮮鋭度との違いの度合い
(第5組)右頬小領域204の鮮鋭度と右顎小領域206の鮮鋭度との違いの度合い
(第6組)左目小領域201の鮮鋭度および右目小領域202の鮮鋭度の平均値と口小領域207の鮮鋭度との違いの度合い
なお、上記鮮鋭度の違いの度合いについて、基準画像と評価対象画像とを比較する方法としては、たとえば、以下に説明する方法を用いればよい。以下の説明では、上記第3組(左顎小領域205と右顎小領域206の組)における鮮鋭度の違いの度合いについて比較する場合を例に説明する。メインCPU11は、評価対象画像における左顎小領域205の鮮鋭度を、基準画像における左顎小領域205の鮮鋭度で規格化する。また、メインCPU11は、評価対象画像における右顎小領域206の鮮鋭度を、基準画像における右顎小領域206の鮮鋭度で規格化する。ここで、評価対象画像における規格化後の左顎小領域205の鮮鋭度をαと表記し、右顎小領域206の鮮鋭度をβと表記する。
メインCPU11は、αとβの比が基準値から所定範囲内にある場合、評価対象画像における上記度合いと基準画像における上記度合いとの違いが所定範囲内であると判断する。この場合、メインCPU11は、左顎小領域205または右顎小領域206に不要物が重なっていないと判断する。
一方、メインCPU11は、αとβの比が基準値から所定値以上異なる場合には、評価対象画像における上記度合いが基準画像における上記度合いと所定以上異なると判断する。この場合、メインCPU11は、左顎小領域205または右顎小領域206に不要物が重なっていると判断する。
このようにして、メインCPU11は、上記第1組〜第6組における鮮鋭度の違いの度合いについて、基準画像と評価対象画像とを比較し、各小領域に不要物が重なっているか否かを判断する。メインCPU11は、上記第1組〜第6組のうちいずれか1組についても、評価対象画像における上記度合いが基準画像における上記度合いと所定以上異なる場合には、評価対象画像における顔検出信頼度の評価を上記(A+B)枚のフレーム画像内で相対的に低くする。すなわち、メインCPU11は、上記第1組〜第6組のうちいずれか1組でも不要物が重なっていると判断された場合には、顔検出信頼度の評価を相対的に低くする。
一方、メインCPU11は、上記第1組〜第6組の全てにおいて、評価対象画像における上記度合いと基準画像における上記度合いとの違いが所定範囲内である場合には、評価対象画像における上記(A+B)枚のフレーム画像内で相対的に高くする。すなわち、メインCPU11は、上記第1組〜第6組のうち全てにおいて不要物が重なっていないと判断された場合に、顔検出信頼度の評価を相対的に高くする。
このようにメインCPU11は、上記第1組〜第6組のうちいずれか1組においても不要物が重なっていると判断された場合には、上記第1組〜第6組の全てにおいて不要物が重なっていないと判断された場合と比べて、評価対象画像における顔検出信頼度の評価を低くする。
以上の処理により、図4(a)に示したように目、鼻および口のいずれか遮蔽された画像だけでなく、図4(b)に示したように目、鼻および口が遮蔽されていないが顔100に不要物が重なっている画像についても、顔検出信頼度の評価を相対的に低くすることができる。一方、図4(c)に示したように顔100に不要物が重なっていない画像については、顔検出信頼度の評価を相対的に高くすることができる。
上述した図3のステップS5において、メインCPU11は、この顔検出信頼度の評価を含む評価結果に基づいて、(A+B)枚のフレーム画像からC枚のベストショット候補画像を選定する。このとき、目、鼻および口が遮蔽されていないが顔100に不要物が重なっている画像について顔検出信頼度の評価が相対的に低くなっているので、このような画像がベストショット候補画像として選ばれるのを防止できる。一方、顔100に不要物が重なっていない画像については顔検出信頼度の評価が相対的に高くなっているので、ベストショット候補画像として選ばれるようにできる。
以上説明した実施の形態によれば、次の作用効果が得られる。
(1)デジタルカメラ1において、メインCPU11は、入力された複数の画像から被写体の顔を検出し、顔の領域に複数の小領域201〜207を設定し、複数の小領域201〜207の各々において、鮮鋭度を算出する。メインCPU11は、上記複数の画像の中から基準画像を決定する。メインCPU11は、複数の小領域201〜207のうちの顔左側の小領域の鮮鋭度と顔右側の小領域の鮮鋭度との違いの度合いについて、基準画像とこの他の上記複数の画像とで比較し、比較結果に基づいて上記複数の画像をそれぞれ評価する。メインCPU11は、上記評価結果に基づいて、上記複数の画像の中から一枚以上の画像を選定する。こうすることにより、デジタルカメラ1は、顔に不要物が重なった画像を適切に評価でき、このような画像がベストショット候補として選ばれるのを防止することができる。
(1)デジタルカメラ1において、メインCPU11は、入力された複数の画像から被写体の顔を検出し、顔の領域に複数の小領域201〜207を設定し、複数の小領域201〜207の各々において、鮮鋭度を算出する。メインCPU11は、上記複数の画像の中から基準画像を決定する。メインCPU11は、複数の小領域201〜207のうちの顔左側の小領域の鮮鋭度と顔右側の小領域の鮮鋭度との違いの度合いについて、基準画像とこの他の上記複数の画像とで比較し、比較結果に基づいて上記複数の画像をそれぞれ評価する。メインCPU11は、上記評価結果に基づいて、上記複数の画像の中から一枚以上の画像を選定する。こうすることにより、デジタルカメラ1は、顔に不要物が重なった画像を適切に評価でき、このような画像がベストショット候補として選ばれるのを防止することができる。
(2)メインCPU11は、上記複数の画像のうちの評価対象画像における上記度合いが、上記基準画像における上記度合いと所定以上異なる場合に、上記評価対象画像の評価を上記複数の画像内で相対的に低くする。これにより、顔に不要物が重なった画像の評価を上記複数の画像内で相対的に低くすることができる。
(3)上記複数の小領域201〜207は、顔の一部の輪郭を含む位置および大きさに設定される。これにより、上記複数の小領域201〜207の各々において算出した鮮鋭度に基づいて、顔に不要物が重なっている場合か否かを判断できる。
(4)メインCPU11は、左頬小領域203の鮮鋭度と右頬小領域204の鮮鋭度との違いの度合いについて、基準画像とこの他の上記複数の画像とで比較する。これにより、左頬または右頬に不要物が重なっているか否かを判断できる。
(5)メインCPU11は、左顎小領域205の鮮鋭度と右顎小領域206の鮮鋭度との違いの度合いについて、基準画像とこの他の上記複数の画像とで比較する。これにより、左顎または右顎に不要物が重なっているか否かを判断できる。
(6)メインCPU11は、左目小領域201の鮮鋭度と右目小領域202の鮮鋭度との違いの度合いについて、基準画像とこの他の上記複数の画像とで比較する。これにより、左目または右目に不要物が重なっているか否かを判断できる。
(7)メインCPU11は、左頬小領域203の鮮鋭度と左顎小領域205の鮮鋭度との違いの度合いについて、基準画像とこの他の上記複数の画像とで比較する。これにより、左頬または左顎に不要物が重なっているか否かを判断できる。
(8)メインCPU11は、右頬小領域204の鮮鋭度と右顎小領域206の鮮鋭度との違いの度合いについて、基準画像とこの他の上記複数の画像とで比較する。これにより、右頬または右顎に不要物が重なっているか否かを判断できる。
(9)メインCPU11は、左目小領域201および右目小領域202の鮮鋭度と口小領域207の鮮鋭度との違いの度合いについて、基準画像とこの他の上記複数の画像とで比較する。これにより、目または口に不要物が重なっているか否かを判断できる。
(変形例1)
上述した実施の形態では、図6に示したように、顔領域を7つの小領域に分割する例について説明した。しかしながら、顔領域の分割数や小領域の形状など、分割方法についてはこれに限らなくてもよい。たとえば、口小領域207を設定せずに、口を含む顎の領域を口104の中央位置から左右に分割するように、左顎小領域205および右顎小領域206を設定するようにしてもよい。
上述した実施の形態では、図6に示したように、顔領域を7つの小領域に分割する例について説明した。しかしながら、顔領域の分割数や小領域の形状など、分割方法についてはこれに限らなくてもよい。たとえば、口小領域207を設定せずに、口を含む顎の領域を口104の中央位置から左右に分割するように、左顎小領域205および右顎小領域206を設定するようにしてもよい。
また、上述した実施形態では、顔領域を上下左右に分割するように小領域を設定する例について説明したが、顔領域を左右のみに分割するように小領域を設定してもよいし、顔領域を上下のみに分割するように小領域を設定してもよい。
(変形例2)
上述した実施の形態では、上記第1組〜第6組の小領域における鮮鋭度の違いの度合いについて、基準画像と評価対象画像とを比較し、比較結果に基づいて評価対象画像における顔検出信頼度を評価する例について説明した。しかしながら、必ずしも上記第1組〜第6組の全ての組について鮮鋭度の違いの度合いを比較しなくてもよい。
上述した実施の形態では、上記第1組〜第6組の小領域における鮮鋭度の違いの度合いについて、基準画像と評価対象画像とを比較し、比較結果に基づいて評価対象画像における顔検出信頼度を評価する例について説明した。しかしながら、必ずしも上記第1組〜第6組の全ての組について鮮鋭度の違いの度合いを比較しなくてもよい。
たとえば、上記第1組〜第3組の小領域における鮮鋭度の違いの度合いについて、基準画像と評価対象画像とを比較し、比較結果に基づいて評価対象画像における顔検出信頼度を評価するようにしてもよい。このようにしても、顔100に不要物が重なっているか否かを判断して評価することができる。
(変形例3)
上述した実施の形態では、顔領域に設定した各小領域において、特徴量として鮮鋭度を算出し、当該鮮鋭度に基づいて顔検出信頼度を評価する例について説明した。しかしながら、各小領域において、鮮鋭度の代わりにこの他の特徴量を算出し、当該特徴量に基づいて顔検出信頼度を評価するようにしてもよい。たとえば、各小領域において、顔の輪郭線の滑らかさを算出し、当該顔の輪郭線の滑らかさに基づいて顔検出信頼度を評価するようにしてもよい。また、たとえば、各小領域において、顔の輪郭線のパターンマッチングを行い、この結果に基づいて顔検出信頼度を評価するようにしてもよい。この場合、顔に不要物(たとえば手など)が重なっていない画像を基準画像として決定し、基準画像以外の画像について、基準画像に基づいて顔の輪郭線のパターンマッチングを行ってもよい。
上述した実施の形態では、顔領域に設定した各小領域において、特徴量として鮮鋭度を算出し、当該鮮鋭度に基づいて顔検出信頼度を評価する例について説明した。しかしながら、各小領域において、鮮鋭度の代わりにこの他の特徴量を算出し、当該特徴量に基づいて顔検出信頼度を評価するようにしてもよい。たとえば、各小領域において、顔の輪郭線の滑らかさを算出し、当該顔の輪郭線の滑らかさに基づいて顔検出信頼度を評価するようにしてもよい。また、たとえば、各小領域において、顔の輪郭線のパターンマッチングを行い、この結果に基づいて顔検出信頼度を評価するようにしてもよい。この場合、顔に不要物(たとえば手など)が重なっていない画像を基準画像として決定し、基準画像以外の画像について、基準画像に基づいて顔の輪郭線のパターンマッチングを行ってもよい。
上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。
1…デジタルカメラ、11…メインCPU、15…バッファメモリ、18…操作部材、18a…半押しスイッチ、18b…全押しスイッチ、21…撮影レンズ、22…撮像素子、30…記録媒体
Claims (7)
- 入力された複数の画像から被写体の顔を検出する顔検出部と、
前記顔検出部で検出された前記顔の領域を含む第1領域および第2領域の特徴に基づいて、前記複数の画像の各画像をそれぞれ評価する評価部と、
を備える撮像装置。 - 請求項1に記載の撮像装置において、
前記複数の画像の中から基準画像を決定する基準画像決定部を備え、
前記評価部は、前記基準画像における前記第1領域の特徴および前記第2領域の特徴と、前記基準画像以外の他の画像における前記第1領域の特徴および前記第2領域の特徴と、に基づいて前記評価を行う撮像装置。 - 請求項2に記載の撮像装置において、
前記評価部は、前記第1領域の特徴および前記第2領域の特徴の違いの度合いについて、前記基準画像と前記基準画像以外の他の画像とで比較し、前記比較の結果に基づいて前記各画像を評価する撮像装置。 - 請求項3に記載の撮像装置において、
前記評価部は、前記基準画像以外の他の画像における前記度合いが、前記基準画像における前記度合いと所定以上異なる場合に、その画像の評価を前記複数の画像内で相対的に低くする撮像装置。 - 請求項1から4のいずれか一項に記載の撮像装置において、
前記顔の一部の輪郭を含む位置および大きさで前記第1領域および前記第2領域を設定する領域設定部を備える撮像装置。 - 請求項1から5のいずれか一項に記載の撮像装置において、
前記複数の画像は、連続的に撮影された画像である撮像装置。 - 請求項1から6のいずれか一項に記載の撮像装置において、
前記評価部による評価結果に基づいて、前記複数の画像の中から一枚以上の画像を選定する画像選定部をさらに備える撮像装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018073164A JP2018106763A (ja) | 2018-04-05 | 2018-04-05 | 撮像装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018073164A JP2018106763A (ja) | 2018-04-05 | 2018-04-05 | 撮像装置 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013212362A Division JP6318535B2 (ja) | 2013-10-09 | 2013-10-09 | 撮像装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018106763A true JP2018106763A (ja) | 2018-07-05 |
Family
ID=62787960
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018073164A Pending JP2018106763A (ja) | 2018-04-05 | 2018-04-05 | 撮像装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2018106763A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109583375A (zh) * | 2018-11-30 | 2019-04-05 | 中山大学 | 一种多特征融合的人脸图像光照识别方法及*** |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013132011A (ja) * | 2011-12-22 | 2013-07-04 | Canon Inc | 撮像装置、撮像方法及びプログラム |
-
2018
- 2018-04-05 JP JP2018073164A patent/JP2018106763A/ja active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013132011A (ja) * | 2011-12-22 | 2013-07-04 | Canon Inc | 撮像装置、撮像方法及びプログラム |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109583375A (zh) * | 2018-11-30 | 2019-04-05 | 中山大学 | 一种多特征融合的人脸图像光照识别方法及*** |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9854149B2 (en) | Image processing apparatus capable of obtaining an image focused on a plurality of subjects at different distances and control method thereof | |
JP4748244B2 (ja) | 画像選択装置、画像選択方法及びプログラム | |
JP5246363B2 (ja) | 画像処理装置、および画像評価プログラム | |
JP5736796B2 (ja) | 電子カメラ、プログラム及び記録媒体 | |
US8922669B2 (en) | Image processing apparatus having a display unit and image processing program for controlling the display unit | |
CN108156365B (zh) | 摄像装置、摄像方法以及记录介质 | |
JP2006254229A (ja) | 撮像装置、撮像方法及び撮像プログラム | |
JP5126207B2 (ja) | 撮像装置 | |
JP6720881B2 (ja) | 画像処理装置及び画像処理方法 | |
JP2009065573A (ja) | 撮像装置、フォーカス制御方法、フォーカス制御プログラム | |
KR101004914B1 (ko) | 촬상장치 및 촬상방법 | |
JP2007188126A (ja) | 画像明るさ算出装置および方法並びにプログラム | |
US7864860B2 (en) | Image pickup apparatus and motion vector deciding method | |
JP2007318292A (ja) | 動きベクトル検出装置及びそのプログラム | |
JP2008263478A (ja) | 撮像装置 | |
JP2018106763A (ja) | 撮像装置 | |
JP6318535B2 (ja) | 撮像装置 | |
JP2008172395A (ja) | 撮像装置、画像処理装置、方法およびプログラム | |
JP2009077266A (ja) | デジタルカメラ、及びデジタルカメラのフォーカスエリア選択方法 | |
JP2013152643A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2011223399A (ja) | カメラ | |
JP4983672B2 (ja) | 撮像装置及びそのプログラム | |
JP2008219367A (ja) | 撮像装置及び撮像方法 | |
JP2009278486A (ja) | 撮像装置 | |
JP2009130840A (ja) | 撮像装置及びその制御方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180409 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190411 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190423 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20191119 |