JP5915009B2 - 画像処理装置、電子カメラ、画像処理方法、及びプログラム、並びに記録媒体 - Google Patents

Description

本発明は、画像処理装置、電子カメラ、画像処理方法、及びプログラム、並びに記録媒体に関する。

時系列的に取得した複数の画像に含まれる変化のない被写体を排除することにより、主要な被写体に適合した撮影条件で撮影するデジタルカメラがある（特許文献１）。

特開２００９−０８９１７４号公報

しかしながら、特許文献１に記載のデジタルカメラでは、撮像間隔が短くなると、画像相互の間で被写体の変化が少なくなり、主要な被写体の選別が難しくなる。

動体の追尾を行なう場合には、撮影者が撮影を意図したレリーズボタンの操作タイミングに基づいて、その時点で撮影された撮影フレーム画像を、主要被写体の推定・抽出処理を開始する初期フレームを設定することにより、撮影範囲内に撮影者が撮影したい被写体（主要被写体）が、撮影範囲内に存在するという点で、主要被写体を適切に捉えることができる可能性は高くなると考えられる。

しかしながら、主要被写体の選別が難しいと、主要被写体の推定・抽出処理を開始する初期フレームが、必ずしも当該処理において適切な画像であるとは限らない、という問題点があった。

本発明は、画像中の主要被写体の推定精度の向上を図ることができる画像処理装置、電子カメラ、画像処理方法、及びプログラム、並びに記録媒体を提供することを目的とする。また、第２の目的としては、撮影条件に応じて最適な初期フレーム画像を選択することができる画像処理装置、電子カメラ、画像処理方法、及びプログラム、並びに記録媒体を提供することにある。

本発明の一態様の画像処理装置は、複数の画像を取得する取得部と、複数の画像を取得するときの焦点調節のモードを設定するモード設定部と、取得された複数の画像から主要被写体を抽出する主要被写体抽出部と、主要被写体の抽出の基準となる基準画像を複数の画像から選択し、選択する条件を、設定されたモードによって変更する制御部と、を備える。

なお、取得部は、画像を生成する撮像素子と、生成された画像を保存する記憶部とを含んでもよい。
また、画像は、操作者の第１の操作及び操作者の第２の操作に基づいて取得される複数の画像であり、第１の操作に基づき最初の画像が取得され、第２の操作に基づき最後の画像が取得され、制御部は、第１の操作のタイミング又は第２の操作のタイミングで基準画像を選択してもよい。

また、主要被写体抽出部は、基準画像から抽出された主要被写体の特徴量と、その他の画像から抽出された主要被写体の特徴量を算出し、制御部は、基準画像から抽出された主要被写体の特徴量と、その他の画像の特徴量によって類似度を算出してもよい。

また、制御部としては、モードが、継続的に主要被写体に焦点が合うように焦点調節を行うモードである場合、第２の操作のタイミングで取得された画像、又はその直前に取得された画像を基準画像として選択してもよい。
また、制御部は、モードが、マニュアルで主要被写体の焦点調節を行うモードである場合、第２の操作のタイミングに基づいて基準画像を選択してもよい。

さらに、制御部は、モードが、焦点調節を１回行うモードである場合、第１の操作のタイミングに基づいて基準画像を選択してもよい。

また、制御部は、焦点調節が完了する前に第２の操作がなされた場合、第２の操作のタイミングに基づいて基準画像を選択してもよい。

さらにまた、制御部は、複数の画像を取得する時の焦点距離、及び／又は絞り値に応じて、基準画像を選択してもよい。

本発明の他の一態様の画像処理装置は、撮影レンズによって結像された複数の画像を取得する取得部と、取得された複数の画像から主要被写体を抽出する主要被写体抽出部と、主要被写体の抽出の基準となる基準画像を選択する条件を、複数の画像を取得するときに設定された撮影レンズの焦点距離、又は、絞りの状態によって変更する制御部と、を備える。

本発明の一態様の電子カメラは、上記の画像処理装置を備え、取得部は、撮影レンズによって撮像面上に結像された被写体を撮像し画像を生成する撮像部と、画像を記憶する記憶部とを含む。
さらに、本発明としては、撮像方法としてもよい。さらに本発明は、撮像方法を実行させるコンピュータが読み取り可能なプログラム、並びにコンピュータが読み取り可能なプログラムを記録した記録媒体の発明としてもよい。

本発明によれば、主要被写体を適切に捉えることができる。

本発明を採用した撮像装置の概略を示すブロック図である。 主要被写体領域推定抽出処理の概略を示す説明図である。 一連のフレーム画像に写る顔画像を追尾する状態を示す説明図である。 フォーカスモードに応じて初期フレーム画像を切り替える動作の概略を示す説明図である。 撮像装置の動作手順を示すフローチャートである。 レリーズ釦を一気に押した時の動作手順を示すフローチャートである。 ＡＦ−Ｓのフォーカスモードの時の動作手順を示すフローチャートである。 ＡＦ−Ｃ、及びマニュアルフォーカスモードの時の動作手順を示すフローチャートである。

以下、図面を参照して本発明を実施するための最良の形態について説明する。本発明の一実施形態による撮像装置２０は、図１に示すように、撮像素子１、撮影レンズ２、レンズ駆動回路３、制御回路５、操作部７、撮像素子駆動回路８、信号処理回路９、データ処理回路１０、圧縮／伸張回路１１、モニタ１３、表示制御回路１４、測光回路１５、及び振れ検出センサ１６を有し、さらに記録媒体１２が設けられている。記録媒体１２は、メモリカード、小型ハードディスク、ＤＶＤなどの光ディスクなどで構成される。記録媒体１２は、撮像装置２０に内蔵されるものであっても、着脱可能に装着されるものであってもよい。また、撮像装置２０の外部に設けられるものであってもよい。その場合、記録媒体１２と撮像装置２０とは有線または無線で電気的に接続される。

撮影レンズ２は、撮影光学系を構成する複数枚のレンズ群で構成され、撮像素子１の撮像面上に被写体像を結像させる。撮影レンズ２は、不図示のフォーカスレンズを含み、レンズ駆動回路３がフォーカスレンズを光軸方向に進退駆動することにより、撮影レンズ２の焦点調節が行われる。また、撮影レンズ２は、不図示のズームレンズを含み、レンズ駆動回路３がズームレンズを光軸方向に進退駆動することにより、撮影レンズ２の焦点距離の変更（ズーム調節）が行われる。レンズ駆動回路３は、制御回路５から出力されるレンズ駆動指令に応じてレンズ駆動信号を発生し、発生したレンズ駆動信号でレンズ駆動回路３を駆動することにより、各レンズ群を移動させる。

撮像素子１は、静止画像の単写撮像とともに、静止画像の連続撮像、および動画像の撮像が可能である。撮像素子１は、例えばＣＣＤ撮像素子あるいはＣＭＯＳ型撮像素子などによって構成される。

撮像素子駆動回路８は、制御回路５から出力される指令に応じて所定タイミングの駆動信号を発生し、発生した駆動信号を撮像素子１へ供給する。撮像素子１は、供給された駆動信号によって電荷蓄積（撮像）や蓄積電荷の読み出しが制御される。制御回路５は、測光回路１５による被写体の測光データを用いて被写界の明るさの情報を求め、この明るさの情報に基づいて撮像素子１の電荷蓄積時間、撮影レンズ２の絞り、および撮像素子１より出力される画像信号の増幅度などを決定する。なお、被写界の明るさの情報は、撮像素子１から出力される信号から求める構成としてもよい。この場合には、撮像素子１が測光回路１５の機能を司る。

撮像素子１から読み出された画像信号は、信号処理回路９へ入力される。信号処理回路９は、制御回路５からの指令に応じて入力信号に対する増幅、直流再生、Ａ／Ｄ変換、ホワイトバランス、画素補間、およびガンマ変換等の信号処理を施し、信号処理後の画像データ（フレーム画像データ）をデータ処理回路１０へ出力する。

データ処理回路１０は、制御回路５からの指令に応じて、信号処理回路９より出力された画像データを圧縮／伸張回路１１に出力するとともに、モニタ１３に再生画像を表示させるために必要な解像度変換（画素数変換）処理を画像データに施し、解像度変換処理後の画像データを表示制御回路１４へ出力する。なお、データ処理回路１０は、電子ズーム処理を行う際には、入力される画像データに対して解像度（画素数）変換処理を施して、圧縮／伸張回路１１、および表示制御回路１４へそれぞれ出力する。

表示制御回路１４は、制御回路５からの指令に応じて、データ処理回路１０から入力される画像データに所定の信号処理を施して表示画像としてモニタ１３へ出力する。表示制御回路１４はさらに、上記表示画像に撮影メニュー、カーソルなどのオーバーレイ画像データを重畳する処理を行う。これにより、オーバーレイ画像が重畳された被写体画像がモニタ１３に表示される。

圧縮／伸張回路１１は、制御回路５からの指令に応じて、データ処理回路１０から入力される画像データに所定の形式で圧縮処理を施し、圧縮後のデータを記録媒体１２へ記録する。撮影時に記録媒体１２へ画像データを記録する場合、記録する画像データに対応する再生画像がモニタ１３に表示される。なお、操作部７で画像データの非圧縮での記録が指示された場合、圧縮／伸張回路１１は圧縮処理を行わず、記録媒体１２への記録が行われる。この場合にも、モニタ１３には記録する画像データに対応する再生画像が表示される。

また、撮像装置２０は、記録媒体１２に記録されている画像データによる再生画像をモニタ１３に表示する（再生モード）ことも可能である。この場合、圧縮／伸張回路１１は、制御回路５からの指令に応じて記録媒体１２に記録されている画像データを読み出し、読み出しデータに対して復号化処理を施した上で復号化後のデータをデータ処理回路１０へ送る。再生画像は、データ処理回路１０が復号化データに解像度変換処理を施して表示制御回路１４へ出力することにより、モニタ１３に表示される。なお、記録媒体１２に記録されている非圧縮の画像データが読み出された場合には、圧縮処理の逆処理である復号化処理は行われない。圧縮／伸張回路１１は、可逆圧縮（いわゆるロスレス符号化）を行うことも可能な構成となっている。

操作部７は、レリーズ釦、ズーム操作部、フォーカスモード選択操作部、及び撮影モード選択操作部等を含み、操作内容に応じた操作信号を制御回路５へ出力する。制御回路５は、レリーズ釦の半押し操作に基づくフォーカス指示信号が操作部７から入力されると、撮像素子１から読み出される画像信号の中で、撮像画面内に予め設定されているフォーカス検出領域に対応する信号を用いて公知のコントラスト方式のＡＦ（オートフォーカス）動作を行う。

具体的には、制御回路５は、信号処理回路９によって信号処理された画像データのうち、フォーカス検出領域に対応するデータについての高周波数成分の積算値（いわゆる焦点評価値）を最大にするように、レンズ駆動指令（フォーカス調節信号）をレンズ駆動回路３へ送る。焦点評価値を最大にするフォーカスレンズの位置は、撮像素子１によって撮像される被写体像のエッジのぼけをなくし、画像のコントラストを最大にする（尖鋭度を高める）合焦位置である。

なお、上記コントラスト方式のＡＦ動作に加えて（あるいは代えて）、撮像面に、瞳分割方式による位相差ＡＦ動作を行うＡＦ画素を埋め込んだ構成としてＡＦ動作を行う構成としてもよい。

操作部７は、ズーム操作部も含む。制御回路５は、ズーム操作に基づくズーム操作信号が操作部７から入力されると上述したレンズ駆動指令を発生し、レンズ駆動回路３にズームレンズを進退駆動させる。これにより、撮像素子１の撮像面上に結像される被写体像が拡大もしくは縮小し、光学的にズーム調節される。

制御回路５はさらに、ズーム操作に基づくズーム操作信号が操作部７から入力されるとデータ処理回路１０へ指令を出力し、画像データに対する解像度変換処理の変換比率を操作信号に応じて変化させる。これにより、モニタ１３に表示される画像が拡大もしくは縮小し、電気的にズーム調節される（電子ズーム）。解像度変換比率は電子ズーム倍率に対応する。

データ処理回路１０が電子ズーム倍率を高める方向に変換比率を変える場合、再生画像の一部が拡大されてモニタ１３に表示される（拡大率が上がる反面、再生画像の表示範囲は狭くなる）。反対に、データ処理回路１０が電子ズーム倍率を低くする方向に変換比率を変える場合、モニタ１３に表示される再生画像の拡大率が下がる反面、再生画像の表示範囲は広くなる。撮像素子１による撮影モードに設定されている場合、モニタ１３に表示されている画像に対応する撮影画像データを記録媒体１２に記録することができる。

振れ検出センサ１６は、例えば角速度センサ、ジャイロセンサ等で構成され、撮像装置２０の筐体内に設けられ、筐体の振れを直交する２方向について検出する。操作部７のレリーズ釦の操作などに基づいて、筐体に振れが発生したときに、振れ検出センサ１６は、これを検知し、直交する２方向の振れ量データを制御回路５に出力する。制御回路５は、筐体の振れに伴う撮像素子１の撮像面上に結像される被写体像の移動が打ち消されるように、撮影レンズ２に内蔵される手振れ補正光学系を、レンズ駆動回路３を介して駆動する。これによって所謂手振れ補正が実現される。

［画像取り込み動作］
上記の撮像装置２０は、さらにユーザがレリーズ釦を押し下げる１回のレリーズ操作（全押し操作）に対して、複数のフレーム画像データを取得する撮影モードを有する。この撮影モードの設定がなされると、制御回路５は、撮像素子駆動回路８により、撮像素子１が連続撮影を行うよう制御する。これにより、時系列に撮影画像（映像）データ（フレーム画像）が取得される。このようにして取得された時系列のフレーム画像は、データ処理回路１０内のＦＩＦＯ（First In First Out）メモリ１０ａに順次入力される。ＦＩＦＯメモリ１０ａは、所定の容量を有しており、順次入力される入力データが所定の容量に達すると、入力された順に撮影画像データが出力される。上記撮影モードでは、レリーズ釦の全押し操作から所定時間が経過するまで、時系列のフレーム画像が、順次ＦＩＦＯメモリ１０ａに入力され、この間に、ＦＩＦＯメモリ１０ａから出力されたフレーム画像は削除される。

レリーズ釦の全押し操作がなされてから所定時間が経過すると、ＦＩＦＯメモリ１０ａへの撮影画像データの書き込みが禁止される。これにより、ＦＩＦＯメモリ１０ａ内には、レリーズ釦の全押し操作の前後に取得された複数の時系列のフレーム画像が保持される。即ち、一度のレリーズ操作に応答して時系列で撮像された複数のフレーム画像を取得することにより、それら複数のフレーム画像から、撮影条件（絞り開度、シャッタ速度、撮像素子感度等）、撮影タイミング、主要被写体の写り具合等が適するフレーム画像を選択することができる。これにより、撮影の成功率を向上させることができる。

［フォーカスモード］
フォーカスモード選択操作部は、ＡＦ−Ｓ（シングルＡＦサーボ）モード、ＡＦ−Ｃ（コンティニュアスＡＦサーボ）モード、及びマニュアルモードとの３つのフォーカスモードを択一的に選択する操作部である。

ＡＦ−Ｓモードは、レリーズ釦を半押し操作して一度ピントを合わせると、半押し操作をしている間、ピントを固定しておくフォーカスモードである。このモードの時には制御回路５は、画面上に設定されたＡＦエリアの被写体に焦点が合うようにレンズ駆動回路３を制御して撮影レンズ２の焦点調節を行い、合焦後に焦点調節を停止する。

ＡＦ−Ｃモードは、レリーズ釦の半押し操作に基づいて、画面上に設定されたＡＦエリアを始点として、画面中の被写体の移動に追尾する形でＡＦエリアを変更しながら撮影レンズ２の焦点調節を継続するモードである。マニュアルモードは、撮影者が手動、もしくは操作部７のレバー操作でフォーカス状態を変更するモードである。ＡＦ−Ｓモードは、静止した被写体に焦点を合わせ、その後構図を変更して撮影を行う場合に適している。一方、ＡＦ−Ｃモードは、動きのある被写体の撮影を行う場合に適している。

［主要被写体推定抽出処理］
制御回路５は、主要被写体推定抽出処理部５ａを備えている。主要被写体推定抽出処理部５ａは、主要被写体の推定・抽出処理を開始する最初のフレーム画像（初期フレーム画像）から顔検出を行い、顔が検出された場合には主要被写体を人物と推定する。一方、顔が検出されなかったら、主要被写体を人物以外の一般被写体と推定する。なお、ここでは、顔検出結果をもとに、主要被写体の種別の設定を行っているが、顔検出結果に代えて、あるいは加えて、他の被写体の検出結果をもとに、主要被写体種別の設定を行う構成としてもよい。

主要被写体が顔であると推定した場合、撮影者がレリーズ釦を押し下げる１回の撮影操作（全押し操作）に対して、予め決めた枚数、例えば２０枚のフレーム画像を取得する撮影モード（以下連続撮影モード）が設定された場合、図２に示すように、レリーズ釦の全押し操作（レリーズ）によって、ＦＩＦＯメモリ１０ａ内に、Ｔ０〜Ｔ１９で示される２０枚のフレーム画像が記憶される。制御回路５は、ＦＩＦＯメモリ１０ａ内に記憶されている所定数のフレーム画像の中のうちの１つのフレーム画像を初期フレーム（基準フレーム）として設定し、初期フレーム画像内で顔画像検出を行うように制御する。

その後、主要被写体推定抽出処理部５ａは、初期フレーム画像の各顔画像検出座標を中心座標としたテンプレート画像を設定し、初期フレーム画像に時間的に隣接するフレーム画像に対して順次テンプレートマッチング動作を行い、当該フレーム画像における各顔画像の座標位置を検出する。なお、テンプレート画像を、順次、時間的に隣接するフレーム画像に変更していく構成としてもよい。このような構成とすることにより、ＦＩＦＯメモリ１０ａ内に記憶される各フレーム画像において、画面内の各顔画像の対応付けを行うことができる。なお、上記構成に代えて、各フレーム画像において個人を検出して、各フレームにおける各顔を対応付ける構成としてもよい。

図３は、Ｔ０〜Ｔ１９の各フレーム画像における各顔の位置を、１つのフレーム上に重畳して示した図である。

特に被写体が移動する場合、撮影者は、写したい被写体（主要被写体）がフレームアウトしないように（被写***置が画面中央になるように）撮像装置２０を移動して撮影を行うことが多い。この為、図３に示すように、各フレーム画像で検出された各顔画像（Ａさん、Ｂさん）のフレーム画像内の位置と各フレーム画像の中心との距離（Ｄｉ＿Ａ，Ｄｉ＿Ｂ）を算出し、各顔画像に対する距離（Ｄｉ＿Ａ，Ｄｉ＿Ｂ）を各フレーム画像に亘って累積した値Ｍ（Ｍ＿Ａ，Ｍ＿Ｂ）を求め、このＭの値が最も少ない顔画像を、ＦＩＦＯメモリ１０ａに記憶された一連のフレーム画像における主要被写体であると推定する。このように、予め決めた枚数のフレーム画像を用いて、主要被写体を推定することにより、その推定精度を向上させることができる。

主要被写体が人物以外の一般被写体と推定された場合、上記と同様に、制御回路５は、ＦＩＦＯメモリ１０ａ内に記憶されている所定数のフレーム画像の中から１つのフレーム画像を初期フレーム（基準フレーム）画像として選択し、選択した初期フレーム画像内で主要被写体を推定する。ここで、初期フレーム画像内で顔画像が検出されなかった場合には、初期フレーム画像におけるＡＦエリア座標の画像データ値（例えば、Y,Cb,Crの各値）を中心とした色空間内の所定範囲内の画像データ値を有し、かつ座標位置が互いに隣接する画素の領域を初期フレーム画像内で抽出し、当該領域を主要被写体候補領域とする。なお、主要被写体候補領域は、初期フレーム（基準フレーム）画像内で、複数存在する可能性がある。

その後、主要被写体推定抽出処理部５ａは、初期フレーム画像で、当該各候補領域の重心位置座標を算出し、初期フレーム画像と時間的に隣接するフレーム画像における当該重心位置座標における画像データ値を中心とした色空間内の所定範囲内の画像データ値を有し、かつ座標位置が互いに隣接する画素の領域を当該フレーム画像内で抽出し、当該各領域を、各フレーム画像における主要被写体候補領域とする。以下、この各領域の重心位置座標を算出し、当該フレーム画像に時間的に隣接し、かつ、まだ領域の抽出が行われていないフレーム画像上の重心座標位置の画像データ値をもとに、主要被写体候補領域を抽出するといった動作を、ＦＩＦＯメモリ１０ａ内に記憶されている全てのフレーム画像に対して行う。上記の動作により、各フレーム画像における各主要被写体候補領域の対応付けが行われ、前述の図３で説明した手法と同様の手法により、ＦＩＦＯメモリ１０ａ内に記憶された一連のフレーム画像における主要被写体を推定することができる。

このような動作を行うことにより、推定主要被写体が顔以外の一般被写体である場合にも、連続的に撮影されたフレーム画像上で、主要被写体を推定することができる。

なお、上記構成においては、色情報をもとに、各フレーム画像における一般被写体の対応付けを行う例について説明したが、これに代えて（あるいは加えて）、テクスチャやヒストグラムなど、他の特徴量を用いて、各フレーム画像間でマッチングを行う構成としてもよい。

上記の［画像取り込み動作」で説明したように、主要被写体の推定・抽出処理の初期フレーム画像は、レリーズ釦の全押し操作がなされた瞬間に撮影されたフレーム画像とすることが望ましい。この際に、レリーズタイムラグ分だけ時間的に前に撮影されたフレーム画像を、初期フレーム画像を設定すると、より一層好適である。

特に、ＡＦ−Ｃモード設定のときには、自動合焦動作が継続して行われており、移動する被写体に対しても常に焦点が合っているものと考えられる。しかしながら、ＡＦ−Ｓモード設定のときには、レリーズ釦の全押し操作がなされた際に撮影された画像において、撮影者が写したい主要被写体に焦点が合っているという保証はない。特に、自動合焦動作が終了してから、レリーズ釦の全押し操作が行われるまでの時間が長い場合、被写体や撮像装置２０の光軸方向の移動により、全押し操作がなされたときに取得された画像において、主要被写体が非合焦である確率は大きくなる。

この課題を解決する為に、本実施形態においては、焦点調整のモード設定に応じて主要被写体の推定・抽出処理を開始する初期フレームを変更する構成とする。

より具体的には、図４に示すように、ＡＦ−Ｃモード設定がなされている場合には、レリーズ釦の全押し操作のタイミングをもとに決定されるフレーム画像、すなわちレリーズ釦の全押し操作（レリーズ）によって取得された画像からレリーズタイムラグ分を考慮して、全押し操作よりも時間的前に取得したフレーム画像を、主要被写体推定抽出処理を行う初期フレームとして設定する。

ＡＦ−Ｓモードに設定された際には、自動合焦動作は、設定されたＡＦエリアで合焦と判断された段階で、自動合焦動作を終了する。この場合、被写界内には撮影者が撮影した被写体があまり動かない状態で存在し、自動合焦動作終了後の時間が短いほど、主要被写体推定・抽出処理の初期フレームとして適したフレーム画像を得ることができる。従って、ＡＦ−Ｓモード設定がなされた際には、ＦＩＦＯメモリ１０ａに記憶されている、処理対象となる所定枚数のフレーム画像のうち、時間的に最初に得られたフレーム画像を初期フレーム画像として設定する
［その他の撮影状況時］
レリーズ釦の半押し操作によって自動合焦動作が完了する（撮影レンズ２が合焦位置に到達する）前に全押し操作が行われた場合、すなわち、レリーズ釦の一気押し操作（以下、「一気押し」と称す）が行われた場合には、撮影者が、すぐさま撮影を行いたいという状況であることが推察される。この場合、撮影者が撮影を行いたい主要被写体が画面内に確実に存在している。そこで、主要被写体推定抽出処理部５ａは、レリーズ釦の全押し操作後に、最初にフレーム画像を取得してから予め決めた枚数のフレーム画像がＦＩＦＯメモリ１０ａに記憶された時点で、その後、新たな操作指示があるまで、新たな画像の撮影が禁止（ＦＩＦＯメモリ１０ａへの新たなフレーム画像の記憶が禁止）される。主要被写体推定抽出処理部５ａは、ＦＩＦＯメモリ１０ａに処理対象となる１フレーム目の画像が記憶されたことに基づいて、当該フレーム画像を初期フレームとして設定し、主要被写体の推定・抽出処理を開始する。このように主要被写体推定抽出処理の開始を早めた構成とすることによって、一連の撮影画像から最適な写りの画像を抽出する処理を早く終了させることができ、次の新たな撮影を迅速に行うことができる。

主要被写体推定抽出処理部５ａは、ＡＦ−Ｓの場合、前述したように、ＦＩＦＯメモリ１０ａに記憶されている画像のうち、時間的に最初に撮影されたフレーム画像を初期フレームとして設定して、主要被写体の推定抽出処理を行う。ＦＩＦＯメモリ１０ａに記憶されている画像のうち、時間的に最初に記憶された画像データは、レリーズ釦の全押し操作（レリーズ）がなされた時点で確定される。この場合にも、ＦＩＦＯメモリ１０ａにフレーム画像が入力されるたびに、すなわち、合焦よりも時間的に後で、かつレリーズ釦の全押し操作よりも時間的前に取得したフレーム画像が主要被写体推定抽出処理の初期フレームであると仮定して、主要被写体推定抽出処理を行う構成としてもよい。このような主要被写体推定抽出処理の開始を早めた構成とすることによっても、一連の撮影画像から最適な写りの画像を抽出する処理を早く終了させることができ、次の新たな撮影を迅速に行うことができる。

主要被写体推定抽出処理部５ａは、マニュアルフォーカス設定がなされた場合、ＦＩＦＯメモリ１０ａへの撮影画像の連続的な書き込みを開始する。しかしながら、この時、撮影者が撮影した被写体に焦点が合っているとは限らない。従って、この場合には、前述のＡＦ−Ｃモードの場合と同様に、レリーズ釦の全押し操作が行われた後に、取り込んだフレーム画像を初期フレームとして設定し、主要被写体の推定抽出処理が行われる。この際に、前述と同様に、レリーズタイムラグを考慮して、初期フレームを設定する構成としてもよい。

次の上記構成の作用を説明する。撮像装置２０は、電源スイッチのオンに応答して撮像を開始する。撮影モードは、連続撮影モードに設定されている。制御回路５は、時系列なフレーム画像をＦＩＦＯメモリ１０ａに順に記憶していく。制御回路５は、ＦＩＦＯメモリ１０ａが容量オーバーの場合、時間的に早いフレーム画像から順次削除する。主要被写体推定抽出処理部５ａは、図５に示すように、連続撮影モードに設定された時点からフォーカスモードとレリーズ釦の一気押しとを監視する（Ｓ−１〜Ｓ−６）。

主要被写体推定抽出処理部５ａは、フォーカスモードに関わらずレリーズ釦の一気押しを行ったことを検出した場合（Ｓ−４，Ｓ−５，S―６の各「Y」側、（図５に記載の○Ｅ（○Ｅは、○の中にＥを記載した記号）、以下同様））、図６に示す処理を行う。この処理は、ＦＩＦＯメモリ１０ａへの記憶を開始し（Ｓ−７）、一気押しを検出した後に、ＦＩＦＯメモリ１０ａに最初に記憶されたフレーム画像から主要被写体推定抽出処理を開始する。そして、これに並行して継続して入力されるフレーム画像が所定枚数、例えば２０枚になるまでＦＩＦＯメモリ１０ａへの記憶を継続し、２０枚記憶した時点で、その後の新規記憶を禁止し、２０枚のフレーム画像の記憶を保持する（Ｓ−８）。

ＦＩＦＯメモリ１０ａに記憶された一連のフレーム画像における主要被写体を、前述の手法により推定すると共に、各フレーム画像における主要被写体領域を、ＦＩＦＯメモリ１０ａ内で最初に記憶されたフレーム画像（初期フレーム画像）の主要被写体の推定抽出処理結果をもとに推定する（Ｓ−９）。その後、各フレーム画像の主要被写体領域のぶれ量、ぼけ量等の特徴量を算出する（Ｓ−１０）。その後、算出された特徴量を比較して、ＦＩＦＯメモリ１０ａ内に記憶されている全フレーム画像を順位付けし、順位を各フレーム画像に関連付けて記憶する（Ｓ−１１）。その後、最高順位のフレーム画像をモニタ１３に表示すると共に、順位が上位から所定順位までのフレーム画像を記録媒体１２にその順位と共に記録する（Ｓ−１２）。

また、主要被写体推定抽出処理部５ａは、半押し操作時に、ＡＦ―Ｓモードで、かつレリーズ釦の一気押しではないことを検出した場合（図５のS―６の「N」側、（図５の○B））、図７に示す処理を行う。この処理は、まず、ＦＩＦＯメモリ１０ａへの記憶を開始する（Ｓ−１３）。その後、ＦＩＦＯメモリ１０ａに順次記憶されたフレーム画像から主要被写体を推定抽出する処理を開始する（Ｓ−１４）。その後、レリーズ釦の全押し操作を待ち（Ｓ−１５）、全押し操作に応答して、その後ＦＩＦＯメモリ１０ａに入力されるフレーム画像が所定枚数、例えば５枚になるまでＦＩＦＯメモリ１０ａへの新規記憶動作を継続し、５枚分の記憶が終了した後に新規記憶を禁止し、合計で２０枚のフレーム画像を保持する（Ｓ−１６）。これによって、ＦＩＦＯメモリ１０ａに保持される２０枚のフレーム画像が確定する。その後、ＦＩＦＯメモリ１０ａに記憶されるフレーム画像のうちの時間的に最初に記憶されたフレーム画像（初期フレーム画像）の主要被写体推定抽出処理の結果、抽出された主要被写体候補について、各フレーム画像で対応付けを行い、図３で説明した手法と同様の手法により、２０枚のフレーム画像における主要被写体を推定する。（Ｓ−１７）。その後、各フレーム画像の主要被写体領域の特徴量を算出する（Ｓ−１８）。その後、算出された特徴量を比較して、ＦＩＦＯメモリ１０ａ内に記憶されている全フレーム画像を順位付けし、順位を各フレーム画像に関連付けて記憶する（Ｓ−１９）。そして、最高順位のフレーム画像をモニタ１３に表示すると共に、順位が上位から所定順位までのフレーム画像を記録媒体１２にその順位と共に記録する（Ｓ−２０）。

さらに、主要被写体推定抽出処理部５ａは、半押し操作時に、ＡＦ―Ｃモード、又はマニュアルモードで、かつレリーズ釦の一気押しではないことを検出した場合（図５のS―５、Ｓ−４の各「Ｎ」の側、（図５の○Ｃ又は○Ｄ））、図８に示す処理を行う。この処理は、まず、ＦＩＦＯメモリ１０ａへの記憶を開始する（Ｓ−２１）。その後、レリーズ釦の全押し操作を待ち（Ｓ−２２）、全押し操作のタイミングからレリーズタイムラグに基づいて決定されるフレーム画像を初期フレームとして設定して主要被写体推定抽出処理を開始する（Ｓ−２３）。その後、ＦＩＦＯメモリ１０ａに記憶されるフレーム画像のうちの初期フレーム画像の主要被写体推定抽出処理の結果、抽出された主要被写体候補について、各フレーム画像で対応付けを行い、図３で説明した手法と同様の手法により、２０枚のフレーム画像における主要被写体を推定する（Ｓ−２４）。その後、各フレーム画像の主要被写体領域の特徴量を算出する（Ｓ−２５）。その後、算出された特徴量を比較して、ＦＩＦＯメモリ１０ａ内に記憶されている全フレーム画像を順位付けし、順位を各フレーム画像に関連付けて記憶する（Ｓ−２６）。そして、最高順位のフレーム画像をモニタ１３に表示すると共に、順位が上位から所定順位までのフレーム画像を記録媒体１２にその順位と共に記録する（Ｓ−２７）。

上記各処理の形態において、マニュアルモード、及び一気押し以外は、最初に自動合焦動作を行い、ＡＦエリアの被写体に焦点があった後に、ＦＩＦＯメモリ１０ａへのフレーム画像の書き込みが開始される。なお、合焦と同時に書き込みを開始してもよい。マニュアルモードの場合は、レリーズ釦の半押し操作後、ＦＩＦＯメモリ１０ａへのフレーム画像の書き込みが開始される。また、一気押しの場合にも、レリーズ釦の半押し操作後、ＦＩＦＯメモリ１０ａへのフレーム画像の書き込みが開始される。なお、マニュアルモード、及び一気押しの場合、レリーズ釦の半押し操作と同時にＦＩＦＯ１０ａへの書き込みを開始してもよい。

前述したように、主要被写体推定抽出処理部５ａは、各フレーム画像の主要被写体領域の特徴量を算出する。この特徴量としては、例えば主要被写体の位置、あるいは主要被写体の状態がある。主要被写体の位置に基づいて評価する場合には、構図に基づいて評価する。例えば、画面を縦横１／３に分割して、主要被写体領域の重心位置がこの分割線に近いほど評価を高くする。この時、重心位置の時間変化を算出し、移動方向に広い空間を有する画像の評価を高くするような構成としてもよい。

主要被写体が人物である場合、人物の顔、あるいは体の向き情報を抽出し、顔、あるいは体の向き方向に広い空間を有する画像の評価を高くするような構成としてもよい。

主要被写体の状態に基づいて評価する場合には、主要被写体領域の高域空間周波数成分を抽出することにより、ぼけ、ぶれ状態を判別し、同成分が一番大きい画像を、ぼけ、ぶれが少ない画像として、評価を高くする構成とする。特に、主要被写体が人物である場合、主要人物の目つぶり状態、笑顔状態を判別し、目を瞑っておらず、笑顔度が大きい画像の評価を高くする構成としてもよい。これら主要被写体の位置、状態の他、主要被写体領域の明るさ等の他の評価値と統合した評価値により、ＦＩＦＯメモリ１０ａに記憶されるフレーム画像に対して順位付けが行われる。

なお、記録媒体１２に記録される画像データには、その順位と各種評価値に加えて、ＡＦ−Ｃ、ＡＦ−Ｓ、マニュアルフォーカスなどのフォーカスモードの他、一気押しなどの操作情報も、関連付けて記録される。このような構成とすることにより、１フレームの画像を再生した時に、どのような状況で撮影を行ったかについて、容易に把握することができる。

上記実施形態によれば、フォーカスモードや撮影条件に応じて、初期フレーム画像を切り替えるようにしたから、画像中の主要被写体の推定精度の向上を図ることができる。また、主要被写体を適切に捉えることができる。

上記実施形態においては、主要被写体推定抽出処理を撮像装置２０で行う例について説明したが、当該処理を撮像装置２０とは別の画像処理装置で行う構成としてもよい。この場合には、画像データに関連付けられたフォーカスモード、あるいはフォーカスモードと操作情報との両方等に基づいて、主要被写体推定抽出処理を行う初期フレームを切り換える構成とすればよい。

上記各実施形態においては、時系列の一連のフレーム画像を取得する時のフォーカスモード等によって、主要被写体推定抽出処理の初期フレームを切り換える例について説明した。一般に、同じレンズ位置のずれであっても、焦点距離が長いほど、ぼけの変化度合いが大きくなる。換言すれば広角で撮影された画像は、望遠で撮影された画像に比較して、同じレンズ位置だけ焦点調整（マニュアルの調整の場合を含む）がずれた場合の、ぼけの変化量は小さい。従って、前述したフォーカスモードに応じて主要被写体推定抽出処理の初期フレームを切り換えることに代えて（あるいは加えて）、一連のフレーム画像を取得する時の焦点距離に応じて、主要被写体推定抽出処理の初期フレームを変更する構成としてもよい。

例えば、焦点距離が所定値より短い広角で撮影が行われた場合には、ＦＩＦＯメモリ１０ａに記憶されるフレーム画像のうち、時間的に最初に撮影されたフレーム画像を主要被写体推定抽出処理の初期フレームとし、焦点距離が所定値より長い望遠で撮影が行われた場合には、ＦＩＦＯメモリ１０ａに記憶されるフレーム画像の中の、レリーズ釦の全押し操作タイミングにレリーズタイムラグを考慮して設定されるフレーム画像を、主要被写体推定抽出処理の初期フレームとする（レリーズ釦の一気押しの場合も適用できる）。

また、被写界深度は、撮影レンズ２の絞りによって変化し、絞りを絞り込んだ方が、被写界深度が大きくなる。従って、当該構成に加えて（あるいは代えて）、フレーム画像撮影時の絞りの状態に応じて、主要被写体推定抽出処理の初期フレームを変更する構成としてもよい。

例えば、絞りが所定値より開放で撮影が行われた場合には、ＦＩＦＯメモリ１０ａに記憶されるフレーム画像のうち、時間的に最初に撮影されたフレーム画像を主要被写体推定抽出処理の初期フレームとし、絞りを所定値より絞り込んで撮影が行われた場合には、ＦＩＦＯメモリ１０ａに記憶されるフレーム画像の中の、レリーズ釦の全押し操作タイミングにレリーズタイムラグを考慮して設定されるフレーム画像を、主要被写体推定抽出処理の初期フレームとする。なお、レリーズ釦の一気押しの場合も適用できる。これらの焦点距離、絞り値は、フレーム画像に関連付けて記憶される構成とすることで、例えば、撮像装置２０以外の装置で上記処理を行う場合であっても、主要被写体推定・抽出処理を適切に行うことができる。本発明では、これらフォーカスモード、焦点距離、及び絞り等を撮影条件に含む。

上記各実施形態では、初期フレーム画像をフォーカスモードに応じて切り替えているが、撮影条件に応じて切り替えてもよい。撮影条件としては、動く子供や動物を撮影するモード等がある。動き回る子供や動物を撮る場合は、コンティニュアスＡＦモードに設定し、シャッターを半押しにしたまま相手の動きをカメラで追いかけながら構図を調整する。

１ 撮像素子
５ 制御回路
５ａ 主要被写体推定抽出処理部
１０ａ ＦＩＦＯメモリ
２０ 撮像装置

Claims (14)

1. 複数の画像を取得する取得部と、
   前記複数の画像を取得するときの焦点調節のモードを設定するモード設定部と、
   取得された前記複数の画像から主要被写体を抽出する主要被写体抽出部と、
   前記主要被写体の抽出の基準となる基準画像を前記複数の画像から選択し、前記選択する条件を、設定された前記モードによって変更する制御部と、
   を備える画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記取得部は、画像を生成する撮像素子と、生成された前記画像を保存する記憶部とを含む画像処理装置。
3. 請求項１又は２の画像処理装置において、
   前記画像は、操作者の第１の操作及び操作者の第２の操作に基づいて取得される複数の画像であり、前記第１の操作に基づき最初の画像が取得され、前記第２の操作に基づき最後の画像が取得され、
   前記制御部は、前記第１の操作のタイミング又は前記第２の操作のタイミングで前記基準画像を選択する画像処理装置。
4. 請求項１に記載の画像処理装置において、
   前記主要被写体抽出部は、前記基準画像から抽出された前記主要被写体の特徴量と、その他の画像から抽出された前記主要被写体の特徴量を算出し、
   前記制御部は、前記基準画像から抽出された前記主要被写体の前記特徴量と、その他の画像の前記特徴量によって類似度を算出する画像処理装置。
5. 請求項３に記載の画像処理装置において、
   前記制御部は、前記モードが、継続的に主要被写体に焦点が合うように焦点調節を行うモードである場合、前記第２の操作のタイミングで取得された画像、又はその直前に取得された画像を前記基準画像として選択する画像処理装置。
6. 請求項３に記載の画像処理装置において、
   前記制御部は、前記モードが、マニュアルで主要被写体の焦点調節を行うモードである場合、前記第２の操作のタイミングに基づいて前記基準画像を選択する画像処理装置。
7. 請求項３に記載の画像処理装置において、
   前記制御部は、前記モードが、焦点調節を１回行うモードである場合、前記第１の操作のタイミングに基づいて前記基準画像を選択する画像処理装置。
8. 請求項３に記載の画像処理装置において、
   前記制御部は、焦点調節が完了する前に前記第２の操作がなされた場合、前記第２の操作のタイミングに基づいて前記基準画像を選択する画像処理装置。
9. 請求項１から請求項３のいずれか１項に記載の画像処理装置において、
   前記制御部は、複数の前記画像を取得する時の焦点距離、及び／又は絞り値に応じて、前記基準画像を選択する画像処理装置。
10. 撮影レンズによって結像された複数の画像を取得する取得部と、
    取得された前記複数の画像から主要被写体を抽出する主要被写体抽出部と、
    前記主要被写体の抽出の基準となる基準画像を選択する条件を、前記複数の画像を取得するときに設定された前記撮影レンズの焦点距離、又は、絞りの状態によって変更する制御部と、
    を備える画像処理装置。
11. 請求項１から請求項１０のいずれか１項に記載の画像処理装置を備え、
    前記取得部は、撮影レンズによって撮像面上に結像された被写体を撮像し画像を生成する撮像部と、前記画像を記憶する記憶部とを含む電子カメラ。
12. 複数の画像を取得する取得ステップと、
    前記取得ステップで前記複数の画像を取得するときの焦点調節のモードを設定するモード設定ステップと、
    取得された前記複数の画像から主要被写体を抽出する主要被写体抽出ステップと、
    前記主要被写体の抽出の基準となる基準画像を選択する条件を、設定された前記モードによって変更する制御ステップと、
    を含む画像処理方法。
13. 請求項１２に記載の画像処理方法をコンピュータに実行させるためのプログラム。
14. 請求項１３に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images