JP2021021857A

JP2021021857A - 撮像装置およびその制御方法

Info

Publication number: JP2021021857A
Application number: JP2019138958A
Authority: JP
Inventors: 賢政池田; Yoshimasa Ikeda
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2019-07-29
Filing date: 2019-07-29
Publication date: 2021-02-18
Anticipated expiration: 2039-07-29
Also published as: JP7293025B2; US20210037190A1; US11178337B2

Abstract

【課題】視認性よく合焦位置を表示することを可能にする。【解決手段】撮像装置は、画角内の領域に対して合焦を行う合焦部と、撮像した画像から特定の被写体が存在する被写体領域を検出する検出部と、画像を分割して得られる部分ごとの被写体までのデフォーカス距離を示す奥行情報に基づいて、被写体領域の深度幅を計算する計算部と、深度幅が所定値以上の場合には、被写体領域を示す被写体検出枠と合焦部が用いるＡＦ箇所を示すＡＦ枠とを画像に重畳表示し、深度幅が所定値未満の場合には検出枠を重畳表示してＡＦ枠を重畳表示しないように表示制御する重畳表示部と、を備える。【選択図】図３

Description

本発明はデジタルカメラ、デジタルビデオカメラ等の撮像装置およびその制御方法に関する。

近年のデジタルカメラにおいて、被写体検出機能が搭載されることが一般的となっている。デジタルカメラは、撮影された画像内から被写体検出機能を用いて被写体を検出し、検出した被写体に対してピント合わせや露出合わせを行うことで、より好適な画像を得ることが可能となる。このとき、デジタルカメラは、検出した顔や物体に対して枠（検出枠）を重畳表示することで、検出した被写体をユーザに明示している。

撮影しようとしているシーンによっては、検出枠のサイズが大きくなることがある。検出枠が大きいと、枠内のどこに合焦しているのかユーザがわからなくなる場合がある。そこで、合焦している領域を明示するためにオートフォーカス（以下、ＡＦ）枠を重畳表示すると、表示される枠の数が増えて画面内が煩雑になる。そのため、枠表示による画面内の煩雑さを抑えることと、検出した被写体や合焦箇所をユーザに明示することとを両立させることが重要となる。特許文献１では、合焦枠を表示した後に顔を検出したことに応じて、合焦枠の表示形態を変えて、顔の表情を見やすくするようにした顔用合焦枠を表示することが記載されている。特許文献１は、人物の顔を検出した場合、検出枠の表示形態を変えることによって検出した被写体を視認性よくユーザに伝えることを提案している。

特開２０１８−０６７８０２号公報

しかしながら、特許文献１に開示された技術のように、人物の顔を検出した時に顔サイズに応じた合焦箇所を示す枠（合焦枠）の表示を行う場合、顔サイズに応じた合焦枠では枠内のどこに合焦しているのかわからないという不都合が生じる。例えば、合焦枠内に背景を含む場合において、背景にピントを合わせているのか、被写体にピントを合わせているのかを、合焦枠の表示からは判断することが出来ない。

そこで本発明は、視認性よく、合焦位置がわかりやすい表示を行うことのできる撮像装置及びその制御方法を提供する。

本発明の一態様による撮像装置は、
画角内の領域に対して合焦を行う合焦手段と、
撮像した画像から特定の被写体が存在する被写体領域を検出する検出手段と、
前記画像を分割して得られる部分ごとの被写体までのデフォーカス距離を示す奥行情報に基づいて、前記被写体領域の深度幅を計算する計算手段と、
前記深度幅が所定値以上の場合には、前記被写体領域を示す被写体検出枠と前記合焦手段が用いるＡＦ箇所を示すＡＦ枠とを前記画像に重畳表示し、前記深度幅が所定値未満の場合には前記被写体検出枠を重畳表示して前記ＡＦ枠を重畳表示しないように表示制御する重畳表示手段と、を備える。

本発明によれば、視認性よく、合焦位置がわかりやすい表示を行うことができる。

実施形態によるデジタルカメラの構成例を示すブロック図。撮像装置の画素構成例を示す模式図。実施形態によるデジタルカメラの撮像動作を示すフローチャート。デフォーカスマップを説明する図。実施形態における画面例を示す模式図。実施形態における画面例を示す模式図。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

以下では、本発明に係る撮像装置としてデジタルカメラを例示するが、本発明の適用はこれに限られるものではない。例えば、本発明は、スマートフォン、タブレットなど、撮像機能を有する情報処理装置に適用することができる。

図１は、実施形態におけるデジタルカメラ１００の構成例を示すブロック図である。デジタルカメラ１００において、撮影レンズ１０、絞り機能を備える機械式のシャッタ１２は光学系を構成する。撮像素子１４は、光学像を電気信号に変換する。Ａ／Ｄ変換器１６は、撮像素子１４から出力されるアナログ信号をデジタル信号に変換する。タイミング発生部１８は、撮像素子１４、Ａ／Ｄ変換器１６などにクロック信号や制御信号を供給する。タイミング発生部１８は、メモリ制御部２２及びシステム制御部５０により制御される。また、タイミング発生部１８は、撮像素子１４のリセットタイミングを制御することによって、撮像素子１４の蓄積時間を制御する電子シャッタの機能を実現する。電子シャッタの機能は動画撮影などに使用される。

画像処理部２０は、Ａ／Ｄ変換器１６からのデータ或いはメモリ制御部２２からのデータに対して画像拡大／縮小のための画素補間処理や色変換処理、ノイズ除去処理やエッジ強調処理などを行う。また、画像処理部２０は、撮像した画像から特定の被写体として顔領域を検出する顔検出機能、顔の瞳や鼻や口などの特定の部位である器官を検出する器官検出機能を備える。さらに、画像処理部２０は、顔検出や器官検出の結果の確からしさを示す信頼度を算出する処理なども行う。

顏検出機能において、画像処理部２０は、顏の輪郭部分の形状を表す特徴データ（テンプレート）を保存しておき、画像内において、特徴データに合致する画像領域をテンプレートマッチング処理により特定する。また、画像処理部２０は、特徴データとの一致度を算出することにより顔検出の信頼度を算出する。また、顔の検出機会を増やしたり検出精度を高めるために、画像処理部２０は、複数の特徴データを用いてテンプレートマッチング処理を行ったり、顔の形状の一部の特徴データを用意してテンプレートマッチング処理を行った結果を使用したりしても構わない。また、顔の大きさによらず顔を検出するために、画像処理部２０が特徴データの大きさを変化させてテンプレートマッチング処理を行うようにしても構わない。

器官検出機能において、画像処理部２０は、器官の形状を表す特徴データ（テンプレート）を保存しておき、顔検出機能により求められた領域内において、器官の特徴データに合致する画像領域をテンプレートマッチング処理により特定する。また、画像処理部２０は、器官の特徴データとの合致度を算出することにより器官検出の信頼度を算出する。なお、本実施形態では特徴データを用いたテンプレートマッチング処理により顔検出および器官検出を実現しているが、これに限定されるものではない。顔領域または器官の領域の検出および信頼度の算出ができれば他の方法が用いられても構わない。

また、画像処理部２０は、顔以外の特定の被写体を検出する物体検出機能を有する。検出される物体としては、例えば、自動車、建物、ペット（犬、猫など）があげられる。物体検出機能は、物体の形状を表す特徴データ（テンプレート）を用いて、テンプレートマッチングにより検出する。

また、画像処理部２０は、オートホワイトバランス（以下ＡＷＢという）処理をするために撮像した画像データを用いて所定の演算処理を行い、得られた演算結果をホワイトバランス（以下ＷＢという）評価値として算出する。また、画像処理部２０は、算出されたＷＢ評価値を基に画像データの色の変換なども行う。さらに、画像処理部２０は、自動露出（以下ＡＥという）制御処理、ストロボ露出（以下ＥＦという）制御処理を行うための、ＡＥ評価値、ＥＦ評価値を算出するために、撮像した画像データを用いて所定の演算処理を行う。システム制御部５０は、得られたＡＥ評価値、ＥＦ評価値を基に、所定のアルゴリズムに従って露光制御部４０を制御する。

メモリ制御部２２は、Ａ／Ｄ変換器１６、タイミング発生部１８、画像処理部２０、メモリ３０、圧縮・伸長部３２を制御する。Ａ／Ｄ変換器１６から出力されたデータが画像処理部２０、メモリ制御部２２を介して、或いは直接にメモリ制御部２２を介して、メモリ３０に書き込まれる。

画像表示部２８は、ＴＦＴＬＣＤ（thin-film-transistor liquid-crystal display）等を有する。メモリ３０に書き込まれた表示用の画像データは、メモリ制御部２２を介して画像表示部２８により表示される。画像表示部２８を用いて撮像した画像データを逐次表示すれば、電子ファインダ機能を実現することが可能である。また、画像表示部２８は、システム制御部５０の指示により任意に表示をＯＮ／ＯＦＦすることが可能である。画像表示部２８の表示をＯＦＦにした場合には、デジタルカメラ１００の電力消費を大幅に低減することが出来る。

メモリ３０は、撮影した静止画像や動画像を格納する。メモリ３０は、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備えている。これにより、複数枚の静止画像を連続して撮影する連写撮影の場合にも、高速かつ大量の画像書き込みをメモリ３０に対して行うことが可能となる。また、メモリ３０は、認証用の特徴データを一時記憶する領域やシステム制御部５０の作業領域としても使用することが可能である。

不揮発性メモリ３１はＦｌａｓｈＲＯＭ等で構成される。システム制御部５０が実行するプログラムコードは不揮発性メモリ３１に記憶されている。システム制御部５０は、例えば１つ以上のプロセッサを有し、不揮発性メモリ３１に記憶されているプログラムコードを逐次読み出して実行することで、各種処理を実現する。また、不揮発性メモリ３１内には認証用の顔の特徴データを辞書データとして記憶する領域、システム情報を記憶する領域、ユーザ設定情報を記憶する領域が設けられており、さまざまな情報や設定を次回起動時に読み出して、復元することを実現している。圧縮／伸長部３２は、適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮／伸長する。圧縮／伸長部３２は、メモリ３０に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ３０に書き込む。

露光制御部４０は、絞り機能を備える機械式のシャッタ１２を制御する。また、露光制御部４０は、フラッシュ４８と連動することによりフラッシュ調光を行う（フラッシュ調光機能）。フォーカス制御部４２は撮影レンズ１０のフォーカシングを制御する。ズーム制御部４４は、撮影レンズ１０のズーミングを制御する。フラッシュ４８は、露光制御部４０の制御下でフラッシュ調光機能により調光された発光を行う。

システム制御部５０はデジタルカメラ１００全体を制御する。例えば、システム制御部５０は、撮像素子１４から得られる画素データをもとにオートフォーカス（以下ＡＦという）処理を行う。ＡＦとは、ユーザが選択した被写体領域やカメラが自動的に設定した被写体領域を焦点検出領域として設定し、焦点位置を検出する自動焦点検出のことである。システム制御部５０は、撮像した画像データを画像処理部２０が演算することにより得られた演算結果に基づいて、露光制御部４０およびフォーカス制御部４２を、ＴＴＬ方式を用いて制御する。なお、図１では画像処理部２０とシステム制御部５０を個別に示したが、画像処理部２０の機能の一部あるいはすべてをシステム制御部５０が実現するようにしてもよい。

撮像素子１４は、Ｃ−ＭＯＳセンサとその周辺回路で構成され、横方向ｍ画素、縦方向ｎ画素の受光ピクセル上にそれぞれ１つの光電変換素子が配置される。撮像素子１４は、全画素の独立な出力が可能なように構成されている。また、全画素のうちの一部の画素が焦点検出用画素となっており、撮像面位相差検出方式のＡＦ（撮像面位相差ＡＦ）が可能となっている。

具体的には、撮像素子１４は、図２に示すように被写体の像を形成する撮影光学系の射出瞳の全域を通る光束を各々が受光して被写体の像を生成する複数の撮像用画素２５０を有する。また、撮像素子１４は、各々が撮影光学系の異なる射出瞳の領域を通る光束を受光する複数の焦点検出用画素２５１を更に有する。複数の焦点検出用画素は、全体として撮影光学系の射出瞳の全域を通る光束を受光することができる。例えば、撮像素子１４において、焦点検出用画素を含む２行×２列の画素の場合、対角に配置される一対のＧ画素を撮像用画素として残し、Ｒ画素とＢ画素のいずれかが焦点検出用画素に置き換えられている。図２は、Ｂ画素が検出用画素として置き換えられている例である。

システム制御部５０は、撮像素子１４に埋め込まれた焦点検出用画素２５１の撮像信号により位相差ＡＦ方式での焦点検出処理を行う。より具体的には、システム制御部５０は撮像光学系の一対の瞳領域を通過する光束により焦点検出用画素２５１が形成する一対の像のずれ量に基づいて焦点検出を行う。なお、本実施形態では、撮像面に配置された撮像用画素配列の一部を焦点検出用画素２５１に置き換えることによって撮像面位相差ＡＦを実現しているが、本発明はこの方式に限定されるものではない。焦点検出ができる構成であればどのような構成が用いられてもよく、例えば公知の焦点検出専用センサを用いた位相差式焦点検出、公知のコントラスト式焦点検出などが用いられてもよい。

モードダイアル６０、シャッタースイッチ６２、表示切替スイッチ６６、操作部７０及びズームスイッチ７２は、システム制御部５０に各種の動作指示を入力するための操作部材である。動作指示を入力するためのこれら操作部材は、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成され得る。

モードダイアル６０は、電源オフ、自動撮影モード、撮影モード、パノラマ撮影モード、動画撮影モード、再生モード、ＰＣ接続モード等の各機能モードを切り替え設定する。シャッタースイッチ６２は、シャッターボタンの操作途中でＯＮとなりＳＷ１信号を出力するスイッチと、シャッターボタンの操作完了でＯＮとなりＳＷ２信号を出力するスイッチを含む。ＳＷ１信号により、ＡＦ処理、ＡＥ処理、ＡＷＢ処理等の動作開始が指示される。ＳＷ２信号により、撮影処理が開始する。

撮影処理では、露光と現像を含む以下の一連の動作が行われる。まず、露光制御部４０がシャッタ１２を制御して、撮像素子１４への露光を開始し、ＡＥ処理で決定された露光期間の終了と同時に遮光することで撮像素子１４への露光を終了する。なお、フラッシュ撮影の場合は、露光制御部４０は、フラッシュ４８を用いてＥＦのためのフラッシュプリ発光処理を行った後に撮像素子１４への露光を開始し、この露光期間中にフラッシュ４８を発光させる。以上のようにして撮像素子１４への露光が終了すると、読み出し処理、現像処理、記録処理という一連の処理が行われる。記録処理では、撮像素子１４から読み出された信号が、Ａ／Ｄ変換器１６によりデジタル信号に変換され、メモリ制御部２２を介してメモリ３０にＲＡＷデータとして書き込まれる。現像処理では、メモリ３０に書き込まれたＲＡＷデータを画像処理部２０やメモリ制御部２２での演算により現像し、圧縮／伸長部３２で圧縮を行って画像データを得る。記録処理では、メモリ制御部２２が、記録媒体２００に画像データおよび／または画像データを書き込む。

表示切替スイッチ６６は、画像表示部２８の表示を切り替える。この機能により、光学ファインダ１０４を用いて撮影を行う際に、画像表示部２８への電流供給を遮断することにより、省電力を図ることが可能となる。操作部７０は、各種ボタン、タッチパネルや回転式ダイアル等を含む。操作部７０は、例えば、メニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写／連写／セルフタイマー切り替えボタン等を含む。また、操作部７０は、例えば、メニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタン、再生画像移動＋（プラス）ボタン、再生画像−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付／時間設定ボタン等を含む。

ズームスイッチ７２は、ユーザが撮像画像の倍率変更指示を行うためのスイッチである。ズームスイッチ７２は、撮像画角を望遠側に変更させるテレスイッチと、広角側に変更させるワイドスイッチを有する。ユーザは、ズームスイッチ７２を用いることにより、ズーム制御部４４に撮影レンズ１０の撮像画角の変更を指示することができる。この指示は、ズーム制御部４４が光学ズーム動作を行うトリガとなる。また、ズームスイッチ７２からの指示は、画像処理部２０による画像の切り出しや、画素補間処理などによる撮像画角の電子的なズーミング変更のトリガにもなる。電源部８６はアルカリ電池の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉイオン電池等の二次電池、ＡＣアダプター等を有する。

インタフェース９０は、メモリカードやハードディスク等の記録媒体を接続するためのインタフェースである。コネクタ９２はメモリカードやハードディスク等の記録媒体とインタフェース９０を接続する。保護部材１０２は、デジタルカメラ１００の撮影レンズ１０を含む撮像部を覆う事により、撮像部の汚れや破損を防止するバリアである。光学ファインダ１０４は、画像表示部２８による電子ファインダ機能を使用すること無しに、光学ファインダのみを用いて撮影を行うことが可能である。記録媒体２００は、例えばメモリカードやハードディスクである。記録媒体２００は、半導体メモリや磁気ディスク等から構成される記録部２０２、デジタルカメラ１００とのインタフェース２０４、デジタルカメラ１００と接続するためのコネクタ２０６を備えている。

次に図３を用いて、本実施形態のデジタルカメラ１００による撮像動作について説明する。図３は、実施形態による撮像動作を示すフローチャートである。システム制御部５０は、フォーカス制御部４２を用いて、画角内の任意の領域に対して合焦を行う合焦部として機能する。システム制御部５０は、撮影待機状態において、撮影された画像（例えばライブビュー画像）から焦点検出領域（合焦領域）を画角内に設定し、設定された焦点検出領域に対応する撮像素子の領域から取得した信号に基づいて焦点検出を行う。こうして、システム制御部５０は、以下に説明するコンティニュアスＡＦモードを実現する。

Ｓ３０１で、システム制御部５０は、ＡＦモードがコンティニュアスＡＦモードであるかどうかを判定する。コンティニュアスＡＦモードとは、ライブビュー表示中において常に被写体にピントを合わせ続けるべく、システム制御部５０が焦点検出処理とフォーカスレンズの駆動制御を繰り返すモードである。すなわち、コンティニュアスＡＦモードにおいて、システム制御部５０は、撮影待機状態において連続的に撮影される画像の被写体検出枠から選択したＡＦ箇所を用いて逐次に合焦動作を実行する。コンティニュアスＡＦモードでなければ（Ｓ３０１でＮＯ）、処理はＳ３０１に戻り、コンティニュアスＡＦモードであれば（Ｓ３０１でＹＥＳ）、処理はＳ３０２に進む。

Ｓ３０２で、システム制御部５０は、ライブビュー表示中の画像において、画像処理部２０の顔検出機能により顔が検出されているかどうかを判定する。システム制御部５０は、顔が検出されていないと判定した場合（Ｓ３０２でＮＯ）には処理をＳ３０３に遷移させ、顏が検出されていると判定した場合（Ｓ３０２でＹＥＳ）には処理をＳ３０４に遷移させる。Ｓ３０３で、システム制御部５０は、画像処理部２０の物体検出機能により物体が検出されているかどうかを判定する。システム制御部５０は、物体が検出されていないと判定した場合（Ｓ３０３でＮＯ）には処理をＳ３１０に遷移させ、物体が検出されていると判定した場合（Ｓ３０３でＹＥＳ）には処理をＳ３０６に遷移させる。一方、Ｓ３０４において、システム制御部５０は、瞳ＡＦが合焦領域に設定されているかどうか判定する。瞳ＡＦの設定は、操作部７０を介してユーザ操作により指定される。システム制御部５０は、瞳ＡＦが設定されていると判定した場合（Ｓ３０４でＹＥＳ）、処理をＳ３０５に遷移し、瞳ＡＦが設定されていないと判定した場合（Ｓ３０４でＮＯ）、処理をＳ３０６に遷移させる。

Ｓ３０５で、システム制御部５０は、画像処理部２０の器官検出機能により主顔の瞳が検出されているかどうかを判定する。本実施形態において、主顔とは主被写体の顔である。複数の顔が検出されていた場合には、システム制御部５０は、顔の大きさや顔の位置に応じて主顔を決定する。システム制御部５０は、主顔において瞳が検出されていると判定された場合（Ｓ３０５でＹＥＳ）、処理をＳ３０７に遷移させ、瞳が検出されていないと判定された場合（Ｓ３０５でＮＯ）、処理をＳ３０６に遷移させる。

Ｓ３０６で、まず、システム制御部５０は、画角内を複数領域に分割して得られる部分ごとの被写体までの距離（デフォーカス距離）を示す奥行情報（デフォーカスマップ）を生成する。図４は、システム制御部５０が生成するデフォーカスマップ４０１の例を示す模式図である。システム制御部５０は、生成されたデフォーカスマップ４０１によって示される奥行情報４０２に基づいて、被写体（主顔または物体）の近側と遠側の差に基づいて深度幅（デフォーカス距離差）を計算し、計算された深度幅が所定値以上であるかどうか判断する。システム制御部５０は、深度幅が所定値以上であると判断した場合（Ｓ３０６でＹＥＳ）、処理をＳ３０８に遷移させ、深度幅が所定値以上ではないと判断した場合（Ｓ３０６でＮＯ）、処理をＳ３０９に遷移させる。なお、深度幅は、被写体領域におけるデフォーカス距離の最大値と最小値の差としてもよいし、例えば、被写体領域におけるデフォーカス距離のヒストグラムの上位３０％の平均と下位３０％の平均との差としてもよい。

瞳ＡＦが設定されており（Ｓ３０４でＹＥＳ）、主顔において瞳が検出されている場合（Ｓ３０５でＹＥＳ）、Ｓ３０７で、システム制御部５０は、画像表示部２８に検出枠と瞳枠を表示する。図５（ａ）は瞳ＡＦが設定されていて、顔と瞳が検出された場合の、画像表示部２８の表示状態を示す図である。システム制御部５０は、検出された顔を囲うように被写体検出枠５０１を表示し、また、瞳を囲うように瞳ＡＦ枠５０２を表示する。瞳ＡＦ枠５０２内のＡＦ箇所が、合焦領域として用いられる。

Ｓ３０８における画像表示部２８への表示は、
（イ）顔が検出され、瞳ＡＦが設定されているが瞳を検出できない、
（ロ）顔が検出され、瞳ＡＦが設定されていない、または、
（ハ）顔が検出されず物体が検出されている、
のいずれかであって、検出された被写体におけるデフォーカス距離差が所定値以上の場合の表示である。この場合、システム制御部５０は、画像表示部２８に被写体検出枠と１つ以上のＡＦ枠を表示する。

図５（ｂ）は、上記の（ロ）のケースで表示される画像であり、被写体検出枠５０１が検出された被写体である顔を囲むように表示され、ＡＦ箇所を示すＡＦ枠５０３が表示されている。図５（ｃ）は、上記の（ハ）のケースで表示される画像であり、デフォーカス距離差が所定値以上の状態を示す図である。被写体検出枠５０１が検出された被写体（物体）である自動車の一部を囲うように表示されており、ＡＦ箇所を示すＡＦ枠５０３が表示されている。なお、ＡＦ枠５０３と瞳ＡＦ枠５０２とは異なる態様で表示される。ユーザは、表示された枠を見て、直ちに区別することができる。

なお、Ｓ３０８において、システム制御部５０は、被写体検出枠５０１内にある複数のＡＦ箇所のうち、最も撮像面に近いＡＦ箇所を選択し、これに対応するＡＦ枠を表示する。最も像面に近いと判定されたＡＦ箇所が複数ある場合、システム制御部５０は、それらのＡＦ箇所に対応する複数のＡＦ枠の候補（以下、ＡＦ枠候補）から、表示する１つ以上のＡＦ枠を選択する。但し、選択されるＡＦ枠（ＡＦ箇所）の数は、１つまたは２つとするのが好ましい。すなわち、システム制御部５０は、ＡＦ枠候補が複数ある場合に、それらＡＦ候補枠から１つ以上（例えば、１つまたは２つ）のＡＦ枠を選択して表示する。表示されるＡＦ枠の数が多いと、被写体検出枠の内部が煩雑になるためである。その際、システム制御部５０は、特定の被写体（例えば顔）から検出されている所定の領域（瞳、鼻、口など）とＡＦ枠候補との関係、所定の領域に設定されている優先順位、被写体検出枠との位置関係などに基づいて重畳表示するＡＦ枠を選択する。ＡＦ枠候補から表示するＡＦ枠を選択する方法の例について、以下に説明する。

顔検出機能により検出された顔を囲む被写体検出枠において複数のＡＦ枠候補が見つかった場合、器官検出機能により検出された瞳、鼻、口の領域に重複するＡＦ枠候補があれば、そのＡＦ枠候補を優先して重畳表示するように選択する。ここで、重複するとは、瞳、鼻、口などの所定の領域とＡＦ枠の少なくとも一部が重なるということである。図５（ｂ）では、瞳の領域と重複する１つのＡＦ枠が選択されて表示された状態が示されている。なお、瞳、鼻、口の領域に重複するＡＦ枠候補が存在しない場合は、システム制御部５０は、見つかった複数のＡＦ枠候補の中で、画面中央に近いＡＦ枠を選択し、表示する。また、瞳、口、鼻には優先順位が設定されており、システム制御部５０は、瞳、口、鼻の優先順でＡＦ枠を選択する。例えば、複数のＡＦ枠候補が、瞳の領域と重複するＡＦ枠、鼻の領域と重複するＡＦ枠、口の領域と重複するＡＦ枠を含むような場合は、瞳の領域と重複するＡＦ枠を優先的に選択する。また、一つの器官（例えば瞳）の領域と重複するＡＦ枠候補が複数存在する場合、システム制御部５０は、被写体検出枠の中央に近いＡＦ枠を選択する。

また、例えば、自動車のヘッドライトなど、物体にはユーザがピントを合わせたい領域が存在する。システム制御部５０は、このような、ユーザがピントを合わせたい領域と重複するＡＦ枠を選択肢、表示するようにしてもよい。なお、ピントを合わせたい領域の判別は機械学習に基づき実施されてもよい。また、ヘッドライトなどの領域は、例えば、画像処理部２０により、テンプレートマッチングの手法を用いて検出される。図５（ｃ）では、検出された物体が自動車であり、ヘッドライトの領域にＡＦ枠５０３が表示されている。また、２つ以上のＡＦ枠を選択、表示する場合、被写体検出枠が顔の検出枠であっても、物体の検出枠であっても、それらＡＦ枠のうち隣接しているＡＦ枠のみが選択、表示されるようにしてもよい。その場合、隣接している２つ以上のＡＦ枠がなければ、例えば、検出枠の中央に最も近いＡＦ枠が表示されるようにする。ＡＦ枠が乱雑に表示されているような印象を回避するためである。

Ｓ３０９における画像表示部２８への表示は、上記（イ）〜（ハ）のいずれかであって、検出された被写体におけるデフォーカス距離差が所定値未満の場合の表示である。この場合、システム制御部５０は、画像表示部２８に被写体検出枠のみを表示する。図６（ａ）は、（イ）または（ロ）のケース（被写体として顔が検出され、デフォーカス距離差が所定値未満の場合）の表示例を示している。被写体を囲うように被写体検出枠５０１が表示されているが、ＡＦ枠は表示されない。検出された被写体の領域においてデフォーカス距離差、すなわち深度差が所定値未満であり、検出された被写体のどこで焦点が検出されても、合焦の状態にそれほど変化がないためである。以上の、Ｓ３０６、Ｓ３０８、Ｓ３０９の処理によれば、システム制御部５０は、深度幅が所定値以上の場合には被写体検出枠とＡＦ枠の両方を画像表示部２８に重畳表示するよう表示制御する。一方、深度幅が所定値未満の場合には、システム制御部５０は、被写体検出枠は重畳表示するがＡＦ枠は重畳表示しないように画像表示部２８を表示制御する。

Ｓ３１０における画像表示部への表示は、被写体（顔、物体）が検出されなかった場合の表示である。この場合、システム制御部５０は、画像表示部２８に複数のＡＦ枠を表示し、被写体検出枠は表示しない。図６（ｂ）は顔、物体ともに検出されなかった状態における表示例を示す図である。画面内で撮像面から一番近い位置に複数のＡＦ箇所を示すＡＦ枠５０３が表示されている。Ｓ３１１において、システム制御部５０は、合焦の対象に選択したＡＦ箇所を用いて合焦を行う。こうして、システム制御部５０は、撮影待機状態において、連続的に撮影される画像の被写体検出枠から選択したＡＦ箇所を用いて合焦動作を実行する。

Ｓ３１２で、システム制御部５０は、シャッタースイッチ６２が半押し状態か否か、すなわち、ＳＷ１がＯＮ状態かどうかを判定する。ＳＷ１がＯＮであると判定された場合（Ｓ３１２でＹＥＳ）、システム制御部５０は、処理をＳ３１３へ進める。ＳＷ１がＯＮでなければ（Ｓ３１２でＮＯ）、システム制御部５０は、処理をＳ３０１に戻し、上述した処理を繰り返す。Ｓ３１３で、システム制御部５０は、Ｓ３０７〜Ｓ３１０のいずれかの処理において選択されたＡＦ箇所を用いて、より高精度な合焦を実施する。その後、Ｓ３１４で、システム制御部５０は、シャッタースイッチ６２が全押し状態か否か、すなわち、ＳＷ２がＯＮ状態かどうかを判定する。ＳＷ２がＯＮであると判定された場合（Ｓ３１４でＹＥＳ）、システム制御部５０は、処理をＳ３１５へ進める。ＳＷ２がＯＮでなければ（Ｓ３１４でＮＯ）、システム制御部５０は、処理をＳ３１２に戻す。Ｓ３１５で、システム制御部５０は、静止画の撮影を行うよう撮像素子１４の駆動を制御し、撮影処理を実行する。

なお、図３で説明したコンティニュアスＡＦモードの処理では、シャッタースイッチ６２を押していなくても、常に被写体に対しておおまかにピントを合わせ続けるようにしている。これにより、シャッタースイッチ６２の半押し（ＳＷ１がＯＮになる）に応じて素早くピントを合せることができる。但し、コンティニュアスＡＦモードはこれに限られるものではなく、例えば、シャッタースイッチ６２を半押しにしている間（ＳＷ１がＯＮの間）、被写体にピントを合わせ続けるように構成されてもよい。その場合、図３のＳ３０１における判定を、「コンティニュアスＡＦモードがＯＮ、且つ、ＳＷ１がＯＮ」の場合にＹＥＳとなるようにし、また、Ｓ３１２，Ｓ３１３の処理を省略する（Ｓ３１４でＮＯの場合の戻りはＳ３０１となる）。

以上説明したように、上記実施形態によれば、ピント位置のわかりづらいシーンでのみＡＦ箇所を示すことで画面内の煩雑さを抑えつつ、正確な合焦位置をユーザに示すことができる利便性の高い撮像装置を提供することが可能となる。

また、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。

また、上述した実施形態においては、本発明をデジタルカメラに適用した場合を例にして説明したが、これはこの例に限定されず、タッチパネルを備え、撮像機能を有する電子機器であれば適用可能である。すなわち、本発明はタブレットＰＣやＰＤＡ、携帯電話端末などに適用可能である。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

２０：画像処理部、２０：画像処理部、２２：メモリ制御部、３０：メモリ、２８：画像表示部、３１：不揮発性メモリ、４０：露光制御部、４２：フォーカス制御部、５０：システム制御部、シャッタースイッチ６２．１００：デジタルカメラ

Claims

画角内の領域に対して合焦を行う合焦手段と、
撮像した画像から特定の被写体が存在する被写体領域を検出する検出手段と、
前記画像を分割して得られる部分ごとの被写体までのデフォーカス距離を示す奥行情報に基づいて、前記被写体領域の深度幅を計算する計算手段と、
前記深度幅が所定値以上の場合には、前記被写体領域を示す被写体検出枠と前記合焦手段が用いるＡＦ箇所を示すＡＦ枠とを前記画像に重畳表示し、前記深度幅が所定値未満の場合には前記被写体検出枠を重畳表示して前記ＡＦ枠を重畳表示しないように表示制御する重畳表示手段と、を備えることを特徴とする撮像装置。
前記合焦手段が合焦を行う対象として前記特定の被写体における特定の部位が合焦領域に指定されており、前記画像の前記被写体領域から前記特定の部位が検出されている場合に、前記重畳表示手段は、前記特定の部位を示す枠を、ＡＦ箇所を示す枠として前記深度幅に関わらず重畳表示することを特徴とする請求項１に記載の撮像装置。
前記重畳表示手段は、前記特定の部位を示す枠を、前記ＡＦ枠とは異なる態様で重畳表示することを特徴とする請求項２に記載の撮像装置。
前記特定の被写体は顔であり、前記特定の部位は瞳であることを特徴とする請求項２または３に記載の撮像装置。
前記合焦手段が合焦に用いるＡＦ箇所として複数のＡＦ箇所を前記被写体検出枠から選択した場合に、前記重畳表示手段は、前記複数のＡＦ箇所に対応する複数のＡＦ枠のうちの１つ以上のＡＦ枠を選択して重畳表示することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
前記重畳表示手段は、前記特定の被写体から検出されている所定の部位の領域に重複しているＡＦ枠を前記複数のＡＦ枠から選択して重畳表示することを特徴とする請求項５に記載の撮像装置。
前記重畳表示手段は、前記所定の部位の領域に重複しているＡＦ枠がない場合、前記被写体検出枠の中央に近い順に前記複数のＡＦ枠から前記１つ以上のＡＦ枠を選択して重畳表示することを特徴とする請求項６に記載の撮像装置。
前記所定の部位は優先順位が設定された複数の部位を含み、前記重畳表示手段は、優先順位の高い部位の領域に重複しているＡＦ枠から順に前記１つ以上のＡＦ枠を選択して重畳表示することを特徴とする請求項６または７に記載の撮像装置。
前記特定の被写体は顔であり、前記所定の部位は、目、鼻、口であることを特徴とする請求項６乃至８のいずれか１項に記載の撮像装置。
前記重畳表示手段は、前記複数のＡＦ枠から１つのＡＦ枠を選択して表示することを特徴とする請求項６乃至９のいずれか１項に記載の撮像装置。
前記重畳表示手段は、前記複数のＡＦ枠から隣接する２つ以上のＡＦ枠を選択して重畳表示することを特徴とする請求項５乃至９のいずれか１項に記載の撮像装置。
前記重畳表示手段は、隣接する前記２つ以上のＡＦ枠が存在しない場合に、前記被写体検出枠の中央に最も近い１つのＡＦ枠を選択することを特徴とする請求項１１に記載の撮像装置。
前記合焦手段は、撮影待機状態において連続的に撮影される画像の前記被写体検出枠から選択したＡＦ箇所を用いて合焦動作を実行することを特徴とする請求項１乃至１２のいずれか１項に記載の撮像装置。
画角内の領域に対して合焦を行う合焦手段を有する撮像装置の制御方法であって、
撮像した画像から特定の被写体が存在する被写体領域を検出する検出工程と、
前記画像を分割して得られる部分ごとの被写体までのデフォーカス距離を示す奥行情報に基づいて、前記被写体領域の深度幅を計算する計算工程と、
前記深度幅が所定値以上の場合には、前記被写体領域を示す被写体検出枠と前記合焦手段が合焦に用いるＡＦ箇所を示すＡＦ枠とを前記画像に重畳表示し、前記深度幅が所定値未満の場合には前記被写体検出枠を重畳表示して前記ＡＦ枠を重畳表示しないように表示制御する重畳表示工程と、を備えることを特徴とする撮像装置の制御方法。
請求項１４に記載された撮像装置の制御方法の各工程をコンピュータに実行させるためのプログラム。