JP4906632B2 - 画像処理装置、画像処理方法および画像処理プログラム - Google Patents

Description

画像データ中の被写体を検出し、この被写体の位置を示す表示を行う画像処理装置の使用者インターフェイスに関する構成である。

近年、デジタルカメラの技術的進歩により、様々な機能が搭載されている。そのような状況で、デジタルカメラに備え付けられたディスプレイに表示中の画像データから人物の顔を検出できる顔検出機能が注目されている。顔検出機能を用いて、顔を含む領域を検出し、その領域に合わせて色調整を行ったり、オートフォーカスを行うことで使用者は自動で簡単に綺麗な人物撮影をすることができる。

その際の使用者インターフェイスとしては、例えば、検出した顔領域を囲むように枠をつけて表示を行うものがある（特許文献１を参照）。
特開２００５−２８６９４０号

複数の人物が検出された場合には、全ての顔に対して色調整やオートフォーカスを行うことは困難である場合がある。そのため、複数の人物が検出された際にはいずれかの人物を主被写体と定め、この主被写体を中心として撮影のための処理を行う仕様とすることが望ましい。

しかしながら、単純にカメラが検出した顔領域を一様に表示してしまうと、使用者が複数の人物が検出されていることを認識することはできるが、複数の人物のうち、実際に主被写体がどの人物となるのか認識することができない。また、複数の人物の中からカメラが様々なパラメータを使って自動的に主被写体を選び出すような場合、決定された人物が実際に使用者が撮影したい主被写体と必ずしも同一であるとは限らない。

このような場合の解決方法の一つとして、使用者が主被写体として撮影したい人物を、検出された人物の中から選択できる手段を提供するということが考えられる。ここで、カメラが必ずしも全ての人物の検出に成功しているとは限らないため、カメラがどの人物の検出に成功したかということを使用者に知らしめる指標を表示を行うことが望ましいと考えられる。

しかしながら、検出された人物が多い場合には、カメラがどの人物の検出に成功したかということを示す指標を表示すると、かえって表示が煩わしくなってしまうことがある。

上記課題を解決するために、本発明は、画像データの中から目的とする対象を含んだ領域を検出する領域検出手段と、前記領域検出手段によって検出された領域を認識できるようにするための指標を、前記画像データから生成された画像に重畳して表示する表示手段を有し、前記表示手段は前記領域検出手段によって検出された領域の数が予め定められた上限よりも多い場合には、前記上限の数の領域に対して前記指標を表示するものであって、使用者による所定の操作があったと判定した場合には、前記上限の数の領域に対して前記指標を表示する状態から、前記上限の数よりも多くとも前記領域検出手段によって検出された全ての領域に対して前記指標を表示する状態へと切り替わることを特徴とする画像処理装置を提供するものである。

同様に、上記課題を解決するために、本発明は、領域検出手段が画像データの中から目的とする対象を含んだ領域を検出する検出工程と、表示手段が検出された前記領域を認識できるようにするための指標を、前記画像データから生成された画像に重畳して表示する表示工程を有し、前記表示工程において、前記表示手段は前記領域検出手段によって検出された領域の数が予め定められた上限よりも多い場合には、前記上限の数の領域に対して前記指標を表示するものであって、使用者による所定の操作があったと判定した場合には、前記上限の数の領域に対して前記指標を表示する状態から、前記上限の数よりも多くとも前記領域検出手段によって検出された全ての領域に対して前記指標を表示する状態へと切り替わることを特徴とする画像処理方法、および、これを画像処理装置に実行させるための画像処理プログラムを提供するものである。

本発明によれば、使用者が目的とする対象が検出された領域からいずれかの領域を選択する際に、表示する指標の数を制限することで画面の見易さを考慮しつつも、必要に応じて使用者に選択可能な領域に関する指標を提示することができる。

（第１の実施形態）
以下、図面を参照しながら本発明の好適な実施形態について説明を行う。

図１は、本実施形態に係る撮像装置のブロック図である。本発明はビデオカメラでも実現可能であるが、ここではデジタルカメラを例にあげて説明を行う。図１において、１００はデジタルカメラ本体である。１０は撮影レンズ、１２は絞り機能を備えるシャッター、１４は撮影レンズ１０を透過した光学像を電気信号に変換して画像データを生成する撮像素子、１６は撮像素子１４のアナログ信号出力をディジタル信号に変換するＡ／Ｄ変換器である。

１８は撮像素子１４、Ａ／Ｄ変換器１６、Ｄ／Ａ変換器２６にクロック信号や制御信号を供給するタイミング発生回路であり、メモリ制御回路２２及びシステム制御回路５０により制御される。

２０は画像処理回路であり、Ａ／Ｄ変換器１６からの画像データ或いはメモリ制御回路２２からの画像データに対して所定の画素補間処理や色変換処理を行う。画像処理回路２０は撮像した画像データに対して所定の演算処理を行い、得られた演算結果に基づいて、露光制御手段４０、焦点制御手段４２がＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、およびＥＦ（フラッシュプリ発光）処理を行う。さらに、画像処理回路２０が撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＡＷＢ（オートホワイトバランス）処理も行っている。

２２はメモリ制御回路であり、Ａ／Ｄ変換器１６、タイミング発生回路１８、画像処理回路２０、画像表示メモリ２４、Ｄ／Ａ変換器２６、メモリ３０および圧縮／伸長回路３２を制御する。Ａ／Ｄ変換器１６の画像データが画像処理回路２０、メモリ制御回路２２を介して、或いはＡ／Ｄ変換器１６の画像データが直接メモリ制御回路２２を介して、画像表示メモリ２４或いはメモリ３０に書き込まれる。

２４は画像表示メモリ、２６はＤ／Ａ変換器、２８はＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等から成る画像表示部である。画像表示メモリ２４に書き込まれた表示用の画像データはＤ／Ａ変換器２６を介して画像表示部２８により画像として表示される。画像表示部２８を用いて撮像した画像データから生成した画像を逐次表示すれば、被写体の像をリアルタイムで表示する電子ファインダ機能を実現することが可能である。また、画像表示部２８は、システム制御回路５０の指示により任意に表示をオン／オフすることが可能であり、表示をオフにした場合にはデジタルカメラ１００の電力消費を低減することができる。

３０は撮影した静止画像や動画像を格納するためのメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備えている。これにより、複数枚の静止画像を連続して撮影する連射撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ３０に対して行うことが可能となる。また、メモリ３０はシステム制御回路５０の作業領域としても使用することが可能である。

３２は適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮伸長する圧縮／伸長回路であり、メモリ３０に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えた画像データをメモリ３０に書き込む。

４０は絞り機能を備えるシャッター１２を制御する露光制御手段であり、フラッシュ４８と連携することによりフラッシュ調光機能も有するものである。

４２は撮影レンズ１０の焦点位置を制御する焦点制御手段、４４は撮影レンズ１０のズーミングを制御するズーム制御手段、４６はバリアである保護手段１０２の動作を制御するバリア制御手段である。４８はフラッシュであり、ＡＦ補助光の投光機能、フラッシュ調光機能も有する。露光制御手段４０、焦点制御手段４２はＴＴＬ（Ｔｈｒｏｕｇｈ Ｔｈｅ Ｌｅｎｓ）方式を用いて制御されている。画像処理回路２０が撮像した画像データに対して行った演算結果に基づき、システム制御回路５０が露光制御手段４０、焦点制御手段４２に対して制御を行う。

５０はデジタルカメラ１００全体を制御するシステム制御回路、５２はシステム制御回路５０の動作用の定数、変数、プログラム等を記憶するメモリである。

５４はシステム制御回路５０でのプログラムの実行に応じて、文字、画像、音声等を用いて動作状態やメッセージ等を表示する液晶表示装置、スピーカー等の表示部である。この表示部５４は、デジタルカメラ１００の操作部近辺の視認し易い位置に単数或いは複数個所設置され、例えばＬＣＤやＬＥＤ、発音素子等の組み合わせにより構成されている。また、表示部５４は、その一部の機能が光学ファインダ１０４内に設置されている。表示部５４の表示内容のうち、ＬＣＤ等に表示するものとしては、シングルショット／連写撮影表示、セルフタイマー表示、圧縮率表示、記録画素数表示、記録枚数表示、残撮影可能枚数表示、シャッタースピード表示、絞り値表示、露出補正表示がある。更には、フラッシュ表示、赤目緩和表示、マクロ撮影表示、ブザー設定表示、時計用電池残量表示、電池残量表示、エラー表示、複数桁の数字による情報表示、外部記録媒体１２０の着脱状態表示、通信Ｉ／Ｆ動作表示、日付け・時刻表示、等がある。また、表示部５４の表示内容のうち、光学ファインダ１０４内に表示するものとしては、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、露出補正表示、等がある。

５６は電気的に消去・記録可能な不揮発性メモリであり、例えばＥＥＰＲＯＭ等が用いられる。

６０、６２、６４、６６、６８および７０は、システム制御回路５０の各種の動作指示を入力するための操作手段であり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。ここで、これらの操作手段の具体的な説明を行う。

６０はモードダイアルスイッチで、電源オフ、自動撮影モード、撮影モード、パノラマ撮影モード、再生モード、マルチ画面再生・消去モード、ＰＣ接続モード等の各機能モードを切り替え設定することができる。

６２はシャッタースイッチＳＷ１で、不図示のシャッターボタンの操作途中でオンとなり、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作開始を指示する。

６４はシャッタースイッチＳＷ２で、不図示のシャッターボタンの操作完了でオンとなる。シャッターＳＷ２ ６４がオンすると、撮像素子１４から読み出した信号をＡ／Ｄ変換器１６、メモリ制御回路２２を介してメモリ３０に画像データを書き込む露光処理を行わせ、画像処理回路２０やメモリ制御回路２２での演算を用いた現像処理を行わせる。更に、メモリ３０から画像データを読み出し、圧縮／伸長回路３２で圧縮を行わせ、外部記録媒体１２０或いは２１０に画像データを書き込ませるという一連の処理が行われる。

６６は画像表示オン／オフスイッチで、画像表示部２８のオン／オフを設定することが出来る。この機能により、光学ファインダ１０４を用いて撮影を行う際に、ＬＣＤ等から成る画像表示部２８への電流供給を遮断することにより、省電力を図ることが可能となる。

６８はクイックレビューオン／オフスイッチで、撮影直後に撮影した画像データを自動再生するクイックレビュー機能を設定する。なお、本実施例では特に、画像表示部２８をオフとした場合におけるクイックレビュー機能の設定をする機能を備えるものとする。

７０は各種ボタンやタッチパネル等からなる操作部で、メニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写／連写／セルフタイマー切り替えボタンを備える。そして、更にメニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタン、再生画像移動＋（プラス）ボタン、再生画像−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付／時間設定ボタン、および、後述する被写体全表示ボタンを備える。

８０は電源制御手段で、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成されている。この電源制御手段８０は、電池の装着の有無、電池の種類、電池残量の検出を行い、検出結果及びシステム制御回路５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部へ供給する。

８２はコネクタ、８４はコネクタ、８６はアルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる電源手段である。

９０はメモリカード等の外部記録媒体と画像データの送受信を行うカードコントローラ、９１はメモリカード等の外部記録媒体とのインタフェース、９２はメモリカード等の外部記録媒体と接続を行うコネクタである。９８はコネクタ９２に外部記録媒体１２０が装着されているか否かを検知する記録媒体着脱検知手段である。

なお、本実施例では記録媒体を取り付けるインタフェースやコネクタは、単数或いは複数、いずれの系統数を備える構成としても構わない。また、異なる規格のインタフェース及びコネクタを組み合わせて備える構成としても構わない。インタフェース及びコネクタとしては、ＰＣＭＣＩＡカードやＣＦ（コンパクトフラッシュ（登録商標））カード等の規格に準拠したものを用いて構成して構わない。

さらに、インタフェース９１、そしてコネクタ９２をＰＣＭＣＩＡカード等の規格に準拠したものを用いて構成することもできる。この場合、ＬＡＮカードやモデムカード等の各種通信カードを接続することにより、他のコンピュータやプリンタ等の周辺機器との間で画像データや画像データに付属した管理情報を転送し合うことができる。通信カードとしては、他に、ＵＳＢカード、ＩＥＥＥ１３９４カード、Ｐ１２８４カード、ＳＣＳＩカード、ＰＨＳ等の通信カードが考えられる。

１０１は、目的とする対象（本実施形態では人物の顔）を検出する領域検出手段としての顔検出部である。画像処理回路２０で処理された画像データや画像表示メモリ２４に保存されている画像データの解析を行い、画像データ内の顔と思われる領域を検出する。顔検出部では、顔を思われる領域を検出した際に、人間の顔と思われる確からしさ、入力画像データ中の位置、サイズなどが出力される。また、検出した顔の各々の特徴点の特徴量を出力することもできる。

１０２は、デジタルカメラ１００の撮影レンズ１０を含む撮像部を覆う事により、撮像部の汚れや破損を防止するバリアである保護手段である。

１０４は光学ファインダであり、画像表示部２８による電子ファインダ機能を使用すること無しに、光学ファインダのみを用いて撮影を行うことが可能である。また、光学ファインダ１０４内には、表示部５４の一部の機能、例えば、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、露出補正表示などが設置されている。

１２０はメモリカード等の外部記録媒体である。

図２は、本発明のデジタルカメラにおける人物撮影モードのフローチャートである。人物撮影モードは、操作部材７０に含まれる撮影モード設定スイッチや、ＧＵＩのメニューを設定することにより選択可能な撮影モードである。

ステップ２０１において、使用者は人物撮影モードとして、顔オートモード（図３にて後述する）と顔選択モード（図４にて後述する）が選択可能である。顔オートモードとは、顔検出部１０１が検出した顔領域から後述する処理により、顔検出部１０１が自動的に主被写体となる顔領域を決定する。これに対し、顔選択モードでは、使用者が顔検出部１０１が検出した顔領域から主被写体とする顔領域を選択することができる。顔オートモードと顔選択モードの選択は、操作部材７０に含まれる設定スイッチや、ＧＵＩのメニューで選択することができる。

ステップ２０２、２０３において、後述する方法にて選択されたモードで主被写体が設定され、主被写体を含む顔領域に対して、それぞれの表示方法で現在の主被写体を認識できるようにしている。

ステップ２０４において、シャッタースイッチ６２のＳＷ１が押下されていれば、ステップ２０５に進み、押下されていなければ、ステップ２０１に戻る。

ステップ２０５では、設定されている主被写体となる顔領域に含まれる人物の顔が露出が適正になるようＡＥ処理を施す。

ステップ２０６では、設定されている主被写体となる顔領域に対して、ＡＦ処理を実行し、顔領域に含まれる人物の顔に合焦するよう制御する。

ステップ２０７において、シャッタースイッチ６４のＳＷ２が押下されたならば、ステップ２０８において、撮影処理を行い、ステップ２０９において、ステップ２０８で撮影された画像データを外部記録媒体１２０へ記録する。以上により、人物撮影モードでは、主被写体となる人物を綺麗に撮影することができる。

図３は、顔オートモードにおける主被写体の選択処理を示すフローチャートである。

ステップ３０１において、顔検出部１０１を用いて、画像表示メモリ２４に保存されている画像データから顔領域を検出する。この画像データに顔とみなされる領域が複数存在する場合には、この顔とみなされるすべての領域を検出する。

ステップ３０２において、ステップ３０１で検出された複数の顔領域の中から主被写体としてふさわしいと思われる顔領域を選択する主被写体選択処理を行う。主被写体選択処理としては、例えば、顔検出部１０１が検出したそれぞれの顔領域に対して評価値を算出し、最も評価値が高い顔領域を主被写体として選択する。また、最も高い評価値でも所定の閾値を超えなければ、主被写体がないものとしてもよい。また、評価値以外の方法で主被写体を選択しても良い。

評価値の算出方法としては、人間の顔と思われる確からしさが高いものに対して、評価値を高く設定することが考えられる。あるいは、顔領域の検出位置が画像データの中心部に近い場合に評価値を高く設定したり、顔領域の検出サイズが大きな場合に評価値を高く設定したり、顔領域の検出した他の顔領域との相関位置によって評価値を設定する方法などが考えられる。これらのうち少なくとも１つを用いて、あるいは複数を掛け合わせることで評価値を設定する。

ステップ３０３では、ステップ３０２で選択された主被写体となる顔領域を使用者に認識できるようにするため、画像表示部２８に表示中の画像に指標を重ねて表示を行う。その表示例が図７である。

図７は、画角に５人の人物が含まれる場合の画像表示部２８による表示例である。

ここで、ステップ３０２で選択された主被写体となる顔領域については、黒線の括弧枠で表示している。また、主被写体ではないが評価値が高かったその他の顔領域は灰色線の括弧枠で表示することにより、主被写体とは異なった表示形式としている。主被写体ではない顔領域の表示は、あまりに多すぎると構図の設定などに支障をきたしたり、表示処理での負荷が大きくなり、操作のレスポンスに影響がでる可能性がある。そのため、本実施例では同時に表示する括弧枠は最大３つ（そのうち１つは主被写体を示す黒線の括弧枠）までとしているが、これより少なくても良いし、主被写体以外は表示しなくても構わない。そして図２に示したように、シャッタースイッチ６２のＳＷ１が押されるまで、この図３に示す処理が繰り返される。

これにより、顔オートモードでは、複数の顔のうち、デジタルカメラ１００が自動的に決定した主被写体となる顔領域を使用者に提示し、使用者は、主被写体となる人物の顔を認識した上で撮影を行うことができる。

次に、顔選択モードについて説明する。顔選択モードでは使用者が所望の顔を選択することから、主被写体となる顔領域に対してのみ、括弧枠の表示を行う。この表示例を図８に示す。

図８では、顔オートモードと差別化するために現在の主被写体にだけ２重の黒括弧枠表示を行っている。また、他に選択可能な顔領域がある場合は、括弧枠の左右に切り替え可能な状況であることを示す矢印表示も同時に行っている。顔選択モードは、使用者が所望の顔領域を選択し、その他の顔領域には関心が薄いであろうという観点から、通常は、唯一だけの顔領域を表示している。

図４は、顔選択モードにおける主被写体の選択処理を示すフローチャートである。

ステップＳ４０１において、顔検出部１０１を用いて、画像表示メモリ２４に保存されている画像データから顔領域を検出する。

ステップＳ４０２において、使用者によって操作部材７０に含まれる被写体全表示ボタンが操作されているかを判定する。被写体全表示ボタンが操作されていれば、全ての顔検出結果を表示する要求がなされたものとしてステップＳ４０９に進み、操作されてなければ、ステップＳ４０３に進む。

ステップＳ４０３において、デジタルカメラ１００で選択した顔領域が使用者の所望の顔領域で無い場合、使用者は操作部材７０に含まれる左右ボタン等の顔選択ボタンによって顔領域の切り替えを行い、使用者が撮影したい被写体を選択することができる。ここで、まだ使用者が顔領域の選択を行っていなければ、ステップＳ４０５へ進む。なお、始めてこのステップＳ４０３の処理を行う場合には、主被写体としての顔領域を選択する処理がまだ行なわれていないため、ステップＳ４０５に進むことになる。

ステップＳ４０５において、検出された複数の顔からいずれかの顔を主被写体として選択し、選択された顔に２重の黒括弧枠表示を行う。例えば、デフォルトとして、顔オートモードと同様に、最も画面の中央に位置する顔を仮の主被写体として選択し、ステップＳ４０６に進む。

ステップＳ４０６において、主被写体として選択された顔に対して２重の黒括弧枠表示を行う。このとき、他のいずれの顔に対しても括弧枠表示はなされない。

ステップＳ４０７において、いずれかの顔に２重の黒括弧枠表示された状況において、使用者によって左右ボタン等の顔選択ボタンが操作されたか判定する。左右ボタンが操作されていれば、この左右ボタンの操作に応じて、左右のいずれかに隣接する顔が順に主被写体として選択され、ステップＳ４０８に進む。使用者によって顔選択ボタンが操作されていなければ、使用者の意図に沿った顔領域が選択されているものとして、このフローを終える。例えば、左ボタンが操作されると、水平方向における顔の中心位置の座標が現在の主被写体である顔領域よりも左側に位置しており、かつ、その水平方向における座標が現在の主被写体である顔領域から最も近接する顔領域を新たな主被写体として選択する。ここで、主被写体として選択できる顔はステップＳ４０１で検出できた顔に限定されるものであって、仮に画角に７人の顔が存在していても、ステップＳ４０１にて５人の顔しか検出できなかった場合には、主被写体として選択できる顔は５個となる。

ステップＳ４０８において、２重の黒括弧枠表示を新たに主被写体として選択された顔領域へ移動させる。このときの画像表示部２８の表示例が図９である。このようにして、顔オートモードでは主被写体して選択される可能性の低い画面端に位置する顔領域を主被写体として選択できる。

このように顔選択モードでは、使用者が指示する左右ボタン等の顔選択ボタンに応じて、その方向に近接する顔領域へと順に顔領域を切り替えて行くことで、任意の顔領域を主被写体として選択することができる。

ステップＳ４０３に戻り、すでに一度ステップＳ４０５、Ｓ４０６、あるいはステップＳ４０７を通過して主被写体としていずれかの顔領域が選択されているのであれば、ステップＳ４０４に進む。

ステップＳ４０４において、使用者が選択した主被写体としての顔に括弧枠の表示を継続して行うため、前回主被写体として選択された顔領域の顔検出結果と最新の顔検出結果を比較する。そして、最新の顔検出結果にて得られた複数の顔領域の中から、最も関連の高い顔領域を選択する。比較の方法としては、顔検出部１０１にて検出した特徴量が最も似通っているものを選択する方法が考えられる。あるいは、前回までの顔括弧枠の表示位置の動きの履歴を保存しておき、そこから推測される位置に最も近い位置で検出された顔領域を選択したり、単純に前回の表示位置と最も移動距離が近い顔領域を選択する方法が考えられる。または、顔検出部１０１が個人認証もできるのであれば、この個人認証結果を用いて、前回主被写体として選択された人物と同一人物を選択する方法も考えられる。そして選択された顔領域に対して２重の黒括弧枠表示を行い、ステップＳ４０６、Ｓ４０７に進む。

上述したように、ステップＳ４０７において、２重の黒括弧枠が表示される顔を選択することが可能であるが、画像表示部２８には複数の人物が存在しているにも関わらず、顔検出されたことを示す指標は主被写体に重畳された２重の黒括弧枠しか表示されていない。一般的な環境光下で正面を向いた人間は顔だと認識できるような状況においても、例えば、顔の向き、顔の傾き、画面中の顔の大きさ、画面全体の明るさ、顔部分の明るさ、サングラスの有無などの条件によっては検出率は大きく変化する。また、検出できる個数にも制限がある。そのため、ステップＳ４０１にて検出されていない顔が存在する場合もあり、ステップＳ４０７にて実際に存在している顔の全てを主被写体として選択できるとは限らない。そのため、使用者は、実際に顔選択ボタンを押すまで次にどの顔領域が選択されるのかを把握しづらいという問題点がある。そのため、使用者に対して、選択可能な顔領域の候補を表示する手段を提供することが望ましいと考えられる。

そこで、ステップＳ４０２において、使用者によって操作部材７０に含まれる被写体全表示ボタンが操作されていると判断された場合には、ステップＳ４０９に進む。ステップＳ４０９では、被写体全表示ボタンが操作されている間だけ、ステップＳ４０１において顔検出部１０１で検出された全ての顔領域に対して括弧枠表示を行う。その際の表示例が図１０である。

図１０では、検出された顔領域のうち、主被写体である顔領域に黒線の括弧枠を表示し、それ以外の全ての顔領域に灰色線の括弧枠を表示する。この図１０では全ての顔領域に対して括弧枠が表示されているが、ステップＳ４０１で検出に失敗した顔領域に対してはこの灰色線の括弧枠は表示されない。つまり、図１０のような表示を行うことで、使用者はどの顔領域が選択可能な領域かをすばやく認識することができる。また、図１０のように検出された全ての顔に括弧枠を表示する際に、検出された顔の数が即座に分かるように検出数を同時に表示しても良い。また、主被写体は使用者による選択が行われていれば、その選択された顔領域を主被写体とし、使用者による選択が行われていなければ、ステップＳ４０５と同様の方法によって主被写体を選択してもよい。また、主被写体と認識できる括弧枠を設けず、検出された全ての顔領域に対して同様の形態の指標を表示しても構わない。

そして図２に示したように、シャッタースイッチ６２のＳＷ１が押されるまで、この図４に示す処理が繰り返される。

以上のように、本実施形態によれば、使用者から指示がなければ、画面の見易さや画像処理の負荷軽減を考慮して、顔検出結果を示す括弧枠を表示する数に制限を持たせている。これに対して、使用者から指示があった場合には、一時的に検出された全ての顔に対して括弧枠を表示する機能を持たせることにより、使用者がどの被写体を選択可能であるかを一目で認識できるようにしている。このように表示する指標の数の上限を変更することによって、画像の見易さや画像処理の負荷を軽減しつつも、必要に応じて、選択可能な顔領域の一覧を確認することが可能となる。

また、使用者から指示があった場合に必ずしも検出された全ての顔領域に対して括弧枠を表示せずとも、ステップＳ４０６にて表示できる括弧枠の上限数よりも、ステップＳ４０９にて表示できる括弧枠の上限数を多くする構成としてもよい。この構成でも、必要に応じて、より多くの選択可能な顔領域を確認することができるという効果を持たせることができる。

（第２の実施形態）
図５は、本発明の第２の実施形態における顔オートモードにおける主被写体の選択処理を示すフローチャートである。本実施形態では、顔オートモードで全ての顔領域の検出結果を表示することが可能である点と、顔選択モードで全ての顔領域の検出結果を継続して表示可能である点が異なる。

ステップＳ５０１において、顔検出部１０１を用いて、画像表示メモリ２４に保存されている画像データから顔領域を検出する。この画像データに顔とみなされる領域が複数存在する場合には、この顔とみなされるすべての領域を検出する。なお、第１の実施形態では操作部材７０に含まれる被写体全表示ボタンが操作されている間のみ全ての顔検出結果を表示する構成としてが、本実施形態では被写体全表示ボタンを操作するたびに、被写体全表示ボタンのオンとオフを切り替えられるものとする。

ステップＳ５０２において、ステップＳ５０１で検出された複数の顔領域の中から主被写体としてふさわしいと思われる顔領域を選択する主被写体選択処理を行う。主被写体選択処理としては、第１の実施形態にて説明した図３のステップＳ３０２と同様の方法が考えられる。

ステップＳ５０３において、操作部材７０に含まれる被写体全表示ボタンがオンされていれば、全ての顔検出結果を表示する要求がなされていればステップＳ５０５に進み、被写体全表示ボタンがオンされていなければステップＳ５０４に進む。

ステップＳ５０４において、図７に示すように、ステップＳ５０２にて主被写体とされた顔領域については黒線の括弧枠で表示し、主被写体ではないが評価値が高かったその他の顔領域は灰色線の括弧枠で表示している。この灰色線の括弧枠はここでは最大２つまで表示するものとする。そして、このフローを終了する。

ステップＳ５０５において、図１０に示すように、ステップＳ５０２にて主被写体された顔領域については黒線の括弧枠で表示し、検出された残りの全ての顔領域は灰色線の括弧枠で表示している。ステップＳ５０４とは異なり、このステップでは、灰色線の括弧枠には表示数に制限が設けれていない。そして、このフローを終了する。

図６は、本実施形態における顔選択モードにおける主被写体の選択処理を示すフローチャートである。

ステップＳ６０１乃至Ｓ６０８は、図４のステップＳ４０１乃至Ｓ４０８と同様の処理を行なう。第１の実施形態と異なるのは、ステップＳ６０９およびＳ６１０の処理である。

ステップＳ６０２において、使用者によって操作部材７０に含まれる被写体全表示ボタンがオンされていると判断された場合には、ステップＳ６０９に進む。

ステップＳ６０９において、既に顔検出部１０１で検出された全ての顔領域に対して括弧枠が表示されている状態であるかを判定し、表示されていなければステップＳ６１０に進む。

ステップＳ６１０において、ステップＳ６０１において顔検出部１０１で検出された全ての顔領域に対して括弧枠表示を行い、ステップＳ６０７に進む。その際の表示例が図１０である。図１０では、検出された顔領域のうち、主被写体である顔領域に黒線の括弧枠を表示し、それ以外の全ての顔領域に灰色線の括弧枠を表示する。

また、ステップＳ６０９において、既に顔検出部１０１で検出された全ての顔領域に対して括弧枠が表示されている状態であれば、括弧枠の表示を更新することなくステップＳ６０７に進む。これは、全ての顔領域の検出結果を、顔検出部１０１が顔検出する度に更新してしまうと、多くの括弧枠が表示されている場合には画面が見づらくなってしまうためである。したがって、全ての顔領域の検出結果を表示する場合には、使用者から指示のあった際に一時的に括弧枠を固定し、被写体全表示ボタンがオンされていない場合に比較して括弧枠の更新周期を長く設定することで見栄えを損なわないようにしている。

そしてステップＳ６０７にて、使用者によって左右ボタン等の顔選択ボタンが操作されれば、その操作に応じた顔が主被写体と選択されて２重の黒括弧枠が表示され、操作されなければ図１０に示す表示が継続される。

以上のように、本実施形態によれば、顔検出結果を用いて主被写体を示す括弧枠を表示する際には、画面の見易さや画像処理の負荷軽減を考慮して、括弧枠を表示する数に制限を持たせている。これに対して、使用者から指示があった場合には一時的に検出された全ての顔に対して括弧枠を表示する機能を持たせることにより、使用者がどの被写体を選択可能であるかを一目で認識できるようにしている。

さらに、検出できた全ての顔に対して括弧枠を表示する際には、その括弧枠の更新頻度を制限することによって、画面の見易さを確保している。

なお、上記の各実施形態では、顔領域を示す指標として顔領域を囲む括弧枠を示したが、この枠の表示形態はこれに限定されるものではなく、円形や八角形等でも構わない。また、顔領域以外の領域に対して色処理を施したり、ローパルフィルタをかけたり、反対に顔領域に対して色処理を施したり、ローパスフィルタをかけたり、コントラストを強調したりして、顔領域を識別できるような処理を施しても構わない。さらに、本発明は画像データから目的とする対象物を複数検出し、その検出した領域を示す構成であれば適用できるため、検出対象は必ずしも人の顔でなくとも構わない。例えば、人の顔以外の検出対象としては、特定の動物や、特定の車種、特定の車のナンバー、特定の形状と色を備えた物体などが考えられる。また、人の顔を更に詳細に分析して、人物認識を行って、特定の個人を検出する構成としても構わない。

また、本発明を実施するための構成は撮像装置単体に限定されるものではない。例えば、デジタルカメラやビデオカメラ等の撮像装置と接続され、撮像装置から送信されてくる画像データを用いて表示部に顔領域を示す指標を表示するパーソナルコンピュータ等であってもよい。

すなわち、画像の中から目的とする対象を含んだ領域を検出し、その領域を認識できるようにするための指標を、その画像データに重畳して表示する画像処理装置として機能するものであれば、本発明を実施することが可能である。

次に、上述した実施形態の機能を実現するためのプログラムについて説明する。

上述した実施形態の機能を実現するように各種のデバイスを動作させ、その各種のデバイスと接続された装置あるいはシステム内のコンピュータに対して上述した実施形態の機能を実現させるソフトウェアのプログラムコード（プログラム）を供給する。

そして、そのシステムあるいは装置のコンピュータ（ＣＰＵあるいはＭＰＵ）に（ソフトウェア的に又はハードウェア的に）格納された画像処理プログラムにしたがって上に記載した各種のデバイスを動作させるようにしたものも、本発明の範疇に含まれる。

また、この場合、上記のソフトウェアの画像処理プログラム自体が上述した実施形態の機能を実現することになる。

また、その画像処理プログラム自体、及びその画像処理プログラムのプログラムコードをコンピュータに供給するための手段、例えばかかるプログラムを格納した記憶媒体も、本発明の範疇に含まれる。

かかる画像処理プログラムを記憶する記憶媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。

また、供給された画像処理プログラムをコンピュータが実行することにより、上述の実施形態の機能が実現されるだけではない。

例えば、その画像処理プログラムがコンピュータにおいて稼動しているＯＳ（オペレーティングシステム）あるいは他のアプリケーション等と協働して上述の実施形態の機能を実現させる場合にも、かかる画像処理プログラムは、本発明の範疇に含まれる。

さらに、供給された画像処理プログラムは、コンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納される。

そして、その画像処理プログラムの指示に基づいて機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行い、その処理によって上述した実施形態の機能が実現される場合にも、かかる画像処理プログラムは本発明の範疇に含まれる。

本発明の実施形態における撮像装置のブロック図である。 本発明の実施形態における人物撮影モードのフローチャートである。 本発明の第１の実施形態における顔オートモードにおける主被写体の選択処理を示すフローチャートである。 本発明の第１の実施形態における顔選択モードにおける主被写体の選択処理を示すフローチャートである。 本発明の第２の実施形態における顔オートモードにおける主被写体の選択処理を示すフローチャートである。 本発明の第２の実施形態における顔選択モードにおける主被写体の選択処理を示すフローチャートである。 本発明の実施形態における顔オートモードにおける顔領域を示す括弧枠の表示例である。 本発明の実施形態における顔選択モードにおける顔領域を示す括弧枠の表示例である。 本発明の実施形態における顔選択モードにおける顔領域を示す括弧枠の移動後の表示例である。 本発明の実施形態における被写体全表示ボタンが操作されたときの顔領域を示す括弧枠の表示例である。

符号の説明

１０ 撮影レンズ
１２ シャッター
１４ 撮像素子
１６ Ａ／Ｄ変換器
１８ タイミング発生回路
２０ 画像処理回路
２２ メモリ制御回路
２４ 画像表示メモリ
２６ Ｄ／Ａ変換器
２８ 画像表示部
３０ メモリ
３２ 画像圧縮／伸長回路
４０ 露光制御手段
４２ 焦点制御手段
４４ ズーム制御手段
４６ バリア制御手段
４８ フラッシュ
５０ システム制御回路
５２ メモリ
５４ 表示部
５６ 不揮発性メモリ
６０ モードダイアルスイッチ
６２ シャッタースイッチＳＷ１
６４ シャッタースイッチＳＷ２
６６ 画像表示オン／オフスイッチ
６８ クイックレビューオン／オフスイッチ
７０ 操作部
８０ 電源制御手段
８２ コネクタ
８４ コネクタ
８６ 電源手段
９０ カードコントローラ
９１ インタフェース
９２ コネクタ
９８ 記録媒体着脱検知手段
１００ デジタルカメラ
１０１ 顔検出部
１０２ 保護手段
１０４ 光学ファインダ
１２０ 外部記録媒体

Claims (7)

1. 画像データの中から目的とする対象を含んだ領域を検出する領域検出手段と、
   前記領域検出手段によって検出された領域を認識できるようにするための指標を、前記画像データから生成された画像に重畳して表示する表示手段を有し、
   前記表示手段は前記領域検出手段によって検出された領域の数が予め定められた上限よりも多い場合には、前記上限の数の領域に対して前記指標を表示するものであって、使用者による所定の操作があったと判定した場合には、前記上限の数の領域に対して前記指標を表示する状態から、前記上限の数よりも多くとも前記領域検出手段によって検出された全ての領域に対して前記指標を表示する状態へと切り替わることを特徴とする画像処理装置。
2. 前記表示手段は前記領域検出手段にて検出された全ての領域に対して前記指標とともに、前記全ての領域の数を表示することを特徴とする請求項１に記載の画像処理装置。
3. 前記表示手段は前記領域検出手段にて検出された全ての領域に対して前記指標を表示する場合は、前記領域検出手段にて検出された一部の領域に対して前記指標を表示する場合に比較して、前記指標の更新周期を長く設定することを特徴とする請求項２に記載の画像処理装置。
4. 前記表示手段は前記領域検出手段が検出した複数の領域のいずれかに対して主たる領域であることを示す指標を表示するものであって、
   使用者による操作に応じて、前記主たる領域を、前記領域検出手段が検出した別の領域に変更する変更手段を有し、
   前記表示手段は前記変更手段による領域の変更を受け付け可能な状態である場合に、前記使用者による所定の操作に応じて、前記上限の数よりも多くとも前記領域検出手段によって検出された全ての領域に対して前記指標を表示することを特徴とする請求項１乃至３のいずれかに記載の画像処理装置。
5. 撮影レンズを透過した光学像から前記画像データを生成するための撮像素子と、前記撮影レンズの焦点位置を制御する焦点制御手段を有し、
   前記焦点制御手段は前記領域検出手段にて検出された領域における前記画像データに対する演算結果に基づいて制御を行うことを特徴とする請求項１乃至４のいずれかに記載の画像処理装置。
6. 領域検出手段が画像データの中から目的とする対象を含んだ領域を検出する検出工程と、表示手段が検出された前記領域を認識できるようにするための指標を、前記画像データから生成された画像に重畳して表示する表示工程を有し、
   前記表示工程において、前記表示手段は前記領域検出手段によって検出された領域の数が予め定められた上限よりも多い場合には、前記上限の数の領域に対して前記指標を表示するものであって、使用者による所定の操作があったと判定した場合には、前記上限の数の領域に対して前記指標を表示する状態から、前記上限の数よりも多くとも前記領域検出手段によって検出された全ての領域に対して前記指標を表示する状態へと切り替わることを特徴とする画像処理装置の制御方法。
7. 請求項６に記載の制御方法を画像処理装置に実行させることを特徴とする画像処理プログラム。

Images