JP5067884B2 - 撮像装置、その制御方法及びプログラム - Google Patents

Description

本発明は、動画像から検出された複数の対象物のうち一つの対象物を選択する操作を行うのに用いて好適な撮像装置、その制御方法及びプログラムに関する。

近年、特定の特徴を持つ対象物を認識し、その対象物に対して撮影動作に関連する特定の処理を施す撮像装置が知られている。

また、複数の対象物を認識し、そのうちの一つをユーザが選択可能としたものも知られている。例えば撮像装置が被写体の顔を認識し、撮影時にユーザが対象とする顔を切り替えるために一旦専用のモードに入り、そのモードにおいて汎用的な方向操作部材を用いて対象物（被写体の顔）を選択するものがある。また、例えば特許文献１によれば、撮像装置は認識した被写体の顔に対し、撮影時には専用の操作部材により顔認識制御のＯＮ／ＯＦＦを行い、静止画像再生時には画像から認識した顔の周辺を拡大するために、対象の顔を専用部材で切り替えることとしている。

特開２００８-０２８９５９号公報

しかしながら、上記従来例では、対象物を選択するときに、通常撮影時に他の機能に割りあてられている方向操作部材を使用するため、方向操作部材の機能を切り替えるために対象物選択用の専用モードを用意する必要があり、操作手番が増えることとなる。

また、特許文献１にあるように対象物選択用の専用部材を用意する場合、本体の大型化に繋がることとなる。

一方、単一の操作部材のみを用いる場合、静止画像再生時において選択される対象物を順次切り替えることは可能である。しかしながら、対象物が常に移動し入れ替わり数が変化する撮影時や動画再生時には、対象物の切り替えを行うことができていない。特に、一つの対象物を選択する／しないの切り替え制御をも含めようとした場合、静止画に対する対象物の切り替えアルゴリズムでは破綻をきたすこととなる。

本発明は上記のような課題に鑑みてなされたものである。すなわち、動画像の入力に対し、単一の操作部材で、一つの対象物を選択するか否かの切り替え操作、及び、一つの対象物を選択する場合の対象物の切り替え操作を同時に可能とし、操作の簡易化を図るとともに、機器の大型化を防止することを目的とする。

本発明の撮像装置は、動画像から対象物を検出する検出手段と、前記検出手段で検出された対象物の最新の数を保持する保持手段と、前記検出手段により検出された対象物の選択開始を指示するとともに一つの対象物を選択した状態とする操作と、前記選択開始の後に対象物の選択を切り替える操作とを、単一の操作部材による入力によって受け付ける操作受付手段と、前記選択開始の操作からの前記操作受付手段への操作回数をカウントするカウント手段と、一つの対象物を選択した状態で前記操作受付手段に対する操作を受け付けると、対象物の選択の開始の後に前記動画像から検出された対象物の前記最新の数と、前記操作回数とを比較して、前記操作回数が前記最新の数より多くないと判定した場合、現在選択中の対象物に対し特定方向に対象物が存在する場合は該特定方向で最も近い対象物に選択を切り替え、該特定方向に対象物が存在しない場合は該特定方向と反対方向で最も遠くに位置する対象物に選択を切り替え、前記操作回数が前記最新の数より多いと判定した場合、前記操作回数のカウント数をクリアするとともに、対象物の選択を解除するように制御する制御手段とを備えたことを特徴とする。

本発明によれば、動画像から検出される複数の対象物について、複数の対象物のうち一つの対象物を選択するか否かの切り替え操作、及び、一つの対象物を選択する場合の対象物の切り替え操作を、単一の操作部材を用いて行うことができる。したがって操作の簡易化を図るとともに、機器の大型化を防止することができる。

以下、添付図面を参照して、本発明の好適な実施形態について説明する。
（第１の実施形態）
図１は、本発明を適用した撮像装置の一例としてのデジタルカメラ１００の外観図である。２８は表示部であり、画像や各種情報を表示する。６１は撮影を行うための操作部材であるシャッターボタンである。６０はモードダイヤルスイッチであり、デジタルカメラ１００における各種モードを切り替える。１１２はコネクタであり、接続ケーブルとデジタルカメラ１００とを接続する。

７０は操作部であり、ユーザからの各種操作を受け付ける。操作部７０は、図示の各種ボタンや、画像表示部２８の画面上に設けられたタッチパネル等の操作部材を有する。操作部７０の各種ボタンとは、具体的に例示すると、消去ボタン、メニューボタン、セットボタン、十字に配置された４方向ボタン（上ボタン、下ボタン、右ボタン、左ボタン）、ホイール等である。

２００はメモリカードやハードディスク等の記録媒体である。２０１は記録媒体スロットであり、記録媒体２００を格納する。記録媒体スロット２０１に格納された記録媒体２００はデジタルカメラ１００との通信が可能となる。２０２は記録媒体スロット２０１の蓋である。

図２は、デジタルカメラ１００のハードウェア構成例を示すブロック図である。なお、図１に示した構成要素には同一の符号を付す。１０は撮影レンズ、１２は絞り機能を備えるシャッター、１４は光学像を電気信号に変換する撮像素子、１６は撮像素子１４のアナログ信号出力をデジタル信号に変換するＡ／Ｄ変換器である。１８はタイミング発生回路であり、撮像素子１４、Ａ／Ｄ変換器１６、Ｄ／Ａ変換器２６にクロック信号や制御信号を供給する。タイミング発生回路１８は、メモリ制御回路２２及びシステム制御回路５０により制御される。

２０は画像処理回路であり、Ａ／Ｄ変換器１６からのデータ或いはメモリ制御回路２２からのデータに対して所定の画素補間処理や色変換処理を行う。また、画像処理回路２０においては、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてシステム制御回路５０が制御を行いＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理を行う。さらに、画像処理回路２０においては、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行う。

２２はメモリ制御回路であり、Ａ／Ｄ変換器１６、タイミング発生回路１８、画像処理回路２０、画像表示メモリ２４、Ｄ／Ａ変換器２６、メモリ３０、圧縮・伸長回路３２を制御する。Ａ／Ｄ変換器１６のデータが画像処理回路２０、メモリ制御回路２２を介して、或いはＡ／Ｄ変換器１６のデータが直接メモリ制御回路２２を介して、画像表示メモリ２４或いはメモリ３０に書き込まれる。

２４は画像表示メモリである。２６はＤ／Ａ変換器、２７はＤ／Ａ変換器２６の出力を外部モニタに出力する外部出力コネクタである。外部出力コネクタ２７にコネクタが挿されている場合は、外部出力接続検知手段１０６によりシステム制御回路５０は外部出力状態を知ることができる。

２８はＴＦＴ ＬＣＤ等からなる画像表示部であり、画像表示メモリ２４に書き込まれた表示用の画像データはＤ／Ａ変換器２６を介して画像表示部２８により表示される。画像表示部２８を用いて撮像した画像データを逐次表示すれば、電子ファインダ機能を実現することが可能である。画像表示部２８は、システム制御回路５０の指示により任意に表示をＯＮ／ＯＦＦすることが可能であり、表示をＯＦＦにした場合にはデジタルカメラ１００の電力消費を大幅に低減することができる。

３０は撮影した静止画像や動画像のデータを格納するためのメモリであり、所定枚数の静止画像や所定時間の動画像のデータを格納するのに十分な記憶量を備えている。これにより、複数枚の静止画像を連続して撮影する連射撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ３０に対して行うことが可能となる。また、メモリ３０はシステム制御回路５０の作業領域としても使用することが可能である。メモリ３０は、記録媒体２００や２１０の書き込みバッファとしても使われる。

３２は適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮伸長する圧縮・伸長回路であり、メモリ３０に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ３０に書き込む。

４０は絞り機能を備えるシャッター１２を制御する露光制御手段であり、フラッシュ４８と連携することによりフラッシュ調光機能も有する。４２は撮影レンズ１０のフォーカシングを制御する測距制御手段である。４４は撮影レンズ１０のズーミングを制御するズーム制御手段である。４６は保護手段であるバリア１０２の動作を制御するバリア制御手段である。４８はフラッシュであり、ＡＦ補助光の投光機能、フラッシュ調光機能も有する。露光制御手段４０、測距制御手段４２はＴＴＬ方式を用いて制御されており、撮像した画像データを画像処理回路２０によって演算した演算結果に基づき、システム制御回路５０が露光制御手段４０、測距制御手段４２に対して制御を行う。

５０はデジタルカメラ１００全体を制御するシステム制御回路である。５２はシステム制御回路５０の動作用の定数、変数、不揮発性メモリ５６から読み出したプログラム等を展開するメモリである。システム制御回路５０は、不揮発性メモリ５６に記録されたプログラムを実行することで、後述する各実施例の処理を実現する。

５４はシステム制御回路５０でのプログラムの実行に応じて、文字、画像、音声等を用いて動作状態やメッセージ等を表示する液晶表示装置、スピーカ等の出力部である。出力部５４は、デジタルカメラ１００の操作部近辺の視認し易い位置に単数或いは複数個所設置され、例えばＬＣＤやＬＥＤ、発音素子等の組み合わせにより構成される。また、出力部５４は、その一部の機能が光学ファインダ１０４内に設置されている。出力部５４の表示内容のうち、ＬＣＤ等に表示するものとしては、絞り値表示、露出補正表示、フラッシュ表示、マクロ撮影表示、ブザー設定表示、電池残量表示、エラー表示、記録媒体２００及び２１０の着脱状態表示等がある。また、出力部５４の表示内容のうち、光学ファインダ１０４内に表示するものとしては、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、露出補正表示等がある。

５６は電気的に消去・記録可能な不揮発性メモリであり、例えばＥＥＰＲＯＭ等が用いられる。不揮発性メモリ５６には、システム制御回路５０の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、後述する各実施形態における各種フローチャートを実行するためのプログラムのことである。

５８はタイマであり、記録媒体２００や２１０のデータ記録速度や、取得するデータのデータレートを測定するために使われる。

６０、６２、６４、６６、６８及び７０は、システム制御回路５０の各種の動作指示を入力するための操作手段であり、スイッチやダイヤル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。

ここで、これらの操作手段の具体的な説明を行う。６０はモードダイヤルスイッチであり、各機能モードを切り替え設定することができる。各種機能モードには、電源オフ、自動撮影モード、撮影モード（パノラマ撮影モード、動画撮影モード含む）、再生モード、マルチ画面再生・消去モード、ＰＣ（パーソナルコンピュータ）接続モード等がある。

６２はシャッタースイッチＳＷ１であり、シャッターボタン６１の操作途中でＯＮとなり、ＡＦ処理、ＡＥ処理、ＡＷＢ処理、ＥＦ処理等の動作開始を指示する。６４はシャッタースイッチＳＷ２であり、シャッターボタン６１の操作完了でＯＮとなり、撮像素子１４から読み出した信号をＡ／Ｄ変換器１６、メモリ制御回路２２を介してメモリ３０に画像データを書き込む露光処理の動作開始を指示する。同時に、画像処理回路２０やメモリ制御回路２２での演算を用いた現像処理、メモリ３０から画像データを読み出し、圧縮・伸長回路３２で圧縮を行い、記録媒体２００或いは２１０に画像データを書き込む記録処理という一連の処理の動作開始を指示する。また、動画撮影の場合は、動画撮影の開始・停止を指示する。

６６は画像表示ＯＮ／ＯＦＦスイッチであり、画像表示部２８のＯＮ／ＯＦＦを設定することができる。この機能により、光学ファインダ１０４を用いて撮影を行う際に、ＴＦＴ ＬＣＤ等からなる画像表示部２８への電流供給を遮断することにより、省電力を図ることが可能となる。

６８はクイックレビューＯＮ／ＯＦＦスイッチであり、撮影直後に撮影した画像データを自動再生するクイックレビュー機能を設定する。なお、本実施形態では、特に画像表示部２８をＯＦＦとした場合におけるクイックレビュー機能の設定をする機能を有するものとする。

７０は操作部であり、各種ボタンやタッチパネル等からなる。具体的には、メニューボタン、セットボタン、マクロボタン、フラッシュ設定ボタン、単写／連写／セルフタイマー切り替えボタン、ＩＳＯ感度切り替えボタン、メニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタン等が含まれる。また、詳しくは後述するが、本発明で使用する、一つの対象物を選択するか否かの切り替え操作、及び、一つの対象物を選択する場合の対象物の切り替え操作を行う被写体切り替えボタンも含まれる。この被写体切り替えボタンが本発明でいう単一の操作部材である。また、各種機能の選択及び切り替えを設定する選択／切り替えボタン、各種機能の決定及び実行を設定する決定ボタンも含まれる。また、撮影時にズームと広角を調節したり、再生時に拡大／縮小を調節したり、１画面表示／マルチ画面表示を切り替えたりする操作部も含まれる。

８０は電源制御手段であり、電池の装着の有無、電池の種類、電池残量の検出を行い、検出結果及びシステム制御回路５０の指示に基づいて、必要な電圧を必要な期間、記録媒体を含む各部へ供給する。８２、８４はコネクタ、８６はアルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる電源である。

９０、９４はメモリカードやハードディスク等の記録媒体とのインターフェースである。９２、９６はメモリカードやハードディスク等の記録媒体と接続を行うコネクタである。９８はコネクタ９２、９６に記録媒体２００、２１０が装着されているか否かを検知する記録媒体着脱検知手段である。

なお、本実施形態では、記録媒体を取り付けるインターフェース及びコネクタを２系統持つものとして説明している。もちろん、記録媒体を取り付けるインターフェース及びコネクタは、単数或いは複数、いずれの系統数を備える構成としても構わない。また、異なる規格のインターフェース及びコネクタを組み合わせて備える構成としても構わない。インターフェース及びコネクタとしては、ＰＣＭＣＩＡカードやＣＦ（コンパクトフラッシュ（登録商標））カード等の規格に準拠したものを用いて構成して構わない。さらに、インターフェース９０、９４、そしてコネクタ９２、９６に各種通信カードを接続することにより、他機器との間で画像データや画像データに付属した管理情報を転送し合うことができる。

１０２は保護手段であるバリアであり、デジタルカメラ１００のレンズ１０を含む撮像部を覆うことにより、撮像部の汚れや破損を防止する。

１０４は光学ファインダであり、画像表示部２８による電子ファインダ機能を使用すること無しに、光学ファインダ１０４のみを用いて撮影を行うことが可能である。また、光学ファインダ１０４内には、出力部５４の一部の機能、例えば合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、露出補正表示等の機能が設置されている。

１０６は外部出力接続検知部であり、外部出力コネクタ２７に外部モニタが接続されているかどうかを検知する。ここで、接続状態にあると検知したならば、画像表示部２８の代わりに外部モニタを表示装置として用いることが可能である。

１１０は通信手段であり、ＲＳ２３２ＣやＵＳＢ、ＩＥＥＥ１３９４、Ｐ１２８４、ＳＣＳＩ、モデム、ＬＡＮ、無線通信、等の各種通信機能を有する。１１２は通信手段１１０によりデジタルカメラ１００を他の機器と接続するコネクタ或いは無線通信の場合はアンテナである。

１１４は音声データ取得手段であるマイクである。１１６はマイク１１４で得られた音声データをシステム制御回路５０で取得するためにＡ／Ｄ変換するＡ／Ｄ変換器である。１１８は音声データ再生手段であるスピーカである。１２０はシステム制御回路５０から出力されるデジタル音声データをスピーカ１１８で再生するためにＤ／Ａ変換するＤ／Ａ変換器である。

２００はメモリカードやハードディスク等の記録媒体である。記録媒体２００は、半導体メモリや磁気ディスク等から構成される記録部２０２、デジタルカメラ１００とのインターフェース２０４、デジタルカメラ１００と接続を行うコネクタ２０６を備えている。同様に、２１０はメモリカードやハードディスク等の記録媒体である。記録媒体２１０は、半導体メモリや磁気ディスク等から構成される記録部２１２、デジタルカメラ１００とのインターフェース２１４、デジタルカメラ１００と接続を行うコネクタ２１６を備えている。これら記録媒体２００、２１０がＰＣＭＣＩＡ規格のＰＣ−カードやコンパクトフラッシュ等の場合は、性能が記されている情報記憶回路を内蔵していることもある。

以上述べたデジタルカメラ１００では、中央１点ＡＦや顔ＡＦを用いた撮影が可能である。中央１点ＡＦとは、撮影画面内の中央位置１点に対して焦点調節を行うものである。顔ＡＦとは、顔検出機能によって検出された撮影画面内の顔に対して焦点調節を行うものである。

ここで、顔検出機能について説明する。システム制御回路５０は、顔検出対象の画像データを画像処理回路２０に送る。システム制御回路５０の制御下で画像処理回路２０は、当該画像データに水平方向バンドパスフィルタを作用させる。また、システム制御回路５０の制御下で画像処理回路２０は、処理された画像データに垂直方向バンドパスフィルタを作用させる。これら水平及び垂直方向のバンドパスフィルタにより、画像データよりエッジ成分が検出される。

その後、システム制御回路５０は、検出されたエッジ成分に関してパターンマッチングを行い、目及び鼻、口、耳の候補群を抽出する。そして、システム制御回路５０は、抽出された目の候補群の中から、予め設定された条件（例えば２つの目の距離、傾き等）を満たすものを目の対と判断し、目の対があるもののみ目の候補群として絞り込む。さらに、システム制御回路５０は、絞り込まれた目の候補群とそれに対応する顔を形成する他のパーツ（鼻、口、耳）を対応付け、また、予め設定した非顔条件フィルタを通すことで、顔を検出する。この処理が、本発明でいう検出手段による処理例である。

システム制御回路５０は、顔の検出結果に応じて顔情報（例えば顔の数情報、目及び鼻、口、耳の位置情報）を出力し、処理を終了する。このとき、顔情報をシステムメモリ５２に記憶する。

以上のようにスルー表示で表示されるライブ画像を画像解析して、画像データの特徴量を抽出して対象物を検出することが可能である。本実施形態では、対象物として人物の顔を検出する例を挙げたが、他にも目検出等がある。

なお、顔ＡＦと同時に顔ＡＥ、顔ＦＥ、顔ＡＷＢを行うことができる。顔ＡＥとは、検出された顔の明るさに合わせて画面全体の露出を最適化する露出調節である。顔ＦＥとは、検出された顔に対してフラッシュの光量がちょうど良くなるように調整する調光である。顔ＡＷＢとは、検出された顔に合わせてホワイトバランスを調節するホワイトバランス調節である。

次に、図３のフローチャートを参照して、デジタルカメラ１００の撮影モード時の処理動作を説明する。図３のフローチャートは、モードダイヤルスイッチ６０が撮影モードに設定されると開始される。撮影モードでは、撮像素子１４から、スルー表示で表示するためのライブ画像が入力される。ここでは、対象物を人物の顔とし、ライブ画像中で複数認識されている人物の顔のうち一つを選択するか否かの切り替え操作、及び、一つの顔を選択する場合の顔の切り替え操作を、単一の操作部材による入力によって受け付ける操作受付動作を説明する。

撮影モード処理が開始されると、システム制御回路５０はまず入力されるライブ画像を画像表示時部２８にスルー表示し、ステップＳ１０１で操作カウント数を０とするとともに、ステップＳ１０２でユーザが行う顔の選択を解除する。

ステップＳ１０３では、リアルタイムに入力される動画像（ライブ画像）に対し、認識している顔の数（顔認識数）のカウントを行う。この顔認識数は、メモリ３０に記録保持される。この処理が、本発明でいう保持手段による処理例である。

次に、ステップＳ１０４で、ユーザによる撮影に対する通常のオペレーションの有無を判定する。ステップＳ１０４において通常のオペレーションが実行されたと判定された場合、ステップＳ１０５に進み、通常オペレーション処理を実行する。この通常オペレーション処理の詳細は後述する。

ステップＳ１０４において通常のオペレーションが実行されていないと判定された場合、ステップＳ１０６に進み、被写体切り替えボタンが押下されたかどうか判定する。ステップＳ１０６において被写体切り替えボタンが押下されたと判定された場合、ステップＳ１０７に進み、操作カウントを＋１とするとともに一つの顔を選択する状態となり、ステップＳ１０８に進む。この処理が、本発明でいうカウント手段による処理例である。この操作カウント数は、メモリ３０に記録保持される。ステップＳ１０６において被写体切り替えボタンが押下されていないと判定された場合、ステップＳ１０３に戻って、顔の数をカウントしつつ通常オペレーション及び被写体切り替えボタンが押下されるのを待つ。これにより、最新の顔の数が認識され、記録保持されることになる。なお、被写体切り替えボタンが押下されるまでは、カメラ１００が自動で対象物を選択する自動モードとなっているようにしてもよい。

ステップＳ１０８では、操作カウント数と顔認識数とを比較する。ステップＳ１０８において操作カウント数がその時点での顔認識数を上回っている場合、顔の選択が一巡したと判定する。そして、ステップＳ１０１に戻って、操作カウント数を０とする（操作回数のカウント数をクリアする）とともに、顔の選択を解除して待機する。故に、ここで顔認識数が０であった場合、デジタルカメラ１００は被写体切り替えボタンの押下に対しては無反応となる。

ステップＳ１０８において操作カウント数がその時点での顔認識数を上回っていない場合、ステップＳ１０９に進み、操作カウント数が１、すなわち初めて一つの顔を選択する状態になったかどうかを判定する。ステップＳ１０９において初めて一つの顔を選択する状態となった場合、ステップＳ１１０に進む。ステップＳ１１０では、現在認識している顔で最も左に位置する顔を選択中の顔とする。これにより、図６Ａに示すように、最も左に位置する人物Ａの顔が選択状態となる。

なお、最初に選択される顔の決定方法に関してはこの限りではなく、例えば画面中央に近い顔としても良いし、最も大きい顔としても良い。或いは、認識した顔に対して付加された優先度に基づいて自動的に一つの顔を選択している自動モードとなっている場合、ステップＳ１１０の時点でデジタルカメラ１００が最も優先度が高いと判断していた顔を最初の顔としても良い。この優先度は、例えば認識している顔の大きさや位置、認識の確からしさ等から認識した顔に対して付加される。

ステップＳ１０９において操作カウント数が１ではない、すなわち既に一つの顔を選択しており、その状態で何度か被写体切り替えボタンが押下された状態であった場合、ステップＳ１１１に進む。ステップＳ１１１では、現在選択中の顔より右方向に認識している顔があるかどうかを判定する。現在選択中の顔よりも右方向に顔があった場合、ステップＳ１１２に進み、選択中の顔を現在の顔よりも一つ右の顔に切り替える。これにより、図６Ｂの状態となる。もしそれ以上右に認識している顔がない場合、すなわち図６Ｃの状態であった場合、ステップＳ１１３に進み、反対方向に位置する最も左の顔（反対方向で最も遠くに位置する顔）を選択し、図６Ａの状態となる。

なお、本実施形態では対象物を切り替える特定方向として右方向を説明したが、ステップＳ１１１からの選択中の顔の切り替え方法に関してはこの限りではなく、例えば順に左に変化しても良いし、上下方向としても良い。或いはランダムに変化しても良いし、全く別な法則でも良く、対象物の選択が一巡したかどうかの判定が、操作カウント数とその時点での顔認識数とから一意に判断されれば良い。

ここで、例えば図６Ｂの状態（操作カウント数が「２」、顔認識数が「３」）から被写体切り替えボタンを押下すると、操作カウント数が「３」となって（ステップＳ１０７）、図６Ｃの状態となる（ステップＳ１１２）。その後、ステップＳ１０３に戻るが、その時点で顔認識数に変化がなければ、次の被写体切り替えボタンを押下した後のステップＳ１０８で顔の選択が一巡したと判定し（操作カウント数「４」＞顔認識数「３」となる）、顔の選択が解除となる。しかし、ステップＳ１０３で顔認識数が増え、人物Ｄが登場したとすると、人物Ｄが人物Ｃより右位置に登場した場合はステップＳ１１２を経て人物Ｄへと選択中の顔が切り替わる。逆に人物Ｄが人物Ｃより左側に登場した場合はステップＳ１１３を経て人物Ａへと選択中の顔が切り替わる。

また、図６Ｂの状態（操作カウント数が「２」、顔認識数が「３」）となって、ステップＳ１１２からステップＳ１０３に戻った時点で顔認識数に変化がなければ、次の被写体切り替えボタンを押下した後、選択中の顔は人物Ｃへと切り替わる。しかし、ステップＳ１０３で顔認識数が減り、例えば人物Ａが居なくなったとすると、ステップＳ１０７にて操作カウント数は既に３となっているため、ステップＳ１０８で顔の選択が解除となる（操作カウント数「３」＞顔認識数「２」となる）。

更に、現在選択中の顔の人物が居なくなった場合の制御はここでは問題とせず、例えば操作カウンタ数はそのままで隣の顔に遷移するとしても良いし、次の被写体切り替えボタンが押下されるまでは選択枠がその場に留まるとしても良い。

全ての人物が居なくなってしまった場合には、一定時間のタイマを持たせた上で、顔の選択を解除するとしても良い。

以上述べたように、例えばこのフロー中で突然認識している顔の数が増減した場合でも、最新の顔認識数をそれまで保持している操作カウント数とリアルタイムで比較するため、一巡した後に必ず一旦選択状態が解除可能となる。

次に、図４のフローチャートを参照して、ステップＳ１０５の通常オペレーション処理を説明する。図３のステップＳ１０３〜Ｓ１０６で顔認識数をカウントしつつ被写体切り替えボタンの押下を待っている際、ステップＳ１０４で通常の撮影動作に関連するオペレーションが行われた場合、その押下されたボタンによって対応する処理を行う。

すなわち、上ボタンが押下された場合（ステップＳ２０１）、ＩＳＯ感度の切り替えを行う（ステップＳ２０２）。下ボタンが押下された場合（ステップＳ２０１）、セルフタイマーの切り替えを行う（ステップＳ２０４）。右ボタンが押下された場合（ステップＳ２０５）、ストロボ設定の切り替えを行う（ステップＳ２０６）。左ボタンが押下された場合（ステップＳ２０７）、マクロの切り替えを行う（ステップＳ２０８）。

ディスプレイボタン（Dispボタン）が押下された場合（ステップＳ２０９）、画像表示部２８に表示している様々な情報表示の形態を切り替える（ステップＳ２１０）。メニューボタン（Menuボタン）が押下された場合（ステップＳ２１１）、カメラ１００の様々な設定を行うための設定画面へと遷移し、再度メニューボタンを押下することにより元の状態へと戻る（ステップＳ２１２）。セットボタン（Setボタン）が押下された場合（ステップＳ２１３）、何も動作を行わない（ステップＳ２１４）。

シャッターボタンが押下された場合（ステップＳ２１５）、現時点の設定にて撮影を行う（ステップＳ２１６）。例えば一つの顔が選択されている場合には、選択されている顔に対して顔ＡＦ、顔ＡＥ、顔ＦＥ、顔ＡＷＢの少なくとも１つを行い撮影する。顔が一つも選択されておらず、ＡＦ枠が画面の中央固定の場合には、画面中央に存在する被写体に対して測距（中央１点ＡＦ）及び測光を行い撮影する。

モードダイヤルスイッチが操作された場合（ステップＳ２１７）、撮影モードを変更する（ステップＳ２１８）。ズームレバーが操作された場合（ステップＳ２１９）、画角を切り替える（ステップＳ２２０）。電源ボタンが押下された場合（ステップＳ２２１）、全ての処理を終了し、電源がＯＦＦとなり（ステップＳ２２２）、本フローも終了となる。

その他この撮影関連の通常オペレーションに対する処理、機能はここに挙げた限りではなく、また操作部材に対する機能の配置や操作方法の方法も問わない。

このように本実施形態によれば、動画像から検出される複数の顔について、複数の顔のうち一つの顔を選択するか否かの切り替え操作、及び、一つの顔を選択する場合の顔の切り替え操作を、単一の操作部材を用いて行うことができる。したがって、高機能化による操作部材増大に伴う機器の大型化の抑制と、即時性を必要とする動画像中の対象物に対する迅速且つ容易な選択切り替え操作を行うことが可能となる。また、顔を切り替えるための専用のモードに切り替える必要がないので、被写体切り替えボタンを用いた被写体の切り替え操作と、被写体切り替えボタン以外の操作部材をもちいた通常オペレーション処理とが並行して実行可能となる。したがって即時性を求められる撮像に係る設定操作を、対象物の選択操作の途中でも迅速に行うことができる。

なお、仮に本実施形態以外の方法によって顔の切り替え操作を単一の操作部材を用いて行おうとするならば、以下のような方法が考えられる。例えば、認識される複数の顔に対して選択順序を割りあて、単一の操作部材の操作回数に応じて選択順序の順に選択する方法である。しかし、動画像においてはリアルタイムに被写体が動き、認識精度の性能によっては頻繁に顔の認識数と位置が変化する。そのため、顔の認識数が増減する度に顔に対して選択順序を割りあて直さなければならない。しかしそうすると、状況によっては切り替え操作を行っても次の顔に進まなかったり、戻ったりする事となる。

例えば図６Ｃの状態で、人物Ａ、Ｂ、Ｃの顔に対して選択順序がそれぞれ「１」、「２」、「３」と割りあてられており、現在選択順序「３」である人物Ｃの顔を選択していたとする。そこに人物Ｄが人物Ｃと人物Ｂの間に登場したとすると、人物Ａ、Ｂ、Ｄ、Ｃの顔に対して左から順に選択順序がそれぞれ「１」、「２」、「３」、「４」と割りあてなおされる。ここで被写体切り替えボタンが押下されると、次は選択順序「４」の人物を選択することになるため、再び人物Ｃの顔が選択されることになる。したがって見た目上は、被写体切り替えボタンを押下したにも関わらず人物Ｃの顔から選択が遷移しなかったことになり、被写体切り替えボタンへの操作が無効であったとユーザが誤認する可能性がある。

また、例えば図６Ｃの状態で、人物Ａ、Ｂ、Ｃの顔に対して選択順序がそれぞれ「１」、「２」、「３」と割りあてられており、現在選択順序「３」の人物Ｃの顔を選択していたとする。そこに人物ＤとＥの２人が人物Ｃと人物Ｂの間に登場したとすると、人物Ａ、Ｂ、Ｄ、Ｅ、Ｃの顔に対して左から順に選択順序がそれぞれ「１」、「２」、「３」、「４」、「５」と割りあてなおされる。ここで被写体切り替えボタンが押下されると、次は選択順序「４」の人物を選択することになるため、今度は前回選択されていた人物Ｃより左に位置する人物Ｅの顔が選択されることになる。さらに被写体切り替えボタンが押下されると次は選択順序「５」である人物Ｃの顔が再び選択される。したがって見た目上は、被写体切り替えボタンの押下で選択が１人分左に戻ってしまうように見え、使い勝手が良くない。なお、この場合において、人物Ａ、Ｂ、Ｄ、Ｅ、Ｃに対して選択順序をそれぞれ「１」、「２」、「４」、「５」、「３」と割りあてることは、検出された５つの顔のうち最も右の顔が人物Ｃの顔であることを装置が識別できなくてはならない。しかし、このように個人の顔を識別する機能を用いるには装置のコストアップや処理の複雑化を招くこととなる。

これに対し本実施形態によれば、個人の顔を識別する機能を用いることなく、被写体切り替えボタンの押下に応じて確実に１つ隣の顔へ遷移することができ、一巡したことに応じて選択を解除することもできる。

（第２の実施形態）
次に、第２の実施形態を説明する。なお、デジタルカメラの構成は第１の実施形態と同様であり、ここではその説明を省略する。第１の実施形態では、被写体切り替えボタンを押下した際に、選択する顔を順に切り替えるとしている。この場合、目的の顔を通り過ぎてしまったときに、その顔を再度選択するには全ての顔を一巡しなければならず、特に顔が多い場合には操作数が多くなってしまう。第２の実施形態は、この点を解消するものである。

図５は、第２の実施形態に係るデジタルカメラ１００の撮影モード時の処理動作を説明する。図５のフローチャートも、モードダイヤルスイッチ６０が撮影モードに設定されると開始される。

ステップＳ３０１〜Ｓ３０６は、図３のステップＳ１０１〜Ｓ１０６と同様の処理である。第２の実施形態では、被写体切り替えボタンを押下した際（ステップＳ３０６）、その時点での顔認識数が所定数以上かどうかを判定し（ステップＳ３０７）、顔認識数が所定数より少ない場合はステップＳ３０９以降の処理に進む。ステップＳ３０９〜Ｓ３１５は、図３のステップＳ１０８〜Ｓ１１３と同様の処理である。

ステップＳ３０７において顔認識数が所定数以上であれば、ステップＳ３０８に進み、顔選択モード処理に遷移して顔の選択を行う。顔選択モード処理では、通常のオペレーション処理と区別するために、一旦顔選択用の専用モードへ遷移し、そのモード内では左右ボタンにより、隣接する顔に選択を切り替えられるようになっている。

第２の実施形態では、特に顔数が多い場合に、左右ボタンにより顔の選択を切り替えることができる。したがって例えば右ボタンを何回か押下して目的の顔を通り過ぎてしまったときに、その顔を再度選択するには左ボタンを押下すれば良く、操作数を減らすことができる。ただし、顔選択用の専用モードの間は、左右ボタンで行うストロボ切り替え、マクロ切り替えは行うことができない。

なお、第２の実施形態では、顔認識数が所定数以下である場合、一つの顔を選択するか否かの切り替え操作、及び、一つの顔を選択する場合の顔の切り替え操作を被写体切り替えボタンによる入力によって受け付けるようにした。この、顔認識数が所定数以上である場合を、本発明でいう所定の条件に合致するとしている。しかし、例えば被写体切り替えボタンの長押しで顔選択モード処理に移行する等、その切り分け方法は特に問わない。

また、上述の各実施の形態においては、入力される動画像として撮像時のライブ画像の例を述べたが、ライブ画像ではなく再生モード時における動画再生時の動画像に本発明を適用してもよいことは言うまでもない。

本発明の目的は、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給することによっても達成される。この場合、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行する。

この場合、記憶媒体から読み出されたプログラムコード自体が上述した実施形態の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。

また、コンピュータが読み出したプログラムコードを実行することにより、上述した実施形態の機能が実現されるだけに限らない。例えば、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（基本システム或いはオペレーティングシステム）等が実際の処理の一部又は全部を行い、その処理によって上述した実施形態の機能が実現されてもよい。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる形態でもよい。この場合メモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行い、その処理によって上述した実施形態の機能が実現される。

第１の実施形態に係るデジタルカメラの外観図である。 第１の実施形態に係るデジタルカメラのハードウェア構成例を示すブロック図である。 第１の実施形態における撮影モード時の処理動作を説明するフローチャートである。 第１の実施形態における通常オペレーション処理を説明するフローチャートである。 第２の実施形態における撮影モード時の処理動作を説明するフローチャートである。 一つの顔を選択するための切り替え時の画面推移例を示す図である。 一つの顔を選択するための切り替え時の画面推移例を示す図である。 一つの顔を選択するための切り替え時の画面推移例を示す図である。

符号の説明

１４ 撮像素子
２０ 画像処理回路
２８ 表示部
３０ メモリ
４０ 露光制御手段
４２ 測距制御手段
５０ システム制御回路
６０ モードダイヤルスイッチ
６１ シャッターボタン
７０ 操作部
１００ デジタルカメラ

Claims (12)

1. 動画像から対象物を検出する検出手段と、
   前記検出手段で検出された対象物の最新の数を保持する保持手段と、
   前記検出手段により検出された対象物の選択開始を指示するとともに一つの対象物を選択した状態とする操作と、前記選択開始の後に対象物の選択を切り替える操作とを、単一の操作部材による入力によって受け付ける操作受付手段と、
   前記選択開始の操作からの前記操作受付手段への操作回数をカウントするカウント手段と、
   一つの対象物を選択した状態で前記操作受付手段に対する操作を受け付けると、対象物の選択の開始の後に前記動画像から検出された対象物の前記最新の数と、前記操作回数とを比較して、
   前記操作回数が前記最新の数より多くないと判定した場合、現在選択中の対象物に対し特定方向に対象物が存在する場合は該特定方向で最も近い対象物に選択を切り替え、該特定方向に対象物が存在しない場合は該特定方向と反対方向で最も遠くに位置する対象物に選択を切り替え、
   前記操作回数が前記最新の数より多いと判定した場合、前記操作回数のカウント数をクリアするとともに、対象物の選択を解除するように制御する制御手段とを備えたことを特徴とする撮像装置。
2. 前記検出手段により検出する対象物が人物の顔であることを特徴とする請求項１に記載の撮像装置。
3. 選択された一つの対象物に対して、焦点調節、露出調節、ホワイトバランス調節、調光のうち少なくともいずれか一つの処理を施す処理手段を備えたことを特徴とする請求項１又は２に記載の撮像装置。
4. 前記動画像は撮影時のライブ画像であることを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記動画像は動画再生時の動画像であることを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
6. 前記操作受付手段は、所定の条件に合致したときのみ、前記検出手段により検出された対象物の選択開始を指示するとともに一つの対象物を選択した状態とする操作と、前記選択開始の後に対象物の選択を切り替える操作とを、前記単一の操作部材による入力によって受け付けることを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 前記所定の条件は前記検出手段で検出している対象物が所定数以下であることを特徴とする請求項６に記載の撮像装置。
8. 前記対象物が選択されている場合に撮影指示を受け付けると、選択されている対象物に対して焦点調節、露出調節、ホワイトバランス調節、調光のうち少なくともいずれか一つを行って撮影し、
   前記対象物の選択が解除されている場合に前記撮影指示を受け付けると、予め定められた条件で焦点調節と露出調節のうち少なくとも一方を行って撮影する撮影手段を更に備えることを特徴とする請求項４に記載の撮像装置。
9. 前記撮影手段は、前記対象物の選択が解除されている場合に前記撮影指示を受け付けると、前記ライブ画像の中央に対して焦点調節と露出調節のうち少なくとも一方を行って撮影することを特徴とする請求項８に記載の撮像装置。
10. 動画像から対象物を検出する検出ステップと、
    前記検出ステップで検出された対象物の最新の数を保持する保持ステップと、前記検出ステップにより検出された対象物の選択開始を指示するとともに一つの対象物を選択した状態とする操作と、前記選択開始の後に対象物の選択を切り替える操作とを、単一の操作部材による入力によって受け付ける操作受付ステップと、
    前記選択開始の操作からの前記操作受付ステップへの操作回数をカウントするカウントステップと、
    一つの対象物を選択した状態で前記操作受付ステップで操作を受け付けると、対象物の選択の開始の後に前記動画像から検出された対象物の前記最新の数と、前記操作回数とを比較して、
    前記操作回数が前記最新の数より多くないと判定した場合、現在選択中の対象物に対し特定方向に対象物が存在する場合は該特定方向で最も近い対象物に選択を切り替え、該特定方向に対象物が存在しない場合は該特定方向と反対方向で最も遠くに位置する対象物に選択を切り替え、
    前記操作回数が前記最新の数より多いと判定した場合、前記操作回数のカウント数をクリアするとともに、対象物の選択を解除するように制御する制御ステップとを有することを特徴とする撮像装置の制御方法。
11. コンピュータを、請求項１乃至９のいずれか１項に記載された撮像装置の各手段として機能させるプログラム。
12. コンピュータを、請求項１乃至９のいずれか１項に記載された撮像装置の各手段として機能させるプロラムを記録したコンピュータが読み取り可能な記録媒体。

Images