JP2012054810A - 画像処理装置、画像処理方法、撮像装置、および画像処理プログラム - Google Patents

Abstract

【課題】画像中の被写体の主要度をより的確に判定することを可能とする。
【解決手段】画像処理装置１００は、時系列に撮像して得られた一連の複数フレームの画像を入力する画像入力部１０２と、画像入力部１０２で入力された複数フレームの画像から、主要度の判定をする対象である判定対象領域を抽出する判定対象領域抽出部１０４と、複数フレームの画像中における判定対象領域の出現頻度に基づいて判定対象領域の主要度を判定する判定部１０６とを備える。
【選択図】図１

Description

本発明は、撮影装置等の画像入力機器で生成された一連の複数フレームの画像中の被写体の主要度を判定するための技術に関する。

例えばデジタルカメラで撮像した画像に対してより好ましいと感じるように画像処理をする場合、画像内において撮影者が主要被写体であると判断している被写体（主要度の高い被写体）の存在する領域とそれ以外の領域とを分けて処理することによって効果的な結果を得ることが可能になる。例えば、主要度の高い被写体の彩度を上げ、それ以外の被写体の彩度を下げることによって、主要度の高い被写体が目立つようする等の画像処理を行うことができる。また、このような画像処理以外にも、デジタルカメラの自動焦点調節（ＡＦ）制御や自動露出調節（ＡＥ）制御等に際して主要被写体の情報を加えることによって、より効果的な制御を行うことが可能になる。例えば、動画撮影時に、主要度の高い被写体の画面内における位置を検出し続け（追尾し）、その位置にピントや露出を合わせ続けることができるように制御するとカメラとしての使い勝手が向上する。

従って、上記のような画像処理や撮像装置のＡＦ、ＡＥ等の制御をより効果的に行うためには、撮像された画像中の被写体の主要度をより的確に判定することが重要となってくる。

特許文献１には、入力された画像から顔画像を検出し、顔画像の位置や動き、速さに応じて、被写体の重要度や優先順位を決定する技術が開示される。特許文献１では、被写体の主要度を判定する際に、以下の基準に従う。
（１） 検出顔の大きさが大きいほど主要度を高くする。
（２） 検出顔の動きが速い被写体の主要度を下げる。
（３） 複数検出顔がある場合は、フレーム下側にあるものほど主要度を上げる。
（４） 複数検出顔がある場合、（３）の他に全ての顔の重心に近いものほど主要度を上げる。

また、特許文献２には、画面内に複数の被写体が写っている場合に、それらの被写体の動きに基づいて被写体の主要度を決定する技術が開示される。特許文献２に開示される技術では、動画像を撮影した撮影装置の動きが画面内に写っている被写体の動きとともに抽出される。そして、これらの動きの差（相対速度）を用いて被写体の主要度が決定される。すなわち、撮影者が被写体を追跡していれば、相対速度は低くなり、追跡しなければ相対速度が上がるので、相対速度の低い被写体を主要被写体とする。

特許第４２５４８７３号公報 特開２０１０−９４２５号公報

特許文献１に開示されるものでは、画像から得られる特性値として、検出顔の大きさ、数、動き速さのみを用いて被写体の主要度の判定を行っており、撮影者の意図が確実に反映されていない場合がある、という問題がある。例えば、本来の被写体である人物と撮影者との間を通行人が横切った場合、その通行人の顔が検出される。検出顔の大きさは、本来の被写体である人物の顔よりも大きくなるので、得られる判定結果が望ましくないものとなる可能性がある。

特許文献２に開示されるものでは、例えば撮影しようとする主要被写体の動きが速く、構図決定等をしている最中にその被写体を画面内で捕捉しきれず、主要被写体が画面外に出てしまったような場合、その被写体の主要度が低く判定される可能性がある。

その結果、画像処理やＡＦ、ＡＥ等の制御が、ユーザの期待するものと異なってしまう場合がある。

本発明は、上記の課題に鑑みてなされたものであり、画像中の被写体の主要度をより的確に判定可能な技術を提供することを課題とする。

本発明の第１の態様によれば、
画像中の被写体の主要度を判定する画像処理装置が、
時系列に撮像して得られた一連の複数フレームの画像を入力する画像入力部と、
前記画像入力部で入力された前記複数フレームの画像から、主要度の判定をする対象である判定対象領域を抽出する判定対象領域抽出部と、
前記複数フレームの画像中における前記判定対象領域の出現頻度に基づいて前記判定対象領域の主要度を判定する判定部と
を備える。

本発明の第２の態様によれば、画像中の被写体の主要度を判定する画像処理方法が、
時系列に撮像して得られた一連の複数フレームの画像を入力する画像入力手順と、
前記画像入力手順で入力した前記複数フレームの画像から、主要度の判定をする対象である判定対象領域を抽出する判定対象領域抽出手順と、
前記複数フレームの画像中における前記判定対象領域の出現頻度に基づいて前記判定対象領域の主要度を判定する判定手順と
を備える。

本発明の第３の態様によれば、撮影レンズによって形成された被写体像を光電変換して画像信号を出力可能な撮像素子を備える撮像装置が、
前記撮像素子から時系列に出力される一連の複数フレームの画像を入力する画像入力部と、
前記画像入力部で入力された前記複数フレームの画像から、主要度の判定をする対象である判定対象領域を抽出する判定対象領域抽出部と、
前記複数フレームの画像中における前記判定対象領域の出現頻度に基づいて前記判定対象領域の主要度を判定する判定部と
を備える。

本発明の第４の態様によれば、画像中の被写体の主要度を判定する処理をコンピュータに実行させるための画像処理プログラムが、
時系列に撮像して得られた一連の複数フレームの画像を入力する画像入力ステップと、
前記画像入力ステップで入力した前記複数フレームの画像から、主要度の判定をする対象である判定対象領域を抽出する判定対象領域抽出ステップと、
前記複数フレームの画像中における前記判定対象領域の出現頻度に基づいて前記判定対象領域の主要度を判定する判定ステップと
を備える。

本発明によれば、時系列に撮像して得られた一連の複数フレームの画像中から、主要度が高いと目される被写体をより的確に判定することが可能となる。

画像処理装置の内部構成を概略的に説明するブロック図である。 画像処理装置がデジタルカメラに備えられる例を説明するブロック図である。 画像処理プログラムを実行するコンピュータによって画像処理装置が実現される例を説明するブロック図である。 第１の実施の形態のデジタルカメラで撮影された撮影シーンの一例を説明する図である。 入力された画像が解析されて複数の領域（判定対象領域）が抽出される様子を説明する図である。 第１の実施の形態のデジタルカメラ内で実行される主要度判定処理およびそれに続く一連の撮影動作の処理ステップを説明するフローチャートである。 判定対象領域ごとの出現頻度導出結果の一例を示す図である。 第２の実施の形態のカメラで判定対象領域が抽出される様子を説明する図であり、（ａ）は画像入力部に入力された１フレームの画像を示す図であり、（ｂ）は六つの判定対象領域が抽出される様子を説明する図であり、（ｃ）は各判定対象領域の重心近傍の領域が抽出される様子を説明する図である。 第２の実施の形態のデジタルカメラ内で実行される主要度判定処理およびそれに続く一連の撮影動作の処理ステップを説明するフローチャートである。 それぞれの判定対象領域の出現頻度を導出する際に、レリーズ時刻と、それぞれの判定対象領域の出現時刻との時間差に基づいて重み付けをする際の特性例を説明するグラフである。 図１０に示される重み付け特性に基づいて各判定対象領域の出現頻度に重み付けがされる様子を説明する図であり、（ａ）は重み付けされずに導出される出現頻度を、（ｂ）は重み付けされて導出される出現頻度を例示する図である。 第３の実施の形態のデジタルカメラで判定対象領域が抽出される様子を説明する図であり、（ａ）は画像入力部に入力された１フレームの画像を示す図であり、（ｂ）は三つの判定対象領域が抽出される様子を説明する図である。 第３の実施の形態のデジタルカメラ内で実行される主要度判定処理およびそれに続く一連の撮影動作の処理ステップを説明するフローチャートである。 それぞれの判定対象領域の出現頻度を導出する際に、判定対象領域内の輝度および彩度に基づき、重み付けをする際の特性例を説明するグラフである。 それぞれの判定対象領域の出現頻度を導出する際に、判定対象領域内の輝度および彩度のいずれかに基づき、重み付けをする際の特性例を説明するグラフである。 図１４または図１５に例示される重み付け特性に基づいて各判定対象領域の出現頻度に重み付けがされる様子を説明する図であり、（ａ）は重み付けされずに導出される出現頻度を、（ｂ）は重み付けされて導出される出現頻度を例示する図である。 第４の実施の形態のデジタルカメラ内で判定対象領域が抽出される様子を説明する図であり、（ａ）は画像入力部に入力された１フレームの画像を示す図であり、（ｂ）はデジタルカメラがパンニングされているときに、（ａ）に示される画像に続いて画像入力部に入力された１フレームの画像を示す図であり、（ｃ）はデジタルカメラがパンニングされているときに相前後して入力された２フレームの画像から動きベクトルが導出される様子を説明する図であり、（ｄ）は移動ベクトルの類似度に基づいて三つの判定対象領域が抽出される様子を説明する図である。 判定対象領域の連続出現回数が計数される様子を説明する図であり、（ａ）は連続出現回数が３と計数される場合の例を示す図であり、（ｂ）は連続出現回数が２と計数される場合の例を説明する図である。 第４の実施の形態のデジタルカメラ内で実行される主要度判定処理およびそれに続く一連の撮影動作の処理ステップを説明するフローチャートである。 判定対象領域ごとに計数された連続出現回数の例を示すグラフである。 それぞれの判定対象領域の出現頻度を導出する際に、判定対象領域の連続出現回数に基づいて重み付けをする際の特性例を説明するグラフである。 図２１に示される重み付け特性に基づいて各判定対象領域の出現頻度に重み付けがされる様子を説明する図であり、（ａ）は重み付けされずに導出される出現頻度を、（ｂ）は重み付けされて導出される出現頻度を例示する図である。 順次入力される複数フレームの画像から導出される動きベクトルを時間軸に沿って積算する方法を概念的に示す図であり、（ａ）は相隣するフレーム間で導出される動きベクトル群を概念的に示す図であり、（ｂ）は、動きベクトルを時間軸に沿って積算する際に動きベクトルの方向は無視して絶対値のみを積算する様子を概念的に示す図であり、（ｃ）は動きベクトルを時間軸に沿って積算する際に動きベクトルの方向および絶対値を加味して積算する様子を概念的に示す図である。 第５の実施の形態のデジタルカメラ内で実行される主要度判定処理およびそれに続く一連の撮影動作の処理ステップを説明するフローチャートである。 判定対象領域ごとに導出された静止度の例を示すグラフである。 それぞれの判定対象領域の出現頻度を導出する際に、判定対象領域の静止度に基づいて重み付けをする際の特性例を説明するグラフである。 図２６に示される重み付け特性に基づいて各判定対象領域の出現頻度に重み付けがされる様子を説明する図であり、（ａ）は重み付けされずに導出される出現頻度を、（ｂ）は重み付けされて導出される出現頻度を例示する図である。

図１は、本発明の実施の形態に係る画像処理装置１００の概略的構成を説明するブロック図である。画像処理装置１００は、画像入力部１０２と、判定対象領域抽出部１０４と、判定部１０６とを備える。

画像入力部１０２は、時系列に撮像して得られた一連の複数フレームの画像を入力する。判定対象領域抽出部１０４は、画像入力部１０２で入力された複数フレームの画像中から、主要度の判定をする対象である判定対象領域を抽出する。判定部１０６は、判定対象領域抽出部１０４で抽出された判定対象領域ごとの出現頻度に基づき、判定対象領域の主要度を判定する。これら画像入力部１０２、判定対象領域抽出部１０４、判定部１０６における処理については後で詳しく説明する。

画像処理装置１００は、デジタルスチルカメラ、デジタルムービーカメラ等の画像入力装置内に備えられたものとすることが可能である。あるいは、記録媒体に記録された画像処理プログラムと、この画像処理プログラムを実行するコンピュータとによって画像処理装置１００としての機能を実装可能である。

図２は、デジタルスチルカメラ、デジタルムービーカメラ等のデジタルカメラ２００に画像処理装置１００Ａが実装される例を示すブロック図である。デジタルカメラ２００は、撮影光学系２１０と、レンズ駆動部２１２と、撮像部２２０と、アナログ・フロントエンド（図２中では「ＡＦＥ」と表記される）２２２と、画像記録媒体２３０と、操作部２４０と、表示部２５０と、記憶部２６０と、ＣＰＵ２７０と、画像処理装置１００Ａと、システムバス２８０とを備える。記憶部２６０は、ＲＯＭ２６２とＲＡＭ２６４とを備える。

レンズ駆動部２１２、撮像部２２０、アナログ・フロントエンド２２２、画像記録媒体２３０、操作部２４０、表示部２５０、記憶部２６０、ＣＰＵ２７０、画像処理装置１００Ａは、システムバス２８０を介して電気的に接続される。ＲＡＭ２６４は、ＣＰＵ２７０および画像処理装置１００Ａの双方からアクセス可能に構成される。

撮影光学系２１０は、被写体像を撮像部２２０の受光エリア上に形成する。レンズ駆動部２１２は、撮影光学系２１０の焦点調節動作を行う。また、撮影光学系２１０が可変焦点距離光学系である場合には、撮影光学系２１０がレンズ駆動部２１２によって駆動されて焦点距離を変更することが可能に構成されていてもよい。

撮像部２２０は、受光エリア上に形成される被写体像を光電変換してアナログ画像信号を生成する。このアナログ画像信号はアナログ・フロントエンド２２２に入力される。アナログ・フロントエンド２２２は、撮像部２２０から入力した画像信号にノイズ低減、増幅、Ａ／Ｄ変換等の処理をしてデジタル画像信号を生成する。このデジタル画像信号は、ＲＡＭ２６４に一時的に記憶される。

画像処理装置１００Ａは、ＲＡＭ２６４に一時的に記憶されたデジタル画像信号に対してデモザイク、階調変換、色バランス補正、シェーディング補正、ノイズ低減等のさまざまなデジタル信号処理を施し、必要に応じて画像記録媒体２３０に記録したり、表示部２５０に出力したりする。

画像記録媒体２３０は、フラッシュメモリや磁気記録装置等で構成され、デジタルカメラ２００に対して着脱可能に装着される。なお、画像記録媒体２３０はデジタルカメラ２００に内蔵されていてもよい。その場合、ＲＯＭ２６２内に画像データ記録のための領域を確保することが可能である。

操作部２４０は、プッシュスイッチ、スライドスイッチ、ダイヤルスイッチ、タッチパネル等のうちいずれか一種類または複数種類を備え、ユーザの操作を受け付け可能に構成される。表示部２５０は、ＴＦＴ液晶表示パネルとバックライト装置、あるいは有機ＥＬ表示素子等の自発光式表示素子を備え、画像や文字等の情報を表示可能に構成される。なお、表示部２５０は表示インターフェースを備えていて、ＲＡＭ２６４上に設けられるＶＲＡＭ領域内に書き込まれる画像データを表示インターフェースが読み出して画像や文字等の情報が表示部２５０に表示されるものとする。

ＲＯＭ２６２は、フラッシュメモリ等で構成され、ＣＰＵ２７０により実行される制御プログラム（ファームウェア）や、調整パラメータ、あるいはデジタルカメラ２００の電源が入っていない状態でも保持する必要のある情報等が記憶される。ＲＡＭ２６４は、ＳＤＲＡＭ等で構成され、比較的高速のアクセス速度を有する。ＣＰＵ２７０は、ＲＯＭ２６２からＲＡＭ２６４に転送されたファームウェアを解釈・実行してデジタルカメラ２００の動作を統括的に制御する。

画像処理装置１００Ａは、ＤＳＰ（デジタル・シグナル・プロセッサ）等によって構成され、ＲＡＭ２６４に一時的に記憶されるデジタル画像信号に上述した様々な処理を施し、記録用画像データ、表示用画像データ等を生成する。画像処理装置１００Ａはまた、画像入力部１０２Ａ、判定対象領域抽出部１０４Ａ、判定部１０６Ａを備えていて以下に説明する処理を行う。

前提として、デジタルカメラ２００は静止画を撮影するモードで動作しており、レリーズ動作が始まる前の撮影準備動作状態にあって、ユーザによるレリーズ操作を受け付け可能な状態にあるものとする。また、撮影準備動作状態では、撮像部２２０により所定のフレームレート、例えば３０ｆｐｓ（フレーム／秒）で撮像動作が繰り返し行われ、画像処理装置１００Ａでライブビュー表示用の画像データが生成されて表示部２５０にライブビュー画像が表示されるものとする。このとき、画像入力部１０２Ａは、時系列に撮像して得られた一連の複数フレームの画像を逐次入力する。ライブビュー表示用の撮像動作が上記のように３０ｆｐｓで行われているとき、画像入力部１０２Ａはすべてのフレームの画像を入力してもよいし、所定の複数フレームごとに１フレームの画像を入力するようにしてもよい。

判定対象領域抽出部１０４Ａは、画像入力部１０２Ａで入力された複数フレームの画像それぞれの中から、主要度の判定をする対象である判定対象領域を抽出する。判定対象領域抽出部１０４Ａは、抽出された判定対象領域を特定可能な情報とともに、それぞれの判定対象領域ごとの出現頻度に関する情報を記録する。そして、ユーザによるレリーズ操作が検出されると、判定部１０６Ａは、判定対象領域抽出部１０４Ａで抽出された判定対象領域およびその出現頻度に基づいて判定対象領域の主要度を判定する。

判定対象領域抽出部１０４Ａにおける判定対象領域抽出および判定対象領域の出現頻度の記録は、デジタルカメラ２００の電源が投入されてその動作モードが撮影モードに切り替えられ、撮影準備動作が開始されてから、ユーザによるレリーズ操作が検出されるまでの間の時間にわたり、実行されてもよい。あるいは、レリーズ操作が検出された時点から遡る所定の時間長にわたって実行されるようにして、レリーズ動作前の所定時間長にわたる判定対象領域抽出および出現頻度の計数結果が得られるようにしてもよい。つまり、撮影準備動作が開始されてからレリーズ動作が行われるまでの間に６０秒の時間が経過しているものとして、判定対象領域抽出部１０４Ａによる処理は、この６０秒間にわたって実行されるものであってもよい。あるいは、直近の過去の、例えば３０秒間の情報が常に残るように処理が行われ、結果としてレリーズ動作前の３０秒間の判定対象領域抽出および出現頻度の計数結果が判定部１０６Ａで参照され、主要度が判定されるものであってもよい。

判定部１０６Ａにおいて判定対象領域の主要度が判定された結果を参照して、デジタルカメラ２００では焦点調節や露出調整、色補正等の処理が行われる。すなわち、画像内で主要被写体の写っている位置に重きをおいて焦点調節や露出調節、色補正処理等を行うことが可能となる。

図３は、記録媒体に記録された画像処理プログラムがコンピュータのＣＰＵにより読み出されて実行され、画像処理装置としての機能が実装される例を説明するブロック図である。コンピュータ３００は、ＣＰＵ３１０と、メモリ３２０と、補助記憶装置３３０とインターフェース３４０と、メモリカードインターフェース３５０と、光ディスクドライブ３６０と、ネットワークインターフェース３７０と、表示装置３８０とを備える。ＣＰＵ３１０と、メモリカードインターフェース３５０と、光ディスクドライブ３６０と、ネットワークインターフェース３７０と、表示装置３８０とはインターフェース３４０を介して電気的に接続される。

メモリ３２０は、ＤＤＲ ＳＤＲＡＭ等の、比較的高速のアクセス速度を有するメモリである。補助記憶装置３３０は、ハードディスクドライブ、あるいはソリッドステートドライブ（ＳＳＤ）等で構成され、比較的大きな記憶容量を備える。

メモリカードインターフェース３５０は、メモリカードＭＣを着脱自在に装着可能に構成される。デジタルカメラ等で撮影動作が行われて生成され、メモリカードＭＣ内に記憶された画像データは、このメモリカードインターフェース３５０を介してコンピュータ３００内に読み込むことができる。また、コンピュータ３００内の画像データをメモリカードＭＣに書き込むこともできる。

光ディスクドライブ３６０は、光ディスクＯＤからデータを読み取ることが可能に構成される。光ディスクドライブ３６０はまた、必要に応じて光ディスクＯＤにデータを書き込むことが可能に構成されていてもよい。

ネットワークインターフェース３７０は、ネットワークＮＷを介して接続されるサーバ等の外部情報処理装置とコンピュータ３００との間で情報を授受可能に構成される。

画像処理装置１００Ｂは、メモリ３２０上にロードされた画像処理プログラムをＣＰＵ３１０が解釈・実行することにより実現される。この画像処理プログラムは、メモリカードＭＣや光ディスクＯＤ等の記録媒体に記録されてコンピュータ３００のユーザに頒布される。あるいは、ネットワークＮＷを介して、サーバ等の外部情報処理装置から画像処理プログラムをダウンロードすることも可能である。

画像処理装置１００Ｂは、画像入力部１０２Ｂと、判定対象領域抽出部１０４Ｂと、判定部１０６Ｂとを備えていて以下に説明する処理を行う。

前提として、コンピュータ３００上では動画像データを処理するプログラムが実行されていて、メモリカードＭＣ、光ディスクＯＤ等から読み込まれて補助記憶装置３３０に記憶されている動画像データを逐次読み出し、動画像中に写っている主要被写体を判定する処理が行われるものとする。

画像入力部１０２Ｂは、時系列に撮像して得られた一連の複数フレームの画像を補助記憶装置３３０から逐次読み出して入力する。このとき、画像入力部１０２Ｂは、補助記憶装置３３０から読み出したすべてのフレームの画像を入力してもよいし、所定の複数フレームごとに１フレームの画像を入力するようにしてもよい。

判定対象領域抽出部１０４Ｂは、画像入力部１０２Ｂで入力された複数フレームの画像中から、主要度の判定をする対象である判定対象領域を抽出する。判定部１０６Ｂは、判定対象領域抽出部１０４Ｂで抽出された判定対象領域の出現頻度に基づいて判定対象領域の主要度を判定する。

判定対象領域抽出部１０４Ｂにおける上述した処理は、一つの動画像ファイルに含まれる動画像データの先頭から末尾まで読み出されるのに対応して行われてもよいし、動画像データ中の先頭、中間部分、末尾部分等の一部のデータに対して行われてもよい。

画像入力部１０２Ｂ、判定対象領域抽出部１０４Ｂ、判定部１０６Ｂによる処理が完了すると、画像処理装置１００Ｂは、上記処理が行われた動画像データが収容される動画像ファイルに、画像中に写っている主要被写体に関する情報を付加する処理を行う。このような処理を行うことにより、画像に写っている主要被写体の情報を、タグ情報等のメタデータとして動画像ファイルに付加することが可能となる。

例えば、動画像ファイルの一覧を表示装置３８０に表示する際、動画像ファイルに付加された上記メタデータに基づき、画像に写っている主要被写体の縮小画像等を表示したり、同じような被写体の写っている動画像ファイルをグループ化したりすることにより、ユーザは目的とする動画像ファイルを容易に探し出すことが可能となる。

以下では、図２に示されるように画像処理装置１００Ａがデジタルカメラ２００に備えられる場合を例にとり、いくつかの実施の形態の説明をする。以下の説明の前提として、デジタルカメラ２００は電源が投入されて撮影モードに設定されているものとする。そして、表示部２５０にライブビュー画像を表示するための撮像動作が撮像部２２０で繰り返し行われていて、ユーザによるレリーズ操作を受け付け可能な状態にあり、画像入力部１０２Ａ、判定対象領域抽出部１０４Ａ、判定部１０６Ａのそれぞれにおいて、後で各実施の形態で詳しく説明する処理が行われ、画像中に写っている判定対象領域の主要度が逐次判定されるものとする。そして、ユーザによるレリーズ操作が検出されると、判定対象領域の主要度が判定部１０６Ａで判定された結果に基づき、焦点調節や露出調整、色補正等の処理が行われる。すなわち、画像内で主要被写体の写っている位置に重きをおいた焦点調節や露出調節、色補正処理等が行われる。

− 第１の実施の形態 −
図４は、デジタルカメラ２００の撮像部２２０で撮像されて生成され、画像入力部１０２Ａに入力された画像の一例を示す図である。判定対象領域抽出部１０４Ａは、入力された画像中の各画素の色と位置とを解析し、それらの類似度を基に、判定対象領域、すなわち主要度の判定を行う対象の領域を抽出する。

図５は、判定対象領域抽出部１０４Ａで抽出された判定対象領域（領域１、領域２、…、領域６）を示す。なお、判定対象領域抽出部１０４Ａは、判定対象領域を抽出する処理を繰り返し行うが、最初に抽出した各判定対象領域中の重心位置にある領域、あるいは各判定対象領域中の代表的な領域（判定対象領域が顔であれば眼などの写っている領域）を定め、以降の処理では上述した各判定対象領域中の代表的な領域と同じ、乃至は類似した領域を抽出する処理を行うことにより、処理負荷を軽減することが可能となる。

また、判定対象領域抽出部１０４Ａによる上記判定対象領域抽出の処理は、撮像部２２０で撮像して逐次生成される全てのフレームの画像に対して行われてもよいし、時間的に等間隔あるいは不等間隔に間引いて得られる画像に対して行われてもよい。

ところで、撮影対象が動きの激しいものであったり、判定対象領域が画面の端に位置していたりすると、判定対象領域の一部が画面外に出て欠けてしまう場合がある。そのような場合に対応して、判定対象領域抽出部１０４Ａでは、画面内に残る判定対象領域の面積が元の面積の所定％以上であるときには「出現」と判定する、といった判定基準（閾値）を定めておくことが可能である。

判定対象領域抽出部１０４Ａで抽出された判定対象領域と、それぞれの判定対象領域に対応して導出された出現頻度に基づき、判定部１０６Ａは主要度を判定する。判定部１０６Ａで行われる主要度判定の処理は、目的に応じて様々なものとすることが可能である。例えば、判定対象領域抽出部１０４Ａで抽出された判定対象領域の中から主要度の最も高いものを決定する処理であってもよいし、すべての判定対象領域の主要度を順位付けする処理であってもよい。あるいは、すべての判定対象領域中、上位三つ、五つ、二十個などと云った複数の判定対象領域を抽出処理であってもよい。さらに、抽出された、上位に位置付けられる複数の判定対象領域に順位付けをする処理が行われてもよい。

図６は、デジタルカメラ２００のＣＰＵ２７０および画像処理装置１００Ａによって実行される撮影動作プロセスを説明するフローチャートである。図６に示されるプロセスは、デジタルカメラ２００の電源が投入され、その動作モードが撮影モードに設定されたときに実行が開始される。

Ｓ６００において、１フレームの画像を入力する処理が画像入力部１０２Ａで行われる。Ｓ６０２において、判定対象領域を抽出する処理が判定対象領域抽出部１０４Ａで行われる。Ｓ６０４において、判定対象領域ごとの出現頻度を導出し、その出現頻度に対応する情報を、判定対象領域を特定可能な情報とともに記録する処理が判定対象領域抽出部１０４Ａで行われる。Ｓ６０６では、レリーズ操作の有無がＣＰＵ２７０によって判定され、この判定が否定されている間、すなわちユーザがレリーズ操作をしていない間はＳ６００からＳ６０６までの処理が繰り返し行われる。この間、表示部２５０にはライブビュー画像が表示されていて、ユーザは、このライブビュー画像を観ながら構図を調節する。先にも説明したように、Ｓ６００における１フレームの画像入力する処理は、ライブビュー画像表示用に３０ｆｐｓ、６０ｆｐｓなどといったフレームレートで生成される画像データすべてに対して行ってもよいし、時間的に等間隔あるいは不等間隔で間引いて行ってもよい。

Ｓ６０６での判定が肯定される、すなわちユーザによるレリーズ操作が行われたことが検出されると、処理はＳ６０８に進み、判定対象領域ごとの出現頻度を比較する処理が判定部１０６Ａで行われる。図７は、Ｓ６０８の処理が行われる時点における判定対象領域ごとの出現頻度の一例を示すグラフである。図７に示される例では、Ｓ６００からＳ６０６の処理が繰り返し行われる間に六つの判定対象領域が抽出されていて、６番の領域番号が付された判定対象領域の出現頻度が最も高く、次いで３番、そして４番の領域番号が付された判定対象領域の出現頻度がそれに続く。

Ｓ６０８における判定対象領域ごとの出現頻度の比較結果に基づき、Ｓ６１０で判定対象領域の主要度を判定する処理が行われる。つまり、図５を参照して説明すると、Ｓ６０８での判定対象領域ごとの出現頻度を比較する処理が行われた結果、画面内の右側に位置する花（領域６）の主要度が最も高いと判定される。Ｓ６１０で行われる主要度の判定では、先にも説明したように、主要度の最も高い判定対象領域が抽出されるようにしてもよいし、ランキングの上位に位置する複数の判定対象領域が抽出されるようにしてもよい。あるいは、全部またはランキングの上位に位置する複数の判定対象領域とその順位に関する情報が生成されるようにしてもよい。

Ｓ６１２では、Ｓ６１０で主要度が高いと判定された判定対象領域に合焦するように焦点調節が行われる。Ｓ６１４では、露光動作が行われる。この露光動作を行う際の露光量についても、Ｓ６１０で主要度が高いと判定された判定対象領域の被写体輝度に重きを置いて決定することが望ましい。

Ｓ６１６では、Ｓ６１４の露光動作によって得られた画像信号を処理し、画像データを生成する処理が行われる。このとき、Ｓ６１０で主要度が高いと判定された判定対象領域に対応する部分の画像がより好ましいものとなるように色合い、コントラスト等が調節されるようにすることが望ましい。

Ｓ６１８では、Ｓ６１６の処理で生成された画像データが、画像記録媒体２３０に記録される。このとき、主要度が高いと判定された判定対象領域に関連する情報をタグ情報化して画像データに付加することも可能である。

以上のように、第１の実施の形態によれば、撮影準備動作中に入力される一連の複数フレームの画像それぞれから判定対象領域が抽出され、それぞれの判定対象領域の出現頻度が導出される。そして、レリーズ操作が行われるのに伴い、各判定対象領域の出現頻度に基づいて主要度の判定がなされる。そして、主要度が高いと判定された判定対象領域を主体に焦点調節を行うことにより、ユーザは複雑な操作をすることなく、作画意図が反映された画像を容易に得ることが可能となる。

− 第２の実施の形態 −
図８（ａ）は、図２に示されるデジタルカメラ２００の撮像部２２０で撮像されて生成され、画像入力部１０２Ａに入力された画像の一例を示す図である。判定対象領域抽出部１０４Ａは、入力された画像中の各画素の色と位置とを解析し、それらの類似度を基に、判定対象領域を抽出する。

図８（ｂ）は、判定対象領域抽出部１０４Ａで抽出された判定対象領域（領域１、領域２、…、領域６）を示す。また、図８（ｃ）には、判定対象領域抽出部１０４Ａで抽出された上記判定対象領域それぞれの重心近傍の領域を矩形で示している。第２の実施の形態において判定対象領域抽出部１０４Ａは、抽出した判定対象領域が初出のものである場合（判定対象領域が繰り返し抽出される中で、その判定対象領域が初めて抽出されたものである場合）、その判定対象領域の重心近傍の領域のパターンを抽出する。そして、画像入力部１０２Ａで入力される一連の複数フレームの画像から判定対象領域を抽出する処理を繰り返し行う際には、上述した各判定対象領域中の重心近傍の領域と同じ乃至は類似した領域を抽出する処理を行う。このように処理を行うことにより、処理負荷を軽減することが可能となる。無論、第１の実施の形態で説明したのと同様にして、抽出された判定対象領域全体を基準パターンとして以降に入力される画像中から類似のパターンを探索するようにしてもよい。

第１の実施の形態で説明したのと同様、判定対象領域抽出部１０４Ａによる上記判定対象領域抽出の処理は、撮像部２２０で撮像して逐次生成される全てのフレームの画像に対して行われてもよいし、時間的に等間隔あるいは不等間隔に間引いて得られる画像に対して行われてもよい。

第２の実施の形態において、判定対象領域抽出部１０４Ａは、デジタルカメラ２００のレリーズ操作が行われる前の段階において返し抽出される判定対象領域の出現時刻を毎回記録する。つまり、時間の経過にともなって入力される一連の複数の画像それぞれの中において判定対象領域の存否が判定されて、判定対象領域が存在すると判定される場合に、それぞれの判定対象領域を特定可能な情報が、その判定対象領域の出現時刻を特定可能な情報とともに記録される。

その後、レリーズ操作が検出されると、判定部１０６Ａは、判定対象領域抽出部１０４Ａで抽出され、記録されたそれぞれの判定対象領域の出現時刻とレリーズ操作が検出された時刻（以下、レリーズ時刻と称する）との時間差を求める。そしてこの時間差が小さいほど（判定対象領域の出現時刻がより近い過去であるほど）高い重み付けがされるようにしてそれぞれの判定対象領域の出現頻度を導出し、それぞれの判定対象領域の主要度を判定する。

図９は、デジタルカメラ２００のＣＰＵ２７０および画像処理装置１００Ａによって実行される撮影動作プロセスを説明するフローチャートである。図９に示されるプロセスは、デジタルカメラ２００の電源が投入され、その動作モードが撮影モードに設定されたときに実行が開始される。図９のフローチャートにおいて、第１の実施の形態における図６のフローチャート中の処理と同じ内容の処理ステップには、図６のフローチャート中で付されているステップ符号と同じ符号を付し、説明を適宜簡略化して第１の実施の形態との差異を中心に説明する。

図９のフローチャートにおいて、図６のフローチャート中におけるＳ６０４の処理（判定対象領域ごとの出現頻度を記録する処理）がＳ９００およびＳ９０２の処理に置き換えられている。また、図６のフローチャート中におけるＳ６０８の処理がＳ９０４の処理に置き換えられている。以上が図９のフローチャート中における第１の実施の形態との相違点である。

撮影準備動作中、Ｓ６０２で判定対象領域が抽出される。その判定対象領域が初めて抽出されたものである場合、当該の判定対象領域の重心近傍のパターンがＳ９００で抽出される。Ｓ９０２では、出現が検出された判定対象領域を特定可能な情報が、この判定対象領域の出現時刻を特定可能な情報とともに記録される。撮影準備動作中にＳ６００、Ｓ６０２、Ｓ９００、Ｓ９０２、およびＳ６０６の処理が繰り返し行われる結果、判定対象領域の出現履歴（どの判定対象領域がいつのタイミングで出現したかの記録）が記録される。

その後、ユーザによりレリーズ操作されたことがＳ６０６で検出されると、Ｓ９０４の処理が行われる。Ｓ９０４において判定部１０６Ａは、上述した判定対象領域の出現履歴を参照し、レリーズ時刻と、それぞれの判定対象領域の出現時刻との差（時間差）を導出する。そして、各判定対象領域の出現頻度を導出する際に、レリーズ時刻と出現時刻との差が小さいほど高い重み付けがされるようにする。

上述した重み付けをする際の特性の一例を図１０のグラフに示す。図１０に示される例では、判定対象領域の出現時刻がレリーズ時刻と略一致する場合には重み付け係数として２に近い値が与えられる。一方、判定対象領域の出現時刻がレリーズ時刻から遠ざかるにつれて重み付け係数は０に近づく。このような重み付け特性は、レリーズ時刻と判定対象領域の出現時刻との差を変数とする関数として予め定義しておくことが可能である。あるいは、図１０に例示されるような特性をルックアップテーブル化してＲＯＭ２６２内に予め格納しておくことも可能である。

図１１は、判定部１０６ＡでＳ９０４の重み付け処理が行われ、各判定対象領域の重心近傍の領域の出現頻度が導出される様子を例示する図である。図１１に示されるグラフにおいて、横軸には重心番号（判定対象領域の領域番号と等しい）が、縦軸には出現頻度がとられている。図１１（ａ）は、上述した重み付けの処理をしないで導出された出現頻度の例を、図１１（ｂ）は上述した重み付けの処理した後に導出された出現頻度の例を示す。

図１１に示される例において、重心番号２に対応する判定対象領域の出現時刻とレリーズ時刻との時間差が比較的大きいものとする。すなわち、重心番号２に対応する判定対象領域は、傾向として比較的遠い過去の時間帯に出現しているものとする。この理由により、重心番号２に対応する判定対象領域の出現頻度は、図１１（ａ）に示される、重み付け処理をする前の出現頻度に比して図１１（ｂ）に示される、重み付け処理をした後の出現頻度が低くなるように導出されている。また、重心番号６に対応する判定対象領域の出現時刻とレリーズ時刻との時間差が比較的小さいものとする。すなわち、重心番号６に対応する判定対象領域は、傾向として比較的近い過去の時間帯に出現しているものとする。この理由により、重心番号６に対応する判定対象領域の出現頻度は、図１１（ａ）に示される、重み付け処理をする前の出現頻度に比して図１１（ｂ）に示される、重み付け処理をした後の出現頻度が高くなるように導出されている。

上述したＳ９０４の処理に続き、主要度を判定する処理がＳ６１０で判定部１０６Ａにより行われる。Ｓ６１０における主要度の判定結果に基づき、Ｓ６１２、Ｓ６１４、Ｓ６１６、そしてＳ６１８の処理が行われる。

以上に説明したように、第２の実施の形態によれば、撮影準備動作中に入力される一連の複数フレームの画像それぞれから判定対象領域が抽出され、抽出された判定対象領域が初めて抽出されたものである場合、その判定対象領域の重心近傍のパターンが抽出される。以降は、この重心近傍のパターンに類似する領域を抽出する処理が行われるので、画像処理装置１００Ａの処理負荷を低減することが可能となる。

また、撮影準備動作中に入力される一連の複数フレームの画像それぞれから判定対象領域（の重心近傍の領域）が抽出されたときに、それらの領域を特定可能な情報が出現時刻を特定可能な情報とともに記録される。そしてユーザによるレリーズ操作が検出されると、レリーズ時刻と出現時刻との差が小さいほど高い重み付けがされるようにして各判定対象領域の出現頻度が導出され、主要度が判定される。

従って、出現履歴の比較的新しい（傾向として比較的近い過去に出現している）判定対象領域に重きを置いた主要度の判定をすることが可能となる。例えば、ユーザは撮影準備動作中に目的とする被写体を見つけるため、ライブビュー画像を観ながらデジタルカメラ２００の向きや焦点距離を調節する。この過程においても、判定対象領域の抽出は継続して行われている。そして、目的とする被写体を見つけた後は、その被写体が画面内に収まるようにユーザはデジタルカメラ２００を目的とする被写体に向け続け、やがてシャッタチャンスが訪れ、レリーズ操作をする。そのような場合に、第２の実施の形態によれば、より的確に被写体の主要度を判定してユーザの作画意図が反映された画像を得ることが可能となる。

− 第３の実施の形態 −
第３の実施の形態では、デジタルカメラ２００が特定の撮影モード、例えばマクロモード等に設定されている場合に特に有効な例について説明する。図１２は、デジタルカメラ２００の撮像部２２０で撮像されて生成され、画像入力部１０２Ａに入力された画像の一例を示す図である。判定対象領域抽出部１０４Ａは、図１２（ａ）に例示されるような、入力された画像中の各画素の色と位置とを解析し、それらの類似度を基に、判定対象領域を抽出する。図１２（ｂ）は、判定対象領域抽出部１０４Ａで抽出された判定対象領域の例（領域１、領域２、領域３）を示す。なお、図１２において、領域２に写る花よりも領域３に写る花の輝度、彩度が高いものとする。また、領域１には背景が写っているものとする。

第３の実施の形態において、判定対象領域抽出部１０４Ａは、デジタルカメラ２００のレリーズ操作が行われる前の段階において返し抽出される判定対象領域の輝度および彩度に関する情報を毎回記録する。つまり、時間の経過にともなって入力される一連の複数の画像それぞれの中において判定対象領域の存否が判定されて、判定対象領域が存在すると判定される場合に、それぞれの判定対象領域を特定可能な情報が、その判定対象領域の輝度および彩度を特定可能な情報および出現頻度を特定可能な情報とともに記録される。

このとき判定対象領域抽出部１０４Ａは、各判定対象領域の領域属性の情報も記録する。領域属性の情報には、判定対象領域にどのような被写体が存在するかを推定した結果が含まれる。例えば「背景」、「花」、「顔」といった種類を特定可能な情報を領域属性の情報中に含めることが可能である。本実施の形態において判定対象領域抽出部１０４Ａは、判定対象領域が背景であるか否かを推定し、背景である可能性が高い場合には領域属性の情報中にその旨記録する。この背景であるか否かの推定に際しては、判定対象領域の色、輝度、空間周波数、領域の大きさ等を参酌すればよい。図１２（ｂ）に示される例では、領域１が背景であると判定されるものとして説明をする。

画像入力部１０２Ａで入力される一連の複数フレームの画像から判定対象領域抽出部１０４Ａが判定対象領域を抽出する上記の処理を繰り返し行う際には、第１、第２の実施の形態で説明したいずれかの方法を利用可能である。また、上記判定対象領域抽出の処理は、撮像部２２０で撮像して逐次生成される全てのフレームの画像に対して行われてもよいし、時間的に等間隔あるいは不等間隔に間引いて得られる画像に対して行われてもよい。

判定部１０６Ａは、各判定対象領域の主要度を判定する際に、判定対象の出現頻度が同じ出現頻度であっても、輝度および彩度がより高い判定対象領域の出現に対応して導出される出現頻度がより高くなるように出現頻度を導出する。そして、導出された出現頻度のより高い判定対象領域の主要度をより高いと判定する。

判定部１０６Ａはまた、判定対象領域抽出部１０４Ａで抽出された判定対象領域から、背景の写されている部分に対応する判定対象領域を、上記領域属性の情報を基に特定し、主要度を判定する際の対象から除外する処理を行うことも可能に構成される。

図１３は、デジタルカメラ２００のＣＰＵ２７０および画像処理装置１００Ａによって実行される撮影動作プロセスを説明するフローチャートである。図１３に示されるプロセスは、デジタルカメラ２００の電源が投入され、その動作モードが撮影モードに設定されたときに実行が開始される。図１３のフローチャートにおいて、第１の実施の形態における図６のフローチャート中の処理と同じ内容の処理ステップには、図６のフローチャート中で付されているステップ符号と同じ符号を付し、説明を適宜簡略化して第１の実施の形態との差異を中心に説明する。

図１３のフローチャートにおいて、図６のフローチャート中におけるＳ６０４の処理（判定対象領域ごとの出現頻度を記録する処理）がＳ１３００の処理に置き換えられている。また、図６のフローチャート中におけるＳ６０８の処理がＳ１３０２、Ｓ１３０４、Ｓ１３０６の処理に置き換えられている。以上が第１の実施の形態との相違点である。

撮影準備動作中、Ｓ６０２で判定対象領域が抽出され、Ｓ１３００ではその判定対象領域を特定可能な情報が、その判定対象領域の出現頻度、輝度、彩度、領域属性に関する情報とともに記録される。

その後、ユーザによりレリーズ操作されたことがＳ６０６で検出されると、Ｓ１３０２の処理が行われる。Ｓ１３０２では、デジタルカメラ２００で現状設定されている撮影モードがマクロモードであるか否かが判定され、肯定されるとＳ１３０４へ、否定されるとＳ１３０６へ進む。設定されているモードがマクロモードであると判定された場合の分岐先であるＳ１３０４では、Ｓ６０２で抽出された判定対象領域中、Ｓ１３００で記録された領域属性の情報を基に背景領域（背景の写されている部分に対応する領域）を主要度判定の対象から除外する。

Ｓ１３０６では、Ｓ１３００で記録された輝度、彩度の情報に基づき、Ｓ６０２で抽出された判定対象領域中で輝度、彩度の高い領域ほど高い重み付けがされるようにして各判定対象領域の出現頻度を導出する処理が行われる。ここで、判定対象領域の出現頻度の導出に際して、輝度、彩度の高い領域ほど高い重み付けがされるようにする例について図１４、図１５を参照して説明する。

図１４は、判定対象領域の出現頻度を導出する際に、判定対象領域の輝度、彩度に対応して設定される重み付け特性の一例を概念的に示すグラフである。図１４に示される例では、輝度（Ｌ）および彩度（Ｓ）の組み合わせに対応して重み付け係数が定義される様子を示している。図１４のグラフでは、輝度が増すほど、彩度が増すほど、そして輝度および彩度が増すほど、重み付け係数が大きくなる例が示される。すなわち、同じ出現頻度の判定対象領域が複数存在する場合、その判定対象領域の輝度、彩度が高くなるほど出現頻度も高く計数されるような特性となっている。この重み付け特性は、輝度および彩度を変数とする関数として予め定義しておくことが可能である。あるいは、図１４に例示されるような重み付け特性をルックアップテーブル化してＲＯＭ２６２内に予め格納しておくことも可能である。

なお、図１４には、輝度および彩度が増すほど重み付け係数が増す例を示したが、図１５のグラフに示すように、輝度のみに基づいて、あるいは彩度のみに基づいて重み付け係数が決定されるようにしてもよい。この場合、彩度が増すほど重み付け係数が増すように、あるいは輝度が増すほど重み付け係数が大きくなるようにすればよい。図１５に示される重み付け特性もまた、輝度または彩度を変数とする関数として予め定義しておくことが可能である。あるいは、図１５に例示される重み付け特性をルックアップテーブル化してＲＯＭ２６２内に予め格納しておくことも可能である。

再び図１３のフローチャートを参照しての説明に戻り、上述したＳ１３０６の処理に続き、主要度を判定する処理がＳ６１０で判定部１０６Ａにより行われる。Ｓ６１０における主要度の判定結果に基づき、Ｓ６１２、Ｓ６１４、Ｓ６１６、そしてＳ６１８の処理が行われる。

図１６は、デジタルカメラ２００の撮影モードがマクロモードに設定されていて、Ｓ１３０４の処理が行われた結果、判定対象領域としての領域１が判定対象から除かれ、領域２および領域３の主要度が判定される例を説明する図である。図１６に示されるグラフにおいて、横軸には判定対象領域の領域番号が、縦軸には出現頻度がとられている。図１６（ａ）は、上述した重み付けの処理をしないで導出される出現頻度の例を、図１６（ｂ）は上述した重み付けの処理した後に導出される出現頻度の例を示す。

図１６に示される例では、判定対象領域３の輝度、彩度が比較的大きく、判定対象領域２の輝度、彩度が比較的小さい。そのため、図１６（ａ）に示される、重み付け処理をする前の判定対象領域２の出現頻度に比して、図１６（ｂ）に示される判定対象領域２の出現頻度が低くなるように導出されている。また、図１６（ａ）に示される、重み付け処理をする前の判定対象領域３の出現頻度に比して、図１６（ｂ）に示される判定対象領域３の出現頻度が高くなるように導出されている。結果として、Ｓ６１０では判定対象領域３の主要度が高いと判定され、この判定対象領域３に対応する被写体である花に対して焦点調節が行われる（図１２参照）。

以上に説明したように、第３の実施の形態によれば、撮影準備動作中に入力される一連の複数フレームの画像それぞれから判定対象領域が抽出され、抽出された判定対象領域を特定可能な情報がその判定対象領域の輝度、彩度を特定可能な情報および領域属性の情報とともに記録される。そして、デジタルカメラ２００の撮影モードがマクロモードに設定されている場合には、背景を含む判定対象領域が主要度判定の対象から除かれる。これにより、例えば自動焦点調節のマクロモードで近くの花を撮影しようとして構図を決めているような状況で、本来であれば主要度が高いと判定されるべき判定対象領域の出現頻度よりも背景を含む判定対象領域の出現頻度の方が高かったため、背景に自動焦点調節されてしまう、といった不都合が生じるのを抑制可能となる。

また、輝度、彩度の高い領域ほど高い重み付けがされるので、例えば自動焦点調節モードで花を撮影するような状況において、葉ではなく、花そのもの（花弁）に焦点調節される確率を増すことが可能となる。また、画像データを処理する際にも、主要度が高いと判定される部分を主体として色再現処理や階調変換処理等を行うことが可能となる。

− 第４の実施の形態 −
図１７（ａ）は、図２に示されるデジタルカメラ２００の撮像部２２０で撮像されて生成され、画像入力部１０２Ａに入力された画像の一例を示す図である。また、図１７（ｂ）は、デジタルカメラ２００をその後方から保持するユーザから見て、左方向にデジタルカメラ２００をパンニングさせた後、画像入力部１０２Ａに入力された画像の一例を示す図である。通常、カメラを保持したユーザがカメラをパンニングさせた場合、パンニングされたカメラの移動の軌跡をカメラの上方から見ると、回動成分だけでなく、並進成分も含まれる。この並進成分の動きによる影響は、遠くの被写体よりも近くの被写体の影響の方が受けやすい。

つまり、遠、中、近の各距離に位置する被写体へカメラを向けてパンニングをしたとき、像面上での像の動きは、近距離に位置する被写体に対応する像が最も大きくなり、次いで中距離、遠距離の被写体に対応する像の順となる。

図１７（ｂ）に示される例においては、近距離に位置する人物の像の動きが最も大きく、中距離に位置する樹木の像の動きがそれに次ぐ。そして、遠距離に位置する太陽および山並の像の動きが最も小さくなっている。

第４の実施の形態において判定対象領域抽出部１０４Ａは、入力された画像中の各画素の色と位置とを解析し、動きベクトルを導出する。そして、それらの動きベクトルの類似度を基に、判定対象領域を抽出する。

画像入力部１０２Ａで入力される一連の複数フレームの画像から判定対象領域を抽出する処理を繰り返し行う際には、一連の複数フレームの画像中、例えば最初に入力された画像中の各画素の色と位置とを解析し、複数の動きベクトル検出用領域を画定する。そして、画定されたそれぞれの動きベクトル検出用領域の画像をテンプレートとし、後続して入力される画像中からテンプレートと類似する領域を探索して画像内での移動方向および移動距離を導出する処理を行うことにより、動きベクトルを導出可能となる。

図１７（ｃ）において、画像が縦・横方向それぞれ８分割されて６４の領域に分割されていているが、これらの領域のひとつ一つが動きベクトル検出用領域である。そして、それぞれの動きベクトル検出用領域内に描かれている矢印が、導出された動きベクトルを概念的に示している。これらの動きベクトルの類似度から、判定対象領域を抽出することが可能となる。図１７（ｃ）には、動きベクトルが３種類に大別可能となる例が示されている。これらの動きベクトルの種類に対応して、図１７（ｄ）に示されるように三つの判定対象領域（領域１、領域２、領域３）が抽出される。

判定対象領域抽出部１０４Ａによる上記判定対象領域抽出の処理は、第１の実施の形態で説明したのと同様、撮像部２２０で撮像して逐次生成される全てのフレームの画像に対して行われてもよいし、時間的に等間隔あるいは不等間隔に間引いて得られる画像に対して行われてもよい。このように時間的に間引いて得られる画像に対して動きベクトルを導出する際、間引いたフレーム（判定対象抽出処理をしなかったフレーム）に対応する動きベクトルは、補間によって生成することも可能である。

以上に説明した動きベクトル導出の処理でテンプレートを定める際、画定されたそれぞれの動きベクトル検出用領域全体の画像をテンプレートとしてもよいが、それぞれの動きベクトル検出用領域内における重心近傍の領域等をテンプレートとすることにより、以降の処理負荷を軽減することが可能である。

デジタルカメラ２００のレリーズ操作が行われる前の段階において判定対象領域抽出部１０４Ａにおける上述した処理が繰り返し行われ、画像入力部１０２Ａに入力される各フレームに対応して判定対象領域が逐次抽出される。このとき判定対象領域抽出部１０４Ａは、抽出された判定対象領域それぞれごとに出現頻度と連続出現回数とを計数し、それらの計数結果に対応する情報を、判定対象領域を特定可能な情報とともに記録する。画像入力部１０２Ａに入力される一連の複数フレームの画像の例を示す図１８を参照して説明すると、連続出現回数は、図１８（ａ）に示される例では３と計数され、図１８（ｂ）に示される例では２と計数される。

ところで、連続出現回数の計数に関して、例えば画面の端近くに存在するような判定対象領域や動きの速い被写体に対応する判定対応領域は一時的にフレームアウトして連続出現の記録が途絶える場合がある。この場合、フレームアウトしている期間が所定の時間内、あるいは所定のフレーム数内である場合には連続出現しているものとして記録することも可能である。

連続出現回数に関する情報としては、連続出現回数そのものが記録されてもよいし、出現の連続度に関する情報が記録されてもよい。すなわち、レリーズ準備動作中に、画像入力部１０２Ａに入力される画像の総フレーム数（これをＮ＿ｔｏｔとする）に対する連続出現回数（これをＮ＿ｃｏｎｔとする）の比（Ｎ＿ｃｏｎｔ／Ｎ＿ｔｏｔ）を出現の連続度に関する情報とすることが可能である。

その後、レリーズ操作が検出されると、判定部１０６Ａは、判定対象領域抽出部１０４Ａで抽出され、記録されたそれぞれの判定対象領域の出現頻度と連続出現回数とを参照し、連続出現回数が多いほど高い重み付けがされるようにしてそれぞれの判定対象領域の出現頻度を導出する。判定部１０６Ａは、それぞれの判定対象領域ごとに導出された出現頻度を比較し、出現頻度が高い判定対象領域ほど主要度が高いと判定する。

図１９は、デジタルカメラ２００のＣＰＵ２７０および画像処理装置１００Ａによって実行される撮影動作プロセスを説明するフローチャートである。図１９に示されるプロセスは、デジタルカメラ２００の電源が投入され、その動作モードが撮影モードに設定されたときに実行が開始される。図１９のフローチャートにおいて、第１の実施の形態における図６のフローチャート中の処理と同じ内容の処理ステップには、図６のフローチャート中で付されているステップ符号と同じ符号を付し、説明を適宜簡略化して第１の実施の形態との差異を中心に説明する。

図１９のフローチャートにおいて、図６のフローチャート中におけるＳ６０２およびＳ６０４の処理（判定対象領域を抽出する処理および判定対象領域ごとの出現頻度を記録する処理）がＳ１９００、Ｓ１９０２、およびＳ１９０４の処理に置き換えられている。また、図６のフローチャート中におけるＳ６０８の処理がＳ１９０６の処理に置き換えられている。以上が第１の実施の形態との相違点である。

撮影準備動作中、Ｓ１９００で各フレーム間の動きベクトルを導出する処理が行われ、Ｓ１９０２で動きベクトルの類似度を基に判定対象領域を抽出する処理が行われる。そして、Ｓ１９０４では、Ｓ１９０２で抽出された判定対象領域を特定可能な情報が、その判定対象領域の出現頻度および連続出現回数に関する情報とともに記録される。

その後、ユーザによりレリーズ操作されたことがＳ６０６で検出されると、Ｓ１９０６の処理が行われる。Ｓ１９０６では、各判定対象領域の連続出現回数が多いほど高い重み付けがされるようにして各判定対象領域の出現頻度が導出される。

図２０は、Ｓ１９０４の処理で記録された連続出現回数を領域ごとに示すグラフであり、横軸に領域番号が、縦軸に連続出現回数がとられている。図２０では、三つの判定対象領域（領域１、領域２、領域３）が検出されている例が示され、領域２の連続出現回数が最も高く、それに領域３の連続出現回数、領域１の連続出現回数の順で続いている。

図２１は、判定対象領域の出現頻度を導出する際に、判定対象領域の連続出現回数に対応して設定される重み付け特性の一例を概念的に示すグラフである。図２１のグラフでは、横軸に連続出現回数が、縦軸に重み付け係数がとられており、連続出現回数が多くなるほど重み付け係数が増す特性となっている。図２１に示される重み付け特性は、連続出現回数を変数とする関数として予め定義しておくことが可能である。あるいは図２１に例示されるような重み付け特性をルックアップテーブル化してＲＯＭ２６２内に予め格納しておくことも可能である。

再び図１９のフローチャートを参照しての説明に戻り、上述したＳ１９０６の処理に続き、主要度を判定する処理がＳ６１０で判定部１０６Ａにより行われる。Ｓ６１０における主要度の判定結果に基づき、Ｓ６１２、Ｓ６１４、Ｓ６１６、そしてＳ６１８の処理が行われる。

図２２は、Ｓ１９０６の処理が行われ、領域１、領域２、および領域３それぞれの連続出現回数に応じて出現頻度に重み付けがされる例を説明する図である。図２２に示されるグラフにおいて、横軸には判定対象領域の領域番号が、縦軸には出現頻度がとられている。図２２（ａ）は、上述した重み付けの処理をしないで導出される出現頻度の例を、図２２（ｂ）は上述した重み付けの処理がなされて導出される出現頻度の例を示す。

各判定対象領域の連続出現回数は、先に図２０を参照して説明したように領域２の連続出現回数が最も高く、それに領域３の連続出現回数、領域１の連続出現回数の順で続いているものとする。これ対応して、図２２（ａ）に示される、重み付け処理をする前の領域２の出現頻度に比して、図２２（ｂ）に示される領域２の出現頻度が高くなるように重み付けされている。一方、重み付け処理をする前の出現頻度が領域２と同じであった領域３の連続出現回数は、領域２の連続出現回数よりも少なかったため、重み付け処理後の出現頻度は領域２の出現頻度よりも低くなっている。連続出現回数の比較的小さい領域１では、重み付け処理される前の出現頻度よりも重み付け処理された後の出現頻度が低くなっている。結果として、Ｓ６１０では判定対象領域２の主要度が高いと判定される。Ｓ６１２では、この判定対象領域２に対応する被写体の人物に対して焦点調節が行われる（図１７参照）。

以上に説明したように、第４の実施の形態によれば、撮影準備動作中に入力される一連の複数フレームの画像それぞれから動きベクトルが導出されて、動きベクトルの類似度を基に判定対象領域が抽出される。そして、抽出された判定対象領域を特定可能な情報とともに判定対象領域の出現頻度、連続出現回数を特定可能な情報が記録される。また、主要度の判定に先立ち、連続出現回数が多いほど判定対象領域の出現頻度が増すように重み付けされる。

ユーザがデジタルカメラ２００を構えて構図を調節したり、シャッタチャンスを待ち続けたりする間に入力される一連の複数フレームの画像中、判定対象領域が抽出されて、出現頻度、連続出現回数が判定対象領域ごとに計数される。これらの判定対象領域中で、同じ乃至はあまり差の無い出現頻度（重み付け処理をする前の出現頻度）のものがあったとして、それらの出現頻度はＳ１９０６の処理により、判定対象領域の連続出現回数が多いほど出現頻度が増すように重み付けされる。したがって、Ｓ６１０での主要度判定において、ユーザが重視している可能性の高い被写体が写っている判定対象領域を主要被写体として判定することが可能となる。

− 第５の実施の形態 −
第５の実施の形態においても、図２に示されるデジタルカメラ２００の撮像部２２０で撮像されて生成され、画像入力部１０２Ａに入力される画像が図１７に例示されるものである場合を例に説明をする。

第５の実施の形態において、判定対象領域抽出部１０４Ａは、入力された画像中の各画素の色と位置とを解析し、動きベクトルを導出する。そして、それらの動きベクトルの類似度を基に、判定対象領域を抽出する。

画像入力部１０２Ａで入力される一連の複数フレームの画像から判定対象領域を抽出する処理を繰り返し行う際には、第４の実施の形態で図１７（ｃ）、図１７（ｄ）を参照して説明したのと同様の処理が行われる。すなわち、一連の複数フレームの画像中、例えば最初に入力された画像中の各画素の色と位置とを解析し、複数の動きベクトル検出用領域を画定する。そして、画定されたそれぞれの動きベクトル検出用領域の画像をテンプレートとし、後続して入力される画像中からテンプレートと類似する領域を探索して画像内での移動方向および移動距離を導出する処理を行うことにより、動きベクトルが導出される。

判定対象領域抽出部１０４Ａによる上記判定対象領域抽出の処理は、第１の実施の形態で説明したのと同様、撮像部２２０で撮像して逐次生成される全てのフレームの画像に対して行われてもよいし、時間的に等間隔あるいは不等間隔に間引いて得られる画像に対して行われてもよい。このように時間的に間引いて得られる画像に対して動きベクトルを導出する際、間引いたフレーム（判定対象抽出処理をしなかったフレーム）に対応する動きベクトルは、補間によって生成することも可能である。

以上に説明した動きベクトル導出の処理でテンプレートを定める際、画定されたそれぞれの動きベクトル検出用領域全体の画像をテンプレートとしてもよいが、それぞれの動きベクトル検出用領域内における重心近傍の領域等をテンプレートとすることにより、以降の処理負荷を軽減することが可能である。

デジタルカメラ２００のレリーズ操作が行われる前の段階において判定対象領域抽出部１０４Ａにおける上述した処理が繰り返し行われ、画像入力部１０２Ａに入力される各フレームに対応して判定対象領域が逐次抽出される。このとき判定対象領域抽出部１０４Ａは、抽出された判定対象領域それぞれごとに出現頻度を計数するとともに、各判定対象領域の静止度を導出し、これらの出現頻度および静止度に関連する情報を、判定対象領域を特定可能な情報とともに記録する。

ここで静止度について説明する。静止度とは、画像中の被写体（判定対象領域）の動きの少なさと定義することが可能である。例えば、三脚等に据えられたカメラで、風にそよぐ花を前景に入れて遠くの山並を撮影するような状況では、山並に対応する判定対象領域の静止度は、花の部分に対応する判定対象領域の静止度に比して高くなる。また、カメラを手で保持して、動き回る子どもを常に画面の定位置で捉えるようにカメラの向きを変え続けた場合、子どもに対応する判定対象領域の静止度は、背景に対応するする判定対象領域の静止度に比して高くなる。以上のように、画像中における判定対象領域の動きが少ないほど静止度は高いと定義される。

図１７（ｃ）、図１７（ｄ）を参照して説明すると、判定対象領域抽出部１０４Ａは、逐次入力されるフレームに対応して導出される動きベクトルを、抽出された判定対象領域１、２、３のそれぞれごとに、時間軸に沿って積算する。そして、動きベクトルの積算値から判定対象領域ごとに静止度を求める。このとき、動きベクトルの積算値が大きくなるほど静止度が小さくなるように静止度は導出される。例えば、ユーザがカメラをパンニングし続けて図１７（ｃ）に例示される状況が継続する場合には、図１７（ｄ）に示される領域１（領域１には比較的遠距離に位置する被写体が写っている）に対応する判定対象領域の静止度が最も高くなり、領域２（領域２には比較的近距離に位置する被写体が写っている）に対応する判定対象領域の静止度が最も低くなる。

逐次入力される複数フレームの画像に対応して導出される動きベクトルを、抽出された判定対象領域１、２、３のそれぞれごとに時間軸に沿って積算する場合、動きベクトルの方向は無視して絶対値のみを積算することが可能である。これについて図２３を参照して説明する。図２３（ａ）は、一番目のフレームの画像から七番目のフレームの画像に至るまでの間で、ある判定対象領域Ａの画面内における動きを追跡した際の、各フレーム間で導出される動きベクトルの例を概念的に示す図である。図２３において、数字はフレーム番号を意味している。つまり、１を始点として２を終点とするベクトルは、一番目のフレームの画像と、それに続く二番目のフレームの画像との間で導出された、判定対象領域Ａの動きベクトルを意味している。以下では図２３中に示される各ベクトルを、動きベクトル１−２、動きベクトル２−３などと称する。つまり、ｎ番目のフレームの画像と、それに続くｍ番目のフレームの画像との間で導出された動きベクトルを、ベクトルｎ−ｍと表現する。

図２３（ｂ）は、動きベクトルの方向は無視して絶対値のみを時間軸に沿って積算する例を概念的に示している。つまり、方向の情報が除かれた、動きベクトル１−２、動きベクトル２−３、…、動きベクトル６−７の絶対値を積算した結果に基づき、静止度が導出される。なお、このようにして移動ベクトルの絶対値を積算すると、撮影状況によっては出現頻度の高い（出現時間の長い）判定対象領域に対応して求められる移動ベクトルの積算値が大きくなる場合がある。そのような場合に対応して、判定対象領域ごとに導出される移動ベクトルの時間軸に沿う積算値を、それぞれの判定対象領域の出現頻度や出現時間等で除した値に基づいて静止度を導出するようにしてもよい。あるいは、関数、ルックアップテーブル、アルゴリズム等を用意しておいて、移動ベクトルの積算値と、当該の判定対象領域の出現フレームあるいは出現時間とから静止度を導出するようにしてもよい。

あるいは、上述のように動きベクトルの方向は無視して絶対値のみを積算するのに代えて、動きベクトルの向きおよび絶対値を加味して時間軸に沿って積算し、最終的に得られる移動ベクトルに基づいて静止度を導出するようにしてもよい。図２３（ｃ）は、この例を概念的に示している。動きベクトル１−２、動きベクトル２−３、…、動きベクトル６−７それぞれの方向、絶対値を加味して時間軸に沿って積算すると、最終的には図２３（ｃ）において破線で示される動きベクトル１−７が導出される。

上記のようにフレームごとに導出される動きベクトルを時間軸に沿って積算をし、最終的に導出される動きベクトルを、以下では合成動きベクトルと称する。静止度の導出に際して、合成動きベクトル１−７の絶対値の大きさが大きくなるほど静止度が小さくなるようにすることが可能である。このとき、合成動きベクトルの向きも加味して静止度を導出することも可能である。例えば、抽出された判定対象領域それぞれに対応して合成動きベクトルの向きを求め、それらの合成動きベクトルの向きを統計的に処理する。単純には平均値や標準偏差を求めることが可能である。そして、ある判定対象領域の合成動きベクトルの向きが、平均値に対してどれくらい乖離しているかを尺度として静止度を求めることができる。平均値からの乖離が大きい程、静止度が低くなるように静止度を導出することができる。このとき、合成動きベクトルの絶対値も加味して静止度を導出するようにしてもよい。すなわち、合成動きベクトルの向きが平均値から乖離しているほど、そして合成動きベクトルの絶対値が大きいほど、小さくなるように静止度を導出することが可能である。

以上では入力される一連の複数フレームの画像から動きベクトルを導出する例について説明したが、ピクセル移動量を導出することも可能である。つまり、二次元のＸ−Ｙ平面上に画素が配列されているものとして、二つの画像間で所与の判定対象領域がＸ軸方向に何ピクセル、Ｙ軸方向に何ピクセル移動しているかを求めて、それらの値の大きさをもとに静止度の判定をすることが可能である。

図２４は、デジタルカメラ２００のＣＰＵ２７０および画像処理装置１００Ａによって実行される撮影動作プロセスを説明するフローチャートである。図２４に示されるプロセスは、デジタルカメラ２００の電源が投入され、その動作モードが撮影モードに設定されたときに実行が開始される。図２４のフローチャートにおいて、第１の実施の形態における図６のフローチャート中の処理と同じ内容の処理ステップには、図６のフローチャート中で付されているステップ符号と同じ符号を付し、説明を適宜簡略化して第１の実施の形態との差異を中心に説明する。

図２４のフローチャートにおいて、図６のフローチャート中におけるＳ６０２およびＳ６０４の処理（判定対象領域を抽出する処理および判定対象領域ごとの出現頻度を記録する処理）がＳ２４００、Ｓ２４０２、およびＳ２４０４の処理に置き換えられている。また、図６のフローチャート中におけるＳ６０８の処理がＳ２４０６の処理に置き換えられている。以上が第１の実施の形態との相違点である。

撮影準備動作中、Ｓ２４００で各フレーム間の動きベクトルを導出する処理が行われ、Ｓ２４０２で動きベクトルの類似度を基に判定対象領域を抽出する処理が行われる。そして、Ｓ２４０４では、Ｓ１９０２で抽出された判定対象領域を特定可能な情報が、その判定対象領域の出現頻度および静止度に関する情報とともに記録される。静止度およびその導出方法については先に説明したとおりである。

その後、ユーザによりレリーズ操作されたことがＳ６０６で検出されると、Ｓ２４０６の処理が行われる。Ｓ２４０６では、各判定対象領域の静止度が高いほど高い重み付けがされるようにして各判定対象領域の出現頻度が導出される。

図２５は、Ｓ２４０４の処理で導出され、記録された静止度を領域ごとに示すグラフであり、横軸に各判定対象領域の領域番号が、縦軸に静止度がとられている。図２５では、三つの判定対象領域（領域１、領域２、領域３）が検出されている例が示され、領域３の静止度が最も高く、領域１、領域２の静止度は略同じで領域３の静止度よりも低くなっている。

図２６は、判定対象領域の出現頻度を導出する際に、判定対象領域の静止度に対応して設定される重み付け特性の一例を概念的に示すグラフである。図２６のグラフでは、横軸に静止度が、縦軸に重み付け係数がとられており、静止度が高くなるほど重み付け係数が増す特性となっている。図２６に示される重み付け特性は、静止度を変数とする関数として予め定義しておくことが可能である。あるいは図２６に例示されるような重み付け特性をルックアップテーブル化してＲＯＭ２６２内に予め格納しておくことも可能である。

再び図２４のフローチャートを参照しての説明に戻り、上述したＳ２４０６の処理に続き、主要度を判定する処理がＳ６１０で判定部１０６Ａにより行われる。Ｓ６１０における主要度の判定結果に基づき、Ｓ６１２、Ｓ６１４、Ｓ６１６、そしてＳ６１８の処理が行われる。

図２７は、Ｓ２４０６の処理が行われ、領域１、領域２、および領域３それぞれの静止度に応じて出現頻度に重み付けがされる例を説明する図である。図２７に示されるグラフにおいて、横軸には判定対象領域の領域番号が、縦軸には出現頻度がとられている。図２７（ａ）は、上述した重み付けの処理をしないで導出される出現頻度の例を、図２７（ｂ）は上述した重み付けの処理がなされて導出される出現頻度の例を示す。

各判定対象領域の静止度は、先に図２５を参照して説明したように領域３の静止度が領域１、２の静止度に比して高く、領域１、領域２の静止度は略同一であるものとする。これ対応して、図２７（ａ）に示される、重み付け処理をしない場合の領域３の出現頻度に比して、図２７（ｂ）に示される領域３の出現頻度が高くなるように重み付けされている。一方、領域１、領域２の静止度も比較的高かったため、図２７（ｂ）に示される領域１、領域２の出現頻度は図２７（ａ）に示される出現頻度よりも高くなるように重み付けされている。しかし、領域１、領域２の静止度は、領域３の静止度よりは低かったため、図２７（ｂ）に示されるように領域２の出現頻度は領域３の出現頻度ほどに高められてはいない。結果として、重み付け処理をした後の出現頻度は領域３で最も高くなっている。

Ｓ６１０では、判定対象領域３の主要度が高いと判定される。Ｓ６１２では、判定対象領域３に対応する被写体に対して焦点調節が行われる。

以上に説明したように、第５の実施の形態によれば、撮影準備動作中に入力される一連の複数フレームの画像それぞれから動きベクトルが導出されて、動きベクトルの類似度を基に判定対象領域が抽出される。そして抽出された判定対象領域それに対応して静止度が導出される。抽出された判定対象領域を特定可能な情報とともに判定対象領域の出現頻度、静止度を特定可能な情報が記録される。また、主要度の判定に先立ち、静止度が高いほど判定対象領域の出現頻度が増すように重み付けされる。

ユーザがデジタルカメラ２００を構えて構図を調節したり、シャッタチャンスを待ち続けたりする間に入力される一連の複数フレームの画像中、判定対象領域が抽出されて、出現頻度が判定対象領域ごとに計数される。また、判定対象領域ごとに静止度が導出される。これらの判定対象領域中で、同じ乃至はあまり差の無い出現頻度（重み付け処理をする前の出現頻度）のものがあったとして、それらの出現頻度はＳ２４０６の処理により、判定対象領域の静止度が高いほど出現頻度が増すように重み付けされる。したがって、Ｓ６１０での主要度判定において、ユーザが重視している可能性の高い被写体が写っている判定対象領域を主要被写体として判定することが可能となる。

以上、第５の実施の形態では、複数の判定対象領域で出現頻度が同じであったとしても、静止度が高い、すなわち画像中における判定対象領域の位置の変化が少ない判定対象領域の出現に対応して導出される出現頻度がより高くなるように重み付けされる例について説明した。これに対し、各判定対象領域の連続出現回数を第４の実施の形態で説明した方法によって計数、記録する処理も行うことも可能である。そして、複数の判定対象領域で出現頻度が同じであっても、画像中における位置の変化がより少なく（静止度が高く）、連続出現回数がより多い判定対象領域の出現に対応して導出される出現頻度がより高くなるように重み付けをしてもよい。

上述したように重み付けをする方法としては、例えば第３の実施の形態を説明する図１４に示されるような、輝度（Ｌ）および彩度（Ｓ）の組み合わせに対応して重み付け係数が定義されるグラフで、輝度（Ｌ）に代えて静止度を、彩度（Ｓ）に代えて連続出現回数をとり、これら静止度および連続出現回数の組み合わせに応じて重み付け計数が導出されるようにすればよい。この重み付け特性は、静止度および連続出現回数を変数とする関数として予め定義しておくことも、あるいは上で説明したような重み付け特性をルックアップテーブル化してＲＯＭ２６２内に予め格納しておくことも可能である。

以上に説明した第１の実施の形態から第５の実施の形態においては、本発明がデジタルカメラ２００に適用される例について説明したが、冒頭にも説明したように時系列に撮像して得られた一連の複数フレームの画像を入力して処理をすることの可能な専用の画像処理装置で第１の実施の形態から第５の実施の形態で説明した処理が行われてもよい。また、画像処理プログラムが汎用コンピュータによって実行されることにより、上記の画像処理装置が実現されるものであってもよい。

本発明に係る画像処理の技術は、デジタルスチルカメラ、デジタルムービーカメラなどに適用することが可能である。さらには、ビデオレコーダやコンピュータなどに適用することが可能である。

１００、１００Ａ、１００Ｂ 画像処理装置
１０２、１０２Ａ、１０２Ｂ 画像入力部
１０４、１０４Ａ、１０４Ｂ 判定対象領域抽出部
１０６、１０６Ａ、１０６Ｂ 判定部
２００ デジタルカメラ
２１０ 撮影光学系
２１２ レンズ駆動部
２２０ 撮像部
２３０ 画像記録媒体
２４０ 操作部
２５０ 表示部
２６２ ＲＯＭ
２６４ ＲＡＭ
２７０、３１０ ＣＰＵ
３００ コンピュータ
３２０ メモリ
３３０ 補助記憶装置
３４０ インターフェース
３５０ メモリカードインターフェース
３６０ 光ディスクドライブ
３７０ ネットワークインターフェース
３８０ 表示装置

Claims (10)

1. 画像中の被写体の主要度を判定する画像処理装置であって、
   時系列に撮像して得られた一連の複数フレームの画像を入力する画像入力部と、
   前記画像入力部で入力された前記複数フレームの画像から、主要度の判定をする対象である判定対象領域を抽出する判定対象領域抽出部と、
   前記複数フレームの画像中における前記判定対象領域の出現頻度に基づいて前記判定対象領域の主要度を判定する判定部と
   を備えることを特徴とする画像処理装置。
2. 前記判定部がさらに、
   前記複数フレームの画像中における前記判定対象領域の出現履歴を参酌し、前記判定対象領域の出現頻度が同じであっても、より以前の出現に比して、より最近の出現に対応して導出される前記出現頻度がより高くなるように前記出現頻度を導出し、前記出現頻度のより高い判定対象領域の主要度をより高いと判定するように構成されることを特徴とする請求項１に記載の画像処理装置。
3. 前記判定部がさらに、前記判定対象領域抽出部で抽出された前記判定対象領域から、背景の写されている部分に対応する判定対象領域を特定し、前記主要度を判定する際の判定対象領域から前記特定された判定対象領域を除外するように構成されることを特徴とする請求項１に記載の画像処理装置。
4. 前記判定部がさらに、
   前記複数フレームの画像中における前記判定対象領域の輝度および彩度の少なくともいずれかの高さを参酌し、前記判定対象領域の出現頻度が同じであっても、前記輝度および前記彩度の少なくともいずれかがより高い前記判定対象領域の出現に対応して導出される前記出現頻度がより高くなるように前記出現頻度を導出し、前記出現頻度のより高い判定対象領域の主要度をより高いと判定するように構成されることを特徴とする請求項１に記載の画像処理装置。
5. 前記判定部がさらに、
   前記複数フレームの画像中において前記判定対象領域が連続して出現する回数である連続出現回数を参酌し、前記判定対象領域の出現頻度が同じであっても、前記連続出現回数がより多い前記判定対象領域の出現に対応して導出される前記出現頻度がより高くなるように前記出現頻度を導出し、前記出現頻度のより高い判定対象領域の主要度をより高いと判定するように構成されることを特徴とする請求項１に記載の画像処理装置。
6. 前記判定部がさらに、
   前記画像中における前記判定対象領域の位置の変化を参酌し、前記判定対象領域の出現頻度が同じであっても、前記位置の変化がより少ない前記判定対象領域の出現に対応して導出される前記出現頻度がより高くなるように前記出現頻度を導出し、前記出現頻度のより高い判定対象領域の主要度をより高いと判定するように構成されることを特徴とする請求項１に記載の画像処理装置。
7. 前記判定部がさらに、前記複数フレームの画像中において前記判定対象領域が連続して出現する回数である連続出現回数も参酌し、
   前記判定対象領域の出現頻度が同じであっても、前記位置の変化がより少なく、前記連続出現回数がより多い前記判定対象領域の出現に対応して導出される前記出現頻度がより高くなるように前記出現頻度を導出し、前記出現頻度のより高い判定対象領域の主要度をより高いと判定するように構成されることを特徴とする請求項６に記載の画像処理装置。
8. 画像中の被写体の主要度を判定する画像処理方法であって、
   時系列に撮像して得られた一連の複数フレームの画像を入力する画像入力手順と、
   前記画像入力手順で入力した前記複数フレームの画像から、主要度の判定をする対象である判定対象領域を抽出する判定対象領域抽出手順と、
   前記複数フレームの画像中における前記判定対象領域の出現頻度に基づいて前記判定対象領域の主要度を判定する判定手順と
   を備えることを特徴とする画像処理方法。
9. 撮影レンズによって形成された被写体像を光電変換して画像信号を出力可能な撮像素子を備える撮像装置であって、
   前記撮像素子から時系列に出力される一連の複数フレームの画像を入力する画像入力部と、
   前記画像入力部で入力された前記複数フレームの画像から、主要度の判定をする対象である判定対象領域を抽出する判定対象領域抽出部と、
   前記複数フレームの画像中における前記判定対象領域の出現頻度に基づいて前記判定対象領域の主要度を判定する判定部と
   を備えることを特徴とする撮像装置。
10. 画像中の被写体の主要度を判定する処理をコンピュータに実行させるための画像処理プログラムであって、
    時系列に撮像して得られた一連の複数フレームの画像を入力する画像入力ステップと、
    前記画像入力ステップで入力した前記複数フレームの画像から、主要度の判定をする対象である判定対象領域を抽出する判定対象領域抽出ステップと、
    前記複数フレームの画像中における前記判定対象領域の出現頻度に基づいて前記判定対象領域の主要度を判定する判定ステップと
    を備えることを特徴とする画像処理プログラム。

Images