JP5072757B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、複数の画像の中から好適な画像を選択する技術に関するものである。

近年、デジタルカメラの多機能化は著しく、特に、決定的なシャッターシーンを逃さないために、一定期間に高速連写を行なう高速連写用のデジタルカメラが広く普及してきている。また、顔認識や笑顔認識等に代表されるような認識機能も実用化されており、広くデジタルカメラに採用されてきている。この認識機能は、高速処理が可能であり、高速連写により得られた画像それぞれに対して、認識処理及び認識結果に応じた現像処理を行なうことが可能である。また、効率的に保存するために、現像された画像は、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）フォーマット等に圧縮されてから、フレッシュメモリ等の記録媒体へと保存される。

また、撮影した画像をキー操作により選択した後にデジタルカメラの液晶パネルに表示を行なって、画像の画質や好適度を確認することがデジタルカメラの一般的な機能として提供されている。しかしながら、前述した高速連写機能を備えたデジタルカメラにおいては、撮影される画像が例えば数百枚以上と非常に大きな枚数となってしまう。

したがって、従来のデジタルカメラのように、撮影した画像を単純に時系列に表示させる方法では、ベストショット（好適な画像）に行き着くまでに非常に多数の操作が必要となってしまう。更に、撮影した一連の画像中にベストショットは一枚ではなく、複数枚存在することが一般的である。よって、ユーザーの利便性向上のためには、このような複数枚のベストショットを自動で選択する機能を提供することが必須となってきている。

従来、このようなベストショットの自動選択のために、画像の付加情報として記録された認識ポイントを利用する方法が採用されている。例えば、このような認識ポイント等を用いた画像選択手法として、撮影された各画像の被撮影者の顔画像を抽出して、顔画像毎に笑顔評価、端正評価を行なった上で、総合評価値の大きい順に画像を表示するという手法があった（例えば、下記の特許文献１参照）。また、同じような画像ばかりが表示対象となってしまうことを防ぐために、表示のために新たに読み出された画像との一致度を判定し、一致度が低い画像のみを液晶モニタに表示するという手法が採られていた（例えば、下記の特許文献２参照）。

特開２００４−４６５９１号公報 特開２００６−２１７５１０号公報

図１５は、従来例のベストショット選択方法を説明するためのものであって、時系列での好適度ポイント（認識ポイント）の一例を示す模式図である。
図１５に示すように、従来例のベストショット選択方法では、認識ポイントが高い画像から選択しているため、時刻の近い画像（１５１０）ばかりが選択対象となってしまう。ユーザーとしては、撮影時刻が非常に近い画像群（内容がほぼ同じ画像群）からは、一枚のベストショットのみで十分であり、認識ポイントが多少低くとも時刻の離れた画像群（内容の異なる画像群）から別のベストショットを探したいというニーズがある。そして、上述した従来のベストショット選択方法では、内容が異なり、かつ、認識ポイントが高い別のベストショットまで行き着くのに、多数の操作が必要になってしまうという問題があった。また、単純に一致度が低い画像のみを表示対象とする、上述した従来の手法では、認識ポイントが低い画像までもが表示対象となり、表示対象候補があまりにも多数となってしまうという問題があった。

本発明は上述の問題点に鑑みてなされたものであり、内容の異なる複数のベストショットの画像を効率的に選択できるようにすることを目的とする。

本発明の画像処理装置は、時系列で撮影された複数の画像ごとに画像の認識処理により得られる画像の好適度を示す好適度ポイントを算出する算出手段と、前記好適度ポイントが時系列で極大値となる画像を優先的に選択する選択手段とを有する。

本発明の画像処理方法は、時系列で撮影された複数の画像ごとに画像の認識処理により得られる画像の好適度を示す好適度ポイントを算出する算出ステップと、前記好適度ポイントが時系列で極大値となる画像を優先的に選択する選択ステップとを有する。

本発明のプログラムは、時系列で撮影された複数の画像ごとに画像の認識処理により得られる画像の好適度を示す好適度ポイントを算出する算出ステップと、前記好適度ポイントが時系列で極大値となる画像を優先的に選択する選択ステップとを有することを特徴とする画像処理方法をコンピュータに実行させるためのものである。

本発明によれば、内容の異なる複数のベストショットの画像を効率的に選択することができる。

以下、本発明を実施するための最良の形態について、添付図面を参照して説明する。

（第１の実施形態）
まず、本発明の第１の実施形態について説明する。

図１は、本発明の第１の実施形態に係る画像処理装置１０のハードウエア構成の一例を示す模式図である。
図１に示すように、画像処理装置１０は、ＣＰＵ１１、ＲＡＭ１２、ＲＯＭ１３、外部メモリ１４、入力装置１５、表示装置１６、撮像素子１７、通信インタフェース（以下、「通信Ｉ／Ｆ」と称する）１８、及び、バスを有して構成されている。即ち、画像処理装置１０はデジタルカメラなどの撮像装置としても機能する。

ＣＰＵ１１は、画像処理装置１０における動作を統括的に制御するものであり、バスを介して、画像処理装置１０の各構成部（１２〜１８）を制御する。

ＲＡＭ１２は、ＣＰＵ１１の主メモリ、ワークエリア等として機能する。ＣＰＵ１１は、処理の実行に際して、ＲＯＭ１３から必要なプログラム１３ａ等をＲＡＭ１２にロードし、当該プログラム１３ａ等を実行することで各種の動作を実現する。

ＲＯＭ１３には、ＣＰＵ１１が、後述する図２−１、図２−２、図８及び図１３の処理を実行するために必要なプログラム１３ａ等が記憶されている。なお、プログラム１３ａは、外部メモリ１４に記憶されていてもよい。

外部メモリ１４には、例えば、ＣＰＵ１１がプログラム１３ａ等を用いた処理を行なう際に必要な各種のデータやファイル、情報が記憶されている。また、外部メモリ１４には、例えば、ＣＰＵ１１がプログラム１３ａ等を用いた処理を行なうことにより得られた各種のデータやファイル、情報が記憶される。

入力装置１５は、例えば、操作ボタン、タッチパネルなどで構成され、ユーザーからの指示を画像処理装置１０の内部（ＣＰＵ１１）に入力するための装置である。

表示装置１６は、例えば、液晶表示装置や有機ＥＬ表示装置等などで構成され、ＣＰＵ１１の制御に基づいて、各種のデータや情報等を表示する装置である。

撮像素子１７は、画像処理装置１０の外部から入射した光（具体的には、被写体の光学像）を受光して、電気信号である画像信号として撮像するものである。

通信Ｉ／Ｆ１８は、外部装置との通信を司るものである。
バスは、ＣＰＵ１１、ＲＡＭ１２、ＲＯＭ１３、外部メモリ１４、入力装置１５、表示装置１６、撮像素子１７及び通信Ｉ／Ｆ１８を相互に通信可能に接続するためのものである。

次に、画像処理装置１０における動作の処理手順について説明する。
図２−１は、本発明の第１の実施形態に係る画像処理装置１０の画像選択処理（画像選択アルゴリズム）の処理手順の一例を示すフローチャートである。この図２−１に示すフローチャートの処理は、例えば、図１のＣＰＵ１１が、ＲＯＭ１３に記憶されているプログラム１３ａを実行することにより、行なわれる。

また、図３は、本発明の第１の実施形態を示し、撮影時に得られた画像情報テーブル３１０、及び、図２−１に示す処理で作成されるベストショットテーブル３２０の一例を示す模式図である。この図３に示す画像情報テーブル３１０及びベストショットテーブル３２０は、例えば、外部メモリ１４に記憶される。

ここで、まず、図３について説明する。
図３に示すように、本実施形態では、画像情報テーブル３１０として、撮影した画像群の時刻、及び、（画像から抽出した顔認識処理結果である）笑顔ポイント、人数ポイント、正面度ポイント、並びに、好適度ポイントの各情報が設定される。以下の説明においては、笑顔ポイント、人数ポイント及び正面度ポイントをまとめたものを、「顔認識ポイント」と称して説明する。

画像情報テーブル３１０の笑顔ポイントは、認識処理により顔が認識された被写体がどれだけ笑顔であるのかを定量的に示すものであり、まったく笑っていない場合には「０」となり、満面の笑顔の場合には「１００」となる。なお、複数人が被写体となっている場合には、各被写体の笑顔ポイントの平均により算出される。

画像情報テーブル３１０の人数ポイントは、認識処理により画像中の顔認識された被写体の人数を示すものであり、人数が多いほど大きな値となる。また、本実施形態では、目つぶりしている被写体（人物）に関しては、人数ポイントにおける人数から除外することにより、より適切に人数ポイントの算出を行なうようにしている。

画像情報テーブル３１０の正面度ポイントは、認識処理により顔認識された各被写体が当該画像処理装置１０に対してどの程度正面であったのかを示すものである。具体的に、正面度ポイントは、真正面の状態であるほど大きな値となり、真横を向いていて何とか顔が認識された状態であれば「０」となる。

これらの顔認識ポイントは、基本的に、画像の撮影時に算出されるものであるが、例えば、記録されている画像に対して算出することも適用可能である。

また、本実施形態では、上述した顔認識ポイントを算出する特定の顔認識アルゴリズムを適用した形態を示すが、本発明においては、これに限定されるわけではない。即ち、本発明においては、特定の顔認識アルゴリズムに依存するものではなく、顔認識結果を定量的に示すことができる、いかなる顔認識アルゴリズムでも適用することが可能である。

本実施形態においては、これらの顔認識ポイントに重み付けを行なって加算することにより好適度ポイントを算出し、この好適度ポイントを用いて画像の選択処理を行なう。図３には、好適度ポイントを算出する際に、笑顔ポイントの重みを３とし、人数ポイントの重みを２とし、正面度ポイントの重みを１として、好適度ポイントを算出する例が示されている。なお、好適度ポイントを算出する際に用いる重み付けは、例えば、ユーザーが入力装置１５を介して入力指示することにより、ユーザーのニーズによってカスタマイズすることが可能である。例えば、レジャー時の画像ならば、笑顔ポイントの重みを大きくし、集合写真の用途ならば、一人でも多くの被写体が顔認識されることが重要であるため、人数ポイントの重みを大きくする等のように変更可能である。

次に、図２−１に示すフローチャートについて説明する。
まず、図２−１に示す処理の前段階において、ＣＰＵ１１は、撮像素子１７で時系列で撮影された複数の画像（動画像）と、当該画像ごとに画像の認識処理により得られた顔認識ポイントの情報及び撮影時刻の情報を含む画像情報とを外部メモリ１４に記憶する。

そして、図２−１のステップＳ１０１において、ユーザーが入力装置１５を介してベストショットテーブル作成用の重みを入力すると、ＣＰＵ１１は、当該重みの設定を行なう。具体的に、ステップＳ１０１では、図３に示すベストショットテーブル３２０を作成する際に用いる、画像情報テーブル３１０の好適度ポイント算出用の重み（即ち、笑顔ポイント、人数ポイント及び正面度ポイントの重み）が設定される。例えば、図３に示す例では、上述したように、笑顔ポイントの重みが３、人数ポイントの重みが２、正面度ポイントの重みが１に設定されている。

続いて、ステップＳ１０２において、例えばユーザーが入力装置１５を介してベストショットテーブル更新処理の際に使用するパラメータである好適度ポイント用閾値及び時間間隔用閾値を入力すると、ＣＰＵ１１は、当該閾値の設定を行なう。ここで、時間間隔用閾値は、時系列で撮影された複数の画像（動画像）における当該時系列の範囲内で設定された所定の時間間隔を定めるための閾値に相当するものである。

続いて、ステップＳ１０３において、ＣＰＵ１１は、処理対象の画像の時刻を示す変数Ｘを１に設定する。これにより、処理対象の画像の時刻Ｘが設定される。ここで、この時刻は、例えば、図３に示す画像情報テーブル３１０の時刻に対応する。また、この際、例えば、処理対象画像の時刻的に最後の画像の時刻（例えば、図３に示す例では、時刻が２８）の設定も行なわれる。

続いて、ステップＳ１０４において、ＣＰＵ１１は、時刻的に連続する３枚の画像（時刻Ｘ、Ｘ＋１、Ｘ＋２）の笑顔ポイント、人数ポイント、正面度ポイント等の顔認識ポイントを画像情報テーブル３１０から取得する。

続いて、ステップＳ１０５において、ＣＰＵ１１は、ステップＳ１０１で設定した重みを用いて、各画像ごとに、顔認識ポイントを重み付け加算して、図３に示す画像情報テーブル３１０の好適度ポイントを算出する。

続いて、ステップＳ１０６において、ＣＰＵ１１は、時刻が中間（時刻Ｘ＋１）の画像の好適度ポイントが、当該画像に対して時刻的に前後する画像（時刻Ｘ、Ｘ＋２）の好適度ポイントよりも大きいか否かを判断する。即ち、ステップＳ１０６では、時刻が中間である時刻Ｘ＋１の好適度ポイントが時系列で極大値か否かが判断される。

ステップＳ１０６の判断の結果、時刻が中間の画像の好適度ポイントが、当該画像に対して時刻的に前後する画像の好適度ポイントよりも大きい（即ち、極大値である）場合には、ステップＳ１０７に進む。

ステップＳ１０７に進むと、ＣＰＵ１１は、時刻が中間（時刻Ｘ＋１）の画像をベストショット候補の画像として設定する。

続いて、ステップＳ１０８において、ＣＰＵ１１は、ステップＳ１０７で設定したベストショット候補の画像の評価を行なった後に、既存のベストショットテーブル３２０のデータとの比較を行なった上で、ベストショットテーブル３２０を更新する。このステップＳ１０８の処理の詳細については、図２−２を用いて後述する。

ステップＳ１０８の処理が終了した場合には、ステップＳ１０９に進む。また、ステップＳ１０６で時刻が中間の画像の好適度ポイントが極大値でないと判断された場合には、当該時刻が中間（時刻Ｘ＋１）の画像は、ベストショットテーブル３２０に登録されずに、ステップＳ１０９に進む。

ステップＳ１０９に進むと、ＣＰＵ１１は、全ての画像の処理を終了したか否かを判断する。例えば、図３に示す例では、時刻が１の画像から時刻２８までの全ての画像の処理を終了したか否かが判断される。この際、全ての画像の処理を終了したか否かの判断は、例えば、現在の処理対象画像の時刻Ｘが、ステップＳ１０３で設定された最後の画像の時刻となったか否かによって行なわれる。

ステップＳ１０９の判断の結果、全ての画像については未だ処理を終了していない（即ち、未だ処理を行なっていない画像が存在する）場合には、ステップＳ１１０に進む。

ステップＳ１１０に進むと、ＣＰＵ１１は、処理対象の画像の時刻を示す変数Ｘに１を加算して、処理対象の画像の時刻Ｘを変更する。そして、変更した画像の時刻Ｘに対して、ステップＳ１０４以降の処理を再度行なう。

一方、ステップＳ１０９の判断の結果、全ての画像の処理を終了した場合には、当該フローチャートの処理を終了する。

次に、図２−１のステップＳ１０８における詳細な処理手順について説明する。
図２−２は、図２−１のステップＳ１０８におけるベストショットテーブル更新処理の詳細な処理手順の一例を示すフローチャートである。

まず、図２−２のステップＳ２０１において、ＣＰＵ１１は、ステップＳ１０７で設定した処理対象のベストショット候補画像の好適度ポイントが、ステップＳ１０２で設定した好適度ポイント用閾値よりも大きいか否かを判断する。

ステップＳ２０１の判断の結果、処理対象のベストショット候補画像の好適度ポイントが好適度ポイント用閾値よりも大きくない（即ち、閾値以下である）場合には、当該ベストショット候補画像をベストショットとして登録せずに、処理を終了する。即ち、この処理は、極大値の特性上、好適度ポイントとしては非常に低い画像であっても極大値であることからベストショット候補画像と判断されてしまうため、そのようなベストショット候補画像をベストショット画像として登録しないための処理である。

一方、ステップＳ２０１の判断の結果、処理対象のベストショット候補画像の好適度ポイントが好適度ポイント用閾値よりも大きい場合には、ステップＳ２０２に進む。

ステップＳ２０２に進むと、ＣＰＵ１１は、ベストショットテーブル３２０中の最新のベストショット画像の情報（具体的には、時刻の情報及び好適度ポイントの情報）を取得する。

続いて、ステップＳ２０３において、ＣＰＵ１１は、処理対象のベストショット候補画像と最新のベストショット画像との時間差が、ステップＳ１０２で設定した時間間隔用閾値よりも大きいか否かを判断する。

このステップＳ２０３で時間差の評価を行なう理由は、本実施形態のように極大値を利用する方法において好適度ポイントの遷移が高周波成分を含んでいると短期間に非常に多くの極大値が発生し、ベストショットが大量に（冗長に）発生してしまうためである。この好適度ポイントが高周波成分を含む例としては、図３の画像情報テーブル３１０の時刻が２１〜２６の間である。ベストショットがこのように冗長に発生してしまうと、その有効性が損なわれるため、本実施形態においては、短期間に複数の極大値が発生した場合には、好適度ポイントが一番大きい画像のみをベストショット画像として登録することになる。

ステップＳ２０３の判断の結果、処理対象のベストショット候補画像と最新のベストショット画像との時間差が、ステップＳ１０２で設定した時間間隔用閾値よりも大きい場合には、時刻が十分離れているとして、ステップＳ２０４に進む。

ステップＳ２０４に進むと、ＣＰＵ１１は、処理対象のベストショット候補画像を、新たなベストショット画像として登録する。即ち、ここでは、ベストショットテーブル３２０に新たな行要素を追加して、当該行要素に、処理対象のベストショット候補画像に係る情報（時刻、顔認識ポイント、好適度ポイントの情報）を登録して、ベストショットテーブル３２０の更新処理を行なう。その後、処理を終了する。

一方、ステップＳ２０３の判断の結果、処理対象のベストショット候補画像と最新のベストショット画像との時間差が、ステップＳ１０２で設定した時間間隔用閾値よりも大きくない（即ち、以下である）場合には、ステップＳ２０５に進む。

ステップＳ２０５に進むと、ＣＰＵ１１は、処理対象のベストショット候補画像の好適度ポイントが、ステップＳ２０２で取得した最新のベストショット画像の好適度ポイントよりも大きいか否かを判断する。

ステップＳ２０５の判断の結果、処理対象のベストショット候補画像の好適度ポイントが最新のベストショット画像の好適度ポイントよりも大きい場合には、ステップＳ２０６に進む。

ステップＳ２０６に進むと、ＣＰＵ１１は、処理対象のベストショット候補画像に係る情報（時刻、顔認識ポイント、好適度ポイントの情報）を、最新のベストショット画像に係る情報に対して上書きして、新たなベストショット画像として登録する。これにより、ベストショットテーブル３２０の更新処理が行なわれる。結果として、更新前の最新のベストショット画像は、ベストショットテーブル３２０から外れることになる。その後、処理を終了する。

一方、ステップＳ２０５の判断の結果、処理対象のベストショット候補画像の好適度ポイントが最新のベストショット画像の好適度ポイントよりも大きくない（即ち、以下である）場合には、処理を終了する。即ち、この場合には、処理対象のベストショット候補画像は、ベストショットテーブル３２０に登録されない。

以上のステップＳ２０１〜Ｓ２０６の処理を経ることにより、図２−１のステップＳ１０８におけるベストショットテーブルの更新処理がなされる。

即ち、ＣＰＵ１１は、好適度ポイント、時間間隔用閾値及び撮影時刻の情報等を用いて、時系列で撮影された複数の画像の中から所定の画像であるベストショット画像を選択する処理を行なうようにしている。また、ＣＰＵ１１は、この選択処理を行なう際に、好適度ポイントが時系列において極大値となる画像を優先的にベストショット画像として選択するようにしている。

図４は、本発明の第１の実施形態に係るベストショット選択方法を説明するためのものであって、時系列での好適度ポイントの一例を示す模式図である。
本実施形態では、図４に示すように、撮影時刻を所定の時間間隔以上あいた画像（４１０、４２０、４３０）が、ベストショット画像として選択される。

図３（及び図４）において、時刻が１８の画像の好適度ポイントは、１７０であって極大値であるが、好適度ポイント用閾値（本例では２００と設定）以下であったため、ベストショットとしては登録されない。

また、時刻が２２の画像の好適度ポイントは、２３０であり、一度、ベストショットとしてベストショットテーブル３２０に登録された。しかしながら、その後、時刻が２４の画像において、好適度ポイントが２８０の極大値が検出され、その時間間隔が時間間隔用閾値（本例では３と設定）以下であったため、時刻が２４の画像情報によって上書きされ、ベストショットテーブル３２０から外れた。同様の理由から、時刻が２６の画像もベストショットとして登録されなかった。

このように、本実施形態では、単純に極大値を使うのではなく、好適度ポイント用閾値及び時間間隔用閾値を用いることにより、冗長なベストショットを省くことができる。これにより、ベストショット間の時間差が十分あり（画像の内容に十分違いがあり）かつ好適度ポイントが高くなる画像のみを適切にベストショット画像として選択することが可能となる。

上述した好適度ポイント用閾値及び時間間隔用閾値は、連写速度や撮影時間によってカスタマイズが可能である。また、同じ画像枚数からより多くのベストショットを抽出したい（ベストショットの発生頻度を上げたい）場合には、好適度ポイント用閾値、時間間隔用閾値の値を小さくすることにより、容易に達成可能である。

なお、好適度ポイントの高周波成分対策として、本実施形態においては、時間間隔用閾値を使用したが、例えば、好適度ポイントの時系列推移に対してローパスフィルタ処理を適用することにより同様の効果を得ることができる。このローパスフィルタを適用する場合には、フィルタ係数をカスタマイズすることにより、ベストショット画像の枚数（発生頻度）を調整することが可能である。そして、この場合、ベストショット画像を選択する際には、当該ローパスフィルタ処理を行なった後の好適度ポイントを用いることになる。

このように、ベストショットテーブル３２０を作成・参照することにより、画像の選択を行なうユーザーは、撮影された全画像をチェックする必要がなく、ベストショット画像に直接アクセスすることが可能となる。

次に、図１に示す画像処理装置１０として撮像装置であるデジタルカメラを適用した例について説明する。

図５は、本発明の第１の実施形態に係るデジタルカメラ（画像処理装置）１０−１のシステム構成の一例を示す模式図である。
図５に示すように、デジタルカメラ１０−１は、撮像素子５０１、現像処理部５０２、認識部５０３、画像圧縮部５０４、メモリ制御部５０５、フラッシュメモリ５０６を有して構成されている。さらに、デジタルカメラ１０−１は、好適度ポイント算出部５０７、ベストショットテーブル及び画像選択部５０８、画像復号部５０９、表示装置５１０を有して構成されている。

本実施形態においては、図１に示す撮像素子１７が図５に示す撮像素子５０１に相当し、図１に示す表示装置１６が図５に示す表示装置５１０に相当する。また、例えば、図１に示すＣＰＵ１１及びＲＯＭ１３のプログラム１３ａから、図５に示す現像処理部５０２、認識部５０３、画像圧縮部５０４、メモリ制御部５０５、好適度ポイント算出部５０７、及び、画像復号部５０９が構成される。また、例えば、図１の外部メモリ１４に、図５のフラッシュメモリ５０６が構成される。また、例えば、図１に示すＣＰＵ１１及びＲＯＭ１３のプログラム１３ａ、並びに、外部メモリ１４及び入力装置１５から、図５のベストショットテーブル及び画像選択部５０８が構成される。

以下、図５の各構成について説明する。
撮像素子５０１は、デジタルカメラ１０−１の外部から入射した光（具体的には、被写体の光学像）を受光して、当該光を電気信号に変換して、これを画像信号として出力する。現像処理部５０２は、撮像素子５０１から出力された画像信号を現像処理して、人間が視認し得る画像（画像データ）を生成する。

認識部５０３は、現像処理部５０２で現像処理された各画像（各画像データ）に対して顔認識処理を施し、笑顔ポイント、人数ポイント、正面度ポイントを算出して、これをメモリ制御部５０５に出力する。また、画像圧縮部５０４は、現像処理部５０２で現像処理された画像をＪＰＥＧ等にて圧縮し、これをメモリ制御部５０５に出力する。

メモリ制御部５０５は、画像圧縮部５０４で圧縮処理された画像と共に、その画像情報（付加情報）として撮影の時刻及び顔認識ポイントをフラッシュメモリ５０６に記録する。具体的に、この画像情報は、図３の画像情報テーブル３１０に示すような態様で記録される。

好適度ポイント算出部５０７は、メモリ制御部５０５の制御に従って、フラッシュメモリ５０６に記録された画像ごとに、顔認識ポイント及び予め設定された重み付けに基づいて、好適度ポイントを算出する。また、好適度ポイント算出部５０７で算出された好適度ポイントは、例えば、メモリ制御部５０５を介して、各画像ごとに、フラッシュメモリ５０６に記録されている画像情報テーブル３１０に設定される。

ベストショットテーブル及び画像選択部５０８は、画像撮影時もしくは画像表示時に、フラッシュメモリ５０６に記録されている画像情報テーブル３１０の各画像情報から、
上述した画像選択アルゴリズムを用いて、ベストショットテーブル３２０を作成する。そして、ベストショットテーブル及び画像選択部５０８は、作成したベストショットテーブル３２０を保持する。

画像復号部５０９は、メモリ制御部５０５の制御に従って、フラッシュメモリ５０６に記録されている画像の復号処理を行なう。表示装置５１０は、画像復号部５０９で復号処理された画像等を表示する。

図６は、本発明の第１の実施形態に係るデジタルカメラ（画像処理装置）１０−１のユーザーインターフェース（操作キー等）の一例を示す模式図である。
図６には、画像表示の際に、他のベストショット選択キー６１０となるスイッチと、時刻調整キー６２０となるスイッチの２種類のスイッチ、並びに、表示装置５１０が示されている。

図７は、本発明の第１の実施形態を示し、図６に示すキー操作がなされた際の時系列での好適度ポイントの一例を示す模式図である。
図７に示すように、図６の他のベストショット選択キー６１０によるユーザー操作が行なわれた時には、現在表示しているベストショット画像７２０から他のベストショット画像（７１０又は７３０）へと表示する画像を切り換える。一方、時刻調整キー６２０によるユーザー操作が行なわれた時には、現在表示しているベストショット画像７２０から、当該画像の時刻に対して前後する時刻の画像へと表示する画像を切り換える。

このように、２種類の操作キーを備えることにより、ベストショット画像の選択と共に、ベストショット画像の前後の時刻の画像の確認を容易に行なうことが可能となる。ユーザーからの上記２種類のキー操作に応じて、ベストショットテーブル及び画像選択部５０８は、表示すべき画像を内部のベストショットテーブルを参照することにより決定し、その旨をメモリ制御部５０５に出力する。そして、メモリ制御部５０５は、決定された表示すべき画像をフラッシュメモリ５０６から読み出し、これを画像復号部５０９に出力する。画像復号部５０９は、ＪＰＥＧ復号処理等を施し、復号された画像を表示装置５１０（液晶表示装置や有機ＥＬ表示装置等）に出力することで画像表示を行なう。

図８は、本発明の第１の実施形態に係るデジタルカメラ（画像処理装置）１０−１の画像表示処理の処理手順の一例を示すフローチャートである。

ユーザーによりベストショット再生が選択された際には、まず、図８のステップＳ８０１において、例えばベストショットテーブル及び画像選択部５０８（ＣＰＵ１１）は、ユーザーにより予め設定されたベストショット再生モードを取得する。この際、取得するベストショット再生モードには、レジャーモード（笑顔ポイント重視）や集合写真モード（人数ポイント重視）等の予め定義されているモードと共に、ユーザーが重みを定義するユーザーモードも含むようにすることが可能である。

続いて、ステップＳ８０２において、例えばメモリ制御部５０５（ＣＰＵ１１）は、ベストショット再生モードに変更があるか否かを判断する。

ステップＳ８０２の判断の結果、ベストショット再生モードに変更がある場合には、ステップＳ８０３に進む。

ステップＳ８０３に進むと、例えばメモリ制御部５０５（ＣＰＵ１１）は、好適度ポイント算出部５０７で好適度ポイントの算出を行なう際の重み、即ち画像情報テーブル３１０における顔認識ポイントの重みを変更する設定を行なう。

続いて、ステップＳ８０４において、まず、好適度ポイント算出部５０７（ＣＰＵ１１）は、ステップＳ８０３で変更された重みに基づいて、フラッシュメモリ５０６に記録されている全画像の好適度ポイントを算出する。そして、好適度ポイント算出部５０７で算出された好適度ポイントに基づいて、メモリ制御部５０５（ＣＰＵ１１）は画像情報テーブル３１０を更新し、ベストショットテーブル及び画像選択部５０８（ＣＰＵ１１）は、ベストショットテーブル３２０を更新する。その後、ステップＳ８０５に進む。

一方、ステップＳ８０２の判断の結果、ベストショット再生モードに変更がない場合には、ステップＳ８０５に進む。

ステップＳ８０５に進むと、メモリ制御部５０５（ＣＰＵ１１）は、ベストショットテーブル３２０を用いて、フラッシュメモリ５０６に記録されている複数の画像の中から好適度ポイントが最大である画像を検索（選択）する。

続いて、メモリ制御部５０５（ＣＰＵ１１）は、ステップＳ８０５で検索した、好適度ポイントが最大である画像をベストショット画像（所定の画像）として、画像復号部５０９を介して表示装置５１０に表示する制御を行なう。

続いて、ステップＳ８０７において、例えばベストショットテーブル及び画像選択部５０８（ＣＰＵ１１）は、次の表示画像に係るユーザーのキー操作情報を取得する処理を行なう。ここで取得されるキー操作情報としては、図６に示す他のベストショット選択キー６１０又は時刻調整キー６２０の操作情報であるものとする。

続いて、ステップＳ８０８において、例えばベストショットテーブル及び画像選択部５０８（ＣＰＵ１１）は、ステップＳ８０７で取得したキー操作情報が、他のベストショット選択キー６１０又は時刻調整キー６２０のうちのどちらの情報であるかを判断する。

ステップＳ８０８の判断の結果、ステップＳ８０７で取得したキー操作情報が、時刻調整キー６２０の情報である場合には、ステップＳ８０９に進む。

ステップＳ８０９に進むと、メモリ制御部５０５（ＣＰＵ１１）は、フラッシュメモリ５０６から、現在、表示装置５１０に表示されている画像に対して時刻的に前後の画像を読み込み、これを表示装置５１０に表示する制御を行なう。

一方、ステップＳ８０８の判断の結果、ステップＳ８０７で取得したキー操作情報が、他のベストショット選択キー６１０の情報である場合には、ステップＳ８１０に進む。

ステップＳ８１０に進むと、メモリ制御部５０５（ＣＰＵ１１）は、ベストショットテーブル３２０を用いて、フラッシュメモリ５０６に記録されている画像の中から、好適度ポイントの大きさが１つ下位（ｏｒ上位）のベストショット画像を検索（選択）する。

続いて、ステップＳ８１１において、メモリ制御部５０５（ＣＰＵ１１）は、ステップＳ８１０で検索したベストショット画像を、画像復号部５０９を介して表示装置５１０に表示する制御を行なう。このように、ベストショット画像は、表示装置５１０に表示される表示画像となる。

ステップＳ８０９の処理が終了した場合、或いは、ステップＳ８１１の処理が終了した場合には、ステップＳ８１２に進む。

ステップＳ８１２に進むと、ベストショットテーブル及び画像選択部５０８（ＣＰＵ１１）は、ユーザーからの操作入力に基づいて、表示装置５１０への画像表示を続行するか否かを判断する。

ステップＳ８１２の判断の結果、表示装置５１０への画像表示を続行する場合には、ステップＳ８０７に戻り、ステップＳ８０７以降の処理を再度行なう。

一方、ステップＳ８１２の判断の結果、表示装置５１０への画像表示を続行しない場合には、処理を終了する。

このように、ベストショットテーブル３２０を予め用意しておくことで、当該ベストショットテーブル３２０の参照という簡単な処理でベストショット画像の選択（検索）を行なうことができ、非常に高速にベストショット画像の表示を行なうことが可能となる。また、他のベストショット選択キー６１０の操作により、ベストショット間のみを移動表示することができる。即ち、非常に少ないキー操作で他のベストショットへ移動表示することが可能となり、ユーザーの利便性を向上させることができる。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。
本発明の第２の実施形態は、好適度ポイントとして、特定の被写体（人物）の認識結果のみを使用する特定人物表示モードを適用するものである。

具体的に、第２の実施形態では、画像中から抽出された顔認識パラメータと予め登録されている特定人物用の顔認識パラメータとを照合することで、画像中の人物が特定人物か否かを認証する機能を実用化したものである。そして、第２の実施形態における好適度ポイントは、認証された特定人物の顔認識結果（笑顔ポイント、大きさポイント）を用いて算出される。なお、本実施形態は、特定の認証アルゴリズムに特化したものではなく、どのような認証アルゴリズムでも採用することが可能である。このように認証された特定人物の結果のみを用いることで、例えば、デジタルカメラの持ち主や撮影者の子供の笑顔等をベストショットの評価尺度とすることが可能になる。

第２の実施形態においては、図５に示す認識部５０３の認識処理の内容と、図３に示す画像情報テーブル３１０及びベストショットテーブル３２０以外は、上述した第１の実施形態と同じ構成である。第２の実施形態の認識部５０３では、撮影した画像中の笑顔ポイント、人数ポイント、正面度ポイントと共に、当該認識部の内部で特定人物の認証を行なう。そして、認証された特定人物に特化した笑顔や画像中の大きさを定量的に（ポイントとして）算出し、これが画像情報テーブルの一部として記録される。

図９は、本発明の第２の実施形態を示し、特定人物に係る画像情報テーブル９１０、及び、ベストショットテーブル９２０の一例を示す模式図である。
図９に示す画像情報テーブル９１０は、図３に示す第１の実施形態の画像情報テーブル３１０に比べて、その列項目に、特定人物の大きさポイント及び笑顔ポイントが追加されている。また、特定人物表示モードが選択された時には、ベストショットテーブル９２０の作成においては、特定人物の笑顔ポイント及び大きさポイントのみに重みが与えられている。この際、他のポイント（図３に示す顔認識ポイント）の重みはゼロに設定されており、好適度ポイントへの反映は行なわれない。

特定人物表示モードが選択された時には、図９に示すように、認証された特定人物に関するポイントのみから好適度ポイントが算出され、算出された好適度ポイントの極大値情報を用いて特定人物表示モードでのベストショット画像が選択される。その結果として、複数の被写体が写っている状況下において、例えば、「我が子が大きく写っている時」や「我が子が笑った時」をベストショットに定義することが可能となる。

（第３の実施形態）
次に、本発明の第３の実施形態について説明する。
第３の実施形態は、第１の実施形態に対して、画像処理装置１０として適用するデジタルカメラのシステム構成が異なるものである。

図１０は、本発明の第３の実施形態に係るデジタルカメラ（画像処理装置）１０−２のシステム構成の一例を示す模式図である。
図１０に示すように、デジタルカメラ１０−２は、撮像素子１００１、現像処理部１００２、認識部１００３、画像圧縮部１００４、好適度ポイント算出部１００５、ベストショットテーブル及び画像選択部１００６を有して構成されている。さらに、デジタルカメラ１０−２は、メモリ制御部１００７、フラッシュメモリ１００８、ＳＲＡＭ１００９、画像復号部１０１０、表示装置１０１１を有して構成されている。

本実施形態においては、図１に示す撮像素子１７が図１０に示す撮像素子１００１に相当し、図１に示す表示装置１６が図５に示す表示装置１０１１に相当する。また、例えば、図１に示すＣＰＵ１１及びＲＯＭ１３のプログラム１３ａから、図１０に示す現像処理部１００２、認識部１００３、画像圧縮部１００４、好適度ポイント算出部１００５、メモリ制御部１００７、及び、画像復号部１０１０が構成される。また、例えば、図１の外部メモリ１４として、図１０のフラッシュメモリ１００８及びＳＲＡＭ１００９の複数の記憶媒体が構成される。また、例えば、図１に示すＣＰＵ１１及びＲＯＭ１３のプログラム１３ａ、並びに、外部メモリ１４及び入力装置１５から、図１０のベストショットテーブル及び画像選択部１００６が構成される。

撮像素子１００１、現像処理部１００２、認識部１００３、画像圧縮部１００４及び好適度ポイント算出部１００５は、それぞれ、図５の撮像素子５０１、現像処理部５０２、認識部５０３、画像圧縮部５０４及び好適度ポイント算出部５０７と同じ処理を行なう。

ベストショットテーブル及び画像選択部１００６は、撮影開始前にユーザーにより設定された撮影モードに応じて、好適度ポイント算出用の重みを設定する。そして、好適度ポイント算出部１００５において、撮影時に取得した笑顔ポイント、人数ポイント及び正面度ポイント、並びに、設定した重みを用いて、好適度ポイントの算出が行なわれる。また、図２−１及び図２−２に示すフローチャートの処理によって、ベストショットテーブル３２０も同時に作成される。

メモリ制御部１００７は、画像圧縮部１００４で圧縮処理された画像と共に、ベストショットテーブル及び画像選択部１００６から入力される、当該画像に係る画像情報（付加情報）を画像情報テーブルとしてフラッシュメモリ１００８に記録する。さらに、メモリ制御部１００７は、ベストショットテーブルの情報を読み出してベストショットに対応する圧縮された画像をフラッシュメモリ１００８から読み出し、これをＳＲＡＭ１００９に記憶（複製）する制御を行なう。この記憶制御を行なうメモリ制御部１００７は、記憶制御手段を構成する。

ＳＲＡＭ１００９は、記録メモリであり、その記録容量はフラッシュメモリ１００８よりも小さいが、書き込みや読み出しにかかる処理時間がフラッシュメモリ１００８よりも短時間であるという特性を有する。即ち、ＳＲＡＭ１００９は、フラッシュメモリ１００８よりも、高速アクセスが可能な記憶媒体である。本実施形態においては、ベストショット表示モードで画像表示が行なわれる際に読み出すべきベストショット画像は、全てＳＲＡＭ１００９に保存されている。よって、ベストショット画像をより高速で読み出して表示することができるため、ユーザーの操作レスポンスを向上させることが可能となる。

また、全ての画像及び画像情報テーブルがフラッシュメモリ１００８に記録されているため、例えば時刻調整キーで時刻的にベストショット前後の画像を表示する時にベストショットでない全ての画像についても通常の速度で読み出して表示することが可能である。また、全ての画像に係る画像情報テーブルの情報がフラッシュメモリ１００８に保存されていることから、撮影後にも好適度ポイント及びベストショットテーブルを変更して更新することが可能である。また、表示モード（撮影モード）の変更が行なわれた際には、フラッシュメモリ１００８から画像情報テーブルの情報が読み出され、更新されたモードに対応した重みに応じて、ベストショットテーブルの更新が行なわれる。さらに、この場合、ＳＲＡＭ１００９に記憶するベストショット画像のファイルも更新が行なわれる。

また、上述した例では、ベストショットでない画像でも全てフラッシュメモリ１００８に記録するものとしたが、本実施形態においてはこの形態に限定されるわけではない。フラッシュメモリ１００８の容量に余裕が無い状況下では、例えば、ベストショットテーブルに登録された画像等のみを記録することや、好適度ポイントが閾値以上の画像等を記録するというような形態も容易に適用することが可能である。

さらに、本実施形態においては、ベストショットテーブルに登録された画像の圧縮率を、ベストショットテーブルに登録されていない画像に対して変化させて記憶するようにする形態を適用する。具体的には、ベストショットテーブルに登録された画像の圧縮率を、ベストショットテーブルに登録されていない画像に対して低く（圧縮を行なわない場合を含む）して記録し、より高画質で記録するというような形態も適用可能である。また、本実施形態では、図１の外部メモリ１４として、フラッシュメモリ１００８とＳＲＡＭ１００９との複数の記憶媒体を設ける形態としたが、これに替えて、外部メモリ１４の内部に当該複数の記憶媒体に相当する複数の記憶領域を設ける形態であってもよい。

（第４の実施形態）
次に、本発明の第４の実施形態について説明する。
上述した第１〜第３の実施形態においては、主として、静止画像を撮影するカメラに好適な形態を説明してきた。第４の実施形態では、動画像の中からハイライトシーンを選択して利用する形態について説明する。ここで、ハイライトシーンとは、一連の動画像の中で最も代表的なフレーム画像を静止画像として表現したものであり、第１〜第３の実施形態で説明してきたベストショットとほぼ同義である。そして、第４の実施形態では、ベストショットの換わりにハイライトシーンという表現を用いて以下に説明する。

図１１は、本発明の第４の実施形態を示し、動画像の中からハイライトシーンの画像を選択してサムネイル表示を行なう概念の一例を示す模式図である。
動画像におけるサムネイル画像は、例えば、短い期間の動画像（例えば、図１１の動画像シーケンス１）に関しては、その全体の中の一場面を選択して生成される。また、動画像におけるサムネイル画像は、例えば、比較的長い期間の動画像（例えば、図１１の動画像シーケンス２）に関しては、予め定められた期間ごとに自動的に動画像を分割してチャプターとしてラベリングされ、その期間ごとに生成される。図１１においては、動画像シーケンス２は、サムネイル期間２、３、４の３つの期間に分割され、それぞれに対応したサムネイル画像が生成されている。

図１１においては、表示装置の中のｓｃｅｎｅ１のサムネイル画像１１０１が動画像シーケンス１のサムネイル期間１に対応して表示されている。また、ｓｃｅｎｅ２のサムネイル画像１１０２、ｓｃｅｎｅ３のサムネイル画像１１０３及びｓｃｅｎｅ４のサムネイル画像１１０４が、それぞれ、動画像シーケンス２のサムネイル期間２、サムネイル期間３及びサムネイル期間４に対応して表示されている。

図１２は、本発明の第４の実施形態に係るビデオカメラ（画像処理装置）１０−３のシステム構成の一例を示す模式図である。このビデオカメラ１０−３は、動画像を撮影するカメラである。
図１２に示すように、ビデオカメラ１０−３は、撮像素子１２０１、現像処理部１２０２、認識部１２０３、画像圧縮部１２０４、メモリ制御部１２０５、蓄積装置１２０６を有して構成されている。さらに、ビデオカメラ１０−３は、好適度ポイント算出部１２０７、画像選択部１２０８、画像復号部１２０９、表示装置１２１０、全体制御部１２１１を有して構成されている。

本実施形態においては、図１に示す撮像素子１７が図１２に示す撮像素子１２０１に相当し、図１に示す表示装置１６が図１２に示す表示装置１２１０に相当する。また、例えば、図１に示すＣＰＵ１１及びプログラム１３ａから、図１２に示す現像処理部１２０２、認識部１２０３、画像圧縮部１２０４、メモリ制御部１２０５、好適度ポイント算出部１２０７、画像復号部１２０９、及び、全体制御部１２１１が構成される。また、例えば、図１の外部メモリ１４に、図１２の蓄積装置１２０６が構成される。また、例えば、図１に示すＣＰＵ１１及びプログラム１３ａ、並びに、入力装置１５等から、図１２の画像選択部１２０８が構成される。

以下の説明においては、図５に示す構成と異なる構成のみ説明する。
蓄積装置１２０６は、動画像を蓄積するための構成であり、第１の実施形態に係るデジタルカメラ１０−１のフラッシュメモリ５０６に比べて、より長時間で且つ大容量の画像データの蓄積に対応するものである。本実施形態においては、蓄積装置１２０６として、着脱可能なメモリカード、もしくはＤＶＤ、テープなどの媒体を伴った、当該媒体へ蓄積するための装置、又は、大容量ハードディスクもしくは大容量フラッシュメモリなどを想定している。また、ビデオカメラ１０−３には、当該ビデオカメラの全体の動作の制御を行なう全体制御部１２１１も構成されている。また、本実施形態では、第１〜第３の実施形態におけるベストショットテーブルに換えてハイライトシーンテーブルを適用する。これは、上述したように、本実施形態では、ベストショットの換わりにハイライトシーンという表現を用いているためであり、その基本的な構成については、上述したベストショットテーブルと同様である。また、ハイライトシーンテーブルは、例えば、蓄積装置１２０６に記録されている。

図１３は、本発明の第４の実施形態に係るビデオカメラ（画像処理装置）１０−３の画像表示処理の処理手順の一例を示すフローチャートである。
具体的に、図１３は、サムネイル画像を表示する際に、どのように上述した画像選択アルゴリズムを適用するのかを示したものである。このフローチャートの処理は、主として、全体制御部１２１１（ＣＰＵ１１）の制御に基づいて行なわれ、ビデオカメラ１０−３の各構成部が必要に応じて全体制御部１２１１の制御に基づいて動作することで実行される。なお、第１の実施形態と同様の趣旨で、本実施形態では、ハイライトシーンの画像を選択する際に用いる各ポイントは、動画像撮影時に予め評価・算出されており、動画像の１フレーム画像ごとに各ポイントの情報（画像情報）として既に設定されているものとする。

まず、サムネイル再生メニューがユーザーにより選択されると、図１３のステップＳ１３０１において、全体制御部１２１１（ＣＰＵ１１）は、これを認識する。そして、全体制御部１２１１（ＣＰＵ１１）は、好適度ポイント算出部１２０７に対して、動画像のフレーム画像ごとに好適度ポイントを算出するように指示を出す。これにより、好適度ポイント算出部１２０７は、動画像のフレーム画像ごとに好適度ポイントを算出する。なお、ステップＳ１３０１の認識処理は、例えば、画像選択部１２０８で行なう形態であっても良い。

続いて、ステップＳ１３０２において、例えば全体制御部１２１１（ＣＰＵ１１）は、ユーザーのキー操作による、サムネイル設定間隔の変更要求があるか否かを判断する。この判断は、図１１に示したように、動画像シーケンスが比較的長い期間続く場合に、予め定められた期間ごとに自動的に動画像を分割する機能を用いる際、その分割する期間がユーザーの求める間隔に合致しているかを確認するステップである。なお、ステップＳ１３０２の判断は、例えば、画像選択部１２０８で行なう形態であっても良い。

ステップＳ１３０２の判断の結果、サムネイル設定間隔の変更要求がある場合には、ステップＳ１３０３に進む。

ステップＳ１３０３に進むと、例えば全体制御部１２１１（ＣＰＵ１１）は、ユーザーのキー操作入力に基づいて、サムネイル設定間隔の変更の設定を行なう。なお、ステップＳ１３０２の処理は、例えば、画像選択部１２０８で行なう形態であっても良い。ここで、サムネイル設定間隔は、時系列で撮影された複数の画像（動画像）における当該時系列の範囲内で設定された所定の時間間隔に相当するものである。

ステップＳ１３０３の処理が終了した場合、或いは、ステップＳ１３０２でサムネイル設定間隔の変更要求がないと判断された場合には、ステップＳ１３０４に進む。

ステップＳ１３０４に進むと、全体制御部１２１１（ＣＰＵ１１）は、設定されたサムネイル設定期間ごとに、ハイライトシーンテーブルのエントリを作成し、第１の実施形態で示した画像選択アルゴリズムを用いて、ハイライトシーンテーブルを作成する。

続いて、ステップＳ１３０５において、全体制御部１２１１（ＣＰＵ１１）は、ハイライトシーン選択モードに変更があったか否かを判断する。

ステップＳ１３０５の判断の結果、ハイライトシーン選択モードに変更があった場合には、ステップＳ１３０６に進む。

ステップＳ１３０６に進むと、全体制御部１２１１（ＣＰＵ１１）は、サムネイル設定期間ごとに、ハイライトシーンテーブルの全ショット（全フレーム画像）の好適度ポイントを更新する。なお、ステップＳ１３０６の処理は、例えば、メモリ制御部１２０５で行なう形態であっても良い。

ステップＳ１３０６の処理が終了した場合、或いは、ステップＳ１３０５でハイライトシーン選択モードに変更がなかったと判断された場合には、ステップＳ１３０７に進む。

ステップＳ１３０７に進むと、全体制御部１２１１（ＣＰＵ１１）は、現在のハイライトシーンテーブルに基づいて、サムネイル設定期間ごとに、好適度ポイントが最大のフレーム画像を検索（選択）する。なお、ステップＳ１３０６の処理は、例えば、メモリ制御部１２０５で行なう形態であっても良い。

続いて、ステップＳ１３０８において、メモリ制御部１２０５（ＣＰＵ１１）は、全体制御部１２１１の制御に基づいて、ステップＳ１３０７で検索されたフレーム画像をハイライトシーン画像（所定の画像）として蓄積装置１２０６から選択する。そして、例えばメモリ制御部１２０５（ＣＰＵ１１）は、図１１に示すように、選択したフレーム画像をサムネイル画像として表示装置１２１０に表示する制御を行なう。

続いて、ステップＳ１３０９において、例えば全体制御部１２１１（ＣＰＵ１１）は、ユーザーからのキー操作入力を受け付ける。即ち、ユーザーは、表示されたサムネイル画像を見て、その画像が好ましくないと判断した場合には、キー操作により画像選択部１２０８に指示を与えて、次のハイライトシーンを選ぶか、時間的に前後関係にある他のフレーム画像を選択するか等の操作を行なう。なお、ステップＳ１３０９の処理は、例えば、画像選択部１２０８で行なう形態であっても良い。

続いて、ステップＳ１３１０において、全体制御部１２１１（ＣＰＵ１１）は、ユーザーから、次のハイライトシーン選択キーの操作や時刻調整キーの操作があったか否かを判断する。なお、ステップＳ１３１０の判断は、例えば、画像選択部１２０８で行なう形態であっても良い。

ステップＳ１３１０の判断の結果、ユーザーから次のハイライトシーン選択キーの操作
があった場合には、ステップＳ１３１１に進む。

ステップＳ１３１１に進むと、例えば全体制御部１２１１（ＣＰＵ１１）は、ハイライトシーンテーブルを用いて、蓄積装置１２０６に記録されているフレーム画像の中から、好適度ポイントの大きさが１つ下位（ｏｒ上位）のフレーム画像を検索する。なお、ステップＳ１３１１の処理は、例えば、メモリ制御部１２０５で行なう形態であっても良い。

続いて、ステップＳ１３１２において、例えばメモリ制御部１２０５（ＣＰＵ１１）は、全体制御部１２１１の制御に基づいて、ステップＳ１３１１で検索されたフレーム画像を蓄積装置１２０６から選択する。そして、例えばメモリ制御部１２０５（ＣＰＵ１１）は、選択したフレーム画像をサムネイル画像として表示装置１２１０に表示する制御を行なう。

また、ステップＳ１３１０の判断の結果、ユーザーから時刻調整キーの操作があった場合には、ステップＳ１３１３に進む。

ステップＳ１３１３に進むと、メモリ制御部５０５（ＣＰＵ１１）は、蓄積装置１２０６から、現在、表示装置１２１０に表示されている画像に対して時刻的に前後のフレーム画像を読み込み、これを表示装置１２１０に表示する制御を行なう。

ステップＳ１３１２の処理が終了した場合、ステップＳ１３１３の処理が終了した場合、或いは、ステップＳ１３１０でユーザーからキー操作がないと判断された場合には、ステップＳ１３１４に進む。

ステップＳ１３１４に進むと、例えば全体制御部１２１１（ＣＰＵ１１）は、ユーザーからの操作入力に基づいて、表示装置１２１０への画像表示を続行するか否かを判断する。なお、ステップＳ１３１４の判断は、例えば、画像選択部１２０８で行なう形態であっても良い。

ステップＳ１３１４の判断の結果、表示装置１２１０への画像表示を続行する場合には、ステップＳ１３０９に戻り、ステップＳ１３０９以降の処理を再度行なう。

一方、ステップＳ１３１４の判断の結果、表示装置１２１０への画像表示を続行しない場合には、処理を終了する。

（第５の実施形態）
次に、本発明の第５の実施形態について説明する。
上述した第１〜第４の実施形態においては、１台の装置で動作する形態について説明を行ってきたが、複数の装置により画像処理装置（画像処理システム）を構成する形態も適用可能である。ここで、第５の実施形態では、第４の実施形態における処理を行なうことを前提として、以下の説明を行なうが、第１〜第３の実施形態における処理を行なうことも可能である。

第５の実施形態は、画像選択アルゴリズムをビデオカメラとは独立した表示制御装置上で動作させ、動画像の中からハイライトシーンを選択してサムネイル表示に利用する形態である。以下の説明では、画像処理装置（画像処理システム）の構成の一例を示す図１４、及び、第４の実施形態で用いた図１３を用いて説明する。

図１４は、本発明の第５の実施形態に係る画像処理装置１０−４のシステム構成の一例を示す模式図である。
図１４に示すように、画像処理装置（画像処理システム）１０−４は、ビデオカメラ１４００、表示制御装置１４２０、入力装置１４３０、表示装置１４４０、蓄積デバイス１４５０を有して構成されている。

ビデオカメラ１４００は、撮像素子１４０１、現像処理部１４０２、認識部１４０３、画像圧縮部１４０４、メモリ制御部１４０５、蓄積装置１４０６を有して構成されている。さらに、ビデオカメラ１４００は、外部接続処理部１４０７、外部接続Ｉ／Ｆ１４０８、ネットワーク処理部１４０９、ネットワークＩ／Ｆ１４１０、全体制御部１４１１を有して構成されている。ここで、ビデオカメラ１４００は、図１２に示すビデオカメラ１０−３に対応したものである。

ビデオカメラ１４００において、図１２に示すビデオカメラ１０−３と異なる点は、図１２に示す好適度ポイント算出部１２０７や、画像選択部１２０８、画像復号部１２０９の機能が表示制御装置１４２０側で行われることである。また、ビデオカメラ１４００において、図１２に示すビデオカメラ１０−３と異なる点は、ネットワーク処理部１４０９及びネットワークＩ／Ｆ１４１０が構成され、ネットワークＩ／Ｆ１４１０を介して表示制御装置１４２０と接続されていることである。このネットワークＩ／Ｆ１４１０は、ここでは有線ＬＡＮを想定したものとなっているが、無線ＬＡＮや公衆回線網等による接続であっても構わない。さらに、ビデオカメラ１４００において、図１２に示すビデオカメラ１０−３と異なる点は、外部接続処理部１４０７及び外部接続Ｉ／Ｆ１４０８が構成されていることである。ここでの外部接続Ｉ／Ｆ１４０８は、ＵＳＢやＩＥＥＥ１３９４に代表される１対１の接続を意図している。そして、ビデオカメラ１４００と表示制御装置１４２０とは、この外部接続Ｉ／Ｆ１４０８を介して図中の点線で示したように接続することも可能となっている。

ビデオカメラ１４００は、ネットワークＩ／Ｆ１４１０又は外部接続Ｉ／Ｆ１４０８を介して表示制御装置１４２０に対して撮影した画像データ及び当該画像データにおける画像情報（本例では、各フレームにおけるポイント情報等）を提供することが可能になる。ここで、ビデオカメラ１４００から表示制御装置１４２０に対して画像データ及び当該画像データにおける画像情報を送信する際に、お互いの装置が同時に協調して動かない場合もあり得る。この場合は、例えば、ビデオカメラ１４００の蓄積装置１４０６における着脱可能な蓄積媒体（メモリカード、ＤＶＤ、テープなど）を、直接、蓄積デバイス１４５０に設定することが考えられる。これにより、表示制御装置１４２０には、蓄積デバイス用Ｉ／Ｆ１４２７を介して蓄積デバイス１４５０から、画像データ及び当該画像データの画像情報を適用することが可能となる。

表示制御装置１４２０は、図１２に示す好適度ポイント算出部１２０７や、画像選択部１２０８、画像復号部１２０９の機能を有し、必要に応じてサムネイル画像を生成して、これを表示装置１４４０に表示する制御を行なう。表示制御装置１４２０は、例えば、ＰＣで構成されているものを想定しているが、専用のＤＶＤやビデオテープの再生装置で構成されているものでも良い。

表示制御装置１４２０は、入力用Ｉ／Ｆ１４２１、外部接続Ｉ／Ｆ１４２２、ネットワークＩ／Ｆ１４２３、表示用Ｉ／Ｆ１４２４、メモリ１４２５、ＣＰＵ１４２６、蓄積デバイス用Ｉ／Ｆ１４２７を有して構成されている。

表示制御装置１４２０は、外部接続Ｉ／Ｆ１４２２、ネットワークＩ／Ｆ１４２３及び蓄積デバイス用Ｉ／Ｆ１４２７等を介して、ビデオカメラ１４００から、撮影された動画像のデータ及び当該動画像の各フレーム画像における画像情報を取得する。ＣＰＵ１４２６は、ビデオカメラ１４００から取得した動画像データをメモリ１４２５に一時的に蓄積する。そして、ＣＰＵ１４２６は、ビデオカメラ１４００から取得した画像情報（画像情報テーブル）及び入力装置１４３０から入力用Ｉ／Ｆ１４２１を介して入力された入力情報等に基づいて、第４の実施形態における好適度ポイントの算出処理を行なう。その後、ＣＰＵ１４２６は、算出した好適度ポイント等に基づいて、第４の実施形態におけるハイライトシーンテーブルを作成する。そして、ＣＰＵ１４２６は、ハイライトシーンテーブルを用いて、メモリ１４２５から必要なフレーム画像を読み出し、画像復号処理等を施した後に、表示用Ｉ／Ｆ１４２４を介して表示装置１４４０にサムネイル画像として表示を行なう。

また、表示装置１４４０における画像表示の内容を変更するためのユーザー入力は、キーボードやマウスなどの入力装置１４３０から入力用Ｉ／Ｆ１４２１を介してＣＰＵ１４２６に伝達される。ＣＰＵ１４２６は、そのユーザーの要求に応じて、適切な処理を行なう。

以下に、表示制御装置１４２０における具体的な処理について説明する。
第４の実施形態における図１３に示すフローチャートの処理は、主として、図１４の表示制御装置１４２０のＣＰＵ１４２６の制御により実行される（好適度ポイントの算出処理もＣＰＵ１４２６の処理で実現される）。この際、ＣＰＵ１４２６が処理を行なう際に用いるプログラムは、例えば、メモリ１４２５に格納されている。

同様に、図１２の画像選択部１２０８で行なわれるユーザー入力に対する処理は、図１４においては、入力装置１４３０からの入力を受ける入力用Ｉ／Ｆ１４２１とその入力を受けたＣＰＵ１４２６での処理に置き換えることができる。また、図１２の画像復号部１２０９の処理が図１４のＣＰＵ１４２６での処理に置き換えられることは前述のとおりである。また、図１２の表示装置１２１０は、表示用Ｉ／Ｆ１４２４を介して接続されたディスプレイ等の表示装置１４４０に置き換えられる。

以上のように、処理ユニットを置き換えることによって、図１３で示したフローチャートの処理が、図１４に示す構成においても実施することができる。また、第１の実施形態で説明した画像選択アルゴリズムを適用する場合には、図１４のＣＰＵ１４２６が、メモリ１４２５に蓄えられたプログラムを用いて実行する形態となる。これらの処理の内容に関しては、既に、上述した各実施形態において説明しているので、ここでは、説明を省略する。

以上説明したように、本発明の各実施形態によれば、ユーザーに好適であるベストショットの画像を効率的に選択することができる。即ち、内容の異なる複数のベストショットの画像を効率的に選択することができる。

より具体的には、ベストショットの画像を高速に、もしくは、少ない操作回数にて選択することが可能になる。さらに、好適度ポイントが極大値となる表示対象画像群を予め高速にアクセス可能な記憶媒体（或いは記憶領域）に記憶しておくことにより、画像表示に要する時間を短縮化することができる。また、画像選択アルゴリズムを用いた動画像表示システム及び動画像サムネイル作成システムにおいては、ハイライトシーンの画像を自動で選択し、ハイライトシーンの画像におけるサムネイル画像群を高速に作成することも可能となる。

前述した本発明の各実施形態に係る画像処理装置の画像処理方法を示す図２−１、図２−２、図８及び図１３の各ステップは、コンピュータのＣＰＵ（１１）がＲＯＭ（１３）などに記憶されたプログラム（１３ａ）を実行することによって実現できる。このプログラム及び当該プログラムを記憶したコンピュータ読み取り可能な記憶媒体は本発明に含まれる。

具体的に、前記プログラムは、例えばＣＤ−ＲＯＭのような記憶媒体に記録し、或いは各種伝送媒体を介し、コンピュータに提供される。前記プログラムを記録する記憶媒体としては、ＣＤ−ＲＯＭ以外に、フレキシブルディスク、ハードディスク、磁気テープ、光磁気ディスク、不揮発性メモリカード等を用いることができる。他方、前記プログラムの伝送媒体としては、プログラム情報を搬送波として伝搬させて供給するためのコンピュータネットワーク（ＬＡＮ、インターネットの等のＷＡＮ、無線通信ネットワーク等）システムにおける通信媒体を用いることができる。また、この際の通信媒体としては、光ファイバ等の有線回線や無線回線などが挙げられる。

また、本発明は、コンピュータが供給されたプログラムを実行することにより各実施形態に係る画像処理装置の機能が実現される態様に限られない。そのプログラムがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）或いは他のアプリケーションソフト等と共同して各実施形態に係る画像処理装置の機能が実現される場合も、かかるプログラムは本発明に含まれる。また、供給されたプログラムの処理の全て、或いは一部がコンピュータの機能拡張ボードや機能拡張ユニットにより行なわれて各実施形態に係る画像処理装置の機能が実現される場合も、かかるプログラムは本発明に含まれる。

また、前述した本実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明はその技術的思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

本発明の第１の実施形態に係る画像処理装置のハードウエア構成の一例を示す模式図である。 本発明の第１の実施形態に係る画像処理装置の画像選択処理（画像選択アルゴリズム）の処理手順の一例を示すフローチャートである。 図２−１のステップＳ１０８におけるベストショットテーブル更新処理の詳細な処理手順の一例を示すフローチャートである。 本発明の第１の実施形態を示し、撮影時に得られた画像情報テーブル、及び、図２−１に示す処理で作成されるベストショットテーブルの一例を示す模式図である。 本発明の第１の実施形態に係るベストショット選択方法を説明するためのものであって、時系列での好適度ポイントの一例を示す模式図である。 本発明の第１の実施形態に係るデジタルカメラ（画像処理装置）のシステム構成の一例を示す模式図である。 本発明の第１の実施形態に係るデジタルカメラ（画像処理装置）のユーザーインターフェース（操作キー等）の一例を示す模式図である。 本発明の第１の実施形態を示し、図６に示すキー操作がなされた際の時系列での好適度ポイントの一例を示す模式図である。 本発明の第１の実施形態に係るデジタルカメラ（画像処理装置）の画像表示処理の処理手順の一例を示すフローチャートである。 本発明の第２の実施形態を示し、特定人物に係る画像情報テーブル、及び、ベストショットテーブルの一例を示す模式図である。 本発明の第３の実施形態に係るデジタルカメラ（画像処理装置）のシステム構成の一例を示す模式図である。 本発明の第４の実施形態を示し、動画像の中からハイライトシーンの画像を選択してサムネイル表示を行なう概念の一例を示す模式図である。 本発明の第４の実施形態に係るビデオカメラ（画像処理装置）のシステム構成の一例を示す模式図である。 本発明の第４の実施形態に係るビデオカメラ（画像処理装置）の画像表示処理の処理手順の一例を示すフローチャートである。 本発明の第５の実施形態に係る画像処理装置のシステム構成の一例を示す模式図である。 従来例のベストショット選択方法を説明するためのものであって、時系列での好適度ポイント（認識ポイント）の一例を示す模式図である。

符号の説明

１０−１ デジタルカメラ（画像処理装置）
５０１ 撮像素子
５０２ 現像処理部
５０３ 認識部
５０４ 画像圧縮部
５０５ メモリ制御部
５０６ フラッシュメモリ
５０７ 好適度ポイント算出部
５０８ ベストショットテーブル及び画像選択部
５０９ 画像復号部
５１０ 表示装置

Claims (7)

1. 時系列で撮影された複数の画像ごとに画像の認識処理により得られる画像の好適度を示す好適度ポイントを算出する算出手段と、
   前記好適度ポイントが時系列で極大値となる画像を優先的に選択する選択手段と
   を有することを特徴とする画像処理装置。
2. 前記選択手段で選択された画像を表示装置に表示する制御を行なう表示制御手段を更に有することを特徴とする請求項１に記載の画像処理装置。
3. 前記選択手段は、予め設定された時間間隔以上あいた画像であって前記好適度ポイントが予め定められたポイントより大きい画像を選択することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記認識処理は、前記画像の顔認識処理の結果から得られた人物の笑顔に係るポイント、当該人物の人数に係るポイントおよび当該人物の正面度に係るポイントのうちの少なくともいずれか１つを含むことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. さらに、前記選択手段で選択された所定の画像の記憶を行なう際に、前記選択手段で選択されていない画像に対して圧縮率を変化させて記憶する記憶制御手段を有することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
6. 時系列で撮影された複数の画像ごとに画像の認識処理により得られる画像の好適度を示す好適度ポイントを算出する算出ステップと、
   前記好適度ポイントが時系列で極大値となる画像を優先的に選択する選択ステップと
   を有することを特徴とする画像処理方法。
7. 時系列で撮影された複数の画像ごとに画像の認識処理により得られる画像の好適度を示す好適度ポイントを算出する算出ステップと、
   前記好適度ポイントが時系列で極大値となる画像を優先的に選択する選択ステップと
   を有することを特徴とする画像処理方法をコンピュータに実行させるためのプログラム。

Images