以下、本発明の一実施の形態について図面を参照して説明する。
図1は撮像装置としてのカメラ1のブロック構成図を示す。このカメラ1は、CPU等を有するコンピュータから成る制御部11を搭載する。この制御部11には、バスライン12を介してROM13と、撮像部14と、RAM15と、画像記録再生制御部16と、記憶部17と、表示制御部18と、表示部19と、画像判定部20とが接続されている。このうちROM13には、例えば制御プログラムや各種データ等が記憶されている。このROM13は、例えば不揮発性のメモリから成る。バスライン12は、ROM13と、撮像部14と、RAM15と、画像記録再生制御部16と、記憶部17と、表示制御部18と、表示部19と、画像判定部20との間で画像データやコマンドデータ等を通信するためのラインである。
制御部11は、ROM13に記憶されている制御プログラムを実行してカメラ1の全体の動作を統括的に制御する。この制御プログラムは、撮影プログラムと画像再生プログラムとを有する。撮影プログラムは、カメラ1に搭載されている制御部11のコンピュータに撮影処理を実行させるもので、撮像部14の撮影により取得された動画像データ中で一定期間に亘って単調な部分を判定させるステップと、この動画像データの再生時に、動画像データ中から単調部分に代わることを可能とする補助画像データを判定させるステップと、動画像データを記憶すると共に、単調部分の画像データに関する情報及び補助画像データに関する情報を記憶部17に記憶させるステップとを有する。
画像再生プログラムは、カメラ1に搭載されている制御部11のコンピュータに再生処理を実行させるもので、動画像データ中で一定期間に亘って単調な部分を判定させるステップと、動画像データ中から単調部分に代わることを可能とする補助画像データを判定させるステップと、単調部分に代えて補助画像データを動画像データに合成させ、当該合成した動画像データを表示部19に表示させるステップとを有する。
又、制御部11には、操作部21が接続されている。この操作部21は、カメラ1のユーザによる操作者を受けるもので、例えばシャッターや静止画の撮影モード、動画の撮影モード、明るさの調整、ズームの調整等の各種操作スイッチ等を備える。制御部11は、操作部21に対する操作内容を判定する操作判定部11aを有する。
撮像部14は、撮影用レンズやこの撮影用レンズを駆動するレンズ駆動部を有する光学部と、この光学部によって結像される被写体像を光電変換する撮像素子と、この撮像素子から出力される画像信号に対して各種信号処理を行って静止画又は動画の画像データを作成する画像回路等を有する。
RAM15は、撮影時に撮像部14から出力される画像データを格納し、かつ当該画像データに対するデジタル処理を行うときの作業用メモリとして用いられる。このRAM15は、例えばDRAMから成る。
画像記録再生制御部16は、撮影時にRAM15に格納されている画像データに対して例えばJPEG、MPEG等の圧縮処理を行う圧縮部と、この圧縮部により圧縮された画像データを記憶部17に記憶する記録部と、再生時に記憶部17に記憶されている画像データを読み出す再生部と、圧縮部により圧縮された画像データを伸長する伸長部とを有する。
又、画像記録再生制御部16は、撮影時に動画像データと共に、補助画像として例えば動画像データ中に含まれる被写体としての人物の顔部分の画像データや、再生時に補助画像データを動画像データに合成するに関する補助画像管理情報を記録する。又、後述するように画像記録再生制御部16は、例えば単調な場面が延々と続く単調なシーンを含む動画像データの再生時に、補助画像管理情報に基づいて動画像データ中の所定の位置に所定の挿入タイミングで補助画像データを合成するための再生処理の制御を行う。
記憶部17は、例えば圧縮された画像データ等を記憶するもので、メイン画像記憶部17aと、補助画像管理情報記憶部17bとを有する。このうちメイン画像記憶部17aには、撮影により取得され圧縮処理された静止画像データや動画像データが記憶される。補助画像管理情報記憶部17bには、画像判定部20により判定された補助画像データや当該補助画像データを例えば動画像データ中に合成するために必要な補助画像管理情報が記憶される。この記憶部17は、例えばハードディスク又はフラッシュメモリ等の不揮発性メモリから成る。
表示制御部18は、撮影時に取得された画像データ等をモニタ画像として表示部19に表示するもので、このときに画像データ等を表示部19に合わせたリサイズ処理やγ等の画像処理を行う。又、表示制御部18は、画像データ等の再生時に、記録されている画像データ等を上記同様に、リサイズ処理や画像処理して表示部19に表示する。
又、表示制御部18は、画像合成部18aを有する。この画像合成部18aは、例えば動画像データ中に例えば単調な場面が延々と続く単調シーンの画像データ部分を含むと、この画像データ部分を動画像データ中から削除し、かつ当該削除した部分に補助画像データを挿入して合成画像データを作成する。
画像判定部20は、ROM13に記憶されている撮影プログラムを実行することにより、例えば動画像データ中における単調な画像データ部分の判定と、動画像データ中における例えば被写体としての人物の顔部分の画像データ部分の判定とを行うもので、単調判定部としての変化判定部22と、補助画像判定部23とを有する。
このうち変化判定部22は、例えば動画像データ中における単調な画像データを判定するもので、単調場面判定部22aと単調位置判定部22bを有する。このうち単調場面判定部22aは、動画像データを複数の領域に分割し、これら領域毎に画像データのコントラストの時間的変化を検出し、この検出の結果、コントラスト値が所定のコントラスト値以下になる領域が存在すると判定すると、当該領域を単調シーン(又は単調場面)であると判定する。
又、単調場面判定部22aは、動画像データを複数の領域に分割し、これら領域毎に画像データ中において例えば被写体としての人物の顔部分の画像データの領域のサイズを検出し、この領域サイズの変化が時間経過と共に所定の変化量以内で変化が少ないか否かを判断し、この判断の結果、領域サイズの変化が時間経過と共に所定の変化量以内で変化が少なければ、当該領域を単調シーン(又は単調場面)であると判定する。
単調位置判定部22bは、単調場面判定部21aにより単調場面であると判定した場合、当該コントラスト値が所定のコントラスト値以下である領域を単調部分(又は単調位置)である判定する。
補助画像判定部23は、例えば動画像データ中における例えば被写体としての人物の顔部分の画像データ部分を判定するもので、動き判定部23aと顔検出部23bとを有する。このうち動き判定部23aは、例えば動画像データにおけるコントラストの変化から例えば人物等の被写体の動きを検出してその領域を判定する。
顔検出部23bは、人物等の被写体における例えば目や鼻等の顔パターンのパターン画像データを予め登録し、この登録パターン画像データと一致する画像データ部分を例えば動画像データ中から検索し、当該動画像データ中から被写体における顔等の画像データを検出する。
次に、上記の如く構成されたカメラ1における動作について説明する。
動画撮影中、画像記録再生制御部16は、撮像部14から出力される動画像データをメイン画像記憶部17aに記憶すると共に、補助画像データとして例えば動画像データ中に含まれる被写体としての人物の顔部分の画像データや、再生時に補助画像データを動画像データに合成するに関する補助画像管理情報等を補助画像管理情報記憶部17aに記憶する。
すなわち、単調場面判定部22aは、動画撮影により取得される動画像データ中に単調な画像データ部分すなわち単調シーンが存在するか否かを判定する。この判定の結果、単調シーンが存在すると、単調位置判定部22bは、動画像データを構成する複数の画像データから単調シーンとされる画像データ部分を判断し、この画像データ部分を含む画像データのフレーム番号と、当該画像データ中における単調シーンの位置を示す単調位置情報とを求める。
次に、補助画像判定部23は、動画像データ中に含む単調シーンとされる画像データ部分に代わって挿入すべき補助画像データとなる例えば被写体における顔等の画像データを判定する。すなわち、動き判定部23aは、例えば動画像データにおけるコントラストの変化から例えば人物等の被写体の動きを検出してその領域を判定する。顔検出部23bは、人物等の被写体における例えば目や鼻等の顔パターンのパターン画像データを予め登録し、この登録パターン画像データと一致する画像データを例えば動画像データ中から検索し、当該動画像データ中から被写体における顔等の画像データを検出する。
次に、画像記録再生制御部16は、単調位置判定部22bにより求められた単調シーンを含む画像データのフレーム番号とその単調シーンの位置を示す単調位置情報とを受け取り、これらフレーム番号及び単調位置情報と、動画像データ中に含む単調シーンの画像データ部分に補助画像データを合成するための合成情報とを含む補助画像管理情報を補助画像管理情報記憶部17bに記録すると共に、顔検出部23bにより検出された被写体における顔等の補助画像データなどを補助画像管理情報記憶部17bに記録する。
このように画像記録再生制御部16は、動画像データをメイン画像記憶部17aに記録する際に、動画像データ中に補助画像データを合成するための補助画像管理情報と補助画像データとが存在する旨の情報を補助画像管理情報記憶部17bに記録する。
一方、再生時、画像記録再生制御部16は、再生すべき動画像データの指定を受けると、当該指定された動画像データをメイン画像記憶部17aから読み出し、この動画像データを表示制御部19に送ることにより表示部19に再生する。この動画像の再生時、画像記録再生制御部16は、補助画像管理情報記憶部17bに記憶されている情報から再生する動画像データに対応する補助画像管理情報があるか否かを判断する。
この判断の結果、再生する動画像データに対応する補助画像管理情報が存在することを判断すると、画像記録再生制御部16は、補助画像管理情報記憶部17bから当該補助画像管理情報を読み出し、補助画像再生を設定する。
そして、画像記録再生制御部16は、動画像データを再生中、補助画像管理情報に基づいて単調シーンを含むフレーム番号の画像データの再生時になると、補助画像記憶部17bから補助画像データを読み出し、この補助画像データと単調シーンの位置を示す単調位置情報とを表示制御部18に送る。これにより、表示制御部18の画像合成部18aは、動画像データ中における単調な場面が延々と続く単調シーンの画像データ部分を動画像データ中から削除し、かつ当該削除した部分に補助画像データを挿入して合成画像データを作成する。この結果、表示部19には、動画像データ中に補助画像データを挿入して合成画像が表示される。
次に、上記の如く動画像データ中の単調な場面が延々と続く単調シーンの画像データ部分を動画像データ中から削除し、当該削除された部分に補助画像データを挿入して合成画像データを作成する具体例について説明する。
図2(a)〜(c)は単調シーンの代わりに補助画像を合成した画像を再生する具体例であって、例えば運動会等で走って来る子供とこの子供を声援する家族とを一緒に撮影したシーンで、子供である主被写体以外の顔、例えば家族を合成した画像の再生例を示す。なお、図2(a)〜(b)に示す各画像は、撮影により取得された動画像データの各画像データを一定時間間隔、例えば3秒間隔の時間経過順に並べたものである。
従来、かかるシーンでは、一般的に、撮影者であるユーザは、走って来る子供を追うのに精一杯であり、子供の背景の状況が単調であるか、さらには子供以外の人物までに注意を払うことが少ない。このような事からユーザにより撮影された画像には、図2(a)(b)に示すように動画像データ中の上方域に単調な場面が延々と続く単調シーンの画像部分Mが生じる。
このような単調シーンの画像部分M、例えば子供の背景部分に変化がなく、かつ背景部分においてコントラストの低い部分が一定時間、例えば5秒続くと、変化判定部22は、例えば動画像データ中における単調シーンの画像部分Mの画像データがあることを判定する。又、補助画像判定部23は、動画像データ中において主被写体である子供以外の人物、例えば家族の顔部分等の画像データを判定し、補助画像データとする。
しかるに、画像合成部18aは、動画像データ中における単調シーンの画像部分Mの画像データを動画像データ中から削除し、かつ当該削除した部分に例えば家族の顔部分等の画像データの補助画像データを挿入して合成画像データを作成する。この場合、画像合成部18aは、例えば家族の顔部分等の補助画像データを拡大して挿入する。この結果、表示部19には、図2(c)に示すように単調シーンの画像部分Mに主被写体である子供以外の人物の拡大された補助画像データが挿入されて再生される。
図3(a)〜(c)は、主被写体の顔部分を拡大して動画像データ中の背景部分の一部に挿入した表示例を示す。同図(a)〜(c)に示す各画像は、撮影により取得された動画像データの各画像データを一定時間間隔、例えば3秒間隔の時間経過順に並べたもので、カメラ1に向かって人等の主被写体がゆっくり移動してくるシーンを示す。
このシーンは、主被写体の背景においてコントラストや色の変化があって単調シーンがない。このように単調シーンはないが、主被写体の向かって来るスピードが遅すぎて動画像の全体から見た変化は少ない。このような場合でも単調シーンと判断して補助画像を表示する。すなわち、背景に単調シーンがない場合であっても、同一シーンが続くと見ていてだんだん飽きてくるので、補助画像を表示する。
具体的に変化判定部22は、動画像データを複数の領域に分割し、これら領域毎に画像データ中において例えば主被写体としての人物の顔部分の画像データの領域のサイズすなわち顔サイズを検出し、この顔サイズの変化が時間経過、例えば5秒の時間経過と共に所定の変化量以内で変化が少ないか否かを判断する。この判断の結果、顔サイズの変化が時間経過と共に所定の変化量以内で変化が少なければ、単調場面判定部22aは、当該顔サイズを単調シーンであると判定する。又、補助画像判定部23は、動画像データ中において主被写体としての人物の顔部分の画像データ部分を判定し、補助画像データとする。
しかるに、画像合成部18aは、主被写体の背景部分の画像データ部分を動画像データ中から削除し、かつ当該削除した部分に例えば主被写体の顔部分を示す補助画像データを挿入して合成画像データを作成する。この場合、画像合成部18aは、例えば主被写体の顔部分の補助画像データを拡大して挿入する。この結果、表示部19には、図3(c)に示すように主被写体の背景部分に主被写体の顔部分の補助画像データが挿入されて再生される。
なお、単調シーンであると判断する時間は、図2に示す子供の背景の状況の場合よりも長めに設定するのがよい。又、動画像データの中央部に映っている人物等の被写体のサイズが未だ小さいうちに、被写体の顔等を拡大表示して動画の推移に変化を付けるのもよい。
図4(a)〜(c)は補助画像データを切り替える例を示すもので、撮影により取得された動画像データの各画像データを一定時間間隔の時間経過順に並べている。同図(a)〜(c)は動画像データの中央部に人物が近づいて来るようなシーンのみならず、走っている人物を同動画像データの中央部に撮影されるように人物を追ってカメラ1を動かして撮影された各画像データを示す。このようなシーンは、走っている人物の背景となる風景が変わっていくが、この風景が空になると、この空だけが単調シーンになる。
このようなシーンを撮影すると、変化判定部22は、例えば空等の背景部分に変化がなく、かつ背景部分においてコントラストの低い部分が一定時間、例えば5秒続くと、当該空等の背景部分を単調シーンと判定する。又、補助画像判定部23は、被写体である走っている人物のうちいずれか一人の人物の画像データ部分を判定し、これを補助画像データとする。
しかるに、画像合成部18aは、動画像データ中における単調シーンの画像部分を動画像データ中から削除し、かつ当該削除した部分に例えば走っている人物の顔部分等の補助画像データを挿入して合成画像データを作成する。この場合も画像合成部18aは、例えば走っている人物の顔部分の補助画像データを拡大して挿入する。この結果、表示部19には、図4(a)に示すように空等の単調シーンに人物の顔部分等の補助画像データが挿入されて再生される。
さらに、変化判定部22は、例えば空等の背景部分に変化がなく、かつ背景部分においてコントラストの低い部分が一定時間、例えば3秒続いているか否かを判定する。この判定の結果、引き続き空等の背景部分を単調シーンであると判定すると、画像合成部18aは、引き続き、上記同様に、動画像データ中における単調シーンの画像部分を動画像データ中から削除し、かつ当該削除した部分に例えば走っている人物の顔部分等の補助画像データを挿入して合成画像データを作成する。この結果、表示部19には、図4(b)に示すように空等の単調シーンに人物の顔部分等の補助画像データが挿入されて再生される。
さらに、変化判定部22は、例えば空等の背景部分に変化がなく、かつ背景部分においてコントラストの低い部分が一定時間、例えば3秒続いているか否かを判定する。ここで、動画像データ中には、図4(c)に示すように例えば空等の背景部分がなくなり、かつ走っている人物の他に新たに人物が撮影されている。このようなシーンになると、変化判定部22は、動画像データ中の単調シーンが終了したと判定し、この判定結果を画像合成部18aに送る。これにより、画像合成部18aは、動画像データ中に補助画像データを挿入することを中止する。この結果、表示部19には、図4(c)に示すように走っている人物と他に新たな人物とが撮影された画像データが再生される。
このようなシーンは、走っている人物の顔等の拡大画像を表示するが、いずれか一人の顔だけを拡大すると、ユーザが見たい人物の顔ではない可能性もある。このような事から複数の人物の顔画像を補助画像データとして予め記録し、各人物の各顔画像の補助画像データを順次切換えて表示することにより変化をつけてもよい。すなわち、単調シーンと判断されると、表示画面上の顔画像を検出するが、この検出された顔画像が複数あると判断されると、これら顔画像データを補助画像データとして予め複数登録しておくわけである。
次に、上記の如く構成されたカメラ1における補助画像データの表示動作の具体的手順について図5に示すカメラ1のメイン制御動作フローチャートに従って説明する。
カメラ1は、電源がオン状態になっているとする。先ず、制御部11は、ステップS11において、ユーザによって設定されている現在のカメラ1のモードすなわち撮影モード又は再生モードのいずれかに設定されるのかを判定する。この判定の結果、撮影モードに設定されていると、制御部11は、ステップS12に移り、動画撮影又は静止画撮影のいずれかに設定されるのかを判定する。この判定の結果、動画撮影に設定されていると、制御部11は、ステップS14に移って動画撮影を開始する。
なお、制御部11は、上記ステップS12での判定の結果、静止画撮影に設定されると判定すると、ステップS13に移って静止画の記録処理を実行する。この静止画撮影は、本実施の形態の特徴部分ではないのでその説明を省く。
制御部11は、ステップS14に移って動画撮影を開始すると、この動画撮影を行いながらステップS15において補助画像の決定処理を行う。
ここで、補助画像の決定の具体的な処理について図6に示す補助画像決定のサブルーチン処理のフローチャートを参照して説明する。
この補助画像の決定処理は、主に補助画像判定部23における動き判定部23a及び顔検出部23bによって行われる。これら動き判定部23a及び顔検出部23bは、撮像部14から連続的に出力されてRAM15に格納される動画像データに対して解析を行うことにより補助画像データを決定する。動画像の解析は、動画像データの全フレームについて行う必要はなく、例えば動画像データのフレームレートが60フレーム/秒であれば、10フレーム/秒程度の頻度でもよい。
動き判定部23aは、ステップS51において、動画像データにおける時間的に前後する各フレームの画像データ同士を比較し、表示部19に表示される画像領域中で動きのある部分を判定する。この判定の結果、動きのある部分があると、動き判定部23aは、動きのある部分がある旨を顔検出部23bに送る。
顔検出部23bは、動き判定部23aから動きのある部分がある旨を受けると、ステップS52において、顔部分の検出を行う。すなわち、顔検出部23bは、人物等の被写体における例えば目や鼻等の顔パターンのパターン画像データを予め登録し、この登録パターン画像データと一致する画像データを例えば動画像データ中から検索し、当該動画像データ中から被写体における顔等の画像データを検出する。
ここで、図7(a)〜(b)に示す顔の位置やサイズに応じた補助画像の決定の画像例を参照して顔の検出について説明する。同図(a)〜(b)において斜線部分が顔部分の画像データ101を示す。
次に、顔検出部23bは、ステップS53において、顔検出の結果に基づいて画像データの中心部に顔部分の画像データ101があるか否かを判定する。この判定の結果、図7(a)に示すように画像データの中心部に顔部分の画像データ101があると、顔検出部23bは、ステップS54において、当該顔部分の画像データ101のサイズが時間経過と共に拡大しているか否かを判定する。
この判定の結果、顔部分の画像データ101のサイズが時間経過と共に拡大していない、又は時間経過と共にその拡大率の割合が小さい場合、顔検出部23bは、ステップS55に移り、画像データの中心部にある顔部分の画像データ101を基準の顔画像データとする。図7(a)に示す画像データの例では、顔部分の画像データ101が基準顔画像データになる。顔の大きさの拡大が小さい場合は、例えば図3に示す動画像データである。なお、顔の大きさの拡大率を小さいと判定するのは、予め小さいと判定する基準拡大率を設定しておけばよい。
次に、顔検出部23bは、ステップS56において、基準顔画像データ101以外に顔画像データがあるか否かを判定する。この判定の結果、基準顔画像データ101以外に顔画像データがあると判定すると、顔検出部23bは、ステップS57に移り、当該基準顔画像データ101以外に顔画像データが基準顔画像データ101に隣接し、かつ基準顔画像データ101よりも小さいサイズの顔部分の画像データであれば、当該基準顔画像データ101以外に顔画像データを補助画像データ102とする。例えば図7(b)は補助画像データ102を示す。
次に、顔検出部23bは、ステップS58において、補助画像データ102に隣接する顔部分の画像データで、かつ例えば基準顔画像データ101よりも小さい顔部分の画像データがあるか否かを検出し、当該顔部分の画像データがあれば、これら顔部分の画像データを第2の補助画像データとする。すなわち、例えば基準顔画像データ101の周辺にも小さな顔部分の画像データがあれば、これらも単調画像を解消できる画像データとなりうるので、これら顔部分の画像データを纏めて補助画像データとする。図7(b)は、顔部分の画像データ103が補助画像データ102に隣接しかつ小さい顔部分の画像データに該当するので、当該顔部分の画像データ103が第2の補助画像データになる。
なお、顔検出部23bは、ステップS56の判定の結果、基準顔画像データ101以外に顔画像データがなければ、ステップS59に移り、上記ステップS55で設定した顔部分の基準顔画像データ101を補助画像データとする。なお、図7(a)に示す画像データでは、基準顔画像データ101以外に顔部分の画像データが無いので、基準顔画像データ101を補助画像データとする。
一方、顔検出部23bは、ステップS53の判定の結果、画像データの中心部に顔部分の画像データ101が無い場合、又はステップS54の判定の結果、顔部分の画像データ101のサイズが時間経過と共に拡大していない場合、ステップS61に移り、画像データ中心部以外の顔部分の画像データを検出し、この画像データ中心部以外の顔部分の画像データにおける顔部分のサイズが画像データ全体のサイズの一定比率以下であるか否かを判定する。例えば、顔検出部23bは、顔部分の面積が画像データ全体の面積の約10分の1(1/10)以下であるか否かを判定する。
画像データ中に顔部分の画像データがない場合、又は顔部分の面積が画像データ全体の面積の約1/10以上であれば、顔検出部23bは、補助画像データ無しとして図5に示すステップS16に進む。これは、画像データ中心部以外に顔部分の画像データがあっても、顔部分の画像データのサイズがある程度以上大きいと、補助画像データに適さないからである。例えば図7(c)に示すように中心部以外に顔部分の画像データ105があっても、この画像データ105の面積が画像データ全体の面積の約1/10以上であれば補助画像に適さない。なお、一定比率1/10は、当然に一例である。
顔検出部23bは、上記ステップS61の判定の結果、顔部分の画像データの面積が画像データ全体の面積の約1/10以下の顔部分の画像データが有ると判定すると、ステップS62に移り、その顔部分の画像データを補助画像データとする。なお、かかる顔部分の画像データが複数有ると、顔検出部23bは、例えば複数の顔部分の画像データのうち画像データの中心部分に最も近い顔部分の画像データを補助画像データとする。図8(d)は、複数の顔部分の画像データ101〜104のうち画像データ102を補助画像データとする。
なお、補助画像データは、2つ限ることなく、3以上であっても良い。
以上により補助画像の決定が終了する。
次に、制御部11は、ステップS16に移り、単調シーンとその位置の判定を行う。図8は単調シーンとその位置の判定のサブルーチンのフローチャートを示す。この単調シーンとその位置の判定の処理は、主に変化判定部22における単調場面判定部22a及び単調位置判定部22bにより行われる。これら単調場面判定部22a及び単調位置判定部22bは、撮像部14から連続的に出力されてRAM15に格納される動画像データを解析することにより単調シーンとその位置の判定の処理を行う。このときの動画像の解析は、上記同様に、動画像データの全フレームについて行う必要はなく、例えば動画像データのフレームレートが60フレーム/秒であれば、10フレーム/秒程度の頻度でもよい。
先ず、単調場面判定部22aは、ステップS71において、動画像データを複数の領域に分割し、これら領域毎に画像データのコントラストの時間的変化を検出し、例えば画像データの周辺部分においてコントラスト値が所定のコントラスト値以下になる部分、すなわち低コントラストの部分を判定する。
次に、単調場面判定部22aは、ステップS72において、画像データの周辺部分において色の分布を判定する。
次に、単調場面判定部22aは、ステップS73において、画像データの周辺部分において低コントラストの部分が有るか否かを判定し、上記ステップS71での判定の結果、低コントラスト部分が有れば、ステップS74に移り、画像データの周辺部分の色分布に応じて切換える判定時間で、継続してコントラストが低いか否かを判定する。
この判定の結果、色分布が少ない場合又は色分布が無ければ、単調場面判定部22aは、ステップS75に移り、判定時間tをt1(例えば5秒)に設定する。一方、画像データの周辺部分の色分布がある程度以上あると、単調場面判定部22aは、判定時間tをt2(例えば10秒)に設定する。そして、単調場面判定部22aは、ステップS77において、判定時間t1又はt2の判定時間に達するまで経時する
次に、単調場面判定部22aは、ステップS78において、判定時間t1又はt2の判定時間に達したか否かを判定し、これら判定時間に達していなければ、上記図5に示す次のステップS17に進む。
判定時間t1又はt2の判定時間に達すると、単調場面判定部22aは、ステップS79に移り、判定時間t1又はt2の判定時間の間の動画像データを単調シーンであると判定する。
そして、単調位置判定部22bは、ステップS80において、画像データの周辺部分においてコントラストを低いと判定した部分の位置を単調シーンと判定する。この後、上記図5に示す次のステップS17に進む。
一方、単調場面判定部22aは、上記ステップS73の判定の結果、画像データの周辺部分にコントラストの低い部分を検出しない場合、その前の状態によって処理を分岐する。
先ず、単調場面判定部22aは、ステップS82において、上記ステップS79でそれまでの動画像データ中に既に単調シーンが有ると判定されていたか否かを判定する。この判定の結果、既に単調シーンが有ると判定されていると、単調場面判定部22aは、ステップS83に移り、これまでの単調シーンが終了したと判断し、次のステップS84において、単調シーンのこれまでの時間を計測する。
上記ステップS82の判定の結果、単調シーンが無いと判定されていると、単調場面判定部22aは、ステップS85に移り、上記ステップS78での判定時間t1又はt2の経時中に画像データの周辺部分にコントラストが高くなったか否かを判定する。
この判定の結果、判定時間t1又はt2の経時中に画像データの周辺部分にコントラストが高くなると、単調場面判定部22aは、ステップS86に移り、判定時間t1又はt2の経時をリセットする。低コントラスト部分が無く単調シーンの経時も開始されていなければ、単調場面判定部22aは、単調シーンとその位置の判定を終了し、上記図5に示す次のステップS17に進む。
なお、今回の単調シーンの判定は、画像データにおける周辺の低コントラスト部分の有無を判定した。この判定方法は、比較的単純な方法であって、他の判定方法と組み合わせてもよい。例えば、低コントラストに加えて色分布も継続して低い場合に単調シーンと判定する方法でもよい。コントラスト値の大小だけではなく、コントラスト値の変化も加味して単調シーンと判定するようにしてもよい。又、判定部分としても、画像データの周辺部分ではなく、背景部分を抽出して背景部分のコントラストの低い部分で判定するようにしてもよい。
次に、制御部11は、図5に示すメイン制御動作フローチャートのステップS17に移る。すなわち、制御部11は、上記ステップS15の補助画像判定の結果と上記ステップS16の単調シーンの判定結果とを受け取り、ステップS17において、補助画像データが有るか否かを判定する。次に、制御部11は、ステップS18において、単調シーンが有るか否かを判定する。次に、制御部11は、ステップS19において、単調位置が有るか否かを判定する。
これらの判定の結果、補助画像データが有り、単調シーンが有り、かつ単調シーンの位置の各情報が有ると判定すると、画像記録再生制御部16は、ステップS20において、画像データ全体から補助画像データ、例えば図7(b)に示す補助画像データ102等の部分を抽出し、この補助画像データ102を圧縮してメイン画像記憶部17aに記憶する。これと共に画像記録再生制御部16は、単調シーンである旨のデータや単調位置を示す情報、或いは単調シーンの時間を示す情報等の補助画像管理情報を補助画像管理情報記憶部17bに記憶する。
一方、補助画像データが存在しない、単調シーンが無い、又は単調シーンの位置が無いのうちいずれか1つが判定されると、画像記録再生制御部16は、ステップS21に移り、通常通り画像データの全体をメイン画像記憶部17aに記憶する。
次に、制御部11は、ステップS22において、撮影モード中に、操作部21に対してユーザが例えば停止指示の操作を行ってその割り込みが入ったか否かを判定する。停止指示の割り込みが入ると、制御部11は、撮影を停止する。停止指示の割り込みが無ければ、ステップS11に戻って、上記の撮影処理を繰り返す。
次に、再生モードについて説明する。
制御部11は、ステップS11において、ユーザによって設定されている現在のカメラ1のモードすなわち撮影モード又は再生モードのいずれかに設定されるのかを判定する。この判定の結果、再生モードに設定されていると、画像記録再生制御部16は、ステップS31に移り、再生モードの処理を実行する。
先ず、画像記録再生制御部16は、ステップS32において、ユーザによる操作部21に対する再生画像の選択の操作を待つ。ユーザによって再生画像の選択の指示がなされると、画像記録再生制御部16は、ステップS33において、選択された再生画像が動画像データであるか否かを判定する。この判定の結果、再生画像が動画像データでなく、静止画の再生であれば、画像記録再生制御部16は、ステップS34に移り、静止画の画像データの再生処理を行う。
選択された再生画像が動画像データであれば、画像記録再生制御部16は、ステップS35に移り、ユーザによる操作部21に対する再生スタートの操作指示を待つ。再生スタートの操作指示を受けると、画像記録再生制御部16は、ステップS36に移り、選択された動画像データをメイン画像記憶部17aから読み出す。この動画像データの読み出しの単位は、例えばRAM15のメモリ容量によって制限されるが、適当なパケット単位で順次読み出される。
動画像データの全体をメイン画像記憶部17aから読み出すとき、画像記録再生制御部16は、当該動画像データの全体に関連する補助画像管理情報が補助画像管理情報記憶部17bに記憶されているか否かを判定し、当該補助画像管理情報が記憶されていれば、補助画像管理情報記憶部17bから対応する補助画像管理情報を併せて読み出す。そして、画像記録再生制御部16は、補助画像データの付帯された動画像データについて補助画像管理情報を参照しながら再生を開始する。すなわち、画像記録再生制御部16は、ステップS42に移り、指定された動画像データをメイン画像記憶部17aから読み出し、この動画像データを表示制御部19に送る。これにより、表示部19には、指定された動画像データが再生される。
次に、画像記録再生制御部16は、ステップS37において、動画像データの再生中、補助画像管理情報を参照して単調シーンの開始タイミングを判定する。この判定の結果、単調シーンの開始タイミングになるまでは、画像記録再生制御部16は、ステップS42に移って動画像データの再生すなわち通常の再生を続ける。
単調シーンの開始タイミングの判定の結果、単調シーンの開始タイミングになると、画像記録再生制御部16は、ステップS38に移り、補助画像管理情報から当該単調シーンに合成すべき補助画像データがあるか否かを判定する。この判定は、単調シーンの開始タイミングであると単調シーンと判定しても、単調シーンによっては適当な補助画像データが決定されていない場合もあるので行う。しかるに、画像記録再生制御部16は、対応する補助画像データが補助画像管理情報記憶部17bに記憶されていなければ、ステップS42に移り、補助画像合成を行わない通常の再生を行う。
一方、単調シーンの開始タイミングで、かつ対応する補助画像データが記憶されていると、画像記録再生制御部16は、ステップS39に移り、補助画像管理情報記憶部17bに記憶されている補助画像データの数、例えば図7(b)に示すように3つの補助画像データ101、102、103等に基づいて補助画像データの表示時間を決定する。なお、補助画像データの枚数が多ければ、画像記録再生制御部16は、第1乃至第2の補助画像データ等の各表示時間を短時間とする。補助画像データが1つのみの場合、画像記録再生制御部16は、単調シーンの全時間に補助画像データを合成するようにする。
すなわち、画像記録再生制御部16は、例えば単調な場面が延々と続く単調なシーンを含む動画像データの再生時になると、補助画像管理情報記憶部17bに記憶されている補助画像管理情報に基づいてメイン画像記憶部17aに記憶されている動画像データ中の所定の位置に例えば補助画像データ101、102、103等を合成するための再生処理の制御を行う。
画像合成部18aは、例えば動画像データ中に例えば単調な場面が延々と続く単調シーンの画像データ部分を含むと、この画像データ部分を動画像データ中から削除し、かつ当該削除した部分に例えば補助画像データ101、102、103等を挿入して合成画像データを作成する。これにより、表示制御部18は、ステップS40において、合成画像データを表示部19に表示する。
具体的に画像記録再生制御部16は、圧縮部や記録部、再生部、伸長部を有するので、これら圧縮部や記録部、再生部、伸長部によって補助画像管理情報記憶部17bから対応する補助画像データを読み出し、当該補助画像データを伸長処理する。画像合成部18aは、伸長処理された補助画像データを単調部分のサイズに合わせたサイズに拡大又は縮小するリサイズ処理を行い、単調位置と判定された画像データの部分を削除し、この削除した部分にリサイズ処理した補助画像データを合成する。
画像記録再生制御部16は、ステップS41において、単調シーンが終了したか否かを判定する。この判定の結果、単調シーンが終了していなければ、画像記録再生制御部16は、ステップS40に戻って合成画像データの再生を継続する。単調シーンが終了すると、画像記録再生制御部16は、ステップS41に移り、再生モード中に、操作部21に対してユーザが例えば停止指示の操作を行ってその割り込みが入ったか否かを判定する。停止指示の割り込みが入ると、画像記録再生制御部16は、カメラ1の動作を停止する。停止指示の割り込みが無ければ、ステップS32に戻って、上記の画像記録再生制御部16は、再生処理を繰り返す。
なお、単調シーンの判定及び補助画像データの表示は、上記説明に限らず、他の表示方法を用いてもよい。以下、単調シーンの判定及び補助画像データの表示例について説明する。
図9は単調シーンの判定及び対応する補助画像データの表示タイミングの具体的な例を示す。同図においてF1は、動画像データのコントラストの変化を示す。中間の横線であるHは、単調シーンの判定レベルを示す。従って、動画像データのコントラストF1が単調シーンの判定レベルH以下になり、その期間が一定時間、例えば5秒間以上続くと、単調場面判定部22aは、当該期間t1又はt2を単調シーンであると判定する。なお、単調シーンの判定結果は、期間t1又はt2のうちいずれか一方を採用すればよい。なお、単調場面判定部22aは、単調シーンと判定された期間t1又はt2にハイレベル「1」の単調シーン判定信号を出力し、それ以外の単調シーンでない期間にローレベル「0」の信号を出力する。
このような単調シーンの判定であれば、動画像データのコントラストF1が単調シーンの判定レベルH以下になる期間が一定時間、例えば5秒間以上続くところを単調シーンとして判定するので、動画像データのコントラストF1が単調シーンの判定レベルH以下になる期間が一定時間以内であれば、単調シーンであると判定しない。図9に示す動画像データのコントラストF1は、期間t1又はt2を過ぎた後に例えば2回単調シーンの判定レベルH以下になるが、これらのタイミングで単調シーンであると判定されることはない。
次に、補助画像データの合成を開始するタイミングについて説明する。
単調シーンの開始時間は、例えば上記図2及び図3に示すように単調シーンが発生してから数秒後、例えば5秒経過後に補助画像データを合成して再生することを説明した。この補助画像データの合成するタイミングは、図9に示す期間t1に補助画像データを合成することに該当する。これに限らず、同図に示す期間t2のように単調シーンと判定された時点から単調シーンが始まったとして、当該単調シーンの開始時点から期間t2の全期間に亘って補助画像データを合成するような処理をしてもよい。
次に、補助画像データの切り換え表示の例について説明する。
第1に、例えば単調シーンの期間t1中で補助画像データが1つ継続して存在していると、画像合成部18aは、単調シーンの期間t1中に1つの補助画像データJ1を合成して連続して表示する。
第2に、補助画像データが途中で切り換わる例である。単調シーンの間に補助画像データが連続して存在するとは限らない。例えば2つの補助画像データが有ると、画像合成部18aは、例えば単調シーンの期間t1中の前半に第1の補助画像データJ2を表示する。この第1の補助画像データJ2の表示が終了すると、画像合成部18aは、通常の動画像データを表示する。そして、第2の補助画像J2が撮影された時間すなわち単調シーンの期間t1中の後半になると、画像合成部18aは、第2の補助画像データJ3を表示する。
第3に、補助画像データとして同時に複数が存在する場合で、例えば上記図4に示すシーンである。例えば3つの補助画像データJ2〜J4が存在すると、画像合成部18aは、例えば単調シーンの期間t1中の前半に第1の補助画像データJ2を表示する。この第1の補助画像データJ2の表示が終了すると、画像合成部18aは、例えば単調シーンの期間t1中の中間に第2の補助画像データJ3を表示する。そして、第3の補助画像J4が撮影された時間すなわち単調シーンの期間t1中の後半になると、画像合成部18aは、第3の補助画像データJ4を表示する。
なお、以上の単調シーンの判定及び補助画像データの抽出は、撮影時に行うことで説明した。これに限らず、再生モード時に全ての処理を行ってもよい。例えば、再生モード時に再生する動画像データのコントラスト等を検出して単調シーンであるか否かの判定を行う。単調シーンであると判定すると、上記撮影中に補助画像データを抽出したと同様に画像データ中に顔部分の画像データが有れば、当該顔部分の画像データを切り出して画像データ中の単調データ部分に貼り付けて合成画像を作成する。これにより、上記同様に動画像データ中の単調シーンの部分に代えて補助画像データが表示される。このような再生装置としては、例えばカメラ1から撮像機能と記録機能、例えば撮像部14や画像記録再生装置16の記録機能を除くことで実現できる。
このように上記一実施の形態によれば、カメラ1の撮影により取得された動画像データ中で一定期間に亘って単調な部分を変化判定部22によって判定し、動画像データの再生時に、動画像データ中から単調部分に代える補助画像データを補助画像判定部23によって判定し、動画像データを記憶すると共に、単調部分の画像データに関する情報及び補助画像データに関する情報を記憶部に記憶する。そして、動画像データ中の単調部分に代えて補助画像データを画像合成部18によって合成し、当該合成した動画像データを表示部19に表示する。このうち単調部分の画像データの判定は、動画像データのコントラスト又は色分布に基づいて行う、又は動画像データのコントラストが一定期間連続して低い部分を単調部分の画像データと判定する。これにより、動画像データに適切な変化を持たせることができ、単調にならずに動画像データの鑑賞を楽しむことができる。
具体的には、例えば図2(a)〜(c)に示すように運動会等で走って来る子供とこの子供を声援する家族とを一緒に撮影したシーンで、子供である主被写体以外の顔、例えば家族を合成した画像の再生ができる。図3(a)〜(c)に示すように主被写体の顔部分を拡大して動画像データ中の背景部分の一部に挿入できる。又、図4(a)〜(c)に示すように動画像データの中央部に人物が近づいて来るようなシーンのみならず、走っている人物を動画像データの中央部に撮影されるように人物を追った画像データを取得できる。
これにより、退屈しない動画像データを簡単に撮影することができる。又、撮影時には意識されなかった例えば主被写体である子供と同様に動いている人物の顔に変化があって面白いことが多いので、このような顔画像を補助画像データとして合成して表示することができる。これにより、さらに表示部19に表示される動画像に変化を付けることができ、単調なシーンを面白くする効果がある。又、単調な場面が延々と続くような動画像データが出来上がるようなことは無くなり、動画を楽しく鑑賞することができる。又、単調な場面が延々と続く動画像データから冗長で不要な画像データの部分を撮影後に編集して削除することも無くなり、編集に係る手間が無くなる。
なお、本発明は、上記一実施の形態に限定されるものでなく、次の通りに変形してもよい。
例えば動画像データ中に判定する単調シーンの部分は、1箇所に限らず、複数個所判定してもよい。これら判定された各単調シーンの部分にそれぞれ各補助画像データを挿入して表示してもよい。又、補助画像データは、人物の顔部分の画像データに限らず、例えば主被写体の背景や動きのある物体等にしてもよい。
又、制御部11の各処理は、ソフトウエアに限らず、その一部又は全てをハードウエアで構成してもよい。逆にハードウエアとして説明した画像判定部20等は、ソフトウエアにのより構成してもよい。制御部11による各制御処理は、ROM13に格納されているソフトウエアプログラムに従って実行することで実現できる。従って、上記ソフトウエアのプログラム自体は、カメラ1の制御部11の機能を実現することになる。
ROM13やRAM15等の記録媒体は、例えばフラッシュメモリ以外でも、CD−ROM、DVD等の光学記録媒体、MD等の磁気記録媒体、テープ媒体、ICカード等の半導体メモリ等を用いることが可能である。
又、本発明の一実施の形態は、デジタルのカメラ1に適用した例を説明したが、これに限らず例えば携帯電話のカメラに適用してもよい。
さらに、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。