以下、図面に従って本発明を適用したカメラを用いて好ましい実施形態について説明する。本発明の好ましい一実施形態に係わるカメラは、デジタルカメラであり、撮像部を有し、この撮像部によって被写体像を画像データに変換し、この変換された画像データに基づいて、被写体像を本体の背面に配置した表示部にライブビュー表示する。撮影者はライブビュー表示を観察することにより、構図やシャッタチャンスを決定する。レリーズ釦を操作することにより、静止画の画像データが記録媒体に記録される。また、動画釦を操作することにより動画撮影が開始され、再度、動画釦を操作することにより、動画撮影が終了する。この動画撮影中にレリーズ釦を操作すると、動画と同時に静止画の画像データが記録される。記録媒体に記録された動画および静止画の画像データは、再生モードを選択すると、表示部に再生表示することができる。
図1は、本発明の一実施形態に係わるカメラ1の構成を示すブロック図である。制御部(CPU:Central Processing Unit)11は、プログラム/データ記憶部12に記憶された制御プログラムに従って動作し、デジタルカメラの全体制御を行う。制御部11内には、表示制御部11a、動画制御部11b、静止画制御部11c、部分画像抽出部11d、画面変化判断部11eが設けられている。制御部11内の11a〜11eは、制御プログラムにより実行される処理の一部であるので、制御部11に含まれる機能部として説明する。
表示制御部11aは、静止画撮影や動画撮影中に被写体確認用にライブビュー画像の表示制御を行う。また、図3ないし図7を用いて後述するように、動画撮影中に静止画撮影が行われた場合には、後述する部分画像抽出部11dによって抽出された静止画の部分画像を、静止画が撮影された時点でその部分画像が存在していた位置に、所定期間の間、ライブビュー画像に重畳して表示する。また、表示制御部11aは、部分画像抽出部11dによって抽出された部分画像と、対応する動画の画面上で重畳して表示する位置を示す位置情報を画像データと共に記録させる。
また、表示制御部11aは、動画再生中に、静止画が撮影されたタイミング、動画撮影中に撮影された静止画の部分画像を、静止画が撮影された時点でその部分画像が存在していた位置に重畳して表示する。さらに、表示制御部11aは、上述の表示以外にも、静止画撮影時のライブビュー画像の表示、レックビュー表示、画像記憶部24に記憶された静止画や動画の撮影画像の再生表示、およびメニュー画面等を表示する。
動画制御部11bは、動画撮影時の撮影制御を行う。すなわち、動画釦が操作されると動画撮影を開始し、動画釦が再度の操作されると動画撮影を終了する。この間、撮像部15から出力される動画の画像データを画像処理部17や動画圧縮伸張部20によって処理し、動画記録部・再生部22によって画像記憶部24に動画の画像データを記憶する。
静止画制御部11cは、静止画撮影時の撮影制御を行う。静止画撮影は、レリーズ釦が操作されたタイミングで、撮像部15から出力される画像データを画像処理部17や静止画圧縮伸張部21によって画像処理した後、静止画記録再生部23によって、画像記憶部24に記憶する。
部分画像抽出部11dは、撮影された静止画像の特定部分を部分画像として抽出する。すなわち、部分画像抽出部11dは、画面の被写体から動きの有る部分(特定部分)を検出し、撮影した静止画からこの特定部分の部分画像として抽出する。周知の追尾技術を利用すればよい。特定部分として抽出する部分としては、動きのある部分以外にも、「顔」あるいは「人物」を対象としてもよい。
画面変化判断部11eは、画面に所定以上の変化があったことを判断する。すなわち、画面変化判断部11eは、画面の数か所の範囲について、その輝度や色相を所定時間間隔で比較し、一定以上の変化が検出されれば、画面に変化があったと判断する。また、画面変化判断部11eは、カメラの向きが変化した場合やズームによって画面が拡大・縮小された場合等、部分画像が画面上で移動した場合には、画面上での移動量も検出する。前述の表示制御部11aは、画面変化判断部11eによって変化があったことを判断した場合には、それ以降、部分画像の表示を中止する。なお、変化が小さい場合には、部分画像の表示を中止せず、画面上での移動量に応じた位置に部分画像を表示させる。
制御部11には、プログラム/データ記憶部12、操作部13、およびバス25が接続されている。プログラム/データ記憶部12は、不揮発性のメモリであり、前述したように制御部11において実行するプログラムや、各種データを記憶している。
操作部13は、ユーザがカメラに指示を与えるための各種操作部材を有する。各種操作部材としては、電源釦、レリーズ釦、動画釦、十字釦、OK釦、再生釦等を有し、各種操作部材の操作状態の検出結果を制御部11に出力する。
バス25には、前述の制御部11の他に、撮像部15、SDRAM16、画像処理部17、表示ドライバ部18、動画圧縮伸張部20、静止画圧縮伸張部21、動画記録・再生部22、静止画記録・再生部23が接続されている。撮像部15は、被写体像を結像させるための撮影レンズ、被写体像を画像データに変換するための撮像素子、およびこれらの処理回路、撮影レンズの光路中に介挿された絞りおよびシャッタ等を含む。撮像部15によって生成された画像データはバス25に出力される。
SDRAM(Synchronous Dynamic Random Access Memory)は電気的に書き換え可能な不揮発性の一時記憶メモリであり、撮像部15から出力される画像データの一時記憶に用いられる。画像処理部17は、デジタル画像データのデジタル的増幅(デジタルゲイン調整処理)、ホワイトバランス、色補正、ガンマ(γ)補正、コントラスト補正、ライブビュー表示用画像生成、動画画像生成等の各種の画像処理を行なう。
動画圧縮伸張部20は、SDRAM16に一時記憶された動画の画像データをMPEG等の圧縮方式により圧縮し、また表示等のために伸張するための回路である。静止画圧縮伸張部21は、SDRAM16に一時記憶された静止画の画像データをJPEGやTIFF等の圧縮方式により圧縮し、また表示等のために伸張するための回路である。動画圧縮伸張部20と静止画圧縮伸張部21を別々に設けていることから、動画撮影中に静止画の撮影を行った場合でも、両者の画像データを並行して処理することが可能である。なお、画像圧縮はMPEG、JPEG、TIFFに限らず、他の圧縮方式も利用してもよい。
表示ドライバ部18は、撮影時にはライブビュー表示、再生時には再生画像を、表示部19に表示させる。特に、動画撮影中に静止画撮影がなされた場合には、表示ドライバ部18は表示制御部11aに指示に従って静止画の部分画像を表示部19に表示させる。同様に、動画の再生表示中に静止画撮影のタイミングに同期して静止画の部分画像を表示させる。表示部19は、表示ドライバ部18に接続されており、本体の背面等に配置された液晶モニタや有機EL等のディスプレイを有し、表示ドライバ部18による制御により画面に所定の画像が表示される。
動画記録・再生部22は、動画圧縮伸張部20において圧縮された動画の画像データを画像記憶部24に記憶し、また、画像記憶部24に記憶された動画の画像データを読み出す。この読み出された画像データは、動画圧縮伸張部20において伸張され、この伸張された画像データに基づいて、表示部19に画像が再生表示される。
静止画記録・再生部23は、静止画圧縮伸張部21において圧縮された画像データを画像記憶部24に記憶し、また、画像記憶部24に記憶された静止画の画像データを読み出す。この読み出された画像データは、静止画圧縮伸張部21において伸張され、この伸張された画像データに基づいて、表示部19に画像が再生表示される。動画記録・再生部22と静止画記録・再生部23を別々に設けていることから、動画撮影中に静止画の撮影を行った場合でも、また動画再生中に静止画撮影のタイミングになった場合でも、両者の画像データを並行して処理することが可能である。
画像記憶部24は、動画記録・再生部22および静止画記録・再生部23に接続されており、カメラ本体に内蔵、または装填可能な画像データの記録媒体である。画像データのタグ(ヘッダ)には、撮影日時等が記録されている。また、動画撮影中に静止画撮影がなされ、部分画像が抽出された場合には、部分画像を示す画像情報と、対応する動画の画面上で重畳して表示される位置を示す位置情報が、対応する動画の画像情報に関連付けて記憶される。
次に、図2および図3を用いて、動画撮影中に静止画撮影を行った場合のライブビュー表示について説明する。図2は、以降で説明に使用する撮影例を示すものである。図2において、横軸は時間軸であり、時刻t1において動作撮影を開始し、時刻t2において静止画A、時刻t3において静止画B、時刻t4において静止画C、時刻t5において静止画D、時刻t6において静止画E、時刻t7において静止画Fをそれぞれ撮影する。
部分画像を画面に表示させる場合には、フェードアウトさせる。静止画Aにおいて示す直角三角形状は、部分画像の輝度変化(フェードアウト)を示し、静止画撮影時の時刻t2において表示輝度が最も高く、その後、次第に表示輝度が低下し、所定時間が経過すると最終的には、時刻t4とt5の間において静止画Aの部分画像の表示が消滅することを示している。静止画B〜Fも同様に、静止画撮影時には、表示輝度が最も高く、その後次第に表示輝度が低下し所定時間経過後、最終的には消滅する。
図3(b)〜(f)は、それぞれ時刻t4〜t8におけるライブビュー表示を示し、図3(a)は、図3(b)〜(f)に示す部分画像Ap〜Fpの動きをまとめて表現した図である。すなわち、図3(b)は、時刻t4におけるライブビュー表示であり、図2から分かるように、静止画A、Bの部分画像が残像のように所定時間の間、表示されている。したがって、時刻t4では、この時点での実像であるCr1、Cr2,Cr3が表示されると共に、静止画A、Bの2枚の静止画から抽出された部分画像Ap、Bpが表示される。
同様に、図3(c)は、時刻t5におけるライブビュー表示であり、この時点の実像であるDr1〜Dr3が表示されると共に、3枚の静止画A〜Cから抽出された部分画像Ap〜Cpが表示される。なお、部分画像Apは、時刻t5になると表示輝度が低下しており、部分画像としては薄く表示される。図3(d)は、時刻t6におけるライブビュー表示であり、この時点の実像であるEr1〜Er3が表示されると共に、静止画Dから抽出された部分画像Dpが表示される。部分画像Dpは、時刻t6になると表示輝度が低下しており、部分画像としては薄く表示される。
同様に、図3(e)は、時刻t7におけるライブビュー表示であり、この時点の実像であるFr1〜Fr3が表示されると共に、静止画D、Eから抽出された部分画像Dp、Epが表示される。部分画像Dpは、時刻t7になると表示輝度が低下しており、部分画像としては薄く表示される。図3(f)は、時刻t8におけるライブビュー表示であり、この時点の実像であるGr1〜Gr3が表示されると共に、静止画E,Fから抽出された部分画像Ep、Fpが表示される。部分画像Epは、時刻t8になると表示輝度が低下しており、部分画像としては薄く表示される。
図2および図3に示した例では、部分画像Ap〜Fpは、同一画面内で移動するものの、撮影画角や方向は変化していない。それに対して図4(b)〜(d)に示す例は、撮影画角や方向が変化する場合である。なお、図4(a)は、図3(b)に対応する表示である。この図4(a)に示す状態から、撮影者がカメラを大きく右に振る(右にパン)と、図4(b)に示すように、部分画像を表示すべき位置は画面外になってしまう。この状態では、表示制御部11aは、部分画像Ap、Bpをライブビュー表示しないようにする。
しかし、画面の変化が少しの場合には、図4(c)に示すように、静止画の撮影時に存在していた位置に部分画像Ap、Bpを表示する。すなわち、表示制御部11aは、撮影時の画面内における部分画像(Ap、Bp)の位置と、現在表示されている実像Cr1、Cr2の位置が相対的な関係を保つように、部分画像Ap、Bpを表示する。
なお、大きく画面が変化し、変化した画面内に静止画撮影時の部分画像が位置しない場合には、本実施形態においては、図4(b)に示すように、部分画像を表示しなかったが、図4(d)に示すように、部分画像を位置に無関係に表示するようにしても構わない。この場合には、静止画撮影時の部分画像の画面内における絶対的に表示する。なお、図4(b)〜(c)において、画面の移動は、画面変化判断部11eにおいて判断する。
以上の説明は、動画撮影中における表示であったが、次に、図5ないし図7を用いて、動画の再生表示について説明する。ここでは、動画撮影中において静止画撮影を行った場合の表示を中心説明する。
図5(a)は、動画再生モードでの静止画の部分画像の表示を示しており、再生表示の際にも、動画撮影中におけるライブビュー表示と同様の表示を行う。すなわち、時刻t11において動画の再生を開始すると、時刻t12には時刻t2において撮影した静止画Aの部分画像Apを表示する。この部分画像Apの表示にあたって、直角三角形状は輝度変化を示し、時刻t12において表示輝度が最も高く、その後、次第に表示輝度が低下し、最終的には、時刻t14とt15の間において部分画像Apの表示が消滅することを示している。
以下同様に、時刻t13において静止画Bの部分画像Bp、時刻t14において静止画Cの部分画像Cp、時刻t15において静止画Dの部分画像Dp、時刻t16において静止画Eの部分画像Ep、時刻t17において静止画Fの部分画像Fpをそれぞれ再生開始する。部分画像Bp〜Fpも同様に、表示開始時には、表示輝度が最も高く、その後次第に表示輝度が低下し最終的には消滅する。
このように、本実施形態においては、動画撮影中と同様に、静止画の部分画像を所定時間の間、表示し、しかもフェードアウトするように表示を行っている。なお、動画撮影中および再生の際には、部分画像の表示の開始時には最高輝度で表示し、フェードアウトさせていた。しかし、動画撮影中または再生時に、フェードインで表示を開始するようにしても勿論かまわない。また、図5(b)に示すように、動画の再生時に、静止画の部分画像を最後まで一定輝度で表示するようにしても、勿論かまわない。
さらに、動画再生中に静止画の部分画像を再生する際に、図6(a)に示すように、動画をスロー再生するようにしてもよい。この場合、スロー再生時間は、適宜、設定すればよいが、例えば、4秒程度あればよい。静止画を撮影したタイミングは、シャッタチャンスであり、印象に残るようなシーンであることから、静止画撮影前後をゆっくり再生する。
また、図6(b)に示すように、静止画撮影されたタイミングで、その部分画像を、2秒程度、スロー再生した後に、その部分画像を含む静止画の全体画像を1秒程度、再生表示し、再度、部分画像を2秒程度、スロー再生するようにしても構わない。また、図6(c)に示すように、静止画撮影されたタイミングで動画再生を一時中断して、その静止画を所定時間(例えば1秒)表示させ、その後、動画再生を再開する。つまり、動画再生の間に、静止画の全体画像を表示するようにしても勿論かまわない。図6(a)〜(c)に記載のスロー再生の時間や静止画の全体表示の時間は、適宜、変更してもよい。
図7(a)は、表示部19における動画と静止画の再生表示の際の画面を示す。表示部19の表示画面の上部から中央部にかけて動画を表示するための動画表示ウインド19aが設けられている。また表示部19の表示画面の下部には動画サムネイル19が横一列に配置されている。動画サムネイル19dは、動画全体から、等時間間隔(例えば5秒)で抽出されたサムネイル画像である。動画サムネイル19dは等時間間隔の画像なので、動画サムネイルの19dの例は、時間軸にも相当する。
動画サムネイル19dの上部には、カーソル19cが配置されている。カーソル19cは、動画表示ウインド19aがどこの位置を現在再生中かを示す。また、カーソル19cは、動画表示ウインド19aに再生中の動画の再生開始からの時間に応じて、左側から右側に移動して行き、動画再生終了時には右端に達する。ユーザは、このカーソル19cの位置を見ることにより、現在の再生位置を確認することができる。
カーソル19cと動画表示ウインド19aの間に、静止画サムネイル19bが横一列に配置されている。静止画サムネイル19は、その静止画が撮影されたタイミングに相当する動画サムネイル19d列の位置に配置される。静止画サムネイル19bの各サムネイルは、右肩上がりとなるように、傾けて配置されている。左下隅の位置が静止画撮影のタイミングを示している。なお、右肩上がりとは、逆に、左肩下がりで配置するようにしても勿論かまわない。
このような表示画面で構成されていることから、動画の再生が開始すると、開始からの時間に応じてカーソル19cが移動する。そして、時間の経過に応じて、動画表示ウインド19aには、図3、図4に示したような静止画の部分画像を重畳した動画が表示される。
なお、静止画付きの動画の再生画面としては、図7(a)に示すような画面に限られない。例えば、図7(b)に示すような画面であっても勿論かまわない。図7(b)に示す例においても、動画表示ウインド19aは、表示部19の表示画面の上部から中央部にかけて配置されている。
表示部19の表示画面の下部には動画の時間軸19gが横一直線に配置されている。時間軸19g上に、カーソル19fが配置されている。カーソル19fは、カーソル19cと同様、動画の再生開始からの時間に応じて、左側から右側に移動して行き、動画再生終了時には右端に達する。また、時間軸19g上には、静止画撮影タイミング19hが表示されている。
時間軸19gと動画表示ウインド19aの間に、静止画サムネイル19eが横一列に配置されている。静止画サムネイル19eの撮影時は、厳密には静止画撮影タイミング19hに表示され、静止画サムネイル19eの位置は、撮影時付近に配置される。
本実施形態の表示画面の変形例はこのように構成されていることから、動画の再生が開始すると、開始からの時間に応じてカーソル19fが移動する。そして、時間の経過に応じて、動画表示ウインド19aには、図3、図4に示したような静止画の部分画像を重畳した動画が表示される。
次に、本実施形態における動作を図8ないし図12に示すフローチャートを用いて説明する。これらのフローチャートは、プログラム/データ記憶部12に記憶されているプログラムに従って制御部11が実行する。図8に示す動画撮影のフローに入ると、まず、通常ライブビューを表示する(S1)。ここでは、撮像部15によって取得された画像データに基づいて、表示部19に通常のライブビュー表示を行う。通常のライブビュー表示では、図2ないし図4を用いて説明したような静止画の部分画像の表示は行わない。
通常のライブビュー表示を行うと、次に、動画撮影開始の指示があるか否かの判定を行う(S3)。ここでは、操作部13の内の1つである動画釦の操作状態を判定する。この判定の結果、動画撮影開始の指示がない場合には、ステップS1に戻り、通常のライブビュー表示を続行する。
一方、ステップS3における判定の結果、動画撮影開始の指示があった場合には、次に、動画撮影を開始し(S5)、動画記録を行う(S7)。ここでは、撮像部15によって取得された画像データを画像処理部17、動画圧縮伸張部20において処理した後、動画記録・再生部22によって画像記憶部24に動画の画像データの記録を行う。この動画撮影と記録は、後述するステップS17において、動画撮影の停止操作がなされるまで続行する。
動画撮影および記録を開始すると、次に、静止画撮影開始指示がなされたか否かを判定する(S9)。ここでは、操作部13の内の1つであるレリーズ釦の操作状態を判定する。この判定の結果、静止画撮影開始の指示があった場合には、部分画像重畳処理を行う(S11)。この部分画像重畳処理は、静止画の中から動きのある被写体を部分画像として抽出し、この部分画像を動画に重畳させる。部分画像重畳処理の詳しい動作については、図10を用いて後述する。
ステップS9における判定の結果、静止画撮影開始の指示がない場合には、次に、既に重畳表示中の部分画像があるか否かの判定を行う(S13)。本実施形態においては、部分画像を表示すると、次第に表示画像の輝度を低下させるフェードアウトを行っている。そこで、このステップでは、フェードアウト中の部分画像があるか否かを判定する。
ステップS13における判定の結果、重畳表示中の部分画像がない場合には、次に、通常のライブビュー表示を行う(S15)。ここでは、表示中の部分画像がないことから、ステップS1と同様の通常のライブビュー表示を行う。
ステップS13における判定の結果、既に重畳表示中の部分画像がある場合には、次に、直前の画面と現在の画面を比較する(図9のS21)。図4を用いて説明したように、カメラが振られ、画面自体が移動する場合がある。そこで、画面が振られたか否かを判定するために、このステップでは、画面変化判断部11eが、直前の画面と現在の画面を比較する。
続いて、画面が大きく変化したか否かを判定する(S23)。ここでは、ステップS21における比較結果に基づいて、画面変化判断部11eが判定する。画面が大きく変化したとは、図4(b)を用いて説明したように、静止画から抽出した部分画像が移動後の画面内に位置しない程度に、画面が移動した場合を言う。この判定の結果、画面が大きく判定した場合には、ステップS15に進み、通常のライブビュー表示を行い、部分画像を表示しない。
ステップS23における判定の結果、画面が大きく変化しなかった場合には、次に、画面が小さく変化したか否かを判定する(S25)。ここでは、ステップS21における比較結果に基づいて、画面変化判断部11eが判定する。画面が小さくく変化したとは、図4(c)を用いて説明したように、画面は移動したが、静止画から抽出した部分画像が移動後の画面内に位置している程度の場合を言う。
ステップS25における判定の結果、画面が小さく変化した場合には、次に、部分画像を画面の変化に応じて対応する位置に表示する(S27)。ここでは、図4(c)に示したように、画面の移動に応じて、部分画像の位置を移動させ、部分画像の位置と実像の相対的位置関係を保つように表示を行う。
ステップS27において部分画像を表示すると、またはステップS25における判定の結果、画面が変化していなかった場合には、次に、経過時間に応じて部分画像の精度を低下させる(S29)。前述したように、部分画像をフェードアウトで表示することから、時間と共に、表示輝度を低下させる。
続いて、動画上で部分画像が重畳表示される位置・タイミングおよび低下させる輝度等に関する一連の情報を記録する(S30)。動画を再生表示する際に、図5ないし図7において説明したような静止画の部分画像も表示させるにあたって必要な一連の情報を、動画の画像データに関連付けて画像記憶部24に記憶する。
ステップS11において部分画像重畳処理を行うと、またはステップS15において通常のライブビュー表示を行うと、またはステップS30において一連の情報を記録すると、次に、動画撮影停止操作があったか否かの判定を行う(図8のS17)。ここでは、動画釦が再度、操作されたか否かを判定する。この判定の結果、動画撮影停止操作がなされていなかった場合には、ステップS5に戻り、動画撮影を続行する。
ステップS17における判定の結果、動画撮影停止操作がなされた場合には、次に、電源オフ操作があったか否かの判定を行う(S19)。ここでは、操作部13の内の1つである電源釦が操作されたか否かに基づいて判定する。この判定の結果、電源オフ操作がなかった場合には、ステップS1に戻り、前述の処理を行う。一方、電源オフ操作がなされた場合には、動画撮影モードを終了する。
次に、ステップS11の部分画像重畳処理について、図10に示すフローチャートを用いて説明する。部分画像重畳処理のフローに入ると、まず、静止画撮影を行い(S31)、静止画記録を行う(S33)。ステップS9において、静止画撮影の指示があったことから、ここでは、撮像部15によって取得された画像データを画像処理部17、静止画圧縮伸張部21において処理した後、静止画記録・再生部23によって画像記憶部24に動画の画像データの記録を行う。
静止画撮影および記録を行うと、次に、静止画に動きのある被写体が含まれているか否かの判定を行う(S35)。このステップでは、画面変化判断部11eが、静止画の撮影前後の画面を対比し、動きのある部分があるか否かを判定する。この判定の結果、動きのある被写体が含まれていなかった場合には、ステップS1やS15と同様に、通常のライブビュー表示を行う(S45)。
一方、ステップS35における判定の結果、静止画に動きのある被写体が含まれていた場合には、次に、静止画から動きのある被写体部分を部分画像として抽出する(S37)。ここでは、部分画像抽出部11dが静止画の撮影前後を比較し動きのある部分の画像を、部分画像として抽出する。
ステップS37において部分画像を抽出すると、次に、部分画像と、動画とこの部分画像との関係情報を記録する(S39)。ここでは、ステップS37において抽出された部分画像の画像データを画像記憶部24に記憶する。また、静止画撮影のタイミングと、この静止画撮影時の動画画面中における部分画像の位置等の関係情報を、部分画像と関連付けて画像記憶部24に記憶する。
ステップS39において関係情報を記録すると、次に、抽出した部分画像をライブビューの対応する位置に重畳する処理を行う(S41)。ここでは、表示制御部11aが、ステップS37において抽出した部分画像を、ライブビュー画像中の対応する位置に重畳する。この重畳処理を行うと、次に、部分画像付きライブビューを表示する(S43)。ここでは、表示ドライバ部18が、ステップS41において重畳処理された部分画像付きのライブビューを表示する。
ステップS43において部分画像付きのライブビューを表示すると、またはステップS45において通常のライブビューを表示すると、元のフローに戻る。
次に、動画再生の動作について、図11に示すフローチャートを用いて説明する。動画再生モードのフローに入ると、まず、動画再生指示がなされたか否かの判定を行う(S51)。再生釦が操作される等によりカメラが再生モードに入ると、静止画や動画のサムネイル表示がなされる。このステップでは、十字釦やOK釦、またはタッチパネル等の操作により動画のサムネイルのいずれかが選択されたか否かを判定する。動画再生指示がない場合には、動画再生指示がなされるのを待つ。なお、静止画のサムネイルが選択された場合には、通常の静止画再生が行われるが、本実施形態においては説明を省略する。
ステップS51における判定の結果、動画再生指示がなされた場合には、次に、再生動画に対応する部分画像とその関係情報を読み出す(S53)。ステップS30において、部分画像と関係情報が画像記憶部24に記憶されており、このステップS53では、画像記憶部24から再生画像に対応する部分画像と関係情報を読み出す。
続いて、動画再生を行う(S55)。ここでは、ステップS51で選択された動画の画像データを動画記録・再生部22によって画像記憶部24から読み出し、動画圧縮伸張部20において画像伸張した後、表示ドライバ部18によって表示部19に動画を再生表示する。この動画再生は、後述するステップS57において動画再生停止操作がなされたと判定されるまで、順次動画の画像データを読み出し再生表示する。
動画再生を行うと、次に、対応する新規の部分画像があるか否かの判定を行う(S57)。動画再生開始から時間が経過するに応じて、新規の部分画像が出現する。図5(a)に示した例では、時刻t12、t13、・・・t17において、それぞれ新規の部分画像が出現しており、これらの部分画像が出現するタイミングは、ステップS53において読み出した関係情報に基づいて判定する。
ステップS57における判定の結果、新規の部分画像があった場合には、次に、部分画像を動画の対応位置に重畳処理を行う(S59)。ここでは、表示制御部11aが、画像記憶部24から読み出した部分画像を、関係情報に基づいて動画の対応位置に重畳処理を行う。
ステップS59において重畳処理を行うと、次に、部分画像付き動画を再生する(S61)。ここでは、ステップS59において生成された部分画像付きの動画を、表示ドライバ部18が表示部19に表示する。
ステップS57における判定の結果、新規の部分画像がなかった場合には、次に、既に部分画像が表示中であるか否かを判定する(S63)。ステップS61において部分画像付き動画を再生し、この部分画像が消滅していなければ、ここでの判定はYesとなる。
ステップS63における判定の結果、部分画像が表示中でなければ、次に、通常動画を再生する(S65)。ここでは、ステップS51において選択された動画について、部分画像が重畳表示されることなく、通常の再生が行われる。
ステップS63における判定の結果、部分画像が表示中であった場合には、次に、直前の画面と現在の画面を比較する(図12のS71)。画面変化判断部11eは動画で現在表示中の画面と、直前の画面を比較する。この比較は、次の2ステップで行う画面変化を判定するためである。
続いて、画面が大きく変化したか否かを判定する(S73)。ここでは、ステップS71における比較結果に基づいて、画面変化判断部11eが判定する。画面が大きく変化したとは、動画撮影時の場合と同様に、部分画像が画面内に位置しない程度に、動画の画面が移動した場合を言う。この判定の結果、画面が大きく判定した場合には、ステップS65に進み、通常の動画再生を行い、動画撮影時の場合と同様(図4(b)参照)、部分画像の重畳表示は行わない。
ステップS73における判定の結果、画面が大きく変化しなかった場合には、次に、画面が小さく変化したか否かの判定を行う(S75)。ここでは、ステップS71における比較結果に基づいて、画面変化判断部11eが判定する。画面が小さくく変化したとは、動画撮影時の場合と同様、画面は移動したが、部分画像が動画の画面内に位置している程度の場合を言う。
ステップS75における判定の結果、画面が小さく変化した場合には、次に、部分画像を画面の変化に応じて対応する位置に表示する(S77)。ここでは、動画撮影時と同様に(図4(c)参照)、画面の移動に応じて、部分画像の位置を移動させ、部分画像の位置と動画の画面の相対的位置関係を保つように表示を行う。
ステップS77において部分画像を表示すると、またはステップS75における判定の結果、画面が変化していなかった場合には、次に、経過時間に応じて部分画像の精度を低下する(S79)。撮影時のライブビュー表示の場合と同様(図3(b)〜(f)参照)、部分画像をフェードアウトで表示することから、時間と共に、表示輝度を低下させる。
ステップS79において部分画像の精度を低下させると、またはステップ61において部分画像付き動画を再生すると、またはステップS65において通常の動画再生を行うと、次に、動画再生停止操作があったか否かを判定する(図11のS67)。ここでは、操作部13の内の動画再生終了用の操作部材が操作されてか否かを判定する。
ステップS67における判定の結果、動画再生停止操作がなされていなかった場合には、ステップS55に戻り、動画再生を続行する。一方、ステップS67における判定の結果、動画再生停止操作がなされた場合には、電源オフ操作があったか否かの判定を行う(S69)。ここでは、操作部13の内の1つの電源釦が操作されたか否かに基づいて判定する。この判定の結果、電源オフ操作がなされていなかった場合には、ステップS53に戻り、前述の動作を実行する。
以上説明したように、本発明の一実施形態や変形例においては、表示制御部11aは、動画撮影中に静止画撮影が行われた場合に(S9→Yes)、撮影された静止画から部分画像抽出部11dによって抽出された部分画像を、静止画撮影された時点で抽出された部分が存在していたライブビュー画像の位置に、静止画撮影後の所定期間、重畳して表示させるようにしている(S11)。このため、動画と組わせる形式で静止画を表現することができ、動画中に撮影した静止画をより活用することができる。また、静止画部分画像が撮影した時点での位置で、動画ライブビューに表示されるので、動画モニタを中断することなく、静止画のレックビューを確認することができる。
また、本発明の一実施形態や変形例においては、再生表示する際に、画像記憶部24から読み出した動画の再生中に、静止画の撮影されたタイミングで(S57→Yes)、動画撮影中に撮影された静止画の一部の画像である部分画像を、静止画が撮影された時点で部分画像が存在していた動画画面の位置に重畳して表示部19に表示するようにしている(S59、S61)。このため、動画再生と静止画再生を分離せずに、組み合わせて表示することができる。
なお、本発明の一実施形態においては、動画の撮影時に、静止画から部分画像を抽出すると共に、ステップS30において、動画上で部分画像が重畳表示される位置・タイミングおよび低下させる輝度等に関する一連の情報を画像記憶部24に記憶していた。このように、再生時に利用な一連の情報を記録することにより、再生時に処理負担が軽くなる。しかし、撮影時のカメラの負担が重くなることから、このステップS30において一連の情報記録を省略し、再生時に動画の画像データに基づいて処理するようにしても勿論かまわない。また、部分画像を表示する場合に輝度をフェードアウトさせるようにしたが、表示の変化としては、カラー画像から次第に白黒画像に変化させたり、次第にコントラストを低下させたりするようにしてもよい。
また、本発明の一実施形態における制御処理は、制御部11がプログラムデータ記憶部12に格納された操作制御用プログラムを読み出して実行されるものであるから、このようなソフトウェア処理に関する制御用プログラムも本発明となる。さらに、本実施形態では、各制御処理をソフトウェア処理で説明したが、これに限られるものではなく、ソフトウェア処理とハードウェア処理の組み合わせ、あるいはハードウェアのみの処理にしてもよい。
また、本発明の一実施形態においては、本発明をカメラに適用した例について説明したが、動画および静止画の画像データを画像記憶部に記憶した表示装置にも適用することが可能である。この場合、表示装置としては、記録媒体に動画および静止画画像データを記憶したコンピュータやテレビ等を採用すればよい。
また、本発明の一実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話や携帯情報端末(PDA:Personal Digital Assist)、ゲーム機器等に内蔵されるカメラでも構わない
本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。