JP2011044936A - カメラ、カメラの表示制御方法、表示装置、及び表示方法 - Google Patents

Abstract

【課題】撮影者が意図して撮影した静止画等の画像を鑑賞する際に、併せて動画を楽しむことに適したカメラ、カメラの表示制御方法、表示装置、および表示方法を提供する。
【解決手段】被写体像を画像データに変換し出力する撮像部２と、撮像部２によって取得した静止画像２５ａの静止画像データと、静止画像２５ａのサムネイル画像２５ｂのサムネイル画像データと、静止画像２５ａの撮影前に撮影した動画２６ａ〜２６ｃの動画画像データを記憶する記憶部６、６ａと、記憶部６に記憶されているサムネイル画像２５ｂの画像データに基づいて、１つ以上のサムネイル表示を行う表示部８と、サムネイル表示の中から１つを指定した場合には、記憶部６ａに記憶されている指定された動画２６ａ〜２６ｃの画像データに基づいて表示部８に動画２６ａ〜２６ｃの表示を行った後、指定された静止画像２５ａの画像データに基づいて静止画の表示を行う制御部１を有する。
【選択図】 図５

Description

本発明は、カメラ、カメラの表示制御方法、表示装置、及び表示方法に関し、詳しくは、デジタルカメラ、ビデオカメラ、カメラ付き携帯電話など、静止画撮影や動画撮影の機能を有するカメラ、カメラの表示制御方法、表示装置、表示方法に関する。

従来のフィルム写真のように、一瞬を切り取るような静止画撮影は、一般ユーザにとって比較的に簡単である。一方、動画撮影は、開始のタイミングと終了のタイミングの取り方が難しく、運動会や結婚式のように形式化した行事でしか、ムービーカメラを使用することはなかった。また、詳細な演出を予め決めておいた場合以外には、撮影動画の変化は乏しく、鑑賞に耐える画像とはなり難いものであった。テレビ番組のように頻繁に構図に変化のある動画に慣れたユーザにとっては、単調な画像は耐えにくいものがあるからである。さらに、撮影パラメータを変更することにより、多彩な表現が可能であるが、素人のユーザにとっては困難なものがあった。

このように一般ユーザにとって動画撮影は困難であるが、一方、表現を多彩にするために、静止画のみでは限界がある。そこで、動画と静止画を組み合わせて表示することが考えられる。例えば、特許文献１には、同一人物が連続して登場する期間を、各登場人物の顔画像と対応して表示することのできる動画像の顔インデックス作成装置が開示されている。

特開２００８−２５２２９６号公報

特許文献１に開示されている顔インデックス作成装置は、動画の中から所望の場面を検索するものであるが、カメラのレリーズ時に撮影した画像を記録するのみで、付随的に動画を記録するものではなく、また、付随的に記録した動画を楽しむことについては、何ら記載されていない。つまり、撮影者が意図して撮影した静止画等の画像を鑑賞する際に付随的に撮影した動画を、併せて一緒に楽しむものではない。

本発明は、このような事情を鑑みてなされたものであり、撮影者が意図して撮影した静止画等の画像を鑑賞する際に、併せて動画を楽しむことに適したカメラ、カメラの表示制御方法、表示装置、および表示方法を提供することを目的とする。

上記目的を達成するため第１の発明に係わるカメラは、被写体像を画像データに変換し出力する撮像部と、上記撮像部によって取得した静止画像の静止画像データと、上記静止画像のサムネイル画像データと、上記静止画像の撮影前および／もしくは撮影後に撮影した動画の動画画像データを記憶する記憶部と、上記記憶部に記憶されている上記サムネイル画像データに基づいて、１つ以上のサムネイル表示を行う表示部と、上記サムネイル表示から上記サムネイル表示の１つを指定した場合には、上記記憶部に記憶されている上記指定されたサムネイル表示に対応する上記動画画像データに基づいて上記表示部に上記動画の表示を行った後、上記静止画像データに基づいて上記静止画の表示を行う表示制御部と、を有する。

第２の発明に係わるカメラは、上記第１の発明において、上記表示制御部は、上記動画の表示の際に、上記動画を次第に拡大しながら再生表示する。
第３の発明に係わるカメラは、上記第１の発明において、上記表示制御部は、上記動画の表示の際に、転がっていく多面体形状の表示面において動画を再生表示する。
第４の発明に係わるカメラは、上記第１の発明において、上記表示制御部は、上記静止画の表示を行った後、上記サムネイル表示に戻る際に、上記動画画像データに基づいて上記表示部に上記動画の表示を行う。
第５の発明に係わるカメラは、上記第１の発明において、上記表示制御部は、上記動画の表示の際に、動画の中から構図が不安定な画像を除去する。

第６の発明に係わるカメラは、被写体像を画像データに変換し出力する撮像部と、上記撮像部によって取得した静止画像の静止画像データと、上記静止画像の撮影前および／もしくは撮影後に撮影した動画の動画画像データを記憶する記憶部と、上記静止画画像データに基づく静止画画像を表示する表示部と、上記静止画の再生指示がなされた場合に、上記静止画の再生表示を行う前に、上記動画画像データを上記表示部に再生表示を行う表示制御部と、を有する。

第７の発明に係わるカメラは、被写体像を画像データに変換し出力する撮像部と、上記撮像部によって取得した被写体像の画像データのサムネイル表示用のサムネイル画像データと、上記被写体像の撮影前および／もしくは撮影後に撮影した動画の動画画像データを記憶する記憶部と、上記サムネイル画像データに基づいてサムネイル表示を行う表示部と、上記サムネイル表示の拡大表示指示がなされた場合に、上記動画画像データを上記表示部に再生表示を行う表示制御部と、を有する。

第８の発明に係わるカメラの表示制御方法は、被写体像から画像データを取得し、静止画について、上記取得した静止画像データと、上記静止画の撮影前および／もしくは撮影後に撮影した動画の動画画像データを記憶し、上記静止画画像データに基づく縮小画像を表示部に表示し、上記縮小画像の拡大表示指示がなされた場合に、上記動画画像データを上記表示部に再生表示を行う。

第９の発明に係わる表示装置は、静止画像の静止画像データと、上記静止画像の撮影前および／もしくは撮影後に撮影した動画の動画画像データを記憶する記憶部と、上記静止画画像データに基づく縮小画像を表示する表示部と、上記縮小画像の拡大表示指示がなされた場合に、上記動画画像データを上記表示部に再生表示を行う表示制御部と、を有する。

第１０の発明に係わる表示方法は、静止画像の静止画像データと、上記静止画像の撮影前および／もしくは撮影後に撮影した動画の動画画像データを記憶し、上記静止画画像データに基づく縮小画像を表示部に表示し、上記縮小画像の拡大表示指示がなされた場合に、上記動画画像データを上記表示部に再生表示を行う。

第１１の発明に係わるプログラムは、静止画像の静止画像データと、上記静止画像の撮影前および／もしくは撮影後に撮影した動画の動画画像データを記憶し、上記静止画画像データに基づく縮小画像を表示部に表示し、上記縮小画像の拡大表示指示がなされた場合に、上記動画画像データを上記表示部に再生表示を行うことをコンピュータに実行させる。

本発明によれば、撮影者が意図して撮影した静止画等の画像を鑑賞する際に、併せて動画を楽しむことに適したカメラ、カメラの表示制御方法、表示装置、および表示方法を提供することができる。また、本発明によれば、さりげなく取得した動画の不完全感を低減し、被写体の動きを自然に楽しめる画像鑑賞を可能とする。

本発明の第１実施形態に係わるカメラの電気的構成を示すブロック図である。 本発明の第１実施形態に係わるカメラの画像処理部の詳細を示すブロック図である。 本発明の第１実施形態に係わるカメラにおいて、静止画の撮影前後で動画を併せて撮影する様子を示す図である。 本発明の第１実施形態に係わるカメラにおいて、静止画とその前後に撮影された動画における記録情報を示す図である。 本発明の第１実施形態に係わるカメラにおいて、サムネイル表示から静止画を拡大表示する際に、静止画の撮影時に併せて撮影された動画を表示する様子を示す図である。 本発明の第１実施形態に係わるカメラにおいて、サムネイル表示から静止画を拡大表示する際に、静止画の撮影時に併せて撮影された動画を表示する様子を示す他の例の図である。 本発明の第１実施形態に係わるカメラにおいて、静止画撮影後にカメラの向きが変わって行く様子を示す図である。 本発明の第1実施形態に係わるカメラにおいて、静止画撮影後にカメラの向きが変わった場合にでも、画面中央部分を動画として記録し表示する様子を示す図である。 本発明の第１実施形態に係わるカメラにおいて、カメラ制御の動作を示すフローチャートである。 本発明の第１実施形態に係わるカメラにおいて、撮影モード以外のサブルーチンの動作を示すフローチャートである。 本発明の第２実施形態に係わるカメラにおいて、サムネイル表示から静止画を拡大表示する際に、静止画の撮影時に併せて撮影された動画を表示する様子を示す図である。 本発明の第２実施形態におけるカメラにおいて、各面に動画が貼付された六面体が転がっていく様子を示す図であり、（ｂ）は（ａ）の場合より、長時間で転がっていく様子を示す。 本発明の第２実施形態におけるカメラにおいて、転がる六面体の各面に動画を貼付するための画像合成を示す図である。 本発明の第２実施形態に係わるカメラにおいて、撮影モード以外のサブルーチンの動作を示すフローチャートである。 本発明の第１実施形態の変形例に係わるカメラにおいて、動画の選択を説明する図である。 本発明の第１実施形態の変形例に係わるカメラにおいて、画像読出し及び撮影前関連動画再生の動作を示すフローチャートである。

以下、図面に従って本発明を適用したカメラを用いて好ましい実施形態について説明する。図１は、本発明の第１実施形態に係わるカメラ１０の電気回路を示すブロック図である。カメラ１０は、デジタルカメラであり、制御部１、撮像部２、顔検出部２ａ、記録部６、パラメータ制御部７、表示部８、操作部９、時計部１１等から構成される。

撮像部２は、ズーム機能を有する撮影レンズ（ズームレンズ）や、シャッタ・絞り等の露出制御部、撮像素子、撮像素子の駆動及び読出回路等を含み、撮影レンズによって形成された被写体像を撮像素子によって画像データに変換し、これを出力する。また、撮像部２の撮影レンズはピント合わせレンズとその機構を含み、遷移動画を撮影する際に、ピントをずらしながら、撮影することも可能である。また、背景をぼかすための絞り調整機構を設けても良い。

顔検出部２ａは撮像部２から出力され、制御部１によって処理された画像データに基づいて、被写体像の中に人物の顔が含まれているか否か、また顔が含まれていた場合にはその位置や大きさ等を検出し、検出結果を制御部１に出力する。なお、顔の検出にあたっては、顔の中の目、鼻、口等のパーツの陰影を抽出し、パターンマッチング法等によって行う。また、顔のパーツが分かれば、その変化を利用して表情を判定するようにしても良い。

パラメータ制御部７は、不図示のパラメータ設定部において手動設定または自動設定された撮影パラメータに基づいて撮像部２の制御を行う。撮影パラメータを制御することにより、画角や背景のボケ（被写界深度）等を調整可能となる。これらを変化させることにより、様々な効果を施し、撮影を楽しむことができる。また、パラメータ制御部７は、絞り値や焦点距離等の現在設定されている値を検出し、制御部１に出力する。

制御部１は、不図示の記憶部に記憶されているプログラムに従ってカメラ１０の全体のシーケンスを制御する。制御部１は、画像関連部１ａ、トリミング部１ｂ、画像加工部１ｃ、画像処理部５を有する。画像関連部１ａは、静止画の撮影前後で撮影した動画の関連付けを行う。この関連付けは図４を用いて後述するが、関連付けされた画像データは、記録部６に記録される。

トリミング部１ｂは、撮像部２から出力される画像データの一部を切り出すトリミング処理を行う。画像データの切り出しにあたっては、画面中央部の画像を切り出すが、これ以外にも顔検出部２ａによって検出された顔の位置や大きさ等に基づいて、被写体の顔の周辺を切り出し、トリミングされた画像を表示部８や記録部６に記録する。

画像加工部１ｃは、静止画撮影の前後における動画を加工する。すなわち、後述するように、本実施形態においては、サムネイル画像から１つの静止画を選択すると、その静止画の画像データを読み出す際に、動画の画像データを再生表示する。このときの動画再生は、単なる再生表示ではなく、徐々に画像枠を大きくしながら再生している。画像加工部１ｃは、この再生表示用の画像の生成を行う。また、後述する第２実施形態においては、六面体の面に動画を貼付する画像合成が可能である。

画像処理部５は、仮記録部５ａ、動画処理部５ｈ、および静止画処理部５ｉを有し、撮像部２から出力される画像データを取り込み、間引き処理、リサイズ処理、切り出し処理、エッジ強調、色補正、画像圧縮等の種々の画像処理を行い、動画のライブビュー表示用、記録部６における静止画および動画の記録用、静止画および動画の再生表示用等の画像処理を行う。画像圧縮・伸張等にあたっては、静止画用圧縮・伸張回路、動画用圧縮・伸張回路等、それぞれの処理に応じて静止画用や動画用の回路を有する。仮記録部５ａは、後述するように、静止画撮影後に引き続き撮影された動画の画像データを仮記録するためのメモリである。画像処理部５の詳細は、図２を用いて後述する。

記録部６は、レリーズ釦によって撮影の指示がなされた際に、撮像部２によって取得され、画像処理部５によって圧縮処理された静止画や画像データを記録する。記録部６内の動画記録部６ａは、仮記録部５ａに仮記録された動画の画像データの内、レリーズ釦によって静止画の撮影が指示された前後の動画の画像データの最終記録を行う。

操作部９は、レリーズ釦、パワースイッチ、再生モード設定釦、メニュー釦等、種々の操作部材を含み、これらの操作部材の操作状態を判定し、制御部１に判定結果を送る。前述の制御部１は、操作部材の操作状態に応じて、所定のシーケンスで撮影や再生の制御を行う。

表示部８は、カメラ１０の背面等に配置された液晶パネルや有機ＥＬパネル等の表示部を有し、撮影前のライブビュー表示や、記録済みの画像の通常再生表示や、カメラ情報の表示等を行う。撮影者はライブビュー表示を観察し、構図やタイミングを決定することができる。また、サムネイル表示で選択された静止画を拡大表示する際に、静止画の画像読出しの間、静止画撮影の前後で撮影された動画の再生表示も行う。

時計部１１は、計時動作を行い、撮影日時情報を出力する。この撮影日時情報は、静止画や動画の画像データを記録部６に記録する際に合わせて記録する。また、静止画の撮影前後で動画を撮影する際に、所定時間の間、仮記録を行う際にも使用される。

次に、図２を用いて画像処理部５の構成の詳細について説明する。画像処理部５は、前述したように、撮像部２から出力される画像データを取り込み、間引き処理、切り出し処理等の各種画像処理を行うが、ここでは、静止画撮影の前後で行われる動画の画像データの仮記録に関連する構成を主に説明する。

仮記録部５ａは、撮像部２からの画像データを仮記憶するためのメモリであり、静止画の画像データを仮記憶するためのメモリ０と、この静止画の先立つ所定時間、および静止画の後に続く所定時間の間、撮影される動画（連写）の各フレームに対応する画像データをそれぞれ仮記憶するためのメモリ（−ｎ）〜メモリ（−１）、メモリ０、メモリ１〜メモリｎを有する。ここで、メモリ（−ｎ）〜メモリ（−１）は静止画の撮影に先立つ所定時間の間の動画を仮記録するためのメモリであり、メモリ０は静止画の画像データを仮記録するためのメモリであり、メモリ１〜メモリｎは静止画撮影後の所定時間の間の動画を仮記録するためのメモリである。なお、メモリ（−ｎ）〜メモリｎの全てに画像データを記録する必要はなく、このうちの限られたメモリのみを、動画と静止画の画像データの記録に使用するようにしても良い。

動画（連写）の各フレームの画像データを記憶するメモリ１〜メモリｎは順序入替スイッチ（ＳＷ）５ｃに接続されている。この順序入替スイッチ５ｃは、必要に応じて、メモリ１〜メモリｎに仮記録されている各フレームの画像データの順番を入れ替える。すなわち、動画の記録後、メモリｎに仮記憶されている最後の画像データを最初に読み出し、続いて、メモリｎ−１、メモリｎ−２、・・・・、メモリ２、メモリ１の順に画像データを読み出す。これによって、あたかも時間が逆転したように画像を再生することができる。

順序入替スイッチ５ｃは、適切画像取捨選択部５ｄに接続されている。この適切画像取捨選択部５ｄは、メモリ１〜メモリｎに仮記憶されている画像データの内、動画（連写）に相応しいもの、例えば、急激な構図変化や、ぶれているもの以外を、選択する。適切画像取捨選択部５ｄは、画像複製部５ｅに接続されている。画像複製部５ｅは、画像の時間伸張または圧縮を行うために、動画の各フレームの画像データを補間、または間引きしながら複製を行う。後述するように、撮影終了時に、０．５秒間の間撮影された動画を、静止画が拡大表示されるまので時間、例えば２秒間に伸張して、再生表示を行う。なお、ここでは、撮影時間が０．５秒とし、これを２秒間に伸張するとしたが、後述するように、長く撮影したものから適当な部分のみを切り出した場合には、０．５秒ではなく、１秒になったり、０．３秒になったりする。また、場合によっては再生時に時間圧縮する場合もある。

画像複製部５ｅは、動画圧縮部５ｇに接続さている。動画圧縮部５ｇは画像複製部５ｅによって例えば２秒間程度に延ばされた画像データを、ＭＰＥＧ４やモーションＪＰＥＧ等による動画圧縮を行う。接続データ部５ｆは、動画圧縮部５ｇによって生成された動画の画像データと、静止画圧縮部５ｂによって生成された静止画の画像データを結合し、両画像データを連続的に再生するための接続情報を生成する。接続データ部５ｆによる接続情報と、静止画圧縮部５ｂからの画像データと、動画圧縮部５ｇからの画像データは、記録部６に送られ、１つの画像ファイルとして記録される。

次に、図３を用いて、静止画撮影の前後で行う動画撮影について説明する。本実施形態における動画撮影は、撮影者にストレスを与えず、補足的に行う撮影であることから、作品の質としての完成度は求められていない。あくまでも作品は静止画である。このような前提で、撮影者に意識されずに、静止画撮影の前後に自動で動画撮影を行うようにしている。

図３は、（ａ）→（ｇ）の順に撮影された画像を示している。図３（ｄ）は時刻Ｔ２において静止画で撮影された静止画像２５ａを示し、図３（ａ）〜（ｃ）は時刻Ｔ１〜Ｔ２において静止画撮影前に撮影された動画２６ａ〜２６ｃを示し、図３（ｅ）〜（ｇ）は時刻Ｔ２〜Ｔ３において静止画撮影後に撮影された動画２７ａ〜２７ｃを示す。この例では、静止画の前後、０．５秒ずつ撮影を行っており、静止画撮影前は特別な処理を行わず通常の動画撮影を行っている。

また静止画撮影後の動画２７ａ〜２７ｃは露出補正処理を行っている。この露出補正処理は、パラメータ制御部７によって焦点距離と絞り値を変化させるか、または画像加工部１ｃによってズームアップとフェードアウトになるようにパラメータ変化を伴う画像処理を行っても良い。パラメータ変化を伴う画像処理としては、これに限らず、例えば、カラーバランス処理、エッジ強調、色強調、白黒化、さらにはコントラスト低下処理などによるぼかし効果、露出補正をかける等の処理を行っても良い。露出補正やトリミング等のパラメータ変化を伴う画像処理を行うことにより、変化の有る動画を得ることができる。

なお、本実施形態においては、静止画撮影前後に、それぞれ０．５秒ずつ動画撮影を行っているが、この動画撮影は静止画撮影前後のいずれか一方でも良く、また撮影時間は、０．５秒より長くても短くても良いが、撮影者に負担のかからない程度の時間が望ましい。また、前後で行う場合であっても、両者、同一の時間とせずに、異ならせても良い。また、本実施形態において、静止画撮影前は通常の動画撮影、静止画撮影後は露出補正を変化させる等のパラメータ変化を行っていたが、パラメータ変化なしの動画撮影でも良く、また静止画撮影前にパラメータ変化を行うようにしても良く、静止画撮影の前後の両方でパラメータ変化を行うようにしても良い。静止画撮影の前後の両方でパラメータ変化を行わない例を図３（ｈ）〜（ｎ）に示す。この例では、人物の表情が静止画撮影後も変化しており、パラメータを変化させなくても、面白い動画となっているからである。

次に、静止画と静止画の前後で撮影された動画の記録データについて、図４を用いて説明する。図４（ａ）は時刻Ｔ２において撮影された静止画像２５ａに関連するデータを示している。すなわち、撮影静止画領域２１ａには静止画像２５ａの画像データが記録されており、時刻情報２１ｂには静止画像２５ａを撮影した時刻Ｔ２に関する情報が記録されており、サムネイル領域２１ｃには静止画像２５ａをサムネイル表示するための画像データが記録されている。すなわち、予めサムネイル表示用にリサイズされた画像データを生成しておくことにより、サムネイル表示の際に迅速に画像データを読出し、表示することができる。また、画面特徴部２１ｄは、適切な動画を選択するための画面特徴を記憶し、効果情報部２１eは、動画再生時に効果的に動画を再生するための情報を記憶する。

図４（ｂ）は時刻Ｔ１〜Ｔ２において撮影された動画２６ａ〜２６ｃに関連するデータを示している。すなわち、撮影前動画領域２２ａには静止画撮影前に撮影された動画２６ａ〜２６ｃの画像データが記憶されており、時刻情報２２ｂには動画２６ａ〜２６ｃを撮影した時刻Ｔ１〜Ｔ２に関する情報が記憶されている。また、採用時刻情報２２ｆは、撮影前動画領域２２aに記憶されている動画の内、動画表示に使用される動画の時刻が記憶されている。サムネイル表示から拡大静止画を表示する際に、全ての動画を使用しない場合に、表示する部分の動画の時刻情報を採用時刻情報２２ｆとして、記憶されている。図４の例では、採用された動画を網掛けで表現してある。

図４（ｃ）は時刻Ｔ２〜Ｔ３において撮影された動画２７ａ〜２７ｃに関連するデータを示している。すなわち、撮影後動画領域２３ａには静止画撮影後に撮影された動画２７ａ〜２７ｃの画像データが記憶されており、時刻情報２３ｂには動画２７ａ〜２７ｃを撮影した時刻Ｔ２〜Ｔ３に関する情報が記憶されている。また、採用時刻情報２３ｆは、撮影後動画領域２３aに記憶されている動画の内、動画表示に使用される動画の時刻が記憶されている。拡大静止画表示からサムネイル表示に戻る際に、全ての動画を使用しない場合に、表示する部分の動画の時刻情報を採用時刻情報２２ｆとして、記憶されている。。図４の例では、採用された動画を網掛けで表現してある。

静止画像２５ａの画像データには、時刻情報Ｔ２が併せて記録されていることから、時刻情報Ｔ２に基づいてＴ２で終了する動画を、若しくはＴ２で始まる動画を検索すれば、静止画像２５ａの表示にあたって、動画の再生を行うことができる。また、動画の再生にあたっては、採用時刻情報T４〜T５、または採用時刻情報T６〜T７に基づいて、動画として興味を引く部分を再生することもできる。なお、時刻情報２１ｂ、２２ｂ、２３ｂは、時計部１１からの日時情報に基づき、また、採用時刻情報T４〜T５、T６〜T７は静止画の記録ファイルに記憶するようにしても良い。

次に、上述のように撮影された静止画像２５ａおよび静止画撮影前に取得した動画２６ａ〜２６ｃの再生について、図５を用いて説明する。撮影終了後、再生時には、図５（ａ）に示すように、表示部８にサムネイル画像が表示される。サムネイル画像の画像データは、図４（ａ）に示した各静止画像のサムネイル領域２１ｃに記憶されているので、制御部１は、この画像データを読出し、表示部８に一覧表示する。

ユーザは、サムネイル表示された画像の中から拡大表示したい画像がある場合には、タッチパネルをタッチ、または十字釦等により選択する。図５（ａ）に示した例は、静止画像２５ａに対応するサムネイル画像２５ｂをタッチしている様子を示す。サムネイル画像２５ｂを指定すると、静止画像２５ａの撮影前に取得した動画２６ａ〜２６ｃを順次、再生表示する。まず、動画２６ａが再生され（図５（ｂ）参照）、続いて動画２６ｂが再生され（図５（ｃ）参照）、動画２６ｃが再生表示される（図５（ｄ）参照）。この動画２６ａ〜２６ｃの再生にあたっては、その動画のサイズは、図５（ｂ）〜（ｄ）に示すように、次第に大きくなっていき、サムネイル表示上に重畳して表示される。そして、最後に、図５（ｅ）に示すように、表示部８の表示画面一杯に静止画像２５ａが表示される。

なお、説明にあたって、動画２６ａ〜２６ｃは３コマとしたが、これよりも多い数でも勿論かまわない。また、動画２６ａ〜２６ｃの撮影時間と、再生時間は同じ時間で有る必要はなく、再生時間を伸張するようにしても構わない。

次に、図６を用いて、動画再生の変形例を説明する。図５に示した例は、静止画撮影前に記録した動画２６ａ〜２６ｃを、静止画像２５ａの拡大表示前に再生していたが、この図６に示す変形例では、静止画撮影後に記録した動画２７ａ〜２７ｃを、静止画像２５ａの拡大表示前に再生するものである。

図６においては省略しているが、この変形例においても、図５（ａ）と同様に、表示部８にサムネイル画像が表示され、この中からユーザは拡大表示を望むサムネイル画像を指定する。タッチ等により、サムネイル画像２５ａを指定すると、まず、動画２７ｃが再生表示され（図６（ａ）参照）、続いて、動画２７ｂ、動画２７ａの順に徐々に拡大しながら再生表示を行う。

図５に示した例においては、動画２６ａ〜２６ｃの撮影順に再生表示を行っていたが、図６に示した例では、動画２７ａ〜２７ｃの撮影順とは逆順序となるように記録部６に記録している。再生の際に、逆順序となるように動画２７ａ〜２７ｃを入れ替えても良いが、本変形例では、順序入替スイッチ５ｃによって、順番を入れ替え、この入れ替えた画像データを記録部６に記録するようにしている。このように、静止画２５ａの拡大表示の直前に撮影された動画２７ａを最後に再生表示することにより、画像の連続性を保持するようにしている。

静止画撮影の前後で動画を撮影していた場合には、静止画の撮影前の動画と静止画撮影後の動画のいずれを再生するかを選択しなければならない。基本的には、サムネイル表示から静止画を拡大して表示する際には、静止画撮影前の動画を、また静止画を拡大して表示している状態からサムネイル表示に戻る際には、静止画撮影後の動画を選択する。つまり、静止画撮影前後の動画のうち、最終的に静止画撮影された様子を示すには静止画撮影前の動画を有する方が自然である。しかし、静止画撮影前の動画が構図不安定等である場合には、静止画撮影後の動画の方が、構図が相対的に安定しているならば、静止画撮影後の動画を選択する方が見栄えがする。咄嗟に撮影する場合には、図３（ｈ）〜（ｊ）のように、被写体が動いたり、カメラが動いたり等により、構図が不安定な動画になる場合がある。このような場合には、顔の位置が画面内で大きく変化しない画像を再生動画として選択する。ただし、表情変化がない場合は、面白みに欠けるので、図３（ｈ）〜（ｊ）の顔画像部とトリミングし、動画化してもよい。動画の中からどの部分を選択するかは、第３実施形態を利用すれば良い。

本実施形態においては、静止画の撮影後も連続して動画の撮影を行っている。このため、静止画の撮影後も所定時間（実施形態においては、０．５秒）の間、被写体にカメラ１０を向けていないと、見苦しい画像となってしまう。そこで、本実施形態においては、撮影者に必要以上のストレスをかけさせないようにするために、画面中央に位置する人物３１を自動的に抽出し、この人物３１の顔の部分をトリミングして記録するようにしている。

このトリミングの仕方について、図７および図８を用いて説明する。図７は被写体である人物３１を撮影している様子を示しており、静止画は撮影領域３３ａで撮影され、この後に続く動画は撮影領域３３ｂ、３３ｃで撮影される。このとき、カメラ１０で撮像される画像の内、図８（ａ）は、撮影領域３３ａに対応する画像であり、図８（ｂ）は撮影領域３３ｂに対応する画像であり、図８（ｃ）は撮影領域３３ｃに対応する画像である。

静止画の撮影領域３３ａに対応する図８（ａ）の画像は、そのまま図８（ｄ）に示すように記録されるが、動画の撮影領域３３ｂに対応する画像は、撮影領域３３ａの画面中央を含むトリミング領域３５ｂ（人物２５の顔が中央に存在）が、図８（ｅ）に示すように記録され、動画の撮影領域３３ｃに対応する画像は、撮影領域３３ａの画面中央を含むトリミング領域３５ｃが、図８（ｆ）に示すように記録される。ここで、トリミング領域３５ｂ、３５ｃのアスペクト比は、静止画のアスペクト比と変えても良いが、同じアスペクト比とすることにより、違和感をなくすことができることから、本実施形態においては、同一アスペクト比としている。

このように、撮影者が撮影領域３３ａ〜３３ｃに構図を変更しても、静止画の画面の中央部分に対応するトリミング領域３５ｂ、３５ｃの画像データが記録部６に記録される。撮影者が、静止画撮影終了後、安心し、無意識のうちに撮影領域３３ｂ、３３ｃに構図を変えても、画面中央部分がトリミングされて記録される。顔部分のみをトリミングして使用することにより、被写体の表情変化を捉えるための動画表現を行うことができる。つまり、図８（ｄ）〜（ｆ）のように、画像が遷移する中で、被写体がリラックスした表情になる過程を記録することができ、思い出を喚起することができる。

なお、図７および図８を用いて説明したトリミング処理は、制御部１内の構図変化判定部（不図示）およびトリミング部１ｂによって実行される。構図変化判定部は、撮像部２から出力される画像データに基づいて動きベクトル等を利用し、画面の構図やカメラ１０の構え方が変化したか否かを判定する。構図変化判定部は撮影領域３３ａ〜３３ｃに変化したことを判定すると、トリミング部１ｂが判定結果に基づいてトリミング処理を行う。このトリミング処理された画像データは、前述の仮記録部５ａに送られ、上述の動画の画像処理が実行される。すなわち、仮記録部５ａの各メモリに仮記録された画像データに対して、トリミング１ｂによってトリミング処理を行い、同じメモリに再度記録させ、その結果を動画圧縮する。

次に、本実施形態におけるカメラ制御の動作を図９に示すフローチャートを用いて説明する。図９に示すカメラ制御のフローは、制御部１に記憶されているプログラムに従って実行される。カメラ１０がパワーオンとなり起動すると、図９に示すフローがスタートする。スタートすると、まず、撮影モードか否かの判定を行う（Ｓ１）。このカメラ１０には、撮影モードと再生モード等の他のモードが備えられており、操作部９の操作状態に基づいて撮影者のモード選択状態を判定する。

ステップＳ１における判定の結果、撮影モードでなかった場合には、撮影モード以外のモードを実行する（Ｓ１５）。この撮影モード以外のモードの実行については、図１０を用いて後述する。撮影モード以外のモードを実行すると、ステップＳ１に戻る。

ステップＳ１における判定の結果、撮影モードであった場合には、撮像および表示を行う（Ｓ２）。このステップでは、撮像部２によって取得した画像データについて画像処理部５において画像処理し、表示部８にライブビュー表示を行う。撮影者がライブビュー表示を見ながら構図やシャッタチャンスを決定することができる。撮像および表示を行うと、次に、連続撮影仮記録を行う（Ｓ３）。ここでは、撮像部２から取得した動画の画像データを仮記録部５ａのメモリに順次、仮記録する。

連続撮影の仮記録を開始すると、次に、撮影か否かの判定を行う（Ｓ４）。ここでは、操作部９のレリーズ釦が操作されたか否かの判定を行う。この判定の結果、撮影と判定されなかった場合には、撮影・表示および連続撮影仮記録を続行したままで、次に、０．５秒前の画像が有るか否かの判定を行う（Ｓ５）。本実施形態においては、静止画撮影前の所定時間、ここでは０．５秒の間、動画を仮記録しており、０．５秒より前の画像が有る場合には削除している。このステップＳ５においては、連続撮影仮記録を開始してから０．５秒を経過した場合には、０．５秒前の画像が有ると判定する。

ステップＳ５における判定の結果、０．５秒前の画像が有る場合には、対象画像の削除を行う（Ｓ６）。ここでは、メモリ（−ｎ）〜メモリ（−１）内に仮記録されている画像の内、０．５秒より前の画像を削除し、直近の画像がメモリ（−１）に仮記録されるように、記録位置の変更を行う。この対象画像の削除を行うと、またはステップＳ５における判定の結果、０．５秒前の画像がなかった場合には、ステップＳ１に戻る。

ステップＳ４における判定の結果、撮影であった場合には、静止画撮影及び記録を行う（Ｓ１１）。このステップでは、撮像部２から出力される画像データを画像処理部５の仮記録部５ａ内のメモリ０に仮記憶すると共に、静止画圧縮部５ｂにおいて画像圧縮を行う。そして、画像圧縮処理を行った静止画の画像データを記録部６に記録する。

静止画撮影及び記録を行うと、次に、画面特徴判定を行う（Ｓ１２）。この画面特徴判定においては、顔検出部２ａにおいて、画像の中に顔の部分が含まれているか否か、また含まれていた場合にはその位置や大きさを検出する。ここで求められた画面特徴の結果は、画面特徴部２１に記憶し、図７および図８を用いて説明したように、画面の中央に人物３１が位置するようにトリミングを行う際に利用される。静止画の特徴を利用して、撮影動画のうち、どの部分を再生（採用）動画にするかを判断しても良い。

次に、連続撮影の仮記録を行う（Ｓ１３）。ステップＳ３においては撮影前の動画の仮記録であったが、ここでは撮影後の動画の画像データを仮記録部５ａのメモリ１〜メモリｎに順次、仮記録する。連続撮影の仮記録を行うと、次に、撮影後に連続撮影を開始してから所定時間、ここでは０．５秒経過したか否かの判定を行う（Ｓ１４）。この判定の結果、０．５秒が経過していなかった場合には、ステップＳ１３に戻り、連続撮影を続行する。

ステップＳ１４における判定の結果、０．５秒が経過した場合には、次に、連続撮影を終了し（Ｓ１５）、静止画・動画判定を行う（Ｓ２１）。ここでは、静止画撮影前の動画と撮影後の動画についてそれぞれ付与する効果を決定する。図３に示した例では、撮影前の動画に対しては特段の効果を付与していないが、撮影後の動画に対してズームアップとフェードアウトを行うパラメータ変化を与えている。この例以外にも、ステップＳ１２における画面特徴判定の結果を利用して、被写体に合わせたパラメータ変化を行うようにしても良い。

続いて、静止画・動画判定で決定した撮影前の動画に対して、画像効果部１ｃ等が効果付与１の画像処理を行い（Ｓ２２）、この画像処理された画像データを記録部６に記録する（Ｓ２３）。また、静止画・動画判定で決定した撮影後の動画に対して、画像効果部１ｃ等が効果付与２の画像処理を行い（Ｓ２４）、この画像処理された画像データを記録部６に記録する（Ｓ２５）。

静止画撮影後の動画２の記録を行うと、次に、静止画と動画の対応関係を記録する（Ｓ２６）。一般に静止画と動画の画像ファイルは別々に構成される場合が多いことから、接続データ部５ｆによって、静止画撮影前の動画、静止画、静止画撮影後の動画の対応関係を記録しておく。対応関係を記録すると、ステップＳ１に戻る。

次に、ステップＳ１５における撮影モード以外のモードについて、図１０に示すフローチャートを用いて説明する。このフローに入ると、まず、再生モードか否かの判定を行う（Ｓ３１）。操作部９の操作状態に基づいて再生モードが選択されているか否かの判定を行う。この判定の結果、再生モードが選択されていなかった場合には、撮影・再生モード以外のモードが選択されているか否かを判定し、そのモードを実行する。撮影・再生以外のモードを実行すると、元のフローに戻る。

ステップＳ３１における判定の結果、再生モードであった場合には、次に、サムネイル表示が選択されているか否かの判定を行う（Ｓ３３）。再生モードに入ると、直近に撮影された静止画が１コマ表示されているが、多数の静止画をサムネイル表示し、その中から静止画を選択することを、ユーザが望む場合には、サムネイル表示のための操作部材を操作するので、このステップでは操作部９の操作状態を判定する。

ステップＳ３３における判定の結果、サムネイルが選択されていた場合には、次に、サムネイル表示を行う（Ｓ３４）。このステップでは、記録部６に記録されている静止画の画像データの内、各静止画のサムネイル領域２１ｃに記録されているサムネイル画像の画像データを読出し、これを表示部８にサムネイル表示する。

サムネイル表示を行うと、次に、複数のサムネイル画像の内、１コマが選択されているか否かの判定を行う（Ｓ３５）。図５（ａ）において説明したように、ユーザが複数のサムネイル画像の内の１コマを拡大して鑑賞したい場合には、これを指でタッチする等によって選択する（図５（ａ）参照）。そこで、このステップでは、タッチ等により１コマが選択されたか否かを判定する。

ステップＳ３５における判定の結果、１コマが選択された場合には、次に、画像読出しおよび撮影前関連動画の選択を行う（Ｓ４１）。ここでは、図５（ｂ）〜（ｄ）を用いて説明したように、静止画像２５ａの撮影前に撮影した動画２６ａ〜２６ｃの画像データを動画記録部６ａから読出し、これを順次拡大していく画像を再生表示する。

動画の再生が終わると、次に、選択静止画拡大表示を行う（Ｓ４２）。ここでは、図５（ｅ）に示したように、選択されたサムネイル画像に対応する静止画の画像データを表示部８に拡大表示する。静止画の画像データは、記録部６の撮影静止画領域２１ａに記録されており、この領域から画像データを読出し表示する。

静止画を拡大表示すると、次に、サムネイルに戻るか否かの判定を行う（Ｓ４３）。サムネイル表示に戻るには、もう一度、表示部８の画面をタッチする等の操作を行うことによって戻るので、このステップでは画面がタッチされたか否かを判定する。なお、サムネイルに戻るかの判定は、これ以外にも、タッチパネルのスライドや、ズームスイッチをワイド側に動かす等、別の方法によっても良い。ステップＳ４３における判定の結果、サムネイルに戻らない場合には、またはステップＳ３５における判定の結果、選択されていなかった場合には、ステップＳ３３に戻る。

ステップＳ４３における判定の結果、サムネイルに戻る場合には、静止画撮影後関連動画の再生を行う（Ｓ４４）。ここでは、ステップＳ３４におけるサムネイル表示を再度、行うが、このサムネイル表示を行う前に、静止画撮影後に撮影した動画を再生しながら、サムネイル表示に戻る。ここでは、図６（ｄ）→（ｃ）→（ｂ）→（ａ）の順に、動画を再生する。動画再生を行うと、ステップＳ３４に戻り、図５（ａ）に示したようなサムネイル表示を行う。なお、ステップＳ４４における関連動画の再生にあたっては、逆方向に再生していたが、順方向に再生しても勿論かまわない。

ステップＳ３３における判定の結果、サムネイル表示でなかった場合には、次に、切り換えを行うか否かの判定を行う（Ｓ５２）。サムネイル表示でない場合には、１コマの静止画が表示されている場合であり、この場合には、次のコマ、もしくは前のコマに送ることを指示したか否かについて、操作部９の操作部材の操作状態を判定する。この判定の結果、切り換えがなければ、ステップＳ３３に戻る。

一方、ステップＳ５２における判定の結果、切り換え操作があった場合には、次に、次画像の表示を行う（Ｓ５３）。ここでは、操作部材の操作に従って次の画像の画像データを読出し、表示部８に表示する。次画像の表示を行うと、次に終了か否かの判定を行う（Ｓ５４）。ここでは、再生モードの終了を指示したか否かについて、操作部９の操作部材の操作状態を判定する。この判定の結果、終了でなければステップＳ３３に戻り、終了であれば、元のフローに戻る。

以上、説明したように、本発明の第１実施形態においては、静止画撮影を行う前後に、動画の撮影を自動的に行い、再生にあたって、サムネイル表示された複数の画像の１つを選択すると、動画を表示してから静止画の表示を行い、またサムネイル表示に戻る際にも動画を表示してからサムネイル表示を行うようにしている。このため、静止画を鑑賞する際に、併せて静止画撮影時の動画を楽しむことができる。また、本実施形態においては、サムネイル表示→動画→拡大静止画の順に撮影画像を表示しており、不完全感のある動画であっても、関連する静止画で挟んで表示することによって動画の舌足らずな印象を軽減することができる。

なお、本実施形態においては、サムネイル表示から静止画へ遷移状態と、静止画からサムネイル表示に遷移状態の両方で動画を再生するようにしていたが、いずれか一方でも良い。また、サムネイル表示から静止画に遷移する際には、静止画撮影前の動画を再生し、静止画からサムネイル表示に遷移する際には、静止画撮影後の動画を再生するようにしていたが、逆の関係でも勿論かまわない。

次に、本発明の第１実施形態の変形例について、図１５および図１６を用いて説明する。本実施形態においては、静止画撮影前後に撮影した一連の動画を再生表示していたが、本変形例においては、一連の動画をすべて使用するのではなく、全く動きのない画像や不自然な動きをする画像を取り除くようにしている。すなわち、第１実施形態においては、静止画サムネイルから拡大静止画が表示されるまでの間の時間帯を利用し、静止画撮影前後に撮影した起承転結のない動画を再生している。空き時間を利用しての再生であることから、起承転結がない動画であっても、不完全間や未完成感は低減されているが、このような場合であっても、全く動きがなかったり、あまりにも乱れた画像であると不自然である。そこで、図１５に示すような画面を選択するようにしている。

まず、図１５を用いて、本変形例における画像の選択の考え方について説明する。図１５（ａ−１）〜（ａ−３）、（ｂ−１）〜（ｂ−３）、（ｃ−１）〜（ｃ−３）、（ｄ−１）〜（ｄ−３）は動画であり、図１５（ａ−４）（ｂ−４）（ｃ−４）（ｄ−４）は静止画を示す。図１５（ａ−１）〜（ａ−３）は動画であり、この動画は顔画像の画面内位置はあまり変化しないが、顔画像の周り、すなわちポーズや背景が変化している。また、図１５（ｂ−１）〜（ｂ−３）も（ａ−１）〜（ａ−３）と同様に、顔画像の画面内位置はあまり変化しないが、顔画像内の目や口の形状、表情が変わるようなシーンである。さらに、図１５（ｃ−１）〜（ｃ−３）は、背景が変化しない状態で、人物が画面内に入ってくるシーンである。

このような図１５（ａ−１）〜（ａ−３）、（ｂ−１）〜（ｂ−３）、（ｃ−１）〜（ｃ−３）のシーンを動画の中から選択して再生表示する。一方、図１５（ｄ−１）〜（ｄ−３）のようなシーンでは、カメラの向きや構図が安定していないので、動画としては採用しないようにする。このように画面全体がぶれていると、鑑賞者は気分が悪くなることがある。図１５（ｄ−１）〜（ｄ−３）に続いて、（ｂ−１）〜（ｂ−３）に示すような画像が得られた場合には、不適当な部分を削除し、適切な部分のみを利用するようにすれば良い。

図１５を用いて説明したような不適切な動画部分を削除し、適切な部分を選択するための処理について、図１６に示すフローチャートを用いて説明する。この図１６に示した画像読出し及び撮影前関連動画再生のサブルーチンは、図１０のステップＳ４１における処理である。

画像読出し及び撮影前関連動画再生のフローに入ると、まず、静止画の中央の顔、または中央部のパターンを判定する（Ｓ１０１）。ここでは、作品としての静止画を基準とし、被写体の顔位置を判定する。画像によっては、顔がない場合があるので、その時は画面中央部のパターンを判定する。

続いて、ステップＳ１０１における判定結果に基づいて、撮影前動画の顔位置に変化がないか否かの判定を行う（Ｓ１０２）。この判定の結果、顔位置に変化がない場合には、次に、顔以外の部分に変化が有るか否かの判定を行う（Ｓ１１１）。この判定の結果、変化がなかった場合には、次に表情変化が有るか否かの判定を行う（Ｓ１１２）。

ステップＳ１１１における判定の結果、またはステップＳ１１２における判定の結果、変化が有った場合には、変化が多い区間を採用する（Ｓ１１３）。ステップＳ１１１における判定の結果、変化が有る場合は、前述した図１５（ａ−１）〜（ａ−３）の場合と同様のケースであり、またステップＳ１１２における判定の結果、変化が有る場合は、前述した図１５（ｂ−１）〜（ｂ−３）の場合と同様のケースである。この場合には、動画の中で変化が多い部分を、動画再生時に使用する。なお、変化が多いか否かは、画像処理部５において、動きベクトル等を判定し、この判定結果を利用する。

ステップＳ１１３において、変化が多い区間を採用すると、次に、顔の大きさが所定値以下か否かの判定を行う（Ｓ１１５）。ここでは、顔検出部２ａによって検出された顔の大きさに基づいて判定する。この判定の結果、所定値よりも小さかった場合には、トリミングで大きくする（Ｓ１１６）。これは顔の表情が良く見えるようにするためである。ステップＳ１１５における判定値としては、表情が見える程度の顔の大きさであるか否かを判定できれば良い。

ステップＳ１１２における判定の結果、表情変化がなかった場合には、静止画撮影前の所定区間を採用する（Ｓ１１４）。この場合は、顔位置、表情、背景のいずれも変化がなかった場合であることから、このステップで静止画撮影前の所定時間の動画を採用する。なお、画面に変化をつけるために、トリミングを行うようにしても良い。

ステップＳ１０２における判定の結果、撮影前動画に顔位置に変化が有った場合には、次に、顔位置以外の判定を行う（Ｓ１０３）。ここでは、顔位置以外の部分について、変化が有るか否かを判定する。手振れ情報や姿勢変化情報等を利用して判定する。続いて、ステップＳ１０３の判定に基づいて、顔位置有り無しのみ変化が有ったか否かを判定する（Ｓ１０４）。ここでは、図１５（ｃ−１）〜（ｃ−３）に示したように、背景は変化せず、人物が入ってきた等の場合であるか否かを判定する。

ステップＳ１０４における判定の結果、顔位置のみが変化していた場合には、顔位置が画面外から画面内に入ってくるまでの動画を採用する（Ｓ１０５）。一方、顔位置以外にも画像が変化していた場合には、顔画像をトリミングし、画面内所定位置に合わせて順次再生する（Ｓ１０６）。この状態は、図１５（ｄ−１）〜（ｄ−３）に示した例のような場合であり、画像をそのまま再生したのでは、不愉快な画像となってしまう。そこで、顔の部分のみをトリミングし、画面内の所定位置に合わせるようにすることにより、安定した画像にする。なお、顔が含まれない場合には、静止画画面の中央部に相当する画像をトリミングする。

ステップＳ１０６、Ｓ１０５、Ｓ１１４、Ｓ１１６を処理すると、またはステップＳ１１５における判定の結果、顔の大きさが所定値より大きかった場合には、次に、採用動画の再生を行うＳ（１０７）。ここでは、静止画撮影前に撮影された動画の中から、ステップＳ１０５、Ｓ１０６、Ｓ１１４、Ｓ１１３、Ｓ１１６において、採用された区間または画像処理された動画について、再生を行う。再生にあたっては、所定時間に収まるように、早送りやスロー再生を行って、静止画拡大時に時間がかかりすぎないようにする。また、動画時間が長すぎたり、短すぎないように、動画の長さを考慮して、優先度を変更してもい。なお、再生時間は例えば２秒間とするが、この時間は、ユーザの嗜好を考慮して適宜変更しても良い。また、前述の図１０のステップＳ４４においては、撮影後動画領域から、図１５と同様の考え方で相応しい動画を選択し再生すれば良い。

このように、本変形例においては、静止画撮影前後に取得した一連の動画から、静止画再生時に付随した動画の再生時に相応しい動画を選択して表示することを可能としている。このため、構図が不安定で見苦しい動画が再生されてしまうことを防止することができる。

次に、本発明の第２実施形態について、図１１ないし図１４を用いて説明する。第１実施形態においては、サムネイル表示中の１コマを指定し静止画の拡大表示する際に、図５および図６に示すように、動画の各コマを徐々に拡大しながら表示していた。第２実施形態においては、サイコロ状の六面体の面に動画を表示し、あたかも六面体が転がっていくようにしながら動画を表示するようにしている。

第２実施形態の構成は、図１および図２に示した構成と同様であり、また、図３に示した撮影の仕方や、図４に示した画像データの記憶領域も同様であり、さらに、カメラ制御の動作を示すフローチャートも同様である。しかし、図１０に示した撮影モード以外のサブルーチンを、図１４に示すフローチャートに置き換え、また図５および図６に示した動画の表示を図１１に示す動画の表示に置き換える点で相違する。そこで、この相違点を中心に説明する。

まず、第２実施形態における動画の表示について、図１１を用いて説明する。本実施形態においても、表示部８にサムネイル表示がなされ、ユーザがサムネイル表示された画像の中でいずれかを拡大表示した場合には、タッチ等により指定する。図１１（ａ）に示した例は、静止画像２５ａに対応するサムネイル画像２５ｂをタッチ等で指定している様子を示す。サムネイル画像２５ｂを指定すると、静止画像２５ａの撮影前に取得した動画２６ａ〜２６ｃを、六面体表示部３７に、順次、再生表示する。

すなわち、六面体表示部３７の上面３７ａに最初に撮影された動画を、右側面３７ｂに次に撮影された動画を、左側面３７ｃにその次に撮影された動画を表示し、六面体表示部３７を右側に転がるように見せながら、かつ六面体表示部３７を拡大表示していく。図１２（ａ）（ｂ）はこのときの六面体表示部３７のみを取り出した図であり、図１２（ａ）は静止画が表示されるまでの時間が短時間の場合であり、図１２（ｂ）は（ａ）の場合より静止画が表示されるまでの時間がかかる場合を示す。

図１２（ａ）または（ｂ）に示すように、六面体表示部３７が転がり、この転がりが終わると、図１１（ｃ）に示すように、サムネイル画像２５ｂに対応する静止画像２５ａが表示される。

六面体表示部３７が転がっていくように見せるための画像合成は、画像加工部１ｃによって行われ、この画像合成の様子を図１３に示す。予め、図１３（ａ）〜（ｄ）に示すように、転がっていく六面体の画像データを予め記憶しておく。具体的には、六面体の各面の位置と角度を示す値等を記憶しておく。画像加工部１ｃは、六面体の各面の傾き角度に応じて動画の画像を傾け、また各面の面積に応じて動画の拡大縮小を行う。拡大縮小し、傾けた画像を六面体の各面に貼付する。なお、図１３では（ｄ）のみに傾けた画像を六面体の各面に貼付しているが、勿論（ａ）〜（ｃ）においても画像を貼付する。また、図１２および図１３においては、六面体の内、三面のみに動画を貼付しているが、勿論、六面に貼付するようにしてもよい。ただし、表示している時には、三面しか見えないことから、見えている部分のみに画像を貼付すれば良い。

次に、図１４に示す撮影モード以外のフローチャートについて説明する。前述したように、カメラ制御のフローチャートは図９に示す第１実施形態と同様である。このフロー中のステップＳ１５の撮影モード以外が、第１実施形態と異なっており、しかも、本実施形態においては、ステップＳ４１に代えて、ステップＳ３６〜Ｓ３９が付加されているだけであるので、この相違点を中心に説明する。

撮影モード以外のサブルーチンに入り、ステップＳ３５において、サムネイル表示の中からいずれか１コマが選択されると、次に、フル画像サイズより、読出し時間の判定を行う（Ｓ３６）。ここでは、記録部６に記録されている静止画の画像データを読み出すに必要な時間を判定する。時間判定を行うと、次に、静止画のフル画像の読出しを開始する（Ｓ３７）。

続いて、動画部画像加工を行う（Ｓ３８）。ここでは、画像加工部１ｃが六面体表示部３７の各面に動画を貼り付ける画像加工を行う。次に、読出し時間に従って加工画像動画の表示を行う（Ｓ３９）。ステップＳ３６において判定された読出し時間に応じて、動画の表示時間を変更する。すなわち、読出し時間が長い場合には、図１２（ｂ）に示すように、六面体表示部３７の転がり速度をゆっくりとし、一方、読出し時間が短い場合には、図１２（ａ）に示すように、六面体表示部３７の転がり速度を速くする。

六面体表示部３７による転がりながらの動画表示が終わると、次に、選択静止画拡大表示を行う（Ｓ４２）。ここでは、図１１（ｃ）に示したように、静止画像２５ｂの拡大表示を行う。

このように、第２実施形態においても、第１実施形態と同様に、サムネイル表示の中から画像が選択され、静止画を拡大表示する際に、静止画の読出し時間を利用して、静止画撮影時に撮影された動画の再生表示を行っている。また、動画の再生表示の際には、六面体の表面に動画を貼付し、六面体が転がりながら動画の各コマを見せて、動きを表現した表示を行うようにしている。このため、第１実施形態における動画の再生表示に比較し、面白みあふれる再生を楽しむことができる。また、この動画再生表示は、同時に三面の画像を楽しむことができる。

なお、第２実施形態においては、六面体に動画を貼付する画像合成を、再生表示の際に行っているが、この画像合成は、撮影時に行っても勿論かまわない。具体的には、カメラ制御のフロー中（図９参照）、ステップＳ２１における静止画・動画判定の際や、Ｓ２２における効果付与１において、この画像合成を行うようにしても構わない。

また、第２実施形態においては、動画を六面体表示部３７に貼付したが、この形状は六面体に限らず、四面体、八面体、十二面体、二十面体等の多面体でも構わない。さらに、静止画の読出し時間内に動画の再生表示を終えるように、六面体表示部３７の転がり速度を決めていたが、あまり遅くならない限り、静止画の読出し時間を超えても構わない。さらに、本実施形態においては、動画を伸張しながら、滑らかな画像変化で再生するようにしていたが、画像遷移効果として楽しむようにしても、勿論かまわない。すなわち、動画を動画そのものとして楽しむのではなく、動画の各コマが持っている被写体の動きを示す画像変化を表現して、静止画を補足するようにしても良い。表情変化のある画像を順次再生することにより、ぱらぱらと漫画をめくるように、その変化を楽しむことができる。

以上説明したように、本発明の各実施形態においては、画像について拡大表示が指示された場合には、動画画像を再生表示するようにしている。このため、撮影者が意図して撮影した画像を鑑賞する際に、併せて動画を楽しむことができる。すなわち、拡大表示するまでの間を利用し、この間に拡大指示された画像の撮影時に併せて撮影された動画を再生表示するようにしたので、撮影時の様子を思い出し楽しむことができる。

このような本発明の各実施形態における表示方法は、静止画鑑賞の邪魔にならないばかりか、動画をわざわざ再生操作を行う必要がない。静止画そのものと、それに付随した動画を、被写体の動きを同時に鑑賞できるので、ユーザはストレスなく、自然に撮影時の状況をよりリアルに楽しむことができる。このような表示を行うことによって、子供などは、静止画撮影時に、面白い動きをするようになり、より生き生きとした思い出を記録することができる。仮に子供いない場合であっても、自動でトリミングすることによりアップにしたりすれば、それだけでも面白く、本来の作品としての静止画には、何ら影響を与えず、撮影者も被写体も静止画撮影に専念することができる。

また、本発明の各実施形態においては、静止画に関連する動画を再生することから、静止画撮影の前後のタイミングに係わらず、自然な動きで見栄えのする動画となる。例えば、スライドショーでは、静止画１の再生後に、この静止画１に関連する動画１を再生し、続いて静止画２の再生を行うことが考えられるが、この場合には、動画１と静止画２との関連が低いことから不自然な再生表示となる。本発明の各実施形態のように、サムネイル表示から拡大静止画を行う場合に動画を表示するやり方では、静止画に関連する動画を再生するので、このような不自然さを低減することができる。これは、撮影前の動画なら拡大画像の前を表すと判断し、また撮影後の動画ならサムネイルに続く動画であると判断できるので、鑑賞者は違和感なく、静止画と動画を関連付けて楽しむことができるからである。

なお、本発明の各実施形態においては、静止画の読出し時間に併せて動画の再生表示時間を調節していたが、静止画の読出し時間が高速の場合に、読出し時間に合わせると、動画の再生の時間が鑑賞するには短時間すぎる場合がある。また、ユーザによっては、動画をゆっくり楽しみたい場合もあることから、適宜、動画再生時間を延ばすようにしても構わない。また、本発明の各実施形態においては、静止画の前後で行う動画（連写撮影）の時間は、０．５秒としたが、これは例示であり、これより長くても良く、また短くても構わない。

また、本発明の各実施形態においては、サムネイル画像は静止画であったが、動画のサムネイル画像であっても、本発明を適用することができる。この場合は、動画の撮影前および／または撮影後に本発明の各実施形態と同様に、動画を撮影するようにすれば良い。

さらに、本発明の各実施形態においては、サムネイル表示し、このサムネイル表示の中からユーザが指示した静止画を拡大表示する際に、静止画撮影前の動画を再生するようにしていた。しかし、動画の再生タイミングはこれに限られず、例えば、静止画を１コマずつ再生表示する際に、静止画のコマ送り、またはコマ戻しの際に、次の静止画を読み出す時間を利用して、静止画撮影前後に撮影した動画を再生表示するようにしても良い。

さらに、本発明の各実施形態においては、カメラ１０において、再生表示を行っていたが、撮影をカメラ１０で行った後、パーソナルコンピュータ等の再生装置に画像データを転送し、この再生装置で静止画と動画の再生を行っても勿論かまわない。この場合、再生時の動画の加工（動画の順次拡大表示や、六面体を利用した動画表示）は、カメラ側で処理しても、再生装置側で処理してもいずれであっても構わない。

さらに、本発明の各実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話や携帯情報端末（ＰＤＡ：Personal Digital Assist）、ゲーム機器等に内蔵されるカメラでも構わない。いずれにしても動画撮影のできる撮影機器であれば良い。

本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１・・・制御部、１ａ・・・画像関連部、１ｂ・・・トリミング部、１ｃ・・・画像加工部、２・・・撮像部、２ａ・・・顔検出部、５・・・画像処理部、５ａ・・・仮記録部、５ｂ・・・静止画圧縮部、５ｃ・・・順序入替ＳＷ、５ｄ・・・適切画像取捨選択部、５ｅ・・・画像複製部、５ｆ・・・動画圧縮部、５ｇ・・・接続データ部、５ｈ・・・動画処理部、５ｉ・・・静止画処理部、６・・・記録部、６ａ・・・動画記録部、７・・・パラメータ制御部、８・・・表示部、９・・・操作部、１０・・・カメラ、１１・・・時計部、２１ａ・・・撮影静止画領域、２１ｂ・・・時刻情報、２１ｃ・・・サムネイル領域、２１ｄ・・・画面特徴部、２１e・・・効果情報部、２２ａ・・・撮影前動画、２２ｂ・・・時刻情報、２２ｆ・・・採用時刻情報、２３ａ・・・撮影後動画、２３ｂ・・・時刻情報、２３ｆ・・・採用時刻情報、２５ａ・・・静止画像、２５ｂ・・・サムネイル画像、２６ａ〜２６ｃ・・・動画、２７ａ〜２７ｃ・・・動画、３１・・・人物、３３ａ〜３３ｃ・・・撮影領域、３５ｂ・・・トリミング領域、３５ｃ・・・トリミング領域、３７・・・六面体表示部

Claims (11)

1. 被写体像を画像データに変換し出力する撮像部と、
   上記撮像部によって取得した静止画像の静止画像データと、上記静止画像のサムネイル画像データと、上記静止画像の撮影前および／もしくは撮影後に撮影した動画の動画画像データを記憶する記憶部と、
   上記記憶部に記憶されている上記サムネイル画像データに基づいて、１つ以上のサムネイル表示を行う表示部と、
   上記サムネイル表示から上記サムネイル表示の１つを指定した場合には、上記記憶部に記憶されている上記指定されたサムネイル表示に対応する上記動画画像データに基づいて上記表示部に上記動画の表示を行った後、上記指定されたサムネイル表示に対応する上記静止画像データに基づいて上記静止画の表示を行う表示制御部と、
   を有することを特徴とするカメラ。
2. 上記表示制御部は、上記動画の表示の際に、上記動画を次第に拡大しながら再生表示することを特徴とする請求項１に記載のカメラ。
3. 上記表示制御部は、上記動画の表示の際に、転がっていく多面体形状の表示面において動画を再生表示することを特徴とする請求項１に記載のカメラ。
4. 上記表示制御部は、上記静止画の表示を行った後、上記サムネイル表示に戻る際に、上記動画画像データに基づいて上記表示部に上記動画の表示を行うことを特徴とする請求項１に記載のカメラ。
5. 上記表示制御部は、上記動画の表示の際に、動画の中から構図が不安定な画像を除去することを特徴とする請求項１に記載のカメラ。
6. 被写体像を画像データに変換し出力する撮像部と、
   上記撮像部によって取得した静止画像の静止画像データと、上記静止画像の撮影前および／もしくは撮影後に撮影した動画の動画画像データを記憶する記憶部と、
   上記静止画画像データに基づく静止画像を表示する表示部と、
   上記静止画の再生指示がなされた場合に、上記静止画の再生表示を行う前に、上記動画画像データを上記表示部に再生表示を行う表示制御部と、
   を有することを特徴とするカメラ。
7. 被写体像を画像データに変換し出力する撮像部と、
   上記撮像部によって取得した被写体像の画像データのサムネイル表示用のサムネイル画像データと、上記被写体像の撮影前および／もしくは撮影後に撮影した動画の動画画像データを記憶する記憶部と、
   上記サムネイル画像データに基づいてサムネイル表示を行う表示部と、
   上記サムネイル表示の拡大表示指示がなされた場合に、上記動画画像データを上記表示部に再生表示を行う表示制御部と、
   を有することを特徴とするカメラ。
8. 被写体像から画像データを取得し、
   静止画について、上記取得した静止画像データと、上記静止画の撮影前および／もしくは撮影後に撮影した動画の動画画像データを記憶し、
   上記静止画画像データに基づく縮小画像を表示部に表示し、
   上記縮小画像の拡大表示指示がなされた場合に、上記動画画像データを上記表示部に再生表示を行う、
   ことを特徴とするカメラの表示制御方法。
9. 静止画像の静止画像データと、上記静止画像の撮影前および／もしくは撮影後に撮影した動画の動画画像データを記憶する記憶部と、
   上記静止画画像データに基づく縮小画像を表示する表示部と、
   上記縮小画像の拡大表示指示がなされた場合に、上記動画画像データを上記表示部に再生表示を行う表示制御部と、
   を有することを特徴とする表示装置。
10. 静止画像の静止画像データと、上記静止画像の撮影前および／もしくは撮影後に撮影した動画の動画画像データを記憶し、
    上記静止画画像データに基づく縮小画像を表示部に表示し、
    上記縮小画像の拡大表示指示がなされた場合に、上記動画画像データを上記表示部に再生表示を行う、
    ことを特徴とする表示方法。
11. 静止画像の静止画像データと、上記静止画像の撮影前および／もしくは撮影後に撮影した動画の動画画像データを記憶し、
    上記静止画画像データに基づく縮小画像を表示部に表示し、
    上記縮小画像の拡大表示指示がなされた場合に、上記動画画像データを上記表示部に再生表示を行う、
    ことをコンピュータに実行させるためのプログラム。