JP5404023B2 - 動画・静止画再生装置、その制御方法、プログラム及び記憶媒体 - Google Patents

Description

本発明は、動画及び静止画を同時に撮影することのできるカメラで撮影された画像を再生表示する動画・静止画再生装置、その制御方法、プログラム及び記憶媒体に関するものである。

銀塩フィルムを用いたカメラから主流がデジタルカメラに移り、さらに、保存メディアの高容量化及び画像処理能力の向上が進むに連れて、デジタルカメラで静止画だけでなく動画も十分な画質で長時間撮影できるようになってきている。また、ビデオカメラもデジタル化と高画質化が進むに連れて、動画だけでなく静止画も撮影できるようになってきている。

デジタルカメラにおいて、動画・静止画同時記録の手法としては、まず、デジタルカメラの撮影モード選択スイッチ（スイッチ）を動画撮影モードに設定する。そうすると、外部表示装置は現在の画像をリアルタイムで表示する。

この状態で、録画キーを押すと動画の記録が開始される。動画記録を終了するときは、再び録画キーを押す。動画記録中にレリーズキーを押すと、動画撮影を継続したまま静止画を撮影する。

このように撮影されたデータを表示させる場合、最も一般的なのは、動画表示用のソフトウェアで動画を再生し、静止画表示用のソフトウェアで静止画を表示するというように、それぞれ異なる専用のソフトで表示させるものである。

これに対して、特許文献１に開示されているような表示技術が提案されている。本表示技術は、写真や動画等の閲覧の操作性と娯楽性を共に向上させるために、写真アルバムを模した画像を表示制御手段に表示させるものである。

図２０に示すように、本の形状を有するアルバムを模した３Ｄオブジェクト２０１を用いて、テクスチャとして貼り付けて表示装置上に擬似的にアルバムを表現する。所定のページが開かれた形態の３Ｄオブジェクトにおいて、各ページを第１の領域２０２Ａ／、２０２ｃと第２の領域２０２ｂ、２０２ｄに分けて、それぞれの領域に静止画像２０３Ａ／、２０３ｃ及び２０３ｂ、２０３ｄを配置する。配置された静止画像に対応する第１と第２の領域に動画２０４Ａ／、２０４ｃ及び２０４ｂ、２０４ｄをリンクして貼り付けておく。

このようにすることで、本物の写真アルバムのように画像に好みの写真（静止画）を貼り付けていき、電子アルバムを作成することができる。この３Ｄオブジェクト２０１の所定の位置をクリックするとページをめくることができ、めくられたページには、さらに別の写真が貼り付けることができる。

また、各ページに貼り付けられた写真には、それぞれ関連する動画をリンクさせることができて、写真をクリックするとリンクされている動画を再生するようになっている。

動画を再生するときには、第１の領域２０２ａ、２０２ｃ及び第２の領域２０２ｂ、２０２ｄそれぞれの領域内で再生するようになっており、写真の表示されているアルバム内で静止画と動画が混在するような表示が行われている。動画を表示させるときには、場合によっては全画面で表示させるようにもできる。

このようにすることで、動画と静止画を１つのソフトウェアで同時に再生・表示させることができるため、見る人に対して印象深い演出を行うことができる。

また、特許文献２に開示されている録画再生装置では、撮影された動画と静止画の対応関係を分りやすくして、データ管理を容易にできるようにしている。

具体的には、撮影した動画及び静止画の各画像に対してリンク情報を付加し、動画に関連付けて静止画を表示する。

図２１に示すように、動画Ｍ１に対する撮影開始のリンク情報としてリンクＬ０の時刻“０”を設定する。次に、撮影された静止画Ｓ１に対してリンク情報としてリンクＬ１の“ｔ１”を設定する。

次の動画Ｍ２に対するリンク情報は、静止画Ｓ１のリンク情報“ｔ１”に動画Ｍ２の記録時間ｔ２を加算して“ｔ１＋ｔ２”とする。次に、静止画Ｓ２のリンク情報は“ｔ１＋ｔ２”であり、３番目の動画Ｍ３のリンク情報も“ｔ１＋ｔ２”である。

このように、動画Ｍ及び静止画Ｓの各データに対してリンク情報を設定していくことで、動画の再生時、時間で計数する再生位置カウンタのカウント値がリンク位置に合致したとき、再生対象が動画のみの場合は、Ｍ１、Ｍ２、Ｍ３・・・と連続的に表示される。

また、静止画のみを表示対象とすれば、Ｍ１、Ｓ１、Ｍ２、Ｓ２、Ｍ３・・・と表示される。静止画Ｓは、表示時間を予め設定しておくことができる。

動画と静止画を表示する場合、動画Ｍ１からＭ２に切り替わるときに、静止画Ｓ１を別のウィンドで所望の時間だけ、もしくは次に静止画Ｓ２が表示されるまで継続して表示する。また、動画の画面サイズより大きな画面サイズで高解像度な静止画を表示することもできる。

このようにすることで、動画と静止画をリンクさせて表示することができるため、動画と静止画を同時に楽しむことができる。
特開２００５−０７２９６４公報 特開２０００−２９３４４６公報

以上のように、擬似的な電子写真アルバムは、本物のアルバムではできない動画表示が可能なことからエンターテイメント性も高く見ていても楽しい。

しかし、静止画と動画は関係性を持っていないため、全く異なる状況で撮影された静止画と動画にリンクを付けることができてしまう。そうすると、静止画をクリックして動画を再生したときに、静止画のイメージとは異なる動画が表示されることもあり、静止画と動画の関連が分り難くなってしまう。

また、撮影後、画像にリンク情報を付加することで、動画と静止画の間に関連性を持たせ、再生時にリンク情報から表示画像を判断する手法では、動画再生中に突然静止画が現れることになり、動画中にどのようなタイミングで静止画が撮影されたのか分りづらい。

また、静止画と動画を同時に見るときは、動画を再生しなければ静止画を見ることができないため、静止画の概要を掴むのが難しい。

本発明の目的は、動画・静止画を同時記録できるカメラで撮影した動画を再生するときに、撮影状況を明確にすることができる動画・静止画再生装置、その制御方法、プログラム及び記憶媒体を提供することにある。

上記目的を達成するために、請求項１記載の動画・静止画再生装置は、動画撮影処理中に静止画を撮影することのできるカメラで撮影された画像を再生表示する動画・静止画再生装置において、動画を再生して表示部に表示するよう制御する動画再生制御手段と、前記表示部に、前記動画のうち所定の範囲の時間の長さを示すタイムラインを表示し、該動画の撮影処理中に撮影された静止画のサムネイル画像を、該タイムライン上のどの位置のタイミングで撮影されたか識別可能に表示するとともに、複数の前記サムネイル画像を重ねて表示し、前記動画の再生の進行に応じて、重ねて表示された複数の前記サムネイル画像のうち、該動画の再生位置より前の位置で撮影された静止画のサムネイル画像よりも、該動画の再生位置より後で、該再生位置に最も近い位置で撮影された静止画のサムネイル画像の方が上になるように表示を更新するよう制御する表示制御手段とを有することを特徴とする。

本発明によれば、動画・静止画を同時記録できるカメラで撮影した動画を再生するときに、撮影状況を明確にすることができる。

以下、本発明の実施の形態を図面を参照しながら詳細に説明する。

図１は、本発明の実施の形態に係る動画・静止画再生装置としてのカメラの内部構成を示すブロック図である。本発明の動画・静止画再生装置は、動画撮影処理中に静止画を撮影することのできるカメラで撮影された画像を再生表示する。

カメラ（一眼レフカメラ）１００において、ＣＰＵ（制御手段）１は全体の動作を制御する。撮像部２は被写体の画像を撮影（撮像）する。Ａ／Ｄ変換器３は、撮像素子２で受光した光線を光電変換することによって出力された電気信号をデジタル信号に変換する。

半導体メモリ４は、撮像素子２によって撮影された画像データを保存するための取り外し可能なメモリ手段である。内蔵メモリ５は、カメラ１００の動作に関するデータなどを保管する取り外し不可能なメモリである。

画像照合部６は画像を照合する。表示装置（表示部）７は情報を表示する。バッテリ８はカメラ１００の電源である。

図２は、被写体観察時の図１のカメラの内部状態を示す側面図、図３は、撮影時の図１のカメラの内部状態を示す側面図である。

まず、これらの図を用いてカメラ１００の動作について説明する。

図２において、撮像素子２と撮影レンズ９の間にはメインミラー１０が配置されており、撮影レンズ９からきた被写体からの光線はメインミラー１０で上方に反射され、ファインダへと導かれるようになっている。

メインミラー１０は、ハーフミラーで構成されているため、被写体からの光線のうち一部はメインミラー１０を透過してサブミラー１１へ到達する。サブミラー１１は、全反射ミラーであるため、光線を下方に全反射する。

この光線の先には、撮影レンズ９の焦点状態を検出するための焦点検出装置１２が配置されており、撮影レンズ９の焦点調整を行うための情報を算出する。

次に、レリーズキーを押して撮影が行われると、図３に示すように、メインミラー１０がサブミラー１１と共に上方へ跳ね上げられて、ファインダへの光路を閉じる。そしてシャッタを開ける。これにより、撮影レンズ９からの光線は、撮像素子２へ導かれて撮影が行われる。

露光が終了すると、シャッタが閉じられて、メインミラー１０とサブミラー１１がダウンして図２の状態に戻る。通常の静止画のみを撮影する場合は、このような手順によって撮影される。

図４は、図１における撮像素子の撮像部の概略構成を示す図である。

撮像素子２において、図４に示すように、被写体像を撮影する撮像部は、画素と呼ばれる小さな受光部に分割されている。またこの画素には、ＲＧＢのカラーフィルタをそれぞれ備えている。

図４では、画素２ｍｎｒがＲ（レッド）、画素２ｍｎｇ、画素２ｍｎｇ２がＧ（グリーン）の画素、画素２ｍｎｂがＢ（ブルー）の画素で、この４つの画素を１組として規則的に配置されている。

このような配置は、ベイヤー配列と呼ばれており、ＲＧＢの３色のカラーフィルタを用いた撮像素子にはよく用いられる配列である。このような画素配列では、グリーンの画素はブルー、レッドに比べて２倍の画素数を持つことになる。

基本的には、３色が同数ずつあればカラーの画像を作り出すことが可能であるが、比較的視感度の高いグリーンの画素を増やすことで画質を向上させることができる。

このように画素分割された撮像素子２の撮像部に光線を受けると、画素毎に受光した光線の光量に応じた電荷を排出する。この電荷量の情報をＡ／Ｄ変換器３に受け渡すと、Ａ／Ｄ変換器３はデジタル情報に変換して数値化する。この各画素の数値情報を全画素集めることで１つの画像データとなる。

図５は、図１のカメラの背面図である。

次に、カメラ１００を用いて動画を撮影する場合について説明する。

まず、カメラ１００の撮影モード切替スイッチ１３を動画撮影モードに切り替える。すると、静止画撮影時のように、メインミラー１０とサブミラー１１を上方へ跳ね上げ、シャッタを開ける。

この状態を保持したまま一定周期で撮像素子２から画像を取り込み、表示装置７に順次表示する。これにより、表示装置７にはリアルタイムの動画像を表示することとなり、動画の取り込み準備状態となる。

このとき、サブミラー１１は跳ね上げられた状態であるため焦点検出装置１２によって焦点を検出することができない。従って、動画撮影モードでは、焦点検出装置１２による焦点検出は行わず、撮像素子２に取り込まれた画像から焦点を調整（検出）する方法を採る。

撮像素子２に取り込まれた画像から焦点調整を行う方式としては、通常、コントラスト検出方式と呼ばれている方式がある。コントラスト検出方式とは、撮像素子２から得られた画像の一部もしくは全部を用いて、評価領域内の画像のコントラストを調査して合焦位置を割り出すものである。

焦点の合っている画像は、高周波成分が多く含まれるようになるため、画像のコントラストが上がる。撮影レンズ９の焦点位置を少しずつずらしながら画像を取り込み、それぞれの画像のコントラストを調べて行くと、通常、図６に示すような曲線を採る。

図６で、コントラストがピークになったＦ点が焦点の合ったところである。現在のレンズ繰り出し量がＡ点の場合、レンズ繰り出し量をプラス側に移動させるとコントラストが単調に増加していきピークのＦ点へと到達する。

しかし、コントラストのピーク値が分っている訳ではないため、ピーク位置を一度通り過ぎてコントラストが下がり始めるのを確認して初めて、コントラストのピークを判断することができる。

従って、コントラストピークを行き過ぎて戻ってくるという動作が必ず必要になってくる。また、レンズの繰り出し量を変化させて画像を取り込まなければ、現在の位置から繰り出すとＦ点へ向かうのか、繰り込むとＦ点へ向かうのかが分らないため、停止状態からは、レンズの駆動方向が判断できない。従って、Ｆ点とは逆の方向にレンズを駆動させてしまうこともある。

このようなことから、焦点検出装置１２で行われている位相差検出方式に比べ、コントラスト検出方式では焦点検出に非常に時間が掛かってしまう。しかし、動画像を撮影する場合では、短い周期で画像を撮り続けており、一度焦点を合わせてしまうと、被写体の動きを予測することで、焦点の移動方向を決めることができるため大きな問題とはならない。

撮影準備状態から録画キー１６を押すことによって動画撮影が開始される。動画撮影中に再度録画キー１６を押すと、動画撮影が停止される。

このようにして、静止画及び動画の撮影を行うことができる。動画撮影中に静止画を撮影するには、通常、静止画を撮影するのと同じくレリーズキーを押せばよい。

動画撮影中に静止画を撮影する方法としては様々な方法があるが、動画撮影を中断することなく撮影する方法としては、例えば、動画の１フレームを静止画として抜き出す方法がある。

動画は、１秒間に３０フレームとか６０フレームといったスピードで撮影された静止画を順に表示することによって表現するものである。

そこで、図７に示すように、レリーズキーが押された時刻に最も近い次の動画フレームを静止画として取り出すようにする。動画は決められたフレームレートで（ｎ−３）、（ｎ−２）、（ｎ−１）と撮影されて行く。

（ｎ−１）と（ｎ）の画像が撮影される間で、静止画撮影のレリーズキーが押されると、（ｎ）番目の画像を静止画として撮影する。その際、動画像は高速で取り込み・処理しなければならないため、通常は静止画に比べて解像度が低く、そのままでは静止画として十分な画質を有していないため、このフレームのみ静止画撮影用に指定された画質で撮影する。

ＣＰＵ１の処理能力が十分高ければ特に問題はないが、静止画が高画質であるとデータ量が多くなることから、処理にかなり時間が掛かることが予想される。動画撮影のフレームレートよりも処理に時間が掛かってしまい、次の（ｎ＋１）の動画像を取り込めないような場合は、動画の処理を行うＣＰＵ１とは別に、静止画処理用のＣＰＵを持たせてそちら側にデータを送って処理を行うようにする。

このとき、動画には（ｎ）の画像がない状態になっている。このまま動画を再生すると、画像が１コマ落ちているため動きが不自然になってしまう。また、（ｎ）の静止画をそのまま動画の（ｎ）の画像として利用すると、動画再生中に急に高画質の画像が出てくるため不自然な動画となる。

そこで、動画撮影が終了してから静止画撮影した（ｎ）の画像を、静止画とは別に動画の撮影の画質と同等の画質（ｎ´）に変替して所定位置に挿入する。これにより画像的に違和感のなく、また動画が途切れることなく再生することができるようになる。この作業はカメラ１００内で行ってもよいし、パーソナルコンピュータに専用のソフトウェアを入れておいて処理してもよい。

図８は、図１のカメラにおいて、動画中に挿入されたチャプタと静止画の関係を示す図である。

次に、動画撮影中に静止画を撮影した際のマーキングについて説明する。動画撮影を開始すると、動画を保存するファイルに「ｍｏｖ００１」という名称が振られる。この名称は、保存しようとしている半導体メモリ４に同じものがないかどうかをチェックし、同じものがあった場合は「ｍｏｖ００２」にするなどして、他とは被らないように必ずユニークな名称とする。

動画には「チャプタ」と呼ばれるマーキングを施すことができる。チャプタは、動画再生時の区切りのことで、チャプタを選択することによって、チャプタを入れた場所へ再生開始の場所をジャンプすることができる。

チャプタは、動画撮影中に一定の時間間隔で自動的に打つとか、シーンが大きく変わるのを検知したら打つとか、撮影者が必要に応じてキー操作するなどして手動で打つことができ、不要になれば消去することも可能である。

本実施の形態の動画と静止画を同時記録できるカメラ１００では、動画撮影中に静止画を撮影すると、静止画の撮影をトリガとしてその時点でチャプタを付加する。このチャプタには、動画開始からの時間やフレーム数、現在の時刻など静止画撮影のタイミングを特定できるような情報を持たせて、名称には「ｓ００１」と名付けておく。

撮影された静止画は、動画のファイル名が「ｍｏｖ００１」であったことから「ｓ００１ｍｏｖ００１」というファイル名を付けて保存する。次に、静止画を撮影したらチャプタ名に「ｓ００２」、静止画のファイル名は「ｓ００２ｍｏｖ００１」というように名称を付けることによって、他のファイル名と被らずに自動的に名前を付けることができる。

また、このように名付けておくことで、どの動画のどのチャプタに対応する静止画かということがファイル名を見れば簡単に分るようになる。

これを分りやすく図に表したのが図８（ａ）である。それ以外にもファイル名は他の静止画を撮影したときと同じように、続き番号を用いた名称を用いておき、ファイルの内部情報にリンクする動画ファイルとチャプタ名を持たせるようにしてもよい。

ここで、静止画を連写した場合のチャプタの打ち方については２つの方法が挙げられる。第１の方法としては、連写時でもそれぞれの静止画に対応したチャプタを打つものである。

この場合、動画のファイル名が「ｍｏｖ００１」とし、連写の時のチャプタ名を「ｓ００１_１」「ｓ００１_２」「ｓ００１_３」・・・とする。静止画のファイル名は「ｓ００１_１ｍｏｖ００１」「ｓ００１_２ｍｏｖ００１」「ｓ００１_３ｍｏｖ００１」・・・となる。

このようにすることで、チャプタを見るだけで撮られた静止画が単写で撮られたのか連写の１枚なのかが容易に分るようになる。これを図に表すと図８（ｂ）のようになる。

第２の方法としては、連写の１枚目のみチャプタを打ち、それ以外はチャプタを打たないというものである。

この場合、動画のファイル名「ｍｏｖ００１」に対して、チャプタ名は単写と同じく「ｓ００１」でもいいし、単写とは区別を付けるために「ｓ００１ｃ」というようにしてもよい。静止画のファイル名は「ｓ００１_１」や「ｓ００１ｃ_１」という形で付けていく。これを図に表すと図８（ｃ）のようになる。

１つ目のものと異なり複数の静止画に対してチャプタが１つしかない。そのため、第１の方法では、連写枚数分だけチャプタが打たれてしまうため、大量にチャプタが打たれることになり、チャプタ移動しようとすると手間が掛かってしまうが、第２の方法では、そのようなことは起こらない。

このように、ＣＰＵ１は、前記動画撮影処理中に静止画が撮影された動画ファイル中に、該静止画を撮影したことを示すマーキングを記録するよう制御する。そして、該マーキングの名称と該動画ファイルの名称とを含むファイル名で該静止画を記録するよう制御する。

このようにして撮影された動画及び静止画を表示する方法について述べていく。

（第１の実施の形態）
第１の実施の形態は、ＣＰＵ１が、内蔵メモリ５に記録されたプログラムを図示しないワークメモリに展開して実行する処理によって実現する。以下に説明する各種操作が行われたか否かをＣＰＵ１が判定し、操作を受け付けたと判定すると、操作に応じて以下に説明する各種動作を実行する処理（再生制御、表示制御）を行う。

まず、カメラ１００に備えられている再生キー１４を押すと、図５にあるように、撮影された画像が表示装置７に表示される。このとき、静止画が表示されている場合は、撮影画像だけが表示された状態であるが、動画の際は、図９に示すように、一番初めのフレームが表示され、かつ、左上に表示画像が動画であることを示すアイコン（動画マーク７１）が表示される。

これにより、画像の観察者は表示画像が動画か静止画かを区別することができる。動画の場合は、一番始めのフレームが表示されていて再生が停止された状態である。再生を開始するためのキーとしてここでは録画キー１６を兼用させている。

動画表示状態で録画キー１６を押すと、動画の再生が開始される。通常は、動画のみの再生であるが、再生中にＤＩＳＰキー１５を押すと、図１０に示すような動画の進行状況を示すタイムライン７２１などが表示されるタイムライン情報ウィンド７２が表示される。

このタイムライン情報ウィンド７２には、動画の進行状況を示す再生位置指標７２２と動画撮影中に撮影された静止画のサムネイル画像７２３ａ〜７２３ｅが表示されている。再生位置指標７２２の下には現在の再生時間が表示されるようになっている。また、図２２に示すように撮影時刻を表示するようにしてもよい。

表示される静止画は、動画のファイル名とチャプタ名で関連付けされた静止画のファイル名を検索し、関連するものがあればタイムライン７２１上に表示されているチャプタから引き出し線を設けて関連性が分るように表示されている。

図１０に示すように、表示するサムネイルの数が多くて画像が重なってしまっている場合、サムネイルは先に撮影されたものが上に表示されるようになっている。

動画再生中に再生位置指標７２２が進行していき、図１１に示すように、静止画が撮られた位置を過ぎると次の静止画が上に表示されるようになる。これにより静止画の枚数が多くても効率よく表示できるようにしている。これを実現するために、ＣＰＵ１は、動画再生中に、動画の現在の再生位置が、静止画が得られた位置を超えたか否かを判定する。そして現在の再生位置が、静止画が得られた位置（上述のチャプタ位置）を超えたと判定した時点で、超えたと判定された位置で得られた静止画の表示上の重なり順を１番下になるように表示を更新する。あるいは、前記超えたと判定された位置で得られた静止画の表示上の重なり順を、現在の再生位置が超えていない位置で得られた静止画のうち現在の再生位置に最も近い位置で得られた静止画よりも下になるように表示を更新する。

また、十字キー１７Ｕ、１７Ｄ、１７Ｌ、１７Ｒの上下左右を操作することによって静止画にカーソルを移動させて、図１２のサムネイル画像７２３ｃに示すように選択状態にしてから決定キー１８を１回押す。すると、選択された静止画が撮影された時間から動画の再生を行う。

決定キー１８を２回続けて押すと、動画の再生を一時停止して選択された静止画を画面一杯に拡大表示する。この状態で再度、決定キー１８を２回押すと、動画再生の画面に戻って、一時停止した位置から再び、動画の再生を開始する。

（第２の実施の形態）
第２の実施の形態は、ＣＰＵ１が、内蔵メモリ５に記録されたプログラムを図示しないワークメモリに展開して実行する処理によって実現する。以下に説明する各種操作が行われたか否かをＣＰＵ１が判定し、操作を受け付けたと判定すると、操作に応じて以下に説明する各種動作を実行する処理（再生制御、表示制御）を行う。

図１３に第２の実施の形態の表示例を示す。第１の実施の形態と同一記号のものは同一の機能を果たすものとする。

動画撮影中に静止画を数多く撮影した場合、すべての静止画をタイムライン７２１上に並べて表示させると非常に見づらくなってしまう。

このような場合、一つにはタイムライン表示を分割して表示する方法を採る。分割の方法としては、動画の撮影時間を等分割する方法や静止画の撮影枚数と１画面に表示できる数から判断して分割数を決める方法などがある。

図１３は、動画の撮影時間が全体で００：１２：３４ある図１０の表示を、２分割して００：００：００から００：０６：１７まで表示したものを示している。表示する際には、分割されていて次のページがあることが認識できるようにするために、ページ送りマーク７２４ｆが表示されている。

十字キー１７Ｕ、１７Ｄ、１７Ｌ、１７Ｒの上下左右を操作することによって、ページ送りマーク７２４ｆを選択し、決定キー１８を押すと、図１４に示すように、分割された２ページ目の００：０６：１７から００：１２：３４までが表示される。

図１４では、これより前のページがあることを示すページ戻しマーク７２４ｂが表示されている。ページ戻しマーク７２４ｂも同様に選択して、決定キー１８を押すと、前のページに戻すことができる。

３つ以上の分割を行い、表示しているタイムライン７２１の前後に存在する場合はこのページ送りマーク７２４ｆとページ戻しマーク７２４ｂが同時に表示されるようになっている。

タイムライン７２１の分割表示状態において、拡大キー１９を押すと、分割数を増やしてより細かく表示し、縮小キー２０を押すと、分割数を減少してより粗く表示させることができる。また、動画の撮影時間が長く、画面上に収めようとすると表示が密集してしまって見づらくなる場合も、同様に分割で表示する方法を採ると見やすくなる。

次に、別の方法として、タイムライン７２１を部分的に拡大する方法があり、これを図１５に示す。

図１５に示す通り、所定部分のタイムライン７２１が拡大された状態で表示され、拡大する部分以外は圧縮されて表示されている。拡大表示されている部分の前後に縮小表示がある場合は、拡大表示移動マーク７２５ｂ、７２５ｆが表示される。拡大する部分については、例えば５分間を拡大するというように設定しておく。

前述のページ戻しマーク７２４ｂ、ページ送りマーク７２４ｆと同様に、十字キー１７Ｕ、１７Ｄ、１７Ｌ、１７Ｒを操作して拡大表示移動マーク７２５ｂ、７２５ｆを選択し決定キー１８を押すと、拡大場所を変更することができる。

また、拡大キー１９を押すと、拡大表示する時間を現在の５分から３分や１分と短くして詳細に見ることができ、縮小キー２０を押すと、拡大表示する時間を１０分、１５分と長くして全体的に把握できるようになる。

（第３の実施の形態）
第３の実施の形態は、ＣＰＵ１が、内蔵メモリ５に記録されたプログラムを図示しないワークメモリに展開して実行する処理によって実現する。以下に説明する各種操作が行われたか否かをＣＰＵ１が判定し、操作を受け付けたと判定すると、操作に応じて以下に説明する各種動作を実行する処理（再生制御、表示制御）を行う。

図１６、図１７に第３の実施の形態の表示例を示す。第１の実施の形態と同一記号のものは同一の機能を果たすものとする。

動画撮影中に静止画を連写で撮影したときについてのファイル名称の付け方については第１の実施の形態で述べた。連写すると静止画が大量に撮られる訳であるが、それをすべて表示すると非常に見づらくなってしまう。

これを避けるために、連写モードで撮影された複数の画像がある場合は、代表として１枚目の静止画をチャプタに関連付けて表示する。このとき、そのままでは単写で撮影されたものか連写されたものかが分らないため、図１６のサムネイル画像７２３ｆに示すように、連写された静止画があることを示す連写マークを表示し、複数静止画があることが一目で分るようにしている。

さらにより分りやすくするため、図１７のサムネイル画像７２３ｆに示すように、連写枚数を示す数字を表示する方法もある。これにより、連写された静止画が何枚あるかが分るため、さらに撮影状況を認識し易い。

連写した静止画がある場合、サムネイル画像７２３ｆを選択すると、サムネイル画像が一定時間間隔で連写された順に切り替わるように表示され、決定キー１８を続けて２回押すと、静止画を画面全体に拡大表示し、連写した静止画を一定間隔で切り替えて表示する。

静止画は、再び決定キー１８が続けて２回押されるまで繰り返し表示される。連写された静止画の切り替えを一時停止するときには、決定キー１８を１回押せばよい。決定キー１８を１回押すと、そのときに表示されていた静止画を表示させたままにする。

停止中に決定キー１８を１回押せば、再び静止画を繰り返し表示するようになり、決定キー１８を２回続けて押すと、動画の表示モードに戻るようになっている。また、連写された静止画が一通り表示されると、静止画の再生を終了して動画表示に切り替えるようにしてもよい。

連写した静止画も、タイムライン７２１上でどのようになっているか確認したい場合もある。そこで、図１８に示すように、連写部分を拡大表示するということができる。動画再生中に連写部分に近づくと、連写部分のみを取り出したタイムライン７２１を表示し、１枚目しか表示されていなかった静止画をすべて展開して表示する。

連写した際に、すべての静止画に対応するチャプタを打った場合（図８（ｂ））は、図１８のようになり、対応するチャプタに静止画が関連付けられて表示されている。

連写１枚目にしかチャプタを入れない設定の場合は、図１９に示すように、連写スピードから撮影された大体の位置を表示する。このとき、正確な情報でないことを示すために図１９に示すように、引き出し線を破線にし、また、サムネイルの表示されている枠の表示状態を替えるなどして区別できるようにしておく。

この場合は、動画の再生位置を特定することには使えないため、十字キー１７で画像を選択して、決定キー１８を１回押しても動画再生位置をジャンプさせることはできず、２回連続で押す（選択静止画の拡大表示）以外は受け付けないようになっている。

動画の再生が連写した部分を通過すると、図１６あるいは図１７に示すような元の表示状態へと戻る。

また、連写枚数が多く画面内に並べて表示することが難しい場合は、表示できるだけの静止画を並べて表示させる。前述の分割表示と同様に、ページ戻しマーク７２４ｂ、ページ送りマーク７２４ｆが表示されており、十字キー１７の左右キーで選択し、決定キー１８を押すことで表示を送ることができるようになっている。

本発明において、動画再生制御手段としてのＣＰＵ１は、動画を再生して表示部に表示するよう制御する。

また、表示制御手段としてのＣＰＵ１は、表示部に、動画のうち所定の範囲の時間の長さを示すタイムラインを表示する。そして、ＣＰＵ１は、該動画の撮影処理中に撮影された静止画のサムネイル画像を、該タイムライン上のどの位置のタイミングで撮影されたか識別可能に表示するよう制御する。

また、記録制御手段としてのＣＰＵ１は、動画撮影処理中に静止画が撮影された動画ファイル中に、該静止画を撮影したことを示すマーキングを記録すると共に、該マーキングの名称と該動画ファイルの名称とを含むファイル名で該静止画を記録するよう制御する。

また、表示制御手段としてのＣＰＵ１は、は、動画撮影処理中に撮影された静止画が所定枚数以上ある場合、前記タイムラインを特定の範囲毎に分割して表示させるよう制御する。

また、ＣＰＵ１は、動画撮影中に静止画を撮影したときに、動画中には静止画を撮影したことを示すマーキングを挿入する。また、マーキングは、対応する動画ファイル内にマーキング順序、マーキング位置を示す情報を有する。

また、ＣＰＵ１は、動画撮影中に撮影された静止画が所定枚数以上ある場合、タイムライン７２１の所定の部分を表示装置７に拡大表示させる。

また、ＣＰＵ１は、静止画が連写モードで複数枚撮影された場合、表示装置７に、撮影された静止画像のうちいずれか１枚をサムネイル画像７２３として表示させると共に、連写画像であることが特定できる表示を行わせる。

また、ＣＰＵ１は、静止画が連写モードで複数枚撮影された場合、表示装置７に、連写撮影された静止画像のうちいずれか１枚をサムネイル画像７２３として表示させると共に、連写撮影枚数が特定できる表示を行わせる。

また、ＣＰＵ１は、静止画が連写モードで複数枚撮影された場合、表示装置７に、動画再生時に連写撮影のタイミング近傍に来ると連写撮影時間分のタイムライン７２１を拡大表示させると共に、連写撮影した静止画像のサムネイル画像７２３を展開表示させる。

尚、本発明の実施の形態において、動画及び静止画の撮影は、一眼レフカメラを例に挙げて説明したが、同様の撮影が実施可能であれば、ビデオカメラやコンパクトデジタルカメラというものであってもよい。

また、動画及び静止画を表示させる装置として、撮影した一眼レフカメラを例に挙げて表示及び操作方法を説明したが、同様の表示及び操作が可能であれば、一眼レフカメラに限らず、パーソナルコンピュータに接続されたディスプレイであってもよい。また、編集装置が接続されたテレビのモニタであってもよい。

尚、上述した実施の形態の処理は、各機能を具現化したソフトウェアのプログラムコードを記録した記憶媒体をシステム或いは装置に提供してもよい。そして、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによって、前述した実施形態の機能を実現することができる。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フロッピィ（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスクなどを用いることができる。或いは、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることもできる。

また、コンピュータが読み出したプログラムコードを実行することにより、前述した各実施の形態の機能が実現されるだけではない。そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部又は全部を行い、その処理によって前述した各実施例の機能が実現される場合も含まれている。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書きこまれてもよい。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって前述した各実施の形態の機能が実現される場合も含むものである。

本発明の実施の形態に係る動画・静止画再生装置としてのカメラの内部構成を示すブロック図である。 写体観察時の図１のカメラの内部状態を示す側面図である。 撮影時の図１のカメラの内部状態を示す側面図である。 図１における撮像素子の撮像部の概略構成を示す図である。 図１のカメラの背面図である。 図２における撮影レンズの繰り出し量と画像のコントラストの関係を示す図である。 図１のカメラにおける動画撮影中に静止画を撮影するときの画像データの流れを示す図である。 図１のカメラによって撮影される動画中に挿入されたチャプタと静止画の関係を示す図である。 図１における表示装置による第１の実施の形態の動画表示状態を表す図である。 図１における表示装置による第１の実施の形態のタイムライン表示状態を表す図である（１）。 図１における表示装置による第１の実施の形態の動画再生の進行状態を表す図である。 図１における表示装置による第１の実施の形態のサムネイル選択状態を表す図である。 図１における表示装置による第２の実施の形態の第１の表示状態を表す図である。 図１における表示装置による第２の実施の形態の第２の表示状態を表す図である。 図１における表示装置による第２の実施の形態の別の表示状態を表す図である。 図１における表示装置による第３の実施の形態の表示状態を表す図である。 図１における表示装置による第３の実施の形態の別の表示状態を表す図である。 図１における表示装置による第３の実施の形態の連写撮影部の表示状態を表す図である。 図１における表示装置による第３の実施の形態の別の連写撮影部の表示状態を表す図である。 表示装置上に擬似的に表現されたアルバムを示す図である。 動画と静止画を関連付けて表示する様子を示す図である。 図１における表示装置による第１の実施の形態のタイムライン表示状態を表す図である（２）。

符号の説明

１ ＣＰＵ
２ 撮像素子
３ Ａ／Ｄ変換器
４ 半導体メモリ
５ 内蔵メモリ
６ 画像照合部
７ 表示装置
８ バッテリ
７２ タイムライン情報ウィンド
７２１ タイムライン
７２３ サムネイル画像
１００ カメラ

Claims (14)

1. 動画撮影処理中に静止画を撮影することのできるカメラで撮影された画像を再生表示する動画・静止画再生装置において、
   動画を再生して表示部に表示するよう制御する動画再生制御手段と、
   前記表示部に、前記動画のうち所定の範囲の時間の長さを示すタイムラインを表示し、該動画の撮影処理中に撮影された静止画のサムネイル画像を、該タイムライン上のどの位置のタイミングで撮影されたか識別可能に表示するとともに、複数の前記サムネイル画像を重ねて表示し、前記動画の再生の進行に応じて、重ねて表示された複数の前記サムネイル画像のうち、該動画の再生位置より前の位置で撮影された静止画のサムネイル画像よりも、該動画の再生位置より後で、該再生位置に最も近い位置で撮影された静止画のサムネイル画像の方が上になるように表示を更新するよう制御する表示制御手段と、
   を有することを特徴とする動画・静止画再生装置。
2. 前記動画撮影処理中に静止画が撮影された動画ファイル中に、該静止画を撮影したことを示すマーキングを記録すると共に、該マーキングの名称と該動画ファイルの名称とを含むファイル名で該静止画を記録するよう制御する記録制御手段を更に有することを特徴とする請求項１記載の動画・静止画再生装置。
3. 前記マーキングは、マーキング順序、マーキング位置を示す情報を含むことを特徴とする請求項２記載の動画・静止画再生装置。
4. 前記表示制御手段は、前記動画撮影処理中に撮影された静止画が所定枚数以上ある場合、前記タイムラインを特定の範囲毎に分割して表示させるよう制御することを特徴とする請求項１乃至３のいずれか１項に記載の動画・静止画再生装置。
5. 前記表示制御手段は、動画撮影中に撮影された前記静止画が所定枚数以上ある場合、前記タイムラインの特定の範囲を拡大表示させるよう制御することを特徴とする請求項１乃至３のいずれか１項に記載の動画・静止画再生装置。
6. 前記表示制御手段は、前記動画撮影処理中に撮影された静止画が連写モードで複数枚撮影されていた場合、撮影された前記静止画のうちいずれか１枚を前記サムネイル画像として表示させると共に、連写画像であることが特定できる表示をするよう制御することを特徴とする請求項１乃至４のいずれか１項に記載の動画・静止画再生装置。
7. 前記表示制御手段は、前記動画撮影処理中に撮影された静止画が連写モードで複数枚撮影されていた場合、連写撮影された前記静止画のうちいずれか１枚を前記サムネイル画像として表示させると共に、連写撮影枚数が特定できる表示をするよう制御することを特徴とする請求項１乃至４のいずれか１項に記載の動画・静止画再生装置。
8. 前記表示制御手段は、前記動画撮影処理中に撮影された静止画が連写モードで複数枚撮影されていた場合、動画再生時に連写撮影のタイミング近傍に来ると連写撮影時間分の前記タイムラインを拡大表示させると共に、前記連写撮影した前記静止画の前記サムネイル画像を展開表示させることを特徴とする請求項７記載の動画・静止画再生装置。
9. 前記表示制御手段は、前記サムネイル画像を選択すると、前記サムネイル画像が表示されている前記静止画が撮影された時点の前記動画から再生を開始することを特徴とする請求項１乃至８のいずれか１項に記載の動画・静止画再生装置。
10. 前記タイムラインは、前記動画のうち所定の範囲の時間の長さとともに撮影時刻を示すことを特徴とする請求項１乃至９のいずれか１項に記載の動画・静止画再生装置。
11. 前記表示制御手段は、複数の前記サムネイル画像を先に撮影された静止画のサムネイル画像が上となるように重ねて表示し、前記動画の再生の進行に応じて、該動画の再生位置が、前記表示制御手段によって表示された何れかの前記サムネイル画像の静止画像が得られたタイミングの位置を超えると、超えた位置のタイミングで撮影された静止画のサムネイル画像が、重ねて表示された複数の前記サムネイル画像のうち最も下の重なり順となるように制御することを特徴とする請求項１乃至１０のいずれか１項に記載の動画・静止画再生装置。
12. 動画撮影処理中に静止画を撮影することのできるカメラで撮影された画像を再生表示する動画・静止画再生装置の制御方法であって、
    動画を再生して表示部に表示するよう制御する動画再生制御ステップと、
    前記表示部に、前記動画のうち所定の範囲の時間の長さを示すタイムラインを表示し、該動画の撮影処理中に撮影された静止画のサムネイル画像を、該タイムライン上のどの位置のタイミングで撮影されたか識別可能に表示するとともに、複数の前記サムネイル画像を重ねて表示し、前記動画の再生の進行に応じて、重ねて表示された複数の前記サムネイル画像のうち、該動画の再生位置より前の位置で撮影された静止画のサムネイル画像よりも、該動画の再生位置より後で、該再生位置に最も近い位置で撮影された静止画のサムネイル画像の方が上になるように表示を更新するよう制御する表示制御ステップと、
    を有することを特徴とする動画・静止画再生装置の制御方法。
13. コンピュータを、請求項１乃至１１のいずれか１項に記載された動画・静止画再生装置の各手段として機能させるためのプログラム。
14. コンピュータを、請求項１乃至１１のいずれか１項に記載された動画・静止画再生装置の各手段として機能させるためのプログラムを記録したコンピュータが読み取り可能な記憶媒体。