JP2018152766A - ファイル生成装置、ファイル生成方法、及び、プログラム - Google Patents

Abstract

【課題】静止画を再生する際に当該静止画に対応する音声を一般的な再生装置で容易に再生可能とする技術を提供する。【解決手段】本発明のファイル生成装置は、静止画データを取得する第１取得手段と、音声データを取得する第２取得手段と、前記音声データに基づく音声が再生される期間に、前記静止画データに基づく静止画が再生されるように、前記静止画データと前記音声データから１つの動画ファイルを生成する生成手段と、を有する。【選択図】図２

Description

本発明は、ファイル生成装置、ファイル生成方法、及び、プログラムに関する。

記録された動画データ（動画撮影によって生成された、被写体像を表す動画データ）の１フレームの画像データを、静止画データとして、動画データから切り出す機能を有する撮像装置（デジタルビデオカメラなど）が存在する。この機能を用いることにより、静止画データの記録のための操作が動画撮影中に行われなくても、動画データから静止画データを切り出せるため、撮影者が所望するタイミングでの静止画データを容易に得ることができる。

また、動画撮影時の雰囲気をより鮮明に残すための技術として、音声付動画の動画データから静止画データを切り出す際に所望の音声データも音声付動画の音声データから切り出す技術が提案されている（特許文献１）。切り出された静止画データに基づく静止画を再生する際に、静止画データと共に切り出された音声データに基づく音声を容易に再生するためには、静止画データと音声データの関連付けが必要となる。

上記関連付けの方法として、静止画データと音声データから１つの静止画ファイルを生成する方法が提案されている。また、静止画データのデータファイルと音声データのデータファイルとを個別に生成し、それらのデータファイルを関連付ける管理情報を管理ファイルで管理する方法も提案されている。

特開２００６−２９５５７５号公報

しかしながら、静止画データと音声データから１つの静止画ファイルを生成する方法では、特殊なファイル構造を有する静止画ファイルが生成される。そのため、静止画ファイルから静止画と音声を再生するためには、特殊なファイル構造を解釈可能な専用の再生装置が必要となる。

また、静止画データのデータファイルと音声データのデータファイルとを個別に生成し、それらのデータファイルを関連付ける管理情報を管理ファイルで管理する方法が使用された場合にも、静止画と音声を再生するために、専用の再生装置が必要となる。具体的には、管理ファイルを解釈可能な専用の再生装置が必要となる。

このように、従来技術では、専用の再生装置を用いなければ、静止画を再生する際に、当該静止画に対応する音声を容易に再生することができない。即ち、一般的な再生装置を用いた場合には、静止画を再生する際に、当該静止画に対応する音声を容易に再生することができない。

本発明は、静止画を再生する際に当該静止画に対応する音声を一般的な再生装置で容易に再生可能とする技術を提供することを目的とする。

本発明の第１の態様は、
静止画データを取得する第１取得手段と、
音声データを取得する第２取得手段と、
前記音声データに基づく音声が再生される期間に、前記静止画データに基づく静止画が再生されるように、前記静止画データと前記音声データから１つの動画ファイルを生成する生成手段と、
を有することを特徴とするファイル生成装置である。

本発明の第２の態様は、
静止画データを取得するステップと、
音声データを取得するステップと、
前記音声データに基づく音声が再生される期間に、前記静止画データに基づく静止画が再生されるように、前記静止画データと前記音声データから１つの動画ファイルを生成するステップと、
を有することを特徴とするファイル生成方法である。

本発明の第３の態様は、コンピュータを上述したファイル生成装置の各手段として機能させるためのプログラムである。

本発明によれば、静止画を再生する際に当該静止画に対応する音声が一般的な再生装置で容易に再生可能となる。

本実施形態に係る撮像装置の構成例を示すブロック図 実施例１に係る撮像装置の処理フローの一例を示すフローチャート 実施例１に係る音声取得期間の一例を示す図 実施例２に係る撮像装置の処理フローの一例を示すフローチャート 実施例２に係る撮像装置の処理の具体例を示す図 実施例３に係る撮像装置の処理フローの一例を示すフローチャート 実施例３に係る撮像装置の処理の具体例を示す図

以下、本発明の実施形態について説明する。図１は、本実施形態に係る撮像装置の構成例を示すブロック図である。

撮影レンズ１００は、被写体からの光を撮像素子１０１へ導く。撮影レンズ１００として、単焦点レンズ、ズームレンズ、等を用いることができる。

撮像素子１０１は、撮影レンズ１００によって撮像素子１０１上に結像された被写体像（被写体の画像；光学像）をアナログ信号に変換し、当該アナログ信号を出力する。撮像素子１０１として、ＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ、等を用いることができる。

Ａ／Ｄ変換器１０２は、撮像素子１０１から出力されたアナログ信号をデジタル信号（撮影画像データ；被写体像を表す画像データ）に変換する。そして、Ａ／Ｄ変換器１０２は、撮影画像データを出力する。

マイクロホン１０３は、集音を行うことにより、集音された音声を表すアナログ信号を
生成する。そして、マイクロホン１０３は、生成したアナログ信号を出力する。

Ａ／Ｄ変換器１０４は、マイクロホン１０３から出力されたアナログ信号をデジタル信号（集音された音声を表す音声データ）に変換する。そして、Ａ／Ｄ変換器１０４は、音声データを出力する。

マイクロコンピュータ１０５は、撮像装置の各機能部の処理を制御する。

揮発性メモリ１０６は、Ａ／Ｄ変換器１０２から出力された撮影画像データ、Ａ／Ｄ変換器１０４から出力された音声データ、等を一時的に記憶する。また、揮発性メモリ１０６は、データファイル（動画ファイル、静止画ファイル、等）から抽出されたデータ（静止画データ、動画データ、音声データ、等）を一時的に記憶する。

不揮発性メモリ１１１には、マイクロコンピュータ１０５によって実行されるプログラムなどが予め記録されている。

静止画コーデック１０７は、揮発性メモリ１０６に記録された静止画データの圧縮符号化（圧縮変換）を行う。例えば、静止画コーデック１０７は、静止画データのデータフォーマットをＪＰＥＧフォーマットへ変換する圧縮符号化を行う。

動画コーデック１０８は、揮発性メモリ１０６に記録された動画データの圧縮符号化、揮発性メモリ１０６に記録された動画データの伸張複合化（伸張変換）、等を行う。例えば、動画コーデック１０８は、動画データのデータフォーマットをＨ．２６４フォーマットへ変換する圧縮符号化、動画データのデータフォーマットをＨ．２６４フォーマットから変換する伸張複合化、等を行う。

音声コーデック１０９は、揮発性メモリ１０６に記録された音声データの圧縮符号化、揮発性メモリ１０６に記録された音声データの伸張複合化、等を行う。例えば、音声コーデック１０９は、音声データのデータフォーマットをＡＡＣフォーマットへ変換する圧縮符号化、音声データのデータフォーマットをＡＡＣフォーマットから変換する伸張複合化、等を行う。

ファイル生成部１１０は、静止画コーデック１０７の圧縮符号化後の静止画データに対してヘッダ情報を生成することにより、静止画ファイルを生成する。例えば、ファイル生成部１１０は、ＪＰＥＧフォーマットの静止画ファイルを生成する。また、ファイル生成部１１０は、動画コーデック１０８の圧縮符号化後の動画データと、音声コーデック１０９の圧縮符号化後の音声データとの多重化を行う。そして、ファイル生成部１１０は、多重化後のデータに対してヘッダ情報を生成することにより、動画ファイルを生成する。例えば、ファイル生成部１１０は、ＭＰ４フォーマットの動画ファイルを生成する。ここで、動画ファイルは、音声付動画のデータファイルである。

外部メモリ１１２は、ファイル生成部１１０によって生成されたデータファイル（静止画ファイル、動画ファイル、等）を記憶する。例えば、マイクロコンピュータ１０５が、ファイル生成部１１０によって生成されたデータファイルを、外部メモリ１１２に記録する。外部メモリ１１２として、コンパクトフラッシュ、スマートメディア、ハードディスクドライブ、等を用いることができる。外部メモリ１１２は、撮像装置に対して着脱可能である。なお、外部メモリ１１２の代わりに、撮像装置に内蔵された記憶部が使用されてもよい。

表示部材１１３は、画像（動画、静止画、等）を画面に表示する。例えば、表示部材１
１３は、外部メモリ１１２に記録された動画ファイルに基づく動画（音声付動画）、外部メモリ１１２に記録された静止画ファイルに基づく静止画、等を表示する（再生処理）。撮像装置には不図示のスピーカが設けられており、音声はスピーカから発せられる。表示部材１１３としては、液晶モニタなどを用いることができる。

操作部材１１４は、撮像装置に対するユーザ操作を受け付ける。例えば、静止画撮影を行うためのユーザ操作、動画撮影を行うためのユーザ操作、撮像装置の動作モードを切り替えるためのユーザ操作、撮影パラメータを変更するためのユーザ操作、等が行われる。静止画撮影は、撮影画像データとして静止画データを得るための撮影である。動画撮影は、撮影画像データとして動画データを得るための撮影である。操作部材１１４として、スイッチ、ボタン、タッチパネル、コントローラ、等を用いることができる。タッチパネルは、表示部材１１３の画面上に設けられていてもよいし、そうでなくてもよい。

＜実施例１＞
以下、本発明の実施例１について説明する。本実施例に係る撮像装置は、図１に示す構成を有する。図２は、本実施例に係る撮像装置の処理フローの一例を示すフローチャートである。

まず、Ｓ２０１にて、マイクロコンピュータ１０５は、外部メモリ１１２に記録されている動画ファイルに基づく音声付動画の再生を行う。例えば、マイクロコンピュータ１０５は、撮像装置に対するユーザ操作に応じて、外部メモリ１１２に記録されている複数の動画ファイルのいずれかを選択する。そして、マイクロコンピュータ１０５は、選択した動画ファイルに基づく音声付動画の再生を行う。音声付動画の音声は表示部材１１３の画面に表示され、音声付動画の音声は不図示のスピーカから発せられる。そして、マイクロコンピュータ１０５は、撮像装置に対するユーザ操作に応じて、再生された音声付動画の１フレームを選択する。以後、Ｓ２０１で音声付動画が再生された動画ファイルを「再生動画ファイル」と記載し、Ｓ２０１で選択されたフレームを「選択フレーム」と記載する。

次に、Ｓ２０２にて、マイクロコンピュータ１０５は、選択フレームの画像データを静止画データとして再生動画ファイルから取得する（抽出する；切り出す）ために再圧縮符号化が必要か否かを判断する。再圧縮符号化が必要でないと判断された場合には、Ｓ２０３へ処理が進められ、再圧縮符号化が必要であると判断された場合には、Ｓ２１０へ処理が進められる。

例えば、再生動画ファイルにおいて、選択フレームの画像データが、フレーム内圧縮の画像データである場合には、再圧縮符号化を行わずに、選択フレームの画像データを静止画データとして再生動画ファイルから取得することができる。そのため、そのような場合には、再圧縮符号化が必要でないと判断される。一方、再生動画ファイルにおいて、選択フレームの画像データが、フレーム間圧縮の画像データである場合には、再圧縮符号化を行わなければ、選択フレームの画像データを静止画データとして再生動画ファイルから取得することができない。そのため、そのような場合には、再圧縮符号化が必要であると判断される。

なお、再圧縮符号化が必要であるか否かの判断方法は、特に限定されない。例えば、再生動画ファイルに含まれている動画データのデータフォーマット（圧縮形式）がＪＰＥＧフォーマットである場合に、再圧縮符号化が必要でないと判断され、それ以外の場合に、再圧縮符号化が必要であると判断されてもよい。

Ｓ２０３にて、マイクロコンピュータ１０５は、選択フレームの画像データを静止画デ
ータとして再生動画ファイル（再生動画ファイルに含まれている動画データ）から取得し、取得した静止画データを揮発性メモリ１０６に記録する。そして、Ｓ２０４へ処理が進められる。

Ｓ２１０にて、動画コーデック１０８は、再生動画ファイルに含まれている動画データの伸長複合化を行う。マイクロコンピュータ１０５は、伸張複合化後の動画データから選択フレームの画像データを静止画データとして取得する。静止画コーデック１０７は、マイクロコンピュータ１０５によって取得された静止画データの圧縮符号化を行う。そして、マイクロコンピュータ１０５は、圧縮符号化後の静止画データを揮発性メモリ１０６に記録する。その後、Ｓ２０４へ処理が進められる。

Ｓ２０４にて、マイクロコンピュータ１０５は、再生動画ファイル（再生動画ファイルに含まれている音声データ）から取得する音声データの期間を決定する。以後、Ｓ２０４で決定された期間を「音声取得期間」と記載する。本実施例では、再生動画ファイルに基づく音声付動画の少なくとも一部の期間が、音声取得期間として決定される。

Ｓ２０５にて、マイクロコンピュータ１０５は、音声取得期間の長さ（時間）を判断（算出）する。そして、マイクロコンピュータ１０５は、音声取得期間の長さが閾値以上であるか否かを判断する。音声取得期間の長さが閾値以上であると判断された場合には、Ｓ２０７へ処理が進められ、音声取得期間の長さが閾値未満であると判断された場合には、Ｓ２１１へ処理が進められる。音声取得期間の長さと比較される閾値は、メーカによって予め定められた固定値であってもよいし、そうでなくてもよい。例えば、音声取得期間の長さと比較される閾値は、ユーザによって指定された値であってもよい。

Ｓ２１１にて、マイクロコンピュータ１０５は、ユーザに対する所定の通知を行う。例えば、マイクロコンピュータ１０５は、音声取得期間の長さが不十分であることのメッセージを表示部材１１３の画面に表示する制御を行う。そして、Ｓ２０４へ処理が戻され、音声取得期間が再決定される。なお、所定の通知は、所定のメッセージの表示に限られない。所定の通知として、所定のアイコンの表示、所定の音声の出力、所定のランプの点灯、所定の点灯パターンでのランプの点灯、等が行われてもよい。

Ｓ２０７にて、マイクロコンピュータ１０５は、音声取得期間における音声データを再生動画ファイル（再生動画ファイルに含まれている音声データ）から取得し、取得した音声データを揮発性メモリ１０６に記録する。

次に、Ｓ２０８とＳ２０９にて、音声取得期間の音声データに基づく音声が再生される期間に、選択フレームの静止画データに基づく静止画が再生されるように、選択フレームの静止画データと音声取得期間の音声データから１つの動画ファイルが生成される。音声データと静止画データは、揮発性メモリ１０６から読み出されて使用される。

具体的には、Ｓ２０８にて、マイクロコンピュータ１０５は、音声取得期間の長さに基づいて、上記動画ファイルに含まれる動画データのフレームレートを決定（算出）する。本実施例では、選択フレームの静止画データに対応する１フレームのみを動画データが含むように、動画ファイルが生成される。そのため、マイクロコンピュータ１０５は、静止画データに基づく静止画の再生時間に対応するフレームレートを決定する。例えば、音声取得期間の長さが５秒である場合には、１フレームの再生時間が５秒になるようにフレームレートが決定される。具体的には、０．２（＝１／５）ｆｐｓのフレームレートが決定される。

そして、Ｓ２０９にて、マイクロコンピュータ１０５は、選択フレームの静止画データ
と、音声取得期間の音声データとを、揮発性メモリ１０６から読み出す。そして、ファイル生成部１１０は、読み出されたそれらのデータの多重化を行い、Ｓ２０８で決定されたフレームレートに動画データのフレームレートを制御するためのヘッダ情報を多重化後のデータに対して生成する。それにより、選択フレームの静止画データに対応する１フレームのみを動画データが含み、且つ、１フレームの再生時間が音声取得期間の長さと等しい動画ファイルが生成される。その後、マイクロコンピュータ１０５は、生成された動画ファイルを、外部メモリ１１２に記録する。

なお、本実施例に係る撮像装置の処理フローは、上記処理フローに限られない。例えば、Ｓ２０６とＳ２１１の処理が省略されてもよい。Ｓ２０５からＳ２０７へ処理が進められてもよい。

図３は、音声取得期間の一例を示す。図３において、時間軸の矢印の向きは、時間の経過方向である。図３には、再生動画ファイルの各フレームの画像、再生動画ファイルの音声の波形、及び、音声取得期間が示されている。再生動画ファイルのフレームレートは、例えば、３０ｆｐｓである。図３において、画像ｎは、選択フレームの画像である。

マイクロコンピュータ１０５は、選択フレームの時間位置に応じた期間を、音声取得期間として自動で決定することができる。例えば、マイクロコンピュータ１０５は、選択フレームの時間位置に対して第１時間前の時間位置から選択フレームの時間位置までの期間ｓ１を、音声取得期間として自動で決定することができる。図３の例では期間ｓ１が選択フレームの時間位置を含んでいるが、選択フレームの時間位置までの期間は、選択フレームの時間位置を含まなくてもよい。第１時間は、メーカによって予め定められた固定時間であってもよいし、そうでなくてもよい。例えば、第１時間は、ユーザによって指定された時間であってもよい。

マイクロコンピュータ１０５は、選択フレームの時間位置から選択フレームの時間位置に対して第２時間後の時間位置までの期間ｓ２を、音声取得期間として自動で決定することもできる。図３の例では期間ｓ２が選択フレームの時間位置を含んでいないが、選択フレームの時間位置からの期間は、選択フレームの時間位置を含んでもよい。第２時間は、メーカによって予め定められた固定時間であってもよいし、そうでなくてもよい。例えば、第２時間は、ユーザによって指定された時間であってもよい。

マイクロコンピュータ１０５は、選択フレームの時間位置を跨いだ期間ｓ３を、音声取得期間として自動で決定することもできる。期間ｓ３は、選択フレームの時間位置に対して第３時間前の時間位置から、選択フレームの時間位置に対して第４時間後の時間位置までの期間である。図３の例では、期間ｓ３の中心の時間位置が選択フレームの時間位置に一致する。即ち、第３時間は第４時間と等しい。なお、選択フレームの時間位置を跨いだ音声取得期間期間の中心の時間位置は、選択フレームの時間位置に一致しなくてもよい。即ち、第３時間は第４時間と異なっていてもよい。第３時間が第４時間より長くてもよいし、第３時間が第４時間より短くてもよい。第３時間と第４時間のそれぞれは、メーカによって予め定められた固定時間であってもよいし、そうでなくてもよい。例えば、第３時間と第４時間の少なくとも一方は、ユーザによって指定された時間であってもよい。

マイクロコンピュータ１０５は、ユーザによって指定された期間ｓ４を、音声取得期間として決定することもできる。ユーザは、例えば、表示部材１１３の画面に表示された音声付動画を確認しながら、操作部材１１４を用いて期間ｓ４を指定する。期間ｓ４は、任意の期間である。期間ｓ４、選択フレームに関連した期間であってもよいし、選択フレームに関連した期間でなくてもよい。

以上述べたように、本実施例によれば、音声取得期間の音声データに基づく音声が再生される期間に、選択フレームの静止画データに基づく静止画が再生されるように、それらのデータから、一般的なファイル構造を有する１つの動画ファイルが生成される。一般的なファイル構造を有する動画ファイルに基づく音声付動画は、一般的な再生装置で容易に再生することができる。そのため、本実施例によれば、静止画を再生する際に当該静止画に対応する音声が一般的な再生装置で容易に再生可能となる。

＜実施例２＞
以下、本発明の実施例２について説明する。なお、以下では、実施例１と異なる点（構成、処理、等）について詳しく説明し、実施例１と同じ点についての説明は省略する。本実施例に係る撮像装置は、図１に示す構成を有する。図４は、本実施例に係る撮像装置の処理フローの一例を示すフローチャートである。

まず、Ｓ４０１にて、音声データのバッファリングが開始される。本実施例では、撮像装置の状態が撮影可能な状態になったタイミングで、音声データのバッファリングが開始される。なお、音声データのバッファリングが開始されるタイミングは、特に限定されない。例えば、撮像装置に対するユーザ操作に応じて、音声データのバッファリングが開始されてもよい。

音声データのバッファリングについて具体的に説明する。マイクロホン１０３は、集音を行うことにより、集音された音声を表すアナログ信号を生成する。Ａ／Ｄ変換器１０４は、マイクロホン１０３によって生成されたアナログ信号を、デジタル信号である音声データに変換する。マイクロコンピュータ１０５は、Ａ／Ｄ変換器１０４によって生成された音声データを、揮発性メモリ１０６に記録する。マイクロコンピュータ１０５は、Ａ／Ｄ変換器１０４によって生成された音声データを揮発性メモリ１０６から読み出し、読み出した音声データを音声コーデック１０９に供給する。音声コーデック１０９は、供給された音声データの圧縮符号化を行う。そして、マイクロコンピュータ１０５は、圧縮符号化後の音声データを、揮発性メモリ１０６に記録する。

撮像装置では、揮発性メモリ１０６が保持可能な音声データの最大時間（上限時間；最大保持時間）が予め設定されている。ここで、音声データのバッファリングで最大保持時間よりも長い時間の音声データが揮発性メモリ１０６に記録される場合を考える。この場合には、現在のタイミングまでの最大保持時間の音声データが揮発性メモリ１０６によって保持されるように、古い音声データが揮発性メモリ１０６から削除される。なお、最大保持時間は、メーカによって予め定められた固定時間であってもよいし、そうでなくてもよい。例えば、最大保持時間は、ユーザによって指定された時間であってもよい。

次に、Ｓ４０２にて、ユーザは、静止画撮影を行うためのユーザ操作を、操作部材１１４を用いて行う。そして、Ｓ４０３にて、静止画撮影を行うためのユーザ操作に応じて、音声データのバッファリングが停止される。次に、Ｓ４０４にて、静止画撮影を行うためのユーザ操作に応じて、静止画撮影が行われる。それにより、静止画データが取得される。

静止画撮影について具体的に説明する。撮像素子１０１は、撮影レンズ１００によって撮像素子１０１上に結像された被写体像をアナログ信号に変換する。Ａ／Ｄ変換器１０２は、撮像素子１０１によって生成されたアナログ信号を、デジタル信号であり且つ撮影画像データである静止画データに変換する。マイクロコンピュータ１０５は、Ａ／Ｄ変換器１０２によって生成された静止画データを、揮発性メモリ１０６に記録する。マイクロコンピュータ１０５は、Ａ／Ｄ変換器１０２によって生成された静止画データを揮発性メモリ１０６から読み出し、読み出した静止画データを静止画コーデック１０７に供給する。
静止画コーデック１０７は、供給された静止画データの圧縮符号化を行う。そして、マイクロコンピュータ１０５は、圧縮符号化後の静止画データを、揮発性メモリ１０６に記録する。

次に、Ｓ４０５にて、マイクロコンピュータ１０５は、揮発性メモリ１０６に保持されている音声データの時間が最小記録時間以上であるか否かを判断する。ここで、揮発性メモリ１０６に保持されている音声データは、音声データのバッファリングによって揮発性メモリ１０６に記録された音声データである。揮発性メモリ１０６に保持されている音声データの時間が最小記録時間以上であると判断された場合には、Ｓ４０６へ処理が進められる。揮発性メモリ１０６に保持されている音声データの時間が最小記録時間未満であると判断された場合には、Ｓ４１１へ処理が進められる。なお、最小記録時間は、メーカによって予め定められた固定時間であってもよいし、そうでなくてもよい。例えば、最小記録時間は、ユーザによって指定された時間であってもよい。

Ｓ４１１にて、Ｓ４０４の静止画撮影によって揮発性メモリ１０６に記録された静止画データから、静止画ファイルが生成される。具体的には、マイクロコンピュータ１０５は、Ｓ４０４の静止画撮影によって得られた静止画データを、揮発性メモリ１０６から読み出す。そして、ファイル生成部１１０は、読み出された静止画データから、静止画ファイルを生成する。その後、マイクロコンピュータ１０５は、生成された静止画ファイルを、外部メモリ１１２に記録する。

Ｓ４０６にて、マイクロコンピュータ１０５は、揮発性メモリ１０６に保持されている音声データの時間が最大記録時間以上であるか否かを判断する。ここで、揮発性メモリ１０６に保持されている音声データは、音声データのバッファリングによって揮発性メモリ１０６に記録された音声データである。揮発性メモリ１０６に保持されている音声データの時間が最大記録時間以上であると判断された場合には、Ｓ４０７へ処理が進められる。揮発性メモリ１０６に保持されている音声データの時間が最大記録時間未満であると判断された場合には、Ｓ４１２へ処理が進められる。最大記録時間は、最小記録時間よりも長く、最大保持時間以下である。なお、最大記録時間は、メーカによって予め定められた固定時間であってもよいし、そうでなくてもよい。例えば、最大記録時間は、ユーザによって指定された時間であってもよい。

Ｓ４１２にて、マイクロコンピュータ１０５は、音声データのバッファリングによって揮発性メモリ１０６に記録された音声データ（全体）を、揮発性メモリ１０６から読み出す。その後、Ｓ４０８へ処理が進められる。

Ｓ４０７にて、マイクロコンピュータ１０５は、音声データのバッファリングによって揮発性メモリ１０６に記録された、バッファリングが終了したタイミングまでの最大記録時間分の音声データを、揮発性メモリ１０６から読み出す。その後、Ｓ４０８へ処理が進められる。

Ｓ４０８〜Ｓ４１０にて、動画ファイルが生成される。本実施例では、Ｓ４０７またはＳ４１２で読み出された音声データに基づく音声が再生される期間に、Ｓ４０４の静止画撮影によって得られた静止画データに基づく静止画が再生されるように、それらのデータから１つの動画ファイルが生成される。

具体的には、Ｓ４０８にて、マイクロコンピュータ１０５は、Ｓ４０７またはＳ４１２で読み出した音声データの時間を判断（算出）する。

Ｓ４０９にて、マイクロコンピュータ１０５は、Ｓ４０８で判断した時間に基づいて、
フレームレートを決定（算出）する。Ｓ４０９では、図２のＳ２０８の処理と同様の処理により、フレームレートが決定される。

Ｓ４１０にて、マイクロコンピュータ１０５は、Ｓ４０４の静止画撮影によって得られた静止画データを、揮発性メモリ１０６から読み出す。ファイル生成部１１０は、読み出された静止画データと、Ｓ４０７またはＳ４１２で読み出された音声データとの多重化を行う。そして、ファイル生成部１１０は、Ｓ４０９で決定されたフレームレートに動画データのフレームレートを制御するためのヘッダ情報を多重化後のデータに対して生成する。それにより、Ｓ４０４の静止画撮影によって得られた静止画データに対応する１フレームのみを動画データが含み、且つ、１フレームの再生時間がＳ４０８で判断した時間と等しい動画ファイルが生成される。その後、マイクロコンピュータ１０５は、生成された動画ファイルを、外部メモリ１１２に記録する。

なお、本実施例に係る撮像装置の処理フローは、上記処理フローに限られない。例えば、Ｓ４０５、Ｓ４０６、Ｓ４０７、及び、Ｓ４１１の少なくとも一部の処理が省略されてもよい。Ｓ４０４からＳ４１２へ処理が進められてよい。揮発性メモリ１０６に保持されている音声データの時間が最小記録時間以上であると判断された場合には、Ｓ４０５からＳ４１２へ処理が進められてもよい。

図５は、本実施例に係る撮像装置の処理の具体例を示す。図５において、時間軸の矢印の向きは、時間の経過方向である。図５には、バッファリングされた音声データの波形、静止画撮影によって取得された静止画データに基づく静止画、各種期間、及び、各種タイミングが示されている。

タイミングｔ１で、音声データのバッファリングが開始される（Ｓ４０１）。そして、タイミングｔ２で、静止画撮影のためのユーザ操作が行われ（Ｓ４０２）、音声データのバッファリングが停止され（Ｓ４０３）、静止画撮影（静止画データの取得）が行われる（Ｓ４０４）。

タイミングｔ１からタイミングｔ２までの期間ｓ５に音声データのバッファリングが行われるが、期間ｓ５の時間は、最大保持時間よりも長い。そのため、音声データのバッファリングでは、現在のタイミングまでの最大保持時間の音声データが揮発性メモリ１０６によって保持されるように、古い音声データが揮発性メモリ１０６から削除される。その結果、タイミングｔ２において、タイミングｔ２までの期間ｓ５’の音声データが、揮発性メモリ１０６によって保持される。期間ｓ５’の時間は、最大保持時間と等しい。

最小記録時間は最大保持時間よりも短く、最大記録時間は最大保持時間以下である。そのため、Ｓ４０５からＳ４０６へ処理が進められ、Ｓ４０６からＳ４０７へ処理が進められる。ここでは、最大記録時間が最大保持時間と等しいとする。そのため、期間ｓ５’の音声データが揮発性メモリ１０６から取得され（Ｓ４０７）、期間ｓ５’の時間が判断され（Ｓ４０８）、期間ｓ５’の時間に基づいてフレームレートが決定される（Ｓ４０９）。そして、静止画撮影によって取得された静止画データ、揮発性メモリ１０６から取得された音声データ、及び、決定されたフレームレートから、１つの動画ファイルが生成される（Ｓ４１０）。

以上述べたように、本実施例によれば、静止画撮影を行うことにより、静止画データが取得され、静止画撮影が行われるタイミングに応じた期間に集音を行うことにより、音声データが取得される。そして、取得された音声データに基づく音声が再生される期間に、取得された静止画データに基づく静止画が再生されるように、それらのデータから、一般的なファイル構造を有する１つの動画ファイルが生成される。それにより、静止画を再生
する際に当該静止画に対応する音声が一般的な再生装置で容易に再生可能となる。

＜実施例３＞
以下、本発明の実施例３について説明する。なお、以下では、実施例１，２と異なる点（構成、処理、等）について詳しく説明し、実施例１，２と同じ点についての説明は省略する。本実施例に係る撮像装置は、図１に示す構成を有する。図６は、本実施例に係る撮像装置の処理フローの一例を示すフローチャートである。

まず、Ｓ６０１にて、ユーザは、静止画撮影を行うためのユーザ操作を、操作部材１１４を用いて行う。次に、Ｓ６０２にて、静止画撮影を行うためのユーザ操作に応じて、静止画撮影が行われる。それにより、静止画データが取得される。そして、Ｓ６０３にて、静止画撮影を行うためのユーザ操作に応じて、音声データのバッファリングが開始される。次に、Ｓ６０４にて、音声データのバッファリングが行われる。

そして、Ｓ６０５にて、マイクロコンピュータ１０５は、揮発性メモリ１０６に保持されている音声データの時間が必要記録時間に達したか否かを判断する。ここで、揮発性メモリ１０６に保持されている音声データは、音声データのバッファリングによって揮発性メモリ１０６に記録された音声データである。揮発性メモリ１０６に保持されている音声データの時間が必要記録時間に達していないと判断された場合には、Ｓ６０４へ処理が戻される。そして、揮発性メモリ１０６に保持されている音声データの時間が必要記録時間に達するまで、音声データのバッファリングが継続される。揮発性メモリ１０６に保持されている音声データの時間が必要記録時間に達すると、Ｓ６０５からＳ６０６へ処理が進められる。なお、必要記録時間は、メーカによって予め定められた固定時間であってもよいし、そうでなくてもよい。例えば、必要記録時間は、ユーザによって指定された時間であってもよい。

Ｓ６０６にて、音声データのバッファリングが停止される。次に、Ｓ６０７にて、マイクロコンピュータ１０５は、音声データのバッファリングによって揮発性メモリ１０６に記録された音声データを、揮発性メモリ１０６から読み出す。

そして、Ｓ６０８〜Ｓ６１０にて、動画ファイルが生成される。本実施例では、Ｓ６０７で読み出された音声データに基づく音声が再生される期間に、Ｓ６０２の静止画撮影によって得られた静止画データに基づく静止画が再生されるように、それらのデータから１つの動画ファイルが生成される。

具体的には、Ｓ６０８にて、マイクロコンピュータ１０５は、Ｓ６０７で読み出した音声データの時間を判断（算出）する。

Ｓ６０９にて、マイクロコンピュータ１０５は、Ｓ６０８で判断した時間に基づいて、フレームレートを決定（算出）する。

Ｓ６１０にて、マイクロコンピュータ１０５は、Ｓ６０２の静止画撮影によって得られた静止画データを、揮発性メモリ１０６から読み出す。ファイル生成部１１０は、読み出された静止画データと、Ｓ６０７で読み出された音声データとの多重化を行う。そして、ファイル生成部１１０は、Ｓ６０９で決定されたフレームレートに動画データのフレームレートを制御するためのヘッダ情報を多重化後のデータに対して生成する。それにより、Ｓ６０２の静止画撮影によって得られた静止画データに対応する１フレームのみを動画データが含み、且つ、１フレームの再生時間がＳ６０８で判断した時間と等しい動画ファイルが生成される。その後、マイクロコンピュータ１０５は、生成された動画ファイルを、外部メモリ１１２に記録する。

なお、本実施例に係る撮像装置の処理フローは、上記処理フローに限られない。例えば、Ｓ６０５の処理が省略されてもよい。Ｓ６０４からＳ６０６へ処理が進められてよい。

図７は、本実施例に係る撮像装置の処理の具体例を示す。図７において、時間軸の矢印の向きは、時間の経過方向である。図７には、静止画撮影によって取得された静止画データに基づく静止画、バッファリングされた音声データの波形、各種期間、及び、各種タイミングが示されている。

タイミングｔ３で、静止画撮影のためのユーザ操作が行われ（Ｓ６０１）、静止画撮影（静止画データの取得）が行われる（Ｓ６０２）。そして、静止画撮影が完了したタイミングｔ４で、音声データのバッファリングが開始され（Ｓ６０３）、タイミングｔ５で、音声データのバッファリングが停止される（Ｓ６０６）。そのため、タイミングｔ４からタイミングｔ５までの期間ｓ６に音声データのバッファリングが行われる（Ｓ６０３〜Ｓ６０６）。期間ｓ６の時間は、必要記録時間と等しい。

その後、期間ｓ６の音声データが揮発性メモリ１０６から取得され（Ｓ６０７）、期間ｓ６の時間が判断され（Ｓ６０８）、期間ｓ６の時間に基づいてフレームレートが決定される（Ｓ６０９）。そして、静止画撮影によって取得された静止画データ、揮発性メモリ１０６から取得された音声データ、及び、決定されたフレームレートから、１つの動画ファイルが生成される（Ｓ６１０）。

以上述べたように、本実施例によれば、静止画撮影を行うことにより、静止画データが取得され、静止画撮影が行われるタイミングに応じた期間に集音を行うことにより、音声データが取得される。そして、取得された音声データに基づく音声が再生される期間に、取得された静止画データに基づく静止画が再生されるように、それらのデータから、一般的なファイル構造を有する１つの動画ファイルが生成される。それにより、静止画を再生する際に当該静止画に対応する音声が一般的な再生装置で容易に再生可能となる。

なお、図１の各機能部は、個別のハードウェアであってもよいし、そうでなくてもよい。２つ以上の機能部の機能が、共通のハードウェアによって実現されてもよい。１つの機能部の複数の機能のそれぞれが、個別のハードウェアによって実現されてもよい。１つの機能部の２つ以上の機能が、共通のハードウェアによって実現されてもよい。また、各機能部は、ハードウェアによって実現されてもよいし、そうでなくてもよい。例えば、装置が、プロセッサと、制御プログラムが格納されたメモリとを有していてもよい。そして、装置が有する少なくとも一部の機能部の機能が、プロセッサがメモリから制御プログラムを読み出して実行することにより実現されてもよい。

なお、実施例１〜３はあくまで一例であり、本発明の要旨の範囲内で実施例１〜３の構成を適宜変形したり変更したりすることにより得られる構成も、本発明に含まれる。実施例１〜３の構成を適宜組み合わせて得られる構成も、本発明に含まれる。

実施例１〜３では、動画ファイルを生成するファイル生成装置が撮像装置に設けられている例を説明したが、ファイル生成装置は撮像装置とは別体の装置であってもよい。例えば、ファイル生成装置は、パーソナルコンピュータ（ＰＣ）、タブレット端末、スマートフォン、等に設けられていてもよい。

実施例１では、撮影画像データである動画データから静止画データが取得される例を説明したが、動画データは撮影画像データに限られない。例えば、動画データは、放送番組のデータ、映画のデータ、等であってもよい。また、実施例２，３では、静止画撮影によ
って撮影画像データである静止画データが取得される例を説明したが、静止画データは、撮影画像データに限られない。例えば、静止画データは、イラストのデータであってもよい。

実施例１では、音声付動画から静止画データと音声データが取得される例を説明した。実施例２，３では、静止画撮影が行われる期間の集音によって音声データが取得される例を説明した。しかしながら、音声データの取得方法はこれらに限られない。例えば、任意の音楽データの一部が、音声データとして取得されてもよい。

実施例２では、静止画撮影が行われるタイミングに応じた期間、すなわち集音が行われる期間として、静止画撮影が行われるタイミングまでの期間が使用される例を説明した。実施例３では、静止画撮影が行われるタイミングに応じた期間として、静止画撮影が行われるタイミングからの期間が使用される例を説明した。しかしながら、静止画撮影が行われるタイミングに応じた期間は、これらに限られない。例えば、静止画撮影が行われるタイミングに応じた期間として、静止画撮影が行われるタイミングを跨いだ期間が使用されてもよい。具体的には、図４のＳ４０１の処理とＳ４０２の処理とが行われ、Ｓ４０３の処理が省略され、Ｓ４０４の処理が行われ、Ｓ４０４から図５のＳ５０４へ処理が進められてもよい。そのようにすれば、静止画撮影が行われるタイミングに応じた期間として、静止画撮影が行われるタイミングを跨いだ期間を使用することができる。

静止画撮影の種類に応じて、静止画撮影が行われるタイミングに応じた期間、すなわち集音が行われる期間が、切り替えられてもよい。ここで、メカニカルシャッターを用いた静止画撮影と、電子シャッターを用いた静止画撮影とが実行可能である場合を考える。メカニカルシャッターを用いた静止画撮影では、物理的に光を遮る遮光機構を開閉させることにより、シャッターが切られる。電子シャッターを用いた静止画撮影では、撮像素子の処理を制御することによって、物理的なシャッターの動きが再現される。この場合には、メカニカルシャッターを用いた静止画撮影が行われる場合に、静止画撮影が行われるタイミングまでの期間、または、静止画撮影が行われるタイミングからの期間に集音が行われてもよい。そして、電子シャッターを用いた静止画撮影が行われる場合に、静止画撮影が行われるタイミングを跨いだ期間に集音が行われてもよい。静止画撮影の種類と集音の期間との対応関係は、特に限定されない。

実施例１〜３では、得られた静止画データに対応する１フレームのみを含む動画ファイルが生成される例を説明したが、動画ファイルは、各々が同じ静止画データに対応する複数フレームを含んでもよい。例えば、音声データの時間が５秒である場合には、フレームレートが３０ｆｐｓである動画ファイルとして、各々が同じ静止画データに対応する１５０（＝３０×５）フレームを含む動画ファイルが生成されてもよい。

静止画データと音声データから生成された動画ファイルから音声データを削除するためのユーザ操作が行われてもよい。動画ファイルから音声データを削除する指示がユーザによって行われた場合には、ファイル生成部１１０は、当該動画ファイルの生成に使用された静止画データから静止画ファイルを生成してもよい。そして、マイクロコンピュータ１０５は、外部メモリ１１２に記録された上記動画ファイルを、生成された静止画ファイルに置き換えてもよい。それにより、動画ファイルよりもデータサイズの小さい静止画ファイルを得ることができるため、外部メモリ１１２の記憶容量を効率よく利用することができる。なお、静止画データは、動画ファイルから取得されてもよいし、揮発性メモリ１０６、外部メモリ１１２、等によって保持されていてもよい。

静止画データと音声データから動画ファイルを生成する否かをユーザが選択可能であってもよい。静止画データと音声データから動画ファイルを生成することがユーザによって
選択されている場合に、ファイル生成部１１０が、静止画データと音声データから動画ファイルを生成してもよい。そして、静止画データと音声データから動画ファイルを生成しないことがユーザによって選択されている場合に、ファイル生成部１１０が、静止画データから静止画ファイルを生成してもよい。

＜その他の実施例＞
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００：撮影レンズ １０１：撮像素子 １０２：Ａ／Ｄ変換器
１０３：マイクロホン １０４：Ａ／Ｄ変換器 １０５：マイクロコンピュータ
１０６：揮発性メモリ １０７：静止画コーデック １０８：動画コーデック
１０９：音声コーデック １１０：ファイル生成部 １１１：不揮発性メモリ
１１２：外部メモリ １１３：表示部材 １１４：操作部材

Claims (15)

1. 静止画データを取得する第１取得手段と、
   音声データを取得する第２取得手段と、
   前記音声データに基づく音声が再生される期間に、前記静止画データに基づく静止画が再生されるように、前記静止画データと前記音声データから１つの動画ファイルを生成する生成手段と、
   を有することを特徴とするファイル生成装置。
2. 前記第１取得手段は、動画の１フレームの画像データを前記静止画データとして取得する
   ことを特徴とする請求項１に記載のファイル生成装置。
3. 前記動画は、音声付動画であり、
   前記第２取得手段は、前記音声付動画の少なくとも一部の期間における音声データを取得する
   ことを特徴とする請求項２に記載のファイル生成装置。
4. 前記第２取得手段は、前記音声付動画の、前記静止画データのフレームの時間位置に応じた期間における音声データを取得する
   ことを特徴とする請求項３に記載のファイル生成装置。
5. 前記静止画データのフレームの時間位置に応じた前記期間は、前記静止画データのフレームの時間位置までの期間、前記静止画データのフレームの時間位置からの期間、または、前記静止画データのフレームの時間位置を跨いだ期間である
   ことを特徴とする請求項４に記載のファイル生成装置。
6. 前記第２取得手段は、前記音声付動画の、ユーザによって指定された期間における音声データを取得する
   ことを特徴とする請求項３に記載のファイル生成装置。
7. 前記第１取得手段は、静止画撮影を行うことにより、被写体像を表す静止画データを取得する
   ことを特徴とする請求項１に記載のファイル生成装置。
8. 前記第２取得手段は、前記静止画撮影が行われるタイミングに応じた期間に集音を行うことにより、前記音声データを取得する
   ことを特徴とする請求項７に記載のファイル生成装置。
9. 前記静止画撮影が行われるタイミングに応じた前記期間は、前記静止画撮影が行われるタイミングまでの期間、前記静止画撮影が行われるタイミングからの期間、または、前記静止画撮影が行われるタイミングを跨いだ期間である
   ことを特徴とする請求項８に記載のファイル生成装置。
10. 前記第１取得手段は、メカニカルシャッターを用いた静止画撮影と、電子シャッターを用いた静止画撮影とを実行可能であり、
    前記メカニカルシャッターを用いた静止画撮影が行われる場合に、前記第２取得手段は、前記静止画撮影が行われるタイミングまでの期間、または、前記静止画撮影が行われるタイミングからの期間に集音を行い、
    前記電子シャッターを用いた静止画撮影が行われる場合に、前記第２取得手段は、前記
    静止画撮影が行われるタイミングを跨いだ期間に集音を行う
    ことを特徴とする請求項８に記載のファイル生成装置。
11. 前記動画ファイルを記憶部に記録する記録手段、をさらに有し、
    前記動画ファイルから前記音声データを削除する指示がユーザによって行われた場合に、
    前記生成手段は、前記静止画データから静止画ファイルを生成し、
    前記記録手段は、前記記憶部に記録された前記動画ファイルを、前記静止画ファイルに置き換える
    ことを特徴とする請求項１〜１０のいずれか１項に記載のファイル生成装置。
12. 前記動画ファイルを生成するか否かをユーザが選択可能であり、
    前記動画ファイルを生成しないことがユーザによって選択されている場合に、前記生成手段は、前記静止画データから静止画ファイルを生成する
    ことを特徴とする請求項１〜１１のいずれか１項に記載のファイル生成装置。
13. 前記音声データに基づく音声の時間が閾値未満である場合に、前記生成手段は、前記静止画データから静止画ファイルを生成する
    ことを特徴とする請求項１〜１２のいずれか１項に記載のファイル生成装置。
14. 静止画データを取得するステップと、
    音声データを取得するステップと、
    前記音声データに基づく音声が再生される期間に、前記静止画データに基づく静止画が再生されるように、前記静止画データと前記音声データから１つの動画ファイルを生成するステップと、
    を有することを特徴とするファイル生成方法。
15. コンピュータを請求項１〜１３のいずれか１項に記載のファイル生成装置の各手段として機能させるためのプログラム。

Images