JP4788607B2

JP4788607B2 - 撮像装置、画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体

Info

Publication number: JP4788607B2
Application number: JP2007006995A
Authority: JP
Inventors: 栄介藤本; 淳一横田; 亮吾伊藤; 浩下野; 英生小幡
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2007-01-16
Filing date: 2007-01-16
Publication date: 2011-10-05
Anticipated expiration: 2027-01-16
Also published as: JP2008177662A

Description

本発明は、撮像装置、画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体に関し、例えばデジタルビデオカメラに適用することができる。本発明は、記録媒体への転送レートの低下により、サムネイル画像の記録を中止し、動画像のみを記録することにより、頭だしや編集ポイント探索に用いる頭出し用のサムネイル画像を記録媒体に記録する場合に、一時的に記録媒体への転送レートが低下する場合でも、動画像を確実に記録することができるようにする。

従来、デジタルビデオカメラ等の撮像装置では、動画像をＭＰＥＧ（Moving Picture Experts Group）によりデータ圧縮して記録媒体に記録している。このＭＰＥＧでは、ＧＯＰ（Group Of Pictures ）単位で動画像を区切ってデータ圧縮処理している。

このような動画像の記録に関して、例えば特開２００６−７４６９０号公報には、所定ピクチャ毎に、頭だしや編集ポイント探索に用いる頭出し用のサムネイル画像を作成して記録媒体に記録する方法が提案されている。この特開２００６−７４６９０号公報に開示の手法によれば、この頭出し用のサムネイル画像を使用して所望するシーンを高速度で頭出しすることができ、またこの頭出し用のサムネイル画像を使用して編集ポイントを探索することができる。

しかしながら頭出し用のサムネイル画像を所定ピクチャ毎に作成して記録媒体に記録する場合、動画像のみを記録する場合に比して、記録媒体に記録するデータ量が増大することになる。これに対してこの種の撮像装置では、記録媒体への転送レートが一時的に低下する場合がある。

すなわち例えばハードディスク装置では、加速度センサにより衝撃を検出してヘッドを退避させる場合があり、ヘッドを退避させた場合には、一時的に記録媒体への転送レートが低下する。またハードディスク装置、光ディスク装置等のディスク装置では、ライトリトライする場合もあり、この場合も、一時的に記録媒体への転送レートが低下することになる。またバッテリーの消費により電源電圧が低下し、記録系の回路が正常に動作しなくなる場合も予測され、この場合も、一時的に記録媒体への転送レートが低下する。また温度センサ、結露センサ等により異常を検出して記録媒体への記録を一時中断する場合もあり、この場合も、一時的に記録媒体への転送レートが低下する。

従って頭出し用のサムネイル画像を所定ピクチャ毎に作成して記録媒体に記録する方法にあっては、このように一時的に記録媒体への転送レートが低下した場合に、動画像を記録できなくなる場合も予測され、直には適用できない問題があった。
特開２００６−７４６９０号公報

本発明は以上の点を考慮してなされたもので、頭出し用のサムネイル画像を記録媒体に記録する場合に、一時的に記録媒体への転送レートが低下する場合でも、動画像を確実に記録することができる撮像装置、画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体を提案しようとするものである。

上記の課題を解決するため請求項１の発明は、撮像装置に適用して、動画像の画像データを取得する撮影部と、前記動画像の画像データから、所定ピクチャ毎に、サムネイル画像の画像データを作成するサムネイル画像作成部と、前記動画像の画像データ、前記サムネイル画像の画像データを記録媒体に記録する記録部と、前記記録部における前記記録媒体への転送レートの低下により、前記サムネイル画像の画像データの前記記録媒体への記録を中止させる制御部とを備えるようにする。

また請求項２の発明は、画像処理装置に適用して、動画像の画像データを取得する画像データ取得部と、前記動画像の画像データから、所定ピクチャ毎に、サムネイル画像の画像データを作成するサムネイル画像作成部と、前記動画像の画像データ、前記サムネイル画像の画像データを記録媒体に記録する記録部と、前記記録部における前記記録媒体への転送レートの低下により、前記サムネイル画像の画像データの前記記録媒体への記録を中止させる制御部とを備えるようにする。

また請求項１０の発明は、画像処理方法に適用して、動画像の画像データを取得する画像データ取得のステップと、前記動画像の画像データから、所定ピクチャ毎に、サムネイル画像の画像データを作成するサムネイル画像作成のステップと、前記動画像の画像データ、前記サムネイル画像の画像データを記録媒体に記録する記録のステップと、前記記録のステップにおける前記記録媒体への転送レートの低下により、前記サムネイル画像の画像データの前記記録媒体への記録を中止させる制御のステップとを備えるようにする。

また請求項１１の発明は、画像処理方法のプログラムに適用して、動画像の画像データを取得する画像データ取得のステップと、前記動画像の画像データから、所定ピクチャ毎に、サムネイル画像の画像データを作成するサムネイル画像作成のステップと、前記動画像の画像データ、前記サムネイル画像の画像データを記録媒体に記録する記録のステップと、前記記録のステップにおける前記記録媒体への転送レートの低下により、前記サムネイル画像の画像データの前記記録媒体への記録を中止させる制御のステップとを備えるようにする。

また請求項１２の発明は、動画像の画像データを記録媒体に記録する画像処理方法のプログラムを記録した記録媒体に適用して、前記画像処理方法のプログラムは、前記動画像の画像データを取得する画像データ取得のステップと、前記動画像の画像データから、所定ピクチャ毎に、サムネイル画像の画像データを作成するサムネイル画像作成のステップと、前記動画像の画像データ、前記サムネイル画像の画像データを記録媒体に記録する記録のステップと、前記記録のステップにおける前記記録媒体への転送レートの低下により、前記サムネイル画像の画像データの前記記録媒体への記録を中止させる制御のステップとを備えるようにする。

また請求項１３の発明は、画像処理装置に適用して、動画像の画像データと、前記動画像の画像データの所定ピクチャ毎のサムネイル画像の画像データとを取得する画像データ取得部と、前記動画像の画像データから、前記ピクチャ毎に、サムネイル画像の画像データを作成するサムネイル画像作成部と、前記画像データ取得部で取得した前記動画像の画像データ、前記サムネイル画像の画像データを記録媒体に記録する記録部とを備え、前記動画像の画像データに対する前記サムネイル画像の欠落を検出し、該サムネイル画像が欠落した箇所に、前記サムネイル画像作成部で作成した前記サムネイル画像の画像データを割り当てて、前記動画像の画像データ及び前記サムネイル画像の画像データを記録する。

また請求項１４の発明は、画像処理方法に適用して、動画像の画像データと、前記動画像の画像データの所定ピクチャ毎のサムネイル画像の画像データとを取得する画像データ取得ステップと、前記動画像の画像データから、前記ピクチャ毎に、サムネイル画像の画像データを作成するサムネイル画像作成ステップと、前記画像データ取得ステップで取得した前記動画像の画像データ、前記サムネイル画像の画像データを記録媒体に記録する記録ステップとを備え、前記動画像の画像データに対する前記サムネイル画像の欠落を検出し、該サムネイル画像が欠落した箇所に、前記サムネイル画像作成ステップで作成した前記サムネイル画像の画像データを割り当てて、前記動画像の画像データ及び前記サムネイル画像の画像データを記録する。

また請求項１５の発明は、画像処理方法のプログラムに適用して、動画像の画像データと、前記動画像の画像データの所定ピクチャ毎のサムネイル画像の画像データとを取得する画像データ取得ステップと、前記動画像の画像データから、前記ピクチャ毎に、サムネイル画像の画像データを作成するサムネイル画像作成ステップと、前記画像データ取得ステップで取得した前記動画像の画像データ、前記サムネイル画像の画像データを記録媒体に記録する記録ステップとを備え、前記動画像の画像データに対する前記サムネイル画像の欠落を検出し、該サムネイル画像が欠落した箇所に、前記サムネイル画像作成ステップで作成した前記サムネイル画像の画像データを割り当てて、前記動画像の画像データ及び前記サムネイル画像の画像データを記録する。

また請求項１６の発明は、動画像の画像データを記録媒体に記録する画像処理方法のプログラムを記録した記録媒体に適用して、前記動画像の画像データと、前記動画像の画像データの所定ピクチャ毎のサムネイル画像の画像データとを取得する画像データ取得ステップと、前記動画像の画像データから、前記ピクチャ毎に、サムネイル画像の画像データを作成するサムネイル画像作成ステップと、前記画像データ取得ステップで取得した前記動画像の画像データ、前記サムネイル画像の画像データを記録媒体に記録する記録ステップとを備え、前記動画像の画像データに対する前記サムネイル画像の欠落を検出し、該サムネイル画像が欠落した箇所に、前記サムネイル画像作成ステップで作成した前記サムネイル画像の画像データを割り当てて、前記動画像の画像データ及び前記サムネイル画像の画像データを記録する。

請求項１、請求項２、請求項１０、請求項１１、又は請求項１２の構成によれば、記録媒体への転送レートの低下により、動画像及びサムネイル画像の双方を記録困難となった場合でも、動画像については、記録を継続することができ、一時的に記録媒体への転送レートが低下する場合でも、動画像を確実に記録することができる。

また請求項１３、請求項１４、請求項１５、又は請求項１６の構成によれば、請求項１、請求項２、請求項１０、請求項１１、又は請求項１２の構成により、一時的にサムネイル画像の記録を中止した記録媒体について、欠落したサムネイル画像の画像データを補うことができる。

本発明によれば、頭出し用のサムネイル画像を記録媒体に記録する場合に、一時的に記録媒体への転送レートが低下する場合でも、動画像を確実に記録することができる。

以下、適宜図面を参照しながら本発明の実施例を詳述する。

（１）実施例の構成
図２は、本発明の実施例のデジタルビデオカメラを示すブロック図である。このデジタルビデオカメラ１において、撮影部２は、ＣＣＤ（Charge Coupled Device ）固体撮像素子、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor ）固体撮像素子等により構成される。撮影部２は、動画像の撮影時、図示しないレンズユニットにより撮像面に形成された光学像を光電変換処理し、光電変換処理結果である撮像信号を生成する。このデジタルビデオカメラ１は、この撮像信号をアナログディジタル変換処理して動画像の画像データＤ１を生成し、この動画像の画像データＤ１をホワイトバランス調整、ガンマ補正等して動画像入力インターフェース（動画像入力ＩＦ）３に入力する。

音声変換部４は、動画像の撮影時、図示しないマイクで取得される音声信号をアナログディジタル変換処理して音声データＤ２を生成し、この音声データＤ２を音声入力インターフェース（音声入力ＩＦ）５に出力する。

動画像入力インターフェース３、音声入力インターフェース５は、動画像の撮影時、それぞれ順次入力される動画像の画像データＤ１、音声データＤ２をバッファメモリ６に出力する。

モニタ部７は、動画像の撮影時、バッファメモリ６を介して撮影部２から出力される画像データＤ１を取得し、液晶表示パネル等のディスプレイで表示する。またバッファメモリ６を介して音声変換部４から出力される音声データＤ２を取得し、音声信号に変換してイヤホンに出力する。また動画像の再生時、バッファメモリ６を介して動画像伸長部９から出力される画像データＤ３を取得して表示する。またバッファメモリ６を介して音声伸長部１０から音声データＤ４を取得し、音声信号に変換してイヤホンに出力する。これに対して編集時等において、モニタ部７は、バッファメモリ６を介してマイクロコンピュータ１１で生成された画像データを表示することにより、編集用の画面等を表示する。またバッファメモリ６を介して静止画像伸長部１２から出力される静止画像の画像データＤ５を取得し、編集用の画面上等で表示する。

バッファメモリ６は、動画像入力インターフェース３、音声入力インターフェース５から出力される画像データＤ１、音声データＤ２、動画像伸長部９、静止画像伸長部１２、音声伸長部１０から出力される画像データＤ３、Ｄ５、音声データＤ４を一時格納して各部に出力する。

動画像圧縮部１３は、動画像の記録時、バッファメモリ６を介して撮影部２から出力される画像データＤ１を取得し、ＭＰＥＧによりデータ圧縮して符号化データＤ６を出力する。ここで図３に示すように、動画像圧縮部１３は、１５フレームで１ＧＯＰを構成し、各ＧＯＰの先頭フレームをＩピクチャに設定して符号化データＤ６を生成する。

音声圧縮部１５は、動画像の記録時、バッファメモリ６を介して音声変換部４から出力される音声データＤ２を取得し、この音声データＤ２をＡＣ３（Audio Code Number 3）によりデータ圧縮して符号化データＤ７を出力する。

マルチプレクサ／デマルチプレクサ１６は、動画像の記録時、動画像圧縮部１３から出力される符号化データＤ６、音声圧縮部１５から出力される符号化データＤ７を時分割多重化処理して動画ストリームを形成し、この動画ストリームのデータＤ８を出力する。

またマルチプレクサ／デマルチプレクサ１６は、動画像の再生時、バッファメモリ１７から出力される動画ストリームのデータＤ９を、動画像の符号化データＤ１０と、音声データの符号化データＤ１１とに分離してそれぞれ動画像伸長部９、音声伸長部１０に出力する。

動画像伸長部９は、マルチプレクサ／デマルチプレクサ１６から出力される動画像の符号化データＤ１０をデータ伸長して動画像の画像データＤ３を復号し、この動画像の画像データＤ３をバッファメモリ６に出力する。音声伸長部１０は、マルチプレクサ／デマルチプレクサ１６から出力される音声データの符号化データＤ１１をデータ伸長して音声データＤ４を復号し、この音声データＤ４をバッファメモリ６に出力する。

画素数変換部１９は、マイクロコンピュータ１１の制御により、ユーザーがサムネイル画像の作成を指示している場合、動画像の記録時、内蔵の抽出部１９Ａを用いて、所定ピクチャ毎に、動画像の画像データＤ１を取得する。またこの抽出部１９Ａで取得した画像データＤ１を画素間引きし、サムネイル画像の画像データＤ１３を生成する。また後述する補完処理において、マイクロコンピュータ１１の制御により、同様にしてサムネイル画像の画像データＤ１３を生成する。

ここでこの実施例において、図３（Ａ）及び（Ｂ）に示すように、抽出部１９Ａで取得するピクチャは、画像データＤ１のＩピクチャに設定される。従って画素数変換部１９は、各ＧＯＰの先頭ピクチャの画像データＤ１を選択的に取得して、１ＧＯＰ毎にサムネイル画像を作成する。なおサムネイル画像を作成するピクチャは、Ｉピクチャに限らず、Ｐピクチャ、Ｂピクチャから作成するようにしてもよい。また１つのＧＯＰから複数ピクチャを選択してそれぞれサムネイル画像を作成してもよく、また複数ピクチャ毎に、１つのサムネイル画像を作成してもよい。

静止画像圧縮部２０は、このサムネイル画像の画像データＤ１３を所定の符号化方式によりデータ圧縮し、サムネイル画像の符号化データＤ１４をバッファメモリ１７に出力する。この実施例では、この符号化方式に、ＪＰＥＧ（Joint Photographic Coding Experts Group ）が適用される。なお以下において、このサムネイル画像の符号化データＤ１４を適宜、サムネイルデータと呼ぶ。

静止画像伸長部１２は、編集時等において、バッファメモリ１７からサムネイルデータＤ１５を入力し、このサムネイルデータＤ１５をデータ伸長してバッファメモリ６に出力する。

バッファメモリ１７は、動画像の記録時、マルチプレクサ／デマルチプレクサ１６から出力される動画像ストリームのデータＤ８、マイクロコンピュータ１１から出力される各種のデータを一時格納し、所定フォーマットでドライブ２１に出力する。またユーザーがサムネイル画像の記録を指示している場合、さらに静止画像圧縮部２０から出力される符号化データＤ１４を所定フォーマットでドライブ２１に出力する。

この実施例では、この所定フォーマットにＱＴ（Quick Time）ファイルフォーマットが適用される。ここでＱＴファイルフォーマットは、複数のリソースを同期させて再生可能なマルチメディア対応のファイルフォーマットであり、階層化されたブロック構造により構成される。ＱＴファイルフォーマットのファイルは、図４に示すように、リソースである画像データ、音声データ等を格納するムービーデータアトムと、このリソースの管理データを格納するムービーアトムとにより形成される。各リソースは、それぞれトラックとしてムービーデータアトムに割り当てられ、さらに各トラックは、所定データ量のサンプルにより区分されて形成される。ムービーアトムは、このムービーデータアトムに対応して階層構造により作成され、この階層構造における最下位層に各サンプルの管理データを格納した管理テーブルが設けられる。ムービーアトムは、この管理テーブルによるトラックがリソース毎に設けられる。なおＱＴファイルフォーマットでは、他のＱＴファイルフォーマットのファイルに保持されたムービーデータアトムを参照することにより、リソースの全部又は一部を別ファイルとした外部参照形式も許され、この場合は、ムービーアトムのみによって構成される場合もある。

従ってバッファメモリ１７は、ユーザーがサムネイル画像の記録を指示していない場合、動画像の記録時、マルチプレクサ１６から出力される動画ストリームのデータＤ８で動画ストリームのトラックを形成し、この動画ストリームのトラックによるムービーデータアトムのデータをドライブ２１に出力する。またユーザーがサムネイル画像の作成を指示している場合、動画像の記録時、動画ストリームのデータＤ８とサムネイルデータＤ１４とでそれぞれ動画ストリームのトラックとサムネイルトラックとを形成し、これら動画ストリームのトラックとサムネイルトラックとによるムービーデータアトムのデータをドライブ２１に出力する。また動画ストリームのトラックでは、１フレーム分の動画ストリームを１サンプルに割り当て、サムネイルトラックでは、１つのサムネイル画像を１サンプルに割り当てる。またムービーデータアトムの記録を完了すると、マイクロコンピュータ１１に保持されたムービーアトムのデータを入力してドライブ２１に出力する。なお動画ストリームのトラックに代えて、動画像の符号化データＤ６によるトラックと音声データの符号化データＤ７によるトラックとを形成してもよい。

これに対して再生時、バッファメモリ１７は、ドライブ２１から出力されるデータを、マルチプレクサ／デマルチプレクサ１６、静止画像伸長部１２、マイクロコンピュータ１１に出力する。

ドライブ２１は、マイクロコンピュータ１１の制御により、バッファメモリ１７の出力データをディスク２２に順次記録し、またディスク２２からマイクロコンピュータ１１で指示されたファイルのデータを順次再生して出力する。なおここでディスク２２は、ハードディスクである。

ドライブ２１は、ディスク２２への記録時、マイクロコンピュータ１１の制御により、クラスタ単位で、バッファメモリ１７からデータを入力し、１つのクラスタへの記録を完了すると、続くクラスタのデータをバッファメモリ１７から入力する。またクラスタ毎に、リードアフタライトの処理を実行し、一定値以上にエラーレートが劣化している場合には、リトライの処理を実行する。また所定回数リトライを繰り返しても、一定値以上にエラーレートが劣化したままのクラスタについては、欠陥領域に設定し、代替処理を実行する。また図示しない加速度センサにより、このデジタルビデオカメラ１への衝撃をモニタし、加速度センサで検出される加速度が一定値以上となると、即座にディスク２２への記録を中断し、ヘッドを所定位置に退避させる。またその後、加速度が一定値以下となると、ディスク２２への記録を再開する。

デジタルビデオカメラ１は、これら撮影部２からディスク２２までの構成により、図５において符号３２で示す動画記録系を構成する。また符号３３で示すサムネイル画像の記録系を構成する。また図６において符号３４で示す動画の再生系を構成し、さらに符号３５で示すサムネイル画像の再生系を構成する。

モードダイヤル２４は、このデジタルビデオカメラ１の動作モードを設定する回転操作子であり、このデジタルビデオカメラ１は、このモードダイヤル２４の回転操作により、サムネイル画像を記録するか否かのユーザーの指示を受け付ける。

操作子２５は、記録開始、記録終了を指示するトリガスイッチ等の操作子である。ディスク２６は、マイクロコンピュータ１１の処理プログラム、マイクロコンピュータ１１の処理に使用する各種データを格納するハードディスク装置である。なおハードディスク装置に代えて、光ディスク、メモリ等、各種記録媒体を適用してもよい。ドライブ２７は、ディスク２６のインターフェースである。ここでこの実施例において、マイクロコンピュータ１１のプログラムは、このディスク２６に事前にインストールされて提供されるものの、このような事前のインストールによる提供に代えて、光ディスク、磁気ディスク、メモリカード等の記録媒体に記録して提供するようにしてもよく、インターネット等のネットワークを介したダウンロードにより提供するようにしてもよい。

マイクロコンピュータ１１は、このデジタルビデオカメラ１の各部の動作を制御するコンピュータであり、操作子２５、モードダイヤル２４等の操作に応動してディスク２６に格納されたプログラムを実行することにより、ユーザーの操作に応動して各部の動作を制御する。

すなわちマイクロコンピュータ１１は、ユーザーが撮影を指示した場合、撮影部２、音声変換部４で画像データＤ１、音声データＤ２を取得し、バッファメモリ６を介してこれら画像データＤ１、音声データＤ２をモニタ部７に出力する。

またこの状態でユーザーがトリガスイッチを操作して記録を指示すると、マイクロコンピュータ１１は、動画記録系３２（図５）の処理により、またドライブ２１との間のデータ通信により、クラスタ単位で、動画ストリームのデータＤ８をディスク２２に記録する。またディスク２６にムービーアトムを記録して順次更新し、ユーザーがトリガスイッチを操作して記録の停止を指示すると、動画記録系３２に動作の停止を指示する。またその後、ユーザーが撮影の中止を指示すると、ディスク２６に記録したムービーアトムのデータをバッファメモリ１７に出力し、それまでに記録した画像データＤ１、音声データＤ２によるムービーデータアトムに対応するように、ムービーアトムをディスク２２に記録する。なおこの場合、ムービーアトムの管理データは、動画ストリームのフォーマット、ファイル先頭からのオフセット値により各サンプルの先頭位置を特定する位置情報、各サンプルのデータ量、各サンプルの動画像の再生時間情報等により構成される。

これに対してユーザーがサムネイル画像の作成を指示している場合、マイクロコンピュータ１１は、記録の開始の指示により、動画ストリームのデータＤ８をディスク２２に記録しながら、サムネイル画像の記録系３３（図５）の処理によりサムネイルデータを作成してディスク２２に記録する。

このとき図１に示す処理手順を実行して動画ストリームのデータＤ８と、サムネイルデータＤ１４とを交互にディスク２２に記録し、一時的にディスク２２へのデータ転送速度が低下した場合には、サムネイルデータＤ１４の記録を中止する。

すなわちマイクロコンピュータ１１は、ユーザーが記録の開始を指示すると、この処理手順を開始してステップＳＰ１からステップＳＰ２に移る。ここでマイクロコンピュータ１１は、バッファメモリ１７に保持された動画ストリームのデータ量が記録開始閾値以上となったか否か判断する。

ここで否定結果が得られると、マイクロコンピュータ１１は、ステップＳＰ２を繰り返し、動画ストリームのデータ量が記録開始閾値以上となるまで待機する。また動画ストリームのデータ量が記録開始閾値以上となると、ステップＳＰ２からステップＳＰ３に移り、バッファメモリ１７に格納されている動画ストリームのデータＤ８を１クラスタ分、ドライブ２１に転送して記録する。またドライブ２１から記録の完了が通知されると、ステップＳＰ４に移る。

このステップＳＰ４において、マイクロコンピュータ１１は、ストリームユニットの最後まで、動画ストリームのデータＤ８を格納したか否か判断する。ここでストリームユニットは、動画ストリームのデータＤ８における１つのサムネイル画像に対応するデータ区分である。従ってこの実施例において、１つのストリームユニットは、１ＧＯＰ分のデータである。

ここで否定結果が得られると、マイクロコンピュータ１１は、ステップＳＰ４からステップＳＰ５に移り、バッファメモリ１７における動画ストリームのデータ量が１クラスタ分未満となったか否か判断する。ここで否定結果が得られると、マイクロコンピュータ１１は、ステップＳＰ５からステップＳＰ３に戻る。

これに対してステップＳＰ５で肯定結果が得られると、マイクロコンピュータ１１は、ステップＳＰ５からステップＳＰ２に戻る。このステップＳＰ２からステップＳＰ５の処理の繰り返しにより、マイクロコンピュータ１１は、データ量が一定値以上となる毎に、クラスタ単位で、動画ストリームのデータＤ８をディスク２２に記録する。またディスク２６にムービーアトムを構築し、撮影の終了によりこのムービーアトムをディスク２２に記録する。

マイクロコンピュータ１１は、このステップＳＰ２からステップＳＰ５の処理の繰り返しにより、動画ストリームのデータＤ８を１ＧＯＰ分記録すると、ステップＳＰ４で肯定結果が得られ、ステップＳＰ４からステップＳＰ６に移る。ここでマイクロコンピュータ１１は、バッファメモリ１７における動画ストリームのデータ量の、直前のピーク値が、サムネイル記録中止閾値以上であったか否か判断する。ここでこのサムネイル記録中止閾値は、サムネイル画像記録中止処理の判定基準値であり、ステップＳＰ２の記録開始閾値より大きな値に設定される。なおサムネイル画像記録中止処理は、サムネイルデータのディスク２２への記録を省略する処理である。

ここで否定結果が得られると、マイクロコンピュータ１１は、ステップＳＰ６からステップＳＰ７に移り、サムネイル画像記録処理を実行した後、ステップＳＰ５に移る。これに対してステップＳＰ６で肯定結果が得られると、マイクロコンピュータ１１は、サムネイル記録中止処理を実行した後、ステップＳＰ８に移る。

図７は、サムネイル記録処理を示すフローチャートである。マイクロコンピュータ１１は、この処理手順を開始すると、ステップＳＰ１１からステップＳＰ１２に移り、バッファメモリ１７にサムネイルデータＤ１４が所定データ量以上、蓄積されたか否か判断する。

ここで否定結果が得られると、マイクロコンピュータ１１は、ステップＳＰ１２からステップＳＰ１３に移り、元の処理手順に戻る。

これに対してステップＳＰ１２で肯定結果が得られると、マイクロコンピュータ１１は、ステップＳＰ１２からステップＳＰ１４に移る。ここでマイクロコンピュータ１１は、ディスク２６に記録したムービーアトムからサムネイルトラックの管理データを格納したトラックを選択し、このトラックからステップＳＰ１６におけるサムネイルデータＤ１４の記録に対応する管理テーブルを選択する。マイクロコンピュータ１１は、この選択した管理テーブルに、この管理テーブルに記録された管理データが有効であることを示す識別情報を設定する。

続いてステップＳＰ１５に移り、１サンプルのサムネイルデータＤ１４が、所定のデータ量となるように、バッファメモリ１７に格納した１サンプルのサムネイルデータＤ１４に対して、パディングの処理を実行する。

また続くステップＳＰ１６において、このパディングした１サンプルのサムネイルデータＤ１４をドライブ２１に出力し、ディスク２２に記録する。また続くステップＳＰ１７において、この１サンプルの記録に対応するように、ステップＳＰ１４で有効に設定したサンプルの管理テーブルに、サムネイルデータの管理データを設定する。ここでこの管理データは、サムネイルトラックに記録された対応するデータのフォーマット、ファイル先頭からのオフセット値により対応するサンプルの先頭位置を特定する位置情報（アドレス）、対応するサンプルのデータ量（サイズ）、再生時間情報、動画ストリームにおける生成元のフレームを特定するＧＯＰフレーム情報等である。

続いてマイクロコンピュータ１１は、ステップＳＰ１８に移り、バッファメモリ１７に格納された全てのサンプルのサムネイルデータＤ１４を記録したか否か判断し、ここで否定結果が得られると、ステップＳＰ１４に戻る。これに対してステップＳＰ１８で肯定結果が得られると、ステップＳＰ１８からステップＳＰ１３に移り、元の処理手順に戻る。この図７の処理手順の実行により、マイクロコンピュータ１１は、動画ストリームをディスク２２に１ＧＯＰ記録する毎に、対応するサムネイルデータＤ１４をディスク２２に記録する。またこのサムネイルデータＤ１４の記録に対応するようにディスク２６に保持したムービーアトムを更新し、撮影を終了すると、このディスク２６に保持したムービーアトムをディスク２２に記録する。

これに対して図８は、サムネイル記録中止処理を示すフローチャートである。マイクロコンピュータ１１は、この処理手順を開始すると、ステップＳＰ２１からステップＳＰ２２に移る。ここでマイクロコンピュータ１１は、ディスク２６に記録したムービーアトムから、サムネイルトラックの管理データを格納したトラックを選択し、このトラックのヘッダに、サムネイル画像を記録していない空きスロットが存在する旨の識別情報を設定する。なお既に、この識別情報が設定されている場合、マイクロコンピュータ１１は、このステップＳＰ２２の処理を省略する。

続いてマイクロコンピュータ１１は、ステップＳＰ２３に移り、ステップＳＰ２２で選択したムービーアトムのトラックから、次に記録するサムネイルデータに対応するサンプルの管理テーブルを選択し、この管理テーブルに記録された管理データが無効であることを示す識別情報を、この管理テーブルに設定する。

続いてマイクロコンピュータ１１は、ステップＳＰ２４に移り、バッファメモリ１７に格納されている１サンプルの符号化データＤ１４を廃棄する。またドライブ２１の制御により、この廃棄に対応するように、ディスク２２に記録したサムネイルトラックの末尾に、１サンプルの最大データ量の分だけ空き領域を形成し、この空き領域による空きスロットをサムネイルトラックに形成する。なおここでこの実施例では、ステップＳＰ２５で上述したように、一定データ量となるようにパディングしていることから、このステップＳＰ２４における空き領域は、このパディングの処理による一定データ量の空き領域である。

続いてマイクロコンピュータ１１は、ステップＳＰ２５に移り、この１サンプル分の空きスロットに対応するように、ステップＳＰ２３で無効に設定した管理テーブルに、サムネイル画像の管理データを設定する。ここでこの管理データは、サムネイルトラックに記録された対応するデータのフォーマット、ファイル先頭からのオフセット値により対応する空きスロットの先頭位置を特定する位置情報（アドレス）、このスロットのサイズ、このスロットに本来割り当てられるサムネイルデータの再生時間情報及びＧＯＰフレーム情報等である。

続いてマイクロコンピュータ１１は、ステップＳＰ２６に移り、バッファメモリ１７に格納された全てのサンプルのサムネイルデータＤ１４を記録したか否か判断し、ここで否定結果が得られると、ステップＳＰ２３に戻る。これに対してステップＳＰ２６で肯定結果が得られると、ステップＳＰ２６からステップＳＰ２７に移り、元の処理手順に戻る。この図８の処理手順の実行により、マイクロコンピュータ１１は、ディスク２２へのデータ転送速度が一時的に低下した場合に、サムネイルデータＤ１４のディスク２２への記録を停止し、動画ストリームを優先して記録する。またサムネイルトラックに空きスロットを設定し、後述するサムネイル補完処理により、サムネイルデータＤ１４を別途作成して記録し直すことができるように、管理データを設定する。

図９は、この図１、図７、図８の処理によるバッファメモリ１７のデータ量の時間変化を示すタイムチャートである。この図９において、時点ｔ０で記録を開始すると、動画ストリームのデータＤ８（図９（Ａ））、サムネイルデータＤ１４（図９（Ｂ））が徐々にバッファメモリ１７に格納されてデータ量が増大し、時点ｔ１で動画ストリームのデータ量が記録開始閾値となると、この動画ストリームの記録が開始され、バッファメモリ１７における動画ストリームのデータ量が徐々に低下する。

また時点ｔ２で、１ストリームユニットの記録を完了すると、動画ストリームのデータＤ８の記録を中止し、サムネイルデータＤ１４の記録を開始する。また時点ｔ３でサムネイルデータＤ１４の記録を完了し、この時点でバッファメモリ１７に格納されている動画ストリームのデータ量が１クラスタ分以下の場合、バッファメモリ１７に格納された動画ストリームのデータ量が一定量となるまで待機する。従ってこの時点ｔ３からバッファメモリ１７における動画ストリーム、サムネイルデータのデータ量が徐々に増大し、続く時点ｔ４で動画ストリームのデータ量が記録開始閾値以上となると、動画ストリームの記録を開始し、破線で示すようにバッファメモリ１７における動画ストリームのデータ量が徐々に低下することになる。

しかしながら例えばヘッドの退避等により、時点ｔ４からディスク２２への記録が困難になると、時点ｔ５でディスク２２への記録が可能となるまでの間、バッファメモリ１７に余分に動画ストリームが格納され、例えばこの動画ストリームのデータ量がサムネイル記録中止の閾値以上となる場合も発生する。

この場合、この実施例では、時点ｔ５で動画ストリームの記録を開始した後、時点ｔ７で動画ストリームの記録を完了すると、サムネイルトラックに空き領域を設定して対応するサムネイルデータを破棄する。この場合、バッファメモリ１７におけるサムネイルデータのデータ量は急激に減少することになり、記録媒体へのデータ転送速度が一時的に低下した場合であっても、動画ストリームについては、確実に記録することが可能となる。

具体的に、例えば動画ストリームの１フレームの画サイズが６４０×４８０、サムネイル画像の画サイズが６４０×４８０の場合、図８の中止の処理により、動画ストリーム及びサムネイルデータをドライブ２１に転送する場合に比して、約７〔％〕（１／１５）、転送するデータ量を低減することができ、記録媒体へのデータ転送速度の一時的な低下に対するマージンを確保することができる。

これに対してユーザーがファイルの再生を指示した場合、マイクロコンピュータ１１は、ユーザーの指示したファイルをディスク２２から再生して音声伸長部１０、動画像伸長部９で処理し、モニタ部７で表示する。このとき、ユーザーがサムネイル画像の表示を指示すると、ユーザーが再生を指示したファイルのサムネイルデータをディスク２２から順次再生して静止画像伸長部１２で処理し、モニタ部７で一覧表示する。またこの一覧表示において、ユーザーが何れかのサムネイル画像を選択すると、このサムネイル画像の管理テーブルに設定されたＧＯＰフレーム情報に基づいて、対応するフレームから動画ストリームを再生してモニタ部７で表示する。

図１０は、図８のサムネイル記録中止処理により作成した空きスロットに、対応するサムネイルデータＤ１４を記録する補完処理を示すフローチャートである。マイクロコンピュータ１１は、ユーザーがディスク２２に記録されたファイルの再生を指示すると、ユーザーの操作に応動してこのファイルを再生しながらこの処理手順をバックグラウンドで実行する。なお上述のサムネイル画像の一覧表示において、マイクロコンピュータ１１は、この図１０に示す補完処理が間に合わない箇所については、間をつめてサムネイル画像を一覧表示する。またこの補完処理よりサムネイル画像を作成すると、作成したサムネイル画像を追加して一覧表示する。

すなわちマイクロコンピュータ１１は、この処理手順を開始すると、ステップＳＰ３１からステップＳＰ３２に移る。ここでマイクロコンピュータ１１は、ユーザーによる操作子の操作によりこのデジタルビデオカメラ１の動作モードが再生モードに遷移したか否か判断する。ここで否定結果が得られると、デジタルビデオカメラ１は、ステップＳＰ３２からステップＳＰ３３に移り、この処理手順を終了する。

これに対してステップＳＰ３２で肯定結果が得られると、マイクロコンピュータ１１は、ステップＳＰ３２からステップＳＰ３４に移る。ここでマイクロコンピュータ１１は、ユーザーが再生を指示したファイルが、サムネイル画像が一部割り当てられていないファイルか否か、すなわち図８のサムネイル記録中止処理により空きスロットを作成したファイルか否か判断する。具体的に、この再生対象のファイルのムービーアトムから、サムネイルトラックの管理データを格納したトラックを検出する。またこのトラックに設定されたヘッダの内容を判定し、図８のステップＳＰ２２で設定したサムネイル画像を記録していない空きスロットが存在する旨の識別情報を検出することにより、サムネイル画像が一部割り当てられていないファイルか否か判定する。

ここで再生対象のファイルに、サムネイル画像が全て割り当てられている場合、マイクロコンピュータ１１は、ステップＳＰ３４からステップＳＰ３３に移り、この処理手順を終了する。これに対して再生対象のファイルが、サムネイル画像が一部割り当てられていないファイルの場合、マイクロコンピュータ１１は、ステップＳＰ３５に移る。

このステップＳＰ３５において、この再生対象ファイルのムービーアトムに設けられたサムネイルトラックの管理テーブルを順次検索し、図８のステップＳＰ２３で無効に設定した管理テーブルを検出する。マイクロコンピュータ１１は、この検出結果に基づいて、無効に設定した管理テーブルを全て処理しているか否か判断する。ここで否定結果が得られると、マイクロコンピュータ１１は、ステップＳＰ３５からステップＳＰ３６に移り、ステップＳＰ３５で検出した管理テーブルの１つを処理対象に設定する。

続いてマイクロコンピュータ１１は、ステップＳＰ３７に移り、この処理対象の管理テーブルに設定されたＧＯＰフレーム情報を取得する。また続くステップＳＰ３８において、ステップＳＰ３７で取得したＧＯＰフレーム情報に基づいて対応するＧＯＰをディスク２２から再生するようにドライブ２１に指示する。また図１１に示すように、この指示により再生される動画ストリームの処理をマルチプレクサ１６、動画像伸長部９に指示し、再生したＧＯＰのＩピクチャの画像データＤ３をバッファメモリ６に格納する。

また続くステップＳＰ３９において、画素数変換部１９の制御により、このバッファメモリ６に格納した画像データＤ３からサムネイル画像の画像データを作成し、静止画像圧縮部２０でデータ圧縮処理する。マイクロコンピュータ１１は、静止画像圧縮部２０から出力されるサムネイルデータＤ１４をバッファメモリ１７に格納すると、続くステップＳＰ４０において、ディスク２２に記録されたムービーアトムを更新する。マイクロコンピュータ１１は、このムービーアトムの更新により、処理対象の管理テーブルを有効に設定し、またこの管理テーブルに格納した管理データをバッファメモリ１７に格納したサムネイルデータＤ１４に対応するように更新する。

マイクロコンピュータ１１は、続くステップＳＰ４１において、バッファメモリ１７に保持したサムネイルデータＤ１４をドライブ２１に出力し、ステップＳＰ４０で有効に設定した管理テーブルに対応する空き領域に、この符号化データＤ１４を記録する。またその後、マイクロコンピュータ１１は、ステップＳＰ３５に戻る。

これに対してステップＳＰ３５で肯定結果が得られると、ステップＳＰ３６からステップＳＰ４２に移り、ここで処理対象トラックのヘッダにそれまで設定されている空きスロットが存在する旨の識別情報を、空きスロットが存在しない旨の識別情報に変更した後、ステップＳＰ３３に移る。

これに対してユーザーが編集処理を指示すると、マイクロコンピュータ１１は、モニタ部７で編集用の画面を表示し、ユーザーの選択したＱＴファイルからサムネイルデータを再生してこの編集用の画面で表示する。またユーザーの操作に応動してサムネイルデータを再生して編集用の画面におけるサムネイル画像を切り換える。またユーザーから編集点の設定を受け付け、ディスク２２に記録されたＱＴファイルを編集する。

（２）実施例の動作
以上の構成において、このデジタルビデオカメラ１（図２）では、撮影部２、音声変換部４で取得される動画像の画像データＤ１、音声データＤ２がモニタ部７でモニタされる。またユーザーが動画像の記録を指示すると、この画像データＤ１、音声データＤ２が動画像圧縮部１３、音声圧縮部１５でデータ圧縮処理された後、マルチプレクサ／デマルチプレクサ１６で時分割多重化処理され、動画像のストリームが生成される。またこの動画像のストリームがバッファメモリ１７、ドライブ２１を介してディスク２２に記録される。

またこの動画像の記録時、画素数変換部１９において、所定ピクチャ毎に、動画像の画像データＤ１が画素間引きされて頭出し用のサムネイル画像が生成され、このサムネイル画像の画像データＤ１３が、静止画像圧縮部２０でデータ圧縮処理された後、ドライブ２１を介してディスク２２に記録される。

従ってこのデジタルビデオカメラ１では、動画像ストリームと同時に、頭出し用のサムネイルデータをディスク２２に記録することになり、動画ストリームのみを記録する場合に比して、ディスク２２に記録するデータ量が増大することになる。

これに対してこのデジタルビデオカメラ１において、バッテリーの残量が減少し、ドライブ２１を構成する集積回路への電源電圧が低下する場合も予測され、この場合には、ディスク２２への転送レートが低下することが予測される。またドライブ２１では、加速度センサにより衝撃を検出してヘッドを退避させ、ディスク２２の損傷を防止しており、このようにヘッドを退避させた場合には、ディスク２２への転送レートが一時的に低下することになる。またドライブ２１では、ライトリトライする場合もあり、この場合も、一時的にディスク２２への転送レートが低下することになる。

このようにディスク２２への転送レートが低下した場合に、それまでと同様に、動画像ストリーム、サムネイルデータをディスク２２に記録していたのでは、これら動画像ストリーム、サムネイルデータの記録が間に合わなくなり、遂にはバッファメモリ１７がオーバーフローし、動画像ストリーム、サムネイルデータを記録できなくなる。

そこでこのデジタルビデオカメラ１では、バッファメモリ１７におけるデータ量を監視し（図１、図９）、一定基準値以上、データ量が増大した場合には、バッファメモリ１７に格納したサムネイルデータを破棄し、このサムネイルデータのディスク２２への記録を中止する（図７、図８）。この破棄、中止の処理により、デジタルビデオカメラ１では、ディスク２２への転送レートが低下して、動画像ストリーム、サムネイルデータの記録が間に合わなくなった場合には、動画像ストリームを優先して記録し、貴重なシーンを漏らすことなく撮影することができる。

また動画ファイルを記録した後において、補完処理し（図１０）、サムネイルデータを破棄して記録を中止した箇所について、サムネイルデータを作成して記録し直すことにより、一時的に転送レートが低下して動画ストリームのみ記録する場合にあっても、頭出し用のサムネイル画像をディスク２２に記録して保持することができ、この頭出し用のサムネイル画像を用いて所望のシーンを迅速に頭出しして編集処理等の効率を向上することができる。

このデジタルビデオカメラ１では、この補完処理を迅速化するため、サムネイルデータを破棄して記録を中止する場合には、本来、サムネイルデータを記録する箇所に空き領域を形成して空きスロットを作成すると共に、動画ストリームの対応するフレームを特定するＧＯＰフレーム情報、管理データが無効であることを示す識別情報が管理データに設定される。

従って補完処理では、空き領域の箇所だけ記録し直してサムネイルデータを記録することができ、補完処理を簡略化することができる。

また補完処理では、サムネイルトラックの管理データを順次検索して、管理データが無効であることを示す識別情報を検索するだけの処理で、サムネイルデータの記録を中止した箇所を特定することができ、迅速に補完処理を実行することができる。

またＧＯＰフレーム情報により対応するフレームを特定することができ、このＧＯＰフレーム情報に従って動画ストリームを選択的に再生してサムネイルデータを作成し、ディスク２２に記録し直すことにより、迅速に、補完処理することができる。

またデジタルビデオカメラ１では、サムネイルデータを破棄して記録を中止した場合には、サムネイルデータを管理するムービーアトムのトラックにおいて、ヘッダに識別情報が設定される。従ってデジタルビデオカメラ１では、このヘッダの記録に基づいて補完処理が必要なファイルか否かを簡易に判定することができ、補完処理に関する一連の処理を簡略化することができる。

デジタルビデオカメラ１では、ユーザーがファイルの再生を指示した場合に、この補完処理をバックグラウンドで実行する。従って例えばサムネイルデータの作成用にディスク２２から再生した動画像の画像データを利用して、サムネイルデータの作成用に、別途、ディスク２２から動画ストリームを再生する処理を省略することもでき、補完処理を簡略化することができる。

（３）実施例の効果
以上の構成によれば、記録媒体への転送レートの低下により、サムネイル画像の記録を中止し、動画像のみを記録することにより、頭出し用のサムネイル画像を記録媒体に記録する場合に、一時的に記録媒体への転送レートが低下する場合でも、動画像を確実に記録することができる。

また補完処理により、記録媒体から動画像を再生してサムネイル画像を作成し、記録媒体への記録を中止した箇所に記録することにより、一時的に転送レートが低下して動画ストリームのみ記録する場合にあっても、頭出し用のサムネイル画像を記録して保持することができ、この頭出し用のサムネイル画像を用いて所望のシーンを迅速に頭出しすることができる。

またサムネイル画像の記録を中止した箇所に、空き領域を形成しておくことにより、補完処理では、空き領域の箇所だけ記録し直してサムネイル画像を記録することができ、補完処理を簡略化することができる。

またサムネイル画像及び空き領域毎に、管理データを設けるようにして、この管理データに、空き領域か否かを示す識別情報を設定することにより、迅速にサムネイル画像を記録することが必要な箇所を検出して補完処理することができ、補完処理を迅速に実行することができる。

また対応する動画像のフレームを特定する情報を管理データに設定することにより、迅速に頭出しすることができ、また迅速に補完処理することができる。

この実施例のデジタルビデオカメラでは、実施例１について上述したと同様にして動画ストリーム及びサムネイルデータをＱＴファイルフォーマットで記録する第１の動作モードと、動画像ストリームのみＱＴファイルフォーマットで記録する第２の動作モードとで、ユーザーの操作に応動して動作モードを切り換える。この実施例では、この第２の動作モードに関する構成が異なる点を除いて、実施例１のデジタルビデオカメラ１と同一に構成される。

このデジタルビデオカメラでは、この第２の動作モードにおいて、サムネイルトラックを全て空きスロットに設定してムービーデータアトムを記録する。また実施例１において空きスロットを設定する場合と同様にして、対応するムービーアトムを作成して記録する。

また記録を終了した後の空き時間等で、第２の動作モードで記録したファイルを順次再生してサムネイルデータを生成し、このサムネイルデータを記録媒体に記録して、補完の処理を実行する。

この実施例では、第２の動作モードにおいて、サムネイル画像の全ての記録を中止したことにより、記録媒体への転送レートが低下する場合でも、一段と確実に動画像を記録することができる。

この実施例のデジタルビデオカメラでは、ユーザーによる動作モードの切り換えにより、動画像圧縮部１３におけるデータ圧縮率を切り換え、通常画質モードと、通常画質モードに比して相対的にデータ量の多い高画質モードとで動画像を記録する。この実施例では、この動作モードに関する構成が異なる点を除いて、実施例１のデジタルビデオカメラ１と同一に構成される。従って実施例１と同様にして通常画質モードと高画質モードとで、記録媒体への転送レートの低下によりサムネイル画像の記録を停止し、動画像を優先して記録する。

この実施例のデジタルビデオカメラでは、画素数変換部１９における画素間引きを動作モードに応じて切り換え、高画質モードでは、通常画質モードに比してサムネイル画像の画サイズを低下させる。従ってこの場合、高画質モードにより動画像のデータ量が増大する場合には、少ないデータ量によりサムネイルデータを記録し、動画像の転送レートを確保すると共に、動画像の品質を安定、向上させる。

また高画質モードで記録する場合、サムネイルデータを記録した後、空き領域を設け、通常画質モードで記録する場合と同一の領域を各サムネイルデータに割り当ててサムネイルトラックを形成する。また高画質モードにおけるサムネイルデータ、通常画質モードにおけるサムネイルデータの識別情報を各サンプルの管理テーブルに設定する。

また通常画質モードで記録したＱＴファイルについては、実施例１と同様にして補完処理を実行する。

これに対して高画質モードで記録したＱＴファイルについては、サムネイルトラックの全てを補完対象に設定し、動画像を再生して通常画質モードにおけるサムネイル画像を生成し、このサムネイル画像のサムネイルデータをディスク２２に記録する。

この実施例によれば、高画質モードにおいて、小さな画サイズでサムネイル画像を記録することにより、動画像の転送レートを確保し、一段と動画像の品質を安定、向上させることができる。

また小さな画サイズで記録したサムネイル画像を、大きな画サイズのサムネイル画像で置き換えることにより、サムネイル画像の画質を向上することができる。

この実施例のデジタルビデオカメラでは、ユーザーによる動作モードの切り換えにより、画素数変換部１９において作成するサムネイル画像の画サイズの切り換えを、上述の実施例について説明した中止の処理に組み合わせて実行する。なおこの実施例では、この画サイズの切り換えに関する構成が異なる点を除いて、上述のデジタルビデオカメラと同一に構成される。

すなわちこの実施例では、サムネイル記録中止閾値（図９）より少ないデータ量の画サイズ切り換えの基準値が設定され、ステップＳＰ６の判定処理（図１）において、動画ストリームのデータ量が、サムネイル記録中止閾値未満、画サイズ切り換えの基準値以上の場合、単にサムネイル画像の画サイズを小さくしてサムネイルデータのデータ量を低減する。またサムネイル画像の画サイズを小さくしたことを識別する識別情報を対応する管理データのテーブルに設定する。なお動画ストリームのデータ量が、サムネイル記録中止閾値未満、画サイズ切り換えの基準値以上の場合、以降のサムネイル画像の全てを、画サイズの小さなサムネイル画像としてもよい。

これに対してステップＳＰ６の判定処理において、動画ストリームのデータ量がサムネイル記録中止閾値以上の場合、サムネイルデータの記録を中止する。

また補完処理では、画サイズを小さくしたサムネイル画像についても、管理データのテーブルの設定に基づいて、本来の大きな画サイズのサムネイル画像を作成して置き換える。

この実施例によれば、サムネイル画像の画サイズを切り換えを、中止の処理と組み合わせて実行することにより、この画サイズの小さなサムネイル画像を用いて、編集処理、再生処理することもでき、この場合、補完処理を省略することができる。

この実施例のデジタルビデオカメラでは、実施例４のデジタルビデオカメラに関して、画サイズに代えて、１つのサムネイル画像を作成するＧＯＰ数を切り換える。この実施例のデジタルビデオカメラは、このＧＯＰ数の切り換えに関する構成が異なる点を除いて、実施例４のデジタルビデオカメラと同一に構成される。

すなわちこのデジタルビデオカメラは、動画ストリームのデータ量が、サムネイル記録中止閾値未満、画サイズ切り換えの基準値以上の場合、１つのサムネイル画像を作成するＧＯＰ数を増大させ、等価的にサムネイルデータのデータ量を低減する。また１つのサムネイル画像を作成するＧＯＰ数を対応する管理データのテーブルに記録する。なお動画ストリームのデータ量が、サムネイル記録中止閾値未満、画サイズ切り換えの基準値以上の場合、以降のサムネイル画像の全てを、この切り換えたＧＯＰ数毎に作成するようにしてもよい。

また補完処理では、１つのＧＯＰに１つのサムネイル画像を割り当てるように、管理データのテーブルの設定に基づいて、サムネイル画像を作成して置き換える。

この実施例によれば、ＧＯＰ数の切り換えを、中止の処理と組み合わせて実行することにより、実用上十分な場合には、補完処理を省略して編集処理、再生処理することもでき、この場合、デジタルビデオカメラの処理を簡略化することができる。

なお上述の実施例においては、動画像の記録媒体にハードディスクを適用する場合について述べたが、本発明はこれに限らず、光ディスク、メモリカード、磁気テープ等の各種記録媒体を広く適用することができる。

また上述の実施例では、再生時、補完処理する場合について述べたが、本発明はこれに限らず、他の処理時間、空き時間を利用して補完処理してもよい。

また上述の実施例においては、本発明を撮像装置に適用した場合について述べたが、本発明はこれに限らず、例えば撮像装置で記録した撮像結果をダビングして処理する画像処理装置、放送により提供される番組を記録して再生する画像処理装置、コンピュータにおける画像処理ソフト等に広く適用することができる。

本発明は、例えばデジタルビデオカメラに適用することができる。

本発明の実施例１のデジタルビデオカメラにおけるマイクロコンピュータの動画記録時の処理手順を示すフローチャートである。本発明の実施例１のデジタルビデオカメラを示すブロック図である。図２のデジタルビデオカメラにおける動画像の記録の説明に供する略線図である。図２のデジタルビデオカメラにおける動画像のフォーマットを示す略線図である。図２のデジタルビデオカメラにおける動画像の記録時の構成を示すブロック図である。図２のデジタルビデオカメラにおける再生時の構成を示すブロック図である。図１の処理手順におけるサムネイル記録処理を示すフローチャートである。図１の処理手順におけるサムネイル記録中止処理を示すフローチャートである。図８の処理によるデータ量の変位を示すタイムチャートである。図２のデジタルビデオカメラにおける補完処理を示すフローチャートである。図２のデジタルビデオカメラにおける補完処理時の構成を示すブロック図である。

符号の説明

１……デジタルビデオカメラ、２……撮影部、６、１７……バッファメモリ、７……モニタ部、９……動画像伸長部、１１……マイクロコンピュータ、１２……静止画像伸長部、１３……動画像圧縮部、１９……画素数変換部、２０……静止画像圧縮部、２１……ドライブ、２２、２６……ディスク

Claims

動画像の画像データを取得する撮影部と、
前記動画像の画像データから、所定ピクチャ毎に、サムネイル画像の画像データを作成するサムネイル画像作成部と、
前記動画像の画像データ、前記サムネイル画像の画像データを記録媒体に記録する記録部と、
前記記録部が前記記録媒体に記録する前記動画像の画像データ、前記サムネイル画像の画像データを一時的に格納するバッファメモリと、
前記バッファメモリに保持されている前記記録媒体に記録する前記動画像の画像データのデータ量が一定基準値以上であるかを判定し、前記データ量が前記一定基準値以上であると判定される場合には、前記記録部における前記記録媒体への転送レートの低下が生じるとして、前記サムネイル画像の画像データの前記記録媒体への記録を中止させる制御部とを備える
撮像装置。
動画像の画像データを取得する画像データ取得部と、
前記動画像の画像データから、所定ピクチャ毎に、サムネイル画像の画像データを作成するサムネイル画像作成部と、
前記動画像の画像データ、前記サムネイル画像の画像データを記録媒体に記録する記録部と、
前記記録部が前記記録媒体に記録する前記動画像の画像データ、前記サムネイル画像の画像データを一時的に格納するバッファメモリと、
前記バッファメモリに保持されている前記記録媒体に記録する前記動画像の画像データのデータ量が一定基準値以上であるかを判定し、前記データ量が前記一定基準値以上であると判定される場合には、前記記録部における前記記録媒体への転送レートの低下が生じるとして、前記サムネイル画像の画像データの前記記録媒体への記録を中止させる制御部とを備える
画像処理装置。
前記記録媒体から前記動画像の画像データを再生する再生部を備え、
前記サムネイル画像作成部、前記記録部は、
前記制御部の制御により動作を切り換えて補完処理を実行し、
前記サムネイル画像作成部は、
前記補完処理において、前記再生部で再生した前記動画像の画像データから、前記サムネイル画像の画像データを作成し、
前記記録部は、
前記補完処理において、前記サムネイル画像の画像データの前記記録媒体への記録を中止した箇所に、前記サムネイル画像作成部で作成したサムネイル画像の画像データを記録する
請求項２に記載の画像処理装置。
前記記録部は、
前記サムネイル画像の画像データの前記記録媒体への記録を中止する箇所に、空き領域を形成する
請求項３に記載の画像処理装置。
前記記録部は、
前記サムネイル画像の画像データ及び前記空き領域毎に、管理データを設けて前記サムネイル画像の画像データを記録すると共に、前記空き領域を形成し、
前記管理データに、空き領域か否かを示す識別情報を設定する
請求項４に記載の画像処理装置。
前記記録部は、
対応する前記動画像の画像データのフレームを特定する情報を、前記管理データに設定する
請求項４に記載の画像処理装置。
前記制御部は、
動作モードの切り換えにより、前記記録部における前記サムネイル画像の記録を全て中止させる
請求項２に記載の画像処理装置。
前記サムネイル画像作成部は、
前記制御部の制御により、前記サムネイル画像の画サイズを切り換える
請求項２に記載の画像処理装置。
前記サムネイル画像作成部は、
前記制御部の制御により、第１の画サイズと、前記第１の画サイズより大きな第２の画サイズとで画サイズを切り換えて前記サムネイル画像の画像データを作成し、
前記サムネイル画像作成部、前記記録部は、
前記制御部の制御により動作を切り換え、
前記再生部で再生した前記動画像の画像データから、前記第２の画サイズのサムネイル画像の画像データを作成し、
前記第１の画サイズのサムネイル画像の画像データを、前記第２の画サイズのサムネイル画像の画像データで置き換えるように、前記サムネイル画像作成部で作成した前記第２の画サイズのサムネイル画像の画像データを前記記録媒体に記録する
請求項３に記載の画像処理装置。
動画像の画像データを取得する画像データ取得のステップと、
前記動画像の画像データから、所定ピクチャ毎に、サムネイル画像の画像データを作成するサムネイル画像作成のステップと、
前記動画像の画像データ、前記サムネイル画像の画像データを記録媒体に記録する記録のステップと、
前記記録のステップにおいて前記記録媒体に記録する前記動画像の画像データ、前記サムネイル画像の画像データを一時的に格納するバッファメモリに保持されている、前記記録媒体に記録する前記動画像の画像データのデータ量が一定基準値以上であるかを判定し、前記データ量が前記一定基準値以上であると判定される場合には、前記記録のステップにおける前記記録媒体への転送レートの低下が生じるとして、前記サムネイル画像の画像データの前記記録媒体への記録を中止させる制御のステップとを備える
画像処理方法。
動画像の画像データを取得する画像データ取得のステップ、
前記動画像の画像データから、所定ピクチャ毎に、サムネイル画像の画像データを作成するサムネイル画像作成のステップ、
前記動画像の画像データ、前記サムネイル画像の画像データを記録媒体に記録する記録のステップ、
前記記録のステップにおいて前記記録媒体に記録する前記動画像の画像データ、前記サムネイル画像の画像データを一時的に格納するバッファメモリに保持されている、前記記録媒体に記録する前記動画像の画像データのデータ量が一定基準値以上であるかを判定し、前記データ量が前記一定基準値以上であると判定される場合には、前記記録のステップにおける前記記録媒体への転送レートの低下が生じるとして、前記サムネイル画像の画像データの前記記録媒体への記録を中止させる制御のステップ、
をコンピュータに実行させるためのプログラム。
動画像の画像データを取得する画像データ取得のステップ、
前記動画像の画像データから、所定ピクチャ毎に、サムネイル画像の画像データを作成するサムネイル画像作成のステップ、
前記動画像の画像データ、前記サムネイル画像の画像データを記録媒体に記録する記録のステップ、
前記記録のステップにおいて前記記録媒体に記録する前記動画像の画像データ、前記サムネイル画像の画像データを一時的に格納するバッファメモリに保持されている、前記記録媒体に記録する前記動画像の画像データのデータ量が一定基準値以上であるかを判定し、前記データ量が前記一定基準値以上であると判定される場合には、前記記録のステップにおける前記記録媒体への転送レートの低下が生じるとして、前記サムネイル画像の画像データの前記記録媒体への記録を中止させる制御のステップ、
をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
動画像の画像データと、前記動画像の画像データの所定ピクチャ毎のサムネイル画像の画像データとを取得する画像データ取得部と、
前記動画像の画像データから、前記ピクチャ毎に、サムネイル画像の画像データを作成するサムネイル画像作成部と、
前記画像データ取得部で取得した前記動画像の画像データ、前記サムネイル画像の画像データを記録媒体に記録する記録部とを備え、
前記動画像の画像データに対する前記サムネイル画像の欠落を検出し、
該サムネイル画像が欠落した箇所に、前記サムネイル画像作成部で作成した前記サムネイル画像の画像データを割り当てて、前記動画像の画像データ及び前記サムネイル画像の画像データを記録する
画像処理装置。
動画像の画像データと、前記動画像の画像データの所定ピクチャ毎のサムネイル画像の画像データとを取得する画像データ取得ステップと、
前記動画像の画像データから、前記ピクチャ毎に、サムネイル画像の画像データを作成するサムネイル画像作成ステップと、
前記画像データ取得ステップで取得した前記動画像の画像データ、前記サムネイル画像の画像データを記録媒体に記録する記録ステップとを備え、
前記動画像の画像データに対する前記サムネイル画像の欠落を検出し、
該サムネイル画像が欠落した箇所に、前記サムネイル画像作成ステップで作成した前記サムネイル画像の画像データを割り当てて、前記動画像の画像データ及び前記サムネイル画像の画像データを記録する
画像処理方法。
動画像の画像データと、前記動画像の画像データの所定ピクチャ毎のサムネイル画像の画像データとを取得する画像データ取得ステップ、
前記動画像の画像データから、前記ピクチャ毎に、サムネイル画像の画像データを作成するサムネイル画像作成ステップ、
前記画像データ取得ステップで取得した前記動画像の画像データ、前記サムネイル画像の画像データを記録媒体に記録する記録ステップ、
をコンピュータに実行させ、
前記記録ステップでは、
前記動画像の画像データに対する前記サムネイル画像の欠落を検出し、
該サムネイル画像が欠落した箇所に、前記サムネイル画像作成ステップで作成した前記サムネイル画像の画像データを割り当てて、前記動画像の画像データ及び前記サムネイル画像の画像データを記録する
プログラム。
動画像の画像データと、前記動画像の画像データの所定ピクチャ毎のサムネイル画像の画像データとを取得する画像データ取得ステップ、
前記動画像の画像データから、前記ピクチャ毎に、サムネイル画像の画像データを作成するサムネイル画像作成ステップ、
前記画像データ取得ステップで取得した前記動画像の画像データ、前記サムネイル画像の画像データを記録媒体に記録する記録ステップ、
をコンピュータに実行させ、
前記記録ステップでは、
前記動画像の画像データに対する前記サムネイル画像の欠落を検出し、
該サムネイル画像が欠落した箇所に、前記サムネイル画像作成ステップで作成した前記サムネイル画像の画像データを割り当てて、前記動画像の画像データ及び前記サムネイル画像の画像データを記録する
プログラムを記録したコンピュータ読み取り可能な記録媒体。