JP2009050017A - 動画像記録装置及びプログラム - Google Patents

Abstract

【課題】データ書き込み速度のバラツキや、使用状態の影響を受けることなく、記録媒体の空き容量にみあった長時間の動画像をより高品質で記録できる動画像記録装置及び電子カメラ装置、動画像記録方法を提供する。
【解決手段】動画を記録媒体にストリーム記録する際、フレーム周期による最新のフレームデータの書き込み時点で、以前のフレームデータが書き込み中であれば（ＳＡ４でＹＥＳ）、最新のフレームデータを破棄してダミーカウンタを１つ加算する（ＳＡ９）。その後、書き込みが終了した時点で（ＳＡ４でＮＯ）、ダミーカウンタ分のダミーフレームを記録媒体へ書き込む（ＳＡ１１）。再生時における見かけ上のフレームレートを一時的に低下させることにより正常な動画記録を維持したまま、録画処理が時間的に破綻することが防止でき、録画品質の上限が高めに設定できる。
【選択図】 図２

Description

本発明は、動画をストリーム記録する機能を備えた動画像記録装置及び電子カメラ装置と、動画像記録方法、プログラムに関する。

従来、入力された動画像をリアルタイムで圧縮し、かつ記録媒体に記録するストリーム記録を行う動画像記録装置があり、例えば動画撮影機能を有するデジタルカメラがそれに該当する。係るデジタルカメラでは、記録媒体として着脱自在な各種のメモリカード等が一般に用いられており、動画撮影時（録画時）には、フレーム毎に圧縮された画像データ（フレームデータ）はメモリカード等に順次記録される。また、記録する動画像の品質、すなわち録画品質（ファイン、ノーマル、エコノミー等）をユーザーが予め設定できるものが一般的である。撮影時における動画像の記録（以下、録画）は、複数の録画パラメータ（主に圧縮方式や圧縮率、画像サイズ、フレームレート）に従って行われ、係る録画パラメータの値（内容）は、そのとき設定されている録画品質により固定される。さらに、録画中に一定時間内に処理しなければならないデータ量も録画品質によってほぼ決定される。

一方、例えば下記の特許文献１には、デジタルカメラにおいて動画像をストリーム記録する際に、その録画時間を長期化するための方法が記載されている。その方法は、予め内部メモリに複数フレーム分のバッファ領域を確保しておき、フレームデータの内部メモリへの書込み動作と並行して、先に記憶された画像データを読み出してメモリカード等に随時記憶し、かつそのフレームデータを内部メモリから消去する、つまり内部メモリをリングバッファとして使用するというものである。
特開２０００−２３２６１９号公報

しかしながら、上記の方法においては内部メモリ（リングバッファ）の容量によって、動画像の記録時間（録画時間）が決まってしまう。そのため、実際に動画データを記録するメモリカードの空き容量にみあった長時間の録画を可能とするには、ユーザーが設定可能な上限の録画品質や、または固定的に設定しておく録画品質を、使用されるメモリカード等へのデータの書き込み速度に合わせておくこととなる。

ところが、前述したように録画中において一定時間内に処理しなければならないデータ量は録画品質によってほぼ決定されるが、撮像される画像の内容によって変動する。また、メモリカード等に対するデータの書き込み速度も、それが同一規格のメディアであっても製造メーカー毎にバラツキがあり、しかも空き容量や、データが記録される領域の違い、さらにはシステムの電源電圧の変化等の実使用環境によっても変化するため、必ずしも一定ではない。

係ることから、ユーザーが設定可能な上限の録画品質や、または固定的に設定しておく録画品質をメモリカード等の種類に応じて決めておいたとしても、一定時間内に処理しなければならないデータ量が大幅に増大したり、メモリカード等へのデータ書込み速度が大きく低下したりすることに起因して、フレームデータの書き込み処理が間に合わなくなり録画処理が時間的に破綻し、その結果、画像と音声の同期がズレたり、不正なデータを書き込んだりするといった事態の発生が懸念される。したがって、メモリカード等の空き容量にみあった長時間の録画を可能とするには、ユーザーが設定可能な録画品質の上限や、固定的に設定しておく録画品質を自ずと予め低めに決めておかなければならないという問題があった。

本発明は、かかる従来の課題に鑑みてなされたものであり、データ書き込み速度のバラツキや、使用状態の影響を受けることなく、記録媒体の空き容量にみあった長時間の動画像をより高品質で記録することができる動画像記録装置及び電子カメラ装置、動画像記録方法、その実現に使用されるプログラムを提供することを目的とする。

前記課題を解決するため請求項１の発明にあっては、動画像を構成する画像データを所定のフレーム周期で画像処理しながら記録媒体に順次記録する動画像記録装置において、前記記録媒体への画像処理後の画像データの書込み処理に、動画像の正常な記録を阻害する遅れが生じているか否かを判断する判断手段と、この判断手段により前記遅れが生じていると判断されたとき、前記記録媒体に対する書き込みデータ量を減少させる調整手段とを備えたものとした。

かかる構成においては、動画像の記録中に、記録媒体への画像処理後の画像データの書込み処理に動画像の正常な記録を阻害する遅れが生じたときには、記録媒体に対する書き込みデータ量が減らされることとなる。

したがって、動画像の記録中に、記録媒体への画像処理後の画像データの記録動作に動画像の正常な記録を阻害する遅れが生じたときであっても、書き込みデータ量を減少させることにより、正常な動画記録を維持したままで、録画処理が時間的に破綻することが防止できる。

また、請求項２の発明にあっては、前記調整手段は、前記判断手段により前記遅れが生じていると判断されたとき、前記記録媒体に対する次のフレームの画像処理後の画像データの書込み処理を中止させる中止手段を含み、その中止手段により書込み処理が中止された画像データに基づく画像に代えて、当該画像データのフレームの前後いずれかのフレームと同一内容の画像を再生させるための所定情報を前記記録媒体に記録させるものとした。

かかる構成においては、動画像の記録中に、記録媒体への画像処理後の画像データの書込み処理に動画像の正常な記録を阻害する遅れが生じたときには、次のフレームの画像処理後の画像データの書込み処理が中止され、その場合には、記録動作が中止された画像データに基づく画像に代えて、当該画像データのフレームの１つ前のフレームと同一内容の画像を再生させるための所定情報が記録媒体に記録されることとなる。

したがって、動画像の記録中に、記録媒体への画像処理後の画像データの記録動作に動画像の正常な記録を阻害する遅れが生じたときであっても、再生時における見かけ上のフレームレートを一時的に低下させることにより正常な動画記録を維持したままで、録画処理が時間的に破綻することが防止できる。

また、請求項３の発明にあっては、前記記録媒体に記録される複数フレーム分の画像処理後の画像データには、各々の画像データの再生順を示すインデックス情報が付随し、前記調整手段は、前記所定情報を前記インデックス情報として前記記録媒体に記録させるものとした。

また、請求項４の発明にあっては、前記判断手段は、前記記録媒体に対する新たな画像処理後の画像データの書込み時点で、１つ前の画像処理後の画像データが書き込み中であったとき、動画像の正常な記録を阻害する遅れが生じていると判断するものとした。

かかる構成においては、記録媒体に記録される複数フレーム分の画像処理後の画像データを一時記憶するバッファを設けなくとも、記録媒体への画像処理後の画像データの記録動作に動画像の正常な記録を阻害する遅れが生じたときには、書き込みデータ量を減少させることによって、録画処理が時間的に破綻することが防止できる。

また、請求項５の発明にあっては、前記記録媒体に記録される複数フレーム分の画像処理後の画像データを一時記憶するバッファを備え、前記判断手段は、前記バッファへの新たな画像処理後の画像データの書込み時点で、前記バッファの空きサイズが所定以下であったとき、動画像の正常な記録を阻害する遅れが生じていると判断するものとした。

かかる構成においては、動画像の記録を開始した当初から、記録媒体への画像処理後の画像データの記録動作に動画像の正常な記録を阻害する遅れが生じた場合であっても、一定時間内については再生時におけるフレームレートとして、設定されているフレームレートを確保することができる。

また、請求項６の発明にあっては、前記調整手段は、前記判断手段により前記遅れが生じていると判断されたとき、前記バッファへの新たな画像処理後の画像データの書込みを禁止するものとした。

また、請求項７の発明にあっては、前記判断手段により前記遅れが生じていると判断されたとき、設定されている録画品質が確保できていない旨を報知する報知手段を備えたものとした。

かかる構成においては、記録媒体への画像処理後の画像データの記録動作に動画像の正常な記録を阻害する遅れが生じることにより、設定されている録画品質が確保できていないことを、録画中にその都度使用者に知らせることができる。

また、請求項８の発明にあっては、動画像を構成する画像データを所定のフレーム周期で画像処理しながら記録媒体に順次記録する動画像記録方法において、前記記録媒体への画像処理後の画像データの書込み処理に、動画像の正常な記録を阻害する遅れが生じているか否かを判断する工程と、遅れが生じていると判断された場合に、前記記録媒体に対する書き込みデータ量を減少させる処理を行う工程とを含む方法とした。

かかる方法によれば、動画像の記録中に、記録媒体への画像処理後の画像データの記録動作に動画像の正常な記録を阻害する遅れが生じたときであっても、書き込みデータ量を減少させることにより、正常な動画記録を維持したままで、録画処理が時間的に破綻することが防止できる。

また、請求項９の発明にあっては、動画像を構成する画像データを所定のフレーム周期で画像処理しながら記録媒体に順次記録する動画像記録装置が有するコンピュータを、前記記録媒体への画像処理後の画像データの書込み処理に、動画像の正常な記録を阻害する遅れが生じているか否かを判断する判断手段と、この判断手段により前記遅れが生じていると判断されたとき、前記記録媒体に対する書き込みデータ量を減少させる調整手段として機能させるためのプログラムとした。

また、請求項１０の発明にあっては、撮像手段により所定のフレーム周期で撮像された、動画像を構成する画像データを前記所定のフレーム周期で圧縮しながら着脱自在な記録媒体に順次記録する動画撮影機能を備えた電子カメラ装置において、前記記録媒体への圧縮後の画像データの書込み処理に、動画像の正常な記録を阻害する遅れが生じているか否かを判断する判断手段と、この判断手段により書込み処理に前記遅れが生じていると判断されたとき、前記記録媒体に対する次のフレームの圧縮後の画像データの書込み処理を中止させる中止手段と、その中止手段により書込み処理が中止された画像データに基づく画像に代えて、当該画像データのフレームの１つ前のフレームと同一内容の画像を再生させるための所定情報を前記記録媒体に記録させる調整手段とを備えたものとした。

かかる構成においては、撮像された画像からなる動画像の記録中に、記録媒体への圧縮後の画像データの記録動作に動画像の正常な記録を阻害する遅れが生じたときであっても、再生時における見かけ上のフレームレートを一時的に低下させることにより正常な動画記録を維持したままで、録画処理が時間的に破綻することが防止できる。

本発明の装置及び方法においては、動画像の記録中に、記録媒体への画像処理後の画像データの記録動作に動画像の正常な記録を阻害する遅れが生じたときであっても、書き込みデータ量を減少させることにより、正常な動画記録を維持したままで、録画処理が時間的に破綻することが防止できるようにした。そのため、ユーザーが設定可能な録画品質の上限や、固定的に設定しておく録画品質を高めにすることができる。よって、データ書き込み速度のバラツキや、使用状態の影響を受けることなく、記録媒体の空き容量にみあった長時間の動画像をより高品質で記録することが可能となる。

特に、請求項２の発明によれば、再生時における見かけ上のフレームレートを一時的に低下させることにより書き込みデータ量を減少させるため、簡単な処理によって、正常な動画記録を維持したままで、録画処理が時間的に破綻することが防止できる。

また、請求項４の発明によれば、記録媒体に記録される複数フレーム分の画像処理後の画像データを一時記憶するバッファを設けなくとも、上記効果を得ることができるようにした。よって、動画記録装置が有するメモリをより有効に活用することが可能となる。

また、請求項５の発明によれば、動画像の記録を開始した当初から、記録媒体への画像処理後の画像データの記録動作に動画像の正常な記録を阻害する遅れが生じた場合であっても、一定時間内については再生時におけるフレームレートとして、設定されているフレームレートを確保することができるようにした。よって、使い勝手を向上させることができる。

また、請求項７の発明によれば、記録媒体への画像処理後の画像データの記録動作に動画像の正常な記録を阻害する遅れが生じることにより、設定されている録画品質が確保できていないことを、録画中にその都度使用者に知らせることができるようにした。これによっても、使い勝手を向上させることができる。

以下、本発明の一実施の形態を図にしたがって説明する。
（実施形態１）
図１は、本発明の各実施の形態に共通するデジタルカメラのブロック図である。このデジタルカメラは動画撮影機能を備えたものであり、以下の構成を備えている。

デジタルカメラは、カメラ本体１と、カメラ本体１に着脱可能な記録メディア２０から構成されており、カメラ本体１には複数枚のレンズからなる光学系２、及び光学系２を介して自己の受光面に被写体の光像を結像される撮像手段であるベイヤ配列等の色フィルタが装着されたＣＣＤ３が配置されている。ＣＣＤ３はタイミングジェネレータ７から送られる駆動信号により駆動され、被写体の光像を光電変換し撮像信号として出力する。ＣＣＤ３からの出力信号はＣＤＳ回路４で相関二重サンプリング及びゲイン調整が行われ、Ａ／Ｄ変換回路５でデジタル信号に変換される。Ａ／Ｄ変換されたベイヤデータはＤＳＰ部６に入力され、ペデスタルクランプ等の処理が施された後、ブロック内の輝度・色差マトリックス回路で輝度（Ｙ）信号及び色差（ＵＶ）信号に変換される。なお、ＤＳＰ部６では、オートアイリス、オートホワイトバランス、輪郭強調などの画品質向上のための処理も行われる。

ＤＳＰ部６で変換されたＹＵＶデータは解像度変換ブロック８で予め設定された画像サイズに変換された後、１フレーム分のデータが順次内蔵メモリ１４（例えばＳＤＲＡＭ）に格納される。内蔵メモリ１４に格納された１フレーム分のＹＵＶデータは表示コントローラ１１へ送られ、そこでビデオ信号に変換された後、ＬＣＤ（液晶表示器）１２によりスルー画像として表示される。なお、ＬＣＤ１２は、後述する動画記録時においては本発明の報知手段としても機能する。

動画撮影時に内蔵メモリ１４に格納されたＹＵＶデータは順次データ圧縮伸長ブロック９へ送られ、所定の動画記録方式（例えばＭｏｔｉｏｎ−ＪＰＥＧやＭＰＥＧ）のコーデックによりデータ圧縮後コード化されて、メディアコントローラ１０を介してフレームデータ（ビデオデータ）として記録メディア２０に順次書き込まれる。係る一連の動作はフレーム毎に繰り返し実行され、内蔵メモリ１４内の圧縮データは順次書き換えられる。つまりストリーム記録される。なお、その際のフレームレートはタイミングジェネレータ７で作成されるタイミング信号によって決まり、コード化されるデータの圧縮率はデータ圧縮伸長ブロック９内の量子化テーブル値によって決定される。また、内蔵メモリ１４のメモリ容量は、圧縮された１フレーム分の画像データに相当する容量（変動幅が勘案された容量）である。

なお、静止画撮影時に内蔵メモリ１４に格納された１フレームの分ＹＵＶデータは、前記データ圧縮伸長ブロック９でＪＰＥＧ方式等でデータ圧縮後コード化され、内蔵メモリ１４内でファイル化された後、メディアコントローラ１０を介して記録メディア２０に静止画データとして記録される。また、データ圧縮伸長ブロック９は、静止画又は動画の再生時には記録メディア２０から読み出された静止画や動画のデータを伸張し、静止画データやフレームデータとして内蔵メモリ１４に展開する。

音声処理ブロック１５は、動画撮影時においてカメラ本体１に内蔵されたマイク１６に入力した音声をデジタル信号に変換し、データ圧縮後にオーディオデータとして内蔵メモリ１４へ送る。内蔵メモリ１４に送られたオーディオデータはフレームデータと共にストリームデータとして記録メディア２０に順次書き込まれる。また、音声処理ブロック１５は、動画再生時には、内蔵メモリ１４から送られたオーディオデータを復号し、アナログの音声信号に変換した後、カメラ本体１に内蔵された内蔵スピーカ１７から音声出力させる。

キー入力ブロック１８は、シャッターボタン、電源キー、ＭＥＮＵキー等の複数の操作キーを含み、使用者によるキー操作に応じたキー入力信号をＣＰＵ１３に出力する。なお、シャッターボタンは動画撮影に録画開始／終了ボタンとしても機能する。

上述した各ブロックはＣＰＵ１３により制御されており、ＣＰＵ１３が各ブロックの制御に必要とされるプログラムやデータはプログラムメモリ１９に記憶されている。そして、ＣＰＵ１３は上記プログラム及びキー入力信号に基づき動作することにより本発明の判断手段、中止手段、調整手段として機能する。また、プログラムメモリ１９はＥＥＰＲＯＭやフラッシュメモリ等の書き換え可能な不揮発性メモリからなり、上記プログラムやデータ以外にも、ユーザーにより設定されたシステムや各機能に関する設定データ、例えば動画撮影時における録画品質の設定値（圧縮方式や圧縮率、画像サイズ、フレームレート等の録画パラメータ）が随時記憶される。

次に、以上の構成からなるデジタルカメラにおいて、動画像の記録（録画）が行われるときの本発明に係る動作を説明する。図２は、録画中においてＣＰＵ１３が実施する処理内容を示すフローチャートである。

ＣＰＵ１３は、ユーザーによる録画開始操作に応じた録画処理の開始に伴い、先ず内蔵メモリ１４の所定領域に記憶するダミーフレームカウンタを初期化する（ステップＳＡ１）。ダミーフレームカウンタは、ＣＣＤ３により撮像されたフレーム画像のうち、記録メディア２０へのデータの書き込み時間がフレームレートに比べて長期化することにより記録できない（フレーム落ちする）フレーム数を示すデータである。なお、以下の説明においては、録画中に取得される前述したオーディオデータについては、記録メディア２０へのデータの書き込み時間がフレームデータに比べて僅かであり、記録メディア２０の種類等に関係なく常に記録可能であるものとする。

次に、ＣＣＤ３による撮像処理を開始した後（ステップＳＡ２）、フレーム周期タイミングを待って（ステップＳＡ３）、その時点で記録メディア２０に書き込み中のデータがあるか否かを先ず確認する。ここで書き込み中のデータがなければ（ステップＳＡ４でＮＯ）、引き続きダミーフレームカウンタの値を参照し、それが"０"であれば（ステップＳＡ５でＮＯ）、そのまま圧縮済みのフレームデータを記録メディア２０へ書き込む（ステップＳＡ６）。以後、録画終了操作がなく、且つ記録メディア２０の空き容量があれば（ステップＳＡ７でＮＯ）、ステップＳＡ３へ戻って、次のフレーム周期タイミングを待って上記処理を繰り返す。

その間に、いずれかのフレーム周期タイミングが到来した時点で、最後に書き込み処理を開始したデータの書き込みが終了しておらず、記録メディア２０に書き込み中のデータがあった場合には（ステップＳＡ４でＹＥＳ）、内蔵メモリ１４内の最新の圧縮済みフレームデータを破棄する（上書きを許容する）とともに（ステップＳＡ８）、ダミーフレームカウンタを１つ加算する（ステップＳＡ９）。さらに、例えば「フレームレートを下げて録画をしています。」といったような、設定されている録画品質が確保できていない旨を示す注意メッセージをＬＣＤ１２にＯＳＤ機能により表示した後（ステップＳＡ１０）、録画終了操作がなければ（ステップＳＡ７でＮＯ）、ステップＳＡ３へ戻る。なお、係るステップＳＡ８〜ＳＡ１０の処理は、次のフレーム周期タイミングが到来した時点であっても、最後に書き込み処理を開始したデータの書き込みが終了していなければ（ステップＳＡ４でＹＥＳ）、繰り返し行われる。

そして、上記ステップＳＡ８〜ＳＡ１０の処理を経た後には、次のフレーム周期タイミングが到来した時点で、最後に書き込み処理を開始したデータの書き込みが終了していたら（ステップＳＡ４でＮＯ）、ダミーカウンタが１以上であるため（ステップＳＡ５でＹＥＳ）、ステップＳＡ１１へ進み、ダミーカウンタ分の数のダミーフレームと、最新の圧縮済みのフレームデータとを記録メディア２０に書き込む（ステップＳＡ１１）。ここで、上記ダミーフレームは、前のフレームの表示を保持する指定を行うための所定のデータであって、実際のフレームデータよりもデータ量が極めて小さいものとする。例えば動画フォーマットがＭＰＥＧ−４であれば、"ｖｏｐ＿ｃｏｄｅｄ＝０"のフレームデータがそれに相当する。

しかる後、この時点でダミーフレームカウンタを初期化した後（ステップＳＡ１２）、録画終了操作がなく、且つ記録メディア２０の空き容量があれば（ステップＳＡ７でＮＯ）、ステップＳＡ３へ戻って引き続き上述した処理を繰り返し行い、録画終了操作があった時点又は記録メディア２０の空き容量がなくなった時点で（ステップＳＡ７でＹＥＳ）、録画処理を終了する。

以上のように本実施の形態においては、例えば使用されている記録メディア２０におけるデータの書き込み速度が、空き容量やデータが記録される領域の違い、システムの電源電圧の変化等の実使用環境の違いにより、あるいはＣＰＵ１３における処理負荷の増大を起因として、想定されている速度よりも大きく低下した状況下で、フレームデータのサイズ変動に伴い記録メディア２０に対するフレームデータの書き込み処理が間に合わなくなったときには、実際に撮像されかつ圧縮されたフレームデータに代えてダミーフレームが記録メディア２０に記録される。

したがって、フレームデータの書き込み処理が間に合わなくなったときには、録画された動画の再生時における見かけ上のフレームレートを一時的に低下させることにより正常な動画記録を維持したままで、録画処理が時間的に破綻することが防止できる。つまり画像と音声の同期がズレたり、不正なデータを書き込んだりすることがない。そのため、ユーザーが設定可能な録画品質の上限や、固定的に設定しておく録画品質を高めにすることができる。よって、データ書き込み速度のバラツキや、使用状態の影響を受けることなく、記録メディア２０の空き容量にみあった長時間の動画像をより高品質で記録することができる。

しかも、書き込み速度が速い記録メディア２０が使用される場合には、そのまま設定されている録画品質での録画を問題なく行うことができる。

また、本実施の形態においては、内蔵メモリ１４に、圧縮済みのフレームデータを複数フレーム分記憶させる領域を設ける必要がないため、録画動作時には内蔵メモリ１４を他の処理等に有効に利用することができる。また、録画途中にダミーフレームが記録メディア２０に記録される状況が発生したときには、その度毎に前述した注意メッセージをＬＣＤ１２に表示して、設定されている録画品質が確保できていないことをユーザーに知らせることができるため、使い勝手もよい。なお、例えば音声無しの録画を行う場合にあっては、注意メッセージの表示に代えて、所定のアラーム音や音声メッセージをスピーカ１７から出力させるようにしてもよい。

なお、本実施の形態では、記録メディア２０に対するフレームデータの書き込み処理が間に合わなくなったとき記録メディア２０に記録するダミーフレームを、ＭＰＥＧ−４における"ｖｏｐ＿ｃｏｄｅｄ＝０"のフレームデータ等のように、圧縮後のフレームデータよりも極めて小さいデータとしたが、ダミーフレームは、圧縮後のフレームデータと同一乃至は同程度のサイズのデータとしてもよい。例えば、動画フォーマットがＭｏｔｉｏｎ−ＪＰＥＧの場合には、直前のフレームデータつまりコピーデータとする等、動画フォーマットに応じて適宜決めることができる。コピーデータとする場合には、その旨を示す情報をフレームデータに代えて記録しておき、録画終了後に、その情報に基づいてコピーを実施することとなる。また、ダミーフレームのデータサイズをより小さくして、ダミーフレームの書き込み時間を短くした方が、動画中のダミーフレームの数が少なくなり、動画再生時における見かけ上のフレームレートの変動（回数）を抑えることができるため、より良質の録画品質が確保できる。

（実施形態２）
次に、本発明の第２の実施の形態について説明する。本実施の形態は、図１に示した構成を備えたデジタルカメラにおいて、録画時に前記記録メディア２０に記録される動画ファイルがＡＶＩ（Audio Video Interleave）ファイルであるものである。

図３（ａ）は、本実施の形態において記録されるＡＶＩファイル１００の概略のデータ構造を示す模式図であり、ＡＶＩファイル１００にはデータ本体であるｍｏｖｉチャンク１０１とｉｎｄｅｘチャンク１０２とが含まれるとともに、ｍｏｖｉチャンク１０１が、各々が圧縮されたフレームデータ（以下、ビデオデータ）である３つの画像チャンク（図でビデオ１、ビデオ２、ビデオ３、・・・）につき圧縮されたオーディオデータである１つの音声チャンク（図でオーディオ１、・・・）で構成され、ｉｎｄｅｘチャンク１０２に、各々の画像チャンク及び音声チャンクのポインタとサイズを示すインデックス情報が記録順に並んで記録された構造である。なお、動画再生時には、ｉｎｄｅｘチャンク１０２のインデックス情報の並び順に従って画像チャンク及び音声チャンクのデータが再生されることとなる。

また、本実施の形態においては、前述した内蔵メモリ１４には上記画像チャンク及び音声チャンクを一時記憶するための、図３（ｂ）に示したような録画用バッファ１１０が確保されている。この録画用バッファ１１０は先に説明したリングバッファとして使用されるものであり、本実施の形態において、そのサイズは最低６０秒分のビデオ及びオーディオデータの合計サイズにマージンを加えたサイズである。なお、以下の説明においては、ビデオデータが、フレームレート＝１５ｆｐｓ、１フレームの平均データサイズ＝１０ｋｂであり、オーディオデータが、サンプルレート周波数＝８ｋＨｚ、1サンプルあたりのビット数＝８ビット、チャンネル＝モノラルであるものとし、録画用バッファ１１０のサイズが、
［（１０ｋｂ×１５）＋８０００］×６０≒９．２５ｋｂ＋マージン
であるものとする。

次に、以上の構成からなるデジタルカメラにおいて、動画像の記録（録画）が行われるときの本発明に係る動作を説明する。図４は、録画中においてＣＰＵ１３が実施する処理内容を示すフローチャートである。

ＣＰＵ１３は、ユーザーによる録画開始操作に応じて録画処理を開始すると、まず暫定的な仮のヘッダチャンク（図示せず）を有するとともに、前述したｉｎｄｅｘチャンク１０２が付加されていないＡＶＩファイル１００を記録メディア２０に作成する（ステップＳＢ１）。さらに、内蔵メモリ１４の所定領域に、録画終了後にＡＶＩファイル１００に付加されるｉｎｄｅｘチャンク１０２の元となる前記インデックス情報を記憶するための作業用インデックスファイル１２０（図５参照）を作成した後（ステップＳＢ２）、ＣＣＤ３による撮像処理、及び前述した録画用バッファ１１０へのデータ（画像チャンク及び音声チャンク）の記憶を開始する（ステップＳＢ３）。

以後、データ圧縮伸長ブロック９や音声処理ブロック１５からの録画用バッファ１１０へのデータ書き込み要求がある毎に（ステップＳＢ４でＹＥＳ）、その時点で録画用バッファ１１０がバッファフルの状態であるか否かを判断する（ステップＳＢ５）。なお、かかる判断は、以下の判断基準によって行う。すなわち書き込み要求があったデータが画像チャンクのデータである場合には、当該データのサイズ＋１音声チャンクの平均データサイズ＋マージン分の空き容量が残存していない状態をバッファフルとし、かつ書き込み要求があったデータが音声チャンクのデータである場合には、当該データのサイズ以上の空き容量が残存していない状態をバッファフルとする。これは、録画用バッファ１１０内に常に１音声チャンク分の空き容量を確保するためである。

そして、録画開始当初においては、録画用バッファ１１０がフル状態でないため（ステップＳＢ５でＮＯ）、そのまま録画用バッファ１１０へのデータ書き込みを許可するとともに（ステップＳＢ６）、書き込まれたデータのポインタとサイズを示すインデックス情報を作業用インデックスファイル１２０に追加する（ステップＳＢ７）。引き続き、録画用バッファ１１０に記憶された、未だＡＶＩファイル１００（記録メディア２０）への書き込みが済んでいないデータ（最先のデータ）をＡＶＩファイル１００に書き込むとともに、当該データを録画用バッファ１１０から消去（当該データに対する上書きを許可）した後（ステップＳＢ８でＹＥＳ、ステップＳＢ９）、ステップＳＢ４へ戻り、上記動作を繰り返す。これにより、ＡＶＩファイル１００に複数フレーム分の画像チャンク及び音声チャンクが記録順に格納され、同様に作業用インデックスファイル１２０にそれらのチャンクのインデックス情報が記録順に格納される。

ここで、上記の録画用バッファ１１０へのデータ書き込み（及びインデックス情報の追加）と、ＡＶＩファイル１００へのデータ書き込み（及び録画用バッファ１１０からの書き込み済みデータの消去）は非同期で行い、実際には、ＡＶＩファイル１００へのデータ書き込みが終了する以前であっても、録画用バッファ１１０へのデータ書き込み等が一定のフレーム周期（本実施の形態では１５ｆｐｓ）で行われる。そのため、ＡＶＩファイル１００へのデータ書き込みに遅れが生じると、未書き込みのデータが録画用バッファ１１０内に蓄積されることになる。

図５（ａ）は、その状態の一例を示した図であって、記録メディア２０に対するデータの書き込み速度が１０ｆｐｓであった場合における６０秒後の状態を示した図である。本実施の形態においてはフレームレートが１５ｆｐｓであるため、録画用バッファ１１０にビデオデータが３フレーム分記憶される間におけるＡＶＩファイル１００へのデータの書き込み分が２フレームとなる。したがって、６０秒後の時点では、ＡＶＩファイル１００へ２／３のデータが書き込まれ、残りの１／３のデータが録画用バッファ１１０に残存し、かつそのサイズも録画用バッファ１１０の１／３程度となる。また、作業用インデックスファイル１２０には、ＡＶＩファイル１００へ書き込まれた全てのデータのインデックス情報が格納された状態となる。

一方、前述した処理を繰り返す間に、録画用バッファ１１０がバッファフルの状態となったときには（ステップＳＢ５でＹＥＳ）、要求された録画用バッファ１１０へのデータの書き込みを制限（禁止）して（ステップＳＢ１０）、作業用インデックスファイル１２０に、１つ前に書き込まれたデータと同一のインデックス情報を追加する（ステップＳＢ１１）。なお、本実施の形態ではバッファフルの状態を前述した判断基準によって行っているため、ステップＳＢ１０で制限つまり破棄されるデータは画像チャンクのデータのみとなる。

図５（ｂ）は、その一例を示した図であって、記録メディア２０に対するデータの書き込み速度が１０ｆｐｓであった場合における１８０秒後の状態を示した図である。１８０秒後には、１２０秒分のデータのみがＡＶＩファイル１００に書き込まれ、残りのデータ（図で、ビデオ１８０１〜オーディオ９００）が録画用バッファ１１０に格納された状態にある。この時点で、録画用バッファ１１０が既にバッファフルの状態となっている。したがって、録画用バッファ１１０への新たなデータ書き込み要求があった時には、録画用バッファ１１０内のデータはそのままで、作業用インデックスファイル１２０に、１つ前のデータ（図で、ビデオ２７００）のインデックス情報が再度追加されることとなる。

引き続き、例えば「フレームレートを下げて録画をしています。」といったような、設定されている録画品質が確保できていない旨を示す注意メッセージをＬＣＤ１２にＯＳＤ機能により表示する（ステップＳＢ１２）。そして、前述したステップＳＢ８へ進み、以後は、録画用バッファ１１０にデータが残存する間においては（ステップＳＢ８でＹＥＳ）、録画終了操作の有無に関係なく、ＡＶＩファイル１００へのデータ書き込みを続ける（ステップＳＢ９）。そして、録画用バッファ１１０にデータがなくなり、そのとき既に録画終了操作が行われていたら（ステップＳＢ８でＮＯ、ステップＳＢ１３がＹＥＳ）、その時点で作業用インデックスファイル１２０のデータに基づきｉｎｄｅｘチャンクを生成し、それをＡＶＩファイル１００に付加してＡＶＩファイル１００を完成させ（ステップＳＢ１４）、全ての録画処理を完了する。

以上のように本実施の形態においては、先に説明したような原因により想定されている速度よりも大きく低下した状況下で、フレームデータのサイズ変動に伴い記録メディア２０へのデータの書き込みに遅れが生じ、録画中に録画用バッファ１１０（リングバッファ）に新たな画像チャンクが蓄積することができなくなったときには、その１つ前の画像チャンクを示すインデックス情報がｉｎｄｅｘチャンクに記録される。

したがって、録画用バッファ１１０に新たな画像チャンクが蓄積することができなくなったときには、録画された動画の再生時における見かけ上のフレームレートを一時的に低下させることにより正常な動画記録を維持したままで、録画処理が時間的に破綻することが防止でき、ユーザーが設定可能な録画品質の上限や、固定的に設定しておく録画品質を高めにすることができる。

よって、第１の実施の形態と同様、データ書き込み速度のバラツキや、使用状態の影響を受けることなく、記録メディア２０の空き容量にみあった長時間の動画像をより高品質で記録することができる。しかも、書き込み速度が速い記録メディア２０が使用される場合には、そのまま設定されている録画品質での録画を問題なく行うことができる。また、録画途中に録画用バッファ１１０に新たな画像チャンクが蓄積することができなくなった状況が発生したときには、その度毎に前述した注意メッセージをＬＣＤ１２に表示して、設定されている録画品質が確保できていないことをユーザーに知らせることができ、使い勝手もよい。

さらに、本実施の形態においては、内蔵メモリ１４に、複数フレーム分の画像チャンクを記憶する録画用バッファ１１０を設け、それをリングバッファとして使用することにより、例えば録画開始当初から、設定されているフレームレートに対して記録メディア２０へのデータの書き込み速度が遅い場合であっても、その当初の一定期間（本実施の形態では６０秒）については、再生時におけるフレームレートとして、設定されているフレームレートを確保することができる。これによっても、使い勝手がよい。

なお、本実施の形態では、記録メディア２０に記録する動画ファイルがＡＶＩファイル１００である場合について説明したが、動画ファイルの形式は、圧縮後のフレームデータに、各々のフレームデータの再生順を示すインデックス情報が付随するものであれば、他の形式のファイルであってもかまわない。

また、動画像を、本実施の形態のようにＡＶＩファイル１００として、またそれ以外のインデックス情報を備えた形式のファイルとして記録する場合、内蔵メモリ１４に録画用バッファ１１０を設けることなく、第１の実施の形態で説明したもののように、圧縮後のフレームデータを記録メディア２０に直接書き込む構成としてもよい。その場合、記録メディア２０に対するデータの書き込みに遅れが生じたか否かは、第１の実施の形態と同様の基準で判断すればよい。なお、前述した作業用インデックスファイル１２０等を設ける場所は任意であり、その点については本実施の形態においても同様である。

また、上記とは別に、第１の実施の形態で説明したものに、本実施の形態における録画用バッファ１１０に相当するものを設けた構成とし、記録メディア２０に対するデータの書き込みにおくれが生じたか否かを、第１の実施の形態と同様の基準で判断するものとしてもよい。

また、本実施の形態においては、録画用バッファ１１０がバッファフルとなった時、記録メディア２０に対するデータの書き込みに遅れが生じたと判断するようにしたが、録画用バッファ１１０の空き容量が所定量以下になった時点を遅れが生じた時点と判断するようにしてもよい。このようにすれば、一時的に低下させるときのフレームレートの低減量（低減幅）を小さくすることができる。つまりフレームレートを急激に低下させなくとも正常な動画記録ができ、より高い録画品質が確保できる。

また、録画用バッファ１１０に圧縮後の画像データ（フレームデータ）を順次記憶するものとしたが、圧縮前の画像データを録画用バッファ１１０に順次記憶するようにしてもよい。

また、以上説明した第１及び第２の実施の形態においては、前記遅れが生じたときには、前述したように動画の再生時における見かけ上のフレームレートを一時的に低下させるための処理によって書き込みデータ量を減らするようにしたが、上記の処理とは別に、又はそれと並行して、前記フレームレート以外の他の録画パラメータ（圧縮率、画像サイズ等）を変更して書き込みデータ量を減らするようにしてもよい。

また、第１及び第２の実施形態においては、本発明を、動画撮影機能を備えたデジタルカメラに採用した場合について説明したが、これに限らず本発明は、録画時に動画をストリーム記録する構成を備えたものであれば、例えばデジタルビデオカメラ、カメラ付き携帯電話機、カメラ付きＰＤＡ、カメラ付きパソコン等の種々の電子カメラ装置にも採用することができる。その場合においても、前述した効果を得ることができる。

さらに、任意の形式で圧縮して記録する動画像は撮影されたものでなくとも、例えばアナログのテレビ放送の放送画像やビデオ入力端子から入力された動画像であってもよく、また、その場合を含め、動画を記録する記録媒体は半導体メモリに限らずハードディスク等であってもかまわない。

本発明の各実施の形態に共通するデジタルカメラのブロック図である。 第１の実施の形態における録画動作時の処理内容を示すフローチャートである。 第２の実施の形態を示す図であって、（ａ）はＡＶＩファイルを示す模式図、（ｂ）は録画用バッファを示す模式図である。 同実施の形態における録画動作時の処理内容を示すフローチャートである。 同録画動作時において録画用バッファに空きがある時点の状態（ａ）と、録画用バッファに空きがない時点の状態（ｂ）とを示す状態説明図である。

符号の説明

１ カメラ本体
２ 光学系
３ ＣＣＤ
１２ ＬＣＤ
１３ ＣＰＵ
１４ 内蔵メモリ
１７ 内蔵スピーカ
１８ キー入力ブロック
１９ プログラムメモリ
２０ 記録メディア
１００ ＡＶＩファイル
１０１ ｍｏｖｉチャンク
１０２ ｉｎｄｅｘチャンク
１１０ 録画用バッファ
１２０ 作業用インデックスファイル

Claims (10)

1. 動画像を構成する画像データを所定のフレーム周期で画像処理しながら記録媒体に順次記録する動画像記録装置において、
   前記記録媒体への画像処理後の画像データの書込み処理に、動画像の正常な記録を阻害する遅れが生じているか否かを判断する判断手段と、
   この判断手段により前記遅れが生じていると判断されたとき、前記記録媒体に対する書き込みデータ量を減少させる調整手段と
   を備えたことを特徴とする動画像記録装置。
2. 前記調整手段は、前記判断手段により前記遅れが生じていると判断されたとき、前記記録媒体に対する次のフレームの画像処理後の画像データの書込み処理を中止させる中止手段を含み、その中止手段により書込み処理が中止された画像データに基づく画像に代えて、当該画像データのフレームの前後いずれかのフレームと同一内容の画像を再生させるための所定情報を前記記録媒体に記録させることを特徴とする請求項１記載の動画像記録装置。
3. 前記記録媒体に記録される複数フレーム分の画像処理後の画像データには、各々の画像データの再生順を示すインデックス情報が付随し、前記調整手段は、前記所定情報を前記インデックス情報として前記記録媒体に記録させることを特徴とする請求項１又は２記載の動画像記録装置。
4. 前記判断手段は、前記記録媒体に対する新たな画像処理後の画像データの書込み時点で、１つ前の画像処理後の画像データが書き込み中であったとき、動画像の正常な記録を阻害する遅れが生じていると判断することを特徴とする請求項１，２又は３記載の動画像記録装置。
5. 前記記録媒体に記録される複数フレーム分の画像処理後の画像データを一時記憶するバッファを備え、前記判断手段は、前記バッファへの新たな画像処理後の画像データの書込み時点で、前記バッファの空きサイズが所定以下であったとき、動画像の正常な記録を阻害する遅れが生じていると判断することを特徴とする請求項１，２又は３記載の動画像記録装置。
6. 前記調整手段は、前記判断手段により前記遅れが生じていると判断されたとき、前記バッファへの新たな画像処理後の画像データの書込みを禁止することを特徴とする請求項５記載の動画像記録装置。
7. 前記判断手段により前記遅れが生じていると判断されたとき、設定されている録画品質が確保できていない旨を報知する報知手段を備えたことを特徴とする請求項１乃至６いずれか記載の動画像記録装置。
8. 動画像を構成する画像データを所定のフレーム周期で画像処理しながら記録媒体に順次記録する動画像記録方法において、
   前記記録媒体への画像処理後の画像データの書込み処理に、動画像の正常な記録を阻害する遅れが生じているか否かを判断する工程と、
   遅れが生じていると判断された場合に、前記記録媒体に対する書き込みデータ量を減少させる処理を行う工程と
   を含むことを特徴とする動画像記録方法。
9. 動画像を構成する画像データを所定のフレーム周期で画像処理しながら記録媒体に順次記録する動画像記録装置が有するコンピュータを、
   前記記録媒体への画像処理後の画像データの書込み処理に、動画像の正常な記録を阻害する遅れが生じているか否かを判断する判断手段と、
   この判断手段により前記遅れが生じていると判断されたとき、前記記録媒体に対する書き込みデータ量を減少させる調整手段と
   して機能させるためのプログラム。
10. 撮像手段により所定のフレーム周期で撮像された、動画像を構成する画像データを前記所定のフレーム周期で圧縮しながら着脱自在な記録媒体に順次記録する動画撮影機能を備えた電子カメラ装置において、
    前記記録媒体への圧縮後の画像データの書込み処理に、動画像の正常な記録を阻害する遅れが生じているか否かを判断する判断手段と、
    この判断手段により書込み処理に前記遅れが生じていると判断されたとき、前記記録媒体に対する次のフレームの圧縮後の画像データの書込み処理を中止させる中止手段と、
    その中止手段により書込み処理が中止された画像データに基づく画像に代えて、当該画像データのフレームの１つ前のフレームと同一内容の画像を再生させるための所定情報を前記記録媒体に記録させる調整手段と
    を備えたことを特徴とする電子カメラ装置。

Images