JP4687801B2 - 動画像記録装置及び電子カメラ装置、動画像記録方法、プログラム - Google Patents

Description

本発明は、動画をストリーム記録する機能を備えた動画像記録装置及び電子カメラ装置と、動画像記録方法、プログラムに関する。

従来、動画撮影機能を備えたデジタルカメラ、携帯電話などにおいて動画像を記録するときのデータ形式は、Ｍｏｔｉｏｎ ＪＰＥＧ（Joint Photographic coding Experts Group）やＭＰＥＧ（Moving Picture coding Experts Group）などが多く用いられている。これらは、一定時間間隔毎に圧縮符号化された画像データを記録する形式である。動画像を記録する媒体としては、ＳＤメモリカード（Serure Digital memory card）などが多く用いられている。

動画像を記録する場合、規定時間内での動画撮影については、一定時間間隔毎に圧縮符号化された画像データを内部メモリに一時蓄積して、撮影後に動画データを記録媒体に書き込むため、データ書き込み処理には時間的な制約がない。一方、記録媒体の容量一杯までの撮影が可能な動画撮影（以下、ストリーム録画という）については、撮影し圧縮符号化した動画データを逐次記録媒体に書き込まなければならないため、データ書き込み処理に時間的な制約がある。

一方、メモリカードにおけるデータの書き込み性能は、メモリカードそれぞれにより異なり、書き込みが速いカード、遅いカードが存在する。そのため、書き込みが遅いカードを使用すると、書き込み時間がかかり過ぎることにより、一枚の画像を処理するために許された一定時間内に一連の処理が終了しないという状況が発生することがある。その場合には、撮影を中止するか、フレームレートを落とす（録画する画像の間隔を長くする）、またはビットレートを落とす（録画する画像の圧縮率を上げる）など、画質を低下させることにより、メモリカードに対するデータの書き込み量を減らすことにより撮影を継続させるなどの対応が一般に行われている。

また、例えば下記の特許文献１には、デジタルカメラにおいて、予め内部メモリに複数フレーム分のバッファ領域を確保しておき、動画像をストリーム録画する際には、撮影し圧縮符号化した動画データの内部メモリへの書込み動作と並行して、先に記憶された画像データを読み出してメモリカード等に随時記録し、かつ記録が終了した動画データを内部メモリから消去する、つまり内部メモリをリングバッファとして使用し、このリングバッファが撮影時間の経過に伴いメモリカードに記録されていない動画データで一杯になった時点で動画撮影を中止する動画記録方法が記載されている。

特開２０００−２３２６１９号公報

しかしながら、上記従来の方法の場合、書き込み速度が遅いメモリカードあるいは書き込み速度が遅くなってしまったメモリカードを使用して何回も動画撮影を行うと、動画撮影を行う毎に撮影途中で撮影が強制的に中止されてしまうか、撮影途中で画質が変化してしまい、動画の撮影開始から撮影終了するまで均一な画質の動画像を得ることができなくなってしまうといった問題が発生する。

本発明は、かかる従来の課題に鑑みてなされたものであり、動画の撮影が終了するまで均一な画質で動画像を記録することが可能となる動画記録装置及び電子カメラ装置、動画像記録方法と、それらの実現に使用されるプログラムを提供することを目的とする。

前記課題を解決するため請求項１の発明にあっては、動画像を構成する画像データを所定のフレーム周期で画像処理しながら記録媒体に順次記録する動画像記録手段と、この動画像記録手段による前記記録媒体への画像処理後の画像データの書込み処理に、動画像の正常な記録を阻害する遅れが生じたか否かを判断する判断手段と、この判断手段により前記遅れが生じたと判断された場合に、その旨を示す情報を前記記録媒体の所定領域に記録する情報記録手段と、前記記録媒体の所定領域に前記遅れが生じた旨を示す情報が記録されているか否かを判別する判別手段と、この判別手段により前記遅れが生じた旨を示す情報が記録されていると判別された場合に、前記動画像記録手段による前記記録媒体への次回の記録動作で記録される動画像の画質を、前回の記録動作での動画像の画質よりも低い画質に設定する画質設定手段とを備えた動画像記録装置とした。

かかる構成においては、動画像の記録中に、記録媒体への画像処理後の画像データの書込み処理に動画像の正常な記録を阻害する遅れが生じた場合には、その旨を示す情報が前記記録媒体の所定領域に記録され、その情報が前記記録媒体の所定領域に記録されている場合には、前記記録媒体への次回の記録動作で記録する動画像の画質が前回の記録動作での動画像の画質よりも低い画質に自動的に設定される。したがって、動画像の記録中に、記録媒体への画像処理後の画像データの書込み処理に動画像の正常な記録を阻害する遅れが生じた場合には、次回以降の記録動作で記録する動画像の画質を、遅れが生じたときの画質よりも低い画質とすることが可能となる。

また、請求項２の発明にあっては、前記情報記録手段は、前記判断手段により遅れが生じたと判断されたときに前記動画像記録手段により記録媒体に順次記録されている動画像の画質を示す画質情報を前記記録媒体の所定領域に記録し、前記画質設定手段は、前記動画像記録手段による前記記録媒体への次回の記録動作で記録される動画像の画質を、前記記録媒体の所定領域に記録されている画質情報により示される画質よりも所定の割合だけ低い画質に設定するものとした。

かかる構成においては、動画像の記録中に、記録媒体への画像処理後の画像データの書込み処理に動画像の正常な記録を阻害する遅れが生じた場合には、次回以降の記録動作で記録する動画像の画質を、遅れが生じたときの画質よりも所定の割合だけ低い画質とすることが可能となる。

また、請求項３の発明にあっては、前記動画像記録手段により画像処理後の画像データが前記記録媒体へ記録されるときの所要時間を計測する計測手段を備え、前記画質設定手段は、前記動画像記録手段による次回の記録動作で記録される動画像の画質を、前記判断手段により前記遅れが生じたと判断されたときの動画像の記録途中において前記計測手段により計測された所要時間における、前記画像処理後の画像データの記録に許容されていた時間に対する超過割合に応じた割合だけ低下した画質に設定するものとした。

かかる構成においては、動画像の記録中に、記録媒体への画像処理後の画像データの書込み処理に動画像の正常な記録を阻害する遅れが生じた後の記録動作で記録する動画像の画質の下げ幅を必要最小限に止めることができる。

また、請求項４の発明にあっては、前記記録媒体に記録する複数フレーム分の画像処理後の画像データを一時記憶するバッファメモリを備え、前記判断手段は、前記バッファメモリにおける画像データの書き込み位置と読み出し位置とが所定の関係となったとき前記遅れが生じたと判断し、前記画質設定手段は、前記動画像記録手段による次回の記録動作で記録される動画像の画質を、前記判断手段により前記遅れが生じたと判断された時点で前記バッファメモリに記録されている前記記録媒体に未記録の画像データの合計サイズと、前記記録媒体に記録済みの画像データの合計サイズとの比率に応じた割合だけ低下した画質に設定するものとした。
かかる構成においても、動画像の記録中に、記録媒体への画像処理後の画像データの書込み処理に動画像の正常な記録を阻害する遅れが生じた後の記録動作で記録する動画像の画質の下げ幅を必要最小限に止めることができる。

また、請求項５の発明にあっては、前記記録媒体に記録する複数フレーム分の画像処理後の画像データを一時記憶するバッファメモリを備え、前記判断手段は、前記バッファメモリにおける画像データの書き込み位置と読み出し位置とが所定の関係となったとき前記遅れが生じたと判断し、前記画質設定手段は、前記動画像記録手段による次回の記録動作で記録される動画像の画質を、前記判断手段により前記遅れが生じたと判断された時点で前記記録媒体に書込み済みのデータ量と、前記バッファメモリの容量との比率に応じた割合だけ低下した画質に設定するものとした。
かかる構成においても、動画像の記録中に、記録媒体への画像処理後の画像データの書込み処理に動画像の正常な記録を阻害する遅れが生じた後の記録動作で記録する動画像の画質の下げ幅を必要最小限に止めることができる。

また、請求項６の発明にあっては、前記動画像記録手段により画像処理後の画像データが前記記録媒体へ記録されるときの所要時間を計測する計測手段と、前記動画像記録手段による動画像の記録途中に前記計測手段により計測された所要時間の合計、及び前記記録媒体に記録された全画像データの合計サイズから、前記記録媒体へのデータの平均書込み速度を算出する速度算出手段と、前記動画像記録手段により新たな動画像が前記記録媒体へ記録される毎に前記算出手段により算出された平均書込み速度を履歴情報として記憶する速度履歴記憶手段と、この速度履歴記憶手段に記憶されている履歴情報に基づき、所定期間における前記平均書込み速度の劣化度合を取得する取得手段と、この取得手段により取得された劣化度合が決められた劣化度合を超えた旨を報知する報知手段とを備えたものとした。

かかる構成においては、使用期間の経過に伴い記録する画像データの断片化によって記録媒体におけるデータの書き込み性能が一定以上劣化した場合には、それをユーザーに認識させることができる。

また、請求項７の発明にあっては、動画像を構成する画像データを所定のフレーム周期で画像処理しながら記録媒体に順次記録する動画像記録方法において、前記記録媒体への画像処理後の画像データの書込み処理に、動画像の正常な記録を阻害する遅れが生じたか否かを判断する工程と、前記遅れが生じたと判断された場合に、その旨を示す情報を前記記録媒体の所定領域に記録する工程と、前記記録媒体の所定領域に、前記遅れが生じた旨を示す情報が記録されているか否かを判別する工程と、前記遅れが生じた旨を示す情報が記録されていると判別された場合に、前記記録媒体への次回の動画像の記録動作に先立ち、記録する動画像の画質を、前回の記録動作での動画像の画質よりも低い画質に設定する工程とを含む方法とした。

したがって、動画像の記録中に、記録媒体への画像処理後の画像データの書込み処理に動画像の正常な記録を阻害する遅れが生じた場合には、次回以降の記録動作で記録する動画像の画質を、遅れが生じたときの画質よりも低い画質とすることが可能となる。

また、請求項８の発明にあっては、動画像を構成する画像データを所定のフレーム周期で画像処理しながら記録媒体に順次記録する動画像記録装置が有するコンピュータを、動画像を構成する画像データを所定のフレーム周期で画像処理しながら記録媒体に順次記録する動画像記録手段と、この動画像記録手段による前記記録媒体への画像処理後の画像データの書込み処理に、動画像の正常な記録を阻害する遅れが生じたか否かを判断する判断手段と、この判断手段により前記遅れが生じたと判断された場合に、その旨を示す情報を前記記録媒体の所定領域に記録する情報記録手段と、前記記録媒体の所定領域に、前記遅れが生じた旨を示す情報が記録されているか否かを判別する判別手段と、この判別手段により前記遅れが生じた旨を示す情報が記録されていると判別された場合に、前記動画像記録手段による前記記録媒体への次回の記録動作で記録される動画像の画質を、前回の記録動作での動画像の画質よりも低い画質に設定する画質設定手段として機能させるためのプログラムとした。

また、請求項９の発明にあっては、撮像手段により所定のフレーム周期で撮像された、動画像を構成する画像データを前記所定のフレーム周期で圧縮しながら着脱自在な記録媒体に順次記録する動画撮影機能を備えた電子カメラ装置において、動画像を構成する画像データを所定のフレーム周期で画像処理しながら記録媒体に順次記録する動画像記録手段と、この動画像記録手段による前記記録媒体への画像処理後の画像データの書込み処理に、動画像の正常な記録を阻害する遅れが生じたか否かを判断する判断手段と、この判断手段により前記遅れが生じたと判断された場合に、その旨を示す情報を前記記録媒体の所定領域に記録する情報記録手段と、前記記録媒体の所定領域に、前記遅れが生じた旨を示す情報が記録されているか否かを判別する判別手段と、この判別手段により前記遅れが生じた旨を示す情報が記録されていると判別された場合に、前記動画像記録手段による前記記録媒体への次回の記録動作で記録される動画像の画質を、前回の記録動作での動画像の画質よりも低い画質に設定する画質設定手段とを備えた電子カメラ装置とした。

かかる構成においては、撮像された画像からなる動画像の記録中に、記録媒体への画像処理後の画像データの書込み処理に動画像の正常な記録を阻害する遅れが生じた場合には、その旨を示す情報が前記記録媒体の所定領域に記録され、その情報が前記記録媒体の所定領域に記録されている場合には、前記記録媒体への次回の記録動作で記録する動画像の画質が前回の記録動作での動画像の画質よりも低い画質に自動的に設定される。したがって、動画像の記録中に、記録媒体への画像処理後の画像データの書込み処理に動画像の正常な記録を阻害する遅れが生じた場合には、次回以降の記録動作で記録する動画像の画質を、遅れが生じたときの画質よりも低い画質とすることが可能となる。

本発明の装置及び方法においては、動画像の記録中に、記録媒体への画像処理後の画像データの書込み処理に動画像の正常な記録を阻害する遅れが生じた場合には、次回以降の記録動作で記録する動画像の画質を、遅れが生じたときの画質よりも低い（例えば所定の割合だけ低い）画質とすることが可能となるようにした。よって、動画像を記録する記録媒体として例えば同一の記録媒体を用いる場合、動画像の記録中に画像データの書込み処理に遅れが生じたとしても、次回以降の動画像の記録に際しては、その途中に画質を変更することなく正常な記録動作を継続させることができ、動画の撮影が終了するまで均一な画質で動画像を記録することが可能となる。

これに加え、請求項３，４，５の発明においては、動画像の記録中に、記録媒体への画像処理後の画像データの書込み処理に動画像の正常な記録を阻害する遅れが生じた後の記録動作で記録する動画像の画質の下げ幅を必要最小限に止めることができるようにした。よって、より高品質の動画像を記録することができる。

さらに、請求項６の発明においては、使用期間の経過に伴い、記録する画像データの断片化によって記録媒体におけるデータの書き込み性能が一定以上劣化した場合には、それをユーザーに認識させることができるようにした。よって、記録媒体の初期化を実行させることにより、記録可能な動画像の品質を、できるだけ記録媒体が有する本来のデータの書き込み性能に応じた画質に維持することが可能となる。

本発明の各実施の形態に共通するデジタルカメラのブロック図である。 内蔵メモリのメモリ空間を示す模式図である。 同実施の形態における動画撮影処理の内容を示すフローチャートである。 図３に続くフローチャートである。 事前処理の内容を示すフローチャートである。 書込み時間履歴データを示す模式図である。 録画情報の内容を示す模式図である。 第２の実施の形態における内蔵メモリのメモリ空間を示す模式図である。 同実施の形態における動画撮影処理の内容を示すフローチャートである。 事前処理の内容を示すフローチャートである。 録画情報の内容を示す模式図である。

以下、本発明の一実施の形態を図にしたがって説明する。
（実施形態１）
図１は、本発明の各実施の形態に共通するデジタルカメラのブロック図である。このデジタルカメラは動画撮影機能を備えたものであり、以下の構成を備えている。

デジタルカメラは、カメラ本体１と、カメラ本体１に着脱可能な記録メディア２０から構成されており、カメラ本体１には複数枚のレンズからなる光学系２、及び光学系２を介して自己の受光面に被写体の光像が結像される撮像手段であるベイヤ配列等の色フィルタが装着されたＣＣＤ３が配置されている。ＣＣＤ３はタイミングジェネレータ７から送られる駆動信号により駆動され、被写体の光像を光電変換し撮像信号として出力する。ＣＣＤ３からの出力信号はＣＤＳ回路４で相関二重サンプリング及びゲイン調整が行われ、Ａ／Ｄ変換回路５でデジタル信号に変換される。Ａ／Ｄ変換されたベイヤデータはＤＳＰ部６に入力され、ペデスタルクランプ等の処理が施された後、ブロック内の輝度・色差マトリックス回路で輝度（Ｙ）信号及び色差（ＵＶ）信号に変換される。なお、ＤＳＰ部６では、オートアイリス、オートホワイトバランス、輪郭強調、画素補間などの画品質向上のための処理も行われる。

ＤＳＰ部６から出力されたＹＵＶデータは解像度変換ブロック８で予め設定された画像サイズに変換された後、１フレーム分のデータが順次内蔵メモリ１４（例えばＳＤＲＡＭ）に確保される画像データ用作業領域１４ａ（図２参照）に格納される。内蔵メモリ１４に格納された１フレーム分のＹＵＶデータは表示コントローラ１１へ送られ、そこでビデオ信号に変換された後、ＬＣＤ（液晶表示器）１２によりスルー画像として表示される。なお、ＬＣＤ１２は、後述する動画撮影時においては本発明の報知手段としても機能する。

また、動画撮影時に内蔵メモリ１４に格納されたＹＵＶデータは順次データ圧縮伸長ブロック９へ送られ、所定の動画記録方式（例えばＭｏｔｉｏｎ−ＪＰＥＧやＭＰＥＧ）のコーデックによりデータ圧縮した後コード化され、内蔵メモリ１４に一時的に記憶された後、メディアコントローラ１０を介してフレームデータ（ビデオデータ）として記録メディア２０に順次書き込まれる。係る一連の動作はフレーム毎に繰り返し実行される。つまりストリーム記録される。なお、動画撮影のフレームレートはタイミングジェネレータ７で作成されるタイミング信号によって決まり、コード化されるデータの圧縮率はデータ圧縮伸長ブロック９内の量子化テーブル値によって決定される。なお、静止画撮影時に内蔵メモリ１４に格納された１フレーム分のＹＵＶデータは、前記データ圧縮伸長ブロック９でＪＰＥＧ方式等でデータ圧縮した後コード化され、内蔵メモリ１４内でファイル化された後、メディアコントローラ１０を介して記録メディア２０に静止画データ（静止画ファイル）として記録される。また、データ圧縮伸長ブロック９は、静止画又は動画の再生時には記録メディア２０から読み出された静止画や動画のデータを伸張し、静止画データやフレームデータとして内蔵メモリ１４の画像データ用作業領域１４ａに展開する。

音声処理ブロック１５は、音声付の動画撮影時においてカメラ本体１に内蔵されたマイク１６に入力した音声をデジタル信号に変換し、データ圧縮後にオーディオデータとして内蔵メモリ１４へ送る。内蔵メモリ１４に送られたオーディオデータはフレームデータと共に一連のストリームデータとして記録メディア２０に順次書き込まれる。また、音声処理ブロック１５は、音声付動画の再生時には、内蔵メモリ１４から送られたオーディオデータを復号し、アナログの音声信号に変換した後、カメラ本体１に内蔵された内蔵スピーカ１７から音声出力させる。

キー入力ブロック１８は、シャッターボタン、電源キー、ＭＥＮＵキー等の複数の操作キーを含み、使用者によるキー操作に応じたキー入力信号をＣＰＵ１３に出力する。なお、シャッターボタンは動画撮影時に録画開始／終了ボタンとしても機能する。

上述した各ブロックはＣＰＵ１３により制御されており、ＣＰＵ１３が各ブロックの制御に必要とされるプログラムやデータはプログラムメモリ１９に記憶されている。そして、ＣＰＵ１３は上記プログラム及びキー入力信号に基づき動作することにより本発明の動画像記録手段、判断手段、画質設定手段、計測手段、速度算出手段、制御手段、取得手段として機能する。

また、プログラムメモリ１９はＥＥＰＲＯＭやフラッシュメモリ等の書き換え可能な不揮発性メモリからなり、上記プログラムやデータ以外にも、ユーザーにより設定されたシステムや各機能に関する設定データ、例えば動画撮影時に記録する動画像の品質を決める画像サイズ、フレームレート、圧縮率等の録画パラメータが随時記憶される。また、動画撮影時において、前記内蔵メモリ１４には、図２に示したように、後述する書込情報１００（図６参照）等の作業用データを記憶するバッファとして使用する汎用作業領域１４ｂが、前記画像データ用作業領域１４ａとは別に確保される。

次に、以上の構成からなるデジタルカメラにおける本発明に係る動作を説明する。図３は、動画撮影モードにおいて、シャッターボタンによる撮影開始操作に応じＣＰＵ１３が実行する動画撮影処理の内容を示すフローチャートである。なお、ここでは、記録メディア２０の使用開始後、または初期化後において初めて動画撮影モードが設定されたものとする。

ＣＰＵ１３は、撮影開始操作があると直ちに図５に示した事前処理に移行し（ステップＳＡ１）、後述する録画情報２００（図７参照）が記録メディア２０に記録されているか否かを確認する（ステップＳＡ１０１）。ここでは、記録メディア２０に一度も動画記録が行われておらず録画情報２００は存在しないため（ステップＳＡ１０１でＮＯ）、そのまま図３の処理に戻り、そのときユーザーにより設定されているフレームレート、画像サイズ、圧縮率に応じた動画記録処理（ストリーム録画）を開始する。撮影開始直後の撮像タイミングでは前回の画像データ（フレームデータ）が存在しないため（ステップＳＡ２，ＳＡ３が共にＹＥＳ）、直ちにＣＣＤ３による撮像処理を実施する（ステップＳＡ４）。引き続き、撮像した１フレーム目の画像データを圧縮符号化した後（ステップＳＡ５）、圧縮符号化した画像データの記録メディア２０への書き込みを開始するとともに、タイマ機能による画像データの書き込み時間の計測を開始する（ステップＳＡ６）。

その後、画像データの書き込みが終了したら（ステップＳＡ７でＹＥＳ）、書き込み時間の計測を終了し（ステップＳＡ８）、その計測結果と、書き込んだデータサイズを内蔵メモリ１４の汎用作業領域１４ｂに記憶する（ステップＳＡ９）。そして、撮影終了操作又は記録メディア２０のフル状態の検出があるまでの間は（ステップＳＡ１０でＮＯ）、新たな撮影タイミングが到来する毎に撮像処理、圧縮符号化、記録メディア２０へのデータ書き込みを繰り返し（ステップＳＡ４〜ＳＡ９）、その間に前記汎用作業領域１４ｂにフレーム毎のフレーム数分の書き込み時間（Ｔ１，Ｔ２，Ｔ３，・・・）と書き込んだ画像データのサイズ（Ｄ１，Ｄ２，Ｄ３，・・・）からなる図６に示した書込み情報１００を蓄積する。

また、上記処理を繰り返す間に、いずれかの撮影タイミングが到来したとき、前のフレームの画像データについて記録メディア２０への書き込み処理（保存処理）が終了していなかったときには（ステップＳＡ３でＮＯ）、処理時間情報として「範囲外」を前記汎用作業領域１４ｂに暫定的に記憶する（ステップＳＡ１１）。なお、前記汎用作業領域１４ｂには、処理時間情報の初期値として「範囲内」が予め記憶されているものとする。さらに、今回のフレームの画像データに代えて前回のフレームの画像データを使用するための処理を実施することにより、記録メディア２０へ対するデータの書込みデータ量を減らし（ステップＳＡ１２）、ステップＳＡ２へ戻る。

やがて、ユーザーによる撮影終了操作又は記録メディア２０のフル状態の検出があったら（ステップＳＡ１０でＹＥＳ）、引き続き図４に示した処理に進み、バッファメモリに記憶されている処理時間情報が「範囲外」でなければ（ステップＳＡ１３でＮＯ）、バッファメモリに記憶されている書込み情報１００に基づき、書き込んだ画像データの合計サイズと書込み時間の合計時間から平均書込み速度を算出し（ステップＳＡ１４）、その算出結果と、前記処理時間情報（この場合は「範囲内」）、撮影時の設定フレームレート及び設定ビットレートを、図７に示したような録画情報２００として記録メディア２０の所定領域に記録し（ステップＳＡ１５）、そのまま動画撮影処理を終了する。なお、設定ビットレートは、ユーザにより設定されたフレームレート、画像サイズ、及び圧縮率により一義的に決まる値である。

また、バッファメモリに記憶されている処理時間情報が「範囲外」であったときには（ステップＳＡ１３でＹＥＳ）、上記と同様に平均書込み速度を算出した後（ステップＳＡ１６）、さらに前記汎用作業領域１４ｂに書込み情報１００として記憶されている中の最大の書込み時間、つまり撮像タイミングの到来時に記録メディア２０に書き込み中であった画像データの書込みに要した時間の中で最も長かった時間について、撮影時のフレームレートで画像データの書込み可能な時間（撮像処理間隔）を超えた分の、書込み許容時間に対する割合（超過割合）を算出する（ステップＳＡ１７）。そして、その算出結果と、前記処理時間情報（この場合は「範囲外」）、撮影時の設定フレームレート及び設定ビットレート、平均書込み速度を録画情報２００として記録メディア２０の所定領域に記録する（ステップＳＡ１８）。

次に、記録メディア２０に規定回数（以下の説明では、１００回とする。）以上の録画情報２００が記録されているか否かを確認する（ステップＳＡ１９）。ここでは、記録メディア２０を初期化した後等における初めての動画撮影であり、録画情報２００が１回分しか記録されていないため（ステップＳＡ１９でＮＯ）、そのまま動画撮影処理を終了する。なお、規定回数以上の録画情報が記録されていた場合の処理については後述する。

一方、２回目以後の動画撮影が開始されたときには、前述した図５の事前処理において、記録メディア２０には前回の録画情報２００が記録されているため（ステップＳＡ１０１でＹＥＳ）、まず記録メディア２０から前回の録画情報２００を読み込み（ステップＳＡ１０２）、前回の処理時間情報が「範囲外」であるか否か、つまり前回の動画撮影時に記録メディア２０ヘの画像データの書き込みに遅れが生じたか否かを確認する（ステップＳＡ１０３）。このとき処理時間情報が「範囲内」であって、遅れが生じていなければ（ステップＳＡ１０３でＮＯ）、直ちに事前処理を終了し、図３の前述したステップＳＡ２以降の処理によって新たな動画像を記録する。

また、前回の処理時間情報が「範囲外」であったときには、今回の動画記録時の録画パラメータにおけるフレームレート、ビットレートの値を、処理時間情報と対応して記録されている前回設定されていたフレームレート、ビットレートを、対応して記録されている超過割合に応じた分だけ下げた値に設定する、つまり動画像の画質（フレームレート、画像サイズ、圧縮率等）を記録メディア２０におけるデータの書き込み性能に応じて低下させる設定を行う（ステップＳＡ１０４）。例えば、図７に示したように、前回（１回目）の超過割合が２０％であって、フレームレートが１５ｆｐｓ、ビットレートが１００Ｋバイトであったときには、下げる割合を８０％として、フレームレートを１２ｆｐｓ、ビットレートを８０Ｋバイトに設定する。しかる後、事前処理を終了し、図３の前述したステップＳＡ２以降の処理を実行する。これにより、２回目の動画撮影時においては、記録メディア２０ヘの画像データの書き込みに遅れを生じさせることなく、つまりいずれかのフレームで前回の画像データを使用する処理（ステップＳＡ１２の処理）を行うことによる部分的な画質低下を生じさせることなく、撮影が終了するまで均一な画質で動画像を記録（ストリーム録画）することができる。

他方、以上の処理より動画撮影が複数回行われると、記録メディア２０内の所定領域には、図７に示したように撮影回数分の録画情報２００が蓄積される。そして、いずれかの動画撮影の終了時において、前記汎用作業領域１４ｂに記憶されている処理時間情報が「範囲外」であり（ステップＳＡ１３でＹＥＳ）、しかも記録メディア２０の所定領域に記録されている録画情報２００の数が、その回の分を含めて規定回数（１００回）以上に記録されているときには（ステップＳＡ１９でＹＥＳ）、録画情報２００に基づき平均書込み速度の劣化度合、つまり記録メディア２０におけるデータの書き込み性能の劣化度合を算出する（ステップＳＡ２０）。具体的には、今回よりも１００回以上前に保存されている、処理時間情報が「範囲外」である最も古い平均書込み速度に対する、ステップＳＡ１６において算出した今回の平均書込み速度の割合（パーセント）を劣化度合として、
劣化度合 ＝ 最も古い平均書込み速度 ÷ 今回の平均書込み速度 ×１００
により求める。

そして、算出した劣化度合が規定以上でなければ（ステップＳＡ２１でＮＯ）、そのまま動画撮影処理を終了し、劣化度合が規定以上であったときには（ステップＳＡ２１でＹＥＳ）、記録メディアの初期化を促すメッセージをＬＣＤ１２に表示した後（ステップＳＡ２２）、動画撮影処理を終了する。例えば、記録メディア２０に記録されている録画情報が図７に示した内容で、かつ上記規定の劣化度合が８０パーセントであるとき、１０３回目である今回は、処理時間情報が「範囲外」であり、かつ平均書込み速度が６３Ｋバイト／ｓであり、１回目の８３Ｋバイト／ｓに対する劣化度合は７５パーセントであるため、記録メディア２０の初期化を促すメッセージをＬＣＤ１２に表示させることとなる。

これにより、記録メディア２０としてフラッシュメモリ等のディバイスを用いる場合に、使用期間の経過に伴い記録する画像データの断片化によってデータの書き込み性能が一定以上劣化した場合には、それをユーザーに認識させることができる。したがって、記録メディア２０の初期化を実行させることにより、記録可能な動画像の品質を、できるだけ記録メディア２０が有する本来のデータの書き込み性能に応じた画質に維持することが可能となる。

なお、本実施の形態では、動画撮影時に、記録メディア２０に対する画像データの書込み処理に遅れが生じたときには、今回のフレームの画像データに代えて前回のフレームの画像データを使用することにより、記録メディア２０へ対するデータの書込み量を減らすようにしたが（ステップＳＡ１２）、その時点で動画撮影を中止させるようにしてもよい。その場合であっても、次回の動画撮影時には、撮影が終了するまで均一な画質で動画像を記録（ストリーム録画）することができる。但し、動画撮影処理を終了する前に前述したステップＳＡ１４〜ＳＡ１８における録画情報２００の記録処理を実施する必要がある。

また、動画撮影時に、記録メディア２０に対する画像データの書込み処理に遅れが生じ、次回の動画撮影におけるフレームレートとビットレートを下げる際、それらを、遅れが生じたときの書込み時間の、書込み許容時間に対する超過割合に応じた分だけ下げるようにしたが、フレームレートとビットレートとを超過割合に関係なく、予め決めておいた規定の割合だけ下げるようにしてもよい。但し、本実施の形態のようにした方が、フレームレートとビットレートの下げ幅を必要最小限に止めることができ、次回の動画撮影時に、より高品質の動画像を記録することができる。

また、本実施の形態では、記録メディア２０を本発明の情報記憶手段、速度履歴記録手段として機能させ、動画撮影を行う毎に取得した複数の録画情報２００を履歴情報として記録メディア２０に保存しておくようにしたが、上記のように次回の動画撮影におけるフレームレートとビットレートを予め決めておいた規定の割合だけ下げるものとし、またユーザーに記録メディア２０の初期化を促すための処理を行わない場合には、前回の動画撮影時における録画情報２００だけを記録メディア２０に保存するだけでもよい。

また、録画情報２００は記録メディア２０ではなくカメラ本体側（例えばプログラムメモリ１９）に記録するようにしてもよい。その場合には、録画情報２００を、記録メディア２０を識別するための識別情報と共に、互いに対応づけて記憶しておき、使用する記録メディア２０（識別情報）に対応する録画情報を読み出して使用する必要がある。

（実施形態２）
次に、本発明の第２の実施の形態について説明する。本実施の形態は、第１の実施の形態で図１に示したものと同様の構成を備えたデジタルカメラにおいて、前記内蔵メモリ１４に、図８に示したように画像データ用作業領域１４ａおよび汎用作業領域１４ｂとは別に、先に説明したリングバッファとして使用されるリングバッファ領域（例えば６０秒分程度の動画データが記録可能なサイズ領域）１４ｃが割り当てられており、内蔵メモリ１４が本発明のバッファメモリとして機能するとともに、前記プログラムメモリ１９には、ＣＰＵ１３に後述する動画撮影処理を行わせることにより、ＣＰＵ１３を本発明の動画像記録手段、判断手段、画質設定手段、制御手段として機能させるためのプログラムが記録されているものである。

以下、本実施の形態の本発明に係る動作を説明する。図９は、動画撮影モードにおいて、シャッターボタンによる撮影開始操作に応じＣＰＵ１３が実行する動画撮影処理の内容を示すフローチャートである。なお、ここでも、記録メディア２０の使用開始後、または初期化後において初めて動画撮影モードが設定されたものとする。

ＣＰＵ１３は、撮影開始操作があると直ちに図１０に示した事前処理に移行し（ステップＳＢ１）、記録メディア２０に後述する録画情報が記録されているか否かを確認する（ステップＳＢ１０１）。ここでは、記録メディア２０に一度も動画記録が行われておらず録画情報は存在しないため（ステップＳＢ１０１でＮＯ）、そのまま図９の処理に戻り、そのときユーザーにより設定されているフレームレート、画像サイズ、圧縮率に応じた動画記録処理（ストリーム録画）を開始する。撮影開始直後の撮像タイミングでは、内蔵メモリ１４のリングバッファ領域１４ｃには空きが有るため（ステップＳＢ２，ＳＢ３が共にＹＥＳ）、直ちにＣＣＤ３による撮像処理を実施する（ステップＳＢ４）。引き続き、撮像した１フレーム目の画像データを圧縮符号化した後（ステップＳＢ５）、圧縮符号化した画像データをリングバッファ領域１４ｃに記憶する（ステップＳＢ６）。

その後、撮影終了操作があるまでの間は（ステップＳＢ７でＮＯ）、新たな撮影タイミングが到来する毎に撮像処理、圧縮符号化、前記リングバッファ領域１４ｃへのデータ記憶を繰り返す（ステップＳＢ４〜ＳＢ６）。なお、その間には、リングバッファ領域１４ｃに記憶した画像データを、記憶順に読み出して記録メディア２０に随時記録し、かつ記録が終了した動画データをリングバッファ領域１４ｃから消去する処理（上書きを許可する処理）を並行して行う（図示せず）。

また、上記処理を繰り返す間に、いずれかの撮影タイミングが到来したとき、リングバッファ領域１４ｃに次の画像データを記憶するのに十分な空きがなかった場合には（ステップＳＢ３でＮＯ）、リングバッファ状態として「一杯」を、またその時点で記録メディア２０に書込み済みのデータ量をそれぞれバッファ（汎用作業領域１４ｂ）に暫定的に記憶する（ステップＳＢ８）。なお、前記汎用作業領域１４ｂには、予めリングバッファ状態として「空き有り」が記憶されているものとする。さらに、今回のフレームの画像データに代えて前回のフレームの画像データを使用するための処理を実施することにより、記録メディア２０に対するデータの書込み量を減らし（ステップＳＢ９）、ステップＳＢ２へ戻る。

やがて、ユーザーによる撮影終了操作又は記録メディア２０のフル状態の検出があったら（ステップＳＢ７でＹＥＳ）、バッファメモリに記憶されているリングバッファ状態、及び書込み済みデータ量と、撮影時のフレームレート及びビットレートとからなる録画情報３００（図１１参照）として記録メディア２０の所定領域に記録した後（ステップＳＢ１０）、動画撮影処理を終了する。

一方、２回目以後の動画撮影が開始されたときには、前述した図１０の事前処理において、記録メディア２０に録画情報が記録されているため（ステップＳＢ１０１でＹＥＳ）、まず記録メディア２０から録画情報を読み込み（ステップＳＢ１０２）、リングバッファ状態が「一杯」であるか否かを確認する（ステップＳＢ１０３）。このときリングバッファ状態が「空き有り」であれば（ステップＳＢ１０３でＮＯ）、直ちに事前処理を終了し、図９の前述したステップＳＢ２以降の処理によって新たな動画像を記録する。

逆に、録画情報３００が図１１に示したような内容であって、リングバッファ状態が「一杯」であったときには、今回の動画記録時の録画パラメータにおけるフレームレート、ビットレートの値として、リングバッファ状態と共に記録されている書込み済みデータ量とリングバッファの容量の比率に合わせて、前回設定されていたフレームレート、ビットレートを下げた値に設定する、つまり動画像の画質を記録メディア２０におけるデータの書き込み性能に応じて低下させる設定を行う（ステップＳＢ１０４）。

例えば、図示した例では、前回設定されていたフレームレートが１５ｆｐｓ、ビットレートが１００Ｋバイト、書込み済みデータ量が４８０００Ｋバイトであるため、仮にリングバッファの容量が６０００Ｋバイトであれば（比率が８：１）、下げる割合を８０％として、フレームレートを１２ｆｐｓ、ビットレート（画像サイズ、圧縮率）を８０Ｋバイトに設定する。しかる後、事前処理を終了し、図９の前述したステップＳＢ２以降の処理を実行する。これにより、２回目の動画撮影時においては、動画撮影途中にリングバッファに溢れが生じることなく、つまりいずれかのフレームで前回の画像データを使用する処理（ステップＳＢ９の処理）を行うことによる部分的な画質低下を生じさせることなく、撮影が終了するまで均一な画質で動画像を記録（ストリーム録画）することができる。

なお、本実施の形態では、動画撮影時に、リングバッファが一杯となったときには、今回のフレームの画像データに代えて前回のフレームの画像データを使用することにより、記録メディア２０に対するデータの書込み量を減らすようにしたが（ステップＳＢ９）、その時点で動画撮影を中止させるようにしてもよい。その場合であっても、次回の動画撮影時には、撮影が終了するまで均一な画質（フレームレート、画像サイズ、圧縮率）で動画像を記録（ストリーム録画）することができる。但し、動画撮影処理を終了する前に前述したステップＳＢ１０における録画情報３００の記録処理を実施する必要がある。

また、動画撮影途中にリングバッファが一杯となり、次回の動画撮影におけるフレームレートとビットレートを下げる際、それらを、リングバッファ領域１４ｃの容量と、リングバッファが一杯となった時の書込み済みデータ量との比率に合わせて下げるようにしたが、フレームレートとビットレートとを上記比率に関係なく、予め決めておいた規定の割合だけ下げるようにしてもよい。その場合、前述した書込み済みデータ量の記録は当然不要となる。但し、本実施の形態のようにした方が、フレームレートとビットレートの下げ幅を必要最小限に止めることができ、次回の動画撮影時に、より高品質の動画像を記録することができる。

また、本実施の形態においても、記録メディア２０を本発明の情報記憶手段として機能させ、録画情報３００を記録メディア２０に記録するようにしたが、記録メディア２０ではなくカメラ本体側（例えばプログラムメモリ１９）に記録するようにしてもよい。その場合には、録画情報を、記録メディア２０を特定する識別情報と共に、互いに対応づけて記憶しておき、使用する記録メディア２０（識別情報）に対応する録画情報を読み出して使用する必要がある。

また、本実施の形態においては、記録メディア２０におけるデータの書き込み性能が一定以上劣化した場合に、記録メディアの初期化を促すメッセージを表示するといった動作は行わないようにしたが、本実施の形態においても、第１の実施の形態のようにそれを実施するようにしてもよい。但し、その場合には、第１の実施の形態と同様に、動画像の記録を行っている間に画像データの書込み時間を計測するとともに、撮影毎に平均書込み速度を履歴情報として記憶しておき、それに基づき記録メディア２０におけるデータの書き込み性能が一定以上劣化したか否かを判断する処理が別途必要となる。

また、本実施の形態においては、記録メディア２０へ書込む以前にリングバッファ領域１４ｃに一時的に記憶しておく画像データを、圧縮符号化した後の画像データとしたが、圧縮前のＹＵＶデータ又はベイヤデータをリングバッファ領域１４ｃに記憶するようにしてもよい。

また、前述したステップＳＢ３においては、リングバッファ領域１４ｃに次の画像データを記憶するのに十分な空きがなかった場合にリングバッファ状態が「一杯」であると判断するようにしたが、例えばリングバッファ領域１４ｃの空き容量が所定量よりも低下していたとき、バッファメモリが一杯になったと判断するようにしてもよい。つまり、バッファメモリが一杯になったか否かの判断は、リングバッファ領域１４ｃにおける画像データの書き込み位置と読み出し位置とが所定の関係になったか否かによって行えばよい。

また、前回設定されていたフレームレート、ビットレートを下げる割合についても、リングバッファ領域１４ｃにおける画像データの書き込み位置と読み出し位置とが所定の関係になった時点において、記録メディア２０に未だ書込まれずにリングバッファ領域１４ｃに残存する画像データの合計サイズと、記録メディア２０に書込みが完了している画像データの合計サイズとの比率に応じた割合とすればよい。

また、第１の実施の形態では、いずれかの撮像タイミングが到来した時点で記録メディア２０に対する前のフレームの画像データの書込み処理が終了していない場合に、次回の動画撮影において記録する動画像の画質を下げるように、次回使用される録画パラメータ（フレームレート、画像サイズ、圧縮率）の値を下げ、また第２の実施の形態では、いずれかの撮像タイミングが到来した時点でリングバッファ状態が「一杯」であった場合に、次回使用される録画パラメータの値を下げるようにしたが、以下のようにしてもよい。

例えば、録画情報として、次回の動画撮影において使用される録画パラメータ（フレームレート、画像サイズ、圧縮率）を記録メディア２０等へ記録しておき、次回の動画撮影時には、予め記録されている録画パラメータを使用した動画撮影を行うようにしてもよい。

また、単純に録画情報として、動画撮影中に、いずれかの撮像タイミングが到来した時点で記録メディア２０に対する前のフレームの画像データの書込み処理が終了していない状況や、リングバッファ状態が「一杯」となる状況が発生したことを示すフラグ情報を記録しておき、係るフラグ情報から上記状況が発生したか否かを判断し、それが発生した場合に、次回使用される録画パラメータ（フレームレート、画像サイズ、圧縮率）の値を下げるための処理を行わせるようにしてもよい。

また、以上の説明においては、本発明を、動画撮影機能を備えたデジタルカメラに採用した場合について説明したが、これに限らず本発明は、録画時に動画をストリーム記録する構成を備えたものであれば、例えばデジタルビデオカメラ、カメラ付き携帯電話機、カメラ付きＰＤＡ、カメラ付きパソコン等の種々の電子カメラ装置にも採用することができる。その場合においても、前述した効果を得ることができる。

さらに、任意の形式で圧縮して記録する動画像は撮影されたものでなくとも、例えばアナログのテレビ放送の放送画像やビデオ入力端子から入力された動画像であってもよく、また、その場合を含め、動画を記録する記録媒体は半導体メモリに限らずハードディスク等であってもかまわない。

１ カメラ本体
２ 光学系
３ ＣＣＤ
１２ ＬＣＤ
１３ ＣＰＵ
１４ 内蔵メモリ
１４ａ 画像データ用作業領域
１４ｂ 汎用作業領域
１４ｃ リングバッファ領域
１７ 内蔵スピーカ
１８ キー入力ブロック
１９ プログラムメモリ
２０ 記録メディア
２００ 録画情報
３００ 録画情報

Claims (9)

1. 動画像を構成する画像データを所定のフレーム周期で画像処理しながら記録媒体に順次記録する動画像記録手段と、
   この動画像記録手段による前記記録媒体への画像処理後の画像データの書込み処理に、動画像の正常な記録を阻害する遅れが生じたか否かを判断する判断手段と、
   この判断手段により前記遅れが生じたと判断された場合に、その旨を示す情報を前記記録媒体の所定領域に記録する情報記録手段と、
   前記記録媒体の所定領域に、前記遅れが生じた旨を示す情報が記録されているか否かを判別する判別手段と、
   この判別手段により前記遅れが生じた旨を示す情報が記録されていると判別された場合に、前記動画像記録手段による前記記録媒体への次回の記録動作で記録される動画像の画質を、前回の記録動作での動画像の画質よりも低い画質に設定する画質設定手段と
   を備えたことを特徴とする動画像記録装置。
2. 前記情報記録手段は、前記判断手段により遅れが生じたと判断されたときに前記動画像記録手段により記録媒体に順次記録されている動画像の画質を示す画質情報を前記記録媒体の所定領域に記録し、
   前記画質設定手段は、前記動画像記録手段による前記記録媒体への次回の記録動作で記録される動画像の画質を、前記記録媒体の所定領域に記録されている画質情報により示される画質よりも所定の割合だけ低い画質に設定することを特徴とする請求項１記載の動画像記録装置。
3. 前記動画像記録手段により画像処理後の画像データが前記記録媒体へ記録されるときの所要時間を計測する計測手段を備え、
   前記画質設定手段は、前記動画像記録手段による次回の記録動作で記録される動画像の画質を、前記判断手段により前記遅れが生じたと判断されたときの動画像の記録途中において前記計測手段により計測された所要時間における、前記画像処理後の画像データの記録に許容されていた時間に対する超過割合に応じた割合だけ低下した画質に設定することを特徴とする請求項２記載の動画像記録装置。
4. 前記記録媒体に記録する複数フレーム分の画像処理後の画像データを一時記憶するバッファメモリを備え、
   前記判断手段は、前記バッファメモリにおける画像データの書き込み位置と読み出し位置とが所定の関係となったとき前記遅れが生じたと判断し、
   前記画質設定手段は、前記動画像記録手段による次回の記録動作で記録される動画像の画質を、前記判断手段により前記遅れが生じたと判断された時点で前記バッファメモリに記録されている前記記録媒体に未記録の画像データの合計サイズと、前記記録媒体に記録済みの画像データの合計サイズとの比率に応じた割合だけ低下した画質に設定することを特徴とする請求項１記載の動画像記録装置。
5. 前記記録媒体に記録する複数フレーム分の画像処理後の画像データを一時記憶するバッファメモリを備え、
   前記判断手段は、前記バッファメモリにおける画像データの書き込み位置と読み出し位置とが所定の関係となったとき前記遅れが生じたと判断し、
   前記画質設定手段は、前記動画像記録手段による次回の記録動作で記録される動画像の画質を、前記判断手段により前記遅れが生じたと判断された時点で前記記録媒体に書込み済みのデータ量と、前記バッファメモリの容量との比率に応じた割合だけ低下した画質に設定することを特徴とする請求項１記載の動画像記録装置。
6. 前記動画像記録手段により画像処理後の画像データが前記記録媒体へ記録されるときの所要時間を計測する計測手段と、
   前記動画像記録手段による動画像の記録途中に前記計測手段により計測された所要時間の合計、及び前記記録媒体に記録された全画像データの合計サイズから、前記記録媒体へのデータの平均書込み速度を算出する速度算出手段と、
   前記動画像記録手段により新たな動画像が前記記録媒体へ記録される毎に前記算出手段により算出された平均書込み速度を履歴情報として記憶する速度履歴記憶手段と、
   この速度履歴記憶手段に記憶されている履歴情報に基づき、所定期間における前記平均書込み速度の劣化度合を取得する取得手段と、
   この取得手段により取得された劣化度合が決められた劣化度合を超えた旨を報知する報知手段と
   を備えたことを特徴とする請求項１，２，４，５いずれかに記載の動画像記録装置。
7. 動画像を構成する画像データを所定のフレーム周期で画像処理しながら記録媒体に順次記録する動画像記録方法において、
   前記記録媒体への画像処理後の画像データの書込み処理に、動画像の正常な記録を阻害する遅れが生じたか否かを判断する工程と、
   前記遅れが生じたと判断された場合に、その旨を示す情報を前記記録媒体の所定領域に記録する工程と、
   前記記録媒体の所定領域に、前記遅れが生じた旨を示す情報が記録されているか否かを判別する工程と、
   前記遅れが生じた旨を示す情報が記録されていると判別された場合に、前記記録媒体への次回の動画像の記録動作に先立ち、記録する動画像の画質を、前回の記録動作での動画像の画質よりも低い画質に設定する工程と
   を含むことを特徴とする動画像記録方法。
8. 動画像を構成する画像データを所定のフレーム周期で画像処理しながら記録媒体に順次記録する動画像記録装置が有するコンピュータを、
   動画像を構成する画像データを所定のフレーム周期で画像処理しながら記録媒体に順次記録する動画像記録手段と、
   この動画像記録手段による前記記録媒体への画像処理後の画像データの書込み処理に、動画像の正常な記録を阻害する遅れが生じたか否かを判断する判断手段と、
   この判断手段により前記遅れが生じたと判断された場合に、その旨を示す情報を前記記録媒体の所定領域に記録する情報記録手段と、
   前記記録媒体の所定領域に、前記遅れが生じた旨を示す情報が記録されているか否かを判別する判別手段と、
   この判別手段により前記遅れが生じた旨を示す情報が記録されていると判別された場合に、前記動画像記録手段による前記記録媒体への次回の記録動作で記録される動画像の画質を、前回の記録動作での動画像の画質よりも低い画質に設定する画質設定手段と
   して機能させるためのプログラム。
9. 撮像手段により所定のフレーム周期で撮像された、動画像を構成する画像データを前記所定のフレーム周期で圧縮しながら着脱自在な記録媒体に順次記録する動画撮影機能を備えた電子カメラ装置において、
   動画像を構成する画像データを所定のフレーム周期で画像処理しながら記録媒体に順次記録する動画像記録手段と、
   この動画像記録手段による前記記録媒体への画像処理後の画像データの書込み処理に、動画像の正常な記録を阻害する遅れが生じたか否かを判断する判断手段と、
   この判断手段により前記遅れが生じたと判断された場合に、その旨を示す情報を前記記録媒体の所定領域に記録する情報記録手段と、
   前記記録媒体の所定領域に、前記遅れが生じた旨を示す情報が記録されているか否かを判別する判別手段と、
   この判別手段により前記遅れが生じた旨を示す情報が記録されていると判別された場合に、前記動画像記録手段による前記記録媒体への次回の記録動作で記録される動画像の画質を、前回の記録動作での動画像の画質よりも低い画質に設定する画質設定手段と
   を備えたことを特徴とする電子カメラ装置。

Images