JP2009130561A - 撮像装置、撮像装置の制御方法および撮像装置の制御プログラム - Google Patents

Abstract

【課題】動画記録中に静止画を記録する場合において、静止画像データに発生したデータの欠落を修復することができるようにする。
【解決手段】動画の記録中に静止画を記録する場合において、例えば静止画の記録指示に応じて撮像信号をメモリに格納する際に、メモリ帯域が確保できずにデータ転送に破綻が生じ、静止画１００において画像データが欠損した破綻箇所１０１が発生しているものとする。静止画１００の破綻箇所１０１を、対応する動画像を参照して復元する。静止画１００と撮像タイミングが対応する動画のフレームＮを参照し、このフレームＮの、静止画１００における破綻箇所１０１に対応する領域のデータ１０２を静止画１００の破綻箇所１０１に所定に適用させて（データ１０２’）、静止画１００の復元を行う。
【選択図】図１

Description

この発明は、動画像と静止画像とを記録可能な撮像装置、撮像装置の制御方法および撮像装置の制御プログラムに関し、特に、動画像を記録しながら静止画像を記録する構成に関する。

近年では、動画記録を行う撮像装置において、動画の記録中に動画記録を停止することなく静止画の記録を行うようにした製品が開発されている。このような動画記録中に静止画記録を行う記録方式においては、撮像素子から出力される撮像信号をそのまま用いたＲＡＷデータをリアルタイムで圧縮符号化して一旦メモリに格納し、後に、メモリから圧縮符号化されたＲＡＷデータを読み出して復号して伸長し、静止画像に対する所定の画像処理を施して記録媒体に記録する。

動画データに対する処理は、この静止画データに対する処理と並列的に行われることになる。すなわち、動画データは、タイミングジェネレータから出力されるタイミング信号に基づきフレームタイミング毎に出力され、所定に圧縮符号化されてメモリに一旦格納される。メモリに格納された圧縮動画データは、例えば記録媒体の記録単位毎に読み出され、記録媒体に記録される。

ところで、静止画記録において、ＲＡＷデータに対して圧縮符号化処理を施す際に、圧縮効率を高めるために可変長符号化を用いる場合がある。動画記録中に静止画記録を行うので、ＲＡＷデータの圧縮符号化をリアルタイムで行う必要があり、可変長符号化は、１パス処理で行われる。この場合、ＲＡＷデータの圧縮符号化処理は、リトライが不可能となり、対象となる静止画像の絵柄によって圧縮率に大きな変動が発生する。一方、メモリは、上述のように動画データの処理と共用される。そのため、静止画像の圧縮率の変動に応じてメモリ帯域の確保が困難になり、処理が破綻する可能性がある。

ここで、動画の記録を主に処理している撮像装置であれば、静止画記録によりメモリ帯域の確保が困難になり処理が破綻しそうな場合には、動画記録の処理を優先させ、静止画記録の処理を犠牲にしても、動画記録の処理を絶対に中断しないようにする。例えば、メモリ帯域の確保が困難になり処理が破綻しそうになったら、静止画記録を停止し、次のフレームタイミングで再度、静止画の記録を試みる方法が考えられる。この場合には、撮影者が意図した撮影タイミングと記録される静止画像のタイミングとの間にずれが生じ、シャッタチャンスを逃すことになってしまう。

そのため、処理が破綻しそうな場合には、静止画像の圧縮符号化処理を一旦停止し、メモリ帯域に余裕が生じて破綻が回復するのを待つようにすることが考えられる。静止画の圧縮処理を停止した後に圧縮処理を再開すれば、静止画データの記録は、可能となる。しかしながら、このデータは、一時的に可変長符号化による圧縮符号化が停止されているため、復号した場合に正しいデータが得られない可能性がある。例えば、可変長符号を用いて圧縮符号化されたデータにおいて、可変長符号が途中で途切れた場合、その可変長符号の先頭から、次に先頭が検出される可変長符号までの間のデータが欠落することになる。

このように、符号化された画像データの復号時にエラーデータを救済する方法としては、特許文献１に記載されるように、動画データに対してエラー時に直前の画像を出力する方法や、特許文献２に記載されるように、復号時に欠落した画像データを周囲の正常な画像データで補間する方法などが考えられる。
特開２００５−２２９３９５号公報 特開平８−３２１９４４号公報

ところが、静止画記録の場合、記録される画像データが１枚であることが想定されるので、特許文献１に記載される、直前の画像を出力する方法は、適用できないという問題点があった。

また、特許文献２に記載の方法は、例えばデータの欠落部が連続的となっているなど補間すべき領域が広い場合には、補間に用いるための正常な画素が補間対象の画素の近傍に存在しないということが考えられる。この場合には、補間後の画像は、著しく画質が低下したものになってしまう可能性があるという問題点があった。

したがって、この発明の目的は、動画記録中に静止画を記録する場合において、静止画像データに発生したデータの欠落を修復することができるようにした撮像装置、撮像装置の制御方法および撮像装置の制御プログラムを提供することにある。

この発明は、上述した課題を解決するために、動画データの記録と並列的に静止画データの記録を行うことができるようにした撮像装置において、被写体からの光を電気信号に変換して撮像信号としてフレームタイミングで出力する撮像部と、撮像部から出力された撮像信号を動画としてフレームタイミング毎に連続的に処理する動画処理部と、撮像部から出力された撮像信号を、任意のタイミングで供給される撮像指示に応じてフレームタイミングで静止画として処理する静止画処理部と、静止画の欠損箇所を静止画にフレームタイミングが対応する動画のフレームを用いて復元する画像復元部とを有することを特徴とする撮像装置である。

また、この発明は、動画データの記録と並列的に静止画データの記録を行うことができるようにした撮像装置の制御方法において、被写体からの光を電気信号に変換してフレームタイミングで撮像部から出力される撮像信号を動画としてフレームタイミング毎に連続的に処理する動画処理のステップと、撮像部から出力される撮像信号を、任意のタイミングで供給される撮像指示に応じてフレームタイミングで静止画として処理する静止画処理のステップと、静止画の欠損箇所を静止画にフレームタイミングが対応する動画のフレームを用いて復元する画像復元のステップとを有することを特徴とする撮像装置の制御方法である。

また、この発明は、動画データの記録と並列的に静止画データの記録を行うことができるようにした撮像装置の制御方法をコンピュータに実行させる撮像制御プログラムにおいて、被写体からの光を電気信号に変換してフレームタイミングで撮像部から出力される撮像信号を動画としてフレームタイミング毎に連続的に処理する動画処理のステップと、撮像部から出力される撮像信号を、任意のタイミングで供給される撮像指示に応じてフレームタイミングで静止画として処理する静止画処理のステップと、静止画の欠損箇所を静止画にフレームタイミングが対応する動画のフレームを用いて復元する画像復元のステップとを有する撮像装置の制御方法をコンピュータに実行させることを特徴とする撮像制御プログラムである。

上述したように、この発明は、被写体からの光を電気信号に変換してフレームタイミングで撮像部から出力される撮像信号を動画としてフレームタイミング毎に連続的に処理すると共に、撮像部から出力される撮像信号を、任意のタイミングで供給される撮像指示に応じてフレームタイミングで静止画として処理するようにされ、静止画の欠損箇所を静止画にフレームタイミングが対応する動画のフレームを用いて復元するようにしているので、動画を記録中に静止画を記録する場合に、静止画に欠損部分が発生しても欠損部分の復元が可能となる。

この発明は、上述したように、被写体からの光を電気信号に変換してフレームタイミングで撮像部から出力される撮像信号を動画としてフレームタイミング毎に連続的に処理すると共に、撮像部から出力される撮像信号を、任意のタイミングで供給される撮像指示に応じてフレームタイミングで静止画として処理するようにされ、静止画の欠損箇所を静止画にフレームタイミングが対応する動画のフレームを用いて復元するようにしているので、動画を記録中に静止画を記録する場合に、静止画に欠損部分が発生しても欠損部分の復元が可能となる効果がある。

以下、この発明の実施の一形態を、図面を参照しながら説明する。図１を用いて、この発明の概念について説明する。例えば、動画像を記録中に静止画の記録が指示され、動画像のフレームＮのタイミングで静止画が取り込まれる場合について考える。静止画の記録指示に応じて撮像信号をメモリに格納する際に、メモリ帯域が確保できずにデータ転送に破綻が生じ、図１Ａに例示されるように、静止画１００において画像データが欠損した破綻箇所１０１が発生している。この発明では、静止画１００の破綻箇所１０１を、対応する動画像を参照して復元する。

一例として、図１Ｂに例示されるように、静止画１００と撮像タイミングが対応する動画のフレームＮを参照し、このフレームＮの、静止画１００における破綻箇所１０１に対応する領域のデータを用いて、静止画１００の修復を行う。例えば、静止画の記録時に、破綻に対応する位置を示す情報を記憶しておく。そして、当該静止画１００の再生時に、記録時において静止画１００と取り込みタイミングが対応する動画のフレームＮの画像を参照し、記憶された破綻位置情報に基づきこのフレームＮの画像の対応する位置のデータ１０２を取得する。この取得されたデータを、静止画１００の破綻箇所１０１に所定に適用させて（データ１０２’）、静止画１００の復元を行う。

図２は、この発明の実施の一形態に適用可能な撮像装置１の一例の構成を示す。この撮像装置１は、光学系１０を介して入射された光を撮像素子１１で受光して電気信号に変換して撮像信号とし、この撮像信号を信号処理部２０で、信号処理部２０に接続される外部メモリであるＲＡＭ３５を用いて所定に処理して記録媒体３７に記録する。撮像装置１は、撮像信号を、動画データとして記録媒体３７に記録すると共に、撮影指示に応じたタイミングで取り込まれた静止画データとしても、記録媒体３７に記録することができるようにされている。

なお、以下では、簡単のために、撮像素子１１の有効画素数を水平２５６０画素、垂直１９２０画素とする。動画は、水平および垂直方向をそれぞれ１／４に縮小した水平６４０画素、垂直４８０画素を画枠とし、静止画は、撮像素子１１の有効画素をそのまま用いて、画枠を水平２５６０画素、垂直１９２０画素とする。

光学系１０は、レンズ系、絞り機構、フォーカス機構ズーム機構などを有し、後述するＣＰＵ(Central Processing Unit)３０の命令に基づく駆動部１３の制御やマニュアル操作などにより、絞りやフォーカス、ズームなどが制御されるようになっている。被写体からの光が光学系１０を介して撮像素子１１に入射される。撮像素子１１は、例えばＣＣＤ(Charge Coupled Device)からなり、入射された光を光電変換により電気信号に変換し、撮像信号としてライン順次で出力する。なお、撮像素子１１は、ＣＣＤに限らず、例えばＣＭＯＳ(Complementary Metal-Oxide Semiconductor)イメージャを用いてもよい。

フロントエンド（Ｆ／Ｅ）部１２は、例えばノイズ抑圧部、自動利得制御部およびＡ／Ｄ変換部を有し、撮像素子１１からアナログ信号として出力された撮像信号に対し、ノイズ抑圧部で例えば相関二重サンプリング処理を施してノイズを抑圧し、自動利得制御部でゲインを制御する。そして、Ａ／Ｄ変換部でディジタル撮像信号に変換して出力する。このディジタル撮像信号は、撮像素子１１の各画素それぞれに直接的に対応するデータからなるＲＡＷデータである。

なお、後述するタイミングジェネレータ１４により出力されるタイミング信号（クロックパルス）に基づき、撮像素子１１が、例えばフレームタイミング毎に光電変換が行われ撮像信号が出力されるように制御されると共に、フロントエンド部１２が、フレームタイミングに同期して処理が行われるように制御される。

信号処理部２０は、カメラ信号処理部２２、拡張画像処理部２３、解像度変換部２４、静止画コーデック（ＣＯＤＥＣ）部２５、動画コーデック部２６、表示制御部２７、ＣＰＵ３０、外部インターフェイス（Ｉ／Ｆ）部３３、メモリコントローラ３４および記録再生制御部３６の各処理ブロックを含み、これら各処理ブロックがそれぞれバス２１を介して接続される。

カメラ信号処理部２２は、フロントエンド部１２から出力されたＲＡＷデータが入力される。カメラ信号処理部２２は、入力されたＲＡＷデータを所定に補正し、バッファメモリを利用して、クロックをセンサ駆動系のクロックから信号処理部２０の内部クロックに乗せ換える。クロックが乗せ換えられたＲＡＷデータは、後段の動画処理に適した形式のデータに変換される。

また、ＲＡＷデータは、静止画の記録を行う場合には、所定に圧縮符号化されバス２１にも送り出される。カメラ信号処理部２２は、バス２１を介して供給される圧縮符号化されたＲＡＷデータの圧縮符号を復号して伸長し、さらに後段の静止画処理に適した形式のデータに変換する。

カメラ信号処理部２２は、さらに、ベースバンドの動画データや静止画データを拡大および／または縮小し、動画データの記録や出力画像データとして必要な解像度（サイズ）に変換する。この例では、動画データの記録のためには、撮像素子１１の有効画素に従い解像度が２５６０画素×１９２０画素のデータを、解像度が６４０画素×４８０画素のデータに縮小する。静止画記録については、この例では、この段階での解像度の変換は行わない。このように解像度変換がなされたベースバンドの動画データや静止画データがカメラ信号処理部２２から出力される。

ここで、ベースバンドのデータとは、例えばアナログ信号がディジタル信号に変換されたデータであり、圧縮符号化や変調などの各種処理が施されていない状態のデータを指す。この例では、撮像素子１１から出力されたアナログ信号がフロントエンド部１２によってディジタル信号に変換されたディジタル撮像信号のことをベースバンドのデータと適宜称する。

拡張画像処理部２３は、例えば被写体認識処理や超高速連写など、拡張的な画像処理を行う。被写体認識処理は、例えば予め学習されたパターン辞書などを用いて、画像から顔らしき部分を抽出する。超高速連写は、通常の動画データのフレームレートの６０ｆｐｓ(frame per second)に対し、例えば２４０ｆｐｓといった非常に高いフレームレートで撮像素子１１における電荷読み出しおよび撮像信号の出力を行うものである。超高速連写機能では、通常の動画データに比べて高速のデータ転送能力が要求されるため、処理部を別途、設けることが好ましい。

解像度変換部２４は、ベースバンドの動画データや静止画データの解像度を、後述する表示装置２８に表示するのに適した解像度に変換したり、記録モードに応じた解像度に変換する処理を行う。

静止画コーデック部２５は、ベースバンドの静止画データに対する圧縮符号化処理と、圧縮符号化された静止画データに対する復号処理とを行う。圧縮符号化方式の種類は、特に問わないが、例えばＪＰＥＧ(Joint Photographic Experts Group)方式が適用される。すなわち、静止画コーデック部２５は、供給された静止画データのフレームを例えば８×８画素といった所定サイズの符号化ブロックに分割し、この符号化ブロック毎にＤＣＴを行う。そして、ＤＣＴにより得られたＤＣＴ係数を所定の量子化スケールで量子化する。量子化されたデータは、ハフマン符号化などの可変長符号化によりさらに圧縮されて出力される。静止画コーデック部２５による圧縮静止画データの復号処理は、圧縮符号化処理の逆の処理を以て行われる。

動画コーデック部２６は、ベースバンドの動画データに対する圧縮符号化処理と、圧縮符号化された動画データに対する復号処理とを行う。圧縮符号化方式の種類は特に問わないが、例えばＭＰＥＧ２(Moving Pictures Experts Group 2)方式や、ＩＴＵ−Ｔ(International Telecommunication Union-Telecommunication Standarization Sector)勧告Ｈ．２６４あるいはＩＳＯ(International Organization for Standarization)／ＩＥＣ(International Electrotechnical Commission)国際標準１４４９６−１０（ＭＰＥＧ−４パート１０）Advanced Video Coding（以下、Ｈ．２６４｜ＡＶＣと略称する）方式などを適用することができる。以下では、動画コーデック部２６は、圧縮符号化方式としてＭＰＥＧ２方式を適用するものとする。

動画コーデック部２６は、例えば、供給された動画データのフレームを例えば８×８画素といった所定サイズの符号化ブロックに分割し、この符号化ブロック毎にＤＣＴを行う。そして、ＤＣＴにより得られたＤＣＴ係数を所定の量子化スケールで量子化する。また、動画コーデック部２６は、供給された動画データについて、動き補償を用いた予測符号化によるフレーム間符号化も行う。フレーム内符号化およびフレーム間符号化を施されたデータは、ハフマン符号化などの可変長符号化によりさらに圧縮されて出力される。動画コーデック部２６による圧縮動画データの復号処理は、圧縮符号化処理の逆の処理を以て行われる。

表示制御部２７は、供給された画像データを表示装置２８に表示可能な形式の信号に変換する。表示装置２８は、例えばＬＣＤ(Liquid Crystal Display)からなり、撮像装置１におけるビューファインダとして用いられると共に、記録媒体３７から再生された画像のモニタとして用いられる。また、表示制御部２７は、後述するＣＰＵ３０から供給される命令に基づき、表示装置２８に文字や図形を表示させるための表示信号を生成する。表示信号に応じた表示も、表示装置２８に表示される。例えば、撮像装置１に対する各種設定を行うための設定画面や、撮像装置１の各種状態を示す表示、カーソル表示などが表示装置２８に所定に表示される。

ＣＰＵ３０に、ＲＯＭ(Read Only Memory)３１と入力デバイス３２とが接続される。ＣＰＵ３０は、図示されないＲＡＭ(Random Access Memory)をワークメモリとして用い、ＲＯＭ(Read Only Memory)３１に予め記憶されたプログラムに従いこの撮像装置１の全体の動作を制御する。

例えば、ＣＰＵ３０は、バス２１を介して信号処理部２０の各部とコマンドやデータのやりとりを行い、信号処理部２０の各部を制御する。また、ＣＰＵ３０は、上述した入力デバイス３２に対する操作に応じた制御信号や撮像信号などに基づき、光学系１０のフォーカス、絞り、ズームなどを制御するための制御信号を生成し、駆動部１３に供給する。駆動部１３は、供給された制御信号に応じて光学系１０の各部の制御を行う。また、ＣＰＵ３０は、タイミングジェネレータ１４に対して、所定のクロックパルスを出力するようにコマンドを出す。

タイミングジェネレータ１４は、ＣＰＵ３０から供給されたこのコマンドに応じて、例えばフレーム同期信号や水平同期信号、垂直同期信号をといった、撮像素子１１から出力された撮像信号に対する処理に必要なタイミング信号を生成する。

入力デバイス３２は、この撮像装置１を操作するために用いられる各種の操作子が設けられ、各操作子に対する操作に応じた制御信号を出力する。例えば、電源部３９による電源供給のＯＮ／ＯＦＦを切り替える電源キー、撮影モードや記録モードといった撮像装置１における動作モードを切り換えるモード切り換えキー、カーソル移動のためのキーなどが設けられる。さらに、入力デバイス３２には、この撮像装置１で静止画を撮影する際に用いられるシャッタボタンや、動画や静止画を撮影する際に光学系１０のフォーカス、絞り、ズームなどを操作するための操作子なども設けられる。

外部Ｉ／Ｆ３３は、この撮像装置１と外部の機器との間でのデータのやりとりを制御する。

メモリコントローラ３４に対して、ＲＡＭ３５が接続される。ＲＡＭ３５は、例えばメモリバスクロックに同期して動作するＳＤＲＡＭ(Synchronous Dynamic Random-Access Memory)であって、データの入出力を所定のデータ長（バースト長）単位でバースト転送により行うことができる。ＲＡＭ３５は、バス２１に接続される各部と共用して用いられる。メモリコントローラ３４は、このＲＡＭ３５に対するアクセス制御を行う。バス２１に接続される各処理ブロックにおいて、ＲＡＭ３５に対する転送要求が発生した場合には、バス２１からメモリコントローラ３４に対して転送要求が渡され、メモリコントローラ３４は、この転送要求に従いＲＡＭ３５へのアクセスを発生させる。

記録再生制御部３６は、記録媒体３７に対するデータの記録制御や、記録媒体３７に記録されたデータの再生制御を行う。記録媒体３７としては、例えば着脱可能な不揮発性メモリを用いることができる。また、記録媒体３７として記録可能なタイプの光ディスクを用いることもできる。さらに、着脱可能または撮像装置１に内蔵されるハードディスクを記録媒体３７として用いることもできる。勿論、記録媒体３７は、従来から動画データの記録に用いられる磁気テープを適用することも可能である。

図３は、カメラ信号処理部２２の一例の構成を示す。カメラ信号処理部２２は、ＲＡＷ補正部５０、スイッチ部５１、信号処理部５２および解像度変換部５３を有すると共に、ＲＡＷ圧縮部５４およびＲＡＷ伸長部５６、ならびに、バスＩ／Ｆ５５、５７および５８を有する。

バスＩ／Ｆ５５、５７および５８は、ＲＡＭ３５のデータを一時的に溜め込むことができるバッファメモリを有する。バスＩ／Ｆ５５、５７および５８は、このバッファメモリにバースト長分のデータが溜め込まれたら、バッファメモリからバースト長単位でデータを読み出しバス２１に送り出すことができるようにされている。また。バスＩ／Ｆ５５、５７および５８は、ＲＡＭ３５からバースト長単位で読み出されたデータを一時的にバッファに溜め込み、所定のタイミングで出力することができるようにされている。

ＲＡＷ補正部５０は、補正処理部５０Ａおよび同期乗り換え部５０Ｂを有する。補正処理部５０Ａは、供給されたＲＡＷデータに対して欠陥補正やレンズ補正などの各種補正処理を施すと共に、ＲＡＷデータの配列に対してデモザイク処理を施し、後段での補正処理や色変換処理に適したデータ配列に並び替える。

同期乗り換え部５０Ｂは、センサ駆動系のクロックをシステム系のクロックへの乗り換え処理を行う。すなわち、カメラ信号処理部２２に供給されるデータは、撮像素子１１の出力であって、撮像素子１１から電荷を読み出す際の駆動クロックに同期している。一方、カメラ信号処理部２２から出力されるデータは、信号処理部２０内部のクロックに同期している必要がある。同期乗り換え部５０Ｂは、バッファメモリを有し、センサ駆動系のクロックに従いバッファメモリに入力データを書き込んでいき、システム系のクロックに従いバッファメモリからデータを読み出す。バッファメモリからのデータ読み出しは、同期乗り換え部５０Ｂに供給される転送要求に応じて行われる。

信号処理部５２からの転送要求Ａに応じて、同期乗り換え部５０ＢのバッファメモリからＲＡＷデータが読み出され、スイッチ部５１の一方の端子５１Ａを介して信号処理部５２に供給される。信号処理部５２は、ＲＡＷデータを後段の処理に適した形式の画像信号に変換する。例えば、信号処理部５２は、ＲＡＷデータを輝度信号Ｙと色差信号Ｃｂ／ＣｒとからなるＹ／Ｃ信号に変換する。

信号処理部５２は、さらに、ＲＡＷデータが変換された画像信号に対してホワイトバランス処理、ガンマ補正処理、エッジ強調処理など所定の画質補正処理を施す。なお、一般的に、動画像と静止画像とでは、求められる画質が異なると考えられている。そこで、信号処理部５２は、例えばＣＰＵ３０の制御により、動画データに対する処理を行う場合と、静止画データに対する処理を行う場合とで、これらの画質補正処理を行う際のパラメータを切り替えることができるようにされている。

信号処理部５２で信号処理された画像信号は、解像度変換部５３で例えば動作モードに応じた解像度に解像度変換され、バスＩ／Ｆ５８からの転送要求Ｃに応じて、バスＩ／Ｆ５８を介してバス２１に送り出される。

信号処理部５２からの転送要求Ａは、バスＩ／Ｆ５７にも供給される。バスＩ／Ｆ５７は、この転送要求Ａに応じて所定のタイミングで、例えばバス２１を介してメモリコントローラ３４に対してＲＡＭ３５に格納される圧縮ＲＡＷデータの読み出しを要求し、この要求に応じてＲＡＭ３５から読み出され転送された圧縮ＲＡＷデータを、ＲＡＷ伸長部５６に供給する。ＲＡＷ伸長部５６は、バスＩ／Ｆ５７を介して供給されたこの圧縮ＲＡＷデータに対し、後述するＲＡＷ圧縮部５４と逆の処理により復号処理を施し、伸長する。スイッチ部５１で端子５１Ｂが選択され、ＲＡＷ伸長部５６の出力は、スイッチ部５１の端子５１Ｂを介して信号処理部５２に供給される。

なお、信号処理部５２および解像度変換部５３の処理は、バスＩ／Ｆ５８から供給される転送要求Ｃと、信号処理部５２が出力する転送要求Ａに対する応答信号に基づき行われる。すなわち、信号処理部５２および解像度変換部５３では、出力相手側からのデータ転送要求と、入力相手側からのデータ出力応答とが共に有効となったときに、データの転送および信号処理が行われる。

バスＩ／Ｆ５５からの転送要求Ｂに応じて、同期乗り換え部５０ＢのバッファメモリからＲＡＷデータが読み出され、ＲＡＷ圧縮部５４に供給される。ＲＡＷ圧縮部５４は、供給されたＲＡＷデータを圧縮符号化して出力する。ＲＡＷ圧縮部５４では、より画質劣化の少ない圧縮符号化方式を適用すると、好ましい。

例えば、特開２００５−３１１７４３号公報に記載されるような、ガンマ曲線に似た変換カーブに基づき変換前データをよりビット長の短い変換後のデータに対応付ける変換テーブルを作成し、この変換テーブルを参照することでデータ長を短縮して圧縮符号化を行う方法を用いることができる。また、特開２００６−３５２５０９号公報に記載されるような、ガンマ曲線に似た変換カーブに基づく変換テーブルを用いた圧縮符号化方式に対し、さらにＤＰＣＭ(Defferential Pulse Code Modulation)方式による圧縮符号化方式を加えた方法を用いてもよい。これらの方法で圧縮符号化されたデータに対して、例えばハフマン符号などを用いてさらに圧縮符号化を行うようにしてもよい。

なお、ＲＡＷ圧縮部５４における圧縮符号化処理は、ＲＡＷデータの転送に対してリアルタイム性を重視してなされ、例えば、撮像素子１１の読み出し特性に基づきライン順次で行われる。これに限らず、ＲＡＷ圧縮部５４に複数ラインを格納可能なラインメモリを設け、水平８画素×垂直８画素からなるブロック単位で、静止画データを水平方向に順次走査して行うようにもできる。

ＲＡＷ圧縮部５４で圧縮符号化された圧縮ＲＡＷデータは、バスＩ／Ｆ５５を介してバス２１に送り出される。

このような構成による撮像装置１における一例の動作について、概略的に説明する。動画データの記録を主に行う動画データ記録モード時には、被写体からの光が光学系１０を介して撮像素子１１に入射され、光電変換により電気信号に変換され撮像信号としてフレームタイミング毎に出力される。撮像信号は、フロントエンド部１２によりノイズ抑圧処理やゲイン制御などの所定の処理を施され、さらにＡ／Ｄ変換されてＲＡＷデータとしてフレームタイミング毎に出力される。フロントエンド部１２から出力されたＲＡＷデータは、信号処理部２０に入力され、カメラ信号処理部２２に供給される。

ＲＡＷデータは、カメラ信号処理部２２において、補正処理部５０Ａで補正処理され、同期乗り換え部５０Ｂでセンサ駆動系クロックでバッファメモリに書き込まれる。信号処理部５２から出力された転送要求Ａに応じて、バッファメモリからＲＡＷデータが読み出される。このとき、バッファメモリからのデータの読み出しがシステム系クロックに従い行われ、クロックの乗せ換えが行われる。同期乗り換え部５０Ｂから出力されたＲＡＷデータは、スイッチ部５１を介して信号処理部５２に供給され、ベースバンドの動画データに変換され、解像度変換部５３で所定に解像度変換される。転送要求Ｃに応じて解像度変換部５３から動画データが出力され、バスＩ／Ｆ５８によりバス２１に転送され、ＲＡＭ３５に書き込まれる。

ＲＡＭ３５に書き込まれた動画データは、所定にＲＡＭ３５から読み出されバス２１を介して解像度変換部２４および動画コーデック部２６に供給される。解像度変換部２４は、供給された動画データの解像度を例えば表示装置２８に表示するのに適した解像度に変換する。解像度変換部２４で解像度が変換された動画データは、バス２１を介して表示制御部３７に供給され、記録モニタ画像として表示装置２８に表示される。

ＲＡＭ３５に書き込まれた動画データは、バス２１を介して動画コーデック部２６にも供給される。動画コーデック部２６は、例えばＭＰＥＧ２方式により圧縮符号化を行う。圧縮動画データは、バス２１を介してメモリコントローラ３４に供給され、ＲＡＭ３５に格納される。る。解像度変換された動画データは、バス２１を介してメモリコントローラ３４に供給され、ＲＡＭ３５に格納される。

なお、ＲＡＭ３５に書き込まれた動画データをバス２１を介して拡張画像処理部２３に供給して所定に画像処理を施し、その後、解像度変換部２４に供給するようにしてもよい。これに限らず、解像度変換部２４で解像度変換された動画データをバス２１を介して拡張画像処理部２３に供給し、画像処理を施すようにしてもよい。

記録再生制御部３６は、ＲＡＭ３５に所定量以上の圧縮動画データが溜め込まれると、ＲＡＭ３５から、例えば記録媒体３７の記録単位毎に圧縮動画データを読み出し、記録媒体３７に記録する。

動画データの記録中に静止画記録を行う場合には、先ず、例えば動画の記録中に、静止画の記録を指示するために、入力デバイス３２として設けられたシャッタボタンが押下される。シャッタボタンの押下に応じた制御信号が入力デバイス３２からＣＰＵ３０に供給される。ＣＰＵ３０は、この制御信号に基づき、撮像装置１の各部を、静止画記録を行うように制御する。

例えば、シャッタボタンが押下された直後のフレームタイミングのＲＡＷデータに基づく静止画データが取り込まれ記録される。すなわち、カメラ信号処理部２２において、シャッタボタンが押下されタイミングに対応するＲＡＷデータに対し、補正処理部５０Ａで所定に補正処理を施し同期乗り換え部５０Ｂでセンサ駆動系クロックでバッファメモリに書き込まれる。バッファメモリに書き込まれたＲＡＷデータは、転送要求Ｂに応じてシステム系クロックで読み出されてクロックが乗せ換えられ、ＲＡＷ圧縮部５４に供給される。ＲＡＷ圧縮部５４で圧縮符号化された圧縮ＲＡＷデータは、バスＩ／Ｆ５５を介してバス２１に送り出され、バス２１およびメモリコントローラ３４を介してＲＡＭ３５に格納される。

ＲＡＭ３５に格納された圧縮ＲＡＷデータは、所定のタイミングでＲＡＭ３５から読み出され、カメラ信号処理部２２に供給される。カメラ信号処理部２２に供給された圧縮ＲＡＷデータは、転送要求Ａに応じてバスＩ／Ｆ５７を介してＲＡＷ伸長部５６に供給され、圧縮符号を伸長される。伸長されたＲＡＷデータは、信号処理部５２でベースバンドの静止画データに変換され、解像度変換部５３で解像度変換を施され、バスＩ／Ｆ５８を介してバス２１に転送され、メモリコントローラ３４を介してＲＡＭ３５に書き込まれる。

ＲＡＭ３５に書き込まれたＲＡＷデータは、所定に読み出されてバス２１を介して静止画コーデック部２５に供給され、例えばＪＰＥＧ方式に従って圧縮符号化される。圧縮静止画データは、バス２１を介して記録再生制御部３６に供給され、動画データの記録が行われていないタイミングで記録媒体３７に記録される。圧縮静止画データを一旦ＲＡＭ３５に格納し、記録媒体３７に対して動画データの記録が行われていないタイミングでＲＡＭ３５から圧縮静止画データを読み出して記録媒体３７に記録するようにしてもよい。

なお、動画データの記録中に静止画データの記録を行う場合、動画データの記録を停止させないために、カメラ信号処理部２２におけるＲＡＷデータの圧縮符号化処理や、圧縮ＲＡＷデータのＲＡＭ３５に対する書き込みは、撮像素子１１の出力に同期してリアルタイムに行う必要がある。

一方、ＲＡＭ３５に格納された圧縮ＲＡＷデータの読み出しや、読み出されたＲＡＷデータのカメラ信号処理部２２における伸長処理および信号処理、静止画コーデック部２５における圧縮符号化処理、圧縮静止画データの記録再生制御部３６への供給などは、例えば撮像素子１１における駆動信号のブランキング期間といった、バス２１が混雑していないタイミングで行う。なお、静止画データに対する信号処理は、リアルタイム性が要求されないため、ＣＰＵ３０におけるソフトウェア処理や、汎用ＤＳＰ(Digital Signal Processor)を用いて低速で信号処理することが可能である。

次に、カメラ信号処理部２２における処理について、より詳細に説明する。上述したように、同期乗り換え部５０Ｂでは、センサ駆動系のクロックに同期して入力されたＲＡＷデータをバッファメモリに一旦格納し、このバッファメモリからの読み出しをシステム系クロックに同期させて行うことで、クロックの乗せ替えを行っている。バッファメモリは、クロック乗せ換えと、バス２１における瞬間的なアクセス遅延を吸収可能な容量を、少なくとも有しているものとする。バッファメモリからの読み出しが行われない状態で、バッファメモリに対する書き込みが発生すると、バッファメモリがオーバーフローを起こし、バッファ機能が破綻することになる。

このように、バッファメモリに対するＲＡＷデータの読み書きの速度差によりバッファ破綻が発生する例としては、ＲＡＷ圧縮部５４で圧縮符号化された圧縮ＲＡＷデータが送り出されるバス２１において、データ転送量が増大してバス２１が混雑している場合が考えられる。例えばバスＩ／Ｆ５５は、バス２１が圧縮ＲＡＷデータよりも優先度が高いデータの転送で混雑している場合、例えば当該データの転送が終了するまで圧縮ＲＡＷデータをバス２１に送り出す処理を待機する。若しくは、ＲＡＷ圧縮部５４を制御してＲＡＷデータの圧縮処理を停止し、当該データの転送が終了しバッファメモリが空になるのを待機する。

また、ＲＡＷ圧縮部５４がＲＡＷデータの空間周波数成分に応じて圧縮率が変動する可変長符号化を用いてＲＡＷデータの圧縮符号化を行う場合、圧縮符号化するＲＡＷデータの高周波成分が多ければ、圧縮符号化後のデータ量が大きくなってしまう場合が有り得る。このような場合にも、バッファ破綻が発生する可能性がある。

バッファ破綻が発生する可能性がある場合、静止画データの記録を継続するためには、ＲＡＷデータの圧縮符号化処理およびその前段の処理を停止し、バッファメモリが空になるのを待つ必要がある。前段の処理は、例えば撮像素子１１からの撮像信号の出力、フロントエンド部１２からのＲＡＷデータの出力、補正処理部５０Ａにおける補正処理が含まれる。しかしながら、動画データの記録中に静止画データの記録が行われる場合、動画データの記録を連続的に行う必要があるため、これら前段の処理を中止することができない。

そこで、同期乗り換え部５０Ｂがバッファメモリの状態を監視し、バッファの破綻が検知されたら、破綻処理を行う。図４は、このような処理を行うようにされた同期乗り換え部５０Ｂの一例の構成を示す。同期乗り換え部５０Ｂは、バッファメモリ６０と、読み出し制御部６１とからなる。バッファメモリ６０は、先入れ先出し（ＦＩＦＯ：First In, First Out）制御のメモリであって、前処理側から供給される書き込みイネーブル信号を受けて、データの書き込みを行う。読み出し制御部６１は、上述した転送要求Ａおよび転送要求Ｂと、バッファメモリ６０の容量とに基づきバッファメモリ６０に対してデータの読み出し要求を出す。バッファメモリ６０の容量は、例えばバッファメモリが満杯（フル）状態および空（エンプティ）状態の何れかを示しているのみでもよい。

読み出し制御部６１は、バッファメモリ６０の容量が空ではなく、且つ、転送要求Ａおよび転送要求Ｂの双方が成立する場合に、バッファメモリ６０への読み出し要求をアクティブとしてバッファメモリ６０からデータを読み出し、信号処理部５２およびＲＡＷ圧縮部５４に対して出力する。

ここで、読み出し制御部６１は、バッファメモリ６０の容量と、転送要求Ａおよび転送要求Ｂとに基づき、バッファが破綻する可能性の有無を判断する。すなわち、バッファメモリ６０の容量がフル状態であって、少なくとも転送要求Ａまたは転送要求Ｂの何れか一方が成立しない場合に、バッファが破綻する可能性があると判断する。なお、転送要求が成立するか否かは、例えばその転送要求により行われるべき処理のタイミングに当該転送要求が読み出し制御部６１に到来しているか否かで判断することが考えられる。

転送要求Ａまたは転送要求Ｂのうち何れか一方のみが成立しないと判断された場合を、部分破綻と呼び、発生要因を例えば読み出し制御部６１の内部レジスタに保持する。また、転送要求Ａと転送要求Ｂとが共に成立しないと判断された場合を、完全破綻と呼び、発生要因を内部レジスタに保持する。ＣＰＵ３０は、読み出し制御部６１の内部レジスタを読み出すことで、フレーム処理の単位で、部分破綻または完全破綻の何れが発生したか否かを知ることができる。

なお、読み出し制御部６１の内部レジスタに保持される発生要因は、例えば成立しないとされた転送要求の情報を用いることができる。一例として、転送要求Ａが成立しないとされ、部分破綻可能性が発生したとされた場合には、転送要求Ａを示す情報を、読み出し制御部６１の内部レジスタに保持することが考えられる。他の例として、転送要求Ａおよび転送要求Ｂが共に成立しないとされ、完全破綻可能性が発生したとされた場合には、転送要求Ａおよび転送要求Ｂをそれぞれ示す情報を読み出し制御部６１の内部レジスタに保持することが考えられる。

図５は、転送要求に基づく一例のバッファ破綻判定をまとめて示す。例えば、動画データの記録のみを行っている場合は、転送要求Ａのみが読み出し制御部６１に供給されるはずである。記録モードが動画データ記録モードであって、バッファメモリ６０の容量がフル状態のときに、転送要求Ａが読み出し制御部６１に供給されない場合は、バッファが破綻する可能性があると判断できる。一例として、バス２１が混雑しており、バスＩ／Ｆ５８から転送要求Ｃが出力されない場合、解像度変換部５３で解像度変換を行ったデータをバス２１に送り出すことができないことになる。この場合、信号処理部５２は、次のデータを同期乗り換え部５０Ｂに要求できないため、転送要求Ａを出力しない。

また例えば、静止画データの記録のみを行っている場合は、転送要求Ｂのみが読み出し制御部６１に供給されるはずである。記録モードが静止画データ記録モードであって、バッファメモリ６０がフル状態のときに、転送要求Ｂが読み出し制御部６１に供給されない場合は、バッファが破綻する可能性があると判断できる。一例として、バス２１が混雑している場合にバスＩ／Ｆ５５が転送要求Ｂを出力しないようにすると共に、ＲＡＷ圧縮部５４におけるＲＡＷデータの圧縮符号化処理を停止させるようにできる。バス２１の混雑が緩和されたら転送要求Ｂを出力すると共にＲＡＷ圧縮部５４によるＲＡＷデータの圧縮符号化処理を再開することが考えられる。

さらに例えば、動画データの記録を行い動画データの記録中に静止画データの記録を行う場合には、転送要求Ａおよび転送要求Ｂがそれぞれ読み出し制御部６１に供給されるはずである。記録モードが動画および静止画データ記録モードであって、バッファメモリ６０がフル状態のときに、転送要求Ａまたは転送要求Ｂのうち何れか一方が読み出し制御部６１に供給されない場合には、バッファが部分破綻を起こす可能性があり、転送要求Ａおよび転送要求Ｂが共に供給されない場合には、バッファが完全破綻を起こす可能性がある。

この発明の実施の一形態では、動画記録中の静止画記録においてバッファが破綻する可能性があると判断された場合には、ＲＡＷ圧縮部５４によるＲＡＷデータの圧縮符号化処理を一旦停止し、バッファメモリ６０が空になるのを待機する。例えば、動画記録のための転送要求Ａに応じてバッファメモリ６０からデータが読み出されるのが待機される。このとき、ＲＡＷデータ上の圧縮符号化が停止された位置をレジスタやメモリなどに所定に保持する。そして、バッファメモリ６０が空になりバッファの破綻が解消されたら、バスＩ／Ｆ５５から転送要求Ｂを出力し、バッファメモリ６０に順次格納されていくＲＡＷデータを読み出し、ＲＡＷ圧縮部５４で圧縮符号化する。

図６を用いて、より具体的に説明する。動画データのフレームＮのデータ（以下、「動画データのフレームＮのデータ」を、適宜、単に「フレームＮ」として記述する）に対応して記録が指示された静止画データにおいて、ラインｍの位置でバッファ破綻の可能性が生じたものとする。例えば、読み出し制御部６１により、転送要求Ｂが供給されないことが検知されると、バッファの部分破綻が生じる可能性があると判断される。ＲＡＷ圧縮部５４は、バッファ破綻の可能性が生じたら、ＲＡＷデータの圧縮符号化処理を停止する。圧縮符号処理は、バッファ破綻の可能性が生じた位置からＲＡＷデータの一定量分、停止される。図６の例では、バッファ破綻の可能性が生じた位置から一定量分が経過したラインｍ＋αから、ＲＡＷ圧縮部５４によるＲＡＷデータの圧縮符号化処理が再開される。

以下、この、バッファ破綻の可能性が生じた位置から、バッファ破綻が解消された位置までを、破綻区間と呼ぶ。また、バッファ破綻の可能性が生じた位置を破綻位置と呼び、バッファ破綻が解消された位置を破綻回復位置と呼ぶ。破綻区間においては、ＲＡＷデータの圧縮符号化処理が停止されているため、静止画像データが欠損することになる。

圧縮符号を伸長した画像においては、このラインｍからラインｍ＋αまでの破綻区間は、有効なＲＡＷデータが欠損しており、正常な表示が行われない。圧縮ＲＡＷデータの伸長時に破綻区間のデータを有効な画像データと置き換えるためには、この破綻区間を示す情報を保持しておく必要がある。

例えば、図７に例示されるように、ＲＡＷデータの圧縮符号化に用いられない所定の符号を用いて破綻区間を示す情報として用い、圧縮符号化されたＲＡＷデータに埋め込むことが考えられる。一例として、図７Ａに示されるように、ラインｍ上の破綻位置からラインｍ＋α上の破綻回復位置すなわち圧縮符号化処理の再開位置までが破綻区間とした場合について考える。

この場合、図７Ｂに例示されるように、破綻位置の直前まではＲＡＷデータが圧縮符号化された符号で埋められ、破綻位置から破綻回復位置までは、圧縮符号で用いられない所定の符号で埋められる。例えばＲＡＷデータの圧縮符号化をテーブルを用いて符号変換することで行う場合には、このテーブルに定義されない符号を、破綻区間を示す符号として用いることができる。破綻区間を示す符号は、例えばバッファメモリ６０が空になりバッファ破綻から回復されたら、ＲＡＷ圧縮部５４で所定に生成され、出力される。その後、破綻回復位置より後ろのＲＡＷデータについて圧縮符号化が行われる。

また、破綻区間を示す情報の保持は、破綻区間を所定の符号で置き換える方法に限られない。例えば、図８に例示されるように、破綻区間を示す位置情報を、圧縮ＲＡＷデータとは別に保持することも考えられる。位置情報としては、画素の座標情報を用いることができる。図８Ａの例のように、座標（ｘ₁，ｙ₁）でバッファ破綻が生じ、座標（ｘ₂，ｙ₂）で破綻から回復した場合、図８Ｂに例示されるように、破綻位置情報は、破綻位置を示す座標ＳＴ（ｘ₁，ｙ₁）と、破綻回復位置を示す座標ＥＤ（ｘ₂，ｙ₂）とで示すことができる。破綻区間を位置情報を用いて示す場合には、図８Ｃに例示されるように、破綻区間の符号は任意とすることができる。

破綻区間を示す位置情報は、画素の座標情報に限られない。例えば、ＲＡＷデータの圧縮符号化処理がライン順次に行う場合には、ライン番号を用いることができる。図８Ａの例のように、破綻区間がラインｍからラインｍ＋αまでの場合には、破綻位置情報をライン（ｍ，ｍ＋α）のように表すことができる。また、ＲＡＷデータの圧縮符号化処理をブロック単位で行う場合には、ブロックを識別するためのブロック番号などを、破綻位置情報として用いることができる。

この発明の実施の一形態では、圧縮ＲＡＷデータを伸長する際に、破綻区間の画像を対応する動画データに基づく画像データを参照して復元する。この破綻区間の復元に際して参照される画像データを、動画データおよび静止画データとは別に保持する。

図９を用いて、復元に際して参照される画像データの保持について説明する。動画データのフレームＮのタイミングでＲＡＷデータが静止画データとして取り込まれ、ＲＡＷ圧縮部５４で圧縮符号化される。このとき、ラインｍからラインｍ＋αまでの区間が破綻区間であるものとする。この場合、動画データにおけるフレームＮの破綻区間に対応した区間が復元用のデータとして、別途、保持される。

例えば、動画記録中の静止画記録においてバッファ破綻の可能性が生じたときに、動画コーデック部２６で圧縮符号化される以前の、記録する静止画データに対応するフレームＮをＲＡＭ３５に保持しておき、この保持されたフレームＮから破綻区間に対応する領域のデータを抽出して復元用データとして用いることが考えられる。圧縮ＲＡＷデータの伸長時には、この保持された復元用データが、動画データの画枠サイズと静止画データの画枠サイズの比率に応じて所定に拡大処理されて用いられる。

例えば、静止画データの画枠サイズが２５６０画素×１９２０画素、動画データの画枠サイズがその１／４の６４０画素×４８０画素である場合、フレームＮのラインｍ／４からライン（ｍ＋α）／４までの区間が復元用のデータとして保持される。なお、実際には、圧縮ＲＡＷデータを伸長する際の復元用データの拡大処理のために、動画データおよび静止画データの画枠サイズの比率に応じた領域に対して所定の領域が付加されたデータが復元用データとして用いられる。図９の例では、フレームＮの、破綻区間に対応する区間に対して上下にＡ本のラインが付加された区間が復元用データとして用いられる。

なお、破綻区間の復元の際に、図１０に例示されるように、対応する動画データを直接的に参照することも考えられる。この場合には、動画コーデック部２６で圧縮符号化するためにＲＡＭ３５に格納される、記録する静止画データに対応するフレームＮを直接的に参照することが考えられる。この場合には、動画コーデック部２６における当該フレームＮの圧縮符号化のタイミングを考慮して、破綻区間の復元処理を行う必要がある。

図１１は、この発明の実施の一形態によるＲＡＷデータ圧縮符号化処理の一例の制御を示すフローチャートである。このフローチャートにより処理は、例えば、読み出し制御部６１による判断に基づき、ＣＰＵ３０により制御される。

なお、撮像装置１は、記録モードが動画記録中に静止画の記録が可能なモードとされているものとする。したがって、同期乗り換え部５０Ｂの読み出し制御部６１に対して、転送要求Ａおよび転送要求Ｂが供給されることになる。なお、これに限らず、動画が記録される場合に、通常は動画記録モードとされ読み出し制御部６１に対して転送要求Ａのみが供給され、例えばシャッタボタンの押下に応じて動画記録中に静止画記録が可能な記録モードに変更されるようにしてもよい。場合には、記録モードの変更に伴い、転送要求Ａおよび転送要求Ｂが読み出し制御部６１に供給されることになる。

ステップＳ１０で、バッファ破綻の可能性が生じたか否かが判断される。例えば、読み出し制御部６１に対して、記録モード対応して転送要求Ａおよび転送要求Ｂが供給されるべきところに、転送要求Ａまたは転送要求Ｂの何れか一方しか供給されていなければ、バッファが部分破綻を起こす可能性があると判断することができる。若し、読み出し制御部６１に対して転送要求Ａおよび転送要求Ｂが共に供給されていると判断されれば、ステップＳ１１で、読み出し制御部６１によりバッファメモリ６０からＲＡＷデータが所定に読み出され、ＲＡＷ圧縮部５４にて圧縮符号化される。圧縮符号化されたＲＡＷデータは、バス２１を介してＲＡＭ３５に転送される。

一方、ステップＳ１０で、バッファが部分破綻を起こす可能性があると判断された場合には、処理はステップＳ１２に移行される。ステップＳ１２では、破綻位置を示す情報が所定に保持される。次のステップＳ１３で、ＲＡＷ圧縮データを伸長する際に破綻区間を復元するための動画データが確保される。

なお、ここでは、破綻位置は、図７を用いて説明した、破綻区間をＲＡＷデータの圧縮符号化において用いられない所定の符号で置き換えて示すものとする。また、破綻区間を復元するためのデータは、図９を用いて説明した、取り込む静止画に対応する動画データのフレームＮから破綻区間に対応する領域を抽出して、別途、ＲＡＭ３５に格納することで確保するものとする。

次のステップＳ１４で、ＲＡＷ圧縮部５４における圧縮符号化処理が停止される。そして、ステップＳ１５で、バッファ破綻の可能性から回復したか否かが判断される。例えばステップＳ１５では、破綻位置から一定量分のＲＡＷデータに対する圧縮符号化が停止されたか否かが判断される。バッファ破綻の可能性から回復していないと判断されれば、処理はステップＳ１４に戻され、ＲＡＷデータの圧縮符号化処理の停止状態が維持される。一方、バッファ破綻の可能性から回復したと判断されれば、処理はステップＳ１０に戻され、次のステップＳ１１でＲＡＷデータの転送および圧縮符号化が行われる。

次に、図１２および図１３を用いて破綻区間に対する一例の復元処理について説明する。図１２は、圧縮ＲＡＷデータの復号処理における破綻区間の一例の復元処理を示すフローチャートである。なお、破綻区間の位置は、破綻区間のデータを圧縮符号化で用いられない所定の符号で破綻区間のデータを置き換えて示し、破綻区間を復元するためのデータは、ＲＡＭ３５に格納される、動画コーデック部２６による圧縮符号化前のデータから破綻区間に対応する部分を抽出し別途、保持したデータを用いるものとする。

ＲＡＷ伸長部５６において、ＲＡＭ３５から読み出された圧縮ＲＡＷデータに対し、例えば画面の左上隅に対応する位置から復号処理が行われる。このとき、破綻位置を示す所定の符号の検出を行い（ステップＳ２０）、当該圧縮ＲＡＷデータにおいて現在復号を行おうとしている符号が当該処理の符号でなければ、ステップＳ２１で復号処理を行い圧縮ＲＡＷデータを伸長する。伸長された伸長ＲＡＷデータは、所定に信号処理され画像データが生成される。なお、ステップＳ２０で破綻位置を示す符号が検出されると、検出結果に基づき破綻位置を示す情報が求められ、保持される。

例えば、信号処理部５２において動画データに対する信号処理が行われていない間に、伸長ＲＡＷデータに対する信号処理が信号処理部５２において行われ、画像データが生成される。これに限らず、例えばＣＰＵ３０においてソフトウェア的に処理を行ってもよいし、別途、信号処理用にＤＳＰ(Digital Signal Processor)を設け、このＤＳＰにおいて行ってもよい。この圧縮ＲＡＷデータの伸長処理は、動画データに対する信号処理のようなリアルタイム性が要求されないため、より低速な処理により行うことも可能である。

一方、ステップＳ２０で当該所定の符号が検出されたら、例えばステップＳ２１の復号処理をスキップして処理がステップＳ２２に移行される。ステップＳ２２では、画面の終端すなわち画面の右下隅まで処理が終了したか否かが判断される。若し、終了していないと判断されれば、処理はステップＳ２０に戻される。

一方、ステップＳ２２で画面の終端までの処理が終了していると判断されれば、処理はステップＳ２３に移行される。ステップＳ２３以下の処理では、上述したステップＳ２０での破綻位置の検出結果に基づき、破綻区間に対して復元用データを適用してＲＡＷデータの復元を行う。例えば、図１３Ａに例示されるように、画枠サイズが２５６０画素×１９２０画素の静止画データにおいて、斜線で示される部分が破綻区間として検出されたものとする。

ステップＳ２３で、ＲＡＭ３５から復元用のデータを読み出し、次のステップＳ２４で、動画データの画枠サイズと静止画データの画枠サイズとの比率に応じて、ＲＡＭ３５から読み出された復元用のデータに対する拡大処理を行う。例えば、図１３Ｂに例示されるように、動画データの画枠サイズが６４０画素×４８０画素であって、水平および垂直方向のそれぞれについて静止画データの１／４であるとすれば、復元用データを水平および垂直方向にそれぞれ４倍のサイズに拡大する。拡大処理は、例えば、画素間距離を拡大した画素の画素値に基づき線形補間などを用いて新たな画素値を生成することで行うことができる。

次に、ステップＳ２５で、拡大された復元用データの画質調整が行われる。すなわち、一般的に、動画と静止画とでは求められる特性が異なるため、例えば画像の明るさや色合いといった、画質が異なる。これにより、伸長ＲＡＷデータに対し、破綻区間に対応する部分の動画データを単純に置き換えただけでは、不自然な画像となってしまうことが考えられる。そのため、復元用データの画質を、破綻区間以外の部分の伸長ＲＡＷデータの画質に合わせるように、復元用データの画質調整を行う。

画質調整は、例えば信号処理部５２で動画データに対して画質補正処理を行う際のパラメータと、静止画データに対して画質補正処理を行う際のパラメータとをそれぞれ参照し、復元用データを拡大した画像データの特性を、伸長ＲＡＷデータの破綻区間以外の部分の特性に合わせるように、復元用データを変換することで行うことができる。

次のステップＳ２６で、図１３Ｃに例示されるように、伸長ＲＡＷデータの破綻区間のデータを、拡大され画質調整がなされた復元用データで置き換える処理を行う。ここで、復元用データは、静止画データに対して解像度が１／４の動画データを線形補間などを用いて４倍に拡大した画像なので、復元用データによって置き換えがなされる周囲の伸長ＲＡＷデータに対して粗い画質となっている。そのため、復元用データを伸長ＲＡＷデータにおける破綻区間のデータと単純に置き換えたのでは、置き換えを行った境界部分で繋ぎ目が滑らかにならず、置き換えが目立ってしまうことになる。

そこで、図１３Ｄに例示されるように、ステップＳ２７において、復元用データによる置き換えを行った境界および境界付近のデータに対して空間的にローパスフィルタ処理を施すことにより、置き換えを行った境界部分での繋ぎ目を滑らかにする。

ステップＳ２８で、１枚の伸長ＲＡＷデータにおける全ての破綻位置に対する処理が終了したか否かが判断され、終了していないと判断されれば、処理はステップＳ２３に戻され、次の破綻位置に対してステップＳ２３〜ステップＳ２７までの処理がなされる。

ステップＳ２８で、１枚の伸長ＲＡＷデータにおける全ての破綻位置に対する処理が終了したと判断されれば、一連の復元処理が終了される。破綻区間が復元された伸長ＲＡＷデータは、例えば解像度変換部５３で所定に解像度変換され、バスＩ／Ｆ５８からの転送要求Ｃに応じてバス２１に送り出され、メモリコントローラ３４を介してＲＡＭ３５に書き込まれる。そして、所定のタイミングで記録再生制御部３６に読み出され、記録媒体３７に記録される。

このように、この発明の実施の一形態では、動画記録中に静止画を記録する際に、静止画のＲＡＷデータのバッファ処理が破綻する可能性がある場合でも、静止画のＲＡＷデータの圧縮符号化処理を一旦停止することで、動画記録を停止することなく行うことができる。また、静止画の圧縮符号化処理を停止した区間を示す情報を保持すると共に、静止画に対応する動画データを保持することで、静止画において圧縮符号化処理が停止された区間を復元させるためのデータを、保持された動画データから生成することができる。これにより、静止画のＲＡＷデータのバッファ処理が破綻する可能性がある場合でも、元の画像から極力劣化を抑えた静止画を復元することができる。

なお、上述では、１枚の静止画データに対して対応する動画データの１フレームのデータを用いて破綻区間の復元を行っていたが、これはこの例に限定されない。例えば、１枚の静止画データに対して、動画データの複数フレームを用いて破綻区間の復元を行うようにもできる。すなわち、複数フレームの画像の動き情報に基づき、破綻区間における画像の動きが所定より小さいと見做せる場合には、静止画に対応するフレームと、当該フレームに対して時間的に前後の複数フレームとを用いて復元用データを生成する。

一例として、図１４に示されるように、フレームＮのタイミングで取り込んだ静止画に対してバッファ破綻が生じた場合に、動画データのフレームＮと、フレームＮに対して時間的に前後のフレーム（Ｎ−１）およびフレーム（Ｎ＋１）とを用いて、復元用データを生成することが考えられる。例えば、動画コーデック部２６における動き検出結果に基づき、フレームＮに対するフレーム（Ｎ−１）の動きベクトルＭＶ_N-1とフレーム（Ｎ＋１）の動きベクトルＭＶ_N+1を求める。動きベクトルＭＶ_N-1および／または動きベクトルＭＶ_N+1が所定値より小さい場合に、これら動きベクトルＭＶ_N-1と動きベクトルＭＶ_N+1とを用いて、復元用データを生成する。このように、複数のフレームから復元用データを生成することで、復元用データの解像度を静止画のＲＡＷデータの解像度に近付けることができる。

なお、実際には、動きベクトルＭＶは、例えば１６画素×１６画素といった所定サイズのブロック単位で求められる。ここでは説明のため、フレームＮに対する動きベクトルを、フレーム（Ｎ−１）については動きベクトルＭＶ_N-1、フレーム（Ｎ＋１）については動きベクトルＭＶ_N+1でそれぞれ代表させて記述している。

また、１枚の静止画記録に際し、多数回のバッファ破綻の可能性が生じ、ＲＡＷデータの圧縮符号化処理が停止される回数が多い場合や、圧縮符号化処理が連続的に停止した場合などは、復元用データで置き換える部分が多くなり、画質の劣化が顕著になるおそれがある。

そこで、動画記録中の静止画記録において生じたバッファ破綻可能性による破綻区間の量を計測しておくと共に、後続する複数フレームでも、ＲＡＷデータの圧縮符号化処理および圧縮ＲＡＷデータのＲＡＭ３５への格納を行い、後に、破綻区間の量が最も少ない圧縮ＲＡＷデータを選択し、伸長して記録することが考えられる。例えば破綻区間の面積を以て、破綻区間の量とすることが考えられる。

図１５を用いて、より具体的に説明する。図１５の例では、フレームＮに対応するＲＡＷデータの転送時にバッファ破綻の可能性が生じ、圧縮符号化が停止された区間が生じている。フレームＮのタイミングでバッファ破綻可能性により圧縮符号化が停止されたため、続くフレーム（Ｎ＋１）、フレーム（Ｎ＋２）についても、対応するＲＡＷデータの転送および圧縮符号化がなされている。この図１５の例では、これらフレーム（Ｎ＋１）およびフレーム（Ｎ＋２）でも、バッファ破綻可能性により圧縮符号化が停止された区間が生じている。

これらフレームＮ、（Ｎ＋１）および（Ｎ＋２）にそれぞれ対応する圧縮ＲＡＷデータのうち、破綻区間の量が最も少ないフレーム（Ｎ＋１）に対応する圧縮ＲＡＷデータが選択され、伸長処理および所定の信号処理がなされ、記録される。伸長時に、上述したようにして、対応する動画データのフレームを用いて復元用データを生成し、破綻区間のデータと置き換える処理をさらに行うと、より好ましい。この処理により、静止画記録指示に対して僅かにタイミングがずれる可能性があるが、画像劣化が極力少ない静止画像を得ることができる。

発明の概念について説明するための略線図である。 発明の実施の一形態に適用可能な撮像装置の一例の構成を示すブロック図である。 カメラ信号処理部の一例の構成を示すブロック図である。 同期乗り換え部の一例の構成を示すブロック図である。 転送要求に基づく一例のバッファ破綻判定を示す略線図である。 発明の実施の一形態によるＲＡＷデータに対する圧縮符号化処理の一例の制御を説明するための略線図である。 ＲＡＷデータの圧縮符号化に用いられない所定の符号を用いて破綻区間を示す情報として用いることを説明するための略線図である。 破綻区間を示す位置情報を圧縮ＲＡＷデータとは別に保持することを説明するための略線図である。 復元に際して参照される画像データの保持について説明するための略線図である。 破綻区間の復元の際に対応する動画データを直接的に参照することを説明するための略線図である。 発明の実施の一形態によるＲＡＷデータ圧縮符号化処理の一例の制御を示すフローチャートである。 圧縮ＲＡＷデータの復号処理における破綻区間の一例の復元処理を示すフローチャートである。 圧縮ＲＡＷデータの復号処理における破綻区間の一例の復元処理を説明するための略線図である。 １枚の静止画データに対し、動画データの複数フレームを用いて破綻区間の復元を行うことを説明するための略線図である。 連続的な複数の圧縮ＲＡＷデータのうち最も破綻区間の量が少ないデータを選択して伸長することを説明するための略線図である。

符号の説明

１ 撮像装置
１１ 撮像素子
２０ 信号処理部
２２ カメラ信号処理部
２４ 解像度変換部
２５ 静止画コーデック部
２６ 動画コーデック部
３０ ＣＰＵ
３４ メモリコントローラ
３５ ＲＡＭ
３６ 記録再生制御部
３７ 記録媒体
５０ ＲＡＷ補正部
５０Ａ 補正処理部
５０Ｂ 同期乗り換え部
５１ スイッチ部
５２ 信号処理部
５３ 解像度変換部
５４ ＲＡＷ圧縮部
５５，５７，５８ バスＩ／Ｆ
５６ ＲＡＷ伸長部

Claims (17)

1. 動画データの記録と並列的に静止画データの記録を行うことができるようにした撮像装置において、
   被写体からの光を電気信号に変換して撮像信号としてフレームタイミングで出力する撮像部と、
   上記撮像部から出力された上記撮像信号を動画として上記フレームタイミング毎に連続的に処理する動画処理部と、
   上記撮像部から出力された上記撮像信号を、任意のタイミングで供給される撮像指示に応じて上記フレームタイミングで静止画として処理する静止画処理部と、
   上記静止画の欠損箇所を該静止画に上記フレームタイミングが対応する上記動画のフレームを用いて復元する画像復元部と
   を有する
   ことを特徴とする撮像装置。
2. 請求項１に記載の撮像装置において、
   上記画像復元部は、復元する上記静止画に上記フレームタイミングが対応する上記動画のフレームの、上記欠損箇所に対応する領域のデータを用いて上記欠損箇所の復元を行う
   ことを特徴とする撮像装置。
3. 請求項２に記載の撮像装置において、
   上記動画処理部は、上記処理を行う前の上記フレームを保持するようにし、上記画像復元部は、該保持された該処理を行う前のフレームを用いて上記欠損箇所の復元を行う
   ことを特徴とする撮像装置。
4. 請求項２に記載の撮像装置において、
   上記画像復元部は、上記動画処理部で上記フレームタイミング毎に処理される上記フレームを直接的に用いて上記欠損箇所の復元を行う
   ことを特徴とする撮像装置。
5. 請求項２に記載の撮像装置において、
   上記画像復元部は、復元する上記静止画に上記フレームタイミングが一致するフレームと、該フレームタイミングが一致するフレームに対して時間的に前および／または後ろの所定枚数のフレームとによる複数フレームを用いて上記欠損箇所の復元を行う
   ことを特徴とする撮像装置。
6. 請求項５に記載の撮像装置において、
   上記画像復元部は、上記複数フレームの動き情報に基づき上記欠損箇所の復元を行う
   ことを特徴とする撮像装置。
7. 請求項２に記載の撮像装置において、
   上記静止画処理部は、上記撮像指示に応じて複数の静止画を上記フレームタイミング毎に処理するようにされ、
   上記画像復元部は、上記複数の静止画のうち上記欠損箇所の量が最も少ない静止画を選択し、該静止画に対して上記フレームタイミングが対応する上記動画のフレームを用いて上記欠損箇所の復元を行う
   ことを特徴とする撮像装置。
8. 請求項７に記載の撮像装置において、
   上記静止画処理部は、上記静止画に上記欠損箇所が発生する可能性がある場合に、該静止画の次の上記フレームタイミングの上記静止画に対する処理を行う
   ことを特徴とする撮像装置。
9. 請求項２に記載の撮像装置において、
   上記画像復元部は、上記静止画の上記欠損箇所のデータと、上記動画のフレームの上記欠損箇所に対応する領域のデータとの置き換えを行うことで該欠損箇所を復元する
   ことを特徴とする撮像装置。
10. 請求項９に記載の撮像装置において、
    上記画像復元部は、上記置き換えを行う際に、該置き換えに用いる上記動画の解像度を上記静止画の解像度に一致させる
    ことを特徴とする撮像装置。
11. 請求項９に記載の撮像装置において、
    上記画像復元部は、上記置き換えを行う際に、該置き換えに用いる上記動画の画質を上記静止画の画質に一致させる処理を行う
    ことを特徴とする撮像装置。
12. 請求項９に記載の撮像装置において、
    上記画像復元部は、上記置き換えを行った境界に低域通過フィルタ処理を施す
    ことを特徴とする撮像装置。
13. 請求項１に記載の撮像装置において、
    上記静止画処理部は、上記欠損箇所のデータを所定の符号に置き換えて上記静止画を出力し、
    上記画像復元部は、上記静止画から検出された上記所定の符号に基づき上記復元を行う
    ことを特徴とする撮像装置。
14. 請求項１に記載の撮像装置において、
    上記静止画処理部は、上記欠損箇所の位置を示す情報を保持し、
    上記画像復元部は、上記欠損箇所の位置を示す情報に基づき上記復元を行う
    ことを特徴とする撮像装置。
15. 請求項１に記載の撮像装置において、
    上記静止画処理部は、上記静止画に欠損が発生する可能性がある場合に、一定量の上記撮像信号に対して上記処理を停止する
    ことを特徴とする撮像装置。
16. 動画データの記録と並列的に静止画データの記録を行うことができるようにした撮像装置の制御方法において、
    被写体からの光を電気信号に変換してフレームタイミングで撮像部から出力される撮像信号を動画として該フレームタイミング毎に連続的に処理する動画処理のステップと、
    上記撮像部から出力される上記撮像信号を、任意のタイミングで供給される撮像指示に応じて上記フレームタイミングで静止画として処理する静止画処理のステップと、
    上記静止画の欠損箇所を該静止画に上記フレームタイミングが対応する上記動画のフレームを用いて復元する画像復元のステップと
    を有する
    ことを特徴とする撮像装置の制御方法。
17. 動画データの記録と並列的に静止画データの記録を行うことができるようにした撮像装置の制御方法をコンピュータに実行させる撮像装置の制御プログラムにおいて、
    被写体からの光を電気信号に変換してフレームタイミングで撮像部から出力される撮像信号を動画として該フレームタイミング毎に連続的に処理する動画処理のステップと、
    上記撮像部から出力される上記撮像信号を、任意のタイミングで供給される撮像指示に応じて上記フレームタイミングで静止画として処理する静止画処理のステップと、
    上記静止画の欠損箇所を該静止画に上記フレームタイミングが対応する上記動画のフレームを用いて復元する画像復元のステップと
    を有する撮像装置の制御方法をコンピュータに実行させる
    ことを特徴とする撮像装置の制御プログラム。

Images