JP5056370B2 - 撮像装置、撮像装置の制御方法および撮像装置の制御プログラム、ならびに、データ処理装置、データ処理方法およびデータ処理プログラム - Google Patents

Description

この発明は、動画像と静止画像とを記録可能な撮像装置、撮像装置の制御方法および撮像装置の制御プログラム、ならびに、データ処理装置、データ処理方法およびデータ処理プログラムに関し、特に、動画像を記録しながら静止画像を記録する構成に関する。

一般に、静止画像の撮影を主とするディジタルスチルカメラや、動画像の撮影を主とするディジタルビデオカメラの撮像素子の走査方法は、静止画撮影と動画撮影で各々適したものが主となり、その走査方法がシステム全体に大きく関与している。近年のディジタルスチルカメラは、数１００万以上の画素数を持つ撮像素子を使用しており、より高解像度な静止画像を記録するために、撮像素子からの出力として、１／３０秒若しくはそれ以上の時間をかけた順次走査を行った画像信号が採用されている。一方、ディジタルビデオカメラは、被写体の動解像度を上げるため、１／６０秒毎の飛越走査による画像信号が採用されることが多い。

このように、用途に応じて撮像素子の走査方法を適宜選択する場合において、１台の撮像装置において動画像と静止画像とを並列的に記録することを考える。

例えば静止画像記録の品位を優先したシステムの場合、１／３０秒毎若しくはそれ以上の順次走査による画像を用いて動画像を記録することになるため、動解像度が不足することになる。逆に、動画像記録の品位を優先したシステムの場合、静止画像を、静止画記録指示が行われた瞬間（例えばシャッタボタンを押した時点）の１枚の動画像から取得する方法が考えられる。この場合には、色差補正やガンマ補正など基本的な画質処理が動画主体となり、必ずしも静止画に適した処理が行われないおそれがある。

さらに、動画像記録と静止画像記録の両機能を、撮像素子と処理手段とを共通に用いて互いに高品位な画像取得を目的として実現しようとした場合、走査方法など撮像素子全体の動作切換が必要となってくる。その結果、例えば動画像記録の最中に、高解像度な静止画像記録の指示が行われた場合、撮像素子の制御の切り換えと撮像信号処理の動作切換とが必要となり、静止画像取得期間中は、撮像素子から出力される動画像に適した撮像信号が途切れてしまうため、動画像記録が時間的に不連続となるおそれがある。

この静止画記録に伴う動画像記録の不連続性を回避するための技術が、特許文献１に記載されている。この特許文献１の記載によれば、動画周期のＮ（Ｎ≧２）倍毎に動画像よりも高い解像度を有する撮像信号を出力することで、動画像の解像度や画質を落とすことなく高解像度な静止画を得ることを可能としている。
特開２００２−４４５３１号公報

しかしながら、この特許文献１の記載のように、動画周期のＮ倍毎に静止画用の高解像度信号を出力することは、換言すれば、残りの（Ｎ−１）フレーム期間に出力される撮像信号は、動画用の解像度になり、この期間に高解像度な静止画像を得ることが困難になってしまうという問題点があった。

また、これを解決するために、例えば動画像の記録中に、静止画像のＲＡＷデータを一時的にメモリに格納し、垂直ブランキング期間や水平ブランキング期間などに、メモリに格納されたＲＡＷデータの現像処理を行うことが考えられる。

しかしながら、この方法では、動画像に対する処理と、静止画像に対する処理とを数ｍｓｅｃ単位乃至数１０ｍｓｅｃ単位で切り替える必要があり、動作の保証が困難になるという問題点があった。また、商品性能的に、ある程度の静止画像の撮影間隔を確保する必要があるため、時間が固定的なブランキング期間中に１枚のＲＡＷデータによる静止画像の現像処理を完了させる必要がある。この性能を満たすためには、静止画像処理中のクロック周波数をより高速に切り替えるなどの対策を講ずる必要があり、制御が複雑になってしまうという問題点があった。

さらに、これらを解決するために、動画像処理および静止画像処理のそれぞれに対して信号処理のパスを設け、動画像処理および静止画像処理のそれぞれにおいて最適な処理を行い、高画質を得られるようにすることも考えられる。しかしながら、この場合には、同様の処理機能を２系統、持つ必要があるため、コストが嵩んでしまうという問題点があった。

さらにまた、近年では、ディジタルスチルカメラやディジタルビデオカメラに対して、ＨＤ(High Definition)動画像対応、被写体認識機能、超高速連写機能といった付加機能を搭載する例が多く見られる。これらの付加機能は、フレーム間の動き量や、フレームに特定パターンが含まれているか否かを広範囲に検出する必要があり、フレームメモリなどに対するアクセス帯域を大幅に増加させる要因となる。

動画像を記録しながら静止画像を記録する機能は、ＨＤ動画像のデータレート（数１０ＭＢ(Mega Byte)／ｓｅｃ）や、静止画像のＲＡＷデータの画素数が１０００万画素を超えることなどを考えると、非常に大きなメモリアクセス帯域が要求されることが予想される。そのため、上述した付加機能に対して画像データのアクセスを行うメモリを共用してシステム化する場合、各処理それぞれに対するメモリアクセス帯域を保証することが困難となるおそれがあり、メモリアクセス帯域が破綻した場合には、全ての機能の処理が中断されてしまう可能性があるという問題点があった。

したがって、この発明の目的は、動画像を記録しながら静止画像を記録する場合において、動画像の処理と静止画像の処理とで共有するメモリへのアクセス量を減らし、メモリアクセス帯域の破綻を抑制することができるような撮像装置、撮像装置の制御方法および撮像装置の制御プログラム、ならびに、データ処理装置、データ処理方法およびデータ処理プログラムを提供することにある。

上述した課題を解決するため、第１の発明は、所定タイミング毎に入力される撮像信号を一時的に溜め込むバッファ部からの撮像信号の読み出しを制御するバッファ制御部を備え、バッファ制御部は、動画データに対する処理が行われると共に、静止画データに対する処理が動画データの処理と並列的に行われる場合、バッファ部のデータ格納状態と、バッファ部から読み出された撮像信号に対して所定タイミング毎の第１の処理を行い、動画データの出力が可能な第１のデータ処理部から出力される、バッファ部からの撮像信号の転送を要求する第１の転送要求と、バッファ部から読み出された撮像信号に対して第２の処理を行い、静止画データの出力が可能な第２のデータ処理部から出力される、バッファ部からの撮像信号の転送を要求する第２の転送要求とに基づき、バッファ部から連続性を損なわないように撮像信号を読み出し可能か否かを判断するデータ処理装置である。

所定タイミング毎に入力される撮像信号を一時的に溜め込むバッファ部からの撮像信号の読み出しを制御するバッファ制御のステップを有し、バッファ制御のステップは、動画データに対する処理が行われると共に、静止画データに対する処理が動画データの処理と並列的に行われる場合、バッファ部のデータ格納状態と、バッファ部から読み出された撮像信号に対して所定タイミング毎の第１の処理を行い、動画データの出力が可能な第１のデータ処理部から出力される、バッファ部からの撮像信号の転送を要求する第１の転送要求と、バッファ部から読み出された撮像信号に対して第２の処理を行い、静止画データの出力が可能な第２のデータ処理部から出力される、バッファ部からの撮像信号の転送を要求する第２の転送要求とに基づき、バッファ部から連続性を損なわないように撮像信号を読み出し可能か否かを判断するデータ処理方法である。

所定タイミング毎に入力される撮像信号を一時的に溜め込むバッファ部からの撮像信号の読み出しを制御するバッファ制御のステップを有し、バッファ制御のステップは、動画データに対する処理が行われると共に、静止画データに対する処理が動画データの処理と並列的に行われる場合、バッファ部のデータ格納状態と、バッファ部から読み出された撮像信号に対して所定タイミング毎の第１の処理を行い、動画データの出力が可能な第１のデータ処理部から出力される、バッファ部からの撮像信号の転送を要求する第１の転送要求と、バッファ部から読み出された撮像信号に対して第２の処理を行い、静止画データの出力が可能な第２のデータ処理部から出力される、バッファ部からの撮像信号の転送を要求する第２の転送要求とに基づき、バッファ部から連続性を損なわないように撮像信号を読み出し可能か否かを判断するデータ処理方法をコンピュータ装置に実行させる
データ処理プログラムである。

また、第４の発明は、撮像素子から出力された撮像信号に基づく動画データに対する処理を行うと共に、撮像信号に基づく静止画データに対する処理を動画データの処理と並列的に行えるようにした撮像装置において、光を光電変換で電気信号に変換し撮像信号として出力する撮像部と、撮像部から出力された撮像信号を一時的に溜め込むバッファ部からの読み出しを制御するバッファ制御部と、第１の転送要求を出力し、第１の転送要求に応じてバッファ部から読み出された撮像信号に対してフレームタイミング毎の処理を行い動画データの出力が可能な第１の信号処理部と、第２の転送要求を出力し、第２の転送要求に応じてバッファ部から読み出された撮像信号に対して所定のタイミングで処理を行い静止画データを出力する第２の信号処理部とを有し、バッファ制御部は、バッファ部のデータ格納状態と、第１の転送要求と、第２の転送要求とに基づき、バッファ部から連続性を損なわないように撮像信号を読み出し可能か否かを判断する撮像装置である。

また、第５の発明は、撮像素子から出力された撮像信号に基づく動画データに対する処理を行うと共に、撮像信号に基づく静止画データに対する処理を動画データの処理と並列的に行えるようにした撮像装置の制御方法において、光を光電変換で電気信号に変換して撮像部から出力された撮像信号を一時的にバッファ部に溜め込むステップと、バッファ部からの読み出しを制御するバッファ制御のステップと、第１の転送要求を出力し、第１の転送要求に応じてバッファ部から読み出された撮像信号に対してフレームタイミング毎の処理を行い動画データの出力が可能な第１の信号処理のステップと、第２の転送要求を出力し、第２の転送要求に応じてバッファ部から読み出された撮像信号に対して所定のタイミングで処理を行い静止画データを出力する第２の信号処理のステップとを有し、バッファ制御のステップは、バッファ部のデータ格納状態と、第１の転送要求と、第２の転送要求とに基づき、バッファ部から連続性を損なわないように撮像信号を読み出し可能か否かを判断する撮像装置の制御方法である。

また、第６の発明は、撮像素子から出力された撮像信号に基づく動画データに対する処理を行うと共に、該撮像信号に基づく静止画データに対する処理を該動画データの処理と並列的に行えるようにした撮像装置の制御方法をコンピュータに実行させる撮像装置の制御プログラムにおいて、撮像装置の制御方法は、光を光電変換で電気信号に変換して撮像部から出力された撮像信号を一時的にバッファ部に溜め込むステップと、バッファ部からの読み出しを制御するバッファ制御のステップと、第１の転送要求を出力し、該第１の転送要求に応じてバッファ部から読み出された撮像信号に対してフレームタイミング毎の処理を行い動画データの出力が可能な第１の信号処理のステップと、第２の転送要求を出力し、該第２の転送要求に応じてバッファ部から読み出された撮像信号に対して所定のタイミングで処理を行い静止画データを出力する第２の信号処理のステップとを有し、バッファ制御のステップは、バッファ部のデータ格納状態と、第１の転送要求と、第２の転送要求とに基づき、バッファ部から連続性を損なわないように撮像信号を読み出し可能か否かを判断する撮像装置の制御プログラムである。

上述したように、第１、第２および第３の発明は、第１のデータ処理は、第１の転送要求を出力し、第１の転送要求に応じて、所定タイミング毎に入力される撮像信号を一時的に溜め込むバッファ部から読み出された撮像信号に対して所定タイミング毎の第１の処理を行い動画データの出力が可能とされ、第２のデータ処理は、第２の転送要求を出力し、第２の転送要求に応じてバッファ部から読み出された撮像信号に対して第２の処理を行い静止画データを出力するようにされ、バッファ部のデータ格納状態と、第１の転送要求と、第２の転送要求とに基づき、バッファ部から連続性を損なわないようにデータを読み出し可能か否かを判断するようにしているため、例えば第１のデータ処理により出力される動画データと、第２のデータ処理により出力される静止画データとが一時的に格納される外部メモリに対するアクセスに破綻が生じるような場合に、動画データを優先的に出力させるように制御できる。

また、第４、第５および第６の発明は、撮像素子から出力された撮像信号に基づく動画データに対する処理を行うと共に、撮像信号に基づく静止画データに対する処理を動画データの処理と並列的に行えるようにするに当たり、光を光電変換で電気信号に変換して撮像部から出力された撮像信号を一時的にバッファ部に溜め込み、第１の信号処理は、第１の転送要求を出力し、第１の転送要求に応じてバッファ部から読み出された撮像信号に対してフレームタイミング毎の処理を行い動画データの出力が可能とされ、第２の信号処理は、第２の転送要求を出力し、第２の転送要求に応じてバッファ部から読み出された撮像信号に対して所定のタイミングで処理を行い静止画データを出力するようにされ、バッファ部のデータ格納状態と、第１の転送要求と、第２の転送要求とに基づき、バッファ部から連続性を損なわないように撮像信号を読み出し可能か否かを判断するようにしているため、例えば第１の信号処理により出力される動画データと、第２の信号処理により出力される静止画データとが一時的に格納される外部メモリに対するアクセスに破綻が生じるような場合に、動画データを優先的に出力させるように制御できる。

第１、第２および第３の発明は、第１のデータ処理は、第１の転送要求を出力し、第１の転送要求に応じて、所定タイミング毎に入力される撮像信号を一時的に溜め込むバッファ部から読み出された撮像信号に対して所定タイミング毎の第１の処理を行い第動画データの出力が可能とされ、第２のデータ処理は、第２の転送要求を出力し、第２の転送要求に応じてバッファ部から読み出された撮像信号に対して第２の処理を行い静止画データを出力するようにされ、バッファ部のデータ格納状態と、第１の転送要求と、第２の転送要求とに基づき、バッファ部から連続性を損なわないようにデータを読み出し可能か否かを判断するようにしているため、例えば第１のデータ処理により出力される動画データと、第２のデータ処理により出力される静止画データとが一時的に格納される外部メモリに対するアクセスに破綻が生じるような場合に、動画データを優先的に出力させるように制御できる効果がある。

また、第４、第５および第６の発明は、撮像素子から出力された撮像信号に基づく動画データに対する処理を行うと共に、撮像信号に基づく静止画データに対する処理を動画データの処理と並列的に行えるようにするに当たり、光を光電変換で電気信号に変換して撮像部から出力された撮像信号を一時的にバッファ部に溜め込み、第１の信号処理は、第１の転送要求を出力し、第１の転送要求に応じてバッファ部から読み出された撮像信号に対してフレームタイミング毎の処理を行い動画データの出力が可能とされ、第２の信号処理は、第２の転送要求を出力し、第２の転送要求に応じてバッファ部から読み出された撮像信号に対して所定のタイミングで処理を行い静止画データを出力するようにされ、バッファ部のデータ格納状態と、第１の転送要求と、第２の転送要求とに基づき、バッファ部から連続性を損なわないように撮像信号を読み出し可能か否かを判断するようにしているため、例えば第１の信号処理により出力される動画データと、第２の信号処理により出力される静止画データとが一時的に格納される外部メモリに対するアクセスに破綻が生じるような場合に、動画データを優先的に出力させるように制御できる効果がある。

以下、この発明の実施の第１の形態を、図面を参照しながら説明する。図１は、この発明の実施の第１の形態に適用可能な撮像装置１の一例の構成を示す。この撮像装置１は、光学系１０を介して入射された光を撮像素子１１で受光して電気信号に変換して撮像信号とし、この撮像信号を信号処理部２０で、信号処理部２０に接続される外部メモリであるＲＡＭ３５を用いて所定に処理して記録媒体３７に記録する。撮像装置１は、撮像信号を、動画データとして記録媒体３７に記録すると共に、撮影指示に応じたタイミングで取り込まれた静止画データとしても、記録媒体３７に記録することができるようにされている。

なお、以下では、簡単のために、撮像素子１１の有効画素数を水平２５６０画素、垂直１９２０画素とする。動画は、水平および垂直方向をそれぞれ１／４に縮小した水平６４０画素、垂直４８０画素を画枠とし、静止画は、撮像素子１１の有効画素をそのまま用いて、画枠を水平２５６０画素、垂直１９２０画素とする。

光学系１０は、レンズ系、絞り機構、フォーカス機構ズーム機構などを有し、後述するＣＰＵ(Central Processing Unit)３０の命令に基づく駆動部１３の制御やマニュアル操作などにより、絞りやフォーカス、ズームなどが制御されるようになっている。被写体からの光が光学系１０を介して撮像素子１１に入射される。撮像素子１１は、例えばＣＣＤ(Charge Coupled Device)からなり、入射された光を光電変換により電気信号に変換し、撮像信号としてライン順次で出力する。なお、撮像素子１１は、ＣＣＤに限らず、例えばＣＭＯＳ(Complementary Metal-Oxide Semiconductor)イメージャを用いてもよい。

フロントエンド（Ｆ／Ｅ）部１２は、例えばノイズ抑圧部、自動利得制御部およびＡ／Ｄ変換部を有し、撮像素子１１からアナログ信号として出力された撮像信号に対し、ノイズ抑圧部で例えば相関二重サンプリング処理を施してノイズを抑圧し、自動利得制御部でゲインを制御する。そして、Ａ／Ｄ変換部でディジタル撮像信号に変換して出力する。このディジタル撮像信号は、撮像素子１１の各画素それぞれに直接的に対応するデータからなるＲＡＷデータである。

なお、後述するタイミングジェネレータ１４により出力されるタイミング信号（クロックパルス）に基づき、撮像素子１１が、例えばフレームタイミング毎に光電変換が行われ撮像信号が出力されるように制御されると共に、フロントエンド部１２が、フレームタイミングに同期して処理が行われるように制御される。

信号処理部２０は、カメラ信号処理部２２、拡張画像処理部２３、解像度変換部２４、静止画コーデック（ＣＯＤＥＣ）部２５、動画コーデック部２６、表示制御部２７、ＣＰＵ３０、外部インターフェイス（Ｉ／Ｆ）部３３、メモリコントローラ３４および記録再生制御部３６の各処理ブロックを含み、これら各処理ブロックがそれぞれバス２１を介して接続される。

カメラ信号処理部２２は、フロントエンド部１２から出力されたＲＡＷデータが入力される。カメラ信号処理部２２は、入力されたＲＡＷデータを所定に補正し、バッファメモリを利用して、クロックをセンサ駆動系のクロックから信号処理部２０の内部クロックに乗せ換える。クロックが乗せ換えられたＲＡＷデータは、後段の動画処理に適した形式のデータに変換される。

また、ＲＡＷデータは、静止画の記録を行う場合には、所定に圧縮符号化されバス２１にも送り出される。カメラ信号処理部２２は、バス２１を介して供給される圧縮符号化されたＲＡＷデータの圧縮符号を復号して伸長し、さらに後段の静止画処理に適した形式のデータに変換する。

カメラ信号処理部２２は、さらに、ベースバンドの動画データや静止画データを拡大および／または縮小し、動画データの記録や出力画像データとして必要な解像度（サイズ）に変換する。この例では、動画データの記録のためには、撮像素子１１の有効画素に従い解像度が２５６０画素×１９２０画素のデータを、解像度が６４０画素×４８０画素のデータに縮小する。静止画記録については、この例では、この段階での解像度の変換は行わない。このように解像度変換がなされたベースバンドの動画データや静止画データがカメラ信号処理部２２から出力される。

ここで、ベースバンドのデータとは、例えばアナログ信号がディジタル信号に変換されたデータであり、圧縮符号化や変調などの各種処理が施されていない状態のデータを指す。この例では、撮像素子１１から出力されたアナログ信号がフロントエンド部１２によってディジタル信号に変換されたディジタル撮像信号のことをベースバンドのデータと適宜称する。

拡張画像処理部２３は、例えば被写体認識処理や超高速連写など、拡張的な画像処理を行う。被写体認識処理は、例えば予め学習されたパターン辞書などを用いて、画像から顔らしき部分を抽出する。超高速連写は、通常の動画データのフレームレートの６０ｆｐｓ(frame per second)に対し、例えば２４０ｆｐｓといった非常に高いフレームレートで撮像素子１１における電荷読み出しおよび撮像信号の出力を行うものである。超高速連写機能では、通常の動画データに比べて高速のデータ転送能力が要求されるため、処理部を別途、設けることが好ましい。

解像度変換部２４は、ベースバンドの動画データや静止画データの解像度を、後述する表示装置２８に表示するのに適した解像度に変換したり、記録モードに応じた解像度に変換する処理を行う。

静止画コーデック部２５は、ベースバンドの静止画データに対する圧縮符号化処理と、圧縮符号化された静止画データに対する復号処理とを行う。圧縮符号化方式の種類は、特に問わないが、例えばＪＰＥＧ(Joint Photographic Experts Group)方式が適用される。すなわち、静止画コーデック部２５は、供給された静止画データのフレームを例えば８×８画素といった所定サイズの符号化ブロックに分割し、この符号化ブロック毎にＤＣＴを行う。そして、ＤＣＴにより得られたＤＣＴ係数を所定の量子化スケールで量子化する。量子化されたデータは、ハフマン符号化などの可変長符号化によりさらに圧縮されて出力される。静止画コーデック部２５による圧縮静止画データの復号処理は、圧縮符号化処理の逆の処理を以て行われる。

動画コーデック部２６は、ベースバンドの動画データに対する圧縮符号化処理と、圧縮符号化された動画データに対する復号処理とを行う。圧縮符号化方式の種類は特に問わないが、例えばＭＰＥＧ２(Moving Pictures Experts Group 2)方式や、ＩＴＵ−Ｔ(International Telecommunication Union-Telecommunication Standarization Sector)勧告Ｈ．２６４あるいはＩＳＯ(International Organization for Standarization)／ＩＥＣ(International Electrotechnical Commission)国際標準１４４９６−１０（ＭＰＥＧ−４パート１０）Advanced Video Coding（以下、Ｈ．２６４｜ＡＶＣと略称する）方式などを適用することができる。以下では、動画コーデック部２６は、圧縮符号化方式としてＭＰＥＧ２方式を適用するものとする。

動画コーデック部２６は、例えば、供給された動画データのフレームを例えば８×８画素といった所定サイズの符号化ブロックに分割し、この符号化ブロック毎にＤＣＴを行う。そして、ＤＣＴにより得られたＤＣＴ係数を所定の量子化スケールで量子化する。また、動画コーデック部２６は、供給された動画データについて、動き補償を用いた予測符号化によるフレーム間符号化も行う。フレーム内符号化およびフレーム間符号化を施されたデータは、ハフマン符号化などの可変長符号化によりさらに圧縮されて出力される。動画コーデック部２６による圧縮動画データの復号処理は、圧縮符号化処理の逆の処理を以て行われる。

表示制御部２７は、供給された画像データを表示装置２８に表示可能な形式の信号に変換する。表示装置２８は、例えばＬＣＤ(Liquid Crystal Display)からなり、撮像装置１におけるビューファインダとして用いられると共に、記録媒体３７から再生された画像のモニタとして用いられる。また、表示制御部２７は、後述するＣＰＵ３０から供給される命令に基づき、表示装置２８に文字や図形を表示させるための表示信号を生成する。表示信号に応じた表示も、表示装置２８に表示される。例えば、撮像装置１に対する各種設定を行うための設定画面や、撮像装置１の各種状態を示す表示、カーソル表示などが表示装置２８に所定に表示される。

ＣＰＵ３０に、ＲＯＭ(Read Only Memory)３１と入力デバイス３２とが接続される。ＣＰＵ３０は、図示されないＲＡＭ(Random Access Memory)をワークメモリとして用い、ＲＯＭ(Read Only Memory)３１に予め記憶されたプログラムに従いこの撮像装置１の全体の動作を制御する。

例えば、ＣＰＵ３０は、バス２１を介して信号処理部２０の各部とコマンドやデータのやりとりを行い、信号処理部２０の各部を制御する。また、ＣＰＵ３０は、上述した入力デバイス３２に対する操作に応じた制御信号や撮像信号などに基づき、光学系１０のフォーカス、絞り、ズームなどを制御するための制御信号を生成し、駆動部１３に供給する。駆動部１３は、供給された制御信号に応じて光学系１０の各部の制御を行う。また、ＣＰＵ３０は、タイミングジェネレータ１４に対して、所定のクロックパルスを出力するようにコマンドを出す。

タイミングジェネレータ１４は、ＣＰＵ３０から供給されたこのコマンドに応じて、例えばフレーム同期信号や水平同期信号、垂直同期信号をといった、撮像素子１１から出力された撮像信号に対する処理に必要なタイミング信号を生成する。

入力デバイス３２は、この撮像装置１を操作するために用いられる各種の操作子が設けられ、各操作子に対する操作に応じた制御信号を出力する。例えば、電源部３９による電源供給のＯＮ／ＯＦＦを切り替える電源キー、撮影モードや記録モードといった撮像装置１における動作モードを切り換えるモード切り換えキー、カーソル移動のためのキーなどが設けられる。さらに、入力デバイス３２には、この撮像装置１で静止画を撮影する際に用いられるシャッタボタンや、動画や静止画を撮影する際に光学系１０のフォーカス、絞り、ズームなどを操作するための操作子なども設けられる。

外部Ｉ／Ｆ３３は、この撮像装置１と外部の機器との間でのデータのやりとりを制御する。

メモリコントローラ３４に対して、ＲＡＭ３５が接続される。ＲＡＭ３５は、例えばメモリバスクロックに同期して動作するＳＤＲＡＭ(Synchronous Dynamic Random-Access Memory)であって、データの入出力を所定のデータ長（バースト長）単位でバースト転送により行うことができる。ＲＡＭ３５は、バス２１に接続される各部と共用して用いられる。メモリコントローラ３４は、このＲＡＭ３５に対するアクセス制御を行う。バス２１に接続される各処理ブロックにおいて、ＲＡＭ３５に対する転送要求が発生した場合には、バス２１からメモリコントローラ３４に対して転送要求が渡され、メモリコントローラ３４は、この転送要求に従いＲＡＭ３５へのアクセスを発生させる。

記録再生制御部３６は、記録媒体３７に対するデータの記録制御や、記録媒体３７に記録されたデータの再生制御を行う。記録媒体３７としては、例えば着脱可能な不揮発性メモリを用いることができる。また、記録媒体３７として記録可能なタイプの光ディスクを用いることもできる。さらに、着脱可能または撮像装置１に内蔵されるハードディスクを記録媒体３７として用いることもできる。勿論、記録媒体３７は、従来から動画データの記録に用いられる磁気テープを適用することも可能である。

図２は、カメラ信号処理部２２の一例の構成を示す。カメラ信号処理部２２は、ＲＡＷ補正部５０、スイッチ部５１、信号処理部５２および解像度変換部５３を有すると共に、ＲＡＷ圧縮部５４およびＲＡＷ伸長部５６、ならびに、バスＩ／Ｆ５５、５７および５８を有する。

バスＩ／Ｆ５５、５７および５８は、ＲＡＭ３５のデータを一時的に溜め込むことができるバッファメモリを有する。バスＩ／Ｆ５５、５７および５８は、このバッファメモリにバースト長分のデータが溜め込まれたら、バッファメモリからバースト長単位でデータを読み出しバス２１に送り出すことができるようにされている。また。バスＩ／Ｆ５５、５７および５８は、ＲＡＭ３５からバースト長単位で読み出されたデータを一時的にバッファに溜め込み、所定のタイミングで出力することができるようにされている。

ＲＡＷ補正部５０は、補正処理部５０Ａおよび同期乗り換え部５０Ｂを有する。補正処理部５０Ａは、供給されたＲＡＷデータに対して欠陥補正やレンズ補正などの各種補正処理を施すと共に、ＲＡＷデータの配列に対してデモザイク処理を施し、後段での補正処理や色変換処理に適したデータ配列に並び替える。

同期乗り換え部５０Ｂは、センサ駆動系のクロックをシステム系のクロックへの乗り換え処理を行う。すなわち、カメラ信号処理部２２に供給されるデータは、撮像素子１１の出力であって、撮像素子１１から電荷を読み出す際の駆動クロックに同期している。一方、カメラ信号処理部２２から出力されるデータは、信号処理部２０内部のクロックに同期している必要がある。同期乗り換え部５０Ｂは、バッファメモリを有し、センサ駆動系のクロックに従いバッファメモリに入力データを書き込んでいき、システム系のクロックに従いバッファメモリからデータを読み出す。バッファメモリからのデータ読み出しは、同期乗り換え部５０Ｂに供給される転送要求に応じて行われる。

信号処理部５２からの転送要求Ａに応じて、同期乗り換え部５０ＢのバッファメモリからＲＡＷデータが読み出され、スイッチ部５１の一方の端子５１Ａを介して信号処理部５２に供給される。信号処理部５２は、ＲＡＷデータを後段の処理に適した形式の画像信号に変換する。例えば、信号処理部５２は、ＲＡＷデータを輝度信号Ｙと色差信号Ｃｂ／ＣｒとからなるＹ／Ｃ信号に変換する。

信号処理部５２は、さらに、ＲＡＷデータが変換された画像信号に対してホワイトバランス処理、ガンマ補正処理、エッジ強調処理など所定の画質補正処理を施す。なお、一般的に、動画像と静止画像とでは、求められる画質が異なると考えられている。そこで、信号処理部５２は、例えばＣＰＵ３０の制御により、動画データに対する処理を行う場合と、静止画データに対する処理を行う場合とで、これらの画質補正処理を行う際のパラメータを切り替えることができるようにされている。

信号処理部５２で信号処理された画像信号は、解像度変換部５３で例えば動作モードに応じた解像度に解像度変換され、バスＩ／Ｆ５８からの転送要求Ｃに応じて、バスＩ／Ｆ５８を介してバス２１に送り出される。

信号処理部５２からの転送要求Ａは、バスＩ／Ｆ５７にも供給される。バスＩ／Ｆ５７は、この転送要求Ａに応じて所定のタイミングで、例えばバス２１を介してメモリコントローラ３４に対してＲＡＭ３５に格納される圧縮ＲＡＷデータの読み出しを要求し、この要求に応じてＲＡＭ３５から読み出され転送された圧縮ＲＡＷデータを、ＲＡＷ伸長部５６に供給する。ＲＡＷ伸長部５６は、バスＩ／Ｆ５７を介して供給されたこの圧縮ＲＡＷデータに対し、後述するＲＡＷ圧縮部５４と逆の処理により復号処理を施し、伸長する。スイッチ部５１で端子５１Ｂが選択され、ＲＡＷ伸長部５６の出力は、スイッチ部５１の端子５１Ｂを介して信号処理部５２に供給される。

なお、信号処理部５２および解像度変換部５３の処理は、バスＩ／Ｆ５８から供給される転送要求Ｃと、信号処理部５２が出力する転送要求Ａに対する応答信号に基づき行われる。すなわち、信号処理部５２および解像度変換部５３では、出力相手側からのデータ転送要求と、入力相手側からのデータ出力応答とが共に有効となったときに、データの転送および信号処理が行われる。

バスＩ／Ｆ５５からの転送要求Ｂに応じて、同期乗り換え部５０ＢのバッファメモリからＲＡＷデータが読み出され、ＲＡＷ圧縮部５４に供給される。ＲＡＷ圧縮部５４は、供給されたＲＡＷデータを圧縮符号化して出力する。ＲＡＷ圧縮部５４では、より画質劣化の少ない圧縮符号化方式を適用すると、好ましい。

例えば、特開２００５−３１１７４３号公報に記載されるような、ガンマ曲線に似た変換カーブに基づき変換前データをよりビット長の短い変換後のデータに対応付ける変換テーブルを作成し、この変換テーブルを参照することでデータ長を短縮して圧縮符号化を行う方法を用いることができる。また、特開２００６−３５２５０９号公報に記載されるような、ガンマ曲線に似た変換カーブに基づく変換テーブルを用いた圧縮符号化方式に対し、さらにＤＰＣＭ(Defferential Pulse Code Modulation)方式による圧縮符号化方式を加えた方法を用いてもよい。これらの方法で圧縮符号化されたデータに対して、例えばハフマン符号などを用いてさらに圧縮符号化を行うようにしてもよい。

なお、ＲＡＷ圧縮部５４における圧縮符号化処理は、ＲＡＷデータの転送に対してリアルタイム性を重視してなされ、例えば、撮像素子１１の読み出し特性に基づきライン順次で行われる。これに限らず、ＲＡＷ圧縮部５４に複数ラインを格納可能なラインメモリを設け、水平８画素×垂直８画素からなるブロック単位で、静止画データを水平方向に順次走査して行うようにもできる。

ＲＡＷ圧縮部５４で圧縮符号化された圧縮ＲＡＷデータは、バスＩ／Ｆ５５を介してバス２１に送り出される。

このような構成による撮像装置１における一例の動作について、概略的に説明する。動画データの記録を主に行う動画データ記録モード時には、被写体からの光が光学系１０を介して撮像素子１１に入射され、光電変換により電気信号に変換され撮像信号としてフレームタイミング毎に出力される。撮像信号は、フロントエンド部１２によりノイズ抑圧処理やゲイン制御などの所定の処理を施され、さらにＡ／Ｄ変換されてＲＡＷデータとしてフレームタイミング毎に出力される。フロントエンド部１２から出力されたＲＡＷデータは、信号処理部２０に入力され、カメラ信号処理部２２に供給される。

ＲＡＷデータは、カメラ信号処理部２２において、補正処理部５０Ａで補正処理され、同期乗り換え部５０Ｂでセンサ駆動系クロックでバッファメモリに書き込まれる。信号処理部５２から出力された転送要求Ａに応じて、バッファメモリからＲＡＷデータが読み出される。このとき、バッファメモリからのデータの読み出しがシステム系クロックに従い行われ、クロックの乗せ換えが行われる。同期乗り換え部５０Ｂから出力されたＲＡＷデータは、スイッチ部５１を介して信号処理部５２に供給され、ベースバンドの動画データに変換され、解像度変換部５３で所定に解像度変換される。転送要求Ｃに応じて解像度変換部５３から動画データが出力され、バスＩ／Ｆ５８によりバス２１に転送され、ＲＡＭ３５に書き込まれる。

ＲＡＭ３５に書き込まれた動画データは、所定にＲＡＭ３５から読み出されバス２１を介して解像度変換部２４および動画コーデック部２６に供給される。解像度変換部２４は、供給された動画データの解像度を例えば表示装置２８に表示するのに適した解像度に変換する。解像度変換部２４で解像度が変換された動画データは、バス２１を介して表示制御部３７に供給され、記録モニタ画像として表示装置２８に表示される。

ＲＡＭ３５に書き込まれた動画データは、バス２１を介して動画コーデック部２６にも供給される。動画コーデック部２６は、例えばＭＰＥＧ２方式により圧縮符号化を行う。圧縮動画データは、バス２１を介してメモリコントローラ３４に供給され、ＲＡＭ３５に格納される。る。解像度変換された動画データは、バス２１を介してメモリコントローラ３４に供給され、ＲＡＭ３５に格納される。

なお、ＲＡＭ３５に書き込まれた動画データをバス２１を介して拡張画像処理部２３に供給して所定に画像処理を施し、その後、解像度変換部２４に供給するようにしてもよい。これに限らず、解像度変換部２４で解像度変換された動画データをバス２１を介して拡張画像処理部２３に供給し、画像処理を施すようにしてもよい。

記録再生制御部３６は、ＲＡＭ３５に所定量以上の圧縮動画データが溜め込まれると、ＲＡＭ３５から、例えば記録媒体３７の記録単位毎に圧縮動画データを読み出し、記録媒体３７に記録する。

動画データの記録中に静止画記録を行う場合には、先ず、例えば動画の記録中に、静止画の記録を指示するために、入力デバイス３２として設けられたシャッタボタンが押下される。シャッタボタンの押下に応じた制御信号が入力デバイス３２からＣＰＵ３０に供給される。ＣＰＵ３０は、この制御信号に基づき、撮像装置１の各部を、静止画記録を行うように制御する。

例えば、シャッタボタンが押下された直後のフレームタイミングのＲＡＷデータに基づく静止画データが取り込まれ記録される。すなわち、カメラ信号処理部２２において、シャッタボタンが押下されタイミングに対応するＲＡＷデータに対し、補正処理部５０Ａで所定に補正処理を施し同期乗り換え部５０Ｂでセンサ駆動系クロックでバッファメモリに書き込まれる。バッファメモリに書き込まれたＲＡＷデータは、転送要求Ｂに応じてシステム系クロックで読み出されてクロックが乗せ換えられ、ＲＡＷ圧縮部５４に供給される。ＲＡＷ圧縮部５４で圧縮符号化された圧縮ＲＡＷデータは、バスＩ／Ｆ５５を介してバス２１に送り出され、バス２１およびメモリコントローラ３４を介してＲＡＭ３５に格納される。

ＲＡＭ３５に格納された圧縮ＲＡＷデータは、所定のタイミングでＲＡＭ３５から読み出され、カメラ信号処理部２２に供給される。カメラ信号処理部２２に供給された圧縮ＲＡＷデータは、転送要求Ａに応じてバスＩ／Ｆ５７を介してＲＡＷ伸長部５６に供給され、圧縮符号を伸長される。伸長されたＲＡＷデータは、信号処理部５２でベースバンドの静止画データに変換され、解像度変換部５３で解像度変換を施され、バスＩ／Ｆ５８を介してバス２１に転送され、メモリコントローラ３４を介してＲＡＭ３５に書き込まれる。

ＲＡＭ３５に書き込まれたＲＡＷデータは、所定に読み出されてバス２１を介して静止画コーデック部２５に供給され、例えばＪＰＥＧ方式に従って圧縮符号化される。圧縮静止画データは、バス２１を介して記録再生制御部３６に供給され、動画データの記録が行われていないタイミングで記録媒体３７に記録される。圧縮静止画データを一旦ＲＡＭ３５に格納し、記録媒体３７に対して動画データの記録が行われていないタイミングでＲＡＭ３５から圧縮静止画データを読み出して記録媒体３７に記録するようにしてもよい。

なお、動画データの記録中に静止画データの記録を行う場合、動画データの記録を停止させないために、カメラ信号処理部２２におけるＲＡＷデータの圧縮符号化処理や、圧縮ＲＡＷデータのＲＡＭ３５に対する書き込みは、撮像素子１１の出力に同期してリアルタイムに行う必要がある。

一方、ＲＡＭ３５に格納された圧縮ＲＡＷデータの読み出しや、読み出されたＲＡＷデータのカメラ信号処理部２２における伸長処理および信号処理、静止画コーデック部２５における圧縮符号化処理、圧縮静止画データの記録再生制御部３６への供給などは、例えば撮像素子１１における駆動信号のブランキング期間といった、バス２１が混雑していないタイミングで行う。なお、静止画データに対する信号処理は、リアルタイム性が要求されないため、ＣＰＵ３０におけるソフトウェア処理や、汎用ＤＳＰ(Digital Signal Processor)を用いて低速で信号処理することが可能である。

次に、カメラ信号処理部２２における処理について説明する。図３は、カメラ信号処理部２２の動作モード毎のデータパスの例を示す。なお、図３において、メモリコントローラ３４は、省略されている。図３Ａは、動画データ記録モード時の一例のデータパスを示す。動画データ記録モードでは、撮像素子１１から出力されフロントエンド部１２を介してカメラ信号処理部２２に供給されたＲＡＷデータに対する動画データとしての処理と、当該動画データを表示装置２８に対して表示させるモニタリング処理とが行われる。動画データ記録モードでは、これらの処理がフレームタイミング毎の処理として行われる。

動画データ記録モードでは、スイッチ部５１において端子５１Ａが選択され、図３Ａに太線で例示されるように、ＲＡＷ補正部５０から例えばフレームタイミング毎に出力されるＲＡＷデータは、信号処理部５２からの転送要求Ａに応じてスイッチ部５１を介して信号処理部５２および解像度変換部５３に供給される。バスＩ／Ｆ５８からの転送要求Ｃに応じて解像度変換部５３からデータが出力され、このデータは、バスＩ／Ｆ５８を介してバス２１に転送され、ＲＡＭ３５に書き込まれる。ＲＡＭ３５に書き込まれたデータは、バス２１を介して後段の動画コーデック部２６や表示制御部２７に供給される。

この、動画データ記録モードにおいては、ＲＡＷ補正部５０での処理から、ＲＡＭ３５に対するデータの書き込みまでを、リアルタイムに行う必要がある。なお、ここでいうリアルタイムは、データの時間的な連続性を損ねることなく処理が可能であることをいうものとする。より具体的には、動画データの場合、フレームの連続性が損なわれることなく、データ伝送および各部におけるデータ処理が行われる場合に、リアルタイム処理が成立する。

図３Ｂおよび図３Ｃは、静止画データ記録モード時の一例のデータパスを示す。静止画データ記録モードにおいては、撮像素子１１からの撮像信号読み出しに伴うデータパスと、撮像信号が変換されたＲＡＷデータに対する信号処理を行うデータパスとで異なる。

図３Ｂは、撮像信号読み出しに伴う一例のデータパスを示す。この場合、図３Ｂに太線で例示されるように、バスＩ／Ｆ５５からの転送要求Ｂに応じてＲＡＷ補正部５０からＲＡＷデータが出力され、このＲＡＷデータがＲＡＷ圧縮部５４で所定に圧縮符号化されてバスＩ／Ｆ５５に供給される。この圧縮ＲＡＷデータは、バスＩ／Ｆ５５からバス２１に転送され、ＲＡＭ３５に書き込まれる。

図３Ｃは、このＲＡＭ３５に書き込まれた圧縮ＲＡＷデータに対する信号処理を行う際の一例のデータパスを示す。ＲＡＭ３５に書き込まれた圧縮ＲＡＭデータが所定に読み出される。ＲＡＭ３５から読み出された圧縮ＲＡＷデータは、バス２１およびバスＩ／Ｆ５７を介してＲＡＷ伸長部５６に供給され、端子５１Ｂが選択されたスイッチ部５１を介して信号処理部５２に供給される。ＲＡＷデータは、信号処理部５２および解像度変換部５３で所定に信号処理され、バスＩ／Ｆ５８からの転送要求Ｃに応じて解像度変換部５３から出力され、バスＩ／Ｆ５８およびバス２１を介してＲＡＭ３５に再び書き込まれる。ＲＡＭ３５に書き込まれたＲＡＷデータは、バス２１を介して後段の静止画コーデック部２５などに供給される。

静止画像データに対する処理は、リアルタイム性が要求されないため、ＲＡＭ３５からの圧縮ＲＡＷデータの読み出しは、例えばバス２１やＲＡＭ３５のアクセス帯域に余裕があるタイミングで行うことができる。

次に、カメラ信号処理部２２における処理について、より詳細に説明する。上述したように、同期乗り換え部５０Ｂでは、センサ駆動系のクロックに同期して入力されたＲＡＷデータをバッファメモリに一旦格納し、このバッファメモリからの読み出しをシステム系クロックに同期させて行うことで、クロックの乗せ替えを行っている。バッファメモリは、クロック乗せ換えと、バス２１における瞬間的なアクセス遅延を吸収可能な容量を、少なくとも有しているものとする。バッファメモリからの読み出しが行われない状態で、バッファメモリに対する書き込みが発生すると、バッファメモリがオーバーフローを起こし、バッファ機能が破綻することになる。

このように、バッファメモリに対するＲＡＷデータの読み書きの速度差によりバッファ破綻が発生する例としては、ＲＡＷ圧縮部５４で圧縮符号化された圧縮ＲＡＷデータが送り出されるバス２１において、データ転送量が増大してバス２１が混雑している場合が考えられる。例えばバスＩ／Ｆ５５は、バス２１が圧縮ＲＡＷデータよりも優先度が高いデータの転送で混雑している場合、例えば当該データの転送が終了するまで圧縮ＲＡＷデータをバス２１に送り出す処理を待機する。若しくは、ＲＡＷ圧縮部５４を制御してＲＡＷデータの圧縮処理を停止し、当該データの転送が終了しバッファメモリが空になるのを待機する。

また、ＲＡＷ圧縮部５４がＲＡＷデータの空間周波数成分に応じて圧縮率が変動する可変長符号化を用いてＲＡＷデータの圧縮符号化を行う場合、圧縮符号化するＲＡＷデータの高周波成分が多ければ、圧縮符号化後のデータ量が大きくなってしまう場合が有り得る。このような場合にも、バッファ破綻が発生する可能性がある。

バッファ破綻が発生した可能性がある場合、静止画データの記録を継続するためには、ＲＡＷデータの圧縮符号化処理およびその前段の処理を停止し、バッファメモリが空になるのを待つ必要がある。前段の処理は、例えば撮像素子１１からの撮像信号の出力、フロントエンド部１２からのＲＡＷデータの出力、補正処理部５０Ａにおける補正処理が含まれる。しかしながら、動画データの記録中に静止画データの記録が行われる場合、動画データの記録を連続的に行う必要があるため、これら前段の処理を中止することができない。

そこで、同期乗り換え部５０Ｂがバッファメモリの状態を監視し、バッファの破綻が検知されたら、破綻処理を行う。図４は、このような処理を行うようにされた同期乗り換え部５０Ｂの一例の構成を示す。同期乗り換え部５０Ｂは、バッファメモリ６０と、読み出し制御部６１とからなる。バッファメモリ６０は、先入れ先出し（ＦＩＦＯ：First In, First Out）制御のメモリであって、前処理側から供給される書き込みイネーブル信号を受けて、データの書き込みを行う。読み出し制御部６１は、上述した転送要求Ａおよび転送要求Ｂと、バッファメモリ６０の容量とに基づきバッファメモリ６０に対してデータの読み出し要求を出す。バッファメモリ６０の容量は、例えばバッファメモリが満杯（フル）状態および空（エンプティ）状態の何れかを示しているのみでもよい。

読み出し制御部６１は、バッファメモリ６０の容量が空ではなく、且つ、転送要求Ａおよび転送要求Ｂの双方が成立する場合に、バッファメモリ６０への読み出し要求をアクティブとしてバッファメモリ６０からデータを読み出し、信号処理部５２およびＲＡＷ圧縮部５４に対して出力する。

ここで、読み出し制御部６１は、バッファメモリ６０の容量と、転送要求Ａおよび転送要求Ｂとに基づき、バッファが破綻した可能性の有無を判断する。すなわち、バッファメモリ６０の容量がフル状態であって、少なくとも転送要求Ａまたは転送要求Ｂの何れか一方が成立しない場合に、バッファが破綻した可能性があると判断する。なお、転送要求が成立するか否かは、例えばその転送要求により行われるべき処理のタイミングに当該転送要求が読み出し制御部６１に到来しているか否かで判断することが考えられる。

図５は、バッファ破綻判定の一例の処理を示すフローチャートである。先ず、ステップＳ１０でバッファメモリ６０がフル状態であるか否かが判断される。フル状態ではないと判断されれば、処理はステップＳ１１に移行され、例えば通常のデータ転送処理がなされる。

一方、ステップＳ１０でバッファメモリ６０がフル状態であると判断されたら、処理はステップＳ１２に移行され、転送要求Ａおよび転送要求Ｂについて、成立の可否が判定される。転送要求Ａおよび転送要求Ｂが共に成立すると判断されれば、処理はステップＳ１１に移行され、通常の転送処理が行われる。

ステップＳ１２で、転送要求Ａまたは転送要求Ｂが成立しないと判断された場合には、バッファが破綻した可能性があるとされる。このとき、転送要求Ａまたは転送要求Ｂのうち何れか一方のみが成立しないと判断された場合を、部分破綻と呼び（ステップＳ１３）、発生要因を例えば読み出し制御部６１の内部レジスタに保持する（ステップＳ１４）。また、転送要求Ａと転送要求Ｂとが共に成立しないと判断された場合を、完全破綻と呼び（ステップＳ１５）、発生要因を内部レジスタに保持する（ステップＳ１６）。ＣＰＵ３０は、読み出し制御部６１の内部レジスタを読み出すことで、フレーム処理の単位で、部分破綻または完全破綻の何れが発生したか否かを知ることができる。

なお、読み出し制御部６１の内部レジスタに保持される発生要因は、例えば成立しないとされた転送要求の情報を用いることができる。一例として、転送要求Ａが成立しないとされ、部分破綻した可能性があるとされた場合には、転送要求Ａを示す情報を、読み出し制御部６１の内部レジスタに保持することが考えられる。他の例として、転送要求Ａおよび転送要求Ｂが共に成立しないとされ、完全破綻した可能性があるとされた場合には、転送要求Ａおよび転送要求Ｂをそれぞれ示す情報を読み出し制御部６１の内部レジスタに保持することが考えられる。

図６は、転送要求に基づく一例のバッファ破綻判定をまとめて示す。例えば、動画データの記録のみを行っている場合は、転送要求Ａのみが読み出し制御部６１に供給されるはずである。記録モードが動画データ記録モードであって、バッファメモリ６０の容量がフル状態のときに、転送要求Ａが読み出し制御部６１に供給されない場合は、バッファが破綻した可能性があると判断できる。一例として、バス２１が混雑しており、バスＩ／Ｆ５８から転送要求Ｃが出力されない場合、解像度変換部５３で解像度変換を行ったデータをバス２１に送り出すことができないことになる。この場合、信号処理部５２は、次のデータを同期乗り換え部５０Ｂに要求できないため、転送要求Ａを出力しない。

また例えば、静止画データの記録のみを行っている場合は、転送要求Ｂのみが読み出し制御部６１に供給されるはずである。記録モードが静止画データ記録モードであって、バッファメモリ６０がフル状態のときに、転送要求Ｂが読み出し制御部６１に供給されない場合は、バッファが破綻した可能性があると判断できる。一例として、バス２１が混雑している場合にバスＩ／Ｆ５５が転送要求Ｂを出力しないようにすると共に、ＲＡＷ圧縮部５４におけるＲＡＷデータの圧縮符号化処理を停止させるようにできる。バス２１の混雑が緩和されたら転送要求Ｂを出力すると共にＲＡＷ圧縮部５４によるＲＡＷデータの圧縮符号化処理を再開することが考えられる。

さらに例えば、動画データの記録を行い動画データの記録中に静止画データの記録を行う場合には、転送要求Ａおよび転送要求Ｂがそれぞれ読み出し制御部６１に供給されるはずである。記録モードが動画および静止画データ記録モードであって、バッファメモリ６０がフル状態のときに、転送要求Ａまたは転送要求Ｂのうち何れか一方が読み出し制御部６１に供給されない場合には、バッファが部分破綻を起こしている可能性があり、転送要求Ａおよび転送要求Ｂが共に供給されない場合には、バッファが完全破綻を起こしている可能性がある。

このように、この発明の実施の第１の形態では、バッファメモリ６０の状態（フル／エンプティ）と、転送要求Ａおよび転送要求Ｂとを読み出し制御部６１が監視することで、バッファメモリ６０の破綻可能性の有無を判断することができる。

例えば、バス２１の混雑などによりバッファの容量が逼迫して出力側の転送要求が所定のタイミングで供給されない場合、撮像素子１１における読み出しレートに処理が追従できず、動画データの記録などにおいてリアルタイム性が確保できなくなる可能性がある。この場合には、例えば、バス２１若しくはＲＡＭ３５を要因としてシステムエラーという判断になる。この判断を、読み出し制御部６１がバッファメモリ６０の容量と転送要求Ａおよび転送要求Ｂとを監視することで、行うことができる。

また、図３Ａを用いて既に説明したように、動画データの記録中には、表示装置２８に対するモニタ用の動画データの出力、動画コーデック部２６による圧縮符号化処理、拡張画像処理部２３による例えば被写体認識処理なども、バス２１を共通的に用いて行っている。そのため、バス２１に必要とされる帯域は、フレーム単位で変化することが予測される。例えば、動画コーデック部２６でＭＰＥＧ２方式で動画データの圧縮符号化を行う場合、画像の絵柄で圧縮率が変わり、それに伴いフレーム毎にデータレートが変動することが考えられる。

このような、時間的にデータレートが変動するような変動要因も含めて、システム全体として、動画データ記録中に静止画データ記録を行う場合に動画データ記録と静止画データ記録との双方のバス帯域やメモリアクセス帯域を絶対的に確保することは、困難であると考えられる。動画データ記録とＲＡＷデータによる静止画データ記録とでは、ＲＡＷデータによる静止画データ記録の方が１枚の画像データ当たりのデータ転送量が多い可能性がある。そのため、静止画データ記録側において部分破綻が発生することを想定して動作制御することが考えられる。

そこで、静止画データ記録側の部分破綻可能性を検知したときに、動画データ記録側の処理に破綻が発生するのを阻止するための方法を用意することが好ましい。

例えば、転送要求Ａおよび転送要求Ｂのうち、処理を優先したい動作モードに対する救済設定を、上述した読み出し制御部６１の内部レジスタに設定しておく。そして、処理を優先しないとした動作モード側で部分破綻した可能性が検知された場合、データ出力に対する応答は続行させ、救済設定された側の動作モードにおけるデータ転送を継続させる。このようにすることで、バス帯域の突発的な変動などの要因によりバッファが破綻した可能性が生じても、優先度を高く設定した動作モード側の処理を継続的に行うことが可能となる。

一例として、例えば動画データ記録モードを優先したい場合、転送要求Ａに対する救済設定を、読み出し制御部６１の内部レジスタに設定しておく。動画データ記録中に静止画データの記録を行う場合に、静止画データの記録側においてバッファが破綻した可能性が検知されたら、転送要求Ｂによるバッファメモリ６０からの読み出しを例えば１フレーム期間、停止させ、転送要求Ａによるバッファメモリ６０からの読み出しを優先的に行う。

次に、この発明の実施の第２の形態について説明する。上述した実施の第１の形態によるシステムに対し、バッファ破綻が発生し難いシステムを構築する方法としては、例えば下記の方法が考えられる。
（１）ＲＡＷ圧縮部５４によるＲＡＷデータの圧縮率を上げる。
（２）カメラ信号処理部２２から出力される動画データに対して圧縮符号化処理を施して、圧縮された動画データを動画コーデック部２６などに供給する。
（３）外部メモリ（ＲＡＭ３５）およびバス２１を複数構成とする。

この発明の実施の第２の形態では、これらのうち（３）の、外部メモリ（ＲＡＭ３５）およびバス２１を複数構成とすることで、バッファ破綻の発生可能性を抑制する。この（３）の方法は、ハードウェアの規模が増大するので、（１）のＲＡＷデータの圧縮率を上げる方法や、（２）の動画データに対して圧縮符号化をさらに施す方法に比べてコスト的に不利であるが、これら（１）および（２）の方法に比べ、画質的に格段に有利であると考えられる。

図７は、この発明の実施の第２の形態に適用可能な撮像装置１’の一例の構成を示す。なお、図７において、上述した図１と共通する部分には同一の符号を付し、詳細な説明を省略する。図７に示される撮像装置１’は、上述した図１に示す撮像装置１に対し、信号処理部２０における外部メモリとしてＲＡＭ３５ＡおよびＲＡＭ３５Ｂの２つが設けられると共に、信号処理部２０の各ブロックおよびＣＰＵ３０がこれらＲＡＭ３５ＡおよびＲＡＭ３５Ｂにアクセスするためのバスが、バス２１Ａおよびバス２１Ｂの２系統、設けられる。また、ＲＡＭ３５ＡおよびＲＡＭ３５Ｂ間で互いにデータを転送するためのブリッジ回路４０をさらに設けると、これらＲＡＭ３５ＡおよびＲＡＭ３５Ｂに対するアクセスの自由度が向上し、より好ましい。

カメラ信号処理部２２、拡張画像処理部２３、解像度変換部２４、静止画コーデック部２５、動画コーデック部２６および表示制御部２７がそれぞれバス２１Ａおよび２１Ｂに接続される。同様に、ＣＰＵ３０、外部Ｉ／Ｆ３３および記録再生制御部３６がそれぞれバス２１Ａおよびバス２１Ｂに接続される。一方、ＲＡＭ３５Ａがメモリコントローラ３４Ａを介してバス２１Ａに接続され、ＲＡＭ３５Ｂがメモリコントローラ３４Ｂを介してバス２１Ｂに接続される。すなわち、ＲＡＭ３５Ａに対するアクセスは、バス２１Ａを介してなされ、ＲＡＭ３５Ｂに対するアクセスは、バス２１Ｂを介してなされることになる。

図８は、この実施の第２の形態によるカメラ信号処理部２２の一例の構成を示す。なお、図８において、上述の図２と共通する部分には同一の符号を付し、詳細な説明を省略する。この図８に例示されるカメラ信号処理部２２では、バスＩ／Ｆ５５、バスＩ／Ｆ５７およびバスＩ／Ｆ５８のそれぞれが、バス２１Ａおよびバス２１Ｂに接続される。カメラ信号処理部２２は、静止画データを処理する場合と動画データを処理する場合とで、バスアクセスをバス２１Ａとバス２１Ｂとで切り替える。

図９は、この実施の第２の形態によるカメラ信号処理部２２の動作モード毎のデータパスの例を示す。なお、図９において、メモリコントローラ３４Ａおよび３４Ａは、省略されている。

図９Ａは、動画データ記録モード時の一例のデータパスを示す。この実施の第２の形態において、動画データ記録モードでは、図９Ａに太線で例示されるように、ＲＡＷ補正部５０から出力されるＲＡＷデータが、信号処理部５２からの信号処理部５２からの転送要求Ａに応じて、端子５１Ａが選択されたスイッチ部５１を介して信号処理部５２および解像度変換部５３に供給される。バスＩ／Ｆ５８は、バス２１Ａの状態に基づき転送要求Ｃを解像度変換部５３に出力する。この転送要求Ｃに応じて解像度変換部５３からデータが出力され、バスＩ／Ｆ５８に供給され、バスＩ／Ｆ５８からバス２１Ａに対して転送され、ＲＡＭ３５Ａに書き込まれる。ＲＡＭ３５Ａに書き込まれたデータは、バス２１Ａを介して後段の動画コーデック部２６や表示制御部２７に供給される。

図９Ｂおよび図９Ｃは、静止画データ記録モード時の一例のデータパスを示す。図９Ｂは、撮像信号読み出しに伴う一例のデータパスを示す。この場合、バスＩ／Ｆ５５は、バス２１Ｂの状態に基づき転送要求ＢをＲＡＷ補正部５０に出力する。それにより、図９Ｂに太線で例示されるように、バスＩ／Ｆ５５からの転送要求Ｂに応じてＲＡＷ補正部５０から出力されたＲＡＷデータがＲＡＷ圧縮部５４で所定に圧縮符号化されてバスＩ／Ｆ５５に供給される。圧縮ＲＡＷデータは、バスＩ／Ｆ５５よりバス２１Ｂに転送され、ＲＡＭ３５Ｂに書き込まれる。

図９Ｃは、ＲＡＭ３５Ｂに書き込まれた圧縮ＲＡＷデータに対する信号処理を行う際の一例のデータパスを示す。ＲＡＭ３５Ｂから所定に圧縮ＲＡＷデータが読み出され、バス２１Ｂを介してバスＩ／Ｆ５７に供給される。バスＩ／Ｆ５８は、バス２１Ｂの状態に基づき転送要求Ｃを出力する。また、信号処理部５２は、バスＩ／Ｆ５８からの転送要求Ｃに基づき転送要求Ａを出力する。

転送要求Ａは、端子５１Ｂが選択されたスイッチ部５１およびＲＡＷ伸長部５６を介してバスＩ／Ｆ５７に供給される。バスＩ／Ｆ５７は、この転送要求Ａに応じて圧縮ＲＡＷデータをＲＡＷ伸長部５６に供給する。圧縮ＲＡＷデータは、ＲＡＷ伸長部５４で伸長されＲＡＷデータとされ、スイッチ部５１を介して信号処理部５２に供給される。ＲＡＷデータは、信号処理部５２および解像度変換部５３で所定に信号処理され、バスＩ／Ｆ５８からの転送要求Ｃに応じて解像度変換部５３から出力され、バスＩ／Ｆ５８に供給される。ＲＡＷデータは、バスＩ／Ｆ５８からバス２１Ｂに転送され、ＲＡＭ３５Ｂに書き込まれる。ＲＡＭ３５Ｂに書き込まれたＲＡＷデータは、バス２１Ｂを介して後段の静止画コーデック部２５などに供給される。

上述のようにして、データパスをバス２１Ａとバス２１Ｂとで切り替えることで、動画データ記録モードにおける外部メモリに対するアクセスと、静止画データ記録モードにおける外部メモリに対するアクセスとを分離することができる。これにより、外部メモリに対してアクセスが集中することが抑制され、バッファ破綻可能性の危険性を大きく下げることが可能となる。

また、この実施の第２の形態においても、実施の第１の形態で説明した、バッファ破綻可能性における部分破綻に対する処理を、同様に適用することができる。すなわち、この実施の第２の形態においても、ＲＡＷ補正部５０内の同期乗り換え部５０Ｂにおける読み出し制御部６１は、上述の実施の第１の形態と同様に、信号処理部５２からの転送要求Ａと、バスＩ／Ｆ５５からの転送要求Ｂと、バッファメモリ６０の状態とに基づき、バッファ破綻可能性の可否、ならびに、バッファ破綻の可能性がある場合、完全破綻および部分破綻の何れかの判断、さらに、部分破綻の場合、動画データ記録モードおよび静止画データ記録モードの何れで破綻可能性が発生したかを検出することができる。そして、破綻可能性が発生したことが検出された場合に、その発生要因を読み出し制御部６１の内部レジスタに保持する。

なお、上述の実施の第１の形態および実施の第２の形態では、カメラ信号処理部２２などにおいて、動画データに対する処理と静止画データに対する処理とでハードウェアを共通的に用いるようにしているため、静止画データに対する信号処理は、例えば動画データ処理における垂直および／または水平ブランキング期間に時分割で行うようにされる。これに限らず、静止画データに対する処理を、動画データが記録媒体３７に記録された後に行うようにすることもできる。

ここで、実施の第２の形態による構成を用いた場合、静止画データに対する処理を、ＣＰＵ３０によるソフトウェア処理により行ったり、ＣＰＵ３０によるソフトウェア処理と、ハードウェアによる信号処理部５２および解像度変換部５３とで分担して行うことにより実現することが容易である。

一例として、例えばフレームタイミング毎に撮像素子１１から撮像信号が出力され、この撮像信号がフロントエンド部１２でＲＡＷデータとされカメラ信号処理部２２に入力され、ＲＡＷ補正部５０に供給される。動画データ処理のため、バスＩ／Ｆ５８は、バス２１Ａの状態に基づき転送要求Ｃを出力し、解像度変換部５３および信号処理部５２に供給する。信号処理部５２は、この転送要求Ｃに応じて転送要求Ａを出力する。この転送要求Ａに応じて、ＲＡＷ補正部５０からＲＡＷデータが出力され、スイッチ部５１を介して信号処理部５２および解像度変換部５３に供給され、転送要求Ｃに応じて解像度変換部５３から出力されバスＩ／Ｆ５８によりバス２１Ａに転送され、ＲＡＭ３５Ａに書き込まれる。

この動画データの処理と並列的に、バスＩ／Ｆ５５は、バス２１Ｂの状態を監視し、バス２１Ｂの状態に基づき転送要求Ｂを出力する。この転送要求Ｂに応じて、ＲＡＷ補正部５０からＲＡＷデータが出力され、このＲＡＷデータがＲＡＷ圧縮部５４で圧縮符号化されバスＩ／Ｆ５５に供給される。圧縮ＲＡＷデータは、バスＩ／Ｆ５５によりバス２１Ｂに転送され、ＲＡＭ３５Ｂに書き込まれる。ＲＡＭ３５Ｂに書き込まれた圧縮ＲＡＷデータは、ＣＰＵ３０によりバス２１Ｂを介して読み出され、ソフトウェア処理により伸長処理や所定の信号処理を施され、再びバス２１Ｂを介してＲＡＭ３５Ｂに書き込まれる。

その後、ＲＡＭ３５Ｂからこの信号処理が施されたＲＡＷデータが読み出され、バス２１Ｂを介して例えば静止画コーデック部２５に供給され、所定に圧縮符号化される。圧縮符号化された静止画データは、バス２１Ｂを介して記録再生制御部３６に供給され記録媒体３７に記録される。これに限らず、圧縮符号化された静止画データをバス２１Ｂを介して再びＲＡＭ３５Ｂに書き込み、さらに後に記録媒体３７に記録するようにしてもよい。

このように、動画データの処理と静止画データの処理とで、データパスをバス２１Ａとバス２１Ｂとで切り替え、静止画データの処理にＣＰＵ３０によるソフトウェア処理を利用することで、ＲＡＭ３５Ｂの容量および記録媒体３７の記録容量に余裕がある限り、動画データ記録処理を継続しながら、さらに次の静止画データの記録を行うことが可能となる。

また、静止画データ処理をＣＰＵ３０によるソフトウェア処理を利用する例において、ＣＰＵ３０における静止画データに対する処理の一部を、例えばバス２１Ｂに接続される専用のハードウェアを用いて分担して行うことも可能である。

発明の実施の第１の形態に適用可能な撮像装置の一例の構成を示すブロック図である。 カメラ信号処理部の一例の構成を示すブロック図である。 カメラ信号処理部の動作モード毎のデータパスの例を示す略線図である。 同期乗り換え部の一例の構成を示すブロック図である。 バッファ破綻判定の一例の処理を示すフローチャートである。 転送要求に基づく一例のバッファ破綻判定をまとめて示す略線図である。 発明の実施の第２の形態に適用可能な撮像装置の一例の構成を示すブロック図である。 実施の第２の形態によるカメラ信号処理部の一例の構成を示すブロック図である。 実施の第２の形態によるカメラ信号処理部の動作モード毎のデータパスの例を示す略線図である。

符号の説明

１，１’ 撮像装置
１１ 撮像素子
２１，２１Ａ，２１Ｂ バス
２２ カメラ信号処理部
２３ 拡張画像処理部
２４ 解像度変換部
２５ 静止画コーデック部
２６ 動画コーデック部
２７ 表示制御部
３０ ＣＰＵ
３４，３４Ａ，３４Ｂ メモリコントローラ
３５，３５Ａ，３５Ｂ ＲＡＭ
３６ 記録再生制御部
３７ 記録媒体
５０ ＲＡＷ補正部
５０Ａ 補正処理部
５０Ｂ 同期乗り換え部
５１ スイッチ部
５２ 信号処理部
５３ 解像度変換部
５４ ＲＡＷ圧縮部
５５，５７，５８ バスＩ／Ｆ
５６ ＲＡＷ伸長部
６０ バッファメモリ
６１ 読み出し制御部

Claims (17)

1. 所定タイミング毎に入力される撮像信号を一時的に溜め込むバッファ部からの上記撮像信号の読み出しを制御するバッファ制御部を備え、
   上記バッファ制御部は、動画データに対する処理が行われると共に、静止画データに対する処理が上記動画データの処理と並列的に行われる場合、
   上記バッファ部のデータ格納状態と、
   上記バッファ部から読み出された上記撮像信号に対して上記所定タイミング毎の第１の処理を行い、上記動画データの出力が可能な第１のデータ処理部から出力される、上記バッファ部からの上記撮像信号の転送を要求する第１の転送要求と、
   上記バッファ部から読み出された上記撮像信号に対して第２の処理を行い、上記静止画データの出力が可能な第２のデータ処理部から出力される、上記バッファ部からの上記撮像信号の転送を要求する第２の転送要求と、
   に基づき、上記バッファ部から連続性を損なわないように上記撮像信号を読み出し可能か否かを判断する
   データ処理装置。
2. 連続性を損なわないように上記撮像信号を読み出し可能ではないとの判断が上記第１の転送要求に基づきなされる第１の状態と、該判断が上記第２の転送要求に基づきなされる第２の状態とに対して優先順位を設定し、
   上記バッファ制御部により、上記バッファ部から連続性を損なわないように上記撮像信号を読み出し可能ではないことが判断されたら、上記第１または上記第２の転送要求のうち上記優先順位をより低く設定された側の処理を所定期間、停止する
   請求項１記載のデータ処理装置。
3. 上記所定期間は、上記所定タイミングに基づく
   請求項２記載のデータ処理装置。
4. 上記動画データおよび上記静止画データを一時的に格納する外部メモリをさらに有し、
   上記優先順位は、上記動画データおよび上記静止画データの上記外部メモリに対する書き込みの優先順位に基づく
   請求項２記載のデータ処理装置。
5. 上記バッファ制御部により、上記バッファ部から連続性を損なわないように上記撮像信号を読み出し可能ではないことが、上記第１または上記第２の転送要求に基づき判断されたら、上記第１または上記第２の転送要求のうち該判断の要因となった側に対応する処理を所定期間、停止する
   請求項１記載のデータ処理装置。
6. 上記所定期間は、上記所定タイミングに基づく
   請求項５記載のデータ処理装置。
7. 上記第１および第２の転送要求は、
   上記動画データおよび上記静止画データを格納する外部メモリと、上記第１のデータ処理部および上記第２のデータ処理部とを接続するバスの状態に基づく
   請求項１記載のデータ処理装置。
8. 上記動画データは、上記外部メモリに対して連続性を損なわないように書き込まれる請求項７記載のデータ処理装置。
9. 上記外部メモリおよび上記バスは、上記動画データの転送処理および上記静止画データの転送処理で共有される
   請求項７記載のデータ処理装置。
10. 上記外部メモリおよび上記バスは、上記動画データおよび上記静止画データに対してそれぞれ設けられる
    請求項７記載のデータ処理装置。
11. 上記第１のデータ処理部は、上記外部メモリから読み出された上記静止画データが上記バスを介してさらに供給される
    請求項７記載のデータ処理装置。
12. 上記バッファ制御部は、上記第１のデータ処理部による上記動画データの処理と上記第２のデータ処理部による上記静止画データの処理とが並列的に行われる場合、上記バッファ部がフル状態であり、且つ、上記第１の転送要求または上記第２の転送要求のうち少なくとも一方が成立していないときに、上記バッファ部から連続性を損なわないように上記撮像信号を読み出し可能ではないと判断する
    請求項１記載のデータ処理装置。
13. 所定タイミング毎に入力される撮像信号を一時的に溜め込むバッファ部からの上記撮像信号の読み出しを制御するバッファ制御のステップを有し、
    上記バッファ制御のステップは、動画データに対する処理が行われると共に、静止画データに対する処理が上記動画データの処理と並列的に行われる場合、
    上記バッファ部のデータ格納状態と、
    上記バッファ部から読み出された上記撮像信号に対して上記所定タイミング毎の第１の処理を行い、上記動画データの出力が可能な第１のデータ処理部から出力される、上記バッファ部からの上記撮像信号の転送を要求する第１の転送要求と、
    上記バッファ部から読み出された上記撮像信号に対して第２の処理を行い、上記静止画データの出力が可能な第２のデータ処理部から出力される、上記バッファ部からの上記撮像信号の転送を要求する第２の転送要求と、
    に基づき、上記バッファ部から連続性を損なわないように上記撮像信号を読み出し可能か否かを判断する
    データ処理方法。
14. 所定タイミング毎に入力される撮像信号を一時的に溜め込むバッファ部からの上記撮像信号の読み出しを制御するバッファ制御のステップを有し、
    上記バッファ制御のステップは、動画データに対する処理が行われると共に、静止画データに対する処理が上記動画データの処理と並列的に行われる場合、
    上記バッファ部のデータ格納状態と、
    上記バッファ部から読み出された上記撮像信号に対して上記所定タイミング毎の第１の処理を行い、上記動画データの出力が可能な第１のデータ処理部から出力される、上記バッファ部からの上記撮像信号の転送を要求する第１の転送要求と、
    上記バッファ部から読み出された上記撮像信号に対して第２の処理を行い、上記静止画データの出力が可能な第２のデータ処理部から出力される、上記バッファ部からの上記撮像信号の転送を要求する第２の転送要求と、
    に基づき、上記バッファ部から連続性を損なわないように上記撮像信号を読み出し可能か否かを判断する
    データ処理方法をコンピュータ装置に実行させる
    データ処理プログラム。
15. 撮像素子から出力された撮像信号に基づく動画データに対する処理を行うと共に、該撮像信号に基づく静止画データに対する処理を該動画データの処理と並列的に行えるようにした撮像装置において、
    光を光電変換で電気信号に変換し撮像信号として出力する撮像部と、
    上記撮像部から出力された上記撮像信号を一時的に溜め込むバッファ部からの読み出しを制御するバッファ制御部と、
    第１の転送要求を出力し、該第１の転送要求に応じて上記バッファ部から読み出された上記撮像信号に対してフレームタイミング毎の処理を行い動画データの出力が可能な第１の信号処理部と、
    第２の転送要求を出力し、該第２の転送要求に応じて上記バッファ部から読み出された上記撮像信号に対して所定のタイミングで処理を行い静止画データを出力する第２の信号処理部とを有し、
    上記バッファ制御部は、上記バッファ部のデータ格納状態と、上記第１の転送要求と、上記第２の転送要求とに基づき、上記バッファ部から連続性を損なわないように上記撮像信号を読み出し可能か否かを判断する
    撮像装置。
16. 撮像素子から出力された撮像信号に基づく動画データに対する処理を行うと共に、該撮像信号に基づく静止画データに対する処理を該動画データの処理と並列的に行えるようにした撮像装置の制御方法において、
    光を光電変換で電気信号に変換して撮像部から出力された撮像信号を一時的にバッファ部に溜め込むステップと、
    上記バッファ部からの読み出しを制御するバッファ制御のステップと、
    第１の転送要求を出力し、該第１の転送要求に応じて上記バッファ部から読み出された上記撮像信号に対してフレームタイミング毎の処理を行い動画データの出力が可能な第１の信号処理のステップと、
    第２の転送要求を出力し、該第２の転送要求に応じて上記バッファ部から読み出された上記撮像信号に対して所定のタイミングで処理を行い静止画データを出力する第２の信号処理のステップと
    を有し、
    上記バッファ制御のステップは、上記バッファ部のデータ格納状態と、上記第１の転送要求と、上記第２の転送要求とに基づき、上記バッファ部から連続性を損なわないように上記撮像信号を読み出し可能か否かを判断する
    撮像装置の制御方法。
17. 撮像素子から出力された撮像信号に基づく動画データに対する処理を行うと共に、該撮像信号に基づく静止画データに対する処理を該動画データの処理と並列的に行えるようにした撮像装置の制御方法をコンピュータに実行させる撮像装置の制御プログラムにおいて、
    上記撮像装置の制御方法は、
    光を光電変換で電気信号に変換して撮像部から出力された撮像信号を一時的にバッファ部に溜め込むステップと、
    上記バッファ部からの読み出しを制御するバッファ制御のステップと、
    第１の転送要求を出力し、該第１の転送要求に応じて上記バッファ部から読み出された上記撮像信号に対してフレームタイミング毎の処理を行い動画データの出力が可能な第１の信号処理のステップと、
    第２の転送要求を出力し、該第２の転送要求に応じて上記バッファ部から読み出された上記撮像信号に対して所定のタイミングで処理を行い静止画データを出力する第２の信号処理のステップと
    を有し、
    上記バッファ制御のステップは、上記バッファ部のデータ格納状態と、上記第１の転送要求と、上記第２の転送要求とに基づき、上記バッファ部から連続性を損なわないように上記撮像信号を読み出し可能か否かを判断する
    撮像装置の制御プログラム。

Images