JP6664240B2 - 撮像システム並びに撮像装置及びその制御方法 - Google Patents

Description

本発明は、撮像システム並びに撮像装置及びその制御方法に関する。

多くの民生用ビデオカメラでは、撮像素子の出力データをＡ／Ｄ変換したＲＡＷデータを現像処理した上で非可逆圧縮または可逆圧縮して記録する。他方、映画撮影などの業務用の場合、ＲＡＷデータをそのまま、または可逆圧縮して記録するものがある。ＲＡＷ形式で記録するのは、現像処理の際に様々なパラメータを指定することでユーザの意図した現像を実現可能とし、また、フレーム単位での編集を可能とするためである。ＲＡＷ形式で記録する場合、画像データの付加情報として、レンズパラメータなどを含む現像パラメータを同時に記録し、現像の際に利用可能とするのが一般的である。

撮像素子の高解像度化に伴い、ＲＡＷ画像データのフレーム当たりの画素数、したがってデータ量が、飛躍的に増加している。特許文献１には、ＲＡＷ画像のサイズをユーザが必要とする程度に削減して記録することが記載されている。

特許文献２には、撮影レンズ系の絞り値及び瞳位置の変更の都度、当該絞り値及び瞳位置を含むレンズ情報とともに動画像ファイルに記録する撮像装置が記載されている。

特開２００７−１６６５５１号公報 特開２０１０−０１６６４８号公報

４Ｋまたはスーパーハイビジョンといった大容量の映像信号の処理には大規模な回路が必要となり、消費電力が増加し、これによる本体温度の上昇が懸念される。そこで、撮像装置を撮像ユニットと記録ユニットとに物理的に分離し、両者をケーブル接続する構成が考えられる。ただし、動画をＲＡＷ形式で記録する場合、現像処理に各フレームの画像補正データが必要となるので、撮像ユニットから記録ユニットにＲＡＷ画像データと現像処理のための画像補正データとを伝送する必要がある。

例えばＳＤＩのような片方向通信のインターフェースを使用して、撮像ユニットから出力されるＲＡＷ画像データを記録ユニットまたは外部記録装置に入力して記録する構成では、記録ユニットでの記録開始を撮像ユニットに伝達する手段が用意されない。ＲＡＷ画像データを現像処理するには、その現像処理のための画像補正データが必要になる。必要となる画像補正データは、例えば以下のようなものがあげられる。Ｏｐｔｉｃａｌ Ｂｌａｃｋ領域（以下、ＯＢ領域）のレベルを用いて有効領域の画素のレベルを補正するデータや、欠陥画素の補正アドレスデータといった撮像素子に起因するものがある。またレンズ位置による周辺光量落ちを補正する為の周辺光量落ち補正データや、レンズ位置によって生じる色の収差を補正するための色収差補正データといったレンズに起因するものもある。撮像素子に起因するものは、撮像素子が高画素になるほどデータ数が膨大な量となる。ＯＢ領域を用いた補正データは、垂直ライン数、水平ライン数によって変化し、欠陥画素は高画素になるほど数が増えるためアドレスデータ量も飛躍的に増加する。また、ＯＢ領域のレベル変化が発生するようなゲイン切り替えが存在する場合、そのゲイン毎に補正データを持つ必要がある。レンズに起因する補正データも、レンズ位置毎に補正データが異なるため、品質を高める為にレンズ位置を細分化すればするほどデータ量が増加する。現状では、ＯＢ領域のレベルを用いて有効領域の画素のレベルを補正するデータは１ＭＢｙｔｅ以上、欠陥画素の補正アドレスは数百ＫＢｙｔｅというデータ量となっている。これは、撮像素子の仕様次第では、数倍に膨れ上がる可能性がある。また、周辺光量落ち補正データ、色収差補正データがレンズ１本あたり、数十ＫＢｙｔｅと比較的軽量だが、レンズ位置を細分化すると数百ＫＢｙｔeに増加する。撮像ユニットが記録ユニットでの記録開始を知ることができない構成では、撮像ユニットは継続的に画像補正データを出力する必要があるが、そうすると、画像補正データ自体のデータ量が大量になり、記録ユニットで記録できる時間が短くなってしまう。例えば毎フレーム、上述のデータを付加する場合、１フレーム辺り２ＭＢｙｔｅ程度の補正データが必要となる。フレームレートが６０Ｐだった場合、１分間のデータ量としては７２００ＭＢｙｔｅという膨大な量になる。また、フレーム毎に画像補正データを出力するのは、撮像ユニットにとっても処理負荷が大きい。

撮像ユニットと記録ユニットを協調動作させる制御装置を設けることも考えられるが、そうすると、撮像ユニット、記録ユニット及び制御装置からなら構成において専用化し、融通性に欠ける。

本発明は、撮像ユニットと記録ユニットに分離した構成において、画像補正データのデータ量を削減でき、撮像ユニットの処理負荷を軽減できる撮像システム並びに撮像装置及びその制御方法を提示すること目的とする。

本発明に係る撮像システムは、被写体を撮像する撮像手段、及び、撮像手段による撮像で得られる画像データを外部に出力し、画像データの補正に使用する画像補正データを２以上のフレーム周期で間欠的に外部に出力する出力手段を有する撮像装置と、撮像装置から出力される画像データ及び画像補正データを記録媒体に記録する外部記録装置であって、記録開始指示を入力する操作手段、撮像装置から入力する画像データと画像補正データを記録媒体に記録する記録手段、及び、記録開始指示の入力の後に撮像装置から入力する画像補正データの記録媒体への記録を開始するように記録手段を制御する記録制御手段を有する外部記録装置と、を有し、撮像装置は、外部記録装置との接続確立を示すトリガに従い、画像データの各フレームで所定の期間、画像データと画像補正データを共に出力するように出力手段を制御する。

本発明によれば、画像補正データを撮像装置から外部に間欠的に出力するようにしたので、撮像装置での処理負荷を軽減できる。また、間欠的な出力により、外部記録装置も、多少の遅れはあっても、画像補正データを記録できる。

本発明の一実施例の概略構成ブロック図である。 本実施例の処理手順を示すフローチャートである。 図２に対応する画像データと画像縫製データの流れ図である。 カメラの別の処理手順のフローチャート出る。 図４に対応する画像データと画像縫製データの流れ図である。 カメラ及び外部記録装置の更に別の処理手順のフローチャートである。 図６に対応する画像データと画像縫製データの流れ図である。

以下、図面を参照して、本発明の実施例を詳細に説明する。

図１は、本発明に係る撮像システムの一実施例の概略構成ブロック図を示す。本実施例は、撮像装置の一実施例であるデジタルビデオカメラ１００と、カメラ１００から出力される画像データ及び画像補正データを記録する外部記録装置１５０からなる。デジタルビデオカメラ１００のデータ出力端子は、３Ｇ−ＳＤＩのようなシリアルデジタルインターフェースを介して外部記録装置１５０の入力端子に接続する。

デジタルビデオカメラ１００の撮影レンズ系１０２は、絞り、ＮＤフィルタ、フォーカスレンズ、ズームレンズ及びシフトレンズを備え、被写体からの光学像を撮像素子１０４に入射する。撮像素子１０４は撮影レンズ系１０２による光学像をアナログ画像信号に変換し、Ａ／Ｄ変換器１０６に出力する。Ａ／Ｄ変換器１０６は撮像素子１０４からの画像信号をデジタル信号に変換し、デジタル画像信号を信号分配器１０８に供給する。Ａ／Ｄ変換器１０６から出力されるデジタル画像信号は、ＲＡＷ形式の画像データ、すなわちＲＡＷ画像データである。

信号分配器１０８は、数画素分のＲＡＷ画像データを記憶する画素信号保持部１１０、水平画素加算部１１２及び垂直画素加算部１１４を具備する。水平画素加算部１１２は、画素信号保持部１１０に一時保持される画素信号に対して水平方向の４画素分の画素信号を加算し、１画素分の画素信号として出力する。垂直画素加算部１１４は、水平画素加算部１１２から出力される水平方向に１／４に間引かれた画像データの、垂直方向の４画素分を加算し、１画素分として出力する。水平画素加算部１１２及び垂直画素加算部１１４により水平方向及び垂直方向のそれぞれで１／４に間引かれた画像データがファインダ用に生成される。信号分配器１０８は、垂直画素加算部１１４からの水平垂直に間引かれたＲＡＷ画像データをモニタ用画像処理部１１６に出力する。信号分配器１０８は、画素信号保持部１１０でバッファされた全画素のＲＡＷ画像データを外部出力用画像処理部１２０とメモリＩ／Ｆ１２４に出力する。

モニタ用画像処理部１１６は、信号分配器１０８からのＲＡＷ画像データに撮像素子１０４に起因するレベル差を補正する。例えば、モニタ用画像処理部１１６は、ＯＢ領域のデータを用いて有効領域の画素のレベルを補正し、欠陥画素に対して周囲画素を用いて補正する。モニタ用画像処理部１１６はまた、周辺光量落ち補正、色補正、輪郭強調、ノイズ除去、ガンマ、ディベイヤー及び圧縮などの処理を行う。モニタ用画像処理部１１６は、処理後の画像データをモニタ１１８に供給する。モニタ１１８は、モニタ用画像処理部１１６からの画像データが示す画像を表示する。ユーザは、モニタ１１８に表示される画像を見て、画角を確認する。

外部出力用画像処理部１２０は、信号分配器１０８からのＲＡＷ画像データに撮像素子１０４に起因するレベル差を補正する。例えば、外部出力用画像処理部１２０は、ＯＢ領域のデータを用いて有効領域の画素のレベルを補正し、欠陥画素に対して周囲画素を用いて補正する。外部出力用画像処理部１２０はまた、周辺光量落ち補正、色補正、輪郭強調、ノイズ除去、ガンマ、ディベイヤー及び圧縮などの処理を行う。外部出力用画像処理部１２０は処理後のＲＡＷ画像データを外部出力Ｉ／Ｆ１２２に出力する。

メモリＩ／Ｆ１２４は、信号分配器１０８から出力される全画素分のＲＡＷ画像データをメモリ１２６に書き込み、メモリ１２６に記憶されるＲＡＷ画像データを読み出して制御用画像処理部１２８に供給する。メモリ１２６は、数フレームの全画素分のＲＡＷ画像データを格納できる。制御用画像処理部１２８は、メモリＩ／Ｆ１２４からのＲＡＷ画像データに、フォーカス制御及びＩＳ制御に必要な画像処理を施し、それぞれに対する制御データを生成する。制御用画像処理部１２８は、生成した制御データをフォーカス制御部１３８及びＩＳ制御部１４４に供給する。

ゲイン制御部１３０は、モニタ用画像処理部１１６の処理結果（中間結果でも良い。）を参照して画像データの輝度レベルを算出し、算出した輝度レベルに従い撮像素子１０４の内部ゲインを制御する。シャッタ制御部１３２もまた、モニタ用画像処理部１１６の処理結果（中間結果でも良い。）を参照して画像データの輝度レベルを算出する。シャッタ制御部１３２は、算出した輝度レベルに従い撮像素子１０４のシャッタスピード（露光時間）を制御する。絞り制御部１３４は、モニタ用画像処理部１１６の処理結果（中間結果でも良い。）を参照して画像データの輝度レベルを算出し、算出した輝度レベルに従い撮影レンズ系１０２の絞りを制御する。ＮＤ制御部１３６は、モニタ用画像処理部１１６の処理結果（中間結果でも良い。）を参照して画像データの輝度レベルを算出し、算出した輝度レベルに従い撮影レンズ系１０２のＮＤフィルタの減衰量を制御する。

ゲイン、シャッタスピード、絞り値及びＮＤフィルタの減衰量を制御する基礎となる輝度レベルが同じで良い場合には、モニタ用画像処理部１１６が一括して算出するようにしても良い。

フォーカス制御部１３８は、モニタ用画像処理部１１６の処理結果（中間結果でもよい）と、制御用画像処理部１２８からの制御信号（または処理結果）を参照して撮影レンズ系１０２の合焦度または合焦位置を算出する。フォーカス制御部１３８は、算出結果に基づき撮影レンズ系１０２のフォーカスレンズを合焦位置に制御する。ズーム制御部１４０は、操作部１４２より入力される焦点距離情報に従い撮影レンズ系１０２のズームレンズを制御する。

ＩＳ制御部１４４は、モニタ用画像処理部１１６の処理結果（中間結果でも良い。）と、制御用画像処理部１２８からの制御信号（または処理結果）を参照して被写体の動きベクトルを算出する。そして、ＩＳ制御部１４４は、算出した動きベクトルに従い撮影レンズ系１０２のシフトレンズを制御する。

制御部１４６は、カメラ１００の撮像動作及び画像データと画像補正データの外部出力動作を制御する撮像制御手段である。制御部１４６は、外部出力Ｉ／Ｆ１２２から出力されるＲＡＷ画像データが何番目のフレームに属するかを計数するフレームカウンタ１４６ａを有する。制御部１４６は、フレームカウンタ１４６ａのカウント値を参照し、ＲＡＷ画像データの現像処理に使用される画像補正データを所定フレーム周期で外部出力Ｉ／Ｆ１２２に供給する。画像補正データは例えば、欠陥画素の補正、周辺光量落ちの補正、色収差の補正並びにＯＢ領域を使用したノイズ除去及びクランプ処理に関するデータの１以上を含む。外部出力Ｉ／Ｆ１２２は、外部出力用画像処理部１２０からのＲＡＷ画像データを継続的に外部記録装置１５０に出力しつつ、所定のタイミングで画像補正データを割り込ませて外部記録装置１５０に出力する。

外部記録装置１５０は、カメラの外部出力Ｉ／Ｆ１２２から継続的に出力されるデータを取り込む入力Ｉ／Ｆ１５２と、取り込まれたデータを記録媒体１５４に記録再生する記録再生部１５６を具備する。詳細は後述するが、記録再生部１５６は、カメラ１００からＲＡＷ画像データを記録媒体１５４の動画ファイル１５８に格納し、カメラ１００からの画像補正データを記録媒体１５４の補正データファイル１６０に格納する。制御部１６２は、外部記録装置１５０を制御する記録制御手段である。特に、制御部１６２は、カメラ１００からの画像補正データの入力に従い、記録再生部１５６による記録媒体１５４への記録動作を制御する。ユーザは、操作部１６４により制御部１６２に種々の指示を入力できる。制御部１６２は、表示部１６６に動作状態や警告などを表示する。

図２は、カメラ１００と外部記録装置１５０の処理手順を示すフローチャートである。図２（ａ）はカメラ１００の処理手順を示し、図２（ｂ）は外部記録装置１５０の処理手順を示す。カメラ１００の制御部１４６が、図２（ａ）に示す処理手順を実現する。外部記録装置１５０の制御部１６２が、図２（ｂ）に示す処理手順の一部を実現する。

図２（ａ）を参照して、カメラ１００の動作を説明する。ステップＳ２０１において、制御部１４６は、フレームカウンタ１４６ａのカウント値を参照し、外部出力Ｉ／Ｆ１２２から現在出力している画像データのフレーム番号が周期Ｎの倍数になっているかどうかを判断する。Ｎは２以上の整数である。

制御部１４６は、フレームカウンタ１４６ａのカウント値が周期Ｎの倍数であると判断する場合、ステップＳ２０２において、ＲＡＷ画像データと画像補正データの双方を外部出力Ｉ／Ｆ１２２から出力させる。フレームカウンタ１４６ａのカウント値が任意周期Ｎの倍数ではない場合、制御部１４６は、ステップＳ２０３において、ＲＡＷ画像データのみを外部出力Ｉ／Ｆ１２２から出力させる。すなわち、制御部１４６は、２以上のフレーム周期で画像補正データを外部出力するように外部出力Ｉ／Ｆ１２２を制御する。

ステップＳ２０２またはステップＳ２０３の処理が終わった後、制御部１４６は、次のフレームに対してステップＳ２０1の処理を行う。

図２（ｂ）を参照して、外部記録装置１５０の動作を説明する。ステップＳ２１１において、ユーザは、操作部１６４の電源スイッチにより外部記録装置１５０の電源を投入する。ステップＳ２１２において、ユーザは外部記録装置１５０をカメラ１００に接続する。

ステップＳ２１３において、制御部１６２は、カメラ１００との接続が確立するのを待機する。例えば、カメラ１００からのＲＡＷ画像データを受信出来ていると、カメラ１００との接続が確立したと判断できる。

ステップＳ２１４において、制御部１６２は、画像補正データを受信したかどうかを判断する。画像補正データを受信していない場合、制御部１６２は、ステップＳ２１５において記録再生部１５６に記録媒体１５４への記録を禁止し、ステップＳ２１６においてユーザによる操作部１６４からの記録開始指示の有無を判断する。操作部１６４により記録開始指示があると、制御部１６２は、ステップＳ２１７において記録禁止されている旨の警告を表示部１６６に表示し、ステップＳ２１４以降を実行する。記録開始指示が無い場合、制御部１６２は、ステップＳ２１４以降を実行する。

制御部１６２は、ステップＳ２１４において画像補正データを受信したと判断した場合、ステップＳ２１８において、受信した画像補正データがまだファイル生成していない画像補正データかどうかを判断する。受信した画像補正データがまだファイル生成していない画像補正データである場合、制御部１６２は、ステップＳ２１９において、記録再生部１５６を制御して画像補正データを格納する補正データファイル１６０を記録媒体１５４に生成させる。ステップＳ２２０において、制御部１６２は、記録再生部１５６に記録媒体１５４への記録を許可する。この記録許可により、記録再生部１５６は、カメラ１００からのＲＡＷ画像データを動画ファイル１５８に書き込み、カメラ１００からの画像補正データを補正データファイル１６０に書き込む。

ステップＳ２１８において、受信した画像補正データを格納すべき補正データファイル１６０が記録媒体１５４に存在する場合、制御部１６２は、記録再生部１５６に記録媒体１５４への記録を許可する。ここでは、記録再生部１５６は、カメラ１００から画像補正データを記録媒体１５４の既存の補正データファイル１６０に書き込む。

図３は、図２に示す処理手順に対応するカメラ１００と外部記録装置１５０のシーケンス図を示す。図３に示すように、カメラ１００は、フレーム周期でＲＡＷ画像データを出力しつつ、所定フレーム周期（図２に示す例では、Ｎフレーム周期）ごとに画像補正データも出力する。ここで、絞り値、レンズ位置のデータ量は微少であるため、従来通り映像信号に重畳して毎フレーム送信しているものとする。

外部記録装置１５０は、カメラ１００との接続確立後、カメラ１００から出力されるＲＡＷ画像データと画像補正データを受信可能になる。外部記録装置１５０は、画像補正データを受信する前にユーザが記録開始を指示すると、補正データファイルが未生成である旨の警告を表示部１６６に表示する。外部記録装置１５０は、記録開始指示の後の画像補正データの受信に従い、補正データファイルを生成し、画像補正データをこの補正データファイルに記録する。外部記録装置１５０は、以後に受信する画像補正データを記録せず、破棄する。受信した画像補正データを破棄するのは、画像補正データの内容に変更が無い場合であり、ＯＢ領域のレベルを用いて有効領域の画素のレベルを補正するデータなどのように撮影中に変動するデータ値については、継続的に記録する。欠陥画素の補正アドレスデータは撮影中には変動しない為、破棄する。周辺光量落ち補正データや色収差補正データは、全てのレンズ位置における補正データを受信済であれば、継続的に記録するのは絞り値、レンズ位置のみで良い。

カメラ１００から外部記録装置１５０への画像補正データの送信を２以上のフレーム周期で間欠的に行うことにより、カメラ１００における画像補正データ出力の処理負荷を軽減でき、画像補正データの伝送データ量も削減できる。

上記実施例では、外部記録装置１５０が画像補正データを受信するまでは記録動作を禁止したが、記録開始指示に対して警告を表示しつつ記録を許可するようにしても良い。

また、本実施例では１フレームで全ての画像補正データを送信することを想定して説明したが、画像補正データのデータサイズによっては、1フレームで送信可能なデータサイズを超える可能性もある。また、撮像装置の処理負荷が許容できないレベルとなる可能性もある。その際は、画像補正データを任意のサイズに分割して複数フレームに分けて送信を行う構成としても良い。さらに、撮像装置側の処理として、レンズ交換中やレンズ未装着時は、例えば周辺光量落ち補正データのようなレンズに特化した補正データの送信を行わない構成としてもよい。これにより、一時的に画像補正データサイズを削減し、処理負荷を軽減することが可能となる。

カメラ１００が外部記録装置１５０の接続を検知できる場合の、カメラ１００の変更動作を説明する。図４は、その変更動作のフローチャートを示す。例えば、既存のケーブル接続端子にはケーブルの接続を検知するスイッチを設けられていることがあり、制御部１４６は、そのようなスイッチの接続検知出力を、ステップＳ４０１のトリガとして、ステップＳ４０５〜Ｓ４１０を実行する。カメラ１００の図示しない操作部を使ってユーザが外部記録装置１５０の接続を制御部１４６に通知できる場合、その通知をステップＳ４０１のトリガとしても良い。カメラ１００に外部記録装置１５０を接続した後では、制御部１４６が、ユーザによる画像補正データの出力指示に従い、強制的に画像補正データを外部記録装置１５０に出力するようにしても良い。この場合、ユーザによる画像補正データの出力指示を、ステップＳ４０１のトリガとみなすことができる。

図４に示す処理手順を説明する。ステップＳ４０１において、制御部１４６は、上述した、外部記録装置１５０の接続確立を示すトリガが発行されたかどうかを判断する。外部記録装置１５０の接続確立を示すトリガが発行されていない場合、制御部１４６は、Ｓ４０２〜Ｓ４０４において、ステップＳ２０１〜Ｓ２０３で説明したのと同様の手順で、画像補正データを所定フレーム周期Ｎごとに出力する。すなわち、ステップＳ４０２において、制御部１４６は、フレームカウンタ１４６ａのカウント値を参照し、外部出力Ｉ／Ｆ１２２から現在出力している画像データのフレーム番号が任意周期Ｎの倍数になっているかどうかを判断する。Ｎは２以上の整数である。フレームカウンタ１４６ａのカウント値が任意周期Ｎの倍数である場合、制御部１４６は、ステップＳ４０３において、ＲＡＷ画像データと画像補正データの双方を外部出力Ｉ／Ｆ１２２から出力させる。フレームカウンタ１４６ａのカウント値が任意周期Ｎの倍数ではない場合、制御部１４６は、ステップＳ４０４において、ＲＡＷ画像データのみを外部出力Ｉ／Ｆ１２２から出力させる。ステップＳ４０３またはステップＳ４０４の処理が終わった後、制御部１４６は、ステップＳ４０１に戻り、トリガ発行の有無を判断する。

制御部１４６は、Ｓ４０１で外部記録装置１５０の接続確立を示すトリガが発行されていないと判断した場合、ステップＳ４０５において、ＲＡＷ画像データと画像補正データの双方を外部出力Ｉ／Ｆ１２２から出力させる。次のステップＳ４０６において、制御部１４６は、画像補正データの出力フレーム回数が任意の回数Ｍ以上であるかどうかを判断する。ステップＳ４０６において画像補正データの出力フレーム回数が回数Ｍ以上となるまで、制御部１４６は、ステップＳ４０５を繰り返す。

ステップＳ４０６において画像補正データの出力フレーム回数が回数Ｍ以上になると、制御部１４６は、ステップＳ４０７において、フレーム周期Nで実行していた画像補正データの間欠送信制御を停止する。ステップＳ４０８において、制御部１４６は、レンズ交換が実施されたかどうかを判断する。制御部１４６は、ステップＳ４０８においてレンズ交換が実施されたと判断した場合、内部で保持している画像補正データの出力フレーム回数カウンタをクリアした上で、ステップＳ４０５に戻る。制御部１４６は、ステップＳ４０８においてレンズ交換が実施されていないと判断した場合、ステップＳ４０９において、外部記録装置１５０の接続確立を示すトリガが再発行されたかどうかを判断する。制御部１４６は、ステップＳ４０９において外部記録装置１５０の接続確立を示すトリガが再発行されたと判断する場合、内部で保持している画像補正データの出力フレーム回数カウンタをクリアした上で、ステップＳ４０５に戻る。制御部１４６は、ステップＳ４０９において外部記録装置１５０の接続確立を示すトリガが再発行されていないと判断した場合、ステップ６１０においてＲＡＷ画像データのみを外部出力Ｉ／Ｆ１２２から出力させ、次のフレームでステップＳ４０８を実行する。

図４に示す処理に対応する外部記録装置１５０の動作は、図２で説明した動作と同じになるので、説明を省略する。

図５は、図６に示す処理手順に対応するカメラ１００と外部記録装置１５０のシーケンス図を示す。実施例２でも、図５に示すように、カメラ１００は、フレーム周期でＲＡＷ画像データを出力しつつNフレーム周期）ごとに画像補正データも出力する。この状態で、外部記録装置１５０の接続確立を示すトリガが、接続検出スイッチ出力または所定のユーザ操作により発行されたとする。また、図３で説明した実施例１と同様に、絞り値、レンズ位置のデータは、従来通り映像信号に重畳して毎フレーム送信しているものとする。

カメラ１００の制御部１４６は、外部記録装置１５０の接続確立を示すトリガを検出すると、一定期間、ＲＡＷ画像データと画像補正データの双方を外部出力Ｉ／Ｆ１２２から出力させる。これは、画像補正データを外部記録装置１５０が確実に取り込めるようにするための処理である。一定期間の出力が終了すると、制御部１４６は、画像補正データの間欠送信制御を停止し、ＲＡＷ画像データのみの送信に遷移する。

レンズ交換またはユーザ操作により外部記録装置１５０との接続確立を示すトリガが再発行される。このトリガに応じて、制御部１４６は再度、一定期間、ＲＡＷ画像データと画像補正データの双方を外部出力Ｉ／Ｆ１２２から出力させ、その後、ＲＡＷ画像データのみの送信に遷移する。

外部記録装置１５０は次のように動作する。外部記録装置１５０は、電源投入の後、３Ｇ−ＳＤＩを介してカメラ１００と接続する。このタイミングで、例えばユーザ操作により、カメラ１００に外部記録装置１５０との接続確立を示すトリガを発行させる。これにより、カメラ１００から外部記録装置１５０に一定期間、画像補正データが供給され、外部記録装置１５０は、取り込み準備完了次第、画像補正データを取り込み補正データファイルに格納する。

これ以降、レンズ交換またはユーザ操作により外部記録装置１５０との接続確立を示すトリガの再発行により、上述の通り、カメラ１００は、一定期間、画像補正データを出力する。これに対し、外部記録装置１５０は、補正データファイルを未生成であれば新規で生成して画像補正データを記録し、生成済みであれば、カメラ１００からの画像補正データを破棄する。受信した画像補正データを破棄するのは、画像補正データの内容に変更が無い場合であり、ＯＢ領域のレベルを用いて有効領域の画素のレベルを補正するデータなどのように撮影中に変動するデータ値については、継続的に記録する。欠陥画素の補正アドレスデータは撮影中には変動しない為、破棄する。周辺光量落ち補正データや色収差補正データは、全てのレンズ位置における補正データを受信済であれば、継続的に記録するのは絞り値、レンズ位置のみで良い。

カメラ１００から外部記録装置１５０への画像補正データの送信を２以上のフレーム周期で間欠的に行うことにより、カメラ１００における画像補正データ出力の処理負荷を軽減でき、画像補正データの伝送データ量も削減できる。

所定のトリガに応じて、各フレームで画像補正データをカメラ１００から一定期間出力するようにしたことで、外部記録装置１５０において早期に画像補正データを取り込み、記録媒体１５４に記録できるようになる。この一定期間経過後では、画像補正データを間欠出力するモードに移行するので、カメラ１００における画像補正データ出力の処理負荷を軽減でき、画像補正データの伝送データ量も削減できる。

この実施例２に対しても、外部記録装置１５０が画像補正データを受信するまでは記録動作を禁止したが、記録開始指示に対して警告を表示しつつ記録を許可するようにしても良い。

実施例２でも、１フレームで全ての画像補正データを送信することを想定して説明したが、画像補正データのデータサイズによっては、任意のサイズに分割して複数フレームに分けて送信を行う構成としても良い。さらに、撮像装置側の処理として、レンズ交換中やレンズ未装着時は、例えば周辺光量落ち補正データのようなレンズに特化した補正データの送信やメタデータへのラベル付加を行わない構成とすることも有効である。

実施例２では１フレームで全ての画像補正データを送信することを想定して説明したが、画像補正データのデータサイズによっては、任意のサイズに分割して複数フレームに分けて送信を行う構成としても良い。さらに、カメラ１００の処理として、レンズ交換中やレンズ未装着時は、例えば周辺光量落ち補正データのようなレンズに特化した補正データの送信やメタデータへのラベル付加を行わない構成とすることも有効である。

メニューや専用ボタンによる手動操作により、外部記録装置１５０との接続確立をカメラ１００に通知するとした。変更構成として、映像信号の通信手段とは別に、無線等の通信手段により、外部記録装置１５０からカメラ１００に接続確立を通知するようにしても良い。

カメラ１００と外部記録装置１５０を双方向通信可能な通信媒体を介して接続する構成の実施例３を説明する。実施例３では、カメラ１００と外部記録装置１５０は互いの動作状態を知ることができるので、カメラ１００から外部記録装置１５０への画像補正データの送信を適正化できる。この結果、カメラ１００における画像補正データ出力の処理負荷を軽減でき、画像補正データの伝送データ量も削減できる。

図６は、実施例３におけるカメラ１００と外部記録装置１５０の処理手順のフローチャートを示す。図６（ａ）はカメラ１００の処理手順を示し、図６（ｂ）は外部記録装置１５０の処理手順を示す。カメラ１００の制御部１４６が、図６（ａ）に示す処理手順を実現する。外部記録装置１５０の制御部１６２が、図６（ｂ）に示す処理手順の一部を実現する。

図６（ａ）を参照して、実施例３におけるカメラ１００の動作を説明する。ステップＳ６０１において、制御部１４６は、外部記録装置１５０との接続確立を待機する。ここでは、例えば、外部記録装置１５０が、カメラ１００との接続が確立すると、カメラ１００に接続確立を通知する。

ステップＳ６０１において外部記録装置１５０との接続確立を確認すると、制御部１４６は、ステップＳ６０２において、ＲＡＷ画像データと画像補正データの双方を外部出力Ｉ／Ｆ１２２から出力させる。ステップＳ６０３において、制御部１４６は、外部記録装置１５０からファイル生成完了通知を受信したかどうかを判断する。ステップＳ６０３において外部記録装置１５０からファイル生成完了通知を受信していないと、制御部１４６は、ステップＳ６０２において、次のフレームでＲＡＷ画像データと画像補正データの双方を外部出力Ｉ／Ｆ１２２から出力させる。

ステップＳ６０３において外部記録装置１５０からファイル生成完了通知を受信していると、制御部１４６は、ステップＳ６０４において、画像補正データの外部記録装置１５０への送信を停止する。ステップＳ６０５において、制御部１４６は、レンズ交換が実施されたかどうかを判断する。制御部１４６は、ステップＳ６０５においてレンズ交換が実施されたと判断する場合、ステップＳ６０２に戻る。他方、ステップＳ６０５においてレンズ交換が実施されていないと判断する場合、制御部１４６は、ステップＳ６０６においてＲＡＷ画像データのみを外部出力Ｉ／Ｆ１２２から出力させ、次のフレームでステップＳ６０５を実行する。

図６（ｂ）を参照して、実施例３における外部記録装置１５０の動作を説明する。ステップＳ６１１において、制御部１６２は、カメラ１００との接続確立を判断する。制御部１６２は、ステップＳ６１１においてカメラ１００との接続が確立するまで、ステップＳ６１１を繰り返す。

制御部１６２は、ステップＳ６１１においてカメラ１００との接続が確立したと判断する場合、ステップＳ６１２において、接続確立をカメラ１００に通知する。ステップＳ６１３において、制御部１６２は、カメラ１００からの画像補正データを受信したかどうかを判断する。制御部１６２は、ステップＳ６１３において画像補正データを受信していないと判断した場合、ステップＳ６１２を再度実行する。制御部１６２は、ステップＳ６１３において画像補正データを受信したと判断した場合、ステップＳ６１４に進む。

制御部１６２は、ステップＳ６１３において画像補正データを受信したと判断した場合、ステップＳ６１４において、受信した画像補正データがまだファイル生成していない画像補正データかどうかを判断する。ステップＳ６１４において、受信した画像補正データがまだファイル生成していない画像補正データである場合、制御部１６２は、ステップＳ６１５に進む。ステップＳ６１５において、制御部１６２は、記録再生部１５６を制御して画像補正データを格納する補正データファイル１６０を記録媒体１５４に生成させる。ステップＳ６１６において、制御部１６２は、補正データファイルの生成完了をカメラ１００に通知する。

ステップＳ６１４において、受信した画像補正データがファイル生成済み画像補正データである場合、制御部１６２は、新規にファイル生成は行わず、ステップＳ６１６に進む。ステップＳ６１６において、制御部１６２は、補正データファイルの生成完了をカメラ１００に通知し、ステップＳ６１２に戻る。

外部記録装置１５０は、レンズ交換等によりカメラ１００から別の画像補正データが送信されてくるまでは、ステップＳ６１２，Ｓ６１３の処理を繰り返す。

図７は、図６に示す処理手順に対応するカメラ１００と外部記録装置１５０のシーケンス図を示す。ここでは、カメラ１００には、レンズＡが装着されているものとする。

カメラ１００は、外部記録装置１５０からの接続完了通知を受信すると、ＲＡＷ画像データと画像補正データの双方の出力を開始する。カメラ１００は、その後に外部記録装置１５０から補正データファイルの生成完了通知を受信すると、画像補正データを出力せずにＲＡＷ画像データのみを出力する状態またはモードに遷移する。

カメラ１００においてレンズＢに交換されると、カメラ１００は、レンズＢに関するデータを含む画像補正データの出力を開始する。外部記録装置１５０から補正データファイルの生成完了の通知を受けると、カメラ１００は、画像補正データを出力せずにＲＡＷ画像データのみを出力する状態またはモードに遷移する。

カメラ１００において再度、レンズＡに交換されると、カメラ１００は、レンズＡに関するデータを含む画像補正データの出力を開始する。外部記録装置１５０から補正データファイルの生成完了の通知を受けると、カメラ１００は、画像補正データを出力せずにＲＡＷ画像データのみを出力する状態またはモードに遷移する。

ユーザは、外部記録装置１５０とカメラ１００を双方向通信可能なケーブルで接続して、外部記録装置１５０の電源を投入する。外部記録装置１５０は、カメラ１００との接続確立をカメラ１００に通知する。外部記録装置１５０は、準備完了次第、補正データファイルを生成し、画像補正データ記録可能状態に移行する。補正データファイルの生成が完了したタイミングで、外部記録装置１５０は、補正データファイルの生成完了をカメラ１００に通知する。

カメラ１００においてレンズＢに交換されたとする。カメラ１００は、レンズＢを関するデータを含む画像補正データを外部記録装置１５０に供給する。外部記録装置１５０にとって、この画像補正データは新規な画像補正データファイルであり、新規の補正データファイルを生成する必要がある。そこで、外部記録装置１５０は補正データファイルを生成し、この補正データファイルの生成が完了すると、外部記録装置１５０は補正データファイルの生成完了をカメラ１００に通知する。

カメラ１００においてレンズＡに交換されたとすると、カメラ１００は、レンズＡに関するデータを含む画像補正データを外部記録装置１５０に供給する。外部記録装置１５０にとって、この画像補正データを格納すべき補正データファイルは生成済みである。そこで、外部記録装置１５０は即座に、補正データファイルの生成完了をカメラ１００に通知し、受信した画像補正データ（レンズＡに関するデータを含む画像補正データ）を破棄する。

実施例３では接続確立時に画像補正データの通信を実施するものとしたが、接続確立時には実施せず、接続確立後の初めての記録開始時または記録終了時に送信するようにしても良い。これにより、外部記録装置１５０をカメラ１００に接続するだけで実際には記録を行わなかった場合に、不要な補正データファイルの生成を防ぐことが可能である。

本実施例では、カメラ１００が適切なタイミングで画像補正データを外部記録装置１５０に出力するようにしたので、カメラ１００における画像補正データ出力の処理負荷を軽減でき、画像補正データの伝送データ量も削減できる。カメラ１００と外部記録装置１５０間の通信をそれぞれの状態に応じて必要最低限に実行するようにしたことも、画像補正データ出力の処理負荷の軽減と画像補正データの伝送データ量の削減につながる。

尚、本実施例では１フレームで全ての画像補正データを送信することを想定して説明したが、画像補正データのデータサイズによっては、任意のサイズに分割して複数フレームに分けて送信を行う構成としても良い。さらに、撮像装置側の処理として、レンズ交換中やレンズ未装着時は、例えば周辺光量落ち補正データのようなレンズに特化した補正データの送信やメタデータへのラベル付加を行わない構成とすることも有効である。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。特に本実施例では動画を例にしたが、静止画に適用しても同様の効果が得られることは言うまでもない。

また、上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。

プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光／光磁気記憶媒体、不揮発性の半導体メモリでもよい。

また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータはがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。

Claims (15)

1. 被写体を撮像する撮像手段、及び、
   前記撮像手段による撮像で得られる画像データを外部に出力し、前記画像データの補正に使用する画像補正データを２以上のフレーム周期で間欠的に外部に出力する出力手段
   を有する撮像装置と、
   前記撮像装置から出力される前記画像データ及び前記画像補正データを記録媒体に記録する外部記録装置であって、
   記録開始指示を入力する操作手段、
   前記撮像装置から入力する前記画像データと前記画像補正データを記録媒体に記録する記録手段、及び、
   前記記録開始指示の入力の後に前記撮像装置から入力する前記画像補正データの前記記録媒体への記録を開始するように前記記録手段を制御する記録制御手段
   を有する外部記録装置と、
   を有し、
   前記撮像装置は、前記外部記録装置との接続確立を示すトリガに従い、前記画像データの各フレームで所定の期間、前記画像データと前記画像補正データを共に出力するように前記出力手段を制御することを特徴とする撮像システム。
2. 前記撮像装置は、前記所定の期間の経過後、接続確立を示す次のトリガ及びレンズ交換の検知まで、前記出力手段に前記画像データのみを出力させることを特徴とする請求項１に記載の撮像システム。
3. 前記トリガが、ユーザ操作により生成されることを特徴とする請求項１または２に記載の撮像システム。
4. 前記トリガが、前記外部記録装置から前記撮像装置に通知される信号であることを特徴とする請求項１から３のいずれか１項に記載の撮像システム。
5. 前記記録手段は、前記画像補正データを前記記録媒体の補正データファイルに記録することを特徴とする請求項１から４のいずれか１項に記載の撮像システム。
6. 前記記録手段は、前記画像補正データが異なるレンズのデータを含む画像補正データを、前記記録媒体の異なる補正データファイルに記録することを特徴とする請求項５に記載の撮像システム。
7. 前記画像データがＲＡＷ画像データであることを特徴とする請求項１から６のいずれか１項に記載の撮像システム。
8. 前記画像補正データは、欠陥画素の補正、周辺光量落ちの補正、色収差補正並びにＯＢ領域を使用したノイズ除去及びクランプ処理に関するデータのいずれか１つを含むことを特徴とする請求項１から７のいずれか１項に記載の撮像システム。
9. 前記出力手段は、片方向通信インターフェースを用いることを特徴とする請求項１から８のいずれか１項に記載の撮像システム。
10. 被写体を撮像する撮像手段と、
    前記撮像手段による撮像で得られる画像データと前記画像データの補正に使用する画像補正データを外部に出力できる出力手段と、
    前記画像補正データを前記画像データの２以上のフレーム周期で間欠的に外部に出力するように前記出力手段を制御する撮像制御手段と、を有し、
    前記撮像制御手段は、前記出力手段が接続する外部記録装置との接続確立を示すトリガに従い、前記画像データの各フレームで所定の期間、前記画像データと前記画像補正データを共に出力するように前記出力手段を制御することを特徴とする撮像装置。
11. 前記撮像制御手段は、前記所定の期間の経過後、接続確立を示す次のトリガ及びレンズ交換の検知まで、前記出力手段に前記画像データのみを出力させることを特徴とする請求項１０に記載の撮像装置。
12. 前記画像データがＲＡＷ画像データであることを特徴とする請求項１０または１１に記載の撮像装置。
13. 前記画像補正データは、欠陥画素の補正、周辺光量落ちの補正、色収差補正並びにＯＢ領域を使用したノイズ除去及びクランプ処理に関するデータのいずれか１つを含むことを特徴とする請求項１０から１２のいずれか１項に記載の撮像装置。
14. 前記出力手段は、片方向通信インターフェースを用いることを特徴とする請求項１０から１３のいずれか１項に記載の撮像装置。
15. 被写体を撮像する撮像手段と、前記撮像手段による撮像で得られる画像データを外部に出力する出力手段を有する撮像装置を制御する方法であって、
    前記画像データの補正に使用する画像補正データを生成するステップと、
    前記画像補正データを前記画像データの２以上のフレーム周期で間欠的に外部に出力するように前記出力手段を制御する制御ステップと、を有し、
    前記制御ステップでは、前記出力手段が前記画像データを出力する外部記録装置との接続確立を示すトリガに従い、前記画像データの各フレームで所定の期間、前記画像データと前記画像補正データを共に出力するように前記出力手段を制御することを特徴とする撮像装置の制御方法。

Images