JP4687750B2 - デジタルカメラおよび画像信号処理用記憶媒体 - Google Patents

Description

本発明は、被写体を電子的に圧縮した画像データとして記憶するデジタルカメラおよび画像信号処理プログラムが格納された記憶媒体に関する。

従来から、撮影レンズを通過する被写体像がクイックリターンミラーによって導かれるファインダ装置と、クイックリターンミラーの後段に配置され被写体像を撮像して画像データを出力するＣＣＤのような撮像装置と、撮像装置から出力される画像データに対してホワイトバランスやγ補正などの画像処理を施す画像処理回路と、画像処理後のデータをＪＰＥＧなどの方式で圧縮してフラッシュメモリなどの記憶媒体に記憶する圧縮回路と、画像処理後のデータを表示するモニタとを備える電子スチルカメラが知られている。画像処理回路では、撮像装置から出力される画像データに基づいて、予め定めたアルゴリズムによりホワイトバランス調整用のＲゲインやＢゲイン、あるいはγ補正用の階調カーブなどのパラメータを算出する。また、ＪＰＥＧ方式で圧縮するために画像データをそれぞれ８×８の輝度データＹと色差データＣｒ，Ｃｂに変換する。

このような従来の電子スチルカメラの撮像装置では、ホワイトバランスやγ補正などの画像前処理も、画像前処理後のデータをＪＰＥＧ圧縮するためにフォーマット化する画像後処理もＣＣＤの読み出しに沿った１ライン毎に処理している。そのため、ＣＣＤの画素数が２００万画素を越えるような高画質型の電子スチルカメラでは、パイプライン演算などに使用されるラインバッファメモリの容量が莫大となり、高価なカメラとなってしまうという問題がある。この問題は次のように説明することができる。

すなわち、従来、固体撮像素子からの出力を信号処理する場合、撮像素子から出力されるＮ×Ｍの１画面の画像データはライン毎に点順次で出力されるため、画素補間処理、フィルタ処理などの信号処理をする場合、たとえば５×５のフィルタ処理をする場合など４ライン分のラインバッファメモリが必要である。つまり、４ライン分の画像データをメモリに蓄積して初めて処理が可能となる。このラインバッファメモリは、フィルタ処理、補間処理などの各種の処理ごとにそれぞれ４ライン分必要となる。

このように、上述したフィルタ処理、補間処理などの各処理ごとに４ラインづつのラインバッファメモリを１チップの処理ＩＣに設けると、メモリの占有する割合が多くなり、１チップ処理ＩＣのゲート数が増大し、コスト高になってしまう。とくに２００万画素を越えるような高画素タイプの撮像素子では１ラインの画素数が多くなり、とくにコストが高くなる。また、ラインバッファメモリを１チップ処理ＩＣの外に設置する場合、その入力出力ピンが１０ｂｉｔであれば２０ピン必要となり、ラインバッファメモリごとに２０ピンの入出力ピンが必要となって、１チップ処理ＩＣのパッケージが大きくなってしまう。

本発明の目的は、画素数が多くなってもバッファメモリの容量を大型化することなくコストを下げるようにしたデジタルカメラを提供することにある。
また本発明の他の目的は、画素数の多い撮像素子で撮像された画像データでもバッファメモリの容量を少なくできるような信号処理を行なうプログラムを格納した記憶媒体を提供することにある。

一実施の形態を示す図１および図２を参照して本発明を説明する。
（１）請求項１の発明は、撮影レンズ９１を通過する被写体像を撮像して画像データを出力する撮像装置７３（２６）と、撮像装置２６から出力されるＮ行Ｍ列の画像データに対してライン順次の前処理を行い、第一の画像データを生成する第一の画像処理回路２９と、第一の画像データを少なくとも一フレーム分一時的に記憶する第一の記憶装置３０と、第一の画像データからｎ行ｍ列（ｎはＮ＞ｎ≧３を満たす正の整数、ｍはＭ＞ｍ≧３を満たす正の整数）のブロックを入力し、入力したブロックのデータに対して、ブロックの大きさが順次縮小される少なくとも二段階のフィルタ処理を含むフォーマット処理をＭ列のラインバッファメモリを使用せずにブロック単位で行うことにより、（ｎ−ｉ）行（ｍ−ｊ）列（ｉはｎ＞ｉ≧２を満たす正の整数、ｊはｍ＞ｊ≧２を満たす正の整数）の大きさである第二の画像データを生成する第二の画像処理回路２９と、（ｎ−ｉ）行（ｍ−ｊ）列の第二の画像データを順次に圧縮記録処理する記録処理回路３３とを備え、（ｎ−ｉ）行（ｍ−ｊ）列の第二の画像データは圧縮記録処理に必要な大きさであることを特徴とする。
（２）請求項２の発明は、請求項１に記載のデジタルカメラにおいて、第一の画像データは色成分データを含み、第二の画像処理回路は、第一の画像データから読み出した共通のｎ行ｍ列のブロックのデータに基づいて、（ｎ−ｉ）行（ｍ−ｊ）列の輝度ブロックを生成する輝度ブロック処理と、（ｎ−ｉ）行（ｍ−ｊ）列の第１色差ブロックと第２色差ブロックとを生成する色差ブロック処理と含むことを特徴とする。
（３）請求項３の発明は、請求項１または２のデジタルカメラにおいて、第二の画像データを一時的に記憶する第二の記憶装置をさらに備え、記録処理回路は、第二の記憶装置に記憶された第二の画像データに対して記録処理を行うことを特徴とする。
（４）請求項４の発明は、請求項３のデジタルカメラにおいて、第一の記憶装置と第二の記憶装置とは同一の記憶装置であることを特徴とする。
（５）請求項５の発明は、請求項１のデジタルカメラにおいて、ｎ行ｍ列のブロックの第一の画像データから抽出された、（ｎ−ｉ１）行（ｍ−ｊ１）列（ｉ１はｉ＞ｉ１≧１を満たす正の整数、ｊ１はｊ＞ｊ１≧１を満たす正の整数）の画像データに対してメディアン処理を行うことを特徴とする。
（６）請求項６の発明は、請求項１乃至５のいずれか一項のデジタルカメラにおいて、撮像装置は、被写体像を撮像してアナログ画像信号を出力する撮像部と、アナログ画像信号をデジタル画像データに変換するＡ／Ｄ変換回路とを含むことを特徴とする。
（７）請求項７の発明は、請求項１乃至６のいずれか一項のデジタルカメラにおいて、第一の画像処理回路は、撮像装置から出力される画像データに対してホワイトバランス調整を行うホワイトバランス調整手段を含み、ホワイトバランス調整手段から出力されるホワイトバランス調整後の画像データに基づいてホワイトバランス微調整係数を算出するホワイトバランス微調整係数算出回路を更に備え、第二の画像処理回路は、第一の画像データに対して、ホワイトバランス微調整係数によってホワイトバランス微調整処理を行うホワイトバランス微調整手段を含むことを特徴とする。

なお、本発明の構成を説明する上記課題を解決するための手段の項では、本発明を分かり易くするために実施の形態の図を用いたが、これにより本発明が実施の形態に限定されるものではない。

本発明によれば、撮像装置から出力される画像データに対してγ補正、ホワイトバランス補正などの前処理を各行ごとにライン順次で行ない、前処理を終えた画像データに対してｎ行ｍ列のブロックごとにブロック順次で記録処理や圧縮処理前のフォーマット処理を行なうようにしたので、とくに、画素数が２００万を越えるような撮影装置で撮像する高画質タイプの画像を処理する場合にバッファメモリの容量を大型化することなくコスト低減を図ることが可能となる。また、処理チップをハードウエアで作成する場合にも小型課、低コスト化を実現できる。

以下、図面を参照して本発明の実施の形態を説明する。 図１に示すように、この実施の形態による一眼レフ電子スチルカメラは、カメラ本体７０と、カメラ本体７０に着脱されるファインダ装置８０と、撮影レンズ９１と絞り９２を内蔵してカメラ本体７０に着脱される交換レンズ９０とを備える。被写体光は交換レンズ９０を通ってカメラ本体７０に入射し、レリーズ前は点線で示す位置にあるクイックリターンミラー７１でファインダ装置８０に導かれてファインダマット８１に結像する。その被写体像はさらにペンタプリズム８２で接眼レンズ８３に導かれる。レリーズ後はクイックリターンミラー７１が実線で示す位置に回動し、被写体光はシャッタ７２を介して撮像装置７３上に結像する。レリーズ前に、プリズム８４と結像レンズ８５を通って被写体像がホワイトバランスセンサ８６に入射して、被写体像の色温度を検出する。

図２は実施の形態の回路ブロック図である。ＣＰＵ２１にはレリーズ釦に連動する半押しスイッチ２２と全押しスイッチ２３から半押し信号と全押し信号がそれぞれ入力される。ＣＰＵ２１からの指令により、タイミングジェネレータ２４とドライバ２５を介して撮像装置７３のＣＣＤ２６が駆動制御される。また、タイミングジェネレータ２４によりアナログ処理回路２７とＡ／Ｄ変換回路２８の動作タイミングが制御される。さらに、ＣＰＵ２１からの信号によりホワイトバランス検出処理回路３５が駆動を開始する。

半押しスイッチ２２のオン操作に引続いて全押しスイッチ２３がオン操作されるとクイックリターンミラー７１が上方に回動し、交換レンズ９０からの被写体光はＣＣＤ２６の受光面上で結像し、ＣＣＤ２６には被写体像の明るさに応じた信号電荷が蓄積される。ＣＣＤ２６に蓄積された信号電荷はドライバ２５により吐き出され、ＡＧＣ回路やＣＤＳ回路などを含むアナログ信号処理回路２７に入力される。アナログ信号処理回路２７でアナログ画像信号に対してゲインコントロール、雑音除去等のアナログ処理が施された後、Ａ／Ｄ変換回路２８によってデジタル信号に変換される。デジタル変換された信号はたとえばＡＳＩＣとして構成される画像処理回路２９に導かれ、そこでホワイトバランス調整、輪郭補償、ガンマ補正等の画像前処理が行われる。

ホワイトバランス検出処理回路３５は、色温度センサであるホワイトバランスセンサ３５Ａ（図１のホワイトバランスセンサ８６）と、ホワイトバランスセンサ３５Ａからのアナログ信号をデジタル信号とするＡ／Ｄ変換回路３５Ｂと、デジタル色温度信号に基づいてホワイトバランス調整信号を生成するＣＰＵ３５Ｃとを含む。ホワイトバランスセンサ３５Ａはたとえば赤色Ｒと青色Ｂと緑色Ｇとにそれぞれ感度を有する複数の光電変換素子からなり、被写界全体の光像を受光する。ＣＰＵ３５Ｃは、複数の光電変換素子の出力に基づいてＲゲインとＢゲインを算出する。これらのゲインはＣＰＵ２１の所定のレジスタに転送されて格納される。また、図１のホワイトバランスセンサ８６は、２４列×２０行の２次元ＣＣＤで構成することもでき、その場合、ＣＣＤを１６の領域に分割し、各領域にＲＧＢに感度を有する素子を複数個配列する。

画像前処理が行なわれた画像データに対してはさらに、ＪＰＥＧ圧縮のためのフォーマット処理（画像後処理）が行なわれ、その後、その画像データはバッファメモリ３０に一時的に格納される。

バッファメモリ３０に記憶された画像データは、表示画像作成回路３１により表示用の画像データに処理され、ＬＣＤ等の外部モニタ３２に撮影結果として表示される。また、バッファメモリ３０に記憶された画像データは、圧縮回路３３によりＪＰＥＧ方式で所定の比率にデータ圧縮を受け、フラッシュメモリ等の記憶媒体（ＰＣカード）３４に記録される。

図３および図４は画像処理回路２９の詳細を示すブロック図である。図３はＣＣＤ２６からの画像データに対してラインごとに信号処理するライン処理回路１００であり、上述した画像前処理を行う。図４は、ライン処理回路１００で信号処理された画像データを２０×２０画素領域、１６×１６画素領域、１２×１２画素領域、あるいは８×８画素領域のブロック単位で信号処理するブロック処理回路２００であり、上述した画像後処理を行う。なお、画像処理回路２９は複数のプロセッサを用いてソフトウエアとして実現されるが、この明細書では便宜上、ハードウエアとして説明する。

図３のライン処理回路１００は、Ａ／Ｄ変換回路２８から出力される１２ビットのＲ，Ｇ，Ｂ信号に対して後述する各種の信号処理を行なうものであり、欠陥補正回路１０１と、デジタルクランプ回路１０２と、ゲイン回路１０３と、ホワイトバランス回路１０４と、黒レベル回路１０５と、γ補正回路１０６と、平均値およびヒストグラム算出回路１０７とを有する。

欠陥補正回路１０１は、ＣＣＤ２６の出力に対して１ラインごとに点順次で、欠陥のある画素（予め特定されてそのアドレスがレジスタにセットされている）からのデータを補正するものである。デジタルクランプ回路１０２は、ＣＣＤ２６の出力に対して１ラインごとに点順次で、いわゆるオプティカルブラックとして使用する複数の画素データの加重平均をそのラインの各画素データから減算するものである。ゲイン回路１０３は、ＣＣＤ２６の出力に対して１ラインごとに点順次で、ＣＣＤ２６から出力されるＲ，Ｇ，Ｂ信号の各々に対して一律に所定のゲインをかけるとともに、ＣＣＤ２６の感度のばらつき補正をＧ信号に対して行ない、さらに、ＣＣＤ２６の感度比のばらつきをＲ，Ｂ信号に対して行なう。

ホワイトバランス回路１０４は、ＣＣＤ２６の出力に対して１ラインごとに点順次で、上述したようにあらかじめ決定されてＣＰＵ２１のレジスタに格納されているホワイトバランス調整係数であるＲゲインとＢゲインをＲ，Ｂ信号に掛合わせる。本発明では後述するように、このホワイトバランス回路１０４で補正された画像データに基づいて、さらにホワイトバランス微調整のゲインを算出してホワイトバランスを微調整する。黒レベル回路１０５は、ＣＣＤ２６の出力に対して１ラインごとに点順次で、あらかじめ決定されてＣＰＵ２１のレジスタに格納されている値をＲ，Ｇ，Ｂ信号に対して加算する。γ補正回路１０６は、ＣＣＤ２６の出力に対して１ラインごとに点順次で、階調ルックアップテーブルを用いてγ補正を行なう。なお、γ補正によりそれぞれ１２ビットのＲ，Ｇ，Ｂ信号は８ビットのデータに変換される。

平均値およびヒストグラム算出回路１０７は、たとえばγ補正後の画像データのなかから、焦点検出領域の中央部を中心とした５１２×５１２の領域の画像データを抽出して、Ｒ信号用のホワイトバランス微調整用ゲインＲＦgainとＢ信号用のホワイトバランス微調整用ゲインＢＦgainをたとえば、次式（１），（２）により算出する。このゲインＲＦgainとＢＦgainはレジスタに格納される。たとえば、５１２×５１２の画素領域上に図５に示すようにカラーフィルタが配置されている場合、Ｒ，Ｇ，Ｂ信号の平均値を（３）〜（５）式で算出し、（１），（２）式に示すように、Ｇ信号の平均値ＧaveとＲ信号の平均値Ｒaveとの比およびＧ信号の平均値ＧaveとＢ信号の平均値Ｂaveとの比からホワイトバランス微調整用ゲインＲＦgainとＢＦgainを算出する。

このような平均値方式によると、画像データのＲＧＢの各信号の階調の平均値を求めたことになり、経験的にホワイトバランスの調整結果（全体的なホワイトバランス）が良好となる。

平均値およびヒストグラム算出回路１０７で算出したＲ，Ｇ，Ｂの各信号の輝度レベルのヒストグラムに基づいて、ホワイトバランス微調整用ＲＦgainとＢＦgainを次のように算出してもよい。平均値およびヒストグラム算出回路１０７は、Ｒ，Ｇ，Ｂの各信号の輝度レベルのヒストグラムを算出する。すなわち、各色の輝度レベルごとの個数を算出して図６（ａ）〜図６（ｃ）に示すようなヒストグラムを算出する。ここで、Ｒ，Ｇ，Ｂの各色の９５％レベル値をたとえば、Ｒ＝１８０、Ｂ＝２００、Ｇ＝１９０とすると、ＲＦgainとＢＦgainは、ＲＦgain＝１９０／１８０、ホワイトバランス微調整用ＢＦgain＝１９０／２００として算出することができる。なお、９５％レベル値とは、最も多いドット数の９５％のドット数の輝度レベル値である。
このようなヒストグラム方式によると、ヒストグラムが画像データのＲＧＢの各信号の階調分布の分散を含む形状となり、その形状からホワイトバランス微調整ゲインを求めれば、所定の部分（白点部分）に集中してホワイトバランスを合せることができ、経験的にホワイトバランスの調整結果が良好となる。なお、平均値方式とヒストグラム方式を組合せてもよい。

図４のブロック処理回路２００は、ホワイトバランス微調整回路２１０と補間／輪郭処理回路２２０とから構成され、ｎ×ｍ画素データごとに、すなわちブロックごとに各種信号処理を行なう。ホワイトバランス微調整回路２１０は、γ補正回路１０６までの処理が施されてバッファメモリ３０に格納されているＲ信号およびＢ信号に対して、２０×２０画素領域の各Ｒ，Ｂ信号ごとに、平均値回路１０７で算出されたホワイトバランス微調整用ゲインＲＦgainとＢＦgainをそれぞれ掛け合せてホワイトバランスの微調整を行なう。

補間／輪郭処理回路２２０は、Ｇ補間回路２２１と、バンドパスフィルタ（ＢＰＦ）２２２と、クリップ回路２２３と、ゲイン回路２２４と、ローパスフィルタ（ＬＰＦ）２２５と、色差信号生成回路２２６と、補間／ローパスフィルタ（ＬＰＦ）回路２２８と、マトリックス回路２２９と、加算器２３０と、メディアン回路２３２とを備え、ホワイトバランス微調整後の画像データに対して２０×２０画素領域のブロックデータごとにＪＰＥＧ方式のデータ圧縮のためのフォーマット処理を行なって８×８画素領域のＹ信号と、８×８画素領域のＣｂ信号，Ｃｒ信号を生成する。輝度信号Ｙは、後述するようにＧ信号の低周波数成分の輝度信号Ｙ１と高周波数成分の輪郭信号Ｙ２とを含むものである。

Ｇ補間回路２２１にはホワイトバランス調整回路２１０から２０×２０画素領域のブロック信号が入力され、その中心の１６×１６画素領域のデータについて、Ｒ信号あるいはＢ信号の画素領域に対してＧ成分を補間演算で算出する。すなわち、図７に示すように、２０×２０画素領域の入力データＤ２０について、５×５画素領域データＤ５１（１行１列〜５行５列）の中央の空格子点（３行３列の画素であり、Ｂ信号が得られる）のＧ成分を算出し、この値を１６×１６画素領域の出力データＤ１６の３行３列の画素（Ｂを○で囲ったもの）のＧ成分として置換する。

次いで、２０×２０画素領域の入力データＤ２０について、５×５画素領域データＤ５２（２行２列〜６行６列）の中央の空格子点（４行４列の画素であり、Ｒ信号が得られる）のＧ成分を算出し、この値を１６×１６画素領域の出力データＤ１６の４行４列の画素（Ｒを○で囲ったもの）のＧ成分に置換する。このような処理を繰り返し行なうことにより、１６×１６画素領域のすべての空格子点についてＧ補間処理が行われ、出力データＤ１６を得る。そして、そのうちの１２×１２画素領域の出力データＤ１２をバンドパスフィルタ２２２とローパスフィルタ２２５にそれぞれ出力する一方、１６×１６画素領域の出力データＤ１６を色差信号生成回路２２６に出力する。

バンドパスフィルタ２２２は、Ｇ補間回路２２１から出力される１２×１２画素領域のＧ信号のうち中間周波数成分（ただし、被写体の輪郭が抽出できる程度に高い周波数成分であり、便宜上、高周波数成分と呼ぶ）を取り出す。すなわち、図８に示すように、１２×１２画素領域の入力データＤ１２について、５×５画素領域データＤ５（５行５列〜９行９列）にバンドパスフィルタ係数を掛け合せてＢＰＦ出力データを得、その値を８×８画素領域の出力データＤ８の７行７列のデータ（太字Ｇ）として置換する。このような処理を繰り返すことで８×８画素領域のすべての画素データをＢＰＦ後のＧデータに置換し、出力データＤ８を生成する。

クリップ回路２２３は、バンドパスフィルタ２２２から出力される８×８画素領域データＤ８のそれぞれを、設定したレベルでクリップおよびカットする。ゲイン回路２２４は、クリップ回路２２３の出力にあらかじめ定められたゲインを掛ける。

ローパスフィルタ２２５は、Ｇ補間回路２２１から出力される１２×１２画素領域のＧ信号のうち低周波数成分を取り出す。すなわち、図９に示すように、１２×１２画素領域の入力データＤ１２について、５×５画素領域データＤ５（５行５列〜９行９列）にローパスフィルタ係数を掛け合せてＬＰＦ出力データを得、その値を８×８画素領域の出力データＤ８の７行７列のデータ（ハッチング領域）として置換する。このような処理を繰り返すことで８×８画素領域のすべての画素データをＬＰＦ後のＧデータに置換し、出力データＤ８を生成する。

色差信号生成回路２２６は、図１０に示すように、ホワイトバランス微調整回路２１０の出力である１６×１６画素領域のＲＧＢ信号入力データＤ１６−１およびＧ補間回路２２１の出力である１６×１６画素領域のＧ信号入力データＤ１６−２に基づいて（Ｂ−Ｇ）信号と（Ｒ−Ｇ）信号を含む中間データＤ１６−３を生成する。さらに、中間データＤ１６−３を（Ｂ−Ｇ）色差信号の出力データＤ１６−４と（Ｒ−Ｇ）色差信号の出力データＤ１６−５とに分離する。

補間／ＬＰＦ回路２２８は、色差信号生成回路２２６から１６×１６画素領域の８ビットの（Ｂ−Ｇ）信号と（Ｒ−Ｇ）信号をそれぞれ入力して、５×５画素領域ごとに（Ｂ−Ｇ）信号と（Ｒ−Ｇ）信号をそれぞれ補間演算するとともに、同時に低帯域信号を取り出すローパスフィルタリング処理も行ない、その結果である１２×１２画素領域の（Ｂ−Ｇ）信号と（Ｒ−Ｇ）信号をマトリックス回路２２９のＣｂ，Ｃｒマトリックス部へ出力する。また、８×８画素領域の（Ｂ−Ｇ）信号と（Ｒ−Ｇ）信号をマトリックス回路２２９のＹマトリックス部へ出力する。

５×５画素領域の（Ｒ−Ｇ）データを図１１のように表わすとき、上記補間演算とローパスフィルタリング処理演算は次式（６）で表わされる。

一般に、補間フィルタと帯域制限のＬＰＦを同時にかける場合には次のようなフィルタ係数の制限がある。簡単のために１次元で説明する。補間後のサンプル点のうち、Ｎ周期で実サンプル点がある場合を考える。たとえば、ａ，ａ，ｂ，ｂ，ａ，ａ，ｂ，ｂ，・・・・・・・・（ただし、ａは実サンプル点、ｂは補間するサンプル点とする。なお、この例では４周期である）。これを（２ｎ＋１）次（ただし、（２ｎ＋１）はＮよりも大きい）の奇数次対称型デジタルフィルタで補間する場合、実サンプル点が一様であれば、補間後のサンプル点も一様でなければいけないので、以下のようなフィルタ係数の制限がある。

Ｃ（ｋ）をｋ番目のフィルタ係数とすると、以下のようにＮ個存在する係数の組の和が互に等しくなくてはならい。

ただし、ｉはフィルタ係数が（２ｎ＋１）以下に収まる０以上の整数
ｋはｎ未満の０以上の整数

２次元の場合は、水平方向と垂直方向に同様の制限のフィルタを掛合わせて２次元フィルタを構成すればよい。この実施の形態では、図５と図１１に示すように２画素周期のサンプル点を補間するので、Ｎ＝２であり、フィルタ係数は偶数次の和と奇数次の和が等しくなければならない。すなわち、
ΣＣ（２＊ｉ）＝ΣＣ（２＊ｉ＋１）
２次元で上記（６）式のような５次×５次の対称型フィルタの場合は、
４＊ｋｃ１＋２＊ｋｃ３＋４＊ｋｃ５＋２＊ｋｃ７＋ｋｃ９
＝４＊ｋｃ２＋４＊ｋｃ４＋２＊ｋｃ６＋２＊ｋｃ８
となる。

たとえば、図１２を参照して（Ｒ−Ｇ）信号の補間／ＬＰＦ処理について説明する。１６×１６画素領域の入力データＤ１６の（Ｒ−Ｇ）信号について、５×５画素領域データＤ５（３行３列〜７行７列）に補間／ＬＰＦフィルタ係数を掛け合せ、その中央領域（５行５列）の（Ｒ−Ｇ）データを算出し、これを１２×１２画素領域の出力データＤ１２の５行５列のデータとして置換する。このような処理を繰り返すことで（Ｒ−Ｇ）信号について１２×１２画素領域のすべての画素データを補間／ＬＰＦ処理し、出力データＤ１２を得る。（Ｂ−Ｇ）信号についても同様な処理を行なって、１２×１２画素領域の出力データを生成する。

マトリックス回路２２９は、Ｙマトリックス部と、Ｃｂマトリックス部と、Ｃｒマトリックス部とから構成される。Ｙマトリックス部は、補間／ＬＰＦ回路２２８から８×８画素領域の（Ｂ−Ｇ）信号と（Ｒ−Ｇ）信号を入力するとともに、ローパスフィルタ２２５から８×８画素領域のＧ信号を入力し、次式（７）により８×８画素領域の低周波数成分の輝度信号Ｙ１を生成する。

Ｃｂマトリックス部およびＣｒマトリックス部はそれぞれ、補間／ＬＰＦ回路２２８から１２×１２画素領域の（Ｂ−Ｇ）信号と（Ｒ−Ｇ）信号を各々入力し、次式（８），（９）により１２×１２画素領域のＣｂ信号とＣｒ信号を生成する。

加算器２３０は、マトリックス回路２２９から出力される８×８画素領域の低周波数成分の輝度信号Ｙ１とゲイン回路２２４から出力される８×８画素領域の高周波数成分の輪郭抽出信号Ｙ２を加算する。ゲイン回路２２４から出力される輪郭抽出信号Ｙ２は、Ｇ補間された１２×１２画素領域のＧ信号から高周波数成分を抽出したもの、すなわち輪郭を抽出したものである。したがって、加算器２３０で式（７）で算出される輝度信号Ｙ１とゲイン回路２２４で算出された輪郭抽出信号Ｙ２を加算することにより、画像全体の輝度／輪郭抽出信号Ｙ（Ｙ１＋Ｙ２）が算出される。この加算結果はバッファメモリ３０に格納される。

メディアン回路２３３は、マトリックス回路２２９からの１２×１２画素領域のＣｂ信号とＣｒ信号を入力し、５×５画素領域に含まれる３×３画素の９点を利用したメディアン処理を行ない、８×８画素のＣｒ信号とＣｂ信号を出力する。

この実施の形態のメディアン処理では、図１３に示すように、１２×１２画素のデータＤ１２（データは黒点印）のうち、５×５画素領域に含まれる３×３画素（５行５列〜９行９列）のデータＤ３−５の９個のデータ（×印）に対してメディアンフィルタ処理を行なう。すなわち、９個のデータを昇順もしくは降順にソートして中央値をメディアン処理データとする。そして、得られたメディアン処理データを、８×８画素の出力データＤ８の７行７列のデータとして置換する。このような演算を繰り返して行なうことにより、Ｃｂ，Ｃｒ信号のそれぞれについて８×８画素の出力データＤ８を生成する。Ｃｒ信号とＣｂ信号の出力データＤ８はバッファメモリ３０に格納される。

ＪＰＥＧ圧縮回路３３は、上述したようにブロック処理回路２００に入力された２０×２０画素領域ごとの入力データに対して、加算回路２３０により生成された８×８画素のＹ信号と、メディアン回路２３２により生成された８×８画素のＣｒ信号とＣｂ信号とに基づいて、ＪＰＥＧ圧縮方式の８×８画素にフォーマット化されたＹＣｒＣｂ信号を１単位として抽出し、周知の手順により圧縮することを繰り返し行ってすべての画像を圧縮する。圧縮された画像データはＣＰＵ２１を経由してＰＣカード３４に記憶される。

このように構成された電子スチルカメラの動作について説明する。全押しスイッチ２３が操作されると、クイックリターンミラーが跳ね上がり、図１４に示す撮影シーケンスのプログラムが起動される。ステップＳ２１では、ＣＣＤ２６の各画素が受光信号を蓄積し、蓄積終了後、全画素の蓄積電荷を順次に吐き出す。ステップＳ２２において、吐き出された画像データはアナログ信号処理回路２７で処理された後、Ａ／Ｄ変換回路２８でデジタル画像データに変換され、画像処理回路２９に入力される。次にステップＳ２３に進み、ホワイトバランス調整、γ階調補正、ＪＰＥＧフォーマット化処理などが画像処理回路２９で行なわれる。画像処理が終了するとステップＳ２４に進み、画像処理後の画像データをいったんバッファメモリ３０に記憶する。ステップＳ２５において、バッファメモリ３０から画像データを読み込んでＪＰＥＧ圧縮回路３３でデータを圧縮する。ステップＳ２６では、圧縮した画像データをＰＣカード３４に記憶する。

この実施の形態の作用効果についてさらに詳細に説明する。
（１）画素単位およびライン単位で行なうことが可能な信号処理については図３に示したライン処理回路１００が担当する。すなわち、ライン処理回路１００はＣＣＤ２６から出力されるデータに沿ってラインごとにデータを点順次で出力処理する。そしてライン処理後のデータをいったんバッファメモリ３０に格納し、その後の信号処理は、ブロック処理回路２００において、ｎ×ｍ（ｎ，ｍ＝２０，１６，１２，８）画素を１つのブロック単位で行なうようにした。したがって、２００万画素を越えるような高画質タイプの電子スチルカメラの場合でも、ラインバッファが大型化することがない。すなわち、この実施の形態のようにブロック単位で信号処理を行わない場合には、図１５に示すように、Ｇ補間処理、ＢＰＦ処理、補間／ＬＰＦ処理およびメディアン処理回路のそれぞれに４ライン分のバッファメモリＢＭ１〜ＢＭ４が必要となり、回路規模が大型化するのは明らかである。また、画素単位およびライン単位で行なうパイプライン演算についてはブロックごとの処理ではなくライン処理なので、パイプライン演算時間も従来と同様に高速にできる。

（２）あらかじめ決定したホワイトバランス調整係数ＲゲインおよびＢゲインを用いてホワイトバランスを行なった画像に基づいて、上式（１），（２）のようなホワイトバランス微調整用ＲＦゲインおよびホワイトバランス微調整用ＢＦゲインを算出し、ホワイトバランス後の画像データに対してそのＲＦゲイン，ＢＦゲインによりホワイトバランス微調整を行なうようにしたので、あらかじめ決定されているホワイトバランス調整係数の調整不良が発生しても、色かぶり画像が発生することが防止される。

（３）補間／ＬＰＦ回路２２８により、（Ｂ−Ｇ）信号と（Ｒ−Ｇ）信号をそれぞれ補間演算するとともに、同時に低周波数成分を取り出すローパスフィルタリング処理も行なうようにしたので、補間処理、マトリッックス処理、ＬＰＦ処理の順番で信号を処理して偽色や色モアレ抑制する方式に比べて、処理時間が短縮される。また、ハードウエアを省略することができるうえに、トータルの周波数応答を一箇所でコントロールできるので制御しやすい。

（４）ＪＰＥＧ方式で圧縮する前に８×８画素のＣｒ画像データとＣｂ画像データに対してメディアン処理を行なうようにしたので、従来のようにローパスフィルタリングだけで偽色や色モアレを抑制する場合に比べて、偽色や色モアレをより短時間で一層抑制することができる。また、ＪＰＥＧ圧縮フォーマット処理により８×８画素のＣｒ，Ｃｂ信号を生成する際、補間／ＬＰＦ処理、マトリックス処理された１２×１２画素データに対して、５×５画素領域のＣｂ信号とＣｒ信号を水平方向と垂直方向ともに１画素ごとに３×３画素の９個のデータを抽出してメディアン処理するようにしたので、５×５画素の２５個のデータの全てに対してメディアン処理する場合に比べて、メディアン処理時間を短縮できる。

以上の実施の形態では電子スチルカメラについて説明したが、ライン処理回路１００あるいはブロック処理回路２００をソフトウエアの形態でＣＤ−ＲＯＭやフロッピデイスクなどの記憶媒体に画像処理プログラムとして格納し、パソコンで画像処理する際に使用することもできる。この場合、ＣＣＤで撮像してデジタル化された画像データを大容量の画像データ用記憶媒体に記憶し、この記憶媒体をパソコンにセットして画像データを取込んだ上で、上記画像処理プログラムにより上述のようなライン処理やブロック処理を行うようにする。たとえば図３において、黒レベル回路１０５の出力データを生データとしてＰＣカード３４に記憶し、そのＰＣカード３４をパソコンにセットして生データの画像処理を行なうことができる。

上述したようにパソコン上で画像処理する際、上記画像データ用記憶媒体に記憶された画像データが既にホワイトバランス調整を施されている場合には、ホワイトバランス微調整処理だけを行なうようにプログラムを作成する。一方、上記画像データ用記憶媒体に記憶された画像データがホワイトバランス調整を施されていない場合には、ホワイトバランス調整処理とホワイトバランス微調整処理を行なうようにプログラムを作成する。その場合、画像データ用記憶媒体にはＣＣＤからの撮像データのみならず、ホワイトバランスセンサ８６（３５Ａ）で検出した被写体の色温度情報も合せて記憶しておき、そのデータに基づいてホワイトバランス調整を行なう。

なお以上では、一眼レフ電子スチルカメラについて説明したが、レンズ交換ができない電子スチルカメラ、動画像も取込めるデジタルビデオカメラにも本発明を適用できる。また、以上では、ＪＰＥＧ圧縮方式について説明したがその他の圧縮方式にも本発明を適用できる。その他の圧縮方式としては、ＴＩＦＦ方式による圧縮、フラクタル方式による圧縮、ＭＰＥＧ方式による圧縮などがあげられる。なお、この明細書でのフォーマット処理は上記各種の圧縮処理に先立って行なうフォーマット処理に限定されず、非圧縮のＴＩＦＦフォーマット処理も含むものである。

以上の実施の形態における回路構成は一例を示すに過ぎず、たとえば次のような態様を含むものである。
（１）ブロック処理回路２００のＧ補間処理、ＢＰＦ処理、ＬＰＦ処理、補間／ＬＰＦ処理では、２０×２０、１６×１６、１２×１２、８×８のいずれかのブロックを１単位として画像処理するものとして説明した。しかしながら、各処理において、５×５の画像データを１単位として画像処理すれば足りる。
（２）ホワイトバランス微調整用ゲインＲＦgainとＢＦgainを算出する際、焦点検出領域の中央部を中心とした５１２×５１２の領域の画像データを抽出するようにしたが、全画像のデータを利用してもよいし、撮影領域の中央部の所定領域のデータを使用したり、焦点検出領域が複数ある場合には選択された焦点検出領域の所定領域の画像データを利用してもよい。測光領域として利用された領域のデータに基づいてホワイトバランス微調整係数を算出してもよい。

一眼レフ電子スチルカメラの一実施の形態の構成を示す図 一眼レフ電子スチルカメラの信号処理系統の一実施の形態のブロック図 図２に示した信号処理系統のうちライン処理を行なう回路を説明するブロック図 図２に示した信号処理系統のうちブロック処理を行なう回路を説明するブロック図 カラーフィルタの配列を示す図 Ｒ，Ｇ，Ｂのヒストグラムを説明する図 Ｇ補間回路の処理内容を説明する図 バンドパスフィルタの処理内容を説明する図 ローパスフィルタの処理内容を説明する図 色差信号生成回路の処理内容を説明する図 補間／ＬＰＦ回路で処理されるデータ例を示す図 補間／ＬＰＦ回路の処理内容を説明する図 メディアン回路の処理内容を説明する図 全押しスイッチで起動されるプログラムを示すフローチャート ＪＰＥＧフォーマット処理をブロック処理ではなくライン処理で行なう場合のブロック図

符号の説明

２１…ＣＰＵ、２２…半押しスイッチ、２３…全押しスイッチ、２６…ＣＣＤ、２９…画像処理回路、３３…ＪＰＥＧ圧縮回路、３５…ホワイトバランス検出処理回路、３５Ａ…ホワイトバランスセンサ、７３…ＣＣＤ、１００…ライン処理回路、１０４…ホワイトバランス回路、１０７…平均値算出／ヒストグラム算出回路、２００…ブロック処理回路、２１０…ホワイトバランス微調整回路、２２８…補間／ＬＰＦ回路、２２９…マトリックス回路、２３２…メディアン回路

Claims (7)

1. 撮影レンズを通過する被写体像を撮像して画像データを出力する撮像装置と、
   前記撮像装置から出力されるＮ行Ｍ列の画像データに対してライン順次の前処理を行い、第一の画像データを生成する第一の画像処理回路と、
   前記第一の画像データを少なくとも一フレーム分一時的に記憶する第一の記憶装置と、
   前記第一の画像データからｎ行ｍ列（ｎはＮ＞ｎ≧３を満たす正の整数、ｍはＭ＞ｍ≧３を満たす正の整数）のブロックを入力し、入力したブロックのデータに対して、ブロックの大きさが順次縮小される少なくとも二段階のフィルタ処理を含むフォーマット処理をＭ列のラインバッファメモリを使用せずにブロック単位で行うことにより、（ｎ−ｉ）行（ｍ−ｊ）列（ｉはｎ＞ｉ≧２を満たす正の整数、ｊはｍ＞ｊ≧２を満たす正の整数）の大きさである第二の画像データを生成する第二の画像処理回路と、
   前記（ｎ−ｉ）行（ｍ−ｊ）列の第二の画像データを順次に圧縮記録処理する記録処理回路とを備え、
   前記（ｎ−ｉ）行（ｍ−ｊ）列の第二の画像データは前記圧縮記録処理に必要な大きさであることを特徴とするデジタルカメラ。
2. 請求項１に記載のデジタルカメラにおいて、
   前記第一の画像データは色成分データを含み、
   前記第二の画像処理回路は、前記第一の画像データから読み出した共通のｎ行ｍ列のブロックのデータに基づいて、（ｎ−ｉ）行（ｍ−ｊ）列の輝度ブロックを生成する輝度ブロック処理と、（ｎ−ｉ）行（ｍ−ｊ）列の第１色差ブロックと第２色差ブロックとを生成する色差ブロック処理と含むことを特徴とするデジタルカメラ。
3. 請求項１または２に記載のデジタルカメラにおいて、
   前記第二の画像データを一時的に記憶する第二の記憶装置をさらに備え、
   前記記録処理回路は、前記第二の記憶装置に記憶された前記第二の画像データに対して記録処理を行うことを特徴とするデジタルカメラ。
4. 請求項３に記載のデジタルカメラにおいて、
   前記第一の記憶装置と前記第二の記憶装置とは同一の記憶装置であることを特徴とするデジタルカメラ。
5. 請求項１に記載のデジタルカメラにおいて、
   前記ｎ行ｍ列のブロックの第一の画像データから抽出された、（ｎ−ｉ１）行（ｍ−ｊ１）列（ｉ１はｉ＞ｉ１≧１を満たす正の整数、ｊ１はｊ＞ｊ１≧１を満たす正の整数）の画像データに対してメディアン処理を行うことを特徴とするデジタルカメラ。
6. 請求項１乃至５のいずれか一項に記載のデジタルカメラにおいて、
   前記撮像装置は、前記被写体像を撮像してアナログ画像信号を出力する撮像部と、前記アナログ画像信号をデジタル画像データに変換するＡ／Ｄ変換回路とを含むことを特徴とするデジタルカメラ。
7. 請求項１乃至６のいずれか一項に記載のデジタルカメラにおいて、
   前記第一の画像処理回路は、前記撮像装置から出力される画像データに対してホワイトバランス調整を行うホワイトバランス調整手段を含み、
   前記ホワイトバランス調整手段から出力されるホワイトバランス調整後の画像データに基づいてホワイトバランス微調整係数を算出するホワイトバランス微調整係数算出回路を更に備え、
   前記第二の画像処理回路は、前記第一の画像データに対して、前記ホワイトバランス微調整係数によってホワイトバランス微調整処理を行うホワイトバランス微調整手段を含むことを特徴とするデジタルカメラ。

Images