JP2005159693A - 画像処理装置 - Google Patents

Abstract

【課題】本露光画像データをフレームメモリに書き込むのと並行して輝度分布情報を求めて、正確且つ高速に動作する動的ガンマ補正部を備えた画像処理装置を提供する。
【解決手段】撮像素子１からの画像データをシステムバス６を介して格納するフレームメモリ５と、該フレームメモリへの格納と並行して画像データが入力され、画像データ内の少なくとも一つの色信号データの明るさ情報のヒストグラムを求めガンマ特性を設定するヒストグラム演算部２と、ヒストグラム演算部で得られたガンマ特性を用いて前記フレームメモリに格納された画像データに対してガンマ補正を行う画像処理部３とで画像処理装置を構成する。
【選択図】図１

Description

この発明は、画像処理装置、特に画像のガンマ補正を行う画像処理装置に関する。

ＣＣＤ等の撮像素子から得られる画像信号を、デジタル画像処理によって所望の画質の画像を得ることを目的とするデジタルカメラなどの画像処理装置において、画像処理の一機能としてガンマ補正処理がある。ガンマ補正処理は、画像をディスプレイやプリンタ等の出力デバイスで表示する際に最適な輝度表示となるように、画像の明るさやコントラストを補正するするものであり、通常、これらの出力デバイスは非線形の表示特性を持つため、ガンマ補正では出力デバイスが持つ表示特性と逆の非線形変換を行うことになる。このため、ガンマ補正処理には、メモリを用いたＬＵＴ（Look Up Table ）による変換や、複数の一次式を組み合わせた折れ線近似式による変換などが用いられることが多い。デジタルカメラにおいて、これらのＬＵＴや折れ線近似式の特性を変える場合は、撮影前に手動設定するのが一般的である。

一方、被写体の状況にあわせてガンマ特性を動的に変化させることにより、画像の明るさやコントラストを、よりきめ細かく補正する方法がある。例えば、特開平８−２３４６０号公報では入力画像のヒストグラムを求め、その結果を元に複数のガンマ補正特性から一つを選択するという手法が提案されている。

また、特開平１１−１９６２９２号公報及び特開２０００−１３８８６２号公報で提案されているデジタルカメラは、撮影直前に撮像素子が露光したプリ撮像データを用いてヒストグラムや輝度分布を求め、この情報によって実際に撮影する画像（以下本露光画像と呼ぶ）のガンマ補正処理を制御している。
特開平８−２３４６０号公報 特開平１１−１９６２９２号公報 特開２０００−１３８８６２号公報

しかし、特開平８−２３４６０号公報開示の手法をデジタルカメラに用いる場合、カメラの撮影処理シーケンスにおいて、どのタイミングでヒストグラムを作成するかについては開示がなされていない。仮に、いったん画像データをフレームメモリにためてからヒストグラムを作成し、その後、ヒストグラムから生成したガンマ特性によってガンマ変換を行う場合、処理時間が長くなるという問題がある。図15の（Ａ），（Ｂ）は、この処理シーケンスを表した図である。図15の（Ａ）は、ヒストグラムを求めない（動的にガンマ補正を行わない）場合の処理シーケンスであり、図15の（Ｂ）は、ヒストグラムを求め、動的にガンマ補正特性を選択する場合のシーケンスである。図15の（Ａ）に示す処理シーケンスでは、撮影開始時点から１フレーム分の撮像データをＤＲＡＭ等のフレームメモリに書き込む。その後、フレームメモリから順次画像を読み出し、ガンマ補正処理を含む画像処理を施した後、フレームメモリに書き戻す。ここで、図15の（Ａ）においては撮像データ読み出し、ガンマ補正処理、処理後データ書き込みは同じ時間に処理しているように図示したが、実際には各処理ではクロック単位の遅延は発生しており、図ではそれを省略している。

一方、図15の（Ｂ）に示す処理シーケンスにおいては、撮影開始時点から１フレーム分の撮像データをＤＲＡＭ等のフレームメモリに書き込む。次に、フレームメモリから順次画像を読み出しヒストグラムを作成し、ガンマ補正用ＬＵＴにガンマ特性を設定する。その後、再度フレームメモリから順次画像を読み出し、設定した特性を元にガンマ補正処理を施した後フレームメモリに書き戻す。したがって、図15の（Ａ）に示す処理シーケンスに対し、１フレーム分の撮像データの読み出し時間が余計にかかることになる。

また、特開平１１−１９６２９２号公報及び特開２０００−１３８８６２号公報開示の手法においては、本露光画像を使ってヒストグラムや輝度分布を求めていないため、特に高速で移動している被写体を撮影する場合において、正確なヒストグラムや輝度分布を求めることができない。更に、一眼レフタイプのデジカメのような、被写体光をミラーによってファインダーと撮像素子へ分光している場合、被写体光が撮像素子にあたるのは本露光時のみであるため、プリ撮像データの取得は不可能であり、したがってガンマ補正を動的に変化させることはできないことになる。

本発明は、上記課題に鑑みてなされたものであり、本露光画像データをフレームメモリに書き込むのと並行して輝度分布情報を求めることにより、正確且つ高速に動作する動的ガンマ補正部を備えた画像処理装置を提供することを目的とする。

上記問題点を解決するため、請求項１に係る発明は、撮像素子からの画像データを格納するフレームメモリと、該フレームメモリへの格納と並行して画像データが入力され、画像データの輝度分布情報を得る輝度分布情報算出部と、得られた輝度分布情報を元に、前記フレームメモリに保存された画像データに対してガンマ補正を行うガンマ補正部とで画像処理装置を構成するものである。

請求項２に係る発明は、請求項１に係る画像処理装置において、前記輝度分布情報算出部は、画像データの内、少なくとも一つの色信号データのヒストグラムから前記輝度分布情報を生成することを特徴とするものである。

請求項３に係る発明は、請求項１に係る画像処理装置において、前記輝度分布情報算出部は、画像データの内、少なくとも一つの色信号データの明るさに対して第１の閾値、及び第１の閾値とは異なる第２の閾値を設定して、第１の閾値以上の画像データの数、あるいは、第２の閾値以下の画像データの数の、少なくとも一方をカウントし、第１の閾値以上の画像データのカウント数、あるいは、第２の閾値以下の画像データのカウント数の、少なくとも一方を前記輝度分布情報として用いることを特徴とするものである。

請求項４に係る発明は、請求項３に係る画像処理装置において、前記ガンマ補正部は、入力される画像データに対応するガンマ補正データからなるルックアップテーブルを複数記憶したメモリと、前記カウント数に応じてメモリ内の１つのルックアップテーブルを選択するセレクタとを有することを特徴とするものである。

請求項５に係る発明は、請求項３に係る画像処理装置において、前記ガンマ補正部は、前記カウント数に応じて、外部よりロードする、入力される画像データに対応するガンマ補正データからなるルックアップテーブルを選択してロードするセレクタと、ロードされたルックアップテーブルを記憶するメモリとを有することを特徴とするものである。

請求項６に係る発明は、請求項３に係る画像処理装置において、前記ガンマ補正部は、入力される画像データに対応するガンマ補正データからなるルックアップテーブルを格納したメモリと、該メモリからのガンマ補正データに対し、前記カウント数より算出される係数を積和演算する演算部とを有することを特徴とするものである。

請求項７に係る発明は、請求項１に係る画像処理装置において、前記輝度分布情報算出部は、画像データの領域に、その位置に応じた重み付けを設定し、その重み付けを用いて輝度分布情報を算出することを特徴とするものである。

各請求項に係る発明に対応する実施例について述べると、次の通りである。すなわち、請求項１，２，７に係る発明には、実施例１が対応する。請求項３に係る発明には、実施例２，３，及び４が対応する。請求項４に係る発明には、実施例２が対応する。請求項５に係る発明には、実施例３が対応する。請求項６に係る発明には、実施例４が対応する。

本発明は、本露光画像データを使い、画像データをメモリに書き込むのと並行して輝度分布情報を作成できる構成とすることにより、正確且つ高速な輝度分布情報を求めることができ、また一眼レフカメラのようなプリ撮像が不可能なデジタルカメラにおいても、被写体の輝度分布に応じて動的にガンマ変換特性を変化させることができる。

次に、発明を実施するための最良の形態について説明する。

（実施例１）
まず、本発明に係る画像処理装置の実施例１について説明する。この実施例１では、本発明に係る画像処理装置をデジタルカメラに適用した場合について説明する。図１は、実施例１に係るデジタルカメラの構成を示すブロック構成図である。図１において、１は撮像素子、２は画像の輝度分布情報として、画像の明るさ情報のヒストグラムを求めるヒストグラム演算部、３はガンマ補正を含む種々の画像処理を行う画像処理部であり、画像処理部３内のガンマ補正部はメモリを用いたＬＵＴで構成されている。４は各構成ブロックをコントロールするためのＣＰＵ、５は画像を１画面分保存するフレームメモリ、６は画像データやコントロール信号が流れるシステムバスである。なお、実際のハードウェア構成として必要な、メモリコントローラ等の制御ブロックは本発明の本質に関係ないため省略している。

次に、図１に示したデジタルカメラの動作を、図２の処理シーケンス図を用いて説明する。まず、デジタルカメラのシャッター（図示せず）が押されると、撮像素子１で光電変換された画像データはＡＤ変換（図示せず）され、デジタル画像データとなってシステムバス６を介しフレームメモリ５に書き込まれる。これと並行してデジタル画像データは、ヒストグラム演算部２にも入力される。ヒストグラム演算部２においては、入力された画像データから横軸を明るさ、縦軸を度数とするヒストグラムデータを作成する。このとき、ヒストグラム作成に用いる画像データとしては、全てのデジタル画像データのうち、輝度情報を多く含む色信号のみを使う。例えば、撮像素子１としてＲＧＢカラーフィルタを備えたＣＣＤを用いている場合には、ＲＧＢ信号のうちＧ信号のみを使う。これにより、少ないデータから効率的にヒストグラムを求めることができ、ヒストグラムデータを保存するメモリ等を削減することができる。

また、ヒストグラム演算部２は、ヒストグラム作成時に画像の場所によってヒストグラム度数の重みを可変する機能も備えている。例えば、図３に示すように、画像の中央部の重み値が周辺部より大きくなるように、例えば周辺部の重み＝１，中央部の重み＝２に設定し、重み＝２のエリア内においては、そのヒストグラムの度数を２倍にする。図３は、画像の中央部分に重要な被写体があると仮定した場合の重み付け例であり、このようにすることで、より重要な被写体の明るさやコントラストが適切になるように、ガンマ補正することが可能となる。

次に、ヒストグラム演算部２では１フレーム分の画像データから作成したヒストグラムを、輝度の低い方から累積した累積ヒストグラムを作成し、これを画像処理部３内のガンマ補正ＬＵＴにロードする。この際、累積ヒストグラムの最大度値をＬＵＴの出力ビット数にあわせて正規化しなければならないのは言うまでもない。ここで、得られる累積ヒストグラムについて図４の（Ａ）〜（Ｃ）を用いて説明する。図４の（Ａ）〜（Ｃ）は、それぞれ明るさの分布が異なる２枚の画像について、ヒストグラム（実線）と累積ヒストグラム（点線）を表した図である。但し、ヒストグラムと累積ヒストグラムが同じスケールになるように度数を調整してある。図４の（Ａ）は画像中に明るい部分が多いときの図であり、累積ヒストグラムは明るい部分で傾きが大きくなる。したがって、この特性を用いてガンマ補正した場合、明るい部分に階調が多く割り当てられ、その結果良好な階調特性となる。一方、図４の（Ｂ）は画像中に暗い部分が多い場合の図であり、累積ヒストグラムは暗い部分で傾きが大きくなる。したがって、この特性を用いてガンマ補正した場合、暗い部分に階調が多く割り当てられ、その結果良好な階調特性となる。

但し、この手法で求めた累積ヒストグラムをそのままガンマ補正として用いると、次のような問題が生じる。例えば、図４の（Ａ）で説明した累積ヒストグラムは暗い部分の階調はほとんど表現されず、明るい部分のコントラストのみが大きく変化することになる。このような画像は元々の被写体のコントラストと大きく異なるため、結果として違和感のある画像となってしまう。また、例えばガンマ補正前の画像が均等な輝度分布をもっていいる場合、累積ヒストグラムは傾き１の直線となる。これをそのままガンマ補正の特性としてしまうと、結果的にガンマ補正されないことになってしまい、ガンマ補正の当初の目的であった出力デバイス上で良好な明るさ及びコントラストを表現するということができなくなってしまう。これらの問題を解決するため、予め出力デバイスの階調表示特性をキャンセルするようなガンマ特性を保持しておき、これと求めた累積ヒストグラムとの差分が、ある範囲を超えないように累積ヒストグラムを修正するという手法をとる必要がある。この態様を示したのが図４の（Ｃ）である。求めた累積ヒストグラムが点線、予め設定したガンマ特性を実線とすると、修正後のガンマ補正特性は一点鎖線のようになる。

上記手法で累積ヒストグラムを求めた後、画像処理部３はフレームメモリ５からシステムバス６を介し画像データを順次読み出し、ヒストグラム演算部２で設定されたガンマ特性を用いたガンマ補正処理や、その他種々の画像処理を行い、処理後の画像データをシステムバス６を介してフレームメモリ５に書き戻す。この撮像データ読み出し、画像処理、処理後データ書き戻しの各処理は１画素毎にパイプライン処理されるため、図２で示したように、ほぼ同じタイミングで始まり、終了する。また、これまで説明した処理シーケンスは、ＣＰＵ４によって制御される。

以上のような構成でガンマ補正処理を行うことにより、処理時間を増やすことなく動的にガンマ補正特性を変化させることが可能となる。また、本露光画像データからヒストグラムを作成するため、正確な輝度分布情報を求めることができ、且つ、ミラー分光する機構を持った一眼レフデジタルカメラにおいても、ガンマ補正特性を動的に変化させることが実現可能となる。

（実施例２）
次に、本発明の実施例２について説明する。前記実施例１では、画像の輝度分布情報としてヒストグラムを用いる形態のものを示したが、本実施例ではより簡便な手法で画像の輝度分布情報を求め、この輝度分布情報から動的にガンマ特性を変化させる形態について説明する。図５の（Ａ）は、本発明の実施例２に係るデジタルカメラの構成を示すブロック構成図である。図５の（Ａ）において、７は画像中のある第１の閾値以上の明るさの画素をカウントする明部カウンタ及び第２の閾値以下の明るさの画素をカウントする暗部カウンタ、８はガンマ補正を含む種々の画像処理を行う画像処理部であり、この画像処理部８内のガンマ補正部は図５の（Ｂ）に示すようにメモリを用いたＬＵＴ９を複数個と、それらのうち一つを選択するセレクタ10とで構成されている。その他の構成ブロックは、図１に示した実施例１の構成ブロックと同じであるため、同一の構成ブロックには同一の符号を付して示し、その説明を省略する。また、画像処理部８にはガンマ補正部以外の画像処理ブロックが存在してもかまわないが、本発明に影響しないため図示及び説明を省略する。

次に、図５に示した実施例２の動作を、図６の処理シーケンス図を用いて説明する。まず、デジタルカメラのシャッター（図示せず）が押されると、撮像素子１で光電変換された画像データはＡＤ変換（図示せず）され、デジタル画像データとなってシステムバス６を介しフレームメモリ５に書き込まれる。これと並行してデジタル画像データは、明部暗部カウンタ７にも入力される。明部暗部カウンタ７はカウンタを２つ持ち、入力された画像データのうち、ある第１の閾値レベル以上の画素と、第２の閾値レベル以下の画素をカウントする。このとき、カウントする画像データとして、全てのデジタル画像データのうち、輝度情報を多く含む色信号のみを使うのは、実施例１と同じである。また、画像の場所によってカウント値の重み付けをするのも、実施例１と同じである。

次に、明部暗部カウンタ部７ではカウント結果を元にセレクト信号の生成を行う。このセレクト信号は、画像処理部８の複数あるガンマ補正ＬＵＴ９を切り換えるための信号であり、例えば、明部カウンタ値、暗部カウンタ値がそれぞれ予め設定した第３の閾値以上であるときを１，以下であるときを０とすると、表１に示すような２ビットのセレクト信号を生成する。

次に、画像処理部８はフレームメモリ５からシステムバス６を介して画像データを順次読み出し、セレクト信号によりセレクタ10を介して選択されたＬＵＴ９を用いたガンマ補正や、その他の種々の画像処理を行い、システムバス６を介してフレームメモリ５に書き戻す。ここで、セレクト信号と、選択されるＬＵＴ９内のガンマ特性の関係を、図７を用いて説明する。図７は、４つのＬＵＴ９内に設定してあるガンマ特性カーブを表した図である。セレクト信号が００のときは、画像中には明部と暗部の割合が少ないということであるから、中間の明るさ域に階調が多く割り当てられるように、図７のａで示す特性が設定してあるＬＵＴ９を選択する。セレクト信号が０１のときは、暗い部分が多いということであるから、画像の暗い領域に階調が多く割り当てられるように、図７のｂで示す特性が設定してあるＬＵＴ９を選択し、セレクト信号が10のときは、明るい部分が多いということであるから、画像の明るい領域に階調が多く割り当てられるように、図７のｃで示す特性が設定してあるＬＵＴ９を選択し、セレクト信号が11のときは、明るい部分と暗い部分が多いということであるから、画像の明るい領域と暗い領域に階調が多く割り当てられるように、図７のｄで示す特性が設定してあるＬＵＴ９を選択する。

本実施例２では、画像の明部及び暗部をカウントしたため、ＬＵＴ９の数は４つとなっているが、カウントする明るさ域を更に細分化した場合は、ＬＵＴ９の数を増やすことで対応可能となるし、逆に明るい部分又は暗い部分のいずれか一方のみをカウントした場合は、ＬＵＴ９の数を減らすことができる。また、ＬＵＴ９を構成するメモリは、ＲＯＭ又はＲＡＭどちらでもかまわない。

以上のような構成にすることで、画像の輝度分布情報をより簡単に求めることができ、処理時間を増やすことなく動的にガンマ補正特性を切り換えることが可能となる。

（実施例３）
次に、本発明の実施例３について説明する。前記実施例２では、画像の輝度分布情報として画像の明部及び暗部の数をカウントし、そのカウント値によってガンマ補正ＬＵＴを切り換えるようにした構成のものを示したが、本実施例ではカウント値を用いて別の手法で動的にガンマ特性を変化させる形態について説明する。図８の（Ａ），（Ｂ）は、本発明の実施例３に係るデジタルカメラの構成を示すブロック構成図である。図８の（Ａ）において、11はガンマ補正を含む種々の画像処理を行う画像処理部であり、この画像処理部11内のガンマ補正部は、図８の（Ｂ）に示すように、セレクタ12によってＬＵＴ13のアドレスポートに入力するデータを切り換え可能な構成となっている。なお、本実施例においては、ＬＵＴ13はＲＡＭで構成されており、図８の（Ｂ）ではシングルポートＲＡＭを用いた場合の構成を示してある。その他の構成ブロックは、図２に示した実施例２の構成ブロックと同じであるため、同一の構成ブロックには同一の符号を付して示し、その説明を省略する。但し、明部暗部カウンタ７の出力信号線はシステムバス８に接続されている。

次に、図８の（Ａ），（Ｂ）に示した実施例３の動作を図９の処理シーケンス図を用いて説明する。まず、デジタルカメラのシャッター（図示せず）が押されてから、画像データをフレームメモリ５に書き込むのと並行して、明部暗部カウンタ７によって入力された画像データのうち、第１の閾値レベル以上の画素と、第２の閾値レベル以下の画素をカウントし、セレクト信号を生成するまでは、図５の（Ａ）に示した実施例２と同じである。生成されたセレクト信号はシステムバス６を介し、ＣＰＵ４に入力される。ＣＰＵ４では、セレクト信号をもとに、例えば図７に示した複数のガンマ特性が保存されているメモリ（図示せず）から１つを選択し、画像処理部11内のガンマ補正ＬＵＴ13に、選択したガンマ特性データ（ＬＵＴデータ）及びＬＵＴメモリアドレスを出力する。この際、ＣＰＵ４は、テーブルロード／ガンマ補正セレクト信号によりＬＵＴ13がＣＰＵ４からのＬＵＴデータ及びＬＵＴアドレスを入力できるようにセレクタ12を切り換える。ＬＵＴ13へのＬＵＴデータのロードが終了した後、ＣＰＵ４はセレクタ12を切り換え、画像データを入力できる状態にする。次に、画像処理部11はフレームメモリ５からシステムバス６を介して画像データを順次読み出し、ＣＰＵ４によってＬＵＴデータがロードされたＬＵＴ13を用いたガンマ補正や、その他の種々の画像処理を行い、システムバス６を介してフレームメモリ５に書き戻す。

以上のような構成にすることで、画像の輝度分布情報をより簡単に求めることができ、少ない回路規模で動的にガンマ補正特性を切り換えることが可能となる。

（実施例４）
次に、本発明の実施例４について説明する。本実施例は実施例２及び３と同様にカウント値を輝度分布情報として用いるが、実施例２及び３とは別の手法で動的にガンマ特性を可変させるように構成したものである。図10の（Ａ），（Ｂ）は、本発明の実施例４に係るデジタルカメラの構成を示すブロック構成図である。図10の（Ａ）において、14はガンマ補正を含む種々の画像処理を行う画像処理部であり、画像処理部14内のガンマ補正部は、図10の（Ｂ）に示すように、ＬＵＴ15の出力信号と、積和係数生成部19からの信号とを、乗算器16及び加算器17を用いて積和演算する構成となっている。なお、18はクリップ部である。その他の構成ブロックは、図２に示した実施例２の構成ブロックと同じであるため、同一の構成ブロックには同一の符号を付して示し、その説明を省略する。

次に、図10の（Ａ），（Ｂ）に示した実施例４の動作を、図11の処理シーケンス図を用いて説明する。画像データを、明部暗部カウンタ７によって第１の閾値レベル以上の画素と第２の閾値レベル以下の画素をカウントするまでは、実施例２と同じである。２つのカウント値は画像処理部14へ出力され、画像処理部14内の積和係数生成部19では、２つのカウント値からガンマ補正特性を変化させるための積和係数値を算出する。ここで、積和係数の働きを、図12の（Ａ），（Ｂ）を用いて説明する。まず、ＬＵＴ15には基本となるガンマ補正特性がセットされている。基本となるガンマ特性とは、出力デバイスの表示特性の逆特性となるようなガンマ特性であり、例えば図12の（Ａ）及び図12の（Ｂ）の細実線のような特性である。

この基本となるガンマ特性に対して、まず乗算器16で傾きの調整を行う。乗算係数が１以上の場合、ＬＵＴ出力値が大きいほど乗算後の増加分が大きくなり、すなわち、図12の（Ａ）の点線のような明るい領域に階調が多く割り当てられるような特性となる。これに加算器17にてマイナス係数値を加算することにより、図12の（Ａ）の太線のような特性に調整する。加算後の値はクリップ部18において、マイナスの値は０にクリップされる。逆に乗算係数が１以下の場合、ＬＵＴ出力値が大きいほど傾きの減少分が大きくなり、すなわち、図12の（Ｂ）の点線のような暗い領域に階調が多く割り当てられるような特性となる。これを加算器17にてプラス係数を加算することにより、図12の（Ｂ）の太線のような特性に調整する。加算後の値は、クリップ部18にて所望の出力データ幅にクリップされる。

以上のガンマ特性を得るため、積和係数生成部19では、２つのカウント値をもとに例えば次のように積和係数を算出することとする。
明部カウント値＞暗部カウント値で、且つ明部カウント値がある閾値を超えたとき、乗算係数Ｋ１を、
Ｋ１＝１＋（明部カウント値／全画素数）×α
とし、加算係数Ｋ２を、
Ｋ２＝−Ｋ１×Ｙ
とする。

ここで、αは、Ｋ１の変化幅を調整するための設定値であり、ここでは０＜α＜10の値としている。例えばα＝0.5 としたときＫ１は１〜1.5 の範囲の値となるから、基本ガンマ特性にかかる乗数は最大で1.5 に制限できることになる。また、Ｙは乗算後のガンマ特性値をオフセットさせる量を決める値であり、Ｋ１の大きさと連動させることにより、基本特性に対してのオフセット量を調整することができる。例えば図12の（Ａ）では、Ｙを基本特性の最大出力値としたので、基本特性の最大値と積和演算後の出力最大値が一致するようにオフセットしている。

一方、明部カウント値＜暗部カウント値で、且つ暗部カウント値が閾値を超えたときは、
Ｋ１＝１−（暗部カウント値／全画素数）×α
Ｋ２＝Ｋ１×Ｙ
とする。
また、上記二つの条件にあてはまらないときは、
Ｋ１＝１
Ｋ２＝０
とする。これは基本特性をそのまま使用する係数である。

積和係数値を算出した後、画像処理部14はフレームメモリ５からシステムバス６を介して画像データを順次読み出し、ＬＵＴ及び積和演算部を用いたガンマ補正や、その他の種々の画像処理を行い、システムバスを介してフレームメモリに書き戻す。

以上のような構成にすることで、画像の輝度分布情報をより簡単に求めることができ、簡単な構成で処理時間を増やすことなく動的にガンマ補正特性を切り換えることが可能となる。

（実施例５）
次に、本発明の実施例５について説明する。本実施例は、輝度分布情報の算出部を他の処理と共用するように構成したものである。本発明においては、画像の輝度分布情報として、画像全体のヒストグラム又は明部暗部のカウント値を算出している。デジタルカメラにおいて、このような画像全体から情報を求めなければならない処理の一つに、例えばオートホワイトバランス処理がある。最も単純なオートホワイトバランス処理は、撮影した画像全体の各色の平均値を求め、この平均値が同じ値になるように各色信号を調整するというものであるが、本発明に係る画像処理装置におけるガンマ補正部で用いているように、撮像素子のデータをフレームメモリに書き込むと並行してこの平均値を算出できれば、処理時間を延ばすことなくホワイトバランス処理を行うことが可能となる。

したがって、図13に示すように、デジタルカメラにおいて、輝度分布情報を求めると共に、各色信号の平均値又は累積加算値を求める輝度分布情報・各色平均値算出部20を設けることで、図14の処理シーケンスに示すように、撮像データをフレームメモリに書き込むと同時に、輝度分布情報・各色平均値算出部20において輝度分布情報と各色平均値を算出することができ、ガンマ補正用のパラメータとオートホワイトバランス用のパラメータが同時に算出され、画像処理部21においてガンマ補正処理とホワイトバランス補正処理を、処理時間を増やすことなく行うことができる。

本発明に係る画像処理装置の実施例１の構成を示すブロック構成図である。 図１に示した実施例１の動作を説明するための処理シーケンスを示す図である。 画像に対する重み付け例を示す図である。 明るさに関するヒストグラムと累積ヒストグラムの関係、並びに累積ヒストグラムの修正態様を示す図である。 本発明の実施例２の構成を示すブロック構成図である。 図５に示した実施例２の動作を説明するための処理シーケンスを示す図である。 図５に示した実施例２における４つのＬＵＴ内に設定されているガンマ特性カーブを示す図である。 本発明の実施例３の構成を示すブロック構成図である。 図８に示した実施例３の動作を説明するための処理シーケンスを示す図である。 本発明の実施例４の構成を示すブロック構成図である。 図10に示した実施例４の動作を説明するための処理シーケンスを示す図である。 図10に示した実施例４における積和演算部の動作を示す説明図である。 本発明の実施例５の構成を示すブロック構成図である。 図13に示した実施例５の動作を説明するための処理シーケンスを示す図である。 従来のガンマ補正手法を説明するための処理シーケンスを示す図である。

符号の説明

１ 撮像素子
２ ヒストグラム演算部
３ 画像処理部
４ ＣＰＵ
５ フレームメモリ
６ システムバス
７ 明部暗部カウンタ
８ 画像処理部
９ ＬＵＴ
10 セレクタ
11 画像処理部
12 セレクタ
13 ＬＵＴ
14 画像処理部
15 ＬＵＴ
16 乗算器
17 加算器
18 クリップ部
19 積和係数生成部
20 輝度分布情報・各色平均値算出部
21 画像処理部

Claims (7)

1. 撮像素子からの画像データを格納するフレームメモリと、該フレームメモリへの格納と並行して画像データが入力され、画像データの輝度分布情報を得る輝度分布情報算出部と、得られた輝度分布情報を元に、前記フレームメモリに保存された画像データに対してガンマ補正を行うガンマ補正部とを有する画像処理装置。
2. 前記輝度分布情報算出部は、画像データの内、少なくとも一つの色信号データのヒストグラムから前記輝度分布情報を生成することを特徴とする請求項１に係る画像処理装置。
3. 前記輝度分布情報算出部は、画像データの内、少なくとも一つの色信号データの明るさに対して第１の閾値、及び第１の閾値とは異なる第２の閾値を設定して、第１の閾値以上の画像データの数、あるいは、第２の閾値以下の画像データの数の、少なくとも一方をカウントし、第１の閾値以上の画像データのカウント数、あるいは、第２の閾値以下の画像データのカウント数の、少なくとも一方を前記輝度分布情報として用いることを特徴とする請求項１に係る画像処理装置。
4. 前記ガンマ補正部は、入力される画像データに対応するガンマ補正データからなるルックアップテーブルを複数記憶したメモリと、前記カウント数に応じてメモリ内の１つのルックアップテーブルを選択するセレクタとを有することを特徴とする請求項３に係る画像処理装置。
5. 前記ガンマ補正部は、前記カウント数に応じて、外部よりロードする、入力される画像データに対応するガンマ補正データからなるルックアップテーブルを選択してロードするセレクタと、ロードされたルックアップテーブルを記憶するメモリとを有することを特徴とする請求項３に係る画像処理装置。
6. 前記ガンマ補正部は、入力される画像データに対応するガンマ補正データからなるルックアップテーブルを格納したメモリと、該メモリからのガンマ補正データに対し、前記カウント数より算出される係数を積和演算する演算部とを有することを特徴とする請求項３に係るの画像処理装置。
7. 前記輝度分布情報算出部は、画像データの領域に、その位置に応じた重み付けを設定し、その重み付けを用いて輝度分布情報を算出することを特徴とする請求項１に係る画像処理装置。

Images