JP3663973B2 - 画像信号処理装置および画像信号処理方法 - Google Patents
画像信号処理装置および画像信号処理方法 Download PDFInfo
- Publication number
- JP3663973B2 JP3663973B2 JP12543699A JP12543699A JP3663973B2 JP 3663973 B2 JP3663973 B2 JP 3663973B2 JP 12543699 A JP12543699 A JP 12543699A JP 12543699 A JP12543699 A JP 12543699A JP 3663973 B2 JP3663973 B2 JP 3663973B2
- Authority
- JP
- Japan
- Prior art keywords
- gain
- color
- signal
- control
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
- Facsimile Scanning Arrangements (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像信号処理装置に関し、特に、画面の明るさを制御するゲインコントロール機能とホワイトバランス機能とを一体化した画像信号処理装置および画像信号処理方法に関する。
【０００２】
【従来の技術】
従来、この種の画像信号処理装置として、例えば、特開平１０−２７１４９１号公報（以下、第１の従来例という）および特開平５−３１６３７６号公報（以下、第２の従来例という）に示されるようなものがある。これらの画像信号処理装置は、画像撮像装置において、撮像素子から得られたアナログ信号に必要な処理を施し、デジタル信号に変換することを目的として用いられている。
【０００３】
図５は、第１の従来例の画像信号処理装置の構成を示すブロック図である。
この画像信号処理装置は、画像撮像素子（図示せず）に含まれるノイズを除去するノイズ除去回路（以下、ＣＤＳ回路という）４１と、モニタ上に映し出される画像が所定の明るさになるように利得を調整するゲインコントロール回路（以下、ＧＣＡ回路という）４２と、白のバランス補正を行うホワイトバランス回路４３と、映像信号のばらつきを補正するばらつき補正回路４４と、アナログ信号をデジタル信号に変換するＡ／Ｄコンバータ４５と、利得を制御するＣＰＵ４７と、Ｄ／Ａコンバータ４６と、から構成されている。
【０００４】
以上の構成を有する第１の従来例の画像信号処理装置の動作を説明する。
まず、画像撮像素子（図示せず）から得られた映像信号は、ＣＤＳ回路４１で映像信号に含まれるノイズが除去され、ＧＣＡ回路４２に入力される。ＧＣＡ回路４２は、ゲイン制御端子に印加されるレベル制御信号に応じて出力信号のレベルを調整し、その出力端子から出力する。この利得は、モニタ上に映し出される明るさが最適になるようにＣＰＵ４７とＤ／Ａコンバータ４６によって１フレーム毎に制御される。ＧＣＡ回路４２の出力端子は、ホワイトバランス回路４３に接続されている。このホワイトバランス回路４３は、映像信号の色バランス補正を行い出力端子から出力する。ホワイトバランス回路４３の出力端子は、ばらつき補正回路４４に接続され、ばらつき補正回路４４で映像信号のばらつきが補正された後、Ａ／Ｄコンバータ４５に入力され、アナログ信号からデジタル信号へ変換される。デジタル化された映像信号はＣＰＵ４７に出力され、ＣＰＵ４７は、モニタが所定の明るさになるようにＤ／Ａコンバータ４６に制御信号を送る。Ｄ／Ａコンバータ４６は、ＣＰＵ４７から送られた制御信号をアナログ制御信号に変換し、ＧＣＡ回路４２のゲインを制御する。
【０００５】
図６は、第２の従来例の画像信号処理装置の構成を示すブロック図である。
この画像信号処理装置は、撮像素子５１から出力される映像信号に含まれるノイズを除去するＳ／Ｈ回路５２と、利得が一定の増幅器５３と、３通りの減衰比が設定されたアッテネータ５４，５５，５６と、アッテネータ５４，５５，５６の出力を切り替えるセレクタ５８と、アナログ信号をデジタル信号に変換するＡ／Ｄコンバータ５９から構成されている。
【０００６】
以上の構成を有する第２の従来例の画像信号処理装置の動作を説明する。
まず、撮像素子５１から出力された映像信号は、Ｓ／Ｈ回路５２でサンプルホールドされ、利得が一定の増幅器５３で予め設定された値に増幅されて、増幅器５３の出力端へ出力される。増幅器５３の出力は並列に接続された３種類のアッテネータ５４，５５，５６に接続され、各アッテネータ５４，５５，５６の出力端子はセレクタ５８に接続されている。セレクタ５８は、複数の色分離信号をシリアルに出力するカラーイメージセンサ５１から出力される各色分離信号に対応して、アッテネータ５４，５５，５６の出力を切り替えてアッテネータ５４，５５，５６の出力端子に映像信号を出力する。アッテネータ５４，５５，５６の減衰比は、各色分離信号の出力比が等しくなるように予め調整されており、Ａ／Ｄコンバータ５９で、ホワイトバランスがとれた映像信号をデジタル化することができる。
【０００７】
【発明が解決しようとする課題】
しかしながら、上述した従来の画像信号処理装置によれば、以下のような問題があった。
（１）第１の従来例によれば、信号の利得を調整するために、ＧＣＡ回路とホワイトバランス回路の両方の回路が必要となり、装置の規模が大きくならざるを得ない。このため、消費電力が増大し、コストも増加してしまうという問題があった。
（２）また、第１の従来例によれば、ＧＣＡ回路とホワイトバランス回路の両方を制御するために、ＧＣＡ制御用とホワイトバランス制御用の両方の制御信号とデータ線が必要になり、コストを増加させてしまうという問題があった。
一般に、ＧＣＡ制御に必要とされる利得は０〜３０ｄＢである。一方、ホワイトバランス制御で必要とされる利得は−２〜１４ｄＢである。ＧＣＡ制御は非常に広いダイナミックレンジを制御する必要があるため、ログスケールで制御されることが多い。一方、ホワイトバランス制御は、制御範囲は狭いが、正確な色補正を行うためにリニアスケールで制御されることが多い。ＧＣＡ回路とホワイトバランス回路のそれぞれを１０ｂｉｔ精度で制御すると、データ線だけで合計２０本の制御線が必要になる。近年、半導体集積回路で構成された画像信号処理装置を使った画像撮像装置の小型化に伴い、制御線の占める面積が無視できなくなってきており、制御信号線の増加はコストを増加させてしまう。
（３）第２の従来例によれば、セレクタがカラーイメージセンサから出力される各色分離信号に対応してアッテネータの出力を切り替えてホワイトバランスをとる動作の際に、セレクタの切り替え信号がカラーイメージセンサの駆動系に悪影響を与え、ノイズを発生させてしまうという恐れがあった。
（４）また、第２の従来例によれば、各色分離信号に対応した異なるアッテネータからの出力信号が選択されるため、アッテネータで用いている素子のばらつきを補正しにくいという問題があった。この問題は、補正回路を設けることにより解消可能であるが、補正回路を設けた場合には、回路の複雑化、大規模化を招くという新たな問題が生じる。
【０００８】
従って、本発明の目的は、回路規模が小さく、制御線の数が少ない画像信号処理装置および画像信号処理方法を提供することにある。
【０００９】
本発明の他の目的は、素子のばらつきの影響が少なく、精度の高いホワイトバランス回路を有する画像信号処理装置および画像信号処理方法を提供することにある。
【００１０】
【課題を解決するための手段】
本発明は、上記の目的を達成するため、複数の色信号を出力するカラーイメージセンサを用いた画像信号処理装置において、前記カラーイメージセンサから出力される前記複数の色信号毎に信号の大きさを所定の大きさに調整するゲインコントロール手段と、前記ゲインコントロール手段の出力から得られる画像信号を順次デジタル信号に変換するアナログ／デジタル変換手段と、前記ゲインコントロール手段の利得を制御する制御手段と、を少なくとも備え、前記制御手段に、前記カラーイメージセンサのカラーフィルタの配列に同期して各画素毎に切り替わる同期信号と、各ライン毎に切り替わる同期信号と、各フレーム毎に切り替わる同期信号と、各フィールド毎に切り替わる同期信号と、の少なくとも１つ以上の制御信号と、画像の明るさを制御する第一のゲインコントロールの利得の値と前記カラーイメージセンサから出力される色信号に応じて制御される各色信号毎のホワイトバランス用の第２のゲインコントロールの利得の値を予め乗算して得られる前記カラーフィルタ配列毎の利得設定値とを入力すること、を入力することを特徴とする画像信号処理装置を提供するものである。
【００１１】
以上の構成において、前記制御手段は、前記カラーイメージセンサから出力される色信号に応じて前記ゲインコントロール手段で参照する利得の値を記憶する記憶手段を備え、前記記憶手段で記憶した前記値を、前記少なくとも１つ以上の制御信号により各色信号毎に書き換えることが望ましい。
【００１２】
また、前記ゲインコントロール手段は、前記カラーフィルタ配列毎の利得設定値により利得制御されることが望ましい。
【００１３】
また、前記カラーフィルタ配列毎の利得設定値は、前記アナログ／デジタル変換手段から出力されたデジタル信号を使って演算されることが望ましく、前記第１のゲインコントロールの利得の値を浮動小数点で表現し、前記浮動小数点で表現された前記第１のゲインコントロールの利得の値と前記第２のゲインコントロールの利得の値とを乗算することにより得られることが望ましい。
【００１４】
また、前記ゲインコントロール手段は、直列に接続された１あるいは２以上の演算増幅手段を有していることが望ましい。
【００１５】
更に、前記カラーイメージセンサは、一次元または二次元カラーイメージセンサであることが望ましい。
【００１６】
また、本発明は、上記の目的を達成するため、複数の色信号を出力するカラーイメージセンサを用いた画像信号処理方法において、前記カラーイメージセンサから出力される前記複数の色信号毎に信号の大きさを所定の大きさに調整するゲインコントロール工程と、前記ゲインコントロール工程の出力から得られる画像信号を順次デジタル信号に変換するアナログ／デジタル変換工程と、前記ゲインコントロール工程の利得を制御する制御工程と、を少なくとも備え、前記制御工程に、前記カラーイメージセンサ上のカラーフィルタの配列に同期して各画素毎に切り替わる同期信号と、各ライン毎に切り替わる同期信号と、各フレーム毎に切り替わる同期信号と、各フィールド毎に切り替わる同期信号の少なくとも１つ以上の制御信号と、画像の明るさを制御する第一のゲインコントロールの利得の値と前記カラーイメージセンサから出力される色信号に応じて制御される各色信号毎のホワイトバランス用の第２のゲインコントロールの利得の値を予め乗算して得られる前記カラーフィルタ配列毎の利得設定値とを入力すること、を入力することを特徴とする画像信号処理方法を提供するものである。
【００１７】
以上の構成において、前記制御工程は、前記カラーイメージセンサから出力される色信号に応じて前記ゲインコントロール工程で参照する利得の値を記憶する記憶工程を備え、前記記憶工程で記憶した前記値を、前記少なくとも１つ以上の制御信号により各色信号毎に書き換えることが望ましい。
【００１８】
また、前記ゲインコントロール工程は、前記カラーフィルタ配列毎の利得設定値により利得制御されることが望ましい。
【００１９】
この場合、前記カラーフィルタ配列毎の利得設定値は、前記アナログ／デジタル変換手段から出力されたデジタル信号を使って演算されることが望ましく、前記第１のゲインコントロールの利得の値を浮動小数点で表現し、前記浮動小数点で表現された前記第１のゲインコントロールの利得の値と前記第２のゲインコントロールの利得の値とを乗算することにより得られることが望ましい。
【００２０】
【発明の実施の形態】
以下、添付図面を参照しながら、本発明の実施の形態を詳細に説明する。
【００２１】
図１は、本発明の実施の形態が適用される画像信号処理装置の構成を示すブロック図である。
図に示すように、この画像信号処理装置は、ＣＣＤカメラやデジタルスチルカメラ等のように画素毎の色フィルタの順番が各水平ライン毎に等しいカラーイメージセンサ１１を入力信号源とし、このカラーイメージセンサ１１から出力される映像信号に含まれるノイズを除去する相関二重サンプリング回路（以下、ＣＤＳ回路という）１３と、色分離信号毎に信号の大きさを所定の大きさに調整するゲインコントロール回路（以下、ＧＣＡ回路という）１４と、画像信号を順次量子化するアナログ／デジタル変換回路（以下、ＡＤＣ回路という）１５と、ＧＣＡ回路１４の利得を制御する制御回路１７と、から構成されている。
【００２２】
図２は、図１に示す制御回路１７の構成を示すブロック図である。
図に示すように、制御回路１７は、ある時刻の画像フレームＦ１で使われる画素毎の利得を記憶する記憶装置２４と、フレームＦ１の次の時刻のフレームＦ２で使われる画素毎の利得を記憶する記憶装置２３と、から構成されている。
【００２３】
この構成において、記憶装置２４は２つの記憶装置２５，２６から構成され、これら２つの記憶装置の内容は水平同期信号１９によって置き換えられる。記憶装置２５，２６は、それぞれ２つ以上の記憶装置から構成され、これら２つ以上の記憶装置の内容は画素同期信号２１によって置き換えられる。
【００２４】
また、記憶装置２３は４つの記憶装置２３ａ，２３ｂ，２３ｃ，２３ｄから構成され、各記憶装置の内容は、垂直同期信号２０によって更新される。
【００２５】
なお、制御回路１７に入力される制御信号は、上記に限られるものではなく、フィールドを表す信号であってもよい。
【００２６】
図３は、図１に示すＧＣＡ回路１４の回路構成を示す図である。
図に示すように、このＧＣＡ回路１４は、演算増幅器３１と、演算増幅器３１の入出力間に接続された可変容量３２およびスイッチ３４と、演算増幅器３１の入力に接続された可変容量３３と、可変容量３３の入力を短絡するスイッチ３５と、入力される信号をＯＮ，ＯＦＦするスイッチ３６と、から構成されている。なお、演算増幅器３１は２個以上直列に接続してもよい。
【００２７】
ここで、これらの可変容量３２，３３およびスイッチ３４，３６は、演算増幅器３１に対し対称的に接続されている。
【００２８】
図４は、図３の可変容量３２，３３の構成を示す図である。
図に示すように、可変容量３２，３３は、大きさがＣ，２Ｃ，３Ｃ，・・・，ｎＣのように、重み付けされた容量から構成され、ａ−ａ’間の容量はスイッチＳＷ１〜ＳＷｎを選択することによって２のｎ乗通りの容量値を作ることができる。
【００２９】
以下、本実施の形態の動作について図１を参照して説明する。
カラーイメージセンサ１１から出力される映像信号は、カラーイメージセンサ１１の画素に設けられたカラーフィルタＣ１，Ｃ２，Ｃ３，Ｃ４に対応してシリアルに出力される。カラーイメージセンサ１１から出力される映像信号は、第１番目の水平ラインからは、Ｃ１，Ｃ２，Ｃ１，Ｃ２という順番で、配置されているカラーフィルタに対応した色信号が出力され、第２番目の水平ラインからは、Ｃ３，Ｃ４，Ｃ３，Ｃ４という順番で、配置されているカラーフィルタに対応した色信号が出力される。第３番目の水平ライン以降は、第１番目の水平ラインと第２番目の水平ラインの場合における色信号の出力の繰り返しである。
【００３０】
この映像信号は、ＣＤＳ回路１３に供給されてノイズが除去され、このノイズが除去された映像信号をＣＤＳ回路１３の出力端子に出力する。この出力信号は、ＧＣＡ回路１４に入力される。ＧＣＡ回路１４は、各画素毎に制御回路１７から入力されるゲイン係数２２を参照し、ゲイン係数２２で定められた所定の利得になるように信号を増幅する。
【００３１】
ＧＣＡ回路１４から出力された映像信号は、ＡＤＣ回路１５によってアナログ信号からデジタル信号に変換され、デジタルシグナルプロセッサなどの色信号処理部（図示せず）に送られる。また、デジタル化された映像信号はＣＰＵ１６に入力される。ＣＰＵ１６は、画面全体の明るさを最適にする利得制御のための演算を行い、利得Ｇを導出する。また、ＣＰＵ１６は、ホワイトバランスの制御を行うための演算を行い、ホワイトバランスの制御を行うために各画素Ｃ１，Ｃ２，Ｃ３，Ｃ４毎の利得ＧＣ１，ＧＣ２，ＧＣ３，ＧＣ４を導出する。それぞれの利得の導出方法については、当業者にとってよく知られており、また本発明とは直接関係しないので、その詳細な説明は省略する。利得Ｇと利得ＧＣ１〜ＧＣ４は、ＣＰＵ１６内で所定の演算が行われ、カラーイメージセンサ１１の各カラーフィルタに対応してＧＣＡ回路１４に入力される画像信号の利得を制御データ１８として制御回路１７に出力する。
【００３２】
制御回路１７は、垂直同期信号２０、水平同期信号１９、および画素同期信号２１に同期させてゲイン係数２２を変更する。このようにして、カラーイメージセンサから出力された各画素に対応した色分離信号は、最適な大きさで、ホワイトバランスのとれた信号としてデジタル化される。
【００３３】
このように、カラーイメージセンサ上のカラーフィルタに同期して利得を変化させることができるので、一つの回路ブロックで、モニタ上に映し出される画像を所定の明るさにする利得制御とホワイトバランス制御が可能になる。このため、回路規模を小さくすることができる。また、一つの回路ブロックでホワイトバランス制御が可能になるため、ホワイトバランス制御を行うための回路素子のばらつきの影響を軽減でき、ばらつきを補正するための余分な回路を不要にすることができる。
【００３４】
更に、ＧＣＡ回路が参照する利得の切り替えにセレクタを用いずに、利得の内容を書き換えるようにしているため、利得切り替えの際、切り替え信号によるノイズの混入を軽減することができる。
【００３５】
次に、図２を参照して、制御回路１７の動作について説明する。
記憶装置２３には、カラーイメージセンサ１１のカラーフィルタの数だけ記憶装置２３ａ〜２３ｄが設けられており、各記憶装置２３ａ〜２３ｄには、ＣＰＵ１６から送られてきた各カラーフィルタから得られる映像信号に必要な利得（制御データ１８）が記憶されている。
【００３６】
記憶装置２３は、垂直同期信号２０により、カラーイメージセンサ１１のフレームが切り替わることを知らされると、各記憶装置２３ａ〜２３ｄの内容を記憶装置２４を構成する記憶装置２４ａ〜２４ｄに移し替え、次のフレームで使われる制御データ１８をＣＰＵ１６から受け取り記憶する。
【００３７】
記憶装置２４を構成する記憶装置２６には、カラーイメージセンサ１１の第１番目の水平ラインを構成するカラーフィルタから得られる映像信号の利得が記憶されており、記憶装置２５には、第２番目の水平ラインを構成するカラーフィルタから得られる映像信号の利得がそれぞれ記憶されている。
【００３８】
記憶装置２４は、水平同期信号１９によってカラーイメージセンサから出力される映像信号が第１番目の水平ラインから第２番目の水平ラインに切り替わったことを知らされると、記憶装置２５と記憶装置２６の内容を入れ替える。
【００３９】
記憶装置２５を構成する記憶装置２４ｃ、２４ｄの内容は、画素同期信号２１によってそれぞれ内容を入れ替えられる。同様に、記憶装置２６を構成する記憶装置２４ａ、２４ｂの内容は、画素同期信号２１によってそれぞれ内容を入れ替えられる。記憶装置２４ａの内容はゲイン係数２２として制御回路１７から出力される。
【００４０】
次に、図３を参照して、ＧＣＡ回路１４の動作について説明する。
ＧＣＡ回路１４は、スイッチ３５とスイッチ３６，３４を相互に切り替えることによってＣｉ／Ｃｆの利得を得ることができるスイッチトキャパシタ回路を用いたゲインコントロールアンプである。ＣｉもしくはＣｆのどちらかを変化させることで容量比であらわされる利得を得ることができる。
【００４１】
図４をみると、重み付けされた容量を、容量と直列に挿入されたスイッチを閉じることによって選択することができる。これにより、ａ−ａ’間の容量は２のｎ乗通り作ることができるため、スイッチを使ってＧＣＡの利得を設定することが可能となる。なお、ここでは１段の演算増幅器から構成されたＧＣＡ回路について説明したが、２段以上の演算増幅器を直列に接続してもよい。
【００４２】
次に、ＧＣＡ回路１４に入力されるゲイン係数２２と制御回路１７に入力される制御データ１８の導出方法について説明する。
【００４３】
ＣＰＵ１６によって演算された利得Ｇ、ホワイトバランス用利得ＧＣ１〜ＧＣ４は、それぞれ、例えば、１０ｂｉｔ精度で計算されると、合計２０ｂｉｔのデータとして得られる。これらのデータは、ＣＰＵ内で乗算され、１０ｂｉｔに丸めた後、制御データ１８として制御回路１７へ送られる。また、利得Ｇがログスケールで、ホワイトバランス用利得ＧＣ１〜ＧＣ４がリニアスケールで、それぞれ与えられたときは、乗算の前にアイリス用ゲイン係数を浮動小数点表現で表し、指数部と仮数部にわけてアイリス用利得との乗算を行う。
【００４４】
このように、ＣＰＵ内でモニタ上に映し出される画像を所定の明るさにするゲインコントロールに用いる利得Ｇとホワイトバランス用の利得ＧＣ１〜ＧＣ４の演算を行う際、利得Ｇを浮動小数点で表した後に乗算を行うため、ログスケールで与えられる利得Ｇとリニアスケールで与えられるホワイトバランス用の利得ＧＣ１〜ＧＣ４を掛け合わせた結果を浮動小数点表現でゲインコントロール回路に入力することができる。ゲインコントロール回路は、データと利得の関係がリニアの関係なので、入力されるデータが浮動小数点表現されていると、ログスケールをリニアスケールに変換するための余分な回路を付加することなく実現することができる。その結果、ゲインコントロール回路を簡単化することができる。
【００４５】
また、モニタ上に映し出される画像を所定の明るさにする利得制御とホワイトバランス制御を同時に行い、各制御に必要な値を予めＣＰＵで乗算した結果を用いるため、各制御に必要なデータをそれぞれに入力する必要がない。このため、プリント基板等に要するアイリス制御とホワイトバランス制御に必要なデータ線配線の面積を軽減することができる。
【００４６】
本発明の他の実施の形態として、その基本的構成は上記の通りであるが、カラーイメージセンサ上のカラーフィルタ配列が上記実施の形態と異なる場合には、制御回路１７内の記憶装置の数や形態をカラーフィルタの配列に応じて変えることができる。
【００４７】
なお、上記の各実施の形態では、ＣＣＤカメラやデジタルスチルカメラ等の二次元カラーイメージセンサを例として挙げたが、これに限られるものではなく、例えば、カラーイメージスキャナ等の一次元カラーイメージセンサであってもよい。
【００４８】
本発明は上記各実施の形態に限定されるものではなく、本発明の技術思想の範囲内において、各実施の形態は適宜変更され得ることは明らかである。
【００４９】
【発明の効果】
以上説明したとおり、本発明の画像信号処理装置および画像信号処理方法によれば、カラーイメージセンサから出力される複数の色信号毎に信号の大きさを所定の大きさに調整するゲインコントロール手段（ゲインコントロール工程）と、ゲインコントロール手段（ゲインコントロール工程）の出力から得られる画像信号を順次デジタル信号に変換するアナログ／デジタル変換手段（アナログ／デジタル変換工程）と、ゲインコントロール手段（ゲインコントロール工程）の利得を制御する制御手段（制御工程）と、を少なくとも備え、この制御手段（制御工程）に、カラーイメージセンサのカラーフィルタの配列に同期して各画素毎に切り替わる同期信号と、各ライン毎に切り替わる同期信号と、各フレーム毎に切り替わる同期信号と、各フィールド毎に切り替わる同期信号と、の少なくとも１つ以上の制御信号と、カラーフィルタ配列毎の利得設定値と、を入力するようにしたので、回路規模を小さくすることができ、制御線の数を少なくすることができ、素子のばらつきの影響を少なくすることができ、精度の高いホワイトバランスを得ることができる。
【図面の簡単な説明】
【図１】 本実施の形態による画像信号処理装置の構成を示すブロック図である。
【図２】 図１の制御回路の詳細を示すブロック図である。
【図３】 図１のゲインコントロール回路の詳細を示すブロック図である。
【図４】 図３の可変容量の構成を示す図である。
【図５】 従来の画像信号処理装置（第１の従来例）のブロック図である。
【図６】 従来の画像信号処理装置（第２の従来例）のブロック図である。
【符号の説明】
１１ カラーイメージセンサ
１２ 画像信号処理装置
１４ ゲインコントロール回路
１６ ＣＰＵ
１７ 制御回路
１９ 水平同期信号
２０ 垂直同期信号
２１ 画素同期信号
２３（２３ａ，２３ｂ，２３ｃ，２３ｄ） 記憶装置
２４（２４ａ，２４ｂ，２４ｃ，２４ｄ） 記憶装置
２５ 記憶装置
２６ 記憶装置
３１ 演算増幅器
３２ 可変容量
３３ 可変容量
３４ スイッチ
３５ スイッチ
３６ スイッチ
【発明の属する技術分野】
本発明は、画像信号処理装置に関し、特に、画面の明るさを制御するゲインコントロール機能とホワイトバランス機能とを一体化した画像信号処理装置および画像信号処理方法に関する。
【０００２】
【従来の技術】
従来、この種の画像信号処理装置として、例えば、特開平１０−２７１４９１号公報（以下、第１の従来例という）および特開平５−３１６３７６号公報（以下、第２の従来例という）に示されるようなものがある。これらの画像信号処理装置は、画像撮像装置において、撮像素子から得られたアナログ信号に必要な処理を施し、デジタル信号に変換することを目的として用いられている。
【０００３】
図５は、第１の従来例の画像信号処理装置の構成を示すブロック図である。
この画像信号処理装置は、画像撮像素子（図示せず）に含まれるノイズを除去するノイズ除去回路（以下、ＣＤＳ回路という）４１と、モニタ上に映し出される画像が所定の明るさになるように利得を調整するゲインコントロール回路（以下、ＧＣＡ回路という）４２と、白のバランス補正を行うホワイトバランス回路４３と、映像信号のばらつきを補正するばらつき補正回路４４と、アナログ信号をデジタル信号に変換するＡ／Ｄコンバータ４５と、利得を制御するＣＰＵ４７と、Ｄ／Ａコンバータ４６と、から構成されている。
【０００４】
以上の構成を有する第１の従来例の画像信号処理装置の動作を説明する。
まず、画像撮像素子（図示せず）から得られた映像信号は、ＣＤＳ回路４１で映像信号に含まれるノイズが除去され、ＧＣＡ回路４２に入力される。ＧＣＡ回路４２は、ゲイン制御端子に印加されるレベル制御信号に応じて出力信号のレベルを調整し、その出力端子から出力する。この利得は、モニタ上に映し出される明るさが最適になるようにＣＰＵ４７とＤ／Ａコンバータ４６によって１フレーム毎に制御される。ＧＣＡ回路４２の出力端子は、ホワイトバランス回路４３に接続されている。このホワイトバランス回路４３は、映像信号の色バランス補正を行い出力端子から出力する。ホワイトバランス回路４３の出力端子は、ばらつき補正回路４４に接続され、ばらつき補正回路４４で映像信号のばらつきが補正された後、Ａ／Ｄコンバータ４５に入力され、アナログ信号からデジタル信号へ変換される。デジタル化された映像信号はＣＰＵ４７に出力され、ＣＰＵ４７は、モニタが所定の明るさになるようにＤ／Ａコンバータ４６に制御信号を送る。Ｄ／Ａコンバータ４６は、ＣＰＵ４７から送られた制御信号をアナログ制御信号に変換し、ＧＣＡ回路４２のゲインを制御する。
【０００５】
図６は、第２の従来例の画像信号処理装置の構成を示すブロック図である。
この画像信号処理装置は、撮像素子５１から出力される映像信号に含まれるノイズを除去するＳ／Ｈ回路５２と、利得が一定の増幅器５３と、３通りの減衰比が設定されたアッテネータ５４，５５，５６と、アッテネータ５４，５５，５６の出力を切り替えるセレクタ５８と、アナログ信号をデジタル信号に変換するＡ／Ｄコンバータ５９から構成されている。
【０００６】
以上の構成を有する第２の従来例の画像信号処理装置の動作を説明する。
まず、撮像素子５１から出力された映像信号は、Ｓ／Ｈ回路５２でサンプルホールドされ、利得が一定の増幅器５３で予め設定された値に増幅されて、増幅器５３の出力端へ出力される。増幅器５３の出力は並列に接続された３種類のアッテネータ５４，５５，５６に接続され、各アッテネータ５４，５５，５６の出力端子はセレクタ５８に接続されている。セレクタ５８は、複数の色分離信号をシリアルに出力するカラーイメージセンサ５１から出力される各色分離信号に対応して、アッテネータ５４，５５，５６の出力を切り替えてアッテネータ５４，５５，５６の出力端子に映像信号を出力する。アッテネータ５４，５５，５６の減衰比は、各色分離信号の出力比が等しくなるように予め調整されており、Ａ／Ｄコンバータ５９で、ホワイトバランスがとれた映像信号をデジタル化することができる。
【０００７】
【発明が解決しようとする課題】
しかしながら、上述した従来の画像信号処理装置によれば、以下のような問題があった。
（１）第１の従来例によれば、信号の利得を調整するために、ＧＣＡ回路とホワイトバランス回路の両方の回路が必要となり、装置の規模が大きくならざるを得ない。このため、消費電力が増大し、コストも増加してしまうという問題があった。
（２）また、第１の従来例によれば、ＧＣＡ回路とホワイトバランス回路の両方を制御するために、ＧＣＡ制御用とホワイトバランス制御用の両方の制御信号とデータ線が必要になり、コストを増加させてしまうという問題があった。
一般に、ＧＣＡ制御に必要とされる利得は０〜３０ｄＢである。一方、ホワイトバランス制御で必要とされる利得は−２〜１４ｄＢである。ＧＣＡ制御は非常に広いダイナミックレンジを制御する必要があるため、ログスケールで制御されることが多い。一方、ホワイトバランス制御は、制御範囲は狭いが、正確な色補正を行うためにリニアスケールで制御されることが多い。ＧＣＡ回路とホワイトバランス回路のそれぞれを１０ｂｉｔ精度で制御すると、データ線だけで合計２０本の制御線が必要になる。近年、半導体集積回路で構成された画像信号処理装置を使った画像撮像装置の小型化に伴い、制御線の占める面積が無視できなくなってきており、制御信号線の増加はコストを増加させてしまう。
（３）第２の従来例によれば、セレクタがカラーイメージセンサから出力される各色分離信号に対応してアッテネータの出力を切り替えてホワイトバランスをとる動作の際に、セレクタの切り替え信号がカラーイメージセンサの駆動系に悪影響を与え、ノイズを発生させてしまうという恐れがあった。
（４）また、第２の従来例によれば、各色分離信号に対応した異なるアッテネータからの出力信号が選択されるため、アッテネータで用いている素子のばらつきを補正しにくいという問題があった。この問題は、補正回路を設けることにより解消可能であるが、補正回路を設けた場合には、回路の複雑化、大規模化を招くという新たな問題が生じる。
【０００８】
従って、本発明の目的は、回路規模が小さく、制御線の数が少ない画像信号処理装置および画像信号処理方法を提供することにある。
【０００９】
本発明の他の目的は、素子のばらつきの影響が少なく、精度の高いホワイトバランス回路を有する画像信号処理装置および画像信号処理方法を提供することにある。
【００１０】
【課題を解決するための手段】
本発明は、上記の目的を達成するため、複数の色信号を出力するカラーイメージセンサを用いた画像信号処理装置において、前記カラーイメージセンサから出力される前記複数の色信号毎に信号の大きさを所定の大きさに調整するゲインコントロール手段と、前記ゲインコントロール手段の出力から得られる画像信号を順次デジタル信号に変換するアナログ／デジタル変換手段と、前記ゲインコントロール手段の利得を制御する制御手段と、を少なくとも備え、前記制御手段に、前記カラーイメージセンサのカラーフィルタの配列に同期して各画素毎に切り替わる同期信号と、各ライン毎に切り替わる同期信号と、各フレーム毎に切り替わる同期信号と、各フィールド毎に切り替わる同期信号と、の少なくとも１つ以上の制御信号と、画像の明るさを制御する第一のゲインコントロールの利得の値と前記カラーイメージセンサから出力される色信号に応じて制御される各色信号毎のホワイトバランス用の第２のゲインコントロールの利得の値を予め乗算して得られる前記カラーフィルタ配列毎の利得設定値とを入力すること、を入力することを特徴とする画像信号処理装置を提供するものである。
【００１１】
以上の構成において、前記制御手段は、前記カラーイメージセンサから出力される色信号に応じて前記ゲインコントロール手段で参照する利得の値を記憶する記憶手段を備え、前記記憶手段で記憶した前記値を、前記少なくとも１つ以上の制御信号により各色信号毎に書き換えることが望ましい。
【００１２】
また、前記ゲインコントロール手段は、前記カラーフィルタ配列毎の利得設定値により利得制御されることが望ましい。
【００１３】
また、前記カラーフィルタ配列毎の利得設定値は、前記アナログ／デジタル変換手段から出力されたデジタル信号を使って演算されることが望ましく、前記第１のゲインコントロールの利得の値を浮動小数点で表現し、前記浮動小数点で表現された前記第１のゲインコントロールの利得の値と前記第２のゲインコントロールの利得の値とを乗算することにより得られることが望ましい。
【００１４】
また、前記ゲインコントロール手段は、直列に接続された１あるいは２以上の演算増幅手段を有していることが望ましい。
【００１５】
更に、前記カラーイメージセンサは、一次元または二次元カラーイメージセンサであることが望ましい。
【００１６】
また、本発明は、上記の目的を達成するため、複数の色信号を出力するカラーイメージセンサを用いた画像信号処理方法において、前記カラーイメージセンサから出力される前記複数の色信号毎に信号の大きさを所定の大きさに調整するゲインコントロール工程と、前記ゲインコントロール工程の出力から得られる画像信号を順次デジタル信号に変換するアナログ／デジタル変換工程と、前記ゲインコントロール工程の利得を制御する制御工程と、を少なくとも備え、前記制御工程に、前記カラーイメージセンサ上のカラーフィルタの配列に同期して各画素毎に切り替わる同期信号と、各ライン毎に切り替わる同期信号と、各フレーム毎に切り替わる同期信号と、各フィールド毎に切り替わる同期信号の少なくとも１つ以上の制御信号と、画像の明るさを制御する第一のゲインコントロールの利得の値と前記カラーイメージセンサから出力される色信号に応じて制御される各色信号毎のホワイトバランス用の第２のゲインコントロールの利得の値を予め乗算して得られる前記カラーフィルタ配列毎の利得設定値とを入力すること、を入力することを特徴とする画像信号処理方法を提供するものである。
【００１７】
以上の構成において、前記制御工程は、前記カラーイメージセンサから出力される色信号に応じて前記ゲインコントロール工程で参照する利得の値を記憶する記憶工程を備え、前記記憶工程で記憶した前記値を、前記少なくとも１つ以上の制御信号により各色信号毎に書き換えることが望ましい。
【００１８】
また、前記ゲインコントロール工程は、前記カラーフィルタ配列毎の利得設定値により利得制御されることが望ましい。
【００１９】
この場合、前記カラーフィルタ配列毎の利得設定値は、前記アナログ／デジタル変換手段から出力されたデジタル信号を使って演算されることが望ましく、前記第１のゲインコントロールの利得の値を浮動小数点で表現し、前記浮動小数点で表現された前記第１のゲインコントロールの利得の値と前記第２のゲインコントロールの利得の値とを乗算することにより得られることが望ましい。
【００２０】
【発明の実施の形態】
以下、添付図面を参照しながら、本発明の実施の形態を詳細に説明する。
【００２１】
図１は、本発明の実施の形態が適用される画像信号処理装置の構成を示すブロック図である。
図に示すように、この画像信号処理装置は、ＣＣＤカメラやデジタルスチルカメラ等のように画素毎の色フィルタの順番が各水平ライン毎に等しいカラーイメージセンサ１１を入力信号源とし、このカラーイメージセンサ１１から出力される映像信号に含まれるノイズを除去する相関二重サンプリング回路（以下、ＣＤＳ回路という）１３と、色分離信号毎に信号の大きさを所定の大きさに調整するゲインコントロール回路（以下、ＧＣＡ回路という）１４と、画像信号を順次量子化するアナログ／デジタル変換回路（以下、ＡＤＣ回路という）１５と、ＧＣＡ回路１４の利得を制御する制御回路１７と、から構成されている。
【００２２】
図２は、図１に示す制御回路１７の構成を示すブロック図である。
図に示すように、制御回路１７は、ある時刻の画像フレームＦ１で使われる画素毎の利得を記憶する記憶装置２４と、フレームＦ１の次の時刻のフレームＦ２で使われる画素毎の利得を記憶する記憶装置２３と、から構成されている。
【００２３】
この構成において、記憶装置２４は２つの記憶装置２５，２６から構成され、これら２つの記憶装置の内容は水平同期信号１９によって置き換えられる。記憶装置２５，２６は、それぞれ２つ以上の記憶装置から構成され、これら２つ以上の記憶装置の内容は画素同期信号２１によって置き換えられる。
【００２４】
また、記憶装置２３は４つの記憶装置２３ａ，２３ｂ，２３ｃ，２３ｄから構成され、各記憶装置の内容は、垂直同期信号２０によって更新される。
【００２５】
なお、制御回路１７に入力される制御信号は、上記に限られるものではなく、フィールドを表す信号であってもよい。
【００２６】
図３は、図１に示すＧＣＡ回路１４の回路構成を示す図である。
図に示すように、このＧＣＡ回路１４は、演算増幅器３１と、演算増幅器３１の入出力間に接続された可変容量３２およびスイッチ３４と、演算増幅器３１の入力に接続された可変容量３３と、可変容量３３の入力を短絡するスイッチ３５と、入力される信号をＯＮ，ＯＦＦするスイッチ３６と、から構成されている。なお、演算増幅器３１は２個以上直列に接続してもよい。
【００２７】
ここで、これらの可変容量３２，３３およびスイッチ３４，３６は、演算増幅器３１に対し対称的に接続されている。
【００２８】
図４は、図３の可変容量３２，３３の構成を示す図である。
図に示すように、可変容量３２，３３は、大きさがＣ，２Ｃ，３Ｃ，・・・，ｎＣのように、重み付けされた容量から構成され、ａ−ａ’間の容量はスイッチＳＷ１〜ＳＷｎを選択することによって２のｎ乗通りの容量値を作ることができる。
【００２９】
以下、本実施の形態の動作について図１を参照して説明する。
カラーイメージセンサ１１から出力される映像信号は、カラーイメージセンサ１１の画素に設けられたカラーフィルタＣ１，Ｃ２，Ｃ３，Ｃ４に対応してシリアルに出力される。カラーイメージセンサ１１から出力される映像信号は、第１番目の水平ラインからは、Ｃ１，Ｃ２，Ｃ１，Ｃ２という順番で、配置されているカラーフィルタに対応した色信号が出力され、第２番目の水平ラインからは、Ｃ３，Ｃ４，Ｃ３，Ｃ４という順番で、配置されているカラーフィルタに対応した色信号が出力される。第３番目の水平ライン以降は、第１番目の水平ラインと第２番目の水平ラインの場合における色信号の出力の繰り返しである。
【００３０】
この映像信号は、ＣＤＳ回路１３に供給されてノイズが除去され、このノイズが除去された映像信号をＣＤＳ回路１３の出力端子に出力する。この出力信号は、ＧＣＡ回路１４に入力される。ＧＣＡ回路１４は、各画素毎に制御回路１７から入力されるゲイン係数２２を参照し、ゲイン係数２２で定められた所定の利得になるように信号を増幅する。
【００３１】
ＧＣＡ回路１４から出力された映像信号は、ＡＤＣ回路１５によってアナログ信号からデジタル信号に変換され、デジタルシグナルプロセッサなどの色信号処理部（図示せず）に送られる。また、デジタル化された映像信号はＣＰＵ１６に入力される。ＣＰＵ１６は、画面全体の明るさを最適にする利得制御のための演算を行い、利得Ｇを導出する。また、ＣＰＵ１６は、ホワイトバランスの制御を行うための演算を行い、ホワイトバランスの制御を行うために各画素Ｃ１，Ｃ２，Ｃ３，Ｃ４毎の利得ＧＣ１，ＧＣ２，ＧＣ３，ＧＣ４を導出する。それぞれの利得の導出方法については、当業者にとってよく知られており、また本発明とは直接関係しないので、その詳細な説明は省略する。利得Ｇと利得ＧＣ１〜ＧＣ４は、ＣＰＵ１６内で所定の演算が行われ、カラーイメージセンサ１１の各カラーフィルタに対応してＧＣＡ回路１４に入力される画像信号の利得を制御データ１８として制御回路１７に出力する。
【００３２】
制御回路１７は、垂直同期信号２０、水平同期信号１９、および画素同期信号２１に同期させてゲイン係数２２を変更する。このようにして、カラーイメージセンサから出力された各画素に対応した色分離信号は、最適な大きさで、ホワイトバランスのとれた信号としてデジタル化される。
【００３３】
このように、カラーイメージセンサ上のカラーフィルタに同期して利得を変化させることができるので、一つの回路ブロックで、モニタ上に映し出される画像を所定の明るさにする利得制御とホワイトバランス制御が可能になる。このため、回路規模を小さくすることができる。また、一つの回路ブロックでホワイトバランス制御が可能になるため、ホワイトバランス制御を行うための回路素子のばらつきの影響を軽減でき、ばらつきを補正するための余分な回路を不要にすることができる。
【００３４】
更に、ＧＣＡ回路が参照する利得の切り替えにセレクタを用いずに、利得の内容を書き換えるようにしているため、利得切り替えの際、切り替え信号によるノイズの混入を軽減することができる。
【００３５】
次に、図２を参照して、制御回路１７の動作について説明する。
記憶装置２３には、カラーイメージセンサ１１のカラーフィルタの数だけ記憶装置２３ａ〜２３ｄが設けられており、各記憶装置２３ａ〜２３ｄには、ＣＰＵ１６から送られてきた各カラーフィルタから得られる映像信号に必要な利得（制御データ１８）が記憶されている。
【００３６】
記憶装置２３は、垂直同期信号２０により、カラーイメージセンサ１１のフレームが切り替わることを知らされると、各記憶装置２３ａ〜２３ｄの内容を記憶装置２４を構成する記憶装置２４ａ〜２４ｄに移し替え、次のフレームで使われる制御データ１８をＣＰＵ１６から受け取り記憶する。
【００３７】
記憶装置２４を構成する記憶装置２６には、カラーイメージセンサ１１の第１番目の水平ラインを構成するカラーフィルタから得られる映像信号の利得が記憶されており、記憶装置２５には、第２番目の水平ラインを構成するカラーフィルタから得られる映像信号の利得がそれぞれ記憶されている。
【００３８】
記憶装置２４は、水平同期信号１９によってカラーイメージセンサから出力される映像信号が第１番目の水平ラインから第２番目の水平ラインに切り替わったことを知らされると、記憶装置２５と記憶装置２６の内容を入れ替える。
【００３９】
記憶装置２５を構成する記憶装置２４ｃ、２４ｄの内容は、画素同期信号２１によってそれぞれ内容を入れ替えられる。同様に、記憶装置２６を構成する記憶装置２４ａ、２４ｂの内容は、画素同期信号２１によってそれぞれ内容を入れ替えられる。記憶装置２４ａの内容はゲイン係数２２として制御回路１７から出力される。
【００４０】
次に、図３を参照して、ＧＣＡ回路１４の動作について説明する。
ＧＣＡ回路１４は、スイッチ３５とスイッチ３６，３４を相互に切り替えることによってＣｉ／Ｃｆの利得を得ることができるスイッチトキャパシタ回路を用いたゲインコントロールアンプである。ＣｉもしくはＣｆのどちらかを変化させることで容量比であらわされる利得を得ることができる。
【００４１】
図４をみると、重み付けされた容量を、容量と直列に挿入されたスイッチを閉じることによって選択することができる。これにより、ａ−ａ’間の容量は２のｎ乗通り作ることができるため、スイッチを使ってＧＣＡの利得を設定することが可能となる。なお、ここでは１段の演算増幅器から構成されたＧＣＡ回路について説明したが、２段以上の演算増幅器を直列に接続してもよい。
【００４２】
次に、ＧＣＡ回路１４に入力されるゲイン係数２２と制御回路１７に入力される制御データ１８の導出方法について説明する。
【００４３】
ＣＰＵ１６によって演算された利得Ｇ、ホワイトバランス用利得ＧＣ１〜ＧＣ４は、それぞれ、例えば、１０ｂｉｔ精度で計算されると、合計２０ｂｉｔのデータとして得られる。これらのデータは、ＣＰＵ内で乗算され、１０ｂｉｔに丸めた後、制御データ１８として制御回路１７へ送られる。また、利得Ｇがログスケールで、ホワイトバランス用利得ＧＣ１〜ＧＣ４がリニアスケールで、それぞれ与えられたときは、乗算の前にアイリス用ゲイン係数を浮動小数点表現で表し、指数部と仮数部にわけてアイリス用利得との乗算を行う。
【００４４】
このように、ＣＰＵ内でモニタ上に映し出される画像を所定の明るさにするゲインコントロールに用いる利得Ｇとホワイトバランス用の利得ＧＣ１〜ＧＣ４の演算を行う際、利得Ｇを浮動小数点で表した後に乗算を行うため、ログスケールで与えられる利得Ｇとリニアスケールで与えられるホワイトバランス用の利得ＧＣ１〜ＧＣ４を掛け合わせた結果を浮動小数点表現でゲインコントロール回路に入力することができる。ゲインコントロール回路は、データと利得の関係がリニアの関係なので、入力されるデータが浮動小数点表現されていると、ログスケールをリニアスケールに変換するための余分な回路を付加することなく実現することができる。その結果、ゲインコントロール回路を簡単化することができる。
【００４５】
また、モニタ上に映し出される画像を所定の明るさにする利得制御とホワイトバランス制御を同時に行い、各制御に必要な値を予めＣＰＵで乗算した結果を用いるため、各制御に必要なデータをそれぞれに入力する必要がない。このため、プリント基板等に要するアイリス制御とホワイトバランス制御に必要なデータ線配線の面積を軽減することができる。
【００４６】
本発明の他の実施の形態として、その基本的構成は上記の通りであるが、カラーイメージセンサ上のカラーフィルタ配列が上記実施の形態と異なる場合には、制御回路１７内の記憶装置の数や形態をカラーフィルタの配列に応じて変えることができる。
【００４７】
なお、上記の各実施の形態では、ＣＣＤカメラやデジタルスチルカメラ等の二次元カラーイメージセンサを例として挙げたが、これに限られるものではなく、例えば、カラーイメージスキャナ等の一次元カラーイメージセンサであってもよい。
【００４８】
本発明は上記各実施の形態に限定されるものではなく、本発明の技術思想の範囲内において、各実施の形態は適宜変更され得ることは明らかである。
【００４９】
【発明の効果】
以上説明したとおり、本発明の画像信号処理装置および画像信号処理方法によれば、カラーイメージセンサから出力される複数の色信号毎に信号の大きさを所定の大きさに調整するゲインコントロール手段（ゲインコントロール工程）と、ゲインコントロール手段（ゲインコントロール工程）の出力から得られる画像信号を順次デジタル信号に変換するアナログ／デジタル変換手段（アナログ／デジタル変換工程）と、ゲインコントロール手段（ゲインコントロール工程）の利得を制御する制御手段（制御工程）と、を少なくとも備え、この制御手段（制御工程）に、カラーイメージセンサのカラーフィルタの配列に同期して各画素毎に切り替わる同期信号と、各ライン毎に切り替わる同期信号と、各フレーム毎に切り替わる同期信号と、各フィールド毎に切り替わる同期信号と、の少なくとも１つ以上の制御信号と、カラーフィルタ配列毎の利得設定値と、を入力するようにしたので、回路規模を小さくすることができ、制御線の数を少なくすることができ、素子のばらつきの影響を少なくすることができ、精度の高いホワイトバランスを得ることができる。
【図面の簡単な説明】
【図１】 本実施の形態による画像信号処理装置の構成を示すブロック図である。
【図２】 図１の制御回路の詳細を示すブロック図である。
【図３】 図１のゲインコントロール回路の詳細を示すブロック図である。
【図４】 図３の可変容量の構成を示す図である。
【図５】 従来の画像信号処理装置（第１の従来例）のブロック図である。
【図６】 従来の画像信号処理装置（第２の従来例）のブロック図である。
【符号の説明】
１１ カラーイメージセンサ
１２ 画像信号処理装置
１４ ゲインコントロール回路
１６ ＣＰＵ
１７ 制御回路
１９ 水平同期信号
２０ 垂直同期信号
２１ 画素同期信号
２３（２３ａ，２３ｂ，２３ｃ，２３ｄ） 記憶装置
２４（２４ａ，２４ｂ，２４ｃ，２４ｄ） 記憶装置
２５ 記憶装置
２６ 記憶装置
３１ 演算増幅器
３２ 可変容量
３３ 可変容量
３４ スイッチ
３５ スイッチ
３６ スイッチ
Claims (12)
- 複数の色信号を出力するカラーイメージセンサを用いた画像信号処理装置において、
前記カラーイメージセンサから出力される前記複数の色信号毎に信号の大きさを所定の大きさに調整するゲインコントロール手段と、
前記ゲインコントロール手段の出力から得られる画像信号を順次デジタル信号に変換するアナログ／デジタル変換手段と、
前記ゲインコントロール手段の利得を制御する制御手段と、を少なくとも備え、
前記制御手段に、前記カラーイメージセンサのカラーフィルタの配列に同期して各画素毎に切り替わる同期信号と、各ライン毎に切り替わる同期信号と、各フレーム毎に切り替わる同期信号と、各フィールド毎に切り替わる同期信号と、の少なくとも１つ以上の制御信号と、画像の明るさを制御する第一のゲインコントロールの利得の値と前記カラーイメージセンサから出力される色信号に応じて制御される各色信号毎のホワイトバランス用の第２のゲインコントロールの利得の値を予め乗算して得られる前記カラーフィルタ配列毎の利得設定値とを入力すること、を特徴とする画像信号処理装置。 - 前記制御手段は、前記カラーイメージセンサから出力される色信号に応じて前記ゲインコントロール手段で参照する利得の値を記憶する記憶手段を備え、前記記憶手段で記憶した前記値を、前記少なくとも１つ以上の制御信号により各色信号毎に書き換えることを特徴とする請求項１記載の画像信号処理装置。
- 前記ゲインコントロール手段は、前記カラーフィルタ配列毎の利得設定値により利得制御されることを特徴とする請求項１記載の画像信号処理装置。
- 前記利得設定値は、前記アナログ／デジタル変換手段から出力されたデジタル信号を利用して演算されることを特徴とする請求項１から３のいずれか１項記載の画像信号処理装置。
- 前記カラーフィルタ配列毎の利得設定値は、前記第１のゲインコントロールの利得の値を浮動小数点で表現し、前記浮動小数点で表現された前記第１のゲインコントロールの利得の値と前記第２のゲインコントロールの利得の値とを乗算することにより得られることを特徴とする請求項１、３、及び４のいずれか１項記載の画像信号処理装置。
- 前記ゲインコントロール手段は、直列に接続された１あるいは２以上の演算増幅手段を有していることを特徴とする請求項１記載の画像信号処理装置。
- 前記カラーイメージセンサは、一次元または二次元カラーイメージセンサであることを特徴とする請求項１記載の画像信号処理装置。
- 複数の色信号を出力するカラーイメージセンサを用いた画像信号処理方法において、
前記カラーイメージセンサから出力される前記複数の色信号毎に信号の大きさを所定の大きさに調整するゲインコントロール工程と、
前記ゲインコントロール手段の出力から得られる画像信号を順次デジタル信号に変換するアナログ／デジタル変換工程と、
前記ゲインコントロール手段の利得を制御する制御工程と、を少なくとも備え、
前記制御工程に、前記カラーイメージセンサのカラーフィルタの配列に同期して各画素毎に切り替わる同期信号と、各ライン毎に切り替わる同期信号と、各フレーム毎に切り替わる同期信号と、各フィールド毎に切り替わる同期信号と、の少なくとも１つ以上の制御信号と、画像の明るさを制御する第一のゲインコントロールの利得の値と前記カラーイメージセンサから出力される色信号に応じて制御される各色信号毎のホワイトバランス用の第２のゲインコントロールの利得の値を予め乗算して得られる前記カラーフィルタ配列毎の利得設定値とを入力すること、を特徴とする画像信号処理方法。 - 前記制御工程は、前記カラーイメージセンサから出力される色信号に応じて前記ゲインコントロール工程で参照する利得の値を記憶する記憶工程を備え、前記記憶工程で記憶した前記値を、前記少なくとも１つ以上の制御信号により各色信号毎に書き換えることを特徴とする請求項８記載の画像信号処理方法。
- 前記ゲインコントロール工程は、前記カラーフィルタ配列毎の利得設定値により利得制御されることを特徴とする請求項８記載の画像信号処理方法。
- 前記利得設定値は、前記アナログ／デジタル変換手段から出力されたデジタル信号を利用して演算されることを特徴とする請求項８から１０のいずれか１項記載の画像信号処理方法。
- 前記カラーフィルタ配列毎の利得設定値は、前記第１のゲインコントロールの利得の値を浮動小数点で表現し、前記浮動小数点で表現された前記第１のゲインコントロールの利得の値と前記第２のゲインコントロールの利得の値とを乗算することにより得られることを特徴とする請求項８、１０、及び１１のいずれか１項記載の画像信号処理方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP12543699A JP3663973B2 (ja) | 1999-05-06 | 1999-05-06 | 画像信号処理装置および画像信号処理方法 |
| US09/566,122 US6894721B1 (en) | 1999-05-06 | 2000-05-05 | Image signal processing device and image signal processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP12543699A JP3663973B2 (ja) | 1999-05-06 | 1999-05-06 | 画像信号処理装置および画像信号処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000316162A JP2000316162A (ja) | 2000-11-14 |
| JP3663973B2 true JP3663973B2 (ja) | 2005-06-22 |
Family
ID=14910054
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP12543699A Expired - Fee Related JP3663973B2 (ja) | 1999-05-06 | 1999-05-06 | 画像信号処理装置および画像信号処理方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6894721B1 (ja) |
| JP (1) | JP3663973B2 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3947969B2 (ja) * | 2002-05-15 | 2007-07-25 | ソニー株式会社 | 画像処理装置、および画像処理方法、記録媒体、並びにプログラム |
| JP3988189B2 (ja) * | 2002-11-20 | 2007-10-10 | ソニー株式会社 | 固体撮像装置 |
| US7443455B2 (en) * | 2003-12-30 | 2008-10-28 | Texas Instruments Incorporated | Automatic gain control based on multiple input references in a video decoder |
| KR100992091B1 (ko) * | 2005-12-29 | 2010-11-04 | 비와이디 컴퍼니 리미티드 | Ｃｍｏｓ 이미지 센서를 위한 아날로그 이미지 신호 처리 회로 |
| US8643769B2 (en) * | 2010-10-12 | 2014-02-04 | Texas Instruments Incorporated | Method for capturing wide dynamic range image in a 16 bit floating point format |
| US20210051283A1 (en) * | 2019-08-12 | 2021-02-18 | Semiconductor Components Industries, Llc | Image sensors having analog memory cells for improved dynamic range |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4771192A (en) * | 1986-11-14 | 1988-09-13 | The Grass Valley Group, Inc. | Digital clip and gain circuit |
| US5457494A (en) * | 1988-11-21 | 1995-10-10 | Canon Kabushiki Kaisha | Image pickup signal processing apparatus |
| JPH04271593A (ja) | 1991-02-26 | 1992-09-28 | Fuji Photo Film Co Ltd | 信号処理方式 |
| US5329312A (en) * | 1992-08-17 | 1994-07-12 | Eastman Kodak Company | DC level control circuitry for CCD images |
| US5235412A (en) * | 1992-08-17 | 1993-08-10 | Eastman Kodak Company | Electronic color imaging system and analog signal processor therefor |
| DE69315285T2 (de) * | 1992-09-02 | 1998-05-28 | Matsushita Electric Ind Co Ltd | Vorrichtung zum Verarbeiten eines Bildsignals |
| JPH06303619A (ja) | 1993-04-12 | 1994-10-28 | Mitsubishi Electric Corp | 静止画撮像装置 |
| JPH07327172A (ja) | 1994-05-31 | 1995-12-12 | Sanyo Electric Co Ltd | 固体撮像装置 |
| US5828406A (en) * | 1994-12-30 | 1998-10-27 | Eastman Kodak Company | Electronic camera having a processor for mapping image pixel signals into color display pixels |
| US5874994A (en) * | 1995-06-30 | 1999-02-23 | Eastman Kodak Company | Filter employing arithmetic operations for an electronic sychronized digital camera |
| US6011636A (en) * | 1995-10-13 | 2000-01-04 | Fuji Photo Film Co., Ltd. | Method of controlling exposure in film scanner |
| JP3490888B2 (ja) * | 1998-03-10 | 2004-01-26 | 三洋電機株式会社 | 色抑圧回路 |
| JP4327928B2 (ja) | 1999-02-26 | 2009-09-09 | メディア・テック・ユーエスエイ・インコーポレーテッド | 電子カメラ装置 |
-
1999
- 1999-05-06 JP JP12543699A patent/JP3663973B2/ja not_active Expired - Fee Related
-
2000
- 2000-05-05 US US09/566,122 patent/US6894721B1/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000316162A (ja) | 2000-11-14 |
| US6894721B1 (en) | 2005-05-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7920181B2 (en) | Semiconductor integrated apparatus and black level correction method for image sensor | |
| US20090059026A1 (en) | Image processing device, image processing method, and image pickup apparatus | |
| JP2011040088A (ja) | 輝度変化に適応してノイズをフィルタリングする方法及びシステム | |
| US8792017B2 (en) | Image processing device, image processing method, and image pickup apparatus | |
| US5485202A (en) | White balance adjusting apparatus | |
| JP3663973B2 (ja) | 画像信号処理装置および画像信号処理方法 | |
| JP3804113B2 (ja) | 固体撮像装置 | |
| JP2006345388A (ja) | 撮像装置 | |
| JPH0385972A (ja) | ディジタル撮像方法及びその装置 | |
| US20040252209A1 (en) | Digital programmable gain stage with high resolution for CMOS image sensors | |
| JP2010016479A (ja) | 画像処理装置および画像処理方法ならびに撮像装置 | |
| JP2009081526A (ja) | 撮像装置 | |
| JP2007208382A (ja) | 撮像装置 | |
| JP2002152600A (ja) | 電子カメラ装置及びマルチチャンネルクランプ回路 | |
| JP2007074637A (ja) | 撮像装置 | |
| JP3706006B2 (ja) | 撮像装置及び撮像方法 | |
| JP5627305B2 (ja) | 表示装置 | |
| JP2002223373A (ja) | 撮像装置 | |
| JP2007312112A (ja) | 撮像装置 | |
| KR100607804B1 (ko) | 아이피를 공유할 수 있는 디지털 색공간 변환 회로 | |
| JPH08340480A (ja) | ディジタル信号処理を用いたテレビジョンカメラシステム | |
| US20080246861A1 (en) | Imaging Apparatus, Signal Processing Circuit, Signal Processing Apparatus, Signal Processing Method, and Computer Program Product | |
| JP5059714B2 (ja) | テレビカメラの利得設定回路及び方法 | |
| CN116839635A (zh) | 一种压电信号检测装置和方法 | |
| JPH03117975A (ja) | シェーディング補正装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041005 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041025 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050308 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050321 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080408 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090408 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100408 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110408 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120408 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120408 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130408 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130408 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140408 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |