JP4043197B2 - 単板式カラーカメラの色分離回路 - Google Patents
単板式カラーカメラの色分離回路 Download PDFInfo
- Publication number
- JP4043197B2 JP4043197B2 JP2001085469A JP2001085469A JP4043197B2 JP 4043197 B2 JP4043197 B2 JP 4043197B2 JP 2001085469 A JP2001085469 A JP 2001085469A JP 2001085469 A JP2001085469 A JP 2001085469A JP 4043197 B2 JP4043197 B2 JP 4043197B2
- Authority
- JP
- Japan
- Prior art keywords
- color
- correlation
- color separation
- processing target
- color signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、固体撮像デバイスを利用した単板式カラービデオカメラの色分離回路に関する。
【０００２】
【従来の技術】
ＣＣＤ等の固体撮像デバイスを利用した単板式カラーカメラでは、固体撮像デバイスの各画素に対応して特定の色（例えばＲ、Ｇ、Ｂの３色のうちのどれか一つ）の色フィルタが設けられている。そして、特定の色に対応した固体撮像デバイスの各画素からの信号を処理して、色分離を行い、Ｒ、Ｇ、Ｂの映像信号を生成している。
【０００３】
従来、カラーカメラにおける色分離とは、ＣＣＤ信号から輝度信号と色信号とを分離、生成する処理を表したが、現在ではＣＣＤ信号から全画素位置のＲＧＢ信号を生成する処理を表すことが多くなった。このことから、ＣＣＤ信号からの色分離を、色信号補間や画素補間と呼ばれることも多くなっている。
【０００４】
図１９は、従来の色分離処理を示している。
【０００５】
例えば、図１９の（ｂ）に示すように、Ｇ、Ｒ、Ｇ、Ｒ…と水平方向にＧとＲのフィルタが交互に配置されている場合を考える。このような場合には、例えば、Ｒのフィルタが配されている画素からは、Ｇの信号は得られないため、この画素に対応するＧ信号を隣接する画素からの信号で補間することにより求める。つまり、図１９の（ｂ）の１番目のＧ画素からの信号と３番目のＧ画素からの信号の平均を計算することにより、２番目のＲ画素に対応するＧ信号を得ることができる。この方法はよく知られているように、水平方向の相関性を利用したものである。
【０００６】
しかしながら、このような単純な補間方法では、画面において、白と黒の部分が隣接するような境界部（エッジ部）に、偽色信号が発生することが知られている。まず、この偽色信号の発生について、簡単に説明する。
【０００７】
図１９の（ｂ）に示すフィルタ配列の固体撮像デバイスに対して、図１９の（ａ）に示す様な白から黒に急激に変化する画像の光が与えられているとする。このとき、各画素からの信号出力値が、図１９の（ｃ）に示すような値であると仮定する。すなわち、白の部分に対応する各画素からの信号出力値はすべて１．０であり、黒の部分に対応する各画素からの信号出力値はすべて０である。
【０００８】
Ｒのフィルタが配されている画素に対するＧ信号およびＧのフィルタが配されている画素に対するＲ信号を、上述した補間方法で補間すると、補間処理後のＧ信号及びＲ信号は、図１９の（ｄ）、（ｅ）に示すようになる。すなわち、白と黒との境界部分において、偽色信号が発生していることがわかる。Ｒのフィルタが配されている画素に対する最適なＧ信号およびＧのフィルタが配されている画素に対する最適なＲ信号は、図１９の（ｆ）、（ｇ）に示すようにならなければならない。
【０００９】
このような、偽の色信号の発生に対する対策としては、ローパスフィルタを利用して偽色信号を目だちにくくする方法や、上記の様な境界部分（エッジ部）での色信号を抑圧する方法が考えられてきた。
【００１０】
しかしながら、ローパスフィルタを利用する方法では、偽色信号のレベルを下げることはできるが、かえって偽色信号が発生する領域が拡大されてしまうので、完全な解決とはならない。また、境界部分で色信号の抑圧を行う方法では、本来あるべき色信号までも抑圧されてしまい、境界部分での色がなくなるおそれがある。
【００１１】
この問題を解決するために、特許第２９３１５２０号公報では、輝度の変化に対して色信号の局所的な変化は小さいため、Ｇ信号とＲ信号またはＢ信号との比は隣接画素間においてほぼ等しいという性質及び特定の色成分の低域成分と高域成分との比は他の色成分においても等しいという性質を利用して補間処理、即ち原色相関色分離処理を行ったり、または色信号の局所的な変化は小さいためＧ信号とＲ信号またはＢ信号との差は隣接画素間においてほぼ等しいという性質及び特定の色成分の低域成分と高域成分との差は他の色成分においてもほぼ等しいという性質を利用して補間処理、即ち色差相関色分離処理を行っていた。
【００１２】
【発明が解決しようとする課題】
しかしながら、原色相関色分離処理では、入力映像信号に他の部分と相関性のない大きな映像信号、例えばノイズが入力された場合、除算回路を介して補間処理されるので、ノイズが強調され、画像の暗い部分に発生するＲ、Ｇ、Ｂのドットノイズが解消できなかった。
【００１３】
また、色差相関色分離処理では、同一色の物体が照明で照らされているとき、物体と照明による影との境界部で輝度変化が生じることによる偽色信号が解消できなかった。
【００１４】
本発明は、固体撮像デバイスを用いた単板式カラービデオカメラにおいて、複数の色信号成分を生成する色分離処理において、偽色信号の発生を防止すると共に、鮮鋭感が高く、色再現性の優れた色分離回路を提供するものである。
【００１５】
【課題を解決するための手段】
この発明による単板式カラーカメラの色分離回路は、各画素に対応して、分光感度特性の異なる複数の種類の色フィルタが、モザイク状に配置された固体撮像デバイスからの信号を利得調整を行う自動利得制御回路を介して処理する単板式カラーカメラの色分離回路において、任意の処理対象画素における複数の色信号成分を、上記処理対象画素及び周囲の画素の色信号成分に基づいて生成するために設けられた、色信号成分生成方式の異なる２種以上の色分離手段、ならびに各色分離手段によって生成された各色信号成分を、固体撮像デバイスからの信号に基づいて合成する合成手段を備えていることを特徴とする。
【００１６】
色分離手段としては、たとえば、任意の処理対象画素における複数の色信号成分を、上記処理対象画素及び周囲の画素の色信号成分に基づいて、水平方向または垂直方向の色の比の相関を利用して生成する原色相関色分離手段と、任意の処理対象画素における複数の色信号成分を、上記処理対象画素及び周囲の画素の色信号成分に基づいて、水平方向または垂直方向の色の差の相関を利用して生成する色差相関色分離手段とが設けられる。
【００１７】
この場合、合成手段としては、たとえば、固体撮像デバイスからの信号レベルが大きい場合には原色相関色分離手段によって生成された各色信号成分が大きくなるように、上記両色分離手段によって生成された各色信号成分を合成し、固体撮像デバイスからの信号レベルが小さい場合には、色差相関色分離手段によって生成された各色信号成分が大きくなるように、上記両色分離手段によって生成された各色信号成分を合成するものが用いられる。
【００１８】
あるいは、合成手段としては、たとえば、固体撮像デバイスからの信号レベルの大きさと対応した自動利得調整回路の利得が大きい場合には、色差相関色分離手段によって生成された各色信号成分が大きくなるように、上記両色分離手段によって生成された各色信号成分を合成し、自動利得調整回路の利得が小さい場合には原色相関色分離手段によって生成された各色信号成分が大きくなるように、上記両色分離手段によって生成された各色信号成分を合成するものが用いられる。
【００１９】
処理対象画素における水平方向及び垂直方向の相関値を求める相関値検出手段を設けておき、原色相関色分離手段および色差相関色分離手段は、それぞれ水平方向の相関が強い場合に適した色信号成分を生成する水平方向処理手段と、垂直方向の相関が強い場合に適した色信号成分を生成する垂直方向処理手段とを含んでおり、原色相関色分離手段および色差相関色分離手段は、相関値検出手段によって検出された水平方向および垂直方向の相関値に応じて、水平方向処理手段によって生成された各色信号成分と垂直方向処理手段によって生成された各色信号成分とを加重加算することによって、処理対象画素における複数の色信号成分を求めるようにしてもよい。
【００２０】
色分離手段としては、たとえば、、任意の処理対象画素における複数の色信号成分を、上記処理対象画素及び周囲の画素の色信号成分に基づいて、水平方向または垂直方向の色の比の相関を利用して生成する原色相関色分離手段と、任意の処理対象画素における複数の色信号成分を、上記処理対象画素及び周囲の画素の色信号成分に基づいて、水平方向または垂直方向の色の差の相関を利用して生成する色差相関色分離手段とが設けられる。
【００２１】
この場合、合成手段としては、たとえば、固体撮像デバイスからの信号レベルが大きい場合には適応型相関色分離手段によって生成された各色信号成分が大きくなるように、上記両色分離手段によって生成された各色信号成分を合成し、固体撮像デバイスからの信号レベルが小さい場合には、色差相関色分離手段によって生成された各色信号成分が大きくなるように、上記両色分離手段によって生成された各色信号成分を合成するものが用いられる。
【００２２】
あるいは、合成手段としては、たとえば、固体撮像デバイスからの信号レベルの大きさと対応した自動利得調整回路の利得が大きい場合には、色差相関色分離手段によって生成された各色信号成分が大きくなるように、上記両色分離手段によって生成された各色信号成分を合成し、自動利得調整回路の利得が小さい場合には適応型相関色分離手段によって生成された各色信号成分が大きくなるように、上記両色分離手段によって生成された各色信号成分を合成するものが用いられる。
【００２３】
処理対象画素における水平方向及び垂直方向の相関値を求める相関値検出手段を設けておき、適応型相関色分離手段および色差相関色分離手段は、それぞれ水平方向の相関が強い場合に適した色信号成分を生成する水平方向処理手段と、垂直方向の相関が強い場合に適した色信号成分を生成する垂直方向処理手段とを含んでおり、適応型相関色分離手段および色差相関色分離手段は、相関値検出手段によって検出された水平方向および垂直方向の相関値に応じて、水平方向処理手段によって生成された各色信号成分と垂直方向処理手段によって生成された各色信号成分とを加重加算することによって、処理対象画素における複数の色信号成分を求めるようにしてもよい。
【００２４】
【発明の実施の態様】
以下、図面に従い、本発明の実施例を説明する。
【００２５】
〔１〕第１の実施の形態の説明
図１は、ＣＣＤおよび色分離回路の構成を示している。
【００２６】
ＣＣＤ１には、撮像部２と水平転送部７、８とが設けられている。ＣＣＤ１の前面には、撮像部２への光の入射量を調整するための絞りとなるアイリス１ａが設けられている。
【００２７】
図２は、ＣＣＤ１の構成とその駆動回路とを示している。
撮像部２は、光電変換を行なうフォトダイオード４、４、４…と、垂直転送ＣＣＤ５、５、５…によって構成されている。各フォトダイオード４、４、４は、Ｒ、Ｇ、Ｂで示される配列の色フィルタを備えている。垂直転送ＣＣＤ５はＣＣＤ外部の垂直駆動回路６によって駆動される。
【００２８】
水平転送部は、第１水平転送ＣＣＤ７及び第２水平転送ＣＣＤ８によるデュアルチャンネル構造になっており、２ラインの信号が同時に得られるようになっている。水平転送部７、８は、ＣＣＤ外部の水平駆動回路９によって駆動される。なお、本発明は、デュアルチャンネル構造に限定されるものでなく、シングルチャンネル構造でも良い。
【００２９】
水平転送部７、８からの信号は、それぞれ、ＣＤＳ１０、１１（相関２重サンプリング回路）およびＡＧＣ１２、１３（自動利得制御回路）で処理された後、Ａ／Ｄ変換回路１４、１５でデジタル信号に変換される。
【００３０】
一方のＡ／Ｄ変換回路１４から出力された信号Ｄ０は、選択回路１８内の第１の選択回路１９に送られるとともに、第１の１Ｈ遅延回路１６に送られる。他方のＡ／Ｄ変換回路１５から出力された信号Ｄ１は、選択回路１８内の第１および第２の選択回路１９、２０に送られるとともに、第２の１Ｈ遅延回路１７に送られる。
【００３１】
各１Ｈ遅延回路１６、１７は、入力信号の１Ｈ（１水平期間）分を記憶することができるメモリであり、各１Ｈ遅延回路１６、１７からは、入力信号が１Ｈ遅延された信号が出力される。なお、この１Ｈ遅延回路への信号書き込みと読み出しは、ＣＣＤ１の水平転送と同期して行われる。このため、ＣＣＤ１の動作を制御するタイミング発生回路７１と同期信号発生回路７０とは同期して動作する。
【００３２】
タイミング発生回路７１からは、ＣＣＤを駆動するためのタイミングパルス、奇数画素／偶数画素識別信号およびクロック信号が出力されている。また、同期信号発生回路７０からは、ＨＤ（水平同期信号）、ＶＤ（垂直同期信号）およびフィールド識別信号が出力されている。同期信号発生回路７０からの出力信号によって、他の回路部分の動作が制御される。
【００３３】
第１の１Ｈ遅延回路１６の出力Ｄ２は、選択回路１８内の第２および第３の選択回路２０、２１に送られる。第２の１Ｈ遅延回路１７の出力Ｄ３は、選択回路１８内の第３の選択回路２１に送られる。
【００３４】
選択回路１８は、４ライン分のデジタル信号から、奇数フィールドか偶数フィールドかに応じて３ライン分のデジタル信号を選択して出力する。選択回路１８内の選択回路１９、２０、２１の制御は、同期信号発生回路７０から出力されるフィールドの種類を表すフィールド識別信号に基づいて行われる。
【００３５】
つまり、奇数フィールドではＤ１、Ｄ２、Ｄ３の信号が選択され、偶数フィールドでは、Ｄ０、Ｄ１、Ｄ２の信号が選択される。さらに具体的に説明するとフィールド識別信号が奇数フィールドを示しているとき（たとえば、Ｌレベルの信号）、第１の選択回路１９はＤ１を、第２の選択回路２０はＤ２を、第３の選択回路２１はＤ３を選択する。逆にフィールド識別信号が偶数フィールドを示しているとき（たとえばＨレベル）、第１の選択回路１９はＤ０を、第２の選択回路２０はＤ１を、第３の選択回路２１はＤ２を選択する。このようにして、選択回路１８から、偶数及び奇数フィールドに対応した３ライン分の信号Ｌ０、Ｌ１、Ｌ２が出力される。
【００３６】
図３は、選択回路１８の動作を示している。
【００３７】
図３の信号（ａ）は、奇数フィールドにおける水平同期信号（ＨＤ）を示している。信号（ｆ）は、フィールド識別信号であり、ここでは、奇数フィールドであるため、Ｌレベルとなっている。
【００３８】
図３の信号（ｂ）〜（ｅ）は奇数フィールドでの選択回路１８への入力信号Ｄ３、Ｄ２、Ｄ１、Ｄ０を示している。入力画像のフィールドが奇数フィールドである場合には、信号Ｄ３、Ｄ２、Ｄ１が、信号Ｌ２、Ｌ１、Ｌ０として選択回路１８から出力されている。
【００３９】
奇数フィールドにおいては、第４ライン目がＤ０として入力された場合には、Ｄ３は第１ライン目、Ｄ２は第２ライン目、Ｄ１は第３ライン目およびＤ０は第４ラインとなり、第１ライン、第２ラインおよび第３ラインの信号が選択される。その次には、Ｄ３は第３ライン目、Ｄ２は第４ライン目、Ｄ１は第５ライン目およびＤ０は第６ライン目となり、第３ライン、第４ラインおよび第５ラインの信号が選択される。
【００４０】
図３の信号（ｇ）は、偶数フィールドにおける水平同期信号（ＨＤ）を示している。信号（ｌ）は、フィールド識別信号であり、ここでは、偶数フィールドであるため、Ｈレベルとなっている。
【００４１】
図３の信号（ｈ）〜（ｋ）は偶数フィールドでの選択回路１８への入力信号Ｄ３、Ｄ２、Ｄ１、Ｄ０を示している。入力画像のフィールドが偶数フィールドである場合には、信号Ｄ２、Ｄ１、Ｄ０が、信号Ｌ２、Ｌ１、Ｌ０として選択回路１８から出力されている。
【００４２】
偶数フィールドにおいては、第４ライン目がＤ０として入力された場合には、Ｄ３は第１ライン目、Ｄ２は第２ライン目、Ｄ１は第３ライン目およびＤ０は第４ラインとなり、第２ライン、第３ラインおよび第４ラインの信号が選択される。その次には、Ｄ３は第３ライン目、Ｄ２は第４ライン目、Ｄ１は第５ライン目およびＤ０は第６ライン目となり、第４ライン、第５ラインおよび第６ラインの信号が選択される。
【００４３】
選択回路１８の出力Ｌ０、Ｌ１、Ｌ２は、それぞれ、補間処理手段２２、相関検出手段２３に供給される。
【００４４】
補間処理手段２２には、水平方向または垂直方向の色の比の相関を利用して補間処理を行なう原色相関色分離部２４と、水平方向または垂直方向の色の差の相関を利用して補間処理を行なう色差相関色分離部２５とが設けられている。
【００４５】
また、相関検出手段２３には、水平方向相関検出手段２３ａと垂直方向相関検出手段２３ｂとが設けられている。、水平方向相関検出手段２３ａからは水平方向の相関値Ｓｈが出力され、垂直方向相関検出手段２３ｂからは垂直方向の相関値Ｓｖが出力される。そして、これら２つの出力Ｓｈ、Ｓｖは、係数算出手段３２に与えられる。係数算出手段３２では、両相関値Ｓｈ、Ｓｖに基づいて、水平方向の係数Ｋｈと垂直方向の係数Ｋｖを計算する。相関値及び係数の計算方法の詳細については後述する。
【００４６】
図４は、原色相関色分離部２４の構成を示している。
原色相関色分離部２４は、フィールド内水平補間回路２６と、フィールド内垂直補間回路２７と、加重加算手段２８とを備えている。
【００４７】
フィールド内水平補間回路２６は、３ライン分のＣＣＤ１からの出力信号に基づいて、水平方向の相関が強い場合に適した補間処理を行なって、色信号Ｇｈ、Ｒｈ、Ｂｈを出力する。フィールド内垂直補間回路２７は、３ライン分のＣＣＤ１からの出力信号に基づいて、垂直方向の相関が強い場合に適した補間処理を行なって、色信号Ｇｖ、Ｒｖ、Ｂｖを出力する。原色相関色分離部２４内の各補間回路２６、２７による具体的な補間方法については、後述する。
【００４８】
なお、水平方向の相関が強い場合とは、細かい横縞の画像のように、水平方向の相関が強く、垂直方向の相関がほとんどない場合をいう。また、垂直方向の相関が強い場合とは、細かい縦じまの画像のように、垂直方向の相関が強く、水平方向の相関がほとんどない場合をいう。
【００４９】
各補間回路２６、２７から出力される色信号Ｇｈ、Ｒｈ、Ｂｈ及びＧｖ、Ｒｖ、Ｂｖは、加重加算手段２８に供給される。加重加算手段２８には、さらに、係数算出手段３２から出力される水平方向の係数Ｋｈと垂直方向の係数Ｋｖも供給される。加重加算手段２８は、係数Ｋｈを色信号Ｇｈ、Ｒｈ、Ｂｈに乗算するとともに、係数Ｋｖを色信号Ｇｖ、Ｒｖ、Ｂｖに乗算した後、同じ色信号どうし（ＧｈとＧｖ、ＲｈとＲｖ、ＢｈとＢｖ）を加算して、最終的な色信号Ｇ１、Ｒ１、Ｂ１を出力する。
【００５０】
図５は、色差相関色分離部２５の構成を示している。
色差相関色分離部２５は、フィールド内水平補間回路２９と、フィールド内垂直補間回路３０と、加重加算手段３１とを有している。なお、この色差相関色分離部２５内の各補間回路２９、３０による具体的な補間方法については、後述する。
【００５１】
色差相関色分離部２５と上述した原色相関色分離部２４とは、フィールド内水平方向補間回路２９及びフィールド内垂直補間回路３０での補間処理方法が異なるのみである。色差相関色分離部２５の加重加算手段３１からは、最終的に色信号Ｇ２、Ｒ２、Ｂ２が出力される。
【００５２】
原色相関色分離方法と色差相関色分離方法とについて説明する。まず、原色相関色分離方式について説明する。フィールド内水平補間回路２６、フィールド内垂直補間回路２７は、基本的には、図６の様なブロックからなるデジタル処理回路で構成される。図６の３３、３４は１画素分が伝送されるに要する時間と等しい遅延時間を備えた遅延手段であり、３５は演算手段である。各補間回路２６、２７は、この例では、３×３画素のブロック内の９個の画素の信号に基づき、中央の１つの画素の位置に対応する３色の色信号を作成する。
【００５３】
すなわち、選択回路１９、２０、２１から出力される信号Ｌ０、Ｌ１、Ｌ２は、遅延手段３３、３４に入力されることにより、９画素分の信号が同時に演算手段３５に与えられることになる。そして、演算手段３５における演算により、補間処理が行なわれる。
【００５４】
図７は、ＣＣＤ１上の画素の配列と選択される画素との関係を示している。
上述したように、奇数フィールド時には、まず、Ｄ１、Ｄ２、Ｄ３のライン信号が選択されるので、奇数番目に処理される３×３画素のブロックは図７の（ｂ）に示すようになり、偶数番目に処理される画素は、図７の（ｃ）に示すようになる。
【００５５】
一方、偶数フィールド時には、まず、Ｄ０、Ｄ１、Ｄ２のライン信号が選択されるので、奇数番目に処理されるブロックは図７の（ｄ）に示すようになり、偶数番目に処理されるブロックは図７の（ｅ）に示すようになる。
【００５６】
図８は、処理対象ブロックが奇数フィールドの奇数番目のブロックまたは偶数番目のブロックである場合に、水平補間回路２６及び垂直補間回路２７によって用いられる演算式を示している。
【００５７】
処理対象ブロックが奇数フィールドの奇数番目のブロックである場合には、水平補間回路２６では、次のようにして中央画素（処理対象画素）Ｇ２２に対するＧｈ、ＢｈおよびＲｈが算出される。
【００５８】
つまり、処理対象画素Ｇ２２に対するＧｈとしては、処理対象画素Ｇ２２の信号Ｇ２２がそのまま用いられる。処理対象画素Ｇ２２に対するＢｈは、処理対象画素Ｇ２２を挟む左右２つの画素Ｂ２１、Ｂ２３の信号Ｂ２１、Ｂ２３の平均を算出することによって求められる（水平方向の相関を利用する）。処理対象画素Ｇ２２に対するＲｈについては、少し複雑となる。すなわち、画素Ｒ１２の位置におけるＧ信号であるＧ１２を、Ｇ１１とＧ１３の平均値として計算する（すなわち水平方向の相関を利用する）。そして、計算で求められたＧ１２と実際に得られたＧ２２との比と、Ｒ１２とからＲｈを求めている。
【００５９】
これは、輝度の変化に対して色信号の局所的な変化は小さいためＧ信号とＲ信号またはＢ信号との比は隣接画素間においてほぼ等しいと考えられるからである。つまり、Ｇ１２：Ｒ１２＝Ｇ２２：Ｒ２２と仮定して、Ｒ２２（＝Ｒｈ）を求めている。
【００６０】
処理対象ブロックが奇数フィールドの奇数番目のブロックである場合には、垂直補間回路２７では、次のようにして中央画素（処理対象画素）Ｇ２２に対するＧｖ、ＢｖおよびＲｖが算出される。
【００６１】
つまり、処理対象画素Ｇ２２に対するＧｖとしては、処理対象画素Ｇ２２に対する信号Ｇ２２がそのまま利用する。処理対象画素Ｇ２２に対するＲｖは、処理対象画素Ｇ２２を挟む上下の画素Ｒ１２、Ｒ３２の信号Ｒ１２、Ｒ３２の平均を算出することによって求められる（垂直方向の相関を利用する）。処理対象画素Ｇ２２に対するＢｖについては、上記のＲｈと同様に求める。すなわち、画素Ｂ２１におけるＧ信号であるＧ２１をＧ１１とＧ３１の平均値として計算する（垂直方向の相関を利用する）。そして、計算で求めたＧ２１とＧ２２との比と、Ｂ２１とからＢｖを計算する。
【００６２】
処理対象ブロックが奇数フィールドの偶数番目のブロックである場合には、水平補間回路２６では、次のようにして中央画素（処理対象画素）Ｂ２２に対するＧｈ、ＢｈおよびＲｈが算出される。
【００６３】
つまり、処理対象画素Ｂ２２に対するＢｈとして、処理対象画素Ｂ２２の信号Ｂ２２がそのまま用いられる。処理対象画素Ｂ２２に対するＧｈは、Ｇ２１とＧ２３との平均値を算出することによって求められる。処理対象画素Ｂ２２に対するＲｈについては、まず、Ｒ１１とＲ１３との平均を求めることによりＲ１２を得、Ｇｈ（＝Ｇ２２）とＧ１２との比と、Ｒ１２とからＲｈを求める。
【００６４】
処理対象ブロックが奇数フィールドの偶数番目のブロックである場合には、垂直補間回路２７では、次のようにして中央画素（処理対象画素）Ｂ２２に対するＧｖ、ＢｖおよびＲｖが算出される。
【００６５】
つまり、処理対象画素Ｂ２２に対するＢｖについては、処理対象画素Ｂ２２の信号Ｂ２２がそのまま用いられる。処理対象画素Ｂ２２に対するＧｖは、Ｇ１２とＧ３２との平均値を算出することによって求められる。処理対象画素Ｂ２２に対するＲｖについては、まず、Ｒ１１とＲ３１との平均を求めることによりＲ２１を得、Ｇｈ（＝Ｇ２２）とＧ２１との比と、Ｒ２１とからＲｖを求める。
【００６６】
処理対象ブロックが偶数フィールドのブロックである場合でも、図８に示された処理と同様の処理を行うことで、Ｒｈ、Ｇｈ、Ｂｈ、Ｒｖ、Ｇｖ、Ｂｖの信号を得ることができる。すなわち、処理対象ブロックが偶数フィールドの奇数番目のブロックである場合には、その画素配列は、図７の（ｃ）と（ｄ）とから分かるように、処理対象ブロックが奇数フィールドの偶数番目のブロックである場合の画素配列においてＲとＢとを入れ換えたものであるから、処理対象ブロックが奇数フィールドの偶数番目のブロックである場合に用いられる演算式においてＲとＢとを交換すればよい。
【００６７】
また、処理対象ブロックが偶数フィールドの偶数番目のブロックである場合には、その画素配列は、図７の（ｂ）と（ｅ）から分かるように、処理対象ブロックが奇数フィールドの奇数番目のブロックである場合の画素配列においてＲとＢとを入れ換えたものであるから、処理対象ブロックが奇数フィールドの奇数番目のブロックである場合に用いられる演算式においてＲとＢとを交換すればよい。
【００６８】
水平方向相関検出回路２３ａおよび垂直方向相関検出回路２３ｂは、基本的には、図６の様なブロックからなるデジタル処理回路で構成される。図６の３３、３４は１画素分が伝送されるに要する時間と等しい遅延時間を備えた遅延手段であり、３５は演算手段である。
【００６９】
すなわち、選択回路１９、２０、２１から出力される信号Ｌ０、Ｌ１、Ｌ２は、遅延手段３３、３４に入力されることにより、９画素分の信号が同時に演算手段３５に与えられることになる。そして、演算手段３５における演算により、相関値検出処理が行われる。
【００７０】
図９は、水平方向相関検出回路２３ａおよび垂直方向相関検出回路２３ｂによって用いられる演算式を示している。
【００７１】
各相関値検出回路２３ａ、２３ｂは、３×３画素のブロック内に最も多く含まれるＧ信号を利用して、相関値Ｓｈ、Ｓｖを算出する。処理対象ブロックが奇数フィールドの奇数番目のブロックである場合には、垂直方向の相関値Ｓｖは、Ｇ１２とＧ３２との差の絶対値を算出することによって求められる。Ｇ１２とＧ３２は実際には存在しないので、Ｇ１２はＧ１１とＧ１３とから算出され、Ｇ３２はＧ３１とＧ３３とから算出される。
【００７２】
処理対象ブロックが奇数フィールドの奇数番目のブロックである場合の水平方向の相関値Ｓｈは、Ｇ２１とＧ２３との差の絶対値を算出することによって求められる。Ｇ２１とＧ２３は実際には存在しないので、Ｇ２１はＧ１１とＧ３１とから算出され、Ｇ２３はＧ１３とＧ３３とから算出される。
【００７３】
処理対象ブロックが奇数フィールドの偶数番目のブロックである場合には、垂直方向の相関値Ｓｖは、Ｇ１２とＧ３２との差の絶対値を算出することによって求められる。また、水平方向の相関値Ｓｈは、Ｇ２１とＧ２３との差の絶対値を算出することによって求められる。
【００７４】
処理対象ブロックが偶数フィールドのブロックである場合においても、Ｇ信号のパターンは同じであるから同様の処理を行えばよい。ただし、処理対象ブロックが奇数フィールドの奇数番目のブロックである場合の演算式と処理対象ブロックが偶数フィールドの偶数番目のブロックである場合の演算式とが同じであり、処理対象ブロックが奇数フィールドの偶数番目のブロックである場合の演算式と処理対象ブロックが偶数フィールドの奇数番目のブロックである場合の演算式とが同じである。
【００７５】
なお、水平方向の相関値Ｓｈの値が小さいほど、水平方向の相関が強くなる。同様に、垂直方向の相関値Ｓｖの値が小さいほど、垂直方向の相関が強くなる。
【００７６】
係数算出手段３２は、各相関値検出回路２３ａ、２３ｂによって算出された相関値Ｓｈ、Ｓｖから水平方向及び垂直方向の係数Ｋｈ、Ｋｖを算出する。各係数Ｋｈ、Ｋｖは次式（１）により求められる。なお、ＫｈとＫｖの間には、Ｋｈ＋Ｋｖ＝１の関係が成立する。
【００７７】
Ｋｈ＝Ｓｖ／（Ｓｈ＋Ｓｖ）
Ｋｖ＝Ｓｈ／（Ｓｈ＋Ｓｖ） …（１）
【００７８】
従って、水平方向の係数Ｋｈは、水平方向の相関が垂直方向の相関よりも強い場合（ＳｈがＳｖより小さい場合）に大きくなる。また、垂直方向の係数Ｋｖは、垂直方向の相関が水平方向の相関よりも強い場合（ＳｖがＳｈより小さい場合）に大きい値となる。
【００７９】
以上述べたように、ＣＣＤにおける１画素に対応するＲ、Ｇ、Ｂの信号成分が、その周囲の画素（全体で９個）からの出力を利用して計算されるが、このとき、水平方向の相関性が強い場合に適した処理方法と、垂直方向の相関性が強い場合に適した処理方法の２つの方法を用いて演算がなされ、その、画素付近の水平相関と垂直相関の強弱に合わせて、上記２つの方法による演算結果が加重加算されることになる。
【００８０】
次に原色相関色分離部２４の動作について、具体例をあげて説明する。
【００８１】
図１０の（ａ）に示されたような白色の入射光が処理対象ブロックに与えられた場合を考える。図１０の（ａ）の例では、色の成分がなく輝度レベルのみが変化したエッジ部分の例を示している。したがって、正しい結果として、処理対象画素（中央画素）のＲ、Ｇ、Ｂのレベルはすべて同じにならなければならない。
【００８２】
図１０（ｂ）は、各画素からの出力レベルを模式的に示したものである。２種類示しているのは、奇数番目と偶数番目の処理とで、上述のように、色のパターンが異なるからである。図８、図９に従って算出した、処理対象画素（中央画素）のＲｈ、Ｒｖ、Ｇｈ、Ｇｖ、Ｂｈ、Ｂｖおよび加重係数Ｋｈ、Ｋｖならびに加重係数を加味した処理対象画素（中央画素）のＲ、Ｇ、Ｂ（Ｒｏ、Ｇｏ、Ｂｏ）は、（ｃ）、（ｄ）のようになる。中央の位置におけるＲ、Ｇ、Ｂの成分レベルは、０．２とすべて等しくなる。
【００８３】
次に、色差相関色分離方式について説明する。
【００８４】
色差相関色分離部２５と前述の原色相関色分離部２４との違いは、次の点にある。すなわち、原色相関色分離部２４における補間処理は、輝度の変化に対して色信号の局所的な変化は小さいためＧ信号とＲ信号またはＢ信号との比は隣接画素間においてほぼ等しいという性質と、特定の色成分の低域成分と高域成分との比は他の色成分においても等しいという性質を利用している。これに対して、色差相関色分離部２５における補間処理は、色信号の局所的な変化は小さいためＧ信号とＲ信号またはＢ信号との差は隣接画素間においてほぼ等しいという性質と、特定の色成分の低域成分と高域成分との差は他の色成分においてもほぼ等しいという性質を利用している点が異なっている。
【００８５】
図１１は、処理対象ブロックが奇数フィールドの奇数番目のブロックまたは偶数番目のブロックである場合に、色差相関色分離部２５の水平補間回路２９及び垂直補間回路３０によって用いられる演算式を示している。
【００８６】
処理対象ブロックが奇数フィールドの奇数番目のブロックである場合には、水平補間回路２９では、次のようにして中央画素（処理対象画素）Ｇ２２に対するＧｈ、ＢｈおよびＲｈが算出される。
【００８７】
つまり、処理対象画素Ｇ２２に対するＧｈとしては、処理対象画素Ｇ２２の信号Ｇ２２がそのまま用いられる。処理対象画素Ｇ２２に対するＢｈは、処理対象画素Ｇ２２を挟む左右２つの画素Ｂ２１、Ｂ２３の信号Ｂ２１、Ｂ２３の平均を算出することによって求められる。処理対象画素Ｇ２２に対するＲｈについては、Ｇ信号とＲ信号またはＢ信号との差は、隣接画素間においてほぼ等しいという性質を利用する。即ち、次の関係式（２）が成立する。
【００８８】
Ｒ２２−Ｇ２２＝Ｒ１２−Ｇ１２＝Ｒ３２−Ｇ３２
＝｛（Ｒ１２−Ｇ１２）／２｝＋｛（Ｒ３２−Ｇ３２）／２｝…（２）
【００８９】
したがって、処理対象画素Ｇ２２に対するＲｈ（＝Ｒ２２）は、次式（３）によって求められる。
【００９０】
Ｒｈ＝｛（Ｒ１２−Ｇ１２）／２｝＋｛（Ｒ３２−Ｇ３２）／２｝＋Ｇ２２
＝｛（Ｒ１２＋Ｒ３２）／２｝−｛（Ｇ１２＋Ｇ３２）／２｝＋Ｇ２２
＝｛(R12+R32)/2 ｝−｛(G11+G13+G31+G33)/4 ｝＋G22 …（３）
【００９１】
処理対象ブロックが奇数フィールドの偶数番目のブロックである場合にも、水平補間回路２９は同様な演算を行なうことにより、Ｇｈ、Ｒｈ、Ｂｈを求める。
【００９２】
また、垂直補間回路３０におけるＧｖ、Ｒｖ、Ｂｖの求め方も基本的には、水平補間回路２９の補間処理と同様であるので説明は省略する。
【００９３】
このように、図８における演算式は、演算処理を乗算および除算が占めていたが、図１１における演算式は、乗算及び除算は加算及び減算に置き変わっており、特に回路構成が複雑となる除算を使用していないため演算処理回路の構成を大幅に簡単化することができる。
【００９４】
また、色差相関色分離方式の補間処理によればモノトーンに近い画像に対して偽色信号が少なく高品質の画像が得られる。
【００９５】
以上説明した各色分離部２４、２５から出力された色信号Ｇ１、Ｒ１、Ｂ１、Ｇ２、Ｒ２、Ｂ２は、合成手段となる加重加算回路３６へ供給される。加重加算回路３６は、最終的な色信号Ｇ０、Ｒ０、Ｂ０を出力する。
【００９６】
加重加算回路３６から出力される色信号Ｇ０、Ｒ０、Ｂ０はＡＧＣ制御回路３７へ供給される。ＡＧＣ制御回路３７は、撮像された画像の輝度レベルを制御するために、色信号Ｇ０、Ｒ０、Ｂ０からアイリス１ａの開口の程度またはＡＧＣ１２、１３の利得を調整する。具体的には、基本的にアイリス１ａで調整をとり、アイリス１ａの開口が最大となったとき、それ以上に制御するためにＡＧＣの利得を小さくするよう指示し、制御する。このとき、ＡＧＣ１２，１３への利得指示は、加重加算回路３６へも供給される。
【００９７】
加重加算回路３６では、ＡＧＣ１２、１３の利得の大きさに応じて、原色相関色分離部２４からの色信号Ｇ１、Ｒ１、Ｂ１と色差相関色分離部２５からの色信号Ｇ２、Ｒ２、Ｂ２とを加重加算するよう動作する。具体的には、ＡＧＣ１２、１３の利得が小さければ、色信号Ｇ２、Ｒ２、Ｂ２より色信号Ｇ１、Ｒ１、Ｂ１が大きくなるように加算され、利得が大きければ、色信号Ｇ１、Ｒ１、Ｂ１より色信号Ｇ２、Ｒ２、Ｂ２が大きくなるように加算され、色信号Ｇ０、Ｒ０、Ｂ０が出力される。
【００９８】
図１０において、ノイズ等の影響で相関方向の検出を誤ったとする。すると、Ｇｏ、Ｒｏ、Ｂｏの値は、Ｇｈ、Ｒｈ、Ｂｈの値となる。その結果、本来とるべき値（０．２）に対して誤差が発生する。その誤差は、奇数番目（図１０（ｂ）の上側の図）のＲで０．１３３、Ｂで０．４となり、偶数番目（図１０（ｂ）の下側の図）のＧで０．４、Ｒで１．６となり、それらの誤差の総和は２．５３３となる。
【００９９】
一方、色差相関色分離部２５で補間を行なった場合には、図１２に示すようになり、相関方向の検出を誤った場合でも、誤差の総和は２．２にしかならない。これは一例であるが、原色相関では除算を用いるため、除数（分母）が０に近づくと精度が悪くなり、誤差が増加し、その結果、ノイズが増えてしまう。特に暗い場合には、除数が０に近づく確率が高く問題となる。
【０１００】
この実施の形態では、ＡＧＣ１２、１３の利得が小さければ、色信号Ｇ２、Ｒ２、Ｂ２より色信号Ｇ１、Ｒ１、Ｂ１が大きくなるように加算され、利得が大きければ、色信号Ｇ１、Ｒ１、Ｂ１より色信号Ｇ２、Ｒ２、Ｂ２が大きくなるように加算されているので、原色相関色分離処理により生じる画像中に含まれたノイズの強調及び偽色を抑制し、かつ解像度を向上することができる。
【０１０１】
なお、上記実施の形態において、ＡＧＣ１２，１３の利得の大きさに応じて原色相関色分離方式と色差相関色分離方式とを加重加算したが、本発明はこれに限定されず、画像のコントラストや信号レベルに応じて加重加算しても良い。
【０１０２】
また、前述の原色相関色分離方式及び色差相関色分離方式では、３×３画素単位で算出していたが、本発明はこれに限らず、たとえば５×５画素単位で算出すれば、さらに偽色が押さえられ、解像度を向上させることができる。また、上記実施の形態では、インターレース信号に対してこの発明を適用した場合について説明したが、この発明はプログレッシブ信号に対しても適用することができる。
【０１０３】
〔２〕第２の実施の形態の説明
【０１０４】
第２の実施の形態では、原色相関色分離部２４内のフィールド内水平補間回路２６およびフィールド内垂直補間回路２７の動作が第１の実施の形態と異なっている。また、色差相関色分離部２５内のフィールド内水平補間回路２９およびフィールド内垂直補間回路３０の動作が第１の実施の形態と異なっている。
【０１０５】
各補間回路２６、２７、２９、３０は、第２の実施の形態では、５×５画素のブロック内の２５個の画素の信号に基づき、中央の１つの画素（処理対象画素）に対応する３色の色信号を作成する。
【０１０６】
〔２−１〕原色相関色分離部２４内の補間回路２６、２７についての説明
まず、原色相関色分離部２４内のフィールド内水平補間回路２６およびフィールド内垂直補間回路２７の動作について説明する。これらの補間回路２６、２７は、原色相関色分離方式によって、処理対象画素の色信号Ｒ、Ｇ、Ｂを算出する。
【０１０７】
図１３は、処理対象ブロックが奇数フィールドの奇数番目のブロックまたは偶数番目のブロックである場合に、水平補間回路２６及び垂直補間回路２７によって用いられる演算式を示している。
【０１０８】
ここでは、処理対象ブロックが奇数フィールドの奇数番目のブロックである場合の、垂直補間回路２７の動作を例にとって、原色相関色分離方式について説明する。
【０１０９】
原色相関色分離方式では、局所領域において画像の相関の強い方向を検出し、相関の強い方向（ここでは、垂直方向または水平方向）のみのライン単位のフィルタリングによって、まず、同一ライン上の２つの低域色信号を算出する。
【０１１０】
垂直補間回路２７では、図１３の上側の５×５画素のブロックの処理対象画素Ｇ３３において、垂直方向の相関が強いと仮定して、処理対象画素Ｇ３３を含む垂直ラインから、ＲとＧとの低域信号ＲVLPF3 、ＧVLPF3 を算出する。
【０１１１】
緩やかに変化する信号においては、各画素の色信号の比と、それらの低域信号との比がほぼ等しいので、垂直方向の相関が強い場合、処理対象画素Ｇ３３を含む垂直ラインにおいて、Ｒｖ（＝Ｒ３３）／Ｇ３３＝ＲVLPF3 ／ＧVLPF3 が成り立つ。したがって、処理対象画素Ｇ３３を含む垂直ライン上の２つの低域色信号ＲVLPF3 、ＧVLPF3 の比と、処理対象画素の色信号Ｇ３３とから、その垂直ライン上に存在するもう１つの色信号Ｒｖを求めることができる。
【０１１２】
処理対象画素Ｇ３３に対するＧｖとしては、処理対象画素Ｇ３３の信号Ｇ３３をそのまま用いる。
【０１１３】
垂直、水平の１ラインから色分離できるのは、対象のライン（この例では垂直ライン）上に存在する色信号（この例では、Ｒ、Ｇ）のみである。そこで、そのライン上に存在しない色信号は、隣接するラインの信号と処理対象画素の信号から、色の相関性、すなわち、”画像の相関が低い方向（ここでは水平方向）においても色の比の変化が小さい”という特性、すなわち、Ｂｖ（＝Ｂ３３）／Ｇ３３＝Ｂ３２／Ｇ３２＝Ｂ３４／Ｇ３４という特性を利用して、対象のライン上に存在しない色信号Ｂｖを内挿する。
【０１１４】
ここでは、水平方向は相関が低い方向であるため、次式（４）に示すように、両水平隣接画素の色信号の比を平均することにより、相関の低さを補償する。
【０１１５】
Ｂｖ＝〔｛（Ｂ３２／Ｇ３２）＋（Ｂ３４／Ｇ３４）｝／２〕×Ｇ３３…（４）
【０１１６】
式（４）の代わりに、式（４）を簡略化した式、Ｂｖ＝（Ｂ３２／Ｇ３２）×Ｇ３３を用いてもよい。図１３では、この簡略化式を展開したものを、Ｂｖとして記載している。
【０１１７】
ここで用いる信号の低域成分を求めるフィルタの特性は、周波数特性はできる限り近い方が望ましい。サンプリング位相の異なる信号のフィルタ特性を合わせるためには、フィルタのタップ長をかなり広げる必要があり、大幅な回路規模の増加を伴うため実用的とはいえない。
【０１１８】
そこで、ここでは、相関性が強い方向の低域色信号成分を求めている点に着目し、ナイキスト周波数の１／２まで低域部分を重視して、その低域部分の周波数特性が近くなり、かつフィルタのタップ数を短くできるように、次式（５）を用いることとした。
【０１１９】
ＧVLPF3 ＝（Ｇ１３＋６×Ｇ３３＋Ｇ５３）／８
ＲVLPF3 ＝（Ｒ２３＋Ｒ４３）／２ …（５）
【０１２０】
処理対象ブロックが奇数フィールドの奇数番目のブロックである場合の、垂直補間回路２７の動作について説明したが、処理対象ブロックが奇数フィールドの偶数番目のブロックである場合にも、同様の動作により、処理対象画素のＲｖ、Ｇｖ、Ｂｖを求めることができる。
【０１２１】
また、水平補間回路２６では、水平方向の相関が強いと仮定することによって、処理対象画素のＲｈ、Ｇｈ、Ｂｈを求めることができる。
【０１２２】
処理対象ブロックが偶数フィールドである場合にも、同様な手法によって、色分離を行なうことができる。
【０１２３】
原色相関色分離方式では、色信号の比を求めるための除算を行なっている。そのため、除数が０に近いときには、誤差が大きくなる。また、除数が０のときには、演算不可能なため、除数が０の際に定数を強制的に１にするような例外処理を行なう。このため、画面が暗いときや、画像の暗い部分にノイズがある場合、ノイズが強調され、ドットノイズが発生するようになる。
【０１２４】
すなわち、原色相関色分離方式は、入力映像の状態が良いとき、つまり、入力光が充分にあるとき、良好な特性を発揮する。
【０１２５】
〔２−２〕色差相関色分離部２５内の補間回路２９、３０についての説明
【０１２６】
色差相関色分離部２５内のフィールド内水平補間回路２９およびフィールド内垂直補間回路３０の動作について説明する。これらの補間回路２９、３０は、色差相関色分離方式によって、処理対象画素の色信号Ｒ、Ｇ、Ｂを算出する。
【０１２７】
図１４は、処理対象ブロックが奇数フィールドの奇数番目のブロックまたは偶数番目のブロックである場合に、水平補間回路２９及び垂直補間回路３０によって用いられる演算式を示している。
【０１２８】
ここでは、処理対象ブロックが奇数フィールドの奇数番目のブロックである場合の、垂直補間回路３０の動作を例にとって、色差相関色分離方式について説明する。
【０１２９】
色差相関色分離方式では、”局所領域での色差信号の変化は小さい”という色差の相関性を利用して、局所領域において画像の相関の強い方向を検出し、相関の強い方向（ここでは、垂直方向または水平方向）のみのライン単位のフィルタリングによって、まず、同一ライン上の２つの低域色信号を算出する。
【０１３０】
垂直補間回路３０では、図１４の上側の５×５画素のブロックの処理対象画素Ｇ３３において、垂直方向の相関が強いと仮定して、処理対象画素Ｇ３３を含む垂直ラインから、ＲとＧとの低域信号ＲVLPF3 、ＧVLPF3 を算出する。
【０１３１】
緩やかに変化する信号においては、各画素の色信号の差と、それらの低域信号との差がほぼ等しいので、垂直方向の相関が強い場合、処理対象画素Ｇ３３を含む垂直ラインにおいて、Ｒｖ（＝Ｒ３３）−Ｇ３３＝ＲVLPF3 −ＧVLPF3 が成り立つ。したがって、処理対象画素Ｇ３３を含む垂直ライン上の２つの低域色信号ＲVLPF3 、ＧVLPF3 の差と、処理対象画素の色信号Ｇ３３とから、その垂直ライン上に存在するもう１つの色信号Ｒｖを求めることができる。
【０１３２】
処理対象画素Ｇ３３に対するＧｖとしては、処理対象画素Ｇ３３の信号Ｇ３３をそのまま用いる。
【０１３３】
垂直、水平の１ラインから色分離できるのは、対象のライン（この例では垂直ライン）上に存在する色信号（この例では、Ｒ、Ｇ）のみである。そこで、そのライン上に存在しない色信号は、隣接するラインの信号と処理対象画素の信号から、色差の相関性、すなわち、”画像の相関が低い方向（ここでは水平方向）においても色の差の変化が小さい”という特性、すなわち、Ｂｖ（＝Ｂ３３）−Ｇ３３＝Ｂ３２−Ｇ３２＝Ｂ３４−Ｇ３４という特性を利用して、対象のライン上に存在しない色信号Ｂｖを内挿する。
【０１３４】
ここでは、水平方向は相関が低い方向であるため、次式（６）に示すように、両水平隣接画素の色差信号を平均することにより、相関の低さを補償する。
【０１３５】
Ｂｖ＝〔｛（Ｂ３２−Ｇ３２）＋（Ｂ３４−Ｇ３４）｝／２〕＋Ｇ３３…（６）
【０１３６】
式（６）の代わりに、式（６）を簡略化した式、Ｂｖ＝（Ｂ３２−Ｇ３２）＋Ｇ３３を用いてもよい。図１４では、この簡略化式を展開したものを、Ｂｖとして記載している。
【０１３７】
処理対象ブロックが奇数フィールドの奇数番目のブロックである場合の、垂直補間回路３０の動作について説明したが、処理対象ブロックが奇数フィールドの偶数番目のブロックである場合にも、同様の動作により、処理対象画素のＲｖ、Ｇｖ、Ｂｖを求めることができる。
【０１３８】
また、水平補間回路２９では、水平方向の相関が強いと仮定することによって、処理対象画素のＲｈ、Ｇｈ、Ｂｈを求めることができる。
【０１３９】
処理対象ブロックが偶数フィールドである場合でも、同様な手法によって、色分離を行なうことができる。
【０１４０】
色差相関色分離方式では、除算を行なうことなく、加減算のみで色信号を求めることができる。そのため、誤差が発生しにくく、ノイズにも強いという特徴がある。
【０１４１】
そこで、ノイズの強い状況、すなわち、カメラの自動利得制御手段の利得が大きくなるにつれて、色差相関色分離方式によって算出した色信号を多く利用するようし、カメラの自動利得制御手段の利得が小さいときには、原色相関色分離方式にによって算出した色信号を多く利用するようにしている。
【０１４２】
〔３〕第３の実施の形態の説明
【０１４３】
第３の実施の形態では、原色相関色分離部２４内のフィールド内水平補間回路２６およびフィールド内垂直補間回路２７の動作が第１の実施の形態と異なっている。また、色差相関色分離部２５内のフィールド内水平補間回路２９およびフィールド内垂直補間回路３０の動作が第１の実施の形態と異なっている。
【０１４４】
各補間回路２６、２７、２９、３０は、第３の実施の形態では、５×５画素のブロック内の２５個の画素の信号に基づき、中央の１つの画素（処理対象画素）に対応する３色の色信号を作成する。
【０１４５】
第３の実施の形態では、図１の色差相関色分離部２５内のフィールド内水平補間回路２９およびフィールド内垂直補間回路３０は、上記第２の実施の形態と同様に、色差相関色分離方式によって、処理対象画素のＲ、Ｇ、Ｂを求める。
【０１４６】
また、第３の実施の形態では、図１の原色相関色分離部２４の代わりに、適応相関色分離方式によって、処理対象画素のＲ、Ｇ、Ｂを求めるための色分離部（以下、適応相関色分離部ということにする）が用いられる。適応相関色分離部２４内のフィールド内水平補間回路２６およびフィールド内垂直補間回路２７は、適応相関色分離方式によって、処理対象画素のＲ、Ｇ、Ｂを求める。
【０１４７】
適応相関色分離部２４内のフィールド内水平補間回路２６およびフィールド内垂直補間回路２７の動作について説明する。これらの補間回路２６、２７は、適応相関色分離方式によって、処理対象画素の色信号Ｒ、Ｇ、Ｂを算出する。
【０１４８】
図１５は、処理対象ブロックが奇数フィールドの奇数番目のブロックまたは偶数番目のブロックである場合に、適応相関色分離部２４内の水平補間回路２６及び垂直補間回路２７によって用いられる演算式を示している。
【０１４９】
ここでは、処理対象ブロックが奇数フィールドの奇数番目のブロックである場合の、垂直補間回路２７の動作を例にとって、適応相関色分離方式について説明する。
【０１５０】
適応相関色分離方式では、局所領域において画像の相関の強い方向を検出し、相関の強い方向（ここでは、垂直方向または水平方向）のみのライン単位のフィルタリングによって、まず、同一ライン上の２つの低域色信号を算出する。
【０１５１】
垂直補間回路２７では、図１５の上側の５×５画素のブロックの処理対象画素Ｇ３３において、垂直方向の相関が強いと仮定して、処理対象画素Ｇ３３を含む垂直ラインから、ＲとＧとの低域信号ＲVLPF3 、ＧVLPF3 を算出する。
【０１５２】
緩やかに変化する信号においては、各画素の色信号の差と、それらの低域信号との差がほぼ等しいので、垂直方向の相関が強い場合、処理対象画素Ｇ３３を含む垂直ラインにおいて、Ｒｖ（＝Ｒ３３）−Ｇ３３＝ＲVLPF3 −ＧVLPF3 が成り立つ。したがって、処理対象画素Ｇ３３を含む垂直ライン上の２つの低域色信号ＲVLPF3 、ＧVLPF3 の差と、処理対象画素の色信号Ｇ３３とから、その垂直ライン上に存在するもう１つの色信号Ｒｖを求めることができる。このＲｖの求め方は、色差相関色分離方式と同様である。
【０１５３】
処理対象画素Ｇ３３に対するＧｖとしては、処理対象画素Ｇ３３の信号Ｇ３３をそのまま用いる。
【０１５４】
垂直、水平の１ラインから色分離できるのは、対象のライン（この例では垂直ライン）上に存在する色信号（この例では、Ｒ、Ｇ）のみである。そこで、そのライン上に存在しない色信号は、隣接するラインの信号と処理対象画素の信号から、色の相関性、すなわち、”画像の相関が低い方向（ここでは水平方向）においても色の比の変化が小さい”という特性、すなわち、Ｂｖ（＝Ｂ３３）／Ｇ３３＝Ｂ３２／Ｇ３２＝Ｂ３４／Ｇ３４という特性を利用して、対象のライン上に存在しない色信号Ｂｖを内挿する。このＢｖの求め方は、原色相関色分離方式と同様である。
【０１５５】
ここでは、水平方向は相関が低い方向であるため、次式（７）に示すように、両水平隣接画素の色差信号を平均することにより、相関の低さを補償する。
【０１５６】
Ｂｖ＝〔｛（Ｂ３２／Ｇ３２）＋（Ｂ３４／Ｇ３４）｝／２〕×Ｇ３３…（７）
【０１５７】
式（７）の代わりに、式（７）を簡略化した式、Ｂｖ＝（Ｂ３２／Ｇ３２）×Ｇ３３を用いてもよい。図１５では、この簡略化式を展開したものを、Ｂｖとして記載している。
【０１５８】
処理対象ブロックが奇数フィールドの奇数番目のブロックである場合の、垂直補間回路２７の動作について説明したが、処理対象ブロックが奇数フィールドの偶数番目のブロックである場合にも、同様の動作により、処理対象画素のＲｖ、Ｇｖ、Ｂｖを求めることができる。
【０１５９】
また、水平補間回路２６では、水平方向の相関が強いと仮定することによって、処理対象画素のＲｈ、Ｇｈ、Ｂｈを求めることができる。
【０１６０】
処理対象ブロックが偶数フィールドでも、同様な手法によって、色分離を行なうことができる。
【０１６１】
〔４〕相関検出手段２３の変形例の説明
以下、相関検出手段２３の変形例について説明する。この変形例は、第２または第３の実施の形態に適用できることはもちろんのこと、第１の実施の形態においても適用できる。
【０１６２】
相関検出手段２３内の水平方向相関検出手段２３ａと垂直方向相関検出手段２３ｂとして、次のようにして、水平方向相関値Ｓｈ、垂直方向相関値Ｓｖを算出するものを用いてもよい。
【０１６３】
水平方向相関検出手段２３ａおよび垂直方向相関検出手段２３ｂは、５×５画素のブロック内の２５個の画素の信号に基づき、中央の１つの画素（処理対象画素）に対応する相関値Ｓｈ、Ｓｖを算出する。
【０１６４】
〔４−１〕 まず、処理対象ブロックが、図１４の上側に示されているように、奇数フィールドの奇数番目のブロックである場合の相関値Ｓｈ、Ｓｖの算出方法について説明する。
【０１６５】
処理対象ブロックが無彩色である場合には、相関値Ｓｈ、Ｓｖは、次式（８）に基づいて算出される。
【０１６６】
【数１】
【０１６７】
上記式（８）は、次式（８）’のように簡略化することが可能である。
【０１６８】
【数２】
【０１６９】
なお、次式（９）に示すように、水平方向相関値Ｓｈを算出する場合において、垂直方向に平均化した上で垂直相関値を求め、垂直方向相関値Ｓｖを算出する場合において、水平方向に平均化した上で垂直相関値を求めると、より精度が上がる。
【０１７０】
【数３】
【０１７１】
上記式（９）のＳｈの算出式において、Ｇ３３、Ｂ２２、Ｂ３４にかける係数を１とするとともに、Ｓｖの算出式において、Ｇ３３、Ｒ２３、Ｒ４３にかける係数を１とすることにより、各式の除数を２のｎ乗である８とし、割算回路をビットシフトのみで構成できるようにしてもよい。
【０１７２】
上記式（９）は、次式（９）’のように簡略化することが可能である。
【０１７３】
【数４】
【０１７４】
有彩色画像では、被写体色によって、モザイク配列色フィルタのＣＣＤから出力されるＲＧＢそれぞれの信号比率が異なる。そのため被写体色による妨害が発生し、ＣＣＤ全画素信号を使用した相関方向判別結果の精度は悪くなる。そこで、画面各部の色差信号の積算結果から、入力画像の色の強度を判定し、有彩色画像では、Ｇ信号のみに基づいて相関値Ｓｈ、Ｓｖを算出する。
【０１７５】
つまり、処理対象ブロックが有彩色である場合には、相関値Ｓｈ、Ｓｖは、次式（１０）に基づいて算出される。
【０１７６】
【数５】
【０１７７】
上記式（１０）は、次式（１０）’のように簡略化することが可能である。
【０１７８】
【数６】
【０１７９】
〔４−２〕 処理対象ブロックが、図１４の下側に示されているように、奇数フィールドの偶数番目のブロックである場合の相関値Ｓｈ、Ｓｖの算出方法について説明する。
【０１８０】
処理対象ブロックが無彩色である場合には、相関値Ｓｈ、Ｓｖは、次式（１１）に基づいて算出される。
【０１８１】
【数７】
【０１８２】
上記式（１１）は、次式（１１）’のように簡略化することが可能である。
【０１８３】
【数８】
【０１８４】
なお、次式（１２）に示すように、水平方向相関値Ｓｈを算出する場合において、垂直方向に平均化した上で垂直相関値を求め、垂直方向相関値Ｓｖを算出する場合において、水平方向に平均化した上で垂直相関値を求めると、より精度が上がる。
【０１８５】
【数９】
【０１８６】
上記式（１２）のＳｈの算出式において、Ｂ３３、Ｇ３２、Ｇ３４にかける係数を１とするとともに、Ｓｖの算出式において、Ｂ３３、Ｇ２３、Ｇ４３にかける係数を１とすることにより、各式の除数を２のｎ乗である８とし、割算回路をビットシフトのみで構成できるようにしてもよい。
【０１８７】
上記式（１２）は、次式（１２）’のように簡略化することが可能である。
【０１８８】
【数１０】
【０１８９】
処理対象ブロックが有彩色である場合には、相関値Ｓｈ、Ｓｖは、次式（１３）に基づいて算出される。
【０１９０】
【数１１】
【０１９１】
上記式（１３）は、次式（１３）’のように簡略化することが可能である。
【０１９２】
【数１２】
【０１９３】
なお、処理対象ブロックが有彩色である場合には、相関値Ｓｈ、Ｓｖとしては、第１の実施の形態と同様に、次式（１４）に基づいて算出してもよい。
【０１９４】
Ｓｈ＝｜Ｇ３２−Ｇ３４｜
Ｓｖ＝｜Ｇ２３−Ｇ４３｜ …（１４）
【０１９５】
なお、処理対象ブロックが偶数フィールドのブロックである場合においても、Ｇ信号のパターンは同じであるから同様の処理を行えばよい。ただし、処理対象ブロックが奇数フィールドの奇数番目のブロックである場合の演算式と処理対象ブロックが偶数フィールドの偶数番目のブロックである場合の演算式とが同じであり、処理対象ブロックが奇数フィールドの偶数番目のブロックである場合の演算式と処理対象ブロックが偶数フィールドの奇数番目のブロックである場合の演算式とが同じである。
【０１９６】
〔４−３〕 相関値Ｓｈ、Ｓｖの算出方法の変形の説明
無彩色の場合に適した演算式（例えば、上記（８）’、（１１）’）を用いて算出される相関値をＳｈ１、Ｓｖ１とし、有彩色の場合に適した演算式（例えば、上記（１０）’、（１３）’）を用いて算出される相関値をＳｈ２、Ｓｖ２とし、処理対象ブロックの色の強度に応じて、それらを加重加算することによって、相関値Ｓｈ、Ｓｖを求めるようにしてもよい。
【０１９７】
先ず、図１６に示すように、予め設定された複数の彩度検出エリアのうち、処理対象ブロックを含む彩度検出エリアｋ内の全画素信号から、画像の色の付き具合を、次式（１５）に基づいて、彩度積算値Ｃk として算出する。
【０１９８】
【数１３】
【０１９９】
次に、図１７に示すような、彩度積算値Ｃk と有彩色／無彩色判定値Ｒk との関係から、上記式（１５）によって算出された彩度積算値Ｃk に対応する有彩色／無彩色判定値Ｒk を求める。なお、図１７における２つの閾値Ｔｈ１、Ｔｈ２は、システム化する際に不可欠な光学ＬＰＦの特性も関係するため、実験的に求められる。
【０２００】
そして、次式（１６）で示すように、得られた有彩色／無彩色判定値Ｒk に基づいて、無彩色の場合に適した演算式を用いて算出される相関値Ｓｈ１、Ｓｖ１と、有彩色の場合に適した演算式を用いて算出される相関値をＳｈ２、Ｓｖ２とを加重加算する。
【０２０１】
Ｓｈ＝Ｒk ×Ｓｈ１＋（１−Ｒk ）×Ｓｈ２
Ｓｖ＝Ｒk ×Ｓｖ１＋（１−Ｒk ）×Ｓｖ２ …（１６）
【０２０２】
もちろん、有彩色／無彩色判定を行なわずに、常に有彩色として、式（１０）と式（１３）のみを使用するようにしてもよい。
【０２０３】
〔５〕第４の実施の形態の説明
図１の原色相関色分離部２４で用いられている原色相関色分離方式では、除数が０のときには、計算結果が無限大となる。そこで、原色相関色分離方式で用いられる演算式における除数が０になる場合には、カメラの自動利得制御手段の利得が小さい場合でも、図１の色差相関色分離部２５によって算出された色信号を用いるようにすることが好ましい。
【０２０４】
ここでは、”除数が０になると場合”としたが、原色相関色分離方式では除数が小さくなると誤差が増えるので、除数が一定値以下になった場合に、図１の色差相関色分離部２５によって算出された色信号を用いるようにしてもよい。
【０２０５】
具体的には、第１の実施の形態において、図１８に示すように、Ｌ０、Ｌ１、Ｌ２を入力とし、処理対象ブロック（第１の実施の形態では３×３画素の大きさの処理対象ブロック、第２の実施の形態では５×５画素の大きさの処理対象ブロック）内に画素値が０の画素が含まれているか否かを判定する判定回路４０を設ける。
【０２０６】
そして、判定回路４０は、処理対象ブロック内に画素値が０の画素が含まれていると判定した場合には、３６に色差相関色分離部２５によって算出された色信号のみを出力させるための指令を出力する。
【０２０７】
なお、第２の実施の形態においても、同様な制御を行なうことが好ましい。また、第３の実施の形態における適応相関色分離部２４も図１の原色相関色分離部２４と同様に除数が０のときには計算結果が無限大となるので、第３の実施の形態においても、同様な制御を行なうことが好ましい。
【０２０８】
【発明の効果】
以上述べたように、本発明によれば、偽色信号が発生しない色分離回路を提供することができ、画質の改善がはかれる。
【０２０９】
また、垂直または水平の高域成分をそのまま出力することが可能となり、高解像度な色分離を提供することができる。
【図面の簡単な説明】
【図１】本発明の構成を示すブロック図である。
【図２】本発明で利用されるＣＣＤを示す図である。
【図３】本発明の構成の各信号を示す説明図である。
【図４】図１中の原色相関色分離部の構成を示すブロック図である。
【図５】図１中の色差相関色分離部の構成を示すブロック図である。
【図６】演算処理回路の構成を示すブロック図である。
【図７】処理対象の画素の選択を説明する説明図である。
【図８】補間処理を示す説明図である。
【図９】相関検出を示す説明図である。
【図１０】発明の効果を説明するための説明図である。
【図１１】補間処理を説明する説明図である。
【図１２】発明の効果を説明するための説明図である。
【図１３】第２の実施の形態における、水平補間回路２６及び垂直補間回路２７の動作を説明するための説明図である。
【図１４】第２の実施の形態における、水平補間回路２９及び垂直補間回路３０の動作を説明するための説明図である。
【図１５】第３の実施の形態における、水平補間回路２６及び垂直補間回路２７の動作を説明するための説明図である。
【図１６】予め設定された複数の彩度検出エリアを示す模式図である。
【図１７】彩度積算値Ｃk と有彩色／無彩色判定値Ｒk との関係を示すグラフである。
【図１８】第４の実施の形態の構成を示すブロック図である。
【図１９】偽色信号の発生を説明する説明図である。
【符号の説明】
１ ＣＣＤ（固体撮像デバイス）
２２ 補間処理手段
２３ 相関検出手段
３２ 係数算出手段
３６ 加重加算回路
【発明の属する技術分野】
この発明は、固体撮像デバイスを利用した単板式カラービデオカメラの色分離回路に関する。
【０００２】
【従来の技術】
ＣＣＤ等の固体撮像デバイスを利用した単板式カラーカメラでは、固体撮像デバイスの各画素に対応して特定の色（例えばＲ、Ｇ、Ｂの３色のうちのどれか一つ）の色フィルタが設けられている。そして、特定の色に対応した固体撮像デバイスの各画素からの信号を処理して、色分離を行い、Ｒ、Ｇ、Ｂの映像信号を生成している。
【０００３】
従来、カラーカメラにおける色分離とは、ＣＣＤ信号から輝度信号と色信号とを分離、生成する処理を表したが、現在ではＣＣＤ信号から全画素位置のＲＧＢ信号を生成する処理を表すことが多くなった。このことから、ＣＣＤ信号からの色分離を、色信号補間や画素補間と呼ばれることも多くなっている。
【０００４】
図１９は、従来の色分離処理を示している。
【０００５】
例えば、図１９の（ｂ）に示すように、Ｇ、Ｒ、Ｇ、Ｒ…と水平方向にＧとＲのフィルタが交互に配置されている場合を考える。このような場合には、例えば、Ｒのフィルタが配されている画素からは、Ｇの信号は得られないため、この画素に対応するＧ信号を隣接する画素からの信号で補間することにより求める。つまり、図１９の（ｂ）の１番目のＧ画素からの信号と３番目のＧ画素からの信号の平均を計算することにより、２番目のＲ画素に対応するＧ信号を得ることができる。この方法はよく知られているように、水平方向の相関性を利用したものである。
【０００６】
しかしながら、このような単純な補間方法では、画面において、白と黒の部分が隣接するような境界部（エッジ部）に、偽色信号が発生することが知られている。まず、この偽色信号の発生について、簡単に説明する。
【０００７】
図１９の（ｂ）に示すフィルタ配列の固体撮像デバイスに対して、図１９の（ａ）に示す様な白から黒に急激に変化する画像の光が与えられているとする。このとき、各画素からの信号出力値が、図１９の（ｃ）に示すような値であると仮定する。すなわち、白の部分に対応する各画素からの信号出力値はすべて１．０であり、黒の部分に対応する各画素からの信号出力値はすべて０である。
【０００８】
Ｒのフィルタが配されている画素に対するＧ信号およびＧのフィルタが配されている画素に対するＲ信号を、上述した補間方法で補間すると、補間処理後のＧ信号及びＲ信号は、図１９の（ｄ）、（ｅ）に示すようになる。すなわち、白と黒との境界部分において、偽色信号が発生していることがわかる。Ｒのフィルタが配されている画素に対する最適なＧ信号およびＧのフィルタが配されている画素に対する最適なＲ信号は、図１９の（ｆ）、（ｇ）に示すようにならなければならない。
【０００９】
このような、偽の色信号の発生に対する対策としては、ローパスフィルタを利用して偽色信号を目だちにくくする方法や、上記の様な境界部分（エッジ部）での色信号を抑圧する方法が考えられてきた。
【００１０】
しかしながら、ローパスフィルタを利用する方法では、偽色信号のレベルを下げることはできるが、かえって偽色信号が発生する領域が拡大されてしまうので、完全な解決とはならない。また、境界部分で色信号の抑圧を行う方法では、本来あるべき色信号までも抑圧されてしまい、境界部分での色がなくなるおそれがある。
【００１１】
この問題を解決するために、特許第２９３１５２０号公報では、輝度の変化に対して色信号の局所的な変化は小さいため、Ｇ信号とＲ信号またはＢ信号との比は隣接画素間においてほぼ等しいという性質及び特定の色成分の低域成分と高域成分との比は他の色成分においても等しいという性質を利用して補間処理、即ち原色相関色分離処理を行ったり、または色信号の局所的な変化は小さいためＧ信号とＲ信号またはＢ信号との差は隣接画素間においてほぼ等しいという性質及び特定の色成分の低域成分と高域成分との差は他の色成分においてもほぼ等しいという性質を利用して補間処理、即ち色差相関色分離処理を行っていた。
【００１２】
【発明が解決しようとする課題】
しかしながら、原色相関色分離処理では、入力映像信号に他の部分と相関性のない大きな映像信号、例えばノイズが入力された場合、除算回路を介して補間処理されるので、ノイズが強調され、画像の暗い部分に発生するＲ、Ｇ、Ｂのドットノイズが解消できなかった。
【００１３】
また、色差相関色分離処理では、同一色の物体が照明で照らされているとき、物体と照明による影との境界部で輝度変化が生じることによる偽色信号が解消できなかった。
【００１４】
本発明は、固体撮像デバイスを用いた単板式カラービデオカメラにおいて、複数の色信号成分を生成する色分離処理において、偽色信号の発生を防止すると共に、鮮鋭感が高く、色再現性の優れた色分離回路を提供するものである。
【００１５】
【課題を解決するための手段】
この発明による単板式カラーカメラの色分離回路は、各画素に対応して、分光感度特性の異なる複数の種類の色フィルタが、モザイク状に配置された固体撮像デバイスからの信号を利得調整を行う自動利得制御回路を介して処理する単板式カラーカメラの色分離回路において、任意の処理対象画素における複数の色信号成分を、上記処理対象画素及び周囲の画素の色信号成分に基づいて生成するために設けられた、色信号成分生成方式の異なる２種以上の色分離手段、ならびに各色分離手段によって生成された各色信号成分を、固体撮像デバイスからの信号に基づいて合成する合成手段を備えていることを特徴とする。
【００１６】
色分離手段としては、たとえば、任意の処理対象画素における複数の色信号成分を、上記処理対象画素及び周囲の画素の色信号成分に基づいて、水平方向または垂直方向の色の比の相関を利用して生成する原色相関色分離手段と、任意の処理対象画素における複数の色信号成分を、上記処理対象画素及び周囲の画素の色信号成分に基づいて、水平方向または垂直方向の色の差の相関を利用して生成する色差相関色分離手段とが設けられる。
【００１７】
この場合、合成手段としては、たとえば、固体撮像デバイスからの信号レベルが大きい場合には原色相関色分離手段によって生成された各色信号成分が大きくなるように、上記両色分離手段によって生成された各色信号成分を合成し、固体撮像デバイスからの信号レベルが小さい場合には、色差相関色分離手段によって生成された各色信号成分が大きくなるように、上記両色分離手段によって生成された各色信号成分を合成するものが用いられる。
【００１８】
あるいは、合成手段としては、たとえば、固体撮像デバイスからの信号レベルの大きさと対応した自動利得調整回路の利得が大きい場合には、色差相関色分離手段によって生成された各色信号成分が大きくなるように、上記両色分離手段によって生成された各色信号成分を合成し、自動利得調整回路の利得が小さい場合には原色相関色分離手段によって生成された各色信号成分が大きくなるように、上記両色分離手段によって生成された各色信号成分を合成するものが用いられる。
【００１９】
処理対象画素における水平方向及び垂直方向の相関値を求める相関値検出手段を設けておき、原色相関色分離手段および色差相関色分離手段は、それぞれ水平方向の相関が強い場合に適した色信号成分を生成する水平方向処理手段と、垂直方向の相関が強い場合に適した色信号成分を生成する垂直方向処理手段とを含んでおり、原色相関色分離手段および色差相関色分離手段は、相関値検出手段によって検出された水平方向および垂直方向の相関値に応じて、水平方向処理手段によって生成された各色信号成分と垂直方向処理手段によって生成された各色信号成分とを加重加算することによって、処理対象画素における複数の色信号成分を求めるようにしてもよい。
【００２０】
色分離手段としては、たとえば、、任意の処理対象画素における複数の色信号成分を、上記処理対象画素及び周囲の画素の色信号成分に基づいて、水平方向または垂直方向の色の比の相関を利用して生成する原色相関色分離手段と、任意の処理対象画素における複数の色信号成分を、上記処理対象画素及び周囲の画素の色信号成分に基づいて、水平方向または垂直方向の色の差の相関を利用して生成する色差相関色分離手段とが設けられる。
【００２１】
この場合、合成手段としては、たとえば、固体撮像デバイスからの信号レベルが大きい場合には適応型相関色分離手段によって生成された各色信号成分が大きくなるように、上記両色分離手段によって生成された各色信号成分を合成し、固体撮像デバイスからの信号レベルが小さい場合には、色差相関色分離手段によって生成された各色信号成分が大きくなるように、上記両色分離手段によって生成された各色信号成分を合成するものが用いられる。
【００２２】
あるいは、合成手段としては、たとえば、固体撮像デバイスからの信号レベルの大きさと対応した自動利得調整回路の利得が大きい場合には、色差相関色分離手段によって生成された各色信号成分が大きくなるように、上記両色分離手段によって生成された各色信号成分を合成し、自動利得調整回路の利得が小さい場合には適応型相関色分離手段によって生成された各色信号成分が大きくなるように、上記両色分離手段によって生成された各色信号成分を合成するものが用いられる。
【００２３】
処理対象画素における水平方向及び垂直方向の相関値を求める相関値検出手段を設けておき、適応型相関色分離手段および色差相関色分離手段は、それぞれ水平方向の相関が強い場合に適した色信号成分を生成する水平方向処理手段と、垂直方向の相関が強い場合に適した色信号成分を生成する垂直方向処理手段とを含んでおり、適応型相関色分離手段および色差相関色分離手段は、相関値検出手段によって検出された水平方向および垂直方向の相関値に応じて、水平方向処理手段によって生成された各色信号成分と垂直方向処理手段によって生成された各色信号成分とを加重加算することによって、処理対象画素における複数の色信号成分を求めるようにしてもよい。
【００２４】
【発明の実施の態様】
以下、図面に従い、本発明の実施例を説明する。
【００２５】
〔１〕第１の実施の形態の説明
図１は、ＣＣＤおよび色分離回路の構成を示している。
【００２６】
ＣＣＤ１には、撮像部２と水平転送部７、８とが設けられている。ＣＣＤ１の前面には、撮像部２への光の入射量を調整するための絞りとなるアイリス１ａが設けられている。
【００２７】
図２は、ＣＣＤ１の構成とその駆動回路とを示している。
撮像部２は、光電変換を行なうフォトダイオード４、４、４…と、垂直転送ＣＣＤ５、５、５…によって構成されている。各フォトダイオード４、４、４は、Ｒ、Ｇ、Ｂで示される配列の色フィルタを備えている。垂直転送ＣＣＤ５はＣＣＤ外部の垂直駆動回路６によって駆動される。
【００２８】
水平転送部は、第１水平転送ＣＣＤ７及び第２水平転送ＣＣＤ８によるデュアルチャンネル構造になっており、２ラインの信号が同時に得られるようになっている。水平転送部７、８は、ＣＣＤ外部の水平駆動回路９によって駆動される。なお、本発明は、デュアルチャンネル構造に限定されるものでなく、シングルチャンネル構造でも良い。
【００２９】
水平転送部７、８からの信号は、それぞれ、ＣＤＳ１０、１１（相関２重サンプリング回路）およびＡＧＣ１２、１３（自動利得制御回路）で処理された後、Ａ／Ｄ変換回路１４、１５でデジタル信号に変換される。
【００３０】
一方のＡ／Ｄ変換回路１４から出力された信号Ｄ０は、選択回路１８内の第１の選択回路１９に送られるとともに、第１の１Ｈ遅延回路１６に送られる。他方のＡ／Ｄ変換回路１５から出力された信号Ｄ１は、選択回路１８内の第１および第２の選択回路１９、２０に送られるとともに、第２の１Ｈ遅延回路１７に送られる。
【００３１】
各１Ｈ遅延回路１６、１７は、入力信号の１Ｈ（１水平期間）分を記憶することができるメモリであり、各１Ｈ遅延回路１６、１７からは、入力信号が１Ｈ遅延された信号が出力される。なお、この１Ｈ遅延回路への信号書き込みと読み出しは、ＣＣＤ１の水平転送と同期して行われる。このため、ＣＣＤ１の動作を制御するタイミング発生回路７１と同期信号発生回路７０とは同期して動作する。
【００３２】
タイミング発生回路７１からは、ＣＣＤを駆動するためのタイミングパルス、奇数画素／偶数画素識別信号およびクロック信号が出力されている。また、同期信号発生回路７０からは、ＨＤ（水平同期信号）、ＶＤ（垂直同期信号）およびフィールド識別信号が出力されている。同期信号発生回路７０からの出力信号によって、他の回路部分の動作が制御される。
【００３３】
第１の１Ｈ遅延回路１６の出力Ｄ２は、選択回路１８内の第２および第３の選択回路２０、２１に送られる。第２の１Ｈ遅延回路１７の出力Ｄ３は、選択回路１８内の第３の選択回路２１に送られる。
【００３４】
選択回路１８は、４ライン分のデジタル信号から、奇数フィールドか偶数フィールドかに応じて３ライン分のデジタル信号を選択して出力する。選択回路１８内の選択回路１９、２０、２１の制御は、同期信号発生回路７０から出力されるフィールドの種類を表すフィールド識別信号に基づいて行われる。
【００３５】
つまり、奇数フィールドではＤ１、Ｄ２、Ｄ３の信号が選択され、偶数フィールドでは、Ｄ０、Ｄ１、Ｄ２の信号が選択される。さらに具体的に説明するとフィールド識別信号が奇数フィールドを示しているとき（たとえば、Ｌレベルの信号）、第１の選択回路１９はＤ１を、第２の選択回路２０はＤ２を、第３の選択回路２１はＤ３を選択する。逆にフィールド識別信号が偶数フィールドを示しているとき（たとえばＨレベル）、第１の選択回路１９はＤ０を、第２の選択回路２０はＤ１を、第３の選択回路２１はＤ２を選択する。このようにして、選択回路１８から、偶数及び奇数フィールドに対応した３ライン分の信号Ｌ０、Ｌ１、Ｌ２が出力される。
【００３６】
図３は、選択回路１８の動作を示している。
【００３７】
図３の信号（ａ）は、奇数フィールドにおける水平同期信号（ＨＤ）を示している。信号（ｆ）は、フィールド識別信号であり、ここでは、奇数フィールドであるため、Ｌレベルとなっている。
【００３８】
図３の信号（ｂ）〜（ｅ）は奇数フィールドでの選択回路１８への入力信号Ｄ３、Ｄ２、Ｄ１、Ｄ０を示している。入力画像のフィールドが奇数フィールドである場合には、信号Ｄ３、Ｄ２、Ｄ１が、信号Ｌ２、Ｌ１、Ｌ０として選択回路１８から出力されている。
【００３９】
奇数フィールドにおいては、第４ライン目がＤ０として入力された場合には、Ｄ３は第１ライン目、Ｄ２は第２ライン目、Ｄ１は第３ライン目およびＤ０は第４ラインとなり、第１ライン、第２ラインおよび第３ラインの信号が選択される。その次には、Ｄ３は第３ライン目、Ｄ２は第４ライン目、Ｄ１は第５ライン目およびＤ０は第６ライン目となり、第３ライン、第４ラインおよび第５ラインの信号が選択される。
【００４０】
図３の信号（ｇ）は、偶数フィールドにおける水平同期信号（ＨＤ）を示している。信号（ｌ）は、フィールド識別信号であり、ここでは、偶数フィールドであるため、Ｈレベルとなっている。
【００４１】
図３の信号（ｈ）〜（ｋ）は偶数フィールドでの選択回路１８への入力信号Ｄ３、Ｄ２、Ｄ１、Ｄ０を示している。入力画像のフィールドが偶数フィールドである場合には、信号Ｄ２、Ｄ１、Ｄ０が、信号Ｌ２、Ｌ１、Ｌ０として選択回路１８から出力されている。
【００４２】
偶数フィールドにおいては、第４ライン目がＤ０として入力された場合には、Ｄ３は第１ライン目、Ｄ２は第２ライン目、Ｄ１は第３ライン目およびＤ０は第４ラインとなり、第２ライン、第３ラインおよび第４ラインの信号が選択される。その次には、Ｄ３は第３ライン目、Ｄ２は第４ライン目、Ｄ１は第５ライン目およびＤ０は第６ライン目となり、第４ライン、第５ラインおよび第６ラインの信号が選択される。
【００４３】
選択回路１８の出力Ｌ０、Ｌ１、Ｌ２は、それぞれ、補間処理手段２２、相関検出手段２３に供給される。
【００４４】
補間処理手段２２には、水平方向または垂直方向の色の比の相関を利用して補間処理を行なう原色相関色分離部２４と、水平方向または垂直方向の色の差の相関を利用して補間処理を行なう色差相関色分離部２５とが設けられている。
【００４５】
また、相関検出手段２３には、水平方向相関検出手段２３ａと垂直方向相関検出手段２３ｂとが設けられている。、水平方向相関検出手段２３ａからは水平方向の相関値Ｓｈが出力され、垂直方向相関検出手段２３ｂからは垂直方向の相関値Ｓｖが出力される。そして、これら２つの出力Ｓｈ、Ｓｖは、係数算出手段３２に与えられる。係数算出手段３２では、両相関値Ｓｈ、Ｓｖに基づいて、水平方向の係数Ｋｈと垂直方向の係数Ｋｖを計算する。相関値及び係数の計算方法の詳細については後述する。
【００４６】
図４は、原色相関色分離部２４の構成を示している。
原色相関色分離部２４は、フィールド内水平補間回路２６と、フィールド内垂直補間回路２７と、加重加算手段２８とを備えている。
【００４７】
フィールド内水平補間回路２６は、３ライン分のＣＣＤ１からの出力信号に基づいて、水平方向の相関が強い場合に適した補間処理を行なって、色信号Ｇｈ、Ｒｈ、Ｂｈを出力する。フィールド内垂直補間回路２７は、３ライン分のＣＣＤ１からの出力信号に基づいて、垂直方向の相関が強い場合に適した補間処理を行なって、色信号Ｇｖ、Ｒｖ、Ｂｖを出力する。原色相関色分離部２４内の各補間回路２６、２７による具体的な補間方法については、後述する。
【００４８】
なお、水平方向の相関が強い場合とは、細かい横縞の画像のように、水平方向の相関が強く、垂直方向の相関がほとんどない場合をいう。また、垂直方向の相関が強い場合とは、細かい縦じまの画像のように、垂直方向の相関が強く、水平方向の相関がほとんどない場合をいう。
【００４９】
各補間回路２６、２７から出力される色信号Ｇｈ、Ｒｈ、Ｂｈ及びＧｖ、Ｒｖ、Ｂｖは、加重加算手段２８に供給される。加重加算手段２８には、さらに、係数算出手段３２から出力される水平方向の係数Ｋｈと垂直方向の係数Ｋｖも供給される。加重加算手段２８は、係数Ｋｈを色信号Ｇｈ、Ｒｈ、Ｂｈに乗算するとともに、係数Ｋｖを色信号Ｇｖ、Ｒｖ、Ｂｖに乗算した後、同じ色信号どうし（ＧｈとＧｖ、ＲｈとＲｖ、ＢｈとＢｖ）を加算して、最終的な色信号Ｇ１、Ｒ１、Ｂ１を出力する。
【００５０】
図５は、色差相関色分離部２５の構成を示している。
色差相関色分離部２５は、フィールド内水平補間回路２９と、フィールド内垂直補間回路３０と、加重加算手段３１とを有している。なお、この色差相関色分離部２５内の各補間回路２９、３０による具体的な補間方法については、後述する。
【００５１】
色差相関色分離部２５と上述した原色相関色分離部２４とは、フィールド内水平方向補間回路２９及びフィールド内垂直補間回路３０での補間処理方法が異なるのみである。色差相関色分離部２５の加重加算手段３１からは、最終的に色信号Ｇ２、Ｒ２、Ｂ２が出力される。
【００５２】
原色相関色分離方法と色差相関色分離方法とについて説明する。まず、原色相関色分離方式について説明する。フィールド内水平補間回路２６、フィールド内垂直補間回路２７は、基本的には、図６の様なブロックからなるデジタル処理回路で構成される。図６の３３、３４は１画素分が伝送されるに要する時間と等しい遅延時間を備えた遅延手段であり、３５は演算手段である。各補間回路２６、２７は、この例では、３×３画素のブロック内の９個の画素の信号に基づき、中央の１つの画素の位置に対応する３色の色信号を作成する。
【００５３】
すなわち、選択回路１９、２０、２１から出力される信号Ｌ０、Ｌ１、Ｌ２は、遅延手段３３、３４に入力されることにより、９画素分の信号が同時に演算手段３５に与えられることになる。そして、演算手段３５における演算により、補間処理が行なわれる。
【００５４】
図７は、ＣＣＤ１上の画素の配列と選択される画素との関係を示している。
上述したように、奇数フィールド時には、まず、Ｄ１、Ｄ２、Ｄ３のライン信号が選択されるので、奇数番目に処理される３×３画素のブロックは図７の（ｂ）に示すようになり、偶数番目に処理される画素は、図７の（ｃ）に示すようになる。
【００５５】
一方、偶数フィールド時には、まず、Ｄ０、Ｄ１、Ｄ２のライン信号が選択されるので、奇数番目に処理されるブロックは図７の（ｄ）に示すようになり、偶数番目に処理されるブロックは図７の（ｅ）に示すようになる。
【００５６】
図８は、処理対象ブロックが奇数フィールドの奇数番目のブロックまたは偶数番目のブロックである場合に、水平補間回路２６及び垂直補間回路２７によって用いられる演算式を示している。
【００５７】
処理対象ブロックが奇数フィールドの奇数番目のブロックである場合には、水平補間回路２６では、次のようにして中央画素（処理対象画素）Ｇ２２に対するＧｈ、ＢｈおよびＲｈが算出される。
【００５８】
つまり、処理対象画素Ｇ２２に対するＧｈとしては、処理対象画素Ｇ２２の信号Ｇ２２がそのまま用いられる。処理対象画素Ｇ２２に対するＢｈは、処理対象画素Ｇ２２を挟む左右２つの画素Ｂ２１、Ｂ２３の信号Ｂ２１、Ｂ２３の平均を算出することによって求められる（水平方向の相関を利用する）。処理対象画素Ｇ２２に対するＲｈについては、少し複雑となる。すなわち、画素Ｒ１２の位置におけるＧ信号であるＧ１２を、Ｇ１１とＧ１３の平均値として計算する（すなわち水平方向の相関を利用する）。そして、計算で求められたＧ１２と実際に得られたＧ２２との比と、Ｒ１２とからＲｈを求めている。
【００５９】
これは、輝度の変化に対して色信号の局所的な変化は小さいためＧ信号とＲ信号またはＢ信号との比は隣接画素間においてほぼ等しいと考えられるからである。つまり、Ｇ１２：Ｒ１２＝Ｇ２２：Ｒ２２と仮定して、Ｒ２２（＝Ｒｈ）を求めている。
【００６０】
処理対象ブロックが奇数フィールドの奇数番目のブロックである場合には、垂直補間回路２７では、次のようにして中央画素（処理対象画素）Ｇ２２に対するＧｖ、ＢｖおよびＲｖが算出される。
【００６１】
つまり、処理対象画素Ｇ２２に対するＧｖとしては、処理対象画素Ｇ２２に対する信号Ｇ２２がそのまま利用する。処理対象画素Ｇ２２に対するＲｖは、処理対象画素Ｇ２２を挟む上下の画素Ｒ１２、Ｒ３２の信号Ｒ１２、Ｒ３２の平均を算出することによって求められる（垂直方向の相関を利用する）。処理対象画素Ｇ２２に対するＢｖについては、上記のＲｈと同様に求める。すなわち、画素Ｂ２１におけるＧ信号であるＧ２１をＧ１１とＧ３１の平均値として計算する（垂直方向の相関を利用する）。そして、計算で求めたＧ２１とＧ２２との比と、Ｂ２１とからＢｖを計算する。
【００６２】
処理対象ブロックが奇数フィールドの偶数番目のブロックである場合には、水平補間回路２６では、次のようにして中央画素（処理対象画素）Ｂ２２に対するＧｈ、ＢｈおよびＲｈが算出される。
【００６３】
つまり、処理対象画素Ｂ２２に対するＢｈとして、処理対象画素Ｂ２２の信号Ｂ２２がそのまま用いられる。処理対象画素Ｂ２２に対するＧｈは、Ｇ２１とＧ２３との平均値を算出することによって求められる。処理対象画素Ｂ２２に対するＲｈについては、まず、Ｒ１１とＲ１３との平均を求めることによりＲ１２を得、Ｇｈ（＝Ｇ２２）とＧ１２との比と、Ｒ１２とからＲｈを求める。
【００６４】
処理対象ブロックが奇数フィールドの偶数番目のブロックである場合には、垂直補間回路２７では、次のようにして中央画素（処理対象画素）Ｂ２２に対するＧｖ、ＢｖおよびＲｖが算出される。
【００６５】
つまり、処理対象画素Ｂ２２に対するＢｖについては、処理対象画素Ｂ２２の信号Ｂ２２がそのまま用いられる。処理対象画素Ｂ２２に対するＧｖは、Ｇ１２とＧ３２との平均値を算出することによって求められる。処理対象画素Ｂ２２に対するＲｖについては、まず、Ｒ１１とＲ３１との平均を求めることによりＲ２１を得、Ｇｈ（＝Ｇ２２）とＧ２１との比と、Ｒ２１とからＲｖを求める。
【００６６】
処理対象ブロックが偶数フィールドのブロックである場合でも、図８に示された処理と同様の処理を行うことで、Ｒｈ、Ｇｈ、Ｂｈ、Ｒｖ、Ｇｖ、Ｂｖの信号を得ることができる。すなわち、処理対象ブロックが偶数フィールドの奇数番目のブロックである場合には、その画素配列は、図７の（ｃ）と（ｄ）とから分かるように、処理対象ブロックが奇数フィールドの偶数番目のブロックである場合の画素配列においてＲとＢとを入れ換えたものであるから、処理対象ブロックが奇数フィールドの偶数番目のブロックである場合に用いられる演算式においてＲとＢとを交換すればよい。
【００６７】
また、処理対象ブロックが偶数フィールドの偶数番目のブロックである場合には、その画素配列は、図７の（ｂ）と（ｅ）から分かるように、処理対象ブロックが奇数フィールドの奇数番目のブロックである場合の画素配列においてＲとＢとを入れ換えたものであるから、処理対象ブロックが奇数フィールドの奇数番目のブロックである場合に用いられる演算式においてＲとＢとを交換すればよい。
【００６８】
水平方向相関検出回路２３ａおよび垂直方向相関検出回路２３ｂは、基本的には、図６の様なブロックからなるデジタル処理回路で構成される。図６の３３、３４は１画素分が伝送されるに要する時間と等しい遅延時間を備えた遅延手段であり、３５は演算手段である。
【００６９】
すなわち、選択回路１９、２０、２１から出力される信号Ｌ０、Ｌ１、Ｌ２は、遅延手段３３、３４に入力されることにより、９画素分の信号が同時に演算手段３５に与えられることになる。そして、演算手段３５における演算により、相関値検出処理が行われる。
【００７０】
図９は、水平方向相関検出回路２３ａおよび垂直方向相関検出回路２３ｂによって用いられる演算式を示している。
【００７１】
各相関値検出回路２３ａ、２３ｂは、３×３画素のブロック内に最も多く含まれるＧ信号を利用して、相関値Ｓｈ、Ｓｖを算出する。処理対象ブロックが奇数フィールドの奇数番目のブロックである場合には、垂直方向の相関値Ｓｖは、Ｇ１２とＧ３２との差の絶対値を算出することによって求められる。Ｇ１２とＧ３２は実際には存在しないので、Ｇ１２はＧ１１とＧ１３とから算出され、Ｇ３２はＧ３１とＧ３３とから算出される。
【００７２】
処理対象ブロックが奇数フィールドの奇数番目のブロックである場合の水平方向の相関値Ｓｈは、Ｇ２１とＧ２３との差の絶対値を算出することによって求められる。Ｇ２１とＧ２３は実際には存在しないので、Ｇ２１はＧ１１とＧ３１とから算出され、Ｇ２３はＧ１３とＧ３３とから算出される。
【００７３】
処理対象ブロックが奇数フィールドの偶数番目のブロックである場合には、垂直方向の相関値Ｓｖは、Ｇ１２とＧ３２との差の絶対値を算出することによって求められる。また、水平方向の相関値Ｓｈは、Ｇ２１とＧ２３との差の絶対値を算出することによって求められる。
【００７４】
処理対象ブロックが偶数フィールドのブロックである場合においても、Ｇ信号のパターンは同じであるから同様の処理を行えばよい。ただし、処理対象ブロックが奇数フィールドの奇数番目のブロックである場合の演算式と処理対象ブロックが偶数フィールドの偶数番目のブロックである場合の演算式とが同じであり、処理対象ブロックが奇数フィールドの偶数番目のブロックである場合の演算式と処理対象ブロックが偶数フィールドの奇数番目のブロックである場合の演算式とが同じである。
【００７５】
なお、水平方向の相関値Ｓｈの値が小さいほど、水平方向の相関が強くなる。同様に、垂直方向の相関値Ｓｖの値が小さいほど、垂直方向の相関が強くなる。
【００７６】
係数算出手段３２は、各相関値検出回路２３ａ、２３ｂによって算出された相関値Ｓｈ、Ｓｖから水平方向及び垂直方向の係数Ｋｈ、Ｋｖを算出する。各係数Ｋｈ、Ｋｖは次式（１）により求められる。なお、ＫｈとＫｖの間には、Ｋｈ＋Ｋｖ＝１の関係が成立する。
【００７７】
Ｋｈ＝Ｓｖ／（Ｓｈ＋Ｓｖ）
Ｋｖ＝Ｓｈ／（Ｓｈ＋Ｓｖ） …（１）
【００７８】
従って、水平方向の係数Ｋｈは、水平方向の相関が垂直方向の相関よりも強い場合（ＳｈがＳｖより小さい場合）に大きくなる。また、垂直方向の係数Ｋｖは、垂直方向の相関が水平方向の相関よりも強い場合（ＳｖがＳｈより小さい場合）に大きい値となる。
【００７９】
以上述べたように、ＣＣＤにおける１画素に対応するＲ、Ｇ、Ｂの信号成分が、その周囲の画素（全体で９個）からの出力を利用して計算されるが、このとき、水平方向の相関性が強い場合に適した処理方法と、垂直方向の相関性が強い場合に適した処理方法の２つの方法を用いて演算がなされ、その、画素付近の水平相関と垂直相関の強弱に合わせて、上記２つの方法による演算結果が加重加算されることになる。
【００８０】
次に原色相関色分離部２４の動作について、具体例をあげて説明する。
【００８１】
図１０の（ａ）に示されたような白色の入射光が処理対象ブロックに与えられた場合を考える。図１０の（ａ）の例では、色の成分がなく輝度レベルのみが変化したエッジ部分の例を示している。したがって、正しい結果として、処理対象画素（中央画素）のＲ、Ｇ、Ｂのレベルはすべて同じにならなければならない。
【００８２】
図１０（ｂ）は、各画素からの出力レベルを模式的に示したものである。２種類示しているのは、奇数番目と偶数番目の処理とで、上述のように、色のパターンが異なるからである。図８、図９に従って算出した、処理対象画素（中央画素）のＲｈ、Ｒｖ、Ｇｈ、Ｇｖ、Ｂｈ、Ｂｖおよび加重係数Ｋｈ、Ｋｖならびに加重係数を加味した処理対象画素（中央画素）のＲ、Ｇ、Ｂ（Ｒｏ、Ｇｏ、Ｂｏ）は、（ｃ）、（ｄ）のようになる。中央の位置におけるＲ、Ｇ、Ｂの成分レベルは、０．２とすべて等しくなる。
【００８３】
次に、色差相関色分離方式について説明する。
【００８４】
色差相関色分離部２５と前述の原色相関色分離部２４との違いは、次の点にある。すなわち、原色相関色分離部２４における補間処理は、輝度の変化に対して色信号の局所的な変化は小さいためＧ信号とＲ信号またはＢ信号との比は隣接画素間においてほぼ等しいという性質と、特定の色成分の低域成分と高域成分との比は他の色成分においても等しいという性質を利用している。これに対して、色差相関色分離部２５における補間処理は、色信号の局所的な変化は小さいためＧ信号とＲ信号またはＢ信号との差は隣接画素間においてほぼ等しいという性質と、特定の色成分の低域成分と高域成分との差は他の色成分においてもほぼ等しいという性質を利用している点が異なっている。
【００８５】
図１１は、処理対象ブロックが奇数フィールドの奇数番目のブロックまたは偶数番目のブロックである場合に、色差相関色分離部２５の水平補間回路２９及び垂直補間回路３０によって用いられる演算式を示している。
【００８６】
処理対象ブロックが奇数フィールドの奇数番目のブロックである場合には、水平補間回路２９では、次のようにして中央画素（処理対象画素）Ｇ２２に対するＧｈ、ＢｈおよびＲｈが算出される。
【００８７】
つまり、処理対象画素Ｇ２２に対するＧｈとしては、処理対象画素Ｇ２２の信号Ｇ２２がそのまま用いられる。処理対象画素Ｇ２２に対するＢｈは、処理対象画素Ｇ２２を挟む左右２つの画素Ｂ２１、Ｂ２３の信号Ｂ２１、Ｂ２３の平均を算出することによって求められる。処理対象画素Ｇ２２に対するＲｈについては、Ｇ信号とＲ信号またはＢ信号との差は、隣接画素間においてほぼ等しいという性質を利用する。即ち、次の関係式（２）が成立する。
【００８８】
Ｒ２２−Ｇ２２＝Ｒ１２−Ｇ１２＝Ｒ３２−Ｇ３２
＝｛（Ｒ１２−Ｇ１２）／２｝＋｛（Ｒ３２−Ｇ３２）／２｝…（２）
【００８９】
したがって、処理対象画素Ｇ２２に対するＲｈ（＝Ｒ２２）は、次式（３）によって求められる。
【００９０】
Ｒｈ＝｛（Ｒ１２−Ｇ１２）／２｝＋｛（Ｒ３２−Ｇ３２）／２｝＋Ｇ２２
＝｛（Ｒ１２＋Ｒ３２）／２｝−｛（Ｇ１２＋Ｇ３２）／２｝＋Ｇ２２
＝｛(R12+R32)/2 ｝−｛(G11+G13+G31+G33)/4 ｝＋G22 …（３）
【００９１】
処理対象ブロックが奇数フィールドの偶数番目のブロックである場合にも、水平補間回路２９は同様な演算を行なうことにより、Ｇｈ、Ｒｈ、Ｂｈを求める。
【００９２】
また、垂直補間回路３０におけるＧｖ、Ｒｖ、Ｂｖの求め方も基本的には、水平補間回路２９の補間処理と同様であるので説明は省略する。
【００９３】
このように、図８における演算式は、演算処理を乗算および除算が占めていたが、図１１における演算式は、乗算及び除算は加算及び減算に置き変わっており、特に回路構成が複雑となる除算を使用していないため演算処理回路の構成を大幅に簡単化することができる。
【００９４】
また、色差相関色分離方式の補間処理によればモノトーンに近い画像に対して偽色信号が少なく高品質の画像が得られる。
【００９５】
以上説明した各色分離部２４、２５から出力された色信号Ｇ１、Ｒ１、Ｂ１、Ｇ２、Ｒ２、Ｂ２は、合成手段となる加重加算回路３６へ供給される。加重加算回路３６は、最終的な色信号Ｇ０、Ｒ０、Ｂ０を出力する。
【００９６】
加重加算回路３６から出力される色信号Ｇ０、Ｒ０、Ｂ０はＡＧＣ制御回路３７へ供給される。ＡＧＣ制御回路３７は、撮像された画像の輝度レベルを制御するために、色信号Ｇ０、Ｒ０、Ｂ０からアイリス１ａの開口の程度またはＡＧＣ１２、１３の利得を調整する。具体的には、基本的にアイリス１ａで調整をとり、アイリス１ａの開口が最大となったとき、それ以上に制御するためにＡＧＣの利得を小さくするよう指示し、制御する。このとき、ＡＧＣ１２，１３への利得指示は、加重加算回路３６へも供給される。
【００９７】
加重加算回路３６では、ＡＧＣ１２、１３の利得の大きさに応じて、原色相関色分離部２４からの色信号Ｇ１、Ｒ１、Ｂ１と色差相関色分離部２５からの色信号Ｇ２、Ｒ２、Ｂ２とを加重加算するよう動作する。具体的には、ＡＧＣ１２、１３の利得が小さければ、色信号Ｇ２、Ｒ２、Ｂ２より色信号Ｇ１、Ｒ１、Ｂ１が大きくなるように加算され、利得が大きければ、色信号Ｇ１、Ｒ１、Ｂ１より色信号Ｇ２、Ｒ２、Ｂ２が大きくなるように加算され、色信号Ｇ０、Ｒ０、Ｂ０が出力される。
【００９８】
図１０において、ノイズ等の影響で相関方向の検出を誤ったとする。すると、Ｇｏ、Ｒｏ、Ｂｏの値は、Ｇｈ、Ｒｈ、Ｂｈの値となる。その結果、本来とるべき値（０．２）に対して誤差が発生する。その誤差は、奇数番目（図１０（ｂ）の上側の図）のＲで０．１３３、Ｂで０．４となり、偶数番目（図１０（ｂ）の下側の図）のＧで０．４、Ｒで１．６となり、それらの誤差の総和は２．５３３となる。
【００９９】
一方、色差相関色分離部２５で補間を行なった場合には、図１２に示すようになり、相関方向の検出を誤った場合でも、誤差の総和は２．２にしかならない。これは一例であるが、原色相関では除算を用いるため、除数（分母）が０に近づくと精度が悪くなり、誤差が増加し、その結果、ノイズが増えてしまう。特に暗い場合には、除数が０に近づく確率が高く問題となる。
【０１００】
この実施の形態では、ＡＧＣ１２、１３の利得が小さければ、色信号Ｇ２、Ｒ２、Ｂ２より色信号Ｇ１、Ｒ１、Ｂ１が大きくなるように加算され、利得が大きければ、色信号Ｇ１、Ｒ１、Ｂ１より色信号Ｇ２、Ｒ２、Ｂ２が大きくなるように加算されているので、原色相関色分離処理により生じる画像中に含まれたノイズの強調及び偽色を抑制し、かつ解像度を向上することができる。
【０１０１】
なお、上記実施の形態において、ＡＧＣ１２，１３の利得の大きさに応じて原色相関色分離方式と色差相関色分離方式とを加重加算したが、本発明はこれに限定されず、画像のコントラストや信号レベルに応じて加重加算しても良い。
【０１０２】
また、前述の原色相関色分離方式及び色差相関色分離方式では、３×３画素単位で算出していたが、本発明はこれに限らず、たとえば５×５画素単位で算出すれば、さらに偽色が押さえられ、解像度を向上させることができる。また、上記実施の形態では、インターレース信号に対してこの発明を適用した場合について説明したが、この発明はプログレッシブ信号に対しても適用することができる。
【０１０３】
〔２〕第２の実施の形態の説明
【０１０４】
第２の実施の形態では、原色相関色分離部２４内のフィールド内水平補間回路２６およびフィールド内垂直補間回路２７の動作が第１の実施の形態と異なっている。また、色差相関色分離部２５内のフィールド内水平補間回路２９およびフィールド内垂直補間回路３０の動作が第１の実施の形態と異なっている。
【０１０５】
各補間回路２６、２７、２９、３０は、第２の実施の形態では、５×５画素のブロック内の２５個の画素の信号に基づき、中央の１つの画素（処理対象画素）に対応する３色の色信号を作成する。
【０１０６】
〔２−１〕原色相関色分離部２４内の補間回路２６、２７についての説明
まず、原色相関色分離部２４内のフィールド内水平補間回路２６およびフィールド内垂直補間回路２７の動作について説明する。これらの補間回路２６、２７は、原色相関色分離方式によって、処理対象画素の色信号Ｒ、Ｇ、Ｂを算出する。
【０１０７】
図１３は、処理対象ブロックが奇数フィールドの奇数番目のブロックまたは偶数番目のブロックである場合に、水平補間回路２６及び垂直補間回路２７によって用いられる演算式を示している。
【０１０８】
ここでは、処理対象ブロックが奇数フィールドの奇数番目のブロックである場合の、垂直補間回路２７の動作を例にとって、原色相関色分離方式について説明する。
【０１０９】
原色相関色分離方式では、局所領域において画像の相関の強い方向を検出し、相関の強い方向（ここでは、垂直方向または水平方向）のみのライン単位のフィルタリングによって、まず、同一ライン上の２つの低域色信号を算出する。
【０１１０】
垂直補間回路２７では、図１３の上側の５×５画素のブロックの処理対象画素Ｇ３３において、垂直方向の相関が強いと仮定して、処理対象画素Ｇ３３を含む垂直ラインから、ＲとＧとの低域信号ＲVLPF3 、ＧVLPF3 を算出する。
【０１１１】
緩やかに変化する信号においては、各画素の色信号の比と、それらの低域信号との比がほぼ等しいので、垂直方向の相関が強い場合、処理対象画素Ｇ３３を含む垂直ラインにおいて、Ｒｖ（＝Ｒ３３）／Ｇ３３＝ＲVLPF3 ／ＧVLPF3 が成り立つ。したがって、処理対象画素Ｇ３３を含む垂直ライン上の２つの低域色信号ＲVLPF3 、ＧVLPF3 の比と、処理対象画素の色信号Ｇ３３とから、その垂直ライン上に存在するもう１つの色信号Ｒｖを求めることができる。
【０１１２】
処理対象画素Ｇ３３に対するＧｖとしては、処理対象画素Ｇ３３の信号Ｇ３３をそのまま用いる。
【０１１３】
垂直、水平の１ラインから色分離できるのは、対象のライン（この例では垂直ライン）上に存在する色信号（この例では、Ｒ、Ｇ）のみである。そこで、そのライン上に存在しない色信号は、隣接するラインの信号と処理対象画素の信号から、色の相関性、すなわち、”画像の相関が低い方向（ここでは水平方向）においても色の比の変化が小さい”という特性、すなわち、Ｂｖ（＝Ｂ３３）／Ｇ３３＝Ｂ３２／Ｇ３２＝Ｂ３４／Ｇ３４という特性を利用して、対象のライン上に存在しない色信号Ｂｖを内挿する。
【０１１４】
ここでは、水平方向は相関が低い方向であるため、次式（４）に示すように、両水平隣接画素の色信号の比を平均することにより、相関の低さを補償する。
【０１１５】
Ｂｖ＝〔｛（Ｂ３２／Ｇ３２）＋（Ｂ３４／Ｇ３４）｝／２〕×Ｇ３３…（４）
【０１１６】
式（４）の代わりに、式（４）を簡略化した式、Ｂｖ＝（Ｂ３２／Ｇ３２）×Ｇ３３を用いてもよい。図１３では、この簡略化式を展開したものを、Ｂｖとして記載している。
【０１１７】
ここで用いる信号の低域成分を求めるフィルタの特性は、周波数特性はできる限り近い方が望ましい。サンプリング位相の異なる信号のフィルタ特性を合わせるためには、フィルタのタップ長をかなり広げる必要があり、大幅な回路規模の増加を伴うため実用的とはいえない。
【０１１８】
そこで、ここでは、相関性が強い方向の低域色信号成分を求めている点に着目し、ナイキスト周波数の１／２まで低域部分を重視して、その低域部分の周波数特性が近くなり、かつフィルタのタップ数を短くできるように、次式（５）を用いることとした。
【０１１９】
ＧVLPF3 ＝（Ｇ１３＋６×Ｇ３３＋Ｇ５３）／８
ＲVLPF3 ＝（Ｒ２３＋Ｒ４３）／２ …（５）
【０１２０】
処理対象ブロックが奇数フィールドの奇数番目のブロックである場合の、垂直補間回路２７の動作について説明したが、処理対象ブロックが奇数フィールドの偶数番目のブロックである場合にも、同様の動作により、処理対象画素のＲｖ、Ｇｖ、Ｂｖを求めることができる。
【０１２１】
また、水平補間回路２６では、水平方向の相関が強いと仮定することによって、処理対象画素のＲｈ、Ｇｈ、Ｂｈを求めることができる。
【０１２２】
処理対象ブロックが偶数フィールドである場合にも、同様な手法によって、色分離を行なうことができる。
【０１２３】
原色相関色分離方式では、色信号の比を求めるための除算を行なっている。そのため、除数が０に近いときには、誤差が大きくなる。また、除数が０のときには、演算不可能なため、除数が０の際に定数を強制的に１にするような例外処理を行なう。このため、画面が暗いときや、画像の暗い部分にノイズがある場合、ノイズが強調され、ドットノイズが発生するようになる。
【０１２４】
すなわち、原色相関色分離方式は、入力映像の状態が良いとき、つまり、入力光が充分にあるとき、良好な特性を発揮する。
【０１２５】
〔２−２〕色差相関色分離部２５内の補間回路２９、３０についての説明
【０１２６】
色差相関色分離部２５内のフィールド内水平補間回路２９およびフィールド内垂直補間回路３０の動作について説明する。これらの補間回路２９、３０は、色差相関色分離方式によって、処理対象画素の色信号Ｒ、Ｇ、Ｂを算出する。
【０１２７】
図１４は、処理対象ブロックが奇数フィールドの奇数番目のブロックまたは偶数番目のブロックである場合に、水平補間回路２９及び垂直補間回路３０によって用いられる演算式を示している。
【０１２８】
ここでは、処理対象ブロックが奇数フィールドの奇数番目のブロックである場合の、垂直補間回路３０の動作を例にとって、色差相関色分離方式について説明する。
【０１２９】
色差相関色分離方式では、”局所領域での色差信号の変化は小さい”という色差の相関性を利用して、局所領域において画像の相関の強い方向を検出し、相関の強い方向（ここでは、垂直方向または水平方向）のみのライン単位のフィルタリングによって、まず、同一ライン上の２つの低域色信号を算出する。
【０１３０】
垂直補間回路３０では、図１４の上側の５×５画素のブロックの処理対象画素Ｇ３３において、垂直方向の相関が強いと仮定して、処理対象画素Ｇ３３を含む垂直ラインから、ＲとＧとの低域信号ＲVLPF3 、ＧVLPF3 を算出する。
【０１３１】
緩やかに変化する信号においては、各画素の色信号の差と、それらの低域信号との差がほぼ等しいので、垂直方向の相関が強い場合、処理対象画素Ｇ３３を含む垂直ラインにおいて、Ｒｖ（＝Ｒ３３）−Ｇ３３＝ＲVLPF3 −ＧVLPF3 が成り立つ。したがって、処理対象画素Ｇ３３を含む垂直ライン上の２つの低域色信号ＲVLPF3 、ＧVLPF3 の差と、処理対象画素の色信号Ｇ３３とから、その垂直ライン上に存在するもう１つの色信号Ｒｖを求めることができる。
【０１３２】
処理対象画素Ｇ３３に対するＧｖとしては、処理対象画素Ｇ３３の信号Ｇ３３をそのまま用いる。
【０１３３】
垂直、水平の１ラインから色分離できるのは、対象のライン（この例では垂直ライン）上に存在する色信号（この例では、Ｒ、Ｇ）のみである。そこで、そのライン上に存在しない色信号は、隣接するラインの信号と処理対象画素の信号から、色差の相関性、すなわち、”画像の相関が低い方向（ここでは水平方向）においても色の差の変化が小さい”という特性、すなわち、Ｂｖ（＝Ｂ３３）−Ｇ３３＝Ｂ３２−Ｇ３２＝Ｂ３４−Ｇ３４という特性を利用して、対象のライン上に存在しない色信号Ｂｖを内挿する。
【０１３４】
ここでは、水平方向は相関が低い方向であるため、次式（６）に示すように、両水平隣接画素の色差信号を平均することにより、相関の低さを補償する。
【０１３５】
Ｂｖ＝〔｛（Ｂ３２−Ｇ３２）＋（Ｂ３４−Ｇ３４）｝／２〕＋Ｇ３３…（６）
【０１３６】
式（６）の代わりに、式（６）を簡略化した式、Ｂｖ＝（Ｂ３２−Ｇ３２）＋Ｇ３３を用いてもよい。図１４では、この簡略化式を展開したものを、Ｂｖとして記載している。
【０１３７】
処理対象ブロックが奇数フィールドの奇数番目のブロックである場合の、垂直補間回路３０の動作について説明したが、処理対象ブロックが奇数フィールドの偶数番目のブロックである場合にも、同様の動作により、処理対象画素のＲｖ、Ｇｖ、Ｂｖを求めることができる。
【０１３８】
また、水平補間回路２９では、水平方向の相関が強いと仮定することによって、処理対象画素のＲｈ、Ｇｈ、Ｂｈを求めることができる。
【０１３９】
処理対象ブロックが偶数フィールドである場合でも、同様な手法によって、色分離を行なうことができる。
【０１４０】
色差相関色分離方式では、除算を行なうことなく、加減算のみで色信号を求めることができる。そのため、誤差が発生しにくく、ノイズにも強いという特徴がある。
【０１４１】
そこで、ノイズの強い状況、すなわち、カメラの自動利得制御手段の利得が大きくなるにつれて、色差相関色分離方式によって算出した色信号を多く利用するようし、カメラの自動利得制御手段の利得が小さいときには、原色相関色分離方式にによって算出した色信号を多く利用するようにしている。
【０１４２】
〔３〕第３の実施の形態の説明
【０１４３】
第３の実施の形態では、原色相関色分離部２４内のフィールド内水平補間回路２６およびフィールド内垂直補間回路２７の動作が第１の実施の形態と異なっている。また、色差相関色分離部２５内のフィールド内水平補間回路２９およびフィールド内垂直補間回路３０の動作が第１の実施の形態と異なっている。
【０１４４】
各補間回路２６、２７、２９、３０は、第３の実施の形態では、５×５画素のブロック内の２５個の画素の信号に基づき、中央の１つの画素（処理対象画素）に対応する３色の色信号を作成する。
【０１４５】
第３の実施の形態では、図１の色差相関色分離部２５内のフィールド内水平補間回路２９およびフィールド内垂直補間回路３０は、上記第２の実施の形態と同様に、色差相関色分離方式によって、処理対象画素のＲ、Ｇ、Ｂを求める。
【０１４６】
また、第３の実施の形態では、図１の原色相関色分離部２４の代わりに、適応相関色分離方式によって、処理対象画素のＲ、Ｇ、Ｂを求めるための色分離部（以下、適応相関色分離部ということにする）が用いられる。適応相関色分離部２４内のフィールド内水平補間回路２６およびフィールド内垂直補間回路２７は、適応相関色分離方式によって、処理対象画素のＲ、Ｇ、Ｂを求める。
【０１４７】
適応相関色分離部２４内のフィールド内水平補間回路２６およびフィールド内垂直補間回路２７の動作について説明する。これらの補間回路２６、２７は、適応相関色分離方式によって、処理対象画素の色信号Ｒ、Ｇ、Ｂを算出する。
【０１４８】
図１５は、処理対象ブロックが奇数フィールドの奇数番目のブロックまたは偶数番目のブロックである場合に、適応相関色分離部２４内の水平補間回路２６及び垂直補間回路２７によって用いられる演算式を示している。
【０１４９】
ここでは、処理対象ブロックが奇数フィールドの奇数番目のブロックである場合の、垂直補間回路２７の動作を例にとって、適応相関色分離方式について説明する。
【０１５０】
適応相関色分離方式では、局所領域において画像の相関の強い方向を検出し、相関の強い方向（ここでは、垂直方向または水平方向）のみのライン単位のフィルタリングによって、まず、同一ライン上の２つの低域色信号を算出する。
【０１５１】
垂直補間回路２７では、図１５の上側の５×５画素のブロックの処理対象画素Ｇ３３において、垂直方向の相関が強いと仮定して、処理対象画素Ｇ３３を含む垂直ラインから、ＲとＧとの低域信号ＲVLPF3 、ＧVLPF3 を算出する。
【０１５２】
緩やかに変化する信号においては、各画素の色信号の差と、それらの低域信号との差がほぼ等しいので、垂直方向の相関が強い場合、処理対象画素Ｇ３３を含む垂直ラインにおいて、Ｒｖ（＝Ｒ３３）−Ｇ３３＝ＲVLPF3 −ＧVLPF3 が成り立つ。したがって、処理対象画素Ｇ３３を含む垂直ライン上の２つの低域色信号ＲVLPF3 、ＧVLPF3 の差と、処理対象画素の色信号Ｇ３３とから、その垂直ライン上に存在するもう１つの色信号Ｒｖを求めることができる。このＲｖの求め方は、色差相関色分離方式と同様である。
【０１５３】
処理対象画素Ｇ３３に対するＧｖとしては、処理対象画素Ｇ３３の信号Ｇ３３をそのまま用いる。
【０１５４】
垂直、水平の１ラインから色分離できるのは、対象のライン（この例では垂直ライン）上に存在する色信号（この例では、Ｒ、Ｇ）のみである。そこで、そのライン上に存在しない色信号は、隣接するラインの信号と処理対象画素の信号から、色の相関性、すなわち、”画像の相関が低い方向（ここでは水平方向）においても色の比の変化が小さい”という特性、すなわち、Ｂｖ（＝Ｂ３３）／Ｇ３３＝Ｂ３２／Ｇ３２＝Ｂ３４／Ｇ３４という特性を利用して、対象のライン上に存在しない色信号Ｂｖを内挿する。このＢｖの求め方は、原色相関色分離方式と同様である。
【０１５５】
ここでは、水平方向は相関が低い方向であるため、次式（７）に示すように、両水平隣接画素の色差信号を平均することにより、相関の低さを補償する。
【０１５６】
Ｂｖ＝〔｛（Ｂ３２／Ｇ３２）＋（Ｂ３４／Ｇ３４）｝／２〕×Ｇ３３…（７）
【０１５７】
式（７）の代わりに、式（７）を簡略化した式、Ｂｖ＝（Ｂ３２／Ｇ３２）×Ｇ３３を用いてもよい。図１５では、この簡略化式を展開したものを、Ｂｖとして記載している。
【０１５８】
処理対象ブロックが奇数フィールドの奇数番目のブロックである場合の、垂直補間回路２７の動作について説明したが、処理対象ブロックが奇数フィールドの偶数番目のブロックである場合にも、同様の動作により、処理対象画素のＲｖ、Ｇｖ、Ｂｖを求めることができる。
【０１５９】
また、水平補間回路２６では、水平方向の相関が強いと仮定することによって、処理対象画素のＲｈ、Ｇｈ、Ｂｈを求めることができる。
【０１６０】
処理対象ブロックが偶数フィールドでも、同様な手法によって、色分離を行なうことができる。
【０１６１】
〔４〕相関検出手段２３の変形例の説明
以下、相関検出手段２３の変形例について説明する。この変形例は、第２または第３の実施の形態に適用できることはもちろんのこと、第１の実施の形態においても適用できる。
【０１６２】
相関検出手段２３内の水平方向相関検出手段２３ａと垂直方向相関検出手段２３ｂとして、次のようにして、水平方向相関値Ｓｈ、垂直方向相関値Ｓｖを算出するものを用いてもよい。
【０１６３】
水平方向相関検出手段２３ａおよび垂直方向相関検出手段２３ｂは、５×５画素のブロック内の２５個の画素の信号に基づき、中央の１つの画素（処理対象画素）に対応する相関値Ｓｈ、Ｓｖを算出する。
【０１６４】
〔４−１〕 まず、処理対象ブロックが、図１４の上側に示されているように、奇数フィールドの奇数番目のブロックである場合の相関値Ｓｈ、Ｓｖの算出方法について説明する。
【０１６５】
処理対象ブロックが無彩色である場合には、相関値Ｓｈ、Ｓｖは、次式（８）に基づいて算出される。
【０１６６】
【数１】
上記式（８）は、次式（８）’のように簡略化することが可能である。
【０１６８】
【数２】
なお、次式（９）に示すように、水平方向相関値Ｓｈを算出する場合において、垂直方向に平均化した上で垂直相関値を求め、垂直方向相関値Ｓｖを算出する場合において、水平方向に平均化した上で垂直相関値を求めると、より精度が上がる。
【０１７０】
【数３】
上記式（９）のＳｈの算出式において、Ｇ３３、Ｂ２２、Ｂ３４にかける係数を１とするとともに、Ｓｖの算出式において、Ｇ３３、Ｒ２３、Ｒ４３にかける係数を１とすることにより、各式の除数を２のｎ乗である８とし、割算回路をビットシフトのみで構成できるようにしてもよい。
【０１７２】
上記式（９）は、次式（９）’のように簡略化することが可能である。
【０１７３】
【数４】
有彩色画像では、被写体色によって、モザイク配列色フィルタのＣＣＤから出力されるＲＧＢそれぞれの信号比率が異なる。そのため被写体色による妨害が発生し、ＣＣＤ全画素信号を使用した相関方向判別結果の精度は悪くなる。そこで、画面各部の色差信号の積算結果から、入力画像の色の強度を判定し、有彩色画像では、Ｇ信号のみに基づいて相関値Ｓｈ、Ｓｖを算出する。
【０１７５】
つまり、処理対象ブロックが有彩色である場合には、相関値Ｓｈ、Ｓｖは、次式（１０）に基づいて算出される。
【０１７６】
【数５】
上記式（１０）は、次式（１０）’のように簡略化することが可能である。
【０１７８】
【数６】
〔４−２〕 処理対象ブロックが、図１４の下側に示されているように、奇数フィールドの偶数番目のブロックである場合の相関値Ｓｈ、Ｓｖの算出方法について説明する。
【０１８０】
処理対象ブロックが無彩色である場合には、相関値Ｓｈ、Ｓｖは、次式（１１）に基づいて算出される。
【０１８１】
【数７】
上記式（１１）は、次式（１１）’のように簡略化することが可能である。
【０１８３】
【数８】
なお、次式（１２）に示すように、水平方向相関値Ｓｈを算出する場合において、垂直方向に平均化した上で垂直相関値を求め、垂直方向相関値Ｓｖを算出する場合において、水平方向に平均化した上で垂直相関値を求めると、より精度が上がる。
【０１８５】
【数９】
上記式（１２）のＳｈの算出式において、Ｂ３３、Ｇ３２、Ｇ３４にかける係数を１とするとともに、Ｓｖの算出式において、Ｂ３３、Ｇ２３、Ｇ４３にかける係数を１とすることにより、各式の除数を２のｎ乗である８とし、割算回路をビットシフトのみで構成できるようにしてもよい。
【０１８７】
上記式（１２）は、次式（１２）’のように簡略化することが可能である。
【０１８８】
【数１０】
処理対象ブロックが有彩色である場合には、相関値Ｓｈ、Ｓｖは、次式（１３）に基づいて算出される。
【０１９０】
【数１１】
上記式（１３）は、次式（１３）’のように簡略化することが可能である。
【０１９２】
【数１２】
なお、処理対象ブロックが有彩色である場合には、相関値Ｓｈ、Ｓｖとしては、第１の実施の形態と同様に、次式（１４）に基づいて算出してもよい。
【０１９４】
Ｓｈ＝｜Ｇ３２−Ｇ３４｜
Ｓｖ＝｜Ｇ２３−Ｇ４３｜ …（１４）
【０１９５】
なお、処理対象ブロックが偶数フィールドのブロックである場合においても、Ｇ信号のパターンは同じであるから同様の処理を行えばよい。ただし、処理対象ブロックが奇数フィールドの奇数番目のブロックである場合の演算式と処理対象ブロックが偶数フィールドの偶数番目のブロックである場合の演算式とが同じであり、処理対象ブロックが奇数フィールドの偶数番目のブロックである場合の演算式と処理対象ブロックが偶数フィールドの奇数番目のブロックである場合の演算式とが同じである。
【０１９６】
〔４−３〕 相関値Ｓｈ、Ｓｖの算出方法の変形の説明
無彩色の場合に適した演算式（例えば、上記（８）’、（１１）’）を用いて算出される相関値をＳｈ１、Ｓｖ１とし、有彩色の場合に適した演算式（例えば、上記（１０）’、（１３）’）を用いて算出される相関値をＳｈ２、Ｓｖ２とし、処理対象ブロックの色の強度に応じて、それらを加重加算することによって、相関値Ｓｈ、Ｓｖを求めるようにしてもよい。
【０１９７】
先ず、図１６に示すように、予め設定された複数の彩度検出エリアのうち、処理対象ブロックを含む彩度検出エリアｋ内の全画素信号から、画像の色の付き具合を、次式（１５）に基づいて、彩度積算値Ｃk として算出する。
【０１９８】
【数１３】
次に、図１７に示すような、彩度積算値Ｃk と有彩色／無彩色判定値Ｒk との関係から、上記式（１５）によって算出された彩度積算値Ｃk に対応する有彩色／無彩色判定値Ｒk を求める。なお、図１７における２つの閾値Ｔｈ１、Ｔｈ２は、システム化する際に不可欠な光学ＬＰＦの特性も関係するため、実験的に求められる。
【０２００】
そして、次式（１６）で示すように、得られた有彩色／無彩色判定値Ｒk に基づいて、無彩色の場合に適した演算式を用いて算出される相関値Ｓｈ１、Ｓｖ１と、有彩色の場合に適した演算式を用いて算出される相関値をＳｈ２、Ｓｖ２とを加重加算する。
【０２０１】
Ｓｈ＝Ｒk ×Ｓｈ１＋（１−Ｒk ）×Ｓｈ２
Ｓｖ＝Ｒk ×Ｓｖ１＋（１−Ｒk ）×Ｓｖ２ …（１６）
【０２０２】
もちろん、有彩色／無彩色判定を行なわずに、常に有彩色として、式（１０）と式（１３）のみを使用するようにしてもよい。
【０２０３】
〔５〕第４の実施の形態の説明
図１の原色相関色分離部２４で用いられている原色相関色分離方式では、除数が０のときには、計算結果が無限大となる。そこで、原色相関色分離方式で用いられる演算式における除数が０になる場合には、カメラの自動利得制御手段の利得が小さい場合でも、図１の色差相関色分離部２５によって算出された色信号を用いるようにすることが好ましい。
【０２０４】
ここでは、”除数が０になると場合”としたが、原色相関色分離方式では除数が小さくなると誤差が増えるので、除数が一定値以下になった場合に、図１の色差相関色分離部２５によって算出された色信号を用いるようにしてもよい。
【０２０５】
具体的には、第１の実施の形態において、図１８に示すように、Ｌ０、Ｌ１、Ｌ２を入力とし、処理対象ブロック（第１の実施の形態では３×３画素の大きさの処理対象ブロック、第２の実施の形態では５×５画素の大きさの処理対象ブロック）内に画素値が０の画素が含まれているか否かを判定する判定回路４０を設ける。
【０２０６】
そして、判定回路４０は、処理対象ブロック内に画素値が０の画素が含まれていると判定した場合には、３６に色差相関色分離部２５によって算出された色信号のみを出力させるための指令を出力する。
【０２０７】
なお、第２の実施の形態においても、同様な制御を行なうことが好ましい。また、第３の実施の形態における適応相関色分離部２４も図１の原色相関色分離部２４と同様に除数が０のときには計算結果が無限大となるので、第３の実施の形態においても、同様な制御を行なうことが好ましい。
【０２０８】
【発明の効果】
以上述べたように、本発明によれば、偽色信号が発生しない色分離回路を提供することができ、画質の改善がはかれる。
【０２０９】
また、垂直または水平の高域成分をそのまま出力することが可能となり、高解像度な色分離を提供することができる。
【図面の簡単な説明】
【図１】本発明の構成を示すブロック図である。
【図２】本発明で利用されるＣＣＤを示す図である。
【図３】本発明の構成の各信号を示す説明図である。
【図４】図１中の原色相関色分離部の構成を示すブロック図である。
【図５】図１中の色差相関色分離部の構成を示すブロック図である。
【図６】演算処理回路の構成を示すブロック図である。
【図７】処理対象の画素の選択を説明する説明図である。
【図８】補間処理を示す説明図である。
【図９】相関検出を示す説明図である。
【図１０】発明の効果を説明するための説明図である。
【図１１】補間処理を説明する説明図である。
【図１２】発明の効果を説明するための説明図である。
【図１３】第２の実施の形態における、水平補間回路２６及び垂直補間回路２７の動作を説明するための説明図である。
【図１４】第２の実施の形態における、水平補間回路２９及び垂直補間回路３０の動作を説明するための説明図である。
【図１５】第３の実施の形態における、水平補間回路２６及び垂直補間回路２７の動作を説明するための説明図である。
【図１６】予め設定された複数の彩度検出エリアを示す模式図である。
【図１７】彩度積算値Ｃk と有彩色／無彩色判定値Ｒk との関係を示すグラフである。
【図１８】第４の実施の形態の構成を示すブロック図である。
【図１９】偽色信号の発生を説明する説明図である。
【符号の説明】
１ ＣＣＤ（固体撮像デバイス）
２２ 補間処理手段
２３ 相関検出手段
３２ 係数算出手段
３６ 加重加算回路
Claims (6)
- 各画素に対応して、分光感度特性の異なる複数の種類の色フィルタが、モザイク状に配置された固体撮像デバイスからの信号を利得調整を行う自動利得制御回路を介して処理する単板式カラーカメラの色分離回路において、
任意の処理対象画素における複数の色信号成分を、上記処理対象画素及び周囲の画素の色信号成分に基づいて生成するために設けられた、色信号成分生成方式の異なる２種以上の色分離手段、ならびに
各色分離手段によって生成された各色信号成分を、固体撮像デバイスからの信号に基づいて合成する合成手段を備え、
色分離手段として、任意の処理対象画素における複数の色信号成分を、上記処理対象画素及び周囲の画素の色信号成分に基づいて、水平方向または垂直方向の色の比の相関を利用して生成する原色相関色分離手段と、任意の処理対象画素における複数の色信号成分を、上記処理対象画素及び周囲の画素の色信号成分に基づいて、水平方向または垂直方向の色の差の相関を利用して生成する色差相関色分離手段とが設けられており、
合成手段は、固体撮像デバイスからの信号レベルが大きい場合には原色相関色分離手段によって生成された各色信号成分が大きくなるように、上記両色分離手段によって生成された各色信号成分を合成し、固体撮像デバイスからの信号レベルが小さい場合には、色差相関色分離手段によって生成された各色信号成分が大きくなるように、上記両色分離手段によって生成された各色信号成分を合成することを特徴とする単板式カラーカメラの色分離回路。 - 各画素に対応して、分光感度特性の異なる複数の種類の色フィルタが、モザイク状に配置された固体撮像デバイスからの信号を利得調整を行う自動利得制御回路を介して処理する単板式カラーカメラの色分離回路において、
任意の処理対象画素における複数の色信号成分を、上記処理対象画素及び周囲の画素の色信号成分に基づいて生成するために設けられた、色信号成分生成方式の異なる２種以上の色分離手段、ならびに
各色分離手段によって生成された各色信号成分を、固体撮像デバイスからの信号に基づいて合成する合成手段を備え、
色分離手段として、任意の処理対象画素における複数の色信号成分を、上記処理対象画素及び周囲の画素の色信号成分に基づいて、水平方向または垂直方向の色の比の相関を利用して生成する原色相関色分離手段と、任意の処理対象画素における複数の色信号成分を、上記処理対象画素及び周囲の画素の色信号成分に基づいて、水平方向または垂直方向の色の差の相関を利用して生成する色差相関色分離手段とが設けられており、
合成手段は、固体撮像デバイスからの信号レベルの大きさと対応した自動利得調整回路の利得が大きい場合には、色差相関色分離手段によって生成された各色信号成分が大きくなるように、上記両色分離手段によって生成された各色信号成分を合成し、自動利得調整回路の利得が小さい場合には原色相関色分離手段によって生成された各色信号成分が大きくなるように、上記両色分離手段によって生成された各色信号成分を合成することを特徴とする単板式カラーカメラの色分離回路。 - 処理対象画素における水平方向及び垂直方向の相関値を求める相関値検出手段を備えており、原色相関色分離手段および色差相関色分離手段は、それぞれ水平方向の相関が強い場合に適した色信号成分を生成する水平方向処理手段と、垂直方向の相関が強い場合に適した色信号成分を生成する垂直方向処理手段とを含んでおり、原色相関色分離手段および色差相関色分離手段は、相関値検出手段によって検出された水平方向および垂直方向の相関値に応じて、水平方向処理手段によって生成された各色信号成分と垂直方向処理手段によって生成された各色信号成分とを加重加算することによって、処理対象画素における複数の色信号成分を求めることを特徴とする請求項１および２のいずれかに記載の単板式カラーカメラの色分離回路。
- 各画素に対応して、分光感度特性の異なる複数の種類の色フィルタが、モザイク状に配置された固体撮像デバイスからの信号を利得調整を行う自動利得制御回 路を介して処理する単板式カラーカメラの色分離回路において、
任意の処理対象画素における複数の色信号成分を、上記処理対象画素及び周囲の画素の色信号成分に基づいて生成するために設けられた、色信号成分生成方式の異なる２種以上の色分離手段、ならびに
各色分離手段によって生成された各色信号成分を、固体撮像デバイスからの信号に基づいて合成する合成手段を備え、
色分離手段として、任意の処理対象画素における複数の色信号成分を、上記処理対象画素及び周囲の画素の色信号成分に基づいて、水平方向または垂直方向のうち相関の強い方向については色の差の相関を利用し、相関の弱い方向については色の比の相関を利用して生成する適応型相関色分離手段と、任意の処理対象画素における複数の色信号成分を、上記処理対象画素及び周囲の画素の色信号成分に基づいて、水平方向または垂直方向の色の差の相関を利用して生成する色差相関色分離手段とが設けられており、
合成手段は、固体撮像デバイスからの信号レベルが大きい場合には適応型相関色分離手段によって生成された各色信号成分が大きくなるように、上記両色分離手段によって生成された各色信号成分を合成し、固体撮像デバイスからの信号レベルが小さい場合には、色差相関色分離手段によって生成された各色信号成分が大きくなるように、上記両色分離手段によって生成された各色信号成分を合成することを特徴とする単板式カラーカメラの色分離回路。 - 各画素に対応して、分光感度特性の異なる複数の種類の色フィルタが、モザイク状に配置された固体撮像デバイスからの信号を利得調整を行う自動利得制御回路を介して処理する単板式カラーカメラの色分離回路において、
任意の処理対象画素における複数の色信号成分を、上記処理対象画素及び周囲の画素の色信号成分に基づいて生成するために設けられた、色信号成分生成方式の異なる２種以上の色分離手段、ならびに
各色分離手段によって生成された各色信号成分を、固体撮像デバイスからの信号に基づいて合成する合成手段を備え、
色分離手段として、任意の処理対象画素における複数の色信号成分を、上記処理対象画素及び周囲の画素の色信号成分に基づいて、水平方向または垂直方向のうち相関の強い方向については色の差の相関を利用し、相関の弱い方向については色の比の相関を利用して生成する適応型相関色分離手段と、任意の処理対象画素における複数の色信号成分を、上記処理対象画素及び周囲の画素の色信号成分に基づいて、水平方向または垂直方向の色の差の相関を利用して生成する色差相関色分離手段とが設けられており、
合成手段は、固体撮像デバイスからの信号レベルの大きさと対応した自動利得調整回路の利得が大きい場合には、色差相関色分離手段によって生成された各色信号成分が大きくなるように、上記両色分離手段によって生成された各色信号成分を合成し、自動利得調整回路の利得が小さい場合には適応型相関色分離手段によって生成された各色信号成分が大きくなるように、上記両色分離手段によって生成された各色信号成分を合成することを特徴とする単板式カラーカメラの色分離回路。 - 処理対象画素における水平方向及び垂直方向の相関値を求める相関値検出手段を備えており、適応型相関色分離手段および色差相関色分離手段は、それぞれ水平方向の相関が強い場合に適した色信号成分を生成する水平方向処理手段と、垂直方向の相関が強い場合に適した色信号成分を生成する垂直方向処理手段とを含んでおり、適応型相関色分離手段および色差相関色分離手段は、相関値検出手段によって検出された水平方向および垂直方向の相関値に応じて、水平方向処理手段によって生成された各色信号成分と垂直方向処理手段によって生成された各色信号成分とを加重加算することによって、処理対象画素における複数の色信号成分を求めることを特徴とする請求項４および５のいずれかに記載の単板式カラーカメラの色分離回路。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001085469A JP4043197B2 (ja) | 2000-03-24 | 2001-03-23 | 単板式カラーカメラの色分離回路 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000-83376 | 2000-03-24 | ||
| JP2000083376 | 2000-03-24 | ||
| JP2001085469A JP4043197B2 (ja) | 2000-03-24 | 2001-03-23 | 単板式カラーカメラの色分離回路 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001339735A JP2001339735A (ja) | 2001-12-07 |
| JP4043197B2 true JP4043197B2 (ja) | 2008-02-06 |
Family
ID=26588226
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001085469A Expired - Fee Related JP4043197B2 (ja) | 2000-03-24 | 2001-03-23 | 単板式カラーカメラの色分離回路 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4043197B2 (ja) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE60235526D1 (de) * | 2001-01-25 | 2010-04-15 | Nikon Corp | Bildverarbeitungsverfahren, bildverarbeitungsprogramm und bildprozessor |
| JP4840740B2 (ja) * | 2004-12-01 | 2011-12-21 | 株式会社メガチップス | 画素補間方法および画像判定方法 |
| US7576783B2 (en) * | 2005-02-04 | 2009-08-18 | Hau Hwang | Confidence based weighting for color interpolation |
| JP4241754B2 (ja) | 2006-04-14 | 2009-03-18 | ソニー株式会社 | 撮像装置 |
| JP5017597B2 (ja) * | 2007-11-27 | 2012-09-05 | 株式会社メガチップス | 画素補間方法 |
| JP5691440B2 (ja) * | 2010-11-26 | 2015-04-01 | 株式会社ニコン | 撮像装置 |
| EP2683167B1 (en) | 2011-02-28 | 2018-05-02 | Fujifilm Corporation | Color imaging device |
| CN102870405B (zh) | 2011-03-09 | 2015-06-17 | 富士胶片株式会社 | 彩色成像元件 |
| JP6046927B2 (ja) * | 2011-08-09 | 2016-12-21 | キヤノン株式会社 | 画像処理装置及びその制御方法 |
| JP5824297B2 (ja) * | 2011-08-30 | 2015-11-25 | キヤノン株式会社 | 画像処理装置及び方法、及び撮像装置 |
| JP6862272B2 (ja) * | 2017-05-15 | 2021-04-21 | キヤノン株式会社 | 信号処理装置、信号処理方法およびプログラム |
-
2001
- 2001-03-23 JP JP2001085469A patent/JP4043197B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001339735A (ja) | 2001-12-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2931520B2 (ja) | 単板式カラービデオカメラの色分離回路 | |
| JP4195169B2 (ja) | 固体撮像装置および信号処理方法 | |
| JP5591261B2 (ja) | 画像処理装置 | |
| JP4372955B2 (ja) | 固体撮像装置および信号処理方法 | |
| TWI504277B (zh) | 影像感測裝置、影像感測器的操作方法、串音修正方法以及偽色誤差修正方法 | |
| JPWO2007020930A1 (ja) | 撮像装置、ノイズリダクション装置およびノイズリダクション方法、ならびに、プログラム | |
| EP1182891A2 (en) | Color separation circuit in a color camera | |
| WO2016047240A1 (ja) | 画像処理装置、撮像素子、撮像装置および画像処理方法 | |
| JP4641675B2 (ja) | 画像信号処理装置 | |
| JP2008289090A (ja) | 撮像信号処理装置 | |
| JP2002077928A (ja) | 画像処理装置 | |
| JPH07298275A (ja) | ビデオカメラの信号処理回路 | |
| JP4043197B2 (ja) | 単板式カラーカメラの色分離回路 | |
| US8471936B2 (en) | Imaging device and signal processing method | |
| JP2007235591A (ja) | カメラ装置の制御方法及びこれを用いたカメラ装置 | |
| JP4077161B2 (ja) | 撮像装置、輝度補正方法、およびその方法をコンピュータで実行するためのプログラム | |
| JP2007043312A (ja) | 撮影装置 | |
| JP3674420B2 (ja) | 固体撮像装置 | |
| US20070269133A1 (en) | Image-data noise reduction apparatus and method of controlling same | |
| JP2007266956A (ja) | 撮像装置、インパルス成分検出回路、インパルス成分除去回路、インパルス成分検出方法、インパルス成分除去方法及びコンピュータプログラム | |
| JP2007318630A (ja) | 画像入力装置、撮像モジュール、及び固体撮像装置 | |
| JP4380399B2 (ja) | 撮像装置、ノイズリダクション装置およびノイズリダクション方法並びにプログラム | |
| JP2004357335A (ja) | 固体撮像装置 | |
| JP3730063B2 (ja) | 色成分生成装置および色成分生成方法並びにこれを用いた多色画像撮像装置 | |
| JP4385748B2 (ja) | 画像信号処理装置及び画像信号処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050520 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070607 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070725 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070914 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071016 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071113 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101122 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101122 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111122 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111122 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121122 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121122 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131122 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131122 Year of fee payment: 6 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131122 Year of fee payment: 6 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |