JP3968480B2 - 相関値算出回路およびその算出方法 - Google Patents
相関値算出回路およびその算出方法 Download PDFInfo
- Publication number
- JP3968480B2 JP3968480B2 JP34242697A JP34242697A JP3968480B2 JP 3968480 B2 JP3968480 B2 JP 3968480B2 JP 34242697 A JP34242697 A JP 34242697A JP 34242697 A JP34242697 A JP 34242697A JP 3968480 B2 JP3968480 B2 JP 3968480B2
- Authority
- JP
- Japan
- Prior art keywords
- color
- correlation value
- interpolation
- correlation
- directions
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Color Television Image Signal Generators (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、相関値算出回路およびその算出方法に関し、特に受光面上にカラーフィルタを有するカラー固体撮像素子から出力される画像信号を処理する画像処理装置において、補間すべき画素に関して少なくとも２方向の相関の程度を示す相関値を算出する算出回路およびその算出方法に関する。
【０００２】
【従来の技術】
カラー固体撮像素子を使用するシステムでは、カラーフィルタ上において各色が飛び飛びに存在することから、解像感を損なわないようにするために補間処理が行われる。この補間処理に先立って、補間すべき画素とその周辺画素との相関の程度（度合い）の検出が行われるが、従来は、この相関検出の際に、カラーフィルタの色配列が原色Ｒ（赤）Ｇ（緑）Ｂ（青）ベイヤ配列の場合には、Ｇ画素の信号のみやＲ画素の信号のみのように、単一画素の信号の変化量だけを用いて相関の程度を示す相関値の算出を行っていた。
【０００３】
【発明が解決しようとする課題】
しかしながら、原色ベイヤ配列のカラーフィルタを用いたカラー固体撮像素子から出力される画像信号の処理において、相関値算出にＲのみ（またはＢのみ。ただし、以下の説明ではＲを例に採る）を使用した場合に、色配列上、Ｒ画素が１画素おきにしか存在しないため、同じ水平ラインまたは垂直ライン上にＲ画素が存在するか存在しないかで判定結果が変わってくる。
【０００４】
しかも、存在しない場合には、そのラインに対してエッジが右（または上）にあるのか左（または下）にあるのかを判定できない。このために、Ｒ用の相関検出においても、全ての水平ライン／垂直ライン上に存在するＧ画素の信号を使用した方がより効果的な判定ができる。しかし、Ｇ画素の信号のみを使用した場合では、Ｇの信号レベルがほとんど変化せずに、Ｒの信号レベルのみが変化するようなエッジに対しては良好な判定ができない。
【０００５】
このため、Ｒ信号／Ｇ信号／Ｂ信号の全ての画素情報を使用して相関検出を行う必要がある。しかし、ＲＧＢを分離せずにそのまま変化量を算出したり、分離した後に変化量を算出したまま加算してしまうと、Ｇ信号の変化量に対してＲ／Ｂの変化量がたまたま等しいが逆向きであった場合に、それぞれの成分が相殺されて最終的な変化量としてはほとんど０になってしまう場合がある。
【０００６】
そこで、本発明は、ある特定の色が変化するようなエッジにおいても良好な相関検出を可能にするとともに、色によって相補的に変化するエッジにおいても良好なエッジ検出を可能にする相関値算出回路およびその算出方法を提供することを目的とする。
【０００７】
【課題を解決するための手段】
本発明による相関値算出回路は、所定の色配列のカラーフィルタを受光面上に有する固体撮像素子から出力される画像信号に対して、各色成分の画像信号に分離した後、各色成分の画像信号ごとに補間処理を行う画像処理装置において、固体撮像素子から入力された画像信号を異なる分光特性の画素に対応する２つ以上の各色成分の画像信号に分離する色分離手段と、この色分離手段により分離された前記各色成分の画像信号ごとに変化量を算出する複数の変化量算出手段と、これら複数の変化量算出手段により算出された各変化量を絶対値化する複数の絶対値化手段と、これら複数の絶対値化手段の各出力を加算する加算手段とを備え、前記色分離手段、前記複数の変化量算出手段、前記複数の絶対値化手段および前記加算手段が前記少なくとも２方向に対応して設けられている。そして、少なくとも２方向に対応した少なくとも２つの前記加算手段の各加算結果が、補間すべき画素（以下、補間画素と称す）に関して少なくとも２方向の相関の程度を示す相関値となる。
【０００８】
また、本発明による相関値算出方法は、所定の色配列のカラーフィルタを受光面上に有する固体撮像素子から出力される画像信号に対して、各色成分の画像信号に分離した後、各色成分の画像信号ごとに補間処理を行う画像処理装置において、入力された画像信号を異なる分光特性の画素に対応する２つ以上の各色成分の画像信号に分離し、この色分離した前記各色成分の画像信号ごとに変化量を算出した後絶対値化し、次いでこの絶対値化した各信号を加算する各処理を少なくとも２方向に対応して実行することにより、当該少なくとも２方向に対応した少なくとも２つの加算結果を補間画素に関して少なくとも２方向の相関値とする。
【０００９】
上記構成の相関値算出回路およびその算出方法において、入力された画像信号を異なる分光特性の画素に対応する２つ以上の各色成分の画像信号について、その変化量を算出することにより、相関値算出のために複数の色の画素情報を使用する。これにより、ある特定の色が変化するようなエッジにおいても、良好な相関検出が可能となる。しかも、各画素で別々に変化量を算出し、この算出した変化量を絶対値化した後加算することにより、色によって相補的に変化するエッジにおいても良好なエッジ検出が可能となる。
【００１０】
ここで、相補的に変化するエッジとは、例えば原色ＲＧＢベイヤ配列では、Ｒは増加するがＢは逆に減少するエッジや、Ｇは増加するが、Ｒ／Ｂは減少するエッジのように、色に対応する画素ごとに変化する向きが逆なエッジのことをいうものとする。
【００１１】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して詳細に説明する。図１は、本発明が適用される画像処理装置の基本構成を示すブロック図である。ここで、本画像処理装置の処理対象となるカラー固体撮像素子は、色配列として例えば図２に示す原色ＲＧＢベイヤ配列のカラーフィルタ１１を受光面上に有する単板式固体撮像素子１２である。
【００１２】
なお、色配列は原色ベイヤ配列に限定されるものではなく、さらにカラーフィルタもＲＧＢの原色の色配列に限られるものではなく、他の原色の色配列の場合でも、補色を使用した色配列（例えば、Ｙｅ／Ｃｙ／Ｍｇ／Ｇ）の場合でも同様に適応可能である。また、固体撮像素子１２としては、全画素の信号電荷を独立に読み出すいわゆる全画素読み出し方式のＣＣＤ(Charge Coupled Device) 固体撮像素子（以下、ＣＣＤエリアセンサと称する）を用いるものとするが、飛び越し走査に対応した２画素加算読み出し方式のＣＣＤ固体撮像素子などにも適応可能である。
【００１３】
ＣＣＤエリアセンサ１２から出力されるＲＧＢ点順次データは、信号処理部１３において黒レベルクランプやホワイトバランスなどの信号処理が行われた後、検出部１４および補間部１５に供給される。検出部１４は、入力されるＲＧＢ点順次データから最適な補間方法を検出し、その補間情報を補間部１５へ送る。補間部１５は、検出部１４から入力される補間情報を基にＲＧＢ点順次データに対して補間処理を行って出力する。
【００１４】
検出部１４は、図３に示すように、補間画素に関して上下および左右の互いに９０°の整数倍の角度をなす４方向、即ち垂直（Ｖ）方向の相反する２方向および水平（Ｈ）方向の相反する２方向の計４方向の相関の程度を検出するＶＨ相関検出部１６と、補間画素に関して右上、左上、左下、右下の斜め方向、即ち上記４方向に対してそれぞれ４５°の角度をなす４方向の相関の程度を検出する斜め相関検出部１７とを有する構成となっている。
【００１５】
なお、本例では、上下左右４方向に加え、斜め４方向の計８方向の相関の程度を検出する構成を例に採っているが、上下左右の４方向だけの相関の程度を検出する構成であっても良い。ただし、以下の説明では、８方向の場合を例に採って説明するものとする。
【００１６】
一方、補間部１５は、図４に示すように、検出部１４から与えられる補間情報に基づいて、Ｇの画素情報に対して補間処理を行うＧ補間部１８と、Ｒの画素情報に対して補間処理を行うＲ補間部１９と、Ｂの画素情報に対して補間処理を行うＢ補間部２０とを有する構成となっている。
【００１７】
図５は、ＶＨ相関検出部１６および斜め相関検出部１７の具体的な構成の一例を示すブロック図である。
【００１８】
ＶＨ相関検出部１６は、補間画素の右側の画素の画素情報に基づいて相関の程度を示す相関値を算出する右側相関値算出回路２１と、補間画素の左側の画素の画素情報に基づいて相関値を算出する左側相関値算出回路２２と、補間画素の上側の画素の画素情報に基づいて相関値を算出する上側相関値算出回路２３と、補間画素の下側の画素の画素情報に基づいて相関値を算出する下側相関値算出回路２４と、これら相関値算出回路２１〜２４で算出した各相関値を補間ゲインに変換して出力する相関値→補間ゲイン変換回路２５とから構成されている。
【００１９】
上記構成のＶＨ相関検出部１６において、相関値→補間ゲイン変換回路２５からは、水平垂直補間用ゲインＲＧａｉｎ，ＬＧａｉｎ，ＴＧａｉｎ，ＢＧａｉｎおよび水平垂直ＲＢ補間用ゲインＲＧａｉｎＤ，ＬＧａｉｎＤ，ＴＧａｉｎＤ，ＢＧａｉｎＤが補間係数として出力される。
【００２０】
斜め相関検出部１７は、補間画素の右上側の画素の画素情報に基づいて相関値を算出する右上側相関値算出回路２６と、補間画素の左上側の画素の画素情報に基づいて相関値を算出する左上側相関値算出回路２７と、補間画素の左下側の画素の画素情報に基づいて相関値を算出する左下側相関値算出回路２８と、補間画素の右下側の画素の画素情報に基づいて相関値を算出する右下側相関値算出回路２９と、これら相関値算出回路２６〜２９で算出した各相関値を補間ゲインに変換し、補間係数として斜め補間用ゲインＤ１Ｇａｉｎ〜Ｄ４Ｇａｉｎを出力する相関値→補間ゲイン変換回路３０とから構成されている。
【００２１】
さらに、水平垂直４方向と斜め４方向は互いに直交していないため、ＶＨ‐斜め比較回路３１において、水平垂直の相関値と斜めの相関値を比較することにより、斜め補間補正用ゲインＶＨＧａｉｎ，ＤＧａｉｎを補間係数として算出するようにしている。
【００２２】
図６は、ＶＨ相関検出部１６における例えば左側相関値算出回路２２の具体的な構成の一例を示すブロック図である。なお、右側相関値算出回路２１、上側相関値算出回路２３および下側相関値算出回路２４についても、全く同じ回路構成を採る。これら相関値算出回路２１〜２４およびその算出方法が、本発明の特徴とする部分である。
【００２３】
左側相関値算出回路２２において、入力されたＲＧＢ点順次信号は、色分離回路３２において、Ｒ画素／Ｇ画素／Ｂ画素の各色にそれぞれ対応するＲ信号／Ｇ信号／Ｂ信号に分離されて出力される。Ｇ信号は、変化量１，２算出回路３３，３４にそれぞれ供給される。Ｒ信号は、変化量算出回路３５に供給される。Ｂ信号は、変化量算出回路３６に供給される。
【００２４】
ここで、Ｇ信号についてのみ、２つの異なる変化量１，２算出回路３３，３４に入力するのは、図２の原色ＲＧＢベイヤ配列を見ても分かるように、ＧはＲ／Ｂに比べて水平方向および垂直方向のサンプリング数が倍であり、Ｇでは隣り合った垂直ラインでの変化量１と、１ラインおいた垂直ライン同士での変化量２を算出するためである。なお、ここでは、隣り合った垂直ライン間または１ラインおいた垂直ライン間での例を採ったが、２ライン以上おいた垂直ライン間であっても良い。
【００２５】
変化量１，２算出回路３３，３４および変化量算出回路３５，３６は、図７の概念図に示すように、変化量を算出する方向に対して直交する向きにしたＬＰＦ（１，２，２，２，１）３７，３８，３９を通した後に、算出用ＢＰＦ４０，４１，４２，４３を通すことにより変化量を算出する構成となっている。ここで、算出用ＢＰＦ４０，４１，４２，４３は、Ｇについては１／２相関（１，−１）と、１／４相関（１，０，−１）を使用することで算出法を変えており、またＲ／Ｂについては１／４相関（１，１，−１，−１）を使用する。
【００２６】
これら変化量算出回路３３，３４，３５，３６で算出された各変化量は、絶対値化回路４５，４６，４７，４８で絶対値化された後係数付加回路４９，５０，５１，５２に供給される。係数付加回路４９，５０，５１，５２は、絶対値化回路４５，４６，４７，４８で絶対値化された各変化量に対して別途設定された係数をそれぞれ掛け合わせて出力する。そして、係数付加回路４９，５０，５１，５２の各出力は、加算回路５３で加え合わされた後、上下左右の相関値Ｓｔ，Ｓｂ，Ｓｒ，Ｓｌとして出力される。
【００２７】
ここで、係数付加回路４９，５０，５１，５２において係数を掛ける理由は、Ｒ／Ｇ／Ｂの各色は輝度を形成する際にも、ＮＴＳＣテレビジョン方式の場合には０．３０Ｒ＋０．５９Ｇ＋０．１１Ｂとして計算するように、人間の視覚特性に合わせるためである。ただし、計算量やゲート規模を削減するためには、Ｒ：Ｇ：Ｂが３：６：１の比率、１：２：１の比率または２：４：１の比率になるように簡易的な係数を設定する方が良い。
【００２８】
続いて、上記構成の左側相関値算出回路２２における変化量算出回路３３〜３６による左方向の変化量の算出法につき、図８の原色ベイヤ配列図を用いて説明する。ここでは、左方向の変化量の算出法について述べるが、他の方向（右／上／下の各方向）についても、添え字が変わるだけで全く同じである。
【００２９】
先ず、Ｇについては、隣り合った垂直ラインでの変化量が（１）式により、１ラインおいた垂直ライン同士での変化量が（２）式によりそれぞれ算出される。なお、（１）式／（２）式では、画素Ｇ２２に対する相関を検出する際の式を示している。一方、Ｒ信号／Ｂ信号では、１ラインおきにしか同じ色の信号が存在しないため、１ラインおいた垂直ライン間の変化量が、（３）式／（４）式によりそれぞれ算出される。また、画素Ｇ３３に対しては、水平／垂直を表わす添え字がそれぞれ１ずつ増加する他に、Ｒ信号とＢ信号で算出方法が入れ替わる。
【００３０】
【数１】
【００３１】
このように、例えば原色ＲＧＢベイヤ配列カラーフィルタを受光面上に有するＣＣＤエリアセンサから出力される画像信号を処理する画像処理装置において、入力された画像信号を異なる分光特性の画素（Ｒ画素／Ｇ画素／Ｂ画素）に対応する信号に分離し、この分離したＲ，Ｇ，Ｂの各信号ごとに変化量を算出した後絶対値化し、この絶対値化した各変化量を加算して相関値とすることにより、相関値算出のために全ての色の画素情報を使用することになるため、ある特定の色に対応した画素の信号のみから算出した相関値に比べ、ある特定の色が変化するようなエッジにおいても、良好な相関検出が可能となる。
【００３２】
しかも、各画素で別々に変化量を算出し、この算出した変化量をそれぞれ絶対値化した後加算することによって相関値を算出すようにしているので、色によって相補的に変化するエッジにおいても良好なエッジ検出が可能となる。また、絶対値化した変化量に対して各変化量ごとに、人間の視覚特性に合わせて設定された係数を掛け合わせた後加算するようにしているので、良好な画像を再現できることになる。
【００３３】
なお、本実施形態では、水平方向および垂直方向の各２方向の計４方向の相関検出に適用した場合について説明したが、これに限定されるものではなく、水平方向または垂直方向の２方向の相関検出にも適用可能である。この場合は、水平方向の相関値を算出する際に、例えば、変化量１算出用に（１）式を用い、変化量２算出用に（６）式を用い、さらに（４）式の代わりに（５）式を用いるようにすれば良い。
【００３４】
【数２】
【００３５】
以上、水平垂直４方向の相関検出について述べたが、斜め４方向の相関検出に関しては、色分離後のＲＧＢの各信号に対し、それぞれ斜め方向の変調成分の絶対値を算出し、Ｒ：Ｇ：Ｂ＝１：４：１の割合で加算し、相関値とする。なお、右上、左上、左下、右下をそれぞれ、Ｄ１方向、Ｄ２方向、Ｄ３方向、Ｄ４方向とする。そして、図５の相関値→補間ゲイン変換回路３０において、水平垂直４方向の場合と同様にして、斜め４方向の補間用ゲインＤ１Ｇａｉｎ，Ｄ２Ｇａｉｎ，Ｄ３Ｇａｉｎ，Ｄ４Ｇａｉｎを補間係数として算出する。
【００３６】
次に、図４の補間部１５におけるＧ，Ｒ，Ｂの各補間部１８，１９，２０の具体的な構成の一例を図９および図１０に示す。なお、図９はＧ補間部１８の構成を、図１０はＲ，Ｂ補間部１９，２０の構成をそれぞれ示している。
【００３７】
先ず、図９において、色分離後のＧのデータは水平垂直４方向、即ち右側、左側、上側、下側の各相関用処理回路７１，７２，７３，７４にそれぞれ供給され、これら相関用処理回路７１，７２，７３，７４において４方向の補間データＧｒ，Ｇｌ，Ｇｔ，Ｇｂが生成される。これら補間データＧｒ，Ｇｌ，Ｇｔ，Ｇｂは、補間する方向にＬＰＦを通すことで生成される。実際には、高輝度用と低輝度用の２つのＬＰＦを設け、それぞれの出力に所定のゲインを掛けた後に加算することで、補間データＧｒ，Ｇｌ，Ｇｔ，Ｇｂの生成が行われる。
【００３８】
補間データＧｒ，Ｇｌ，Ｇｔ，Ｇｂは各々、乗算器７５，７６，７７，７８において、図５に示すＶＨ相関検出部１６で決定された補間係数、即ち水平垂直補間用ゲインＲＧａｉｎ，ＬＧａｉｎ，ＴＧａｉｎ，ＢＧａｉｎがそれぞれ掛けられる。そして、加算器７９〜８１によって加算されることにより、Ｇの補間処理が行われる。補間処理後のＧの画像データは、（７）式で表される。
【００３９】
斜め４方向についても同様に、右上側、左上側、左下側、右下側の各相関用処理回路８２，８３，８４，８５において、Ｄ１／Ｄ２／Ｄ３／Ｄ４の各方向の補間データが生成され、乗算器８６，８７，８８，８９において、図５に示す斜め相関検出部１７で決定された斜め補間用ゲインＤ１Ｇａｉｎ，Ｄ２Ｇａｉｎ，Ｄ３Ｇａｉｎ，Ｄ４Ｇａｉｎがそれぞれ掛けられた後、加算器９０〜９２で足し合わされることによって補間処理が行われる。
【００４０】
また、水平垂直４方向相関検出／補間によるＧの画像データＧｖｈと、斜め４方向相関検出／補間によるＧの画像データＧｄを、状況に合わせて（８）式に示すように混合比を変化させて加算する。混合比の調整は、図５に示すＶＨ‐斜め比較回路３１で算出される斜め補間補正用ゲインＶＨＧａｉｎ，ＤＧａｉｎによって行われる。
Ｇ＝Ｇｖｈ×ＶＨＧａｉｎ＋Ｇｄ×ＤＧａｉｎ ……（８）
【００４１】
以上、Ｇ補間部１８の構成および動作について説明したが、図１０に示すＲ，Ｂ補間部１９，２０の構成についても、図９に示すＧ補間部１８の構成と基本的には同じである。したがって、図１０中、図９と同等部分には同一符号を付して示してある。ただし、右側、左側、上側、下側の各相関用処理回路７１′，７２′，７３′，７４′における補間データの生成法については、Ｇの場合に比べて複雑である。その理由として２つあり、ＲＧ補間用相関検出を行うことと、Ｇ／２成分をＲＢに加えるためである。
【００４２】
そのため、ＲＧ補間用相関検出は、水平（右、左）の補間データ用と垂直方向（上、下）の補間データ用では別々に行う。具体的には、Ｒ画素およびＢ画素の信号からＲ信号／Ｂ信号を補間する際に、水平垂直ＲＢ補間用ゲインＲＧａｉｎＤ，ＬＧａｉｎＤ，ＴＧａｉｎＤ，ＢＧａｉｎＤを、Ｒ／Ｂ専用の補間係数として算出して用いるようにしている。
【００４３】
上述したように、例えば原色ＲＧＢベイヤ配列カラーフィルタを受光面上に有するＣＣＤエリアセンサから出力される画像信号を処理する画像処理装置において、全ての色の画素情報を使用して相関値を算出するとともに、この相関値を基に補間係数を設定し、この設定した補間係数に基づいて補間処理を行うことにより、カラーフィルタ上において各色が飛び飛びで存在していても、解像度／解像感を損なうことなく、良好な画像を再現できることになる。
【００４４】
【発明の効果】
以上説明したように、本発明によれば、カラーフィルタを持つ固体撮像素子から出力される画像信号を処理する画像処理装置において、入力された画像信号を異なる分光特性の画素に対応する２つ以上の各色成分の画像信号に分離し、この色分離した各色成分の画像信号ごとに変化量を算出した後絶対値化し、この絶対値化した各信号を加算する各処理を少なくとも２方向に対応して実行し、当該少なくとも２方向に対応した少なくとも２つの加算結果を補間画素に関して少なくとも２方向の相関値とすることにより、相関値算出のために複数の色の画素情報を使用できるため、ある特定の色が変化するようなエッジにおいても良好な相関検出が可能となるとともに、絶対値化に伴って色によって相補的に変化するエッジにおいても良好なエッジ検出が可能となる。
【図面の簡単な説明】
【図１】本発明による画像処理装置の基本構成を示すブロック図である。
【図２】カラーフィルタの原色ベイヤ配列図である。
【図３】検出部の構成の一例を示すブロック図である。
【図４】補間部の構成の一例を示すブロック図である。
【図５】ＶＨ相関検出部および斜め相関検出部の具体的な構成の一例を示すブロック図である。
【図６】相関値算出回路の具体的な構成の一例を示すブロック図である。
【図７】変化量の算出の概念図である。
【図８】変化量の算出法を説明するための原色ベイヤ配列図である。
【図９】Ｇ補間部の具体的な構成の一例を示すブロック図である。
【図１０】Ｒ，Ｂ補間部の具体的な構成の一例を示すブロック図である。
【符号の説明】
１１…カラーフィルタ、１２…ＣＣＤエリアセンサ、１４…検出部、１５…補間部、１６…ＶＨ相関検出部、１７…斜め相関検出部、１８…Ｇ補間部、１９…Ｒ補間部、２０…Ｂ補間部、２１〜２４，２６〜２９…相関値算出回路、２５，３０…相関値→相関ゲイン変換回路、３１…ＶＨ‐斜め比較回路、３３〜３６…変化量算出回路、３７〜３９…ＬＰＦ（ローパスフィルタ）、４５〜４８…絶対値化回路、４９〜５２…係数付加回路
【発明の属する技術分野】
本発明は、相関値算出回路およびその算出方法に関し、特に受光面上にカラーフィルタを有するカラー固体撮像素子から出力される画像信号を処理する画像処理装置において、補間すべき画素に関して少なくとも２方向の相関の程度を示す相関値を算出する算出回路およびその算出方法に関する。
【０００２】
【従来の技術】
カラー固体撮像素子を使用するシステムでは、カラーフィルタ上において各色が飛び飛びに存在することから、解像感を損なわないようにするために補間処理が行われる。この補間処理に先立って、補間すべき画素とその周辺画素との相関の程度（度合い）の検出が行われるが、従来は、この相関検出の際に、カラーフィルタの色配列が原色Ｒ（赤）Ｇ（緑）Ｂ（青）ベイヤ配列の場合には、Ｇ画素の信号のみやＲ画素の信号のみのように、単一画素の信号の変化量だけを用いて相関の程度を示す相関値の算出を行っていた。
【０００３】
【発明が解決しようとする課題】
しかしながら、原色ベイヤ配列のカラーフィルタを用いたカラー固体撮像素子から出力される画像信号の処理において、相関値算出にＲのみ（またはＢのみ。ただし、以下の説明ではＲを例に採る）を使用した場合に、色配列上、Ｒ画素が１画素おきにしか存在しないため、同じ水平ラインまたは垂直ライン上にＲ画素が存在するか存在しないかで判定結果が変わってくる。
【０００４】
しかも、存在しない場合には、そのラインに対してエッジが右（または上）にあるのか左（または下）にあるのかを判定できない。このために、Ｒ用の相関検出においても、全ての水平ライン／垂直ライン上に存在するＧ画素の信号を使用した方がより効果的な判定ができる。しかし、Ｇ画素の信号のみを使用した場合では、Ｇの信号レベルがほとんど変化せずに、Ｒの信号レベルのみが変化するようなエッジに対しては良好な判定ができない。
【０００５】
このため、Ｒ信号／Ｇ信号／Ｂ信号の全ての画素情報を使用して相関検出を行う必要がある。しかし、ＲＧＢを分離せずにそのまま変化量を算出したり、分離した後に変化量を算出したまま加算してしまうと、Ｇ信号の変化量に対してＲ／Ｂの変化量がたまたま等しいが逆向きであった場合に、それぞれの成分が相殺されて最終的な変化量としてはほとんど０になってしまう場合がある。
【０００６】
そこで、本発明は、ある特定の色が変化するようなエッジにおいても良好な相関検出を可能にするとともに、色によって相補的に変化するエッジにおいても良好なエッジ検出を可能にする相関値算出回路およびその算出方法を提供することを目的とする。
【０００７】
【課題を解決するための手段】
本発明による相関値算出回路は、所定の色配列のカラーフィルタを受光面上に有する固体撮像素子から出力される画像信号に対して、各色成分の画像信号に分離した後、各色成分の画像信号ごとに補間処理を行う画像処理装置において、固体撮像素子から入力された画像信号を異なる分光特性の画素に対応する２つ以上の各色成分の画像信号に分離する色分離手段と、この色分離手段により分離された前記各色成分の画像信号ごとに変化量を算出する複数の変化量算出手段と、これら複数の変化量算出手段により算出された各変化量を絶対値化する複数の絶対値化手段と、これら複数の絶対値化手段の各出力を加算する加算手段とを備え、前記色分離手段、前記複数の変化量算出手段、前記複数の絶対値化手段および前記加算手段が前記少なくとも２方向に対応して設けられている。そして、少なくとも２方向に対応した少なくとも２つの前記加算手段の各加算結果が、補間すべき画素（以下、補間画素と称す）に関して少なくとも２方向の相関の程度を示す相関値となる。
【０００８】
また、本発明による相関値算出方法は、所定の色配列のカラーフィルタを受光面上に有する固体撮像素子から出力される画像信号に対して、各色成分の画像信号に分離した後、各色成分の画像信号ごとに補間処理を行う画像処理装置において、入力された画像信号を異なる分光特性の画素に対応する２つ以上の各色成分の画像信号に分離し、この色分離した前記各色成分の画像信号ごとに変化量を算出した後絶対値化し、次いでこの絶対値化した各信号を加算する各処理を少なくとも２方向に対応して実行することにより、当該少なくとも２方向に対応した少なくとも２つの加算結果を補間画素に関して少なくとも２方向の相関値とする。
【０００９】
上記構成の相関値算出回路およびその算出方法において、入力された画像信号を異なる分光特性の画素に対応する２つ以上の各色成分の画像信号について、その変化量を算出することにより、相関値算出のために複数の色の画素情報を使用する。これにより、ある特定の色が変化するようなエッジにおいても、良好な相関検出が可能となる。しかも、各画素で別々に変化量を算出し、この算出した変化量を絶対値化した後加算することにより、色によって相補的に変化するエッジにおいても良好なエッジ検出が可能となる。
【００１０】
ここで、相補的に変化するエッジとは、例えば原色ＲＧＢベイヤ配列では、Ｒは増加するがＢは逆に減少するエッジや、Ｇは増加するが、Ｒ／Ｂは減少するエッジのように、色に対応する画素ごとに変化する向きが逆なエッジのことをいうものとする。
【００１１】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して詳細に説明する。図１は、本発明が適用される画像処理装置の基本構成を示すブロック図である。ここで、本画像処理装置の処理対象となるカラー固体撮像素子は、色配列として例えば図２に示す原色ＲＧＢベイヤ配列のカラーフィルタ１１を受光面上に有する単板式固体撮像素子１２である。
【００１２】
なお、色配列は原色ベイヤ配列に限定されるものではなく、さらにカラーフィルタもＲＧＢの原色の色配列に限られるものではなく、他の原色の色配列の場合でも、補色を使用した色配列（例えば、Ｙｅ／Ｃｙ／Ｍｇ／Ｇ）の場合でも同様に適応可能である。また、固体撮像素子１２としては、全画素の信号電荷を独立に読み出すいわゆる全画素読み出し方式のＣＣＤ(Charge Coupled Device) 固体撮像素子（以下、ＣＣＤエリアセンサと称する）を用いるものとするが、飛び越し走査に対応した２画素加算読み出し方式のＣＣＤ固体撮像素子などにも適応可能である。
【００１３】
ＣＣＤエリアセンサ１２から出力されるＲＧＢ点順次データは、信号処理部１３において黒レベルクランプやホワイトバランスなどの信号処理が行われた後、検出部１４および補間部１５に供給される。検出部１４は、入力されるＲＧＢ点順次データから最適な補間方法を検出し、その補間情報を補間部１５へ送る。補間部１５は、検出部１４から入力される補間情報を基にＲＧＢ点順次データに対して補間処理を行って出力する。
【００１４】
検出部１４は、図３に示すように、補間画素に関して上下および左右の互いに９０°の整数倍の角度をなす４方向、即ち垂直（Ｖ）方向の相反する２方向および水平（Ｈ）方向の相反する２方向の計４方向の相関の程度を検出するＶＨ相関検出部１６と、補間画素に関して右上、左上、左下、右下の斜め方向、即ち上記４方向に対してそれぞれ４５°の角度をなす４方向の相関の程度を検出する斜め相関検出部１７とを有する構成となっている。
【００１５】
なお、本例では、上下左右４方向に加え、斜め４方向の計８方向の相関の程度を検出する構成を例に採っているが、上下左右の４方向だけの相関の程度を検出する構成であっても良い。ただし、以下の説明では、８方向の場合を例に採って説明するものとする。
【００１６】
一方、補間部１５は、図４に示すように、検出部１４から与えられる補間情報に基づいて、Ｇの画素情報に対して補間処理を行うＧ補間部１８と、Ｒの画素情報に対して補間処理を行うＲ補間部１９と、Ｂの画素情報に対して補間処理を行うＢ補間部２０とを有する構成となっている。
【００１７】
図５は、ＶＨ相関検出部１６および斜め相関検出部１７の具体的な構成の一例を示すブロック図である。
【００１８】
ＶＨ相関検出部１６は、補間画素の右側の画素の画素情報に基づいて相関の程度を示す相関値を算出する右側相関値算出回路２１と、補間画素の左側の画素の画素情報に基づいて相関値を算出する左側相関値算出回路２２と、補間画素の上側の画素の画素情報に基づいて相関値を算出する上側相関値算出回路２３と、補間画素の下側の画素の画素情報に基づいて相関値を算出する下側相関値算出回路２４と、これら相関値算出回路２１〜２４で算出した各相関値を補間ゲインに変換して出力する相関値→補間ゲイン変換回路２５とから構成されている。
【００１９】
上記構成のＶＨ相関検出部１６において、相関値→補間ゲイン変換回路２５からは、水平垂直補間用ゲインＲＧａｉｎ，ＬＧａｉｎ，ＴＧａｉｎ，ＢＧａｉｎおよび水平垂直ＲＢ補間用ゲインＲＧａｉｎＤ，ＬＧａｉｎＤ，ＴＧａｉｎＤ，ＢＧａｉｎＤが補間係数として出力される。
【００２０】
斜め相関検出部１７は、補間画素の右上側の画素の画素情報に基づいて相関値を算出する右上側相関値算出回路２６と、補間画素の左上側の画素の画素情報に基づいて相関値を算出する左上側相関値算出回路２７と、補間画素の左下側の画素の画素情報に基づいて相関値を算出する左下側相関値算出回路２８と、補間画素の右下側の画素の画素情報に基づいて相関値を算出する右下側相関値算出回路２９と、これら相関値算出回路２６〜２９で算出した各相関値を補間ゲインに変換し、補間係数として斜め補間用ゲインＤ１Ｇａｉｎ〜Ｄ４Ｇａｉｎを出力する相関値→補間ゲイン変換回路３０とから構成されている。
【００２１】
さらに、水平垂直４方向と斜め４方向は互いに直交していないため、ＶＨ‐斜め比較回路３１において、水平垂直の相関値と斜めの相関値を比較することにより、斜め補間補正用ゲインＶＨＧａｉｎ，ＤＧａｉｎを補間係数として算出するようにしている。
【００２２】
図６は、ＶＨ相関検出部１６における例えば左側相関値算出回路２２の具体的な構成の一例を示すブロック図である。なお、右側相関値算出回路２１、上側相関値算出回路２３および下側相関値算出回路２４についても、全く同じ回路構成を採る。これら相関値算出回路２１〜２４およびその算出方法が、本発明の特徴とする部分である。
【００２３】
左側相関値算出回路２２において、入力されたＲＧＢ点順次信号は、色分離回路３２において、Ｒ画素／Ｇ画素／Ｂ画素の各色にそれぞれ対応するＲ信号／Ｇ信号／Ｂ信号に分離されて出力される。Ｇ信号は、変化量１，２算出回路３３，３４にそれぞれ供給される。Ｒ信号は、変化量算出回路３５に供給される。Ｂ信号は、変化量算出回路３６に供給される。
【００２４】
ここで、Ｇ信号についてのみ、２つの異なる変化量１，２算出回路３３，３４に入力するのは、図２の原色ＲＧＢベイヤ配列を見ても分かるように、ＧはＲ／Ｂに比べて水平方向および垂直方向のサンプリング数が倍であり、Ｇでは隣り合った垂直ラインでの変化量１と、１ラインおいた垂直ライン同士での変化量２を算出するためである。なお、ここでは、隣り合った垂直ライン間または１ラインおいた垂直ライン間での例を採ったが、２ライン以上おいた垂直ライン間であっても良い。
【００２５】
変化量１，２算出回路３３，３４および変化量算出回路３５，３６は、図７の概念図に示すように、変化量を算出する方向に対して直交する向きにしたＬＰＦ（１，２，２，２，１）３７，３８，３９を通した後に、算出用ＢＰＦ４０，４１，４２，４３を通すことにより変化量を算出する構成となっている。ここで、算出用ＢＰＦ４０，４１，４２，４３は、Ｇについては１／２相関（１，−１）と、１／４相関（１，０，−１）を使用することで算出法を変えており、またＲ／Ｂについては１／４相関（１，１，−１，−１）を使用する。
【００２６】
これら変化量算出回路３３，３４，３５，３６で算出された各変化量は、絶対値化回路４５，４６，４７，４８で絶対値化された後係数付加回路４９，５０，５１，５２に供給される。係数付加回路４９，５０，５１，５２は、絶対値化回路４５，４６，４７，４８で絶対値化された各変化量に対して別途設定された係数をそれぞれ掛け合わせて出力する。そして、係数付加回路４９，５０，５１，５２の各出力は、加算回路５３で加え合わされた後、上下左右の相関値Ｓｔ，Ｓｂ，Ｓｒ，Ｓｌとして出力される。
【００２７】
ここで、係数付加回路４９，５０，５１，５２において係数を掛ける理由は、Ｒ／Ｇ／Ｂの各色は輝度を形成する際にも、ＮＴＳＣテレビジョン方式の場合には０．３０Ｒ＋０．５９Ｇ＋０．１１Ｂとして計算するように、人間の視覚特性に合わせるためである。ただし、計算量やゲート規模を削減するためには、Ｒ：Ｇ：Ｂが３：６：１の比率、１：２：１の比率または２：４：１の比率になるように簡易的な係数を設定する方が良い。
【００２８】
続いて、上記構成の左側相関値算出回路２２における変化量算出回路３３〜３６による左方向の変化量の算出法につき、図８の原色ベイヤ配列図を用いて説明する。ここでは、左方向の変化量の算出法について述べるが、他の方向（右／上／下の各方向）についても、添え字が変わるだけで全く同じである。
【００２９】
先ず、Ｇについては、隣り合った垂直ラインでの変化量が（１）式により、１ラインおいた垂直ライン同士での変化量が（２）式によりそれぞれ算出される。なお、（１）式／（２）式では、画素Ｇ２２に対する相関を検出する際の式を示している。一方、Ｒ信号／Ｂ信号では、１ラインおきにしか同じ色の信号が存在しないため、１ラインおいた垂直ライン間の変化量が、（３）式／（４）式によりそれぞれ算出される。また、画素Ｇ３３に対しては、水平／垂直を表わす添え字がそれぞれ１ずつ増加する他に、Ｒ信号とＢ信号で算出方法が入れ替わる。
【００３０】
【数１】
このように、例えば原色ＲＧＢベイヤ配列カラーフィルタを受光面上に有するＣＣＤエリアセンサから出力される画像信号を処理する画像処理装置において、入力された画像信号を異なる分光特性の画素（Ｒ画素／Ｇ画素／Ｂ画素）に対応する信号に分離し、この分離したＲ，Ｇ，Ｂの各信号ごとに変化量を算出した後絶対値化し、この絶対値化した各変化量を加算して相関値とすることにより、相関値算出のために全ての色の画素情報を使用することになるため、ある特定の色に対応した画素の信号のみから算出した相関値に比べ、ある特定の色が変化するようなエッジにおいても、良好な相関検出が可能となる。
【００３２】
しかも、各画素で別々に変化量を算出し、この算出した変化量をそれぞれ絶対値化した後加算することによって相関値を算出すようにしているので、色によって相補的に変化するエッジにおいても良好なエッジ検出が可能となる。また、絶対値化した変化量に対して各変化量ごとに、人間の視覚特性に合わせて設定された係数を掛け合わせた後加算するようにしているので、良好な画像を再現できることになる。
【００３３】
なお、本実施形態では、水平方向および垂直方向の各２方向の計４方向の相関検出に適用した場合について説明したが、これに限定されるものではなく、水平方向または垂直方向の２方向の相関検出にも適用可能である。この場合は、水平方向の相関値を算出する際に、例えば、変化量１算出用に（１）式を用い、変化量２算出用に（６）式を用い、さらに（４）式の代わりに（５）式を用いるようにすれば良い。
【００３４】
【数２】
以上、水平垂直４方向の相関検出について述べたが、斜め４方向の相関検出に関しては、色分離後のＲＧＢの各信号に対し、それぞれ斜め方向の変調成分の絶対値を算出し、Ｒ：Ｇ：Ｂ＝１：４：１の割合で加算し、相関値とする。なお、右上、左上、左下、右下をそれぞれ、Ｄ１方向、Ｄ２方向、Ｄ３方向、Ｄ４方向とする。そして、図５の相関値→補間ゲイン変換回路３０において、水平垂直４方向の場合と同様にして、斜め４方向の補間用ゲインＤ１Ｇａｉｎ，Ｄ２Ｇａｉｎ，Ｄ３Ｇａｉｎ，Ｄ４Ｇａｉｎを補間係数として算出する。
【００３６】
次に、図４の補間部１５におけるＧ，Ｒ，Ｂの各補間部１８，１９，２０の具体的な構成の一例を図９および図１０に示す。なお、図９はＧ補間部１８の構成を、図１０はＲ，Ｂ補間部１９，２０の構成をそれぞれ示している。
【００３７】
先ず、図９において、色分離後のＧのデータは水平垂直４方向、即ち右側、左側、上側、下側の各相関用処理回路７１，７２，７３，７４にそれぞれ供給され、これら相関用処理回路７１，７２，７３，７４において４方向の補間データＧｒ，Ｇｌ，Ｇｔ，Ｇｂが生成される。これら補間データＧｒ，Ｇｌ，Ｇｔ，Ｇｂは、補間する方向にＬＰＦを通すことで生成される。実際には、高輝度用と低輝度用の２つのＬＰＦを設け、それぞれの出力に所定のゲインを掛けた後に加算することで、補間データＧｒ，Ｇｌ，Ｇｔ，Ｇｂの生成が行われる。
【００３８】
補間データＧｒ，Ｇｌ，Ｇｔ，Ｇｂは各々、乗算器７５，７６，７７，７８において、図５に示すＶＨ相関検出部１６で決定された補間係数、即ち水平垂直補間用ゲインＲＧａｉｎ，ＬＧａｉｎ，ＴＧａｉｎ，ＢＧａｉｎがそれぞれ掛けられる。そして、加算器７９〜８１によって加算されることにより、Ｇの補間処理が行われる。補間処理後のＧの画像データは、（７）式で表される。
斜め４方向についても同様に、右上側、左上側、左下側、右下側の各相関用処理回路８２，８３，８４，８５において、Ｄ１／Ｄ２／Ｄ３／Ｄ４の各方向の補間データが生成され、乗算器８６，８７，８８，８９において、図５に示す斜め相関検出部１７で決定された斜め補間用ゲインＤ１Ｇａｉｎ，Ｄ２Ｇａｉｎ，Ｄ３Ｇａｉｎ，Ｄ４Ｇａｉｎがそれぞれ掛けられた後、加算器９０〜９２で足し合わされることによって補間処理が行われる。
【００４０】
また、水平垂直４方向相関検出／補間によるＧの画像データＧｖｈと、斜め４方向相関検出／補間によるＧの画像データＧｄを、状況に合わせて（８）式に示すように混合比を変化させて加算する。混合比の調整は、図５に示すＶＨ‐斜め比較回路３１で算出される斜め補間補正用ゲインＶＨＧａｉｎ，ＤＧａｉｎによって行われる。
Ｇ＝Ｇｖｈ×ＶＨＧａｉｎ＋Ｇｄ×ＤＧａｉｎ ……（８）
【００４１】
以上、Ｇ補間部１８の構成および動作について説明したが、図１０に示すＲ，Ｂ補間部１９，２０の構成についても、図９に示すＧ補間部１８の構成と基本的には同じである。したがって、図１０中、図９と同等部分には同一符号を付して示してある。ただし、右側、左側、上側、下側の各相関用処理回路７１′，７２′，７３′，７４′における補間データの生成法については、Ｇの場合に比べて複雑である。その理由として２つあり、ＲＧ補間用相関検出を行うことと、Ｇ／２成分をＲＢに加えるためである。
【００４２】
そのため、ＲＧ補間用相関検出は、水平（右、左）の補間データ用と垂直方向（上、下）の補間データ用では別々に行う。具体的には、Ｒ画素およびＢ画素の信号からＲ信号／Ｂ信号を補間する際に、水平垂直ＲＢ補間用ゲインＲＧａｉｎＤ，ＬＧａｉｎＤ，ＴＧａｉｎＤ，ＢＧａｉｎＤを、Ｒ／Ｂ専用の補間係数として算出して用いるようにしている。
【００４３】
上述したように、例えば原色ＲＧＢベイヤ配列カラーフィルタを受光面上に有するＣＣＤエリアセンサから出力される画像信号を処理する画像処理装置において、全ての色の画素情報を使用して相関値を算出するとともに、この相関値を基に補間係数を設定し、この設定した補間係数に基づいて補間処理を行うことにより、カラーフィルタ上において各色が飛び飛びで存在していても、解像度／解像感を損なうことなく、良好な画像を再現できることになる。
【００４４】
【発明の効果】
以上説明したように、本発明によれば、カラーフィルタを持つ固体撮像素子から出力される画像信号を処理する画像処理装置において、入力された画像信号を異なる分光特性の画素に対応する２つ以上の各色成分の画像信号に分離し、この色分離した各色成分の画像信号ごとに変化量を算出した後絶対値化し、この絶対値化した各信号を加算する各処理を少なくとも２方向に対応して実行し、当該少なくとも２方向に対応した少なくとも２つの加算結果を補間画素に関して少なくとも２方向の相関値とすることにより、相関値算出のために複数の色の画素情報を使用できるため、ある特定の色が変化するようなエッジにおいても良好な相関検出が可能となるとともに、絶対値化に伴って色によって相補的に変化するエッジにおいても良好なエッジ検出が可能となる。
【図面の簡単な説明】
【図１】本発明による画像処理装置の基本構成を示すブロック図である。
【図２】カラーフィルタの原色ベイヤ配列図である。
【図３】検出部の構成の一例を示すブロック図である。
【図４】補間部の構成の一例を示すブロック図である。
【図５】ＶＨ相関検出部および斜め相関検出部の具体的な構成の一例を示すブロック図である。
【図６】相関値算出回路の具体的な構成の一例を示すブロック図である。
【図７】変化量の算出の概念図である。
【図８】変化量の算出法を説明するための原色ベイヤ配列図である。
【図９】Ｇ補間部の具体的な構成の一例を示すブロック図である。
【図１０】Ｒ，Ｂ補間部の具体的な構成の一例を示すブロック図である。
【符号の説明】
１１…カラーフィルタ、１２…ＣＣＤエリアセンサ、１４…検出部、１５…補間部、１６…ＶＨ相関検出部、１７…斜め相関検出部、１８…Ｇ補間部、１９…Ｒ補間部、２０…Ｂ補間部、２１〜２４，２６〜２９…相関値算出回路、２５，３０…相関値→相関ゲイン変換回路、３１…ＶＨ‐斜め比較回路、３３〜３６…変化量算出回路、３７〜３９…ＬＰＦ（ローパスフィルタ）、４５〜４８…絶対値化回路、４９〜５２…係数付加回路
Claims (9)
- 所定の色配列のカラーフィルタを受光面上に有する固体撮像素子から出力される画像信号に対して、各色成分の画像信号に分離した後、各色成分の画像信号ごとに補間処理を行う画像処理装置において、前記画像信号を補間すべき画素に関して少なくとも２方向にローパスフィルタを通すことによって得られる少なくとも２方向の補間データに補間係数を掛け算し、その掛け算の結果を加算することによって前記補間処理を行う際に、前記補間係数の基となる前記少なくとも２方向の相関の程度を示す相関値を算出する相関値算出回路であって、
前記固体撮像素子から入力された画像信号を異なる分光特性の画素に対応する２つ以上の各色成分の画像信号に分離する色分離手段と、
前記色分離手段により分離された前記各色成分の画像信号ごとに変化量を算出する複数の変化量算出手段と、
前記複数の変化量算出手段により算出された各変化量を絶対値化する複数の絶対値化手段と、
前記複数の絶対値化手段の各出力を加算する加算手段とを備え、
前記色分離手段、前記複数の変化量算出手段、前記複数の絶対値化手段および前記加算手段が前記少なくとも２方向に対応して設けられ、当該少なくとも２方向に対応した少なくとも２つの前記加算手段の各加算結果を前記相関値とする
ことを特徴とする相関値算出回路。 - 請求項１記載の相関値算出回路において、
前記複数の絶対値化手段の各出力に対してそれぞれ所定の係数を掛け合わせて前記加算手段に供給する複数の係数付加手段を有する
ことを特徴とする相関値算出回路。 - 前記所定の係数は、人間の視覚特性に合わせて設定される
ことを特徴とする請求項２記載の相関値算出回路。 - 前記分離手段により分離された１つの信号に対して前記変化量算出手段および前記絶対値化手段が複数系統設けられ、
この複数系統の変化量算出手段は、前記１つの信号に対して互いに異なる算出法で変化量を算出する
ことを特徴とする請求項１記載の相関値算出回路。 - 原色Ｒ（赤）Ｇ（緑）Ｂ（青）ベイヤ配列のカラーフィルタにおいて、前記１つの信号はＧ画素の信号である
ことを特徴とする請求項４記載の相関値算出回路。 - 前記複数の変化量算出手段は、前記分離手段により分離されて入力される各信号を、変化量を算出する方向に対して直交する向きのローパスフィルタを通す
ことを特徴とする請求項１記載の相関値算出回路。 - 所定の色配列のカラーフィルタを受光面上に有する固体撮像素子から出力される画像信号に対して、各色成分の画像信号に分離した後、各色成分の画像信号ごとに補間処理を行う画像処理装置において、前記画像信号を補間すべき画素に関して少なくとも２方向にローパスフィルタを通すことによって得られる少なくとも２方向の補間データに補間係数を掛け算し、その掛け算の結果を加算することによって前記補間処理を行う際に、前記補間係数の基となる前記少なくとも２方向の相関の程度を示す相関値を算出する算出方法であって、
前記固体撮像素子から入力された画像信号を異なる分光特性の画素に対応する２つ以上の各色成分の画像信号に分離し、
この色分離した前記各色成分の画像信号ごとに変化量を算出した後絶対値化し、
次いでこの絶対値化した複数の信号を加算する
各処理を前記少なくとも２方向に対応して実行し、当該少なくとも２方向に対応した少なくとも２つの加算結果を前記相関値とする
ことを特徴とする相関値算出方法。 - 前記絶対値化した複数の信号に対して各信号ごとに所定の係数を掛け合わせた後に加算する
ことを特徴とする請求項７記載の相関値算出方法。 - 前記所定の係数を人間の視覚特性に合わせて設定する
ことを特徴とする請求項８記載の相関値算出方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP34242697A JP3968480B2 (ja) | 1997-12-12 | 1997-12-12 | 相関値算出回路およびその算出方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP34242697A JP3968480B2 (ja) | 1997-12-12 | 1997-12-12 | 相関値算出回路およびその算出方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11177997A JPH11177997A (ja) | 1999-07-02 |
| JP3968480B2 true JP3968480B2 (ja) | 2007-08-29 |
Family
ID=18353652
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP34242697A Expired - Fee Related JP3968480B2 (ja) | 1997-12-12 | 1997-12-12 | 相関値算出回路およびその算出方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3968480B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3914633B2 (ja) | 1998-04-16 | 2007-05-16 | 日本電気株式会社 | 色信号処理装置および色信号処理方法 |
| US6836572B2 (en) | 1998-06-01 | 2004-12-28 | Nikon Corporation | Interpolation processing apparatus and recording medium having interpolation processing program recorded therein |
| JP3926363B2 (ja) | 2004-11-04 | 2007-06-06 | 三菱電機株式会社 | 画素信号処理装置及び画素信号処理方法 |
-
1997
- 1997-12-12 JP JP34242697A patent/JP3968480B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH11177997A (ja) | 1999-07-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4066484B2 (ja) | 画像処理装置および画像処理方法、並びにカメラ | |
| US7973831B2 (en) | Solid-state image sensor and imaging apparatus using the same | |
| TWI504277B (zh) | 影像感測裝置、影像感測器的操作方法、串音修正方法以及偽色誤差修正方法 | |
| US7653240B1 (en) | Color filter array and method | |
| US7065246B2 (en) | Image processing apparatus | |
| US7792356B2 (en) | Imaging device | |
| TWI338511B (ja) | ||
| WO1999059345A1 (fr) | Imageur couleur transistorise | |
| JP4666681B2 (ja) | 画像処理装置および画像処理方法 | |
| JP3968480B2 (ja) | 相関値算出回路およびその算出方法 | |
| JP4135197B2 (ja) | 画像処理装置および画像処理方法、並びにカメラ | |
| JP3576600B2 (ja) | カラー撮像装置 | |
| JP4178571B2 (ja) | 画像処理装置および画像処理方法、並びにカメラ | |
| US6400403B1 (en) | Solid-state imaging device having improved resolution without generating a pseudo signal | |
| JP4122082B2 (ja) | 信号処理装置およびその処理方法 | |
| JPH0470827B2 (ja) | ||
| JP3658012B2 (ja) | 撮像装置 | |
| JP3585710B2 (ja) | カラー撮像装置及び記録媒体 | |
| JP3422027B2 (ja) | カラーカメラ及びその信号処理回路における輝度バランス回路 | |
| JPH089395A (ja) | カラー撮像装置 | |
| JP2585461B2 (ja) | 固体カラーカメラ | |
| JP2003092763A (ja) | 単板式カラービデオカメラ | |
| JP2007329976A (ja) | 画像処理装置および画像処理方法、並びにカメラ | |
| JPS60149286A (ja) | カラ−固体撮像装置 | |
| JP2000308073A (ja) | 撮像素子、画像信号処理装置並びにカメラ装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060518 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060530 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060731 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061205 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070202 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070306 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070409 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070508 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070521 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100615 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100615 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110615 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120615 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130615 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |