JP4317624B2 - 画像処理装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理装置に関し、特に単板式電子カメラ装置などで撮影された原画像データから、各画素がすべての色情報を有する高画質の画像データを生成する画像処理装置に関するものである。
【０００２】
【従来の技術】
一般的に、２次元平面上にマトリクス状に配置された多数の画素ごとに光電変換を行うＣＣＤ（固体撮像素子）などの撮像素子では、いずれかの画素に欠陥がある場合、その欠陥画素では正常な出力すなわち画素値が得られない。したがってこのような撮像素子を用いる場合、その欠陥画素の周囲に位置する画素の画素値を用いて、その欠陥画素の画素値を補正する必要がある。
【０００３】
通常、単板式の撮像素子を使った撮像装置では、各画素ごとに１つの原色（例えばＲＧＢのどれか）に対する画素値しか持たない略市松状の原画像データから、各画素ごとにすべての色情報（ＲＧＢあるいは輝度値と色差信号）を持つ画像データを補間処理して作り出している。したがって、撮像素子から得られた原画像データに欠陥画素の画素値が含まれている場合、その欠陥画素の影響がその周囲に拡散するため、その画質が著しく劣化する。
【０００４】
従来、このような欠陥画素の画素値を補正する場合、欠陥画素の１画素前あるいは数画素前の同色画素の画素値、あるいは欠陥画素前後の同色画素の平均値などを用いて欠陥画素の画素値を置換していた。さらに２画素以上前後の画素値を組み合わせて用い、さまざまな条件に基づいて適応的に欠陥画素の画素値を置換にするなどの工夫が行われてきた（例えば、特許２６３６２８７号、特開平７−３３６６０２号公報など参照）。
【０００５】
【発明が解決しようとする課題】
これら画素値の置換処理を行うことにより、撮像素子で得られた原画像データの欠陥は目立たなくなるが、単板式の撮像素子の場合は、このような置換処理の後で上記のような補間処理を行う必要があるため、周囲の画素値を用いて置換された欠陥画素の画素値が、置換後の補間処理により周辺の画素に拡散してしまい、十分な画質の画像データを得ることができないという問題点があった。
【０００６】
欠陥画素の直前に位置する同色画素の画素値を用いて欠陥画素の画素値を置換する方法では、図２２（ａ）のように欠陥画素Ｇ４３が明るい領域１０１と暗い領域１０２の境界付近にあった場合、画素Ｇ４３の画素値はその直前に位置する同色の画素Ｇ２３の画素値で置換され、図２２（ｂ）に示すように、本来明るい画素を示すべき画素Ｇ４３の画素値は暗い画素を示す画素値で置換される。そして、このように置換された画素Ｇ４３の画素値は、その後の補間処理においてその近傍の補間点でのＧ色画素値の生成に使われるため、偽の情報が補間領域の大きさに応じて拡散する。
【０００７】
すなわち、補間点の各色情報を求めるのに用いる補間領域に欠陥画素が存在する場合、所定の色情報に欠陥画素の画素値が含まれるため、その欠陥画素を含む補間領域を用いるすべての補間点に欠陥画素の画素値が拡散することになる。したがって、補間点を中心とする３×３画素の補正領域を用いる場合は、図２２（ｃ）に示すように、明るい領域１０１において画素Ｇ４３を中心として３×３画素の暗い領域が現れることになる。高画質を得るためもっと広い補間領域を使って高次の補間処理を行う場合には、さらにその影響が広がってしまうという問題があった。
【０００８】
また、このような現象は、撮像素子の欠陥画素を補うための画素値置換処理に起因して発生するだけでなく、画素値の置換処理を行った後に補間処理を行う場合には、いずれの場合も発生しうる現象である。
本発明はこのような課題を解決するためのものであり、撮像素子で得られた画素値を補間処理して新たな画像データを得る場合、複雑な条件に基づく適応的な処理を行うことなく高速処理でき、その補間処理に先立って他の画素値で置換した画素の影響を抑制して高画質の画像データを得ることができる画像処理装置を提供することを目的としている。
【０００９】
【課題を解決するための手段】
このような目的を達成するために、本発明による画像処理装置は、原画像データに含まれる各画素値のうち、画素値置換が不要な画素の画素値については画素値の置換なしを示す置換情報を画素値に付加し置換情報付画像データとして出力し、画素値置換が必要な画素の画素値についてはその画素値を所定の画素値で置換するとともに画素値の置換ありを示す置換情報をその置換した画素値に付加し置換情報付画像データとして出力する置換部を設け、補間部で、この置換部から出力された各置換情報付画像データのうち、補間点を含む所定の補間領域内に位置する同一色の画素の画素値から、所定の演算式に基づきその補間点における画素値を各色情報ごとに補間算出してすべての色情報を有する補間画素値を出力するとともに、その算出に用いるいずれかの画素の置換情報が置換ありを示す場合は、その演算式とは異なる演算式を用いるようにしたものである。
【００１０】
また、補間点の周辺に位置する画素であって、補間領域を含むより広い範囲の補正領域内に位置する複数の画素の画素値から、所定の演算式に基づきその補間点の画素値の高い周波数成分を補正するための画素補正成分を算出するとともに、その算出に用いるいずれかの画素の置換情報が置換ありを示す場合は、その演算式とは異なる演算式に基づき画素補正成分を算出する補正成分算出部を設け、補正部で、この補正成分算出部で算出された補間点での画素補正成分を、補間部から出力されたその補間点の補間画素値に加算あるいは積算して各色情報ごとに当該補間画素値を補正し、その補間点におけるすべての色情報を有する新たな画素値として出力するようにしたものである。
【００１１】
さらに、置換部で、撮像素子の各画素の欠陥有無を示す欠陥情報に基づき、各画素値の置換要否を判断するようにし、あるいは画素値を置換する場合、その画素値の近傍に位置する同色画素から得た画素値を用いて置換するようにしたものである。また補正成分算出部で、補正領域内に位置する画素のうち、原画像データの輝度成分を代表する色情報を有する画素値を用いて、その補間点での画素補正成分を算出するようにしたものである。
【００１２】
補間画素値の算出に用いる演算対象画素にその置換情報が置換ありを示す画素を含む場合、あるいは画素補正成分の算出に用いる演算対象画素にその置換情報が置換ありを示す画素を含む場合、それぞれ通常の演算式と比較してその画素またはその画素を含む複数の演算対象画素の重み係数を削減あるいはゼロとした異なる演算式を用いるようにしたものである。また画素補正成分の算出に用いる演算対象画素にその置換情報が置換ありを示す画素を含む場合、補正なしを示す画素補正成分を出力するようにしたものである。
【００１３】
より具体的には、置換部から出力された置換情報付画像データを構成する各画素値を所定画素ライン数分だけ並列して同一画素列ごとに画素ブロックとして順次取込むことにより、これら連続して取り込まれた所定数の画素ブロックからサブマトリクスを構成し、そのサブマトリクスに対して予め設定されている各領域に含まれる画素の画素値の和および置換情報の論理和をそれぞれの領域ごとの領域値として算出し、これら各領域値を画素ブロックの取込みに同期して並列出力する領域値算出部をさらに備え、補間部で、この領域値算出部から並列出力される各領域値を選択的に用いて、処理対象サブマトリクスの補間点における補間画素値をサブマトリクスごとに順次算出するようにしたものである。さらに、補正成分算出部で、この領域値算出部から並列出力される各領域値を選択的に用いて、処理対象サブマトリクスの補間点での画素補正成分をサブマトリクスごとに順次算出するようにしたものである。
【００１４】
また、撮像素子の欠陥画素位置を示す情報として直前の欠陥画素位置との相対画素位置情報を用いて、原画像データを構成する各画素が欠陥画素か否かを判断し、その判断結果を欠陥情報として各画素に同期して置換部に出力する欠陥情報生成部をさらに備え、置換部で、この欠陥情報生成部からの欠陥情報に基づき、原画像データに含まれる各画素値が欠陥画素に対応するものか否かに応じて、それぞの画素値の置換要否を判断するようにしたものである。
【００１５】
【発明の実施の形態】
次に、本発明について図面を参照して説明する。
図１は本発明の一実施の形態である画像処理装置のブロック図であり、１はＣＣＤなどの撮像素子から出力される画像データであって、各画素値が所定色フィルタに対応する色情報のレベルを示す原画像データ、１０はこのような原画像データ１から２次元平面上に配置された各補間点ごとにすべての色情報のレベルを示す画素値からなる新たな画像データ９を生成する画像処理装置である。
【００１６】
画像処理装置１０において、２は画素の欠陥有無を示す欠陥情報１Ｄに基づき原画像データ１うち欠陥画素の画素値については他の画素値で置換するとともに置換ありを示す置換情報を画素値とともに置換情報付画像データ３として出力し、正常画素の画素値については置換なしを示す置換情報をその画素値とともに置換情報付画像データ３として出力する置換部である。
【００１７】
また、４は置換部２から順次出力される置換情報付画像データ３を一時的に記憶するバッファ部、６はこのバッファ部３に記憶されている置換情報付画像データ５を読み出し、所定画素領域内に位置する複数の画素の画素値から、対応する補間点ごとにすべての色情報のレベルを示す画素値を補間処理して生成するとともに、その補間処理に用いる各画素値にその置換情報が置換ありを示す画素値が含まれる場合は、通常の演算式とは異なる演算式を用いて補間処理し、得られた各画素値を新たな画像データ９として出力する補間処理部６である。
【００１８】
置換部２は、図２（ａ）に示すように、原画像データ１を２画素分遅延させる遅延部２１と、欠陥情報１Ｄに基づき遅延部２１の出力と原画像データ１のいずれかを選択出力する信号切替部２２と、この信号切替部２２の出力２３に、その画素値の置換有無を示す置換情報（ここでは、欠陥情報１Ｄ）を付加し、置換情報付画像データ３として出力する置換情報付加部２４とから構成されている。
【００１９】
一般的なＣＣＤでは、各画素の画素値がアナログ値として画素ライン方向に離散して順に出力される。ここではＣＣＤから出力されたこれら画素値が前もってＡ／Ｄ変換され、ディジタル値の原画像データ１として画像処理装置１０へ順次入力されるものとする。図２（ｂ）に示すように、画素Ｒ３３が欠陥画素である場合、遅延部２２で保持しておいたその直前に位置する同色画素Ｒ３１の画素値が画素Ｒ３３の画素値として用いられる。また欠陥画素でない場合は読み込まれた原画像データ１がそのまま出力される。
【００２０】
通常、ＣＣＤの欠陥画素位置は、その欠陥位置を示すアドレス情報として提供される。ここでは、後述する欠陥情報生成部（図２０参照）などにより、読み込んだ原画像データ１の画素位置を示すアドレスと、欠陥位置のアドレス情報とが比較され、その一致に応じて原画像データ１と同期して、その原画像データ１の画素値が置換すべき（欠陥画素の）ものであるか否かを示す欠陥情報１Ｄが入力されるものとする。置換情報付加部２４では、図２（ｃ）に示すように、信号切替部２２で置換処理された後の画素値を示す出力２３の各ビットＤ０〜Ｄｋに、欠陥情報１Ｄに応じて置換情報を示すビットＤｄ（置換なし＝０，置換あり＝１）が付加され、置換情報付画像データ３が出力される。
【００２１】
画素値の置換方法としては、図３に示すように、その欠陥画素の前後に位置する同色画素の画素値を用いて欠陥画素の画素値を置換するようにしてもよい。この場合、図３（ａ）示すように、２つの遅延部２１Ａ，２１Ｂを直列に接続し、欠陥画素でない場合は遅延部２１Ａの出力を選択し、欠陥画素の場合は平均算出部２４で算出された遅延部２１Ｂの出力と原画像データ１の平均値を選択すればよい。これにより、図３（ｂ）に示すように、画素Ｒ３３が欠陥画素の場合、その直前の同色画素Ｒ１３と直後の同色画素Ｒ５３の平均画素値が、画素Ｒ３３の新たな画素値として出力される。
【００２２】
以上では、置換部２の構成として一般的な画素置換方法を用いた場合を例として説明したがこれに限定されるものではなく、他の画素置換方法を用いてもよい。また、欠陥画素の画素値を置換する場合を例として説明するが、その置換の目的はいずれでもよく、画素値の置換処理後に補間処理する構成であれば本発明を適用できる。
但し、本発明では、画素値置換の有無を示す置換情報を各画素値ごとに付加する必要がある。この置換情報を付加する位置はいずれでもよく、図２（ｃ）に示したように画素値２３の最上位ビット側でもよく、また最下位ビット側やビット間でもよい。
【００２３】
次に、図４を参照して、本発明の第１の実施の形態による補間処理部６について説明する。図４は補間処理部の構成例を示すブロック図であり、ここでは輝度値を代表する画素値により補間画素値を補正する機能を有する補間処理部を例として説明する。
図４において、補間処理部６はバッファ部４から読み出した置換情報付画像データ５について補間処理を行い補間画素値６２を出力する補間部６１と、置換情報付画像データ５のうち輝度値を代表する画素値から輝度補正成分６４を算出する補正成分算出部６３と、輝度補正成分６４を用いて補間画素値６２を補正し所望の画像データ９を出力する補正部６５とから構成されている。
【００２４】
補間部６１および補正成分算出部６３では、読み込んだ置換情報付画像データ５の置換情報に基づいてそれぞれの演算処理に用いる画素領域内に置換画素があるか否か判断し、その判断結果に応じて演算処理に用いる演算式を選択して用いている。
図５は補間処理部６の動作を示す説明図であり、ここでは補間処理および補正成分算出処理に用いる画素領域内に置換画素がない場合に用いる通常の演算式が示されている。以下では、原画像データ１（置換情報付画像データ５）の各画素位置からずれた位置すなわち画素と画素との間に補間点を設定した場合について説明するが、これに限定されるものではなく画素上に補間点を設定してもよい。
【００２５】
図５（ａ）では、画素Ｒ33、Ｇ32、Ｇ43、Ｂ42に囲まれた位置に補間点Ｂｂが設定さている。この場合、補間部６１では、図５（ｃ）に示す数式に基づき、補間点Ｂｂを含む２画素×２画素の補間領域５１Ｇまたは３画素×３画素の補間領域５１Ｒ，５１Ｂに含まれる同一色の周囲画素から補間画素値６２（ｇＢｂ，ｒＢｂ，ｂＢｂ）が算出される。
【００２６】
これと並行して、補正成分算出部６３では、補間点Ｂｂの周囲にあり輝度値を代表する複数の画素の画素値と、図５（ｂ）に示すフィルタ係数および補正倍率（重み係数）ｇｆとを用いて、図５（ｃ）に示す数式により、補間点Ｂｂにおける各色情報の画素値を補正する画素補正成分６４（ＨＦＢｂ）が生成される。特に、画素補正成分６４の算出に用いる画素として、補間部６１での補間処理に用いた補間点の周囲の画素の範囲と比較して、補間点Ｂｂを中心としたより広い範囲、ここではフィルタ係数に対応する４画素×４画素の補正領域５２内に位置する所定画素が用いられる。
【００２７】
したがって、補間部６１で算出される補間画素値６２には、補間点の周辺画素が持つ高い空間周波数成分が含まれないが、画素補正成分６４には、その補正領域５２とフィルタ係数に応じた特性で高い空間周波数成分が含まれることになる。その後、補正部６５では、図５（ｃ）の演算式に示されているように、画素補正成分６４が補間画素値６２に加算（あるいは積算）されて、各色情報ごとに補間画素値６３が補正され、補間点Ｂｂにおける各色情報の新たな画素値（ｇ'Ｂｂ，ｒ'Ｂｂ，ｂ'Ｂｂ）すなわち所望の画像データ９が算出される。
【００２８】
一方、これら補間処理および補正成分算出処理に用いる画素領域内に置換画素がある場合、図６に示すように、置換画素と補間点との位置関係により、それぞれ対応する演算式として異なる演算式あるいは係数が用いられる。例えば、図６（ａ）に示すように、補間領域５１Ｇ内のＧ画素（画素Ｇ32または画素Ｇ43）が置換画素の場合、補間点ＢｂにおけるＧ成分ｇＢｂ算出時に置換画素の重みをゼロとしてその画素値を用いず、置換画素ではないもう一方の正常画素の画素値がＧ成分ｇＢｂとしてそのまま用いる。
【００２９】
図６（ｂ）に示すように、補間領域５１Ｒ内で補間点Ｂｂに近いＲ画素（画素Ｒ33）が置換画素の場合、置換画素の影響を低減するために補間点ＢｂにおけるＲ成分ｒＢｂ算出時の画素Ｒ33の重みを削減し、例えば補間領域５１Ｒ内の各Ｒ画素Ｒ33，Ｒ31，Ｒ51，Ｒ53の重みを等しくして、これら画素値の平均値をＲ成分ｒＢｂとして用いる。なお、図５（ａ）に示すように補間領域５１Ｒ，５１Ｂは補間点Ｂｂを中心として対称位置にあり、図６（ｂ）のＲ画素をＢ画素に置き換えることにより、画素Ｂ42が置換画素の場合のＢ成分ｂＢｂの算出演算式にも適用できる。
【００３０】
図６（ｃ）に示すように、補間領域５１Ｒ内で最も補間点Ｂｂに近いＲ画素以外のＲ画素（画素Ｒ31、Ｒ51、Ｒ53）のいずれか１つ以上が置換画素の場合、置換画素の影響を低減するとともに、残りの画素による補間の偏りが発生しないように、補間点ＢｂにおけるＲ成分ｒＢｂ算出時のこれら画素Ｒ31、Ｒ51、Ｒ53の重みをすべてゼロとし、最も補間点Ｂｂに近い画素Ｒ33の画素値をＲ成分ｒＢｂとして用いる。なお、図５（ａ）に示すように補間領域５１Ｒ，５１Ｂは補間点Ｂｂを中心として対称位置にあり、図６（ｃ）のＲ画素をＢ画素に置き換えることにより、画素Ｂ22，Ｂ24，Ｂ44のいずれか置換画素の場合のＢ成分ｂＢｂの算出演算式にも適用できる。
【００３１】
さらに、図６（ｄ）に示すように、補正領域５２内のＧ画素（画素Ｇ21，Ｇ23，Ｇ32，Ｇ34，Ｇ41，Ｇ43，Ｇ52，Ｇ54）のいずれか１つ以上が置換画素の場合、残りの画素による画素補正成分の算出に偏りが発生しないように、補間点Ｂｂにおける画素補正成分ＨＦＢｂ算出時のこれら画素Ｇ21，Ｇ23，Ｇ32，Ｇ34，Ｇ41，Ｇ43，Ｇ52，Ｇ54の重みをゼロとし、画素補正成分ＨＦＢｂとしてゼロ（補正なし）を用いる。
【００３２】
図５および図６では、図５（ａ）に示す補間点Ｂｂの場合、すなわち補間点の右上にＢ画素（画素Ｂ42）が存在する場合について説明したが、他の位置関係の補間点でも同様である。原画像データ１（置換情報付画像データ５）の各画素位置とは異なる位置すなわち画素間に補間点を設けた場合、図５以外のパターンとして図７（ａ）〜図７（ｃ）に示す補間点Ａｂ（補間点の左上にＢ画素が存在する場合），Ａｒ（補間点の左上にＲ画素が存在する場合），Ｂｒ（補間点の右上にＲ画素が存在する場合）がある。
【００３３】
図７（ａ）については、図５（ａ）の画素配置例を左右反転（または９０゜回転）させたものとみなすことができ、補間領域５１Ｒ，５１Ｂおよび図５（ｂ）のフィルタ係数を左右反転（または９０゜回転）させるとともに、各演算式の画素値を入れ替えて用いればよい。また、図７（ｂ）および図７（ｃ）については、図７（ａ）および図５（ａ）についてＲ画素とＢ画素とが入れ替わったものと見なすことができ、ＲとＢとを入れ替えて算出すればよい。したがって、いずれの場合も、図５（ｃ）および図６と同様の演算式を用いて、置換画素の有無に応じた補間処理および画素補正処理を実行できる。
【００３４】
このように、補間処理に用いる補間領域５１Ｇ，５１Ｒ，５１Ｂおよび補正成分算出処理に用いる補正領域５２内の演算対称画素に置換画素が含まれる場合、補間処理あるいは補正成分算出処理に用いる演算式として通常とは異なる演算式、例えば置換画素の画素値の重みを削減しあるいはゼロとする演算式を用いるようにしたので、置換画素による影響を低減あるいは抑止できる。これにより、周囲の画素から得た所定の画素値で置換された置換画素の画素値をそのまま用いる場合と比較して、その置換画素と周囲画素との画素値差がある場合でも、置換後の補間処理あるいは画素補正処理による画素値差の拡散が抑制され、高画質の画像信号が得られる。
【００３５】
図８〜１０は置換画素（欠陥画素）の影響を示す画像処理結果であり、図８は置換画素置換後に単に補間処理を行った場合、図９は本発明を補間処理にのみ適用した場合、図１０は本発明を補間処理および補正成分算出処理に適用した場合について、その画像処理結果をそれぞれ示している。ここでは、前述した図２２と同様に暗い領域と明るい領域の境界付近において、明るい領域にある置換画素の画素値が暗い領域の画素値により置換された場合が例として示されている。
なお、図８〜１０の画像処理結果は、前述の図５と同様に、原画像データ１の各画素位置とは異なる位置に補間点を設けて得たものであり、これら画像処理結果の画素（四角形）位置と元の置換画素位置（図示せず）とは一致していない。
【００３６】
図８では、元々明るい領域にある置換画素の画素値が暗い領域の画素値により置換され、その値をそのまま用いて補間処理が行われたため、その暗い領域の画素値が補間処理により拡散され、図中破線で囲まれた明るい領域内の位置すなわち置換画素付近に、暗い画素が数個発生していることがわかる。
一方、図９では、本発明を補間処理で適用し、補間領域に置換画素が含まれる場合は、通常とは異なる演算式ここでは置換画素値の重みを削減あるいはゼロとして用いるようにしたものである。
【００３７】
したがって、図９では、置換画素の画素値が暗い領域の画素値で置換された場合でも、図中破線で囲まれた明るい領域内の位置すなわち置換画素付近では、暗い画素の画素値レベルが低減され、画素置換後の補間処理による画素値差の拡散が抑制されていることがわかる。
さらに、図１０では、本発明を補間処理および画素補正処理に適用したものであり、図中破線で囲まれた明るい領域内の位置すなわち置換画素付近では、暗い画素の発生がほとんどなく、置換画素置換後の補間処理あるいは画素補正処理による画素値差の拡散が抑止され、高画質の画像データが得られていることがわかる。
【００３８】
また、補間部６１において補間点を含む所定の補間領域５１Ｇ，５１Ｒ，５１Ｂ内に位置する同一色の画素の画素値から、その補間点における各補間画素値６２をそれぞれ算出するとともに、補正成分算出部６３において補間部６１で用いる補間領域を含むより広い範囲の補正領域５２内に位置する複数の画素の画素値から、その補間点での画素補正成分６４を算出し、補正部６５においてこの画素補正成分６４を用いて各補間画素値６２を補正するようにしたので、補間部６１における低次補間では得られない高い空間周波数成分が、画素補正成分６４を用いた補正により補われ、高い空間周波数成分を含む新たな画素値が得られる。
【００３９】
これにより、広い範囲の画素の画素値を用いてすべての色情報についてそれぞれ高次補間を行ったり、補間点周辺のさまざまな条件による複雑な補間処理を行うことなく、比較的簡素な処理により高い周波数成分を有する十分な画質の画像を得ることができる。
【００４０】
また、補正成分算出部６３において、画素補正成分６４を算出する場合、図５に示すように、画像信号の輝度成分を代表する色情報を有する複数の画素の画素値、例えばベイヤ配列の画像信号ではＧ画素の画素値のみを用いて画素補正成分６４を算出しているため、補正部６５において各色情報の画素の画素値に対して、輝度成分についてのみ補正することができ、色バランスを変化させることもない。また、輝度成分を代表する画素は、通常、画素数が多く、最も高い周波数成分を有しているので、同色の画素のみから補間した画素値に比べて、より高い周波数成分を含む新たな画素値を得ることができる。
【００４１】
次に、図１１を参照して、本発明の第２の実施の形態による補間処理部６Ａについて説明する。図１１は補間処理部の構成例を示すブロック図である。
前述した図４では、補間部６１および補正成分算出部６３において置換情報付画像データ５をバッファから直接取り込む場合について説明したが、本実施の形態では図１１に示すように領域値算出部６０を設けて置換情報付画像データ５を取り込んで前処理し、補間部６１Ａおよび補正成分算出部６３Ａに分配するようにしたものである。
【００４２】
図１１において、６０は置換情報付画像データ５を取り込み、補間点を中心とする複数の画素からなるサブマトリクス上に予め設定されている各画素領域ごとに、その画素領域に属する画素の画素値の和と置換情報の論理和とを領域値６０Ａとして算出出力する領域値算出部である。この領域値算出部６０で得られた各領域値６０Ａは、画素ブロックの取込みに同期して並列出力される。
【００４３】
一方、補間部６１Ａおよび補正成分算出部６３Ａで行われる処理は、前述の図４の補間部６１および補正成分算出部６３と同様であるが、置換情報付画像データ５を直接取り込むのではなく、領域値算出部６０から並列出力される各領域値６０Ａを選択的に用いて、対応するサブマトリクスの補間点における補間画素値６２および画素補正成分６４を順次算出出力する。
【００４４】
図１２は領域値算出部の動作を示す説明図であり、（ａ）は置換情報付画像データ５の２次元平面画像、（ｂ）はサブマトリクス、（ｃ）はサブマトリクスに設定された領域群を示している。
領域値算出部６０では、図１２（ａ）に示すように、置換情報付画像データ５を構成する各画素値を所定画素ライン数分（ｊ方向）、ここでは画素補正成分６４の算出に必要な画素ライン数として４画素ライン分だけ並列して同一画素列ごとに画素ブロック３１として順次取込む。
【００４５】
そして、図１２（ｂ）および図１２（ｃ）に示すように、これら連続して取り込んだ所定数（ｉ方向）、ここでは画素補正成分６４の算出に必要な画素列数として４画素列分の画素ブロック３１から、補間点ｘを中心とするサブマトリクス３２を構成する。サブマトリクス３２内には補間点ｘを中心として各領域群Ａ〜Ｌが予め設定されている。これにより、領域値算出部６０での画素ブロック３１の取り込みに応じて、サブマトリクス３２（および補間点ｘ）が、２次元平面画像上をｉ方向に１画素分ずつシフトしていくことになり、画素ブロックの取り込みに同期して補間点ｘの新たな画素値を順次算出することにより、パイプライン処理が可能となる。
【００４６】
領域値算出部２では、このようにして構成されるサブマトリクス３２のうち、図１２（ｃ）に示すように、補間点ｘを中心として予め設定されている各画素領域Ａ〜Ｌごとに、その画素領域に属する画素の画素値の和すなわち領域値６０Ａを算出するとともに、これら各領域値を画素ブロック３１の取込みに同期して並列出力する。そして、補間部６１Ａおよび補正成分算出部６３Ａでは、これら並列出力される各領域値を選択的に用いて、対応するサブマトリクスの補間点における補間画素値６２および画素補正成分６４を順次算出出力する。
【００４７】
なお、各画素領域は、後段の補間部６１Ａおよび補正成分算出部６３Ａで用いる演算式に基づき設定すればよく、図１２（ｃ）には、前述の第１の実施の形態で説明した補間処理および画素補正成分算出処理を用いる場合の画素領域Ａ〜Ｌが示されている。
以下では、画素領域としてこれら画素領域Ａ〜Ｌが予め設定されている場合を例として説明する。
【００４８】
図１３は領域値算出部の構成例を示すブロック図である。
図１３において、１１〜１４は、それぞれ直列接続された３つの１ピクセルクロックディレイ１１１〜１１３，１２１〜１２３，１３１〜１３３，１４１〜１４３からなるシフトレジスタであり、それぞれ画素ブロック３１の各画素値Ｖi1〜Ｖi4ごとに並列的に設けられている。なお、１ピクセルクロックディレイ（以下、ディレイという）とは、画素ライン方向（ｉ方向）の画素クロック信号に同期して、入力された画素値を遅延出力するラッチ回路である。
【００４９】
したがって、連続する４つの画素ブロック３１が順次取り込まれた場合、シフトレジスタ１１〜１４の各ディレイの出力から、サブマトリクス３２の各画素位置における画素値が出力される。そして、必要に応じて加算付加器１５〜１８により、画素領域を構成する複数の画素値が加算されるとともにその置換情報の論理和が算出しれ、それぞれの領域値が得られる。このようにして、領域値算出部６０では、取り込まれたサブマトリクス３２から各領域値６０Ａ（Ａ〜Ｌ）が算出され並列的に出力される。
【００５０】
図１５は加算付加器の構成例を示すブロック図であり、２つの置換情報付画像データ１５０，１５１のうち、それぞれの画素値１５０Ａ，１５１Ａは加算器１５２で加算され、置換情報１５０Ｄ，１５１ＤはＯＲゲート１５３により論理和が算出され、これらが新たな置換情報付画素値１５４として出力される。
【００５１】
図１４は補間部および補正成分算出部の構成例を示すブロック図である。
補間部６１Ａおよび補正成分算出部６３Ａにおいて、２０１〜２０９は補間点ｘとその右上画素または左上画素の色成分との位置関係を示す選択信号ＡＢ／ｒｂに基づき４入力（Ｂｒ，Ｂｂ，Ａｒ，Ａｂ）のうちのいずれかを選択出力する選択部である。なお、ここでのＡ，Ｂは図１２（ｃ）のＡ，Ｂ領域に対応しており、ＢｂとはＢ領域すなわち補間点ｘの右上にＢ画素が存在する位置関係である場合を示している。
【００５２】
したがって、補間点ｘの右上にＢ画素が存在する位置関係の場合は選択信号ＡＢ／ｒｂが「Ｂｂ」となり、各選択部２０１〜２０９において入力Ｂｂの信号が出力Ｑから出力される。
補正成分算出部６３Ａの加算付加器１１５〜１１８は、前述した図１５の構成と同じである。
【００５３】
補間部６０ＡのＡＢ係数変更部２１１，２１２は、例えば図１６に示すような構成をなしており、入力される２つの領域値Ａ，Ｄ（またはＢ，Ｄ）にそれぞれ含まれる置換情報に基づき、これら領域値から補間点ｘのＧ成分ｇＡ（ｇＢ）を得るための演算式の係数が切り替え選択される。特に、ＡＢ係数変更部２１１では、図５（ｃ）および図６（ａ）に示す演算式に基づき位置関係ＢｒおよびＢｂの場合での補間点ｘにおけるＧ成分を算出し、ＡＢ係数変更部２１２では、位置関係ＡｒおよびＡｂの場合での補間点ｘにおけるＧ成分を算出している。
【００５４】
補間部６０ＡのＲＢ係数変更部２２１，２２は、例えば図１７に示すような構成をなしており、図５（ｃ）および図６（ｂ），（ｃ）に示す演算式を用いて、入力される３つの色成分値ｒ１，ｒ２，ｒ３（またはｂ１，ｂ２，ｂ３）にそれぞれ含まれる置換情報に基づき、これら色成分値から補間点ｘにおけるＲ成分ｒｘ（またはＢ成分ｂｘ）を得るための演算式の係数が切り替え選択される。
【００５５】
また補正成分算出部６２ＡのＨＦ係数変更部２２３は、例えば図１８に示すような構成をなしており、図５（ｃ）および図６（ｄ）に示す演算式を用いて、入力される３つのＧ成分値ｇｘ，ｇ１，ｇ２にそれぞれ含まれる置換情報に基づき、これら色成分値から補間点ｘにおける画素補正成分６４（ＨＦ）を得るための演算式の係数が切り替え選択される。実際には置換画素が含まれる場合、補正なしを示す値が選択出力される。
これら図１４〜１８で用いられている２入力セレクタは、選択信号ＳＥＬが「０」すなわち置換画素でない場合に「入力０」側を出力Ｑとして選択し、選択入力ＳＥＬが「１」すなわち置換画素の場合に「入力１」側を出力Ｑとして選択する。
【００５６】
このようにして、補間部６０Ａで補間画素値６１（ｇｘ，ｒｘ，ｂｘ）が算出されるとともに、補正分算出部６２Ａで画素補正成分６３（ＨＦ）が算出され、補正部６５において、画素補正成分６３により補間画素値６１が補正される。図１９は補正部の構成例を示すブロック図である。同図において、８１は画素補正成分６４に対して２の累乗値を積算（除算）する複数の積算器からなる積算部であり、各積算器が互いに並列接続されている。８２は補正倍率（重み係数）ｇｆに基づき積算部８１の各積算器の出力のうちの１つ以上を選択的に加算する加算器である。
【００５７】
８４は補間画素値６２（ｇｘ，ｒｘ，ｂｘ）に対して加算器８２の出力８３を個別に加算し、画素補正成分７により補正された補間点における新たな補間画素値（ｒ'ｘ，ｂ'ｘ，ｇ'ｘ）すなわち所望の画像データ９として出力する加算器である。したがって、補正倍率ｇｆを任意に選択入力することにより、このｇｆに応じた強さだけ補間画素値５を補正することができる。また、積算部８１として、２の累乗値を積算する複数の積算器で構成するようにしたので、簡素な回路構成で任意の補正倍率ｇｆを画素補正成分６４に積算できる。なお、画素補正成分６４の基準レベルが補間点の位置に応じて変化する場合は、補間点の位置情報に応じて、ｇｆを自動的に切り替え選択することにより、画像補正成分６４の基準レベルを調整できる。
【００５８】
このように、第２の実施の形態では、領域値算出部６０を設けて、サブマトリクス３２上に予め設定されている各画素領域ごとに、その画素領域に属する画素の画素値の和を領域値６０Ａとして算出するとともに、これら各領域値６０Ａを画素ブロック３１の取込みに同期して並列出力し、補間部６１Ａおよび補正成分算出部６３Ａにおいて、これら並列出力される各領域値を選択的に用いて、対応するサブマトリクス３２の補間点における補間画素値および画素補正成分を順次算出出力するようにしたものである。
【００５９】
したがって、画素ブロック３１の取込みに同期して、サブマトリクス３２が置換情報付画像データ５の２次元平面画像上をシフトしていくとともに、そのサブマトリクス３２に対応する補間点における各色情報の補間画素値として、画素補正成分６４により補正された新たな補間画素値９が得られ、結果として画素ブロック３１の取込みに同期したパイプライン処理が実現できる。これにより、ＤＳＰなどを用いて数値演算することにより補間処理を行う場合と比較して、より高速に十分な画質の補間画素値を算出できる。
【００６０】
また、置換部２で置換処理された画素値に対してそれぞれ置換の有無を示す置換情報を付加して置換情報付画像データを生成するとともに、補間処理部６でこれら置換情報付画像データを読み込んで、その画素値に付加されている置換情報に基づき、補間処理および補正成分算出処理に用いる演算式の係数を各回路部で切り替え制御するようにしたので、画素値とは別にその画素値に対応する置換情報を各回路部へ配信する場合と比較して回路構成が大幅に簡略化され、特に過去に取り込んだ画素値を遅延保持して演算するパイプライン処理において、別回路を設けてそれぞれの画素値に対する置換情報を各画素に同期して個別に提供する必要がなくなり極めて効果的である。
【００６１】
以上の説明した第１および第２の実施の形態では、サブマトリクスとして４画素×４画素の画素領域を用い、原画像データ１（置換情報付画像データ５）の各画素の間に補間点を設けた場合について説明したが、これに限定されるものではない。例えばサブマトリクスの一辺の画素数を奇数個に設定し、その中央に位置する画素上に補間点を設けた場合でも本発明を適用でき、前述と同様の作用効果が得られる。
【００６２】
前述の図１では、原画像データ１に同期して各画素の欠陥有無を示す欠陥情報１Ｄが入力される場合を前提として説明した。一般には、ＣＣＤの各画素のうち欠陥画素がどこに存在するかを示す欠陥画素位置情報は、ＣＣＤから出力される２次元画像上のアドレスとして提供されるため、これに基づいて欠陥情報１Ｄを生成する必要がある。
図２０は欠陥情報を生成する欠陥情報生成部の構成例を示すブロック図である。ここでは、ＣＣＤの欠陥画素位置情報が予め相対アドレス情報により表現しておくものとする。
【００６３】
相対アドレス情報とは、２次元画像上の画素走査方向順に並べた複数の欠陥画素アドレスについてそれぞれのアドレス間の相対値（差分）を示す情報である。欠陥画素の相対アドレス情報９１Ａ，９１Ｂ，９１Ｃ‥は、ＣＣＤからの画像データ出力が停止する期間、例えば水平ブランキング期間などの短い期間に、次の１画素ライン上に位置する欠陥画素の分だけデータバス９８を介して内部バッファメモリ９０にロードされる。これら相対アドレス情報９１Ａ，９１Ｂ，９１Ｃ‥は、実際の相対アドレスを示す相対アドレス値９３とその相対アドレス値がどのビットエリアのものかを示すエリア情報９２から構成されている。
【００６４】
アドレス制御部９４は、内部バッファメモリ９０から相対アドレス情報９１Ａの相対アドレス値９３を読み出し、そのエリア情報９２に基づき欠陥画素アドレスレジスタ９５のいずれかのビットエリアへ加算する。
一方、画素アドレスレジスタ９６には、原画像データ１に同期して画素アドレスが設定され、この画素アドレスレジスタ９６と欠陥画素アドレスレジスタ９５の値が、画素クロックφごとに比較器９７で比較される。
【００６５】
ここで、両者が不一致の場合はその原画像データ１が正常画素であると判断して、欠陥情報１Ｄとして「０」が出力される。また両者が一致した場合はその原画像データ１が欠陥画素であると判断して、欠陥情報１Ｄとして「１」が出力される。これにより原画像データ１に同期して欠陥情報１Ｄが得られる。
欠陥情報１Ｄとして欠陥画素を示す「１」が出力された場合、内部バッファメモリ９０では次の相対アドレス情報９１Ｂを選択する。これにより、相対アドレス情報９１Ｂがアドレス制御部９４により読み出され、前述と同様に欠陥画素アドレスレジスタ９５に加算設定され、次の欠陥画素に備える。
【００６６】
アドレス制御部９４では、相対アドレス値９３の内容をチェックし、所定値（例えばゼロ）が設定されているまで複数の相対アドレス情報を読み込むようになっており、これにより複数の相対アドレス情報を用いて相対アドレス値を表現できる。
【００６７】
一般に、この種の画像処理装置で高速のパイプライン処理を行う場合、そのデータバスは画素値を含めさまざまなデータの入出力に頻繁に利用されている。したがって、欠陥画素位置アドレスをメモリから内部バッファメモリへロードするためにデータバスを使える時間は、ＣＣＤからの画素データ出力が停止している水平ブランキング期間などわずかな時間となる。
ここで、図２０に示すように、欠陥画素位置情報を相対アドレス情報により表現しておけば、同一画素ライン上に複数の欠陥画素が発生する場合など、欠陥画素がアドレス空間上で近くに位置する場合、各欠陥画素位置を示すために必要な情報量を削減でき、内部バッファメモリの記憶容量を削減できる。
【００６８】
さらに、欠陥画素が同一画素ライン上に集中して存在しているほど、絶対アドレスで表現されている欠陥画素位置情報をロードする場合と比較して、ロードに要する時間すなわちデータバスを使用する時間を短縮できる。したがって、水平ブランキング期間などわずかな時間に欠陥画素位置情報をロードする場合でも、その期間にデータバスを利用する他の処理に対する影響を低減でき、全体として高速のパイプライン処理を実現できる。
【００６９】
【発明の効果】
以上説明したように、本発明は、補間画素値の算出に用いる補間領域内や画素補正成分算出に用いる補正領域内の画素のいずれかに、画素値が置換された置換画素が含まれる場合は、通常とは異なる演算式を用いて補間画素値や画素補正成分を算出するようにしたので、置換画素による影響を低減あるいは抑止できる。これにより、周囲の画素の画素値で置換された置換画素の画素値をそのまま用いる場合と比較して、その置換画素と周囲画素との画素値差がある場合でも、置換後の補間処理あるいは画素補正処理による画素値差の拡散が抑制され、高画質の画像データが得られる。また、画素値の置換有無を置換情報としてその画素値に付加し、補間画素値算出時および画素補正成分算出時にその画素値の置換情報に基づき判断するようにしたので、比較的簡素な回路構成で高速パイプライン処理を実現できる。
【図面の簡単な説明】
【図１】 本発明の一実施の形態による画像処理装置のブロック図である。
【図２】 置換部の構成例を示すブロック図である。
【図３】 置換部の他の構成例を示すブロック図である。
【図４】 本発明の第１の実施の形態による補間処理部を示すブロック図である。
【図５】 補間処理部の演算処理（通常時）を示す説明図である。
【図６】 補間処理部の演算処理（置換画素が含まれる場合）を示す説明図である。
【図７】 補間点の他の配置例を示す説明図である。
【図８】 欠陥画素置換後に補間処理を行った場合の画像処理結果例を示す説明図である。
【図９】 本発明を補間処理にのみ適用した場合の画像処理結果例を示す説明図である。
【図１０】 本発明を補間処理および補正成分算出処理に適用した場合の画像処理結果例を示す説明図である。
【図１１】 本発明の第２の実施の形態による補間処理部を示すブロック図である。
【図１２】 領域値算出部の動作を示す説明図である。
【図１３】 領域値算出部の構成例を示すブロック図である。
【図１４】 補間部および補正成分算出部の構成例を示すブロック図である。
【図１５】 加算付加部の構成例を示すブロック図である。
【図１６】 ＡＢ係数変更部の構成例を示すブロック図である。
【図１７】 ＲＢ係数変更部の構成例を示すブロック図である。
【図１８】 ＨＦ係数変更部の構成例を示すブロック図である。
【図１９】 補正部の構成例を示すブロック図である。
【図２０】 置換情報生成部の構成例を示すブロック図である。
【図２１】 従来の画像処理を示す説明図である。
【符号の説明】
１…原画像データ、１Ｄ…欠陥情報、２…置換部、３，５…置換情報付画像データ、４…バッファ部、６…補間処理部、９…画像データ（補間処理後）、１０…画像処理装置、２１，２１Ａ，２１Ｂ…遅延部、２２…信号切替部、２４…置換情報付加部、３１…画素ブロック、３２…マトリクス、５１Ｇ，５１Ｒ，５１Ｂ…補間領域、５２…補正領域、６０…領域値算出部、６０Ａ…領域値、６１，６１Ａ…補間部、６２…補間画素値、６３，６３Ａ…補正成分算出部、６４…画素補正成分、６５…補正部，９０…内部バッファメモリ、９１Ａ，９１Ｂ，９１Ｃ…相対アドレス情報、９２…選択情報、９３…相対アドレス値、９４…アドレス制御部、９５…欠陥画素アドレスレジスタ、９６…画素アドレスレジスタ、９７…比較器。

Claims (11)

1. ２次元平面上にマトリクス状に配置された多数の画素からなり、かつ各画素がそれぞれ個別の色フィルタを有する撮像素子から得られた所定色情報のレベルを示す画素値のみを有する原画像データから、２次元平面上に配置された各補間点ごとにすべての色情報のレベルを示す画素値を有する新たな画像データを生成する画像処理装置であって、
   前記原画像データに含まれる各画素値のうち、画素値置換が不要な画素の画素値については画素値の置換なしを示す置換情報を前記画素値に付加し置換情報付画像データとして出力し、画素値置換が必要な画素の画素値についてはその画素値を所定の画素値で置換するとともに画素値の置換ありを示す置換情報をその置換した画素値に付加し置換情報付画像データとして出力する置換部と、
   この置換部から出力された各置換情報付画像データのうち、補間点を含む所定の補間領域内に位置する同一色の画素の画素値から、所定の演算式に基づきその補間点における画素値を各色情報ごとに補間算出してすべての色情報を有する補間画素値を出力するとともに、その算出に用いるいずれかの画素の置換情報が置換ありを示す場合は、その演算式とは異なる演算式を用いる補間部とを備えることを特徴とする画像処理装置。
2. 請求項１記載の画像処理装置において、
   前記補間点の周辺に位置する画素であって、前記補間領域を含むより広い範囲の補正領域内に位置する複数の画素の画素値から、所定の演算式に基づきその補間点の画素値の高い周波数成分を補正するための画素補正成分を算出するとともに、その算出に用いるいずれかの画素の置換情報が置換ありを示す場合は、その演算式とは異なる演算式に基づき前記画素補正成分を算出する補正成分算出部と、
   この補正成分算出部で算出された前記補間点での画素補正成分を、前記補間部から出力されたその補間点の補間画素値に加算あるいは積算して各色情報ごとに当該補間画素値を補正し、その補間点におけるすべての色情報を有する新たな画素値として出力する補正部とをさらに備えることを特徴とする画像処理装置。
3. 請求項１記載の画像処理装置において、
   前記置換部は、前記撮像素子の各画素の欠陥有無を示す欠陥情報に基づき、前記各画素値の置換要否を判断することを特徴とする画像処理装置。
4. 請求項１記載の画像処理装置において、
   前記置換部は、画素値を置換する場合、その画素値の近傍に位置する同色画素から得た画素値を用いて置換することを特徴とする画像処理装置。
5. 請求項２記載の画像処理装置において、
   前記補正成分算出部は、前記補正領域内に位置する画素のうち、原画像データの輝度成分を代表する色情報を有する画素値を用いて、その補間点での画素補正成分を算出することを特徴とする画像処理装置。
6. 請求項１記載の画像処理装置において、
   前記補間部は、前記補間画素値の算出に用いる演算対象画素にその置換情報が置換ありを示す画素を含む場合、前記補間画素値算出のための通常の演算式と比較してその画素またはその画素を含む複数の演算対象画素の重み係数を削減あるいはゼロとした異なる演算式を用いることを特徴とする画像処理装置。
7. 請求項２記載の画像処理装置において、
   前記補正成分算出は、前記画素補正成分の算出に用いる演算対象画素にその置換情報が置換ありを示す画素を含む場合、前記画素補正成分算出のための通常の演算式と比較してその画素またはその画素を含む複数の演算対象画素の重み係数を削減あるいはゼロとした異なる演算式を用いることを特徴とする画像処理装置。
8. 請求項２記載の画像処理装置において、
   前記補正成分算出部は、前記画素補正成分の算出に用いる演算対象画素にその置換情報が置換ありを示す画素を含む場合、補正なしを示す画素補正成分を出力することを特徴とする画像処理装置。
9. 請求項１記載の画像処理装置において、
   置換部から出力された置換情報付画像データを構成する各画素値を所定画素ライン数分だけ並列して同一画素列ごとに画素ブロックとして順次取込むことにより、これら連続して取り込まれた所定数の画素ブロックからサブマトリクスを構成し、そのサブマトリクスに対して予め設定されている各領域に含まれる画素の画素値の和および置換情報の論理和をそれぞれの領域ごとの領域値として算出し、これら各領域値を画素ブロックの取込みに同期して並列出力する領域値算出部をさらに備え、
   補間部は、この領域値算出部から並列出力される各領域値を選択的に用いて、処理対象サブマトリクスの補間点における補間画素値を前記サブマトリクスごとに順次算出することを特徴とする画像処理装置。
10. 請求項２記載の画像処理装置において、
    置換部から出力された置換情報付画像データを構成する各画素値を所定画素ライン数分だけ並列して同一画素列ごとに画素ブロックとして順次取込むことにより、これら連続して取り込まれた所定数の画素ブロックからサブマトリクスを構成し、そのサブマトリクスに対して予め設定されている各領域に含まれる画素の画素値の和および置換情報の論理和をそれぞれの領域ごとの領域値として算出し、これら各領域値を画素ブロックの取込みに同期して並列出力する領域値算出部をさらに備え、
    補間部は、この領域値算出部から並列出力される各領域値を選択的に用いて、処理対象サブマトリクスの補間点における補間画素値を前記サブマトリクスごとに順次算出し、
    補正成分算出部は、この領域値算出部から並列出力される各領域値を選択的に用いて、処理対象サブマトリクスの補間点での画素補正成分を前記サブマトリクスごとに順次算出することを特徴とする画像処理装置。
11. 請求項１記載の画像処理装置において、
    前記撮像素子の欠陥画素位置を示す情報として直前の欠陥画素位置との相対画素位置情報を用いて、前記原画像データを構成する各画素が欠陥画素か否かを判断し、その判断結果を欠陥情報として前記各画素に同期して前記置換部に出力する欠陥情報生成部をさらに備え、
    前記置換部は、この欠陥情報生成部からの欠陥情報に基づき、前記原画像データに含まれる各画素値が欠陥画素に対応するものか否かに応じて、それぞの画素値の置換要否を判断することを特徴とする画像処理装置。

Images