JP4309237B2 - 撮像装置 - Google Patents

Description

本発明は、撮像装置に関し、より詳しくは、ＣＣＤセンサ等の撮像素子とカラーフィルタを用いて撮像し、得られた画像に基づいて、画素毎にフィルタ色と異なる色の信号値を補間することによりカラー画像を生成する撮像装置に関するものである。

ＣＣＤ(Charged Coupled Device)のような単板式の撮像素子を用いた撮像装置では、そのまま撮影しても単一の分光感度しか得られないので、カラー画像を得るために、各画素に対応する受光素子の受光面に、所定のパターン（例えば、図７に示すようなＲ（赤），Ｇ（緑），Ｂ（青）からなるベイヤ配列）の色フィルタを設けて撮影することが一般に行われている。
この撮像により得られる画像は、各画素が単一の色成分しか有していないため、色に関しては、色フィルタのパターンに応じたモザイク状（市松パターン）の画像（色モザイク画像）となる。色モザイク画像の各画素に対して、当該画素が有していない他の色成分を、周囲の画素を用いて補間することにより、すべての画素がすべての色成分（Ｒ，Ｇ，Ｂ）を有している画像、すなわち、カラー画像を生成するようにしている。

上述した補間処理方法、すなわち、周囲の画素を用いて画素が有していない他の色成分を補間する処理方法としては、たとえば、算出したい画素に隣接する４個の画素の信号値のうち、最大値と最小値を除いた２個の画素の信号値の平均をとる方法（メディアン補間）や、隣接する４個の画素の信号値の平均をとる方法（平均補間）等が知られている。

ところで、従来から知られている補間処理方法によれば、縦縞模様のように、画素の信号値が大きく変化する境界、たとえば、被写体画像と背景画像の境界において、偽色の発生を防止することができないという問題がある。
すなわち、従来の補間処理方法においては、補間処理の際に、注目する画素に隣接する画素の信号値のみしか考慮されないので、適切な補間処理を行うことができず、その結果、画素の信号値が大きく変化する境界において、偽色が発生する。

本発明はかかる事情に鑑みてなされたものであり、その目的は、撮像素子により撮像された色モザイク画像に基づいて生成されたカラー画像に発生する偽色を除去することを可能とする撮像装置を提供することにある。

上記目的を達成するために本発明の観点は、単板式撮像素子により撮像され、複数の色成分毎にそれぞれモザイク状に配列される複数の色モザイク画像に基づいて、各画素が前記複数の色成分を有するカラー画像を生成する撮像装置であって、一の画素に隣接し、前記一の画素に対応する色モザイク画像の色成分と異なる色成分を有する隣接画素に対し、前記一の画素の色成分を補間する色補間量を算出する処理を、各画素に対して行う色補間量算出手段と、前記色補間量算出手段が算出する色補間量が所定の第１の閾値以下である注目画素が有する色成分の色モザイク画像に対応する画素のうち、前記注目画像から所定範囲内の複数の画素に対して、前記色補間量算出手段が算出する色補間量の平均値を算出する色補間量平均算出手段と前記色補間量算出手段が算出する各画素毎の色補間量に基づいて、各画素毎に色補間処理を行う色補間処理手段と、を具備し、前記色補間量平均算出手段が算出する色補間量の平均値と、前記注目画素の色補間量との差分の絶対値が所定の第２の閾値以上である場合には、前記色補間処理手段は、前記注目画素に基づいて色補間処理を行わない。

好ましくは、前記色補間量平均算出手段が算出する色補間量の平均値と、前記注目画素の色補間量との差分の絶対値が所定の第２の閾値以上である場合には、前記色補間処理手段は、前記注目画素の色補間量を、前記色補間量平均算出手段が算出する色補間量の平均値とする。

本発明によれば、撮像素子により撮像された色モザイク画像に基づいて生成されたカラー画像に発生する偽色を除去することが可能となるので、良好な画質が得られる。

実施形態
以下、本発明に係る撮像装置の実施形態について、添付図面に関連付けて説明する。
図１は、本実施形態における撮像装置１の全体構成を例示する図である。当該撮像装置１は、大別して光学系、信号処理系、記録系、表示系、および制御系から構成される。

光学系は、レンズ光学系１０およびＣＣＤセンサ１１から構成される。
レンズ光学系１０は、被写体に対向するレンズを含み、当該レンズにより被写体の光学像を集光して、ＣＣＤセンサ１１上に被写体の像を結像する。
ＣＣＤセンサ１１は、ＲＧＢのベイヤ配列等のカラーフィルタが設けられた単板式ＣＣＤイメージセンサから構成される。なお、カラーフィルタのパターンについては、ＲＧＢのベイヤ配列以外であってもよい。

信号処理系は、ＣＣＤセンサ１１から出力される電気信号をサンプリングすることによってノイズを低減させるための相関２重サンプリング回路（ＣＤＳ：Correlated Double
Sampling）であるＣＤＳ１２と、ＣＤＳ１２が出力するアナログ信号をディジタル信号に変換するＡ／Ｄ変換器１３と、Ａ／Ｄ変換器１３が出力するディジタル信号に対して、後述する所定の画像処理を行う画像処理部１４とから構成される。
画像処理部１４に入力されるディジタル信号は、上述したＣＣＤセンサ１１のカラーフィルタのパターンに応じたＲＧＢの各色毎のモザイク状（市松パターン）の画像データである。

記録系は、制御部１６により実行される制御用プログラムと、画像処理部１４により生成された画像データの圧縮データと、を格納するメモリ１５を含んで構成される。

表示系は、画像処理部１４が処理し、内蔵する画像メモリに格納する画像データをアナログ化するＤ／Ａ変換器１８と、入力される画像を表示することによりファインダとして機能するＬＣＤ(Liquid Crystal Display)等よりなる表示部１９を含んで構成される。

制御系は、ＣＣＤセンサ１１乃至Ａ／Ｄ変換器１３の動作タイミングを制御するタイミングジェネレータ１７と、ユーザによるシャッタ操作やその他のコマンドを入力するための操作入力部２０と、ＣＣＤセンサ１１により取得された色モザイク画像に基づいて補間処理を行うことにより、各画素がすべての色成分を有するカラー画像を生成する画像処理部１４と、メモリ１５に記憶されている制御用プログラムを読み出し、読み出した制御用プログラムと、操作入力部２０から入力されるユーザからのコマンド等に基づいて、撮像装置１の全体を制御するＣＰＵ(Central Processing Unit) などよりなる制御部１６とを含んで構成される。

撮像装置１においては、被写体の光学像は、レンズ光学系１０を介してＣＣＤセンサ１１に入射され、ＣＣＤセンサ１１により光電変換されて電気信号となる。得られた電気信号は、ＣＤＳ１２によりノイズ成分が除去され、Ａ／Ｄ変換器１３によってディジタル化された後、画像処理部１４が内蔵する画像メモリに一時格納される。
通常の状態では、タイミングジェネレータ１７による信号処理系に対する制御により、画像処理部１４が内蔵する画像メモリには、一定のフレームレートで絶えず画像信号が上書きされるようになされている。画像処理部１４が内蔵する画像メモリの画像信号は、Ｄ／Ａ変換器１８によってアナログ信号に変換され、対応する画像が表示部１９に表示される。

表示部１９は、撮像装置１のファインダの役割も担っている。ユーザが操作入力部２０に含まれるシャッタボタンを押下（操作）した後、制御部１６は、タイミングジェネレータ１７に対し、シャッタボタンが押下された直後の画像信号を保持するように、すなわち、画像処理部１４の画像メモリに画像信号が上書きされないように、信号処理系を制御する。
そして、画像処理部１４の画像メモリに保持された画像データは、所定の方式により圧縮されてメモリ１５に記録される。以上のような撮像装置１の動作によって、１枚の画像データの取り込みが終了する。

図２は、本実施形態における撮像装置１の画像処理部１４の画像処理動作を示すブロック図である。
補間処理部１４１は、ＣＣＤセンサ１１により得られるＲＧＢ各色のモザイク状の画像データに基づいて、各画素が有していない色成分を、周囲の画素の色成分を用いて補間する処理を行うことにより、すべての画素がすべての色成分（Ｒ，Ｇ，Ｂ）を有しているカラー画像を生成する。
補間ベクトル量算出部１４２は、補間処理部１４１の補間処理により生成された色成分に基づいて、各画素毎に補間ベクトル量ＣＶを生成する。補間ベクトル量ＣＶについては、後述する。
補間ベクトル量調整部１４３は、補間ベクトル量算出部１４２により算出された各画素毎の補間ベクトル量ＣＶに基づいて、補間処理部１４１の補間処理結果を調整し、偽色が除去されたカラー画像を生成する。
以下、画像処理部１４において実行される各処理について説明する。

先ず、補間処理部１４１において実行される補間処理について、図３に関連付けて説明する。
補間処理部１４１では、ＣＣＤセンサ１１により得られるＲＧＢ各色のモザイク状の画像データに基づいて、各画素がＲＧＢの各色成分を有するカラー画像を生成するための補間処理である。図３は、補間処理部１４１の補間処理の一例を図示したものであり、（ａ）はＲ成分の補間処理を、（ｂ）はＧ成分の補間処理を、（ｃ）はＢ成分の補間処理を示す。

まず、図３（ｂ）のステップＳＴ１ｂにおいて、ステップＳＴ１ｂにＧを表示していない画素に対して、ステップＳＴ１ｂにＧを表示する画素に基づいて、補間演算を実行することにより、ステップＳＴ２ｂとする。
補間演算には、たとえば、算出したい画素（Ｇ）に隣接する４個の画素（Ｇ）の信号値のうち、最大値と最小値を除いた２個の画素の信号値の平均をとる方法（メディアン補間）や、隣接する４個の画素（Ｇ）の信号値の平均をとる方法（平均補間）等がある。その他、上記４個の画素（Ｇ）と算出したい画素（Ｇ）に近接する画素（Ｒ，Ｂ）に応じた関数により、演算する方法などが知られている。
かかる補間演算により、すべての画素に対するＧの信号値が算出される（ステップＳＴ３ｂ）。

図３（ａ）のステップＳＴ１ａにおいて、ステップＳＴ１ａにＲを表示する画素の信号値と、同一画素のＧの信号値（ステップＳＴ２ｂ）とに基づいて、色差信号Ｃｒを算出し、ステップＳＴ２ａとする。
次に、図３（ａ）のステップＳＴ２ａにおいて、ステップＳＴ２ａにＣｒを表示していない画素に対して、ステップＳＴ２ａにＣｒを表示する画素に基づいて、補間演算を実行することにより、ステップＳＴ３ａとする。補間演算としては、上述したメディアン補間や平均補間等を適用することができる。
ステップＳＴ３ａにより、すべての画素に対して色差信号Ｃｒが算出されると、補間されたＧの信号値（ステップＳＴ２ｂ）に基づいて、すべての画素のＲの信号値が算出される（ステップＳＴ４ａ）。

同様に、図３（ｃ）のステップＳＴ１ｃにおいて、ステップＳＴ１ｃにＲを表示する画素の信号値と、同一画素のＧの信号値（ステップＳＴ２ｂ）とに基づいて、色差信号Ｃｂを算出し、ステップＳＴ２ｃとする。
次に、図３（ｃ）のステップＳＴ２ｃにおいて、ステップＳＴ２ｃにＣｂを表示していない画素に対して、ステップＳＴ２ｃにＣｂを表示する画素に基づいて、補間演算を実行することにより、ステップＳＴ３ｃとする。補間演算としては、上述したメディアン補間や平均補間等を適用することができる。
ステップＳＴ３ｃにより、すべての画素に対して色差信号Ｃｂが算出されると、補間されたＧの信号値（ステップＳＴ２ｂ）に基づいて、すべての画素のＲの信号値が算出される（ステップＳＴ４ｃ）。
なお、上述した補間処理は一例であって、その他の公知の補間処理を適用させることができる。たとえば、ステップＳＴ２ｂにおいて、Ｇの信号値だけでなく、補間対象画素のＲ，Ｂの信号値に応じて補間する値を変化させる方法を用いてもよい。

上述したように、補間処理部１４１において、すべての画素に対してＲＧＢの各成分の信号値が算出されたが、このままの状態では、偽色を含んでおり、この偽色を補間ベクトル量算出部１４２および補間ベクトル量調整部１４３により除去する。

補間ベクトル量算出部１４２は、補間処理部１４１で実行された補間処理結果に基づいて、補間ベクトル量ＣＶを算出する。
補間ベクトル量ＣＶは、補間処理部１４１の補正処理により１の画素が周囲に生成する色ベクトルの大きさ（絶対値）であり、補間ベクトル量算出部１４２は、各画素毎に、補間ベクトル量ＣＶを算出する。具体的には、補間ベクトル量ＣＶを算出する対象の画素（対象画素）に対して、補間処理により隣接する画素に生成する色成分の色差信号Ｃｂ（＝Ｙ−Ｂ），Ｃｒ（＝Ｙ−Ｒ）を、各方向（４方向）毎に算出する。

図４は、補間ベクトル量ＣＶを算出する対象の画素の色ベクトルを示すグラフであり、縦軸は色差信号Ｃｂを示し、横軸は色差信号Ｃｒを示す。
図４においては、補間ベクトル量ＣＶの演算の対象となる画素を原点として、当該画素に隣接する画素に対して、補間処理により生成する色成分の色差信号Ｃｂ，Ｃｒを、各方向（４方向）毎に算出された状態を示す（色ベクトルＶ１〜Ｖ４）。

なお、補間ベクトル量算出部１４２において算出する補間ベクトル量ＣＶは、各方向（４方向）毎に算出されたスカラー量の最大値である。
物体の境界の画像など、色の信号値の変化が大きく偽色が発生しやすい領域では、図４に示すように、たとえば、色ベクトルＶ２と色ベクトルＶ４は、互いに逆向きであり、かつ、ほぼ同じ大きさとなる。したがって、この場合には、図４に示す円Ｃ１の半径Ｒが補間ベクトル量ＣＶとなる（半径Ｒ＝max(｜V1｜, ｜V2｜, ｜V3｜, ｜V4｜) 。

補間ベクトル量調整部１４３は、補間ベクトル量算出部１４２により算出された各画素毎の補間ベクトル量ＣＶに基づいて、補間処理部１４１の補間処理結果を調整し、偽色が除去されたカラー画像を生成する。
補間ベクトル量調整部１４３においては、偽色の除去を以下のステップにより行う。
なお、以下の説明では、Ｇ成分の色モザイク画像の場合を例として説明するが、他の色成分の色モザイク画像についても同様である。

ステップ１：画素の特定
通常、被写体である物体の境界が画素を縦断する場合等に偽色が発生しやすく、発生する偽色の補間ベクトル量ＣＶの値は小さいものとなる。したがって、偽色の可能性が高い画素のみに対して、以下のステップの処理を行うため、所定の閾値以下の補間ベクトル量ＣＶである画素のみを以下の処理の対象とする。
すなわち、本ステップにおいて、以下の処理のための対象画素を特定する。

ステップ２：周囲の補間ベクトル量ＣＶの平均値の算出
ステップ１の処理により特定されたＧの画素に対して、その画素の周囲の補間ベクトル量ＣＶの平均値を算出する。
図５は、補間ベクトル量ＣＶの平均値の算出方法を説明するための図である。
図５に示すように、ステップ１の処理により特定されたＧの画素のうち、１つの画素を注目画素として、その注目画素の所定の領域（領域ｎ×ｎ）内の同色（図５ではＧ）の画素に着目する。なお、図５に示す例では、配列の左上を図示のとおり原点にとると、注目画素は、Ｇ（５４）であり、ｎ＝５である。
注目画素の周囲の補間ベクトル量ＣＶの平均値は、下記（１）式で示す通りである。

ＣＶ＿Ｍ＝ＣＶ＿Ｔ／Ｎ … （１）

但し、
ＣＶ＿Ｍ：領域ｎ×ｎに含まれるＧの画素の補間ベクトル量ＣＶの平均値
ＣＶ＿Ｔ：領域ｎ×ｎに含まれるＧの画素の補間ベクトル量ＣＶの合計値
Ｎ：領域ｎ×ｎに含まれるＧの画素の個数

なお、Ｎの大きさ（注目画素に対する範囲）は、撮像対象等に応じて任意に設定することが可能である。

ステップ３：偽色判定
偽色判定は、注目画素に対して、下記（２）式を判別することにより行う。すなわち、下記（２）式を満足する場合には偽色であると判断し、満足しない場合には偽色ではないと判断する。

ＣＶ＿Ａ−ＣＶ＿Ｍ≦ＴＨ１ … （２）

但し、
ＣＶ＿Ａ：注目画素の補間ベクトル量ＣＶ
ＴＨ１：偽色判定閾値
である。
なお、上記偽色判定を、ステップ１において処理の対象とされたすべての画素に対して、注目画素を変更して順次実行する。

本ステップにおいて、注目画素の補間ベクトル量ＣＶと、その注目画素の周囲の補間ベクトル量ＣＶの平均値の差が所定の偽色判定閾値以下の場合には、注目画素を含む一定範囲が物体の境界部分等ではなく、色の変化が少ないものと考えられるので、その場合には、後述する偽色除去の処理は行わない。
たとえば、図６（ａ）に示すように、物体の輪郭線Ａが注目画素と離れている場合には、注目画素の補間ベクトル量ＣＶと、所定の範囲内（領域ｎ×ｎ）に占める色モザイク画像（Ｇ）の各画素の補間ベクトル量ＣＶの平均値との差が小さく、領域Ａ１においては、色の変化がなだらかであると考えられるので、この場合には、後述する偽色除去の処理は行わない。

逆に、注目画素の補間ベクトル量ＣＶと、その注目画素の周囲の補間ベクトル量ＣＶの平均値の差が所定の偽色判定閾値以上の場合には、注目画素を含む一定範囲に対して、その注目画素が特異点となっていることを意味する。かかる場合には、その注目画素に基づく補間処理により偽色が発生したものと考えられ、後述する偽色除去の処理を行う。
たとえば、図６（ｂ）に示すように、物体の輪郭線Ｂが注目画素を縦断する場合には、注目画素の補間ベクトル量ＣＶと、所定の範囲内（領域ｎ×ｎ）に占める色モザイク画像（Ｇ）の各画素の補間ベクトル量ＣＶの平均値との差が大きく、注目画素周辺の色については高周波の変化があると考えられるので、この場合には、後述する偽色除去の処理を行う。

ステップ４：偽色除去処理
ステップ３において偽色であると判断した画素に対して、偽色除去の処理を行う。
具体的には、注目画素に対する補間ベクトル量ＣＶを０にする。すなわち、偽色除去の対象画素に対しては、補間処理部１４１において実行した補間処理をキャンセルするように調整する。これにより、対象画素に対して色消し処理が施されるので、偽色が除去される。

一方、偽色除去の処理として、偽色除去の対象画素の補間ベクトル量ＣＶを、ＣＶ＿Ｍ、すなわち、対象画素の周囲の画素の補間ベクトル量ＣＶの平均値とすることもできる。これにより、対象画素の色成分が、その対象画素の背景部の色成分と同一となり、対象画素に基づく補間処理により生成された色成分が周囲の色成分と比較して目立つことがないため、偽色が除去される。

以上説明したように、本実施形態における撮像装置１によれば、被写体の光学像をＣＣＤセンサ１１に結像するレンズ光学系１０と、レンズ光学系１０により結像された光学像を、ベイヤ配列の色フィルタの配列パターンに応じて光電変換し、Ｒ，Ｇ，Ｂ各色の色モザイク画像を生成するＣＣＤセンサ１１と、生成された色モザイク画像をディジタルデータに変換するＡ／Ｄ変換器１３と、Ｒ，Ｇ，Ｂ各色の色モザイク画像のディジタルデータに基づいて、色モザイク画像の各画素に対して、当該画素が有していない他の色成分を、周囲の画素を用いて補間することにより、すべての画素がすべての色成分（Ｒ，Ｇ，Ｂ）を有している画像、すなわち、カラー画像を生成する画像処理部１４とを含み、画像処理部１４は、補正処理により１の画素が周囲に生成する色ベクトルの大きさである補間ベクトル量ＣＶを各画素に対して演算し、偽色の可能性が高いと考えられる補間ベクトル量ＣＶの小さい各画素（注目画素）に対して、注目画素の周囲の一定範囲における平均補間ベクトル量と比較し、その差が所定の偽色判定閾値以下の場合には、偽色除去の処理は行わず、逆に、その差が所定の偽色判定閾値以上の場合には、注目画素に対して偽色除去の処理を行うように構成した。そして、画像処理部１４は、偽色除去の処理として、注目画素の補間ベクトル量ＣＶを０にするか、または、補間ベクトル量ＣＶを注目画素の周囲の画素の平均補間ベクトル量とするように構成した。

したがって、以下の効果を得ることができる。
すなわち、注目画素の補間ベクトル量ＣＶと、その注目画素の周囲の補間ベクトル量ＣＶの平均値の差が所定の偽色判定閾値以下の場合には、偽色除去の処理を行わないので、すべての画素に対して偽色除去を行うことにより全体の色調が変化（シフト）してしまうことを防止することができる。

注目画素の補間ベクトル量ＣＶと、その注目画素の周囲の補間ベクトル量ＣＶの平均値の差が所定の偽色判定閾値以上の場合には、補間処理をキャンセルするように調整される結果、色消し処理が施されるため、偽色が除去された質の高いカラー画像が得られる。

また、注目画素の補間ベクトル量ＣＶと、その注目画素の周囲の補間ベクトル量ＣＶの平均値の差が所定の偽色判定閾値以上の場合には、注目画素の補間ベクトル量ＣＶを注目画素の周囲の画素の平均補間ベクトル量と等しくすることにより、注目画素が生成する色成分が、その対象画素の背景部が生成する色成分と同一となり、対象画素に基づく補間処理により生成された色成分が周囲の色成分と比較して目立つことがない。この結果、偽色が除去された質の高いカラー画像が得られる。

撮像装置のブロック図の一例である。 画像処理部のブロック図である。 画像処理部により実行される補間処理の一例を示す図であり、（ａ）はＲ成分の補間処理を、（ｂ）はＧ成分の補間処理を、（ｃ）はＢ成分の補間処理を、それぞれ示す。 色ベクトルと補間ベクトル量ＣＶの関係を示す図である。 注目画素に対する処理を説明するための図である。 注目画素に対する処理を説明するための図であり、（ａ）は輪郭線が注目画素を縦断する場合を、（ｂ）は輪郭線が注目画素の周囲にない場合を、それぞれ示す。 ＣＣＤセンサに設けられた色フィルタのベイヤ配列を示す図である。

符号の説明

１…撮像装置
１０…レンズ光学系
１１…ＣＣＤセンサ
１２…ＣＤＳ
１３…Ａ／Ｄ変換器
１４…画像処理部
１４１…補間処理部
１４２…補間ベクトル量算出部
１４３…補間ベクトル量調整部
１５…メモリ
１６…制御部
１７…タイミングジェネレータ
１８…Ｄ／Ａ変換器
１９…表示部
２０…操作入力部

Claims (2)

1. 単板式撮像素子により撮像され、複数の色成分毎にそれぞれモザイク状に配列される複数の色モザイク画像に基づいて、各画素が前記複数の色成分を有するカラー画像を生成する撮像装置であって、
   一の画素に隣接し、前記一の画素に対応する色モザイク画像の色成分と異なる色成分を有する隣接画素に対し、前記一の画素の色成分を補間する色補間量を算出する処理を、各画素に対して行う色補間量算出手段と、
   前記色補間量算出手段が算出する色補間量が所定の第１の閾値以下である注目画素が有する色成分の色モザイク画像に対応する画素のうち、前記注目画像から所定範囲内の複数の画素に対して、前記色補間量算出手段が算出する色補間量の平均値を算出する色補間量平均算出手段と
   前記色補間量算出手段が算出する各画素毎の色補間量に基づいて、各画素毎に色補間処理を行う色補間処理手段と、
   を具備し、
   前記色補間量平均算出手段が算出する色補間量の平均値と、前記注目画素の色補間量との差分の絶対値が所定の第２の閾値以上である場合には、前記色補間処理手段は、前記注目画素に基づいて色補間処理を行わないこと
   を特徴とする撮像装置。
2. 前記色補間量平均算出手段が算出する色補間量の平均値と、前記注目画素の色補間量との差分の絶対値が所定の第２の閾値以上である場合には、前記色補間処理手段は、前記注目画素の色補間量を、前記色補間量平均算出手段が算出する色補間量の平均値とすること を特徴とする請求項１記載の撮像装置。
   

Images