JPWO2013183378A1 - 撮像装置、画像処理装置、及び画像処理方法 - Google Patents

Abstract

ゴーストの検出及び補正を適切に行うことができる撮像装置、画像処理装置、及び画像処理方法を提供することを目的とする。本発明の第１の態様に係る撮像装置は、撮影光学系と、２次元配列された光電変換素子からなる複数の画素であって下地のレイアウトが異なる複数の画素が所定のパターンで繰り返し配列され、当該複数の画素上に所定のカラーフィルタ配列のカラーフィルタが配設された単板式の撮像素子と、複数の画素のうちの一の画素の出力レベルと、当該一の画素の近傍にある同色の画素であって当該一の画素と下地のレイアウトが異なる他の画素の出力レベルと、があらかじめ設定されたしきい値を超えない範囲で異なる場合にゴーストが発生していると判定する判定手段と、判定手段によりゴーストが発生していると判定された場合に、一の画素の出力レベルと近傍にある同色の画素の出力レベルとの差を低減する補正を行う補正手段と、を備える。

Description

本発明は撮像装置、画像処理装置、及び画像処理方法に関し、特にゴースト光による撮像素子の出力変化の検知及び補正を行う撮像装置、画像処理装置、及び画像処理方法に関する。

撮像装置、画像処理装置、あるいは画像処理方法の分野では、ゴーストの検出及び補正を行う技術が知られている。例えば特許文献１では、撮影画像中で検出された高輝度部の位置により撮影画像の画質が低下すると判定された場合に画質の低下を低減するための処理条件を設定したり、高輝度部によって発生するゴーストを目立たなくするための処理条件を設定したりすることが記載されている。また特許文献２では、基準データと撮影画像の各画素データとを比較して撮像素子の隣接ライン間での同色画素の出力レベル差の有無を検出し、出力レベル差が検出された場合は該当する画素データの輝度レベル値を補正することが記載されている。

特開２０１０−２６８２９５号公報 特開２００５−３３３２５１号公報

しかしながらこのような従来の技術は、ゴーストによる撮像素子の出力レベル差を適切に検出及び補正できるものではなかった。例えば上記特許文献１では高輝度部が撮影画像の画角外にあってもゴースト発生と判定されてしまう。また上記特許文献２では出力レベル差が検出された場合は該当する画素データの輝度レベル値を一律に補正するため、本来補正すべきでない出力レベル差まで補正されてしまうおそれがあり、また赤色の成分によるゴースト光の場合であって、カラーフィルタ配列がベイヤー配列の場合しか適用できない。

本発明はこのような事情に鑑みてなされたもので、ゴーストの検出及び補正を適切に行うことができる撮像装置、画像処理装置、及び画像処理方法を提供することを目的とする。

上記目的を達成するために本発明の第１の態様に係る撮像装置は、撮影光学系と、２次元配列された光電変換素子からなる複数の画素であって下地のレイアウトが異なる複数の画素が所定のパターンで繰り返し配列され、当該複数の画素上に所定のカラーフィルタ配列のカラーフィルタが配設された単板式の撮像素子と、複数の画素のうちの一の画素の出力レベルと、当該一の画素の近傍にある同色の画素であって当該一の画素と下地のレイアウトが異なる他の画素の出力レベルと、があらかじめ設定されたしきい値を超えない範囲で異なる場合にゴーストが発生していると判定する判定手段と、判定手段によりゴーストが発生していると判定された場合に、一の画素の出力レベルと近傍にある同色の画素の出力レベルとの差を低減する補正を行う補正手段と、を備える。

撮像素子の各画素の下地のレイアウトが異なると、入射したゴースト光がそのままフォトダイオード等の受光素子に入射する画素もあるが、画素によってはゴースト光が下地によってブロックされ受光素子に入射しない場合があり、その結果下地のレイアウトが異なる画素間で出力レベルに差が生じ下地のレイアウトに応じたパターンが撮影画像中に発生することとなる。

このような出力レベルの差はゴースト光でない通常光が入射した場合も生じうるが、一般的にレンズを通した光が受光素子に入射する場合には様々な角度からの光が入射するため、出力差が小さくなり問題とならないレベルになる。しかしゴースト光の場合にはレンズ内での反射等により特定角度からの光が強く入射する場合があり、このような特定の入射角の入射光が撮像素子の出力レベル差（段差）を生じる角度で入射する場合に出力レベル差が大きくなる。そのためゴースト光の場合は出力レベル差が大きくなり下地のレイアウトに応じたパターンが発生する。そこで本発明の第１の態様に係る撮像装置では、下地のレイアウトが異なる同色画素の出力レベルの差に基づいて、ゴーストが発生しているか否かの判定を行うようにしている。

なお第１の態様において「下地のレイアウト」とは、撮像素子の受光部上または周辺に配設された電荷転送用の回路素子や配線等、受光に直接寄与しない要素をいう。下地の異なる画素ではゴースト光による出力レベルに差が生じるので、この出力レベル差（下地のレイアウトが異なる同色画素の出力レベル差）に基づいてゴースト発生の判定を行うことができる。

上述したゴースト発生の判定において出力レベル差だけで判定を行うと、被写体に明暗のパターンがある場合にその明暗パターンによる出力レベル差をゴースト光によるものと誤判定し不要な補正を行ってしまうおそれがあるが、ゴースト光の入射角度やこれにより生じる出力レベルの差は撮像素子の構成やレンズの特性等に基づいて予測が可能である。そこで第１の態様に係る画像処理装置では出力レベルの差があらかじめ設定されたしきい値を超えない範囲で異なる場合にゴーストが発生していると判定するようにしており、これにより被写体のパターンによる出力レベルの差を誤ってゴーストと判定することを防止し、ゴーストの検出及び補正を適切に行うことができる。ここで上記しきい値はゴースト光により生じうる出力レベルの差の最大値とすればよく、出力レベル差がしきい値を超えたら被写体のパターン及び／又は模様による段差として認識し補正を実施せず、しきい値以下の場合はゴーストによる段差と認識し一の画素の出力レベルと近傍にある同色の画素の出力レベルとの差を低減する補正を行ってゴーストが目立たなくなるようにする。

なお第１の態様において「近傍」は縦横斜めに隣接する画素を含むが、これに限定されるものではないない。これは、カラーフィルタの配列によっては隣接するラインに同色の画素が存在しない場合もあるからである。またどの程度の近さにある画素を「近傍」として扱うかは、撮像素子の特性やゴーストによる出力レベルの差（段差）が生じると予想される範囲に応じて決めてよい。

また第１の態様において「撮影光学系」とは、光の入射方向で見た場合に撮像素子より手前側（被写体に近い側）に配置される光学系全般をいい、撮影レンズ（結像レンズ）、ズームレンズ、フォーカスレンズ等のレンズ群や絞り、及びそれらを保持する鏡筒等により構成される交換レンズ、イメージセンサ（撮像素子）のパッケージの封止ガラスやその上に配置された赤外線（ＩＲ）カットフィルタを含む。撮影光学系に入射した光が上記部材で反射して撮像素子に特定角度からの光が強く入射すると、その影響が上述した出力レベル差となって現れる。

本発明の第２の態様に係る撮像装置は第１の態様において、撮像素子は２次元配列における隣接ライン間で下地のレイアウトが異なり、判定手段は隣接ラインに存在する同色画素の出力レベルがしきい値を超えない範囲で異なる場合にゴーストが発生していると判定する。第２の態様は下地のレイアウト及びこれに応じたゴースト判定の一態様を示したものであ。隣接ライン間で下地のレイアウトが異なるとゴースト光により隣接ライン間で出力レベルに段差が生じ撮影画像に縞状のゴーストが発生するが、第２の態様ではこれを適切に検出し補正することができる。

本発明の第３の態様に係る撮像装置は第１または第２の態様において、判定手段は一の画素の出力レベルと他の画素の出力レベルとの差が下地のレイアウトの繰り返し周期に応じて繰り返し生じている場合にゴーストが発生していると判定する。ゴーストによる出力レベルの段差は撮像素子の画素上で広がりをもって発生することが多いという事情を考慮し、ゴーストの検出及び補正を適切に行うことができるようにしたものである。

本発明の第４の態様に係る撮像装置は第１から第３の態様のいずれかにおいて、判定手段はカラーフィルタのフィルタ色の全ての色に対応する画素に対して判定を行い、補正手段はゴーストが発生していると判断された色について補正を行う。カラーフィルタを備えた撮像素子ではカラーフィルタの各色により出力自体のレベルや出力段差のレベルが異なる場合があるが、第４の態様のように全ての色に対応する画素に対して検出及び補正を行うことで誤検出及び誤補正を減らすことができる。

本発明の第５の態様に係る撮像装置は第１から第４の態様のいずれかにおいて、判定手段はカラーフィルタのフィルタの色のうちの一の色に対応する画素に対してゴーストが発生しているか否かの判定を行い、補正手段は、判定手段が一の色についてゴーストが発生していると判定した場合は当該一の色を含むカラーフィルタのフィルタ色の全ての色に対応する画素に対して補正を行う。第５の態様は、カラーフィルタは色により画素の数や配置が異なる場合があることを考慮し、ゴースト発生の判定に適切な画素を選択できるようにしたものである。例えば緑（Ｇ）色の画素が多いカラーフィルタの場合、Ｇの画素についてゴースト発生の判定を行い、ゴーストが発生していると判定されたらＧだけでなく他の色（例えば赤（Ｒ）色、青（Ｂ）色）についてもゴーストが発生しているものと判断して補正を行うようにする。

本発明の第６の態様に係る撮像装置は第１から第５の態様のいずれかにおいて、判定手段により用いられるしきい値は撮影画像の画素位置に応じて設定される。画面の周辺部では中心部と比較してゴースト以外の通常光の入射角度が異なり、一般的には通常光は周辺部ほど斜め方向から入射する。そのため周辺部では通常光によってもある程度の大きさの段差が発生するようになる。よって撮影画像の画素位置に応じたしきい値設定の例としては画面周辺部では中心部よりもしきい値を大きく設定することが考えられ、このようなしきい値の設定により誤補正の確率を下げることができる。

本発明の第７の態様に係る撮像装置は第１から第６の態様のいずれかにおいて、判定手段は撮像素子の各個体に応じて設定されたしきい値に基づいて判定を行う。撮像素子は生産のばらつきによって出力段差のレベルが異なる場合がある。そのためゴーストによる段差が大きくなりやすい素子はしきい値を高くし、段差が小さくなる素子はしきい値を低く設定することにより、誤検出及び誤補正を減らすことができる。

本発明の第８の態様に係る撮像装置は第１から第７の態様のいずれかにおいて、撮像素子の撮像面は複数のエリアに分割されており、判定手段は、複数のエリアのうちの少なくとも一のエリア内の同色画素の出力レベルの積算値に基づいて判定を行う。第８の態様のように出力レベルの積算値に基づいて判定を行う（例えば、積算値を平均化した積算平均値をしきい値と比較する）ことで、より高精度にゴーストの発生を検出することができる。

本発明の第９の態様に係る撮像装置は第１から第８の態様のいずれかにおいて、補正手段は、一の画素の出力レベルと他の画素の出力レベルとのうち高い方を低い方に合わせて下げることで発生した出力レベル差を低減する。第８の態様は、発生したゴーストを目立たなくする補正の一態様を規定するものである。

本発明の第１０の態様に係る撮像装置は第１から第９の態様のいずれかにおいて、判定手段及び補正手段は、撮像素子から出力された信号のキズ補正及び混色補正を行った後であって信号のノイズ除去補正を行う前に判定及び補正を行う。ゴーストによる出力レベルの段差補正により段差が補正されるが、その補正された後に混色補正を実施すると段差を増加させる可能性があるため、混色補正により通常の混色による段差を補正した後にゴーストの補正を行うことが望ましい。また、ノイズ補正でも段差を低減する方向に働くため、ゴースト段差も軽減されてしまい、ゴーストの判定が悪くなってしまう。そのため、ノイズ補正の前にゴースト段差補正を実施することが望ましい。また、このような補正のタイミングに合わせて判定を行うことが望ましい。

第１０の態様に規定するタイミングで判定及び補正を行うことにより、ゴーストの検出及び補正を適切に行うことができる。

本発明の第１１の態様に係る撮像装置は第１から第１０の態様のいずれかにおいて、撮影光学系は光学ローパスフィルタの機能が非搭載、すなわち光学ローパスフィルタの機能を有さない。

撮影光学系が光学ローパスフィルタ（ＬＰＦ）を有さない場合、撮像素子に入射する被写体像の高周波成分がカットされないので、画素サイズと同レベルの明暗パターンを有する光が撮像素子の撮像面に入射することとなる。したがって撮影光学系が光学ローパスフィルタを有さない場合、光学ローパスフィルタを有する場合と比較して「近傍画素間の出力レベル差が、元々の被写体の高周波パターンに起因するものなのか、あるいはゴースト光入射に起因するものなのか」の判断が重要になるため、ゴースト発生の判定を正確に行うことができる本発明の上記各態様が特に効果的である。

本発明の第１２の態様に係る撮像装置は第１から第１１の態様のいずれかにおいて、カラーフィルタ配列は、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと第１の色以外の２色以上の第２の色に対応する第２のフィルタとが配列された所定の基本配列パターンを含み、該基本配列パターンが水平及び垂直方向に繰り返して配置され、基本配列パターンの中に第１のフィルタまたは第２のフィルタの少なくとも１つの同色のフィルタが水平及び垂直方向に２画素以上連続配置されている。

第１２の態様に係る撮像装置は撮像素子のカラーフィルタ配列の一態様を規定するものであるが、このようなカラーフィルタ配列では同色画素（第１のフィルタまたは第２のフィルタに対応する画素）が水平方向及び垂直方向に隣接するため（一般的なベイヤー配列では、各色フィルタとも斜め方向では隣接するものの、水平方向及び垂直方向で最隣接する配置を含まない）、隣接する同色画素間で下地のレイアウトが異なる場合が生じうる。この場合撮像素子にゴースト光が入射すると隣接する同色画素間の出力レベル差が顕著に表れるため、上述した本発明のゴースト検出及び補正が特に有効である。

本発明の第１３の態様に係る撮像装置は第１２の態様において、第１のフィルタ及び第２のフィルタは、それぞれ基本配列パターン内にカラーフィルタ配列の水平及び垂直方向の各ライン内に１つ以上配置され、第１のフィルタは、更に基本配列パターン内において、水平、垂直、斜め右上、及び斜め左上方向の各方向に２以上隣接する部分が含まれるように配置されている。

本発明の第１４の態様に係る撮像装置は第１２または第１３の態様において、カラーフィルタ配列は、第２のフィルタのいずれか１色のフィルタを挟んで水平及び垂直方向にそれぞれ第１のフィルタが２以上連続配置されている。

本発明の第１５の態様に係る撮像装置は第１２から第１４の態様のいずれかにおいて、カラーフィルタ配列は、第１のフィルタが３×３画素群において中心のフィルタを挟んで上下左右に配置され、該３×３画素群が水平方向及び垂直方向に繰り返し配置されている。

本発明の第１６の態様に係る撮像装置は第１２から第１５の態様のいずれかにおいて、第１の色は、緑（Ｇ）色であり、第２の色は、赤（Ｒ）色及び青（Ｂ）であり、カラーフィルタは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色に対応するＲフィルタ、Ｇフィルタ及びＢフィルタを有し、カラーフィルタ配列は、３×３画素に対応する第１の配列であって、中心にＲフィルタが配置され、４隅にＢフィルタが配置され、中心のＲフィルタを挟んで上下左右にＧフィルタが配置された第１の配列と、３×３画素に対応する第２の配列であって、中心にＢフィルタが配置され、４隅にＲフィルタが配置され、中心のＢフィルタを挟んで上下左右にＧフィルタが配置された第２の配列とが、交互に水平及び垂直方向に配列されて構成されている。

第１３から第１６の態様に係る撮像装置は撮像素子のカラーフィルタ配列の他の態様を規定するものであるが、このようなカラーフィルタ配列では第１２の態様におけるカラーフィルタ配列と同様にゴースト光による出力レベル差が顕著に表れるため、上述した本発明のゴースト検出及び補正が特に有効である。

本発明の第１７の態様に係る撮像装置は第１から第１１の態様のいずれかにおいて、カラーフィルタ配列は、カラーフィルタのフィルタの色のうち輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと第１の色以外の２色以上の第２の色に対応する第２のフィルタとが配列された所定の基本配列パターンを含み、該基本配列パターンが水平方向及び垂直方向に繰り返して配置され、第１のフィルタは、カラーフィルタ配列の水平、垂直、斜め右上、及び斜め左上方向の各ライン内に１つ以上配置され、第２のフィルタは、基本配列パターン内にカラーフィルタ配列の水平、及び垂直方向の各ライン内に１つ以上配置される。第１７の態様はカラーフィルタ配列の他の態様を規定するものである。

本発明の第１８の態様に係る撮像装置は第１７の態様において、カラーフィルタ配列は、第１のフィルタが水平、垂直、斜め右上、及び斜め左上方向の各ライン内で２画素以上連続する部分を含む。

本発明の第１９の態様に係る撮像装置は第１７または第１８の態様において、カラーフィルタ配列は、第１のフィルタからなる２×２画素に対応する正方配列を含む。

本発明の第２０の態様に係る撮像装置は第１７から第１９の態様のいずれかにおいて、カラーフィルタ配列は、第１のフィルタが３×３画素群において中心と４隅に配置され、該３×３画素群が水平方向及び垂直方向に繰り返し配置されている。

本発明の第２１の態様に係る撮像装置は第１７から第２０の態様のいずれかにおいて、前記第１の色は、緑（Ｇ）色であり、前記第２の色は、赤（Ｒ）色及び青（Ｂ）色であり、所定の基本配列パターンは、６×６画素に対応する正方配列パターンであり、カラーフィルタ配列は、３×３画素に対応する第１の配列であって、中心と４隅にＧフィルタが配置され、中心のＧフィルタを挟んで上下にＢフィルタが配置され、左右にＲフィルタが配列された第１の配列と、３×３画素に対応する第２の配列であって、中心と４隅にＧフィルタが配置され、中心のＧフィルタを挟んで上下にＲフィルタが配置され、左右にＢフィルタが配列された第２の配列とが、交互に水平方向及び垂直方向に配列されて構成されている。

第１７から第２１の態様に係る撮像装置は撮像素子のカラーフィルタ配列の一態様を規定するものであるが、このようなカラーフィルタ配列では第１２〜第１６の態様におけるカラーフィルタ配列と同様にゴースト光による出力レベル差が顕著に表れるため、上述した本発明のゴースト検出及び補正が特に有効である。

上記目的を達成するために本発明の第２２の態様に係る画像処理装置は、２次元配列された光電変換素子からなる複数の画素であって下地のレイアウトが異なる複数の画素が所定のパターンで繰り返し配列され、当該複数の画素上に所定のカラーフィルタ配列のカラーフィルタが配設された単板式の撮像素子と、複数の画素のうちの一の画素の出力レベルと、当該一の画素の近傍にある同色の画素であって当該一の画素と下地のレイアウトが異なる他の画素の出力レベルと、があらかじめ設定されたしきい値を超えない範囲で異なる場合にゴーストが発生していると判定する判定手段と、判定手段によりゴーストが発生していると判定された場合に、一の画素の出力レベルと近傍にある同色の画素の出力レベルとの差を低減する補正を行う補正手段と、を備える。

第２２の態様に係る画像処理装置の構成及び作用効果は第１の態様に係る撮像装置と同様であるが、第２２の態様に係る画像処理装置の場合は、画像処理装置に装着されるレンズ装置等に起因して発生するゴーストの検出及び補正を行う点が第１の態様と異なる。

上記目的を達成するために本発明の第２３の態様に係る撮像装置は、第２２の態様に係る画像処理装置と、画像処理装置に装着されるレンズ装置と、レンズ装置のレンズ情報としきい値とを関連づけて記憶する記憶手段と、画像処理装置に装着されたレンズのレンズ情報を取得するレンズ情報取得手段と、を備え、判定手段は記憶手段を参照して取得したレンズ情報に対応するしきい値を取得し、当該取得したしきい値に基づいて判定を行う。ゴースト光による出力レベルの段差はレンズの種類や個体差等、レンズの特性や使用条件に依存するレンズ情報によっても異なるため、第２３の態様に係る撮像装置では画像処理装置に装着されたレンズのレンズ情報に応じたしきい値でゴースト発生の判定及び補正を行うことで、ゴーストの検出及び補正を適切に行うことができる。このような構成は、レンズ交換が可能なタイプの撮像装置において特に有効である。

本発明の第２４の態様に係る撮像装置は第２３の態様において、レンズ情報は装着されたレンズの絞り値、ズーム位置、及びフォーカス位置のうち少なくとも一つを含む。したがってこれらの情報に応じたしきい値により、ゴースト発生の判定及び補正が行われる。第２４の態様は、第２３の態様における「レンズ情報」を具体的に規定するものである。

本発明の第２５の態様に係る撮像装置は第２３または第２４の態様において、光学ローパスフィルタの機能を有さない。第１１の態様について上述したように、第２５の態様のように光学ローパスフィルタの機能を有さない場合、ゴースト発生の判定を正確に行うことができる本発明の上記各態様が特に効果的である。

上記目的を達成するために本発明の第２６の態様に係る画像処理方法は、撮影光学系と、２次元配列された光電変換素子からなる複数の画素であって下地のレイアウトが異なる複数の画素が所定のパターンで繰り返し配列され、当該複数の画素上に所定のカラーフィルタ配列のカラーフィルタが配設された単板式の撮像素子を備える撮像装置の画像処理方法であって、複数の画素のうちの一の画素の出力レベルと当該一の画素の近傍にある同色の画素であって当該一の画素と下地のレイアウトが異なる他の画素の出力レベルとがあらかじめ設定されたしきい値を超えない範囲で異なる場合にゴーストが発生していると判定する判定ステップと、判定ステップによりゴーストが発生していると判定された場合に一の画素の出力レベルと近傍にある同色の画素の出力レベルとの差を低減する補正を行う補正ステップと、を含む。第２６の態様に係る画像処理方法では第１の態様に係る撮像装置と同様に、ゴーストの検出及び補正を適切に行うことができる。

上記目的を達成するために本発明の第２７の態様に係る画像処理方法は、２次元配列された光電変換素子からなる複数の画素であって下地のレイアウトが異なる複数の画素が所定のパターンで繰り返し配列され、当該複数の画素上に所定のカラーフィルタ配列のカラーフィルタが配設された単板式の撮像素子を備える画像処理装置の画像処理方法であって、複数の画素のうちの一の画素の出力レベルと当該一の画素の近傍にある同色の画素であって当該一の画素と下地のレイアウトが異なる他の画素の出力レベルとがあらかじめ設定されたしきい値を超えない範囲で異なる場合にゴーストが発生していると判定する判定ステップと、判定ステップによりゴーストが発生していると判定された場合に一の画素の出力レベルと近傍にある同色の画素の出力レベルとの差を低減する補正を行う補正ステップと、を含む。第２７の態様に係る画像処理方法では第２２の態様に係る画像処理装置と同様に、ゴーストの検出及び補正を適切に行うことができる。

上記目的を達成するために本発明の第２８の態様に係る画像処理プログラムは、第２６または第２７の態様に係る画像処理方法を画像処理装置に実行させる。また本発明の第２９の態様に係る記録媒体には、第２８の態様に係る画像処理プログラムのコンピュータ読み取り可能なコードが記録されている。このような記録媒体は、各種磁気メモリ、光磁気記録装置等であってよい。

以上説明したように本発明に係る撮像装置、画像処理装置、及び画像処理方法によれば、ゴーストの検出及び補正を適切に行うことができる。

図１は、撮像装置１００の外観斜視図である。 図２は、撮像装置１００の要部構成を示すブロック図である。 図３は、メインＣＰＵ２５１の機能ブロック図である。 図４は、本発明に係る単板式の撮像素子の第１の実施形態を示す図である。 図５は第１の実施形態の撮像素子のカラーフィルタ配列に含まれる基本配列パターンを示す図である。 図６は第１の実施形態の撮像素子のカラーフィルタ配列に含まれる６×６画素の基本配列パターンを３×３画素のＡ配列とＢ配列に分割し、これらを配置した様子を示す図である。 図７は、第１の実施形態の撮像素子のカラーフィルタ配列に含まれる２×２画素のＧ画素の画素値から相関方向を判別する方法を説明するために使用した図である。 図８は、撮像素子のカラーフィルタ配列に含まれる基本配列パターンの概念を説明するために使用した図である。 図９において(ａ)はカラーフィルタＣＦのフィルタ配列の様子を示す図であり、(ｂ)はゴーストにより隣接ラインでの出力レベル差が生じている様子を示す図である。 図１０は、撮像素子２０２の構造を示す図である。 図１１は、撮像素子２０２における下地の画素共有の様子、及び下地を共有する画素間で出力レベル差が生じる方向を示す図である。 図１２は、撮像素子２０２においてゴースト光により隣接ライン間で出力レベル差が生じる様子を示す図である。 図１３は、撮像素子２０２におけるゴースト光の入射角度と出力レベルとの関係を示す図である。 図１４は、被写体の模様により撮像素子２０２の隣接ライン間で出力レベルに差が生じる様子を説明するための図である。 図１５は、撮像素子２０２の中心部と周辺部とで通常光の入射角度が異なる様子を示す図である。 図１６は、撮影画像各画素位置におけるしきい値を示す図である。 図１７は、撮像素子２０２の隣接ライン間で横方向に下地を画素共有している様子を示す図である。 図１８は、撮像装置１００におけるゴースト検出及びこれに対する補正の処理を示すフローチャートである。 図１９は、ゴースト検出処理の詳細を示すフローチャートである。 図２０は、６画素×６画素のエリアでの出力レベル差の検出及び補正の様子を示す図である。 図２１は、ゴースト検出及び補正処理のタイミングを示す図である。 図２２は本発明に係る単板式の撮像素子の第２の実施形態を示す図である。 図２３は第２の実施形態の撮像素子のカラーフィルタ配列に含まれる基本配列パターンを示す図である。 図２４（ａ）は第１の実施形態の撮像素子のカラーフィルタ配列に含まれる６×６画素の基本配列パターンを３×３画素のＡ２配列とＢ２配列に分割し、これらを水平及び垂直方向に繰り返し配置してなるカラーフィルタ配列を示す図である。図２４（ｂ）は図２４（ａ）に示したカラーフィルタ配列によるＧ画素の特徴的な配置を示す図である。 図２５は縦方向に相関方向があると判別された場合の同時化処理時の画素補間方法を説明するために用いた図である。 図２６は左斜め上方向に相関方向があると判別された場合の同時化処理時の画素補間方法を説明するために用いた図である。

以下、添付図面に従って本発明に係る撮像装置、画像処理装置、及び画像処理方法を実施するための形態について詳細に説明する。

＜第１の実施形態＞
＜撮像装置の構成＞
図１は、本発明の第１の実施形態に係るレンズ交換式カメラである撮像装置１００（撮像装置）の正面斜視図であり、図２は撮像装置１００の要部構成を示すブロック図である。撮像装置１００は、カメラ本体２００（画像処理装置）と、カメラ本体２００に交換可能に装着される交換レンズ３００（レンズ装置）と、から構成される。カメラ本体２００と交換レンズ３００とは、カメラ本体２００に備えられたマウント２５６と、マウント２５６に対応する交換レンズ３００側のマウント３４６とが結合されることにより交換可能に装着される。

カメラ本体２００の前面には、マウント２５６の他、ファインダ窓２４１、ファインダ切り替えレバー２１４等が設けられている。ファインダ切り替えレバー２１４を矢印ＳＷ方向に回動させると、ファインダで視認可能な像が光学像と電子像との間で切り換わるようになっている。なお、ファインダの光軸Ｌ２は、交換レンズ３００の光軸Ｌ１とは異なる光軸である。また、カメラ本体２００の上面には、主としてレリーズボタン２１１及び撮影モード設定用のダイヤル２１２が設けられている。カメラ本体２００の背面には主として、ファインダ接眼部及びモニター２１３（図２参照）の他、Ｑボタン、十字キー、回転ダイヤル、ＭＥＮＵ／ＯＫキー、ＤＩＳＰ／ＢＡＣＫボタン、再生ボタン等、操作部２２０を構成する操作部材が設けられている。

モニター２１３は、撮影モード時のスルー画像表示や再生モード時の再生画像表示に用いられる他、各種パラメータを設定するためのアイコンが２次元マトリクス状に配置された一覧画面の表示に用いられる。

ファインダは、ファインダ窓２４１、液晶シャッタ２４３、ファインダ変倍レンズ２４４、液晶板２４８の他、図示せぬファインダ接眼部、対物レンズ、プリズム、接眼レンズ、液晶板用レンズ等により構成される。

ファインダ変倍レンズ２４４は、光軸Ｌ２を外れた位置と光軸Ｌ２上の位置との間で平行移動自在に設けられ、ファインダ変倍レンズ２４４が光軸Ｌ２上にない状態から光軸Ｌ２上にある状態へ変更されると、ファインダ接眼部から観察される光学像が拡大される。

液晶シャッタ２４３は、ファインダ窓２４１から入射した被写体光の光軸と垂直となるようにファインダ窓２４１の背面に設けられている。液晶シャッタ２４３は、一対の基板間に封止された液晶層を有し、液晶層に印加する電圧により偏光方向が変化する液晶パネルであり、例えば１６００×９００画素の解像度を有する液晶パネルである。液晶シャッタ２４３は、液晶シャッタ制御部２３９の制御によりファインダ窓２４１から入射した被写体光を遮光する遮光状態と、被写体光を透過させる透過状態（非遮光状態）とを画素毎に切り替え可能に構成されている。この切り替えは、上述したファインダ切り替えレバー２１４の回動操作に応じて行われる。

液晶板２４８は、液晶シャッタ２４３の表示解像度と同じ１６００×９００画素の解像度を有する液晶パネルである。液晶板２４８には、表示制御部２１０の制御により、交換レンズ３００の焦点距離（画角）に基づいて、撮像素子２０２（撮像素子）の受光面に入射した被写体光の範囲である撮影範囲を示すフレーム枠が表示される。また、液晶板２４８には、表示制御部２１０の制御により、被写体像を反転した画像や各種撮影情報（露出モード、画像サイズ、画質モード、ＩＳＯ感度等）を示す文字及び／又は記号の反転像を表示することもできる。

図２は撮像装置１００の要部構成を示すブロック図である。撮像装置１００の動作は、カメラ本体２００のメインＣＰＵ２５１及び交換レンズ３００のレンズＣＰＵ３４０によって統括制御されている。

メインＣＰＵ２５１は、ＲＯＭ２２８（記憶手段）に記憶されたカメラ制御プログラム（後述するゴースト検出及び補正処理のためのプログラムを含む）をＳＤＲＡＭ２３２に展開し、ＳＤＲＡＭ２３２をワークメモリとして使用しながら各種処理を実行する。また、レンズＣＰＵ３４０は、ＲＯＭ３４４に記憶されたカメラ制御プログラムをＲＡＭ３４２に展開し、ＲＡＭ３４２をワークメモリとして使用しながら各種処理を実行する。ＳＤＲＡＭ２３２は、メインＣＰＵ２５１の演算作業用領域として利用されると共に、画像データの一時記憶領域としても利用される。またＲＯＭ２２８にはメインＣＰＵ２５１が実行する制御プログラム及び制御に必要な各種データ等が記憶されている他、レンズ情報（後述）とゴースト判定用のしきい値とが関連づけて記憶されている。フラッシュＲＯＭ２３１には、ユーザ設定情報等の撮像装置１００の動作に関する各種設定情報等、撮像装置１００の使用に伴い更新される情報が格納されている。

ユーザによりＱボタン、十字キー、回転ダイヤル、ＭＥＮＵ／ＯＫキー、ＤＩＳＰ／ＢＡＣＫボタン等を含む操作部２２０が操作されると、操作部２２０からの信号はメインＣＰＵ２５１に入力され、メインＣＰＵ２５１は入力信号に基づいてカメラ本体２００の各回路を制御すると共に、後述するようにマウント２５６及びマウント通信部２５０を介して交換レンズ３００との間で信号を送受信する。

マウント２５６には端子２５７が設けられており、マウント３４６には端子３４７が設けられていて、交換レンズ３００をカメラ本体２００に装着すると、対応する端子２５７と端子３４７とが接触して通信が可能となる（なお、図１及び図２における端子２５７、端子３４７は概念的に示したものであり、本発明における端子の位置、個数はこれに限定されるものではない）。カメラ本体２００と交換レンズ３００との間では駆動指令、各種制御ステータス（レンズ駆動開始／完了通知等）、及びレンズ情報（後述）等の通信が行われる。上述した端子には例えば接地用端子、同期信号用端子、シリアル通信用端子、制御ステータス通信用端子、及びカメラ本体２００のバッテリ２５２から交換レンズ３００の各部への電源供給用端子が含まれる。

交換レンズ３００は、主として、ズームレンズＺＬ、フォーカスレンズＦＬ、絞りＩ、レンズＣＰＵ３４０等から構成される。

ズームレンズＺＬ及びフォーカスレンズＦＬは、同じ光軸上を前後移動し、ズーム及びフォーカスを行う。ズームレンズＺＬは、ズームレンズ制御部３１０により駆動されて焦点距離が変更される。メインＣＰＵ２５１は、ユーザが行ったズームレバー（不図示）の操作に応じて、交換レンズ３００内のズームレンズＺＬを移動させて焦点距離を変更する。フォーカスレンズＦＬは、フォーカスレンズ制御部３２０により駆動される。

絞りＩは、撮像素子２０２へ入射する光量を制御し、シャッタスピードと共に露出の制御を行う。絞りＩは、例えば、５枚の絞り羽根からなり、絞り値Ｆ1.4〜Ｆ11まで１ＡＶ刻みで６段階に絞り制御される。絞りＩは、絞り制御部３３０によって駆動され、開口量が調整される。

レンズＣＰＵ３４０は、位置センサ（図示せず）によって検出されたズームレンズＺＬ及びフォーカスレンズＦＬの光軸方向の現在位置とレンズ目標位置と、ＲＯＭ３４４からＲＡＭ３４２に展開された交換レンズ３００の設定情報のうちのレンズ調整値に基づいてズームレンズＺＬ及びフォーカスレンズＦＬの移動量を決定する。

ズームレンズ制御部３１０は、レンズＣＰＵ３４０からの指令に従い、ズームレンズＺＬを光軸方向に移動させて撮影倍率を可変する。また、フォーカスレンズ制御部３２０は、レンズＣＰＵ３４０からの指令に従い、フォーカスレンズＦＬを光軸方向に沿って前後に移動させて被写体に合焦させる。絞り制御部３３０は、レンズＣＰＵ３４０からの指令に従い、絞りＩの絞り値を変更する。

撮像素子２０２は、ズームレンズＺＬ、フォーカスレンズＦＬ及び絞りＩの後段に配置されており、ズームレンズＺＬ、フォーカスレンズＦＬ及び絞りＩを透過した被写体光を受光する。撮像素子２０２は、多数の受光素子がマトリクス状に配列された受光面を備えている。ズームレンズＺＬ、フォーカスレンズＦＬ及び絞りＩを透過した被写体光は、この撮像素子２０２の受光面上に結像され、各受光素子によって電気信号に変換される。なお、撮像素子２０２としては、ＣＭＯＳ、ＣＣＤ等の様々な光電変換素子を用いることができる。

この撮像素子２０２は、撮像素子制御部２０１から供給される垂直転送クロック及び水平転送クロックに同期して、各画素に蓄積された電荷を１ラインずつシリアルな画像信号として出力する。メインＣＰＵ２５１は、撮像素子制御部２０１を制御して、撮像素子２０２の駆動を制御する。

なお、各画素の電荷蓄積時間（露出時間）は、撮像素子制御部２０１から与えられる電子シャッタ駆動信号によって決められる。メインＣＰＵ２５１は、撮像素子制御部２０１に対して電荷蓄積時間を指示する。

また、撮像装置１００が撮影モードにセットされると、モニター２１３にスルー画像（ライブビュー画像）を表示するため、画像信号の出力が開始される。このスルー画像用の画像信号の出力は、本撮影の指示が行われると一旦停止され、本撮影が終了すると再度開始される。

撮像素子２０２から出力される画像信号は、アナログ信号であり、このアナログの画像信号は、アナログ信号処理部２０３に取り込まれる。

アナログ信号処理部２０３は、相関二重サンプリング回路（ＣＤＳ）、及び自動ゲインコントロール回路（ＡＧＣ）を含んで構成される。ＣＤＳは、画像信号に含まれるノイズの除去を行い、ＡＧＣは、ノイズ除去された画像信号を所定のゲインで増幅する。このアナログ信号処理部２０３で所要の信号処理が施されたアナログの画像信号は、Ａ／Ｄ変換器２０４に取り込まれる。

Ａ／Ｄ変換器２０４は、取り込んだアナログの画像信号を所定ビットの階調幅を持ったデジタルの画像信号に変換する。この画像信号は、いわゆるＲＡＷデータであり、画素毎Ｒ、Ｇ、Ｂの濃度を示す階調値を有している。なお、撮像素子２０２がＭＯＳ型撮像素子である場合は、Ａ／Ｄ変換器２０４は撮像素子２０２内に内蔵されていることが多く、また上記相関二重サンプリングを有さない場合もある。

画像入力コントローラ２０５は、所定容量のラインバッファを内蔵しており、Ａ／Ｄ変換器２０４から出力された１コマ分の画像信号を蓄積する。この画像入力コントローラ２０５に蓄積された１コマ分の画像信号は、ＳＤＲＡＭ２３２に格納される。

ＳＤＲＡＭ２３２に格納された１コマ分の画像信号は、点順次（画素の順番）にデジタル信号処理部２０６に取り込まれる。

デジタル信号処理部２０６（補正手段）は、点順次に取り込んだＲ、Ｇ、Ｂの各色の画像信号に対して所定の信号処理を施し、輝度信号Ｙと色差信号Ｃｒ、Ｃｂとからなる画像信号（Ｙ／Ｃ信号）を生成するとともに、ゴーストが発生していると判定された場合の補正処理を行う（後述）。

ＡＦ検出部２２７は、メインＣＰＵ２５１の指令に従い、ＳＤＲＡＭ２３２に格納されたＲ、Ｇ、Ｂの画像信号を取り込み、ＡＦ（Automatic Focus）制御に必要な焦点評価値を算出する。このＡＦ検出部２２７は、Ｇ信号の高周波成分のみを通過させるハイパスフィルタ、絶対値化処理部、画面に設定された所定のフォーカス領域（以下、ＡＦエリアという）内の信号を切り出すＡＦエリア抽出部、及び、ＡＦエリア内の絶対値データを積算する積算部を含み、この積算部で積算されたＡＦエリア内の絶対値データを焦点評価値としてメインＣＰＵ２５１に出力する。焦点評価値に基づくフォーカスレンズＦＬの制御方式としては、焦点評価値が極大となる位置をサーチし、その位置にフォーカスレンズＦＬを移動させる方式や、フォーカスレンズＦＬを焦点評価値が増加する方向に移動させて行き、焦点評価値が減少し始める点を検出するとその位置にフォーカスレンズ群を設定する山登り方式を用いることができる。

フォーカスレンズＦＬの制御方式としては、上記の方式の他、位相差方式を用いてもよい。位相差ＡＦ処理を行う場合には、画像データのうちの所定のフォーカス領域内の複数の位相差を持った画素を用いて算出した位相差データから求めたデフォーカス量が０になるように、交換レンズ３００内のフォーカスレンズＦＬを制御する。なお位相差方式を用いる場合、位相差ＡＦ用の撮像素子を別途配設し、位相差ＡＦ用の撮像素子により検出された位相差を用いてＡＦを行うようにしてもよい。

ＡＥ／ＡＷＢ検出部２２９は、ＳＤＲＡＭ２３２に格納されたＲ、Ｇ、Ｂの画像信号を取り込み、画面全体のＧ信号を積算し、又は画面中央部と周辺部とで異なる重みづけをしたＧ信号を積算し、そのＡＥ制御に必要な積算値をメインＣＰＵ２５１に出力する。メインＣＰＵ２５１は、積算値から輝度値を算出し、輝度値から露出値を求める。また露出値から所定のプログラム線図に従って、絞り値及びシャッタ速度を決定する。

また、ＡＥ／ＡＷＢ検出部２２９は、ＡＷＢ制御に必要な物理量として、１画面を複数のエリア（例えば、１６×１６）に分割し、分割したエリア毎にＲ、Ｇ、Ｂの画像信号の色別の平均積算値を算出する。メインＣＰＵ２５１は、得られたＲの積算値、Ｂの積算値、Ｇの積算値から分割エリア毎にＲ／Ｇ及びＢ／Ｇの比を求め、求めたＲ／Ｇ、Ｂ／Ｇの値のＲ／Ｇ、Ｂ／Ｇの色空間における分布等に基づいて光源種判別を行う。そして、判別された光源種に適したホワイトバランス調整値に従って、例えば各比の値がおよそ１（つまり、１画面においてＲＧＢの積算比率がＲ：Ｇ：Ｂ＝１：１：１）になるように、ホワイトバランス調整回路のＲ、Ｇ、Ｂ信号に対するゲイン値（ホワイトバランス補正値）を決定する。ＡＥ／ＡＷＢ検出部２２９は、ＳＤＲＡＭ２３２に格納された一コマ分の画像信号に光源種に応じたデジタルゲインをかけることでホワイトバランス調整を行うと共に、ガンマ（階調特性）処理及びシャープネス処理を行ってＲ、Ｇ、Ｂ信号を生成する。

圧縮及び伸張処理部２０８は、メインＣＰＵ２５１からの指令に従ってデジタル信号処理部２０６で生成された画像データに所定の圧縮処理を施し、圧縮画像データを生成する。また、圧縮された画像データに所定の伸張処理を施して、非圧縮の画像データを生成する。

メディア制御部２３４は、メインＣＰＵ２５１からの指令に従い、撮影により得られた画像データをメモリカード２３６に記録し、また、記録済み画像をメモリカード２３６から読み出す。

表示制御部２１０は、メインＣＰＵ２５１からの指令に従いモニター２１３及び液晶板２４８への表示を制御する。

ファインダ制御部２３８は、ファインダ変倍レンズ２４４を駆動して、ファインダ変倍レンズ２４４の光軸上への挿脱を行う。

液晶シャッタ制御部２３９は、液晶シャッタ２４３の遮光、非遮光状態を制御する。

カメラ本体２００と交換レンズ３００とは、カメラ本体２００のマウント２４６（レンズ情報取得手段）及びマウント通信部２５０（レンズ情報取得手段）、交換レンズ３００のマウント３４６（レンズ情報取得手段）及びマウント通信部３５０（レンズ情報取得手段）、並びにマウント２４６及びマウント３４６に設けられた端子（レンズ情報取得手段）を介して通信を行い、レンズ移動指令や絞り変更指令等の各種指令及びその応答、各種制御ステータス、レンズ情報送信指令及びこれに応じたレンズ情報等が送受信される。

＜メインＣＰＵ２５１の機能構成＞
撮像装置１００の各種の機能は主としてメインＣＰＵ２５１の制御により実行されるが、メインＣＰＵ２５１はそのような制御を行うための以下の機能を有する。

図３はメインＣＰＵ２５１の機能のうち主としてゴーストの検出及び補正に関するものを示すブロック図であり、メインＣＰＵ２５１は図３に示すように機能ｆ１〜ｆ６を有している。以下、各機能の概略を説明する。

画像取得機能ｆ１は、撮像素子２０２や交換レンズ３００等を制御して撮影画像を取得する機能である。

レンズ情報取得機能ｆ２（レンズ情報取得手段）は、カメラ本体２００のマウント２４６及びマウント通信部２５０、交換レンズ３００のマウント３４６及びマウント通信部３５０、並びにマウント２４６及びマウント３４６に設けられた端子を介して通信を行い、交換レンズ３００のレンズ種類、絞り値、フォーカス位置、ズーム位置等を含むレンズ情報を取得する機能である。

しきい値設定機能ｆ３（判定手段）は、レンズ情報取得機能ｆ２が取得したレンズ情報に基づき、ＲＯＭ２２８を参照してゴースト判定用のしきい値を設定する機能である。

出力レベル差検出機能ｆ４（判定手段）は、撮像素子２０２において下地のレイアウトが異なる同色画素の出力レベル差を検出する機能であり、ゴースト判定機能ｆ５（判定手段）は、当該検出した出力レベル差と上記設定したしきい値とから、ゴーストが発生しているか否かを判定する機能である。

ゴースト補正機能ｆ６（補正手段）はデジタル信号処理部２０６を用いて、発生したゴーストを目立たなくする補正を行う機能である。

＜カラーフィルタ配列の特徴＞
第１の実施形態において、撮像素子２０２のカラーフィルタ配列は、下記の特徴(1)、(2)、(3)、(4)、及び(5)を有している。

〔特徴(1)〕
図４に示すカラーフィルタ配列は、６×６画素に対応する正方配列パターンからなる基本配列パターンＰ１（太枠で示したパターン）を含み、この基本配列パターンＰ１が水平方向及び垂直方向に繰り返し配置されている。即ち、このカラーフィルタ配列は、Ｒ、Ｇ、Ｂの各色のフィルタ（Ｒフィルタ、Ｇフィルタ、Ｂフィルタ）が所定の周期性をもって配列されている。

このようにＲフィルタ、Ｇフィルタ、Ｂフィルタが所定の周期性をもって配列されているため、撮像素子から読み出されるＲ、Ｇ、Ｂ信号の同時化（補間）処理等を行う際に、繰り返しパターンにしたがって処理を行うことができる。

また、基本配列パターンＰ１の単位で間引き処理して画像を縮小する場合、間引き処理された縮小画像のカラーフィルタ配列は、間引き処理前のカラーフィルタ配列と同じにすることができ、共通の処理回路を使用することができる。

〔特徴(2)〕
図４に示すカラーフィルタ配列は、輝度信号を得るために最も寄与する色(この実施形態では、Ｇの色)に対応するＧフィルタが、カラーフィルタ配列の水平、垂直、斜め右上（ＮＥ）、及び斜め左上（ＮＷ）方向の各ライン内に配置されている。

輝度系画素に対応するＧフィルタが、カラーフィルタ配列の水平、垂直、斜め右上（ＮＥ）、及び斜め左上（ＮＷ）方向の各ライン内に配置されるため、高周波となる方向によらず高周波領域での同時化処理の再現精度を向上させることができる。

〔特徴(3)〕
図４に示すカラーフィルタ配列の基本配列パターンは、その基本配列パターン内におけるＲ、Ｇ、Ｂフィルタに対応するＲ画素、Ｇ画素、Ｂ画素の画素数が、それぞれ８画素、２０画素、８画素になっている。即ち、ＲＧＢ画素の各画素数の比率は、２：５：２になっており、輝度信号を得るために最も寄与するＧ画素の画素数の比率は、他の色のＲ画素、Ｂ画素の画素数の比率よりも大きくなっている。

上記のようにＧ画素の画素数とＲ，Ｂ画素の画素数との比率が異なり、特に輝度信号を得るために最も寄与するＧ画素の画素数の比率を、Ｒ，Ｂ画素の画素数の比率よりも大きくするようにしたため、同時化処理時におけるエリアシングを抑制することができるとともに、高周波再現性もよくすることができる。

〔特徴(4)〕
図４に示すカラーフィルタ配列は、上記Ｇの色以外の２色以上の他の色（この実施形態では、Ｒ，Ｂの色）に対応するＲフィルタ、Ｂフィルタが、基本配列パターンＰ１内においてカラーフィルタ配列の水平、及び垂直方向の各ライン内に１つ以上配置されている。

Ｒフィルタ、Ｂフィルタが、カラーフィルタ配列の水平、及び垂直方向の各ライン内に配置されるため、色モワレ（偽色）の発生を抑圧することができる。これにより、偽色の発生を抑制するための光学ローパスフィルタを光学系の入射面から撮像面までの光路に配置しないようにでき、又は光学ローパスフィルタを適用する場合でも偽色の発生を防止するための高周波数成分をカットする働きの弱いものを適用することができ、解像度を損なわないようにすることができる。

図５は、図４に示した基本配列パターンＰ１を、３×３画素に４分割した状態に関して示している。

図５に示すように基本配列パターンＰ１は、実線の枠で囲んだ３×３画素のＡ１配列と、破線の枠で囲んだ３×３画素のＢ１配列とが、水平、垂直方向に交互に並べられた配列となっていると捉えることもできる。

Ａ１配列及びＢ１配列は、それぞれ輝度系画素であるＧフィルタが４隅と中央に配置され、両対角線上に配置されている。また、Ａ１配列は、中央のＧフィルタを挟んでＲフィルタが水平方向に配列され、Ｂフィルタが垂直方向に配列され、一方、Ｂ１配列は、中央のＧフィルタを挟んでＢフィルタが水平方向に配列され、Ｒフィルタが垂直方向に配列されている。即ち、Ａ１配列とＢ１配列とは、ＲフィルタとＢフィルタとの位置関係が逆転しているが、その他の配置は同様になっている。

また、Ａ１配列とＢ１配列の４隅のＧフィルタは、図６に示すようにＡ１配列とＢ１配列とが水平、垂直方向に交互に配置されることにより、２×２画素に対応する正方配列のＧフィルタとなる。

これは、輝度系画素であるＧフィルタが、Ａ１配列またはＢ１配列における３×３画素において４隅と中央に配置され、この３×３画素が水平方向、垂直方向に交互に配置されることで２×２画素に対応する正方配列のＧフィルタが形成されるためである。尚、このような配列とすることで、前述の特徴(1)、(2)、(3)、及び後述の特徴(5)が満たされる。

〔特徴(5)〕
図４に示すカラーフィルタ配列は、Ｇフィルタからなる２×２画素に対応する正方配列を含んでいる。

基本配列パターンＰ(図７(ａ)参照)から、Ｇフィルタからなる２×２画素を取り出し（図７(ｂ)参照）、水平方向のＧ画素の画素値の差分絶対値、垂直方向のＧ画素の画素値の差分絶対値、斜め方向（右上斜め、左上斜め）のＧ画素の画素値の差分絶対値を求めることにより、水平方向、垂直方向、及び斜め方向のうち、差分絶対値の小さい方向に相関があると判断することができる。

即ち、このカラーフィルタ配列によれば、最小画素間隔のＧ画素の情報を使用して、水平方向、垂直方向、及び斜め方向のうちの相関の高い方向判別ができる。この方向判別結果は、周囲の画素から補間する処理（同時化処理）に使用することができる。

また、図６に示すように３×３画素のＡ１配列又はＢ１配列の画素を同時化処理の対象画素とし、Ａ１配列又はＢ１配列を中心に５×５画素（モザイク画像の局所領域）を抽出した場合、前記５×５画素の４隅に２×２画素のＧ画素が存在することになる。これらの２×２画素のＧ画素の画素値を使用することにより、４方向の相関方向の判別を最小画素間隔のＧ画素の情報を使用して精度よく行うことができる。

〔特徴(6)〕
図４に示すカラーフィルタ配列の基本配列パターンは、その基本配列パターンの中心（４つのＧフィルタの中心）に対して点対称になっている。また、図５に示したように、基本配列パターン内のＡ１配列及びＢ１配列も、それぞれ中心のＧフィルタに対して点対称になっている。

このような対称性により、後段の処理回路の回路規模を小さくしたり、簡略化したりすることが可能になる。

図８に示すように太枠で示した基本配列パターンＰ１において、水平方向の第１から第６のラインのうちの第１及び第３のラインのカラーフィルタ配列は、ＧＢＧＧＲＧであり、第２のラインのカラーフィルタ配列は、ＲＧＲＢＧＢであり、第４及び第６のラインのカラーフィルタ配列は、ＧＲＧＧＢＧであり、第５のラインのカラーフィルタ配列は、ＢＧＢＲＧＲとなっている。

いま、図８において、基本配列パターンＰ１を水平方向、及び垂直方向にそれぞれ１画素ずつシフトした基本配列パターンをＰ１’、それぞれ２画素ずつシフトした基本配列パターンをＰ１”とすると、これらの基本配列パターンＰ１’、Ｐ１”を水平方向及び垂直方向に繰り返し配置しても、同じカラーフィルタ配列になる。

即ち、基本配列パターンを水平方向及び垂直方向に繰り返し配置することで、図８に示すカラーフィルタ配列を構成することができる基本配列パターンは複数存在する。第１の実施形態では、基本配列パターンが点対称になっている基本配列パターンＰ１を、便宜上、基本配列パターンという。

このように本実施の形態に係る撮像装置１００では、図４〜８のようなカラーフィルタ配列のカラーフィルタを搭載した撮像素子２０２を用いているため、光学ローパスフィルタ（ＬＰＦ）を設けなくても、被写体に高周波のパターンが含まれていても色モアレ（偽色）の発生を低減することができる。

また、このような光学ローパスフィルタが設けられていない形態ではなく、ローパスフィルタの機能を低減した形態や抑えた形態を採用するようにしてもよい。

＜撮像素子の構成とゴーストの発生＞
次に、撮像素子２０２の構成とこれに起因するゴーストの発生について説明する。図９(ａ)は撮像素子２０２のカラーフィルタＣＦ（カラーフィルタ）の配列を示す図であり、図１０は撮像素子２０２の断面を示す図である。図４(ａ)に示すように、カラーフィルタＣＦは、緑色（Ｇ）、赤色（Ｒ）、及び青色（Ｂ）の各色が６画素×６画素の基本配列パターンの繰り返しとして配列されている。この基本配列パターンにおいて、水平方向の第１から第６のラインのうちの第１及び第３のライン（列ａ、列ｃ）のカラーフィルタ配列はＧＢＧＧＲＧであり、第２のライン（列ｂ）のカラーフィルタ配列はＲＧＲＢＧＢであり、第４及び第６のライン（列ｄ、列ｆ）のカラーフィルタ配列はＧＲＧＧＢＧであり、第５のライン（列ｅ）のカラーフィルタ配列はＢＧＢＲＧＲである。

図１０に示すように撮像素子２０２は、各画素に対しマイクロレンズＭＬ及び上記カラーフィルタＣＦが配設されており、また入射光の光電変換を行うＰＤ（フォトダイオード）の上には、電荷の転送を行うための素子ＴＧ（トランスファゲート）、ＦＤ（フローティングディフュージョン）が***されている。ここで列ａと列ｂとでは下地（図１０の例ではＴＧ及びＦＤ）のレイアウトが異なり、列ｃ及びｅは列ａと同じレイアウト、列ｄ及びｆは列ｂと同じレイアウトである。撮像素子２０２はこのようなパターンが繰り返し配置されて構成される。なお本実施の形態では図４〜８、図９等に示すカラーフィルタ配列を有する撮像素子の場合について説明するが、本発明の画像処理装置、撮像装置、及び画像処理方法はこれらの図に示すタイプのカラーフィルタを有する撮像素子の場合に限定されるものではなく、従来のベイヤー配列のカラーフィルタを有する撮像素子で光学ローパスフィルタの効果を低減した構成や抑えた構成の場合でも同様に適用することができる。

図１２(ａ)は上記構成の撮像素子２０２におけるゴースト光の入射の様子を示す図である。図１２(ａ)の構成の場合、列ａではゴースト光ＧがフォトダイオードＰＤに入射し出力レベルが高くなるが、列ｂではゴースト光ＧがトランスファゲートＴＧにブロックされて出力レベルは列ａより低くなる。このような状況は列ｃと列ｄ、列ｅと列ｆでも同様に起きる。したがって撮像素子２０２にゴースト光Ｇが入射すると、図９(ｂ)のように出力が大きくなるライン（列ａ，ｃ及びｅ）と小さくなるライン（列ｂ，ｄ及びｆ）とが交互に発生し、撮影画像において出力段差が縞状になって現れることになる。

なお図１２(ａ)では図の右側からゴースト光Ｇが入射する場合について説明しているため列ａの出力レベルが大きく列ｂの出力レベルが小さくなっているが、図の左側からゴースト光Ｇが入射する場合は出力レベルの関係は逆になる。また図１２(ａ)に示す例では隣接する画素が列ａとｂのように上下方向（縦方向）に下地を共有しているため、図１１に示すように図の上下方向（縦方向）に出力レベルの差が生じるが、撮像素子２０２が図１７に示す例のように左右方向（横方向）に下地を共有している場合は図の左右方向（横方向：図１７の場合、列１と列２の間 等）に出力レベルの差が生じ、撮影画像において出力段差が縞状になって現れることとなる。

＜ゴースト光の入射角度と出力レベル差＞
上述した下地のレイアウトの違いに起因する出力レベルの差（段差）は、撮像素子２０２の構成に加え、ゴースト光Ｇの入射角度にも依存する。図１３はゴースト光Ｇの入射角度（光軸方向とのなす角）と出力レベルとの関係の例を示す図であり、列ａのようにゴースト光ＧがフォトダイオードＰＤに入射する画素では出力が大きくなり（曲線Ｈ）、列ｂのようにゴースト光ＧがＴＧにブロックされる画素では出力が小さくなる（曲線Ｌ）様子を示している。曲線Ｈと曲線Ｌの差が出力レベルの差に相当する。

＜出力レベル差に対するしきい値の設定＞
このような状況においてゴースト発生の判定を出力レベル差（段差）だけで行うと、図１４のような被写体の明暗パターンにより出力レベル差が生じている場合でもゴーストと誤判定し不適切な補正を行うことになってしまう。そこで本実施の形態に係る撮像装置１００では以下に説明するように出力レベル差の上限をしきい値として設定し、出力レベル差がこのしきい値を超えない範囲で異なる場合にゴーストと判定するようにしている。具体的には、出力レベルの差（段差）は撮像素子２０２の構成や個体差、及び交換レンズ３００の特性や使用状況（絞り値、ズーム位置、フォーカス位置等）等の条件に基づいて予測が可能であるため、予測される出力レベル差の上限をしきい値として設定し、出力レベル差がしきい値以下の場合はゴーストによるものと認識して補正を行い、しきい値を超える出力レベル差は被写体のパターンによるものと認識して補正を行わない。これにより撮像装置１００ではゴースト発生の誤判定を防ぎ、ゴーストの検出及び補正を適切に行うことができる。

なお本実施形態に係る撮像装置１００では、このようなしきい値をカラーフィルタＣＦの各色について設定し当該各色についてゴーストの検出及び補正処理を行っているが、特定の色（例えば最も画素数が多いＧ画素）についてのみしきい値を設定し当該特定の色についてゴーストが発生していると判定されたら他の色についてもゴーストが発生すると認識して補正を行うようにしてもよい。

＜しきい値設定の詳細＞
上述したしきい値は一定の値を設定しておいてもよいが、諸条件に応じた値を設定することで、ゴーストの検出及び補正をいっそう適切に行うことが可能となる。以下、このようなしきい値設定の詳細について説明する。

［画素位置に応じたしきい値の設定］
撮像素子の周辺部では中心部と比較してゴースト以外の通常光の入射角度が異なり、一般的には通常光は周辺部ほど斜め方向から入射する。図１５はそのような状況を示す図であり、図１５(ａ)は撮像素子２０２の中心に近い部分における通常光Ｎの入射を示し、図１５(ｂ)は撮像素子２０２の周辺に近い部分における通常光Ｎの入射を示す。図１５(ｂ)のように入射角度が大きくなると、撮像素子２０２の各ライン間でＴＧ等による入射光のブロックの程度が大きく異なるようになり、周辺部では通常光によってもある程度の大きさの段差が発生するようになる。よって画面周辺部では中心部よりもしきい値を大きく設定することで、誤補正の確率を下げることができる。このようなしきい値設定の例を図１６に示す。図１６では隣接ラインでの同色画素の出力レベルの差を％（パーセント）表現した値（画面中心では４％、周辺部では５．５％）をしきい値として設定した例を示している。

ここで出力レベルの差は、画素位置の他に撮像素子２０２の個体差、レンズ情報（レンズ種類、絞り値（Ｆ値）、ズーム位置、フォーカス位置 等）等にも依存する。このため撮像装置１００では、図１６に示したようなしきい値をこれらの条件と関連づけてＲＯＭ２２８に記憶しておき、ＲＯＭ２２８から条件に応じて適切なしきい値を取得してゴースト発生の判定を行うようにしている。

＜ゴースト検出及び補正処理＞
図１８はゴースト検出及び補正処理の手順を示すフローチャートである。処理が開始されると、まずマウント２５６，３４６、及び端子２５７，３４７を介してカメラ本体２００と交換レンズ３００とが通信を行い、交換レンズ３００のレンズ情報を取得する（Ｓ１００）。ここで取得される「レンズ情報」はレンズ種類、絞り値（Ｆ値）、ズーム位置、フォーカス位置を含む。次に、取得したレンズ情報に基づいてＲＯＭ２２８を参照し、出力レベル差に対するしきい値を設定する（Ｓ１０２）。ここで設定されるしきい値は、上述したように撮像素子２０２の個体差、レンズ情報、画素位置に応じた値である。

Ｓ１０２でしきい値が設定されると、そのしきい値に基づいてゴーストの検出を行い（Ｓ１０４）、ゴーストが発生していると判定された場合（Ｓ１０６でＹｅｓ）はＳ１０８へ進んで出力レベルを補正し、ゴーストは発生していないと判定された場合（Ｓ１０６でＮｏ）はＳ１１０へ進む。このような処理を、撮像素子２０２の全ラインについて（Ｓ１１０でＹｅｓになるまで）繰り返す。なおＳ１０８における出力レベルの補正は、比較の対象となる画素のうち高い方の出力レベルを低い方の出力レベルに合わせて下げることにより行うことができる。これはゴースト光の影響が出力レベルの増加となって現れることを考慮してゴーストを目立たなくするものであるが、出力レベルの補正はこのような態様に限定されず、例えば出力レベルの平均化やスムージング等により行ってもよい。

図１９は、図１２のＳ１０４におけるゴースト検出処理の詳細を示すフローチャートである。まずＳ２００で、隣接ラインの同色画素同士で出力レベルを比較する。撮像素子２０２は図５等に示すように隣接ラインで下地のレイアウトが異なっているので、隣接ラインで出力レベルを比較することによりゴーストが発生しているか否かの判定を行うことができる。具体的には図４(ａ)の（ａ，１）列のＧ画素と（ｂ，２）列のＧ画素とで出力レベルを比較する。Ｒ画素，Ｂ画素については縦横斜めに同色画素が隣接していないので、Ｒ画素については例えば（ａ，５）列の画素と（ｂ，３）列の画素とを比較し、Ｂ画素については例えば（ａ，２）列の画素と（ｂ，４）列の画素とを比較する。出力レベルの比較はこのように縦横斜めに隣接する画素に限らず、下地のレイアウトが異なる同色画素で近傍にあるもの同士で比較すればよい。この際画素間の距離が離れるとゴースト光の影響が異なるため、できるだけ近くの画素同士で比較することが好ましい。

Ｓ２０２では、所定領域で出力レベル差が生じているか否かを判断する。これはゴーストは撮像素子の特定のラインだけでなくある程度の範囲で発生することが多いという事情に鑑みたものである。Ｓ２０２の判断をどの程度の広さの領域で行えばよいかは特に限定されるものではないが、例えば図９(ａ)の６×６の配列パターン内で列ａと列ｂ、列ｃと列ｄ、及び列ｅと列ｆの３組とも段差があったら、その領域内ではゴーストが発生していると判定するようにしてもよい。Ｓ２０２でＹｅｓと判断された場合はＳ２０４へ進み、検出された出力レベルの差が上述のようにして設定されたしきい値以下であるか否か判断する。しきい値以下である場合（Ｓ２０４でＹｅｓ）はゴースト光による出力段差であると判定し（Ｓ２０６）、しきい値を超える場合（Ｓ２０４でＮｏ）はゴースト光ではなく被写体の模様及び／又はパターンによる出力段差であると判定して（Ｓ２０８）、図１８のフローに戻る。Ｓ２０２でＮｏと判断された場合もゴーストではないと判定して図１８のフローに戻る。

また検出処理として、撮像面を複数（例えば、１６×１６＝２５６個）に分割した各エリア内において、同色画素からの出力レベルを積算平均した積算平均値に基づいてしきい値と比較し判断することで、より高精度にゴーストの発生を検出することができる。このようなエリア内における処理の例を以下に説明する。図２０は６画素×６画素のエリアにおける処理の様子を示す図である。

図２０のエリア内において、ゴースト光により偶数行（０行，２行及び４行）と奇数行（１行，３行及び５行）とで出力レベルに差が生じる場合に、Ｇ２２，Ｇ３２，Ｇ２３，Ｇ３３の各画素の出力レベルを補正することを考えると、これら画素の出力レベルを補正するのは、以下の式を満たす時である。

［数１］
｜（偶数行出力レベルの積算平均）−（奇数行出力レベルの積算平均）｜＜しきい値
ただし、
偶数行出力レベルの積算平均＝（Ｇ00＋Ｇ20＋Ｇ30＋Ｇ50＋Ｇ02＋Ｇ22＋Ｇ32＋Ｇ52＋Ｇ14＋Ｇ44）／１０
奇数行出力レベルの積算平均＝（Ｇ11＋Ｇ41＋Ｇ03＋Ｇ23＋Ｇ33＋Ｇ53＋Ｇ05＋Ｇ25＋Ｇ35＋Ｇ55）／１０
である。

例えば偶数行の出力レベルが高くＧ22，Ｇ32画素の出力レベルを補正する場合、
［数２］
Ｓｕｂ＝（偶数行出力レベルの積算平均）−（奇数行出力レベルの積算平均）
とし、Ｇ22，Ｇ32画素の出力レベルからSubの値を差し引く。これにより、出力レベルの高い偶数行の出力レベルを奇数行に合わせて下げることとなり、偶数行と奇数行との間で発生した出力レベル差が低減され撮影画像中で段差が目立たなくなる。偶数列（０列，２列，４列）と奇数列（１列，３列，５列）とで出力レベルに差が生じる場合も同様に処理できる。

なお上記例では６画素×６画素のエリアで処理を行う場合について説明したが、ノイズによる誤差成分が大きくなる場合には、８画素×８画素や１０画素×１０画素のように処理を行うエリアを拡大することが好ましい。

＜ゴースト検出及び補正のタイミング＞
図２１は、ゴースト検出及び補正処理のタイミングを示す図である。本実施の形態に係る撮像装置１００では、撮像素子２０２から出力された信号のキズ補正及び混色補正を行った後であって当該信号のノイズ除去補正を行う前に、メインＣＰＵ２５１の各機能及びデジタル信号処理部２０６によりゴースト検出の判定及び補正を行う。このようなタイミングで判定及び補正を行う理由は、（１）ゴーストによる出力レベルの段差補正により段差が補正されるが、その補正された後に混色補正を実施すると段差を増加させる可能性があるため、混色補正により通常の混色による段差を補正した後にゴーストの補正を行うことが望ましく、また（２）ノイズ補正でも段差を低減する方向に働くため、ゴースト段差も軽減されてしまいゴーストの判定が悪くなってしまうため、ノイズ補正の前にゴースト段差補正を実施することが望ましいからであり、また（３）このような補正のタイミングに合わせて判定を行うことが望ましいからである。

なお本実施の形態では上述のように混色補正後にゴーストの検出を行っているが、本発明の画像処理装置、撮像装置、及び画像処理方法においてゴーストの検出は混色補正後に限定されるものではなく、混色補正前に行うようにしてもよい。混色補正前のデータに基づいてゴーストの検出を行うことによって混色補正とゴースト検出とを並行して処理することができ、処理時間の短縮が可能になる場合があるからである。

上述のように、本実施の形態に係る撮像装置１００では撮像素子２０２に対し光学的ローパスフィルタ（ＬＰＦ）が設けられていない。従って被写体に高周波の明暗パターンが含まれる場合、光学ローパスフィルタが設けられた撮像装置ではカットされていた高周波の明暗パターンが撮像素子の撮像面上に入射することになるため、被写体に含まれる高周波の明暗パターンとゴースト光による近接画素間の出力レベル差との判定が重要になるが、上述した検出及び補正処理を行うことで、このようなゴースト光による出力レベル差であるか被写体に含まれるパターンかを判定することができ、ゴースト光による出力レベル差の場合には出力段差が目立たないようにすることができ、画質の改善に特に有効である。

以上説明したように本実施の形態に係る撮像装置、画像処理装置、及び画像処理方法によれば、ゴーストの検出及び補正を適切に行い、良好な画質の画像を得ることができる。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。第２の実施形態においても第１の実施形態と同様に、レンズ交換式カメラである撮像装置（撮像装置）はカメラ本体（画像処理装置）と、カメラ本体に交換可能に装着される交換レンズ（レンズ装置）と、から構成される。第２の実施形態に係る撮像装置、カメラ本体、及び交換レンズの構成は第１の実施形態にかかる撮像装置１００、カメラ本体２００、及び交換レンズ３００の構成と同様であるが（図１〜図３参照）、第２の実施形態では撮像素子に設けられたカラーフィルタＣＦのカラーフィルタ配列が第１の実施形態と異なっている。なお第２の実施形態に係る撮像装置では第１の実施形態と同様に、撮像素子に光学的ローパスフィルタ（ＬＰＦ）が設けられていない。

＜カラーフィルタ配列の特徴＞
第２の実施形態において、撮像素子のカラーフィルタ配列は、下記の特徴(1)、(2)、(3)、及び(4)を有している。

〔特徴(1)〕
図２２に示すカラーフィルタ配列は、６×６画素に対応する正方配列パターンからなる基本配列パターンＰ２（太枠で示したパターン）を含み、この基本配列パターンＰ２が水平及び垂直方向に繰り返し配置されている。即ち、このカラーフィルタ配列は、Ｒ、Ｇ、Ｂの各色のフィルタ（Ｒフィルタ、Ｇフィルタ、Ｂフィルタ）が所定の周期性をもって配列されている。

このようにＲフィルタ、Ｇフィルタ、Ｂフィルタが所定の周期性をもって配列されているため、撮像素子から読み出されるＲ、Ｇ、Ｂ信号の同時化（補間）処理等を行う際に、繰り返しパターンにしたがって処理を行うことができる。

また、基本配列パターンＰ２の単位で間引き処理して画像を縮小する場合、間引き処理さした縮小画像のカラーフィルタ配列は、間引き処理前のカラーフィルタ配列と同じにすることができ、共通の処理回路を使用することができる。

〔特徴(2)〕
図２２に示すカラーフィルタ配列を構成する基本配列パターンＰ２は、輝度信号を得るために最も寄与する色(この実施形態では、Ｇの色)に対応するＧフィルタと、Ｇの色以外の他の色（この実施形態では、Ｒ，Ｂ）に対応するＲフィルタ、Ｂフィルタとが、基本配列パターン内の水平及び垂直方向の各ライン内に１つ以上配置されている。

Ｒ、Ｇ、Ｂフィルタが、それぞれ基本配列パターンＰ内の水平及び垂直方向の各ライン内に配置されるため、色モワレ（偽色）の発生を抑圧することができる。これにより、偽色の発生を抑制するための光学ローパスフィルタを光学系の入射面から撮像面までの光路に配置しないようにでき、又は光学ローパスフィルタを適用する場合でも偽色の発生を防止するための高周波数成分をカットする働きの弱いものを適用することができ、解像度を損なわないようにすることができる。

〔特徴(3)〕 輝度系画素に対応するＧフィルタは、カラーフィルタ配列内において、水平、垂直、及び斜め（ＮＥ，ＮＷ）方向の各方向に２以上隣接する部分が含まれるように配置されている。

図２３は、図２２に示した基本配列パターンＰ２を、３×３画素に４分割した状態に関して示している。

図２３に示すように基本配列パターンＰ２は、実線の枠で囲んだ３×３画素のＡ２配列と、破線の枠で囲んだ３×３画素のＢ２配列とが、水平、垂直方向に交互に並べられた配列となっていると捉えることもできる。

Ａ２配列は、中心にＲフィルタが配置され、４隅にＢフィルタが配置され、中心のＲフィルタを挟んで上下左右にＧフィルタが配置されている。一方、Ｂ２配列は、中心にＢフィルタが配置され、４隅にＲフィルタが配置され、中心のＢフィルタを挟んで上下左右にＧフィルタが配置されている。これらのＡ２配列とＢ２配列とは、ＲフィルタとＢフィルタとの位置関係が逆転しているが、その他の配置は同様になっている。

図２４（ａ）に示すように、第２の実施形態の撮像素子のカラーフィルタ配列は、上記Ａ２配列とＢ２配列とが、水平及び垂直方向に交互に配置されていると捉えることもできる。

また、輝度系画素であるＧフィルタが、Ａ２配列またはＢ２配列における３×３画素において中心のフィルタを挟んで上下左右に配置され、この３×３画素が水平方向、垂直方向に交互に配置されることで、Ｇフィルタが水平、垂直、及び斜め（ＮＥ，ＮＷ）方向の各方向に２以上隣接する部分が形成され、図２４（ｂ）に示すように十字形状に配置される。なお、このような配列とすることで、前述の特徴(1),(3),およびＧフィルタについては特徴(2)が満たされる。

いま、図２４（ａ）に示すように、第１の実施形態の撮像素子から出力されるモザイク画像を、Ａ２配列を中心にして５×５画素の局所領域（太枠で示した領域）を抽出した場合、この局所領域内の８個のＧ画素は、図２４（ｂ）に示すように十字形状に配置される。これらのＧ画素を左から右の順にＧ１、Ｇ２、Ｇ３、Ｇ４とし、上から下の順にＧ５、Ｇ６、Ｇ７Ｇ８とすると、画素Ｇ１Ｇ２、画素Ｇ２Ｇ３が水平方向に隣接し、画素Ｇ５Ｇ６、画素Ｇ７Ｇ８が垂直方向に隣接し、画素Ｇ６Ｇ３、画素Ｇ２Ｇ７が左上斜め方向に隣接し、画素Ｇ６Ｇ２、画素Ｇ３Ｇ７が右上斜め方向に隣接している。

従って、これらの隣接する画素の画素値の差分絶対値を求めることにより、水平、垂直、及び斜め（ＮＥ，ＮＷ）方向の各方向のうち、輝度の変化が最も小さい方向（相関の高い相関方向）を、最小画素間隔で判別することができる。

即ち、水平方向の差分絶対値の和は｜Ｇ１−Ｇ２｜＋｜Ｇ３−Ｇ４｜、水平方向の差分絶対値の和は｜Ｇ５−Ｇ６｜＋｜Ｇ７−Ｇ８｜、右上斜め方向の差分絶対値の和は｜Ｇ６−Ｇ２｜＋｜Ｇ３−Ｇ７｜、左上斜め方向の差分絶対値の和は｜Ｇ６−Ｇ３｜＋｜Ｇ２−Ｇ７｜となる。

これらの４つの相関絶対値のうち最小となる差分絶対値をとる方向に相関（相関方向）があると判別することができる。尚、判別された相関方向は、同時化（補間）処理等を行う際に利用することができる。

尚、本実施の形態では、隣接するＧ画素の画素値の差分値に基づいて輝度の変化が最も小さい方向（相関の高い相関方向）を判別するようにしたが、これに限らず、隣接するＧ画素の画素値の比に基づいて輝度の変化が最も小さい方向を判別するようにしてもよい。隣接するＧ画素の画素値の比に基づいて輝度の変化を判別する場合、その比がほぼ１となる方向が輝度の変化が小さい方向となる。

＜相関方向を使用した補間方法＞
次に、上記のようにして方向判別された相関方向を利用した補間方法について説明する。

図２５に示すように縦方向に相関方向があると判別され、図２５に示す太枠内の３×３画素（Ａ２配列）の各画素の画素位置における他の色の画素値を補間して求める場合、相関方向の近傍に存在する同じ色の画素の画素値を使用する。

Ｇの画素値を補間する場合、Ｂ22,Ｂ24の画素位置におけるＧの画素値Ｇ22',Ｇ24'は、Ｇ23の画素値を使用し、Ｂ42,Ｂ44の画素位置におけるＧの画素値Ｇ42',Ｇ44'は、Ｇ43の画素値を使用する。一方、Ｒ33の画素位置におけるＧの画素値Ｇ33’は、Ｇ32とＧ34の画素値の平均値を使用する。

Ｒ、Ｂの画素値を補間する場合、Ｂ22の画素位置におけるＲの画素値R22’は、Ｒ21の画素値を使用し、Ｇ23の画素位置におけるＲ，Ｂの画素値Ｒ23',Ｂ23’は、それぞれＲ21とＲ25の画素値の平均値、Ｂ22とＢ24の画素値の平均値を使用し、Ｂ22,Ｂ24の画素位置におけるＲの画素値Ｒ22',Ｒ24'は、それぞれＲ21,R25の画素値を使用する。

Ｇ32の画素位置におけるＲ，Ｂの画素値Ｒ32',Ｂ32'は、それぞれＲ33,Ｂ30の画素値を使用し、Ｒ33の画素位置におけるＢの画素値Ｂ33'は、Ｂ30とＢ36の画素値の平均値を使用し、Ｇ34の画素位置におけるＲ，Ｂの画素値Ｒ34',Ｂ34'は、それぞれＲ33,Ｂ36の画素値を使用する。

Ｂ42の画素位置におけるＲの画素値R42'は、Ｒ41の画素値を使用し、Ｇ43画素位置におけるＲ，Ｂの画素値Ｒ43',Ｂ43’は、それぞれＲ41とＲ45の画素値の平均値、Ｂ42とＢ44の画素値の平均値を使用し、Ｂ44の画素位置におけるＲの画素値R44'は、Ｒ45の画素値を使用する。

Ｂ２配列の場合はＲ、Ｂを入れ替えて同様の処理を行うことでＲＧＢの画素値の補間を行う。

以上の処理を３×３画素毎に繰り返すことでＲＧＢの画素値が補間される。

一方、図２６に示すように左斜め上方向に相関方向があると判別され、図２６に示す太枠内の３×３画素（Ａ２配列）の各画素の画素位置における他の色の画素値を補間して求める場合、相関方向の近傍に補間する色の画素が存在する場合には、その画素値を使用し、相関方向に補間する色の画素が存在しない場合には、近傍に存在する補間済みの画素のＲＧＢの画素値の差又は比（色差又は色比)の関係を利用して補間する。

まず、補間方向に補間する色の画素が存在する画素から補間を行う。図２６では、Ｂ22の画素位置におけるＲの画素値R22'は、Ｒ23の画素値を使用し、Ｇ32の画素位置におけるＲの画素値Ｒ32'は、Ｒ21の画素値を使用し、Ｂ42の画素位置におけるＧの画素値Ｇ42'は、Ｇ31とＧ53の画素値の平均値を使用する。以降、Ｒ23'、Ｂ33'、Ｒ43'、Ｇ24'、Ｒ34'、Ｒ44'も同じように相関方向に存在する補間する色の画素の画素値を使用する。

次に、相関方向に補間する色の画素が存在しない画素の補間の処理方法を説明する。

図２６のＢ22の画素位置におけるＧの画素値G22’を補間して求める場合、Ｇ13と補間した画素値Ｂ13’、及びＧ31と補間した画素値Ｂ31’の色差を用いて補間を行う。具体的には下式の計算により値を算出する。

［数３］
Ｇ22’＝Ｂ22＋(Ｇ13＋Ｇ31)/2−(Ｂ13’＋Ｂ31’)/2
同様に、Ｇ32の画素位置におけるＢの画素値Ｂ32'、Ｂ42の画素位置におけるＲの画素値R42'の補間方法は、下式のようになる。

［数４］
Ｂ32’＝Ｇ32＋Ｂ31'−Ｇ31
Ｒ42’＝Ｂ42＋Ｒ33−Ｂ33’
同様の処理を行ってＢ32'、Ｇ33'、Ｂ43'、Ｒ24'、Ｂ34'、Ｇ44'の補間を行う。

以上の処理を3×3画素毎に繰り返すことでＲ、Ｇ、Ｂの画素値が補間される。

尚、Ａ２配列、Ｂ２配列におけるＲ、Ｇ、Ｂのカラーフィルタの対称性により、相関方向が横方向と判別された場合、又は右斜め上方向に相関方向があると判別された場合であっても、上述したように縦方向と判別された場合、又は左斜め上方向と判別された場合と同様にしてＲＧＢの画素値を補間して求めることができる。

また、上記［数３］式、及び［数４］式では、色差を用いて補間を行っているが、色比を用いて補間を行うようにしてもよい。

〔特徴(4)〕
図２２に示すカラーフィルタ配列を構成する基本配列パターンＰ２は、その基本配列パターンＰ２の中心に対して点対称になっている。

図２３に示したように、基本配列パターン内のＡ２配列及びＢ２配列は、それぞれ中心のＲフィルタ、又はＧフィルタに対して点対称になっており、かつ上下左右が対称（線対称）になっている。

このような対称性により、後段の処理回路の回路規模を小さくしたり、簡略化したりすることが可能になる。

〔特徴(5)〕
図２２に示すカラーフィルタ配列の基本配列パターンは、その基本配列パターン内におけるＲ、Ｇ、Ｂフィルタに対応するＲ画素、Ｇ画素、Ｂ画素の画素数が、それぞれ１０画素、１６画素、１０画素になっている。即ち、ＲＧＢ画素の各画素数の比率は、５：８：５になっており、輝度信号を得るために最も寄与するＧ画素の画素数の比率は、他の色のＲ画素、Ｂ画素の画素数の比率よりも大きくなっている。

上記のようにＧ画素の画素数とＲ，Ｂ画素の画素数との比率が異なり、特に輝度信号を得るために最も寄与するＧ画素の画素数の比率を、Ｒ，Ｂ画素の画素数の比率よりも大きくするようにしたため、同時化処理時におけるエリアシングを抑制することができるとともに、高周波再現性もよくすることができる。

尚、基本配列パターンを水平方向及び垂直方向に繰り返し配置することで、図２２に示すカラーフィルタ配列を構成することができる基本配列パターンは複数存在するが、第２の実施形態では、基本配列パターンが点対称になっている基本配列パターンＰ２を、便宜上、基本配列パターンという。

なお第２の実施形態に係る撮像装置は、図２２のようなカラーフィルタ配列のカラーフィルタを搭載した撮像素子を用いているため、光学ローパスフィルタ（ＬＰＦ）を設けなくても、被写体に高周波のパターンが含まれていても色モアレ（偽色）の発生を低減することができる。

また、このような光学ローパスフィルタが設けられていない形態ではなく、ローパスフィルタの機能を低減した形態や抑えた形態を採用するようにしてもよい。

＜ゴースト検出及び補正処理＞
上述した構成の下、第２の実施形態では第１の実施形態と同様に、近接した同色画素間での出力レベル差が被写体の明暗パターンによるものかゴースト光によるものかを、しきい値を用いて検出し補正する。具体的には、ゴースト発生の様子及びしきい値の設定は図９〜図１７及びこれに対応する上述の説明と同様であり、ゴーストの検出及び補正処理は図１８，１９及びこれに対応する上述の説明と同様であり、ゴースト検出及び補正処理のタイミングは図２１及びこれに対応する上述の説明と同様である。

なお第１の実施形態において選択的に採用しうる構成（ゴースト発生の判定に関しＧ画素について判断しその結果に基づきＢ，Ｒ画素も含めて一律に補正を行うか、あるいはＲＧＢの各色画素で個別に判断及び補正を行うか、等）については、第２の態様においてもいずれの態様を採用してもよい。

上述のように、第２の実施形態に係る撮像装置では第１の実施形態と同様に、撮像素子に光学的ローパスフィルタ（ＬＰＦ）が設けられていない。従って被写体に高周波の明暗パターンが含まれる場合、光学ローパスフィルタが設けられた撮像装置ではカットされていた高周波の明暗パターンが撮像素子の撮像面上に入射することになるため、被写体に含まれる高周波の明暗パターンとゴースト光による近接画素間の出力レベル差との判定が重要になるが、上述した検出及び補正処理を行うことで、このようなゴースト光による出力レベル差であるか被写体に含まれるパターンかを判定することができ、ゴースト光による出力レベル差の場合には出力段差が目立たないようにすることができ、画質の改善に特に有効である。

以上説明したように第２の実施形態に係る撮像装置、画像処理装置、及び画像処理方法によれば、第１の実施形態と同様に、ゴーストの検出及び補正を適切に行い良好な画質の画像を得ることができる。

以上本発明を各実施形態により説明したが、本発明の実施の態様は上記実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能である。

１００…撮像装置、２００…カメラ本体、２０２…撮像素子、２４６…マウント、２５０…マウント通信部、２５１…メインＣＰＵ、３００…交換レンズ、３１０…ズームレンズ制御部、３２０…フォーカスレンズ制御部、３３０…絞り制御部、３４０…レンズＣＰＵ、３４６…マウント、３５０…マウント通信部、ＺＬ…ズームレンズ、ＦＬ…フォーカスレンズ、Ｉ…絞り、ＭＬ…マイクロレンズ、ＣＦ…カラーフィルタ

Claims (27)

1. 撮影光学系と、
   ２次元配列された光電変換素子からなる複数の画素であって下地のレイアウトが異なる複数の画素が所定のパターンで繰り返し配列され、当該複数の画素上に所定のカラーフィルタ配列のカラーフィルタが配設された単板式の撮像素子と、
   前記複数の画素のうちの一の画素の出力レベルと、当該一の画素の近傍にある同色の画素であって当該一の画素と前記下地のレイアウトが異なる他の画素の出力レベルと、があらかじめ設定されたしきい値を超えない範囲で異なる場合にゴーストが発生していると判定する判定手段と、
   前記判定手段によりゴーストが発生していると判定された場合に、前記一の画素の出力レベルと前記近傍にある同色の画素の出力レベルとの差を低減する補正を行う補正手段と、
   を備える撮像装置。
2. 前記撮像素子は前記２次元配列における隣接ライン間で前記下地のレイアウトが異なり、
   前記判定手段は前記隣接ラインに存在する同色画素の出力レベルが前記しきい値を超えない範囲で異なる場合にゴーストが発生していると判定する、
   請求項１に記載の撮像装置。
3. 前記判定手段は前記一の画素の出力レベルと前記他の画素の出力レベルとの差が前記下地のレイアウトの繰り返し周期に応じて繰り返し生じている場合にゴーストが発生していると判定する、請求項１または２に記載の撮像装置。
4. 前記判定手段は前記カラーフィルタのフィルタ色の全ての色に対応する画素に対して前記判定を行い、
   前記補正手段はゴーストが発生していると判断された色に対応する画素に対して前記補正を行う、
   請求項１から３のいずれか一項に記載の撮像装置。
5. 前記判定手段は前記カラーフィルタのフィルタの色のうちの一の色に対応する画素に対してゴーストが発生しているか否かの判定を行い、
   前記補正手段は、前記判定手段が前記一の色についてゴーストが発生していると判定した場合は当該一の色を含む前記カラーフィルタのフィルタ色の全ての色に対応する画素に対して前記補正を行う、
   請求項１から４のいずれか一項に記載の撮像装置。
6. 前記判定手段により用いられる前記しきい値は撮影画像の画素位置に応じて設定される、請求項１から５のいずれか一項に記載の撮像装置。
7. 前記判定手段は前記撮像素子の各個体に応じて設定されたしきい値に基づいて前記判定を行う、請求項１から６のいずれか一項に記載の撮像装置。
8. 前記撮像素子の撮像面は複数のエリアに分割されており、
   前記判定手段は、前記複数のエリアのうちの少なくとも一のエリア内の同色画素の出力レベルの積算値に基づいて前記判定を行う、
   請求項１から７のいずれか一項に記載の撮像装置。
9. 前記補正手段は、前記一の画素の出力レベルと前記他の画素の出力レベルとのうち高い方を低い方に合わせて下げることで前記発生した出力レベル差を低減する、請求項１から８のいずれか一項に記載の撮像装置。
10. 前記判定手段及び前記補正手段は、前記撮像素子から出力された信号のキズ補正及び混色補正を行った後であって前記信号のノイズ除去補正を行う前に前記判定及び前記補正を行う、請求項１から９のいずれか一項に記載の撮像装置。
11. 前記撮影光学系は光学ローパスフィルタの機能が非搭載である、請求項１から１０のいずれか一項に記載の撮像装置。
12. 前記カラーフィルタ配列は、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと前記第１の色以外の２色以上の第２の色に対応する第２のフィルタとが配列された所定の基本配列パターンを含み、該基本配列パターンが水平及び垂直方向に繰り返して配置され、
    前記基本配列パターンの中に第１のフィルタまたは第２のフィルタの少なくとも１つの同色のフィルタが水平及び垂直方向に２画素以上連続配置されている、
    請求項１から１１のいずれか一項に記載の撮像装置。
13. 前記第１のフィルタ及び第２のフィルタは、それぞれ前記基本配列パターン内に前記カラーフィルタ配列の水平及び垂直方向の各ライン内に１つ以上配置され、
    前記第１のフィルタは、更に前記基本配列パターン内において、水平、垂直、斜め右上、及び斜め左上方向の各方向に２以上隣接する部分が含まれるように配置されている、
    請求項１２に記載の撮像装置。
14. 前記カラーフィルタ配列は、前記第２のフィルタのいずれか１色のフィルタを挟んで水平及び垂直方向にそれぞれ前記第１のフィルタが２以上連続配置されている、請求項１２または１３に記載の撮像装置。
15. 前記カラーフィルタ配列は、前記第１のフィルタが３×３画素群において中心のフィルタを挟んで上下左右に配置され、該３×３画素群が水平方向及び垂直方向に繰り返し配置されている請求項１２から１４のいずれか一項に記載の撮像装置。
16. 前記第１の色は、緑（Ｇ）色であり、前記第２の色は、赤（Ｒ）色及び青（Ｂ）であり、
    前記カラーフィルタは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色に対応するＲフィルタ、Ｇフィルタ及びＢフィルタを有し、
    前記カラーフィルタ配列は、３×３画素に対応する第１の配列であって、中心にＲフィルタが配置され、４隅にＢフィルタが配置され、中心のＲフィルタを挟んで上下左右にＧフィルタが配置された第１の配列と、３×３画素に対応する第２の配列であって、中心にＢフィルタが配置され、４隅にＲフィルタが配置され、中心のＢフィルタを挟んで上下左右にＧフィルタが配置された第２の配列とが、交互に水平及び垂直方向に配列されて構成されている請求項１２から１５のいずれか一項に記載の撮像装置。
17. 前記カラーフィルタ配列は、前記カラーフィルタのフィルタの色のうち輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと前記第１の色以外の２色以上の第２の色に対応する第２のフィルタとが配列された所定の基本配列パターンを含み、該基本配列パターンが水平方向及び垂直方向に繰り返して配置され、
    前記第１のフィルタは、前記カラーフィルタ配列の水平、垂直、斜め右上、及び斜め左上方向の各ライン内に１つ以上配置され、 前記第２のフィルタは、前記基本配列パターン内に前記カラーフィルタ配列の水平、及び垂直方向の各ライン内に１つ以上配置される、
    請求項１から１１のいずれか一項に記載の撮像装置。
18. 前記カラーフィルタ配列は、前記第１のフィルタが水平、垂直、斜め右上、及び斜め左上方向の各ライン内で２画素以上連続する部分を含む、請求項１７に記載の撮像装置。
19. 前記カラーフィルタ配列は、前記第１のフィルタからなる２×２画素に対応する正方配列を含む、請求項１７または１８に記載の撮像装置。
20. 前記カラーフィルタ配列は、前記第１のフィルタが３×３画素群において中心と４隅に配置され、該３×３画素群が水平方向及び垂直方向に繰り返し配置されている請求項１７から１９のいずれか一項に記載の撮像装置。
21. 前記第１の色は、緑（Ｇ）色であり、前記第２の色は、赤（Ｒ）色及び青（Ｂ）色であり、
    前記所定の基本配列パターンは、６×６画素に対応する正方配列パターンであり、
    前記カラーフィルタ配列は、３×３画素に対応する第１の配列であって、中心と４隅にＧフィルタが配置され、中心のＧフィルタを挟んで上下にＢフィルタが配置され、左右にＲフィルタが配列された第１の配列と、３×３画素に対応する第２の配列であって、中心と４隅にＧフィルタが配置され、中心のＧフィルタを挟んで上下にＲフィルタが配置され、左右にＢフィルタが配列された第２の配列とが、交互に水平方向及び垂直方向に配列されて構成されている請求項１７から２０のいずれか一項に記載の撮像装置。
22. ２次元配列された光電変換素子からなる複数の画素であって下地のレイアウトが異なる複数の画素が所定のパターンで繰り返し配列され、当該複数の画素上に所定のカラーフィルタ配列のカラーフィルタが配設された単板式の撮像素子と、
    前記複数の画素のうちの一の画素の出力レベルと、当該一の画素の近傍にある同色の画素であって当該一の画素と前記下地のレイアウトが異なる他の画素の出力レベルと、があらかじめ設定されたしきい値を超えない範囲で異なる場合にゴーストが発生していると判定する判定手段と、
    前記判定手段によりゴーストが発生していると判定された場合に、前記一の画素の出力レベルと前記近傍にある同色の画素の出力レベルとの差を低減する補正を行う補正手段と、
    を備える画像処理装置。
23. 請求項２２に記載の画像処理装置と、
    前記画像処理装置に交換可能に装着されるレンズ装置と、
    前記レンズ装置のレンズ情報と前記しきい値とを関連づけて記憶する記憶手段と、
    前記画像処理装置に装着されたレンズのレンズ情報を取得するレンズ情報取得手段と、を備え、
    前記判定手段は前記記憶手段を参照して前記取得したレンズ情報に対応するしきい値を取得し、当該取得したしきい値に基づいて前記判定を行う、
    撮像装置。
24. 前記レンズ情報は前記装着されたレンズの絞り値、ズーム位置、及びフォーカス位置のうち少なくとも一つを含む、請求項２３に記載の撮像装置。
25. 光学ローパスフィルタの機能が非搭載である、請求項２３または２４に記載の撮像装置。
26. 撮影光学系と、２次元配列された光電変換素子からなる複数の画素であって下地のレイアウトが異なる複数の画素が所定のパターンで繰り返し配列され、当該複数の画素上に所定のカラーフィルタ配列のカラーフィルタが配設された単板式の撮像素子を備える撮像装置の画像処理方法であって、
    前記複数の画素のうちの一の画素の出力レベルと当該一の画素の近傍にある同色の画素であって当該一の画素と前記下地のレイアウトが異なる他の画素の出力レベルとがあらかじめ設定されたしきい値を超えない範囲で異なる場合にゴーストが発生していると判定する判定ステップと、
    前記判定ステップによりゴーストが発生していると判定された場合に前記一の画素の出力レベルと前記近傍にある同色の画素の出力レベルとの差を低減する補正を行う補正ステップと、
    を含む画像処理方法。
27. ２次元配列された光電変換素子からなる複数の画素であって下地のレイアウトが異なる複数の画素が所定のパターンで繰り返し配列され、当該複数の画素上に所定のカラーフィルタ配列のカラーフィルタが配設された単板式の撮像素子を備える画像処理装置の画像処理方法であって、
    前記複数の画素のうちの一の画素の出力レベルと当該一の画素の近傍にある同色の画素であって当該一の画素と前記下地のレイアウトが異なる他の画素の出力レベルとがあらかじめ設定されたしきい値を超えない範囲で異なる場合にゴーストが発生していると判定する判定ステップと、
    前記判定ステップによりゴーストが発生していると判定された場合に前記一の画素の出力レベルと前記近傍にある同色の画素の出力レベルとの差を低減する補正を行う補正ステップと、
    を含む画像処理方法。

Images