JP2014110619A - 画像処理装置およびその制御方法、並びに撮像装置およびその制御方法 - Google Patents

Abstract

【課題】撮像素子を構成する画素群の一部に特定の機能を付与した機能画素の位置での画像データに関して、クロストークが原因で発生する誤差を低減し、画質劣化を抑えること。
【解決手段】撮像素子は撮像画素と、離散的に配置された焦点検出用の検出画素を備える。検出画素は、撮像光学系の射出瞳の異なる領域をそれぞれ通過した光を光電変換する。検出画素に隣接する周辺撮像画素から当該検出画素に漏れ込む光によるクロストーク率のデータを読み出す処理（Ｓ１２０３）と、検出画素の感度補正データを読み出す処理（Ｓ１２０４）が実行される。周辺撮像画素の出力値を用いて、検出画素へのクロストーク量が算出される（Ｓ１２０５）。検出画素位置での画素データからクロストーク量を減算した結果に感度補正データを乗算し、乗算結果にクロストーク量を加算することでデータ生成が行われる（Ｓ１２０６）。
【選択図】 図１１

Description

本発明は、画素群の一部に特定の機能を付与した機能画素を有する撮像素子から取得される画像データを処理する画像処理技術に関する。

撮像素子を構成する画素群の一部に特定の機能、例えば、被写体像の位相差検出機能を付与した機能素子を有する撮像素子が知られている。専用のＡＦ（オートフォーカス）センサが不要となり、高速の位相差ＡＦを実現できる。特許文献１では、撮像素子の一部の受光素子（画素）において、オンチップマイクロレンズの光軸に対して受光部の感度領域を偏心させることで瞳分割機能を付与している。焦点検出画素を撮像画素群の間に所定の間隔で配置して位相差式焦点検出が行われる。焦点検出画素の配置箇所は撮像画素の欠損部に相当するため、周辺の撮像画素情報から補間した画像情報が用いられる。

また、特許文献２に開示の装置は、焦点検出画素位置での画像情報の生成に関して２つの補正手段を備える。第１の補正手段は、焦点検出画素位置の画像情報に対し、撮影条件により変化する係数を掛けて画像データを生成する。第２の補正手段は、焦点検出画素の周辺の撮像画素の情報から補間して画像情報を生成する。補正された一方の結果、または両者を加重加算した結果から焦点検出画素位置における画像情報が推定される。焦点検出画素の画像情報に係数を掛ける補正では、Ｆ値、射出瞳、周辺画素の色構成比に応じて予め記憶されている補正値を用いる。さらに、焦点検出画素の周辺に位置する撮像画素の情報から、焦点検出画素位置での被写体像のエッジ検出が行われ、その情報に応じて画像情報生成手段の切り換えが行われる。

特開２０００−１５６８２３号公報 特開２００７−２８２１０７号公報

従来の技術では、焦点検出画素位置での画像信号の推定処理に関して、以下の課題がある。
特許文献１のように、周辺画素の画像信号に基づく補間方法では、周辺画素から取得した画像データにより焦点検出画素位置での画像出力が推定される。このため、焦点検出画素位置に撮像画素を配置させたとした場合に得られる画素出力から、かけ離れた値としてデータが算出されてしまう可能性がある。
空間周波数の低い被写体からの光を受光する場合、焦点検出画素位置での像は、周辺画素（撮像専用画素）位置での像に対して連続性が高い。そのため、焦点検出画素位置での画像データを、周辺画素での画像信号に基づいて補間するのが好ましい。この場合、被写体像の空間周波数が低いので、補間処理による鮮鋭度の低下は目立ち難い。一方、空間周波数の高い被写体からの光を受光する場合、焦点検出画素位置での像は、周辺画素位置での像に対して連続性が低い。このため、補間処理を行う上で、補間参照画素の選択の仕方によって、結果が大きく異なる。
特定方向に像の連続性が低い被写体からの光を受光する場合、焦点検出画素位置に対して像の連続性が高い方向に配列されている撮像専用画素を補間参照画素として選択することが好ましい。また、全方向にて像の連続性が低い画像に対しては、焦点検出画素位置での画像信号を周辺画素位置での画像信号から推定することが難しい。

特許文献２では、空間周波数に応じて画像出力の推定方法を変えることで上述した問題点に対応している。しかし、ゲイン補正を行う際、焦点検出画素の出力にゲイン係数を掛ける方法では、生成された画像情報に誤差を含む可能性が高い。焦点検出画素の出力は、焦点検出画素を構成するマイクロレンズを通る入射光により発生する信号成分と、それ以外の要因により発生するクロストーク成分を含む。クロストークの発生要因の１つは、隣接画素で発生した信号電荷が焦点検出画素に漏れ込むことである。焦点検出画素と、これに隣接する撮像画素とでは色感度分布が異なる。このため、クロストーク成分を含んだ焦点検出画素の出力をもとにゲイン係数を設定してしまうと、被写体の色や光源によっては誤差が大きくなる可能性がある。

本発明の目的は、撮像素子を構成する画素群の一部に特定の機能を付与した機能画素の位置での画像データに関して、クロストークが原因で発生する誤差を低減し、画質劣化を抑えることである。

上記課題を解決するために、本発明に係る装置は、撮像光学系を介した光を光電変換して撮像信号を出力する撮像画素と、特定の機能を付与した機能画素とが存在する撮像素子から取得した画像データを処理する画像処理装置であって、前記機能画素の感度補正データ、および前記機能画素に隣接する撮像画素から当該機能画素に漏れ込む光によるクロストークのデータを記憶する記憶手段と、前記記憶手段から前記感度補正データおよび前記クロストークのデータを取得し、前記機能画素の位置における画素データを補正する補正手段を備える。

本発明によれば、機能画素の位置での画像データに関して、クロストークが原因で発生する誤差を低減し、画質劣化を抑えることができる。

図２ないし図１２と併せて本発明の実施形態を説明するために、装置の構成例を示す図である。 撮像素子の構成例を説明するブロック図である。 撮像素子の撮像画素を説明する平面図（Ａ）と断面図（Ｂ）である。 水平方向の焦点検出を行うための焦点検出用画素の平面図（Ａ）と断面図（Ｂ）である。 垂直方向の焦点検出を行うための焦点検出用画素の平面図（Ａ）と断面図（Ｂ）である。 撮像素子の焦点検出領域（Ａ）と画素配置パターン（Ｂ）を例示する図である。 クロストークの発生原因を説明する図である。 カメラ動作を説明するフローチャートである。 焦点検出動作を説明するフローチャートである。 撮影動作を説明するフローチャートである。 画像処理を説明するフローチャートである。 画像処理動作を説明する画素配置図である。

以下に、本発明の実施形態について添付図面を参照して説明する。
図１は本実施形態に係る撮像装置の構成図であり、撮像素子を有するカメラ本体部と撮影レンズ部が一体となった電子カメラを例示する。なお、被写体側を前方と定義して各部の位置関係を説明する。
第１レンズ群１０１は撮像光学系（結像光学系）の前端部に配置され、光軸方向に進退可能に保持される。絞り兼用シャッタ１０２は、その開口径を調節することで撮影時の光量調節を行う他、静止画撮影時には露光秒時調節用シャッタとして機能する。第２レンズ群１０３は、絞り兼用シャッタ１０２と一体となって光軸方向に進退し、第１レンズ群１０１の進退動作との連動により、変倍作用（ズーム機能）を有する。第３レンズ群１０５は光軸方向に進退して焦点調節を行う。光学的ローパスフィルタ１０６は、撮影画像の偽色やモアレを軽減するための光学素子である。撮像部は、ＣＭＯＳ（相補型金属酸化膜半導体）センサ等の撮像素子１０７とその周辺回路で構成され、撮像信号を出力する。例えば撮像素子１０７には、横方向にｍ画素、縦方向にｎ画素の受光ピクセル上に、ベイヤー配列の原色カラーモザイクフィルタをオンチップで形成した２次元単板カラーセンサが用いられる。

ズームアクチュエータ１１１は、不図示のカム筒を回動することで、第１レンズ群１０１ないし第３レンズ群１０３を光軸方向に進退駆動し、変倍動作を行う。絞りシャッタアクチュエータ１１２は、絞り兼用シャッタ１０２の開口径を制御して撮影光量を調節すると共に、静止画撮影時の露光時間制御を行う。フォーカスアクチュエータ１１４は第３レンズ群１０５を光軸方向に駆動して焦点調節を行う。
電子フラッシュ１１５は撮影時の照明用光源であり、キセノン管を用いた閃光照明装置、または連続発光するＬＥＤ（発光ダイオード）を備えた照明装置が使用される。ＡＦ（オートフォーカス）補助光源１１６は、所定の開口パターンを有したマスクの像を、投光レンズを介して被写界に投影し、暗い被写体または低コントラストの被写体に対する焦点検出能力を向上させる。

ＣＰＵ（中央演算処理装置）１２１は、カメラ本体部の種々の制御を司るカメラ制御部を構成する。ＣＰＵ１２１は、演算部、ＲＯＭ（読み出し専用メモリ）、ＲＡＭ（ランダム・アクセス・メモリ）、Ａ（アナログ）／Ｄ（デジタル）コンバータ、Ｄ／Ａコンバータ、通信インターフェイス回路等を有する。ＣＰＵ１２１はＲＯＭに記憶された所定のプログラムを実行し、各種回路の駆動、ＡＦ、撮影、画像処理、記録等の一連の動作を制御する。

電子フラッシュ制御回路１２２は、撮影動作に同期して電子フラッシュ１１５を点灯制御する。ＡＦ補助光回路１２３は、焦点検出動作に同期してＡＦ補助光源１１６を点灯制御する。撮像素子駆動回路１２４は、撮像素子１０７の撮像動作を制御するとともに、取得した画像信号をＡ／Ｄ変換してＣＰＵ１２１に出力する。画像処理回路１２５は、撮像素子１０７による画像データのγ変換、カラー補間、ＪＰＥＧ圧縮等の処理を行う。フォーカス駆動回路１２６は、焦点検出結果に基づいてフォーカスアクチュエータ１１４を駆動し、第３レンズ群１０５を光軸方向に移動させて焦点調節を行う。絞りシャッタ駆動回路１２８は、絞りシャッタアクチュエータ１１２を駆動して絞り兼用シャッタ１０２の開口径を制御する。ズーム駆動回路１２９は、撮影者のズーム操作に応じてズームアクチュエータ１１１を駆動する。各駆動部はＣＰＵ１２１からの制御指令に従って各部が担当する可動部材を駆動する。
ＬＣＤ（液晶表示パネル）等を用いた表示部１３１は、カメラの撮影モードに関する情報、撮影前のプレビュー画像、撮影後の確認用画像、焦点検出時の合焦状態表示画像等を画面に表示する。操作部１３２は、電源スイッチ、レリーズ（撮影トリガ）スイッチ、ズーム操作スイッチ、撮影モード選択スイッチ等で構成される。フラッシュメモリ１３３は着脱可能な記録媒体であり、撮影済み画像データが記録される。

図２は、撮像素子１０７の構成例を示すブロック図であり、本実施形態に関係する最低限の構成を示し、画素リセット信号等は省略する。光電変換部２０１は、フォトダイオード、画素アンプ、リセット用スイッチ素子等で構成される。以下、光電変換部をPDmnと記し、ｍ（=0,1,・・・、m-1）はＸ方向のアドレスを示す変数とし、ｎ（=0,1,・・・,n-1）はＹ方向のアドレスを示す変数とする。つまり、撮像素子はｍ×ｎ個の光電変換部２０１を２次元アレイ状に配置した構成を有する。PDmnはいずれも同様の構成を有するので、図示の煩雑化を避けるために、左上隅に位置する光電変換部PD00に関係する部分にのみ符号を付して説明する。

スイッチ素子２０２は、光電変換部PDmnの出力を選択する素子であり、垂直走査回路２０８により、一行ごとに選択される。ラインメモリ２０３は、光電変換部PDmnの出力を一時的に記憶する。ラインメモリ２０３にはコンデンサ等を使用し、垂直走査回路２０８により選択された一行分の光電変換部の出力を記憶する。水平出力線に接続されたスイッチ素子２０４は信号ＨＲＳＴにより制御されて、水平出力線を所定の電位ＶＨＲＳＴにリセットする。複数のスイッチ素子２０５は、ラインメモリ２０３が記憶している光電変換部PDmnの出力を水平出力線へ順次出力する。水平走査回路２０６は信号Ｈ0からＨm-1を各スイッチ素子２０５に印加して順次走査する。これにより、一行分の光電変換部の出力が読み出され、アンプ２０７から信号が出力される。
水平走査回路２０６にて、ＰＨＳＴはデータ入力端子を示し、ＰＨ１、ＰＨ２は、シフトクロック入力端子をそれぞれ示している。ＰＨ１をＨレベルにしてデータがセットされ、ＰＨ２への信号によりデータがラッチされる。シフトクロックをＰＨ１、ＰＨ２にそれぞれ入力することにより、ＰＨＳＴへの入力信号を順次にシフトさせて、信号Ｈ0からＨm-1により対応する各スイッチ素子２０５を順次にオン状態にすることができる。ＳＫＩＰは、間引き読み出し時に設定される制御端子である。ＳＫＩＰをＨレベルに設定することで水平走査回路２０６を所定間隔でスキップさせることができる。
垂直走査回路２０８は、順次走査により信号Ｖ0からＶn-1を出力することにより、光電変換部PDmnの各スイッチ素子２０２を選択する。垂直走査回路２０８は水平走査回路２０６と同様に、データ入力端子ＰＶＳＴ、シフトクロック端子ＰＶ１、ＰＶ２、間引き読み出し設定時の制御端子ＳＫＩＰ（図示省略）により制御される。動作については方向の違いを除いて水平走査回路２０６の場合と同様であるので詳細な説明は省略する。

次に、図３ないし図５を参照して、撮像用画素（以下、「撮像画素」という）と、機能画素である焦点検出用画素（以下、「検出画素」という）の構造を説明する。本実施形態では、２行２列の４画素のうち、対角方向の２画素にＧ（緑色）の分光感度を有する画素を配置し、他の２画素にＲ（赤色）とＢ（青色）の分光感度を有する画素をそれぞれ１個ずつ配置した、ベイヤー配列が採用されている。ベイヤー配列の画素群中には、後述する構造の検出画素が所定の規則に従って分散配置される。

図３は撮像画素の配置と構造を例示する。図３（Ａ）は２行２列の撮像画素を示す平面図である。対角方向に２つのＧ画素を配置し、他の２画素にＲ画素とＢ画素を配置した２行２列構造が平面的に繰り返される。図３（Ｂ）は、図３（Ａ）の撮像画素部をＡ−Ａ線に沿って切断した場合の断面図を模式的に示す。オンチップマイクロレンズＭＬは各画素の最前面に配置されており、その背後には赤色カラーフィルタＣＦ_Ｒおよび緑色カラーフィルタＣＦ_Ｇが配置されている。光検出部は、ＣＭＯＳセンサの光電変換部である複数のＰＤ（フォトダイオード）を有する。配線層ＣＬ（Ｃｏｎｔａｃｔ Ｌａｙｅｒ）には、ＣＭＯＳセンサ内の各種信号を伝達する信号線が形成される。また、撮像光学系ＴＬ（Ｔａｋｉｎｇ Ｌｅｎｓ）およびその射出瞳ＥＰ（Ｅｘｉｔ Ｐｕｐｉｌ）を模式的に示す。

撮像画素のオンチップマイクロレンズＭＬと光電変換部ＰＤは、撮像光学系ＴＬを通過した光束を可能な限り有効に取り込むように構成されている。換言すると、撮像光学系ＴＬの射出瞳ＥＰと光電変換部ＰＤは、マイクロレンズＭＬにより共役関係にあり、かつ光電変換部の有効面積は大面積に設計される。なお、図３（Ｂ）にはＧ画素の入射光線のみを示すが、Ｒ画素及びＢ画素についても同様である。従って、Ｒ、Ｇ、Ｂの各撮像画素に対応した射出瞳ＥＰは大径となり、被写体からの光（光量子）を効率良く取り込むことで画像信号のＳ／Ｎ（信号対ノイズ）比が向上する。

図４は、撮影レンズの水平方向（横方向）に瞳分割を行うための検出画素の配置と構造を例示する。水平方向または横方向の定義については、撮像光学系の光軸が水平となる状態で撮影者がカメラを構えたとき、光軸および鉛直軸に直交する直線に沿う方向とする。この方向に直交する鉛直方向を垂直方向または縦方向とする。
図４（Ａ）は、検出画素と撮像画素を含む２行２列の配置例を示す平面図である。本実施形態においては検出画素の信号を画像生成に用いるので、検出画素の信号についてもＳ／Ｎ比の値が高いことが望まれる。よって、４画素のうちでＲ画素とＢ画素を撮像画素として残し、２つのＧ画素をそれぞれ検出画素ＳＡ及びＳＢとしている。

図４（Ｂ）は、図４（Ａ）に示す画素部をＡ−Ａ線に沿って切断した場合の断面図を示す。マイクロレンズＭＬと光電変換部ＰＤとの位置関係は、図３（Ｂ）に示した撮像画素の場合と同じである。この例では、検出画素の信号を画像生成に用いるため、色分離用カラーフィルタを変更せずに配置しているが、緑色フィルタＣＦ_Ｇに代えて透明膜ＣＦ_Ｗ（Ｗｈｉｔｅ）を配置してもよい。また、撮像素子で瞳分割を行うために、配線層ＣＬの開口部はマイクロレンズＭＬの中心線に対して偏倚している。具体的には、検出画素ＳＡとその開口部ＯＰＨＡは図４の右側に偏倚しており、撮像光学系ＴＬの第１の射出瞳ＥＰＨＡを通過した光束を受光する。また、検出画素ＳＢの開口部ＯＰＨＢは図４の左側に偏倚しており、撮像光学系ＴＬの第２の射出瞳ＥＰＨＢを通過した光束を受光する。水平方向に沿って規則的に配列した検出画素ＳＡから成る画素群により取得した被写体像をＡ像とする。また、水平方向に沿って規則的に配列した検出画素ＳＢから成る画素群により取得した被写体像をＢ像とする。焦点検出部では、Ａ像とＢ像の相対位置を比較してずれ量を検出し（位相差検出）、光軸方向における被写体像のピントずれ量（デフォーカス量）に換算する処理が行われる。
なお、上記検出画素ＳＡ及びＳＢは、撮影画面の横方向に輝度分布を有する被写体に対しては焦点検出可能であるが、縦方向に輝度分布を有する横線は焦点検出不能である。縦方向のピントずれ量を検出する場合について、図５を参照して以下に説明する。

図５は、撮影レンズの垂直方向（縦方向）に瞳分割を行うための検出画素の配置と構造を例示する。図５（Ａ）は、検出画素と撮像画素を含む２行２列の配置例を示す平面図である。Ｒ画素とＢ画素を撮像画素として残し、２つのＧ画素をそれぞれ検出画素ＳＣ及びＳＤとしている。図５（Ｂ）は、図５（Ａ）に示す画素部をＡ−Ａ線に沿って切断した場合の断面図を示す。検出画素ＳＣの開口部ＯＰＶＣは図５の下側に偏倚しており、撮像光学系ＴＬの上側の射出瞳ＥＰＶＣを通過した光束を受光する。また検出画素ＳＤの開口部ＯＰＶＤは図５の上側に偏倚しており、撮像光学系ＴＬの下側の射出瞳ＥＰＶＤを通過した光束を受光する。検出画素ＳＣを垂直方向に沿って規則的に配列した画素群で取得した被写体像をＣ像とし、検出画素ＳＤを垂直方向に沿って規則的に配列した画素群で取得した被写体像をＤ像とする。Ｃ像とＤ像の相対位置を検出することで、垂直方向に輝度分布を有する被写体像のピントずれ量（デフォーカス量）が検出できる。

図６（Ａ）は、撮像画面上の焦点検出領域１ないし５を例示する。焦点検出領域１、２、４は画面の中央部に設定され、それらの左右両側に焦点検出領域３、５がそれぞれ設定されている。検出画素は焦点検出領域１ないし５に対応して配列される。つまり、撮像素子上の検出画素群により、焦点検出領域１ないし５にそれぞれ対応した領域にて結像された被写体像のサンプリングが行われ、焦点検出情報が取得される。
図６（Ｂ）は、焦点検出領域を構成する撮像画素および検出画素の配置例を示す。Ｇ画素は緑色フィルタ材料を塗布した画素、Ｒ画素は赤色フィルタ材料を塗布した画素、Ｂ画素は青色フィルタ材料を塗布した画素である。図中の検出画素ＳＡは、その開口部を水平方向に偏倚させて形成された画素であり、検出画素ＳＢは、その開口部を検出画素ＳＡとは、逆方向に偏倚させて形成された画素である。これらの画素は水平方向の像ずれ量を検出するための画素群を成し、検出画素ＳＡが基準画素群を構成し、検出画素ＳＢが参照画素群を構成する。各検出画素ＳＡ、ＳＢにて白色部分が、偏倚した画素の開口位置を示し、黒色部分（遮光部）とは区別して示す。

次に、図７を参照してクロストークについて説明する。
図７は、撮像画素においてクロストークが発生する原因を説明する図である。同図において中央に検出画素を示し、その両脇に隣接する撮像画素を示す。各画素の構造は図３ないし図５で詳述した通りである。クロストークの第１の発生原因は、検出画素に隣接する撮像画素に入射した光（光線Ｌ１参照）によるものである。この光は光電変換部の外部や深部で光電変換されて電子が発生し、この電子が拡散することで検出画素の光電変換部に漏れ込む。また、クロストークの第２の発生原因は、光線Ｌ２で示す入射光によるものである。この光は画素部を構成する配線メタル等で反射し、検出画素の光電変換部に混入する。

クロストークの第１の発生原因に関しては、入射光の波長が長波長（赤）となる程、半導体基板への侵入深さが深くなるので、その影響が大きくなる。第１の光電変換部から第２の光電変換部へ漏れ出る出力を、第２の光電変換部の出力で除した比率をクロストーク率として定義すると、検出画素に漏れこむクロストーク率は隣接するＲ（赤）画素で大きくなる。
また、クロストークの第１および第２の発生原因については、いずれも入射光線の角度特性によりクロストークの影響度が変化し、入射光線がマイクロレンズの光軸に対してなす角度が大きくなるにつれてクロストークが増加する傾向をもつ。基本的には、検出画素の光電変換部へは当該画素の瞳（開口部）を通過した光線が入射するが、クロストークが発生する光線は開口部以外の領域からも検出画素に入射する。一般に、撮影レンズの絞り開口の周辺部を通る光線が検出画素へ入射する角度は、絞り開口の中心部を通る光線が検出画素へ入射する角度より大きくなり、クロストークに関し、より大きく影響する。また、入射光線の角度特性としては検出画素が配置されている像高によってもクロストークの影響が変化する。一般に、像高が高いところに位置する画素では、入射角が大きくなるためクロストークの影響が大きくなる。
このように、検出画素に漏れ込む光に起因するクロストーク量は、検出画素に隣接する撮像画素の色感度分布、撮影レンズの絞り開口径情報（Ｆ値）、撮像素子内での像高に応じて変化する。よって、クロストーク量を算出する場合、複数の条件に応じて測定したデータを、カメラ内の記憶部に保持しておく必要がある。

以下では、検出画素の画像データを、検出画素の出力を用いて推定する処理について説明する。検出画素の出力には、画素部を構成するマイクロレンズを通る入射光により発生した信号成分Ｓと、隣接画素からのクロストークによるノイズ成分Ｎが含まれている。信号成分Ｓに関与する光が通過する検出画素のカラーフィルタと、ノイズ成分Ｎに関与する光が通過する隣接画素のカラーフィルタとでは、分光感度分布が異なる。よって、被写体の色によって信号成分Ｓとノイズ成分Ｎとの比率が異なる。そのため、検出画素の出力を用いる推定の場合、各成分Ｓ、Ｎの補正を別々に考える必要がある。信号成分Ｓに関しては、撮像画素と検出画素との開口差に伴う感度の違いを補正することで推定できる。他方、信号成分Ｎは検出画素に隣接する撮像画素から混入する光に起因する。この場合、検出画素が配置されている位置でのクロストーク量は、撮像画素が検出画素に置き換わったことによって変化することはない。ノイズ成分Ｎに関しては隣接画素の出力に対して予め理論的に、または実験的にクロストーク率を算出できる。例えば、クロストーク率を実験的に求める場合、光電変換部に本来の撮像光束が入らないように遮光する。遮光方法としては、光電変換部表面をメタル遮光し、またはマイクロレンズ表面に遮光塗料を塗布する方法、あるいはフィルタを遮光部材に置き換える等の方法がある。遮光した撮像画素と、これらの画素により囲まれた単独の検出画素を試作し、該検出画素および撮像画素に光を照射したときに、各画素から出力されるデータを取得する。焦点検出用の信号データと、検出画素の周囲に設けた遮光画素から出力される信号データの測定結果からクロストーク率を算出することができる。
本実施形態における検出画素位置での画像データの推定処理（検出画素自身の信号を用いる推定）においては、以下の処理が実行される。
・検出画素の信号からクロストーク成分を減算した値に対する感度補正処理。
・感度補正後の信号に対してクロストーク成分を加算する処理。
これらの処理の詳細については後述する。

図８は、本実施形態における撮像装置の動作を説明するフローチャートである。
Ｓ９０１で撮影者がカメラの電源スイッチをオン操作すると処理が開始する。Ｓ９０２でＣＰＵ１２１は装置内の各アクチュエータや撮像素子１０７の動作確認を行い、メモリ内容や実行プログラムを初期化すると共に、撮影準備動作を行う。Ｓ９０３では撮像素子１０７が撮像動作を開始し、プレビュー用の低画質動画像データを出力する。Ｓ９０４では、読み出した動画像データがカメラ本体部の背面に設けた表示部１３１の画面に表示される。撮影者は画面に表示されたプレビュー画像を目視して撮影時の構図決定を行う。Ｓ９０５でＣＰＵ１２１は、図６（Ａ）に例示した画像領域内の焦点検出領域を決定する処理を実行する。その後、Ｓ１００１の焦点検出サブルーチンが実行される。焦点検出処理の詳細については図９を参照して後述する。

Ｓ１００１の次にＳ９０７へ処理を進め、ＣＰＵ１２１は合焦判定を行う。Ｓ１００１の焦点検出サブルーチンにて計算した焦点ずれ量が許容値以下であるか否かについて判定される。焦点ずれ量が許容値以上である場合、非合焦と判定されてＳ９０８に進む。Ｓ９０８でＣＰＵ１２１は制御指令をフォーカス駆動回路１２６に出力し、フォーカスアクチュエータ１１４の駆動により焦点調節制御を行う。その後、Ｓ１００１に戻って処理を続行する。Ｓ９０７で合焦状態への到達が判定された場合、Ｓ９０９へ処理を進め、ＣＰＵ１２１は合焦表示の制御を行った後、Ｓ９１０に移行する。Ｓ９１０は、撮影開始スイッチがオン操作されたか否かの判定処理である。撮影開始スイッチのオン操作が検出されない場合、Ｓ９１０の判定処理が繰り返されて待機状態となる。またＳ９１０で撮影開始スイッチのオン操作が判定された場合、Ｓ１１０１に移行し、ＣＰＵ１２１は撮影サブルーチンを実行する。撮影サブルーチンの詳細については、図１０を参照して後述する。Ｓ１１０１の終了後、一連の処理が終了する。

次に、図９のフローチャートを参照して、焦点検出サブルーチンを説明する。なお、この処理はＣＰＵ１２１がメモリから読み出したプログラムに従って演算を行うことで実現される。
図８のＳ９０５の後、焦点検出サブルーチンＳ１００１が呼び出されると、Ｓ１００２において、図８のＳ８０５で決定した焦点検出領域に含まれる各検出画素のデータを読み出す処理が行われる。Ｓ１００３では検出画素群により得られた２像の信号同士の相関演算が行われ、２像の相対的な位置ずれ量が算出される。Ｓ１００４は、相関演算結果の信頼性についての判定処理である。信頼性とは２像の一致度を指し、２像の一致度が良い場合、一般的に焦点検出結果の信頼性が高い。一致度については既知の定義量を使用すればよい。複数の焦点検出領域が選択されている場合には、信頼性の高い情報が優先的に使用される。Ｓ１００５では、信頼性の高い検出結果に基づいて、像の位置ずれ量から焦点ずれ量の演算が行われた後、Ｓ１００６のリターン処理で図８のＳ９０７に移行する。

次に、図１０のフローチャートを参照して、撮影サブルーチンを説明する。なお、この処理はＣＰＵ１２１がメモリから読み出したプログラムに従って装置内の各部を制御することで実現される。
図８のＳ９１０で撮影開始スイッチが操作されたことが判定されると、撮影サブルーチンＳ１１０１が呼び出される。Ｓ１１０２でＣＰＵ１２１は光量調節絞りの駆動制御を行い、露光時間を規定するメカニカルシャッタの開口制御を行う。Ｓ１１０３では、高画質静止画撮影のための画像データ読み出し、すなわち全画素データの読み出し処理が実行される。Ｓ１２０１は、Ｓ１１０３で読み出した画像データにおいて、各検出画素位置での画像データを生成するサブルーチンであり、その詳細については図１１を参照して後述する。

Ｓ１２０１からＳ１１０５に移行して画像処理回路１２５は、γ補正、エッジ強調等の画像処理を行う。次のＳ１１０６でＣＰＵ１２１は、画像処理後のデータをフラッシュメモリ１３３に記憶する制御を行う。Ｓ１１０７では撮影画像データが表示部１３１に転送され、画面上に撮影済み画像が表示される。Ｓ１１０８のリターン処理で図８のＳ９１２へ移行する。

次に、図１１のフローチャートと図１２を参照して、各検出画素位置での画像データを生成するサブルーチンについて説明する。図１２は画像データの生成方法を説明する図である。図１２において、α１とα２、β１とβ２、γ１ないしγ４は、検出画素（画素出力値ＡＦＧ参照）に隣接する８画素（撮像画素）から検出画素に漏れ込む光に起因するクロストーク率をそれぞれ示す。
・α１，α２：青色画素（Ｂ１、Ｂ２）から検出画素への各クロストーク率。
・β１，β２：赤色画素（Ｒ１、Ｒ２）から検出画素への各クロストーク率。
・γ１，γ２，γ３，γ４：緑色画素（Ｇ１、Ｇ２、Ｇ３、Ｇ４）から検出画素への各クロストーク率。

図１１のＳ１２０１でサブルーチンが開始し、続くＳ１２０２で検出画素番号を表す変数ｎがゼロに初期化される。Ｓ１２０３で検出画素番号ｎに対応した、Ｆ値、像高、色毎のクロストーク率が記憶部から読み出され、続くＳ１２０４で検出画素の感度補正データ（ｇａｉｎと記す）が読み出される。これらのデータは予め装置内の記憶部が保持しており、ＣＰＵ１２１の制御下で記憶部から取得される。Ｓ１２０５では、Ｓ１２０３で読み込んだクロストーク率のデータを用いて、検出画素に隣接する撮像画素から当該検出画素に漏れ込む光によるクロストーク量Ｃｔが算出される。図１２を参照すると、クロストーク量Ｃｔは下式で表される。

Ｇ１ないしＧ４、Ｂ１、Ｂ２、Ｒ１、Ｒ２は各撮像画素の出力値を表す。
なお、検出画素に隣接する各撮像画素の出力値にもそれぞれ同様に、それらの隣接画素からのクロストーク成分が含まれているが、検出画素のクロストーク量を考える上では影響が非常に小さいため、無視できる。

次のＳ１２０６において、下式で示す補正式から検出画素位置における画像データＡＭＤが算出される。

上式において、ＡＦＧは図１２に示した検出画素の、補正前の出力値を示す。式（２）では、検出画素の出力値からクロストーク量Ｃｔを減算することで、検出画素のマイクロレンズを通った光束により発生した信号成分が算出される。減算結果（ＡＦＧ−Ｃｔ）にゲイン係数ｇａｉｎが乗算されて感度補正が施される。そして、ゲイン補正後のデータにクロストーク量Ｃｔを加算する演算が行われる。

次にＳ１２０７では、全焦点検出画素領域における全ての検出画素に対して画像データを生成したか否かが判定される。補正処理が終了していない場合、Ｓ１２０８に進み、変数ｎに１を加算してからＳ１２０３に戻って次の検出画素の補正処理を続行する。また、Ｓ１２０７で全検出画素の補正処理が完了した場合、Ｓ１２０９のリターン処理で図１０のＳ１１０５に処理を進める。

本実施形態によれば、検出画素位置での画素信号の推定処理に関して、クロストークが原因で発生する誤差を低減できるので、撮像画素と検出画素が存在する撮像素子構成にて画質劣化を抑えることができる。
なお、本実施形態は代表的な例であり、種々の変形や変更が可能である。

［変形例］
前記実施形態では、検出画素位置での画像データを、検出画素の出力値を用いて推定する処理を説明した。その他、入射光の波長に応じて画像情報の推定処理を変更してもよい。すなわち、検出画素位置の出力値を、検出画素の情報を元に生成する第１処理と、検出画素に隣接する周辺撮像画素の出力値から補間演算によって生成する第２処理を適宜に使用する。一例として、赤色の入射光で露光した場合を想定する。検出画素は緑色フィルタを有するため、検出画素位置でのマイクロレンズを通った光束により発生する信号成分Ｓと、クロストーク成分Ｎとでは、ＳよりもＮの占める割合が高くなる。Ｓ／Ｎ比の低い信号成分Ｓにゲイン係数を掛けて画像情報を生成しようとすると、成分Ｎによる補正誤差が大きくなってしまう可能性がある。そこで、ＣＰＵは被写体の色を判別して第１処理と第２処理を切り換える制御を行う。被写体の色を判別する処理では、検出画素に隣接する周辺撮像画素の情報から色比の値が算出され、その値を所定の閾値と比較した結果にしたがって第１処理または第２処理が選択される。周辺撮像画素Ｒ、Ｂ、Ｇの各画素値に基づき、Ｒ／（Ｒ＋Ｂ＋Ｇ）により色比の値が算出される。算出した色比の値に応じて第１処理または第２処理が決定される。例えば色比の値が閾値以下の場合に第１処理が選択される。

前記実施形態では特定の機能を付与した機能画素として瞳分割方式の位相差検出を行う焦点検出用画素を例にして説明した。本発明はこれに限らず各種機能（立体撮影機能やマルチフォーカス機能等）を付与した撮像素子から取得される画像データの生成処理に適用可能である。

１００ デジタルカメラ（撮像装置）
１０７ 撮像素子
１２１ ＣＰＵ
１２５ 画像処理回路
２０１ 光電変換部

Claims (13)

1. 撮像光学系を介した光を光電変換して撮像信号を出力する撮像画素と、特定の機能を付与した機能画素とが存在する撮像素子から取得した画像データを処理する画像処理装置であって、
   前記機能画素の感度補正データ、および前記機能画素に隣接する撮像画素から当該機能画素に漏れ込む光によるクロストークのデータを記憶する記憶手段と、
   前記記憶手段から前記感度補正データおよび前記クロストークのデータを取得し、前記機能画素の位置における画素データを補正する補正手段を備えることを特徴とする画像処理装置。
2. 前記補正手段は、前記機能画素に隣接する撮像画素のデータと前記クロストークのデータからクロストーク量を算出し、前記機能画素の位置での出力値から前記クロストーク量を減算し、減算結果に前記感度補正データを乗算してゲイン補正を行い、ゲイン補正後のデータに前記クロストーク量を加算する処理を行うことを特徴とする請求項１に記載の画像処理装置。
3. 前記補正手段は、前記機能画素に隣接する撮像画素から当該機能画素に漏れ込む光による出力を、当該機能画素の出力で除したクロストーク率のデータを前記記憶手段から取得し、前記隣接する撮像画素の出力値にそれぞれ前記クロストーク率のデータを乗算することにより前記クロストーク量を算出することを特徴とする請求項２に記載の画像処理装置。
4. 前記補正手段は、前記撮像光学系の絞り開口径情報に対応する感度補正データを前記記憶手段から取得して前記機能画素の位置における画素データを補正することを特徴とする請求項１ないし３のいずれか１項に記載の画像処理装置。
5. 撮像光学系を介した光を光電変換して撮像信号を出力する撮像画素と、焦点検出用の検出画素とが存在する撮像素子を備え、該撮像素子から取得した画像データを処理する撮像装置であって、
   前記検出画素の感度補正データ、および前記検出画素に隣接する撮像画素から当該検出画素に漏れ込む光によるクロストークのデータを記憶する記憶手段と、
   前記記憶手段から前記感度補正データおよび前記クロストークのデータを取得し、前記検出画素の位置における画素データを補正する補正手段を備えることを特徴とする撮像装置。
6. 前記補正手段は、前記検出画素に隣接する撮像画素のデータと前記クロストークのデータからクロストーク量を算出し、前記検出画素の位置での出力値から前記クロストーク量を減算し、減算結果に前記感度補正データを乗算してゲイン補正を行い、ゲイン補正後のデータに前記クロストーク量を加算する処理を行うことを特徴とする請求項５に記載の撮像装置。
7. 前記補正手段は、前記検出画素に隣接する撮像画素から当該検出画素に漏れ込む光による出力を、当該検出画素の出力で除したクロストーク率のデータを前記記憶手段から取得し、前記隣接する撮像画素の出力値にそれぞれ前記クロストーク率のデータを乗算することにより前記クロストーク量を算出することを特徴とする請求項６に記載の撮像装置。
8. 前記補正手段は、前記撮像光学系の絞り開口径情報に対応する感度補正データを前記記憶手段から取得して前記検出画素の位置における画素データを補正することを特徴とする請求項５ないし７のいずれか１項に記載の撮像装置。
9. 前記検出画素は、マイクロレンズと、前記撮像光学系の射出瞳の異なる領域をそれぞれ通過した光束を受光して光電変換する複数の光電変換部を有しており、
   前記複数の光電変換部が出力する画素データから生成される画像データを用いて焦点ずれ量を算出して焦点調節制御を行う制御手段を備えることを特徴とする請求項５ないし８のいずれか１項に記載の撮像装置。
10. 前記補正手段は、前記撮像光学系を介して前記撮像素子が受光する被写体像の色を、前記検出画素に隣接する撮像画素の出力値から判別し、
    前記記憶手段から前記感度補正データおよび前記クロストークのデータを取得して前記検出画素の位置における画素データを補正する第１処理を行うか、または前記検出画素に隣接する撮像画素の出力値から補間演算を行って検出画素の位置における画素データを生成する第２処理を行うかを決定することを特徴とする請求項５ないし９のいずれか１項に記載の撮像装置。
11. 前記撮像画素はそれぞれ赤色、緑色、青色に感度を有するカラーフィルタを有し、
    前記検出画素は緑色に感度を有するフィルタを有することを特徴とする請求項５ないし１０のいずれか１項に記載の撮像装置。
12. 撮像光学系を介した光を光電変換して撮像信号を出力する撮像画素と、特定の機能を付与した機能画素とが存在する撮像素子から取得した画像データを処理する画像処理装置にて実行される制御方法であって、
    前記機能画素の感度補正データ、および前記機能画素に隣接する撮像画素から当該機能画素に漏れ込む光によるクロストークのデータを取得するステップと、
    前記感度補正データおよび前記クロストークのデータを用いて、前記機能画素の位置における画素データを補正するステップを有することを特徴とする画像処理装置の制御方法。
13. 撮像光学系を介した光を光電変換して撮像信号を出力する撮像画素と、焦点検出用の検出画素とが存在する撮像素子を備え、該撮像素子から取得した画像データを処理する撮像装置にて実行される制御方法であって、
    前記検出画素の感度補正データ、および前記検出画素に隣接する撮像画素から当該検出画素に漏れ込む光によるクロストークのデータを取得するステップと、
    前記感度補正データおよび前記クロストークのデータを用いて、前記検出画素の位置における画素データを補正するステップを有することを特徴とする撮像装置の制御方法。

Images