JP2016029750A - 撮像装置、信号処理方法、信号処理プログラム - Google Patents

Abstract

【課題】位相差検出用の画素の出力信号の補正精度を向上させる。
【解決手段】撮像用画素３０及び位相差検出用画素３１Ｒ，３１Ｌを含む固体撮像素子３から出力される撮像画像信号を処理するデジタル信号処理部１７は、ＡＦエリア３１を３６分割し、各ブロック３２について、位相差検出用画素３１Ｒ，３１Ｌそれぞれの補正ゲイン値を求める。３６個のブロック３２のうち、求めた補正ゲイン値の信頼性が低いブロック３２については、そのブロック３２の周囲にある信頼性の高い補正ゲイン値の得られたブロック３２の当該補正ゲイン値を利用して、補正ゲイン値を生成する。
【選択図】図６

Description

本発明は、撮像装置、信号処理方法、信号処理プログラムに関する。

近年、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサ、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等の固体撮像素子の高解像度化に伴い、デジタルスチルカメラ、デジタルビデオカメラ、携帯電話機、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ，携帯情報端末）等の撮影機能を有する情報機器の需要が急増している。なお、以上のような撮像機能を有する情報機器を撮像装置と称する。

主要な被写体に焦点を合わせる合焦制御方法には、コントラストＡＦ（Ａｕｔｏ Ｆｏｃｕｓ、自動合焦）方式や位相差ＡＦ方式がある。位相差ＡＦ方式は、コントラストＡＦ方式に比べて合焦位置の検出を高速，高精度に行うことができるため、様々な撮像装置で多く採用されている。

位相差ＡＦ方式により合焦制御を行う撮像装置に搭載される固体撮像素子には、例えば、遮光膜開口が互いに逆方向に偏心した位相差検出用の画素のペアを受光面の全面に離散的に設けたものが使用される（特許文献１〜４参照）。

この位相差検出用の画素は、遮光膜開口の面積がその他の通常の画素（撮像用画素）よりも小さくなっているため、その出力信号を撮像画像信号として使用するには不十分なものとなる。そこで、位相差検出用の画素の出力信号を補正する必要が生じる。

特許文献１〜４は、位相差検出用の画素の出力信号を、その周りの通常の画素の出力信号を用いて補間生成する補間補正処理と、位相差検出用の画素の出力信号をゲイン増幅して補正するゲイン補正処理とを併用する撮像装置を開示している。

特開２００９−４４６３６号公報 特開２０１１−１２４７０４号公報 特開２０１１−８１２７１号公報 特開２００７−２８２１０８号公報

上述したゲイン補正処理に用いるゲイン値の算出方法は、位相差検出用画素の出力信号と撮像用画素の出力信号との比に基づいて求める方法が一例として挙げられる。しかし、この方法において、位相差検出用画素の出力信号や撮像用画素の出力信号が、飽和レベルに達していたり（白とび）、あまりにも小さい値（黒潰れ）であったりした場合には、求まるゲイン値の信頼性が低下するおそれがある。特許文献１〜４は、補正ゲイン値の生成方法については特に触れていない。

本発明は、上記事情に鑑みてなされたものであり、位相差検出用の画素の出力信号の補正精度を向上させることのできる撮像装置及び信号処理方法を提供することを目的とする。

本発明の撮像装置は、フォーカスレンズを含む撮像光学系を通して被写体を撮像する撮像素子を有する撮像装置であって、上記撮像素子は、受光面に二次元アレイ状に配置される複数の撮像用画素及び構造の異なる複数種類の位相差検出用画素を含むものであり、上記撮像素子から出力される撮像画像信号に含まれる上記位相差検出用画素の出力信号値に、上記位相差検出用画素に対応する補正ゲイン値を乗じて上記出力信号値を補正するゲイン補正処理部と、上記受光面において上記位相差検出用画素が配置されるエリアを上記複数種類の位相差検出用画素及び上記撮像用画素を含む複数個のブロックに分割し、各ブロックに属する同一種類の位相差検出用画素のグループ毎に、上記グループに対応する補正ゲイン値を、上記撮像素子により被写体を撮像して得られる撮像画像信号を利用して生成する補正ゲイン値生成部と、を備えるものである。

この構成によれば、各ブロックに属する同一種類の位相差検出用画素のグループ毎に、上記グループに対応する補正ゲイン値が生成される。個々の位相差検出用画素毎にゲイン値を生成する場合は、ゲイン値の生成対象となる位相差検出用画素の周囲にある撮像用画素が白とびや黒つぶれしていた場合に、生成されるゲイン値は信頼性の低いものとなる。上記構成によれば、ブロックにある同一種類の位相差検出用画素のグループに対して、例えばそのグループの各位相差検出用画素の信号と、各位相差検出用画素の周囲にある撮像用画素の信号を用いて１つのゲイン値を生成することができるため、撮像用画素のいくつかが白とびや黒つぶれしていても、ゲイン値の信頼性に与える影響を減らすことができる。また、ブロックについて生成されるゲイン値の信頼性が低い場合でも、信頼性の高いゲイン値が生成されたブロックのそのゲイン値を用いて、信頼性の低いブロックのゲイン値を補間することも可能になる。このように、ブロック毎にゲイン値を管理することで、位相差検出用の画素の出力信号の補正精度を向上させることができる。

本発明の信号処理方法は、フォーカスレンズを含む撮像光学系を通して被写体を撮像する撮像素子から出力される撮像画像信号を処理する信号処理方法であって、上記撮像素子は、受光面に二次元アレイ状に配置される複数の撮像用画素及び構造の異なる複数種類の位相差検出用画素を含むものであり、上記撮像素子から出力される撮像画像信号に含まれる上記位相差検出用画素の出力信号値に、上記位相差検出用画素に対応する補正ゲイン値を乗じて上記出力信号値を補正するゲイン補正処理ステップと、上記受光面において上記位相差検出用画素が配置されるエリアを上記複数種類の位相差検出用画素及び上記撮像用画素を含む複数個のブロックに分割し、各ブロックに属する同一種類の位相差検出用画素のグループ毎に、上記グループに対応する補正ゲイン値を、上記撮像素子により被写体を撮像して得られる撮像画像信号を利用して生成する補正ゲイン値生成ステップと、を備えるものである。

本発明の信号処理プログラムは、フォーカスレンズを含む撮像光学系を通して被写体を撮像する撮像素子から出力される撮像画像信号をコンピュータにより処理するための信号処理プログラムであって、上記撮像素子は、受光面に二次元アレイ状に配置される複数の撮像用画素及び構造の異なる複数種類の位相差検出用画素を含むものであり、上記撮像素子から出力される撮像画像信号に含まれる上記位相差検出用画素の出力信号値に、上記位相差検出用画素に対応する補正ゲイン値を乗じて上記出力信号値を補正するゲイン補正処理ステップと、上記受光面において上記位相差検出用画素が配置されるエリアを上記複数種類の位相差検出用画素及び上記撮像用画素を含む複数個のブロックに分割し、各ブロックに属する同一種類の位相差検出用画素のグループ毎に、上記グループに対応する補正ゲイン値を、上記撮像素子により被写体を撮像して得られる撮像画像信号を利用して生成する補正ゲイン値生成ステップと、をコンピュータに実行させるためのプログラムである。

本発明によれば、位相差検出用の画素の出力信号の補正精度を向上させることのできる撮像装置及び信号処理方法を提供することができる。

本発明の一実施形態を説明するための撮像装置の一例としてのデジタルカメラの概略構成を示す図 図１に示すデジタルカメラに搭載される固体撮像素子３の概略構成を示す平面模式図 図１に示すデジタルカメラのデジタル信号処理部１７の機能ブロック図 図１に示す固体撮像素子３の受光面を示す平面模式図 図１に示すデジタルカメラにおけるデジタル信号処理部１７の動作を説明するためのフローチャート 図１に示すデジタルカメラにおけるデジタル信号処理部１７の動作を説明するための図 図１に示すデジタルカメラにおけるデジタル信号処理部１７の動作を説明するための図 撮像装置としてスマートフォンを説明する図 図８のスマートフォンの内部ブロック図

以下、本発明の実施形態について図面を参照して説明する。

図１は、本発明の一実施形態を説明するための撮像装置の一例としてのデジタルカメラの概略構成を示す図である。

図１に示すデジタルカメラの撮像系は、フォーカスレンズを含む撮影レンズ１及び絞り２を有する撮像光学系と、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等の固体撮像素子３とを備えている。このデジタルカメラは、図示しないマウント機構を有し、このマウント機構によって撮像光学系を着脱可能となっている。マウント機構を省略し、撮像光学系をデジタルカメラに固定としてもよい。

固体撮像素子３は、複数の撮像用画素と、撮像光学系の瞳領域の異なる部分を通過した一対の光束をそれぞれ受光する２種類の位相差検出用画素とを二次元状に配置した構成になっており、撮影レンズ１により結像される被写体像を受光して撮像画像信号を出力すると共に、上記一対の光束に対応する一対の像信号を出力する。

デジタルカメラの電気制御系全体を統括制御するシステム制御部１１は、フラッシュ発光部１２及び受光部１３を制御する。また、システム制御部１１は、レンズ駆動部８を制御して撮影レンズ１に含まれるフォーカスレンズの位置を調整する。更に、システム制御部１１は、絞り駆動部９を介して絞り２の開口量を制御することにより、露光量の調整を行う。

また、システム制御部１１は、撮像素子駆動部１０を介して固体撮像素子３を駆動し、撮影レンズ１を通して撮像した被写体像を撮像画像信号として出力させる。システム制御部１１には、操作部１４を通してユーザからの指示信号が入力される。

デジタルカメラの電気制御系は、更に、固体撮像素子３の出力に接続された相関二重サンプリング処理等のアナログ信号処理を行うアナログ信号処理部６と、このアナログ信号処理部６から出力されるＲＧＢの色信号をデジタル信号に変換するＡ／Ｄ変換回路７とを備える。アナログ信号処理部６及びＡ／Ｄ変換回路７は、システム制御部１１によって制御される。

更に、このデジタルカメラの電気制御系は、メインメモリ１６と、メインメモリ１６に接続されたメモリ制御部１５と、固体撮像素子３によって撮像して得られる撮像画像信号に対し、各種画像処理を行って撮影画像データを生成するデジタル信号処理部１７と、デジタル信号処理部１７で生成された撮影画像データをＪＰＥＧ形式に圧縮したり圧縮画像データを伸張したりする圧縮伸張処理部１８と、固体撮像素子３の２種類の位相差検出用画素から出力される一対の像信号の位相差に基づいて撮影レンズ１のデフォーカス量を算出する焦点検出部１９と、着脱自在の記録媒体２１が接続される外部メモリ制御部２０と、カメラ背面等に搭載された表示部２３が接続される表示制御部２２とを備えている。メモリ制御部１５、デジタル信号処理部１７、圧縮伸張処理部１８、焦点検出部１９、外部メモリ制御部２０、及び表示制御部２２は、制御バス２４及びデータバス２５によって相互に接続され、システム制御部１１からの指令によって制御される。

図２は、図１に示すデジタルカメラに搭載される固体撮像素子３の概略構成を示す平面模式図である。固体撮像素子３は、画素が二次元状に配置される受光面の全面又は一部に、位相差検出用画素が散在して設けられている。図２は、受光面のうちの、位相差検出用画素が設けられている部分を拡大した図を示している。

固体撮像素子３は、行方向Ｘ及びこれに直交する列方向Ｙに二次元状（図２の例では正方格子状）に配列された多数の画素（図中の各正方形）を備えている。多数の画素は、行方向Ｘに一定ピッチで並ぶ複数の画素からなる画素行を、列方向Ｙに一定のピッチで並べた配置となっている。多数の画素は、撮像用画素３０と位相差検出用画素３１Ｌと位相差検出用画素３１Ｒとを含んでいる。各画素は光を受光して電荷に変換する光電変換部を含む。

撮像用画素３０は、図１に示す撮影レンズ１の瞳領域の異なる２つの部分を通過した一対の光（例えば撮影レンズ１の主軸に対して左側を通過した光と右側を通過した光）の双方を受光する画素である。

位相差検出用画素３１Ｌは、上記一対の光の一方を受光する画素であり、撮像用画素３０と比較すると、光電変換部の開口（ハッチングを付していない領域）が左側に偏心した構成となっている。

位相差検出用画素３１Ｒは、上記一対の光の他方を受光する画素であり、撮像用画素３０と比較すると、光電変換部の開口（ハッチングを付していない領域）が右側に偏心した構成となっている。

なお、位相差検出用画素の構成は上述したものに限らず、よく知られている構成を採用することができる。

例えば、２つの画素に跨って１つのマイクロレンズを設けることで、この２つの画素に位相差検出用画素３１Ｒ，３１Ｌと同等の機能を持たせた構成としてもよい。また、光電変換部の開口は同じ構成とし、光電変換部上方に設けるマイクロレンズを行方向Ｘに互いに逆方向に偏心させることで、位相差検出用画素３１Ｒ，３１Ｌを構成してもよい。

また、ここでは、位相差検出用画素３１Ｒ及び位相差検出用画素３１Ｌによって、行方向Ｘに位相差を持つ一対の像信号を検出するものとしたが、遮光膜開口の偏心方向を例えば列方向Ｙにして、列方向Ｙに位相差を持つ一対の像信号を検出するようにしてもよい。

各画素に含まれる光電変換部の上方にはカラーフィルタが搭載されており、このカラーフィルタの配列が固体撮像素子３を構成する多数の画素全体でベイヤー配列となっている。

図２では、赤色（Ｒ）光を透過するカラーフィルタが搭載される画素に“Ｒ”を記している。また、緑色（Ｇ）光を透過するカラーフィルタが搭載される画素に“Ｇ”を記している。更に、青色（Ｂ）光を透過するカラーフィルタが搭載される画素に“Ｂ”を記している。なお、カラーフィルタは４色以上としてもよい。

位相差検出用画素３１Ｌは、図２の上から３番目と９番目の画素行において、緑色（Ｇ）光を透過するカラーフィルタが搭載された画素の位置に３画素おきに配置されている。

位相差検出用画素３１Ｒは、図２の上から４番目と１０番目の画素行において、緑色（Ｇ）光を透過するカラーフィルタが搭載された画素の位置に３画素おきに配置されている。

斜め方向に隣接する位相差検出用画素３１Ｌと位相差検出用画素３１Ｒはペアを構成しており、固体撮像素子３の受光面には、このペアが複数設けられた構成となっている。位相差検出用画素のペアは隣接していなくてもよく、数画素程度離れていてもよい。

図１に示す焦点検出部１９は、位相差検出用画素３１Ｌ及び位相差検出用画素３１Ｒから読み出される信号群を用いて、撮影レンズ１の焦点調節状態、ここでは合焦状態から離れている量とその方向、すなわちデフォーカス量を算出する。

図１に示すシステム制御部１１は、焦点検出部１９によって算出されたデフォーカス量に基づいて、撮像レンズ１に含まれるフォーカスレンズの位置を制御して焦点調節を行う。

焦点調節が行われた状態で撮影指示がなされると、システム制御部１１は、固体撮像素子３により撮像を行わせ、この撮像によって固体撮像素子３から出力される撮像画像信号（各画素から出力される出力信号の集合）がデジタル信号処理部１７に取り込まれる。

そして、デジタル信号処理部１７は、この撮像画像信号に含まれる位相差検出用画素の出力信号を補正し、補正後の撮像画像信号をメインメモリ１６に記録する。更に、デジタル信号処理部１７は、記録した撮像画像信号を画像処理して、撮像画像データを生成する。この画像処理には、デモザイク処理、γ補正処理、ホワイトバランス調整処理等が含まれる。

図３は、図１に示すデジタルカメラにおけるデジタル信号処理部１７の機能ブロック図である。

デジタル信号処理部１７は、ゲイン補正処理部１７１と、補正ゲイン値生成部１７２と、画像処理部１７３と、を備える。これらは、デジタル信号処理部１７に含まれるプロセッサがプログラムを実行することで形成される機能ブロックである。

ゲイン補正処理部１７１は、撮像画像信号に含まれる補正対象の位相差検出用画素（以下、補正対象画素という）の出力信号を当該出力信号に補正ゲイン値を乗じて補正するゲイン補正処理を行う。

補正ゲイン値生成部１７２は、ゲイン補正処理部１７１が用いる上記補正ゲイン値を、ライブビュー画像表示のための撮像によって得た撮像画像信号を用いて生成する。

画像処理部１７３は、補正後の補正対象画素の出力信号を含む撮像画像信号を画像処理して撮像画像データを生成し、記録媒体２１に記録する。なお、画像処理部１７３は、補正後の撮像画像信号をＲＡＷデータとしてそのまま記録媒体２１に記録してもよい。

次に、補正ゲイン値生成部１７２について詳細に説明する。

補正ゲイン値生成部１７２は、図４に示すように、固体撮像素子３の受光面３０におけるＡＦエリア３１（位相差検出用画素のペアが配置される、焦点検出の対象となるエリア）を、位相差検出用画素３１Ｒ、位相差検出用画素３１Ｌ、及び撮像用画素３１をそれぞれ含む複数個のブロック３２（図４の例では６行×６列の３６個）に分割する。

図４において、列方向Ｙに並ぶブロックからなる各ブロック列には、その上にＣ１、Ｃ２、・・・、Ｃ６の名称を記してある。また、行方向Ｘに並ぶブロックからなる各ブロック行には、その左にＬ１、Ｌ２、・・・、Ｌ６の名称を記してある。

上述したように、各ブロック３２には、撮像用画素３１と位相差検出用画素のペアとがそれぞれ複数個含まれている。各ブロック３２に含まれる撮像用画素はほぼ同じとなっており、各ブロック３２に含まれる位相差検出用画素のペアの数もほぼ同じとなっているが、これに限らない。

図５は、補正ゲイン値生成部１７２の補正ゲイン値の生成動作を説明するためのフローチャートである。図４に示した３６個のブロックの各々には予め１〜３６までの番号が付与されている。

固体撮像素子３によりライブビュー画像表示のための撮像が開始された後、操作部１４に含まれるシャッタボタンの半押し操作により、ＡＥ（自動露出）及びＡＦ（自動焦点調節）の指示が行われると、この指示の直後に固体撮像素子３から出力された撮像画像信号がメインメモリ１６に記憶される。

撮像画像信号が記憶されると、補正ゲイン値生成部１７２は、ステップＳ１においてｉ＝１とし、次のステップＳ２において、番号ｉのブロック（ｉブロック）にある全ての位相差検出用画素３１Ｒと全ての撮像用画素３１の出力信号値を抽出する。

次のステップＳ３において、補正ゲイン値生成部１７２は、抽出した出力信号値に、第一の閾値以上のレベルのものがあるか、又は、第二の閾値以下のレベルのものがあるか、を判定する。第一の閾値は画素の飽和レベルであり、第二の閾値は暗時ノイズ程度の小さな値である。つまり、ステップＳ３では、ｉブロック内の画素に飽和しているものや黒潰れしているものがあるかどうかを判定している。

ステップＳ３の判定がＮＯの場合、補正ゲイン値生成部１７２は、ステップＳ６において、ｉブロック内にある全ての位相差検出用画素３１Ｒの出力信号値を積算する。

また、次のステップＳ７において、補正ゲイン値生成部１７２は、ｉブロックにある各位相差検出用画素３１Ｒに最近接する少なくとも１個（好ましくは複数個）の同色を検出する撮像用画素（Ｇ色検出画素）３１の出力信号値を積算する。例えば、位相差検出用画素３１Ｒの周囲にある３つの撮像用画素を積算対象にすると、ｉブロックに位相差検出用画素３１Ｒが１０個あれば、３×１０＝３０個の撮像用画素３１の出力信号値を積算する。

次のステップＳ１０で、補正ゲイン値生成部１７２は、ステップＳ６とステップＳ７で算出した２つの積算値の比（撮像用画素の積算値に所定係数を乗じたもの／位相差検出用画素の積算値）を、ｉブロックにおける位相差検出用画素３１Ｒに対応する補正ゲイン値として生成し、これをメインメモリ１６に記憶する。上記所定係数は、撮像用画素と位相差検出用画素の出力信号値の積算数の違いを考慮して決められる。

なお、ここでは、積算値の比から補正ゲイン値を求めたが、ｉブロックにある全ての位相差検出用画素３１Ｒの出力信号値の平均値と、各位相差検出用画素３１Ｒの周囲にある撮像用画素３１の出力信号値の平均値との比から補正ゲイン値を求めてもよい。

ステップＳ１０の後、補正ゲイン値生成部１７２は、ステップＳ１１において、ｉ＝３６か否かを判定する。そして、ステップＳ１１の判定がＮＯであれば、補正ゲイン値生成部１７２は、ステップＳ１２においてｉ＝ｉ＋１に変更して、ステップＳ２以降の処理を行う。ステップＳ１１の判定がＹＥＳであれば、処理を終了する。

ステップＳ３の判定がＹＥＳの場合、補正ゲイン値生成部１７２は、ステップＳ４において、ｉブロックにある位相差検出用画素３１Ｒのうちの飽和又は黒潰れしている画素を除いた画素の数が第三の閾値以上であるか否かを判定する。

ステップＳ４の判定がＹＥＳの場合、補正ゲイン値生成部１７２は、ステップＳ５において、ｉブロックにある補正ゲイン値を求める際に信号値を積算（又は平均）する対象となる撮像用画素３１（各位相差検出用画素３１Ｒの周囲にある撮像用画素３１）のうちの飽和又は黒潰れしている画素を除いた画素の数が第四の閾値以上であるか否かを判定する。

ステップＳ１０で求める補正ゲイン値の信頼性を十分なものとするのに最低限必要な、位相差検出用画素の出力信号の積算数（平均値を求める対象となる信号値の数）と撮像用画素の出力信号の積算数（平均値を求める対象となる信号値の数）とはそれぞれ決めておくことができ、これらの値が上記第三の閾値、第四の閾値となる。

ステップＳ４の判定がＮＯの場合とステップＳ５の判定がＮＯの場合、補正ゲイン値生成部１７２は、ｉブロックにある位相差検出用画素３１Ｒに対応する補正ゲイン値の生成は行わずに、ステップＳ１１に進む。

ステップＳ５の判定がＹＥＳの場合、補間補正処理部１７２は、ステップＳ８において、ｉブロックにある位相差検出用画素３１Ｒのうちの飽和又は黒潰れしている画素を除いた画素の出力信号値を積算する。

続くステップＳ９において、補正ゲイン値生成部１７２は、ｉブロックにある積算対象のＧ色検出の撮像用画素３１のうちの飽和又は黒潰れしている画素を除いた画素の出力信号値を積算する。

ステップＳ９の後はステップＳ１０に進み、補正ゲイン値生成部１７２は、ステップＳ８とステップＳ９で算出した２つの積算値を用いて、補正ゲイン値を生成する。

補正ゲイン値生成部１７２は、図５に示した処理フローを位相差検出用画素３１Ｌについても同様に行う。つまり、図５の説明において、“位相差検出用画素３１Ｒ”を“位相差検出用画素３１Ｌ”に置き換えた動作が行われる。

このように、補正ゲイン値を、位相差検出用画素３１Ｒと位相差検出用画素３１Ｌとで別々に求めるのは、位相差検出用画素３１Ｒと位相差検出用画素３１Ｌとでは、受光面上の位置がほぼ同じでも、その感度に大きな差が生じている場合があるためである。

補正ゲイン値生成部１７２は、以上のようにしてブロック３２毎に、位相差検出用画素３１Ｒ（３１Ｌ）に対応する補正ゲイン値の生成を試み、ステップＳ４又はステップＳ５の判定がＮＯとなったブロックについては、位相差検出用画素３１Ｒ（３１Ｌ）に対応する補正ゲイン値の生成は行わない。

図６と図７は、図５で説明した処理の結果を説明するための図である。図６，７は、図４に示した３６個のブロック３２を示している。図６，７では、各ブロック３２に、補正ゲイン値が生成され記憶されている場合は“ＯＫ”を、補正ゲイン値が生成されずに記憶されていない場合は“ＮＧ”を記してある。

このように、補正ゲイン値がまだ生成されていないブロック３２について、補正ゲイン値生成部１７２は、そのブロック３２に対応する補正ゲイン値を、そのブロック３２の周囲にある、既に補正ゲイン値が生成されているブロック３２の当該補正ゲイン値を利用して生成する。

例えば、図６において、列Ｃ２かつ行Ｌ４のブロック３２については、このブロック３２に対して位相差検出用画素３１Ｒ，３１Ｌが位相差を検出する方向（行方向Ｘ）と直交する方向（列方向Ｙ）にある他のブロック３２（列Ｃ２かつ行Ｌ１，Ｌ２，Ｌ３，Ｌ５，Ｌ６のブロック３２）について生成された補正ゲイン値を利用して、補正ゲイン値を生成する。

具体的には、列Ｃ２かつ行Ｌ１のブロック３２、列Ｃ２かつ行Ｌ２のブロック３２、列Ｃ２かつ行Ｌ３のブロック３２、列Ｃ２かつ行Ｌ５のブロック３２、及び、列Ｃ２かつ行Ｌ６のブロック３２、の５つのブロック３２について生成された５つの補正ゲイン値の平均値を算出し、この平均値を、列Ｃ２かつ行Ｌ４のブロック３２の補正ゲイン値とする。

または、列Ｃ２かつ行Ｌ４のブロック３２に対し列方向Ｙに最近接する２つのブロック（列Ｃ２かつ行Ｌ３のブロック３２と、列Ｃ２かつ行Ｌ５のブロック３２）について生成された２つの補正ゲイン値の平均値を算出し、この平均値を、列Ｃ２かつ行Ｌ４のブロック３２の補正ゲイン値とする。

位相差検出用画素３１Ｒ（又は３１Ｌ）は、列方向Ｙにおいては、どの位置にあっても感度が同等になる。このため、補正ゲイン値が生成されていないブロック３２については、そのブロック３２を含むブロック列に含まれるブロック３２に対応する補正ゲイン値を利用して補正ゲイン値を算出することで、補正ゲイン値の信頼性を高めることができる。

上記説明では、“ＮＧ”のブロック３２を含むブロック列について求められた複数の補正ゲイン値の平均値を、当該ブロック３２の補正ゲイン値としている。このように、列方向Ｙに並ぶ複数ブロックの補正ゲイン値を平均化することで、ブロック毎の被写体像の違いによる補正ゲイン値の差を吸収することができ、この点からも補正ゲイン値の信頼性を高めることができる。

なお、図７に示したように、ブロック列に含まれる全てのブロック３２が“ＮＧ”となってしまった場合は、上述した方法によって補正ゲイン値を補間生成することはできなくなる。

そこで、このような場合には、補正ゲイン値生成部１７２は、“ＯＫ”のブロック３２を含むブロック列であってブロック列Ｃ３に対して、位相差検出用画素３１Ｒ，３１Ｌが位相差を検出する方向（行方向Ｘ）に最近接する２つのブロック列（ブロック列Ｃ２，Ｃ４）を特定する。そして、特定した各ブロック列について生成された補正ゲイン値を用いて、ブロック列Ｃ３における各ブロック３２に対応する補正ゲイン値を生成する。

例えば、補正ゲイン値生成部１７２は、ブロック列Ｃ２に属する６つのブロック３２の補正ゲイン値の平均値Ａｖ１を算出し、ブロック列Ｃ４に属する６つのブロック３２の補正ゲイン値の平均値Ａｖ２を算出する。行方向Ｘにおける列Ｃ１〜Ｃ６の位置を横軸にプロットし、列Ｃ１〜Ｃ６について求まる補正ゲイン値を縦軸にプロットして得られるグラフは線形性を有することが分かっている。このため、補正ゲイン値生成部１７２は、平均値Ａｖ１と平均値Ａｖ２とを用いた線形補間によって、列Ｃ３に対する補正ゲイン値を求めることができる。

このようにして、補正ゲイン値生成部１７２は、全てのブロック３２に対して、位相差検出用画素３１Ｒと位相差検出用画素３１Ｌとにそれぞれ対応する補正ゲイン値を生成する。一旦補正ゲイン値を生成した後は、ゲイン補正処理部１７１が、補正対象画素が属するブロックかつ当該補正対象画素の種類に対応するゲイン値をメインメモリ１６から読み出し、このゲイン値を、当該補正対象画素の出力信号に乗じることでゲイン補正処理を行う。

以上のように、図１に示すデジタルカメラによれば、あるブロック３２において、位相差検出用画素や撮像用画素に白とびや黒潰れが多く発生しており、ステップＳ１０の処理によって信頼性の高い補正ゲイン値を生成できない場合には、他のブロック３２について求めた補正ゲイン値を利用して、信頼性の高い補正ゲイン値の生成が可能となる。したがって、位相差検出用画素の出力信号の補正精度が低下するのを防ぐことができ、撮像画質の向上を図ることができる。

また、図１に示すデジタルカメラによれば、固体撮像素子３により撮像して得られる撮像画像信号を用いて、補正ゲイン値を生成することができる。このため、デジタルカメラに装着可能なあらゆるレンズ装置に対応して補正ゲイン値を予め生成してカメラ本体に記憶しておく必要がなくなり、カメラの調整工数の削減が可能となる。

図１に示すデジタルカメラのように、リアルタイムに補正ゲイン値を生成する構成では、撮像する被写体のパターンによって、白とびや黒潰れとなったりする可能性がある。このため、上述した方法によって補正ゲイン値を生成することが有効となる。

また、図１に示すデジタルカメラによれば、レンズＩＤ以外の詳細な情報を取得できないようなレンズ装置であっても、そのレンズ装置を装着して撮影モードに設定し、ＡＥ・ＡＦ指示を行うだけで、補正ゲイン値を生成して記憶しておくことができる。このため、どのようなレンズ装置が装着された場合でも、撮像品質を向上させることができる。

また、以上の説明では、ＡＥ・ＡＦ指示を行ったときに補正ゲイン値を生成して記憶するものとしたが、補正ゲイン値を生成するタイミングはこれに限らない。例えば、撮影モードに設定されたタイミング、撮影モード中にレンズ装置が交換されたタイミング等としてもよい。

補正ゲイン値生成部１７２が生成した各ブロック３２に対応する補正ゲイン値は、それを求めるときにデジタルカメラに装着されているレンズ装置の識別情報と対応付けて、デジタルカメラのメインメモリ１６に記録する構成としてもよいし、デジタルカメラの識別情報と対応付けて、レンズ装置内の記録媒体に記録する構成としてもよい。または、ＡＥ・ＡＦの指示が行われる都度、補正ゲイン値を生成するようにしてもよい。

図５のステップＳ４，５を省略し、ステップＳ３：ＹＥＳのときにステップＳ８を行うようにしてもよい。この場合、ステップＳ１０で算出した補正ゲイン値と関連付けて、ステップＳ６で積算した出力信号の数及びステップＳ７で積算した出力信号の数、又は、ステップＳ８で積算した出力信号の数及びステップＳ９で積算した出力信号の数をメインメモリ１６に記憶しておく。

そして、全てのブロック３２について補正ゲイン値の算出が終わると、補正ゲイン値生成部１７２は、補正ゲイン値に関連付けられた位相差検出用画素の出力信号の積算数と撮像用画素の出力信号の積算数がそれぞれ第三の閾値以上となっているブロック３２を“ＯＫ”ブロックと判断し、それ以外のブロック３２を“ＮＧ”ブロックと判断する。そして、“ＮＧ”ブロックについて、上述した方法により、新たな補正ゲイン値を生成する。

以上、本発明を特定の実施形態によって説明したが、本発明はこの実施形態に限定されるものではなく、開示された発明の技術思想を逸脱しない範囲で種々の変更が可能である。

また、位相差検出用画素と撮像用画素を含む固体撮像素子３の画素配列は、図２に示したものに限らず、他の公知の配列を採用することができる。

また、位相差検出用画素の検出色は緑色としたが、検出色を赤色又は青色にした構成であってもよい。また、固体撮像素子５は、モノクロ撮像用の撮像素子としてもよい。つまり、カラーフィルタは省略してもよい。

また、デジタル信号処理部１７は、ゲイン補正処理だけでなく、位相差検出用画素の出力信号を、その位相差検出用画素の周囲にある同色を検出する撮像用画素３１の出力信号を用いて補間する補間補正処理と併用して、位相差検出用画素の出力信号の補正を行ってもよい。

また、デジタル信号処理部１７が行う処理を、コンピュータに実行させるためのプログラムとして提供することもできる。このようなプログラムは、当該プログラムをコンピュータが読取可能な一時的でない（ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ）記録媒体に記録される。

このような「コンピュータ読取可能な記録媒体」は、たとえば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−ＲＯＭ）等の光学媒体や、メモリカード等の磁気記録媒体等を含む。また、このようなプログラムを、ネットワークを介したダウンロードによって提供することもできる。

次に、撮像装置としてスマートフォンの構成について説明する。

図８は、本発明の撮影装置の一実施形態であるスマートフォン２００の外観を示すものである。図８に示すスマートフォン２００は、平板状の筐体２０１を有し、筐体２０１の一方の面に表示部としての表示パネル２０２と、入力部としての操作パネル２０３とが一体となった表示入力部２０４を備えている。また、この様な筐体２０１は、スピーカ２０５と、マイクロホン２０６と、操作部２０７と、カメラ部２０８とを備えている。なお、筐体２０１の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド機構を有する構成を採用したりすることもできる。

図９は、図８に示すスマートフォン２００の構成を示すブロック図である。図９に示すように、スマートフォンの主たる構成要素として、無線通信部２１０と、表示入力部２０４と、通話部２１１と、操作部２０７と、カメラ部２０８と、記憶部２１２と、外部入出力部２１３と、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信部２１４と、モーションセンサ部２１５と、電源部２１６と、主制御部２２０とを備える。また、スマートフォン２００の主たる機能として、図示省略の基地局装置ＢＳと図示省略の移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。

無線通信部２１０は、主制御部２２０の指示にしたがって、移動通信網ＮＷに収容された基地局装置ＢＳに対し無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。

表示入力部２０４は、主制御部２２０の制御により、画像（静止画像および動画像）や文字情報などを表示して視覚的にユーザに情報を伝達するとともに、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル２０２と、操作パネル２０３とを備える。

表示パネル２０２は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＯＥＬＤ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）などを表示デバイスとして用いたものである。

操作パネル２０３は、表示パネル２０２の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。このデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部２２０に出力する。次いで、主制御部２２０は、受信した検出信号に基づいて、表示パネル２０２上の操作位置（座標）を検出する。

図８に示すように、本発明の撮影装置の一実施形態として例示しているスマートフォン２００の表示パネル２０２と操作パネル２０３とは一体となって表示入力部２０４を構成しているが、操作パネル２０３が表示パネル２０２を完全に覆うような配置となっている。

係る配置を採用した場合、操作パネル２０３は、表示パネル２０２外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル２０３は、表示パネル２０２に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル２０２に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。

なお、表示領域の大きさと表示パネル２０２の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル２０３が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体２０１の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル２０３で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。

通話部２１１は、スピーカ２０５やマイクロホン２０６を備え、マイクロホン２０６を通じて入力されたユーザの音声を主制御部２２０にて処理可能な音声データに変換して主制御部２２０に出力したり、無線通信部２１０あるいは外部入出力部２１３により受信された音声データを復号してスピーカ２０５から出力させたりするものである。また、図８に示すように、例えば、スピーカ２０５を表示入力部２０４が設けられた面と同じ面に搭載し、マイクロホン２０６を筐体２０１の側面に搭載することができる。

操作部２０７は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図８に示すように、操作部２０７は、スマートフォン２００の筐体２０１の側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。

記憶部２１２は、主制御部２２０の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部２１２は、スマートフォン内蔵の内部記憶部２１７と着脱自在な外部メモリスロットを有する外部記憶部２１８により構成される。なお、記憶部２１２を構成するそれぞれの内部記憶部２１７と外部記憶部２１８は、フラッシュメモリタイプ（ｆｌａｓｈ ｍｅｍｏｒｙ ｔｙｐｅ）、ハードディスクタイプ（ｈａｒｄ ｄｉｓｋ ｔｙｐｅ）、マルチメディアカードマイクロタイプ（ｍｕｌｔｉｍｅｄｉａ ｃａｒｄ ｍｉｃｒｏ ｔｙｐｅ）、カードタイプのメモリ（例えば、ＭｉｃｒｏＳＤ（登録商標）メモリ等）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの格納媒体を用いて実現される。

外部入出力部２１３は、スマートフォン２００に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、ＩＥＥＥ１３９４など）又はネットワーク（例えば、インターネット、無線ＬＡＮ、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）（登録商標）、ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、赤外線通信（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅｂａｎｄ）（登録商標）、ジグビー（ＺｉｇＢｅｅ）（登録商標）など）により直接的又は間接的に接続するためのものである。

スマートフォン２００に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Ｍｅｍｏｒｙ ｃａｒｄ）やＳＩＭ（Ｓｕｂｓｃｒｉｂｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）／ＵＩＭ（Ｕｓｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）カード、オーディオ・ビデオＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるＰＤＡ、有／無線接続されるパーソナルコンピュータ、イヤホンなどがある。外部入出力部２１３は、このような外部機器から伝送を受けたデータをスマートフォン２００の内部の各構成要素に伝達することや、スマートフォン２００の内部のデータが外部機器に伝送されるようにすることができる。

ＧＰＳ受信部２１４は、主制御部２２０の指示にしたがって、ＧＰＳ衛星ＳＴ１〜ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、当該スマートフォン２００の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部２１４は、無線通信部２１０や外部入出力部２１３（例えば、無線ＬＡＮ）から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。

モーションセンサ部２１５は、例えば、３軸の加速度センサなどを備え、主制御部２２０の指示にしたがって、スマートフォン２００の物理的な動きを検出する。スマートフォン２００の物理的な動きを検出することにより、スマートフォン２００の動く方向や加速度が検出される。係る検出結果は、主制御部２２０に出力されるものである。

電源部２１６は、主制御部２２０の指示にしたがって、スマートフォン２００の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。

主制御部２２０は、マイクロプロセッサを備え、記憶部２１２が記憶する制御プログラムや制御データにしたがって動作し、スマートフォン２００の各部を統括して制御するものである。また、主制御部２２０は、無線通信部２１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。

アプリケーション処理機能は、記憶部２１２が記憶するアプリケーションソフトウェアにしたがって主制御部２２０が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部２１３を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Ｗｅｂページを閲覧するＷｅｂブラウジング機能などがある。

また、主制御部２２０は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部２０４に表示する等の画像処理機能を備える。画像処理機能とは、主制御部２２０が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部２０４に表示する機能のことをいう。

更に、主制御部２２０は、表示パネル２０２に対する表示制御と、操作部２０７、操作パネル２０３を通じたユーザ操作を検出する操作検出制御を実行する。表示制御の実行により、主制御部２２０は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、あるいは電子メールを作成したりするためのウィンドウを表示する。なお、スクロールバーとは、表示パネル２０２の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

また、操作検出制御の実行により、主制御部２２０は、操作部２０７を通じたユーザ操作を検出したり、操作パネル２０３を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。

更に、操作検出制御の実行により主制御部２２０は、操作パネル２０３に対する操作位置が、表示パネル２０２に重なる重畳部分（表示領域）か、それ以外の表示パネル２０２に重ならない外縁部分（非表示領域）かを判定し、操作パネル２０３の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

また、主制御部２２０は、操作パネル２０３に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

カメラ部２０８は、図１に示したデジタルカメラにおける外部メモリ制御部２０、記録媒体２１、表示制御部２２、表示部２３、及び操作部１４以外の構成を含む。カメラ部２０８によって生成された撮像画像データは、記憶部２１２に記録したり、入出力部２１３や無線通信部２１０を通じて出力したりすることができる。図８に示すスマートフォン２００において、カメラ部２０８は表示入力部２０４と同じ面に搭載されているが、カメラ部２０８の搭載位置はこれに限らず、表示入力部２０４の背面に搭載されてもよい。

また、カメラ部２０８はスマートフォン２００の各種機能に利用することができる。例えば、表示パネル２０２にカメラ部２０８で取得した画像を表示することや、操作パネル２０３の操作入力のひとつとして、カメラ部２０８の画像を利用することができる。また、ＧＰＳ受信部２１４が位置を検出する際に、カメラ部２０８からの画像を参照して位置を検出することもできる。更には、カメラ部２０８からの画像を参照して、３軸の加速度センサを用いずに、或いは、３軸の加速度センサと併用して、スマートフォン２００のカメラ部２０８の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部２０８からの画像をアプリケーションソフトウェア内で利用することもできる。

その他、静止画又は動画の画像データにＧＰＳ受信部２１４により取得した位置情報、マイクロホン２０６により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、モーションセンサ部２１５により取得した姿勢情報等などを付加して記録部２１２に記録したり、入出力部２１３や無線通信部２１０を通じて出力したりすることもできる。

以上のような構成のスマートフォン２００においても、デジタル信号処理部１７が上述した信号処理を行うことで、高品質の撮影が可能になる。

以上説明してきたように、本明細書には以下の事項が開示されている。

開示された撮像装置は、フォーカスレンズを含む撮像光学系を通して被写体を撮像する撮像素子を有する撮像装置であって、上記撮像素子は、受光面に二次元アレイ状に配置される複数の撮像用画素及び構造の異なる複数種類の位相差検出用画素を含むものであり、上記撮像素子から出力される撮像画像信号に含まれる上記位相差検出用画素の出力信号値に、上記位相差検出用画素に対応する補正ゲイン値を乗じて上記出力信号値を補正するゲイン補正処理部と、上記受光面において上記位相差検出用画素が配置されるエリアを上記複数種類の位相差検出用画素及び上記撮像用画素を含む複数個のブロックに分割し、各ブロックに属する同一種類の位相差検出用画素のグループ毎に、上記グループに対応する補正ゲイン値を、上記撮像素子により被写体を撮像して得られる撮像画像信号を利用して生成する補正ゲイン値生成部と、を備えるものである。

開示された撮像装置は、上記補正ゲイン値生成部が、上記ブロックに属する同一種類の位相差検出用画素において出力信号値が予め決めた範囲にある画素の数が第一の閾値以上、かつ、上記ブロックに属する上記同一種類の位相差検出用画素の周囲にある上記撮像用画素において出力信号値が上記予め決めた範囲にある画素の数が第二の閾値以上となるブロックである第一のブロックについては、上記第一のブロックに属する上記グループ及び上記グループと同一色を検出する上記位相差検出用画素の周囲にある上記撮像用画素の出力信号値のうちの上記予め決めた範囲にあるものを利用して、上記グループに対応する補正ゲイン値を生成するものである。

開示された撮像装置は、更に、上記補正ゲイン値生成部が、上記ブロックに属する上記同一種類の位相差検出用画素において出力信号値が上記予め決めた範囲にある画素の数が上記第一の閾値未満、又は、上記ブロックに属する上記同一種類の位相差検出用画素の周囲にある上記撮像用画素において出力信号値が上記予め決めた範囲にある画素の数が上記第二の閾値未満となるブロックである第二のブロックについては、上記第二のブロックの周囲にある上記第一のブロックについて生成された上記グループに対応する補正ゲイン値を利用して、上記第二のブロックの上記グループに対応する補正ゲイン値を生成するものである。

開示された撮像装置は、上記補正ゲイン値生成部が、上記第二のブロックについては、上記第二のブロックに対して上記位相差検出用画素が位相差を検出する方向と直交する方向にある上記第一のブロックについて生成された上記グループに対応する補正ゲイン値を利用して、上記第二のブロックの上記グループに対応する補正ゲイン値を生成するものである。

開示された撮像装置は、上記補正ゲイン値生成部が、上記第二のブロックについては、上記第二のブロックに対して上記位相差検出用画素が位相差を検出する方向と直交する方向にある全ての上記第一のブロックについて生成された上記グループに対応する補正ゲイン値の平均値を、上記第二のブロックの上記グループに対応する補正ゲイン値として生成するものである。

開示された撮像装置は、上記補正ゲイン値生成部が、上記第二のブロックについては、上記第二のブロックに対して上記位相差検出用画素が位相差を検出する方向と直交する方向に最近接する２つの上記第一のブロックについて生成された上記グループに対応する補正ゲイン値の平均値を、上記第二のブロックの上記グループに対応する補正ゲイン値として生成するものである。

開示された撮像装置は、上記複数のブロックが、上記複数種類の位相差検出用画素が位相差を検出する方向と直交する方向に並ぶ複数個の上記ブロックからなるブロック列を、上記位相差を検出する方向に３個以上並べた配置となっており、上記補正ゲイン値生成部は、全てのブロックが上記第二のブロックとなるブロック列である特定ブロック列があった場合に、上記第一のブロックを含むブロック列であって上記特定ブロック列に対して上記位相差を検出する方向に最近接するブロック列における各第一のブロックについて生成された上記グループに対応する補正ゲイン値を用いて、上記特定ブロック列における各第二のブロックの上記グループに対応する補正ゲイン値を生成するものである。

開示された撮像装置は、上記撮像光学系を着脱可能なマウント機構を備えるものである。

開示された信号処理方法は、フォーカスレンズを含む撮像光学系を通して被写体を撮像する撮像素子から出力される撮像画像信号を処理する信号処理方法であって、上記撮像素子は、受光面に二次元アレイ状に配置される複数の撮像用画素及び構造の異なる複数種類の位相差検出用画素を含むものであり、上記撮像素子から出力される撮像画像信号に含まれる上記位相差検出用画素の出力信号値に、上記位相差検出用画素に対応する補正ゲイン値を乗じて上記出力信号値を補正するゲイン補正処理ステップと、上記受光面において上記位相差検出用画素が配置されるエリアを上記複数種類の位相差検出用画素及び上記撮像用画素を含む複数個のブロックに分割し、各ブロックに属する同一種類の位相差検出用画素のグループ毎に、上記グループに対応する補正ゲイン値を、上記撮像素子により被写体を撮像して得られる撮像画像信号を利用して生成する補正ゲイン値生成ステップと、を備えるものである。

開示された信号処理プログラムは、フォーカスレンズを含む撮像光学系を通して被写体を撮像する撮像素子から出力される撮像画像信号をコンピュータにより処理するための信号処理プログラムであって、上記撮像素子は、受光面に二次元アレイ状に配置される複数の撮像用画素及び構造の異なる複数種類の位相差検出用画素を含むものであり、上記撮像素子から出力される撮像画像信号に含まれる上記位相差検出用画素の出力信号値に、上記位相差検出用画素に対応する補正ゲイン値を乗じて上記出力信号値を補正するゲイン補正処理ステップと、上記受光面において上記位相差検出用画素が配置されるエリアを上記複数種類の位相差検出用画素及び上記撮像用画素を含む複数個のブロックに分割し、各ブロックに属する同一種類の位相差検出用画素のグループ毎に、上記グループに対応する補正ゲイン値を、上記撮像素子により被写体を撮像して得られる撮像画像信号を利用して生成する補正ゲイン値生成ステップと、をコンピュータに実行させるためのプログラムである。

本発明は、特にデジタルカメラ等に適用して利便性が高く、有効である。

３ 固体撮像素子
１６ メインメモリ
１７ デジタル信号処理部
３０ 撮像用画素
３１Ｒ，３１Ｌ 位相差検出用画素
３０ 受光面
３１ ＡＦエリア
３２ ブロック

Claims (10)

1. フォーカスレンズを含む撮像光学系を通して被写体を撮像する撮像素子を有する撮像装置であって、
   前記撮像素子は、受光面に二次元アレイ状に配置される複数の撮像用画素及び構造の異なる複数種類の位相差検出用画素を含むものであり、
   前記撮像素子から出力される撮像画像信号に含まれる前記位相差検出用画素の出力信号値に、前記位相差検出用画素に対応する補正ゲイン値を乗じて前記出力信号値を補正するゲイン補正処理部と、
   前記受光面において前記位相差検出用画素が配置されるエリアを前記複数種類の位相差検出用画素及び前記撮像用画素を含む複数個のブロックに分割し、各ブロックに属する同一種類の位相差検出用画素のグループ毎に、前記グループに対応する補正ゲイン値を、前記撮像素子により被写体を撮像して得られる撮像画像信号を利用して生成する補正ゲイン値生成部と、を備える撮像装置。
2. 請求項１記載の撮像装置であって、
   前記補正ゲイン値生成部は、前記ブロックに属する同一種類の位相差検出用画素において出力信号値が予め決めた範囲にある画素の数が第一の閾値以上、かつ、前記ブロックに属する前記同一種類の位相差検出用画素の周囲にある前記撮像用画素において出力信号値が前記予め決めた範囲にある画素の数が第二の閾値以上となるブロックである第一のブロックについては、前記第一のブロックに属する前記グループ及び前記グループと同一色を検出する前記位相差検出用画素の周囲にある前記撮像用画素の出力信号値のうちの前記予め決めた範囲にあるものを利用して、前記グループに対応する補正ゲイン値を生成する撮像装置。
3. 請求項２記載の撮像装置であって、
   更に、前記補正ゲイン値生成部は、前記ブロックに属する前記同一種類の位相差検出用画素において出力信号値が前記予め決めた範囲にある画素の数が前記第一の閾値未満、又は、前記ブロックに属する前記同一種類の位相差検出用画素の周囲にある前記撮像用画素において出力信号値が前記予め決めた範囲にある画素の数が前記第二の閾値未満となるブロックである第二のブロックについては、前記第二のブロックの周囲にある前記第一のブロックについて生成された前記グループに対応する補正ゲイン値を利用して、前記第二のブロックの前記グループに対応する補正ゲイン値を生成する撮像装置。
4. 請求項３記載の撮像装置であって、
   前記補正ゲイン値生成部は、前記第二のブロックについては、前記第二のブロックに対して前記位相差検出用画素が位相差を検出する方向と直交する方向にある前記第一のブロックについて生成された前記グループに対応する補正ゲイン値を利用して、前記第二のブロックの前記グループに対応する補正ゲイン値を生成する撮像装置。
5. 請求項４記載の撮像装置であって、
   前記補正ゲイン値生成部は、前記第二のブロックについては、前記第二のブロックに対して前記位相差検出用画素が位相差を検出する方向と直交する方向にある全ての前記第一のブロックについて生成された前記グループに対応する補正ゲイン値の平均値を、前記第二のブロックの前記グループに対応する補正ゲイン値として生成する撮像装置。
6. 請求項４記載の撮像装置であって、
   前記補正ゲイン値生成部は、前記第二のブロックについては、前記第二のブロックに対して前記位相差検出用画素が位相差を検出する方向と直交する方向に最近接する２つの前記第一のブロックについて生成された前記グループに対応する補正ゲイン値の平均値を、前記第二のブロックの前記グループに対応する補正ゲイン値として生成する撮像装置。
7. 請求項３から６のいずれか１項記載の撮像装置であって、
   前記複数のブロックは、前記複数種類の位相差検出用画素が位相差を検出する方向と直交する方向に並ぶ複数個の前記ブロックからなるブロック列を、前記位相差を検出する方向に３個以上並べた配置となっており、
   前記補正ゲイン値生成部は、全てのブロックが前記第二のブロックとなるブロック列である特定ブロック列があった場合に、前記第一のブロックを含むブロック列であって前記特定ブロック列に対して前記位相差を検出する方向に最近接するブロック列における各第一のブロックについて生成された前記グループに対応する補正ゲイン値を用いて、前記特定ブロック列における各第二のブロックの前記グループに対応する補正ゲイン値を生成する撮像装置。
8. 請求項１から７のいずれか１項記載の撮像装置であって、
   前記撮像光学系を着脱可能なマウント機構を備える撮像装置。
9. フォーカスレンズを含む撮像光学系を通して被写体を撮像する撮像素子から出力される撮像画像信号を処理する信号処理方法であって、
   前記撮像素子は、受光面に二次元アレイ状に配置される複数の撮像用画素及び構造の異なる複数種類の位相差検出用画素を含むものであり、
   前記撮像素子から出力される撮像画像信号に含まれる前記位相差検出用画素の出力信号値に、前記位相差検出用画素に対応する補正ゲイン値を乗じて前記出力信号値を補正するゲイン補正処理ステップと、
   前記受光面において前記位相差検出用画素が配置されるエリアを前記複数種類の位相差検出用画素及び前記撮像用画素を含む複数個のブロックに分割し、各ブロックに属する同一種類の位相差検出用画素のグループ毎に、前記グループに対応する補正ゲイン値を、前記撮像素子により被写体を撮像して得られる撮像画像信号を利用して生成する補正ゲイン値生成ステップと、を備える信号処理方法。
10. フォーカスレンズを含む撮像光学系を通して被写体を撮像する撮像素子から出力される撮像画像信号をコンピュータにより処理するための信号処理プログラムであって、
    前記撮像素子は、受光面に二次元アレイ状に配置される複数の撮像用画素及び構造の異なる複数種類の位相差検出用画素を含むものであり、
    前記撮像素子から出力される撮像画像信号に含まれる前記位相差検出用画素の出力信号値に、前記位相差検出用画素に対応する補正ゲイン値を乗じて前記出力信号値を補正するゲイン補正処理ステップと、
    前記受光面において前記位相差検出用画素が配置されるエリアを前記複数種類の位相差検出用画素及び前記撮像用画素を含む複数個のブロックに分割し、各ブロックに属する同一種類の位相差検出用画素のグループ毎に、前記グループに対応する補正ゲイン値を、前記撮像素子により被写体を撮像して得られる撮像画像信号を利用して生成する補正ゲイン値生成ステップと、をコンピュータに実行させるための信号処理プログラム。

Images