JP5775918B2 - 撮像装置、画像処理方法及び画像処理プログラム - Google Patents

Description

本発明は、一部の画素を位相差方式の焦点検出素子として利用して焦点状態を検出する撮像素子の画素出力を処理する撮像装置、画像処理方法及び画像処理プログラムに関する。

撮像素子の一部の画素を焦点検出素子として利用して焦点状態を検出する撮像装置に関する提案が例えば特許文献１においてなされている。特許文献１は、撮像素子の一部の画素を焦点検出画素に設定し、撮影レンズの光軸中心に対して対称な異なる瞳領域を通過した被写体光束を複数の焦点検出画素に結像させ、この被写体光束の間の位相差を検出することによって撮影レンズの焦点状態を検出している。

ここで、焦点検出画素は、撮影レンズの異なる瞳領域を通過した被写体光束の一方を受光できるように例えば一部の領域が遮光されている。このため、焦点検出画素は、そのままでは画像として使用できない欠損画素となる。したがって、特許文献２に開示された撮像装置では、焦点検出画素の画素出力を、ゲイン調整したり、周辺の画素を用いて補間したりすることにより、記録や表示に利用可能としている。

特許第３５９２１４７号公報 特開２０１０−０６２６４０号公報

特許文献２による画素出力の補正手法は、焦点検出画素の周辺の画素の画素出力の標準偏差を見ることによって高周波成分か否かを判断し、この判断結果に応じて補間の際の補間画素の画素出力と焦点検出画素の画素出力との適用割合を変えるようにしている。したがって、特許文献２の手法では、撮像素子の画素配列と近い高周波の繰り返しパターンが発生している被写体については適用割合を正しく算出できない可能性が生じる。この場合、焦点検出画素において被写体の構造を反映した画素出力が得られなくなって著しい画質劣化が生じる。

本発明は、前記の事情に鑑みてなされたもので、焦点検出画素を有する撮像素子からの画素出力を処理する撮像装置において、焦点検出画素による画質の低下をより抑えることが可能な撮像装置、画像処理方法及び画像処理プログラムを提供することを目的とする。

前記の目的を達成するために、本発明の第１の態様の撮像装置は、撮像画素及び位相差を検出するための焦点検出画素を有する撮像素子と、前記焦点検出画素の周辺に位置する複数の撮像画素及び焦点検出画素の画素出力に基づいて、前記撮像素子が受光した被写体像パターンが高周波である度合いを検出する高周波パターン検出部と、前記焦点検出画素の周辺に位置する撮像画素の画素出力を用いて補間演算を行って前記焦点検出画素の画素出力に対応する補間出力を求め、該求めた補間出力と前記焦点検出画素の画素出力とを重み付け混合する補間処理部と、前記高周波パターン検出部の出力に基づいて前記補間処理部における重み付け混合の際の混合割合を決定する適用判断部とを具備し、前記高周波パターン検出部は、前記焦点検出画素に対して前記位相差検出方向と垂直方向の同位置又は前記焦点検出画素の周辺に位置する別の焦点検出画素に対して位相差検出方向と垂直方向の同位置に配置されている焦点検出画素からなる第１の画素群の位相差検出方向と垂直方向に位置する画素出力の平均値を積分した値と、前記第１の画素群から位相差検出方向にずらした位置に配置されている撮像画素からなる第２の画素群の位相差検出方向と垂直方向に位置する画素出力の平均値を積分した値との差分又は比率を算出し、前記積分した値の差分又は比率の大きさに応じて前記高周波である度合いを設定し、前記適用判断部は、前記高周波である度合いが高い場合は、前記焦点検出画素の混合割合を高くすることを特徴とする。

前記の目的を達成するために、本発明の第２の態様の画像処理方法は、撮像画素及び位相差を検出するための焦点検出画素を有する撮像素子の画素出力を処理する画像処理方法であって、前記焦点検出画素の周辺に位置する複数の撮像画素及び焦点検出画素の画素出力に基づいて、前記撮像素子が受光した被写体像パターンが高周波である度合いを検出し、前記高周波である度合いに基づいて補間出力と前記焦点検出画素の画素出力との重み付け混合の際の混合割合を決定し、前記焦点検出画素の周辺に位置する撮像画素の画素出力を用いて補間演算を行って前記焦点検出画素の画素出力に対応する前記補間出力を求め、該求めた補間出力と前記焦点検出画素の画素出力とを重み付け混合し、前記高周波である度合いを検出する際に、前記焦点検出画素に対して前記位相差検出方向と垂直方向の同位置又は前記焦点検出画素の周辺に位置する別の焦点検出画素に対して位相差検出方向と垂直方向の同位置に配置されている焦点検出画素からなる第１の画素群の位相差検出方向と垂直方向に位置する画素出力の平均値を積分した値と、前記第１の画素群から位相差検出方向にずらした位置に配置されている撮像画素からなる第２の画素群の位相差検出方向と垂直方向に位置する画素出力の平均値を積分した値との差分又は比率を算出し、前記積分した値の差分又は比率の大きさに応じて前記高周波である度合いを設定し、前記混合割合を決定する際に、前記高周波である度合いが高い場合は、前記焦点検出画素の混合割合を高くすることを特徴とする。

前記の目的を達成するために、本発明の第３の態様の画像処理プログラムは、撮像画素及び位相差を検出するための焦点検出画素を有する撮像素子の画素出力を処理する画像処理プログラムであって、前記焦点検出画素の周辺に位置する複数の撮像画素及び焦点検出画素の画素出力に基づいて、前記撮像素子が受光した被写体像パターンが高周波である度合いを検出する機能と、前記高周波である度合いに基づいて補間出力と前記焦点検出画素の画素出力との重み付け混合の際の混合割合を決定する機能と、前記焦点検出画素の周辺に位置する撮像画素の画素出力を用いて補間演算を行って前記焦点検出画素の画素出力に対応する前記補間出力を求め、該求めた補間出力と前記焦点検出画素の画素出力とを重み付け混合する機能とをコンピュータに実現させ、前記高周波である度合いを検出する機能において、前記焦点検出画素に対して前記位相差検出方向と垂直方向の同位置又は前記焦点検出画素の周辺に位置する別の焦点検出画素に対して位相差検出方向と垂直方向の同位置に配置されている焦点検出画素からなる第１の画素群の位相差検出方向と垂直方向に位置する画素出力の平均値を積分した値と、前記第１の画素群から位相差検出方向にずらした位置に配置されている撮像画素からなる第２の画素群の位相差検出方向と垂直方向に位置する画素出力の平均値を積分した値との差分又は比率を算出し、前記積分した値の差分又は比率の大きさに応じて前記高周波である度合いを設定し、前記混合割合を決定する際に、前記高周波である度合いが高い場合は、前記焦点検出画素の混合割合を高くすることをコンピュータに実現させる。

本発明によれば、焦点検出画素を有する撮像素子からの画素出力を処理する撮像装置において、焦点検出画素による画質の低下をより抑えることが可能な撮像装置、画像処理方法及び画像処理プログラムを提供することができる。

本発明の一実施形態に係る撮像装置の一例としてのデジタルカメラの構成を示すブロック図である。 撮像素子の画素配列の例を示した図である。 画像処理部の詳細な構成を示す図である。 補間判断処理部の構成を示す図である。 位相ずれについて説明するための図である。 動画記録処理を示すフローチャートである。 高周波検出処理について説明するための図である。

以下、図面を参照して本発明の実施形態を説明する。
図１は、本発明の一実施形態に係る撮像装置の一例としてのデジタルカメラ（以下、単にカメラと言う）の構成を示すブロック図である。ここで、図１において、矢印付き実線はデータの流れを示し、矢印付き破線は制御信号の流れを示す。

図１に示すカメラ１は、撮影レンズ１１と、絞り１３と、メカシャッタ１５と、駆動部１７と、操作部１９と、撮像素子２１と、撮像制御回路２３と、Ａ−ＡＭＰ２５と、アナログデジタル変換部（ＡＤＣ）２７と、ＣＰＵ２９と、画像処理部３１と、焦点検出回路３３と、ビデオエンコーダ３５と、表示部３７と、バス３９と、ＤＲＡＭ（Dynamic Random Access Memory）４１と、ＲＯＭ（Read Only Memory）４３と、記録媒体４５とを有する。

撮影レンズ１１は、被写体１００からの像を撮像素子２１に形成するための撮影光学系である。撮影レンズ１１は、合焦位置を調節するためのフォーカスレンズを有しており、またズームレンズとして構成されていてもよい。絞り１３は、撮影レンズ１１の光軸上に配置され、その口径が可変に構成されている。絞り１３は、撮影レンズ１１を通過した被写体１００からの光束の量を制限する。メカシャッタ１５は、開閉自在に構成されている。メカシャッタ１５は、撮像素子２１への被写体１００からの被写体光束の入射時間（撮像素子２１の露光時間）を調節する。メカシャッタ１５としては、公知のフォーカルプレーンシャッタ、レンズシャッタ等が採用され得る。駆動部１７は、ＣＰＵ２９からの制御信号に基づいて、撮影レンズ１１、絞り１３及びメカシャッタ１５の駆動の制御を行う。

操作部１９は、電源釦、レリーズ釦、動画釦、再生釦、メニュー釦といった各種の操作釦及びタッチパネル等の各種の操作部材を含む。この操作部１９は、各種の操作部材の操作状態を検知し、検知結果を示す信号をＣＰＵ２９に出力する。ここで、本実施形態の操作部１９により、カメラ１の撮影モードを選択することが可能である。すなわち、ユーザは、操作部１９を操作することにより、カメラ１の撮影モードを静止画撮影モードと動画撮影モードの何れかから選択することができる。静止画撮影モードは、静止画像を撮影するための撮影モードであり、動画撮影モードは、動画像を撮影するための撮影モードである。

撮像素子２１は、撮影レンズ１１の光軸上であって、メカシャッタ１５の後方で、かつ、撮影レンズ１１によって被写体光束が結像される位置に配置されている。撮像素子２１は、画素を構成するフォトダイオードが二次元的に配置されて構成されている。ここで、本実施形態における撮像素子２１は、記録や表示のための画像を取得するための撮像画素と焦点検出をするための焦点検出画素とを有する。

撮像素子２１を構成するフォトダイオードは、受光量に応じた電荷を生成する。フォトダイオードで発生した電荷は、各フォトダイオードに接続されているキャパシタに蓄積される。このキャパシタに蓄積された電荷が画像信号として読み出される。本実施形態における撮像素子２１は、複数の異なる電荷の読み出し方式を有している。撮像素子２１に蓄積された電荷は、撮像制御回路２３からの制御信号に従って読み出される。

また、画素を構成するフォトダイオードの前面には、例えばベイヤ配列のカラーフィルタが配置されている。ベイヤ配列は、水平方向にＲ画素とＧ（Ｇｒ）画素が交互に配置されたラインと、Ｇ（Ｇｂ）画素とＢ画素が交互に配置されたラインを有している。

撮像制御回路２３は、ＣＰＵ２９からの制御信号に従って撮像素子２１の駆動モードを設定し、設定した駆動モードに応じた読み出し方式に従って撮像素子２１からの画像信号の読み出しを制御する。例えば、ライブビュー表示時や動画記録時といった撮像素子２１からの画素データの読み出しにリアルタイム性が求められるような駆動モードの場合には、画素データの読み出しを高速に行えるよう、複数の同色画素からの画素データを混合して読み出すか、特定の画素の画素データを間引いて読み出す。一方、例えば静止画像の記録時のようなリアルタイム性よりも画質が求められる駆動モードの場合には、混合読み出しや間引き読み出しをせずに全画素の画素データを読み出すことで解像力を維持する。

Ａ−ＡＭＰ２５は、撮像制御回路２３の制御に従って撮像素子２１から読み出された画像信号を増幅する。撮像素子２１、撮像制御回路２３、Ａ−ＡＭＰ２５とともに撮像部として機能するＡＤＣ２７は、Ａ−ＡＭＰ２５から出力された画像信号を、デジタル形式の画像信号（画素データ）に変換する。以下、本明細書においては、複数の画素データの集まりを撮像データと記す。

ＣＰＵ２９は、ＲＯＭ４３に記憶されているプログラムに従ってカメラ１の全体制御を行う。画像処理部３１は、撮像データに対して各種の画像処理を施して画像データを生成する。例えば画像処理部３１は、静止画像の記録の際には、静止画記録用の画像処理を施して静止画像データを生成する。同様に、画像処理部３１は、動画像の記録の際には、動画記録用の画像処理を施して動画像データを生成する。さらに、画像処理部３１は、ライブビュー表示時には、表示用の画像処理を施して表示用画像データを生成する。このような画像処理部３１の構成については後で詳しく説明する。

焦点検出回路３３は、焦点検出画素からの画素データを取得し、取得した画素データに基づき、公知の位相差方式を用いて撮影レンズ１１の合焦位置に対するデフォーカス方向及びデフォーカス量を算出する。

ビデオエンコーダ３５は、画像処理部３１で生成された表示用画像データを映像データに変換し、この映像データを表示部３７に入力して表示部３７に画像を表示させる。

表示部３７は、例えば液晶ディスプレイや有機ＥＬディスプレイといった表示部であって、例えばカメラ１の背面に配置される。この表示部３７は、ビデオエンコーダ３５の動作に従って画像を表示する。表示部３７は、ライブビュー表示や記録済み画像の表示等に使用される。

バス３９は、ＡＤＣ２７、ＣＰＵ２９、画像処理部３１、焦点検出回路３３、ＤＲＡＭ４１、ＲＯＭ４３、記録媒体４５に接続され、これらのブロックで発生した各種のデータを転送するための転送路として機能する。

ＤＲＡＭ４１は、電気的に書き換え可能なメモリであり、前述した撮像データ（画素データ）、記録用画像データ、表示用画像データ、ＣＰＵ２９における処理データといった各種データを一時的に記憶する。なお、一時記憶用としてＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）が用いられてもよい。ＲＯＭ４３は、マスクＲＯＭやフラッシュメモリ等の不揮発性メモリである。ＲＯＭ４３は、ＣＰＵ２９で使用されるプログラム、カメラ１の調整値等の各種データを記憶している。記録媒体４５は、カメラ１に内蔵されるか又は装填されるように構成されており、記録用画像データを所定の形式の画像ファイルとして記録する。

図２を用いて撮像素子２１の構成について説明する。図２は、撮像素子２１の画素配列の例を示した図である。また、図２の右側には、一部の画素を拡大して示している。図２は、ベイヤ配列の例であるが、カラーフィルタの配列はベイヤ配列に限るものではなく、種々の配列が適用され得る。

前述したように、ベイヤ配列の撮像素子２１は、水平方向にＲ画素とＧ（Ｇｒ）画素が交互に配置された画素行と、Ｇ（Ｇｂ）画素とＢ画素が交互に配置された画素行とを有している。言い換えれば、右側の拡大図で示すＧｒ画素と、Ｒ画素、Ｇｂ画素、Ｂ画素の４画素の組が水平及び垂直方向に繰り返して配置されている。

本実施形態においては、一部の撮像画素２１ａの位置に焦点検出画素２１ｂを配置する。焦点検出画素は、例えば左右の何れかの領域を遮光膜によって遮光した画素である。図２の例では、左半面を遮光した焦点検出画素（以下、右開口焦点検出画素と言う）の行と、右半面を遮光した焦点検出画素（以下、左開口焦点検出画素と言う）の行とを垂直方向に沿って近接するように配置している。

高画素数の撮像素子の場合には個々の画素の面積が小さくなるので、近接して配置される画素にはほぼ同じ像が結像すると考えることができる。したがって、図２に示すようにして焦点検出画素を配置することにより、図２のＡ行の焦点検出画素とＢ行の焦点検出画素の対で位相差を検出することができる。また、Ｃ行の焦点検出画素とＤ行の焦点検出画素の対でも位相差を検出することができる。

ここで、図２の例では、焦点検出画素中の遮光する領域を、左右何れかの領域としている。この場合、水平位相差を検出することが可能である。これに対し、遮光する領域を上下何れかの領域としたり、斜め方向の領域としたりすることで、垂直位相差や斜め方向の位相差を検出することも可能である。また、ある程度の面積を有していれば遮光面積も画素領域の１/２でなくともよい。さらに、図２では焦点検出画素をＧ画素に配置しているが、Ｇ画素以外の、Ｒ画素、Ｂ画素の何れかに配置するようにしてもよい。また、図２の例は、焦点検出画素の一部領域を遮光することによって瞳分割をする例を示しているが、焦点検出画素は、撮影レンズ１１の異なる瞳領域を通過した対をなす被写体光束のうちの一方を選択的に受光できればよい。このため、一部領域を遮光する構成とせず、例えば瞳分割用のマイクロレンズによって瞳分割をするようにしてもよい。さらに、図２は、水平方向に沿って４画素周期で焦点検出画素を配置した例を示している。焦点検出画素を配置する周期は特定の周期に限定されるものではない。

ここで、焦点検出画素の一部の領域は遮光されているので、光量の低下が発生する。この光量の低下は、焦点検出画素に形成された遮光膜の面積の他、遮光膜の位置、焦点検出画素に入射する光の角度、像高によっても異なるものである。このような光量の低下が画像処理部３１において補正される。

図３は、画像処理部３１の詳細な構成を示す図である。図３では、画像処理部３１以外のブロックについては図示を省略している。図３に示すように、画像処理部３１は、ホワイトバランス（ＷＢ）補正処理部３１１と、ゲイン量推定部３１２と、ゲイン補正部３１３と、補間判断処理部３１４と、補間処理部３１５と、同時化処理部３１６と、輝度特性変換部３１７と、エッジ強調処理部３１８と、ノイズ低減（ＮＲ）処理部３１９と、色再現処理部３２０とを有している。

ＷＢ補正処理部３１１は、撮像データの各色成分を所定のゲイン量で増幅することにより、画像の色バランスを補正するホワイトバランス補正処理を行う。

ゲイン量推定部３１２は、ゲイン補正部３１３において焦点検出画素の画素出力を補正するためのゲイン量を推定する。このゲイン量は、撮像画素に対する焦点検出画素の光量低下量に応じて推定される。焦点検出画素の光量低下量は、焦点検出画素の画素出力と焦点検出画素の近傍の撮像画素の画素出力との比率に基づいて算出される。ゲイン補正部３１３は、ゲイン量推定部３１２で推定されたゲイン量に従って焦点検出画素の画素出力を補正する。

補間判断処理部３１４は、ゲイン補正部３１３でゲイン補正された焦点検出画素の画素出力の適用割合を判断する。適用割合とは、例えばゲイン補正がされた焦点検出画素の画素出力と焦点検出画素の周辺の撮像画素の画素出力との重み付け加算の際の重み付け係数である。ここで、周辺の撮像画素とは、例えば焦点検出画素の周辺の同色（ベイヤ配列の場合には同一成分）の４個の撮像画素のことである。勿論、周辺の撮像画素の画素数は、４画素に限られない。また、適用割合は、例えば位相差検出画素の周辺の撮像画素の画素出力のばらつき（標準偏差）に従って判断される。

補間処理部３１５は、補間判断処理部３１４で判断された適用割合に従ってゲイン補正部３１３でゲイン補正された焦点検出画素の画素出力とその周辺の撮像画素の画素出力とを重み付け加算する補間処理を行う。

同時化処理部３１６は、例えばベイヤ配列に対応して撮像素子２１を介して出力される撮像データ等の、１つの画素が１つの色成分に対応している撮像データを、１つの画素が複数の色成分に対応している画像データに変換する。輝度特性変換部３１７は、画像データの輝度特性（ガンマ特性）を、表示や記録に適するように変換する。エッジ強調処理部３１８は、画像データからバンドパスフィルタ等を用いて抽出したエッジ信号にエッジ強調係数を乗じ、この結果をもとの画像データに加算することによって、画像データにおけるエッジ（輪郭）成分を強調する。ＮＲ処理部３１９は、コアリング処理等を用いて、画像データにおけるノイズ成分を除去する。色再現処理部３２０は、画像データの色再現を適切なものとするための各種の処理を行う。この処理としては、例えばカラーマトリクス演算処理がある。カラーマトリクス演算処理は、画像データに対して、例えばホワイトバランスモードに応じたカラーマトリクス係数を乗じる処理である。この他、色再現処理部３２０は、彩度・色相の補正を行う。

図４は、補間判断処理部３１４の構成を示す図である。補間判断処理部３１４は、高周波パターン検出部３１４１と、適用判断部３１４２とを有している。

高周波パターン検出部３１４１は、撮像データにおける被写体像パターンが高周波である度合いを検出する。ゲイン適用判断部３１４２は、高周波パターン検出部３１４１で検出された被写体像パターンが高周波である度合いに基づいて、ゲイン補正部３１３でゲイン補正された焦点検出画素の画素出力の適用割合を算出する。被写体像パターンが高周波である度合いの検出手法及び適用割合の算出手法の詳細については後で説明する。

次に、焦点検出画素を有する撮像素子において生じる位相差ずれについて図５を参照して説明する。ここで、図５（ａ）は、撮像画素２１ａにおける像の結像状態を示す。また、図５（ｂ）は、焦点検出画素２１ｂにおける像の結像状態を示す。

説明を簡単にするために被写体が点光源であり、撮影レンズ１１が合焦状態であるとすると、被写体から出射され、撮影レンズ１１の光軸中心に対して対称な異なる瞳領域を通過した対をなす被写体光束は撮像素子２１上の同一の位置に結像される。このことは、撮像画素２１ａに形成される被写体像のピーク位置と焦点検出画素２１ｂに形成される被写体像のピーク位置とが一致することを意味している。ここで、撮像画素２１ａについては、図５（ａ）に示すように、異なる瞳領域を通過した対をなす被写体光束の両方が入射する。したがって、撮像画素２１ａについては、光量の低下がない。一方、焦点検出画素２１ｂについては、図５（ｂ）に示すように、対をなす被写体光束の一方のみが撮像素子２１に入射する。したがって、焦点検出画素２１ｂについては、光量の低下が生じる。

一方、撮影レンズ１１が非合焦状態であるとき、被写体から出射され、撮影レンズ１１の異なる瞳領域を通過した対をなす被写体光束は、撮像素子２１上の異なる位置に結像する。すなわち、これらの対をなす被写体光束によって形成される被写体像の間には位相差が生じる。この位相差を右開口焦点検出画素と左開口焦点検出画素とのそれぞれで検出される被写体像の相関関係から検出することにより、撮影レンズ１１のデフォーカス量及びデフォーカス方向が検出される。ここで、撮像画素２１ａについては、図５（ｂ）に示すように、異なる瞳領域を通過した被写体光束の両方が入射する。したがって、撮像画素２１ａについては、光量の低下は生じないものの異なる位置に入射する被写体光束によってぼけが生じる。一方、焦点検出画素２１ｂについては、図５（ｂ）に示すように、対をなす被写体光束の一方のみが撮像素子２１に入射する。この場合、撮像画素２１ａのようなぼけは生じないものの、ピーク位置が、撮影レンズ１１が合焦状態である場合のピーク位置からずれることになる。本実施形態においては、このようなピーク位置がずれる現象を位相ずれと言うことにする。動画撮影時やライブビュー表示時に位相ずれが発生すると、位相ずれの影響がモアレとして画像として現れる。このようなモアレの影響を画像処理部３１において補正する。

以下、本実施形態の撮像装置の動作を説明する。図６は、撮像装置による動画記録処理を示すフローチャートである。図６に示すフローチャートの処理は、ＲＯＭ４３に記憶されているプログラムに基づいてＣＰＵ２９によって実行される。また、図６に示す処理は、静止画記録処理やライブビュー表示処理に対しても適用可能である。

図６のフローチャートの処理が開始されると、ＣＰＵ２９は、撮像素子２１による撮像（露光）を実行させる（ステップ１０１）。撮像により得られた画像信号は、予め設定された駆動モードに応じた読み出し方式に従って撮像素子２１から読み出される。この読み出された画像信号は、Ａ−ＡＭＰ２５で増幅され、ＡＤＣ２７においてデジタル化された後、撮像データとしてＤＲＡＭ４１に一時記憶される。

次に、ＣＰＵ２９は、焦点検出処理を行う（ステップＳ１０２）。ここでは、ＣＰＵ２９は、焦点検出回路３３に焦点検出処理を実行させる。焦点検出処理の実行指示を受けて、焦点検出回路３３は、ＤＲＡＭ４１に一時記憶された撮像データの中から、焦点検出画素に対応した画素データを読み出し、この画素データを用いて公知の位相差法によって撮影レンズ１１のデフォーカス方向及びデフォーカス量を算出する。次に、ＣＰＵ２９は、焦点検出回路３３により検出された撮影レンズ１１のデフォーカス方向及びデフォーカス量に基づいて駆動部１７を制御し、撮影レンズ１１を合焦させる。

焦点検出処理の後、ＣＰＵ２９は、画像処理部３１による画像処理を実行させる。これを受けて画像処理部３１のＷＢ補正処理部３１１は、画素データに対してホワイトバランス補正処理を施す（ステップＳ１０３）。続いて、ゲイン量推定部３１２は、ゲイン推定処理を行う（ステップＳ１０４）。ゲイン量は、例えば焦点検出画素の画素出力とその焦点検出画素の周辺の同色の撮像画素の画素出力の比又は差から推定される。例えば、画素出力の比Dif_pは、以下の（式１）に従って算出される。
Dif_p=Gr1/Gr2 （式１）
（式１）のＧｒ１が撮像画素の画素出力を示し、（式１）のＧｒ２が焦点検出画素の画素出力を示している。ここで、撮像画素Ｇｒ１は、焦点検出画素による位相差の検出方向と直交する方向に配列された同色の撮像画素の画素出力である。例えば、ベイヤ配列の撮像素子の場合であって焦点検出画素が図２と同様にＧｒ画素に配置されているとすると、撮像画素Ｇｒ１は、例えば焦点検出画素Ｇｒ２の２画素だけ上方向又は下方向にずれた位置のＧｒ画素である。勿論、画素ずらしの量は２画素に限られない。

ゲイン推定処理の後、ゲイン補正部３１３は、ゲイン補正処理を行う（ステップＳ１０５）。ゲイン補正処理は、（式１）で得られた値を、各焦点検出画素の画素出力に乗じる補正である。この補正により、各焦点検出画素の画素出力における光量低下が補正される。

ゲイン補正処理の後、補間判断処理部３１４の高周波パターン検出部３１４１は、撮像データにおける被写体像パターンが高周波である度合いを検出する高周波パターン検出処理を行う（ステップＳ１０６）。以下、高周波パターン検出処理の例を説明する。

図７は、高周波パターン検出処理の例を説明するための図である。本実施形態における「被写体像パターンが高周波である度合いが高い」状態とは、被写体像にモアレ等に起因する繰り返しパターンが発生している状態のことを言う。このような状態を判断するため、高周波パターン検出部３１４１は、図７（ａ）に示すように、補間処理の対象となる焦点検出画素Ｇｒ（ＡＦ）に対して位相差の検出方向である水平方向の同位置の２つの焦点検出画素Ｇｒ（ＡＦ）の画素、すなわち補間処理の対象となる焦点検出画素Ｇｒ（ＡＦ）の垂直方向に跨る焦点検出画素の画素出力の相加平均値を算出する。続いて、高周波パターン検出部３１４１は、補間処理の対象となる焦点検出画素Ｇｒ（ＡＦ）に対して位相差の検出方向である水平方向（右方向及び左方向）に沿って２画素ずらした位置にある別の焦点検出画素Ｇｒ（ＡＦ）の垂直方向に跨る２つの焦点検出画素Ｇｒ（ＡＦ）の画素出力の相加平均値を算出する。さらに、高周波パターン検出部３１４１は、前述の計算によって得られた３つの相加平均値を積算する。各相加平均値は、位相差の検出方向に対して垂直な方向で見た焦点検出画素の画素出力の平均の変化量を表す。そして、これらの相加平均値の積算した結果は、焦点検出画素に結像した被写体像のパターンを表す。

続いて、高周波パターン検出部３１４１は、図７（ｂ）に示すように、補間処理の対象となる焦点検出画素Ｇｒ（ＡＦ）の周辺の（図では右斜め下の）撮像画素Ｇｂの垂直方向に跨る撮像画素Ｇｂの画素出力の相加平均値を算出する。さらに、高周波パターン検出部３１４１は、先に相加平均値を算出した撮像画素Ｇｂに対して水平方向（右方向及び左方向）に沿って２画素ずらした位置にある撮像画素Ｇｂの垂直方向に跨る２つの撮像画素Ｇｂの画素出力の相加平均値を算出する。その後、高周波パターン検出部３１４１は、前述の計算によって得られた３つの相加平均値を積算する。各相加平均値は、位相差の検出方向に対して垂直な方向で見た撮像画素の画素出力の平均の変化量を表す。そして、これらの相加平均値の積算した結果は、撮像画素に結像した被写体像のパターンを表す。

続いて、高周波パターン検出部３１４１は、焦点検出画素Ｇｒ（ＡＦ）について算出した積算値と撮像画素Ｇｂについて算出した積算値との差分絶対値を、被写体像パターンが高周波である程度を示す評価値として算出する。この評価値は、焦点検出画素Ｇｒ（ＡＦ）における画素出力変化と撮像画素Ｇｂにおける画素出力変化との間の差が大きいほど値が大きくなる。したがって、評価値は、値が大きいほどに被写体像パターンが高周波である、すなわち被写体像が繰り返しパターンである可能性が高いことを示す。繰り返しパターンの場合、焦点検出画素の画素出力変化とその周辺の撮像画素の画素出力変化との間に大きな差異があるので、周辺画素を用いて焦点検出画素の画素出力を補正してしまうと焦点検出画素の画素出力が周囲画素の影響を受けて大きな誤差が生じることになる。このため、本実施形態では、被写体像が高周波である度合いが高い場合には周辺画素を用いた補間処理の割合を減らすようにする。

高周波パターン検出処理の後、補間判断処理部３１４の適用判断部３１４２は、ゲイン補正部３１３でゲイン補正された焦点検出画素の画素出力の適用割合を判断するためのゲイン適用判断処理を行う（ステップＳ１０７）。このゲイン適用判断処理に際し、適用判断部３１４２は、まず、位相差検出画素の周辺の撮像画素の画素出力のばらつき（標準偏差）に従って仮の適用割合を算出する。そして、適用判断部３１４２は、評価値が高いほどに、すなわち被写体像パターンが高周波である度合いが高いほどにゲイン補正された焦点検出画素の画素出力の適用割合が高くなるように、最終的な適用割合を決定する。例えば、評価値の大きさに対して線形にゲイン補正された焦点検出画素の画素出力の適用割合の大きさを変化させる。

ゲイン適用判断処理の後、補間処理部３１５は、補間判断処理部３１４で判断された適用割合に従ってゲイン補正部３１３でゲイン補正された焦点検出画素の画素出力とその周辺の撮像画素の画素出力とを重み付け加算する補間処理を行う（ステップＳ１０８）。

補間処理の後、画像処理部３１は、補間処理以後の画像処理を実行する（ステップＳ１０９）。画像処理の終了後、ＣＰＵ２９は、画像処理の結果としてＤＲＡＭ４１に一時記憶された画像データを記録媒体４５に記録する（ステップＳ１１０）。次に、ＣＰＵ２９は、動画記録を停止させるか否かを判定する（ステップＳ１１１）。ここでは、ＣＰＵ２９は、操作部１９のレリーズ釦の操作状態を判定する。すなわち、レリーズ釦が再び押された場合に、ＣＰＵ２９は、動画記録を停止させると判定する。

ステップＳ１１１において、動画記録を停止させないと判定した場合に、ＣＰＵ２９は、処理をステップＳ１０１に戻し、動画記録を続行する。一方、ステップＳ１１２において、動画記録を停止させると判定した場合に、ＣＰＵ２９は、図６の処理を終了させる。

以上説明したように本実施形態においては、焦点検出画素の周囲の被写体像パターンが高周波パターンである程度を判断し、被写体像パターンが高周波パターンである程度が高い場合には、焦点検出画素の周囲の撮像画素から補間出力に比してゲイン補正された焦点検出画素の画素出力の適用割合を高めるようにしている。これにより、被写体像が繰り返しパターンのときなどにおいて補間処理を適用してしまうことによる画質劣化を低減させることが可能である。

ここで、本実施形態では、補間処理の対象となる焦点検出画素の２画素上及び２画素下の焦点検出画素の画素出力の相加平均値を算出している。しかしながら、補間処理の対象となる焦点検出画素からの画素ずらし量は２画素に限るものではない。例えば、ベイヤ配列の場合には４画素上及び４画素下の焦点検出画素の画素出力の平均値が算出されてもよい。ただし、焦点検出画素の垂直方向の画素ずらし量と撮像画素の垂直方向の画素ずらし量とは一致させることが望ましい。また、相加平均値を求める焦点検出画素が補間処理の対象となる焦点検出画素から水平方向にずらした別の焦点検出画素に跨る焦点検出画素であってもよい。

また、本実施形態では、補間処理の対象となる焦点検出画素に対して水平方向１画素隣りの撮像画素に対し相加平均値を算出している。この水平方向の画素ずらし量も１画素に限るものではない。また、水平方向の画素ずらしの結果、相加平均値を求める撮像画素の色が焦点検出画素と異なってしまってもよいし、相加平均値を求める撮像画素が焦点検出画素になってしまってもよい。

さらには、撮像素子２１の駆動モード等の諸条件に応じて画素ずらし量を適応的に変化させてもよい。例えば、撮像素子２１の駆動モードが動画記録用の駆動モードの時やライブビュー表示時には画素ずらし量を減らすことで、被写体像パターンが高周波である程度を精度よく判断可能である。

また、本実施形態では、垂直方向に配列された画素同士の画素出力の相加平均値を算出するようにしている。これは、位相差の検出方向が水平方向であるためである。例えば、位相差の検出方向が垂直方向である場合には、水平方向に配列された画素同士の相加平均値を算出することによって、被写体像パターンが高周波である程度が判断される。すなわち、位相差の検出方向に対して垂直な方向に配列される画素同士の相加平均値が算出されればよい。

さらに、本実施形態では、被写体像パターンが高周波である程度を判断するために、位相差の検出方向に対して垂直な方向に配列される画素同士の相加平均値を算出しているが、相乗平均値などであってもよい。また、評価値も差分絶対値でなく、差分二乗値であってもよい。このように、評価値等は四則演算を適宜組み合わせることによって算出される。

以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。また、前述の各動作フローチャートの説明において、便宜上「まず」、「次に」等を用いて動作を説明しているが、この順で動作を実施することが必須であることを意味するものではない。

また、上述した実施形態による各処理は、ＣＰＵ２９に実行させることができるプログラムとして記憶させておくこともできる。この他、メモリカード（ＲＯＭカード、ＲＡＭカード等）、磁気ディスク（フロッピディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の外部記憶装置の記憶媒体に格納して配布することができる。そして、ＣＰＵ２９は、この外部記憶装置の記憶媒体に記憶されたプログラムを読み込み、この読み込んだプログラムによって動作が制御されることにより、上述した処理を実行することができる。

さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。

１１…撮影レンズ、１３…絞り、１５…メカシャッタ、１７…駆動部、１９…操作部、２１…撮像素子、２３…撮像制御回路、３１…画像処理部、３３…焦点検出回路、３５…ビデオエンコーダ、３７…表示部、３９…バス、４１…ＤＲＡＭ、４３…ＲＯＭ、４５…記録媒体、３１１…ホワイトバランス（ＷＢ）補正処理部、３１２…ゲイン量推定部、３１３…ゲイン補正部、３１４…補間判断処理部、３１５…補間処理部、３１６…同時化処理部、３１７…輝度特性変換部、３１８…エッジ強調処理部、３１９…ノイズ低減（ＮＲ）処理部、３２０…色再現処理部、高周波パターン検出部３１４１と、適用判断部３１４２

Claims (7)

1. 撮像画素及び位相差を検出するための焦点検出画素を有する撮像素子と、
   前記焦点検出画素の周辺に位置する複数の撮像画素及び焦点検出画素の画素出力に基づいて、前記撮像素子が受光した被写体像パターンが高周波である度合いを検出する高周波パターン検出部と、
   前記焦点検出画素の周辺に位置する撮像画素の画素出力を用いて補間演算を行って前記焦点検出画素の画素出力に対応する補間出力を求め、該求めた補間出力と前記焦点検出画素の画素出力とを重み付け混合する補間処理部と、
   前記高周波パターン検出部の出力に基づいて前記補間処理部における重み付け混合の際の混合割合を決定する適用判断部と、
   を具備し、
   前記高周波パターン検出部は、前記焦点検出画素に対して前記位相差検出方向と垂直方向の同位置又は前記焦点検出画素の周辺に位置する別の焦点検出画素に対して位相差検出方向と垂直方向の同位置に配置されている焦点検出画素からなる第１の画素群の位相差検出方向と垂直方向に位置する画素出力の平均値を積分した値と、前記第１の画素群から位相差検出方向にずらした位置に配置されている撮像画素からなる第２の画素群の位相差検出方向と垂直方向に位置する画素出力の平均値を積分した値との差分又は比率を算出し、前記積分した値の差分又は比率の大きさに応じて前記高周波である度合いを設定し、
   前記適用判断部は、前記高周波である度合いが高い場合は、前記焦点検出画素の混合割合を高くする
   ことを特徴とする撮像装置。
2. 前記高周波パターン検出部は、前記第１の画素群の位置、前記第１の画素群に対する前記第２の画素群のずらし量を、前記焦点検出画素の配置又は前記撮像装置の動作モードに依存して適応的に変化させることを特徴とする請求項１に記載の撮像装置。
3. 前記適用判断部は、前記高周波である度合いが低い場合は、前記補間出力の混合割合を高くすることを特徴とする請求項１又は２に記載の撮像装置。
4. 撮像画素及び位相差を検出するための焦点検出画素を有する撮像素子の画素出力を処理する画像処理方法であって、
   前記焦点検出画素の周辺に位置する複数の撮像画素及び焦点検出画素の画素出力に基づいて、前記撮像素子が受光した被写体像パターンが高周波である度合いを検出し、
   前記高周波である度合いに基づいて補間出力と前記焦点検出画素の画素出力との重み付け混合の際の混合割合を決定し、
   前記焦点検出画素の周辺に位置する撮像画素の画素出力を用いて補間演算を行って前記焦点検出画素の画素出力に対応する前記補間出力を求め、該求めた補間出力と前記焦点検出画素の画素出力とを重み付け混合し、
   前記高周波である度合いを検出する際に、前記焦点検出画素に対して前記位相差検出方向と垂直方向の同位置又は前記焦点検出画素の周辺に位置する別の焦点検出画素に対して位相差検出方向と垂直方向の同位置に配置されている焦点検出画素からなる第１の画素群の位相差検出方向と垂直方向に位置する画素出力の平均値を積分した値と、前記第１の画素群から位相差検出方向にずらした位置に配置されている撮像画素からなる第２の画素群の位相差検出方向と垂直方向に位置する画素出力の平均値を積分した値との差分又は比率を算出し、前記積分した値の差分又は比率の大きさに応じて前記高周波である度合いを設定し、
   前記混合割合を決定する際に、前記高周波である度合いが高い場合は、前記焦点検出画素の混合割合を高くする
   ことを特徴とする画像処理方法。
5. 前記高周波である度合いを検出する際に、前記第１の画素群の位置、前記第１の画素群に対する前記第２の画素群のずらし量を、前記焦点検出画素の配置又は撮像装置の動作モードに依存して適応的に変化させることを特徴とする請求項４に記載の画像処理方法。
6. 前記混合割合を決定する際に、前記高周波である度合いが低い場合は、前記補間出力の混合割合を高くすることを特徴とする請求項４又は５に記載の画像処理方法。
7. 撮像画素及び位相差を検出するための焦点検出画素を有する撮像素子の画素出力を処理する画像処理プログラムであって、
   前記焦点検出画素の周辺に位置する複数の撮像画素及び焦点検出画素の画素出力に基づいて、前記撮像素子が受光した被写体像パターンが高周波である度合いを検出する機能と、
   前記高周波である度合いに基づいて補間出力と前記焦点検出画素の画素出力との重み付け混合の際の混合割合を決定する機能と、
   前記焦点検出画素の周辺に位置する撮像画素の画素出力を用いて補間演算を行って前記焦点検出画素の画素出力に対応する前記補間出力を求め、該求めた補間出力と前記焦点検出画素の画素出力とを重み付け混合する機能と、
   をコンピュータに実現させ、
   前記高周波である度合いを検出する機能において、前記焦点検出画素に対して前記位相差検出方向と垂直方向の同位置又は前記焦点検出画素の周辺に位置する別の焦点検出画素に対して位相差検出方向と垂直方向の同位置に配置されている焦点検出画素からなる第１の画素群の位相差検出方向と垂直方向に位置する画素出力の平均値を積分した値と、前記第１の画素群から位相差検出方向にずらした位置に配置されている撮像画素からなる第２の画素群の位相差検出方向と垂直方向に位置する画素出力の平均値を積分した値との差分又は比率を算出し、前記積分した値の差分又は比率の大きさに応じて前記高周波である度合いを設定し、
   前記混合割合を決定する際に、前記高周波である度合いが高い場合は、前記焦点検出画素の混合割合を高くする
   ことをコンピュータに実現させるための画像処理プログラム。