JP5622975B1 - 撮像装置及び画像補正方法並びに画像処理装置及び画像処理方法 - Google Patents

撮像装置及び画像補正方法並びに画像処理装置及び画像処理方法 Download PDF

Info

Publication number
JP5622975B1
JP5622975B1 JP2014517296A JP2014517296A JP5622975B1 JP 5622975 B1 JP5622975 B1 JP 5622975B1 JP 2014517296 A JP2014517296 A JP 2014517296A JP 2014517296 A JP2014517296 A JP 2014517296A JP 5622975 B1 JP5622975 B1 JP 5622975B1
Authority
JP
Japan
Prior art keywords
pixel
phase difference
difference detection
imaging
pixel output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2014517296A
Other languages
English (en)
Other versions
JPWO2014109334A1 (ja
Inventor
淳郎 岡澤
淳郎 岡澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Imaging Corp
Original Assignee
Olympus Imaging Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Imaging Corp filed Critical Olympus Imaging Corp
Application granted granted Critical
Publication of JP5622975B1 publication Critical patent/JP5622975B1/ja
Publication of JPWO2014109334A1 publication Critical patent/JPWO2014109334A1/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/34Systems for automatic generation of focusing signals using different areas in a pupil plane
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/703SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32Means for focusing
    • G03B13/34Power focusing
    • G03B13/36Autofocus systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/672Focus control based on electronic image sensor signals based on the phase difference signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/611Correction of chromatic aberration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00Still video cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)
  • Focusing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Color Television Image Signal Generators (AREA)
  • Theoretical Computer Science (AREA)

Abstract

光軸位置推定処理部(312)は、位相差検出画素の画素出力と撮像画素の画素出力とから撮像素子(21)の撮像面上における撮影レンズ(11)の光軸位置を推定する。光軸位置推定処理部(312)は、位相差検出画素の画素出力と撮像画素の画素出力とから、位相差検出画素の画素出力と像高との関係を示す関係式を算出する関係式算出部(3121)と、位相差の検出方向に並べられた対をなす位相差検出画素のそれぞれについて算出された複数の関係式の交点を撮影レンズ(11)の光軸位置として算出する交点算出部(3122)とを有する。

Description

本発明は、一部の画素を位相差方式の位相差検出用素子として利用して焦点状態を検出する撮像素子の画素出力を処理する撮像装置及びそれを用いた画像補正方法並びに画像処理装置及び画像処理方法に関する。
撮像素子の一部の画素を位相差検出用素子として利用して焦点状態を検出する撮像装置に関する提案が例えば日本国特許第3592147号公報においてなされている。日本国特許第3592147号公報は、撮像素子の一部の画素を位相差検出画素に設定し、撮影レンズの光軸中心に対して対称な異なる瞳領域を通過した被写体光束を複数の位相差検出画素に結像させ、この被写体光束の間の位相差を検出することによって撮影レンズの焦点状態を検出している。
ここで、位相差検出画素は、撮影レンズの異なる瞳領域を通過した被写体光束の一方を受光できるように例えば一部の領域が遮光されている。このため、位相差検出画素は、そのままでは画像として使用できない欠損画素となる。したがって、日本国特開2010−062640号公報に開示された撮像装置は、位相差検出画素の画素出力を、ゲイン調整したり、周辺の画素を用いて補間したりすることにより、記録や表示に利用可能としている。
日本国特許第3592147号公報 日本国特開2010−062640号公報
ところで、位相差検出画素に入射する光の量は、入射する光の角度、位相差検出画素に形成された遮光膜の位置の他、像高によっても異なる。さらに、位相差検出画素に入射する光の角度は、撮影レンズ等の光学系の製造ばらつきや撮像素子の前面に配置されるマイクロレンズの製造ばらつきによっても異なる。ゲイン調整の精度を高めるためには、位相差検出画素毎の光量の低下量を正しく検出し、検出した低下量に応じてゲイン調整量を設定することが望ましい。
本発明は、前記の事情に鑑みてなされたもので、位相差検出画素を有する撮像素子からの画素出力を処理する撮像装置において、位相差検出画素による画質の低下をより抑えることが可能な撮像装置及びそれを用いた画像補正方法並びに画像処理装置及び画像処理方法を提供することを目的とする。
本発明の第1の態様の撮像装置は、撮像画素の一部に焦点検出をするための位相差検出画素が設けられた撮像素子と、前記位相差検出画素の画素出力と前記撮像画素の画素出力とから前記撮像素子の撮像面上に被写体の像を形成するための光学系の光軸位置を推定する光軸位置推定処理部と、前記位相差検出画素の画素出力を補正する画素補正部とを具備し、前記光軸位置推定処理部は、前記位相差検出画素の画素出力と該位相差検出画素の近傍の撮像画素の画素出力とから、前記位相差検出画素の画素出力と像高との関係を算出する関係算出部と、位相差の検出方向に並べられた対をなす前記位相差検出画素のそれぞれについて算出された前記関係から光軸位置を算出する光軸位置算出部とを有し、前記画素補正部は、前記関係に従ってそれぞれの位相差検出画素の画素出力を補正する
本発明の第2の態様の画像補正方法は、撮像画素の一部に焦点検出をするための位相差検出画素が設けられた撮像素子の前記位相差検出画素の画素出力と該位相差検出画素の近傍の撮像画素の画素出力とから、前記位相差検出画素の画素出力と像高との関係を算出することと、位相差の検出方向に並べられた対をなす前記位相差検出画素のそれぞれについて算出された前記関係から光学系の光軸位置を算出することと、算出された前記光軸位置を記憶部に記憶することと、前記記憶部に記憶された前記光軸位置の情報により、前記撮像画素と前記位相差検出画素からの画素出力における前記光学系の光学特性の影響を補正することとを具備する。
本発明によれば、位相差検出画素を有する撮像素子からの画素出力を処理する撮像装置において、位相差検出画素による画質の低下をより抑えることが可能な撮像装置及びそれを用いた画像補正方法並びに画像処理装置及び画像処理方法を提供することができる。
図1は、本発明の一実施形態に係る撮像装置の一例としてのデジタルカメラの構成を示すブロック図である。 図2は、画像処理部の詳細な構成を示す図である。 図3は、光軸位置推定処理部の詳細な構成を示す図である。 図4は、撮像素子の画素配列を示した図である。 図5Aは、撮像画素における像の結像状態を示す図である。 図5Bは、位相差検出画素における像の結像状態を示す図である。 撮像装置による動画記録動作の処理を示すフローチャートである。 図7Aは、レベル変化検出処理、周波数変化検出処理、絵柄変化検出処理について説明するための第1の図である。 図7Bは、レベル変化検出処理、周波数変化検出処理、絵柄変化検出処理について説明するための第2の図である。 図8Aは、位相差検出画素の画素出力と像高との関係を示す第1の図である。 図8Bは、位相差検出画素の画素出力と像高との関係を示す第2の図である。 変形例2の関係式算出処理について説明するための図である。 調整時に光軸位置を推定する場合のフローチャートである。
以下、図面を参照して本発明の実施形態を説明する。
図1は、本発明の一実施形態に係る撮像装置の一例としてのデジタルカメラ(以下、単にカメラと言う)の構成を示すブロック図である。ここで、図1において、矢印付き実線はデータの流れを示し、矢印付き破線は制御信号の流れを示す。
図1に示すカメラ1は、撮影レンズ11と、絞り13と、メカシャッタ15と、駆動部17と、操作部19と、撮像素子21と、撮像制御回路23と、A−AMP25と、アナログデジタル変換器(ADC)27と、CPU(Central Processing Unit)29と、画像処理部31と、焦点検出回路33と、ビデオエンコーダ35と、表示部37と、バス39と、DRAM(Dynamic Random Access Memory)41と、ROM(Read Only Memory)43と、記録媒体45とを有する。
撮影レンズ11は、被写体100からの像を撮像素子21に形成するための単一又は複数のレンズから構成された光学系である。撮影レンズ11は、単焦点レンズでもズームレンズでも良い。
絞り13は、撮影レンズ11の光軸上に配置され、その口径が可変に構成されている。絞り13は、撮影レンズ11を通過した被写体100からの光束の量を制限する。メカシャッタ15は、絞り13の後方に配置され、開閉自在に構成されている。メカシャッタ15は、その開放時間を調節することにより、撮像素子21への被写体100からの被写体光束の入射時間(撮像素子21の露光時間)を調節する。メカシャッタ15としては、公知のフォーカルプレーンシャッタ、レンズシャッタ等が採用され得る。駆動部17は、CPU29からの制御信号に基づいて、撮影レンズ11の焦点調節、絞り13の開口径制御、及びメカシャッタ15の開閉制御を行う。
操作部19は、電源釦、レリーズ釦、再生釦、メニュー釦といった各種の操作釦及びタッチパネル等の各種の操作部材を含む。操作部19は、各種の操作部材の操作状態を検知し、検知結果を示す信号をCPU29に出力する。本実施形態の操作部19により、カメラ1の撮影モードを選択することが可能である。ユーザは、操作部19に含まれる操作部材としての撮影モードダイヤルを操作することにより、カメラ1の撮影モードを静止画撮影モードと動画撮影モードの何れかから選択することができる。静止画撮影モードは、静止画像を撮影するための撮影モードであり、動画撮影モードは、動画像を撮影するための撮影モードである。ここではダイヤルで選択する例を示しているが、例えばメニュー画面上で例えばタッチパネルを操作して撮影モードを選択できるようにしても良い。
撮像素子21は、撮影レンズ11の光軸上であって、メカシャッタ15の後方で、かつ、撮影レンズ11によって被写体光束が結像される位置に配置されている。撮像素子21は、画素を構成するフォトダイオードが二次元的に配置されて構成されている。撮像素子21を構成するフォトダイオードは、受光量に応じた電荷を生成する。フォトダイオードで発生した電荷は、各フォトダイオードに接続されているキャパシタに蓄積される。このキャパシタに蓄積された電荷が画像信号として読み出される。また、画素を構成するフォトダイオードの前面には、例えばベイヤ配列のカラーフィルタが配置されている。ベイヤ配列は、水平方向にR画素とG(Gr)画素が交互に配置されたラインと、G(Gb)画素とB画素が交互に配置されたラインを有している。本実施形態における撮像素子21は、複数の異なる電荷の読み出し方式を有している。撮像素子21に蓄積された電荷は、撮像制御回路23からの制御信号に従って読み出される。本実施形態における撮像素子21は、記録や表示のための画像を取得するための撮像画素と焦点検出をするための位相差検出画素とを有する。位相差検出画素として用いる画素は、他の画素と異なり、一部の領域を遮光する。撮像素子21の詳細については後で詳しく説明する。
撮像制御回路23は、CPU29からの制御信号に従って、撮像素子21の読み出し方式を設定し、設定した読み出し方式に従って撮像素子21からの画像信号の読み出しを制御する。撮像素子21からの画素データの読み出し方式は、カメラ1の動作状態に応じて設定される。例えば、撮像素子21からの画素データの読み出しにリアルタイム性が求められる場合(例えばライブビュー表示時や動画記録時)には、画素データの読み出しを高速に行えるよう、複数の同色画素からの画素データを混合して読み出すか、特定の画素の画素データを間引いて読み出す。一方、リアルタイム性よりも画質が求められる場合(例えば静止画像の記録時)には、混合読み出しや間引き読み出しをせずに全画素の画素データを読み出すことで解像力を維持する。
A−AMP25は、撮像素子21から出力された画像信号のアナログゲイン調整を行う。ADC27は、アナログデジタル変換器であり、A−AMP25によってアナログゲイン調整された画像信号を、デジタル形式の画像信号(画素データ)に変換する。以下、本明細書においては、複数の画素データの集まりを撮像データと記す。
CPU29は、後述するROM43に記憶されているプログラムに従って、カメラ1の全体制御を行う。
画像処理部31は、撮像データに対して各種の画像処理を施して画像データを生成する。例えば画像処理部31は、静止画像の記録の際には、静止画記録用の画像処理を施して静止画像データを生成する。同様に、画像処理部31は、動画像の記録の際には、動画記録用の画像処理を施して動画像データを生成する。さらに、画像処理部31は、ライブビュー表示時には、表示用の画像処理を施して表示用画像データを生成する。このような画像処理部31の詳しい構成については後で詳しく説明する。
焦点検出回路33は、位相差検出画素からの画素データを取得し、取得した画素データに基づき、公知の位相差方式を用いて撮影レンズ11の合焦位置に対するデフォーカス方向及びデフォーカス量を算出する。
ビデオエンコーダ35は、画像処理部31によって生成されDRAM41に一時記憶された表示用画像データを読み出し、読み出した表示用画像データを表示部37に出力する。
表示部37は、例えば液晶ディスプレイや有機ELディスプレイといった表示部であって、例えばカメラ1の背面等に配置される。この表示部37は、ビデオエンコーダ35から入力されてきた表示用画像データに従って画像を表示する。表示部37は、ライブビュー表示や記録済み画像の表示等に使用される。
バス39は、ADC27、CPU29、画像処理部31、焦点検出回路33、ビデオエンコーダ35、DRAM41、ROM43、記録媒体45に接続され、これらのブロックで発生した各種のデータが転送される。
DRAM41は、電気的に書き換え可能なメモリであり、前述した撮像データ(画素データ)、記録用画像データ、表示用画像データ、CPU29における処理データといった各種データを一時的に記憶する。なお、一時記憶用としては、SDRAM(Synchronous Dynamic Random Access Memory)を用いても良い。
記憶部の一例として機能するROM43は、マスクROMやフラッシュメモリ等の不揮発性メモリである。ROM43は、CPU29で使用するプログラム、カメラ1の調整値等の各種データを記憶している。
記録媒体45は、カメラ1に内蔵又は装填自在に構成されており、記録用画像データを所定の形式の画像ファイルとして記録する。
図2は、画像処理部31の詳細な構成を示す図である。図2では、画像処理部31以外のブロックについては図示を省略している。
画像処理部31は、ホワイトバランス(WB)補正処理部311と、光軸位置推定処理部312と、画素補正部313と、同時化処理部314と、輝度特性変換部315と、エッジ強調処理部316と、ノイズ低減(NR)処理部317と、色再現処理部318と、歪補正部319と、色収差補正部320とを有している。この他、図示を省略しているが、画像処理部31は、圧縮伸張処理部等も有している。
WB補正処理部311は、撮像データの各色成分を所定のゲイン量で増幅することにより、画像の色バランスを補正する。
光軸位置推定処理部312は、撮像データにおける撮像画素の画素出力と位相差検出画素の画素出力とから、撮像素子21の撮像面上における撮影レンズ11の光軸の位置(像高の基準位置)を推定する。画素補正部313は、光軸位置推定処理部312の推定結果に従って、位相差検出画素の画素出力を補正する。光軸位置推定処理部312及び画素補正部313の詳細については後で説明する。
同時化処理部314は、例えばベイヤ配列に対応して撮像素子21を介して出力される撮像データ等の、1つの画素が1つの色成分に対応している撮像データを、1つの画素が複数の色成分に対応している画像データに変換する。
輝度特性変換部315は、同時化処理部314で生成された画像データの輝度特性を、表示や記録に適するように変換する。
エッジ強調処理部316は、画像データからバンドパスフィルタ等を用いて抽出したエッジ信号にエッジ強調係数を乗じ、この結果をもとの画像データに加算することによって、画像データにおけるエッジ(輪郭)成分を強調する。
NR処理部317は、コアリング処理等を用いて、画像データにおけるノイズ成分を除去する。
色再現処理部318は、画像の色再現を適切なものとするための各種の処理を行う。この処理としては、例えばカラーマトリクス演算処理がある。このカラーマトリクス演算処理は、画像データに対して、例えばホワイトバランスモードに応じたカラーマトリクス係数を乗じる処理である。この他、色再現処理部318は、彩度・色相の補正を行う。
歪補正部319は、画像データにおける歪曲収差を補正する。例えば、歪補正部319は、歪曲収差を補正するための所定の関数に従って歪補正前の画像データの座標変換を行うことにより、画像データにおける歪曲収差を補正する。歪補正部319は、光軸位置推定処理部312において推定された光軸の位置が中心となるような座標変換関数を算出する。
歪補正部319とともに光学特性補正部の一例として機能する色収差補正部320は、画像データにおける色収差を補正する。例えば、色収差補正部320は、色収差を補正するための所定の関数に従って色収差補正前のR、G、Bの画像データのそれぞれの位置を一致させるような座標変換を行うことにより、画像データにおける色収差を補正する。色収差補正部320は、光軸位置推定処理部312において推定された光軸の位置がそれぞれの画像データの中心となるようにR、G、Bの画像データの位置合わせをする。
図3は、光軸位置推定処理部312の詳細な構成を示す図である。光軸位置推定処理部312は、関係式算出部3121と、交点算出部3122とを有している。
関係式算出部3121は、位相差検出画素の画素出力と像高との関係を示す関係式を算出する。この関係式算出部3121は、レベル変化検出部3121aと、周波数変化検出部3121bと、絵柄変化検出部3121cと、算出部3121dとを有している。
レベル変化検出部3121aは、位相差検出画素とその近傍の撮像画素との間の画素出力の変化(画素データの値の比又は画素データの値の差)を検出する。周波数変化検出部3121bは、各位相差検出画素に対して、各位相差検出画素の位相差検出の方向と異なる方向に位置する複数の撮像画素の画素出力の変化を検出する。絵柄変化検出部3121cは、レベル変化を検出した位相差検出画素とその近傍の撮像画素とのそれぞれの近傍に位置する撮像画素間の画素出力の変化を検出する。算出部3121dは、レベル変化検出部3121aの検出結果、周波数変化検出部3121bの検出結果、絵柄変化検出部3121cの検出結果を用いて位相差検出画素の画素出力と像高との関係を示す関係式を算出する。これらのレベル変化検出部3121a、周波数変化検出部3121b、絵柄変化検出部3121c、算出部3121dについては後で詳しく説明する。
交点算出部3122は、2種類の位相差検出画素のそれぞれについて関係式算出部3121で算出された関係式の交点を、撮影レンズ11の光軸の位置として算出する。
図4を用いて、撮像素子21の構成について説明する。図4は、撮像素子21の画素配列を示した図である。また、図4の右側には、一部の画素を拡大して示している。図4は、ベイヤ配列の例であるが、カラーフィルタの配列はベイヤ配列に限るものではなく、種々の配列が適用され得る。
前述したように、ベイヤ配列の撮像素子21は、水平方向にR画素とG(Gr)画素が交互に配置されたラインと、G(Gb)画素とB画素が交互に配置されたラインを有している。言い換えれば、ベイヤ配列の撮像素子21は、右側の拡大図で示すGr画素と、R画素、Gb画素、B画素の4画素の組が水平及び垂直方向に繰り返して配置されている。
本実施形態においては、一部の撮像画素21aの位置に位相差検出画素21bを配置する。位相差検出画素は、例えば左右の何れかの領域を遮光膜によって遮光した画素である。図4の例では、左半面を遮光した位相差検出画素(以下、右開口位相差検出画素と言う)の行と、右半面を遮光した位相差検出画素(以下、左開口位相差検出画素と言う)の行とを垂直方向に沿って近接するように配置している。
高画素数の撮像素子の場合には個々の画素の面積が小さくなるので、近接して配置される画素にはほぼ同じ像が結像すると考えることができる。したがって、図4に示すようにして位相差検出画素を配置することにより、図4のA行の位相差検出画素とB行の位相差検出画素の対で位相差を検出することができる。また、C行の位相差検出画素とD行の位相差検出画素の対でも位相差を検出することができる。
図4の例では、位相差検出画素中の遮光する領域を、左右何れかの領域としている。この場合、水平位相差を検出することが可能である。これに対し、遮光する領域を上下何れかの領域としたり、斜め方向の領域としたりすることで、垂直位相差や斜め方向の位相差を検出することも可能である。また、ある程度の面積を有していれば遮光面積も画素領域の1/2でなくとも良い。さらに、図4では位相差検出画素をG画素に配置しているが、G画素以外の、R画素、B画素の何れかに配置するようにしても良い。
また、図4の例は、位相差検出画素の一部領域を遮光することによって瞳分割をする例を示しているが、位相差検出画素は、撮影レンズ11の異なる瞳領域を通過した対をなす被写体光束のうちの一方を選択的に受光できれば良い。このため、一部領域を遮光する構成とせず、例えば瞳分割用のマイクロレンズによって瞳分割をするようにしても良い。
図4に示したような撮像素子を用いた位相差法による焦点検出の原理について図5A及び図5Bを参照して説明する。ここで、図5Aは、撮像画素21aにおける像の結像状態を示す。また、図5Bは、位相差検出画素21bにおける像の結像状態を示す。
被写体が点光源であるとすると、撮影レンズ11が合焦状態であるとき、被写体から出射され、撮影レンズ11の光軸中心に対して対称な異なる瞳領域を通過した対をなす被写体光束は撮像素子21上の同一の位置に結像する。一方、撮影レンズ11が非合焦状態であるとき、被写体から出射され、撮影レンズ11の異なる瞳領域を通過した対をなす被写体光束は、撮像素子21上の異なる位置に結像する。言い換えれば、これらの対をなす被写体光束によって形成される像の間には位相差が生じる。この位相差を、右開口位相差検出画素と左開口位相差検出画素とでそれぞれ検出される像の相関関係から検出することにより、撮影レンズ11のデフォーカス量及びデフォーカス方向を検出する。
位相差検出画素21bは、一部の領域が遮光されているので、光量の低下が発生する。この光量の低下は、位相差検出画素21bに形成された遮光膜の面積の他、遮光膜の位置、位相差検出画素21bに入射する光の角度、像高によっても異なるものである。このような光量の低下を後述の画素出力補正処理によって補正する。
以下、本実施形態の撮像装置の具体的な動作を説明する。図6は、撮像装置による動画記録(動画撮影)動作の処理を示すフローチャートである。動画記録動作は、例えば動画撮影モード中にレリーズ釦が押された場合に開始される。また、図6に示すフローチャートの処理は、ROM43に記憶されているプログラムに従って、CPU29が実行する。なお、図6は、動画記録動作を示しているが、本実施形態に係る画像処理方法は、静止画記録動作に対しても適用可能である。
図6のフローチャートの動作が開始されると、CPU29は、撮像データの取り込みを開始する(ステップS101)。ここでは、CPU29は、撮像制御回路23に現在の動作モードに応じた設定データを入力する。この設定データに従って撮像制御回路23は、撮像素子21からの画素データの読み出しを制御する。撮像制御回路23に読み出し方式が設定されると、撮像制御回路23に設定された読み出し方式に従って、撮像素子21から画素混合又は画素間引きされた状態の画像信号が読み出される。撮像素子21から読み出された画像信号は、ADC27においてデジタル化された後、撮像データとしてDRAM41に一時記憶される。
次に、CPU29は、位相差検出画素の画素出力(位相信号)を補正する(ステップS102)。この位相信号補正処理においては、前フレームにおいて実行された関係式算出処理の結果を利用して位相差検出画素の画素出力を補正する。この補正は、後述のステップS109における画素出力補正処理と同様に行われる。その詳細については、後で説明する。
次に、CPU29は、焦点検出処理を行う(ステップS103)。ここでは、CPU29は、焦点検出回路33に焦点検出処理を実行させる。焦点検出処理の実行指示を受けて、焦点検出回路33は、DRAM41に一時記憶された撮像データの中から、位相差検出画素に対応した画素データを読み出し、この画素データを位相信号として用いて公知の位相差法によって撮影レンズ11のデフォーカス方向及びデフォーカス量を算出する。次に、CPU29は、焦点検出回路33により検出された撮影レンズ11のデフォーカス方向及びデフォーカス量に基づいて駆動部17を制御し、撮影レンズ11を合焦させる。
次に、CPU29は、撮像データを画像処理部31に入力する。これを受けて光軸位置推定処理部312は、光軸位置の推定処理をする。この処理として、光軸位置推定処理部312のレベル変化検出部3121aは、撮像データに対してレベル変化検出処理を実行する(ステップS104)。図2に示す画像処理部31の場合、実際には、レベル変化検出処理に先立って、WB補正処理部311によるWB補正処理が行われるが、図6では図示を省略している。なお、WB補正処理は、後述の画素出力補正処理の後に行うようにしても良い。
位相差検出画素は、一部の領域が遮光されているので、前述したような光量の低下が発生する。レベル変化検出処理は、位相差検出画素の画素出力とその近傍の同色の撮像画素の画素出力の変化(画素データの値の比又は差)を検出することにより、位相差検出画素における光量の低下量(レベル変化)を検出する処理である。本実施形態においては、位相差検出画素の近傍の同色の撮像画素のうち、位相差の検出方向と異なる方向の撮像画素との画素データの値の比又は差を検出する。
例えば、図7Aに示すようにして、撮像素子21の水平方向に沿って位相差検出画素が配置される場合のレベル変化検出処理について説明する。位相差検出画素21bは、図7Aのハッチングを施した領域(以下、アイランド領域と言う)に配置される。各アイランド領域には、右開口位相差検出画素と左開口位相差検出画素との対がn個配置される。以下の説明においては、右開口位相差検出画素と左開口位相差検出画素とは、図4と同様に、Gr画素に配置されているものとする。また、図7Aに示すように、撮像素子21の水平方向をx軸と定義する。各アイランド領域における位相差検出画素の水平方向の開始x座標をstart_xと定義する。start_xは、右開口位相差検出画素のものと左開口位相差検出画素ものとがそれぞれ定義される。
図7Bは、図7Aのアイランド領域内の画素の拡大図である。例えば、図7Bに示す画素のうち、右開口位相差検出画素Gr2及び左開口位相差検出画素Gr3に対してレベル変化検出処理を実行するとする。このとき、右開口位相差検出画素Gr2及び左開口位相差検出画素Gr3による位相差検出方向である水平方向と異なる方向、即ち右開口位相差検出画素Gr2及び左開口位相差検出画素Gr3に対して垂直方向の近傍の同色の撮像画素との画素データの値の比又は差を検出する。したがって、右開口位相差検出画素Gr2については、図7Bの矢印3で示す、右開口位相差検出画素Gr2と同列の近傍の撮像画素Gr1との画素出力の比を検出する。左開口位相差検出画素Gr3については、図7Bの矢印4で示す、左開口位相差検出画素Gr3と同列の近傍の撮像画素Gr1との画素データの値の比又は差を検出する。
このようなレベル変化検出処理により、各位相差検出画素に形成された遮光膜の面積、遮光膜の位置、位相差検出画素に入射する光の角度、像高の影響を考慮した撮像画素に対する位相差検出画素の光量の低下量を検出することが可能である。ただし、レベル変化検出処理で検出される光量の低下量は、像(絵柄)自体の変化による光量の低下量も含んでいる可能性がある。これは、位相差検出画素の近傍の撮像画素であっても、必ずしも同じ像が結像しているとは限らないためである。したがって、レベル変化検出処理としては、位相差検出画素に対してなるべく近くの同色の撮像画素との間のレベル変化を検出することが望ましい。
また、前述の例では、位相差検出画素と同列の撮像画素との間のレベル変化を検出している。これは、撮影レンズ11の光軸ずれ等の特性により生じる位相差検出画素への光の入射角度の違いに伴う、像高に対するレベル変化の傾向を見るためである。
レベル変化検出処理の後、周波数変化検出部3121bは、周波数変化検出処理を実行する(ステップS105)。周波数変化検出処理は、位相差検出画素の近傍の空間周波数の変化の傾向を検出する処理である。ここで、本実施形態においては、位相差の検出方向と異なる方向の空間周波数の変化の傾向を検出する。
周波数変化検出処理の具体的な処理としては、位相差検出画素の周囲の画素のうち、位相検出方向に沿った空間周波数が同じになる複数の画素の画素データの値の比又は差を検出する。図7Bの例の場合、位相差検出画素に対して垂直方向同列の画素は、位相差の検出方向である水平方向の空間周波数が同じになる。したがって、右開口位相差検出画素Gr2については、図7Bの矢印1で示す、位相差検出画素Gr2を挟むようにして配置される撮像画素B2と撮像画素B3との画素データの値の比又は差を検出する。また、左開口位相差検出画素Gr3については図示していないが、位相差検出画素Gr3を挟むようにして配置される撮像画素B3と撮像画素B4との画素データの値の比又は差を検出する。
このような周波数変化検出処理により、位相差検出画素の周辺の垂直方向の空間周波数の変化を検出することが可能である。
ここで、ベイヤ配列の場合、位相差検出画素を挟むように垂直方向に隣接して配置される2つの画素は、位相差検出画素とは異なる色の同色の撮像画素となる。しかしながら、これらの2つの画素は、必ずしも隣接している必要はなく、離れていても良い。また、位相差検出画素を挟むようにして対向するように配置されていれば、位相差検出画素からの距離が異なっていても良い。勿論、位相差検出画素からの距離が等しくても良い。
また、垂直位相差を検出する位相差検出画素の場合には、垂直方向ではなく、水平方向に隣接する2つの画素の画素出力の比を検出する。
周波数変化検出処理の後、絵柄変化検出部3121cは、絵柄変化検出処理を実行する(ステップS106)。
絵柄変化検出処理の具体的な処理としては、レベル変化検出処理に用いられた位相差検出画素と撮像画素のそれぞれの近傍の同色画素間の画素データの値の比又は差を検出する。図7Bの例の場合、右開口位相差検出画素Gr2については、図7Bの矢印2で示す、右開口位相差検出画素Gr2の近傍の撮像画素Gb3と撮像画素Gr1の近傍の撮像画素Gb1との画素データの値の比又は差を検出する。また、左開口位相差検出画素Gr3については、左開口位相差検出画素Gr3の近傍の撮像画素Gb4と撮像画素Gr1の近傍の撮像画素Gb1との画素データの値の比又は差を検出する。
このような絵柄変化検出処理では、レベル変化検出処理に用いられた位相差検出画素と撮像画素の近傍の撮像画素の画素出力の変化を検出している。これらのレベル変化検出処理に用いられた位相差検出画素と撮像画素の近傍の撮像画素であれば、ほぼ同じ像が結像されていると考えることができる。この場合、近傍の撮像画素間の画素出力の変化は、ほぼ像(絵柄)の変化によるものであると考えることが可能である。実際には、レベル変化検出処理に用いられた位相差検出画素と撮像画素の近傍の撮像画素であるので、空間周波数が高い場合には、誤差が生じる可能性がある。そこで、前述の周波数変化検出処理の検出結果から、絵柄変化検出処理の信頼性を判断する。
ここで、図7Bの例では、絵柄変化検出処理において画素出力の比を検出する2つの撮像画素を位相差検出画素と同色の画素としている。しかしながら、これらの2つの撮像画素は、必ずしも位相差検出画素と同色である必要はない。ただし、これらの2つの撮像画素の色は同色であることが望ましい。また、画素出力の比を検出する2つの撮像画素とそれぞれの近傍の位相差検出画素との距離は等しいことが望ましいが、多少であれば距離が異なっていても良い。
また、垂直位相差を検出する位相差検出画素の場合には、絵柄変化検出処理として、垂直方向ではなく、水平方向に隣接する複数の画素の画素出力の比を検出する。
絵柄変化検出処理の後、算出部3121dは、レベル変化検出処理の検出の結果を補正するための重み係数Wをアイランド領域毎に算出する(ステップS107)。
以下、重み係数Wの算出手法の一例ついて説明する。なお、この例では、右開口位相差検出画素についての重み係数Wを算出する例について説明する。一例の重み係数Wは、周波数変化検出処理の結果として得られる位相差検出画素の垂直方向同列の2つの同色の撮像画素の画素データの値の比が1に近いほど、1に近づく係数である。このような重み係数Wは、例えば以下の(式1)にようにガウス関数を用いて算出することが可能である。ここで、(式1)で示す重み係数Wは、同一のアイランド領域内の右開口位相差検出画素に対しては同一の値を適用することが可能である。
Figure 0005622975
ここで、(式1)のσは、標準偏差であって例えば設計時に任意に設定される。例えば、σ=0.1とした場合、重み係数Wは、0.1を標準偏差としたガウス関数となる。(式1)のDif_Bは、周波数変化検出処理の結果として得られる位相差検出画素に対して垂直方向同列の2つの同色の撮像画素の画素データの値の比である。例えば、撮像画素B2の画素データの値をB2、撮像画素B3の画素データの値をB3とすると、周波数変化検出処理の結果Dif_Bは、以下の(式2)で与えられる。
Dif_B=B2/B3 (式2)
前述の例では、重み係数Wを、ガウス関数を用いて算出しているが、垂直方向同列の2つの同色の撮像画素の画素データの値の比が1に近いほど1に近づく係数を算出できるような手法であれば必ずしもガウス関数を用いて算出する必要はない。
重み係数Wを算出した後、算出部3121dは、位相差検出画素の画素出力と像高との関係式を算出する(ステップS108)。
以下、関係式の算出手法の一例を説明する。この例では、位相差検出画素の画素出力と像高との関係を1次式で近似することとする。例えば、水平座標xの位置にある位相差検出画素の撮像画素に対するレベル変化量をyとすると、レベル変化量を表す1次式は、y=ax+bの形で表すことが可能である。また、このような1次式の傾きa及び切片bは、例えば最小二乗法により、以下の(式3)で示すようにして与えられる。
Figure 0005622975
ここで、(式3)のDif_pRi(i=start_x, start_x+1, …, n-1)は、レベル変化検出処理の結果と絵柄変化検出処理の結果から得られる、水平座標xに配置された右開口位相差検出画素とその近傍の撮像画素との画素データの値の比である。Dif_pRiは、以下の(式4)で与えられる。
Dif_pRi=1−{(Gr1/Gr2)−Dif_G} (式4)
(式4)のDif_Gは、絵柄変化検出処理の結果として得られるレベル変化検出処理に用いられた画素の近傍の2つの撮像画素間の画素データの値の比である。例えば、右開口位相差検出画素Gr2の例を示すと、Dif_Gは、以下の(式5)で与えられる。
Dif_G=1−Gb1/Gb3 (式5)
(式4)において、撮像画素Gr1の画素データの値をGr1、位相差検出画素Gr2の画素データの値をGr2としている。(式4)は、レベル変化検出処理によって得られたレベル変化量から絵柄変化検出処理によって得られたレベル変化量を差し引いたものである。したがって、(式4)で示すレベル変化量は、位相差検出画素に入射する光の角度、像高の影響を考慮した撮像画素に対する位相差検出画素の光量の低下量となる。
また、(式3)のa、bの括弧内の値0は、これらによって示される傾き及び切片が右開口位相差検出画素に関するものであることを示す。一方、左開口位相差検出画素については、(式3)のa、bの括弧内の値を1とし、さらに、(式3)〜(式5)で示した各値を左開口位相差検出画素に関する値に置き換える。
なお、前述の例では、レベル変化量と水平座標xとの関係を、1次式で近似しているが、高次式で近似しても良い。また、近似の手法も最小二乗法に限らず、ラグランジュ補間、スプライン補間等を用いても良い。
関係式が算出された後、画素補正部313は、各位相差検出画素の画素出力を補正する(ステップS109)。例えば、レベル変化検出処理、周波数変化検出処理、及び絵柄変化検出処理で、画素出力の変化として画素データの値の比を検出した場合、(式3)で示すyも画素データの値の比で表されるものとなる。したがって、画素出力の補正は、位相差検出画素の水平座標xに応じたyをその位相差検出画素の画素データに乗じるゲイン調整をすれば良い。一方、レベル変化検出処理、周波数変化検出処理、及び絵柄変化検出処理で、画素出力の変化として画素データの値の差を検出した場合、(式3)で示すyも画素データの値の差で表されるものとなる。したがって、画素出力の補正は、位相差検出画素の水平座標xに応じたyをその位相差検出画素の画素データにオフセットさせるゲイン調整をすれば良い。
前述したように、ステップS102の補正もステップS109と同様の補正を行う。ただし、ステップS102においては、1フレーム前の関係式算出処理で算出された関係式を用いて補正を行う。
画素補正処理の後、交点算出部3122は、右開口位相差検出画素について算出した関係式と左開口位相差検出画素について算出した関係式との交点(cross_x,cross_y)を算出する(ステップS110)。
図8A及び図8Bは、像高と位相差検出画素の画素出力との関係を示した図である。図8Aは、撮影レンズ11の光軸が撮像面上に設定された像高の基準位置(例えば撮像面の中心位置)と一致している理想状態の場合の関係を示している。また、図8Bは、撮影レンズ11の光軸が撮像面上に設定された像高の基準位置(例えば撮像面の中心位置)からずれている場合の関係を示している。(式3)は、1次式で近似をしているが、実際には、位相差検出画素の画素出力は、像高に対して非線形に変化する。
図8Aに示すように、理想状態では、右開口位相差検出画素の画素出力と左開口位相差検出画素との画素出力とは、像高の基準位置に対して線対称に変化する。そして、像高の基準位置において、右開口位相差検出画素の画素出力と左開口位相差検出画素との画素出力が一致する。
これに対し、撮影レンズ11の光軸にずれがある場合、図8Bに示すように、像高に対する右開口位相差検出画素の画素出力及び左開口位相差検出画素の画素出力が理想状態の場合に対して変化する。また、右開口位相差検出画素の画素出力と左開口位相差検出画素の画素出力とが一致する像高も、基準の増高からずれる。右開口位相差検出画素の画素出力と左開口位相差検出画素の画素出力とが一致する像高は、右開口位相差検出画素について算出した関係式と左開口位相差検出画素について算出した関係式との交点(cross_x,cross_y)に対応する。したがって、この交点を求めることにより、理想状態からずれた後の撮影レンズ11の撮像面上での光軸位置を推定することが可能である。
交点(cross_x,cross_y)は、位相差検出方向に並べられた対をなす位相差検出画素、例えば位相差検出方向が水平方向である場合には右開口位相差検出画素と左開口位相差検出画素のそれぞれについて算出した関係式を用いた2元1次連立方程式を解くことによって求めることが可能である。この連立方程式の解は、以下の(式6)で表される。
Figure 0005622975
交点の座標が算出された後、画像処理部31は、撮像データに対する画像処理を行う(ステップS111)。ここでは、画像処理部31は、ステップS109の画素出力補正処理の結果として得られた撮像データに対する画像処理(同時化処理から色再現処理まで)を実行する。画像処理に用いる処理パラメータは記録用のものを用いる。記録用の処理パラメータは、例えばROM43に予め記憶されているものである。
次に、歪補正部319は、画像処理により得られた画像データに対して歪補正処理を行う(ステップS112)。ここでは、歪補正部319は、ステップS110で算出された交点の位置が補正後の画像データの中心となるように歪補正用の座標変換を行う。
次に、色収差補正部320は、画像処理により得られた画像データに対して色収差歪補正処理を行う(ステップS113)。ここで、色収差補正部320は、ステップS110で算出された交点の位置が補正後の画像データの中心となるようにR、G、Bの画像データの位置合わせをする。
次に、CPU29は、色収差補正処理の結果としてDRAM41に一時記憶された画像データを記録媒体45に記録する(ステップS114)。次に、CPU29は、動画記録を停止させるか否かを判定する(ステップS115)。ここでは、CPU29は、操作部19のレリーズ釦の操作状態を判定する。即ち、レリーズ釦が再び押された場合に、CPU29は、動画記録を停止させると判定する。
ステップS115において、動画記録を停止させないと判定した場合に、CPU29は、処理をステップS101に戻し、動画記録を続行する。一方、ステップS115において、動画記録を停止させると判定した場合に、CPU29は、図6の処理を終了させる。
以上説明したように、本実施形態においては、位相差検出画素とその近傍の撮像画素との画素出力の変化を実際に検出し、この検出結果に従って算出される位相差検出画素の画素出力と像高との関係を示す関係式より、撮影レンズ11の撮像面上における光軸位置を推定することができる。これにより、撮影レンズ11の製造ばらつき等に起因する光軸ずれが生じていたとしても適切に歪補正処理や色収差補正を行うことが可能である。
また、本実施形態では、位相差検出画素の画素出力と像高との関係を示す関係式より、各位相差検出画素のゲイン調整量を算出して画素出力補正処理を行うようにしている。これにより、各位相差検出画素に形成された遮光膜の面積、遮光膜の位置、位相差検出画素に入射する光の角度、像高の影響を考慮した位相差検出画素の画素出力の補正を行うことが可能である。また、本実施形態では、歪補正処理や色収差補正の前に画素出力補正処理を行うようにしている。歪補正処理や色収差補正のような座標変換を伴う処理の前に画素出力補正処理を行うことにより、画素出力補正処理の精度を向上させることが可能である。さらに、焦点検出処理に先立って、位相差検出画素の画素出力と像高との関係を示す関係式より、各位相差検出画素の画素出力を補正するようにしている。これにより、撮影レンズ11の光軸ずれが生じていたとしても焦点検出の精度が低下することがない。
また、本実施形態においては、単純に位相差検出画素とその近傍の撮像画素との画素出力の変化を検出するだけでなく、それぞれの画素の近傍の撮像画素間の画素出力の変化を検出し、その結果に応じてゲイン調整量を補正している。これにより、位相差検出画素と撮像画素とで異なる像が結像した場合の誤差をも補正することが可能である。
さらに、本実施形態においては、位相差検出画素の周辺の空間周波数の変化を考慮して絵柄変化検出処理の結果を補正している。これにより、さらにゲイン調整の精度を高めることが可能である。ここで、周波数変化検出処理は、絵柄変化検出処理の信頼性を高めるためには必要ではあるが、周波数変化検出処理を省略しても良い。
[変形例1]
以下、前述した実施形態の変形例について説明する。前述した実施形態は、交点算出部3122で算出された交点(撮像面上での実際の撮影レンズ11の光軸の位置)の使用例として、歪補正処理と色収差補正処理とを例示している。本実施形態の技術は、歪補正処理や色収差補正処理の他の各種の光学特性の補正処理に対して適用できる。例えば、本実施形態の技術は、シェーディング補正処理にも適用され得る。シェーディング補正処理とは、撮影レンズ11の特性に起因して生ずる画像の周辺部の光量落ちを補正する処理である。シェーディング補正処理においても、交点算出部3122で算出された交点を中心としてゲイン補正を行うことにより、適切な補正を行うことが可能である。
[変形例2]
前述した例では、重み係数Wをガウス関数としているが、この他に例えば閾値を用いた近似により求めることができる。また、レベル変化量を表す1次式を最小二乗法ではなく、折れ点近似によって求めることもできる。変形例2は、このような他の手法によって重み係数Wとレベル変化量を表す1次式の傾きa及び切片bとを求める例である。
この変形例においては、図9で示すように1つのアイランド領域内にm点(図では折れ点1,2,3の3点)の折れ点を決めた上で前述と同様のレベル変化検出処理、周波数変化検出処理、及び絵柄変化検出処理を行う。この場合、重み係数Wを以下の(式7)のようにして、Dif_GとDif_Bの平均値を閾値で場合分けすることで求めることができる。なお、(式7)は、位相差の検出方向が水平方向の例である。
Figure 0005622975
(式7)のDif_Gは、絵柄変化検出処理の結果として得られるレベル変化検出処理に用いられた画素の近傍の2つの撮像画素間の画素データの値の比の絶対値である。例えば、前述の右開口位相差検出画素Gr2が折れ点の1つであったとすると、Dif_Gは、以下の(式8)で与えられる。
Dif_G=abs(1−Gb1/Gb3) (式8)
(式7)のDif_Bは、周波数変化検出処理の結果として得られる位相差検出画素に対して垂直方向同列の2つの同色の撮像画素の画素データの値の比の絶対値である。例えば、撮像画素B2の画素データの値をB2、撮像画素B3の画素データの値をB3とすると、Dif_Bは、以下の(式9)で与えられる。
Dif_B=abs(1-B2/B3) (式9)
また、レベル変化量を表す1次式y=ax+bの傾きa及び切片bは、以下の(式10)で示すようにして与えられる。
Figure 0005622975
ここで、(式10)に示すa_m及びb_m(m=1,2)は、それぞれ、折れ点mから折れ点m+1までのレベル変化量を示す1次式の傾き及び切片であることを示している。また、P_m(m=1,2)は、以下の(式11)で与えられる。
Figure 0005622975
ここで、(式11)のDif_pRi(i=start_x, start_x+1, …, n-1)は、レベル変化検出処理の結果と絵柄変化検出処理の結果から得られる、水平座標xに配置された位相差検出画素とその近傍の撮像画素との画素データの値の比である。Dif_pRiは、以下の(式12)で与えられる。
Dif_pRi=1−{(Gr1/Gr2)−Dif_G} (式12)
また、前述の例では、各アイランド領域における位相差検出画素の水平方向の開始x座標をstart_xと定義しているが、変形例においては各折れ点のx座標をstart_xと定義し、折れ点間にn個の画素が配列されるものとする。
以上の(式7)〜(式12)で示したのと同様の計算を左開口位相差検出画素についても行い、右開口位相差検出画素について(式11)に示すようにして算出した関係式と左開口位相差検出画素について(式11)に示すようにして算出した関係式との交点が、交点(cross_x,cross_y)となる。
[変形例3]
前述した各例は、動画撮影中に光軸位置を推定しているが、カメラ1の調整時に予め光軸位置を推定しておいても良い。図10は、調整時に光軸位置を推定する場合のフローチャートである。図10の処理は、カメラ1に撮影レンズ11が装着され、調整のためにカメラ1が起動された場合に行われる。図10のステップS201〜S208の処理は、図6のステップS101、S103〜S108、S109と同一である。したがって、説明を省略する。ステップS208において、交点(cross_x,cross_y)が算出された後、CPU29は、算出された交点(cross_x,cross_y)の情報を、撮像面上での撮影レンズ11の光軸の位置情報としてROM43に記憶させる(ステップS209)。撮影レンズ11が着脱自在に構成されている場合には、撮影レンズ11内のROMに交点の情報を記録しても良い。
この変形例3では、光軸の位置をカメラ1の調整時に予め推定しておくことにより、撮影時にはこの推定値を使用して歪補正処理等の処理を行うことが可能である。即ち、図6のステップS110の処理を省略できる。
以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。前述の各動作フローチャートについては、この順で動作を実施することが必須であることを意味するものではない。
また、上述した実施形態による各処理は、CPU29に実行させることができるプログラムとして記憶させておくこともできる。この他、メモリカード(ROMカード、RAMカード等)、磁気ディスク(フロッピディスク、ハードディスク等)、光ディスク(CD−ROM、DVD等)、半導体メモリ等の外部記憶装置の記憶媒体に格納して配布することができる。そして、CPU29は、この外部記憶装置の記憶媒体に記憶されたプログラムを読み込み、この読み込んだプログラムによって動作が制御されることにより、上述した処理を実行することができる。
さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。
1…デジタルカメラ(カメラ)、11…撮影レンズ、13…絞り、15…メカシャッタ、17…駆動部、19…操作部、21…撮像素子、23…撮像制御回路、25…A−AMP、27…アナログデジタル変換器(ADC)、29…CPU、31…画像処理部、33…焦点検出回路、35…ビデオエンコーダ、37…表示部、39…バス、41…DRAM、43…ROM、45…記録媒体、311…ホワイトバランス(WB)補正処理部、312…光軸位置推定処理部、313…画素補正部、314…同時化処理部、315…輝度特性変換部、316…エッジ強調処理部、317…ノイズ低減(NR)処理部、318…色再現処理部、319…歪補正部、320…色収差補正部、3121…関係式算出部、3121a…レベル変化検出部、3121b…周波数変化検出部、3121c…絵柄変化検出部、3121d…算出部、3122…交点算出部

Claims (10)

  1. 撮像画素の一部に焦点検出をするための位相差検出画素が設けられた撮像素子と、
    前記位相差検出画素の画素出力と前記撮像画素の画素出力とから前記撮像素子の撮像面上に被写体の像を形成するための光学系の光軸位置を推定する光軸位置推定処理部と、
    前記位相差検出画素の画素出力を補正する画素補正部と、
    を具備し、
    前記光軸位置推定処理部は、
    前記位相差検出画素の画素出力と該位相差検出画素の近傍の撮像画素の画素出力とから、前記位相差検出画素の画素出力と像高との関係を算出する関係算出部と、
    位相差の検出方向に並べられた対をなす前記位相差検出画素のそれぞれについて算出された前記関係から光軸位置を算出する光軸位置算出部と、
    を有し、
    前記画素補正部は、前記関係に従ってそれぞれの位相差検出画素の画素出力を補正する撮像装置。
  2. 前記対をなす位相差検出画素は、開口の位置が異なっており、
    前記関係算出部は、前記位相差検出画素の開口の位置毎に前記関係を算出する請求項1に記載の撮像装置。
  3. 前記関係算出部は、前記位相差検出画素と該位相差検出画素の近傍の撮像画素との画素出力の比又は画素出力の差から前記関係を算出する請求項1に記載の撮像装置。
  4. 前記関係算出部は、
    前記位相差検出画素の画素出力と該位相差検出画素と同色で且つ前記位相差検出画素による前記位相差の検出方向とは異なる方向に位置する前記撮像画素の画素出力との変化を検出するレベル変化検出部と、
    前記位相差の検出方向と異なる方向に位置して前記位相差検出画素と異なる色の複数の撮像画素間の画素出力の変化を検出する周波数変化検出部と、
    前記レベル変化検出部が画素出力の変化を検出した位相差検出画素と撮像画素とのそれぞれの近傍に位置する撮像画素の間の画素出力の変化から絵柄の変化を検出する絵柄変化検出部と、
    を有する請求項1に記載の撮像装置。
  5. 前記撮像画素と前記位相差検出画素からの画素出力は、前記光軸位置算出部で算出された光軸位置に従って前記光学系の光学特性の影響が補正され、
    前記画素補正部は、前記光学特性の影響の補正の前に前記画素出力の補正を行う請求項1に記載の撮像装置。
  6. 撮像画素の一部に焦点検出をするための位相差検出画素が設けられた撮像素子と、
    前記位相差検出画素の画素出力と前記撮像画素の画素出力とから前記撮像素子の撮像面上に被写体の像を形成するための光学系の光軸位置を推定する光軸位置推定処理部と、
    前記撮像画素と前記位相差検出画素からの画素出力を補正する画素補正部と、
    を具備し、
    前記光軸位置推定処理部は、
    前記位相差検出画素の画素出力と該位相差検出画素の近傍の撮像画素の画素出力とから、前記位相差検出画素の画素出力と像高との関係を算出する関係算出部と、
    位相差の検出方向に並べられた対をなす前記位相差検出画素のそれぞれについて算出された前記関係から光軸位置を算出する光軸位置算出部と、
    前記画素補正部は、前記光軸位置算出部で算出された光軸位置に従って前記撮像画素と前記位相差検出画素からの画素出力における前記光学系の光学特性の影響を補正することを有する撮像装置。
  7. 前記光軸位置算出部で算出された光軸位置の情報を記憶する記憶部をさらに具備する請求項1に記載の撮像装置。
  8. 撮像画素の一部に焦点検出をするための位相差検出画素が設けられた撮像素子の前記位相差検出画素の画素出力と該位相差検出画素の近傍の撮像画素の画素出力とから、前記位相差検出画素の画素出力と像高との関係を算出することと、
    位相差の検出方向に並べられた対をなす前記位相差検出画素のそれぞれについて算出された前記関係から光学系の光軸位置を算出することと、
    算出された前記光軸位置を記憶部に記憶することと、
    前記記憶部に記憶された前記光軸位置の情報により、前記撮像画素と前記位相差検出画素からの画素出力における前記光学系の光学特性の影響を補正することと、
    を具備する画像補正方法。
  9. 瞳を分割することにより得られた像の間の位相差を検出する方向に並べられた位相差検出画素と撮像画素とを有する撮像素子からの画素出力を処理する画像処理装置であって、
    前記位相差検出画素の画素出力と該位相差検出画素と同色で且つ前記位相差検出画素による前記位相差の検出方向とは異なる方向に位置する前記撮像画素の画素出力との変化を検出する第1の画素出力変化検出部と、
    前記第1の画素出力変化検出部が画素出力の変化を検出するのに用いた位相差検出画素と撮像画素とのそれぞれの近傍に位置する複数の撮像画素の間の画素出力の変化を検出する第2の画素出力変化検出部と、
    前記第1の画素出力変化検出部及び第2の画素出力変化検出部の結果から、それぞれの前記位相差検出画素の画素出力を補正する画素補正部と、
    を具備する画像処理装置。
  10. 位相差を検出する方向に並べられた位相差検出画素と撮像画素とを有する撮像素子からの画素出力を処理するための画像処理方法であって、
    前記位相差検出画素の画素出力と該位相差検出画素と同色で且つ前記位相差検出画素による前記位相差の検出方向とは異なる方向に位置する前記撮像画素の画素出力との変化を第1の画素出力変化検出部が検出することと、
    前記第1の画素出力変化検出部が画素出力の変化を検出するのに用いた位相差検出画素と撮像画素とのそれぞれの近傍に位置する複数の撮像画素の間の画素出力の変化を第2の画素出力変化検出部が検出することと、
    前記第1の画素出力変化検出部及び第2の画素出力変化検出部の結果から、それぞれの前記位相差検出画素の画素出力を画素補正部が補正することと、
    を具備する画像処理方法。
JP2014517296A 2013-01-10 2014-01-08 撮像装置及び画像補正方法並びに画像処理装置及び画像処理方法 Expired - Fee Related JP5622975B1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013002480 2013-01-10
JP2013002480 2013-01-10
PCT/JP2014/050157 WO2014109334A1 (ja) 2013-01-10 2014-01-08 撮像装置及び画像補正方法並びに画像処理装置及び画像処理方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2014163910A Division JP5826901B2 (ja) 2013-01-10 2014-08-11 撮像装置及び光軸位置算出方法

Publications (2)

Publication Number Publication Date
JP5622975B1 true JP5622975B1 (ja) 2014-11-12
JPWO2014109334A1 JPWO2014109334A1 (ja) 2017-01-19

Family

ID=51166981

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2014517296A Expired - Fee Related JP5622975B1 (ja) 2013-01-10 2014-01-08 撮像装置及び画像補正方法並びに画像処理装置及び画像処理方法
JP2014163910A Expired - Fee Related JP5826901B2 (ja) 2013-01-10 2014-08-11 撮像装置及び光軸位置算出方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2014163910A Expired - Fee Related JP5826901B2 (ja) 2013-01-10 2014-08-11 撮像装置及び光軸位置算出方法

Country Status (5)

Country Link
US (1) US9398207B2 (ja)
EP (1) EP2944997A4 (ja)
JP (2) JP5622975B1 (ja)
CN (1) CN104919352B (ja)
WO (1) WO2014109334A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015018256A (ja) * 2013-01-10 2015-01-29 オリンパスイメージング株式会社 撮像装置及び光軸位置算出方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014091854A1 (ja) * 2012-12-11 2014-06-19 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法、及び画像処理プログラム
JP2019184923A (ja) * 2018-04-13 2019-10-24 キヤノン株式会社 撮像装置
CN112866546B (zh) * 2019-11-12 2022-09-27 Oppo广东移动通信有限公司 对焦方法和装置、电子设备、计算机可读存储介质
KR20220036630A (ko) 2020-09-16 2022-03-23 삼성전자주식회사 컬러 보정을 위한 영상 처리 장치, 영상 처리 방법 및 이를 포함하는 영상 처리 시스템
KR20220159829A (ko) * 2021-05-26 2022-12-05 삼성전자주식회사 넓은 색역의 영상을 제공하는 영상 획득 장치 및 이를 포함하는 전자 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010062640A (ja) * 2008-09-01 2010-03-18 Canon Inc 撮像装置、撮像装置の制御方法及びプログラム
JP2010140013A (ja) * 2008-11-11 2010-06-24 Canon Inc 焦点検出装置及びその制御方法
JP2010169709A (ja) * 2009-01-20 2010-08-05 Sony Corp 撮像素子および撮像装置
JP2012175145A (ja) * 2011-02-17 2012-09-10 Olympus Corp 撮像素子、撮像装置

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10304237A (ja) * 1997-05-01 1998-11-13 Canon Inc カメラの測距装置及び測距方法
JP3592147B2 (ja) 1998-08-20 2004-11-24 キヤノン株式会社 固体撮像装置
JP2006166271A (ja) * 2004-12-09 2006-06-22 Seiko Precision Inc 輝度補正装置
JP2008177794A (ja) * 2007-01-17 2008-07-31 Sharp Corp 撮像装置の色シェーディング補正装置、撮像装置および撮像装置の色シェーディング補正方法
JP5062072B2 (ja) * 2008-07-08 2012-10-31 株式会社ニコン カメラシステム、及びテーブル調整方法
JP5317562B2 (ja) * 2008-07-17 2013-10-16 キヤノン株式会社 位相差検出装置、撮像装置、位相差検出方法、位相差検出プログラム
JP5161702B2 (ja) * 2008-08-25 2013-03-13 キヤノン株式会社 撮像装置、撮像システム、及び焦点検出方法
JP5300414B2 (ja) * 2008-10-30 2013-09-25 キヤノン株式会社 カメラ及びカメラシステム
JP5455397B2 (ja) * 2009-03-02 2014-03-26 キヤノン株式会社 光学機器
JP5045801B2 (ja) * 2009-09-09 2012-10-10 株式会社ニコン 焦点検出装置、撮影レンズユニット、撮像装置およびカメラシステム
JP5212396B2 (ja) * 2010-02-10 2013-06-19 株式会社ニコン 焦点検出装置
JP2012043939A (ja) * 2010-08-18 2012-03-01 Sony Corp 撮像素子および撮像装置
JP5473977B2 (ja) * 2011-04-14 2014-04-16 キヤノン株式会社 撮像装置およびカメラシステム
JP2012233930A (ja) * 2011-04-28 2012-11-29 Canon Inc 撮像装置
JP5956782B2 (ja) * 2011-05-26 2016-07-27 キヤノン株式会社 撮像素子及び撮像装置
US20130002936A1 (en) * 2011-06-30 2013-01-03 Nikon Corporation Image pickup apparatus, image processing apparatus, and storage medium storing image processing program
CN103842879B (zh) * 2011-09-30 2016-06-01 富士胶片株式会社 成像装置和用于计算相位差像素的灵敏度比率的方法
CN103842877B (zh) * 2011-09-30 2016-01-27 富士胶片株式会社 成像装置和合焦参数值计算方法
JP6239820B2 (ja) * 2011-12-19 2017-11-29 キヤノン株式会社 撮像装置及びその制御方法
CN108401114A (zh) * 2012-05-07 2018-08-14 株式会社尼康 焦点检测装置
DE112013005594T5 (de) * 2012-11-22 2015-10-22 Fujifilm Corporation Abbildungsvorrichtung, Unschärfebetrag-Berechnungsverfahren und Objektivvorrichtung
JP6021622B2 (ja) * 2012-12-07 2016-11-09 オリンパス株式会社 画像処理装置及び画像処理方法
WO2014109334A1 (ja) * 2013-01-10 2014-07-17 オリンパスイメージング株式会社 撮像装置及び画像補正方法並びに画像処理装置及び画像処理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010062640A (ja) * 2008-09-01 2010-03-18 Canon Inc 撮像装置、撮像装置の制御方法及びプログラム
JP2010140013A (ja) * 2008-11-11 2010-06-24 Canon Inc 焦点検出装置及びその制御方法
JP2010169709A (ja) * 2009-01-20 2010-08-05 Sony Corp 撮像素子および撮像装置
JP2012175145A (ja) * 2011-02-17 2012-09-10 Olympus Corp 撮像素子、撮像装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015018256A (ja) * 2013-01-10 2015-01-29 オリンパスイメージング株式会社 撮像装置及び光軸位置算出方法
US9398207B2 (en) 2013-01-10 2016-07-19 Olympus Corporation Imaging apparatus and image correction method, and image processing apparatus and image processing method

Also Published As

Publication number Publication date
US20150319358A1 (en) 2015-11-05
JPWO2014109334A1 (ja) 2017-01-19
CN104919352B (zh) 2017-12-19
JP5826901B2 (ja) 2015-12-02
EP2944997A4 (en) 2016-12-21
US9398207B2 (en) 2016-07-19
WO2014109334A1 (ja) 2014-07-17
JP2015018256A (ja) 2015-01-29
EP2944997A1 (en) 2015-11-18
CN104919352A (zh) 2015-09-16

Similar Documents

Publication Publication Date Title
JP5529928B2 (ja) 撮像装置及び撮像装置の制御方法
JP6460653B2 (ja) 画像処理装置、それを備えた撮像装置、画像処理方法、及び画像処理プログラム
JP6124720B2 (ja) 撮像装置、画像処理方法及び画像処理プログラム
JP5826901B2 (ja) 撮像装置及び光軸位置算出方法
JP6021622B2 (ja) 画像処理装置及び画像処理方法
JP6099536B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP6230760B1 (ja) 撮像装置、画像処理装置、画像処理方法および画像処理プログラム
JP5701942B2 (ja) 撮像装置、カメラシステム及び画像処理方法
US9503661B2 (en) Imaging apparatus and image processing method
JP6270400B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP6748477B2 (ja) 撮像装置及びその制御方法、プログラム並びに記憶媒体
JP6364259B2 (ja) 撮像装置、画像処理方法、及び画像処理プログラム
JP6017641B1 (ja) 撮像装置,信号処理方法,信号処理プログラム
JP5792349B2 (ja) 撮像装置及び撮像装置の制御方法
JP6566800B2 (ja) 撮像装置及び撮像方法
US20170155882A1 (en) Image processing apparatus, image processing method, imaging apparatus, and recording medium
JPWO2015182021A1 (ja) 撮像制御装置、撮像装置および撮像制御方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140811

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140902

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140922

R151 Written notification of patent or utility model registration

Ref document number: 5622975

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees