JP5180795B2

JP5180795B2 - 撮像装置及びその制御方法

Info

Publication number: JP5180795B2
Application number: JP2008310697A
Authority: JP
Inventors: 紗央里法田; 義浩本間; 秀行蓮覚寺
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2007-12-10
Filing date: 2008-12-05
Publication date: 2013-04-10
Anticipated expiration: 2028-12-05
Also published as: US20100245631A1; CN102572284A; EP2733532A2; CN102572284B; EP2420887B1; CN101889231A; EP2235575B1; EP2235575A1; US8441545B2; WO2009075368A1; US20120224087A1; EP2420887A1; US9456156B2; US20150042869A1; US20160344960A1; CN101889231B; US8890968B2; JP2009163229A; EP2235575A4; EP2733532B1

Description

本発明は、撮像装置及びその制御方法に関し、特に、焦点評価用の画素を用いて焦点検出を行う撮像装置及びその制御方法に関する。

近年、デジタルスチルカメラなどの撮像装置が備える撮像素子は高画素化が進んでいるため、高速かつ高精度な画像処理を行うことが課題となっている。一方、従来より、撮像素子の一部の領域を焦点調節のために使用し、オートフォーカス（以下「焦点検出」という。）を高速かつ高精度に行う方法が提案されている。

特許文献１は、撮像素子のＲ，Ｇ，Ｂの色フィルタのうち、一部のＧ色の色フィルタの位置に瞳分割された焦点検出用画素（以下「焦点検出用画素」という。）が配置された撮像装置を開示している。この焦点検出用画素から得られた情報に基づいて焦点検出が行われる。焦点検出用画素からは焦点検出用の画素信号が得られるが、撮像画像用の画素信号は得られない。そのため、撮像画像用の画素信号が得られる撮像用画素の画素信号に基づいて補正する必要がある。

これに対し、特許文献２は、焦点検出用画素の位置で欠落した撮影画像用の画像信号を、焦点検出用画素の周辺画素から得られる画像信号で補間する方法を開示している。しかしながら、焦点検出用画素に白傷や黒傷などの撮像素子の製造工程で生じた欠陥がある場合には、焦点検出用画素から得られる焦点検出用の画素信号を焦点検出用画素の周辺画素の画像信号で補正することは困難である。

特許文献３は、焦点検出用画素に欠陥がある場合に、焦点検出用画素の近傍の撮像用画素を焦点検出用画素として使用することによって、焦点検出用画素に欠陥のない場合と同様に焦点検出を行うことを開示している。

特開２０００−１５６８２３号公報特開２０００−３０５０１０号公報特開２００１−１７７７５６号公報

しかしながら、特許文献３では、焦点検出用画素が瞳分割された画素で構成されておらず、撮像用画素と同様に構成されていることが前提となっている。そのため、焦点検出用画素が瞳分割された画素で構成された場合、焦点検出用画素に欠陥があると、近傍の撮像用画素を用いて焦点検出用の画像信号を補正することは難しい。

本発明は上記問題点を鑑みてなされたものであり、瞳分割された画素を含む焦点検出用画素に欠陥がある場合に、適切に焦点検出を行うことを目的とする。また、傷補正の為に用いられるデータを用いて焦点検出用画素の抽出もできるようにすることを別の目的とする。

上記目的を達成するために、本発明の撮像装置は、撮影光学系から入射される光を受光する撮像用画素と、前記撮像用画素とは異なり、前記撮影光学系から入射される光を瞳分割して受光する焦点検出用画素とを含む撮像素子と、メモリに記憶された前記焦点検出用画素の位置情報を前記メモリから読み出す記憶制御手段と、欠陥がある前記焦点検出用画素について、前記焦点検出用画素の位置情報に基づいて前記撮像素子における前記焦点検出用画素の位置を特定し、当該欠陥がある前記焦点検出用画素に対応する画素信号を、当該欠陥がある前記焦点検出用画素と隣接しない、欠陥が無い前記焦点検出用画素の画素信号を用いて、焦点検出用に生成する第１の生成と、前記焦点検出用画素の位置情報に基づいて前記撮像素子における前記焦点検出用画素の位置を特定し、当該欠陥がある前記焦点検出用画素に対応する画素信号を、前記撮像用画素の画素信号を用いて、記録画像用に生成する第２の生成と、を行うことが可能な生成手段と、を備える。

また、撮影光学系から入射される光を受光する撮像用画素と、前記撮像用画素とは異なり、前記撮影光学系から入射される光を瞳分割して受光する焦点検出用画素とを含む撮像素子を備える撮像装置の本発明の制御方法は、記憶制御手段が、メモリに予め記憶された前記焦点検出用画素の位置情報を、前記メモリから読み出す工程と、補正手段が、欠陥がある前記焦点検出用画素について、前記焦点検出用画素の位置情報に基づいて前記撮像素子における前記焦点検出用画素の位置を特定し、当該欠陥がある前記焦点検出用画素に対応する画素信号を、当該欠陥がある前記焦点検出用画素と隣接しない、欠陥が無い前記焦点検出用画素の画素信号を用いて焦点検出用に生成する第１の生成工程と、前記補正手段が、欠陥がある前記焦点検出用画素について、前記焦点検出用画素の位置情報に基づいて前記撮像素子における前記焦点検出用画素の位置を特定し、当該欠陥がある前記焦点検出用画素に対応する画素信号を、前記撮像用画素の画素信号を用いて記録画像用に生成する第２の生成工程と、を含む。

本発明によれば、瞳分割された画素を含む焦点検出用画素に欠陥がある場合にも、適切に焦点検出を行うことができる。また、傷補正の為に用いられるデータを用いて焦点検出用画素の抽出もできるので、保存するデータ容量が少なくなり、メモリを節約することができる。

以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。

（第１の実施形態）
図１は、本発明の好適な第１の実施形態に係る撮像装置の回路構成を示すブロック図である。１０１は複数の撮像レンズ（撮影光学系）、１０２は撮像レンズ１０１を駆動させるレンズ駆動回路である。１０３は露出の調整を行う絞りである。１０４は入射する光を光電変換する光電変換素子で構成された画素が２次元に配置され、その少なくとも一部の画素が焦点検出用の焦点検出用画素として構成された撮像素子である。１０５は設定された周期の水平同期信号ＨＤ及び垂直同期信号ＶＤを生成する同期信号発生器（以下「ＳＳＧ」という。）である。１０６は水平同期信号ＨＤと垂直同期信号ＶＤに同期した撮像素子１０４を駆動させる制御信号を生成するタイミングジェネレータ（以下「ＴＧ」という。）である。１０７はアナログの電気信号をデジタルに変換するＡ／Ｄ変換回路である。１０８は撮像素子１０４における焦点検出用画素や欠陥画素の位置を示すフラグ（位置情報）を出力する補正フラグ回路である。１０９は補間などの補正処理を行う現像画素補正回路である。現像画素補正回路１０９は、Ａ／Ｄ変換回路１０７から出力される画像データに含まれる傷データ及び焦点検出用画素のデータを補正フラグ回路１０８から出力されるフラグに基づいて、撮像素子１０４における焦点検出用画素や欠陥画素の位置を特定する。１１０はＡ／Ｄ変換回路１０７から出力される画像データに含まれる焦点検出用画素のデータを抽出し、欠陥のある焦点検出用画素のデータを補正する焦点検出用画素補正回路である。１１１は色変換処理などを行う現像処理回路である。１１２は複数のペアの焦点検出用画素より得られた画素信号から位相差を検出し、焦点ずれ量を求める位相差焦点検出回路である。１１４はＤＲＡＭ等のメモリである。１１３はメモリ１１４とのインターフェースを行うメモリ制御回路である（記憶制御手段）。メモリ制御回路１１３は、後述する補正情報３０１、１２０１をメモリ１１４に記憶させる機能を有する。１１５は画像データのサイズを変倍する変倍回路である。１１６は各回路のモードやパラメータを決定するシステムコントローラである。１１８は画像データを表示するモニタである。１１７は画像データをモニタ１１８に表示させるために変調を行うビデオ変調回路である。１１９は画像データをＪＰＥＧ圧縮方式などの圧縮方式で圧縮するための圧縮回路である。１２１は圧縮回路で圧縮された画像データを記録する取外し可能なメディアカードである。１２０はメディアカード１２１とのインターフェースを行うカード制御回路である。

次に、図１に示す回路の撮像動作について説明する。なお、図１５は本第１の実施形態の補正処理の手順を示すフローチャートであり、適宜参照しながら説明する。

撮像レンズ１０１は、システムコントローラ１１６によって制御されるレンズ駆動回路１０２によって焦点調節を行うよう駆動される。撮像レンズ１０１を通過した光は、絞り１０３において適正な露出調整が行われ、撮像素子１０４において光から電気信号への光電変換が行われる。ＴＧ１０６は、ＳＳＧ１０５において生成される水平同期信号ＨＤ及び垂直同期信号ＶＤに同期して撮像素子１０４が動作するようにタイミング信号を生成し、撮像素子１０４を制御する。撮像素子１０４から出力されるアナログの画像データは、Ａ／Ｄ変換回路１０７においてデジタルの画像データに変換される。補正フラグ回路１０８において、図２におけるＲＯＭ２０１に予め記憶された補正情報に従って、傷フラグ、焦点検出用画素フラグを動作させる。

ここで、図２を用いて補正フラグ回路１０８について説明する。

ＲＯＭ２０１は、補正情報３０１を記録する。カウンタ２０３は、ＳＳＧ１０５から出力されるＨＤおよびＶＤに依存したカウンタである。コンパレータ２０４は、補正情報３０１に含まれる画素アドレス３０２の値とカウンタ２０３から出力されるカウンタ値を比較し、等しければＨｉｇｈレベルを出力し、等しくなければＬｏｗレベルを出力する。ＡＮＤ回路２０５は、コンパレータ２０４でＨｉｇｈレベルが出力された場合には補正情報３０１に含まれる傷ビット３０４を出力し、Ｌｏｗレベルが出力された場合には常にＬｏｗレベルを出力する。ＡＮＤ回路２０６は、コンパレータ２０４でＨｉｇｈレベルが出力された場合には補正情報３０１に含まれる焦点検出用画素ビット３０３を出力し、Ｌｏｗレベルが出力された場合には常にＬｏｗレベルを出力する。

カウンタ２０３は、ＳＳＧ１０５から出力される水平同期信号ＨＤ及び垂直同期信号ＶＤに従って画素数をカウントする。ＲＯＭ２０１には、図３に示すように補正情報３０１が記録されている。なお、補正情報３０１は、１画素分の情報を保持している。ここでは、３２ｂｉｔの補正情報３０１が記録される場合を例に挙げるが、本発明はこれに限定されない。補正情報３０１には、補正を行う画素の位置を示す情報である画素アドレス３０２と、焦点検出用画素ビット３０３と、傷ビット３０４とが含まれる。ここでは、画素アドレス３０２を３０ｂｉｔ、焦点検出用画素ビット３０３を１ｂｉｔ、傷ビット３０４を１ｂｉｔとするが、本発明はこれに限定されない。

傷ビット３０４は、“０”のときは画素に傷がないことを示し、“１”のときは画素に傷があることを示す。焦点検出用画素ビット３０３は“０”ときは撮像用画素を示し、“１”のときは焦点検出用画素を示す。

ここで、焦点検出用画素の構成について図４を参照して説明する。図４（ａ）は、焦点検出用画素の上面図、図４（ｂ）は焦点検出用画素の断面図を示す。図４に示すように、領域４０３及び４０４が受光部分であり、Ａ像用の第１の焦点検出用画素４０１とＢ像用の第２の焦点検出用画素４０２とで瞳が左右に対称的に分割されている。これにより、第１の焦点検出用画素４０１と第２の焦点検出用画素４０２は、撮像レンズ１０１の異なる瞳領域を通過した光束をそれぞれ受光する。

カウンタ２０３の値がＲＯＭ２０１から読み出された画素アドレス３０２と等しくなると（ステップＳ１１）、次のように動作する。即ち、傷ビット３０４及び焦点検出用画素ビット３０３の情報に従い、それぞれ欠陥の有無を示す傷フラグ（欠陥情報）及び焦点検出用画素フラグ（焦点検出用画素の位置情報）として出力する。

図１において、Ａ／Ｄ変換回路１０７から出力される画像データと、補正フラグ回路１０８から出力される傷フラグ及び焦点検出用画素フラグは、現像画素補正回路１０９及び焦点検出用画素補正回路１１０へ入力される。

補正情報３０１をＲＯＭ２０１に記憶させる必要がある画素の条件は、撮像用画素に傷がある場合、焦点検出用画素である場合及び焦点検出用画素に傷がある場合である。焦点検出用画素は、例えば、図８に示すように配置されている。焦点検出用画素Ａ像ＡＦ＿Ａ０〜ＡＦ＿Ａ２の右下には、それとペア（対）になる焦点検出用画素Ｂ像ＡＦ＿Ｂ０〜ＡＦ＿Ｂ２が配置される。例えば、焦点検出用画素Ａ像ＡＦ＿Ａ０に傷がある場合、そのペアである焦点検出用画素Ｂ像ＡＦ＿Ｂ０に傷がなくても、傷があるものとして同様の補正を行う。従って、ペアの焦点検出用画素の一方が傷である場合、そのペアである他方の焦点検出用画素の傷ビットも“１”にして、ＲＯＭ２０１に記憶させる。また、傷のある一方の焦点検出用画素だけを補正し、傷のない他方を補正せず、そのまま焦点検出のためのデータとして使用してもよい。また、焦点検出用画素に傷がある場合には、両方とも使用しなくてもよい。なお、ペアとなる画素は、最も近傍の画素には限られず、合焦状態に応じて変更されうる。

次に、図５を用いて、現像画素補正回路１０９の動作について説明する。現像画素補正回路１０９は、傷フラグまたは焦点検出用画素フラグが出力されている場合（ステップＳ１２でＮＯ）に、該当する画素の補正処理を実行する。

Ａ／Ｄ変換回路１０７から出力された画像データは、ラインメモリ５０１〜５０５に順次記憶される。補正の対象となる画像データを出力した画素（以下、「補正対象画素」と呼ぶ。）は、ラインメモリ５０１〜５０５の中心位置に来た画素、すなわちラインメモリ５０３の中心に位置する画素である。傷フラグ及び焦点検出用画素フラグは、それぞれ補正対象画素の情報を示すように遅延されている。演算回路５０６において、補正対象画素の周辺にある撮像用画素から出力された画像データを用いて、補正対象画素の画像データを補正する（ステップＳ１３）。

撮像用画素の画像データを用いて補正された画素データと置き換えられるのは、焦点検出用画素又は欠陥がある撮像用画素の画像データである。従って、セレクタ５０８において、補正フラグ回路１０８から出力された傷フラグ又は焦点検出用画素フラグが立っている画素に対しては、演算回路５０６において補正された画素データを出力する。傷フラグも焦点検出用画素フラグも立っていない画素に対しては、ラインメモリ５０３の中心に位置する補正対象画素の画像データを、演算することなくそのまま出力する。セレクタ５０８の出力は、現像処理回路１１１へ入力される。

ここで、演算回路５０６の演算方法について説明する。

図６は、Ａ／Ｄ変換回路１０７から出力された画像データがラインメモリ５０１〜５０５に記憶され、傷が付いた撮像用画素Ｒ０を補正する様子を説明する図である。なお、図６において、Ｒ、Ｇ、Ｂはそれぞれ画素に赤、緑、青のフィルターがかけられていることを示している。

撮像用画素Ｒ０の近傍にある撮像用画素Ｒ１〜Ｒ８に傷がついていないものとし、焦点検出用画素も配置されていない場合を考える。このとき、Ｒ１−Ｒ２方向、Ｒ３−Ｒ４方向、Ｒ５−Ｒ６方向、Ｒ７−Ｒ８方向のうち最も画像の相関性の高い２画素から補正を行う。例えば、Ｒ１−Ｒ２方向の相関性が最も高ければ、Ｒ０＝（Ｒ１＋Ｒ２）／２とする。

現像処理回路１１１において、現像画素補正回路１０９から出力される傷補正された画像データに対して、色変換処理、ガンマ処理、ホワイトバランス処理などの信号処理が行われ、メモリ制御回路１１３によってメモリ１１４へ書き込まれる。

次に、図１における焦点検出用画素補正回路１１０の動作について、図７を用いて説明する。焦点検出用画素補正回路１１０は、傷フラグ及び焦点検出用画素フラグが共に出力されている場合（ステップＳ１２でＹＥＳ）に、該当する画素の補正処理を実行する。

Ａ／Ｄ変換回路１０７から出力された画像データは、ＡＮＤ回路７１２において焦点検出用画素フラグが“１”である画素データが通され、ラインメモリ７０１〜７０９に順次記憶される。補正対象画素は、ラインメモリ７０１〜７０９における中心位置に来た画素、すなわちラインメモリ７０５の中心に位置する画素である。傷フラグ及び焦点検出用画素フラグは、それぞれ補正対象画素の情報を示すように遅延されている。演算回路７１４において、補正対象画素の周辺にある焦点検出用画素から出力された画像データを用いて、補正対象画素の画像データを補正する。

セレクタ７１５において、補正フラグ回路１０８から出力された傷フラグと焦点検出用画素フラグがどちらも立っているとき、すなわち傷のある焦点検出用画素に対しては、次のように動作する。演算回路７１４において補正された画素データを出力し、傷のない焦点検出用画素に対しては、ラインメモリ７０５の中心に位置する補正対象画素の画像データを、演算することなくそのまま出力する。セレクタ７１５の出力は、位相差焦点検出回路１１２へ入力される。

ここで、演算回路７１４における演算方法について説明する。

図８は、ラインメモリ７０１〜７０９に記憶された焦点検出用画素データのうち、傷がついた焦点検出用画素ＡＦ＿Ａ０を補正する様子を説明する図である。

焦点検出用画素の瞳は、図４に示したとおり左右に対称的に分割されている。このような構成は、縦縞を検出し易い性質があるため、上下の画素の相関性が高い。従って、補正対象画素の相関性を判断し（ステップＳ１４）、判断結果に基づいて、この場合には焦点検出用画素ＡＦ＿Ａ０の画像データは、上下の焦点検出用画素の画像データから補正を行うものとする（ステップＳ１５）。

焦点検出用画素Ａ像ＡＦ＿Ａ０の近傍の上下にある焦点検出用画素ＡＦ＿Ａ１及びＡＦ＿Ａ２に傷がついていない場合を考える。焦点検出用画素ＡＦ＿Ａ０の画像データの補正演算は、ＡＦ＿Ａ０＝（ＡＦ＿Ａ１＋ＡＦ＿Ａ２）／２となる。また、焦点検出用画素ＡＦ＿Ａ０のペアである傷の無い焦点検出用画素ＡＦ＿Ｂ０についても傷フラグを“１”に設定しているため、ＡＦ＿Ｂ０＝（ＡＦ＿Ｂ１＋ＡＦ＿Ｂ２）／２となる補正演算も行う。

位相差焦点検出回路１１２において、焦点検出用画素補正回路１１０から出力される傷補正された焦点検出用画素データの焦点検出を行い、その位相差情報をシステムコントローラ１１６に送る。システムコントローラ１１６は、送られた位相差情報に基づいてレンズ駆動回路１０２を制御し、撮像レンズ１０１の調整を行う。

現像処理回路１１１では信号処理を行い、メモリ１１４に記憶された画像データはメモリ制御回路１１３によって変倍回路１１５に読み出される。

変倍回路１１５では、画像データのサイズを、モニタ１１８に表示するためのサイズに変倍するか、或いはメディアカード１２１に記録するためのサイズに変倍する。

変倍された画像データは、メモリ制御回路１１３によってメモリ１１４に書き込まれる。また、変倍された画像データはメモリ１１４からビデオ変調回路１１７に読み出され、ＮＴＳＣやＰＡＬなどに変調され、モニタ１１８に画像データが表示されうる。また、変倍された画像データはメモリ１１４から圧縮回路１１９に読み出され、ＪＰＥＧなどの圧縮方式をに従い圧縮を行い、メモリ１１４に書き込まれうる。また、圧縮された画像データはメモリ１１４からカード制御回路１２０に読み出され、メディアカード１２１に書き込まれうる。

以上のように、撮像用画素と焦点検出用画素を区別するため、欠陥のある撮像用画素の画像信号は撮像用画素の画像信号で補正を行い、欠陥のある焦点検出用画素の画像信号は焦点検出用画素の画像信号で補正を行うことが可能となる。その結果、撮像用画素と焦点検出用画素の画像信号とを並列して補正処理することができる。また、焦点検出用画素のペアのうち、片方だけに欠陥がある場合でも、両方の画素から出力される画像信号に対して補正を行うことによって、焦点検出のための情報が不均衡になることを防止することができる。

なお、デフォーカス状態では、欠陥のある焦点検出用画素の画像信号を、焦点検出用画素の画像信号で補正しても、撮像用画素の画像信号で補正しても、それ程変わらない場合もある。その場合、撮像装置の合焦状態に応じて、焦点検出用画素以外の撮像用画素の画素信号に基づいて、欠陥がある焦点検出用画素の画素信号を補正するように構成されてもよい。

（第２の実施形態）
図９は、本発明の好適な第２の実施形態に係る撮像装置の回路構成図を示す。以下、図９に示す回路の撮像動作について説明する。なお、図１と同様の構成には同じ参照番号を付し、適宜説明を省略する。また、図１６は本第２の実施形態の補正処理の手順を示すフローチャートであり、適宜参照しながら説明する。なお、図１５と同様の処理には同じステップ番号を付している。

第１の実施形態と同様に、撮像レンズ１０１から入射した光は、撮像素子１０４において電気信号へ光電変換され、Ａ／Ｄ変換回路１０７においてデジタルの画像データに変換される。

補正フラグ回路１００８において、図１０におけるＲＯＭ１１０１に予め記憶させた補正情報に従って、傷フラグ、焦点検出用画素フラグ、ＡＢフラグ（画素情報）、瞳分割方向フラグ（瞳分割情報）を動作させる。

ここで、図１０を用いて補正フラグ回路１００８について説明する。

ＲＯＭ１１０１は、補正情報１２０１を記録する。カウンタ１１０３は、ＳＳＧ１０５から出力されるＨＤおよびＶＤに依存したカウンタである。コンパレータ１１０４は、補正情報１２０１に含まれる画素アドレス１２０２の値とカウンタ１１０３から出力されるカウンタ値を比較し、等しければＨｉｇｈレベルを出力し、等しくなければＬｏｗレベルを出力する。ＡＮＤ回路１１０５は、コンパレータ２０４でＨｉｇｈレベルが出力された場合には補正情報１２０１に含まれる傷ビット１２０６を出力し、Ｌｏｗレベルが出力された場合には常にＬｏｗレベルを出力する。ＡＮＤ回路１１０６は、コンパレータ１１０４でＨｉｇｈレベルが出力された場合には補正情報１２０１に含まれる焦点検出用画素ビット１２０５を出力し、Ｌｏｗレベルが出力された場合には常にＬｏｗレベルを出力する。ＡＮＤ回路１１０７は、コンパレータ１１０４でＨｉｇｈレベルが出力された場合には補正情報１２０１に含まれるＡＢビット１２０４を出力し、Ｌｏｗレベルが出力された場合には常にＬｏｗレベルを出力する。ＡＮＤ回路１１０８は、コンパレータ１１０４でＨｉｇｈレベルが出力された場合には補正情報１２０１に含まれる瞳分割方向ビット１２０３を出力し、Ｌｏｗレベルが出力された場合には常にＬｏｗレベルを出力する。

カウンタ１１０３は、ＳＳＧ１０５から出力される水平同期信号ＨＤ及び垂直同期信号ＶＤに従って画素数をカウントする。ＲＯＭ１１０１には、図１１に示すように補正情報１２０１が記録される。なお、補正情報１２０１は、１画素分の情報を保持している。ここでは、３２ｂｉｔの補正情報１２０１が記録される場合を例に挙げるが、本発明はこれに限定されない。補正情報１２０１には、補正を行う画素の位置を示す情報である画素アドレス１２０２と、瞳分割方向ビット１２０３と、ＡＢビット１２０４と、焦点検出用画素ビット１２０５と、傷ビット１２０６とが含まれる。ここでは、画素アドレス１２０２を２７ｂｉｔ、瞳分割方向ビット１２０３を２ｂｉｔ、ＡＢビット１２０４を１ｂｉｔ、焦点検出用画素ビット１２０５を１ｂｉｔ、傷ビット１２０６を１ｂｉｔとしたが、本発明はこれに限定されない。

焦点検出用画素ビット１２０５は“０”のときは撮像用画素を示し、“１”のときは焦点検出用画素を示す。傷ビット１２０６は“０”のときは傷がないことを示し、“１”のときは傷があることを示す。第１の実施形態と同様に、第２の実施形態においても、ペアの焦点検出用画素の一方が傷である場合、ペアの他方の焦点検出用画素の傷ビットを“１”にして、ＲＯＭ１１０１に記憶させる。

瞳分割方向ビット１２０３は、図１２に示すように瞳が分割される方向を示す。領域１３１１〜１３１８は受光部分である。

瞳分割方向ビット１２０３が“００”のときは、Ａ像用の焦点検出用画素１３０１及びＢ像用の焦点検出用画素１３０２として表されているように、瞳が左右方向に分割されていることを示している。

瞳分割方向ビット１２０３が“０１”のときは、Ａ像用の焦点検出用画素１３０３及びＢ像用の焦点検出用画素１３０４として表されているように、瞳が上下方向に分割されていることを示している。

瞳分割方向ビット１２０３が“１０”のときは、Ａ像用の焦点検出用画素１３０５及びＢ像用の焦点検出用画素１３０６として表されているように、瞳が第１の斜め方向に分割されていることを示している。

瞳分割方向ビット１２０３が“１１”のときは、Ａ像用の焦点検出用画素１３０７及びＢ像用の焦点検出用画素１３０８として表されているように、瞳が第２の斜めに分割されていることを示している。

また、図１２に示すように、２個の焦点検出用画素のうち一方をＡ像用、他方をＢ像用とし、Ａ像用の焦点検出用画素を補正する場合には、Ａ像用の焦点検出用画素で補正を行い、Ｂ像用の焦点検出用画素を補正する場合にはＢ像用の焦点検出用画素で補正を行う。

ＡＢビット１２０４が“０”のときは焦点検出用画素がＡ像用であることを示し、ＡＢビット１２０４が“１”のときはＢ像用であることを示す。

カウンタ１１０３の値がＲＯＭ１１０１から読み出された画素アドレス１２０２と等しくなると（ステップＳ１１）、次のように動作する。即ち、傷ビット１２０６、焦点検出用画素ビット１２０５、ＡＢビット１２０４及び瞳分割方向ビット１２０３の情報に従って、それぞれ傷フラグ、焦点検出用画素フラグ、ＡＢフラグ、瞳分割方向フラグが出力される。

図９において、Ａ／Ｄ変換回路１０７から出力される画像データはセレクタ１００９及び現像画素補正回路１０１０に入力される。補正フラグ回路１００８から出力される瞳分割方向フラグは、セレクタ１００９へ入力される。また、補正フラグ回路１００８から出力される傷フラグ、焦点検出用画素フラグ、ＡＢフラグ及び瞳分割方向フラグは、セレクタ１００９の後段の各回路１０１０〜１０１４へ入力される。

現像画素補正回路１０１０は、傷フラグまたは焦点検出用画素フラグが出力されている場合（ステップＳ１２でＮＯ）に、該当する画素の補正処理を実行する（ステップＳ１３）。なお、現像画素補正回路１０１０及び現像処理回路１０１５の動作は、第１の実施形態における現像画素補正回路１０９及び現像処理回路１１１と同様であるため、説明を省略する。

図９におけるセレクタ１００９は、補正フラグ回路１００８から出力される２ｂｉｔの瞳分割方向フラグに従って、Ａ／Ｄ変換回路１０７から出力される画像データの行き先を決定する（ステップＳ２３）。

瞳分割方向フラグが“００”のときは（ステップＳ２３で「左右」）、Ａ／Ｄ変換回路１００７から出力される画像データを上下焦点検出用画素補正回路１０１１へ入力させる。

瞳分割方向フラグが“０１”のときは（ステップＳ２３で「上下」）、Ａ／Ｄ変換回路１００７から出力される画像データを左右焦点検出用画素補正回路１０１２へ入力させる。

瞳分割方向フラグが“１０”のときは（ステップＳ２３で「第１の斜め」）、Ａ／Ｄ変換回路１００７から出力される画像データを第２の斜め方向焦点検出用画素補正回路１０１４へ入力させる。

瞳分割方向フラグが“１１”のときは（ステップＳ２３で「第２の斜め」、Ａ／Ｄ変換回路１００７から出力される画像データを第１の斜め方向焦点検出用画素補正回路１０１３へ入力させる。

そして、上述した各回路１０１１〜１０１４において、入力された画像データから焦点検出用画素を抽出し、焦点検出用画素の傷補正を行う。

図１３は、上下焦点検出用画素補正回路１０１１の回路構成を示している。なお、セレクタ１００９は省略している。従って、セレクタ１００９によってＡ／Ｄ変換回路１０７から上下焦点検出用画素補正回路１０１１に画像データが送られている場合の回路構成を示している。

Ａ／Ｄ変換回路１０７から出力された画像データは、ＡＮＤ回路１４１１において焦点検出用画素フラグが“１”である画素データが通され、ラインメモリ１４０１〜１４０９に順次記憶される。補正対象画素は、ラインメモリ１４０１〜１４０９における中心位置に来た画素、すなわちラインメモリ１４０５の中心に位置する画素である。瞳方向分割フラグ、ＡＢフラグ、傷フラグ及び焦点検出用画素フラグは、それぞれ補正対象画素の情報を示すように遅延されている。演算回路１４１３において、瞳方向分割フラグ及びＡＢフラグに従って、補正対象画素の周辺にある焦点調節用画素の画像データから補正対象画素の画像データを補正する。

セレクタ１４１４において、補正フラグ回路１００８から出力された傷フラグと焦点検出用画素フラグがどちらも立っているとき、すなわち傷のある焦点検出用画素に対しては、次のように動作する。演算回路１４１３において補正された画素データを出力し、それ以外のとき、すなわち傷のない焦点検出用画素に対しては、ラインメモリ１４０５の中心に位置する補正対象画素の画像データを、演算することなくそのまま出力する。セレクタ１４１４の出力は、横位相差焦点検出回路１０１６へ入力される。

また、図１３の回路構成図は左右焦点検出用画素補正回路１０１２、第１の斜め方向焦点検出用画素補正回路１０１３及び第２の斜め方向焦点検出用画素補正回路１０１４についても同様である。

図１４は、各回路１０１１〜１０１４におけるラインメモリ１４０１〜１４０９に記憶された焦点検出用画素データのうち、傷がついた焦点検出用画素ＡＦ＿Ａ０の画像データを補正する様子を説明する図である。Ａ像用の焦点検出用画素ＡＦ＿Ａ０の近傍にあるＡ像用の焦点検出用画素ＡＦ＿Ａ１〜ＡＦ＿Ａ８に傷がついていない場合を考える。

上下焦点検出用画素補正回路１０１１においては、次のように動作する。すなわち、図１２の焦点検出用画素１３０１及び焦点検出用画素１３０２に示したような瞳が左右に分割された焦点検出用画素の画像データの補正を行うために、瞳分割方向に垂直な上下の焦点検出用画素の画像データを用いて補正を行う（ステップＳ２４）。従って、ＡＦ＿Ａ０＝（ＡＦ＿Ａ１＋ＡＦ＿Ａ２）／２となる演算を行う。また、焦点検出用画素ＡＦ＿Ａ０のペアである焦点検出用画素ＡＦ＿Ｂ０についても傷フラグが“１”に設定されているので、ＡＦ＿Ｂ０＝（ＡＦ＿Ｂ１＋ＡＦ＿Ｂ２）／２となる演算を行う。

左右焦点検出用画素補正回路１０１２においては、次のように動作する。すなわち、図１２の焦点検出用画素１３０３及び焦点検出用画素１３０４に示したような瞳が上下に分割されている焦点検出用画素の画像データの補正を行うために、瞳分割方向に垂直な左右の焦点検出用画素の画像データを用いて補正を行う（ステップＳ２５）。従って、ＡＦ＿Ａ０＝（ＡＦ＿Ａ３＋ＡＦ＿Ａ４）／２となる演算を行う。また、ＡＦ＿Ｂ０＝（ＡＦ＿Ｂ３＋ＡＦ＿Ｂ４）／２となる演算を行う。

第１の斜め方向焦点検出用画素補正回路１０１３においては、図１２の焦点検出用画素１３０７及び焦点検出用画素１３０８に示したような瞳分割方向が第２の斜め方向に分割された焦点検出用画素の画像データの補正を行う。そのために、第２の斜め方向に垂直な第１の斜め方向の焦点検出用画素の画像データを用いて補正を行う（ステップＳ２６）。従って、ＡＦ＿Ａ０＝（ＡＦ＿Ａ５＋ＡＦ＿Ａ６）／２となる演算を行う。また、ＡＦ＿Ｂ０＝（ＡＦ＿Ｂ５＋ＡＦ＿Ｂ６）／２となる演算を行う。

第２の斜め方向焦点検出用画素補正回路１０１４においては、図１２の焦点検出用画素１３０５及び焦点検出用画素１３０６に示したような瞳分割方向が第１の斜め方向に分割されている焦点検出用画素の画像データの補正を行う。そのために、第１の斜め方向に垂直な第２の斜め方向の焦点検出用画素の画像データを用いて補正を行う（ステップＳ２７）。従って、ＡＦ＿Ａ０＝（ＡＦ＿Ａ７＋ＡＦ＿Ａ８）／２となる演算を行う。また、ＡＦ＿Ｂ０＝（ＡＦ＿Ｂ７＋ＡＦ＿Ｂ８）／２となる演算を行う。

ただし、デフォーカスした状態や遠近競合状態で、焦点検出用画素の補正を行うラインの近傍のラインに明るい被写体（輝点など）などが写っている場合などでは、瞳分割方向に垂直な方向の画素を用いて補正を行うことが有利にならない場合もありうる。

各焦点検出用画素補正回路１０１６〜１０１９において傷補正された焦点検出用画素データを使用して焦点検出を行う。

横位相差焦点検出回路１０１６、縦位相差焦点検出回路１０１７、第２の斜め方向位相差焦点検出回路１０１８及び第１の斜め方向位相差焦点検出回路１０１９において検出された位相差情報は、システムコントローラ１１６に送られる。システムコントローラ１１６は、送られた位相差情報に基づいてレンズ駆動回路１０２を制御し、撮像レンズ１０１の調整を行う。

現像処理回路１０１５において信号処理された画像データは、変倍回路１１５によりモニタ１１８に表示するためのサイズに変倍され、モニタ１１８に表示される。または、現像処理回路１０１５において信号処理された画像データは、メディアカード１１４に記録するためのサイズに変倍され、圧縮回路１１９で圧縮した後、メディアカード１１４に書き込まれる。

以上のように、焦点検出用画素の位相を区別するため、位相の精度を損うことなく、補正を行うことができる。また、焦点検出用画素ごとに瞳分割方向を区別するため、瞳分割の性質を損うことなく、補正を行うことができる。

本発明の好適な第１の実施形態に係る撮像装置のブロック図である。補正フラグ回路の回路図である。ＲＯＭに記憶させる補正情報の構成図である。焦点検出用画素のＡ像とＢ像を示す図である。現像画素補正回路の回路図である。演算回路における補正の対象画素と参照画素を示す図である。焦点検出用画素補正回路の回路図である演算回路における補正の対象画素と参照画素を示す図である。本発明の好適な第２の実施形態に係る撮像装置のブロック図である。補正フラグ回路の回路図である。ＲＯＭに記憶させる補正情報の構成図である。焦点検出用画素のＡ像とＢ像と、瞳分割方向ビットとの関係を示す図である。上下焦点検出用画素補正回路の回路図である。演算回路における補正の対象画素と参照画素を示す図である。本発明の第１の実施形態における補正処理の流れを示すフローチャートである。本発明の第２の実施形態における補正処理の流れを示すフローチャートである。

符号の説明

１０４撮像素子
１１０焦点検出用画素補正回路
１１３メモリ制御回路
４０１、４０２焦点検出用画素

Claims

撮影光学系から入射される光を受光する撮像用画素と、前記撮像用画素とは異なり、前記撮影光学系から入射される光を瞳分割して受光する焦点検出用画素とを含む撮像素子と、
メモリに記憶された前記焦点検出用画素の位置情報を前記メモリから読み出す記憶制御手段と、
欠陥がある前記焦点検出用画素について、
前記焦点検出用画素の位置情報に基づいて前記撮像素子における前記焦点検出用画素の位置を特定し、当該欠陥がある前記焦点検出用画素に対応する画素信号を、当該欠陥がある前記焦点検出用画素と隣接しない、欠陥が無い前記焦点検出用画素の画素信号を用いて、焦点検出用に生成する第１の生成と、
前記焦点検出用画素の位置情報に基づいて前記撮像素子における前記焦点検出用画素の位置を特定し、当該欠陥がある前記焦点検出用画素に対応する画素信号を、前記撮像用画素の画素信号を用いて、記録画像用に生成する第２の生成と、を行うことが可能な生成手段と、
を備えることを特徴とする撮像装置。
前記メモリには、前記撮像素子上の位置情報と関連付けられて、前記焦点検出用画素であるか否かを識別する情報、欠陥がある画素であるか否かを識別する情報を有する補正情報が記憶されており、
前記生成手段は、前記補正情報を用いて欠陥がある前記焦点検出用画素、欠陥が無い前記焦点検出用画素及び前記撮像用画素を識別し、
欠陥が無い前記焦点検出用画素に対応する画素信号を、前記撮像用画素の画素信号を用いて記録画像用に生成することを特徴とする請求項１に記載の撮像装置。
前記第１の生成によって生成される画素信号を用いて焦点検出を行う焦点検出手段と、
前記第２の生成によって生成される画素信号を用いて記録媒体に記録する記録画像を生成する生成手段と、を有することを特徴とする請求項１または２に記載の撮像装置。
前記生成手段は、前記欠陥がある前記焦点検出用画素に対応する画素信号を、当該画素信号と相関性が高い方向に位置する前記欠陥が無い前記焦点検出用画素の画素信号を用いて生成することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
前記記憶制御手段は、前記画素の欠陥の有無を示す欠陥情報をメモリに記憶させ、
前記生成手段は、前記欠陥情報に基づいて、欠陥がある前記焦点検出用画素に対応する画素信号を欠陥が無い前記焦点検出用画素の画素信号を用いて生成することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
前記焦点検出用画素は、瞳分割により、前記撮影光学系の異なる瞳領域を通過した光束をそれぞれ受光する第１の焦点検出用画素と第２の焦点検出用画素とからなる複数の対から成り、前記記憶制御手段は、前記第１の焦点検出用画素と前記第２の焦点検出用画素とを区別するための画素情報を前記メモリに更に記憶させ、
前記生成手段は、前記画素情報に基づいて、欠陥がある前記第１の焦点検出用画素に対応する画素信号を欠陥が無い前記第１の焦点検出用画素の画素信号を用いて生成し、欠陥がある前記第２の焦点検出用画素に対応する画素信号を欠陥が無い前記第２の焦点検出用画素の画素信号を用いて生成することを特徴とする請求項５に記載の撮像装置。
前記生成手段は、前記第１の焦点検出用画素及び前記第２の焦点検出用画素のいずれか一方に欠陥がある場合、前記一方の欠陥がある画素に対応する画素信号を生成することに加え、他方の欠陥が無い画素に対応する画素信号も生成することを特徴とする請求項６に記載の撮像装置。
前記記憶制御手段は、前記瞳分割の方向を示す瞳分割情報を前記メモリに更に記憶させ、
前記補正手段は、前記瞳分割情報に基づいて、前記瞳分割の方向と垂直な方向に位置する欠陥が無い前記焦点検出用画素の画素信号を用いて前記第１の生成を行うことを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
前記補正手段は、前記撮像装置の合焦状態に応じて、前記撮像用画素の画素信号に基づいて、前記欠陥がある焦点検出用画素の画素信号を補正することを特徴とする請求項８に記載の撮像装置。
前記メモリには、前記焦点検出用画素の位置、前記画素の欠陥の有無が識別可能な補正情報が記憶され、
前記生成手段は、
前記撮像素子から出力される画素信号から前記補正情報に基づいて欠陥がある画素信号を識別する識別手段と、
前記撮像素子から出力される画素信号から前記補正情報に基づいて前記焦点検出用画素の画素信号を抽出する抽出手段と、を有することを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。
前記補正情報は、前記焦点検出用画素の前記瞳分割された領域を識別する情報を有することを特徴とする請求項２または１０に記載の撮像装置。
前記補正情報は、前記焦点検出用画素の前記瞳分割の方向を識別する情報を有することを特徴とする請求項２または１０に記載の撮像装置。
撮影光学系から入射される光を受光する撮像用画素と、前記撮像用画素とは異なり、前記撮影光学系から入射される光を瞳分割して受光する焦点検出用画素とを含む撮像素子を備える撮像装置の制御方法であって、
記憶制御手段が、メモリに予め記憶された前記焦点検出用画素の位置情報を、前記メモリから読み出す工程と、
補正手段が、欠陥がある前記焦点検出用画素について、前記焦点検出用画素の位置情報に基づいて前記撮像素子における前記焦点検出用画素の位置を特定し、当該欠陥がある前記焦点検出用画素に対応する画素信号を、当該欠陥がある前記焦点検出用画素と隣接しない、欠陥が無い前記焦点検出用画素の画素信号を用いて焦点検出用に生成する第１の生成工程と、
前記補正手段が、欠陥がある前記焦点検出用画素について、前記焦点検出用画素の位置情報に基づいて前記撮像素子における前記焦点検出用画素の位置を特定し、当該欠陥がある前記焦点検出用画素に対応する画素信号を、前記撮像用画素の画素信号を用いて記録画像用に生成する第２の生成工程と、
を含むことを特徴とする撮像装置の制御方法。