JP5361535B2

JP5361535B2 - 撮像装置

Info

Publication number: JP5361535B2
Application number: JP2009125849A
Authority: JP
Inventors: 謙一郎天野
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2009-05-25
Filing date: 2009-05-25
Publication date: 2013-12-04
Anticipated expiration: 2029-05-25
Also published as: WO2010137444A1; JP2010271670A; EP2435879A1; US20120057057A1; EP2435879A4; CN102449548A; CN102449548B; KR20120016146A; US8890994B2; KR101362241B1

Description

本発明は、被写体を撮像する撮像装置であって、特に、撮像素子内に配置された焦点検出用画素の信号に基づいて焦点検出を行う撮像装置に関する。

従来より、例えば特許文献１には、撮像素子内の撮像用画素の間に焦点検出用の画素を離散的に配置した撮像装置が提案されている。特許文献１によれば、２種類の焦点検出用画素（位相差検出用画素）を撮像素子の画素の一部にそれぞれ複数配置する。図５は、特定の行に焦点検出用画素を配置した撮像素子の画素配置の一例を示す図である。図５において、Ｒ、Ｇ、Ｂはそれぞれ赤フィルタ、緑フィルタ、青フィルタが光線入射面に配置された画素であることを示す。Ｓ１およびＳ２は焦点検出用画素であり、視野が光軸中心を挟み対称で、光学特性が異なる。図５に示すように、カラーの撮像信号を得るためのＲＧＢ各色のカラーフィルタが配置された画素に混じって、焦点検出用画素を撮像素子上に配置する。

Ｓ１で示した第１の焦点検出用画素の構造を図６に示す。図６において、第１の焦点検出用画素では、最上部にマイクロレンズ５０１が配置される。５０２はマイクロレンズを形成するための平面を構成するための平滑層である。５０３は、画素の光電変換エリアの中心部から一方に偏った（偏心した）開口部を有する遮光層である。遮光層５０３は、入射光線を絞る絞りの効果を有する。５０４は、光電変換素子である。

Ｓ２で示した第２の焦点検出用画素の構造を図７に示す。図７において、図６と異なる点は、遮光層６０３の開口部が、第１の焦点検出用画素の遮光層５０３の開口部に対して、光軸中心を挟み対称の位置に設けられている点である。なお、図６と同様に、６０１はマイクロレンズ、６０２は平滑層、６０４は光電変換素子である。

図５において、第１の焦点検出用画素Ｓ１を含む行と第２の焦点検出用画素Ｓ２を含む行は、画素数が多くなるにつれて近似の像を結ぶようになる。撮像光学系を通じて画素上で被写体光のピントが合っているならば、Ｓ１を含む行の像信号とＳ２を含む行の像信号は一致する。もし、被写体光のピントがずれているならば、Ｓ１を含む行の像信号とＳ２を含む像信号には位相差が生じる。ピントがカメラ前方にずれている場合とカメラ後方にずれている場合とで、位相のずれ方が逆になる。第１の焦点検出用画素Ｓ１から撮像光学系を見た場合と第２の焦点検出用画素Ｓ２から撮像光学系を見た場合とで、あたかも光学中心に対して瞳を対称に分割したように見える。

図８はピントずれによる像の位相ずれを説明するための模式図である。図８において、第１の焦点検出用画素Ｓ１と第２の焦点検出用画素Ｓ２を抽象的に近づけてＡ、Ｂの点で示している。また、判りやすくするため、撮像のためのＲＧＢ各画素の図示を省略して、あたかも焦点検出用画素が並んでいるように示している。被写体の特定点からの光は、Ａに対応する瞳を通ってＡに入る光線束（ΦＬａ）と、Ｂに対応する瞳を通ってＢに入る光線束（ΦＬｂ）に分けられる。この２つの光束は、同じ１点からのものなので、撮像光学系のピントが撮像素子面上にあれば、図８（ａ）に示すように、同一マイクロレンズで括られる１点に到達する。しかし、例えば距離ｘだけ手前にピントがあれば、図８（ｂ）に示すように、光線の入射角の変化分だけ互いにずれる。また、距離ｘだけ奥にピントがあれば、逆方向にずれる。

したがって、Ａの並びでできる像信号とＢの並びでできる像信号は、撮像光学系のピントが合っていれば一致し、そうでなければずれる。特許文献１に記載の撮像装置は、上述の原理に基づいて、焦点検出を行う。

しかしながら、焦点検出用画素を含む撮像素子は、静止画を撮像する際に焦点検出用画素の位置に相当する画素データが欠損することになる。焦点検出用画素で得られた信号を静止画用の像信号として用いる場合、視野が異なるために、周辺の画素信号との連続性が失われ、あたかも傷があるように見えてしまう。

このような問題を解決するため、特許文献１に記載の撮像装置は、焦点検出用画素の位置に相当する像信号を周辺画素の像信号で補間するようにしている。図５に示す撮像素子の画素配置において、本撮像の像信号に含まれるＳ１、Ｓ２の部分は、周辺画素からの補間データが挿入される。図５では、撮像用のＲＧＢ各画素がベイヤ配列になっており、そのうち一部のＧ画素では代わりにＳ１、Ｓ２が備わっている。Ｓ１、Ｓ２の存在により欠損となるＧ画素のデータは、斜め隣に位置する４つのＧ画素のデータから合成Ｇ画素データを生成し、欠損となるＧ画素データに充当する。

特許第３５９２１４７号公報

ところで、従来よりデジタルカメラなどでは、液晶表示装置などに画像をライブビュー表示して、撮影者が光学ファインダーの代わりに液晶画面を見ることで構図を決めたりすることが可能となっている。このようなライブビュー表示においては、多画素化が進んでいる撮像素子の全画素の画像信号を読み出すのではなく、全画素の信号を所定の比率で間引いて読み出すことが行われる。このように画素の信号を間引くと、間引いて読み出された画像データに焦点検出用の画素が含まれていない場合があり、位相差方式による焦点検出ができない場合がある。

本発明は、上述した課題に鑑みてなされたものであり、その目的は、画素信号を間引いて読み出す場合においても、位相差方式による焦点検出を可能とすることである。

本発明に係わる撮像装置は、撮影レンズにより結像される被写体像を光電変換して画像生成用の信号を生成する撮像用画素と、複数の前記撮像用画素の間に離散的に配置され、前記撮影レンズの瞳領域を分割して、分割された瞳領域からの被写体像を光電変換して位相差検出用の信号を生成する焦点検出用画素とを有する撮像素子と、前記撮像素子の各画素の信号を読み出す読み出し手段と、前記焦点検出用画素からの位相差検出用の信号を用いて、位相差検出方式による焦点検出を行う焦点検出手段と、前記読み出し手段により、前記撮像素子の各画素の信号を間引いて読み出す場合と間引かないで読み出す場合とで、前記焦点検出手段による焦点検出に用いる前記焦点検出用画素の組み合わせを切り替える切り替え手段と、を備え、前記焦点検出用画素は、前記複数の撮像用画素の間に規則的な間隔で、前記撮像素子の各画素の信号が一定の間隔で間引かれて読み出される場合に規則的な位置の焦点検出用画素が間引かれないで読み出されるように配列されており、前記切り替え手段は、前記撮像素子の各画素の信号が間引かれて読み出される場合に、間引かれないで読み出された画素のうちで、最も近接している焦点検出用画素の組み合わせが前記焦点検出手段による焦点検出に用いられるように、前記焦点検出用画素の組み合わせを切り替えることを特徴とする。

本発明によれば、画素信号を間引いて読み出す場合においても、位相差方式による焦点検出を可能とすることができる。

本発明の一実施形態に係わる撮像装置の全体構成を示すブロック図である。焦点検出用画素の配置を示した模式図である。本発明の一実施形態に係わる撮像装置の動作を示すフローチャートである。間引き読出しを行う場合と行わない場合の焦点検出用画素の選択動作を示すフローチャートである。従来の焦点検出用画素を含む撮像素子の画素配列を示す図である。従来の第１の焦点検出用画素の構造図である。従来の第２の焦点検出用画素の構造図である。ピントずれによる像の位相ずれを説明するための模式図である。

以下、本発明の好適な一実施形態について、図面を参照して詳細に説明する。図１は、本発明の一実施形態に係わる撮像装置の全体構成を示すブロック図である。

図１において、撮像装置１００は、被写体を結像するレンズ（撮影レンズ）１０１と、レンズの焦点位置を制御するレンズ制御部１０２と、入射光量を調節する絞り１０３とを備える。さらに、撮像装置１００は、被写体像を光電変換するＣＭＯＳセンサ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）から成る撮像素子１０４を備える。撮像素子１０４は、ＲＧＢ各カラーフィルタが受光面上に設けられ撮像用の像信号の取得に用いられる画像生成用の画素から成る撮像用画素群１０５を備える。さらに、撮像素子１０４は、焦点検出に用いる互いに光学構成が光軸対称に構成された、複数組の離散的に配置された焦点検出用画素（位相差検出用画素）から成り複数の焦点検出領域に存在する焦点検出用画素群１０６を備える。さらに、撮像素子１０４は、焦点検出用画素群１０６の１対をなす各焦点検出用画素に対して撮影レンズの瞳領域を対称に分割したように光線が入射するよう入射光線を制限する瞳分割光学系１０７を備える。

さらに、撮像装置１００は、焦点検出用画素群１０６における互いに光学構成が光軸対称に構成された２種類の焦点検出用画素の像ずれ量から焦点を検出する焦点検出部１０８を備える。さらに、撮像装置１００は、撮像用画素群１０５のうち焦点検出用画素群１０６の近傍に位置する複数の画素（以下、近傍画素群と称す）から成る像信号の高周波成分の強度を検出する空間周波数検出部１０９を備える。さらに、撮像装置１００は、焦点検出用画素群１０６を用いた焦点検出結果に基づいて後述の画素補間部１１２で補間処理を行うか、空間周波数検出部１０９を用いて高周波成分の強度に基づいて画素補間部１１２で補間処理を行うか、いずれかを選択する判定切替部１１０を備える。

さらに、焦点検出用画素群１０６は、図６、図７に示すように、遮光層５０３、６０３により視野が制限されている。また、焦点検出用画素群１０６は、光線入射面にカラーフィルタを設けない。したがって、焦点検出用画素群１０６の像信号のレベルは、撮像用画素群１０５のうち焦点検出用画素群１０６の近傍に位置する複数の画素（以下、近傍画素群と称す）から成る像信号のレベルと異なってしまう。このため、撮像装置１００は、焦点検出用画素群１０６の像信号を近傍画素群の像信号のレベルに近づけるために、焦点検出用画素群１０６のゲインを調整するゲイン調整部１１１を備える。

さらに、撮像装置１００は、判定切替部１１０の判定に基づいて、焦点検出用画素群１０６の焦点検出用画素の位置に相当する画像データを、撮像素子１０４から得られた撮像用画素群１０５の像信号に基づいて補間演算で生成する画素補間部１１２を備える。さらに撮像装置１００は、撮像用画素群１０５から出力される像信号にガンマ補正、ホワイトバランス調整、リサンプリング、所定の画像圧縮符号化等を行う画像処理部１１３を備える。さらに、撮像装置１００は、画像処理部１１３から出力された画像データを表示する表示部１１４と、記録する記録部１１５を備える。さらに、撮像装置１００は、操作者の操作入力を受け付ける操作部１１６と、撮像装置１００全体を制御するカメラ制御部１１７とを備える。なお、カメラ制御部１１７は、焦点検出用画素群１０６から得られる像信号の位相差を用いて位相差検出方式のオートフォーカスを行う。

図２は、焦点検出用画素の配置を示した模式図であり、図２（Ａ）の間引きなしの場合には、Ｒ画素とＧ画素の場所の焦点検出用画素のペアで焦点検出を行う。この場合、Ｒ画素の位置に配置された焦点検出用画素がＳ１、Ｇ画素の位置に配置された焦点検出用画素がＳ２に相当する。焦点検出用画素が配置される位置は、この実施形態の例に限定されるものではないが、本実施形態では、Ｒ画素／Ｇ画素に、それぞれ焦点検出用画素のＳ１／Ｓ２に相当する画素が配置されているものとする。図２（Ｂ）の間引きありの場合には、間引いた後の画素での、Ｒ画素とＧ画素の場所の、一番近接の焦点検出用画素のペアで、焦点検出を行う。本実施形態は、３ライン毎の間引きを行っている例である。この間引きを行う際には、焦点検出用画素が含まれるように、間引きを行っている。

図３は、本実施形態の撮像装置の動作を示すフローチャートである。本実施形態の撮像装置は、操作部１１６の操作入力からＡＦ命令が生じることによりステップＳ３０１が開始される。なお、ＡＦ命令に先立ち、あらかじめ露出制御が成されているものとして説明を行う。ステップＳ３０１にて、ＡＦ命令が生じると、撮像素子１０４は焦点検出用画素群１０６の電荷蓄積を行う。蓄積完了後、撮像素子１０４は、焦点検出用画素群１０６の像信号を焦点検出部１０８へ出力する。出力後、焦点検出部１０８は焦点検出用画素群１０６におけるＳ１、Ｓ２各画素列の像ずれ量に基づいてデフォーカス量を算出し、デフォーカス量に応じてレンズ１０１の焦点位置を移動するようレンズ制御部１０２へ命令する。レンズ制御部１０２は、命令を受けてレンズ１０１の焦点位置を移動させる。Ｓ１、Ｓ２の画素ペアの選択については、図４に示す。移動後、被写体像のぼけ状態の変化のため露出条件が変化していることが考えられるため、新しい焦点位置にて露出制御を再度行い、ステップＳ３０２へ進む。

ここで、撮像素子１０４から画素信号を間引いて読み出す場合と、間引かないで読み出す場合の焦点検出用画素Ｓ１、Ｓ２の選択方法について、図４を参照して説明する。本実施形態においては、ＡＦ動作は、撮像素子１０４で逐次撮像した画像を逐次表示部１１４に表示するライブビューモードにおいて行われる。このライブビューモードでは、表示部１１４には、撮像素子１０４の画素を間引いて画素数を減らした状態の画像データを表示するのが一般的である。ただし、画素を間引かないで撮像素子１０４の画素信号を読み出し、その後の処理でデータ量を減らして表示部１１４に表示する場合もある。そのため、ＡＦ処理を行う段階で画素を間引くか間引かないかを選択し、図４に示すような動作で焦点検出用画素のペアの選択を行う。

図４でのステップＳ４０００では、間引きを行うか否かの判断を行い、行わない場合には、ステップＳ４０１０にて、間引きなし画像での焦点検出用画素のペアを選択する（図２（Ａ）参照）。一方、間引きを行う場合には、ステップＳ４０２０にて、間引き画像での焦点検出用画素のペアを選択する（図２（Ｂ）参照）。この間引き画像では、焦点検出用画素を含むように間引きが行われることになり、また、一番近接の画素同士でペアとする。その後、ステップＳ４０３０にて、選択した画素を用いて、相関演算を行い、ステップＳ４０４０で、焦点検出処理を行う。

次に、図３の説明に戻り、ステップＳ３０２では、カメラ制御部１１７が操作部１１６の操作入力から撮像命令が生じたか判断する。ステップＳ３０１のＡＦ後、撮像命令の操作入力がなされていれば、ステップＳ３０３へ進む。撮像命令の操作入力がなされていなければ、再度本ステップの判断を行う。ステップＳ３０３では、撮像素子１０４の撮像用画素群１０５および焦点検出用画素群１０６の電荷蓄積を行う。蓄積完了後、撮像素子１０４は、撮像用画素１０５の像信号を空間周波数検出部１０９と画素補間部１１２へ出力し、焦点検出用画素群１０６の像信号を焦点検出部１０８とゲイン調整部１１１へ出力する。出力後、ステップＳ３０４へ進む。

ステップＳ３０４では、撮像画面上の各測距点に対して画素補間部１１２で補間処理を行うためのカウンタが初期化される。カウンタの数値ｎはそれぞれ対応する測距点を指し示す。ステップＳ３０４では、ｎの初期値として値１が代入され、はじめに第１の測距点に対して上記補間処理が行われるよう設定される。設定後、ステップＳ３０００へ進む。

ステップＳ３０００では、該当画素の周辺同色画素の標準偏差値σを演算する。また、ステップＳ３０１０では、周辺同色画素の平均値ａを演算する。次に、ステップＳ３０２０にて、σ／ａに基づいて、ゲインの割合値Ｐと、補間補正の割合値Ｑ（＝１−Ｐ）を決定する。Ｐは、σ／ａに比例した値（ただし、０≦Ｐ≦１）とする。これにより、σが小さい時（＝空間周波数が低い場合に相当）には、ゲイン補正の割合が小さく、補間補正の割合が大きくなる。逆に、σが大きい時（＝空間周波数が高い場合に相当）には、ゲイン補正の割合が大きく、補間補正の割合が小さくなる。また、平均値ａが大きい時（＝空間周波数が低い場合に相当）には、ゲイン補正の割合が小さく、補間補正の割合が大きくなる。逆に、平均値ａが小さい時（＝空間周波数が高い場合に相当）には、ゲイン補正の割合が大きく、補間補正の割合が小さくなる。

ステップＳ３０３０では、ゲイン補正量Ｔｐを決定する。これは、該当画素に前もって定めたゲイン量αを乗じたものとする。ステップＳ３０４０にて、補間補正量Ｔｑを決定する。これは、周辺の同色画素の平均値から求めたものとする。ステップＳ３０５０では、ステップＳ３０２０で求めたゲイン補正の割合Ｐと、補間補正の割合Ｑに従って、Ｔｐ×Ｐ＋Ｔｑ×Ｑを演算し、全体補正量とする。

ステップＳ３１３では、カメラ制御部１１７が全ての測距点に対して画素補間部１１２で補間処理を行ったか否かが判断される。全ての測距点に対して補間処理を終えていなければ、ステップＳ３１４にて、次の測距点で上記処理を行うため、カウンタの値ｎを１だけ増やし、ステップＳ３０００に戻る。全ての測距点に対して処理を終えていれば、ステップＳ３１５へ進む。

ステップＳ３１５では、画像処理部１１３が、補間された画像データにガンマ補正、ホワイトバランス調整、リサンプリング、所定の画像圧縮符号化を行う。画像処理部１１３は、ガンマ補正、ホワイトバランス調整、表示用のリサンプリングが施された画像データを表示部１１４へ出力する。出力後、撮像された画像をユーザーが確認できるよう、表示部１１４は出力された画像データを表示する。また、画像処理部１１３は、ガンマ補正、ホワイトバランス調整、記録用のリサンプリング、画像圧縮符号化が施された画像データを記録部１１５へ出力する。出力後、記録部１１５は出力された画像データを記録する。以上のような動作を行うことにより、焦点検出用画素を含むように間引きを行い、相関演算を行う画素のペアを変えることにより、画像間引き時においても、適切な画素ペアで相関演算を行い、焦点検出処理を行えるようになる。

Claims

撮影レンズにより結像される被写体像を光電変換して画像生成用の信号を生成する撮像用画素と、複数の前記撮像用画素の間に離散的に配置され、前記撮影レンズの瞳領域を分割して、分割された瞳領域からの被写体像を光電変換して位相差検出用の信号を生成する焦点検出用画素とを有する撮像素子と、
前記撮像素子の各画素の信号を読み出す読み出し手段と、
前記焦点検出用画素からの位相差検出用の信号を用いて、位相差検出方式による焦点検出を行う焦点検出手段と、
前記読み出し手段により、前記撮像素子の各画素の信号を間引いて読み出す場合と間引かないで読み出す場合とで、前記焦点検出手段による焦点検出に用いる前記焦点検出用画素の組み合わせを切り替える切り替え手段と、を備え、
前記焦点検出用画素は、前記複数の撮像用画素の間に規則的な間隔で、前記撮像素子の各画素の信号が一定の間隔で間引かれて読み出される場合に規則的な位置の焦点検出用画素が間引かれないで読み出されるように配列されており、前記切り替え手段は、前記撮像素子の各画素の信号が間引かれて読み出される場合に、間引かれないで読み出された画素のうちで、最も近接している焦点検出用画素の組み合わせが前記焦点検出手段による焦点検出に用いられるように、前記焦点検出用画素の組み合わせを切り替えることを特徴とする撮像装置。