JP5986386B2 - 撮像装置及びその制御方法 - Google Patents

Description

本発明は、撮像装置に関し、更に詳しくは、撮影した画像に含まれる被写体のうち、任意の被写体に合焦し直した画像を生成可能な撮像装置に関する。

従来、撮影装置から被写体までの距離を計測する方法は多数提案されており、例えば、オートフォーカスカメラ等で用いられる手法、レンズ焦点法（Depth from focus）、ボケ解析法（Depth from defocus）等が知られている。他にも、レーザーやパターン光などを用いる手法、マイクロレンズアレイなどによる光線追跡手法、パターン化された絞りなどを用いる手法などが用いられている。

オートフォーカスカメラ等で用いられる手法では、光学系に二つ目レンズなどを用いて被写体光を距離計測用素子等に結像させて、距離計測を行う。レンズ焦点法では、フォーカスレンズを随時移動し、観測する映像が画面上で最も鮮鋭になったときの距離を推定距離として求める。ボケ解析法では、画像のボケ具合を解析し、ボケ量と距離の関係から推定距離を求めるている。

また、レーザーやパターン光などを用いた手法としては、レーザー光を実際の被写体に当て、反射して帰ってきた光の飛行時間を計測し距離計測を行う手法（Time of flight（ＴＯＦ）法）がある。また、被写体に写ったレーザー光やパターン光を撮影した観測画像から、三角測量法や照度分布法を用いて、推定距離を求めることができる。

非特許文献１に示される、マイクロレンズアレイなどを用いた光線追跡手法では、撮影される光線の角度情報を観測画像から解析することによって、推定距離を求める。更に、特許文献１や非特許文献２で示される、パターン化された絞りなどを用いる手法では、パターン化された絞りを用いて観測画像を取得し、観測画像を絞りのパターンに基づいて解析することで、距離画像及び合焦画像を求める。

特許第２９６３９９０号明細書 Light Field Photography with a Hand-held Plenoptic Camera/Ren Ng, Marc Levoy, Mathieu Br´edif, Gene Duval, Mark Horowitz, Pat Hanrahan/Stanford University, Duval Design/SIGGRAPH2005 Image and Depth from a Conventional Camera with a Coded Aperture/Anat Levin, Rob Fergus, Fr´edo Durand, William T. Freeman/Massachusetts Institute of Technology, Computer Science and Articial Intelligence Laboratory/SIGGRAPH2007

しかしながら、上述した従来の手法にはいくつか問題点があった。まず、オートフォーカスカメラ等で用いられる位相差方式は、撮影用ＣＭＯＳセンサ以外に、距離計測用素子や距離計測用光学系等が必要となる。また、観測画像上の数点ないし数十点の距離しか距離計測を行うことができないため、距離画像を得るのは難しい。レンズ焦点法は、フォーカスの移動を必要とし、フォーカスレンズの機械的駆動を伴うため、距離画像の取得に時間がかかる。ボケ解析法は、テレセントリック光学系によって発生するボケと結像の関係を用いているため、レンズ設計の自由度が低い。

レーザーやパターン光などを用いる手法は、アクティブ法と呼ばれ、高精度な距離計測が可能ではあるが、レーザーやパターン光を必要とするために、レーザーやパターン光を使用不可な環境下においては、使用することができない。マイクロレンズアレイなどによる光線追跡手法は、撮影される光の角度情報を取得する分、合焦画像の空間解像度の低下が発生する。

特許文献１に開示されているパターン化された絞りなどを用いる手法では、距離画像と合焦画像が得られるが、テレセントリック光学系を用いており、更にピンホール開口を用いた絞りによって実施されているため、光量の低下という問題がある。非特許文献２に開示されている方法では、距離画像と合焦画像が得られるが、画像処理を行う過程で、ＭＡＰ推定による劣化画像復元処理を距離解像度の数だけ実施している。ここで特許文献１及び非特許文献２に開示されている方法について、図１６を参照して簡単に説明する。

図１６（ａ）は、特許文献１に開示された光学系を示している。ボケの量と結像の大きさの関係を保つ為に、１２０３で示す位置に、図１６（ｂ）に示す２つのピンホールを有する開口マスクを絞りとして使用している。この場合、実質的なＦ値が大きいために光量が少なく、露光時間が長くなるという問題点が存在する。

また、１２０４、１２０５、１２０６に示す位置でＣＭＯＳセンサにより合焦状態が異なる観測画像を複数枚得ている。これを実現するには、フォーカス位置を機械的手段を用いて動かすか、分光などの光学的手段を用いる必要があり、機械的稼動の制約（フォーカス移動時間）や、光学系的手段の制約（光学系の大きさ）等の問題が存在する。

また、図１６（ｃ）は、パターン化された絞りなどを用いる手法の一つである非特許文献２に開示された光学系を示している。通常のデジタルカメラの光学系の絞りの位置１２０８に、図１６（ｄ）に示すパターン化された絞り符号化開口マスクが配置され、ＣＭＯＳセンサ１２０９によって観測画像の撮影が行われる。

非特許文献２の距離測定の手法では、図１６（ｄ）に示す開口マスクによって得られた観測画像に対して劣化復元処理を行う際に、予め測定しておいた被写体までの距離に応じたＰＳＦ（点像分布関数）を用いてボケを含まない画像を演算する。そして、ボケを含まない最適な画像を生成することが可能なＰＳＦの被写体までの距離を推定距離とする手法である。以下に示す式（１）は、この手法で開示されている劣化画像復元処理を行うための数式である。

なお、式（１）において、xは復元画像、hは光学伝達特性、yはボケを含まない推定復元画像、λはρ項調整用パラメータ、ρ(∇x_i)はラプラシアンフィルタ、ｘを○で囲んだ記号は畳み込み演算子を示す。
劣化画像復元処理では、式（１）で示される畳み込み演算を含む繰り返し演算を行うことにより、ボケを含まない推定復元画像yを算出する。以上のような方法により、ボケを含まない最適な画像を生成することが可能となる。

しかしながら、非特許文献２の構成では、特殊な絞りが内蔵されたレンズのみにしか対応できないという欠点があった。

本発明は上記問題点を鑑みてなされたものであり、特殊開口パターンを有するレンズを用いずに、一般のレンズを用いた場合であっても、撮影した画像を処理することで、当該画像に含まれる被写体のうち、任意の被写体に合焦し直した画像を生成できるようにすることを目的とする。

上記目的を達成するために、本発明の撮像装置は、第１の開口パターンを有する第１の光電変換部と、前記第１の開口パターンとは異なる第２の開口パターンを有する第２の光電変換部を含む複数の画素から成る撮像素子と、撮影光学系の光学伝達特性を用いて、前記撮像素子から得られた画像の予め決められた領域毎にボケ特性を解析することにより、前記領域毎の被写体までの距離を演算する距離演算手段と、前記画像と、前記領域毎の距離とに基づいて、前記画像に含まれる各被写体に合焦した合焦画像を生成する合焦画像生成手段と、前記領域毎の距離と、前記合焦画像とから、指定されたボケ状態の画像を生成するリフォーカス画像演算手段とを有する。

本発明によれば、特殊開口パターンを有するレンズを用いずに、一般のレンズを用いた場合であっても、撮影した画像を処理することで、当該画像に含まれる被写体のうち、任意の被写体に合焦し直した画像を生成することが可能になる。

本発明の実施の形態に係る撮影装置であるカメラの概略構成を示す図。 第１の実施形態における撮像素子の２つ分の画素の平面図。 第１の実施形態における１画素の断面図。 第１の実施形態における撮像素子の回路図。 第１の実施形態における画素部の半導体構成の概念図及び配線部の断面図。 第１の実施形態における撮像素子の動作を説明するタイミングチャート。 第１の実施形態における撮影光学系の射出瞳上での透過パターン形状を示す図。 第１の実施形態における観測画像と合焦画像と距離画像を示す図。 第１の実施形態において画像演算回路及びＣＰＵにより行われる処理及びデータの流れを示す機能ブロック図。 第１の実施形態における光学伝達特性-推定距離テーブルを示す図。 第１の実施形態における距離画像算出処理のフローチャート。 第１の実施形態における推定距離と誤差評価値の関係の一例を示すグラフ。 第２の実施形態における撮像素子の１画素の平面図。 第２の実施形態における１画素の断面図。 第２の実施形態における撮影光学系の射出瞳上での透過パターン形状を示す図。 従来の距離測定の手法を説明するための図。

以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。

＜第１の実施形態＞
図１は本発明に係る撮影装置２００であるカメラの概略構成を示す図である。図１において、第１レンズ群１０１は撮影光学系（結像光学系）１００の先端に配置され、光軸方向に進退可能に保持される。絞り兼用シャッタ１０２は、その開口径を調節することで撮影時の光量調節を行うほか、静止画撮影時には露光秒時を調節する機能も備える。絞り兼用シャッタ１０２及び第２レンズ群１０３は、一体となって光軸方向に進退し、第１レンズ群１０１の進退動作との連動により、変倍作用（ズーム機能）を成す。

第３レンズ群１０５は、光軸方向の進退により、焦点調節を行う。光学的ローパスフィルタ１０６は、撮影画像の偽色やモアレを軽減するための光学素子である。撮像素子１０７はＣＭＯＳイメージセンサとその周辺回路で構成され、撮影光学系１００の予定結像面に配設されている。撮像素子１０７は、横方向ｍ画素、縦方向ｎ画素に配列された受光画素を複数有し、当該受光画素上に、ベイヤー配列の原色カラーモザイクフィルタがオンチップで形成された、２次元単板カラーセンサが用いられる。

ズームアクチュエータ１１１は、不図示のカム筒を回動することで、第１レンズ群１０１及び第２レンズ群１０３を光軸方向に進退駆動し、変倍操作を行う。絞りシャッタアクチュエータ１１２は、絞り兼用シャッタ１０２の開口径を制御して撮影光量を調節すると共に、静止画撮影時の露光時間制御を行う。フォーカスアクチュエータ１１４は、第３レンズ群１０５を光軸方向に進退駆動して焦点調節を行う。

ＣＰＵ１２１は、撮影装置２００内でカメラ本体の種々の制御を司る。ＣＰＵ１２１は、例えば、演算部、ＲＯＭ、ＲＡＭ、Ａ／Ｄコンバータ、Ｄ／Ａコンバータ、通信インターフェイス回路等を有する。そして、ＣＰＵ１２１は、ＲＯＭに記憶された所定のプログラムに基づいて、撮像装置が有する各種回路を駆動し、ＡＦ、撮影、画像処理及び記録等の一連の動作を実行する。

撮像素子駆動回路１２４は、撮像素子１０７の撮像動作を制御すると共に、取得した画像信号をＡ／Ｄ変換してＣＰＵ１２１に送信する。画像処理回路１２５は、撮像素子１０７が取得した画像のγ変換、カラー補間、ＪＰＥＧ圧縮等の処理を行う。

フォーカス駆動回路１２６は、焦点検出結果に基づいてフォーカスアクチュエータ１１４を駆動制御し、第３レンズ群１０５を光軸方向に進退駆動して本発明の画像処理を行わなくても焦点調節を行えるようにする。絞りシャッタ駆動回路１２８は、絞りシャッタアクチュエータ１１２を駆動制御して絞り兼用シャッタ１０２の開口を制御する。なお、本発明の画像処理における距離演算を行うための画像を取得するときには、絞りは開放にする。ズーム駆動回路１２９は、撮影者のズーム操作に応じてズームアクチュエータ１１１を駆動する。

画像演算回路２０１は、撮像素子１０７が取得した画像から、光学伝達特性算出、距離演算、ボケ復元、リフォーカス画像演算などの画像処理に関わる演算をＣＰＵ１２１と共に行う。

次に、本第１の実施形態における撮像素子１０７の画素の構成について説明する。

図２は、撮像素子１０７の２つ分の画素３０を示す平面図で、光電変換部及びその周辺の様子を示す。撮像素子１０７の各画素３０は、一層目ポリＳｉ電極１９ａ、１９ｂの２つの特殊パターンが配置されている。またポリＳｉ電極１９ａ、１９ｂの下に、ポリＳｉ電極１９ａ、１９ｂとほぼ同じ形状の光電変換部１ａ、１ｂが形成されている。また各光電変換部１ａ、１ｂの端部にはそれぞれ転送ゲート３ａ、３ｂ、及びフローティングデフュージョン（ＦＤ）部２１が設けられている。ここで示した例では、一層目ポリＳｉ電極１９ａ、１９ｂ及び、転送ゲート３ａ、３ｂは各画素毎にそれぞれ配置されているが、ＦＤ部２１は隣接する画素の転送ゲート３ａ、３ｂに対し、共通化されている。

図３は、図２に示す１画素３０のＡ−Ａ’断面図を示している。図３に示すように、各画素は、マイクロレンズ４０、一層目ポリＳｉ電極１９ａ、１９ｂ下に形成された受光領域である光電変換部１ａ、１ｂ、層間絶縁膜６０、電極７０、カラーフィルタ８０、平坦化膜９０を含んで構成される。撮影光学系１００を透過した被写体光は、撮像素子１０７近傍に集光し、更に、マイクロレンズ４０で屈折されて、光束５０が光電変換部１ａ、１ｂ近傍に集光する。ここで、マイクロレンズ４０のパワーは、撮影光学系１００の瞳と光電変換部１ａ、１ｂの表面が略共役になるように設定されている。

本第１の実施形態では、図２に示す光電変換部１ａ、１ｂの特殊パターン開口がマイクロレンズ４０を介して撮影光学系１００の射出瞳位置上に投影され、特殊パターンの瞳領域を受光するように構成されている。

図４は、本第１の実施形態における撮像素子１０７を示す回路図で、例えば、本発明人による特開平０９−０４６５９６号公報等に開示された技術を好適に用いることができる。図４では、図２に示す構成を有する２画素分の回路を示しているが、実際には、図４に示すような画素を多数配置して、高解像度画像の取得を可能としている。なお、本第１の実施形態においては、画素ピッチが２μm、有効画素数が横３０００列×縦２０００行の６００万画素、撮像画面サイズが横６ｍｍ×縦４ｍｍの撮像素子として説明を行う。

図５は、図２に示す画素３０の半導体構成の概念図及び配線部の断面図、図６は、撮像素子１０７の各画素３０の各光電変換部１ａ、１ｂから独立読み出しを行う場合の動作を説明するためのタイミングチャートである。

図４及び図５に示すように、各画素３０は、Ｐ型ウェル１７に構成された、ＭＯＳトランジスタゲートと、ゲート下の空乏層からなる２つの光電変換部１ａ及び１ｂ、フォトゲート２、転送スイッチＭＯＳトランジスタ（転送ゲート）３ａ及び３ｂを有する。光電変換部１ａ、１ｂの隙間には、ポテンシャル障壁を持たせることにより電荷の漏れ込み極力抑えるようにしている。また、光電変換部１ａ、１ｂの上には、ゲート酸化膜１８を介して、一層目ポリＳｉ電極１９ａ、１９ｂが構成されている。光電変換部１ａ、１ｂにより生成した電荷は、二層目ポリＳｉ電極２０ａ、２０ｂを有する転送スイッチＭＯＳトランジスタ３ａ、３ｂを介して、ｎ+のＦＤ部２１に転送される。２つの転送スイッチＭＯＳトランジスタ３ａ、３ｂのドレインとＦＤ部２１を共通化することにより、微細化とＦＤ部２１の容量低減による感度向上を図っているが、アルミニウム（Ａｌ）配線でＦＤ部２１を接続しても良い。

そして、ソースフォロワアンプＭＯＳトランジスタ５、水平選択スイッチＭＯＳトランジスタ６、ソースフォロワの負荷ＭＯＳトランジスタ７により、ＦＤ部２１に転送された電荷を増幅した電圧信号を垂直出力線ＶＬに読み出す。ＦＤ部２１はリセット用ＭＯＳトランジスタ４を介して、電源電圧Ｖ_DDにリセットされる。

上記構成を有する画素３０の光電変換部１ａ及び１ｂからそれぞれ電荷を読み出す場合、まず、図６の時刻Ｔ₀より前に、垂直走査回路１６からのタイミング出力によって、制御パルスφＬをハイとして垂直出力線ＶＬをリセットする。更に、制御パルスφＲ₀、φＰＧ₀をハイとし、リセット用ＭＯＳトランジスタ４をオンとし、フォトゲート２の一層目ポリＳｉ電極１９ａ、１９ｂをハイとしておく。

そして、時刻Ｔ₀において、制御パルスφＳ₀をハイとし、選択スイッチＭＯＳトランジスタ６をオンさせ、第１ラインの画素を選択する。次に時刻Ｔ₁において、制御パルスφＲ₀をローとし、ＦＤ部２１のリセットを止め、ＦＤ部２１をフローティング状態とし、ソースフォロワアンプＭＯＳトランジスタ５のゲート・ソース間をスルーとする。その後、時間Ｔ₂の間、制御パルスφＴ_Nをハイとして暗出力転送ＭＯＳトランジスタ８を導通させ、ＦＤ部２１の暗電圧をソースフォロワ動作で暗出力蓄積容量Ｃ_TN１０に出力させる。

次に、第１ラインの画素３０の内、光電変換部１ａから出力を行うため、時間Ｔ₃の間、第１ラインの制御パルスφＴＸ_0aをハイとして転送スイッチＭＯＳトランジスタ３ａを導通する。また、時間Ｔ₃の間に、制御パルスφＰＧ₀をローとして下げる。この時フォトゲート２の下に拡がっていたポテンシャル井戸のポテンシャルを上げて、光発生キャリアをＦＤ部２１に完全転送させるような電圧関係が好ましい。従って完全転送が可能であれば制御パルスφＴＸはパルスではなくある固定電位でもかまわない。

このように光電変換部１ａの電荷がＦＤ部２１に転送されることにより、ＦＤ部２１の電位が、光による電荷の発生量に応じて変化することになる。この時、ソースフォロワアンプＭＯＳトランジスタ５がフローティング状態であるので、時間Ｔ₄の間、制御パルスφＴ_sをハイとして明出力転送ＭＯＳトランジスタ９を導通させ、ＦＤ部２１の電位を明出力蓄積容量Ｃ_TS１１に出力する。この時点で第１ラインの画素３０の暗出力と、光電変換部１ａの明出力がそれぞれ暗出力蓄積容量Ｃ_TN１０と明出力蓄積容量Ｃ_TS１１に蓄積される。

時刻Ｔ₅において、制御パルスφＨＣを一時ハイとして水平出力線リセットＭＯＳトランジスタ１３を導通して水平出力線をリセットする。その後、水平転送期間において水平走査回路１５の走査タイミング信号により、走査信号φHを順次ハイとして水平転送ＭＯＳトランジスタ１２を導通させる。これにより、暗出力蓄積容量Ｃ_TN１０に蓄積された暗出力と、明出力蓄積容量Ｃ_TS１１に蓄積された明出力とが水平出力線に出力される。この時、差動増幅器１４によって、暗出力蓄積容量Ｃ_TN１０と明出力蓄積容量Ｃ_TS１１との差動出力Ｖ_OUTを取れば、画素のランダムノイズ、固定パターンノイズを除去したＳ／Ｎの良い信号が得られる。

また、時刻Ｔ₅において、第１ラインの画素の内、光電変換部１ｂから出力を行うために、制御パルスφＬをハイとして垂直出力線ＶＬをリセットする。更に、制御パルスφＲ₀を再びハイとしてリセット用ＭＯＳトランジスタ４を導通し、ＦＤ部２１を電源電圧Ｖ_DDにリセットする。

そして、時刻Ｔ_６において、制御パルスφＲ₀をローとし、ＦＤ部２１のリセットを止める。これ以降、制御パルスφＴＸ_0aの代わりに制御パルスφＴＸ_0bをハイにすること以外、光電変換部１ａから出力を行う場合と同様の制御を行う。

以上の駆動により、各画素の光電変換部１ａ、１ｂからの読み出しを夫々独立に行うことができる。この後、垂直走査回路１６を走査させ、同様にして第２ｎ＋１、第２ｎ＋２（ｎ＝０，１，２，…）の読み出しを行えば、全画素の各光電変換部１ａ、１ｂからの独立読み出しが行える。

なお、図４に示す構成では、差動出力Ｖ_OUTをチップ内の差動増幅器１４で行う構成を示している。しかしながら、チップ内に含めず、撮像素子１０７の外部で従来のＣＤＳ（Correlated Double Sampling：相関二重サンプリング）回路を用いても同様の効果が得られる。

図７は撮影光学系１００の射出瞳上での透過パターン形状を示したものである。図７（ａ）は、光電変換部１ａが受光する透過パターン形状３００ａであり、図７（ｂ）は、光電変換部１ｂが受光する透過パターン形状３００ｂである。それぞれポリＳｉ電極１９a、１９ｂの特殊パターン形状に対応した形状となっているが、マイクロレンズ４０の形状が小さいために、光の回折現象により開口エッジ部はなだらかな特性となる。

なお、本第１の実施形態では、開口パターンが２つの場合を示すが、開口パターンを２つ以上用いてもよい。その場合、複数枚の観測画像が得られるので、その中から２枚を選択し、以下に説明する本第１の実施形態と同様の手法で距離画像及び合焦画像及びリフォーカス画像を得ることができる。更に、距離画像及び合焦画像の演算を、２枚の選択のすべての組み合わせについて行い、演算結果を平均化することで、演算精度を高めることが可能である。

なお、以下のような条件を満たすように開口パターンを選択することで、距離演算及び合焦復元処理の演算精度を高めることができる。
１．ボケの大きさに関わらず高周波域のゲインが落ちないこと
２．複数の開口パターンの周波数特性においてゲインの零点が同一周波数において重ならないこと
３．開口面積をなるべく大きくして露光に必要な光量を得ること

上記条件を満たす絞りパターンは複数考えられるが、本第１の実施形態では、図２に示したような開口マスクのパターンを選択する。
次に、本第１の実施形態に関連する画像データについて示す。図８は、観測画像と合焦画像と距離画像を示している。図８（ａ）及び（ｂ）はそれぞれ、観測画像im₁及び観測画像im₂を示しており、それぞれ、特殊パターンの光電変換部１ａ、１ｂを用いて撮影されている。これらは同一の画角の写真ではあるが、ボケ特性に違いがある観測画像となる。図８（ｃ）は、距離画像を示している。距離画像とは、被写体までの距離を値とした、観測画像と同一平面の２次元配列データである。観測画像と同一画角で、かつ画素毎の輝度値が距離を示している。図８（ｃ）に示す例では、輝度が高いほど近い距離、輝度が低いほど遠い距離を示している。

本第１の実施形態では、観測画像上のドットと対応する距離画像上のドットは、被写体の同一地点上の特性を示しているが、観測画像と距離画像の位置関係が認識できるのであれば、観測画像と距離画像の空間解像度は違っていても構わない。

図８（ｄ）は、合焦画像を示している。合焦画像は、観測画像im₁及びim₂と同一画角ではあるが、ボケ特性を含まない画像、すなわち、画像に含まれるすべての被写体に合焦した画像である。つまり、合焦画像は、画像上にボケ状態を含まない画像のことであり、被写界深度が無限大の画像に相当する。本第１の実施形態では、更に、距離画像と合焦画像とから、フォーカスに関連するパラメータを変更したリフォーカス画像を生成し、撮影後に任意のボケ状態を有する画像を作成する。

図９は、画像演算回路２０１及びＣＰＵ１２１により行われる処理及びデータの流れを示す機能ブロック図である。以下、図９を参照して、第１の実施形態におけるリフォーカス画像の生成処理について説明する。

上述した撮像素子１０７の光電変換部１ａ、１ｂにより観測画像im₁、im₂が撮影されると、それぞれのデータは距離・最適光学伝達特性演算部２０２及びボケ復元部２０３（合焦画像生成手段）に入力する。

光学伝達特性算出部２１０は、被写体との距離による光学伝達特性を算出する。光学伝達特性は、数式を用いて算出を行っても良いし、テーブルとして離散値を保持しても良い。本第１の実施形態では、離散値を補間する手法を用いているが、類似する他の手法を用いても良い。

距離・最適光学伝達特性演算部２０２は、観測画像im₁、im₂を用いて距離画像３００の算出を行う。また、距離・最適光学伝達特性演算部２０２は、離散的に算出される被写体までの推定距離を更に精度良く演算する。ボケ復元部２０３は、距離・最適光学伝達特性演算部２０２からの距離画像３００と、観測画像im₁、im₂のデータとを入力し演算することで、合焦画像３１０の算出を行う。

リフォーカス画像演算部２０４は、合焦画像３１０と距離画像３００のデータを入力し演算することで、リフォーカス画像３２０の算出を行う。なお、リフォーカス画像演算部２０４は、リフォーカス画像３２０の生成時に、カメラパラメータ（フォーカス距離やＦナンバーなど）を設定することも可能である。

本第１の実施形態では、距離画像３００と合焦画像３１０から任意のフォーカス位置の画像や任意の被写界深度の画像、更に収差を再現した画像などのリフォーカス画像を作成することができる。なお、どのようなボケ状態のリフォーカス画像を作成するかは、例えば、ユーザが不図示の操作部から指定したり、被写界深度を予め決めておき、自動的に主被写体を検出して合焦させるようにしてもよく、どのようにボケ状態を指定しても構わない。また、リフォーカス画像の作成手法に関しては既知であるので、これらを流用してリフォーカス画像を得ることができる。

次に、本第１の実施形態における距離算出のためのアルゴリズムを示す。ここでは、図２に示すような２つの開口マスクを用い、観測画像を２枚撮影した場合の例を示す。開口マスク１で撮影をした観測画像をim₁、開口マスク２で撮影をした観測画像をim₂とし、開口マスク１によるＰＳＦ（点像分布関数）をh_a、開口マスク２によるＰＳＦをh_b、合焦画像をsとすれば、以下の式（２）が成り立つ。

なお、式（２）において、×を○で囲んだ記号は、畳み込み演算子を示す。
式（２）をフーリエ変換すると、式（２）は式（３）となる。このときIM₁、IM₂、H_a、H_b、Sは、それぞれim₁、im₂、h_a、h_b、sの周波数特性を示す。

式（３）の合焦画像Ｓは共通な項であるため、式をまとめると式（４）を導くことが出来る。
IM₁・H_b - IM₂・H_a = 0 …（４）

式（４）から、開口マスク１で撮影した観測画像im₁に開口マスク２のＰＳＦによる畳み込み演算をした結果と、開口マスク２で撮影した観測画像im₂に開口マスク１のＰＳＦによる畳み込み演算をした結果は、同じになることが分かる。
しかし、実際には、誤差や結像の状態によって、完全には、式（４）の左辺が０にならないので、以下の式（５）から距離を求める。

ここで、式（５）式を満たす状態を考察する。IM₁及びIM₂は、式（３）より、H_a・Ｓ及びH_b・Ｓである為、適切なH_a及びH_bを式（５）に代入できれば、

が最小になる。
光学伝達特性H_a、H_bは、被写体までの距離に依存し、ある距離におけるH_aとH_bの組は、距離に対して一意に決まる。そこで、予め被写体までの距離ｚと光学伝達特性H_a及びH_bの関係を、テーブルとして保持しておき、H_a及びH_bを代入することで推定距離z(^)を求めることが可能になる。このとき、H_a及びH_bは設計値を用いてもよいし、実測値を用いてもよい。つまり、H_a及びH_bは、被写体までの距離に依存するため、式（６）は、式（７）として表すことができる。

そして、H_a及びH_bのテーブルを以下の式（８）のように表すことができる。

式（８）のテーブルを用いて、式（６）が最小値になるzを求めることによって、式（７）を満たす推定距離z(^)が求まる。なお、式（８）は、後述する図１０で示す光学伝達特性−推定距離テーブルと同様のものである。
次に、本第１の実施形態で使用されるデータテーブルに関して説明する。図１０は、光学伝達特性−推定距離テーブルを示したものである。図１０の光学伝達特性−推定距離テーブルは、被写体までの距離zにおけるＰＳＦの周波数変換した光学伝達特性を記載したものである。この光学伝達特性−推定距離テーブルは、光学伝達特性算出部２１０によって使用されるデータテーブルであり、詳細は後述する。光学伝達特性は設計値を使用しても良いが、本第１の実施形態では実測値を用いている。実測した光学伝達特性を用いることによって、ノイズの影響や光学的収差などの影響に対してキャリブレーションを行うことができる。

図１０において、被写体距離６０１は、被写体への距離である。光学伝達特性６０２及び光学伝達特性６０３は、被写体がzだけ離れた地点に存在する場合の光学伝達特性を示す。６０２は、被写体の距離zに応じた光学伝達特性H_aである。光学伝達特性H_aは、光電変換部１ａの開口マスク１に対応する光学伝達特性である。同様に、６０３は、被写体の距離zに応じた光学伝達特性H_bである。光学伝達特性H_bは、光電変換部１ｂの開口マスク２に対応する光学伝達特性である。光学伝達特性は、光軸からの距離や光軸からの方向によって変化するため、光学伝達特性をレンズの位置に応じて保持しても良い。また、フォーカス位置によっても変化するので、必要なテーブルは保持しておく。上記の様に、距離による開口マスクの光学伝達特性を保持する。

本第１の実施形態では、光学伝達特性H_a及びH_bの２つを保持しているが、開口マスクの数が３つ以上ある場合は、これに応じて増やせば良い。

次に、本第１の実施形態の距離画像算出処理について、図１１のフローチャートを参照して説明する。

Ｓ１０１において、距離・最適光学伝達特性演算部２０２に観測画像im1、im2が入力される。次にＳ１０２で、観測画像im1、im2から、観測画像よりも小さいウインドサイズの画像（wx, wy）を、観測画面上の位置（x, y）上で切り出す。観測画像im1、im2からそれぞれ切り出した画像を小画像i1、i2とする。この切り出した小画像について、推定距離zの測定を行う。推定距離zの算出は、ＰＳＦ（点像分布関数ha, hb）の撮像素子１０７上での最大の大きさが、小画像i1、i2のウィンドウサイズ(wx, wy)以上だと（２）の式が成立せず、被写体の距離判定が正しくできない。従って、これらの事象を考慮してwx,wyを決定する必要がある。

次にＳ１０３において小画像i₁、i₂をフーリエ変換して、I₁及びI₂を算出する。また、参照カウンタであるmに0を代入する。Ｓ１０４で光学伝達特性算出部２１０を呼び出して、図１０に示す光学伝達特性−推定距離テーブルから、参照カウンタmに対応する被写体距離z_m及び光学伝達特性H_am及びH_bmを取得する。

次に、Ｓ１０５で以下の式（９）を演算し、誤差評価値e_mを得る。
e_m = I₁×H_bm - I₂×H_am …（９）

後述するように、誤差評価値e_mを最小にするz_mが推定距離z(^)となる。式（９）は、誤差評価値e_mによって式（７）を評価するために用いられる。この誤差評価値e_mは、全ての被写体距離について評価する必要があるため、Ｓ１０６で参照カウンタｍが光学伝達特性−推定距離テーブルに保持された被写体距離の数を示す閾値Th以上かどうかを判断する。参照カウンタｍが閾値Th未満であれば、Ｓ１０７に進んでｍを１増加させた上で、Ｓ１０４以降の処理を繰り返す。
全ての被写体距離について演算が終了すると（Ｓ１０６でＹＥＳ）、Ｓ１０８にて、誤差評価値e_mを最小にするmを求める。

次に、Ｓ１０９で、誤差評価値e_mを最小にするmに対応する推定距離zを決定する。図１２は、これらの関係を示す推定距離と誤差評価値の関係の一例を示すグラフである。図１２に示す例では、誤差評価値e_mは、z₄（m=4）の時に最小値となっている。その為、z₄で示される距離を推定距離z(^)として良い。しかし、図１０で示される光学伝達特性−推定距離テーブルでは、被写体距離z_mが離散値となって得られる。そこで、９０１で示すように最小二乗近似等を用いて最小値e_mを算出し、それに対応する推定距離z(^)を求めることで、より精度の高い距離を求めても良い。以上のようにして、ウィンドウサイズ(wx,wy)の小画像i₁、i₂における被写体への距離の演算を行う。

Ｓ１１０で、算出された推定距離z(^)を距離画像の座標（x, y）の画素の距離値とする。Ｓ１１１で、Ｓ１０２〜Ｓ１１０までの工程が画像上の全ての画素に対して行われたかどうかを判断し、行われていれば処理を終了し、行われていなければＳ１１２で次の画素に移動し、S１０２に戻る。なお、本第１の実施形態では、画素毎に距離値を求める場合について説明したが、例えば、２×２画素毎に求めるなど、予め決められた領域毎に距離を求めるようにしてもよい。

なお、本第１の実施形態は、誤差評価値e_mを順次増加させて演算し、最小値を求めたが、二分探索法などを用いて、高速に誤差評価値e_mの最小値を求めることもできる。また、式（９）により誤差評価値e_mを周波数領域で演算しているが、以下のような式（１０）を用いることで、空間領域での演算をすることも可能である。

ただし、i₁, h_bm ,i₂, h_amをそれぞれ、観測画像im₁、観測画像im₂の点像分布関数、観測画像im₂、観測画像im₁の点像分布関数とする。以上の様にして演算処理（ボケ特性の解析）を行うことで、距離画像を得ることができる。
次に、本第１の実施形態における合焦画像算出のためのアルゴリズムを説明する。合焦画像は、上述した式（３）より算出できる。式（３）を変形すると、式（１１）が求まる。

しかし、実際には、式（１１）では、光学伝達特性H_a及びH_b内で零もしくは零に近い値を持つ場合があり、除算が正確に行われない可能性がある。そこで、推定合焦画像のフーリエ変換をS(^)とすれば、式（１２）を用いて推定合焦画像S(^)を求めることができる。

ただし、H₁=H_a,H₂=H_bとする。
式（１２）のW_mは、ある空間周波数において、フーリエ変換された観測画像IM₁、IM₂のどちらのスペクトルが高いかを示す重み付け係数である。すなわち、

W_mは、式（１３）を満たすことで、空間周波数応答に零点が存在しても、正しく合焦画像を復元することができる。
なお、本第１の実施形態では、開口パターンが２つの場合であって、観測画像が２画像の場合を示しているが、開口パターンが２つ以上であっても同様に演算することが可能である。

以上のようにして、合焦画像を得ることができる。なお、リフォーカス画像演算部２０４で用いられる距離画像及び合焦画像からのリフォーカス画像生成に関しては、既知のアルゴリズムを用いることができるため、説明を省略する。

＜第２の実施形態＞
次に、本発明の第２の実施形態について図１３〜図１５を参照して説明する。なお、撮像装置の概略構成は図１と同様であるため説明を省略する。ただし、本第２の実施形態では、第１の実施形態と異なる開口パターンを用いている。

図１３は、第２の実施形態における２×２の画素の電極部分を撮像素子１０７の上面から見たパターンを示す図である。図１３中、５００、５１０、５２０は電極であり、電極５１０及び５２０で区切られた領域が１画素を示しており、各画素中に書かれた「Ｒ」「Ｇ」「Ｂ」の文字は各画素のカラーフィルタの色相を表している。「Ｒ」の文字の書かれた画素は赤の成分の光を透過し、「Ｇ」の文字の書かれた画素は緑の成分の光を透過し、「Ｂ」の文字の書かれた画素は青の成分の光を透過する。また、各画素は、電極５００（遮光手段）の特殊パターン開口がマイクロレンズを介して撮影光学系１００の射出瞳位置上に投影され、特殊パターンの瞳領域を透過した光を受光するように構成されている。

図１４は、図１３の撮像素子１０７の１画素の断面図を示している。図１４に示すように、各画素は、マイクロレンズ４３０、光電変換部４０１、層間絶縁膜４６０、電極５００、５１０、５２０、カラーフィルタ４８０、平坦化膜４９０により構成されている。本第２の実施形態の光電変換部４０１は、第１の実施形態の光電変換部１ａ、１ｂとは異なり、画素内で分離されていない。

ここで、マイクロレンズ４３０のパワーは、撮影光学系１００の射出瞳と電極５００が略共役になるように設定されている。これにより撮影光学系１００を透過した被写体光は撮像素子１０７近傍に集光する。さらに撮像素子１０７の各画素に到達した光４５０は、マイクロレンズ４３０で屈折され、電極５００に集光する。

本第２の実施形態では電極５００の一部が光電変換部４０１を覆うように構成されている。その結果、撮影光学系１００の射出瞳の一部を透過する光束のみが受光可能になっている。

図１５は撮影光学系１００の射出瞳上での特殊パターン形状を示したものである。図１３で示した電極５００の特殊パターン形状とほぼ対応しているが、マイクロレンズ４３０の形状が小さいために、光の回折現象により、開口エッジ部はなだらかな特性となる。

以上説明したように本第２の実施形態では、図１６（ｄ）に示す従来の絞り位置に配置した開口マスクと同等の絞り形状を撮像素子側に配置させることにより、一般レンズにおいても開口マスクによって得られた観測画像と同等の画像を取得することが可能となる。従って、劣化復元処理において、予め測定しておいた被写体までの距離に応じたＰＳＦ（点像分布関数）を用いてボケを含まない画像を演算することにより、観察画像上の各点の被写体までの距離が測定可能となる。これにより、距離画像及び合焦画像、及び、リフォーカス画像を生成することができる。

なお、本第２の実施形態では、同じパターン形状の開口マスクを用いて、各画素から１つの画素信号を読み出して観測画像を取得する場合について説明した。開口マスクを用いる代わりに、開口マスクと同様の形状の光電変換部を各画素に１つ構成し、各画素から１つの画像信号を読み出すようにしても、本第２の実施形態と同様の効果を得ることができる。

Claims (8)

1. 第１の開口パターンを有する第１の光電変換部と、前記第１の開口パターンとは異なる第２の開口パターンを有する第２の光電変換部を含む複数の画素から成る撮像素子と、
   撮影光学系の光学伝達特性を用いて、前記撮像素子から得られた画像の予め決められた領域毎にボケ特性を解析することにより、前記領域毎の被写体までの距離を演算する距離演算手段と、
   前記画像と、前記領域毎の距離とに基づいて、前記画像に含まれる各被写体に合焦した合焦画像を生成する合焦画像生成手段と、
   前記領域毎の距離と、前記合焦画像とから、指定されたボケ状態の画像を生成するリフォーカス画像演算手段と
   を有することを特徴とする撮像装置。
2. 前記各画素は、蓄積された電荷に応じた信号を独立に読み出し可能な複数の光電変換部を有し、
   前記距離演算手段は、前記撮影光学系の光学伝達特性を用いて、前記複数の光電変換部それぞれから得られる信号が表す複数の画像の予め決められた領域毎にボケ特性を解析することにより、前記領域毎の被写体までの距離を演算し、
   前記合焦画像生成手段は、前記複数の画像と、前記領域毎の距離とに基づいて、前記複数の画像に含まれる各被写体に合焦した合焦画像を生成する
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記撮像素子は、前記第１および第２の開口パターンに対応する周波数特性において、ゲインの零点が、同一周波数において異なるように構成されていることを特徴とする請求項２に記載の撮像装置。
4. 第１の開口パターンと、前記第１の開口パターンとは異なる第２の開口パターンの開口を有する遮光手段により覆われ、前記第１の開口パターンの開口に対応する第１の光電変換部と、前記第２の開口パターンの開口に対応する第２の光電変換部を有する、複数の画素から成る撮像素子と、
   撮影光学系の光学伝達特性を用いて、前記撮像素子から得られた画像の予め決められた領域毎にボケ特性を解析することにより、前記領域毎の被写体までの距離を演算する距離演算手段と、
   前記画像と、前記領域毎の距離とに基づいて、前記画像に含まれる各被写体に合焦した合焦画像を生成する合焦画像生成手段と、
   前記領域毎の距離と、前記合焦画像とから、指定されたボケ状態の画像を生成するリフォーカス画像演算手段と
   を有することを特徴とする撮像装置。
5. 前記第１および第２の開口パターンは、ボケの大きさに関わらず高周波域のゲインが落ちない形状を有することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記第１及び第２の光電変換部からの信号の和が、前記遮光手段による遮光が行われていない光電変換部からの信号と等価となることを特徴とする請求項４に記載の撮像装置。
7. 前記第２の開口パターンは、前記第１の開口パターンが光束を透過する領域を遮光し、前記第１の開口パターンが遮光する領域の光束を透過することを特徴とする請求項４に記載の撮像装置。
8. 第１の開口パターンを有する第１の光電変換部と、前記第１の開口パターンとは異なる第２の開口パターンを有する第２の光電変換部を含む複数の画素から成る撮像素子を有する撮像装置の制御方法であって、
   撮影光学系の光学伝達特性を用いて、前記撮像素子から得られた画像の予め決められた領域毎にボケ特性を解析することにより、前記領域毎の被写体までの距離を演算する距離演算ステップと、
   前記画像と、前記領域毎の距離とに基づいて、前記画像に含まれる各被写体に合焦した合焦画像を生成する合焦画像生成ステップと、
   前記領域毎の距離と、前記合焦画像とから、指定されたボケ状態の画像を生成するリフォーカス画像演算ステップとを有することを特徴とする撮像装置の制御方法。