JP6238657B2 - 画像処理装置及びその制御方法 - Google Patents

Description

本発明は、画像処理装置に関し、特に欠陥を検出および補正する画像処理装置に関するものである。

近年のデジタル画像処理技術においては、ライトフィールドフォトグラフィと呼ばれる研究分野の進展が著しい。ライトフィールドフォトグラフィでは、まず、レンズなどの撮影光学系およびＣＣＤ，ＣＭＯＳセンサなどの固体撮像素子を含む撮像装置から得られる撮像画像に、被写界の二次元的な光強度情報だけでない光線角度情報を含むように撮像する。

光線角度情報を含む撮像画像とは、いわば位相差検出型自動焦点検出（ＡＦ）における一対の瞳分割を超えて、相当多数の瞳分割を行ったことに相当するため、直接これを観察したときは必ずしも意味ある情報の羅列、順序、とは言えないデータとなっている。これに対し、この撮像画像を得た撮像過程と密接に関連する再構成型の画像処理を施すことにより、撮影後に被写界の任意の物体にピントを合わせ直す再フォーカス（リフォーカスとも称する）が可能な撮像装置および画像処理装置が提案されている。

このような撮像装置および画像処理装置の一例として、非特許文献１に記載のＨａｎｄ−ｈｅｌｄ Ｐｌｅｎｏｐｔｉｃ Ｃａｍｅｒａ（以下、ライトフィールドカメラとも称する）を挙げることができる。ライトフィールドカメラの構成要素を挙げると、よく知られた撮像装置における撮影光学系としての「メインレンズ」が、所定のピッチを持つ「マイクロレンズ」アレイに主として被写体像を結像させる。そして、マイクロレンズアレイの後方に、上記所定のピッチよりもさらに細かなピッチの光電変換素子を持つ「固体撮像素子」が配置されている。

言い換えれば、非特許文献１に記載のライトフィールドカメラは、特殊な撮像過程とそれを前提とした画像処理とによって、よく知られた撮像装置にはない新たな情報を持つ画像を得るものと言える。

他方、これまでによく知られた撮像装置で行われる画像処理は、撮像画像を構成する光電変換素子の信号同士に、ある程度の連続性があるものと仮定して実行するものが多い。一例として、撮像装置による撮影の都度、周辺の光電変換素子の信号とのレベル差などから欠陥画素を判定する、リアルタイム欠陥画素検出方法を挙げることができる。

例えば特許文献１には、複数の画素から出力された各々の信号と、所定値を比較して、欠陥画素を検出する第１の欠陥画素検出部と、前記第１の欠陥画素検出部で検出された欠陥画素からの信号を補正する第１の補正部と、前記第１の欠陥画素検出部によって検出された欠陥画素に対する補正が施された前記複数の画素から出力された各々の信号と、所定値を比較して、欠陥画素を検出する第２の欠陥画素検出部と、前記第１の欠陥画素検出部と前記第２の欠陥画素検出部とで、それぞれの所定値が異なるように値を設定する設定制御部と、を備えたことを特徴とする欠陥画素補正装置が開示されている。

なお、特許文献１では、第１の欠陥画素検出部において検出された欠陥画素情報を記録しておき、第２の欠陥画素検出部では第１の欠陥画素検出部の欠陥画素情報も参照することが開示されている。それにより、検出された画素が本当に欠陥画素であるのか、被写体エッジであるのかを識別し、被写体エッジであると思しき時は補正を行わないことにより、画質阻害を防止することができる点も記載されている。

リアルタイム欠陥画素検出は、撮像装置のメモリ等に記録されていない、後発の欠陥画素や、撮影毎にその出力レベルが変動する点滅欠陥画素、に伴う画質劣化を抑えるためには、特に有効である。しかしながら、リアルタイム欠陥画素検出方法において最も重要な課題は、補正対象とすべき欠陥画素と被写体エッジとの見分けとなっている。

特開２００５−２８６８２５号公報

Ｒｅｎ．Ｎｇ，ｅｔ ａｌ，"Ｌｉｇｈｔ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒａｐｈｙ ｗｉｔｈ ａ Ｈａｎｄ−Ｈｅｌｄ Ｐｌｅｎｏｐｔｉｃ Ｃａｍｅｒａ"， Ｓｔａｎｆｏｒｄ Ｔｅｃｈ Ｒｅｐｏｒｔ ＣＴＳＲ ２００５−０２

よく知られた撮像装置においては、撮像画像を構成する単位要素を一般に「画素」と呼ぶ。そして、固体撮像素子を構成する単位要素としての「光電変換素子の信号」と、信号処理を経た最終的な画像を構成する単位要素を「画素」と呼ぶことに明確な区別の必要性がなかった。しかしながらライトフィールドカメラではこれらは明確に区別すべき概念である。

前述のように、リフォーカス再構成処理のような著しい特徴を得るために、ライトフィールドカメラでは前術のように特殊な撮像過程が重要な位置を占めている。この特殊な撮像過程が意味するものは、光強度情報と光線角度情報の同時取得である。光線角度情報は、マイクロレンズの一つに対応する多数の光電変換素子の強度分布に現れる。そこでは、被写体までの距離と撮影光学系のピント合わせに応じてそれら複数の光電変換素子の信号の強度分布がずれるイメージシフトが見られる。イメージシフトとは、マイクロレンズの同一象限に属する光電変換素子の信号から成る画像同士が、座標ずれを起こした現象であり、位相差検出型ＡＦにおける一対の像ずれを、多数の像ずれに拡張したものとも言える。

すなわち、上記の多数の光電変換素子の信号を、何らのリフォーカス再構成処理をせずに固体撮像素子からの出力順に並べた撮像画像は、直接観察するに適さないデータとなっている。それゆえに、光電変換素子の信号どうしに、ある程度の連続性があるものと仮定する、前述のリアルタイム欠陥画素検出方法を、光線角度情報を含む撮像画像に適用するだけでは、課題となる被写体エッジと欠陥素子の見分けが困難である。また、ライトフィールドカメラでは、欠陥である光電変換素子（以下、欠陥素子とも称する）の信号が影響を与え得る、再構成画像上の画素のアドレスは、リフォーカス再構成処理でピントを合わせ直す都度変化する。

上記の理由から、ライトフィールドカメラにおいて、欠陥素子に伴う画質劣化を抑えるためには、リフォーカス再構成処理の度に、再構成画像に対してリアルタイム欠陥画素検出を施し、さらに検出された欠陥画素を補正する必要があった。しかしながら、リアルタイム欠陥画素検出には、再構成画像を走査するための処理時間を要する。これは、撮影画像の被写界の任意の物体にピントを合わせ直す操作の後、再構成画像の表示まで多くの時間をすることを意味し、ユーザに不快感を与える可能性がある。

本発明は上述した課題に鑑みてなされたものであり、その目的は、欠陥素子に伴う画質劣化を抑制したリフォーカス再構成画像を効率的に得ることができる画像処理装置を提供することである。

本発明に係わる画像処理装置は、撮影光学系と、マイクロレンズアレイと、複数の光電変換素子とによって得られた被写体の光学像と、前記被写体からの光線の角度情報とを含む撮像画像を処理する画像処理装置であって、前記撮影光学系の結像位置を前記撮像画像の再構成処理により変更するリフォーカス手段と、前記リフォーカス手段により再構成された再構成画像から欠陥画素を検出する欠陥画素検出手段と、異なる前記結像位置の複数の前記再構成画像における前記欠陥画素のアドレスに基づいて、前記撮像画像における欠陥光電変換素子のアドレスを抽出する欠陥素子抽出手段と、を備えることを特徴とする。

本発明によれば、欠陥素子に伴う画質劣化を抑制したリフォーカス再構成画像を効率的に得ることができる画像処理装置を提供することが可能となる。

本発明の第１の実施形態に係わる撮像装置の構成を示すブロック図。 固体撮像素子の受光領域を表す平面図。 第１の実施形態の撮像装置の制御方法を示すフローチャート。 リフォーカス再構成処理を説明するための光線図。 第１の実施形態の撮像装置の欠陥素子アドレス抽出処理を説明するための光線図。 第１の実施形態の撮像装置の再構成画像の表示方法を示すフローチャート。 第１の実施形態の撮像装置の欠陥素子アドレス抽出処理を説明するための光線図。 本発明の第２の実施形態の撮像装置の制御方法を示すフローチャート。 第２の実施形態の撮像装置の欠陥素子アドレス抽出処理を説明するための光線図。 本発明の第３の実施形態の撮像装置の制御方法を示すフローチャート。

以下、本発明の実施形態について、添付図面を参照して詳細に説明する。以下、本発明の実施形態において使用する用語を定義する。ライトフィールドカメラにおいて「（光線角度情報を含む）撮像画像」を構成する単位要素を「光電変換素子の信号」または単に「素子」と称し、何らかのリフォーカス再構成処理により得た「再構成画像」を構成する単位要素を「画素」と称する。

（第１の実施形態）
図１は、本発明の第１の実施形態に係わる撮像装置の全体構成を示すブロック図である。図１において、１は、絞りやフォーカシングレンズを含み被写体の光学像を結像させる撮影光学系である。２は、撮影光学系１のフォーカシングレンズにより被写体を主としてその頂点に結像するマイクロレンズアレイである。マイクロレンズアレイ２は、水平および垂直に所定のピッチで二次元状に配列されている。３は、撮影光学系１によって結像された被写体像を光電変換し電気信号として取り出す固体撮像素子である。固体撮像素子３は、水平および垂直にマイクロレンズアレイ２よりも細かなピッチで二次元状に配置された画素でなされる光電変換素子としての機能と、光電変換素子からの電気信号を撮像画像として転送する信号転送機能とを備える。

４はサンプリングされたアナログ信号をデジタル信号に変換するためのＡ／Ｄ変換器である。デジタル化された撮像画像は画像メモリ１０に記録される。そして、リフォーカス再構成処理部７によって、ライトフィールドカメラの特徴であるリフォーカス再構成処理が必要に応じて行われる。次に、必要なリフォーカス再構成処理を済ませた再構成画像に対して、欠陥画素検出部８によって、リアルタイム欠陥画素検出が行われる。すなわち欠陥画素検出部８は、再構成画像を構成する画素毎に、欠陥であるか否かの判定を行い、補正対象とすべき欠陥画素を特定する。信号処理回路９により、リアルタイム欠陥画素検出の結果を受けた欠陥画素補正、ホワイトバランス補正およびガンマ補正をはじめとして、各種信号処理が施される。各種信号処理の施された最終的な画像は、記録媒体１２に記録される。記録回路１１は、記録媒体１２とのインターフェイス回路を指す。各種信号処理の施された最終的な画像は、表示回路（インターフェイス回路）１３を通して液晶ディスプレーなどの画像表示装置１４に直接表示することもできる。画像表示装置１４は、これから撮像しようとする画面を連続的にライブで表示するライブビュー表示や、記録した動画の再生表示も可能である。

タイミング発生回路５は、固体撮像素子３などの撮像系を駆動する。さらに、撮像系の駆動ひいては固体撮像素子３の出力信号に同期してＡ／Ｄ変換部４を駆動・制御する。なお、Ａ／Ｄ変換部４は、固体撮像素子３に実装されていても良く、その場合は直接撮像画像を画像メモリ１０に記録することができる。

フォーカシングレンズ駆動回路６は、撮影光学系１のフォーカシングレンズを駆動する。フォーカシングレンズは、ライトフィールドカメラに依らないよく知られた撮像装置においても、被写体のピント合わせのために用いるものであり、自動焦点検出（ＡＦ）機能などによって制御され、撮影光学系１の結像位置を決定する。システム制御部１５は、揮発性メモリ１６に一時記録されたプログラムにより撮像装置全体を制御する。

また、結像距離設定部１８は、ライトフィールドカメラに特有のリフォーカス再構成処理を実行させるためのパラメータである結像距離を設定する部分である。ＡＦの結果を反映してフォーカシングレンズ駆動回路６を制御しても、他の被写体に再度ピントを合わせたいなど、ライトフィールドカメラが撮影後のピント合わせを可能とするにあたり、その被写体距離や被写体そのものを選択して、新たな結像距離を与える。本実施形態の特徴は、ライトフィールドカメラの特殊な撮像過程やそれと密接に関係するくリフォーカス再構成処理にも関わるものであり、以下でさらに詳細に説明する。

不揮発性メモリ１７は、撮像装置での処理実行時に転送されるべきプログラム、各種データなどを格納する。欠陥画素検出部８の検出対象とは異なる撮像画像を構成する光電変換素子の信号に対する欠陥座標は、この不揮発性メモリ１７に記録されていてもよい。

図２は、固体撮像素子３の受光領域の構成を示す平面図である。一例として、マイクロレンズアレイ２と光電変換素子の個数および配置関係を図示したが、マイクロレンズ一つにつき少なくとも複数の光電変換素子が対応していればよい。なお、光電変換素子の数は、イメージシフトの分解能、瞳分割の分解能、ひいては光線角度情報の分解能に相当するので、増やせばリフォーカス再構成処理の精度等に寄与することは知られている。一方、再構成画像の解像度は、マイクロレンズの個数に関係する。したがって、解像度を保ちながらもリフォーカス再構成処理の精度確保に十分な個数の光電変換素子を搭載することは、固体撮像素子３の課題の一つともなっている。

図２において、記号ＰＤは、光電変換素子を表す。２１個の光電変換素子を内側に含むように単位マイクロレンズアレイ２が対応している。光電変換素子はＰ型半導体基板もしくはＰ型ウェル構造上にＮ型半導体層をイオン注入等により形成してなる。そして、隣接する全ての光電変換素子とＰ型半導体領域によって電気的に分割されているため、これらを独立に読み出せば、ライトフィールドカメラの構成を成す光線角度情報が得られる。光電変換素子の電荷信号を読み出すには、電荷転送型のＣＣＤ、画素単位で増幅機能を持たせて電圧信号を出力するＡＰＳ（アクティブピクセル方式）−ＣＭＯＳ型などを利用することが考えられる。図２の固体撮像素子は、一例として、ＡＰＳ−ＣＭＯＳ型を示している。増幅機能を有する読み出し回路部３１が、光電変換素子間のデッドスペースを活用して形成される。

読み出し回路部３１は、図２で図示していないが、図面垂直方向に垂直出力線などと呼ばれる共通の配線に接続されている。水平走査回路３３は、この共通の配線を、水平方向に順次アクセスする水平転送機能を実行する。

一方、読み出し回路部３１には、図２で図示していないが、水平方向に共通の制御線が接続されており、行一斉に光電変換素子からの信号電荷の転送、読み出し回路部３１による電荷電圧変換などを実行させる。垂直走査回路３２は、どの行に、このような動作をさせるかを、行方向に順次設定していく機能を有する。

上記で説明したようなＡＰＳ−ＣＭＯＳ型固体撮像素子の機能を様々に活用すれば、ある光電変換素子へのランダムアクセスも一部可能となる。しかし、それには走査回路系の機能を増加しなければならずコストにも影響するため、多くのＡＰＳ−ＣＭＯＳ型固体撮像素子において、垂直および水平の順次信号読み出しが行われている。すなわち、何らのリフォーカス再構成処理をしない撮像画像には多様な光線角度成分として光電変換素子の信号が様々に並んでいる。これは、このような撮像画像に対して直接リアルタイム欠陥画素検出を行おうにも、補正対象とすべき欠陥素子と被写体エッジとの見分けが困難となる所以である。

ここで、全てを例示することは困難であるが、固体撮像素子３の欠陥発生要因についても説明する。代表的なものは、光電変換素子そのものに重金属汚染等の不純物が混入するなどにより発生する、白く輝く点状の欠陥である。別の例は、読み出し回路部３１に起因して発生する。読み出し回路部３１に含まれる半導体層の表面付近で、半導体製造工程のダメージにより界面準位密度が高くなり、その準位に電荷がトラップされたり放出されたりすることで生じる、瞬くような欠陥である。これは、ＲＴＳノイズとも称されている。この種の欠陥は時間方向に確率的に発生するため、特に動画で同じシーンを観察しているときに、目立つようになる。また、静止画においても、ある撮影画像に出ていなかった欠陥が別の撮影画像には発生する、という現象になるので、常に補正する欠陥素子としてメモリ等に記録しておくことは撮像装置の構成上あまり効率的とは言えない。さらに、固体撮像素子３の構成にもよるが、近年では画素領域の微細化のため、複数の光電変換素子でこの読み出し回路部３１を共有している例も見られる。このような場合、界面準位密度の高くなってしまった読み出し回路部３１を使用する光電変換素子は全てが欠陥素子の候補なのであって、これらを一律に補正対象として記録することは、補正画質の点からも望ましい状態ではない。

図３は、本実施形態に係る撮像装置の制御方法を示すフローチャートである。

図１に図示しないスイッチにより撮像装置のメイン電源がオンされ、次にシステム制御部１５の電源がオンされる（ステップＳ３０１）。次に、固体撮像素子３に駆動設定信号を与える（ステップＳ３０２）。これにより、ライブの画像を画像表示装置１４に連続的に映し出すモードが実行可能となる。

次に、被写体にピントが合うようにフォーカシングレンズを自動的に駆動する自動焦点調節いわゆるオートフォーカス（ＡＦ）が開始される（ステップＳ３０３）。ＡＦの方式には、コントラスト検出を用いるものの他にも専用の距離計測センサーを用いる方式などが知られている。さらには、本実施形態に係るライトフィールドカメラの特徴を生かして、マイクロレンズの下で異なる象限にある光電変換素子の信号を適切に読み出すことができれば、これを位相差検出方式ＡＦの信号として用いることも可能である。システム制御部１５は、このＡＦの結果を受けて、フォーカシングレンズ駆動回路６を介して撮影光学系１のフォーカシングレンズを駆動する。

次に、図１に図示しないレリーズボタンが押下されることによって（ステップＳ３０４）、撮影が実行される（ステップＳ３０５）。画像メモリ１０まで読み出された画像は、撮像画像として記録媒体１２に記録される（ステップＳ３０６）。さらに、同一マイクロレンズ下の光電変換素子の信号を合算して、マイクロレンズアレイ２分の画素数を持つ暫定の再構成画像を記録媒体１２に記録する（ステップＳ３０７）。暫定の再構成画像について、詳細な説明は後述する。

次に、ステップＳ３０８〜Ｓ３１４では、記録された撮像画像中の欠陥素子を抽出し、欠陥素子のアドレスを記録する処理を行う。但し、ステップＳ３０８〜Ｓ３１４は、ユーザが再構成画像を鑑賞する際に、欠陥素子に伴う画質劣化が抑制された再構成画像を効率よく表示させるための、いわば準備処理である。そのため、ステップ３０８以降の処理は必ずしも撮像画像の取得直後に行う必要はない。また、ステップＳ３０８以降の処理は、図１の撮像装置の一部を模した画像処理装置もしくはその画像処理方法を記録したメモリ等によって計算機等に実行させても良い。

ステップＳ３０８〜Ｓ３１４を説明するに当たって、リフォーカス再構成処理について、図４を用いて説明する。リフォーカス再構成処理の特徴は、光線の角度情報を考慮した、光電変換素子の信号の再配置・再構成および合算にある。

図４は、本実施形態の撮像装置により、被写体Ａ１がマイクロレンズアレイ２のほぼ頂点上に結像された状態を示す光線図である。図４では、素子に入射する主光線のみを示している。

図４において撮影光学系１は、その主点から被写体距離ａ１にある被写体Ａ１にピントを合わせた状態で撮影され、Ａ１を構成する１点から発した光線は、撮影光学系１の主点から結像距離ｒ１にあるマイクロレンズアレイ２上の頂点の１つに集まる。なお、被写体距離ａ１と結像距離ｒ１との間には以下の結像公式（１）が成り立つ。

１／ａ１＋１／ｒ１＝１／ｆ …（１）
ここで、ｆは、撮影光学系１の焦点距離である。そして、上記の各光線は、マイクロレンズアレイ２の後方に配置された固体撮像素子３の光電変換素子ＰＤ２５ａ，ＰＤ２５ｂ，ＰＤ２５ｃ，ＰＤ２５ｄおよびＰＤ２５ｅに入射する。これら５つの光電変換素子の信号は、元を辿れば理解できるように被写体Ａ１を構成する１点から撮影光学系１に向かって出た光線のうち、各々角度情報の異なるものである。従って、これら５つの信号の合算値、正確には、結像距離ｒ１に対応した重み付け係数をかけて加算することで再構成画像４１の画素５５の信号を得られる。前述の暫定の再構成画像はかようにして得られた再構成画像４１である。

ここで、図４の被写体Ａ２を目標とするようなリフォーカス再構成処理を行う例を説明する。撮影光学系１の主点から被写体距離ａ２にある被写体Ａ２を構成する１点から発生した光線は、式（１）から考察しても明らかなように、ｒ１よりも撮影光学系１に近い結像距離ｒ２に集まる。従って、これらの光線は、各々異なるマイクロレンズの後方に存在する光電変換素子ＰＤ２１ａ，ＰＤ２２ｂ，ＰＤ２３ｃ，ＰＤ２４ｄおよびＰＤ２５ｅに入射する。例えばＰＤ２３ｃに入射した光線は、撮影光学系１の光軸を通過した光線角度成分であり、ＰＤ２１ａおよびＰＤ２５ｅに入射した光線は、撮影光学系１の絞り口径端を通過した光線角度成分である。ＰＤ２２ｂおよびＰＤ２４ｄは、上記の中間的な光線角度成分である。ＰＤ２３ｃは、マイクロレンズの後方に存在する光電変換素子のうち中心象限である。ＰＤ２１ａおよびＰＤ２５ｅは、最端部の象限であり、ＰＤ２２ｂおよびＰＤ２４ｄは、上記の中間的な象限である。

なお、ここまでの説明において使用した記号ＰＤに係る符号（２１ａ，２２ｂなど）は、図２の固体撮像素子３の平面図に対応している。図２の固体撮像素子３の水平線上の記号ＰＤに係る符号は、図４の光線図において示す像高方向に並ぶ１ライン上の光電変換素子行で示したものと同一に捉えることができる。

被写体Ａ２のようにして、撮影光学系１のピントから外れた被写体は、それを構成する１点から発生した光線が、角度情報に応じて異なるマイクロレンズの異なる象限で光電変換される。このため、ＰＤ２１ａ，ＰＤ２２ｂ，ＰＤ２３ｃ，ＰＤ２４ｄおよびＰＤ２５ｅのそれぞれ隣接する光電変換素子の信号は、被写体Ａ２を構成する異なる１点から発生した異なる角度成分の光線である。言い換えると、ある象限の光電変換素子の信号から成る画像と、別のある象限の光電変換素子から成る画像とは、互いに異なる光線角度成分の同一被写体を構成する１点である、という特徴があり、デフォーカス量に応じた画像ずれすなわちイメージシフトが発生している。

さらに、リフォーカス再構成処理について説明する。図４において結像距離ｒ２にリフォーカスすることとは、被写体距離ａ２の被写体（つまり被写体Ａ２）を構成する１点を１画素として合成することである。すなわち、光電変換素子ＰＤ２１ａ，ＰＤ２２ｂ，ＰＤ２３ｃ，ＰＤ２４ｄおよびＰＤ２５ｅを、結像距離ｒ２に対応した重み付け係数をかけて加算することで、再構成画像４２の画素６３の信号が得られる。他方で、暫定の再構成画像４１の画素５５の信号を得るにあたって重み付け加算していた光電変換素子ＰＤ２５ａ，ＰＤ２５ｂ，ＰＤ２５ｃ，ＰＤ２５ｄおよびＰＤ２５ｅを、結像距離ｒ２上の複数の異なる画素を構成するための情報として利用する。この結果、再構成画像４２では被写体Ａ１は光学的にぼけたのと同様に表示される。

また、結像距離に対応した重み付け係数について説明する。本実施形態で用いられる重み付け係数とは、ある再構成画像の画素の信号を得るために光電変換素子の信号にかけ合わせる、結像距離ｒに依存する関数である。図４の右に示した、光電変換素子に対応付けられたバーの長さが、光電変換素子の信号にかかる重み付け係数の相対値を示している。重み付け係数Ｗ５５は、結像距離ｒ１の再構成画像４１の画素５５を得るために、各光電変換素子の信号にかかる係数である。重み付け係数Ｗ６３は、結像距離ｒ２の再構成画像４２の画素６３の信号を得るために、各光電変換素子にかけ合わせられる。

この重み付け係数を用いてリフォーカス再構成処理演算の一般式を表現すると以下のようになる。簡単のため、１方向に並ぶ画素と、マイクロレンズアレイ２と、単位マイクロレンズ２毎に配置された５つの素子、に着目して説明する。

…（２）
式（２）において、Ｓ（ｍ）は再構成画像のｍ番目の画素の信号値であり、ｐｄａ（ｎ）からｐｄｅ（ｎ）はＳ（ｍ）を構成するｎ番目のマイクロレンズ下にある光電変換素子の信号値である。ｗｍ，ａ（ｎ）からｗｍ，ｅ（ｎ）は、Ｓ（ｍ）を構成するｎ番目のマイクロレンズを備えた光電変換素子の信号値ｐｄａ（ｎ）からｐｄｅ（ｎ）に対して、ある結像距離ｒでかけられる重み付け係数である。ここで一般にｍ＝ｎである。

また、重み付け係数は結像距離ｒで決まり、予め、結像距離ｒに応じた重み付け係数を保持しておくことが可能である。因みに、主光線以外の光線まで考慮して、それに関係する全ての素子の重み付け加算をとれば、より高い精度で再構成を行うことができる。以上が、リフォーカス再構成処理に関する説明である。

改めて、図３のステップＳ３０８〜Ｓ３１４について説明する。図３のステップＳ３０７で記録された暫定の再構成画像に対し、欠陥画素検出部８はリアルタイム欠陥画素検出を施す（ステップＳ３０８）。

本実施形態におけるリアルタイム欠陥画素検出の方式は、同色周辺画素の平均値や中央値と、大きくレベル差を持つ画素、すなわちしきい値を超えた画素を欠陥として抽出する方式としてよい。また、特許文献１の説明でも述べたように複数の段階で欠陥画素を抽出する方式へと発展させてもよい。初段階におけるしきい値では欠陥画素を決定するのではなく、欠陥画素の候補を選出して一旦記録した後、当該候補についてのみ比較対象となる周辺画素の範囲を広げるなどの方式も考えられる。水平方向に関しては、このように範囲を広げることは容易な場合もあるが、垂直方向に関しては画像メモリ１０で使用するラインメモリの増加に直結することから、コストとの関係性にも注意が必要である。次に、図３のステップＳ３０８で検出された複数の欠陥画素アドレスを、揮発性メモリ１６に記録する（ステップＳ３０９）。

次に、リフォーカス再構成処理部７は、暫定の再構成画像とは、異なる結像距離でリフォーカス再構成処理された再構成画像を生成して、画像メモリ１０に一時記録する（ステップＳ３１０）。但し、リフォーカス再構成処理部７は、各素子に入射する主光線が結像するように（例えば、図４の結像距離ｒ２のように）異なる結像距離を設定する。

次に、暫定の再構成画像とは異なる結像距離でリフォーカス再構成処理された、再構成画像に対して、リアルタイム欠陥画素検出を施し（ステップＳ３１１）、検出された複数の欠陥画素アドレスを揮発性メモリ１６に記録する（ステップＳ３１２）。

本実施形態に係る撮像装置における画像処理装置では、上記のようにステップＳ３０８，Ｓ３１１で、リフォーカス再構成処理を行った後、再構成画像に対して欠陥画素の検出を行う。そのため、象限ごとに異なる光線角度成分を持つ撮像画像から、被写体エッジと補正対象となるべき欠陥素子を区別するという困難な課題を回避することができる。

次に、信号処理部９は、ステップＳ３０９、及びステップＳ３１２で揮発性メモリ１６に記録された欠陥画素のアドレスを参照して、撮像画像中の欠陥素子アドレスを抽出する（ステップＳ３１３）。

ステップＳ３１３の欠陥素子アドレス抽出については、図５を用いて詳細に説明する。図５は、欠陥素子アドレス抽出処理を説明するための光線図である。簡単のため、１方向に並ぶ画素と、マイクロレンズアレイ２と、単位マイクロレンズ２毎に配置された５つの素子、に着目して説明する。

欠陥素子アドレスの抽出の意義は、再構成画像４１と再構成画像４２から検出された欠陥画素アドレスを用いて、撮像画像中にある欠陥画素を生成している光電変換素子の信号を抽出することにある。

図５において、画素５１，画素５２，画素５３，画素５４，画素５５，画素５６および画素５７は、１つのリフォーカス再構成画像４１を構成する単位画素を示している。画素６１，画素６２，画素６３，画素６４，画素６５，画素６６および画素６７は、１つのリフォーカス再構成画像４２を構成する単位画素を示している。

図５では、リアルタイム欠陥画素検出で、再構成画像４２の画素６３、および再構成画像４１の画素５５が、欠陥画素として検出された場合を例に説明する。欠陥画素５５は、リフォーカス再構成処理によって光電変換素子ＰＤ２５ａ，ＰＤ２５ｂ，ＰＤ２５ｃ，ＰＤ２５ｄおよびＰＤ２５ｅの信号が重み付け加算されて得られた信号である。そのため、光電変換素子ＰＤ２５ａ，ＰＤ２５ｂ，ＰＤ２５ｃ，ＰＤ２５ｄおよびＰＤ２５ｅは、いわば欠陥素子（欠陥光電変換素子）の候補である。同様に、欠陥画素６３に着目すると、光電変換素子ＰＤ２１ａ，ＰＤ２２ｂ，ＰＤ２３ｃ，ＰＤ２４ｄおよびＰＤ２５ｅも、欠陥素子の候補である。欠陥素子アドレス抽出処理では、これらの欠陥素子候補に共通して挙げられるＰＤ２５ｅが、欠陥素子として抽出される（欠陥素子抽出）。

次に、上述した欠陥素子が、論理的に抽出できることを説明する。まず、再構成画像の各画素の信号は、リアルタイム欠陥画素検出によって、欠陥画素か、欠陥ではない画素（以下、非欠陥画素）のどちらかに分類できるとする。

画素∈｛欠陥画素，非欠陥画素｝ …（３）
また、撮像画像の素子は、欠陥素子であるか、欠陥ではない素子（以下、非欠陥素子と称す）のどちらかに分類できるとする。

素子∈｛欠陥素子，非欠陥素子｝ …（４）
ここで、「少なくとも欠陥素子を含む信号が加算された画素は、欠陥画素として検出される」と仮定する。つまり、「非欠陥素子のみの信号が加算された画素は、非欠陥画素として検出される」わけである。

欠陥画素検出結果から、画素５１は、非欠陥画素であるので、
非欠陥素子＝ＰＤ２１ａ and ＰＤ２１ｂ and ＰＤ２１ｃ and ＰＤ２１ｄ and ＰＤ２１ｅ …（５）
画素５２は、非欠陥画素であるので、
非欠陥素子＝ＰＤ２２ａ and ＰＤ２２ｂ and ＰＤ２２ｃ and ＰＤ２２ｄ and ＰＤ２２ｅ …（６）
画素５３は、非欠陥画素であるので、
非欠陥素子＝ＰＤ２３ａ and ＰＤ２３ｂ and ＰＤ２３ｃ and ＰＤ２３ｄ and ＰＤ２３ｅ …（７）
画素５４は、非欠陥画素であるので、
非欠陥素子＝ＰＤ２４ａ and ＰＤ２４ｂ and ＰＤ２４ｃ and ＰＤ２４ｄ and ＰＤ２４ｅ …（８）

画素５５は、欠陥画素であるので、
欠陥画素＝ＰＤ２５ａ or ＰＤ２５ｂ or ＰＤ２５ｃ or ＰＤ２５ｄ or ＰＤ２５ｅ
…（９）
画素６３は、欠陥画素であるので、
欠陥画素＝ＰＤ２１ａ or ＰＤ２２ｂ or ＰＤ２３ｃ or ＰＤ２４ｄ or ＰＤ２５ｅ
…（１０）
従って、式（５）より、ＰＤ２１ａ，ＰＤ２１ｂ，ＰＤ２１ｃ，ＰＤ２１ｄおよびＰＤ２１ｅは非欠陥素子である。同様に、式（６），（７），（８）より、ＰＤ２２ａ，ＰＤ２２ｂ，ＰＤ２２ｃ，ＰＤ２２ｄ，ＰＤ２２ｅ，ＰＤ２３ａ，ＰＤ２３ｂ，ＰＤ２３ｃ，ＰＤ２３ｄ，ＰＤ２３ｅ，ＰＤ２４ａ，ＰＤ２４ｂ，ＰＤ２４ｃ，ＰＤ２４ｄ，ＰＤ２４ｅは非欠陥素子である。そして、式（１０）より、ＰＤ２５ｅが欠陥素子であることが導かれる。

このようにして、信号処理部９は、揮発性メモリ１６に記録された欠陥画素アドレスを用いて、撮像画像中の欠陥素子アドレスを抽出する。以上が、欠陥素子アドレス抽出に関する説明である。

最後に、図３のステップＳ３１３で抽出された各欠陥素子のアドレスデータを、元の撮像画像に添付して記録媒体１２に記録する（ステップＳ３１４）。以上で、図３の一連のフローは終了する。

但し、図３のフローチャートでは、撮像画像を取得するまでのステップ（Ｓ３０１〜Ｓ３０７）と、欠陥素子アドレスを抽出し、記録するまでのステップ（Ｓ３０８〜Ｓ３１４）を一連の流れとして示した。しかし、ステップＳ３０８以降の処理は、必ずしも撮像画像の取得直後に行う必要はないので、別のタイミングで処理する構成にしてもよい。また、ステップＳ３０８以降の処理を、図１の撮像装置の一部を模した画像処理装置もしくはその画像処理方法を記録したメモリ等によって計算機等に実行させてもよい。また、本実施形態は、異なる結像距離の再構成画像２枚から、欠陥画素検出処理を行ったが、より多くの再構成画像から欠陥画素検出処理を行うようにしてもよい。

図６は、本実施形態に係る撮像装置の、リフォーカス再構成画像の表示方法を示すフローチャートである。本実施形態によれば、撮像画像に添付して記録された各欠陥素子のアドレスデータを用いて、欠陥素子に伴う画質劣化が抑制された再構成画像を、効率的に生成し、表示させることができる。

初めに、図１に図示しないスイッチによりメイン電源がオンされ、次にシステム制御部１５の電源がオンされる（ステップＳ６０１）。次に、不図示の操作部によってユーザが任意の撮像画像を選択する（ステップＳ６０２）。この時、システム制御部１５は、記録媒体１２に記録されている撮像画像の暫定の再構成画像を、表示装置１４に表示させることで、ユーザが撮像画像を選択することができる。

次に、ユーザは、表示された暫定の再構成画像を見ながらピントを合わせ仕直したい任意の被写体を選択することで、結像距離を設定する（ステップＳ６０３）。次に、ステップＳ６０３で設定された結像距離に応じて、リフォーカス再構成処理部７は、再構成画像を生成する（ステップＳ６０４）。

次に、信号処理部９は、撮像画像に添付して記録媒体１２に記録されている、欠陥素子アドレスデータを読み込む（ステップＳ６０５）。次に、信号処理部９は、ステップＳ６０５で読み込んだ欠陥素子アドレスを、結像距離に応じた、再構成画像のアドレスに変換し、さらに、該当する欠陥画素となる画素アドレスの補正処理、ホワイトバランス補正、ガンマ補正等の各種信号処理を行う（ステップＳ６０６）。

次に、表示回路１３は、ステップＳ６０６で処理した、各種信号処理後の再構成画像を、表示装置１４に表示させる（ステップＳ６０７）。次に、ユーザによって再度結像距離の変更が操作されれば、ステップＳ６０４の処理に戻って、新たに再構成画像の生成と、欠陥素子アドレスに係わる画素の補正処理が行われる（ステップＳ６０８）。

本実施形態によれば、結像距離を変更して、新たに再構成画像が生成された場合でも、撮像画像に添付された欠陥素子アドレスを参照して、補正対象画素を効率よく選択できる。そのため、欠陥素子による画質劣化が抑えられた再構成画像を速やかに表示させることができる。

以上で、撮像画像をユーザの任意の結像距離で再構成処理し、欠陥素子に係る画素が補正された再構成画像を表示させる、図６の一連のフローは終了する。

但し、図６の処理は撮像装置の内部で実行されるものとして説明したが、本発明の実施形態としては、これに限定されるものではない。例えば、一般の画像処理装置に、欠陥素子アドレス情報を添付された撮像画像データをコピーして、画像処理方法を記載したプログラムで計算機によって実行しても良い。その場合でも、本発明によれば、欠陥画素が補正された良好な画像を、効率的に表示することができる。

また、本実施形態中では、リフォーカス再構成処理後の再構成画像を構成する画素の中から欠陥画素を検出し補正する構成としたため、特にＲＴＳノイズのような欠陥に対しても効率良く、検出および補正機能を実装することができる。しかし、光電変換素子の座標に固定的に発生する白く輝く点状の欠陥は、固体撮像素子３上の座標として管理できる。そのため、ＲＯＭ１７等のメモリに当該欠陥素子の座標情報を記録した場合は、光電変換素子の信号の再配置・再構成および合算を前提とするリフォーカス再構成処理の行われる前の撮像画像に対して行っても良い。補間処理の方法は、撮像画像が光線角度情報を含むことに鑑み、異なるマイクロレンズ下の同一象限に存在する光電変換素子の信号を用いて補間する、などの方法が考えられる。

（第２の実施形態）
第２の実施形態では、より多くの再構成画像から欠陥画素検出処理を行うことで、欠陥素子の誤抽出を低減させる。

初めに、本実施形態の説明をする前に、第１の実施形態のように、２枚の再構成画像だけでは、欠陥素子を完全に特定できずに、欠陥素子の誤抽出が起こり得ることを説明する。

図７は、欠陥素子アドレスの抽出処理を説明するための光線図である。説明を分かりやすくするため、１方向に並ぶ画素と、マイクロレンズアレイ２と、単位マイクロレンズ２毎に配置された５つの素子、に着目して説明する。図７において、再構成画像４１の画素５３と画素５５、及び再構成画像４２の画素６３と画素６５は、図３のリアルタイム欠陥画素検出ステップＳ３０８、及びステップＳ３１１を経て、欠陥画素として検出された画素である。

この場合、第１の実施形態の欠陥画素抽出処理によれば、ＰＤ２３ａ，ＰＤ２３ｃ，ＰＤ２５ｃ，ＰＤ２５ｅは、欠陥素子として抽出される。しかし、図７のように、欠陥画素が検出された状況において、ＰＤ２３ａ，ＰＤ２３ｃ，ＰＤ２５ｃ，ＰＤ２５ｅは、必ずしも全てが欠陥素子ではない。例えば、図７で、欠陥素子がＰＤ２３ｃとＰＤ２５ｃの２つの光電変換素子のみであった場合、「少なくとも欠陥素子を含む信号が加算された画素は、欠陥画素として検出される」とする仮定においては、画素６３，画素６５，画素５３，画素５５が、欠陥画素として検出されているはずである。さらに、例えば、図７で欠陥素子がＰＤ２３ａとＰＤ２５ｅの２つの光電変換素子のみであった時も、画素６３，画素６５，画素５３，画素５５が、欠陥画素として検出されているはずである。

従って、第１の実施形態の欠陥画素抽出方法では、図７のように、欠陥画素が検出された状況においては、欠陥素子として抽出されたＰＤ２３ａ，ＰＤ２３ｃ，ＰＤ２５ｃ，ＰＤ２５ｅは、誤って抽出されている可能性もある。

本実施形態では、上記の課題に鑑みて、第１の実施形態より多くの再構成画像を用いて欠陥画素検出処理を行うことで、欠陥素子の誤抽出を低減させている。

図８は、本実施形態に係る撮像装置の制御方法を示すフローチャートである。本実施形態では、ステップＳ８１５と、ステップＳ８１６が第１の実施形態と異なる。図８において、ステップＳ８０１〜Ｓ８１３は、第１の実施形態を示す図３のＳ３０１〜Ｓ３１３と同じ処理であるため、詳細な説明は省略する。

本実施形態では、欠陥素子アドレス抽出処理（ステップＳ８１３）で抽出された欠陥素子アドレスに、誤抽出の可能性がないか判断を行う（ステップＳ８１５）。ステップＳ８１５では、例えば、欠陥素子アドレス抽出（ステップＳ８１３）で、再構成画像（ｘ−１）枚から抽出された欠陥素子数ｐｘ−１が、結像距離再設定（ステップＳ８１６）を経て、再構成画像ｘ枚から抽出した欠陥素子数ｐｘと同じである時（つまりｐｘ＝ｐｘ−１である時）、欠陥素子アドレスを確定することができる。但し、再構成画像は、少なくともｘ＝３枚以上必要である。

ステップＳ８１５で、欠陥素子アドレスを確定できない（誤抽出の可能性がある）場合は、新しく結像距離を再設定して（ステップＳ８１６）、リフォーカス再構成画像を生成する。

ここで、本実施形態の欠陥素子アドレス抽出ステップＳ８１３について、図９を用いて説明する。図９は、本実施形態の欠陥素子アドレス抽出処理を説明するための光線図である。説明を分かりやすくするため、１方向に並ぶ画素と、マイクロレンズアレイ２と、単位マイクロレンズ２毎に配置された５つの素子、に着目して説明する。

図９において、再構成画像４１の画素５３と画素５５、及び再構成画像４２の画素６３と画素６５は、リアルタイム欠陥画素検出ステップＳ８０８、及びステップＳ８１１を経て、欠陥画素として検出された画素である。

本実施形態でも、初めに、第１の実施形態と同様に、再構成画像４１と再構成画像４２から検出された欠陥画素アドレスを用いて、欠陥素子の抽出を行っている。この時、図７で説明したように、ｘ＝２枚の再構成画像から、ＰＤ２３ａ，ＰＤ２３ｃ，ＰＤ２５ｃ，及びＰＤ２５ｅ、のｐ２＝４つの欠陥素子が抽出される。前述したように、ｘ＝２枚の再構成画像だけでは、欠陥素子を完全に絞り切れずに、欠陥素子の誤抽出の可能性がある。そのため、本実施形態では、ステップＳ８１５で、欠陥素子アドレスを確定できないと判断して、結像距離再設定（ステップＳ８１６）を経て、新たなリフォーカス再構成画像４３が生成される。但し、リフォーカス再構成処理部７は、各素子に入射する主光線が結像するように、新たな結像距離を再設定する。

図９において、画素７１，画素７２，画素７３，画素７４，画素７５，画素７６および画素７７は、１つのリフォーカス再構成画像４３を構成する単位画素を示している。再構成画像４３の画素７３と画素７５は、リアルタイム欠陥画素検出（ステップＳ８１１）を経て、欠陥画素として検出された画素である。

図９より明らかなように、再構成画像４１，再構成画像４２、及び再構成画像４３を用いれば、ＰＤ２３ｃとＰＤ２５ｃが欠陥素子として抽出される。この時ｘ＝３枚の再構成画像から、ｐ３＝２つの欠陥素子が検出されたが、ｐ３≠ｐ２であるので、欠陥素子アドレスは確定できない。従って、結像距離再設定（ステップＳ８１６）を経て、新たなリフォーカス再構成画像４４が生成される。

図９において、画素８１，画素８２，画素８３，画素８４，画素８５，画素８６および画素８７は、１つのリフォーカス再構成画像４４を構成する単位画素を示している。再構成画像４４の画素８３と画素８５は、リアルタイム欠陥画素検出（ステップＳ８１１）を経て、欠陥画素として検出された画素である。

図９より、再構成画像４１，再構成画像４２，再構成画像４３，及び再構成画像４４を用いても、ＰＤ２３ｃとＰＤ２５ｃが欠陥素子として検出される。この時、ｘ＝４枚の再構成画像から、ｐ４＝２つの欠陥素子が検出されたが、ｐ４＝ｐ３であるので、ＰＤ２３ｃとＰＤ２５ｃのアドレスが欠陥素子アドレスとして確定する。

図８のステップＳ８１５で、欠陥素子アドレスが確定された場合は、各欠陥素子のアドレスデータを、元の撮像画像に添付して記録媒体１２に記録する（ステップＳ８１４）。以上で、図８の一連のフローは終了する。

本実施形態においても、撮像画像をユーザの任意の結像距離で再構成処理する時は、第１の実施形態を示す図６と同様に処理することで、欠陥素子に伴う画質劣化が抑制された再構成画像を、効率的に生成し、表示させることができる。さらに、本実施形態によれば、抽出した欠陥素子のアドレスに誤抽出の可能性がある場合でも、新たに再構成画像を生成することで、誤抽出を低減させることができる。

（第３の実施形態）
第１及び第２の実施形態では、「少なくとも欠陥素子を含む信号が加算された画素は、欠陥画素として検出される」という仮定のもとで、リアルタイム欠陥画素検出結果から欠陥素子が論理的に抽出できることを説明した。しかしながら、様々な要因により、実際には、「欠陥素子を含む信号が加算された画素は、必ずしも欠陥画素として検出されない」ことは容易に考えられる。その要因とは、光ショットノイズ、固体撮像素子の回路ノイズ、欠陥素子の出力信号強度および結像距離、リアルタイム欠陥画素検出の誤検出及び未検出などである。

本実施形態では、複数の再構成画像に対して、リアルタイム欠陥画素検出で欠陥画素を特定させずに、適切に欠陥素子を抽出する手法について説明する。本実施形態では、欠陥素子アドレスを抽出する処理において、再構成画像の生成に用いる重み付け係数と、欠陥画素の信号レベルを得ることで、より適切に欠陥素子を抽出できる。

図１０は、本実施形態に係る撮像装置の制御方法を示すフローチャートである。図１０において、ステップＳ１００１〜ステップＳ１００７は、第１の実施形態における図３のステップＳ３０１〜ステップＳ３０７と同じ処理であるため、詳細な説明は省略する。

ステップＳ１００８〜Ｓ１０１５では、記録された撮像画像中の欠陥素子を抽出し、欠陥素子のアドレスを記録する処理を行う。但し、ステップＳ１００８〜Ｓ１０１５は、ユーザが再構成画像を鑑賞する際に、欠陥素子に伴う画質劣化が抑えられた再構成画像を効率よく表示させるための、いわば準備処理である。従って、ステップ１００８以降の処理は必ずしも撮像画像の取得直後に行う必要はないことは、第１の実施形態と同様である。また、ステップＳ１００８以降の処理は、図１の撮像装置の一部を模した画像処理装置もしくはその画像処理方法を記録したメモリ等によって計算機等に実行させても良い。

図１０のステップＳ１００８以降の処理について説明する。以下の説明では、説明を分かりやすくするため、１方向に並ぶ画素と、マイクロレンズアレイ２と、単位マイクロレンズ２毎に配置された５つの素子、に着目して説明する。

リフォーカス再構成処理部７は、記録媒体１２に記録された撮像画像に対して、結像距離ｒ＝ｒ０を設定し（ステップＳ１００８）、リフォーカス再構成処理によって、再構成画像を生成して画像メモリ１０に記録する（ステップＳ１００９）。

次に、欠陥画素検出部８は、画像メモリ１０に記録された再構成画像から、画素毎に欠陥画素信号レベルＳＲＴを算出する（ステップＳ１０１０）。ところで、第１の実施形態または第２の実施形態では、欠陥画素検出部８は、再構成画像の注目画素について、同色周辺画素の平均値や中央値と大きくレベル差を持つ画素、すなわち閾値を超えた画素を欠陥として抽出する方式で欠陥画素アドレスを検出していた。しかし、本実施形態では、欠陥画素検出部８は、再構成画像のｍ番目の画素の信号レベルＳ（ｍ）に対する、同色の周辺画素（近傍画素）の平均信号レベルＳａｒｅａ（ｍ）との差を、欠陥画素信号レベルＳＲＴ（ｍ）として、画素毎に得ることを特徴としている。

ＳＲＴ（ｍ）＝Ｓａｒｅａ（ｍ）−Ｓ（ｍ） …（１１）
ここでは、結像距離がｒである再構成画像の、画素毎に得られた欠陥画素信号レベルＳＲＴ（ｍ）は、ＳＲＴ，ｒで表記する。

…（１２）
次に、欠陥画素検出部８によって、算出されたＳＲＴ，ｒは、揮発性メモリ１６に記録される（ステップＳ１０１１）。

次に、欠陥画素信号レベルを算出及び記録処理した再構成画像の数ｘを確認して、ｘ＜５枚であるならば、ステップＳ１００８に戻り、ステップＳ１００８〜ステップＳ１０１１の処理を繰り返す。

リフォーカス再構成処理部７は、繰り返されるたびに、異なる結像距離ｒを再設定する（ステップＳ１００８）。但し、リフォーカス再構成処理部７は、各素子に入射する主光線が結像するように（例えば、図４の結像距離ｒ１またはｒ２のように）、異なる結像距離を選択する。本実施形態では、結像距離ｒとして、ｒ＝ｒ０，ｒ１，ｒ２，ｒ３，ｒ４が設定されたとして、リフォーカス再構成画像が生成される（ステップＳ１００９）。

揮発性メモリ１６には、ステップＳ１００８〜ステップＳ１０１２が５回繰り返し処理されることで、ｒ＝ｒ０，ｒ１，ｒ２，ｒ３，ｒ４に対応した、ＳＲＴ，ｒ０、ＳＲＴ，ｒ１、ＳＲＴ，ｒ２、ＳＲＴ，ｒ３、ＳＲＴ，ｒ４、が記録される（ステップＳ１０１１）。

次に、欠陥画素信号レベルを算出及び記録処理した再構成画像の数ｘが、ｘ＝５枚となったら、欠陥素子信号レベルｋの算出を行う（ステップＳ１０１３）。以下、式（１３）〜式（２３）を用いて、素子毎の欠陥素子信号レベルｋの算出方法について説明する。ここでは、結像距離ｒの時のリフォーカス再構成処理演算の一般式を表現した式（１）において、各行列を式（１３）、式（１４）、式（１５）のように表記する。

…（１３）

…（１４）

…（１５）
第１の実施形態で説明した時と同様、Ｓ（ｍ）は再構成画像のｍ番目の画素の信号値、ｐｄａ（ｎ）からｐｄｅ（ｎ）はＳ（ｍ）を構成するｎ番目のマイクロレンズ下にある光電変換素子の信号値である。ｗｍ，ａ（ｎ）からｗｍ，ｅ（ｎ）は、Ｓ（ｍ）を構成するｎ番目のマイクロレンズを備えた光電変換素子の信号値ｐｄａ（ｎ）からｐｄｅ（ｎ）に対して、ある結像距離ｒでかけられる重み付け係数である。

素子毎の欠陥素子信号レベルｋは、揮発性メモリ１６に記録されたＳＲＴ，ｒ０、ＳＲＴ，ｒ１、ＳＲＴ，ｒ２、ＳＲＴ，ｒ３、ＳＲＴ，ｒ４と、（Ｗｒ０＋Ｗｒ１＋Ｗｒ２＋Ｗｒ３＋Ｗｒ４）^-1を用いて、式（１６）のように算出される。

…（１６）
（Ｗｒ０＋Ｗｒ１＋Ｗｒ２＋Ｗｒ３＋Ｗｒ４）^-1は、欠陥画素信号レベル算出に用いる結像距離ｒ＝ｒ０，ｒ１，ｒ２，ｒ３，ｒ４を決めれば、予め、Ｗｒ０，Ｗｒ１，Ｗｒ２，Ｗｒ３，Ｗｒ４を用いて算出して、不揮発性メモリ１７などに記録しておくことができる。

ところで、式（１３）〜（１５）を用いると、結像距離ｒ＝ｒ０，ｒ１，ｒ２，ｒ３，ｒ４である時、リフォーカス再構成処理演算は式（１７）〜（２１）で表わされる。

Ｓｒ０＝Ｗｒ０・ＰＤ …（１７）
Ｓｒ１＝Ｗｒ１・ＰＤ …（１８）
Ｓｒ２＝Ｗｒ２・ＰＤ …（１９）
Ｓｒ３＝Ｗｒ３・ＰＤ …（２０）
Ｓｒ４＝Ｗｒ４・ＰＤ …（２１）
式（１７）〜（２１）から、分配則より、式（２２）が導かれる。

Ｓｒ０＋Ｓｒ１＋Ｓｒ２＋Ｓｒ３＋Ｓｒ４＝
（Ｗｒ０＋Ｗｒ１＋Ｗｒ２＋Ｗｒ３＋Ｗｒ４）・ＰＤ …（２２）
式（２２）より、（Ｗｒ０＋Ｗｒ１＋Ｗｒ２＋Ｗｒ３＋Ｗｒ４）の逆行列（Ｗｒ０＋Ｗｒ１＋Ｗｒ２＋Ｗｒ３＋Ｗｒ４）^-1は、式（２３）を満たしている。

ＰＤ＝（Ｗｒ０＋Ｗｒ１＋Ｗｒ２＋Ｗｒ３＋Ｗｒ４）^-1・
（Ｓｒ０＋Ｓｒ１＋Ｓｒ２＋Ｓｒ３＋Ｓｒ４） …（２３）
この式（２３）が意味することは、結像距離ｒ＝ｒ０，ｒ１，ｒ２，ｒ３，ｒ４で再構成された画像を全て加算して、（Ｗｒ０＋Ｗｒ１＋Ｗｒ２＋Ｗｒ３＋Ｗｒ４）^-1と、掛け合わせれば、元の撮像画像の各光電変換素子の信号値に逆変換される、ということである。すなわち、式（１６）が意味することは、結像距離ｒ＝ｒ０，ｒ１，ｒ２，ｒ３，ｒ４で再構成された画像から得られた欠陥画素信号レベルＳＲＴ（ｍ）を画素毎に全て加算して、（Ｗｒ０＋Ｗｒ１＋Ｗｒ２＋Ｗｒ３＋Ｗｒ４）^-1と掛け合わせて逆変換された信号値を、素子毎の欠陥素子信号レベルｋとして得ている。以上が、欠陥素子信号レベルｋの算出に関する説明である。

そして、本実施形態では、欠陥素子判定値ｋが閾値Ｔｈを超えた光電変換素子を欠陥素子として抽出する（ステップＳ１０１４）。閾値Ｔｈは実験的に求められる。最後に、信号処理部９は、ステップＳ１０１４で抽出された欠陥素子のアドレスデータを、元の撮像画像に添付して記録媒体１２に記録する。

本実施形態においても、撮像画像をユーザの任意の結像距離で再構成処理する時は、第１の実施形態の図６と同様に処理することで、欠陥素子に伴う画質劣化が抑制された再構成画像を、効率的に生成し、表示させることができる。

本実施形態の説明において、欠陥画素信号レベルＳＲＴ，ｒを算出するための、再構成画像数をｘ＝５として説明した。これは、本実施形態では、説明を分かりやすくするために、単位マイクロレンズアレイ２毎に５つの素子が配置されている、としていたことに起因する。実際には、再構成画像数ｘは、実際には単位マイクロレンズアレイ２毎に配置された素子の数に依存して、適切に設定される。

例えば、単位マイクロレンズアレイ２毎に配置された素子の数がｘ０である時、リフォーカス再構成処理部７が、各素子に入射する主光線が結像するように（例えば、図４の結像距離ｒ１またはｒ２のように）、各々異なる結像距離で再構成画像を生成すれば、少なくともｘ＝ｘ０で本実施形態は成立する。言い換えると、単位マイクロレンズアレイ２毎に配置された素子の数がｘ０である時、各素子に入射する主光線が結像するように設定された、各々異なる結像距離ｒ＝ｒ０，ｒ１，ｒ２，…,ｒｘ０について、（Ｗｒ０＋Ｗｒ１＋Ｗｒ２＋…＋Ｗｒｘ０）の逆行列（Ｗｒ０＋Ｗｒ１＋Ｗｒ２＋…＋Ｗｒｘ０）^-1が少なくとも存在する。

本実施形態は、第１及び第２の実施形態と同様に、複数の再構成画像を用いて欠陥素子の抽出を行っている。但し、第１又は第２の実施形態で提案した再構成画像に施されるリアルタイム欠陥画素検出は、再構成画像の注目画素の信号レベルと、周辺画素の平均信号レベルとを比較して、欠陥画素であるか、非欠陥画素であるかを判定する処理であった。いわば、第１又は第２の実施形態では、本実施形態中の欠陥画素信号レベルｓＲＴ（ｍ）によって、欠陥画素を閾値判定していた。

これに対し、本実施形態では、複数の再構成画像の注目画素の信号レベルと、周辺画素の平均信号レベルとの差を、値としてそのまま保持し、欠陥素子の抽出に用いることに特徴がある。

本実施形態では、複数の再構成画像に対して、リアルタイム欠陥画素検出で欠陥画素を特定させないので、光ショットノイズ、固体撮像素子の回路ノイズ、欠陥素子の出力信号強度および結像距離、リアルタイム欠陥画素検出の誤検出及び未検出、など、様々な要因によって、実際には、「欠陥素子を含む信号が加算された画素は、必ずしも欠陥画素として検出されない」場合にも、適切に欠陥素子を抽出することができる。

以上、好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず適用可能である。また、その要旨の範囲内で種々の変形及び変更が可能である。

Claims (7)

1. 撮影光学系と、マイクロレンズアレイと、複数の光電変換素子とによって得られた被写体の光学像と、前記被写体からの光線の角度情報とを含む撮像画像を処理する画像処理装置であって、
   前記撮影光学系の結像位置を前記撮像画像の再構成処理により変更するリフォーカス手段と、
   前記リフォーカス手段により再構成された再構成画像から欠陥画素を検出する欠陥画素検出手段と、
   異なる前記結像位置の複数の前記再構成画像における前記欠陥画素のアドレスに基づいて、前記撮像画像における欠陥光電変換素子のアドレスを抽出する欠陥素子抽出手段と、
   を備えることを特徴とする画像処理装置。
2. 撮影光学系と、マイクロレンズアレイと、複数の光電変換素子とによって得られた被写体の光学像と、前記被写体からの光線の角度情報とを含む撮像画像を処理する画像処理装置であって、
   前記撮影光学系の結像位置を前記撮像画像の再構成処理により変更するリフォーカス手段と、
   前記リフォーカス手段により再構成された再構成画像から欠陥画素の信号レベルを算出する算出手段と、
   異なる前記結像位置の複数の前記再構成画像の前記欠陥画素の信号レベルに基づいて、前記撮像画像における欠陥光電変換素子のアドレスを抽出する欠陥素子抽出手段と、
   を備えることを特徴とする画像処理装置。
3. 前記算出手段は、前記再構成画像の第１の画素の信号と、前記第１の画素の近傍の複数の画素の信号とを比較することによって前記欠陥画素の信号レベルを算出することを特徴とする請求項２に記載の画像処理装置。
4. 前記欠陥光電変換素子のアドレスに基づいて欠陥画素を補正する補正手段をさらに備えることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記欠陥光電変換素子のアドレスを前記撮像画像と共に記録する記録手段をさらに備えることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 撮影光学系と、マイクロレンズアレイと、複数の光電変換素子とによって得られた被写体の光学像と、前記被写体からの光線の角度情報とを含む撮像画像を処理する画像処理装置を制御する方法であって、
   前記撮影光学系の結像位置を前記撮像画像の再構成処理により変更するリフォーカス工程と、
   前記リフォーカス工程により再構成された再構成画像から欠陥画素を検出する欠陥画素検出工程と、
   異なる前記結像位置の複数の前記再構成画像における前記欠陥画素のアドレスに基づいて、前記撮像画像における欠陥光電変換素子のアドレスを抽出する欠陥素子抽出工程と、
   を有することを特徴とする画像処理装置の制御方法。
7. 撮影光学系と、マイクロレンズアレイと、複数の光電変換素子とによって得られた被写体の光学像と、前記被写体からの光線の角度情報とを含む撮像画像を処理する画像処理装置を制御する方法であって、
   前記撮影光学系の結像位置を前記撮像画像の再構成処理により変更するリフォーカス工程と、
   前記リフォーカス工程により再構成された再構成画像から欠陥画素の信号レベルを算出する算出工程と、
   異なる前記結像位置の複数の前記再構成画像の前記欠陥画素の信号レベルに基づいて、前記撮像画像における欠陥光電変換素子のアドレスを抽出する欠陥素子抽出工程と、
   を有することを特徴とする画像処理装置の制御方法。

Images