JP4818956B2 - 撮像装置およびその方法 - Google Patents

Description

本発明は、撮像素子を用い、光学系を有したデジタルスチルカメラや携帯電話搭載カメラ、携帯情報端末搭載カメラ、画像検査装置、自動制御用産業カメラ等の撮像装置およびその方法に関するものである。

近年急峻に発展を遂げている情報のデジタル化に相俟って映像分野においてもその対応が著しい。
特に、デジタルカメラに象徴されるように撮像面は従来のフィルムに変わって固体撮像素子であるＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ），ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサが使用されているのが大半である。

このように、撮像素子にＣＣＤやＣＭＯＳセンサを使った撮像レンズ装置は、被写体の映像を光学系により光学的に取り込んで、撮像素子により電気信号として抽出するものであり、デジタルスチルカメラの他、ビデオカメラ、デジタルビデオユニット、パーソナルコンピュータ、携帯電話機、携帯情報端末（ＰＤＡ：Ｐｅｒｓｏｎａｌ ＤｉｇｉｔａｌＡｓｓｉｓｔａｎｔ）、画像検査装置、自動制御用産業カメラ等に用いられている。

図２５は、一般的な撮像レンズ装置の構成および光束状態を模式的に示す図である。
この撮像レンズ装置１は、光学系２とＣＣＤやＣＭＯＳセンサ等の撮像素子３とを有する。
光学系は、物体側レンズ２１，２２、絞り２３、および結像レンズ２４を物体側（ＯＢＪＳ）から撮像素子３側に向かって順に配置されている。

撮像レンズ装置１においては、図２５に示すように、ベストフォーカス面を撮像素子面上に合致させている。
図２６（Ａ）〜（Ｃ）は、撮像レンズ装置１の撮像素子３の受光面でのスポット像を示している。

また、位相板（Ｗａｖｅｆｒｏｎｔ Ｃｏｄｉｎｇ ｏｐｔｉｃａｌ ｅｌｅｍｅｎｔ）等により光束を規則的に分散し、デジタル処理により復元させ被写界深度の深い画像撮影を可能にする等の撮像装置が提案されている（たとえば非特許文献１，２、特許文献１〜６参照）。
また、伝達関数を用いたフィルタ処理を行うデジタルカメラの自動露出制御システムが提案されている（たとえば特許文献７参照）。

また、特許文献８には、被写体像を結像する光学系の光路上に、透明弾性膜を対向させた内部に透明液体を封入して、レンズ形状を形成した可変焦点集光手段を構成し、外部から透明液体に所定の周期で圧力変化を与え、透明弾性膜の曲面の曲率を変化させて焦点距離を変化させ、視覚で残像現象が生じる全ての位置に焦点があった像を捕らえるカメラ装置が提案されている（たとえば特許文献７参照）。

"Wavefront Coding;jointly optimized optical and digital imaging systems",Edward R.Dowski,Jr.,Robert H.Cormack,Scott D.Sarama. "Wavefront Coding;A modern method of achieving high performance and/or low cost imaging systems",Edward R.Dowski,Jr.,Gregory E.Johnson. ＵＳＰ６，０２１，００５ ＵＳＰ６，６４２，５０４ ＵＳＰ６，５２５，３０２ ＵＳＰ６，０６９，７３８ 特開２００３−２３５７９４号公報 特開２０００−９８３０１号公報 特開２００４−１５３４９７号公報 特開平９−２３０２５２号公報

上述した各文献にて提案された撮像装置においては、その全ては通常光学系に上述の位相板を挿入した場合のＰＳＦ（Ｐｏｉｎｔ−Ｓｐｒｅａｄ−Ｆｕｎｃｔｉｏｎ）が一定になっていることが前提であり、ＰＳＦが変化した場合は、その後のカーネルを用いたコンボリューションにより、被写界深度の深い画像を実現することは極めて難しい。
したがって、単焦点でのレンズではともかく、ズーム系やＡＦ系などのレンズでは、その光学設計の精度の高さやそれに伴うコストアップが原因となり採用するには大きな問題を抱えている。
換言すれば、従来の撮像装置においては、適正なコンボリューション演算を行うことができず、ワイド（Ｗｉｄｅ）時やテレ（Ｔｅｌｅ）時のスポット（ＳＰＯＴ）像のズレを引き起こす非点収差、コマ収差、ズーム色収差等の各収差を無くす光学設計が要求される。
しかしながら、これらの収差を無くす光学設計は光学設計の難易度を増し、設計工数の増大、コスト増大、レンズの大型化の問題を引き起こす。

また、上述した各文献に開示された深度拡張システムにおいては、基本的に一律（１回）の復元処理を施す。この場合、深度拡張するための光学系を組み合わせるが、レンズの設定物体距離と、それ以外の物体距離では少なからず画像差が出てくる。この微小な画像差のため、復元処理を施しても、完全な復元にはならない。
したがって、一般的な深度拡張システムにおいては、撮影する被写体に対して最適な復元処理を施すことができないという不利益がある。

本発明の目的は、光学系を簡単化でき、コスト低減を図ることができ、しかも撮影する被写体に対して最適な復元処理を施すことが可能な撮像装置およびその方法を提供することにある。

本発明の第１の観点の撮像装置は、光波面変調素子を含む光学系と、前記光学系によって得られた像を電気信号の画像データに変換する撮像素子と、撮像素子で得られた画像のボケ量を検出する機能を有する演算手段と、前記光学系の焦点位置を基準としてデフォーカス量に応じた点広がり関数から算出された複数のボケ復元フィルタと、前記複数のボケ復元フィルタの何れか一つで前記画像データをフィルタリング処理するフィルタ手段と、前記撮像素子によって得られた画像データに、任意の前記ボケ復元フィルタによるフィルタリング処理を施した後に前記画像のボケ量を検出し、フィルタリングの結果ボケ量が最小となると推定される当該ボケ量に応じたフィルタを前記複数のボケ復元フィルタから再度選択して前記フィルタリング処理を行うように制御する制御部と、を有し、前記制御部は、前記再度選択したボケ復元フィルタより前記任意のボケ復元フィルタを用いたほうが前記画像のボケ量が小さい場合は、前記光学系の焦点位置に適した前記ボケ復元フィルタにて前記フィルタリング処理を行うように制御する。

好適には、前記画像のボケ量の検出は画像データの振幅相関値とエッジの微分値の何れか若しくは両方に基づいて行う。

好適には、前記制御部は、前記画像のボケ量からデフォーカス量の推定を行い、前記推定デフォーカス量に対して最適となるフィルタを選択する。

好適には、前記光学系の焦点位置は至近端に設定されている。

好適には、撮影距離に応じた複数の撮影モードを備え、前記複数の撮影モードのうち近距離の撮影に適した撮影モードが選択された場合は、前記光学系の焦点位置を至近端に設定する。

好適には、前記任意のボケ復元フィルタは、前記光学系が至近端のレンズ位置と無限遠のレンズ位置の略中央となる位置でデフォーカスが無い状態に対して最適となるように設定されている。

好適には、前記画像データの振幅相関値とエッジの微分値の何れか若しくは両方は画面内の所定の領域に対して検出を行う。

好適には、前記画面内の所定の領域は任意に設定が可能である。

本発明の第２の観点の撮像方法は、光波面変調素子を含む光学系を通過した被写体像を撮像素子により撮像し、前記撮像素子によって得られた画像データに、任意の前記ボケ復元フィルタを選択してフィルタリング処理を施し、フィルタリング処理を受けた後に前記画像のボケ量を検出し、フィルタリングの結果ボケ量が最小となると推定される当該ボケ量に応じたフィルタを前記光学系の焦点位置を基準としてデフォーカス量に応じた点広がり関数から算出された前記ボケ復元フィルタ群から選択して前記フィルタリング処理を行い、前記選択したボケ復元フィルタより前記任意のボケ復元フィルタを用いたほうが前記画像のボケ量が小さい場合は、前記光学系の焦点位置に適した前記ボケ復元フィルタにて前記フィルタリング処理を行う。

本発明によれば、光学系を簡単化でき、コスト低減を図ることができ、しかも撮影する被写体に対して最適な復元処理を施すことができる。

以下、本発明の実施形態を添付図面に関連付けて説明する。

図１は、本発明に係る撮像装置の一実施形態を示すブロック構成図である。

本実施形態に係る撮像装置１００は、光学系１１０、撮像素子１２０、アナログデジタルコンバータ（Ａ／Ｄ）１３０、信号処理部１４０、第１メモリ１５０、ボケ復元処理部１６０、第２メモリ１７０、復元フィルタ部１８０、ボケ量検出回路１９０、制御部２００、デジタルアナログコンバータ（Ｄ／Ａ）２１０、およびモニタ装置２２０を有している。

本実施形態の撮像装置１００は、基本的に、光波面変調素子により規則的に分散した画像をデジタル処理により、光学系１１０を移動させずにピントの合った画像に復元する波面収差制御光学系システム、あるいは深度拡張光学系システム（ＤＥＯＳ：Ｄｅｐｔｈ Ｅｘｐａｎｔｉｏｎ Ｏｐｔｉｃａｌ ｓｙｓｔｅｍ）を採用しており、この復元処理を制御部２００の制御の下、ボケ復元処理部１６０で行う。

そして、ＤＥＯＳを採用した本実施形態の撮像装置１００は、撮影深度を深くする画像処理系において、最適な処理ルーチンを施すことにより、より良い画像作成をすることが可能な撮影システムとして構成されている。

通常の深度拡張システムにおける画像復元処理は、一律（１回）の復元処理を施す。この場合、深度拡張するための光学系を組み合わせるが、レンズの設定物体距離と、それ以外の物体距離では少なからず画像差が出てくる。この微小な画像差のため、復元処理を施しても、完全な復元にはならない。
そのため、本実施形態においては、撮影する被写体に対しての最適な復元処理を施すことができるように、一度復元処理を行った後、その被写体像の情況に合わせ、最適な画像復元量を算出し、その最適な復元処理にて再度復元する。

図２は、本実施形態に係る復元処理の基本概念を説明するためのフローチャートである。

図２に示すように、被写体を撮影し（ＳＴ１）、一度規定のフィルタリング処理を施し復元処理を行う（ＳＴ２）。
フィルタリング処理を受けた後に撮像素子により得られた被写体の画像データの振幅相関値とエッジの微分値の何れか若しくは両方を検出し（ＳＴ３）、たとえば被写体の物体距離（復元処理係数）を決定する（ＳＴ４）。
そして、この決定に応じたフィルタをボケ復元フィルタ群から選択して新復元係数で再度フィルタリング処理による復元処理を行う（ＳＴ５）。
そして、新復元処理による画像のほうが規定復元処理の画像よりボケ量が多いか否かを比較し（ＳＴ６）、多い場合には、至近端フィルタでの復元処理を行う（ＳＴ７）。
これにより、撮影する被写体に対しての最適な復元処理を施すことができる。

この画像復元処理を行うレンズは、測距によるレンズ駆動部が無いためレンズを固定する。今システムでは、レンズを至近位置に配置し、基本的な性能を確保するために、スナップ用としての至近被写体側で設置する。

光学系１１０は、被写体物体ＯＢＪを撮影した像を撮像素子１２０に供給する。
本実施形態の光学系１１０は、後述するように、光波面変調素子を含み、合焦位置およびその前後の距離において焦点のボケ量が略一定となるように形成されている。

撮像素子１２０は、光学系１１０で取り込んだ像が結像され、結像１次画像情報を電気信号の１次画像信号（ＦＩＭ）として、アナログデジタルコンバータ１３０を介して信号処理部１４０に出力するＣＣＤやＣＭＯＳセンサからなる。
本実施形態では、撮像素子１２０の撮像面は、光学系１１０のレンズ至近位置に配置されている。

アナログデジタルコンバータ１３０は、撮像素子１２０で得られるアナログ画像信号ＦＩＭをデジタル信号に変換して信号処理部１４０に出力する。
信号処理部１４０は、デジタル画像信号の処理の画像処理を施して第１メモリ１５０に格納する。

ボケ復元処理部１６０は、第１メモリ１５０に格納された撮像画像のデジタル信号を入力し、二次元のコンボリューション処理を施し、第２メモリ１７０に格納する。
ボケ復元処理部１６０は、制御部２００の露出情報や被写体画像データの振幅相関値（エッジの微分値）に基づくボケ復元デジタルフィルタの選定結果に応じたデジタルフィルタを復元フィルタ１８０として用いて、光学的伝達関数（ＯＴＦ）を介して撮像された画像データに対してフィルタ処理を行って、ボケ復元処理を行い、ボケ復元処理後の画像を第２メモリ１７０に格納する。
ボケ復元処理部１６０は、撮像素子１２０からの画像の焦点のボケを補正して復元した画像信号を生成する。より具体的には、ボケ復元処理部１６０は、撮像素子１２０からの被写体分散画像信号より分散のない画像信号を生成する機能を有する。

復元フィルタ部１８０は、ボケ復元処理部１６０においてボケ復元処理に用いる複数のデジタルフィルタが用意され、制御部２００の指示に従ったデジタルフィルタがボケ復元処理部１６０で用いられる。

ボケ量検出回路１９０は、第２メモリ１７０に格納されたボケ復元処理画像を読み出して、制御部２１０の制御の下、画像データの振幅相関値とエッジの微分値の何れか若しくは両方に基づいて行い、損結果を制御部２００に出力する。

制御部２００は、露出制御を行うとともに、操作部などの操作入力を持ち、それらの入力に応じて、システム全体の動作を決定し、システム全体の調停制御を司るものである。
制御部２００は、振幅相関値検出回路１９０により供給されたボケ復元処理が施された画像に対して、カラー補間、ホワイトバランス、ＹＣｂＣｒ変換処理、圧縮、ファイリング等の所定の画像処理を行い、図示しないメモリへの格納やモニタ装置２２０への画像表示制御等を行う。
制御部２００は、複数のデジタルフィルタを用い、各デジタルフィルタでのボケ復元処理を行わせ、ボケ量検出回路１９０の検出結果に応じて２復元処理に用いる最適なフィルタを選択させる。
そして、制御部２００は、新復元処理による画像のほうが規定復元処理の画像よりボケ量が多いか否かを比較し、多い場合には、至近端フィルタでの復元処理を行うように制御する。

デジタルアナログコンバータ２１０は、制御部２００で処理されたデジタルデータをアナログデータに変換してモニタ装置２２０に出力する。

モニタ装置２２０は、たとえば液晶表示装置により形成され、制御部２００で所定の画像処理を受けた画像やデコード等を表示する。

ここで、図３〜図５に関連付けて、本実施形態におけるピントの合った最適な画像を得るためのボケ復元用のデジタルフィルタの選択処理について説明する。

前述したように、測距によるレンズ駆動部が無いためレンズを固定する。今システムでは、レンズを至近位置に配置し、基本的な性能確保するために、スナップ用としての至近被写体側で設置する。

レンズの設置位置が至近端とわかっているため、ボケ像は遠距離側の前ピンであることが殆どであり、距離によるレンズのボケ具合の情報は予めシステム側で持っていて、撮影後に一定の復元処理を施せば、その像のコントラスト（ボケ量）よりデフォーカス量（物体像距離）が推定され、その推定された距離に見合う復元画像処理を行う。

ボケ量の検出は画像データの振幅相関値とエッジの微分値の何れか若しくは両方に基づいて行うことが可能である。
通常、画像のボケ状態（ピントの状態）は振幅相関値（コントラストの強弱）に相関があるが、これは被写体の明るさに影響を受ける。自動露出制御で受光量は一定の明るさになるように制御されてはいるが、何らかの条件の変化等で絶対値が変化することは否めない。
このような場合でも画像のエッジの微分値を用いれば、明るさの影響を受けることなく絶対値検出が可能である。もちろんこれらを組み合わせて使い、ボケ量の検出をすることも可能である。

本実施形態の特徴は、一回復元処理を施すことにより、物体距離の推定精度を高めることが出来ることにあり、それにより、撮影された物体像ボケ（距離）に合わせた復元処理を行うことである。この最適な処理を施すことで、測距駆動系のいらない撮影システムが出来る。特に、F値の小さいレンズ系になればより効果が発揮される。

至近側での距離差と、遠距離側での距離差における、センサ面上でのボケ量は、至近側のほうが大きい。このため、センサ位置を至近側に設置しておけば、一般撮影において、距離推定（フィルター推定）するときに、至近近傍での推定は遠距離側より高精度に推定できる。
一方、遠距離側の推定は粗くなるが、遠距離側の推定誤差のボケ変化量は小さく済む。

図３は、撮影距離とセンサ（撮像素子）上でのボケ量の関係を示す図である。

図３に示すように、撮影距離差 A＝B に対して、それぞれの距離差におけるボケ量差（C、D）は、 C ＞ D となる。
しかしながら、被写体は常に至近端より無限遠側にあるとは限らない。レンズの仕様上の至近端より更に近距離側（超至近）に被写体が存在する場合、得られる画像にはボケが生じ、そのボケから被写体が至近端より無限縁側にあるのか、超至近にあるのかは判別できない。
つまり、必ずしもボケ量が大きいほど被写体距離は無限遠側とはならず、ボケ量から被写体距離を推定して一義的に選択したフィルタを用いてボケ復元処理を行なうと、選択前のフィルタでボケ復元した画像よりボケの大きい画像となってしまう。

この問題を解決するためには、推定した被写体距離によって選択したフィルタを用いてボケ復元処理を行なった画像のボケ量が選択前のフィルタでボケ復元処理を行なった画像のボケ量より大きい場合は、被写体が超至近領域にあるものと判断して、至近端距離に適したフィルタを選択してボケ復元処理を行う。
また、上述のレンズを至近端に設定する構成及び処理は、特に被写体が近距離に存在する場合に有効であることから、マクロ撮影モードにおいて用い、通常の撮影モードではレンズ位置を無限遠に設定して処理を実施するという様に、撮影モードに応じて切り替えて用いることも可能である。

デフォーカス量を推定するために最初に用いるボケ復元フィルタは、至近側、無限側の何れに対しても精度良くボケ量を検出できるように、光学系が至近端と無限遠の焦点位置の略中央となる位置でデフォーカスが無い状態に対して最適となるように設計されたものを用いる。

図４は、被写体距離と焦点距離との関係を示す図である。

＜１＞：初期設定である任意のフィルタによりボケ復元した画像からＡのボケ量を検出する。ただし、以下の何れの状態にあるものなのかの判別は不能である。
・被写体が至近端より無限遠側のｂの位置にあることによる結果のＡ’、
・超至近のａの位置にあることによる結果のＡ。

＜２＞：Ａのボケ量からｂという被写体距離を推定し、ｂの距離に適したフィルタを選択してボケ復元処理を実施する。

＜３＞：ボケ復元した画像のボケ量を検出すると、Ｂ＞Ａ となり、初期設定のフィルタの場合より増大する。

＜４＞：至近端距離に最適なフィルタにてボケ復元処理を行う。

なお、画像データのピントのボケ量は、たとえば図５（Ａ）〜（Ｃ）に示すように、モニタ２２０に表示される画面内の処理の領域（図中、破線で示す領域ＡＲ１，ＡＲ２，ＡＲ３）に対して検出を行うように構成することも可能である。
図５（Ａ）はたとえば初期設定領域ＡＲ１を示している。
図５（Ｂ）は主要被写体をカバーするように、設定領域をＡＲ１からＡＲ２に拡大した場合を示している。
図５（Ｃ）は主要被写体に併せて設定領域をＡＲ１からＡＲ３に移動した場合を示している。

以下に、本実施形態の光学系の基本的な機能およびボケ画像復元の有無に応じた基本的な処理について説明した後、本実施形態の特徴である光学系１１０とボケ復元処理部１６０のさらに具体的な構成および機能について具体的に説明する。

ここでは、ベストフォーカス（焦点）位置で光線が集中する一般的な結像光学系を比較例として挙げる。
図６は、一般的な結像光学系の光線高さとデフォーカスとの関係を示す図である。
また、図７は、本実施形態の光学系の結像付近の光学特性を示す図である。

図６に示すように、一般的な結像光学系においては、ベストフォーカスの位置では光線が最も密に集中し、ベストフォーカス位置から離れていくとそのデフォーカス量にほぼ比例してボケ径が広がる。
これに対し、本実施形態の光学系１１０は、図７に示すように、一般的な結像系光学系と異なり、ベストフォーカスの位置で光線が集中しないため、ベストフォーカス位置であってもボケている。しかしながら、本実施形態の光学系１１０は、このベストフォーカス近傍では、デフォーカス量に対してボケの形（ＰＳＦ）の変化が鈍感になるように設計されている。
したがって、ベストフォーカス位置のＰＳＦに応じたボケ復元処理を行えば、ベストフォーカス点はもちろんその前後もボケを除去し鮮明な画像を得ることができる。
これが本実施形態で採用している深度拡大の原理である。

次に、ボケ画像復元処理について説明する。
図８、一般的な光学系のベストフォーカス（ＢｅｓｔＦｏｒｃｕｓ）位置でのＭＴＦ（Modulation Transfer Function：変調伝達関数）特性図である。
図９は、本実施形態の光学系のＭＴＦ特性を示す図である。

本実施形態の光学系１１０を通過して撮像素子１２０で得られた撮像画像はボケているため中域〜高域にかけてＭＴＦが低下している。このＭＴＦを演算によって上昇させる。レンズ単体の振幅特性であるＭＴＦに対し、画像処理を含めたトータルの振幅特性はＳＦＲ（Spatial Frequency Response）と呼ばれている。
ボケ画像を発生させるＰＳＦの周波数特性がＭＴＦであるので、これから所望のＳＦＲ特性まで引き上げるゲイン特性に設計してできたものがボケ復元フィルタである。どの程度のゲインにするかはノイズや偽像とのバランスで決めていく。

このボケ復元フィルタを元画像にデジタルフィルタリングする方法は、画像をフーリエ変換し周波数領域でフィルタと周波数毎に積を取る方法と、空間領域でコンボリューション（Convolution）演算（畳み込み演算）を行なう方法がある。ここでは後者での実現方法を説明する。コンボリューション演算は下記の式で表される。

ただし、ｆはフィルタ（ｆｉｌｔｅｒ）カーネルを示している（ここでは計算を容易にするために１８０度回転済みのものを使用している）。
また、Ａは元画像、Ｂはフィルタリングされた画像（ボケ復元画像）を示している。
この式から分かる通り、ｆを画像に重ねて各タップ同士の積和した結果をその重ねた中心座標の値とすることである。

次に、図１０（Ａ）〜（Ｃ）に関連付けて３＊３のフィルタを例に挙げ具体的に説明する。
図１０（Ａ）の復元フィルタ（既に１８０度回転済み）を図１０（Ｂ）に示すボケ画像のＡ(i,j)上にフィルタの中心ｆ(0,0)を重ね、各タップ同士の積をとりこの９個の総和値を図１０（Ｃ)に示すボケ復元画像のＢ(i,j)とする。
(i,j)を画像全体に渡ってスキャンすると新たなＢ画像が生成される。これがデジタルフィルタである。ここではフィルタがボケ復元目的であるので、この処理を行なうことでボケ復元処理を実施することができる。

以下、本実施形態の光学系、画像処理装置（ボケ復元処理部１６０）の構成および機能についてさらに具体的には説明する。

図１１は、本実施形態に係る光学系１１０の構成例を模式的に示す図である。

図１１の光学系１１０は、物体側ＯＢＪＳに配置された物体側レンズ１１１と、撮像素子１２０に結像させるための結像レンズ１１２と、物体側レンズ１１１と結像レンズ１１２間に配置され、結像レンズ１１２による撮像素子１２０の受光面への結像の波面を変形させる、たとえば３次元的曲面を有する位相板（Ｃｕｂｉｃ Ｐｈａｓｅ Ｐｌａｔｅ）からなる光波面変調素子（波面形成用光学素子：Ｗａｖｅｆｒｏｎｔ Ｃｏｄｉｎｇ Ｏｐｔｉｃａｌ Ｅｌｅｍｅｎｔ）群１１３を有する。また、物体側レンズ１１１と結像レンズ１１２間には図示しない絞りが配置される。
たとえば、本実施形態においては、可変絞りが設けられ、露出制御（装置）において可変絞りの絞り度（開口度）を制御する。

なお、本実施形態においては、位相板を用いた場合について説明したが、本発明の光波面変調素子としては、波面を変形させるものであればどのようなものでもよく、厚みが変化する光学素子（たとえば、上述の３次の位相板）、屈折率が変化する光学素子（たとえば屈折率分布型波面変調レンズ）、レンズ表面へのコーディングにより厚み、屈折率が変化する光学素子（たとえば、波面変調ハイブリッドレンズ）、光の位相分布を変調可能な液晶素子（たとえば、液晶空間位相変調素子）等の光波面変調素子であればよい。

図で示された位相板１１３ａは、光学系により収束される光束を規則正しく分散する光学レンズである。この位相板を挿入することにより、撮像素子１２０上ではピントのどこにも合わない画像を実現する。
換言すれば、位相板１１３ａによって深度の深い光束（像形成の中心的役割を成す）とフレアー（ボケ部分）を形成している。
前述したように、この規則的に分光した画像をデジタル処理により、ピントの合った画像に復元する手段を、前述した波面収差制御光学系システム（ＤＥＯＳ：Ｄｅｐｔｈ Ｅｘｐａｎｔｉｏｎ Ｏｐｔｉｃａｌ ｓｙｓｔｅｍ）といい、この処理をボケ復元処理部１６０において行う。

ここで、ＤＥＯＳの基本原理について説明する。
図１２に示すように、被写体の画像ｆがＤＥＯＳ光学系Ｈに入ることにより、ｇ画像が生成される。
これは、次のような式で表される。

（数２）
ｇ＝Ｈ＊ｆ
ただし、＊はコンボリューションを表す。

生成された画像から被写体を求めるためには、次の処理を要する。

（数３）
ｆ＝Ｈ^−１＊ｇ

ここで、Ｈに関するカーネルサイズと演算係数について説明する。
ズームポジションをＺＰｎ，ＺＰｎ−１・・・とする。また、それぞれのＨ関数をＨｎ，Ｈｎ−１、・・・・とする。
各々のスポット像が異なるため、各々のＨ関数は、次のようになる。

この行列の行数および／または列数の違いをカーネルサイズ、各々の数字を演算係数とする。
ここで、各々のＨ関数はメモリに格納しておいても構わないし、ＰＳＦをピントのボケ量（物体距離）の関数としておき、物体距離によって計算し、Ｈ関数を算出することによって任意の物体距離に対して最適なフィルタを作るように設定できるようにしても構わない。また、Ｈ関数を物体距離の関数として、物体距離によってＨ関数を直接求めても構わない。

本実施形態においては、図１に示すように、光学系１１０からの像を撮像素子１２０で受像して、ボケ復元処理部１６０に入力させ、光学系に応じた変換係数を取得して、取得した変換係数をもって撮像素子１２０からの分散画像信号より分散のない画像信号を生成するように構成している。

なお、本実施形態において、分散とは、上述したように、位相板１１３ａを挿入することにより、撮像素子１２０上ではピントのどこにも合わない画像を形成し、位相板１１３ａによって深度の深い光束（像形成の中心的役割を成す）とフレアー（ボケ部分）を形成する現象をいい、像が分散してボケ部分を形成する振る舞いから収差と同様の意味合いが含まれる。したがって、本実施形態においては、収差として説明する場合もある。

次に、ボケ復元処理部１６０の構成および処理について説明する。

ボケ復元処理部１６０は、図１３に示すように、生（ＲＡＷ）バッファメモリ１６１、二次元コンボリューション演算部１６２、記憶手段としてのカーネルデータ格納ＲＯＭ１６３、およびコンボリューション制御部１６４を有する。

コンボリューション制御部１６４は、コンボリューション処理のオンオフ、画面サイズ、カーネルデータの入れ替え等の制御を行い、たとえば制御部２２０により制御される。

また、カーネルデータ格納ＲＯＭ１６３には、図１４または図１５に示すように予め用意されたそれぞれの光学系のＰＳＦにより算出されたコンボリューション用のカーネルデータが格納されており、制御部２２０によって露出設定時に決まる露出情報を取得し、コンボリューション制御部１６４を通じてカーネルデータを選択制御する。
なお、露出情報には、絞り情報が含まれる。

図１４の例では、カーネルデータＡは光学倍率（×１．５）、カーネルデータＢは光学倍率（×５）、カーネルデータＣは光学倍率（×１０）に対応したデータとなっている。

また、図１５の例では、カーネルデータＡは絞り情報としてのＦナンバ（２．８）、カーネルデータＢはＦナンバ（４）、カーネルデータＣはＦナンバ（５．６）に対応したデータとなっている。

図１５の例のように、絞り情報に応じたフィルタ処理を行うのは以下の理由による。
絞りを絞って撮影を行う場合、絞りによって光波面変調素子を形成する位相板１１３ａが覆われてしまい、位相が変化してしまうため、適切な画像を復元することが困難となる。
そこで、本実施形態においては、本例のように、露出情報中の絞り情報に応じたフィルタ処理を行うことによって適切な画像復元を実現している。

以上は露出情報のみに応じて二次元コンボリューション演算部１６２においてフィルタ処理を行う例を説明したが、たとえば被写体距離情報、ズーム情報、あるいは撮影モード情報と露出情報とを組み合わせることにより適した演算係数の抽出、あるいは演算を行うことが可能となる。

図１６は、被写体距離情報と露出情報とを組み合わせる画像処理装置の構成例を示す図である。
図１６は、撮像素子１２０からの被写体分散画像信号より分散のない画像信号を生成する画像処理装置３００の構成例を示している。

画像処理装置３００は、図１６に示すように、コンボリューション装置３０１、カーネル・数値演算係数格納レジスタ３０２、および画像処理演算プロセッサ３０３を有する。

この画像処理装置３００においては、被写体の物体距離の概略距離に関する情報および露出情報を得た画像処理演算プロセッサ３０３では、その物体離位置に対して適正な演算で用いる、カーネルサイズやその演算係数をカーネル、数値算係数格納レジスタ３０２に格納し、その値を用いて演算するコンボリューション装置３０１にて適正な演算を行い、画像を復元する。

上述のように、光波面変調素子としての位相板(Wavefront Coding optical element)を有した撮像装置の場合、所定の焦点距離範囲内であればその範囲内に関し画像処理によって適正な収差のない画像信号を生成できるが、所定の焦点距離範囲外の場合には、画像処理の補正に限度があるため、前記範囲外の被写体のみ収差のある画像信号となってしまう。
また一方、所定の狭い範囲内に収差が生じない画像処理を施すことにより、所定の狭い範囲外の画像にぼけ味を出すことも可能になる。
本例においては、主被写体までの距離を、距離検出センサを含む物体概略距離情報検出装置４００により検出し、検出した距離に応じて異なる画像補正の処理を行うことにように構成されている。

前記の画像処理はコンボリューション演算により行うが、これを実現するには、たとえばコンボリューション演算の演算係数を共通で１種類記憶しておき、焦点距離に応じて補正係数を予め記憶しておき、この補正係数を用いて演算係数を補正し、補正した演算係数で適性なコンボリューション演算を行う構成をとることができる。
この構成の他にも、以下の構成を採用することが可能である。

焦点距離に応じて、カーネルサイズやコンボリューションの演算係数自体を予め記憶しておき、これら記憶したカーネルサイズや演算係数でコンボリューション演算を行う構成、焦点距離に応じた演算係数を関数として予め記憶しておき、焦点距離によりこの関数より演算係数を求め、計算した演算係数でコンボリューション演算を行う構成等、を採用することが可能である。

図１６の構成に対応付けると次のような構成をとることができる。

変換係数記憶手段としてのレジスタ３０２に被写体距離に応じて少なくとも位相板１１３ａに起因する収差に対応した変換係数を少なくとも２以上予め記憶する。画像処理演算プロセッサ３０３が、被写体距離情報生成手段としての物体概略距離情報検出装置４００により生成された情報に基づき、レジスタ３０２から被写体までの距離に応じた変換係数を選択する係数選択手段として機能する。
そして、変換手段としてのコンボリューション装置３０１が、係数選択手段としての画像処理演算プロセッサ３０３で選択された変換係数によって、画像信号の変換を行う。

または、前述したように、変換係数演算手段としての画像処理演算プロセッサ３０３が、被写体距離情報生成手段としての物体概略距離情報検出装置４００により生成された情報に基づき変換係数を演算し、レジスタ３０２に格納する。
そして、変換手段としてのコンボリューション装置３０１が、変換係数演算手段としての画像処理演算プロセッサ３０３で得られレジスタ３０２に格納された変換係数によって、画像信号の変換を行う。

または、補正値記憶手段としてのレジスタ３０２にズーム光学系１１０のズーム位置またはズーム量に応じた少なくとも１以上の補正値を予め記憶する。この補正値には、被写体収差像のカーネルサイズを含まれる。
第２変換係数記憶手段としても機能するレジスタ３０２に、位相板１１３ａに起因する収差に対応した変換係数を予め記憶する。
そして、被写体距離情報生成手段としての物体概略距離情報検出装置４００により生成された距離情報に基づき、補正値選択手段としての画像処理演算プロセッサ３０３が、補正値記憶手段としてのレジスタ３０２から被写体までの距離に応じた補正値を選択する。
変換手段としてのコンボリューション装置３０１が、第２変換係数記憶手段としてのレジスタ３０２から得られた変換係数と、補正値選択手段としての画像処理演算プロセッサ３０３により選択された補正値とに基づいて画像信号の変換を行う。

図１７は、撮影モード情報と露出情報とを組み合わせる画像処理装置の構成例を示す図である。
図１７は、撮像素子１２０からの被写体分散画像信号より分散のない画像信号を生成する画像処理装置３００Ａの構成例を示している。

画像処理装置３００Ａは、図１６と同様に、図１７に示すように、コンボリューション装置３０１、記憶手段としてのカーネル・数値演算係数格納レジスタ３０２、および画像処理演算プロセッサ３０３を有する。

この画像処理装置３００Ａにおいては、物体概略距離情報検出装置５００から読み出した被写体の物体距離の概略距離に関する情報および露出情報を得た画像処理演算プロセッサ３０３では、その物体離位置に対して適正な演算で用いる、カーネルサイズやその演算係数をカーネル、数値算係数格納レジスタ３０２に格納し、その値を用いて演算するコンボリューション装置３０１にて適正な演算を行い、画像を復元する。

この場合も上述のように、光波面変調素子としての位相板(Wavefront Coding optical element)を有した撮像装置の場合、所定の焦点距離範囲内であればその範囲内に関し画像処理によって適正な収差のない画像信号を生成できるが、所定の焦点距離範囲外の場合には、画像処理の補正に限度があるため、上記範囲外の被写体のみ収差のある画像信号となってしまう。
また一方、所定の狭い範囲内に収差が生じない画像処理を施すことにより、所定の狭い範囲外の画像にぼけ味を出すことも可能になる。
本例においては、主被写体までの距離を、距離検出センサを含む物体概略距離情報検出装置５００により検出し、検出した距離に応じて異なる画像補正の処理を行うことにように構成されている。

上記の画像処理はコンボリューション演算により行うが、これを実現するには、コンボリューション演算の演算係数を共通で１種類記憶しておき、物体距離に応じて補正係数を予め記憶しておき、この補正係数を用いて演算係数を補正し、補正した演算係数で適性なコンボリューション演算を行う構成、物体距離に応じた演算係数を関数として予め記憶しておき、焦点距離によりこの関数より演算係数を求め、計算した演算係数でコンボリューション演算を行う構成、物体距離に応じて、カーネルサイズやコンボリューションの演算係数自体を予め記憶しておき、これら記憶したカーネルサイズや演算係数でコンボリューション演算を行う構成等、を採用することが可能である。

本実施形態においては、上述したように、ＤＳＣのモード設定（ポートレイト、無限遠（風景）、マクロ）に応じて画像処理を変更する。

図１７の構成に対応付けると次のような構成をとることができる。

前述したように、変換係数演算手段としての画像処理演算プロセッサ３０３を通して操作部の撮影モード設定部６００により設定される各撮影モードに応じて異なる変換係数を変換係数記憶手段としてのレジスタ３０２に格納する。
画像処理演算プロセッサ３０３が、撮影モード設定部６００の操作スイッチ６０１により設定された撮影モードに応じて、被写体距離情報生成手段としての物体概略距離情報検出装置５００により生成された情報に基づき、変換係数記憶手段としてのレジスタ３０２から変換係数を抽出する。このとき、たとえば画像処理演算プロセッサ３０３が変換係数抽出手段とて機能する。
そして、変換手段としてのコンボリューション装置３０１が、レジスタ３０２に格納された変換係数によって、画像信号の撮影モードに応じた変換処理を行う。

なお、図１１の光学系は一例であり、本発明は図１１の光学系に対して用いられるものとは限らない。また、図１４および図１５のカーネルデータ格納ＲＯＭに関しても、光学倍率、Ｆナンバやそれぞれのカーネルのサイズ、値に対して用いられるものとは限らない。また用意するカーネルデータの数についても３個とは限らない。

なお、上述のように、光波面変調素子としての位相板(Wavefront Coding optical element)を有した撮像装置の場合、所定の焦点距離範囲内であればその範囲内に関し画像処理によって適正な収差のない画像信号を生成できるが、所定の焦点距離範囲外の場合には、画像処理の補正に限度があるため、前記範囲外の被写体のみ収差のある画像信号となってしまう。
また一方、所定の狭い範囲内に収差が生じない画像処理を施すことにより、所定の狭い範囲外の画像にぼけ味を出すことも可能になる。

本実施形態においては、ＤＥＯＳを採用し、高精細な画質を得ることが可能で、しかも、光学系を簡単化でき、コスト低減を図ることが可能となっている。
以下、この特徴について説明する。

図１８（Ａ）〜（Ｃ）は、撮像素子１２０の受光面でのスポット像を示している。
図１８（Ａ）は焦点が０．２ｍｍずれた場合（Ｄｅｆｏｃｕｓ＝０．２ｍｍ）、図１８（Ｂ）が合焦点の場合（Ｂｅｓｔ ｆｏｃｕｓ）、図１８（Ｃ）が焦点が−０．２ｍｍずれた場合（Ｄｅｆｏｃｕｓ＝−０．２ｍｍ）の各スポット像を示している。
図１８（Ａ）〜（Ｃ）からもわかるように、本実施形態に係る撮像装置１００においては、位相板１１３ａを含む波面形成用光学素子群１１３によって深度の深い光束（像形成の中心的役割を成す）とフレアー（ボケ部分）が形成される。

このように、本実施形態の撮像装置１００において形成された１次画像ＦＩＭは、深度が非常に深い光束条件にしている。

図１９（Ａ），（Ｂ）は、本実施形態に係る撮像レンズ装置により形成される１次画像の変調伝達関数（ＭＴＦ：Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）について説明するための図であって、図１９（Ａ）は撮像レンズ装置の撮像素子の受光面でのスポット像を示す図で、図１９（Ｂ）が空間周波数に対するＭＴＦ特性を示している。
本実施形態においては、高精細な最終画像は後段の、たとえばデジタルシグナルプロセッサ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）からなる画像処理装置１６０の補正処理に任せるため、図１９（Ａ），（Ｂ）に示すように、１次画像のＭＴＦは本質的に低い値になっている。

画像処理装置１６０は、上述したように、撮像素子１２０による１次画像ＦＩＭを受けて、１次画像の空間周波数におけるＭＴＦをいわゆる持ち上げる所定の補正処理等を施して高精細な最終画像ＦＮＬＩＭを形成する。

画像処理装置１６０のＭＴＦ補正処理は、たとえば図２０の曲線Ａで示すように、本質的に低い値になっている１次画像のＭＴＦを、空間周波数をパラメータとしてエッジ強調、クロマ強調等の後処理にて、図２０中曲線Ｂで示す特性に近づく（達する）ような補正を行う。
図２０中曲線Ｂで示す特性は、たとえば本実施形態のように、波面形成用光学素子を用いずに波面を変形させない場合に得られる特性である。
なお、本実施形態における全ての補正は、空間周波数のパラメータによる。

本実施形態においては、図２０に示すように、光学的に得られる空間周波数に対するＭＴＦ特性曲線Ａに対して、最終的に実現したいＭＴＦ特性曲線Ｂを達成するためには、それぞれの空間周波数に対し、エッジ強調等の強弱を付け、元の画像（１次画像）に対して補正をかける。
たとえば、図２０のＭＴＦ特性の場合、空間周波数に対するエッジ強調の曲線は、図２１に示すようになる。

すなわち、空間周波数の所定帯域内における低周波数側および高周波数側でエッジ強調を弱くし、中間周波数領域においてエッジ強調を強くして補正を行うことにより、所望のＭＴＦ特性曲線Ｂを仮想的に実現する。

このように、実施形態に係る撮像装置１００は、基本的に、１次画像を形成する光学系１１０および撮像素子１２０と、１次画像を高精細な最終画像に形成するボケ復元処理部１６０からなり、光学系システムの中に、波面成形用の光学素子を新たに設けるか、またはガラス、プラスチックなどのような光学素子の面を波面成形用に成形したものを設けることにより、結像の波面を変形（変調）し、そのような波面をＣＣＤやＣＭＯＳセンサからなる撮像素子１２０の撮像面（受光面）に結像させ、その結像１次画像を、画像処理装置１５０を通して高精細画像を得る画像形成システムである。
本実施形態では、撮像素子１２０による１次画像は深度が非常に深い光束条件にしている。そのために、１次画像のＭＴＦは本質的に低い値になっており、そのＭＴＦの補正をボケ復元処理部（画像処理装置）１６０で行う。

ここで、本実施形態における撮像装置１００における結像のプロセスを、波動光学的に考察する。
物点の１点から発散された球面波は結像光学系を通過後、収斂波となる。そのとき、結像光学系が理想光学系でなければ収差が発生する。波面は球面でなく複雑な形状となる。幾何光学と波動光学の間を取り持つのが波面光学であり、波面の現象を取り扱う場合に便利である。
結像面における波動光学的ＭＴＦを扱うとき、結像光学系の射出瞳位置における波面情報が重要となる。
ＭＴＦの計算は結像点における波動光学的強度分布のフーリエ変換で求まる。その波動光学的強度分布は波動光学的振幅分布を２乗して得られるが、その波動光学的振幅分布は射出瞳における瞳関数のフーリエ変換から求まる。
さらにその瞳関数はまさに射出瞳位置における波面情報（波面収差）そのものからであることから、その光学系１１０を通して波面収差が厳密に数値計算できればＭＴＦが計算できることになる。

したがって、所定の手法によって射出瞳位置での波面情報に手を加えれば、任意に結像面におけるＭＴＦ値は変更可能である。
本実施形態においても、波面の形状変化を波面形成用光学素子で行うのが主であるが、まさにｐｈａｓｅ（位相、光線に沿った光路長）に増減を設けて目的の波面形成を行っている。
そして、目的の波面形成を行えば、射出瞳からの射出光束は、図１８（Ａ）〜（Ｃ）に示す幾何光学的なスポット像からわかるように、光線の密な部分と疎の部分から形成される。
この光束状態のＭＴＦは空間周波数の低いところでは低い値を示し、空間周波数の高いところまでは何とか解像力は維持している特徴を示している。
すなわち、この低いＭＴＦ値（または、幾何光学的にはこのようなスポット像の状態）であれば、エリアジングの現象を発生させないことになる。
つまり、ローパスフィルタが必要ないのである。
そして、後段のＤＳＰ等からなる画像処理装置１６０でＭＴＦ値を低くしている原因のフレアー的画像を除去すれば良いのである。それによってＭＴＦ値は著しく向上する。

次に、本実施形態および従来光学系のＭＴＦのレスポンスについて考察する。

図２２は、従来の光学系の場合において物体が焦点位置にあるときと焦点位置から外れたときのＭＴＦのレスポンス（応答）を示す図である。
図２３は、光波面変調素子を有する本実施形態の光学系の場合において物体が焦点位置にあるときと焦点位置から外れたときのＭＴＦのレスポンスを示す図である。
また、図２４は、本実施形態に係る撮像装置のデータ復元後のＭＴＦのレスポンスを示す図である。

図からもわかるように、光波面変調素子を有する光学系の場合、物体が焦点位置から外れた場合でもＭＴＦのレスポンスの変化が光波面変調素子を挿入してない光学系よりも少なくなる。
この光学系によって結像された画像を、コンボリューションフィルタによる処理によって、ＭＴＦのレスポンスが向上する。

以上説明したように、本実施形態によれば、合焦位置でもピントを結ばないがその前後でほぼＰＳＦ（Point Spread Function 点広がり関数）が一定になるように設計された光学系１１０と、光学系の像をとらえる撮像素子１２０と、ボケ復元処理を行うボケ処理部１６０と、撮像素子により得られた画像データのボケ量を検出するボケ量検出回路１９０と、光学系の焦点位置を基準としてデフォーカス量に応じた点広がり関数から算出されたボケ復元フィルタ群１８０と、撮像素子によって得られた画像データに、任意の前記ボケ復元フィルタによるフィルタリング処理を施した後に画像のボケ量を検出し、このボケ量に応じたフィルタをボケ復元フィルタ群から選択してフィルタリング処理を行うように制御する制御部２００と、を有し、制御部２００は、記選択したボケ復元フィルタより任意のボケ復元フィルタを用いたほうが画像のボケ量が小さい場合は、光学系の焦点位置に適したボケ復元フィルタにてフィルタリング処理を行うように制御することから、画像処理にて深度拡張するシステムにて画像復元するより、より最適な処理を施すことによって、より忠実な画像復元を行うことができる。

そして、本実施形態に係る撮像装置１００は、デジタルカメラやカムコーダー等の民生機器の小型、軽量、コストを考慮されたズームレンズのＤＥＯＳに使用することが可能である。

また、本実施形態においては、結像レンズ１１２による撮像素子１２０の受光面への結像の波面を変形させる波面形成用光学素子を有する撮像レンズ系と、撮像素子１２０による１次画像ＦＩＭを受けて、１次画像の空間周波数におけるＭＴＦをいわゆる持ち上げる所定の補正処理等を施して高精細な最終画像ＦＮＬＩＭを形成するボケ復元処理部１６０とを有することから、高精細な画質を得ることが可能となるという利点がある。
また、光学系１１０の構成を簡単化でき、製造が容易となり、コスト低減を図ることができる。

ところで、ＣＣＤやＣＭＯＳセンサを撮像素子として用いた場合、画素ピッチから決まる解像力限界が存在し、光学系の解像力がその限界解像力以上であるとエリアジングのような現象が発生し、最終画像に悪影響を及ぼすことは周知の事実である。
画質向上のため、可能な限りコントラストを上げることが望ましいが、そのことは高性能なレンズ系を必要とする。

しかし、上述したように、ＣＣＤやＣＭＯＳセンサを撮像素子として用いた場合、エリアジングが発生する。
現在、エリアジングの発生を避けるため、撮像レンズ装置では、一軸結晶系からなるローパスフィルタを併用し、エリアジングの現象の発生を避けている。
このようにローパスフィルタを併用することは、原理的に正しいが、ローパスフィルタそのものが結晶でできているため、高価であり、管理が大変である。また、光学系に使用することは光学系をより複雑にしているという不利益がある。

以上のように、時代の趨勢でますます高精細の画質が求められているにもかかわらず、高精細な画像を形成するためには、従来の撮像レンズ装置では光学系を複雑にしなければならない。複雑にすれば、製造が困難になったりし、また高価なローパスフィルタを利用したりするとコストアップにつながる。
しかし、本実施形態によれば、ローパスフィルタを用いなくとも、エリアジングの現象の発生を避けることができ、高精細な画質を得ることができる。

なお、本実施形態において、光学系の波面形成用光学素子を絞りより物体側レンズよりに配置した例を示したが、絞りと同一あるいは絞りより結像レンズ側に配置しても前記と同様の作用効果を得ることができる。

本発明に係る撮像装置の一実施形態を示すブロック構成図である。 本実施形態に係る復元処理の基本概念を説明するためのフローチャートである。 撮影距離とセンサ（撮像素子）上でのボケ量の関係を示す図である。 被写体距離と焦点位置との関係を示す図である。 振幅相関値の検出領域の設定例を示す図である。 一般的な結像光学系の光線高さとデフォーカスとの関係を示す図である。 本実施形態の光学系の結像付近の光学特性を示す図である。 一般的な光学系のベストフォーカス（ＢｅｓｔＦｏｒｃｕｓ）位置でのＭＴＦ（Modulation Transfer Function 振幅伝達関数）特性図である。 本実施形態の光学系のＭＴＦ特性を示す図である。 本実施形態におけるボケ復元処理の説明図である。 本実施形態に係る撮像レンズ装置の光学系の構成例を模式的に示す図である。 ＤＥＯＳの原理を説明するための図である。 本実施形態に係るボケ復元処理部の構成例を示すブロック図である。 カーネルデータＲＯＭの格納データの一例（光学倍率）を示す図である。 カーネルデータＲＯＭの格納データの他例（Ｆナンバ）を示す図である。 被写体距離情報と露出情報とを組み合わせるボケ復元処理部の構成例を示す図である。 撮影モード情報と露出情報とを組み合わせる画像処理装置の構成例を示図である。 本実施形態に係る撮像素子の受光面でのスポット像を示す図であって、（Ａ）は焦点が０．２ｍｍずれた場合（Ｄｅｆｏｃｕｓ＝０．２ｍｍ）、（Ｂ）が合焦点の場合（Ｂｅｓｔ ｆｏｃｕｓ）、（Ｃ）が焦点が−０．２ｍｍずれた場合（Ｄｅｆｏｃｕｓ＝−０．２ｍｍ）の各スポット像を示す図である。 本実施形態に係る撮像素子により形成される１次画像のＭＴＦについて説明するための図であって、（Ａ）は撮像レンズ装置の撮像素子の受光面でのスポット像を示す図で、（Ｂ）が空間周波数に対するＭＴＦ特性を示している。 本実施形態に係る画像処理装置におけるＭＴＦ補正処理を説明するための図である。 本実施形態に係る画像処理装置におけるＭＴＦ補正処理を具体的に説明するための図である。 従来の光学系の場合において物体が焦点位置にあるときと焦点位置から外れたときのＭＴＦのレスポンス（応答）を示す図である。 光波面変調素子を有する本実施形態の光学系の場合において物体が焦点位置にあるときと焦点位置から外れたときのＭＴＦのレスポンスを示す図である。 本実施形態に係る撮像装置のデータ復元後のＭＴＦのレスポンスを示す図である。 一般的な撮像レンズ装置の構成および光束状態を模式的に示す図である。 図２５の撮像レンズ装置の撮像素子の受光面でのスポット像を示す図であって、（Ａ）は焦点が０．２ｍｍずれた場合（Ｄｅｆｏｃｕｓ＝０．２ｍｍ）、（Ｂ）が合焦点の場合（Ｂｅｓｔ ｆｏｃｕｓ）、（Ｃ）が焦点が−０．２ｍｍずれた場合（Ｄｅｆｏｃｕｓ＝−０．２ｍｍ）の各スポット像を示す図である。

符号の説明

１００・・・撮像装置、１１０・・・光学系、１２０・・・撮像素子、１３０・・・アナログデジタルコンバータ（Ａ／Ｄ）、１４０・・・信号処理部、１５０・・・第１メモリ、１６０・・・ボケ復元処理部、１７０・・・第２メモリ、１８０・・・復元フィルタ部、１９０・・・ボケ量検出回路、２００・・・制御部、２１０・・・デジタルアナログコンバータ（Ｄ／Ａ）、２２０・・・モニタ装置、１１１・・・物体側レンズ、１１２・・・結像レンズ、１１３・・・波面形成用光学素子、１１３ａ・・・位相板（光波面変調素子）、１６２・・・二次元コンボリューション演算部、１６３・・・カーネルデータＲＯＭ、１６４・・・コンボリューション制御部。

Claims (9)

1. 光波面変調素子を含む光学系と、
   前記光学系によって得られた像を電気信号の画像データに変換する撮像素子と、
   撮像素子で得られた画像のボケ量を検出する機能を有する演算手段と、
   前記光学系の焦点位置を基準としてデフォーカス量に応じた点広がり関数から算出された複数のボケ復元フィルタと、
   前記複数のボケ復元フィルタの何れか一つで前記画像データをフィルタリング処理するフィルタ手段と、
   前記撮像素子によって得られた画像データに、任意の前記ボケ復元フィルタによるフィルタリング処理を施した後に前記画像のボケ量を検出し、フィルタリングの結果ボケ量が最小となると推定される当該ボケ量に応じたフィルタを前記複数のボケ復元フィルタから再度選択して前記フィルタリング処理を行うように制御する制御部と、を有し、
   前記制御部は、
   前記再度選択したボケ復元フィルタより前記任意のボケ復元フィルタを用いたほうが前記画像のボケ量が小さい場合は、前記光学系の焦点位置に適した前記ボケ復元フィルタにて前記フィルタリング処理を行うように制御する
   撮像装置。
2. 前記画像のボケ量の検出は画像データの振幅相関値とエッジの微分値の何れか若しくは両方に基づいて行う
   請求項１に記載の撮像装置。
3. 前記画像データの振幅相関値とエッジの微分値の何れか若しくは両方は画面内の所定の領域に対して検出を行う
   請求項２に記載の撮像装置。
4. 前記画面内の所定の領域は任意に設定が可能である
   請求項３に記載の撮像装置。
5. 前記制御部は、
   前記画像のボケ量からデフォーカス量の推定を行い、前記推定デフォーカス量に対して最適となるフィルタを選択する
   請求項１から４のいずれか一に記載の撮像装置。
6. 前記光学系の焦点位置は至近端に設定されている
   請求項１から５のいずれか一に記載の撮像装置。
7. 撮影距離に応じた複数の撮影モードを備え、前記複数の撮影モードのうち近距離の撮影に適した撮影モードが選択された場合は、前記光学系の焦点位置を至近端に設定する
   請求項１から５のいずれか一に記載の撮像装置。
8. 前記任意のボケ復元フィルタは、
   前記光学系が至近端のレンズ位置と無限遠のレンズ位置の略中央となる位置でデフォーカスが無い状態に対して最適となるように設定されている
   請求項１から７のいずれか一に記載の撮像装置。
9. 光波面変調素子を含む光学系を通過した被写体像を撮像素子により撮像し、
   前記撮像素子によって得られた画像データに、任意の前記ボケ復元フィルタを選択してフィルタリング処理を施し、
   フィルタリング処理を受けた後に前記画像のボケ量を検出し、
   フィルタリングの結果ボケ量が最小となると推定される当該ボケ量に応じたフィルタを前記光学系の焦点位置を基準としてデフォーカス量に応じた点広がり関数から算出された前記複数のボケ復元フィルタから選択して前記フィルタリング処理を行い、
   前記選択したボケ復元フィルタより前記任意のボケ復元フィルタを用いたほうが前記画像のボケ量が小さい場合は、前記光学系の焦点位置に適した前記ボケ復元フィルタにて前記フィルタリング処理を行う
   撮像方法。

Images