JP4984140B2 - 画像処理装置、画像処理方法、撮像装置、撮像方法、及びプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法、撮像装置、撮像方法、及びプログラムに関する。特に本発明は、画像を処理する画像処理装置及び画像処理方法、画像を撮像する撮像装置及び撮像方法、並びに撮像装置及び画像処理装置用のプログラムに関する。

光学伝達関数を焦点位置からある程度の範囲内で本質的に一定にする光学マスクが知られている（例えば、特許文献１及び２参照。）。
米国特許第５７４８３７１号明細書 米国特許出願公開第２００２／０１１８４５７号明細書

上記特許文献に記載の光学マスクによると、光学伝達関数を焦点位置からある程度の範囲内で本質的に一定にすることができる。しかしながら、その範囲内においても、光学伝達関数は距離に応じて微妙に変化する。また、マクロモードで撮像するような近距離の被写体及び風景画像を撮像する場合の風景のような遠方の被写体に対して、光学伝達関数を一定にすることは困難である。このような被写体に対して同じ復元処理を施すと、被写体像を適切に復元できない場合がある。

上記課題を解決するために、本発明の第１の形態によると、撮像装置であって、光学系を通じて被写体の撮像画像を撮像する撮像部と、光学系の複数の光学的伝達関数のそれぞれの空間周波数特性を格納する光学特性格納部と、撮像画像の空間周波数特性を算出する周波数特性算出部と、複数の光学的伝達関数のうち、周波数特性算出部が算出した空間周波数特性により一致する空間周波数特性を持つ光学的伝達関数を、光学系の光学的伝達関数として特定する光学特性特定部とを備える。

光学特性特定部が特定した光学的伝達関数による撮像画像への影響を補正する画像処理を、撮像画像に施す画像処理部をさらに備えてよい。

周波数特性算出部は、撮像画像の部分領域毎に空間周波数特性を算出し、光学特性特定部は、複数の光学的伝達関数のうち、周波数特性算出部が部分領域毎に算出した空間周波数特性により一致する空間周波数特性を持つ光学的伝達関数を部分領域毎に特定し、画像処理部は、光学特性特定部が部分領域毎に特定した光学的伝達関数を補正する画像処理を、撮像画像の部分領域毎に施してよい。

撮像画像における複数のオブジェクト領域を特定するオブジェクト領域特定部をさらに備え、周波数特性算出部は、オブジェクト領域毎に空間周波数特性を算出し、光学特性特定部は、複数の光学的伝達関数のうち、周波数特性算出部がオブジェクト領域毎に算出した空間周波数特性により一致する空間周波数特性を持つ光学的伝達関数をオブジェクト領域毎に特定し、画像処理部は、光学特性特定部がオブジェクト領域毎に特定した光学的伝達関数を補正する画像処理を、撮像画像のオブジェクト領域毎に施してよい。

光学特性格納部は、光学系と被写体との間の位置関係に応じて異なる複数の光学的伝達関数を格納してよい。光学特性格納部は、光学系から被写体までの距離に応じて異なる複数の光学的伝達関数を格納してよい。撮像部は、光学系からの光を受光する受光部を有し、光学系は、光学系から予め定められた距離範囲に位置する被写体からの光を、略同一の広がりで受光部に受光させてよい。光学系は、横収差により、光学系から予め定められた距離範囲に位置する被写体からの光を、略同一の広がりで受光部に受光させてよい。

本発明の第２の形態によると、撮像方法であって、光学系を通じて被写体の撮像画像を撮像する撮像段階と、光学系の複数の光学的伝達関数のそれぞれの空間周波数特性を格納する光学特性格納段階と、撮像画像の空間周波数特性を算出する周波数特性算出段階と、複数の光学的伝達関数のうち、周波数特性算出段階において算出された空間周波数特性により一致する空間周波数特性を持つ光学的伝達関数を、光学系の光学的伝達関数として特定する光学特性特定段階とを備える。

本発明の第３の形態によると、撮像装置用のプログラムであって、撮像装置を、光学系を通じてにより被写体の撮像画像を撮像する撮像部、光学系の複数の光学的伝達関数のそれぞれの空間周波数特性を格納する光学特性格納部、撮像画像の空間周波数特性を算出する周波数特性算出部、複数の光学的伝達関数のうち、周波数特性算出部が算出した空間周波数特性により一致する空間周波数特性を持つ光学的伝達関数を、光学系の光学的伝達関数として特定する光学特性特定部として機能させる。

本発明の第４の形態によると、撮像装置が撮像した撮像画像に基づいて撮像装置が有する光学系の光学的伝達関数を特定する画像処理装置であって、光学系の複数の光学的伝達関数のそれぞれの空間周波数特性を格納する光学特性特定部と、撮像画像の空間周波数特性を算出する周波数特性算出部と、複数の光学的伝達関数のうち、周波数特性算出部が算出した空間周波数特性により一致する空間周波数特性を持つ光学的伝達関数を、光学系の光学的伝達関数として特定する光学特性特定部とを備える。

本発明の第５の形態によると、撮像装置が撮像した撮像画像に基づいて撮像装置が有する光学系の光学的伝達関数を特定する画像処理方法であって、光学系の複数の光学的伝達関数のそれぞれの空間周波数特性を格納する光学特性情報格納段階と、撮像画像の空間周波数特性を算出する周波数特性算出段階と、複数の光学的伝達関数のうち、周波数特性算出段階において算出された空間周波数特性により一致する空間周波数特性を持つ光学的伝達関数を、光学系の光学的伝達関数として特定する光学特性特定段階とを備える。

本発明の第６の形態によると、撮像装置が撮像した撮像画像に基づいて撮像装置が有する光学系の光学的伝達関数を特定する画像処理装置用のプログラムであって、画像処理装置を、光学系の複数の光学的伝達関数のそれぞれの空間周波数特性を格納する光学特性特定部、撮像画像の空間周波数特性を算出する周波数特性算出部、複数の光学的伝達関数のうち、周波数特性算出部が算出した空間周波数特性により一致する空間周波数特性を持つ光学的伝達関数を、光学系の光学的伝達関数として特定する光学特性特定部として機能させる。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた、発明となりうる。

以上の説明から明らかなように、本発明によれば、距離によらず望ましい被写体像を得ることができる。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、一実施形態に係る撮像装置１００の構成の一例を示す。撮像装置１００は、撮像部１０５、画像処理部１４０、表示部１５０、画像記録部１５５、光学特性特定部１６０、光学特性格納部１６５、周波数特性算出部１７０、光学特性格納部１６５、処理パラメータ選択部１８０、位置情報取得部１９０、測距部１９２、撮像画像解析部１９４、及びオブジェクト領域特定部１９６を備える。

撮像部１０５は、光を結像する光学系１１０、光学系１１０が結像した光を受光する受光部１２０、及び受光部１２０が受光した光学系１１０からの光の光量に基づいて撮像画像を生成する画像生成部１３０を有する。また、周波数特性算出部１７０は、周波数成分差算出部１７２、合計値算出部１７４、及び光学的伝達関数選択部１７６を有する。
撮像装置１００は、被写体の像を撮像して撮像画像を生成する。

撮像部１０５は、光学系１１０を通じて被写体の撮像画像を撮像する。具体的には、受光部１２０は、２次元的に配置された複数の受光素子を有する。画像生成部１３０は、複数の受光素子がそれぞれ受光した受光量をＡ／Ｄ変換することによって、被写体の撮像画像を生成する。そして、画像処理部１４０は、Ａ／Ｄ変換された受光量の値、各受光素子の位置、及び光学系１１０の光学的伝達関数に基づいて、画像生成部１３０が生成した撮像画像を補正して、復元画像を生成する。そして、表示部１５０は、画像処理部１４０による処理によって生成された復元画像又は撮像画像を表示する。なお、表示部１５０は、画像をユーザに閲覧させるディスプレイであってよい。

光学系１１０は、被写体までの距離に応じて異なる光学的伝達関数を持つ。光学系１１０の光学特性については後に詳細に説明するが、光学系１１０の光学的伝達関数は、焦点ずれにあまり影響されない。そこで、画像処理部１４０は、被写体までの距離に応じた光学系１１０のいくつかの代表的な光学的伝達関数のうちのより適切なものを用いて、撮像画像に復元処理を施す。

光学系１１０は、撮像装置１００と予め定められた位置関係の範囲内にあるそれぞれの位置からの光を略同一の広がりで撮像装置１００の受光部１２０に受光させる。また、光学系１１０は、撮像装置１００と予め定められた位置関係の範囲内の異なる位置からの光に対して光学的伝達関数が異なる。処理パラメータ格納部１８５は、光学的伝達関数による撮像画像への影響を補正することができる処理パラメータを、当該処理パラメータで補正する場合に適合すべき被写体と光学系１１０との間の位置関係に関する条件に対応づけて格納する。そして、位置情報取得部１９０は、被写体と光学系１１０との間の位置関係を示す位置情報を取得する。そして、処理パラメータ選択部１８０は、位置情報取得部１９０が取得した位置情報が示す位置関係が適合する条件に対応づけて処理パラメータ格納部１８５が格納している処理パラメータを選択する。

なお、位置関係とは、光学系１１０と被写体との間の距離であってよい。すなわち、光学系１１０は、光学系１１０から予め定められた距離の範囲内のそれぞれの位置からの光を略同一の広がりで受光部１２０に受光させる。そして、光学系１１０は、光学系１１０から予め定められた距離の範囲内の異なる位置からの光に対して異なる。そして、処理パラメータ格納部１８５は、光学的伝達関数による撮像画像への影響を補正することができる処理パラメータを、当該処理パラメータで補正する場合に適合すべき光学系１１０からの距離に関する条件に対応づけて格納する。そして、位置情報取得部１９０は、被写体と光学系１１０との間の距離を示す距離情報を取得する。そして、処理パラメータ選択部１８０は、位置情報取得部１９０が取得した距離情報が示す距離が適合する条件に対応づけて処理パラメータ格納部１８５が格納している処理パラメータを選択する。なお、位置関係は、光学系１１０と被写体との間の距離の他、光軸に垂直面内における、光軸と被写体との間の距離を含んでよい。

なお、光学系１１０は、横収差により、光学系１１０と予め定められた距離の範囲内の位置からの光を略同一の広がりで受光部１２０に受光させてよい。画像処理部１４０は、処理パラメータ選択部１８０が選択した処理パラメータを用いて、光学的伝達関数による撮像画像への影響を補正する。

また、測距部１９２は、位置情報取得部１９０は、被写体までの距離を取得する。測距部１９２は、レーザによって被写体までの距離を取得するレーザ測距センサであってよい。そして、処理パラメータ格納部１８５は、光学的伝達関数による撮像画像への影響を補正することができる処理パラメータを、当該処理パラメータで補正する場合に適合すべき被写体までの距離に関する条件に対応づけて格納する。そして、処理パラメータ選択部１８０は、測距部１９２が取得した距離が適合する条件に対応づけて処理パラメータ格納部１８５が格納している処理パラメータを選択する。

また、撮像画像解析部１９４は、撮像画像の画像内容を解析する。そして、位置情報取得部１９０は、撮像画像解析部１９４による解析結果を取得する。そして、処理パラメータ格納部１８５は、光学的伝達関数による撮像画像への影響を補正することができる処理パラメータを、当該処理パラメータで補正する場合に適合すべき撮像画像の画像内容に関する条件に対応づけて格納している。そして、処理パラメータ選択部１８０は、前記位置情報取得部１９０が取得した解析結果が適合する条件に対応づけて処理パラメータ格納部１８５が格納している処理パラメータを選択する。

このように、撮像装置１００は、画像内容に基づいて説明したが、撮像画像の画像内容から直接光学的伝達関数を特定することもできる。具体的には、光学特性格納部１６５は、光学系１１０の複数の光学的伝達関数のそれぞれの空間周波数特性を格納する。周波数特性算出部１７０は、撮像画像の空間周波数特性を算出する。そして、光学特性特定部１６０とは、複数の光学的伝達関数のうち、周波数特性算出部１７０が算出した空間周波数特性により一致する空間周波数特性を持つ光学的伝達関数を、光学系１１０の光学的伝達関数として特定する。

なお、周波数特性算出部１７０は、撮像画像の部分領域毎に空間周波数特性を算出する。そして、光学特性特定部１６０は、複数の光学的伝達関数のうち、周波数特性算出部１７０が部分領域毎に算出した空間周波数特性により一致する空間周波数特性を持つ光学的伝達関数を部分領域毎に特定する。そして、画像処理部１４０は、光学特性特定部１６０が部分領域毎に特定した光学的伝達関数を補正する画像処理を、撮像画像の部分領域毎に施す。

より具体的には、オブジェクト領域特定部１９６は、撮像画像における複数のオブジェクト領域を特定する。そして、周波数特性算出部１７０は、オブジェクト領域毎に空間周波数特性を算出する。そして、光学特性特定部１６０は、複数の光学的伝達関数のうち、周波数特性算出部１７０がオブジェクト領域毎に算出した空間周波数特性により一致する空間周波数特性を持つ光学的伝達関数をオブジェクト領域毎に特定する。そして、画像処理部１４０は、光学特性特定部１６０がオブジェクト領域毎に特定した光学的伝達関数を補正する画像処理を、撮像画像のオブジェクト領域毎に施す。

なお、光学特性格納部１６５は、光学系１１０から被写体までの距離に対応づけて、当該距離に存在する被写体に対する複数の光学的伝達関数を格納している。そして、画像記録部１５５は、光学特性特定部１６０が特定した光学的伝達関数に対応づけて光学特性格納部１６５が格納している距離を示す距離情報を、撮像画像に付帯して記録してよい。

図２は、光学系１１０の光学特性の一例を模式的に示す。光学系１１０は、高さｈ１から入射した光線２１０を、光軸方向において受光部１２０より光学系１１０側の位置Ｚ２１０で結像させ、光線２１０は受光部１２０において光軸からΔｙ１だけ低い位置で受光される。このように、光学系１１０による光線２１０の横収差は負の値となる。また、光学系１１０は、ｈ１より高い高さｈ２から入射した光線を、光軸方向において位置Ｚ２１０よりさらに光学系１１０側の位置Ｚ２２０で結像させ、光線２２０は受光部１２０において光軸からΔｙ１よりさらに低い光軸からΔｙ２だけ低い位置で受光される。

一方、光学系１１０は、ｈ２よりさらに高いｈ３から入射した光を、受光部１２０において光軸からΔｙ３だけ高い位置で受光させる。すなわち、光学系１１０によると、光軸から入射高が高くなるほど横収差の値は小さくなるが、ある高さで横収差は極大値となる。そして、入射高がさらに高くなると横収差が増加して、ある高さで横収差が０になり、さらに高くなると横収差が０を超える。

なお、受光部１２０は、複数の受光素子によって略平面状の受光面が形成される。受光部１２０の受光面は、光学系１１０の光軸に略垂直に設けられる。なお、受光素子はＣＣＤ撮像素子であってよいし及びＭＯＳ型撮像素子であってもよい。

以上、図２を用いて光学系１１０の光学特性を定性的に説明した。なお、図２に示した光学系１１０及び受光部１２０の模式図は、光学系１１０の光学特性を理解し易くすることを目的として作図したものであり、実スケールに従って作図されたものではないことに注意すべきである。

図３は、光学系１１０の構造の一例を示す。光学系１１０は、複数の光学素子３１０、３２０、３３０、３５０、３６０、及び３７０、並びに絞り３４０を有する。また、受光部１２０の受光面は、本図において像面３８０で示されている。なお、本図には、３本の主光線３００、３０１、及び３０２が光学系１１０に重ねて描かれている。なお、以後の図４、５、及び６には、主光線３００、３０１、及び３０２で示される波長０．５８７６ｎｍの光に対する光学系１１０の光学特性が示される。以下に、光学素子３１０、３２０、３３０、３５０、３６０、及び３７０の光学データについて説明する。

光学素子３１０は、屈折率が１．６６４４５６６３であり、厚さが１．９９７１６３ｍｍである。また、光学素子３１０の物体側の曲率及び直径はそれぞれ１５．２０８３４ｍｍ及び１３．４７９１５ｍｍであり、像面３８０側の曲率及び直径はそれぞれ８．１５３８９８ｍｍ及び１０．９９６０５ｍｍである。なお、本図の説明における厚さとは、光学素子の光軸方向の長さを示す。

光学素子３２０は、光学素子３１０から像面３８０側に光軸方向に距離５．１９３９７７ｍｍだけ離されて設けられる。なお、ここでいう距離とは、光学素子３１０の像面３８０側の表面と光学素子３２０の物体側の表面との間の距離を示し、本図の以下の説明における距離も同様の意味を示す。光学素子３２０は、屈折率が１．９２２８５０５９であり、厚さが８．８８０５０５ｍｍである。また、光学素子３２０の物体側の曲率及び直径はそれぞれ３８．３８８３４ｍｍ及び９．３００７２２ｍｍであり、像面３８０側の曲率及び直径はそれぞれ−２８．１７２７５ｍｍ及び６．１０５４４９ｍｍである。

光学素子３３０は、光学素子３２０と接して設けられる。光学素子３３０は、屈折率が１．４６４４９８５８であり、厚さが１．９９９９７ｍｍである。また、光学素子３３０の像面３８０側の曲率及び直径はそれぞれ１０．８８１４ｍｍ及び４．６９０５９ｍｍである。絞り３４０は、光学素子３３０から像面３８０側に光軸方向に距離１．２４５３３９ｍｍだけ離されて設けられ、直径は４．４３２４０６ｍｍである。

光学素子３５０は、絞り３４０から像面３８０側に光軸方向に距離４．８６４９８７ｍｍ離れて設けられる。光学素子３５０は、屈折率が２．０２２０３３５０であり、厚さが１０．０００１４ｍｍである。また、光学素子３５０の物体側の曲率及び直径はそれぞれ−４４３．０３５６ｍｍ及び８．９１３３３５ｍｍであり、像面３８０側の曲率及び直径はそれぞれ−１７．４６６６４ｍｍ及び１３．００５９５ｍｍである。

光学素子３６０は、光学素子３５０と接して設けられる。光学素子３６０は、屈折率が１．５００１２８４１であり、厚さが１０．１３７６４ｍｍである。また、光学素子３２０の像面３８０側の曲率及び直径はそれぞれ−２３．９０３９１ｍｍ及び１６．５２７９９ｍｍである。

光学素子３７０は、光学素子３６０から像面３８０側に光軸方向に５．１３６９１７ｍｍ離れて設けられる。光学素子３７０は、屈折率が２．０２２０３３５０であり、厚さが９．９１６２４８ｍｍである。また、光学素子３７０の物体側の曲率及び直径はそれぞれ１５．６８４８２ｍｍ及び１８．１５１９４ｍｍであり、像面３８０側の曲率及び直径はそれぞれ２５．２２５１９ｍｍ及び１３．３８７５ｍｍである。なお、像面３８０は、光学素子３７０から距離７．７３００１ｍｍ離れた位置にある。

図４は、光学系１１０の横収差特性を示す。図示されるように、光学系１１０は、複数の像高にわたって、Ｘ方向及びＹ方向に略同一の横収差特性を持つ。このような横収差特性は、横収差特性を略同一にさせる設計方法によって得られる。この設計方法では、横収差特性を三次関数で与える。具体的には、横収差特性を示す関数として、係数ａ及びｂが定数であるΔｙ＝ａｘ^３−ａｂ^２ｘを与え、収束時の目標値として例えば係数ａに５×１０^−４、係数ｂに１０を定める。

この設計方法では、後述するように、横収差が極値となるｘ座標の目標値を係数ｂによって定め、さらにその極値の目標値を係数ａによって定める。なお、極値の大きさは、像面３８０における横収差の大きさが少なくとも受光部１２０の受光素子の間隔より大きくなるよう、受光部１２０の受光素子の間隔に応じて、係数ｂにより指定してよい。そして、光学系１１０の各光学素子のパラメータを変化させながら各像高の光線について横収差特性を算出する。そして、算出した横収差特性と予め与えられた横収差特性との間の誤差が予め定められた値より小さくなるまで、各光学素子のパラメータを変化させる。なお、横収差の特性を示す関数としては、正弦関数等、原点に関して対称であり、かつ極値を持つ関数であれば、上記の三次式に限らない。

図２に示されるように、光学系１１０による横収差の大きさはｘ＝０において０であり、ｘ座標が正の方向に変化した場合の横収差の変化を見ると、横収差が極値に達するまでその大きさは増加している。また、横収差曲線は、原点に対して略対称である。このように、光学系１１０の入射瞳上における位置である入射位置と、入射位置に入射する光線に対する横収差との関係は、光軸から第１距離だけ離れた第１入射位置と光軸との間の範囲において光軸から入射位置までの距離が長いほど横収差の大きさが大きく、光軸を中心として略対称である。また、光学系１１０の入射瞳上における位置である入射位置と、入射位置に入射する光線に対する横収差との関係は、光軸から入射位置までの距離に関して連続的である。

また、図２に示されるように、横収差の値が極値となるｘ座標からさらに増加すると、横収差の大きさは減少に転じる。さらにｘ座標が大きくなると、横収差の大きさが０になった後、増加していく。このように、光軸から第１入射位置での入射位置に関する横収差の微分値の大きさは、光軸近傍における入射位置に関する横収差の微分値の大きさより小さい。より具体的には、第１入射位置での入射位置に関する横収差の微分値が０である。そして、光軸から第１距離より長い第２距離だけ離れた第２入射位置と、第１入射位置との間の範囲において、光軸から入射位置までの距離が長いほど横収差の大きさが小さい。

そして、第２入射位置に入射する光線に対する横収差が０である。さらに、光軸から第２距離より長い第３距離だけ離れた第３入射位置と、第２入射位置との間の範囲において、光軸から入射位置までの距離が長いほど横収差の大きさが大きい。また、上記の設計方法で説明したように、光学系１１０の横収差は、光軸から入射位置までの距離に関する３次関数で表される。他にも、光学系１１０の横収差は、光軸から入射位置までの距離に関する正弦関数で表されてよい。

図５は、光学系１１０のＭＴＦ特性を示す。本ＭＴＦ図は、横軸が像面３８０からの光軸方向のデフォーカス量を示し、縦軸がＭＴＦ値を示す。また、図６は、光学系１１０によるスポットダイアグラムの一例を示す。

図５を参照すると、光学系１１０は、複数の像高についても、サジタル光線及びメリジオナル光線についても、略同一のＭＴＦ値の分布を持つことが分かる。また、光学系１１０は、デフォーカス量の広い範囲にわたって、所定値（例えば、０．２）以上のＭＴＦ値を有することが分かる。また、図６には、光学系１１０によるスポットダイアグラムを、デフォーカス量について横方向に、像高について縦方向に並べたものが示されている。図６を参照しても、所定範囲のデフォーカス量及び像高についても、スポットダイアグラムが略同一の広がりを示すことが分かる。このように、光学系１１０は、光学系１１０から予め定められた距離範囲に位置する被写体からの光を、横収差によって、略同一の広がりで受光部１２０に受光させる。図示されるように、光学系１１０による光の広がりは、所定のデフォーカス量及び像高の範囲にわたって略同一であるので、画像処理部１４０は、光学系１１０を通過して受光部１２０が受光した光から得られた画像を略同一の逆フィルタで復元処理することができる。

光学系１１０による光の広がりは略同一である一方で、図６のスポットダイアグラムを詳細に観察すると、スポットダイアグラムは焦点ずれに対して微妙に異なることが分かる。具体的には、スポットダイアグラムは、焦点ずれが正である場合には"芯"を持つ形状を有し、焦点ずれが負である場合には"環状"或いは"ドーナツ状"の形状を有する。本図のスポットダイアグラムは、一点からの光について、複数の焦点ずれに関して得られたものであるが、被写体までの距離に対するスポットダイアグラムの変化も同様の傾向を持つ。例えば、光学系１１０の近傍の被写体からの光については、光学系１１０の周辺部を通過する光に対する横収差による効果と被写体が光学系１１０の近くに位置する効果によって光束が周囲に広がる形となり、スポットダイアグラムは"環状"の形状になる。一方、光学系１１０は中心部では横収差が小さいので、遠方の被写体からの近軸光に近い光は光学系１１０により細く絞られ、スポットダイアグラムは"芯"を持つ形状になる。

図７は、点光源に対する光学系１１０の応答及び受光部１２０が有する受光素子の配列の一例を示す。上記で説明したように、光学系１１０は、複数の像高について略同一の広がりを有する。したがって、受光部１２０の位置が所定のデフォーカス量の範囲内にあれば、図示したように点光源に対する光学系１１０の応答の半値幅δ０、δ１、及びδ２を略同一とすることができる。なお、半値幅δ０、δ１、及びδ２を略同一にすることができるデフォーカス量の幅は、上記の設計方法において、横収差が極値となるｘ座標の目標値を定めることで制御することができる。例えば、横収差特性Δｙ＝ａｘ^３−ａｂ^２ｘにおいて、係数ｂの値で制御する。

なお、受光部１２０は、複数の受光素子７０１〜７０４、７１１〜７１４、７２１〜７２４、・・・を有する。受光部１２０の受光素子は、ｘ方向にＰｘ、ｙ方向にＰｙのピッチで等間隔で配列されている。この場合、光学系１１０は、応答の半値幅δ０、δ１、及びδ２が画素ピッチＰｘ及びＰｙより大きくなるよう光学系１１０の横収差特性を指定することによって設計されてよい。具体的には、上記の設計方法で横収差特性Δｙ＝ａｘ^３−ａｂ^２ｘを与えた場合、応答の半値幅δ０、δ１、及びδ２がＰｘ及びＰｙのいずれより大きくなるよう、係数ａの目標値を定める。このように、光学系１１０を設計する場合には、デフォーカス量の許容幅に応じて係数ｂの目標値を定め、受光部１２０の受光素子の画素ピッチに応じて係数ａの目標値を定める。

なお、撮像装置１００がカラー画像を撮像する場合、隣接する受光素子が異なる色の波長の光を受光する場合がある。この場合、画素ピッチとは、同じ色を示す波長の光を受光する受光素子間の距離であってよい。例えば、受光素子７０１、７０３、７１２、７１４、７２１、及び７２３が緑色を示す波長の光を受光し、受光素子７０２、７０４、７２２、及び７２４が青色を示す波長の光を受光し、受光素子７１１及び７１３が赤色を示す波長の光を受光する場合、画素ピッチとは、ｙ方向に受光素子７０１の中心位置と受光素子７２１の中心位置との間の距離であり、ｘ方向に受光素子７０１の中心位置と受光素子７０３の中心位置との間の距離であってよい。

なお、受光部１２０は、第１入射位置から光軸に平行に入射する光線が光軸と交わる交点と、光学系１１０の近軸像点との間に設けられてよい。具体的には、受光部１２０は、交点と光学系１１０の近軸像点との中点近傍に設けられてよい。

なお、表示部１５０は、受光部１２０が受光した受光量に応じて得られる画像を表示してもよい。具体的には、表示部１５０は、画像生成部１３０が生成した画像を表示する。なお、表示部１５０は、表示部１５０の画素数が光学系１１０の受光素子の数に比べて少ない場合は、画像生成部１３０が生成した画像を空間的に平均化することなく画素を間引いて表示してよい。また、撮像装置１００は、光学系１１０の焦点距離を変化させる焦点制御装置を有さず、光学系１１０の焦点距離は固定であってよい。また、撮像装置１００は、被写体からの光を空間的に分散させる光学ローパスフィルタを有さなくてよい。

図８は、処理パラメータ格納部１８５が格納しているデータの一例をテーブル形式で示す。処理パラメータ格納部１８５は、動作モード、距離、画像特徴量、空間周波数特性に関する条件に対応づけて、復元処理に用いる周波数フィルタ（例えば、フィルタＡ及びＢ）を示す情報を格納している。具体的には、動作モードとは、撮像装置１００が近距離撮影を行うか否かを示す動作モードであってよい。例えば、位置情報取得部１９０は、バーコードを解析するバーコードリーダ・ソフトウェアを起動する指示をユーザから受け付けた場合に、近距離撮影を行う動作モードである近距離撮像モードを取得する。一方、位置情報取得部１９０は、風景を撮影する指示をユーザから受け付けた場合に、遠距離撮影を行う動作モードである遠距離撮像モードを取得する。

なお、位置情報取得部１９０は、撮影メニュー等を通じて風景を撮影することをユーザから指示された場合に、当該指示により遠距離撮像モードを取得してもよい。他にも、位置情報取得部１９０は、撮像装置１００が存在する位置情報に基づいて遠距離撮像モードを取得してよい。例えば、撮像装置１００は、ＧＰＳ情報から撮像装置１００が存在する位置の緯度及び経度情報を取得する。そして、位置情報取得部１９０は、当該緯度及び経度情報で示される位置が山や海等、風景が特徴的であることが予め定められた地域に含まれる場合には、位置情報取得部１９０は遠距離撮像モードを取得してよい。

なお、動作モードは、ユーザが手動で選択した撮像モード、例えばマクロモードを含む。なお、撮像装置１００がフラッシュ撮影を行うべき旨を判断した場合には、位置情報取得部１９０は近距離撮像モード以外の撮像モードを取得してよい。このようにして、位置情報取得部１９０は、近距離撮像モード、遠距離撮像モード、通常撮像モード、マクロモード等の撮像装置１００の動作モードを取得する。そして、処理パラメータ選択部１８０は、それらの動作モードに対応づけて処理パラメータ格納部１８５が格納しているフィルタＡ又はＢを選択する。例えば、動作モードが近距離撮像モードである場合には、処理パラメータ選択部１８０はフィルタＡを選択する。

また、処理パラメータ格納部１８５が格納する距離とは、被写体までの距離の範囲を含んでよい。この場合、位置情報取得部１９０は測距部１９２から被写体までの距離を取得する。そして、処理パラメータ選択部１８０は、位置情報取得部１９０が取得した距離を含む範囲に対応づけて処理パラメータ格納部１８５が格納しているフィルタを選択する。例えば、被写体までの距離が２０ｃｍであれば、処理パラメータ選択部１８０はフィルタＡを選択する。

また、処理パラメータ格納部１８５が格納する画像特徴量とは、色の特徴量を含んでよい。また、処理パラメータ格納部１８５が格納する色の特徴量とは、例えば白黒比に関する情報等であってよい。例えば、処理パラメータ格納部１８５は、「黒の比率が３５％〜６０％であること」という画像特徴量に関する条件を格納してよい。他にも、画像特徴量とは色成分の数であってよい。例えば、処理パラメータ格納部１８５はさらに、「黒を含む特定の２色の組合せにより作成される色の割合が９０％超であること」という画像特徴量に関する条件を格納してよい。

例えばバーコードは、無地の背景上に黒で印刷されることが多い。そして、黒の比率は平均的に５０％程度であることが期待される。また、バーコード領域は、本来は白及び黒の２色の合計の面積が全体の１００％近くを占めることが予測される。しかしながら、撮像画像に含まれるバーコード像は光学系１１０の光学特性によってぼけた像となっていることが予想される。このため、撮像画像に含まれるバーコード像は、２色の強度の組合せによって作成される色を含むことが予想される。したがって、バーコード像には、例えば黒及び白の組合せから作成される色が面積比で９０％超含まれることが期待される。

したがって、撮像画像解析部１９４は、撮像画像において、黒が占める比率及び２色の組合せから作成される色が占める比率を計算する。そして、位置情報取得部１９０は、撮像画像解析部１９４による計算結果を取得する。そして、処理パラメータ選択部１８０は、黒が占める比率及び２色の組合せから作成される色が占める比率が適合する条件に対応づけて処理パラメータ格納部１８５が格納しているフィルタを選択する。

このように、処理パラメータ格納部１８５は、光学的伝達関数による撮像画像への影響を補正することができる処理パラメータを、当該処理パラメータで補正すべき撮像画像を撮像装置１００が扱う場合の撮像装置１００の動作モードに対応づけて格納している。そして、位置情報取得部１９０は、被写体を近距離撮像した撮像画像を扱う動作モード又は被写体を遠距離撮像した撮像画像を扱う動作モードを取得する。そして、処理パラメータ選択部１８０は、位置情報取得部１９０が取得した動作モードに対応づけて処理パラメータ格納部１８５が格納している処理パラメータを選択する。

また、処理パラメータ格納部１８５は、光学的伝達関数による撮像画像への影響を補正することができる処理パラメータを、当該処理パラメータで補正すべき撮像画像を撮像する場合の撮像装置１００の撮像モードに対応づけて格納している。そして、位置情報取得は、近距離の被写体を撮像すべき旨の撮像モードを取得する。そして、処理パラメータ選択部１８０は、位置情報取得部１９０が取得した撮像モードに対応づけて処理パラメータ格納部１８５が格納している処理パラメータを選択する。

また、処理パラメータ格納部１８５が格納する空間周波数特性とは、撮像画像の空間周波数特性を含んでよい。例えば、光学特性格納部１６５は、撮像画像の空間周波数特性と最も一致すべき光学的伝達関数を識別する情報（ＯＴＦＩＤ）を、空間周波数特性に関する条件としてを格納してよい。なお、処理パラメータ選択部１８０が空間周波数特性に基づいてフィルタを選択する場合の動作については、以後の図を用いて説明する。

図９は、光学特性特定部１６０のブロック構成の一例を示す。光学特性特定部１６０は、周波数成分差算出部１７２、合計値算出部１７４、及び光学的伝達関数選択部１７６を有する。また、図１０は、撮像装置１００が撮像画像を復元する復元処理フローの一例を示す。本復元処理フローは、撮像画像の画像内容から光学系１１０の光学的伝達関数を推測することによって、撮像画像に復元処理を施す処理フローの一例を示す。また、光学特性特定部１６０の各構成要素の動作は、本図の復元処理フローに沿って説明する。

周波数成分差算出部１７２は、画像生成部１３０が生成した撮像画像を取得する（Ｓ１０００）。そして、オブジェクト領域特定部１９６は、撮像画像からエッジ抽出等によってオブジェクトが存在する複数の領域（複数のオブジェクト領域という。）を抽出する（Ｓ１００２）。なお、光学系１１０によって被写体像はぼかされるので、撮像画像からエッジを抽出することが困難である場合がある。このような場合、オブジェクト領域特定部１９６は、後のステップで説明するように、代表的なフィルタを仮に用いて撮像画像に復元処理を施して、得られた復元画像からエッジを抽出することによってオブジェクト領域を特定してもよい。

次に、オブジェクト領域特定部１９６が特定した複数のオブジェクト領域のそれぞれに対して、下記のＳ１００４からＳ１０１４の処理を行うことによって、オブジェクト領域毎に復元画像を生成する。まず、周波数特性算出部１７０は、撮像画像のオブジェクト領域毎に、空間周波数成分の値を算出する（Ｓ１００４）。具体的には、周波数特性算出部１７０は、撮像画像のオブジェクト領域毎にフーリエ変換することによって、オブジェクト領域毎に空間周波数成分の値を算出する。

そして、周波数成分差算出部１７２は、複数の光学的伝達関数のそれぞれについて、周波数特性算出部１７０が算出した空間周波数成分の値と光学的伝達関数が示す空間周波数成分の値との差を周波数毎に算出する（Ｓ１００６）。そして、合計値算出部１７４は、複数の光学的伝達関数のそれぞれについて、周波数成分差算出部１７２が算出した差の大きさを周波数にわたって合計した合計値を算出する（Ｓ１００８）。そして、光学的伝達関数選択部１７６は、複数の光学的伝達関数のうち、合計値算出部１７４が算出した合計値がより小さい光学的伝達関数を、光学系１１０の光学的伝達関数として選択する（Ｓ１０１０）。具体的には、光学的伝達関数選択部１７６は、合計値算出部１７４が算出した合計値がより小さい光学的伝達関数を識別する識別情報であるＯＴＦＩＤを選択する。

そして、処理パラメータ選択部１８０は、ＯＴＦＩＤに対応づけて処理パラメータ格納部１８５が格納しているフィルタ（フィルタＡ又はフィルタＢ）を、オブジェクト領域毎に選択する（Ｓ１０１２）。そして、画像処理部１４０は、選択されたフィルタを用いてオブジェクト領域毎に空間周波数領域においてフィルタリングして、逆フーリエ変換することによって、各オブジェクト領域の復元画像を得る（Ｓ１０１４）。そして、画像処理部１４０は、得られた各オブジェクト領域の復元画像を組み合わせることによって一の復元画像を生成する。

なお、Ｓ１０１２及びＳ１０１４では、周波数領域のフィルタを使用して復元処理する形態について説明したが、Ｓ１０１２及びＳ１０１４は、上記のような周波数領域におけるフィルタリング処理と実質的に等価な、コンボリューションによる復元処理によって復元画像を生成することもできる。すなわち、処理パラメータ格納部１８５は、複数の光学的伝達関数を識別するＯＴＦＩＤに対応づけてコンボリューションフィルタを格納している。そして、処理パラメータ選択部１８０はＳ１０１０において選択されたＯＴＦＩＤに対応づけて処理パラメータ格納部１８５が格納しているコンボリューションフィルタを選択する。そして、画像処理部１４０は、処理パラメータ選択部１８０が選択したコンボリューションフィルタを用いたコンボリューション処理によって撮像画像から復元画像を生成する。

なお、上記の例では、オブジェクト領域特定部１９６が特定したオブジェクト領域毎に光学系１１０の光学的伝達関数を特定して、特定した光学的伝達関数に応じて画像処理部１４０がオブジェクト領域毎に復元画像を生成した。その他にも、光学特性特定部１６０は、予め定められた領域毎に光学的伝達関数を特定してもよい。そして、画像処理部１４０は、特定された光学的伝達関数に基づいて予め定められた領域毎に復元処理を施してよい。その他、オブジェクト領域特定部１９６がオブジェクト領域を特定できなかった画像領域域について、予め定められた領域毎に、光学特性特定部１６０が光学的伝達関数を特定して、画像処理部１４０が復元処理を施してもよい。

以上説明したように、周波数特性算出部１７０は、撮像画像の空間周波数成分の周波数分布を算出する。そして、光学特性特定部１６０は、複数の光学的伝達関数のうち、周波数特性算出部１７０が算出した空間周波数成分の周波数分布がより一致する空間周波数成分の周波数分布を持つ光学的伝達関数を、光学系１１０の光学的伝達関数として特定する。

図１１は、光学的伝達関数が示す周波数特性及び画像の空間周波数特性の一例を示す。周波数成分分布１１１０ａ及び１１１０ｂは、２種類の異なる光学的伝達関数の周波数特性を濃淡情報で示す。また、周波数成分分布１１１０ａ及び１１１０ｂで示される周波数特性の光学的伝達関数により伝達される画像をフーリエ変換したものは、それぞれ周波数成分分布１１２０ａ及び１１２０ｂによって濃淡情報で示さる。周波数成分分布１１２０ａ及び１１２０ｂには、画像信号に由来する周波数成分及び画像のエッジに由来する周波数成分が含まれるものの、光学的伝達関数の違いによる差が識別可能である。光学特性特定部１６０は、異なる光学的伝達関数が撮像画像に与える差を周波数領域において抽出することによって、光学系１１０の光学的伝達関数を容易に特定することができる。

図１２は、光学特性格納部１６５が格納しているデータの一例をテーブル形式で示す。光学特性格納部１６５は、複数の光学的伝達関数のそれぞれが示す空間周波数成分の値を示す周波数成分データ、ＯＴＦＩＤ、及び距離を格納する。なお、フィルタＡはＯＴＦデータ（Ａ）の逆フィルタに相当し、フィルタＢはＯＴＦデータ（Ｂ）の逆フィルタに相当する。また、光学特性格納部１６５は、ＯＴＦデータで示される光学的伝達関数となる、被写体までの代表的な距離を格納する。画像記録部１５５は、光学特性特定部１６０が特定したＯＴＦＩＤに対応づけて光学特性格納部１６５が格納している距離を読み出す。そして、画像記録部１５５は、撮像画像又は復元画像に当該距離を付帯して外部に出力する。

以上説明したように、光学特性格納部１６５は、光学系１１０と被写体との間の位置関係に応じて異なる複数の光学的伝達関数を格納する。具体的には、光学特性格納部１６５は、光学系１１０から被写体までの距離に応じて異なる複数の光学的伝達関数を格納する。より具体的には、光学特性格納部１６５は、光学系１１０からの距離が予め定められた距離範囲内にある複数の位置の被写体に対する複数の光学的伝達関数のそれぞれの空間周波数特性、例えば空間周波数成分の周波数分布を格納する。

図１３は、撮像部１０５がアオリ撮影する場合における光学系１１０、受光部１２０、被写体の間の位置関係の一例を模式的に示す。図示されるように、光学系１１０の光軸は、受光部１２０の受光面と直角より小さい角度で交差している。このように受光部１２０の受光面と光軸とを直交させず傾けて交差させることによって、光学系１１０から遠くに位置する被写体１３８１に対する拡大率は、光学系１１０により近い被写体１３８３に対する拡大率より大きくなる。このため、遠くの被写体の像が小さくなりすぎてしまう可能性を低減することができる。

このようにアオリ撮影する場合には、撮像部１０５が撮像する距離範囲を広げることができ、光学系１１０の光学的伝達関数がその距離範囲にわたって略同一であるとみなすことができなくなってしまう虞がある。そこで、一実施形態においては、処理パラメータ格納部１８５は、画像領域毎に異なるフィルタを割り当てておく。

一般には、被写体までの距離（例えば、ｌ１、ｌ０、及びｌ２）は、撮像部１０５の撮像方向によって変化する。また、被写体までの距離は、撮像対象空間の空間構成によって異なる。したがって、処理パラメータ格納部１８５は、撮像画像における複数の画像領域のそれぞれへの光学的伝達関数による影響を補正することができる処理パラメータを、光学系１１０の光軸の向き及び撮像画像における複数の画像領域のそれぞれに対応づけて格納することが望ましい。そして、位置情報取得部１９０は、光学系１１０の光軸の向き及び撮像画像における複数の画像領域を取得する。そして、処理パラメータ選択部１８０は、位置情報取得部１９０が取得した光軸の向き及び複数の画像領域のそれぞれに対応づけて処理パラメータ格納部１８５が格納している処理パラメータを選択してよい。

また、被写体までの距離（例えば、ｌ１及びｌ２）は、光学系１１０の光軸と受光部１２０の受光面とがなす角θ０に応じても変化する。したがって、処理パラメータ格納部１８５は、撮像画像における複数の画像領域のそれぞれへの光学的伝達関数による影響を補正することができる処理パラメータを、光学系１１０の光軸と受光部１２０の受光面とがなす角及び撮像画像における複数の画像領域のそれぞれに対応づけて格納する。そして、位置情報取得部１９０は、光学系１１０の光軸と受光部１２０の受光面とがなす角及び撮像画像における複数の画像領域を取得する。そして、処理パラメータ選択部１８０は、位置情報取得部１９０が取得した角及び複数の画像領域のそれぞれに対応づけて処理パラメータ格納部１８５が格納している処理パラメータを選択してよい。

なお、より一般には、被写体までの距離は、光学系１１０と受光部１２０との間の３次元的な位置関係に応じて変化する。したがって、処理パラメータ格納部１８５は、撮像画像における複数の画像領域のそれぞれへの光学的伝達関数による影響を補正することができる処理パラメータを、光学系１１０と受光部１２０との間の３次元的な位置関係及び撮像画像における複数の画像領域のそれぞれに対応づけて格納してもよい。なお、位置関係とは、例えば上記のθ０の他、受光部１２０の矩形の受光面の対角の点と主点を結ぶ線と光軸とがなす角θ１及びθ２を含んでよい。そして、処理パラメータ格納部１８５は、撮像画像における複数の画像領域のそれぞれへの光学的伝達関数による影響を補正することができる処理パラメータを、光学系１１０と受光部１２０との間の位置関係に対応づけて格納する。そして、位置情報取得部１９０は、光学系１１０と受光部１２０との間の位置関係及び撮像画像における複数の画像領域を取得する。そして、処理パラメータ選択部１８０は、位置情報取得部１９０が取得した位置関係及び複数の画像領域のそれぞれに対応づけて処理パラメータ格納部１８５が格納している処理パラメータを選択してよい。

図１４は、撮像画像１４００の複数の画像領域にフィルタがそれぞれ割り当てられた様子を示す。本図に示されるように、画像領域１４０１、１４０２、１４０３、及び１４０４に対して、フィルタＣ、フィルタＤ、フィルタＥ、及びフィルタＦが割り当てられている。なお、フィルタＣ、フィルタＤ、フィルタＥ、及びフィルタＦは順に、より遠方に位置する被写体に対する光学的伝達関数の逆フィルタであってよい。

以上説明したように、処理パラメータ格納部１８５は、撮像画像における複数の画像領域のそれぞれへの光学的伝達関数による影響を補正することができる処理パラメータを、撮像画像における複数の画像領域のそれぞれに対応づけて格納する。そして、位置情報取得部１９０は、撮像画像における複数の画像領域を取得する。そして、処理パラメータ選択部１８０は、位置情報取得部１９０が取得した複数の画像領域のそれぞれに対応づけて処理パラメータ格納部１８５が格納している処理パラメータを選択する。

図１５は、撮像装置１００をパーソナルコンピュータ等の電子情報処理装置で構成した場合のハードウェア構成の一例を示す。撮像装置１００は、ＣＰＵ周辺部と、入出力部と、レガシー入出力部とを備える。ＣＰＵ周辺部は、ホスト・コントローラ１５８２により相互に接続されるＣＰＵ１５０５、ＲＡＭ１５２０、グラフィック・コントローラ１５７５、及び表示装置１５８０を有する。入出力部は、入出力コントローラ１５８４によりホスト・コントローラ１５８２に接続される通信インターフェイス１５３０、ハードディスクドライブ１５４０、及びＣＤ−ＲＯＭドライブ１５６０を有する。レガシー入出力部は、入出力コントローラ１５８４に接続されるＲＯＭ１５１０、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０を有する。

ホスト・コントローラ１５８２は、ＲＡＭ１５２０と、高い転送レートでＲＡＭ１５２０をアクセスするＣＰＵ１５０５、及びグラフィック・コントローラ１５７５とを接続する。ＣＰＵ１５０５は、ＲＯＭ１５１０、及びＲＡＭ１５２０に格納されたプログラムに基づいて動作して、各部の制御をする。グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等がＲＡＭ１５２０内に設けたフレーム・バッファ上に生成する画像データを取得して、表示装置１５８０上に表示させる。これに代えて、グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。

入出力コントローラ１５８４は、ホスト・コントローラ１５８２と、比較的高速な入出力装置であるハードディスクドライブ１５４０、通信インターフェイス１５３０、ＣＤ−ＲＯＭドライブ１５６０を接続する。ハードディスクドライブ１５４０は、ＣＰＵ１５０５が使用するプログラム、及びデータを格納する。通信インターフェイス１５３０は、ネットワーク通信装置１５９８に接続してプログラムまたはデータを送受信する。ＣＤ−ＲＯＭドライブ１５６０は、ＣＤ−ＲＯＭ１５９５からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０、及び通信インターフェイス１５３０に提供する。

入出力コントローラ１５８４には、ＲＯＭ１５１０と、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０の比較的低速な入出力装置とが接続される。ＲＯＭ１５１０は、撮像装置１００が起動時に実行するブート・プログラム、あるいは撮像装置１００のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ１５５０は、フレキシブルディスク１５９０からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０、及び通信インターフェイス１５３０に提供する。入出力チップ１５７０は、フレキシブルディスク・ドライブ１５５０、あるいはパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。

ＣＰＵ１５０５が実行するプログラムは、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５、またはＩＣカード等の記録媒体に格納されて利用者によって提供される。記録媒体に格納されたプログラムは圧縮されていても非圧縮であってもよい。プログラムは、記録媒体からハードディスクドライブ１５４０にインストールされ、ＲＡＭ１５２０に読み出されてＣＰＵ１５０５により実行される。ＣＰＵ１５０５により実行されるプログラムは、撮像装置１００を、図１から図１４に関連して説明した撮像部１０５、画像処理部１４０、表示部１５０、画像記録部１５５、光学特性特定部１６０、光学特性格納部１６５、周波数特性算出部１７０、周波数成分差算出部１７２、合計値算出部１７４、光学的伝達関数選択部１７６、処理パラメータ選択部１８０、処理パラメータ格納部１８５、位置情報取得部１９０、測距部１９２、撮像画像解析部１９４、及びオブジェクト領域特定部１９６として機能させる。

以上に示したプログラムは、外部の記憶媒体に格納されてもよい。記憶媒体としては、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５の他に、ＤＶＤまたはＰＤ等の光学記録媒体、ＭＤ等の光磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、専用通信ネットワークあるいはインターネットに接続されたサーバシステムに設けたハードディスクまたはＲＡＭ等の記憶装置を記録媒体として使用して、ネットワークを介したプログラムを撮像装置１００に提供してもよい。

なお、上記の説明では、この発明の一実施形態を撮像装置１００を用いて説明したが、他の形態では、光学系１１０の光学的伝達関数を特定する画像処理装置として実装することもできる。この画像処理装置は、撮像装置１００が撮像した撮像画像に基づいて撮像装置１００が有する光学的伝達関数を特定する。すなわち、画像処理装置は、撮像装置１００が有する構成要素のうち、画像処理部１４０、表示部１５０、画像記録部１５５、光学特性特定部１６０、光学特性格納部１６５、周波数特性算出部１７０、周波数成分差算出部１７２、合計値算出部１７４、光学的伝達関数選択部１７６、処理パラメータ選択部１８０、処理パラメータ格納部１８５、位置情報取得部１９０、撮像画像解析部１９４、及びオブジェクト領域特定部１９６を備えてよい。なお、当該画像処理装置は、撮像装置１００と別個の装置に設けられて良い。また、上記実施形態のように、撮像装置１００内に実装されてもよい。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

撮像装置１００の構成の一例を示す図である。 光学系１１０の光学特性の一例を模式的に示す図である。 光学系１１０の構造の一例を示す図である。 光学系１１０の横収差特性を示す図である。 光学系１１０のＭＴＦ特性を示す図である。 光学系１１０によるスポットダイアグラムの一例を示す図である。 光学系１１０の応答及び受光素子の配列の一例を示す図である。 処理パラメータ格納部１８５が格納するデータの一例を示す図である。 光学特性特定部１６０のブロック構成の一例を示す図である。 撮像装置１００による復元処理フローの一例を示す図である。 光学的伝達関数及び画像の空間周波数特性の一例を示す図である。 光学特性格納部１６５が格納しているデータの一例を示す図である。 アオリ撮影における光学系１１０、受光部１２０、及び被写体の間の位置関係の一例を示す図である。 撮像画像１４００の複数の画像領域に割り当てられたフィルタを示す図である。 撮像装置１００のハードウェア構成の一例を示す図である。

符号の説明

１００ 撮像装置
１０５ 撮像部
１１０ 光学系
１２０ 受光部
１３０ 画像生成部
１４０ 画像処理部
１５０ 表示部
１５５ 画像記録部
１６０ 光学特性特定部
１６５ 光学特性格納部
１７０ 周波数特性算出部
１７２ 周波数成分差算出部
１７４ 合計値算出部
１７６ 光学的伝達関数選択部
１８０ 処理パラメータ選択部
１８５ 処理パラメータ格納部
１９０ 位置情報取得部
１９２ 測距部
１９４ 撮像画像解析部
１９６ オブジェクト領域特定部

Claims (17)

1. 光学系を通じて被写体の撮像画像を撮像する撮像部と、
   前記光学系の複数の光学的伝達関数のそれぞれの空間周波数特性を格納する光学特性格納部と、
   前記撮像画像の空間周波数特性を算出する周波数特性算出部と、
   前記複数の光学的伝達関数のうち、前記周波数特性算出部が算出した空間周波数特性により一致する空間周波数特性を持つ光学的伝達関数を、前記光学系の光学的伝達関数として特定する光学特性特定部と
   を備える撮像装置。
2. 前記光学特性特定部が特定した光学的伝達関数による前記撮像画像への影響を補正する画像処理を、前記撮像画像に施す画像処理部
   をさらに備える請求項１に記載の撮像装置。
3. 前記周波数特性算出部は、前記撮像画像の部分領域毎に前記空間周波数特性を算出し、
   前記光学特性特定部は、前記複数の光学的伝達関数のうち、前記周波数特性算出部が部分領域毎に算出した空間周波数特性により一致する空間周波数特性を持つ光学的伝達関数を部分領域毎に特定し、
   前記画像処理部は、前記光学特性特定部が部分領域毎に特定した光学的伝達関数を補正する画像処理を、前記撮像画像の部分領域毎に施す
   請求項２に記載の撮像装置。
4. 前記撮像画像における複数のオブジェクト領域を特定するオブジェクト領域特定部
   をさらに備え、
   前記周波数特性算出部は、オブジェクト領域毎に前記空間周波数特性を算出し、
   前記光学特性特定部は、前記複数の光学的伝達関数のうち、前記周波数特性算出部がオブジェクト領域毎に算出した空間周波数特性により一致する空間周波数特性を持つ光学的伝達関数をオブジェクト領域毎に特定し、
   前記画像処理部は、前記光学特性特定部がオブジェクト領域毎に特定した光学的伝達関数を補正する画像処理を、前記撮像画像のオブジェクト領域毎に施す
   請求項３に記載の撮像装置。
5. 前記光学特性格納部は、前記光学系と被写体との間の位置関係に応じて異なる前記複数の光学的伝達関数を格納する
   請求項４に記載の撮像装置。
6. 前記光学特性格納部は、前記光学系から被写体までの距離に応じて異なる前記複数の光学的伝達関数を格納する
   請求項５に記載の撮像装置。
7. 前記撮像部は、前記光学系からの光を受光する受光部を有し、
   前記光学系は、前記光学系から予め定められた距離範囲に位置する被写体からの光を、略同一の広がりで前記受光部に受光させる
   請求項６に記載の撮像装置。
8. 前記光学特性格納部は、前記光学系からの距離が前記予め定められた距離範囲内にある複数の位置の被写体に対する前記複数の光学的伝達関数のそれぞれの空間周波数特性を格納する
   請求項７に記載の撮像装置。
9. 前記光学系は、横収差により、前記光学系から前記予め定められた距離範囲に位置する被写体からの光を、略同一の広がりで前記受光部に受光させる
   請求項７に記載の撮像装置。
10. 前記光学特性格納部は、前記光学系から被写体までの距離に対応づけて、当該距離に存在する被写体に対する前記複数の光学的伝達関数を格納しており、
    前記撮像装置は、
    前記光学特性特定部が特定した光学的伝達関数に対応づけて前記光学特性格納部が格納している距離を示す距離情報を、前記撮像画像に付帯して記録する画像記録部
    をさらに備える請求項６に記載の撮像装置。
11. 前記光学特性格納部は、前記複数の光学的伝達関数のそれぞれの空間周波数成分の周波数分布を格納しており、
    前記周波数特性算出部は、前記撮像画像の空間周波数成分の周波数分布を算出し、
    前記光学特性特定部は、前記複数の光学的伝達関数のうち、前記周波数特性算出部が算出した空間周波数成分の周波数分布がより一致する空間周波数成分の周波数分布を持つ光学的伝達関数を、前記光学系の光学的伝達関数として特定する
    請求項１に記載の撮像装置。
12. 前記光学特性格納部は、前記複数の光学的伝達関数のそれぞれが示す空間周波数成分の値を格納しており、
    前記周波数特性算出部は、前記撮像画像の空間周波数成分の値を算出し、
    前記光学特性特定部は、
    前記複数の光学的伝達関数のそれぞれについて、前記周波数特性算出部が算出した空間周波数成分の値と光学的伝達関数が示す空間周波数成分の値との差を周波数毎に算出する周波数成分差算出部と、
    前記複数の光学的伝達関数のそれぞれについて、前記周波数成分差算出部が算出した差の大きさを周波数にわたって合計した合計値を算出する合計値算出部と
    前記複数の光学的伝達関数のうち、前記合計値算出部が算出した合計値がより小さい光学的伝達関数を、前記光学系の光学的伝達関数として選択する光学的伝達関数選択部と
    を有する請求項１１に記載の撮像装置。
13. 光学系を通じて被写体の撮像画像を撮像する撮像段階と、
    前記光学系の複数の光学的伝達関数のそれぞれの空間周波数特性を格納する光学特性格納段階と、
    前記撮像画像の空間周波数特性を算出する周波数特性算出段階と、
    前記複数の光学的伝達関数のうち、前記周波数特性算出段階において算出された空間周波数特性により一致する空間周波数特性を持つ光学的伝達関数を、前記光学系の光学的伝達関数として特定する光学特性特定段階と
    を備える撮像方法。
14. 撮像装置用のプログラムであって、前記撮像装置を、
    光学系を通じてにより被写体の撮像画像を撮像する撮像部、
    前記光学系の複数の光学的伝達関数のそれぞれの空間周波数特性を格納する光学特性格納部、
    前記撮像画像の空間周波数特性を算出する周波数特性算出部、
    前記複数の光学的伝達関数のうち、前記周波数特性算出部が算出した空間周波数特性により一致する空間周波数特性を持つ光学的伝達関数を、前記光学系の光学的伝達関数として特定する光学特性特定部
    として機能させるプログラム。
15. 撮像装置が撮像した撮像画像に基づいて前記撮像装置が有する光学系の光学的伝達関数を特定する画像処理装置であって、
    前記光学系の複数の光学的伝達関数のそれぞれの空間周波数特性を格納する光学特性特定部と、
    前記撮像画像の空間周波数特性を算出する周波数特性算出部と、
    前記複数の光学的伝達関数のうち、前記周波数特性算出部が算出した空間周波数特性により一致する空間周波数特性を持つ光学的伝達関数を、前記光学系の光学的伝達関数として特定する光学特性特定部と
    を備える画像処理装置。
16. 撮像装置が撮像した撮像画像に基づいて前記撮像装置が有する光学系の光学的伝達関数を特定する画像処理方法であって、
    前記光学系の複数の光学的伝達関数のそれぞれの空間周波数特性を格納する光学特性情報格納段階と、
    前記撮像画像の空間周波数特性を算出する周波数特性算出段階と、
    前記複数の光学的伝達関数のうち、前記周波数特性算出段階において算出された空間周波数特性により一致する空間周波数特性を持つ光学的伝達関数を、前記光学系の光学的伝達関数として特定する光学特性特定段階と
    を備える画像処理方法。
17. 撮像装置が撮像した撮像画像に基づいて前記撮像装置が有する光学系の光学的伝達関数を特定する画像処理装置用のプログラムであって、前記画像処理装置を、
    前記光学系の複数の光学的伝達関数のそれぞれの空間周波数特性を格納する光学特性特定部、
    前記撮像画像の空間周波数特性を算出する周波数特性算出部、
    前記複数の光学的伝達関数のうち、前記周波数特性算出部が算出した空間周波数特性により一致する空間周波数特性を持つ光学的伝達関数を、前記光学系の光学的伝達関数として特定する光学特性特定部
    として機能させるプログラム。

Images