JP2016005080A - 撮像装置、撮像システムおよび撮像方法 - Google Patents

Abstract

【課題】１つの撮像手段でフォーカス位置ではないデフォーカス位置においても画像の復元性能を向上させることができる撮像装置、撮像システムおよび撮像方法を提供する。
【解決手段】レンズユニットは、入力する光に対してＰＳＦを拡散し、撮像素子１２で撮像される画像がぼけた状態とする代わりに広い深度でそのぼけが一定となるようにし、距離判定部１４２は、撮像素子１２により撮像された撮像画像の特性に基づいて、撮像画像が含む被写体の被写体距離を判定し、選択部１４４は、判定された被写体距離に対応した逆変換フィルタを選択し、フィルタ処理部１４５は、選択部１４４により選択された逆変換フィルタで撮像画像に対して逆変換処理を実行する。
【選択図】図１３

Description

本発明は、撮像装置、撮像システムおよび撮像方法に関する。

近年、情報のデジタル化の発展に伴い、撮像装置の分野においてもデジタル化の発展が著しい。特に、デジタルカメラに代表される撮像装置において、撮像部品は従来のフィルムに置き換わって固体撮像素子が使用されている。固体撮像素子（以下、単に撮像素子という）としては、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサまたはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ等が使用されている。

このように、撮像素子を使用した撮像装置は、被写体からの光を光学系によって取り込み、固体撮像素子によって光を電気信号に変換して抽出するものである。このような撮像装置として、デジタルカメラの他、ビデオカメラ、シンボルリーダ（バーコードリーダ、二次元コードリーダ、ＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅａｄｅｒ）等）、携帯電話機、携帯情報端末（ＰＤＡ：Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）および産業用カメラ等が挙げられる。

このような、ＣＣＤまたはＣＭＯＳ等の撮像素子を備えた撮像装置として、光学系の収差によって発生したぼけを含む画像を、フィルタ処理により復元し、被写界深度を拡張する、いわゆるＥＤｏＦ（Ｅｘｔｅｎｄｅｄ Ｄｅｐｔｈ ｏｆ Ｆｉｅｌｄ）の技術が既に知られている。ただし、フィルタ処理によりぼけを復元できるのは所定のフォーカス位置近傍の点像分布関数（ＰＳＦ：Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）の形が近似している範囲である。したがって、そのフォーカス位置から外れたデフォーカス位置においては、ＰＳＦの形も異なるため、同一のフィルタによるフィルタ処理を施しても、画像の復元性能が低下してしまう。

このようなデフォーカス位置での画像の復元性能を低下させないために、複数の撮像部（撮像手段）を備え、これらの撮像部によって得られる距離情報に基づいて、フィルタ処理のためのフィルタを切り替えることによって、デフォーカス位置の画像の復元性能を向上させる技術が提案されている（特許文献１参照）。

特許文献１に記載された技術は、被写体までの距離情報を得るために複数の撮像部を備える必要があるため、装置のサイズが大きくなり、コストが増加してしまうという問題点があった。

本発明は、上記に鑑みてなされたものであって、１つの撮像手段でフォーカス位置ではないデフォーカス位置においても画像の復元性能を向上させることができる撮像装置、撮像システムおよび撮像方法を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、入射した光に収差を与える光学系と、前記光学系を通過した前記光を画素に変換して被写体の画像を撮像する１つの撮像手段と、前記撮像手段により撮像された撮像画像の特性に基づいて、前記被写体の被写体距離を判定する距離判定手段と、前記被写体距離に対応した逆変換フィルタを選択する選択手段と、前記選択手段により選択された前記逆変換フィルタにより、前記撮像画像における前記収差によるぼけを復元する逆変換処理を実行する逆変換手段と、を備えていることを特徴とする。

本発明によれば、１つの撮像手段でフォーカス位置ではないデフォーカス位置においても画像の復元性能を向上させることができる。

図１は、実施の形態に係る撮像システムの全体構成の一例を示す図である。 図２は、実施の形態の情報処理装置のハードウェア構成の一例を示す図である。 図３は、実施の形態に係る撮像装置の構成の一例を示す図である。 図４は、実施の形態の光学系のレンズ構成の一例を示す図である。 図５は、実施の形態の光学系の横収差の一例を示す図である。 図６は、実施の形態の光学系の縦収差の一例を示す図である。 図７は、実施の形態の光学系の像面湾曲の一例を示す図である。 図８は、実施の形態の光学系のディストーションの一例を示す図である。 図９は、被写体距離が３５０［ｍｍ］の場合のＭＴＦの実施例である。 図１０は、被写体距離が４００［ｍｍ］の場合のＭＴＦの実施例である。 図１１は、被写体距離が４７０［ｍｍ］の場合のＭＴＦの実施例である。 図１２は、異なる被写体距離にある二次元コードの撮像画像例を示す図である。 図１３は、実施の形態に係る撮像装置の画像処理部のブロック構成の一例を示す図である。 図１４は、実施の形態に係る撮像装置の撮像素子により撮像される撮像画像の一例を示す図である。 図１５は、撮像素子から出力される画素が画像バッファ部に入力される動作を示すタイミングチャートである。 図１６は、逆変換フィルタの構成の一例を示す図である。 図１７は、画像を逆変換フィルタによってフィルタ処理することを説明する図である。 図１８は、画像において逆変換フィルタのフィルタ処理の対象となる対象部分画像をスキャンする動作を説明する図である。 図１９は、実施の形態の画像処理部のフィルタ処理部の逆変換フィルタを決定するための周波数特性を演算する流れの一例を示すフローチャートである。 図２０は、光学系を通過した光による撮像画像の空間周波数特性の一例を示す図である。 図２１は、逆変換処理が行われた画像の空間周波数特性を示す図である。 図２２は、ベストフォーカス位置の被写体に対する逆変換フィルタによってフィルタ処理した二次元コードの画像例を示す図である。 図２３は、被写体距離が３５０［ｍｍ］および４７０［ｍｍ］の被写体に対して適用する逆変換フィルタの構成の一例を示す図である。 図２４は、被写体距離に対応した逆変換フィルタによってそれぞれフィルタ処理した二次元コードの画像例を示す図である。 図２５は、被写体距離が３５０［ｍｍ］の場合の画像の輝度値についてのヒストグラムの実施例を示す図である。 図２６は、被写体距離が４００［ｍｍ］の場合の画像の輝度値についてのヒストグラムの実施例を示す図である。 図２７は、被写体距離が４７０［ｍｍ］の場合の画像の輝度値についてのヒストグラムの実施例を示す図である。 図２８は、実施の形態に係る撮像装置の動作の一例を示すフローチャートである。

以下に、図面を参照しながら、本発明に係る撮像装置、撮像システムおよび撮像方法の実施の形態を詳細に説明する。また、以下の実施の形態によって本発明が限定されるものではなく、以下の実施の形態における構成要素には、当業者が容易に想到できるもの、実質的に同一のもの、およびいわゆる均等の範囲のものが含まれる。さらに、以下の実施の形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換、変更および組み合わせを行うことができる。

（撮像システムの全体構成）
図１は、実施の形態に係る撮像システムの全体構成の一例を示す図である。図１を参照しながら、本実施の形態の撮像システム５００の構成について説明する。

図１に示すように、本実施の形態の撮像システム５００は、撮像装置１と、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）２と、を備えている。撮像装置１とＰＣ２とは、Ｅｔｈｅｒｎｅｔ（登録商標）ケーブルまたはＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ケーブル等の通信ケーブル３によって通信可能に接続されている。

撮像装置１は、被写体４からの光を電気信号に変換することによって被写体４を撮像し、撮像画像の情報（以下、単に撮像画像という）に対して画像処理を実行し、画像処理後の画像に含まれるシンボルを認識して、認識したシンボルをデコードし、デコードした情報を、通信ケーブル３を介してＰＣ２へ送信する。ここで、撮像装置１によるシンボルの認識、および認識したシンボルのデコードの動作を、単に「シンボルの認識処理」というものとする。シンボルとしては、例えば、バーコード、二次元コードまたは文字列等が挙げられる。ＰＣ２は、撮像装置１から受信したデコードされた情報に基づいて所定の処理を実行する。

例えば、撮像装置１は、生産ラインを流れる製品に添付されたバーコードを撮像して、バーコードを読み取るための認識処理を実行し、デコードされた情報としての品番情報等をＰＣ２に送信する。ＰＣ２は、受信した画像からバーコードの情報を読み出して解析する。

なお、図１に示すように、撮像システム５００は、撮像装置１とＰＣ２とが通信ケーブル３を介してデータを通信する有線通信方式のシステムとしているが、これに限定されるものではない。例えば、撮像装置１とＰＣ２とは、Ｗｉ−Ｆｉ（登録商標）（ＷｉｒｅｌｅｓｓＦｉｄｅｌｉｔｙ）等の無線通信方式によって互いにデータが通信可能であってもよい。

また、撮像装置１およびＰＣ２が生産ラインにおいて使用される場合、撮像システム５００は、ＰＣ２がＰＬＣ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｃｏｎｔｒｏｌｌｅｒ）等に通信可能に接続されている構成としてもよい。この場合、撮像システム５００の動作として、以下の動作が一例として挙げられる。撮像装置１は、生産ラインを流れる製品に添付されたバーコードを撮像して、認識処理によりバーコードを認識してデコードし、デコードした情報としての品番情報をＰＣ２に送信する。ＰＣ２は、受信した品番情報から、生産ラインを流れている製品の品番を判定する。ＰＣ２は、判定した品番が、生産ラインにおいて段替えされている品番と不一致である場合、判定した品番に対応する製品は異なる品番の製品であることを示す信号をＰＬＣに送信する。ＰＬＣは、ＰＣ２から異なる品番の製品であることを示す信号を受信した場合、その製品を生産ラインから除去するように生産ラインの動作を制御する。

（情報処理装置の構成）
図２は、実施の形態の情報処理装置のハードウェア構成の一例を示す図である。図２を参照しながら、情報処理装置の一例であるＰＣ２のハードウェア構成について説明する。

図２に示すように、情報処理装置の一例であるＰＣ２は、通信部２１と、操作部２２と、表示部２３と、記憶部２４と、外部記憶装置２５と、制御部２６と、を備えている。上記の各部は、バス２７によって接続され、互いにデータの送受信が可能となっている。

通信部２１は、通信ケーブル３を介して、撮像装置１と通信する装置である。通信部２１は、例えば、ＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）、またはＵＳＢインタフェース装置等の通信装置によって実現される。通信部２１の通信規格は、例えば、ＴＣＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ）／ＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）またはＵＤＰ（Ｕｓｅｒ Ｄａｔａｇｒａｍ Ｐｒｏｔｏｃｏｌ）／ＩＰ等よって実現される。または、通信部２１の通信規格は、ＵＳＢ１．１またはＵＳＢ２．０等の規格であってもよい。

操作部２２は、ユーザによって制御部２６に対して所定の処理を実行させるための操作入力を行う装置である。操作部２２は、例えば、マウス、キーボード、テンキー、タッチパッドまたはタッチパネルにおける操作入力機能等によって実現される。

表示部２３は、制御部２６により実行されているアプリケーション画像、または、撮像装置１から出力された画像等を表示する装置である。表示部２３は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ、液晶ディスプレイ、プラズマディスプレイまたは有機ＥＬ（Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等によって実現される。

記憶部２４は、ＰＣ２で実行される各種プログラムおよびＰＣ２で行われる各種処理に使用されるデータ等を記憶する装置である。記憶部２４は、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）およびＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の記憶装置によって実現される。

外部記憶装置２５は、画像、撮像装置１によりシンボルからデコードされた情報、プログラムおよびフォントデータ等を蓄積して記憶する記憶装置である。外部記憶装置２５は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、光ディスク、または光磁気ディスク（ＭＯ：Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ Ｄｉｓｋ）等の記憶装置によって実現される。

制御部２６は、ＰＣ２の各部の動作を制御する装置である。制御部２６は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）およびＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等で実現される。

（撮像装置の構成）
図３は、実施の形態に係る撮像装置の構成の一例を示す図である。図３を参照しながら、本実施の形態の撮像装置１の構成について説明する。

図３に示すように、撮像装置１は、レンズユニット１１（光学系の一例）と、撮像素子１２（撮像手段）と、画像処理部１４と、認識処理部１５（認識処理手段）と、通信部１６と、を備えている。

レンズユニット１１は、被写体４（図１参照）からの光を集光し、撮像素子１２に対して結像させるユニットである。レンズユニット１１は、１枚以上のレンズで構成された光学系によって実現される。被写体４は、例えば、人物、被監視物、またはバーコードもしくは二次元コード等のシンボル等である。

撮像素子１２は、レンズユニット１１に入射する被写体４からの光を電気信号に変換することによって被写体４を撮像して画像を生成する固体撮像素子である。撮像素子１２は、固体撮像素子を構成する各検出単位によって撮像した画像を構成する画素を出力する。撮像素子１２は、例えば、ＣＣＤセンサまたはＣＭＯＳセンサ等によって実現される。

画像処理部１４は、撮像素子１２から出力される撮像画像から、フィルタ処理を施した画像を生成する。

認識処理部１５は、画像処理部１４によりフィルタ処理が実行された画像に基づいて、画像に含まれるシンボルを認識して、認識したシンボルをデコードするシンボルの認識処理を実行する。

通信部１６は、通信ケーブル３を介して、ＰＣ２と通信する装置である。通信部１６は、例えば、認識処理部１５から出力されるデコードされた情報をＰＣ２に対して送信する。通信部１６は、例えば、ＮＩＣ、またはＵＳＢインタフェース装置等の通信装置によって実現される。通信部１６の通信規格は、例えば、ＴＣＰ／ＩＰまたはＵＤＰ／ＩＰ等よって実現されるまたは、通信部１６の通信規格は、ＵＳＢ１．１またはＵＳＢ２．０等の規格であってもよい。

なお、認識処理部１５は、撮像装置１に含まれる構成としているが、撮像装置１に接続される外部機器の機能によって実現されるものとしてもよい。例えば、認識処理部１５は、撮像装置１ではなくＰＣ２において実現されるものとしてもよい。

また、画像処理部１４および認識処理部１５は、ソフトウェアであるプログラムが実行されるによって実現されてもよく、または、ＡＳＩＣまたはＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等のハードウェア回路によって実現されてもよい。また、画像処理部１４または認識処理部１５の少なくともいずれかがプログラムの実行によって実現される場合、そのプログラムは、撮像装置１が備えるＲＯＭ等に予め組み込まれて提供される。本実施の形態の撮像装置１で実行されるプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。また、本実施の形態の撮像装置１で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施の形態の撮像装置１で実行されるプログラムを、インターネット等のネットワーク経由で提供または配布するように構成してもよい。本実施の形態の撮像装置１で実行されるプログラムは、上述した画像処理部１４または認識処理部１５の少なくともいずれかを含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵが上述のＲＯＭからプログラムを読み出して実行することにより、画像処理部１４または認識処理部１５が主記憶装置上にロードされて生成されるようになっている。

（レンズユニットの構成）
図４は、実施の形態の光学系のレンズ構成の一例を示す図である。図４を参照しながら、本実施の形態の撮像装置１のレンズユニット１１の構成例について説明する。

図４に示すように、レンズユニット１１は、例えば、レンズＬＺ１〜ＬＺ３と、位相板ＬＺ４と、絞りＳＢと、レンズＬＺ５〜ＬＺ７と、を含む。これらは、図４の紙面視左側、すなわち被写体側から、紙面視右側、すなわち像面側（撮像素子１２側）へ向かう方向に、レンズＬＺ１〜ＬＺ３、位相板ＬＺ４、絞りＳＢ、レンズＬＺ５〜ＬＺ７の順に並んで配置されている。また、レンズＬＺ１〜ＬＺ３、ＬＺ５〜ＬＺ７は、それぞれの光軸が一致するように配置されている。

位相板ＬＺ４は、レンズユニット１１に入射する光に対して収差を与える作用を有する。その結果、位相板ＬＺ４は、撮像素子１２に入射される光に対して点像分布関数（ＰＳＦ）を拡散する作用を有し、撮像素子１２で撮像される画像がぼけた状態とする代わりに広い深度でそのぼけが一定、すなわちＰＳＦの形が一定となるようにする。ここで、ＰＳＦの拡散とは、例えば、撮像素子１２のセンサ面におけるＰＳＦを３画素以上にまたがるような拡散をいう。なお、レンズユニット１１に入射する光に対して収差を与えるのは、位相板ＬＺ４に限定されるものではなく、レンズユニット１１に含まれるレンズによって収差が与えられるものとしてもよい。

絞りＳＢは、レンズユニット１１に入射する光の量を自在に調整する部材であり、位相板ＬＺ４の近傍に配置されている。

（レンズユニットの収差）
図５は、実施の形態の光学系の横収差の一例を示す図である。図６は、実施の形態の光学系の縦収差の一例を示す図である。図７は、実施の形態の光学系の像面湾曲の一例を示す図である。図８は、実施の形態の光学系のディストーションの一例を示す図である。図５〜８を参照しながら、レンズユニット１１が与える収差の例を説明する。

まず、レンズユニット１１は、図５に示すような横収差を与える。ここで、横収差とは、撮像素子１２のセンサ面の方向に発生する収差である。図５（ａ）は、レンズユニット１１の光軸と撮像素子１２のセンサ面との交点から、レンズユニット１１を通過する光線のうちの主光線がセンサ面に達する位置までの長さ、すなわち、主光線についての像高が０［ｍｍ］である場合の横収差のグラフを示す。図５（ａ）の左側のグラフは、レンズユニット１１の絞りＳＢに基づく入射瞳における、後述する図１４のＹ方向に対応する方向の位置Ｐｙと、横収差ｅｙとの関係を示すグラフである。また、図５（ｂ）の右側のグラフは、入射瞳における図１４のＸ方向に対応する方向の位置Ｐｘと、横収差ｅｘとの関係を示すグラフである。図５（ｂ）および５（ｃ）は、同様に、主光線についての像高がそれぞれ１．５［ｍｍ］、３．０［ｍｍ］である場合の横収差のグラフを示す。

図５に示すように、レンズユニット１１が与える横収差は、横軸（センサ面に平行な方向）において、０とはならずに、センサ面の位置に応じた大きさの収差となっている。なお、図５に示すグラフは、可視光線のうち波長が６５６［ｎｍ］の光線（以下、ｒと示す）、５８８［ｎｍ］の光線（以下、ｇと示す）、および４８６［ｎｍ］の光線（以下、ｂと示す）の各光線について示されているが、実質的に分離されず互いに重なり合っている。

また、レンズユニット１１は、図６に示すような縦収差を与える。ここで、縦収差とは、レンズユニット１１の光軸方向（縦方向という）の収差であって、撮像素子１２のセンサ面上の一点に結像しないことによって発生する収差である。図６の縦軸は、レンズユニット１１に入射する光線の入射点の光軸からの高さ（以下、入射高さという）であり、横軸は、縦収差を示す。また、図６の光線ｒについてのグラフＲ１、光線ｇについてのグラフＧ１、光線ｂについてのグラフＢ１が示すように、縦収差は各光線によって少し大きさが異なっていることがわかる。図６では、０．７［ｍｍ］以上の大きな収差が発生していることが示されている。これは、位相板ＬＺ４によってＰＳＦを拡散し、広い深度でぼけが一定（ＰＳＦの形が一定）となるようにする機能に基づくものである。ただし、その結果として、後述の図９〜１１に示すグラフのようにＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）の低下を招来している。

また、レンズユニット１１は、図７に示すような像面湾曲の収差を与える。ここで、像面湾曲とは、レンズユニット１１に入射する各方向の光が、平面である撮像素子１２のセンサ面で結像せず、像点の集合である像面が平面とならずに湾曲する現象をいう。図７では、タンジェンシャル面、すなわちレンズユニット１１の光軸と主光線とを含む平面における像面湾曲と、サジタル面、すなわちタンジェンシャル面と直交し、主光線を含む平面における像面湾曲とが示されている。図７の縦軸は、像高ＩＨを示し、横軸は、撮像素子１２のセンサ面を基準とした光軸方向の結像点の位置を示す。具体的には、図７に示すグラフＲ２＿Ｔは、光線ｒについてのタンジェンシャル面における像面湾曲を示し、グラフＧ２＿Ｔは、光線ｇについてのタンジェンシャル面における像面湾曲を示し、そして、グラフＢ２＿Ｔは、光線ｂについてのタンジェンシャル面における像面湾曲を示す。また、図７に示すグラフＲ２＿Ｓは、光線ｒについてのサジタル面における像面湾曲を示し、グラフＧ２＿Ｓは、光線ｇについてのサジタル面における像面湾曲を示し、そして、グラフＢ２＿Ｓは、光線ｂについてのサジタル面における像面湾曲を示す。

また、レンズユニット１１は、図８に示すようなディストーションを与える。ここで、ディストーション（歪曲収差）とは、歪みの割合が像高によって異なる収差である。図８の縦軸は、像高ＩＨを示し、横軸は、理想の像高に対する、実際の像高と理想の像高との差の割合を示す。

なお、図８に示すグラフは、ｒ光線、ｇ光線およびｂ光線の各光線について示されているが、実質的に分離されず互いに重なり合っている。

以上のような種類の収差がレンズユニット１１によって発生しているが、上述のように、レンズユニット１１に含まれる位相板ＬＺ４によって、撮像素子１２に入射される光に対してＰＳＦが拡散され、撮像画像をぼけた状態とする代わりに広い深度でそのぼけが一定、すなわちＰＳＦの形が一定となる。

（収差によるＭＴＦの低下について）
図９は、被写体距離が３５０［ｍｍ］の場合のＭＴＦの実施例である。図１０は、被写体距離が４００［ｍｍ］の場合のＭＴＦの実施例である。図１１は、被写体距離が４７０［ｍｍ］の場合のＭＴＦの実施例である。図１２は、異なる被写体距離にある二次元コードの撮像画像例を示す図である。図９〜１２を参照しながら、収差を与えるレンズユニット１１を通過した被写体からの光が撮像素子１２によって撮像された画像（撮像画像）のＭＴＦについて説明する。

上述のように、レンズユニット１１は、撮像素子１２に入射される被写体からの光に対して収差を与えてＰＳＦを拡散し、撮像画像をぼけた状態とする代わりに広い深度でそのぼけが一定となるようにするが、その結果として、ＭＴＦの低下を招来する。ここで、ＭＴＦとは、被写体の持つコントラストを、どれくらい忠実に再現できるかを数値化した値、すなわちコントラストの再現率を示す値であり、理想値は「１」である。

図９に示すグラフは、被写体距離（例えば、レンズユニット１１から被写体までの距離のように定義する）が３５０［ｍｍ］の場合の撮像画像についての空間周波数に対するＭＴＦの特性の実施例を示すグラフである。図１０に示すグラフは、被写体距離が４００［ｍｍ］の場合の撮像画像についての空間周波数に対するＭＴＦの特性の実施例を示すグラフである。図１１に示すグラフは、被写体距離が４７０［ｍｍ］の場合の撮像画像についての空間周波数に対するＭＴＦの特性の実施例を示すグラフである。いずれのグラフにおいても、レンズユニット１１による収差の影響で、ＭＴＦは理想値である「１」よりも低下しており、特に空間周波数が高くになるにしたがって低下する傾向を有する。

また、図９〜１１に示すグラフの特徴の１つとして、空間周波数について低周波数側のＭＴＦ、および高周波数側のＭＴＦが、被写体距離によって異なる。例えば、図９〜１１のグラフを互いに比較した場合、低周波数側の空間周波数が例えば１０［ｍｍ^−１］であるとすると、ＭＴＦが最も高いのは、図９に示す被写体距離が３５０［ｍｍ］のＭＴＦのグラフである。一方、高周波数側の空間周波数が例えば５０［ｍｍ^−１］であるとすると、ＭＴＦが最も高いのは、図１０に示す被写体距離が４００［ｍｍ］のＭＴＦのグラフである。

また、図１２に示す二次元コードの画像は、被写体としての二次元コードからの、収差を与えるレンズユニット１１を通過した光が、撮像素子１２によって撮像された二次元コードの撮像画像である。図１２（ａ）は、被写体距離が３５０［ｍｍ］の二次元コードの撮像画像を示し、図１２（ｂ）は、被写体距離が４００［ｍｍ］の二次元コードの撮像画像を示し、図１２（ｃ）は、被写体距離が４７０［ｍｍ］の二次元コードの撮像画像を示す。そして、図１２（ｄ）は、二次元コードの理想画像を示す。図１２（ａ）〜（ｃ）に示す二次元コードの撮像画像のうち、図１２（ｂ）に示す被写体距離が４００［ｍｍ］の撮像画像が最も図１２（ｄ）に示す理想画像に近く、二次元コードの模様も他の撮像画像に比べると明瞭となっている。この被写体距離４００［ｍｍ］を、仮に、ベストフォーカス位置とする。ここで、ベストフォーカス位置とは、被写体距離のうち、レンズユニット１１の収差の影響が小さく、最も撮像画像が明瞭になる位置であるものとする。

しかし、いずれにしても図１２（ａ）〜１２（ｃ）に示す撮像画像はぼけた画像であり、所定のＭＴＦの値が得られるように補正する必要がある。このような、レンズユニット１１によってぼけた撮像画像に対して、ぼけを補正する方法として、点像分布関数（ＰＳＦ）の逆変換処理を施すことによって、ＭＴＦを向上させ、高解像度の画像に補正することができる。逆変換処理は、光学系によってぼけた画像を形成する各画素に対して、逆変換フィルタによるフィルタ処理を施すことにより、収差による画像のぼけを復元することによって実現される。以下、画像処理部１４のブロック構成の詳細を説明すると共に、逆変換処理による被写界深度拡張の方法の一例について説明する。

（画像処理部の構成および動作）
図１３は、実施の形態に係る撮像装置の画像処理部のブロック構成の一例を示す図である。図１４は、実施の形態に係る撮像装置の撮像素子により撮像される撮像画像の一例を示す図である。図１３を参照しながら、本実施の形態の撮像装置１の画像処理部１４のブロック構成について説明する。

撮像素子１２は、上述のように、レンズユニット１１に入射する被写体４（図１参照）からの光を電気信号に変換することにより被写体４を撮像し、画像を生成する固体撮像素子である。以下、撮像素子１２は、ＶＧＡ（Ｖｉｄｅｏ Ｇｒａｐｈｉｃｓ Ａｒｒａｙ）の画像を形成して出力するものとして説明する。具体的には、撮像素子１２は、図１４に示すように、例えば、Ｘ方向に６４０個、Ｙ方向に４８０個の検出素子によって、６４０×４８０のマトリックス状に配列された画素で構成される画像である撮像画像１０１を撮像する。

なお、撮像素子１２が撮像する画像の大きさは６４０×４８０のＶＧＡの画像であるものとしたが、これに限定されるものではなく、異なる大きさの画像であってもよい。

図１３に示すように、本実施の形態の画像処理部１４は、画像バッファ部１４１と、距離判定部１４２（距離判定手段）と、記憶部１４３（記憶手段）と、選択部１４４（選択手段）と、フィルタ処理部１４５（逆変換手段）と、を備えている。

画像バッファ部１４１は、ラインバッファおよびレジスタ等を備え、撮像素子１２から出力される画素を順に入力して、撮像画像をバッファリングする機能部である。画像バッファ部１４１は、バッファリングした撮像画像を、距離判定部１４２およびフィルタ処理部１４５に出力する。

距離判定部１４２は、撮像画像の輝度値についてのヒストグラムの分散に基づいて、撮像画像における被写体距離を判定する機能部である。距離判定部１４２の動作については、後述する。

記憶部１４３は、距離判定部１４２によって判定される被写体距離に対応した逆変換フィルタのデータを予め記憶する記憶装置である。

選択部１４４は、距離判定部１４２によって判定された被写体距離に対応した逆変換フィルタを、記憶部１４３に記憶された逆変換フィルタから選択して、フィルタ処理部１４５に送る機能部である。

フィルタ処理部１４５は、画像バッファ部１４１から出力される画素に対して、選択部１４４から受け取った逆変換フィルタによって、所定のフィルタ処理（逆変換処理）を行う。本実施の形態においては、フィルタ処理に使用するフィルタとして、位相板ＬＺ４の作用によって点像分布関数（ＰＳＦ）を与えられたぼけた撮像画像に対して、ぼけを補正（復元）する逆変換処理をするための逆変換フィルタを例に説明する。フィルタ処理部１４５の具体的な動作については、図１６〜１８において後述する。

なお、画像バッファ部１４１、距離判定部１４２、記憶部１４３、選択部１４４およびフィルタ処理部１４５は、機能を概念的に示したものであって、このような構成に限定されるものではない。

＜撮像素子１２から出力される画素が画像バッファ部１４１に入力される動作＞
図１５は、撮像素子から出力される画素が画像バッファ部に入力される動作を示すタイミングチャートである。図１５を参照しながら、撮像素子１２によって撮像された画像の出力動作について説明する。

撮像素子１２は、検出した画素をＸ方向の１水平ラインずつ走査しながら、その１水平ラインに含まれる画素を出力する。具体的には、撮像素子１２は、Ｙ方向の１番目の水平ラインに含まれる画素を、Ｘ方向の１番目の画素から６４０番目の画素まで順に出力する。撮像素子１２は、上記の動作を、Ｙ方向の４８０番目までの水平ラインに含まれる画素の出力をそれぞれ行う。なお、撮像素子１２によって撮像される画像の６４０×４８０の各画素について、Ｘ方向のＸ番目およびＹ方向のＹ番目の画素を（Ｘ，Ｙ）の画素というものとする。

上記の動作を図１５に示すタイミングチャートに基づいて説明する。図１５に示すように、撮像素子１２は、有効フレーム信号がオン状態のとき、１フレーム分、すなわち１画像分の画素を出力する。撮像素子１２において、有効フレーム信号がオン状態になってからフレーム開始期間Ａを経て、Ｙ方向の１番目の水平ラインの画素の出力許可を示す有効ライン信号Ｌ１がオン状態になる。撮像素子１２は、有効ライン信号Ｌ１がオン状態になっている有効データ期間Ｔの間に、Ｙ方向の１番目の水平ラインを走査し、その水平ラインに含まれるＸ方向の１〜６４０番目の画素（（１，１）〜（６４０，１）の画素）を順に出力する。撮像素子１２によってＹ方向の１番目の水平ラインの画素が出力された後、有効ライン信号Ｌ１がオフ状態になる。

撮像素子１２において、有効ライン信号Ｌ１がオフ状態になってから水平ブランキング期間Ｂを経て、Ｙ方向の２番目の水平ラインの画素の出力許可を示す有効ライン信号Ｌ２がオン状態になる。撮像素子１２は、有効ライン信号Ｌ２がオン状態になっている有効データ期間Ｔの間に、Ｙ方向の２番目の水平ラインを走査し、その水平ラインに含まれるＸ方向の１〜６４０番目の画素（（１，２）〜（６４０，２）の画素）を順に出力する。撮像素子１２によってＹ方向の２番目の水平ラインの画素が出力された後、有効ライン信号Ｌ２がオフ状態になる。

撮像素子１２は、以上の動作について、有効ライン信号Ｌ４８０がオン状態になっている有効データ期間Ｔの間に、Ｙ方向の４８０番目の水平ラインに含まれるＸ方向の１〜６４０番目の画素を出力するまで行う。撮像素子１２において、有効ライン信号Ｌ４８０がオフ状態になってからフレーム終了期間Ｃを経て、有効フレーム信号がオフ状態になる。以上の動作によって、撮像素子１２による１フレーム分の画素の出力が終了する。また、撮像素子１２において、有効フレーム信号がオフ状態になってから垂直ブランキング期間Ｄを経て、再び有効フレーム信号がオン状態になり、次の１フレーム分の画素の出力が開始される。

＜フィルタ処理部１４５の動作＞
図１６は、逆変換フィルタの構成の一例を示す図である。図１７は、画像を逆変換フィルタによってフィルタ処理することを説明する図である。図１８は、画像において逆変換フィルタのフィルタ処理の対象となる対象部分画像をスキャンする動作を説明する図である。図１６〜１８を参照しながら、画像処理部１４のフィルタ処理部１４５の逆変換処理について説明する。なお、フィルタ処理部１４５が用いる逆変換フィルタは、距離判定部１４２により撮像画像に含まれる被写体の被写体距離が判定され、選択部１４４によって、距離判定部１４２により判定された被写体距離に対応するものとして選択された逆変換フィルタであるものとする。

逆変換処理に使用されるフィルタは、例えば、図１６に示すように、フィルタ係数ａ１１〜ａ１５、ａ２１〜ａ２５、ａ３１〜ａ３５、ａ４１〜ａ４５およびａ５１〜ａ５５によって構成されたタップ数が５×５の線形フィルタである逆変換フィルタ１２１であるものとする。逆変換フィルタ１２１による逆変換処理の対象となる画像の部分を、図１７に示す対象部分画像１３１であるものとする。対象部分画像１３１は、画素Ａ１１〜Ａ１５、Ａ２１〜Ａ２５、Ａ３１〜Ａ３５、Ａ４１〜Ａ４５およびＡ５１〜Ａ５５によって構成された５×５の部分画像である。

フィルタ処理部１４５は、図１７に示すように、対象部分画像１３１に対して逆変換フィルタ１２１によってコンボリューション演算した値、すなわち、図１７の式（１）で表される演算値と同一である。コンボリューション演算の演算値は、対象部分画像１３１の中央に位置する画素である中央データに対して逆変換処理を実行した値となる。すなわち、コンボリューションの演算値は、逆変換処理後の画像において、逆変換処理前の画像の中央データに相当する位置の画素となる。

次に、フィルタ処理部１４５の逆変換処理について、図１８を参照しながら、画像１０５においてＸ方向の水平ラインを走査しながら逆変換処理をする動作の概略を説明する。図１８（ａ）は、フィルタ処理部１４５が、画像１０５における（１，１）の画素に対して逆変換フィルタ１２１によって逆変換処理をする状態を示している。図１８（ａ）に示すように、（１，１）の画素を中央データ１３５ａとしてコンボリューション演算するためには、（１，１）の画素を中央データとする対象部分画像１３１ａと、画像１０５とが重複している部分の画素が必要になる。すなわち、対象部分画像１３１ａのうち、図１７に示す対象部分画像１３１の画素Ａ３３〜Ａ３５、Ａ４３〜Ａ４５およびＡ５３〜Ａ５５に相当する画素が必要である。そして、対象部分画像１３１ａにおいて、画像１０５と重複していない部分の画素は「０」として取り扱うものとする。

以上の状態において、フィルタ処理部１４５は、図１７に示したコンボリューション演算と同様に、対象部分画像１３１ａに対して逆変換フィルタ１２１によってコンボリューション演算を行う。フィルタ処理部１４５は、画像１０５の対象部分画像１３１ａの中央データ１３５ａである（１，１）の画素に対してコンボリューション演算した値を、逆変換処理後の画像の（１，１）の画素として出力する。

次に、フィルタ処理部１４５は、図１８（ｂ）に示すように、コンボリューション演算の対象となる画素をＸ方向にひとつシフトし、対象部分画像１３１ｂの中央データ１３５ｂである（２，１）の画素に対して逆変換処理をする。そして、フィルタ処理部１４５は、Ｘ方向の水平ラインをシフトしながらコンボリューション演算を繰り返し、図１８（ｃ）に示すように、Ｘ方向の水平ラインの最後の画素である（６４０，１）の画素に対して逆変換処理をする。（６４０，１）の画素は、図１８（ｃ）に示すように、対象部分画像１３１ｃの中央データ１３５ｃである。

以上のように、フィルタ処理部１４５は、Ｘ方向の水平ラインをシフトしながらコンボリューション演算を繰り返し、水平ラインの最後の画素に対する逆変換処理が終了すると、Ｙ方向の次の水平ラインに対して同様に逆変換処理を行う。

図１８（ｄ）〜１８（ｆ）は、フィルタ処理部１４５が、画像１０５におけるＹ方向の４番目の水平ラインの画素に対して逆変換処理を行う状態を示している。図１８（ｄ）は、フィルタ処理部１４５が、画像１０５における（１，４）の画素に対して逆変換フィルタ１２１によって逆変換処理をする状態を示している。図１８（ｄ）に示すように、（１，４）の画素を中央データ１３５ｄとしてコンボリューション演算するためには、（１，４）の画素を中央データとする対象部分画像１３１ｄと、画像１０５とが重複している部分の画素が必要になる。そして、対象部分画像１３１ｄにおいて、画像１０５と重複していない部分の画素は、上述と同様に「０」として取り扱うものとする。

図１８（ｅ）は、フィルタ処理部１４５が、画像１０５における（５，４）の画素に対して逆変換フィルタ１２１によって逆変換処理をする状態を示している。図１８（ｅ）に示すように、（５，４）の画素を中央データ１３５ｅとする対象部分画像１３１ｅは全体が画像１０５と重複しているので、フィルタ処理部１４５は、対象部分画像１３１ｅに含まれる画素をすべて利用した逆変換処理が可能となる。

そして、フィルタ処理部１４５は、Ｘ方向の水平ラインをシフトしながらコンボリューション演算を繰り返し、図１８（ｆ）に示すように、Ｘ方向の水平ラインの最後の画素である（６４０，４）の画素に対して逆変換処理をする。（６４０，４）の画素は、図１８（ｆ）に示すように、対象部分画像１３１ｆの中央データ１３５ｆである。

以上のように、フィルタ処理部１４５は、画像１０５を構成する各画素に対して逆変換フィルタ１２１によるコンボリューション演算を行って逆変換処理をするので、位相板ＬＺ４によってぼけた画像を復元し、画像の解像度を向上させることができる。

なお、上述のように、画像１０５における逆変換フィルタ１２１によるコンボリューション演算の対象となる対象部分画像について、画像１０５と重複していない部分の画素は「０」としたが、これに限定されるものではない。例えば、対象部分画像の画像１０５と重複していない部分の画素は、対象部分画像の中央データを基準にして、対象部分画像の画像１０５と重複している部分の画素を折り返した場合の画素を用いるものとしてもよい。

具体的に、図１８（ａ）の対象部分画像１３１ａを例にして説明する。対象部分画像１３１ａのそれぞれの画素の名称を、仮に図１７に示す対象部分画像１３１の画素の名称と同様とする。この場合、対象部分画像１３１ａの画像１０５と重複していない部分の画素は、画素Ａ１１〜Ａ１５、Ａ２１〜Ａ２５、Ａ３１、Ａ３２、Ａ４１、Ａ４２、Ａ５１およびＡ５２である。また、対象部分画像１３１ａの画像１０５と重複している部分の画素は、画素Ａ３３〜Ａ３５、Ａ４３〜Ａ４５およびＡ５３〜Ａ５５である。

このとき、画素Ａ３１、Ａ３２、Ａ４１、Ａ４２、Ａ５１およびＡ５２は、中央データを基準にして、対象部分画像１３１ａの画像１０５と重複している部分の画素を折り返し、それぞれ画素Ａ３５、Ａ３４、Ａ４５、Ａ４４、Ａ５５およびＡ５４の値を用いる。また、画素Ａ１３〜Ａ１５およびＡ２３〜Ａ２５は、中央データを基準にして、対象部分画像１３１ａの画像１０５と重複している部分の画素を折り返し、それぞれ画素Ａ５３〜Ａ５５およびＡ４３〜Ａ４５の値を用いる。そして、画素Ａ１１、Ａ１２、Ａ２１およびＡ２２は、中央データを基準にして、対象部分画像１３１ａの画像１０５と重複している部分の画素のうち点対象の位置関係にある画素、すなわち、それぞれＡ５５、Ａ５４、Ａ４５およびＡ４４の値を用いる。以上のような方法によって、対象部分画像の各画素を決定するものとしてもよい。

また、図１７に示すように、フィルタ処理部１４５が用いる逆変換フィルタ１２１はタップ数が５×５のフィルタとしているが、これに限定されるものではない。すなわち、フィルタのタップ数は７×７、１５×１５または２１×２１等の異なるタップ数としてもよい。この場合、フィルタのタップ数に合わせて、対象部分画像の大きさも一致させる必要がある。また、フィルタによる逆変換処理の対象となる中央データが存在するように、フィルタのタップ数は奇数である必要がある。

また、逆変換フィルタは、例えば１５×１５以上のタップ数であることが好ましい。逆変換フィルタは、タップ数が多いほど、位相板ＬＺ４によってぼけが加えられた画像に対して、ぼけを補正できる光軸上の幅を大きくすることができる。したがって、タップ数が多い逆変換フィルタを用いることによって、位相板およびレンズの被写界深度についての設計のバリエーションを増やすことができる。

＜逆変換フィルタの周波数特性の導出＞
次に、上述の逆変換フィルタ（例えば、図１７に示す逆変換フィルタ１２１）の周波数特性を導出する方法について説明する。フォーカス位置（例えば、上述のベストフォーカス位置）において光学系であるレンズユニット１１によって拡散されたＰＳＦを一点に集まるように復元する逆変換処理に使用される逆変換フィルタの周波数特性の導出方法について説明する。上述の周波数特性を実現するフィルタとしては、二次元の線形フィルタかつＦＩＲ（Ｆｉｎｉｔｅ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）フィルタが好適である。

まず、撮像素子１２によって撮像された画像への光学系による影響のモデルを以下の式（２）に示す２次元のコンボリューション演算（畳み込み演算）の式によって表す。

ここで、ｉｍａｇｅ_{ｃａｐｔｕｒｅｄ}は光学系を通って検出された二次元の撮像画像の画素であり、ｉｍａｇｅ_{ｉｄｅａｌ}は被写体４そのものを示す理想画像の画素であり、ｈは光学系のＰＳＦを示す。

以下、画像処理系（撮像素子１２および画像処理部１４）に加わるノイズの影響を考慮して、逆変換処理後の画像の各画素と、理想画像の各画素との誤差についての平均二乗誤差を最小とする逆変換フィルタの周波数特性の導出を考える。平均二乗誤差は、以下の式（３）によって表される。

ここで、Ｅ［］は期待値（平均値）を示し、ｎは画像上の位置を示し、ｉｍａｇｅ_{ｐｒｏｃｅｓｓｅｄ}（ｎ）は、ｉｍａｇｅ_{ｃａｐｔｕｒｅｄ}（ｎ）に対して逆変換処理をした画素を示す。なお、ｉｍａｇｅ_{ｃａｐｔｕｒｅｄ}は、ノイズが含まれていることを考慮する。

波形ｘ（ｎ）が持つ全エネルギーのｎの全領域についての総和と、波形ｘ（ｎ）のエネルギーのフーリエ変換Ｘ（ω）の全周波数成分についての総和とが等しいとするパーセバルの定理より、式（３）は、周波数領域における平均二乗誤差として以下の式（４）で表される。

ここで、ＩＭＡＧＥ_{ｉｄｅａｌ}（ω）はｉｍａｇｅ_{ｉｄｅａｌ}（ｎ）の周波数特性を示し、ＩＭＡＧＥ_{ｐｒｏｃｅｓｓｅｄ}（ω）はｉｍａｇｅ_{ｐｒｏｃｅｓｓｅｄ}（ｎ）の周波数特性を示し、ωは空間周波数を示す。

ここで、逆変換フィルタの周波数特性をＲ（ω）とすると、以下の式（５）の最小値を与える周波数特性Ｒ（ω）が最適の逆変換フィルタとなる。

ここで、ＩＭＡＧＥ_{ｃａｐｔｕｒｅｄ}（ω）は、ｉｍａｇｅ_{ｃａｐｔｕｒｅｄ}（ｎ）の周波数特性である。

式（５）において、ＩＭＡＧＥ_{ｉｄｅａｌ}（ω）＝Ｓ（ω）、およびＩＭＡＧＥ_{ｃａｐｔｕｒｅｄ}（ω）＝Ｘ（ω）とし、式（５）の最小値を求めるため、式（５）をＲ^＊によって微分すると、下記の式（６）が得られる。

ここで、Ｅ［｜Ｘ（ω）｜^２］は、ノイズを含んだ撮像画像のパワースペクトルの平均値であり、Ｅ［Ｓ（ω）・Ｘ（ω）^＊］は、ノイズを含んだ撮像画像と理想画像との相互パワースペクトルの平均値である。

式（５）の最小値を求めるため式（６）の最右辺を０とすると下記の式（７）が得られる。

式（７）から下記の式（８）が得られる。

この式（８）に示す周波数特性Ｒ（ω）に基づく逆変換フィルタが、上述の式（３）に示す平均二乗誤差を最小とする最適のフィルタとなる。

ここで、ノイズの周波数特性をＷ（ω）とし、光学系のＰＳＦであるｈの周波数特性をＨ（ω）として、上述の式（２）を周波数領域で示すと下記の式（９）で示される。

ノイズの周波数特性Ｗ（ω）と、周波数特性Ｓ（ω）とが無相関であるとすると、Ｅ［Ｓ（ω）・Ｗ（ω）^＊］＝０であるので、上述の式（８）の右辺の分子に、式（９）を代入すると、下記の式（１０）が得られる。

同じくノイズの周波数特性Ｗ（ω）と、周波数特性Ｓ（ω）とが無相関であるとすると、Ｅ［Ｗ（ω）・Ｓ（ω）^＊］＝０およびＥ［Ｓ（ω）^＊・Ｗ（ω）］＝０であるので、上述の式（８）の右辺の分母に、式（９）を代入すると、下記の式（１１）が得られる。

上述の式（８）、（１０）および（１１）から、下記の式（１２）に示す周波数特性Ｒ（ω）が得られる。

この式（１２）に示す周波数特性Ｒ（ω）に基づく逆変換フィルタが、画像処理系のノイズを考慮した場合の上述の式（３）に示す平均二乗誤差を最小とする最適なフィルタとなる。ここで、Ｅ［｜Ｓ（ω）｜^２］は理想画像のパワースペクトルの平均値であり、Ｅ［｜Ｗ（ω）｜^２］はノイズのパワースペクトルの平均値であり、｜Ｈ（ω）｜^２は光学系の周波数特性のパワースペクトルである。

また、上述の式（１２）に示す周波数特性Ｒ（ω）を適用した場合において、逆変換処理後の画像の各画素と、理想画像の各画素との二乗誤差についての周波数領域における積分を取ると、下記の式（１３）が得られる。

上記の式（１３）の演算においては、上述のように、ノイズの周波数特性Ｗ（ω）と、周波数特性Ｓ（ω）とが無相関であることを利用している式（１３）の最右辺の第１項は、逆変換処理後の画像の復元しきれなかった誤差量を示している。第２項は、ノイズによる誤差量を示している。

式（１３）の積分値が最小となるように、光学系の周波数特性Ｈ（ω）を設計することによって、上述の式（５）に示す周波数領域においての平均二乗誤差が最小となる光学系および逆変換フィルタの組み合わせを得ることができる。また、パーセバルの定理より、上述の式（３）に示す実空間における平均二乗誤差が最小となる光学系および逆変換フィルタの組み合わせを得ることができる。したがって、式（１２）に示す周波数特性Ｒ（ω）に基づいて、例えば、画像処理部１４のフィルタ処理部１４５が用いる逆変換フィルタ１２１を導出するものとすればよい。

以上のように、フォーカス位置について、式（１２）に示す周波数特性Ｒ（ω）から最適な逆変換フィルタを求めることができる。これによって、フォーカス位置においてより広い範囲にまでぼけを復元し、被写界深度を拡張することができる。

図１９は、実施の形態の画像処理部のフィルタ処理部の逆変換フィルタを決定するための周波数特性を演算する流れの一例を示すフローチャートである。図１９を参照しながら、式（１２）に示す周波数特性Ｒを具体的に演算する流れについて説明する。

＜＜ステップＳ１＞＞
まず、レンズユニット１１における面曲率および面間隔等、ならびに位相板ＬＺ４の特性等の光学系パラメータに基づいて、レンズユニット１１に対する光線追跡演算によりＰＳＦを導出する。ここで、複数のデフォーカス位置における光学系パラメータによって光線追跡演算を行い、ＰＳＦを導出する。そして、ステップＳ２へ進む。

＜＜ステップＳ２＞＞
ステップＳ１で導出したＰＳＦをフーリエ変換することによって、光学系の周波数特性Ｈを導出する。そして、ステップＳ５へ進む。

＜＜ステップＳ３＞＞
画像処理系（撮像素子１２および画像処理部１４）に加わるノイズ特性を測定する。そして、ノイズ特性をフーリエ変換することによって、ノイズの周波数特性Ｗを導出する。なお、ノイズ特性の測定が困難である場合は、空間周波数によらず、撮像素子１２のＳ／Ｎ比の値を定数としてノイズの周波数特性Ｗを導出するものとしてもよい。そして、ステップＳ５へ進む。

＜＜ステップＳ４＞＞
撮像装置１により、自然風景またはシンボル等を様々な大きさおよび撮影条件によって撮像された画像を理想画像とする。理想画像を構成する画素の値をフーリエ変換し、空間周波数ωについての平均値を被写体の周波数特性Ｓとして導出する。なお、被写体の周波数特性Ｓは、被写体から出る光に収差を与えない光学系を通過した光に基づく撮像画像の画素の周波数特性としてもよい。また、被写体の周波数特性Ｓは、定数としてもよい。そして、ステップＳ５へ進む。

＜＜ステップＳ５＞＞
ステップＳ２で導出した光学系の周波数特性Ｈ、ステップＳ３で導出したノイズの周波数特性Ｗ、およびステップＳ４で導出した被写体の周波数特性Ｓから、上述の式（１２）を使用して、逆変換フィルタの周波数特性Ｒを演算する。

＜ＭＴＦの空間周波数特性＞
図２０は、光学系を通過した光による撮像画像の空間周波数特性の一例を示す図である。図２１は、逆変換処理が行われた画像の空間周波数特性を示す図である。図２２は、ベストフォーカス位置の被写体に対する逆変換フィルタによってフィルタ処理した二次元コードの画像例を示す図である。図２０〜２２を参照しながら、画像のＭＴＦの空間周波数特性について説明する。

まず、図２０を参照しながら、レンズユニット１１（光学系）を通過した光が撮像素子１２によって撮像された画像についての空間周波数ωに対するＭＴＦについてさらに説明する。図２０に示される目標空間周波数特性２０１は、被写体の撮像画像のコントラストが完全に再現された場合のＭＴＦの空間周波数ωについての特性（ＭＴＦ＝１）を示す。

上述したように、レンズユニット１１を通過した光は、収差を与えるレンズおよび位相板ＬＺ４の作用によって点像分布関数（ＰＳＦ）が拡散される。図２０における空間周波数特性２０２は、レンズユニット１１を通過した光に基づいて、撮像素子１２によりフォーカス位置において撮像された撮像画像のＭＴＦの空間周波数ωについての特性を示す。図２０における空間周波数特性２０３は、レンズユニット１１を通過した光に基づいて撮像素子１２によってあるデフォーカス位置において撮像された撮像画像のＭＴＦの空間周波数ωについての特性を示す。レンズユニット１１を通過した光はＰＳＦが付加されているので、フォーカス位置における空間周波数特性２０２、およびデフォーカス位置における空間周波数特性２０３は、図２０に示すように、何れも目標空間周波数特性２０１よりも低い値となる。この図２０に示す空間周波数特性２０２、２０３は、上述の図９〜１１に示したＭＴＦの特性の実施例を模式的に示したものである。

次に、図２１を参照しながら、フィルタ処理部１４５がフォーカス位置の被写体の撮像画像に対して逆変換処理するための逆変換フィルタが、上述の式（１２）に示す周波数特性Ｒによって求められた場合を考える。この場合において、撮像素子１２によって撮像された画像がフィルタ処理部１４５によって逆変換処理が行われた画像についての空間周波数ωに対するＭＴＦについて説明する。

図２１における空間周波数特性２０２ａは、撮像素子１２により被写体がフォーカス位置において撮像された撮像画像について、フィルタ処理部１４５により逆変換処理された画像のＭＴＦの空間周波数ωについての特性を模式的に示したものである。図２１における空間周波数特性２０３ａは、撮像素子１２によりあるデフォーカス位置において撮像された撮像画像について、フィルタ処理部１４５により同じ逆変換フィルタで逆変換処理された画像のＭＴＦの空間周波数ωについての特性を示す。上述のように、式（１２）は、フォーカス位置の被写体についての、レンズユニット１１によってＰＳＦが付加された画像を復元する逆変換フィルタの周波数特性Ｒを示すので、空間周波数特性２０２ａは、ＭＴＦ＝１となり、目標空間周波数特性２０１と一致する。しかし、式（１２）に示す周波数特性Ｒから導出された逆変換フィルタは、フォーカス位置におけるＰＳＦとは形の異なるデフォーカス位置には対応していないので、空間周波数特性２０３ａのＭＴＦは、空間周波数特性２０２ａのＭＴＦよりも低くなる。

このように、フィルタ処理部１４５は、式（１２）に示す周波数特性Ｒ（ω）に基づいて求められた逆変換フィルタによる逆変換処理によって、フォーカス位置を含む所定の位置範囲において、レンズユニット１１によってＰＳＦが拡散された画像を復元することができる。しがたって、フォーカス位置においてより広い範囲にまで被写界深度を拡張することができる。

この空間周波数特性２０２ａ、２０３ａが示す特性を、二次元コードの画像として示したのが図２２に示す画像である。図２２に示す画像は、フィルタ処理部１４５が、フォーカス位置（ベストフォーカス位置である被写体距離４００［ｍｍ］）に存在する被写体（二次元バーコード）についての撮像画像のぼけを復元するために、式（１２）により求められた逆変換フィルタを用いて、フォーカス位置およびデフォーカス位置に存在する被写体の撮像画像に対して逆変換処理を実行した画像である。このうち、図２２（ｂ）に示す画像は、被写体距離が４００［ｍｍ］のフォーカス位置（ベストフォーカス位置）に存在する二次元コードを被写体として撮像された画像が、フィルタ処理部１４５により上述の逆変換フィルタにより逆変換処理が実行された画像である。一方、図２２（ａ）および２２（ｃ）に示す画像は、それぞれ被写体距離が３５０［ｍｍ］および４７０［ｍｍ］のデフォーカス位置に存在する二次元コードを被写体として撮像された画像が、フィルタ処理部１４５により上述と同一の逆変換フィルタにより逆変換処理が実行された画像である。図２２（ｂ）に示す画像は、フォーカス位置の被写体の撮像画像のぼけを復元するための逆変換フィルタによって逆変換処理がなされているので、図２２（ａ）および２２（ｃ）に示す画像よりも、二次元コードの模様が明瞭となっている。これに対し、図２２（ａ）および２２（ｃ）に示す画像は、デフォーカス位置の被写体の撮像画像に対して、フォーカス位置の被写体の撮像画像のぼけを復元するための逆変換フィルタによって逆変換処理がなされているため、図２２（ｂ）に示す画像よりも、二次元コードの模様が不明瞭となっている。これは、被写体距離が変わることによってＰＳＦの形も変わるため、同一の逆変換フィルタでは対応し切れないためである。ここで、本実施の形態に係る画像処理部１４は、デフォーカス位置に存在する被写体の撮像画像に対しても、ＭＴＦが改善するように復元する。その動作の詳細を以下に説明する。

＜距離判定部１４２および選択部１４４の動作＞
図２３は、被写体距離が３５０［ｍｍ］および４７０［ｍｍ］の被写体に対して適用する逆変換フィルタの構成の一例を示す図である。図２４は、被写体距離に対応した逆変換フィルタによってそれぞれフィルタ処理した二次元コードの画像例を示す図である。図２３および２４を参照しながら、デフォーカス位置の被写体の撮像画像に対する逆変換処理について説明する。

上述において、フォーカス位置においてレンズユニット１１により拡散されたＰＳＦを一点に集まるように復元する逆変換フィルタを導出するために、式（１２）に示す周波数特性Ｒ（ω）を導出した。上述のように、フォーカス位置における被写体の撮像画像のぼけに対しては、この周波数特性Ｒ（ω）に基づく逆変換フィルタにより逆変換処理が実行されれば、適切に復元することが可能となる。しかし、この逆変換フィルタを、デフォーカス位置における被写体の撮像画像に対して適用しても、適切に復元することはできない。そこで、デフォーカス位置における被写体の撮像画像のぼけを復元するために、式（１２）を用いて、デフォーカス位置において拡散されたＰＳＦに対応した逆変換フィルタを導出する。このように導出した逆変換フィルタの構成例を、図２３に示す。図２３（ａ）は、デフォーカス位置である被写体距離３５０［ｍｍ］の被写体の撮像画像のぼけを復元するための逆変換フィルタ１２２（タップ数を７×７としている）を示す。図２３（ｂ）は、別のデフォーカス位置である被写体距離４７０［ｍｍ］の被写体の撮像画像のぼけを復元するための逆変換フィルタ１２３（タップ数を７×７としている）を示す。

図２４では、それぞれ異なる被写体距離にある被写体（二次元コード）の撮像画像に対して、その被写体距離に対応した逆変換フィルタにより逆変換処理が実行された画像が示されている。例えば、図２４（ａ）に示す画像は、フィルタ処理部１４５によって、デフォーカス位置である被写体距離３５０［ｍｍ］の被写体に対応した逆変換フィルタ１２２で逆変換処理が実行された画像である。また、図２４（ｂ）に示す画像は、フィルタ処理部１４５によって、ベストフォーカス位置である被写体距離４００［ｍｍ］の被写体に対応した逆変換フィルタで逆変換処理が実行された画像であり、図２２（ｂ）に示す画像と同一の画像である。そして、図２４（ｃ）に示す画像は、フィルタ処理部１４５によって、デフォーカス位置である被写体距離４５０［ｍｍ］の被写体に対応した逆変換フィルタ１２３で逆変換処理が実行された画像である。図２４に示すいずれの画像も、被写体（二次元コード）のぼけが復元され、コードの模様が明瞭となっており、ＭＴＦが向上した画像となっている。

このように、例えば、式（１２）を用い、かつ、被写体距離に対応した逆変換フィルタを導出し、撮像画像に含まれる被写体の被写体距離を判定し、判定した被写体距離に対応した逆変換フィルタを選択して適用することによって、フォーカス位置にある被写体のみならず、デフォーカス位置にある被写体についても、ぼけが復元された画像が得られる。ここで、上述の距離判定部１４２による撮像画像に含まれる被写体の被写体距離の判定動作、および、選択部１４４による被写体距離に応じた逆変換フィルタの選択動作について、以下に説明する。

図２５は、被写体距離が３５０［ｍｍ］の場合の画像の輝度値についてのヒストグラムの実施例を示す図である。図２６は、被写体距離が４００［ｍｍ］の場合の画像の輝度値についてのヒストグラムの実施例を示す図である。図２７は、被写体距離が４７０［ｍｍ］の場合の画像の輝度値についてのヒストグラムの実施例を示す図である。図２５〜２７を参照しながら、距離判定部１４２による被写体の被写体距離の判定動作について説明し、さらに、選択部１４４による被写体距離に応じた逆変換フィルタの選択動作について説明する。

上述のように、被写体距離に対応した逆変換フィルタを選択して逆変換処理を実行することによって、フォーカス位置またはデフォーカス位置に関わりなく、ぼけが復元された画像を得ることができる。しかし、実際には、撮像素子１２により撮像された撮像画像に含まれる被写体の被写体距離については、本実施の形態に係る撮像装置１の構成（図３参照）のようにレンズユニット１１および撮像素子１２を複数組備えていないので、三角測量の原理により測定することはできない。そこで、本実施の形態に係る撮像装置１の画像処理部１４は、被写体距離がそれぞれ異なる被写体の撮像画像についての以下に示す特性に基づいて、被写体距離を判定する。

図２５〜２７は、それぞれ被写体距離が３５０、４００および４７０［ｍｍ］の被写体の撮像画像における輝度値のヒストグラムである。図２５〜２７に示すように、被写体距離が大きくなるほど、ヒストグラムの分散が小さく、また、最大輝度値と最小輝度値との差が小さくなっていることがわかる。この性質を利用して、例えば、画像処理部１４の距離判定部１４２は、撮像画像の特性として、撮像画像から輝度値についてのヒストグラムの分散を算出する。そして、距離判定部１４２は、算出した分散が所定の第１閾値未満である場合、撮像画像の被写体はフォーカス位置より撮像装置１から遠い被写体距離にあると判定する。また、距離判定部１４２は、分散が所定の第２閾値以上である場合、撮像画像の被写体はフォーカス位置より撮像装置１に近い被写体距離にあると判定する。そして、距離判定部１４２は、分散が第１閾値以上第２閾値未満である場合、撮像画像の被写体はフォーカス位置近傍の被写体距離にあると判定する。距離判定部１４２は、判定した被写体距離の情報を、選択部１４４へ送る。

なお、距離判定部１４２は、撮像画像の輝度値についてのヒストグラムの分散を利用して、被写体距離を判定するものとしたが、これに限定されるものではない。すなわち、距離判定部１４２は、上述の撮像画像の最大輝度値と最小輝度値との差に基づいて、被写体距離を判定するものとしてもよい。具体的には、距離判定部１４２は、まず、撮像画像の特性として、撮像画像の最大値輝度値と最小輝度値との差を算出する。距離判定部１４２は、算出した差が所定の第３閾値未満である場合、撮像画像の被写体はフォーカス位置より撮像装置１から遠い被写体距離にあると判定する。また、距離判定部１４２は、算出した差が所定の第４閾値以上である場合、撮像画像の被写体はフォーカス位置より撮像装置１に近い被写体距離にあると判定する。そして、距離判定部１４２は、算出した差が第３閾値以上第４閾値未満である場合、撮像画像の被写体はフォーカス位置近傍の被写体距離にあると判定する。

また、距離判定部１４２は、撮像画像の特性として、撮像画像の輝度値のヒストグラムの分散、および撮像画像の最大輝度値と最小輝度値との差の双方を用いて、被写体距離を判定するものとしてもよい。具体的には、距離判定部１４２は、まず、撮像画像の輝度値のヒストグラムを求め、そのヒストグラムの分散を算出し、かつ、撮像画像の最大輝度値と最小輝度値との差を算出する。距離判定部１４２は、分散が第１閾値未満、かつ、差が第３閾値未満である場合、撮像画像の被写体はフォーカス位置より撮像装置１から遠い被写体距離にあると判定する。また、距離判定部１４２は、分散が第２閾値以上、かつ、差が第４閾値以上である場合、撮像画像の被写体はフォーカス位置より撮像装置１に近い被写体距離にあると判定する。そして、距離判定部１４２は、分散が第１閾値以上第２閾値未満、または、差が第３閾値以上第４閾値未満である場合、撮像画像の被写体はフォーカス位置近傍の被写体距離にあると判定する。

また、上述のように、距離判定部１４２による被写体距離の判定は、３種類の距離領域のいずれに属するかについて判定するものだが、これに限定されるものではなく、２種類または４種類以上の距離領域のいずれに属するか判定するものとしてもよい。

また、距離判定部１４２は、撮像画像の輝度値についてのヒストグラム、または、最大輝度値と最小輝度値との差に基づいて、被写体距離を判定するものとしたが、これに限定されるものではない。例えば、距離判定部１４２は、撮像画像の特性としての、撮像画像のコントラスト、すなわち、上述の図９〜１１に示すような撮像画像の空間周波数に対するＭＴＦのグラフに基づいて、被写体距離を判定するものとしてもよい。例えば、図９に示すように、フォーカス位置より撮像装置１に近い被写体距離３５０［ｍｍ］のＭＴＦのグラフでは、低周波数側の空間周波数（例えば、１０［ｍｍ^−１］）のＭＴＦが高く、高周波数側の空間周波数（例えば、５０［ｍｍ^−１］）のＭＴＦが低いという傾向がある。また、図１０および１１に示すように、フォーカス位置の被写体距離４００［ｍｍ］のＭＴＦのグラフ、および、フォーカス位置より撮像装置１から遠い被写体距離４７０［ｍｍ］のＭＴＦグラフでは、低周波数側の空間周波数のＭＴＦと、高周波数側の空間周波数のＭＴＦとの差があまり変わらない。しかし、フォーカス位置より撮像装置１から遠い被写体距離４７０［ｍｍ］のＭＴＦグラフの方が、フォーカス位置の被写体距離４００［ｍｍ］のＭＴＦのグラフよりも、全体としてＭＴＦが低い（例えば、ＭＴＦの平均値が低い）という傾向がある。距離判定部１４２は、このようなそれぞれの被写体距離に対応したＭＴＦのグラフに基づいて、被写体距離を判定することもできる。具体的には、例えば、距離判定部１４２は、まず、低周波数側の所定の空間周波数のＭＴＦと、高周波数側の所定の空間周波数のＭＴＦとの差を求め、その差が所定の閾値以上である場合、撮像画像の被写体はフォーカス位置より撮像装置１に近い被写体距離にあると判定する。また、距離判定部１４２は、求めた差が所定の閾値未満である場合、撮像画像の被写体はフォーカス位置近傍の被写体距離、または、フォーカス位置より撮像装置１から遠い被写体距離であると判定する。さらに、距離判定部１４２は、ＭＴＦの平均値が所定の閾値以上である場合、撮像画像の被写体はフォーカス位置近傍の被写体距離にあると判定し、閾値未満である場合、フォーカス位置より撮像装置１から遠い被写体距離にあると判定する。

また、上述においては、距離判定部１４２は、撮像画像全体の特性に基づいて、被写体距離を判定するものとしたが、これに限定されるものではない。例えば、距離判定部１４２は、撮像画像を複数に分割し、分割した部分画像の上述のような特性に基づいて、部分画像ごとに、部分画像に含まれる被写体の被写体距離を判定するものとしてもよい。

選択部１４４は、距離判定部１４２により判定された被写体距離の情報を受け取り、その被写体距離に対応した逆変換フィルタを、記憶部１４３に予め記憶された逆変換フィルタから選択して抽出する。選択部１４４は、選択した逆変換フィルタの情報を、フィルタ処理部１４５に送る。そして、フィルタ処理部１４５は、画像バッファ部１４１から受け取る撮像画像に対して、選択部１４４から受け取った逆変換フィルタによって逆変換処理を実行する。

以上のように、距離判定部１４２が、撮像画像が含む被写体の被写体距離を判定し、選択部１４４が、判定された被写体距離に対応した逆変換フィルタを選択し、フィルタ処理部１４５が、選択された逆変換フィルタで撮像画像に対して逆変換処理を実行する。これによって、被写体がどのような被写体距離にあっても、撮像画像のぼけを復元することができる。

（認識処理部の動作）
認識処理部１５は、撮像素子１２により撮像された撮像画像に対して、フィルタ処理部１４５により逆変換処理が実行された画像に含まれるシンボルの認識処理を実行する。具体的には、認識処理部１５は、シンボルの認識処理として、逆変換処理後の画像に含まれるシンボルを認識し、認識したシンボルをデコードする。そして、認識処理部１５は、通信部１６を介して、デコードした情報を外部機器（例えば、図１に示すＰＣ２）に送信する。

上述のように、フィルタ処理部１４５の逆変換処理により解像度が向上した、すなわちぼけが復元された被写体に含まれるシンボルに対して認識処理が実行されるので、シンボルの認識の精度を向上させることができる。

（撮像装置の動作の全体の流れ）
図２８は、実施の形態に係る撮像装置の動作の一例を示すフローチャートである。図２８を参照しながら、撮像装置１の全体的な動作の流れについて説明する。

＜ステップＳ１１＞
レンズユニット１１は、被写体からの光を集光し、撮像素子１２に対して結像させる。この際、レンズユニット１１の位相板ＬＺ４は、レンズユニット１１に入射する光に対して収差を与える。その結果、位相板ＬＺ４は、撮像素子１２に入射される光に対して点像分布関数（ＰＳＦ）を拡散し、撮像素子１２で撮像される画像がぼけた状態とする代わりに広い深度でそのぼけが一定、すなわちＰＳＦの形が一定となるようにする。撮像素子１２は、レンズユニット１１に入射する被写体からの光を電気信号に変換することによって被写体を撮像して撮像画像を生成する。撮像素子１２は、生成した撮像画像を画像処理部１４の画像バッファ部１４１に出力する。そして、ステップＳ１２へ進む。

＜ステップＳ１２＞
画像バッファ部１４１は、バッファリングした撮像画像を、距離判定部１４２に送る。距離判定部１４２は、受け取った撮像画像の特性（輝度値についてのヒストグラムの分散、最大輝度値と最小輝度値との差、または、空間周波数に対するＭＴＦのグラフ等）に基づいて、撮像画像に含まれる被写体の被写体距離を判定する。距離判定部１４２は、判定した被写体距離の情報を、選択部１４４に送る。そして、ステップＳ１３へ進む。

＜ステップＳ１３＞
選択部１４４は、距離判定部１４２により判定された被写体距離の情報を受け取り、その被写体距離に対応した逆変換フィルタを、記憶部１４３に予め記憶された逆変換フィルタから選択して抽出する。選択部１４４は、選択した逆変換フィルタの情報を、フィルタ処理部１４５に送る。そして、ステップＳ１４へ進む。

＜ステップＳ１４＞
フィルタ処理部１４５は、画像バッファ部１４１から撮像画像を受け取り、選択部１４４から受け取った逆変換フィルタによって、撮像画像に対して逆変換処理を実行する。フィルタ処理部１４５は、逆変換処理後の画像を認識処理部１５に送る。そして、ステップＳ１５へ進む。

＜ステップＳ１５＞
認識処理部１５は、フィルタ処理部１４５により逆変換処理が実行された画像に対して、被写体におけるシンボルの認識処理を実行する。そして、ステップＳ１６へ進む。

＜ステップＳ１６＞
認識処理部１５によって、画像処理部１４から入力した画像に対してシンボルの認識処理が実行されることにより、シンボルが認識された場合、すなわち、シンボルの候補が発見された場合（ステップＳ１６：Ｙｅｓ）、ステップＳ１７へ進む。一方、シンボルが認識されない場合、すなわち、シンボルの候補が発見されなかった場合（ステップＳ１６：Ｎｏ）、動作を終了する。

＜ステップＳ１７＞
認識処理部１５によって、認識したシンボルに対してデコード処理を実行した結果、デコードが正常に完了した場合（ステップＳ１７：Ｙｅｓ）、ステップＳ１８へ進み、デコードが正常に完了できなかった場合（ステップＳ１７：Ｎｏ）、動作を終了する。

＜ステップＳ１８＞
認識処理部１５は、画像処理部１４から入力した画像に対してシンボルの認識処理を実行することにより、画像に含まれるシンボルを認識して、認識したシンボルをデコードした情報を外部機器（例えば、図１に示すＰＣ２）に送信（出力）する。

以上の流れによって、撮像装置１による被写体距離の判定、逆変換フィルタの選択、逆変換処理、およびシンボルの認識処理が実行される。なお、ステップＳ１１〜Ｓ１８の動作によって、シンボルの認識処理が正常に完了しなかった場合、正常に完了するまで所定回数繰り返すものとしてもよい。

以上のように、本実施の形態に係る撮像装置１において、レンズユニット１１は、入力する光に対してＰＳＦを拡散し、撮像素子１２で撮像される画像がぼけた状態とする代わりに広い深度でそのぼけが一定となるようにする。距離判定部１４２は、撮像素子１２により撮像された撮像画像の特性に基づいて、撮像画像が含む被写体の被写体距離を判定し、選択部１４４は、判定された被写体距離に対応した逆変換フィルタを選択する。そして、フィルタ処理部１４５は、選択部１４４により選択された逆変換フィルタで撮像画像に対して逆変換処理を実行するものとしている。これによって、被写体がどのような被写体距離にあっても、その被写体を含む撮像画像のぼけを復元することができる。また、複数の撮像手段を必要とせず、１つの撮像素子１２を用いて、撮像画像の特性に基づいて被写体距離を判定するものとしているので、撮像装置１のサイズの拡大を抑制し、コストの増加を抑制することができる。また、被写体がどのような被写体距離にあっても、その被写体を含む撮像画像のぼけを復元することができるので、認識処理部１５による被写体が含む二次元コード等のシンボルの認識精度が向上する。

なお、上述のように、距離判定部１４２は、撮像画像を複数に分割し、分割した部分画像の上述のような特性に基づいて、部分画像ごとに、部分画像に含まれる被写体の被写体距離を判定することが望ましい。これによって、１つの撮像画像に異なる被写体距離にある被写体が含まれる場合、部分画像ごとに、部分画像が含む被写体の被写体距離に応じた逆変換処理が実行されるので、撮像画像全体としてぼけを復元することが可能となる。

また、被写界深度拡張のために、上述の式（１２）に示す周波数特性Ｒに基づく逆変換フィルタによる逆変換処理を例に挙げたが、被写界深度拡張の方法はこれに限定されるものではない。すなわち、異なる逆変換フィルタによる逆変換処理、または、異なるその他の処理によって被写界深度の拡張が実現されるものとしてもよい。

また、レンズユニット１１の位相板ＬＺ４により、広い深度でぼけが一定になるようにし、フィルタ処理部１４５の逆変換処理を実行することによりそのぼけが復元されることによって被写界深度の拡張を実現するものとしているが、これに限定されるものではない。すなわち、レンズユニット１１の収差によってぼけを含む撮像画像に対して、フィルタ処理部１４５が逆変換処理を実行して復元するという動作であって、特に被写界深度を拡張するものではない場合であっても、上述の距離判定部１４２による被写体距離の判定、および選択部１４４による逆変換フィルタの選択動作によって、上述の効果を奏することが可能である。

１ 撮像装置
２ ＰＣ
３ 通信ケーブル
４ 被写体
１１ レンズユニット
１２ 撮像素子
１４ 画像処理部
１５ 認識処理部
１６ 通信部
２１ 通信部
２２ 操作部
２３ 表示部
２４ 記憶部
２５ 外部記憶装置
２６ 制御部
２７ バス
１０１ 撮像画像
１０５ 画像
１２１〜１２３ 逆変換フィルタ
１３１、１３１ａ〜１３１ｆ 対象部分画像
１３５ａ〜１３５ｆ 中央データ
１４１ 画像バッファ部
１４２ 距離判定部
１４３ 記憶部
１４４ 選択部
１４５ フィルタ処理部
２０１ 目標空間周波数特性
２０２、２０２ａ 空間周波数特性
２０３、２０３ａ 空間周波数特性
５００ 撮像システム
Ａ フレーム開始期間
Ｂ 水平ブランキング期間
Ｂ１、Ｂ２＿Ｓ、Ｂ２＿Ｔ グラフ
Ｃ フレーム終了期間
Ｄ 垂直ブランキング期間
Ｇ１、Ｇ２＿Ｓ、Ｇ２＿Ｔ グラフ
ＬＺ１〜ＬＺ３ レンズ
ＬＺ４ 位相板
ＬＺ５〜ＬＺ７ レンズ
Ｒ１、Ｒ２＿Ｓ、Ｒ２＿Ｔ グラフ
ＳＢ 絞り
Ｔ 有効データ期間

特開２０１３−１６２３６９号公報

Claims (11)

1. 入射した光に収差を与える光学系と、
   前記光学系を通過した前記光を画素に変換して被写体の画像を撮像する１つの撮像手段と、
   前記撮像手段により撮像された撮像画像の特性に基づいて、前記被写体の被写体距離を判定する距離判定手段と、
   前記被写体距離に対応した逆変換フィルタを選択する選択手段と、
   前記選択手段により選択された前記逆変換フィルタにより、前記撮像画像における前記収差によるぼけを復元する逆変換処理を実行する逆変換手段と、
   を備えた撮像装置。
2. 前記距離判定手段は、前記撮像画像を複数の部分画像に分割し、前記部分画像ごとに、該部分画像の特性に基づいて、該部分画像が含む被写体の被写体距離を判定し、
   前記選択手段は、前記距離判定手段により判定された前記部分画像ごとの前記被写体距離に対応した前記逆変換フィルタを選択する請求項１に記載の撮像装置。
3. 前記距離判定手段は、前記撮像画像の特性として、該撮像画像の輝度値についてのヒストグラムの分散を算出し、前記分散に基づいて、前記被写体距離を判定する請求項１または２に記載の撮像装置。
4. 前記距離判定手段は、前記撮像画像の特性として、該撮像画像の最大輝度値と最小輝度値との差を算出し、前記差に基づいて、前記被写体距離を判定する請求項１〜３のいずれか一項に記載の撮像装置。
5. 前記距離判定手段は、前記撮像画像の特性として、該撮像画像のコントラストに基づいて、前記被写体距離を判定する請求項１または２に記載の撮像装置。
6. 前記被写体距離に対応した前記逆変換フィルタを記憶する記憶手段を、さらに備えた請求項１〜５のいずれか一項に記載の撮像装置。
7. 前記逆変換フィルタは、前記被写体距離に応じた前記被写体の理想画像の画素の周波数特性と、前記逆変換手段により前記逆変換処理が実行された画像の画素の周波数特性との平均二乗誤差を最小にするフィルタである請求項１〜６のいずれか一項に記載の撮像装置。
8. 前記光学系は、所定の深度で前記ぼけが一定となるような前記収差を与え、
   前記逆変換手段は、前記収差による一定の前記ぼけを復元する前記逆変換フィルタにより前記逆変換処理を実行することによって被写界深度を拡張する請求項１〜７のいずれか一項に記載の撮像装置。
9. 前記逆変換手段により前記逆変換処理が実行された画像に対して、シンボルを認識する認識処理手段をさらに備えた請求項１〜８のいずれか一項に記載の撮像装置。
10. 請求項１〜８のいずれか一項に記載の撮像装置と、
    前記逆変換手段により前記逆変換処理が実行された画像に対して、シンボルを認識する認識処理手段と、
    を備えた撮像システム。
11. 光学系により入射した光に収差を与える光学処理ステップと、
    １つの撮像手段により前記光学系を通過した前記光を画素に変換して被写体の画像を撮像する撮像ステップと、
    撮像した撮像画像の特性に基づいて、前記被写体の被写体距離を判定する距離判定ステップと、
    前記被写体距離に対応した逆変換フィルタを選択する選択ステップと、
    選択した前記逆変換フィルタにより、前記撮像画像における前記収差によるぼけを復元する逆変換処理を実行する逆変換ステップと、
    を有する撮像方法。