JP6291795B2 - 撮像システムおよび撮像方法 - Google Patents

Description

本発明は、撮像システムおよび撮像方法に関する。

近年、情報のデジタル化の発展に伴い、撮像装置の分野においてもデジタル化の発展が著しい。特に、デジタルカメラに代表される撮像装置において、撮像面は従来のフィルムに置き換わって固体撮像素子が使用されている。固体撮像素子（以下、単に撮像素子という）として、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサまたはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ等が使用されている。

このような撮像素子を使用した撮像装置は、被写体からの光を光学系によって取り込み、撮像素子によって光を電気信号に変換して抽出する。このような撮像装置として、デジタルカメラの他、ビデオカメラ、バーコードリーダ、携帯電話機、携帯情報端末（ＰＤＡ：Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）および産業用カメラ等が挙げられる。

また、上述のような撮像装置においては、光学系によって、被写界深度を拡張するいわゆる被写界深度拡張カメラ（ＥＤｏＦ：Ｅｘｔｅｎｄｅｄ Ｄｅｐｔｈ ｏｆ Ｆｉｅｌｄ）がある。被写界深度とは、カメラのレンズからある距離にある被写体に対して、焦点が合っていると許容できるレンズの光軸方向の距離範囲のことをいう。

このような、光学系によってぼけた画像に対して、ぼけを補正する撮像装置として、復元処理によって補正することにより、解像度を上昇させる装置が提案されている（特許文献１）。復元処理は、例えば、光学系によってぼけた画像を形成する各画素の画素値に対して、逆変換フィルタによるフィルタ処理を施すことにより画像のぼけを補正することによって実現される。

しかしながら、復元処理においては、解像度の上昇とノイズ量の低減とはトレードオフの関係にある。したがって、特許文献１に記載された撮像装置は、復元処理により解像度を上昇させることはできるが、その分ノイズ量も増加することになる。よって、復元処理された画像に複数の種類の認識処理を実行する場合に、それぞれの認識処理に応じた最適な解像度とノイズ量との組み合わせに調整することまでは実施することが困難であるという問題点があった。

本発明は、上記に鑑みてなされたものであって、複数種類の認識処理に応じて、異なる逆変換フィルタにより画像を復元処理することができる撮像システムおよび撮像方法を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る撮像システムは、入射した光に収差を与える光学系と、前記光学系を通過した前記光を画素に変換して画像を撮像する撮像手段と、前記撮像手段により撮像された撮像画像に対して、前記収差を復元する予め定まった逆変換フィルタによって復元処理を実行する逆変換手段と、前記復元処理後の復元画像に対して異なる認識処理を実行する複数の認識処理手段と、前記逆変換手段から出力された前記復元画像を前記複数の認識処理手段のいずれかに入力するように切り替えるスイッチング手段と、前記逆変換手段に対して、前記スイッチング手段により前記復元画像が入力するように切り替えられた前記認識処理手段の前記認識処理に応じた前記逆変換フィルタに切り替えるフレーム制御手段と、を備え、前記逆変換手段は、前記複数の認識処理手段のうち、前記スイッチング手段により前記復元画像が入力するように切り替えられた前記認識処理手段の前記認識処理に応じて、前記フレーム制御手段により切り替えらえた前記逆変換フィルタにより周波数特性の異なる前記復元画像を生成することを特徴とする。

本発明によれば、複数種類の認識処理に応じて、異なる逆変換フィルタにより画像を復元処理することができる。

図１は、第１の実施の形態の撮像システムの全体構成の一例を示す図である。 図２は、第１の実施の形態の情報処理装置の構成の一例を示す図である。 図３は、第１の実施の形態の撮像装置の構成の一例を示す図である。 図４は、第１の実施の形態の撮像装置の画像処理部の構成の一例を示す図である。 図５は、撮像素子によって検出される画像の一例を示す図である。 図６は、画像バッファ部の構成の一例を示す図である。 図７は、撮像素子から出力される画素が画像バッファ部に入力される動作を示すタイミングチャートである。 図８は、フィルタ処理部の構成の一例を示す図である。 図９は、逆変換フィルタの構成の一例を示す図である。 図１０は、画像を逆変換フィルタによってフィルタ処理することを説明する図である。 図１１は、画像において逆変換フィルタのフィルタ処理の対象となる対象部分画像をスキャンする動作を説明する図である。 図１２は、フィルタ処理部の逆変換フィルタを決定するための周波数特性を演算する流れを示すフローチャートである。 図１３は、光学系を通過した光によって検出された画像の空間周波数特性を示す図である。 図１４は、復元処理が行われた画像の空間周波数特性を示す図である。 図１５は、第１の実施の形態の変形例に係る撮像装置において等角直線フィッティングによりサブピクセル位置推定を行う場合を説明する図である。 図１６は、第１の実施の形態の変形例に係る撮像装置においてパラボラフィッティングによりサブピクセル位置推定を行う場合を説明する図である。 図１７は、第２の実施の形態の撮像装置の構成の一例を示す図である。 図１８は、第２の実施の形態の撮像装置の画像処理部の構成の一例を示す図である。

以下に、図面を参照しながら、本発明に係る撮像システムおよび撮像方法の実施の形態を詳細に説明する。また、以下の実施の形態によって本発明が限定されるものではなく、以下の実施の形態における構成要素には、当業者が容易に想到できるもの、実質的に同一のもの、およびいわゆる均等の範囲のものが含まれる。さらに、以下の実施の形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換および変更を行うことができる。

（第１の実施の形態）
＜撮像システムの全体構成＞
図１は、第１の実施の形態の撮像システムの全体構成の一例を示す図である。図１を参照しながら、本実施の形態の撮像システム５００の構成について説明する。

図１に示すように、本実施の形態の撮像システム５００は、撮像装置１と、ＰＣ２と、を備えている。撮像装置１とＰＣ２とは、Ｅｔｈｅｒｎｅｔ（登録商標）ケーブル等の通信ケーブル３によって通信可能に接続されている。

撮像装置１は、被写体４から出る光を電気信号に変換することによって被写体４を撮像し、画像の情報（以下、単に画像という）にして通信ケーブル３を介してＰＣ２へ送信する。ＰＣ２は、撮像装置１から受信した画像に対して所定の処理を実行する。

例えば、撮像装置１は、生産ラインを流れる製品に添付されたバーコードを撮像して、バーコードの画像をＰＣ２に送信する。ＰＣ２は、受信した画像からバーコードの情報を読み出して解析する。

なお、図１に示すように、撮像システム５００は、撮像装置１とＰＣ２とが通信ケーブル３を介してデータを通信する有線通信方式のシステムとしているが、これに限定されるものではない。例えば、撮像装置１とＰＣ２とは、Ｗｉ−Ｆｉ（登録商標）（ＷｉｒｅｌｅｓｓＦｉｄｅｌｉｔｙ）等の無線通信方式によって互いにデータが通信可能であってもよい。

＜情報処理装置の構成＞
図２は、第１の実施の形態の情報処理装置の構成の一例を示す図である。図２を参照しながら、情報処理装置の一例であるＰＣ２の構成について説明する。

図２に示すように、情報処理装置の一例であるＰＣ２は、通信部２１と、操作部２２と、表示部２３と、記憶部２４と、外部記憶装置２５と、制御部２６と、を備えている。上記の各部は、バス２７によって接続され、互いにデータの送受信が可能となっている。

通信部２１は、通信ケーブル３を介して、撮像装置１と通信する装置である。通信部２１は、例えば、ＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）等の通信装置によって実現される。通信部２１の通信プロトコルは、例えば、ＴＣＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ）／ＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）またはＵＤＰ（Ｕｓｅｒ Ｄａｔａｇｒａｍ Ｐｒｏｔｏｃｏｌ）／ＩＰ等である。

操作部２２は、ユーザによって制御部２６に対して所定の処理を実行させるための操作入力を行う装置である。操作部２２は、例えば、マウス、キーボード、テンキー、タッチパッドまたはタッチパネルにおける操作入力機能によって実現される。

表示部２３は、制御部２６により実行されているアプリケーション画像等を表示する装置である。表示部２３は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ、液晶ディスプレイ、プラズマディスプレイまたは有機ＥＬ（Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等によって実現される。

記憶部２４は、ＰＣ２で実行される各種プログラムおよびＰＣ２で行われる各種処理に使用されるデータ等を記憶する装置である。記憶部２４は、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）およびＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の記憶装置によって実現される。

外部記憶装置２５は、画像、プログラムおよびフォントデータ等を蓄積して記憶する記憶装置である。外部記憶装置２５は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、光ディスク、または光磁気ディスク（ＭＯ：Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ Ｄｉｓｋ）等の記憶装置によって実現される。

制御部２６は、ＰＣ２の各部の動作を制御する装置である。制御部２６は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）およびＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等で実現される。

＜撮像装置の構成＞
図３は、第１の実施の形態の撮像装置の構成の一例を示す図である。図３を参照しながら、本実施の形態の撮像装置１の構成について説明する。

図３に示すように、撮像装置１は、レンズユニット１１（光学系）と、撮像素子１２（撮像手段）と、画像処理部１４と、認識処理部１５ａ〜１５ｃ（認識処理手段）と、通信部１６と、を備えている。

レンズユニット１１は、被写体４から出る光を集光し、撮像素子１２に対して結像させるユニットである。レンズユニット１１は、１枚以上のレンズで構成された光学系によって実現される。レンズユニット１１は、位相板１１ａと、絞り１１ｂとを備えている。被写体４は、例えば、人物、車両、道路、被監視物、バーコード、２次元または文字列等である。

位相板１１ａは、レンズユニット１１に入射する光に対して収差を与える作用を有する。その結果、位相板１１ａは、撮像素子１２に入射される光に対して点像分布関数を付加する作用を奏し、撮像素子１２で撮像される画像がぼけた状態にすると共に、広い被写界深度でそのぼけが一定となるようにする。

絞り１１ｂは、レンズユニット１１に入射する光の量を自在に調整する部材であり、位相板１１ａの近傍に配置されている。

撮像素子１２は、レンズユニット１１に入射する被写体からの光を電気信号に変換することにより、被写体４を撮像して画像を生成する固体撮像素子である。撮像素子１２は、固体撮像素子を構成する各検出素子によって撮像した画像を構成する画素を出力する。撮像素子１２は、例えば、ＣＣＤセンサまたはＣＭＯＳセンサ等によって実現される。

画像処理部１４は、撮像素子１２から出力される画像に対して復元処理を実行する装置である。後述するように、画像処理部１４は、フィルタ係数の異なる複数の逆変換フィルタにより復元処理を実行し、復元処理が施された画像をそれぞれ出力する。

認識処理部１５ａ〜１５ｃは、画像処理部１４から出力されたそれぞれの画像から、所定の対象物を認識する認識処理を実行する装置である。以下、認識処理部１５ａ〜１５ｃを、区別なく呼称する場合または総称する場合、単に認識処理部１５というものとする。所定の対象物とは、例えば、画像上の人物、車両または道路上の白線等である。なお、図３においては、撮像装置１が、３つの認識処理部１５（１５ａ〜１５ｃ）を備えるものとしているが、２つまたは４つ以上の認識処理部１５を備えるものとしてもよい。また、認識処理部１５は、プログラムであるソフトウェアによって実現されてもよく、あるいは、ハードウェア回路によって実現されてもよい。

通信部１６は、通信ケーブル３を介して、ＰＣ２と通信する装置である。通信部１６は、例えば、認識処理部１５から出力される画像をＰＣ２に対して送信する。通信部１６は、例えば、ＮＩＣ等の通信装置によって実現される。通信部１６の通信プロトコルは、例えば、ＴＣＰ／ＩＰまたはＵＤＰ／ＩＰ等である。

＜画像処理部の構成および動作＞
図４は、第１の実施の形態の撮像装置の画像処理部の構成の一例を示す図である。図５は、撮像素子によって検出される画像の一例を示す図である。図４を参照しながら、本実施の形態の撮像装置１の画像処理部１４の構成について説明する。

撮像素子１２は、上述のように、レンズユニット１１に入射する被写体からの光を電気信号に変換することにより被写体４を撮像し、画像を生成する固体撮像素子である。以下、撮像素子１２は、ＶＧＡの画像を形成して出力するものとして説明する。具体的には、撮像素子１２は、図５に示すように、Ｘ方向に６４０個、Ｙ方向に４８０個の検出素子によって、６４０×４８０のマトリックス状に配列された画素で構成される画像である検出画像１０１を検出する。

なお、撮像素子１２が検出する画像の大きさは６４０×４８０のＶＧＡの画像であるものとしたが、これに限定されるものではなく、異なる大きさの画像であってもよい。

図４に示すように、本実施の形態の画像処理部１４は、画像バッファ部１４１と、フィルタ処理部１４３ａ〜１４３ｃ（逆変換手段）とを備えている。

画像バッファ部１４１は、撮像素子１２から出力される画素を順に入力してバッファリングする装置である。画像バッファ部１４１の具体的な構成および動作については、図６および７において後述する。

フィルタ処理部１４３ａ〜１４３ｃは、画像バッファ部１４１から出力される画素に対して、フィルタ回路によって、所定のフィルタ処理（復元処理）を行う。本実施の形態においては、復元処理に使用するフィルタとして、位相板１１ａの作用によって点像分布関数を与えられたぼけた画像に対して、ぼけを補正する逆変換処理をするための逆変換フィルタを例に説明する。フィルタ処理部１４３の具体的な構成および動作については、図８〜１１において後述する。以下、フィルタ処理部１４３ａ〜１４３ｃを、区別なく呼称する場合または総称する場合、単にフィルタ処理部１４３というものとする。なお、図４においては、撮像装置１が、３つのフィルタ処理部１４３（１４３ａ〜１４３ｃ）を備えるものとしているが、認識処理部１５の数に応じて、２つまたは４つ以上のフィルタ処理部１４３を備えるものとしてもよい。

＜＜画像バッファ部１４１の構成および動作＞＞
図６は、画像バッファ部の構成の一例を示す図である。図７は、撮像素子から出力される画素が画像バッファ部に入力される動作を示すタイミングチャートである。図６および７を参照しながら、画像処理部１４の画像バッファ部１４１の構成および動作について説明する。

画像バッファ部１４１は、図６に示すように、レジスタ１４１１ａ〜１４１１ｄと、ラインバッファ１４１２ａ〜１４１２ｄと、を備えている。画像バッファ部１４１は、撮像素子１２から出力される画素を入力部１４１０から入力し、バッファリングした画素を出力部１４１３ａ〜１４１３ｅから出力する。撮像素子１２によって検出される画像の６４０×４８０の各画素について、Ｘ方向のＸ番目およびＹ方向のＹ番目の画素を（Ｘ，Ｙ）の画素というものとする。

図６に示すように、レジスタ１４１１ａの入力側は、入力部１４１０および出力部１４１３ａに接続されている。レジスタ１４１１ａ〜１４１１ｄの出力側は、それぞれラインバッファ１４１２ａ〜１４１２ｄの入力側に接続されている。ラインバッファ１４１２ａ〜１４１２ｃの出力側は、それぞれレジスタ１４１１ｂ〜１４１１ｄの入力側に接続されている。そして、ラインバッファ１４１２ａ〜１４１２ｄの出力側は、それぞれ出力部１４１３ｂ〜１４１３ｅに接続されている。

次に、図７を参照しながら、撮像素子１２によって検出された画像の出力動作について説明する。撮像素子１２は、検出した画素をＸ方向の１水平ラインずつ走査しながら、その１水平ラインに含まれる画素を出力する。具体的には、撮像素子１２は、Ｙ方向の１番目の水平ラインに含まれる画素を、Ｘ方向の１番目の画素から６４０番目の画素まで順に出力する。撮像素子１２は、上記の動作を、Ｙ方向の４８０番目までの水平ラインに含まれる画素の出力をそれぞれ行う。

上述の動作を図７に示すタイミングチャートに基づいて説明する。図７に示すように、撮像素子１２は、有効フレーム信号がオン状態のとき、１フレーム分、すなわち１画像分の画素を出力する。撮像素子１２において、有効フレーム信号がオン状態になってからフレーム開始期間Ａを経て、Ｙ方向の１番目の水平ラインの画素の出力許可を示す有効ライン信号Ｌ１がオン状態になる。撮像素子１２は、有効ライン信号Ｌ１がオン状態になっている有効データ期間Ｔの間に、Ｙ方向の１番目の水平ラインを走査し、その水平ラインに含まれるＸ方向の１〜６４０番目の画素（（１，１）〜（６４０，１）の画素）を順に出力する。撮像素子１２によってＹ方向の１番目の水平ラインの画素が出力された後、有効ライン信号Ｌ１がオフ状態になる。

撮像素子１２において、有効ライン信号Ｌ１がオフ状態になってから水平ブランキング期間Ｂを経て、Ｙ方向の２番目の水平ラインの画素の出力許可を示す有効ライン信号Ｌ２がオン状態になる。撮像素子１２は、有効ライン信号Ｌ２がオン状態になっている有効データ期間Ｔの間に、Ｙ方向の２番目の水平ラインを走査し、その水平ラインに含まれるＸ方向の１〜６４０番目の画素（（１，２）〜（６４０，２）の画素）を順に出力する。撮像素子１２によってＹ方向の２番目の水平ラインの画素が出力された後、有効ライン信号Ｌ２がオフ状態になる。

撮像素子１２は、以上の動作について、有効ライン信号Ｌ４８０がオン状態になっている有効データ期間Ｔの間に、Ｙ方向の４８０番目の水平ラインに含まれるＸ方向の１〜６４０番目の画素を出力するまで行う。撮像素子１２において、有効ライン信号Ｌ４８０がオフ状態になってからフレーム終了期間Ｃを経て、有効フレーム信号がオフ状態になる。以上の動作によって、撮像素子１２による１フレーム分の画素の出力が終了する。また、撮像素子１２において、有効フレーム信号がオフ状態になってから垂直ブランキング期間Ｄを経て、再び有効フレーム信号がオン状態になり、次の１フレーム分の画素の出力が開始される。

次に、図６を参照しながら、画像バッファ部１４１における撮像素子１２から出力される画素のバッファリング処理について説明する。画像バッファ部１４１は、撮像素子１２から出力される画素を入力部１４１０から入力する。具体的には、画像バッファ部１４１は、まず、Ｙ方向の１番目の水平ラインについて、撮像素子１２から入力した（１，１）の画素を、出力部１４１３ａから出力すると共に、レジスタ１４１１ａに格納する。

画像バッファ部１４１は、次のタイミングで、レジスタ１４１１ａに格納した画素をラインバッファ１４１２ａの記憶領域Ｂ１ａに格納する。そして、画像バッファ部１４１は、撮像素子１２から次に入力した（２，１）の画素を出力部１４１３ａから出力すると共に、レジスタ１４１１ａに格納する。

画像バッファ部１４１は、次のタイミングで、記憶領域Ｂ１ａに格納した画素をラインバッファ１４１２ａの記憶領域Ｂ２ａにシフトして格納し、レジスタ１４１１ａに格納した画素を記憶領域Ｂ１ａに格納する。そして、画像バッファ部１４１は、撮像素子１２から次に入力した（３，１）の画素を出力部１４１３ａから出力すると共に、レジスタ１４１１ａに格納する。

以上の動作を繰り返すことにより、画像バッファ部１４１は、撮像素子１２から入力したＹ方向の１番目の水平ラインの画素を出力部１４１３ａから出力する。それと共に、画像バッファ部１４１は、Ｙ方向の１番目の水平ラインの１〜６３９番目の画素をラインバッファ１４１２ａの記憶領域Ｂ６３９ａ〜Ｂ１ａにそれぞれ格納し、６４０番目の画素をレジスタ１４１１ａに格納する。

次に、画像バッファ部１４１は、ラインバッファ１４１２ａの記憶領域Ｂ１ａ〜Ｂ６３９ａに格納した画素を記憶領域Ｂ２ａ〜Ｂ６４０ａにシフトして格納し、レジスタ１４１１ａに格納した画素を記憶領域Ｂ１ａに格納する。画像バッファ部１４１は、記憶領域Ｂ６４０ａに格納した（１，１）の画素を出力部１４１３ｂから出力すると共に、レジスタ１４１１ｂに格納する。そして、画像バッファ部１４１は、Ｙ方向の２番目の水平ラインについて、撮像素子１２から入力した（１，２）の画素を出力部１４１３ａから出力すると共に、レジスタ１４１１ａに格納する。すなわち、画像バッファ部１４１は、Ｘ方向の値が同一の画素である（１，１）および（１，２）の画素を、出力部１４１３ｂおよび１４１３ａからそれぞれ出力する。

画像バッファ部１４１は、次のタイミングで、レジスタ１４１１ｂに格納した画素をラインバッファ１４１２ｂの記憶領域Ｂ１ｂに格納する。画像バッファ部１４１は、ラインバッファ１４１２ａの記憶領域Ｂ１ａ〜Ｂ６３９ａに格納した画素を記憶領域Ｂ２ａ〜Ｂ６４０ａにシフトして格納し、レジスタ１４１１ａに格納した画素を記憶領域Ｂ１ａに格納する。画像バッファ部１４１は、記憶領域Ｂ６４０ａに格納した（２，１）の画素を出力部１４１３ｂから出力すると共に、レジスタ１４１１ｂに格納する。そして、画像バッファ部１４１は、撮像素子１２から次に入力した（２，２）の画素を出力部１４１３ａから出力すると共に、レジスタ１４１１ａに格納する。

画像バッファ部１４１は、次のタイミングで、記憶領域Ｂ１ｂに格納した画素をラインバッファ１４１２ｂの記憶領域Ｂ２ｂにシフトして格納し、レジスタ１４１１ｂに格納した画素を記憶領域Ｂ１ｂに格納する。画像バッファ部１４１は、ラインバッファ１４１２ａの記憶領域Ｂ１ａ〜Ｂ６３９ａに格納した画素を記憶領域Ｂ２ａ〜Ｂ６４０ａにシフトして格納し、レジスタ１４１１ａに格納した画素を記憶領域Ｂ１ａに格納する。画像バッファ部１４１は、記憶領域Ｂ６４０ａに格納した（３，１）の画素を出力部１４１３ｂから出力すると共に、レジスタ１４１１ｂに格納する。そして、画像バッファ部１４１は、撮像素子１２から次に入力した（３，２）の画素を出力部１４１３ａから出力すると共に、レジスタ１４１１ａに格納する。

以上の動作を繰り返すことにより、画像バッファ部１４１は、撮像素子１２から入力したＹ方向の１および２番目の水平ラインの画素についてＸ方向の値が同一の画素を、出力部１４１３ａおよび１４１３ｂからそれぞれ同一のタイミングで出力する。それと共に、画像バッファ部１４１は、Ｙ方向の１番目の水平ラインの１〜６３９番目の画素をラインバッファ１４１２ｂの記憶領域Ｂ６３９ｂ〜Ｂ１ｂにそれぞれ格納し、６４０番目の画素をレジスタ１４１１ｂに格納する。さらに、画像バッファ部１４１は、Ｙ方向の２番目の水平ラインの１〜６３９番目の画素をラインバッファ１４１２ａの記憶領域Ｂ６３９ａ〜Ｂ１ａにそれぞれ格納し、６４０番目の画素をレジスタ１４１１ａに格納する。

以上の動作のように、画像バッファ部１４１は、撮像素子１２から入力した各水平ラインの画素をラインバッファ１４１２ａ〜１４１２ｄにバッファリングする。それと共に、画像バッファ部１４１は、Ｘ方向の値が同一の画素、すなわち、（Ｘ，Ｙ−４）、（Ｘ，Ｙ−３）、（Ｘ，Ｙ−２）、（Ｘ，Ｙ−１）および（Ｘ，Ｙ）の画素を、出力部１４１３ａ〜１４１３ｅからそれぞれ同一のタイミングで出力する。

なお、図６は画像バッファ部１４１の構成の一例を示すものであり、この構成に限定されるものではなく、上述した画像バッファ部１４１のバッファリング処理と同様の作用を奏する構成であればよい。

＜＜フィルタ処理部１４３の構成および動作＞＞
図８は、フィルタ処理部の構成の一例を示す図である。図９は、逆変換フィルタの構成の一例を示す図である。図１０は、画像を逆変換フィルタによってフィルタ処理することを説明する図である。図１１は、画像において逆変換フィルタのフィルタ処理の対象となる対象部分画像をスキャンする動作を説明する図である。図８〜１１を参照しながら、画像処理部１４のフィルタ処理部１４３（１４３ａ〜１４３ｃ）の構成および動作について説明する。

フィルタ処理部１４３は、図８に示すように、レジスタ１４３２ａ〜１４３２ｅ、１４３３ａ〜１４３３ｅ、１４３４ａ〜１４３４ｅ、１４３５ａ〜１４３５ｅ、１４３６ａ〜１４３６ｅおよび１４３７ａ〜１４３７ｅを備えている。フィルタ処理部１４３は、乗算器１４３８ａ〜１４３８ｅ、１４３９ａ〜１４３９ｅ、１４４０ａ〜１４４０ｅ、１４４１ａ〜１４４１ｅおよび１４４２ａ〜１４４２ｅを備えている。フィルタ処理部１４３は、加算器１４４３ａ〜１４４３ｅ、１４４４ａ〜１４４４ｅ、１４４５ａ〜１４４５ｅ、１４４６ａ〜１４４６ｅおよび１４４７ａ〜１４４７ｃを備えている。フィルタ処理部１４３ａ〜１４３ｃは、それぞれ、画像バッファ部１４１から出力される画素を入力部１４３１ａ〜１４３１ｅから入力する。そして、フィルタ処理部１４３は、入力した画素について、導出方法を後述するフィルタ係数を有する逆変換フィルタによってコンボリューション演算（畳み込み演算）を行い、演算値を出力部１４４８から出力する。

乗算器１４３８ａ〜１４３８ｅ、１４３９ａ〜１４３９ｅ、１４４０ａ〜１４４０ｅ、１４４１ａ〜１４４１ｅおよび１４４２ａ〜１４４２ｅは、入力側から入力される画素の値とフィルタ係数との乗算値を出力する回路である。具体的には、乗算器１４３８ａ〜１４４２ａは、それぞれフィルタ係数ａ５５〜ａ５１と画素との乗算値を出力する。乗算器１４３８ｂ〜１４４２ｂは、それぞれフィルタ係数ａ４５〜ａ４１と画素との乗算値を出力する。乗算器１４３８ｃ〜１４４２ｃは、それぞれフィルタ係数ａ３５〜ａ３１と画素との乗算値を出力する。乗算器１４３８ｄ〜１４４２ｄは、それぞれフィルタ係数ａ２５〜ａ２１と画素との乗算値を出力する。乗算器１４３８ｅ〜１４４２ｅは、それぞれフィルタ係数ａ１５〜ａ１１と画素との乗算値を出力する。加算器１４４３ａ〜１４４３ｅ、１４４４ａ〜１４４４ｅ、１４４５ａ〜１４４５ｅ、１４４６ａ〜１４４６ｅ、ならびに１４４７ａおよび１４４７ｃは、入力側から入力される２つのデータの値の加算値を出力する回路である。加算器１４４７ｂは、入力側から入力される３つのデータの値の加算値を出力する回路である。

図８に示すように、入力部１４３１ａ〜１４３１ｅは、それぞれレジスタ１４３２ａ〜１４３２ｅの入力側に接続されている。レジスタ１４３２ａ〜１４３７ａは、直列に接続している。レジスタ１４３２ｂ〜１４３７ｂ、１４３２ｃ〜１４３７ｃ、１４３２ｄ〜１４３７ｄおよび１４３２ｅ〜１４３７ｅのそれぞれについても同様である。

入力部１４３１ａ〜１４３１ｅは、それぞれ乗算器１４３８ａ〜１４３８ｅの入力側に接続されている。レジスタ１４３２ａ〜１４３５ａの出力側は、それぞれ乗算器１４３９ａ〜１４４２ａの入力側に接続されている。レジスタ１４３２ｂ〜１４３５ｂと乗算器１４３９ｂ〜１４４２ｂとの接続関係、レジスタ１４３２ｃ〜１４３５ｃと乗算器１４３９ｃ〜１４４２ｃとの接続関係、レジスタ１４３２ｄ〜１４３５ｄと乗算器１４３９ｄ〜１４４２ｄとの接続関係、およびレジスタ１４３２ｅ〜１４３５ｅと乗算器１４３９ｅ〜１４４２ｅとの接続関係もそれぞれ同様である。

乗算器１４３８ａ〜１４３８ｅの出力側は、それぞれ加算器１４４３ａ〜１４４３ｅの入力側に接続されている。加算器１４４３ａ〜１４４６ａは、直列に接続している。加算器１４４３ｂ〜１４４６ｂ、１４４３ｃ〜１４４６ｃ、１４４３ｄ〜１４４６ｄおよび１４４３ｅ〜１４４６ｅのそれぞれについても同様である。

乗算器１４３９ａ〜１４４２ａの出力側は、それぞれ加算器１４４３ａ〜１４４６ａの入力側に接続されている。乗算器１４３９ｂ〜１４４２ｂと加算器１４４３ｂ〜１４４６ｂとの接続関係、乗算器１４３９ｃ〜１４４２ｃと加算器１４４３ｃ〜１４４６ｃとの接続関係、乗算器１４３９ｄ〜１４４２ｄと加算器１４４３ｄ〜１４４６ｄとの接続関係、および乗算器１４３９ｅ〜１４４２ｅと加算器１４４３ｅ〜１４４６ｅとの接続関係もそれぞれ同様である。

加算器１４４６ａおよび１４４６ｂの出力側は、加算器１４４７ａの入力側に接続されている。加算器１４４６ｄおよび１４４６ｅの出力側は、加算器１４４７ｃの入力側に接続されている。加算器１４４６ｃ、１４４７ａおよび１４４７ｃの出力側は、加算器１４４７ｂの入力側に接続されている。加算器１４４７ｂの出力側は、出力部１４４８に接続されている。

次に、図８〜１１を参照しながら、フィルタ処理部１４３における逆変換処理（復元処理）について説明する。復元処理に使用されるフィルタは、図９に示すように、上述したフィルタ係数ａ１１〜ａ１５、ａ２１〜ａ２５、ａ３１〜ａ３５、ａ４１〜ａ４５およびａ５１〜ａ５５によって構成されるタップ数が５×５の線形フィルタである逆変換フィルタ１２１である。逆変換フィルタ１２１による復元処理の対象となる画像の部分を、図１０に示す対象部分画像１３１であるものとする。対象部分画像１３１は、画素Ａ１１〜Ａ１５、Ａ２１〜Ａ２５、Ａ３１〜Ａ３５、Ａ４１〜Ａ４５およびＡ５１〜Ａ５５によって構成された５×５の部分画像である。

レジスタ１４３２ａ〜１４３２ｅ、１４３３ａ〜１４３３ｅ、１４３４ａ〜１４３４ｅ、１４３５ａ〜１４３５ｅ、１４３６ａ〜１４３６ｅおよび１４３７ａ〜１４３７ｅには、データが格納されていない状態、すなわち、０の値が格納された状態であるものとする。フィルタ処理部１４３は、入力部１４３１ａ〜１４３１ｅから対象部分画像１３１の画素Ａ５１、Ａ４１、Ａ３１、Ａ２１およびＡ１１を入力し、それぞれレジスタ１４３２ａ〜１４３２ｅに格納すると共に、乗算器１４３８ａ〜１４３８ｅに入力させる。乗算器１４３８ａ〜１４３８ｅは、それぞれのフィルタ係数であるａ５５、ａ４５、ａ３５、ａ２５およびａ１５と、それぞれ入力した画素Ａ５１、Ａ４１、Ａ３１、Ａ２１およびＡ１１との乗算値を出力する。乗算器１４３８ａ〜１４３８ｅによって演算された乗算値は、加算器１４４７ａ〜１４４７ｃによって加算される。加算値は、加算器１４４７ｂから出力され、出力部１４４８からフィルタ処理部１４３の外部に出力される。

フィルタ処理部１４３は、次のタイミングで、レジスタ１４３２ａ〜１４３２ｅに格納した画素Ａ５１、Ａ４１、Ａ３１、Ａ２１およびＡ１１を、それぞれレジスタ１４３３ａ〜１４３３ｅにシフトして格納し、乗算器１４３９ａ〜１４３９ｅに入力させる。フィルタ処理部１４３は、入力部１４３１ａ〜１４３１ｅから対象部分画像１３１の画素Ａ５２、Ａ４２、Ａ３２、Ａ２２およびＡ１２を入力し、それぞれレジスタ１４３２ａ〜１４３２ｅに格納すると共に、乗算器１４３８ａ〜１４３８ｅに入力させる。乗算器１４３９ａ〜１４３９ｅは、それぞれのフィルタ係数であるａ５４、ａ４４、ａ３４、ａ２４およびａ１４と、それぞれ入力した画素Ａ５１、Ａ４１、Ａ３１、Ａ２１およびＡ１１との乗算値を出力する。乗算器１４３８ａ〜１４３８ｅは、それぞれのフィルタ係数であるａ５５、ａ４５、ａ３５、ａ２５およびａ１５と、それぞれ入力した画素Ａ５２、Ａ４２、Ａ３２、Ａ２２およびＡ１２との乗算値を出力する。乗算器１４３９ａ〜１４３９ｅによって演算された乗算値、および乗算器１４３８ａ〜１４３８ｅによって演算された乗算値は、加算器１４４３ａ〜１４４３ｅおよび１４４７ａ〜１４４７ｃによって加算される。加算値は、加算器１４４７ｂから出力され、出力部１４４８からフィルタ処理部１４３の外部に出力される。

そして、以上の動作が繰り返された結果、レジスタ１４３２ａ〜１４３６ａ、１４３２ｂ〜１４３６ｂ、１４３２ｃ〜１４３６ｃ、１４３２ｄ〜１４３６ｄおよび１４３２ｅ〜１４３６ｅに、それぞれ画素Ａ５５〜Ａ５１、Ａ４５〜Ａ４１、Ａ３５〜Ａ３１、Ａ２５〜Ａ２１およびＡ１５〜Ａ１１が格納されたものとする。また、乗算器１４３８ａ〜１４４２ａ、１４３８ｂ〜１４４２ｂ、１４３８ｃ〜１４４２ｃ、１４３８ｄ〜１４４２ｄおよび１４３８ｅ〜１４４２ｅに、それぞれ画素Ａ５５〜Ａ５１、Ａ４５〜Ａ４１、Ａ３５〜Ａ３１、Ａ２５〜Ａ２１およびＡ１５〜Ａ１１が入力されたものとする。乗算器１４４２ａ〜１４４２ｅは、それぞれのフィルタ係数であるａ５１、ａ４１、ａ３１、ａ２１およびａ１１と、それぞれ入力した画素Ａ５１、Ａ４１、Ａ３１、Ａ２１およびＡ１１との乗算値を出力する。乗算器１４４１ａ〜１４４１ｅは、それぞれのフィルタ係数であるａ５２、ａ４２、ａ３２、ａ２２およびａ１２と、それぞれ入力した画素Ａ５２、Ａ４２、Ａ３２、Ａ２２およびＡ１２との乗算値を出力する。乗算器１４４０ａ〜１４４０ｅは、それぞれのフィルタ係数であるａ５３、ａ４３、ａ３３、ａ２３およびａ１３と、それぞれ入力した画素Ａ５３、Ａ４３、Ａ３３、Ａ２３およびＡ１３との乗算値を出力する。乗算器１４３９ａ〜１４３９ｅは、それぞれのフィルタ係数であるａ５４、ａ４４、ａ３４、ａ２４およびａ１４と、それぞれ入力した画素Ａ５４、Ａ４４、Ａ３４、Ａ２４およびＡ１４との乗算値を出力する。乗算器１４３８ａ〜１４３８ｅは、それぞれのフィルタ係数であるａ５５、ａ４５、ａ３５、ａ２５およびａ１５と、それぞれ入力した画素Ａ５５、Ａ４５、Ａ３５、Ａ２５およびＡ１５との乗算値を出力する。

乗算器１４３８ａ〜１４３８ｅ、１４３９ａ〜１４３９ｅ、１４４０ａ〜１４４０ｅ、１４４１ａ〜１４４１ｅおよび１４４２ａ〜１４４２ｅによって演算された乗算値は、図８に示す全ての加算器によって加算される。加算値は、加算器１４４７ｂから出力され、出力部１４４８からフィルタ処理部１４３の外部に出力される。この加算値は、図１０に示すように、対象部分画像１３１に対して逆変換フィルタ１２１によりコンボリューション演算した値、すなわち、式（１）で表される演算値と同一である。コンボリューション演算の演算値は、対象部分画像１３１の中央に位置する画素である中央データに対して復元処理を実行した値となる。すなわち、コンボリューションの演算値は、復元処理後の画像（復元画像）において、復元処理前の画像の中央データに相当する位置の画素となる。

次に、フィルタ処理部１４３の復元処理について、図１１を参照しながら、画像１０５においてＸ方向の水平ラインを走査しながら復元処理をする動作の概略を説明する。図１１（ａ）は、フィルタ処理部１４３が、画像１０５における（１，１）の画素に対して逆変換フィルタ１２１によって逆変換処理をする状態を示している。図１１（ａ）に示すように、（１，１）の画素を中央データ１３５ａとしてコンボリューション演算するためには、（１，１）の画素を中央データとする対象部分画像１３１ａと、画像１０５とが重複している部分の画素が必要になる。すなわち、対象部分画像１３１ａのうち、図１０に示す対象部分画像１３１の画素Ａ３３〜Ａ３５、Ａ４３〜Ａ４５およびＡ５３〜Ａ５５に相当する画素が必要である。

そのためは、画素Ａ３３〜Ａ３５、Ａ４３〜Ａ４５およびＡ５３〜Ａ５５に相当する画素が、画像バッファ部１４１の出力部１４１３ａ〜１４１３ｃから出力されている必要がある。さらに、画素Ａ３５〜Ａ３３、Ａ４５〜Ａ４３およびＡ５５〜Ａ５３に相当する画素が、フィルタ処理部１４３のレジスタ１４３２ｃ〜１４３４ｃ、１４３２ｂ〜１４３４ｂおよび１４３２ａ〜１４３４ａに格納されている必要がある。そして、対象部分画像１３１ａにおいて、画像１０５と重複していない部分の画素は「０」として取り扱うものとする。

以上の状態において、フィルタ処理部１４３は、図１０に示したコンボリューション演算と同様に、対象部分画像１３１ａに対して逆変換フィルタ１２１によってコンボリューション演算を行う。フィルタ処理部１４３は、画像１０５の対象部分画像１３１ａの中央データ１３５ａである（１，１）の画素に対してコンボリューション演算した値を、復元処理後の画像の（１，１）の画素として出力する。

次に、フィルタ処理部１４３は、図１１（ｂ）に示すように、コンボリューション演算の対象となる画素をＸ方向にひとつシフトし、対象部分画像１３１ｂの中央データ１３５ｂである（２，１）の画素に対して復元処理をする。そして、フィルタ処理部１４３は、Ｘ方向の水平ラインをシフトしながらコンボリューション演算を繰り返し、図１１（ｃ）に示すように、Ｘ方向の水平ラインの最後の画素である（６４０，１）の画素に対して復元処理をする。（６４０，１）の画素は、図１１（ｃ）に示すように、対象部分画像１３１ｃの中央データ１３５ｃである。

以上のように、フィルタ処理部１４３は、Ｘ方向の水平ラインをシフトしながらコンボリューション演算を繰り返し、水平ラインの最後の画素に対する復元処理が終了すると、Ｙ方向の次の水平ラインに対して同様に復元処理を行う。

図１１（ｄ）〜１１（ｆ）は、フィルタ処理部１４３が、画像１０５におけるＹ方向の４番目の水平ラインの画素に対して復元処理を行う状態を示している。図１１（ｄ）は、フィルタ処理部１４３が、画像１０５における（１，４）の画素に対して逆変換フィルタ１２１によって復元処理をする状態を示している。図１１（ｄ）に示すように、（１，４）の画素を中央データ１３５ｄとしてコンボリューション演算するためには、（１，４）の画素を中央データとする対象部分画像１３１ｄと、画像１０５とが重複している部分の画素が必要になる。そして、対象部分画像１３１ｄにおいて、画像１０５と重複していない部分の画素は、上述と同様に「０」として取り扱うものとする。

図１１（ｅ）は、フィルタ処理部１４３が、画像１０５における（５，４）の画素に対して逆変換フィルタ１２１によって復元処理をする状態を示している。図１１（ｅ）に示すように、（５，４）の画素を中央データ１３５ｅとする対象部分画像１３１ｅは全体が画像１０５と重複しているので、フィルタ処理部１４３は、対象部分画像１３１ｅに含まれる画素をすべて利用した復元処理が可能となる。

そして、フィルタ処理部１４３は、Ｘ方向の水平ラインをシフトしながらコンボリューション演算を繰り返し、図１１（ｆ）に示すように、Ｘ方向の水平ラインの最後の画素である（６４０，４）の画素に対して復元処理をする。（６４０，４）の画素は、図１１（ｆ）に示すように、対象部分画像１３１ｆの中央データ１３５ｆである。

以上のように、フィルタ処理部１４３は、画像１０５を構成する各画素に対して逆変換フィルタ１２１によるコンボリューション演算を行って復元処理をするので、位相板１１ａによってぼけた画像を補正し、画像の解像度を向上させることができる。

なお、上述のように、画像１０５における逆変換フィルタ１２１によるコンボリューション演算の対象となる対象部分画像について、画像１０５と重複していない部分の画素は「０」としたが、これに限定されるものではない。例えば、対象部分画像の画像１０５と重複していない部分の画素は、対象部分画像の中央データを基準にして、対象部分画像の画像１０５と重複している部分の画素を折り返した場合の画素を用いるものとしてもよい。

具体的に、図１１（ａ）の対象部分画像１３１ａを例にして説明する。対象部分画像１３１ａのそれぞれの画素の名称を、仮に図１０に示す対象部分画像１３１の画素の名称と同様とする。この場合、対象部分画像１３１ａの画像１０５と重複していない部分の画素は、画素Ａ１１〜Ａ１５、Ａ２１〜Ａ２５、Ａ３１、Ａ３２、Ａ４１、Ａ４２、Ａ５１およびＡ５２である。また、対象部分画像１３１ａの画像１０５と重複している部分の画素は、画素Ａ３３〜Ａ３５、Ａ４３〜Ａ４５およびＡ５３〜Ａ５５である。

このとき、画素Ａ３１、Ａ３２、Ａ４１、Ａ４２、Ａ５１およびＡ５２は、中央データを基準にして、対象部分画像１３１ａの画像１０５と重複している部分の画素を折り返し、それぞれ画素Ａ３５、Ａ３４、Ａ４５、Ａ４４、Ａ５５およびＡ５４の値を用いる。また、画素Ａ１３〜Ａ１５およびＡ２３〜Ａ２５は、中央データを基準にして、対象部分画像１３１ａの画像１０５と重複している部分の画素を折り返し、それぞれ画素Ａ５３〜Ａ５５およびＡ４３〜Ａ４５の値を用いる。そして、画素Ａ１１、Ａ１２、Ａ２１およびＡ２２は、中央データを基準にして、対象部分画像１３１ａの画像１０５と重複している部分の画素のうち点対象の位置関係にある画素、すなわち、それぞれＡ５５、Ａ５４、Ａ４５およびＡ４４の値を用いる。以上のような方法によって、対象部分画像の各画素を決定するものとしてもよい。

また、図９および１０に示すように、フィルタ処理部１４３が有する逆変換フィルタはタップ数が５×５のフィルタとしているが、これに限定されるものではない。すなわち、フィルタのタップ数は３×３、１５×１５または２１×２１等異なるタップ数としてもよい。この場合、フィルタのタップ数に合わせて、対象部分画像の大きさも一致させる必要がある。また、フィルタによる逆変換処理の対象となる中央データが存在するように、フィルタのタップ数は奇数である必要がある。

また、逆変換フィルタは、例えば１５×１５以上のタップ数であることが好ましい。逆変換フィルタは、タップ数が多いほど、位相板によって被写界深度が拡張されてぼけが加えられた画像に対して、ぼけを補正できる光軸上の幅を大きくすることができる。したがって、タップ数が多い逆変換フィルタを用いることによって、位相板およびレンズの被写界深度についての設計のバリエーションを増やすことができる。

＜逆変換フィルタの周波数特性の導出＞
まず、１箇所のフォーカス位置において光学系であるレンズユニット１１によって広がったスポットを一点に集まるように復元する復元処理に使用される逆変換フィルタの周波数特性の導出方法について説明する。上述の周波数特性を実現するフィルタとしては、２次元の線形フィルタかつＦＩＲ（Ｆｉｎｉｔｅ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）フィルタが好適である。

まず、撮像素子１２によって撮像された画像への光学系による影響のモデルを以下の式（２）に示す２次元のコンボリューション演算（畳み込み演算）の式によって表す。

ここで、ｉｍａｇｅ_{ｃａｐｔｕｒｅｄ}は光学系を通って検出された２次元の撮像画像の画素であり、ｉｍａｇｅ_{ｉｄｅａｌ}は被写体４そのものを示す理想画像の画素であり、ｈは光学系のＰＳＦを示す。

以下、画像処理系（撮像素子１２および画像処理部１４）に加わるノイズの影響を考慮して、復元処理後の画像の各画素と、理想画像の各画素との誤差についての平均二乗誤差を最小とする逆変換フィルタの周波数特性の導出を考える。平均二乗誤差は、以下の式（３）によって表される。

ここで、Ｅ［］は期待値（平均値）を示し、ｎは画像上の位置を示し、ｉｍａｇｅ_{ｐｒｏｃｅｓｓｅｄ}（ｎ）は、ｉｍａｇｅ_{ｃａｐｔｕｒｅｄ}に対して復元処理をした画像の画素を示す。なお、ｉｍａｇｅ_{ｃａｐｔｕｒｅｄ}は、ノイズが含まれていることを考慮する。

波形ｘ（ｎ）が持つエネルギーのｎの全領域についての総和と、波形ｘ（ｎ）のエネルギーのフーリエ変換Ｘ（ω）の全周波数成分についての総和とが等しいとするパーセバルの定理より、式（３）は、周波数領域における平均二乗誤差として以下の式（４）で表される。

ここで、ＩＭＡＧＥ_{ｉｄｅａｌ}（ω）はｉｍａｇｅ_{ｉｄｅａｌ}（ｎ）の周波数特性を示し、ＩＭＡＧＥ_{ｐｒｏｃｅｓｓｅｄ}（ω）はｉｍａｇｅ_{ｐｒｏｃｅｓｓｅｄ}（ｎ）の周波数特性を示し、ωは空間周波数を示す。

逆変換フィルタの周波数特性をＲ（ω）とすると、以下の式（５）の最小値を与える周波数特性Ｒ（ω）が最適の逆変換フィルタとなる。

ここで、ＩＭＡＧＥ_{ｃａｐｔｕｒｅｄ}（ω）は、ｉｍａｇｅ_{ｃａｐｔｕｒｅｄ}（ｎ）の周波数特性である。

式（５）において、ＩＭＡＧＥ_{ｉｄｅａｌ}（ω）＝Ｓ（ω）、およびＩＭＡＧＥ_{ｃａｐｔｕｒｅｄ}（ω）＝Ｘ（ω）とし、式（５）の最小値を求めるため、式（５）をＲ^＊によって微分すると、下記の式（６）が得られる。

ここで、Ｅ［｜Ｘ（ω）｜^２］は、ノイズを含んだ撮像画像のパワースペクトルであり、Ｅ［Ｓ（ω）・Ｘ（ω）^＊］は、ノイズを含んだ撮像画像と理想画像との相互パワースペクトルである。

式（５）の最小値を求めるため、式（６）の最右辺を０とすると下記の式（７）が得られる。

式（７）から下記の式（８）が得られる。

この式（８）に示す周波数特性Ｒ（ω）に基づく逆変換フィルタが、上述の式（３）に示す平均二乗誤差を最小とする最適のフィルタとなる。

ここで、ノイズの周波数特性をＷ（ω）とし、光学系のＰＳＦであるｈの周波数特性をＨ（ω）として、上述の式（２）を周波数空間で示すと下記の式（９）で示される。

ノイズの周波数特性Ｗ（ω）と、周波数特性Ｓ（ω）とが無相関であるとすると、Ｅ［Ｓ（ω）・Ｗ（ω）^＊］＝０であるので、上述の式（８）の右辺の分母に、式（９）を代入すると、下記の式（１０）が得られる。

同じくノイズの周波数特性Ｗ（ω）と、周波数特性Ｓ（ω）とが無相関であるとすると、Ｅ［Ｗ（ω）・Ｓ（ω）^＊］＝０およびＥ［Ｓ（ω）^＊・Ｗ（ω）］＝０であるので、上述の式（８）の右辺の分母に、式（９）を代入すると、下記の式（１１）が得られる。

上述の式（８）、（１０）および（１１）から、下記の式（１２）に示す周波数特性Ｒ（ω）が得られる。

この式（１２）に示す周波数特性Ｒ（ω）に基づく逆変換フィルタが、画像処理系のノイズを考慮した場合の上述の式（３）に示す平均二乗誤差を最小とする最適なフィルタとなる。ここで、Ｅ［｜Ｓ（ω）｜^２］は理想画像のパワースペクトルの平均値であり、Ｅ［｜Ｗ（ω）｜^２］はノイズのパワースペクトルの平均値であり、｜Ｈ（ω）｜^２は光学系の周波数特性のパワースペクトルである。

また、上述の式（１２）に示す周波数特性Ｒ（ω）を適用した場合において、復元処理後の画像の各画素と、理想画像の各画素との二乗誤差についての周波数領域における積分を取ると、下記の式（１３）が得られる。

この式（１３）の演算においては、上述のように、ノイズの周波数特性Ｗ（ω）と、周波数特性Ｓ（ω）とが無相関であることを利用している。式（１３）の最右辺の第１項は、復元処理後の画像の復元しきれなかった誤差量を示している。第２項は、ノイズによる誤差量を示している。

式（１３）の積分値が最小となるように、光学系の周波数特性Ｈ（ω）を設計することによって、上述の式（５）に示す周波数領域においての平均二乗誤差が最小となる光学系および逆変換フィルタの組み合わせを得ることができる。また、パーセバルの定理より、上述の式（３）に示す実空間における平均二乗誤差が最小となる光学系および逆変換フィルタの組み合わせを得ることができる。

ただし、上述の式（１２）に示す周波数特性Ｒ（ω）に基づく逆変換フィルタは、１箇所のフォーカス位置（すなわち１箇所の周波数特性Ｈ）において、光学系によって広がったスポットを復元することができるものである。したがって、式（１２）に示す周波数特性Ｒ（ω）に基づく逆変換フィルタは、スポットの形状が異なるその他のデフォーカス位置においては、スポットを復元するための最適なフィルタにはならない。

次に、光軸上のあるデフォーカス位置範囲内において光学系であるレンズユニット１１によって広がったスポットを復元する復元処理に使用される逆変換フィルタの周波数特性の導出方法について説明する。これによって、１箇所のフォーカス位置における最適な逆変換フィルタではなく、複数の位置において最適な逆変換フィルタを求めることができる。

まず、２箇所のデフォーカス位置を想定し、上述の式（５）を変形して、２つの画像についての周波数領域における平均二乗誤差の和は、下記の式（１４）で表される。

２つの画像は、それぞれＩＭＡＧＥ１およびＩＭＡＧＥ２に対応する。

式（１４）において、ＩＭＡＧＥ１_{ｉｄｅａｌ}（ω）＝Ｓ１（ω）、ＩＭＡＧＥ１_{ｃａｐｔｕｒｅｄ}（ω）＝Ｘ１（ω）、ＩＭＡＧＥ２_{ｉｄｅａｌ}（ω）＝Ｓ２（ω）およびＩＭＡＧＥ２_{ｃａｐｔｕｒｅｄ}（ω）＝Ｘ２（ω）とする。そして、式（１４）の最小値を求めるため、式（１４）をＲ^＊によって微分すると、下記の式（１５）が得られる。

式（１５）の最小値を求めるため、式（１５）の最右辺を０として、周波数特性Ｒ（ω）について解くと、下記の式（１６）が得られる。

撮像装置１によって同一の画像を撮像しているものと仮定すると、Ｓ１（ω）＝Ｓ２（ω）となり、これをＳ（ω）とおき、さらに、上述の式（９）の関係式から下記の式（１７）が得られる。

この式（１７）に示す周波数特性Ｒ（ω）に基づく逆変換フィルタが、上述の式（１４）に示す周波数領域の平均二乗誤差を最小とする最適なフィルタとなる。

以上は２つの画像の場合であったが、Ｎ個の画像、すなわち、Ｎ箇所のデフォーカス位置に一般化した周波数特性Ｒ（ω）は、下記の式（１８）で表される。

この式（１８）に示す周波数特性Ｒ（ω）に基づく逆変換フィルタが、画像処理系のノイズを考慮し、式（１４）に基づく複数のデフォーカス位置に対応する周波数領域の平均二乗誤差を最小とする最適なフィルタとなる。なお、できるだけ多くのデフォーカス位置、すなわち、できるだけ大きなＮの値によって周波数特性Ｒを導出するのが好ましい。

また、上述の式（１７）に示す周波数特性Ｒ（ω）を適用した場合において、復元処理後の画像の各画素と、理想画像の各画素との二乗誤差についての周波数領域における積分を取ると、下記の式（１９）が得られる。

この式（１９）の演算においては、上述のように、ノイズの周波数特性Ｗ（ω）と、周波数特性Ｓ（ω）とが無相関であることを利用している。

上述の式（１９）について、Ｎ個の画像、すなわち、Ｎ箇所のデフォーカス位置に一般化すると、下記の式（２０）が得られる。

式（２０）に示す値をＮで割った値である下記の式（２１）で示される値をＮ箇所のデフォーカス位置に一般化した場合の周波数領域における平均二乗誤差ＭＳＥ（Ｍｅａｎ Ｓｑｕａｒｅ Ｅｒｒｏｒ）であると定義する。

式（２１）に示すＭＳＥが最小となるように、光学系の周波数特性Ｈ（ω）を設計することによって、上述の式（１４）に示す周波数領域においての平均二乗誤差が最小となる光学系および逆変換フィルタの組み合わせを得ることができる。また、パーセバルの定理により、実空間においての平均二乗誤差が最小となる光学系および逆変換フィルタの組み合わせを得ることができる。したがって、式（１８）に示す周波数特性Ｒ（ω）に基づいて、例えば、画像処理部１４のフィルタ処理部１４３が有する逆変換フィルタ１２１を導出するものとすればよい。

以上のように、Ｎ箇所のデフォーカス位置、すなわち、複数のデフォーカス位置について、式（１８）に示す周波数特性Ｒ（ω）から最適な逆変換フィルタをもとめることができる。これによって、デフォーカス位置によってスポットの形状が変わっても、同一の逆変換フィルタによって復元することができるので、より広い範囲にまで被写界深度を拡張することができる。

図１２は、フィルタ処理部の逆変換フィルタを決定するための周波数特性を演算する流れを示すフローチャートである。図１２を参照しながら、式（１８）に示す周波数特性Ｒを具体的に演算する流れについて説明する。

＜＜ステップＳ１＞＞
まず、レンズユニット１１における面曲率および面間隔等、ならびに位相板１１ａの特性等の光学系パラメータに基づいて、レンズユニット１１に対する光線追跡演算によりＰＳＦを導出する。ここで、複数のデフォーカス位置における光学系パラメータによって光線追跡演算を行い、ＰＳＦを導出する。そして、ステップＳ２へ進む。

＜＜ステップＳ２＞＞
ステップＳ１で導出したＰＳＦをフーリエ変換することによって、光学系の周波数特性Ｈを導出する。そして、ステップＳ５へ進む。

＜＜ステップＳ３＞＞
画像処理系（撮像素子１２および画像処理部１４）に加わるノイズ特性を測定する。そして、ノイズ特性をフーリエ変換することによって、ノイズの周波数特性Ｗを導出する。なお、ノイズ特性の測定が困難である場合は、空間周波数によらず、撮像素子１２のＳ／Ｎ比の値を定数としてノイズの周波数特性Ｗを導出するものとしてもよい。そして、ステップＳ５へ進む。

＜＜ステップＳ４＞＞
撮像装置１により、自然風景またはバーコード等を様々な大きさおよび撮影条件によって撮像された画像を理想画像とする。例えば、理想画像を構成する画素の値をフーリエ変換し、空間周波数ωについての平均値を被写体の周波数特性Ｓとして導出する。この被写体の周波数特性Ｓの導出の詳細については後述する。そして、ステップＳ５へ進む。

＜＜ステップＳ５＞＞
ステップＳ２で導出した光学系の周波数特性Ｈ、ステップＳ３で導出したノイズの周波数特性Ｗ、およびステップＳ４で導出した被写体の周波数特性Ｓから、上述の式（１８）を使用して、逆変換フィルタの周波数特性Ｒを演算する。

＜ＭＴＦについて＞
図１３は、光学系を通過した光によって検出された画像の空間周波数特性を示す図である。図１４は、復元処理が行われた画像の空間周波数特性を示す図である。図１３および１４を参照しながら、画像の空間周波数特性について説明する。

まず、図１３を参照しながら、レンズユニット１１（光学系）を通過した光が撮像素子１２によって撮像された画像についての空間周波数ωに対するＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）について説明する。ＭＴＦは、光学系の結像性能を知るために、被写体の持つコントラストをどの程度忠実に再現できるかを空間周波数ωについての特性として表現した値である。図１３に示す目標空間周波数特性２０１は、被写体の撮像画像のコントラストが完全に再現された場合のＭＴＦの空間周波数ωについての特性（ＭＴＦ＝１）を示す。

上述したように、レンズユニット１１を通過した光は、収差を与えるレンズおよび位相板１１ａの作用によって点像分布関数（ＰＳＦ）が付加される。図１３に示す空間周波数特性２０２は、レンズユニット１１を通過した光に基づいて、撮像素子１２によりフォーカス位置において撮像された撮像画像のＭＴＦを示す。図１３に示す空間周波数特性２０３は、レンズユニット１１を通過した光に基づいて撮像素子１２によってあるデフォーカス位置において撮像された撮像画像のＭＴＦを示す。レンズユニット１１を通過した光はＰＳＦが付加されているので、フォーカス位置における空間周波数特性２０２、およびデフォーカス位置における空間周波数特性２０３は、図１３に示すように、何れも目標空間周波数特性２０１よりも低い値となる。

次に、図１４（ａ）を参照しながら、図８に示すフィルタ処理部１４３が有する逆変換フィルタが、上述の式（１２）に示す周波数特性Ｒによって求められた場合を考える。この場合において、撮像素子１２によって撮像された画像がフィルタ処理部１４３によって復元処理が行われた画像についてのＭＴＦについて説明する。

図１４（ａ）に示す空間周波数特性２０２ａは、撮像素子１２によりフォーカス位置において撮像された撮像画像について、フィルタ処理部１４３により復元処理された画像のＭＴＦを示す。図１４（ａ）に示す空間周波数特性２０３ａは、撮像素子１２によりあるデフォーカス位置において撮像された撮像画像について、フィルタ処理部１４３により復元処理された画像のＭＴＦを示す。上述のように、式（１２）は１箇所のフォーカス位置において、レンズユニット１１によってＰＳＦが付加された画像を復元する逆変換フィルタの周波数特性Ｒなので、フォーカス位置での空間周波数特性２０２ａは、ＭＴＦ＝１となり、目標空間周波数特性２０１と一致する。しかし、式（１２）に示す周波数特性Ｒから導出された逆変換フィルタは、フォーカス位置におけるスポットとは形状の異なるデフォーカス位置には対応していないので、空間周波数特性２０３ａのＭＴＦは、空間周波数特性２０２ａのＭＴＦよりも低くなる。

次に、図１４（ｂ）を参照しながら、図８に示すフィルタ処理部１４３が有する逆変換フィルタが、上述の式（１８）に示す周波数特性Ｒに基づいてもとめられた場合を考える。この場合において、撮像素子１２によって撮像された画像がフィルタ処理部１４３によって復元処理が行われた画像についてのＭＴＦについて説明する。

図１４（ｂ）に示す空間周波数特性２０２ｂは、撮像素子１２により、あるデフォーカス位置Ｐ１において撮像された撮像画像について、フィルタ処理部１４３により復元処理された画像のＭＴＦを示す。図１４（ｂ）に示す空間周波数特性２０３ｂは、撮像素子１２により、あるデフォーカス位置Ｐ２において撮像された撮像画像について、フィルタ処理部１４３により復元処理された画像のＭＴＦを示す。上述のように、式（１８）は複数のデフォーカス位置において、すなわち、光軸上の所定の位置範囲（被写界深度）において、レンズユニット１１によってＰＳＦが付加された画像を復元する逆変換フィルタの周波数特性Ｒである。したがって、被写界深度に含まれる何れのデフォーカス位置においても、撮像素子１２により撮像され、かつ、フィルタ処理部１４３により復元処理された画像の空間周波数特性におけるＭＴＦは、目標空間周波数特性２０１のＭＴＦに近接することになる。すなわち、上述の逆変換フィルタによって複数のデフォーカス位置における画像が復元処理された画像についてのＭＴＦは、図１４（ｂ）に示すように、目標空間周波数特性２０１よりも大きい値であったり、小さい値であったりする。いずれにしても、上述の逆変換フィルタによって復元処理された画像のＭＴＦは、図１４（ｂ）に示すように、目標空間周波数特性２０１に近接する。

以上のように、フィルタ処理部１４３は、式（１８）に示す周波数特性Ｒ（ω）に基づいてもとめられた逆変換フィルタによる復元処理によって、所定の位置範囲において、レンズユニット１１によってＰＳＦが付加された画像を復元することができる。したがって、所定の位置範囲においてスポットの形状が変わっても、同一の逆変換フィルタによって復元することができるので、より広い範囲にまで被写界深度を拡張することができる。

＜認識処理部における認識処理＞
上述においては、復元処理後の画像の各画素と、理想画像の各画素との誤差についての平均二乗誤差を最小とする復元処理について説明した。ここで、認識処理部１５における認識処理の内容によっては、復元処理後の画像がぼけてもよいのでＳ／Ｎ比を高く（ノイズを低く）したい場合、または、復元処理後の画像にノイズがあっても（Ｓ／Ｎ比が低くても）よいので解像度を高くしたい場合等が想定される。例えば、道路上の白線を認識する認識処理では、白線はある程度の太さがあるため、高い解像度は要求されず、ノイズが少ない方が望ましい。また、遠方に存在する人物を認識する認識処理では、人物のエッジを検出する必要があるため、ノイズは多くても、高い解像度が要求される。すなわち、認識処理によって求められる画像の解像度およびノイズ量の組み合わせが異なるので、認識処理ごとに復元処理後の画像が異なるものとなり、復元処理のための逆変換フィルタを変更する必要がある。

ここで、一度作成した光学系（レンズユニット１１）は構成変更することは困難であるが、画像処理系のパラメータを変更することは容易である。そこで、式（１８）に示す逆変換フィルタの周波数特性Ｒ（ω）のうち、周波数特性Ｓ（ω）を設定変更する（具体的には、フィルタ係数を変更する）ことによって、上述の式（１８）により、各認識処理に応じた逆変換フィルタを求めることができる。例えば、上述の道路上の白線を認識する認識処理については、周波数特性Ｓ（ω）の高周波成分を小さく設定することによって、ノイズ量を低減する逆変換フィルタを求めることができる。また、上述の人物を認識する認識処理については、周波数特性Ｓ（ω）の高周波成分を大きく設定することによって、解像度を上昇させる逆変換フィルタを求めることができる。

図３および４において上述したように、本実施の形態に係る撮像装置１は、画像バッファ部１４１から出力された同一の撮像画像が、フィルタ処理部１４３ａ〜１４３ｃに入力される。フィルタ処理部１４３ａにより復元処理された画像は、認識処理部１５ａに入力され、フィルタ処理部１４３ｂにより復元処理された画像は、認識処理部１５ｂに入力され、フィルタ処理部１４３ｃにより復元処理された画像は、認識処理部１５ｃに入力される。すなわち、認識処理部１５ａ〜１５ｃにおける各認識処理に応じて、フィルタ処理部１４３ａ〜１４３ｃそれぞれにおいて、異なる逆変換フィルタが設定されている。

以上のように、撮像装置１は、同一の撮像画像が入力される複数のフィルタ処理部１４３を有し、それぞれのフィルタ処理部１４３で異なる逆変換フィルタにより撮像画像に対して復元処理をして、それぞれのフィルタ処理部１４３に対応する認識処理部１５に復元処理後の画像が入力されるものとしている。したがって、上述のように広い範囲で被写界深度を拡張しつつ、各フィルタ処理部１４３は、各認識処理部１５の認識処理に適した解像度およびノイズ量を有する復元処理後の画像を出力することができるので、各認識処理部１５の認識性能を向上させることができる。

なお、認識処理部１５は、撮像装置１内に備えられるものとしたが、認識処理部１５の機能を撮像装置１外の装置（例えば、ＰＣ２）に備えさせるものとしてもよい。

＜第１の実施の形態の変形例＞
第１の実施の形態においては、図３に示すように、１つの光学系（レンズユニット１１）と、１つの撮像素子１２とを有する撮像装置１における認識処理について説明した。この認識処理の中には、上述で例示したものの他に、例えば、視差演算により撮像画像の対象物までの距離を推定する処理がある。本変形例において、視差演算により撮像画像の対象物までの距離を推定する認識処理について説明する。視差演算を実行するためには、ステレオカメラを構成するための２つのカメラ、すなわち、２つの光学系および２つの撮像素子が必要である。したがって、本変形例に係る撮像装置は、少なくとも、２つの光学系と、２つの撮像素子と、２つの撮像素子の撮像画像をそれぞれ復元処理する２つのフィルタ処理部と、２つのフィルタ処理部それぞれから復元処理後の画像（第１復元画像および第２復元画像）を入力して視差演算による距離推定の認識処理を実行する認識処理部と、を備える。ステレオカメラの２つの光学系は、通常水平に設置されるので、２つの光学系から入射した光（第１入射光、第２入射光）によって撮像された画像を、それぞれ左画像（第１画像または第２画像）、右画像（第２画像または第１画像）というものとする。

視差演算による距離推定の認識処理では、視差演算精度を高めるため、高い解像度よりも、Ｓ／Ｎ比が高い（ノイズが少ない）方が望ましい。したがって、周波数特性Ｓ（ω）の高周波成分を小さく設定して、上述の式（１８）により逆変換フィルタを求める。

なお、撮像素子は必ずしも２つ備える必要はなく、１つの撮像素子の撮像面に所定の偏光成分のみと透過させる２種類のフィルタを、ピクセルごとに交互に配置して、２つの光学系から入射してフィルタにより異なる偏光方向に偏光された光が、１つの撮像素子で撮像されるものとしてもよい。この場合、撮像画像から、２つの光学系から入射したそれぞれの光によって撮像された２つの画像を抽出することができる。

また、本変形例に係る撮像装置は、視差演算による距離推定の認識処理を実行する認識処理部のみではなく、他の認識処理を実行する認識処理部を備えてもよく、それに応じたフィルタ処理部もさらに備えてもよいのは、言うまでもない。

次に、視差演算による距離推定の具体的な処理内容について説明する。視差とは、左画像および右画像に映り込んでいる同一の対象物（または対象位置）について、左画像における対象物（対象位置）の位置と、右画像における対象物（対象位置）の位置との差をいうものとする。なお、本変形例においては、左画像および右画像の画像間で、垂直方向の対象物の変位はないものとし、水平方向の対象物の変位が視差であるものとする。ここで、視差をＰｒとおき、２つの光学系の距離（光学系間距離）をＬｄ、焦点距離をＦｄとすると、対象物までの距離Ｔｄは、Ｔｄ＝（Ｌｄ×Ｆｄ）／Ｐｒによって算出することができる。焦点距離Ｆｄは、２つの光学系において同一であるものとする。ここで、光学系間距離Ｌｄおよび焦点距離Ｆｄが既知である場合、視差Ｐｒを導出することによって、対象物までの距離Ｔｄを求めることができる。

＜＜ブロックマッチングによる視差の導出＞＞
次に、ブロックマッチングによる視差の導出方法について説明する。まず、認識処理部は、左画像または右画像のうちいずれかを基準画像として選び、基準画像における対象物（または対象位置）を含む部分の画像（ブロック）を切り出す。次に、認識処理部は、基準画像ではないもう一方の画像（対比画像）（左画像を基準画像とした場合、右画像が対比画像となる）において、基準画像におけるブロックの垂直方向の位置と同じ位置で、基準画像のブロックと同じ大きさのブロックを水平方向にピクセル単位に移動させながら、基準画像のブロックと対比画像のブロックとがどれだけ類似しているかを判定する。そして、基準画像のブロックの水平方向の位置と、基準画像のブロックと最も類似している対比画像のブロックの水平方向の位置との差が視差となる。この場合の視差は、ピクセル単位で求められる視差である。

基準画像のブロックと対比画像のブロックとがどれだけ類似しているかを示す評価値として、以下のマッチング評価関数を用いることができる。ここで、基準画像および対比画像のブロックは、Ｘ方向（図５参照）に画素数がＭ個、Ｙ方向に画素数がＮ個で構成されているものとする。Ｔ（ｉ，ｊ）は、基準画像のブロックにおいてＸ方向のｉ番目（ｉ＝０〜Ｍ−１）、Ｙ方向のｊ番目（ｊ＝０〜Ｎ−１）の画素値とする。Ｉ（ｉ，ｊ）は、対比画像のブロックにおいてＸ方向のｉ番目（ｉ＝０〜Ｍ−１）、Ｙ方向のｊ番目（ｊ＝０〜Ｎ−１）の画素値とする。

（１）ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）
基準画像および対比画像のブロックの画素値の差の絶対値の和を評価値とするものである。評価値が小さいほど、基準画像のブロックおよび対比画像のブロックが類似していると判定される。ＳＡＤによる評価値Ｒ_ＳＡＤは、以下の式（２２）で示され、計算量が少ないという特徴を有する。

（２）ＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）
基準画像および対比画像ブロックの画素値の差の二乗の和を評価値とするものである。評価値が小さいほど、基準画像のブロックおよび対比画像のブロックが類似していると判定される。ＳＳＤによる評価値Ｒ_ＳＳＤは、以下の式（２３）で示される。

（３）ＮＣＣ（Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ Ｃｏｒｒｅｌａｔｉｏｎ）
正規化相互相関で、明るさおよびコントラストに影響されにくいという特徴を有する。評価値が１に近いほど、基準画像のブロックおよび対比画像のブロックが類似していると判定される。ＮＣＣによる評価値Ｒ_ＮＣＣは、以下の式（２４）で示される。

（４）ＺＳＡＤ（Ｚｅｒｏ ｍｅａｎ Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）
ＳＡＤの式における基準画像および対比画像のブロックの画素値から、各ブロックの画素値の平均値を引いたものである。評価値が小さいほど、基準画像のブロックおよび対比画像のブロックが類似していると判定される。ＺＳＡＤによる評価値Ｒ_ＺＳＡＤは、以下の式（２５）で示される。評価値Ｒ_ＳＡＤは、画像の明るさが変動すると値も変動するが、評価値Ｒ_ＺＳＡＤは、ブロックの画素値からブロックの画素値の平均値を引いているので、明るさの変動があっても安定的に評価値を得ることができるという特徴を有する。

式（２５）の対比画像のブロックの画素値の平均値は、下記の式（２６）で示される。

また、式（２５）の基準画像のブロックの画素値の平均値は、下記の式（２７）で示される。

（５）ＺＳＳＤ（Ｚｅｒｏ ｍｅａｎ Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）
ＳＳＤの式における基準画像および対比画像のブロックの画素値から、各ブロックの画素値の平均値を引いたものである。評価値が小さいほど、基準画像のブロックおよび対比画像のブロックが類似していると判定される。ＺＳＳＤによる評価値Ｒ_ＺＳＳＤは、以下の式（２８）で示される。評価値Ｒ_ＳＳＤは、画像の明るさが変動すると値も変動するが、評価値Ｒ_ＺＳＳＤは、ブロックの画素値からブロックの画素値の平均値を引いているので、明るさの変動があっても安定的に評価値を得ることができるという特徴を有する。

（６）ＺＮＣＣ（Ｚｅｒｏ ｍｅａｎ Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ Ｃｏｒｒｅｌａｔｉｏｎ）
ＮＣＣの式における基準画像および対比画像のブロックの画素値から、各ブロックの画素値の平均値を引いたものである。評価値が小さいほど、基準画像のブロックおよび対比画像のブロックが類似していると判定される。ＺＮＣＣによる評価値Ｒ_ＺＮＣＣは、以下の式（２９）で示される。評価値Ｒ_ＮＣＣは、画像の明るさが変動すると値も変動するが、評価値Ｒ_ＺＮＣＣは、ブロックの画素値からブロックの画素値の平均値を引いているので、明るさの変動があっても安定的に評価値を得ることができるという特徴を有する。

以上のようなマッチング評価関数を使用することによって、基準画像のブロックと対比画像のブロックとの類似度を求めて視差を導出し、対象物（対象位置）までの距離をもとめることができる。ただし、マッチング評価関数を用いたブロックマッチングによる視差演算は、ピクセル単位でしか視差を求めることができない。ここで、ピクセル単位よりも細かい仮想的な単位であるサブピクセル単位で視差を求めることができるサブピクセル位置推定について、次に説明する。

＜＜サブピクセル位置推定による視差の導出＞＞
図１５は、第１の実施の形態の変形例に係る撮像装置において等角直線フィッティングによりサブピクセル位置推定を行う場合を説明する図である。図１６は、第１の実施の形態の変形例に係る撮像装置においてパラボラフィッティングによりサブピクセル位置推定を行う場合を説明する図である。図１５および１６を参照しながら、サブピクセル位置推定による視差の導出方法について説明する。

まず、図１５を参照しながら、等角直線フィッティングによりサブピクセル位置推定を行う場合ついて説明する。上述したブロックマッチングと同様の方法により、認識処理部は、左画像または右画像のうちいずれかを基準画像として選び、基準画像における対象物（または対象位置）を含む部分の画像（ブロック）を切り出す。次に、認識処理部は、対比画像において、基準画像におけるブロックの垂直方向の位置と同じ位置で、基準画像のブロックと同じ大きさのブロックを水平方向にピクセル単位に移動させながら、基準画像のブロックと対比画像のブロックとがどれだけ類似しているかの評価値を算出していく。評価値としては、値が小さいほど基準画像のブロックおよび対比画像のブロックが類似していると判定される、ＳＡＤ、ＳＳＤ、ＺＳＡＤまたはＺＳＳＤのいずれかのマッチング評価関数を用いて算出するものとする。

ここで、図１５に示すように、評価値を算出していった結果、横軸に対比画像の水平方向の位置ｉ、縦軸を評価値Ｒ（ｉ）として、評価値Ｒ（ｉ）をプロットする。便宜的に、ブロックマッチングにより評価値Ｒ（ｉ）が最小となった対比画像の水平方向の位置をｉ＝０とし、図１５では、ｉ＝−１、０、１のピクセル単位の位置における評価値Ｒ（−１）、Ｒ（０）、Ｒ（１）が示されている。次に、認識処理部は、図１５に示すように、各プロット点を結ぶ一次の対称関数（折れ線、等角直線）を描く。この一次の対照関数のピークとなる水平位置の座標ｉ＝ｉ_０において評価値が最も小さくなると判定し、サブピクセル単位で評価値が最小となる対比画像のブロックの水平位置を推定することができる。このｉ_０は、下記の式（３０）によって算出される。

次に、図１６を参照しながら、パラボラフィッティングによりサブピクセル位置推定を行う場合について説明する。図１５において説明した等角直線フィッティングによりサブピクセル位置推定の場合と同様に、ブロックマッチングにより評価値を算出していった結果、横軸に対比画像の水平方向の位置ｉ、縦軸を評価値Ｒ（ｉ）として、評価値Ｒ（ｉ）をプロットする。便宜的に、ブロックマッチングにより評価値Ｒ（ｉ）が最小となった対比画像の水平方向の位置をｉ＝０とし、図１６では、ｉ＝−１、０、１のピクセル単位の位置における評価値Ｒ（−１）、Ｒ（０）、Ｒ（１）が示されている。次に、認識処理部は、図１６に示すように、各プロット点を結ぶ放物線を描く。この放物線の底となる水平位置の座標ｉ＝ｉ_０において評価値が最も小さくなると判定し、サブピクセル単位で評価値が最小となる対比画像のブロックの水平位置を推定することができる。このｉ_０は、下記の式（３１）によって算出される。

以上のように、等角直線フィッティングまたはパラボラフィッティングによりサブピクセル位置推定により、サブピクセル単位で、評価値が最小となる対比画像のブロックの水平位置が推定可能となる。したがって、上述のブロックマッチングのみによる視差演算よりも高精度は視差演算が可能となり、高精度に対象物との距離を求めることが可能となる。

（第２の実施の形態）
第２の実施の形態に係る撮像装置１について、第１の実施の形態に係る撮像装置１の構成および動作と相違する点を中心に説明する。第２の実施の形態に係る撮像システムの全体構成は、第１の実施の形態に係る撮像システム５００と同様である。

＜撮像装置の構成＞
図１７は、第２の実施の形態の撮像装置の構成の一例を示す図である。図１７を参照しながら、本実施の形態の撮像装置１ａの構成について説明する。

図１７に示すように、撮像装置１ａは、レンズユニット１１と、撮像素子１２と、画像処理部１４ａと、認識処理部１５ａ〜１５ｃと、通信部１６と、スイッチ部１７（スイッチング手段）と、フレーム制御部１８（フレーム制御手段）と、を備えている。

撮像素子１２は、レンズユニット１１に入射する被写体からの光を電気信号に変換することにより、被写体４を撮像して画像を生成する固体撮像素子である。撮像素子１２は、固体撮像素子を構成する各検出素子によって撮像した画像を構成する画素を出力する。撮像素子１２は、例えば、ＣＣＤセンサまたはＣＭＯＳセンサ等によって実現される。撮像素子１２は、フレーム制御部１８から受信した露光時間情報にしたがって、指定された露光時間によって被写体４を撮像する。

画像処理部１４ａは、撮像素子１２から出力される画像に対して復元処理を実行する装置である。画像処理部１４ａは、フレーム制御部１８から受信したフィルタ係数切替情報に基づいて、後述するフィルタ処理部１４３ｄにおける復元処理のための逆変換フィルタのフィルタ係数を変更する。

スイッチ部１７は、フレーム制御部１８から受信したスイッチング切替情報に基づいて、画像処理部１４ａから出力された復元処理後の画像を、認識処理部１５ａ〜１５ｃのいずれかへ中継する。

フレーム制御部１８は、撮像素子１２により撮像された画像（フレーム）ごとに異なる露光時間情報、フィルタ係数切替情報およびスイッチング切替情報を、それぞれ、撮像素子１２、画像処理部１４ａおよびスイッチ部１７へ送信する。

＜画像処理部の構成および動作＞
図１８は、第２の実施の形態の撮像装置の画像処理部の構成の一例を示す図である。図１８を参照しながら、本実施の形態の画像処理部１４ａの構成について説明する。

図１８に示すように、本実施の形態の画像処理部１４ａは、画像バッファ部１４１と、フィルタ処理部１４３ｄ（逆変換手段）とを備えている。

フィルタ処理部１４３ｄは、画像バッファ部１４１から出力される画素に対して、フィルタ回路によって、所定のフィルタ処理（復元処理）を行う。フィルタ処理部１４３ｄは、上述したように、フレーム制御部１８から受信したフィルタ係数切替情報に基づいて、復元処理のための逆変換フィルタのフィルタ係数を変更する。

＜認識処理部における認識処理＞
第１の実施の形態に係る撮像装置１は、各認識処理部１５の認識処理に応じた復元処理後の画像を得るために、各認識処理部１５に対応した固定の逆変換フィルタを有するフィルタ処理部１４３を備えているものとした。したがって、撮像素子１２から出力される撮像画像の全フレームが、各フィルタ処理部１４３に入力され、各認識処理部１５によって異なる復元処理がなされるものとしている。

ただし、撮像素子１２から出力される撮像画像の全フレームについて、各フィルタ処理部１４３がそれぞれ復元処理をする必要がない場合もある。例えば、１フレーム目は、車両を認識するための認識処理用とし、２フレーム目は、道路上の白線を認識するための認識処理用として、３フレーム目は、人物を認識するための認識処理用とし、これを繰り返す処理が要求される場合もある。すなわち、フレームごとに異なる認識処理を実行する必要がある場合もある。

本実施の形態に係る撮像装置１ａは、フレーム制御部１８が、撮像素子１２により撮像された画像（フレーム）ごとに異なるフィルタ係数切替情報およびスイッチング切替情報を、それぞれ画像処理部１４ａおよびスイッチ部１７へ送信する。これによって、上述の処理が可能となる。

本実施の形態に係る撮像装置１ａにおける画像（フレーム）ごとに異なる認識処理を実行する動作を具体的に説明する。例えば、認識処理部１５ａは、車両を認識する認識処理を実行し、認識処理部１５ｂは、道路上の白線を認識する認識処理を実行し、認識処理部１５ｃは、人物を認識する認識処理を実行するものとする。なお、認識処理部１５ａ〜１５ｃが実行する認識処理は、上述の処理内容に限定されるものではないのは言うまでもない。

まず、撮像素子１２により撮像された１フレーム目の撮像画像を、認識処理部１５ａによる認識処理に使用するものとする。この場合、車両を認識する認識処理においては、車両のエッジを検出する必要があるため、ノイズは多くても高い解像度の画像が要求される。したがって、フレーム制御部１８は、解像度が上昇するように、高周波成分を大きくなるように設定した周波数特性Ｓ（ω）を用いて、式（１８）により復元処理のための逆変換フィルタのフィルタ係数を算出する。次に、フレーム制御部１８は、撮像素子１２から１フレーム目の撮像画像が出力される際に、算出したフィルタ係数を含むフィルタ係数切替情報をフィルタ処理部１４３ｄに送信してフィルタ係数を切り替える。そして、フレーム制御部１８は、スイッチ部１７にスイッチング切替情報を送信して、フィルタ処理部１４３ｄから出力される復元処理後の画像が、認識処理部１５ａに入力されるようにする。このようにして、１フレーム目の撮像画像は、認識処理部１５ａの車両を認識する認識処理に適するように、フィルタ処理部１４３ｄにより復元処理されて、認識処理部１５ａに入力される。認識処理部１５ａは、入力した復元処理後の画像を使用して、車両を認識する認識処理を実行する。

次に、撮像素子１２により撮像された２フレーム目の撮像画像を、認識処理部１５ｂによる認識処理に使用するものとする。この場合、道路上の白線を認識する認識処理においては、白線はある程度の太さがあるため、高い解像度は要求されず、ノイズが少ない方が望ましい。したがって、フレーム制御部１８は、ノイズ量が低減するように、高周波成分を小さくなるように設定した周波数特性Ｓ（ω）を用いて、式（１８）により復元処理のための逆変換フィルタのフィルタ係数を算出する。次に、フレーム制御部１８は、撮像素子１２から２フレーム目の撮像画像が出力される際に、算出したフィルタ係数を含むフィルタ係数切替情報をフィルタ処理部１４３ｄに送信してフィルタ係数を切り替える。そして、フレーム制御部１８は、スイッチ部１７にスイッチング切替情報を送信して、フィルタ処理部１４３ｄから出力される復元処理後の画像が、認識処理部１５ｂに入力されるようにする。このようにして、２フレーム目の撮像画像は、認識処理部１５ｂの道路上の白線を認識する認識処理に適するように、フィルタ処理部１４３ｄにより復元処理されて、認識処理部１５ｂに入力される。認識処理部１５ｂは、入力した復元処理後の画像を使用して、道路上の白線を認識する認識処理を実行する。

次に、撮像素子１２により撮像された３フレーム目の撮像画像を、認識処理部１５ｃによる認識処理に使用するものとする。この場合、人物を認識する認識処理においては、人物のエッジを検出する必要があるため、ノイズは多くても高い解像度の画像が要求される。したがって、フレーム制御部１８は、解像度が上昇するように、高周波成分を大きくなるように設定した周波数特性Ｓ（ω）を用いて、式（１８）により復元処理のための逆変換フィルタのフィルタ係数を算出する。次に、フレーム制御部１８は、撮像素子１２から３フレーム目の撮像画像が出力される際に、算出したフィルタ係数を含むフィルタ係数切替情報をフィルタ処理部１４３ｄに送信してフィルタ係数を切り替える。そして、フレーム制御部１８は、スイッチ部１７にスイッチング切替情報を送信して、フィルタ処理部１４３ｄから出力される復元処理後の画像が、認識処理部１５ｃに入力されるようにする。このようにして、３フレーム目の撮像画像は、認識処理部１５ｃの人物を認識する認識処理に適するように、フィルタ処理部１４３ｄにより復元処理されて、認識処理部１５ｃに入力される。認識処理部１５ｃは、入力した復元処理後の画像を使用して、人物を認識する認識処理を実行する。

４フレーム目以降の撮像画像は、上述の車両を認識する認識処理、道路上の白線を認識する認識処理、および人物を認識する認識処理が繰り返して実行される。

上述では、画像（フレーム）ごとに異なる認識処理を実行する動作について説明した。この他、例えば、撮像装置１ａにより被写体として風景等を撮像する場合、撮像画像の下部は基本的に近くかつ大きくものが写るため、高い解像度は必要なく、撮像画像の中央または上部は基本的に遠くかつ小さく写るため、高い解像度が必要とされる場合もある。また、画面上の中央部を重点的に確認したい認識処理の場合、中央部の解像度を周辺部の解像度よりも高める必要がある。このような、撮像画像内の位置によって異なる解像度が要求される認識処理の場合、撮像画像内の位置ごとにフィルタ係数を変更する必要がある。すなわち、フィルタ処理部１４３ｄが、撮像素子１２により撮像された１つの撮像画像について復元処理をしている途中で、その撮像画像内の位置ごとに適した解像度およびノイズ量の組み合わせとなるようにフィルタ係数を切り替える必要がある。

本実施の形態に係る撮像装置１ａは、フレーム制御部１８が、撮像素子１２により撮像された画像（フレーム）に対して、フィルタ処理部１４３ｄにより復元処理がされている状態で、フレーム内の位置に応じた解像度およびノイズ量となるように設定した周波数特性Ｓ（ω）を用いて、式（１８）により逆変換フィルタのフィルタ係数を算出する。そして、フレーム制御部１８は、同様に、フィルタ処理部１４３ｄにより復元処理がされている状態で、算出したフィルタ係数を含むフィルタ係数切替情報を、画像処理部１４ａへ送信する。これによって、上述の処理が可能となる。

以上のように、本実施の形態に係る撮像装置１ａは、フレーム制御部１８が、撮像素子１２により撮像された画像（フレーム）ごとに、そのフレームに適した解像度およびノイズ量となるように設定した周波数特性Ｓを用いてフィルタ係数を算出し、そのフィルタ係数を含むフィルタ係数切替情報を、画像処理部１４ａに送信し、フィルタ処理部１４３ｄのフィルタ係数を切り替える。そして、フレーム制御部１８は、フィルタ処理部１４３ｄにより上述のフィルタ係数で復元処理された画像を必要とする認識処理部１５にその画像が入力されるように、スイッチ部１７にスイッチング切替情報を送信するものとしている。これによって、１つのフィルタ処理部を用いることによって、各認識処理部１５における認識処理に適した解像度およびノイズ量を有する復元処理後の画像を入力させることができる。

また、本実施の形態に係る撮像装置１ａは、フレーム制御部１８が、撮像画像（フレーム）に対して、フィルタ処理部１４３ｄにより復元処理がされている状態で、フレーム内の位置に応じた解像度およびノイズ量となるように設定した周波数特性Ｓを用いて、フィルタ係数を算出することができる。そして、フレーム制御部１８は、同様に、フィルタ処理部１４３ｄにより復元処理がされている状態で、算出したフィルタ係数を含むフィルタ係数切替情報を、画像処理部１４ａへ送信するものとしている。これによって、認識処理部１５の認識処理に応じて、フィルタ処理部１４３ｄは、１つの撮像画像に対して位置ごとに解像度およびノイズ量の異なる復元処理後の画像を生成することができ、認識処理部１５に入力させることができる。

また、上述のように、複数の認識処理部１５の認識処理に適した画像を、１つのフィルタ処理部１４３ｄによりフィルタ係数を切り替えて復元処理が実行されることによって生成することができる。すなわち、各認識処理部１５に応じたフィルタ処理部を備える必要が無いので、フィルタ回路をコンパクトにすることができ、コストを削減することができる。

なお、上述では、フレームごとに、スイッチ部１７によって、復元処理後の画像が入力される認識処理部１５を切り替えていたが、スイッチ部１７の導通状態を固定することによって、撮像画像の全フレームを、特定の認識処理を実行する認識処理部１５に入力することも可能である。

また、スイッチ部１７は、スイッチング作用により、画像処理部１４ａ（フィルタ処理部１４３ｄ）を、複数の認識処理部１５のいずれか１つに接続させるものとして説明したが、これに限定されるものではない。すなわち、スイッチ部１７は、スイッチング作用により、画像処理部１４ａ（フィルタ処理部１４３ｄ）を、同時に複数の認識処理部１５に接続させるものとしてもよい。これによって、例えば、認識処理の処理内容は異なるが、要求する解像度およびノイズ量を有する復元処理後の画像が同一である認識処理部１５が複数ある場合に、その画像を、同時にその複数の認識処理部１５に入力させることができる。

また、スイッチ部１７および認識処理部１５は、撮像装置１ａ内に備えられるものとしたが、スイッチ部１７および認識処理部１５の機能を撮像装置１ａ外の装置（例えば、ＰＣ２）に備えさせるものとしてもよい。

１、１ａ 撮像装置
２ ＰＣ
３ 通信ケーブル
４ 被写体
１１ レンズユニット
１１ａ 位相板
１１ｂ 絞り
１２ 撮像素子
１４、１４ａ 画像処理部
１５、１５ａ〜１５ｃ 認識処理部
１６ 通信部
１７ スイッチ部
１８ フレーム制御部
２１ 通信部
２２ 操作部
２３ 表示部
２４ 記憶部
２５ 外部記憶装置
２６ 制御部
２７ バス
１０１ 検出画像
１０５ 画像
１２１ 逆変換フィルタ
１３１、１３１ａ〜１３１ｆ 対象部分画像
１３５ａ〜１３５ｆ 中央データ
１４１ 画像バッファ部
１４３、１４３ａ〜１４３ｄ フィルタ処理部
２０１ 目標空間周波数特性
２０２、２０２ａ、２０２ｂ 空間周波数特性
２０３、２０３ａ、２０３ｂ 空間周波数特性
５００ 撮像システム
１４１０ 入力部
１４１１ａ〜１４１１ｄ レジスタ
１４１２ａ〜１４１２ｄ ラインバッファ
１４１３ａ〜１４１３ｅ 出力部
１４３１ａ〜１４３１ｅ 入力部
１４３２ａ〜１４３２ｅ レジスタ
１４３３ａ〜１４３３ｅ レジスタ
１４３４ａ〜１４３４ｅ レジスタ
１４３５ａ〜１４３５ｅ レジスタ
１４３６ａ〜１４３６ｅ レジスタ
１４３７ａ〜１４３７ｅ レジスタ
１４３８ａ〜１４３８ｅ 乗算器
１４３９ａ〜１４３９ｅ 乗算器
１４４０ａ〜１４４０ｅ 乗算器
１４４１ａ〜１４４１ｅ 乗算器
１４４２ａ〜１４４２ｅ 乗算器
１４４３ａ〜１４４３ｅ 加算器
１４４４ａ〜１４４４ｅ 加算器
１４４５ａ〜１４４５ｅ 加算器
１４４６ａ〜１４４６ｅ 加算器
１４４７ａ〜１４４７ｃ 加算器
１４４８ 出力部
Ａ フレーム開始期間
Ｂ 水平ブランキング期間
Ｃ フレーム終了期間
Ｄ 垂直ブランキング期間
Ｔ 有効データ期間

特許第４８１３４４７号公報

Claims (9)

1. 入射した光に収差を与える光学系と、
   前記光学系を通過した前記光を画素に変換して画像を撮像する撮像手段と、
   前記撮像手段により撮像された撮像画像に対して、前記収差を復元する予め定まった逆変換フィルタによって復元処理を実行する逆変換手段と、
   前記復元処理後の復元画像に対して異なる認識処理を実行する複数の認識処理手段と、
   前記逆変換手段から出力された前記復元画像を前記複数の認識処理手段のいずれかに入力するように切り替えるスイッチング手段と、
   前記逆変換手段に対して、前記スイッチング手段により前記復元画像が入力するように切り替えられた前記認識処理手段の前記認識処理に応じた前記逆変換フィルタに切り替えるフレーム制御手段と、
   を備え、
   前記逆変換手段は、前記複数の認識処理手段のうち、前記スイッチング手段により前記復元画像が入力するように切り替えられた前記認識処理手段の前記認識処理に応じて、前記フレーム制御手段により切り替えらえた前記逆変換フィルタにより周波数特性の異なる前記復元画像を生成する撮像システム。
2. 前記逆変換手段は、前記複数の認識処理手段と同数備えられ、
   前記複数の逆変換手段は、それぞれ前記複数の認識処理手段のいずれかに対応し、該認識処理手段の前記認識処理に応じて前記復元画像を生成する請求項１に記載の撮像システム。
3. 前記スイッチング手段は、前記撮像手段から前記撮像画像が１フレーム出力されるごとに、前記復元画像が入力される前記認識処理手段を異なる認識処理手段に切り替える請求項１または２に記載の撮像システム。
4. 前記フレーム制御手段は、前記逆変換手段により１つの前記撮像画像に対して前記復元処理が実行されている場合に、前記逆変換手段に対して、該撮像画像内の位置ごとに異なる前記逆変換フィルタに切り替える請求項１または２に記載の撮像システム。
5. 前記逆変換手段は、前記複数の各認識処理手段の前記認識処理に応じた解像度およびノイズ量となるように前記復元画像を生成する請求項１〜４のいずれか一項に記載の撮像システム。
6. 前記逆変換手段は、前記光学系の光軸上の所定範囲の２箇所以上のデフォーカス位置において、理想画像の画素と、前記復元画像の画素との平均二乗誤差を最小にする前記逆変換フィルタにより前記復元処理を実行する請求項１〜５のいずれか一項に記載の撮像システム。
7. 前記逆変換フィルタの周波数特性Ｒは、下記の式（１）で算出され、
   前記逆変換手段は、下記の式（１）の周波数特性Ｓの設定が変更されることにより生成された、それぞれ異なる前記逆変換フィルタによって前記復元処理を実行する請求項１〜６のいずれか一項に記載の撮像システム。
   

   
8. 前記光学系は、第１入射光を入射する第１光学系と、第２入射光を入射する第２光学系と、を備え、
   前記撮像手段は、前記第１入射光を画素に変換して第１画像を撮像し、前記第２入射光を画素に変換して第２画像を撮像し、
   前記複数の認識処理手段の少なくとも１つは、前記逆変換手段により前記第１画像および前記第２画像に対してそれぞれ前記復元処理された第１復元画像および第２復元画像を入力し、前記第１復元画像および前記第２復元画像に基づいて、視差演算を実行する請求項１〜７のいずれか一項に記載の撮像システム。
9. 入射した光に収差を与えるステップと、
   前記収差を与えた前記光を画素に変換して画像を撮像するステップと、
   逆変換手段に、撮像した撮像画像に対して、前記収差を復元する予め定まった逆変換フィルタによって復元処理を実行するステップと、
   複数の認識処理手段に、前記復元処理後の復元画像に対してそれぞれ異なる認識処理を実行させるステップと、
   前記復元画像を前記複数の認識処理手段のいずれかに入力するように切り替えるステップと、
   前記逆変換手段に対して、前記復元画像が入力するように切り替えた前記認識処理手段の前記認識処理に応じた前記逆変換フィルタに切り替えるステップと、
   を有し、
   前記復元処理を実行するステップにおいて、前記逆変換手段に、前記複数の認識処理手段のうち、前記復元画像が入力するように切り替えた前記認識処理手段の前記認識処理に応じて切り替えた前記逆変換フィルタにより周波数特性の異なる前記復元画像を生成する撮像方法。

Images