JP2015005881A - 画像処理装置、撮像装置および撮像システム - Google Patents

Abstract

【課題】フィルタ処理を行う回路の規模の増大を抑制した画像処理装置、撮像装置および撮像システムを提供する。
【解決手段】画像変換部は、対象部分画像１３２をＹ方向に拡張して、擬似部分画像である５×５の対象部分画像１３２ａに画像変換する。フィルタ処理部は、対象部分画像１３２ａに対して、通常画像用の逆変換フィルタ１２１をそのまま利用してコンボリューション演算する。その結果、擬似部分画像である対象部分画像１３２ａに対して逆変換フィルタ１２１によって逆変換処理をした演算値は、対象部分画像１３２に対して近似逆変換フィルタ１２２ａによって逆変換処理をした演算値と同一になる。
【選択図】図１４

Description

本発明は、画像処理装置、撮像装置および撮像システムに関する。

近年、情報のデジタル化の発展に伴い、撮像装置の分野においてもデジタル化の発展が著しい。特に、デジタルカメラに代表される撮像装置において、撮像面は従来のフィルムに置き換わって固体撮像素子が使用されている。固体撮像素子（以下、単に撮像素子という）として、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサまたはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ等が使用されている。

このように、撮像素子を使用した撮像装置は、被写体からの光を光学系によって取り込み、固体撮像素子によって光を電気信号に変換して抽出するものである。このような撮像装置として、デジタルカメラの他、ビデオカメラ、バーコードリーダ、携帯電話機、携帯情報端末（ＰＤＡ：Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）および産業用カメラ等が挙げられる。

上述のような撮像装置においては、光学系に位相板を挿入することによって、被写界深度を拡張する撮像装置がある。被写界深度とは、カメラのレンズからある距離にある被写体に対して、焦点が合っていると許容できるレンズの光軸方向の距離範囲のことをいう。被写界深度を拡張するいわゆるＥＤｏｆ（Ｅｘｔｅｎｄｅｄ Ｄｅｐｔｈ ｏｆ Ｆｉｅｌｄ：強化被写体深度）に対応した用途に用いるカメラとして産業用カメラがある。

上述の位相板による被写界深度の拡張について具体的に説明する。光学系に挿入された位相板は、撮像素子に入射される被写体の光に点像分布関数（ＰＳＦ：Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）を与える働きをし、撮像素子で撮像する画像がぼけた状態にする代わりに広い被写界深度でそのぼけが一定となるようにする。したがって、位相板によってぼけた画像は、所定のＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）の値が得られるように補正する必要がある。このような、位相板によってぼけた画像に対して、ぼけを補正する撮像装置として、点像分布関数の逆変換処理を施すことによって、ＭＴＦを向上させ、高解像度の画像に復元する装置が提案されている（特許文献１参照）。逆変換処理は、撮像素子によって撮像された画像を形成する各画素の情報に対して、逆変換フィルタによるフィルタ処理を施すことによって実現される。

ここで、撮像装置の一例である産業用カメラ等においては、通常、撮像動作の動作モードとして、通常モードとビニングモードとがある。ビニングモードとは、撮像素子を構成するマトリックス状に配置された画素（ＶＧＡ（Ｖｉｄｅｏ Ｇｒａｐｈｉｃｓ Ａｒｒａｙ）であれば、６４０×４８０の画素が存在する）のうちいくつかの画素を１つの画素とみなして、撮像素子に画像を出力させる動作モードである。例えば、ＶＧＡにおける画素において、縦方向の２つの連続した画素を１つの画素とみなした場合、撮像素子は、６４０×２４０のマトリックス状に配列した画素の情報で構成される画像（以下、ビニング画像という）を出力する。このビニングモードは、暗い状況で撮像する場合に、カメラ感度を向上させるために使用される動作モードである。一方、通常モードとは、撮像素子を構成する画素ごとに情報（以下、画素から出力される情報（値）自体を画素というものとする）を出力させる動作モードである。すなわち、ＶＧＡの場合、撮像素子は、通常モードにおいて、６４０×４８０のマトリックス状に配列した画素で構成される画像（以下、通常画像という）を出力する。

しかしながら、通常モードおよびビニングモードにおいては、それぞれ画像の大きさおよび画像を構成する画素の値も異なるため、上述の逆変換処理を施すための逆変換フィルタとして、各動作モードに応じて異なるフィルタを用いる必要がある。逆変換フィルタは、通常、ハードウェア回路によって構成されるが、撮像装置が、通常モードおよびビニングモード用にそれぞれの異なる逆変換フィルタを備える場合、通常モードのみの場合と比較して、回路規模が概ね２倍に増大するという問題点がある。特許文献１においては、通常モードにおける逆変換処理の動作は開示されているが、ビニングモードにおける逆変換処理の動作は開示されておらず、上述のビニングモードに伴う回路規模の拡大の問題点は解消されていない。

本発明は、上記に鑑みてなされたものであって、フィルタ処理を行う回路の規模の増大を抑制した画像処理装置、撮像装置および撮像システムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、被写体を撮像し、複数の画素として出力する撮像手段から出力される通常画像と、該通常画像において所定方向に隣接した所定数の前記画素の加算値を１つの画素として前記撮像手段から出力されるビニング画像とをフィルタ処理する画像処理装置であって、前記通常画像の前記フィルタ処理に使用されるフィルタのタップ数に対応する大きさと等しい大きさになるように、前記ビニング画像において前記フィルタ処理の対象となる部分画像を前記所定方向に拡張した擬似部分画像に変換する画像変換手段と、前記フィルタを使用して、前記擬似部分画像に対して前記フィルタ処理を行うフィルタ処理手段と、を備えることを特徴とする。

本発明によれば、フィルタ処理を行う回路の規模の増大を抑制することができる。

図１は、第１の実施の形態の撮像システムの全体構成の一例を示す図である。 図２は、第１の実施の形態の情報処理装置の構成の一例を示す図である。 図３は、第１の実施の形態の撮像装置の構成の一例を示す図である。 図４は、第１の実施の形態の撮像装置の画像処理部の構成の一例を示す図である。 図５は、検出画像から通常モードにおいて出力される画像およびビニングモードにおいて出力される画像の一例を示す図である。 図６は、第１の実施の形態の画像処理部の画像バッファ部の構成の一例を示す図である。 図７は、撮像素子から出力される画素が画像バッファ部に入力される動作を示すタイミングチャートである。 図８は、第１の実施の形態の画像処理部の画像変換部の構成の一例を示す図である。 図９は、第１の実施の形態の画像変換部によってビニング部分画像から変換される擬似部分画像の一例を示す図である。 図１０は、第１の実施の形態の画像処理部のフィルタ処理部の構成の一例を示す図である。 図１１は、通常画像用およびビニング画像用の逆変換フィルタを示す図である。 図１２は、通常画像を通常画像用の逆変換フィルタによってフィルタ処理することを説明する図である。 図１３は、通常画像において逆変換フィルタのフィルタ処理の対象となる対象部分画像をスキャンする動作を説明する図である。 図１４は、第１の実施の形態におけるビニング画像の対象部分画像と擬似部分画像とを逆変換フィルタによってフィルタ処理することを説明する図である。 図１５は、第１の実施の形態の撮像装置における逆変換処理の動作を示すフローチャートである。 図１６は、第２の実施の形態の撮像装置の画像処理部の構成の一例を示す図である。 図１７は、第２の実施の形態の画像処理部の画像変換部の構成の一例を示す図である。 図１８は、第２の実施の形態の画像変換部によってビニング部分画像から変換される擬似部分画像の一例を示す図である。 図１９は、第２の実施の形態におけるビニング画像の対象部分画像と擬似部分画像とを逆変換フィルタによってフィルタ処理することを説明する図である。

以下に、図面を参照しながら、本発明に係る画像処理装置、撮像装置および撮像システムの実施の形態を詳細に説明する。また、以下の実施の形態によって本発明が限定されるものではなく、以下の実施の形態における構成要素には、当業者が容易に想到できるもの、実質的に同一のもの、およびいわゆる均等の範囲のものが含まれる。さらに、以下の実施の形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換および変更を行うことができる。

（第１の実施の形態）
＜撮像システムの全体構成＞
図１は、第１の実施の形態の撮像システムの全体構成の一例を示す図である。図１を参照しながら、本実施の形態の撮像システム５００の構成について説明する。

図１に示すように、本実施の形態の撮像システム５００は、撮像装置１と、ＰＣ２と、を備えている。撮像装置１とＰＣ２とは、Ｅｔｈｅｒｎｅｔ（登録商標）ケーブル等の通信ケーブル３によって通信可能に接続されている。

撮像装置１は、被写体４から出る光を電気信号に変換することによって被写体４を撮像し、画像の情報（以下、単に画像という）として通信ケーブル３を介してＰＣ２へ送信する。ＰＣ２は、撮像装置１から受信した画像に対して所定の処理を実行する。

例えば、撮像装置１は、生産ラインを流れる製品に添付されたバーコードを撮像して、バーコードの画像をＰＣ２に送信する。ＰＣ２は、受信した画像からバーコードの情報を読み出して解析する。

なお、図１に示すように、撮像システム５００は、撮像装置１とＰＣ２とが通信ケーブル３を介してデータを通信する有線通信方式のシステムとしているが、これに限定されるものではない。例えば、撮像装置１とＰＣ２とは、Ｗｉ−Ｆｉ（ＷｉｒｅｌｅｓｓＦｉｄｅｌｉｔｙ）等の無線通信方式によって互いにデータが通信可能であってもよい。

また、撮像装置１およびＰＣ２が生産ラインにおいて使用される場合、撮像システム５００は、ＰＣ２がＰＬＣ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｃｏｎｔｒｏｌｌｅｒ）等に通信可能に接続されている構成としてもよい。この場合、撮像システム５００の動作として、以下の動作が一例として挙げられる。ＰＣ１は、生産ラインを流れる製品に添付されたバーコードを撮像して、バーコードの画像をＰＣ２に送信する。ＰＣ２は、受信したバーコードの画像から、生産ラインを流れている製品の品番を判定する。ＰＣ２は、判定した品番が、生産ラインにおいて段替えされている品番と不一致である場合、判定した品番に対応する製品は異なる品番の製品であることを示す信号をＰＬＣに送信する。ＰＬＣは、ＰＣ２から異なる品番の製品であることを示す信号を受信した場合、その製品を生産ラインから除去するように生産ラインの動作を制御する。

＜情報処理装置の構成＞
図２は、第１の実施の形態の情報処理装置の構成の一例を示す図である。図２を参照しながら、情報処理装置の一例であるＰＣ２の構成について説明する。

図２に示すように、情報処理装置の一例であるＰＣ２は、通信部２１と、操作部２２と、表示部２３と、記憶部２４と、外部記憶装置２５と、制御部２６と、を備えている。上記の各部は、バス２７によって接続され、互いにデータの送受信が可能となっている。

通信部２１は、通信ケーブル３を介して、撮像装置１と通信する装置である。通信部２１は、例えば、ＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）等の通信装置によって実現される。通信部２１の通信プロトコルは、例えば、ＴＣＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ）／ＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）またはＵＤＰ（Ｕｓｅｒ Ｄａｔａｇｒａｍ Ｐｒｏｔｏｃｏｌ）／ＩＰ等によって実現される。

操作部２２は、ユーザによって制御部２６に対して所定の処理を実行させるための操作入力を行う装置である。操作部２２は、例えば、マウス、キーボード、テンキー、タッチパッドまたはタッチパネルにおける操作入力機能によって実現される。

表示部２３は、制御部２６により実行されているアプリケーション画像等を表示する装置である。表示部２３は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ、液晶ディスプレイ、プラズマディスプレイまたは有機ＥＬ（Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等によって実現される。

記憶部２４は、ＰＣ２で実行される各種プログラムおよびＰＣ２で行われる各種処理に使用されるデータ等を記憶する装置である。記憶部２４は、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）およびＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の記憶装置によって実現される。

外部記憶装置２５は、画像、プログラムおよびフォントデータ等を蓄積して記憶する記憶装置である。外部記憶装置２５は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、光ディスク、または光磁気ディスク（ＭＯ：Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ Ｄｉｓｋ）等の記憶装置によって実現される。

制御部２６は、ＰＣ２の各部の動作を制御する装置である。制御部２６は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）およびＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等で実現される。

＜撮像装置の構成＞
図３は、第１の実施の形態の撮像装置の構成の一例を示す図である。図３を参照しながら、本実施の形態の撮像装置１の構成について説明する。

図３に示すように、撮像装置１は、レンズユニット１１と、撮像素子１２（撮像手段）と、撮像素子制御部１３（制御手段）と、画像処理部１４と、通信部１５と、を備えている。

レンズユニット１１は、被写体４から出る光を集光し、撮像素子１２に対して結像させるユニットである。レンズユニット１１は、１枚以上のレンズで構成された光学系によって実現される。レンズユニット１１は、位相板１１ａ（被写界深度拡張手段）と、絞り１１ｂとを備えている。被写体４は、例えば、人物、被監視物、バーコード、２次元コードまたは文字列等である。

位相板１１ａは、レンズユニット１１に入射する光に対して位相差を与える作用を有する。その結果、位相板１１ａは、撮像素子１２に入射される光に対して点像分布関数を与える作用を奏し、撮像素子１２で撮像される画像がぼけた状態（収差が発生した状態）とする代わりに広い被写界深度でそのぼけが一定となるようにする。

絞り１１ｂは、レンズユニット１１に入射する光の量を自在に調整する部材であり、位相板１１ａの近傍に配置されている。

撮像素子１２は、レンズユニット１１に入射する被写体からの光を電気信号に変換することによって被写体４を撮像して画像を生成する固体撮像素子である。撮像素子１２は、固体撮像素子によって撮像した画像を形成する画素を出力する。撮像素子１２は、例えば、ＣＣＤセンサまたはＣＭＯＳセンサ等によって実現される。

撮像素子制御部１３は、ＰＣ２から通信部１５を介して制御信号を受信し、制御信号によって撮像素子１２および画像処理部１４に対して動作モード（通常モードおよびビニングモード）を変更させる装置である。

画像処理部１４は、撮像素子１２から出力される画像から、フィルタ処理を施した画像を生成する装置である。

通信部１５は、通信ケーブル３を介して、ＰＣ２と通信する装置である。通信部１５は、例えば、画像処理部１４から出力される画像をＰＣ２に対して送信する。通信部１５は、例えば、ＮＩＣ等の通信装置によって実現される。通信部１５の通信プロトコルは、例えば、ＴＣＰ／ＩＰまたはＵＤＰ／ＩＰ等によって実現される。

＜画像処理部の構成および動作＞
図４は、第１の実施の形態の撮像装置の画像処理部の構成の一例を示す図である。図５は、検出画像から通常モードにおいて出力される画像およびビニングモードにおいて出力される画像の一例を示す図である。図４を参照しながら、本実施の形態の撮像装置１の画像処理部１４の構成について説明する。

撮像素子１２は、図４に示すように、撮像素子制御部１３から受信する制御信号に基づいて、動作モードを通常モードまたはビニングモードに切り替える。以下、撮像素子１２は、ＶＧＡの画像を形成して出力するものとして説明する。具体的には、撮像素子１２は、図５に示すように、Ｘ方向に６４０個、Ｙ方向に４８０個の検出素子によって、６４０×４８０のマトリックス状に配列された画素で構成される画像である検出画像１０１を検出する。図５に示すように、撮像素子１２によって検出される画像について、検出画像１０１の一部を抜き出した検出部分画像１０２で説明する。図５に示すように、検出部分画像１０２は、Ｄ１１〜Ｄ１５、Ｄ２１〜Ｄ２５、Ｄ３１〜Ｄ３５およびＤ４１〜Ｄ４５の各画素によって構成される部分画像である。

通常モードの場合、撮像素子１２は、検出された画像について何も処理せずにそのまま通常画像として出力する。具体的には、撮像素子１２は、検出部分画像１０２について何も処理せずに出力部分画像１０３ａを出力する。一方、ビニングモードの場合、撮像素子１２は、検出された画像のＹ方向の２画素分の値の和をとって１画素とみなして、ビニング画像を出力する。具体的には、撮像素子１２は、検出部分画像１０２のＹ方向の２画素分の値の和をとって１画素とみなして、出力部分画像１０３ｂを出力する。すなわち、通常モードにおいて撮像素子１２により出力される通常画像の大きさは６４０×４８０であるのに対し、ビニングモードにおいて撮像素子１２により出力されるビニング画像の大きさは６４０×２４０である。したがって、ビニング画像は、通常画像をＹ方向において半分の大きさに圧縮した画像となっている。

なお、図５に示すように、ビニング画像は、通常画像のＹ方向の２画素分の値の和をとって１画素として構成されるものとしたが、これに限定されるものではない。すなわち、ビニング画像は、通常画像のＹ方向の３画素分以上の値の和をとって１画素として構成されるものとしてもよい。

また、撮像素子１２が検出する画像の大きさは６４０×４８０のＶＧＡの画像であるものとしたが、これに限定されるものではなく、異なる大きさの画像であってもよい。

図４に示すように、本実施の形態の画像処理部１４は、画像バッファ部１４１と、画像変換部１４２（画像変換手段）と、フィルタ処理部１４３（フィルタ処理手段）とを備えている。

画像バッファ部１４１は、撮像素子１２から出力される画素を順に入力してバッファリングする装置である。画像バッファ部１４１の具体的な構成および動作については、図６および７において後述する。

画像変換部１４２は、撮像素子制御部１３から受信する制御信号に基づいて、動作モードを通常モードまたはビニングモードに切り替える。ビニングモードの場合、画像変換部１４２は、画像バッファ部１４１から出力されたビニング画像の部分を、通常画像の部分と同じ大きさの部分画像（以下、擬似部分画像という）に変換して出力する。一方、通常モードの場合、画像変換部１４２は、画像バッファ部１４１から出力された通常画像の画素を、画像変換せずにそのまま通常画像の画素として出力する。画像変換部１４２の具体的な構成および動作については、図８および９において後述する。

フィルタ処理部１４３は、画像変換部１４２から出力される画素に対して、フィルタ回路によって、所定のフィルタ処理を行う。本実施の形態においては、フィルタ処理として、位相板１１ａの作用によって点像分布関数を与えられたぼけた画像に対して、ぼけを補正する逆変換処理をするためのフィルタ処理を例に説明する。フィルタ処理部１４３の具体的な構成および動作については、図１０〜１４において後述する。

＜＜画像バッファ部１４１の構成および動作＞＞
図６は、第１の実施の形態の画像処理部の画像バッファ部の構成の一例を示す図である。図７は、撮像素子から出力される画素が画像バッファ部に入力される動作を示すタイミングチャートである。図６および７を参照しながら、画像処理部１４の画像バッファ部１４１の構成および動作について説明する。

画像バッファ部１４１は、図６に示すように、レジスタ１４１１ａ〜１４１１ｄと、ラインバッファ１４１２ａ〜１４１２ｄと、を備えている。画像バッファ部１４１は、撮像素子１２から出力される画素を入力部１４１０から入力し、バッファリングした画素を出力部１４１３ａ〜１４１３ｅから出力する。撮像素子１２によって検出される画像の６４０×４８０の各画素について、Ｘ方向のＸ番目およびＹ方向のＹ番目の画素を（Ｘ，Ｙ）の画素というものとする。

図６に示すように、レジスタ１４１１ａの入力側は、入力部１４１０および出力部１４１３ａに接続されている。レジスタ１４１１ａ〜１４１１ｄの出力側は、それぞれラインバッファ１４１２ａ〜１４１２ｄの入力側に接続されている。ラインバッファ１４１２ａ〜１４１２ｃの出力側は、それぞれレジスタ１４１１ｂ〜１４１１ｄの入力側に接続されている。そして、ラインバッファ１４１２ａ〜１４１２ｄの出力側は、それぞれ出力部１４１３ｂ〜１４１３ｅに接続されている。

次に、図７を参照しながら、撮像素子１２によって検出された画像の出力動作について説明する。撮像素子１２は、検出した画素をＸ方向の１水平ラインずつ走査しながら、その１水平ラインに含まれる画素を出力する。具体的には、撮像素子１２は、Ｙ方向の１番目の水平ラインに含まれる画素を、Ｘ方向の１番目の画素から６４０番目の画素まで順に出力する。撮像素子１２は、上記の動作を、Ｙ方向の４８０番目の水平ラインに含まれる画素の出力まで行う。

上記の動作を図７に示すタイミングチャートに基づいて説明する。図７に示すように、撮像素子１２は、有効フレーム信号がオン状態のとき、１フレーム分、すなわち１画像分の画素を出力する。撮像素子１２において、有効フレーム信号がオン状態になってからフレーム開始期間Ａを経て、Ｙ方向の１番目の水平ラインの画素の出力許可を示す有効ライン信号Ｌ１がオン状態になる。撮像素子１２は、有効ライン信号Ｌ１がオン状態になっている有効データ期間Ｔの間に、Ｙ方向の１番目の水平ラインを走査し、その水平ラインに含まれるＸ方向の１〜６４０番目の画素（（１，１）〜（６４０，１）の画素）を順に出力する。撮像素子１２によってＹ方向の１番目の水平ラインの画素が出力された後、有効ライン信号Ｌ１がオフ状態になる。

撮像素子１２において、有効ライン信号Ｌ１がオフ状態になってから水平ブランキング期間Ｂを経て、Ｙ方向の２番目の水平ラインの画素の出力許可を示す有効ライン信号Ｌ２がオン状態になる。撮像素子１２は、有効ライン信号Ｌ２がオン状態になっている有効データ期間Ｔの間に、Ｙ方向の２番目の水平ラインを走査し、その水平ラインに含まれるＸ方向の１〜６４０番目の画素（（１，２）〜（６４０，２）の画素）を順に出力する。撮像素子１２によってＹ方向の２番目の水平ラインの画素が出力された後、有効ライン信号Ｌ２がオフ状態になる。

撮像素子１２は、以上の動作について、有効ライン信号Ｌ４８０がオン状態になっている有効データ期間Ｔの間に、Ｙ方向の４８０番目の水平ラインに含まれるＸ方向の１〜６４０番目の画素を出力するまで行う。撮像素子１２において、有効ライン信号Ｌ４８０がオフ状態になってからフレーム終了期間Ｃを経て、有効フレーム信号がオフ状態になる。以上の動作によって、撮像素子１２による１フレーム分の画素の出力が終了する。また、撮像素子１２において、有効フレーム信号がオフ状態になってから垂直ブランキング期間Ｄを経て、再び有効フレーム信号がオン状態になり、次の１フレーム分の画素の出力が開始される。

次に、図６を参照しながら、画像バッファ部１４１における撮像素子１２から出力される画素のバッファリング処理について説明する。画像バッファ部１４１は、撮像素子１２から出力される画素を入力部１４１０から入力する。具体的には、画像バッファ部１４１は、まず、Ｙ方向の１番目の水平ラインについて、撮像素子１２から入力した（１，１）の画素を、出力部１４１３ａから出力すると共に、レジスタ１４１１ａに格納する。

画像バッファ部１４１は、次のタイミングで、レジスタ１４１１ａに格納した画素をラインバッファ１４１２ａの記憶領域１ａに格納する。そして、画像バッファ部１４１は、撮像素子１２から次に入力した（２，１）の画素を出力部１４１３ａから出力すると共に、レジスタ１４１１ａに格納する。

画像バッファ部１４１は、次のタイミングで、記憶領域１ａに格納した画素をラインバッファ１４１２ａの記憶領域２ａにシフトして格納し、レジスタ１４１１ａに格納した画素を記憶領域１ａに格納する。そして、画像バッファ部１４１は、撮像素子１２から次に入力した（３，１）の画素を出力部１４１３ａから出力すると共に、レジスタ１４１１ａに格納する。

以上の動作を繰り返すことにより、画像バッファ部１４１は、撮像素子１２から入力したＹ方向の１番目の水平ラインの画素を出力部１４１３ａから出力する。それと共に、画像バッファ部１４１は、Ｙ方向の１番目の水平ラインの１〜６３９番目の画素をラインバッファ１４１２ａの記憶領域６３９ａ〜１ａにそれぞれ格納し、６４０番目の画素をレジスタ１４１１ａに格納する。

次に、画像バッファ部１４１は、ラインバッファ１４１２ａの記憶領域１ａ〜６３９ａに格納した画素を記憶領域２ａ〜６４０ａにシフトして格納し、レジスタ１４１１ａに格納した画素を記憶領域１ａに格納する。画像バッファ部１４１は、記憶領域６４０ａに格納した（１，１）の画素を出力部１４１３ｂから出力すると共に、レジスタ１４１１ｂに格納する。そして、画像バッファ部１４１は、Ｙ方向の２番目の水平ラインについて、撮像素子１２から入力した（１，２）の画素を出力部１４１３ａから出力すると共に、レジスタ１４１１ａに格納する。すなわち、画像バッファ部１４１は、Ｘ方向の値が同一の画素である（１，１）および（１，２）の画素を、出力部１４１３ｂおよび１４１３ａからそれぞれ出力する。

画像バッファ部１４１は、次のタイミングで、レジスタ１４１１ｂに格納した画素をラインバッファ１４１２ｂの記憶領域１ｂに格納する。画像バッファ部１４１は、ラインバッファ１４１２ａの記憶領域１ａ〜６３９ａに格納した画素を記憶領域２ａ〜６４０ａにシフトして格納し、レジスタ１４１１ａに格納した画素を記憶領域１ａに格納する。画像バッファ部１４１は、記憶領域６４０ａに格納した（２，１）の画素を出力部１４１３ｂから出力すると共に、レジスタ１４１１ｂに格納する。そして、画像バッファ部１４１は、撮像素子１２から次に入力した（２，２）の画素を出力部１４１３ａから出力すると共に、レジスタ１４１１ａに格納する。

画像バッファ部１４１は、次のタイミングで、記憶領域１ｂに格納した画素をラインバッファ１４１２ｂの記憶領域２ｂにシフトして格納し、レジスタ１４１１ｂに格納した画素を記憶領域１ｂに格納する。画像バッファ部１４１は、ラインバッファ１４１２ａの記憶領域１ａ〜６３９ａに格納した画素を記憶領域２ａ〜６４０ａにシフトして格納し、レジスタ１４１１ａに格納した画素を記憶領域１ａに格納する。画像バッファ部１４１は、記憶領域６４０ａに格納した（３，１）の画素を出力部１４１３ｂから出力すると共に、レジスタ１４１１ｂに格納する。そして、画像バッファ部１４１は、撮像素子１２から次に入力した（３，２）の画素を出力部１４１３ａから出力すると共に、レジスタ１４１１ａに格納する。

以上の動作を繰り返すことにより、画像バッファ部１４１は、撮像素子１２から入力したＹ方向の１および２番目の水平ラインの画素についてＸ方向の値が同一の画素を、出力部１４１３ａおよび１４１３ｂからそれぞれ同一のタイミングで出力する。それと共に、画像バッファ部１４１は、Ｙ方向の１番目の水平ラインの１〜６３９番目の画素をラインバッファ１４１２ｂの記憶領域１ｂ〜６３９ｂにそれぞれ格納し、６４０番目の画素をレジスタ１４１１ｂに格納する。さらに、画像バッファ部１４１は、Ｙ方向の２番目の水平ラインの１〜６３９番目の画素をラインバッファ１４１２ａの記憶領域１ａ〜６３９ａにそれぞれ格納し、６４０番目の画素をレジスタ１４１１ａに格納する。

以上の動作のように、画像バッファ部１４１は、撮像素子１２から入力した各水平ラインの画素をラインバッファ１４１２ａ〜１４１２ｄにバッファリングする。それと共に、画像バッファ部１４１は、Ｘ方向の値が同一の画素、すなわち、（Ｘ，Ｙ−４）、（Ｘ，Ｙ−３）、（Ｘ，Ｙ−２），（Ｘ，Ｙ−１）および（Ｘ，Ｙ）の画素を、出力部１４１３ａ〜１４１３ｅからそれぞれ同一のタイミングで出力する。

なお、図６は画像バッファ部１４１の構成の一例を示すものであり、この構成に限定されるものではなく、上述した画像バッファ部１４１のバッファリング処理と同様の作用を奏する構成であればよい。

＜＜画像変換部１４２の構成および動作＞＞
図８は、第１の実施の形態の画像処理部の画像変換部の構成の一例を示す図である。図９は、第１の実施の形態の画像変換部によってビニング部分画像から変換される擬似部分画像の一例を示す図である。図８および９を参照しながら、画像処理部１４の画像変換部１４２の構成および動作について説明する。

画像変換部１４２は、図８に示すように、加算器１４２２ａ、１４２２ｂと、乗算器１４２３ａ、１４２３ｂと、出力切替器１４２４ａ〜１４２４ｅと、を備えている。画像変換部１４２は、画像バッファ部１４１から出力される画素を入力部１４２１ａ〜１４２１ｅから入力し、変換した画素を出力部１４２５ａ〜１４２５ｅから出力する。

加算器１４２２ａ、１４２２ｂは、入力側から入力される２つの画素の加算値を出力する回路である。乗算器１４２３ａ、１４２３ｂは、入力側から入力されるデータの値と「０．５」との乗算値を出力する回路である。出力切替器１４２４ａ〜１４２４ｅは、撮像素子制御部１３からの制御信号を入力している場合、「１」端子に入力されたデータを出力し、制御信号を入力していない場合、「０」端子に入力されたデータを出力する回路である。

図８に示すように、撮像素子制御部１３は、出力切替器１４２４ａ〜１４２４ｅの入力側にそれぞれ接続されており、ＰＣ２から通信部１５を介して受信した制御信号を入力させる。入力部１４２１ａは、出力切替器１４２４ａの入力側の「０」端子に接続されている。入力部１４２１ｂは、出力切替器１４２４ａの入力側の「１」端子、出力切替器１４２４ｂの入力側の「０」端子、および加算器１４２２ａの入力側にそれぞれ接続されている。入力部１４２１ｃは、加算器１４２２ａの入力側、出力切替器１４２４ｃの入力側の「０」端子および「１」端子、ならびに加算器１４２２ｂの入力側にそれぞれ接続されている。入力部１４２１ｄは、出力切替器１４２４ｄの入力側の「０」端子、加算器１４２２ｂの入力側、出力切替器１４２４ｅの「１」端子にそれぞれ接続されている。入力部１４２１ｅは、出力切替器１４２４ｅの入力側の「０」端子に接続されている。

加算器１４２２ａおよび１４２２ｂの出力側は、それぞれ乗算器１４２３ａおよび１４２３ｂの入力側に接続されている。乗算器１４２３ａおよび１４２３ｂの出力側は、それぞれ出力切替器１４２４ｂおよび１４２４ｄの入力側の「１」端子に接続されている。出力切替器１４２４ａ〜１４２４ｅの出力側は、それぞれ出力部１４２５ａ〜１４２５ｅに接続されている。

次に、図８および９を参照しながら、画像変換部１４２における画像変換処理について説明する。まず、通常モードにおける画像変換部１４２の処理について説明する。画像変換部１４２は、撮像素子制御部１３から制御信号を受信していない場合、通常モードで動作する。具体的には、通常モードにおいて、出力切替器１４２４ａ〜１４２４ｅは、入力側に撮像素子制御部１３からの制御信号が入力されておらず、入力側の「０」端子に入力された画素を出力する。

画像変換部１４２において、入力部１４２１ａ〜１４２１ｅのそれぞれから入力された画素は、出力切替器１４２４ａ〜１４２４ｅの入力側の「０」端子に入力される。出力切替器１４２４ａ〜１４２４ｅは、それぞれ入力側の「０」端子から入力された画素を出力する。出力切替器１４２４ａ〜１４２４ｅから出力された画素は、それぞれ出力部１４２５ａ〜１４２５ｅから出力される。すなわち、画像変換部１４２は、入力部１４２１ａ〜１４２１ｅから入力した通常画像の画素を画像変換せずに、そのまま出力部１４２５ａ〜１４２５ｅから出力する。

次に、ビニングモードにおける画像変換部１４２の処理について説明する。画像変換部１４２は、撮像素子制御部１３から制御信号を受信している場合、ビニングモードで動作する。具体的には、ビニングモードにおいて、出力切替器１４２４ａ〜１４２４ｅは、入力側に撮像素子制御部１３からの制御信号が入力されており、入力側の「１」端子に入力されたデータを出力する。

画像変換部１４２において、入力部１４２１ａから入力された画素は、出力切替器１４２４ａの入力側の「０」端子に入力される。入力部１４２１ｂから入力された画素は、出力切替器１４２４ａの入力側の「１」端子、出力切替器１４２４ｂの入力側の「０」端子、および加算器１４２２ａに入力される。入力部１４２１ｃから入力された画素は、加算器１４２２ａ、出力切替器１４２４ｃの入力側の「０」端子および「１」端子、ならびに加算器１４２２ｂに入力される。入力部１４２１ｄから入力された画素は、出力切替器１４２４ｄの入力側の「０」端子、加算器１４２２ｂ、および出力切替器１４２４ｅの入力側の「１」端子に入力される。入力部１４２１ｅから入力された画素は、出力切替器１４２４ｅの入力側の「０」端子に入力される。

加算器１４２２ａは、入力した入力部１４２１ｂおよび１４２１ｃからの画素の加算値を乗算器１４２３ａに出力する。乗算器１４２３ａは、加算器１４２２ａから入力したデータと「０．５」との乗算値を出力切替器１４２４ｂの入力側の「１」端子に出力する。加算器１４２２ｂは、入力した入力部１４２１ｃおよび１４２１ｄからの画素の加算値を乗算器１４２３ｂに出力する。乗算器１４２３ｂは、加算器１４２２ｂから入力したデータと「０．５」との乗算値を出力切替器１４２４ｄの入力側の「１」端子に出力する。

出力切替器１４２４ａは、入力部１４２１ｂから入力した画素を出力する。出力切替器１４２４ｂは、乗算器１４２３ａから入力したデータを出力する。出力切替器１４２４ｃは、入力部１４２１ｃから入力した画素を出力する。出力切替器１４２４ｄは、乗算器１４２３ｂから入力したデータを出力する。出力切替器１４２４ｅは、入力部１４２１ｄから入力した画素を出力する。

以上の動作により、図９に示したビニング部分画像１１１の画素が、画像変換部１４２の入力部１４２１ｂ〜１４２１ｄに入力された場合、出力部１４２５ａ〜１４２５ｅから擬似部分画像１１１ａの画素が出力される。例えば、ビニング部分画像１１１のうち画素Ｂ１１、Ｂ２１およびＢ３１が、それぞれ入力部１４２１ｂ〜１４２１ｄに入力されたとする。この場合、擬似部分画像１１１ａにおける画素Ｂ１１、（１／２）×（Ｂ１１＋Ｂ２１）、Ｂ２１、（１／２）×（Ｂ２１＋Ｂ３１）、およびＢ３１が、それぞれ出力部１４２５ａ〜１４２５ｅから出力される。画像変換部１４２は、図９に示すように、５×３のマトリックス状に配列された画素により構成されるビニング部分画像１１１を５×５のマトリックス状に配列された画素により構成される擬似部分画像１１１ａにＹ方向に拡張して画像変換する。ここで、擬似部分画像１１１ａを構成する画素のうち、出力部１４２５ｂから出力される画素は、出力部１４２５ａおよび１４２５ｃから出力される画素の平均値としている。同様に、擬似部分画像１１１ａを構成する画素のうち、出力部１４２５ｄから出力される画素は、出力部１４２５ｃおよび１４２５ｅから出力される画素の平均値としている。

なお、図８は画像変換部１４２の構成の一例を示すものであり、この構成に限定されるものではなく、上述した画像変換部１４２の画像変換処理と同様の作用を奏する構成であればよい。

＜＜フィルタ処理部１４３の構成および動作＞＞
図１０は、第１の実施の形態の画像処理部のフィルタ処理部の構成の一例を示す図である。図１１は、通常画像用およびビニング画像用の逆変換フィルタを示す図である。図１２は、通常画像を通常画像用の逆変換フィルタによってフィルタ処理することを説明する図である。図１３は、通常画像において逆変換フィルタのフィルタ処理の対象となる対象部分画像をスキャンする動作を説明する図である。図１４は、第１の実施の形態におけるビニング画像の対象部分画像と擬似部分画像とを逆変換フィルタによってフィルタ処理することを説明する図である。図１０〜１４を参照しながら、画像処理部１４のフィルタ処理部１４３の構成および動作について説明する。

フィルタ処理部１４３は、図１０に示すように、レジスタ１４３２ａ〜１４３２ｅ、１４３３ａ〜１４３３ｅ、１４３４ａ〜１４３４ｅ、１４３５ａ〜１４３５ｅ、１４３６ａ〜１４３６ｅおよび１４３７ａ〜１４３７ｅを備えている。フィルタ処理部１４３は、乗算器１４３８ａ〜１４３８ｅ、１４３９ａ〜１４３９ｅ、１４４０ａ〜１４４０ｅ、１４４１ａ〜１４４１ｅおよび１４４２ａ〜１４４２ｅを備えている。フィルタ処理部１４３は、加算器１４４３ａ〜１４４３ｅ、１４４４ａ〜１４４４ｅ、１４４５ａ〜１４４５ｅ、１４４６ａ〜１４４６ｅおよび１４４７ａ〜１４４７ｃを備えている。そして、フィルタ処理部１４３は、画像変換部１４２から出力される画素を入力部１４３１ａ〜１４３１ｅから入力し、所定のフィルタ係数を有する逆変換フィルタによってコンボリューション演算を行い、演算値を出力部１４４８から出力する。

乗算器１４３８ａ〜１４３８ｅ、１４３９ａ〜１４３９ｅ、１４４０ａ〜１４４０ｅ、１４４１ａ〜１４４１ｅおよび１４４２ａ〜１４４２ｅは、入力側から入力される画素とフィルタ係数との乗算値を出力する回路である。具体的には、乗算器１４３８ａ〜１４４２ａは、それぞれフィルタ係数ａ５５〜ａ５１と画素との乗算値を出力する。乗算器１４３８ｂ〜１４４２ｂは、それぞれフィルタ係数ａ４５〜ａ４１と画素との乗算値を出力する。乗算器１４３８ｃ〜１４４２ｃは、それぞれフィルタ係数ａ３５〜ａ３１と画素との乗算値を出力する。乗算器１４３８ｄ〜１４４２ｄは、それぞれフィルタ係数ａ２５〜ａ２１と画素との乗算値を出力する。乗算器１４３８ｅ〜１４４２ｅは、それぞれフィルタ係数ａ１５〜ａ１１と画素との乗算値を出力する。加算器１４４３ａ〜１４４３ｅ、１４４４ａ〜１４４４ｅ、１４４５ａ〜１４４５ｅ、１４４６ａ〜１４４６ｅ、ならびに１４４７ａおよび１４４７ｃは、入力側から入力される２つのデータの値の加算値を出力する回路である。加算器１４４７ｂは、入力側から入力される３つのデータの値の加算値を出力する回路である。

図１０に示すように、入力部１４３１ａ〜１４３１ｅは、それぞれレジスタ１４３２ａ〜１４３２ｅの入力側に接続されている。レジスタ１４３２ａ〜１４３７ａは、直列に接続している。レジスタ１４３２ｂ〜１４３７ｂ、１４３２ｃ〜１４３７ｃ、１４３２ｄ〜１４３７ｄおよび１４３２ｅ〜１４３７ｅのそれぞれについても同様である。

入力部１４３１ａ〜１４３１ｅは、それぞれ乗算器１４３８ａ〜１４３８ｅの入力側に接続されている。レジスタ１４３２ａ〜１４３５ａの出力側は、それぞれ乗算器１４３９ａ〜１４４２ａの入力側に接続されている。レジスタ１４３２ｂ〜１４３５ｂと乗算器１４３９ｂ〜１４４２ｂとの接続関係、レジスタ１４３２ｃ〜１４３５ｃと乗算器１４３９ｃ〜１４４２ｃとの接続関係、レジスタ１４３２ｄ〜１４３５ｄと乗算器１４３９ｄ〜１４４２ｄとの接続関係、およびレジスタ１４３２ｅ〜１４３５ｅと乗算器１４３９ｅ〜１４４２ｅとの接続関係もそれぞれ同様である。

乗算器１４３８ａ〜１４３８ｅの出力側は、それぞれ加算器１４４３ａ〜１４４３ｅの入力側に接続されている。加算器１４４３ａ〜１４４６ａは、直列に接続している。加算器１４４３ｂ〜１４４６ｂ、１４４３ｃ〜１４４６ｃ、１４４３ｄ〜１４４６ｄおよび１４４３ｅ〜１４４６ｅのそれぞれについても同様である。

乗算器１４３９ａ〜１４４２ａの出力側は、それぞれ加算器１４４３ａ〜１４４６ａの入力側に接続されている。乗算器１４３９ｂ〜１４４２ｂと加算器１４４３ｂ〜１４４６ｂとの接続関係、乗算器１４３９ｃ〜１４４２ｃと加算器１４４３ｃ〜１４４６ｃとの接続関係、乗算器１４３９ｄ〜１４４２ｄと加算器１４４３ｄ〜１４４６ｄとの接続関係、および乗算器１４３９ｅ〜１４４２ｅと加算器１４４３ｅ〜１４４６ｅとの接続関係もそれぞれ同様である。

加算器１４４６ａおよび１４４６ｂの出力側は、加算器１４４７ａの入力側に接続されている。加算器１４４６ｄおよび１４４６ｅの出力側は、加算器１４４７ｃの入力側に接続されている。加算器１４４６ｃ、１４４７ａおよび１４４７ｃの出力側は、加算器１４４７ｂの入力側に接続されている。加算器１４４７ｂの出力側は、出力部１４４８に接続されている。

次に、図１０〜１４を参照しながら、フィルタ処理部１４３における逆変換処理について説明する。まず、通常モードにおけるフィルタ処理部１４３の逆変換処理について説明する。逆変換処理に使用されるフィルタは、図１１に示すように、上述したフィルタ係数ａ１１〜ａ１５、ａ２１〜ａ２５、ａ３１〜ａ３５、ａ４１〜ａ４５およびａ５１〜ａ５５によって構成されるタップ数が５×５の逆変換フィルタ１２１である。この逆変換フィルタ１２１によって逆変換処理の対象となる通常画像の部分を、図１２に示す対象部分画像１３１であるものとする。対象部分画像１３１は、画素Ａ１１〜Ａ１５、Ａ２１〜Ａ２５、Ａ３１〜Ａ３５、Ａ４１〜Ａ４５およびＡ５１〜Ａ５５によって構成された５×５の通常画像の部分である。

レジスタ１４３２ａ〜１４３２ｅ、１４３３ａ〜１４３３ｅ、１４３４ａ〜１４３４ｅ、１４３５ａ〜１４３５ｅ、１４３６ａ〜１４３６ｅおよび１４３７ａ〜１４３７ｅには、データが格納されていない状態、すなわち、０の値が格納された状態であるものとする。フィルタ処理部１４３は、入力部１４３１ａ〜１４３１ｅから対象部分画像１３１の画素Ａ５１、Ａ４１、Ａ３１、Ａ２１およびＡ１１を入力し、それぞれレジスタ１４３２ａ〜１４３２ｅに格納すると共に、乗算器１４３８ａ〜１４３８ｅに入力させる。乗算器１４３８ａ〜１４３８ｅは、それぞれのフィルタ係数であるａ５５、ａ４５、ａ３５、ａ２５およびａ１５と、それぞれ入力した画素Ａ５１、Ａ４１、Ａ３１、Ａ２１およびＡ１１との乗算値を出力する。乗算器１４３８ａ〜１４３８ｅによって演算された乗算値は、加算器１４４７ａ〜１４４７ｃによって加算される。加算値は、加算器１４４７ｂから出力され、出力部１４４８からフィルタ処理部１４３の外部に出力される。

フィルタ処理部１４３は、次のタイミングで、レジスタ１４３２ａ〜１４３２ｅに格納した画素Ａ５１、Ａ４１、Ａ３１、Ａ２１およびＡ１１を、それぞれレジスタ１４３３ａ〜１４３３ｅにシフトして格納し、乗算器１４３９ａ〜１４３９ｅに入力させる。フィルタ処理部１４３は、入力部１４３１ａ〜１４３１ｅから対象部分画像１３１の画素Ａ５２、Ａ４２、Ａ３２、Ａ２２およびＡ１２を入力し、それぞれレジスタ１４３２ａ〜１４３２ｅに格納すると共に、乗算器１４３８ａ〜１４３８ｅに入力させる。乗算器１４３９ａ〜１４３９ｅは、それぞれのフィルタ係数であるａ５４、ａ４４、ａ３４、ａ２４およびａ１４と、それぞれ入力した画素Ａ５１、Ａ４１、Ａ３１、Ａ２１およびＡ１１との乗算値を出力する。乗算器１４３８ａ〜１４３８ｅは、それぞれのフィルタ係数であるａ５５、ａ４５、ａ３５、ａ２５およびａ１５と、それぞれ入力した画素Ａ５２、Ａ４２、Ａ３２、Ａ２２およびＡ１２との乗算値を出力する。乗算器１４３９ａ〜１４３９ｅによって演算された乗算値、および乗算器１４３８ａ〜１４３８ｅによって演算された乗算値は、加算器１４４３ａ〜１４４３ｅおよび１４４７ａ〜１４４７ｃによって加算される。加算値は、加算器１４４７ｂから出力され、出力部１４４８からフィルタ処理部１４３の外部に出力される。

そして、以上の動作が繰り返された結果、レジスタ１４３２ａ〜１４３６ａ、１４３２ｂ〜１４３６ｂ、１４３２ｃ〜１４３６ｃ、１４３２ｄ〜１４３６ｄおよび１４３２ｅ〜１４３６ｅに、それぞれ画素Ａ５５〜Ａ５１、Ａ４５〜Ａ４１、Ａ３５〜Ａ３１、Ａ２５〜Ａ２１およびＡ１５〜Ａ１１が格納されたものとする。また、乗算器１４３８ａ〜１４４２ａ、１４３８ｂ〜１４４２ｂ、１４３８ｃ〜１４４２ｃ、１４３８ｄ〜１４４２ｄおよび１４３８ｅ〜１４４２ｅに、それぞれ画素Ａ５５〜Ａ５１、Ａ４５〜Ａ４１、Ａ３５〜Ａ３１、Ａ２５〜Ａ２１およびＡ１５〜Ａ１１が入力されたものとする。乗算器１４４２ａ〜１４４２ｅは、それぞれのフィルタ係数であるａ５１、ａ４１、ａ３１、ａ２１およびａ１１と、それぞれ入力した画素Ａ５１、Ａ４１、Ａ３１、Ａ２１およびＡ１１との乗算値を出力する。乗算器１４４１ａ〜１４４１ｅは、それぞれのフィルタ係数であるａ５２、ａ４２、ａ３２、ａ２２およびａ１２と、それぞれ入力した画素Ａ５２、Ａ４２、Ａ３２、Ａ２２およびＡ１２との乗算値を出力する。乗算器１４４０ａ〜１４４０ｅは、それぞれのフィルタ係数であるａ５３、ａ４３、ａ３３、ａ２３およびａ１３と、それぞれ入力した画素Ａ５３、Ａ４３、Ａ３３、Ａ２３およびＡ１３との乗算値を出力する。乗算器１４３９ａ〜１４３９ｅは、それぞれのフィルタ係数であるａ５４、ａ４４、ａ３４、ａ２４およびａ１４と、それぞれ入力した画素Ａ５４、Ａ４４、Ａ３４、Ａ２４およびＡ１４との乗算値を出力する。乗算器１４３８ａ〜１４３８ｅは、それぞれのフィルタ係数であるａ５５、ａ４５、ａ３５、ａ２５およびａ１５と、それぞれ入力した画素Ａ５５、Ａ４５、Ａ３５、Ａ２５およびＡ１５との乗算値を出力する。

乗算器１４３８ａ〜１４３８ｅ、１４３９ａ〜１４３９ｅ、１４４０ａ〜１４４０ｅ、１４４１ａ〜１４４１ｅおよび１４４２ａ〜１４４２ｅによって演算された乗算値は、図１０に示す全ての加算器によって加算される。加算値は、加算器１４４７ｂから出力され、出力部１４４８からフィルタ処理部１４３の外部に出力される。この加算値は、図１２に示すように、対象部分画像１３１に対して逆変換フィルタ１２１によってコンボリューション演算した値、すなわち、式（１）で表される演算値と同一である。コンボリューション演算の演算値は、対象部分画像１３１の中央に位置する画素である中央データに対して逆変換処理を実行した値となる。すなわち、コンボリューションの演算値は、逆変換処理後の通常画像において、逆変換処理前の通常画像の中央データに相当する位置の画素となる。

次に、通常モードにおけるフィルタ処理部１４３の逆変換処理について、図１３を参照しながら、通常画像１０５においてＸ方向の水平ラインを走査しながら逆変換処理をする動作の概略を説明する。図１３（ａ）は、フィルタ処理部１４３が、通常画像１０５における（１，１）の画素に対して逆変換フィルタ１２１によって逆変換処理をする状態を示している。図１３（ａ）に示すように、（１，１）の画素を中央データ１３５ａとしてコンボリューション演算するためには、（１，１）の画素を中央データとする対象部分画像１３１ａと、通常画像１０５とが重複している部分の画素が必要になる。すなわち、対象部分画像１３１ａのうち、図１２に示す対象部分画像１３１の画素Ａ３３〜Ａ３５、Ａ４３〜Ａ４５およびＡ５３〜Ａ５５に相当する画素が必要である。

そのためは、画素Ａ３３〜Ａ３５、Ａ４３〜Ａ４５およびＡ５３〜Ａ５５に相当する画素が、画像バッファ部１４１の出力部１４１３ａ〜１４１３ｃから出力されている必要がある。さらに、画素Ａ３５〜Ａ３３、Ａ４５〜Ａ４３およびＡ５５〜Ａ５３に相当する画素が、フィルタ処理部１４３のレジスタ１４３２ｃ〜１４３４ｃ、１４３２ｂ〜１４３４ｂおよび１４３２ａ〜１４３４ａに格納されている必要がある。そして、対象部分画像１３１ａにおいて、通常画像１０５と重複していない部分の画素は「０」として取り扱うものとする。

以上の状態において、フィルタ処理部１４３は、図１２に示したコンボリューション演算と同様に、対象部分画像１３１ａに対して逆変換フィルタ１２１によってコンボリューション演算を行う。フィルタ処理部１４３は、通常画像１０５の対象部分画像１３１ａの中央データ１３５ａである（１，１）の画素に対してコンボリューション演算した値を、逆変換処理後の通常画像の（１，１）の画素として出力する。

次に、フィルタ処理部１４３は、図１３（ｂ）に示すように、コンボリューション演算の対象となる画素をＸ方向にひとつシフトし、対象部分画像１３１ｂの中央データ１３５ｂである（２，１）の画素に対して逆変換処理をする。そして、フィルタ処理部１４３は、Ｘ方向の水平ラインをシフトしながらコンボリューション演算を繰り返し、図１３（ｃ）に示すように、Ｘ方向の水平ラインの最後の画素である（６４０，１）の画素に対して逆変換処理をする。（６４０，１）の画素は、図１３（ｃ）に示すように、対象部分画像１３１ｃの中央データ１３５ｃである。

以上のように、フィルタ処理部１４３は、Ｘ方向の水平ラインをシフトしながらコンボリューション演算を繰り返し、水平ラインの最後の画素に対する逆変換処理が終了すると、Ｙ方向の次の水平ラインに対して同様に逆変換処理を行う。

図１３（ｄ）〜１３（ｆ）は、フィルタ処理部１４３が、通常画像１０５におけるＹ方向の４番目の水平ラインの画素に対して逆変換処理を行う状態を示している。図１３（ｄ）は、フィルタ処理部１４３が、通常画像１０５における（１，４）の画素に対して逆変換フィルタ１２１によって逆変換処理をする状態を示している。図１３（ｄ）に示すように、（１，４）の画素を中央データ１３５ｄとしてコンボリューション演算するためには、（１，４）の画素を中央データとする対象部分画像１３１ｄと、通常画像１０５とが重複している部分の画素が必要になる。そして、対象部分画像１３１ｄにおいて、通常画像１０５と重複していない部分の画素は、上述と同様に「０」として取り扱うものとする。

図１３（ｅ）は、フィルタ処理部１４３が、通常画像１０５における（５，４）の画素に対して逆変換フィルタ１２１によって逆変換処理をする状態を示している。図１３（ｅ）に示すように、（５，４）の画素を中央データ１３５ｅとする対象部分画像１３１ｅは全体が通常画像１０５と重複しているので、フィルタ処理部１４３は、対象部分画像１３１ｅに含まれる画素をすべて利用した逆変換処理が可能となる。

そして、フィルタ処理部１４３は、Ｘ方向の水平ラインをシフトしながらコンボリューション演算を繰り返し、図１３（ｆ）に示すように、Ｘ方向の水平ラインの最後の画素である（６４０，４）の画素に対して逆変換処理をする。（６４０，４）の画素は、図１３（ｆ）に示すように、対象部分画像１３１ｆの中央データ１３５ｆである。

以上のように、フィルタ処理部１４３は、通常画像１０５を構成する各画素に対して逆変換フィルタ１２１によるコンボリューション演算を行って逆変換処理をするので、位相板１１ａによってぼけた画像を補正し、画像の解像度を向上させることができる。

なお、上述のように、通常画像１０５における逆変換フィルタ１２１によるコンボリューション演算の対象となる対象部分画像について、通常画像１０５と重複していない部分の画素は「０」としたが、これに限定されるものではない。例えば、対象画像部分の通常画像１０５と重複していない部分の画素は、対象画像部分の中央データを基準にして、対象画像部分の通常画像１０５と重複している部分の画素を折り返した場合の画素を用いるものとしてもよい。

具体的に、図１３（ａ）の対象部分画像１３１ａを例にして説明する。対象部分画像１３１ａのそれぞれの画素の名称を、仮に図１２に示す対象部分画像１３１の画素の名称と同様とする。この場合、対象部分画像１３１ａの通常画像１０５と重複していない部分の画素は、画素Ａ１１〜Ａ１５、Ａ２１〜Ａ２５、Ａ３１、Ａ３２、Ａ４１、Ａ４２、Ａ５１およびＡ５２である。また、対象部分画像１３１ａの通常画像１０５と重複している部分の画素は、画素Ａ３３〜Ａ３５、Ａ４３〜Ａ４５およびＡ５３〜Ａ５５である。

このとき、画素Ａ３１、Ａ３２、Ａ４１、Ａ４２、Ａ５１およびＡ５２は、中央データを基準にして、対象部分画像１３１ａの通常画像１０５と重複している部分の画素を折り返し、それぞれ画素Ａ３５、Ａ３４、Ａ４５、Ａ４４、Ａ５５およびＡ５４の値を用いる。また、画素Ａ１３〜Ａ１５およびＡ２３〜Ａ２５は、中央データを基準にして、対象部分画像１３１ａの通常画像１０５と重複している部分の画素を折り返し、それぞれ画素Ａ５３〜Ａ５５およびＡ４３〜Ａ４５の値を用いる。そして、画素Ａ１１、Ａ１２、Ａ２１およびＡ２２は、中央データを基準にして、対象部分画像１３１ａの通常画像１０５と重複している部分の画素のうち点対象の位置関係にある画素、すなわち、それぞれＡ５５、Ａ５４、Ａ４５およびＡ４４の値を用いる。以上のような方法によって、対象部分画像の各画素を決定するものとしてもよい。

次に、ビニングモードにおけるフィルタ処理部１４３の逆変換処理について説明する。ビニングモードにおいては、図５において上述したように、撮像素子１２は、通常画像をＹ方向において半分の大きさに圧縮したビニング画像を出力する。したがって、通常画像とビニング画像とでは、構成する画素の値も異なることになり、通常は図１１に示すように、通常画像用の逆変換フィルタ１２１のフィルタ係数とは異なるビニング画像用の逆変換フィルタ１２２が必要になる。逆変換フィルタ１２２は、フィルタ係数ｂ１１〜ｂ１５、ｂ２１〜ｂ２５、ｂ３１〜ｂ３５、ｂ４１〜ｂ４５およびｂ５１〜ｂ５５によって構成されるタップ数が５×５のフィルタである。

ビニング画像は、通常画像をＹ方向において半分の大きさに圧縮した画像なので、逆変換フィルタ１２２として、例えば、図１４（ａ）に示すように、逆変換フィルタ１２１のフィルタ係数を利用した近似逆変換フィルタ１２２ａが考えられる。例えば、逆変換フィルタ１２１の１列目のフィルタ係数ａ１１、ａ２１、ａ３１、ａ４１およびａ５１から、近似逆変換フィルタ１２２ａの１列目のフィルタ係数をａ１１＋（１／２）×ａ２１、ａ３１＋（１／２）×（ａ２１＋ａ４１）およびａ５１＋（１／２）×ａ４１とする。近似逆変換フィルタ１２２ａのその他の列のフィルタ係数も同様に算出してもとめる。ただし、上述のように近似逆変換フィルタ１２２ａのフィルタ係数を算出した結果、近似逆変換フィルタ１２２ａはタップ数が５×３のタップ数のフィルタとなる。したがって、近似逆変換フィルタ１２２ａによってコンボリューション演算の対象となるビニング画像の部分画像も、図１４（ａ）に示すように、５×３の対象部分画像１３２とする。図１４（ａ）に示すように、対象部分画像１３２に対して近似逆変換フィルタ１２２ａによってコンボリューション演算を行った場合の演算値は、式（２）で示される。このように、ビニング画像は、逆変換フィルタ１２１とは異なるビニング画像用の近似逆変換フィルタ１２２ａによって逆変換処理をすることによってぼけた画像を補正することができる。

しかし、図８および９で上述したように、本実施の形態の撮像装置１において、画像変換部１４２は、ビニング部分画像１１１をＹ方向に拡張した擬似部分画像１１１ａに画像変換するものとしている。すなわち、図１４においては、画像変換部１４２は、対象部分画像１３２を、擬似部分画像である５×５の対象部分画像１３２ａに画像変換する。そして、フィルタ処理部１４３は、画素Ｂ２３を中央データとする対象部分画像１３２ａに対して、通常画像用の逆変換フィルタ１２１をそのまま利用してコンボリューション演算し、図１４（ｂ）の式（３）に示す演算値を得る。その結果、擬似部分画像である対象部分画像１３２ａに対して逆変換フィルタ１２１によって逆変換処理をした式（３）に示す演算値は、対象部分画像１３２に対して近似逆変換フィルタ１２２ａによって逆変換処理をした式（２）に示す演算値と同一になる。

以上のように、ビニング画像用の近似逆変換フィルタ１２２ａによって逆変換処理をする場合の効果を、対象部分画像１３２を対象部分画像１３２ａに画像変換し、通常画像用の逆変換フィルタ１２１によって逆変換処理をすることによって得ることができる。この場合、ビニング画像用の近似逆変換フィルタ１２２ａを構成するフィルタ回路を、通常画像用の逆変換フィルタ１２１を構成するフィルタ回路とは別に装備する必要はないので、フィルタ処理を行う回路の規模の増大を抑制することができる。

なお、図１０、１１、１２および１４に示すように、フィルタ処理部１４３が有する逆変換フィルタはタップ数が５×５のフィルタとしているが、これに限定されるものではない。すなわち、フィルタのタップ数は３×３、１５×１５、２１×２１または５×３等異なるタップ数としてもよい。この場合、フィルタのタップ数に合わせて、対象部分画像の大きさも一致させる必要がある。また、フィルタによる逆変換処理の対象となる中央データが存在するように、フィルタのタップ数は奇数である必要がある。

また、逆変換フィルタは、例えば１５×１５以上のタップ数であることが好ましい。逆変換フィルタは、タップ数が多いほど、位相板によって被写界深度が拡張されてぼけが加えられた画像に対して、ぼけを補正できる光軸上の幅を大きくすることができる。したがって、タップ数が多い逆変換フィルタを用いることによって、位相板およびレンズの被写界深度についての設計のバリエーションを増やすことができる。

また、フィルタ処理部１４３は、逆変換フィルタによって逆変換処理をするものとしたが、これに限定されるものではなく、その他の機能を有するフィルタとしてもよく、この場合も上述の回路の規模の増大を抑制する効果を奏する。その他の機能を有するフィルタとしては、例えば、平滑化フィルタまたはエッジ強調フィルタ等が挙げられる。

＜撮像装置の動作の流れ＞
図１５は、第１の実施の形態の撮像装置における逆変換処理の動作を示すフローチャートである。図１５を参照しながら、本実施の形態の撮像装置１の動作の流れについて説明する。

＜＜ステップＳ１＞＞
撮像素子１２は、撮像素子制御部１３から受信する制御信号を受信している場合、動作モードをビニングモードに切り替え、受信していない場合、動作モードを通常モードに切り替える。ビニングモードである場合（ステップＳ１：Ｙｅｓ）、ステップＳ２へ進み、そうでない場合（ステップＳ１：Ｎｏ）、ステップＳ４へ進む。

＜＜ステップＳ２＞＞
撮像素子１２は、ビニングモードの場合、検出した通常画像（図５の検出画像１０１に相当）をＹ方向において半分の大きさに圧縮したビニング画像を出力する画像処理部１４の画像バッファ部１４１は、撮像素子１２から出力されるビニング画像の画素を順に入力してバッファリングする。そして、ステップＳ３へ進む。

＜＜ステップＳ３＞＞
画像処理部１４の画像変換部１４２は、ビニングモードの場合、画像バッファ部１４１から出力されたビニング画像の部分（図９のビニング部分画像１１１に相当）を、通常画像の部分と同じ大きさの擬似部分画像（図９の擬似部分画像１１１ａに相当）に変換して出力する。そして、ステップＳ５へ進む。

＜＜ステップＳ４＞＞
撮像素子１２は、通常モードの場合、検出した通常画像について何も処理せずに通常画像として出力する。画像処理部１４の画像バッファ部１４１は、撮像素子１２から出力される通常画像の画素を順に入力してバッファリングする。画像処理部１４の画像変換部１４２は、画像バッファ部１４１から出力された通常画像の画素を、画像変換せずにそのまま通常画像の画素として出力する。そして、ステップＳ５へ進む。

＜＜ステップＳ５＞＞
画像処理部１４のフィルタ処理部１４３は、画像変換部１４２から出力される画像の対象部分画像（図１２の対象部分画像１３１および図１４の対象部分画像１３２ａ）の画素に基づいて、コンボリューション演算による逆変換処理を行う。具体的には、フィルタ処理部１４３は、対象部分画像の画素と、通常画像用の逆変換フィルタ（図１１、１２および１４の逆変換フィルタ１２１に相当）とのコンボリューション演算を行う。そして、ステップＳ６へ進む。

＜＜ステップＳ６＞＞
フィルタ処理部１４３は、ステップＳ５においてコンボリューション演算した値を、出力部１４４８から出力する。そして、ステップＳ７へ進む。

＜＜ステップＳ７＞＞
撮像素子１２から出力された画像の全ての画素に対してフィルタ処理部１４３による逆変換処理が終了していない場合（ステップＳ７：Ｎｏ）、次の画素に対する逆変換処理のためステップＳ５へ戻る。撮像素子１２から出力された画像の全ての画素に対してフィルタ処理部１４３による逆変換処理が終了した場合（ステップＳ７：Ｙｅｓ）、１フレーム（１画像）分の画素について逆変換処理が完了したものとして処理を終了する。そして、次フレームに対する処理を実行する。

（第２の実施の形態）
第２の実施の形態に係る撮像システムについて、第１の実施の形態に係る撮像システム５００の構成および動作と相違する点を中心に説明する。

本実施の形態に係る撮像システムの全体構成、情報処理装置（ＰＣ２）の構成および撮像装置１の構成は、第１の実施の形態と同様であるので説明を省略する。

＜画像処理部の構成および動作＞
図１６は、第２の実施の形態の撮像装置の画像処理部の構成の一例を示す図である。図１６を参照しながら、本実施の形態の撮像装置１の画像処理部１４の構成について説明する。

図１６に示すように、本実施の形態の画像処理部１４は、画像バッファ部１４１と、画像変換部１４２ａ（画像変換手段）と、フィルタ処理部１４３とを備えている。図１６に示す撮像素子１２、撮像素子制御部１３、画像バッファ部１４１およびフィルタ処理部１４３は、図４に示した第１の実施の形態のものと同様であるので、同一符号を付し、説明を省略する。

画像変換部１４２ａは、撮像素子制御部１３から受信する制御信号に基づいて、動作モードを通常モードまたはビニングモードに切り替える。ビニングモードの場合、画像変換部１４２ａは、画像バッファ部１４１から出力されたビニング画像の部分を、通常画像の部分と同じ大きさの擬似部分画像に変換して出力する。一方、通常モードの場合、画像変換部１４２ａは、画像バッファ部１４１から出力された通常画像の画素を、画像変換せずにそのまま通常画像の画素として出力する。画像変換部１４２ａの具体的な構成および動作については、図１７および１８において後述する。

＜＜画像変換部１４２ａの構成および動作＞＞
図１７は、第２の実施の形態の画像処理部の画像変換部の構成の一例を示す図である。図１８は、第２の実施の形態の画像変換部によってビニング部分画像から変換される擬似部分画像の一例を示す図である。図１７および１８を参照しながら、画像処理部１４の画像変換部１４２ａの構成および動作について説明する。

画像変換部１４２ａは、図１７に示すように、出力切替器１４２４ａ〜１４２４ｅを備えている。画像変換部１４２ａは、画像バッファ部１４１から出力される画素を入力部１４２１ａ〜１４２１ｅから入力し、変換した画素を出力部１４２６ａ〜１４２６ｅから出力する。

出力切替器１４２４ａ〜１４２４ｅは、撮像素子制御部１３からの制御信号を入力している場合、「１」端子に入力されたデータを出力し、制御信号を入力していない場合、「０」端子に入力されたデータを出力する回路である。

図１７に示すように、撮像素子制御部１３は、出力切替器１４２４ａ〜１４２４ｅの入力側にそれぞれ接続されており、ＰＣ２から通信部１５を介して受信した制御信号を入力させる。入力部１４２１ａは、出力切替器１４２４ａの入力側の「０」端子に接続されている。入力部１４２１ｂは、出力切替器１４２４ａの入力側の「１」端子、ならびに出力切替器１４２４ｂの入力側の「０」端子および「１」端子にそれぞれ接続されている。入力部１４２１ｃは、出力切替器１４２４ｃの入力側の「０」端子および「１」端子、ならびに出力切替器１４２４ｄの入力側の「１」端子にそれぞれ接続されている。入力部１４２１ｄは、出力切替器１４２４ｄの入力側の「０」端子、および出力切替器１４２４ｅの入力側の「１」端子にそれぞれ接続されている。入力部１４２１ｅは、出力切替器１４２４ｅの入力側の「０」端子に接続されている。出力切替器１４２４ａ〜１４２４ｅの出力側は、それぞれ出力部１４２６ａ〜１４２６ｅに接続されている。

次に、図１７および１８を参照しながら、画像変換部１４２ａにおける画像変換処理について説明する。まず、通常モードにおける画像変換部１４２ａの処理について説明する。画像変換部１４２ａは、撮像素子制御部１３から制御信号を受信していない場合、通常モードで動作する。具体的には、通常モードにおいて、出力切替器１４２４ａ〜１４２４ｅは、入力側に撮像素子制御部１３からの制御信号が入力されておらず、入力側の「０」端子に入力された画素を出力する。

画像変換部１４２において、入力部１４２１ａ〜１４２１ｅのそれぞれから入力された画素は、出力切替器１４２４ａ〜１４２４ｅの入力側の「０」端子に入力される。出力切替器１４２４ａ〜１４２４ｅは、それぞれ入力側の「０」端子から入力された画素を出力する。出力切替器１４２４ａ〜１４２４ｅから出力された画素は、それぞれ出力部１４２６ａ〜１４２６ｅから出力される。すなわち、画像変換部１４２ａは、入力部１４２１ａ〜１４２１ｅから入力した通常画像の画素を画像変換せずに、そのまま出力部１４２６ａ〜１４２６ｅから出力する。

次に、ビニングモードにおける画像変換部１４２ａの処理について説明する。画像変換部１４２ａは、撮像素子制御部１３から制御信号を受信していない場合、ビニングモードで動作する。具体的には、ビニングモードにおいて、出力切替器１４２４ａ〜１４２４ｅは、入力側に撮像素子制御部１３からの制御信号が入力されており、入力側の「１」端子に入力されたデータを出力する。

画像変換部１４２ａにおいて、入力部１４２１ａから入力された画素は、出力切替器１４２４ａの入力側の「０」端子に入力される。入力部１４２１ｂから入力された画素は、出力切替器１４２４ａの入力側の「１」端子、ならびに出力切替器１４２４ｂの入力側の「０」端子および「１」端子に入力される。入力部１４２１ｃから入力された画素は、出力切替器１４２４ｃの入力側の「０」端子および「１」端子、ならびに出力切替器１４２４ｄの入力側の「１」端子に入力される。入力部１４２１ｄから入力された画素は、出力切替器１４２４ｄの入力側の「０」端子、および出力切替器１４２４ｅの入力側の「１」端子に入力される。入力部１４２１ｅから入力された画素は、出力切替器１４２４ｅの入力側の「０」端子に入力される。

出力切替器１４２４ａは、入力部１４２１ｂから入力した画素を出力する。出力切替器１４２４ｂは、入力部１４２１ｂから入力した画素を出力する。出力切替器１４２４ｃは、入力部１４２１ｃから入力した画素を出力する。出力切替器１４２４ｄは、入力部１４２１ｃから入力した画素を出力する。出力切替器１４２４ｅは、入力部１４２１ｄから入力した画素を出力する。

以上の動作により、図１８に示したビニング部分画像１１２の画素が、画像変換部１４２ａの入力部１４２１ｂ〜１４２１ｄに入力された場合、出力部１４２６ａ〜１４２６ｅから擬似部分画像１１２ａの画素が出力される。例えば、ビニング部分画像１１２のうち画素Ｂ１１、Ｂ２１およびＢ３１が、それぞれ入力部１４２１ｂ〜１４２１ｄに入力されたとする。この場合、擬似部分画像１１２ａにおける画素Ｂ１１、Ｂ１１、Ｂ２１、Ｂ２１およびＢ３１が、それぞれ出力部１４２６ａ〜１４２６ｅから出力される。画像変換部１４２ａは、図１８に示すように、５×３のマトリックス状に配列された画素により構成されるビニング部分画像１１２を５×５のマトリックス状に配列された画素により構成される擬似部分画像１１２ａにＹ方向に拡張して画像変換する。ここで、擬似部分画像１１２ａを構成する画素のうち、出力部１４２６ｂから出力される画素は、出力部１４２６ａから出力される画素としている。同様に、擬似部分画像１１２ａを構成する画素のうち、出力部１４２６ｄから出力される画素は、出力部１４２６ｃから出力される画素としている。

なお、図１７は画像変換部１４２ａの構成の一例を示すものであり、この構成に限定されるものではなく、上述した画像変換部１４２ａの画像変換処理と同様の作用を奏する構成であればよい。

＜＜フィルタ処理部１４３の動作＞＞
図１９は、第２の実施の形態におけるビニング画像の対象部分画像と擬似部分画像とを逆変換フィルタによってフィルタ処理することを説明する図である。図１９を参照しながら、画像処理部１４のフィルタ処理部１４３の逆変換処理について説明する。

通常モードにおけるフィルタ処理部１４３の逆変換処理については、図１１〜１３に示した第１の実施の形態の逆変換処理と同様であるので、説明を省略する。

次に、ビニングモードにおけるフィルタ処理部１４３の逆変換処理について説明する。ビニングモードにおいては、図５において上述したように、撮像素子１２は、通常画像をＹ方向において半分の大きさに圧縮したビニング画像を出力する。したがって、通常画像とビニング画像とでは、構成する画素の値も異なることになり、通常は図１１に示すように、通常画像用の逆変換フィルタ１２１のフィルタ係数とは異なるビニング画像用の逆変換フィルタ１２２が必要になるのは上述の通りである。

ビニング画像は、通常画像をＹ方向において半分の大きさに圧縮した画像なので、逆変換フィルタ１２２として、例えば、図１９（ａ）に示すように、逆変換フィルタ１２１のフィルタ係数を利用した近似逆変換フィルタ１２２ｂが考えられる。例えば、逆変換フィルタ１２１の１列目のフィルタ係数ａ１１、ａ２１、ａ３１、ａ４１およびａ５１から、近似逆変換フィルタ１２２ｂの１列目のフィルタ係数をａ１１＋ａ２１、ａ３１＋ａ４１およびａ５１とする。近似逆変換フィルタ１２２ｂのその他の列のフィルタ係数も同様に算出してもとめる。ただし、上述のように近似逆変換フィルタ１２２ｂのフィルタ係数を算出した結果、近似逆変換フィルタ１２２ｂはタップ数が５×３のフィルタとなる。したがって、近似逆変換フィルタ１２２ｂによってコンボリューション演算の対象となるビニング画像の部分画像も、図１９（ａ）に示すように、５×３の対象部分画像１３２とする。図１９（ａ）に示すように、対象部分画像１３２に対して近似逆変換フィルタ１２２ｂによってコンボリューション演算を行った場合の演算値は、式（４）で示される。このように、ビニング画像は、逆変換フィルタ１２１とは異なるビニング画像用の近似逆変換フィルタ１２２ｂによって逆変換処理をすることによってぼけた画像を補正することができる。

しかし、図１７および１８で上述したように、本実施の形態の撮像装置１において、画像変換部１４２ａは、ビニング部分画像１１２をＹ方向に拡張した擬似部分画像１１２ａに画像変換するものとしている。すなわち、図１９においては、画像変換部１４２ａは、対象部分画像１３２を、擬似部分画像である５×５の対象部分画像１３２ｂに画像変換する。そして、フィルタ処理部１４３は、画素Ｂ２３を中央データとする対象部分画像１３２ｂに対して、通常画像用の逆変換フィルタ１２１をそのまま利用してコンボリューション演算し、図１９（ｂ）の式（５）に示す演算値を得る。その結果、擬似部分画像である対象部分画像１３２ｂに対して逆変換フィルタ１２１によって逆変換処理をした式（５）に示す演算値は、対象部分画像１３２に対して近似逆変換フィルタ１２２ｂよって逆変換処理をした式（５）に示す演算値と同一になる。

以上のように、ビニング画像用の近似逆変換フィルタ１２２ｂによって逆変換処理をする場合の効果を、対象部分画像１３２を対象部分画像１３２ｂに画像変換し、通常画像用の逆変換フィルタ１２１によって逆変換処理をすることによって得ることができる。この場合、ビニング画像用の近似逆変換フィルタ１２２ｂを構成するフィルタ回路を、通常画像用の逆変換フィルタ１２１を構成するフィルタ回路とは別に装備する必要はないので、フィルタ処理を行う回路の規模の増大を抑制することができる。

また、図１７に示すように、本実施の形態の画像変換部１４２ａは、ビニング部分画像１１２から擬似部分画像１１２ａに画像変換する回路構成について、第１の実施の形態の画像変換部１４２と比較して、部品点数を少なくし、簡易な構成とすることができる。

１ 撮像装置
２ ＰＣ
３ 通信ケーブル
４ 被写体
１１ レンズユニット
１１ａ 位相板
１１ｂ 絞り
１２ 撮像素子
１３ 撮像素子制御部
１４ 画像処理部
１５ 通信部
２１ 通信部
２２ 操作部
２３ 表示部
２４ 記憶部
２５ 外部記憶装置
２６ 制御部
２７ バス
１０１ 検出画像
１０２ 検出部分画像
１０３ａ、１０３ｂ 出力部分画像
１０５ 通常画像
１１１ ビニング部分画像
１１１ａ 擬似部分画像
１１２ ビニング部分画像
１１２ａ 擬似部分画像
１２１ 逆変換フィルタ
１２２ 逆変換フィルタ
１２２ａ、１２２ｂ 近似逆変換フィルタ
１３１、１３１ａ〜１３１ｆ 対象部分画像
１３２、１３２ａ、１３２ｂ 対象部分画像
１３５ａ〜１３５ｆ 中央データ
１４１ 画像バッファ部
１４２、１４２ａ 画像変換部
１４３ フィルタ処理部
５００ 撮像システム
１４１０ 入力部
１４１１ａ〜１４１１ｄ レジスタ
１４１２ａ〜１４１２ｄ ラインバッファ
１４１３ａ〜１４１３ｅ 出力部
１４２１ａ〜１４２１ｅ 入力部
１４２２ａ、１４２２ｂ 加算器
１４２３ａ、１４２３ｂ 乗算器
１４２４ａ〜１４２４ｅ 出力切替器
１４２５ａ〜１４２５ｅ 出力部
１４２６ａ〜１４２６ｅ 出力部
１４３１ａ〜１４３１ｅ 入力部
１４３２ａ〜１４３２ｅ レジスタ
１４３３ａ〜１４３３ｅ レジスタ
１４３４ａ〜１４３４ｅ レジスタ
１４３５ａ〜１４３５ｅ レジスタ
１４３６ａ〜１４３６ｅ レジスタ
１４３７ａ〜１４３７ｅ レジスタ
１４３８ａ〜１４３８ｅ 乗算器
１４３９ａ〜１４３９ｅ 乗算器
１４４０ａ〜１４４０ｅ 乗算器
１４４１ａ〜１４４１ｅ 乗算器
１４４２ａ〜１４４２ｅ 乗算器
１４４３ａ〜１４４３ｅ 加算器
１４４４ａ〜１４４４ｅ 加算器
１４４５ａ〜１４４５ｅ 加算器
１４４６ａ〜１４４６ｅ 加算器
１４４７ａ〜１４４７ｃ 加算器
１４４８ 出力部
Ａ フレーム開始期間
Ｂ 水平ブランキング期間
Ｃ フレーム終了期間
Ｄ 垂直ブランキング期間
Ｔ 有効データ期間

特開２００９−８９０８２号公報

Claims (11)

1. 被写体を撮像し、複数の画素として出力する撮像手段から出力される通常画像と、該通常画像において所定方向に隣接した所定数の前記画素の加算値を１つの画素として前記撮像手段から出力されるビニング画像とをフィルタ処理する画像処理装置であって、
   前記通常画像の前記フィルタ処理に使用されるフィルタのタップ数に対応する大きさと等しい大きさになるように、前記ビニング画像において前記フィルタ処理の対象となる部分画像を前記所定方向に拡張した擬似部分画像に変換する画像変換手段と、
   前記フィルタを使用して、前記擬似部分画像に対して前記フィルタ処理を行うフィルタ処理手段と、
   を備える画像処理装置。
2. 前記画像変換手段は、前記通常画像の前記所定方向に隣接した２つの前記画素の加算値を１つの画素とした前記ビニング画像の部分画像から、前記所定方向の隣接する前記画素の平均値を、隣接する前記画素の間に配置して前記擬似部分画像に変換する請求項１に記載の画像処理装置。
3. 前記画像変換手段は、前記通常画像の前記所定方向に隣接した２つの前記画素の加算値を１つの画素とした前記ビニング画像の部分画像から、少なくとも前記所定方向に隣接する前記画素のうち一方の前記画素と同一の画素を、隣接する前記画素の間に配置して前記擬似部分画像に変換する請求項１に記載の画像処理装置。
4. 前記フィルタ処理手段は、前記通常画像の部分画像および前記擬似部分画像の前記各画素と、前記フィルタのフィルタ係数とのコンボリューション演算によって前記フィルタ処理を行う請求項１〜３のいずれか一項に記載の画像処理装置。
5. 前記画像変換手段は、
   前記ビニング画像を入力するビニングモードにおいては、前記ビニング画像の部分画像から前記擬似部分画像に変換して前記フィルタ処理手段に出力し、
   前記通常画像を入力する通常モードにおいては、前記通常画像の部分画像をそのまま前記フィルタ処理手段に出力する請求項１〜４のいずれか一項に記載の画像処理装置。
6. 前記フィルタ処理手段は、前記フィルタとして、前記通常画像に与えられた点像分布関数の逆変換処理を行うための逆変換フィルタを使用し、前記通常画像の部分画像および前記擬似部分画像に対して前記フィルタ処理を行う請求項１〜５のいずれか一項に記載の画像処理装置。
7. 前記逆変換フィルタは、タップ数が１５×１５の大きさ以上のフィルタである請求項６に記載の画像処理装置。
8. 被写体から出る光を集光する光学系と、
   該光学系によって集光された前記光を前記画素に変換して画像を生成する前記撮像手段と、
   請求項１〜７のいずれか一項に記載の画像処理装置と、
   を備える撮像装置。
9. 被写体から出る光を集光する光学系と、
   該光学系によって集光された前記光を前記画素に変換して画像を生成する前記撮像手段と、
   請求項５に記載の画像処理装置と、
   動作モードを前記ビニングモードまたは前記通常モードに切り替える制御信号を前記撮像手段および前記画像処理装置に出力し、前記ビニングモードにおいては、前記撮像手段に前記ビニング画像を生成させ、前記通常モードにおいては、前記撮像手段に前記通常画像を生成させる制御手段と、
   を備える撮像装置。
10. 被写体から出る光を集光する光学系と、
    該光学系によって集光された前記光の被写界深度を拡張して点像分布関数を与える被写界深度拡張手段と、
    該被写界深度が拡張した前記光を前記画素に変換して画像を生成する前記撮像手段と、
    請求項６または７に記載の画像処理装置と、
    を備える撮像装置。
11. 請求項８〜１０のいずれか一項に記載の撮像装置と、
    該撮像装置から前記フィルタ処理が行われた前記画像を受信する通信手段と、該画像を表示する表示手段とを備える情報処理装置と、
    を備える撮像システム。

Images