JPWO2011043051A1 - 撮像装置および固体撮像素子 - Google Patents

Abstract

固体撮像素子は、Ｎ個（Ｎは２以上の整数）の画素を含む複数の単位画素ブロックに分割された画素アレイと、各々が各画素に対応して配置された複数の光透過部３０ａ、３０ｂ、３０ｃ、３０ｄとを備える。各光透過部は、Ｍ個（Ｍは２以上の整数）の縞状の領域に分割され、各領域は個別に設定された光透過率を有している。光透過部３０ａ、３０ｂ、３０ｃ、３０ｄにおける光透過率の配列パターンは互いに異なっている。撮像装置は、撮像面上において第１の方向に像を移動させる位置ずらし部を備え、移動の前後で画素信号の読出しを行うことによって画素ピッチで規定される解像度よりも高い解像度の画像を生成する。

Description

本発明は、サブピクセルの精度で画像の精細度を向上させる撮像装置および固体撮像素子に関する。

近年、ＣＣＤやＣＭＯＳ等の固体撮像素子（以下、「撮像素子」と呼ぶことがある。）を用いたデジタルカメラやデジタルムービーの高機能化、高性能化には目を見張るものがある。特に半導体製造技術の進歩により、固体撮像素子における画素構造の微細化が進んでいる。その結果、固体撮像素子の画素及び駆動回路の高集積化が図られ、撮像素子の画素数は１００万画素程度から１０００万画素以上へと急速に多画素化が進んでいる。その一方で、多画素の固体撮像素子の製造プロセスでは、画素密度が高くなる程、製造工程が複雑になると共に生産品質も低下する。また、画質検査に要する時間も長くなり、その結果、歩留りや生産性にも影響が出ている。

画像の高解像度化には、撮像素子の多画素化による方法以外に、光学系により結像した画像に対して撮像素子の画素をずらすという、所謂、画素ずらし技術による方法もある。画素ずらし技術には、大きく分けて２種類の技術がある。第１の画素ずらし技術は、固体撮像素子の撮像面内において行列状に配列された複数の画素を１行あるいは１列毎に半画素ピッチずらして配置する画像空間的位置ずれの画素ずらしである。第２の画素ずらし技術は、２次元正方配列の固体撮像素子および光学系の少なくとも一方を機械的に微動させる時間変動の画素ずらしである。

画像空間的位置ずれによる画素ずらし技術の基本原理の一例が特許文献１に開示されている。特許文献１では、画像空間的位置ずれによる画素ずらし技術が撮像素子を３つ用いた３板式のカラーカメラに適用されている。このカラーカメラは、人間の視感度の高い緑（Ｇ）の撮像素子の画素を１行おきに１／２ピッチ水平方向にずらした構成を採用することにより、水平方向の解像度を高めている。

水平方向だけでなく垂直方向にも画素をずらした一例が、特許文献２に開示されている。特許文献２のＣＣＤ撮像素子では、画素に相当する光感知部の形状をひし形にして、蛇行状に配置している。各画素を水平方向にも垂直方向にも画素の１／２ピッチ分ずらして配列することにより、水平及び垂直方向における解像度を高めている。

時間変動の画素ずらしの技術については、撮像素子に対して光学系を機械的に微動させる一例が、特許文献３に開示されている。特許文献３では、撮像素子とレンズとの間に透光性の平行平板が設置されている。光軸に対して平行平板を振らせることにより、撮像素子に結像した光学像を微動させ、微動方向の解像度を向上させている。光学系は動かさず、撮像素子そのものを微動させ、解像度を向上させた例が特許文献４に記されている。特許文献４に開示された例では、微動手段として圧電素子を用い、撮像素子を画素の１／２ピッチ微動させることによって、解像度を向上させている。

以上のように、従来の画素ずらし技術は、画素を水平および垂直方向に１／２ピッチずらして配置するか、機械的に撮像素子を水平および垂直方向に１／２ピッチ微動させることによって解像度を向上させる。原理的には、光感知部の開口率が１００％であれば、画素を１／２ピッチずらすことにより、解像度は２倍に向上する。

特開昭５８−１３７２４７号公報 特開昭６０−１８７１８７号公報 特開昭６３−２８４９７９号公報 特開昭６４−６９１６０号公報

従来の画素ずらし技術によれば、解像度を約２倍に向上させることができるが、それ以上の増加は望めない。さらに解像度を向上させるには、画素の配置密度を高めなければならなかった。

本発明は、画素の配置密度を高めることなく、従来の画素ずらし技術では実現できなかった、解像度を２倍を超える値に向上させる画素ずらし技術を提供することを目的とする。

本発明の撮像装置は、撮像面上において、第１方向および前記第１方向と交差する第２方向に沿って２次元状に配列された複数の画素を含む画素アレイであって、各々がＮ個（Ｎは２以上の整数）の画素を含む複数の単位画素ブロックに分割された画素アレイ、および各々が各画素に対応して配置された複数の光透過部であって、各光透過部は前記第１の方向に沿って配列されたＭ個（Ｍは２以上の整数）の領域に分割され、各領域は個別に設定された光透過率を有し、各単位画素ブロックに含まれる前記Ｎ個の画素に対応するＮ個の光透過部の光透過率の配列パターンは互いに異なっている複数の光透過部を有する固体撮像素子と、前記固体撮像素子の撮像面に像を形成する光学系と、前記複数の光透過部に対する前記像の相対位置を前記第１方向および前記第２方向の少なくとも一方にシフトさせる位置ずらし部と、前記固体撮像素子の各画素から出力される信号に基づいて、前記画素アレイの前記第１方向における画素ピッチで規定される解像度よりも高い解像度の画像を生成する信号処理部と、を備えている。

ある実施形態において、前記光学系は、前記光学系によって形成される像の前記第２方向における解像度を低下させる光学ローパスフィルタを有し、前記位置ずらし部は、前記複数の光透過部に対する前記像の相対位置を前記第１方向にシフトさせる。

ある実施形態において、各単位画素ブロックに含まれる前記Ｎ個の画素に対応する前記Ｎ個の光透過部の光透過率の配列パターンは、直交ウェーブレット係数に基づいて決定されている。

ある実施形態において、前記光学系は、光軸に垂直な平面に対して傾斜した表面を有する透光性部材を含み、前記位置ずらし部は、前記透光性部材を前記光軸に垂直な方向に移動させることによって前記複数の光透過部に対する前記像の相対位置をシフトさせる。

ある実施形態において、各単位画素ブロックに含まれるＮ個の画素に対応するＮ個の光透過部のうち少なくともＮ−１個は、第１透過率または前記第１透過率とは異なる第２透過率に設定されている。

ある実施形態において、Ｎ＝４、Ｍ＝４であり、前記第１透過率を「１」、前記第２透過率を「−１」と表すとき、各単位画素ブロックに含まれる４つの画素に対応する４つの光透過部の光透過率の配列パターンは、それぞれ、「１、−１、１、−１」で表される第１パターンまたは前記第１パターンの背反パターン、「−１、１、１、−１」で表される第２パターンまたは前記第２ターンの背反パターン、「−１、−１、１、１」で表される第３パターンまたは前記第３パターンの背反パターン、および各領域の光透過率が０よりも大きい第３透過率に設定された第４パターンである。

ある実施形態において、Ｎ＝４、Ｍ＝４であり、前記第１透過率を「１」、前記第２透過率を「−１」と表すとき、各単位画素ブロックに含まれる４つの画素に対応する４つの光透過部の光透過率の配列パターンは、それぞれ、「１、−１、１、−１」で表される第１パターン、「−１、１、１、−１」で表される第２パターンまたは前記第２ターンの背反パターン、「−１、−１、１、１」で表される第３パターンまたは前記第３パターンの背反パターン、および前記第１パターンの背反パターンである。

本発明の固体撮像素子は、撮像面上において、第１方向および前記第１方向と交差する第２方向に沿って２次元状に配列された複数の画素を含む画素アレイであって、各々がＮ個（Ｎは２以上の整数）の画素を含む複数の単位画素ブロックに分割された画素アレイと、各々が各画素に対応して配置された複数の光透過部であって、各光透過部は前記第１の方向に沿って配列されたＭ個（ＭはＮ以上の整数）の領域に分割され、各領域は個別に設定された光透過率を有し、各単位画素ブロックに含まれる前記Ｎ個の画素に対応するＮ個の光透過部の光透過率の配列パターンは互いに異なっている複数の光透過部とを備える。

本発明の撮像装置および固体撮像素子によれば、サブピクセルの精度で画素信号を取得できるため、従来の画素ずらし技術以上の高解像度化が実現でき得る。

本発明の実施形態１における撮像装置の概略構成を示すブロック図である。 本発明の実施形態１におけるレンズと固体撮像素子の配置を示すブロック図である。 本発明の実施形態１における画素配列の一例を示す図である。 本発明の実施形態１における画素配列の他の例を示す図である。 （ａ）は、本発明の実施形態１における固体撮像素子のＮＤフィルタの基本構成を示す図であり、（ｂ）は、像の移動前後の信号分布を示す図であり、（ｃ）は、画素３０ｂ、３０ｄの光透過率および画素信号を示す図であり、（ｄ）は、画素３０ａ、３０ｃの光透過率および画素信号を示す図である。 本発明の実施形態１における固体撮像素子のＮＤフィルタの基本構成の他の例を示す図である。 本発明の実施形態１における固体撮像素子のＮＤフィルタの基本構成のさらに他の例を示す図である。 （ａ）は、本発明の実施形態２における固体撮像素子のＮＤフィルタの基本構成を示す図であり、（ｂ）は、像の移動前後の信号分布を示す図であり、（ｃ）は、画素３０ｂ、３０ｅの光透過率および画素信号を示す図であり、（ｄ）は、像が１ピッチ水平方向にずれた際の画素３０ａ、３０ｃの光透過率および画素信号を示す図であり、（ｅ）は、像が５／４ピッチ水平方向にずれた際の画素３０ａ、３０ｃの光透過率および画素信号を示す図であり、（ｆ）は、像が３／２ピッチ水平方向にずれた際の画素３０ａ、３０ｃの光透過率および画素信号を示す図である。 （ａ）は、本発明の実施形態４における固体撮像素子のＮＤフィルタの基本構成を示す図であり、（ｂ）は、像の移動前後の信号分布を示す図であり、（ｃ）は、画素３０ｂ、３０ｅの光透過率および画素信号を示す図であり、（ｄ）は、画素３０ａ、３０ｃの光透過率および画素信号を示す図である。 Ｈａａｒ基底によるスケーリング関数のグラフである。 Ｈａａｒ基底のウェーブレット関数のグラフである。

以下、図面を参照しながら、本発明の実施形態を説明する。複数の図にわたって共通する要素には同一の参照符号を付している。

（実施形態１）
図１は本発明の第１の実施形態における撮像装置の概略構成を示すブロック図である。本実施形態の撮像装置は、デジタル式のビデオカメラであり、撮像部１００と、撮像部１００から送出される信号に基づいて映像信号（ビデオ信号）を生成する映像信号処理部２００とを備えている。なお、本実施形態の撮像装置はビデオカメラであるが、撮像装置は静止画のみを取得するカメラであってもよい。

撮像部１００は、光学系１１と、光学系１１を通して結像した光情報を、光電変換によって電気信号に変換する固体撮像素子１（イメージセンサ）とを備えている。光学系１１は、光学レンズ４と、水晶からなる光学的ローパスフィルタ２と、端部からの距離に応じて厚さが変化している透明ガラス板３とを含んでいる。透明ガラス板３は、光学系駆動部７によって光軸に垂直な方向に微動できるように構成されている。撮像部１００はさらに、固体撮像素子１を駆動するための基本信号を発生するとともに固体撮像素子１からの出力信号を受信して映像信号処理部１０に送出する信号発生／受信部５と、信号発生／受信部５によって発生された基本信号に基づいて撮像素子１を駆動する素子駆動部６とを備えている。なお、素子駆動部６は、信号発生／受信部５に組み込まれていてもよい。

光学レンズ４は、公知のレンズであり、複数のレンズを有するレンズユニットであり得る。光学的ローパスフィルタ２は、画素配列が原因で発生するモアレパターンを低減するための光学素子である。撮像素子１は、典型的にはＣＣＤまたはＣＭＯＳセンサであり、公知の半導体製造技術によって製造される。信号発生／受信部５および素子駆動部６は、例えばＣＣＤドライバなどのＬＳＩから構成される。光学系駆動部７は、例えば公知の圧電素子から構成される。

映像信号処理部２００は、撮像部１００から送出される信号を処理してビデオ信号を生成するビデオ信号生成部９と、ビデオ信号の生成過程で発生する各種のデータを格納する画像メモリー部８と、生成したビデオ信号を外部に送出するビデオインターフェース部１０とを備えている。ビデオ信号生成部９は、公知のデジタル信号処理プロセッサ（ＤＳＰ）などのハードウェアと、ビデオ信号生成処理を含む画像処理を実行するソフトウェアとの組合せによって好適に実現され得る。本実施形態では、ビデオ信号生成部９や画像メモリー部８が本発明における信号処理部に含まれる。画像メモリー部８は、ＤＲＡＭなどによって構成される。画像メモリー部８は、撮像部１００から送出された信号を記録するとともに、ビデオ信号生成部９によって生成された画像データや、圧縮された画像データを一時的に記録する。これらの画像データは、ビデオインターフェース部１０を介して不図示の記録媒体や表示部などに送出される。

本実施形態の撮像装置は、電子シャッタ、ビューファインダ、電源（電池）、フラッシュライトなどの公知の構成要素を備え得るが、それらの説明は本発明の理解に特に必要でないため省略する。また、以上の構成はあくまでも一例であり、固体撮像素子１を除く構成要素には、公知の要素を好適に組み合わせて用いることができる。

図２は、露光中に光学レンズ４を透過した光が撮像素子１に入射する様子を模式的に示す図である。図２では、簡単のため光学レンズ４および撮像素子１以外の構成要素の記載は省略されている。また、レンズ４は、一般には光軸方向に並んだ複数のレンズによって構成され得るが、簡単のため、単一のレンズとして描かれている。撮像素子１の撮像面１ａには、２次元状に配列された複数の画素を含む画素アレイが配置されている。各画素は、典型的にはフォトダイオードを含み、受けた光の量（受光量）に応じた光電変換信号（画素信号）を出力する。撮像面１ａには光学系１１を透過した光が入射する。

図３Ａは、本実施形態における画素配列を示す平面図である。画素アレイ２００は、図３Ａに示すように、撮像面１ａ上に正方格子状に配列された複数の画素を有している。画素アレイ２００は、複数の単位画素ブロック４０に分割され、各単位画素ブロック４０は、２行２列に配置された４つの画素２０ａ、２０ｂ、２０ｃ、２０ｄを含んでいる。なお、本発明における画素配列は、図３Ａに示す正方格子状の配列ではなく、例えば、図３Ｂに示すような斜交型の配列であってもよいし、他の配列であってもよい。画素配列は、第１方向および第１方向と交差する第２方向に沿って２次元状に複数の画素が配列されていればどのような配列であってもよい。以下の説明では、図３Ａの画素配列を前提にするが、図３Ｂなどの画素配列であっても、後述するＮＤフィルタの向きおよび像の移動方向を適宜変更することにより、同様の効果が得られる。以下の説明において、図３Ａ、３Ｂに示すＸＹ座標を用いる。本明細書では、便宜上、Ｘ方向を「水平方向」、Ｙ方向を「垂直方向」と呼ぶこととする。

以上の構成により、入射光は光学レンズ４、光学ガラス板３、光学的ローパスフィルタ２を通して固体撮像素子１の撮像面１ａ上に結像され、固体撮像素子１の各画素で光電変換される。ここで、光学的ローパスフィルタ２は、入射光を画像の垂直方向に１画素分複屈折させ、当該方向の解像度を低下させている。本実施形態では、固体撮像素子の画素アレイ２００は、２×２画素を基本構成として、それらの画素各々に対向して、ＮＤ（Ｎｅｕｔｒａｌ Ｄｅｎｓｉｔｙ）フィルタが配置されている。各ＮＤフィルタは、個々に分離して配置されているが、分離せず１つのフィルタ層として画素アレイ２００に対向して配置されていてもよい。なお、本発明においては、画素に１対１に対応して複数の光透過部が設けられていればよい。ここで、「対応」とは、信号蓄積開始時に対向していることを意味するものとする。本実施形態では、各ＮＤフィルタが１つの光透過部として機能する。

図４は、本実施形態における固体撮像素子１の基本画素構成及び信号分布を示す図である。図４（ａ）に示すように、開口率１００％の画素２０ａ、２０ｂ、２０ｃ、２０ｄに１対１に対応してＮＤフィルタ３０ａ、３０ｂ、３０ｃ、３０ｄがそれぞれ配置されている。ＮＤフィルタ３０ａ〜３０ｄの各々は、水平方向の画素ピッチ（ａ）の１／４の幅をもつ４つの領域から構成される。ＮＤフィルタ３０ａ〜３０ｃにおける各領域は、相対的に光透過率が高い領域（「淡」と表す）、および相対的に光透過率が低い領域（「濃」と表す）のいずれかである。ＮＤフィルタ３０ａの光透過率の配列パターンは、図４における左側から順に「濃」「淡」「濃」「淡」の縞状のパターンである。ＮＤフィルタ３０ｂは「淡」「濃」「濃」「淡」の縞状パターンを有している。ＮＤフィルタ３０ｃは「淡」「淡」「濃」「濃」の縞状パターンを有している。ＮＤフィルタ３０ｄは、縞状パターンを有しておらず、４つの領域の光透過率は同一である。本実施形態では、「淡」の部分の光透過率をα（＞０）、「濃」の部分の光透過率をβ（＞０、ただしαよりも小さい）として、縞状パターンを有していないＮＤフィルタ３０ｄの光透過率は（α＋β）／２に設定されている。その結果、各ＮＤフィルタを透過する光の量はほぼ同じである。

ここで、本実施形態におけるＮＤフィルタの光透過率の配列パターンについて説明しておく。上記の濃淡パターンは、図９Ａに示すＨａａｒ基底によるスケーリング関数ｕ（ｔ）と、図９Ｂに示す同基底のウェーブレット関数ｖ（ｔ）とからなる直交ウェーブレット変換の係数に基づいている。本実施形態では単位画素ブロックあたり、４つの画素から出力される４つのデータを取り扱う。直交ウェーブレット変換に基づくと、データ群の加算や減算によって別なデータ群に変換し、また、同じ処理で元のデータ群に戻すことができる。本実施形態の場合、「淡」及び縞模様のない領域を１とし、「濃」領域を−１と表すと、ＮＤフィルタ３０ａ、３０ｂ、３０ｄ、３０ｄのパターン成分は、それぞれ（−１，１，−１，１）、（１，−１，−１，１）、（１，１，−１，―１）、（１，１，１，１）と表すことができる。それらの直交性はベクトルの内積と同じ処理で確認できる。すなわち、各ＮＤフィルタを４つの成分からなるベクトルと考えると、それらの内積は０になり、直交していることがわかる。

以下、本実施形態における撮像時の動作を説明する。

露光が開始すると、まず、一定時間、各画素に受光量に応じた信号が蓄積する。蓄積した信号は、撮像素子１から読み出され、信号発生／受信部５を経由して画像メモリ―部８に送出される。次に、光学系駆動部７は、透明ガラス板３を、光軸に対して垂直方向（画像の水平方向）に微動させ、撮像面に形成される像を水平方向に１画素ピッチ移動させる。移動後の状態で、再び一定の時間、各画素に信号が蓄積する。蓄積した信号は、再度、撮像素子１から読み出され、画像メモリー部８に送出される。ここで、光学的ローパスフィルタ２は画像の垂直方向に解像度を低下させるが、水平方向には影響を及ぼさない。

次に、図４（ｂ）〜（ｄ）を参照しながら、読み出される画素信号を説明する。最初に、ＮＤフィルタ３０ｂ、３０ｄに注目する。光学的ローパスフィルタ２の影響により、ＮＤフィルタ３０ｂ、３０ｄに入射する光の量は同じと考える。

図４（ｂ）には、ＮＤフィルタがないと仮定した場合に画素２０ｂ、２０ｄに蓄積される信号の水平方向の依存性を例示するグラフ１９ａが示されている。ここで、１画素ピッチの１／４の幅を有する各領域に入射する光の量を示す信号をＸ１、Ｘ２、Ｘ３、・・・、Ｘｎと表記する。図４（ｂ）には、像が水平方向に１画素ピッチ移動した後に画素２０ａ、２０ｃに蓄積される信号の水平方向の依存性を例示するグラフ１９ｂも示されている。

以下、各画素から読み出される画素信号に基づいてビデオ信号生成部９が行う処理を説明する。

まず第１に、静止状態においてＮＤフィルタ３０ｂ、３０ｄを介して光電変換された信号がそれぞれ読み出される。図４（ｃ）に示すように、ＮＤフィルタ３０ｂの両端の２つの領域の透過率はαであり、内側の２つの領域の透過率はβであるため、ＮＤフィルタ３０ｂに対向する画素２０ｂの信号Ｓｂは、α（Ｘ１＋Ｘ４）＋β（Ｘ２＋Ｘ３）と表される。同様に、ＮＤフィルタ３０ｄを介して得られる信号Ｓｄは、（Ｘ１＋Ｘ２＋Ｘ３＋Ｘ４）（α＋β）／２と表される。

第２に、水平左方向に像が１画素ピッチ移動し、ＮＤフィルタ３０ａ、３０ｃを介して光電変換された画素信号が読み出される。図４（ｄ）に示すように、ＮＤフィルタ３０ａを介して得られる信号Ｓａはα（Ｘ２＋Ｘ４）＋β（Ｘ１＋Ｘ３）と表される。同様に、ＮＤフィルタ３０ｃを介して得られる信号Ｓｃはα（Ｘ１＋Ｘ２）＋β（Ｘ３＋Ｘ４）と表される。すなわち、上記信号Ｓａ〜Ｓｄは、それぞれ以下の式１〜式４で表される。
（式１）Ｓａ＝α（Ｘ２＋Ｘ４）＋β（Ｘ１＋Ｘ３）
（式２）Ｓｂ＝α（Ｘ１＋Ｘ４）＋β（Ｘ２＋Ｘ３）
（式３）Ｓｃ＝α（Ｘ１＋Ｘ２）＋β（Ｘ３＋Ｘ４）
（式４）Ｓｄ＝（Ｘ１＋Ｘ２＋Ｘ３＋Ｘ４）（α＋β）／２

次に、これらの信号について以下の処理を行う。最初に、Ｓｄを２（α＋β）で除算する。次に、Ｓｄとその他の信号との減算を行い、それらの結果を２（α−β）で除算する。これらの演算により、式５〜式８でそれぞれ表される信号Ｙ１、Ｙ２、Ｙ３、Ｙ４が得られる。
（式５）Ｙ１＝Ｓｄ／２（α＋β）
（式６）Ｙ２＝（Ｓｃ−Ｓｄ）／２（α−β）
（式７）Ｙ３＝（Ｓｄ−Ｓａ）／２（α−β）
（式８）Ｙ４＝（Ｓｂ−Ｓｄ）／２（α−β）

その結果、Ｙ１〜Ｙ４とＸ１〜Ｘ４との関係が以下の式９〜式１２で表される。
（式９）Ｙ１＝（Ｘ１＋Ｘ２＋Ｘ３＋Ｘ４）／４
（式１０）Ｙ２＝（Ｘ１＋Ｘ２−Ｘ３−Ｘ４）／４
（式１１）Ｙ３＝（Ｘ１−Ｘ２＋Ｘ３−Ｘ４）／４
（式１２）Ｙ４＝（Ｘ１−Ｘ２−Ｘ３＋Ｘ４）／４

ＮＤフィルタ３０ａ〜３０ｄを介して得られた信号を上記演算により処理して得られる信号（Ｙ１、Ｙ２、Ｙ３、Ｙ４）は、ウェーブレット変換された信号であるといえる。それらの結果に対して上記と同じ加減算処理を施すと元の信号（Ｘ１、Ｘ２、Ｘ３、Ｘ４）を算出できる。すなわち、以下の式１３〜式１６に示す加減算処理により、１画素ピッチの１／４の幅をもつ各領域における画素信号Ｘ１〜Ｘ４を得ることができる。
（式１３）Ｘ１＝Ｙ１＋Ｙ２＋Ｙ３＋Ｙ４
（式１４）Ｘ２＝Ｙ１＋Ｙ２−Ｙ３−Ｙ４
（式１５）Ｘ３＝Ｙ１−Ｙ２＋Ｙ３−Ｙ４
（式１６）Ｘ４＝Ｙ１−Ｙ２−Ｙ３＋Ｙ４

なお、上記の信号演算処理は一例であり、信号Ｘ１〜Ｘ４が求められれば、上記の手順に限らず、どのような手順で処理を行ってもよい。

以上のように、本実施形態の撮像装置によれば、固体撮像素子１の画素に１対１に対応して配置された、光透過率の配列パターンが互いに異なる４種類のＮＤフィルタを利用することにより、水平方向の解像度を実質的に４倍に高めることが可能となる。４種類のＮＤフィルタのうちの３種類は、幅が水平画素ピッチの１／４である４つの領域に分割されている。第１のＮＤフィルタ３０ａは、「濃」「淡」「濃」「淡」の縞状パターンを有する。第２のＮＤフィルタ３０ｂは、「淡」「濃」「濃」「淡」の縞状パターンを有する。第３のＮＤフィルタ３０ｃは、「淡」「淡」「濃」「濃」の縞状パターンを有する。第４のＮＤフィルタ３０ｄは、縞模様のパターンを有しておらず、その透過率は均一である。これらの縞状パターンを横切るように像を水平方向に１画素ピッチ移動させ、移動の前後で撮像することにより、１画素ピッチの１／４の幅を有する各領域における画素信号を得ることができる。すなわち、サブピクセルの精度で画素信号を取得できるため、従来以上の高解像度化が図れるという効果を奏する。

なお、本実施形態では、各画素の開口率は１００％であるものとしているが、１００％よりも小さくてもよい。各画素の開口率に応じて信号を補正すれば同様の効果を得ることができる。

また、本実施形態における各ＮＤフィルタの光透過率の配列パターンは、上記のパターンに限るものではない。各ＮＤフィルタの光透過率の配列パターンは、上記に示すパターンの背反なパターンであってもよい。ここで、「背反」とは、透過率αである「淡」領域と透過率βである「濃」領域とが逆転していることを意味する。例えば、図４（ａ）に示すパターンの代わりに図５に示すパターンを採用してもよい。図５は、ＮＤフィルタ３０ａ、３０ｂ、３０ｃの代わりに、濃淡を逆転させたＮＤフィルタ３０ｅ、３０ｆ、３０ｇをそれぞれ配置した構成を示している。この構成を採用した場合、上記の信号演算処理において、αとβとを逆転させれば同様の結果が得られる。この例では、３つのＮＤフィルタの濃淡を逆転させているが、１つまたは２つのＮＤフィルタの濃淡を逆転させた構成であってもよい。

ＮＤフィルタと画素との対応に関して、本実施形態では１つのＮＤフィルタに対して１画素を対応させているが、複数の画素を１つのＮＤフィルタに対応させても問題はない。例えば、１つのＮＤフィルタに対して２画素を対応させることが可能である。図６は、１つのＮＤフィルタ３０ｈに対して２画素２０ａ、２０ｂを対応させる例を示している。この例では、２つの画素２０ａ、２０ｂを覆うようにＮＤフィルタ３０ｈが配置されている。ＮＤフィルタ３０ｈは、各々がＸ方向に画素ピッチの１／２の幅をもつ４つの領域に分割されている。このＮＤフィルタ３０ｈの光透過率の配列パターンは、「濃」「淡」「淡」「濃」と表される。２つの画素２０ａ、２０ｂから得られる２つの画素信号に基づいて４つの領域の輝度を示す信号を求めることができる。この例では、Ｘ方向の解像度は通常の解像度の１／２になる。なお、この例では、ＮＤフィルタ３０ｈのうち、画素２０ａに対向する部分と、画素２０ｂに対向する部分とがそれぞれ異なる光透過部として機能する。そのため、ＮＤフィルタ３０ｈは、画素２０ａに対向する部分と画素２０ｂに対向する部分とが異なる光透過率の配列パターンとなるように構成される。

また、本実施形態では、透明ガラス板３を移動させることによって光の像を移動させるが、像の移動を他の方法で行ってもよい。本発明においては、複数の光透過部に対して像の相対位置が変化するように構成されていれば、どのような手段によって実現されていてもよい。例えば、厚さが均一な透明ガラス板を光軸に対して傾斜させて配置し、そのガラス板を微動させても像の位置をずらすことができる。このように、光軸に垂直な平面に対して傾斜した表面を有する透光性部材を微動させることによって同様の効果を得ることができる。また、像と撮像素子１を固定し、全てのＮＤフィルタを１画素ピッチ水平に移動させても信号処理によって同様の効果が得られる。ＮＤフィルタを微動させる構成では、例えば、素子駆動部６がＮＤフィルタを微動させる機構を備える。

本実施形態では、各画素に入射する光の量をほぼ等しくするために、第４のＮＤフィルタ３０ｄの光透過率を（α＋β）／２に設定しているが、このように設定する必要は必ずしもない。第４のＮＤフィルタ３０ｄの４つの領域の光透過率が０でない限り、どのような値に設定されていても、信号演算によって同様の効果を得ることができる。

本実施形態では、水平方向の解像度が通常の４倍に向上するが、光学的ローパスフィルタ２を用いるため、垂直方向の解像度は通常の１／２に低下する。そこで、垂直方向の解像度の低下を抑えるため、垂直方向の画素ピッチを通常の半分にしてもよい。このようにすれば、光学的ローパスフィルタ２を用いても、垂直方向の解像度は通常の解像度と同程度に維持される。

（実施形態２）
次に、図７を参照しながら本発明の第２の実施形態による撮像装置を説明する。本実施形態の撮像装置は、ＮＤフィルタの構成のみが実施形態１の撮像装置と異なっており、その他の構成は実施形態１と同じである。以下、実施形態１の撮像装置と異なる点を中心に説明し、重複する点については説明を省略する。

図７は本実施形態における固体撮像素子１の基本画素構成及び信号分布図である。図７（ａ）は、開口率１００％の画素に１対１に対応して縞状パターンのＮＤフィルタ３０ａ、３０ｂ、３０ｃ、３０ｄが配置された状態を示している。本実施形態では、実施形態１（図４）のＮＤフィルタの構成を一部変更し、ＮＤフィルタ３０ｄの代わりにＮＤフィルタ３０ａの背反模様のＮＤフィルタ３０ｅが画素２０ｄに対向して配置されている。また、濃淡パターンの光透過率に関して、「濃」の部分は極めて光透過率が低く（β≒０）、「淡」の部分では光透過率が極めて高く（α≒１）設定されている。このような構成により、各ＮＤフィルタの全透過光量をほぼ同じにしている。

以下、本実施形態における撮像時の動作を説明する。

撮像のための露光が開始すると、透明ガラス板３は光軸に対して垂直方向（画像の水平方向）に微動し、撮像面に形成される像を水平方向に微動させる。光学的ローパスフィルタ２は画像の垂直方向に解像度を低下させるが、水平方向には影響を及ぼさない。本実施形態では、像は静止状態から水平方向に１画素ピッチずれた位置、５／４ピッチずれた位置、３／２ピッチずれた位置にそれぞれ移動し、その度に光電変換によって生成された画像信号が固体撮像素子１から読み出される。

次に、図７（ｂ）〜（ｆ）を参照しながら、読み出される画素信号を説明する。本実施形態では、「濃」領域および「淡」領域の光透過率をそれぞれ０％および１００％とする。すなわち、α＝１、β＝０とする。最初に、ＮＤフィルタ、３０ｂ、３０ｅに注目する。光学的ローパスフィルタ２の影響により、ＮＤフィルタ３０ｂ、３０ｅ上の光量は同じと考える。

図７（ｂ）には、ＮＤフィルタがないと仮定した場合に画素２０ｂ、３０ｅに蓄積される信号の水平方向の依存性を例示するグラフ１９ａが示されている。図７（ｂ）には、像が水平方向に１ピッチ、５／４ピッチ、３／２ピッチ移動した際に画素３０ａ、３０ｃに蓄積される信号の水平方向の依存性をそれぞれ例示するグラフ１９ｂ、１９ｃ、１９ｄも示されている。

以下、各画素から読み出される画素信号に基づいてビデオ信号生成部９で行われる処理を説明する。

まず第１に、静止状態において、ＮＤフィルタ３０ｂ、３０ｅを介して光電変換された信号がそれぞれ読み出される。図７（ｃ）に示すように、ＮＤフィルタ３０ｂ、３０ｅを介して得られる信号は、それぞれ（Ｘ１＋Ｘ４）、（Ｘ１＋Ｘ３）と表される。第２に、水平方向に像が１画素ピッチ移動し、ＮＤフィルタ３０ａ、３０ｃを介して光電変換された画素信号が読み出される。図７（ｄ）に示すように、このときＮＤフィルタ３０ａ、３０ｃを介して読み出される信号は、それぞれ（Ｘ２＋Ｘ４）、（Ｘ１＋Ｘ２）と表される。第３に、静止状態から水平方向に５／４画素ピッチ像が移動し、ＮＤフィルタ１ａ、１ｃを介して光電変換された画素信号が読み出される。図７（ｅ）に示すように、このときＮＤフィルタ３０ａ、３０ｃを介して読み出される信号は、それぞれ（Ｘ３＋Ｘ５）、（Ｘ２＋Ｘ３）と表される。第４に、静止状態から水平方向に３／２画素ピッチ像が移動し、ＮＤフィルタ１ａ、１ｃを介して光電変換された画素信号が読み出される。図７（ｆ）に示すように、このときＮＤフィルタ３０ａ、３０ｃを介して読み出される信号は、それぞれ（Ｘ４＋Ｘ６）、（Ｘ３＋Ｘ４）と表される。

読み出された信号の中で、（Ｘ３＋Ｘ５）と（Ｘ４＋Ｘ６）は利用せず、その他の信号を利用する。まず、ＮＤフィルタ３０ｅを介して得られた信号（Ｘ１＋Ｘ３）と、像が１画素ピッチ移動した際にＮＤフィルタ３０ａを介して得られた信号（Ｘ２＋Ｘ４）の加算により、（Ｘ１＋Ｘ２＋Ｘ３＋Ｘ４）を算出し、それをＹ１とおく（式１７）。次に、以下の式１８〜式２０で示す各信号間の減算を行う。
（式１７）Ｙ１＝（Ｘ１＋Ｘ２＋Ｘ３＋Ｘ４）
（式１８）Ｙ２＝（Ｘ１＋Ｘ２）−（Ｘ３＋Ｘ４）
（式１９）Ｙ３＝（Ｘ１＋Ｘ３）−（Ｘ２＋Ｘ４）
（式２０）Ｙ４＝（Ｘ１＋Ｘ４）−（Ｘ２＋Ｘ３）

これらの演算によって得られる信号Ｙ１、Ｙ２、Ｙ３、Ｙ４は、係数を除けば実施形態１と同じでありる。（Ｙ１、Ｙ２、Ｙ３、Ｙ４）は、ウェーブレット変換された信号であるといえる。それらの結果に対して上記と同じ演算処理を施すと元の信号（Ｘ１、Ｘ２、Ｘ３、Ｘ４）を算出できる。すなわち、以下の式２１〜式２４に示す演算処理により、１画素ピッチの１／４の幅をもつ各領域における画素信号Ｘ１〜Ｘ４を得ることができる。
（式２１）Ｘ１＝（Ｙ１＋Ｙ２＋Ｙ３＋Ｙ４）／４
（式２２）Ｘ２＝（（Ｙ１＋Ｙ２）−（Ｙ３＋Ｙ４））／４
（式２３）Ｘ３＝（（Ｙ１＋Ｙ３）−（Ｙ２＋Ｙ４））／４
（式２４）Ｘ４＝（（Ｙ１＋Ｙ４）−（Ｙ２＋Ｙ３））／４

なお、信号演算処理は上記の手順に限らず、信号Ｘ１〜Ｘ４が求められれば、どのような手順で処理を行ってもよい。

以上のように、本実施形態の撮像装置によれば、固体撮像素子１の画素に１対１に対応して配置された、光透過率の配列パターンが互いに異なる４種類のＮＤフィルタを利用することにより、水平方向の解像度を実質的に４倍に高めることが可能となる。各ＮＤフィルタは、縞の間隔が水平画素ピッチの１／４である４つの領域に分割されている。第１のＮＤフィルタ３０ａは、「濃」「淡」「濃」「淡」の縞状パターンを有している。第２のＮＤフィルタ３０ｂは、「淡」「濃」「濃」「淡」の縞状パターンを有している。第３のＮＤフィルタ３０ｃは、「淡」「淡」「濃」「濃」の縞状パターンを有している。第４のＮＤフィルタ３０ｄは、「淡」「濃」「淡」「濃」の縞状パターンを有している。これらの縞状パターンを横切る形で像を初期位置から水平方向に１画素ピッチ、５／４画素ピッチ、３／２画素ピッチずらし、各々で撮像することにより、１画素ピッチの１／４の幅を有する各領域における画素信号を得ることができる。すなわち、サブピクセルの精度で画素信号を取得できるため、従来以上の高解像度化が図れるという効果を奏する。

なお、本実施形態では「淡」の領域の透過率を１００％とし、「淡」の領域の透過率を０％としたが、濃淡の差が十分大きければ、上記演算処理は概ね成立するので、必ずしも上記透過率に設定する必要はない。

本実施形態における各ＮＤフィルタの光透過率の配列パターンは、上記のパターンに限るものではない。各ＮＤフィルタの光透過率の配列パターンは、上記に示すパターンの背反なパターンであってもよい。ただし、本実施形態では、ＮＤフィルタ３０ａとＮＤフィルタ３０ｅとは背反の関係になるように構成されている必要がある。

また、本実施形態でも、結像の微動に関して、透明ガラス板３を微動させる方法に限らず、他の方法で行ってもよい。例えば、厚さが均一な透明ガラス板を光軸に対して傾斜させて配置し、そのガラス板を微動させても像の位置をずらすことができる。このように、光軸に垂直な平面に対して傾斜した表面を有する透光性部材を微動させることによって同様の効果を得ることができる。また、像と撮像素子１を固定し、全てのＮＤフィルタを１画素ピッチだけ水平に移動させても同様の効果が得られる。

（実施形態３）
次に、本発明の第３の実施形態による撮像装置を説明する。本実施形態の撮像装置において、実施形態２の撮像装置と構成や信号読み出し処理は同じであるが、算出する信号が異なる。そのため、実施形態２の撮像装置と異なる点を中心に説明し、重複する点については説明を省略する。

本実施形態では、画像の特徴を画素値の変化分と考え、１／４画素ピッチ毎の交流信号を算出することを目的とする。すなわち、直流成分を０としたときの各画素信号を算出する。そこで、Ｙ１＝０としてＸ１〜Ｘ４の信号を算出する。このような処理によって直流成分に影響されない画素信号が得られる。具体的には、式２１〜式２４において、Ｙ１＝０とおいて、各画素信号を算出すれば、以下の式２５〜式２８に示す１／４画素ピッチ毎の交流信号Ｘ１〜Ｘ４が得られる。
（式２５） Ｘ１＝（Ｙ２＋Ｙ３＋Ｙ４）／４
（式２６） Ｘ２＝（Ｙ２−Ｙ３−Ｙ４）／４
（式２７） Ｘ３＝（Ｙ３−Ｙ２−Ｙ４）／４
（式２８） Ｘ４＝（Ｙ４−Ｙ２−Ｙ３）／４

以上のように、本実施形態の撮像装置によれば、固体撮像素子１の画素に１対１に対応して配置された、光透過率の配列パターンが互いに異なる４種類のＮＤフィルタを利用することにより、水平方向の解像度を実質的に４倍に高めることが可能となる。各ＮＤフィルタは、縞の間隔が水平画素ピッチの１／４である４つの領域に分割されている。第１のＮＤフィルタ３０ａは、「濃」「淡」「濃」「淡」の縞状パターンを有している。第２のＮＤフィルタ３０ｂは、「淡」「濃」「濃」「淡」の縞状パターンを有している。第３のＮＤフィルタ３０ｃは、「淡」「淡」「濃」「濃」の縞状パターンを有している。第４のＮＤフィルタ３０ｄは、「淡」「濃」「淡」「濃」の縞状パターンを有している。これらの縞状パターンを横切る形で像を初期位置から水平方向に１画素ピッチ、５／４画素ピッチ、３／２画素ピッチずらし、各々について撮像を行う。本実施形態では、信号処理において、直流成分である信号を０とおくことにより、１画素ピッチの１／４の幅をもつ各領域における交流の画素信号を得ることができる。その結果、交流成分についても従来以上の高解像度画像が得られるという効果を奏する。

（実施形態４）
次に、図８を参照しながら本発明の第４の実施形態による撮像装置を説明する。本実施形態の撮像装置は、実施形態２の撮像装置と比較して、光透過部の各領域の配列パターンは実施形態２と同様であるが、各ＮＤフィルタの濃淡部における光透過率、光の像のずれ方、および信号処理方法が異なる。以下、実施形態２の撮像装置と異なる点を中心に説明し、重複する点についての説明を省略する。

ＮＤフィルタの濃淡部における光透過率に関して、実施形態１と同じく、「淡」の部分の光透過率はα（＞０）、「濃」の部分の光透過率はβ（＞０、ただしαよりも小さい）に設定される。光の像のずれ方及び撮像に関しては、実施形態１と同様である。すなわち、撮像面に形成される像が静止状態から水平方向に１画素ピッチ移動し、像の移動前後で光電変換された画素信号が固体撮像素子１からそれぞれ読み出される。

以下、図８を参照しながら、読み出される画素信号を説明する。図８は、本実施形態における固体撮像素子１の基本画素構成及び信号分布図である。

本実施形態では、まず第１に、静止状態において、ＮＤフィルタ３０ｂ、３０ｅを介して光電変換された信号がそれぞれ読み出される。図８（ｃ）に示すように、ＮＤフィルタ３０ｂを介して得られる信号Ｓｂは、α（Ｘ１＋Ｘ４）＋β（Ｘ２＋Ｘ３）と表される。ＮＤフィルタ３０ｅを介して得られる信号Ｓｅはα（Ｘ１＋Ｘ３）＋β（Ｘ２＋Ｘ４）と表される。第２に、水平左方向に像が１画素ピッチ移動し、ＮＤフィルタ３０ａ、３０ｅを介して光電変換された画素信号が読み出される。図８（ｄ）に示すように、ＮＤフィルタ３０ａを介して得られる信号Ｓａはα（Ｘ２＋Ｘ４）＋β（Ｘ１＋Ｘ３）と表される。ＮＤフィルタ３０ｃを介して得られる信号Ｓｃはα（Ｘ１＋Ｘ２）＋β（Ｘ３＋Ｘ４）と表される。したがって、信号Ｓａ、Ｓｂ、Ｓｃは、それぞれ式１〜式３で表される。信号Ｓｅは、次の式２９で表される。
（式２９）Ｓｅ＝α（Ｘ１＋Ｘ３）＋β（Ｘ２＋Ｘ４）

ここで、式１と式２５により、（Ｘ１＋Ｘ３）と（Ｘ２＋Ｘ４）に関して連立方程式を解くと、それらはそれぞれ以下の式３０、３１で表される。
（式３０）（Ｘ１＋Ｘ３）＝（αＳｅ−βＳａ）／（α²−β²）
（式３１）（Ｘ２＋Ｘ４）＝（αＳａ−βＳｅ）／（α²−β²）

さらに、式３０と式３１から、以下の式３２と式３３で示すように、Ｘ３をＸ１とその他の項で表し、またＸ４をＸ２とその他の項で表す。
（式３２）Ｘ３＝（αＳｅ−βＳａ）／（α²−β²）−Ｘ１
（式３３）Ｘ４＝（αＳａ−βＳｅ）／（α²−β²）−Ｘ２

次に、Ｘ３、Ｘ４を式２と式３に代入することにより、Ｘ１とＸ２を求める。Ｘ１、Ｘ２は、それぞれ以下の式３４、式３５で表される。さらに、Ｘ３、Ｘ４は、それぞれ以下の式３６、式３７で表される。
（式３４）Ｘ１＝（−（α＋２β）Ｓａ＋（α＋β）（Ｓｂ＋Ｓｃ）−βＳｅ）／２（α²−β²）
（式３５）Ｘ２＝（（α＋２β）Ｓａ−（α＋β）（Ｓｂ−Ｓｃ）＋βＳｅ）／２（α²−β²）
（式３６）Ｘ３＝（αＳａ−（α＋β）（Ｓｂ＋Ｓｃ）＋（２α＋β）Ｓｅ）／２（α²−β²）
（式３７）Ｘ４＝（（α−２β）Ｓａ＋（α＋β）（Ｓｂ−Ｓｃ）−３βＳｅ）／２（α²−β²）

このように、図８（ａ）に示すＮＤフィルタの構成で、１画素ピッチ水平方向に像をずらすことにより、水平方向の画素ピッチが通常の１／４である画像に相当する高精細な画像信号が得られる。なお、信号演算処理は上記の手順に限らず、信号Ｘ１〜Ｘ４が求められれば、どのような手順で行ってもよい。

以上のように本実施形態の撮像装置によれば、固体撮像素子１の画素に１対１に対応して配置された、光透過率の配列パターンが互いに異なる４種類のＮＤフィルタを利用することにより、水平方向の解像度を実質的に４倍に高めることが可能となる。各ＮＤフィルタは、縞の間隔が水平画素ピッチの１／４である４つの領域に分割されている。第１のＮＤフィルタ３０ａは、「濃」「淡」「濃」「淡」の縞状パターンを有している。第２のＮＤフィルタ３０ｂは、「淡」「濃」「濃」「淡」の縞状パターンを有している。第３のＮＤフィルタ３０ｃは、「淡」「淡」「濃」「濃」の縞状パターンを有している。第４のＮＤフィルタ３０ｄは、「淡」「濃」「淡」「濃」の縞状パターンを有している。これらの縞状パターンを横切るように像を水平方向に１画素ピッチ移動させ、移動の前後で撮像することにより、１画素ピッチの１／４の幅を有する各領域における画素信号を得ることができる。すなわち、サブピクセルの精度で画素信号を取得できるため、従来以上の高解像度化が図れるという効果を奏する。

なお、以上の実施形態１〜４では、各ＮＤフィルタは、Ｘ方向に等しい幅をもった４つの縞状の領域に分割されているが、これらの領域の幅が異なっていても本発明の効果を得ることは可能である。これらの領域の幅が異なっている場合、それらの幅の差に起因する透過光量の差を考慮して各信号を補正すればよい。

本発明における各光透過部の光透過率の配列パターンは、上記の実施形態１〜４で示したＮＤフィルタのパターンに限るものではない。各光透過部の光透過率の配列パターンは、光透過部の各領域に入射する光の量を示す信号を求めることができれば、どのようなパターンであってもよい。また、光透過部における領域の数も４つに限るものではない。本発明では、１つの単位画素ブロックにＮ個（Ｎは２以上の整数）の画素が含まれ、各光透過部がＭ個（Ｍは２以上の整数）の領域に分割されていればよい。

また、上記の各実施形態において、各ＮＤフィルタの各領域の光透過率は、α、β、(α＋β)／２のいずれかに設定されるが、本発明はこのような例に限られるものではない。本発明において、各光透過部の全ての領域の光透過率が異なっていても、それらの光透過率が既知であれば、信号演算によって各領域の信号を求めることができる。

上記の各実施形態では、水晶からなる光学的ローパスフィルタ２によって垂直方向の解像度を下げ、水平方向に像をずらすことにより、水平方向のみ解像度を向上させている。これは、像をずらす回数を削減するためであり、もし垂直方向にも像を微動させるなら、光学的ローパスフィルタ２を用いなくてもよい。光学的ローパスフィルタ２を用いず、像を水平及び垂直方向にシフトさせる構成であっても、各実施形態と同様の効果を得ることができる。さらに、各光透過部は、水平方向に限らず、垂直方向に沿って配列された複数の領域に分割されていてもよい。また、各光透過部の光透過率の配列パターンが２次元的なパターンであれば、水平及び垂直方向の高解像度化も図ることができる。

本発明の撮像装置および固体撮像素子は、固体撮像素子を用いるすべてのカメラに有効である。例えば、デジタルスチルカメラやデジタルビデオカメラなどの民生用カメラや、産業用の固体監視カメラなどに利用可能である。

１ 固体撮像素子
１ａ 固体撮像素子の撮像面
２ 光学的ローパスフィルタ
３ 透明ガラス板
４ 光学レンズ
５ 信号発生／受信部
６ 素子駆動部
７ 光学系駆動部
８ 画像メモリー部
９ ビデオ信号生成部
１０ ビデオインターフェース部
１１ 光学系
１９ａ、１９ｂ、１９ｃ、１９ｄ 画素信号
２０ａ、２０ｂ、２０ｃ、２０ｄ 画素
３０ａ、３０ｂ、３０ｃ、３０ｄ、３０ｅ、３０ｆ、３０ｇ、３０ｈ、３０ｉ ＮＤフィルタ（光透過部）
４０ 単位画素ブロック
１００ 撮像部
２００ 映像信号処理部

本発明は、サブピクセルの精度で画像の精細度を向上させる撮像装置および固体撮像素子に関する。

近年、ＣＣＤやＣＭＯＳ等の固体撮像素子（以下、「撮像素子」と呼ぶことがある。）を用いたデジタルカメラやデジタルムービーの高機能化、高性能化には目を見張るものがある。特に半導体製造技術の進歩により、固体撮像素子における画素構造の微細化が進んでいる。その結果、固体撮像素子の画素及び駆動回路の高集積化が図られ、撮像素子の画素数は１００万画素程度から１０００万画素以上へと急速に多画素化が進んでいる。その一方で、多画素の固体撮像素子の製造プロセスでは、画素密度が高くなる程、製造工程が複雑になると共に生産品質も低下する。また、画質検査に要する時間も長くなり、その結果、歩留りや生産性にも影響が出ている。

画像の高解像度化には、撮像素子の多画素化による方法以外に、光学系により結像した画像に対して撮像素子の画素をずらすという、所謂、画素ずらし技術による方法もある。画素ずらし技術には、大きく分けて２種類の技術がある。第１の画素ずらし技術は、固体撮像素子の撮像面内において行列状に配列された複数の画素を１行あるいは１列毎に半画素ピッチずらして配置する画像空間的位置ずれの画素ずらしである。第２の画素ずらし技術は、２次元正方配列の固体撮像素子および光学系の少なくとも一方を機械的に微動させる時間変動の画素ずらしである。

画像空間的位置ずれによる画素ずらし技術の基本原理の一例が特許文献１に開示されている。特許文献１では、画像空間的位置ずれによる画素ずらし技術が撮像素子を３つ用いた３板式のカラーカメラに適用されている。このカラーカメラは、人間の視感度の高い緑（Ｇ）の撮像素子の画素を１行おきに１／２ピッチ水平方向にずらした構成を採用することにより、水平方向の解像度を高めている。

水平方向だけでなく垂直方向にも画素をずらした一例が、特許文献２に開示されている。特許文献２のＣＣＤ撮像素子では、画素に相当する光感知部の形状をひし形にして、蛇行状に配置している。各画素を水平方向にも垂直方向にも画素の１／２ピッチ分ずらして配列することにより、水平及び垂直方向における解像度を高めている。

時間変動の画素ずらしの技術については、撮像素子に対して光学系を機械的に微動させる一例が、特許文献３に開示されている。特許文献３では、撮像素子とレンズとの間に透光性の平行平板が設置されている。光軸に対して平行平板を振らせることにより、撮像素子に結像した光学像を微動させ、微動方向の解像度を向上させている。光学系は動かさず、撮像素子そのものを微動させ、解像度を向上させた例が特許文献４に記されている。特許文献４に開示された例では、微動手段として圧電素子を用い、撮像素子を画素の１／２ピッチ微動させることによって、解像度を向上させている。

以上のように、従来の画素ずらし技術は、画素を水平および垂直方向に１／２ピッチずらして配置するか、機械的に撮像素子を水平および垂直方向に１／２ピッチ微動させることによって解像度を向上させる。原理的には、光感知部の開口率が１００％であれば、画素を１／２ピッチずらすことにより、解像度は２倍に向上する。

特開昭５８−１３７２４７号公報 特開昭６０−１８７１８７号公報 特開昭６３−２８４９７９号公報 特開昭６４−６９１６０号公報

従来の画素ずらし技術によれば、解像度を約２倍に向上させることができるが、それ以上の増加は望めない。さらに解像度を向上させるには、画素の配置密度を高めなければならなかった。

本発明は、画素の配置密度を高めることなく、従来の画素ずらし技術では実現できなかった、解像度を２倍を超える値に向上させる画素ずらし技術を提供することを目的とする。

本発明の撮像装置は、撮像面上において、第１方向および前記第１方向と交差する第２方向に沿って２次元状に配列された複数の画素を含む画素アレイであって、各々がＮ個（Ｎは２以上の整数）の画素を含む複数の単位画素ブロックに分割された画素アレイ、および各々が各画素に対応して配置された複数の光透過部であって、各光透過部は前記第１の方向に沿って配列されたＭ個（Ｍは２以上の整数）の領域に分割され、各領域は個別に設定された光透過率を有し、各単位画素ブロックに含まれる前記Ｎ個の画素に対応するＮ個の光透過部の光透過率の配列パターンは互いに異なっている複数の光透過部を有する固体撮像素子と、前記固体撮像素子の撮像面に像を形成する光学系と、前記複数の光透過部に対する前記像の相対位置を前記第１方向および前記第２方向の少なくとも一方にシフトさせる位置ずらし部と、前記固体撮像素子の各画素から出力される信号に基づいて、前記画素アレイの前記第１方向における画素ピッチで規定される解像度よりも高い解像度の画像を生成する信号処理部と、を備えている。

ある実施形態において、前記光学系は、前記光学系によって形成される像の前記第２方向における解像度を低下させる光学ローパスフィルタを有し、前記位置ずらし部は、前記複数の光透過部に対する前記像の相対位置を前記第１方向にシフトさせる。

ある実施形態において、各単位画素ブロックに含まれる前記Ｎ個の画素に対応する前記Ｎ個の光透過部の光透過率の配列パターンは、直交ウェーブレット係数に基づいて決定されている。

ある実施形態において、前記光学系は、光軸に垂直な平面に対して傾斜した表面を有する透光性部材を含み、前記位置ずらし部は、前記透光性部材を前記光軸に垂直な方向に移動させることによって前記複数の光透過部に対する前記像の相対位置をシフトさせる。

ある実施形態において、各単位画素ブロックに含まれるＮ個の画素に対応するＮ個の光透過部のうち少なくともＮ−１個は、第１透過率または前記第１透過率とは異なる第２透過率に設定されている。

ある実施形態において、Ｎ＝４、Ｍ＝４であり、前記第１透過率を「１」、前記第２透過率を「−１」と表すとき、各単位画素ブロックに含まれる４つの画素に対応する４つの光透過部の光透過率の配列パターンは、それぞれ、「１、−１、１、−１」で表される第１パターンまたは前記第１パターンの背反パターン、「−１、１、１、−１」で表される第２パターンまたは前記第２ターンの背反パターン、「−１、−１、１、１」で表される第３パターンまたは前記第３パターンの背反パターン、および各領域の光透過率が０よりも大きい第３透過率に設定された第４パターンである。

ある実施形態において、Ｎ＝４、Ｍ＝４であり、前記第１透過率を「１」、前記第２透過率を「−１」と表すとき、各単位画素ブロックに含まれる４つの画素に対応する４つの光透過部の光透過率の配列パターンは、それぞれ、「１、−１、１、−１」で表される第１パターン、「−１、１、１、−１」で表される第２パターンまたは前記第２ターンの背反パターン、「−１、−１、１、１」で表される第３パターンまたは前記第３パターンの背反パターン、および前記第１パターンの背反パターンである。

本発明の固体撮像素子は、撮像面上において、第１方向および前記第１方向と交差する第２方向に沿って２次元状に配列された複数の画素を含む画素アレイであって、各々がＮ個（Ｎは２以上の整数）の画素を含む複数の単位画素ブロックに分割された画素アレイと、各々が各画素に対応して配置された複数の光透過部であって、各光透過部は前記第１の方向に沿って配列されたＭ個（ＭはＮ以上の整数）の領域に分割され、各領域は個別に設定された光透過率を有し、各単位画素ブロックに含まれる前記Ｎ個の画素に対応するＮ個の光透過部の光透過率の配列パターンは互いに異なっている複数の光透過部とを備える。

本発明の撮像装置および固体撮像素子によれば、サブピクセルの精度で画素信号を取得できるため、従来の画素ずらし技術以上の高解像度化が実現でき得る。

本発明の実施形態１における撮像装置の概略構成を示すブロック図である。 本発明の実施形態１におけるレンズと固体撮像素子の配置を示すブロック図である。 本発明の実施形態１における画素配列の一例を示す図である。 本発明の実施形態１における画素配列の他の例を示す図である。 （ａ）は、本発明の実施形態１における固体撮像素子のＮＤフィルタの基本構成を示す図であり、（ｂ）は、像の移動前後の信号分布を示す図であり、（ｃ）は、画素３０ｂ、３０ｄの光透過率および画素信号を示す図であり、（ｄ）は、画素３０ａ、３０ｃの光透過率および画素信号を示す図である。 本発明の実施形態１における固体撮像素子のＮＤフィルタの基本構成の他の例を示す図である。 本発明の実施形態１における固体撮像素子のＮＤフィルタの基本構成のさらに他の例を示す図である。 （ａ）は、本発明の実施形態２における固体撮像素子のＮＤフィルタの基本構成を示す図であり、（ｂ）は、像の移動前後の信号分布を示す図であり、（ｃ）は、画素３０ｂ、３０ｅの光透過率および画素信号を示す図であり、（ｄ）は、像が１ピッチ水平方向にずれた際の画素３０ａ、３０ｃの光透過率および画素信号を示す図であり、（ｅ）は、像が５／４ピッチ水平方向にずれた際の画素３０ａ、３０ｃの光透過率および画素信号を示す図であり、（ｆ）は、像が３／２ピッチ水平方向にずれた際の画素３０ａ、３０ｃの光透過率および画素信号を示す図である。 （ａ）は、本発明の実施形態４における固体撮像素子のＮＤフィルタの基本構成を示す図であり、（ｂ）は、像の移動前後の信号分布を示す図であり、（ｃ）は、画素３０ｂ、３０ｅの光透過率および画素信号を示す図であり、（ｄ）は、画素３０ａ、３０ｃの光透過率および画素信号を示す図である。 Ｈａａｒ基底によるスケーリング関数のグラフである。 Ｈａａｒ基底のウェーブレット関数のグラフである。

以下、図面を参照しながら、本発明の実施形態を説明する。複数の図にわたって共通する要素には同一の参照符号を付している。

（実施形態１）
図１は本発明の第１の実施形態における撮像装置の概略構成を示すブロック図である。本実施形態の撮像装置は、デジタル式のビデオカメラであり、撮像部１００と、撮像部１００から送出される信号に基づいて映像信号（ビデオ信号）を生成する映像信号処理部２００とを備えている。なお、本実施形態の撮像装置はビデオカメラであるが、撮像装置は静止画のみを取得するカメラであってもよい。

撮像部１００は、光学系１１と、光学系１１を通して結像した光情報を、光電変換によって電気信号に変換する固体撮像素子１（イメージセンサ）とを備えている。光学系１１は、光学レンズ４と、水晶からなる光学的ローパスフィルタ２と、端部からの距離に応じて厚さが変化している透明ガラス板３とを含んでいる。透明ガラス板３は、光学系駆動部７によって光軸に垂直な方向に微動できるように構成されている。撮像部１００はさらに、固体撮像素子１を駆動するための基本信号を発生するとともに固体撮像素子１からの出力信号を受信して映像信号処理部１０に送出する信号発生／受信部５と、信号発生／受信部５によって発生された基本信号に基づいて撮像素子１を駆動する素子駆動部６とを備えている。なお、素子駆動部６は、信号発生／受信部５に組み込まれていてもよい。

光学レンズ４は、公知のレンズであり、複数のレンズを有するレンズユニットであり得る。光学的ローパスフィルタ２は、画素配列が原因で発生するモアレパターンを低減するための光学素子である。撮像素子１は、典型的にはＣＣＤまたはＣＭＯＳセンサであり、公知の半導体製造技術によって製造される。信号発生／受信部５および素子駆動部６は、例えばＣＣＤドライバなどのＬＳＩから構成される。光学系駆動部７は、例えば公知の圧電素子から構成される。

映像信号処理部２００は、撮像部１００から送出される信号を処理してビデオ信号を生成するビデオ信号生成部９と、ビデオ信号の生成過程で発生する各種のデータを格納する画像メモリー部８と、生成したビデオ信号を外部に送出するビデオインターフェース部１０とを備えている。ビデオ信号生成部９は、公知のデジタル信号処理プロセッサ（ＤＳＰ）などのハードウェアと、ビデオ信号生成処理を含む画像処理を実行するソフトウェアとの組合せによって好適に実現され得る。本実施形態では、ビデオ信号生成部９や画像メモリー部８が本発明における信号処理部に含まれる。画像メモリー部８は、ＤＲＡＭなどによって構成される。画像メモリー部８は、撮像部１００から送出された信号を記録するとともに、ビデオ信号生成部９によって生成された画像データや、圧縮された画像データを一時的に記録する。これらの画像データは、ビデオインターフェース部１０を介して不図示の記録媒体や表示部などに送出される。

本実施形態の撮像装置は、電子シャッタ、ビューファインダ、電源（電池）、フラッシュライトなどの公知の構成要素を備え得るが、それらの説明は本発明の理解に特に必要でないため省略する。また、以上の構成はあくまでも一例であり、固体撮像素子１を除く構成要素には、公知の要素を好適に組み合わせて用いることができる。

図２は、露光中に光学レンズ４を透過した光が撮像素子１に入射する様子を模式的に示す図である。図２では、簡単のため光学レンズ４および撮像素子１以外の構成要素の記載は省略されている。また、レンズ４は、一般には光軸方向に並んだ複数のレンズによって構成され得るが、簡単のため、単一のレンズとして描かれている。撮像素子１の撮像面１ａには、２次元状に配列された複数の画素を含む画素アレイが配置されている。各画素は、典型的にはフォトダイオードを含み、受けた光の量（受光量）に応じた光電変換信号（画素信号）を出力する。撮像面１ａには光学系１１を透過した光が入射する。

図３Ａは、本実施形態における画素配列を示す平面図である。画素アレイ２００は、図３Ａに示すように、撮像面１ａ上に正方格子状に配列された複数の画素を有している。画素アレイ２００は、複数の単位画素ブロック４０に分割され、各単位画素ブロック４０は、２行２列に配置された４つの画素２０ａ、２０ｂ、２０ｃ、２０ｄを含んでいる。なお、本発明における画素配列は、図３Ａに示す正方格子状の配列ではなく、例えば、図３Ｂに示すような斜交型の配列であってもよいし、他の配列であってもよい。画素配列は、第１方向および第１方向と交差する第２方向に沿って２次元状に複数の画素が配列されていればどのような配列であってもよい。以下の説明では、図３Ａの画素配列を前提にするが、図３Ｂなどの画素配列であっても、後述するＮＤフィルタの向きおよび像の移動方向を適宜変更することにより、同様の効果が得られる。以下の説明において、図３Ａ、３Ｂに示すＸＹ座標を用いる。本明細書では、便宜上、Ｘ方向を「水平方向」、Ｙ方向を「垂直方向」と呼ぶこととする。

以上の構成により、入射光は光学レンズ４、光学ガラス板３、光学的ローパスフィルタ２を通して固体撮像素子１の撮像面１ａ上に結像され、固体撮像素子１の各画素で光電変換される。ここで、光学的ローパスフィルタ２は、入射光を画像の垂直方向に１画素分複屈折させ、当該方向の解像度を低下させている。本実施形態では、固体撮像素子の画素アレイ２００は、２×２画素を基本構成として、それらの画素各々に対向して、ＮＤ（Ｎｅｕｔｒａｌ Ｄｅｎｓｉｔｙ）フィルタが配置されている。各ＮＤフィルタは、個々に分離して配置されているが、分離せず１つのフィルタ層として画素アレイ２００に対向して配置されていてもよい。なお、本発明においては、画素に１対１に対応して複数の光透過部が設けられていればよい。ここで、「対応」とは、信号蓄積開始時に対向していることを意味するものとする。本実施形態では、各ＮＤフィルタが１つの光透過部として機能する。

図４は、本実施形態における固体撮像素子１の基本画素構成及び信号分布を示す図である。図４（ａ）に示すように、開口率１００％の画素２０ａ、２０ｂ、２０ｃ、２０ｄに１対１に対応してＮＤフィルタ３０ａ、３０ｂ、３０ｃ、３０ｄがそれぞれ配置されている。ＮＤフィルタ３０ａ〜３０ｄの各々は、水平方向の画素ピッチ（ａ）の１／４の幅をもつ４つの領域から構成される。ＮＤフィルタ３０ａ〜３０ｃにおける各領域は、相対的に光透過率が高い領域（「淡」と表す）、および相対的に光透過率が低い領域（「濃」と表す）のいずれかである。ＮＤフィルタ３０ａの光透過率の配列パターンは、図４における左側から順に「濃」「淡」「濃」「淡」の縞状のパターンである。ＮＤフィルタ３０ｂは「淡」「濃」「濃」「淡」の縞状パターンを有している。ＮＤフィルタ３０ｃは「淡」「淡」「濃」「濃」の縞状パターンを有している。ＮＤフィルタ３０ｄは、縞状パターンを有しておらず、４つの領域の光透過率は同一である。本実施形態では、「淡」の部分の光透過率をα（＞０）、「濃」の部分の光透過率をβ（＞０、ただしαよりも小さい）として、縞状パターンを有していないＮＤフィルタ３０ｄの光透過率は（α＋β）／２に設定されている。その結果、各ＮＤフィルタを透過する光の量はほぼ同じである。

ここで、本実施形態におけるＮＤフィルタの光透過率の配列パターンについて説明しておく。上記の濃淡パターンは、図９Ａに示すＨａａｒ基底によるスケーリング関数ｕ（ｔ）と、図９Ｂに示す同基底のウェーブレット関数ｖ（ｔ）とからなる直交ウェーブレット変換の係数に基づいている。本実施形態では単位画素ブロックあたり、４つの画素から出力される４つのデータを取り扱う。直交ウェーブレット変換に基づくと、データ群の加算や減算によって別なデータ群に変換し、また、同じ処理で元のデータ群に戻すことができる。本実施形態の場合、「淡」及び縞模様のない領域を１とし、「濃」領域を−１と表すと、ＮＤフィルタ３０ａ、３０ｂ、３０ｄ、３０ｄのパターン成分は、それぞれ（−１，１，−１，１）、（１，−１，−１，１）、（１，１，−１，―１）、（１，１，１，１）と表すことができる。それらの直交性はベクトルの内積と同じ処理で確認できる。すなわち、各ＮＤフィルタを４つの成分からなるベクトルと考えると、それらの内積は０になり、直交していることがわかる。

以下、本実施形態における撮像時の動作を説明する。

露光が開始すると、まず、一定時間、各画素に受光量に応じた信号が蓄積する。蓄積した信号は、撮像素子１から読み出され、信号発生／受信部５を経由して画像メモリ―部８に送出される。次に、光学系駆動部７は、透明ガラス板３を、光軸に対して垂直方向（画像の水平方向）に微動させ、撮像面に形成される像を水平方向に１画素ピッチ移動させる。移動後の状態で、再び一定の時間、各画素に信号が蓄積する。蓄積した信号は、再度、撮像素子１から読み出され、画像メモリー部８に送出される。ここで、光学的ローパスフィルタ２は画像の垂直方向に解像度を低下させるが、水平方向には影響を及ぼさない。

次に、図４（ｂ）〜（ｄ）を参照しながら、読み出される画素信号を説明する。最初に、ＮＤフィルタ３０ｂ、３０ｄに注目する。光学的ローパスフィルタ２の影響により、ＮＤフィルタ３０ｂ、３０ｄに入射する光の量は同じと考える。

図４（ｂ）には、ＮＤフィルタがないと仮定した場合に画素２０ｂ、２０ｄに蓄積される信号の水平方向の依存性を例示するグラフ１９ａが示されている。ここで、１画素ピッチの１／４の幅を有する各領域に入射する光の量を示す信号をＸ１、Ｘ２、Ｘ３、・・・、Ｘｎと表記する。図４（ｂ）には、像が水平方向に１画素ピッチ移動した後に画素２０ａ、２０ｃに蓄積される信号の水平方向の依存性を例示するグラフ１９ｂも示されている。

以下、各画素から読み出される画素信号に基づいてビデオ信号生成部９が行う処理を説明する。

まず第１に、静止状態においてＮＤフィルタ３０ｂ、３０ｄを介して光電変換された信号がそれぞれ読み出される。図４（ｃ）に示すように、ＮＤフィルタ３０ｂの両端の２つの領域の透過率はαであり、内側の２つの領域の透過率はβであるため、ＮＤフィルタ３０ｂに対向する画素２０ｂの信号Ｓｂは、α（Ｘ１＋Ｘ４）＋β（Ｘ２＋Ｘ３）と表される。同様に、ＮＤフィルタ３０ｄを介して得られる信号Ｓｄは、（Ｘ１＋Ｘ２＋Ｘ３＋Ｘ４）（α＋β）／２と表される。

第２に、水平左方向に像が１画素ピッチ移動し、ＮＤフィルタ３０ａ、３０ｃを介して光電変換された画素信号が読み出される。図４（ｄ）に示すように、ＮＤフィルタ３０ａを介して得られる信号Ｓａはα（Ｘ２＋Ｘ４）＋β（Ｘ１＋Ｘ３）と表される。同様に、ＮＤフィルタ３０ｃを介して得られる信号Ｓｃはα（Ｘ１＋Ｘ２）＋β（Ｘ３＋Ｘ４）と表される。すなわち、上記信号Ｓａ〜Ｓｄは、それぞれ以下の式１〜式４で表される。
（式１）Ｓａ＝α（Ｘ２＋Ｘ４）＋β（Ｘ１＋Ｘ３）
（式２）Ｓｂ＝α（Ｘ１＋Ｘ４）＋β（Ｘ２＋Ｘ３）
（式３）Ｓｃ＝α（Ｘ１＋Ｘ２）＋β（Ｘ３＋Ｘ４）
（式４）Ｓｄ＝（Ｘ１＋Ｘ２＋Ｘ３＋Ｘ４）（α＋β）／２

次に、これらの信号について以下の処理を行う。最初に、Ｓｄを２（α＋β）で除算する。次に、Ｓｄとその他の信号との減算を行い、それらの結果を２（α−β）で除算する。これらの演算により、式５〜式８でそれぞれ表される信号Ｙ１、Ｙ２、Ｙ３、Ｙ４が得られる。
（式５）Ｙ１＝Ｓｄ／２（α＋β）
（式６）Ｙ２＝（Ｓｃ−Ｓｄ）／２（α−β）
（式７）Ｙ３＝（Ｓｄ−Ｓａ）／２（α−β）
（式８）Ｙ４＝（Ｓｂ−Ｓｄ）／２（α−β）

その結果、Ｙ１〜Ｙ４とＸ１〜Ｘ４との関係が以下の式９〜式１２で表される。
（式９）Ｙ１＝（Ｘ１＋Ｘ２＋Ｘ３＋Ｘ４）／４
（式１０）Ｙ２＝（Ｘ１＋Ｘ２−Ｘ３−Ｘ４）／４
（式１１）Ｙ３＝（Ｘ１−Ｘ２＋Ｘ３−Ｘ４）／４
（式１２）Ｙ４＝（Ｘ１−Ｘ２−Ｘ３＋Ｘ４）／４

ＮＤフィルタ３０ａ〜３０ｄを介して得られた信号を上記演算により処理して得られる信号（Ｙ１、Ｙ２、Ｙ３、Ｙ４）は、ウェーブレット変換された信号であるといえる。それらの結果に対して上記と同じ加減算処理を施すと元の信号（Ｘ１、Ｘ２、Ｘ３、Ｘ４）を算出できる。すなわち、以下の式１３〜式１６に示す加減算処理により、１画素ピッチの１／４の幅をもつ各領域における画素信号Ｘ１〜Ｘ４を得ることができる。
（式１３）Ｘ１＝Ｙ１＋Ｙ２＋Ｙ３＋Ｙ４
（式１４）Ｘ２＝Ｙ１＋Ｙ２−Ｙ３−Ｙ４
（式１５）Ｘ３＝Ｙ１−Ｙ２＋Ｙ３−Ｙ４
（式１６）Ｘ４＝Ｙ１−Ｙ２−Ｙ３＋Ｙ４

なお、上記の信号演算処理は一例であり、信号Ｘ１〜Ｘ４が求められれば、上記の手順に限らず、どのような手順で処理を行ってもよい。

以上のように、本実施形態の撮像装置によれば、固体撮像素子１の画素に１対１に対応して配置された、光透過率の配列パターンが互いに異なる４種類のＮＤフィルタを利用することにより、水平方向の解像度を実質的に４倍に高めることが可能となる。４種類のＮＤフィルタのうちの３種類は、幅が水平画素ピッチの１／４である４つの領域に分割されている。第１のＮＤフィルタ３０ａは、「濃」「淡」「濃」「淡」の縞状パターンを有する。第２のＮＤフィルタ３０ｂは、「淡」「濃」「濃」「淡」の縞状パターンを有する。第３のＮＤフィルタ３０ｃは、「淡」「淡」「濃」「濃」の縞状パターンを有する。第４のＮＤフィルタ３０ｄは、縞模様のパターンを有しておらず、その透過率は均一である。これらの縞状パターンを横切るように像を水平方向に１画素ピッチ移動させ、移動の前後で撮像することにより、１画素ピッチの１／４の幅を有する各領域における画素信号を得ることができる。すなわち、サブピクセルの精度で画素信号を取得できるため、従来以上の高解像度化が図れるという効果を奏する。

なお、本実施形態では、各画素の開口率は１００％であるものとしているが、１００％よりも小さくてもよい。各画素の開口率に応じて信号を補正すれば同様の効果を得ることができる。

また、本実施形態における各ＮＤフィルタの光透過率の配列パターンは、上記のパターンに限るものではない。各ＮＤフィルタの光透過率の配列パターンは、上記に示すパターンの背反なパターンであってもよい。ここで、「背反」とは、透過率αである「淡」領域と透過率βである「濃」領域とが逆転していることを意味する。例えば、図４（ａ）に示すパターンの代わりに図５に示すパターンを採用してもよい。図５は、ＮＤフィルタ３０ａ、３０ｂ、３０ｃの代わりに、濃淡を逆転させたＮＤフィルタ３０ｅ、３０ｆ、３０ｇをそれぞれ配置した構成を示している。この構成を採用した場合、上記の信号演算処理において、αとβとを逆転させれば同様の結果が得られる。この例では、３つのＮＤフィルタの濃淡を逆転させているが、１つまたは２つのＮＤフィルタの濃淡を逆転させた構成であってもよい。

ＮＤフィルタと画素との対応に関して、本実施形態では１つのＮＤフィルタに対して１画素を対応させているが、複数の画素を１つのＮＤフィルタに対応させても問題はない。例えば、１つのＮＤフィルタに対して２画素を対応させることが可能である。図６は、１つのＮＤフィルタ３０ｈに対して２画素２０ａ、２０ｂを対応させる例を示している。この例では、２つの画素２０ａ、２０ｂを覆うようにＮＤフィルタ３０ｈが配置されている。ＮＤフィルタ３０ｈは、各々がＸ方向に画素ピッチの１／２の幅をもつ４つの領域に分割されている。このＮＤフィルタ３０ｈの光透過率の配列パターンは、「濃」「淡」「淡」「濃」と表される。２つの画素２０ａ、２０ｂから得られる２つの画素信号に基づいて４つの領域の輝度を示す信号を求めることができる。この例では、Ｘ方向の解像度は通常の解像度の１／２になる。なお、この例では、ＮＤフィルタ３０ｈのうち、画素２０ａに対向する部分と、画素２０ｂに対向する部分とがそれぞれ異なる光透過部として機能する。そのため、ＮＤフィルタ３０ｈは、画素２０ａに対向する部分と画素２０ｂに対向する部分とが異なる光透過率の配列パターンとなるように構成される。

また、本実施形態では、透明ガラス板３を移動させることによって光の像を移動させるが、像の移動を他の方法で行ってもよい。本発明においては、複数の光透過部に対して像の相対位置が変化するように構成されていれば、どのような手段によって実現されていてもよい。例えば、厚さが均一な透明ガラス板を光軸に対して傾斜させて配置し、そのガラス板を微動させても像の位置をずらすことができる。このように、光軸に垂直な平面に対して傾斜した表面を有する透光性部材を微動させることによって同様の効果を得ることができる。また、像と撮像素子１を固定し、全てのＮＤフィルタを１画素ピッチ水平に移動させても信号処理によって同様の効果が得られる。ＮＤフィルタを微動させる構成では、例えば、素子駆動部６がＮＤフィルタを微動させる機構を備える。

本実施形態では、各画素に入射する光の量をほぼ等しくするために、第４のＮＤフィルタ３０ｄの光透過率を（α＋β）／２に設定しているが、このように設定する必要は必ずしもない。第４のＮＤフィルタ３０ｄの４つの領域の光透過率が０でない限り、どのような値に設定されていても、信号演算によって同様の効果を得ることができる。

本実施形態では、水平方向の解像度が通常の４倍に向上するが、光学的ローパスフィルタ２を用いるため、垂直方向の解像度は通常の１／２に低下する。そこで、垂直方向の解像度の低下を抑えるため、垂直方向の画素ピッチを通常の半分にしてもよい。このようにすれば、光学的ローパスフィルタ２を用いても、垂直方向の解像度は通常の解像度と同程度に維持される。

（実施形態２）
次に、図７を参照しながら本発明の第２の実施形態による撮像装置を説明する。本実施形態の撮像装置は、ＮＤフィルタの構成のみが実施形態１の撮像装置と異なっており、その他の構成は実施形態１と同じである。以下、実施形態１の撮像装置と異なる点を中心に説明し、重複する点については説明を省略する。

図７は本実施形態における固体撮像素子１の基本画素構成及び信号分布図である。図７（ａ）は、開口率１００％の画素に１対１に対応して縞状パターンのＮＤフィルタ３０ａ、３０ｂ、３０ｃ、３０ｄが配置された状態を示している。本実施形態では、実施形態１（図４）のＮＤフィルタの構成を一部変更し、ＮＤフィルタ３０ｄの代わりにＮＤフィルタ３０ａの背反模様のＮＤフィルタ３０ｅが画素２０ｄに対向して配置されている。また、濃淡パターンの光透過率に関して、「濃」の部分は極めて光透過率が低く（β≒０）、「淡」の部分では光透過率が極めて高く（α≒１）設定されている。このような構成により、各ＮＤフィルタの全透過光量をほぼ同じにしている。

以下、本実施形態における撮像時の動作を説明する。

撮像のための露光が開始すると、透明ガラス板３は光軸に対して垂直方向（画像の水平方向）に微動し、撮像面に形成される像を水平方向に微動させる。光学的ローパスフィルタ２は画像の垂直方向に解像度を低下させるが、水平方向には影響を及ぼさない。本実施形態では、像は静止状態から水平方向に１画素ピッチずれた位置、５／４ピッチずれた位置、３／２ピッチずれた位置にそれぞれ移動し、その度に光電変換によって生成された画像信号が固体撮像素子１から読み出される。

次に、図７（ｂ）〜（ｆ）を参照しながら、読み出される画素信号を説明する。本実施形態では、「濃」領域および「淡」領域の光透過率をそれぞれ０％および１００％とする。すなわち、α＝１、β＝０とする。最初に、ＮＤフィルタ、３０ｂ、３０ｅに注目する。光学的ローパスフィルタ２の影響により、ＮＤフィルタ３０ｂ、３０ｅ上の光量は同じと考える。

図７（ｂ）には、ＮＤフィルタがないと仮定した場合に画素２０ｂ、３０ｅに蓄積される信号の水平方向の依存性を例示するグラフ１９ａが示されている。図７（ｂ）には、像が水平方向に１ピッチ、５／４ピッチ、３／２ピッチ移動した際に画素３０ａ、３０ｃに蓄積される信号の水平方向の依存性をそれぞれ例示するグラフ１９ｂ、１９ｃ、１９ｄも示されている。

以下、各画素から読み出される画素信号に基づいてビデオ信号生成部９で行われる処理を説明する。

まず第１に、静止状態において、ＮＤフィルタ３０ｂ、３０ｅを介して光電変換された信号がそれぞれ読み出される。図７（ｃ）に示すように、ＮＤフィルタ３０ｂ、３０ｅを介して得られる信号は、それぞれ（Ｘ１＋Ｘ４）、（Ｘ１＋Ｘ３）と表される。第２に、水平方向に像が１画素ピッチ移動し、ＮＤフィルタ３０ａ、３０ｃを介して光電変換された画素信号が読み出される。図７（ｄ）に示すように、このときＮＤフィルタ３０ａ、３０ｃを介して読み出される信号は、それぞれ（Ｘ２＋Ｘ４）、（Ｘ１＋Ｘ２）と表される。第３に、静止状態から水平方向に５／４画素ピッチ像が移動し、ＮＤフィルタ１ａ、１ｃを介して光電変換された画素信号が読み出される。図７（ｅ）に示すように、このときＮＤフィルタ３０ａ、３０ｃを介して読み出される信号は、それぞれ（Ｘ３＋Ｘ５）、（Ｘ２＋Ｘ３）と表される。第４に、静止状態から水平方向に３／２画素ピッチ像が移動し、ＮＤフィルタ１ａ、１ｃを介して光電変換された画素信号が読み出される。図７（ｆ）に示すように、このときＮＤフィルタ３０ａ、３０ｃを介して読み出される信号は、それぞれ（Ｘ４＋Ｘ６）、（Ｘ３＋Ｘ４）と表される。

読み出された信号の中で、（Ｘ３＋Ｘ５）と（Ｘ４＋Ｘ６）は利用せず、その他の信号を利用する。まず、ＮＤフィルタ３０ｅを介して得られた信号（Ｘ１＋Ｘ３）と、像が１画素ピッチ移動した際にＮＤフィルタ３０ａを介して得られた信号（Ｘ２＋Ｘ４）の加算により、（Ｘ１＋Ｘ２＋Ｘ３＋Ｘ４）を算出し、それをＹ１とおく（式１７）。次に、以下の式１８〜式２０で示す各信号間の減算を行う。
（式１７）Ｙ１＝（Ｘ１＋Ｘ２＋Ｘ３＋Ｘ４）
（式１８）Ｙ２＝（Ｘ１＋Ｘ２）−（Ｘ３＋Ｘ４）
（式１９）Ｙ３＝（Ｘ１＋Ｘ３）−（Ｘ２＋Ｘ４）
（式２０）Ｙ４＝（Ｘ１＋Ｘ４）−（Ｘ２＋Ｘ３）

これらの演算によって得られる信号Ｙ１、Ｙ２、Ｙ３、Ｙ４は、係数を除けば実施形態１と同じでありる。（Ｙ１、Ｙ２、Ｙ３、Ｙ４）は、ウェーブレット変換された信号であるといえる。それらの結果に対して上記と同じ演算処理を施すと元の信号（Ｘ１、Ｘ２、Ｘ３、Ｘ４）を算出できる。すなわち、以下の式２１〜式２４に示す演算処理により、１画素ピッチの１／４の幅をもつ各領域における画素信号Ｘ１〜Ｘ４を得ることができる。
（式２１）Ｘ１＝（Ｙ１＋Ｙ２＋Ｙ３＋Ｙ４）／４
（式２２）Ｘ２＝（（Ｙ１＋Ｙ２）−（Ｙ３＋Ｙ４））／４
（式２３）Ｘ３＝（（Ｙ１＋Ｙ３）−（Ｙ２＋Ｙ４））／４
（式２４）Ｘ４＝（（Ｙ１＋Ｙ４）−（Ｙ２＋Ｙ３））／４

なお、信号演算処理は上記の手順に限らず、信号Ｘ１〜Ｘ４が求められれば、どのような手順で処理を行ってもよい。

以上のように、本実施形態の撮像装置によれば、固体撮像素子１の画素に１対１に対応して配置された、光透過率の配列パターンが互いに異なる４種類のＮＤフィルタを利用することにより、水平方向の解像度を実質的に４倍に高めることが可能となる。各ＮＤフィルタは、縞の間隔が水平画素ピッチの１／４である４つの領域に分割されている。第１のＮＤフィルタ３０ａは、「濃」「淡」「濃」「淡」の縞状パターンを有している。第２のＮＤフィルタ３０ｂは、「淡」「濃」「濃」「淡」の縞状パターンを有している。第３のＮＤフィルタ３０ｃは、「淡」「淡」「濃」「濃」の縞状パターンを有している。第４のＮＤフィルタ３０ｄは、「淡」「濃」「淡」「濃」の縞状パターンを有している。これらの縞状パターンを横切る形で像を初期位置から水平方向に１画素ピッチ、５／４画素ピッチ、３／２画素ピッチずらし、各々で撮像することにより、１画素ピッチの１／４の幅を有する各領域における画素信号を得ることができる。すなわち、サブピクセルの精度で画素信号を取得できるため、従来以上の高解像度化が図れるという効果を奏する。

なお、本実施形態では「淡」の領域の透過率を１００％とし、「淡」の領域の透過率を０％としたが、濃淡の差が十分大きければ、上記演算処理は概ね成立するので、必ずしも上記透過率に設定する必要はない。

本実施形態における各ＮＤフィルタの光透過率の配列パターンは、上記のパターンに限るものではない。各ＮＤフィルタの光透過率の配列パターンは、上記に示すパターンの背反なパターンであってもよい。ただし、本実施形態では、ＮＤフィルタ３０ａとＮＤフィルタ３０ｅとは背反の関係になるように構成されている必要がある。

また、本実施形態でも、結像の微動に関して、透明ガラス板３を微動させる方法に限らず、他の方法で行ってもよい。例えば、厚さが均一な透明ガラス板を光軸に対して傾斜させて配置し、そのガラス板を微動させても像の位置をずらすことができる。このように、光軸に垂直な平面に対して傾斜した表面を有する透光性部材を微動させることによって同様の効果を得ることができる。また、像と撮像素子１を固定し、全てのＮＤフィルタを１画素ピッチだけ水平に移動させても同様の効果が得られる。

（実施形態３）
次に、本発明の第３の実施形態による撮像装置を説明する。本実施形態の撮像装置において、実施形態２の撮像装置と構成や信号読み出し処理は同じであるが、算出する信号が異なる。そのため、実施形態２の撮像装置と異なる点を中心に説明し、重複する点については説明を省略する。

本実施形態では、画像の特徴を画素値の変化分と考え、１／４画素ピッチ毎の交流信号を算出することを目的とする。すなわち、直流成分を０としたときの各画素信号を算出する。そこで、Ｙ１＝０としてＸ１〜Ｘ４の信号を算出する。このような処理によって直流成分に影響されない画素信号が得られる。具体的には、式２１〜式２４において、Ｙ１＝０とおいて、各画素信号を算出すれば、以下の式２５〜式２８に示す１／４画素ピッチ毎の交流信号Ｘ１〜Ｘ４が得られる。
（式２５） Ｘ１＝（Ｙ２＋Ｙ３＋Ｙ４）／４
（式２６） Ｘ２＝（Ｙ２−Ｙ３−Ｙ４）／４
（式２７） Ｘ３＝（Ｙ３−Ｙ２−Ｙ４）／４
（式２８） Ｘ４＝（Ｙ４−Ｙ２−Ｙ３）／４

以上のように、本実施形態の撮像装置によれば、固体撮像素子１の画素に１対１に対応して配置された、光透過率の配列パターンが互いに異なる４種類のＮＤフィルタを利用することにより、水平方向の解像度を実質的に４倍に高めることが可能となる。各ＮＤフィルタは、縞の間隔が水平画素ピッチの１／４である４つの領域に分割されている。第１のＮＤフィルタ３０ａは、「濃」「淡」「濃」「淡」の縞状パターンを有している。第２のＮＤフィルタ３０ｂは、「淡」「濃」「濃」「淡」の縞状パターンを有している。第３のＮＤフィルタ３０ｃは、「淡」「淡」「濃」「濃」の縞状パターンを有している。第４のＮＤフィルタ３０ｄは、「淡」「濃」「淡」「濃」の縞状パターンを有している。これらの縞状パターンを横切る形で像を初期位置から水平方向に１画素ピッチ、５／４画素ピッチ、３／２画素ピッチずらし、各々について撮像を行う。本実施形態では、信号処理において、直流成分である信号を０とおくことにより、１画素ピッチの１／４の幅をもつ各領域における交流の画素信号を得ることができる。その結果、交流成分についても従来以上の高解像度画像が得られるという効果を奏する。

（実施形態４）
次に、図８を参照しながら本発明の第４の実施形態による撮像装置を説明する。本実施形態の撮像装置は、実施形態２の撮像装置と比較して、光透過部の各領域の配列パターンは実施形態２と同様であるが、各ＮＤフィルタの濃淡部における光透過率、光の像のずれ方、および信号処理方法が異なる。以下、実施形態２の撮像装置と異なる点を中心に説明し、重複する点についての説明を省略する。

ＮＤフィルタの濃淡部における光透過率に関して、実施形態１と同じく、「淡」の部分の光透過率はα（＞０）、「濃」の部分の光透過率はβ（＞０、ただしαよりも小さい）に設定される。光の像のずれ方及び撮像に関しては、実施形態１と同様である。すなわち、撮像面に形成される像が静止状態から水平方向に１画素ピッチ移動し、像の移動前後で光電変換された画素信号が固体撮像素子１からそれぞれ読み出される。

以下、図８を参照しながら、読み出される画素信号を説明する。図８は、本実施形態における固体撮像素子１の基本画素構成及び信号分布図である。

本実施形態では、まず第１に、静止状態において、ＮＤフィルタ３０ｂ、３０ｅを介して光電変換された信号がそれぞれ読み出される。図８（ｃ）に示すように、ＮＤフィルタ３０ｂを介して得られる信号Ｓｂは、α（Ｘ１＋Ｘ４）＋β（Ｘ２＋Ｘ３）と表される。ＮＤフィルタ３０ｅを介して得られる信号Ｓｅはα（Ｘ１＋Ｘ３）＋β（Ｘ２＋Ｘ４）と表される。第２に、水平左方向に像が１画素ピッチ移動し、ＮＤフィルタ３０ａ、３０ｅを介して光電変換された画素信号が読み出される。図８（ｄ）に示すように、ＮＤフィルタ３０ａを介して得られる信号Ｓａはα（Ｘ２＋Ｘ４）＋β（Ｘ１＋Ｘ３）と表される。ＮＤフィルタ３０ｃを介して得られる信号Ｓｃはα（Ｘ１＋Ｘ２）＋β（Ｘ３＋Ｘ４）と表される。したがって、信号Ｓａ、Ｓｂ、Ｓｃは、それぞれ式１〜式３で表される。信号Ｓｅは、次の式２９で表される。
（式２９）Ｓｅ＝α（Ｘ１＋Ｘ３）＋β（Ｘ２＋Ｘ４）

ここで、式１と式２５により、（Ｘ１＋Ｘ３）と（Ｘ２＋Ｘ４）に関して連立方程式を解くと、それらはそれぞれ以下の式３０、３１で表される。
（式３０）（Ｘ１＋Ｘ３）＝（αＳｅ−βＳａ）／（α²−β²）
（式３１）（Ｘ２＋Ｘ４）＝（αＳａ−βＳｅ）／（α²−β²）

さらに、式３０と式３１から、以下の式３２と式３３で示すように、Ｘ３をＸ１とその他の項で表し、またＸ４をＸ２とその他の項で表す。
（式３２）Ｘ３＝（αＳｅ−βＳａ）／（α²−β²）−Ｘ１
（式３３）Ｘ４＝（αＳａ−βＳｅ）／（α²−β²）−Ｘ２

次に、Ｘ３、Ｘ４を式２と式３に代入することにより、Ｘ１とＸ２を求める。Ｘ１、Ｘ２は、それぞれ以下の式３４、式３５で表される。さらに、Ｘ３、Ｘ４は、それぞれ以下の式３６、式３７で表される。
（式３４）Ｘ１＝（−（α＋２β）Ｓａ＋（α＋β）（Ｓｂ＋Ｓｃ）−βＳｅ）／２（α²−β²）
（式３５）Ｘ２＝（（α＋２β）Ｓａ−（α＋β）（Ｓｂ−Ｓｃ）＋βＳｅ）／２（α²−β²）
（式３６）Ｘ３＝（αＳａ−（α＋β）（Ｓｂ＋Ｓｃ）＋（２α＋β）Ｓｅ）／２（α²−β²）
（式３７）Ｘ４＝（（α−２β）Ｓａ＋（α＋β）（Ｓｂ−Ｓｃ）−３βＳｅ）／２（α²−β²）

このように、図８（ａ）に示すＮＤフィルタの構成で、１画素ピッチ水平方向に像をずらすことにより、水平方向の画素ピッチが通常の１／４である画像に相当する高精細な画像信号が得られる。なお、信号演算処理は上記の手順に限らず、信号Ｘ１〜Ｘ４が求められれば、どのような手順で行ってもよい。

以上のように本実施形態の撮像装置によれば、固体撮像素子１の画素に１対１に対応して配置された、光透過率の配列パターンが互いに異なる４種類のＮＤフィルタを利用することにより、水平方向の解像度を実質的に４倍に高めることが可能となる。各ＮＤフィルタは、縞の間隔が水平画素ピッチの１／４である４つの領域に分割されている。第１のＮＤフィルタ３０ａは、「濃」「淡」「濃」「淡」の縞状パターンを有している。第２のＮＤフィルタ３０ｂは、「淡」「濃」「濃」「淡」の縞状パターンを有している。第３のＮＤフィルタ３０ｃは、「淡」「淡」「濃」「濃」の縞状パターンを有している。第４のＮＤフィルタ３０ｄは、「淡」「濃」「淡」「濃」の縞状パターンを有している。これらの縞状パターンを横切るように像を水平方向に１画素ピッチ移動させ、移動の前後で撮像することにより、１画素ピッチの１／４の幅を有する各領域における画素信号を得ることができる。すなわち、サブピクセルの精度で画素信号を取得できるため、従来以上の高解像度化が図れるという効果を奏する。

なお、以上の実施形態１〜４では、各ＮＤフィルタは、Ｘ方向に等しい幅をもった４つの縞状の領域に分割されているが、これらの領域の幅が異なっていても本発明の効果を得ることは可能である。これらの領域の幅が異なっている場合、それらの幅の差に起因する透過光量の差を考慮して各信号を補正すればよい。

本発明における各光透過部の光透過率の配列パターンは、上記の実施形態１〜４で示したＮＤフィルタのパターンに限るものではない。各光透過部の光透過率の配列パターンは、光透過部の各領域に入射する光の量を示す信号を求めることができれば、どのようなパターンであってもよい。また、光透過部における領域の数も４つに限るものではない。本発明では、１つの単位画素ブロックにＮ個（Ｎは２以上の整数）の画素が含まれ、各光透過部がＭ個（Ｍは２以上の整数）の領域に分割されていればよい。

また、上記の各実施形態において、各ＮＤフィルタの各領域の光透過率は、α、β、(α＋β)／２のいずれかに設定されるが、本発明はこのような例に限られるものではない。本発明において、各光透過部の全ての領域の光透過率が異なっていても、それらの光透過率が既知であれば、信号演算によって各領域の信号を求めることができる。

上記の各実施形態では、水晶からなる光学的ローパスフィルタ２によって垂直方向の解像度を下げ、水平方向に像をずらすことにより、水平方向のみ解像度を向上させている。これは、像をずらす回数を削減するためであり、もし垂直方向にも像を微動させるなら、光学的ローパスフィルタ２を用いなくてもよい。光学的ローパスフィルタ２を用いず、像を水平及び垂直方向にシフトさせる構成であっても、各実施形態と同様の効果を得ることができる。さらに、各光透過部は、水平方向に限らず、垂直方向に沿って配列された複数の領域に分割されていてもよい。また、各光透過部の光透過率の配列パターンが２次元的なパターンであれば、水平及び垂直方向の高解像度化も図ることができる。

本発明の撮像装置および固体撮像素子は、固体撮像素子を用いるすべてのカメラに有効である。例えば、デジタルスチルカメラやデジタルビデオカメラなどの民生用カメラや、産業用の固体監視カメラなどに利用可能である。

１ 固体撮像素子
１ａ 固体撮像素子の撮像面
２ 光学的ローパスフィルタ
３ 透明ガラス板
４ 光学レンズ
５ 信号発生／受信部
６ 素子駆動部
７ 光学系駆動部
８ 画像メモリー部
９ ビデオ信号生成部
１０ ビデオインターフェース部
１１ 光学系
１９ａ、１９ｂ、１９ｃ、１９ｄ 画素信号
２０ａ、２０ｂ、２０ｃ、２０ｄ 画素
３０ａ、３０ｂ、３０ｃ、３０ｄ、３０ｅ、３０ｆ、３０ｇ、３０ｈ、３０ｉ ＮＤフィルタ（光透過部）
４０ 単位画素ブロック
１００ 撮像部
２００ 映像信号処理部

Claims (8)

1. 撮像面上において、第１方向および前記第１方向と交差する第２方向に沿って２次元状に配列された複数の画素を含む画素アレイであって、各々がＮ個（Ｎは２以上の整数）の画素を含む複数の単位画素ブロックに分割された画素アレイ、および各々が各画素に対応して配置された複数の光透過部であって、各光透過部は前記第１の方向に沿って配列されたＭ個（Ｍは２以上の整数）の領域に分割され、各領域は個別に設定された光透過率を有し、各単位画素ブロックに含まれる前記Ｎ個の画素に対応するＮ個の光透過部の光透過率の配列パターンは互いに異なっている複数の光透過部を有する固体撮像素子と、
   前記固体撮像素子の撮像面に像を形成する光学系と、
   前記複数の光透過部に対する前記像の相対位置を前記第１方向および前記第２方向の少なくとも一方にシフトさせる位置ずらし部と、
   前記固体撮像素子の各画素から出力される信号に基づいて、前記画素アレイの前記第１方向における画素ピッチで規定される解像度よりも高い解像度の画像を生成する信号処理部と、
   を備える撮像装置。
2. 前記光学系は、前記光学系によって形成される像の前記第２方向における解像度を低下させる光学ローパスフィルタを有し、
   前記位置ずらし部は、前記複数の光透過部に対する前記像の相対位置を前記第１方向にシフトさせる、請求項１に記載の撮像装置。
3. 各単位画素ブロックに含まれる前記Ｎ個の画素に対応する前記Ｎ個の光透過部の光透過率の配列パターンは、直交ウェーブレット係数に基づいて決定されている、請求項１または２に記載の撮像装置。
4. 前記光学系は、光軸に垂直な平面に対して傾斜した表面を有する透光性部材を含み、
   前記位置ずらし部は、前記透光性部材を前記光軸に垂直な方向に移動させることによって前記複数の光透過部に対する前記像の相対位置をシフトさせる、請求項１から３のいずれかに記載の撮像装置。
5. 各単位画素ブロックに含まれるＮ個の画素に対応するＮ個の光透過部のうち少なくともＮ−１個は、第１透過率または前記第１透過率とは異なる第２透過率に設定されている、請求項１から４のいずれかに記載の撮像装置。
6. Ｎ＝４、Ｍ＝４であり、
   前記第１透過率を「１」、前記第２透過率を「−１」と表すとき、各単位画素ブロックに含まれる４つの画素に対応する４つの光透過部の光透過率の配列パターンは、それぞれ、「１、−１、１、−１」で表される第１パターンまたは前記第１パターンの背反パターン、「−１、１、１、−１」で表される第２パターンまたは前記第２ターンの背反パターン、「−１、−１、１、１」で表される第３パターンまたは前記第３パターンの背反パターン、および各領域の光透過率が０よりも大きい第３透過率に設定された第４パターンである、請求項５に記載の撮像装置。
7. Ｎ＝４、Ｍ＝４であり、
   前記第１透過率を「１」、前記第２透過率を「−１」と表すとき、各単位画素ブロックに含まれる４つの画素に対応する４つの光透過部の光透過率の配列パターンは、それぞれ、「１、−１、１、−１」で表される第１パターン、「−１、１、１、−１」で表される第２パターンまたは前記第２ターンの背反パターン、「−１、−１、１、１」で表される第３パターンまたは前記第３パターンの背反パターン、および前記第１パターンの背反パターンである、請求項５に記載の撮像装置。
8. 撮像面上において、第１方向および前記第１方向と交差する第２方向に沿って２次元状に配列された複数の画素を含む画素アレイであって、各々がＮ個（Ｎは２以上の整数）の画素を含む複数の単位画素ブロックに分割された画素アレイと、
   各々が各画素に対応して配置された複数の光透過部であって、各光透過部は前記第１の方向に沿って配列されたＭ個（ＭはＮ以上の整数）の領域に分割され、各領域は個別に設定された光透過率を有し、各単位画素ブロックに含まれる前記Ｎ個の画素に対応するＮ個の光透過部の光透過率の配列パターンは互いに異なっている複数の光透過部と、
   を備える固体撮像素子。

Images