JP5454424B2 - 撮像方法 - Google Patents

Description

本発明は撮像方法に関し、より具体的には、被写体を立体画像として撮像する撮像方法に関する。

従来、共通の被写体を左右に配置した２台のビデオカメラによって同時に撮像し、得られた２種類の画像（右眼用画像及び左眼用画像）を同時に出力することによって立体画像を表示するシステムが提案されている。また、立体撮影を行うためのレンズ系の調整を容易にするために、互いに直交関係となるように偏光させる偏光フィルタを組み合わせることによって、光学系を共通化させる立体撮影装置が提案されている（例えば、特公平６−０５４９９１号公報参照）。

また、２つのレンズと１つの撮像手段から構成された撮像装置で立体撮影を行う方式が提案されている（例えば、特開２００４−３０９８６８参照）。この特許公開公報に開示された撮像装置は、
所定数の走査線の整数倍に相当する画素が撮像面に設けられた撮像手段と、
被写体からの第１の映像光における水平成分だけを透過する第１の水平成分偏光手段と、
上記第１の水平成分偏光手段とは所定距離だけ離隔された位置に配置され、上記被写体からの第２の映像光における垂直成分だけを透過する第１の垂直成分偏光手段、
とを具え、
上記第１の水平成分偏光手段により透過した上記水平成分を上記撮像面における所定範囲の画素に集光させ、
上記第１の垂直成分偏光手段によって透過された上記垂直成分を上記所定範囲を除く残余範囲の画素に集光させる。具体的には、ＣＣＤの撮像面に対して所定距離だけ離れた位置に、人間の視差に応じた間隔だけ離間して配置された水平成分偏光フィルタ及び垂直成分偏光フィルタが、２つのレンズと共に設けられている。

特公平６−０５４９９１号公報 特開２００４−３０９８６８

ところで、特公平６−０５４９９１号に開示された技術にあっては、２つの偏光フィルタの出力を重ねて光路を一系統とすることによって、レンズ系を共通化させている。しかしながら、後段で右眼用画像及び左眼用画像を抽出するために更に偏光フィルタを設け、光路自体を再度分けて別々の偏光フィルタに入光させなければならない。特開２００４−３０９８６８に開示された技術にあっては、レンズ及び偏光フィルタの組合せを２組、必要とする。それ故、これらの撮像装置にあっては、２組の光路の光軸、焦点距離、透過率、Ｆ値、ズーム、絞り部、フォーカス、輻輳角等を完全に一致させなければならず、また視野闘争の発生も抑制することが困難である。ここで、視野闘争とは、例えば、Ｐ波成分は反射するがＳ波成分は吸収する水面や窓等の被写体を撮像するとき、Ｐ波成分から得られた画像とＳ波成分から得られた画像を両眼へ提示したとき、輝度が著しく違う場合に融合が起こらず、一方の画像だけが優越して交互に見えたり、重なった領域で互いに抑制しあったりする現象を指す。また、多数の偏光フィルタを用いているため、撮像手段（撮像素子）に到達する光の光量が大幅に低下するといった問題を有する。

従って、本発明の目的は、視野闘争の発生を抑制することができ、しかも、撮像素子に到達する光の光量の大幅なる低下を防ぐことができる撮像方法を提供することにある。

上記の目的を達成するための本発明の撮像方法は、
第１の方向に沿ってＭ₀個の画素から成る単位画素行が、第１の方向と直交する第２の方向に沿ってＮ₀行、配列されて成り、
（Ａ）光学系、並びに、
（Ｂ）各画素に対応して撮像素子が配列されて成り、光学系を通過した光を電気信号に変換する撮像素子アレイ、
を具備した撮像装置を用いた撮像方法であって、
Ｎ行（但し、２≦Ｎ）毎に選択された単位画素行を含む少なくとも１行の単位画素行から構成された画素群を、第１画素群とし、
第１画素群における画素を構成する撮像素子を、第１撮像素子群とし、
第１撮像素子群に含まれない撮像素子から構成された撮像素子群を、第２撮像素子群とし、
第２撮像素子群から構成された画素から成る画素群を、第２画素群としたとき、
立体画像を得るための視差情報を第１撮像素子群において取得し、画像を得るための画像情報を第２撮像素子群において取得し、
取得された画像情報に基づき、第１画素群における視差情報を取得した画素において画像情報を得た後、視差情報及び全画素における画像情報から立体画像を得る。

本発明の撮像方法にあっては、立体画像を得るための視差情報を第１撮像素子群において取得し、画像を得るための画像情報を第２撮像素子群において取得し、取得された画像情報に基づき、第１画素群における視差情報を取得した画素において画像情報を得た後、視差情報及び全画素における画像情報から立体画像を得る。即ち、基本的には、画像を得るための画像情報を第２撮像素子群において取得するので、視野闘争の発生を抑制することができる。しかも、立体画像を得るための視差情報を一部の画素において（即ち、第１撮像素子群において）取得するので、立体画像を得るための視差情報を全ての画素において取得する場合と比較して、撮像素子アレイに到達する光の光量の大幅なる低下を防ぐことができる。

図１の（Ａ）、（Ｂ）及び（Ｃ）は、それぞれ、実施例１の撮像装置の概念図、第１偏光手段及び第２偏光手段における偏光の状態を模式的に示す図である。 図２の（Ａ）及び（Ｂ）は、それぞれ、実施例１の撮像装置において、第１偏光手段における第１領域及び第２偏光手段における第３領域を通過し、撮像素子アレイに到達する光の概念図、及び、第１偏光手段における第２領域及び第２偏光手段における第４領域を通過し、撮像素子アレイに到達する光の概念図であり、図２の（Ｃ）及び（Ｄ）は、図２の（Ａ）及び（Ｂ）に示した光によって撮像素子アレイに結像した画像を模式的に示す図である。 図３の（Ａ）及び（Ｂ）は、それぞれ、実施例１の撮像装置における撮像素子の模式的な一部断面図、及び、ワイヤグリッド偏光子の配列状態を模式的に示す図である。 図４は、実施例１の撮像装置におけるベイヤ配列を有する撮像素子アレイの概念図である。 図５は、撮像素子から得られた電気信号に対するデモザイク処理を行い、信号値を得る画像処理を説明するためのベイヤ配列を有する撮像素子アレイの概念図である。 図６の（Ａ）及び（Ｂ）は、それぞれ、実施例２の撮像装置に備えられた第１偏光手段及び第２偏光手段における偏光の状態を模式的に示す図である。 図７は、実施例２の撮像装置におけるベイヤ配列を有する撮像素子アレイの概念図である。 図８の（Ａ）〜（Ｄ）は、実施例３の撮像装置に備えられた第１偏光手段の模式図である。 図９の（Ａ）及び（Ｂ）は、実施例４において、消光比と視差の関係を調べた結果を示す左眼用画像及び右眼用画像の写真に代わる図である。 図１０の（Ａ）、（Ｂ）及び（Ｃ）は、それぞれ、実施例５において、ワイヤグリッド偏光子を構成するワイヤのピッチと入射光の波長と消光比の関係、ワイヤグリッド偏光子を構成するワイヤの高さと入射光の波長と消光比の関係、ワイヤグリッド偏光子を構成するワイヤの（幅／ピッチ）と入射光の波長と消光比の関係を求めた結果を示すグラフである。 図１１は、実施例５において、ワイヤグリッド偏光子を構成する２本のワイヤの長さと入射光の波長と消光比の関係を求めた結果を示すグラフである。 図１２は、実施例６の撮像装置におけるベイヤ配列を有する撮像素子アレイの概念図である。 図１３は、実施例６の撮像装置の変形例におけるベイヤ配列を有する撮像素子アレイの概念図である。 図１４の（Ａ）及び（Ｂ）は、それぞれ、撮像素子の変形例の模式的な一部断面図である。

以下、図面を参照して、実施例に基づき本発明を説明するが、本発明は実施例に限定されるものではなく、実施例における種々の数値や材料は例示である。尚、説明は、以下の順序で行う。
１．本発明の撮像方法、全般に関する説明
２．実施例１（本発明の撮像方法）
３．実施例２（実施例１の変形）
４．実施例３（実施例１の別の変形）
５．実施例４（実施例１の別の変形）
６．実施例５（実施例１の別の変形）
７．実施例６（実施例１の別の変形）、その他

［本発明の撮像方法、全般に関する説明］
本発明の撮像方法においては、限定するものではないが、Ｎの値を２以上の整数とし、その上限を２⁵とすることができる。あるいは又、本発明の撮像方法においては、限定するものではないが、Ｎ＝２ⁿであり、ｎは１乃至５の自然数である構成とすることができる。

上記の好ましい構成を含む本発明の撮像方法において、光学系は、
（ａ）被写体からの光を偏光させる第１偏光手段、及び、
（ｂ）第１偏光手段からの光を集光するレンズ系、
を備えており、
第１撮像素子群は、光入射側に第２偏光手段を有し、レンズ系によって集光された光を電気信号に変換し（より具体的には、第１撮像素子群は、レンズ系によって集光され、第１偏光手段及び第２偏光手段を通過した光を電気信号に変換し）、
第２撮像素子群は、レンズ系によって集光された光を電気信号に変換し（より具体的には、第２撮像素子群は、レンズ系によって集光され、第１偏光手段を通過した光を電気信号に変換し）、
第１偏光手段は、第１の方向に沿って配列された第１領域及び第２領域を有し、
第１領域を通過した第１領域通過光の偏光状態と、第２領域を通過した第２領域通過光の偏光状態とは異なり、
第２偏光手段は、第１の方向に延びる複数の第３領域及び第４領域を有し、
第３領域を通過した第３領域通過光の偏光状態と、第４領域を通過した第４領域通過光の偏光状態とは異なり、
第１領域通過光は第３領域を通過して第１撮像素子群に到達し、第２領域通過光は第４領域を通過して第１撮像素子群に到達し、以て、第１領域の重心点と第２領域の重心点との間の距離を両眼視差の基線長さとした視差情報を得る形態とすることができる。尚、このような形態の光学系を含む撮像装置を、便宜上、『本発明における撮像装置』と呼ぶ場合がある。

本発明における撮像装置にあっては、１組の第１偏光手段及び第２偏光手段並びに１つのレンズ系から撮像装置が構成されているので、単眼で、簡素な構成、構造を有する、小型の撮像装置を提供することができる。また、レンズ及び偏光フィルタの組合せを２組、必要としないので、ズーム、絞り部、フォーカス、輻輳角等にズレや差異が生じることもない。しかも、両眼視差の基線長さが比較的短いので、自然な立体感を得ることができる。更には、第１偏光手段の脱着によって、容易に、２次元画像及び３次元画像を得ることができる。

ここで、本発明における撮像装置にあっては、第１偏光手段はレンズ系の絞り部近傍に配置されている形態とすることが好ましい。あるいは又、レンズ系に入射した光が、一旦、平行光とされ、最終的に撮像素子上に集光（結像）されるとき、平行光の状態にあるレンズ系の部分に第１偏光手段を配置する形態とすることが好ましい。これらの形態にあっては、一般に、レンズ系の光学系を新たに設計し直す必要はなく、既存のレンズ系に第１偏光手段を、固定して、あるいは又、脱着自在に取り付けられるように、機械的（物理的）な設計変更を施せばよい。尚、レンズ系に第１偏光手段に脱着自在に取り付けるには、例えば、第１偏光手段をレンズの絞り羽根に類似した構成、構造とし、レンズ系内に配置すればよい。あるいは又、レンズ系において、第１偏光手段と開口部とが併設された部材を、レンズ系の光軸と平行な回動軸を中心として回動可能にこの回動軸に取り付け、係る部材を回動軸を中心として回動させることで、レンズ系を通過する光線が開口部を通過し、あるいは、第１偏光手段を通過する構成、構造を挙げることができる。あるいは又、レンズ系において、第１偏光手段と開口部とが併設された部材を、例えばレンズ系の光軸と直交する方向に滑動自在にレンズ系に取り付け、係る部材を滑動させることで、レンズ系を通過する光線が開口部を通過し、あるいは、第１偏光手段を通過する構成、構造を挙げることができる。

上記の好ましい形態を含む本発明における撮像装置にあっては、第１偏光手段において、第１領域と第２領域との間に中央領域が設けられており、中央領域を通過した中央領域通過光の偏光状態は、中央領域入射前と変化しない形態とすることができる。即ち、中央領域は、偏光に関して素通し状態とすることができる。第１偏光手段の中央領域にあっては、光強度が強いが、視差量は少ない。従って、このような形態とすることで、撮像素子アレイが受ける光強度を大きくしながら、十分な長さの両眼視差の基線長さを確保することが可能となる。第１偏光手段の外形形状を円形としたとき、中央領域を円形とし、第１領域及び第２領域を、中央領域を囲む中心角１８０度の扇形とすることができるし、中央領域を正方形や菱形とし、第１領域及び第２領域を、中央領域を囲む中心角１８０度の扇形に類似した形状とすることができる。あるいは又、第１領域、中央領域及び第２領域を、第２の方向に沿って延びる帯状の形状とすることができる。

以上に説明した各種の好ましい形態を含む本発明における撮像装置にあっては、第１領域及び第２領域は偏光子から成り、第１領域通過光の電場の向きと第２領域通過光の電場の向きとは直交している構成とすることができる。そして、このような構成を含む本発明における撮像装置にあっては、第１領域通過光の電場の向きは第１の方向と平行である構成とすることができるし、あるいは又、第１領域通過光の電場の向きは第１の方向と４５度の角度を成す構成とすることができる。更には、これらの構成の任意の組合せを含む本発明における撮像装置にあっては、第１領域通過光の電場の向きと第３領域通過光の電場の向きとは平行であり、第２領域通過光の電場の向きと第４領域通過光の電場の向きとは平行である構成とすることができる。更には、これらの構成の任意の組合せを含む本発明における撮像装置にあっては、偏光子の消光比は、３以上、好ましくは１０以上であることが望ましい。

ここで、『偏光子』とは、自然光（非偏光）や円偏光から直線偏光を作り出すものを指し、第１領域及び第２領域を構成する偏光子、それ自体は、周知の構成、構造の偏光子（偏光板）とすればよい。また、例えば、第１領域通過光及び第２領域通過光の一方の偏光成分を主としてＳ波（ＴＥ波）とし、第１領域通過光及び第２領域通過光の他方の偏光成分を主としてＰ波（ＴＭ波）とすればよい。第１領域通過光及び第２領域通過光の偏光状態は、直線偏光であってもよいし、円偏光（但し、回転方向が相互に逆の関係にある）であってもよい。一般に、振動方向が或る特定の向きだけの横波を偏光した波と呼び、この振動方向を偏光方向あるいは偏光軸と呼ぶ。光の電場の向きは偏光方向と一致する。消光比とは、第１領域通過光の電場の向きが第１の方向と平行である構成とする場合、第１領域にあっては、第１領域を通過する光に含まれる、電場の向きが第１の方向である光の成分と電場の向きが第２の方向である光の成分の割合であり、第２領域にあっては、第２領域を通過する光に含まれる、電場の向きが第２の方向である光の成分と電場の向きが第１の方向である光の成分の割合である。また、第１領域通過光の電場の向きが第１の方向と４５度の角度を成す構成とする場合、第１領域にあっては、第１領域を通過する光に含まれる、電場の向きが第１の方向と４５度の角度を成す光の成分と１３５度の角度を成す光の成分の割合であり、第２領域にあっては、第２領域を通過する光に含まれる、電場の向きが第１の方向と１３５度の角度を成す光の成分と４５度の角度を成す光の成分の割合である。あるいは又、例えば、第１領域通過光の偏光成分が主としてＰ波であり、第２領域通過光の偏光成分が主としてＳ波である場合、第１領域にあっては、第１領域通過光に含まれるＰ偏光成分とＳ偏光成分の割合であり、第２領域にあっては、第２領域通過光に含まれるＳ偏光成分とＰ偏光成分の割合である。

以上に説明した各種の好ましい形態、構成を含む本発明における撮像装置にあっては、第１撮像素子群を構成する撮像素子は、光電変換素子、並びに、その上あるいは上方に、カラーフィルタ、オンチップレンズ、及び、ワイヤグリッド偏光子が積層されて成り、ワイヤグリッド偏光子が第３領域又は第４領域を構成する形態とすることができる。あるいは又、第１撮像素子群を構成する撮像素子は、光電変換素子、並びに、その上あるいは上方に、ワイヤグリッド偏光子、カラーフィルタ、及び、オンチップレンズが積層されて成り、ワイヤグリッド偏光子が第３領域又は第４領域を構成する形態とすることができる。あるいは又、撮像素子は、光電変換素子、並びに、その上あるいは上方に、オンチップレンズ、カラーフィルタ、及び、ワイヤグリッド偏光子が積層されて成り、ワイヤグリッド偏光子が第３領域又は第４領域を構成する形態とすることができる。但し、オンチップレンズ、カラーフィルタ、及び、ワイヤグリッド偏光子の積層順は、適宜、変更することができる。そして、これらの形態にあっては、第１領域通過光の電場の向きが第１の方向と平行である構成とする場合、ワイヤグリッド偏光子を構成する複数のワイヤの延びる方向は、第１の方向あるいは第２の方向と平行である形態とすることができる。具体的には、第３領域を構成するワイヤグリッド偏光子にあっては、ワイヤの延びる方向は第２の方向と平行であり、第４領域を構成するワイヤグリッド偏光子にあっては、ワイヤの延びる方向は第１の方向と平行である。あるいは又、これらの形態にあっては、第１領域通過光の電場の向きが第１の方向と４５度の角度を成す構成とする場合、ワイヤグリッド偏光子を構成する複数のワイヤの延びる方向は、第１の方向あるいは第２の方向と４５度を成す形態とすることができる。具体的には、第３領域を構成するワイヤグリッド偏光子にあっては、ワイヤの延びる方向は第１の方向と１３５度の角度を成し、第４領域を構成するワイヤグリッド偏光子にあっては、ワイヤの延びる方向は第１の方向と４５度の角度を成す。ワイヤの延びる方向がワイヤグリッド偏光子における光吸収軸となり、ワイヤの延びる方向と直交する方向がワイヤグリッド偏光子における光透過軸となる。尚、第２撮像素子群を構成する撮像素子は、ワイヤグリッド偏光子を設けない点を除き、第１撮像素子群を構成する撮像素子と同じ構成、構造とすることができる。

以上に説明した各種の好ましい形態、構成を含む本発明における撮像装置にあっては、撮像素子アレイはベイヤ配列を有し、１画素は４つの撮像素子から構成されている形態とすることができる。そして、第１画素群において、１画素に対して、１つの第３領域及び／又は第４領域が配されている形態とすることができる。即ち、１画素に対して、１つの第３領域が配されている形態、１つの第４領域が配されている形態、あるいは、１つの第３領域及び１つの第４領域が配されている形態とすることができる。あるいは又、以上に説明した各種の好ましい形態、構成を含む本発明における撮像装置にあっては、第１画素群が２行の単位画素行から構成されており、一方の単位画素行に第３領域が配され、他方の単位画素行に第４領域が配されている形態とすることもできる。あるいは又、第１画素群が１行の単位画素行から構成されており、この１行の単位画素行に第３領域及び第４領域が配されている形態とすることもできる。但し、撮像素子アレイの配列は、ベイヤ配列に限定されず、その他、インターライン配列、ＧストライプＲＢ市松配列、ＧストライプＲＢ完全市松配列、市松補色配列、ストライプ配列、斜めストライプ配列、原色色差配列、フィールド色差順次配列、フレーム色差順次配列、ＭＯＳ型配列、改良ＭＯＳ型配列、フレームインターリーブ配列、フィールドインターリーブ配列を挙げることができる。

あるいは又、第１画素群において、撮像素子アレイの配列をベイヤ配列としたとき、１画素において、赤色を受光する赤色撮像素子及び青色を受光する青色撮像素子には第３領域及び第４領域を配置せず、緑色を受光する２つの緑色撮像素子の一方に第３領域を配し、他方に第４領域を配してもよい。あるいは又、第１画素群において、撮像素子アレイの配列をベイヤ配列としたとき、１画素において、赤色を受光する１つ赤色撮像素子、青色を受光する１つの青色撮像素子、及び、緑色を受光する２つの緑色撮像素子の内の第１の方向に隣接する２つの撮像素子（例えば、赤色を受光する赤色撮像素子及び緑色を受光する一方の緑色撮像素子）には第３領域あるいは第４領域を配し、残りの２つの撮像素子（例えば、青色を受光する青色撮像素子及び緑色を受光する他方の緑色撮像素子）には第４領域あるいは第３領域を配してもよい。あるいは又、第１画素群において、撮像素子アレイの配列をベイヤ配列としたとき、１画素において、赤色を受光する１つ赤色撮像素子、青色を受光する１つの青色撮像素子、及び、緑色を受光する２つの緑色撮像素子の内のいずれか１つの撮像素子（例えば、赤色を受光する１つ赤色撮像素子あるいは青色を受光する１つの青色撮像素子）には第３領域あるいは第４領域を配し、この撮像素子に第２の方向に隣接する撮像素子（例えば、緑色撮像素子）には第４領域あるいは第３領域を配してもよい。

第１画素群を構成する単位画素行の数として、上述したように、１あるいは２を例示することができるが、これに限定するものではない。第１画素群における画素を構成する撮像素子を第１撮像素子群とするが、第１画素群における全ての画素を構成する撮像素子を第１撮像素子群としてもよいし、第１画素群における一部の画素を構成する撮像素子を第１撮像素子群としてもよい。また、第１撮像素子群に含まれない撮像素子から構成された撮像素子群を第２撮像素子群とするが、第１撮像素子群に含まれない撮像素子の全てから構成された撮像素子群を第２撮像素子群とすればよい。

以上に説明した各種の好ましい形態、構成を含む本発明の撮像方法（以下、これらを総称して、単に、『本発明』と呼ぶ場合がある）において、第１の方向を水平方向、第２の方向を垂直方向とすることができる。第１画素群において、第１の方向に沿った第３領域及び第４領域の単位長さは、例えば、撮像素子の第１の方向に沿った長さと等しくすればよく（第１領域通過光の電場の向きが第１の方向と平行である場合）、あるいは又、１撮像素子分の長さと等しくすればよい（第１領域通過光の電場の向きが第１の方向と４５度の角度を成す場合）。レンズ系は、単焦点レンズとしてもよいし、所謂ズームレンズとしてもよく、レンズやレンズ系の構成、構造は、レンズ系に要求される仕様に基づき決定すればよい。撮像素子として、ＣＣＤ素子（Charge Coupled Device：電荷結合素子）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor：相補性金属酸化膜半導体）イメージセンサー、ＣＩＳ（Contact Image Sensor）、ＣＭＤ（Charge Modulation Device）型の信号増幅型イメージセンサーを挙げることができる。また、撮像装置として、表面照射型の固体撮像装置あるいは裏面照射型の固体撮像装置を挙げることができる。更には、本発明の撮像装置等から、例えば、デジタルスチルカメラやビデオカメラ、カムコーダを構成することができる。また、特開２００４−３０９８６８等に開示された技術に、本発明の撮像方法を適用することもできる。

第３領域及び第４領域をワイヤグリッド偏光子から構成する場合、
ワイヤグリッド偏光子を構成するワイヤは、限定するものではないが、アルミニウム（Ａｌ）あるいはアルミニウム合金から成り、
ワイヤの幅とワイヤのピッチとの比［（ワイヤの幅）／（ワイヤのピッチ）］の値は０．３３以上であり、
ワイヤの高さは５×１０^-8ｍ以上であり、
ワイヤは１０本以上である構成とすることが好ましい。

本発明において、第１領域の重心点とは、第１領域の外形形状に基づき求められた重心点を指し、第２領域の重心点とは、第２領域の外形形状に基づき求められた重心点を指す。第１偏光手段の外形形状を半径ｒの円形とし、第１領域及び第２領域を、それぞれ、第１偏光手段の半分を占める半月状としたとき、第１領域の重心点と第２領域の重心点との間の距離は、簡単な計算から、［（８ｒ）／（３π）］で求めることができる。

実施例１は、本発明の撮像方法に関し、より具体的には、被写体を立体画像として撮像する撮像方法に関する。

実施例１の撮像方法の実行に適した本発明における撮像装置の概念図を図１の（Ａ）に示し、第１偏光手段及び第２偏光手段における偏光の状態を模式的に図１の（Ｂ）及び（Ｃ）に示し、レンズ系、第１偏光手段における第１領域及び第２偏光手段における第３領域を通過し、撮像素子アレイに到達する光の概念図を図２の（Ａ）に示し、第１偏光手段における第２領域及び第２偏光手段における第４領域を通過し、撮像素子アレイに到達する光の概念図を図２の（Ｂ）に示し、図２の（Ａ）及び（Ｂ）に示した光によって撮像素子アレイに結像した画像を模式的に図２の（Ｃ）及び（Ｄ）に示す。尚、以下の説明において、光の進行方向をＺ軸方向、第１の方向を水平方向（Ｘ軸方向）、第２の方向を垂直方向（Ｙ軸方向）とする。また、実施例１の撮像装置におけるベイヤ配列を有する撮像素子アレイの概念図を図４に示す。

実施例１、あるいは、後述する実施例２〜実施例６における撮像装置は、 第１の方向（水平方向、Ｘ軸方向）に沿ってＭ₀個（実施例１にあっては、例えば、１９２０個）の画素から成る単位画素行が、第１の方向と直交する第２の方向（垂直方向、Ｙ軸方向）に沿ってＮ₀行（実施例１にあっては、例えば、１０８０行）、配列されて成り、
（Ａ）光学系、並びに、
（Ｂ）各画素に対応して撮像素子４３Ａ，４３Ｂが配列されて成り、光学系を通過した光を電気信号に変換する撮像素子アレイ４０、
を具備している。尚、Ｍ₀，Ｎ₀の値は、本質的に任意であり、上記の値に限定するものではない。

ここで、
Ｎ行（但し、２≦Ｎ）毎に選択された単位画素行を含む少なくとも１行の単位画素行から構成された画素群を、第１画素群ＰＧ₁とし、
第１画素群ＰＧ₁における画素を構成する撮像素子を、第１撮像素子群４１とし、
第１撮像素子群４１に含まれない撮像素子から構成された撮像素子群を、第２撮像素子群４２とし、
第２撮像素子群４２から構成された画素から成る画素群を、第２画素群ＰＧ₂とする。

尚、実施例１の撮像装置にあっては、Ｎ＝２ⁿであり、ｎは１乃至５の自然数である構成とすることができ、より具体的には、ｎ＝３とした。

実施例１、あるいは、後述する実施例２〜実施例６において、光学系は、
（ａ）被写体からの光を偏光させる第１偏光手段１３０，２３０，３３０、及び、
（ｂ）第１偏光手段１３０，２３０，３３０からの光を集光するレンズ系２０、
を備えている。そして、第１撮像素子群４１は、光入射側に第２偏光手段１５０，２５０を有し、レンズ系２０によって集光された光を電気信号に変換し、第２撮像素子群４２は、レンズ系２０によって集光された光を電気信号に変換する。具体的には、第１撮像素子群４１は、レンズ系２０によって集光され、第１偏光手段１３０，２３０，３３０及び第２偏光手段１５０，２５０を通過した光を電気信号に変換する。第２撮像素子群４２は、レンズ系２０によって集光され、第１偏光手段１３０，２３０，３３０を通過した光を電気信号に変換する。第１偏光手段１３０，２３０，３３０は、第１の方向（水平方向、Ｘ軸方向）に沿って配列された第１領域１３１，２３１，３３１及び第２領域１３２，２３２，３３２を有する。

更には、
第１領域１３１，２３１，３３１を通過した第１領域通過光Ｌ₁の偏光状態と、第２領域１３２，２３２，３３２を通過した第２領域通過光Ｌ₂の偏光状態とは異なり、
第２偏光手段１５０，２５０は、第１の方向（水平方向、Ｘ軸方向）に延びる複数の第３領域１５１，２５１及び第４領域１５２，２５２を有し、
第３領域１５１，２５１を通過した第３領域通過光Ｌ₃の偏光状態と、第４領域１５２，２５２を通過した第４領域通過光Ｌ₄の偏光状態とは異なり、
第１領域通過光Ｌ₁は第３領域１５１，２５１を通過して第１撮像素子群４１に到達し、第２領域通過光Ｌ₂は第４領域１５２，２５２を通過して第１撮像素子群４１に到達し、以て、第１領域１３１，２３１，３３１の重心点ＢＣ₁と第２領域１３２，２３２，３３２の重心点ＢＣ₂との間の距離を両眼視差の基線長さとした視差情報を得る。

実施例１、あるいは、後述する実施例２〜実施例６の撮像装置において、レンズ系２０は、例えば、撮影レンズ２１、絞り部２２及び結像レンズ２３を備えており、ズームレンズとして機能する。撮影レンズ２１は、被写体からの入射光を集光するためのレンズである。撮影レンズ２１は、焦点を合わせるためのフォーカスレンズや、被写体を拡大するためのズームレンズ等を含み、一般に、色収差等を補正するために複数枚のレンズの組合せによって実現されている。絞り部２２は、集光された光の量を調整するために絞り込む機能を有するものであり、一般に、複数枚の板状の羽根を組み合わせて構成されている。少なくとも絞り部２２の位置において、被写体の１点からの光は平行光となる。結像レンズ２３は、第１偏光手段１３０，２３０，３３０を通過した光を撮像素子アレイ４０上に結像する。撮像素子アレイ４０は、カメラ本体部１１の内部に配置されている。以上の構成において、入射瞳は、結像レンズ２３よりもカメラ本体部側に位置する。撮像装置から、例えば、デジタルスチルカメラやビデオカメラ、カムコーダが構成される。

カメラ本体部１１は、撮像素子アレイ４０の他に、例えば、画像処理手段１２及び画像記憶部１３を備えている。そして、撮像素子アレイ４０によって変換された電気信号に基づき、右眼用視差情報、左眼用視差情報、画像情報が生成される。撮像素子アレイ４０は、例えば、ＣＣＤ素子やＣＭＯＳイメージセンサー等によって実現される。画像処理手段１２は、撮像素子アレイ４０から出力された電気信号から最終的に視差情報及び画像情報を作成して、画像記憶部１３に記録する。

第１偏光手段１３０，２３０，３３０は、レンズ系２０の絞り部２２の近傍に配置されている。具体的には、第１偏光手段１３０，２３０，３３０は、絞り部２２の作動に支障を支障を来さない限り、出来るだけ絞り部２２に近い位置に配置されている。尚、第１偏光手段１３０，２３０，３３０は、上述したとおり、レンズ系２０に入射した光が、一旦、平行光とされ、最終的に撮像素子４３Ａ，４３Ｂ上に集光（結像）されるとき、平行光の状態にあるレンズ系２０の部分に配置されている。

実施例１の撮像装置１１０において、第１偏光手段１３０は、第１の方向に沿って配列された第１領域１３１及び第２領域１３２を有する。具体的には、第１偏光手段１３０の外形形状は円形であり、第１領域１３１及び第２領域１３２は、それぞれ、第１偏光手段１３０の半分を占める半月状の外形形状を有する。第１領域１３１と第２領域１３２との境界線は、第２の方向に沿って延びている。２つの偏光フィルタの組合せから成る第１偏光手段１３０は、入射した光を２つの異なる偏光状態に分離する。第１偏光手段１３０は、上述したとおり、左右対称の偏光子から構成されており、カメラの正立状態に対する左右２つの位置において、互いに直交する直線方向の偏光、又は、互いに逆方向となる回転方向の偏光を生成する。第１領域１３１は、第１画素群ＰＧ₁において、被写体を右眼で見るであろう像（右眼が受けるであろう光）に対して偏光を施すフィルタである。一方、第２領域１３２は、第１画素群ＰＧ₁において、被写体を左眼で見るであろう像（右眼が受けるであろう光）に対して偏光を施すフィルタである。

ここで、実施例１の撮像装置１１０において、第１領域１３１及び第２領域１３２は偏光子から成る。そして、第１領域通過光Ｌ₁の電場の向き（白抜きの矢印で示す）と第２領域通過光Ｌ₂の電場の向き（白抜きの矢印で示す）とは直交している（図１の（Ｂ）参照）。ここで、実施例１において、第１領域通過光Ｌ₁の電場の向きは第１の方向と平行である。具体的には、例えば、第１領域通過光Ｌ₁は主としてＰ波（ＴＭ波）を偏光成分として有し、第２領域通過光Ｌ₂は主としてＳ波（ＴＥ波）を偏光成分として有する。更には、第１領域通過光Ｌ₁の電場の向きと第３領域通過光Ｌ₃の電場の向き（白抜きの矢印で示す）とは平行であり、第２領域通過光Ｌ₂の電場の向きと第４領域通過光Ｌ₄の電場の向き（白抜きの矢印で示す）とは平行である（図１の（Ｃ）参照）。また、各偏光子の消光比は、３以上、より具体的には１０以上である。

実施例１の撮像装置１１０にあっては、第１偏光手段１３０の外形形状を半径ｒ＝１０ｍｍの円形とした。そして、第１領域１３１及び第２領域１３２を、第１偏光手段１３０の半分を占める半月状とした。従って、第１領域１３１の重心点ＢＣ₁と第２領域１３２の重心点ＢＣ₂との間の距離は、［（８ｒ）／（３π）］＝８．５ｍｍである。

模式的な一部断面図を図３の（Ａ）に示し、ワイヤグリッド偏光子６７の配列状態を模式的に図３の（Ｂ）に示すように、第１撮像素子群４１を構成する撮像素子４３Ａは、例えば、シリコン半導体基板６０に設けられた光電変換素子６１、並びに、その上に、第１平坦化膜６２、カラーフィルタ６３、オンチップレンズ６４、第２平坦化膜６５、無機絶縁下地層６６、及び、ワイヤグリッド偏光子６７が積層されて成る。そして、ワイヤグリッド偏光子６７が、第３領域１５１及び第４領域１５２のそれぞれを構成する。尚、図３の（Ｂ）においては、画素の境界領域を実線で示し、撮像素子４３Ａの境界領域を点線で示した。ワイヤグリッド偏光子６７を構成する複数のワイヤ６８の延びる方向は、第１の方向あるいは第２の方向と平行である。具体的には、第３領域１５１を構成するワイヤグリッド偏光子６７Ａにあっては、ワイヤ６８Ａの延びる方向は第２の方向と平行であり、第４領域１５２を構成するワイヤグリッド偏光子６７Ｂにあっては、ワイヤ６８Ｂの延びる方向は第１の方向と平行である。ワイヤ６８の延びる方向がワイヤグリッド偏光子６７における光吸収軸となり、ワイヤ６８の延びる方向と直交する方向がワイヤグリッド偏光子６７における光透過軸となる。第２撮像素子群４２を構成する撮像素子４３Ｂは、ワイヤグリッド偏光子を設けない点を除き、第１撮像素子群４１を構成する撮像素子４３Ａと同じ構成、構造とすることができる。

図２の（Ａ）及び（Ｂ）に模式的に示すように、四角い形状の物体Ａにレンズ系２０のピントが合っているとする。また、丸い形状の物体Ｂが、物体Ａよりもレンズ系２０に近く位置しているとする。四角い物体Ａの像が、ピントが合った状態で撮像素子アレイ４０上に結像する。また、丸い物体Ｂ像は、ピントが合っていない状態で撮像素子アレイ４０上に結像する。そして、図２の（Ａ）に示す例にあっては、撮像素子アレイ４０上では、物体Ｂは、物体Ａの右手側に距離（＋ΔＸ）だけ離れた位置に像を結ぶ。一方、図２の（Ｂ）に示す例にあっては、撮像素子アレイ４０上では、物体Ｂは、物体Ａの左手側に距離（−ΔＸ）だけ離れた位置に像を結ぶ。従って、距離（２×ΔＸ）が物体Ｂの奥行きに関する情報となる。即ち、物体Ａよりも撮像装置に近い側に位置する物体のボケ量及びボケ方向は、撮像装置に遠い側に位置する物体のボケ量及びボケ方向と異なるし、物体Ａと物体Ｂとの距離によって物体Ｂのボケ量は異なる。そして、第１偏光手段１３０における第１領域１３１及び第２領域１３２の形状の重心位置の間の距離を両眼視差の基線長さとした立体画像を得ることができる。即ち、第１画素群ＰＧ₁において、このようにして得られた右眼用視差情報（図２の（Ｃ）の模式図参照）及び左眼用視差情報（図２の（Ｄ）の模式図参照）から立体画像を得ることができる。

実施例１の撮像装置におけるベイヤ配列を有する撮像素子アレイの概念図を図４に示す。ここで、１画素は４つの撮像素子（赤色を受光する１つの赤色撮像素子Ｒ、青色を受光する１つの青色撮像素子Ｂ、及び、緑色を受光する２つの緑色撮像素子Ｒ）から構成されている。そして、Ｎ行（但し、２≦Ｎであり、実施例１にあっては、前述したとおり、Ｎ＝８）毎に選択された単位画素行を含む少なくとも１行の単位画素行（実施例１にあっては２行の単位画素行）から構成された画素群を、第１画素群ＰＧ₁としている。即ち、実施例１にあっては、第１の方向に沿って配列された１行の単位画素行に対して第３領域１５１が配置されており、この単位画素行に第２の方向に隣接し、第１の方向に沿って配列された１行の単位画素行に対して第４領域１５２が配置されている。第１画素群ＰＧ₁において、１画素に対して、１つの第３領域１５１又は第４領域１５２が配されており、１行の単位画素行を構成する全ての画素に対して第３領域１５１が配置されており、１行の単位画素行を構成する全ての画素に対して第４領域１５２が配置されている。即ち、第１画素群ＰＧ₁における全ての画素を構成する撮像素子を第１撮像素子群４１としている。尚、第３領域１５１及び第４領域１５２は全体として第１の方向に延びているが、第３領域１５１及び第４領域１５２の第１の方向及び第２の方向に沿った単位長さは、撮像素子４３Ａの第１の方向及び第２の方向に沿った長さと等しい。そして、このような構成とすることで、主としてＰ波成分を有する光に基づく第１の方向に延びる帯状の画像（右眼用視差情報）、及び、主としてＳ波成分を有する光に基づく第１の方向に延びる帯状の画像（左眼用視差情報）が、第２の方向に沿って生成される。尚、図４において、第３領域１５１の内部に縦線を付し、第４領域１５２の内部に縦線、横線を付しているが、これらは、ワイヤグリッド偏光子６７Ａ，６７Ｂのワイヤを模式的に表している。

そして、実施例１の撮像方法、あるいは、後述する実施例２〜実施例６にあっては、第１撮像素子群４１において立体画像を得るための視差情報を取得し、第２撮像素子群４２において画像を得るための画像情報を取得し、取得された画像情報に基づき、第１画素群ＰＧ₁における視差情報を取得した画素（具体的には、実施例１にあっては、第１画素群ＰＧ₁における全ての画素）において画像情報を得た後、視差情報及び全画素における画像情報から立体画像を得る。

即ち、第１画素群ＰＧ₁において、第３領域１５１を通過した第１領域通過光によって得られる電気信号及び第４領域１５２を通過した第２領域通過光によって得られる電気信号から生成された視差量に基づくデプスマップ（奥行き情報）を視差情報として取得する。また、撮像素子アレイ４０を構成する残りの全撮像素子４３Ｂ（第２撮像素子群４２）からの電気信号に基づき、画像情報を取得する。これらの取得方法や処理方法、それ自体は、周知の方法とすることができる。

ここで、第３領域１５１及び第４領域１５２を配置した第１撮像素子群４１によって構成される第１画素群ＰＧ₁における各撮像素子から得られる画像情報や光量（以下、画像情報と総称する）は、それぞれの視差情報を取得するために第１領域１３１及び第２領域１３２に分離された領域を通過した光から取得された画像情報であるため、視差情報を分離すること無く第１領域１３１を通過した第１領域通過光と第２領域１３２を通過した第２領域通過光とを加算した光から取得される第２撮像素子群４２における各撮像素子の画像情報と同等の画像情報を得ることはできない。それ故、第３領域１５１及び第４領域１５２を配置した第１撮像素子群４１によって構成される第１画素群ＰＧ₁における視差情報を取得した各撮像素子に対して、近接する第１画素群の第２撮像素子群４２を構成する各撮像素子からの画像情報に基づき不足や欠落する画像情報を得る必要がある。即ち、第３領域１５１及び第４領域１５２を配置した第１撮像素子群を含む単位画素行に対して、補間処理に基づき第２撮像素子群と同等の画像情報を生成する。こうして得られた第１撮像素子群における画像情報と第２撮像素子群の画像情報を加算合成することで、撮像素子全域において不足や欠落のない画像情報を得ることができる。また、例えば、
第３領域から得られる左眼用視差情報と第４領域から得られる右眼用視差情報の差異からステレオマッチングによりデイスパリティ・マップ（Disparity Map）を作成する視差検出技術、及び、
得られたデイスパリティ・マップを基に、補間処理に基づく第１撮像素子群と第２撮像素子群の加算により得られた撮像素子全域の画像情報に対して、左眼用画像及び右眼用画像を任意に生成する視差制御技術、
により、視差の強調や適切化を図ることもできる。

具体的には、第３領域１５１を通過して撮像素子４３Ａに到達した第１領域通過光Ｌ₁によって、右眼用視差情報を得るための電気信号を撮像素子４３Ａにおいて生成する。また、第４領域１５２を通過して撮像素子４３Ａに到達した第２領域通過光Ｌ₂によって、左眼用視差情報を得るための電気信号を撮像素子４３Ａにおいて生成する。そして、これらの電気信号を、同時に、又は、時系列に交互に、出力する。一方、第１領域１３１及び第２領域１３２を通過して撮像素子４３Ｂに到達した光によって、画像情報（２次元画像情報）を得るための電気信号を撮像素子４３Ｂにおいて生成し出力する。そして、出力された電気信号（撮像素子アレイ４０から出力された右眼用視差情報、左眼用視差情報及び画像情報を得るための電気信号）に対して、画像処理手段１２によって画像処理が施され、視差情報及び画像情報として画像記憶部１３に記録される。

図５に、第２撮像素子群４２を構成する撮像素子４３Ｂから得られた電気信号に対するデモザイク処理を行い、信号値を得る画像処理を説明するためのベイヤ配列を有する撮像素子アレイの概念図を示す。尚、図５には、或る緑色撮像素子に関する信号値を生成する例について示している。通常のデモザイク処理では、近傍の同一色の撮像素子の電気信号の平均値が用いられるのが一般的である。しかしながら、実施例１のように右眼用視差情報を得るための単位画素行と左眼用視差情報を得るための単位画素行とが接して配置されている場合、そのまま、近傍の値を用いると本来の画像情報が得られなくなる虞がある。そこで、このような問題が生じないようにデモザイク処理を行う。デモザイク処理により各撮像素子位置における撮像素子信号値を得ることができるが、この段階では、上述したとおり、一種、歯抜け状態となっている。即ち、第１撮像素子群４１が配置された第１画素群ＰＧ₁においては、第２撮像素子群４２からの画像情報と同等の画像情報が得られていない。それ故、撮像素子信号値が存在しない領域（第１撮像素子群４１）に対して、撮像素子信号値を補間により生成する必要がある。補間の手法としては、近傍の値の加算平均値を利用する方法等、周知の方法を挙げることができる。尚、この補間処理は、デモザイク処理と並行して行ってもよい。第１の方向においては画素数は完全に保持されているので、画像全体の解像度低下等の画質劣化は比較的少ない。そして、これによって、第１画素群ＰＧ₁における視差情報を取得した画素（具体的には、実施例１にあっては、第１画素群ＰＧ₁における全ての画素）において画像情報を得ることができる。

ベイヤ配列において、位置（４，２）には赤色撮像素子Ｒが配置されているものとする。このとき、位置（４，２）に相当する緑色撮像素子信号値ｇ’を生成するためには、次式によって表される演算を行う。

ｇ’_4,2＝（ｇ_4,1＋ｇ_4,3＋ｇ_5,2＋ｇ_1,2×Ｗ₃）／（３．０＋Ｗ₃）

ここで、左辺のｇ’_i,jは、位置（ｉ，ｊ）における緑色撮像素子信号値である。また、右辺のｇ_i,jは、位置（ｉ，ｊ）における緑色撮像素子の電気信号の値である。更には、「３．０」は、注目撮像素子Ｇ_4,2に対する隣接撮像素子Ｇ_4,1，Ｇ_4,3，Ｇ_5,2への距離（Ｗ₁）をそれぞれ例えば「１．０」としたとき、その逆数を重みとして、それら重みの総和に対応するものである。Ｗ₃は、同様に、３撮像素子分だけ離れた撮像素子Ｇ_1,2の電気信号の値に対する重みであり、この場合、「１／３」である。上式を一般化すると、次式のようになる。

ｉが偶数の場合（赤色撮像素子Ｒの位置に相当する緑色撮像素子Ｇの信号値）；
ｇ’_i,j＝（ｇ_i,j-1×Ｗ₁＋ｇ_i,j+1×Ｗ₁＋ｇ_i+1,j×Ｗ₁＋ｇ_i-3,j×Ｗ₃）／（Ｗ₁×３．０＋Ｗ₃）
ｉが奇数の場合（青色撮像素子Ｂの位置に相当する緑色撮像素子Ｇの信号値）；
ｇ’_i,j＝（ｇ_i,j-1×Ｗ₁＋ｇ_i,j+1×Ｗ₁＋ｇ_i-1,j×Ｗ₁＋ｇ_i+3,j×Ｗ₃）／（Ｗ₁×３．０＋Ｗ₃）
ここで、Ｗ₁＝１．０，Ｗ₃＝１／３である。

赤色撮像素子Ｒ及び青色撮像素子Ｂについても、同様の考え方によりデモザイク処理を行うことができる。

デモザイク処理により各撮像素子位置における撮像素子信号値を得ることができるが、この段階では、上述したとおり、一種、歯抜け状態となっている。即ち、第１撮像素子群４１が配置された第１画素群ＰＧ₁においては、第２撮像素子群４２からの画像情報と同等の画像情報が得られていない。それ故、撮像素子信号値が存在しない領域（第１撮像素子群４１）に対して、撮像素子信号値を補間により生成する必要がある。補間の手法としては、近傍の値の加算平均値を利用する方法等、周知の方法を挙げることができる。尚、この補間処理は、デモザイク処理と並行して行ってもよい。第１の方向においては画質は完全に保持されているので、画像全体の解像度低下等の画質劣化は比較的少ない。そして、これによって、第１画素群ＰＧ₁における視差情報を取得した画素（具体的には、実施例１にあっては、第１画素群ＰＧ₁における全ての画素）において画像情報を得ることができる。

そして、更には、得られた視差情報及び全画素における画像情報から立体画像を得る。即ち、得られた視差情報及び全画素における画像情報から右眼用画像データ及び右眼用画像データを得た後、係る右眼用画像データ及び右眼用画像データに基づき立体画像を表示する。尚、これの処理方法、それ自体は、周知の方法とすることができる。

実施例１の撮像方法にあっては、立体画像を得るための視差情報を第１撮像素子群において取得し、画像を得るための画像情報を第２撮像素子群において取得し、取得された画像情報に基づき、第１画素群における視差情報を取得した画素において画像情報を得た後、視差情報及び全画素における画像情報から立体画像を得る。即ち、基本的には、画像を得るための画像情報を第２撮像素子群において取得するので、云い換えれば、第１偏光手段の第１領域及び第２領域を通過した光が混合した状態で第２撮像素子群に入射するので、偏光されていない光によって画像情報を得ることができる結果、視野闘争の発生を抑制することができる。しかも、立体画像を得るための視差情報を一部の画素において、即ち、第１撮像素子群において、取得するので、立体画像を得るための視差情報を全ての画素において取得する場合と比較して、撮像素子アレイに到達する光の光量の大幅なる低下を防ぐことができる。即ち、入射自然光の強度１００に対して、第１偏光手段１３０及び第２偏光手段１５０を通過した光（第１撮像素子群に到達する光）の光量は、透過損失がゼロとしても、第１偏光手段１３０に入射する前の光の光量の約２５％となってしまう。一方、第１偏光手段１３０を通過した光（第２撮像素子群に到達する光）の光量は、透過損失をゼロとすれば、第１偏光手段１３０に入射する前の光の光量と変わりがない。それ故、撮像素子アレイの全体に到達する光の光量の大幅なる低下を防ぐことができる。

尚、画像の画質・画素数に対して、デプスマップの画質・画素数を、１：１としていないが、これは、殆どの撮影場面において、個々の被写体は、画素分解能に比べて十分大きく、個々の被写体に、画素分解能と同じ細かさの距離差がない限り、画像の画素分解能と同じ距離情報分解能が必要になることはないためである。また、距離差の感覚において、横方向の分解能が十分あれば、縦方向の分解能が低くても違和感は少ない。

また、実施例１においては、１組の第１偏光手段１３０及び第２偏光手段１５０並びに１つのレンズ系２０から撮像装置１１０が構成されているので、例えば左右に分離された２つの異なる画像を同時に生成させることができ、単眼で、簡素な構成、構造を有し、構成部品の少ない、小型の撮像装置を提供することができる。また、レンズ及び偏光フィルタの組合せを２組、必要としないので、ズーム、絞り部、フォーカス、輻輳角等にズレや差異が生じることもない。しかも、両眼視差の基線長さが比較的短いので、自然な立体感を得ることができる。更には、第１偏光手段１３０を脱着させ得る構造とすれば、容易に、２次元画像及び３次元画像を得ることができる。

実施例２は実施例１の変形である。実施例１にあっては、第１領域通過光Ｌ₁の電場の向きを第１の方向と平行とした。一方、実施例２にあっては、第１領域通過光Ｌ₁の電場の向きは第１の方向と４５度の角度を成す。また、第１領域通過光Ｌ₁の電場の向きと第３領域通過光Ｌ₃の電場の向きとは平行であり、第２領域通過光Ｌ₂の電場の向きと第４領域通過光Ｌ₄の電場の向きとは平行である。実施例２の撮像装置に備えられた第１偏光手段２３０及び第２偏光手段２５０における偏光の状態を、模式的に図６の（Ａ）及び（Ｂ）に示す。

ベイヤ配列を有する撮像素子アレイ４０の概念図を図７に示す。実施例２にあっても、撮像素子アレイ４０は、１画素は４つの撮像素子（赤色を受光する１つの赤色撮像素子Ｒ、青色を受光する１つの青色撮像素子Ｂ、及び、緑色を受光する２つの緑色撮像素子Ｒ）から構成されている。そして、第１画素群ＰＧ₁にあっては、第１の方向に沿って配列された１行の単位画素行に第３領域２５１が配置されており、この単位画素行に第２の方向に隣接し、第１の方向に沿って配列された１行の単位画素行に第４領域２５２が配置されている。第３領域２５１と第４領域２５２とは、Ｎ行毎に、第２の方向に沿って配置されている。尚、第３領域２５１及び第４領域２５２は全体として第１の方向に延びているが、第３領域２５１及び第４領域２５２の単位長さは、１撮像素子分の長さと等しい。そして、このような構成とすることで、主としてＰ波成分を有する光に基づく第１の方向に延びる帯状の画像（右眼用視差情報）、及び、主としてＳ波成分を有する光に基づく第１の方向に延びる帯状の画像（左眼用視差情報）が、第２の方向に沿って生成される。尚、図７において、第３領域２５１及び第４領域２５２の内部に斜め線を付しているが、これらは、ワイヤグリッド偏光子のワイヤを模式的に表している。

これらの点を除き、実施例２の撮像装置を用いた撮像方法は、実施例１において説明した撮像方法と同様とすることができるので詳細な説明は省略する。また、実施例２の撮像装置の構成、構造は、実施例１にて説明した撮像装置１１０の構成、構造と同様とすることができるので、詳細な説明は省略する。実施例２における撮像装置の構成、構造を、後述する実施例３〜実施例６における撮像装置に対して適用することができる。

実施例３も実施例１の変形である。実施例３の撮像装置にあっては、第１偏光手段３３０において、第１領域３３１と第２領域３３２との間に中央領域３３３が設けられており、中央領域３３３を通過した中央領域通過光の偏光状態は、中央領域３３３への入射前と変化しない。即ち、中央領域３３３は、偏光に関して素通し状態である。

ところで、入射した光が第１偏光手段を通過する際に、その光量は分光特性と消光比に比例して減少し、暗くなる。ここで、消光比とは、偏光子が選択して通過する光の量と、偏光子が選択せず、反射又は吸収する光の漏れこみ量の比である。具体的には、例えば、消光比１０のＰ波成分を通過させる偏光子の場合、
Ｐ波成分：Ｓ波成分＝５０：５０
の入射自然光の強度１００に対して、この偏光子は、Ｐ波成分を５０、Ｓ波成分を５の割合で透過する。また、消光比∞のＰ波成分を通過させる偏光子の場合、Ｐ波成分を１００％透過し、Ｓ波成分を全反射し、又は、完全に吸収し、透過させないので、平均的な自然光が入射した場合、約１／２の明るさになる。図１の（Ｂ）及び（Ｃ）に示した第１偏光手段１３０及び第２偏光手段１５０を通過した光の光量は、透過損失がゼロとしても、第１偏光手段１３０に入射する前の光の光量の約２５％となってしまう。また、第１領域及び第２領域を通過した光が、混ざった状態になり、分離できない状態で撮像素子アレイ４０に入射した場合、混ざった割合に比例して両眼視差の基線長さが短くなり、完全に混ざった状態では左眼用視差情報と右眼用視差情報が同一となり、視差が取れず、立体視することができなくなる。

第１偏光手段３３０の中央領域３３３にあっては、光強度が強いが、視差量は少ない。従って、実施例３の第１偏光手段３３０を採用することで、撮像素子アレイ４０が受ける光強度を大きくしながら、十分な長さの両眼視差の基線長さを確保することが可能となる。図８の（Ａ）に第１偏光手段３３０の模式図を示すように、第１偏光手段３３０の外形形状を円形としたとき、中央領域３３３を円形とし、第１領域３３１及び第２領域３３２を、中央領域３３３を囲む中心角１８０度の扇形とすることができる。あるいは又、図８の（Ｂ）、（Ｃ）に第１偏光手段３３０の模式図を示すように、中央領域３３３を菱形や正方形とし、第１領域３３１及び第２領域３３２を、中央領域３３３を囲む中心角１８０度の扇形に類似した形状とすることができる。あるいは又、図８の（Ｄ）に第１偏光手段３３０の模式図を示すように、第１領域３３１、中央領域３３３及び第２領域３３２を、第２の方向に沿って延びる帯状の形状とすることができる。

これらの点を除き、実施例３の撮像装置を用いた撮像方法は、実施例１において、説明した撮像方法と同様とすることができるので詳細な説明は省略する。また、実施例３の撮像装置の構成、構造は、実施例１にて説明した撮像装置１１０の構成、構造と同様とすることができるので、詳細な説明は省略する。実施例３における撮像装置の構成、構造を、後述する実施例４〜実施例６における撮像装置に対して適用することができる。

実施例４も実施例１の変形である。実施例４にあっては、消光比と視差の関係を調べた。即ち、左右分離した画像が混ざりあった場合、どこまで混ざれば視差がなくなるか、即ち、立体視できなくなるかを、消光比＝∞（０％クロストークであり、完全に、左眼用視差情報と右眼用視差情報が分離された状態）から、消光比＝１（５０％クロストークであり、左眼用画像と右眼用画像とが完全に混ざり合った状態であり、左眼用視差情報と右眼用視差情報とは同じ視差情報（画像）である）まで、消光比を変えて合成画像シミュレーションを行った。その結果の一部を図９の（Ａ）及び（Ｂ）に示す。

ここで、図９の（Ａ）は消光比＝∞の状態を示し、図９の（Ｂ）は消光比＝３（２５％クロストーク）の状態を示す。図９の（Ａ）及び（Ｂ）の左手側の図（左眼用画像）と右手側の図（右眼用画像）にあっては、縦方向に延びる実線と点線の距離を同じとしている。図９の（Ａ）及び（Ｂ）の左手側の図（左眼用画像）と右手側の図（左眼用画像）とを比べると、リンゴの後方に位置する石膏像の鼻の位置が、僅かではあるが相違している。また、図９の（Ａ）と（Ｂ）とを比べると、石膏像の鼻の位置の相違に関して、図９の（Ａ）に比べて、図９の（Ｂ）の方が少なくなっている。図示していないが、消光比＝１にあっては、リンゴの後方に位置する石膏像の鼻の位置は、左眼用画像と右眼用画像とでは同じであった。また、消光比１０（１０％クロストーク）にあっては、石膏像の鼻の位置の相違が、図９の（Ａ）に比べて少なく、図９の（Ｂ）に比べて多かった。以上の結果から、偏光子の消光比は３以上であることが望ましいことが判った。

実施例５も実施例１の変形である。実施例５にあっては、ワイヤグリッド偏光子の諸元と消光比の関係を計算から求めた。具体的には、ワイヤグリッド偏光子を構成するワイヤのピッチと入射光の波長（λ）と消光比の関係を図１０の（Ａ）に示す。尚、ワイヤの幅をワイヤのピッチの１／３とし、ワイヤの高さを１５０ｎｍとし、ワイヤの長さを無限大とした。図１０の（Ａ）において、曲線「Ａ」はピッチ１５０ｎｍの場合のデータであり、曲線「Ｂ」はピッチ１７５ｎｍの場合のデータであり、曲線「Ｃ」はピッチ２００ｎｍの場合のデータであり、曲線「Ｄ」はピッチ２５０ｎｍの場合のデータであり、曲線「Ｅ」はピッチ３００ｎｍの場合のデータである。また、ワイヤグリッド偏光子を構成するワイヤの高さと入射光の波長（λ）と消光比の関係を図１０の（Ｂ）に示す。尚、ワイヤの幅を５０ｎｍとし、ワイヤの長さを無限大とし、ワイヤのピッチを１５０ｎｍとした。図１０の（Ｂ）において、曲線「Ａ」は高さ２５０ｎｍの場合のデータであり、曲線「Ｂ」は高さ２００ｎｍの場合のデータであり、曲線「Ｃ」は高さ１５０ｎｍの場合のデータであり、曲線「Ｄ」は高さ１００ｎｍの場合のデータである。更に、ワイヤグリッド偏光子を構成するワイヤの（幅／ピッチ）と入射光の波長（λ）と消光比の関係を図１０の（Ｃ）に示す。尚、ワイヤの幅を５０ｎｍとし、ワイヤの高さを１５０ｎｍとし、ワイヤの長さを無限大とした。図１０の（Ｃ）において、曲線「Ａ」は（幅／ピッチ）の値が０．５０の場合のデータであり、曲線「Ｂ」は（幅／ピッチ）の値が０．３３の場合のデータである。

図１０の（Ａ）から、例えば、消光比を１０以上とするためには、ワイヤのピッチは２００ｎｍ以下であることが望ましく、ワイヤの高さは５×１０^-8ｍ（５０ｎｍ）以上であることが望ましく、ワイヤの（幅／ピッチ）の値は０．３３以上であることが望ましいことが判った。更には、ワイヤは１０本以上である構成とすることが好ましい。

また、２本のワイヤの長さと入射光の波長（λ）と消光比の関係を図１１に示す。尚、ワイヤの幅を５０ｎｍとし、ワイヤの高さを１５０ｎｍとし、ワイヤのピッチをワイヤの幅の３倍とした。図１１において、「Ａ」は長さ１μｍの場合のデータであり、「Ｂ」は長さ２μｍの場合のデータであり、「Ｃ」は長さ３μｍの場合のデータであり、「Ｄ」は長さ４μｍの場合のデータであり、「Ｅ」は長さ５μｍの場合のデータであり、「Ｆ」は長さ６μｍの場合のデータであり、「Ｇ」は長さ無限大の場合のデータである。図１１から、消光比を１０以上とするためには、ワイヤの長さを２μｍ以上、好ましくは３μｍ以上とすることが望ましいことが判った。更には、加工のし易さから、ワイヤを構成する材料を、アルミニウムあるいはアルミニウム合金とすることが望ましいことが判った。

実施例６も実施例１の変形である。実施例６の撮像装置におけるベイヤ配列を有する撮像素子アレイの概念図を図１２に示すが、第１画素群は１行の単位画素行から構成され、１画素に対して、１つの第３領域１５１及び１つの第４領域１５２が配されている。具体的には、１画素において、緑色を受光する２つの緑色撮像素子Ｇの一方に第３領域１５１を配し、他方に第４領域１５２を配し、しかも、Ｎ行（但し、Ｎ＝２ⁿであり、図示した例では、ｎ＝２）毎に選択された１行の単位画素行から構成された第１画素群における１画素に対して、１つの第３領域１５１及び１つの第４領域１５２が配されている。

あるいは又、実施例６の撮像装置の変形例におけるベイヤ配列を有する撮像素子アレイの概念図を図１３に示すが、第１の方向に沿って１つの画素に対して１つの第３領域１５１及び１つの第４領域１５２を配する。尚、Ｎ＝８である。また、第１画素群は２行の単位画素行から構成されている。但し、一方の単位画素行に２画素毎に第３領域１５１が配され、他方の単位画素行に２画素毎に第４領域１５２が配されている。一方の単位画素行において、第３領域１５１が配されていない撮像素子は第２撮像素子群に含まれ、他方の単位画素行においても、第４領域１５２が配されていない撮像素子は第２撮像素子群に含まれる。

以上の点を除き、実施例６の撮像装置を用いた撮像方法は、実施例１において、説明した撮像方法と同様とすることができるので詳細な説明は省略する。

以上、本発明を好ましい実施例に基づき説明したが、本発明はこれらの実施例に限定されるものではない。実施例において説明した撮像装置、撮像素子の構成、構造は例示であり、適宜、変更することができる。例えば、図１４の（Ａ）に模式的な一部断面図を図示するように、撮像素子４３Ａを、シリコン半導体基板６０に設けられた光電変換素子６１、並びに、その上に、第１平坦化膜６２、無機絶縁下地層６６、ワイヤグリッド偏光子６７、第２平坦化膜６５、カラーフィルタ６３、及び、オンチップレンズ６４が積層されて成る構成とすることもできる。あるいは又、図１４の（Ｂ）に模式的な一部断面図を図示するように、撮像素子４３Ａを、シリコン半導体基板６０に設けられた光電変換素子６１、並びに、その上に、第１平坦化膜６２、オンチップレンズ６４、第２平坦化膜６５、カラーフィルタ６３、無機絶縁下地層６６、及び、ワイヤグリッド偏光子６７が積層されて成る構成とすることもできる。撮像素子４３Ｂも、ワイヤグリッド偏光子６７を設けない点を除き、撮像素子４３Ａと同じ構成、構造とすることができる。また、撮像素子を、図示したような表面照射型としてもよいし、図示しないが、裏面照射型としてもよい。

本発明の撮像方法によって得られた右眼用画像データ及び右眼用画像データに基づき立体画像を表示するが、係る表示方式として、例えば、２台のプロジェクタに円偏光又は直線偏光フィルタを取り付けて左右眼用の画像をそれぞれ表示し、表示に対応した円偏光又は直線偏光眼鏡で画像を観察する方式、レンチキュラーレンズ方式、パララックスバリア方式を挙げることができる。尚、円偏光又は直線偏光眼鏡を使用することなく画像を観察すると、通常の２次元（平面）画像を観察することができる。また、以上に説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラムあるいはプログラムを記憶する記録媒体として捉えてもよい。記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disk）、メモリカード、ブルーレイディスク（Blu-ray Disc（登録商標））等を用いることができる。

ＰＧ₁・・・第１画素群、ＰＧ₂・・・第２画素群、１１０・・・撮像装置、１１・・・カメラ本体部、１２・・・画像処理手段、１３・・・画像記憶部、２０・・・レンズ系、２１・・・撮影レンズ、２２・・・絞り部、２３・・・結像レンズ、１３０，２３０，３３０・・・第１偏光手段、１３１，２３１，３３１・・・第１領域、１３２，２３２，３３２・・・第２領域、３３３・・・中央領域、４０・・・撮像素子アレイ、４１・・・第１撮像素子群、４２・・・第２撮像素子群、４３Ａ，４３Ｂ・・・撮像素子、１５０，２５０・・・第２偏光手段、１５１，２５１・・・第３領域、１５２，２５２・・・第４領域、６０・・・シリコン半導体基板、６１・・・光電変換素子、６２・・・第１平坦化膜、６３・・・カラーフィルタ、６４・・・オンチップレンズ、６５・・・第２平坦化膜、６６・・・無機絶縁下地層、６７，６７Ａ，６７Ｂ・・・ワイヤグリッド偏光子、６８，６８Ａ，６８Ｂ・・・ワイヤ

Claims (14)

1. 第１の方向に沿ってＭ₀個の画素から成る単位画素行が、第１の方向と直交する第２の方向に沿ってＮ₀行、配列されて成り、
   （Ａ）光学系、並びに、
   （Ｂ）各画素に対応して撮像素子が配列されて成り、光学系を通過した光を電気信号に変換する撮像素子アレイ、
   を具備した撮像装置を用いた撮像方法であって、
   Ｎ行（但し、２≦Ｎ）毎に選択された単位画素行を含む少なくとも１行の単位画素行から構成された画素群を、第１画素群とし、
   第１画素群における画素を構成する撮像素子を、第１撮像素子群とし、
   第１撮像素子群に含まれない撮像素子から構成された撮像素子群を、第２撮像素子群とし、
   第２撮像素子群から構成された画素から成る画素群を、第２画素群としたとき、
   立体画像を得るための視差情報を第１撮像素子群において取得し、画像を得るための画像情報を第２撮像素子群において取得し、
   取得された画像情報に基づき、第１画素群における視差情報を取得した画素において画像情報を得た後、視差情報及び全画素における画像情報から立体画像を得る撮像方法。
2. Ｎ＝２ⁿであり、ｎは１乃至５の自然数である請求項１に記載の撮像方法。
3. 光学系は、
   （ａ）被写体からの光を偏光させる第１偏光手段、及び、
   （ｂ）第１偏光手段からの光を集光するレンズ系、
   を備えており、
   第１撮像素子群は、光入射側に第２偏光手段を有し、レンズ系によって集光された光を電気信号に変換し、
   第２撮像素子群は、レンズ系によって集光された光を電気信号に変換し、
   第１偏光手段は、第１の方向に沿って配列された第１領域及び第２領域を有し、
   第１領域を通過した第１領域通過光の偏光状態と、第２領域を通過した第２領域通過光の偏光状態とは異なり、
   第２偏光手段は、第１の方向に延びる複数の第３領域及び第４領域を有し、
   第３領域を通過した第３領域通過光の偏光状態と、第４領域を通過した第４領域通過光の偏光状態とは異なり、
   第１領域通過光は第３領域を通過して第１撮像素子群に到達し、第２領域通過光は第４領域を通過して第１撮像素子群に到達し、以て、第１領域の重心点と第２領域の重心点との間の距離を両眼視差の基線長さとした視差情報を得る、請求項１又は請求項２に記載の撮像方法。
4. 第１偏光手段はレンズ系の絞り部近傍に配置されている請求項３に記載の撮像方法。
5. 第１偏光手段において、第１領域と第２領域との間には中央領域が設けられており、
   中央領域を通過した中央領域通過光の偏光状態は、中央領域入射前と変化しない請求項３又は請求項４に記載の撮像方法。
6. 第１領域及び第２領域は偏光子から成り、
   第１領域通過光の電場の向きと第２領域通過光の電場の向きとは直交している請求項３乃至請求項５のいずれか１項に記載の撮像方法。
7. 第１領域通過光の電場の向きは第１の方向と平行である請求項６に記載の撮像方法。
8. 第１領域通過光の電場の向きは第１の方向と４５度の角度を成す請求項６に記載の撮像方法。
9. 第１領域通過光の電場の向きと第３領域通過光の電場の向きとは平行であり、
   第２領域通過光の電場の向きと第４領域通過光の電場の向きとは平行である請求項６乃至請求項８のいずれか１項に記載の撮像方法。
10. 偏光子の消光比は３以上である請求項６乃至請求項９のいずれか１項に記載の撮像方法。
11. 第１撮像素子群を構成する撮像素子は、カラーフィルタ、オンチップレンズ、及び、ワイヤグリッド偏光子が積層されて成り、
    ワイヤグリッド偏光子が第３領域又は第４領域を構成する請求項６乃至請求項１０のいずれか１項に記載の撮像方法。
12. 第１撮像素子群を構成する撮像素子は、ワイヤグリッド偏光子、カラーフィルタ、及び、オンチップレンズが積層されて成り、
    ワイヤグリッド偏光子が第３領域又は第４領域を構成する請求項６乃至請求項１０のいずれか１項に記載の撮像方法。
13. ワイヤグリッド偏光子を構成する複数のワイヤの延びる方向は、第１の方向あるいは第２の方向と平行である請求項１１又は請求項１２に記載の撮像方法。
14. 撮像素子アレイはベイヤ配列を有し、１画素は４つの撮像素子から構成されており、
    １画素に対して、１つの第３領域及び／又は第４領域が配されている請求項３乃至請求項１３のいずれか１項に記載の撮像方法。