JP2013201466A - 立体画像撮像装置 - Google Patents

Abstract

【課題】視差のある複数の撮像データを同時にかつ容易に得ることができ、かつ、製造コストを抑えることが可能な立体画像撮像装置を提供する。
【解決手段】立体画像撮像装置１０は、単一の撮影光学系と撮影レンズ系を通った光を受光する単一の撮像素子１００とを有する。撮影光学系は、撮影レンズ系１２と絞り１６を含み、撮像素子１００は、撮影光学系の異なる瞳領域を通過した光を受光する、同一面に混在して配置された２種類の画素群を含み、２種類の画素群に属する画素は、同一面の水平方向Ｘとこれに直交する垂直方向Ｙに二次元状に配列され、立体画像を撮像する３Ｄモード時に絞り１６の開口１６ａの一部を遮蔽して撮像素子１００に入射する光を制限する液晶シャッタ１５を備え、液晶シャッタ１５は、撮像素子１００側から見た絞り１６の開口１６ａを、水平方向Ｘに均等に２分割するように開口１６ａの一部を遮蔽する。
【選択図】図９

Description

本発明は、立体画像を撮像可能な立体画像撮像装置に関する。

被写体の立体画像（三次元画像：以下、３Ｄ画像ともいう。）を撮像できる立体画像撮像装置が実際に普及し始め、テレビジョン装置やパーソナルコンピュータのモニタ装置も、立体画像を表示できるものが普及し始めている。

従来の立体画像撮像装置は、例えば下記の特許文献１，２に記載されている様に、２つの撮像部を装備し、各撮像部の撮影レンズ系をカメラ筐体前部の左右に並べて設けている。そして、右側の撮影レンズ系を通して右眼用の被写体画像を撮影し、左側の撮影レンズ系を通して左眼用の被写体画像を撮影している。

２つの撮像部を持つ複眼の立体画像撮像装置は、個々の撮像部が高価な撮影レンズ系や撮像素子を備えるため、単眼の二次元画像（平面画像：以下、２Ｄ画像ともいう。）を撮影するカメラに比べて撮像部のコストが倍になってしまう。

特許文献３では、右側の撮影レンズ系と左側の撮影レンズ系の２系統を持つが、撮像素子を共通化して１個で済む立体画像撮像装置を提案している。

この撮像素子の各画素（光電変換素子）は、その上方に設けられるマイクロレンズの一部が遮光されており、その遮光範囲が左右にずれていることで、右側の撮影レンズ系からの入射光のみを受光する右画素群と、左側の撮影レンズ系からの入射光のみを受光する左画素群とが構成されている。

この撮像素子では、右画素群から得られる画像データと左画素群から得られる画像データとが視差のある画像データとなるため、立体画像の撮像が可能となる。しかし、この立体画像撮像装置でも、撮影レンズ系を２つ有するために、撮像部のコストが高くなってしまう。

特許文献４では、撮影レンズ系も１系統とした立体画像撮像装置を提案している。

この立体画像撮像装置は、撮影レンズ系と撮像素子との間に設けられた光シャッタで瞳の開口位置を移動させながら複数回の撮像を行って、視差のある複数の画像データを得ている。また、特許文献４には、撮影レンズ系と撮像素子との間にマイクロレンズアレイを設けることで、１回の撮像により視差のある複数の画像データを得る方法も開示されている。

この立体画像撮像装置によれば、撮像部のコストを抑えることができる。しかし、複数の撮像データを１回の撮影で得るには、マイクロレンズアレイが必要であり、撮影レンズ系とマイクロレンズアレイを含めた光学系の設計が難しくなる。

特開２０１０−１１４５７７号公報 特開２００８−１６７０６６号公報 特開２００３−００７９９４号公報 特開平１０−０４２３１４号公報

本発明は、上記事情に鑑みてなされたものであり、視差のある複数の撮像データを同時にかつ容易に得ることができ、かつ、製造コストを抑えることが可能な立体画像撮像装置を提供することを目的とする。

本発明の立体画像撮像装置は、単一の撮影光学系と前記撮影光学系を通った光を受光する単一の撮像素子とを有する立体画像撮像装置であって、前記撮影光学系は、撮影レンズ系と絞りを含み、前記撮像素子は、前記撮影光学系の異なる瞳領域を通過した光を受光する２種類又は４種類の画素を含み、前記２種類又は４種類の画素は、平面視において水平方向とこれに直交する垂直方向に二次元状に配列され、前記絞りの開口の一部を遮蔽して前記撮像素子に入射する光を制限する遮蔽部であって、光軸方向に見た前記絞りの開口を、前記水平方向及び前記垂直方向の少なくとも一方に均等に２分割するように前記開口の一部を遮蔽する遮蔽部と、前記遮蔽部を制御して、前記遮蔽部によって遮蔽される前記開口の遮蔽領域の大きさを撮影条件に応じて変更する遮蔽領域変更制御部とを備えるものである。

本発明によれば、視差のある複数の撮像データを同時にかつ容易に得ることができ、かつ、製造コストを抑えることが可能な立体画像撮像装置を提供することができる。

本発明の一実施形態に係る単眼の立体画像撮像装置の外観斜視図 図１に示す立体画像撮像装置１０の機能ブロック図 図２に示す撮像素子１００の表面模式図 図３の各画素に積層されたカラーフィルタＲＧＢｒｇｂの配列だけを記載した図 各画素の上方にあるマイクロレンズ（円形）３８と遮光膜開口との位置関係を示す図 図５に示す遮光膜開口を有するＡ群の画素とＢ群の画素との間の視差を示す図 撮像素子１００のペア画素を構成する２つの画素の入射角感度特性を示す図 撮像素子１００のペア画素を構成する２つの画素の入射角感度特性を完全に分離する場合の特性を示す図 図２に示した立体画像撮像装置１０における撮影レンズ系１２、絞り１６、液晶シャッタ１５、及び撮像素子１００を斜めから見た斜視図 非透過領域１５ａを設けたことによる撮像素子１００のペア画素の入射角感度特性の変化を示す図 Ｆ値に応じて非透過領域１５ａの幅を変更することを説明する図 撮像素子１００により２Ｄ画像を撮影する場合の説明図 撮像素子１００のペア画素の画素加算後の入射角感度特性を示す図 図１に示した立体画像撮像装置１０の撮像動作を説明するためのフローチャート 図３に示した撮像素子の画素配列の変形例を示す図 図３に示した撮像素子の画素配列の別の変形例を示す図 マイクロレンズによる瞳分割の方法を例示する図 図２に代わる別実施形態の立体画像撮像装置２０の機能ブロック図 図１８に示す撮像素子２００の一例を示す表面模式図 図１９に示す画素４１のうち４×４＝１６画素を示す図 被写体としての木４９を示す図 木４９の画像を、図２０の画素Ａ〜Ｄを通して見たときの視点位置Ａ〜Ｄを示す図 図１８に示す立体画像撮像装置２０の縦撮り時と横撮り時における非透過領域１５ａの変化を示した図 図１８に示した立体画像撮像装置２０の撮像動作を説明するためのフローチャート 図１８に示した立体画像撮像装置２０における撮像素子２００の変形例である撮像素子３００の表面模式図 図２５に示す画素４１のうち４×４＝１６画素を示す図 木４９の画像を、図２６の画素Ａ〜Ｄを通して見たときの視点位置Ａ〜Ｄを示す図 デバイス制御部３１の制御の変形例を説明する図

以下、本発明の一実施形態について、図面を参照して説明する。

（第一実施形態）
図１は、本発明の一実施形態に係る単眼の立体画像撮像装置の外観斜視図である。この立体画像撮像装置１０は、カメラ筐体１１の前部に、単一の撮影レンズ系１２を収納するレンズ鏡筒１３が沈胴可能に取り付けられている。カメラ筐体１１の上面右端部にはシャッタレリーズボタン１４が設けられており、カメラ筐体１１の背部には、図１では図示しない表示部（図２の表示部２５）が設けられている。

図２は、図１に示す立体画像撮像装置１０の機能ブロック図である。撮影レンズ系１２の背部には、絞り（アイリス）１６が配置され、撮影レンズ系１２と絞り１６により撮影光学系を構成している。

絞り１６の背部には、詳細は後述する液晶シャッタ１５を介して、これも詳細は後述する撮像素子１００が配置されている。撮影レンズ系１２、絞り１６、及び液晶シャッタ１５をこの順に通って撮像素子１００の受光面に入射した被写体光像に対応する撮像画像信号が、アナログデジタル（ＡＤ）変換部１７でデジタルデータに変換され、バス１８に出力される。

バス１８には、この立体画像撮像装置１０の全体を統括制御する中央制御部（ＣＰＵ）２１と、シャッタレリーズボタン１４を含む操作ボタン等で構成される操作部２２と、ＤＳＰ等で構成されＣＰＵ２１の指示の基に撮像画像信号に対して周知の画像処理を施す画像処理部２３と、撮像画像信号を画像処理して得られた撮像画像データを表示用のデータに変換するビデオエンコーダ２４と、ビデオエンコーダ２４で変換された撮像画像データを表示部２５に表示するドライバ２６と、メモリ２７と、メディア制御部２８とが接続され、メディア制御部２８に着脱自在に記録媒体（メモリカード）２９が装着される。

表示部２５は、例えばスキャンバックライト方式の液晶表示部であり、右眼用画像データと左目用画像データとを表示して被写体の立体画像を表示することができる表示部となっている。

ＣＰＵ２１には、デバイス制御部３１が接続される。デバイス制御部３１は、ＣＰＵ２１からの指示に従い、撮像素子１００の駆動制御を行い、絞り１６の開口量調整制御を行い、液晶シャッタ１５の駆動制御を行い、撮影レンズ系１２のフォーカス位置制御やズーム位置制御を行う。

図３は、図２に示す撮像素子１００の表面模式図である。本実施形態の撮像素子１００は、半導体基板の表面部に、複数のフォトダイオード（光電変換素子：画素）３３が、平面視において水平方向Ｘとこれに直交する垂直方向Ｙに二次元アレイ状に配列形成されている。

図示する例では、奇数行の画素行に対して偶数行の画素行が１／２画素ピッチずつずらして形成された所謂ハニカム画素配列となっており、各画素の受光面面積を正方画素配列の場合より広くすることができる。

立体画像撮像装置１０では、図１に示すようにシャッタレリーズボタン１４が空側に向くように構えた状態で、水平方向Ｘと地面とが平行になる。

画素３３で構成される各画素列に沿って垂直電荷転送路（ＶＣＣＤ）３４が形成され、各垂直電荷転送路３４の転送方向端部に沿ってラインメモリ（ＬＭ）３５が形成されている。

ラインメモリ３５に並列に水平電荷転送路（ＨＣＣＤ）３６が形成され、水平電荷転送路３６の転送方向端部に、転送されてきた信号電荷の電荷量に応じた電圧値信号を撮像信号として出力するアンプ３７が設けられている。

垂直電荷転送路３４は、半導体基板内に形成された埋め込みチャネルと、半導体基板表面に形成された絶縁膜を介し前記埋め込みチャネル上に積層された多数の転送電極膜とで構成される。

ラインメモリ３５は、垂直電荷転送路３４毎の信号電荷一時蓄積用のバッファ３５ａを備え、例えば特開２００６―１５７６２４号公報に記載されている様に、垂直電荷転送路３４から送られてきた信号電荷を一時的に保持し、この信号電荷を水平電荷転送路３６に転送するときのタイミングを制御することで、水平方向Ｘの画素加算（信号電荷の混合）を行う機能を有する。

図３に示す「Ｒ」「ｒ」「Ｇ」「ｇ」「Ｂ」「ｂ」はカラーフィルタの色（Ｒ，ｒ＝赤、Ｇ，ｇ＝緑、Ｂ，ｂ＝青）を示している。Ｒ，ｒの色の区別はなく、Ｇ，ｇとＢ，ｂも同様である。

本実施形態の撮像素子１００では、奇数行の画素行にある全ての画素（以下、Ａ群ともいう）の上方にはＲＧＢのカラーフィルタがベイヤ配列され、偶数行の画素行にある全ての画素（以下、Ｂ群という）の上方にはｒｇｂのカラーフィルタがベイヤ配列されている。

図４は、図３の各画素に積層されたカラーフィルタＲＧＢｒｇｂの配列だけを記載した図である。同一面に平均的に混在して設けられるＡ群の画素とＢ群の画素は、各画素が１対１に対応して設けられるため、Ａ群の画素数，Ｂ群の画素数は同一となる。

図３の垂直転送電極Ｖ１〜Ｖ８のうち読出電極兼用転送電極Ｖ２に読出パルスを印加して…Ｂ□Ｇ□Ｂ□Ｇ□…の信号電荷を垂直電荷転送路３４に読み出し、これを２段分転送してから読出電極兼用転送電極Ｖ４に読出パルスを印加すると、上記の□位置にｇ，ｂ，ｇ，…の信号電荷が読み出され、１行分として、…ｂＢｇＧｂＢｇＧ…の信号電荷が並ぶことになる。これをラインメモリ３５まで転送し、上述したように水平電荷転送路への転送タイミングを制御することで、ｂ＋Ｂ，ｇ＋Ｇ，ｂ＋Ｂ，ｇ＋Ｇの同色の２画素加算を行うことが可能となる。

図３に示す各画素３３の上（カラーフィルタの上）には、夫々、マイクロレンズが積層され、また、各画素３３の受光面の上部（カラーフフィルタの下）には遮光膜開口が設けられるが、これらは、図３では図示を省略している。

図５は、各画素の上方にあるマイクロレンズ（円形）３８と遮光膜開口との位置関係を示す図である。Ａ群の画素においては、マイクロレンズ３８に対して、遮光膜開口３３ａを、マイクロレンズ中心に対して左側（被写体側から撮像素子１００を視た場合）に偏心して設けている。また、Ｂ群の画素においては、マイクロレンズ３８に対して、遮光膜開口３３ｂを、マイクロレンズ中心に対して右側に偏心して設けている。

Ａ群とＢ群とは、図３から分かる通り、画素ピッチの１／２だけ垂直方向Ｙ及び水平方向Ｘに互いにずれているため、同色画素（Ｒとｒ、Ｇとｇ、Ｂとｂ）が斜めに隣接する配置となっている。

斜めに最隣接する同色２画素をペア画素とした場合、図６に示す様に、ペア画素の一方の遮光膜開口３３ａは左側に偏心し、他方の遮光膜開口３３ｂは右側に偏心していることになる。

このように、ペア画素を構成する一方の画素と他方の画素とは、マイクロレンズ３８の中心に対して遮光膜開口が互いに逆方向にずれているため、撮影光学系を通して入射してくる同一被写体からの光の入射角が互いに逆方向となる様に制限されることになる。

この結果、撮像素子１００を用いて被写体を撮影した場合、遮光膜開口３３ａを通して受光されたＡ群の撮像画像信号は右眼で被写体を視たものとなり、遮光膜開口３３ｂを通して受光されたＢ群の撮像画像信号は左眼で被写体を視たものとなり、図６下段に示す様に、視差が生じることになる。

被写体のうちＡ群の画素とＢ群の画素で合焦する部分は、同じ位置で合焦状態となりＡ群の画素，Ｂ群の画素の夫々に結像する。被写体のうち合焦状態とならない部分はＡ群の画素（右眼画像）とＢ群の画素（左眼画像）で左右にずれた位置にボケ像が作られる。

このボケ像が、合焦距離に対する被写体距離の差に応じて左右のずれ量（視差）として変わってくるため、Ａ群の撮像画像信号とＢ群の撮像画像信号を左右の撮像画像信号とすることで、単一の撮影光学系と単一の撮像素子で、立体画像の撮像が可能となる。

立体画像を再生する場合、図２の画像処理部２３は、Ａ群の撮像画像信号から１枚の右眼用撮像画像データを生成しメモリカード２９に保存すると共に表示部２５に右眼用撮像画像データを表示させ、Ｂ群の撮像画像信号から１枚の左眼用撮像画像データを生成しメモリカード２９に保存すると共に表示部２５に左眼用撮像画像データを表示させ、被写体の立体画像を表示部２５に表示させる。

次に、ペア画素を構成する一方の画素と他方の画素の入射角感度特性（画素に入射してくる光の入射角毎の感度の特性）について詳しく説明する。

図７は、撮像素子１００のペア画素を構成する２つの画素の入射角感度特性を示す図である。図７において、符号ＴＬで示したものが遮光膜開口３３ａを上方に持つＡ群の画素の入射角感度特性であり、符号ＴＲで示したものが遮光膜開口３３ｂを上方に持つＢ群の画素の入射角感度特性である。符号Ｔ１で示したものは、例えば図５に示すＡ群の画素において、マイクロレンズ３８の中心と遮光膜開口３３ａの中心とを一致させた仮想的な画素の入射角感度特性である。

図７において横軸は入射角を示し、縦軸は感度を示している。入射角は、画素上方のマイクロレンズ３８の中心に垂直に光が入射するときを０°とし、当該中心に入射する光線が水平方向（ペア画素の瞳分割方向）に斜めに傾くほど、その角度が大きくなるものとしている。具体的には、マイクロレンズ３８の中心に入射する光線が水平方向右側に傾いていくと図７の横軸の右側の数値が増え、当該光線が水平方向左側に傾いていくと図７の横軸の左側の数値が増える。

図７に示したように、撮像素子１００のペア画素を構成する２つの画素の入射角感度特性は、略同一形状であり、かつ、それぞれの感度のピーク位置が縦軸から均等な距離だけ離れた位置にある。つまり、ペア画素を構成する２つの画素の入射角感度特性は、縦軸（入射角０°のときの感度の軸）に対して線対称の関係にある。そして、ペア画素を構成する２つの画素の入射角感度特性は、一方の画素の感度を持つ入射角範囲と他方の画素の感度を持つ入射角範囲とが重なり（図７中の符号Ｔ２で示した範囲）を持っている。

図７に示す波形ＴＲと横軸で囲まれた範囲が、撮影光学系の第一の瞳領域を通過する光の量に相当し、波形ＴＬと横軸で囲まれた範囲が、撮影光学系の第二の瞳領域を通過する光の量に相当し、波形Ｔ１と横軸で囲まれた範囲が、撮影光学系の第一の瞳領域と第二の瞳領域を含む第三の瞳領域を通過する光の量に相当する。つまり、ペア画素を構成する２つの画素は、撮影光学系のそれぞれ異なる瞳領域を通過した光を受光するように瞳分割されている。そして、ペア画素を構成する２つの画素の各々が受光する光の通過する瞳領域は、光軸付近において互いに重なりを有するように瞳分割がなされている。

Ａ群の撮像画像信号とＢ群の撮像画像信号とで良好な視差を得られるようにするには、図７に示した重なり範囲Ｔ２をゼロにして、ペア画素の一方の画素と他方の画素で入射角感度特性を完全に分離することが好ましい。

しかし、重なり範囲Ｔ２がゼロになるようにするには、遮光膜開口３３ａと遮光膜開口３３ｂの間の水平方向Ｘの距離を大きくする必要があり、これを実現するには遮光膜開口３３ａ，３３ｂを小さくする必要がある。この結果、重なり範囲Ｔ２をゼロにした場合のペア画素の入射角感度特性ＴＲ，ＴＬは図８に示したようになり、図７の場合よりもペア画素の感度が低下してしまう。

つまり、本実施形態の撮像素子１００は、感度を上げようとすると、良好な視差が得られにくくなり、逆に、良好な視差を得ようとすると、感度が低下するという課題を抱えている。

そこで、本実施形態の立体画像撮像装置１０は、撮像素子１００が、視差よりも感度を優先した図７に示した入射角感度特性を有し、撮像素子１００と絞り１６との間に設けた液晶シャッタ１５が、図７に示した入射角感度特性であっても良好な視差を得られるように、撮像素子１００に入射する光を制限している。

図９は、図２に示した立体画像撮像装置１０における撮影レンズ系１２、絞り１６、液晶シャッタ１５、及び撮像素子１００を斜めから見た斜視図である。

撮影レンズ系１２の背部に配置された絞り１６は、開口１６ａの大きさを変えることにより、その後方の撮像素子１００に入射させる光の量を調整する。

液晶シャッタ１５は、液晶分子への電圧の印加あるいは除去により液晶分子の配列変化を起こさせることにより、光の透過や遮断を行う。液晶シャッタ１５の液晶層は、光軸方向から見たときに、絞り１６の最大開口時の開口１６ａを覆う大きさとなっていればよい。

液晶シャッタ１５は、絞り１６を通過した光を透過する透過領域と、絞り１６を通過した光を透過させない非透過領域とを液晶層の任意の位置に形成することができる。

液晶シャッタ１５と絞りは近接して（理想的には接触して）配置されているため、図９に示すように、液晶シャッタ１５に形成される非透過領域１５ａによって、開口１６ａの一部（非透過領域１５ａとほぼ同じ面積の領域）が完全に遮蔽された状態になる。

本実施形態の立体画像撮像装置１０では、１回の撮像で立体画像を再生可能な形式の撮像画像データ（視差のある複数の撮像画像データ）を記録する３Ｄモード（立体撮影モード）時には、デバイス制御部３１が、光軸方向に見たときの開口１６ａを水平方向Ｘに均等に２分割するように、開口１６ａの一部を遮蔽するための非透過領域１５ａを液晶シャッタ１５に形成する。

非透過領域１５ａを形成することにより、ペア画素の入射角感度特性ＴＲ，ＴＬは図１０に示したようになる。

図１０において、符号Ｔ３で示した範囲は、非透過領域１５ａによって感度が得られなくなった入射角範囲である。この入射角範囲の横軸方向の幅を、図７に示す重なり範囲Ｔ２の横軸方向の幅と同じにすれば、重なり範囲Ｔ２を除去して、ペア画素の入射角感度特性を完全に分離することができる。このため、このような範囲Ｔ３が得られるように、非透過領域１５ａの水平方向Ｘの幅が設定される。

このように、非透過領域１５ａを形成することで、各画素の感度を図８に示した例よりも高くしながら、Ａ群とＢ群とで入射角感度特性を完全に分離することができる。しかも、その分離度合は、図８に示した場合よりも大きい。したがって、良好な視差と高感度を両立させた立体撮像が可能になる。

なお、図７に示した重なり範囲Ｔ２は、絞り値（Ｆ値）が任意の値であったときのものであり、Ｆ値が変化すれば、重なり範囲Ｔ２の幅も変化する。そこで、デバイス制御部３１は、絞り１６のＦ値に応じて、液晶シャッタ１５に形成する非透過領域１５ａの水平方向Ｘの幅を変更することが好ましい。

例えば、図１１に示すように、Ｆ値が小さいときは非透過領域１５ａの水平方向Ｘの幅を広くし、Ｆ値が大きいときは非透過領域１５ａの水平方向Ｘの幅を狭くする。つまり、デバイス制御部３１は、Ｆ値が大きいほど、非透過領域１５ａの水平方向Ｘの幅を狭くする。

このようにすることで、Ｆ値によらずに、常に良好な視差を得ることができる。

図１２は、撮像素子１００により２Ｄ画像を撮像する場合の説明図である。１回の撮像で１つの撮像画像データを記録する２Ｄモード（平面撮影モード）時、デバイス制御部３１は液晶シャッタ１５に非透過領域１５ａを形成せずに撮像を行い、Ａ群とＢ群のペアとなる同色２画素の撮像信号を画素加算して撮像素子１００から出力させる。

図１２に長円で示すペア画素の信号電荷を、上述した図３のラインメモリ３５を用いて画素加算（信号電荷同士を加算）してから撮像信号に変換して出力することで、ペア画素の撮像信号同士を加算したのに相当する撮像信号を、ペアの総数と同じ数だけ得ることができ、これら撮像信号の集合である撮像画像信号を処理して２Ｄの撮像画像データを得ることが可能となる。

若しくは、Ａ群の全画素の撮像画像信号を読み出し、Ｂ群の全画素の撮像画像信号を読み出し、画像処理部２３で、ペア画素から得られた撮像信号の画素加算（撮像信号同士を加算）を行い、画素加算後の撮像画像信号を処理して２Ｄの撮像画像データを得ることもできる。

Ａ群の撮像画像信号とＢ群の撮像画像信号は、左右のボケ画像の位置がＡ群とＢ群でずれるため、これを２Ｄ画像として表示すると偽解像が生じる。しかし、実施形態の様に画素加算（撮像素子１００内で信号電荷の状態で加算する場合と画像処理部２３内で撮像信号の状態で加算する場合を含む）を行うと、ボケ部分が加算によって合成され、Ａ群、Ｂ群画素の区別のない１枚の２Ｄ画像となり、高品質な２Ｄ画像を取得することが可能となる。

また、２Ｄモード時には、液晶シャッタ１５の全面が透過領域となるため、ペア画素の画素加算後の入射角感度特性は図１３の符号Ｔ４に示したようになり、デフォーカス像が分離せず、高品質な２Ｄ画像を取得することが可能となる。

また、実施形態の撮像素子１００では、図３，図４のカラーフィルタ配列をとっているため、Ａ群の撮像画像信号とＢ群の撮像画像信号を画素加算した後の２Ｄの撮像画像信号の色配列はベイヤ配列となり、既存のベイヤ配列用の画像処理技術を利用可能となり、画像処理が容易となる。

図１４は、図１に示した立体画像撮像装置１０の撮像動作を説明するためのフローチャートである。なお、動作開始前では、液晶シャッタ１５は全面が透過状態になっているものとして説明する。

動作を開始すると、ＣＰＵ２１が、撮影モードが３Ｄモードか２Ｄモードかを判定する（ステップＳ１）。

撮影モードが３Ｄモードであった場合はステップＳ２に進む。撮影モードが２Ｄモードであった場合はステップＳ７に進む。

ステップＳ２では、ＣＰＵ２１が、撮像素子１００により仮撮像を行い、仮撮像によって得られた撮像画像信号に基づいてＡＥ・ＡＦ処理を行い、Ｆ値、シャッタ速度、撮影レンズ系１２のフォーカス位置を決定する。なお、仮撮像で撮像素子１００から読み出す撮像画像信号は、Ａ群とＢ群の２種類の画素群のうちのいずれか一方とすることで、ＡＥ・ＡＦ処理に要する時間を短縮することができる。

ステップＳ２の後、ＣＰＵ２１は、デバイス制御部３１を介して、液晶シャッタ１５に非透過領域１５ａを形成する（ステップＳ３）。この非透過領域１５ａの水平方向Ｘの幅は、ステップＳ２で決定したＦ値に応じた幅に設定する。

ステップＳ３の後、ユーザから撮像指示があると、ＣＰＵ２１は、ステップＳ２で決定したＦ値、シャッタ速度、フォーカス位置にしたがって撮像素子１００により本撮像を行う（ステップＳ４）。

本撮像を終了すると、ＣＰＵ２１は、Ａ群から撮像画像信号を読み出し、Ｂ群から撮像画像信号を読み出す（ステップＳ５）。

読み出された撮像画像信号は、画像処理部２３で処理されて、Ａ群の撮像画像信号から右眼用撮像画像データが生成され、Ｂ群の撮像画像信号から左眼用撮像画像データが生成されて、これらがメモリカード２９に記録されると共に、こられが表示部２５に立体表示される（ステップＳ６）。

ステップＳ７では、ＣＰＵ２１が、撮像素子１００により仮撮像を行い、仮撮像によって得られた撮像画像信号に基づいてＡＥ・ＡＦ処理を行い、Ｆ値、シャッタ速度、撮影レンズ系１２のフォーカス位置を決定する。

ステップＳ７の後、ＣＰＵ２１は、液晶シャッタ１５の全面を透過状態にしたまま、決定したＦ値、シャッタ速度、フォーカス位置にしたがって撮像素子１００により本撮像を行う（ステップＳ８）。

本撮像を終了すると、ＣＰＵ２１は、Ａ群とＢ群のペア画素となる同色２画素の撮像信号を画素加算して撮像素子１００から出力させる（ステップＳ９）。

撮像素子１００から出力された画素加算後の撮像画像信号は、画像処理部２３で処理されて、２Ｄの撮像画像データが生成され、この２Ｄの撮像画像データがメモリカード２９に記録されると共に、表示部２５に２Ｄ表示される（ステップＳ１０）。

以上のような動作により、高画質の２Ｄの撮像画像データと、高画質の３Ｄの撮像画像データを得ることができる。この立体画像撮像装置１０によれば、単一の光学系と単一の撮像素子で立体撮像を行うことができるため、製造コストを抑えられると共に、１回の撮影で視差のある２つの撮像画像データを同時に得ることができる。また、この立体画像撮像装置１０によれば、特許文献４に記載のようなマイクロレンズアレイを用いる必要がなく、光学系の設計が容易となる。

なお、３Ｄモード時に液晶シャッタ１５に形成する非透過領域１５ａの水平方向Ｘの幅は、Ｆ値以外の情報に応じて決定してもよい。例えば、撮影距離（被写体距離）に応じて非透過領域１５ａの幅を決定してもよい。または、撮影レンズ系１２が焦点距離を可変なものである場合には、その焦点距離に応じて、非透過領域１５ａの幅を決定してもよい。

無限遠の遠景の風景画像を撮影する場合は、ペア画素で感度特性が分離しにくくなり、近景の画像を撮影する場合は、ペア画素で感度特性が分離しやすくなる。このため、撮影距離が近いときは感度を優先して、非透過領域１５ａの幅を狭くすることが有効となる。一方、撮影距離が遠い場合は、視差を優先して、非透過領域１５ａの幅を広くすることが有効となる。以上のことから、デバイス制御部３１は、撮影距離が遠いほど非透過領域１５ａの幅を広くすることが好ましい。

また、焦点距離が短い場合は、ペア画素で感度特性が分離しにくくなり、焦点距離が長い場合は、ペア画素で感度特性が分離しやすくなる。このため、焦点距離が長いときは、感度を優先して非透過領域１５ａの幅を狭くすることが有効となる。一方、焦点距離が短いときは、視差を優先して非透過領域１５ａの幅を広くすることが有効となる。以上のことから、デバイス制御部３１は、焦点距離が短いほど非透過領域１５ａの幅を広くすることが好ましい。

また、撮影シーンに応じて非透過領域１５ａの水平方向Ｘの幅を決定してもよい。

夜景等の暗いシーン（被写体の明るさが閾値以下のシーン）では、高感度が求められるため、感度優先（非透過領域１５ａの幅を狭くする）とし、それ以外のシーンでは視差優先（非透過領域１５ａの幅を広くする）とすることで、撮影シーンに応じて最適な画質を得ることが可能となる。

なお、暗いシーンのときには、非透過領域１５ａの幅をゼロにして高感度化を目指してもよい。

非透過領域１５ａの水平方向Ｘの幅は、Ｆ値、撮影距離、焦点距離、及び撮影シーンのいずれか単独に応じて決めてもよいし、撮影距離又は焦点距離とＦ値及び撮影シーンのいずれかとを考慮して決めてもよい。

例えば、撮影距離又は焦点距離に応じて重なり範囲Ｔ２が無くなるように非透過領域１５ａの幅を設定した後、Ｆ値に応じて非透過領域１５ａの幅を調整してもよい。または、撮影距離又は焦点距離に応じて重なり範囲Ｔ２が無くなるように非透過領域１５ａの幅を設定した後、撮影シーンに応じて非透過領域１５ａの幅を調整してもよい。または、撮影距離又は焦点距離とＦ値との組み合わせ毎に非透過領域１５ａの幅を記憶しておき、組み合わせが決まったときに、その組み合わせに応じた幅に設定してもよい。同様に、撮影距離又は焦点距離と撮影シーンとの組み合わせ毎に非透過領域１５ａの幅を記憶しておき、組み合わせが決まったときに、その組み合わせに応じた幅に設定してもよい。

また、上述した実施形態では、電荷結合素子（ＣＣＤ）を信号読出回路とした撮像素子１００を説明したが、信号読出回路がＣＭＯＳ型等のトランジスタ回路を用いた撮像素子も適用可能である。

また、図３，図４で説明した実施形態では、奇数行の画素が偶数行の画素に対して１／２画素ピッチずつずらした画素配列（所謂、ハニカム画素配列）となっているが、画素配列が正方配列であっても良い。

図１５は、図３に示した撮像素子の画素配列の変形例を示す図である。図１５において、カラーフィルタに対応する文字（Ｒ、Ｇ、Ｂ）を付したブロックがＡ群の画素であり、カラーフィルタに対応する文字（ｒ、ｇ、ｂ）を付したブロックがＢ群の画素である。図１５に示した例では、Ａ群を画素ピッチの１／２水平方向にずらした位置にＢ群が存在し、水平方向に隣接する同色２画素をペア画素としている。

図１６は、図３に示した撮像素子の画素配列の別の変形例を示す図である。図１６において、カラーフィルタに対応する文字（Ｒ、Ｇ、Ｂ）を付したブロックがＡ群の画素であり、カラーフィルタに対応する文字（ｒ、ｇ、ｂ）を付したブロックがＢ群の画素である。図１６に示した例では、Ａ群を画素ピッチの１／２垂直方向にずらした位置にＢ群が存在し、垂直方向に隣接する同色２画素をペア画素としている。

図１５，１６に示した画素配列であっても、高画質の２Ｄ及び３Ｄの撮像画像データを得ることができる。

また、上述した実施形態では、図５に示したように、ペア画素の遮光膜開口を互いに左右の反対方向に偏心させることで、ペア画素を瞳分割して視差のある２つの撮像画像信号を得られるようにしている。しかし、瞳分割は、遮光膜開口を偏心させなくても実現できる。

例えば、図１７（ａ）に平面図を示し、図１７（ｂ）に断面図を示すように、ペア画素５１ａ，５１ｂの遮光膜５２の開口５２ａを各画素５１ａ，５１ｂの受光面全面で開口させる。更に、ペア画素５１ａ，５１ｂに対して、長円（楕円）形の１つのマイクロレンズ５３を搭載し、同一被写体からの入射角の異なる入射光（撮影光学系の異なる瞳領域を通過した光）がペア画素５１ａ，５１ｂの夫々に入射されるようにすればよい。

（第二実施形態）
図１８は、図２に代わる別実施形態の立体画像撮像装置２０の機能ブロック図である。図２に示す立体画像撮像装置１０と基本構成は同じであり、撮像素子１００を撮像素子２００に変更し、姿勢センサ３０を追加した点が異なるだけのため、同一部材には同一符号を付してその説明は省略する。

姿勢センサ３０は、立体画像撮像装置２０の姿勢を検知するものであり、例えばジャイロセンサで構成される。

図１９は、図１８に示す撮像素子２００の一例を示す表面模式図である。なお、この例ではＣＣＤ型のイメージセンサを例示するが、ＣＭＯＳ型イメージセンサでも良い。

図１９に示す撮像素子２００は、半導体基板の受光面に水平方向Ｘとこれに直交する垂直方向Ｙに二次元アレイ状、図示の例では正方格子状に複数の画素４１が配列形成され、各画素列に沿って垂直電荷転送路（ＶＣＣＤ）４２が形成される。

各垂直電荷転送路４２の転送方向端部に沿ってラインメモリ４３が形成され、ラインメモリ４３に並列に水平電荷転送路（ＨＣＣＤ）４４が形成され、水平電荷転送路４４の出力端部に、転送されてきた信号電荷量に応じた電圧値信号を撮像信号として出力するアンプ４５が設けられている。

立体画像撮像装置２０は、横撮り状態（図１に示した状態）で撮像素子２００の水平方向Ｘが地面と平行になり、縦撮り状態（図１に示す状態から立体画像撮像装置を９０度回転させた状態）で、撮像素子２００の垂直方向Ｙが地面と平行になる。

ラインメモリ４３は、垂直電荷転送路４２毎の信号電荷一時蓄積用のバッファ４３ａを備え、例えば特開２００６―１５７６２４号公報に記載されている様に、垂直電荷転送路４２から送られてきた信号電荷を一時的に保持し、この信号電荷を水平電荷転送路４４に転送するときのタイミングを制御することで、水平方向の画素加算（信号電荷の混合）を行う機能を有する。

図中の各画素４１上に記載した「Ｒ」「Ｇ」「Ｂ」はカラーフィルタの色（Ｒ＝赤、Ｇ＝緑、Ｂ＝青）を表している。本実施形態の撮像素子２００では、縦横に隣接する４画素を１組として、組内の４画素に同一色のカラーフィルタを積層している。そして、各組毎の色配列が全体としてベイヤ配列となるようにカラーフィルタを配列している。

そして、図１９に示す４画素１組の夫々の上部に、破線円で示すマイクロレンズ４７を設けている。この結果、１組の４画素は、それぞれ、撮影光学系の異なる瞳領域を通過する光を受光する。各組内の４画素のうち、隣接する２つの画素（水平方向に隣接する２画素、垂直方向に隣接する２画素）は、それぞれの入射角感度特性が図７に示したように、瞳分割方向において線対称でかつ重なり範囲Ｔ２を有している。

図２０は、図１９に示す画素４１のうち４×４＝１６画素を示す図であり、４つの組と夫々の瞳分割用のマイクロレンズ４７を示している。各組の４画素の中央に記載したＲ，Ｇ，Ｂがカラーフィルタの色を表し、各組の４画素のうち左斜め上を画素Ａ，右斜め上を画素Ｂ，左斜め下を画素Ｃ，右斜め下を画素Ｄとする。画素Ａの総数、画素Ｂの総数、画素Ｃの総数、画素Ｄの総数は、それぞれ同じである。

図２１は、被写体としての木４９を示している。図２１の紙面の手前側に撮影者の目が存在し、各組の４画素を通して被写体の木４９を見た場合、図２２に示す様に、全ての組の画素Ａは木４９を左斜め上（視点Ａ）から見た撮像画像信号を取得し、全ての組の画素Ｂは木４９を右斜め上（視点Ｂ）から見た撮像画像信号を取得し、全ての組の画素Ｃは木４９を左斜め下（視点Ｃ）から見た撮像画像信号を取得し、全ての組の画素Ｄは木４９を右斜め下（視点Ｄ）から見た撮像画像信号を取得することになる。

第二実施形態の立体画像撮像装置２０は、縦撮りと横撮りのどちらでも、立体画像を良好に撮像することができる。

例えば、横撮りの場合は、撮像素子２００の各組において、画素Ａの撮像信号と画素Ｃの撮像信号を画素加算し、画素Ｂの撮像信号と画素Ｄの撮像信号を画素加算して、全ての組から撮像画像信号（Ａ＋Ｃ）と撮像画像信号（Ｂ＋Ｄ）を読み出す。

この画素加算は、撮像素子２００内で行ってもよいし、画像処理部２３内で行ってもよい。画像処理部２３は、読み出した撮像画像信号（Ａ＋Ｃ）を処理して左眼用撮像画像データを生成し、読み出した撮像画像信号（Ｂ＋Ｄ）を処理して右眼用撮像画像データを生成する。

一方、立体画像撮像装置２０を右に９０度回転させて行う縦撮りの場合は、撮像素子２００の各組において、画素Ｃの撮像信号と画素Ｄの撮像信号を画素加算し、画素Ａの撮像信号と画素Ｂの撮像信号を画素加算して、全ての組から撮像画像信号（Ｃ＋Ｄ）と撮像画像信号（Ａ＋Ｂ）を読み出す。

画像処理部２３は、読み出した撮像画像信号（Ｃ＋Ｄ）を処理して左眼用撮像画像データを生成し、読み出した撮像画像信号（Ａ＋Ｂ）を処理して右眼用撮像画像データを生成する。

また、立体画像撮像装置２０を左に９０度回転させて行う縦撮りの場合は、撮像素子２００の各組において、画素Ａの撮像信号と画素Ｂの撮像信号を画素加算し、画素Ｃの撮像信号と画素Ｄの撮像信号を画素加算して、全ての組から撮像画像信号（Ａ＋Ｂ）と撮像画像信号（Ｃ＋Ｄ）を読み出す。

画像処理部２３は、読み出した撮像画像信号（Ａ＋Ｂ）を処理して左眼用撮像画像データを生成し、読み出した撮像画像信号（Ｃ＋Ｄ）を処理して右眼用撮像画像データを生成する。

このように、横撮りのときは、２つの撮像画像データの視差のつく方向が水平方向Ｘになり、縦撮りのときは、２つの撮像画像データの視差のつく方向が垂直方向Ｙになる。このため、第一実施形態では固定となっていた、液晶シャッタ１５に形成する非透過領域１５ａの伸びる方向を、第二実施形態の立体画像撮像装置２０においては、縦撮りと横撮りとで切り替える必要がある。

横撮りの場合は、図２２に示した画素Ａと画素Ｂで感度特性を分離し、画素Ｃと画素Ｄで感度特性を分離する必要がある。

そこで、立体画像撮像装置２０のデバイス制御部３１は、横撮りの場合は、図２３のＦＩＧ２３Ａに示したように、開口１６ａを水平方向Ｘに均等に２分割するように、垂直方向Ｙに伸びる非透過領域１５ａを液晶シャッタ１５に形成する。

一方、縦撮りの場合は、図２２に示した画素Ａと画素Ｃで感度特性を分離し、画素Ｂと画素Ｄで感度特性を分離する必要がある。

そこで、立体画像撮像装置２０のデバイス制御部３１は、縦撮りの場合は、図２３のＦＩＧ２３Ｂに示したように、開口１６ａを垂直方向Ｙに均等に２分割するように、水平方向Ｘに伸びる非透過領域１５ａを液晶シャッタ１５に形成する。

縦撮りか横撮りかの判断は、姿勢センサ３０からの状態に基づいてＣＰＵ２１が行う。

図２４は、図１８に示した立体画像撮像装置２０の撮像動作を説明するためのフローチャートである。

動作を開始すると、ＣＰＵ２１が、撮影モードが３Ｄモードか２Ｄモードかを判定する（ステップＳ２１）。

撮影モードが３Ｄモードであった場合はステップＳ２２に進み、撮影モードが２Ｄモードであった場合はステップＳ２９に進む。

ステップＳ２２では、ＣＰＵ２１が、撮像素子２００により仮撮像を行い、仮撮像によって得られた撮像画像信号に基づいてＡＥ・ＡＦ処理を行い、Ｆ値、シャッタ速度、撮影レンズ系１２のフォーカス位置を決定する。

なお、仮撮像で撮像素子２００から読み出す撮像画像信号は、画素Ａからなる画素群、画素Ｂからなる画素群、画素Ｃからなる画素群、及び画素Ｄからなる画素群の４種類の画素群のうちのいずれか１つとすることで、ＡＥ・ＡＦ処理に要する時間を短縮することができる。

ステップＳ２２の後、ＣＰＵ２１は、姿勢センサ３０からの情報に基づいて、立体画像撮像装置２０の姿勢を判定する（ステップＳ２３）。

立体画像撮像装置２０の姿勢が縦撮りを行う姿勢であった場合はステップＳ２４に進み、立体画像撮像装置２０の姿勢が横撮りを行う姿勢であった場合はステップＳ２５に進む。

ステップＳ２４では、ＣＰＵ２１が、デバイス制御部３１を介して、液晶シャッタ１５に、図２３のＦＩＧ２３Ｂに示したような水平方向Ｘに伸びる非透過領域１５ａを形成する。

この非透過領域１５ａの垂直方向Ｙの幅は、第一実施形態で説明したように、Ｆ値、撮影距離、焦点距離、撮影シーンに応じて決めることができる。

ステップＳ２５では、ＣＰＵ２１が、デバイス制御部３１を介して、液晶シャッタ１５に、図２３のＦＩＧ２３Ａに示したような垂直方向Ｙに伸びる非透過領域１５ａを形成する。

この非透過領域１５ａの水平方向Ｘの幅は、第一実施形態で説明したように、Ｆ値、撮影距離、焦点距離、撮影シーンに応じて決めることができる。

ステップＳ２４，Ｓ２５の後、ユーザから撮像指示があると、ＣＰＵ２１は、ステップＳ２２で決定したＦ値、シャッタ速度、フォーカス位置にしたがって撮像素子２００により本撮像を行う（ステップＳ２６）。

本撮像を終了すると、ＣＰＵ２１は、撮像素子２００から撮像画像信号を読み出す（ステップＳ２７）。

読み出された撮像画像信号は、画像処理部２３で処理されて、右眼用撮像画像データと左眼用撮像画像データが生成されて、これらがメモリカード２９に記録されると共に、こられが表示部２５に立体表示される（ステップＳ２８）。

撮影モードが２Ｄモードであった場合に進むステップＳ２９では、ＣＰＵ２１が、撮像素子２００により仮撮像を行い、仮撮像によって得られた撮像画像信号に基づいてＡＥ・ＡＦ処理を行い、Ｆ値、シャッタ速度、撮影レンズ系１２のフォーカス位置を決定する。

ステップＳ２９の後、ＣＰＵ２１は、液晶シャッタ１５の全面を透過状態にしたまま、決定したＦ値、シャッタ速度、フォーカス位置にしたがって撮像素子２００により本撮像を行う（ステップＳ３０）。

本撮像を終了すると、ＣＰＵ２１は、組内の全ての画素の撮像信号を撮像素子２００内部で画素加算し、全ての組から撮像画像信号（Ａ＋Ｂ＋Ｃ＋Ｄ）を出力させる（ステップＳ３１）。

撮像素子２００から出力された撮像画像信号（Ａ＋Ｂ＋Ｃ＋Ｄ）は、画像処理部２３で処理されて、２Ｄの撮像画像データが生成され、この２Ｄの撮像画像データがメモリカード２９に記録されると共に、表示部２５に２Ｄ表示される（ステップＳ３２）。

以上のような動作により、高画質の２Ｄの撮像画像データと、高画質の３Ｄの撮像画像データを得ることができる。また、３Ｄモード時には、縦撮り、横撮りのどちらであっても、高画質の３Ｄの撮像画像データを得ることができる。

図２５は、図１８に示した立体画像撮像装置２０における撮像素子２００の変形例である撮像素子３００の表面模式図である。この例ではＣＣＤ型イメージセンサであるが、ＣＭＯＳ型イメージセンサでも良い。

図２５に示した撮像素子３００では、奇数行の画素行に対して偶数行の画素行が１／２画素ピッチずつずらして配列されており、各画素列に沿って形成される垂直電荷転送路（ＶＣＣＤ）４２が、各画素４１を避けるように蛇行して設けられている点が図１９と異なるだけであるため、図１９と同一部材には同一符号を付してその説明は省略する。

撮像素子３００でも４画素１組として同一色のカラーフィルタが積層されている。

１組を構成する最隣接４画素の画素配列は、図２６に示す様に４画素で構成される正方形を菱形状に配置して配列した構成となっており、１組毎に１つのマイクロレンズ４７と同色カラーフィルタが積層される。

菱形状配列の左角に設けられる画素Ａと、上角に設けられる画素Ｂと、下角に設けられる画素Ｃと、右角に設けられる画素Ｄとが１つのマイクロレンズ下に設けられることで、瞳分割が行われる。

画素Ａと画素Ｄ、画素Ｃと画素Ｂは、それぞれ、横軸を瞳分割方向として、図７に示したような入射角感度特性を有している。

図２７は、木４９の画像を、図２６の画素Ａ〜Ｄを通して見たときの視点位置Ａ〜Ｄを示す図である。視点Ａ（画素Ａ）は被写体４９を若干左側から見ることになり、視点Ｂ（画素Ｂ）は被写体４９を若干上側から見ることになり、視点Ｃ（画素Ｃ）は被写体４９を若干下側から見ることになり、視点Ｄ（画素Ｄ）は被写体４９を若干右側から見ることになる。

このような撮像素子３００を搭載する立体画像撮像装置２０は、次のようにして右眼用撮像画像データと左眼用撮像画像データを生成する。

例えば、横撮りの場合は、全ての画素Ａから撮像画像信号（Ａ）を読出し、全ての画素Ｄから撮像画像信号（Ｄ）を読み出す。

画像処理部２３は、読み出した撮像画像信号（Ａ）を処理して左眼用撮像画像データを生成し、読み出した撮像画像信号（Ｄ）を処理して右眼用撮像画像データを生成する。

一方、立体画像撮像装置２０を左に９０度回転させて行う縦撮りの場合は、全ての画素Ｂから撮像画像信号（Ｂ）を読出し、全ての画素Ｃから撮像画像信号（Ｃ）を読み出す。

画像処理部２３は、読み出した撮像画像信号（Ｂ）を処理して左眼用撮像画像データを生成し、読み出した撮像画像信号（Ｃ）を処理して右眼用撮像画像データを生成する。

また、立体画像撮像装置２０を右に９０度回転させて行う縦撮りの場合は、全ての画素Ｃから撮像画像信号（Ｃ）を読出し、全ての画素Ｂから撮像画像信号（Ｂ）を読み出す。

画像処理部２３は、読み出した撮像画像信号（Ｃ）を処理して左眼用撮像画像データを生成し、読み出した撮像画像信号（Ｂ）を処理して右眼用撮像画像データを生成する。

撮像素子３００の場合でも、デバイス制御部３１は、横撮りの場合は図２３のＦＩＧ２３Ａに示したように非透過領域１５ａを形成し、縦撮りの場合は図２３のＦＩＧ２３Ｂに示したように非透過領域１５ａを形成する。

図１９の撮像素子２００と図２５の撮像素子３００が画素数同一でチップサイズも同一とすると、図２６の撮像素子３００の水平方向（画素Ａ―画素Ｄ間）の視差が、図２０の撮像素子２００の水平方向（画素Ａ―画素Ｂ間、画素Ｃ―画素Ｄ間）の視差より広くとれ、立体画像のデータとして有利となる。

図１９に示した撮像素子２００を用いた場合は、次のようにして３つの３Ｄ画像データを１回の撮像で得ることも可能である。

例えば、図２０に示した画素Ａの撮像画像信号と画素Ｃの撮像画像信号を加算した撮像画像信号に基づく右眼用撮像画像データ（Ａ＋Ｃ）と、画素Ｂの撮像画像信号と画素Ｄの撮像画像信号を加算した撮像画像信号に基づく左眼用撮像画像データ（Ｂ＋Ｄ）とから１つの３Ｄ撮像画像データ（Ａ＋Ｃ：Ｂ＋Ｄ）を生成し、画素Ａの撮像画像信号と画素Ｂの撮像画像信号を加算した撮像画像信号に基づく右眼用撮像画像データ（Ａ＋Ｂ）と、画素Ｃの撮像画像信号と画素Ｄの撮像画像信号を加算した撮像画像信号に基づく左眼用撮像画像データ（Ｃ＋Ｄ）とから１つの３Ｄ撮像画像データ（Ａ＋Ｂ：Ｃ＋Ｄ）を生成し、画素Ｃの撮像画像信号と画素Ｄの撮像画像信号を加算した撮像画像信号に基づく右眼用撮像画像データ（Ｃ＋Ｄ）と、画素Ａの撮像画像信号と画素Ｂの撮像画像信号を加算した撮像画像信号に基づく左眼用撮像画像データ（Ａ＋Ｂ）とから１つの３Ｄ撮像画像データ（Ｃ＋Ｄ：Ａ＋Ｂ）を生成することができる。

本撮像時には、３Ｄ撮像画像データ（Ａ＋Ｃ：Ｂ＋Ｄ）と３Ｄ撮像画像データ（Ａ＋Ｂ：Ｃ＋Ｄ）と３Ｄ撮像画像データ（Ｃ＋Ｄ：Ａ＋Ｂ）を生成して記録しておい、再生時には、ユーザの視点に応じて、これらのいずれかを再生することで、ユーザの視点の変化に対応した３Ｄ画像の再生が可能になる。

例えば、ユーザの視点（右眼と左眼を結ぶ線の方向）が水平方向であった場合は、水平方向に視差を持つ３Ｄ撮像画像データ（Ａ＋Ｃ：Ｂ＋Ｄ）を再生することで、ユーザは、問題なく立体視を行うことができる。

また、ユーザの視点が垂直方向であった場合は、垂直方向に視差を持つ３Ｄ撮像画像データ（Ａ＋Ｂ：Ｃ＋Ｄ）又は３Ｄ撮像画像データ（Ｃ＋Ｄ：Ａ＋Ｂ）を再生することで、ユーザは、問題なく立体視を行うことができる。

このような機能を立体画像撮像装置２０に持たせる場合、デバイス制御部３１は、３Ｄモード時において、図２８に示すように、開口１６ａを水平方向Ｘ及び垂直方向Ｙに均等に４分割するように、液晶シャッタ１５の液晶層に非透過領域１５ｂを形成する。

このようにすることで、３Ｄ撮像画像データ（Ａ＋Ｃ：Ｂ＋Ｄ）、３Ｄ撮像画像データ（Ａ＋Ｂ：Ｃ＋Ｄ）、３Ｄ撮像画像データ（Ｃ＋Ｄ：Ａ＋Ｂ）のいずれも、良好な視差を得ることができる。

なお、図２５に示した撮像素子３００を用いた場合でも、デバイス制御部３１が同様の制御を行うことで、良好な視差を持つ３つの３Ｄ撮像画像データを１回の撮像で得ることができる。

なお、３つの３Ｄ撮像画像データは、本撮像終了後、メモリカード２９に記録する前に生成してしまってもよいし、本撮像時には４つの視点の撮像画像データをメモリカード２９に記録し、再生時に、ユーザの視点に応じた３Ｄ撮像画像データを生成して、表示させるようにしてもよい。

これまでの説明では、液晶シャッタ１５によって絞り１６の開口１６ａの一部を遮蔽するものとしたが、これに限らない。

例えば、黒塗料を塗った部材を絞り１６と撮像素子１００（２００、３００）との間に出し入れ可能とし、３Ｄモード時には、デバイス制御部３１が、この部材を絞り１６と撮像素子１００（２００、３００）の間に挿入する制御を行ってもよい。この場合、この部材の幅を変えられるようにしたり、部材を回転させることができるようにしたりしておくことが好ましい。

以上説明してきたように、本明細書には次の事項が開示されている。

開示された立体画像撮像装置は、単一の撮影光学系と前記撮影光学系を通った光を受光する単一の撮像素子とを有する立体画像撮像装置であって、前記撮影光学系は、撮影レンズ系と絞りを含み、前記撮像素子は、前記撮影光学系の異なる瞳領域を通過した光を受光する２種類又は４種類の画素を含み、前記２種類又は４種類の画素は、平面視において水平方向とこれに直交する垂直方向に二次元状に配列され、前記絞りの開口の一部を遮蔽して前記撮像素子に入射する光を制限する遮蔽部であって、光軸方向に見た前記絞りの開口を、前記水平方向及び前記垂直方向の少なくとも一方に均等に２分割するように前記開口の一部を遮蔽する遮蔽部と、前記遮蔽部を制御して、前記遮蔽部によって遮蔽される前記開口の遮蔽領域の大きさを撮影条件に応じて変更する遮蔽領域変更制御部とを備えるものである。本明細書では、撮影時の、絞りのＦ値、撮影光学系の焦点距離、撮影距離（被写体距離）、撮影シーン、撮影モード（２Ｄモード、３Ｄモード）のことを総称して撮影条件と定義する。

開示された立体画像撮像装置は、前記２種類又は４種類の画素のうち、隣接して配置された互いに異なる種類の２つの画素の各々が受光する光の通過する前記瞳領域が、互いに重なっているものである。

開示された立体画像撮像装置は、前記２種類又は４種類の画素のうち、隣接して配置された互いに異なる種類の２つの画素は、横軸を光の入射角とし縦軸を感度とした入射角感度特性が、前記縦軸を境にして線対称であり、かつ、一方の画素の感度を持つ入射角範囲と他方の画素の感度を持つ入射角範囲とが重なりを有しているものである。

開示された立体画像撮像装置は、１回の撮像で視差のある複数の画像データを記録する立体撮影モードを有し、前記遮蔽領域変更制御部が、前記立体撮影モード時には、前記撮影レンズ系の焦点距離が短いほど前記遮蔽領域の前記水平方向及び前記垂直方向の少なくとも一方の幅を広くするものである。

開示された立体画像撮像装置は、１回の撮像で視差のある複数の画像データを記録する立体撮影モードを有し、前記遮蔽領域変更制御部が、前記立体撮影モード時には、撮影距離が遠いほど前記遮蔽領域の前記水平方向及び前記垂直方向の少なくとも一方の幅を広くするものである。

開示された立体画像撮像装置は、１回の撮像で視差のある複数の画像データを記録する立体撮影モードを有し、前記遮蔽領域変更制御部が、前記立体撮影モード時には、前記絞りのＦ値に応じて前記遮蔽領域の幅を変更するものである。

開示された立体画像撮像装置は、前記遮蔽領域変更制御部が、前記絞りのＦ値が大きいほど前記遮蔽領域の幅を狭くするものである。

開示された立体画像撮像装置は、１回の撮像で視差のある複数の画像データを記録する立体撮影モードを有し、前記遮蔽領域変更制御部が、前記立体撮影モード時には、撮影シーンに応じて前記遮蔽領域の幅を変更するものである。

開示された立体画像撮像装置は、前記遮蔽領域変更制御部が、被写体の明るさが閾値以下のときは、前記幅がゼロとなるように前記遮蔽部を制御するものである。

開示された立体画像撮像装置は、１回の撮像で１つの画像データを記録する平面撮影モードを有し、前記遮蔽領域変更制御部は、前記平面撮影モード時には前記幅がゼロとなるように前記遮蔽部を制御するものである。

開示された立体画像撮像装置は、前記平面撮影モード時に、隣接して配置された互いに異なる種類の２つ又は４つの画素の撮像信号を加算した信号を用いて画像データを生成する画像データ生成部を備えるものである。

開示された立体画像撮像装置は、前記撮像素子が、前記４種類の画素を含み、かつ、異なる種類の互いに隣接して配置された４つの画素からなる組を二次元状に配置した構成であり、前記遮蔽領域変更制御部は、前記立体撮影モードにおいて、前記水平方向と地面とが平行になる横撮りのときは、前記開口を前記水平方向に均等に２分割するように前記遮蔽部を制御し、前記垂直方向と地面とが平行になる縦撮りのときは、前記開口を前記垂直方向に均等に２分割するように前記遮蔽部を制御するものである。

開示された立体画像撮像装置は、前記撮像素子が、前記４種類の画素を含み、かつ、異なる種類の互いに隣接して配置された４つの画素からなる組を二次元状に配置した構成であり、前記遮蔽領域変更制御部は、前記立体撮影モードにおいて、前記開口を前記水平方向に均等に２分割し、かつ、前記垂直方向に均等に２分割するように前記遮蔽部を制御するものである。

開示された立体画像撮像装置は、前記遮蔽部が、印加電圧制御により光を透過する領域と光を透過しない領域を任意に形成可能な素子であり、前記遮蔽領域変更制御部が、前記素子に供給する電圧を制御して前記光を透過しない領域の大きさを変更することで前記遮蔽領域の大きさを変更するものである。

開示された立体画像撮像装置は、前記２種類又は４種類の画素群の各々に属する画素の総数が同一であるものである。

１００ 撮像素子
１０ 立体画像撮像装置
１２ 撮影レンズ系
１６ 絞り
１６ａ 絞り開口
１５ 液晶シャッタ
１５ａ 非透過領域

Claims (15)

1. 単一の撮影光学系と前記撮影光学系を通った光を受光する単一の撮像素子とを有する立体画像撮像装置であって、
   前記撮影光学系は、撮影レンズ系と絞りを含み、
   前記撮像素子は、前記撮影光学系の異なる瞳領域を通過した光を受光する２種類又は４種類の画素を含み、
   前記２種類又は４種類の画素は、平面視において水平方向とこれに直交する垂直方向に二次元状に配列され、
   前記絞りの開口の一部を遮蔽して前記撮像素子に入射する光を制限する遮蔽部であって、光軸方向に見た前記絞りの開口を、前記水平方向及び前記垂直方向の少なくとも一方に均等に２分割するように前記開口の一部を遮蔽する遮蔽部と、
   前記遮蔽部を制御して、前記遮蔽部によって遮蔽される前記開口の遮蔽領域の大きさを撮影条件に応じて変更する遮蔽領域変更制御部とを備える立体画像撮像装置。
2. 請求項１記載の立体画像撮像装置であって、
   前記２種類又は４種類の画素のうち、隣接して配置された互いに異なる種類の２つの画素の各々が受光する光の通過する前記瞳領域が、互いに重なっている立体画像撮像装置。
3. 請求項２記載の立体画像撮像装置であって、
   前記２種類又は４種類の画素のうち、隣接して配置された互いに異なる種類の２つの画素は、横軸を光の入射角とし縦軸を感度とした入射角感度特性が、前記縦軸を境にして線対称であり、かつ、一方の画素の感度を持つ入射角範囲と他方の画素の感度を持つ入射角範囲とが重なりを有している立体画像撮像装置。
4. 請求項１〜３のいずれか１項記載の立体画像撮像装置であって、
   １回の撮像で視差のある複数の画像データを記録する立体撮影モードを有し、
   前記遮蔽領域変更制御部が、前記立体撮影モード時には、前記撮影レンズ系の焦点距離が短いほど前記遮蔽領域の前記水平方向及び前記垂直方向の少なくとも一方の幅を広くする立体画像撮像装置。
5. 請求項１〜３のいずれか１項記載の立体画像撮像装置であって、
   １回の撮像で視差のある複数の画像データを記録する立体撮影モードを有し、
   前記遮蔽領域変更制御部が、前記立体撮影モード時には、撮影距離が遠いほど前記遮蔽領域の前記水平方向及び前記垂直方向の少なくとも一方の幅を広くする立体画像撮像装置。
6. 請求項１〜５のいずれか１項記載の立体画像撮像装置であって、
   １回の撮像で視差のある複数の画像データを記録する立体撮影モードを有し、
   前記遮蔽領域変更制御部が、前記立体撮影モード時には、前記絞りのＦ値に応じて前記遮蔽領域の幅を変更する立体画像撮像装置。
7. 請求項６記載の立体画像撮像装置であって、
   前記遮蔽領域変更制御部が、前記絞りのＦ値が大きいほど前記遮蔽領域の幅を狭くする立体画像撮像装置。
8. 請求項１〜５のいずれか１項記載の立体画像撮像装置であって、
   １回の撮像で視差のある複数の画像データを記録する立体撮影モードを有し、
   前記遮蔽領域変更制御部が、前記立体撮影モード時には、撮影シーンに応じて前記遮蔽領域の幅を変更する立体画像撮像装置。
9. 請求項８記載の立体画像撮像装置であって、
   前記遮蔽領域変更制御部が、被写体の明るさが閾値以下のときは、前記幅がゼロとなるように前記遮蔽部を制御する立体画像撮像装置。
10. 請求項４〜９のいずれか１項記載の立体画像撮像装置であって、
    １回の撮像で１つの画像データを記録する平面撮影モードを有し、
    前記遮蔽領域変更制御部は、前記平面撮影モード時には前記幅がゼロとなるように前記遮蔽部を制御する立体画像撮像装置。
11. 請求項１０記載の立体画像撮像装置であって、
    前記平面撮影モード時に、隣接して配置された互いに異なる種類の２つ又は４つの画素の撮像信号を加算した信号を用いて画像データを生成する画像データ生成部を備える立体画像撮像装置。
12. 請求項４〜１１のいずれか１項記載の立体画像撮像装置であって、
    前記撮像素子が、前記４種類の画素を含み、かつ、異なる種類の互いに隣接して配置された４つの画素からなる組を二次元状に配置した構成であり、
    前記遮蔽領域変更制御部は、前記立体撮影モードにおいて、前記水平方向と地面とが平行になる横撮りのときは、前記開口を前記水平方向に均等に２分割するように前記遮蔽部を制御し、前記垂直方向と地面とが平行になる縦撮りのときは、前記開口を前記垂直方向に均等に２分割するように前記遮蔽部を制御する立体画像撮像装置。
13. 請求項４〜１１のいずれか１項記載の立体画像撮像装置であって、
    前記撮像素子が、前記４種類の画素を含み、かつ、異なる種類の互いに隣接して配置された４つの画素からなる組を二次元状に配置した構成であり、
    前記遮蔽領域変更制御部は、前記立体撮影モードにおいて、前記開口を前記水平方向に均等に２分割し、かつ、前記垂直方向に均等に２分割するように前記遮蔽部を制御する立体画像撮像装置。
14. 請求項１〜１３のいずれか１項記載の立体画像撮像装置であって、
    前記遮蔽部が、印加電圧制御により光を透過する領域と光を透過しない領域を任意に形成可能な素子であり、
    前記遮蔽領域変更制御部が、前記素子に供給する電圧を制御して前記光を透過しない領域の大きさを変更することで前記遮蔽領域の大きさを変更する立体画像撮像装置。
15. 請求項１〜１４のいずれか１項記載の立体画像撮像装置であって、
    前記２種類又は４種類の画素群の各々に属する画素の総数が同一である立体画像撮像装置。

Images