JP5742281B2 - 撮像装置、画像処理方法およびプログラム - Google Patents

Description

本発明は、撮像装置に関し、特に、立体視画像を生成する撮像装置および画像処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。

従来、左右眼の視差を利用して立体的な視覚を得ることができる立体視画像を表示するための画像データを生成するデジタルスチルカメラやデジタルビデオカメラ（カメラ一体型レコーダ）等の撮像装置が提案されている。

例えば、２つのレンズと１つの撮像素子とを備え、立体視画像を表示するための２つの画像（左眼視用画像および右眼視用画像）を生成する撮像装置が提案されている（例えば、特許文献１参照。）。

特開２００４−３０９８６８号公報

上述の従来技術によれば、２つのレンズと１つの撮像素子とを用いて２つの画像（左眼視用画像および右眼視用画像）を生成することができる。このように生成された２つの画像（左眼視用画像および右眼視用画像）を記録する場合には、例えば、所定の記録フォーマットにより記録することが想定される。

ここで、立体視画像（例えば、左眼視用画像および右眼視用画像）を所定の記録フォーマットに記録する場合には、記録対象画像について間引き処理等を行い、２枚の画像を１枚の画像として扱うことが多い。このため、立体視画像を所定の記録フォーマットに記録する場合には、間引き処理等による立体視画像の画質の劣化を低減させることが重要である。

本発明はこのような状況に鑑みてなされたものであり、立体視画像の画質の劣化を低減させることを目的とする。

本発明は、上記課題を解決するためになされたものであり、その第１の側面は、絞り近傍に配置されて被写体からの光を偏光させる２つの偏光子であって偏光方向が互いに直交する第１偏光子および第２偏光子と、上記第１偏光子および上記第２偏光子を結ぶ方向を視差方向とし、上記視差方向および上記視差方向に直交する方向である直交方向により特定されるマトリクス状に画素が配置される撮像素子の受光面において上記直交方向に沿って上記直交方向に延びるように交互に配置されて上記被写体からの光を偏光させる２つの偏光子であって偏光方向が上記第１偏光子と平行である第３偏光子と偏光方向が上記第２偏光子と平行である第４偏光子と、上記撮像素子により生成される画像データのうち、上記第１偏光子および上記第３偏光子を通過した光に基づいて生成される画像データを立体視画像を表示するための第１画像データとし、上記第２偏光子および上記第４偏光子を通過した光に基づいて生成される画像データを上記立体視画像を表示するための第２画像データとする画像処理部とを具備し、上記第３偏光子および上記第４偏光子は、上記撮像素子における上記視差方向の２画素分の上記直交方向のラインを配列単位として複数の配列単位毎に交互に配置される撮像装置およびその画像処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、第３偏光子および第４偏光子を、撮像素子における視差方向の２画素分の直交方向のラインを配列単位として複数の配列単位毎に交互に配置して、第１偏光子および第３偏光子を通過した光に基づいて生成される画像データを立体視画像を表示するための第１画像データとし、第２偏光子および第４偏光子を通過した光に基づいて生成される画像データを立体視画像を表示するための第２画像データとするという作用をもたらす。

また、この第１の側面において、上記画像処理部は、上記撮像素子により生成された画像データを、上記第３偏光子および上記第４偏光子に対応する上記直交方向のライン単位で並び替えることにより上記第１画像データおよび上記第２画像データを生成するようにしてもよい。これにより、撮像素子により生成された画像データを、第３偏光子および第４偏光子に対応する直交方向のライン単位で並び替えることにより、第１画像データおよび第２画像データを生成するという作用をもたらす。

また、この第１の側面において、上記画像処理部は、上記撮像素子により生成された画像データについて上記第３偏光子および上記第４偏光子に対応する上記複数の配列単位のラインを構成する隣接する複数の画素を加算する加算処理が行われた後に、上記加算処理が行われた画像データを並び替えることにより上記第１画像データおよび上記第２画像データを生成するようにしてもよい。これにより、撮像素子により生成された画像データについて加算処理が行われた後に、その加算処理が行われた画像データを並び替えることにより、第１画像データおよび第２画像データを生成するという作用をもたらす。

また、この第１の側面において、上記画像処理部は、上記撮像素子により生成された画像データのうち、上記第３偏光子に対応する上記直交方向のライン単位で順次読み出された画像データを上記第１画像データとし、上記第４偏光子に対応する上記直交方向のライン単位で順次読み出された画像データを上記第２画像データとするようにしてもよい。これにより、撮像素子により生成された画像データのうち、第３偏光子に対応する直交方向のライン単位で順次読み出された画像データを第１画像データとし、第４偏光子に対応する直交方向のライン単位で順次読み出された画像データを第２画像データとするという作用をもたらす。

また、この第１の側面において、上記画像処理部は、上記撮像素子により生成された画像データのうち、上記第３偏光子に対応する上記複数の配列単位のラインの画像データについて当該ラインを構成する隣接する複数の画素を加算する加算処理が行われた後に順次読み出された当該加算処理が行われた画像データを上記第１画像データとし、上記第４偏光子に対応する上記複数の配列単位のラインの画像データについて当該ラインを構成する隣接する複数の画素を加算する加算処理が行われた後に順次読み出された当該加算処理が行われた画像データを上記第２画像データとするようにしてもよい。これにより、第３偏光子に対応する複数の配列単位のラインの画像データについて加算処理が行われた後に順次読み出されたその加算処理が行われた画像データを第１画像データとし、第４偏光子に対応する複数の配列単位のラインの画像データについて加算処理が行われた後に順次読み出されたその加算処理が行われた画像データを第２画像データとするという作用をもたらす。

また、この第１の側面において、上記撮像素子は、各画素が原色系ベイヤ配列により配置されるようにしてもよい。これにより、各画素が原色系ベイヤ配列により配置されている撮像素子により生成された画像データを用いて第１画像データおよび第２画像データを生成するという作用をもたらす。

また、この第１の側面において、上記第１偏光子および上記第２偏光子は、上記被写体からの光を集光する１つの光学系における上記絞り近傍において上記直交方向を境界として隣接して配置されるようにしてもよい。これにより、被写体からの光を集光する１つの光学系における絞り近傍において直交方向を境界として隣接して配置される第１偏光子および第２偏光子を用いて、第１画像データおよび第２画像データを生成するという作用をもたらす。

また、この第１の側面において、上記第１偏光子は、上記被写体からの光を集光する第１光学系における上記絞り近傍に配置され、上記第２偏光子は、上記被写体からの光を集光する第２光学系における上記絞り近傍に配置されるようにしてもよい。これにより、被写体からの光を集光する第１光学系における絞り近傍に配置される第１偏光子と、被写体からの光を集光する第２光学系における絞り近傍に配置される第２偏光子とを用いて、第１画像データおよび第２画像データを生成するという作用をもたらす。

また、この第１の側面において、上記画像処理部は、所定の記録フォーマットにより記録媒体に記録するための画像データとして上記第１画像データおよび上記第２画像データを生成するようにしてもよい。これにより、所定の記録フォーマットにより記録媒体に記録するための画像データとして第１画像データおよび第２画像データを生成するという作用をもたらす。

また、この第１の側面において、上記画像処理部は、サイドバイサイド方式の記録フォーマットにより記録媒体に記録するための画像データとして上記第１画像データおよび上記第２画像データを生成するようにしてもよい。これにより、サイドバイサイド方式の記録フォーマットにより記録媒体に記録するための画像データとして第１画像データおよび第２画像データを生成するという作用をもたらす。

また、この第１の側面において、上記視差方向を、上記立体視画像における視差方向とするようにしてもよい。これにより、視差方向を、立体視画像における視差方向として第１画像データおよび第２画像データを生成するという作用をもたらす。

本発明によれば、立体視画像の画質の劣化を低減させることができるという優れた効果を奏し得る。

本発明の第１の実施の形態における撮像装置１００の内部構成例を示す図である。 本発明の第１の実施の形態における瞳偏光部１２０および撮像素子偏光部１３０を模式的に示す図である。 本発明の第１の実施の形態における撮像素子偏光部１３０を構成する第３偏光子１３１および第４偏光子１３２の配置例を示す図である。 本発明の第１の実施の形態におけるレンズ系１１０、瞳偏光部１２０および撮像素子偏光部１３０における光の流れと、この光により生成される画像との関係を模式的に示す図である。 本発明の第１の実施の形態における画像処理部１７０による画像処理（デモザイク処理）を模式的に示す図である。 本発明の第１の実施の形態における撮像素子１４０および撮像素子偏光部１３０を模式的に示す図である。 本発明の第１の実施の形態におけるワイヤグリッド偏光子３００を形成する際における半導体プロセスの流れを簡略化して示す図である。 本発明の第１の実施の形態における画像処理部１７０により記録対象画像を生成する際における画像処理方法の一例を模式的に示す図である。 本発明の第１の実施の形態における画像処理部１７０により生成される記録対象画像データ４３０と、表示対象画像となる立体視画像４４０との関係を模式的に示す図である。 本発明の第１の実施の形態における撮像素子偏光部１３０を構成する各偏光子の配置の変形例を示す図である。 本発明の第１の実施の形態における撮像装置１００による画像処理の処理手順の一例を示すフローチャートである。 本発明の第１の実施の形態における撮像装置１００による画像処理の処理手順の一例を示すフローチャートである。 本発明の第１の実施の形態におけるワイヤグリッド偏光子のピッチ、高さおよび幅の関係を簡略的に示す図である。 本発明の第１の実施の形態におけるワイヤグリッド偏光子のピッチ、高さ、Ｄｕｔｙを変化させた場合における計算例を示す図である。 本発明の第１の実施の形態におけるワイヤグリッド偏光子の長さを変化させた場合における計算例を示す図である。 本発明の第１の実施の形態におけるワイヤグリッド偏光子の光伝播状態のシミュレーションを示す図である。 本発明の第２の実施の形態における撮像装置５００の内部構成例を示す斜視図である。

以下、本発明を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（画像処理制御：１つのレンズ系を備える撮像装置（いわゆる、１眼式３Ｄカメラ）により立体視画像を生成する例）
２．第２の実施の形態（画像処理制御：複数のレンズ系を備える撮像装置（いわゆる、２眼式３Ｄカメラ）により立体視画像を生成する例）

＜１．第１の実施の形態＞
［撮像装置の構成例］
図１は、本発明の第１の実施の形態における撮像装置１００の内部構成例を示す図である。図１（ａ）には、レンズ系１１０、瞳偏光部１２０、撮像素子偏光部１３０および撮像素子１４０について上面から見た場合における上面図を簡略化して示す。図１（ｂ）には、瞳偏光部１２０および撮像素子１４０の関係を表す斜視図を簡略化して示す。

撮像装置１００は、レンズ系１１０と、瞳偏光部１２０と、撮像素子偏光部１３０と、撮像素子１４０と、操作受付部１５０と、制御部１６０と、画像処理部１７０と、記憶部１８０とを備える。なお、以下では、水平方向をＸ軸方向とし、垂直方向をＹ軸方向とし、光の進行方向をＺ軸方向として説明する。また、撮像装置１００は、例えば、デジタルスチルカメラやデジタルビデオカメラ（例えば、カメラ一体型レコーダ）等の撮像装置により実現される。また、撮像装置１００は、例えば、表面照射型の固体撮像装置、裏面照射型の固体撮像装置により実現される。

レンズ系１１０は、撮影レンズ１１１と、結像レンズ１１２と、絞り部１１３とを備える。レンズ系１１０は、例えば、フォーカスレンズ、ズームレンズとして機能する。

撮影レンズ１１１は、被写体からの入射光を集光するためのレンズである。また、撮影レンズ１１１は、焦点を合わせるためのフォーカスレンズや、被写体を拡大するためのズームレンズ等を含む。なお、撮影レンズ１１１は、一般に、色収差等を補正するために複数枚のレンズの組合せにより実現される。

結像レンズ１１２は、瞳偏光部１２０を通過した光を撮像素子１４０上に結像するためのレンズである。

絞り部１１３は、集光された光の量を調整するために光を絞り込む機能を有する絞りであり、例えば、複数枚の板状の羽根の組合せにより構成される。また、絞り部１１３の位置において、少なくとも被写体の１点からの光が平行光となる。

レンズ系１１０は、単焦点レンズとして構成されるようにしてもよく、いわゆる、ズームレンズとして構成されるようにしてもよい。また、レンズ系１１０の構成は、レンズ系１１０に要求される仕様に基づいて決定することができる。

瞳偏光部１２０は、垂直方向（Ｙ軸方向）に沿って配置されている第１偏光子１２１および第２偏光子１２２を備え、被写体からの光を偏光させる偏光部である。ここで、偏光子は、自然光（非偏光）や円偏光から直線偏光を作り出すものを意味する。例えば、第１偏光子１２１および第２偏光子１２２として、周知の構成の偏光子（例えば、偏光板、偏光フィルタ）を用いることができる。

ここで、レンズ系１１０に入射した光が平行光とされた後に、撮像素子１４０に集光（結像）される際に、その平行光の状態にあるレンズ系１１０の部分に瞳偏光部１２０を配置することが好ましい。また、例えば、瞳偏光部１２０は、絞り部１１３の作動に影響を与えない位置（可能な限り絞り部１１３に近い位置）に配置されることが好ましい。例えば、瞳偏光部１２０は、レンズ系１１０の絞り部１１３の近傍に配置されることが好ましい。このように瞳偏光部１２０を配置する場合には、一般に、レンズ系の光学系を新たに設計し直す必要はなく、既存のレンズ系に瞳偏光部１２０を固定する（または、脱着自在に取り付ける）ように、機械的（物理的）な設計変更を施す。これにより瞳偏光部１２０を配置することができる。

なお、レンズ系に瞳偏光部１２０に脱着自在に取り付ける場合には、例えば、瞳偏光部１２０をレンズ系の絞り羽根に類似する構成として、レンズ系内に配置することができる。また、レンズ系において、瞳偏光部１２０と開口部とが併設されている部材を、レンズ系の光軸と平行な回動軸を中心として回動可能にその回動軸に取り付けることができる。この場合には、その部材を回動軸を中心として回動させることにより、レンズ系を通過する光線が、開口部または瞳偏光部１２０を通過する構成とすることができる。また、レンズ系において、瞳偏光部１２０と開口部とが併設されている部材を、レンズ系の光軸と直交する方向に滑動自在にレンズ系に取り付けることができる。この場合には、その部材を滑動させることにより、レンズ系を通過する光線が開口部または瞳偏光部１２０を通過する構成とすることができる。

また、例えば、瞳偏光部１２０の外形形状は円形であり、第１偏光子１２１および第２偏光子１２２のそれぞれは、瞳偏光部１２０の半分を占める半月状の外形形状を有する。そして、第１偏光子１２１と第２偏光子１２２との境界線は、垂直方向（Ｙ軸方向）に沿って延びている。また、第１偏光子１２１および第２偏光子１２２により構成される瞳偏光部１２０は、入射した光を２つの異なる偏光状態に分離する。具体的には、瞳偏光部１２０は、左右対称の偏光子（第１偏光子１２１および第２偏光子１２２）から構成されている。また、瞳偏光部１２０は、撮像装置１００の正立状態に対する左右２つの位置において、互いに直交する直線方向の偏光、または、互いに逆方向となる回転方向の偏光を生成する。

ここで、第１偏光子１２１は、被写体を右眼で見ると想定される像（右眼が受けると想定される光）に対して偏光を施す偏光子（例えば、偏光フィルタ）である。一方、第２偏光子１２２は、被写体を左眼で見ると想定される像（左眼が受けると想定される光）に対して偏光を施す偏光子（例えば、偏光フィルタ）である。例えば、絞り部１１３の位置（近傍の位置）の瞳左側にＰ偏光子（第１偏光子１２１）が配置され、瞳右側にＳ偏光子（第２偏光子１２２）が配置される。このように第１偏光子１２１の通過光および第２偏光子１２２の通過光の偏光状態は、直線偏光とすることができる。なお、Ｐ偏光子およびＳ偏光子の関係は逆とするようにしてもよい。また、円偏光（ただし、回転方向が相互に逆の関係とする）とするようにしてもよい。一般に、振動方向がある特定の向きだけの横波を、偏光した波と称し、この振動方向を偏光方向または偏光軸と称する。また、光の電場の向きは偏光方向と一致する。

このように、レンズ系１１０および瞳偏光部１２０は、ズーム、フォーカス、絞り等の光学機能と同時に、絞り部１１３の瞳の位置において、直交する偏光方向を有する左画像および右画像（左右の視差に対応する画像）に分離する。

撮像素子偏光部１３０は、水平方向（Ｘ軸方向）に沿って交互に配置され、垂直方向（Ｙ軸方向）に延びる第３偏光子１３１および第４偏光子１３２（図２（ｂ）に示す）を備える。なお、瞳偏光部１２０における第１偏光子１２１および第２偏光子１２２と、撮像素子偏光部１３０における第３偏光子１３１および第４偏光子１３２との関係については、図２を参照して詳細に説明する。

撮像素子１４０は、水平方向および垂直方向のマトリクス状に画像信号を生成するための画素が配置されるとともに、光入射側に撮像素子偏光部１３０が配置されている撮像素子である。すなわち、撮像素子偏光部１３０および撮像素子１４０により偏光イメージセンサが構成される。また、撮像素子１４０は、レンズ系１１０により集光された光を電気信号に変換する。すなわち、撮像素子１４０は、瞳偏光部１２０により分離された光（左眼視用画像および右眼視用画像に対応する光）をそれぞれ同時刻に左右独立して撮像する。このように、撮像素子１４０により変換された電気信号に基づいて、左眼視用画像データおよび右眼視用画像データが生成される。撮像素子１４０は、例えば、ＣＣＤ（Charge Coupled Devices）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等により実現される。また、撮像素子１４０は、例えば、ＣＭＤ（Charge Modulation Device）型の信号増幅型イメージセンサ等により実現される。なお、以上の構成においては、入射瞳は、結像レンズ１１２よりも撮像素子１４０側に位置する。

操作受付部１５０は、ユーザからの操作入力を受け付ける操作受付部であり、受け付けられた操作入力に応じた操作信号を制御部１６０に出力する。例えば、操作受付部１５０は、静止画（立体視画像）の記録動作の指示操作や動画（立体視画像）の記録動作開始（または記録動作終了）の指示操作を受け付ける。

制御部１６０は、撮像装置１００全体の制御を行うものである。例えば、制御部１６０は、操作受付部１５０により受け付けられたユーザからの操作入力に応じた制御を行う。

画像処理部１７０は、撮像素子１４０から出力された電気信号について各種画像処理を行うものであり、各種画像処理が行われた電気信号（画像データ）を記憶部１８０に記憶させる。画像処理部１７０は、例えば、撮像素子１４０から出力された電気信号（画像データ）を、左眼視用画像データおよび右眼視用画像データに変換する（いわゆる、３Ｄ画像処理）。そして、画像処理部１７０は、その変換された左眼視用画像データおよび右眼視用画像データを立体視画像コンテンツとして記憶部１８０に記憶させる。また、画像処理部１７０は、その変換された左眼視用画像データおよび右眼視用画像データを立体視画像として表示装置（図示せず）に出力して表示させる。

記憶部１８０は、各種データを記憶する記録媒体である。記憶部１８０として、例えば、半導体メモリ、光ディスクまたはハードディスク等を用いることができる。なお、半導体メモリとして、フラッシュＲＯＭ（Read Only Memory）、ＤＲＡＭ（Dynamic Random Access Memory）等を用いることができる。また、光ディスクとして、ＢＤ（Blu-ray Disc）、ＤＶＤ（Digital Versatile Disc）、ＣＤ（Compact Disc）等を用いることができる。記憶部１８０として、撮像装置１００に内蔵される記憶装置を用いるようにしてもよく、撮像装置１００に着脱可能なメモリカード等のリムーバブルメディア（記録媒体）を用いるようにしてもよい。

［瞳偏光部および撮像素子偏光部の関係例］
図２は、本発明の第１の実施の形態における瞳偏光部１２０および撮像素子偏光部１３０を模式的に示す図である。図２（ａ）には、瞳偏光部１２０における偏光方向を示し、図２（ｂ）には、撮像素子偏光部１３０における偏光方向を示す。なお、図２（ｂ）では、撮像素子偏光部１３０における第３偏光子１３１および第４偏光子１３２のうちの一部のみを示す。また、図２では、撮像素子１４０側から瞳偏光部１２０および撮像素子偏光部１３０を見た場合における正面図を模式的に示す。

図２（ａ）に示すように、第１偏光子１２１および第２偏光子１２２の偏光方向は直交する（白抜きの矢印で示す）。すなわち、第１偏光子１２１を通過した光（第１通過光）の電場の向き（白抜きの矢印で示す）と、第２偏光子１２２を通過した光（第２通過光）の電場の向き（白抜きの矢印で示す）とは直交する。

ここで、例えば、瞳偏光部１２０の外形形状を半径ｒ（＝１０ｍｍ）の円形とする。また、第１偏光子１２１および第２偏光子１２２を、瞳偏光部１２０の半分を占める半月状とする。また、第１偏光子１２１の外形形状に基づいて求められる重心点を、第１偏光子１２１の領域における重心点ＢＣ１とし、第２偏光子１２２の外形形状に基づいて求められる重心点を、第２偏光子１２２の領域における重心点ＢＣ２とする。この場合には、重心点ＢＣ１と重心点ＢＣ２との間の距離（基線長）は、「（８ｒ）／（３π）（＝８．５ｍｍ）」により求めることができる。

また、図２（ｂ）に示すように、第３偏光子１３１および第４偏光子１３２の偏光方向は直交する（白抜きの矢印で示す）。すなわち、第３偏光子１３１を通過した光（第３通過光）の電場の向き（白抜きの矢印で示す）と、第４偏光子１３２を通過した光（第４通過光）の電場の向き（白抜きの矢印で示す）とは直交する。また、第３偏光子１３１および第４偏光子１３２は、撮像素子１４０における水平方向２画素分のライン（垂直方向のライン）単位で交互に配置される。この配置例を図３に示す。

ここで、例えば、第１通過光の電場の向きを水平方向と平行とする場合を想定する。この場合には、第１通過光は主としてＰ波（ＴＭ波）を偏光成分として有し、第２通過光は主としてＳ波（ＴＥ波）を偏光成分として有する。また、第１通過光の電場の向きと第３通過光の電場の向き（白抜きの矢印で示す）とは平行であり、第２通過光の電場の向きと第４通過光の電場の向き（白抜きの矢印で示す）とは平行である。また、各偏光子の消光比は、３以上とすることが好ましい。さらに好ましくは、１０以上とする。なお、第１偏光子１２１に係る消光比は、第１偏光子１２１を通過する光に含まれる２つの光の成分の割合（すなわち、電場の向きが水平方向である光の成分と、電場の向きが垂直方向である光の成分の割合）を意味する。また、第２偏光子１２２に係る消光比は、第２偏光子１２２を通過する光に含まれる２つの光の成分の割合（すなわち、電場の向きが垂直方向である光の成分と、電場の向きが水平方向である光の成分の割合）を意味する。

ここで、第１偏光子１２１を通過した第１通過光は、第３偏光子１３１を通過して撮像素子１４０に到達する。同様に、第２偏光子１２２を通過した第２通過光は、第４偏光子１３２を通過して撮像素子１４０に到達する。そして、撮像素子１４０に到達した第１通過光（第３通過光）および第２通過光（第４通過光）に基づいて、撮像素子１４０は、第１偏光子１２１の重心点ＢＣ１と、第２偏光子１２２の重心点ＢＣ２との間の距離を両眼視差の基線長さとする立体視画像を生成する。

［撮像素子における偏光子の配置例］
図３は、本発明の第１の実施の形態における撮像素子偏光部１３０を構成する第３偏光子１３１および第４偏光子１３２の配置例を示す図である。図３では、撮像素子１４０における画素配列がベイヤ配列である場合を例にして説明する。また、図３（ａ）では、撮像素子１４０における各画素のうちの一部を拡大して示し、図３（ｂ）では、撮像素子１４０における各画素の全部（ただし、一部を省略）を示す。また、図３では、第３偏光子１３１および第４偏光子１３２が配置される撮像素子１４０における位置を、各図における上側に示す文字（第３偏光子および第４偏光子）により特定する。なお、図３（ｂ）では、撮像素子１４０が２００万画素である場合を例にして示す。

ここで、ベイヤ配列は、２画素（水平方向）×２画素（垂直方向）を基本ブロック（画素群）とし、この基本ブロックが周期的に配置されている画素配列である。図３では、その基本ブロックに対応する領域を太線の矩形で示し、その基本ブロックにおける各画素の境界を点線で示す。また、その基本ブロックにおいて、２つのＧ（Green：緑）画素が一方の対角上に配置され、Ｒ（Red：赤）画素とＢ（Blue：青）画素とが残りの対角上に配置される。なお、Ｇ画素は緑色を受光する受光素子により構成され、Ｒ画素は赤色を受光する受光素子により構成され、Ｂ画素は青色を受光する受光素子により構成される。なお、図３では、各画素を矩形により模式的に示し、その矩形内に画素の種類（Ｇ、Ｒ、Ｂ）を表す文字を付して示す。

図３に示すように、垂直方向（Ｙ軸方向）に沿って配列されている１列の画素群（水平方向２画素分）に対して第３偏光子１３１が配置されている。また、その画素群に水平方向（Ｘ軸方向）に隣接し、垂直方向に沿って配列されている１列の画素群（水平方向２画素分）に対して第４偏光子１３２が配置されている。このように、第３偏光子１３１および第４偏光子１３２は、水平方向に沿って交互に配置されている。なお、第３偏光子１３１および第４偏光子１３２は、全体として垂直方向に延びているが、第３偏光子１３１および第４偏光子１３２の垂直方向の長さは、撮像素子１４０の垂直方向の長さと略同一とすることができる。また、第３偏光子１３１および第４偏光子１３２の水平方向の長さは、撮像素子１４０における水平方向２画素分の長さと略同一とすることができる。

このような構成とすることにより、主としてＰ波成分を有する光に基づく垂直方向に延びる帯状の画像（右眼視用画像）と、主としてＳ波成分を有する光に基づく垂直方向に延びる帯状の画像（左眼視用画像）とが、水平方向に沿って交互に生成される。

このように、撮像装置１００において、偏光方向が直交する瞳偏光部１２０（第１偏光子１２１、第２偏光子１２２）が絞り部１１３に配置されている。そして、レンズ系１１０に入射する光は、瞳偏光部１２０（第１偏光子１２１、第２偏光子１２２）により瞳右側と瞳左側に分割される。そして、瞳右側と瞳左側を透過する光の領域（透過図形）の重心距離を両眼視差の基線長として、撮像素子１４０に配置されている撮像素子偏光部１３０（第３偏光子１３１、第４偏光子１３２）により右眼視用画像、左眼視用画像が分離されて同時に撮像される。ここで、撮像素子１４０における第３偏光子１３１および第４偏光子１３２は、瞳偏光部１２０（第１偏光子１２１、第２偏光子１２２）の左右分割軸と平行に２画素ライン毎に交互に配列される。

このように、第１偏光子１２１および第２偏光子１２２は、絞り部１１３の近傍に配置され、被写体からの光を偏光させる２つの偏光子であって偏光方向が互いに直交する。ここで、第１偏光子１２１および第２偏光子１２２を結ぶ方向（水平方向（Ｘ軸方向））を第１方向（例えば、撮像装置１００により生成される立体視画像における視差方向）とする。この場合に、第３偏光子１３１は、撮像素子１４０の受光面において第１方向に直交する方向（第２方向（垂直方向（Ｙ軸方向）））に沿って第２方向に延びるように第４偏光子１３２と交互に配置され、偏光方向が第１偏光子１２１と平行である。また、第４偏光子１３２は、撮像素子１４０の受光面において第２方向に沿って第２方向に延びるように第３偏光子１３１と交互に配置され、偏光方向が第２偏光子１２２と平行である。また、第１偏光子１２１および第２偏光子１２２は、１つの光学系（レンズ系１１０）における絞り部１１３の近傍において第２方向を境界として隣接して配置される。

また、撮像素子１４０は、第１方向および第２方向により特定されるマトリクス状に画素が配置され、各画素が原色系ベイヤ配列により配置される。この場合に、第３偏光子１３１および第４偏光子１３２は、例えば、撮像素子１４０における第１方向の２画素分の第２方向のラインを配列単位として配列単位毎に交互に配置される。

なお、本発明の第１の実施の形態では、撮像素子１４０の配列としてベイヤ配列を例にして説明するが、他の配列とする場合についても本発明の第１の実施の形態を適用することができる。例えば、インターライン配列、ＧストライプＲＢ市松配列、ＧストライプＲＢ完全市松配列、市松補色配列、ストライプ配列、斜めストライプ配列、原色色差配列、フィールド色差順次配列に本発明の第１の実施の形態を適用することができる。また、例えば、フレーム色差順次配列、ＭＯＳ型配列、改良ＭＯＳ型配列、フレームインターリーブ配列、フィールドインターリーブ配列に本発明の第１の実施の形態を適用することができる。

［光の流れとこれにより生成される画像との関係例］
図４は、本発明の第１の実施の形態におけるレンズ系１１０、瞳偏光部１２０および撮像素子偏光部１３０における光の流れと、この光により生成される画像との関係を模式的に示す図である。

図４（ａ）には、レンズ系１１０、瞳偏光部１２０における第１偏光子１２１、撮像素子偏光部１３０における第３偏光子１３１を通過し、撮像素子１４０に到達する光の流れを示す。図４（ｂ）には、レンズ系１１０、瞳偏光部１２０における第２偏光子１２２、撮像素子偏光部１３０における第４偏光子１３２を通過し、撮像素子１４０に到達する光の流れを示す。

図４（ｃ）には、図４（ｂ）に示す光により撮像素子１４０に結像された画像（左眼視用画像２２１）を示す。図４（ｄ）には、図４（ａ）に示す光により撮像素子１４０に結像された画像（右眼視用画像２２２）を示す。

図４（ａ）および（ｂ）では、矩形状の物体２００にレンズ系１１０のフォーカスが合い、丸形状の物体２０１が、矩形状の物体２００よりもレンズ系１１０側に位置している場合を例にして説明する。この場合には、矩形状の物体２００の像は、フォーカスが合った状態で撮像素子１４０上に結像する。これに対して、丸形状の物体２０１の像は、フォーカスが合っていない状態で撮像素子１４０上に結像する。

具体的には、図４（ａ）に示すように、撮像素子１４０上では、丸形状の物体２０１は、矩形状の物体２００の右手側に距離（＋ΔＸ）だけ離れた位置に像を結ぶ。また、図４（ｂ）に示すように、撮像素子１４０上では、丸形状の物体２０１は、矩形状の物体２００の左手側に距離（−ΔＸ）だけ離れた位置に像を結ぶ。したがって、距離（２×ΔＸ）が丸形状の物体２０１の奥行きに関する情報となる。

すなわち、矩形状の物体２００よりも撮像装置１００に近い側に位置する物体（丸形状の物体２０１）のボケ量およびボケ方向は、撮像装置１００に遠い側に位置する物体のボケ量およびボケ方向とは異なる。また、矩形状の物体２００と丸形状の物体２０１との距離に応じて、丸形状の物体２０１のボケ量およびボケ方向は異なる。そして、瞳偏光部１２０における第１偏光子１２１および第２偏光子１２２のそれぞれの領域の重心位置間の距離を両眼視差の基線長さとした立体視画像を得ることができる。

このようにして得られた左眼視用画像２２１および右眼視用画像２２２から周知の方法に基づいて、立体視画像を得ることができる。なお、右眼視用画像データと左眼視用画像データとを合成することにより平面画像（２次元画像（すなわち、立体視画像ではない画像））を得ることができる。

このように、第３偏光子１３１を通過して撮像素子１４０に到達した第１通過光により、撮像素子１４０は、右眼視用画像データを得るための電気信号を生成する。また、第４偏光子１３２を通過して撮像素子１４０に到達した第２通過光により、撮像素子１４０は、左眼視用画像データを得るための電気信号を生成する。撮像素子１４０は、これらの電気信号を、同時または時系列で交互に出力する。画像処理部１７０は、出力された電気信号（撮像素子１４０から出力された左眼視用画像データおよび右眼視用画像データを得るための電気信号）に対して、画像処理を施す。そして、画像処理部１７０は、その画像処理が施された画像データを左眼視用画像データおよび右眼視用画像データとして記憶部１８０に記録する。

ここで、上述した左眼視用画像および右眼視用画像は、水平方向に沿って歯抜け状態で生成されるため、この状態では、立体視画像を適切に表示することができない。そこで、画像処理部１７０は、立体視画像を適切に表示するための左眼視用画像および右眼視用画像を生成するため、電気信号に対してデモザイク処理を施すとともに、補間処理（例えば、超解像処理に基づく補間処理）を行う。これにより、画像処理部１７０は、立体視画像を適切に表示するための左眼視用画像および右眼視用画像を生成することができる。この補間処理の例を図５に示す。また、例えば、画像処理部１７０は、左眼視用画像データおよび右眼視用画像データに基づいて、他の画像処理を行うことができる。例えば、ステレオマッチングによりデイスパリティ・マップ（Disparity Map）を生成する視差検出技術、そのデイスパリティ・マップに基づいて、視差を制御する視差制御技術を用いて視差の強調や適切化を図ることができる。

［デモザイク処理例］
図５は、本発明の第１の実施の形態における画像処理部１７０による画像処理（デモザイク処理）を模式的に示す図である。図５では、ベイヤ配列を有する撮像素子１４０を構成する各画素のうち、左眼視用画像におけるＧ画素に関する信号値を生成する例について説明する。なお、ホワイトバランス調整、露出、コントラスト、彩度、シャープネス等の画質調整、カラーマネジメントその他画像信号処理、ソフトウエア処理、フォーマット変換等については、一般的なデジタル画像処理と共通であるため、説明を省略する。

通常のデモザイク処理では、例えば、近傍の同一色の画素の電気信号の平均値が用いられる。しかしながら、本発明の第１の実施の形態では、右眼視用画像データを生成するための画素群（画素群の列）と、左眼視用画像データを生成するための画素群（画素群の列）とが交互に繰り返されている。このため、通常のデモザイク処理と同様に、近傍の値を用いると、本来の画像データが得られなくなるおそれがある。そこで、本発明の第１の実施の形態では、参照される画素の電気信号が左眼視用画像データおよび右眼視用画像データの何れに相当するものであるかを考慮してデモザイク処理を行う。

ここで、図５において、各画素に対応する矩形内には、画素の種類（Ｇ、Ｒ、Ｂ）と、画素の位置（ｉ，ｊ）とを付して示す。なお、画素の位置（ｉ，ｊ）は、Ｘ軸方向における識別番号（図５の上側に示す）と、Ｙ軸方向における識別番号（図５の左側に示す）とにより示す。また、図５に示すベイヤ配列において、太線で囲まれている画素２５０（位置（４，４））は、Ｒ画素であるものとする。例えば、画素２５０に相当するＧ画素信号値ｇ'を生成する場合には、次の式１により表される演算を行う。
ｇ'（４，４）＝（ｇ（３，４）＋ｇ（４，５）＋ｇ（５，４）＋ｇ（４，１）×Ｗ３）／（３．０＋Ｗ３） …式１

ここで、式１の左辺のｇ'（ｉ，ｊ）は、画素の位置（ｉ，ｊ）におけるＧ画素信号値を意味する。また、右辺のｇ（ｉ，ｊ）は、画素の位置（ｉ，ｊ）におけるＧ画素の電気信号の値を意味する。さらに、右辺の分母の「３．０」は、注目画素（画素２５０（位置（４，４）））に隣接する３つのＧ画素（位置（３，４）、位置（４，５）、位置（５，４））の距離（Ｗ１）に関する重みを示す値である。すなわち、右辺の分母の「３．０」は、３つのＧ画素（位置（３，４）、位置（４，５）、位置（５，４））の距離（Ｗ１）をそれぞれ所定値（例えば、１．０）とする場合において、その逆数を重みとしてそれら重みの総和に対応するものである。なお、図５では、注目画素に隣接する３つのＧ画素（参照画素）と、３画素分だけ離れているＧ画素（参照画素）とを点線の矩形で囲んで示す。

また、右辺の分母、分子のＷ３は、３画素分だけ離れているＧ画素（位置（４，１））の電気信号の値に対する重みを示す値である。この例では、「１／３」である。

ここで、式１を一般化すると、次の式２および式３のようになる。なお、式２は、ｉが偶数の場合における信号値（Ｒ画素の位置に相当するＧ画素の信号値）を算出する場合に用いる式である。また、式３は、ｉが奇数の場合における信号値（Ｂ画素の位置に相当するＧ画素の信号値）を算出する場合に用いる式である。
ｇ'（ｉ，ｊ）＝（ｇ（ｉ−１，ｊ）×Ｗ１＋ｇ（ｉ，ｊ＋１）×Ｗ１＋ｇ（ｉ＋１，ｊ）×Ｗ１＋ｇ（ｉ，ｊ−３）×Ｗ３）／（Ｗ１×３．０＋Ｗ３） …式２
ｇ'（ｉ，ｊ）＝（ｇ（ｉ−１，ｊ）×Ｗ１＋ｇ（ｉ，ｊ＋１）×Ｗ１＋ｇ（ｉ−１，ｊ）×Ｗ１＋ｇ（ｉ，ｊ＋３）×Ｗ３）／（Ｗ１×３．０＋Ｗ３） …式３

ここで、例えば、Ｗ１＝１．０、Ｗ３＝１／３とすることができる。

なお、この例では、Ｒ画素の位置におけるＧ画素信号値を生成する例を示したが、他の画素信号値を生成する場合についても同様にデモザイク処理を行うことができる。

このように、デモザイク処理により各画素の位置における画素の信号値を得ることができるが、この段階では、上述したとおり、一種、歯抜け状態となっている。そのため、画素の信号値が存在しない領域に対して、画素の信号値を補間処理により生成する必要がある。この補間方法として、例えば、近傍の値の加算平均値を利用する方法等、周知の方法を挙げることができる。なお、この補間処理は、デモザイク処理と並行して行ってもよい。垂直方向においては、画質が完全に保持されているため、画像全体の解像度低下等の画質劣化は比較的少ない。

［撮像素子および撮像素子偏光部の構成例］
図６は、本発明の第１の実施の形態における撮像素子１４０および撮像素子偏光部１３０を模式的に示す図である。

図７は、本発明の第１の実施の形態におけるワイヤグリッド偏光子３００を形成する際における半導体プロセスの流れを簡略化して示す図である。

図６（ａ）には、撮像素子１４０および撮像素子偏光部１３０の断面を簡略化して示す。図６（ｂ）には、撮像素子偏光部１３０を構成するワイヤグリッド偏光子３００（第３偏光子１３１、第４偏光子１３２）の配列の一部を簡略化して示す。

撮像素子１４０は、基板（シリコン半導体基板）１４１と、光電変換素子１４２と、第１平坦化膜１４３と、カラーフィルタ１４４と、オンチップレンズ１４５とを備える。また、オンチップレンズ１４５には、第２平坦化膜１４６と、無機絶縁下地層１４７と、ワイヤグリッド偏光子３００とが積層されている。

光電変換素子１４２は、基板１４１に設けられている光電変換素子である。また、光電変換素子１４２の上には、第１平坦化膜１４３、カラーフィルタ１４４、オンチップレンズ１４５、第２平坦化膜１４６、無機絶縁下地層１４７およびワイヤグリッド偏光子３００が積層されている。また、ワイヤグリッド偏光子３００が、第３偏光子１３１および第４偏光子１３２のそれぞれを構成する。なお、オンチップレンズ、カラーフィルタおよびワイヤグリッド偏光子の積層順は、適宜変更することができる。

オンチップレンズ１４５は、オンチップレンズ１４５上の第２平坦化膜１４６により平坦化され、その上にワイヤグリッド偏光子３００を形成するためのＷＧＰ加工ストッパ膜（無機絶縁下地層１４７）を成膜する。ワイヤグリッド偏光子３００は、ＷＧＰ加工ストッパ膜上に半導体工程のアルミ微細加工プロセスにより形成することができる。このＷＧＰ形成半導体プロセス例については、図７（ａ）および（ｂ）に示す。

また、ワイヤグリッド偏光子３００を構成するワイヤ３１０は、例えば、アルミニウム（Ａｌ）またはアルミニウム合金により構成される。なお、ワイヤ３１０のピッチ、ワイヤ３１０のＤｕｔｙ（＝ワイヤ幅／ピッチ）、ワイヤ３１０の高さ等については、図１３乃至図１６を参照して詳細に説明する。

図６（ｂ）では、基本ブロック（図３に示す２画素（水平方向）×２画素（垂直方向）の画素群）に対応する領域を実線の正方形で示す。また、ワイヤ３１０を水平方向または垂直方向に延びる長方形で示す。すなわち、ワイヤグリッド偏光子３００を構成する複数のワイヤ３１０の延びる方向は、水平方向または垂直方向と平行である。

具体的には、第３偏光子１３１を構成するワイヤグリッド偏光子３０１については、ワイヤ３１１の延びる方向が垂直方向と平行である。また、第４偏光子１３２を構成するワイヤグリッド偏光子３０２については、ワイヤ３１２の延びる方向が水平方向と平行である。なお、ワイヤ３１０の延びる方向が、ワイヤグリッド偏光子３００における光吸収軸となり、ワイヤ３１０の延びる方向と直交する方向がワイヤグリッド偏光子３００における光透過軸となる。

［立体視画像の生成例］
ここで、立体視画像を記録する場合について説明する。立体視画像は、上述したように、複数の画像（例えば、左眼視用画像および右眼視用画像）により構成されるため、平面画像（いわゆる、２Ｄ画像）の記録フォーマット（伝送フォーマット）により記録する場合には、複数の画像をそのままのサイズでは取り扱えない。このため、それらの記録フォーマットにより記憶する場合には、画像信号について間引き処理や圧縮処理を行うことにより、複数の画像を１枚の画像として取り扱うことにより記録することが多い。

ここで、記録フォーマットとして、サイドバイサイド方式、トップアンドボトム方式、ラインバイライン方式、チェッカーボード方式、フレームシーケンシャル方式、Ｌ＋視差方式が知られている。これらの記録フォーマットのうち、サイドバイサイド方式、トップアンドボトム方式、ラインバイライン方式、チェッカーボード方式では、左右の画像信号のうち、半分の画像データを失うが、従来の画像サイズに収めることができる。このため、従来の放送網等で広く使用されている。また、サイドバイサイド方式は、ＣＳ（Communications Satellite）デジタル放送やＢＳ（Broadcasting Satellite）デジタル放送等にも採用されている。すなわち、サイドバイサイド方式は、３Ｄ映像の伝送方式として最も普及している方式である。

また、フレームシーケンシャル方式、Ｌ＋視差方式は、高画質であるが、フルＨＤ（full high definition）のサイズを超えてしまうため、これから登場すると想定される再生装置と表示機器間等で採用される見込みである。

そこで、本発明の第１の実施の形態では、撮像素子１４０により生成される画像データをサイドバイサイド方式により記録する例を示す。

図８は、本発明の第１の実施の形態における画像処理部１７０により記録対象画像を生成する際における画像処理方法の一例を模式的に示す図である。

図８（ａ）では、ＲＡＷデータ４００から記録対象画像データ４１０を生成する場合における画像処理方法の一例を示す。ここで、ＲＡＷデータ４００を構成する矩形のうち、白抜きの矩形は、第１偏光子１２１および第３偏光子１３１を通過した光により生成される画像データ（水平方向の２画素分の画像データ）を示す。また、ＲＡＷデータ４００を構成する矩形のうち、内部に斜線を付した矩形は、第２偏光子１２２および第４偏光子１３２を通過した光により生成される画像データ（水平方向の２画素分の画像データ）を示す。また、図８では、説明の容易のため、水平方向におけるライン（白抜きの矩形、内部に斜線を付した矩形）の数を少なくして示す。

図８（ａ）の矢印に示すように、画像処理部１７０は、撮像素子１４０より読み出された画像信号（画像データ）を、２画素ライン毎に並び替えてサイドバイサイド方式の画像データ（記録対象画像データ４１０）に変換する。すなわち、瞳の右側と左側を透過する画像毎に画像データが並び替えられ、図８（ｂ）に示す記録対象画像データ４１０が生成される。なお、これ以降の画像処理については、通常のフルＨＤ画像として扱うことが可能である。このため、これ以降の画像処理については説明を省略する。

図９は、本発明の第１の実施の形態における画像処理部１７０により生成される記録対象画像データ４３０と、表示対象画像となる立体視画像４４０との関係を模式的に示す図である。

図９（ａ）には、撮像素子１４０により生成されたＲＡＷデータ４２０を模式的に示す。ここで、ＲＡＷデータ４２０を構成する矩形は、瞳偏光部１２０および撮像素子偏光部１３０を通過した光により生成される画像データであり、その矩形内には、識別番号１乃至１０を示す。

図９（ｂ）には、ＲＡＷデータ４２０がサイドバイサイド方式に変換された画像データ（記録対象画像データ４３０）を模式的に示す。なお、ＲＡＷデータ４２０から記録対象画像データ４３０への変換方法については、図８（ａ）に示す変換方法と同一であるため、ここでの説明を省略する。

このように、本発明の第１の実施の形態では、ＲＡＷデータ４２０からサイドバイサイド方式の画像データ（記録対象画像データ４３０）に変換する際に、垂直方向の画素群（２ライン）のデータを入れ替えるのみでよいため、垂直方向の解像度が維持される。

ここで、撮像素子偏光部における各偏光子（水平方向のライン）を垂直方向に交互に配置する場合や、撮像素子偏光部における各偏光子を市松模様に配置する場合において、サイドバイサイド方式により画像データを記録する場合を想定する。これらの場合には、垂直方向および水平方向の解像度が、それぞれ１／２以上劣化する。これに対して、本発明の第１の実施の形態では、水平方向の解像度は１／２に劣化するが、垂直方向の解像度については劣化が生じない。このため、サイドバイサイド方式への変換に起因する画像の劣化（すなわち、水平方向および垂直方向の解像度の１／２以上の劣化）を防止することができる。

このように立体視画像を記録することにより、撮像素子偏光部における各偏光子（水平方向のライン）を垂直方向に交互に配置する場合等と比較して、被写体の細部の描写を細かく表現することができる。すなわち、撮像素子偏光部１３０における第３偏光子１３１および第４偏光子１３２（垂直方向のライン）を水平方向に交互に配置することにより、垂直方向の解像度が劣化しないため、立体視画像の画質の劣化を低減させることができる。

図９（ｃ）には、図９（ｂ）に示す記録対象画像データ４３０を表示する際に表示対象となる立体視画像４４０を模式的に示す。立体視画像４４０は、左眼視用画像４４１および右眼視用画像４４２により構成されている。ここで、点線で示す矩形に対応する領域（識別番号１乃至１０が内部に付されていない領域）については、その再生時に補間処理等が行われる。そして、補間処理後の立体視画像が表示される。

このように、画像処理部１７０は、撮像素子１４０により生成される画像データのうち、第１偏光子１２１および第３偏光子１３１を通過した光（第１通過光）に基づいて生成される画像データを第１画像データ（右眼視用画像データ）とする。また、画像処理部１７０は、撮像素子１４０により生成される画像データのうち、第２偏光子１２２および第４偏光子１３２を通過した第２通過光に基づいて生成される画像データを第２画像データ（左眼視用画像データ）とする。なお、第１画像データおよび第２画像データは、立体視画像を表示するための画像データである。

また、画像処理部１７０は、撮像素子１４０により生成された画像データを、第３偏光子１３１および第４偏光子１３２に対応する第２方向（垂直方向（Ｙ軸方向））のライン単位で並び替えることにより、第１画像データおよび第２画像データを生成する。

また、画像処理部１７０は、所定の記録フォーマット（例えば、サイドバイサイド方式）により記憶部１８０に記録するための画像データとして第１画像データおよび第２画像データを生成する。

なお、この例では、撮像素子１４０から読み出された画像信号を並び替えることにより、記録対象画像データを生成する例を示したが、他の画像変換方法を用いるようにしてもよい。例えば、撮像素子１４０から画像信号を読み出す際に、立体視画像を構成する一方の画像（例えば、左眼視用画像）の各ラインを２画素単位で順次読み出した後に、他方の画像（例えば、右眼視用画像）の各ラインを２画素単位で順次読み出すようにしてもよい。そして、読み出された画像データを用いて、サイドバイサイド方式の画像データを生成することができる。

すなわち、画像処理部１７０は、撮像素子１４０により生成された画像データのうち、第３偏光子１３１に対応する第２方向のライン単位で順次読み出された画像データを第１画像データとすることができる。また、画像処理部１７０は、撮像素子１４０により生成された画像データのうち、第４偏光子１３２に対応する第２方向のライン単位で順次読み出された画像データを第２画像データとすることができる。

［撮像素子における偏光子の配列例］
近年の撮像素子（イメージセンサ）は多画素化が進み、１０００万画素以上の撮像素子が開発されている。しかしながら、動画として扱われる画素数は、フルＨＤで約２００万画素であり、通常は動画として扱う場合は隣接する画素を加算して使用することが多い。

このため、このような多画素の撮像素子には、予め加算する画素数に応じてベイヤ配列×Ｎ（Ｎは、１以上の整数）の割合で撮像素子に偏光子を配置しておくことができる。この配置例を図１０に示す。

図１０は、本発明の第１の実施の形態における撮像素子偏光部１３０を構成する各偏光子の配置の変形例を示す図である。図１０に示す例では、画素加算する撮像素子８００に適用する場合における偏光子の配置例を示す。

図１０に示す例は、水平方向において、基本ブロック（図３に示す２画素（水平方向）×２画素（垂直方向）の画素群）×２の割合で、多画素の撮像素子８００に偏光子（第３偏光子１３１、第４偏光子１３２）を配置する例である。なお、図１０では、図３（ｂ）と同様に、撮像素子８００における各画素の全部（ただし、一部を省略）を示す。また、図１０では、第３偏光子１３１および第４偏光子１３２が配置される撮像素子８００における配置を、各図における上側に示す文字（第３偏光子１３１および第４偏光子１３２）により特定する。なお、図１０では、撮像素子８００が８００万画素である場合を例にして示す。

このように、水平方向においてＮ個の画素（ただし、Ｎ＝２ｎ（ｎは１乃至５の自然数））からなる垂直ライン（画素群）に対して、１つの第３偏光子１３１および第４領域を配置することができる。

すなわち、第３偏光子１３１および第４偏光子１３２は、例えば、撮像素子１４０における第１方向の２画素分の第２方向のラインを配列単位として複数の配列単位毎に交互に配置される。

また、画像処理部１７０は、撮像素子１４０により生成された画像データについて第３偏光子１３１および第４偏光子１３２に対応する第２方向のライン単位で加算処理が行われた後に、その加算処理が行われた画像データを並び替える。そして、画像処理部１７０は、その加算処理が行われた画像データの並び替えにより第１画像データおよび第２画像データを生成することができる。なお、加算処理は、画像処理部１７０が行うようにしてもよく、撮像素子１４０が行うようにしてもよい。

また、この例では、加算処理が行われた画像信号を並び替えることにより、記録対象画像データを生成する例を示したが、他の画像変換方法を用いるようにしてもよい。例えば、画像処理部１７０は、第３偏光子１３１に対応する第２方向のライン単位の画像データについて加算処理が行われた後に順次読み出された画像データ（その加算処理が行われた画像データ）を第１画像データとする。また、画像処理部１７０は、第４偏光子１３２に対応する第２方向のライン単位の画像データについて加算処理が行われた後に順次読み出された当該加算処理が行われた画像データ（その加算処理が行われた画像データ）を第２画像データとすることができる。

［撮像装置の動作例］
次に、本発明の第１の実施の形態における撮像装置１００の動作について図面を参照して説明する。

図１１は、本発明の第１の実施の形態における撮像装置１００による画像処理の処理手順の一例を示すフローチャートである。この例では、撮像素子１４０から全画素の画像データを取得して、画像処理部１７０が並び替えを行う例を示す。

最初に、画像処理部１７０が、撮像素子１４０における全画素の画像データを取得する（ステップＳ９０１）。なお、ステップＳ９０１は、特許請求の範囲に記載の取得手順の一例である。

続いて、画像処理部１７０が、撮像素子１４０から取得された画像データについて並び替え処理を行う（ステップＳ９０２）。すなわち、第３偏光子１３１および第４偏光子１３２のそれぞれに対応する画素群単位で、画像データを並び替え、サイドバイサイド方式の画像データを生成する（ステップＳ９０２）。なお、ステップＳ９０２は、特許請求の範囲に記載の画像処理手順の一例である。

続いて、画像処理部１７０が、サイドバイサイド方式の画像データについてデモザイク処理を行う（ステップＳ９０３）。続いて、画像処理部１７０が、デモザイク処理が施されたサイドバイサイド方式の画像データを出力する（ステップＳ９０４）。例えば、画像処理部１７０が、デモザイク処理が施されたサイドバイサイド方式の画像データを出力して記憶部１８０に記憶させる（ステップＳ９０４）。

図１２は、本発明の第１の実施の形態における撮像装置１００による画像処理の処理手順の一例を示すフローチャートである。この例では、立体視画像を構成する画像単位で画像データを撮像素子１４０から取得する例を示す。

最初に、画像処理部１７０が、第３偏光子１３１に対応する画素群の画像データを取得する（ステップＳ９１１）。続いて、画像処理部１７０が、第４偏光子１３２に対応する画素群の画像データを取得する（ステップＳ９１２）。このように、立体視画像を構成する画像単位で画像データを撮像素子１４０から取得するため、画像データの並び替え処理を行わずに、画像処理部１７０は、サイドバイサイド方式の画像データを生成することができる。なお、ステップＳ９１１およびＳ９１２は、特許請求の範囲に記載の取得手順の一例である。また、ステップＳ９１１およびＳ９１２は、特許請求の範囲に記載の画像処理手順の一例である。

続いて、画像処理部１７０が、サイドバイサイド方式の画像データについてデモザイク処理を行う（ステップＳ９１３）。続いて、画像処理部１７０が、デモザイク処理が施されたサイドバイサイド方式の画像データを出力する（ステップＳ９１４）。例えば、画像処理部１７０が、デモザイク処理が施されたサイドバイサイド方式の画像データを出力して記憶部１８０に記憶させる（ステップＳ９１４）。

このように、本発明の第１の実施の形態では、３Ｄ映像の伝送方式として最も一般的なサイドバイサイド方式を用いる。このため、撮像素子１４０により生成された画像データをサイドバイサイド方式の映像信号に変換する際に、その垂直解像度が維持される。このため、立体視画像の画質の劣化を低減させることができる。

また、画像データを並び替えるのみの比較的簡単な信号処理により、立体視動画（３Ｄ動画）を生成することができる。また、左右画像を並べ替えた後は、通常のＨＤ信号の処理アルゴリズムがそのまま使えるため、回路規模を少なくすることができる。

［ワイヤグリッド偏光子例］
ここで、本発明の第１の実施の形態におけるワイヤグリッド偏光子（ＷＧＰ）の外観構造と動作の概略について説明する。

例えば、メタル（アルミニウム）のリブを波長に対して十分小さい線幅数十ｎｍ、ピッチ百数十ｎｍで形成すると、リブに平行な偏光成分は反射し、垂直な偏光成分は透過する優れた偏光分離特性を有する反射型偏光板になることが知られている。

［ワイヤグリッド偏光子の形状と特性］
図１３は、本発明の第１の実施の形態におけるワイヤグリッド偏光子のピッチ、高さおよび幅の関係を簡略的に示す図である。図１３では、ワイヤグリッド偏光子を構成するワイヤ３１０のピッチをＰとし、その高さをＨとし、その幅（ワイヤ幅）をＤとして示す。図１３に示す構造により、個別に水準振りをして指標の挙動を確認した例を以下では示す。

ここで、クロストーク限界は１０％であることから、消光比を１０以上とするワイヤグリッド偏光子の構造に必要な、ピッチ、Ｄｕｔｙ（＝ワイヤ幅／ピッチ）、高さ、周期繰り返し数による消光比の変化を計算した結果の一例を図１４および図１５に示す。

図１４および図１５は、本発明の第１の実施の形態におけるワイヤグリッド偏光子のピッチ、高さ、Ｄｕｔｙ（＝ワイヤ幅／ピッチ）、長さを変化させた場合における計算例を示す図である。なお、図１４（ａ）乃至（ｃ）の左側には、消光比（縦軸）および波長（横軸）の関係を表すグラフを示し、図１４（ａ）乃至（ｃ）の右側には、透過率（縦軸）および波長（横軸）の関係を表すグラフを示す。

図１４（ａ）には、ピッチ振り結果を示す。具体的には、ワイヤ３１０のピッチＰを１５０ｎｍから３００ｎｍまで変化させた場合における計算例を示す。なお、図１４（ａ）では、ワイヤ３１０のピッチＰを表す値（１５０、１７５、２００、２５０、３００）を各曲線に付して示す。

図１４（ａ）に示すように、消光比＞１０とするためには、ワイヤ３１０のピッチＰは、２００ｎｍ以下が必要である。

図１４（ｂ）には、高さ振り結果を示す。具体的には、ワイヤ３１０の高さＨを１００ｎｍから２５０ｎｍまで変化させた場合における計算例を示す。なお、図１４（ｂ）では、ワイヤ３１０の高さＨを表す値（１００、１５０、２００、２５０）を各曲線に付して示す。

図１４（ｂ）に示すように、ワイヤ３１０の高さＨが高いほど消光比は高くなるが、透過率は低くなる。すなわち、ワイヤ３１０の高さＨと、透過率とはトレードオフの関係となる。また、消光比＞１０とするためには、ワイヤ３１０の高さＨとして５０ｎｍ以上が必要である。

図１４（ｃ）には、Ｄｕｔｙ振り結果を示す。具体的には、ワイヤ３１０のＤｕｔｙ（＝ワイヤ幅／ピッチ）を０．３３から０．５まで変化させた場合における計算例を示す。なお、図１４（ｃ）では、ワイヤ３１０のＤｕｔｙ（＝ワイヤ幅／ピッチ）を表す値（０．３３、０．５）を各曲線に付して示す。

図１４（ｃ）に示すように、ワイヤ３１０のＤｕｔｙ（＝ワイヤ幅／ピッチ）が大きいほど消光比は高くなるが、透過率は低くなる。すなわち、ワイヤ３１０のＤｕｔｙ（＝ワイヤ幅／ピッチ）と、透過率とはトレードオフの関係となる。また、消光比＞１０とするためには、Ｄｕｔｙ（＝ワイヤ幅／ピッチ）として０．３３以上が必要である。

図１５（ａ）および（ｂ）には、独立する２本ピラー構造のアルミワイヤモデル（格子形状モデル）を簡略化して示す。すなわち、図１５（ａ）には、アルミワイヤモデル（格子形状モデル）６０１および６０２の正面図を示す。また、図１５（ｂ）には、アルミワイヤモデル（格子形状モデル）６０１および６０２の側面図（図１５（ａ）の矢印６０３から見た場合における側面図）を示す。

図１５（ｃ）には、図１５（ａ）および（ｂ）に示すアルミワイヤモデル（格子形状モデル）について、ワイヤの長さを１ｕｍ乃至６ｕｍ、無限長とした場合における消光比の計算結果を示す。具体的には、図１５（ｃ）には、消光比（縦軸）および波長（横軸）の関係（ワイヤグリッド長さ＝６、５、４、３、２、１、∞（ｉｎｆ）［ｕｍ］とする場合）を表すグラフを示す。また、図１５（ｃ）では、ワイヤの長さを表す値（６、５、４、３、２、１、ｉｎｆ）を各曲線に付して示す。

このように、消光比は、ワイヤ本数よりもワイヤ長さに対しての依存性が大きく、その適用限界を決めると考えられる。このため、ワイヤ長さが短くなるほど、ＲＥＤ側で消光比が劣化し、長さ２ｕｍで消光比１０以下に低下する。

以上から、長さ方向には２ｕｍ以上のワイヤが必要であり、並び方向にも同様のサイズが必要になると考えられる。このため、２００ｎｍピッチのワイヤの場合、周期構造としては１０周期以上が適正であると考えられる。

以上の結果から、ワイヤグリッド偏光子の構造について、配線材料をアルミニウムとする場合には、ピッチ２００ｎｍ以下、Ｄｕｔｙ（＝ワイヤ幅／ピッチ）１／３以上、高さ５０ｎｍ以上とし、１０周期以上配置されている格子を形成することが好ましい。

［ワイヤグリッド偏光子と画素の位置関係例］
図６（ａ）に示すように、ワイヤグリッド偏光子および撮像素子により構成される偏光イメージセンサは、光電変換素子、カラーフィルタ、オンチップレンズ（ＯＣＬ）、ワイヤグリッド偏光子等により構成される。

ここで、ＯＣＬ上の偏光子による散乱・回折等により、隣接する画素に光が漏れこむ場合には、混色やゴースト、ノイズの原因となる。このため、絞りの位置で、偏光方向により分離された左右画像の光は、正しくＯＣＬ上の偏光子部分で偏光分離され、画素毎に正しく入射する必要がある。

一般に光学部品としての偏光子は、常光と異常光の位相差をつけるため、ある程度の厚さが必要であり、市販品では、樹脂製のフィルムで厚さ数百ミクロン、方解石、雲母、水晶等の結晶材料でも数百ミクロンから数ミクロンの厚さがある。また、フォトニック結晶等の周期構造を持つ偏光子でも厚さ５ｕｍの例が報告されている。

例えば、現在の２．５ｕｍ以下の画素サイズのＣＭＯＳイメージセンサにおいて、これらの偏光子をＯＣＬ上に形成した場合、偏光方向を検出する偏光子の位置が画素面から、少なくとも５ｕｍ以上の上空の位置にあることになる。このため、シリコンチップ面の２．５ｕｍ毎に隣接する画素毎に、混ざることなく、正しく偏光を分離することは困難である。

そこで、本発明の第１の実施の形態では、ワイヤグリッド偏光子を用いる。例えば、ワイヤグリッド偏光子を用いる場合には、厚さ数百ナノメートルで形成可能であり、ＯＣＬ直上に設置することが可能となる。また、３ｕｍ毎に区切ったエリアに、それぞれ直交するワイヤグリッドを形成し、ＴＥ波、ＴＭ波を当てた場合の偏光分離状態を計算した一例を図１６に示す。

図１６は、本発明の第１の実施の形態におけるワイヤグリッド偏光子の光伝播状態のシミュレーションを示す図である。なお、図１６では、縦軸、横軸の単位をｕｍとする例を示す。

図１６に示すように、少なくとも厚さ方向０．７５ｕｍの伝播領域において、偏光方向毎に分離された光は、混色・回折・散乱することなく隣接する画素エリアに到達する。

このように、本発明の第１の実施の形態によれば、ＯＣＬ直上に偏光子を形成することができるため、隣接する画素への光の漏れこみ（混色）が少なく、クリアな画像を生成することができる。また、ピッチ、高さ、Ｄｕｔｙ等の設計により任意の消光比での設計が可能となる。さらに、通常の半導体プロセスにおいて形成することができるため、イメージセンサプロセスとの親和性を高めることができる。また、任意の画素に任意の方向の偏光子を形成することができる。

また、小型かつ単板（すなわち、センサ一枚）のイメージセンサを用いて立体視画像の撮像動作（いわゆる、３Ｄ撮影）が可能となる。また、画素毎に任意の偏光画像を生成することが可能となる。

また、本発明の第１の実施の形態によれば、１組の瞳偏光部１２０、撮像素子偏光部１３０、１つのレンズ系１１０から撮像装置１００が構成されているため、例えば左右に分離された２つの異なる画像を同時に生成させることができる。このため、単眼で簡素な構造を有し、構成部品の少ない、小型の撮像装置を提供することができる。すなわち、小型かつ低コストで立体視画像を生成することができる撮像装置を提供することができる。

また、レンズおよび偏光フィルタの組合せを２組必要としないため、ズーム、絞り部、フォーカス、輻輳角等にズレや差異が生じることを防止することができる。また、両眼視差の基線長さが比較的短いため、自然な立体感を得ることができる。また、絞り部１１３の位置において、瞳偏光部１２０の挿抜を可能とする構造とすることにより、容易に平面画像（２次元画像）および立体視画像（３Ｄ画像）を得ることができる。

また、時分割方式（すなわち、絞り部の位置で左右シャッタ切り替えすることにより、時系列で交互に左右画像を撮像する方式）と比較した場合には、同時刻で左右画像を撮像することができ、機構部品を少なくすることができる。また、イメージセンサへの機能の集積が可能となる。さらに、シャッタロス、時間周波数を上げることによる撮像処理の効率低下を防止し、明るい画像を生成することができる。

＜２．第２の実施の形態＞
本発明の第１の実施の形態では、１つのレンズ系を備える撮像装置により立体視画像を生成する撮像装置（いわゆる、１眼式３Ｄカメラ）を例にして説明した。ただし、複数のレンズ系を備え、これらのレンズ系を用いて立体視画像を生成することが可能な撮像装置（例えば、２眼式３Ｄカメラ）についても本発明の第１の実施の形態を適用するようにしてもよい。そこで、本発明の第２の実施の形態では、複数のレンズ系を備える撮像装置について説明する。

［撮像装置の構成例］
図１７は、本発明の第２の実施の形態における撮像装置５００の内部構成例を示す斜視図である。

撮像装置５００は、第１レンズ群５１１、５１３と、第２レンズ群５１２、５１４と、第１偏光子５２１と、第２偏光子５２２と、ミラー５３１乃至５３４と、撮像素子偏光部５４０と、撮像素子５５０とを備える。また、第１偏光子５２１は、被写体からの光を集光する第１光学系（第１レンズ群５１１、第２レンズ群５１２）における絞り部（図示せず）の近傍に配置される。また、第２偏光子５２２は、被写体からの光を集光する第２光学系（第１レンズ群５１３、第２レンズ群５１４）における絞り部（図示せず）の近傍に配置される。このように、撮像装置５００は、２つのレンズ系（第１レンズ群５１１、５１３、第２レンズ群５１２、５１４）と、１つの撮像素子５５０とを備える撮像装置である。

なお、第１偏光子５２１は、図１等に示す第１偏光子１２１に対応し、第２偏光子５２２は、図１等に示す第２偏光子１２２に対応する。また、撮像素子偏光部５４０は、図１等に示す撮像素子偏光部１３０に対応する。また、画像処理部等については、図１等に示す画像処理部１７０と略同様であるため、図示およびその説明を省略する。

また、各種画像（立体視画像等）を扱うことが可能な撮像機能付の他の装置（携帯電話機、ナビゲーションシステム、携帯型メディアプレイヤー等）についても本発明の実施の形態を適用することができる。

なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、本発明の実施の形態において明示したように、本発明の実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本発明の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本発明は実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。

また、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disk）、メモリカード、ブルーレイディスク（Blu-ray Disc（登録商標））等を用いることができる。

１００、５００ 撮像装置
１１０ レンズ系
１１１ 撮影レンズ
１１２ 結像レンズ
１１３ 絞り部
１２０ 瞳偏光部
１２１、５２１ 第１偏光子
１２２、５２２ 第２偏光子
１３０、５４０ 撮像素子偏光部
１３１ 第３偏光子
１３２ 第４偏光子
１４０、５５０、８００ 撮像素子
１４１ シリコン半導体基板
１４２ 光電変換素子
１４３ 第１平坦化膜
１４４ カラーフィルタ
１４５ オンチップレンズ
１４６ 第２平坦化膜
１４７ 無機絶縁下地層
１５０ 操作受付部
１６０ 制御部
１７０ 画像処理部
１８０ 記憶部
５１１、５１３ 第１レンズ群
５１２、５１４ 第２レンズ群
５３１〜５３４ ミラー

Claims (13)

1. 絞り近傍に配置されて被写体からの光を偏光させる２つの偏光子であって偏光方向が互いに直交する第１偏光子および第２偏光子と、
   前記第１偏光子および前記第２偏光子を結ぶ方向を視差方向とし、前記視差方向および前記視差方向に直交する方向である直交方向により特定されるマトリクス状に画素が配置される撮像素子の受光面において前記直交方向に沿って前記直交方向に延びるように交互に配置されて前記被写体からの光を偏光させる２つの偏光子であって偏光方向が前記第１偏光子と平行である第３偏光子と偏光方向が前記第２偏光子と平行である第４偏光子と、
   前記撮像素子により生成される画像データのうち、前記第１偏光子および前記第３偏光子を通過した光に基づいて生成される画像データを立体視画像を表示するための第１画像データとし、前記第２偏光子および前記第４偏光子を通過した光に基づいて生成される画像データを前記立体視画像を表示するための第２画像データとする画像処理部とを具備し、
   前記第３偏光子および前記第４偏光子は、前記撮像素子における前記視差方向の２画素分の前記直交方向のラインを配列単位として複数の配列単位毎に交互に配置される
   撮像装置。
2. 前記画像処理部は、前記撮像素子により生成された画像データを、前記第３偏光子および前記第４偏光子に対応する前記直交方向のライン単位で並び替えることにより前記第１画像データおよび前記第２画像データを生成する請求項１記載の撮像装置。
3. 前記画像処理部は、前記撮像素子により生成された画像データについて前記第３偏光子および前記第４偏光子に対応する前記複数の配列単位のラインを構成する隣接する複数の画素を加算する加算処理が行われた後に、前記加算処理が行われた画像データを並び替えることにより前記第１画像データおよび前記第２画像データを生成する請求項１記載の撮像装置。
4. 前記画像処理部は、前記撮像素子により生成された画像データのうち、前記第３偏光子に対応する前記直交方向のライン単位で順次読み出された画像データを前記第１画像データとし、前記第４偏光子に対応する前記直交方向のライン単位で順次読み出された画像データを前記第２画像データとする請求項１記載の撮像装置。
5. 前記画像処理部は、前記撮像素子により生成された画像データのうち、前記第３偏光子に対応する前記複数の配列単位のラインの画像データについて当該ラインを構成する隣接する複数の画素を加算する加算処理が行われた後に順次読み出された当該加算処理が行われた画像データを前記第１画像データとし、前記第４偏光子に対応する前記複数の配列単位のラインの画像データについて当該ラインを構成する隣接する複数の画素を加算する加算処理が行われた後に順次読み出された当該加算処理が行われた画像データを前記第２画像データとする請求項１記載の撮像装置。
6. 前記撮像素子は、各画素が原色系ベイヤ配列により配置される請求項１記載の撮像装置。
7. 前記第１偏光子および前記第２偏光子は、前記被写体からの光を集光する１つの光学系における前記絞り近傍において前記直交方向を境界として隣接して配置される請求項１記載の撮像装置。
8. 前記第１偏光子は、前記被写体からの光を集光する第１光学系における前記絞り近傍に配置され、
   前記第２偏光子は、前記被写体からの光を集光する第２光学系における前記絞り近傍に配置される
   請求項１記載の撮像装置。
9. 前記画像処理部は、所定の記録フォーマットにより記録媒体に記録するための画像データとして前記第１画像データおよび前記第２画像データを生成する請求項１記載の撮像装置。
10. 前記画像処理部は、サイドバイサイド方式の記録フォーマットにより記録媒体に記録するための画像データとして前記第１画像データおよび前記第２画像データを生成する請求項１記載の撮像装置。
11. 前記視差方向は、前記立体視画像における視差方向である請求項１記載の撮像装置。
12. 絞り近傍に配置されて被写体からの光を偏光させる２つの偏光子であって偏光方向が互いに直交する第１偏光子および第２偏光子と、前記第１偏光子および前記第２偏光子を結ぶ方向を視差方向とし、前記視差方向および前記視差方向に直交する方向である直交方向により特定されるマトリクス状に画素が配置される撮像素子の受光面において前記直交方向に沿って前記直交方向に延びるように交互に配置されて前記被写体からの光を偏光させる２つの偏光子であって偏光方向が前記第１偏光子と平行である第３偏光子と、偏光方向が前記第２偏光子と平行である第４偏光子とを介して入射された光に基づいて前記撮像素子により生成された画像データを取得する取得手順と、
    前記第１偏光子および前記第３偏光子を通過した光に基づいて生成される画像データを立体視画像を表示するための第１画像データとし、前記第２偏光子および前記第４偏光子を通過した光に基づいて生成される画像データを前記立体視画像を表示するための第２画像データとする画像処理手順とを具備し、
    前記第３偏光子および前記第４偏光子は、前記撮像素子における前記視差方向の２画素分の前記直交方向のラインを配列単位として複数の配列単位毎に交互に配置される
    画像処理方法。
13. 絞り近傍に配置されて被写体からの光を偏光させる２つの偏光子であって偏光方向が互いに直交する第１偏光子および第２偏光子と、前記第１偏光子および前記第２偏光子を結ぶ方向を視差方向とし、前記視差方向および前記視差方向に直交する方向である直交方向により特定されるマトリクス状に画素が配置される撮像素子の受光面において前記直交方向に沿って前記直交方向に延びるように交互に配置されて前記被写体からの光を偏光させる２つの偏光子であって偏光方向が前記第１偏光子と平行である第３偏光子と、偏光方向が前記第２偏光子と平行である第４偏光子とを介して入射された光に基づいて前記撮像素子により生成された画像データを取得する取得手順と、
    前記第１偏光子および前記第３偏光子を通過した光に基づいて生成される画像データを立体視画像を表示するための第１画像データとし、前記第２偏光子および前記第４偏光子を通過した光に基づいて生成される画像データを前記立体視画像を表示するための第２画像データとする画像処理手順とをコンピュータに実行させるプログラムであって、
    前記第３偏光子および前記第４偏光子は、前記撮像素子における前記視差方向の２画素分の前記直交方向のラインを配列単位として複数の配列単位毎に交互に配置される
    プログラム。