JP2013102322A - Imaging apparatus and imaging method - Google Patents

Imaging apparatus and imaging method Download PDF

Info

Publication number
JP2013102322A
JP2013102322A JP2011244313A JP2011244313A JP2013102322A JP 2013102322 A JP2013102322 A JP 2013102322A JP 2011244313 A JP2011244313 A JP 2011244313A JP 2011244313 A JP2011244313 A JP 2011244313A JP 2013102322 A JP2013102322 A JP 2013102322A
Authority
JP
Japan
Prior art keywords
region
light
image
imaging
passing light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2011244313A
Other languages
Japanese (ja)
Inventor
Shinji Miyazawa
信二 宮澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2011244313A priority Critical patent/JP2013102322A/en
Publication of JP2013102322A publication Critical patent/JP2013102322A/en
Pending legal-status Critical Current

Links

Abstract

PROBLEM TO BE SOLVED: To provide an imaging apparatus with simple configuration and structure capable of imaging a subject as a stereoscopic image.SOLUTION: An imaging apparatus comprises an imaging element array 40 having first polarization means 30, a lens system 20 and second polarization means 50. The first polarization means 30 has a first region 31 and a second region 32, the second polarization means 50 has plural third regions 51 and fourth regions 52. Light passes the third regions 51 is in a polarization state, light passes the fourth regions 52 is in a non-polarization state, and to a part of the second polarization means 50 constituting the third region 51, a wire grid polarizer inclined to a first direction is provided. The first region passing light reaches to an imaging element by passing through the third region 51, and the first region passing light and the second region passing light reach the imaging element by passing through the fourth region 52, thus an image for obtaining a stereoscopic image having a distance between a gravity point BCof the first region and a gravity point BCof the first polarization means 30 serving as a base line length of binocular parallax is imaged.

Description

本開示は、撮像装置及び撮像方法に関し、より具体的には、被写体を立体画像として撮像する撮像装置及び撮像方法に関する。   The present disclosure relates to an imaging apparatus and an imaging method, and more specifically to an imaging apparatus and an imaging method for imaging a subject as a stereoscopic image.

従来、共通の被写体を左右に配置した２台のビデオカメラによって同時に撮像し、得られた２種類の画像（右眼用画像及び左眼用画像）を同時に出力することによって立体画像を表示するシステムが提案されている。しかしながら、このような２台のビデオカメラを用いた場合、装置が大型化してしまい、実用的ではない。また、２台のビデオカメラの間の基線長（ベースライン）、即ち、立体カメラとしての両眼間距離は、レンズのズーム比に拘わらず、人間の両眼の距離に相当する６５ｍｍ程度とされることが多い。そして、このような場合、ズームアップされた画像においては両眼視差が大きくなってしまい、観察者の視覚系に日常と異なる情報処理を強制することになり、視覚疲労の原因となる。また、移動する被写体を２台のビデオカメラで撮像することは、２台のビデオカメラの精密な同期制御を必要とし、非常に困難であるし、輻輳角の正確な制御もまた、非常に困難である。   2. Description of the Related Art Conventionally, a system that displays a stereoscopic image by simultaneously capturing images of two common cameras on two left and right video cameras and simultaneously outputting two types of images (right-eye image and left-eye image). Has been proposed. However, when such two video cameras are used, the apparatus becomes large and is not practical. The baseline length (baseline) between the two video cameras, that is, the distance between both eyes as a stereoscopic camera, is set to about 65 mm, which corresponds to the distance between both eyes of the human, regardless of the zoom ratio of the lens. Often. In such a case, the binocular parallax becomes large in the zoomed-up image, forcing the viewer's visual system to perform information processing different from daily life, causing visual fatigue. In addition, it is very difficult to capture a moving subject with two video cameras, which requires precise synchronization control of the two video cameras, and accurate control of the convergence angle is also very difficult. It is.

立体撮影を行うためのレンズ系の調整を容易にするために、互いに直交関係となるように偏光させる偏光フィルタを組み合わせることによって、光学系を共通化させる立体撮影装置が提案されている（例えば、特公平６−０５４９９１号公報参照）。   In order to facilitate adjustment of a lens system for performing stereoscopic imaging, a stereoscopic imaging apparatus has been proposed in which an optical system is made common by combining polarizing filters that are polarized so as to be orthogonal to each other (for example, (See Japanese Patent Publication No. 6-054991).

また、２つのレンズと１つの撮像手段から構成された撮像装置で立体撮影を行う方式が提案されている（例えば、特開２００４−３０９８６８参照）。この特許公開公報に開示された撮像装置は、
所定数の走査線の整数倍に相当する画素が撮像面に設けられた撮像手段と、
被写体からの第１の映像光における水平成分だけを透過する第１の水平成分偏光手段と、
上記第１の水平成分偏光手段とは所定距離だけ離隔された位置に配置され、上記被写体からの第２の映像光における垂直成分だけを透過する第１の垂直成分偏光手段、
とを具え、
上記第１の水平成分偏光手段により透過した上記水平成分を上記撮像面における所定範囲の画素に集光させ、
上記第１の垂直成分偏光手段によって透過された上記垂直成分を上記所定範囲を除く残余範囲の画素に集光させる。具体的には、ＣＣＤの撮像面に対して所定距離だけ離れた位置に、人間の視差に応じた間隔だけ離間して配置された水平成分偏光フィルタ及び垂直成分偏光フィルタが、２つのレンズと共に設けられている。 In addition, a method of performing stereoscopic shooting with an imaging device including two lenses and one imaging unit has been proposed (for example, see Japanese Patent Application Laid-Open No. 2004-309868). The imaging device disclosed in this patent publication is
Imaging means provided with pixels corresponding to an integral multiple of a predetermined number of scanning lines on the imaging surface;
First horizontal component polarization means that transmits only the horizontal component in the first video light from the subject;
A first vertical component polarization unit which is disposed at a position separated from the first horizontal component polarization unit by a predetermined distance and transmits only a vertical component in the second video light from the subject;
And
Condensing the horizontal component transmitted by the first horizontal component polarizing means on a predetermined range of pixels on the imaging surface;
The vertical component transmitted by the first vertical component polarization unit is condensed on pixels in the remaining range excluding the predetermined range. Specifically, a horizontal component polarizing filter and a vertical component polarizing filter, which are arranged at a predetermined distance from the CCD imaging surface and spaced by a distance corresponding to human parallax, are provided together with two lenses. It has been.

特公平６−０５４９９１号公報Japanese Patent Publication No. 6-054991 特開２００４−３０９８６８JP 2004-309868 A

ところで、特公平６−０５４９９１号に開示された技術にあっては、２つの偏光フィルタの出力を重ねて光路を一系統とすることによって、レンズ系を共通化させている。しかしながら、後段で右眼用画像及び左眼用画像を抽出するために更に偏光フィルタを設け、光路自体を再度分けて別々の偏光フィルタに入光させなければならず、レンズ系において光の損失が発生し、また、装置の小型化が困難であるなどの問題がある。特開２００４−３０９８６８に開示された技術にあっては、レンズ及び偏光フィルタの組合せを２組、必要とし、装置の複雑化、大型化が免れない。また、これらの撮像装置を用いて、立体画像を撮影するだけでなく、通常の２次元画像を撮影することは、装置が複雑になり、現実的ではない。   By the way, in the technique disclosed in Japanese Patent Publication No. 6-054991, the lens system is made common by superimposing the outputs of the two polarizing filters to form a single optical path. However, in order to extract the right-eye image and the left-eye image in the subsequent stage, it is necessary to further provide a polarizing filter, and to divide the optical path itself again so as to enter different polarizing filters. There is a problem that it is generated and it is difficult to downsize the apparatus. In the technique disclosed in Japanese Patent Application Laid-Open No. 2004-309868, two combinations of lenses and polarization filters are required, and the complexity and size of the apparatus cannot be avoided. Further, it is not practical to shoot not only a stereoscopic image but also a normal two-dimensional image using these imaging devices, because the device becomes complicated.

従って、本開示の目的は、簡素な構成、構造を有し、１台の撮像装置によって被写体を立体画像として撮像し得る撮像装置、及び、係る撮像装置を用いた撮像方法を提供することにある。   Accordingly, an object of the present disclosure is to provide an imaging device having a simple configuration and structure and capable of imaging a subject as a stereoscopic image by a single imaging device, and an imaging method using the imaging device. .

上記の目的を達成するための本開示の撮像装置は、
（Ａ）被写体からの光を偏光させる第１偏光手段、
（Ｂ）第１偏光手段からの光を集光するレンズ系、並びに、
（Ｃ）第１の方向、及び、第１の方向と直交する第２の方向に２次元マトリクス状に撮像素子が配列されて成り、光入射側に第２偏光手段を有し、レンズ系によって集光された光を電気信号に変換する撮像素子アレイ、
を具備し、
第１偏光手段は、第１の方向に沿って配列された第１領域及び第２領域を有し、
第１領域を通過した第１領域通過光の偏光状態と、第２領域を通過した第２領域通過光の偏光状態とは異なり、
第２偏光手段は、第２の方向に沿って交互に配置され、第１の方向に延びる複数の第３領域及び第４領域を有し、
第３領域を通過した第３領域通過光は偏光状態にあり、第４領域を通過した第４領域通過光は非偏光状態にあり、
第３領域を構成する第２偏光手段の部分には、ワイヤグリッド偏光子が設けられており、
ワイヤグリッド偏光子を構成するワイヤの延びる方向と第１の方向との成す角度θは、０度を超え、９０度未満であり、
第１領域通過光は第３領域を通過して撮像素子に到達し、第１領域通過光及び第２領域通過光は第４領域を通過して撮像素子に到達し、以て、第１領域の重心点と第１偏光手段の重心点との間の距離を両眼視差の基線長さとした立体画像を得るための画像を撮像する。 In order to achieve the above object, an imaging apparatus of the present disclosure is provided.
(A) first polarizing means for polarizing light from the subject;
(B) a lens system for condensing light from the first polarizing means, and
(C) The imaging elements are arranged in a two-dimensional matrix in a first direction and a second direction orthogonal to the first direction, and have second polarization means on the light incident side. An image sensor array for converting the collected light into an electrical signal;
Comprising
The first polarizing means has a first region and a second region arranged along the first direction,
The polarization state of the first region passing light that has passed through the first region is different from the polarization state of the second region passing light that has passed through the second region,
The second polarizing means has a plurality of third regions and fourth regions that are alternately arranged along the second direction and extend in the first direction,
The third region passing light that has passed through the third region is in a polarization state, the fourth region passing light that has passed through the fourth region is in a non-polarization state,
A wire grid polarizer is provided in the portion of the second polarizing means constituting the third region,
The angle θ formed between the extending direction of the wires constituting the wire grid polarizer and the first direction is greater than 0 degrees and less than 90 degrees,
The first region passing light passes through the third region and reaches the imaging device, and the first region passing light and the second region passing light pass through the fourth region and reach the imaging device, and thus the first region. An image for obtaining a stereoscopic image in which the distance between the centroid point and the centroid point of the first polarizing means is the baseline length of binocular parallax is taken.

上記の目的を達成するための本開示の撮像方法は、上記の本開示の撮像装置を用いた撮像方法であって、
第３領域を通過して撮像素子に到達した第１領域通過光によって、右眼用及び左眼用のいずれか一方の画像を得るための電気信号を撮像素子において生成し、
第４領域を通過して撮像素子に到達した第１領域通過光及び第２領域通過光によって、右眼用及び左眼用のいずれか他方の画像を得るための電気信号を撮像素子において生成し、
これらの電気信号を出力する。 An imaging method of the present disclosure for achieving the above object is an imaging method using the imaging device of the present disclosure.
With the first region passing light that has passed through the third region and reached the image sensor, an electrical signal for obtaining one of the right eye image and the left eye image is generated in the image sensor,
An electric signal for obtaining one of the right eye image and the left eye image is generated in the image sensor by the first area light and the second area light passing through the fourth area and reaching the image sensor. ,
These electric signals are output.

本開示の撮像装置あるいは撮像方法においては、１組の第１偏光手段及び第２偏光手段並びに１つのレンズ系から撮像装置が構成されているので、単眼で、簡素な構成、構造を有する、小型の撮像装置を提供することができる。また、レンズ及び偏光フィルタの組合せを２組、必要としないので、ズーム、絞り部、フォーカス、輻輳角等にズレや差異が生じることもない。しかも、両眼視差の基線長さが比較的短いので、自然な立体感を得ることができる。更には、容易に２次元画像及び３次元画像を得ることができる。   In the imaging apparatus or the imaging method of the present disclosure, the imaging apparatus is configured by a set of the first polarizing unit, the second polarizing unit, and one lens system. The imaging device can be provided. Further, since two pairs of lenses and polarizing filters are not required, there is no deviation or difference in zoom, aperture, focus, convergence angle, and the like. Moreover, since the baseline length of binocular parallax is relatively short, a natural stereoscopic effect can be obtained. Furthermore, a two-dimensional image and a three-dimensional image can be easily obtained.

加えて、ワイヤグリッド偏光子を構成するワイヤの延びる方向と第１の方向との成す角度θは、０度を超え、９０度未満であるが故に、ワイヤの長さは撮像素子の第１の方向に沿った長さＸ1よりも長く、ワイヤグリッド偏光子の消光比を大きくすることができるし、ワイヤグリッド偏光子の製造時、ワイヤグリッド偏光子に損傷が発生し難く、しかも、ワイヤグリッド偏光子による偏光状態の均一化を図ることができる。 In addition, since the angle θ between the extending direction of the wires constituting the wire grid polarizer and the first direction is more than 0 degree and less than 90 degrees, the length of the wire is the first of the image sensor. The length of the wire grid polarizer is longer than the length X 1 in the direction, the extinction ratio of the wire grid polarizer can be increased, and the wire grid polarizer is less likely to be damaged when the wire grid polarizer is manufactured. The polarization state can be made uniform by the polarizer.

図１の（Ａ）、（Ｂ）及び（Ｃ）は、それぞれ、実施例１の撮像装置の概念図、第１偏光手段及び第２偏光手段における偏光の状態を模式的に示す図である。FIGS. 1A, 1 </ b> B, and 1 </ b> C are diagrams schematically illustrating an imaging apparatus according to the first exemplary embodiment and states of polarization in the first polarizing unit and the second polarizing unit, respectively. 図２の（Ａ）及び（Ｂ）は、それぞれ、実施例１の撮像装置において、第１偏光手段における第１領域及び第２偏光手段における第３領域を通過し、撮像素子アレイに到達する光の概念図、及び、第１偏光手段における第１領域及び第２領域並びに第２偏光手段における第４領域を通過し、撮像素子アレイに到達する光の概念図であり、図２の（Ｃ）及び（Ｄ）は、図２の（Ａ）及び（Ｂ）に示した光によって撮像素子アレイに結像した画像を模式的に示す図である。FIGS. 2A and 2B respectively illustrate light that passes through the first region of the first polarization unit and the third region of the second polarization unit and reaches the image sensor array in the imaging apparatus of the first embodiment. FIG. 2C is a conceptual diagram of the light passing through the first region and the second region of the first polarizing means and the fourth region of the second polarizing means, and reaching the image sensor array, and FIG. And (D) are diagrams schematically showing an image formed on the image sensor array by the light shown in (A) and (B) of FIG. 2. 図３の（Ａ）及び（Ｂ）は、それぞれ、実施例１の撮像装置におけるワイヤグリッド偏光子を有する撮像素子の模式的な一部断面図、及び、ワイヤグリッド偏光子の配列状態を模式的に示す図である。3A and 3B are a schematic partial cross-sectional view of an image sensor having a wire grid polarizer in the image pickup apparatus of Embodiment 1, and a schematic arrangement state of the wire grid polarizer, respectively. FIG. 図４は、実施例１の撮像装置におけるベイヤ配列を有する撮像素子アレイの概念図である。FIG. 4 is a conceptual diagram of an imaging element array having a Bayer array in the imaging apparatus according to the first embodiment. 図５の（Ａ）及び（Ｂ）は、それぞれ、ワイヤグリッド偏光子を構成するワイヤの長さと消光比との関係、及び、ワイヤの長さとエッチングマスク層の倒れ易さとの関係を求めたグラフである。FIGS. 5A and 5B are graphs for determining the relationship between the length of the wire constituting the wire grid polarizer and the extinction ratio, and the relationship between the length of the wire and the ease of falling of the etching mask layer, respectively. It is. 図６は、画像に発生した縞模様を示す図である。FIG. 6 is a diagram showing a stripe pattern generated in an image. 図７は、第２の方向に沿った撮像素子の長さと、ワイヤグリッド偏光子の製造時の損傷発生及び消光比との関係を、角度θをパラメータとしてグラフ化した図である。FIG. 7 is a graph showing the relationship between the length of the image sensor along the second direction, the occurrence of damage and the extinction ratio during manufacture of the wire grid polarizer, using the angle θ as a parameter. 図８の（Ａ）及び（Ｂ）は、それぞれ、実施例２の撮像装置において、第１偏光手段及び第２偏光手段における偏光の状態を模式的に示す図である。FIGS. 8A and 8B are diagrams schematically illustrating the polarization states of the first polarization unit and the second polarization unit in the imaging apparatus according to the second embodiment. 図９は、実施例２の撮像装置におけるベイヤ配列を有する撮像素子アレイの概念図である。FIG. 9 is a conceptual diagram of an image pickup element array having a Bayer array in the image pickup apparatus according to the second embodiment. 図１０は、実施例３の撮像装置における画像処理手段の概念図である。FIG. 10 is a conceptual diagram of image processing means in the imaging apparatus according to the third embodiment. 図１１の（Ａ）及び（Ｂ）は、それぞれ、撮像素子の変形例の模式的な一部断面図である。11A and 11B are schematic partial cross-sectional views of modifications of the image sensor. 図１２の（Ａ）、（Ｂ）及び（Ｃ）は、実施例１におけるワイヤグリッド偏光子の製造方法を説明するための、第２平坦化膜等の模式的な一部端面図である。12A, 12B, and 12C are schematic partial end views of a second planarizing film and the like for explaining the method of manufacturing the wire grid polarizer in the first embodiment. 図１３の（Ａ）、（Ｂ）及び（Ｃ）は、図１２の（Ｃ）に引き続き、実施例１におけるワイヤグリッド偏光子の製造方法を説明するための、第２平坦化膜等の模式的な一部端面図である。13A, 13B, and 13C are schematic diagrams of the second planarizing film and the like for explaining the method of manufacturing the wire grid polarizer in the first embodiment, following FIG. 12C. It is a typical partial end view. 図１４は、比較例１Ａにおけるワイヤグリッド偏光子の配列状態を模式的に示す図である。FIG. 14 is a diagram schematically illustrating an arrangement state of wire grid polarizers in Comparative Example 1A. 図は、比較例１Ｂにおけるワイヤグリッド偏光子の配列状態を模式的に示す図である。The figure schematically shows an arrangement state of wire grid polarizers in Comparative Example 1B. 図１６は、ワイヤグリッド偏光子を通過する光等を説明するための概念図である。FIG. 16 is a conceptual diagram for explaining the light passing through the wire grid polarizer.

以下、図面を参照して、実施例に基づき本開示を説明するが、本開示は実施例に限定されるものではなく、実施例における種々の数値や材料は例示である。尚、説明は、以下の順序で行う。
１．本開示の撮像装置及び撮像方法、全般に関する説明
２．実施例１（本開示の撮像装置及び撮像方法）
３．実施例２（実施例１の変形）、その他
４．実施例３（実施例１〜実施例２における画像処理手段の説明）、その他 Hereinafter, although this indication is explained based on an example with reference to drawings, this indication is not limited to an example and various numerical values and materials in an example are illustrations. The description will be given in the following order.
1. 1. General description of imaging apparatus and imaging method of the present disclosure Example 1 (Imaging Device and Imaging Method of the Present Disclosure)
3. Example 2 (modification of Example 1), others 4. Example 3 (Description of image processing means in Examples 1 to 2), others

［本開示の撮像装置及び撮像方法、全般に関する説明］
本開示の撮像装置あるいは本開示の撮像方法での使用に適した撮像装置においては、第２の方向に沿って連続するＭ個の撮像素子（但し、Ｍ＝２mであり、ｍは２乃至５の自然数）に対して１つの第３領域及び１つの第４領域を配する形態とすることができる。そして、この場合、
複数の撮像素子ユニットが、第１の方向及び第２の方向に２次元マトリクス状に配列されており、
１つの撮像素子ユニットは、４つの撮像素子がベイヤ配列されて成り、
第３領域は、第２の方向に沿って連続した２個の撮像素子に対応して配されており、
第４領域は、第２の方向に沿って連続した残りの撮像素子に対応して配されている形態とすることができる。そして、更には、第３領域は、第１の方向に沿った全ての撮像素子に対応して配されている形態とすることができ、あるいは又、θ1≦θ≦θ2を満足することが好ましい。但し、第２の方向に沿った撮像素子の長さをＸ2としたとき、θ1は、
ｆ1（Ｘ2）＝ａｒｃｓｉｎ（Ｘ2／１２．４） （Ａ）
から求められた値を切り捨てた整数値であり、θ2は、
ｆ2（Ｘ2）＝ａｒｃｓｉｎ（Ｘ2／１０．０） （Ｂ）
から求められた値を切り上げた整数値である。更には、以上に説明した各種の好ましい形態を含む本開示の撮像装置あるいは本開示の撮像方法での使用に適した撮像装置にあっては、ワイヤグリッド偏光子を構成するワイヤには切れ目が存在しないことが好ましい。 [Description of Imaging Device and Imaging Method of the Present Disclosure, and General]
In an imaging device suitable for use in the imaging device of the present disclosure or the imaging method of the present disclosure, M imaging elements that are continuous along the second direction (provided that M = 2 m and m is 2 to 2). (A natural number of 5), one third region and one fourth region may be arranged. And in this case
A plurality of image sensor units are arranged in a two-dimensional matrix in the first direction and the second direction,
One image sensor unit consists of four image sensors arranged in a Bayer array,
The third region is arranged corresponding to two imaging elements continuous along the second direction,
The fourth region may be arranged corresponding to the remaining imaging elements that are continuous along the second direction. Further, the third region may be arranged corresponding to all the image sensors along the first direction, or satisfy θ 1 ≦ θ ≦ θ 2. Is preferred. However, when the length of the image sensor along the second direction is X 2 , θ 1 is
f 1 (X 2) = arcsin (X 2 /12.4) (A)
An integer value by truncating the value obtained from, theta 2 is
f 2 (X 2 ) = arcsin (X 2 /10.0) (B)
It is an integer value obtained by rounding up the value obtained from. Furthermore, in the imaging device of the present disclosure including the various preferable modes described above or the imaging device suitable for use in the imaging method of the present disclosure, there is a break in the wires constituting the wire grid polarizer. Preferably not.

上述したとおり、１つの撮像素子ユニットは、４つの撮像素子がベイヤ配列されて成ることが好ましいが、これに限定するものではなく、その他、インターライン配列、ＧストライプＲＢ市松配列、ＧストライプＲＢ完全市松配列、市松補色配列、ストライプ配列、斜めストライプ配列、原色色差配列、フィールド色差順次配列、フレーム色差順次配列、ＭＯＳ型配列、改良ＭＯＳ型配列、フレームインターリーブ配列、フィールドインターリーブ配列を挙げることができる。また、上記のとおり、第３領域は、第１の方向に沿った全ての撮像素子に対応して配されている形態とすることが好ましいが、これに限定するものではなく、第１の方向に沿ってＮ個の撮像素子（但し、Ｎ＝２nであり、ｎは２乃至５の自然数）に対して１つの第３領域を配する形態としてもよい。即ち、第１の方向に沿って第３領域が不連続に設けられており、第３領域の不連続部分を通過した光は非偏光状態である形態とすることもできる。 As described above, it is preferable that one image pickup device unit is formed by arranging four image pickup devices in a Bayer arrangement. However, the present invention is not limited to this, and in addition, an interline arrangement, a G stripe RB checkered arrangement, a G stripe RB complete A checkered arrangement, a checkered complementary arrangement, a stripe arrangement, an oblique stripe arrangement, a primary color difference arrangement, a field color difference arrangement, a frame color difference arrangement, a MOS arrangement, an improved MOS arrangement, a frame interleave arrangement, and a field interleave arrangement. In addition, as described above, the third region is preferably arranged corresponding to all the imaging elements along the first direction, but is not limited thereto, and the first direction is not limited thereto. A third region may be arranged for N imaging elements (where N = 2 n and n is a natural number of 2 to 5). That is, the third region can be provided discontinuously along the first direction, and the light passing through the discontinuous portion of the third region can be in a non-polarized state.

ワイヤグリッド偏光子を構成するワイヤは、限定するものではないが、アルミニウム（Ａｌ）あるいはアルミニウム合金から成り、
ワイヤの幅Ｗ0とワイヤのピッチＰ0との比［（ワイヤの幅Ｗ0）／（ワイヤのピッチＰ0）］の値は０．３３以上であり、
ワイヤの高さは５×１０-8ｍ以上であり、
１つの撮像素子当たりワイヤは１０本以上である構成とすることが好ましい。 The wire constituting the wire grid polarizer is not limited, but is made of aluminum (Al) or an aluminum alloy,
The ratio of the wire width W 0 to the wire pitch P 0 [(wire width W 0 ) / (wire pitch P 0 )] is 0.33 or more,
The height of the wire is 5 × 10 −8 m or more,
It is preferable that the number of wires per image sensor is 10 or more.

以上に説明した各種の好ましい形態を含む本開示の撮像装置あるいは本開示の撮像方法での使用に適した撮像装置（以下、これらを総称して、『本開示の撮像装置等』と呼ぶ場合がある）において、第１偏光手段はレンズ系の絞り部近傍に配置されている形態とすることが好ましい。あるいは又、レンズ系に入射した光が、一旦、平行光とされ、最終的に撮像素子上に集光（結像）されるとき、平行光の状態にあるレンズ系の部分に第１偏光手段を配置する形態とすることが好ましい。これらの形態にあっては、一般に、レンズ系の光学系を新たに設計し直す必要はなく、既存のレンズ系に第１偏光手段を、固定して、あるいは又、脱着自在に取り付けられるように、機械的（物理的）な設計変更を施せばよい。また、レンズ系に第１偏光手段を脱着自在に取り付ける構成とすることもできる。そして、この場合には、例えば、第１偏光手段をレンズの絞り羽根に類似した構成、構造とし、レンズ系内に配置すればよい。あるいは又、レンズ系において、第１偏光手段と開口部とが併設された部材を、レンズ系の光軸と平行な回動軸を中心として回動可能にこの回動軸に取り付け、係る部材を回動軸を中心として回動させることで、レンズ系を通過する光線が開口部を通過し、あるいは、第１偏光手段を通過する構成、構造を挙げることができる。あるいは又、レンズ系において、第１偏光手段と開口部とが併設された部材を、例えばレンズ系の光軸と直交する方向に滑動自在にレンズ系に取り付け、係る部材を滑動させることで、レンズ系を通過する光線が開口部を通過し、あるいは、第１偏光手段を通過する構成、構造を挙げることができ、この場合、第１偏光手段と開口部とが併設された部材は、１つの部材から構成されていてもよいし、複数の部材片から構成されていてもよい。   An imaging apparatus suitable for use in the imaging apparatus of the present disclosure including the various preferred embodiments described above or the imaging method of the present disclosure (hereinafter, these may be collectively referred to as “imaging apparatus etc. of the present disclosure”). The first polarizing means is preferably arranged in the vicinity of the stop of the lens system. Alternatively, when the light incident on the lens system is once converted into parallel light and finally condensed (imaged) on the image sensor, the first polarizing means is applied to the portion of the lens system in the parallel light state. It is preferable to adopt a form in which In these forms, it is generally not necessary to redesign the optical system of the lens system, and the first polarizing means can be fixed to the existing lens system, or can be attached detachably. Any mechanical (physical) design change may be applied. Further, the first polarizing means can be detachably attached to the lens system. In this case, for example, the first polarizing means may be configured and structured similar to the diaphragm blades of the lens and disposed in the lens system. Alternatively, in the lens system, a member provided with the first polarizing means and the opening is attached to the rotation shaft so as to be rotatable about a rotation axis parallel to the optical axis of the lens system. By rotating about the rotation axis, a configuration and a structure in which a light beam passing through the lens system passes through the opening or through the first polarizing means can be mentioned. Alternatively, in the lens system, a member provided with the first polarizing means and the opening is attached to the lens system so as to be slidable in a direction orthogonal to the optical axis of the lens system, for example, and the member is slid. The structure and the structure in which the light beam passing through the system passes through the opening or the first polarizing means can be mentioned. In this case, there is only one member provided with the first polarizing means and the opening. It may be comprised from the member and may be comprised from the several member piece.

あるいは又、レンズ系を、１つの単焦点レンズ、及び、単焦点レンズの前面あるいは前方（物体側）に配置された絞り部から構成し、即ち、前絞り型の単焦点レンズから構成し、第１偏光手段はレンズ系の絞り部近傍に配置されている形態とすることが好ましい。そして、第１偏光手段は、上述したとおり、レンズ系に脱着自在に取り付けられていることが望ましい。また、１つの単焦点レンズは、例えば、撮像レンズ群から成る構成とすることができるし、１つの単焦点レンズは、全体として撮像素子アレイに対して前後に移動可能であり、これによってオートフォーカス機能を発現するものであることが望ましい。更には、第１偏光手段と１つの単焦点レンズとの間の最短距離は０．６ｍｍ以下、好ましくは、０．０５ｍｍ乃至０．６ｍｍであることが望ましい。   Alternatively, the lens system is composed of one single-focus lens and a diaphragm unit arranged on the front surface or the front (object side) of the single-focus lens, that is, a single-focus lens of the front diaphragm type. It is preferable that the one polarizing means is arranged in the vicinity of the stop portion of the lens system. And as above-mentioned, it is desirable for the 1st polarization | polarized-light means to be attached to the lens system so that attachment or detachment is possible. In addition, one single-focus lens can be configured by, for example, an imaging lens group, and one single-focus lens can be moved back and forth with respect to the image sensor array as a whole, thereby autofocusing. It is desirable that it exhibits a function. Furthermore, the shortest distance between the first polarizing means and one single focus lens is 0.6 mm or less, and preferably 0.05 mm to 0.6 mm.

上記の好ましい形態を含む本開示の撮像装置等にあっては、第１偏光手段において、第１領域と第２領域との間に中央領域が設けられており、中央領域を通過した中央領域通過光の偏光状態は、中央領域入射前と変化しない形態とすることができる。即ち、中央領域は、偏光に関して素通し状態とすることができる。第１偏光手段の中央領域にあっては、光強度が強いが、視差量は少ない。従って、このような形態とすることで、撮像素子アレイが受ける光強度を大きくしながら、十分な長さの両眼視差の基線長さを確保することが可能となる。第１偏光手段の外形形状を円形としたとき、中央領域を円形とし、第１領域及び第２領域を、中央領域を囲む中心角１８０度の扇形とすることができるし、中央領域を正方形や菱形とし、第１領域及び第２領域を、中央領域を囲む中心角１８０度の扇形に類似した形状とすることができる。あるいは又、第１領域、中央領域及び第２領域を、第２の方向に沿って延びる帯状の形状とすることができる。   In the imaging device or the like of the present disclosure including the above-described preferable mode, the first polarizing unit includes a central region between the first region and the second region, and the central region passes through the central region. The polarization state of the light can be in a form that does not change from that before entering the central region. That is, the central region can be transparent with respect to polarized light. In the central region of the first polarizing means, the light intensity is strong, but the amount of parallax is small. Therefore, by adopting such a configuration, it is possible to secure a sufficiently long baseline length of binocular parallax while increasing the light intensity received by the imaging element array. When the outer shape of the first polarizing means is circular, the central region can be circular, the first region and the second region can be fan-shaped with a central angle of 180 degrees surrounding the central region, The first region and the second region can be shaped like a diamond and have a shape similar to a sector having a central angle of 180 degrees surrounding the central region. Alternatively, the first region, the central region, and the second region can be formed in a strip shape extending along the second direction.

以上に説明した各種の好ましい形態を含む本開示の撮像装置等において、第１領域及び第２領域は偏光子から成り、第１領域通過光の電場の向きと第２領域通過光の電場の向きとは直交している構成とすることができる。そして、このような構成を含む本開示の撮像装置等において、第１領域通過光の電場の向きは第２の方向と平行である構成とすることができるし、あるいは又、第１領域通過光の電場の向きは第１の方向と平行である構成とすることができるし、あるいは又、第１領域通過光の電場の向きは第２の方向とθの角度を成す構成とすることができるし、あるいは又、第１領域通過光の電場の向きは第２の方向と任意の角度αを成す構成とすることができる。   In the imaging device and the like of the present disclosure including various preferable embodiments described above, the first region and the second region are made of a polarizer, and the direction of the electric field of the first region passing light and the direction of the electric field of the second region passing light are Can be orthogonal to each other. In the imaging device or the like of the present disclosure including such a configuration, the direction of the electric field of the first region passing light may be parallel to the second direction, or alternatively, the first region passing light. The direction of the electric field can be parallel to the first direction, or the direction of the electric field of the first region passing light can be configured to form an angle θ with the second direction. Alternatively, the direction of the electric field of the first region passing light may be configured to form an arbitrary angle α with the second direction.

本開示の撮像装置等において、偏光子の消光比は、３以上、好ましくは１０以上であることが望ましい。   In the imaging apparatus or the like of the present disclosure, the extinction ratio of the polarizer is 3 or more, preferably 10 or more.

ここで、『偏光状態』とは、電場及び磁場が特定の方向にのみ振動する光の状態を指し、『非偏光状態』とは、光の偏光に規則性が無く、直交している電場成分の位相関係が無秩序な光の状態を指す。また、『偏光子』とは、自然光（非偏光）や円偏光から直線偏光を作り出すものを指し、第１領域及び第２領域を構成する偏光子、それ自体は、周知の構成、構造の偏光子（偏光板）とすればよい。また、例えば、第１領域通過光及び第２領域通過光の一方の偏光成分を主としてＳ波（ＴＥ波）とし、第１領域通過光及び第２領域通過光の他方の偏光成分を主としてＰ波（ＴＭ波）とすればよい。第１領域通過光及び第２領域通過光の偏光状態は、直線偏光であってもよいし、円偏光（但し、回転方向が相互に逆の関係にある）であってもよい。一般に、振動方向が或る特定の向きだけの横波を偏光した波と呼び、この振動方向を偏光方向あるいは偏光軸と呼ぶ。光の電場の向きは偏光方向と一致する。消光比とは、第１領域通過光の電場の向きが、例えば、第２の方向と平行である構成とする場合、第１領域にあっては、第１領域を通過する光に含まれる、電場の向きが第２の方向である光の成分と電場の向きが第１の方向である光の成分の割合であり、第２領域にあっては、第２領域を通過する光に含まれる、電場の向きが第１の方向である光の成分と電場の向きが第２の方向である光の成分の割合である。また、第１領域通過光の電場の向きが第２の方向とθあるいはαの角度を成す構成とする場合、第１領域にあっては、第１領域を通過する光に含まれる、電場の向きが第２の方向とθあるいはαの角度を成す光の成分と（θ＋９０度）あるいは（α＋９０度）の角度を成す光の成分の割合であり、第２領域にあっては、第２領域を通過する光に含まれる、電場の向きが第１の方向と（θ＋９０度）あるいは（α＋９０度）の角度を成す光の成分とθあるいはαの角度を成す光の成分の割合である。あるいは又、例えば、第１領域通過光の偏光成分が主としてＳ波であり、第２領域通過光の偏光成分が主としてＰ波である場合、第１領域にあっては、第１領域通過光に含まれるＳ偏光成分とＰ偏光成分の割合であり、第２領域にあっては、第２領域通過光に含まれるＰ偏光成分とＳ偏光成分の割合である。   Here, “polarization state” refers to the state of light in which the electric field and magnetic field vibrate only in a specific direction, and “non-polarization state” refers to an electric field component in which the polarization of light is not regular and is orthogonal. This refers to the state of light where the phase relationship is disordered. In addition, “polarizer” refers to a material that generates linearly polarized light from natural light (non-polarized light) or circularly polarized light. The polarizer constituting the first region and the second region is itself a polarization having a known structure and structure. A child (polarizing plate) may be used. Further, for example, one polarization component of the first region passing light and the second region passing light is mainly an S wave (TE wave), and the other polarization component of the first region passing light and the second region passing light is mainly a P wave. (TM wave) may be used. The polarization state of the first region passing light and the second region passing light may be linearly polarized light or circularly polarized light (however, the rotation directions are opposite to each other). In general, a transverse wave whose vibration direction is only in a specific direction is called a polarized wave, and this vibration direction is called a polarization direction or a polarization axis. The direction of the electric field of light coincides with the polarization direction. The extinction ratio is, for example, when the direction of the electric field of the first region passing light is configured to be parallel to the second direction, the first region is included in the light passing through the first region. This is the ratio of the light component whose electric field direction is the second direction and the light component whose electric field direction is the first direction, and is included in the light passing through the second region in the second region. The ratio of the light component whose electric field direction is the first direction and the light component whose electric field direction is the second direction. Further, when the direction of the electric field of the light passing through the first region is configured to form an angle of θ or α with the second direction, in the first region, the electric field included in the light passing through the first region The ratio of the light component whose direction forms an angle of θ or α with the second direction and the light component of an angle of (θ + 90 degrees) or (α + 90 degrees). In the second area, the second area Is the ratio of the light component having an angle of (θ + 90 degrees) or (α + 90 degrees) with the first direction and the light component having an angle of θ or α, which is included in the light passing through. Alternatively, for example, when the polarization component of the first region passing light is mainly S wave and the polarization component of the second region passing light is mainly P wave, the first region passing light is changed to the first region passing light. The ratio of the S-polarized component and the P-polarized component included. In the second region, the ratio of the P-polarized component and the S-polarized component included in the light passing through the second region.

本開示の撮像装置等において、ワイヤグリッド偏光子を有する撮像素子は、光電変換素子、並びに、その上あるいは上方に、カラーフィルタ、オンチップレンズ、及び、ワイヤグリッド偏光子が積層されて成り、ワイヤグリッド偏光子が第３領域を構成する形態とすることができる。あるいは又、光電変換素子、並びに、その上あるいは上方に、ワイヤグリッド偏光子、カラーフィルタ、及び、オンチップレンズが積層されて成り、ワイヤグリッド偏光子が第３領域を構成する形態とすることができる。あるいは又、光電変換素子、並びに、その上あるいは上方に、オンチップレンズ、カラーフィルタ、及び、ワイヤグリッド偏光子が積層されて成り、ワイヤグリッド偏光子が第３領域を構成する形態とすることができる。但し、オンチップレンズ、カラーフィルタ、及び、ワイヤグリッド偏光子の積層順は、適宜、変更することができる。   In the imaging device or the like of the present disclosure, an imaging element having a wire grid polarizer is formed by laminating a photoelectric conversion element and a color filter, an on-chip lens, and a wire grid polarizer on or above the photoelectric conversion element. The grid polarizer may be configured to constitute the third region. Alternatively, the photoelectric conversion element and a wire grid polarizer, a color filter, and an on-chip lens are stacked on or above the photoelectric conversion element, and the wire grid polarizer may form the third region. it can. Alternatively, the photoelectric conversion element and an on-chip lens, a color filter, and a wire grid polarizer may be stacked on or above the photoelectric conversion element, and the wire grid polarizer may form the third region. it can. However, the stacking order of the on-chip lens, the color filter, and the wire grid polarizer can be changed as appropriate.

一般に、ワイヤグリッド偏光子は、導体材料から成る１次元若しくは２次元の格子状構造を有する。図１６に概念図を示すように、ワイヤの形成ピッチＰ0が入射する電磁波の波長よりも有意に小さい場合、ワイヤの延在方向に平行な平面で振動する電磁波は、選択的にワイヤにて反射・吸収される。そのため、図１６に示すように、ワイヤグリッド偏光子に到達する電磁波には縦偏光成分と横偏光成分が含まれるが、ワイヤグリッド偏光子を通過した電磁波は縦偏光成分が支配的な直線偏光となる。ここで、可視光波長帯に着目して考えた場合、ワイヤの形成ピッチＰ0がワイヤグリッド偏光子へ入射する電磁波の波長と同程度以下である場合、ワイヤの延在方向に平行な面に偏った偏光成分はワイヤの表面で反射若しくは吸収される。一方、ワイヤの延在方向に垂直な面に偏った偏光成分を有する電磁波がワイヤに入射すると、ワイヤの表面を伝播した電場がワイヤの裏面から入射波長と同じ波長、同じ偏光方位のまま透過する。即ち、ワイヤの延びる方向がワイヤグリッド偏光子における光吸収軸となり、ワイヤの延びる方向と直交する方向がワイヤグリッド偏光子における光透過軸となる。 In general, a wire grid polarizer has a one-dimensional or two-dimensional lattice structure made of a conductive material. As shown in the conceptual diagram of FIG. 16, when the wire formation pitch P 0 is significantly smaller than the wavelength of the incident electromagnetic wave, the electromagnetic wave vibrating in a plane parallel to the extending direction of the wire is selectively transmitted by the wire. Reflected and absorbed. Therefore, as shown in FIG. 16, the electromagnetic waves that reach the wire grid polarizer include a longitudinal polarization component and a lateral polarization component, but the electromagnetic waves that have passed through the wire grid polarizer are linearly polarized light in which the longitudinal polarization component is dominant. Become. Here, when focusing attention on the visible light wavelength band, when the wire formation pitch P 0 is equal to or less than the wavelength of the electromagnetic wave incident on the wire grid polarizer, the surface is parallel to the extending direction of the wire. The polarized polarization component is reflected or absorbed by the surface of the wire. On the other hand, when an electromagnetic wave having a polarization component biased in a plane perpendicular to the direction in which the wire extends is incident on the wire, the electric field propagated on the surface of the wire is transmitted from the back surface of the wire with the same wavelength and the same polarization direction as the incident wavelength. . That is, the direction in which the wire extends becomes the light absorption axis in the wire grid polarizer, and the direction orthogonal to the direction in which the wire extends becomes the light transmission axis in the wire grid polarizer.

本開示の撮像方法にあっては、第３領域を通過して撮像素子に到達した第１領域通過光によって、右眼用及び左眼用のいずれか一方の画像を得るための電気信号（便宜上、『第１電気信号』と呼ぶ場合がある）を撮像素子において生成し、第４領域を通過して撮像素子に到達した第１領域通過光及び第２領域通過光によって、右眼用及び左眼用のいずれか他方の画像を得るための電気信号（便宜上、『第２電気信号』と呼ぶ場合がある）を撮像素子において生成するが、撮像装置にあっては、第１電気信号及び第２電気信号に基づき得られた、右眼用及び左眼用の画像データ（あるいは、左眼用及び右眼用の画像データ）において輝度調整を行い、右眼用画像の輝度と左眼用画像の輝度を最適化することが望ましい。   In the imaging method of the present disclosure, an electrical signal (for convenience, for obtaining one of the right-eye image and the left-eye image by the first region passing light that has passed through the third region and reached the imaging device. , Sometimes referred to as “first electric signal”) in the image sensor, and the first region passing light and the second region passing light that have passed through the fourth region and reached the image sensor are used for the right eye and the left An electrical signal (which may be referred to as a “second electrical signal” for convenience) for obtaining one of the other images for the eye is generated in the imaging device. In the imaging apparatus, the first electrical signal and the first electrical signal are generated. (2) Brightness adjustment is performed on right-eye and left-eye image data (or left-eye and right-eye image data) obtained based on electrical signals, and the right-eye image brightness and left-eye image are obtained. It is desirable to optimize the brightness.

そして、本開示の撮像方法にあっては、第３領域を通過した第１領域通過光によって得られる電気信号、及び、第４領域を通過した第１領域通過光及び第２領域通過光によって得られる電気信号から生成されたデプスマップ（奥行き情報）、並びに、撮像素子アレイを構成する全撮像素子からの電気信号に基づき、右眼用画像を得るための画像データ（右眼用画像データ）、及び、左眼用画像を得るための画像データ（左眼用画像データ）を得る構成とすることができる。   And in the imaging method of this indication, it is obtained by the electric signal obtained by the 1st field passage light which passed the 3rd field, and the 1st field passage light and the 2nd field passage light which passed the 4th field. Image data (right-eye image data) for obtaining a right-eye image based on a depth map (depth information) generated from the generated electrical signal, and electrical signals from all the image sensors that constitute the image sensor array, And it can be set as the structure which obtains the image data (image data for left eyes) for obtaining the image for left eyes.

以上に説明した各種の好ましい形態、構成を含む本開示の撮像装置あるいは本開示の撮像方法（以下、これらを総称して、単に、『本開示』と呼ぶ場合がある）において、第１の方向を水平方向、第２の方向を垂直方向とすることができる。あるいは又、第２の方向を水平方向、第１の方向を垂直方向とすることができる。レンズ系は、単焦点レンズとしてもよいし、所謂ズームレンズとしてもよく、レンズやレンズ系の構成、構造は、レンズ系に要求される仕様に基づき決定すればよい。撮像素子として、ＣＣＤセンサー、ＣＭＯＳセンサー、ＣＭＤ（Charge Modulation Device）型の信号増幅型イメージセンサーを挙げることができる。また、撮像装置として、表面照射型の固体撮像装置あるいは裏面照射型の固体撮像装置を挙げることができる。更には、本開示の撮像装置から、例えば、デジタルスチルカメラやビデオカメラ、カムコーダ、所謂カメラ付きの携帯電話を構成することができる。   In the imaging device of the present disclosure or the imaging method of the present disclosure including the various preferred modes and configurations described above (hereinafter, these may be collectively referred to simply as “the present disclosure”), the first direction Can be the horizontal direction and the second direction can be the vertical direction. Alternatively, the second direction can be the horizontal direction and the first direction can be the vertical direction. The lens system may be a single focus lens or a so-called zoom lens, and the configuration and structure of the lens and the lens system may be determined based on specifications required for the lens system. Examples of the imaging element include a CCD sensor, a CMOS sensor, and a CMD (Charge Modulation Device) type signal amplification type image sensor. Examples of the imaging device include a front-illuminated solid-state imaging device and a back-illuminated solid-state imaging device. Furthermore, for example, a digital still camera, a video camera, a camcorder, or a so-called mobile phone with a camera can be configured from the imaging device of the present disclosure.

本開示の撮像装置等において、第１領域の重心点とは、第１領域の外形形状に基づき求められた重心点を指し、第１偏光手段の重心点とは、第１偏光手段の外形形状（入射瞳径）に基づき求められた重心点を指す。第１偏光手段の外形形状（入射瞳径）を半径ｒの円形とし、第１領域及び第２領域を、それぞれ、第１偏光手段の半分を占める半月状としたとき、第１領域の重心点と第１偏光手段の重心点との間の距離は、簡単な計算から、［（４ｒ）／（３π）］で求めることができる。   In the imaging device or the like of the present disclosure, the barycentric point of the first region refers to the barycentric point obtained based on the outer shape of the first region, and the barycentric point of the first polarizing unit refers to the outer shape of the first polarizing unit. It refers to the barycentric point obtained based on (incidence pupil diameter). When the outer shape (incidence pupil diameter) of the first polarizing means is a circle having a radius r, and the first region and the second region are half-moons occupying half of the first polarizing means, the center of gravity of the first region And the center of gravity of the first polarizing means can be obtained by [(4r) / (3π)] from a simple calculation.

実施例１は、本開示の撮像装置及び撮像方法に関し、より具体的には、被写体を立体画像として撮像する撮像装置及び撮像方法に関する。実施例１の撮像装置の概念図を図１の（Ａ）に示し、第１偏光手段及び第２偏光手段における偏光の状態を模式的に図１の（Ｂ）及び（Ｃ）に示す。また、レンズ系、第１偏光手段における第１領域及び第２偏光手段における第３領域を通過し、撮像素子アレイに到達する光の概念図を図２の（Ａ）に示し、第１偏光手段における第１領域及び第２領域並びに第２偏光手段における第４領域を通過し、撮像素子アレイに到達する光の概念図を図２の（Ｂ）に示し、図２の（Ａ）及び（Ｂ）に示した光によって撮像素子アレイに結像した画像を模式的に図２の（Ｃ）及び（Ｄ）に示す。尚、実施例１の説明において、光の進行方向をＺ軸方向、第１の方向を水平方向（Ｘ軸方向）、第２の方向を垂直方向（Ｙ軸方向）とする。また、第３領域に対応して位置するワイヤグリッド偏光子を有する撮像素子を『撮像素子４１Ａ』と呼び、第４領域に対応して位置するワイヤグリッド偏光子を有していない撮像素子を『撮像素子４１Ｂ』と呼び、撮像素子４１Ａ及び撮像素子４１Ｂを総称して撮像素子４１と呼ぶ。   Example 1 relates to an imaging apparatus and an imaging method of the present disclosure, and more specifically, relates to an imaging apparatus and an imaging method for imaging a subject as a stereoscopic image. A conceptual diagram of the image pickup apparatus of Example 1 is shown in FIG. 1A, and the polarization states in the first polarizing means and the second polarizing means are schematically shown in FIGS. 1B and 1C. A conceptual diagram of light passing through the lens system, the first region in the first polarizing means and the third region in the second polarizing means and reaching the imaging element array is shown in FIG. FIG. 2B is a conceptual diagram of light that passes through the first region and the second region in FIG. 4 and the fourth region in the second polarizing means and reaches the image sensor array, and FIGS. (C) and (D) of FIG. 2 schematically show images formed on the image sensor array by the light shown in FIG. In the description of the first embodiment, the light traveling direction is the Z-axis direction, the first direction is the horizontal direction (X-axis direction), and the second direction is the vertical direction (Y-axis direction). An image sensor having a wire grid polarizer positioned corresponding to the third region is referred to as an “image sensor 41A”, and an image sensor having no wire grid polarizer positioned corresponding to the fourth region is “ The imaging element 41A ”and the imaging element 41B are collectively referred to as the imaging element 41.

実施例１の撮像装置１０は、
（Ａ）被写体からの光を偏光させる第１偏光手段３０、
（Ｂ）第１偏光手段３０からの光を集光するレンズ系２０、並びに、
（Ｃ）第１の方向、及び、第１の方向と直交する第２の方向に２次元マトリクス状に撮像素子４１が配列されて成り、光入射側に第２偏光手段５０を有し、レンズ系２０によって集光された光を電気信号に変換する撮像素子アレイ４０、
を具備している。 The imaging apparatus 10 according to the first embodiment is
(A) a first polarizing means 30 for polarizing light from a subject;
(B) a lens system 20 that condenses the light from the first polarizing means 30, and
(C) The imaging elements 41 are arranged in a two-dimensional matrix in a first direction and a second direction orthogonal to the first direction, and have a second polarizing means 50 on the light incident side, and a lens An image sensor array 40 for converting the light collected by the system 20 into an electrical signal;
It has.

そして、第１偏光手段３０は、第１の方向に沿って配列された第１領域３１及び第２領域３２を有し、
第１領域３１を通過した第１領域通過光Ｌ1の偏光状態と、第２領域３２を通過した第２領域通過光Ｌ2の偏光状態とは異なり、
第２偏光手段５０は、第２の方向に沿って交互に配置され、第１の方向に延びる複数の第３領域５１及び第４領域５２を有し、
第３領域５１を通過した第３領域通過光Ｌ3は偏光状態にあり、第４領域５２を通過した第４領域通過光Ｌ4は非偏光状態にある。即ち、第１領域通過光Ｌ1及び第２領域通過光Ｌ2が混合された状態にある。 And the 1st polarization means 30 has the 1st field 31 and the 2nd field 32 arranged along the 1st direction,
The polarization state of the first region passing light L 1 that has passed through the first region 31 is different from the polarization state of the second region passing light L 2 that has passed through the second region 32,
The second polarizing means 50 includes a plurality of third regions 51 and fourth regions 52 that are alternately arranged along the second direction and extend in the first direction.
The third region passing light L 3 passing through the third region 51 is in a polarization state, and the fourth region passing light L 4 passing through the fourth region 52 is in a non-polarization state. That is, the first region passing light L 1 and the second region passing light L 2 are mixed.

そして、
第３領域５１を構成する第２偏光手段５０の部分には、ワイヤグリッド偏光子６６が設けられており、
ワイヤグリッド偏光子６６を構成するワイヤ６７の延びる方向と第１の方向との成す角度θは、０度を超え、９０度未満であり、即ち、０（度）＜θ＜９０（度）であり、
第１領域通過光Ｌ1は第３領域５１を通過して撮像素子４１Ａに到達し、第１領域通過光Ｌ1及び第２領域通過光Ｌ2は第４領域５２を通過して撮像素子４１Ｂに到達し、以て、第１領域３１の重心点ＢＣ1と第１偏光手段３０の重心点ＢＣ0との間の距離を両眼視差の基線長さとした立体画像を得るための画像を撮像する。 And
A wire grid polarizer 66 is provided in the portion of the second polarizing means 50 constituting the third region 51,
The angle θ formed between the extending direction of the wires 67 constituting the wire grid polarizer 66 and the first direction is more than 0 degree and less than 90 degrees, that is, 0 (degrees) <θ <90 (degrees). Yes,
The first region passing light L 1 passes through the third region 51 and reaches the imaging device 41A, and the first region passing light L 1 and the second region passing light L 2 pass through the fourth region 52 and the imaging device 41B. Therefore, an image for obtaining a stereoscopic image in which the distance between the centroid point BC 1 of the first region 31 and the centroid point BC 0 of the first polarizing means 30 is the baseline length of binocular parallax is captured. To do.

ここで、実施例１あるいは後述する実施例２の撮像装置において、レンズ系２０は、例えば、撮影レンズ２１、絞り部２２及び結像レンズ２３を備えており、ズームレンズとして機能する。撮影レンズ２１は、被写体からの入射光を集光するためのレンズである。撮影レンズ２１は、焦点を合わせるためのフォーカスレンズや、被写体を拡大するためのズームレンズ等を含み、一般に、色収差等を補正するために複数枚のレンズの組合せによって実現されている。絞り部２２は、集光された光の量を調整するために絞り込む機能を有するものであり、一般に、複数枚の板状の羽根を組み合わせて構成されている。少なくとも絞り部２２の位置において、被写体の１点からの光は平行光となる。結像レンズ２３は、第１偏光手段３０を通過した光を撮像素子アレイ４０上に結像する。撮像素子アレイ４０は、カメラ本体部１１の内部に配置されている。以上の構成において、入射瞳は、結像レンズ２３よりもカメラ本体部側に位置する。撮像装置から、例えば、デジタルスチルカメラやビデオカメラ、カムコーダが構成される。   Here, in the imaging apparatus of Example 1 or Example 2 described later, the lens system 20 includes, for example, a photographing lens 21, a diaphragm unit 22, and an imaging lens 23, and functions as a zoom lens. The taking lens 21 is a lens for collecting incident light from the subject. The photographic lens 21 includes a focus lens for focusing, a zoom lens for enlarging a subject, and the like, and is generally realized by a combination of a plurality of lenses to correct chromatic aberration and the like. The diaphragm 22 has a function of narrowing down in order to adjust the amount of collected light, and is generally configured by combining a plurality of plate-shaped blades. At least at the position of the diaphragm 22, light from one point of the subject becomes parallel light. The imaging lens 23 forms an image of the light that has passed through the first polarization unit 30 on the imaging element array 40. The image sensor array 40 is disposed inside the camera body 11. In the above configuration, the entrance pupil is located closer to the camera body than the imaging lens 23. For example, a digital still camera, a video camera, and a camcorder are configured from the imaging device.

カメラ本体部１１は、撮像素子アレイ４０の他に、例えば、画像処理手段１２及び画像記憶部１３を備えている。そして、撮像素子アレイ４０によって変換された電気信号に基づき右眼用画像データ及び左眼用画像データが形成される。撮像素子アレイ４０は、例えば、ＣＣＤ（Charge Coupled Devices）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサー等によって実現される。画像処理手段１２は、撮像素子アレイ４０から出力された電気信号を、右眼用画像データ及び左眼用画像データに変換して、画像記憶部１３に記録する。   In addition to the image sensor array 40, the camera body 11 includes, for example, an image processing unit 12 and an image storage unit 13. Then, right-eye image data and left-eye image data are formed based on the electrical signals converted by the image sensor array 40. The imaging element array 40 is realized by, for example, a CCD (Charge Coupled Devices), a CMOS (Complementary Metal Oxide Semiconductor) image sensor, or the like. The image processing means 12 converts the electrical signal output from the image sensor array 40 into right-eye image data and left-eye image data, and records them in the image storage unit 13.

第１偏光手段３０は、レンズ系２０の絞り部２２の近傍に配置されている。具体的には、第１偏光手段３０は、絞り部２２の作動に支障を来さない限り、出来るだけ絞り部２２に近い位置に配置されている。尚、第１偏光手段３０は、上述したとおり、レンズ系２０に入射した光が、一旦、平行光とされ、最終的に撮像素子４１上に集光（結像）されるとき、平行光の状態にあるレンズ系２０の部分に配置されている。   The first polarizing means 30 is disposed in the vicinity of the diaphragm unit 22 of the lens system 20. Specifically, the first polarizing means 30 is arranged at a position as close as possible to the diaphragm unit 22 as long as the operation of the diaphragm unit 22 is not hindered. Note that, as described above, the first polarizing means 30 is configured so that when the light incident on the lens system 20 is once converted into parallel light and finally condensed (imaged) on the image sensor 41, It is arranged in the part of the lens system 20 in the state.

実施例１の撮像装置１０において、第１偏光手段３０は、上述したとおり、第１領域３１及び第２領域３２から構成されている。具体的には、第１偏光手段３０の外形形状は円形であり、第１領域３１及び第２領域３２は、それぞれ、第１偏光手段３０の半分を占める半月状の外形形状を有する。第１領域３１と第２領域３２との境界線は、第２の方向に沿って延びている。即ち、第１領域３１と第２領域３２との境界線はＹ軸に平行である。２つの偏光子（偏光フィルタ）の組合せから成る第１偏光手段３０は、入射した光を２つの異なる偏光状態に分離する。第１偏光手段３０は、左右対称の偏光子から構成されており、カメラの正立状態に対する左右２つの位置において、互いに直交する直線方向の偏光、又は、互いに逆方向となる回転方向の偏光を生成する。第１領域３１は、被写体を右眼で見るであろう像（右眼が受けるであろう光）に対して偏光を施すフィルタである。また、第１領域３１及び第２領域３２は、被写体を左眼で見るであろう像（左眼が受けるであろう光）に対して偏光を施すフィルタである。   In the imaging apparatus 10 according to the first embodiment, the first polarization unit 30 includes the first region 31 and the second region 32 as described above. Specifically, the outer shape of the first polarizing means 30 is circular, and each of the first region 31 and the second region 32 has a half-moon-like outer shape that occupies half of the first polarizing means 30. The boundary line between the first region 31 and the second region 32 extends along the second direction. That is, the boundary line between the first region 31 and the second region 32 is parallel to the Y axis. The first polarization means 30 comprising a combination of two polarizers (polarization filters) separates the incident light into two different polarization states. The first polarizing means 30 is composed of left and right symmetric polarizers, and linearly polarized light that is orthogonal to each other or rotated in opposite directions at two positions on the left and right of the camera in the upright state. Generate. The first region 31 is a filter that polarizes an image that the subject will see with the right eye (light that the right eye will receive). The first region 31 and the second region 32 are filters that apply polarization to an image that the subject will see with the left eye (light that the left eye will receive).

実施例１の撮像装置１０において、第１領域通過光Ｌ1の電場の向き（白抜きの矢印で示す）と第２領域通過光Ｌ2の電場の向き（白抜きの矢印で示す）とは直交している（図１の（Ｂ）参照）。ここで、実施例１において、第１領域通過光Ｌ1の電場の向きは第２の方向と平行である。具体的には、例えば、第１領域通過光Ｌ1は主としてＰ波（ＴＭ波）を偏光成分として有し、第２領域通過光Ｌ2は主としてＳ波（ＴＥ波）を偏光成分として有する。更には、第１領域通過光Ｌ1の電場の向きと第３領域通過光Ｌ3の電場の向きとは０度（又は９０度）の角度を成す。また、各偏光子の消光比は、３以上、より具体的には１０以上である。尚、図１の（Ｃ）及び図８の（Ｂ）において、第３領域５１に付した黒色の矢印は、ワイヤグリッド偏光子６６のワイヤ６７の延びる方向を模式的に表している。 In the imaging device 10 of Example 1, the direction of the electric field of the first region passing light L 1 (indicated by a white arrow) and the direction of the electric field of the second region passing light L 2 (indicated by a white arrow) They are orthogonal (see FIG. 1B). Here, in Example 1, the direction of the electric field of the first region passing light L 1 is parallel to the second direction. Specifically, for example, the first region passing light L 1 mainly has a P wave (TM wave) as a polarization component, and the second region passing light L 2 mainly has an S wave (TE wave) as a polarization component. Furthermore, the direction of the electric field of the first region passing light L 1 and the direction of the electric field of the third region passing light L 3 form an angle of 0 degrees (or 90 degrees). Moreover, the extinction ratio of each polarizer is 3 or more, more specifically 10 or more. In FIG. 1C and FIG. 8B, the black arrow attached to the third region 51 schematically represents the extending direction of the wire 67 of the wire grid polarizer 66.

実施例１の撮像装置１０にあっては、第１偏光手段３０の外形形状を半径ｒ＝１０ｍｍの円形とした。そして、第１領域３１及び第２領域３２を、第１偏光手段３０の半分を占める半月状とした。従って、第１領域３１の重心点ＢＣ1と第２領域３２の重心点ＢＣ2との間の距離は、［（４ｒ）／（３π）］＝４．２ｍｍである。 In the imaging device 10 of the first embodiment, the outer shape of the first polarizing unit 30 is a circle having a radius r = 10 mm. And the 1st field 31 and the 2nd field 32 were made into the half moon shape which occupies the half of the 1st polarization means 30. Accordingly, the distance between the center of gravity BC 2 of the center-of-gravity point of the first region 31 BC 1 and the second region 32, [(4r) / (3π )] = a 4.2 mm.

また、第３領域５１を通過した第３領域通過光Ｌ3は偏光状態にあり、第１領域通過光Ｌ1の電場の向きと第３領域通過光Ｌ3の電場の向きとは０度又は９０度の角度を成す。第３領域５１は、ワイヤグリッド偏光子から成り、ワイヤの延びる方向は第１の方向と角度θを成す。従って、ワイヤグリッド偏光子を構成するワイヤの長さは、第２の方向に沿った撮像素子の長さをＸ2としたとき、［Ｘ2／ｓｉｎ（θ）］である。一方、第４領域５２には、ワイヤグリッド偏光子は配されていない。そして、第３領域５１と第４領域５２とは、上述したとおり、第２の方向に沿って交互に配置されており、第３領域５１及び第４領域５２は全体として第１の方向に延びている。具体的には、例えば、
Ｘ2＝１．２μｍ
θ ＝４５度
である。 The third region passing light L 3 having passed through the third region 51 is in a polarization state, and the direction of the electric field of the first region passing light L 1 and the direction of the electric field of the third region passing light L 3 are 0 degrees or Make an angle of 90 degrees. The third region 51 is composed of a wire grid polarizer, and the extending direction of the wire forms an angle θ with the first direction. Therefore, the length of the wire constituting the wire grid polarizer is [X 2 / sin (θ)], where X 2 is the length of the image sensor along the second direction. On the other hand, no wire grid polarizer is disposed in the fourth region 52. As described above, the third region 51 and the fourth region 52 are alternately arranged along the second direction, and the third region 51 and the fourth region 52 extend in the first direction as a whole. ing. Specifically, for example,
X 2 = 1.2 μm
θ = 45 degrees.

模式的な一部断面図を図３の（Ａ）に示し、ワイヤグリッド偏光子６６の配列状態を模式的に図３の（Ｂ）に示すように、ワイヤグリッド偏光子６６を有する撮像素子４１Ａは、例えば、シリコン半導体基板６０に設けられた光電変換素子６１、並びに、その上に、第１平坦化膜６２、カラーフィルタ６３、オンチップレンズ６４、第２平坦化膜６５、及び、ワイヤグリッド偏光子６６が積層されて成る。そして、ワイヤグリッド偏光子６６が、第３領域５１を構成する。尚、参照番号６８は配線層を示し、参照番号６９は遮光層を示す。図３の（Ｂ）においては、撮像素子の境界領域を実線で示した。ワイヤ６７の延びる方向がワイヤグリッド偏光子６６における光吸収軸となり、ワイヤ６７の延びる方向と直交する方向がワイヤグリッド偏光子６６における光透過軸となる（図１６参照）。ワイヤグリッド偏光子６６を備えていない撮像素子４１Ｂの構成、構造は、ワイヤグリッド偏光子６６を除き、撮像素子４１Ａと同じ構成、構造を有する。   A schematic partial sectional view is shown in FIG. 3A, and the arrangement state of the wire grid polarizer 66 is schematically shown in FIG. For example, the photoelectric conversion element 61 provided on the silicon semiconductor substrate 60, and the first planarization film 62, the color filter 63, the on-chip lens 64, the second planarization film 65, and the wire grid thereon are provided. A polarizer 66 is laminated. The wire grid polarizer 66 constitutes the third region 51. Reference numeral 68 indicates a wiring layer, and reference numeral 69 indicates a light shielding layer. In FIG. 3B, the boundary area of the image sensor is indicated by a solid line. The direction in which the wire 67 extends becomes the light absorption axis in the wire grid polarizer 66, and the direction orthogonal to the direction in which the wire 67 extends becomes the light transmission axis in the wire grid polarizer 66 (see FIG. 16). The configuration and structure of the image sensor 41B that does not include the wire grid polarizer 66 have the same configuration and structure as the image sensor 41A except for the wire grid polarizer 66.

撮像素子アレイ４０は、第１の方向に沿ってＮ0、第２の方向に沿ってＭ0個の撮像素子４１から成り、第２の方向に沿って連続するＭ個の撮像素子４１（但し、Ｍ＝２mであり、ｍは２乃至５の自然数。実施例１にあってはｍ＝４）に対して１つの第３領域５１及び１つの第４領域５２を配する。そして、複数の撮像素子ユニットが、第１の方向及び第２の方向に２次元マトリクス状に配列されており、１つの撮像素子ユニット（画素）は、図４に概念図を示すように、４つの撮像素子４１がベイヤ配列されて成り、１つの撮像素子ユニット（画素）は４つの撮像素子（赤色を受光する１つの赤色撮像素子Ｒ、青色を受光する１つの青色撮像素子Ｂ、及び、緑色を受光する２つの緑色撮像素子Ｇ）から構成されている。そして、第３領域５１は、第２の方向に沿って連続した２個の撮像素子４１Ａ（１つの撮像素子ユニット）に対応して配されており、第４領域５２は、第２の方向に沿って連続した残りの撮像素子４１Ｂ（１４個の撮像素子４１Ｂであり、７の撮像素子ユニット）に対応して配されている。そして、更には、第３領域５１は、第１の方向に沿った全ての（Ｎ0個の）撮像素子４１に対応して配されている。即ち、第１の方向に延びる１行の撮像素子ユニット群（画素群）に対して１つの第３領域５１が配置されている。尚、図４あるいは図９において、第３領域５１の内部に斜線を付しているが、これらは、ワイヤグリッド偏光子６６のワイヤ６７を模式的に表している。 The image sensor array 40 includes N 0 along the first direction, M 0 image sensors 41 along the second direction, and M image sensors 41 (continuous along the second direction). , M = 2 m , and m is a natural number of 2 to 5. In the first embodiment, one third region 51 and one fourth region 52 are arranged for m = 4). A plurality of image sensor units are arranged in a two-dimensional matrix in the first direction and the second direction, and one image sensor unit (pixel) is 4 as shown in the conceptual diagram of FIG. One imaging device unit (pixel) is composed of four imaging devices (one red imaging device R that receives red, one blue imaging device B that receives blue, and green). Are comprised of two green image sensors G). And the 3rd field 51 is arranged corresponding to two image sensor 41A (one image sensor unit) which continued along the 2nd direction, and the 4th field 52 is arranged in the 2nd direction. It is arranged corresponding to the remaining imaging elements 41B (14 imaging elements 41B and seven imaging element units) that are continuous along the line. Furthermore, the third region 51 is arranged corresponding to all (N 0 ) image sensors 41 along the first direction. That is, one third region 51 is arranged for one row of image sensor unit groups (pixel groups) extending in the first direction. In FIG. 4 or FIG. 9, the inside of the third region 51 is hatched, and these schematically represent the wires 67 of the wire grid polarizer 66.

また、詳細は後に説明するが、角度θは、θ1≦θ≦θ2を満足している。ここで、第２の方向に沿った撮像素子４１の長さをＸ2としたとき、θ1は、
ｆ1（Ｘ2）＝ａｒｃｓｉｎ（Ｘ2／１２．４）
から求められた値を切り捨てた整数値であり、θ2は、
ｆ2（Ｘ2）＝ａｒｃｓｉｎ（Ｘ2／１０．０）
から求められた値を切り上げた整数値である。 Although details will be described later, the angle θ satisfies θ 1 ≦ θ ≦ θ 2 . Here, when the length of the image sensor 41 along the second direction is X 2 , θ 1 is
f 1 (X 2 ) = arcsin (X 2 /12.4)
An integer value by truncating the value obtained from, theta 2 is
f 2 (X 2 ) = arcsin (X 2 /10.0)
It is an integer value obtained by rounding up the value obtained from.

そして、実施例１の撮像方法にあっては、第３領域５１を通過して撮像素子４１Ａに到達した第１領域通過光Ｌ1によって、右眼用及び左眼用のいずれか一方の画像（実施例１にあっては、具体的には、右眼用画像。右眼用画像データ）を得るための電気信号（第１電気信号）を撮像素子４１Ａにおいて生成する。また、第４領域５２を通過して撮像素子４１Ｂに到達した第１領域通過光Ｌ1及び第２領域通過光Ｌ2によって、右眼用及び左眼用の両方の画像を得るための電気信号（第２電気信号）を撮像素子４１Ｂにおいて生成する。そして、これらの電気信号（第１電気信号及び第２電気信号）を、同時に、又は、時系列に交互に、出力する。出力された電気信号（撮像素子アレイ４０から出力された右眼用画像データ及び左眼用画像データを得るための電気信号）に対して、画像処理手段１２によって画像処理が施され、右眼用画像データ及び左眼用画像データとして画像記憶部１３に記録される。尚、右眼用画像データと左眼用画像データとを処理（例えば、混合）すれば、立体画像ではない、通常の２次元（平面）画像を得ることができる。 In the imaging method of the first embodiment, either the right eye image or the left eye image (by the first region passing light L 1 that has passed through the third region 51 and reached the image sensor 41A) ( In the first embodiment, specifically, an electrical signal (first electrical signal) for obtaining an image for the right eye (image data for the right eye) is generated in the image sensor 41A. In addition, an electrical signal for obtaining both right-eye and left-eye images by using the first region-passing light L 1 and the second region-passing light L 2 that has passed through the fourth region 52 and reached the image sensor 41B. (Second electric signal) is generated in the image sensor 41B. Then, these electric signals (first electric signal and second electric signal) are output simultaneously or alternately in time series. The output electrical signal (the electrical signal for obtaining the image data for the right eye and the image data for the left eye output from the image sensor array 40) is subjected to image processing by the image processing means 12, and is used for the right eye. The image data is recorded in the image storage unit 13 as image data and left-eye image data. If the image data for the right eye and the image data for the left eye are processed (for example, mixed), a normal two-dimensional (planar) image that is not a stereoscopic image can be obtained.

図２の（Ａ）及び（Ｂ）に模式的に示すように、四角い形状の物体Ａにレンズ系２０のピントが合っているとする。また、丸い形状の物体Ｂが、物体Ａよりもレンズ系２０に近く位置しているとする。四角い物体Ａの像が、ピントが合った状態で撮像素子アレイ４０上に結像する。また、丸い物体Ｂ像は、ピントが合っていない状態で撮像素子アレイ４０上に結像する。そして、図２の（Ａ）に示す例にあっては、撮像素子アレイ４０上では、物体Ｂは、物体Ａの右手側に距離（＋ΔＸ）だけ離れた位置に像を結ぶ。一方、図２の（Ｂ）に示す例にあっては、撮像素子アレイ４０上では、物体Ｂは、物体Ａと同じ位置に像を結ぶ。従って、距離（ΔＸ）が物体Ｂの奥行きに関する情報となる。即ち、物体Ａよりも撮像装置に近い側に位置する物体のボケ量及びボケ方向は、撮像装置に遠い側に位置する物体のボケ量及びボケ方向と異なるし、物体Ａと物体Ｂとの距離によって物体Ｂのボケ量は異なる。そして、第１偏光手段３０における第１領域３１及び第２領域３２の形状の重心位置の間の距離を両眼視差の基線長さとした立体画像を得ることができる。即ち、このようにして得られた右眼用画像（図２の（Ｃ）の模式図参照）及び左眼用画像（図２の（Ｄ）の模式図参照）から、周知の方法に基づき立体画像を得ることができる。尚、右眼用画像データと左眼用画像データとを処理（例えば、混合）すれば、立体画像ではない、通常の２次元（平面）画像を得ることができる。   As schematically shown in FIGS. 2A and 2B, it is assumed that the lens system 20 is focused on a square-shaped object A. FIG. Further, it is assumed that the round object B is located closer to the lens system 20 than the object A. An image of the square object A is formed on the image sensor array 40 in a focused state. In addition, the round object B image is formed on the image sensor array 40 in a state where it is not in focus. In the example shown in FIG. 2A, the object B forms an image at a position separated by a distance (+ ΔX) on the right hand side of the object A on the image sensor array 40. On the other hand, in the example shown in FIG. 2B, the object B forms an image at the same position as the object A on the image sensor array 40. Therefore, the distance (ΔX) is information regarding the depth of the object B. That is, the blur amount and blur direction of an object located closer to the imaging device than the object A are different from the blur amount and blur direction of an object located far from the imaging device, and the distance between the object A and the object B The amount of blur of the object B differs depending on. Then, it is possible to obtain a stereoscopic image in which the distance between the gravity center positions of the first region 31 and the second region 32 in the first polarizing unit 30 is the binocular parallax baseline length. That is, from the right-eye image (see the schematic diagram in FIG. 2C) and the left-eye image (see the schematic diagram in FIG. 2D) thus obtained, a three-dimensional image is obtained based on a known method. An image can be obtained. If the image data for the right eye and the image data for the left eye are processed (for example, mixed), a normal two-dimensional (planar) image that is not a stereoscopic image can be obtained.

右眼用画像データ及び左眼用画像データのための電気信号は、上述したとおり、第２の方向に沿って、一種、歯抜け状態となって生成される。そこで、画像処理手段１２は、右眼用画像データ及び左眼用画像データ作成のために、電気信号に対してデモザイク処理を施すと共に、例えば、補間処理を行うことにより、最終的に右眼用画像データ及び左眼用画像データを生成、作成する。補間の手法としては、近傍の値の加算平均値を利用する方法等、周知の方法を挙げることができる。尚、この補間処理は、デモザイク処理と並行して行ってもよい。第１の方向においては画質は完全に保持されているので、画像全体の解像度低下等の画質劣化は比較的少ない。また、例えば、左眼用画像データと右眼用画像データからステレオマッチングによりデイスパリティ・マップ（Disparity Map）を作成するといった視差検出技術、及び、デイスパリティ・マップを基に視差を制御する視差制御技術により、視差を強調したり、適切化を図ることもできる。   As described above, the electrical signals for the image data for the right eye and the image data for the left eye are generated in a kind of missing state along the second direction as described above. Therefore, the image processing unit 12 performs demosaic processing on the electrical signal to create right-eye image data and left-eye image data, and finally performs, for example, interpolation processing, thereby finally producing the right-eye image data. Image data and left-eye image data are generated and created. As an interpolation method, a known method such as a method of using an average value of neighboring values can be used. This interpolation process may be performed in parallel with the demosaic process. Since the image quality is completely maintained in the first direction, image quality degradation such as a reduction in resolution of the entire image is relatively small. Also, for example, a parallax detection technique for creating a disparity map by stereo matching from left-eye image data and right-eye image data, and parallax control for controlling parallax based on the disparity map The technique can also enhance parallax or make it appropriate.

以下、第２平坦化膜６５等の模式的な一部端面図である図１２の（Ａ）、（Ｂ）、（Ｃ）、図１２の（Ａ）、（Ｂ）、（Ｃ）を参照して、実施例１のワイヤグリッド偏光子の製造方法を説明する。尚、これらの図においては、第２平坦化膜６５より下方に形成された各種構成要素の図示を省略している。これらの一部端面図は、ワイヤの延びる方向に対して垂直な仮想平面で切断したときの図である。形成すべきワイヤのピッチをＰ0（例えば、１５０ｎｍ）、ワイヤの幅（厚さ）をＷ0（例えば、５０ｎｍ）とする。ワイヤとワイヤとの間のスペースは（Ｐ0−Ｗ0）である。 Hereinafter, see FIGS. 12A, 12B, and 12C, and FIGS. 12A, 12B, and 12C, which are schematic partial end views of the second planarizing film 65 and the like. Then, the manufacturing method of the wire grid polarizer of Example 1 is demonstrated. In these drawings, various components formed below the second planarization film 65 are not shown. These partial end views are views taken along a virtual plane perpendicular to the direction in which the wire extends. The pitch of the wire to be formed is P 0 (for example, 150 nm) and the width (thickness) of the wire is W 0 (for example, 50 nm). The space between the wires is (P 0 −W 0 ).

［工程−１００］
先ず、第２平坦化膜６５の上にアルミニウムから成るワイヤ材料層７１を周知の方法で形成する。次いで、第１の方向に延びるストライプ状のレジスト層７２を、リソグラフィ技術に基づき、第３領域を形成すべきワイヤ材料層７１の部分の上に形成する。併せて、図示しないが、第４領域を形成すべきワイヤ材料層７１の部分の上にもレジスト層７２を形成する。尚、ストライプ状のレジスト層７２の形成ピッチを２×Ｐ0とし、ストライプ状のレジスト層７２の幅を（Ｐ0−Ｗ0）とする（図１２の（Ａ）参照）。レジスト層７２は、例えば、フォトレジスト材料から成る。尚、露光波長２４８ｎｍのＫｒＦ露光が望ましい。 [Step-100]
First, a wire material layer 71 made of aluminum is formed on the second planarizing film 65 by a known method. Next, a striped resist layer 72 extending in the first direction is formed on the portion of the wire material layer 71 where the third region is to be formed, based on the lithography technique. In addition, although not shown, a resist layer 72 is also formed on the portion of the wire material layer 71 where the fourth region is to be formed. Note that the formation pitch of the striped resist layer 72 is 2 × P 0, and the width of the striped resist layer 72 is (P 0 −W 0 ) (see FIG. 12A). The resist layer 72 is made of, for example, a photoresist material. Note that KrF exposure with an exposure wavelength of 248 nm is desirable.

［工程−１１０］
次いで、レジスト層７２の側壁における厚さがＷ0（＝５０ｎｍ）であるエッチングマスク層（ハードマスク材料層）７３をレジスト層７２の側壁に形成する。具体的には、ＣＶＤ法に基づき、ＴＥＯＳ等から成るエッチングマスク層７３を（全面に）コンフォーマルに形成した後（図１２の（Ｂ）参照）、レジスト層７２の頂面の上、及び、ワイヤ材料層７１の一部の上のエッチングマスク層７３を、周知のＲＩＥ法に基づき除去する（図１２の（Ｃ）参照）。 [Step-110]
Next, an etching mask layer (hard mask material layer) 73 having a thickness W 0 (= 50 nm) on the side wall of the resist layer 72 is formed on the side wall of the resist layer 72. Specifically, an etching mask layer 73 made of TEOS or the like is conformally formed on the entire surface based on the CVD method (see FIG. 12B), on the top surface of the resist layer 72, and The etching mask layer 73 on a part of the wire material layer 71 is removed based on a known RIE method (see FIG. 12C).

［工程−１２０］
次いで、露出したレジスト層７２をアッシング技術に基づき除去する（図１３の（Ａ）参照）。エッチングマスク層７３の形成ピッチＰ0は１５０ｎｍであり、第２の方向に沿った幅Ｗ0は５０ｎｍである。その後、エッチングマスク層７３をエッチング用マスクとしてワイヤ材料層７１をエッチングした後（図１３の（Ｂ）参照）、エッチングマスク層７３を除去する。こうして、図１３の（Ｃ）に示す構造を得ることができる。その後、必要に応じて、ＳｉＯ2あるいはＳｉＯＮ、ＳｉＮから成り、例えば厚さ数百ｎｍの保護膜を、全面にコンフォーマルに形成してもよい。 [Step-120]
Next, the exposed resist layer 72 is removed based on an ashing technique (see FIG. 13A). The formation pitch P 0 of the etching mask layer 73 is 150 nm, and the width W 0 along the second direction is 50 nm. Then, after etching the wire material layer 71 using the etching mask layer 73 as an etching mask (see FIG. 13B), the etching mask layer 73 is removed. Thus, the structure shown in FIG. 13C can be obtained. Thereafter, if necessary, a protective film made of SiO 2, SiON, or SiN and having a thickness of, for example, several hundred nm may be formed conformally on the entire surface.

このような実施例１のワイヤグリッド偏光子の製造方法にあっては、形成ピッチが２×Ｐ0、幅が（Ｐ0−Ｗ0）であるレジスト層を形成し、次いで、レジスト層の側壁における厚さがＷ0であるエッチングマスク層をレジスト層の側壁に形成した後、エッチングマスク層をドライエッチング用マスクとして、ワイヤ材料層をエッチングするといった、スペーサ方式とも呼ばれる方式を採用している。それ故、ワイヤの長さを適切に選択すれば、［工程−１２０］において、第２の方向に沿った形成ピッチがＰ0、幅がＷ0のワイヤを得ることができるし、幅５０ｎｍのエッチングマスク層（ハードマスク材料層）が倒壊する虞もない。 In the method of manufacturing the wire grid polarizer of Example 1, a resist layer having a formation pitch of 2 × P 0 and a width of (P 0 -W 0 ) is formed, and then the side wall of the resist layer is formed. A method called a spacer method is employed in which an etching mask layer having a thickness of W 0 is formed on the sidewall of the resist layer, and then the wire material layer is etched using the etching mask layer as a dry etching mask. Therefore, if the length of the wire is appropriately selected, in [Step-120], a wire having a formation pitch P 0 and a width W 0 along the second direction can be obtained. There is no possibility that the etching mask layer (hard mask material layer) will collapse.

しかしながら、ワイヤの長さが長すぎると、ワイヤ材料層７１をエッチングするとき、エッチングマスク層７３とエッチングマスク層７３との間の隙間、及び、エッチングによってストライプ状にワイヤ材料層７１が加工されているときのワイヤ材料層７１とワイヤ材料層７１との間の隙間に、毛細管現象によって侵入したエッチング液の張力に起因して、エッチングマスク層７３が倒れてしまい、ワイヤの形成ができなくなり、ワイヤグリッド偏光子に損傷が発生する場合がある。尚、このような現象を、便宜上、『倒れ現象』と呼ぶ。   However, if the length of the wire is too long, when the wire material layer 71 is etched, the gap between the etching mask layer 73 and the etching mask layer 73 and the wire material layer 71 are processed into stripes by etching. The etching mask layer 73 collapses due to the tension of the etchant that has entered the gap between the wire material layer 71 and the wire material layer 71 due to the capillary phenomenon, and the wire cannot be formed. Damage may occur to the grid polarizer. Such a phenomenon is referred to as a “falling phenomenon” for convenience.

こうして、ワイヤグリッド偏光子を得ることができるが、消光比と視差の関係を調べた。即ち、左右分離した画像が混ざりあった場合、どこまで混ざれば視差がなくなるか、即ち、立体視できなくなるかを、消光比＝∞（０％クロストークであり、完全に、左眼用画像と右眼用画像が分離された状態）から、消光比＝１（５０％クロストークであり、左眼用画像と右眼用画像とが完全に混ざり合った状態であり、左眼用画像と右眼用画像とは同じ画像である）まで、消光比を変えて合成画像シミュレーションを行った。その結果、消光比＝∞の場合から、消光比＝１０（１０％クロストーク）、消光比＝３（２５％クロストーク）となるに従い、左眼用画像と右眼用画像の相違が少なくなり、消光比＝１にあっては左眼用画像と右眼用画像とでは同じとなった。そして、試験の結果から、偏光子の消光比は３以上であることが望ましいことが判った。   Thus, a wire grid polarizer can be obtained, but the relationship between the extinction ratio and the parallax was examined. That is, when the left and right separated images are mixed, the extinction ratio = ∞ (0% crosstalk, completely indicating whether the parallax is lost, that is, the stereoscopic view cannot be achieved. Extinction ratio = 1 (50% crosstalk from the state where the image for the eye is separated), and the image for the left eye and the image for the right eye are completely mixed, the image for the left eye and the right eye The composite image simulation was performed while changing the extinction ratio until the image was the same as the image for use. As a result, as the extinction ratio = ∞, the difference between the left-eye image and the right-eye image decreases as the extinction ratio = 10 (10% crosstalk) and the extinction ratio = 3 (25% crosstalk). When the extinction ratio = 1, the left-eye image and the right-eye image are the same. From the test results, it was found that the extinction ratio of the polarizer is desirably 3 or more.

また、ワイヤグリッド偏光子を構成するワイヤの長さと、消光比の関係を調べた。その結果を図５の（Ａ）に示すが、ワイヤの長さが長くなるに従い、消光比の値が大きくなることが判る。尚、図５の（Ａ）において、「Ｒ」は、赤色光が撮像装置に入射したときの消光比であり、「Ｇ」は、緑色光が撮像装置に入射したときの消光比であり、「Ｂ」は、青色光が撮像装置に入射したときの消光比である。また、幅５０ｎｍのワイヤを、２本、スペース１００ｎｍにて平行に配置したときに、ワイヤ間にエッチング液が侵入し、エッチング液の張力によってワイヤが相互に引き寄せられる量をシミュレーションにて求め、
歪み量＝（ワイヤが相互に引き寄せられる量／ワイヤ長さ）
として規格化し、図５の（Ｂ）に示すように、歪み量とワイヤ長さの関係をグラフ化した。ワイヤの長さが長くなるに従い、歪み量が大きくなることが判る。尚、各種の試験の結果、ワイヤの長さが１２．４μｍを超えると、倒れ現象が発生し易くなることが判った。但し、この結果は一例であり、ワイヤグリッド偏光子の構造が変わると、倒れ現象が発生し易くなるワイヤの長さも変わる。 In addition, the relationship between the length of the wire constituting the wire grid polarizer and the extinction ratio was examined. The result is shown in FIG. 5A, and it can be seen that the extinction ratio increases as the wire length increases. In FIG. 5A, “R” is an extinction ratio when red light is incident on the imaging device, and “G” is an extinction ratio when green light is incident on the imaging device. “B” is an extinction ratio when blue light enters the imaging apparatus. In addition, when two wires with a width of 50 nm are arranged in parallel in a space of 100 nm, an etching solution enters between the wires, and the amount by which the wires are attracted to each other by the tension of the etching solution is obtained by simulation,
Strain amount = (amount of wire being pulled toward each other / wire length)
As shown in FIG. 5B, the relationship between the strain amount and the wire length was graphed. It can be seen that the amount of distortion increases as the length of the wire increases. As a result of various tests, it was found that when the length of the wire exceeds 12.4 μm, the collapse phenomenon tends to occur. However, this result is only an example, and when the structure of the wire grid polarizer is changed, the length of the wire at which the collapse phenomenon is likely to occur also changes.

このような倒れ現象が発生しない、撮像素子の第２の方向に沿った長さＸ2と、ワイヤの長さとの関係を有限要素法シミュレーションにより求めた。尚、ワイヤの長さを角度θに置き換えている。その結果を、以下の表１に示すが、ワイヤの長さを角度θに置き換えた値を『倒れに関するθ（度）』と表記している。また、撮像素子の第２の方向に沿った長さＸ2と、左眼用画像と右眼用画像の相違が十分に生じる消光比（具体的には、消光比＝１０）との関係を、消光比の異なる画像を複数の人が観察し、官能評価調査により十分に立体に見える消光比を決定するといった方法に基づき求めた。尚、ワイヤの長さを角度θに置き換えている。その結果を、以下の表１に示すが、ワイヤの長さを角度θに置き換えた値を『消光比に関するθ（度）』と表記している。また、表１の結果を図７のグラフに纏めた。即ち、図７は、第２の方向に沿った撮像素子の長さと、ワイヤグリッド偏光子の製造時の損傷発生及び消光比との関係を、角度θをパラメータとしてグラフ化したものである。尚、図７において、三角印は、第２の方向に沿った撮像素子の長さと消光比との関係をプロットしたものであり、菱形印は、第２の方向に沿った撮像素子の長さとワイヤグリッド偏光子の製造時の損傷発生との関係をプロットしたものである。 The relationship between the length X 2 along the second direction of the image sensor and the length of the wire, in which such a collapse phenomenon does not occur, was obtained by finite element method simulation. The length of the wire is replaced with the angle θ. The result is shown in Table 1 below, and the value obtained by replacing the length of the wire with the angle θ is expressed as “θ (degree) related to falling”. Further, the relationship between the length X 2 along the second direction of the image sensor and the extinction ratio (specifically, the extinction ratio = 10) at which a difference between the left-eye image and the right-eye image is sufficiently generated. The images were obtained based on a method in which a plurality of people observed images having different extinction ratios, and the extinction ratios that appeared sufficiently three-dimensional were determined by a sensory evaluation survey. The length of the wire is replaced with the angle θ. The result is shown in Table 1 below, and the value obtained by replacing the length of the wire with the angle θ is expressed as “θ (degrees) related to the extinction ratio”. The results of Table 1 are summarized in the graph of FIG. That is, FIG. 7 is a graph showing the relationship between the length of the image sensor along the second direction, the occurrence of damage and the extinction ratio during manufacture of the wire grid polarizer, using the angle θ as a parameter. In FIG. 7, the triangle mark is a plot of the relationship between the length of the image sensor along the second direction and the extinction ratio, and the rhombus mark is the length of the image sensor along the second direction. It is a plot of the relationship with the occurrence of damage during manufacture of a wire grid polarizer.

［表１］
Ｘ2（μｍ） 消光比に関するθ（度） 倒れに関するθ（度）
１．０ ５．７ ４．６
２．０ １１．５ ９．２
３．０ １７．４ １４．０
４．０ ２３．５ １８．８
５．０ ３０．０ ２３．７
６．０ ３６．８ ２８．９
７．０ ４４．４ ３４．３
８．０ ５３．１ ４０．１
９．０ ６４．１ ４６．５ [Table 1]
X 2 (μm) θ (degrees) related to extinction ratio θ (degrees) related to tilting
1.0 5.7 4.6
2.0 11.5 9.2
3.0 17.4 14.0
4.0 23.5 18.8
5.0 30.0 23.7
6.0 36.8 28.9
7.0 44.4 34.3
8.0 53.1 40.1
9.0 64.1 46.5

尚、Ｘ2（μｍ）をパラメータとした関数で『消光比に関するθ（度）』を表すと、前述した式（Ｂ）となる。一方、Ｘ2（μｍ）をパラメータとした関数で『倒れに関するθ（度）』を表すと、前述した式（Ａ）となる。 If “θ (degrees) relating to the extinction ratio” is expressed by a function having X 2 (μm) as a parameter, the above-described equation (B) is obtained. On the other hand, when “θ (degrees) related to falling” is expressed by a function having X 2 (μm) as a parameter, the above-described equation (A) is obtained.

比較のために、ワイヤグリッド偏光子の配列状態を図１４に模式的に示すように、ワイヤが第１の方向と平行に延び、しかも、ワイヤの長さを、１つの撮像素子の第１の方向に沿った長さと略等しくしたもの（比較例１Ａ）、ワイヤグリッド偏光子の配列状態を図１５に模式的に示すように、ワイヤが第１の方向と平行に延び、しかも、ワイヤの長さを、１つの撮像素子ユニット（２つの撮像素子）の第１の方向に沿った長さと略等しくしたもの（比較例１Ｂ）、図示しないが、ワイヤが第１の方向と平行に延び、しかも、ワイヤの長さを、第１の方向に沿った全ての撮像素子ユニットの長さと等しくしたもの（比較例１Ｃ）を作製した。得られた撮像素子アレイの評価を纏めると以下の表２のとおりである。   For comparison, as schematically shown in FIG. 14 as an arrangement state of wire grid polarizers, the wires extend in parallel with the first direction, and the length of the wires is set to the first of the imaging elements. As shown schematically in FIG. 15, the wire grid polarizer is substantially equal to the length along the direction (Comparative Example 1A), and the wire extends in parallel with the first direction. The length of the image sensor unit (two image sensors) is substantially equal to the length along the first direction (Comparative Example 1B), although not shown, the wire extends in parallel with the first direction. A wire (Comparative Example 1C) in which the length of the wire was equal to the length of all the image sensor units along the first direction was produced. Table 2 below summarizes the evaluation of the obtained image sensor array.

尚、表２中、『倒れ現象の有／無』とは、倒れ現象の発生の有り／無しの評価結果である。また、『消光比良／不良』とは、消光比の値の大小によって左眼用画像と右眼用画像の相違が十分に生じるか否かの評価であり、良好とは、左眼用画像と右眼用画像の相違が十分に生じることを意味する。更には、『縞模様発生有／無』とは、得られた画像に縞模様が発生するか否かの評価であり、複数の連続する撮像素子に対してワイヤの切れ目が１つしか存在しない場合、得られた画像に縞模様が発生する（図６参照）。   In Table 2, “Presence / absence of collapse phenomenon” is an evaluation result of presence / absence of occurrence of collapse phenomenon. The “extinction ratio good / bad” is an evaluation of whether or not the difference between the left-eye image and the right-eye image is sufficiently caused by the magnitude of the extinction ratio. This means that the right eye image is sufficiently different. Furthermore, “with / without stripe pattern generation” is an evaluation of whether or not a stripe pattern is generated in the obtained image, and there is only one wire break for a plurality of continuous image sensors. In this case, a striped pattern is generated in the obtained image (see FIG. 6).

［表２］
倒れ現象の有／無 消光比良／不良 縞模様発生有／無
実施例１ 無し 良好 無し
比較例１Ａ 無し 不良 無し
比較例１Ｂ 無し 良好 有り
比較例１Ｃ 有り 良好 無し [Table 2]
Existence of collapse phenomenon / No extinction ratio / Failure Existence of stripe pattern / None Example 1 No Good No Comparative example 1A No Bad No No Comparative example 1B No Good Yes Comparative example 1C Yes Good No

実施例１においては、１組の第１偏光手段３０及び第２偏光手段５０並びに１つのレンズ系２０から撮像装置１０が構成されているので、例えば左右に分離された２つの異なる画像を同時に生成させることができ、単眼で、簡素な構成、構造を有し、構成部品の少ない、小型の撮像装置を提供することができる。また、レンズ及び偏光フィルタの組合せを２組、必要としないので、ズーム、絞り部、フォーカス、輻輳角等にズレや差異が生じることもない。しかも、両眼視差の基線長さが比較的短いので、自然な立体感を得ることができる。更には、第１偏光手段３０を脱着させ得る構造とすれば、あるいは又、電気信号の処理によって、容易に、２次元画像及び３次元画像を得ることができる。   In the first embodiment, since the imaging apparatus 10 is configured by one set of the first polarizing unit 30 and the second polarizing unit 50 and one lens system 20, for example, two different images separated to the left and right are generated simultaneously. Therefore, it is possible to provide a small-sized imaging device that has a simple structure and structure and has few components. Further, since two pairs of lenses and polarizing filters are not required, there is no deviation or difference in zoom, aperture, focus, convergence angle, and the like. Moreover, since the baseline length of binocular parallax is relatively short, a natural stereoscopic effect can be obtained. Furthermore, if the first polarizing means 30 is structured to be removable, or alternatively, a two-dimensional image and a three-dimensional image can be easily obtained by processing an electric signal.

しかも、実施例１にあっては、ワイヤグリッド偏光子を構成するワイヤの延びる方向と第１の方向との成す角度θは、０度を超え、９０度未満であるが故に、ワイヤグリッド偏光子を構成するワイヤの長さを適度に長くすることができる結果、消光比の値を大きくすることができ、左眼用画像と右眼用画像の高い分離能を達成することが可能となるし、ワイヤグリッド偏光子の製造時、ワイヤグリッド偏光子に損傷が発生し難い。しかも、ワイヤグリッド偏光子による偏光状態の均一化を図ることができ、得られた画像に縞模様が発生することもない。   Moreover, in the first embodiment, the angle θ formed between the extending direction of the wires constituting the wire grid polarizer and the first direction is more than 0 degrees and less than 90 degrees. As a result, the extinction ratio can be increased, and a high separation between the left-eye image and the right-eye image can be achieved. When manufacturing the wire grid polarizer, the wire grid polarizer is less likely to be damaged. In addition, the polarization state can be made uniform by the wire grid polarizer, and a striped pattern does not occur in the obtained image.

実施例２は、実施例１の変形である。実施例１にあっては、第１の方向を水平方向（Ｘ軸方向）、第２の方向を垂直方向（Ｙ軸方向）とした。一方、実施例２においては、第１の方向を垂直方向（Ｙ軸方向）、第２の方向を水平方向（Ｘ軸方向）とする。第１偏光手段３０及び第２偏光手段５０における偏光の状態を図８の（Ａ）及び（Ｂ）に模式的に示し、ベイヤ配列を有する撮像素子アレイの概念図を図９に示す。以上の点を除き、実施例２の撮像装置の構成、構造は、実施例１の撮像装置の構成、構造と同様とすることができるので、詳細な説明は省略する。   The second embodiment is a modification of the first embodiment. In Example 1, the first direction was the horizontal direction (X-axis direction), and the second direction was the vertical direction (Y-axis direction). On the other hand, in Example 2, the first direction is the vertical direction (Y-axis direction), and the second direction is the horizontal direction (X-axis direction). The states of polarization in the first polarizing means 30 and the second polarizing means 50 are schematically shown in FIGS. 8A and 8B, and FIG. 9 is a conceptual diagram of an image sensor array having a Bayer array. Except for the above points, the configuration and structure of the imaging apparatus according to the second embodiment can be the same as the configuration and structure of the imaging apparatus according to the first embodiment, and thus detailed description thereof is omitted.

実施例３においては、実施例１あるいは実施例２における画像処理手段１２について説明する。図１０に概念図を示すように、画像処理手段１２は、例えば、偏光画素分離部１０１、非偏光画素補間処理部１０２、デモザイク処理部１０３、視差検出用左眼画像生成部１０４、視差検出用右眼画像生成部１０５、視差検出部１０６、視差画像生成部１０７、及び、画像出力部１０８から構成されている。   In the third embodiment, the image processing means 12 in the first or second embodiment will be described. As shown in the conceptual diagram of FIG. 10, the image processing unit 12 includes, for example, a polarization pixel separation unit 101, a non-polarization pixel interpolation processing unit 102, a demosaic processing unit 103, a parallax detection left-eye image generation unit 104, and parallax detection The right eye image generation unit 105, the parallax detection unit 106, the parallax image generation unit 107, and the image output unit 108 are configured.

撮像素子４１（４１Ａ，４１Ｂ）から出力された電気信号に対して、偏光画素分離部１０１において、撮像素子４１Ａからの電気信号（『偏光電気信号』と呼ぶ）と、撮像素子４１Ｂからの電気信号（『非偏光電気信号』と呼ぶ）の分離処理が行われる。   For the electrical signal output from the image sensor 41 (41A, 41B), the polarization pixel separation unit 101 uses the electrical signal from the image sensor 41A (referred to as “polarized electrical signal”) and the electrical signal from the image sensor 41B. Separation processing (referred to as “non-polarized electrical signal”) is performed.

そして、偏光画素分離部１０１において分離された非偏光電気信号は、非偏光画素補間処理部１０２に送出され、非偏光画素補間処理部１０２において、非偏光電気信号から欠落した画素、即ち、撮像素子４１Ａに対応する画素に対する補間処理が行われる。具体的には、例えば、撮像素子４１Ａからの電気信号に対して、第２の方向に沿って撮像素子４１Ａに隣接する撮像素子４１Ｂからの電気信号に基づき補間処理を行う。補間処理として、色毎に線形補間処理を行う方法や、色信号から生成した輝度の勾配に応じて補間方向を選択する方向選択型の補間処理を挙げることができる。非偏光画素補間処理部１０２からの電気信号に基づく画像は、撮像素子４１（撮像素子４１Ａ，４１Ｂ）の全てにおける非偏光電気信号に基づく画像に相当する。即ち、この画像は、２次元画像に相当する。そして、非偏光画素補間処理部１０２からデモザイク処理部１０３に送出された電気信号に対して、デモザイク処理部１０３ではデモザイク処理及びその他のカメラ信号処理が行われ、通常の２次元画像が得られる。デモザイク処理部１０３からの電気信号は、視差画像生成部１０７に送出される。   Then, the non-polarized electrical signal separated in the polarization pixel separation unit 101 is sent to the non-polarization pixel interpolation processing unit 102, and the non-polarization pixel interpolation processing unit 102 lacks pixels that are missing from the non-polarization electrical signal, that is, an image sensor. Interpolation processing is performed on the pixel corresponding to 41A. Specifically, for example, interpolation processing is performed on the electrical signal from the image sensor 41A based on the electrical signal from the image sensor 41B adjacent to the image sensor 41A along the second direction. Examples of the interpolation processing include a method of performing linear interpolation processing for each color, and a direction selection type interpolation processing for selecting an interpolation direction according to a luminance gradient generated from a color signal. The image based on the electrical signal from the non-polarized pixel interpolation processing unit 102 corresponds to an image based on the non-polarized electrical signal in all of the imaging elements 41 (imaging elements 41A and 41B). That is, this image corresponds to a two-dimensional image. Then, the demosaic processing unit 103 performs demosaic processing and other camera signal processing on the electrical signal sent from the non-polarized pixel interpolation processing unit 102 to the demosaic processing unit 103, thereby obtaining a normal two-dimensional image. The electrical signal from the demosaic processing unit 103 is sent to the parallax image generation unit 107.

一方、偏光画素分離部１０１において分離された偏光電気信号は、視差検出用右眼画像生成部（偏光画素ゲイン調整部）１０５に送出される。視差検出用右眼画像生成部１０５では、偏光電気信号の輝度と、非偏光電気信号の輝度とが調整される。即ち、撮像素子４１Ａに対応する画素の輝度と、撮像素子４１Ｂに対応する画素の輝度とが、ほぼ同一の平均値及び分布（標準偏差）となるように輝度調整される。こうして、視差検出用右眼画像生成部１０５では、右眼画像用の電気信号を得ることができる。   On the other hand, the polarized electrical signal separated in the polarization pixel separation unit 101 is sent to the parallax detection right-eye image generation unit (polarization pixel gain adjustment unit) 105. The parallax detection right-eye image generation unit 105 adjusts the luminance of the polarized electric signal and the luminance of the non-polarized electric signal. That is, the luminance is adjusted so that the luminance of the pixel corresponding to the image sensor 41A and the luminance of the pixel corresponding to the image sensor 41B have substantially the same average value and distribution (standard deviation). In this way, the right eye image generation unit 105 for parallax detection can obtain an electrical signal for the right eye image.

そして、視差検出用右眼画像生成部１０５からの電気信号は、視差検出用左眼画像生成部１０４に送出される。視差検出用左眼画像生成部１０４には、非偏光画素補間処理部１０２からの電気信号も送出される。視差検出用左眼画像生成部１０４においては、非偏光画素補間処理部１０２からの電気信号と、視差検出用右眼画像生成部１０５からの電気信号の差分に基づき、左眼画像用の電気信号を得ることができる。   The electrical signal from the parallax detection right-eye image generation unit 105 is sent to the parallax detection left-eye image generation unit 104. The electrical signal from the non-polarized pixel interpolation processing unit 102 is also sent to the parallax detection left-eye image generation unit 104. In the parallax detection left-eye image generation unit 104, based on the difference between the electrical signal from the non-polarization pixel interpolation processing unit 102 and the electrical signal from the parallax detection right-eye image generation unit 105, an electrical signal for the left-eye image Can be obtained.

そして、視差検出用右眼画像生成部１０５及び視差検出用左眼画像生成部１０４からの電気信号は、視差検出部１０６に送出される。視差検出部１０６においては、右眼画像用の電気信号及び左眼画像用の電気信号に対して、例えばブロックマッチング処理等を行い、視差情報としての被写体距離を検出する。即ち、例えばブロックマッチング処理によって、左眼用画像と右眼用画像との間のずれを検出し、ずれ量に応じた被写体距離を算出する。そして、視差検出部１０６においてはデプスマップを生成して、視差画像生成部１０７に出力する。デプスマップは、画像の構成画素各々についての被写体距離情報を持つデータである。視差画像生成部１０７は、デモザイク処理部１０３からの出力、及び、デプスマップを用いて、右眼用の画像及び左眼用の画像を得るための電気信号を生成する。そして、得られた電気信号は、画像出力部１０８を介して出力され、画像記憶部１３に記録される。また、画像表示部（図示せず）にも供給され、画像データに基づいて、例えば、液晶表示装置等の表示装置に表示される。   Then, the electrical signals from the parallax detection right-eye image generation unit 105 and the parallax detection left-eye image generation unit 104 are sent to the parallax detection unit 106. In the parallax detection unit 106, for example, block matching processing or the like is performed on the electrical signal for the right eye image and the electrical signal for the left eye image to detect the subject distance as the parallax information. That is, for example, a shift between the left-eye image and the right-eye image is detected by block matching processing, and the subject distance corresponding to the shift amount is calculated. Then, the parallax detection unit 106 generates a depth map and outputs the depth map to the parallax image generation unit 107. The depth map is data having subject distance information for each pixel constituting the image. The parallax image generation unit 107 generates an electrical signal for obtaining an image for the right eye and an image for the left eye, using the output from the demosaic processing unit 103 and the depth map. The obtained electrical signal is output via the image output unit 108 and recorded in the image storage unit 13. Further, the image data is also supplied to an image display unit (not shown) and displayed on a display device such as a liquid crystal display device based on the image data.

以上、本開示を好ましい実施例に基づき説明したが、本開示はこれらの実施例に限定されるものではない。実施例において説明した撮像装置、撮像素子、画像処理手段の構成、構造は例示であり、適宜、変更することができる。例えば、図１１の（Ａ）に模式的な一部断面図を図示するように、撮像素子４１を、シリコン半導体基板６０に設けられた光電変換素子６１、並びに、その上に、第１平坦化膜６２、ワイヤグリッド偏光子６６、第２平坦化膜６５、カラーフィルタ６３、及び、オンチップレンズ６４が積層されて成る構成とすることもできる。あるいは又、図１１の（Ｂ）に模式的な一部断面図を図示するように、撮像素子４１を、シリコン半導体基板６０に設けられた光電変換素子６１、並びに、その上に、第１平坦化膜６２、オンチップレンズ６４、第２平坦化膜６５、カラーフィルタ６３、及び、ワイヤグリッド偏光子６６が積層されて成る構成とすることもできる。また、撮像素子を、図示したような表面照射型としてもよいし、図示しないが、裏面照射型としてもよい。   While the present disclosure has been described based on the preferred embodiments, the present disclosure is not limited to these embodiments. The configurations and structures of the image pickup apparatus, the image pickup device, and the image processing means described in the embodiments are examples, and can be appropriately changed. For example, as shown in a schematic partial cross-sectional view in FIG. 11A, the image sensor 41 is provided with the photoelectric conversion element 61 provided on the silicon semiconductor substrate 60, and the first planarization thereon. The film 62, the wire grid polarizer 66, the second planarizing film 65, the color filter 63, and the on-chip lens 64 may be laminated. Alternatively, as shown in the schematic partial cross-sectional view of FIG. 11B, the imaging element 41 includes a photoelectric conversion element 61 provided on the silicon semiconductor substrate 60, and a first flat surface thereon. It is also possible to adopt a configuration in which the chemical film 62, the on-chip lens 64, the second planarizing film 65, the color filter 63, and the wire grid polarizer 66 are laminated. Further, the imaging device may be a front-side irradiation type as shown, or a back-side irradiation type (not shown).

右眼用画像データ及び左眼用画像データに基づき立体画像を表示するが、係る表示方式として、例えば、２台のプロジェクタに円偏光又は直線偏光フィルタを取り付けて左右眼用の画像をそれぞれ表示し、表示に対応した円偏光又は直線偏光眼鏡で画像を観察する方式、レンチキュラーレンズ方式、パララックスバリア方式を挙げることができる。尚、円偏光又は直線偏光眼鏡を使用することなく画像を観察すると、通常の２次元（平面）画像を観察することができる。また、以上に説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラムあるいはプログラムを記憶する記録媒体として捉えてもよい。記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disk）、メモリカード、ブルーレイディスク（Blu-ray Disc（登録商標）等を用いることができる。   A stereoscopic image is displayed based on the image data for the right eye and the image data for the left eye. As such a display method, for example, a circularly polarized light or a linearly polarized light filter is attached to two projectors to display images for the left and right eyes. And a method of observing an image with circularly or linearly polarized glasses corresponding to display, a lenticular lens method, and a parallax barrier method. If an image is observed without using circularly polarized light or linearly polarized glasses, a normal two-dimensional (planar) image can be observed. Further, the processing procedure described above may be regarded as a method having a series of these procedures, or may be regarded as a program for causing a computer to execute the series of procedures or a recording medium storing the program. As the recording medium, for example, a CD (Compact Disc), an MD (MiniDisc), a DVD (Digital Versatile Disk), a memory card, a Blu-ray Disc (registered trademark), or the like can be used.

尚、本開示は、以下のような構成を取ることもできる。
［１］《撮像装置》
（Ａ）被写体からの光を偏光させる第１偏光手段、
（Ｂ）第１偏光手段からの光を集光するレンズ系、並びに、
（Ｃ）第１の方向、及び、第１の方向と直交する第２の方向に２次元マトリクス状に撮像素子が配列されて成り、光入射側に第２偏光手段を有し、レンズ系によって集光された光を電気信号に変換する撮像素子アレイ、
を具備し、
第１偏光手段は、第１の方向に沿って配列された第１領域及び第２領域を有し、
第１領域を通過した第１領域通過光の偏光状態と、第２領域を通過した第２領域通過光の偏光状態とは異なり、
第２偏光手段は、第２の方向に沿って交互に配置され、第１の方向に延びる複数の第３領域及び第４領域を有し、
第３領域を通過した第３領域通過光は偏光状態にあり、第４領域を通過した第４領域通過光は非偏光状態にあり、
第３領域を構成する第２偏光手段の部分には、ワイヤグリッド偏光子が設けられており、
ワイヤグリッド偏光子を構成するワイヤの延びる方向と第１の方向との成す角度θは、０度を超え、９０度未満であり、
第１領域通過光は第３領域を通過して撮像素子に到達し、第１領域通過光及び第２領域通過光は第４領域を通過して撮像素子に到達し、以て、第１領域の重心点と第１偏光手段の重心点との間の距離を両眼視差の基線長さとした立体画像を得るための画像を撮像する撮像装置。
［２］第２の方向に沿って連続するＭ個の撮像素子（但し、Ｍ＝２mであり、ｍは２乃至５の自然数）に対して１つの第３領域及び１つの第４領域を配する［１］に記載の撮像装置。
［３］複数の撮像素子ユニットが、第１の方向及び第２の方向に２次元マトリクス状に配列されており、
１つの撮像素子ユニットは、４つの撮像素子がベイヤ配列されて成り、
第３領域は、第２の方向に沿って連続した２個の撮像素子に対応して配されており、
第４領域は、第２の方向に沿って連続した残りの撮像素子に対応して配されている［２］に記載の撮像装置。
［４］第３領域は、第１の方向に沿った全ての撮像素子に対応して配されている［３］に記載の撮像装置。
［５］θ1≦θ≦θ2を満足する［３］に記載の撮像装置。
但し、第２の方向に沿った撮像素子の長さをＸ2としたとき、θ1は、
ｆ1（Ｘ2）＝ａｒｃｓｉｎ（Ｘ2／１２．４）
から求められた値を切り捨てた整数値であり、θ2は、
ｆ2（Ｘ2）＝ａｒｃｓｉｎ（Ｘ2／１０．０）
から求められた値を切り上げた整数値である。
［６］ワイヤグリッド偏光子を構成するワイヤには切れ目が存在しない［１］乃至［５］のいずれか１項に記載の撮像装置。
［７］第１偏光手段はレンズ系の絞り部近傍に配置されている［１］乃至［６］のいずれか１項に記載の撮像装置。
［８］第１領域及び第２領域は偏光子から成り、
第１領域通過光の電場の向きと第２領域通過光の電場の向きとは直交している［１］乃至［７］のいずれか１項に記載の撮像装置。
［９］第１領域通過光の電場の向きは第２の方向と平行である［８］に記載の撮像装置。
［１０］第１領域通過光の電場の向きと第３領域通過光の電場の向きとは０度又は９０度の角度を成す［１］乃至［９］のいずれか１項に記載の撮像装置。
［１１］撮像素子は、カラーフィルタ、オンチップレンズ、及び、ワイヤグリッド偏光子が積層されて成る［１］乃至［１０］のいずれか１項に記載の撮像装置。
［１２］撮像素子は、ワイヤグリッド偏光子、カラーフィルタ、及び、オンチップレンズが積層されて成る［１］乃至［１０］のいずれか１項に記載の撮像装置。
［１３］第１偏光手段はレンズ系に脱着自在に取り付けられている［１］乃至［１２］のいずれか１項に記載の撮像装置。
［１４］《撮像方法》
（Ａ）被写体からの光を偏光させる第１偏光手段、
（Ｂ）第１偏光手段からの光を集光するレンズ系、並びに、
（Ｃ）第１の方向、及び、第１の方向と直交する第２の方向に２次元マトリクス状に撮像素子が配列されて成り、光入射側に第２偏光手段を有し、レンズ系によって集光された光を電気信号に変換する撮像素子アレイ、
を具備し、
第１偏光手段は、第１の方向に沿って配列された第１領域及び第２領域を有し、
第１領域を通過した第１領域通過光の偏光状態と、第２領域を通過した第２領域通過光の偏光状態とは異なり、
第２偏光手段は、第２の方向に沿って交互に配置され、第１の方向に延びる複数の第３領域及び第４領域を有し、
第３領域を通過した第３領域通過光は偏光状態にあり、第４領域を通過した第４領域通過光は非偏光状態にあり、
第３領域を構成する第２偏光手段の部分には、ワイヤグリッド偏光子が設けられており、
ワイヤグリッド偏光子を構成するワイヤの延びる方向と第１の方向との成す角度θは、０度を超え、９０度未満であり、
第１領域通過光は第３領域を通過して撮像素子に到達し、第１領域通過光及び第２領域通過光は第４領域を通過して撮像素子に到達し、以て、第１領域の重心点と第１偏光手段の重心点との間の距離を両眼視差の基線長さとした立体画像を得るための画像を撮像する撮像装置を用いた撮像方法であって、
第３領域を通過して撮像素子に到達した第１領域通過光によって、右眼用及び左眼用のいずれか一方の画像を得るための電気信号を撮像素子において生成し、
第４領域を通過して撮像素子に到達した第１領域通過光及び第２領域通過光によって、右眼用及び左眼用のいずれか他方の画像を得るための電気信号を撮像素子において生成し、
これらの電気信号を出力する撮像方法。
［１５］第３領域を通過した第１領域通過光によって得られる電気信号、及び、第４領域を通過した第１領域通過光及び第２領域通過光によって得られる電気信号から生成されたデプスマップ、並びに、撮像素子アレイを構成する全撮像素子からの電気信号に基づき、右眼用画像を得るための画像データ、及び、左眼用画像を得るための画像データを得る［１４］に記載の撮像方法。 In addition, this indication can also take the following structures.
[1] << Imaging device >>
(A) first polarizing means for polarizing light from the subject;
(B) a lens system for condensing light from the first polarizing means, and
(C) The imaging elements are arranged in a two-dimensional matrix in a first direction and a second direction orthogonal to the first direction, and have second polarization means on the light incident side. An image sensor array for converting the collected light into an electrical signal;
Comprising
The first polarizing means has a first region and a second region arranged along the first direction,
The polarization state of the first region passing light that has passed through the first region is different from the polarization state of the second region passing light that has passed through the second region,
The second polarizing means has a plurality of third regions and fourth regions that are alternately arranged along the second direction and extend in the first direction,
The third region passing light that has passed through the third region is in a polarization state, the fourth region passing light that has passed through the fourth region is in a non-polarization state,
A wire grid polarizer is provided in the portion of the second polarizing means constituting the third region,
The angle θ formed between the extending direction of the wires constituting the wire grid polarizer and the first direction is greater than 0 degrees and less than 90 degrees,
The first region passing light passes through the third region and reaches the imaging device, and the first region passing light and the second region passing light pass through the fourth region and reach the imaging device, and thus the first region. An imaging device that captures an image for obtaining a stereoscopic image in which the distance between the center of gravity of the first polarizing means and the center of gravity of the first polarizing means is the baseline length of binocular parallax.
[2] One third region and one fourth region for M image sensors that are continuous along the second direction (where M = 2 m and m is a natural number of 2 to 5). The imaging device according to [1].
[3] A plurality of image sensor units are arranged in a two-dimensional matrix in the first direction and the second direction,
One image sensor unit consists of four image sensors arranged in a Bayer array,
The third region is arranged corresponding to two imaging elements continuous along the second direction,
The imaging device according to [2], wherein the fourth region is arranged corresponding to the remaining imaging elements that are continuous along the second direction.
[4] The imaging device according to [3], wherein the third region is arranged corresponding to all the imaging elements along the first direction.
[5] The imaging device according to [3], wherein θ 1 ≦ θ ≦ θ 2 is satisfied.
However, when the length of the image sensor along the second direction is X 2 , θ 1 is
f 1 (X 2 ) = arcsin (X 2 /12.4)
An integer value by truncating the value obtained from, theta 2 is
f 2 (X 2 ) = arcsin (X 2 /10.0)
It is an integer value obtained by rounding up the value obtained from.
[6] The imaging device according to any one of [1] to [5], wherein the wire constituting the wire grid polarizer has no break.
[7] The imaging apparatus according to any one of [1] to [6], wherein the first polarization unit is disposed in the vicinity of the stop portion of the lens system.
[8] The first region and the second region are composed of polarizers,
The imaging device according to any one of [1] to [7], wherein the direction of the electric field of the first region passing light and the direction of the electric field of the second region passing light are orthogonal to each other.
[9] The imaging device according to [8], wherein the direction of the electric field of the first region passing light is parallel to the second direction.
[10] The imaging device according to any one of [1] to [9], wherein the direction of the electric field of the first region passing light and the direction of the electric field of the third region passing light form an angle of 0 degrees or 90 degrees. .
[11] The imaging device according to any one of [1] to [10], wherein the imaging element is formed by stacking a color filter, an on-chip lens, and a wire grid polarizer.
[12] The imaging device according to any one of [1] to [10], wherein the imaging element is formed by laminating a wire grid polarizer, a color filter, and an on-chip lens.
[13] The imaging apparatus according to any one of [1] to [12], wherein the first polarization unit is detachably attached to the lens system.
[14] << Imaging method >>
(A) first polarizing means for polarizing light from the subject;
(B) a lens system for condensing light from the first polarizing means, and
(C) The imaging elements are arranged in a two-dimensional matrix in a first direction and a second direction orthogonal to the first direction, and have second polarization means on the light incident side. An image sensor array for converting the collected light into an electrical signal;
Comprising
The first polarizing means has a first region and a second region arranged along the first direction,
The polarization state of the first region passing light that has passed through the first region is different from the polarization state of the second region passing light that has passed through the second region,
The second polarizing means has a plurality of third regions and fourth regions that are alternately arranged along the second direction and extend in the first direction,
The third region passing light that has passed through the third region is in a polarization state, the fourth region passing light that has passed through the fourth region is in a non-polarization state,
A wire grid polarizer is provided in the portion of the second polarizing means constituting the third region,
The angle θ formed between the extending direction of the wires constituting the wire grid polarizer and the first direction is greater than 0 degrees and less than 90 degrees,
The first region passing light passes through the third region and reaches the imaging device, and the first region passing light and the second region passing light pass through the fourth region and reach the imaging device, and thus the first region. An imaging method using an imaging device that captures an image for obtaining a stereoscopic image in which the distance between the center of gravity of the first polarizing means and the center of gravity of the first polarizing means is a baseline length of binocular parallax,
With the first region passing light that has passed through the third region and reached the image sensor, an electrical signal for obtaining one of the right eye image and the left eye image is generated in the image sensor,
An electric signal for obtaining one of the right eye image and the left eye image is generated in the image sensor by the first area light and the second area light passing through the fourth area and reaching the image sensor. ,
An imaging method for outputting these electric signals.
[15] Depth map generated from the electric signal obtained by the first region passing light passing through the third region and the electric signal obtained by the first region passing light and the second region passing light passing through the fourth region And obtaining image data for obtaining an image for the right eye and image data for obtaining an image for the left eye based on electric signals from all the image sensors constituting the image sensor array [14]. Imaging method.

尚、上記［１］に記載の本開示の撮像装置、及び、上記［１４］に記載の本開示の撮像方法は、以下のようにも表現することができる。即ち、
［１’］《撮像装置》
（Ａ）被写体からの光を偏光させる第１偏光手段、
（Ｂ）第１偏光手段からの光を集光するレンズ系、並びに、
（Ｃ）第１の方向、及び、第１の方向と直交する第２の方向に２次元マトリクス状に撮像素子が配列されて成り、光入射側に第２偏光手段を有し、レンズ系によって集光された光を電気信号に変換する撮像素子アレイ、
を具備し、
第１偏光手段は、第１の方向に沿って配列された第１領域及び第２領域を有し、
第１領域を通過した第１領域通過光の偏光状態と、第２領域を通過した第２領域通過光の偏光状態とは異なり、
第２偏光手段は、第２の方向に沿って離間して配置され、第１の方向に延びる複数の第３領域を有し、
第３領域を通過した第３領域通過光は偏光状態にあり、第２偏光手段において第３領域以外の領域を通過した光は非偏光状態にあり、
第３領域を構成する第２偏光手段の部分には、ワイヤグリッド偏光子が設けられており、
ワイヤグリッド偏光子を構成するワイヤの延びる方向と第１の方向との成す角度θは、０度を超え、９０度未満であり、
第１領域通過光は第３領域を通過して撮像素子に到達し、第１領域通過光及び第２領域通過光は、第２偏光手段において第３領域以外の領域を通過して撮像素子に到達し、以て、第１領域の重心点と第１偏光手段の重心点との間の距離を両眼視差の基線長さとした立体画像を得るための画像を撮像する撮像装置。
［１４’］《撮像方法》
（Ａ）被写体からの光を偏光させる第１偏光手段、
（Ｂ）第１偏光手段からの光を集光するレンズ系、並びに、
（Ｃ）第１の方向、及び、第１の方向と直交する第２の方向に２次元マトリクス状に撮像素子が配列されて成り、光入射側に第２偏光手段を有し、レンズ系によって集光された光を電気信号に変換する撮像素子アレイ、
を具備し、
第１偏光手段は、第１の方向に沿って配列された第１領域及び第２領域を有し、
第１領域を通過した第１領域通過光の偏光状態と、第２領域を通過した第２領域通過光の偏光状態とは異なり、
第２偏光手段は、第２の方向に沿って離間して配置され、第１の方向に延びる複数の第３領域を有し、
第３領域を通過した第３領域通過光は偏光状態にあり、第２偏光手段において第３領域以外の領域を通過した光は非偏光状態にあり、
第３領域を構成する第２偏光手段の部分には、ワイヤグリッド偏光子が設けられており、
ワイヤグリッド偏光子を構成するワイヤの延びる方向と第１の方向との成す角度θは、０度を超え、９０度未満であり、
第１領域通過光は第３領域を通過して撮像素子に到達し、第１領域通過光及び第２領域通過光は、第２偏光手段において第３領域以外の領域を通過して撮像素子に到達し、以て、第１領域の重心点と第１偏光手段の重心点との間の距離を両眼視差の基線長さとした立体画像を得るための画像を撮像する撮像装置を用いた撮像方法であって、
第３領域を通過して撮像素子に到達した第１領域通過光によって、右眼用及び左眼用のいずれか一方の画像を得るための電気信号を撮像素子において生成し、
第２偏光手段において第３領域以外の領域を通過して撮像素子に到達した第１領域通過光及び第２領域通過光によって、右眼用及び左眼用のいずれか他方の画像を得るための電気信号を撮像素子において生成し、
これらの電気信号を出力する撮像方法。 The imaging device of the present disclosure described in [1] and the imaging method of the present disclosure described in [14] can also be expressed as follows. That is,
[1 '] << Imaging device >>
(A) first polarizing means for polarizing light from the subject;
(B) a lens system for condensing light from the first polarizing means, and
(C) The imaging elements are arranged in a two-dimensional matrix in a first direction and a second direction orthogonal to the first direction, and have second polarization means on the light incident side. An image sensor array for converting the collected light into an electrical signal;
Comprising
The first polarizing means has a first region and a second region arranged along the first direction,
The polarization state of the first region passing light that has passed through the first region is different from the polarization state of the second region passing light that has passed through the second region,
The second polarizing means has a plurality of third regions that are spaced apart from each other along the second direction and extend in the first direction.
The third region passing light that has passed through the third region is in a polarization state, and the light that has passed through a region other than the third region in the second polarizing means is in a non-polarization state,
A wire grid polarizer is provided in the portion of the second polarizing means constituting the third region,
The angle θ formed between the extending direction of the wires constituting the wire grid polarizer and the first direction is greater than 0 degrees and less than 90 degrees,
The first region passing light passes through the third region and reaches the imaging device, and the first region passing light and the second region passing light pass through the region other than the third region in the second polarizing means to the imaging device. An imaging device that arrives and captures an image for obtaining a stereoscopic image in which the distance between the centroid point of the first region and the centroid point of the first polarizing means is the binocular parallax baseline length.
[14 '] << Imaging method >>
(A) first polarizing means for polarizing light from the subject;
(B) a lens system for condensing light from the first polarizing means, and
(C) The imaging elements are arranged in a two-dimensional matrix in a first direction and a second direction orthogonal to the first direction, and have second polarization means on the light incident side. An image sensor array for converting the collected light into an electrical signal;
Comprising
The first polarizing means has a first region and a second region arranged along the first direction,
The polarization state of the first region passing light that has passed through the first region is different from the polarization state of the second region passing light that has passed through the second region,
The second polarizing means has a plurality of third regions that are spaced apart from each other along the second direction and extend in the first direction.
The third region passing light that has passed through the third region is in a polarization state, and the light that has passed through a region other than the third region in the second polarizing means is in a non-polarization state,
A wire grid polarizer is provided in the portion of the second polarizing means constituting the third region,
The angle θ formed between the extending direction of the wires constituting the wire grid polarizer and the first direction is greater than 0 degrees and less than 90 degrees,
The first region passing light passes through the third region and reaches the imaging device, and the first region passing light and the second region passing light pass through the region other than the third region in the second polarizing means to the imaging device. Therefore, imaging using an imaging device that captures an image for obtaining a stereoscopic image in which the distance between the centroid point of the first region and the centroid point of the first polarizing means is the baseline length of binocular parallax is achieved. A method,
With the first region passing light that has passed through the third region and reached the image sensor, an electrical signal for obtaining one of the right eye image and the left eye image is generated in the image sensor,
For obtaining either the right eye image or the left eye image by the first region passing light and the second region passing light that have passed through the region other than the third region in the second polarizing means and reached the image sensor. Generating an electrical signal in the imaging device;
An imaging method for outputting these electric signals.

１０・・・撮像装置、１１・・・カメラ本体部、１２・・・画像処理手段、１３・・・画像記憶部、２０・・・レンズ系、２１・・・撮影レンズ、２２・・・絞り部、２３・・・結像レンズ、３０・・・第１偏光手段、３１・・・第１領域、３２・・・第２領域、４０・・・撮像素子アレイ、４１，４１Ａ，４１Ｂ・・・撮像素子、５０・・・第２偏光手段（偏光手段）、５１・・・第３領域、５２・・・第４領域、６０・・・シリコン半導体基板、６１・・・光電変換素子、６２・・・第１平坦化膜、６３・・・カラーフィルタ、６４・・・オンチップレンズ、６５・・・第２平坦化膜、６６・・・ワイヤグリッド偏光子、６７・・・ワイヤ、６８・・・配線層、６９・・・遮光層、７１・・・ワイヤ材料層、７２・・・レジスト層、７３・・・エッチングマスク層（ハードマスク材料層）、１０１・・・偏光画素分離部、１０２・・・非偏光画素補間処理部、１０３・・・デモザイク処理部、１０４・・・視差検出用左眼画像生成部、１０５・・・視差検出用右眼画像生成部、１０６・・・視差検出部、１０７・・・視差画像生成部、１０８・・・画像出力部 DESCRIPTION OF SYMBOLS 10 ... Imaging device, 11 ... Camera body part, 12 ... Image processing means, 13 ... Image storage part, 20 ... Lens system, 21 ... Shooting lens, 22 ... Aperture , 23 ... imaging lens, 30 ... first polarizing means, 31 ... first region, 32 ... second region, 40 ... imaging element array, 41, 41A, 41B,. Image sensor 50... Second polarization means (polarization means) 51... Third area 52. Fourth area 60. Silicon semiconductor substrate 61. ... 1st planarization film, 63 ... Color filter, 64 ... On-chip lens, 65 ... 2nd planarization film, 66 ... Wire grid polarizer, 67 ... Wire, 68 ... Wiring layer, 69 ... Light shielding layer, 71 ... Wire material layer, 72 ... Resist layer, 73 ..Etching mask layer (hard mask material layer), 101... Polarization pixel separation unit, 102... Non-polarization pixel interpolation processing unit, 103 .. demosaic processing unit, 104. Generation unit, 105 ... right eye image generation unit for parallax detection, 106 ... parallax detection unit, 107 ... parallax image generation unit, 108 ... image output unit

Claims (7)

（Ａ）被写体からの光を偏光させる第１偏光手段、
（Ｂ）第１偏光手段からの光を集光するレンズ系、並びに、
（Ｃ）第１の方向、及び、第１の方向と直交する第２の方向に２次元マトリクス状に撮像素子が配列されて成り、光入射側に第２偏光手段を有し、レンズ系によって集光された光を電気信号に変換する撮像素子アレイ、
を具備し、
第１偏光手段は、第１の方向に沿って配列された第１領域及び第２領域を有し、
第１領域を通過した第１領域通過光の偏光状態と、第２領域を通過した第２領域通過光の偏光状態とは異なり、
第２偏光手段は、第２の方向に沿って交互に配置され、第１の方向に延びる複数の第３領域及び第４領域を有し、
第３領域を通過した第３領域通過光は偏光状態にあり、第４領域を通過した第４領域通過光は非偏光状態にあり、
第３領域を構成する第２偏光手段の部分には、ワイヤグリッド偏光子が設けられており、
ワイヤグリッド偏光子を構成するワイヤの延びる方向と第１の方向との成す角度θは、０度を超え、９０度未満であり、
第１領域通過光は第３領域を通過して撮像素子に到達し、第１領域通過光及び第２領域通過光は第４領域を通過して撮像素子に到達し、以て、第１領域の重心点と第１偏光手段の重心点との間の距離を両眼視差の基線長さとした立体画像を得るための画像を撮像する撮像装置。 (A) first polarizing means for polarizing light from the subject;
(B) a lens system for condensing light from the first polarizing means, and
(C) The imaging elements are arranged in a two-dimensional matrix in a first direction and a second direction orthogonal to the first direction, and have second polarization means on the light incident side. An image sensor array for converting the collected light into an electrical signal;
Comprising
The first polarizing means has a first region and a second region arranged along the first direction,
The polarization state of the first region passing light that has passed through the first region is different from the polarization state of the second region passing light that has passed through the second region,
The second polarizing means has a plurality of third regions and fourth regions that are alternately arranged along the second direction and extend in the first direction,
The third region passing light that has passed through the third region is in a polarization state, the fourth region passing light that has passed through the fourth region is in a non-polarization state,
A wire grid polarizer is provided in the portion of the second polarizing means constituting the third region,
The angle θ formed between the extending direction of the wires constituting the wire grid polarizer and the first direction is greater than 0 degrees and less than 90 degrees,
The first region passing light passes through the third region and reaches the imaging device, and the first region passing light and the second region passing light pass through the fourth region and reach the imaging device, and thus the first region. An imaging device that captures an image for obtaining a stereoscopic image in which the distance between the center of gravity of the first polarizing means and the center of gravity of the first polarizing means is the baseline length of binocular parallax. 第２の方向に沿って連続するＭ個の撮像素子（但し、Ｍ＝２mであり、ｍは２乃至５の自然数）に対して１つの第３領域及び１つの第４領域を配する請求項１に記載の撮像装置。 One third region and one fourth region are arranged for M imaging elements (M = 2 m , m is a natural number of 2 to 5) that are continuous along the second direction. Item 2. The imaging device according to Item 1. 複数の撮像素子ユニットが、第１の方向及び第２の方向に２次元マトリクス状に配列されており、
１つの撮像素子ユニットは、４つの撮像素子がベイヤ配列されて成り、
第３領域は、第２の方向に沿って連続した２個の撮像素子に対応して配されており、
第４領域は、第２の方向に沿って連続した残りの撮像素子に対応して配されている請求項２に記載の撮像装置。 A plurality of image sensor units are arranged in a two-dimensional matrix in the first direction and the second direction,
One image sensor unit consists of four image sensors arranged in a Bayer array,
The third region is arranged corresponding to two imaging elements continuous along the second direction,
The imaging device according to claim 2, wherein the fourth region is arranged corresponding to the remaining imaging elements that are continuous along the second direction. 第３領域は、第１の方向に沿った全ての撮像素子に対応して配されている請求項３に記載の撮像装置。   The imaging device according to claim 3, wherein the third region is arranged corresponding to all of the imaging elements along the first direction. θ1≦θ≦θ2を満足する請求項３に記載の撮像装置。
但し、第２の方向に沿った撮像素子の長さをＸ2としたとき、θ1は、
ｆ1（Ｘ2）＝ａｒｃｓｉｎ（Ｘ2／１２．４）
から求められた値を切り捨てた整数値であり、θ2は、
ｆ2（Ｘ2）＝ａｒｃｓｉｎ（Ｘ2／１０．０）
から求められた値を切り上げた整数値である。 The imaging device according to claim 3, wherein θ 1 ≦ θ ≦ θ 2 is satisfied.
However, when the length of the image sensor along the second direction is X 2 , θ 1 is
f 1 (X 2 ) = arcsin (X 2 /12.4)
An integer value by truncating the value obtained from, theta 2 is
f 2 (X 2 ) = arcsin (X 2 /10.0)
It is an integer value obtained by rounding up the value obtained from. ワイヤグリッド偏光子を構成するワイヤには切れ目が存在しない請求項１に記載の撮像装置。   The imaging device according to claim 1, wherein the wire constituting the wire grid polarizer has no break. （Ａ）被写体からの光を偏光させる第１偏光手段、
（Ｂ）第１偏光手段からの光を集光するレンズ系、並びに、
（Ｃ）第１の方向、及び、第１の方向と直交する第２の方向に２次元マトリクス状に撮像素子が配列されて成り、光入射側に第２偏光手段を有し、レンズ系によって集光された光を電気信号に変換する撮像素子アレイ、
を具備し、
第１偏光手段は、第１の方向に沿って配列された第１領域及び第２領域を有し、
第１領域を通過した第１領域通過光の偏光状態と、第２領域を通過した第２領域通過光の偏光状態とは異なり、
第２偏光手段は、第２の方向に沿って交互に配置され、第１の方向に延びる複数の第３領域及び第４領域を有し、
第３領域を通過した第３領域通過光は偏光状態にあり、第４領域を通過した第４領域通過光は非偏光状態にあり、
第３領域を構成する第２偏光手段の部分には、ワイヤグリッド偏光子が設けられており、
ワイヤグリッド偏光子を構成するワイヤの延びる方向と第１の方向との成す角度θは、０度を超え、９０度未満であり、
第１領域通過光は第３領域を通過して撮像素子に到達し、第１領域通過光及び第２領域通過光は第４領域を通過して撮像素子に到達し、以て、第１領域の重心点と第１偏光手段の重心点との間の距離を両眼視差の基線長さとした立体画像を得るための画像を撮像する撮像装置を用いた撮像方法であって、
第３領域を通過して撮像素子に到達した第１領域通過光によって、右眼用及び左眼用のいずれか一方の画像を得るための電気信号を撮像素子において生成し、
第４領域を通過して撮像素子に到達した第１領域通過光及び第２領域通過光によって、右眼用及び左眼用のいずれか他方の画像を得るための電気信号を撮像素子において生成し、
これらの電気信号を出力する撮像方法。 (A) first polarizing means for polarizing light from the subject;
(B) a lens system for condensing light from the first polarizing means, and
(C) The imaging elements are arranged in a two-dimensional matrix in a first direction and a second direction orthogonal to the first direction, and have second polarization means on the light incident side. An image sensor array for converting the collected light into an electrical signal;
Comprising
The first polarizing means has a first region and a second region arranged along the first direction,
The polarization state of the first region passing light that has passed through the first region is different from the polarization state of the second region passing light that has passed through the second region,
The second polarizing means has a plurality of third regions and fourth regions that are alternately arranged along the second direction and extend in the first direction,
The third region passing light that has passed through the third region is in a polarization state, the fourth region passing light that has passed through the fourth region is in a non-polarization state,
A wire grid polarizer is provided in the portion of the second polarizing means constituting the third region,
The angle θ formed between the extending direction of the wires constituting the wire grid polarizer and the first direction is greater than 0 degrees and less than 90 degrees,
The first region passing light passes through the third region and reaches the imaging device, and the first region passing light and the second region passing light pass through the fourth region and reach the imaging device, and thus the first region. An imaging method using an imaging device that captures an image for obtaining a stereoscopic image in which the distance between the center of gravity of the first polarizing means and the center of gravity of the first polarizing means is a baseline length of binocular parallax,
With the first region passing light that has passed through the third region and reached the image sensor, an electrical signal for obtaining one of the right eye image and the left eye image is generated in the image sensor,
An electric signal for obtaining one of the right eye image and the left eye image is generated in the image sensor by the first area light and the second area light passing through the fourth area and reaching the image sensor. ,
An imaging method for outputting these electric signals.
JP2011244313A 2011-11-08 2011-11-08 Imaging apparatus and imaging method Pending JP2013102322A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011244313A JP2013102322A (en) 2011-11-08 2011-11-08 Imaging apparatus and imaging method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011244313A JP2013102322A (en) 2011-11-08 2011-11-08 Imaging apparatus and imaging method

Publications (1)

Publication Number Publication Date
JP2013102322A true JP2013102322A (en) 2013-05-23

Family

ID=48622544

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011244313A Pending JP2013102322A (en) 2011-11-08 2011-11-08 Imaging apparatus and imaging method

Country Status (1)

Country Link
JP (1) JP2013102322A (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107302650A (en) * 2017-06-26 2017-10-27 信利光电股份有限公司 The preparation method and camera module and electronic equipment of a kind of base
JP2018195719A (en) * 2017-05-18 2018-12-06 ソニーセミコンダクタソリューションズ株式会社 Image sensor and method for manufacturing image sensor
WO2021172284A1 (en) * 2020-02-28 2021-09-02 富士フイルム株式会社 Image capturing apparatus and method
CN113741046A (en) * 2021-09-11 2021-12-03 成都工业学院 3D display device based on dual-polarization composite pinhole array
CN113741046B (en) * 2021-09-11 2024-05-10 成都工业学院 3D display device based on dual-polarization composite pinhole array

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018195719A (en) * 2017-05-18 2018-12-06 ソニーセミコンダクタソリューションズ株式会社 Image sensor and method for manufacturing image sensor
US11164901B2 (en) 2017-05-18 2021-11-02 Sony Semiconductor Solutions Corporation Image sensor and method for manufacturing image sensor
US11869914B2 (en) 2017-05-18 2024-01-09 Sony Semiconductor Solutions Corporation Image sensor and method for manufacturing image sensor
CN107302650A (en) * 2017-06-26 2017-10-27 信利光电股份有限公司 The preparation method and camera module and electronic equipment of a kind of base
CN107302650B (en) * 2017-06-26 2020-06-19 信利光电股份有限公司 Manufacturing method of base, camera module and electronic equipment
WO2021172284A1 (en) * 2020-02-28 2021-09-02 富士フイルム株式会社 Image capturing apparatus and method
JPWO2021172284A1 (en) * 2020-02-28 2021-09-02
CN115152205A (en) * 2020-02-28 2022-10-04 富士胶片株式会社 Image pickup apparatus and method
JP7326581B2 (en) 2020-02-28 2023-08-15 富士フイルム株式会社 Imaging device and method
CN113741046A (en) * 2021-09-11 2021-12-03 成都工业学院 3D display device based on dual-polarization composite pinhole array
CN113741046B (en) * 2021-09-11 2024-05-10 成都工业学院 3D display device based on dual-polarization composite pinhole array

Similar Documents

Publication Publication Date Title
JP5831105B2 (en) Imaging apparatus and imaging method
US11736676B2 (en) Imaging apparatus and image sensor array
JP5454424B2 (en) Imaging method
WO2011148851A1 (en) Imaging device and imaging method
JP5682437B2 (en) Solid-state imaging device, solid-state imaging device, imaging apparatus, and polarizing element manufacturing method
JP5421364B2 (en) 3D imaging device
JP5742281B2 (en) Imaging apparatus, image processing method, and program
JP5406383B2 (en) Imaging device
JP2013102322A (en) Imaging apparatus and imaging method
US20160029005A1 (en) Image-capturing apparatus and image-capturing method
JP6476630B2 (en) Imaging device