JP5637448B2

JP5637448B2 - Polarized imaging device

Info

Publication number: JP5637448B2
Application number: JP2011015390A
Authority: JP
Inventors: 小林　正典; 正典小林; 青木　伸; 青木　　伸
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2011-01-27
Filing date: 2011-01-27
Publication date: 2014-12-10
Anticipated expiration: 2031-01-27
Also published as: JP2012154847A

Description

本発明は、偏光方向が互いに異なる偏光成分についての偏光画像情報を出力する偏光画像撮像装置に関するものである。 The present invention relates to a polarization image capturing apparatus that outputs polarization image information for polarization components having different polarization directions.

一般的な撮像装置の撮像原理は、撮像領域からの光の強さ（輝度情報）を検出し、この輝度情報に基づいて画像を形成するというものである。一方、近年、撮像領域内に存在する物体の形状や表面状態などの検出（センシング）のために偏光情報を利用した偏光画像撮像装置も知られている。この偏光画像撮像装置は、特定偏光した光または非偏光の自然光が照射された物体からの反射光（鏡面反射光または拡散反射光）が、その物体の表面の向きやその物体に対する撮像位置などの幾何学的要因によって種々の部分偏光を呈することを利用する。このような偏光画像撮像装置によれば、撮像領域内の物体からの反射光の部分偏光状態の２次元分布を偏光画像として取得することができる。偏光画像撮像装置としては、例えば特許文献１や特許文献２に開示されたものが知られている。 A general imaging principle of an imaging apparatus is to detect the intensity of light (luminance information) from an imaging area and form an image based on the luminance information. On the other hand, in recent years, a polarization imaging apparatus using polarization information for detecting (sensing) the shape, surface state, etc. of an object existing in an imaging area is also known. In this polarization image pickup device, reflected light (specular reflection light or diffuse reflection light) from an object irradiated with specific polarized light or non-polarized natural light is reflected in the direction of the surface of the object and the imaging position with respect to the object. Utilizing various partial polarizations depending on geometric factors. According to such a polarization image capturing apparatus, it is possible to acquire a two-dimensional distribution of the partially polarized state of the reflected light from the object in the imaging region as a polarization image. As a polarization image pick-up device, what was indicated by patent documents 1 and patent documents 2, for example is known.

特許文献１に開示の撮像装置は、図１２に示すように、垂直偏光成分のみ透過する偏光フィルタ１０２Ａを介して撮像する撮像素子１０４Ａと、水平偏光成分のみ透過する偏光フィルタ１０２Ｂを介して撮像する撮像素子１０４Ｂとを並列配置させている。この撮像装置では、一方の撮像素子１０４Ａを用いて、撮像領域内の物体からの反射光に含まれる垂直偏光成分の２次元強度分布を表現した垂直偏光画像を撮像するとともに、他方の撮像素子１０４Ｂを用いて、撮像領域内の物体からの反射光に含まれる水平偏光成分の２次元強度分布を表現した水平偏光画像を撮像する。そして、画像処理部１０６では、これらの垂直偏光画像及び水平偏光画像について、視差による位置ズレを補正した後、画素ごとに水平偏光強度に対する垂直偏光強度である偏光比を求め、その偏光比を画素値とした偏光比画像を生成する。この撮像装置は、このように２つの撮像素子を並列配置した構成であるので、１つの撮像素子で構成する場合と比較して、コストアップとなることに加えて大型化するという欠点がある。更には、偏光比画像を得るためには視差の位置ズレ補正処理が必要となるという欠点もある。 As shown in FIG. 12, the imaging device disclosed in Patent Document 1 captures an image through an imaging element 104A that captures an image through a polarizing filter 102A that transmits only a vertical polarization component, and an image through a polarization filter 102B that transmits only a horizontal polarization component. The image sensor 104B is arranged in parallel. In this imaging apparatus, one image sensor 104A is used to capture a vertically polarized image representing a two-dimensional intensity distribution of a vertically polarized component included in reflected light from an object in the imaging region, and the other image sensor 104B. Is used to capture a horizontally polarized image representing the two-dimensional intensity distribution of the horizontally polarized component contained in the reflected light from the object in the imaging region. Then, the image processing unit 106 corrects the positional deviation due to the parallax for these vertically polarized images and horizontally polarized images, obtains a polarization ratio that is a vertical polarization intensity with respect to the horizontal polarization intensity for each pixel, and calculates the polarization ratio as a pixel. A polarization ratio image is generated as a value. Since this image pickup apparatus has a configuration in which two image pickup elements are arranged in parallel as described above, there is a disadvantage in that it is increased in size in addition to an increase in cost as compared with the case of using a single image pickup element. Furthermore, in order to obtain a polarization ratio image, there is a drawback in that a process for correcting the positional deviation of parallax is required.

これに対し、特許文献２には、図１３及び図１４に示すように、偏光フィルタアレイ２０２を介して、１つの撮像素子（受光素子アレイ）２０４により、偏光方向が互いに異なる複数の偏光成分についての偏光画像を同時に取得できる撮像装置が開示されている。この撮像装置の偏光フィルタアレイ２０２は、偏光方向が互いに異なる複数の偏光成分をそれぞれ透過させる複数種類の偏光子領域ａ〜ｄを、撮像素子２０４の各受光素子（単位受光領域）２０４ａに対応させて２次元分布させた構成をもつ。この撮像装置によれば、複数種類の偏光画像を１つの撮像素子２０４により同時に取得できるので、上記特許文献１に記載の撮像装置と比較して、コストダウンや小型化を図ることができる。 On the other hand, in Patent Document 2, as shown in FIGS. 13 and 14, a plurality of polarization components having different polarization directions by one image sensor (light receiving element array) 204 via a polarization filter array 202 are disclosed. An imaging apparatus capable of simultaneously acquiring the polarized images is disclosed. The polarization filter array 202 of this imaging apparatus associates a plurality of types of polarizer regions a to d that transmit a plurality of polarization components having different polarization directions with each light receiving element (unit light receiving region) 204 a of the imaging element 204. And have a two-dimensional distribution structure. According to this imaging apparatus, since a plurality of types of polarized images can be simultaneously acquired by one imaging element 204, it is possible to achieve cost reduction and downsizing compared to the imaging apparatus described in Patent Document 1.

ところが、上記特許文献２に記載の撮像装置のように、偏光方向が互いに異なる偏光成分を透過させる複数種類のフィルタ領域が受光素子アレイ上の各受光素子に対応して配置された偏光フィルタアレイにより各偏光成分についての偏光画像を撮像する場合には、次のような問題点が発生する。以下、その問題点について、図面を参照して説明する。 However, as in the imaging device described in Patent Document 2, a polarizing filter array in which a plurality of types of filter regions that transmit polarized components having different polarization directions are arranged corresponding to each light receiving element on the light receiving element array. When a polarization image for each polarization component is captured, the following problems occur. The problem will be described below with reference to the drawings.

図１４に示した例の偏光フィルタアレイは、４種類の偏光子領域ａ〜ｄを２×２の受光素子に対応して配置し、これを周期的に２次元配置した分布させたものである。この例における偏光画像の１画素は、４種類の偏光子領域ａ〜ｄに対応する１組（２×２）の受光素子によって構成される。したがって、例えば、偏光子領域ａ〜ｄをそれぞれ透過する各偏光成分についての偏光画像を個別に生成したり、偏光子領域ａ〜ｄをそれぞれ透過する各偏光成分の少なくとも２つを用いて算出される指標値（偏光比等）を用いた偏光画像を生成したりすることができる。 The polarizing filter array of the example shown in FIG. 14 is a distribution in which four types of polarizer regions a to d are arranged corresponding to 2 × 2 light receiving elements and are periodically and two-dimensionally arranged. . One pixel of the polarization image in this example is constituted by one set (2 × 2) of light receiving elements corresponding to four types of polarizer regions a to d. Therefore, for example, a polarization image is individually generated for each polarization component that passes through each of the polarizer regions a to d, or is calculated using at least two of each polarization component that passes through each of the polarizer regions a to d. A polarized image using a certain index value (polarization ratio or the like) can be generated.

ここで、説明を簡単にするため、図１５に示すように、互いに直交した偏光成分（Ｓ偏光成分、Ｐ偏光成分）を透過させる２種類の偏光子領域を介して受光する２つの受光素子によって偏光画像の１画素が構成される場合で説明する。
偏光フィルタアレイ３０２の各偏光子領域ｆ０，ｆ１，ｆ２，ｆ３，ｆ４，ｆ５は、それぞれ、撮像素子の各受光素子Ｃ０，Ｃ１，Ｃ２，Ｃ３，Ｃ４，Ｃ５に対応しており、撮像領域内の位置Ａからの光のＰ偏光成分と位置Ｂからの光のＳ偏光成分とから、偏光画像中の１画素についての偏光画像情報１が生成される。同様に、撮像領域内の位置Ｃからの光のＰ偏光成分と位置Ｄからの光のＳ偏光成分とから、偏光画像中の他の１画素についての偏光画像情報２が生成される。このような偏光画像情報を撮像領域の全域について得ることで、当該撮像領域全体の偏光画像を生成することができる。 Here, for the sake of simplicity, as shown in FIG. 15, two light receiving elements that receive light through two types of polarizer regions that transmit mutually orthogonal polarization components (S polarization component and P polarization component) are used. A case where one pixel of the polarization image is configured will be described.
The polarizer regions f0, f1, f2, f3, f4, and f5 of the polarizing filter array 302 correspond to the light receiving elements C0, C1, C2, C3, C4, and C5 of the imaging device, respectively, and are within the imaging region. Polarization image information 1 for one pixel in the polarization image is generated from the P polarization component of the light from position A and the S polarization component of the light from position B. Similarly, polarization image information 2 for the other one pixel in the polarization image is generated from the P polarization component of light from position C and the S polarization component of light from position D in the imaging region. By obtaining such polarization image information for the entire imaging region, a polarization image of the entire imaging region can be generated.

図１６（ａ）は、撮像領域内の位置Ａ及び位置Ｂからいずれも同じ光強度をもった無偏光の自然光が入射した場合の模式図である。
図１６（ｂ）は、この場合に、偏光子領域ｆ１，ｆ２を介して撮像素子３０４の受光素子Ｃ１，Ｃ２により受光した受光量（光強度）を示すグラフである。
図１６（ａ）の上方から無偏光である自然光が偏光フィルタアレイ３０２に入射し、これが偏光子領域ｆ１，ｆ２を透過して撮像素子３０４の受光素子Ｃ１，Ｃ２に受光されると、各受光素子Ｃ１，Ｃ２からは受光量（光強度）に応じた電気信号が出力され、その電気信号に基づいて偏光画像の画素値が決定される。ここで、２つの受光素子Ｃ１，Ｃ２には、それぞれ対応する偏光子領域ｆ１，ｆ２を透過した光のみ受光されるものとし、各偏光子領域ｆ１，ｆ２では、直交する偏光成分のうちの一方のみを完全に透過し、他方を完全に遮断するものとする。この場合、同じ光強度をもった無偏光の自然光が各偏光子領域ｆ１，ｆ２を透過して各受光素子Ｃ１，Ｃ２に受光されると、各受光素子Ｃ１，Ｃ２で受光される光の受光量（光強度）は、図１６（ｂ）に示すように、いずれも同じ値をとる。 FIG. 16A is a schematic diagram when unpolarized natural light having the same light intensity is incident from positions A and B in the imaging region.
FIG. 16B is a graph showing the amount of received light (light intensity) received by the light receiving elements C1 and C2 of the imaging element 304 via the polarizer regions f1 and f2 in this case.
When unpolarized natural light enters the polarizing filter array 302 from above in FIG. 16A and passes through the polarizer regions f1 and f2, and is received by the light receiving elements C1 and C2 of the imaging element 304, each light reception is performed. An electric signal corresponding to the amount of received light (light intensity) is output from the elements C1 and C2, and the pixel value of the polarization image is determined based on the electric signal. Here, it is assumed that only the light transmitted through the corresponding polarizer regions f1 and f2 is received by the two light receiving elements C1 and C2, respectively. In each polarizer region f1 and f2, one of the orthogonal polarization components is received. Only completely through and the other completely blocked. In this case, when non-polarized natural light having the same light intensity passes through the polarizer regions f1 and f2 and is received by the light receiving elements C1 and C2, the light received by the light receiving elements C1 and C2 is received. As shown in FIG. 16B, the amount (light intensity) takes the same value.

図１７（ａ）は、撮像領域内の位置Ａからは無偏光の自然光が入射し、位置ＢからはＳ偏光成分のみの光が入射した場合の模式図である。図１７（ｂ）は、この場合に、偏光子領域ｆ１，ｆ２を介して撮像素子３０４の受光素子Ｃ１，Ｃ２により受光した受光量（光強度）を示すグラフである。
この例では、位置Ｂからの光強度は位置Ａからの光強度の１／２としている。位置Ａからの光（無偏光）が偏光子領域ｆ１を透過して受光素子Ｃ１に受光されると、偏光子領域ｆ１を透過する前の光強度の半分（Ｓ偏光成分）が偏光子領域ｆ１で遮断されるので、受光素子Ｃ１に受光される光の強度は偏光子領域ｆ１を透過する前の光強度の半分となる。一方、位置Ｂからの光（Ｓ偏光成分のみ）が偏光子領域ｆ２を透過して受光素子Ｃ２に受光されるとき、その偏光子領域ｆ２で遮断されるＰ偏光成分がもともと存在しないので、受光素子Ｃ２に受光される光の強度は偏光子領域ｆ２を透過する前と同じ光強度となる。位置Ｂからの光強度は位置Ａからの光強度の１／２なので、各受光素子Ｃ１，Ｃ２で受光される光の受光量（光強度）は、図１７（ｂ）に示すように、いずれも同じ値をとる。 FIG. 17A is a schematic diagram when non-polarized natural light is incident from position A in the imaging region and only S-polarized light is incident from position B. FIG. FIG. 17B is a graph showing the amount of light received (light intensity) received by the light receiving elements C1 and C2 of the imaging element 304 via the polarizer regions f1 and f2 in this case.
In this example, the light intensity from the position B is ½ of the light intensity from the position A. When light from the position A (non-polarized light) passes through the polarizer region f1 and is received by the light receiving element C1, half of the light intensity (S-polarized component) before passing through the polarizer region f1 is the polarizer region f1. Therefore, the intensity of the light received by the light receiving element C1 is half of the light intensity before passing through the polarizer region f1. On the other hand, when the light from the position B (only the S-polarized component) passes through the polarizer region f2 and is received by the light receiving element C2, there is no P-polarized component that is blocked by the polarizer region f2, so that the light is received. The intensity of the light received by the element C2 is the same as that before transmitting through the polarizer region f2. Since the light intensity from the position B is ½ of the light intensity from the position A, the received light amount (light intensity) of the light received by each of the light receiving elements C1 and C2 is as shown in FIG. Also takes the same value.

図１６（ａ）に示す例と図１７（ａ）に示す例とでは、撮像領域からの光の偏光特性分布が異なっているが、図１６（ｂ）と図１７（ｂ）のグラフを対比すると、各受光素子Ｃ１，Ｃ２で受光される光強度の組合せはいずれも同じ組合せとなる。この場合、各受光素子Ｃ１，Ｃ２の光強度から算出される偏光画像の画素値に違いが出ないので、撮像領域からの光の偏光特性分布の違いが偏光画像上に反映されないことになる。従来の撮像装置では、偏光画像の１画素に対応する一組の受光素子Ｃ１，Ｃ２には同じ地点からの光（同じ偏光特性を持った光）が入射していると仮定して信号処理している。よって、一組の受光素子Ｃ１，Ｃ２で受光される光強度の組合せが図１６（ｂ）や図１７（ｂ）に示すようなものである場合、従来の撮像装置では、これを図１６（ａ）に示す例のような偏光特性分布である（各位置Ａ，Ｂからの光はいずれも無偏光である）と認識することになる。そのため、実際の偏光特性分布が図１７（ａ）に示す例のようなものである場合（位置Ａからの光は無偏光、位置Ｂからの光はＳ偏光成分のみである場合）、従来の撮像装置では、これを図１６（ａ）に示す例のような偏光特性分布であると誤認識してしまう。 The example shown in FIG. 16A and the example shown in FIG. 17A differ in the polarization characteristic distribution of light from the imaging region, but the graphs of FIG. 16B and FIG. 17B are compared. Then, the combination of the light intensity received by each of the light receiving elements C1 and C2 is the same combination. In this case, since there is no difference in the pixel value of the polarization image calculated from the light intensity of each light receiving element C1, C2, the difference in the polarization characteristic distribution of the light from the imaging region is not reflected on the polarization image. In a conventional imaging apparatus, signal processing is performed on the assumption that light from the same point (light having the same polarization characteristics) is incident on a pair of light receiving elements C1 and C2 corresponding to one pixel of a polarization image. ing. Therefore, when the combination of the light intensities received by the pair of light receiving elements C1 and C2 is as shown in FIG. 16B or FIG. 17B, the conventional imaging apparatus uses this as shown in FIG. It is recognized that the polarization characteristic distribution is the same as the example shown in a) (the light from each of the positions A and B is unpolarized). Therefore, when the actual polarization characteristic distribution is as shown in FIG. 17A (when light from position A is non-polarized and light from position B is only the S-polarized component), In the imaging apparatus, this is erroneously recognized as the polarization characteristic distribution as in the example shown in FIG.

従来の撮像装置では、特定の偏光成分を受光する受光素子で受光される光強度からは、そこに向けて入射している光に含まれている当該特定の偏光成分の光強度を把握できても、そこに向けて入射している光がどのような偏光特性を有しているか（他の偏光成分を含んだものであるのか否か等）を判断できない。そのため、偏光画像の１画素に対応する１組の受光素子には同じ地点からの光が入射していると仮定し、ある受光素子で受光される光の偏光特性を、これと同じ組に属する他の受光素子の光強度から推測している。 In the conventional imaging device, the light intensity of the specific polarization component contained in the light incident on the light receiving element that receives the specific polarization component can be grasped from the light intensity received by the light receiving element. However, it is impossible to determine what polarization characteristic the light incident there has (such as whether it contains other polarization components). Therefore, it is assumed that light from the same point is incident on a set of light receiving elements corresponding to one pixel of the polarization image, and the polarization characteristics of light received by a certain light receiving element belong to the same set. It is estimated from the light intensity of other light receiving elements.

しかしながら、従来の撮像装置では、同じ組に属する受光素子は、互いに異なる位置Ａ，Ｂからの光を受光するので、これらの位置Ａ，Ｂがいかに近接しているとしても、その推測誤差を避けることはできない。したがって、従来の撮像装置では、偏光特性分布の誤認識の発生を避けることができないという問題点があった。この問題点は、例えば、偏光画像から撮像領域内の物体形状や表面状態などを認識する場合、その物体のエッジ（偏光特性が変化する境界部分）を検出する際にそのエッジ検出精度を低下させ、認識精度を悪化させる要因となるなど、種々の不具合を引き起こす。 However, in the conventional imaging device, the light receiving elements belonging to the same set receive light from different positions A and B, and therefore no matter how close these positions A and B are, the estimation error is avoided. It is not possible. Therefore, the conventional imaging apparatus has a problem that it is impossible to avoid erroneous recognition of the polarization characteristic distribution. For example, when recognizing an object shape or surface state in an imaging region from a polarization image, this problem decreases the edge detection accuracy when detecting an edge of the object (a boundary portion where polarization characteristics change). This causes various problems such as a factor of deteriorating recognition accuracy.

本発明は、上記問題点に鑑みなされたものであり、その目的とするところは、撮像領域内の偏光特性分布の誤認識が発生することを避けることができる偏光画像撮像装置を提供することである。 The present invention has been made in view of the above problems, and an object of the present invention is to provide a polarization image capturing apparatus that can avoid erroneous recognition of the polarization characteristic distribution in the image capturing region. is there.

上記目的を達成するために、請求項１の発明は、受光素子が２次元配置された受光素子アレイと、上記受光素子アレイの入射側に配置され、偏光方向が互いに異なる偏光成分を透過させる複数種類のフィルタ領域を備え、各フィルタ領域が上記受光素子アレイ上における１つの受光素子又は２以上の受光素子群で構成される単位受光領域に対応して配置された偏光フィルタアレイと、上記受光素子アレイで検出された各単位受光領域の受光量に基づいて、２つ以上の偏光成分についての偏光画像情報を出力する偏光画像情報出力手段とを有する偏光画像撮像装置において、撮像領域内の各地点からの光の入射光路それぞれを、上記偏光フィルタアレイ上の互いに異なる種類のフィルタ領域に向かう複数の分岐光路に分岐させる光路分岐手段を有し、一の単位受光領域が、撮像領域内の一地点からの偏光成分であって該一の単位受光領域に対応して設けられたフィルタ領域を通過する偏光成分のみを受光し、他の地点からの光が受光されないように、上記光分岐手段による各分岐光路及び上記偏光フィルタアレイにおけるフィルタ領域の配置が設定されていることを特徴とするものである。
また、請求項２の発明は、請求項１の偏光画像撮像装置において、上記光路分岐手段が分岐させる複数の分岐光路の１つは、当該入射光路から直進方向へ進む直進光路であることを特徴とするものである。
また、請求項３の発明は、請求項１又は２の偏光画像撮像装置において、上記光路分岐手段は、分岐させた複数の分岐光路が、上記偏光フィルタアレイ上で互いに隣接したフィルタ領域に向かうように構成されていることを特徴とするものである。
また、請求項４の発明は、請求項１乃至３のいずれか１項に記載の偏光画像撮像装置において、上記光路分岐手段は、撮像領域内の各地点からの光の入射光路それぞれを偏光成分ごとに分岐させるものであって、各偏光成分に対応した分岐光路が当該分岐光路を通る偏光成分を透過させるフィルタ領域に向かうように構成されていることを特徴とするものである。
また、請求項５の発明は、請求項４の偏光画像撮像装置において、上記光路分岐手段は、複屈折部材で構成されていることを特徴とするものである。
また、請求項６の発明は、請求項４の偏光画像撮像装置において、上記光路分岐手段は、偏光回折部材で構成されていることを特徴とするものである。
また、請求項７の発明は、請求項４の偏光画像撮像装置において、上記光路分岐手段は、偏光ホログラム部材で構成されていることを特徴とするものである。
また、請求項８の発明は、請求項１乃至７のいずれか１項に記載の偏光画像撮像装置において、上記光路分岐手段は、上記偏光フィルタアレイに固定されていることを特徴とするものである。 In order to achieve the above object, the invention of claim 1 includes a light receiving element array in which light receiving elements are two-dimensionally arranged, and a plurality of light transmitting elements that are arranged on an incident side of the light receiving element array and have different polarization directions. A polarizing filter array having different types of filter regions , each filter region being arranged corresponding to a unit light receiving region constituted by one light receiving element or two or more light receiving element groups on the light receiving element array, and the light receiving element Each point in an imaging area in a polarization imaging apparatus having polarization image information output means for outputting polarization image information for two or more polarization components based on the amount of light received by each unit light reception area detected by the array Optical path branching means for branching each of the incident optical paths of light from a plurality of branch optical paths toward different types of filter regions on the polarizing filter array And, one unit light-receiving regions receive only the polarization component a polarized light component passing through the filter region provided corresponding to the unit light-receiving area of the one from one point in the imaging area, other points The arrangement is such that the branching optical paths by the light branching means and the arrangement of the filter regions in the polarizing filter array are set so that the light from the light is not received .
The invention according to claim 2 is the polarization image pickup device according to claim 1, wherein one of the plurality of branched light paths branched by the light path branching means is a straight light path that travels in the straight direction from the incident light path. It is what.
According to a third aspect of the present invention, in the polarization image capturing apparatus according to the first or second aspect, the optical path branching unit is configured such that the branched branch optical paths are directed to filter regions adjacent to each other on the polarizing filter array. It is comprised by these.
According to a fourth aspect of the present invention, there is provided the polarization image capturing apparatus according to any one of the first to third aspects, wherein the optical path branching unit converts each incident optical path of light from each point in the imaging region to a polarization component. Each branching optical path is branched, and the branching optical path corresponding to each polarization component is configured to be directed to a filter region that transmits the polarization component passing through the branching optical path.
According to a fifth aspect of the present invention, in the polarization image capturing apparatus according to the fourth aspect, the optical path branching means is composed of a birefringent member.
According to a sixth aspect of the present invention, in the polarization image capturing apparatus according to the fourth aspect, the optical path branching means is composed of a polarization diffraction member.
According to a seventh aspect of the present invention, in the polarization image capturing apparatus according to the fourth aspect, the optical path branching means is composed of a polarization hologram member.
The invention according to claim 8 is the polarization image pickup device according to any one of claims 1 to 7, wherein the optical path branching means is fixed to the polarization filter array. is there.

本発明においては、撮像領域内の各地点からの光の入射光路それぞれを複数の分岐光路に分岐させ、各分岐光路がそれぞれ偏光フィルタアレイ上の互いに異なる種類のフィルタ領域に向かうように構成されている。よって、同一地点からの光が、互いに異なる種類のフィルタ領域を介して個別の単位受光領域に受光される。したがって、本発明においては、ある単位受光領域で受光した特定の偏光成分の受光量だけではそこに向けて入射している光の偏光特性が認識できなくても（他の偏光成分も含んでいるのか否か等）、その単位受光領域で受光される光と同じ地点からの光についての他の偏光成分を受光する別の単位受光領域の受光量から、当該地点からの光の偏光特性を、推測ではなく直接的に特定することができる。
なお、一の単位受光領域に向けて入射してくる光の偏光特性を別の単位受光領域の受光量から特定するためには、当該別の単位受光領域に、当該一の単位受光領域で受光される光と同じ地点からの光の成分だけが受光されるように、他の地点からの光の成分が当該別の単位受光領域に受光されないようにする。ただし、当該別の単位受光領域に他の地点からの光の成分も受光される場合であっても、当該別の単位受光領域で受光する受光量から当該他の地点からの光の成分を除去することができれば、当該一の単位受光領域に向けて入射してくる光の偏光特性を特定することが可能となる。 In the present invention, each of the incident optical paths of light from each point in the imaging region is branched into a plurality of branched optical paths, and each branched optical path is directed to a different type of filter region on the polarizing filter array. Yes. Therefore, the light from the same point is received by the individual unit light receiving regions through different types of filter regions. Therefore, in the present invention, the polarization characteristics of the light incident thereon cannot be recognized by only the amount of received light of a specific polarization component received by a certain unit light-receiving area (including other polarization components). Whether or not, etc.), from the amount of light received by another unit light receiving region that receives other polarization components of light from the same point as the light received by the unit light receiving region, the polarization characteristics of the light from that point, It can be specified directly rather than guessed.
In addition, in order to specify the polarization characteristics of light incident toward one unit light receiving region from the amount of light received by another unit light receiving region, the light received by the one unit light receiving region is received by the other unit light receiving region. The light component from the other point is prevented from being received by the other unit light receiving region so that only the light component from the same point as the received light is received. However, even when the light component from another point is received by the other unit light receiving region, the light component from the other point is removed from the amount of light received by the other unit light receiving region. If it is possible to do so, it becomes possible to specify the polarization characteristics of the light incident toward the one unit light-receiving region.

以上より、本発明は、撮像領域内の偏光特性分布の誤認識が発生することを避けることができる偏光画像撮像装置を提供できるという優れた効果が得られる。 As described above, the present invention provides an excellent effect that it is possible to provide a polarization image pickup apparatus that can avoid erroneous recognition of the polarization characteristic distribution in the image pickup region.

実施形態における撮像装置の概略構成を示す説明図である。It is explanatory drawing which shows schematic structure of the imaging device in embodiment. 同撮像装置の偏光フィルタアレイと画像センサとを示す拡大図である。It is an enlarged view which shows the polarizing filter array and image sensor of the imaging device. 同偏光フィルタアレイと同画像センサとの位置関係を示す説明図である。It is explanatory drawing which shows the positional relationship of the same polarizing filter array and the same image sensor. 偏光フィルタアレイの一変形例を示す説明図である。It is explanatory drawing which shows the modification of a polarizing filter array. 偏光フィルタアレイの他の変形例を示す説明図である。It is explanatory drawing which shows the other modification of a polarizing filter array. 偏光フィルタアレイの更に他の変形例を示す説明図である。It is explanatory drawing which shows the other modification of a polarizing filter array. 構成例１における光路分岐手段である複屈折板の説明図である。It is explanatory drawing of the birefringent plate which is an optical path branching means in the structural example 1. 構成例２における光路分岐手段である偏光回折素子の説明図である。It is explanatory drawing of the polarization | polarized-light diffraction element which is an optical path branching means in the structural example 2. 構成例３における光路分岐手段である偏光ホログラム部材の説明図である。It is explanatory drawing of the polarization hologram member which is an optical path branching means in the structural example 3. 構成例４における光路分岐手段の説明図である。It is explanatory drawing of the optical path branching means in the structural example 4. 同撮像装置の偏光画像処理部における処理内容を説明するための説明図である。It is explanatory drawing for demonstrating the processing content in the polarization image process part of the imaging device. ２つの撮像素子を並列配置して２つの偏光成分についての偏光画像を撮像する従来の撮像装置の一例を示すブロック図である。It is a block diagram which shows an example of the conventional imaging device which images the polarization | polarized-light image about two polarization components by arrange | positioning two image sensors in parallel. 偏光フィルタアレイを用いて１つの撮像素子により２つの偏光成分についての偏光画像を撮像する他の従来の撮像装置の一例を示すブロック図である。It is a block diagram which shows an example of the other conventional imaging device which images the polarization image about two polarization components with one image sensor using a polarizing filter array. 当該他の従来の撮像装置における偏光フィルタアレイと画像センサとの位置関係を示す説明図である。It is explanatory drawing which shows the positional relationship of the polarizing filter array and image sensor in the said other conventional imaging device. 当該他の従来の撮像装置において、同偏光フィルタアレイのフィルタ領域及び画像センサの受光素子と得られる偏光画像情報との関係を示す説明図である。It is explanatory drawing which shows the relationship between the filter area | region of the same polarization filter array, the light receiving element of an image sensor, and the polarization image information obtained in the said other conventional imaging device. （ａ）は、当該他の従来の撮像装置において、撮像領域内の位置Ａ及び位置Ｂからいずれも同じ光強度をもった無偏光の自然光が入射した場合の模式図である。（ｂ）は、この場合に、偏光子領域を介して撮像素子の受光素子により受光した受光量（光強度）を示すグラフである。(A) is a schematic diagram when unpolarized natural light having the same light intensity is incident from positions A and B in the imaging region in the other conventional imaging device. (B) is a graph which shows the light reception amount (light intensity) received by the light receiving element of the image pickup element through the polarizer region in this case. （ａ）は、撮像領域内の位置Ａからは無偏光の自然光が入射し、位置ＢからはＳ偏光成分のみの光が入射した場合の模式図である。（ｂ）は、この場合に、偏光子領域を介して撮像素子の受光素子により受光した受光量（光強度）を示すグラフである。(A) is a schematic diagram when non-polarized natural light is incident from position A in the imaging region and only S-polarized light is incident from position B. FIG. (B) is a graph which shows the light reception amount (light intensity) received by the light receiving element of the image pickup element through the polarizer region in this case.

以下、本発明に係る偏光画像撮像装置（以下、単に「撮像装置」という。）の一実施形態について説明する。
図１は、本実施形態における撮像装置の概略構成を示す説明図である。
この撮像装置は、主に、撮像レンズ１と、偏光フィルタアレイ２と、光路分岐手段３と、受光素子が２次元配置された受光素子アレイである画像センサ４と、画像センサ４から出力されるアナログ電気信号をデジタル電気信号に変換した撮像画像データを生成して出力する信号処理部５と、信号処理部５から出力された撮像画像データから偏光画像データを生成して出力する偏光画像情報出力手段としての偏光画像処理部６とから構成されている。被写体（被検物）を含む撮像領域からの光は、撮像レンズ１を通り、光路分岐手段３を通過して偏光フィルタアレイ２を透過し、画像センサ４でその光強度に応じた電気信号に変換される。信号処理部５では、画像センサ４から出力される電気信号（アナログ信号）が入力されると、その電気信号から、撮像画像データとして、画像センサ４上における各単位受光領域の明るさ（輝度）を示すデジタル信号を、画像の水平・垂直同期信号とともに後段の機器へ出力する。なお、本実施形態では、１つの単位受光領域は１つの受光素子で構成されているが、２以上の受光素子群により構成してもよい。 Hereinafter, an embodiment of a polarization image capturing apparatus (hereinafter simply referred to as “imaging apparatus”) according to the present invention will be described.
FIG. 1 is an explanatory diagram illustrating a schematic configuration of an imaging apparatus according to the present embodiment.
This imaging apparatus mainly outputs from the imaging lens 1, the polarizing filter array 2, the optical path branching means 3, the image sensor 4 that is a light receiving element array in which the light receiving elements are two-dimensionally arranged, and the image sensor 4. A signal processing unit 5 that generates and outputs captured image data obtained by converting an analog electrical signal into a digital electrical signal, and a polarization image information output that generates and outputs polarization image data from the captured image data output from the signal processing unit 5 It comprises a polarization image processing unit 6 as means. Light from the imaging region including the subject (test object) passes through the imaging lens 1, passes through the optical path branching means 3, passes through the polarization filter array 2, and is converted into an electric signal corresponding to the light intensity by the image sensor 4. Converted. In the signal processing unit 5, when an electrical signal (analog signal) output from the image sensor 4 is input, the brightness (luminance) of each unit light receiving region on the image sensor 4 as captured image data from the electrical signal. Is output to the subsequent device together with the horizontal / vertical synchronizing signal of the image. In the present embodiment, one unit light receiving region is constituted by one light receiving element, but may be constituted by two or more light receiving element groups.

図２は、偏光フィルタアレイ２と画像センサ４とを示す拡大図である。
画像センサ４は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などを用いたイメージセンサであり、その受光素子にはフォトダイオード４ａを用いている。フォトダイオード４ａは、画素ごとに２次元的にアレイ配置されており、フォトダイオード４ａの集光効率を上げるために、各フォトダイオード４ａの入射側にはマイクロレンズ４ｂが設けられている。この画像センサ４がワイヤボンディングなどの手法によりＰＷＢ（printed wiring board）に接合されてセンサ基板が形成されている。画像センサ４のマイクロレンズ４ｂ側の面には、偏光フィルタアレイ２が近接配置されている。 FIG. 2 is an enlarged view showing the polarization filter array 2 and the image sensor 4.
The image sensor 4 is an image sensor using a CCD (Charge Coupled Device), a CMOS (Complementary Metal Oxide Semiconductor), or the like, and a photodiode 4a is used as a light receiving element thereof. The photodiodes 4a are two-dimensionally arranged for each pixel, and a microlens 4b is provided on the incident side of each photodiode 4a in order to increase the light collection efficiency of the photodiodes 4a. The image sensor 4 is bonded to a printed wiring board (PWB) by a method such as wire bonding to form a sensor substrate. The polarizing filter array 2 is disposed close to the surface of the image sensor 4 on the microlens 4b side.

偏光フィルタアレイ２は、図３に示すように、偏光方向が互いに直交する２つの偏光成分のうちの一方（Ｓ偏光成分）を透過するＳ偏光フィルタ領域２ａと他方（Ｐ偏光成分）を透過するＰ偏光フィルタ領域２ｂとがストライプ状に配置されたフィルタ領域パターン（領域分割パターン）を有している。本実施形態では、偏光方向が互いに直交する２つの偏光成分を透過させる２種類のフィルタ領域２ａ，２ｂを備えた構成について説明するが、偏光方向が互いに異なる３つ以上の偏光成分を透過させる３種類以上のフィルタ領域を備えた構成としてもよい。例えば、図１４に示したように、偏光方向が互いに４５°ずつ異なっている４つの偏光成分を透過させる４種類のフィルタ領域を備えた構成としてもよい。また、偏光フィルタアレイ２を構成するフィルタ領域の種類には、入射する光をそのまま透過させる種類の領域が含まれていても良い。 As shown in FIG. 3, the polarization filter array 2 transmits one of two polarization components whose polarization directions are orthogonal to each other (S polarization component) and the other (P polarization component). The P polarization filter region 2b has a filter region pattern (region division pattern) arranged in a stripe shape. In the present embodiment, a configuration including two types of filter regions 2a and 2b that transmit two polarization components whose polarization directions are orthogonal to each other will be described. However, three or more polarization components having different polarization directions are transmitted. It is good also as a structure provided with the filter area | region more than a kind. For example, as shown in FIG. 14, it may be configured to include four types of filter regions that transmit four polarization components whose polarization directions are different from each other by 45 °. Further, the types of filter regions constituting the polarizing filter array 2 may include a type of region that allows incident light to pass through as it is.

また、本実施形態の偏光フィルタアレイ２は、各フィルタ領域２ａ，２ｂが図中左右方向に長尺なものを図中上下方向に並べたストライプ状のフィルタ領域パターンを備えたものであるが、フィルタ領域パターンはこれに限られるものではない。例えば、図４に示すように、各フィルタ領域２ａ，２ｂが図中上下方向に長尺なものとして、これらを図中左右方向に並べたストライプ状のフィルタ領域パターンでもよい。また、例えば、図５に示すように、各フィルタ領域２ａ，２ｂを２次元方向で交互に隣接するように格子状に配置された市松状のフィルタ領域パターンであってもよい。また、図６に示すように、各フィルタ領域２ａ，２ｂが図中斜めに並べられたストライプ状のフィルタ領域パターンでもよい。このようなフィルタ領域パターンをもった偏光フィルタアレイ２には、フォトリソグラフィプロセスや干渉露光プロセスで形成可能なワイヤーグリッド偏光子やオートクローニング法で形成されるフォトニック結晶偏光子などが利用できる。 Further, the polarizing filter array 2 of the present embodiment is provided with a stripe-shaped filter area pattern in which the filter areas 2a and 2b are arranged in the vertical direction in the figure in the horizontal direction in the figure. The filter area pattern is not limited to this. For example, as shown in FIG. 4, the filter regions 2a and 2b may be striped filter region patterns in which the filter regions 2a and 2b are long in the vertical direction in the drawing and are arranged in the horizontal direction in the drawing. Further, for example, as shown in FIG. 5, a checkered filter region pattern in which the filter regions 2a and 2b are alternately arranged in a two-dimensional direction in a grid pattern may be used. Further, as shown in FIG. 6, a filter region pattern in a stripe shape in which the filter regions 2a and 2b are arranged obliquely in the drawing may be used. For the polarizing filter array 2 having such a filter region pattern, a wire grid polarizer that can be formed by a photolithography process or an interference exposure process, a photonic crystal polarizer formed by an autocloning method, or the like can be used.

〔構成例１〕
以下、本実施形態における偏光フィルタアレイ２の入射側に配置される光路分岐手段３の一構成例（以下、本構成例を「構成例１」という。）について説明する。
図７は、本構成例１における光路分岐手段である複屈折板３Ａの説明図である。
本構成例１に係る光路分岐手段は、入射光路１０を通って入射する光の互いに直交した偏光成分（Ｓ偏光成分とＰ偏光成分）を、２つの分岐光路である直進光路１０Ａとシフト光路１０Ｂとに分離する機能を有するもので、方解石や水晶を用いた複屈折部材としての複屈折板３Ａで構成されている。本構成例１の複屈折板３Ａでは、入射光路１０を通って入射する光のＰ偏光成分が直進光路１０Ａを通り、Ｓ偏光成分がシフト光路１０Ｂを通るように構成されている。 [Configuration example 1]
Hereinafter, a configuration example of the optical path branching unit 3 arranged on the incident side of the polarizing filter array 2 in the present embodiment (hereinafter, this configuration example will be referred to as “configuration example 1”) will be described.
FIG. 7 is an explanatory diagram of a birefringent plate 3A which is an optical path branching unit in the first configuration example.
The optical path branching unit according to the present configuration example 1 is configured such that light components incident through the incident optical path 10 are orthogonally polarized light components (S-polarized light component and P-polarized light component). And a birefringent plate 3A as a birefringent member using calcite or quartz. The birefringent plate 3A of Configuration Example 1 is configured such that the P-polarized component of light incident through the incident optical path 10 passes through the straight traveling optical path 10A and the S-polarized component passes through the shifted optical path 10B.

本構成例１では、直進光路１０Ａを通ったＰ偏光成分は偏光フィルタアレイ上のＰ偏光フィルタ領域２ｂに入射し、シフト光路１０Ｂを通ったＳ偏光成分は偏光フィルタアレイ上のＳ偏光フィルタ領域２ａに入射するように構成されている。具体的には、シフト光路１０Ｂのシフト量が、偏光フィルタアレイ上のフィルタ領域ピッチに対応するように設定されている。シフト光路１０Ｂのシフト量は、複屈折板３Ａの結晶軸と厚みｔを変更することで適宜調整できる。 In the first configuration example, the P-polarized component that has passed through the straight optical path 10A is incident on the P-polarized filter region 2b on the polarizing filter array, and the S-polarized component that has passed through the shifted optical path 10B is the S-polarized filter region 2a on the polarizing filter array. It is comprised so that it may inject into. Specifically, the shift amount of the shift optical path 10B is set so as to correspond to the filter area pitch on the polarizing filter array. The shift amount of the shift optical path 10B can be adjusted as appropriate by changing the crystal axis and thickness t of the birefringent plate 3A.

〔構成例２〕
次に、本実施形態における光路分岐手段３の他の構成例（以下、本構成例を「構成例２」という。）について説明する。
図８は、本構成例２における光路分岐手段である偏光回折素子３Ｂの説明図である。
本構成例２に係る偏光回折素子３Ｂも、上記構成例１の複屈折板３Ａと同様に、入射光路１０を通って入射する光の互いに直交した偏光成分（Ｓ偏光成分とＰ偏光成分）を、２つの分岐光路である直進光路１０Ａとシフト光路１０Ｂとに分離する機能を有する。偏光回折素子３Ｂとしては、ウェッジ型の基板を複屈折材料としたものや、等方性材料のウェッジ基板間に、例えば、複屈折性を示す液晶材料を封入した構成が使用できる。ウェッジ構造はピッチが大きい場合は切削などの機械加工で実現可能であり、ピッチが狭い場合はフォトリソグラフィ加工で簡単に実現できるため、高価な複屈折板を用いる構成例１の場合よりも低コスト化できる。なお、シフト光路１０Ｂのシフト量は、積層間隔ｔを変えることで適宜設定できる。 [Configuration example 2]
Next, another configuration example of the optical path branching unit 3 in the present embodiment (hereinafter referred to as “configuration example 2”) will be described.
FIG. 8 is an explanatory diagram of the polarization diffraction element 3B which is an optical path branching unit in the second configuration example.
Similarly to the birefringent plate 3A of the configuration example 1 described above, the polarization diffraction element 3B according to the configuration example 2 also generates orthogonal polarization components (S polarization component and P polarization component) of light incident through the incident optical path 10. It has a function of separating into a straight optical path 10A and a shift optical path 10B, which are two branched optical paths. As the polarization diffraction element 3B, a configuration in which a wedge-type substrate is used as a birefringent material, or a liquid crystal material exhibiting birefringence is enclosed between wedge substrates made of isotropic materials can be used. The wedge structure can be realized by machining such as cutting when the pitch is large, and can be easily realized by photolithography when the pitch is narrow, so that the cost is lower than that in the configuration example 1 using an expensive birefringent plate. Can be The shift amount of the shift optical path 10B can be set as appropriate by changing the stacking interval t.

〔構成例３〕
次に、本実施形態における光路分岐手段３の更に他の構成例（以下、本構成例を「構成例３」という。）について説明する。
図９は、本構成例３における光路分岐手段である偏光ホログラム部材３Ｃの説明図である。
本構成例３に係る偏光ホログラム部材３Ｃも、上記構成例１の複屈折板３Ａと同様に、入射光路１０を通って入射する光の互いに直交した偏光成分（Ｓ偏光成分とＰ偏光成分）を、２つの分岐光路である直進光路１０Ａとシフト光路１０Ｂとに分離する機能を有する。また、偏光ホログラム部材３Ｃの構造は干渉露光プロセスで実現されるため、フォトリソグラフィよりも狭ピッチ化が可能であり、シフト量を設定するための積層間隔ｔが小さくできるので小型化が図れる。偏光ホログラム部材３Ｃとしては、例えば、ホログラフィックポリマー分散型液晶（Ｈ−ＰＤＬＣ）光学素子などが使用できる。 [Configuration example 3]
Next, still another configuration example of the optical path branching unit 3 in the present embodiment (hereinafter referred to as “configuration example 3”) will be described.
FIG. 9 is an explanatory diagram of a polarization hologram member 3C which is an optical path branching unit in the present configuration example 3.
Similarly to the birefringent plate 3A of the configuration example 1 described above, the polarization hologram member 3C according to the configuration example 3 also generates orthogonal polarization components (S polarization component and P polarization component) of light incident through the incident optical path 10. It has a function of separating into a straight optical path 10A and a shift optical path 10B, which are two branched optical paths. Further, since the structure of the polarization hologram member 3C is realized by an interference exposure process, the pitch can be made narrower than that of photolithography, and the stacking interval t for setting the shift amount can be reduced, so that the size can be reduced. As the polarization hologram member 3C, for example, a holographic polymer dispersed liquid crystal (H-PDLC) optical element can be used.

〔構成例４〕
次に、本実施形態における光路分岐手段３の更に他の構成例（以下、本構成例を「構成例４」という。）について説明する。
図１０は、本構成例４における光路分岐手段の説明図である。
本構成例４は、光路分岐手段３として上記構成例１の複屈折板３Ａを用い、これを偏光フィルタアレイ２に固定して一体化したものである。なお、光路分岐手段３としては、他の構成例のものでも、更に別の光路分岐手段３であってもよい。一体化の方法は、複屈折板３Ａと偏光フィルタアレイ２を個別作製後に貼り合わせる方法でもよいが、偏光フィルタアレイ２はフォトリソグラフィプロセスで形成できるため、複屈折板３Ａ上に領域分割パターンを直接形成する方法であってもよい。後者の方法は、領域分割パターンの位置合わせが高精度にでき、耐信頼性の向上につながる。 [Configuration Example 4]
Next, still another configuration example of the optical path branching unit 3 in the present embodiment (hereinafter referred to as “configuration example 4”) will be described.
FIG. 10 is an explanatory diagram of the optical path branching unit in the fourth configuration example.
In this configuration example 4, the birefringent plate 3A of the above configuration example 1 is used as the optical path branching means 3, and this is fixed to the polarizing filter array 2 and integrated. The optical path branching unit 3 may be another configuration example or may be another optical path branching unit 3. The integration method may be a method in which the birefringent plate 3A and the polarizing filter array 2 are bonded together after being individually manufactured. However, since the polarizing filter array 2 can be formed by a photolithography process, an area division pattern is directly formed on the birefringent plate 3A. It may be a method of forming. In the latter method, the alignment of the area division pattern can be performed with high accuracy, leading to improvement in reliability.

次に、本実施形態における偏光画像処理部６における処理内容について説明する。
図１１は、偏光画像処理部６における処理内容を説明するための説明図である。
本実施形態において、直進光路１０Ａを通るＰ偏光成分は、偏光フィルタアレイ２上のＰ偏光フィルタ領域ｆ１，ｆ３をそのまま透過して、対応する受光素子Ｃ１，Ｃ３に受光される。一方、シフト光路１０Ｂを通ったＳ偏光成分は、偏光フィルタアレイ２上のＳ偏光フィルタ領域ｆ２，ｆ４をそのまま透過して、対応する受光素子Ｃ２，Ｃ４に受光される。したがって、偏光画像の１画素を構成する１組の受光素子Ｃ１，Ｃ２及び受光素子Ｃ３，Ｃ４には、それぞれ、同一位置Ａ，Ｃからの光についてのＳ偏光成分とＰ偏光成分が受光される。したがって、本実施形態においては、例えば受光素子Ｃ１で受光したＰ偏光成分の受光量（光強度）だけでは位置Ａからの光の偏光特性が認識できなくても（Ｓ偏光成分をどの程度含んでいるのか等）、これと同じ位置Ａからの光のＳ偏光成分を受光する受光素子Ｃ２の光強度から、位置Ａからの光の偏光特性を直接的に特定することができる。 Next, processing contents in the polarization image processing unit 6 in the present embodiment will be described.
FIG. 11 is an explanatory diagram for explaining the processing contents in the polarization image processing unit 6.
In the present embodiment, the P-polarized component passing through the straight light path 10A passes through the P-polarized filter regions f1 and f3 on the polarizing filter array 2 as they are and is received by the corresponding light receiving elements C1 and C3. On the other hand, the S polarization component that has passed through the shift optical path 10B passes through the S polarization filter regions f2 and f4 on the polarization filter array 2 as they are, and is received by the corresponding light receiving elements C2 and C4. Therefore, the pair of light receiving elements C1 and C2 and the light receiving elements C3 and C4 constituting one pixel of the polarization image receive the S polarization component and the P polarization component for the light from the same positions A and C, respectively. . Therefore, in this embodiment, for example, even if the polarization characteristic of light from the position A cannot be recognized only by the amount of received light (light intensity) of the P-polarized component received by the light receiving element C1, how much the S-polarized component is included. The polarization characteristic of the light from the position A can be directly specified from the light intensity of the light receiving element C2 that receives the S-polarized component of the light from the same position A.

ここで、位置Ａからの光の偏光特性を、受光素子Ｃ１及び受光素子Ｃ２の光強度から特定するためには、これらの受光素子Ｃ１，Ｃ２には、位置Ａとは異なる位置からの光の成分が受光されないようにする必要がある。よって、例えば受光素子Ｃ２に真っ直ぐ向かって入射する位置Ｂからの光の成分が、この受光素子Ｃ２に受光されないようにする手段が必要である。本実施形態では、図１１に示すように、位置Ｂからの光が光路分岐手段３に入射すると、位置Ｂからの光のＰ偏光成分が直進光路を通って、受光素子Ｃ２に対応するＳ偏光フィルタ領域ｆ２に入射する。このとき、位置Ｂからの光のＰ偏光成分は、Ｓ偏光フィルタ領域ｆ２によって遮蔽される。したがって、受光素子Ｃ２には、位置Ａからシフト光路を通ってきたＳ偏光成分だけが受光され、位置Ｂからの光のＰ偏光成分は受光されない。同様に、位置Ｂからの光のＳ偏光成分は、シフト光路を通って受光素子Ｃ３に対応するＰ偏光フィルタ領域ｆ３に入射するが、そのＰ偏光フィルタ領域ｆ３によって遮蔽され、受光素子Ｃ３に受光されることはない。したがって、受光素子Ｃ３には、位置Ｃから直進光路を通ってきたＰ偏光成分だけが受光され、位置Ｂからの光のＳ偏光成分は受光されない。 Here, in order to specify the polarization characteristics of the light from the position A from the light intensities of the light receiving elements C1 and C2, the light receiving elements C1 and C2 have light from a position different from the position A. It is necessary to prevent the component from being received. Therefore, for example, a means for preventing the light component from the position B that is incident straight on the light receiving element C2 from being received by the light receiving element C2 is necessary. In this embodiment, as shown in FIG. 11, when the light from the position B enters the optical path branching means 3, the P-polarized component of the light from the position B passes through the straight traveling optical path and corresponds to the S-polarized light corresponding to the light receiving element C2. The light enters the filter region f2. At this time, the P-polarized component of the light from the position B is shielded by the S-polarized filter region f2. Therefore, only the S-polarized light component that has passed through the shift optical path from the position A is received by the light receiving element C2, and the P-polarized light component of the light from the position B is not received. Similarly, the S-polarized component of the light from the position B enters the P-polarized filter region f3 corresponding to the light receiving element C3 through the shift optical path, but is blocked by the P-polarized filter region f3 and received by the light receiving element C3. It will never be done. Therefore, only the P-polarized light component that has passed through the straight light path from the position C is received by the light receiving element C3, and the S-polarized light component of the light from the position B is not received.

このように、本実施形態によれば、受光素子Ｃ１，Ｃ２からは、位置Ａからの光のＰ偏光成分とＳ偏光成分の光強度に応じた電気信号がそれぞれ出力され、受光素子Ｃ３，Ｃ４からは、位置Ｃからの光のＰ偏光成分とＳ偏光成分の光強度に応じた電気信号がそれぞれ出力されるが、位置Ｂや位置Ｄからの光は、Ｓ偏光成分もＰ偏光成分も偏光フィルタアレイ２によって遮断され、画像センサ４で受光されることはない。したがって、本実施形態においては、位置Ａ及び位置Ｃについての偏光情報（位置Ａ及び位置Ｃからの光の偏光特性）を誤認識することなく正確に特定できる。よって、位置ＡのＰ偏光成分及びＳ偏光成分から偏光画像情報１を生成してこれに対応する画素値を算出し、位置ＣのＰ偏光成分及びＳ偏光成分から偏光画像情報２を生成してこれに対応する画素値を算出すれば、正確な偏光画像を得ることができる。 As described above, according to the present embodiment, the light receiving elements C1 and C2 output the electrical signals corresponding to the light intensities of the P-polarized component and the S-polarized component of the light from the position A, respectively. Outputs an electrical signal corresponding to the light intensity of the P-polarized component and S-polarized component of the light from position C, but the light from position B and position D is polarized with both S-polarized component and P-polarized component. It is blocked by the filter array 2 and is not received by the image sensor 4. Therefore, in the present embodiment, the polarization information about the positions A and C (the polarization characteristics of the light from the positions A and C) can be accurately specified without being erroneously recognized. Therefore, the polarization image information 1 is generated from the P-polarization component and the S-polarization component at the position A, the corresponding pixel value is calculated, and the polarization image information 2 is generated from the P-polarization component and the S-polarization component at the position C. If a pixel value corresponding to this is calculated, an accurate polarized image can be obtained.

このようにして得られる各位置のＳ偏光成分とＰ偏光成分は、それぞれ個別の偏光画像として出力してもよいが、各位置のＳ偏光成分とＰ偏光成分との比率を各画素値とした偏光比画像や、Ｓ偏光成分とＰ偏光成分との合計値に対するＳ偏光成分とＰ偏光成分との差分値の比率である差分偏光度を各画素値とした差分偏光度画像などを生成して出力するようにしてもよい。 The S-polarized component and the P-polarized component at each position thus obtained may be output as individual polarization images, but the ratio of the S-polarized component and the P-polarized component at each position is used as each pixel value. A polarization ratio image, a differential polarization degree image in which each pixel value is a differential polarization degree that is a ratio of a difference value between the S polarization component and the P polarization component with respect to the total value of the S polarization component and the P polarization component, and the like are generated. You may make it output.

以上、本実施形態の撮像装置は、受光素子４ａが２次元配置された受光素子アレイである画像センサ４と、画像センサ４の入射側に配置され、偏光方向が互いに異なるＰ偏光成分及びＳ偏光成分を透過させる２種類のフィルタ領域２ａ，２ｂが画像センサ４上における１つの受光素子４ａで構成される単位受光領域に対応して配置された偏光フィルタアレイ２と、画像センサ４で検出された各受光素子４ａの受光量に基づいて、Ｐ偏光成分及びＳ偏光成分についての偏光画像情報を出力する偏光画像情報出力手段としての偏光画像処理部６とを有する偏光画像撮像装置である。この撮像装置には、撮像領域内の各地点からの光の入射光路１０それぞれを、偏光フィルタアレイ２上の互いに異なる種類のフィルタ領域であるＳ偏光フィルタ領域２ａとＰ偏光フィルタ領域２ｂとに向かう２つの分岐光路である直進光路１０Ａとシフト光路１０Ｂとに分岐させる光路分岐手段３が設けられている。これにより、本実施形態においては、各地点（位置Ａ及び位置Ｃ等）についての偏光情報を誤認識することなく正確に特定でき、精度の高い偏光画像を得ることができる。
また、本実施形態では、光路分岐手段３が分岐させる２つの分岐光路の１つは、入射光路１０から直進方向へ進む直進光路１０Ａである。このような分岐光路は比較的容易に形成することができる。
また、本実施形態において、光路分岐手段３は、分岐させた直進光路１０Ａとシフト光路１０Ｂが偏光フィルタアレイ２上で互いに隣接したＰ偏光フィルタ領域２ｂとＳ偏光フィルタ領域２ａとに向かうように構成されている。よって、シフト光路１０Ｂを入射光路から大きくずらす必要がなく、比較的簡易な構成で光路分岐手段３を実現できる。
また、本実施形態において、光路分岐手段３は、撮像領域内の各地点からの光の入射光路１０それぞれを偏光成分ごとに分岐させるものであって、Ｐ偏光成分に対応した直進光路１０ＡはＰ偏光成分を透過させるＰ偏光フィルタ領域２ｂに向かうように構成し、Ｓ偏光成分に対応したシフト光路１０ＢはＳ偏光成分を透過させるＳ偏光フィルタ領域２ａに向かうように構成されている。これにより、例えば偏光画像の一画素を構成する１組の受光素子Ｃ１，Ｃ２には、これに対応する位置Ａからの光の偏光成分のみ受光され、他の位置Ｂからの光の成分が受光されないようにすることができ、より精度の高い偏光画像を得ることができる。 As described above, the imaging apparatus according to the present embodiment includes the image sensor 4 that is a light receiving element array in which the light receiving elements 4a are two-dimensionally arranged, and the P polarization component and the S polarization that are arranged on the incident side of the image sensor 4 and have different polarization directions. Two types of filter regions 2 a and 2 b that transmit components are detected by the image sensor 4 and the polarization filter array 2 that is arranged corresponding to the unit light receiving region constituted by one light receiving element 4 a on the image sensor 4. The polarization image capturing apparatus includes a polarization image processing unit 6 serving as a polarization image information output unit that outputs polarization image information for the P polarization component and the S polarization component based on the amount of light received by each light receiving element 4a. In this imaging apparatus, each of the incident optical paths 10 of light from each point in the imaging area is directed to the S-polarization filter area 2a and the P-polarization filter area 2b, which are different types of filter areas on the polarization filter array 2. Optical path branching means 3 for branching into a straight optical path 10A and a shift optical path 10B, which are two branch optical paths, is provided. Thereby, in this embodiment, it can specify correctly, without misrecognizing the polarization information about each point (position A, position C, etc.), and can obtain a highly accurate polarization image.
In the present embodiment, one of the two branch optical paths branched by the optical path branching unit 3 is the straight traveling optical path 10A that travels from the incident optical path 10 in the straight traveling direction. Such a branched optical path can be formed relatively easily.
In the present embodiment, the optical path branching unit 3 is configured such that the branched straight optical path 10A and the shifted optical path 10B are directed to the P polarization filter region 2b and the S polarization filter region 2a adjacent to each other on the polarization filter array 2. Has been. Therefore, it is not necessary to largely shift the shift optical path 10B from the incident optical path, and the optical path branching means 3 can be realized with a relatively simple configuration.
Further, in the present embodiment, the optical path branching unit 3 branches each of the incident optical paths 10 of light from each point in the imaging region for each polarization component, and the straight light path 10A corresponding to the P polarization component is P. The shift optical path 10B corresponding to the S-polarized component is directed to the S-polarized filter region 2a that transmits the S-polarized component. Thus, for example, a pair of light receiving elements C1 and C2 constituting one pixel of the polarization image receives only the polarization component of the light from the position A corresponding thereto, and receives the light component from the other position B. It is possible to prevent this from happening, and a polarized image with higher accuracy can be obtained.

１撮像レンズ
２ａＳ偏光フィルタ領域
２ｂＰ偏光フィルタ領域
３光路分岐手段
３Ａ複屈折板
３Ｂ偏光回折素子
３Ｃ偏光ホログラム部材
４画像センサ
４ａ受光素子
５信号処理部
６偏光画像処理部
１０入射光路
１０Ａ直進光路
１０Ｂシフト光路 DESCRIPTION OF SYMBOLS 1 Imaging lens 2a S polarization filter area | region 2b P polarization filter area | region 3 Optical path branching means 3A Birefringent plate 3B Polarization diffraction element 3C Polarization hologram member 4 Image sensor 4a Light receiving element 5 Signal processing part 6 Polarization image processing part 10 Incident light path 10A Straight light path 10B shift optical path

特開２００６-５８１２２号公報JP 2006-58122 A 特開２００７-８６７２０号公報JP 2007-86720 A

Claims

受光素子が２次元配置された受光素子アレイと、
上記受光素子アレイの入射側に配置され、偏光方向が互いに異なる偏光成分を透過させる複数種類のフィルタ領域を備え、各フィルタ領域が上記受光素子アレイ上における１つの受光素子又は２以上の受光素子群で構成される単位受光領域に対応して配置された偏光フィルタアレイと、
上記受光素子アレイで検出された各単位受光領域の受光量に基づいて、２つ以上の偏光成分についての偏光画像情報を出力する偏光画像情報出力手段とを有する偏光画像撮像装置において、
撮像領域内の各地点からの光の入射光路それぞれを、上記偏光フィルタアレイ上の互いに異なる種類のフィルタ領域に向かう複数の分岐光路に分岐させる光路分岐手段を有し、
一の単位受光領域が、撮像領域内の一地点からの偏光成分であって該一の単位受光領域に対応して設けられたフィルタ領域を通過する偏光成分のみを受光し、他の地点からの光が受光されないように、上記光分岐手段による各分岐光路及び上記偏光フィルタアレイにおけるフィルタ領域の配置が設定されていることを特徴とする偏光画像撮像装置。 A light receiving element array in which the light receiving elements are two-dimensionally arranged;
The light receiving element array includes a plurality of types of filter regions that are disposed on the incident side and transmit polarization components having different polarization directions , and each filter region is one light receiving element or two or more light receiving element groups on the light receiving element array. A polarizing filter array arranged corresponding to a unit light-receiving region comprising:
In a polarization image capturing apparatus having polarization image information output means for outputting polarization image information for two or more polarization components based on the amount of light received by each unit light receiving region detected by the light receiving element array,
Each incident light path of the light from each point in the imaging area, have a light path branching means for branching to a plurality of branch light path toward a different type of filter area on the polarizing filter array,
One unit light receiving region receives only a polarized light component from one point in the imaging region and passes through a filter region provided corresponding to the one unit light receiving region, and receives light from other points. A polarization image capturing apparatus, wherein an arrangement of each branch light path by the light branching means and a filter region in the polarization filter array is set so that light is not received .

請求項１の偏光画像撮像装置において、
上記光路分岐手段が分岐させる複数の分岐光路の１つは、当該入射光路から直進方向へ進む直進光路であることを特徴とする偏光画像撮像装置。 In the polarization imaging device of claim 1,
One of the plurality of branched optical paths branched by the optical path branching means is a straight traveling optical path that travels in a straight traveling direction from the incident optical path.

請求項１又は２の偏光画像撮像装置において、
上記光路分岐手段は、分岐させた複数の分岐光路が、上記偏光フィルタアレイ上で互いに隣接したフィルタ領域に向かうように構成されていることを特徴とする偏光画像撮像装置。 In the polarization imaging device of claim 1 or 2,
The polarization image capturing apparatus, wherein the optical path branching unit is configured such that a plurality of branched optical paths are directed to filter regions adjacent to each other on the polarizing filter array.

請求項１乃至３のいずれか１項に記載の偏光画像撮像装置において、
上記光路分岐手段は、撮像領域内の各地点からの光の入射光路それぞれを偏光成分ごとに分岐させるものであって、各偏光成分に対応した分岐光路が当該分岐光路を通る偏光成分を透過させるフィルタ領域に向かうように構成されていることを特徴とする偏光画像撮像装置。 In the polarization imaging device according to any one of claims 1 to 3,
The optical path branching unit branches each incident optical path of light from each point in the imaging region for each polarization component, and the branch optical path corresponding to each polarization component transmits the polarization component passing through the branch optical path. A polarization image pickup device configured to face a filter region.

請求項４の偏光画像撮像装置において、
上記光路分岐手段は、複屈折部材で構成されていることを特徴とする偏光画像撮像装置。 In the polarization imaging device of claim 4,
The polarized light imaging apparatus, wherein the optical path branching means is composed of a birefringent member.

請求項４の偏光画像撮像装置において、
上記光路分岐手段は、偏光回折部材で構成されていることを特徴とする偏光画像撮像装置。 In the polarization imaging device of claim 4,
The polarization image capturing apparatus according to claim 1, wherein the optical path branching unit includes a polarization diffraction member.

請求項４の偏光画像撮像装置において、
上記光路分岐手段は、偏光ホログラム部材で構成されていることを特徴とする偏光画像撮像装置。 In the polarization imaging device of claim 4,
The polarization image capturing apparatus according to claim 1, wherein the optical path branching unit is composed of a polarization hologram member.

請求項１乃至７のいずれか１項に記載の偏光画像撮像装置において、
上記光路分岐手段は、上記偏光フィルタアレイに固定されていることを特徴とする偏光画像撮像装置。 In the polarization imaging device according to any one of claims 1 to 7,
The polarization image pickup apparatus, wherein the optical path branching unit is fixed to the polarization filter array.