JP5899957B2 - Image processing system and vehicle equipped with the same - Google Patents

Image processing system and vehicle equipped with the same Download PDF

Info

Publication number
JP5899957B2
JP5899957B2 JP2012010010A JP2012010010A JP5899957B2 JP 5899957 B2 JP5899957 B2 JP 5899957B2 JP 2012010010 A JP2012010010 A JP 2012010010A JP 2012010010 A JP2012010010 A JP 2012010010A JP 5899957 B2 JP5899957 B2 JP 5899957B2
Authority
JP
Japan
Prior art keywords
image
polarization component
light
processing system
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012010010A
Other languages
Japanese (ja)
Other versions
JP2013148504A (en
Inventor
平井　秀明
秀明 平井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2012010010A priority Critical patent/JP5899957B2/en
Publication of JP2013148504A publication Critical patent/JP2013148504A/en
Application granted granted Critical
Publication of JP5899957B2 publication Critical patent/JP5899957B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Investigating Or Analysing Materials By Optical Means (AREA)

Description

本発明は、路面の状態（乾燥状態または凍結状態）を検出し、運転者へ注意を促す目的等に利用する画像処理システム及びそれを備えた車両に関する。   The present invention relates to an image processing system that detects a road surface state (dry state or frozen state) and uses it for the purpose of alerting a driver, and a vehicle equipped with the image processing system.

従来から、路面を撮像した偏光画像に基づいて、路面状態が乾燥状態または凍結状態にあるか否かを検出する方法が提案されている（例えば、特許文献１参照）。   Conventionally, a method for detecting whether or not the road surface state is a dry state or a frozen state based on a polarized image obtained by imaging the road surface has been proposed (see, for example, Patent Document 1).

特許文献１に開示された路面状態検出装置は、路面を撮像する撮像手段と、該撮像手段の前面に配置され偏光面を水平・垂直方向に可変可能な偏光手段と、を備え、路面を撮像した水平偏光画像及び垂直偏光画像に対してフーリエ変換を行ってパワースペクトル画像を生成し、このパワースペクトル画像中の周波数成分の分布より特徴を算出し、算出した特徴値が設定された値より大か否かによって、路面の凍結、湿潤及び乾燥を判定して出力するようになっている。   The road surface state detection device disclosed in Patent Document 1 includes an imaging unit that images a road surface, and a polarization unit that is disposed in front of the imaging unit and whose polarization plane can be varied in the horizontal and vertical directions, and images the road surface. A power spectrum image is generated by performing Fourier transform on the horizontally polarized image and the vertically polarized image, and a feature is calculated from the distribution of frequency components in the power spectrum image, and the calculated feature value is larger than the set value. Whether or not the road surface is frozen, wet and dry is determined and output.

しかしながら、特許文献１に開示された路面状態検出装置は、水平偏光画像及び垂直偏光画像を撮像する際に、フィルタ変換部により垂直偏光フィルタと水平偏光フィルタを順次セットする構成であり、リアルタイムの画像撮像には適していない。   However, the road surface state detection device disclosed in Patent Document 1 is configured to sequentially set a vertical polarization filter and a horizontal polarization filter by a filter conversion unit when capturing a horizontal polarization image and a vertical polarization image, and provides a real-time image. Not suitable for imaging.

このフィルタ変換部の詳細は特許文献１に記載されていないが、一般的なモータなどのメカニカルな機構や、液晶などの切換機構であることが想定される。これらの機構は、自動車等の車両に搭載される場合には、耐熱性や耐振動性の点で課題がある。   Although details of the filter conversion unit are not described in Patent Document 1, it is assumed that the filter conversion unit is a mechanical mechanism such as a general motor or a switching mechanism such as a liquid crystal. When these mechanisms are mounted on a vehicle such as an automobile, there are problems in terms of heat resistance and vibration resistance.

そこで、このような課題に対応した撮像装置が提案された（例えば、特許文献２参照）。特許文献２によれば、１つの画像センサで水平偏光画像と垂直偏光画像の撮像が可能である。   In view of this, an imaging apparatus that can cope with such a problem has been proposed (see, for example, Patent Document 2). According to Patent Document 2, it is possible to capture a horizontally polarized image and a vertically polarized image with one image sensor.

近年は、路上の標識などの撮像を行い、運転者に注意を喚起するための撮像装置が要望されている。なお、路上の標識は、各種情報提示をなすものであるが、その大きさが小さいものもある。そのため、標識の情報を検出するには撮像装置において十分な解像度が必要となる。   In recent years, there has been a demand for an image pickup apparatus that picks up a driver's attention by picking up images of road signs and the like. In addition, although the sign on a road makes various information presentation, the magnitude | size may be small. For this reason, in order to detect the information of the sign, a sufficient resolution is required in the imaging apparatus.

しかしながら、特許文献２に開示されたような従来の撮像装置は、水平偏光透過用の偏光子と垂直偏光透過用の偏光子が撮像領域内に形成されており、標識を認識するための画素数が撮像領域内全体の画素数の半分以下になってしまうという課題があった。   However, in the conventional imaging device as disclosed in Patent Document 2, a polarizer for horizontally polarized light transmission and a polarizer for vertically polarized light transmission are formed in the imaging region, and the number of pixels for recognizing the sign However, there is a problem that it becomes less than half of the total number of pixels in the imaging region.

本発明は、このような従来の課題を解決するためになされたものであって、偏光画像を用いて路面状態を検出するとともに、輝度画像の解像度を確保して精度の高い標識検出を行うことが可能な画像処理システム及びそれを備えた車両を提供することを目的とする。   The present invention has been made to solve such a conventional problem, and detects a road surface state using a polarization image and secures a resolution of a luminance image and performs high-accuracy sign detection. An object of the present invention is to provide an image processing system and a vehicle equipped with the same.

上記課題を解決するために、本発明に係る画像処理システムは、複数の画素からなる画素アレイを有する撮像素子、及び、該撮像素子の前段に配置される光学フィルタを有し、路面を含む車両周辺情報を撮像する撮像手段と、前記撮像手段の撮像結果を解析する画像解析手段と、を備え、前記光学フィルタは、入射光を透過させる基板と、有効撮像領域の所定領域に配置され、前記入射光の少なくとも水平偏光成分及び垂直偏光成分を含む複数の偏光成分をそれぞれ前記画素アレイの各画素に入射させるための偏光子が形成された第１の偏光フィルタ層と、を有し、前記画像解析手段は、前記所定領域の各画素の画素値から水平偏光成分画像及び垂直偏光成分画像を生成し、該水平偏光成分画像の各画素の画素値、及び、該垂直偏光成分画像の各画素の画素値の差分に基づいた値にゲイン値を乗じて偏光度画像を生成し、当該偏光度画像に基づいて路面状態を判別するとともに、前記所定領域以外の前記有効撮像領域を透過した前記入射光の撮像結果に基づいて標識認識を行い、前記有効撮像領域の周辺部の前記ゲイン値が、前記有効撮像領域の中心部の前記ゲイン値に比べて大きいことを特徴とする。 In order to solve the above-described problems, an image processing system according to the present invention includes an imaging device having a pixel array composed of a plurality of pixels, and an optical filter disposed in front of the imaging device, and includes a road surface. Imaging means for imaging peripheral information; and image analysis means for analyzing the imaging result of the imaging means, wherein the optical filter is disposed in a predetermined area of the effective imaging area and a substrate that transmits incident light, A first polarizing filter layer formed with a polarizer for making each of the plurality of polarization components including at least a horizontal polarization component and a vertical polarization component of incident light incident on each pixel of the pixel array, and the image analyzing means, the predetermined region to produce a horizontally polarized component image and the vertical polarization component image from the pixel value of each pixel of the pixel value of each pixel of the horizontal polarization component image, and the vertical polarization component image To a value based on the difference between the pixel value of each pixel is multiplied by a gain value to generate a polarization image, as well as determine the road surface condition based on the polarization image, transmitted through the effective imaging region other than the predetermined area the have rows labeled recognition based on the imaging result of the incident light, the gain value of the peripheral portion of the effective image pickup area, being greater than that of the gain value of the center of the effective image pickup area.

この構成により、有効撮像領域の所定領域にのみ偏光子が配置されるため、偏光画像を用いて路面状態を検出するとともに、輝度画像の解像度を確保して精度の高い標識検出を行うことができる。   With this configuration, the polarizer is arranged only in a predetermined area of the effective imaging area, so that it is possible to detect the road surface state using the polarization image and to ensure the resolution of the luminance image and perform highly accurate sign detection. .

本発明は、偏光画像を用いて路面状態を検出するとともに、輝度画像の解像度を確保して精度の高い標識検出を行うことが可能な画像処理システム及びそれを備えた車両を提供するものである。   The present invention provides an image processing system capable of detecting a road surface state using a polarized image and ensuring a resolution of a luminance image and performing highly accurate sign detection, and a vehicle including the image processing system. .

本発明に係る画像処理システムを備える車載機器制御システムの概略構成を示す模式図The schematic diagram which shows schematic structure of an on-vehicle apparatus control system provided with the image processing system which concerns on this invention 本発明に係る画像処理システムが備える撮像ユニットの概略構成を示す模式図1 is a schematic diagram showing a schematic configuration of an imaging unit included in an image processing system according to the present invention. 光学フィルタ、撮像素子、及びセンサ基板の光透過方向に沿った断面模式図Cross-sectional schematic diagram along the light transmission direction of the optical filter, imaging device, and sensor substrate 光学フィルタをセンサ基板側から見た正面模式図、及び、撮像素子を撮像レンズ側から見た正面模式図Front schematic view of the optical filter viewed from the sensor substrate side, and front schematic view of the image sensor viewed from the imaging lens side 光学フィルタの偏光フィルタ層と、撮像素子の画素との対応を例示する模式図Schematic diagram illustrating correspondence between polarization filter layer of optical filter and pixel of image sensor 路面状態が湿潤状態である場合と乾燥状態である場合の反射光の変化を説明するための説明図Explanatory drawing for demonstrating the change of reflected light when a road surface state is a wet state, and when it is a dry state 光強度Ｉの入射光に対する反射光の水平偏光成分と垂直偏光成分の入射角依存性を示すグラフThe graph which shows the incident angle dependence of the horizontal polarization component of the reflected light with respect to the incident light of the light intensity I, and a vertical polarization component 板氷が置かれたコンクリート面を撮像した輝度画像及び偏光度画像を示す説明図Explanatory drawing which shows the luminance image and polarization degree image which imaged the concrete surface where the ice plate was put 影の中の障害物を撮像した輝度画像及び偏光度画像を示す説明図Explanatory drawing which shows the brightness | luminance image and polarization degree image which imaged the obstacle in a shadow 車両の内部に搭載された画像処理システムにより標識検出が行われる様子を示す模式図Schematic diagram showing how the sign detection is performed by the image processing system mounted inside the vehicle 露光制御の手順を示すフローチャートFlow chart showing the procedure of exposure control 第１の分光フィルタ層の分光特性を示すグラフGraph showing the spectral characteristics of the first spectral filter layer 偏光フィルタ層を構成するワイヤグリッド構造の拡大図Enlarged view of the wire grid structure constituting the polarizing filter layer 第２の実施形態における偏光子のパターンを示す模式図Schematic which shows the pattern of the polarizer in 2nd Embodiment. 偏光子アレイの各領域と撮像素子の各画素との対応関係を簡略化して示す説明図Explanatory drawing which simplifies the correspondence of each area | region of a polarizer array, and each pixel of an image pick-up element. 偏光子アレイ及び撮像素子に特定偏光の光が入射する状況を説明するための説明図Explanatory drawing for demonstrating the condition where the light of specific polarization enters into a polarizer array and an image sensor 第３の実施形態における偏光分離手段と、偏光フィルタ層及び画素との対応関係を簡略化して示す模式図The schematic diagram which simplifies and shows the correspondence of the polarization separation means in 3rd Embodiment, a polarizing filter layer, and a pixel. 偏光分離手段の有無による偏光度画像の違いを説明するための説明図Explanatory drawing for demonstrating the difference of the polarization degree image by the presence or absence of a polarization separation means 第４の実施形態における光学フィルタの構造を示す光透過方向に沿った断面模式図Sectional schematic drawing along the light transmission direction showing the structure of the optical filter in the fourth embodiment 第４の実施形態における光学フィルタをセンサ基板側から見た正面模式図Schematic front view of the optical filter according to the fourth embodiment viewed from the sensor substrate side. 第４の実施形態における光学フィルタの偏光フィルタ層と、撮像素子の画素との対応を例示する模式図Schematic diagram illustrating the correspondence between the polarizing filter layer of the optical filter and the pixels of the image sensor in the fourth embodiment 第５の実施形態における撮像素子及び光学フィルタの構造を示す光透過方向に沿った断面模式図Sectional schematic diagram along the light transmission direction which shows the structure of the image pick-up element and optical filter in 5th Embodiment 第５の実施形態における光学フィルタをセンサ基板側から見た正面模式図Schematic front view of the optical filter in the fifth embodiment viewed from the sensor substrate side 第５の実施形態における光学フィルタの偏光フィルタ層と、撮像素子の画素との対応を例示する模式図Schematic diagram illustrating the correspondence between the polarizing filter layer of the optical filter and the pixels of the image sensor in the fifth embodiment カラーフィルタの分光特性を示すグラフGraph showing spectral characteristics of color filter 第２の分光フィルタ層の分光特性を示すグラフGraph showing the spectral characteristics of the second spectral filter layer 第６の実施形態における光学フィルタの構造を示す光透過方向に沿った断面模式図Sectional schematic drawing along the light transmission direction showing the structure of the optical filter in the sixth embodiment 第６の実施形態における光学フィルタをセンサ基板側から見た正面模式図Schematic front view of the optical filter according to the sixth embodiment viewed from the sensor substrate side 撮像ユニットの近傍に路面照射用の光源が配置された構成を示す模式図Schematic diagram showing a configuration in which a light source for road surface illumination is arranged in the vicinity of the imaging unit 光源の出射光路中に配置される回折格子の構成を示す斜視図The perspective view which shows the structure of the diffraction grating arrange | positioned in the output optical path of a light source 複数の出射光の基準パターン、及び、それらの反射光の撮像パターンを示す説明図Explanatory drawing which shows the reference pattern of a plurality of outgoing lights, and the imaging pattern of those reflected lights

以下、本発明に係る画像処理システム及びそれを備えた車両の実施形態について図面を用いて説明する。なお、各図面上の各構成の寸法比は、実際の寸法比と必ずしも一致していない。   Hereinafter, an image processing system according to the present invention and a vehicle including the image processing system will be described with reference to the drawings. In addition, the dimensional ratio of each structure on each drawing does not necessarily correspond with the actual dimensional ratio.

（第１の実施形態）
図１は、本発明に係る画像処理システム１１０を備える車載機器制御システムの概略構成を示す模式図である。本車載機器制御システムは、自動車などの車両１００に搭載された撮像ユニット１０１で撮像した、車両１００の進行方向前方領域または進行方向後方領域の撮像画像データを利用して、ヘッドランプ１０４の配光制御、フロントガラス（透明部材）１０５に付着した異物を除去するためのワイパー１０７の駆動制御、その他の車載機器の制御を行うものである。 (First embodiment)
FIG. 1 is a schematic diagram showing a schematic configuration of an in-vehicle device control system including an image processing system 110 according to the present invention. The in-vehicle device control system uses the captured image data of the front area in the traveling direction or the rear area in the traveling direction of the vehicle 100 captured by the imaging unit 101 mounted on the vehicle 100 such as an automobile to distribute the light of the headlamp 104. Control, drive control of the wiper 107 for removing foreign matter adhering to the windshield (transparent member) 105, and control of other in-vehicle devices are performed.

図１に示した車載機器制御システムは、撮像ユニット１０１と、画像解析ユニット（画像解析手段）１０２と、ヘッドランプ制御ユニット１０３と、ワイパー制御ユニット１０６と、車両走行制御ユニット１０８と、を主に備える。   The in-vehicle device control system shown in FIG. 1 mainly includes an imaging unit 101, an image analysis unit (image analysis means) 102, a headlamp control unit 103, a wiper control unit 106, and a vehicle travel control unit 108. Prepare.

本実施形態の画像処理システム１１０は、撮像ユニット１０１及び画像解析ユニット１０２を含む。画像解析ユニット１０２は、撮像ユニット１０１を制御する機能を有するとともに、撮像ユニット１０１から送信されてくる撮像画像データを解析する機能を有する。   The image processing system 110 according to the present embodiment includes an imaging unit 101 and an image analysis unit 102. The image analysis unit 102 has a function of controlling the imaging unit 101 and a function of analyzing captured image data transmitted from the imaging unit 101.

画像解析ユニット１０２は、撮像ユニット１０１から送信されてくる撮像画像データを解析し、フロントガラス１０５に付着する雨滴などの異物を検出したり、撮像画像データに車両１００の前方に存在する他車両の位置、方角、距離を算出したり、撮像領域内に存在する路面上の白線（区画線）や標識等の検出対象物を検出したりする。   The image analysis unit 102 analyzes the captured image data transmitted from the imaging unit 101 to detect foreign matters such as raindrops adhering to the windshield 105, or to detect other vehicles existing in front of the vehicle 100 in the captured image data. The position, the direction, and the distance are calculated, and detection objects such as white lines (division lines) and signs on the road surface existing in the imaging region are detected.

なお、以降では、車両１００の前方または後方の他車両の位置、方角、距離、路面上の白線（区画線）、路面状態、並びに、標識等の情報を車両周辺情報とも呼ぶ。他車両の検出では、画像解析ユニット１０２は、前方の車両周辺情報を撮像した撮像画像データから、他車両のテールランプを識別することで車両１００と同じ進行方向へ進行する先行車両を検出し、他車両のヘッドランプを識別することで車両１００とは反対方向へ進行する対向車両を検出する。   Hereinafter, information such as the position, direction, distance, white line (division line) on the road surface, road surface state, and signs of other vehicles in front or behind the vehicle 100 is also referred to as vehicle peripheral information. In the detection of another vehicle, the image analysis unit 102 detects a preceding vehicle that travels in the same traveling direction as the vehicle 100 by identifying the tail lamp of the other vehicle from captured image data obtained by imaging the surrounding information of the preceding vehicle. By identifying the headlamp of the vehicle, an oncoming vehicle traveling in the opposite direction to the vehicle 100 is detected.

画像解析ユニット１０２の算出結果は、ヘッドランプ制御ユニット１０３に送られる。ヘッドランプ制御ユニット１０３は、例えば、画像解析ユニット１０２が算出した距離データから、車両１００の車載機器であるヘッドランプ１０４を制御する制御信号を生成する。具体的には、例えば、先行車両や対向車両の運転者の目に車両１００のヘッドランプの強い光が入射するのを避けて他車両の運転者の幻惑防止を行いつつ、車両１００の運転者の視界確保を実現できるように、ヘッドランプ１０４のハイビーム及びロービームの切り換えを制御したり、ヘッドランプ１０４の部分的な遮光制御を行ったりする。   The calculation result of the image analysis unit 102 is sent to the headlamp control unit 103. For example, the headlamp control unit 103 generates a control signal for controlling the headlamp 104 that is an in-vehicle device of the vehicle 100 from the distance data calculated by the image analysis unit 102. Specifically, for example, the driver of the vehicle 100 can avoid the dazzling of the driver of the other vehicle while avoiding the strong light of the headlamp of the vehicle 100 entering the eyes of the driver of the preceding vehicle or the oncoming vehicle. Therefore, the switching of the high beam and the low beam of the headlamp 104 is controlled, or partial light shielding control of the headlamp 104 is performed.

画像解析ユニット１０２の算出結果は、ワイパー制御ユニット１０６にも送られる。ワイパー制御ユニット１０６は、ワイパー１０７を制御して、車両１００のフロントガラス１０５に付着した雨滴などの付着物を除去する。ワイパー制御ユニット１０６は、画像解析ユニット１０２が検出した異物検出結果を受けて、ワイパー１０７を制御する制御信号を生成する。ワイパー制御ユニット１０６により生成された制御信号がワイパー１０７に送られると、車両１００の運転者の視界を確保するべく、ワイパー１０７を稼動させる。   The calculation result of the image analysis unit 102 is also sent to the wiper control unit 106. The wiper control unit 106 controls the wiper 107 to remove deposits such as raindrops attached to the windshield 105 of the vehicle 100. The wiper control unit 106 receives a foreign object detection result detected by the image analysis unit 102 and generates a control signal for controlling the wiper 107. When the control signal generated by the wiper control unit 106 is sent to the wiper 107, the wiper 107 is operated to ensure the visibility of the driver of the vehicle 100.

また、画像解析ユニット１０２の算出結果は、車両走行制御ユニット１０８にも送られる。車両走行制御ユニット１０８は、例えば画像解析ユニット１０２が検出した白線検出結果に基づいて、白線によって区画されている車線領域から車両１００が外れている場合等に、車両１００の運転者へ警告を報知したり、自車両のハンドルやブレーキを制御するなどの走行支援制御を行ったりする。   The calculation result of the image analysis unit 102 is also sent to the vehicle travel control unit 108. The vehicle travel control unit 108 notifies the driver of the vehicle 100 of a warning when the vehicle 100 is out of the lane area defined by the white line based on the white line detection result detected by the image analysis unit 102, for example. Or driving support control such as controlling the steering wheel and brake of the host vehicle.

また、車両走行制御ユニット１０８は、画像解析ユニット１０２が検出した標識検出結果（後述する）と車両走行状態との差異に基づいて、例えば車両１００が制限速度に近い速度で走行している場合に運転者に注意を喚起したり、車両１００が制限速度を超えて走行している場合に車両１００の速度制御を行ったりする。   In addition, the vehicle travel control unit 108 is based on the difference between the sign detection result (described later) detected by the image analysis unit 102 and the vehicle travel state, for example, when the vehicle 100 is traveling at a speed close to the speed limit. The driver is alerted, or the speed of the vehicle 100 is controlled when the vehicle 100 is traveling beyond the speed limit.

図２は、撮像ユニット１０１の概略構成を示す模式図である。撮像ユニット１０１は、車両１００の外部からフロントガラス１０５を透過した光を集光する撮像レンズ２０４と、撮像レンズ２０４によって集光された光を画素ごとに光電変換することにより撮像する撮像素子２０６と、撮像レンズ２０４と撮像素子２０６との間に配置される光学フィルタ２０５と、撮像素子２０６が搭載されるセンサ基板２０７と、センサ基板２０７から出力されるアナログ電気信号（撮像素子２０６上の各受光素子が受光した受光量）をデジタル電気信号に変換した撮像画像データとして出力する信号処理部２０８と、から構成されている。   FIG. 2 is a schematic diagram illustrating a schematic configuration of the imaging unit 101. The imaging unit 101 includes an imaging lens 204 that collects light transmitted through the windshield 105 from the outside of the vehicle 100, and an imaging element 206 that performs imaging by photoelectrically converting the light collected by the imaging lens 204 for each pixel. , An optical filter 205 disposed between the imaging lens 204 and the imaging device 206, a sensor substrate 207 on which the imaging device 206 is mounted, and an analog electrical signal output from the sensor substrate 207 (each light reception on the imaging device 206). A signal processing unit 208 that outputs captured image data obtained by converting a received light amount received by the element into a digital electric signal.

なお、撮像レンズ２０４、光学フィルタ２０５、撮像素子２０６、センサ基板２０７は、フロントガラス１０５側からこの順に配置される。また、信号処理部２０８は、画像解析ユニット１０２と電気的に接続されている。なお、図２は、撮像素子２０６と信号処理部２０８とが独立に設けられた例を示しているが、撮像ユニット１０１の構成はこれに限定されない。例えば、撮像素子２０６としてその各画素にＡ／Ｄ変換部を備えたものを用いる場合には、それらのＡ／Ｄ変換部が信号処理部２０８となる。即ち、この場合には、信号処理部２０８は撮像素子２０６に内蔵されることとなる。   The imaging lens 204, the optical filter 205, the imaging element 206, and the sensor substrate 207 are arranged in this order from the windshield 105 side. The signal processing unit 208 is electrically connected to the image analysis unit 102. FIG. 2 shows an example in which the image sensor 206 and the signal processing unit 208 are provided independently, but the configuration of the imaging unit 101 is not limited to this. For example, when an image sensor 206 having an A / D converter for each pixel is used, the A / D converter becomes the signal processor 208. That is, in this case, the signal processing unit 208 is built in the image sensor 206.

撮像レンズ２０４は、例えば、複数のレンズから構成されており、焦点位置は、無限遠、または、無限遠とフロントガラス１０５の外壁面との間に設定されている。   The imaging lens 204 is composed of, for example, a plurality of lenses, and the focal position is set at infinity or between the infinity and the outer wall surface of the windshield 105.

被写体（検出対象物）を含む撮像領域からの入射光は、撮像レンズ２０４を通り、光学フィルタ２０５を透過して、撮像素子２０６でその光強度に応じた電気信号に光電変換される。センサ基板２０７を経由して撮像素子２０６から出力される電気信号（アナログ信号）は信号処理部２０８に入力される。そして、信号処理部２０８は、撮像素子２０６上における各画素の明るさ（輝度情報）及び色情報を含むデジタル信号（撮像画像データ）を、画像の水平・垂直同期信号とともに後段の画像解析ユニット１０２へ出力する。   Incident light from the imaging region including the subject (detection target) passes through the imaging lens 204, passes through the optical filter 205, and is photoelectrically converted into an electrical signal corresponding to the light intensity by the imaging element 206. An electrical signal (analog signal) output from the image sensor 206 via the sensor substrate 207 is input to the signal processing unit 208. The signal processing unit 208 then converts the digital signal (captured image data) including the brightness (luminance information) and color information of each pixel on the image sensor 206 together with the horizontal / vertical synchronization signal of the image into the subsequent image analysis unit 102. Output to.

既に述べたように、本実施形態では、撮像レンズ２０４の焦点位置は、無限遠、または、無限遠とフロントガラス１０５の外壁面との間に設定されている。これにより、先行車両や対向車両の検出や白線の検出を行う場合に、撮像ユニット１０１の撮像画像データから適切な情報を取得することができる。   As already described, in this embodiment, the focal position of the imaging lens 204 is set to infinity or between infinity and the outer wall surface of the windshield 105. Thereby, when detecting a preceding vehicle or an oncoming vehicle, or detecting a white line, appropriate information can be acquired from the captured image data of the imaging unit 101.

ただし、無限遠に焦点が合っている場合、遠方を走行する先行車両のテールランプを識別する際に、撮像素子２０６上のテールランプの光を受光する受光素子が１個程度になることがある。この場合、テールランプの光がテールランプ色（赤色）を受光する赤色用受光素子に受光されない恐れがあり、その際にはテールランプを認識できず、先行車両の検出ができない。このような不具合を回避しようとする場合には、撮像レンズ２０４の焦点を無限遠よりも手前に合わせることが好ましい。これにより、遠方を走行する先行車両のテールランプがピンボケするので、テールランプの光を受光する受光素子の数を増やすことができ、テールランプの認識精度が上がり先行車両の検出精度が向上する。   However, when focusing at infinity, when identifying the tail lamp of a preceding vehicle traveling far, there may be about one light receiving element that receives the light of the tail lamp on the image sensor 206. In this case, the light from the tail lamp may not be received by the red light receiving element that receives the tail lamp color (red). In this case, the tail lamp cannot be recognized and the preceding vehicle cannot be detected. In order to avoid such a problem, it is preferable that the imaging lens 204 is focused before infinity. As a result, the tail lamp of the preceding vehicle traveling far is out of focus, so that the number of light receiving elements that receive the light of the tail lamp can be increased, the recognition accuracy of the tail lamp is increased, and the detection accuracy of the preceding vehicle is improved.

図３は、本実施形態における光学フィルタ２０５Ａ、撮像素子２０６、及び、センサ基板２０７の光透過方向に沿った断面模式図である。また、図４（ａ）は、光学フィルタ２０５Ａをセンサ基板２０７側から見た正面模式図であり、図４（ｂ）は、撮像素子２０６を撮像レンズ２０４側から見た正面模式図である。なお、図３及び４では撮像素子２０６の各画素を簡略化して描いているが、実際には撮像素子２０６は２次元配置された数十万個程度の画素で構成されている。   FIG. 3 is a schematic cross-sectional view along the light transmission direction of the optical filter 205A, the image sensor 206, and the sensor substrate 207 in the present embodiment. 4A is a schematic front view of the optical filter 205A viewed from the sensor substrate 207 side, and FIG. 4B is a schematic front view of the image sensor 206 viewed from the imaging lens 204 side. 3 and 4, each pixel of the image sensor 206 is illustrated in a simplified manner, but actually, the image sensor 206 is configured by about several hundreds of thousands of pixels arranged two-dimensionally.

光学フィルタ２０５Ａは、図３に示すように、使用帯域（本実施形態では可視光領域と赤外光領域）の入射光に対して透明な基板２２０と、基板２２０の撮像レンズ２０４側の面における有効撮像領域（撮像素子２０６を構成する全画素に対応する領域）の全面に形成され、波長λ１〜λ２、及び、λ３〜λ４（λ１＜λ２＜λ３＜λ４）の範囲の波長成分の光を選択的に透過させる分光フィルタ層（第１の分光フィルタ層）２２１と、基板２２０の撮像素子２０６側の面に形成される偏光フィルタ層（第１の偏光フィルタ層）２２３と、偏光フィルタ層２２３上に充填される充填材２２４と、を有し、充填材２２４の撮像素子２０６側の面が撮像素子２０６に近接配置されてなる。   As shown in FIG. 3, the optical filter 205 </ b> A includes a substrate 220 that is transparent to incident light in a use band (visible light region and infrared light region in the present embodiment), and a surface of the substrate 220 on the imaging lens 204 side. It is formed on the entire surface of the effective imaging region (the region corresponding to all the pixels constituting the imaging device 206), and emits light having a wavelength component in the range of wavelengths λ1 to λ2 and λ3 to λ4 (λ1 <λ2 <λ3 <λ4). A selectively transmitting spectral filter layer (first spectral filter layer) 221, a polarizing filter layer (first polarizing filter layer) 223 formed on the surface of the substrate 220 on the image sensor 206 side, and a polarizing filter layer 223. The surface of the filler 224 on the side of the image sensor 206 is disposed close to the image sensor 206.

光学フィルタ２０５Ａへの入射光のうち、分光フィルタ層２２１及び偏光フィルタ層２２３を透過した光は、撮像素子２０６の有効撮像領域の所定領域（図４の下部領域２１１）に入射する。また、光学フィルタ２０５Ａへの入射光のうち、分光フィルタ層２２１を透過し偏光フィルタ層２２３を透過しない光は、撮像素子２０６の下部領域２１１以外の有効撮像領域（図４の上部領域２１２）に入射する。   Of the light incident on the optical filter 205A, the light transmitted through the spectral filter layer 221 and the polarizing filter layer 223 is incident on a predetermined region (the lower region 211 in FIG. 4) of the effective image capturing region of the image sensor 206. Further, of the incident light to the optical filter 205A, light that passes through the spectral filter layer 221 and does not pass through the polarizing filter layer 223 enters an effective imaging region other than the lower region 211 of the image sensor 206 (upper region 212 in FIG. 4). Incident.

撮像素子２０６は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などを用いたイメージセンサであり、２次元配列された複数の画素からなる画素アレイを有する。   The image sensor 206 is an image sensor using a CCD (Charge Coupled Device), a CMOS (Complementary Metal Oxide Semiconductor), or the like, and has a pixel array composed of a plurality of pixels arranged two-dimensionally.

撮像素子２０６の各画素には、光学フィルタ２０５Ａ側から入射した光を撮像するフォトダイオード等の受光素子が配置されている。受光素子の集光効率を上げるために、撮像素子２０６の入射側には、各画素に対応してマイクロレンズ（不図示）が設けられているとよい。このように構成された撮像素子２０６はワイヤボンディングなどの手法によりＰＷＢ（Printed Wiring Board）に接合されてセンサ基板２０７に搭載される。   In each pixel of the image sensor 206, a light receiving element such as a photodiode that images light incident from the optical filter 205A side is disposed. In order to increase the light collection efficiency of the light receiving element, a micro lens (not shown) may be provided on the incident side of the image sensor 206 corresponding to each pixel. The imaging element 206 configured in this manner is bonded to a PWB (Printed Wiring Board) by a technique such as wire bonding and mounted on the sensor substrate 207.

図５は、光学フィルタ２０５Ａの偏光フィルタ層２２３と、撮像素子２０６の画素との対応を例示する模式図である。図５は、入射光の垂直偏光成分Ｓを透過させる偏光子と、入射光の水平偏光成分Ｐを透過させる偏光子とが、１画素単位で市松状に配置された例を示している。しかしながら、偏光子の配置パターンはこれに限定されるものではなく、２画素以上の複数の画素を単位としたパターンであってもよく、後述するようなストライプ状のパターンが例として挙げられる。   FIG. 5 is a schematic view illustrating the correspondence between the polarization filter layer 223 of the optical filter 205A and the pixels of the image sensor 206. FIG. 5 shows an example in which a polarizer that transmits the vertical polarization component S of incident light and a polarizer that transmits the horizontal polarization component P of incident light are arranged in a checkered pattern in units of pixels. However, the arrangement pattern of the polarizers is not limited to this, and may be a pattern having a plurality of pixels of two or more pixels as a unit, and a stripe pattern as described later is given as an example.

偏光フィルタ層２２３には、撮像素子２０６の各画素に対応した偏光子が下部領域２１１（図４参照）に領域分割形成されている。偏光子は、入射光の少なくとも水平偏光成分Ｐ及び垂直偏光成分Ｓを含む複数の偏光成分をそれぞれ撮像素子２０６の各画素に入射させるようになっている。   In the polarizing filter layer 223, a polarizer corresponding to each pixel of the image sensor 206 is divided into regions in the lower region 211 (see FIG. 4). The polarizer is configured to cause a plurality of polarization components including at least a horizontal polarization component P and a vertical polarization component S of incident light to enter each pixel of the image sensor 206.

なお、偏光フィルタ層２２３が配置された下部領域２１１における画素では、偏光子の配置パターンに応じて透過光量のムラを帯びた画像が撮像されるが、これらの画像は後述のように差分画像（偏光度画像）に変換されることにより各種情報検知に使われる。一方、偏光フィルタ層２２３が配置されていない上部領域２１２における画素からは、ムラなく解像度の高い画像形成が可能である。   Note that, in the pixel in the lower region 211 where the polarizing filter layer 223 is arranged, images with uneven transmission light amount are captured according to the arrangement pattern of the polarizer, but these images are differential images (described later). It is used for various information detection by being converted to a polarization degree image. On the other hand, from the pixels in the upper region 212 where the polarizing filter layer 223 is not disposed, it is possible to form an image with high resolution without unevenness.

画像解析ユニット１０２は、下部領域２１１の各画素から水平偏光成分Ｐ及び垂直偏光成分Ｓを取得し、公知の画像補間処理（例えば、隣接する画素の画素値の平均を取る）を行うことにより、水平偏光成分画像と垂直偏光成分画像の２種類の画像を生成する。   The image analysis unit 102 acquires the horizontal polarization component P and the vertical polarization component S from each pixel of the lower region 211, and performs a known image interpolation process (for example, taking an average of pixel values of adjacent pixels) Two types of images, a horizontal polarization component image and a vertical polarization component image, are generated.

さらに、画像解析ユニット１０２は、水平偏光成分画像の画素値をＩ（Ｐ）、垂直偏光成分画像の画素値をＩ（Ｓ）として、下記の式（１）から画素ごとに偏光度を求めることにより、輝度情報に依存しない偏光度画像を生成する。
偏光度＝（Ｉ（Ｐ）−Ｉ（Ｓ））／（Ｉ（Ｐ）＋Ｉ（Ｓ）） （１） Further, the image analysis unit 102 obtains the degree of polarization for each pixel from the following equation (1), where I (P) is the pixel value of the horizontal polarization component image and I (S) is the pixel value of the vertical polarization component image. Thus, a polarization degree image that does not depend on luminance information is generated.
Polarization degree = (I (P) −I (S)) / (I (P) + I (S)) (1)

偏光度画像は、車両１００の横滑りなどを防止するために、路面の乾燥・湿潤・凍結などの路面状態を検出するのに使用する。ここで、路面状態に応じた反射光の変化に関して説明する。   The polarization degree image is used to detect road surface conditions such as dry, wet, and frozen road surfaces in order to prevent the vehicle 100 from skidding. Here, the change of the reflected light according to the road surface state will be described.

本実施形態において画像解析ユニット１０２が行う路面状態の判別処理では、撮像ユニット１０１から取得することができる情報のうち、下部領域２１１に入射した白色成分（非分光）の水平偏光成分Ｐと垂直偏光成分Ｓとの比較による偏光情報が用いられる。   In the road surface state determination process performed by the image analysis unit 102 in the present embodiment, of the information that can be acquired from the imaging unit 101, the horizontal polarization component P and the vertical polarization of the white component (non-spectral) incident on the lower region 211. Polarization information by comparison with the component S is used.

図６（ａ）及び（ｂ）は、路面状態が湿潤状態である場合と乾燥状態である場合の反射光の変化を説明するための説明図である。   FIGS. 6A and 6B are explanatory diagrams for explaining changes in reflected light when the road surface state is a wet state and when the road surface state is a dry state.

図６（ａ）に示すように、湿潤状態にある路面は、路面の凹凸部分に水が溜まることによって鏡面に近い状態となる。そのため、湿潤状態の路面における反射光は、次のような偏光特性を示す。即ち、反射光の水平偏光成分Ｐ及び垂直偏光成分Ｓの反射率をそれぞれＲｐ、Ｒｓとすると、光強度Ｉの入射光に対する反射光の水平偏光成分Ｉｐと垂直偏光成分Ｉｓは、下記の式（２）及び（３）より算出でき、その入射角依存性は、図７に示すようなものとなる。
Ｉｐ＝Ｒｐ×Ｉ （２）
Ｉｓ＝Ｒｓ×Ｉ （３） As shown to Fig.6 (a), the road surface in a wet state will be in a state close | similar to a mirror surface, when water accumulates in the uneven part of a road surface. Therefore, the reflected light on the wet road surface exhibits the following polarization characteristics. That is, when the reflectances of the horizontal polarization component P and the vertical polarization component S of the reflected light are Rp and Rs, respectively, the horizontal polarization component Ip and the vertical polarization component Is of the reflected light with respect to the incident light having the light intensity I are expressed by the following formula ( It can be calculated from 2) and (3), and the incident angle dependency is as shown in FIG.
Ip = Rp × I (2)
Is = Rs × I (3)

図７から分かるように、鏡面における反射光の水平偏光成分Ｉｐの反射率Ｒｐは、入射角がブリュースタ角（５３．１度）に等しいときにゼロとなり、水平偏光成分Ｉｐの反射光強度はゼロとなる。また、鏡面における反射光の垂直偏光成分Ｉｓの反射率Ｒｓは、入射角の増大に伴って漸増する特性を示すので、垂直偏光成分Ｉｓの反射光強度も入射角の増大に伴って漸増する。   As can be seen from FIG. 7, the reflectance Rp of the horizontal polarization component Ip of the reflected light at the mirror surface becomes zero when the incident angle is equal to the Brewster angle (53.1 degrees), and the reflected light intensity of the horizontal polarization component Ip is It becomes zero. Further, since the reflectance Rs of the vertical polarization component Is of the reflected light on the mirror surface shows a characteristic that increases gradually as the incident angle increases, the reflected light intensity of the vertical polarization component Is also increases gradually as the incident angle increases.

一方、図６（ｂ）に示すように、乾燥状態の路面は、その表面が粗面であるため、乱反射が支配的となり、反射光は偏光特性を示さず、各偏光成分の反射率Ｒｐ、Ｒｓの差は小さくなる。   On the other hand, as shown in FIG. 6B, the road surface in the dry state has a rough surface, so that irregular reflection is dominant, the reflected light does not exhibit polarization characteristics, and the reflectance Rp of each polarization component, The difference in Rs becomes smaller.

このような路面からの反射光の偏光特性の違いにより、路面状態が湿潤状態であるか乾燥状態であるかを判別することが可能である。具体的には、画像解析ユニット１０２は、路面の乾湿状態の判別に当たって下記の式（４）に示す偏光比Ｈを用いる。この偏光比Ｈは、例えば、路面を映し出す画像領域について、白色光（非分光）の垂直偏光成分Ｓと白色光（非分光）の水平偏光成分Ｐとの比率（Ｓ／Ｐ）を算出し、その平均値等から求めることができる。偏光比Ｈは、下記の式（４）に示すように入射光強度Ｉに依存しないパラメータであるため、撮像領域内の輝度変動の影響を受けることなく、安定して路面の乾湿状態判別に用いることができる。
Ｈ＝Ｉｓ／Ｉｐ＝Ｒｓ／Ｒｐ （４） It is possible to determine whether the road surface state is a wet state or a dry state based on the difference in the polarization characteristics of the reflected light from the road surface. Specifically, the image analysis unit 102 uses the polarization ratio H shown in the following formula (4) in determining the wet and dry state of the road surface. For example, the polarization ratio H is calculated by calculating a ratio (S / P) between the vertical polarization component S of white light (non-spectral) and the horizontal polarization component P of white light (non-spectral) for an image region that reflects a road surface. It can be obtained from the average value. Since the polarization ratio H is a parameter that does not depend on the incident light intensity I as shown in the following formula (4), the polarization ratio H is stably used for determining the wet and dry state of the road surface without being affected by the luminance fluctuation in the imaging region. be able to.
H = Is / Ip = Rs / Rp (4)

式（４）は、式（１）に示した偏光度の関数として下記の式（５）のように表すこともできる。なお、ここでは、Ｉｓを偏光度画像の画素値Ｉ（Ｓ）、Ｉｐを偏光度画像の画素値Ｉ（Ｐ）と見なしている。
Ｈ＝（１−偏光度）／（１＋偏光度） （５） Equation (4) can also be expressed as the following equation (5) as a function of the degree of polarization shown in equation (1). Here, Is is regarded as the pixel value I (S) of the polarization degree image, and Ip is regarded as the pixel value I (P) of the polarization degree image.
H = (1−degree of polarization) / (1 + degree of polarization) (5)

このようにして求まる偏光比Ｈが所定の閾値を超えている場合には、画像解析ユニット１０２は、路面状態が湿潤状態にあると判別し、所定の閾値以下である場合には路面状態が乾燥状態にあると判別する。路面が乾燥している場合、垂直偏光成分Ｓと水平偏光成分Ｐはほぼ等しいので、偏光比Ｈは１前後の値となる。一方、路面が完全に濡れている場合、垂直偏光成分Ｓは水平偏光成分Ｐよりもかなり大きい値をとるので偏光比Ｈは大きな値となり、また、路面が僅かだけ濡れているような場合、偏光比Ｈはこれらの中間値となる。   When the polarization ratio H obtained in this way exceeds a predetermined threshold value, the image analysis unit 102 determines that the road surface state is a wet state, and when the road surface state is equal to or lower than the predetermined threshold value, the road surface state is dry. It is determined that it is in a state. When the road surface is dry, the vertical polarization component S and the horizontal polarization component P are substantially equal, so the polarization ratio H is about 1. On the other hand, when the road surface is completely wet, the vertical polarization component S takes a value much larger than the horizontal polarization component P, so the polarization ratio H becomes a large value. When the road surface is slightly wet, The ratio H is an intermediate value between them.

以上のような路面状態の乾湿状態の判別処理の判別結果は、本実施形態では、車両１００の運転者への警告や、車両１００のハンドルやブレーキを制御するなどの走行支援制御に利用される。具体的には、路面状態が湿潤状態であることが判別された場合、その判別結果は車両走行制御ユニット１０８に送られ、例えば、車両１００の自動ブレーキシステムの制御に利用することで交通事故の低減効果等を期待できる。また、例えば、車両１００のカーナビゲーションシステムのＣＲＴ画面などに路面が滑りやすいことを警告する情報を報知して、運転者に注意を喚起してもよい。   In the present embodiment, the determination result of the determination process of the wet / dry condition of the road surface state as described above is used for driving support control such as warning to the driver of the vehicle 100 and control of the steering wheel and brake of the vehicle 100. . Specifically, when it is determined that the road surface state is a wet state, the determination result is sent to the vehicle travel control unit 108, and is used for, for example, control of the automatic brake system of the vehicle 100, thereby causing a traffic accident. A reduction effect can be expected. In addition, for example, information that warns that the road surface is slippery may be notified on a CRT screen of the car navigation system of the vehicle 100 to alert the driver.

ところで、凍結路面、特にブラックアイスと呼ばれるアスファルトの表層が凍結するような場合では通常の輝度画像からは凍結領域を判別しにくい。これに対して、偏光度画像では凍結領域がクリアに表現される。コンクリート面上の板氷を撮像した輝度画像及び偏光度画像を図８に示す。   By the way, when the frozen road surface, in particular, the surface layer of asphalt called black ice is frozen, it is difficult to distinguish the frozen region from the normal luminance image. On the other hand, the frozen region is clearly expressed in the polarization degree image. FIG. 8 shows a luminance image and a polarization degree image obtained by imaging the ice sheet on the concrete surface.

図８（ａ）に示すように、輝度画像では板氷がどこにあるのかが判別しにくいのに対して、図８（ｂ）の偏光度画像ではその所在（図中の楕円で囲った部分）に板氷を確認することができる。板氷のないコンクリート部分では光が散乱（乱反射）するため、偏光度は略ゼロである。これに対して、板氷のあるコンクリート部分では、板氷内部で光が散乱するが、板氷の内部から空気界面を透過する偏光成分としてはＰ偏光成分が支配的である。このため、図８（ｂ）において、板氷部分と乾燥したコンクリート部分で差異が明瞭に見える。   As shown in FIG. 8 (a), it is difficult to determine where the ice is in the luminance image, whereas in the polarization degree image of FIG. 8 (b), the location (portion enclosed by an ellipse in the figure). You can check the ice plate. Since the light is scattered (diffuse reflection) in the concrete portion without the ice plate, the degree of polarization is almost zero. On the other hand, in the concrete portion where the plate ice is present, the light is scattered inside the plate ice, but the P-polarized component is dominant as the polarization component transmitted through the air interface from the inside of the plate ice. For this reason, in FIG.8 (b), a difference can be seen clearly with a plate ice part and a dry concrete part.

偏光情報を用いることで路面状態以外の情報、例えば輝度画像では検出しにくい影の中の障害物を検出することもできる。図９は、影の中の障害物の撮像結果を示す説明図である。なお便宜上、図９の撮像結果は、有効撮像領域全域に偏光フィルタ層が配置された撮像装置によるものである。   By using polarization information, it is possible to detect information other than road surface conditions, for example, an obstacle in a shadow that is difficult to detect in a luminance image. FIG. 9 is an explanatory diagram showing the imaging result of the obstacle in the shadow. For convenience, the imaging results in FIG. 9 are based on an imaging device in which a polarizing filter layer is disposed over the entire effective imaging region.

図９（ａ）の輝度画像に対して、図９（ｂ）の偏光度画像では道路脇に停車した車両を認識できる。偏光度画像とは、既に示した式（１）の演算により生成されるものであり、輝度情報に依存しないとともに、物体の角度情報や材質の違いを表現できるため、輝度画像では見えにくい昼間の影の中の障害物などを検出するのに適している。即ち、本実施形態においては、画像解析ユニット１０２がこのような偏光度画像を用いることで、障害物検知を精度良く行うことができる。   Compared to the luminance image in FIG. 9A, the vehicle parked beside the road can be recognized in the polarization degree image in FIG. 9B. The polarization degree image is generated by the calculation of the expression (1) already shown, and is independent of the luminance information and can express the angle information and the material difference of the object. Suitable for detecting obstacles in shadows. In other words, in the present embodiment, the image analysis unit 102 can perform obstacle detection with high accuracy by using such a polarization degree image.

本実施形態においては、撮像ユニット１０１は車両１００の前方の車両周辺情報を撮像するだけでなく、例えば後方の車両周辺情報を撮像するものであってもよい。近年、各種車両に搭載されているリアビューカメラとして撮像ユニット１０１を配置して偏光度画像を撮像することにより、自車両の影に隠れた障害物などを検出することが可能である。   In the present embodiment, the imaging unit 101 may capture not only the vehicle surrounding information in front of the vehicle 100 but also the vehicle surrounding information in the rear, for example. In recent years, it is possible to detect an obstacle or the like hidden in the shadow of the host vehicle by arranging the imaging unit 101 as a rear view camera mounted on various vehicles and capturing a polarization degree image.

なお、撮像ユニット１０１をリアビューカメラとして使用する場合、その撮像レンズ２０４としては、画角９０度以上の広角レンズを用いることが望ましい。一般に、広角レンズを用いると、周辺画像の入射角が画像中心部に比べて大きくなる（例えば２０度）。このように入射角が大きくなると、偏光フィルタ層２２３の偏光子が形成された領域において、入射光の透過率が低下する。   When the imaging unit 101 is used as a rear view camera, it is desirable to use a wide-angle lens having an angle of view of 90 degrees or more as the imaging lens 204. In general, when a wide-angle lens is used, the incident angle of the peripheral image is larger than that of the image center (for example, 20 degrees). When the incident angle increases in this way, the transmittance of incident light decreases in the region where the polarizer of the polarizing filter layer 223 is formed.

そこで、広角レンズを用いる場合には、画像解析ユニット１０２が偏光度を算出する際に、撮像領域に応じた所定のゲインαを式（１）の偏光度に乗じるようにすればよい。即ち、式（１）の代わりに、下記の式（６）の演算式を用いるとよい。
偏光度＝α×（Ｉ（Ｐ）−Ｉ（Ｓ））／（Ｉ（Ｐ）＋Ｉ（Ｓ）） （６） Therefore, when a wide-angle lens is used, when the image analysis unit 102 calculates the degree of polarization, a predetermined gain α corresponding to the imaging region may be multiplied by the degree of polarization of Expression (1). That is, instead of equation (1), the following equation (6) may be used.
Polarization degree = α × (I (P) −I (S)) / (I (P) + I (S)) (6)

例えば、ゲインαは、有効撮像領域の中心部においてはα＝１、周辺部では透過率劣化に応じてα＝１．１などであるとよい。これにより、画像中心部と画像周辺部での偏光度差のない画像が撮像可能となる。   For example, the gain α may be α = 1 in the central portion of the effective imaging region and α = 1.1 in the peripheral portion according to the transmittance deterioration. As a result, an image having no difference in polarization degree between the image center and the image periphery can be captured.

さらに、画像解析ユニット１０２は、公知のエッジ抽出を輝度画像と偏光度画像に対して行い、エッジ抽出後の輝度画像と偏光度画像を重ね合わせることにより、輝度画像のみの場合に比べ、障害物検出の性能を上げることができる。   Further, the image analysis unit 102 performs known edge extraction on the luminance image and the polarization degree image, and superimposes the luminance image and the polarization degree image after the edge extraction, thereby comparing the obstacle with the case of only the luminance image. The detection performance can be improved.

なお、本実施形態の画像処理システム１１０は、下部領域２１１において路面状態などの情報を含む偏光度画像を撮像可能であるだけでなく、偏光制限を受けない上部領域２１２において輝度画像を撮像できるようになっている。上部領域２１２は、例えば路面より上側の領域に相当し、標識などの検出に使用できる。上部領域２１２は、偏光子が配置された下部領域２１１に比べ解像度を高く、また光量を大きく取ることができる。   Note that the image processing system 110 according to the present embodiment can capture not only a polarization degree image including information such as a road surface state in the lower region 211 but also a luminance image in the upper region 212 that is not subjected to polarization limitation. It has become. The upper region 212 corresponds to, for example, a region above the road surface and can be used for detecting a sign or the like. The upper region 212 has a higher resolution and a larger amount of light than the lower region 211 where the polarizer is disposed.

図１０は、車両１００の内部に搭載された画像処理システム１１０（撮像ユニット１０１のみ図示）により標識検出が行われる様子を示す模式図である。撮像ユニット１０１は、車両１００の前方に位置する道路標識（例えば、車両進入禁止などの規制標識）３００を撮像して、画像解析ユニット１０２を介して音声やディスプレイの画像表示によりドライバに注意を喚起する。   FIG. 10 is a schematic diagram illustrating a state in which the sign detection is performed by the image processing system 110 (only the imaging unit 101 is illustrated) mounted inside the vehicle 100. The imaging unit 101 captures an image of a road sign (for example, a restriction sign for prohibiting entry of a vehicle, etc.) 300 located in front of the vehicle 100, and alerts the driver by voice or image display on the display via the image analysis unit 102. To do.

なお、標識検出の対象となる道路標識の種類は複数であってもよい。例えば、画像処理システム１１０は、予め各種道路標識情報を画像解析ユニット１０２のメモリに格納しておき、撮像ユニット１０１を用いて取得した各種道路標識情報とメモリに格納された各種道路標識情報とを比較する構成であってもよい。さらに、画像処理システム１１０は、取得した各種道路標識情報を認識し、認識した各種道路標識情報を音声合成信号に変換して、運転者に各種道路標識情報を音声で通知する構成であってもよい。   There may be a plurality of types of road signs to be subjected to sign detection. For example, the image processing system 110 stores various road sign information in the memory of the image analysis unit 102 in advance, and stores the various road sign information acquired using the imaging unit 101 and the various road sign information stored in the memory. The structure to compare may be sufficient. Further, the image processing system 110 may recognize the acquired various road sign information, convert the recognized various road sign information into a voice synthesis signal, and notify the driver of the various road sign information by voice. Good.

ところで、偏光子が配置された下部領域２１１は、偏光制限を受けない上部領域２１２と比較して透過光量が約半分になる。そこで、下部領域２１１を透過した光に基づいて生成される偏光度画像と、上部領域２１２を透過した光に基づいて生成される輝度画像とで、撮像の際の露光量を変えることが好ましい。   By the way, the lower region 211 where the polarizer is arranged has about half the amount of transmitted light compared to the upper region 212 that is not subjected to polarization limitation. Therefore, it is preferable to change the exposure amount at the time of imaging between the polarization degree image generated based on the light transmitted through the lower region 211 and the luminance image generated based on the light transmitted through the upper region 212.

具体的には、画像解析ユニット１０２の自動露光調整により、撮像ユニット１０１が、下部領域２１１において第１の露光量（露光時間）で偏光度画像用の画像フレームを撮像するとともに、上部領域２１２において第２の露光量（露光時間）で輝度画像用の画像フレームを撮像する構成であるとよい。例えば、画像解析ユニット１０２が、撮像素子２０６の各画素が入射光を電気信号に変換する時間を制御することにより、露光量（露光時間）を変える構成とすればよい。   Specifically, by the automatic exposure adjustment of the image analysis unit 102, the imaging unit 101 captures an image frame for a polarization degree image with a first exposure amount (exposure time) in the lower region 211, and in the upper region 212. It may be configured to capture an image frame for a luminance image with the second exposure amount (exposure time). For example, the image analysis unit 102 may be configured to change the exposure amount (exposure time) by controlling the time for each pixel of the image sensor 206 to convert incident light into an electrical signal.

即ち、下部領域２１１については、画像解析ユニット１０２が、下部領域２１１を透過する光の光量を検出しながら自動露光調整を行うことにより、撮像ユニット１０１は第１の露光量（露光時間）で路面状態を撮像する。上部領域２１２においては、画像解析ユニット１０２が、上部領域２１２を透過する光の光量を検出しながら自動露光調整を行うことにより、撮像ユニット１０１は第２の露光量（露光時間）で標識の画像を撮像する。これにより、それぞれの画像について、最適な露光量で画像を撮像することが可能となる。   That is, for the lower region 211, the image analysis unit 102 performs automatic exposure adjustment while detecting the amount of light that passes through the lower region 211, so that the imaging unit 101 can obtain the road surface with the first exposure amount (exposure time). Imaging the state. In the upper region 212, the image analysis unit 102 performs automatic exposure adjustment while detecting the amount of light transmitted through the upper region 212, so that the imaging unit 101 can display the sign image with the second exposure amount (exposure time). Image. Thereby, it becomes possible to capture an image with an optimum exposure amount for each image.

なお、上部領域２１２は光量変化が大きい。具体的には、車両周辺の照度は昼間の数万ルクスから夜間の１ルクス以下まで変化するため、その撮像シーンに応じて露光時間を調整する必要がある。これに対しては、画像解析ユニット１０２が公知の自動露光制御を行えばよい。   The upper region 212 has a large light amount change. Specifically, since the illuminance around the vehicle changes from tens of thousands of lux in the daytime to 1 lux or less at night, it is necessary to adjust the exposure time according to the imaging scene. For this, the image analysis unit 102 may perform known automatic exposure control.

一方、下部領域２１１については、上部領域２１２の露光時間の半分の固定露光時間で撮像する（露光量を固定として撮像する）ことも可能である。これにより、露光制御時間の短縮、露光制御の簡素化などを実現できる。   On the other hand, the lower region 211 can be imaged with a fixed exposure time that is half the exposure time of the upper region 212 (images are taken with a fixed exposure amount). Thereby, shortening of exposure control time, simplification of exposure control, and the like can be realized.

図１１は、本実施形態における露光制御の手順を示すフローチャートである。まず、画像解析ユニット１０２は、偏光子が配置されていない上部領域２１２に対して露光調整を行う。そして、撮像ユニット１０１は、画像解析ユニット１０２による露光調整で設定された第２の露光量で、輝度画像用の画像フレームの撮像を行う（ステップＳ１２０）。   FIG. 11 is a flowchart showing the procedure of exposure control in the present embodiment. First, the image analysis unit 102 performs exposure adjustment on the upper region 212 where no polarizer is arranged. Then, the imaging unit 101 captures an image frame for a luminance image with the second exposure amount set by exposure adjustment by the image analysis unit 102 (step S120).

次に、画像解析ユニット１０２は、ステップＳ１２０で撮像された輝度画像用の画像フレームの解析を行って（ステップＳ１２１）、車両走行制御ユニット１０８等に各種制御を行わせるための指示信号を送出する（ステップＳ１２２）。   Next, the image analysis unit 102 analyzes the image frame for the luminance image captured in step S120 (step S121), and sends an instruction signal for causing the vehicle travel control unit 108 and the like to perform various controls. (Step S122).

次に、画像解析ユニット１０２は、偏光子が配置されている下部領域２１１に対して露光調整を行う。そして、撮像ユニット１０１は、画像解析ユニット１０２による露光調整で設定された第１の露光量で、偏光度画像用の画像フレームの撮像を行う（ステップＳ１２３）。   Next, the image analysis unit 102 performs exposure adjustment on the lower region 211 where the polarizer is disposed. Then, the imaging unit 101 captures an image frame for the polarization degree image with the first exposure amount set by the exposure adjustment by the image analysis unit 102 (step S123).

次に、画像解析ユニット１０２は、ステップＳ１２３で撮像された偏光度画像用の画像フレームの解析を行う（ステップＳ１２４）。そして、画像解析ユニット１０２は、ステップＳ１２４での解析結果に基づいて、車両走行制御ユニット１０８等に各種制御を行わせるための指示信号を送出する（ステップＳ１２５）。   Next, the image analysis unit 102 analyzes the image frame for the polarization degree image captured in step S123 (step S124). Then, the image analysis unit 102 sends an instruction signal for causing the vehicle travel control unit 108 to perform various controls based on the analysis result in step S124 (step S125).

そして、画像解析ユニット１０２は、所定の終了指示（車両１００の運転者による終了指示など）があるまで、ステップＳ１２０〜Ｓ１２５の処理を繰り返し実行する（ステップＳ１２６）。   Then, the image analysis unit 102 repeatedly executes the processes of steps S120 to S125 until there is a predetermined end instruction (such as an end instruction by the driver of the vehicle 100) (step S126).

以降では、光学フィルタ２０５Ａが有する分光フィルタ層２２１の分光特性について説明する。図１２は、分光フィルタ層２２１の分光特性を示すグラフである。分光フィルタ層２２１は、図１２に示すように波長範囲４００ｎｍ〜６７０ｎｍ（ここでは、λ１＝４００ｎｍ、λ２＝６７０ｎｍ）のいわゆる可視光領域の入射光と、波長範囲９４０ｎｍ〜１０００ｎｍ（ここでは、λ３＝９４０ｎｍ、λ４＝１０００ｎｍ）の赤外光領域の入射光を透過させ、波長範囲６７０ｎｍ〜９４０ｎｍの入射光をカットする透過率特性を有する。波長範囲４００ｎｍ〜６７０ｎｍ及び波長範囲９４０〜１０００ｎｍの透過率は３０％以上であることが好ましく、９０％以上であることがより好ましい。波長範囲６７０ｎｍ〜９４０ｎｍの透過率は２０％以下であることが好ましく、５％以下であることがより好ましい。   Hereinafter, the spectral characteristics of the spectral filter layer 221 included in the optical filter 205A will be described. FIG. 12 is a graph showing the spectral characteristics of the spectral filter layer 221. As shown in FIG. 12, the spectral filter layer 221 includes incident light in a so-called visible light region having a wavelength range of 400 nm to 670 nm (here, λ1 = 400 nm, λ2 = 670 nm) and a wavelength range of 940 nm to 1000 nm (here, λ3 = 940 nm, λ4 = 1000 nm) in the infrared light region, and has transmittance characteristics that cut incident light in the wavelength range of 670 nm to 940 nm. The transmittance in the wavelength range of 400 nm to 670 nm and the wavelength range of 940 to 1000 nm is preferably 30% or more, and more preferably 90% or more. The transmittance in the wavelength range of 670 nm to 940 nm is preferably 20% or less, and more preferably 5% or less.

可視光領域の入射光は車両周辺情報の検出に用いられ、赤外光領域の入射光は夜間時の路面状態の検出や障害物の検出に用いられる。波長範囲６７０ｎｍ〜９４０ｎｍの入射光を透過させない理由は、この波長範囲の入射光を撮像素子２０６が取り込んだ場合、得られる撮像画像データが全体的に赤くなってしまい、赤色標識の赤色を示す部分等を抽出することや、テールランプに対応する赤色の画像部分を識別することが困難となる場合があるからである。   Incident light in the visible light region is used for detecting vehicle periphery information, and incident light in the infrared light region is used for detecting road surface conditions and obstacles at night. The reason why the incident light in the wavelength range of 670 nm to 940 nm is not transmitted is that when the imaging element 206 takes in the incident light in this wavelength range, the obtained captured image data becomes entirely red, and the red sign indicates the red color This is because it may be difficult to extract the red image portion corresponding to the tail lamp.

そこで、図１２に示すような赤外光領域の大部分の波長範囲（６７０ｎｍ〜９４０ｎｍ）をカットする特性をもつ分光フィルタ層２２１を有効撮像領域全体に形成すれば、外乱光を除去できるため、例えば日本での一時停止標識など赤色を含む標識の検出精度や、テールランプの識別精度を向上させることができる。なお、波長範囲９４０〜１０００ｎｍ、及び、波長範囲４００ｎｍ〜６７０ｎｍは、本発明に係る波長範囲の代表的な一例である。   Therefore, if the spectral filter layer 221 having the characteristic of cutting most of the wavelength range (670 nm to 940 nm) of the infrared light region as shown in FIG. 12 is formed in the entire effective imaging region, disturbance light can be removed. For example, it is possible to improve the detection accuracy of red signs such as a stop sign in Japan and the identification accuracy of tail lamps. Note that the wavelength range of 940 to 1000 nm and the wavelength range of 400 nm to 670 nm are representative examples of the wavelength range according to the present invention.

ところで、撮像ユニット１０１の撮像方向を下方へ傾けていくと、撮像領域内の下部に自車両のボンネットが入り込んでくる場合がある。この場合、自車両のボンネットで反射した太陽光や先行車両のテールランプなどが外乱光となり、これが撮像画像データに含まれることで対向車両のヘッドランプ及び先行車両のテールランプ並びに白線の誤識別の原因となる。このような場合でも、本実施形態では、有効撮像領域全体に波長範囲６７０ｎｍ〜９４０ｎｍの光を遮断する分光フィルタ層２２１が形成されているので、ボンネットで反射した太陽光や先行車両のテールランプなどの外乱光が除去される。よって、対向車両のヘッドランプ及び先行車両のテールランプ並びに白線の識別精度が向上する。   By the way, when the imaging direction of the imaging unit 101 is tilted downward, the hood of the host vehicle may enter the lower part of the imaging area. In this case, sunlight reflected by the bonnet of the host vehicle or the tail lamp of the preceding vehicle becomes disturbance light, which is included in the captured image data, which may cause misidentification of the head lamp of the oncoming vehicle, the tail lamp of the preceding vehicle, and the white line. Become. Even in such a case, in the present embodiment, the spectral filter layer 221 that blocks the light in the wavelength range of 670 nm to 940 nm is formed over the entire effective imaging region, so that the sunlight reflected by the bonnet, the tail lamp of the preceding vehicle, etc. The disturbance light is removed. Therefore, the head lamp of the oncoming vehicle, the tail lamp of the preceding vehicle, and the white line identification accuracy are improved.

なお、既に述べたように、光学フィルタ２０５Ａは、撮像素子２０６の撮像レンズ２０４側の面に近接配置されている。これは、光学フィルタ２０５Ａと撮像素子２０６が離れるほど、隣接する画素間で光学的なクロストークが生じやすくなるためである。従って、光学フィルタ２０５Ａと撮像素子２０６との隙間は２μｍ以下となるように接着などの方法により密着接合されることが望ましい。これにより、光学フィルタ２０５Ａの下部領域２１１と上部領域２１２の境界と、撮像素子２０６の画素の境界とを一致させやすくなる。   As already described, the optical filter 205A is disposed close to the surface of the image sensor 206 on the imaging lens 204 side. This is because optical crosstalk is more likely to occur between adjacent pixels as the optical filter 205A and the image sensor 206 are separated from each other. Therefore, it is desirable that the gap between the optical filter 205A and the image sensor 206 is closely bonded by a method such as adhesion so that the gap is 2 μm or less. Thereby, the boundary between the lower region 211 and the upper region 212 of the optical filter 205A and the boundary of the pixel of the image sensor 206 can be easily matched.

光学フィルタ２０５Ａと撮像素子２０６は、例えば、ＵＶ接着剤で接合されてもよいし、有効撮像領域外でスペーサにより支持された状態で有効撮像領域外の四辺領域をＵＶ接着や熱圧着されてもよい。   For example, the optical filter 205A and the image sensor 206 may be bonded with a UV adhesive, or the four side areas outside the effective imaging area may be bonded or thermo-compression bonded to the four sides outside the effective imaging area while being supported by the spacer outside the effective imaging area. Good.

以降では、光学フィルタ２０５Ａの各部詳細について説明する。基板２２０は、使用波長帯域（本実施形態では可視光領域と赤外光領域）の光を透過可能な透明な材料、例えば、ガラス、サファイア、水晶などで構成されている。本実施形態では、ガラス、特に、安価でかつ耐久性もある石英ガラス（屈折率１．４６）やテンパックスガラス（屈折率１．５１）を好適に用いることができる。   Hereinafter, each part of the optical filter 205A will be described in detail. The substrate 220 is made of a transparent material, such as glass, sapphire, or quartz, that can transmit light in the used wavelength band (visible light region and infrared light region in this embodiment). In the present embodiment, glass, particularly quartz glass (refractive index 1.46) and Tempax glass (refractive index 1.51) which are inexpensive and durable can be suitably used.

基板２２０上に形成される偏光フィルタ層２２３は、図１３に示すようなワイヤグリッド構造で形成された偏光子で構成され、撮像素子２０６側の面は凹凸面である。ワイヤグリッド構造は、アルミニウムなどの金属で構成された特定方向に延びる金属ワイヤ（導電体線）を特定のピッチで配列した構造である。ワイヤグリッド構造のワイヤピッチを、入射光の波長帯（例えば、４００ｎｍ〜８００ｎｍ）に比べて十分に小さいピッチ（例えば１／２以下）とすることで、金属ワイヤの長手方向に対して平行に振動する電場ベクトル成分の光をほとんど反射し、金属ワイヤの長手方向に対して直交する方向に振動する電場ベクトル成分の光をほとんど透過させるため、単一偏光を作り出す偏光子として使用できる。   The polarizing filter layer 223 formed on the substrate 220 is composed of a polarizer formed with a wire grid structure as shown in FIG. 13, and the surface on the image sensor 206 side is an uneven surface. The wire grid structure is a structure in which metal wires (conductor lines) made of metal such as aluminum and extending in a specific direction are arranged at a specific pitch. By making the wire pitch of the wire grid structure a sufficiently small pitch (for example, ½ or less) compared to the wavelength band of incident light (for example, 400 nm to 800 nm), the wire grid structure vibrates in parallel to the longitudinal direction of the metal wire. Therefore, it can be used as a polarizer for producing a single polarized light because it reflects most of the light of the electric field vector component and transmits almost the light of the electric field vector component that vibrates in the direction orthogonal to the longitudinal direction of the metal wire.

ワイヤグリッド構造の偏光子は、一般に、金属ワイヤの断面積が増加すると、消光比が増加し、更に周期幅に対する所定の幅以上の金属ワイヤでは透過率が減少する。また、金属ワイヤの長手方向に直交する断面形状がテーパ形状であると、広い帯域において透過率、偏光度の波長分散性が少なく、高消光比特性を示す。   In a wire grid polarizer, the extinction ratio generally increases as the cross-sectional area of the metal wire increases, and the transmittance decreases for metal wires having a predetermined width or more with respect to the period width. Further, when the cross-sectional shape orthogonal to the longitudinal direction of the metal wire is a tapered shape, the wavelength dispersion of the transmittance and the polarization degree is small in a wide band, and a high extinction ratio characteristic is exhibited.

本実施形態では、偏光フィルタ層２２３がワイヤグリッド構造で形成されていることにより、以下のような効果を有する。ワイヤグリッド構造は、広く知られた半導体製造プロセスを利用して形成することができる。具体的には、基板２２０上にアルミニウム薄膜を蒸着した後、パターニングを行い、メタルエッチングなどの手法によってワイヤグリッドのサブ波長凹凸構造を形成すればよい。このような製造プロセスにより、撮像素子２０６の撮像画素サイズ相当（数μｍレベル）で金属ワイヤの長手方向、即ち偏光方向（偏光軸）を調整することが可能となる。よって、本実施形態のように、撮像画素単位で金属ワイヤの長手方向、即ち偏光方向（偏光軸）を異ならせた偏光フィルタ層２２３を作成することができる。   In the present embodiment, the polarizing filter layer 223 is formed in a wire grid structure, and thus has the following effects. The wire grid structure can be formed using a widely known semiconductor manufacturing process. Specifically, after depositing an aluminum thin film on the substrate 220, patterning is performed, and the sub-wavelength uneven structure of the wire grid may be formed by a technique such as metal etching. By such a manufacturing process, it becomes possible to adjust the longitudinal direction of the metal wire, that is, the polarization direction (polarization axis) corresponding to the imaging pixel size (several μm level) of the imaging element 206. Therefore, as in the present embodiment, it is possible to create the polarizing filter layer 223 in which the longitudinal direction of the metal wire, that is, the polarization direction (polarization axis) is different for each imaging pixel.

また、ワイヤグリッド構造は、アルミニウムなどの金属材料によって作製されるため、耐熱性に優れ、高温になりやすい車両室内などの高温環境下においても好適に使用できるという利点もある。   Further, since the wire grid structure is made of a metal material such as aluminum, there is an advantage that it is excellent in heat resistance and can be suitably used even in a high-temperature environment such as a vehicle interior that is likely to become high temperature.

上述のように、偏光フィルタ層２２３の偏光子はサブ波長サイズのワイヤグリッド構造であり、機械的強度が弱く、わずかな外力によって金属ワイヤが損傷してしまう。本実施形態の光学フィルタ２０５Ａは、撮像素子２０６に密着配置することが望まれるため、その製造段階において光学フィルタ２０５Ａと撮像素子２０６とが接触する可能性がある。また、光学フィルタ２０５Ａと撮像素子２０６は平行に配置されることが望ましく、間に平坦化層が形成されていることが望ましい。   As described above, the polarizer of the polarizing filter layer 223 has a sub-wavelength sized wire grid structure, has low mechanical strength, and a metal wire is damaged by a slight external force. Since it is desired that the optical filter 205A of the present embodiment is disposed in close contact with the image sensor 206, there is a possibility that the optical filter 205A and the image sensor 206 are in contact with each other in the manufacturing stage. The optical filter 205A and the image sensor 206 are preferably arranged in parallel, and a planarization layer is preferably formed therebetween.

充填材２２４は、偏光フィルタ層２２３の積層方向上面を平坦化するために用いられ、偏光フィルタ層２２３の金属ワイヤ間の凹部に充填される。この充填材２２４としては、基板２２０よりも屈折率が低いか、または同等の屈折率を有する無機材料を好適に利用できる。なお、本実施形態における充填材２２４は、偏光フィルタ層２２３の金属ワイヤ部分の積層方向上面も覆うように形成される。   The filler 224 is used to flatten the upper surface of the polarizing filter layer 223 in the stacking direction, and is filled in the recesses between the metal wires of the polarizing filter layer 223. As the filler 224, an inorganic material having a refractive index lower than or equal to that of the substrate 220 can be suitably used. In addition, the filler 224 in this embodiment is formed so as to cover the upper surface in the stacking direction of the metal wire portion of the polarizing filter layer 223.

充填材２２４は、偏光フィルタ層２２３の偏光特性を劣化させないように、その屈折率が空気の屈折率（屈折率＝１）に極力近い低屈折率材料からなることが好ましい。具体的な材料としては、例えば、セラミックス中に微細な空孔を分散させて形成してなる多孔質のセラミックス材料が好ましく、具体的には、ポーラスシリカ（ＳｉＯ2）、ポーラスフッ化マグネシウム（ＭｇＦ）、ポーラスアルミナ（Ａｌ2Ｏ3）などが挙げられる。また、これらの低屈折率の程度は、セラミックス中の空孔の数や大きさ（ポーラス度）によって決まる。基板２２０の主成分がシリカの水晶やガラスからなる場合には、ポーラスシリカ（ｎ＝１．２２〜１．２６）が好適に使用できる。 The filler 224 is preferably made of a low refractive index material whose refractive index is as close as possible to the refractive index of air (refractive index = 1) so as not to deteriorate the polarization characteristics of the polarizing filter layer 223. As a specific material, for example, a porous ceramic material formed by dispersing fine pores in ceramics is preferable, and specifically, porous silica (SiO 2 ), porous magnesium fluoride (MgF). And porous alumina (Al 2 O 3 ). The degree of these low refractive indexes is determined by the number and size of pores in the ceramic (porosity). When the main component of the substrate 220 is made of silica crystal or glass, porous silica (n = 1.2-1.26) can be preferably used.

充填材２２４の形成方法としては、例えば、無機系塗布膜（ＳＯＧ：Spin On Glass）法を好適に用いることができる。具体的には、シラノール（Ｓｉ（ＯＨ）4）をアルコールに溶かした溶剤を、基板２２０上に形成された偏光フィルタ層２２３上にスピン塗布し、その後に熱処理によって溶媒成分を揮発させ、シラノール自体を脱水重合反応させるような経緯で充填材２２４が形成される。 As a method for forming the filler 224, for example, an inorganic coating film (SOG: Spin On Glass) method can be suitably used. Specifically, a solvent in which silanol (Si (OH) 4 ) is dissolved in alcohol is spin-coated on the polarizing filter layer 223 formed on the substrate 220, and then the solvent component is volatilized by heat treatment, whereby the silanol itself Thus, the filler 224 is formed in such a manner as to cause a dehydration polymerization reaction.

以上述べたように、本実施形態では、偏光フィルタ層２２３の積層方向上面、即ち撮像素子２０６側の面が充填材２２４によって覆われているので、撮像素子２０６と接触した際にワイヤグリッド構造が損傷するような事態が抑制される。   As described above, in this embodiment, since the upper surface in the stacking direction of the polarizing filter layer 223, that is, the surface on the image sensor 206 side is covered with the filler 224, the wire grid structure is formed when contacting the image sensor 206. The situation that damages is suppressed.

また、本実施形態のように充填材２２４を偏光フィルタ層２２３のワイヤグリッド構造における金属ワイヤ間の凹部へ充填することで、その凹部への異物進入を防止することができる。   Further, by filling the filler 224 into the recesses between the metal wires in the wire grid structure of the polarizing filter layer 223 as in the present embodiment, it is possible to prevent foreign matter from entering the recesses.

本実施形態の分光フィルタ層２２１は、高屈折率の薄膜と低屈折率の薄膜とを交互に多層重ねた多層膜構造で作製されている。このような多層膜構造を採用すれば、光の干渉を利用することで分光透過率の設定自由度が高くなり、また、薄膜を多層重ねることで特定波長（例えば赤色以外の波長帯域帯）に対して１００％近い反射率を実現することも可能である。   The spectral filter layer 221 of the present embodiment is made of a multilayer film structure in which high refractive index thin films and low refractive index thin films are alternately stacked. If such a multilayer film structure is adopted, the degree of freedom in setting the spectral transmittance is increased by using light interference, and a specific wavelength (for example, a wavelength band other than red) is obtained by stacking thin films in multiple layers. On the other hand, it is also possible to realize a reflectance close to 100%.

以上説明したように、本実施形態の画像処理システムにおいては、偏光フィルタ層が有効撮像領域の下部のみに配置される。偏光フィルタ層の配置がこのように限定されることにより、本実施形態の画像処理システム及びそれを備えた車両は、有効撮像領域の下部に対応する路面からの光の偏光情報を得られるとともに、路面より上側の領域、即ち道路標識などに対しては解像度及び光量を損ずることなく画像を撮像することができる。   As described above, in the image processing system of the present embodiment, the polarizing filter layer is disposed only below the effective imaging region. By limiting the arrangement of the polarizing filter layer in this way, the image processing system of the present embodiment and the vehicle including the same can obtain the polarization information of light from the road surface corresponding to the lower part of the effective imaging region, An image can be taken without losing the resolution and the amount of light in a region above the road surface, that is, a road sign.

（第２の実施形態）
本発明に係る画像処理システム及びそれを備えた車両の第２の実施形態を図面を参照しながら説明する。なお、既に説明した実施形態と同様の構成及び動作については適宜説明を省略する。 (Second Embodiment)
An image processing system according to a second embodiment of the present invention and a vehicle including the image processing system will be described with reference to the drawings. In addition, description is abbreviate | omitted suitably about the structure and operation | movement similar to embodiment already demonstrated.

本実施形態では、偏光フィルタ層の領域分割方法を変更した例を示す。本実施形態における偏光フィルタ層は、入射光の水平偏光成分Ｐを透過させる偏光子と、入射光の垂直偏光成分Ｓを透過させる偏光子とが、ストライプ状のパターンとして交互に形成されてなる。   In this embodiment, the example which changed the area | region division method of the polarizing filter layer is shown. In the present embodiment, the polarizing filter layer is formed by alternately forming a polarizer that transmits a horizontal polarization component P of incident light and a polarizer that transmits a vertical polarization component S of incident light as a stripe pattern.

図１４は、第１の実施形態の図５に示した光学フィルタ２０５Ａの偏光フィルタ層２２３と、撮像素子２０６の画素との対応を例示する模式図に関して、偏光子のパターンの他の例を示すものである。即ち、図１４は、入射光の水平偏光成分Ｐを透過させる偏光子が幅１画素で縦方向（Ｚ方向）に連なって配置されるとともに、入射光の垂直偏光成分Ｓを透過させる偏光子が幅１画素で縦方向に連なって配置されて、ストライプ状の偏光子パターンが形成される例を示している。   FIG. 14 is a schematic diagram illustrating the correspondence between the polarizing filter layer 223 of the optical filter 205A illustrated in FIG. 5 of the first embodiment and the pixels of the image sensor 206, and illustrates another example of a polarizer pattern. Is. That is, FIG. 14 shows that a polarizer that transmits the horizontal polarization component P of incident light is arranged in the vertical direction (Z direction) with a width of 1 pixel, and a polarizer that transmits the vertical polarization component S of incident light. An example is shown in which a stripe-shaped polarizer pattern is formed with a width of one pixel arranged in a row in the vertical direction.

本実施形態では、偏光フィルタ層２２３をストライプ状のパターンに形成することにより、第１の実施形態における市松状のパターンに比べ、撮像素子２０６の各画素と光学フィルタ２０５Ａの偏光フィルタ層２２３が形成された部分との位置ズレ精度を緩和できる。   In the present embodiment, by forming the polarizing filter layer 223 in a stripe pattern, each pixel of the image sensor 206 and the polarizing filter layer 223 of the optical filter 205A are formed as compared with the checkered pattern in the first embodiment. It is possible to relax the positional deviation accuracy with respect to the formed part.

即ち、第１の実施形態のような市松状のパターンの場合、撮像素子２０６の各画素と光学フィルタ２０５Ａの偏光フィルタ層２２３が形成された部分とを一致させるためには、Ｙ方向及びＺ方向それぞれについて位置調整を精密に行う必要がある。これに対して、本実施形態のようなストライプ状のパターンでは、撮像素子２０６の各画素と光学フィルタ２０５Ａの偏光フィルタ層２２３が形成された部分とを一致させるためには、Ｙ方向の位置調整のみ精密に行えばよい。これにより、光学フィルタ２０５Ａと撮像素子２０６とを接着する工程において、組立時間の短縮や組付装置の簡素化が可能となる。   That is, in the case of the checkered pattern as in the first embodiment, in order to match each pixel of the image sensor 206 with the portion where the polarizing filter layer 223 of the optical filter 205A is formed, the Y direction and the Z direction are used. Each position needs to be precisely adjusted. On the other hand, in the stripe pattern as in the present embodiment, in order to match each pixel of the image sensor 206 and the portion where the polarizing filter layer 223 of the optical filter 205A is formed, the position adjustment in the Y direction is performed. Only need to be precise. Thereby, in the process of bonding the optical filter 205A and the image sensor 206, the assembly time can be shortened and the assembling apparatus can be simplified.

なお、車両進行時の路面状態が変化する位置や距離情報を検知する目的においては、進行方向の画像解像度が十分に取れることが望ましく、ストライプ状のパターンのピッチの方向は水平方向（Ｙ方向）であるとよい。   In addition, for the purpose of detecting the position and distance information where the road surface state changes when the vehicle travels, it is desirable that the image resolution in the traveling direction is sufficient, and the direction of the pitch of the stripe pattern is the horizontal direction (Y direction). It is good to be.

（第３の実施形態）
本発明に係る画像処理システム及びそれを備えた車両の第３の実施形態を図面を参照しながら説明する。なお、既に説明した実施形態と同様の構成及び動作については適宜説明を省略する。 (Third embodiment)
An image processing system according to a third embodiment of the present invention and a vehicle including the image processing system will be described with reference to the drawings. In addition, description is abbreviate | omitted suitably about the structure and operation | movement similar to embodiment already demonstrated.

本実施形態においては、偏光分離手段２３０が、撮像レンズ２０４と光学フィルタ２０５Ａとの間（光学フィルタ２０５Ａの前段）に配置される。偏光分離手段２３０は、入射光を水平偏光成分Ｐと垂直偏光成分Ｓの光に分離するようになっている。さらに、偏光分離手段２３０は、入射光の水平偏光成分Ｐ及び垂直偏光成分Ｓのいずれか一方を直進させるとともに、他方を所定のシフト量だけ光路シフトさせる機能を有している。   In the present embodiment, the polarization separation unit 230 is disposed between the imaging lens 204 and the optical filter 205A (the front stage of the optical filter 205A). The polarized light separating unit 230 separates incident light into light of a horizontal polarization component P and a vertical polarization component S. Further, the polarization separation means 230 has a function of causing one of the horizontal polarization component P and the vertical polarization component S of the incident light to go straight and shifting the other optical path by a predetermined shift amount.

以下、図１５及び１６を用いて、上記のような偏光分離手段を有しない撮像装置全般における偏光成分画像情報の精度の問題について説明する。図１５は、偏光子アレイの各領域（ｆ０、ｆ１、ｆ２、ｆ３、ｆ４、ｆ５）と撮像素子の各画素（ｃ０、ｃ１、ｃ２、ｃ３、ｃ４、ｃ５）との対応関係を簡略化して示す説明図である。図１５に示すように、位置Ａの水平偏光成分Ｐと位置Ｂの垂直偏光成分Ｓから第１の偏光成分画像情報（偏光成分画像の１画素に相当）が生成され、位置Ｃの水平偏光成分Ｐと位置Ｄの垂直偏光成分Ｓから第２の偏光成分画像情報（偏光成分画像の１画素に相当）が生成される。このようにして、複数の偏光成分画像情報から偏光成分画像が取得される。   Hereinafter, with reference to FIGS. 15 and 16, the problem of the accuracy of the polarization component image information in the entire imaging apparatus that does not have the polarization separation means as described above will be described. FIG. 15 shows a simplified correspondence between each region (f0, f1, f2, f3, f4, f5) of the polarizer array and each pixel (c0, c1, c2, c3, c4, c5) of the image sensor. It is explanatory drawing shown. As shown in FIG. 15, first polarization component image information (corresponding to one pixel of the polarization component image) is generated from the horizontal polarization component P at position A and the vertical polarization component S at position B, and the horizontal polarization component at position C. Second polarization component image information (corresponding to one pixel of the polarization component image) is generated from the vertical polarization component S at P and position D. In this way, a polarization component image is acquired from a plurality of pieces of polarization component image information.

次に、図１６を用いて、偏光子アレイ及び撮像素子に特定偏光の光が入射する状況を考察する。図１６（ａ）は、２つの画素（受光素子）ｃ１、ｃ２と、それらに対応し互いに直交した偏光成分を各々透過させる偏光子ｆ１、ｆ２を示している。入射光は偏光子アレイを透過して各画素に入射し、各画素で電気信号（画素値）に変換される。ここでは説明を簡略化するため、偏光子ｆ１、ｆ２は、２つの画素ｃ１、ｃ２をそれぞれ完全に覆い、また、直交する偏光成分のうち一方のみを完全に透過させ、もう一方は完全に遮断するものと仮定する。また、位置Ａ、Ｂともに無偏光で同じ光強度の光が入射しているものとする。   Next, with reference to FIG. 16, a situation in which light of a specific polarization enters the polarizer array and the image sensor will be considered. FIG. 16A shows two pixels (light receiving elements) c1 and c2, and polarizers f1 and f2 that respectively transmit polarized components corresponding to them and orthogonal to each other. Incident light passes through the polarizer array and enters each pixel, and is converted into an electrical signal (pixel value) at each pixel. Here, for simplicity of explanation, the polarizers f1 and f2 completely cover the two pixels c1 and c2, respectively, and completely transmit only one of the orthogonal polarization components, and completely block the other. Assume that In addition, it is assumed that light having the same light intensity is incident at both positions A and B.

図１６（ｂ）は、図１６（ａ）の構成において各画素が出力する画素値を表している。横軸は位置を、縦軸は入射光の光強度に対する画素値を示しており、この画素値から偏光成分画像情報が生成される。図１６（ａ）、（ｂ）の例では、位置Ａと位置Ｂの画素値が同じであるため、偏光成分画像情報としては無偏光（偏光度がゼロ）として情報出力される。   FIG. 16B shows pixel values output by each pixel in the configuration of FIG. The horizontal axis indicates the position, and the vertical axis indicates the pixel value with respect to the light intensity of the incident light, and polarization component image information is generated from this pixel value. In the examples of FIGS. 16A and 16B, since the pixel values at the positions A and B are the same, the polarization component image information is output as non-polarized light (the degree of polarization is zero).

図１６（ｃ）及び（ｄ）は、同じ撮像素子に対して、別の偏光特性を有する光が入射した場合の様子を示している。図１６（ｃ）は、位置Ａに無偏光の光が入射し、位置ＢにＳ偏光の光が入射している例を示す。ここで、偏光子アレイを通過する前の無偏光の光の強度は、Ｓ偏光の光の強度の２倍としている。このように位置ＢにＳ偏光の光が入射しているにも関わらず、図１６（ｄ）に示すように位置Ａと位置Ｂの画素値は等しくなるため、偏光成分画像情報としては無偏光（偏光度がゼロ）として情報出力される。即ち、偏光子アレイを通過する前の光の偏光特性の情報と異なる結果が偏光成分画像情報として出力されることとなる。   FIGS. 16C and 16D show a state where light having different polarization characteristics is incident on the same image sensor. FIG. 16C shows an example in which non-polarized light is incident on the position A and S-polarized light is incident on the position B. Here, the intensity of the non-polarized light before passing through the polarizer array is twice the intensity of the S-polarized light. Although the S-polarized light is incident on the position B in this way, the pixel values at the position A and the position B are equal as shown in FIG. Information is output as (polarization degree is zero). That is, a result different from the polarization characteristic information of the light before passing through the polarizer array is output as polarization component image information.

ここでは、異なる偏光特性の光が入射しているにも関わらず、画素値の分布が全く同じ形を示すことが重要である。このように、撮像素子から出力される各画素の画素値が同一の場合は、後段の偏光成分画像情報を得る信号処理において、元々の入射光が図１６（ａ）に示すものであったのか、図１６（ｃ）に示すものであったのかを区別することができない。   Here, it is important that the distribution of pixel values shows exactly the same shape even though light having different polarization characteristics is incident. As described above, when the pixel values of the pixels output from the image sensor are the same, whether the original incident light is as shown in FIG. 16A in the signal processing for obtaining the polarization component image information in the subsequent stage. It cannot be distinguished whether it was what was shown in FIG.16 (c).

そこで、一般的には近傍領域には同じ偏光状態の光が入射する可能性が高いため、図１６（ａ）、（ｃ）の例のどちらかに限定して推測する場合が多い。その結果、偏光状態が切り変わりやすい水平垂直形状などのエッジ部分は偏光成分画像情報の精度が悪くなるといった問題がある。このような現象は、入射光の各成分を異なる位置の画素（受光素子）に入射させるための領域分割型フィルタを備えた撮像装置全般における根本的な問題である。   Therefore, in general, since there is a high possibility that light in the same polarization state is incident on the neighboring region, there are many cases where the estimation is limited to one of the examples in FIGS. As a result, there is a problem in that the accuracy of the polarization component image information is deteriorated at an edge portion such as a horizontal and vertical shape in which the polarization state is easily switched. Such a phenomenon is a fundamental problem in all imaging devices including a region division type filter for causing each component of incident light to enter pixels (light receiving elements) at different positions.

このように、偏光成分画像の画素解像度と被写体の模様の空間周波数との間にずれがあると、偏光成分画像中にモアレが発生する。本実施形態においては、このようなモアレを改善する方法として、光学フィルタ２０５Ａの前段に光学ローパスフィルタとしての偏光分離手段２３０を設けている。   Thus, if there is a deviation between the pixel resolution of the polarization component image and the spatial frequency of the pattern of the subject, moire occurs in the polarization component image. In the present embodiment, as a method for improving such moire, polarization separation means 230 as an optical low-pass filter is provided in front of the optical filter 205A.

図１７は、偏光分離手段２３０と、後段の光学フィルタ２０５Ａの偏光フィルタ層２２３、及び、撮像素子２０６の画素との対応関係を簡略化して示す模式図である。図１７に示す例においては、偏光分離手段２３０は、入射光の水平偏光成分Ｐを直進させるとともに、垂直偏光成分Ｓを水平偏光成分Ｐの直進光路に対して所定のシフト量δだけ光路シフトさせる機能を有している。   FIG. 17 is a schematic diagram showing the correspondence between the polarization separating unit 230, the polarizing filter layer 223 of the optical filter 205A in the subsequent stage, and the pixels of the image sensor 206 in a simplified manner. In the example shown in FIG. 17, the polarization separation unit 230 moves the horizontal polarization component P of the incident light straight and shifts the vertical polarization component S by a predetermined shift amount δ with respect to the straight light path of the horizontal polarization component P. It has a function.

偏光分離手段２３０の材料としては、方解石や水晶を用いた複屈折板を使用できる。シフト量δは、第２の実施形態で述べた偏光フィルタ層２２３のストライプ状のパターンのピッチと一致しているとよい。シフト量δは、上記材料の光学軸の方向と厚みｔにより調整可能である。   As a material of the polarization separating means 230, a birefringent plate using calcite or quartz can be used. The shift amount δ may coincide with the pitch of the stripe pattern of the polarizing filter layer 223 described in the second embodiment. The shift amount δ can be adjusted by the direction of the optical axis and the thickness t of the material.

図１８は、偏光分離手段の有無による偏光度画像の違いを説明するための説明図である。偏光分離手段を有しない撮像装置による撮像結果（図１８（ａ））においては、図中の楕円で囲った部分にモアレが発生している。これに対して、偏光分離手段２３０を有する本実施形態の画像処理システムによる撮像結果（図１８（ｂ））においては、モアレが抑制されていることが分かる。   FIG. 18 is an explanatory diagram for explaining the difference in the polarization degree image depending on the presence / absence of the polarization separation means. In the imaging result (FIG. 18 (a)) obtained by the imaging apparatus that does not have the polarization separation means, moire is generated in a portion surrounded by an ellipse in the figure. On the other hand, it can be seen that moire is suppressed in the imaging result (FIG. 18B) obtained by the image processing system of the present embodiment having the polarization separation means 230.

また、偏光分離手段２３０は、偏光フィルタ層２２３の偏光子が形成された下部領域２１１（図４参照）のみに設けられてもよいし、有効撮像領域全体に設けられてもよい。しかしながら、偏光分離手段２３０の厚みｔは１ｍｍ程度であるため、偏光分離手段２３０が偏光フィルタ層２２３の偏光子が形成された下部領域２１１のみに配置された場合には、上部領域２１２と下部領域２１１とで画像のピント位置がずれる問題がある。従って、偏光フィルタ層２２３は有効撮像領域全域を覆うように形成されることが望ましい。この場合には、偏光分離手段２３０と偏光フィルタ層２２３との位置調整に高い精度が要求されないなどの効果も得られる。   Further, the polarization separation unit 230 may be provided only in the lower region 211 (see FIG. 4) where the polarizer of the polarization filter layer 223 is formed, or may be provided in the entire effective imaging region. However, since the thickness t of the polarization separation unit 230 is about 1 mm, when the polarization separation unit 230 is disposed only in the lower region 211 where the polarizer of the polarization filter layer 223 is formed, the upper region 212 and the lower region are arranged. 211, there is a problem that the focus position of the image is shifted. Therefore, the polarizing filter layer 223 is desirably formed so as to cover the entire effective imaging region. In this case, it is possible to obtain an effect such that high accuracy is not required for position adjustment between the polarization separation unit 230 and the polarization filter layer 223.

なお、上述のように、偏光分離手段２３０を撮像レンズ２０４と光学フィルタ２０５Ａとの間に配置するのではなく、基板２２０に偏光分離手段２３０の機能を持たせてもよい。即ち、基板２２０は、入射光を水平偏光成分Ｐと垂直偏光成分Ｓに分離し、水平偏光成分Ｐ及び垂直偏光成分Ｓのいずれか一方を直進させるとともに、他方を所定のシフト量だけ光路シフトさせる複屈折材料からなっていてもよい。また、上記所定のシフト量は、ストライプ状のパターンのピッチに対応している。   As described above, the polarization separation unit 230 may not be disposed between the imaging lens 204 and the optical filter 205A, but the substrate 220 may have the function of the polarization separation unit 230. That is, the substrate 220 separates the incident light into the horizontal polarization component P and the vertical polarization component S, makes one of the horizontal polarization component P and the vertical polarization component S go straight, and shifts the other optical path by a predetermined shift amount. It may be made of a birefringent material. The predetermined shift amount corresponds to the pitch of the stripe pattern.

このように、基板２２０に偏光分離機能を持たせることにより、別途偏光分離手段２３０を備える構成と比較して、材料低減を図ることができる。   As described above, by providing the substrate 220 with the polarization separation function, the material can be reduced as compared with the configuration in which the polarization separation unit 230 is separately provided.

以上説明したように、本実施形態の画像処理システム及びそれを備えた車両は、偏光分離機能を有することにより、偏光状態が切り変わりやすい水平垂直形状などのエッジ部分においても偏光成分画像情報の検出精度を向上させることができる。   As described above, the image processing system according to the present embodiment and the vehicle equipped with the image processing system have the polarization separation function, so that the polarization component image information can be detected even in edge portions such as horizontal and vertical shapes in which the polarization state easily changes. Accuracy can be improved.

（第４の実施形態）
本発明に係る画像処理システム及びそれを備えた車両の第４の実施形態を図面を参照しながら説明する。なお、既に説明した実施形態と同様の構成及び動作については適宜説明を省略する。 (Fourth embodiment)
An image processing system according to a fourth embodiment of the present invention and a vehicle including the image processing system will be described with reference to the drawings. In addition, description is abbreviate | omitted suitably about the structure and operation | movement similar to embodiment already demonstrated.

第１〜３の実施形態では、偏光フィルタ層が路面を撮像する領域に形成された場合について説明してきたが、これに限定されるものではなく、偏光フィルタ層は標識検出を行う領域に形成されていてもよい。   In the first to third embodiments, the case where the polarizing filter layer is formed in the region for imaging the road surface has been described. However, the present invention is not limited to this, and the polarizing filter layer is formed in the region where the sign detection is performed. It may be.

図１９は、光学フィルタの構造の他の例を示す光透過方向に沿った断面模式図である。また、図２０は、本実施形態における光学フィルタ２０５Ｂをセンサ基板２０７側から見た正面模式図である。   FIG. 19 is a schematic cross-sectional view along the light transmission direction showing another example of the structure of the optical filter. FIG. 20 is a schematic front view of the optical filter 205B in this embodiment as viewed from the sensor substrate 207 side.

即ち、図１９及び２０に示すように、光学フィルタ２０５Ｂは、上部領域２１２（図４参照）に配置された偏光フィルタ層２２５（第２の偏光フィルタ層）をさらに有する。光学フィルタ２０５Ｂへの入射光のうち、偏光フィルタ層２２３を透過した光は、撮像素子２０６の下部領域２１１に入射する。一方、光学フィルタ２０５Ｂへの入射光のうち、偏光フィルタ層２２５を透過した光は、撮像素子２０６の上部領域２１２に入射する。   That is, as shown in FIGS. 19 and 20, the optical filter 205B further includes a polarizing filter layer 225 (second polarizing filter layer) disposed in the upper region 212 (see FIG. 4). Of the light incident on the optical filter 205 </ b> B, the light transmitted through the polarization filter layer 223 is incident on the lower region 211 of the image sensor 206. On the other hand, out of the incident light to the optical filter 205 </ b> B, the light transmitted through the polarizing filter layer 225 enters the upper region 212 of the image sensor 206.

図２１は、光学フィルタ２０５Ｂの偏光フィルタ層２２５と、撮像素子２０６の画素との対応を例示する模式図である。即ち、図２１は、入射光の水平偏光成分Ｐのみを撮像素子２０６の各画素に入射させるための偏光子が偏光フィルタ層２２５の全体に形成された例を示している。   FIG. 21 is a schematic view illustrating the correspondence between the polarization filter layer 225 of the optical filter 205B and the pixels of the image sensor 206. That is, FIG. 21 shows an example in which a polarizer for making only the horizontal polarization component P of incident light enter each pixel of the image sensor 206 is formed on the entire polarizing filter layer 225.

一般に、撮像装置を車両内に設置して車両外の画像を撮像しようとする場合、ダッシュボードやボンネットなどで反射された不要光が撮像画像データ中に重畳される場合がある。これらはノイズ光として、本来の標識検出などの認識率を低減させる要因となりうるが、このような不要光の偏光成分の大部分はＳ偏光成分である。従って、Ｓ偏光成分を抑制することでこれらの不要光を軽減することができる。   In general, when an imaging device is installed in a vehicle and an image outside the vehicle is to be captured, unnecessary light reflected by a dashboard or a hood may be superimposed on the captured image data. These may be noise light and cause a reduction in the recognition rate of original label detection, etc., but most of the polarization component of such unnecessary light is the S polarization component. Therefore, these unnecessary lights can be reduced by suppressing the S polarization component.

この点を考慮して、本実施形態の画像処理システム及びそれを備えた車両は、偏光フィルタ層２２５として、入射光の水平偏光成分Ｐのみを透過させる偏光子領域を形成しているため、これらの不要光の影響を受けずに標識検出を行うことができる。   In consideration of this point, the image processing system of this embodiment and the vehicle including the same form a polarizer region that transmits only the horizontal polarization component P of incident light as the polarizing filter layer 225. The label can be detected without being affected by unnecessary light.

なお、図１９に示すように、２つの偏光フィルタ層２２３、２２５が有効撮像領域全体に形成されることにより、充填材２２４の平坦性をより出しやすくなる。また、充填材２２４を介さずに２つの偏光フィルタ層２２３、２２５を直接撮像素子に接着することも可能である。つまり、偏光フィルタ層が下部領域２１１のみに形成されている場合（第１〜３の実施形態）は、充填材２２４なしには平行度を保ちながらの光学フィルタ２０５Ａと撮像素子２０６との接着は困難であったが、偏光フィルタ層が有効撮像領域全体に設けられた本実施形態の構成であれば、充填材２２４がなくても平行度を保ちながらの光学フィルタ２０５Ｂと撮像素子２０６との接着が可能となり、充填材２２４を塗布する工程が省ける。   As shown in FIG. 19, the two polarizing filter layers 223 and 225 are formed over the entire effective imaging region, so that the flatness of the filler 224 can be more easily obtained. It is also possible to directly bond the two polarizing filter layers 223 and 225 to the image sensor without using the filler 224. That is, when the polarizing filter layer is formed only in the lower region 211 (first to third embodiments), the optical filter 205A and the image sensor 206 are bonded while maintaining parallelism without the filler 224. Although it was difficult, with the configuration of the present embodiment in which the polarizing filter layer is provided in the entire effective imaging region, the optical filter 205B and the imaging element 206 can be bonded while maintaining parallelism even without the filler 224. And the step of applying the filler 224 can be omitted.

（第５の実施形態）
本発明に係る画像処理システム及びそれを備えた車両の第５の実施形態を図面を参照しながら説明する。なお、既に説明した実施形態と同様の構成及び動作については適宜説明を省略する。 (Fifth embodiment)
An image processing system according to a fifth embodiment of the present invention and a vehicle including the image processing system will be described with reference to the drawings. In addition, description is abbreviate | omitted suitably about the structure and operation | movement similar to embodiment already demonstrated.

第１〜４の実施形態では、撮像素子がいわゆるモノクロセンサである場合について説明してきたが、これに限定されるものではなく、撮像素子はカラーセンサであってもよい。また、本実施形態では、光学フィルタにおける分光フィルタ層の他の構成例を示す。   In the first to fourth embodiments, the case where the imaging element is a so-called monochrome sensor has been described. However, the present invention is not limited to this, and the imaging element may be a color sensor. In this embodiment, another configuration example of the spectral filter layer in the optical filter is shown.

図２２は、撮像素子及び光学フィルタの構造の他の例を示す光透過方向に沿った断面模式図である。図２３は、本実施形態における光学フィルタ２０５Ｃをセンサ基板２０７側から見た正面模式図である。   FIG. 22 is a schematic cross-sectional view along the light transmission direction showing another example of the structure of the imaging element and the optical filter. FIG. 23 is a schematic front view of the optical filter 205C according to this embodiment as viewed from the sensor substrate 207 side.

本実施形態における撮像素子２０６'は、２次元配列された複数の画素からなる画素アレイ２０６ａの表面にカラーフィルタ２０６ｂが形成されたカラーセンサである。カラーフィルタ２０６ｂは、赤色波長帯域（λ＝５５０〜６５０ｎｍ）の光を主に透過させるフィルタと、緑色波長帯域（λ＝５００〜５５０ｎｍ）の光を主に透過させるフィルタと、青色波長帯域（λ＝４５０〜５００ｎｍ）の光を主に透過させるフィルタが、画素アレイ２０６ａの各画素に対応して配置されたベイヤー配列の構成を有している。   The image sensor 206 ′ in the present embodiment is a color sensor in which a color filter 206b is formed on the surface of a pixel array 206a composed of a plurality of pixels that are two-dimensionally arranged. The color filter 206b includes a filter that mainly transmits light in the red wavelength band (λ = 550 to 650 nm), a filter that mainly transmits light in the green wavelength band (λ = 500 to 550 nm), and a blue wavelength band (λ (= 450 to 500 nm) has a Bayer array configuration in which the filter that mainly transmits light is disposed corresponding to each pixel of the pixel array 206a.

図２４は、光学フィルタ２０５Ｃの偏光フィルタ層２２３と、本実施形態における撮像素子２０６'の画素との対応を例示する模式図である。以降では、赤色波長帯域用のフィルタに対応する撮像素子２０６'の画素をＲ画素、緑色波長帯域用のフィルタに対応する撮像素子２０６'の画素をＧ画素、青色波長帯域用のフィルタに対応する撮像素子２０６'の画素をＢ画素と記す。縦横に隣接する４画素（Ｒ画素１つ、Ｇ画素２つ、Ｂ画素１つ）は１つの画素グループを形成している。   FIG. 24 is a schematic view illustrating the correspondence between the polarization filter layer 223 of the optical filter 205C and the pixels of the image sensor 206 ′ in the present embodiment. Hereinafter, the pixel of the image sensor 206 ′ corresponding to the filter for the red wavelength band corresponds to the R pixel, the pixel of the image sensor 206 ′ corresponding to the filter for the green wavelength band corresponds to the G pixel, and the filter for the blue wavelength band. A pixel of the image sensor 206 ′ is referred to as a B pixel. Four pixels (one R pixel, two G pixels, and one B pixel) adjacent vertically and horizontally form one pixel group.

偏光フィルタ層２２３には、各画素グループに含まれる２つのＧ画素の一方に入射光の水平偏光成分Ｐを入射させるための偏光子、及び、２つのＧ画素の他方に入射光の垂直偏光成分Ｓを入射させるための偏光子が形成されているとよい。例えば、図２４に示したようなストライプ状の偏光子パターンを用いればよい。   The polarizing filter layer 223 includes a polarizer for causing the horizontal polarization component P of incident light to enter one of the two G pixels included in each pixel group, and a vertical polarization component of incident light to the other of the two G pixels. A polarizer for entering S may be formed. For example, a striped polarizer pattern as shown in FIG. 24 may be used.

光学フィルタ２０５Ｃは、図３等に示した光学フィルタ２０５Ａの構成に加えて、基板２２０の撮像素子２０６'側の面における下部領域２１１に、偏光フィルタ層２２３及び充填材２２４を介して形成され、波長λ３〜λ４の範囲の波長成分の光を選択的に透過させる分光フィルタ層２２２（第２の分光フィルタ層）を有し、分光フィルタ層２２２の撮像素子２０６'側の面が撮像素子２０６'に近接配置されてなる。   In addition to the configuration of the optical filter 205A illustrated in FIG. 3 and the like, the optical filter 205C is formed in the lower region 211 on the image sensor 206 ′ side surface of the substrate 220 via the polarizing filter layer 223 and the filler 224. A spectral filter layer 222 (second spectral filter layer) that selectively transmits light having a wavelength component in the wavelength range of λ3 to λ4 is included, and the surface of the spectral filter layer 222 on the image sensor 206 ′ side is the image sensor 206 ′. It is arranged close to.

つまり、光学フィルタ２０５Ｃは、分光フィルタ層２２１と分光フィルタ層２２２とが光透過方向に重ね合わせられた構造となっている。   That is, the optical filter 205C has a structure in which the spectral filter layer 221 and the spectral filter layer 222 are overlapped in the light transmission direction.

ここで、カラーセンサに用いられるカラーフィルタの分光特性は、一般に図２５のような特性を示す。図２５においては、Ｒ画素の分光特性は実線、Ｇ画素の分光特性は破線、Ｂ画素の分光特性は一点鎖線で示されている。即ち、８００ｎｍよりも短波長に関しては、Ｒ画素、Ｇ画素、及びＢ画素の各画素で分光特性が異なる。   Here, the spectral characteristics of the color filter used in the color sensor generally show characteristics as shown in FIG. In FIG. 25, the spectral characteristic of the R pixel is indicated by a solid line, the spectral characteristic of the G pixel is indicated by a broken line, and the spectral characteristic of the B pixel is indicated by a one-dot chain line. That is, with respect to wavelengths shorter than 800 nm, the spectral characteristics of the R pixel, G pixel, and B pixel are different.

これに対して、上記の光学フィルタ２０５Ｃが有する分光フィルタ層２２２の分光特性は図２６に示すようなものであるとよい。即ち、分光フィルタ層２２２は、例えば波長範囲９４０ｎｍ〜１０００ｎｍの近赤外光領域を透過帯域とする（波長９４０ｎｍよりも短波長側の光をカットする）分光特性を有するものであるとよい。   On the other hand, the spectral characteristics of the spectral filter layer 222 included in the optical filter 205C may be as shown in FIG. That is, the spectral filter layer 222 may have spectral characteristics having, for example, a near-infrared light region in the wavelength range of 940 nm to 1000 nm as a transmission band (cutting light on a shorter wavelength side than the wavelength 940 nm).

波長範囲９４０ｎｍ〜１０００ｎｍの近赤外光領域は、図２５に示したカラーフィルタの分光特性において３色全ての画素（Ｒ画素、Ｇ画素、及びＢ画素）の分光特性がほぼ一致する波長帯である。   The near-infrared light region in the wavelength range of 940 nm to 1000 nm is a wavelength band in which the spectral characteristics of all three colors of pixels (R pixel, G pixel, and B pixel) in the spectral characteristics of the color filter shown in FIG. is there.

従って、本実施形態の画像処理システム及びそれを備えた車両は、分光フィルタ層２２２が形成された領域において、輝度情報の差異がほとんどない３色の画素を用いて、安定的かつ解像度の高い偏光度画像を生成することができる。さらに、本実施形態では、カラーセンサを用いることで、赤色や黄色や青色などの各種情報が含まれた標識の認識精度を上げることが可能となる。   Therefore, the image processing system according to the present embodiment and the vehicle including the same use the pixels of three colors with almost no difference in luminance information in the region where the spectral filter layer 222 is formed, and stably and highly polarized light. A degree image can be generated. Furthermore, in this embodiment, it is possible to increase the recognition accuracy of the sign including various information such as red, yellow, and blue by using the color sensor.

次に、分光フィルタ層２２２の構造や作製方法について説明する。分光フィルタ層２２２は、分光フィルタ層２２１と同様に、高屈折率の薄膜と低屈折率の薄膜とを交互に多層重ねた多層膜構造として作製可能である。   Next, the structure and manufacturing method of the spectral filter layer 222 will be described. Similar to the spectral filter layer 221, the spectral filter layer 222 can be manufactured as a multilayer film structure in which high refractive index thin films and low refractive index thin films are alternately stacked.

本実施形態においては、撮像画像データの使用波長範囲が略可視光波長帯から赤外光波長帯であるため、当該使用波長範囲に感度を有する撮像素子２０６'を採用している。分光フィルタ層２２２は、赤外光の一部のみを透過させればよいので、分光フィルタ層２２２の多層膜部分の透過波長範囲を例えば９００ｎｍ以上に設定し、それ以外の波長帯は反射するカットフィルタ（図２６参照）を形成すればよい。   In the present embodiment, since the use wavelength range of the captured image data is substantially from the visible light wavelength band to the infrared light wavelength band, the image sensor 206 ′ having sensitivity in the use wavelength range is employed. Since the spectral filter layer 222 only needs to transmit a part of infrared light, the transmission wavelength range of the multilayer film portion of the spectral filter layer 222 is set to, for example, 900 nm or more, and other wavelength bands are reflected. A filter (see FIG. 26) may be formed.

このようなカットフィルタは、光学フィルタ２０５Ｃの積層方向下側から順に、「基板／（０．１２５Ｌ ０．２５Ｈ ０．１２５Ｌ）ｐ／媒質Ａ」のような構成の多層膜を作製することで得られる。ここでいう「基板」は、上述した充填材２２４を意味する。また、「０．１２５Ｌ」は、低屈折率材料（例えばＳｉＯ2）の膜厚標記方法でｎｄ／λを１Ｌとしたものであり、従って「０．１２５Ｌ」の膜は、１／８波長の光路長となるような膜厚をもつ低屈折率材料の膜である。なお、「ｎ」は屈折率であり、「ｄ」は厚みであり、「λ」はカットオフ波長である。 Such a cut filter is obtained by forming a multilayer film having a configuration of “substrate / (0.125L 0.25H 0.125L) p / medium A” in order from the lower side in the stacking direction of the optical filter 205C. It is done. The “substrate” here means the filler 224 described above. In addition, “0.125L” is obtained by setting nd / λ to 1L in the film thickness marking method of a low refractive index material (for example, SiO 2 ). Therefore, the film of “0.125L” has 1/8 wavelength. It is a film of a low refractive index material having a film thickness that becomes an optical path length. “N” is a refractive index, “d” is a thickness, and “λ” is a cutoff wavelength.

同様に、「０．２５Ｈ」は、高屈折率材料（例えばＴｉＯ2）の膜厚標記方法でｎｄ／λを１Ｈとしたものであり、従って「０．２５Ｈ」の膜は、１／４波長の光路長となるような膜厚をもつ高屈折率材料の膜である。また、「ｐ」は、かっこ内に示す膜の組み合わせを繰り返す（積層する）回数を示し、「ｐ」が多いほどリップルなどの影響を抑制できる。また、媒質Ａは、空気あるいは撮像素子２０６'との密着接合のための樹脂や接着剤を意図するものである。 Similarly, “0.25H” is a film thickness marking method of a high refractive index material (for example, TiO 2 ) in which nd / λ is 1H. Therefore, a film of “0.25H” has a quarter wavelength. It is a film of a high refractive index material having a film thickness such that the optical path length becomes. “P” indicates the number of times the film combination shown in parentheses is repeated (laminated), and the more “p”, the more the influence of ripple and the like can be suppressed. The medium A is intended for resin or adhesive for tight bonding with air or the image sensor 206 ′.

また、分光フィルタ層２２２において、赤外光波長帯のみを透過する多層膜構造としては、透過波長範囲が９４０〜９７０ｎｍの範囲であるバンドパスフィルタであってもよい。このようなバンドパスフィルタは、例えば、「基板／（０．１２５Ｌ ０．５Ｍ ０．１２５Ｌ）ｐ（０．１２５Ｌ ０．５Ｈ ０．１２５Ｌ）ｑ（０．１２５Ｌ ０．５Ｍ ０．１２５Ｌ）ｒ／媒質Ａ」のような構成の多層膜を作製することで得られる。なお、高屈折率材料として二酸化チタン（ＴｉＯ2）、低屈折率材料として二酸化珪素（ＳｉＯ2）等を使用すれば、対候性の高い分光フィルタ層２２２を実現できる。 Further, the spectral filter layer 222 may be a band-pass filter having a transmission wavelength range of 940 to 970 nm as a multilayer film structure that transmits only the infrared wavelength band. Such a band-pass filter is, for example, “substrate / (0.125L 0.5M 0.125L) p (0.125L 0.5H 0.125L) q (0.125L 0.5M 0.125L) r / It can be obtained by producing a multilayer film having a configuration such as “medium A”. If titanium dioxide (TiO 2 ) is used as the high refractive index material and silicon dioxide (SiO 2 ) is used as the low refractive index material, a highly weather resistant spectral filter layer 222 can be realized.

分光フィルタ層２２２の作製方法の一例について説明すると、まず、基板２２０及び偏光フィルタ層２２３上に形成された充填材２２４上に、上述した多層膜を形成する。このような多層膜を形成する方法としては、周知の蒸着等の方法を用いればよい。続いて、非分光領域（例えば、撮像素子２０６'の上側領域）に対応する箇所について多層膜を除去する。   An example of a method for manufacturing the spectral filter layer 222 will be described. First, the multilayer film described above is formed on the filler 224 formed on the substrate 220 and the polarizing filter layer 223. As a method for forming such a multilayer film, a known method such as vapor deposition may be used. Subsequently, the multilayer film is removed from a portion corresponding to the non-spectral region (for example, the upper region of the image sensor 206 ′).

この除去方法としては、一般的なリフトオフ加工法を利用すればよい。リフトオフ加工法では、目的とするパターンとは逆のパターンを、金属やフォトレジスト等で事前に充填材２２４の層上に形成しておき、その上に多層膜を形成してから、非分光領域に対応する箇所の多層膜を当該金属やフォトレジストと一緒に除去する。   As this removal method, a general lift-off processing method may be used. In the lift-off processing method, a pattern opposite to the target pattern is formed in advance on a layer of the filler 224 with a metal, a photoresist, or the like, a multilayer film is formed thereon, and then a non-spectral region. The multi-layer film corresponding to the above is removed together with the metal and photoresist.

本実施形態では、分光フィルタ層２２２として多層膜構造を採用しているので、分光特性の設定自由度が高いという利点がある。   In this embodiment, since the multilayer structure is adopted as the spectral filter layer 222, there is an advantage that the degree of freedom in setting the spectral characteristics is high.

なお、本実施形態では、充填材２２４の上に積層される分光フィルタ層２２２については充填材２２４のような保護層を設けていない。これは、本発明者らの実験によれば、撮像素子２０６'に分光フィルタ層２２２が接触しても、撮像画像に影響を及ぼすような損傷が発生しなかったため、低コスト化を優先して保護層を省略したものである。   In the present embodiment, the spectral filter layer 222 laminated on the filler 224 is not provided with a protective layer like the filler 224. According to the experiments by the present inventors, even when the spectral filter layer 222 is in contact with the image sensor 206 ′, damage that affects the captured image did not occur. The protective layer is omitted.

また、偏光フィルタ層２２３の金属ワイヤ（凸部）の高さは一般に使用波長の半分以下と低い一方、分光フィルタ層２２２の高さは、高さ（厚み）を増すほど遮断波長での透過率特性を急峻にできるため、使用波長と同等から数倍程度の高さとしている。   The height of the metal wire (convex portion) of the polarizing filter layer 223 is generally as low as half or less of the wavelength used, while the height of the spectral filter layer 222 increases the transmittance at the cutoff wavelength as the height (thickness) increases. Since the characteristics can be sharpened, the height is about the same as the used wavelength to several times higher.

充填材２２４の厚みが増すほど、その上面の平坦性を確保することが困難になり、光学フィルタ２０５Ｃの特性に影響を与えるので、充填材２２４を厚くするにも限度がある。そのため、本実施形態では、分光フィルタ層２２２を充填材で覆っていない。   As the thickness of the filler 224 increases, it becomes more difficult to ensure the flatness of the upper surface, which affects the characteristics of the optical filter 205C, so there is a limit to increasing the thickness of the filler 224. Therefore, in the present embodiment, the spectral filter layer 222 is not covered with a filler.

即ち、本実施形態では、偏光フィルタ層２２３を充填材２２４で覆った後に分光フィルタ層２２２を形成しているため、充填材２２４の層を安定的に形成できる。また、充填材２２４の層の上面に形成される分光フィルタ層２２２もその特性を最適に形成することが可能である。   That is, in this embodiment, since the spectral filter layer 222 is formed after the polarizing filter layer 223 is covered with the filler 224, the layer of the filler 224 can be stably formed. In addition, the spectral filter layer 222 formed on the upper surface of the layer of the filler 224 can be optimally formed.

（第６の実施形態）
本発明に係る画像処理システム及びそれを備えた車両の第６の実施形態を図面を参照しながら説明する。なお、既に説明した実施形態と同様の構成及び動作については適宜説明を省略する。本実施形態では、光学フィルタにおける分光フィルタ層の他の構成例を示す。 (Sixth embodiment)
An image processing system according to a sixth embodiment of the present invention and a vehicle including the image processing system will be described with reference to the drawings. In addition, description is abbreviate | omitted suitably about the structure and operation | movement similar to embodiment already demonstrated. In the present embodiment, another configuration example of the spectral filter layer in the optical filter is shown.

図２７は、光学フィルタの構造の他の例を示す光透過方向に沿った断面模式図である。また、図２８は、本実施形態における光学フィルタ２０５Ｄをセンサ基板２０７側から見た正面模式図である。   FIG. 27 is a schematic cross-sectional view along the light transmission direction showing another example of the structure of the optical filter. FIG. 28 is a schematic front view of the optical filter 205D in the present embodiment as viewed from the sensor substrate 207 side.

光学フィルタ２０５Ｄは、第５の実施形態の図２２等に示した光学フィルタ２０５Ｃの構成に加えて、基板２２０の撮像素子２０６（または２０６'）側の面における有効撮像領域外に、充填材２２４を介して形成された分光フィルタ層２２６（第３の分光フィルタ層）を有し、分光フィルタ層２２２及び分光フィルタ層２２６の撮像素子２０６（または２０６'）側の面が撮像素子２０６（または２０６'）に近接配置されてなる。   In addition to the configuration of the optical filter 205C shown in FIG. 22 and the like of the fifth embodiment, the optical filter 205D has a filler 224 outside the effective imaging region on the surface of the substrate 220 on the imaging element 206 (or 206 ′) side. The surface of the spectral filter layer 222 and the spectral filter layer 226 on the image sensor 206 (or 206 ′) side is the image sensor 206 (or 206). ') Be placed close to.

この構成により、本実施形態の画像処理システム及びそれを備えた車両は、光学フィルタと撮像素子との接合が平行かつ安定的に行えるという効果を有する。   With this configuration, the image processing system of this embodiment and the vehicle including the same have an effect that the optical filter and the image sensor can be joined in parallel and stably.

（第７の実施形態）
本発明に係る画像処理システム及びそれを備えた車両の第７の実施形態を図面を参照しながら説明する。なお、既に説明した実施形態と同様の構成及び動作については適宜説明を省略する。 (Seventh embodiment)
An image processing system according to a seventh embodiment of the present invention and a vehicle including the image processing system will be described with reference to the drawings. In addition, description is abbreviate | omitted suitably about the structure and operation | movement similar to embodiment already demonstrated.

本実施形態では、ヘッドランプ１０４（図１参照）として、ハロゲンランプや近赤外帯に波長帯域を持つ発光ダイオード（ＬＥＤ）、特に分光フィルタ層２２２の透過帯に発光波長を有するものを用いる。これにより、夜間においても偏光フィルタ層２２３および分光フィルタ層２２２を通過した画像を撮像することにより路面状態を検出することができる。   In the present embodiment, a headlamp 104 (see FIG. 1) is a halogen lamp or a light emitting diode (LED) having a wavelength band in the near infrared band, particularly one having a light emission wavelength in the transmission band of the spectral filter layer 222. Thereby, the road surface state can be detected by capturing an image that has passed through the polarizing filter layer 223 and the spectral filter layer 222 even at night.

なお、光源はヘッドランプ１０４に限定されるものではなく、例えば、図２９に示すように、撮像ユニット１０１の近傍に、発光ダイオード（ＬＥＤ）や半導体レーザ（ＬＤ）などの路面照射用の光源２０２が設置されてもよい。図２９は、車両１００内に固定されるカバー２１０内に、撮像ユニット１０１と、車両１００のフロントガラス１０５の内壁面１０５ａ側からフロントガラス１０５に向けて光を照射する光源２０２が収容された例を示している。   Note that the light source is not limited to the headlamp 104. For example, as shown in FIG. May be installed. FIG. 29 shows an example in which a light source 202 that irradiates light toward the windshield 105 from the inner wall surface 105 a side of the windshield 105 of the vehicle 100 is housed in a cover 210 fixed in the vehicle 100. Is shown.

ヘッドランプ１０４の投光波長及び光源２０２の発光波長としては、その中心波長およびバンド幅が、分光フィルタ層２２２の波長範囲λ３〜λ４に含まれる波長を選択してやればよい。即ち、例えば９５０ｎｍ±５ｎｍの半導体レーザなどを用いればよい。一般に、半導体レーザは温度によって発光波長が長波長側にシフトする特性を有するが、図２６に示したようなカットフィルタを用いれば、発光波長の変動もカバーすることが可能である。   As the light projection wavelength of the headlamp 104 and the light emission wavelength of the light source 202, the wavelength whose center wavelength and bandwidth are included in the wavelength range λ3 to λ4 of the spectral filter layer 222 may be selected. That is, for example, a semiconductor laser of 950 nm ± 5 nm may be used. In general, the semiconductor laser has a characteristic that the emission wavelength shifts to the longer wavelength side depending on the temperature. However, if a cut filter as shown in FIG. 26 is used, it is possible to cover the fluctuation of the emission wavelength.

ところで、特許文献３には、レーザ光を路面に照射するレーザ装置と、そのレーザ光の路面からの反射光を撮像するカメラと、カメラの前段に配置され、偏光面を回転可能な偏光板と、を備え、複数の偏光情報から路面状態を検出するシステムが開示されている。   By the way, Patent Document 3 discloses a laser device that irradiates a road surface with laser light, a camera that captures reflected light from the road surface of the laser light, and a polarizing plate that is disposed in the front stage of the camera and that can rotate the polarization plane. , And a system for detecting a road surface state from a plurality of pieces of polarization information is disclosed.

これに対して、本発明は、第５の実施形態における光学フィルタ２０５Ｃを用いることにより、偏光板を回転させることなくリアルタイムに水平偏光成分画像及び垂直偏光成分画像を取得できるため、車両１００を走行させながらの路面状態検出が可能となる。   On the other hand, since the present invention can acquire the horizontal polarization component image and the vertical polarization component image in real time without rotating the polarizing plate by using the optical filter 205C in the fifth embodiment, the vehicle 100 travels. This makes it possible to detect the road surface condition.

また、偏光フィルタ層２２３に斜め４５度方向の偏光子（不図示）も設けることにより、特許文献３に開示されたような３つの偏光状態（偏光角０度、４５度、９０度）の情報も検出することが可能となる。この場合には、画像解析ユニット１０２は、水平偏光成分画像及び垂直偏光成分画像に加えて偏光角４５度の偏光成分画像を生成し、これら３種の画像に基づいて路面状態を判別することになる。   Further, by providing a polarizer (not shown) having a 45-degree oblique direction on the polarizing filter layer 223, information on three polarization states (polarization angles 0, 45, and 90 degrees) as disclosed in Patent Document 3 is provided. Can also be detected. In this case, the image analysis unit 102 generates a polarization component image with a polarization angle of 45 degrees in addition to the horizontal polarization component image and the vertical polarization component image, and determines the road surface state based on these three types of images. Become.

なお、光学フィルタが分光フィルタ層２２２を有しているとしても、分光フィルタ層２２２のバンドパス領域を透過する外乱光も存在するため、外乱光の影響を完全に除去することはできない。例えば、夜間は対向車のヘッドランプに含まれる赤外波長成分が外乱光として撮像ユニット１０１に入ることがある。   Even if the optical filter has the spectral filter layer 222, disturbance light that passes through the bandpass region of the spectral filter layer 222 also exists, and thus the influence of the disturbance light cannot be completely removed. For example, an infrared wavelength component included in the headlamp of an oncoming vehicle may enter the imaging unit 101 as disturbance light at night.

本実施形態においては、このような誤検知を防ぐために、画像解析ユニット１０２が以下に述べる画像処理と光源の制御を行う。画像解析ユニット１０２は、ヘッドランプ１０４（または光源２０２）と電気的に接続されており、ヘッドランプ１０４（または光源２０２）の点灯を撮像ユニット１０１の露光のタイミングと同期させるように制御する。   In the present embodiment, in order to prevent such erroneous detection, the image analysis unit 102 performs image processing and light source control described below. The image analysis unit 102 is electrically connected to the headlamp 104 (or the light source 202), and controls the lighting of the headlamp 104 (or the light source 202) to be synchronized with the exposure timing of the imaging unit 101.

ここで、路面状態を検出するための画像フレームは最低でも２フレーム使用する。また、標識検出の情報を元に車両１００の制御を行う用途では、上部領域２１２の輝度値に合わせた自動露光制御（ＡＥＣ：Auto Exposure Control）を行うことが一般的であるが、上記の少なくとも２フレームについては路面状態の検出に最適な露光制御を行う。   Here, at least two frames are used as image frames for detecting the road surface condition. Further, in an application in which the vehicle 100 is controlled based on the information of the sign detection, it is common to perform automatic exposure control (AEC: Auto Exposure Control) in accordance with the luminance value of the upper region 212. For the two frames, optimal exposure control is performed for detecting the road surface condition.

例えば、撮像ユニット１０１は、２フレームのうちの第１フレームでは、ヘッドランプ１０４（または光源２０２）が点灯した状態で画像を取り込み、２フレームのうちの第２フレームでは、ヘッドランプ１０４（または光源２０２）が消灯した状態で画像を取り込むように制御される。なお、路面状態検出用の第１フレームの露光のタイミング以外ではヘッドランプ１０４（または光源２０２）は常に消灯させておけば、消費電力を抑えることもできる。   For example, the imaging unit 101 captures an image with the headlamp 104 (or light source 202) turned on in the first frame of the two frames, and the headlamp 104 (or light source) in the second frame of the two frames. 202) is controlled so as to capture an image with the light off. Note that power consumption can be reduced if the headlamp 104 (or the light source 202) is always turned off except at the exposure timing of the first frame for detecting the road surface condition.

ヘッドランプ１０４（または光源２０２）が点灯した状態で撮像されたフレームの輝度値をＹａ、ヘッドランプ１０４（または光源２０２）が消灯した状態で撮像されたフレームの輝度値をＹｂとすると、輝度値Ｙａには路面からの反射光と外乱光が含まれ、輝度値Ｙｂには外乱光のみが含まれる。ここで、画像解析ユニット１０２は、路面状態検出用の下部領域２１１における各画素について、下記の式（７）により、外乱光の影響を取り除いた輝度値Ｙｒを算出する。
Ｙｒ＝Ｙａ−Ｙｂ （７） Assuming that the luminance value of a frame imaged with the headlamp 104 (or light source 202) turned on is Ya, and the luminance value of a frame imaged with the headlamp 104 (or light source 202) turned off, the luminance value is Yb. Ya includes the reflected light and disturbance light from the road surface, and the luminance value Yb includes only the disturbance light. Here, the image analysis unit 102 calculates the luminance value Yr from which the influence of disturbance light is removed by the following equation (7) for each pixel in the lower area 211 for detecting the road surface state.
Yr = Ya-Yb (7)

即ち、輝度値Ｙｒで得られる差分画像は、路面からの反射光によって得られた光のみを検知したものになる。また、外乱光が全くない場合には、ヘッドランプ１０４（または光源２０２）が消灯した状態で撮像されたフレームは、下部領域２１１において輝度値がほぼゼロとなる。つまり、光源２０２を点灯させたフレームと差分画像はほぼ同じ画像になる。   That is, the difference image obtained with the luminance value Yr is obtained by detecting only the light obtained by the reflected light from the road surface. In addition, when there is no disturbance light, the luminance value of the frame imaged with the headlamp 104 (or the light source 202) turned off is substantially zero in the lower region 211. That is, the frame in which the light source 202 is turned on and the difference image are almost the same image.

外乱光がある場合でも、差分画像は外乱光がない場合と同じように、路面で反射した光のみが画像として得られる。画像解析ユニット１０２は、この差分画像を基にして路面状態検知の画像処理をすることで、外乱光の影響を排除して路面状態を検知することができる。   Even in the presence of disturbance light, only the light reflected on the road surface is obtained as an image as in the case of no difference light. The image analysis unit 102 can detect the road surface state by eliminating the influence of disturbance light by performing image processing for detecting the road surface state based on the difference image.

なお、光源２０２としては、単一光線を照射するものに限定されるものではなく、複数の発光部を有していてもよい。この複数の発光部は、複数の別個の光源からなっていてもよく、あるいは、単一の光源の出射光を複数本に分割する構成からなっていてもよい。分割方法としては、光源２０２の発光波長程度のピッチを有する回折格子を、光源２０２の出射光路中に配置する方法が挙げられる。これにより、出射光を０次、±１次、・・・の複数本に分割できる。   The light source 202 is not limited to the one that emits a single light beam, and may have a plurality of light emitting units. The plurality of light emitting units may be composed of a plurality of separate light sources, or may be configured to divide light emitted from a single light source into a plurality of light sources. As a dividing method, there is a method in which a diffraction grating having a pitch approximately equal to the emission wavelength of the light source 202 is disposed in the outgoing light path of the light source 202. Thereby, the emitted light can be divided into a plurality of zero-order, ± first-order,...

また、図３０に示すように、ピッチ方向を直交させた２枚の回折格子２３１、２３２を光源２０２の出射光路中に配置する構成であれば、出射光をＮ×Ｎ本に分割することができる。   In addition, as shown in FIG. 30, if the two diffraction gratings 231 and 232 having the orthogonal pitch directions are arranged in the outgoing light path of the light source 202, the outgoing light is divided into N × N lines. Can do.

図３１は、光源２０２から出力される複数の出射光の基準パターン（図３１（ａ））と、それらの出射光が物体（被写体）に照射され、物体からの反射光が撮像ユニット１０１で撮像された場合の撮像パターン（図３１（ｂ））を示す説明図である。   FIG. 31 shows a reference pattern (FIG. 31A) of a plurality of emitted lights output from the light source 202, and the emitted light is applied to an object (subject), and reflected light from the object is imaged by the imaging unit 101. It is explanatory drawing which shows the imaging pattern (FIG.31 (b)) at the time of being carried out.

図３１（ｂ）に示すように、光源２０２からの複数の出射光が物体により反射されると、その物体の位置に対応した箇所の撮像パターンのスポット（黒丸）の間隔が、基準パターンのスポット（白丸）と比較して乱れることが分かる。画像解析ユニット１０２は、このような撮像パターンの基準パターンからのずれを検出することにより、物体の形状情報などを取得することができる。つまり、この構成により、路面上の障害物検知を行うことが可能となる。   As shown in FIG. 31B, when a plurality of light emitted from the light source 202 is reflected by an object, the interval between spots (black circles) of the imaging pattern at a location corresponding to the position of the object is the spot of the reference pattern. It turns out that it is disturbed compared with (white circle). The image analysis unit 102 can acquire object shape information and the like by detecting such a deviation of the imaging pattern from the reference pattern. In other words, this configuration enables obstacle detection on the road surface.

１００ 車両
１０１ 撮像ユニット（撮像手段）
１０２ 画像解析ユニット（画像解析手段）
１０３ ヘッドランプ制御ユニット
１０４ ヘッドランプ
１０５ フロントガラス（透明部材）
１０５ａ 内壁面
１０６ ワイパー制御ユニット
１０７ ワイパー
１０８ 車両走行制御ユニット
１１０ 画像処理システム
２０２ 光源
２０４ 撮像レンズ
２０５、２０５Ａ〜２０５Ｄ 光学フィルタ
２０６、２０６' 撮像素子
２０６ａ 画素アレイ
２０６ｂ カラーフィルタ
２０７ センサ基板
２０８ 信号処理部
２１０ カバー
２１１ 下部領域
２１２ 上部領域
２２０ 基板
２２１ 分光フィルタ層（第１の分光フィルタ層）
２２２ 分光フィルタ層（第２の分光フィルタ層）
２２３ 偏光フィルタ層（第１の偏光フィルタ層）
２２４ 充填材
２２５ 偏光フィルタ層（第２の偏光フィルタ層）
２２６ 分光フィルタ層（第３の分光フィルタ層）
２３０ 偏光分離手段
２３１、２３２ 回折格子 100 Vehicle 101 Imaging unit (imaging means)
102 Image analysis unit (image analysis means)
103 Headlamp control unit 104 Headlamp 105 Windshield (transparent member)
105a Inner wall surface 106 Wiper control unit 107 Wiper 108 Vehicle traveling control unit 110 Image processing system 202 Light source 204 Imaging lens 205, 205A to 205D Optical filter 206, 206 ′ Image sensor 206a Pixel array 206b Color filter 207 Sensor substrate 208 Signal processing unit 210 Cover 211 Lower region 212 Upper region 220 Substrate 221 Spectral filter layer (first spectral filter layer)
222 Spectral filter layer (second spectral filter layer)
223 Polarizing filter layer (first polarizing filter layer)
224 Filler 225 Polarizing filter layer (second polarizing filter layer)
226 Spectral filter layer (third spectral filter layer)
230 Polarization separation means 231 232 Diffraction grating

特許第２７０７４２６号明細書Japanese Patent No. 2707426 特開２００７−８６７２０号公報JP 2007-86720 A 特開２００７−３１６０４９号公報JP 2007-316049 A

Claims (14)

複数の画素からなる画素アレイを有する撮像素子、及び、該撮像素子の前段に配置される光学フィルタを有し、路面を含む車両周辺情報を撮像する撮像手段と、
前記撮像手段の撮像結果を解析する画像解析手段と、を備え、
前記光学フィルタは、
入射光を透過させる基板と、
有効撮像領域の所定領域に配置され、前記入射光の少なくとも水平偏光成分及び垂直偏光成分を含む複数の偏光成分をそれぞれ前記画素アレイの各画素に入射させるための偏光子が形成された第１の偏光フィルタ層と、を有し、
前記画像解析手段は、前記所定領域の各画素の画素値から水平偏光成分画像及び垂直偏光成分画像を生成し、該水平偏光成分画像の各画素の画素値、及び、該垂直偏光成分画像の各画素の画素値の差分に基づいた値にゲイン値を乗じて偏光度画像を生成し、当該偏光度画像に基づいて路面状態を判別するとともに、前記所定領域以外の前記有効撮像領域を透過した前記入射光の撮像結果に基づいて標識認識を行い、
前記有効撮像領域の周辺部の前記ゲイン値が、前記有効撮像領域の中心部の前記ゲイン値に比べて大きいことを特徴とする画像処理システム。 An imaging device having a pixel array composed of a plurality of pixels, and an imaging unit that has an optical filter arranged in a preceding stage of the imaging device and images vehicle periphery information including a road surface;
Image analysis means for analyzing the imaging result of the imaging means,
The optical filter is
A substrate that transmits incident light;
A first polarizer is formed, which is disposed in a predetermined area of the effective imaging area and is configured to cause each of the plurality of polarization components including at least a horizontal polarization component and a vertical polarization component of the incident light to enter each pixel of the pixel array. A polarizing filter layer,
Wherein the image analysis means, said generating a horizontal polarization component image and the vertical polarization component image from the pixel value of each pixel in the predetermined area, the pixel values of the pixels of the horizontal polarization component image, and each of the vertical polarization component image A polarization degree image is generated by multiplying a value based on a difference between pixel values of pixels by a gain value, a road surface state is determined based on the polarization degree image , and before passing through the effective imaging area other than the predetermined area There rows labeled recognition based on the imaging result of the incident light,
The image processing system according to claim 1, wherein the gain value in a peripheral portion of the effective imaging region is larger than the gain value in a central portion of the effective imaging region . 前記第１の偏光フィルタ層は、前記入射光の水平偏光成分を透過させる偏光子と、前記入射光の垂直偏光成分を透過させる偏光子とが、ストライプ状のパターンとして交互に形成されてなることを特徴とする請求項１に記載の画像処理システム。   The first polarizing filter layer is formed by alternately forming a polarizer that transmits a horizontal polarization component of the incident light and a polarizer that transmits a vertical polarization component of the incident light as a stripe pattern. The image processing system according to claim 1. 前記光学フィルタの前段に配置され、前記入射光を水平偏光成分と垂直偏光成分に分離する偏光分離手段をさらに備え、
前記偏光分離手段は、前記水平偏光成分及び垂直偏光成分のいずれか一方を直進させるとともに、他方を所定のシフト量だけ光路シフトさせるものであり、
前記所定のシフト量は、前記ストライプ状のパターンのピッチに対応していることを特徴とする請求項２に記載の画像処理システム。 A polarization separation means arranged in a preceding stage of the optical filter and separating the incident light into a horizontal polarization component and a vertical polarization component;
The polarization separation means is configured to linearly shift one of the horizontal polarization component and the vertical polarization component and shift the other optical path by a predetermined shift amount,
The image processing system according to claim 2, wherein the predetermined shift amount corresponds to a pitch of the stripe pattern. 前記光学フィルタの前記基板が、前記入射光を水平偏光成分と垂直偏光成分に分離し、前記水平偏光成分及び垂直偏光成分のいずれか一方を直進させるとともに、他方を所定のシフト量だけ光路シフトさせる偏光分離機能を有する複屈折材料からなり、
前記所定のシフト量は、前記ストライプ状のパターンのピッチに対応していることを特徴とする請求項２に記載の画像処理システム。 The substrate of the optical filter separates the incident light into a horizontal polarization component and a vertical polarization component, and straightens one of the horizontal polarization component and the vertical polarization component and shifts the other optical path by a predetermined shift amount. Made of a birefringent material having a polarization separation function,
The image processing system according to claim 2, wherein the predetermined shift amount corresponds to a pitch of the stripe pattern. 前記光学フィルタが、前記所定領域以外の前記有効撮像領域に配置され、前記入射光の水平偏光成分のみを前記画素アレイの各画素に入射させるための偏光子が形成された第２の偏光フィルタ層をさらに有することを特徴とする請求項１から請求項４のいずれか一項に記載の画像処理システム。   A second polarizing filter layer in which the optical filter is disposed in the effective imaging region other than the predetermined region, and a polarizer is formed to allow only the horizontally polarized component of the incident light to enter each pixel of the pixel array. The image processing system according to claim 1, further comprising: 前記光学フィルタは、
前記基板の前記撮像素子と反対側の面における前記有効撮像領域の全面に形成され、波長λ１〜λ２、及び、λ３〜λ４（λ１＜λ２＜λ３＜λ４）の範囲の波長成分の光を選択的に透過させる第１の分光フィルタ層をさらに有することを特徴とする請求項１から請求項５のいずれか一項に記載の画像処理システム。 The optical filter is
Selects light having a wavelength component in the range of wavelengths λ1 to λ2 and λ3 to λ4 (λ1 <λ2 <λ3 <λ4) formed on the entire surface of the effective imaging region on the surface of the substrate opposite to the imaging device. The image processing system according to any one of claims 1 to 5, further comprising a first spectral filter layer that transmits light. 前記光学フィルタは、
前記基板の前記撮像素子側の面における前記有効撮像領域の前記所定領域に形成され、波長λ３〜λ４の範囲の波長成分の光を選択的に透過させる第２の分光フィルタ層をさらに有することを特徴とする請求項６に記載の画像処理システム。 The optical filter is
A second spectral filter layer that is formed in the predetermined area of the effective imaging area on the imaging element side surface of the substrate and selectively transmits light having a wavelength component in the wavelength range of λ3 to λ4. The image processing system according to claim 6. 前記撮像手段が前記有効撮像領域の前記所定領域用のフレームを撮像する際の露光量と、前記撮像手段が前記所定領域以外の前記有効撮像領域用のフレームを撮像する際の露光量とが異なることを特徴とする請求項１から請求項７のいずれか一項に記載の画像処理システム。   An exposure amount when the imaging unit images a frame for the predetermined area of the effective imaging region is different from an exposure amount when the imaging unit images a frame for the effective imaging region other than the predetermined area. The image processing system according to claim 1, wherein the image processing system is an image processing system. 前記撮像手段は、被写体に向けて光を照射する１以上の発光部からなる光源をさらに有し、
各前記発光部の発光波長は、前記波長λ３〜λ４の範囲に含まれ、
前記画像解析手段が、前記光源から照射されて前記被写体で反射された光に基づいて前記被写体の形状情報を取得することを特徴とする請求項７または請求項８に記載の画像処理システム。 The imaging unit further includes a light source including one or more light emitting units that irradiate light toward a subject,
The emission wavelength of each light emitting part is included in the range of the wavelengths λ3 to λ4,
The image processing system according to claim 7 or 8, wherein the image analysis unit acquires shape information of the subject based on light emitted from the light source and reflected by the subject. 前記画像解析手段は、前記水平偏光成分画像の各画素の画素値をＩ（Ｐ）と、前記垂直偏光成分画像の各画素の画素値をＩ（Ｓ）とした場合、α×（Ｉ（Ｐ）−Ｉ（Ｓ））／（Ｉ（Ｐ）＋Ｉ（Ｓ）） （ここでαは定数）の画像情報を算出するものであって、前記有効撮像領域の周辺部のαを前記有効撮像領域の中心部に比べて大きくすることを特徴とする請求項１から請求項９のいずれか一項に記載の画像処理システム。   When the pixel value of each pixel of the horizontal polarization component image is I (P) and the pixel value of each pixel of the vertical polarization component image is I (S), the image analysis means is α × (I (P ) −I (S)) / (I (P) + I (S)) (where α is a constant), and α in the periphery of the effective imaging region is calculated as the effective imaging region. The image processing system according to claim 1, wherein the image processing system is larger than a central portion of the image processing system. 前記第１の偏光フィルタ層の前記偏光子が、前記入射光の前記水平偏光成分及び前記垂直偏光成分に対して４５度の角度をなす偏光成分を透過させ、
前記画像解析手段が、前記水平偏光成分、前記垂直偏光成分、及び前記４５度の角度をなす偏光成分に基づいて路面状態を判別することを特徴とする請求項１から請求項１０のいずれか一項に記載の画像処理システム。 The polarizer of the first polarizing filter layer transmits a polarization component that forms an angle of 45 degrees with respect to the horizontal polarization component and the vertical polarization component of the incident light;
The said image analysis means discriminate | determines a road surface state based on the said horizontal polarization component, the said vertical polarization component, and the polarization component which makes the said 45 degree | times angle, It is any one of Claims 1-10 characterized by the above-mentioned. The image processing system according to item. 請求項１から請求項１１のいずれか一項に記載の画像処理システムと、An image processing system according to any one of claims 1 to 11,
前記画像処理システムが備える前記画像解析手段により生成された前記偏光度画像に基づいて、車両の走行を支援する走行支援制御を行う車両走行制御手段と、を備えることを特徴とする車両。Vehicle driving control means for performing driving support control for supporting driving of the vehicle based on the polarization degree image generated by the image analysis means provided in the image processing system. 前記画像処理システムが備える前記第１及び第２の分光フィルタ層の透過波長λ３〜λ４の範囲に、車両のヘッドランプの投光波長帯の少なくとも一部が含まれることを特徴とする請求項１２に記載の車両。 The range of transmission wavelengths λ3 to λ4 of the first and second spectral filter layers included in the image processing system includes at least a part of a projection wavelength band of a vehicle headlamp. Vehicle described in . 前記画像解析手段は、前記ヘッドランプまたは前記光源が、前記撮像手段による前記有効撮像領域の前記所定領域用の第１フレームの撮像の際に点灯し、第２フレームの撮像の際に消灯するように制御するとともに、前記第１フレームと、前記第２フレームの差分情報に基づいて路面状態を検出することを特徴とする請求項１３に記載の車両。 The image analysis means turns on when the headlamp or the light source is imaged by the imaging means when imaging the first frame for the predetermined area of the effective imaging area, and turns off when imaging the second frame. The vehicle according to claim 13 , wherein a road surface condition is detected based on difference information between the first frame and the second frame .
JP2012010010A 2012-01-20 2012-01-20 Image processing system and vehicle equipped with the same Expired - Fee Related JP5899957B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012010010A JP5899957B2 (en) 2012-01-20 2012-01-20 Image processing system and vehicle equipped with the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012010010A JP5899957B2 (en) 2012-01-20 2012-01-20 Image processing system and vehicle equipped with the same

Publications (2)

Publication Number Publication Date
JP2013148504A JP2013148504A (en) 2013-08-01
JP5899957B2 true JP5899957B2 (en) 2016-04-06

Family

ID=49046123

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012010010A Expired - Fee Related JP5899957B2 (en) 2012-01-20 2012-01-20 Image processing system and vehicle equipped with the same

Country Status (1)

Country Link
JP (1) JP5899957B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11354880B2 (en) 2017-10-27 2022-06-07 3M Innovative Properties Company Optical sensor systems
KR20220146031A (en) * 2021-04-23 2022-11-01 재단법인대구경북과학기술원 Electronic device for detecting black ice and controlling method thereof

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101394244B1 (en) * 2013-12-12 2014-05-14 한국건설기술연구원 Multi image acquisition apparatus, and probe car-based system for sensing road surface condition automatically using the same
JP6340795B2 (en) * 2013-12-27 2018-06-13 株式会社リコー Image processing apparatus, image processing system, image processing method, image processing program, and moving body control apparatus
JP2017125809A (en) * 2016-01-15 2017-07-20 株式会社リコー Information processing apparatus, information processing system, and program
JP7013651B2 (en) * 2017-02-06 2022-02-01 株式会社リコー Server device, discrimination program and discrimination system
JP7271119B2 (en) * 2017-10-20 2023-05-11 ソニーセミコンダクタソリューションズ株式会社 Depth image acquisition device, control method, and depth image acquisition system
CN113631899A (en) * 2019-04-03 2021-11-09 索尼集团公司 Image processing apparatus, information generating apparatus, and method thereof
CN114041085B (en) * 2019-06-11 2023-04-04 富士胶片株式会社 Image pickup apparatus
KR102623125B1 (en) * 2021-03-03 2024-01-12 주식회사 퓨처이노 Road condition detection method and apparatus
WO2023166988A1 (en) * 2022-03-04 2023-09-07 株式会社小糸製作所 Measuring device
CN116448689B (en) * 2023-06-16 2023-08-29 天津博霆光电技术有限公司 Single-light-frequency object full-structure detection method and device based on pixel differentiation

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5438414A (en) * 1993-01-22 1995-08-01 The Johns Hopkins University Integrated dual imaging detector
JP3341664B2 (en) * 1997-12-15 2002-11-05 トヨタ自動車株式会社 Vehicle line detecting device, road line detecting method, and medium recording program
JP4974543B2 (en) * 2005-08-23 2012-07-11 株式会社フォトニックラティス Polarization imaging device
JP5610254B2 (en) * 2008-06-18 2014-10-22 株式会社リコー Imaging apparatus and road surface state determination method
JP5572954B2 (en) * 2009-01-26 2014-08-20 株式会社リコー Image pickup device and image pickup apparatus including the image pickup device
US8411146B2 (en) * 2009-09-04 2013-04-02 Lockheed Martin Corporation Single camera color and infrared polarimetric imaging
WO2011078199A1 (en) * 2009-12-25 2011-06-30 Ricoh Company, Ltd. Object identifying apparatus, moving body control apparatus, and information providing apparatus
JP5696927B2 (en) * 2009-12-25 2015-04-08 株式会社リコー Object identification device, and moving body control device and information providing device provided with the same
US8796798B2 (en) * 2010-01-27 2014-08-05 Ricoh Company, Ltd. Imaging module, fabricating method therefor, and imaging device
JP5637448B2 (en) * 2011-01-27 2014-12-10 株式会社リコー Polarized imaging device

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11354880B2 (en) 2017-10-27 2022-06-07 3M Innovative Properties Company Optical sensor systems
KR20220146031A (en) * 2021-04-23 2022-11-01 재단법인대구경북과학기술원 Electronic device for detecting black ice and controlling method thereof
KR102485492B1 (en) 2021-04-23 2023-01-06 재단법인대구경북과학기술원 Electronic device for detecting black ice and controlling method thereof

Also Published As

Publication number Publication date
JP2013148504A (en) 2013-08-01

Similar Documents

Publication Publication Date Title
JP5899957B2 (en) Image processing system and vehicle equipped with the same
JP5633503B2 (en) Image processing system, vehicle equipped with image processing system, image processing method and program
JP5853719B2 (en) Image processing system and vehicle equipped with the same
JP5761143B2 (en) Imaging unit, vehicle equipped with imaging unit
JP6380843B2 (en) Object detection apparatus, mobile device control system including the same, and object detection program
KR101567737B1 (en) Imaging device, object detecting apparatus, optical filter, and manufacturing method of optical filter
JP2013029451A (en) Deposit detection device and deposit detection method
JP5936098B2 (en) Imaging apparatus, object detection apparatus including the same, and optical filter
JP5990953B2 (en) Imaging device, object detection device, vehicle travel support image processing system, and vehicle
JP2013190416A (en) Deposit detection device and in-vehicle equipment controller including the same
JP5862207B2 (en) Image processing system
JP5858327B2 (en) IMAGING DEVICE, OBJECT DETECTION DEVICE HAVING THE SAME, AND POLARIZING FILTER
JP2013095315A (en) Inside rear view mirror device with built-in imaging device, and vehicle equipped with the same
JP5887840B2 (en) Image processing device
JP6098575B2 (en) Imaging unit, image processing apparatus, and vehicle
JP2013097223A (en) Imaging method and imaging unit
JP2013162492A (en) Image pickup device, vehicle incorporating the same, and position adjustment method
JP5590457B2 (en) IMAGING DEVICE, OBJECT DETECTION DEVICE HAVING THE SAME, AND ON-VEHICLE DEVICE CONTROL DEVICE
JP6111514B2 (en) Image processing system and vehicle equipped with the same
JP5845820B2 (en) Imaging unit and vehicle equipped with the same
JP5967165B2 (en) Image processing system, wiper control system equipped with image processing system, vehicle, and program
JP5879937B2 (en) Imaging unit
JP6536946B2 (en) Imaging device, imaging method, program, and mobile device control system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20141217

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20151026

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151110

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160108

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160209

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160222

R151 Written notification of patent or utility model registration

Ref document number: 5899957

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees