JP6566308B2 - Adhering matter detection apparatus, mobile device control system, adhering matter detection program, and adhering matter detection method - Google Patents
Adhering matter detection apparatus, mobile device control system, adhering matter detection program, and adhering matter detection method Download PDFInfo
- Publication number
- JP6566308B2 JP6566308B2 JP2015135483A JP2015135483A JP6566308B2 JP 6566308 B2 JP6566308 B2 JP 6566308B2 JP 2015135483 A JP2015135483 A JP 2015135483A JP 2015135483 A JP2015135483 A JP 2015135483A JP 6566308 B2 JP6566308 B2 JP 6566308B2
- Authority
- JP
- Japan
- Prior art keywords
- light
- light source
- irradiation period
- adhering matter
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Investigating Or Analysing Materials By Optical Means (AREA)
Description
本発明は、付着物検出装置、移動体機器制御システム、付着物検出用プログラム及び付着物検出方法に関するものである。 The present invention relates to a deposit detection apparatus, a mobile device control system, a deposit detection program, and a deposit detection method.
従来、光源からの光源光を光透過性部材に照射し、その光透過性部材を経由して受光手段により受光される受光量に基づいて、その光透過性部材に付着する付着物を検出する付着物検出装置が知られている。 Conventionally, light source light from a light source is irradiated onto a light transmissive member, and the adhering matter adhering to the light transmissive member is detected based on the amount of light received by the light receiving means via the light transmissive member. A deposit detection apparatus is known.
例えば、特許文献１には、光源が照射した光源光によって照明された自動車のフロントガラスからの反射光を画像センサの雨滴検出領域で受光して撮像し、フロントガラス上に付着している雨滴を検出する雨滴検出装置が開示されている。この雨滴検出装置は、雨滴の検出精度を低下させる光源光以外の外乱光の影響を抑制するため、光源の点灯時（照明期間中）に撮像した点灯時画像と、光源の消灯時（非照明期間中）に撮像した消灯時画像との差分情報に基づいて雨滴を検出する。消灯時画像は外乱光のみを映し出すものであるため、点灯時画像から消灯時画像を差し引いて得られる差分情報は、点灯時画像から外乱光成分を除外したものとなる。特許文献１には、このような差分情報に基づいて雨滴検出を行うことにより、外乱光の影響を抑制した雨滴検出処理が可能となる旨が記載されている。 For example, in Patent Document 1, reflected light from a windshield of an automobile illuminated by light source light emitted from a light source is received and imaged by a raindrop detection area of an image sensor, and raindrops adhering to the windshield are detected. A raindrop detection device for detection is disclosed. This raindrop detection device suppresses the influence of disturbance light other than the light source light that lowers the detection accuracy of raindrops, so that the lighting image captured when the light source is turned on (during the illumination period) and the light source is turned off (non-illumination) A raindrop is detected based on the difference information with the unlit image captured during the period. Since the off-time image shows only disturbance light, the difference information obtained by subtracting the off-time image from the on-time image is obtained by excluding the disturbance light component from the on-time image. Patent Document 1 describes that raindrop detection processing that suppresses the influence of ambient light can be performed by performing raindrop detection based on such difference information.
ところが、このような差分情報に基づいて雨滴等の付着物の検出処理を行う場合でも、外乱光の影響を完全に取り除くことはできない。差分情報中における外乱光成分の残存量は、付着物検出の誤差の大きさに影響を与えることになる。しかも、この残存量は、撮像状況等によって全く異なり、大きなバラツキをもつ。そのため、付着物の検出結果にも大きなバラツキが生じ、その検出結果を利用する後段の処理で付着物の検出結果のバラツキにより様々な支障を来すおそれがある。 However, the influence of disturbance light cannot be completely removed even when a process for detecting a deposit such as raindrops is performed based on such difference information. The amount of disturbance light component remaining in the difference information affects the magnitude of the error in detecting the attached matter. Moreover, the remaining amount is completely different depending on the imaging situation and the like, and has a large variation. For this reason, there is a large variation in the detection result of the attached matter, and there is a possibility that various problems may be caused by the variation in the detection result of the attached matter in the subsequent processing using the detection result.
なお、この課題は、光源が光源光を照射する照射期間中に光透過性部材を経由して受光手段により受光される受光量に基づいて、その光透過性部材に付着する付着物を検出する付着物検出処理を実行する付着物検出装置であれば生じ得るものである。したがって、上述した差分情報を用いて付着物検出処理を行う場合に限らず、照射期間中に受光手段で受光される受光量のみを用いて付着物検出処理を実行する場合でも、上述した課題が生じ得る。 In addition, this subject detects the deposit | attachment adhering to the light transmissive member based on the light reception amount light-received by the light-receiving means via the light transmissive member during the irradiation period in which the light source emits the light source light. Any deposit detection apparatus that executes the deposit detection process can be used. Therefore, the above-described problem is not limited to the case where the attached matter detection process is performed using the difference information described above, but the attached matter detection process is performed using only the amount of light received by the light receiving unit during the irradiation period. Can occur.
上述した課題を解決するために、本発明は、光源が光源光を照射する照射期間中に光透過性部材を経由して受光手段により受光される受光量に基づいて、該光透過性部材に付着する付着物を検出する付着物検出処理を実行し、該付着物検出処理の検出結果を出力する付着物検出処理手段を備えた付着物検出装置において、前記付着物検出処理手段は、前記光源が光源光を照射しない非照射期間中に前記受光手段により受光される受光量に応じて、該非照射期間の後に前記光源が光源光を照射する予定の予定照射期間に対応する付着物検出処理を実行するか否かを決定し、照射期間の前又は後の非照射期間中に前記受光手段により受光される受光量を用いずに、該照射期間中に前記受光手段により受光される受光量を用いて前記付着物検出処理を実行することを特徴とする。 In order to solve the above-described problems, the present invention provides a light transmissive member based on the amount of light received by the light receiving means via the light transmissive member during the irradiation period in which the light source emits light source light. In the adhering matter detection apparatus having the adhering matter detection processing means for executing the adhering matter detection process for detecting the adhering matter and outputting the detection result of the adhering matter detection process, the adhering matter detection processing means includes the light source. In accordance with the amount of light received by the light receiving means during a non-irradiation period during which no light source light is emitted, an attached matter detection process corresponding to a scheduled irradiation period in which the light source is scheduled to emit light source light after the non-irradiation period. Without determining the amount of light received by the light receiving means during the non-irradiation period before or after the irradiation period, and determining the amount of light received by the light receiving means during the irradiation period. Using the deposit detection process Characterized in that it run.
本発明によれば、付着物の検出結果を利用する後段の処理で支障を来す事態を抑制できるという優れた効果が奏される。 According to the present invention, there is an excellent effect that it is possible to suppress a situation in which trouble is caused by subsequent processing using the detection result of the deposit.
〔実施形態１〕
以下、本発明に係る付着物検出装置を適用した移動体機器制御システムの一実施形態（以下、本実施形態を「実施形態１」という。）について説明する。
なお、本発明に係る付着物検出装置は、移動体機器制御システムに限らず、例えば、光透過性部材に付着する付着物を検出するその他のシステムにも適用できる。
Embodiment 1
Hereinafter, an embodiment (hereinafter, this embodiment is referred to as “Embodiment 1”) of a mobile device control system to which the attached matter detection apparatus according to the present invention is applied will be described.
In addition, the deposit | attachment detection apparatus which concerns on this invention is applicable not only to a mobile body apparatus control system but the other system which detects the deposit | attachment adhering to a light transmissive member, for example.
図１は、本実施形態１における移動体機器制御システムの概略構成を示す模式図である。
移動体機器制御システムは、移動体である自動車などの自車両１００に搭載された撮像装置で撮像した撮像画像を利用して、ヘッドランプの配光制御、ワイパーの駆動制御、その他の車載機器の制御を行うものである。
FIG. 1 is a schematic diagram illustrating a schematic configuration of a mobile device control system according to the first embodiment.
The mobile device control system uses a captured image captured by an imaging device mounted on a host vehicle 100 such as an automobile that is a mobile body to control light distribution of a headlamp, drive control of a wiper, and other in-vehicle devices. Control is performed.
本実施形態１の移動体機器制御システムは、図１に示すように、撮像部を有する撮像ユニット１０１と、画像解析ユニット１０２と、車両走行制御ユニット１０８と、ワイパー制御ユニット１０６と、ヘッドランプ制御ユニット１０３とを主に備えている。ここで、車両走行制御ユニット１０８、ワイパー制御ユニット１０６、ヘッドランプ制御ユニット１０３は、自車両１００に搭載されている各種車載機器を制御する制御部として機能する。 As shown in FIG. 1, the mobile device control system according to the first embodiment includes an imaging unit 101 having an imaging unit, an image analysis unit 102, a vehicle travel control unit 108, a wiper control unit 106, and headlamp control. Unit 103 is mainly provided. Here, the vehicle travel control unit 108, the wiper control unit 106, and the headlamp control unit 103 function as a control unit that controls various in-vehicle devices mounted on the host vehicle 100.
本実施形態１の移動体機器制御システムに設けられる撮像部は、撮像ユニット１０１に設けられており、走行する自車両１００の進行方向前方領域を撮像領域として撮像するものであり、例えば、自車両１００のフロントガラス１０５のルームミラー付近に設置される。撮像ユニット１０１の撮像部で撮像された撮像画像データは、画像解析ユニット１０２に入力される。 The imaging unit provided in the mobile device control system according to the first embodiment is provided in the imaging unit 101, and images an area in the traveling direction of the traveling vehicle 100 as an imaging region. 100 windshields 105 are installed near the room mirror. The captured image data captured by the imaging unit of the imaging unit 101 is input to the image analysis unit 102.
画像解析ユニット１０２は、撮像部から送信されてくる撮像画像データを解析し、自車両１００の前方に存在する他車両の位置、方角、距離を算出したり、フロントガラス１０５に付着する雨滴や付着物などの付着物を検出したり、撮像領域内に存在する路面上の白線（区画線）等の検出対象物を検出したり、雨量を算出したりする。他車両の検出では、他車両のテールランプを識別することで自車両１００と同じ進行方向へ進行する先行車両を検出し、他車両のヘッドランプを識別することで自車両１００とは反対方向へ進行する対向車両を検出する。 The image analysis unit 102 analyzes the captured image data transmitted from the imaging unit, calculates the position, direction, and distance of another vehicle existing in front of the host vehicle 100, and adds raindrops and attachments attached to the windshield 105. Attached matter such as a kimono is detected, a detection target such as a white line (division line) on the road surface in the imaging region is detected, and a rainfall amount is calculated. In the detection of other vehicles, a preceding vehicle traveling in the same traveling direction as the own vehicle 100 is detected by identifying the tail lamp of the other vehicle, and traveling in the opposite direction to the own vehicle 100 by identifying the headlamp of the other vehicle. An oncoming vehicle is detected.
画像解析ユニット１０２の算出結果は、ヘッドランプ制御ユニット１０３に送られる。ヘッドランプ制御ユニット１０３は、例えば、画像解析ユニット１０２が算出した距離データから、自車両１００の車載機器であるヘッドランプ１０４を制御する制御信号を生成する。具体的には、例えば、先行車両や対向車両の運転者の目に自車両１００のヘッドランプの強い光が入射するのを避けて他車両の運転者の幻惑防止を行いつつ、自車両１００の運転者の視界確保を実現できるように、ヘッドランプ１０４のハイビームおよびロービームの切り替えを制御したり、ヘッドランプ１０４の部分的な遮光制御を行ったりする。 The calculation result of the image analysis unit 102 is sent to the headlamp control unit 103. For example, the headlamp control unit 103 generates a control signal for controlling the headlamp 104 that is an in-vehicle device of the host vehicle 100 from the distance data calculated by the image analysis unit 102. Specifically, for example, while avoiding that the strong light of the headlamp of the own vehicle 100 is incident on the driver of the preceding vehicle or the oncoming vehicle, the driver of the other vehicle is prevented from being dazzled. The switching of the high beam and the low beam of the headlamp 104 is controlled, and partial shading control of the headlamp 104 is performed so that the driver's visibility can be secured.
画像解析ユニット１０２の算出結果は、ワイパー制御ユニット１０６にも送られる。ワイパー制御ユニット１０６は、自車両１００の車載機器であるワイパー１０７を制御して、自車両１００のフロントガラス１０５に付着した雨滴や付着物などの付着物を除去する。ワイパー制御ユニット１０６は、画像解析ユニット１０２が検出した付着物検出結果を受けて、ワイパー１０７を制御する制御信号を生成する。ワイパー制御ユニット１０６により生成された制御信号がワイパー１０７に送られると、自車両１００の運転者の視界を確保するべく、ワイパー１０７を稼動させる。 The calculation result of the image analysis unit 102 is also sent to the wiper control unit 106. The wiper control unit 106 controls a wiper 107 that is an in-vehicle device of the host vehicle 100 to remove deposits such as raindrops and deposits attached to the windshield 105 of the host vehicle 100. The wiper control unit 106 receives the attached matter detection result detected by the image analysis unit 102 and generates a control signal for controlling the wiper 107. When the control signal generated by the wiper control unit 106 is sent to the wiper 107, the wiper 107 is operated to ensure the visibility of the driver of the host vehicle 100.
また、画像解析ユニット１０２の算出結果は、車両走行制御ユニット１０８にも送られる。車両走行制御ユニット１０８は、画像解析ユニット１０２が検出した白線検出結果に基づいて、白線によって区画されている車線領域から自車両１００が外れている場合等に、自車両１００の運転者へ警告を報知したり、自車両１００のハンドルやブレーキを制御したりするなどの車線維持制御を行う。 The calculation result of the image analysis unit 102 is also sent to the vehicle travel control unit 108. Based on the white line detection result detected by the image analysis unit 102, the vehicle travel control unit 108 warns the driver of the host vehicle 100 when the host vehicle 100 is out of the lane area defined by the white line. Lane maintenance control such as notification or control of the steering wheel and brake of the host vehicle 100 is performed.
図２は、撮像ユニット１０１の概略構成を示す模式図である。
図３は、撮像ユニット１０１に設けられる撮像部２００の概略構成を示す説明図である。
撮像ユニット１０１は、撮像部２００と、光源２０２と、これらを収容する撮像ケース２０１とから構成されている。撮像ユニット１０１は自車両１００のフロントガラス１０５の内壁面側に設置される。撮像部２００は、図３に示すように、撮像レンズ２０４と、光学フィルタ２０５と、画像センサ２０６とから構成されている。光源２０２は、フロントガラス１０５に向けて光を照射し、その光がフロントガラス１０５の外壁面で反射したときにその反射光が撮像部２００へ入射するように配置されている。
FIG. 2 is a schematic diagram illustrating a schematic configuration of the imaging unit 101.
FIG. 3 is an explanatory diagram illustrating a schematic configuration of the imaging unit 200 provided in the imaging unit 101.
The imaging unit 101 includes an imaging unit 200, a light source 202, and an imaging case 201 that accommodates these. The imaging unit 101 is installed on the inner wall surface side of the windshield 105 of the host vehicle 100. As shown in FIG. 3, the imaging unit 200 includes an imaging lens 204, an optical filter 205, and an image sensor 206. The light source 202 emits light toward the windshield 105 and is arranged so that the reflected light enters the imaging unit 200 when the light is reflected by the outer wall surface of the windshield 105.
本実施形態１において、光源２０２は、フロントガラス１０５の外壁面に付着した付着物（以下、付着物が雨滴である場合を例に挙げて説明する。）を検出するためのものである。フロントガラス１０５の外壁面に雨滴２０３が付着している場合、光源２０２から照射された光は、フロントガラス１０５の外壁面と外気との界面で反射し、その反射光が撮像部２００へ入射する。このような撮像部２００の撮像画像データから、フロントガラス１０５に付着する雨滴２０３の検出を行う。 In the first embodiment, the light source 202 is for detecting an adhering matter adhering to the outer wall surface of the windshield 105 (hereinafter, the case where the adhering matter is a raindrop will be described as an example). When raindrops 203 are attached to the outer wall surface of the windshield 105, the light emitted from the light source 202 is reflected at the interface between the outer wall surface of the windshield 105 and the outside air, and the reflected light enters the imaging unit 200. . From such captured image data of the imaging unit 200, the raindrop 203 attached to the windshield 105 is detected.
また、本実施形態１において、撮像ユニット１０１は、図２に示すとおり、撮像部２００や光源２０２を、フロントガラス１０５とともに撮像ケース２０１で覆っている。このように撮像ケース２０１で覆うことにより、フロントガラス１０５の内壁面が曇るような状況であっても、撮像ユニット１０１で覆われたフロントガラス１０５が曇ってしまう事態を抑制できる。よって、フロントガラス１０５の曇りによって画像解析ユニット１０２が誤解析するような事態を抑制でき、画像解析ユニット１０２の解析結果に基づく各種制御動作を適切に行うことができる。 In the first embodiment, the imaging unit 101 covers the imaging unit 200 and the light source 202 together with the windshield 105 with the imaging case 201 as shown in FIG. By covering with the imaging case 201 in this way, it is possible to suppress a situation where the windshield 105 covered with the imaging unit 101 is fogged even in a situation where the inner wall surface of the windshield 105 is clouded. Therefore, a situation where the image analysis unit 102 misanalyzes due to fogging of the windshield 105 can be suppressed, and various control operations based on the analysis result of the image analysis unit 102 can be appropriately performed.
ただし、フロントガラス１０５の曇りを撮像部２００の撮像画像データから検出して、例えば自車両１００の空調設備を制御する場合には、撮像部２００に対向するフロントガラス１０５の部分が他の部分と同じ状況となるように、撮像ケース２０１の一部に空気の流れる通路を形成してもよい。 However, when the fogging of the windshield 105 is detected from the captured image data of the imaging unit 200 and the air conditioning equipment of the host vehicle 100 is controlled, for example, the part of the windshield 105 facing the imaging unit 200 is different from the other parts. A passage through which air flows may be formed in a part of the imaging case 201 so as to achieve the same situation.
ここで、本実施形態１では、撮像レンズ２０４の焦点位置は、無限遠又は無限遠とフロントガラス１０５との間に設定している。これにより、フロントガラス１０５上に付着した雨滴２０３の検出を行う場合だけでなく、先行車両や対向車両の検出や白線の検出を行う場合にも、撮像部２００の撮像画像データから適切な情報を取得することができる。 Here, in the first embodiment, the focal position of the imaging lens 204 is set to infinity or between infinity and the windshield 105. Thereby, not only when detecting the raindrop 203 attached on the windshield 105, but also when detecting the preceding vehicle and the oncoming vehicle and detecting the white line, appropriate information is obtained from the captured image data of the imaging unit 200. Can be acquired.
例えば、フロントガラス１０５上に付着した雨滴２０３の検出を行う場合、撮像画像データ上の雨滴画像の形状は円形状であることが多いので、撮像画像データ上の雨滴候補画像が円形状であるかどうかを判断してその雨滴候補画像が雨滴画像であると識別する形状認識処理を行う。このような形状認識処理を行う場合、フロントガラス１０５の外壁面上の雨滴２０３に撮像レンズ２０４の焦点が合っているよりも、上述したように無限遠又は無限遠とフロントガラス１０５との間に焦点が合っている方が、多少ピンボケして、雨滴の形状認識率（円形状）が高くなり、雨滴検出性能が高い。 For example, when the raindrop 203 attached on the windshield 105 is detected, the shape of the raindrop image on the captured image data is often circular, so whether the raindrop candidate image on the captured image data is circular. A shape recognition process is performed to determine whether the raindrop candidate image is a raindrop image. When performing such shape recognition processing, the imaging lens 204 is focused on the raindrop 203 on the outer wall surface of the windshield 105, as described above, between infinity or infinity and the windshield 105. The in-focus state is slightly out of focus, the raindrop shape recognition rate (circular shape) is high, and the raindrop detection performance is high.
図４は、フロントガラス１０５の外壁面上の雨滴２０３に撮像レンズ２０４の焦点が合っている場合における、雨滴検出用の撮像画像データである赤外光画像データを示す説明図である。
図５は、無限遠に焦点が合っている場合における、雨滴検出用の撮像画像データである赤外光画像データを示す説明図である。
フロントガラス１０５の外壁面上の雨滴２０３に撮像レンズ２０４の焦点が合っている場合、図４に示すように、雨滴に映り込んだ背景画像２０３ａまでが撮像される。このような背景画像２０３ａは雨滴２０３の誤検出の原因となる。また、図４に示すように雨滴の一部２０３ｂだけ弓状等に輝度が大きくなる場合があり、その大輝度部分の形状すなわち雨滴画像の形状は太陽光の方向や街灯の位置などによって変化する。このような種々変化する雨滴画像の形状を形状認識処理で対応するためには処理負荷が大きく、また認識精度の低下を招く。
FIG. 4 is an explanatory diagram showing infrared light image data that is captured image data for raindrop detection when the imaging lens 204 is focused on the raindrop 203 on the outer wall surface of the windshield 105.
FIG. 5 is an explanatory diagram showing infrared light image data, which is captured image data for raindrop detection, when the focus is set to infinity.
When the imaging lens 204 is focused on the raindrop 203 on the outer wall surface of the windshield 105, the background image 203a reflected in the raindrop is captured as shown in FIG. Such a background image 203 a causes erroneous detection of the raindrop 203. Further, as shown in FIG. 4, only a portion 203b of the raindrop may have a brightness that increases in a bow shape or the like. . In order to cope with the shape of such variously changing raindrop images by the shape recognition processing, the processing load is large and the recognition accuracy is lowered.
これに対し、無限遠に焦点が合っている場合には、図５に示すように、多少のピンボケが発生する。そのため、背景画像２０３ａの映り込みが撮像画像データに反映されず、雨滴２０３の誤検出が軽減される。また、多少のピンボケが発生することで、太陽光の方向や街灯の位置などによって雨滴画像の形状が変化する度合いが小さくなり、雨滴画像の形状は常に略円形状となる。よって、雨滴２０３の形状認識処理の負荷が小さく、また認識精度も高い。 On the other hand, when the image is focused at infinity, some blurring occurs as shown in FIG. For this reason, the reflection of the background image 203a is not reflected in the captured image data, and erroneous detection of the raindrop 203 is reduced. In addition, the occurrence of some defocusing reduces the degree of change in the shape of the raindrop image depending on the direction of sunlight, the position of the streetlight, and the like, and the shape of the raindrop image is always substantially circular. Therefore, the load of the shape recognition process of the raindrop 203 is small, and the recognition accuracy is high.
ただし、無限遠に焦点が合っている場合、遠方を走行する先行車両のテールランプを識別する際に、画像センサ２０６上のテールランプの光を受光する受光素子が１個程度になることがある。この場合、詳しくは後述するが、テールランプの光がテールランプ色（赤色）を受光する赤色用受光素子に受光されないおそれがあり、その際にはテールランプを認識できず、先行車両の検出ができない。このような不具合を回避しようとする場合には、撮像レンズ２０４の焦点を無限遠よりも手前に合わせることが好ましい。これにより、遠方を走行する先行車両のテールランプがピンボケするので、テールランプの光を受光する受光素子の数を増やすことができ、テールランプの認識精度が上がり先行車両の検出精度が向上する。 However, when focusing at infinity, when identifying the tail lamp of a preceding vehicle traveling far, there may be about one light receiving element that receives the light of the tail lamp on the image sensor 206. In this case, as will be described in detail later, the light from the tail lamp may not be received by the red light receiving element that receives the tail lamp color (red). In this case, the tail lamp cannot be recognized and the preceding vehicle cannot be detected. In order to avoid such a problem, it is preferable that the imaging lens 204 is focused before infinity. As a result, the tail lamp of the preceding vehicle traveling far is out of focus, so that the number of light receiving elements that receive the light of the tail lamp can be increased, the recognition accuracy of the tail lamp is increased, and the detection accuracy of the preceding vehicle is improved.
撮像ユニット１０１の光源２０２には、発光ダイオード（ＬＥＤ）や半導体レーザ（ＬＤ）などを用いることができる。また、光源２０２の発光波長は、例えば可視光や赤外光を用いることができる。ただし、光源２０２の光で対向車両の運転者や歩行者等を眩惑するのを回避する場合には、可視光よりも波長が長くて画像センサ２０６の受光感度がおよぶ範囲の波長、例えば８００ｎｍ以上１０００ｎｍ以下の赤外光領域の波長を選択するのが好ましい。本実施形態１の光源２０２は、赤外光領域の波長を有する光を照射するものである。 For the light source 202 of the imaging unit 101, a light emitting diode (LED), a semiconductor laser (LD), or the like can be used. Further, for example, visible light or infrared light can be used as the emission wavelength of the light source 202. However, in order to avoid dazzling the driver or pedestrian of the oncoming vehicle with the light of the light source 202, the wavelength is longer than the visible light and the light receiving sensitivity of the image sensor 206 reaches, for example, 800 nm or more. It is preferable to select a wavelength in the infrared light region of 1000 nm or less. The light source 202 of Embodiment 1 irradiates light having a wavelength in the infrared light region.
ここで、フロントガラス１０５で反射した光源２０２からの赤外波長光を撮像部２００で撮像する際、撮像部２００の画像センサ２０６では、光源２０２からの赤外波長光のほか、例えば太陽光などの赤外波長光を含む大光量の外乱光も受光される。よって、光源２０２からの赤外波長光をこのような大光量の外乱光と区別するためには、光源２０２の発光量を外乱光よりも十分に大きくする必要があるが、このような大発光量の光源２０２を用いることは困難である場合が多い。 Here, when infrared imaging light from the light source 202 reflected by the windshield 105 is imaged by the imaging unit 200, the image sensor 206 of the imaging unit 200 uses, for example, sunlight other than the infrared wavelength light from the light source 202. A large amount of disturbance light including the infrared wavelength light is also received. Therefore, in order to distinguish the infrared wavelength light from the light source 202 from such a large amount of disturbance light, it is necessary to make the light emission amount of the light source 202 sufficiently larger than the disturbance light. It is often difficult to use an amount of light source 202.
そこで、本実施形態１においては、例えば、図６に示すように光源２０２の発光波長よりも短い波長の光をカットするようなカットフィルタか、もしくは、図７に示すように透過率のピークが光源２０２の発光波長とほぼ一致したバンドパスフィルタを介して、光源２０２からの光を画像センサ２０６で受光するように構成する。これにより、光源２０２の発光波長以外の光を除去して受光できるので、画像センサ２０６で受光される光源２０２からの光量は、外乱光に対して相対的に大きくなる。その結果、大発光量の光源２０２でなくても、光源２０２からの光を外乱光と区別することが可能となる。 Therefore, in the first embodiment, for example, a cut filter that cuts light having a wavelength shorter than the light emission wavelength of the light source 202 as shown in FIG. 6, or a transmittance peak as shown in FIG. The image sensor 206 is configured to receive light from the light source 202 through a bandpass filter that substantially matches the emission wavelength of the light source 202. As a result, light other than the emission wavelength of the light source 202 can be removed and received, so that the amount of light from the light source 202 received by the image sensor 206 is relatively large with respect to disturbance light. As a result, even if the light source 202 does not have a large light emission amount, the light from the light source 202 can be distinguished from disturbance light.
ただし、本実施形態１においては、撮像画像データから、フロントガラス１０５上の雨滴２０３を検出するだけでなく、先行車両や対向車両の検出や白線の検出も行う。そのため、撮像画像全体について光源２０２が照射する赤外波長光以外の波長帯を除去してしまうと、先行車両や対向車両の検出や白線の検出に必要な波長帯の光を画像センサ２０６で受光できず、これらの検出に支障をきたす。 However, in the first embodiment, not only the raindrop 203 on the windshield 105 is detected from the captured image data, but also the preceding vehicle and the oncoming vehicle and the white line are detected. Therefore, if the wavelength band other than the infrared wavelength light emitted by the light source 202 is removed from the entire captured image, the image sensor 206 receives light in the wavelength band necessary for detection of the preceding vehicle and oncoming vehicle and detection of the white line. This cannot be done and hinders these detections.
そこで、本実施形態１では、撮像画像データの画像領域を、フロントガラス１０５上の雨滴２０３を検出するための雨滴検出用画像領域と、先行車両や対向車両の検出や白線の検出を行うための車両検出用画像領域とに区分し、雨滴検出用画像領域に対応する部分についてのみ光源２０２が照射する赤外波長光以外の波長帯を除去するフィルタ（以下、「雨滴検出用フィルタ」という場合もある。）を、光学フィルタ２０５に配置している。すなわち、雨滴検出用画像領域は、撮像領域のうち、雨滴検出用フィルタが存在する領域を撮像した撮像画像データの領域である。また、車両検出用画像領域は、撮像領域のうち、雨滴検出用フィルタが存在しない領域を撮像した撮像画像データの領域である。 Therefore, in the first embodiment, the image area of the captured image data is used for detecting the raindrop detection image area for detecting the raindrop 203 on the windshield 105, detecting the preceding vehicle and the oncoming vehicle, and detecting the white line. A filter that removes a wavelength band other than the infrared wavelength light emitted from the light source 202 only in a portion corresponding to the raindrop detection image area (hereinafter also referred to as “raindrop detection filter”). Is arranged in the optical filter 205. That is, the raindrop detection image area is an area of captured image data obtained by imaging an area where the raindrop detection filter exists in the imaging area. The vehicle detection image area is an area of captured image data obtained by imaging an area where no raindrop detection filter exists in the imaging area.
図８（ａ）は、光学フィルタ２０５の断面図である。
本実施形態１の光学フィルタ２０５は、図８（ａ）に示すように、基板２２１の撮像レンズ側２０５ａの面には、赤外光および可視光相当を透過する分光フィルタ層２２４が形成されている。また、基板２２１の画像センサ側２０５ｂの面には、偏光フィルタ層２２２、ＳＯＧ（Ｓｐｉｎ Ｏｎ Ｇｌａｓｓ）層２２３、雨滴検出用フィルタである赤外光透過フィルタ２１２が順に形成されている。
FIG. 8A is a cross-sectional view of the optical filter 205.
As shown in FIG. 8A, in the optical filter 205 of the first embodiment, a spectral filter layer 224 that transmits infrared light and visible light is formed on the surface of the imaging lens side 205a of the substrate 221. Yes. A polarizing filter layer 222, an SOG (Spin On Glass) layer 223, and an infrared light transmission filter 212 that is a raindrop detection filter are sequentially formed on the surface of the substrate 221 on the image sensor side 205b.
このようにフィルタ層を光学フィルタ２０５の基板２２１の両面に形成することにより、光学フィルタ２０５の反りを抑制することが可能となる。基板２２１の片側面の面にだけ多層膜を形成すると応力がかかり、反りが生じる。しかしながら、図８（ａ）のように基板２２１の両面に多層膜を形成した場合は、応力の効果が相殺されるため、反りを抑制することができる。 By forming the filter layers on both surfaces of the substrate 221 of the optical filter 205 in this way, it is possible to suppress warping of the optical filter 205. When a multilayer film is formed only on one side surface of the substrate 221, stress is applied and warpage occurs. However, when a multilayer film is formed on both surfaces of the substrate 221 as shown in FIG. 8A, the effect of stress is offset, so that warpage can be suppressed.
ここで、基板２２１は、可視光域に対して透明な材料、例えば、ガラス、サファイア、水晶などで構成することができる。本実施形態１では、ガラス、特に、安価で、また耐久性もある石英（屈折率１．４６）やテンパックスガラス（屈折率１．５１）を基板２２１の材料として用いる。 Here, the substrate 221 can be made of a material that is transparent to the visible light region, such as glass, sapphire, or quartz. In the first embodiment, glass, in particular, inexpensive and durable quartz (refractive index 1.46) or Tempax glass (refractive index 1.51) is used as the material of the substrate 221.
また、基板２２１の光学フィルタ２０５ａ側の面に形成された分光フィルタ層２２４は、波長範囲４００ｎｍ〜６７０ｎｍのいわゆる可視光領域と、波長範囲９４０〜９７０ｎｍの赤外光領域の双方を透過するフィルタである。なお、可視光領域は車両周辺情報を検出するのに用い、赤外光領域は雨滴を検出するために用いる。また、分光フィルタ層２２４は、波長７００〜９４０ｎｍの範囲の光を透過しない（透過率５％以下が望ましい）。これは、この波長範囲を取り込んだ場合、得られる画像データは全体的に赤くなってしまい、テールランプの赤色を示す部分などを抽出することが困難となることがある。そこで、赤外光をカットする特性をもつフィルタを形成してやれば、外乱となる他の色の光を除去できるため、例えばテールランプの検出精度を向上させることができる。 The spectral filter layer 224 formed on the surface of the substrate 221 on the optical filter 205a side is a filter that transmits both a so-called visible light region having a wavelength range of 400 nm to 670 nm and an infrared light region having a wavelength range of 940 to 970 nm. is there. The visible light region is used to detect vehicle periphery information, and the infrared light region is used to detect raindrops. The spectral filter layer 224 does not transmit light in the wavelength range of 700 to 940 nm (the transmittance is preferably 5% or less). This is because, when this wavelength range is taken in, the obtained image data becomes entirely red, and it may be difficult to extract a portion showing the red color of the tail lamp. Therefore, if a filter having the characteristic of cutting infrared light is formed, light of other colors that becomes a disturbance can be removed, so that, for example, detection accuracy of a tail lamp can be improved.
また、光学フィルタ２０５ｂ側の面に形成された偏光フィルタ層２２２は、Ｓ偏光成分をカットし、Ｐ偏光成分のみを透過するフィルタである。この偏光フィルタ層２２２により、外乱要因や不要反射光（映りこみ光）をカットすることができる。 The polarizing filter layer 222 formed on the surface on the optical filter 205b side is a filter that cuts the S-polarized component and transmits only the P-polarized component. By this polarizing filter layer 222, disturbance factors and unnecessary reflected light (reflection light) can be cut.
本実施形態１では、偏光フィルタ層２２２は、ワイヤグリッド偏光子で形成されている。ワイヤグリッドは、アルミなどの金属で構成された導電体線が特定のピッチで格子状に配列してなるものであり、そのピッチが入射光（例えば、可視光の波長４００ｎｍから８００ｎｍ）に比べてかなり小さいピッチ（例えば、２分の１以下）であれば、導電体線に対して平行に振動する電場ベクトル成分の光をほとんど反射し、導電体線に対して垂直な電場ベクトル成分の光をほとんど透過させるため、単一偏光を作り出す偏光子として使用できる。 In the first embodiment, the polarizing filter layer 222 is formed of a wire grid polarizer. The wire grid is formed by arranging conductor wires made of a metal such as aluminum in a lattice pattern at a specific pitch, and the pitch is larger than that of incident light (for example, visible light wavelength 400 nm to 800 nm). If the pitch is very small (for example, less than one half), the light of the electric field vector component that oscillates parallel to the conductor line is almost reflected, and the light of the electric field vector component perpendicular to the conductor line is reflected. Because it is almost transparent, it can be used as a polarizer that produces a single polarization.
なお、ワイヤグリッド偏光子においては、金属ワイヤ断面積が増加すると、消光比が増加すること、更に周期幅に対する所定の幅以上の金属ワイヤでは透過率が減少する。また、金属ワイヤの長手方向に直交する断面形状がテーパ形状であると、広い帯域において透過率、偏光度の波長分散性が少なく、高消光比特性を示す。ワイヤグリッドの断面構造において溝方向の偏光方向の光が入射したときは遮光し、溝と直交する方向の偏光方向の光が入射したときは透過する。 In the wire grid polarizer, when the cross-sectional area of the metal wire is increased, the extinction ratio is increased. Further, the transmittance of the metal wire having a predetermined width or more with respect to the periodic width is decreased. Further, when the cross-sectional shape orthogonal to the longitudinal direction of the metal wire is a tapered shape, the wavelength dispersion of the transmittance and the polarization degree is small in a wide band, and a high extinction ratio characteristic is exhibited. In the cross-sectional structure of the wire grid, light with a polarization direction in the groove direction is shielded, and light with a polarization direction perpendicular to the groove is transmitted.
本実施形態１では、偏光フィルタ層２２２の偏光子として、ワイヤグリッド構造を用いているため、以下のような利点がある。すなわち、ワイヤグリッド構造は、よく知られる半導体プロセス、すなわちアルミ薄膜を蒸着した後にパターニングを行いメタルエッチングなどの手法によりワイヤグリッドのサブ波長凹凸構造を形成すればよい。よって、撮像素子の画素サイズ相当（数ミクロンレベル）で偏光子の方向を調整することが可能であるため、本実施例のような画素単位で透過偏光軸が選択できる。また、ワイヤグリッド構造は上述のとおり、アルミなどの金属で作製されるため、耐熱性に優れ、車載用途には好適である。偏光フィルタ層の詳細は、例えば、特開２０１４−３２１７４号公報等に記載されている。 In Embodiment 1, since the wire grid structure is used as the polarizer of the polarizing filter layer 222, there are the following advantages. In other words, the wire grid structure may be a well-known semiconductor process, that is, an aluminum thin film is deposited and then patterned to form the sub-wavelength uneven structure of the wire grid by a technique such as metal etching. Therefore, since the direction of the polarizer can be adjusted corresponding to the pixel size of the image sensor (several micron level), the transmission polarization axis can be selected in units of pixels as in this embodiment. Moreover, since the wire grid structure is made of a metal such as aluminum as described above, it has excellent heat resistance and is suitable for in-vehicle use. Details of the polarizing filter layer are described in, for example, Japanese Patent Application Laid-Open No. 2014-32174.
図８（ｂ）は、光学フィルタ２０５の画像センサ側の正面図である。
図９は、撮像画像データの画像例を示す説明図である。
光学フィルタ２０５は、図８（ｂ）に示すように、車両検出用画像領域２１３である撮像画像中央部（撮像領域の高さ２／４に相当する部分）に対応する箇所に配置される領域２１１と、雨滴検出用画像領域２１４である撮像画像上部（撮像領域高さ１／４に相当する部分）及び撮像画像下部（撮像領域高さ１／４に相当する部分）に対応する箇所に配置される赤外光透過フィルタ２１２とに、領域分割されている。赤外光透過フィルタ２１２には、図６に示したカットフィルタや図７に示したバンドパスフィルタを用いる。
FIG. 8B is a front view of the optical filter 205 on the image sensor side.
FIG. 9 is an explanatory diagram illustrating an example of captured image data.
As shown in FIG. 8B, the optical filter 205 is an area disposed at a position corresponding to the center of the captured image (the part corresponding to the height 2/4 of the imaging area) which is the vehicle detection image area 213. 211 and arranged at locations corresponding to the upper part of the picked-up image (part corresponding to ¼ of the height of the picked-up area) and the lower part of the picked-up image (part corresponding to ¼ of the height of the picked-up area) as the raindrop detection image region 214 The infrared light transmission filter 212 is divided into regions. As the infrared light transmission filter 212, the cut filter shown in FIG. 6 or the band pass filter shown in FIG. 7 is used.
対向車両のヘッドランプ及び先行車両のテールランプ並びに白線の画像は、主に撮像画像上下方向中央部に存在することが多く、撮像画像下部には自車両前方の直近路面の画像が存在し、撮像画像上部には自車両前方の空の画像が存在するのが通常である。よって、対向車両のヘッドランプ及び先行車両のテールランプ並びに白線の識別に必要な情報は撮像画像中央部に集中しており、その識別において撮像画像下部や上部の情報はあまり重要でない。よって、単一の撮像画像データから、対向車両や先行車両あるいは白線の検出と雨滴の検出とを両立して行う場合には、図９に示すように、撮像画像下部と上部を雨滴検出用画像領域２１４とし、残りの撮像画像中央部を車両検出用画像領域２１３とし、これに対応して赤外光透過フィルタ２１２を設けるのが好適である。 The headlamp of the oncoming vehicle, the tail lamp of the preceding vehicle, and the white line image are often present mainly in the center of the captured image in the vertical direction, and the image of the closest road surface in front of the host vehicle exists at the bottom of the captured image. In general, there is a sky image in front of the host vehicle. Therefore, the information necessary for identifying the head lamp of the oncoming vehicle, the tail lamp of the preceding vehicle, and the white line is concentrated in the center of the captured image, and the information on the lower and upper portions of the captured image is not so important in the identification. Therefore, when both oncoming vehicle, preceding vehicle, or white line detection and raindrop detection are performed simultaneously from a single captured image data, as shown in FIG. It is preferable to provide the region 214 and the remaining central portion of the captured image as the vehicle detection image region 213, and to provide the infrared light transmission filter 212 corresponding to the region 214.
ただし、本実施形態１においては、撮像画像上部を雨滴検出用画像領域２１４とし、残りの撮像画像中央部及び下部を車両検出用画像領域２１３とする。これは、後述するように、雨滴検出用の撮像フレームのフレーム時間を短くするのに好適だからである。 However, in the first embodiment, the upper part of the captured image is the raindrop detection image area 214, and the remaining central part and the lower part of the captured image are the vehicle detection image area 213. This is because, as will be described later, this is suitable for shortening the frame time of the raindrop detection imaging frame.
撮像部２００の撮像方向を下方へ傾けていくと、撮像領域内の下部に自車両のボンネットが入り込んでくる場合がある。この場合、自車両のボンネットで反射した太陽光や先行車両のテールランプなどが外乱光となり、これが撮像画像データに含まれることで対向車両のヘッドランプ及び先行車両のテールランプ並びに白線の誤識別の原因となる。このような場合でも、本実施形態１では、撮像画像下部に対応する箇所に図６に示したカットフィルタや図７に示したバンドパスフィルタが配置されているので、ボンネットで反射した太陽光や先行車両のテールランプなどの外乱光が除去される。よって、対向車両のヘッドランプ及び先行車両のテールランプ並びに白線の識別精度が向上する。 When the imaging direction of the imaging unit 200 is tilted downward, the hood of the host vehicle may enter the lower part of the imaging area. In this case, sunlight reflected by the bonnet of the host vehicle or the tail lamp of the preceding vehicle becomes disturbance light, which is included in the captured image data, which may cause misidentification of the head lamp of the oncoming vehicle, the tail lamp of the preceding vehicle, and the white line. Become. Even in such a case, in the first embodiment, the cut filter shown in FIG. 6 and the bandpass filter shown in FIG. The disturbance light such as the tail lamp of the preceding vehicle is removed. Therefore, the head lamp of the oncoming vehicle, the tail lamp of the preceding vehicle, and the white line identification accuracy are improved.
図１０は、本実施形態１における撮像部２００の詳細を示す説明図である。
この撮像部２００は、主に、撮像レンズ２０４と、光学フィルタ２０５と、受光素子が２次元配置された画素アレイを有する画像センサ２０６を含んだセンサ基板２０７と、センサ基板２０７から出力されるアナログ電気信号（画像センサ２０６上の各受光素子が受光した受光量）をデジタル電気信号に変換した撮像画像データを生成して出力する信号処理部２０８とから構成されている。被写体（識別対象物）を含む撮像領域からの光は、撮像レンズ２０４を通り、光学フィルタ２０５を透過して、画像センサ２０６でその光強度に応じた電気信号に変換される。信号処理部２０８では、画像センサ２０６から出力される電気信号（アナログ信号）が入力されると、その電気信号から、撮像画像データとして、画像センサ２０６上における各画素の明るさ（輝度）を示すデジタル信号を、画像の水平・垂直同期信号とともに後段のユニットへ出力する。
FIG. 10 is an explanatory diagram illustrating details of the imaging unit 200 according to the first embodiment.
The imaging unit 200 mainly includes an imaging lens 204, an optical filter 205, a sensor substrate 207 including an image sensor 206 having a pixel array in which light receiving elements are two-dimensionally arranged, and an analog output from the sensor substrate 207. The signal processing unit 208 generates and outputs captured image data obtained by converting an electrical signal (the amount of light received by each light receiving element on the image sensor 206) into a digital electrical signal. Light from the imaging region including the subject (identification target) passes through the imaging lens 204, passes through the optical filter 205, and is converted into an electrical signal corresponding to the light intensity by the image sensor 206. In the signal processing unit 208, when an electrical signal (analog signal) output from the image sensor 206 is input, the brightness (luminance) of each pixel on the image sensor 206 is shown as captured image data from the electrical signal. The digital signal is output to the subsequent unit together with the horizontal / vertical synchronizing signal of the image.
図１１は、光学フィルタ２０５と画像センサ２０６とを光透過方向に対して直交する方向から見たときの模式拡大図である。
画像センサ２０６は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などを用いた受光素子であり、画素ごとにフォトダイオード２０６Ａを用いている。フォトダイオード２０６Ａは、画素ごとに２次元的にアレイ配置されており、フォトダイオード２０６Ａの集光効率を上げるために、各フォトダイオード２０６Ａの入射側にはマイクロレンズ２０６Ｂが設けられている。この画像センサ２０６がワイヤボンディングなどの手法によりＰＷＢ（Ｐｒｉｎｔｅｄ Ｗｉｒｉｎｇ Ｂｏａｒｄ）に接合されてセンサ基板２０７が形成されている。
FIG. 11 is a schematic enlarged view when the optical filter 205 and the image sensor 206 are viewed from a direction orthogonal to the light transmission direction.
The image sensor 206 is a light receiving element using a CCD (Charge Coupled Device), a CMOS (Complementary Metal Oxide Semiconductor), or the like, and uses a photodiode 206A for each pixel. The photodiodes 206A are two-dimensionally arranged for each pixel, and a microlens 206B is provided on the incident side of each photodiode 206A in order to increase the light collection efficiency of the photodiode 206A. The image sensor 206 is bonded to a PWB (Printed Wiring Board) by a method such as wire bonding to form a sensor substrate 207.
画像センサ２０６の露光方式としては、全受光素子で同時に受光（同時露光）して各受光素子の信号を読み出すグローバルシャッタ方式や、所定の受光素子ラインごとに順次受光（ライン露光）して各受光素子の信号を読み出すローリングシャッタ方式を採用することができる。本実施形態１ではローリングシャッタ方式を採用する例について説明する。 As an exposure method of the image sensor 206, all the light receiving elements simultaneously receive light (simultaneous exposure) and read a signal of each light receiving element, or sequentially receive light for each predetermined light receiving element line (line exposure) and receive each light. A rolling shutter system that reads the signal of the element can be adopted. In the first embodiment, an example in which a rolling shutter system is employed will be described.
光学フィルタ２０５と画像センサ２０６はＵＶ接着剤で接合してもよいし、撮影に用いる有効画素範囲外をスペーサなどで支持した状態で有効画素外の四辺領域でＵＶ接着や熱圧着してやればよい。光学フィルタ２０５と画像センサ２０６を密着接合することにより、雨滴検出用画像領域２１４と車両検出用画像領域２１３の境界が明確になり、雨滴有無の判別精度が上げられる。 The optical filter 205 and the image sensor 206 may be bonded with a UV adhesive, or UV bonding or thermocompression may be performed in the four-side region outside the effective pixel while the outside of the effective pixel range used for photographing is supported by a spacer or the like. By tightly joining the optical filter 205 and the image sensor 206, the boundary between the raindrop detection image area 214 and the vehicle detection image area 213 is clarified, and the accuracy of determining the presence or absence of raindrops is increased.
次に、本実施形態１による、ワイパー１０７やウォッシャーを制御するための付着物検出が可能である。ここで、付着物とは、雨滴であるが、この他、鳥の糞、隣接車両からの跳ねてきた路面上の水しぶきなどを含めることもできる。 Next, the adhering matter detection for controlling the wiper 107 and the washer according to the first embodiment is possible. Here, the deposits are raindrops, but can also include bird droppings, splashes on the road surface from the adjacent vehicle, and the like.
光源２０２は、雨滴と空気の境界面のいずれかの面での反射光が撮像されるように、フロントガラス１０５への入射角度が設定される。雨滴からの反射光が最も強くなるレイアウトは、フロントガラス１０５面の法線に対して撮像部２００の光軸と略反対側の位置に設置された場合、および撮像部２００の光軸とほぼ同じ光軸となるように配置した場合であり、反射光が最も小さいのはフロントガラス１０５の法線と光源の光軸がほぼ一致した場合である。 The incident angle to the windshield 105 is set so that the light source 202 may image the reflected light on any one of the boundary surfaces between raindrops and air. The layout in which the reflected light from the raindrop is the strongest is almost the same as the optical axis of the imaging unit 200 when installed at a position substantially opposite to the optical axis of the imaging unit 200 with respect to the normal of the windshield 105 surface. In this case, the reflected light is the smallest when the normal of the windshield 105 and the optical axis of the light source substantially coincide.
なお、光源２０２は、赤外光透過フィルタ２１２の領域にのみ照射するように配置することができる。これにより、車両検出用画像領域からのノイズ成分を回避することができる。また、光源２０２を複数設けてもよい。この場合は、偏光フィルタ層２２２の各領域の偏光子パタンは、複数の光源２０２のうち偏光子パタンへの入射光量が最も大きい光源がフロントガラス１０５へ向かって出射する光の光軸と、撮像レンズの光軸との２つの光軸で形成される面に対して平行な偏光成分のみを透過するように設定される。 The light source 202 can be arranged so as to irradiate only the region of the infrared light transmission filter 212. Thereby, the noise component from the image area for vehicle detection can be avoided. A plurality of light sources 202 may be provided. In this case, the polarizer pattern of each region of the polarizing filter layer 222 includes the optical axis of light emitted from the light source having the largest incident light quantity to the polarizer pattern out of the plurality of light sources 202 toward the windshield 105, and imaging. It is set so as to transmit only the polarization component parallel to the surface formed by the two optical axes of the lens and the optical axis.
光源２０２の発光方法としては、連続発光（ＣＷ発光ともいう。）の他、特定のタイミングでパルス発光させてもよい。発光のタイミングと撮影のタイミングとを同期することにより、外乱光による影響をより減少させることができる。また、複数の光源２０２を設置した場合には、複数の光源２０２を同時に発光させてもよいし、順次発光させてもよい。順次発光させた場合は、その発光のタイミングと撮影のタイミングとを同期することにより、外乱光による影響をより減少させることができる。 As a light emitting method of the light source 202, in addition to continuous light emission (also referred to as CW light emission), pulse light emission may be performed at a specific timing. By synchronizing the timing of light emission and the timing of shooting, the influence of disturbance light can be further reduced. When a plurality of light sources 202 are installed, the plurality of light sources 202 may emit light simultaneously or sequentially. When the light is emitted sequentially, the influence of disturbance light can be further reduced by synchronizing the light emission timing with the photographing timing.
ここで、発明者らが撮影した実験結果を図１２、図１３に示す。
図１２は雨滴が付着している状態の実験結果を示す図である。
図１３は雨滴が付着していない状態の実験結果を示す図である。
なお、この実験結果を示す図は、画像領域の下部が雨滴検出用画像領域となっている例である。
Here, the experimental results taken by the inventors are shown in FIGS.
FIG. 12 is a diagram showing experimental results when raindrops are attached.
FIG. 13 is a diagram showing experimental results in a state where no raindrops are attached.
In addition, the figure which shows this experimental result is an example in which the lower part of the image area is an image area for raindrop detection.
図１４は、雨滴量が異なる雨滴検出用画像領域の状態を示す拡大図である。
図１４に示す撮影画像の輝度の標準偏差値を計算すると、それぞれ、左の画像から、２０、２７、３９となり、輝度の標準偏差値と雨量との間には相関があることがわかる。このため、本実施形態１では、画像解析ユニット１０２において、雨滴検出用画像領域の撮像画像から、輝度の標準偏差値に関する値を算出し、この標準偏差値に基づき、雨量の測定を行っている。なお、標準偏差に代えて分散値を用いてもよい。
FIG. 14 is an enlarged view showing the state of raindrop detection image regions having different raindrop amounts.
When the standard deviation value of the luminance of the photographed image shown in FIG. 14 is calculated, it becomes 20, 27, 39 from the left image, respectively, and it can be seen that there is a correlation between the standard deviation value of the luminance and the rainfall. For this reason, in the first embodiment, the image analysis unit 102 calculates a value related to the standard deviation value of the brightness from the captured image of the raindrop detection image area, and measures the rainfall based on the standard deviation value. . A variance value may be used instead of the standard deviation.
次に、本実施形態１における撮像部２００の撮像動作について説明する。
本実施形態１の撮像部２００は、自車両１００の前方領域からの光を受光して前方領域に存在する物体（他車両、白線、路面、人物、障害物等）を認識するための物体認識用画像を取得するための物体認識用フレームと、光源２０２からの光を照射してフロントガラス上の雨滴を検出するための雨滴検出用画像を取得するための雨滴検出用フレームとを個別に撮像する。具体的には、物体認識用フレームを複数枚撮像するたびに１枚の雨滴検出用フレームを撮像するという一連の撮像動作を繰り返し行う。
Next, the imaging operation of the imaging unit 200 in the first embodiment will be described.
The imaging unit 200 according to the first embodiment receives light from the front area of the host vehicle 100 and recognizes an object (another vehicle, a white line, a road surface, a person, an obstacle, etc.) existing in the front area. An object recognition frame for acquiring an image for image acquisition and a raindrop detection frame for acquiring an image for raindrop detection for detecting raindrops on the windshield by irradiating light from the light source 202 are individually captured. To do. Specifically, a series of imaging operations of imaging one raindrop detection frame each time a plurality of object recognition frames are imaged are repeated.
図１５は、本実施形態１における撮像動作の一例を簡易的に示したタイミングチャートである。
図１５には、フレーム同期信号、ライン読出信号、フレーム番号、露光期間が同じ時間軸にそって並べて表示されている。露光期間については、縦軸方向が受光素子ラインの位置に対応している。画像センサ２０６の各受光素子の受光量は、ライン読出信号に合わせて受光素子ラインごとに読み出されて出力される。
FIG. 15 is a timing chart schematically showing an example of the imaging operation in the first embodiment.
In FIG. 15, the frame synchronization signal, line readout signal, frame number, and exposure period are displayed side by side along the same time axis. Regarding the exposure period, the vertical axis direction corresponds to the position of the light receiving element line. The amount of light received by each light receiving element of the image sensor 206 is read and output for each light receiving element line in accordance with the line read signal.
図１６（ａ）は、センシング用フレームにおける、ローリングシャッタ方式によるデータ読み出しタイミングと露光期間の関係を説明する説明図である。
図１６（ｂ）は、雨滴検出用フレームにおける、ローリングシャッタ方式によるデータ読み出しタイミングと露光期間の関係を説明する説明図である。
本実施形態１は、ローリングシャッタ方式を採用しており、センシング用フレームでは、図１６（ａ）に示すように、画像センサ２０６の受光素子ライン・・・，Ｎ，Ｎ＋１，Ｎ＋２，・・・ごとのライン読出信号（水平同期信号）の各タイミングを基準にして、設定された露光時間に応じた受光開始時間が受光素子ラインごとに異なる。雨滴検出用フレームでも、図１６（ｂ）に示すように、画像センサ２０６の受光素子ライン・・・，Ｍ，Ｍ＋１，Ｍ＋２，・・・ごとのライン読出信号（水平同期信号）の各タイミングを基準にして、設定された露光時間に応じた受光開始時間が受光素子ラインごとに異なる。
FIG. 16A is an explanatory diagram for explaining the relationship between the data reading timing by the rolling shutter method and the exposure period in the sensing frame.
FIG. 16B is an explanatory diagram for explaining the relationship between the data reading timing by the rolling shutter method and the exposure period in the raindrop detection frame.
The first embodiment employs a rolling shutter system, and in the sensing frame, as shown in FIG. 16A, the light receiving element lines of the image sensor 206..., N, N + 1, N + 2,. The light reception start time corresponding to the set exposure time is different for each light receiving element line with reference to the timing of each line readout signal (horizontal synchronization signal). Also in the raindrop detection frame, as shown in FIG. 16B, the timing of the line readout signal (horizontal synchronization signal) for each of the light receiving element lines..., M, M + 1, M + 2,. As a reference, the light reception start time corresponding to the set exposure time differs for each light receiving element line.
フレーム番号Ｂ０の撮像フレームは、車線維持制御（ＬＤＷ：Lane Departure Warning）に用いられるセンシング用フレームである。この撮像フレームＢ０は、撮像動作時の露光時間が所定の時間範囲内で自動露光制御される自動露光フレームである。したがって、例えば、昼間のように明るい環境下であれば短い露光時間が設定され、夜間のように暗い環境下であれば長い露光時間が設定される。 The imaging frame of frame number B0 is a sensing frame used for lane keeping control (LDW: Lane Departure Warning). This imaging frame B0 is an automatic exposure frame in which the exposure time during the imaging operation is automatically controlled within a predetermined time range. Therefore, for example, a short exposure time is set in a bright environment such as daytime, and a long exposure time is set in a dark environment such as nighttime.
フレーム番号Ａ１の撮像フレームは、ヘッドランプの配光制御（ＡＨＢ：Auto High Beam）に用いられるセンシング用フレームである。この撮像フレームＡ１は、撮像動作時の露光時間が固定である固定露光フレームである。 The imaging frame having the frame number A1 is a sensing frame used for headlamp light distribution control (AHB: Auto High Beam). This imaging frame A1 is a fixed exposure frame in which the exposure time during the imaging operation is fixed.
フレーム番号Ｂ２の撮像フレームは、衝突回避制御（ＦＣＷ：Front Collision Warning）に用いられるセンシング用フレームである。この撮像フレームＢ２は、撮像動作時の露光時間が所定の時間範囲内で自動露光制御される自動露光フレームである。 The imaging frame with frame number B2 is a sensing frame used for collision avoidance control (FCW: Front Collision Warning). The imaging frame B2 is an automatic exposure frame in which the exposure time during the imaging operation is automatically controlled within a predetermined time range.
フレーム番号Ａ３の撮像フレームは、第２フレーム目の撮像フレームと同様、ヘッドランプの配光制御に用いられるセンシング用フレームで、撮像動作時の露光時間が固定である固定露光フレームである。 The imaging frame with the frame number A3 is a sensing frame used for light distribution control of the headlamp, like the second imaging frame, and is a fixed exposure frame with a fixed exposure time during the imaging operation.
フレーム番号Ｒ４の撮像フレームは、ワイパーの駆動制御等に用いられる雨滴検出用フレームである。この撮像フレームＲ４は、撮像動作時の露光時間がごく短時間に固定された固定露光フレームである。雨滴検出用画像領域２１４の画像を取得するための１つの雨滴検出用フレームは、光源２０２からの比較的強い光を受光することから、画像センサ２０６の信号が飽和してしまうのを防ぐために、光源２０２からの照明光以外の外乱光の影響を小さくするために、なるべく露光時間を短くするのが好ましい。また、光源２０２からの光量はほぼ一定であることから、固定露光時間とすることができる。 The imaging frame of frame number R4 is a raindrop detection frame used for wiper drive control and the like. This imaging frame R4 is a fixed exposure frame in which the exposure time during the imaging operation is fixed in a very short time. Since one raindrop detection frame for acquiring an image of the raindrop detection image area 214 receives relatively strong light from the light source 202, in order to prevent the signal of the image sensor 206 from being saturated, In order to reduce the influence of disturbance light other than illumination light from the light source 202, it is preferable to shorten the exposure time as much as possible. Further, since the amount of light from the light source 202 is substantially constant, the fixed exposure time can be set.
本実施形態１においては、センシング用フレームＢ０〜Ａ３の撮像を所定回数（例えば７回）繰り返した後に１回の雨滴検出用フレームＲ４の撮像を行うという撮像動作を繰り返し実行する。 In the first embodiment, an imaging operation is repeated in which imaging of the raindrop detection frame R4 is performed once after imaging of the sensing frames B0 to A3 is repeated a predetermined number of times (for example, 7 times).
次に、本実施形態１における光源２０２の発光制御について説明する。
雨滴検出用フレームＲ４で撮像する撮像画像は、雨滴検出用画像領域のみで十分であるため、雨滴検出用フレームＲ４で読み出すデータは、雨滴検出用画像領域に対応するライン分、すなわち、撮像画像の上部に対応するライン分だけでよい。そのため、光源２０２で光を照射すべき期間も、雨滴検出用画像領域に対応するラインの露光期間だけでよい。
Next, light emission control of the light source 202 in the first embodiment will be described.
Since the captured image captured by the raindrop detection frame R4 is sufficient only for the raindrop detection image region, the data read out by the raindrop detection frame R4 is the line corresponding to the raindrop detection image region, that is, the captured image. Only the line corresponding to the upper part is sufficient. Therefore, the period during which the light source 202 should irradiate light may be only the exposure period of the line corresponding to the raindrop detection image area.
光源２０２から光が照射されている期間は、その光が車両検出用画像領域に対応する画像センサ部分にも入射し、車両検出用画像領域の外乱光となり得る。よって、雨滴検出用画像領域に対応するラインの露光期間だけ光源２０２から光を照射するように光源２０２を発光制御すれば、雨滴検出用フレームＲ４のフレーム時間を短くしても、光源２０２からの光がその前後に位置するセンシング用フレームＡ３，Ｂ０の外乱光となることはない。 During a period in which light is emitted from the light source 202, the light also enters the image sensor portion corresponding to the vehicle detection image area, and can be disturbance light in the vehicle detection image area. Therefore, if the light source 202 is controlled so that light is emitted from the light source 202 only during the exposure period of the line corresponding to the raindrop detection image area, the light from the light source 202 can be reduced even if the frame time of the raindrop detection frame R4 is shortened. The light does not become disturbing light of the sensing frames A3 and B0 located before and after that.
図１７は、雨滴検出用フレームＲ４におけるライン読出信号と光源２０２の発光タイミングとの関係の一例を示すタイミングチャートである。
雨滴検出用フレームＲ４で雨滴検出用画像領域に対応するライン分の露光期間は、常に光源２０２を発光させるように制御してもよい。この場合、雨滴検出用画像領域に対応する全ラインについて、光源２０２が発光している状態のデータが取得できる。ただし、この場合、光源２０２からの光以外の外乱光が画像センサ２０６に入射する状況だと、その外乱光成分の誤差が含まれたデータとなる。
FIG. 17 is a timing chart showing an example of the relationship between the line readout signal and the light emission timing of the light source 202 in the raindrop detection frame R4.
The exposure period for the line corresponding to the raindrop detection image area in the raindrop detection frame R4 may be controlled so that the light source 202 always emits light. In this case, it is possible to acquire data in a state where the light source 202 emits light for all lines corresponding to the raindrop detection image region. However, in this case, when disturbance light other than light from the light source 202 is incident on the image sensor 206, the data includes an error of the disturbance light component.
本実施形態１においては、１つの雨滴検出用フレームＲ４で雨滴検出用画像領域に対応するライン分の露光期間中に、光源２０２がＯＮとＯＦＦする期間が少なくとも１回ずつ存在するように、光源２０２を発光制御する。本実施形態１では、１ラインごとに光源２０２がＯＮ／ＯＦＦするように光源２０２を発光制御する。なお、例えば２ラインごとに光源２０２がＯＮ／ＯＦＦするように光源２０２を発光制御するようにしてもよい。各ラインの露光期間内における光源２０２の発光時期は、図１８に示すように各ラインの露光期間の最初の時期であってもよいし、図１９に示すように各ラインの露光期間の最後の時期であってもよい。 In the first embodiment, the light source 202 is turned on and off at least once during the exposure period for the line corresponding to the raindrop detection image area in one raindrop detection frame R4. 202 is controlled to emit light. In the first embodiment, the light source 202 is controlled to emit light so that the light source 202 is turned on / off for each line. For example, the light source 202 may be controlled to emit light so that the light source 202 is turned on / off every two lines. The light emission timing of the light source 202 within the exposure period of each line may be the first time of the exposure period of each line as shown in FIG. 18, or the last time of the exposure period of each line as shown in FIG. It may be time.
次に、本発明者らが行った実験例について説明する。
本実験例では、本実施形態１のように１ラインごとに光源２０２がＯＮ／ＯＦＦするように光源２０２を発光制御して雨滴検出が適切に実施できるかどうかを確認する。
Next, experimental examples performed by the present inventors will be described.
In the present experimental example, as in the first embodiment, the light source 202 is controlled to emit light so that the light source 202 is turned on / off for each line to check whether raindrop detection can be appropriately performed.
図２０は、光源２０２がＯＮであるときの外乱光が含まれる雨滴検出用画像領域の画像例を示すものである。
図２１は、光源２０２がＯＮであるときの外乱光が含まれない雨滴検出用画像領域の画像例を示すものである。
図２２は、図２０に示す画像例において光源光が映し出されている画像部分を拡大した図である。
図２２に示すように、光源２０２のＯＮ／ＯＦＦに応じて１ラインごとに高いコントラストが得られていることがわかる。
FIG. 20 shows an image example of an image region for raindrop detection that includes disturbance light when the light source 202 is ON.
FIG. 21 shows an image example of an image area for raindrop detection that does not include disturbance light when the light source 202 is ON.
FIG. 22 is an enlarged view of the image portion where the light source light is projected in the image example shown in FIG.
As shown in FIG. 22, it can be seen that high contrast is obtained for each line in accordance with ON / OFF of the light source 202.
光源２０２をＯＦＦにした状態にあっては、光源２０２からの光が受光されないため、外乱光成分のみが存在している。しかし、光源２０２をＯＮにした状態におけるライン毎の画素値の総和から、光源２０２をＯＦＦにした状態におけるライン毎の画素値の総和を差し引いたとしても、除去しきれない外乱光成分は残存してしまう。 In a state where the light source 202 is turned off, light from the light source 202 is not received, and therefore only disturbance light components are present. However, even if the sum of the pixel values for each line when the light source 202 is turned off is subtracted from the sum of the pixel values for each line when the light source 202 is turned on, disturbance light components that cannot be removed remain. End up.
差分値をとっても外乱光成分が残存してしまう理由は、光源２０２がＯＮのときのラインと光源２０２がＯＦＦのときのラインとでは画像センサ上の位置が異なるため、両ラインの画素値総和にそれぞれ含まれる外乱光成分が、異なる位置で受光された外乱光の成分となるからである。特に、図２０に示すような強い外乱光が画像センサ上に局所的に入射した場合、画像センサ上における外乱光のスポット内の光量分布は、スポット中心付近ではおおよそ一様であるが、スポット周辺部では、その周辺に近づくほど光量が小さくなるという光量勾配をもつ。そのため、外乱光のスポット周辺部では、光源２０２がＯＮのときの外乱光の光量と光源２０２がＯＦＦのときの外乱光の光量との間の差が大きいものとなる。その結果、外乱光のスポット周辺部に対応するラインでは、差分値をとっても除去しきれない外乱光成分が多く残存する。 Even if the difference value is taken, the disturbance light component remains because the position on the image sensor differs between the line when the light source 202 is ON and the line when the light source 202 is OFF. This is because the disturbance light components included in each become components of disturbance light received at different positions. In particular, when strong disturbance light as shown in FIG. 20 is locally incident on the image sensor, the light amount distribution in the spot of disturbance light on the image sensor is approximately uniform in the vicinity of the center of the spot, The portion has a light amount gradient in which the light amount decreases as it approaches the periphery. Therefore, in the peripheral portion of the disturbance light spot, the difference between the amount of disturbance light when the light source 202 is ON and the amount of disturbance light when the light source 202 is OFF is large. As a result, in the line corresponding to the peripheral portion of the disturbance light spot, many disturbance light components remain that cannot be removed even if the difference value is taken.
なお、グローバルシャッタ方式を用いた場合であっても、差分値をとっても外乱光成分が残存してしまう。なぜなら、グローバルシャッタ方式で撮像される点灯時画像及び消灯時画像は、互いに異なる撮像フレームで撮像されるので、両画像間には撮像タイミングには、少なくともフレーム時間分の時間差がある。外乱光は、一般に、僅かな時間でも刻々と変化するため、点灯時画像及び消灯時画像の撮像タイミングの時間差の期間中に外乱光が変化し得る。この場合、点灯時画像に含まれる外乱光成分と、消灯時画像に含まれる外乱光成分とは一致しないため、差分情報中には、その不一致分の外乱光成分が残存することになる。 Even when the global shutter method is used, disturbance light components remain even if the difference value is taken. This is because the on-time image and the off-time image captured by the global shutter method are captured in different imaging frames, and there is a time difference of at least the frame time between the two images. Since disturbance light generally changes every moment even in a short time, disturbance light can change during the time difference between the imaging timings of the on-time image and the off-time image. In this case, the disturbance light component included in the lighting-time image and the disturbance light component included in the light-off image do not coincide with each other, so that the disturbance light component corresponding to the mismatch remains in the difference information.
このように、差分値をとっても外乱光成分が多く残存してしまう場合があると、外乱光成分が除去されていることを前提とした雨滴検出処理において検出誤差を生じさせる。なお、差分画像中における外乱光成分の残存量は、雨滴等の付着物の検出誤差の大きさに影響を与えるが、差分画像中における外乱光成分の残存量がおおよそ一定の範囲内で安定していれば、付着物検出の誤差の大きさもおおよそ一定の範囲内で安定する。このような場合には、その検出結果を利用する雨滴検出処理では、予め一定の誤差が生じていることを前提に処理することが可能なので、処理結果に支障を来すような事態は生じない。しかしながら、差分画像中における外乱光成分の残存量は、撮像状況等によって全く異なり、大きなバラツキをもつ。そのため、雨滴等の付着物の検出結果にも大きなバラツキが生じるので、その検出結果を利用する雨滴検出処理では、予め一定の誤差が生じているという前提で処理することができず、雨滴検出結果のバラツキによって様々な支障を来すおそれがある。そこで、本実施形態においては、次のような雨滴検出処理を行う。 As described above, if a large amount of disturbance light components may remain even if the difference value is taken, a detection error is caused in the raindrop detection process on the assumption that the disturbance light components are removed. Although the amount of disturbance light components remaining in the difference image affects the magnitude of the detection error of deposits such as raindrops, the amount of disturbance light components remaining in the difference image is stable within a certain range. If this is the case, the magnitude of the error in detecting the adhering matter is also stabilized within a certain range. In such a case, the raindrop detection process using the detection result can be processed on the assumption that a certain error has occurred in advance, so that a situation that does not interfere with the process result does not occur. . However, the amount of disturbance light component remaining in the difference image is completely different depending on the imaging situation and the like, and has a large variation. For this reason, there is a large variation in the detection results of the deposits such as raindrops. Therefore, the raindrop detection process using the detection results cannot be processed on the assumption that a certain error has occurred in advance. There is a risk of various problems due to variations in Therefore, in the present embodiment, the following raindrop detection process is performed.
図２３は、本実施形態１における雨滴検出処理のフローチャートである。
画像解析ユニット１０２は、図１７に示したように、雨滴検出用フレームＲ４におけるライン読出信号と光源２０２の発光タイミングとの同期をとりながら、雨滴検出用フレームＲ４の撮像処理を行う（Ｓ１）。これにより、例えば、図２０に示したように、光源２０２の点灯時のラインと消灯時のラインとが上下方向に交互に並んだ雨滴検出用画像領域の画像を得ることができる。これにより、光源点灯時のラインからなる点灯時画像と、光源消灯時のラインからなる消灯時画像とを、１つの撮像フレームで撮像することができる。なお、ここでは、点灯時ラインと消灯時ラインとが１つずつ交互に並ぶように光源２０２を制御しているが、これに限らず、例えば、複数の点灯時ラインごとに１つの消灯時ラインが入るように光源２０２を制御してもよい。
FIG. 23 is a flowchart of raindrop detection processing according to the first embodiment.
As shown in FIG. 17, the image analysis unit 102 performs the imaging process of the raindrop detection frame R4 while synchronizing the line readout signal in the raindrop detection frame R4 and the light emission timing of the light source 202 (S1). As a result, for example, as shown in FIG. 20, an image of the raindrop detection image area in which the light-on line and the light-off line are alternately arranged in the vertical direction can be obtained. As a result, it is possible to capture an on-time image consisting of a line when the light source is on and an off-time image consisting of a line when the light source is off with one imaging frame. Here, the light source 202 is controlled so that the lighting line and the lighting line are alternately arranged one by one. However, the present invention is not limited to this. For example, one lighting line is provided for each of a plurality of lighting lines. The light source 202 may be controlled so that.
次に、画像解析ユニット１０２は、光源消灯時のラインからなる消灯時画像の画素値の総和（消灯時画素値総和）を算出する（Ｓ２）。そして、算出した消灯時画素値総和が所定の外乱判定閾値を超えているかどうかを判定する（Ｓ３）。なお、ここでは、強い外乱光が入ってきているかどうかを、画素値の総和を用いて判断するが、強い外乱光が入ってきているかどうかを判断できる情報であれば、これに限られない。 Next, the image analysis unit 102 calculates the sum of the pixel values of the off-time image consisting of the line when the light source is off (total pixel value when off) (S2). Then, it is determined whether or not the calculated pixel value sum at turn-off exceeds a predetermined disturbance determination threshold value (S3). Here, whether strong disturbance light is input is determined using the sum of pixel values. However, the information is not limited to this as long as the information can determine whether strong disturbance light is input.
このとき、外乱判定閾値を超えていなければ（Ｓ３のＮｏ）、通常どおり、各光源点灯時のラインとこれに隣接する光源消灯時のラインとの画素値差分をとった点灯・消灯差分画像を作成する（Ｓ４）。このようにして作成された点灯・消灯差分画像のデータは、メモリに保存される。その後、画像解析ユニット１０２は、前回にメモリに保存した点灯・消灯差分画像のデータを読み出し、前回の点灯・消灯差分画像と今回の点灯・消灯差分画像との差分をとった時差分画像を作成する（Ｓ５）。 At this time, if the disturbance determination threshold is not exceeded (No in S3), a lighting / extinguishing difference image obtained by calculating a pixel value difference between a line when each light source is turned on and a line when the light source is turned off adjacent to the light source as usual. Create (S4). The lighting / lighting difference image data created in this way is stored in the memory. Thereafter, the image analysis unit 102 reads the data of the lighting / lighting difference image previously stored in the memory, and creates a time difference image by taking the difference between the previous lighting / lighting difference image and the current lighting / lighting difference image. (S5).
本実施形態において、この時差分画像において規定値以上の画素値をもつ画像領域は、当該２つの点灯・消灯差分画像間における前回の点灯・消灯差分画像の作成時と今回の点灯・消灯差分画像の作成時との間に雨滴が付着した箇所である。このような時差分画像の画素値から雨滴を検出する方法によれば、光源２０２による照明範囲内に照度ムラが存在していても、両画像間における同一箇所については光源による照度は同一なので、雨滴２０３の検出精度に対する照度ムラの影響が少ない。よって、高い検出精度で雨滴２０３を検出することが可能である。 In this embodiment, the image area having a pixel value greater than or equal to the specified value in the difference image at this time is the difference between the two lighting / lighting difference images at the time of the previous lighting / lighting difference image creation and the current lighting / lighting difference image. It is a place where raindrops have adhered between the time of creation. According to such a method of detecting raindrops from the pixel values of the time difference image, even if there is illuminance unevenness in the illumination range by the light source 202, the illuminance by the light source is the same for the same part between both images, The influence of uneven illumination on the detection accuracy of the raindrop 203 is small. Therefore, it is possible to detect the raindrop 203 with high detection accuracy.
本実施形態においては、上述したように、光源２０２からの光のうち、雨滴２０３が付着しているフロントガラス１０５上の付着領域に入射する光は撮像部２００に入射し、雨滴２０３が付着していない非付着領域に入射した光は撮像部２００に入射しない。したがって、雨滴２０３を映し出す雨滴画像は、雨滴検出用画像領域２１４上において高輝度な画像として映し出される。したがって、雨滴２０３を映し出す雨滴画像領域は、時差分画像において大きな画素値をもつことになる。 In the present embodiment, as described above, of the light from the light source 202, light incident on the attachment region on the windshield 105 to which the raindrop 203 is attached enters the imaging unit 200, and the raindrop 203 is attached. Light that has entered the non-attached region that is not incident does not enter the imaging unit 200. Therefore, the raindrop image in which the raindrop 203 is projected is projected as a high-luminance image on the raindrop detection image area 214. Therefore, the raindrop image area in which the raindrop 203 is projected has a large pixel value in the time difference image.
そこで、画像解析ユニット１０２は、時差分画像中から所定の規定値を超える画素値をもった画像領域を抽出し、抽出された画像領域を、雨滴２０３が映し出された雨滴画像領域の候補領域として特定する。具体的には、まず、時差分画像の画素値を所定の規定値と比較することにより２値化処理を行う。この２値化処理では、例えば、所定の規定値以上の画素値をもつ画素に「１」、そうでない画素に「０」を割り振ることで、２値化画像を作成する。次に、この２値化画像において、「１」が割り振られた画素が近接している場合には、それらを１つの画像領域として認識するラベリング処理を実施する。これによって、時差分画像の画素値が大きい近接した複数の画素の集合が、１つの画像領域として抽出される。 Therefore, the image analysis unit 102 extracts an image region having a pixel value exceeding a predetermined specified value from the time difference image, and uses the extracted image region as a raindrop image region candidate region on which the raindrop 203 is projected. Identify. Specifically, first, the binarization process is performed by comparing the pixel value of the time difference image with a predetermined specified value. In this binarization process, for example, a binary image is created by assigning “1” to pixels having a pixel value equal to or greater than a predetermined specified value and assigning “0” to pixels that are not. Next, in the binarized image, when pixels assigned with “1” are close to each other, a labeling process for recognizing them as one image region is performed. Thereby, a set of a plurality of adjacent pixels having a large pixel value of the time difference image is extracted as one image region.
次に、このようにして特定される雨滴画像領域の候補領域に対し、形状識別処理を行って雨滴画像領域を特定する。撮像画像上の雨滴画像の形状は円形状であることが多いので、抽出した雨滴画像領域の候補領域が円形状であるかどうかの形状識別処理を行い、その結果から雨滴画像領域を特定する。そして、このようにして特定された雨滴画像領域の数をカウントした結果を雨滴量として算出する（Ｓ６）。 Next, the raindrop image area is specified by performing shape identification processing on the candidate raindrop image area specified in this way. Since the shape of the raindrop image on the captured image is often circular, shape identification processing is performed to determine whether the candidate raindrop image region is a circular shape, and the raindrop image region is identified based on the result. Then, the result of counting the number of raindrop image areas specified in this way is calculated as the raindrop amount (S6).
画像解析ユニット１０２は、算出した雨滴量のデータをワイパー制御ユニット１０６へ出力する（Ｓ７）。ワイパー制御ユニット１０６は、例えば、この雨滴量の算出結果が所定の条件（例えば、連続して作成された２０個の時差分画像について、いずれも雨滴量のカウント値が１０以上であるという条件）を満たしたときに、ワイパー１０７の駆動制御やウォッシャー液の吐出制御を行う。 The image analysis unit 102 outputs the calculated raindrop amount data to the wiper control unit 106 (S7). For example, the wiper control unit 106 determines that the calculation result of the raindrop amount is a predetermined condition (for example, a condition that the count value of the raindrop amount is 10 or more for each of the 20 time difference images created in succession). When the above condition is satisfied, the drive control of the wiper 107 and the discharge control of the washer liquid are performed.
一方で、上述した消灯時画素値総和が外乱判定閾値を超えている場合（Ｓ３のＹｅｓ）、画像解析ユニット１０２は、今回の雨滴検出処理を終了し、雨滴量を算出しない。これは次の理由による。 On the other hand, when the above-mentioned pixel value summation during extinction exceeds the disturbance determination threshold (Yes in S3), the image analysis unit 102 ends the current raindrop detection process and does not calculate the raindrop amount. This is due to the following reason.
光源消灯時のラインからなる消灯時画像は、光源２０２からの光源光以外の外乱光のみを撮像した画像であるため、その消灯時画素値総和が外乱判定閾値を超えているときは、強い外乱光が撮像部に入射している状況である。このような状況下では、本実施形態のようにローリングシャッタ方式によりラインごとに光源２０２の点灯、消灯を切り替えて雨滴検出用画像領域の画像を撮像する場合、上述したように、強い外乱光のスポット周辺部に対応するラインで外乱光成分が消灯時画素値総和中に多く含まれてしまう。そのため、点灯・消灯差分画像の画素値が外乱光成分の分だけ本来よりも高く算出されてしまう。そうすると、時差分画像の画素値も本来より高く算出される結果、雨滴量の誤算出を引き起こし、雨が降っていないのにワイパーが駆動してしまうなどの不具合を引き起こすおそれがある。 Since the off-time image consisting of the line when the light source is off is an image obtained by capturing only disturbance light other than the light source light from the light source 202, if the sum of the pixel values at the time of extinction exceeds the disturbance determination threshold, strong disturbance In this situation, light is incident on the imaging unit. Under such circumstances, when the image of the image area for raindrop detection is picked up by switching on / off the light source 202 for each line by the rolling shutter method as in this embodiment, as described above, strong disturbance light Many disturbance light components are included in the pixel value summation when the light is extinguished on the line corresponding to the spot periphery. For this reason, the pixel value of the on / off difference image is calculated to be higher than the original by the amount of the disturbance light component. As a result, the pixel value of the time difference image is calculated to be higher than the original value, which may cause an erroneous calculation of the raindrop amount, and may cause problems such as driving the wiper when it is not raining.
本実施形態１では、消灯時画素値総和が外乱判定閾値を超えているような強い外乱光が入射する状況では、雨滴量を算出しないので、このような不具合を引き起こすことはない。 In the first embodiment, the amount of raindrops is not calculated in a situation in which strong disturbance light is incident such that the sum of pixel values at the time of extinction exceeds the disturbance determination threshold value, and thus such a problem does not occur.
また、本実施形態１においては、強い外乱光が継続して入ってくるような状況だと、雨滴量の算出を行わない期間が継続するおそれがあるので、仮にこの期間に雨が降り始めると、雨が降っているのにワイパーが駆動しないというような不具合が生じることも考えられる。しかしながら、本実施形態１のようにフロントガラス１０５を介して自車両前方を撮像する場合において、消灯時画素値総和が外乱判定閾値を超えるような強い外乱光は、直射日光や直射日光が自車両のボンネット等で反射した反射光などの太陽光であることがほとんどである。太陽光による強い外乱光が入るのは、晴れの日であり、通常は雨が降っていない状況なので、仮に強い外乱光が継続して入ってきて雨滴量の算出を行わない期間が継続しても、その期間には雨が降っていない蓋然性が高く、雨滴検出ができなくても実害がない。 Further, in the first embodiment, in a situation where strong disturbance light continuously enters, there is a possibility that a period during which the raindrop amount is not calculated may continue, so if it begins to rain during this period It is also conceivable that a problem such as the wiper not driving when it is raining may occur. However, in the case of imaging the front of the host vehicle via the windshield 105 as in the first embodiment, strong disturbance light in which the pixel value sum when extinguished exceeds the disturbance determination threshold is generated by direct sunlight or direct sunlight. In most cases, it is sunlight such as reflected light reflected by the hood of the hood. The strong disturbance light from sunlight enters on a sunny day, and it is usually not raining. Therefore, the period when strong disturbance light continuously enters and the amount of raindrops is not calculated continues. However, there is a high probability that it will not rain during that period, and there will be no harm even if raindrop detection is not possible.
本実施形態１では、消灯時画素値総和が外乱判定閾値を超えていると判定されたら（Ｓ３のＹｅｓ）、雨滴量を算出するための処理（Ｓ４〜Ｓ６）を行わないという制御を実施するが、そのように判定されたときの制御はこれに限られない。例えば、消灯時画素値総和が外乱判定閾値を超えていると判定されたとき（Ｓ３のＹｅｓ）、雨滴量を算出するための処理（Ｓ４〜Ｓ６）は行うが、その雨滴量の算出結果をワイパー制御ユニットへ出力しないという制御を実施してもよい。この場合でも、雨滴量の誤算出に起因した不具合を引き起こすのを防止できる。 In the first embodiment, if it is determined that the pixel value sum when the light is off exceeds the disturbance determination threshold value (Yes in S3), control for not performing the process (S4 to S6) for calculating the raindrop amount is performed. However, the control when such determination is made is not limited to this. For example, when it is determined that the pixel value sum when the light is extinguished exceeds the disturbance determination threshold value (Yes in S3), the process (S4 to S6) for calculating the raindrop amount is performed, but the calculation result of the raindrop amount is You may implement control that it does not output to a wiper control unit. Even in this case, it is possible to prevent a problem caused by erroneous calculation of the raindrop amount.
また、本実施形態１では、消灯時画素値総和が外乱判定閾値を超えていると判定されたときの雨滴量の算出結果は、ワイパー制御ユニットにおいて全く利用されないが、信頼度を落として利用するようにしてもよい。例えば、画像解析ユニット１０２は、消灯時画素値総和が多いほど雨滴量の算出結果に対する信頼度が低くなるように、各雨滴量算出結果に対して信頼度を設定する。そして、各雨滴量算出結果をワイパー制御ユニットへ出力する際、その信頼度とともに雨滴量算出結果を出力する。そして、ワイパー制御ユニットでは、その信頼度の高低に応じて、その雨滴量算出結果がワイパー制御に与える影響度を変えることで、消灯時画素値総和が外乱判定閾値を超えているときの雨滴量算出結果を全く利用しない場合よりも、適切なワイパー制御が可能となる場合がある。 In the first embodiment, the calculation result of the raindrop amount when it is determined that the pixel value sum when the light is off exceeds the disturbance determination threshold is not used at all in the wiper control unit, but is used with reduced reliability. You may do it. For example, the image analysis unit 102 sets the reliability with respect to each raindrop amount calculation result so that the reliability with respect to the raindrop amount calculation result becomes lower as the pixel value sum at turn-off becomes larger. And when outputting each raindrop amount calculation result to a wiper control unit, the raindrop amount calculation result is output with the reliability. The wiper control unit changes the influence of the raindrop amount calculation result on the wiper control according to the reliability level, thereby reducing the raindrop amount when the pixel value sum when the light is extinguished exceeds the disturbance determination threshold. In some cases, more appropriate wiper control is possible than when no calculation result is used.
また、本実施形態１では、雨滴量の算出に際し、前回の点灯・消灯差分画像と今回の点灯・消灯差分画像との差分である時差分画像を用いているが、必ずしも時差分画像を用いる必要はない。例えば、今回の点灯・消灯差分画像中から所定の規定値を超える画素値をもった画像領域を抽出し、抽出された画像領域を、雨滴２０３が映し出された雨滴画像領域の候補領域として特定する。そして、このようにして特定される雨滴画像領域の候補領域に対し、形状識別処理を行って雨滴画像領域を特定したうえで、特定した雨滴画像領域の数をカウントし、その結果を雨滴量として算出する。 In the first embodiment, when calculating the amount of raindrop, the time difference image that is the difference between the previous lighting / lighting difference image and the current lighting / lighting difference image is used, but the time difference image is necessarily used. There is no. For example, an image area having a pixel value exceeding a predetermined specified value is extracted from the current on / off difference image, and the extracted image area is specified as a candidate area of the raindrop image area on which the raindrop 203 is projected. . Then, shape identification processing is performed on the raindrop image region candidate area specified in this way to identify the raindrop image area, the number of the specified raindrop image areas is counted, and the result is used as the raindrop amount. calculate.
なお、雨滴検出処理の方法は、公知のものを広く利用することができるので、本実施形態１のものには限定されない。例えば、より簡易な雨滴検出処理としては、今回の点灯・消灯差分画像の画像値の総和が所定の閾値以上であるか否かを判定するだけでもよい。この場合、点灯・消灯差分画像の画像値の総和が所定の閾値以上であると判定されたときには、雨滴量はワイパーを駆動させる規定量を超えていると判断して、ワイパー制御ユニットがワイパーを駆動するという制御が可能となる。 In addition, since the method of a raindrop detection process can use a well-known thing widely, it is not limited to the thing of this Embodiment 1. FIG. For example, as a simpler raindrop detection process, it may be determined only whether or not the sum of the image values of the current on / off difference image is greater than or equal to a predetermined threshold value. In this case, when it is determined that the sum of the image values of the ON / OFF difference images is equal to or greater than a predetermined threshold value, it is determined that the raindrop amount exceeds the specified amount for driving the wiper, and the wiper control unit removes the wiper. Control of driving becomes possible.
〔変形例１〕
次に、本実施形態１における雨滴検出処理の一変形例について説明する。
上述した実施形態１では、点灯時のラインと消灯時のラインとの画素値差分をとった点灯・消灯差分画像を利用して雨滴検出処理を行っているが、本変形例１では、消灯時のラインを用いずに点灯時のラインだけを用いた点灯時画像を利用して雨滴検出処理を行う。
[Modification 1]
Next, a modification of the raindrop detection process in the first embodiment will be described.
In Embodiment 1 described above, raindrop detection processing is performed using a lighting / light-off difference image obtained by calculating a pixel value difference between a line at lighting and a line at lighting-off. The raindrop detection process is performed using the lighting image using only the lighting line without using the line.
図２４は、本変形例１における雨滴検出処理のフローチャートである。
本変形例１においても、画像解析ユニット１０２は、雨滴検出用フレームＲ４におけるライン読出信号と光源２０２の発光タイミングとの同期をとりながら、雨滴検出用フレームＲ４の撮像処理を行い（Ｓ１）、消灯時画素値総和を算出する（Ｓ２）。そして、本変形例では、消灯時画素値総和が外乱判定閾値を超えていないと判定されたとき（Ｓ３のＮｏ）に行う雨滴量を算出する処理のために、画像解析ユニット１０２は、各光源点灯時ラインについて、ライン毎の画素値総和（点灯時のライン別画素値総和）を算出する（Ｓ１１）。
FIG. 24 is a flowchart of raindrop detection processing in the first modification.
Also in the first modification, the image analysis unit 102 performs the imaging process of the raindrop detection frame R4 while synchronizing the line readout signal in the raindrop detection frame R4 and the light emission timing of the light source 202 (S1), and turns off the light. The total time pixel value is calculated (S2). In this modification, the image analysis unit 102 is configured to calculate the amount of raindrops performed when it is determined that the sum of pixel values during extinguishing does not exceed the disturbance determination threshold (No in S3). For the line at lighting, the sum of pixel values for each line (the sum of pixel values by line at lighting) is calculated (S11).
次に、画像解析ユニット１０２は、各点灯時のライン別画素値総和と所定の閾値とを比較し、閾値を超えているラインの数を特定し、特定したライン数を雨滴量として算出する（Ｓ１２）。そして、画像解析ユニット１０２は、算出した雨滴量のデータをワイパー制御ユニット１０６へ出力する（Ｓ７）。ワイパー制御ユニット１０６は、例えば、この雨滴量の算出結果が所定の条件（例えば、連続して作成された２０個の時差分画像について、いずれも雨滴量のカウント値が１０以上であるという条件）を満たしたときに、ワイパー１０７の駆動制御やウォッシャー液の吐出制御を行う。 Next, the image analysis unit 102 compares the total pixel value for each line at the time of lighting with a predetermined threshold value, identifies the number of lines exceeding the threshold value, and calculates the identified number of lines as the amount of raindrops ( S12). Then, the image analysis unit 102 outputs the calculated raindrop amount data to the wiper control unit 106 (S7). For example, the wiper control unit 106 determines that the calculation result of the raindrop amount is a predetermined condition (for example, a condition that the count value of the raindrop amount is 10 or more for each of the 20 time difference images created in succession). When the above condition is satisfied, the drive control of the wiper 107 and the discharge control of the washer liquid are performed.
本変形例１においても、消灯時画素値総和が外乱判定閾値を超えている場合（Ｓ３のＹｅｓ）、画像解析ユニット１０２は、今回の雨滴検出処理を終了し、雨滴量を算出しないので、上述した実施形態１と同様、雨滴量の誤算出に起因した不具合を引き起こすのを防止できる。 Also in the first modification, when the pixel value summation at the time of extinction exceeds the disturbance determination threshold (Yes in S3), the image analysis unit 102 ends the current raindrop detection process and does not calculate the raindrop amount. As in the first embodiment, it is possible to prevent a malfunction caused by an erroneous calculation of the raindrop amount.
なお、本変形例１では、雨滴検出処理の簡素化のために、点灯時のライン別画素値総和が閾値を超えているラインの数を雨滴量として算出しているが、上述した実施形態１のように雨滴画像領域の候補領域を特定し、形状識別処理により雨滴画像領域を特定して雨滴量を算出してもよいし、その他の方法で雨滴量を算出してもよい。 In the first modification, in order to simplify the raindrop detection process, the number of lines in which the sum of pixel values for each line at the time of lighting exceeds the threshold is calculated as the raindrop amount. As described above, the raindrop image area candidate area may be specified, the raindrop image area may be specified by shape identification processing to calculate the raindrop quantity, or the raindrop quantity may be calculated by other methods.
〔変形例２〕
次に、本実施形態１における光源２０２の制御及び雨滴検出処理の一変形例について説明する。
図２５は、本変形例２における撮像動作及び光源２０２の点灯制御の一例を簡易的に示したタイミングチャートである。
図２５には、フレーム同期信号、ライン読出信号、フレーム番号、露光期間のほか、光源２０２の点灯、消灯を制御するＬＥＤ制御信号が、同じ時間軸にそって並べて表示されている。なお、図２５中のフレーム同期信号、ライン読出信号、フレーム番号、露光期間は、上述した実施形態１（図１５）と同様である。
[Modification 2]
Next, a modification of the control of the light source 202 and the raindrop detection process in the first embodiment will be described.
FIG. 25 is a timing chart schematically showing an example of the imaging operation and the lighting control of the light source 202 in the second modification.
In FIG. 25, in addition to the frame synchronization signal, the line readout signal, the frame number, and the exposure period, LED control signals for controlling turning on and off of the light source 202 are displayed side by side along the same time axis. Note that the frame synchronization signal, line readout signal, frame number, and exposure period in FIG. 25 are the same as those in the first embodiment (FIG. 15).
上述した実施形態１では、雨滴検出用フレームＲ４におけるライン読出信号と光源２０２の発光タイミングとの同期をとることで、１つの雨滴検出用フレームＲ４から、光源２０２の点灯時のラインと消灯時のラインとが上下方向に交互に並んだ雨滴検出用画像領域の画像を得ていた。本変形例２では、図２５に示すように、雨滴検出用フレームＲ４の露光期間中は光源２０２を常に点灯させておき、全ラインを点灯時ラインとする。 In the first embodiment described above, by synchronizing the line readout signal in the raindrop detection frame R4 and the light emission timing of the light source 202, the line when the light source 202 is turned on and the time when the light source 202 is turned off from one raindrop detection frame R4. An image of a raindrop detection image area in which lines are alternately arranged in the vertical direction was obtained. In the second modification, as shown in FIG. 25, during the exposure period of the raindrop detection frame R4, the light source 202 is always turned on, and all lines are set as lighting lines.
なお、本変形例２では、雨滴検出用フレームＲ４の露光期間を除いた期間は光源２０２を常に消灯させている。これにより、光源２０２の点灯時間を少なくして省電力化を図るとともに、光源２０２の点灯による他車両の運転者の幻惑防止、光源２０２の点灯による車両検出用画像領域の外乱防止を図ることができる。ただし、雨滴検出用フレームＲ４の露光期間を除いた期間は、必ずしも光源２０２を消灯させなければならないわけではない。 In the second modification, the light source 202 is always turned off during the period excluding the exposure period of the raindrop detection frame R4. Accordingly, the lighting time of the light source 202 can be reduced to save power, the driver of other vehicles can be prevented from being dazzled by the lighting of the light source 202, and the disturbance of the vehicle detection image area due to the lighting of the light source 202 can be prevented. it can. However, the light source 202 does not necessarily have to be turned off during the period excluding the exposure period of the raindrop detection frame R4.
図２６は、本変形例２における雨滴検出処理のフローチャートである。
本変形例２において、強い外乱光が入ってきているかどうかを判定するための消灯時画素値総和は、光源が常時点灯している雨滴検出用フレームＲ４から得ることができないので、光源が消灯しているときの撮像画像データから得る必要がある。例えば、当該雨滴検出用フレームＲ４の前又は後に撮像される別の雨滴検出用フレームＲ４の撮像時に光源を消灯させて得られる雨滴検出用画像領域の画像データから得てもよい。また、当該雨滴検出用フレームＲ４の前又は後に撮像されるセンシングフレームＢ０〜Ａ３の撮像時に光源を消灯させて得られる雨滴検出用画像領域の画像データから得てもよい。
FIG. 26 is a flowchart of the raindrop detection process in the second modification.
In the second modification, since the pixel value summation at the time of extinction for determining whether or not strong disturbance light enters cannot be obtained from the raindrop detection frame R4 in which the light source is always lit, the light source is extinguished. It is necessary to obtain it from the captured image data. For example, the image data may be obtained from image data of a raindrop detection image area obtained by turning off the light source when imaging another raindrop detection frame R4 imaged before or after the raindrop detection frame R4. Alternatively, it may be obtained from the image data of the raindrop detection image area obtained by turning off the light source during imaging of the sensing frames B0 to A3 captured before or after the raindrop detection frame R4.
また、例えば、消灯時画素値総和は、雨滴検出用画像領域とは異なる別の画像領域の画像データから得たものであってもよい。この場合、車両検出用画像領域あるいは車両検出用画像領域以外の画像領域から消灯時画素値総和を得ることも可能である。いずれにしても、雨滴検出用画像領域に強い外乱光成分が含まれていることが一定の精度で推定可能であればよい。ただし、消灯時画素値総和を得るための撮像画像データは、雨滴量の算出に用いる雨滴検出用フレームＲ４の撮像時期との時間ズレが少ないものことが望ましい。したがって、本変形例２においては、雨滴量の算出に用いる雨滴検出用フレームＲ４の直前のセンシングフレームＡ３で撮像される雨滴検出用画像領域の画像データから消灯時画素値総和を得ることとしている。 Further, for example, the pixel value summation at the time of extinguishing may be obtained from image data of another image area different from the raindrop detection image area. In this case, it is also possible to obtain the pixel value sum when the light is turned off from the image area other than the vehicle detection image area or the vehicle detection image area. In any case, it suffices if it can be estimated with a certain degree of accuracy that the raindrop detection image region contains a strong disturbance light component. However, it is desirable that the captured image data for obtaining the sum of pixel values at the time of extinction has little time deviation from the imaging time of the raindrop detection frame R4 used for calculating the raindrop amount. Therefore, in the second modification, the sum of pixel values at the time of extinction is obtained from the image data of the raindrop detection image area captured in the sensing frame A3 immediately before the raindrop detection frame R4 used for calculating the raindrop amount.
具体的には、画像解析ユニット１０２は、光源２０２を消灯した状態で、センシングフレームＡ３の撮像処理を実行し（Ｓ２１）、これにより得られた撮像画像データから雨滴検出用画像領域の画像データを抽出する（Ｓ２２）。そして、抽出した画像データの画素値の総和を消灯時画素値総和として算出する（Ｓ２３）。 Specifically, the image analysis unit 102 executes the imaging process of the sensing frame A3 with the light source 202 turned off (S21), and the image data of the raindrop detection image area is obtained from the obtained captured image data. Extract (S22). Then, the sum of the pixel values of the extracted image data is calculated as the sum of the pixel values when the light is extinguished (S23).
その後、本変形例２では、消灯時画素値総和が外乱判定閾値を超えていないと判定されたら（Ｓ２４のＮｏ）、画像解析ユニット１０２は、次の雨滴検出用フレームＲ４の最初のラインの露光開始タイミングに合わせて、光源２０２を点灯させる（Ｓ２５）。そして、雨滴検出用フレームＲ４の撮像処理を実行して（Ｓ２６）、得られた雨滴検出用画像領域の撮像画像データ（点灯時画像）を撮像部２００から取得したら、画像解析ユニット１０２は、その点灯時画像から雨滴量を算出する（Ｓ２７）。 After that, in this second modification, when it is determined that the pixel value summation during turn-off does not exceed the disturbance determination threshold (No in S24), the image analysis unit 102 exposes the first line of the next raindrop detection frame R4. The light source 202 is turned on in accordance with the start timing (S25). Then, after performing the imaging process of the raindrop detection frame R4 (S26) and acquiring the captured image data (lighted image) of the obtained raindrop detection image area from the imaging unit 200, the image analysis unit 102 The amount of raindrops is calculated from the lighting image (S27).
この点灯時画像からの雨滴量算出は、上述した変形例１と同様、雨滴検出用フレームＲ４の各ライン別画素値総和を算出し、各ライン別画素値総和と所定の閾値とを比較して、閾値を超えているラインの数を特定し、特定したライン数を雨滴量として算出する。もちろん、上述した実施形態１のように雨滴画像領域の候補領域を特定し、形状識別処理により雨滴画像領域を特定して雨滴量を算出してもよいし、その他の方法で雨滴量を算出してもよい。 The raindrop amount calculation from the lighting image is performed by calculating the sum of pixel values for each line of the raindrop detection frame R4 and comparing the sum of pixel values for each line with a predetermined threshold, as in the first modification. The number of lines exceeding the threshold is specified, and the specified number of lines is calculated as the raindrop amount. Of course, as in the first embodiment described above, the raindrop image area candidate area may be specified, the raindrop image area may be specified by shape identification processing, and the raindrop amount may be calculated, or the raindrop amount may be calculated by other methods. May be.
本変形例２においても、消灯時画素値総和が外乱判定閾値を超えている場合（Ｓ２４のＹｅｓ）、画像解析ユニット１０２は、今回の雨滴検出処理を終了し、雨滴量を算出しないので、上述した実施形態１と同様、雨滴量の誤算出に起因した不具合を引き起こすのを防止できる。 Also in the second modification example, when the pixel value summation at the time of extinction exceeds the disturbance determination threshold (Yes in S24), the image analysis unit 102 ends the current raindrop detection process and does not calculate the raindrop amount. As in the first embodiment, it is possible to prevent a malfunction caused by an erroneous calculation of the raindrop amount.
しかも、本変形例２においては、センシングフレームＡ３から得た消灯時画素値総和が外乱判定閾値を超えていると判定したら（Ｓ２４のＹｅｓ）、次の雨滴検出用フレームＲ４の撮像処理の際に光源２０２を点灯させない。したがって、光源２０２の点灯時間をより少なく抑えることができ、省電力化を図ることができる。 In addition, in the second modification, when it is determined that the pixel value sum during extinction obtained from the sensing frame A3 exceeds the disturbance determination threshold value (Yes in S24), the next raindrop detection frame R4 is imaged. The light source 202 is not turned on. Therefore, the lighting time of the light source 202 can be further reduced, and power saving can be achieved.
なお、本変形例２では、強い外乱光が入ってきているかどうかを判定するための消灯時画素値総和を、雨滴量の算出に用いる雨滴検出用フレームＲ４の直前のセンシングフレームＡ３から得る例であるが、これに限られない。例えば、雨滴量の算出に用いる雨滴検出用フレームＲ４の直後のセンシングフレームＢ０から消灯時画素値総和を得るようにしてもよい。この場合、雨滴検出用フレームＲ４の撮像処理で得られた雨滴検出用画像領域の撮像画像データ（点灯時画像）から雨滴量を算出する処理は常に実行する。そして、直後のセンシングフレームＢ０から得られる消灯時画素値総和が外乱判定閾値を超えていなければ、その雨滴量算出結果をワイパー制御ユニットへ出力し、外乱判定閾値を超えていれば雨滴量算出結果をワイパー制御ユニットへ出力しないという制御を行う。このような制御でも、同様に、雨滴量の誤算出に起因した不具合を引き起こすのを防止できる。 In the second modification, the pixel value sum when extinguished for determining whether or not strong disturbance light enters is obtained from the sensing frame A3 immediately before the raindrop detection frame R4 used for calculating the raindrop amount. There is, but is not limited to this. For example, the pixel value summation during extinction may be obtained from the sensing frame B0 immediately after the raindrop detection frame R4 used for calculating the raindrop amount. In this case, the process of calculating the raindrop amount from the captured image data (lighted image) of the raindrop detection image area obtained by the imaging process of the raindrop detection frame R4 is always executed. If the sum of pixel values at the time of extinction obtained from the immediately following sensing frame B0 does not exceed the disturbance determination threshold value, the raindrop amount calculation result is output to the wiper control unit, and if it exceeds the disturbance determination threshold value, the raindrop amount calculation result Is not output to the wiper control unit. Even with such control, similarly, it is possible to prevent a problem caused by erroneous calculation of the raindrop amount.
なお、本変形例２のように、雨滴検出用フレームＲ４の露光期間中は光源２０２を常に点灯させておき、強い外乱光が入ってきているかどうかを判定するための消灯時画素値総和を当該雨滴検出用フレームＲ４とは別の撮像フレームから取得する場合には、ローリングシャッタ方式ではなく、グローバルシャッタ方式でも、同様の結果を得ることができる。 Note that, as in the second modification, the light source 202 is always turned on during the exposure period of the raindrop detection frame R4, and the pixel value summation at turn-off for determining whether strong disturbance light is incident When acquiring from an imaging frame different from the raindrop detection frame R4, the same result can be obtained by the global shutter system instead of the rolling shutter system.
具体的に説明すると、図２７に示すように、グローバルシャッタ方式を採用する場合には、雨滴検出用フレームＲ４の露光期間中は光源２０２を点灯させ、全画素を同時露光することになる。一方、雨滴検出用フレームＲ４以外の撮像フレームＢ０〜Ａ３の露光期間中は光源２０２を消灯させる。したがって、強い外乱光が入ってきているかどうかを判定するための消灯時画素値総和は、当該雨滴検出用フレームＲ４とは別の撮像フレーム、例えば本変形例２と同様にセンシングフレームＡ３から得ることができる。 Specifically, as shown in FIG. 27, when the global shutter method is adopted, the light source 202 is turned on during the exposure period of the raindrop detection frame R4, and all pixels are exposed simultaneously. On the other hand, the light source 202 is turned off during the exposure period of the imaging frames B0 to A3 other than the raindrop detection frame R4. Therefore, the pixel value summation at the time of extinction for determining whether strong disturbance light enters is obtained from an imaging frame different from the raindrop detection frame R4, for example, the sensing frame A3 as in the second modification. Can do.
〔実施形態２〕
次に、本発明に係る付着物検出装置を適用した移動体機器制御システムの他の実施形態（以下、本実施形態を「実施形態２」という。）について説明する。
なお、本実施形態２は、撮像ユニット１０１の構成が一部異なる点を除いて、実施形態１（各種変形例を含む。以下同様。）とほぼ同様であるため、以下、実施形態１とは異なる点を中心に説明する。
[Embodiment 2]
Next, another embodiment (hereinafter, this embodiment is referred to as “Embodiment 2”) of a mobile device control system to which the attached matter detection apparatus according to the present invention is applied will be described.
The second embodiment is substantially the same as the first embodiment (including various modifications. The same applies hereinafter) except that the configuration of the imaging unit 101 is partially different. The difference will be mainly described.
図２８は、本実施形態２における撮像ユニット１０１の概略構成を示す模式図である。
本実施形態２の撮像ユニット１０１においては、光源２０２から出射した光は、図２８の光路で示されるように、フロントガラス１０５の内壁面に設けられた反射偏向部材としてのプリズム２３０に入射することにより、フロントガラス１０５の外壁面上で全反射して撮像レンズ２０４に入射し、センサ基板２０７上の画像センサ２０６で受光される。プリズム２３０は、フロントガラス１０５の屈折率に近い材料で形成されているため、光源２０２から出射した光がフロントガラス１０５の外壁面上で全反射する条件を作り出すのが容易である。なお、詳細は、特開２０１４‐３２１７４号公報等に開示されている。
FIG. 28 is a schematic diagram illustrating a schematic configuration of the imaging unit 101 according to the second embodiment.
In the imaging unit 101 according to the second embodiment, the light emitted from the light source 202 is incident on a prism 230 as a reflection deflection member provided on the inner wall surface of the windshield 105 as shown by the optical path in FIG. Thus, the light is totally reflected on the outer wall surface of the windshield 105 and enters the imaging lens 204, and is received by the image sensor 206 on the sensor substrate 207. Since the prism 230 is formed of a material close to the refractive index of the windshield 105, it is easy to create a condition in which the light emitted from the light source 202 is totally reflected on the outer wall surface of the windshield 105. Details are disclosed in Japanese Patent Application Laid-Open No. 2014-32174.
一方、フロントガラス１０５の外壁面に雨滴が付着した箇所においては、光源２０２から出射した光がフロントガラス１０５の外壁面を透過するため、画像センサ２０６で受光されることはない。上述した実施形態１では、光源２０２から出射した光がフロントガラス１０５の外壁面を透過する一方、フロントガラス１０５の外壁面に雨滴が付着した箇所ではその雨滴内部で乱反射した光が画像センサ２０６で受光される。 On the other hand, in the place where raindrops are attached to the outer wall surface of the windshield 105, the light emitted from the light source 202 is transmitted through the outer wall surface of the windshield 105, so that it is not received by the image sensor 206. In the first embodiment described above, the light emitted from the light source 202 is transmitted through the outer wall surface of the windshield 105, while the light that has been diffusely reflected inside the raindrop is reflected by the image sensor 206 at a location where raindrops adhere to the outer wall surface of the windshield 105. Received light.
したがって、本実施形態２においては、上述した実施形態１の雨滴検出用画像領域の画像を反転させたような画像が得られることになる。すなわち、上述した実施形態１では、図１４に示したように、雨滴付着箇所の輝度が高い画像が得られるのに対し、本実施形態２では、図２９に示すように、雨滴付着箇所の輝度が低い画像が得られる。したがって、上述した実施形態では、画素値の総和が大きいほど雨量が多いという関係になるが、本実施形態２においては、画素値の総和が小さいほど雨量が多いという関係になる。 Therefore, in the second embodiment, an image obtained by inverting the image of the raindrop detection image area of the first embodiment described above is obtained. That is, in Embodiment 1 described above, as shown in FIG. 14, an image having a high luminance at the raindrop-attached portion is obtained, whereas in Embodiment 2, as shown in FIG. 29, the brightness at the raindrop-attached portion is obtained. A low image can be obtained. Therefore, in the above-described embodiment, the relationship is such that the greater the sum of pixel values, the greater the amount of rain. However, in the present embodiment 2, the smaller the sum of pixel values, the greater the amount of rain.
以上、上述した実施形態１及び２の移動体機器制御システムで実行される各種処理は、ハードウェアで実現することができる他、ソフトウェアで実現することもできる。ソフトウェアで実現する場合、各種処理を実現するためにコンピュータを機能させるプログラムは、ＲＯＭ等に予め組み込まれて提供される。また、プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。また、プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、プログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。 As described above, the various processes executed by the mobile device control systems according to the first and second embodiments described above can be realized by hardware as well as by software. When implemented by software, a program for causing a computer to function in order to implement various processes is provided by being incorporated in advance in a ROM or the like. Further, the program is recorded in a computer-readable recording medium such as a CD-ROM, a flexible disk (FD), a CD-R, a DVD (Digital Versatile Disk), etc. in a file that can be installed or executed. It may be configured to provide. Further, the program may be provided by being stored on a computer connected to a network such as the Internet and downloaded via the network. The program may be provided or distributed via a network such as the Internet.
以上に説明したものは一例であり、次の態様毎に特有の効果を奏する。
（態様Ａ）
光源２０２が光源光を照射する照射期間中にフロントガラス１０５等の光透過性部材を経由して画像センサ２０６等の受光手段により受光される受光量に基づいて、該光透過性部材に付着する雨滴等の付着物を検出する付着物検出処理（Ｓ２６〜Ｓ２７）を実行し、該付着物検出処理の検出結果を出力する画像解析ユニット１０２等の付着物検出処理手段を備えた付着物検出装置において、前記付着物検出処理手段は、前記光源が光源光を照射しないセンシングフレームＡ３の露光期間等の非照射期間中に前記受光手段により受光される受光量（消灯時画素値総和）に応じて、該非照射期間の後に前記光源が光源光を照射する予定の雨滴検出用フレームＲ４の露光期間等の予定照射期間に対応する付着物検出処理を実行するか否かを決定することを特徴とする。
上述したとおり、強い外乱光が受光手段に入射するときに付着物検出処理の結果に対する外乱光成分の影響度合いが大きいものとなる。ここで、非照射期間中に受光手段により受光される受光量はすべて外乱光に起因するものである。よって、非照射期間中に前記受光手段により受光される受光量から、どの程度の強い外乱光が受光手段に受光されているかを把握することが可能である。したがって、非照射期間中に受光手段により受光される受光量から、その非照射期間の後に光源が光源光を照射する予定の予定照射期間中にどの程度の強い外乱光が受光手段に受光されるかを推測できる。本態様によれば、このようにして推測される予定照射期間中の外乱光が、当該予定照射期間に対応する付着物検出処理の結果に対して許容範囲を超える影響を与えるほど強い外乱光である場合、その付着物検出処理を実行しないという制御が可能である。このような制御により、後段の処理や制御（ワイパー制御等）に利用される付着物検出処理の検出結果のうち、強い外乱光によって精度が低くなっている検出結果については、後段の処理や制御に利用されなくなる。すなわち、後段の処理や制御に利用される検出結果の精度バラツキは小さくなる。その結果、検出結果の精度バラツキが大きいことに起因して後段の処理で引き起こされる不具合を抑制することができる。
What was demonstrated above is an example, and there exists an effect peculiar for every following aspect.
(Aspect A)
The light source 202 adheres to the light transmissive member based on the amount of light received by the light receiving means such as the image sensor 206 via the light transmissive member such as the windshield 105 during the irradiation period in which the light source light is emitted. An attached matter detection apparatus including attached matter detection processing means such as an image analysis unit 102 that executes attached matter detection processing (S26 to S27) for detecting attached matter such as raindrops and outputs the detection result of the attached matter detection processing. The adhering matter detection processing means according to the amount of light received by the light receiving means during the non-irradiation period such as an exposure period of the sensing frame A3 in which the light source does not irradiate light source light (total pixel value when extinguished). Then, after the non-irradiation period, it is determined whether or not to perform the adhering matter detection process corresponding to the scheduled irradiation period such as the exposure period of the raindrop detection frame R4 where the light source is scheduled to irradiate the light source light. And wherein the door.
As described above, when strong disturbance light is incident on the light receiving means, the degree of influence of the disturbance light component on the result of the adhering matter detection process becomes large. Here, the amount of light received by the light receiving means during the non-irradiation period is all due to disturbance light. Therefore, it is possible to grasp how much disturbance light is received by the light receiving means from the amount of light received by the light receiving means during the non-irradiation period. Therefore, from the amount of light received by the light receiving means during the non-irradiation period, how much disturbance light is received by the light receiving means during the scheduled irradiation period in which the light source is expected to emit the light source light after the non-irradiation period. I can guess. According to this aspect, the disturbance light during the estimated irradiation period estimated in this way is strong enough to have an influence exceeding the allowable range on the result of the deposit detection process corresponding to the scheduled irradiation period. In some cases, it is possible to control not to execute the attached matter detection process. With such control, out of the detection results of the adhering matter detection processing used for the subsequent processing and control (wiper control, etc.), the detection processing whose accuracy is low due to strong disturbance light is processed and controlled later. Is no longer used. That is, the variation in accuracy of detection results used for subsequent processing and control is reduced. As a result, it is possible to suppress problems caused by subsequent processing due to large variations in the accuracy of detection results.
（態様Ｂ）
前記態様Ａにおいて、前記光源から光源光を照射させるか否かの制御を行う画像解析ユニット１０２等の光源制御手段を有し、前記光源制御手段は、前記予定照射期間中は前記光源から光源光を照射させない制御を行うことを特徴とする。
これによれば、光源の点灯時間を少なくして省電力化を図ることができる。
(Aspect B)
In the aspect A, the light source control unit such as the image analysis unit 102 that controls whether or not to irradiate the light source light from the light source is included, and the light source control unit transmits the light source light from the light source during the scheduled irradiation period. It is characterized by performing control not to irradiate.
According to this, it is possible to save power by reducing the lighting time of the light source.
（態様Ｃ）
光源２０２が光源光を照射する照射期間中にフロントガラス１０５等の光透過性部材を経由して画像センサ２０６等の受光手段により受光される受光量に基づいて、該光透過性部材に付着する雨滴等の付着物を検出する付着物検出処理を実行し、該付着物検出処理の検出結果を出力する画像解析ユニット１０２等の付着物検出処理手段を備えた付着物検出装置において、前記付着物検出処理手段は、前記光源が光源光を照射しない非照射期間中に前記受光手段により受光される受光量（消灯時画素値総和）に応じて、該非照射期間の前又は後の照射期間に対応する付着物検出処理の検出結果を出力するか否かを決定することを特徴とする。
これによれば、後段の処理や制御（ワイパー制御等）に利用される付着物検出処理の検出結果のうち、強い外乱光によって精度が低くなっている検出結果については、後段の処理や制御に利用されなくなる。すなわち、後段の処理や制御に利用される検出結果の精度バラツキは小さくなる。その結果、検出結果の精度バラツキが大きいことに起因して後段の処理で引き起こされる不具合を抑制することができる。
(Aspect C)
The light source 202 adheres to the light transmissive member based on the amount of light received by the light receiving means such as the image sensor 206 via the light transmissive member such as the windshield 105 during the irradiation period in which the light source light is emitted. In the attached matter detection apparatus provided with attached matter detection processing means such as an image analysis unit 102 that executes attached matter detection processing for detecting an attached matter such as raindrops and outputs a detection result of the attached matter detection process. The detection processing means corresponds to the irradiation period before or after the non-irradiation period depending on the amount of light received by the light receiving means during the non-irradiation period when the light source does not irradiate the light source light (total pixel value when extinguished). It is characterized by determining whether or not to output the detection result of the attached matter detection process.
According to this, among the detection results of the adhering matter detection processing used for the subsequent processing and control (wiper control, etc.), the detection results whose accuracy is low due to strong disturbance light are used for the subsequent processing and control. It will not be used. That is, the variation in accuracy of detection results used for subsequent processing and control is reduced. As a result, it is possible to suppress problems caused by subsequent processing due to large variations in the accuracy of detection results.
（態様Ｄ）
前記態様Ａ〜Ｃのいずれかの態様において、前記付着物検出処理手段は、前記非照射期間中に前記受光手段により受光される受光量（消灯時画素値総和）が外乱判定閾値等の所定の閾値を超えるとき、前記予定照射期間に対応する付着物検出処理を実行しない決定、又は、該非照射期間の前又は後の照射期間に対応する付着物検出処理の検出結果を出力しない決定を行うことを特徴とする。
これによれば、所定の閾値を適宜設定することにより、付着物検出処理の結果に対して許容範囲を超える影響を与えるほど強い外乱光を適切に検出することができる。
(Aspect D)
In any one of the aspects A to C, the adhering matter detection processing means has a predetermined amount of light received by the light receiving means during the non-irradiation period (total pixel value when extinguished) such as a disturbance determination threshold value. When exceeding the threshold value, a decision not to execute the deposit detection process corresponding to the scheduled irradiation period, or a decision not to output the detection result of the deposit detection process corresponding to the irradiation period before or after the non-irradiation period It is characterized by.
According to this, by appropriately setting the predetermined threshold value, it is possible to appropriately detect disturbance light that is strong enough to affect the result of the adhering matter detection process beyond the allowable range.
（態様Ｅ）
光源２０２が光源光を照射する照射期間中にフロントガラス１０５等の光透過性部材を経由して画像センサ２０６等の受光手段により受光される受光量に基づいて、該光透過性部材に付着する雨滴等の付着物を検出する付着物検出処理を実行し、該付着物検出処理の検出結果を出力する画像解析ユニット１０２等の付着物検出処理手段を備えた付着物検出装置において、前記付着物検出処理手段は、前記光源が光源光を照射しない非照射期間中に前記受光手段により受光される受光量が多いほど、該非照射期間の前又は後の照射期間に対応する付着物検出処理の検出結果の信頼度を低く設定し、設定した信頼度を該検出結果とともに出力することを特徴とする。
これによれば、付着物の検出結果が後段の処理や制御において、信頼度の高低に応じて検出結果の影響度合いを変化されるなどの対処が可能となる。これにより、強い外乱光によって精度が低くなっている検出結果を後段の処理や制御で全く利用しない場合と比較して、後段の処理や制御をより適切に実行することが可能となる。
(Aspect E)
The light source 202 adheres to the light transmissive member based on the amount of light received by the light receiving means such as the image sensor 206 via the light transmissive member such as the windshield 105 during the irradiation period in which the light source light is emitted. In the attached matter detection apparatus provided with attached matter detection processing means such as an image analysis unit 102 that executes attached matter detection processing for detecting an attached matter such as raindrops and outputs a detection result of the attached matter detection process. The detection processing means detects the adhering matter detection process corresponding to the irradiation period before or after the non-irradiation period as the amount of light received by the light receiving means during the non-irradiation period in which the light source does not irradiate the light source is larger. The reliability of the result is set low, and the set reliability is output together with the detection result.
According to this, it is possible to take measures such as changing the degree of influence of the detection result in accordance with the level of reliability in the subsequent processing and control of the detection result of the attached matter. As a result, it is possible to execute the subsequent processing and control more appropriately as compared with the case where the detection result whose accuracy is low due to strong disturbance light is not used at all in the subsequent processing and control.
（態様Ｆ）
前記態様Ａ〜Ｅのいずれかの態様において、前記付着物検出処理手段は、照射期間の前又は後の非照射期間中に前記受光手段により受光される受光量を用いず、該照射期間中に前記受光手段により受光される受光量を用いて前記付着物検出処理を実行することを特徴とする。
これによれば、いわゆる点灯時と消灯時の差分をとる演算が不要であり、より簡易な付着物検出処理を実現できる。
(Aspect F)
In any one of the aspects A to E, the deposit detection processing means does not use the amount of light received by the light receiving means during the non-irradiation period before or after the irradiation period, and during the irradiation period. The adhering matter detection process is executed using the amount of light received by the light receiving means.
According to this, the calculation which takes the difference between what is called lighting and lighting is unnecessary, and a simpler adhering matter detection process can be realized.
（態様Ｇ）
前記態様Ａ〜Ｅのいずれかの態様において、前記付着物検出処理手段は、照射期間の前又は後の非照射期間中に前記受光手段により受光される受光量と該照射期間中に前記受光手段により受光される受光量との差分情報に基づいて前記付着物検出処理を実行することを特徴とする。
これによれば、ある程度の外乱光成分が除外された差分情報に基づいて付着物検出処理を実行するので、外乱光の影響が少ない付着物の検出結果を得ることが可能である。
(Aspect G)
In any one of the aspects A to E, the adhering matter detection processing unit is configured to receive the amount of light received by the light receiving unit during the non-irradiation period before or after the irradiation period and the light receiving unit during the irradiation period. The adhering matter detection process is executed based on difference information with respect to the amount of received light received by.
According to this, since the adhering matter detection process is executed based on the difference information from which a certain amount of disturbance light component is excluded, it is possible to obtain an adhering matter detection result with little influence of disturbance light.
（態様Ｈ）
前記態様Ａ〜Ｇのいずれかの態様において、前記光源は、赤外波長帯等の特定の波長帯をもつ光源光を照射するものであり、前記受光手段は、前記特定の波長帯を通過させるが該特定の波長帯から外れた波長帯を通過させない雨滴検出用フィルタ等の波長選択フィルタを介して受光するものであることを特徴とする。
これによれば、受光手段へ入射する外乱光を減らすことができるので、より外乱光の影響が少ない付着物の検出結果を得ることが可能である。また、このような波長選択フィルタを介して受光することで、上述したような強い外乱光が受光手段に入る頻度が少なくなる。その結果、予定照射期間に対応する付着物検出処理を実行しない決定や、付着物検出処理の検出結果を出力しない決定や、信頼度の低い検出結果の出力の頻度を抑えることができる。
(Aspect H)
In any of the above aspects A to G, the light source irradiates light source light having a specific wavelength band such as an infrared wavelength band, and the light receiving means passes the specific wavelength band. Is received through a wavelength selection filter such as a raindrop detection filter that does not pass a wavelength band outside the specific wavelength band.
According to this, since the disturbance light incident on the light receiving means can be reduced, it is possible to obtain the detection result of the deposit with less influence of the disturbance light. In addition, by receiving light through such a wavelength selection filter, the frequency of strong disturbance light as described above entering the light receiving means is reduced. As a result, it is possible to suppress the determination of not executing the attached matter detection process corresponding to the scheduled irradiation period, determining not to output the detection result of the attached matter detection process, and outputting detection results with low reliability.
（態様Ｉ）
付着物検出装置により検出した付着物の検出結果に基づいて、自車両１００等の移動体に搭載されたワイパー１０７等の所定の機器を制御するワイパー制御ユニット１０６等の移動体機器制御手段を備えた移動体機器制御システムにおいて、前記付着物検出装置として、前記態様Ａ〜Ｈのいずれかの態様に係る付着物検出装置を用いることを特徴とする。
これによれば、より適切な機器制御が可能となる。
(Aspect I)
Mobile device control means such as a wiper control unit 106 that controls predetermined devices such as the wiper 107 mounted on the mobile body such as the host vehicle 100 based on the detection result of the attached matter detected by the attached matter detection device. In the mobile device control system, the deposit detection apparatus according to any one of the aspects A to H is used as the deposit detection apparatus.
According to this, more appropriate device control becomes possible.
（態様Ｊ）
前記態様Ａ〜Ｈのいずれかの態様に係る付着物検出装置のコンピュータを機能させる付着物検出用プログラムであって、前記コンピュータを前記付着物検出処理手段として機能させることを特徴とする。
これによれば、付着物の検出結果を利用する後段の処理で支障を来す事態を抑制できる。
(Aspect J)
A deposit detection program for causing a computer of the deposit detection apparatus according to any one of the aspects A to H to function, wherein the computer functions as the deposit detection processing means.
According to this, the situation which causes trouble in the latter process using the detection result of the deposit can be suppressed.
（態様Ｋ）
光源が光源光を照射する照射期間中に光透過性部材を経由して受光手段により受光される受光量に基づいて、該光透過性部材に付着する付着物を検出する付着物検出処理を実行し、該付着物検出処理の検出結果を出力する付着物検出方法において、前記光源が光源光を照射しない非照射期間中に前記受光手段により受光される受光量に応じて、該非照射期間の後に前記光源が光源光を照射する予定の予定照射期間に対応する付着物検出処理を実行するか否かを決定することを特徴とする。
これによれば、付着物の検出結果を利用する後段の処理で支障を来す事態を抑制できる。
(Aspect K)
Executes an adhering matter detection process for detecting an adhering matter adhering to the light transmissive member based on the amount of light received by the light receiving means via the light transmissive member during the irradiation period in which the light source emits the light source light. In the attached matter detection method for outputting the detection result of the attached matter detection process, after the non-irradiation period, the light source receives light by the light receiving unit during the non-irradiation period when the light source does not emit the light source light. It is determined whether or not to perform the adhering matter detection process corresponding to the scheduled irradiation period in which the light source is scheduled to irradiate the light source light.
According to this, the situation which causes trouble in the latter process using the detection result of the deposit can be suppressed.
（態様Ｌ）
光源が光源光を照射する照射期間中に光透過性部材を経由して受光手段により受光される受光量に基づいて、該光透過性部材に付着する付着物を検出する付着物検出処理を実行し、該付着物検出処理の検出結果を出力する付着物検出方法において、前記光源が光源光を照射しない非照射期間中に前記受光手段により受光される受光量に応じて、該非照射期間の前又は後の照射期間に対応する付着物検出処理の検出結果を出力するか否かを決定することを特徴とする。
これによれば、付着物の検出結果を利用する後段の処理で支障を来す事態を抑制できる。
(Aspect L)
Executes an adhering matter detection process for detecting an adhering matter adhering to the light transmissive member based on the amount of light received by the light receiving means via the light transmissive member during the irradiation period in which the light source emits the light source light. In the adhering matter detection method for outputting the detection result of the adhering matter detection process, before the non-irradiation period, the light source receives light received by the light receiving unit during the non-irradiation period during which the light source does not emit light. Alternatively, it is determined whether or not to output the detection result of the attached matter detection process corresponding to the subsequent irradiation period.
According to this, the situation which causes trouble in the latter process using the detection result of the deposit can be suppressed.
（態様Ｍ）
光源が光源光を照射する照射期間中に光透過性部材を経由して受光手段により受光される受光量に基づいて、該光透過性部材に付着する付着物を検出する付着物検出処理を実行し、該付着物検出処理の検出結果を出力する付着物検出方法において、前記光源が光源光を照射しない非照射期間中に前記受光手段により受光される受光量が多いほど、該非照射期間の前又は後の照射期間に対応する付着物検出処理の検出結果の信頼度を低く設定し、設定した信頼度を該検出結果とともに出力することを特徴とする。
これによれば、付着物の検出結果を利用する後段の処理で支障を来す事態を抑制できる。
(Aspect M)
Executes an adhering matter detection process for detecting an adhering matter adhering to the light transmissive member based on the amount of light received by the light receiving means via the light transmissive member during the irradiation period in which the light source emits the light source light. In the attached matter detection method for outputting the detection result of the attached matter detection process, the greater the amount of light received by the light receiving means during the non-irradiation period in which the light source does not irradiate the light source, the earlier the non-irradiation period. Alternatively, the reliability of the detection result of the attached matter detection process corresponding to the subsequent irradiation period is set low, and the set reliability is output together with the detection result.
According to this, the situation which causes trouble in the latter process using the detection result of the deposit can be suppressed.
１００ 自車両
１０１ 撮像ユニット
１０２ 画像解析ユニット
１０５ フロントガラス
１０６ ワイパー制御ユニット
１０７ ワイパー
２００ 撮像部
２０２ 光源
２０３ 雨滴
２０５ 光学フィルタ
２０６ 画像センサ
２０７ センサ基板
２０８ 信号処理部
２１３ 車両検出用画像領域
２１４ 雨滴検出用画像領域
DESCRIPTION OF SYMBOLS 100 Own vehicle 101 Imaging unit 102 Image analysis unit 105 Windshield 106 Wiper control unit 107 Wiper 200 Imaging part 202 Light source 203 Raindrop 205 Optical filter 206 Image sensor 207 Sensor board 208 Signal processing part 213 Image area 214 for vehicle detection Raindrop detection image region
Claims (9)
前記付着物検出処理手段は、前記光源が光源光を照射しない非照射期間中に前記受光手段により受光される受光量に応じて、該非照射期間の後に前記光源が光源光を照射する予定の予定照射期間に対応する付着物検出処理を実行するか否かを決定し、照射期間の前又は後の非照射期間中に前記受光手段により受光される受光量を用いずに、該照射期間中に前記受光手段により受光される受光量を用いて前記付着物検出処理を実行することを特徴とする付着物検出装置。 Executes an adhering matter detection process for detecting an adhering matter adhering to the light transmissive member based on the amount of light received by the light receiving means via the light transmissive member during the irradiation period in which the light source emits the light source light. In the adhering matter detection apparatus comprising the adhering matter detection processing means for outputting the detection result of the adhering matter detection process,
The adhering matter detection processing unit is scheduled to irradiate the light source light after the non-irradiation period according to the amount of light received by the light receiving unit during the non-irradiation period when the light source does not irradiate the light source light. Decide whether to perform the adhering matter detection process corresponding to the irradiation period, during the irradiation period without using the amount of light received by the light receiving means during the non-irradiation period before or after the irradiation period The adhering matter detection apparatus, wherein the adhering matter detection process is executed using a received light amount received by the light receiving means .
前記光源から光源光を照射させるか否かの制御を行う光源制御手段を有し、
前記光源制御手段は、前記予定照射期間中は前記光源から光源光を照射させない制御を行うことを特徴とする付着物検出装置。 The deposit detection apparatus according to claim 1,
Having light source control means for controlling whether or not to irradiate light from the light source,
The said light source control means performs control which does not irradiate light source light from the said light source during the said scheduled irradiation period.
前記付着物検出処理手段は、前記光源が光源光を照射しない非照射期間中に前記受光手段により受光される受光量に応じて、該非照射期間の前又は後の照射期間に対応する付着物検出処理の検出結果を出力するか否かを決定し、照射期間の前又は後の非照射期間中に前記受光手段により受光される受光量を用いずに、該照射期間中に前記受光手段により受光される受光量を用いて前記付着物検出処理を実行することを特徴とする付着物検出装置。 Executes an adhering matter detection process for detecting an adhering matter adhering to the light transmissive member based on the amount of light received by the light receiving means via the light transmissive member during the irradiation period in which the light source emits the light source light. In the adhering matter detection apparatus comprising the adhering matter detection processing means for outputting the detection result of the adhering matter detection process,
The adhering matter detection processing means detects the adhering matter corresponding to the irradiation period before or after the non-irradiation period according to the amount of light received by the light receiving means during the non-irradiation period in which the light source does not irradiate the light source light. Decide whether or not to output the detection result of the process, and do not use the amount of light received by the light receiving means during the non-irradiation period before or after the irradiation period, and receive light by the light receiving means during the irradiation period the foreign substance detecting device characterized that you run the foreign substance detecting process using the received light amount of.
前記付着物検出処理手段は、前記非照射期間中に前記受光手段により受光される受光量が所定の閾値を超えるとき、前記予定照射期間に対応する付着物検出処理を実行しない決定、又は、該非照射期間の前又は後の照射期間に対応する付着物検出処理の検出結果を出力しない決定を行うことを特徴とする付着物検出装置。 In the adhesion detector according to any one of claims 1 to 3,
The adhering matter detection processing means decides not to execute the adhering matter detection processing corresponding to the scheduled irradiation period when the amount of received light received by the light receiving means exceeds a predetermined threshold during the non-irradiation period, or An attached matter detection apparatus that performs a determination not to output a detection result of an attached matter detection process corresponding to an irradiation period before or after an irradiation period.
前記光源は、特定の波長帯をもつ光源光を照射するものであり、
前記受光手段は、前記特定の波長帯を通過させるが該特定の波長帯から外れた波長帯を通過させない波長選択フィルタを介して受光するものであることを特徴とする付着物検出装置。 In the foreign substance detecting device according to any one of claims 1乃Itaru 4,
The light source irradiates light source light having a specific wavelength band,
The adhering matter detection apparatus, wherein the light receiving means receives light through a wavelength selection filter that passes the specific wavelength band but does not pass a wavelength band deviating from the specific wavelength band.
前記付着物検出装置として、請求項１乃至５のいずれか１項に記載の付着物検出装置を用いることを特徴とする移動体機器制御システム。 In the mobile device control system including mobile device control means for controlling a predetermined device mounted on the mobile based on the detection result of the attached matter detected by the attached matter detection device,
The deposit as a detection device, the mobile device control system which is characterized by using a foreign substance detecting device according to any one of claims 1乃optimum 5.
前記コンピュータを前記付着物検出処理手段として機能させることを特徴とする付着物検出用プログラム。 A claim 1乃foreign substance detecting a program that causes a computer of the foreign substance detecting device according to any one of Itaru 5,
A program for detecting an adhering matter that causes the computer to function as the adhering matter detection processing means.
前記光源が光源光を照射しない非照射期間中に前記受光手段により受光される受光量に応じて、該非照射期間の後に前記光源が光源光を照射する予定の予定照射期間に対応する付着物検出処理を実行するか否かを決定し、照射期間の前又は後の非照射期間中に前記受光手段により受光される受光量を用いずに、該照射期間中に前記受光手段により受光される受光量を用いて前記付着物検出処理を実行することを特徴とする付着物検出方法。 Executes an adhering matter detection process for detecting an adhering matter adhering to the light transmissive member based on the amount of light received by the light receiving means via the light transmissive member during the irradiation period in which the light source emits the light source light. In the deposit detection method for outputting the detection result of the deposit detection process,
According to the amount of light received by the light receiving means during the non-irradiation period in which the light source does not irradiate the light source, the adhering matter detection corresponding to the scheduled irradiation period in which the light source is scheduled to emit the light source light after the non-irradiation period Decide whether or not to execute the process , and receive light received by the light receiving means during the irradiation period without using the amount of light received by the light receiving means during the non-irradiation period before or after the irradiation period. The deposit detection method, wherein the deposit detection process is executed using a quantity .
前記光源が光源光を照射しない非照射期間中に前記受光手段により受光される受光量に応じて、該非照射期間の前又は後の照射期間に対応する付着物検出処理の検出結果を出力するか否かを決定し、照射期間の前又は後の非照射期間中に前記受光手段により受光される受光量を用いずに、該照射期間中に前記受光手段により受光される受光量を用いて前記付着物検出処理を実行することを特徴とする付着物検出方法。 Executes an adhering matter detection process for detecting an adhering matter adhering to the light transmissive member based on the amount of light received by the light receiving means via the light transmissive member during the irradiation period in which the light source emits the light source light. In the deposit detection method for outputting the detection result of the deposit detection process,
Whether to output the detection result of the deposit detection process corresponding to the irradiation period before or after the non-irradiation period according to the amount of light received by the light receiving means during the non-irradiation period when the light source does not irradiate the light source light Without using the received light amount received by the light receiving means during the non-irradiation period before or after the irradiation period, and using the received light amount received by the light receiving means during the irradiation period. foreign substance detecting method characterized by the execution child fouling detection processing.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US14/924,815 US9726604B2 (en) | 2014-11-12 | 2015-10-28 | Adhering detection apparatus, adhering substance detection method, storage medium, and device control system for controlling vehicle-mounted devices |
| EP15193555.8A EP3021109A1 (en) | 2014-11-12 | 2015-11-06 | Adhering detection apparatus, adhering substance detection method, carrier medium, and device control system for controlling vehicle-mounted devices |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014229494 | 2014-11-12 | ||
| JP2014229494 | 2014-11-12 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2016102779A JP2016102779A (en) | 2016-06-02 |
| JP6566308B2 true JP6566308B2 (en) | 2019-08-28 |
Family
ID=56089346
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015135483A Expired - Fee Related JP6566308B2 (en) | 2014-11-12 | 2015-07-06 | Adhering matter detection apparatus, mobile device control system, adhering matter detection program, and adhering matter detection method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6566308B2 (en) |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4327024B2 (en) * | 2003-08-12 | 2009-09-09 | 株式会社日立製作所 | Image processing system |
| DE102010028347A1 (en) * | 2010-04-29 | 2011-11-03 | Robert Bosch Gmbh | Sensor arrangement on a motor vehicle |
| JP2013031054A (en) * | 2011-07-29 | 2013-02-07 | Ricoh Co Ltd | Image pickup device and object detection device incorporating the same and optical filter and manufacturing method thereof |
| JP5999483B2 (en) * | 2011-11-02 | 2016-09-28 | 株式会社リコー | Adhering matter detection device and in-vehicle device control device |
| JP2014032174A (en) * | 2012-07-13 | 2014-02-20 | Ricoh Co Ltd | Imaging device, attachment detection device, apparatus control system for transfer device, and transfer device |
-
2015
- 2015-07-06 JP JP2015135483A patent/JP6566308B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2016102779A (en) | 2016-06-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5561333B2 (en) | Image processing apparatus, imaging method, program, and vehicle | |
| JP5999483B2 (en) | Adhering matter detection device and in-vehicle device control device | |
| US9726604B2 (en) | Adhering detection apparatus, adhering substance detection method, storage medium, and device control system for controlling vehicle-mounted devices | |
| JP6468482B2 (en) | IMAGING DEVICE, OBJECT DETECTION DEVICE, AND MOBILE DEVICE CONTROL SYSTEM | |
| JP5846485B2 (en) | Adhering matter detection apparatus and adhering matter detection method | |
| JP6380843B2 (en) | Object detection apparatus, mobile device control system including the same, and object detection program | |
| US9706177B2 (en) | Image processing system, vehicle including the same, image processing method, and computer program product | |
| JP4327024B2 (en) | Image processing system | |
| JP2005195566A (en) | Image processing system | |
| JP2013190416A (en) | Deposit detection device and in-vehicle equipment controller including the same | |
| JP6555569B2 (en) | Image processing apparatus, mobile device control system, and image processing program | |
| JP6098575B2 (en) | Imaging unit, image processing apparatus, and vehicle | |
| JP5887840B2 (en) | Image processing device | |
| JP6566308B2 (en) | Adhering matter detection apparatus, mobile device control system, adhering matter detection program, and adhering matter detection method | |
| JP2016146583A (en) | Imaging device, mobile apparatus control system and program | |
| JP2014232026A (en) | Attachment detection device, moving body apparatus control system, and moving body | |
| JP6536946B2 (en) | Imaging device, imaging method, program, and mobile device control system | |
| JP2017003531A (en) | Object detection device, object removal operation control system, object detection method, and object detection program | |
| JP2015028427A (en) | Adhered substance detection device, moving body device control system, moving body, and program for detecting adhered substance | |
| JP5891723B2 (en) | Imaging method and imaging unit | |
| JP2014235079A (en) | Deposit detection device, mobile object equipment control system and mobile object | |
| JP2016218046A (en) | Object detection device, object removal operation control system, object detection method, and program for object detection | |
| JP2015169567A (en) | Deposit detection device, mobile device control system, and deposit detection program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180614 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190426 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190424 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190618 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190705 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190718 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6566308 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| LAPS | Cancellation because of no payment of annual fees |