JP3201518U - System for detecting obstacles in the field of image sensor - Google Patents
System for detecting obstacles in the field of image sensor Download PDFInfo
- Publication number
- JP3201518U JP3201518U JP2015004972U JP2015004972U JP3201518U JP 3201518 U JP3201518 U JP 3201518U JP 2015004972 U JP2015004972 U JP 2015004972U JP 2015004972 U JP2015004972 U JP 2015004972U JP 3201518 U JP3201518 U JP 3201518U
- Authority
- JP
- Japan
- Prior art keywords
- light
- image sensor
- imaging system
- vehicle
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 claims abstract description 112
- 230000004044 response Effects 0.000 claims abstract description 41
- 239000011241 protective layer Substances 0.000 claims abstract description 28
- 230000006870 function Effects 0.000 claims description 42
- 230000002093 peripheral effect Effects 0.000 claims description 7
- 230000000007 visual effect Effects 0.000 claims description 7
- 239000011521 glass Substances 0.000 claims description 4
- 238000000034 method Methods 0.000 description 20
- 238000012795 verification Methods 0.000 description 18
- 230000000875 corresponding effect Effects 0.000 description 8
- 239000000428 dust Substances 0.000 description 8
- 239000003086 colorant Substances 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 238000001514 detection method Methods 0.000 description 6
- 230000001276 controlling effect Effects 0.000 description 5
- 230000001105 regulatory effect Effects 0.000 description 4
- 239000003921 oil Substances 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 239000000758 substrate Substances 0.000 description 3
- 241000238631 Hexapoda Species 0.000 description 2
- VVQNEPGJFQJSBK-UHFFFAOYSA-N Methyl methacrylate Chemical compound COC(=O)C(C)=C VVQNEPGJFQJSBK-UHFFFAOYSA-N 0.000 description 2
- 229920005372 Plexiglas® Polymers 0.000 description 2
- 239000010419 fine particle Substances 0.000 description 2
- 239000011499 joint compound Substances 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 229920003023 plastic Polymers 0.000 description 2
- 230000006641 stabilisation Effects 0.000 description 2
- 238000011105 stabilization Methods 0.000 description 2
- 239000012780 transparent material Substances 0.000 description 2
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000004922 lacquer Substances 0.000 description 1
- 239000010410 layer Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 229920000642 polymer Polymers 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- -1 rain Substances 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
- B60Q1/0017—Devices integrating an element dedicated to another function
- B60Q1/0023—Devices integrating an element dedicated to another function the element being a sensor, e.g. distance sensor, camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
- B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
- B60Q1/04—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
- B60Q1/14—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights having dimming means
- B60Q1/1415—Dimming circuits
- B60Q1/1423—Automatic dimming circuits, i.e. switching between high beam and low beam due to change of ambient light or light level in road traffic
- B60Q1/143—Automatic dimming circuits, i.e. switching between high beam and low beam due to change of ambient light or light level in road traffic combined with another condition, e.g. using vehicle recognition from camera images or activation of wipers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q2300/00—Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
- B60Q2300/10—Indexing codes relating to particular vehicle conditions
- B60Q2300/14—Other vehicle conditions
- B60Q2300/146—Abnormalities, e.g. fail-safe
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
- B60S1/00—Cleaning of vehicles
- B60S1/02—Cleaning windscreens, windows or optical devices
- B60S1/04—Wipers or the like, e.g. scrapers
- B60S1/06—Wipers or the like, e.g. scrapers characterised by the drive
- B60S1/08—Wipers or the like, e.g. scrapers characterised by the drive electrically driven
- B60S1/0818—Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like
- B60S1/0822—Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like characterized by the arrangement or type of detection means
- B60S1/0833—Optical rain sensor
- B60S1/0844—Optical rain sensor including a camera
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Traffic Control Systems (AREA)
- Studio Devices (AREA)
- Signal Processing (AREA)
- Mechanical Engineering (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Automation & Control Theory (AREA)
Abstract
【課題】正しい撮像機能を検証するための能力が向上したイメージングシステムを提供する。【解決手段】その視野にわたって受光した光に応答して、画像データを収集するように構成されたイメージセンサ14と、イメージセンサ14の視野内に形成された透明保護層32と、所定のパターンで光を放射するように構成された光源36と、光源36によって所定のパターンで放射された光に応答して、イメージセンサ14によって収集された画像データの部分を検出するように構成され、および画像データの部分を検出することに応答して、透明保護層32上の障害物34を識別するように構成された制御および処理回路16と、を備える。【選択図】図2An imaging system having an improved ability to verify a correct imaging function is provided. An image sensor configured to collect image data in response to light received over the field of view, a transparent protective layer formed within the field of view of the image sensor, and a predetermined pattern. A light source configured to emit light, and configured to detect a portion of the image data collected by the image sensor in response to the light emitted in a predetermined pattern by the light source. Control and processing circuitry 16 configured to identify an obstacle 34 on the transparent protective layer 32 in response to detecting the portion of data. [Selection] Figure 2
Description
本考案は、一般に、イメージングシステムに関し、より具体的には、画像検証回路を有するイメージングシステムに関するものである。 The present invention relates generally to imaging systems, and more specifically to an imaging system having an image verification circuit.
携帯電話機、カメラおよびコンピュータ等の現代の電子装置は、多くの場合、デジタルイメージセンサを使用している。撮像装置(すなわち、イメージセンサ)は、画像検出画素から成る2次元アレイによって形成される。各画素は、入射光子(入射光)を受光して、それらの光子を電気信号に変換する。 Modern electronic devices such as mobile phones, cameras and computers often use digital image sensors. An imaging device (that is, an image sensor) is formed by a two-dimensional array of image detection pixels. Each pixel receives incident photons (incident light) and converts them into electrical signals.
イメージセンサは、自動車用途によく利用されている。自動車用イメージング用途においては、イメージセンサが、ISO26262、すなわち、路上走行車の機能安全規格等の一定の規制安全基準に準拠することが不可欠になっている。そのような種類の産業安全基準に準拠するために、自動車用イメージセンサは、典型的には、そのイメージセンサが正しく作動しているか否かを判断するために、自己検査処理を実行する。具体的には、多くの場合、イメージセンサに付随するレンズが正しく作動しているか否かを判断できることが望ましい。 Image sensors are often used for automotive applications. In automotive imaging applications, it is indispensable for image sensors to comply with certain regulatory safety standards such as ISO 26262, ie, functional safety standards for road vehicles. In order to comply with such types of industrial safety standards, automotive image sensors typically perform a self-inspection process to determine whether the image sensor is operating properly. Specifically, in many cases, it is desirable to be able to determine whether the lens associated with the image sensor is operating correctly.
しかし、従来の自動車用イメージセンサにおいては、イメージセンサが自動車に組み込まれた後に、そのイメージセンサのレンズによって既知のシーンを与えることは難しいか、または不可能である可能性がある。このことは、自動車用イメージングシステムが、レンズが間違って、または故意に傷付けられているか否かを判断することを困難にする可能性がある。 However, in a conventional automotive image sensor, it may be difficult or impossible to provide a known scene with the lens of the image sensor after it has been incorporated into the vehicle. This can make it difficult for an automotive imaging system to determine if a lens is accidentally or intentionally damaged.
したがって、正しい撮像機能を検証するための能力が向上したイメージングシステムを提供することが望まれている。 Accordingly, it is desirable to provide an imaging system with improved ability to verify the correct imaging function.
本考案に係るイメージングシステムは、イメージセンサと、光源と、処理回路とを有し、前記イメージセンサは、前記イメージセンサの視野にわたる画像データを収集するものであり、前記光源は、光を放射するものであり、前記処理回路は、前記収集された画像データが、前記放射された光の反射に応答して生成された画像データの一部を含んでいるか否かを判断するものであり、さらに前記処理回路は、前記収集された画像データが、前記放射された光の前記反射に応答して生成された画像データの一部を含んでいると判断したことに応答して、前記イメージセンサの前記視野内に障害物があることを識別するものである。 An imaging system according to the present invention includes an image sensor, a light source, and a processing circuit. The image sensor collects image data over the field of view of the image sensor, and the light source emits light. The processing circuit determines whether the collected image data includes a portion of the image data generated in response to reflection of the emitted light; and In response to determining that the collected image data includes a portion of the image data generated in response to the reflection of the emitted light, the processing circuit includes: It identifies that there is an obstacle in the field of view.
また本考案に係るイメージングシステムは、その視野にわたって受光した光に応答して、画像データを収集するように構成されたイメージセンサと、前記イメージセンサの前記視野内に形成された透明保護層と、所定のパターンで光を放射するように構成された光源と、前記光源によって前記所定のパターンで放射された前記光に応答して、前記イメージセンサによって収集された前記画像データの部分を検出するように構成され、および前記画像データの前記部分を検出することに応答して、前記透明保護層上の障害物を識別するように構成された処理回路と、を備える、イメージングシステムである。 An imaging system according to the present invention is an image sensor configured to collect image data in response to light received over the field of view, a transparent protective layer formed in the field of view of the image sensor, A light source configured to emit light in a predetermined pattern, and detecting a portion of the image data collected by the image sensor in response to the light emitted in the predetermined pattern by the light source. And a processing circuit configured to identify obstacles on the transparent protective layer in response to detecting the portion of the image data.
本考案に係るシステムは、内部および外部を有する車両と、中央処理ユニットと、メモリと、入出力回路と、画像データを収集するように構成された撮像装置であって、前記車両の前記内部に取り付けられ、および前記車両の前記外部に面する方向に向けられる前記撮像装置と、前記撮像装置を前記車両の前記外部から隔離する透明保護層と、前記車両の前記内部に取り付けられた光源とを備え、前記光源は、所定のパターンの光を放射するように構成され、および前記中央処理ユニットは、前記収集した画像データ内の前記所定のパターンの光の反射を識別することによって、前記イメージセンサの近接障害物を検出するように構成される、システムである。 A system according to the present invention is an imaging device configured to collect a vehicle having an interior and an exterior, a central processing unit, a memory, an input / output circuit, and image data. The imaging device attached and oriented in a direction facing the exterior of the vehicle; a transparent protective layer that isolates the imaging device from the exterior of the vehicle; and a light source attached to the interior of the vehicle. The light source is configured to emit a predetermined pattern of light, and the central processing unit identifies the reflection of the predetermined pattern of light in the collected image data by A system configured to detect a proximity obstacle.
デジタルカメラモジュールを有する本考案のイメージングシステムは、デジタルカメラ、コンピュータ、携帯電話機およびその他の電子装置等の電子装置に幅広く用いられる。デジタルカメラモジュールは、入射光を集めて画像を収集する1つ以上のイメージセンサを含むものであってもよい。 The imaging system of the present invention having a digital camera module is widely used in electronic devices such as digital cameras, computers, mobile phones, and other electronic devices. The digital camera module may include one or more image sensors that collect incident light and collect images.
いくつかの状況において、本考案のイメージングシステムは、車両(例えば、自動車、バス、または他の何らかの車両)用の監視システムまたは安全システム等のより大きなシステムの一部を構成してもよい。 In some situations, the imaging system of the present invention may form part of a larger system, such as a surveillance or safety system for a vehicle (eg, an automobile, bus, or some other vehicle).
車両用安全システムにおいて、そのイメージングシステムによって収集された画像は、その車両安全システムが、その車両の周囲の環境条件を判断するのに用いることができる。例として、車両安全システムは、駐車支援システム、全自動または半自動の速度制御システム、自動制動システム、衝突回避システム、車線維持システム(車線ドリフト回避システムともいう)等のシステムを含んでもよい。これらの状況において、イメージングシステムによって収集された画像データは、車両安全システムが、自動車の機能(例えば、自動車の安全性および/または自動車の近傍の物体の安全性を確実にすることに関連していてもしていなくてもよい、自動車の機械的動作に付随する機能)を実行するために用いられる。少なくともいくつかの事例では、イメージングシステムは、半自動または全自動運転車用の車両安全システムの一部を構成してもよい。 In a vehicle safety system, the images collected by the imaging system can be used by the vehicle safety system to determine environmental conditions around the vehicle. By way of example, the vehicle safety system may include systems such as a parking assistance system, a fully or semi-automatic speed control system, an automatic braking system, a collision avoidance system, a lane keeping system (also referred to as a lane drift avoidance system). In these situations, the image data collected by the imaging system is relevant to the vehicle safety system ensuring the functionality of the vehicle (eg, vehicle safety and / or the safety of objects in the vicinity of the vehicle). Used to perform functions associated with the mechanical operation of the vehicle, which may or may not be). In at least some instances, the imaging system may form part of a vehicle safety system for a semi-automatic or fully autonomous vehicle.
車両安全システムは、(例えば、記憶装置、および揮発性または不揮発性メモリと、中央処理システムまたは他の処理装置等のプロセッサを有する処理回路とに実装された)計算装置と、その計算装置によって生成された命令を、車両の運転に付随する機械的動作に変換する対応する運転制御装置とを含んでもよい。例えば、運転制御装置は、車両安全システムによって生成された制御信号に応答して、その車両に付随する機械的システムを作動させてもよい。 A vehicle safety system is generated by a computing device (e.g., implemented in a storage device and a volatile or non-volatile memory and a processing circuit having a processor such as a central processing system or other processing device) and the computing device And a corresponding operation control device that converts the issued command into a mechanical operation associated with driving the vehicle. For example, the driving control device may activate a mechanical system associated with the vehicle in response to a control signal generated by the vehicle safety system.
車両安全システムは、車両の運転に関連する所望の機械的動作を実行するように運転制御装置に指示するのに制御信号が用いられるように、その画像データを処理して該制御信号を生成してもよい。例えば、運転制御システムは、(例えば、車両が車両安全システムによって駐車スペースに案内される駐車支援機能を実行するために、道路車線マーカー間で車両のコースを維持するようにステアリングホイールが自動的に調節される車線支援機能を実行するために)車両が所望の方向に向きを変えるように、車両のステアリングホイールを調節してもよく、車両が一定の速度を有するように、または、所望のエンジン出力で車両が前後に動くように(例えば、運転制御システムは、その車両の前方の別の車両に対して、その車両が所望の距離を保つように調節してもよい等)車両のエンジン(モータ)を制御してもよく、車両に付随する制動システムを調節してもよく(例えば、パーキングブレーキ、アンチロックブレーキ等を作動させてもよい)、または、車両の動作に関連する他の何らかの機械的動作を実行してもよい。車両安全システムは、車両の横、前方および/または後方の物体を検出し、(例えば、アラームまたはディスプレイによって)運転者にハザードを警告する、および/または検出したハザードまたは物体を避けるために、(例えば、運転システムを制御することにより)車両の動きを自動的に調節するハザード検出動作を実行してもよい。(例えば、運転制御システムを制御することにより)車両の安全を維持するために車両安全システムによって実行された機能は、本願明細書においては、車両安全動作または車両安全機能と呼ぶこともある。 The vehicle safety system processes the image data and generates the control signal so that the control signal is used to instruct the driving controller to perform the desired mechanical action associated with driving the vehicle. May be. For example, the driving control system may automatically turn the steering wheel to maintain the course of the vehicle between road lane markers (for example, to perform a parking assist function where the vehicle is guided to the parking space by the vehicle safety system). The vehicle's steering wheel may be adjusted so that the vehicle turns in a desired direction (to perform an adjusted lane assist function), so that the vehicle has a constant speed, or a desired engine The vehicle engine (e.g., the driving control system may adjust the vehicle to maintain a desired distance relative to another vehicle ahead of the vehicle, etc.) so that the vehicle moves back and forth with output. The motor) and the braking system associated with the vehicle may be adjusted (eg, parking brake, anti-lock brake etc. Good), or it may execute some other mechanical operations associated with the operation of the vehicle. The vehicle safety system detects objects next to, ahead and / or behind the vehicle, alerts the driver of the hazard (eg, by an alarm or display) and / or avoids the detected hazard or object ( For example, a hazard detection operation that automatically adjusts the movement of the vehicle (by controlling the driving system) may be performed. A function performed by the vehicle safety system to maintain vehicle safety (eg, by controlling a driving control system) may be referred to herein as a vehicle safety operation or a vehicle safety function.
自動車安全基準等の規制主体によって課された規制基準は、車両安全システムの(イメージングシステムコンポーネントを含む)どのコンポーネントの適切な動作も、対応する車両の動作の前、間および/または後に検証されることを要求する可能性がある。イメージングシステムコンポーネントのための検証動作は、車両の動作の前および/または後に(例えば、そのイメージングシステムの始動時および/または停止時に)、そのイメージングシステムによって実行してもよい。それらの検証動作時には、イメージングシステムと検証動作とが同時に動作する必要はない可能性がある。しかし、イメージングシステムの動作中に、特に、そのイメージングシステムによって提供された撮像データの品質によって、車両の安全が影響を受ける可能性がある状況においては、イメージングシステムコンポーネントのステータスを継続的にモニタすることが所望される可能性がある。イメージングシステムには、この種のオンザフライ(例えば、リアルタイム)検証能力を設けてもよい。 Regulatory standards imposed by regulatory bodies such as automotive safety standards are verified for proper operation of any component (including imaging system components) of the vehicle safety system before, during and / or after the operation of the corresponding vehicle There is a possibility to demand that. The verification operation for the imaging system component may be performed by the imaging system before and / or after operation of the vehicle (eg, when the imaging system is started and / or stopped). During these verification operations, the imaging system and the verification operation may not need to operate simultaneously. However, continuously monitor the status of imaging system components during operation of the imaging system, especially in situations where the safety of the vehicle may be affected by the quality of the imaging data provided by the imaging system May be desirable. An imaging system may be provided with this type of on-the-fly (eg, real-time) verification capability.
車両安全システムのイメージングシステムに実装されているもの等のイメージセンサは、画像画素から成る1つ以上のアレイを含んでもよい。そのアレイの画素は、入射光を電荷に変換するフォトダイオード等の受光素子を含んでもよい。画素アレイは、任意の数(例えば、数百または数千以上)の画素を有してもよい。典型的なイメージセンサは、例えば、数百、数千または数百万の画素(例えば、メガピクセル)を有してもよい。必要に応じて、各画素は、その画素を覆って形成された関連するマイクロレンズ(およびカラーフィルタ素子)を有してもよい。その画素アレイは、ダストまたは指紋等の外部粒子から画素アレイを保護する覆蓋を追加的に有してもよい。イメージセンサが自動車または他の車両に組み込まれる場合、そのイメージセンサは、車両の動作中のダメージから該イメージセンサを保護する追加的な保護層(例えば、車両のウィンドウまたはフロントガラス、または、イメージセンサのための他の何らかの保護カバー)の背後に設けてもよい。 An image sensor, such as that implemented in an imaging system of a vehicle safety system, may include one or more arrays of image pixels. The pixels of the array may include light receiving elements such as photodiodes that convert incident light into electric charges. The pixel array may have any number (eg, hundreds or thousands or more) of pixels. A typical image sensor may have, for example, hundreds, thousands, or millions of pixels (eg, megapixels). If desired, each pixel may have an associated microlens (and color filter element) formed over that pixel. The pixel array may additionally have a cover that protects the pixel array from external particles such as dust or fingerprints. When the image sensor is incorporated into an automobile or other vehicle, the image sensor has an additional protective layer that protects the image sensor from damage during operation of the vehicle (e.g., a vehicle window or windshield, or an image sensor). May be provided behind any other protective cover for).
自動車用イメージング用途においては、イメージセンサが、捉えようとしているシーンから遮られることがよくある。例えば、自動車は、車上の自動車用イメージングシステムに実装されたイメージセンサの視野を遮る可能性がある自動車の通常の動作中に、埃、泥、雨、油または他のデブリを引き寄せる可能性がある。イメージセンサは、イメージセンサの視野が遮られないことを確実にするように、検証システムを含むカメラモジュールの一部として形成してもよい。例えば、そのカメラモジュールは、イメージセンサと、対応する光源とを含んでもよい。その光源は、特定の色または複数の色の光を既知のパターンで放射してもよい。その光源は、イメージセンサが、障害物から反射された光を検出できるように、そのイメージセンサの視野を遮る近接障害物から反射するのに十分に明るい光を放射してもよい。イメージセンサが光源によって障害物から反射した光を受光した場合(例えば、受光した光が、そのパターンで光源によって光が放射された所定のカラーパターンに一致した場合に)、そのイメージセンサに結合されている処理回路は、近接障害物が存在しており、適切な動作を行ってもよいと判断することができる。特定の場合においては、その処理回路は、遮られたイメージセンサに関連する運転者支援機能を停止させてもよく、および/または入出力装置を用いて、障害物があることを自動車の運転者に警告してもよい。その他の場合においては、処理回路は、遮られた視野が、イメージセンサが運転者支援機能に用いられるのに依然として十分であると判断してもよい。 In automotive imaging applications, the image sensor is often blocked from the scene being captured. For example, a car can attract dust, mud, rain, oil or other debris during the normal operation of the car, which can obscure the field of view of an image sensor mounted in an automotive imaging system on the car. is there. The image sensor may be formed as part of a camera module that includes a verification system to ensure that the field of view of the image sensor is not obstructed. For example, the camera module may include an image sensor and a corresponding light source. The light source may emit a specific color or multiple colors of light in a known pattern. The light source may emit light that is sufficiently bright to reflect from a nearby obstacle that obstructs the field of view of the image sensor so that the image sensor can detect light reflected from the obstacle. When the image sensor receives light reflected from an obstacle by a light source (for example, when the received light matches a predetermined color pattern emitted by the light source in that pattern), it is coupled to that image sensor It can be determined that the adjacent processing circuit has a nearby obstacle and may perform an appropriate operation. In certain cases, the processing circuitry may turn off driver assistance functions associated with the blocked image sensor and / or use an input / output device to indicate that an obstacle is present in the vehicle. You may be warned. In other cases, the processing circuitry may determine that the obstructed field of view is still sufficient for the image sensor to be used for driver assistance functions.
また本考案に係る方法は、イメージセンサと、光源と、処理回路とを有するイメージングシステムを作動させる方法であって、前記イメージセンサを用いて、前記イメージセンサの視野にわたる画像データを収集し、前記光源を用いて、光を放射し、前記処理回路を用いて、前記収集された画像データが、前記放射された光の反射に応答して生成された画像データの一部を含んでいるか否かを判断し、前記処理回路を用いて、前記収集された画像データが、前記放射された光の前記反射に応答して生成された画像データの一部を含んでいると判断されたことに応答して、前記イメージセンサの前記視野内に障害物があることを識別する、方法である。 A method according to the present invention is a method of operating an imaging system having an image sensor, a light source, and a processing circuit, and using the image sensor, collects image data over the field of view of the image sensor, and Whether the collected image data includes a portion of image data generated in response to reflection of the emitted light, using a light source to emit light, and using the processing circuit And using the processing circuit to respond to determining that the collected image data includes a portion of the image data generated in response to the reflection of the emitted light. And identifying that there is an obstacle in the field of view of the image sensor.
前記イメージングシステムが車両内に形成された自動車用イメージングシステムを備える場合、前記方法は、前記処理回路を用いて、前記収集した画像データを用いて前記車両に関連する車両支援機能を実行する工程をさらに含むものであってもよい。 If the imaging system comprises an automotive imaging system formed in a vehicle, the method includes using the processing circuit to perform a vehicle assistance function associated with the vehicle using the collected image data. Further, it may be included.
前記方法において、前記処理回路を用いて、前記収集した画像データ内の前記障害物の位置およびサイズをさらに判断してもよい。 In the method, the processing circuit may be used to further determine the position and size of the obstacle in the collected image data.
前記方法において、前記処理回路を用いて、前記障害物の前記位置およびサイズを判断することに応答して、前記車両支援機能のうちの少なくとも1つを停止させてもよい。 In the method, at least one of the vehicle support functions may be stopped in response to determining the position and size of the obstacle using the processing circuit.
前記方法において、前記処理回路を用いて、前記障害物の前記位置およびサイズを所定の閾値サイズと比較し、前記障害物の前記サイズが前記所定の閾値サイズよりも小さいと判断することに応答して、前記収集した画像データを用いて前記車両支援機能を実行し続けてもよい。 In the method, in response to using the processing circuit to compare the position and size of the obstacle with a predetermined threshold size and to determine that the size of the obstacle is smaller than the predetermined threshold size. The vehicle support function may continue to be executed using the collected image data.
前記視野が周辺部を有する場合、前記方法は、前記処理回路を用いて、前記障害物の前記位置が、前記視野の前記周辺部であるか否かを判断する工程と、前記近接障害物の前記位置が、前記視野の前記周辺部であると判断したことに応答して、前記収集した画像データを用いて前記車両支援機能を実行し続ける工程と、をさらに含むものであってもよい。 When the visual field has a peripheral part, the method uses the processing circuit to determine whether the position of the obstacle is the peripheral part of the visual field; and A step of continuing to execute the vehicle support function using the collected image data in response to determining that the position is the peripheral portion of the visual field.
前記処理回路を用いて、前記障害物の前記位置およびサイズを判断したことに応答して、前記障害物が前記イメージセンサの前記視野内に存在していることを、前記車両のユーザに知らせてもよい。 In response to determining the position and size of the obstacle using the processing circuit, inform the vehicle user that the obstacle is in the field of view of the image sensor. Also good.
前記方法において、前記光を放射する工程は、前記光を所定のパターンで放射する工程を含むものであってもよい。 In the method, the step of emitting the light may include a step of emitting the light in a predetermined pattern.
前記方法において、前記光を前記所定のパターンで放射する工程は、前記処理回路を用いて、前記光源を第1の期間、スイッチオフし、および前記光源を、前記第1の期間の後の第2の期間、選択された色の光を放射するように制御する工程を含むものであってもよい。 In the method, the step of emitting the light in the predetermined pattern comprises using the processing circuit to switch off the light source for a first period, and to turn the light source for a first time after the first period. It may include a step of controlling to emit light of a selected color for a period of two.
前記方法において、前記光を前記所定のパターンで放射する工程は、前記処理回路を用いて、前記光源を、前記第2の期間の後の第3の期間、スイッチオフし、および前記光源を、前記第3の期間の後の第4の期間、前記第1の色とは異なる第2の色の光を放射するように制御する工程をさらに含むものであってもよい。 In the method, the step of emitting the light in the predetermined pattern comprises using the processing circuit to switch off the light source for a third period after the second period, and to turn the light source on The method may further include a step of controlling to emit light of a second color different from the first color in a fourth period after the third period.
前記イメージセンサの前記視野内に障害物が存在することを識別する工程は、 前記イメージセンサの10センチメートル以内に障害物があることを識別する工程を含むものであってもよい。 The step of identifying the presence of an obstacle in the field of view of the image sensor may include the step of identifying the presence of an obstacle within 10 centimeters of the image sensor.
図1は、イメージセンサを用いて画像を捉えるイメージングシステムと、それに対応するホストサブシステムとを有する本考案の実施形態に係るシステムを示す略図である。図1のシステム100は、例えば、車両安全システム(アクティブ制動システムまたは他の車両安全システム)、監視システム、カメラ、携帯電話機、ビデオカメラ等の電子装置、または、デジタル画像データを撮映する他の電子装置であってもよい。
FIG. 1 is a schematic diagram showing a system according to an embodiment of the present invention having an imaging system for capturing an image using an image sensor and a corresponding host subsystem. The
図1に示すように、システム100は、イメージングシステム10等のイメージングシステムと、ホストサブシステム20等のホストサブシステムとを含んでいる。イメージングシステム10は、カメラモジュール12を含んでいる。カメラモジュール12は、1つ以上のイメージセンサ14と、1つ以上の対応するレンズとを含んでいる。カメラモジュール12内のそれらのレンズは、実施例として、M×Nアレイに配列されたM×N個の個々のレンズを含んでいる。個々のイメージセンサ14は、(実施例としての)対応するM×Nのイメージセンサアレイ内に配列され、MおよびNの値は、それぞれ、1以上であってもよく、それぞれ2以上であってもよく、10を超えてもよく、または、他の任意の適当な数を有してもよい。
As shown in FIG. 1,
カメラモジュール12内の各イメージセンサは同一であってもよく、または、所定のイメージセンサアレイ集積回路内に、異なるタイプのイメージセンサが含まれていてもよい。各イメージセンサは、(実施例として)480×640イメージセンサ画素の解像度を備えたビデオグラフィックスアレイ(VGA)センサであってもよい。また、イメージセンサ画素の他の構成も、必要に応じて、イメージセンサのために用いてもよい。例えば、VGA解像度より大きな解像度を備えたイメージセンサ(例えば、高解像度イメージセンサ)、VGA解像度より小さな解像度を備えたイメージセンサおよび/またはすべてのイメージセンサが同一ではないイメージセンサアレイを用いてもよい。
Each image sensor in the
各レンズは、画像撮映動作中に、関連するイメージセンサ14上に光の焦点を合わせることができる。イメージセンサ14は、その光をデジタルデータに変換する受光素子(すなわち、画素)を含む。イメージセンサは、任意の数(例えば、数百、数千、数百万以上)の画素を有していてもよい。例えば、典型的なイメージセンサは、数百万の画素(メガピクセル)を有していてもよい。実施例として、イメージセンサ14は、バイアス回路(例えば、ソースフォロア負荷回路)、サンプルホールド回路、相関二重サンプリング(CDS)回路、増幅回路、アナログデジタル変換(ADC)回路、データ出力回路、メモリ(例えば、バッファ回路)、アドレス回路等を含んでいてもよい。
Each lens can focus the light on the associated
イメージセンサ14からの静止画データおよびビデオ画像データは、路26を介して制御および処理回路16に供給される。制御および処理回路16は、データフォーマット、ホワイトバランスおよび露光の調節、ビデオ画像安定化の実施、顔検出等の画像処理機能を実行するのに用いられる。また、制御および処理回路16は、必要に応じて、生カメラ画像ファイルを圧縮(例えば、ジェイペグすなわちJPEGフォーマットに)するのに用いてもよい。
Still image data and video image data from the
システムオンチップ(SOC)と称される場合もある典型的な構成においては、カメラセンサ14と、制御および処理回路16とは、共通の半導体基板(例えば、共通のシリコンイメージセンサ集積回路ダイ)上に実装される。必要に応じて、カメラセンサ14と処理回路16とは、別々の半導体基板上に形成してもよい。例えば、カメラセンサ14と処理回路16とは、積層されている別々の基板上に形成してもよい。
In a typical configuration, sometimes referred to as a system-on-chip (SOC), the
イメージングシステム10は、路18を介して、取得した画像データをホストサブシステム20に伝えることができる。システム100が自動車用イメージングシステムである状況においては、ホストサブシステム20は、制動または操縦等の車両機能を制御するための制御信号を(例えば、車両安全システム動作を実行するために)外部装置へ供給するアクティブ制御システムを含んでいてもよい。ホストサブシステム20は、画像中の物体を検出し、画像フレーム間の物体の動きを検出し、画像中の物体までの距離を測定し、イメージングシステム10によって提供された画像をフィルタリングし、または別の形で処理するための処理ソフトウェアを含んでいてもよい。ホストサブシステム20は、イメージセンサに関連する検証データが、イメージセンサが正しく機能していないことを示している場合に、イメージングシステム10を停止させるように、および/または警告を発するように(例えば、車のダッシュボード上の警告灯、可聴警告、またはその他の警告)構成された警告システムを含んでいてもよい。
The
システム100は、必要に応じて、多数の高レベル機能をユーザに提供してもよい。例えば、コンピュータ、または高機能携帯電話機においては、ユーザに、ユーザアプリケーションを実行する能力を与えてもよい。それらの機能を実施するために、システム100のホストサブシステム20は、キーパッド、入出力ポート、ジョイスティック、ディスプレイ等の入出力装置22と、記憶および処理回路24とを有していてもよい。記憶および処理回路24は、揮発性および不揮発性のメモリ(例えば、ランダムアクセスメモリ、フラッシュメモリ、ハードドライブ、半導体ドライブ等)を含んでいてもよい。また、記憶および処理回路24は、マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ、特定用途向け集積回路等も含んでいてもよい。
The
カメラモジュール12は、イメージングシステム10の動作中に、画像フレームを連続的に収集してホストサブシステム20へ供給することができる。イメージセンサ14に関連する検証回路(verification circuit)は、画像収集動作中に、(例えば、各画像フレーム収集の後に、他の画像フレームの収集毎に、5つの画像フレームの収集毎に、または画像フレームの収集の一部の間になど)時々作動させてもよい。検証回路が作動した時に収集した画像は、検証情報を含む検証データを含んでいてもよい。検証データは、画像処理回路16および/または記憶および処理回路24へ供給することができる。
The
画像処理回路16は、その検証データを、画像処理回路16に格納されている所定のデータセットと比較するように構成してもよい。その比較の後に、画像処理回路16は、ステータス情報または他の検証情報(例えば、イメージセンサ14の正しい/予測されるパフォーマンスを検証する情報、または、イメージセンサ14の間違ったパフォーマンスを識別する情報)をホストサブシステム20へ送信してもよい。
The
イメージングシステム10のための構成の実施例を図2に示す。図2に図示されているように、イメージングシステム10は、イメージセンサ14と、制御および処理回路16と、光源36とを含んでいる。
An example configuration for the
イメージセンサ14は、行列状に配列された数百、数千、または数百万の画素を有する画素アレイを含むことができる。イメージセンサ14は、その画素アレイを覆う覆蓋28を有していてもよい。覆蓋28は、イメージセンサ14がそこを介して画像光を受光するための何らかの所望の透明材料を含んでいてもよい。覆蓋28は、例えば、ガラス、プラスチック、プレキシガラス、ポリマー、または、他の何らかの所望の材料から形成することができる。覆蓋28は、ダストおよび微粒子が画素アレイ28に達して、イメージセンサ14によって得られる画像の品質に悪い影響を及ぼすのを防ぐことができる。
The
イメージセンサ14が車両の内部に取り付けられる状況において、保護層32は、車両内において、そのイメージセンサを車両の外部から隔離するのに用いることができる。保護層32は、イメージセンサ14が、車両の周囲の正確な画像を捉えることができるように、透明材料で形成してもよい。保護層32は、例えば、ガラス、プラスチック、プレキシガラス、または、他の何らかの所望の材料で形成することができる。保護層32は、泥やダスト等の外部からの微粒子が車両の内部に達するのを防ぐことができる。しかし、保護層32は、車両の外部に対して露出しているため、埃、ダスト、泥、油、雨、雪または昆虫等の外部要素によって遮られ易い。この実施例は、例示的なものにすぎない。
In situations where the
必要に応じて、覆蓋28および/または保護層32を省いてもよい。光源36は、(例えば、蓋28上の近接障害物を検出するために)蓋28の背後に形成してもよい。
If necessary, the
イメージセンサ14は、視野30を有する。イメージセンサ14は、視野30から受光した光に応答して、画像データを生成することができる。視野30は、所望のどのようなサイズおよび形状であってもよく、それらは、イメージセンサ14の特定の実施状況に応じて決められる。
The
システム10の動作中(例えば、システム10がその上に形成されている自動車の動作中)、イメージセンサ14の視野30は、近接障害物34によって遮られる可能性がある。障害物34は、例えば、汚れ、油の付着、指紋、埃、ダスト、泥、水、または、視野30内のその他のデブリである可能性がある。この近接障害物は、その障害物の背後のシーンを遮ることにより、イメージセンサ14が正確な画像データを得ることを妨げる可能性がある。図2に図示されているように、近接障害物34は、保護層32の外側面上に位置している。しかし、この実施例は、例示的なものにすぎない。一般的に、障害物34は、覆蓋28の上、層32の内側面上、または、視野30内の他の箇所に位置している可能性がある。
During operation of the system 10 (eg, during operation of the automobile on which the
イメージングシステム10が車両安全システムに用いられる状況においては(すなわち、自動車用イメージングの産業規制基準に準拠するために)、(例えば、イメージセンサ14を含む)イメージングシステム10が正しく機能していることを検証することが必要である。例えば、近接障害物34が視野30内にある場合、イメージセンサ14は、車両の周りの正確な画像データを得ることができず、それによって、イメージセンサ14が正しく機能することが妨げられる可能性がある。このことは、イメージセンサ14を実装する車両安全システムの有効性を低下させる可能性がある。そのため、自動車用イメージングシステムの適切なパフォーマンスを検証するための改良されたシステムおよび方法を提供することが所望される。
In situations where the
図2の実施例において、システム10は、視野30内に存在する近接障害物34等の近接障害物があるか否かを判断するための光源36を含むことができる。図2に図示されているように、光源36は、光38等の光を放射することができる。近接障害物34が存在しない場合、光38は、イメージセンサ14によって捉えられることなく、保護層32を通過して車両の外部へ出ていく。それにより、イメージセンサ14は、近接障害物34が存在していない場合は、光38を検出することなく、車両100の周りの画像光を捉えることができる。しかし、近接障害物34等の障害物が存在する場合には、放射された光38が、反射光40によって示されるように、近接障害物34で反射する可能性がある。よってイメージセンサ14は、視野30の一部の中で反射光40を検出することができる。イメージセンサ14および回路16は、その反射光を処理して、障害物34が視野30内に存在していることを判断することができる。
In the example of FIG. 2, the
制御および処理回路16は、(例えば、対応する制御信号を用いて)光源36およびイメージセンサ14を制御するように構成することができる。必要に応じて、処理回路16は、1つまたは以上の所定の色(波長)で光38を放射するように光源36を制御してもよい。処理回路16は、イメージセンサ14によって生成された画像データを受け取ることができ、およびその画像データを処理して、障害物34が視野30内に存在しているか否かを判断することができる。例えば、処理回路16は、受け取った画像データ内の所定の色の光を検出することができ、およびその光が光源36によって放射されたこと(それによって、障害物34が存在していることを示している)を判断することができる。
The control and
必要に応じて、制御および処理回路16は、所定の時間および/または色パターン(例えば、時間に関して所定の強度および色パターン)で光を放射するように光源36を制御してもよい。その所定の時間および/または色パターンは、イメージセンサ14によって収集した画像データ内での、いわゆる「誤判定」の検出を避けるように選択してもよい。誤判定は、回路16が、そのような障害物が実際には存在していない場合に、イメージセンサ14の視野を遮る近接障害物があることを間違って判断した場合に生じる。光38に対して適切なパターンを選択することにより、処理回路16は、受け取った画像データ内で検出されるそのような何らかの誤判定を抑制することができる。
If desired, the control and
光源36が、単色(例えば、赤色光)の光を絶えず放射する実施例について考察する。この実施例において、イメージセンサ14は、その視界内の赤色光をいつでも検知する。例えば、車両100が赤信号で停止した場合、または、イメージセンサ14が停止標識を検出した場合、回路16は、収集した画像データ内の赤色光を検出して、障害物34が実際に存在しているか否かに関わらず、近接障害物が存在していると判断することになる。このことは、イメージセンサ14が、周囲の赤色光(例えば、背景から受光した赤信号)を、光源36によって近接障害物から反射した赤色光であると間違って特徴付けている可能性があるため、障害物34が存在していない場合に、誤判定の検出につながる可能性がある。
Consider an embodiment in which the
そのため、そのような誤判定を避けるために、制御および処理回路16は、光源36を用いて、所定の時間および/または色パターンで光を放射することができる。その所定のパターンは、放射光38の色の時間変動、放射光38の強度、光38が放射されている間の持続期間、または、放射光38のその他の何らかの所望の特性を含んでもよい。
Therefore, in order to avoid such an erroneous determination, the control and
このような所定パターンの一実施例として、光源36は、第1の時間間隔に赤色光および青色光を放射し、第1の時間間隔の後の第2の時間間隔には光を放射せず、第2の時間間隔の後の第3の時間間隔に緑色光を放射し、および第3の時間間隔の後の第4の時間間隔には光を放射しなくてもよい。このパターンは、イメージセンサ14の動作中に恒久的に繰り返してもよい。そして、制御および処理回路16は、イメージセンサ14から受け取った画像データを処理して、その画像データを経時的に、光源36から放射された光の所定のパターンと比較することができる。必要に応じて、回路16は、収集した画像データの同じ部分が、所定のパターンの光を示している場合に、障害物34が存在していると判断してもよい(例えば、障害物34が位置している視野30の部分から受光した反射光40が、光38がそれによって放射された所定の時間/色パターンに従う場合、回路16は、障害物が存在し、その視野の部分がその障害物に関連していることを識別してもよい)。
As an example of such a predetermined pattern, the
上記の実施例で説明した光のパターンは、例示的なものにすぎない。一般的には、イメージセンサ検証動作を実行するために(すなわち、イメージセンサの視野内の障害物を検出するために)、任意の所望のパターンの光を光源36から放射することができる。所定のパターンは、任意の適切な間隔(例えば100分の1秒未満、10分の1秒未満、1秒未満、または、1秒より長い)で変化する光の色を含んでもよい。任意の適切な色または色の組合せを、任意の所望の順で光源36から可変的に放射してもよい。任意の適切な強度を有する光を、任意の所望の順に光源36から可変的に放射してもよい。一般的には、その所定のパターンが複雑であればあるほど、近接障害物の存在を判断する際に、その制御および処理回路が提供するであろう確実性の程度は高くなる(例えば、光38がそれによって放射された所定のパターンを示す画像データが、車両の周囲から受光した周辺光である可能性は低くなる)。同様に、放射されたパターンがイメージセンサによって観測される期間が長くなればなるほど、近接障害物の存在を判断する際に(例えば、誤判定と比較して)その制御および処理回路の判断の確実性の程度は高くなる。
The light patterns described in the above embodiments are merely exemplary. In general, any desired pattern of light can be emitted from the
光源36は、1つ以上の発光ダイオード(LED)、1つ以上のレーザ、調製可能なカラーフィルタ素子を備えた光源、または、発光可能な他の何らかのデバイス等の任意の所望の光源を含んでいてもよい。くわえて、光源という用語を用いることは、存在する光源の数に関して、多少なりとも制限があることを意味してはいない。例えば、光源36は、任意の数の光源(例えば、2つの光源、3つの光源、4つの光源、4つより多い光源、10個の光源等)を含むことができる。複数の光源がある実施形態において、各光源は、単色光を放射すること、または、複数色の光を放射することが可能であってもよい。
The
イメージセンサ14が保護層32の背後に配置されている状況において、イメージセンサ14は、その保護層の背後の所望の距離42に配置することができる。距離42は、例えば、2センチメートル未満、2〜10センチメートルであってもよく、または、10センチメートルより長くてもよい。近接障害物34は、本願明細書においては、そのイメージセンサから約50センチメートル以下に位置している障害物として定義してもよい(例えば、障害物34は、そのイメージセンサから2センチメートルに、そのイメージセンサから10センチメートル未満に、そのイメージセンサから2〜10センチメートルに、そのイメージセンサから50センチメートル未満等に位置していてもよい)。
In situations where the
所望の時間/色パターンの光38を放射するように光源36を変調させることにより、処理回路16は、(例えば、誤判定を抑制するために)近接障害物34の存在を示す反射光40と、システム10の周囲から受光した周辺光とをより正確に区別することができる。
By modulating the
図3は、図2のイメージングシステム10等の検証能力を備えたイメージングシステム(例えば、車両安全システムに用いられる画像データを収集する自動車用イメージングシステム)によって実行される例示的なステップからなるフローチャートを示す。
FIG. 3 is a flowchart comprising exemplary steps performed by an imaging system with verification capabilities, such as the
ステップ44において、イメージセンサ14等のイメージセンサは、画像データを収集し始める。例えば、イメージセンサ14は、視野30内で受光した光に応答して、画像データのフレームから成る連続シーケンスを収集してもよい。収集した画像データは、制御および処理回路16等の制御および処理回路によって処理することができる。収集した画像データは、ホストサブシステム20等のホストサブシステムによって、車両安全システムで用いることができる。
In
ステップ46において、光源36等の光源は、光38を放射し始める。制御および処理回路16は、光源36が、(例えば、異なる色の光から成る所定のシーケンスで)所定のパターンで光を放射するように光源36を制御することができる。制御および処理回路16は、光源36によって放射された光38のパターンを能動的に調節してもよく、または、光源36は、同じパターンの光を常に放射していてもよい。そのパターンは、光が放射されない時間の間隔と、特定の色またはさまざまな色の光が放射される時間の間隔とを含んでもよい。
In
ステップ48において、制御および処理回路16は、イメージセンサ14によって収集した画像データをモニタする。例えば、回路16は、視野30にわたって受光した光に応答して、センサ14によって収集された画像データのフレームを受け取ることができる。その画像データは、システム10の周囲から(例えば、車両100が走っている道路から)受光した光に応答して生成された画像データ(例えば、画像フレームのシーケンスの部分)を含んでもよく、また、近接障害物34が視野30内に存在している場合は、反射光40に応答して生成された画像データを含んでもよい。
In step 48, the control and
回路16は、受け取った画像データを処理(分析)して、受け取った画像データが、反射光40に応答して生成された画像データ(例えば、光源36によって放射された光38の反射バージョン)を含んでいるか否かを判断することができる。例えば、制御および処理回路16は、収集された画像データが、所定期間(例えば、ミリ秒、秒、または、数秒よりも長く)にわたって光源36によって放射された光のパターンに一致する部分を含んでいるか否かを判断してもよい。回路16が、反射光40に応答して生成された何らかの部分(例えば、光源36がそれによって光38を放射した所定のパターンを有する部分)を含んでいないと判断した場合、回路16は、障害物が存在していないと判断することができ、および障害物のために、収集した画像データをモニタし続けることができる。画像データが、反射光40に応答して生成された部分が、比較的短期間(例えば、所定の閾値時間未満の期間)だけ、反射光40に応答して生成された部分を含んでいると回路16が判断した場合、回路16は、障害物が存在していないと判断することができる(例えば、この状況において、反射光40に応答して生成された画像データは、通り過ぎていく虫またはデブリの断片等の視野30内の単に一時的な物体から反射される可能性もある)。
The
画像データが、その期間にわたって、反射光40に応答して生成された部分を含むと回路16が判断した場合(例えば、画像データが、光源36によって放射された際の所定のパターンを有する部分を含むと回路16が判断した場合)、回路16は、近接障害物34が存在していると判断することができ、そして、処理をステップ50へ進める。必要に応じて、制御および処理回路16は、収集した画像データが、その光源によって放射された光に一致する、イメージセンサ14の視野30内の箇所(例えば、その障害物を含む、収集された画像データの部分)を判断してもよい。
If the
ステップ50において、制御および処理回路16は、収集した画像データに基づいて、適切な動作を行う。例えば、制御および処理回路16は、そのイメージセンサが車両100の周囲から必要最低限の画像データを得ることを障害物が妨げると判断された場合に、そのイメージングシステムを停止させてもよい。別の適切な実施例においては、その制御および処理回路は、障害物が、イメージセンサの動作にほとんど影響を与えないほど十分に小さいと判断された場合、そのイメージングシステムを通常通りに作動させ続けてもよい。例えば、処理回路16は、画像データを用いて車両支援機能を実行する場合、その中に障害物が位置している収集した画像データの部分を処分するか、または無視してもよい(例えば、その制御および処理回路は、障害物が、イメージセンサの視野の周辺部に位置していると判断された場合、そのイメージングシステムを通常通りに作動させ続けてもよい)。別の実施例として、制御および処理回路16は、そのイメージングシステムに検査および/または修理が必要であることをユーザに知らせてもよい(例えば、ユーザに対して警告をディスプレイに出してもよい、可聴警告を出してもよい、等)。必要に応じて、そのイメージングシステムは、警告が出されている間も、車両支援機能のために利用され続けてもよい。
In
図4は、光38を放射するために、光源36が利用することができる例示的な光変調スキームの略図である。光源36は、所定の持続期間(タイムフレーム)52Aの間、スイッチオフされる。続いて、赤色および青色の光を、所定のタイムフレーム52Bの間、放射させ、その後、光源36が、所定のタイムフレーム52Cの間、スイッチオフされる。続いて、緑色光を、所定のタイムフレーム52Dの間に放射する。このパターンは、イメージングシステム10が車両によって使用されている間、連続的に繰り返してもよい。処理回路16は、収集した画像データを分析して、タイムフレーム52A〜52Dによって与えられる光の繰り返しパターンを有する画像データが既に収集されているか否かを判断し、および画像データが既に収集されているという判断に応答して、タイムフレーム52A〜52Dによって記述されている光のパターンを照合して、適切な動作を行う。あるいは、このパターンは、電力を節約するために、単に断続的に(例えば、1分毎、30秒毎、2分毎等)繰り返してもよい。タイムフレーム52Bにおいて放射された赤色および青色の光は、タイムフレーム52Dにおいて放射される緑色のように、同じか、または異なる光源から放射してもよい。
FIG. 4 is a schematic diagram of an exemplary light modulation scheme that
図4の実施例は、例示的なものにすぎない。タイムフレーム52A,52B,52Cおよび52Dの長さ(持続期間)は、互いに等しくても異なっていてもよい。例えば、タイムフレーム52A,52B,52Cおよび52Dの長さは、すべて1秒に等しくてもよい。あるいは、タイムフレーム52A,52B,52Cおよび52Dの長さは、それぞれ、1秒、0.5秒、1.2秒および2秒に等しくてもよい。タイムフレーム52A,52B,52Cおよび52Dの長さは、100分の1秒未満、10分の1秒未満、1秒未満、1分未満であってもよく、または、1分より長くてもよい。タイムフレーム52A,52B,52Cおよび52Dにおいて示されている光の特定の色は、例示的なものにすぎない。一般的には、どのような色の光(例えば、赤色光、緑色光、青色光、オレンジ色の光、黄色の光、白色光、紫外線、紫色の光、赤外光、赤色および青色光、緑色および青色光、赤色および緑色光のどの所望の組合せ等)も、利用可能な各タイムフレーム中に放射することができる。タイムフレーム52A,52B,52Cおよび52Dにおける放射光において変化される属性は、色である必要はない。例えば、光の強度を、各タイムフレームにおいて変えてもよい。必要に応じて、いずれかのタイムフレームまたはすべてのタイムフレームにおいて、強度と色とを変えてもよい。
The embodiment of FIG. 4 is merely exemplary. The lengths (durations) of the
図5は、撮像装置70を含む、デジタルカメラ等の典型的なプロセッサシステム54を単純な構成で示す図である。撮像装置70は、イメージセンサSOC上に形成された画素アレイ72を含んでいる。撮像装置70は、光を変調させる光源を含んでいる。画素アレイは、変調された光の反射を検知することができる。続いて、その撮像装置は、近接障害物が存在していることを判断する。
FIG. 5 is a diagram showing a
プロセッサシステム54は、撮像装置70を含むデジタル回路を有するシステムの例示である。このようなシステムは、制限されることなく、コンピュータシステム、静止またはビデオカメラシステム、スキャナ、マシンビジョン、車両ナビゲーション、テレビ電話、監視システム、オートフォーカスシステム、スタートラッカーシステム、動作検出システム、画像安定化システム、および撮像装置を用いる他のシステムを含んでいてもよい。
The
デジタル静止またはビデオカメラシステムであるプロセッサシステム54は、シャッターリリースボタン56が押されたときに、画素アレイ72等の画素アレイ上に画像の焦点を合わせるレンズ64等のレンズを含んでいてもよい。プロセッサシステム54は、中央処理ユニット(CPU)58等の中央処理ユニットを含んでいる。CPU58は、カメラ機能および1つ以上の画像フロー機能を制御し、およびバス62等のバスを通じて1つ以上の入出力(I/O)装置68と情報をやり取りするマイクロプロセッサであってもよい。
The
また、撮像装置70は、バス62を通じて、CPU58と情報をやり取りをする。システム54は、ランダムアクセスメモリ(RAM)60および着脱式メモリ66を含んでいる。着脱式メモリ66は、バス62を通じてCPU58と情報をやり取りするフラッシュメモリを含んでいてもよい。撮像装置70は、CPU58と組合せてもよく、記憶装置と組合せても組合せなくてもよく、単一の集積回路上で、または、異なるチップ上で組合せてもよい。バス62は、単一のバスとして図示されているが、該バスは、1つ以上のバスまたはブリッジ、または、システムコンポーネントと相互接続するのに用いられる他の通信路であってもよい。
Further, the
イメージングシステムおよびイメージングシステムを作動させる方法を例示するさまざまな実施形態をこれまで説明してきた。イメージングシステムは、イメージセンサの視野にわたって受光した光に応答して、画像データを収集するイメージセンサを含んでいる。撮像装置は、そのイメージセンサの視野内に形成されている透明保護層を含んでいる。また、その撮像装置は、所定のパターンで光を放射する光源と、所定のパターンで光源によって放射された光に応答して、そのイメージセンサによって収集された画像データの部分を検出する処理回路とを含む。その処理回路は、所定のパターンで光源によって放射された光に一致する、そのイメージセンサによって収集された画像データの部分の検出に応答して、その透明保護層上の障害物を識別する。障害物は、そのイメージセンサの10センチメートル以内にある可能性がある。 Various embodiments have been described above that exemplify imaging systems and methods of operating imaging systems. The imaging system includes an image sensor that collects image data in response to light received over the field of view of the image sensor. The imaging device includes a transparent protective layer formed in the field of view of the image sensor. In addition, the imaging apparatus includes a light source that emits light in a predetermined pattern, and a processing circuit that detects a portion of image data collected by the image sensor in response to light emitted by the light source in a predetermined pattern; including. The processing circuit identifies obstacles on the transparent protective layer in response to detecting a portion of the image data collected by the image sensor that matches the light emitted by the light source in a predetermined pattern. Obstacles can be within 10 centimeters of the image sensor.
その透明保護層は、ガラスで形成してもよく、また、イメージセンサの10センチメートル以内に形成してもよい。その透明保護層は、車両のフロントガラスであってもよい。イメージングシステムは、イメージセンサからの収集画像データを用いて、駐車支援機能、速度制御機能、自動制動機能、衝突回避機能、または車線維持機能等の車両支援機能を実行するホストサブシステムを含んでいてもよい。光源によって放射される所定のパターンは、所定の時間および色パターンであってもよい。 The transparent protective layer may be formed of glass, or may be formed within 10 cm of the image sensor. The transparent protective layer may be a vehicle windshield. The imaging system includes a host subsystem that performs vehicle assistance functions such as a parking assistance function, a speed control function, an automatic braking function, a collision avoidance function, or a lane keeping function using image data collected from an image sensor. Also good. The predetermined pattern emitted by the light source may be a predetermined time and color pattern.
イメージングシステム(例えば、イメージングシステム10)を作動させる方法は、イメージセンサの視野にわたって画像データを収集することと、光源を用いて光を放射することと、処理回路を用いて、収集した画像データが、放射光の反射バージョンに応答して生成された画像データの一部を含んでいるか否かを判断することと、その処理回路を用いて、イメージセンサの視野内に障害物があることを識別することとを含む。 A method of operating an imaging system (eg, imaging system 10) includes collecting image data across the field of view of an image sensor, emitting light using a light source, and processing circuitry to collect the collected image data. Determine if it contains some of the image data generated in response to the reflected version of the emitted light and use its processing circuitry to identify the obstacle in the field of view of the image sensor Including.
さまざまな実施形態において、そのイメージングシステムは、車両支援機能も実行する自動車用イメージングシステムであってもよい。処理回路は、収集した画像データを用いて、障害物の位置およびサイズを判断するのに用いてもよい。処理回路は、障害物の位置およびサイズの判断に応答して、車両支援機能のうちの少なくとも一つを停止させるのに用いてもよい。あるいは、その処理回路は、判断されたサイズを所定の閾値サイズと比較して、その判断されたサイズがその所定の閾値サイズよりも小さい場合には、その車両支援機能を実行し続けてもよい。また、その処理回路は、障害物が、イメージセンサの視野の周辺部に位置していると判断して、車両安全機能を実行し続けてもよい。その処理回路は、そのイメージセンサの視野内に障害物が存在していることを、車両のユーザに知らせてもよい。 In various embodiments, the imaging system may be an automotive imaging system that also performs vehicle assistance functions. The processing circuit may be used to determine the position and size of the obstacle using the collected image data. The processing circuit may be used to stop at least one of the vehicle assistance functions in response to the determination of the position and size of the obstacle. Alternatively, the processing circuit may compare the determined size with a predetermined threshold size and continue to execute the vehicle support function if the determined size is smaller than the predetermined threshold size. . The processing circuit may continue to execute the vehicle safety function by determining that the obstacle is located in the peripheral portion of the field of view of the image sensor. The processing circuit may inform the vehicle user that an obstacle is present in the field of view of the image sensor.
光を放射することは、所定のパターンで光を放射することを含んでもよい。その所定のパターンは、第1の期間に、光源をスイッチオフすることと、第1の期間の後の第2の期間に、第1の色の光を放射することと、第2の期間の後の第3の期間に、光源をスイッチオフすることと、第3の期間の後の第4の期間に、第1の色とは異なる第2の色の光を放射することとを含んでもよい。 Emitting light may include emitting light in a predetermined pattern. The predetermined pattern includes: switching off the light source in the first period; emitting light of the first color in the second period after the first period; and Switching off the light source in a later third period and emitting light of a second color different from the first color in a fourth period after the third period. Good.
さまざまな実施形態において、システムは、内部および外部を有する車両と、中央処理ユニットと、メモリと、入出力回路と、画像データを収集する、車両の内部に取り付けられた撮像装置と、その撮像装置を車両の外部から隔離する透明保護層と、車両の内部に取り付けられた光源と、を含んでもよい。その撮像装置は、車両の外部に面していてもよい。光源は、所定のパターンの光を放射してもよい。中央処理ユニットは、収集した画像データ内の所定のパターンの光の反射を識別することによって、イメージセンサの近接障害物を検出できるようになっていてもよい。 In various embodiments, a system includes a vehicle having an interior and an exterior, a central processing unit, a memory, an input / output circuit, an imaging device attached to the interior of the vehicle that collects image data, and the imaging device. A transparent protective layer that isolates the vehicle from the outside of the vehicle, and a light source attached to the inside of the vehicle. The imaging device may face the outside of the vehicle. The light source may emit a predetermined pattern of light. The central processing unit may be adapted to detect proximity obstacles of the image sensor by identifying a predetermined pattern of light reflection in the collected image data.
上記のことは、他の実施形態で実施することができるこの考案の原理の例示にすぎない。 The above is merely illustrative of the principles of this invention that can be implemented in other embodiments.
14 イメージセンサ
16 制御および処理回路
28 覆蓋
30 視野
32 保護層
34 近接障害物
36 光源
38 光
40 反射光
58 CPU
60 RAM
64 レンズ
66 着脱式メモリ
70 撮像装置
14
60 RAM
64
Claims (20)
前記イメージセンサは、前記イメージセンサの視野にわたる画像データを収集するものであり、
前記光源は、光を放射するものであり、
前記処理回路は、前記収集された画像データが、前記放射された光の反射に応答して生成された画像データの一部を含んでいるか否かを判断するものであり、さらに
前記処理回路は、前記収集された画像データが、前記放射された光の前記反射に応答して生成された画像データの一部を含んでいると判断したことに応答して、前記イメージセンサの前記視野内に障害物があることを識別するものである、イメージングシステム。 An imaging system having an image sensor, a light source, and a processing circuit,
The image sensor collects image data over the visual field of the image sensor,
The light source emits light,
The processing circuit determines whether the collected image data includes a part of image data generated in response to reflection of the emitted light, and the processing circuit further includes: In response to determining that the collected image data includes a portion of the image data generated in response to the reflection of the emitted light within the field of view of the image sensor. An imaging system that identifies the presence of an obstacle.
前記処理回路は、前記障害物の前記位置が前記視野の前記周辺部であるか否かを判断し、前記近接障害物の前記位置が前記視野の前記周辺部であると判断したことに応答して、前記収集した画像データを用いて前記車両支援機能を実行し続けるものである、請求項3に記載のイメージングシステム。 The field of view has a peripheral portion;
The processing circuit determines whether the position of the obstacle is the peripheral part of the field of view, and responds to determining that the position of the proximity obstacle is the peripheral part of the field of view. The imaging system according to claim 3, wherein the vehicle support function is continuously executed using the collected image data.
前記イメージセンサの前記視野内に形成された透明保護層と、
所定のパターンで光を放射するように構成された光源と、
前記光源によって前記所定のパターンで放射された前記光に応答して、前記イメージセンサによって収集された前記画像データの部分を検出するように構成され、および前記画像データの前記部分を検出することに応答して、前記透明保護層上の障害物を識別するように構成された処理回路と、
を備える、イメージングシステム。 An image sensor configured to collect image data in response to light received over the field of view;
A transparent protective layer formed in the field of view of the image sensor;
A light source configured to emit light in a predetermined pattern;
Responsive to the light emitted in the predetermined pattern by the light source, configured to detect a portion of the image data collected by the image sensor, and to detect the portion of the image data In response, processing circuitry configured to identify obstacles on the transparent protective layer;
An imaging system comprising:
中央処理ユニットと、
メモリと、
入出力回路と、
画像データを収集するように構成された撮像装置であって、前記車両の前記内部に取り付けられ、および前記車両の前記外部に面する方向に向けられる前記撮像装置と、
前記撮像装置を前記車両の前記外部から隔離する透明保護層と、
前記車両の前記内部に取り付けられた光源とを備え、
前記光源は、所定のパターンの光を放射するように構成され、および前記中央処理ユニットは、前記収集した画像データ内の前記所定のパターンの光の反射を識別することによって、前記イメージセンサの近接障害物を検出するように構成される、システム。 A vehicle having an interior and an exterior;
A central processing unit;
Memory,
An input / output circuit;
An imaging device configured to collect image data, the imaging device attached to the interior of the vehicle and oriented in a direction facing the exterior of the vehicle;
A transparent protective layer that isolates the imaging device from the outside of the vehicle;
A light source attached to the inside of the vehicle,
The light source is configured to emit a predetermined pattern of light, and the central processing unit proximity of the image sensor by identifying a reflection of the predetermined pattern of light in the collected image data. A system configured to detect obstacles.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/566,434 | 2014-12-10 | ||
US14/566,434 US9245333B1 (en) | 2014-12-10 | 2014-12-10 | Systems and methods for detecting obstructions within the field-of-view of an image sensor |
Publications (1)
Publication Number | Publication Date |
---|---|
JP3201518U true JP3201518U (en) | 2015-12-10 |
Family
ID=54784290
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015004972U Active JP3201518U (en) | 2014-12-10 | 2015-09-30 | System for detecting obstacles in the field of image sensor |
Country Status (4)
Country | Link |
---|---|
US (1) | US9245333B1 (en) |
JP (1) | JP3201518U (en) |
KR (1) | KR200490906Y1 (en) |
DE (1) | DE102015218704B4 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021521054A (en) * | 2018-04-19 | 2021-08-26 | シーイング マシーンズ リミテッド | Infrared light source protection system |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017137287A1 (en) * | 2016-02-11 | 2017-08-17 | Philips Lighting Holding B.V. | People sensing system. |
DE102016213807A1 (en) * | 2016-07-27 | 2018-02-01 | Robert Bosch Gmbh | Concept for monitoring a parking lot for motor vehicles |
US11425530B2 (en) | 2016-08-18 | 2022-08-23 | Allstate Insurance Company | Generating and transmitting parking instructions for autonomous and non-autonomous vehicles |
US9811085B1 (en) | 2016-08-18 | 2017-11-07 | Allstate Insurance Company | Generating and transmitting parking instructions for autonomous and non-autonomous vehicles |
CA3033215C (en) * | 2016-08-18 | 2021-02-23 | Allstate Insurance Company | Generating and transmitting parking instructions for autonomous and non-autonomous vehicles |
JP6852851B2 (en) * | 2016-08-30 | 2021-03-31 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | A system that controls image processing methods and moving objects |
US10539711B2 (en) * | 2016-11-10 | 2020-01-21 | Z Image, Llc | Laser beam detector including a light source for use in a laser attraction |
FR3062944B1 (en) * | 2017-02-10 | 2021-05-14 | Continental Automotive France | FALSE-POSITIVE DETECTION PROCEDURE RELATING TO A SIGNALING FIRE |
EP3367660B1 (en) * | 2017-02-27 | 2019-12-25 | Veoneer Sweden AB | A camera device comprising a dirt detection unit |
JP6809946B2 (en) | 2017-03-17 | 2021-01-06 | トヨタ自動車株式会社 | Vehicle headlight device |
US10514590B2 (en) * | 2017-03-30 | 2019-12-24 | Gentex Corporation | Switchable imager lens cover |
US10518751B2 (en) | 2017-09-18 | 2019-12-31 | Ford Global Technologies, Llc | Vehicle image sensor cleaning |
US11479213B1 (en) * | 2017-12-11 | 2022-10-25 | Zoox, Inc. | Sensor obstruction detection and mitigation |
US10867201B2 (en) * | 2019-01-15 | 2020-12-15 | Waymo Llc | Detecting sensor occlusion with compressed image data |
US10921485B2 (en) | 2019-02-26 | 2021-02-16 | Ford Global Technologies, Llc | Illuminator obstruction detection to identify an obstruction on an optical window |
US11137485B2 (en) * | 2019-08-06 | 2021-10-05 | Waymo Llc | Window occlusion imager near focal plane |
CN112748125A (en) * | 2019-10-29 | 2021-05-04 | 本田技研工业株式会社 | Vehicle appearance inspection system and method, vehicle, and parking position display |
JP7319597B2 (en) * | 2020-09-23 | 2023-08-02 | トヨタ自動車株式会社 | Vehicle driving support device |
Family Cites Families (38)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5883739A (en) * | 1993-10-04 | 1999-03-16 | Honda Giken Kogyo Kabushiki Kaisha | Information display device for vehicle |
US6681163B2 (en) | 2001-10-04 | 2004-01-20 | Gentex Corporation | Moisture sensor and windshield fog detector |
US5923027A (en) | 1997-09-16 | 1999-07-13 | Gentex Corporation | Moisture sensor and windshield fog detector using an image sensor |
US6313454B1 (en) | 1999-07-02 | 2001-11-06 | Donnelly Corporation | Rain sensor |
WO1999023828A1 (en) | 1997-10-30 | 1999-05-14 | Donnelly Corporation | Rain sensor with fog discrimination |
WO2000043236A1 (en) | 1999-01-25 | 2000-07-27 | Gentex Corporation | Vehicle equipment control with semiconductor light sensors |
US6313457B1 (en) | 1999-01-25 | 2001-11-06 | Gentex Corporation | Moisture detecting system using semiconductor light sensor with integral charge collection |
US6207967B1 (en) | 1999-03-04 | 2001-03-27 | Valeo Electrical Systems, Inc. | Off the glass imaging rain sensor |
US6429933B1 (en) | 1999-03-12 | 2002-08-06 | Valeo Electrical Systems, Inc. | Method of image processing for off the glass rain sensing |
US6144022A (en) | 1999-03-15 | 2000-11-07 | Valeo Electrical Systems, Inc. | Rain sensor using statistical analysis |
US7248344B2 (en) * | 2001-04-04 | 2007-07-24 | Instro Precision Limited | Surface profile measurement |
US6603137B2 (en) | 2001-04-16 | 2003-08-05 | Valeo Electrical Systems, Inc. | Differential imaging rain sensor |
US6614043B2 (en) | 2001-04-16 | 2003-09-02 | Valeo Electrical Systems, Inc. | Imaging rain sensor illumination positioning system |
US6617564B2 (en) | 2001-10-04 | 2003-09-09 | Gentex Corporation | Moisture sensor utilizing stereo imaging with an image sensor |
DE10201523A1 (en) | 2002-01-17 | 2003-07-31 | Bosch Gmbh Robert | Method and device for masking detection in image sensor systems |
DE10201522A1 (en) * | 2002-01-17 | 2003-07-31 | Bosch Gmbh Robert | Method and device for detecting visual impairments in image sensor systems |
DE102004015040A1 (en) | 2004-03-26 | 2005-10-13 | Robert Bosch Gmbh | Camera in a motor vehicle |
DE102004037871B4 (en) | 2004-08-04 | 2006-10-12 | Siemens Ag | Optical module for an outer vestibule in the direction of travel of a motor vehicle detecting assistance system |
US7196305B2 (en) * | 2005-01-18 | 2007-03-27 | Ford Global Technologies, Llc | Vehicle imaging processing system and method having obstructed image detection |
JP2007055562A (en) * | 2005-08-26 | 2007-03-08 | Fujitsu Ten Ltd | Device for removing foreign matters on window glass of vehicle |
US8553088B2 (en) * | 2005-11-23 | 2013-10-08 | Mobileye Technologies Limited | Systems and methods for detecting obstructions in a camera field of view |
JP4668838B2 (en) | 2006-05-16 | 2011-04-13 | 株式会社日本自動車部品総合研究所 | Raindrop detection device and wiper control device |
DE102006045916B4 (en) | 2006-09-28 | 2010-03-18 | Pepperl + Fuchs Gmbh | Light sensor or light barrier for the detection of objects and test methods for the degree of soiling of a light sensor or a light barrier |
DE102009000003A1 (en) | 2009-01-02 | 2010-07-08 | Robert Bosch Gmbh | Camera arrangement for detecting a wheel condition of a vehicle window |
US8427395B2 (en) * | 2009-04-02 | 2013-04-23 | GM Global Technology Operations LLC | Full-windshield hud enhancement: pixelated field of view limited architecture |
US8376595B2 (en) * | 2009-05-15 | 2013-02-19 | Magna Electronics, Inc. | Automatic headlamp control |
KR20110060495A (en) | 2009-11-30 | 2011-06-08 | 동양기전 주식회사 | Rain-sensor using light scattering |
FR2956236B1 (en) | 2010-02-09 | 2012-11-30 | France Etat Ponts Chaussees | METHOD AND DEVICE FOR DETECTING DROPS IN A DIGITAL IMAGE; COMPUTER PROGRAM FOR IMPLEMENTING THIS METHOD. |
EP3663803B1 (en) * | 2010-04-13 | 2021-06-09 | Koito Manufacturing Co., Ltd. | Optical unit for a vehicle headlamp |
JP5761143B2 (en) * | 2011-11-02 | 2015-08-12 | 株式会社リコー | Imaging unit, vehicle equipped with imaging unit |
JP5846485B2 (en) | 2011-11-30 | 2016-01-20 | 株式会社リコー | Adhering matter detection apparatus and adhering matter detection method |
US20130146204A1 (en) * | 2011-12-13 | 2013-06-13 | Jenny Ann Whelan | Regulatory label compliance apparatus and method |
DE102011056690A1 (en) | 2011-12-20 | 2013-06-20 | Continental Automotive Gmbh | Method and device for detecting moisture on a vehicle window |
DE102012106030A1 (en) | 2012-07-05 | 2014-05-22 | Continental Automotive Gmbh | Camera system for detecting the condition of a vehicle window |
JP2014052364A (en) | 2012-08-09 | 2014-03-20 | Ricoh Co Ltd | Deposit detection device, equipment control system for mobile device, and mobile device |
KR101428509B1 (en) * | 2013-01-23 | 2014-08-12 | 서울시립대학교 산학협력단 | Apparatus and Method for managing vehicle window |
DE102013101746A1 (en) | 2013-02-21 | 2014-08-21 | Conti Temic Microelectronic Gmbh | Optical rain sensor device for a vehicle |
DE102014003549A1 (en) | 2014-03-12 | 2014-09-18 | Daimler Ag | Method and device for controlling a radar device of a vehicle |
-
2014
- 2014-12-10 US US14/566,434 patent/US9245333B1/en active Active
-
2015
- 2015-09-25 KR KR2020150006375U patent/KR200490906Y1/en active IP Right Grant
- 2015-09-29 DE DE102015218704.7A patent/DE102015218704B4/en active Active
- 2015-09-30 JP JP2015004972U patent/JP3201518U/en active Active
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021521054A (en) * | 2018-04-19 | 2021-08-26 | シーイング マシーンズ リミテッド | Infrared light source protection system |
JP7438127B2 (en) | 2018-04-19 | 2024-02-26 | シーイング マシーンズ リミテッド | Infrared light source protection system |
Also Published As
Publication number | Publication date |
---|---|
KR200490906Y1 (en) | 2020-02-11 |
KR20160002114U (en) | 2016-06-20 |
DE102015218704A1 (en) | 2016-06-16 |
US9245333B1 (en) | 2016-01-26 |
DE102015218704B4 (en) | 2022-08-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3201518U (en) | System for detecting obstacles in the field of image sensor | |
US10397451B2 (en) | Vehicle vision system with lens pollution detection | |
US10692380B2 (en) | Vehicle vision system with collision mitigation | |
US10356337B2 (en) | Vehicle vision system with gray level transition sensitive pixels | |
US11627389B2 (en) | Vehicular vision system with infrared emitter synchronization | |
US10528825B2 (en) | Information processing device, approaching object notification method, and program | |
US11532233B2 (en) | Vehicle vision system with cross traffic detection | |
WO2013048994A1 (en) | Vehicle camera image quality improvement in poor visibility conditions by contrast amplification | |
US20160119527A1 (en) | Vehicle vision system camera with dual filter | |
US20160180158A1 (en) | Vehicle vision system with pedestrian detection | |
US10682966B2 (en) | Vehicle light/display control system using camera | |
US10382130B1 (en) | Dual mode vehicle camera for visual light communication | |
US12014524B2 (en) | Low-light camera occlusion detection | |
JP2006319450A (en) | Night vision device | |
KR101684782B1 (en) | Rain sensing type wiper apparatus | |
KR20170075523A (en) | Apparatus and method for monitoring environment of vehicle | |
JP2020021974A (en) | Reliability determination device and reliability determination method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R150 | Certificate of patent or registration of utility model |
Ref document number: 3201518 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |