JP5859652B2 - 水滴検出装置及び水滴検出装置を用いた立体物検出装置 - Google Patents
水滴検出装置及び水滴検出装置を用いた立体物検出装置 Download PDFInfo
- Publication number
- JP5859652B2 JP5859652B2 JP2014526964A JP2014526964A JP5859652B2 JP 5859652 B2 JP5859652 B2 JP 5859652B2 JP 2014526964 A JP2014526964 A JP 2014526964A JP 2014526964 A JP2014526964 A JP 2014526964A JP 5859652 B2 JP5859652 B2 JP 5859652B2
- Authority
- JP
- Japan
- Prior art keywords
- dimensional object
- detected
- detection unit
- object detection
- water droplet
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims description 489
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 title claims description 245
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 claims description 107
- 240000004050 Pentaglottis sempervirens Species 0.000 claims description 98
- 238000000034 method Methods 0.000 claims description 65
- 238000006243 chemical reaction Methods 0.000 claims description 45
- 238000009826 distribution Methods 0.000 claims description 30
- 239000007787 solid Substances 0.000 claims description 29
- 238000003384 imaging method Methods 0.000 claims description 24
- 230000003287 optical effect Effects 0.000 claims description 13
- 239000000284 extract Substances 0.000 claims description 7
- 230000001629 suppression Effects 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 description 53
- 238000004140 cleaning Methods 0.000 description 33
- 238000010586 diagram Methods 0.000 description 32
- 239000007788 liquid Substances 0.000 description 29
- 238000012545 processing Methods 0.000 description 22
- 238000011156 evaluation Methods 0.000 description 20
- 238000002474 experimental method Methods 0.000 description 7
- 239000013256 coordination polymer Substances 0.000 description 6
- 238000003708 edge detection Methods 0.000 description 5
- 241000196324 Embryophyta Species 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000002347 injection Methods 0.000 description 2
- 239000007924 injection Substances 0.000 description 2
- 230000001681 protective effect Effects 0.000 description 2
- 230000035807 sensation Effects 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
- B60S1/00—Cleaning of vehicles
- B60S1/02—Cleaning windscreens, windows or optical devices
- B60S1/04—Wipers or the like, e.g. scrapers
- B60S1/06—Wipers or the like, e.g. scrapers characterised by the drive
- B60S1/08—Wipers or the like, e.g. scrapers characterised by the drive electrically driven
- B60S1/0818—Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like
- B60S1/0822—Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like characterized by the arrangement or type of detection means
- B60S1/0833—Optical rain sensor
- B60S1/0844—Optical rain sensor including a camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/174—Segmentation; Edge detection involving the use of two or more images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/254—Analysis of motion involving subtraction of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
- G06T7/41—Analysis of texture based on statistical description of texture
- G06T7/42—Analysis of texture based on statistical description of texture using transform domain methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
- B60S1/00—Cleaning of vehicles
- B60S1/02—Cleaning windscreens, windows or optical devices
- B60S1/04—Wipers or the like, e.g. scrapers
- B60S1/06—Wipers or the like, e.g. scrapers characterised by the drive
- B60S1/08—Wipers or the like, e.g. scrapers characterised by the drive electrically driven
- B60S1/0818—Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like
- B60S1/0822—Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like characterized by the arrangement or type of detection means
- B60S1/0833—Optical rain sensor
- B60S1/0844—Optical rain sensor including a camera
- B60S1/0848—Cleaning devices for cameras on vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
- B60S1/00—Cleaning of vehicles
- B60S1/02—Cleaning windscreens, windows or optical devices
- B60S1/56—Cleaning windscreens, windows or optical devices specially adapted for cleaning other parts or devices than front windows or windscreens
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20224—Image subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30261—Obstacle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/62—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels
- H04N25/625—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels for the control of smear
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Probability & Statistics with Applications (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Geophysics And Detection Of Objects (AREA)
- Traffic Control Systems (AREA)
- Studio Devices (AREA)
- Emergency Alarm Devices (AREA)
Description
図3は、図1の計算機30の詳細を示すブロック図である。なお、図3においては、接続関係を明確とするためにカメラ10、車速センサ20、水滴検出部40及び水滴除去装置41についても図示する。
本実施形態の立体物検出装置1は、車両後方を撮像する単眼のカメラ1により得られた画像情報に基づいて車両後方の右側検出領域又は左側検出領域に存在する立体物を検出する。
次に、図3に示す差分波形情報による立体物の検出ブロックAに代えて動作させることが可能である、エッジ情報による立体物の検出ブロックBについて説明する。本例のエッジ情報による立体物の検出ブロックBは、視点変換部31、輝度差算出部35、エッジ線検出部36及び第2立体物検出部37で構成されるエッジ情報を利用して立体物を検出する。図13は、図3のカメラ10の撮像範囲等を示す図であり、図13(a)は平面図、図13(b)は、自車両V1から後側方における実空間上の斜視図を示す。図13(a)に示すように、カメラ10は所定の画角aとされ、この所定の画角aに含まれる自車両V1から後側方を撮像する。カメラ10の画角aは、図2に示す場合と同様に、カメラ10の撮像範囲に自車両V1が走行する車線に加えて、隣接する車線も含まれるように設定されている。
《数1》
I(xi,yi)>I(xi’,yi’)+tのとき
s(xi,yi)=1
I(xi,yi)<I(xi’,yi’)−tのとき
s(xi,yi)=−1
上記以外のとき
s(xi,yi)=0
《数2》
s(xi,yi)=s(xi+1,yi+1)のとき(且つ0=0を除く)、
c(xi,yi)=1
上記以外のとき、
c(xi,yi)=0
《数3》
Σc(xi,yi)/N>θ
《数4》
鉛直相当方向の評価値=Σ[{I(xi,yi)−I(xi+1,yi+1)}2]
《数5》
鉛直相当方向の評価値=Σ|I(xi,yi)−I(xi+1,yi+1)|
《数6》
鉛直相当方向の評価値=Σb(xi,yi)
但し、|I(xi,yi)−I(xi+1,yi+1)|>t2のとき、
b(xi,yi)=1
上記以外のとき、
b(xi,yi)=0
図3に戻り、上述した2つの立体物検出部33,37による立体物の検出にあたり、本例の立体物検出装置1は、第1立体物検出部33による検出結果と第2立体物検出部37の検出結果から立体物であるか否かを最終的に判断する立体物判断部38と、水滴検出部40により検出されたレンズへの水滴の付着状態に応じて水滴除去装置41を動作させる制御部39とを備える。
つまり、立体物が検出された第1の時刻T0において得られた第1鳥瞰視画像の位置と、第1の時刻の後の第2の時刻T1において得られた第2鳥瞰視画像の位置とを鳥瞰視上で位置合わせし、この位置合わせされた鳥瞰視画像の差分画像上において、互いに隣接する画像領域の輝度差が所定閾値以上である画素数をカウントして度数分布化して生成した第1輝度分布情報の第1積算値を求める。つまり、自車両Vの移動量を考慮して、オフセットした差分画像を生成する。オフセットする量d’は、図4(a)に示した自車両Vの実際の移動距離に対応する鳥瞰視画像データ上の移動量に対応し、車速センサ20からの信号と一時刻前から現時刻までの時間に基づいて決定される。第1積算値は、第1輝度分布情報としてプロットされた値の全部又は所定領域の合計値である。
本発明に係る立体物検出装置の第2実施形態を図31〜図36を参照して説明する。なお、図4〜図12に示す差分波形情報による立体物の検出の構成及び図13〜図19に示すエッジ情報による立体物の検出の構成は、特段の説明がない限り上述した第1実施形態と共通するので第1実施形態の説明をここに援用する。
図31に示す本例の立体物検出装置1は、2つの立体物検出部33,37による立体物の検出にあたり、第1立体物検出部33による検出結果と第2立体物検出部37の検出結果から立体物であるか否かを最終的に判断する立体物判断部38と、水滴検出部40により検出されたレンズへの水滴の付着状態に応じて第1立体物検出部33の第1閾値αと第2立体物検出部37の第2閾値βとを設定する制御部39とを備える。なお、水滴検出部40による水滴の検出方法は、図26及び図27に示す第1実施形態と同じであるためその説明を省略する。
(1)本例の立体物検出装置1によれば、画像中の任意の着目点と、当該着目点を中心とする所定半径の仮想円の内部に複数の内側参照点と、仮想円の外部に内側1参照点に対応する複数の外側参照点とをそれぞれ設定し、これら内側参照点と外側参照点との間のエッジ情報を検出し、これらのエッジ情報の円形性の強さを判断することで、カメラ10のレンズ11に付着した水滴を検出するので、水滴を精度よく検出することができる。
10…カメラ
11…レンズ
20…車速センサ
30…計算機
31…視点変換部
32…位置合わせ部
33…第1立体物検出部
34…スミア検出部
35…輝度差算出部
36…エッジ検出部
37…第2立体物検出部
38…立体物判断部
39…制御部
40…水滴検出部
41…水滴除去装置
a…画角
A1,A2…検出領域
CP…交点
DP…差分画素
DWt,DWt’…差分波形
DWt1〜DWm,DWm+k〜DWtn…小領域
L1,L2…接地線
La,Lb…立体物が倒れ込む方向上の線
P…撮像画像
PBt…鳥瞰視画像
PDt…差分画像
MP…マスク画像
S…スミア
SP…スミア画像
SBt…スミア鳥瞰視画像
V1,V2…自車両
V3,V4,VX…他車両
Claims (25)
- 撮影光学系を含み所定領域を撮像する撮像手段と、
前記撮像手段により得られた画像中の任意の着目点と、当該着目点を中心とする所定半径の仮想円の内部に複数の第1参照点と、前記仮想円の外部に前記第1参照点に対応する複数の第2参照点と、をそれぞれ設定し、前記第1参照点と前記第2参照点との間のエッジ情報を検出し、これらのエッジ情報の円形性の強さを判断することで、前記撮影光学系に付着した水滴を検出する水滴検出手段と、を備える水滴検出装置。 - 前記水滴検出手段は、
前記仮想円の内部の上側中央部と、上側左部と、上側右部と、下側左部又は下側右部の少なくともいずれか一方と、を前記第1参照点として設定する請求項1に記載の水滴検出装置。 - 前記水滴検出手段は、前記複数の第1参照点と前記複数の第2参照点との間にエッジ情報が検出される割合が大きいほど前記円形性の強さを強いと判断する請求項1又は2に記載の水滴検出装置。
- 撮影光学系を含み所定領域を撮像する撮像手段と、
前記撮像手段により得られた画像を鳥瞰視画像に視点変換する画像変換手段と、
前記画像中の任意の着目点と、当該着目点を中心とする所定半径の仮想円の内部に複数の第1参照点と、前記仮想円の外部に前記第1参照点に対応する複数の第2参照点と、をそれぞれ設定し、前記第1参照点と前記第2参照点との間のエッジ情報を検出し、これらのエッジ情報の円形性の強さを判断することで、前記撮影光学系に付着した水滴を検出する水滴検出手段と、
前記画像変換手段により得られた前記鳥瞰視画像上で、前記鳥瞰視画像に視点変換した際に立体物が倒れ込む方向において輝度差が所定の第1閾値以上の画素の分布情報を検出し、前記立体物が倒れ込む方向における前記画素の分布の度合いが所定の第2閾値以上である場合に、前記画素の分布情報に基づいて立体物を検出する立体物検出手段と、
前記立体物検出手段により検出された検知領域内の立体物が他車両であるか否かを判断する立体物判断手段と、
前記水滴検出手段により検出された検知領域内における水滴の付着状態に応じて、車両を制御する制御手段と、を備える立体物検出装置。 - 前記撮影光学系に付着した水滴を除去する水滴除去手段をさらに備え、
前記制御手段は、前記水滴検出手段により検出された検知領域内における水滴の付着状態に応じて、前記水滴除去手段を動作させる請求項4に記載の立体物検出装置。 - 前記制御手段は、前記水滴検出手段により検出された水滴の個数が多いほど前記水滴除去手段の動作時間を長く設定する請求項5に記載の立体物検出装置。
- 前記制御手段は、前記画像中の前記所定領域内において前記水滴が検出された場合に、前記水滴除去手段を動作させる請求項5又は6に記載の立体物検出装置。
- 前記制御手段は、環境の明るさが所定値以下の場合に前記水滴除去手段を動作させる請求項5〜7のいずれか一項に記載の立体物検出装置。
- 前記制御手段は、前記水滴検出手段により検出された水滴の付着状態に応じて、前記立体物検出手段による立体物の検出を抑制または、前記立体物判断手段により前記立体物が他車両であると判断されることを抑制する請求項4に記載の立体物検出装置。
- 前記水滴検出手段は、前記複数の第1参照点と前記複数の第2参照点との間にエッジ情報が検出される割合が大きいほど前記円形性の強さを強いと判断し、
前記制御手段は、前記水滴検出手段により検出された円形性が強いほど、前記立体物検出手段の検出時間を相対的に長く設定する請求項4〜9のいずれか一項に記載の立体物検出装置。 - 前記立体物検出手段は、
前記画像変換手段により得られた異なる時刻の鳥瞰視画像の位置を鳥瞰視上で位置合わせし、当該位置合わせされた鳥瞰視画像の差分画像上で、前記所定領域内に予め設定された検知領域内の所定の差分を示す画素数をカウントして度数分布化することで差分波形情報を生成し、前記差分波形情報に基づいて立体物を検出する第1立体物検出部を含み、
前記差分波形情報が所定の第1閾値α以上である場合に立体物を検出し、
前記制御手段は、
前記水滴検出手段により水滴が検出された場合には、前記立体物が検出され難いように前記第1閾値αを高く変更する制御命令を生成し、当該制御命令を前記第1立体物検出部に出力する請求項4に記載の立体物検出装置。 - 前記第1立体物検出部は、前記差分波形情報が所定の第1閾値α以上である場合に立体物を検出し、
前記制御手段は、前記水滴検出手段により水滴が検出された場合には、前記鳥瞰視画像の差分画像上において所定の差分を示す画素数をカウントして度数分布化された値を低くする制御命令を生成し、当該制御命令を前記第1立体物検出部に出力する請求項11に記載の立体物検出装置。 - 前記第1立体物検出部は、閾値p以上の画素値を示す画素数を前記所定の差分を示す画素数として抽出し、
前記制御手段は、前記水滴検出手段により水滴が検出された場合には、前記立体物が検出され難いように前記閾値pを高く変更する制御命令を生成し、当該制御命令を前記第1立体物検出部に出力する請求項11又は12に記載の立体物検出装置。 - 前記第1立体物検出部は、閾値p以上の画素値を示す画素数を前記所定の差分を示す画素数として抽出し、
前記制御手段は、前記水滴検出手段により水滴が検出された場合には、前記鳥瞰視画像を視点変換した際に立体物が倒れ込む方向に沿って、前記差分画像上において抽出される画素数を低く変更して出力する制御命令を生成し、当該制御命令を前記第1立体物検出部に出力する請求項11〜13のいずれか一項に記載の立体物検出装置。 - 前記立体物検出手段は、
前記画像変換手段により得られた鳥瞰視画像から前記所定領域内に予め設定された検知領域内のエッジ情報を検出し、前記エッジ情報に基づいて立体物を検出する第2立体物検出部を含み、
所定閾値t以上の輝度差を示す画素に基づいてエッジ線を抽出し、
前記制御手段は、前記水滴検出手段により水滴が検出された場合には、前記立体物が検出され難いように前記所定閾値tを高く変更する制御命令を生成し、当該制御命令を前記第2立体物検出部に出力する請求項4に記載の立体物検出装置。 - 前記第2立体物検出部は、所定閾値t以上の輝度差を示す画素に基づいてエッジ線を抽出し、
前記制御手段は、前記水滴検出手段により水滴が検出された場合には、前記画素の輝度値を低くする制御命令を生成し、当該制御命令を前記第2立体物検出部に出力する請求項15に記載の立体物検出装置。 - 前記第2立体物検出部は、前記エッジ情報に含まれる閾値θ以上の長さを有する前記エッジ線に基づいて立体物を検出し、
前記制御手段は、前記水滴検出手段により水滴が検出された場合には、前記立体物が検出され難いように前記閾値θを高く変更する制御命令を生成し、当該制御命令を前記第2立体物検出部に出力する請求項15又は16に記載の立体物検出装置。 - 前記第2立体物検出部は、前記エッジ情報に含まれる閾値θ以上の長さを有する前記エッジ線に基づいて立体物を検出し、
前記制御手段は、前記水滴検出手段により水滴が検出された場合には、前記検出したエッジ情報に含まれるエッジの長さの値を低く出力する制御命令を生成し、当該制御命令を前記第2立体物検出部に出力する請求項15〜17のいずれか一項に記載の立体物検出装置。 - 前記第2立体物検出部は、前記エッジ情報に含まれる所定長さ以上のエッジ線の本数が第2閾値β以上であるか否かの判断に基づいて立体物を検出し、
前記制御手段は、前記水滴検出手段により水滴が検出された場合には、前記立体物が検出され難いように前記第2閾値βを高く変更する制御命令を生成し、当該制御命令を前記第2立体物検出部に出力する請求項15〜18のいずれか一項に記載の立体物検出装置。 - 前記第2立体物検出部は、前記エッジ情報に含まれる所定長さ以上のエッジ線の本数が第2閾値β以上であるか否かの判断に基づいて立体物を検出し、
前記制御手段は、前記水滴検出手段により水滴が検出された場合には、前記検出した所定長さ以上のエッジ線の本数を低く出力する制御命令を生成し、当該制御命令を前記第2立体物検出部に出力する請求項15〜18のいずれか一項に記載の立体物検出装置。 - 前記制御手段は、前記画像中の前記所定領域内において前記水滴が検出された場合に、前記立体物を他車両であると判断することを抑制する請求項4〜20のいずれか一項に記載の立体物検出装置。
- 前記制御手段は、前記水滴検出手段により検出された水滴の個数が多いほど前記立体物を他車両であると判断することの抑制度合を高くする請求項4〜21のいずれか一項に記載の立体物検出装置。
- 前記制御手段は、環境の明るさが所定値以下の場合に前記立体物を他車両であると判断することを抑制する請求項4〜22に記載の立体物検出装置。
- 前記立体物判断手段は、前記検出された立体物の移動速度が予め設定された所定速度以上である場合に、当該立体物を他車両であると判断し、
前記制御手段は、前記水滴検出手段により水滴が検出された場合には、
a)立体物を他車両であると判断する際の下限となる前記所定速度を高くする制御命令を生成し、当該制御命令を前記立体物判断手段に出力するか、
b)前記立体物を他車両であると判断する際の下限となる前記所定速度と比較される前記立体物の移動速度を低く変更して出力する制御命令を生成し、当該制御命令を前記立体物判断手段に出力するか、
c)前記立体物を他車両であると判断する際の上限となる前記所定速度を低く変更する制御命令を生成し、当該制御命令を前記立体物判断手段に出力するか、
d)前記立体物を他車両であると判断する際の上限となる前記所定速度と比較される前記立体物の移動速度を高く変更する制御命令を生成し、当該制御命令を前記立体物判断手段に出力するか、の少なくとも一を実行する請求項4〜23のいずれか一項に記載の立体物検出装置。 - 撮影光学系を含む撮像手段の前記撮影光学系に付着した水滴を検出する方法であって、
前記撮像手段により取得された撮像画像中の任意の着目点と、当該着目点を中心とする所定半径の仮想円の内部に複数の第1参照点と、前記仮想円の外部に前記第1参照点に対応する複数の第2参照点と、をそれぞれ設定し、
前記第1参照点と前記第2参照点との間のエッジ情報を検出し、
これらのエッジ情報が所定条件を満たす場合に前記仮想円に相当する部位に水滴が付着していると判断する水滴検出方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014526964A JP5859652B2 (ja) | 2012-07-27 | 2013-07-24 | 水滴検出装置及び水滴検出装置を用いた立体物検出装置 |
Applications Claiming Priority (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012166525 | 2012-07-27 | ||
JP2012166526 | 2012-07-27 | ||
JP2012166526 | 2012-07-27 | ||
JP2012166525 | 2012-07-27 | ||
JP2014526964A JP5859652B2 (ja) | 2012-07-27 | 2013-07-24 | 水滴検出装置及び水滴検出装置を用いた立体物検出装置 |
PCT/JP2013/070012 WO2014017523A1 (ja) | 2012-07-27 | 2013-07-24 | 水滴検出装置及び水滴検出装置を用いた立体物検出装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP5859652B2 true JP5859652B2 (ja) | 2016-02-10 |
JPWO2014017523A1 JPWO2014017523A1 (ja) | 2016-07-11 |
Family
ID=49997332
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014526964A Active JP5859652B2 (ja) | 2012-07-27 | 2013-07-24 | 水滴検出装置及び水滴検出装置を用いた立体物検出装置 |
Country Status (10)
Country | Link |
---|---|
US (1) | US10096124B2 (ja) |
EP (1) | EP2879369B1 (ja) |
JP (1) | JP5859652B2 (ja) |
CN (1) | CN104509091B (ja) |
BR (1) | BR112015001804B1 (ja) |
IN (1) | IN2015KN00384A (ja) |
MX (1) | MX361919B (ja) |
MY (1) | MY191193A (ja) |
RU (1) | RU2644518C2 (ja) |
WO (1) | WO2014017523A1 (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6348770B2 (ja) * | 2014-05-08 | 2018-06-27 | 日産自動車株式会社 | カメラ装置および立体物検出装置 |
US9990853B1 (en) * | 2016-03-02 | 2018-06-05 | Lockheed Martin Corporation | Material detection on a road |
FR3054459B1 (fr) * | 2016-07-28 | 2020-09-04 | Valeo Systemes Dessuyage | Dispositif de protection d'un capteur optique et systeme d'assistance a la conduite comprenant un capteur optique |
DE102016116964B4 (de) * | 2016-09-09 | 2019-05-16 | Knorr-Bremse Systeme für Nutzfahrzeuge GmbH | Vorrichtung zum Warnen eines Fahrzeugführers eines Fahrzeugs vor einem stationären Objekt sowie Fahrzeug mit einer solchen Vorrichtung |
JP6832105B2 (ja) * | 2016-09-23 | 2021-02-24 | 株式会社デンソーテン | 水滴検出装置、水滴検出方法および水滴検出プログラム |
JP6772113B2 (ja) * | 2017-08-02 | 2020-10-21 | クラリオン株式会社 | 付着物検出装置、および、それを備えた車両システム |
CN107657822A (zh) * | 2017-11-17 | 2018-02-02 | 嘉兴四维智城信息科技有限公司 | 用于交通视频自动识别的高速公路水膜预警***及方法 |
US10789502B2 (en) | 2018-01-24 | 2020-09-29 | Denso Ten Limited | Extraneous-matter detecting apparatus and extraneous-matter detecting method |
JP7163766B2 (ja) * | 2018-12-28 | 2022-11-01 | 株式会社デンソーテン | 付着物検出装置および付着物検出方法 |
CN115339555A (zh) * | 2021-05-15 | 2022-11-15 | 无锡市铭淇电动科技有限公司 | 一种智能电动车仪表的使用***及其方法 |
CN116402823B (zh) * | 2023-06-09 | 2023-08-04 | 深圳市思拓通信***有限公司 | 基于图像增强的路面垃圾滴漏检测方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006262242A (ja) * | 2005-03-18 | 2006-09-28 | Secom Co Ltd | 画像信号処理装置 |
JP2006261761A (ja) * | 2005-03-15 | 2006-09-28 | Secom Co Ltd | 画像信号処理装置 |
JP2007226605A (ja) * | 2006-02-24 | 2007-09-06 | Secom Co Ltd | 画像センサ |
JP2009130700A (ja) * | 2007-11-26 | 2009-06-11 | Panasonic Corp | 撮像装置 |
JP2010273014A (ja) * | 2009-05-20 | 2010-12-02 | Toshiba Alpine Automotive Technology Corp | 移動体用カメラ装置及び付着物検出方法 |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03273499A (ja) * | 1990-03-23 | 1991-12-04 | Matsushita Electric Ind Co Ltd | 車間距離認識装置 |
JPH08164825A (ja) * | 1994-12-14 | 1996-06-25 | Omron Corp | ワイパ装置 |
JP3412757B2 (ja) | 2000-01-17 | 2003-06-03 | 株式会社アドバネット | レンズ保護容器 |
JP2002079880A (ja) * | 2000-09-06 | 2002-03-19 | Auto Network Gijutsu Kenkyusho:Kk | 車両周辺視認装置 |
JP4326999B2 (ja) * | 2003-08-12 | 2009-09-09 | 株式会社日立製作所 | 画像処理システム |
JP2005225250A (ja) | 2004-02-10 | 2005-08-25 | Murakami Corp | 車載用監視装置 |
EP1790541A2 (en) * | 2005-11-23 | 2007-05-30 | MobilEye Technologies, Ltd. | Systems and methods for detecting obstructions in a camera field of view |
JP2007215151A (ja) * | 2006-01-12 | 2007-08-23 | Canon Inc | 撮像装置及びその制御方法及びプログラム |
JP5022609B2 (ja) * | 2006-02-27 | 2012-09-12 | 日立オートモティブシステムズ株式会社 | 撮像環境認識装置 |
JP2008060874A (ja) * | 2006-08-31 | 2008-03-13 | Hitachi Ltd | 車載カメラ及び車載カメラ用付着物検出装置 |
DE102006062061B4 (de) * | 2006-12-29 | 2010-06-10 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung, Verfahren und Computerprogramm zum Bestimmen einer Position basierend auf einem Kamerabild von einer Kamera |
JP2008219063A (ja) | 2007-02-28 | 2008-09-18 | Sanyo Electric Co Ltd | 車両周辺監視装置及び方法 |
JP4989385B2 (ja) * | 2007-09-12 | 2012-08-01 | キヤノン株式会社 | 撮像装置及びその制御方法及びプログラム |
US8238639B2 (en) * | 2008-04-09 | 2012-08-07 | Cognex Corporation | Method and system for dynamic feature detection |
JP2010041120A (ja) * | 2008-07-31 | 2010-02-18 | Olympus Corp | 撮像装置及びこの撮像装置に適用されるレンズカバー |
JP2010097438A (ja) * | 2008-10-16 | 2010-04-30 | Keyence Corp | 画像処理を用いた輪郭情報抽出方法、画像処理におけるパターンモデルの作成方法、画像処理におけるパターンモデルの位置決め方法、画像処理装置、画像処理プログラム及びコンピュータで読み取り可能な記録媒体 |
WO2010084521A1 (ja) * | 2009-01-20 | 2010-07-29 | 本田技研工業株式会社 | ウインドシールド上の雨滴を同定するための方法及び装置 |
RU2441283C2 (ru) * | 2009-04-10 | 2012-01-27 | Учреждение Российской академии наук Центр информационных технологий в проектировании РАН | Оптико-электронное устройство предупреждения столкновений транспортного средства |
JP5699845B2 (ja) * | 2011-07-29 | 2015-04-15 | 富士通株式会社 | 生体情報処理装置、生体情報処理方法及び生体情報処理用コンピュータプログラム |
WO2013037402A1 (en) * | 2011-09-13 | 2013-03-21 | Valeo Schalter Und Sensoren Gmbh | Method for detection of a rain drop on the windscreen of a vehicle and driver assistance system |
-
2013
- 2013-07-24 MX MX2015001227A patent/MX361919B/es active IP Right Grant
- 2013-07-24 CN CN201380040045.5A patent/CN104509091B/zh active Active
- 2013-07-24 BR BR112015001804-1A patent/BR112015001804B1/pt active IP Right Grant
- 2013-07-24 IN IN384KON2015 patent/IN2015KN00384A/en unknown
- 2013-07-24 EP EP13822857.2A patent/EP2879369B1/en active Active
- 2013-07-24 MY MYPI2015700168A patent/MY191193A/en unknown
- 2013-07-24 WO PCT/JP2013/070012 patent/WO2014017523A1/ja active Application Filing
- 2013-07-24 US US14/410,585 patent/US10096124B2/en active Active
- 2013-07-24 JP JP2014526964A patent/JP5859652B2/ja active Active
- 2013-07-24 RU RU2015106690A patent/RU2644518C2/ru active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006261761A (ja) * | 2005-03-15 | 2006-09-28 | Secom Co Ltd | 画像信号処理装置 |
JP2006262242A (ja) * | 2005-03-18 | 2006-09-28 | Secom Co Ltd | 画像信号処理装置 |
JP2007226605A (ja) * | 2006-02-24 | 2007-09-06 | Secom Co Ltd | 画像センサ |
JP2009130700A (ja) * | 2007-11-26 | 2009-06-11 | Panasonic Corp | 撮像装置 |
JP2010273014A (ja) * | 2009-05-20 | 2010-12-02 | Toshiba Alpine Automotive Technology Corp | 移動体用カメラ装置及び付着物検出方法 |
Also Published As
Publication number | Publication date |
---|---|
MX361919B (es) | 2018-12-19 |
RU2015106690A (ru) | 2016-09-20 |
IN2015KN00384A (ja) | 2015-07-10 |
WO2014017523A1 (ja) | 2014-01-30 |
US10096124B2 (en) | 2018-10-09 |
EP2879369B1 (en) | 2018-10-31 |
BR112015001804B1 (pt) | 2021-11-16 |
BR112015001804A2 (pt) | 2017-08-08 |
EP2879369A1 (en) | 2015-06-03 |
CN104509091A (zh) | 2015-04-08 |
US20150325005A1 (en) | 2015-11-12 |
RU2644518C2 (ru) | 2018-02-12 |
MX2015001227A (es) | 2017-06-19 |
CN104509091B (zh) | 2019-03-26 |
MY191193A (en) | 2022-06-07 |
EP2879369A4 (en) | 2016-09-07 |
JPWO2014017523A1 (ja) | 2016-07-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5859652B2 (ja) | 水滴検出装置及び水滴検出装置を用いた立体物検出装置 | |
JP5900623B2 (ja) | 立体物検出装置及び立体物検出方法 | |
JP5997276B2 (ja) | 立体物検出装置及び異物検出装置 | |
JP5900622B2 (ja) | 立体物検出装置及び立体物検出方法 | |
JP5896027B2 (ja) | 立体物検出装置及び立体物検出方法 | |
US9721460B2 (en) | In-vehicle surrounding environment recognition device | |
JP5776795B2 (ja) | 立体物検出装置 | |
JP6020567B2 (ja) | 立体物検出装置および立体物検出方法 | |
JP6348770B2 (ja) | カメラ装置および立体物検出装置 | |
JPWO2013129354A1 (ja) | 立体物検出装置 | |
JP6003986B2 (ja) | 立体物検出装置、立体物検出方法及び異物検出装置 | |
JP6260444B2 (ja) | カメラ装置及びレンズ洗浄方法 | |
JP6435633B2 (ja) | 立体物検出装置及び立体物検出方法 | |
JP6011110B2 (ja) | 立体物検出装置および立体物検出方法 | |
JP6020568B2 (ja) | 立体物検出装置および立体物検出方法 | |
JP5768927B2 (ja) | 立体物検出装置 | |
JP5817913B2 (ja) | 立体物検出装置及び立体物検出方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20151201 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20151216 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5859652 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R370 | Written measure of declining of transfer procedure |
Free format text: JAPANESE INTERMEDIATE CODE: R370 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |