WO2010084521A1 - ウインドシールド上の雨滴を同定するための方法及び装置 - Google Patents
ウインドシールド上の雨滴を同定するための方法及び装置 Download PDFInfo
- Publication number
- WO2010084521A1 WO2010084521A1 PCT/JP2009/000181 JP2009000181W WO2010084521A1 WO 2010084521 A1 WO2010084521 A1 WO 2010084521A1 JP 2009000181 W JP2009000181 W JP 2009000181W WO 2010084521 A1 WO2010084521 A1 WO 2010084521A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- raindrop
- image
- windshield
- candidate
- vehicle
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 21
- 230000003287 optical effect Effects 0.000 claims abstract description 26
- 239000000284 extract Substances 0.000 claims description 3
- 239000011521 glass Substances 0.000 description 14
- 238000004422 calculation algorithm Methods 0.000 description 12
- 238000001514 detection method Methods 0.000 description 10
- 230000009471 action Effects 0.000 description 9
- 230000000875 corresponding effect Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 9
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 7
- 241001061225 Arcos Species 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000002310 reflectometry Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000002940 Newton-Raphson method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000012466 permeate Substances 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000004381 surface treatment Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
- G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Definitions
- the present invention relates to a method and apparatus for identifying raindrops on a windshield of a vehicle.
- Raindrops have various shapes and sizes.
- Second Raindrops are blurred because they are out of focus. That is, the camera is focused on the outside scene and not the windshield.
- the raindrop itself is transparent. That is, the characteristic peculiar to a raindrop is not seen. Rather, raindrops reflect feature points in the background.
- Japanese Patent Laid-Open No. 10-148681 discloses a raindrop detection method for detecting windshield raindrops as a region having higher brightness than the surroundings. This is because the method does not necessarily function as desired when high brightness points due to light generation or reflection are included in the scenery seen from the vehicle.
- Japanese Patent Application Laid-Open No. 9-142259 discloses a raindrop detection apparatus that detects raindrops on a windshield as a disturbance to light transmitted through the windshield.
- this apparatus requires a light emitting element and a light receiving element provided for detecting raindrops. Therefore, in addition to high cost, it is necessary to secure a mounting space suitable for the light emitting element and the light receiving element in a limited space of the vehicle.
- the main object of the present invention is to provide a method for detecting raindrops on a windshield that is highly reliable and economical. It is a second object of the present invention to provide a method for detecting windshield raindrops that can be implemented using a vehicle vision system.
- such an object is a method for identifying raindrops on a windshield of a vehicle using a vision system, wherein a scene in front of the vehicle passing through the windshield is imaged using a camera. Capturing as a point of interest, detecting a raindrop candidate as a point of interest in the general image, extracting an actual image of the raindrop candidate from the general image, measuring a size thereof, and Reconstructing a reconstructed raindrop image from the general image based on an optical model; obtaining a correlation between an actual image of the raindrop candidate and the reconstructed raindrop image; and If not, it is achieved by providing a method comprising determining that the raindrop candidate is an actual raindrop.
- the raindrop candidate can be a convex lens made up of one slice of a sphere.
- a general image can be reconstructed from raindrop images, and the correlation between the actual general image and the reconstructed general image can be obtained.
- an apparatus for identifying raindrops on a windshield of a vehicle using a vision system mounted on the vehicle to capture a forward view through the windshield.
- a camera a raindrop detector for detecting raindrop candidates as points of interest in the general image; an extractor for extracting an actual image of the raindrop candidate from the general image and measuring its size; and the size
- An image reconstructor that reconstructs a reconstructed raindrop image as a refracted image of the general image, and a correlation between the actual image of the raindrop candidate and the reconstructed raindrop image.
- an apparatus comprising: a correlator to be obtained; and a raindrop identifier for determining that the raindrop candidate is an actual raindrop if the obtained correlation is higher than a predetermined level.
- an apparatus for identifying raindrops on a vehicle windshield using a vision system may include a camera mounted on the vehicle to capture a forward view through the windshield, and an interest in the general image. Based on a raindrop detector for detecting a raindrop candidate as a certain point, an actual image of the raindrop candidate from the general image, an extractor for measuring the size thereof, and a predetermined optical model corresponding to the size, An image reconstructor that reconstructs a reconstructed general image as a refracted image of the raindrop candidate, a correlator that obtains a correlation between an actual image of the general image and the reconstructed general image, and a calculated correlation If it is higher than a predetermined level, it may have a raindrop identifier for judging that the raindrop candidate is an actual raindrop.
- the size of raindrops, windshield It can also be extracted as a point that moves with a trajectory and speed determined by the contour of the outer surface and the airspeed of the vehicle.
- FIG. 2 is a block diagram showing functional elements of an apparatus for raindrop detection according to the present invention.
- FIG. 3 is a diagram showing a geometric configuration of a raindrop optical model including an action surface according to the present invention. It is a diagram of a refraction model on each action surface. It is a diagram of a refraction model on the surface of raindrops. It is a flowchart which shows an example of the control process for identifying the raindrop based on this invention. It is a graph of the correlation coefficient obtained from several raindrop candidates. It is a figure similar to FIG. 2 which shows the modified example of this invention.
- FIG. 9 is a schematic diagram showing the scenery that passes through the windshield that changes as the vehicle travels, as shown in FIGS. 9a to 9d.
- FIG. 1 shows a view through a vehicle windshield captured by a camera.
- the landscape image that passes through the windshield is represented by a large number of pixels provided by a plurality of concentric circles and grid points formed between lines that radiate radially from the center of these concentric circles. Is done.
- the density of the lattice points shown in the figure is considerably lower than the actual density for the convenience of illustration.
- the concentric circles are provided at equal intervals, and the radial lines are arranged at equal angles with each other. It would not depart from the concept of the present invention to determine the position of the pixel using other coordinate systems such as an orthogonal coordinate system or other linear coordinate system.
- SURF point-of-interest detector
- Each of the detected raindrops can be considered as an additional convex lens on the windshield that refracts the light passing through the windshield.
- all pixels in a raindrop can be mapped to their original points in a three-dimensional environment according to the law of refraction. That is, all of the grid point pixels in the landscape from the windshield can be associated with the corresponding pixel on the raindrop in a one-to-one relationship, and the raindrop image is based on Fresnel's law of refraction. It can be reconstructed by appropriately converting to the coordinates of the pixels.
- the raindrop image is similar or highly correlated to an image reconstructed from the surrounding landscape image seen through the windshield.
- a raindrop i.e. a raindrop candidate, can be identified as a raindrop if the image has a high correlation with an image reconstructed from the surrounding landscape image seen through the windshield. .
- FIG. 2 is a block diagram showing the overall configuration of an apparatus for identifying raindrops according to the present invention.
- This device is composed of two parts consisting of a camera and a controller consisting of a microprocessor with an output unit which may be another device such as a wiper to be activated in response to raindrop detection or a display device Has been.
- the controller is configured to execute predetermined processing based on a computer program and perform various functions. These functions are illustrated by the block diagram in FIG. Elements that perform these functions include raindrop detectors, extractors, background capturers, reconstruction elements, correlators and raindrop identifiers.
- the background capturer uses the output of the camera to capture an image of the scenery in front of the windshield.
- the raindrop detector extracts points of interest from the background image.
- an appropriate algorithm such as “SURF” may be used. These points of interest are given as areas that provide a significant contrast to the background or other scenery as seen when raindrops are deposited on the windshield.
- the extractor extracts and captures raindrop candidate images from the background image. At the same time, the size of each raindrop candidate is measured.
- the reconstructor reconstructs each raindrop image as a landscape image refracted by the raindrop by applying Snell's law to the raindrop optical model.
- the correlator compares the actually extracted raindrop image with the corresponding reconstructed raindrop image.
- the raindrop identifier evaluates the correlation between the actually captured raindrop image and the corresponding reconstructed raindrop image and sums the results. If the number of events whose correlation is higher than a predetermined level is greater than or equal to a predetermined value, the raindrop identifier determines that there are actually raindrops on the windshield.
- a coordinate system ⁇ X (X C , Y C , Z C ) T of the three-dimensional camera is configured as shown in FIG.
- the origin of this coordinate system is located at the optical center O of the camera.
- the optical center line makes an angle ⁇ with the inner surface of the windshield and passes through the surface at a distance M.
- the optical center O, its orthogonal projection point O ′ onto the inner surface of the windshield, and each scanning point on the detected droplet (raindrop candidate) constitute an action plane, of which (points O, O ′ and window) Interest is directed to the main action surface (defined by the center point of the raindrop on the shield inner surface).
- a ray from the surface of a raindrop through the corresponding scanning point to the optical center does not leave this plane, so such a plane is called an action plane.
- the rays remain in this plane, but not necessarily before they reach the surface of the raindrop.
- FIG. 4 shows in detail one such action surface.
- a windshield having a thickness T is modeled by two mutually parallel planes W i (inner side) and W o (outer side). Therefore, the orthogonal projection points for W i and W o are given by the following equations, respectively.
- ⁇ O ' M sin ⁇ ⁇ n W --- (1)
- ⁇ O " ⁇ O '+ T
- ⁇ n W (M sin ⁇ + T) ⁇ n W --- (2)
- the actual coordinates on the windshield inner surface W i of ⁇ p are given by the following equation by using a pinhole camera model and setting the focal length to f.
- the end of the raindrop in the main action plane (defined by points O, O ′ and OX i ) (see FIG. 4 the reference), or by associating the corresponding parts on the W o.
- the shape of a droplet on a solid surface is modeled using a Young-Laplace equation that describes the relationship between surface tension, pressure and curvature.
- the contact angle ⁇ between the surface W o of the surface and the windshield of raindrops fulfill the function of the boundary conditions. In addition to the above relationship, the exact contact angle depends on the surface treatment of the solid surface and the nature of the rainwater. Numerical values (30-50 degrees) that match the results obtained from past experiments are described in the literature.
- the angle of incidence at the surface of the raindrop is important in identifying the refracted outside scene.
- the normal ⁇ ns phere ( ⁇ J) on the surface of the raindrop depends on the point J.
- the ray leaves the action plane of FIG.
- the incident ray at point J is located in the plane spanned by points R, J and C sphere as shown in FIG.
- the angle ⁇ between the normal on the surface ⁇ n sphere ( ⁇ J) and the reverse direction ⁇ e of the light propagation ⁇ e can be obtained based on the equation (12). n water and n air are used. If ⁇ is a complex number, no refraction occurs at point J, and no ray will reach the optical center from this point. On the other hand, when ⁇ is a real number, the light ray reaches from the point J toward the optical center.
- a three-dimensional point E is imaged as shown as a ray from point E to point O, passing through the air, entering the windshield, and reaching the interior of the vehicle. Need to be tracked to correspond to the observation at point x on the surface.
- This ray, at an angle ⁇ incident against W o, is emitted from the W i at an angle ⁇ in the opposite direction to ⁇ n W.
- Dashed line EO makes an angle ⁇ 0 with respect to ⁇ n W.
- ⁇ 0 arcos ⁇ (OE) ⁇ n W /
- the problem of obtaining ⁇ is a non-linear problem, and the initial value is obtained by iterative calculation such as Newton-Raphson method. It can be solved by a method that starts from ⁇ 0 and obtains a solution.
- ⁇ P are projections of E, B, and ⁇ on the above-described action plane, respectively.
- the algorithm according to the present invention can determine the exact path traced from the image plane to the background of all rays that interact with the raindrop based on the detected location of the waterdrop. However, in order to compare a landscape image with a raindrop image, predicting the intensity of the observed pixel light is at least as important as determining the exact path of the ray as described above. . That is, the algorithm according to the present invention utilizes the light intensity of the scenery and the refractive index of the Fresnel (as described above).
- Table 1 shows all the relevant information in estimating I ⁇ s.
- Table 1 Point Media change n 1 n 2 ⁇ 1 ⁇ 2 --------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- A Air / Glass n air n glass ⁇ ⁇ B glass / air n glass n air ⁇ ⁇ J air / water n air n water ⁇ ⁇ R water / glass n water n glass ⁇ ⁇ S glass / air n glass n air ⁇ ⁇
- the deviation between the observed pixel light intensity Is and the estimated light intensity I ⁇ s can be evaluated using a correlation coefficient defined as follows: .
- raindrops can be regarded as an additional lens on the windshield, the rays incident on the raindrops are bent, and each observation point on the raindrops is a collection of external light.
- what is required here is to build a physically accurate model that can accurately reconstruct a raindrop image by associating surrounding scenery with observed raindrop candidates. In order to achieve a meaningful correlation result, it is preferable to compensate for the above-described effects as necessary. Compensation for this can be achieved by blurring the surrounding scene and the reconstructed image based on the geometric and optical configuration of the camera lens as shown in FIG.
- the initial position is changed.
- the best match is used to obtain the correlation value.
- FIG. 6 is a flowchart of control processing executed by the controller.
- step ST1 a scene in front of the vehicle is captured by a capturer using a camera.
- step ST2 it is determined whether there is a raindrop candidate on the windshield. If no raindrop candidate is detected, the program flow returns to step ST1.
- a raindrop image is extracted in step ST3.
- the raindrop image is reconstructed from the landscape image in step ST4.
- the reconstructed image is compared with the actually extracted raindrop image, and the correlation between the two is evaluated in step ST5. If the correlation is higher than the predetermined level (yes in step ST6), the raindrop candidate is identified as an actual raindrop in step ST7, and the program flow returns to step ST1. If the correlation is lower than the predetermined level (no in step ST6), no raindrop candidate is detected as a raindrop in step ST8, and the program flow returns to step ST1.
- Identification accuracy does not need to be 100% when many raindrops fall on the windshield. Therefore, such a method may not be required. In such a case, as shown in FIG. 7, a large difference can be found in the correlation coefficient, which is a criterion for determining whether or not it is a raindrop.
- the raindrop is reconstructed from the landscape image, but the landscape is reconstructed from the raindrop image as shown in the block diagram of FIG. 8, and the actual raindrop candidate image is reconstructed from the reconstructed raindrop image. Can be compared with each other.
- FIGS 9a-9d illustrate one principle of such a method.
- POI is detected by a POI detector such as SURF or Harris Corner Detector as shown in FIG. 9a.
- Multi-target tracking is performed by applying one tracker for each POI, the POI detected in frame i is detected again in frame i + 1, and both POIs are associated with each other.
- the POIs detected in frame i are associated in subsequent frames and the trajectories of these points are calculated.
- two significantly different movement patterns are seen.
- POIs belonging to the scenery of the outside world move due to changes in the perspective angle of the camera based on the movement of the vehicle, while POIs fixed to the windshield have a windshield with respect to the camera coordinate system. It will not move because it is fixed.
- the judgment method as described above works for most raindrops without problems in the scene shown in FIG. 9a.
- raindrops may not be stationary with respect to the camera. As the vehicle speed increases, some of the raindrops move upward. Further, when the size of the raindrop is a certain level or more, it may move downward. Such movement of the raindrops is performed with a trajectory and speed determined by the size of each raindrop, the contour of the outer surface of the windshield and the airspeed of the vehicle.
- a raindrop motion model it is assumed that raindrops generally move in the vertical direction.
- This identification method is not only used in combination with a method of reconstructing a landscape image from an image refracted by raindrops, but can also be used to detect raindrops by themselves.
- the detection results are sent to a display device to alert the driver, or another such as a wiper that should be activated automatically in response to raindrop detection. It is good to send it to the device.
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Studio Devices (AREA)
Abstract
車両用ビジョンシステムを利用してウインドシールド上の雨滴を検出する。ウインドシールド上の雨滴候補を、通常、球の一切片からなる凸レンズとしての光学モデルにより表す。この光学モデルを用いて、各雨滴の像を、ウインドシールドを透過する車両前方の景色から再構成する。雨滴候補の実際の像と再構成雨滴像との間の相関が高い場合には、雨滴候補が実際に雨滴であると同定することができる。同定結果は、ワイパ等の他の装置を起動するために利用することができる。
Description
本発明は、車両のウインドシールド上の雨滴を同定するための方法及び装置に関する。
ワイパーを自動的に起動するためにウインドシールドの雨滴の存在を同定する努力が払われている。過去に提案されたものは、センサ上に雨滴が堆積したときに、その抵抗率が変化することを利用した電気的センサを利用するものが大半であった。これは、比較的低コストで実現することができるが、センサの表面が時と共に汚染されることから、比較的信頼性が高くないという難点があった。
近年になって、道路の車線或いはセンターラインを追跡したり、路上の障害物を回避したり、歩行者を検出するなどの目的で車両用ビジョンシステムを利用することに関心が高まってきている。このようなビジョンシステムは、ウインドシールドの雨滴の存在を検出するために好適に利用することが出来る。しかしながら、以下に列挙する要因等のために、ウインドシールドの雨滴を検出することは、コンピュータによるビジョンシステムにとって困難な課題である。
(1)雨滴は、様々な形状及びサイズを有する。
(2)雨滴は、焦点が合っていないことからぼやける。すなわちカメラは外界の景色に対して焦点が合わされており、ウインドシールドには焦点が合わされていない。
(3)ウインドシールドが透明であることにより、観測されるべき雨滴が、背景の情報による干渉を受け、それに重ね合わせられる。(通常の運転者補助システムに於いては、これが逆となる。すなわち、雨滴の像が重ね合わされていることにより、注視しようとする交通状態に対応する背景を観測することを妨げる。)
(4)雨滴自体が透明である。すなわち、雨滴に特有な特徴が見られない。むしろ、雨滴は、背景における特徴点を反射してしまう。
(2)雨滴は、焦点が合っていないことからぼやける。すなわちカメラは外界の景色に対して焦点が合わされており、ウインドシールドには焦点が合わされていない。
(3)ウインドシールドが透明であることにより、観測されるべき雨滴が、背景の情報による干渉を受け、それに重ね合わせられる。(通常の運転者補助システムに於いては、これが逆となる。すなわち、雨滴の像が重ね合わされていることにより、注視しようとする交通状態に対応する背景を観測することを妨げる。)
(4)雨滴自体が透明である。すなわち、雨滴に特有な特徴が見られない。むしろ、雨滴は、背景における特徴点を反射してしまう。
特開平10-148681は、ウインドシールドの雨滴を、周囲よりも高い輝度を有する領域として検出するような雨滴検出方法を開示している。これは、光を発生する或いは光を反射することによる高輝度の点が車両から見た景色内に含まれるような場合には、この方法は必ずしも所望通り機能することができない。
特開平9-142259は、ウインドシールドの雨滴を、ウインドシールドを透過する光に対する外乱として検出するような雨滴検出装置が開示されている。しかしながらこの装置は、雨滴の検出のために設けられる発光素子及び受光素子を必要とする。従って、コストが高いことに加えて、車両の限られたスペース内に発光素子及び受光素子に適した取付スペースを確保する必要がある。
このような従来技術の問題点に鑑み、本発明の主な目的は、信頼性が高くかつ経済的であるようなウインドシールドの雨滴を検出するための方法を提供することにある。
本発明の第2の目的は、車両用ビジョンシステムを利用して実現することのできる、ウインドシールドの雨滴を検出するための方法を提供することにある。
本発明の第2の目的は、車両用ビジョンシステムを利用して実現することのできる、ウインドシールドの雨滴を検出するための方法を提供することにある。
本発明によれば、このような目的は、ビジョンシステムを用いて車両のウインドシールド上の雨滴を同定するための方法であって、ウインドシールドを透過する車両前方の景色をカメラを用いて一般像としてキャプチャするステップと、前記一般像中の関心の有る点としての雨滴候補を検出するステップと、前記一般像から前記雨滴候補の実際の像を抽出し、そのサイズを測定するステップと、所定の光学モデルに基づき、前記一般像から再構成雨滴像を再構成するステップと、前記雨滴候補の実際の像と前記再構成雨滴像との間の相関を求めるステップと、求められた相関が所定レベルよりも高ければ、前記雨滴候補を実際の雨滴であると判断するステップとを有することを特徴とする方法を提供することにより達成される。
このようにすれば、実際の雨滴の像と再構成雨滴像との間に高い相関が偶然発生することはあり得ないことであることから、雨滴の存在を高精度に判定することができる。しかも、これは既存の車両用ビジョンシステムを利用して、新たなプログラムを追加するのみで実現することができ、費用の追加を最小化することができる。通常、雨滴候補は、球の一切片からなる凸レンズからなるものとすることができる。
また、雨滴の像から一般像を再構成し、実際の一般像と再構成一般像との間の相関を求めることもできる。
本発明の別の側面によれば、ビジョンシステムを用いて車両のウインドシールド上の雨滴を同定するための装置であって、ウインドシールドを透過する前方の景色をキャプチャするために車両に搭載されたカメラと、前記一般像中の関心の有る点としての雨滴候補を検出する雨滴検出器と、前記一般像から前記雨滴候補の実際の像を抽出し、そのサイズを測定する抽出器と、前記サイズに応じた所定の光学モデルに基づき、前記一般像の屈折像として再構成雨滴像を再構成する像再構成器と、前記雨滴候補の実際の像と前記再構成雨滴像との間の相関を求める相関器と、求められた相関が所定レベルよりも高ければ、前記雨滴候補を実際の雨滴であると判断する雨滴同定器とを有することを特徴とする装置が提供される。
或いは、ビジョンシステムを用いて車両のウインドシールド上の雨滴を同定するための装置が、ウインドシールドを透過する前方の景色をキャプチャするために車両に搭載されたカメラと、前記一般像中の関心の有る点としての雨滴候補を検出する雨滴検出器と、前記一般像から前記雨滴候補の実際の像を抽出し、そのサイズを測定する抽出器と、前記サイズに応じた所定の光学モデルに基づき、前記雨滴候補の屈折像として再構成一般像を再構成する像再構成器と、前記一般像の実際の像と前記再構成一般像との間の相関を求める相関器と、求められた相関が所定レベルよりも高ければ、前記雨滴候補を実際の雨滴であると判断する雨滴同定器とを有するものであっても良い。
光学的なノイズや外乱が存在する場合でも雨滴を同定する精度を向上させるために、雨滴を、車両の走行に際して、比較的固定した点として、或いは車両の走行に際して、雨滴のサイズ、ウインドシールドの外面の輪郭及び車両の対気速度により定められる軌跡及び速度をもって移動する点として抽出することもできる。
以下に、本発明に基づく雨滴検出のためのアルゴリズムの基本概念について説明する。図1は、カメラによりキャプチャされる車両のウインドシールドを透過する景色を示している。図1に示されるように、ウインドシールドを透過する景色の像は、複数の同心円及びこれら同心円の中心から半径方向に放射する線との間に形成される格子点により与えられる多数のピクセルにより表現される。図示されている格子点の密度は、図示の便宜のために実際よりもかなり低くされている。同心円は、互いに等間隔に設けられ、半径線は互いに等角度で配置されている。直交座標系或いは他の直線座標系などのような他の座標系を用いてピクセルの位置を定めることも、本発明の概念から逸脱しない。
「SURF」等の、標準的な、関心のある点(POI:points of interest)を検出するための検出器を用いることにより、ウインドシールド上の雨滴を検出する。「SURF」の詳細については、 "Herbert Bay, Tinne Tuytelaars, and Luc Van Gool, Lecture Notes in Computer Science, volume 3951/2006, chapter SURF: Speeded Up Robust Features, pages 404-417, Springer, Berlin / Heidelberg, 2006"を参照されたい。このアルゴリズムは、様々な物体、道路標識等ばかりでなく、雨滴からなるものであって良い像中の関心のある点を検出するために用いることができる。本明細書中で提案されているアルゴリズムの目的は、周囲の(物体、道路標識等の)景色から雨滴を区別することにある。
検出された雨滴のそれぞれは、ウインドシールドを透過する光を屈折させるウインドシールド上の追加の凸レンズと見なすことができる。図1に示されるように、雨滴内のすべてのピクセルは、屈折の法則に従って3次元環境におけるそれらの点の元の点に対応づけることができる。すなわち、ウインドシールドからの景色における格子点のピクセルのすべては、雨滴上の対応するピクセルに対して一対一の関係で関連づけることができ、雨滴の像を、フレネルの屈折の法則に基づいて格子点のピクセルの座標に適宜変換することにより再構成することができる。特に、雨滴の像は、ウインドシールドを通して見える周囲の景色の像から再構成された像に類似し或いは高い相関を有する。従って、雨滴と思われるもの、すなわち雨滴の候補は、その像が、ウインドシールドを通して見える周囲の景色の像から再構成された像と高い相関を有する場合には雨滴であると確認することができる。
図2は、本発明に基づく雨滴を同定するための装置の全体的な構成を示すブロック図である。この装置は、カメラと、雨滴の検出に応じて作動されるべきワイパーなどのような別の装置や表示装置であってよい出力ユニットを備えたマイクロプロセッサからなるコントローラとからなる2つの部分により構成されている。コントローラは、コンピュータプログラムに基づいて所定の処理を実行し、様々な機能を果たすように構成されている。これらの機能が図2におけるブロック図により示されている。これらの機能を果たす要素としては、雨滴検出器、抽出器、背景キャプチャラ、再構成要素、相関器及び雨滴同定器が含まれる。
背景キャプチャラは、カメラの出力を用いて、ウインドシールドから見える前方の景色の像をキャプチャする。雨滴検出器は、背景像から関心のある点を抽出する。この時、「SURF」などの適宜なアルゴリズムを利用するとよい。これらの関心のある点は、ウインドシールド上に雨滴が堆積しているときに見られるような背景或いはその他の景色に対して際立ったコントラストをなすような領域として与えられる。抽出器は、背景像から雨滴候補の像を抽出しキャプチャする。同時に、各雨滴候補のサイズが測定される。
再構成器は、各雨滴の像を雨滴の光学モデルに対してスネルの法則を適用することにより雨滴により屈折された景色の像として各雨滴の像を再構成する。相関器は、実際に抽出された雨滴の像を、対応する再構成された雨滴の像と比較する。雨滴同定器は、実際にキャプチャされた雨滴の像と、対応する再構成された雨滴の像との間の相関を評価し、その結果を総計する。相関が所定レベルよりも高い事象の数が所定値以上である場合には、雨滴同定器は、ウインドシールドの上に実際に雨滴があるものと判断する。
以下に、雨滴の光学モデルがどのように形成され、それに対してSの法則がどのように適用されるかを図3及び4を参照して以下に説明する。以下の説明に於いて、ベクトル値は、対応する文字の直前に「^」を付すことにより示すものとする。
先ず、「SURF」などの標準的な検出器により、像の面内にn個の位置 xi = (xi, yi)T にあり、半径 ri (i = 1, ..., n) を有する雨滴候補を検出する。従って、検出された各雨滴候補は、^pi = (xi, yi, ri)Tにより完全に表すことができる。このような検出結果に基づき、各雨滴候補を、本発明に基づくアルゴリズムによりテストする。以下に、1つの例としての雨滴候補^p = (x, y, r)Tを対象として、本発明に基づくアルゴリズムを説明する。ここでは、雨滴候補^p を通過し、カメラの光学的中心Oに到達する光線のみが考慮されることに留意されたい。
3次元のカメラの座標系^X = (XC, YC, ZC)Tが図3に示されるように構成される。この座標系の原点は、カメラの光学的中心Oに位置する。光学的中心線は、ウインドシールドの内面に対して角度Ψをなし、同面を距離Mをおいて通過する。光学的中心O、そのウインドシールド内面上への直交投影点O’及び検出された液滴(雨滴候補)上の各走査点はアクション面を構成し、その内の(点O、O’及びウインドシールド内面上の雨滴の中心点により画定される)主アクション面に対して関心が向けられる。スネルの屈折の法則によれば、雨滴の表面から、対応する走査点を通過し光学的中心に至る光線は、この面を離れることがないことから、このような面はアクション面と呼ばれる。従って、光線はこの面内に留まるが、雨滴の表面に至る前は、必ずしもそうではない。
図4は、このようなアクション面の一つを詳細に示す図である。厚さTを有するウインドシールドを2つの互いに平行な面Wi(内側面)及びWo(外側面)によりモデル化する。従って、Wi及びWoに対する直交投影点が、それぞれ以下の式により与えられる。
^O' = M sinΨ ^nW --- (1)
^O" = ^O' + T ^nW = (M sinΨ + T)^nW --- (2)
ここで、 ^nW = (cosΨ, 0, sinΨ)T はウインドシールドの法線である。^pのウインドシールド内面Wi上の実際の座標は、ピンホールカメラのモデルを用い、焦点距離をfとすることにより、以下の式により与えられる。
Xi = Zi (x/f) --- (3)
Yi = Zi (y/f) --- (4)
Zi = M sinΨ / {tanΨ + (x/f)} --- (5)
そこで、対応する雨滴の半径は、
Ri = Zi (r/f) --- (6)
となる。Wiに対するガラスの屈折の効果により、Wo上の雨滴の位置は僅かに変化し、実際の雨滴の半径は、ウインドシールドを通してみたときに比較して、やや大きい。従って、検出された雨滴の実際の位置X0及び半径R0を決定するためには、(点O、O’及びOXiにより画定される)主アクション面内に於ける雨滴の端部(図4を参照)を、Wo上の対応部分に関連付ければ良い。
^O' = M sinΨ ^nW --- (1)
^O" = ^O' + T ^nW = (M sinΨ + T)^nW --- (2)
ここで、 ^nW = (cosΨ, 0, sinΨ)T はウインドシールドの法線である。^pのウインドシールド内面Wi上の実際の座標は、ピンホールカメラのモデルを用い、焦点距離をfとすることにより、以下の式により与えられる。
Xi = Zi (x/f) --- (3)
Yi = Zi (y/f) --- (4)
Zi = M sinΨ / {tanΨ + (x/f)} --- (5)
そこで、対応する雨滴の半径は、
Ri = Zi (r/f) --- (6)
となる。Wiに対するガラスの屈折の効果により、Wo上の雨滴の位置は僅かに変化し、実際の雨滴の半径は、ウインドシールドを通してみたときに比較して、やや大きい。従って、検出された雨滴の実際の位置X0及び半径R0を決定するためには、(点O、O’及びOXiにより画定される)主アクション面内に於ける雨滴の端部(図4を参照)を、Wo上の対応部分に関連付ければ良い。
雨滴の端部間の全ての光線は、スネルの屈折の法則を適用すれば、以下のように追跡することができる。図4に於いて破線により示されるようにWi上の或る光線^S = OS = (XS, YS, ZS)Tを考慮する。ウインドシールドの法線に対するベクトル^Sの入射角は以下の式により表される。
α = arcos {(^S^nW) / ||^S||} --- (7)
Woに対する通過点Rは、スネルの法則、空気及びガラスの屈折率、並びに式(1)を用いることにより求めることができる。
κ = arcsin {nair sin α / nglass} --- (8)
^R = ^S + T {^nW + (tan κ / ||SO'||) (^S - M sinΨ^nW) } --- (9)
これは、像の座標が知られた雨滴の任意の点について、そのWo上のXYZ座標を求めることができることを意味する。また、この式から、Wo上の界面端部のXYZ座標を求めることができる。なぜなら、Wi上の液滴の端部の座標が既知であるからである。界面端部が特定されれば、雨滴の半径R0及びWo上の位置X0を求めることができる。
α = arcos {(^S^nW) / ||^S||} --- (7)
Woに対する通過点Rは、スネルの法則、空気及びガラスの屈折率、並びに式(1)を用いることにより求めることができる。
κ = arcsin {nair sin α / nglass} --- (8)
^R = ^S + T {^nW + (tan κ / ||SO'||) (^S - M sinΨ^nW) } --- (9)
これは、像の座標が知られた雨滴の任意の点について、そのWo上のXYZ座標を求めることができることを意味する。また、この式から、Wo上の界面端部のXYZ座標を求めることができる。なぜなら、Wi上の液滴の端部の座標が既知であるからである。界面端部が特定されれば、雨滴の半径R0及びWo上の位置X0を求めることができる。
固体面上の液滴の形状は、表面張力、圧力及び曲率の関係を記述するYoung-Laplaceの式を用いてモデル化される。雨滴の表面とウインドシールドの表面Woとの間の接触角τは、境界条件の働きを果たす。上記した関係に加えて、正確な接触角は、固体面の表面処理及び雨水の性状に依存する。過去に行った実験により得られた結果に合致するような数値(30-50度)が文献に記載されている。
単純化のために、雨滴を球の一部即ち球の一切片(spherical cap)からなるものと仮定し、その切断面の半径をR0とし、雨滴の表面とウインドシールドの表面Woとの間の接触角をτとする。その場合、球の半径Rsphereは、
Rsphere = Ro / sin τ --- (10)
として与えられ、この球の中心は、
^Csphere = ^Co - ^nWRsphere cos τ --- (11)
となる。図4に於いて破線で示した光線により示されるように、雨滴の表面上の点Jは、屈折率としてそれぞれnglass and nwaterを仮定したときに、点Sから戻り、^nW に向けて点Rにて屈折した光線の通過点として決定することができる。
γ = arcsin (nglass sin κ / nwater) --- (12)
Rsphere = Ro / sin τ --- (10)
として与えられ、この球の中心は、
^Csphere = ^Co - ^nWRsphere cos τ --- (11)
となる。図4に於いて破線で示した光線により示されるように、雨滴の表面上の点Jは、屈折率としてそれぞれnglass and nwaterを仮定したときに、点Sから戻り、^nW に向けて点Rにて屈折した光線の通過点として決定することができる。
γ = arcsin (nglass sin κ / nwater) --- (12)
雨滴の表面に於ける入射角は、屈折した外界の景色を同定する上で重要である。点Jに於ける屈折角は、以下の式により与えられる。
β = arcos {^nsphere(^J) (RJ) /||RJ||} --- (13)
ここで、雨滴の表面上の法線^nsphere(^J)は、点Jに依存する。従って、光線は、図4のアクション面を離れる。点Jに於ける入射光線は、図5に示されるように、点R、J及びCsphereによって張られる面内に位置する。
β = arcos {^nsphere(^J) (RJ) /||RJ||} --- (13)
ここで、雨滴の表面上の法線^nsphere(^J)は、点Jに依存する。従って、光線は、図4のアクション面を離れる。点Jに於ける入射光線は、図5に示されるように、点R、J及びCsphereによって張られる面内に位置する。
入射角θは、表面上の法線^nsphere(^J)及び光線の伝播の逆方向^eとの間の角度は、式(12)に基づいて求めることができるが、この場合 β, nwater and nairが用いられる。θが複素数である場合には、点Jに於ける屈折は発生せず、光線は、この点から光学的中心にむけて到達しない。それに対して、θが実数である場合には、光線は、点Jから光学的中心に向けて到達する。これにより、本発明に基づくアルゴリズムは、景色に於ける、光線が放射される点Eを、(それが既知の景色の面内に位置するものとすれば、)求めることができる。単純化のために、 (^nenv ^x) + d = 0の式により表されるように、この面が垂直であるものと仮定する。しかしながら、本発明に基づくアルゴリズムは、垂直面についてのみならず、任意の面(又は幾何学的表面に)について適用可能である。
図1に示されるように、雨滴によりマップされた景色の点の大部分は、雨滴によりカバーされた領域(雨滴背景)外に位置する。これは、ウインドシールド上の雨滴の光の強度は、それ自体の背景にそれ程依存することはなく、むしろ外界の幾何学的及び光学的条件に依存することを示している。
雨滴候補を決定するためには、空気を通過し、ウインドシールド内に突入し、更に車内に達するようにして、点Eから点Oに至る光線として示されるように、3次元点Eを、像の面の点xに於ける観測に対応するように追跡する必要がある。この光線は、Woに対して角度ωをもって入射し、^nWに対して逆方向に角度ωをなしてWiから出射する。破線EOは、^nWに対して角度ω0をなす。
ω0 = arcos {(OE)^nW /||OE||} --- (14)
ω0 = arcos {(OE)^nW /||OE||} --- (14)
ここで、点E、B、A、O、O’及びO”は全て同一面内に位置する。ωを求める問題は、非線形問題であって、Newton-Raphson法などの繰り返し計算により、初期値ω0から開始して解を求めるような手法により解くことができる。
f(ω) = (x* E - x* B) cot (ω + ΨP) - (y* E - y* B) = 0
但し、(x* E, y* E), (x* B, y* B)及びΨP は、それぞれ上記したアクション面に対するE、B及びΨの投影である。
f(ω) = (x* E - x* B) cot (ω + ΨP) - (y* E - y* B) = 0
但し、(x* E, y* E), (x* B, y* B)及びΨP は、それぞれ上記したアクション面に対するE、B及びΨの投影である。
本発明に基づくアルゴリズムは、水滴の検出された位置に基づいて、雨滴と相互作用する全ての光線の、像の面から背景に向けて追跡される正確な経路を求めることができる。しかしながら、景色の像を雨滴の像と比較するためには、観測されたピクセルの光の強度を予測することは、少なくとも、上記したように光線の正確な経路を求めることと同様に重要である。即ち、本発明に基づくアルゴリズムは、(前記したように)景色の光の強度及びフレネルの屈折率を利用する。
光が第1の屈折率n1を有する媒体から第2の屈折率n2を有する媒体に進んだとき、光の反射及び屈折の両者が発生し得る。本明細書に於ける手法では、ウインドシールド上の雨滴の所定の幾何学的構造のために、屈折した光線のみが光学的中心に達することから、入射光の強度の一部のみが第1の媒体から第2の媒体に屈折することになる。これは、以下の式により表される。
I2 = (1 - R12)I1 --- (15)
但し、R12は、第1の媒体から第2の媒体に至る非偏光光のフレネル反射率である。
また、
I2 = (1 - R12)I1 --- (15)
但し、R12は、第1の媒体から第2の媒体に至る非偏光光のフレネル反射率である。
また、
IAはカメラについて既知であることから、この強度は、点Eから、雨滴及びガラスにより屈折した後に、光学的中心に至る光線により伝達される。点Sに於ける雨滴の光の強度は、次のように求めることができる。
但し、Riは、2つの媒体間での屈折が引起される全ての点に於けるフレネル反射率であって(即ち、i ∈ {A, B, J, R, S};図4参照)、jは、光強度予測の方向である。
但し、Riは、2つの媒体間での屈折が引起される全ての点に於けるフレネル反射率であって(即ち、i ∈ {A, B, J, R, S};図4参照)、jは、光強度予測の方向である。
表1は、I^sを推定する上で関連する全ての情報を示す。
表1
点 媒体の変移 n1 n2 μ1 μ2
---------------------------------
A 空気/ガラス nair nglass ω χ
B ガラス/空気 nglass nair χ ω
J 空気/水 nair nwater θ β
R 水/ガラス nwater nglass γ κ
S ガラス/空気 nglass nair κ α
表1
点 媒体の変移 n1 n2 μ1 μ2
---------------------------------
A 空気/ガラス nair nglass ω χ
B ガラス/空気 nglass nair χ ω
J 空気/水 nair nwater θ β
R 水/ガラス nwater nglass γ κ
S ガラス/空気 nglass nair κ α
視覚的な結果はかなり正確であって、かなり高い相関係数が達成されるが、相関の大きさ自体は重要ではない。その理由については以下に詳しく述べる。
先ず、雨滴は、ウインドシールド上の追加のレンズとみなすことができ、雨滴に入射される光線は曲げられ、雨滴上の各観測点は、外界の光を集合させたものからなる。第2に、カメラは無限遠方に焦点が合わされているために、雨滴はぼやけて見える。そのために、雨滴の観測が不適切に行なわれ、アルゴリズムは正確に処理を行ったとしても、雨滴の同定精度が低くなり、低い相関値が得られることになる。しかしながら、ここで求められるのは、周囲の景色を、観測された雨滴候補に対応付け、雨滴像を正確に再構成し得るような物理的に正確なモデルを構築することにある。有意義な相関結果を達成するためには、必要に応じて、上記したような効果を補償すると良い。そのための補償作用は、図4に示されるようなカメラレンズの幾何学的及び光学的構成に基づいて、周囲の景色及びを再構成された画像をぼやかすことにより達成することができる。
初期の雨滴候補の位置の精度に関する検出感度を低減するためには、初期位置を変化させることを行う。最適合致したものを相関値を求めるために採用する。
図6は、コントローラにより実行される制御処理のフロー図である。先ず、ステップST1に於いて、車両前方の景色が、キャプチャラによりカメラを用いてキャプチャされ、ステップST2に於いて、ウインドシールド上に雨滴の候補があるか否かを判定する。雨滴の候補が検出されない場合、プログラムフローはステップST1に戻る。
ステップST2で雨滴候補が検出された場合、ステップST3に於いて、雨滴の像が抽出される。適切は光学モデルを用いることにより、ステップST4に於いて、雨滴の像が、景色の像から再構成される。再構成された像は、実際に抽出された雨滴の像と比較され、両者の間の相関が、ステップST5に於いて評価される。相関が所定レベルよりも高ければ(ステップST6に於いてyes)、ステップST7に於いて、雨滴候補は実際の雨滴であると同定され、プログラムフローはステップST1に戻る。相関が所定レベルよりも低い場合には(ステップST6に於いてno)、ステップST8に於いて、雨滴候補が雨滴として検出されず、プログラムフローはステップST1に戻る。
ウインドシールドの上に多数の雨滴が落ちてくるような場合には同定精度は100パーセントであることを要しない。従って、このような方法を必要としないかもしれない。このような場合には、図7に示されるように、雨滴であるか否かの判断基準となる相関係数には大きな差異が見出すことができる。
上記実施例では、雨滴を景色の像から再構成したが、図8のブロック図に示されるように雨滴の像から景色を再構成し、雨滴候補の実際の像と再構成雨滴像との間の相関を互いに比較することもできる。
ウインドシールド上の雨滴を検出する場合に、雨滴を可及的に正確に抽出し、同定することが重要である。実際に本発明を実施する際には、様々な光学的なノイズや外乱が存在することから、同定精度を高めるような識別方法を適用することが望まれる。図9a-9dは、そのような方法の1つの原理を説明している。
SURFやHarris Corner Detector等のPOI検出器により、図9aに示されるようにPOIが検出されたとする。各POIに対して1つのトラッカーを適用することによる多ターゲット追跡を行ない、フレームiで検出されたPOIを、再びフレームi+1で検出し、これら両POIを互いに関連付ける。図9b-9dに示されるように、フレームiで検出されたPOIを、それに続くフレーム中で対応付け、これらの点の軌跡を計算する。その結果、2つの顕著に異なる運動パターンが見られる。外界の景色に属するPOIは、車両の運動に基づくカメラの透視角(perspective viewing angle)の変化のために移動し、一方、ウインドシールドに固定されたPOIは、ウインドシールドがカメラの座標系に対して固定されていることから、移動しない。何度かの、繰り返し計算サイクルの追跡を行なった後、各POIの軌跡を観測することにより、ウインドシールド上の異物と、景色に属する点との区別を高い信頼性をもって識別できるようになる。所定の許容誤差を上回るような軌跡の変位が観測された場合には、そのPOIが雨滴或いはウインドシールド上の異物でない確率が明瞭に増大する。
上記したような判断方法は、図9aに示されるような場面で、殆どの雨滴について問題なく機能する。しかしながら、雨滴がカメラに対して静止していない場合がある。車両の速度が増大すると、雨滴の或るものは上方に運動する。また、雨滴のサイズが或る程度以上であると、下方に運動する場合もある。雨滴のこのような運動は、各雨滴のサイズ、ウインドシールドの外面の輪郭及び車両の対気速度により定められる軌跡及び速度をもって行なわれる。このように、本発明に於けるアルゴリズムを、雨滴の運動モデルを含むように拡張することにより、このような、より高度な効果も考慮することができる。このような運動モデルによれば、雨滴が概ね上下方向に移動することが想定される。この場合でも、透視角の幾何学的構成から、景色の像中のPOIの殆どは上下方向に移動することがないことから、雨滴と景色の像とを明瞭に識別することができる。この識別方法は、雨滴により屈折した像から景色の像から再構成する方法に併用するばかりでなく、それ自体で雨滴を検出するために利用することも可能である。
ウインドシールド上の雨滴が検出された場合、検出結果は、運転者に警報を行なうために表示装置に送られたり、或いは雨滴の検出に応じて自動的に作動されるべきワイパーなどのような別の装置に送られるようにすると良い。
以上で具体的実施形態の説明を終えるが、当業者であれば容易に理解できるように、本発明は上記実施形態や変形例に限定されることなく幅広く変形実施することができる。
Claims (9)
- ビジョンシステムを用いて車両のウインドシールド上の雨滴を同定するための方法であって、
ウインドシールドを透過する車両前方の景色をカメラを用いて一般像としてキャプチャするステップと、
前記一般像中の関心の有る点としての雨滴候補を検出するステップと、
前記一般像から前記雨滴候補の実際の像を抽出し、そのサイズを測定するステップと、
所定の光学モデルに基づき、前記一般像から再構成雨滴像を再構成するステップと、
前記雨滴候補の実際の像と前記再構成雨滴像との間の相関を求めるステップと、
求められた相関が所定レベルよりも高ければ、前記雨滴候補を実際の雨滴であると判断するステップとを有することを特徴とする方法。 - 前記雨滴候補の前記光学モデルが、球の一切片からなることを特徴とするクレーム1に記載の方法。
- 前記一般像中の関心の有る点としての雨滴候補を検出する前記ステップが、車両の走行に際して、比較的固定した点として抽出することを含むことを特徴とするクレーム1に記載の方法。
- 前記一般像中の関心の有る点としての雨滴候補を検出する前記ステップが、車両の走行に際して、雨滴のサイズ、ウインドシールドの外面の輪郭及び車両の対気速度により定められる軌跡及び速度をもって移動する点として抽出することを含むことを特徴とするクレーム1に記載の方法。
- ビジョンシステムを用いて車両のウインドシールド上の雨滴を同定するための方法であって、
ウインドシールドを透過する車両前方の景色をカメラを用いて一般像としてキャプチャするステップと、
前記一般像中の関心の有る点としての雨滴候補を検出するステップと、
前記一般像から前記雨滴候補の実際の像を抽出し、そのサイズを測定するステップと、
所定の光学モデルに基づき、前記雨滴候補から再構成一般像を再構成するステップと、
実際の前記一般像と前記再構成一般像との間の相関を求めるステップと、
求められた相関が所定レベルよりも高ければ、前記雨滴候補を実際の雨滴であると判断するステップとを有することを特徴とする方法。 - ビジョンシステムを用いて車両のウインドシールド上の雨滴を同定するための装置であって、
ウインドシールドを透過する前方の景色をキャプチャするために車両に搭載されたカメラと、
前記一般像中の関心の有る点としての雨滴候補を検出する雨滴検出器と、
前記一般像から前記雨滴候補の実際の像を抽出し、そのサイズを測定する抽出器と、
前記サイズに応じた所定の光学モデルに基づき、前記一般像の屈折像として再構成雨滴像を再構成する像再構成器と、
前記雨滴候補の実際の像と前記再構成雨滴像との間の相関を求める相関器と、
求められた相関が所定レベルよりも高ければ、前記雨滴候補を実際の雨滴であると判断する雨滴同定器とを有することを特徴とする装置。 - 前記雨滴候補の前記光学モデルが、球の一切片からなることを特徴とするクレーム4に記載の装置。
- 前記雨滴検出器が、車両の走行に際して、前記一般像から雨滴候補を、比較的固定した点として検出することを特徴とするクレーム6に記載の装置。
- 前記雨滴検出器が、車両の走行に際して、前記一般像から雨滴候補を、雨滴のサイズ、ウインドシールドの外面の輪郭及び車両の対気速度により定められる軌跡及び速度をもって移動する点として抽出することを特徴とするクレーム6に記載の装置。
Priority Applications (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2009/000181 WO2010084521A1 (ja) | 2009-01-20 | 2009-01-20 | ウインドシールド上の雨滴を同定するための方法及び装置 |
JP2009525820A JP5216010B2 (ja) | 2009-01-20 | 2009-01-20 | ウインドシールド上の雨滴を同定するための方法及び装置 |
PCT/JP2010/000092 WO2010084707A1 (ja) | 2009-01-20 | 2010-01-08 | コンピュータビジョン・システムに於ける画像復元方法 |
JP2010547420A JPWO2010084707A1 (ja) | 2009-01-20 | 2010-01-08 | コンピュータビジョン・システムに於ける画像復元方法 |
US13/144,985 US8797417B2 (en) | 2009-01-20 | 2010-01-08 | Image restoration method in computer vision system, including method and apparatus for identifying raindrops on a windshield |
EP10733315.5A EP2381416B1 (en) | 2009-01-20 | 2010-01-08 | Method for image restoration in a computer vision system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2009/000181 WO2010084521A1 (ja) | 2009-01-20 | 2009-01-20 | ウインドシールド上の雨滴を同定するための方法及び装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2010084521A1 true WO2010084521A1 (ja) | 2010-07-29 |
Family
ID=42355602
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2009/000181 WO2010084521A1 (ja) | 2009-01-20 | 2009-01-20 | ウインドシールド上の雨滴を同定するための方法及び装置 |
PCT/JP2010/000092 WO2010084707A1 (ja) | 2009-01-20 | 2010-01-08 | コンピュータビジョン・システムに於ける画像復元方法 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2010/000092 WO2010084707A1 (ja) | 2009-01-20 | 2010-01-08 | コンピュータビジョン・システムに於ける画像復元方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US8797417B2 (ja) |
EP (1) | EP2381416B1 (ja) |
JP (2) | JP5216010B2 (ja) |
WO (2) | WO2010084521A1 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8797417B2 (en) | 2009-01-20 | 2014-08-05 | Honda Motor Co., Ltd. | Image restoration method in computer vision system, including method and apparatus for identifying raindrops on a windshield |
DE112010005669B4 (de) * | 2010-06-18 | 2017-10-26 | Honda Motor Co., Ltd. | System zur Straßenoberflächenreflektivitätsklassifizierung |
JP2020129355A (ja) * | 2018-09-07 | 2020-08-27 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 情報処理方法、情報処理装置、及び情報処理プログラム |
Families Citing this family (59)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8376595B2 (en) * | 2009-05-15 | 2013-02-19 | Magna Electronics, Inc. | Automatic headlamp control |
US9230189B2 (en) * | 2010-03-04 | 2016-01-05 | Valeo Schalter Und Sensoren Gmbh | Method of raindrop detection on a vehicle windscreen and driving assistance device |
US8774267B2 (en) * | 2010-07-07 | 2014-07-08 | Spinella Ip Holdings, Inc. | System and method for transmission, processing, and rendering of stereoscopic and multi-view images |
EP2692086B1 (en) * | 2011-03-29 | 2018-03-21 | Jura Trade Limited | Method and apparatus for generating and authenticating security documents |
EP2754095B1 (en) * | 2011-09-07 | 2017-06-14 | Valeo Schalter und Sensoren GmbH | Method and camera assembly for detecting raindrops on a windscreen of a vehicle |
DE102011056051A1 (de) | 2011-12-05 | 2013-06-06 | Conti Temic Microelectronic Gmbh | Verfahren zur Auswertung von Bilddaten einer Fahrzeugkamera unter Berücksichtigung von Informationen über Regen |
MX361919B (es) * | 2012-07-27 | 2018-12-19 | Nissan Motor | Dispositivo de detección de gotas de agua y dispositivo de detección de objetos tridimensionales usando un dispositivo de detección de gotas de agua. |
CN102821323B (zh) * | 2012-08-01 | 2014-12-17 | 成都理想境界科技有限公司 | 基于增强现实技术的视频播放方法、***及移动终端 |
US9165196B2 (en) | 2012-11-16 | 2015-10-20 | Intel Corporation | Augmenting ADAS features of a vehicle with image processing support in on-board vehicle platform |
JP6045889B2 (ja) * | 2012-11-27 | 2016-12-14 | クラリオン株式会社 | 車載用制御装置 |
DE102012112104A1 (de) * | 2012-12-11 | 2014-06-12 | Conti Temic Microelectronic Gmbh | Verfahren und vorrichtung zur befahrbarkeitsanalyse |
EP2757527B1 (en) * | 2013-01-16 | 2018-12-12 | Honda Research Institute Europe GmbH | System and method for distorted camera image correction |
DE102013204935A1 (de) * | 2013-03-20 | 2014-09-25 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Erstellen einer Aufnahme eines gepulst aufleuchtenden Objekts |
KR102117273B1 (ko) | 2013-03-21 | 2020-06-01 | 삼성전자주식회사 | 수술 로봇 시스템 및 그 제어 방법 |
US9380286B2 (en) | 2013-04-19 | 2016-06-28 | Adobe Systems Incorporated | Stereoscopic target region filling |
US9350969B2 (en) | 2013-04-19 | 2016-05-24 | Adobe Systems Incorporated | Target region filling involving source regions, depth information, or occlusions |
ES2666499T3 (es) | 2013-07-03 | 2018-05-04 | Kapsch Trafficcom Ab | Método para identificación de contaminación en una lente de una cámara estereoscópica |
US20150097827A1 (en) * | 2013-10-09 | 2015-04-09 | Adobe Systems Incorporated | Target Region Fill Utilizing Transformations |
KR101518896B1 (ko) * | 2013-10-10 | 2015-05-11 | 현대자동차 주식회사 | 와이퍼 작동 시스템 및 방법 |
FR3019359B1 (fr) | 2014-03-31 | 2017-10-06 | Continental Automotive France | Procede de determination d'un etat d'obstruction d'au moins une camera embarquee dans un systeme stereoscopique |
US9900505B2 (en) * | 2014-07-23 | 2018-02-20 | Disney Enterprises, Inc. | Panoramic video from unstructured camera arrays with globally consistent parallax removal |
KR102426631B1 (ko) * | 2015-03-16 | 2022-07-28 | 현대두산인프라코어 주식회사 | 건설 기계의 사각 영역 표시 방법 및 이를 수행하기 위한 장치 |
FR3034899B1 (fr) | 2015-04-13 | 2018-07-06 | Latecoere | Procede et systeme de visualisation externe deportee a l'interieur d'une cabine d'avion |
TWI554979B (zh) * | 2015-05-15 | 2016-10-21 | 財團法人國家實驗研究院 | 雨滴偵測系統及其方法 |
KR102366402B1 (ko) * | 2015-05-21 | 2022-02-22 | 엘지전자 주식회사 | 운전자 보조 장치 및 그 제어방법 |
EP3107063A1 (en) * | 2015-06-16 | 2016-12-21 | Continental Automotive GmbH | Method for processing camera images |
CN106324708B (zh) * | 2015-06-24 | 2018-08-14 | 郝立 | 雨量记录图纸的数字化方法、装置 |
EP3113477B1 (en) * | 2015-06-30 | 2017-08-02 | Axis AB | Monitoring camera |
CN107924567A (zh) | 2015-07-31 | 2018-04-17 | 深圳市大疆创新科技有限公司 | 构建光流场的***和方法 |
KR101714185B1 (ko) * | 2015-08-05 | 2017-03-22 | 엘지전자 주식회사 | 차량 운전 보조장치 및 이를 포함하는 차량 |
WO2017047688A1 (ja) * | 2015-09-17 | 2017-03-23 | 株式会社日立国際電気 | 落下物検知追跡システム |
TWI607901B (zh) * | 2015-11-06 | 2017-12-11 | 財團法人工業技術研究院 | 影像修補系統及其方法 |
EP3422992A4 (en) * | 2016-03-02 | 2019-10-30 | Covidien LP | SYSTEMS AND METHOD FOR REMOVING OCCLUSION OBJECTS IN SURGICAL IMAGES AND / OR VIDEOS |
US10764561B1 (en) | 2016-04-04 | 2020-09-01 | Compound Eye Inc | Passive stereo depth sensing |
US10049284B2 (en) | 2016-04-11 | 2018-08-14 | Ford Global Technologies | Vision-based rain detection using deep learning |
EP3300023A1 (en) * | 2016-09-21 | 2018-03-28 | Autoliv Development AB | Vision system and method for a motor vehicle |
US10427645B2 (en) | 2016-10-06 | 2019-10-01 | Ford Global Technologies, Llc | Multi-sensor precipitation-classification apparatus and method |
TWI632814B (zh) * | 2016-11-11 | 2018-08-11 | 財團法人工業技術研究院 | 視訊畫幀產生方法及其系統 |
GB2559759B (en) * | 2017-02-16 | 2020-07-29 | Jaguar Land Rover Ltd | Apparatus and method for displaying information |
US10430671B2 (en) | 2017-04-22 | 2019-10-01 | Honda Motor Co., Ltd. | System and method for remapping surface areas of a vehicle environment |
CN107292911B (zh) * | 2017-05-23 | 2021-03-30 | 南京邮电大学 | 一种基于多模型融合和数据关联的多目标跟踪方法 |
US10587828B2 (en) | 2017-06-27 | 2020-03-10 | Wipro Limited | System and method for generating distortion free images |
US10586316B2 (en) * | 2017-08-07 | 2020-03-10 | Morphotrust Usa, Llc | Reduction of glare in imaging documents |
US10282827B2 (en) * | 2017-08-10 | 2019-05-07 | Wipro Limited | Method and system for removal of rain streak distortion from a video |
CN109087332B (zh) * | 2018-06-11 | 2022-06-17 | 西安电子科技大学 | 一种基于分块相关的遮挡检测方法 |
EP3599569A1 (en) * | 2018-07-24 | 2020-01-29 | Continental Automotive GmbH | Method and system for representation of vehicle surroundings with reduced artefacts |
EP3629240B1 (en) * | 2018-09-07 | 2023-08-23 | Panasonic Intellectual Property Corporation of America | Generative adversarial networks for local noise removal from an image |
US10836356B2 (en) | 2018-09-20 | 2020-11-17 | Ford Global Technologies, Llc | Sensor dirtiness detection |
US10829091B2 (en) | 2018-09-20 | 2020-11-10 | Ford Global Technologies, Llc | Vehicle sensor cleaning |
US10694105B1 (en) * | 2018-12-24 | 2020-06-23 | Wipro Limited | Method and system for handling occluded regions in image frame to generate a surround view |
US10780861B2 (en) * | 2019-01-08 | 2020-09-22 | Ford Global Technologies, Llc | Liquid droplet path prediction |
EP4066162A4 (en) | 2019-11-27 | 2023-12-13 | Compound Eye Inc. | SYSTEM AND METHOD FOR DETERMINING CORRESPONDENCE CARDS |
US11328428B2 (en) * | 2019-12-18 | 2022-05-10 | Clarion Co., Ltd. | Technologies for detection of occlusions on a camera |
WO2021150779A1 (en) * | 2020-01-21 | 2021-07-29 | Compound Eye Inc. | System and method for egomotion estimation |
WO2021150784A1 (en) | 2020-01-21 | 2021-07-29 | Compound Eye Inc. | System and method for camera calibration |
DE102020210549A1 (de) * | 2020-08-20 | 2022-02-24 | Robert Bosch Gesellschaft mit beschränkter Haftung | Prüfsystem und Prüfverfahren für Scheibenwischer |
EP3982328A1 (en) * | 2020-10-08 | 2022-04-13 | Saint-Gobain Glass France | Method for simulating the effects of the optical distortions of a windshield on the image recording quality of a digital image recording device |
WO2022194679A1 (de) * | 2021-03-18 | 2022-09-22 | Volkswagen Aktiengesellschaft | Semantische bildsegmentierung eines bilddatenstroms |
US20230222761A1 (en) * | 2022-01-12 | 2023-07-13 | Nec Corporation Of America | Removal of artifacts from images captured by sensors |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10261064A (ja) * | 1997-03-17 | 1998-09-29 | Mitsuba Corp | 雨滴検出装置における付着物識別方法 |
JP2004212184A (ja) * | 2002-12-27 | 2004-07-29 | Nissan Motor Co Ltd | 画像処理装置 |
JP2006261761A (ja) * | 2005-03-15 | 2006-09-28 | Secom Co Ltd | 画像信号処理装置 |
JP2006292543A (ja) * | 2005-04-11 | 2006-10-26 | Denso Corp | レインセンサ |
JP2006308329A (ja) * | 2005-04-26 | 2006-11-09 | Denso Corp | レインセンサ |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5923027A (en) * | 1997-09-16 | 1999-07-13 | Gentex Corporation | Moisture sensor and windshield fog detector using an image sensor |
DE10201522A1 (de) * | 2002-01-17 | 2003-07-31 | Bosch Gmbh Robert | Verfahren und Vorrichtung zur Erkennung von Sichtbehinderungen bei Bildsensorsystemen |
US8180099B2 (en) * | 2002-07-16 | 2012-05-15 | Trw Limited | Rain detection apparatus and method |
JP2004164992A (ja) | 2002-11-13 | 2004-06-10 | Canon Inc | 電子注入性電極の製造方法、及び有機エレクトロルミネッセンス素子の製造方法 |
JP4590887B2 (ja) | 2004-03-10 | 2010-12-01 | セイコーエプソン株式会社 | 電子機器、ファイル消去プログラム及びファイル消去方法 |
JP4483413B2 (ja) | 2004-06-02 | 2010-06-16 | トヨタ自動車株式会社 | 移動物体検出装置及び移動物体検出方法 |
CN101142814A (zh) * | 2005-03-15 | 2008-03-12 | 欧姆龙株式会社 | 图像处理装置及方法、程序、以及记录介质 |
JP4720386B2 (ja) | 2005-09-07 | 2011-07-13 | 株式会社日立製作所 | 運転支援装置 |
JP5384807B2 (ja) | 2007-06-20 | 2014-01-08 | 株式会社岡村製作所 | 椅子における背板へのカバー部材取付構造 |
JP4856612B2 (ja) * | 2007-10-29 | 2012-01-18 | 富士重工業株式会社 | 物体検出装置 |
US8494251B2 (en) * | 2008-01-11 | 2013-07-23 | Sri International | System and method for measuring image quality |
DE102008001679A1 (de) * | 2008-05-09 | 2009-11-12 | Robert Bosch Gmbh | Verfahren und Vorrichtung zur Verarbeitung von aufgenommenen Bildinformationen aus einem Fahrzeug |
DE102009000005A1 (de) * | 2009-01-02 | 2010-07-08 | Robert Bosch Gmbh | Kameraanordnung und Verfahren zur Erfassung einer Fahrzeugumgebung |
WO2010084521A1 (ja) | 2009-01-20 | 2010-07-29 | 本田技研工業株式会社 | ウインドシールド上の雨滴を同定するための方法及び装置 |
US20120087573A1 (en) * | 2010-10-11 | 2012-04-12 | Vinay Sharma | Eliminating Clutter in Video Using Depth Information |
-
2009
- 2009-01-20 WO PCT/JP2009/000181 patent/WO2010084521A1/ja active Application Filing
- 2009-01-20 JP JP2009525820A patent/JP5216010B2/ja not_active Expired - Fee Related
-
2010
- 2010-01-08 US US13/144,985 patent/US8797417B2/en not_active Expired - Fee Related
- 2010-01-08 EP EP10733315.5A patent/EP2381416B1/en not_active Not-in-force
- 2010-01-08 JP JP2010547420A patent/JPWO2010084707A1/ja active Pending
- 2010-01-08 WO PCT/JP2010/000092 patent/WO2010084707A1/ja active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10261064A (ja) * | 1997-03-17 | 1998-09-29 | Mitsuba Corp | 雨滴検出装置における付着物識別方法 |
JP2004212184A (ja) * | 2002-12-27 | 2004-07-29 | Nissan Motor Co Ltd | 画像処理装置 |
JP2006261761A (ja) * | 2005-03-15 | 2006-09-28 | Secom Co Ltd | 画像信号処理装置 |
JP2006292543A (ja) * | 2005-04-11 | 2006-10-26 | Denso Corp | レインセンサ |
JP2006308329A (ja) * | 2005-04-26 | 2006-11-09 | Denso Corp | レインセンサ |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8797417B2 (en) | 2009-01-20 | 2014-08-05 | Honda Motor Co., Ltd. | Image restoration method in computer vision system, including method and apparatus for identifying raindrops on a windshield |
DE112010005669B4 (de) * | 2010-06-18 | 2017-10-26 | Honda Motor Co., Ltd. | System zur Straßenoberflächenreflektivitätsklassifizierung |
JP2020129355A (ja) * | 2018-09-07 | 2020-08-27 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 情報処理方法、情報処理装置、及び情報処理プログラム |
JP7216593B2 (ja) | 2018-09-07 | 2023-02-01 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 情報処理方法、情報処理装置、及び情報処理プログラム |
Also Published As
Publication number | Publication date |
---|---|
EP2381416B1 (en) | 2014-03-12 |
WO2010084707A1 (ja) | 2010-07-29 |
EP2381416A4 (en) | 2012-07-11 |
US8797417B2 (en) | 2014-08-05 |
JPWO2010084707A1 (ja) | 2012-07-12 |
JPWO2010084521A1 (ja) | 2012-07-12 |
JP5216010B2 (ja) | 2013-06-19 |
EP2381416A1 (en) | 2011-10-26 |
US20110273582A1 (en) | 2011-11-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5216010B2 (ja) | ウインドシールド上の雨滴を同定するための方法及び装置 | |
You et al. | Adherent raindrop modeling, detection and removal in video | |
Qian et al. | Attentive generative adversarial network for raindrop removal from a single image | |
Roser et al. | Video-based raindrop detection for improved image registration | |
Halimeh et al. | Raindrop detection on car windshields using geometric-photometric environment construction and intensity-based correlation | |
Roser et al. | Realistic modeling of water droplets for monocular adherent raindrop recognition using bezier curves | |
US10106126B2 (en) | Apparatus and method for detecting precipitation for a motor vehicle | |
Tripathi et al. | Removal of rain from videos: a review | |
Reynolds et al. | Capturing time-of-flight data with confidence | |
CN1116187C (zh) | 水汽传感器和风挡玻璃水汽检测器 | |
KR20230006795A (ko) | 편광을 사용한 센서 시스템 및 이미징 시스템의 증강 시스템 및 방법 | |
You et al. | Adherent raindrop detection and removal in video | |
CN110544211B (zh) | 一种镜头付着物的检测方法、***、终端和存储介质 | |
US20080075385A1 (en) | Detection and Correction of Flash Artifacts from Airborne Particulates | |
JP2005515565A (ja) | 画像センサシステムにおける視界妨害物の識別方法および識別装置 | |
Nashashibi et al. | Detection of unfocused raindrops on a windscreen using low level image processing | |
EP2293588A1 (en) | Method for using a stereovision camera arrangement | |
Cord et al. | Detecting unfocused raindrops: In-vehicle multipurpose cameras | |
CN110532875B (zh) | 夜晚模式镜头付着物的检测***、终端和存储介质 | |
Kanthan et al. | Rain drop detection and removal using k-means clustering | |
JP4887540B2 (ja) | 車両周辺監視装置、車両、車両周辺監視用プログラム、車両周辺監視方法 | |
Hamzeh et al. | Effect of adherent rain on vision-based object detection algorithms | |
EP3336747A1 (en) | Rain detection with a camera | |
Li et al. | Real-time rain detection and wiper control employing embedded deep learning | |
JP4765113B2 (ja) | 車両周辺監視装置、車両、車両周辺監視用プログラム、車両周辺監視方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
WWE | Wipo information: entry into national phase |
Ref document number: 2009525820 Country of ref document: JP |
|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 09838716 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 09838716 Country of ref document: EP Kind code of ref document: A1 |