WO2010084521A1 - ウインドシールド上の雨滴を同定するための方法及び装置 - Google Patents

ウインドシールド上の雨滴を同定するための方法及び装置 Download PDF

Info

Publication number
WO2010084521A1
WO2010084521A1 PCT/JP2009/000181 JP2009000181W WO2010084521A1 WO 2010084521 A1 WO2010084521 A1 WO 2010084521A1 JP 2009000181 W JP2009000181 W JP 2009000181W WO 2010084521 A1 WO2010084521 A1 WO 2010084521A1
Authority
WO
WIPO (PCT)
Prior art keywords
raindrop
image
windshield
candidate
vehicle
Prior art date
Application number
PCT/JP2009/000181
Other languages
English (en)
French (fr)
Inventor
ガイコイェンツ
マルティン・ベンヤミン ローザー
ハリメー、ヤド・カミレ
Original Assignee
本田技研工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 本田技研工業株式会社 filed Critical 本田技研工業株式会社
Priority to PCT/JP2009/000181 priority Critical patent/WO2010084521A1/ja
Priority to JP2009525820A priority patent/JP5216010B2/ja
Priority to PCT/JP2010/000092 priority patent/WO2010084707A1/ja
Priority to JP2010547420A priority patent/JPWO2010084707A1/ja
Priority to US13/144,985 priority patent/US8797417B2/en
Priority to EP10733315.5A priority patent/EP2381416B1/en
Publication of WO2010084521A1 publication Critical patent/WO2010084521A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • the present invention relates to a method and apparatus for identifying raindrops on a windshield of a vehicle.
  • Raindrops have various shapes and sizes.
  • Second Raindrops are blurred because they are out of focus. That is, the camera is focused on the outside scene and not the windshield.
  • the raindrop itself is transparent. That is, the characteristic peculiar to a raindrop is not seen. Rather, raindrops reflect feature points in the background.
  • Japanese Patent Laid-Open No. 10-148681 discloses a raindrop detection method for detecting windshield raindrops as a region having higher brightness than the surroundings. This is because the method does not necessarily function as desired when high brightness points due to light generation or reflection are included in the scenery seen from the vehicle.
  • Japanese Patent Application Laid-Open No. 9-142259 discloses a raindrop detection apparatus that detects raindrops on a windshield as a disturbance to light transmitted through the windshield.
  • this apparatus requires a light emitting element and a light receiving element provided for detecting raindrops. Therefore, in addition to high cost, it is necessary to secure a mounting space suitable for the light emitting element and the light receiving element in a limited space of the vehicle.
  • the main object of the present invention is to provide a method for detecting raindrops on a windshield that is highly reliable and economical. It is a second object of the present invention to provide a method for detecting windshield raindrops that can be implemented using a vehicle vision system.
  • such an object is a method for identifying raindrops on a windshield of a vehicle using a vision system, wherein a scene in front of the vehicle passing through the windshield is imaged using a camera. Capturing as a point of interest, detecting a raindrop candidate as a point of interest in the general image, extracting an actual image of the raindrop candidate from the general image, measuring a size thereof, and Reconstructing a reconstructed raindrop image from the general image based on an optical model; obtaining a correlation between an actual image of the raindrop candidate and the reconstructed raindrop image; and If not, it is achieved by providing a method comprising determining that the raindrop candidate is an actual raindrop.
  • the raindrop candidate can be a convex lens made up of one slice of a sphere.
  • a general image can be reconstructed from raindrop images, and the correlation between the actual general image and the reconstructed general image can be obtained.
  • an apparatus for identifying raindrops on a windshield of a vehicle using a vision system mounted on the vehicle to capture a forward view through the windshield.
  • a camera a raindrop detector for detecting raindrop candidates as points of interest in the general image; an extractor for extracting an actual image of the raindrop candidate from the general image and measuring its size; and the size
  • An image reconstructor that reconstructs a reconstructed raindrop image as a refracted image of the general image, and a correlation between the actual image of the raindrop candidate and the reconstructed raindrop image.
  • an apparatus comprising: a correlator to be obtained; and a raindrop identifier for determining that the raindrop candidate is an actual raindrop if the obtained correlation is higher than a predetermined level.
  • an apparatus for identifying raindrops on a vehicle windshield using a vision system may include a camera mounted on the vehicle to capture a forward view through the windshield, and an interest in the general image. Based on a raindrop detector for detecting a raindrop candidate as a certain point, an actual image of the raindrop candidate from the general image, an extractor for measuring the size thereof, and a predetermined optical model corresponding to the size, An image reconstructor that reconstructs a reconstructed general image as a refracted image of the raindrop candidate, a correlator that obtains a correlation between an actual image of the general image and the reconstructed general image, and a calculated correlation If it is higher than a predetermined level, it may have a raindrop identifier for judging that the raindrop candidate is an actual raindrop.
  • the size of raindrops, windshield It can also be extracted as a point that moves with a trajectory and speed determined by the contour of the outer surface and the airspeed of the vehicle.
  • FIG. 2 is a block diagram showing functional elements of an apparatus for raindrop detection according to the present invention.
  • FIG. 3 is a diagram showing a geometric configuration of a raindrop optical model including an action surface according to the present invention. It is a diagram of a refraction model on each action surface. It is a diagram of a refraction model on the surface of raindrops. It is a flowchart which shows an example of the control process for identifying the raindrop based on this invention. It is a graph of the correlation coefficient obtained from several raindrop candidates. It is a figure similar to FIG. 2 which shows the modified example of this invention.
  • FIG. 9 is a schematic diagram showing the scenery that passes through the windshield that changes as the vehicle travels, as shown in FIGS. 9a to 9d.
  • FIG. 1 shows a view through a vehicle windshield captured by a camera.
  • the landscape image that passes through the windshield is represented by a large number of pixels provided by a plurality of concentric circles and grid points formed between lines that radiate radially from the center of these concentric circles. Is done.
  • the density of the lattice points shown in the figure is considerably lower than the actual density for the convenience of illustration.
  • the concentric circles are provided at equal intervals, and the radial lines are arranged at equal angles with each other. It would not depart from the concept of the present invention to determine the position of the pixel using other coordinate systems such as an orthogonal coordinate system or other linear coordinate system.
  • SURF point-of-interest detector
  • Each of the detected raindrops can be considered as an additional convex lens on the windshield that refracts the light passing through the windshield.
  • all pixels in a raindrop can be mapped to their original points in a three-dimensional environment according to the law of refraction. That is, all of the grid point pixels in the landscape from the windshield can be associated with the corresponding pixel on the raindrop in a one-to-one relationship, and the raindrop image is based on Fresnel's law of refraction. It can be reconstructed by appropriately converting to the coordinates of the pixels.
  • the raindrop image is similar or highly correlated to an image reconstructed from the surrounding landscape image seen through the windshield.
  • a raindrop i.e. a raindrop candidate, can be identified as a raindrop if the image has a high correlation with an image reconstructed from the surrounding landscape image seen through the windshield. .
  • FIG. 2 is a block diagram showing the overall configuration of an apparatus for identifying raindrops according to the present invention.
  • This device is composed of two parts consisting of a camera and a controller consisting of a microprocessor with an output unit which may be another device such as a wiper to be activated in response to raindrop detection or a display device Has been.
  • the controller is configured to execute predetermined processing based on a computer program and perform various functions. These functions are illustrated by the block diagram in FIG. Elements that perform these functions include raindrop detectors, extractors, background capturers, reconstruction elements, correlators and raindrop identifiers.
  • the background capturer uses the output of the camera to capture an image of the scenery in front of the windshield.
  • the raindrop detector extracts points of interest from the background image.
  • an appropriate algorithm such as “SURF” may be used. These points of interest are given as areas that provide a significant contrast to the background or other scenery as seen when raindrops are deposited on the windshield.
  • the extractor extracts and captures raindrop candidate images from the background image. At the same time, the size of each raindrop candidate is measured.
  • the reconstructor reconstructs each raindrop image as a landscape image refracted by the raindrop by applying Snell's law to the raindrop optical model.
  • the correlator compares the actually extracted raindrop image with the corresponding reconstructed raindrop image.
  • the raindrop identifier evaluates the correlation between the actually captured raindrop image and the corresponding reconstructed raindrop image and sums the results. If the number of events whose correlation is higher than a predetermined level is greater than or equal to a predetermined value, the raindrop identifier determines that there are actually raindrops on the windshield.
  • a coordinate system ⁇ X (X C , Y C , Z C ) T of the three-dimensional camera is configured as shown in FIG.
  • the origin of this coordinate system is located at the optical center O of the camera.
  • the optical center line makes an angle ⁇ with the inner surface of the windshield and passes through the surface at a distance M.
  • the optical center O, its orthogonal projection point O ′ onto the inner surface of the windshield, and each scanning point on the detected droplet (raindrop candidate) constitute an action plane, of which (points O, O ′ and window) Interest is directed to the main action surface (defined by the center point of the raindrop on the shield inner surface).
  • a ray from the surface of a raindrop through the corresponding scanning point to the optical center does not leave this plane, so such a plane is called an action plane.
  • the rays remain in this plane, but not necessarily before they reach the surface of the raindrop.
  • FIG. 4 shows in detail one such action surface.
  • a windshield having a thickness T is modeled by two mutually parallel planes W i (inner side) and W o (outer side). Therefore, the orthogonal projection points for W i and W o are given by the following equations, respectively.
  • ⁇ O ' M sin ⁇ ⁇ n W --- (1)
  • ⁇ O " ⁇ O '+ T
  • ⁇ n W (M sin ⁇ + T) ⁇ n W --- (2)
  • the actual coordinates on the windshield inner surface W i of ⁇ p are given by the following equation by using a pinhole camera model and setting the focal length to f.
  • the end of the raindrop in the main action plane (defined by points O, O ′ and OX i ) (see FIG. 4 the reference), or by associating the corresponding parts on the W o.
  • the shape of a droplet on a solid surface is modeled using a Young-Laplace equation that describes the relationship between surface tension, pressure and curvature.
  • the contact angle ⁇ between the surface W o of the surface and the windshield of raindrops fulfill the function of the boundary conditions. In addition to the above relationship, the exact contact angle depends on the surface treatment of the solid surface and the nature of the rainwater. Numerical values (30-50 degrees) that match the results obtained from past experiments are described in the literature.
  • the angle of incidence at the surface of the raindrop is important in identifying the refracted outside scene.
  • the normal ⁇ ns phere ( ⁇ J) on the surface of the raindrop depends on the point J.
  • the ray leaves the action plane of FIG.
  • the incident ray at point J is located in the plane spanned by points R, J and C sphere as shown in FIG.
  • the angle ⁇ between the normal on the surface ⁇ n sphere ( ⁇ J) and the reverse direction ⁇ e of the light propagation ⁇ e can be obtained based on the equation (12). n water and n air are used. If ⁇ is a complex number, no refraction occurs at point J, and no ray will reach the optical center from this point. On the other hand, when ⁇ is a real number, the light ray reaches from the point J toward the optical center.
  • a three-dimensional point E is imaged as shown as a ray from point E to point O, passing through the air, entering the windshield, and reaching the interior of the vehicle. Need to be tracked to correspond to the observation at point x on the surface.
  • This ray, at an angle ⁇ incident against W o, is emitted from the W i at an angle ⁇ in the opposite direction to ⁇ n W.
  • Dashed line EO makes an angle ⁇ 0 with respect to ⁇ n W.
  • ⁇ 0 arcos ⁇ (OE) ⁇ n W /
  • the problem of obtaining ⁇ is a non-linear problem, and the initial value is obtained by iterative calculation such as Newton-Raphson method. It can be solved by a method that starts from ⁇ 0 and obtains a solution.
  • ⁇ P are projections of E, B, and ⁇ on the above-described action plane, respectively.
  • the algorithm according to the present invention can determine the exact path traced from the image plane to the background of all rays that interact with the raindrop based on the detected location of the waterdrop. However, in order to compare a landscape image with a raindrop image, predicting the intensity of the observed pixel light is at least as important as determining the exact path of the ray as described above. . That is, the algorithm according to the present invention utilizes the light intensity of the scenery and the refractive index of the Fresnel (as described above).
  • Table 1 shows all the relevant information in estimating I ⁇ s.
  • Table 1 Point Media change n 1 n 2 ⁇ 1 ⁇ 2 --------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- A Air / Glass n air n glass ⁇ ⁇ B glass / air n glass n air ⁇ ⁇ J air / water n air n water ⁇ ⁇ R water / glass n water n glass ⁇ ⁇ S glass / air n glass n air ⁇ ⁇
  • the deviation between the observed pixel light intensity Is and the estimated light intensity I ⁇ s can be evaluated using a correlation coefficient defined as follows: .
  • raindrops can be regarded as an additional lens on the windshield, the rays incident on the raindrops are bent, and each observation point on the raindrops is a collection of external light.
  • what is required here is to build a physically accurate model that can accurately reconstruct a raindrop image by associating surrounding scenery with observed raindrop candidates. In order to achieve a meaningful correlation result, it is preferable to compensate for the above-described effects as necessary. Compensation for this can be achieved by blurring the surrounding scene and the reconstructed image based on the geometric and optical configuration of the camera lens as shown in FIG.
  • the initial position is changed.
  • the best match is used to obtain the correlation value.
  • FIG. 6 is a flowchart of control processing executed by the controller.
  • step ST1 a scene in front of the vehicle is captured by a capturer using a camera.
  • step ST2 it is determined whether there is a raindrop candidate on the windshield. If no raindrop candidate is detected, the program flow returns to step ST1.
  • a raindrop image is extracted in step ST3.
  • the raindrop image is reconstructed from the landscape image in step ST4.
  • the reconstructed image is compared with the actually extracted raindrop image, and the correlation between the two is evaluated in step ST5. If the correlation is higher than the predetermined level (yes in step ST6), the raindrop candidate is identified as an actual raindrop in step ST7, and the program flow returns to step ST1. If the correlation is lower than the predetermined level (no in step ST6), no raindrop candidate is detected as a raindrop in step ST8, and the program flow returns to step ST1.
  • Identification accuracy does not need to be 100% when many raindrops fall on the windshield. Therefore, such a method may not be required. In such a case, as shown in FIG. 7, a large difference can be found in the correlation coefficient, which is a criterion for determining whether or not it is a raindrop.
  • the raindrop is reconstructed from the landscape image, but the landscape is reconstructed from the raindrop image as shown in the block diagram of FIG. 8, and the actual raindrop candidate image is reconstructed from the reconstructed raindrop image. Can be compared with each other.
  • FIGS 9a-9d illustrate one principle of such a method.
  • POI is detected by a POI detector such as SURF or Harris Corner Detector as shown in FIG. 9a.
  • Multi-target tracking is performed by applying one tracker for each POI, the POI detected in frame i is detected again in frame i + 1, and both POIs are associated with each other.
  • the POIs detected in frame i are associated in subsequent frames and the trajectories of these points are calculated.
  • two significantly different movement patterns are seen.
  • POIs belonging to the scenery of the outside world move due to changes in the perspective angle of the camera based on the movement of the vehicle, while POIs fixed to the windshield have a windshield with respect to the camera coordinate system. It will not move because it is fixed.
  • the judgment method as described above works for most raindrops without problems in the scene shown in FIG. 9a.
  • raindrops may not be stationary with respect to the camera. As the vehicle speed increases, some of the raindrops move upward. Further, when the size of the raindrop is a certain level or more, it may move downward. Such movement of the raindrops is performed with a trajectory and speed determined by the size of each raindrop, the contour of the outer surface of the windshield and the airspeed of the vehicle.
  • a raindrop motion model it is assumed that raindrops generally move in the vertical direction.
  • This identification method is not only used in combination with a method of reconstructing a landscape image from an image refracted by raindrops, but can also be used to detect raindrops by themselves.
  • the detection results are sent to a display device to alert the driver, or another such as a wiper that should be activated automatically in response to raindrop detection. It is good to send it to the device.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Studio Devices (AREA)

Abstract

　車両用ビジョンシステムを利用してウインドシールド上の雨滴を検出する。ウインドシールド上の雨滴候補を、通常、球の一切片からなる凸レンズとしての光学モデルにより表す。この光学モデルを用いて、各雨滴の像を、ウインドシールドを透過する車両前方の景色から再構成する。雨滴候補の実際の像と再構成雨滴像との間の相関が高い場合には、雨滴候補が実際に雨滴であると同定することができる。同定結果は、ワイパ等の他の装置を起動するために利用することができる。

Description

ウインドシールド上の雨滴を同定するための方法及び装置
　本発明は、車両のウインドシールド上の雨滴を同定するための方法及び装置に関する。
　ワイパーを自動的に起動するためにウインドシールドの雨滴の存在を同定する努力が払われている。過去に提案されたものは、センサ上に雨滴が堆積したときに、その抵抗率が変化することを利用した電気的センサを利用するものが大半であった。これは、比較的低コストで実現することができるが、センサの表面が時と共に汚染されることから、比較的信頼性が高くないという難点があった。
　近年になって、道路の車線或いはセンターラインを追跡したり、路上の障害物を回避したり、歩行者を検出するなどの目的で車両用ビジョンシステムを利用することに関心が高まってきている。このようなビジョンシステムは、ウインドシールドの雨滴の存在を検出するために好適に利用することが出来る。しかしながら、以下に列挙する要因等のために、ウインドシールドの雨滴を検出することは、コンピュータによるビジョンシステムにとって困難な課題である。
（１）雨滴は、様々な形状及びサイズを有する。
（２）雨滴は、焦点が合っていないことからぼやける。すなわちカメラは外界の景色に対して焦点が合わされており、ウインドシールドには焦点が合わされていない。
（３）ウインドシールドが透明であることにより、観測されるべき雨滴が、背景の情報による干渉を受け、それに重ね合わせられる。（通常の運転者補助システムに於いては、これが逆となる。すなわち、雨滴の像が重ね合わされていることにより、注視しようとする交通状態に対応する背景を観測することを妨げる。）
（４）雨滴自体が透明である。すなわち、雨滴に特有な特徴が見られない。むしろ、雨滴は、背景における特徴点を反射してしまう。
　特開平１０－１４８６８１は、ウインドシールドの雨滴を、周囲よりも高い輝度を有する領域として検出するような雨滴検出方法を開示している。これは、光を発生する或いは光を反射することによる高輝度の点が車両から見た景色内に含まれるような場合には、この方法は必ずしも所望通り機能することができない。
　特開平９－１４２２５９は、ウインドシールドの雨滴を、ウインドシールドを透過する光に対する外乱として検出するような雨滴検出装置が開示されている。しかしながらこの装置は、雨滴の検出のために設けられる発光素子及び受光素子を必要とする。従って、コストが高いことに加えて、車両の限られたスペース内に発光素子及び受光素子に適した取付スペースを確保する必要がある。
　このような従来技術の問題点に鑑み、本発明の主な目的は、信頼性が高くかつ経済的であるようなウインドシールドの雨滴を検出するための方法を提供することにある。
　本発明の第２の目的は、車両用ビジョンシステムを利用して実現することのできる、ウインドシールドの雨滴を検出するための方法を提供することにある。
　本発明によれば、このような目的は、ビジョンシステムを用いて車両のウインドシールド上の雨滴を同定するための方法であって、ウインドシールドを透過する車両前方の景色をカメラを用いて一般像としてキャプチャするステップと、前記一般像中の関心の有る点としての雨滴候補を検出するステップと、前記一般像から前記雨滴候補の実際の像を抽出し、そのサイズを測定するステップと、所定の光学モデルに基づき、前記一般像から再構成雨滴像を再構成するステップと、前記雨滴候補の実際の像と前記再構成雨滴像との間の相関を求めるステップと、求められた相関が所定レベルよりも高ければ、前記雨滴候補を実際の雨滴であると判断するステップとを有することを特徴とする方法を提供することにより達成される。
　このようにすれば、実際の雨滴の像と再構成雨滴像との間に高い相関が偶然発生することはあり得ないことであることから、雨滴の存在を高精度に判定することができる。しかも、これは既存の車両用ビジョンシステムを利用して、新たなプログラムを追加するのみで実現することができ、費用の追加を最小化することができる。通常、雨滴候補は、球の一切片からなる凸レンズからなるものとすることができる。
　また、雨滴の像から一般像を再構成し、実際の一般像と再構成一般像との間の相関を求めることもできる。
　本発明の別の側面によれば、ビジョンシステムを用いて車両のウインドシールド上の雨滴を同定するための装置であって、ウインドシールドを透過する前方の景色をキャプチャするために車両に搭載されたカメラと、前記一般像中の関心の有る点としての雨滴候補を検出する雨滴検出器と、前記一般像から前記雨滴候補の実際の像を抽出し、そのサイズを測定する抽出器と、前記サイズに応じた所定の光学モデルに基づき、前記一般像の屈折像として再構成雨滴像を再構成する像再構成器と、前記雨滴候補の実際の像と前記再構成雨滴像との間の相関を求める相関器と、求められた相関が所定レベルよりも高ければ、前記雨滴候補を実際の雨滴であると判断する雨滴同定器とを有することを特徴とする装置が提供される。
　或いは、ビジョンシステムを用いて車両のウインドシールド上の雨滴を同定するための装置が、ウインドシールドを透過する前方の景色をキャプチャするために車両に搭載されたカメラと、前記一般像中の関心の有る点としての雨滴候補を検出する雨滴検出器と、前記一般像から前記雨滴候補の実際の像を抽出し、そのサイズを測定する抽出器と、前記サイズに応じた所定の光学モデルに基づき、前記雨滴候補の屈折像として再構成一般像を再構成する像再構成器と、前記一般像の実際の像と前記再構成一般像との間の相関を求める相関器と、求められた相関が所定レベルよりも高ければ、前記雨滴候補を実際の雨滴であると判断する雨滴同定器とを有するものであっても良い。
　光学的なノイズや外乱が存在する場合でも雨滴を同定する精度を向上させるために、雨滴を、車両の走行に際して、比較的固定した点として、或いは車両の走行に際して、雨滴のサイズ、ウインドシールドの外面の輪郭及び車両の対気速度により定められる軌跡及び速度をもって移動する点として抽出することもできる。
ウインドシールドを透過する車両前方の景色を示す模式図である。 本発明に基づく雨滴検出のための装置の機能的要素を示すブロック図である。 本発明に基づく、アクション面を含む雨滴光学モデルの幾何学的構成を示すダイヤグラム図である。 各アクション面に於ける屈折モデルのダイヤグラム図である。 雨滴の表面に於ける屈折モデルのダイヤグラム図である。 本発明に基づく雨滴を同定するための制御プロセスの一例を示すフロー図である。 いくつもの雨滴候補から得られた相関係数のグラフである。 本発明の変形実施例を示す図２と同様の図である。 図９ａ－９ｄからなり、車両の走行に伴ない変化するウインドシールドを透過する景色を示す模式図である。
発明を実施するための形態
　以下に、本発明に基づく雨滴検出のためのアルゴリズムの基本概念について説明する。図１は、カメラによりキャプチャされる車両のウインドシールドを透過する景色を示している。図１に示されるように、ウインドシールドを透過する景色の像は、複数の同心円及びこれら同心円の中心から半径方向に放射する線との間に形成される格子点により与えられる多数のピクセルにより表現される。図示されている格子点の密度は、図示の便宜のために実際よりもかなり低くされている。同心円は、互いに等間隔に設けられ、半径線は互いに等角度で配置されている。直交座標系或いは他の直線座標系などのような他の座標系を用いてピクセルの位置を定めることも、本発明の概念から逸脱しない。
　「ＳＵＲＦ」等の、標準的な、関心のある点（ＰＯＩ：points of interest）を検出するための検出器を用いることにより、ウインドシールド上の雨滴を検出する。「ＳＵＲＦ」の詳細については、 "Herbert Bay, Tinne Tuytelaars, and Luc Van Gool, Lecture Notes in Computer Science, volume 3951/2006, chapter SURF: Speeded Up Robust Features, pages 404-417, Springer, Berlin / Heidelberg, 2006"を参照されたい。このアルゴリズムは、様々な物体、道路標識等ばかりでなく、雨滴からなるものであって良い像中の関心のある点を検出するために用いることができる。本明細書中で提案されているアルゴリズムの目的は、周囲の（物体、道路標識等の）景色から雨滴を区別することにある。
　検出された雨滴のそれぞれは、ウインドシールドを透過する光を屈折させるウインドシールド上の追加の凸レンズと見なすことができる。図１に示されるように、雨滴内のすべてのピクセルは、屈折の法則に従って３次元環境におけるそれらの点の元の点に対応づけることができる。すなわち、ウインドシールドからの景色における格子点のピクセルのすべては、雨滴上の対応するピクセルに対して一対一の関係で関連づけることができ、雨滴の像を、フレネルの屈折の法則に基づいて格子点のピクセルの座標に適宜変換することにより再構成することができる。特に、雨滴の像は、ウインドシールドを通して見える周囲の景色の像から再構成された像に類似し或いは高い相関を有する。従って、雨滴と思われるもの、すなわち雨滴の候補は、その像が、ウインドシールドを通して見える周囲の景色の像から再構成された像と高い相関を有する場合には雨滴であると確認することができる。
　図２は、本発明に基づく雨滴を同定するための装置の全体的な構成を示すブロック図である。この装置は、カメラと、雨滴の検出に応じて作動されるべきワイパーなどのような別の装置や表示装置であってよい出力ユニットを備えたマイクロプロセッサからなるコントローラとからなる２つの部分により構成されている。コントローラは、コンピュータプログラムに基づいて所定の処理を実行し、様々な機能を果たすように構成されている。これらの機能が図２におけるブロック図により示されている。これらの機能を果たす要素としては、雨滴検出器、抽出器、背景キャプチャラ、再構成要素、相関器及び雨滴同定器が含まれる。
　背景キャプチャラは、カメラの出力を用いて、ウインドシールドから見える前方の景色の像をキャプチャする。雨滴検出器は、背景像から関心のある点を抽出する。この時、「ＳＵＲＦ」などの適宜なアルゴリズムを利用するとよい。これらの関心のある点は、ウインドシールド上に雨滴が堆積しているときに見られるような背景或いはその他の景色に対して際立ったコントラストをなすような領域として与えられる。抽出器は、背景像から雨滴候補の像を抽出しキャプチャする。同時に、各雨滴候補のサイズが測定される。
　再構成器は、各雨滴の像を雨滴の光学モデルに対してスネルの法則を適用することにより雨滴により屈折された景色の像として各雨滴の像を再構成する。相関器は、実際に抽出された雨滴の像を、対応する再構成された雨滴の像と比較する。雨滴同定器は、実際にキャプチャされた雨滴の像と、対応する再構成された雨滴の像との間の相関を評価し、その結果を総計する。相関が所定レベルよりも高い事象の数が所定値以上である場合には、雨滴同定器は、ウインドシールドの上に実際に雨滴があるものと判断する。
　以下に、雨滴の光学モデルがどのように形成され、それに対してＳの法則がどのように適用されるかを図３及び４を参照して以下に説明する。以下の説明に於いて、ベクトル値は、対応する文字の直前に「＾」を付すことにより示すものとする。　
　先ず、「ＳＵＲＦ」などの標準的な検出器により、像の面内にｎ個の位置 xi = (xi, yi)T にあり、半径 ri (i = 1, ..., n) を有する雨滴候補を検出する。従って、検出された各雨滴候補は、^pi = (xi, yi, ri)Tにより完全に表すことができる。このような検出結果に基づき、各雨滴候補を、本発明に基づくアルゴリズムによりテストする。以下に、１つの例としての雨滴候補^p = (x, y, r)Tを対象として、本発明に基づくアルゴリズムを説明する。ここでは、雨滴候補^p を通過し、カメラの光学的中心Ｏに到達する光線のみが考慮されることに留意されたい。
　３次元のカメラの座標系^X = (XC, YC, ZC)Tが図３に示されるように構成される。この座標系の原点は、カメラの光学的中心Ｏに位置する。光学的中心線は、ウインドシールドの内面に対して角度Ψをなし、同面を距離Ｍをおいて通過する。光学的中心Ｏ、そのウインドシールド内面上への直交投影点Ｏ’及び検出された液滴（雨滴候補）上の各走査点はアクション面を構成し、その内の（点Ｏ、Ｏ’及びウインドシールド内面上の雨滴の中心点により画定される）主アクション面に対して関心が向けられる。スネルの屈折の法則によれば、雨滴の表面から、対応する走査点を通過し光学的中心に至る光線は、この面を離れることがないことから、このような面はアクション面と呼ばれる。従って、光線はこの面内に留まるが、雨滴の表面に至る前は、必ずしもそうではない。
　図４は、このようなアクション面の一つを詳細に示す図である。厚さＴを有するウインドシールドを２つの互いに平行な面Ｗｉ（内側面）及びＷｏ（外側面）によりモデル化する。従って、Ｗｉ及びＷｏに対する直交投影点が、それぞれ以下の式により与えられる。
 ^O' = M sinΨ ^nW                  --- (1)
 ^O" = ^O' + T ^nW = (M sinΨ + T)^nW   --- (2)
ここで、 ^nW = (cosΨ, 0, sinΨ)T はウインドシールドの法線である。^pのウインドシールド内面Ｗｉ上の実際の座標は、ピンホールカメラのモデルを用い、焦点距離をｆとすることにより、以下の式により与えられる。
 Xi = Zi (x/f)    --- (3)
 Yi = Zi (y/f)   --- (4)
 Zi = M sinΨ / {tanΨ + (x/f)}  --- (5)
そこで、対応する雨滴の半径は、
 Ri = Zi (r/f)   --- (6)
となる。Ｗｉに対するガラスの屈折の効果により、Ｗｏ上の雨滴の位置は僅かに変化し、実際の雨滴の半径は、ウインドシールドを通してみたときに比較して、やや大きい。従って、検出された雨滴の実際の位置Ｘ０及び半径Ｒ０を決定するためには、（点Ｏ、Ｏ’及びＯＸｉにより画定される）主アクション面内に於ける雨滴の端部（図４を参照）を、Ｗｏ上の対応部分に関連付ければ良い。
　雨滴の端部間の全ての光線は、スネルの屈折の法則を適用すれば、以下のように追跡することができる。図４に於いて破線により示されるようにＷｉ上の或る光線^S = OS = (XS, YS, ZS)Tを考慮する。ウインドシールドの法線に対するベクトル＾Ｓの入射角は以下の式により表される。
 α = arcos {(^S^nW) / ||^S||}　　　　　　　　　　--- (7)
Ｗｏに対する通過点Ｒは、スネルの法則、空気及びガラスの屈折率、並びに式（１）を用いることにより求めることができる。
κ = arcsin {nair sin α / nglass}　　　　　　　　--- (8)
^R = ^S + T {^nW + (tan κ / ||SO'||) (^S - M sinΨ^nW) } --- (9)
これは、像の座標が知られた雨滴の任意の点について、そのＷｏ上のＸＹＺ座標を求めることができることを意味する。また、この式から、Ｗｏ上の界面端部のＸＹＺ座標を求めることができる。なぜなら、Ｗｉ上の液滴の端部の座標が既知であるからである。界面端部が特定されれば、雨滴の半径Ｒ０及びＷｏ上の位置Ｘ０を求めることができる。
　固体面上の液滴の形状は、表面張力、圧力及び曲率の関係を記述するYoung-Laplaceの式を用いてモデル化される。雨滴の表面とウインドシールドの表面Ｗｏとの間の接触角τは、境界条件の働きを果たす。上記した関係に加えて、正確な接触角は、固体面の表面処理及び雨水の性状に依存する。過去に行った実験により得られた結果に合致するような数値（３０－５０度）が文献に記載されている。
　単純化のために、雨滴を球の一部即ち球の一切片（spherical cap）からなるものと仮定し、その切断面の半径をＲ０とし、雨滴の表面とウインドシールドの表面Ｗｏとの間の接触角をτとする。その場合、球の半径Rsphereは、
　　　　Rsphere = Ro / sin τ　　　　　　　　　　　--- (10)
として与えられ、この球の中心は、
　　　　^Csphere = ^Co - ^nWRsphere cos τ　　　　　　--- (11)
となる。図４に於いて破線で示した光線により示されるように、雨滴の表面上の点Ｊは、屈折率としてそれぞれnglass and nwaterを仮定したときに、点Ｓから戻り、^nW に向けて点Ｒにて屈折した光線の通過点として決定することができる。
　　　　γ = arcsin (nglass sin κ / nwater)　　　　　--- (12)　
　雨滴の表面に於ける入射角は、屈折した外界の景色を同定する上で重要である。点Ｊに於ける屈折角は、以下の式により与えられる。
　　　　β = arcos {^nsphere(^J) (RJ) /||RJ||}　　--- (13)
ここで、雨滴の表面上の法線^nsphere(^J)は、点Ｊに依存する。従って、光線は、図４のアクション面を離れる。点Ｊに於ける入射光線は、図５に示されるように、点Ｒ、Ｊ及びCsphereによって張られる面内に位置する。
　入射角θは、表面上の法線^nsphere(^J)及び光線の伝播の逆方向^eとの間の角度は、式（１２）に基づいて求めることができるが、この場合 β, nwater and nairが用いられる。θが複素数である場合には、点Ｊに於ける屈折は発生せず、光線は、この点から光学的中心にむけて到達しない。それに対して、θが実数である場合には、光線は、点Ｊから光学的中心に向けて到達する。これにより、本発明に基づくアルゴリズムは、景色に於ける、光線が放射される点Ｅを、（それが既知の景色の面内に位置するものとすれば、）求めることができる。単純化のために、 (^nenv ^x) + d = 0の式により表されるように、この面が垂直であるものと仮定する。しかしながら、本発明に基づくアルゴリズムは、垂直面についてのみならず、任意の面（又は幾何学的表面に）について適用可能である。
　図１に示されるように、雨滴によりマップされた景色の点の大部分は、雨滴によりカバーされた領域（雨滴背景）外に位置する。これは、ウインドシールド上の雨滴の光の強度は、それ自体の背景にそれ程依存することはなく、むしろ外界の幾何学的及び光学的条件に依存することを示している。
　雨滴候補を決定するためには、空気を通過し、ウインドシールド内に突入し、更に車内に達するようにして、点Ｅから点Ｏに至る光線として示されるように、３次元点Ｅを、像の面の点ｘに於ける観測に対応するように追跡する必要がある。この光線は、Ｗｏに対して角度ωをもって入射し、^nWに対して逆方向に角度ωをなしてＷｉから出射する。破線ＥＯは、^nWに対して角度ω０をなす。
　　　　　　ω0 = arcos {(OE)^nW /||OE||}　　　　　　--- (14)
　ここで、点Ｅ、Ｂ、Ａ、Ｏ、Ｏ’及びＯ”は全て同一面内に位置する。ωを求める問題は、非線形問題であって、Newton-Raphson法などの繰り返し計算により、初期値ω０から開始して解を求めるような手法により解くことができる。
　　　　　　f(ω) = (x* E - x* B) cot (ω + ΨP) - (y* E - y* B) = 0
但し、(x* E, y* E), (x* B, y* B)及びΨP は、それぞれ上記したアクション面に対するＥ、Ｂ及びΨの投影である。
　本発明に基づくアルゴリズムは、水滴の検出された位置に基づいて、雨滴と相互作用する全ての光線の、像の面から背景に向けて追跡される正確な経路を求めることができる。しかしながら、景色の像を雨滴の像と比較するためには、観測されたピクセルの光の強度を予測することは、少なくとも、上記したように光線の正確な経路を求めることと同様に重要である。即ち、本発明に基づくアルゴリズムは、（前記したように）景色の光の強度及びフレネルの屈折率を利用する。
　光が第１の屈折率ｎ１を有する媒体から第２の屈折率ｎ２を有する媒体に進んだとき、光の反射及び屈折の両者が発生し得る。本明細書に於ける手法では、ウインドシールド上の雨滴の所定の幾何学的構造のために、屈折した光線のみが光学的中心に達することから、入射光の強度の一部のみが第１の媒体から第２の媒体に屈折することになる。これは、以下の式により表される。
　　　　　I2 = (1 - R12)I1 　　　　　　　　--- (15)
但し、R12は、第１の媒体から第２の媒体に至る非偏光光のフレネル反射率である。
Figure JPOXMLDOC01-appb-I000001
また、
Figure JPOXMLDOC01-appb-I000002
　ＩＡはカメラについて既知であることから、この強度は、点Ｅから、雨滴及びガラスにより屈折した後に、光学的中心に至る光線により伝達される。点Ｓに於ける雨滴の光の強度は、次のように求めることができる。
Figure JPOXMLDOC01-appb-I000003
但し、Ｒｉは、２つの媒体間での屈折が引起される全ての点に於けるフレネル反射率であって（即ち、i ∈ {A, B, J, R, S}；図４参照）、ｊは、光強度予測の方向である。
Figure JPOXMLDOC01-appb-I000004
　表１は、Ｉ＾ｓを推定する上で関連する全ての情報を示す。

　　　　　　　　　　表１
　　点　　　　媒体の変移　　ｎ１　　　　ｎ２　　　μ１　　μ２
－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－
　　Ａ　　　空気／ガラス　　ｎａｉｒ　　ｎｇｌａｓｓ　　ω　　　χ
　　Ｂ　　　ガラス／空気　ｎｇｌａｓｓ　　　ｎａｉｒ　　χ　　　ω
　　Ｊ　　　　空気／水　　　ｎａｉｒ　　ｎｗａｔｅｒ　　θ　　　β
　　Ｒ　　　水／ガラス　　ｎｗａｔｅｒ　　ｎｇｌａｓｓ　　γ　　　κ
　　Ｓ　　　ガラス／空気　ｎｇｌａｓｓ　　　ｎａｉｒ　　κ　　　α
　雨滴候補を決定するに際して、観測されたピクセルの光強度Ｉｓと、推定された光強度Ｉ＾ｓとの間の偏差は、以下のように定義される相関係数を用いて評価することができる。
Figure JPOXMLDOC01-appb-I000005
　視覚的な結果はかなり正確であって、かなり高い相関係数が達成されるが、相関の大きさ自体は重要ではない。その理由については以下に詳しく述べる。
　先ず、雨滴は、ウインドシールド上の追加のレンズとみなすことができ、雨滴に入射される光線は曲げられ、雨滴上の各観測点は、外界の光を集合させたものからなる。第２に、カメラは無限遠方に焦点が合わされているために、雨滴はぼやけて見える。そのために、雨滴の観測が不適切に行なわれ、アルゴリズムは正確に処理を行ったとしても、雨滴の同定精度が低くなり、低い相関値が得られることになる。しかしながら、ここで求められるのは、周囲の景色を、観測された雨滴候補に対応付け、雨滴像を正確に再構成し得るような物理的に正確なモデルを構築することにある。有意義な相関結果を達成するためには、必要に応じて、上記したような効果を補償すると良い。そのための補償作用は、図４に示されるようなカメラレンズの幾何学的及び光学的構成に基づいて、周囲の景色及びを再構成された画像をぼやかすことにより達成することができる。
　初期の雨滴候補の位置の精度に関する検出感度を低減するためには、初期位置を変化させることを行う。最適合致したものを相関値を求めるために採用する。
　図６は、コントローラにより実行される制御処理のフロー図である。先ず、ステップＳＴ１に於いて、車両前方の景色が、キャプチャラによりカメラを用いてキャプチャされ、ステップＳＴ２に於いて、ウインドシールド上に雨滴の候補があるか否かを判定する。雨滴の候補が検出されない場合、プログラムフローはステップＳＴ１に戻る。
　ステップＳＴ２で雨滴候補が検出された場合、ステップＳＴ３に於いて、雨滴の像が抽出される。適切は光学モデルを用いることにより、ステップＳＴ４に於いて、雨滴の像が、景色の像から再構成される。再構成された像は、実際に抽出された雨滴の像と比較され、両者の間の相関が、ステップＳＴ５に於いて評価される。相関が所定レベルよりも高ければ（ステップＳＴ６に於いてｙｅｓ）、ステップＳＴ７に於いて、雨滴候補は実際の雨滴であると同定され、プログラムフローはステップＳＴ１に戻る。相関が所定レベルよりも低い場合には（ステップＳＴ６に於いてｎｏ）、ステップＳＴ８に於いて、雨滴候補が雨滴として検出されず、プログラムフローはステップＳＴ１に戻る。
　ウインドシールドの上に多数の雨滴が落ちてくるような場合には同定精度は１００パーセントであることを要しない。従って、このような方法を必要としないかもしれない。このような場合には、図７に示されるように、雨滴であるか否かの判断基準となる相関係数には大きな差異が見出すことができる。
　上記実施例では、雨滴を景色の像から再構成したが、図８のブロック図に示されるように雨滴の像から景色を再構成し、雨滴候補の実際の像と再構成雨滴像との間の相関を互いに比較することもできる。
　ウインドシールド上の雨滴を検出する場合に、雨滴を可及的に正確に抽出し、同定することが重要である。実際に本発明を実施する際には、様々な光学的なノイズや外乱が存在することから、同定精度を高めるような識別方法を適用することが望まれる。図９ａ－９ｄは、そのような方法の１つの原理を説明している。
　SURFやHarris Corner Detector等のＰＯＩ検出器により、図９ａに示されるようにＰＯＩが検出されたとする。各ＰＯＩに対して１つのトラッカーを適用することによる多ターゲット追跡を行ない、フレームｉで検出されたＰＯＩを、再びフレームｉ＋１で検出し、これら両ＰＯＩを互いに関連付ける。図９ｂ－９ｄに示されるように、フレームｉで検出されたＰＯＩを、それに続くフレーム中で対応付け、これらの点の軌跡を計算する。その結果、２つの顕著に異なる運動パターンが見られる。外界の景色に属するＰＯＩは、車両の運動に基づくカメラの透視角（perspective viewing angle）の変化のために移動し、一方、ウインドシールドに固定されたＰＯＩは、ウインドシールドがカメラの座標系に対して固定されていることから、移動しない。何度かの、繰り返し計算サイクルの追跡を行なった後、各ＰＯＩの軌跡を観測することにより、ウインドシールド上の異物と、景色に属する点との区別を高い信頼性をもって識別できるようになる。所定の許容誤差を上回るような軌跡の変位が観測された場合には、そのＰＯＩが雨滴或いはウインドシールド上の異物でない確率が明瞭に増大する。
　上記したような判断方法は、図９ａに示されるような場面で、殆どの雨滴について問題なく機能する。しかしながら、雨滴がカメラに対して静止していない場合がある。車両の速度が増大すると、雨滴の或るものは上方に運動する。また、雨滴のサイズが或る程度以上であると、下方に運動する場合もある。雨滴のこのような運動は、各雨滴のサイズ、ウインドシールドの外面の輪郭及び車両の対気速度により定められる軌跡及び速度をもって行なわれる。このように、本発明に於けるアルゴリズムを、雨滴の運動モデルを含むように拡張することにより、このような、より高度な効果も考慮することができる。このような運動モデルによれば、雨滴が概ね上下方向に移動することが想定される。この場合でも、透視角の幾何学的構成から、景色の像中のＰＯＩの殆どは上下方向に移動することがないことから、雨滴と景色の像とを明瞭に識別することができる。この識別方法は、雨滴により屈折した像から景色の像から再構成する方法に併用するばかりでなく、それ自体で雨滴を検出するために利用することも可能である。
 ウインドシールド上の雨滴が検出された場合、検出結果は、運転者に警報を行なうために表示装置に送られたり、或いは雨滴の検出に応じて自動的に作動されるべきワイパーなどのような別の装置に送られるようにすると良い。
　以上で具体的実施形態の説明を終えるが、当業者であれば容易に理解できるように、本発明は上記実施形態や変形例に限定されることなく幅広く変形実施することができる。

Claims (9)

  1. 　ビジョンシステムを用いて車両のウインドシールド上の雨滴を同定するための方法であって、
    　ウインドシールドを透過する車両前方の景色をカメラを用いて一般像としてキャプチャするステップと、
    　前記一般像中の関心の有る点としての雨滴候補を検出するステップと、
    　前記一般像から前記雨滴候補の実際の像を抽出し、そのサイズを測定するステップと、
    　所定の光学モデルに基づき、前記一般像から再構成雨滴像を再構成するステップと、
    　前記雨滴候補の実際の像と前記再構成雨滴像との間の相関を求めるステップと、
    　求められた相関が所定レベルよりも高ければ、前記雨滴候補を実際の雨滴であると判断するステップとを有することを特徴とする方法。
  2. 　前記雨滴候補の前記光学モデルが、球の一切片からなることを特徴とするクレーム１に記載の方法。
  3. 　前記一般像中の関心の有る点としての雨滴候補を検出する前記ステップが、車両の走行に際して、比較的固定した点として抽出することを含むことを特徴とするクレーム１に記載の方法。
  4. 　前記一般像中の関心の有る点としての雨滴候補を検出する前記ステップが、車両の走行に際して、雨滴のサイズ、ウインドシールドの外面の輪郭及び車両の対気速度により定められる軌跡及び速度をもって移動する点として抽出することを含むことを特徴とするクレーム１に記載の方法。
  5. 　ビジョンシステムを用いて車両のウインドシールド上の雨滴を同定するための方法であって、
    　ウインドシールドを透過する車両前方の景色をカメラを用いて一般像としてキャプチャするステップと、
    　前記一般像中の関心の有る点としての雨滴候補を検出するステップと、
    　前記一般像から前記雨滴候補の実際の像を抽出し、そのサイズを測定するステップと、
    　所定の光学モデルに基づき、前記雨滴候補から再構成一般像を再構成するステップと、
    　実際の前記一般像と前記再構成一般像との間の相関を求めるステップと、
    　求められた相関が所定レベルよりも高ければ、前記雨滴候補を実際の雨滴であると判断するステップとを有することを特徴とする方法。
  6. 　ビジョンシステムを用いて車両のウインドシールド上の雨滴を同定するための装置であって、
    　ウインドシールドを透過する前方の景色をキャプチャするために車両に搭載されたカメラと、
    　前記一般像中の関心の有る点としての雨滴候補を検出する雨滴検出器と、
    　前記一般像から前記雨滴候補の実際の像を抽出し、そのサイズを測定する抽出器と、
    　前記サイズに応じた所定の光学モデルに基づき、前記一般像の屈折像として再構成雨滴像を再構成する像再構成器と、
    　前記雨滴候補の実際の像と前記再構成雨滴像との間の相関を求める相関器と、
    　求められた相関が所定レベルよりも高ければ、前記雨滴候補を実際の雨滴であると判断する雨滴同定器とを有することを特徴とする装置。
  7. 　前記雨滴候補の前記光学モデルが、球の一切片からなることを特徴とするクレーム４に記載の装置。
  8. 　前記雨滴検出器が、車両の走行に際して、前記一般像から雨滴候補を、比較的固定した点として検出することを特徴とするクレーム６に記載の装置。
  9. 　前記雨滴検出器が、車両の走行に際して、前記一般像から雨滴候補を、雨滴のサイズ、ウインドシールドの外面の輪郭及び車両の対気速度により定められる軌跡及び速度をもって移動する点として抽出することを特徴とするクレーム６に記載の装置。
PCT/JP2009/000181 2009-01-20 2009-01-20 ウインドシールド上の雨滴を同定するための方法及び装置 WO2010084521A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
PCT/JP2009/000181 WO2010084521A1 (ja) 2009-01-20 2009-01-20 ウインドシールド上の雨滴を同定するための方法及び装置
JP2009525820A JP5216010B2 (ja) 2009-01-20 2009-01-20 ウインドシールド上の雨滴を同定するための方法及び装置
PCT/JP2010/000092 WO2010084707A1 (ja) 2009-01-20 2010-01-08 コンピュータビジョン・システムに於ける画像復元方法
JP2010547420A JPWO2010084707A1 (ja) 2009-01-20 2010-01-08 コンピュータビジョン・システムに於ける画像復元方法
US13/144,985 US8797417B2 (en) 2009-01-20 2010-01-08 Image restoration method in computer vision system, including method and apparatus for identifying raindrops on a windshield
EP10733315.5A EP2381416B1 (en) 2009-01-20 2010-01-08 Method for image restoration in a computer vision system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2009/000181 WO2010084521A1 (ja) 2009-01-20 2009-01-20 ウインドシールド上の雨滴を同定するための方法及び装置

Publications (1)

Publication Number Publication Date
WO2010084521A1 true WO2010084521A1 (ja) 2010-07-29

Family

ID=42355602

Family Applications (2)

Application Number Title Priority Date Filing Date
PCT/JP2009/000181 WO2010084521A1 (ja) 2009-01-20 2009-01-20 ウインドシールド上の雨滴を同定するための方法及び装置
PCT/JP2010/000092 WO2010084707A1 (ja) 2009-01-20 2010-01-08 コンピュータビジョン・システムに於ける画像復元方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/000092 WO2010084707A1 (ja) 2009-01-20 2010-01-08 コンピュータビジョン・システムに於ける画像復元方法

Country Status (4)

Country Link
US (1) US8797417B2 (ja)
EP (1) EP2381416B1 (ja)
JP (2) JP5216010B2 (ja)
WO (2) WO2010084521A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8797417B2 (en) 2009-01-20 2014-08-05 Honda Motor Co., Ltd. Image restoration method in computer vision system, including method and apparatus for identifying raindrops on a windshield
DE112010005669B4 (de) * 2010-06-18 2017-10-26 Honda Motor Co., Ltd. System zur Straßenoberflächenreflektivitätsklassifizierung
JP2020129355A (ja) * 2018-09-07 2020-08-27 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 情報処理方法、情報処理装置、及び情報処理プログラム

Families Citing this family (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8376595B2 (en) * 2009-05-15 2013-02-19 Magna Electronics, Inc. Automatic headlamp control
US9230189B2 (en) * 2010-03-04 2016-01-05 Valeo Schalter Und Sensoren Gmbh Method of raindrop detection on a vehicle windscreen and driving assistance device
US8774267B2 (en) * 2010-07-07 2014-07-08 Spinella Ip Holdings, Inc. System and method for transmission, processing, and rendering of stereoscopic and multi-view images
EP2692086B1 (en) * 2011-03-29 2018-03-21 Jura Trade Limited Method and apparatus for generating and authenticating security documents
EP2754095B1 (en) * 2011-09-07 2017-06-14 Valeo Schalter und Sensoren GmbH Method and camera assembly for detecting raindrops on a windscreen of a vehicle
DE102011056051A1 (de) 2011-12-05 2013-06-06 Conti Temic Microelectronic Gmbh Verfahren zur Auswertung von Bilddaten einer Fahrzeugkamera unter Berücksichtigung von Informationen über Regen
MX361919B (es) * 2012-07-27 2018-12-19 Nissan Motor Dispositivo de detección de gotas de agua y dispositivo de detección de objetos tridimensionales usando un dispositivo de detección de gotas de agua.
CN102821323B (zh) * 2012-08-01 2014-12-17 成都理想境界科技有限公司 基于增强现实技术的视频播放方法、***及移动终端
US9165196B2 (en) 2012-11-16 2015-10-20 Intel Corporation Augmenting ADAS features of a vehicle with image processing support in on-board vehicle platform
JP6045889B2 (ja) * 2012-11-27 2016-12-14 クラリオン株式会社 車載用制御装置
DE102012112104A1 (de) * 2012-12-11 2014-06-12 Conti Temic Microelectronic Gmbh Verfahren und vorrichtung zur befahrbarkeitsanalyse
EP2757527B1 (en) * 2013-01-16 2018-12-12 Honda Research Institute Europe GmbH System and method for distorted camera image correction
DE102013204935A1 (de) * 2013-03-20 2014-09-25 Robert Bosch Gmbh Verfahren und Vorrichtung zum Erstellen einer Aufnahme eines gepulst aufleuchtenden Objekts
KR102117273B1 (ko) 2013-03-21 2020-06-01 삼성전자주식회사 수술 로봇 시스템 및 그 제어 방법
US9380286B2 (en) 2013-04-19 2016-06-28 Adobe Systems Incorporated Stereoscopic target region filling
US9350969B2 (en) 2013-04-19 2016-05-24 Adobe Systems Incorporated Target region filling involving source regions, depth information, or occlusions
ES2666499T3 (es) 2013-07-03 2018-05-04 Kapsch Trafficcom Ab Método para identificación de contaminación en una lente de una cámara estereoscópica
US20150097827A1 (en) * 2013-10-09 2015-04-09 Adobe Systems Incorporated Target Region Fill Utilizing Transformations
KR101518896B1 (ko) * 2013-10-10 2015-05-11 현대자동차 주식회사 와이퍼 작동 시스템 및 방법
FR3019359B1 (fr) 2014-03-31 2017-10-06 Continental Automotive France Procede de determination d'un etat d'obstruction d'au moins une camera embarquee dans un systeme stereoscopique
US9900505B2 (en) * 2014-07-23 2018-02-20 Disney Enterprises, Inc. Panoramic video from unstructured camera arrays with globally consistent parallax removal
KR102426631B1 (ko) * 2015-03-16 2022-07-28 현대두산인프라코어 주식회사 건설 기계의 사각 영역 표시 방법 및 이를 수행하기 위한 장치
FR3034899B1 (fr) 2015-04-13 2018-07-06 Latecoere Procede et systeme de visualisation externe deportee a l'interieur d'une cabine d'avion
TWI554979B (zh) * 2015-05-15 2016-10-21 財團法人國家實驗研究院 雨滴偵測系統及其方法
KR102366402B1 (ko) * 2015-05-21 2022-02-22 엘지전자 주식회사 운전자 보조 장치 및 그 제어방법
EP3107063A1 (en) * 2015-06-16 2016-12-21 Continental Automotive GmbH Method for processing camera images
CN106324708B (zh) * 2015-06-24 2018-08-14 郝立 雨量记录图纸的数字化方法、装置
EP3113477B1 (en) * 2015-06-30 2017-08-02 Axis AB Monitoring camera
CN107924567A (zh) 2015-07-31 2018-04-17 深圳市大疆创新科技有限公司 构建光流场的***和方法
KR101714185B1 (ko) * 2015-08-05 2017-03-22 엘지전자 주식회사 차량 운전 보조장치 및 이를 포함하는 차량
WO2017047688A1 (ja) * 2015-09-17 2017-03-23 株式会社日立国際電気 落下物検知追跡システム
TWI607901B (zh) * 2015-11-06 2017-12-11 財團法人工業技術研究院 影像修補系統及其方法
EP3422992A4 (en) * 2016-03-02 2019-10-30 Covidien LP SYSTEMS AND METHOD FOR REMOVING OCCLUSION OBJECTS IN SURGICAL IMAGES AND / OR VIDEOS
US10764561B1 (en) 2016-04-04 2020-09-01 Compound Eye Inc Passive stereo depth sensing
US10049284B2 (en) 2016-04-11 2018-08-14 Ford Global Technologies Vision-based rain detection using deep learning
EP3300023A1 (en) * 2016-09-21 2018-03-28 Autoliv Development AB Vision system and method for a motor vehicle
US10427645B2 (en) 2016-10-06 2019-10-01 Ford Global Technologies, Llc Multi-sensor precipitation-classification apparatus and method
TWI632814B (zh) * 2016-11-11 2018-08-11 財團法人工業技術研究院 視訊畫幀產生方法及其系統
GB2559759B (en) * 2017-02-16 2020-07-29 Jaguar Land Rover Ltd Apparatus and method for displaying information
US10430671B2 (en) 2017-04-22 2019-10-01 Honda Motor Co., Ltd. System and method for remapping surface areas of a vehicle environment
CN107292911B (zh) * 2017-05-23 2021-03-30 南京邮电大学 一种基于多模型融合和数据关联的多目标跟踪方法
US10587828B2 (en) 2017-06-27 2020-03-10 Wipro Limited System and method for generating distortion free images
US10586316B2 (en) * 2017-08-07 2020-03-10 Morphotrust Usa, Llc Reduction of glare in imaging documents
US10282827B2 (en) * 2017-08-10 2019-05-07 Wipro Limited Method and system for removal of rain streak distortion from a video
CN109087332B (zh) * 2018-06-11 2022-06-17 西安电子科技大学 一种基于分块相关的遮挡检测方法
EP3599569A1 (en) * 2018-07-24 2020-01-29 Continental Automotive GmbH Method and system for representation of vehicle surroundings with reduced artefacts
EP3629240B1 (en) * 2018-09-07 2023-08-23 Panasonic Intellectual Property Corporation of America Generative adversarial networks for local noise removal from an image
US10836356B2 (en) 2018-09-20 2020-11-17 Ford Global Technologies, Llc Sensor dirtiness detection
US10829091B2 (en) 2018-09-20 2020-11-10 Ford Global Technologies, Llc Vehicle sensor cleaning
US10694105B1 (en) * 2018-12-24 2020-06-23 Wipro Limited Method and system for handling occluded regions in image frame to generate a surround view
US10780861B2 (en) * 2019-01-08 2020-09-22 Ford Global Technologies, Llc Liquid droplet path prediction
EP4066162A4 (en) 2019-11-27 2023-12-13 Compound Eye Inc. SYSTEM AND METHOD FOR DETERMINING CORRESPONDENCE CARDS
US11328428B2 (en) * 2019-12-18 2022-05-10 Clarion Co., Ltd. Technologies for detection of occlusions on a camera
WO2021150779A1 (en) * 2020-01-21 2021-07-29 Compound Eye Inc. System and method for egomotion estimation
WO2021150784A1 (en) 2020-01-21 2021-07-29 Compound Eye Inc. System and method for camera calibration
DE102020210549A1 (de) * 2020-08-20 2022-02-24 Robert Bosch Gesellschaft mit beschränkter Haftung Prüfsystem und Prüfverfahren für Scheibenwischer
EP3982328A1 (en) * 2020-10-08 2022-04-13 Saint-Gobain Glass France Method for simulating the effects of the optical distortions of a windshield on the image recording quality of a digital image recording device
WO2022194679A1 (de) * 2021-03-18 2022-09-22 Volkswagen Aktiengesellschaft Semantische bildsegmentierung eines bilddatenstroms
US20230222761A1 (en) * 2022-01-12 2023-07-13 Nec Corporation Of America Removal of artifacts from images captured by sensors

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10261064A (ja) * 1997-03-17 1998-09-29 Mitsuba Corp 雨滴検出装置における付着物識別方法
JP2004212184A (ja) * 2002-12-27 2004-07-29 Nissan Motor Co Ltd 画像処理装置
JP2006261761A (ja) * 2005-03-15 2006-09-28 Secom Co Ltd 画像信号処理装置
JP2006292543A (ja) * 2005-04-11 2006-10-26 Denso Corp レインセンサ
JP2006308329A (ja) * 2005-04-26 2006-11-09 Denso Corp レインセンサ

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5923027A (en) * 1997-09-16 1999-07-13 Gentex Corporation Moisture sensor and windshield fog detector using an image sensor
DE10201522A1 (de) * 2002-01-17 2003-07-31 Bosch Gmbh Robert Verfahren und Vorrichtung zur Erkennung von Sichtbehinderungen bei Bildsensorsystemen
US8180099B2 (en) * 2002-07-16 2012-05-15 Trw Limited Rain detection apparatus and method
JP2004164992A (ja) 2002-11-13 2004-06-10 Canon Inc 電子注入性電極の製造方法、及び有機エレクトロルミネッセンス素子の製造方法
JP4590887B2 (ja) 2004-03-10 2010-12-01 セイコーエプソン株式会社 電子機器、ファイル消去プログラム及びファイル消去方法
JP4483413B2 (ja) 2004-06-02 2010-06-16 トヨタ自動車株式会社 移動物体検出装置及び移動物体検出方法
CN101142814A (zh) * 2005-03-15 2008-03-12 欧姆龙株式会社 图像处理装置及方法、程序、以及记录介质
JP4720386B2 (ja) 2005-09-07 2011-07-13 株式会社日立製作所 運転支援装置
JP5384807B2 (ja) 2007-06-20 2014-01-08 株式会社岡村製作所 椅子における背板へのカバー部材取付構造
JP4856612B2 (ja) * 2007-10-29 2012-01-18 富士重工業株式会社 物体検出装置
US8494251B2 (en) * 2008-01-11 2013-07-23 Sri International System and method for measuring image quality
DE102008001679A1 (de) * 2008-05-09 2009-11-12 Robert Bosch Gmbh Verfahren und Vorrichtung zur Verarbeitung von aufgenommenen Bildinformationen aus einem Fahrzeug
DE102009000005A1 (de) * 2009-01-02 2010-07-08 Robert Bosch Gmbh Kameraanordnung und Verfahren zur Erfassung einer Fahrzeugumgebung
WO2010084521A1 (ja) 2009-01-20 2010-07-29 本田技研工業株式会社 ウインドシールド上の雨滴を同定するための方法及び装置
US20120087573A1 (en) * 2010-10-11 2012-04-12 Vinay Sharma Eliminating Clutter in Video Using Depth Information

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10261064A (ja) * 1997-03-17 1998-09-29 Mitsuba Corp 雨滴検出装置における付着物識別方法
JP2004212184A (ja) * 2002-12-27 2004-07-29 Nissan Motor Co Ltd 画像処理装置
JP2006261761A (ja) * 2005-03-15 2006-09-28 Secom Co Ltd 画像信号処理装置
JP2006292543A (ja) * 2005-04-11 2006-10-26 Denso Corp レインセンサ
JP2006308329A (ja) * 2005-04-26 2006-11-09 Denso Corp レインセンサ

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8797417B2 (en) 2009-01-20 2014-08-05 Honda Motor Co., Ltd. Image restoration method in computer vision system, including method and apparatus for identifying raindrops on a windshield
DE112010005669B4 (de) * 2010-06-18 2017-10-26 Honda Motor Co., Ltd. System zur Straßenoberflächenreflektivitätsklassifizierung
JP2020129355A (ja) * 2018-09-07 2020-08-27 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 情報処理方法、情報処理装置、及び情報処理プログラム
JP7216593B2 (ja) 2018-09-07 2023-02-01 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報処理方法、情報処理装置、及び情報処理プログラム

Also Published As

Publication number Publication date
EP2381416B1 (en) 2014-03-12
WO2010084707A1 (ja) 2010-07-29
EP2381416A4 (en) 2012-07-11
US8797417B2 (en) 2014-08-05
JPWO2010084707A1 (ja) 2012-07-12
JPWO2010084521A1 (ja) 2012-07-12
JP5216010B2 (ja) 2013-06-19
EP2381416A1 (en) 2011-10-26
US20110273582A1 (en) 2011-11-10

Similar Documents

Publication Publication Date Title
JP5216010B2 (ja) ウインドシールド上の雨滴を同定するための方法及び装置
You et al. Adherent raindrop modeling, detection and removal in video
Qian et al. Attentive generative adversarial network for raindrop removal from a single image
Roser et al. Video-based raindrop detection for improved image registration
Halimeh et al. Raindrop detection on car windshields using geometric-photometric environment construction and intensity-based correlation
Roser et al. Realistic modeling of water droplets for monocular adherent raindrop recognition using bezier curves
US10106126B2 (en) Apparatus and method for detecting precipitation for a motor vehicle
Tripathi et al. Removal of rain from videos: a review
Reynolds et al. Capturing time-of-flight data with confidence
CN1116187C (zh) 水汽传感器和风挡玻璃水汽检测器
KR20230006795A (ko) 편광을 사용한 센서 시스템 및 이미징 시스템의 증강 시스템 및 방법
You et al. Adherent raindrop detection and removal in video
CN110544211B (zh) 一种镜头付着物的检测方法、***、终端和存储介质
US20080075385A1 (en) Detection and Correction of Flash Artifacts from Airborne Particulates
JP2005515565A (ja) 画像センサシステムにおける視界妨害物の識別方法および識別装置
Nashashibi et al. Detection of unfocused raindrops on a windscreen using low level image processing
EP2293588A1 (en) Method for using a stereovision camera arrangement
Cord et al. Detecting unfocused raindrops: In-vehicle multipurpose cameras
CN110532875B (zh) 夜晚模式镜头付着物的检测***、终端和存储介质
Kanthan et al. Rain drop detection and removal using k-means clustering
JP4887540B2 (ja) 車両周辺監視装置、車両、車両周辺監視用プログラム、車両周辺監視方法
Hamzeh et al. Effect of adherent rain on vision-based object detection algorithms
EP3336747A1 (en) Rain detection with a camera
Li et al. Real-time rain detection and wiper control employing embedded deep learning
JP4765113B2 (ja) 車両周辺監視装置、車両、車両周辺監視用プログラム、車両周辺監視方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2009525820

Country of ref document: JP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09838716

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 09838716

Country of ref document: EP

Kind code of ref document: A1