WO2020193304A1 - Assembly for protecting an optical sensor of a driver assistance system for a motor vehicle - Google Patents

Assembly for protecting an optical sensor of a driver assistance system for a motor vehicle Download PDF

Info

Publication number
WO2020193304A1
WO2020193304A1 PCT/EP2020/057405 EP2020057405W WO2020193304A1 WO 2020193304 A1 WO2020193304 A1 WO 2020193304A1 EP 2020057405 W EP2020057405 W EP 2020057405W WO 2020193304 A1 WO2020193304 A1 WO 2020193304A1
Authority
WO
WIPO (PCT)
Prior art keywords
optical sensor
assistance system
optical element
optical
annular band
Prior art date
Application number
PCT/EP2020/057405
Other languages
French (fr)
Inventor
Frédéric Giraud
Benoist Fleury
Original Assignee
Valeo Systèmes d'Essuyage
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Valeo Systèmes d'Essuyage filed Critical Valeo Systèmes d'Essuyage
Publication of WO2020193304A1 publication Critical patent/WO2020193304A1/en

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B08—CLEANING
    • B08B—CLEANING IN GENERAL; PREVENTION OF FOULING IN GENERAL
    • B08B17/00—Methods preventing fouling
    • B08B17/02—Preventing deposition of fouling or of dust
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B08—CLEANING
    • B08B—CLEANING IN GENERAL; PREVENTION OF FOULING IN GENERAL
    • B08B1/00—Cleaning by methods involving the use of tools
    • B08B1/30—Cleaning by methods involving the use of tools by movement of cleaning members over a surface
    • B08B1/32—Cleaning by methods involving the use of tools by movement of cleaning members over a surface using rotary cleaning members
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0006—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means to keep optical surfaces clean, e.g. by preventing or removing dirt, stains, contamination, condensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H04N23/811—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation by dust removal, e.g. from surfaces of the image sensor or processing of the image signal output by the electronic image sensor

Definitions

  • the present invention relates to the field of driving assistance and in particular to driving assistance systems, installed in certain vehicles, and more particularly to driving assistance systems comprising an optical sensor, such as for example a camera comprising a lens, and a rotating protective housing arranged around this sensor.
  • driving assistance systems comprising an optical sensor, such as for example a camera comprising a lens, and a rotating protective housing arranged around this sensor.
  • optical sensors and for example front, rear, or even side vision cameras are fitted to a large number of motor vehicles. They are particularly part of driving assistance systems, such as parking assistance systems, or lane departure detection systems.
  • driving assistance systems such as parking assistance systems, or lane departure detection systems.
  • the optical sensors of the driving assistance systems are installed on the perimeter of the vehicles in different places depending on the desired use, for example integrated in the windshields. - rear or front shocks, in the side reinforcement strips, or at the rear or front registration plate of the vehicle.
  • optical sensors are in this case strongly exposed to projections of mineral or organic dirt which can be deposited on the corresponding optical surface and thus reduce the efficiency of the shooting or the detection of information, or even render the sensor completely inoperative. , detector, or camera concerned. Particularly in rainy weather, there are projections of rain and dirt which can greatly affect the operability of the driver assistance system including such an optical sensor.
  • a sensor and more particularly a camera, for the driving assistance system is associated with a protection device which includes a protective housing housing the camera while protecting it from the external environment.
  • the protective housing has an optical element, transparent and arranged opposite the camera lens to allow shots.
  • the protective housing and associated optical element are rotated by a motor forming part of the protective device. More particularly, the motor is configured to cause the rotation of the protective housing at a speed sufficient to remove by centrifugal effect any dirt or water which may be present on the optical element.
  • the rotation of the optical element is generated when a smear is present on the outer surface of the optical element and this smear could penalize the quality of the captured image.
  • each sensor associated with the driving assistance system should be able to provide an image that can be used by the data processing module of this driving assistance system. It is therefore not possible to wait for the vehicle to travel at a slower speed, or even for it to be stationary, so that the cleaning operation with spraying of liquid then rotation of the protection device is launched.
  • the present invention proposes to solve this technical problem, by presenting a method for controlling a cleaning system equipped with a rotary protection device which allows appropriate management of the projection of liquid before the rotation of the device. protection device.
  • the invention also relates to a driving assistance system equipped with such a cleaning system.
  • the invention relates to a driving assistance system for a motor vehicle comprising at least one optical sensor configured to capture images of a road scene, at least one protection device surrounding the optical sensor, the protection device comprising on the one hand a rotary protection housing comprising an optical element arranged opposite an optical surface of the optical sensor and on the other hand a motor configured to drive the protection housing in rotation and the optical element around an optical axis of the optical sensor.
  • the assistance system comprises an electronic control unit, dedicated to the acquisition and processing of images captured by the optical sensor, which is configured to process images captured by the optical sensor with the rotating optical element, this unit electronic control being configured in particular to modify the brightness of at least part of the images captured by the optical sensor with the rotating optical element.
  • the driving assistance system is configured to generate a driving assistance strategy based on at least one of the images captured by the optical sensor.
  • the electronic control unit is configured to separately process on the one hand the images captured by the optical sensor with the fixed optical element, during a conventional driving mode in which the optical sensor does not need to be cleaned, and on the other hand the images captured by the optical sensor with the rotating optical element as previously mentioned, during cleaning operations of the optical sensor by centrifugal effect under the effect of the rotation of the optical element .
  • the electronic control unit is configured to detect a dark annular band in the image (s) captured with the rotating optical element and to detect a first level of brightness of at least one pixel of this dark annular band, to detect a second level of brightness of at least one pixel present in an area directly adjacent to said dark annular band, and to calculate a processed image in which the points of the dark annular band are processed with the brightness of the associated point of the neighboring annular band.
  • the electronic control unit is configured to detect a second level of brightness of a plurality of pixels present in said directly neighboring area and to calculate an average value of brightness to be applied to the pixel or pixels of the dark ring band.
  • the average luminosity value is calculated by considering all the pixels of the directly neighboring zone which are present in a determined angular portion, the calculated average luminosity value being applied to at least one of the pixels forming the corresponding angular portion of the dark ring band.
  • the directly neighboring zone is an annular band formed around the dark annular band.
  • the assistance system comprises a device for spraying cleaning liquid onto the optical element and a central control unit configured so as to control the operation of the rotary protective housing and of the associated optical element and the operation of the device spraying liquid depending on the operating condition of the vehicle.
  • the assistance system is thus configured so as to be able to carry out a standard cleaning operation or an alternative cleaning operation, in a cleaning mode which may be qualified as degraded but which is accompanied by specific image processing. to provide picture quality satisfactory for the driver assistance system.
  • the standard cleaning procedure includes at least one step of spraying cleaning liquid and the alternative cleaning procedure only includes a step of rotating the protection device and implementing specific image processing to modify the brightness of at least part of the images captured by the optical sensor with the rotating optical element.
  • the operating state of the vehicle is speed, the central control unit being configured to implement the liquid projection device only when the speed of the vehicle has a value lower than that of 'a determined speed threshold.
  • the invention further relates to an image processing and analysis method for a driving assistance system in which images captured by an optical sensor are recovered, in each image a dark annular band is detected whose average brightness is greater than the average brightness of the image, we associate with each pixel of this dark annular band one or more corresponding pixel of a zone directly adjacent to the dark annular band and we calculate a modified image in which each pixel of the dark annular band is treated with a luminosity equal to that of the corresponding pixel or pixels of the directly neighboring area.
  • the various steps can be implemented when the speed of the vehicle has a value greater than that of a determined threshold.
  • the various steps can be implemented immediately when it is detected that a vehicle stopping phase is scheduled within a period greater than a given time.
  • the invention further relates to a motor vehicle implementing a process for processing and analyzing images for a driving assistance system. And it relates more particularly, in the case where the method is such that the various steps are implemented when it is detected that a stopping phase of the vehicle is planned within a period greater than a given time, a vehicle in which the information relating to the upcoming stopping phase of the vehicle is detected as a function of information from navigation software.
  • the vehicle can in particular be an autonomous vehicle.
  • FIG. 1 shows a front view of a motor vehicle, comprising at its grille a driving assistance system and in particular an optical sensor housed in a rotary protection device;
  • FIG. 2 shows a schematic and perspective view of a device for protecting an optical sensor of a driving assistance system such as can be implemented in Figure 1;
  • FIG. 3 schematically illustrates a side view illustrating the installation of a driving assistance system in a structural element of the vehicle, the figure making visible the detection device, the cleaning liquid projection device and the electronic control unit of the driving assistance system according to the present exemplary embodiment;
  • FIG. 4 schematically illustrates the image processing method forming part of the piloting method illustrated elsewhere in Figure 8, this figure making visible a road scene acquired by a clean optical sensor, without dirt;
  • FIG. 5 illustrates schematically the image processing method forming part of the control method illustrated elsewhere in FIG. 8, this figure making visible a road scene acquired by an optical sensor with an optical element rotated in the field. viewing a partial longitudinal section of a motor vehicle, which generates a dark ring formed by the rotation of the dirt about the axis of rotation substantially coincident with the optical axis of the optical sensor;
  • FIG. 6 schematically illustrates the image processing method forming part of the piloting method illustrated elsewhere in FIG. 8, this figure illustrating the same road scene image as that of FIG. 5 in which theoretically a ring outside the dark ring to detect therein reference points with a brightness distinct from that present in the dark ring;
  • FIG. 7 illustrates schematically the image processing method forming part of the control method illustrated elsewhere in FIG. 8, this figure illustrating the same image road scene than that of Figure 5 after processing by the device according to the invention to restore brightness to the part of the image present in the dark ring;
  • FIG. 8 shows, via a simplified flowchart, a method of controlling the driver assistance system according to the invention.
  • a vehicle 100 is equipped according to the invention with a driving assistance system 1, which comprises at least one detection device 2 comprising at least one optical sensor 4 and a protection device 6 arranged around this optical sensor and a transparent part of which arranged facing the sensor is movable in rotation.
  • a detection device 2 formed by a front vision camera arranged in the grille 8 of the vehicle, but it will be understood that what follows in relation to such a detection device may be implemented for devices arranged also or alternately at the rear or laterally relative to the vehicle.
  • the driving assistance system 1 further comprises at least specific image processing means which are configured to process part of the images acquired by the optical sensor 4, and more particularly, such as this will be described in more detail below, to process the images acquired by the optical sensor 4 while the transparent part of the protection device 6 mentioned above is rotating.
  • the optical sensor 4 is for example an optical sensor for taking pictures such as a camera. It can be a CCD sensor (for "charged coupled device” in English, namely a charge transfer device) or a CMOS sensor comprising an array of miniature photodiodes. According to another variant, without however this list being exhaustive, it may be a sensor for remote sensing by laser called LIDAR sensor, acronym in English for "light detection and ranging”.
  • the driving assistance system also comprises a device 12 for spraying cleaning liquid arranged near the detection device 2 and configured to be able to spray at the request of the driver. cleaning liquid on the transparent part of the protection device.
  • the driving assistance system 1 is configured so as to be able to carry out a standard cleaning operation or an alternative cleaning operation, in a mode of operation. cleaning which can be qualified as degraded but which is accompanied by specific image processing to provide satisfactory image quality for the driving assistance system.
  • the projection device 12 is used to project cleaning liquid onto the transparent part of the protection device 6, this operation being, if necessary, accompanied by an operation of rotating the device. this transparent part of the protection device 6 for removing dirt residues or drops resulting from the projection of cleaning liquid prior or simultaneously.
  • This alternative cleaning procedure only includes a step of rotating the protection device and implementing specific image processing to modify the brightness of at least part of the images captured by the optical sensor with the rotating optical element.
  • the protection device 6 has been shown partially transparent to make visible the optical sensor 4 housed in the protection device.
  • the optical sensor 4 comprises an optical surface 14 and an optical axis A0.
  • the optical surface 14 is for example a camera lens, which may include one or more lenses depending on the field of view and the desired resolution.
  • the optical sensor 4 is mounted at least in part in a protective housing 16 forming a first sub-assembly of the protective device 6.
  • the protective housing 16 comprises a wall 17 delimiting a cavity in which the sensor is housed. optical.
  • This wall 17 is preferably centered around the optical axis AO of the optical sensor 4.
  • the wall 17 is of substantially cylindrical shape.
  • the protective housing 16 also comprises an optical element 18 formed by the transparent wall described above and arranged downstream of the optical surface 14 of the optical sensor 4.
  • This optical element 18 is advantageously dimensioned so as to cover the entire optical surface 14.
  • the optical element 18 is arranged in the field of view of the optical sensor 4, the transparent wall making it possible not to impair the efficiency of the optical sensor 4.
  • the optical element 18 can be made from a one piece with the protective case 16.
  • the protective case and the optical element can be two separate parts joined together.
  • the transparent wall forming all or part of the optical element 18 can be made of glass or of a plastic material such as polycarbonate.
  • the protective housing 16 can be made of any suitable material known to those skilled in the art, preferably from a waterproof material.
  • the optical element 18 By arranging the optical element 18 downstream of the optical surface 14, it is understood that the optical element 18 is disposed between the exterior of the vehicle and the optical surface 14 of the optical sensor 4, so that the optical element 18 protects the optical surface from any projections of dirt or solid debris which could damage this optical surface. It is therefore a protective element, or more precisely a protective mask. protection of the optical sensor 4, and it is this optical element 18 which is subjected to attacks from the outside, that is to say both projections of water, pollutants, gravel and deposits of pollutants or traces of water.
  • the protection device 6 comprises a motor 22 forming a second sub-assembly. The motor 22 is coupled to the protective housing 16 so as to drive the protective housing 16 and therefore the optical element 18 in rotation about an axis of rotation A1, coincident with the optical axis OA of the optical sensor 4.
  • the images captured by the optical sensor 4 are recovered and processed by an electronic control unit 24 which for this purpose comprises an acquisition module 25 configured to acquire these images and a processing and formatting module 26 of the images thus acquired. , as well as a communication module 28 configured to send these processed images to a central control unit 30 configured to use these images and integrate them into a driving assistance strategy.
  • an electronic control unit 24 which for this purpose comprises an acquisition module 25 configured to acquire these images and a processing and formatting module 26 of the images thus acquired.
  • a communication module 28 configured to send these processed images to a central control unit 30 configured to use these images and integrate them into a driving assistance strategy.
  • a standard cleaning procedure for the detection device 2 is triggered each time the vehicle is started, or cyclically after a determined number of vehicle stops, or else when it is detected by analysis of the image acquired by the sensor. optically that significant dirt hinders the reading and use of this image.
  • An electronic control unit 31 dedicated to cleaning the optical sensor which can be confused with the central control unit, simultaneously or successively controls the projection of cleaning liquid, represented in FIG. 3 by the hatched area, on the transparent surface of the protection device 6 disposed opposite the optical surface 14 of the optical sensor 4 and the rotation of the protection device 6 and of the optical element 18 forming the transparent surface.
  • the electronic control unit dedicated to cleaning the sensor 31, or directly the central control unit 30, can control an alternative cleaning procedure, in particular when the vehicle is traveling at high speed and it is detected by analysis of the image captured by the optical sensor 4 that significant soiling is coming interfere with the reading and use of this image.
  • This alternative cleaning procedure consists of only rotating the protection device 6, that is to say, rotating without prior or simultaneous projection of cleaning liquid, in order to save the liquid which would be unnecessary because projected away from the sensing device due to vehicle speed.
  • the images captured by the optical sensor 4 are recovered by the electronic control unit 24 dedicated to the acquisition and processing of images.
  • the images captured by the optical sensor 4 can be distinguished into two categories, including a first category of images captured by the optical sensor while the transparent optical element 18 is fixed and does not move in the field of view. of the optical sensor, and a second category of images captured by the optical sensor 4 while the transparent optical element 18 is movable in rotation and does not move in the field of view of the optical sensor.
  • the electronic control unit 24 dedicated to the acquisition and processing of images is particular in that it comprises a specific image processing module 32, implemented when the or the images processed by this specific module 32 have been acquired with the transparent optical element 18 rotating in the field of view of the optical sensor 4.
  • the driving assistance system 1 comprises at least specific image processing means which are configured to modify the brightness of at least one. image acquired with the optical element 18 rotating, or more precisely to modify the luminosity of a part of this at least one image, the part whose luminosity is to be modified consisting of a dark annular band 34 resulting from the rotation around the optical axis, coincident with the axis of rotation of the detection device, of a dirt present on the transparent optical element.
  • the driving assistance system comprises a detection device 3 and an associated liquid projection device 12, as well as an electronic control unit 31 dedicated to cleaning.
  • FIG. 3 makes visible in particular the configuration presented above according to which the electronic control unit 24 dedicated to the acquisition and to the image processing can comprise an image acquisition module 25, directly connected to the optical sensor 4 and allowing to recover and store the road scene images captured by the optical sensor, an image processing and formatting module 26 configured to establish an image representative of the road scene and a specific image processing module 32 configured to process the brightness of at least a portion of an image acquired when the transparent optical element is rotatable.
  • the electronic control unit 24 dedicated to the acquisition and to the image processing can comprise an image acquisition module 25, directly connected to the optical sensor 4 and allowing to recover and store the road scene images captured by the optical sensor, an image processing and formatting module 26 configured to establish an image representative of the road scene and a specific image processing module 32 configured to process the brightness of at least a portion of an image acquired when the transparent optical element is rotatable.
  • the electronic control unit 24 dedicated to the acquisition and processing of images also comprises a communication module 28, which allows it to communicate by known means with the central control unit 30, for example formed by an on-board computer of the motor vehicle.
  • a communication module 28 which allows it to communicate by known means with the central control unit 30, for example formed by an on-board computer of the motor vehicle.
  • FIG. 4 there is illustrated an image acquired by the optical sensor 4, on which a dirt 50 has been detected in the field of view of the optical sensor. It is understood that the presence of this dirt 50, deposited on the transparent surface of the optical element 18 facing the optical sensor 4, hinders the interpretation of the image and prevents the development of a reliable driving assistance strategy. . Under conditions which will be described in particular below, it may be decided to implement an alternative cleaning procedure in which no cleaning liquid is sprayed onto the optical element 18 and in which only a setting step is provided. rotating the optical element and a step of processing the images acquired with the rotating optical element.
  • FIG. 5 there is shown an image resulting from the rotation of the optical element 18 about an axis of rotation coincident with the optical axis AO of the optical sensor.
  • This rotation generated around this axis a rotation of the dirt 50.
  • the difference between the speed of rotation of the optical element, of the order of 10,000 revolutions / minute, and the resolution of the camera, of the order of 30 images / second, participates in generating an image similar to that of FIG. 4, on which a dark annular band 34 is formed by the displacement of the dirt 50 around the axis of rotation coincident with the optical axis AO.
  • the pixels of the image retain the same color as in the image of the captured road scene but have a lower value brightness compared to the original brightness value.
  • the setting in rotation of the optical element 18 then the processing of images by modification of luminosity makes it possible on the one hand to recover an image in which the information originally hidden by the dirt is now detectable and apprehensible by the central control unit evaluating the driving assistance strategy, and in which the degree of brightness is close to the original image.
  • the specific image processing module 32 detects on the image the dark annular band 34, and determines a directly neighboring zone 35, visible in FIG. 6, of this dark annular band to retrieve information on the brightness. In general, the specific image processing module 32 recovers information relating to the brightness of the directly neighboring zone 35 in order to apply this information to the dark annular band.
  • the specific image processing module 32 can calculate an average luminosity of all or part of the various pixels forming the directly neighboring zone 35 and to apply this average luminosity value to each of the pixels forming the strip. dark ring finger 34.
  • FIG. 6 illustrates an example of determination of this zone directly adjacent to the dark annular band.
  • the zone here corresponds to an annular band surrounding the dark annular band 34, of width at most equal to that of the annular band.
  • width we understand a radial dimension relative to the theoretical center of the dark annular band.
  • the width 135 of the directly adjacent area has a value of about half that of the width 134 of the dark annular band.
  • a first exemplary embodiment consists, as was mentioned previously, in calculating the average luminosity of all the pixels forming the zone, here an annular band, directly adjacent to the dark annular band, and in applying this luminosity value of reference to each of the pixels forming the dark ring band.
  • a second exemplary embodiment consists, in accordance with what is illustrated in FIG. 6, in calculating the reference brightness by considering only a determined angular portion 52 of the directly adjacent zone 35. It is understood that the angular portions are defined with respect to a point corresponding to the theoretical center of the dark annular band.
  • the angular portion 52 can correspond to an angle value of 5 °.
  • the reference brightness calculated in this angular portion is applied to at least one, or to each of the pixels forming the corresponding angular portion of the dark annular band. More particularly, the reference brightness is applied to each of the pixels forming the corresponding angular portion of the dark annular band 34 when the processing of the captured image is carried out by successive processing of angular portions.
  • the average value of an angular portion for the directly neighboring area is strictly applied to the angular portion of the dark annular band.
  • the angular portion of the directly adjacent zone in which the average value forming the reference brightness value is calculated can be modified for each pixel of the dark annular band that is considered.
  • a line is drawn between the pixel under consideration and the theoretical center of the dark annular band, and this line is considered to be the bisector of the angular portion to be considered.
  • Another exemplary embodiment can consist in determining an axis passing through the pixel of the dark band whose luminosity is sought to be modified and through the theoretical center of the dark annular band and in determining a luminosity value of reference on this axis in the directly neighboring zone, the reference luminosity value then being applied to the pixel of the dark band whose luminosity is sought to be modified.
  • the directly neighboring zone has been chosen as a zone arranged outside the dark annular band, but that without departing from the context of the invention, the directly neighboring zone can be chosen as a zone arranged inside the dark annular band. Furthermore, in order to refine the correction of the luminosity of the pixels of the dark annular band, provision may be made to apply an averaged reference luminosity value taking into account both a directly neighboring area called interior and a directly adjacent area called exterior.
  • an annular band may persist, but with a brightness value such relative to the brightness of the rest of the image that the resulting low contrast does not risk generating bad interpretations that could penalize the driving assistance strategy resulting from the analysis of these processed images .
  • FIG. 8 there is illustrated a flowchart representative of a logic for implementing the alternative cleaning procedure and the specific image processing, as has just been described, which results therefrom.
  • a first step consists of an SI detection step of a need for cleaning.
  • the information relating to the need for cleaning can in particular be obtained by detecting the presence of dirt on the optics via the image processing and analysis means on board the vehicle, or it may well be the result of programming, for example when a determined period has elapsed without any cleaning operations.
  • a second step S2 then consists of a test step, in order to verify whether a stop of the vehicle is programmed within a short time or if it is possible to program such a stop.
  • the answer to this test can be given by programming navigation software or by asking the driver a question and analyzing his answer.
  • this test step is particularly easy to implement in the case of the application of an autonomous vehicle, whose central control unit can easily compile the navigation information.
  • test step S2 If the answer is yes to the test step S2 previously mentioned, for example when the vehicle is traveling at low speed, or when this vehicle is traveling on a motorway and a clearance area is provided at an acceptable distance, the operation cleaning is paused S4 and a second test step S5 is launched to define whether the visibility conditions deteriorate or not since it was decided to pause the cleaning operation.
  • a conventional cleaning operation is launched in a sixth step S6 with at least one sub step S7 of spraying cleaning liquid and, where appropriate, a sub-step S8 of rotating the optical element onto which the cleaning liquid is projected.
  • the invention achieves the goals that it had set itself and makes it possible to produce a driving assistance system, the use of which is advantageous in in terms of costs and environmental impact and which is moreover reliable in that it allows the production of processed images correctly reflecting the road scene.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Mechanical Engineering (AREA)
  • Studio Devices (AREA)
  • Traffic Control Systems (AREA)

Abstract

The invention concerns a driver assistance system for a motor vehicle, comprising at least one optical sensor configured to capture images of a road scene, at least one protective device surrounding the optical sensor, the protective device comprising a protective rotary casing comprising an optical element arranged opposite an optical surface of the optical sensor. The assistance system comprises an electronic control unit for acquiring and processing images captured by the optical sensor, which is configured to process images captured by the optical sensor using the rotating optical element, this electronic control unit being configured, in particular, for modifying the luminosity of at least one portion of the images captured by the optical sensor using the rotating optical element.

Description

ENSEMBLE DE PROTECTION D’UN CAPTEUR OPTIQUE D’UN SYSTÈME D’ASSISTANCE À LA CONDUITE POUR VÉHICULE AUTOMOBILE PROTECTION ASSEMBLY OF AN OPTICAL SENSOR OF A DRIVING ASSISTANCE SYSTEM FOR MOTOR VEHICLES
DESCRIPTION DESCRIPTION
La présente invention se rapporte au domaine de l’aide à la conduite et notamment aux systèmes d’assistance à la conduite, implantés sur certains véhicules, et plus particulièrement aux systèmes d’assistance à la conduite comportant un capteur optique, comme par exemple une caméra comprenant un objectif, et un boîtier rotatif de protection agencée autour de ce capteur. The present invention relates to the field of driving assistance and in particular to driving assistance systems, installed in certain vehicles, and more particularly to driving assistance systems comprising an optical sensor, such as for example a camera comprising a lens, and a rotating protective housing arranged around this sensor.
Actuellement, des capteurs optiques et par exemple des caméras de vision avant, arrière, ou encore latérales, équipent un grand nombre de véhicules automobiles. Elles font notamment partie de systèmes d’assistance à la conduite, tels que des systèmes d’aide au stationnement, ou encore des systèmes de détection de franchissement de ligne. Afin de détecter au mieux les obstacles situés tout autour du véhicule, il est connu d’installer les capteurs optiques des systèmes d’assistance à la conduite sur le pourtour des véhicules en différents endroits selon l’utilisation souhaitée, par exemple intégrés dans les pare-chocs arrière ou avant, dans les bandeaux de renfort latéraux, ou au niveau de la plaque d’immatriculation arrière ou avant du véhicule. Currently, optical sensors and for example front, rear, or even side vision cameras are fitted to a large number of motor vehicles. They are particularly part of driving assistance systems, such as parking assistance systems, or lane departure detection systems. In order to better detect the obstacles located all around the vehicle, it is known to install the optical sensors of the driving assistance systems on the perimeter of the vehicles in different places depending on the desired use, for example integrated in the windshields. - rear or front shocks, in the side reinforcement strips, or at the rear or front registration plate of the vehicle.
Les capteurs optiques sont dans ce cas fortement exposés aux projections de saletés minérales ou organiques qui peuvent se déposer sur la surface optique correspondante et ainsi réduire l’efficacité de la prise de vue ou de la détection d’informations, voire rendre totalement inopérant le capteur, détecteur, ou caméra concerné(e). En particulier par temps de pluie, on constate des projections de pluie et de saletés qui peuvent grandement affecter l’opérabilité du système d’assistance à la conduite comprenant un tel capteur optique. The optical sensors are in this case strongly exposed to projections of mineral or organic dirt which can be deposited on the corresponding optical surface and thus reduce the efficiency of the shooting or the detection of information, or even render the sensor completely inoperative. , detector, or camera concerned. Particularly in rainy weather, there are projections of rain and dirt which can greatly affect the operability of the driver assistance system including such an optical sensor.
On comprend dès lors que les surfaces optiques des capteurs doivent être nettoyées afin de garantir leur bon état de fonctionnement, et ce besoin est d’autant plus important dans le cas d’un véhicule autonome, dans lequel le pilotage du véhicule est réalisé par l’intermédiaire des informations recueillies par les caméras. It is therefore understood that the optical surfaces of the sensors must be cleaned in order to guarantee their good operating condition, and this need is all the more important in the the case of an autonomous vehicle, in which the vehicle is controlled by means of information collected by the cameras.
A cet effet, un capteur, et plus particulièrement une caméra, de système d’assistance à la conduite est associé à un dispositif de protection qui comprend un boîtier de protection logeant la caméra en la protégeant de l’environnement extérieur. Le boîtier de protection comporte un élément optique, transparent et agencé en vis-à-vis de l’objectif de la caméra pour permettre des prises de vue. Le boîtier de protection et l’élément optique associé sont entraînés en rotation par l’intermédiaire d’un moteur formant partie du dispositif de protection. Plus particulièrement, le moteur est configuré pour entraîner la rotation du boîtier de protection à une vitesse suffisante pour retirer par effet centrifuge des salissures ou de l’eau pouvant être présent sur l’élément optique. To this end, a sensor, and more particularly a camera, for the driving assistance system is associated with a protection device which includes a protective housing housing the camera while protecting it from the external environment. The protective housing has an optical element, transparent and arranged opposite the camera lens to allow shots. The protective housing and associated optical element are rotated by a motor forming part of the protective device. More particularly, the motor is configured to cause the rotation of the protective housing at a speed sufficient to remove by centrifugal effect any dirt or water which may be present on the optical element.
La rotation de l’élément optique est générée lorsqu’une salissure est présente sur la surface externe de l’élément optique et que cette salissure risque de pénaliser la qualité de l’image capturée. The rotation of the optical element is generated when a smear is present on the outer surface of the optical element and this smear could penalize the quality of the captured image.
On comprend que pour permettre de retirer les salissures par effet centrifuge, il est avantageux que de l’eau ou du liquide de nettoyage soit projeté préalablement à la rotation du boîtier de protection. It is understood that in order to allow dirt to be removed by centrifugal effect, it is advantageous for water or cleaning liquid to be sprayed prior to the rotation of the protective housing.
Un tel mode de fonctionnement présente un risque de surconsommation de liquide par rapport à la quantité de liquide strictement nécessaire lorsque le véhicule est en roulage, et notamment à grande vitesse sur voie rapide. Or, pour des questions de sécurité de conduite, il convient que chaque capteur associé au système d’assistance de conduite puisse fournir une image utilisable par le module de traitement de données de ce système d’assistance à la conduite. Il n’est dès lors pas possible d’attendre que le véhicule roule à une vitesse moindre, voir qu’il soit à l’arrêt, pour que l’opération de nettoyage avec projection de liquide puis mise en rotation du dispositif de protection soit lancée. Such an operating mode presents a risk of overconsumption of liquid relative to the quantity of liquid strictly necessary when the vehicle is moving, and in particular at high speed on a fast track. However, for driving safety issues, each sensor associated with the driving assistance system should be able to provide an image that can be used by the data processing module of this driving assistance system. It is therefore not possible to wait for the vehicle to travel at a slower speed, or even for it to be stationary, so that the cleaning operation with spraying of liquid then rotation of the protection device is launched.
La présente invention se propose de résoudre ce problème technique, en présentant un procédé de pilotage d’un système de nettoyage équipé d’un dispositif de protection rotatif qui permette une gestion appropriée de la projection de liquide avant la mise en rotation du dispositif de protection. L’invention concerne également un système d’assistance à la conduite équipé d’un tel système de nettoyage. The present invention proposes to solve this technical problem, by presenting a method for controlling a cleaning system equipped with a rotary protection device which allows appropriate management of the projection of liquid before the rotation of the device. protection device. The invention also relates to a driving assistance system equipped with such a cleaning system.
À cet effet l’invention a pour objet un système d’assistance à la conduite pour véhicule automobile comportant au moins un capteur optique configuré pour capturer des images d’une scène de route, au moins un dispositif de protection entourant le capteur optique, le dispositif de protection comportant d’une part un boîtier de protection rotatif comportant un élément optique agencé en vis-à-vis d’une surface optique du capteur optique et d’autre part un moteur configuré pour entraîner en rotation le boîtier de protection et l’élément optique autour d’un axe optique du capteur optique. Le système d’assistance comporte une unité de commande électronique, dédiée à l’acquisition et au traitement d’images capturées par le capteur optique, qui est configurée pour traiter des images capturées par le capteur optique avec l’élément optique tournant, cette unité de commande électronique étant notamment configurée pour modifier la luminosité d’au moins une partie des images capturées par le capteur optique avec l’élément optique tournant. To this end, the invention relates to a driving assistance system for a motor vehicle comprising at least one optical sensor configured to capture images of a road scene, at least one protection device surrounding the optical sensor, the protection device comprising on the one hand a rotary protection housing comprising an optical element arranged opposite an optical surface of the optical sensor and on the other hand a motor configured to drive the protection housing in rotation and the optical element around an optical axis of the optical sensor. The assistance system comprises an electronic control unit, dedicated to the acquisition and processing of images captured by the optical sensor, which is configured to process images captured by the optical sensor with the rotating optical element, this unit electronic control being configured in particular to modify the brightness of at least part of the images captured by the optical sensor with the rotating optical element.
Selon différentes caractéristiques de l’invention, prises seules ou en combinaison, on pourra prévoir que : According to different characteristics of the invention, taken alone or in combination, it is possible to provide that:
- le système d’assistance à la conduite est configuré pour générer une stratégie d’assistance à la conduite sur la base d’au moins une des images capturées par le capteur optique. - the driving assistance system is configured to generate a driving assistance strategy based on at least one of the images captured by the optical sensor.
- l’unité de commande électronique est configurée pour traiter distinctement d’une part des images capturées par le capteur optique avec l’élément optique fixe, lors d’un mode de roulage classique dans lequel le capteur optique n’a pas besoin d’être nettoyé, et d’autre part les images capturées par le capteur optique avec l’élément optique tournant tel que précédemment évoqué, lors d’opérations de nettoyage du capteur optique par effet centrifuge sous l’effet de la rotation de l’élément optique. - the electronic control unit is configured to separately process on the one hand the images captured by the optical sensor with the fixed optical element, during a conventional driving mode in which the optical sensor does not need to be cleaned, and on the other hand the images captured by the optical sensor with the rotating optical element as previously mentioned, during cleaning operations of the optical sensor by centrifugal effect under the effect of the rotation of the optical element .
- l’unité de commande électronique est configurée pour détecter une bande annulaire sombre dans la ou les images capturées avec l’élément optique tournant et pour relever un premier niveau de luminosité d’au moins un pixel de cette bande annulaire sombre, pour détecter un deuxième niveau de luminosité d’au moins un pixel présent dans une zone directement voisine de ladite bande annulaire sombre, et pour calculer une image traitée dans laquelle les points de la bande annulaire sombre sont traités avec la luminosité du point associé de la bande annulaire voisine. the electronic control unit is configured to detect a dark annular band in the image (s) captured with the rotating optical element and to detect a first level of brightness of at least one pixel of this dark annular band, to detect a second level of brightness of at least one pixel present in an area directly adjacent to said dark annular band, and to calculate a processed image in which the points of the dark annular band are processed with the brightness of the associated point of the neighboring annular band.
- l’unité de commande électronique est configurée pour détecter un deuxième niveau de luminosité d’une pluralité de pixels présents dans ladite zone directement voisine et pour calculer une valeur moyenne de luminosité à appliquer au ou aux pixels de la bande annulaire sombre. - The electronic control unit is configured to detect a second level of brightness of a plurality of pixels present in said directly neighboring area and to calculate an average value of brightness to be applied to the pixel or pixels of the dark ring band.
- la valeur moyenne de luminosité est calculée en considérant l’ensemble des pixels de la zone directement voisine qui sont présents dans une portion angulaire déterminée, la valeur moyenne de luminosité calculée étant appliquée à au moins un des pixels formant la portion angulaire correspondante de la bande annulaire sombre. - the average luminosity value is calculated by considering all the pixels of the directly neighboring zone which are present in a determined angular portion, the calculated average luminosity value being applied to at least one of the pixels forming the corresponding angular portion of the dark ring band.
- la zone directement voisine est une bande annulaire formée autour de la bande annulaire sombre. - the directly neighboring zone is an annular band formed around the dark annular band.
- le système d’assistance comporte un dispositif de projection de liquide de nettoyage sur l’élément optique et une unité de commande centrale configurée de sorte à commander le fonctionnement du boîtier de protection rotatif et de l’élément optique associé et le fonctionnement du dispositif de projection de liquide en fonction d’un état de fonctionnement du véhicule. - the assistance system comprises a device for spraying cleaning liquid onto the optical element and a central control unit configured so as to control the operation of the rotary protective housing and of the associated optical element and the operation of the device spraying liquid depending on the operating condition of the vehicle.
Le système d’assistance est ainsi configuré de manière à pouvoir procéder à une opération de nettoyage standard ou à une opération de nettoyage alternative, dans un mode de nettoyage qui peut être qualifié de dégradé mais qui est accompagné d’un traitement d’images spécifique pour offrir une qualité d’images satisfaisantes pour le système d’assistance à la conduite. La procédure de nettoyage standard comporte au moins une étape de projection de liquide de nettoyage et la procédure de nettoyage alternative comporte uniquement une étape de mise en rotation du dispositif de protection et de mise en œuvre d’un traitement d’images spécifique pour modifier la luminosité d’au moins une partie des images capturées par le capteur optique avec l’élément optique tournant. Selon une caractéristique de l’invention, l’état de fonctionnement du véhicule est la vitesse, l’unité de commande centrale étant configurée pour mettre en œuvre le dispositif de projection de liquide uniquement lorsque la vitesse du véhicule présente une valeur inférieure à celle d’un seuil de vitesse déterminé. The assistance system is thus configured so as to be able to carry out a standard cleaning operation or an alternative cleaning operation, in a cleaning mode which may be qualified as degraded but which is accompanied by specific image processing. to provide picture quality satisfactory for the driver assistance system. The standard cleaning procedure includes at least one step of spraying cleaning liquid and the alternative cleaning procedure only includes a step of rotating the protection device and implementing specific image processing to modify the brightness of at least part of the images captured by the optical sensor with the rotating optical element. According to one characteristic of the invention, the operating state of the vehicle is speed, the central control unit being configured to implement the liquid projection device only when the speed of the vehicle has a value lower than that of 'a determined speed threshold.
L’invention concerne en outre un procédé de traitement et d’analyse d’images pour un système d’assistance à la conduite au cours duquel on récupère des images capturées par un capteur optique, on détecte dans chaque image une bande annulaire sombre dont la luminosité moyenne est supérieure à la luminosité moyenne de l’image, on associe à chaque pixel de cette bande annulaire sombre un ou plusieurs pixel correspondant d’une zone directement voisine de la bande annulaire sombre et on calcule une image modifiée dans laquelle chaque pixel de la bande annulaire sombre est traité avec une luminosité égale à celle du ou des pixels correspondants de la zone directement voisine. The invention further relates to an image processing and analysis method for a driving assistance system in which images captured by an optical sensor are recovered, in each image a dark annular band is detected whose average brightness is greater than the average brightness of the image, we associate with each pixel of this dark annular band one or more corresponding pixel of a zone directly adjacent to the dark annular band and we calculate a modified image in which each pixel of the dark annular band is treated with a luminosity equal to that of the corresponding pixel or pixels of the directly neighboring area.
Selon une caractéristique de l’invention, on peut mettre en œuvre les différentes étapes lorsque la vitesse du véhicule présente une valeur supérieure à celle d’un seuil déterminé. According to one characteristic of the invention, the various steps can be implemented when the speed of the vehicle has a value greater than that of a determined threshold.
Selon une caractéristique de l’invention, on peut mettre en œuvre les différentes étapes immédiatement lorsque l’on détecte qu’une phase d’arrêt du véhicule est prévue dans un délai supérieur à un temps donné. According to one characteristic of the invention, the various steps can be implemented immediately when it is detected that a vehicle stopping phase is scheduled within a period greater than a given time.
L’invention concerne en outre un véhicule automobile mettant en œuvre un procédé de traitement et d’analyse d’images pour un système d’assistance à la conduite. Et elle concerne plus particulièrement, dans le cas où le procédé est tel que l’on met en œuvre les différentes étapes lorsque l’on détecte qu’une phase d’arrêt du véhicule est prévue dans un délai supérieur à un temps donné, un véhicule dans lequel l’information relative à la phase d’arrêt à venir du véhicule est détectée en fonction d’une information d’un logiciel de navigation. A titre d’exemple d’application, le véhicule peut notamment être un véhicule autonome. The invention further relates to a motor vehicle implementing a process for processing and analyzing images for a driving assistance system. And it relates more particularly, in the case where the method is such that the various steps are implemented when it is detected that a stopping phase of the vehicle is planned within a period greater than a given time, a vehicle in which the information relating to the upcoming stopping phase of the vehicle is detected as a function of information from navigation software. As an example of an application, the vehicle can in particular be an autonomous vehicle.
D’autres caractéristiques et avantages de l’invention apparaîtront plus clairement à la lecture de la description suivante, donnée à titre d’exemple illustratif et non limitatif, et des dessins annexés parmi lesquels : - [Fig. 1] représente une vue de face d’un véhicule automobile, comprenant au niveau de sa calandre un système d’assistance à la conduite et notamment un capteur optique logé dans un dispositif de protection rotatif ; Other characteristics and advantages of the invention will emerge more clearly on reading the following description, given by way of illustrative and non-limiting example, and the appended drawings, among which: - [Fig. 1] shows a front view of a motor vehicle, comprising at its grille a driving assistance system and in particular an optical sensor housed in a rotary protection device;
- [Fig. 2] représente une vue schématique et en perspective d’un dispositif de protection d’un capteur optique d’un système d’assistance à la conduite tel qu’il peut être mis en œuvre sur la figure 1 ; - [Fig. 2] shows a schematic and perspective view of a device for protecting an optical sensor of a driving assistance system such as can be implemented in Figure 1;
- [Fig. 3] illustre schématiquement une vue de côté illustrant l’implantation d’un système d’assistance d’aide à la conduite dans un élément de structure du véhicule, la figure rendant visible le dispositif de détection, le dispositif de projection de liquide de nettoyage et l’unité de commande électronique du système d’assistance à la conduite selon le présent exemple de réalisation ; - [Fig. 3] schematically illustrates a side view illustrating the installation of a driving assistance system in a structural element of the vehicle, the figure making visible the detection device, the cleaning liquid projection device and the electronic control unit of the driving assistance system according to the present exemplary embodiment;
- [Fig. 4] illustre de façon schématique le procédé de traitement d’image formant partie du procédé de pilotage illustré par ailleurs sur la figure 8, cette figure rendant visible une scène de route acquise par un capteur optique propre, sans salissures ; - [Fig. 4] schematically illustrates the image processing method forming part of the piloting method illustrated elsewhere in Figure 8, this figure making visible a road scene acquired by a clean optical sensor, without dirt;
- [Fig. 5] illustre de façon schématique le procédé de traitement d’image formant partie du procédé de pilotage illustré par ailleurs sur la figure 8, cette figure rendant visible une scène de route acquise par un capteur optique avec un élément optique mis en rotation dans le champ de vision du une coupe longitudinale partielle d’un véhicule automobile, ce qui génère un anneau sombre formé par la rotation de la salissure autour de l’axe de rotation sensiblement confondu avec l’axe optique du capteur optique ; - [Fig. 5] illustrates schematically the image processing method forming part of the control method illustrated elsewhere in FIG. 8, this figure making visible a road scene acquired by an optical sensor with an optical element rotated in the field. viewing a partial longitudinal section of a motor vehicle, which generates a dark ring formed by the rotation of the dirt about the axis of rotation substantially coincident with the optical axis of the optical sensor;
- [Fig. 6] illustre de façon schématique le procédé de traitement d’image formant partie du procédé de pilotage illustré par ailleurs sur la figure 8, cette figure illustrant la même image de scène de route que celle de la figure 5 sur laquelle on a représenté théoriquement un anneau extérieur à l’anneau sombre pour y détecter des points référentiels avec une luminosité distincte de celle présente dans l’anneau sombre ; - [Fig. 6] schematically illustrates the image processing method forming part of the piloting method illustrated elsewhere in FIG. 8, this figure illustrating the same road scene image as that of FIG. 5 in which theoretically a ring outside the dark ring to detect therein reference points with a brightness distinct from that present in the dark ring;
- [Fig. 7] illustre de façon schématique le procédé de traitement d’image formant partie du procédé de pilotage illustré par ailleurs sur la figure 8, cette figure illustrant la même image de scène de route que celle de la figure 5 après traitement par le dispositif selon l’invention pour redonner de la luminosité à la partie de l’image présente dans l’anneau sombre ; - [Fig. 7] illustrates schematically the image processing method forming part of the control method illustrated elsewhere in FIG. 8, this figure illustrating the same image road scene than that of Figure 5 after processing by the device according to the invention to restore brightness to the part of the image present in the dark ring;
- [Fig. 8] représente, via un organigramme simplifié, un procédé de pilotage du système d’assistance à la conduite selon l’invention. - [Fig. 8] shows, via a simplified flowchart, a method of controlling the driver assistance system according to the invention.
Il faut tout d’abord noter que les figures exposent l’invention de manière détaillée pour mettre en œuvre l’invention, lesdites figures pouvant bien entendu servir à mieux définir l’invention le cas échéant. Sur ces figures, les éléments identiques portent les mêmes références. Les différentes réalisations sont des exemples. Bien que la description se réfère à un ou plusieurs modes de réalisation, ceci ne signifie pas nécessairement que chaque référence concerne le même mode de réalisation, ou que les caractéristiques s’appliquent à un seul mode de réalisation. De simples caractéristiques de différents modes de réalisation peuvent également être combinées ou interchangées pour fournir d’autres réalisations. It should first be noted that the figures set out the invention in detail to implement the invention, said figures can of course be used to better define the invention where appropriate. In these figures, identical elements bear the same references. The different realizations are examples. Although the description refers to one or more embodiments, this does not necessarily mean that each reference relates to the same embodiment, or that the characteristics apply to a single embodiment. Simple features of different embodiments can also be combined or interchanged to provide other embodiments.
Par ailleurs, il convient de noter que dans la description, on peut indexer certains éléments, avec par exemple un premier élément ou un deuxième élément. Dans ce cas, il s’agit d’un simple indexage pour différencier et dénommer des éléments proches, mais non identiques. Cette indexation n’implique pas une priorité d’un élément par rapport à un autre et on peut aisément interchanger de telles dénominations sans sortir du cadre de la présente description. Furthermore, it should be noted that in the description, certain elements can be indexed, for example with a first element or a second element. In this case, it is a simple indexing to differentiate and name similar elements, but not identical. This indexing does not imply a priority of one element over another and one can easily interchange such names without departing from the scope of the present description.
Un véhicule 100 est équipé selon l’invention d’un système d'assistance à la conduite 1, qui comporte au moins un dispositif de détection 2 comprenant au moins un capteur optique 4 et un dispositif de protection 6 agencé autour de ce capteur optique et dont une partie transparente agencée en regard du capteur est mobile en rotation. Dans l’exemple illustré, il a été plus particulièrement rendu visible un dispositif de détection 2 formé par une caméra de vision avant disposée dans la calandre 8 du véhicule, mais on comprendra que ce qui va suivre en relation avec un tel dispositif de détection pourra être mis en œuvre pour des dispositifs disposés également ou alternativement à l’arrière ou latéralement par rapport au véhicule. Selon l’invention, le système d’assistance à la conduite 1 comporte en outre au moins des moyens de traitement d’image spécifiques qui sont configurés pour traiter une partie des images acquises par le capteur optique 4, et plus particulièrement, tel que cela va être décrit plus en détails ci-après, pour traiter les images acquises par le capteur optique 4 alors que la partie transparente du dispositif de protection 6 précédemment évoquée est tournante. A vehicle 100 is equipped according to the invention with a driving assistance system 1, which comprises at least one detection device 2 comprising at least one optical sensor 4 and a protection device 6 arranged around this optical sensor and a transparent part of which arranged facing the sensor is movable in rotation. In the example illustrated, it has more particularly been made visible a detection device 2 formed by a front vision camera arranged in the grille 8 of the vehicle, but it will be understood that what follows in relation to such a detection device may be implemented for devices arranged also or alternately at the rear or laterally relative to the vehicle. According to the invention, the driving assistance system 1 further comprises at least specific image processing means which are configured to process part of the images acquired by the optical sensor 4, and more particularly, such as this will be described in more detail below, to process the images acquired by the optical sensor 4 while the transparent part of the protection device 6 mentioned above is rotating.
Le capteur optique 4 est par exemple un capteur optique de prise de vues tel qu’une caméra. Il peut s’agir d’un capteur CCD (pour“charged coupled device” en anglais à savoir un dispositif à transfert de charge) ou d’un capteur CMOS comportant une matrice de photodiodes miniatures. Selon une autre variante, sans que pour autant cette liste soit exhaustive, il peut s’agir d’un capteur pour télédétection par laser dit capteur LIDAR, acronyme en anglais de“light détection and ranging”. The optical sensor 4 is for example an optical sensor for taking pictures such as a camera. It can be a CCD sensor (for "charged coupled device" in English, namely a charge transfer device) or a CMOS sensor comprising an array of miniature photodiodes. According to another variant, without however this list being exhaustive, it may be a sensor for remote sensing by laser called LIDAR sensor, acronym in English for "light detection and ranging".
Tel que cela est visible sur la figure 1, le système d’assistance à la conduite selon l’invention comporte également un dispositif de projection 12 de liquide de nettoyage disposé à proximité du dispositif de détection 2 et configuré pour pouvoir projeter à la demande du liquide de nettoyage sur la partie transparente du dispositif de protection. As can be seen in FIG. 1, the driving assistance system according to the invention also comprises a device 12 for spraying cleaning liquid arranged near the detection device 2 and configured to be able to spray at the request of the driver. cleaning liquid on the transparent part of the protection device.
Tel que cela sera décrit plus en détails ci-après, le système d’assistance à la conduite 1 selon l’invention est configuré de manière à pouvoir procéder à une opération de nettoyage standard ou à une opération de nettoyage alternative, dans un mode de nettoyage qui peut être qualifié de dégradé mais qui est accompagné d’un traitement d’images spécifique pour offrir une qualité d’images satisfaisantes pour le système d’assistance à la conduite. As will be described in more detail below, the driving assistance system 1 according to the invention is configured so as to be able to carry out a standard cleaning operation or an alternative cleaning operation, in a mode of operation. cleaning which can be qualified as degraded but which is accompanied by specific image processing to provide satisfactory image quality for the driving assistance system.
Lors de l’opération de nettoyage standard, le dispositif de projection 12 est mis en œuvre pour projeter du liquide de nettoyage sur la partie transparente du dispositif de protection 6, cette opération étant le cas échéant accompagnée d’une opération de mise en rotation de cette partie transparente du dispositif de protection 6 pour évacuer les résidus de saletés ou les gouttes résultant de la projection de liquide de nettoyage préalable ou simultanée. During the standard cleaning operation, the projection device 12 is used to project cleaning liquid onto the transparent part of the protection device 6, this operation being, if necessary, accompanied by an operation of rotating the device. this transparent part of the protection device 6 for removing dirt residues or drops resulting from the projection of cleaning liquid prior or simultaneously.
Il convient de noter qu’à contrario, lors de l’opération de nettoyage alternative, aucun liquide de nettoyage n’est utilisé. Cette procédure de nettoyage alternative comporte uniquement une étape de mise en rotation du dispositif de protection et de mise en œuvre d’un traitement d’images spécifique pour modifier la luminosité d’au moins une partie des images capturées par le capteur optique avec l’élément optique tournant. It should be noted that, on the contrary, during the alternative cleaning operation, no cleaning liquid is used. This alternative cleaning procedure only includes a step of rotating the protection device and implementing specific image processing to modify the brightness of at least part of the images captured by the optical sensor with the rotating optical element.
Sur la figure 2, le dispositif de protection 6 a été représenté partiellement transparent pour rendre visible le capteur optique 4 logé dans le dispositif de protection. Le capteur optique 4 comporte une surface optique 14 et un axe optique AO. La surface optique 14 est par exemple un objectif de caméra, qui peut comporter une ou plusieurs lentilles suivant le champ de vision et la résolution souhaités. In Figure 2, the protection device 6 has been shown partially transparent to make visible the optical sensor 4 housed in the protection device. The optical sensor 4 comprises an optical surface 14 and an optical axis A0. The optical surface 14 is for example a camera lens, which may include one or more lenses depending on the field of view and the desired resolution.
Le capteur optique 4 est monté au moins en partie dans un boîtier de protection 16 formant un premier sous-ensemble du dispositif de protection 6. Pour ce faire, le boîtier de protection 16 comporte une paroi 17 délimitant une cavité dans laquelle est logé le capteur optique. Cette paroi 17 est de préférence centrée autour de l’axe optique AO du capteur optique 4. Dans l’exemple illustré, la paroi 17 est de forme sensiblement cylindrique. The optical sensor 4 is mounted at least in part in a protective housing 16 forming a first sub-assembly of the protective device 6. To do this, the protective housing 16 comprises a wall 17 delimiting a cavity in which the sensor is housed. optical. This wall 17 is preferably centered around the optical axis AO of the optical sensor 4. In the example illustrated, the wall 17 is of substantially cylindrical shape.
Le boîtier de protection 16 comprend également un élément optique 18 formé par la paroi transparente précédemment décrite et disposé en aval de la surface optique 14 du capteur optique 4. Cet élément optique 18 est avantageusement dimensionné de façon à recouvrir toute la surface optique 14. En d’autres termes, l’élément optique 18 est agencé dans le champ de vision du capteur optique 4, la paroi transparente permettant de ne pas nuire à l’efficacité du capteur optique 4. L’élément optique 18 peut être réalisé d’une seule pièce avec le boîtier de protection 16. En alternative, le boîtier de protection et l’élément optique peuvent être deux pièces distinctes solidarisées entre elles. La paroi transparente formant tout ou partie de l’élément optique 18 peut être réalisée en verre ou en un matériau plastique tel que du polycarbonate. Le boîtier de protection 16 peut être réalisé en tout matériau approprié connu de l’homme du métier, de préférence à partir d’un matériau étanche. The protective housing 16 also comprises an optical element 18 formed by the transparent wall described above and arranged downstream of the optical surface 14 of the optical sensor 4. This optical element 18 is advantageously dimensioned so as to cover the entire optical surface 14. In in other words, the optical element 18 is arranged in the field of view of the optical sensor 4, the transparent wall making it possible not to impair the efficiency of the optical sensor 4. The optical element 18 can be made from a one piece with the protective case 16. As an alternative, the protective case and the optical element can be two separate parts joined together. The transparent wall forming all or part of the optical element 18 can be made of glass or of a plastic material such as polycarbonate. The protective housing 16 can be made of any suitable material known to those skilled in the art, preferably from a waterproof material.
Par disposition de l’élément optique 18 en aval de la surface optique 14, on comprend que l’élément optique 18 est disposée entre l’extérieur du véhicule et la surface optique 14 du capteur optique 4, de sorte que l’élément optique 18 protège la surface optique des projections éventuelles de salissures ou débris solides qui pourraient abîmer cette surface optique. Il s’agit donc d’un élément de protection, ou plus précisément d’un masque de protection du capteur optique 4, et c’est cet élément optique 18 qui est soumis aux agressions provenant de l'extérieur, c'est-à-dire aussi bien des projections d’eau, de polluants, de graviers que des dépôts de polluants ou des traces d’eau. Afin de permettre le nettoyage de la surface de l’élément optique 18 par effet centrifuge, comme décrit ci-dessus, le dispositif de protection 6 comporte un moteur 22 formant un deuxième sous-ensemble. Le moteur 22 est couplé au boîtier de protection 16 de façon à entraîner en rotation le boîtier de protection 16 et donc l’élément optique 18 autour d’un axe de rotation Al, confondu avec l’axe optique OA du capteur optique 4. By arranging the optical element 18 downstream of the optical surface 14, it is understood that the optical element 18 is disposed between the exterior of the vehicle and the optical surface 14 of the optical sensor 4, so that the optical element 18 protects the optical surface from any projections of dirt or solid debris which could damage this optical surface. It is therefore a protective element, or more precisely a protective mask. protection of the optical sensor 4, and it is this optical element 18 which is subjected to attacks from the outside, that is to say both projections of water, pollutants, gravel and deposits of pollutants or traces of water. In order to allow cleaning of the surface of the optical element 18 by centrifugal effect, as described above, the protection device 6 comprises a motor 22 forming a second sub-assembly. The motor 22 is coupled to the protective housing 16 so as to drive the protective housing 16 and therefore the optical element 18 in rotation about an axis of rotation A1, coincident with the optical axis OA of the optical sensor 4.
Les images capturées par le capteur optique 4 sont récupérées et traitées par une unité de commande électronique 24 qui comporte à cet effet un module d’acquisition 25 configuré pour acquérir ces images et un module de traitement et de mise en forme 26 des images ainsi acquises, ainsi qu’un module de communication 28 configuré pour envoyer ces images traitées à une unité de commande centrale 30 configurée pour utiliser ces images et les intégrer dans une stratégie d’assistance à la conduite. The images captured by the optical sensor 4 are recovered and processed by an electronic control unit 24 which for this purpose comprises an acquisition module 25 configured to acquire these images and a processing and formatting module 26 of the images thus acquired. , as well as a communication module 28 configured to send these processed images to a central control unit 30 configured to use these images and integrate them into a driving assistance strategy.
Une procédure de nettoyage standard du dispositif de détection 2 est déclenchée à chaque démarrage du véhicule, ou bien de façon cyclique après un nombre déterminé d’arrêts du véhicule, ou bien lorsqu’il est détecté par analyse de l’image acquise par le capteur optique qu’une salissure importante vient gêner la lecture et l’utilisation de cette image. Une unité de commande électronique 31 dédiée au nettoyage du capteur optique, qui peut être confondue avec l’unité de commande centrale, commande simultanément ou successivement la projection de liquide de nettoyage, représenté sur la figure 3 par la zone hachurée, sur la surface transparente du dispositif de protection 6 disposée en regard de la surface optique 14 du capteur optique 4 et la mise en rotation du dispositif de protection 6 et de l’élément optique 18 formant la surface transparente. A standard cleaning procedure for the detection device 2 is triggered each time the vehicle is started, or cyclically after a determined number of vehicle stops, or else when it is detected by analysis of the image acquired by the sensor. optically that significant dirt hinders the reading and use of this image. An electronic control unit 31 dedicated to cleaning the optical sensor, which can be confused with the central control unit, simultaneously or successively controls the projection of cleaning liquid, represented in FIG. 3 by the hatched area, on the transparent surface of the protection device 6 disposed opposite the optical surface 14 of the optical sensor 4 and the rotation of the protection device 6 and of the optical element 18 forming the transparent surface.
Selon l’invention, l’unité de commande électronique dédiée au nettoyage du capteur 31, ou directement l’unité de commande centrale 30, peut commander une procédure de nettoyage alternative, notamment lorsque le véhicule est en roulage à grande vitesse et qu’il est détecté par analyse de l’image capturée par le capteur optique 4 qu’une salissure importante vient gêner la lecture et l’utilisation de cette image. Cette procédure de nettoyage alternative consiste en une mise en rotation seule du dispositif de protection 6, c’est-à-dire une mise en rotation effectuée sans projection préalable ou simultanée de liquide de nettoyage, afin d’économiser le liquide qui serait inutile car projeté à l’écart du dispositif de détection du fait de la vitesse du véhicule. According to the invention, the electronic control unit dedicated to cleaning the sensor 31, or directly the central control unit 30, can control an alternative cleaning procedure, in particular when the vehicle is traveling at high speed and it is detected by analysis of the image captured by the optical sensor 4 that significant soiling is coming interfere with the reading and use of this image. This alternative cleaning procedure consists of only rotating the protection device 6, that is to say, rotating without prior or simultaneous projection of cleaning liquid, in order to save the liquid which would be unnecessary because projected away from the sensing device due to vehicle speed.
Lors de cette procédure de nettoyage alternative, il convient de noter que les images capturées par le capteur optique 4 sont récupérées par l’unité de commande électronique 24 dédiée à l’acquisition et au traitement d’images. De la sorte, les images capturées par le capteur optique 4 peuvent se distinguer en deux catégories parmi lesquelles une première catégorie d’images capturées par le capteur optique alors que l’élément optique 18 transparent est fixe et ne bouge pas dans le champ de vision du capteur optique, et une deuxième catégorie d’images capturées par le capteur optique 4 alors que l’élément optique 18 transparent est mobile en rotation et bouge pas dans le champ de vision du capteur optique. During this alternative cleaning procedure, it should be noted that the images captured by the optical sensor 4 are recovered by the electronic control unit 24 dedicated to the acquisition and processing of images. In this way, the images captured by the optical sensor 4 can be distinguished into two categories, including a first category of images captured by the optical sensor while the transparent optical element 18 is fixed and does not move in the field of view. of the optical sensor, and a second category of images captured by the optical sensor 4 while the transparent optical element 18 is movable in rotation and does not move in the field of view of the optical sensor.
Dans le cadre de cette procédure de nettoyage alternative, l’unité de commande électronique 24 dédiée à l’acquisition et au traitement d’images est particulière en ce qu elle comporte un module de traitement d’images spécifique 32, mis en œuvre lorsque la ou les images traitées par ce module spécifique 32 ont été acquises avec l’élément optique 18 transparent en train de tourner dans le champ de vision du capteur optique 4. As part of this alternative cleaning procedure, the electronic control unit 24 dedicated to the acquisition and processing of images is particular in that it comprises a specific image processing module 32, implemented when the or the images processed by this specific module 32 have been acquired with the transparent optical element 18 rotating in the field of view of the optical sensor 4.
Plus particulièrement, et tel que cela va être décrit ci-après, le système d’assistance à la conduite 1 selon l’invention comporte au moins des moyens de traitement d’images spécifiques qui sont configurés pour modifier la luminosité d’au moins une image acquise avec l’élément optique 18 tournant, ou plus précisément pour modifier la luminosité d’une partie de cette au moins une image, la partie dont la luminosité est à modifier consistant en une bande annulaire sombre 34 résultant de la rotation autour de l’axe optique, confondu avec l’axe de rotation du dispositif de détection, d’une salissure présente sur l’élément optique transparent. Sur la figure 3, on a notamment illustré une représentation schématique dans laquelle le système d’assistance à la conduite comporte un dispositif de détection 3 et un dispositif de projection 12 de liquide associé, ainsi qu’une unité de commande électronique 31 dédiée au nettoyage du capteur, reliée aussi bien au dispositif de projection 12 de liquide qu’au dispositif de détection 2, et une unité de commande électronique 24 dédiée à l’acquisition et au traitement d’images, recevant des données du capteur optique. Les deux unités de commande électronique sont reliées à l’unité de commande centrale 30. Dans l’exemple illustré, des simples flèches peuvent être représentées pour illustrer un sens de communication particulièrement décrit, mais on comprendra que la communication peut être réalisée dans les deux sens entre deux unités de commande sans que l’on sorte du contexte de l’invention. More particularly, and as will be described below, the driving assistance system 1 according to the invention comprises at least specific image processing means which are configured to modify the brightness of at least one. image acquired with the optical element 18 rotating, or more precisely to modify the luminosity of a part of this at least one image, the part whose luminosity is to be modified consisting of a dark annular band 34 resulting from the rotation around the optical axis, coincident with the axis of rotation of the detection device, of a dirt present on the transparent optical element. In Figure 3, there is in particular illustrated a schematic representation in which the driving assistance system comprises a detection device 3 and an associated liquid projection device 12, as well as an electronic control unit 31 dedicated to cleaning. of the sensor, connected both to the liquid projection device 12 and to the detection device 2, and an electronic control unit 24 dedicated to the acquisition and processing of images, receiving data from the optical sensor. The two electronic control units are connected to the central control unit 30. In the example illustrated, simple arrows can be represented to illustrate a particularly described direction of communication, but it will be understood that the communication can be carried out in both. direction between two control units without departing from the context of the invention.
Par ailleurs, dans l’exemple illustré, il a été représenté trois unités de commande électroniques distinctes communiquant entre elles. Toutefois, il convient de noter que sans sortir du contexte de l’invention, on pourra prévoir que les différentes unités soient regroupées au sein d’une même unité de commande. Furthermore, in the example illustrated, three separate electronic control units have been shown communicating with each other. However, it should be noted that without departing from the context of the invention, provision can be made for the different units to be grouped together within the same control unit.
La figure 3 rend notamment visible la configuration présentée précédemment selon laquelle l’unité de commande électronique 24 dédiée à l’acquisition et au traitement d’images peut comporter un module d’acquisition d’images 25, directement reliée au capteur optique 4 et permettant de récupérer et stocker les images de scène de route capturées par le capteur optique, un module de traitement et de mise en forme d’images 26 configuré pour établir une image représentative de la scène de route et un module de traitement d’images spécifique 32 configuré pour traiter la luminosité d’au moins une partie d’une image acquise lorsque l’élément optique transparent est mobile en rotation. FIG. 3 makes visible in particular the configuration presented above according to which the electronic control unit 24 dedicated to the acquisition and to the image processing can comprise an image acquisition module 25, directly connected to the optical sensor 4 and allowing to recover and store the road scene images captured by the optical sensor, an image processing and formatting module 26 configured to establish an image representative of the road scene and a specific image processing module 32 configured to process the brightness of at least a portion of an image acquired when the transparent optical element is rotatable.
Par ailleurs, l’unité de commande électronique 24 dédiée à l’acquisition et au traitement d’images comporte également un module de communication 28, qui lui permet de dialoguer par des moyens connus avec l’unité de commande centrale 30, par exemple formée par un ordinateur de bord du véhicule automobile. On va maintenant décrire, en se référant aux figures 4 à 7, un mode de fonctionnement du module de traitement d’images spécifique 32. Furthermore, the electronic control unit 24 dedicated to the acquisition and processing of images also comprises a communication module 28, which allows it to communicate by known means with the central control unit 30, for example formed by an on-board computer of the motor vehicle. A description will now be given, with reference to FIGS. 4 to 7, of an operating mode of the specific image processing module 32.
Sur la figure 4, on a illustré une image acquise par le capteur optique 4, sur laquelle une salissure 50 a été détectée dans le champ de vision du capteur optique. On comprend que la présence de cette salissure 50, déposée sur la surface transparente de l’élément optique 18 en regard du capteur optique 4, gêne l’interprétation de l’image et empêche d’élaborer une stratégie d’assistance à la conduite fiable. Dans des conditions qui seront notamment décrites ci-après, il peut être décidé de mettre en œuvre une procédure de nettoyage alternative dans laquelle aucun liquide de nettoyage n’est projeté sur l’élément optique 18 et dans laquelle seules sont prévues une étape de mise en rotation de l’élément optique et une étape de traitement des images acquises avec l’élément optique tournant. In FIG. 4, there is illustrated an image acquired by the optical sensor 4, on which a dirt 50 has been detected in the field of view of the optical sensor. It is understood that the presence of this dirt 50, deposited on the transparent surface of the optical element 18 facing the optical sensor 4, hinders the interpretation of the image and prevents the development of a reliable driving assistance strategy. . Under conditions which will be described in particular below, it may be decided to implement an alternative cleaning procedure in which no cleaning liquid is sprayed onto the optical element 18 and in which only a setting step is provided. rotating the optical element and a step of processing the images acquired with the rotating optical element.
En figure 5, on a représenté une image résultant de la rotation de l’élément optique 18 autour d’un axe de rotation confondu avec l’axe optique AO du capteur optique. Cette rotation a généré autour de cet axe une rotation de la salissure 50. La différence entre la vitesse de rotation de l’élément optique, de l’ordre de 10.000 tours/minute, et la résolution de la caméra, de l’ordre de 30 images/seconde, participe à générer une image semblable à celle de la figure 4, sur laquelle une bande annulaire sombre 34 est formée par le déplacement de la salissure 50 autour de l’axe de rotation confondu avec l’axe optique AO. In Figure 5, there is shown an image resulting from the rotation of the optical element 18 about an axis of rotation coincident with the optical axis AO of the optical sensor. This rotation generated around this axis a rotation of the dirt 50. The difference between the speed of rotation of the optical element, of the order of 10,000 revolutions / minute, and the resolution of the camera, of the order of 30 images / second, participates in generating an image similar to that of FIG. 4, on which a dark annular band 34 is formed by the displacement of the dirt 50 around the axis of rotation coincident with the optical axis AO.
On comprend que dans cette bande annulaire sombre 34, les pixels de l’image conservent la même couleur que dans l’image de la scène de route captée mais présentent une luminosité de valeur moindre par rapport à la valeur de luminosité d’origine. It is understood that in this dark annular band 34, the pixels of the image retain the same color as in the image of the captured road scene but have a lower value brightness compared to the original brightness value.
La mise en rotation de l’élément optique 18 puis le traitement d’images par modification de luminosité permet d’une part de récupérer une image dans laquelle l’information à l’origine cachée par la salissure est désormais détectable et appréhendable par l’unité de commande centrale évaluant la stratégie d’assistance à la conduite, et dans laquelle le degré de luminosité est proche de l’image d’origine. The setting in rotation of the optical element 18 then the processing of images by modification of luminosity makes it possible on the one hand to recover an image in which the information originally hidden by the dirt is now detectable and apprehensible by the central control unit evaluating the driving assistance strategy, and in which the degree of brightness is close to the original image.
A cet effet, le module de traitement d’images spécifique 32 détecte sur l’image la bande annulaire sombre 34, et détermine une zone directement voisine 35, visible sur la figure 6, de cette bande annulaire sombre pour y récupérer des informations sur la luminosité. De manière générale, le module de traitement d’images spécifique 32 récupère une information relative à la luminosité de la zone directement voisine 35 pour appliquer cette information à la bande annulaire sombre. A titre d’exemple, on peut prévoir que le module de traitement d’images spécifique 32 calcule une luminosité moyenne de tout ou partie des différents pixels formant la zone directement voisine 35 et applique cette valeur de luminosité moyenne à chacun des pixels formant la bande annulaire sombre 34. For this purpose, the specific image processing module 32 detects on the image the dark annular band 34, and determines a directly neighboring zone 35, visible in FIG. 6, of this dark annular band to retrieve information on the brightness. In general, the specific image processing module 32 recovers information relating to the brightness of the directly neighboring zone 35 in order to apply this information to the dark annular band. By way of example, provision can be made for the specific image processing module 32 to calculate an average luminosity of all or part of the various pixels forming the directly neighboring zone 35 and to apply this average luminosity value to each of the pixels forming the strip. dark ring finger 34.
La figure 6 illustre un exemple de détermination de cette zone directement voisine 35 de la bande annulaire sombre. FIG. 6 illustrates an example of determination of this zone directly adjacent to the dark annular band.
La zone correspond ici à une bande annulaire entourant la bande annulaire sombre 34, de largeur au plus égale à celle de la bande annulaire. Par largeur, on comprend une dimension radiale par rapport au centre théorique de la bande annulaire sombre. Dans l’exemple illustré sur la figure 6, la largeur 135 de la zone directement voisine présente une valeur d’environ la moitié de celle de la largeur 134 de la bande annulaire sombre. The zone here corresponds to an annular band surrounding the dark annular band 34, of width at most equal to that of the annular band. By width, we understand a radial dimension relative to the theoretical center of the dark annular band. In the example illustrated in Figure 6, the width 135 of the directly adjacent area has a value of about half that of the width 134 of the dark annular band.
Il peut dès lors être déterminé une valeur de luminosité de référence selon plusieurs exemples de réalisation. It is therefore possible to determine a reference luminosity value according to several exemplary embodiments.
Un premier exemple de réalisation consiste, comme cela a été évoqué précédemment, à calculer la luminosité moyenne de l’ensemble des pixels formant la zone, ici une bande annulaire, directement voisine de la bande annulaire sombre, et à appliquer cette valeur de luminosité de référence à chacun des pixels formant la bande annulaire sombre. A first exemplary embodiment consists, as was mentioned previously, in calculating the average luminosity of all the pixels forming the zone, here an annular band, directly adjacent to the dark annular band, and in applying this luminosity value of reference to each of the pixels forming the dark ring band.
Un deuxième exemple de réalisation consiste, conformément à ce qui est illustré sur la figure 6, à calculer la luminosité de référence en considérant uniquement une portion angulaire 52 déterminée de la zone directement voisine 35. On comprend que les portions angulaires sont définies par rapport à un point correspondant au centre théorique de la bande annulaire sombre. A second exemplary embodiment consists, in accordance with what is illustrated in FIG. 6, in calculating the reference brightness by considering only a determined angular portion 52 of the directly adjacent zone 35. It is understood that the angular portions are defined with respect to a point corresponding to the theoretical center of the dark annular band.
A titre d’exemple, la portion angulaire 52 peut correspondre à une valeur d’angle de 5°. La luminosité de référence calculée dans cette portion angulaire est appliquée à au moins un, ou à chacun des pixels formant la portion angulaire correspondante de la bande annulaire sombre. Plus particulièrement, la luminosité de référence est appliquée à chacun des pixels formant la portion angulaire correspondant de la bande annulaire sombre 34 lorsque le traitement de l’image capturée se fait par traitement successif de portions angulaires. La valeur moyenne d’une portion angulaire pour la zone directement voisine est appliquée de façon stricte à la portion angulaire de la bande annulaire sombre. Alternativement, et notamment pour améliorer le traitement de l’image et l’homogénéité de l’image traitée, la portion angulaire de la zone directement voisine dans laquelle est calculée la valeur moyenne formant la valeur de luminosité de référence peut être modifiée pour chaque pixel de la bande annulaire sombre que l’on considère. Dans ce cas, une droite est tracée entre le pixel que l’on considère et le centre théorique de la bande annulaire sombre, et cette droite est considérée comme la bissectrice de la portion angulaire à considérer. By way of example, the angular portion 52 can correspond to an angle value of 5 °. The reference brightness calculated in this angular portion is applied to at least one, or to each of the pixels forming the corresponding angular portion of the dark annular band. More particularly, the reference brightness is applied to each of the pixels forming the corresponding angular portion of the dark annular band 34 when the processing of the captured image is carried out by successive processing of angular portions. The average value of an angular portion for the directly neighboring area is strictly applied to the angular portion of the dark annular band. Alternatively, and in particular to improve the processing of the image and the homogeneity of the processed image, the angular portion of the directly adjacent zone in which the average value forming the reference brightness value is calculated can be modified for each pixel of the dark annular band that is considered. In this case, a line is drawn between the pixel under consideration and the theoretical center of the dark annular band, and this line is considered to be the bisector of the angular portion to be considered.
Un autre exemple de réalisation peut consister en la détermination d’un axe passant par le pixel de la bande sombre dont on cherche à modifier la luminosité et par le centre théorique de la bande annulaire sombre et en la détermination d’une valeur de luminosité de référence sur cet axe dans la zone directement voisine, la valeur de luminosité de référence étant ensuite appliquée au pixel de la bande sombre dont on cherche à modifier la luminosité. Another exemplary embodiment can consist in determining an axis passing through the pixel of the dark band whose luminosity is sought to be modified and through the theoretical center of the dark annular band and in determining a luminosity value of reference on this axis in the directly neighboring zone, the reference luminosity value then being applied to the pixel of the dark band whose luminosity is sought to be modified.
On comprend que dans ce qui précède, la zone directement voisine a été choisie comme une zone disposée à l’extérieur de la bande annulaire sombre, mais que sans sortir du contexte de l’invention, on pourra choisir la zone directement voisine comme une zone disposée à l’intérieur de la bande annulaire sombre. Par ailleurs, afin d’affiner la correction de luminosité des pixels de la bande annulaire sombre, on pourra prévoir d’appliquer une valeur de luminosité de référence moyennée en tenant compte à la fois d’une zone directement voisine dite intérieure et d’une zone directement voisine dite extérieure. It will be understood that in the foregoing, the directly neighboring zone has been chosen as a zone arranged outside the dark annular band, but that without departing from the context of the invention, the directly neighboring zone can be chosen as a zone arranged inside the dark annular band. Furthermore, in order to refine the correction of the luminosity of the pixels of the dark annular band, provision may be made to apply an averaged reference luminosity value taking into account both a directly neighboring area called interior and a directly adjacent area called exterior.
Il résulte de ce traitement d’image spécifique, dans lequel on crée dans un premier temps une bande annulaire sombre, par rotation de l’élément optique sur lequel une salissure s’est déposée sans qu’il soit projeté par ailleurs de liquide de nettoyage, et dans lequel on modifie la luminosité des pixels de cette bande sombre en les mettant en adéquation avec une luminosité de référence présente dans une zone de l’image traitée directement voisine de la bande annulaire sombre, une image traitée 100 illustrée sur la figure 7. Dans cette image traitée conformément au procédé de l’invention, une bande annulaire peut persister, mais avec une valeur de luminosité telle par rapport à la luminosité du reste de l’image que le contraste faible qui en résulte ne risque pas de générer de mauvaises interprétations pouvant pénaliser la stratégie d’assistance à la conduite résultant de l’analyse de ces images traitées. It results from this specific image processing, in which a dark annular band is first created by rotating the optical element on which dirt has been deposited without it being otherwise sprayed with cleaning liquid. , and in which the luminosity of the pixels of this dark band is modified by bringing them into line with a reference luminosity present in an area of the processed image directly adjacent to the dark annular band, a processed image 100 illustrated in FIG. 7. In this image processed according to the method of the invention, an annular band may persist, but with a brightness value such relative to the brightness of the rest of the image that the resulting low contrast does not risk generating bad interpretations that could penalize the driving assistance strategy resulting from the analysis of these processed images .
Sur la figure 8, on a illustré un organigramme représentatif d’une logique de mise en œuvre de la procédure de nettoyage alternative et du traitement d’images spécifique, tel qu’il vient d’être décrit, qui en résulte. In FIG. 8, there is illustrated a flowchart representative of a logic for implementing the alternative cleaning procedure and the specific image processing, as has just been described, which results therefrom.
Une première étape consiste en une étape de détection SI d’un besoin de nettoyage. A titre d’exemples non limitatifs, l’information relative au besoin de nettoyage peut notamment être obtenue par détection de la présence d’une salissure sur l’optique via les moyens de traitement et d’analyse d’image embarqués du véhicule, ou bien elle peut résulter d’une programmation, par exemple lors de l’écoulement d’une période déterminée sans qu’il n’y ait eu d’opérations de nettoyage. A first step consists of an SI detection step of a need for cleaning. By way of non-limiting examples, the information relating to the need for cleaning can in particular be obtained by detecting the presence of dirt on the optics via the image processing and analysis means on board the vehicle, or it may well be the result of programming, for example when a determined period has elapsed without any cleaning operations.
Une deuxième étape S2 consiste alors en une étape de test, afin de vérifier si un arrêt du véhicule est programmé dans un court délai ou s’il est possible de programmer un tel arrêt. La réponse à ce test peut être donné par la programmation d’un logiciel de navigation ou bien par une question posée au conducteur et par l’analyse de sa réponse. On comprend que cette étape de test est particulièrement facile à mettre en œuvre dans le cas d’application d’un véhicule autonome, dont l’unité de commande centrale peut facilement compiler les informations de navigation. A second step S2 then consists of a test step, in order to verify whether a stop of the vehicle is programmed within a short time or if it is possible to program such a stop. The answer to this test can be given by programming navigation software or by asking the driver a question and analyzing his answer. We understand that this test step is particularly easy to implement in the case of the application of an autonomous vehicle, whose central control unit can easily compile the navigation information.
Par la notion d’arrêt du véhicule, on peut comprendre un arrêt complet du véhicule, lors duquel l’intégralité du liquide de nettoyage projeté arrive bien sur la surface optique à nettoyer, ou bien une vitesse de déplacement inférieure à un seuil de vitesse déterminé, par exemple 50 km/h, pour que la quantité de liquide de nettoyage n’atteignant pas la surface optique à nettoyer soit tolérable. S’il est répondu non à cette étape de test S2, par exemple lorsque le véhicule roule sur autoroute et qu’aucune aire de dégagement n’est prévue dans les prochains kilomètres, une procédure de nettoyage alternative conforme à ce qui vient d’être décrit précédemment est déclenchée dans une troisième étape S3, avec uniquement la mise en rotation du dispositif de détection sans projection de liquide de nettoyage, et traitement des images acquises avec l’élément optique tournant. By the concept of stopping the vehicle, one can understand a complete stop of the vehicle, during which all of the sprayed cleaning liquid does indeed arrive on the optical surface to be cleaned, or else a speed of movement below a determined speed threshold , for example 50 km / h, so that the quantity of cleaning liquid which does not reach the optical surface to be cleaned is tolerable. If the answer is no to this test step S2, for example when the vehicle is traveling on a motorway and no clearance area is planned for the next few kilometers, an alternative cleaning procedure in accordance with what has just been described above is triggered in a third step S3, with only the setting in rotation of the detection device without projection of cleaning liquid, and processing of the images acquired with the rotating optical element.
On comprend que la mise en œuvre de cette solution alternative permet de continuer à fournir des informations fiables au système d’assistance à la conduite du véhicule automobile, l’élément optique associé au capteur optique étant par la suite, lors d’une prochaine étape de nettoyage, nettoyé de façon plus conventionnelle avec du liquide de nettoyage. It is understood that the implementation of this alternative solution makes it possible to continue providing reliable information to the driving assistance system of the motor vehicle, the optical element associated with the optical sensor being subsequently, in a next step cleaner, cleaned in a more conventional manner with cleaning liquid.
S’il est répondu oui à l’étape de test S2 préalablement évoquée, par exemple lorsque le véhicule roule à faible vitesse, ou lorsque ce véhicule roule sur autoroute et qu’une aire de dégagement est prévue à une distance acceptable, l’opération de nettoyage est mise en pause S4 et une deuxième étape de test S5 est lancée pour définir si les conditions de visibilité se dégradent ou non depuis qu’il a été décidé de mettre en pause l’opération de nettoyage. If the answer is yes to the test step S2 previously mentioned, for example when the vehicle is traveling at low speed, or when this vehicle is traveling on a motorway and a clearance area is provided at an acceptable distance, the operation cleaning is paused S4 and a second test step S5 is launched to define whether the visibility conditions deteriorate or not since it was decided to pause the cleaning operation.
S’il est détecté que les conditions de visibilité se dégradent, une procédure de nettoyage alternative conforme à ce qui vient d’être décrit précédemment dans la troisième étape S3 est déclenchée, avec uniquement la mise en rotation du dispositif de détection sans projection de liquide de nettoyage, et traitement des images acquises avec l’élément optique tournant. If it is detected that the visibility conditions are deteriorating, an alternative cleaning procedure in accordance with what has just been described previously in the third step S3 is triggered, with only the rotation of the detection device without splashing liquid cleaning, and processing of the images acquired with the rotating optical element.
Si au contraire il est détecté que les conditions de visibilité ne se dégradent pas, et ce jusqu’à ce que la phase d’arrêt du véhicule soit détecté, une opération de nettoyage classique est lancée dans une sixième étape S6 avec au moins une sous-étape S7 de projection de liquide de nettoyage et le cas échéant une sous-étape S8 de mise en rotation de l’élément optique sur lequel le liquide de nettoyage est projeté. If, on the contrary, it is detected that the visibility conditions do not deteriorate, and this until the stopping phase of the vehicle is detected, a conventional cleaning operation is launched in a sixth step S6 with at least one sub step S7 of spraying cleaning liquid and, where appropriate, a sub-step S8 of rotating the optical element onto which the cleaning liquid is projected.
L'invention, telle qu'elle vient d'être décrite, atteint bien les buts qu'elle s'était fixés et permet de réaliser un système d’assistance à la conduite dont l’utilisation est avantageuse en termes de coûts et d’impact environnemental et qui soit par ailleurs fiable en ce qu’il permet l’obtention d’images traitées reflétant correctement la scène de route. The invention, as it has just been described, achieves the goals that it had set itself and makes it possible to produce a driving assistance system, the use of which is advantageous in in terms of costs and environmental impact and which is moreover reliable in that it allows the production of processed images correctly reflecting the road scene.

Claims

REVENDICATIONS
1. Système d’assistance à la conduite pour véhicule automobile comportant au moins un capteur optique (4) configuré pour capturer des images d’une scène de route, au moins un dispositif de protection (6) entourant le capteur optique (4), le dispositif de protection comportant d’une part un boîtier de protection (16) rotatif comportant un élément optique (18) agencé en vis-à-vis d’une surface optique du capteur optique (4) et d’autre part un moteur (22) configuré pour entraîner en rotation le boîtier de protection et l’élément optique (18) autour d’un axe optique (AO) du capteur optique (4), le système d’assistance à la conduite étant caractérisé en ce qu’il comporte une unité de commande électronique (24), dédiée à l’acquisition et au traitement d’images capturées par le capteur optique (4), qui est configurée pour traiter des images capturées par le capteur optique avec l’élément optique (18) tournant, cette unité de commande électronique (24) étant notamment configurée pour modifier la luminosité d’au moins une partie des images capturées par le capteur optique (4) avec l’élément optique (18) tournant. 1. Driving assistance system for a motor vehicle comprising at least one optical sensor (4) configured to capture images of a road scene, at least one protection device (6) surrounding the optical sensor (4), the protection device comprising on the one hand a rotary protection housing (16) comprising an optical element (18) arranged opposite an optical surface of the optical sensor (4) and on the other hand a motor ( 22) configured to rotate the protective housing and the optical element (18) about an optical axis (AO) of the optical sensor (4), the driving assistance system being characterized in that it comprises an electronic control unit (24), dedicated to acquiring and processing images captured by the optical sensor (4), which is configured to process images captured by the optical sensor with the optical element (18) rotating, this electronic control unit (24) being in particular configured to modify the brightness of at least part of the images captured by the optical sensor (4) with the optical element (18) rotating.
2. Système d’assistance à la conduite selon la revendication précédente, caractérisé en ce que l’unité de commande électronique (24) est configurée pour détecter une bande annulaire sombre (34) dans la ou les images capturées avec l’élément optique (18) tournant et pour relever un premier niveau de luminosité d’au moins un pixel de cette bande annulaire sombre, pour détecter un deuxième niveau de luminosité d’au moins un pixel présent dans une zone directement voisine (35) de ladite bande annulaire sombre (34), et pour calculer une image traitée (100) dans laquelle les points de la bande annulaire sombre sont traités avec la luminosité du point associé de la bande annulaire voisine. 2. Driver assistance system according to the preceding claim, characterized in that the electronic control unit (24) is configured to detect a dark annular band (34) in the image or images captured with the optical element ( 18) rotating and to detect a first level of luminosity of at least one pixel of this dark annular band, to detect a second level of luminosity of at least one pixel present in a directly neighboring zone (35) of said dark annular band (34), and to calculate a processed image (100) in which the points of the dark ring band are processed with the brightness of the associated point of the neighboring ring band.
3. Système d’assistance à la conduite selon la revendication précédente, caractérisé en ce que l’unité de commande électronique (24) est configurée pour détecter un deuxième niveau de luminosité d’une pluralité de pixels présents dans ladite zone directement voisine (35) et pour calculer une valeur moyenne de luminosité à appliquer au ou aux pixels de la bande annulaire sombre (34). 3. Driving assistance system according to the preceding claim, characterized in that the electronic control unit (24) is configured to detect a second level of brightness of a plurality of pixels present in said directly neighboring area (35 ) and to calculate an average brightness value to be applied to the pixel (s) of the dark ring band (34).
4. Système d’assistance à la conduite selon la revendication précédente, caractérisé en ce que la valeur moyenne de luminosité est calculée en considérant l’ensemble des pixels de la zone directement voisine (35) qui sont présents dans une portion angulaire (52) déterminée, la valeur moyenne de luminosité calculée étant appliquée à au moins un des pixels formant la portion angulaire correspondante de la bande annulaire sombre (34). 4. Driving assistance system according to the preceding claim, characterized in that the average value of brightness is calculated by considering all the pixels of the directly neighboring zone (35) which are present in an angular portion (52). determined, the calculated mean value of brightness being applied to at least one of the pixels forming the corresponding angular portion of the dark annular band (34).
5. Système d’assistance à la conduite selon l’une des revendications précédentes, en combinaison avec la revendication 3 ou 4, caractérisé en ce que la zone directement voisine (35) est une bande annulaire formée autour de la bande annulaire sombre (34). 5. Driver assistance system according to one of the preceding claims, in combination with claim 3 or 4, characterized in that the directly adjacent area (35) is an annular band formed around the dark annular band (34 ).
6. Système d’assistance à la conduite selon l’une des revendications précédentes, caractérisé en ce qu’il comporte un dispositif de projection (12) de liquide de nettoyage sur l’élément optique (18) et une unité de commande centrale (30) configurée de sorte à commander le fonctionnement du boîtier de protection (16) rotatif et de l’élément optique (18) associé et le fonctionnement du dispositif de projection (12) de liquide en fonction d’un état de fonctionnement du véhicule. 6. Driving assistance system according to one of the preceding claims, characterized in that it comprises a projection device (12) of cleaning liquid on the optical element (18) and a central control unit ( 30) configured so as to control the operation of the rotary protective housing (16) and the associated optical element (18) and the operation of the liquid projection device (12) according to an operating state of the vehicle.
7. Système d’assistance à la conduite selon la revendication précédente, caractérisé en ce que l’état de fonctionnement du véhicule est la vitesse, l’unité de commande centrale (30) étant configurée pour mettre en œuvre le dispositif de projection de liquide uniquement lorsque la vitesse du véhicule présente une valeur inférieure à celle d’un seuil de vitesse déterminé. 7. Driving assistance system according to the preceding claim, characterized in that the operating state of the vehicle is speed, the central control unit (30) being configured to implement the liquid projection device. only when the vehicle speed has a value lower than that of a determined speed threshold.
8. Procédé de traitement et d’analyse des images pour un système d’assistance à la conduite au cours duquel on récupère des images capturées par un capteur optique (4), on détecte dans chaque image une bande annulaire sombre (34) dont la luminosité moyenne est supérieure à la luminosité moyenne de l’image, on associe à chaque pixel de cette bande annulaire sombre (34) un ou plusieurs pixel correspondant d’une zone directement voisine (35) de la bande annulaire sombre et on calcule une image modifiée dans laquelle chaque pixel de la bande annulaire sombre est traité avec une luminosité égale à celle du ou des pixels correspondants de la zone directement voisine. 8. Process for processing and analyzing images for a driving assistance system during which images captured by an optical sensor (4) are recovered, a dark annular band (34) is detected in each image. average brightness is greater than the average brightness of the image, we associate with each pixel of this dark annular band (34) one or more corresponding pixels of a directly neighboring area (35) of the dark annular band and an image is calculated modified in which each pixel of the dark ring band is processed with a brightness equal to that of the corresponding pixel (s) of the directly adjacent area.
9. Procédé selon la revendication précédente, au cours duquel on met en œuvre les différentes étapes lorsque l’on détecte qu’une phase d’arrêt du véhicule est prévue dans un délai supérieur à un temps donné. 9. Method according to the preceding claim, during which the various steps are implemented when it is detected that a vehicle stopping phase is planned within a period greater than a given time.
10. Véhicule automobile mettant en œuvre le procédé selon la revendication 9, caractérisé en ce que l’information relative à la phase d’arrêt à venir du véhicule est détectée en fonction d’une information d’un logiciel de navigation. 10. Motor vehicle implementing the method according to claim 9, characterized in that the information relating to the upcoming stopping phase of the vehicle is detected as a function of information from a navigation software.
PCT/EP2020/057405 2019-03-26 2020-03-18 Assembly for protecting an optical sensor of a driver assistance system for a motor vehicle WO2020193304A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1903112A FR3094299B1 (en) 2019-03-26 2019-03-26 PROTECTION ASSEMBLY FOR AN OPTICAL SENSOR OF A DRIVER ASSISTANCE SYSTEM FOR MOTOR VEHICLES
FR1903112 2019-03-26

Publications (1)

Publication Number Publication Date
WO2020193304A1 true WO2020193304A1 (en) 2020-10-01

Family

ID=67441398

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2020/057405 WO2020193304A1 (en) 2019-03-26 2020-03-18 Assembly for protecting an optical sensor of a driver assistance system for a motor vehicle

Country Status (2)

Country Link
FR (1) FR3094299B1 (en)
WO (1) WO2020193304A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4136492B1 (en) * 2020-04-13 2024-05-08 Valeo Systèmes d'Essuyage Method for cleaning a protective device for a drive assist system for a motor vehicle and associated drive assist system

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140232869A1 (en) * 2013-02-20 2014-08-21 Magna Electronics Inc. Vehicle vision system with dirt detection
US20170243337A1 (en) * 2014-10-02 2017-08-24 Connaught Electronics Ltd. Motor vehicle camera device with histogram spreading
WO2018019662A1 (en) * 2016-07-28 2018-02-01 Valeo Systèmes d'Essuyage Device for protecting an optical sensor and driving aid system comprising an optical sensor

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140232869A1 (en) * 2013-02-20 2014-08-21 Magna Electronics Inc. Vehicle vision system with dirt detection
US20170243337A1 (en) * 2014-10-02 2017-08-24 Connaught Electronics Ltd. Motor vehicle camera device with histogram spreading
WO2018019662A1 (en) * 2016-07-28 2018-02-01 Valeo Systèmes d'Essuyage Device for protecting an optical sensor and driving aid system comprising an optical sensor

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4136492B1 (en) * 2020-04-13 2024-05-08 Valeo Systèmes d'Essuyage Method for cleaning a protective device for a drive assist system for a motor vehicle and associated drive assist system

Also Published As

Publication number Publication date
FR3094299A1 (en) 2020-10-02
FR3094299B1 (en) 2022-04-01

Similar Documents

Publication Publication Date Title
EP3404481B1 (en) Device for protecting an optical sensor and associated driving-assistance system
EP1923280B1 (en) Light-sensitive sensor in the automobile field
FR3062764B1 (en) VISION DEVICE, DRIVING ASSISTANCE SYSTEM AND METHOD OF MAINTAINING VISIBILITY THEREFOR
FR3069506B1 (en) OPTICAL SENSOR PROTECTION DEVICE AND DRIVER ASSISTANCE SYSTEM HAVING SUCH A PROTECTIVE DEVICE
EP1713017B1 (en) Procedure, device and camera for detection of objects using digital images
EP3584126B1 (en) Module for cleaning an optical element or a device for protecting an optical element and associated driving-assistance system
FR2947781A1 (en) Image data inputting device for e.g. night vision system in motor vehicle, has light guiding installation fixed on inner face of windscreen and deviating light from capturing zone toward camera, where camera receives light from zone
EP3404480A1 (en) Device for protecting an optical sensor, associated driving-assistance system and assembly method
FR3066622B1 (en) OPTICAL SENSOR PROTECTION DEVICE AND ASSOCIATED DRIVING ASSISTANCE SYSTEM
FR2967107A1 (en) CAMERA MOUNTING AND METHOD FOR A MOTOR VEHICLE
WO2020193304A1 (en) Assembly for protecting an optical sensor of a driver assistance system for a motor vehicle
EP3629073A1 (en) Device for protecting an optical sensor of a driving-assistance system for motor vehicle
EP4136492B1 (en) Method for cleaning a protective device for a drive assist system for a motor vehicle and associated drive assist system
EP1580074B1 (en) Method for detecting a wet road and illumination system to implement the method
EP1713132B1 (en) Photosensitive sensor and its applications on the automotive field
WO2020064760A1 (en) Assembly for protecting a sensor/transmitter of a driver assistance system for a motor vehicle comprising a heating element
WO2022253564A1 (en) Driving assistance system, and associated image processing method
FR3085923A1 (en) SNOW DETECTION DEVICE ON A GLASS SURFACE OF A MOTOR VEHICLE
WO2020065076A1 (en) Device for protecting an optical sensor/transmitter of a driver assistance system for a motor vehicle
FR3113874A1 (en) Vehicle detection and/or emission assembly.
FR3102376A1 (en) Protection device for a sensor / transmitter
FR3112741A1 (en) Device for cleaning a detection system
FR3112325A1 (en) Camera device for a motor vehicle
FR3052281A1 (en) DEVICE AND METHOD FOR MONITORING A CONDUCTOR OF A TRANSPORT VEHICLE

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20710553

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20710553

Country of ref document: EP

Kind code of ref document: A1