FR3064785A1 - METHOD AND DEVICE FOR PROCESSING IMAGES ACQUIRED BY A CAMERA OF A MOTOR VEHICLE - Google Patents
METHOD AND DEVICE FOR PROCESSING IMAGES ACQUIRED BY A CAMERA OF A MOTOR VEHICLE Download PDFInfo
- Publication number
- FR3064785A1 FR3064785A1 FR1752857A FR1752857A FR3064785A1 FR 3064785 A1 FR3064785 A1 FR 3064785A1 FR 1752857 A FR1752857 A FR 1752857A FR 1752857 A FR1752857 A FR 1752857A FR 3064785 A1 FR3064785 A1 FR 3064785A1
- Authority
- FR
- France
- Prior art keywords
- image
- pixel
- pixels
- segment
- determined
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 52
- 238000000034 method Methods 0.000 title claims abstract description 29
- 239000013598 vector Substances 0.000 claims description 37
- 238000013519 translation Methods 0.000 claims description 33
- 239000011159 matrix material Substances 0.000 claims description 30
- 238000001514 detection method Methods 0.000 claims description 5
- 230000003287 optical effect Effects 0.000 description 9
- 230000000007 visual effect Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 3
- 230000003252 repetitive effect Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
La présente invention a pour objet un procédé de traitement d'images acquises par une caméra d'un véhicule automobile permettant de qualifier des groupes de pixels représentatifs de motifs répétitifs afin de pouvoir décider ou non d'utiliser les flots de ces pixels pour détecter des objets dans les images.The subject of the present invention is a method of processing images acquired by a camera of a motor vehicle making it possible to qualify groups of pixels representative of repeating patterns in order to decide whether or not to use the streams of these pixels to detect objects in the pictures.
Description
Titulaire(s) : CONTINENTAL AUTOMOTIVE FRANCE Société par actions simplifiée, CONTINENTAL AUTOMOTIVE GMBH.Holder (s): CONTINENTAL AUTOMOTIVE FRANCE Simplified joint-stock company, CONTINENTAL AUTOMOTIVE GMBH.
Demande(s) d’extensionExtension request (s)
Mandataire(s) : CONTINENTAL AUTOMOTIVE FRANCE.Agent (s): CONTINENTAL AUTOMOTIVE FRANCE.
164) PROCEDE ET DISPOSITIF DE TRAITEMENT D'IMAGES ACQUISES PAR UNE CAMERA D'UN VEHICULE AUTOMOBILE.164) METHOD AND DEVICE FOR PROCESSING IMAGES ACQUIRED BY A CAMERA OF A MOTOR VEHICLE.
_ La présente invention a pour objet un procédé de traitement d'images acquises par une caméra d'un véhicule automobile permettant de qualifier des groupes de pixels représentatifs de motifs répétitifs afin de pouvoir décider ou non d'utiliser les flots de ces pixels pour détecter des objets dans les images._ The subject of the present invention is a method of processing images acquired by a camera of a motor vehicle making it possible to qualify groups of pixels representative of repeating patterns so as to be able to decide whether or not to use the flows of these pixels to detect objects in the pictures.
11, I211, I2
SignaturesSignatures
R, TR, T
PA(1)PA (1)
YY
FR 3 064 785 - A1FR 3 064 785 - A1
Dmin, Dmax tDmin, Dmax t
i —i -
PBmin(1).....PBmin(5)PBmin (1) ..... PBmin (5)
PBmax(i).....PBmax(5)PBmax (i) ..... PBmax (5)
PB2(1), .... PBs(1) *PB 2 (1), .... PB s (1) *
AssociationAssociation
Comparaison des signaturesComparison of signatures
MotifPattern
YY
L’invention se rapporte au domaine de l’assistance à la conduite d’un véhicule automobile et concerne plus particulièrement un procédé et un dispositif de traitement d’images acquises par une caméra d’un véhicule automobile ainsi qu’un véhicule automobile comprenant un tel dispositif.The invention relates to the field of assistance with driving a motor vehicle and relates more particularly to a method and a device for processing images acquired by a camera of a motor vehicle as well as a motor vehicle comprising a such device.
De nos jours, il est connu d’équiper un véhicule automobile d’un système d’assistance à la conduite appelé communément ADAS (Advanced Driver Assistance System en langue anglaise). Un tel système comprend de manière connue une caméra vidéo, par exemple montée sur le pare-brise avant du véhicule, qui permet de générer un flux d’images représentant l’environnement dudit véhicule. Ces images sont exploitées par un dispositif de traitement d’images dans le but d’assister le conducteur, par exemple en détectant un obstacle ou bien le franchissement d’une ligne blanche. Les informations données par les images acquises par la caméra doivent donc être suffisamment précises et pertinentes pour permettre au système d’assister le conducteur de manière fiable.Nowadays, it is known to equip a motor vehicle with a driving assistance system commonly called ADAS (Advanced Driver Assistance System in English). Such a system comprises, in known manner, a video camera, for example mounted on the front windshield of the vehicle, which makes it possible to generate a stream of images representing the environment of said vehicle. These images are used by an image processing device to assist the driver, for example by detecting an obstacle or crossing a white line. The information given by the images acquired by the camera must therefore be sufficiently precise and relevant to allow the system to assist the driver reliably.
En particulier, pour exploiter ces images, il est nécessaire de suivre le flot optique (« optical flow » en langue anglaise) d’un certain nombre de points dans la série d’images. Plus précisément, il s’agit de suivre la trajectoire de ces points dans une pluralité d’images successives et d’en déterminer leur localisation dans l’espace.In particular, to exploit these images, it is necessary to follow the optical flow ("optical flow" in English) of a certain number of points in the series of images. More precisely, it is a question of following the trajectory of these points in a plurality of successive images and of determining their location in space.
Afin de suivre un point représenté par un pixel d’une première image dans une deuxième image consécutive, une solution connue consiste à analyser une zone de pixels autour dudit pixel dans la deuxième image afin de déterminer dans quelle direction le point se déplace entre la première image et la deuxième image. Une telle solution peut nécessiter l’utilisation d’une zone de pixels comprenant plus de 2500 pixels, ce qui demande des capacités de traitement importantes et présente donc un inconvénient important pour un système embarqué dans un véhicule automobile.In order to follow a point represented by a pixel of a first image in a second consecutive image, a known solution consists in analyzing an area of pixels around said pixel in the second image in order to determine in which direction the point moves between the first image and the second image. Such a solution may require the use of a pixel area comprising more than 2,500 pixels, which requires significant processing capacities and therefore has a significant drawback for an on-board system in a motor vehicle.
De plus, lorsque le véhicule roule à une vitesse élevée, par exemple plus de 130 km/h, il s’avère difficile voire impossible de suivre les points dans des images successives avec une telle méthode, notamment des points représentants des objets en perspective.In addition, when the vehicle is traveling at a high speed, for example more than 130 km / h, it proves difficult or even impossible to follow the points in successive images with such a method, in particular points representing objects in perspective.
En outre, une telle solution, bien que robuste, ne permet d’obtenir qu’un nombre très limité de flots fiables par une image, de l’ordre de 2% du nombre total de flots existants entre deux images, ce qui peut s’avérer insuffisant pour détecter ou suivre des objets dans le flux d’image et donc pour assister efficacement le conducteur dans sa conduite.In addition, such a solution, although robust, makes it possible to obtain only a very limited number of streams reliable by an image, of the order of 2% of the total number of streams existing between two images, which can s '' prove insufficient to detect or follow objects in the image flow and therefore to effectively assist the driver in his driving.
En particulier, lorsque des motifs répétitifs sont présents dans l’environnement filmé par la caméra, tels que par exemple le ciel, la route, une série de poteaux, un rail de sécurité ou certains types de bâtiments, cette solution ne permet pas de déterminer de manière fiable les flots des pixels représentant ces motifs répétitifs du fait de leur uniformité sur plusieurs images successives, ce qui présente un inconvénient majeur.In particular, when repetitive patterns are present in the environment filmed by the camera, such as for example the sky, the road, a series of posts, a safety rail or certain types of buildings, this solution does not make it possible to determine reliably the pixel flows representing these repeating patterns due to their uniformity over several successive images, which has a major drawback.
L’invention vise donc à remédier au moins en partie à ces inconvénients en proposant une solution simple, fiable et efficace pour détecter des motifs répétitifs dans un flux vidéo capturé par la caméra d’un véhicule automobile.The invention therefore aims to remedy these drawbacks at least in part by proposing a simple, reliable and effective solution for detecting repetitive patterns in a video stream captured by the camera of a motor vehicle.
En particulier, l’invention vise à qualifier des groupes de pixels représentatifs de motifs répétitifs afin de pouvoir décider ou non d’utiliser les flots de ces pixels pour détecter des objets dans les images.In particular, the invention aims to qualify groups of pixels representative of repetitive patterns in order to be able to decide whether or not to use the flows of these pixels to detect objects in the images.
A cette fin, l’invention a pour objet un procédé de détection d’un motif répétitif dans un flux d’images acquises par une caméra vidéo d’un véhicule automobile, ledit procédé étant remarquable en ce qu’il comprend les étapes de :To this end, the subject of the invention is a method for detecting a repeating pattern in a stream of images acquired by a video camera of a motor vehicle, said method being remarkable in that it comprises the steps of:
• détermination, pour chaque pixel d’une première image et pour chaque pixel d’une deuxième image, postérieure à la première image dans le flux d’images, d’une signature caractéristique dudit pixel, • détermination d’une matrice de rotation et d’un vecteur de translation de la caméra entre la première image et la deuxième image, • sélection d’au moins un pixel dans la première image, • pour chaque pixel sélectionné dans la première image :• determination, for each pixel of a first image and for each pixel of a second image, after the first image in the image stream, of a signature characteristic of said pixel, • determination of a rotation matrix and a translation vector of the camera between the first image and the second image, • selection of at least one pixel in the first image, • for each pixel selected in the first image:
- détermination, dans la deuxième image, d’au moins un segment épipolaire associé audit pixel sélectionné à partir de la matrice de rotation et du vecteur de translation déterminés,- determination, in the second image, of at least one epipolar segment associated with said pixel selected from the rotation matrix and the translation vector determined,
- sélection d’une pluralité de points sur le segment épipolaire déterminé, chaque point correspondant à un pixel de la deuxième image,- selection of a plurality of points on the determined epipolar segment, each point corresponding to a pixel of the second image,
- comparaison de la signature de chaque pixel associé à un point sélectionné avec la signature du pixel sélectionné dans la première image,- comparison of the signature of each pixel associated with a selected point with the signature of the pixel selected in the first image,
- détection d’un motif répétitif entre la première image et la deuxième image lorsqu’une pluralité de signatures de pixels associés à la pluralité de points sélectionnés sur le segment correspondent à la signature du pixel sélectionné dans la première image.- detection of a repeating pattern between the first image and the second image when a plurality of pixel signatures associated with the plurality of points selected on the segment correspond to the signature of the pixel selected in the first image.
Le segment épipolaire correspond à un segment comprenant toutes les positions possible dans la deuxième image du pixel sélectionné dans la première image, considérant une distance minimale et une distance maximale.The epipolar segment corresponds to a segment comprising all the possible positions in the second image of the pixel selected in the first image, considering a minimum distance and a maximum distance.
Le procédé selon l’invention permet ainsi au dispositif d’assistance à la conduite du véhicule d’identifier les flots optiques entre les pixels représentant des motifs répétitifs afin de les écarter lors du traitement de l’information contenu dans les images, ces flots optiques pouvant représenter des faux-positifs lors dudit traitement. Le procédé selon l’invention permet en particulier d’éviter les erreurs de mise en correspondance et les mauvaises reconstructions 3D, par exemple dans le cas d’objets à effet stroboscopique. Le procédé selon l’invention peut être aussi bien utilisé sur des pixels représentant aussi bien des objets statiques que dynamiques. Dans ce dernier cas, il est nécessaire de connaître en outre le mouvement relatif (rotation et translation) entre la caméra et l’objet dynamique.The method according to the invention thus allows the device for assisting in driving the vehicle to identify the optical streams between the pixels representing repeating patterns in order to separate them during the processing of the information contained in the images, these optical streams. may represent false positives during said treatment. The method according to the invention makes it possible in particular to avoid mapping errors and poor 3D reconstructions, for example in the case of objects with a stroboscopic effect. The method according to the invention can be used as well on pixels representing both static and dynamic objects. In the latter case, it is also necessary to know the relative movement (rotation and translation) between the camera and the dynamic object.
De préférence, la détermination d’un segment épipolaire comprend :Preferably, the determination of an epipolar segment includes:
• la détermination, dans la première image, d’un ensemble initial de pixels comprenant le pixel sélectionné et une pluralité de pixels localisés au voisinage du pixel sélectionné, • la détermination, dans la deuxième image, d’un premier ensemble de pixels par projection, sur un plan prédéterminé situé à une distance minimale prédéterminée, de l’ensemble initial déterminé, à partir de la matrice de rotation et du vecteur de translation déterminés, ledit premier ensemble comprenant un premier pixel correspondant au pixel sélectionné, et • la détermination, dans la deuxième image, d’un deuxième ensemble de pixels par projection sur le plan prédéterminé situé à une distance maximale prédéterminée, de l’ensemble initial déterminé, à partir de la matrice de rotation et du vecteur de translation déterminés, ledit deuxième ensemble comprenant un deuxième pixel correspondant au pixel sélectionné dans la première image, le segment épipolaire étant le segment reliant le premier pixel et le deuxième pixel dans la deuxième image.• the determination, in the first image, of an initial set of pixels comprising the selected pixel and a plurality of pixels located in the vicinity of the selected pixel, • the determination, in the second image, of a first set of pixels by projection , on a predetermined plane located at a predetermined minimum distance, from the determined initial set, from the determined rotation matrix and the translation vector, said first set comprising a first pixel corresponding to the selected pixel, and • determining, in the second image, of a second set of pixels by projection onto the predetermined plane situated at a predetermined maximum distance, from the initial set determined, from the rotation matrix and from the translation vector determined, said second set comprising a second pixel corresponding to the pixel selected in the first image, the ep segment ipolar being the segment connecting the first pixel and the second pixel in the second image.
Par les termes au voisinage, on entend des pixels situés dans une zone, de préférence de faible surface, centrée sur le pixel considéré.By the terms in the vicinity, is meant pixels located in an area, preferably of small area, centered on the pixel considered.
Selon un aspect de l’invention, le procédé comprend en outre une étape de détermination de la distance minimale et de la distance maximale.According to one aspect of the invention, the method further comprises a step of determining the minimum distance and the maximum distance.
Selon un aspect de l’invention, le procédé comprend en outre une étape de détermination du plan de projection.According to one aspect of the invention, the method further comprises a step of determining the projection plane.
Dans un mode de réalisation, on détermine une pluralité de segments épipolaires ou un cylindre épipolaire.In one embodiment, a plurality of epipolar segments or an epipolar cylinder is determined.
En géométrie épipolaire, un cylindre épipolaire est un segment épipolaire épaissi (on peut aussi parler de rectangle). En pratique, la précision de la géométrie épipolaire défini l’épaisseur du segment.In epipolar geometry, an epipolar cylinder is a thickened epipolar segment (we can also speak of a rectangle). In practice, the precision of the epipolar geometry defines the thickness of the segment.
Selon un aspect de l’invention, le procédé comprend une étape préliminaire d’acquisition d’une première image et d’une deuxième image par la caméra.According to one aspect of the invention, the method includes a preliminary step of acquiring a first image and a second image by the camera.
L’invention concerne aussi un dispositif de traitement d’images pour véhicule automobile, ledit dispositif comprenant une caméra apte à acquérir une première image et une deuxième image et un module de traitement d’images configuré pour :The invention also relates to an image processing device for a motor vehicle, said device comprising a camera capable of acquiring a first image and a second image and an image processing module configured for:
• déterminer, pour chaque pixel d’une première image et pour chaque pixel d’une deuxième image, postérieure à la première image dans le flux d’images, une signature caractéristique dudit pixel, • déterminer une matrice de rotation et un vecteur de translation de la caméra, entre la première image et la deuxième image acquises par la caméra, • sélectionner au moins un pixel dans la première image, • pour chaque pixel sélectionné dans la première image :• determine, for each pixel of a first image and for each pixel of a second image, subsequent to the first image in the image stream, a signature characteristic of said pixel, • determine a rotation matrix and a translation vector of the camera, between the first image and the second image acquired by the camera, • select at least one pixel in the first image, • for each pixel selected in the first image:
- déterminer, dans la deuxième image, au moins un segment épipolaire associé audit pixel sélectionné à partir de la matrice de rotation et du vecteur de translation déterminés,- determining, in the second image, at least one epipolar segment associated with said pixel selected from the rotation matrix and the translation vector determined,
- sélectionner une pluralité de points sur le segment épipolaire déterminé, chaque point correspondant à un pixel de la deuxième image,- select a plurality of points on the determined epipolar segment, each point corresponding to a pixel of the second image,
- comparer la signature de chaque pixel correspondant à un point sélectionné avec la signature du pixel sélectionné dans la première image,- compare the signature of each pixel corresponding to a selected point with the signature of the pixel selected in the first image,
- détecter un motif répétitif entre la première image et la deuxième image lorsqu’une pluralité de signatures de pixels associés aux points sélectionnés sur le segment correspondent à la signature du pixel sélectionné dans la première image.- detecting a repeating pattern between the first image and the second image when a plurality of pixel signatures associated with the points selected on the segment correspond to the signature of the pixel selected in the first image.
ledit dispositif étant configuré afin de déterminer le segment épipolaire, pour :said device being configured to determine the epipolar segment, for:
• déterminer, dans la première image, un ensemble initial de pixels comprenant le pixel sélectionné et une pluralité de pixels localisés au voisinage du pixel sélectionné, • déterminer, dans la deuxième image, un premier ensemble de pixels par projection, à partir de la matrice de rotation et du vecteur de translation déterminés, de l’ensemble initial déterminé sur un plan prédéterminé situé à une distance minimale prédéterminée, ledit premier ensemble comprenant un premier pixel correspondant au pixel sélectionné dans la première image, • déterminer, dans la deuxième image un deuxième ensemble de pixels par projection, à partir de la matrice de rotation et du vecteur de translation déterminés, de l’ensemble initial déterminé sur le plan prédéterminé situé à une distance maximale prédéterminée, ledit deuxième ensemble comprenant un deuxième pixel correspondant au pixel sélectionné dans la première image, le segment épipolaire étant le segment reliant le premier pixel et le deuxième pixel dans la deuxième image.• determine, in the first image, an initial set of pixels comprising the selected pixel and a plurality of pixels located in the vicinity of the selected pixel, • determine, in the second image, a first set of pixels by projection, from the matrix of rotation and of the translation vector determined, of the initial set determined on a predetermined plane situated at a predetermined minimum distance, said first set comprising a first pixel corresponding to the pixel selected in the first image, • determining, in the second image second set of pixels by projection, from the rotation matrix and the translation vector determined, of the initial set determined on the predetermined plane located at a predetermined maximum distance, said second set comprising a second pixel corresponding to the pixel selected in the first image, the epipolar segment é both the segment connecting the first pixel and the second pixel in the second image.
Selon un aspect de l’invention, le module de traitement d’images est configuré pour déterminer la distance minimale et la distance maximale.According to one aspect of the invention, the image processing module is configured to determine the minimum distance and the maximum distance.
Selon un autre aspect de l’invention, le module de traitement d’images est configuré pour déterminer le plan de projection.According to another aspect of the invention, the image processing module is configured to determine the projection plane.
De préférence, le dispositif est configuré pour déterminer une pluralité de segments épipolaires ou un cylindre épipolaire.Preferably, the device is configured to determine a plurality of epipolar segments or an epipolar cylinder.
L’invention concerne également un véhicule automobile comprenant un dispositif tel que présenté précédemment.The invention also relates to a motor vehicle comprising a device as presented above.
D’autres caractéristiques et avantages de l’invention apparaîtront lors de la description qui suit faite en regard des figures annexées données à titre d’exemples non limitatifs et dans lesquelles des références identiques sont données à des objets semblables.Other characteristics and advantages of the invention will become apparent from the following description given with reference to the appended figures given by way of nonlimiting examples and in which identical references are given to similar objects.
La figure 1 illustre schématiquement un véhicule selon l’invention.Figure 1 schematically illustrates a vehicle according to the invention.
La figure 2 illustre schématiquement une première image et une deuxième image, consécutive à la première image, acquises par la caméra.FIG. 2 schematically illustrates a first image and a second image, consecutive to the first image, acquired by the camera.
La figure 3 illustre schématiquement deux projections d’une zone de pixels d’une première image dans une deuxième image par homographie sur un plan de projection situé respectivement à une distance minimum et à une distance maximum prédéterminées.FIG. 3 schematically illustrates two projections of a pixel area of a first image in a second image by homography on a projection plane situated respectively at a predetermined minimum distance and at a maximum distance.
La figure 4 illustre schématiquement une projection par homographie, sur un plan de projection situé à une distance prédéterminée, d’un ensemble de points d’une première image dans une deuxième image, la correspondance entre les deux images étant réalisée via une matrice de rotation et un vecteur de translation de la caméra.FIG. 4 schematically illustrates a projection by homography, on a projection plane situated at a predetermined distance, of a set of points of a first image in a second image, the correspondence between the two images being produced via a rotation matrix and a camera translation vector.
La figure 5 illustre schématiquement un segment épipolaire obtenu dans une deuxième image par la projection d’un ensemble de pixels d’une première image sur un plan situé consécutivement à une pluralité de distances prédéterminée comprises entre une distance minimum prédéterminée et à une distance maximum prédéterminée.FIG. 5 schematically illustrates an epipolar segment obtained in a second image by the projection of a set of pixels of a first image on a plane situated consecutively at a plurality of predetermined distances comprised between a predetermined minimum distance and a predetermined maximum distance .
La figure 6 illustre schématiquement un exemple de cylindre épipolaire.Figure 6 schematically illustrates an example of an epipolar cylinder.
La figure 7 illustre schématiquement un mode de réalisation du procédé selon l’invention.FIG. 7 schematically illustrates an embodiment of the method according to the invention.
Le dispositif de traitement d’images selon l’invention va maintenant être décrit en référence aux figures 1 à 6.The image processing device according to the invention will now be described with reference to FIGS. 1 to 6.
En référence à la figure 1, le dispositif 10 de traitement d’images est monté dans un véhicule automobile 1. Par les termes « véhicule automobile », on entend de manière standard un véhicule routier mû par un moteur à explosion, à combustion interne, électrique ou par turbine à gaz ou un moteur hybride tel que, par exemple, une voiture, une camionnette, un camion, etc.Referring to FIG. 1, the image processing device 10 is mounted in a motor vehicle 1. By the terms “motor vehicle”, we mean in a standard way a road vehicle driven by an internal combustion engine, electric or gas turbine or hybrid engine such as, for example, a car, pickup truck, truck, etc.
Le dispositif 10 comprend une caméra 100 vidéo et un module de traitement d’images 200. De manière préférée, la caméra 100 est montée au niveau de la partie supérieure centrale du pare-brise avant (non représenté) du véhicule 1. On notera toutefois que la caméra 100 pourrait être montée à tout autre endroit adapté du véhicule 1 (côté, arrière etc.). La caméra 100 est configurée pour acquérir une pluralité d’images de l’environnement 2 du véhicule 1, par exemple la route 2A, afin que le module de traitement d’images 200 les exploite.The device 10 comprises a video camera 100 and an image processing module 200. Preferably, the camera 100 is mounted at the level of the central upper part of the front windshield (not shown) of the vehicle 1. However, it will be noted that the camera 100 could be mounted at any other suitable location on the vehicle 1 (side, rear, etc.). The camera 100 is configured to acquire a plurality of images of the environment 2 of the vehicle 1, for example the road 2A, so that the image processing module 200 can use them.
Le module de traitement d’images 200 traite les images acquises par la caméra 100 afin de fournir une assistance à la conduite au conducteur du véhicule 1. A titre d’exemple, un tel traitement d’images peut consister à détecter des objets dans les images, tels que par exemple des panneaux, des bordures de route, des obstacles (piétons ou autre...), afin d’informer le conducteur respectivement d’une vitesse limite, d’un risque de sortie de route ou d’un risque de collision. Un tel traitement d’image peut aussi permettre de mesurer la hauteur d’un pont ou la position d’un obstacle afin d’en avertir le conducteur ou de procéder à un freinage d’urgence.The image processing module 200 processes the images acquired by the camera 100 in order to provide driving assistance to the driver of the vehicle 1. For example, such image processing can consist in detecting objects in the images, such as for example signs, road curbs, obstacles (pedestrians or other ...), in order to inform the driver respectively of a speed limit, of a risk of leaving the road or of a risk of collision. Such image processing can also make it possible to measure the height of a bridge or the position of an obstacle in order to warn the driver or to perform emergency braking.
A cette fin, en référence à la figure 2, le module de traitement d’images 200 est configuré pour réaliser une pluralité de tâches sur une première image 11 et une deuxième image I2, postérieure à la première image 11, acquises par la caméra 100 vidéo.To this end, with reference to FIG. 2, the image processing module 200 is configured to perform a plurality of tasks on a first image 11 and a second image I2, posterior to the first image 11, acquired by the camera 100 video.
Tout d’abord, le module de traitement d’images 200 est configuré pour déterminer, pour chaque pixel de la première image 11 et pour chaque pixel de la deuxième image I2, une signature caractéristique dudit pixel.First, the image processing module 200 is configured to determine, for each pixel of the first image 11 and for each pixel of the second image I2, a signature characteristic of said pixel.
Par ailleurs, en référence à la figure 3, le module de traitement d’images 200 est configuré pour déterminer une matrice de rotation R et un vecteur de translation T de la caméra 100 entre la première image 11 et la deuxième image I2, correspondant à la rotation et à la translation de la caméra 100 dans un référentiel lié à l’objet.Furthermore, with reference to FIG. 3, the image processing module 200 is configured to determine a rotation matrix R and a translation vector T of the camera 100 between the first image 11 and the second image I2, corresponding to the rotation and translation of the camera 100 in a reference frame linked to the object.
La détermination de la matrice de rotation R et du vecteur de translation T peut, par exemple, être réalisée en utilisant un objet statique représenté sur les deux images, par exemple la route ou un pont, ou bien un objet dynamique se déplaçant par rapport à la caméra 100, par exemple un autre véhicule.The determination of the rotation matrix R and of the translation vector T can, for example, be carried out using a static object represented on the two images, for example the road or a bridge, or else a dynamic object moving relative to camera 100, for example another vehicle.
Dans ce dernier cas, il faut savoir où se situe l’objet dans l’image (par exemple en utilisant une méthode de classification connue en soi) et déterminer alors la matrice de rotation R et le vecteur de translation T de la caméra 100 dans le référentiel lié à l’objet, le vecteur de translation T étant dans ce cas pondérée d’un coefficient a qui peut être déterminé de manière connue par traitement d’images en connaissant la taille de l’objet.In the latter case, it is necessary to know where the object is located in the image (for example by using a classification method known per se) and then to determine the rotation matrix R and the translation vector T of the camera 100 in the referential linked to the object, the translation vector T being in this case weighted by a coefficient a which can be determined in a known manner by image processing by knowing the size of the object.
La détermination de la matrice de rotation R et du vecteur de translation T entre la première image 11 et la deuxième image I2 peut être réalisée par un algorithme de traitement d’images ou par l’utilisation d’un ou plusieurs capteurs inertiels et/ou de position géographique (par exemple GPS) de manière connue en soi.The determination of the rotation matrix R and of the translation vector T between the first image 11 and the second image I2 can be carried out by an image processing algorithm or by the use of one or more inertial sensors and / or geographical position (for example GPS) in a manner known per se.
A titre d’exemple, de manière connue, un tel algorithme peut consister à déterminer le flot temporel entre la première image 11 et la deuxième image I2 pour en déduire une première matrice dite « fondamentale », à transformer cette matrice fondamentale en une matrice dite « essentielle » à partir des paramètres intrinsèques de calibration de la caméra 100, à en déduire une matrice de rotation R et un vecteur de translation intermédiaire a.T obtenue à un facteur « a » près et à corriger ce vecteur de translation intermédiaire a.T pour obtenir un vecteur de translation T final à partir d’un odomètre du véhicule 1. Une telle méthode étant connue en soi, elle ne sera pas davantage détaillée ici.By way of example, in a known manner, such an algorithm may consist in determining the time flow between the first image 11 and the second image I2 in order to deduce therefrom a first so-called “fundamental” matrix, to transform this fundamental matrix into a so-called matrix "Essential" from the intrinsic calibration parameters of camera 100, to deduce therefrom a rotation matrix R and an intermediate translation vector aT obtained to a factor "a" and to correct this intermediate translation vector aT to obtain a final translation vector T from an odometer of the vehicle 1. Since such a method is known per se, it will not be further detailed here.
Ensuite, toujours en référence à la figure 2, le module de traitement d’images 200 est configuré pour sélectionner un pixel PA(1) dans la première image 11 pour lequel on cherche un pixel correspondant dans la deuxième image I2. Par les termes « pixel correspondant », on entend un pixel représentant une même zone spatiale de l’environnement 2 du véhicule 1.Then, still with reference to FIG. 2, the image processing module 200 is configured to select a pixel PA (1) in the first image 11 for which a corresponding pixel is sought in the second image I2. By the terms "corresponding pixel" is meant a pixel representing the same spatial area of the environment 2 of the vehicle 1.
Toujours en référence à la figure 2, le module de traitement d’images 200 est également configuré pour déterminer dans la première image 11 un ensemble initial de pixels comprenant le pixel sélectionné PA(1) et une pluralité de pixels PA(2), ..., PA(5), localisés au voisinage du pixel sélectionné PA(1). Par le terme voisinage, on entend de manière connue des pixels PA(2), PA(5) adjacents au pixel sélectionné PA(1) dans la première image 11. Le nombre de pixels du voisinage est de quatre dans cet exemple à des fins de clarté mais il va de soi que le voisinage du pixel PA(1) peut comprend plus ou moins de quatre pixels (plus généralement « n » pixels, « n » étant un entier naturel supérieur ou égal à 2). Un tel ensemble initial de pixels peut être une fenêtre ou une portion de la première image 11, par exemple une fenêtre de 10 x 10 pixels. On notera ici que le nombre n de pixels et la forme de la fenêtre ou de la portion d’image peuvent varier à dessein. On notera aussi que l’on a représenté cinq pixels dans l’ensemble à titre d’exemple mais que le nombre de pixels de l’ensemble pourrait bien entendu être inférieur ou supérieur à cinq.Still with reference to FIG. 2, the image processing module 200 is also configured to determine in the first image 11 an initial set of pixels comprising the selected pixel PA (1) and a plurality of pixels PA (2),. .., PA (5), located near the selected pixel PA (1). By the term neighborhood, we mean in a known manner pixels PA (2), PA (5) adjacent to the selected pixel PA (1) in the first image 11. The number of pixels in the neighborhood is four in this example for the purposes for clarity but it goes without saying that the vicinity of the pixel PA (1) can comprise more or less than four pixels (more generally "n" pixels, "n" being a natural integer greater than or equal to 2). Such an initial set of pixels can be a window or a portion of the first image 11, for example a window of 10 × 10 pixels. It should be noted here that the number n of pixels and the shape of the window or of the image portion can vary on purpose. Note also that five pixels have been shown in the set by way of example, but that the number of pixels in the set could of course be less than or greater than five.
Le module de traitement d’images 200 est aussi configuré pour déterminer, dans la deuxième image I2, une pluralité d’ensembles de pixels PB(1 ),..., PB(5) par projection, à partir de la matrice de rotation R et du vecteur de translation T déterminés, de l’ensemble initial déterminé PA(1), ..., PA(5). Ce premier ensemble PB(1), ..., PB(5) comprend un premier pixel PB(1) correspondant au pixel sélectionné PA(1) dans la première image 11.The image processing module 200 is also configured to determine, in the second image I2, a plurality of sets of pixels PB (1), ..., PB (5) by projection, from the rotation matrix R and the translation vector T determined, of the initial set determined PA (1), ..., PA (5). This first set PB (1), ..., PB (5) comprises a first pixel PB (1) corresponding to the selected pixel PA (1) in the first image 11.
En référence aux figures 3 et 4, cette projection est réalisée sur un plan W prédéterminé situé à différentes distances D prédéterminées du centre optique C1 de la caméra 100 pour la première image 11.With reference to FIGS. 3 and 4, this projection is carried out on a predetermined plane W situated at different predetermined distances D from the optical center C1 of the camera 100 for the first image 11.
Plus précisément, en référence à la figure 3, le module de traitement d’images 200 est tout d’abord configuré pour déterminer, dans la deuxième image I2, un premier ensemble de pixels PBmin(1), ..., PBmin(5) par projection, à partir de la matrice de rotation R et du vecteur de translation T déterminés, de l’ensemble initial déterminé PA(1 ), ..., PA(5) sur un plan W de projection prédéterminé situé à une distance minimale Dmin prédéterminée. Ce premier ensemble PBmin(1), ..., PBmin(5) comprend un premier pixel PBmin(1) correspondant au pixel sélectionné PA(1) dans la première image 11.More precisely, with reference to FIG. 3, the image processing module 200 is firstly configured to determine, in the second image I2, a first set of pixels PBmin (1), ..., PBmin (5 ) by projection, from the rotation matrix R and the translation vector T determined, of the initial set determined PA (1), ..., PA (5) on a plane W of predetermined projection located at a distance minimum Dmin predetermined. This first set PBmin (1), ..., PBmin (5) comprises a first pixel PBmin (1) corresponding to the selected pixel PA (1) in the first image 11.
Similairement, toujours en référence à la figure 3, le module de traitement d’images 200 est configuré pour déterminer, dans la deuxième image I2, un deuxième ensemble de pixels PBmax(1), ..., PBmax(5) par projection, à partir de la matrice de rotation R et du vecteur de translation T déterminées, de l’ensemble initial déterminé PA(1 ),..., PA(5) sur le plan W situé à une distance maximale prédéterminée Dmax. Ce deuxième ensemble PBmax(1 ),..., PBmax(5) comprend un deuxième pixel PBmax(1) correspondant au pixel sélectionné dans la première image 11.Similarly, still with reference to FIG. 3, the image processing module 200 is configured to determine, in the second image I2, a second set of pixels PBmax (1), ..., PBmax (5) by projection, from the rotation matrix R and the translation vector T determined, from the initial set determined PA (1), ..., PA (5) on the plane W located at a predetermined maximum distance Dmax. This second set PBmax (1), ..., PBmax (5) comprises a second pixel PBmax (1) corresponding to the pixel selected in the first image 11.
En référence maintenant à la figure 4, la détermination de la projection d’un pixel de la première image 11 dans la deuxième image I2 via un plan W de projection correspond à une homographie du pixel dans un repère d’origine C1 (qui correspond au centre optique de la caméra 100 lors de l’acquisition de la première image 11) à un repère d’origine C2 (qui correspond au centre optique de la caméra 100 lors de l’acquisition de la deuxième image I2) via le plan W de projection situé à l’une des distances déterminées. Une telle projection par homographie est réalisée à partir de la matrice de rotation R et du vecteur de translation T, d’un vecteur n2 normal au plan W de projection et de la distance D du plan W par rapport au centre optique C1 de la manière suivante :Referring now to FIG. 4, the determination of the projection of a pixel of the first image 11 into the second image I2 via a projection plane W corresponds to a homography of the pixel in an origin coordinate system C1 (which corresponds to the optical center of camera 100 during the acquisition of the first image 11) at an origin mark C2 (which corresponds to the optical center of camera 100 during the acquisition of the second image I2) via the plane W of projection located at one of the determined distances. Such a projection by homography is carried out from the rotation matrix R and the translation vector T, from a vector n 2 normal to the plane of projection W and from the distance D from the plane W with respect to the optical center C1 of the as follows:
H = R — (^).H = R - (^).
Une telle homographie étant connue en soi, elle ne sera donc pas davantage détaillée ici.As such homography is known per se, it will therefore not be further detailed here.
En théorie, la distance minimale Dmin est nulle et la distance maximale Dmax correspond à l’infini. En pratique, on peut choisir une distance minimale Dmin de quelques mètres, par exemple cinq mètres, et une distance maximale Dmax de quelques dizaines de mètres, par exemple cinquante ou cent mètres, notamment lorsque le pixel sélectionné PA(1) dans la première image 11 représente un objet identifié dont on connaît l’éloignement par rapport à la caméra 100, par exemple la route défilant dans la partie inférieure des images acquises par la caméra 100.In theory, the minimum distance Dmin is zero and the maximum distance Dmax corresponds to infinity. In practice, it is possible to choose a minimum distance Dmin of a few meters, for example five meters, and a maximum distance Dmax of a few tens of meters, for example fifty or one hundred meters, in particular when the selected pixel PA (1) in the first image. 11 represents an identified object whose distance from the camera 100 is known, for example the road passing in the lower part of the images acquired by the camera 100.
Le plan W de projection peut être déterminé selon la nature du pixel sélectionné PA(1). Par exemple, lorsque le pixel sélectionné PA(1) représente une zone de la route 2A sur laquelle circule le véhicule 1, un plan W correspondant au plan de la route 2A peut être utilisé. Ce plan W est un plan de projection virtuel qui va permettre d’estimer par homographie, c’est-à-dire de manière géométrique, la position correspondante d’un pixel de la première image 11 dans la deuxième image I2, comme illustré schématiquement sur la figure 3.The projection plane W can be determined according to the nature of the selected pixel PA (1). For example, when the selected pixel PA (1) represents an area of the road 2A on which the vehicle 1 travels, a plane W corresponding to the plane of the road 2A can be used. This plane W is a virtual projection plane which will make it possible to estimate by homography, that is to say geometrically, the corresponding position of a pixel of the first image 11 in the second image I2, as illustrated diagrammatically in figure 3.
Une fois le premier pixel PBmin(1) et le deuxième pixel PBmax(1) sélectionnés, le module de traitement d’images 200 est configuré pour déterminer un segment U reliant le premier pixel PBmin(1) et le deuxième pixel PBmax(1), appelé segment épipolaire.Once the first pixel PBmin (1) and the second pixel PBmax (1) selected, the image processing module 200 is configured to determine a segment U connecting the first pixel PBmin (1) and the second pixel PBmax (1) , called the epipolar segment.
En référence à la figure 5, le module de traitement d’images 200 est ensuite configuré pour sélectionner une pluralité de points PB2(1 ),..., PB5(1) le long du segment U déterminé. De manière avantageuse, les points PB2(1 ),..., PB5(1) peuvent être répartis le long du segment U en partant du premier pixel PBmin(1) en étant espacés d’un pas « step >> de largeur prédéterminée, par exemple tous les 0,1 pixels. Le nombre de points sélectionnés PB2(1 ),..., PB5(1) sur le segment U est de quatre dans cet exemple mais il va de soi qu’il pourrait être supérieur ou inférieur à quatre.With reference to FIG. 5, the image processing module 200 is then configured to select a plurality of points PB 2 (1), ..., PB 5 (1) along the determined segment U. Advantageously, the points PB 2 (1), ..., PB 5 (1) can be distributed along the segment U starting from the first pixel PBmin (1) being spaced apart by a step "of" predetermined width, for example every 0.1 pixels. The number of points selected PB 2 (1), ..., PB 5 (1) on segment U is four in this example but it goes without saying that it could be greater or less than four.
Le module de traitement d’images 200 est configuré pour associer chaque point PB2(1), PB5(1) sélectionné à un pixel de la deuxième image I2. En pratique, on considère qu’un point est associé lorsque ses coordonnées dans l’image correspondent aux coordonnées d’un pixel, c’est-à-dire que le point sélectionné se trouve dans la zone de l’image couverte (ou représentée) par ledit pixel.The image processing module 200 is configured to associate each point PB 2 (1), PB 5 (1) selected with a pixel of the second image I2. In practice, we consider that a point is associated when its coordinates in the image correspond to the coordinates of a pixel, that is to say that the selected point is in the area of the image covered (or represented ) by said pixel.
Le module de traitement d’images 200 est configuré pour comparer la signature de chaque pixel correspondant à un point (PB2(1),..., PB5(1)) sélectionné avec la signature du pixel sélectionné dans la première image 11.The image processing module 200 is configured to compare the signature of each pixel corresponding to a point (PB 2 (1), ..., PB 5 (1)) selected with the signature of the pixel selected in the first image 11 .
Le module de traitement d’images 200 est configuré pour détecter un motif répétitif entre la première image 11 et la deuxième image I2 lorsqu’une pluralité de signatures de pixels associés aux points (PB2(1 ),..., PB5(1)) sélectionnés sur le segment U correspondent à la signature du pixel sélectionné dans la première image 11.The image processing module 200 is configured to detect a repeating pattern between the first image 11 and the second image I2 when a plurality of pixel signatures associated with the points (PB 2 (1), ..., PB 5 ( 1)) selected on segment U correspond to the signature of the pixel selected in the first image 11.
L’invention va maintenant être décrite dans sa mise en œuvre en référence aux figures 2 à 7.The invention will now be described in its implementation with reference to Figures 2 to 7.
Tout d’abord, dans une étape E0, en référence notamment aux figures 2 et 7, la caméra 100 acquière une première image 11 et une deuxième image I2, de préférence consécutives. On notera que le procédé peut être mis en œuvre en prenant comme première image 11 l’image dont l’acquisition est temporellement la première (image antérieure ou précédente dans le flot d’images acquises par la caméra) et comme deuxième image I2, l’image successive dans le flot d’images. A contrario, le procédé peut être mis en œuvre en prenant comme première image 11 l’image dont l’acquisition est temporellement postérieure (image suivante dans le flot d’images acquises par la caméra) à la deuxième image I2 et comme deuxième image I2, l’image précédente dans le flot d’images. Dans l’exemple qui suit, on choisit l’image antérieure comme première image 11 et l’image postérieure (c’est-à-dire successive dans le flot d’images) comme deuxième image I2.First of all, in a step E0, with particular reference to FIGS. 2 and 7, the camera 100 acquires a first image 11 and a second image I2, preferably consecutive. It will be noted that the method can be implemented by taking as the first image 11 the image whose acquisition is temporally the first (anterior or previous image in the stream of images acquired by the camera) and as the second image I2, l successive image in the image stream. Conversely, the method can be implemented by taking as the first image 11 the image whose acquisition is temporally posterior (next image in the stream of images acquired by the camera) to the second image I2 and as the second image I2 , the previous image in the image stream. In the example which follows, the anterior image is chosen as the first image 11 and the posterior image (that is to say successive in the image stream) as the second image I2.
Dans une étape E1, le module de traitement d’images 200 détermine, pour chaque pixel de la première image 11 et pour chaque pixel de la deuxième image I2, une signature caractéristique dudit pixel.In a step E1, the image processing module 200 determines, for each pixel of the first image 11 and for each pixel of the second image I2, a signature characteristic of said pixel.
Une telle signature peut être déterminée à partir de l’analyse locale d’une image et caractérise ainsi le contenu de cette image. Il existe plusieurs façons de créer une signature basée sur des descripteurs. Ces descripteurs peuvent avoir certaines propriétés comme l’invariance par rotation, par grossissement ou changement de luminosité. Le cas d’utilisation définit en général les propriétés nécessaires aux descripteurs et permet de déterminer la méthode la plus avantageuse. Par exemple, la transformation de census donne une signature basée sur les différences relatives d’intensité (Zabih, R., Woodfill, J.I.: Non-parametric Local Transforme for Computing Visual Correspondence. In: Eklundh, J.-O. (ed.) ECCV 1994. LNCS, vol. 801, pp. 151-158. Springer, Heidelberg (1994)). Un autre exemple est la transformation de caractéristiques visuelles invariante à l'échelle (SIFT pour « Scale-lnvariant Feature Transform >> en langue anglaise).Such a signature can be determined from the local analysis of an image and thus characterizes the content of this image. There are several ways to create a signature based on descriptors. These descriptors can have certain properties such as invariance by rotation, by magnification or change in brightness. The use case generally defines the properties necessary for the descriptors and makes it possible to determine the most advantageous method. For example, the census transformation gives a signature based on the relative intensity differences (Zabih, R., Woodfill, JI: Non-parametric Local Transforme for Computing Visual Correspondence. In: Eklundh, J.-O. (ed. ) ECCV 1994. LNCS, vol. 801, pp. 151-158. Springer, Heidelberg (1994)). Another example is the transformation of visual characteristics invariant to scale (SIFT for “Scale-lnvariant Feature Transform” in English).
En vision par ordinateur, l'extraction de caractéristiques visuelles (ou « Visual features extraction >> en langue anglaise) consiste en des transformations mathématiques calculées sur les pixels d'une image numérique. Les caractéristiques visuelles permettent généralement de mieux rendre compte de certaines propriétés visuelles de l'image, utilisées pour des traitements ultérieurs entrant dans le cadre d'applications telles que la détection d'objets ou la recherche d'images par le contenu.In computer vision, the extraction of visual characteristics (or "Visual features extraction" in English) consists of mathematical transformations calculated on the pixels of a digital image. The visual characteristics generally make it possible to better account for certain visual properties of the image, used for subsequent processing entering into the framework of applications such as the detection of objects or the search for images by the content.
La caractérisation d'une image peut être calculée en un nombre restreint de pixel. Il faut pour cela d'abord détecter les zones d'intérêt de l'image puis calculer en chacune de ces zones un vecteur caractéristique. Ces zones d'intérêt sont par exemple les arêtes ou les points saillants de l'image (zones de fort contraste). Il peut aussi s'agir de points pris aléatoirement ou régulièrement dans l'image (échantillonnage dit dense).The characterization of an image can be calculated in a limited number of pixels. For this, it is first necessary to detect the areas of interest of the image and then calculate in each of these areas a characteristic vector. These areas of interest are, for example, the edges or the salient points of the image (areas of high contrast). They can also be points taken randomly or regularly in the image (so-called dense sampling).
Le vecteur caractéristique contient parfois des données provenant de la détection, telles que l'orientation de l'arête ou la magnitude du gradient dans la zone d'intérêt. Généralement, le vecteur caractéristique en un pixel est calculé sur un voisinage de ce pixel, c'est-à-dire à partir d'une imagette centrée sur ce pixel. Il peut être calculé à différentes échelles de manière à s'affranchir du facteur de zoom. Parmi les caractéristiques locales couramment calculées, on retrouve des motifs préalablement utilisés globalement, tels que des histogrammes de couleur ou des vecteurs rendant compte de l'orientation des gradients des niveaux de gris. Trois exemples de voisinages utilisés pour définir une texture et calculer un motif binaire local (LBP pour « Local Binary Patterns >> en langue anglaise). Certaines méthodes telles SIFT ou SURF (pour « Speeded Up Robust Features >> en langue anglaise) incluent à la fois la détection de zone d'intérêt et le calcul d'un vecteur caractéristique en chacune de ces zones. Concernant le vecteur caractéristique, les SIFT sont grossièrement un histogramme des orientations du gradient et les SURF consistent en le calcul d'approximation d'ondelettes de Haar. Dans une veine similaire, les motifs binaires locaux (LBP) sont un calcul de cooccurrence des niveaux de gris locaux d'une image et les HOG (pour « Histograms of Oriented Gradients >> en langue anglaise) sont des histogrammes de gradients orientés, assez similaires aux SIFT, calculés selon un échantillonnage dense.The characteristic vector sometimes contains data from the detection, such as the orientation of the edge or the magnitude of the gradient in the area of interest. Generally, the characteristic vector in a pixel is calculated on a neighborhood of this pixel, that is to say from a thumbnail centered on this pixel. It can be calculated at different scales so as to overcome the zoom factor. Among the local characteristics commonly calculated, there are patterns previously used globally, such as color histograms or vectors reflecting the orientation of the grayscale gradients. Three examples of neighborhoods used to define a texture and calculate a local binary pattern (LBP for “Local Binary Patterns” in English). Certain methods such as SIFT or SURF (for “Speeded Up Robust Features” in English) include both the detection of the area of interest and the calculation of a characteristic vector in each of these areas. Concerning the characteristic vector, the SIFTs are roughly a histogram of the orientations of the gradient and the SURFs consist in the approximation calculation of Haar wavelets. In a similar vein, the local binary patterns (LBP) are a calculation of the co-occurrence of the local gray levels of an image and the HOG (for “Histograms of Oriented Gradients” in English) are histograms of oriented gradients, quite similar to SIFTs, calculated using dense sampling.
En référence à la figure 3, le module de traitement d’images 200 détermine ensuite, dans une étape E2, la matrice de rotation R et le vecteur de translation T entre la première image 11 et la deuxième image I2.With reference to FIG. 3, the image processing module 200 then determines, in a step E2, the rotation matrix R and the translation vector T between the first image 11 and the second image I2.
Le module de traitement d’images 200 sélectionne, dans une étape E3, un pixel PA(1) dans la première image 11 pour lequel un pixel correspondant dans la deuxième image I2 doit être déterminé.The image processing module 200 selects, in a step E3, a pixel PA (1) in the first image 11 for which a corresponding pixel in the second image I2 must be determined.
De manière avantageuse, le module de traitement d’images 200 peut tout d’abord sélectionner un pixel, qui n’a pas de flot optique dans la deuxième image I2, dans une zone d’intérêt de la première image 11, par exemple un côté de l’image représentant le bord de la route lorsqu’on souhaite prévenir le conducteur d’un risque de sortie de route, le dessus de l’image représentant le ciel lorsqu’on souhaite détecter un pont pour en évaluer la hauteur etc.Advantageously, the image processing module 200 can first of all select a pixel, which has no optical flow in the second image I2, in an area of interest of the first image 11, for example a side of the image representing the edge of the road when one wishes to warn the driver of a risk of leaving the road, the top of the image representing the sky when one wishes to detect a bridge to evaluate the height etc.
Ensuite, en référence à la figure 2, pour le pixel sélectionné PA(1), le module de traitement d’images 200 détermine dans la première image 11, dans une étape E4, un ensemble initial de pixels PA(1), ..., PA(5) comprenant le pixel sélectionné PA(1) et une pluralité de pixels PA(2), ..., PA(5) localisés au voisinage du pixel sélectionné PA(1). Dans l’exemple de la figure 2, par souci de clarté, seuls quatre pixels PA(2), PA(3), PA(4) et PA(5) du voisinage du pixel PA(1) ont été sélectionnés.Then, with reference to FIG. 2, for the selected pixel PA (1), the image processing module 200 determines in the first image 11, in a step E4, an initial set of pixels PA (1), .. ., PA (5) comprising the selected pixel PA (1) and a plurality of pixels PA (2), ..., PA (5) located in the vicinity of the selected pixel PA (1). In the example of FIG. 2, for the sake of clarity, only four pixels PA (2), PA (3), PA (4) and PA (5) in the vicinity of the pixel PA (1) have been selected.
En référence à la figure 3, le module de traitement d’images 200 détermine ou sélectionne (par exemple dans une liste stockée dans une zone mémoire - non représentée - du dispositif 10) dans une étape E5 une distance minimale Dmin et une distance maximale Dmax entre lesquelles se situe le point spatial représenté par le pixel sélectionné PA(1). Ces valeurs Dmin et Dmax peuvent être déterminées comme décrit ciavant ou bien en utilisant l’historique des images précédentes ou une connaissance géométrique de la scène, comme par exemple une route plane.With reference to FIG. 3, the image processing module 200 determines or selects (for example from a list stored in a memory area - not shown - of the device 10) in a step E5 a minimum distance Dmin and a maximum distance Dmax between which is located the spatial point represented by the selected pixel PA (1). These Dmin and Dmax values can be determined as described above or by using the history of the previous images or a geometric knowledge of the scene, such as for example a flat road.
Dans une étape E6, le module de traitement d’images 200 détermine un plan W de projection, du pixel sélectionné PA(1 ), dans la deuxième image I2, par exemple un plan vertical situé face à l’avant du véhicule 1. On notera que les étapes E5 et E6 peuvent être inversées.In a step E6, the image processing module 200 determines a projection plane W, of the selected pixel PA (1), in the second image I2, for example a vertical plane situated facing the front of the vehicle 1. On note that steps E5 and E6 can be reversed.
En référence aux figures 2 et 3, dans une étape E7, le module de traitement d’images 200 détermine, dans la deuxième image I2, un premier ensemble de pixels PBmin(1), ..., PBmin(5) par projection homographique de l’ensemble initial déterminé de pixels PA(1), ..., PA(5) sur le plan W, en considérant que ce dernier est placé à la distance minimale déterminée Dmin. Ce premier ensemble PBmin(1 ),..., PBmin(5) comprend un premier pixel PBmin(1) correspondant, par projection homographique sur le plan W à la distance minimale Dmin, au pixel sélectionné PA(1) dans la première image 11.With reference to FIGS. 2 and 3, in a step E7, the image processing module 200 determines, in the second image I2, a first set of pixels PBmin (1), ..., PBmin (5) by homographic projection of the initial determined set of pixels PA (1), ..., PA (5) on the plane W, considering that the latter is placed at the minimum determined distance Dmin. This first set PBmin (1), ..., PBmin (5) comprises a first pixel PBmin (1) corresponding, by homographic projection on the plane W at the minimum distance Dmin, to the selected pixel PA (1) in the first image 11.
Similairement, dans une étape E8, le module de traitement d’images 200 détermine, dans la deuxième image I2, un deuxième ensemble de pixels PBmax(1 PBmax(5) par projection homographique de l’ensemble initial déterminé PA(1 PA(5) sur le plan W prédéterminé situé à la distance maximale prédéterminée Dmax. Ce deuxième ensemble PBmax(1 PBmax(5) comprend un deuxième pixel PBmax(1) correspondant, par projection homographique du plan W à la distance maximale Dmax, au pixel sélectionné PA(1) dans la première image 11. Il va de soi que les étapes E7 et E8 peuvent être inversées.Similarly, in a step E8, the image processing module 200 determines, in the second image I2, a second set of pixels PBmax (1 PBmax (5) by homographic projection of the determined initial set PA (1 PA (5 ) on the predetermined plane W located at the predetermined maximum distance Dmax. This second set PBmax (1 PBmax (5) comprises a second pixel PBmax (1) corresponding, by homographic projection of the plane W at the maximum distance Dmax, to the selected pixel PA (1) in the first image 11. It goes without saying that steps E7 and E8 can be reversed.
En référence aux figures 3 à 5, le module de traitement d’images 200 détermine ensuite, dans une étape E9, le segment U reliant le premier pixel PBmin(1) et le deuxième pixel PBmax(1) dans la deuxième image I2 puis sélectionne, dans une étape E10, une pluralité de points PB2(1), ..., PB5(1 ) sur le segment U ainsi déterminé, par exemple tous les 0,1 pixels.With reference to FIGS. 3 to 5, the image processing module 200 then determines, in a step E9, the segment U connecting the first pixel PBmin (1) and the second pixel PBmax (1) in the second image I2 then selects , in a step E10, a plurality of points PB 2 (1), ..., PB 5 (1) on the segment U thus determined, for example every 0.1 pixels.
Au lieu d’un unique segment, on pourrait également considérer un cylindre épipolaire qui se définit comme étant un segment épipolaire d’une épaisseur supérieure à un pixel (de préférence une épaisseur d’un nombre impair de pixels, ainsi la dilatation du segment se fait de part et d’autre du segment d’épaisseur 1). Dans le cas du cylindre, en référence à la figure 6, il suffit d’appliquer le parcours du segment U tous les 0,1 pixels au pixel central du cylindre et d’étendre la mesure aux pixels voisins (par exemple PB2’(1) et PB2”(1) pour le pixel PB2(1) et PB3’(1) et PB3”(1) pour le pixel PB3(1 )).Instead of a single segment, one could also consider an epipolar cylinder which is defined as being an epipolar segment with a thickness greater than one pixel (preferably a thickness of an odd number of pixels, thus the dilation of the segment is made on either side of the thickness segment 1). In the case of the cylinder, with reference to FIG. 6, it suffices to apply the path of the segment U every 0.1 pixels to the central pixel of the cylinder and to extend the measurement to the neighboring pixels (for example PB2 '(1 ) and PB2 ”(1) for the pixel PB2 (1) and PB3 '(1) and PB3” (1) for the pixel PB3 (1)).
Le module de traitement d’images 200 associe ensuite dans une étape E11 chaque point PB2(1), ..., PB5(1 ) sélectionné sur le segment U à un pixel de la deuxième image I2.The image processing module 200 then associates in a step E11 each point PB 2 (1), ..., PB 5 (1) selected on the segment U with a pixel of the second image I2.
Le module de traitement d’images 200 compare alors dans une étape E12 la signature de chaque pixel associé à un point PB2(1 PB5(1) sélectionné avec la signature du pixel sélectionné dans la première image 11.The image processing module 200 then compares in a step E12 the signature of each pixel associated with a point PB 2 (1 PB 5 (1) selected with the signature of the pixel selected in the first image 11.
Enfin, dans une étape E13, le module de traitement d’images 200 détecte un motif répétitif entre la première image 11 et la deuxième image I2 lorsqu’une pluralité de signatures de pixels associés à la pluralité de points (PB2(1), ..., PB5(1) sélectionnés sur le segment U correspondent à la signature du pixel sélectionné dans la première image 11.Finally, in a step E13, the image processing module 200 detects a repeating pattern between the first image 11 and the second image I2 when a plurality of pixel signatures associated with the plurality of points (PB 2 (1), ..., PB 5 (1) selected on segment U correspond to the signature of the pixel selected in the first image 11.
Dans l’exemple non limitatif qui a été décrit ci-avant, un unique segment épipolaire était utilisé mais on notera qu’en variante, une pluralité de segments épipolaires, par exemple parallèles, pourraient être utilisés, chaque segment étant défini par une pluralité de points associés à des pixels de la deuxième image I2 de sorte que la signature de chaque point soit comparée à la signature du pixel associé dans la première image 11 afin de détecter de manière encore plus précise des motifs répétitifs dans les images. De même, on pourrait définir, plutôt qu’un segment ou une pluralité de segments, un cylindre épipolaire comprenant le segment U et une pluralité de points associés à des pixels de la deuxième image I2 et dont on pourrait comparer les signatures avec les pixels correspondant de la première image 11 afin de détecter de manière encore plus précise des motifs répétitifs dans les images.In the nonlimiting example which has been described above, a single epipolar segment was used but it will be noted that, as a variant, a plurality of epipolar segments, for example parallel, could be used, each segment being defined by a plurality of points associated with pixels of the second image I2 so that the signature of each point is compared with the signature of the associated pixel in the first image 11 in order to detect even more precisely repeating patterns in the images. Similarly, one could define, rather than a segment or a plurality of segments, an epipolar cylinder comprising the segment U and a plurality of points associated with pixels of the second image I2 and whose signatures could be compared with the corresponding pixels of the first image 11 in order to detect even more precisely repeating patterns in the images.
On notera par ailleurs que pour les objets dynamiques, la rotation et translation entre les images sont de préférence exprimés par rapport à un repère monde qui est lié à l’objet dynamique.It should also be noted that for dynamic objects, the rotation and translation between the images are preferably expressed with respect to a world reference frame which is linked to the dynamic object.
Le procédé selon l’invention permet donc de détecter aisément et efficacement des motifs répétitifs dans les images capturées par la caméra 100 afin d’assister le conducteur dans sa conduite du véhicule 1.The method according to the invention therefore makes it possible to easily and effectively detect repeating patterns in the images captured by the camera 100 in order to assist the driver in driving the vehicle 1.
II est précisé, en outre, que la présente invention n’est pas limitée aux exemples décrits ci-dessus et est susceptible de nombreuses variantes accessibles à l’homme de l’art.It is further specified that the present invention is not limited to the examples described above and is susceptible of numerous variants accessible to those skilled in the art.
Claims (10)
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1752857A FR3064785B1 (en) | 2017-04-03 | 2017-04-03 | METHOD AND DEVICE FOR PROCESSING IMAGES ACQUIRED BY A CAMERA OF A MOTOR VEHICLE |
| PCT/FR2018/050743 WO2018185398A1 (en) | 2017-04-03 | 2018-03-27 | Method and device for processing images acquired by a camera of a motor vehicle |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1752857 | 2017-04-03 | ||
| FR1752857A FR3064785B1 (en) | 2017-04-03 | 2017-04-03 | METHOD AND DEVICE FOR PROCESSING IMAGES ACQUIRED BY A CAMERA OF A MOTOR VEHICLE |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| FR3064785A1 true FR3064785A1 (en) | 2018-10-05 |
| FR3064785B1 FR3064785B1 (en) | 2019-04-05 |
Family
ID=58779211
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| FR1752857A Active FR3064785B1 (en) | 2017-04-03 | 2017-04-03 | METHOD AND DEVICE FOR PROCESSING IMAGES ACQUIRED BY A CAMERA OF A MOTOR VEHICLE |
Country Status (2)
| Country | Link |
|---|---|
| FR (1) | FR3064785B1 (en) |
| WO (1) | WO2018185398A1 (en) |
-
2017
- 2017-04-03 FR FR1752857A patent/FR3064785B1/en active Active
-
2018
- 2018-03-27 WO PCT/FR2018/050743 patent/WO2018185398A1/en active Application Filing
Non-Patent Citations (6)
| Title |
|---|
| CHRISTOPHER LE BRESE ET AL: "An improved ASIFT algorithm for matching repeated patterns", 2010 17TH IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING (ICIP 2010); 26-29 SEPT. 2010; HONG KONG, CHINA, IEEE, PISCATAWAY, NJ, USA, 26 September 2010 (2010-09-26), pages 2949 - 2952, XP031814713, ISBN: 978-1-4244-7992-4 * |
| KUNDU A ET AL: "Moving object detection by multi-view geometric techniques from a single camera mounted robot", INTELLIGENT ROBOTS AND SYSTEMS, 2009. IROS 2009. IEEE/RSJ INTERNATIONAL CONFERENCE ON, IEEE, PISCATAWAY, NJ, USA, 10 October 2009 (2009-10-10), pages 4306 - 4312, XP031580587, ISBN: 978-1-4244-3803-7 * |
| LIN WEN-YAN ET AL: "RepMatch: Robust Feature Matching and Pose for Reconstructing Modern Cities", 17 September 2016, NETWORK AND PARALLEL COMPUTING; [LECTURE NOTES IN COMPUTER SCIENCE; LECT.NOTES COMPUTER], SPRINGER INTERNATIONAL PUBLISHING, CHAM, PAGE(S) 562 - 579, ISBN: 978-3-642-27168-7, ISSN: 0302-9743, XP047355226 * |
| SABE K ET AL: "Obstacle avoidance and path planning for humanoid robots using stereo vision", ROBOTICS AND AUTOMATION, 2004. PROCEEDINGS. ICRA '04. 2004 IEEE INTERN ATIONAL CONFERENCE ON NEW ORLEANS, LA, USA APRIL 26-MAY 1, 2004, PISCATAWAY, NJ, USA,IEEE, US, vol. 1, 26 April 2004 (2004-04-26), pages 592 - 597, XP010768339, ISBN: 978-0-7803-8232-9, DOI: 10.1109/ROBOT.2004.1307213 * |
| SALVATORE LIVATINO: "Aalborg Universitet Cylindrical epipolar geometry", CVONLINE : THE EVOLVING, 1 January 2003 (2003-01-01), XP055419221, Retrieved from the Internet <URL:http://vbn.aau.dk/files/2848348/CylEpiGeo.pdf> * |
| SUNAO KAMIYA ET AL: "Accurate Image Matching in Scenes Including Repetitive Patterns", 18 February 2008, ROBOT VISION : SECOND INTERNATIONAL WORKSHOP, ROBVIS 2008, AUCKLAND, NEW ZEALAND, FEBRUARY 18 - 20, 2008 ; PROCEEDINGS; [LECTURE NOTES IN COMPUTER SCIENCE], SPRINGER, BERLIN, HEIDELBERG, PAGE(S) 165 - 176, ISBN: 978-3-540-78156-1, XP019086909 * |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2018185398A1 (en) | 2018-10-11 |
| FR3064785B1 (en) | 2019-04-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2275971B1 (en) | Method of obstacle detection for a vehicle | |
| EP2930659B1 (en) | Method for detecting points of interest in a digital image | |
| FR2907239A1 (en) | Predetermined digital image searching and recognizing method for microcomputer, involves allocating subscript to index to provide image that obtains reduced image having value chosen by function applied to pixels of reduced image | |
| EP1785966B1 (en) | Evaluation process, by a motor vehicle, of the characteristics of a frontal element | |
| WO2017021601A1 (en) | Device and method for detecting a parking space that is available for a motor vehicle | |
| FR2905188A1 (en) | Input image e.g. palm imprint image, density converting method for e.g. image processing improving system, involves converting minimum local and maximum local values into minimum and maximum common values, and reconstructing input image | |
| WO2018138064A1 (en) | Detection of obstacles in the environment of a motor vehicle by image processing | |
| FR2899363A1 (en) | Movable/static object`s e.g. vehicle, movement detecting method for assisting parking of vehicle, involves carrying out inverse mapping transformation on each image of set of images of scene stored on charge coupled device recording camera | |
| FR3083352A1 (en) | METHOD AND DEVICE FOR FAST DETECTION OF REPETITIVE STRUCTURES IN THE IMAGE OF A ROAD SCENE | |
| EP2432660A1 (en) | Method and device for extending a visibility area | |
| FR2950451A1 (en) | ALGORITHM FOR DETECTION OF CONTOUR POINTS IN AN IMAGE | |
| FR3064785A1 (en) | METHOD AND DEVICE FOR PROCESSING IMAGES ACQUIRED BY A CAMERA OF A MOTOR VEHICLE | |
| WO2017005930A1 (en) | Detection of objects by image processing | |
| WO2017216465A1 (en) | Method and device for processing images acquired by a camera of a motor vehicle | |
| EP2180426A1 (en) | Method for detecting a target object for an automobile | |
| WO2017187059A1 (en) | Method for adjusting a stereoscopic imaging device | |
| FR3078183A1 (en) | METHOD FOR DETECTING AN OBJECT FROM AN INBOARD CAMERA IN A MOTOR VEHICLE | |
| FR3058247B1 (en) | DETECTION OF OBSTACLES AROUND A MOTOR VEHICLE | |
| WO2020174142A1 (en) | Vehicle driving assistance by reliable determination of objects in deformed images | |
| FR3062224A1 (en) | DETECTING OBSTACLES IN THE ENVIRONMENT OF A MOTOR VEHICLE BY PROCESSING IMAGES | |
| FR3080702A1 (en) | ESTIMATION OF DISTANCE SEPARATING A MOTOR VEHICLE FROM OBJECTS DETECTED BY PROCESSING IMAGES CAPTURED FROM THE MOTOR VEHICLE | |
| FR3138951A1 (en) | System and method for aiding the navigation of a mobile system by means of a model for predicting terrain traversability by the mobile system | |
| FR3119916A1 (en) | Extrinsic calibration of a camera mounted on a vehicle chassis | |
| WO2021099395A1 (en) | Method for detecting intensity peaks of a specularly reflected light beam | |
| WO2019002236A1 (en) | Processing data obtained from an obstacle detector |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PLFP | Fee payment |
Year of fee payment: 2 |
|
| PLSC | Publication of the preliminary search report |
Effective date: 20181005 |
|
| PLFP | Fee payment |
Year of fee payment: 3 |
|
| PLFP | Fee payment |
Year of fee payment: 4 |
|
| PLFP | Fee payment |
Year of fee payment: 5 |
|
| PLFP | Fee payment |
Year of fee payment: 6 |
|
| PLFP | Fee payment |
Year of fee payment: 7 |
|
| TQ | Partial transmission of property |
Owner name: CONTINENTAL AUTONOMOUS MOBILITY GERMANY GMBH, DE Effective date: 20230424 Owner name: CONTINENTAL AUTOMOTIVE FRANCE, FR Effective date: 20230424 |
|
| PLFP | Fee payment |
Year of fee payment: 8 |