FR3053554A1 - METHOD FOR RAPID CALIBRATION OF A MOTOR VEHICLE CAMERA - Google Patents

METHOD FOR RAPID CALIBRATION OF A MOTOR VEHICLE CAMERA Download PDF

Info

Publication number
FR3053554A1
FR3053554A1 FR1656192A FR1656192A FR3053554A1 FR 3053554 A1 FR3053554 A1 FR 3053554A1 FR 1656192 A FR1656192 A FR 1656192A FR 1656192 A FR1656192 A FR 1656192A FR 3053554 A1 FR3053554 A1 FR 3053554A1
Authority
FR
France
Prior art keywords
camera
vehicle
images
pitch
yaw
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
FR1656192A
Other languages
French (fr)
Other versions
FR3053554B1 (en
Inventor
Boris Lugez
Lucien Garcia
Bertrand Godreau
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Continental Autonomous Mobility Germany GmbH
Continental Automotive France SAS
Original Assignee
Continental Automotive GmbH
Continental Automotive France SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Continental Automotive GmbH, Continental Automotive France SAS filed Critical Continental Automotive GmbH
Priority to FR1656192A priority Critical patent/FR3053554B1/en
Publication of FR3053554A1 publication Critical patent/FR3053554A1/en
Application granted granted Critical
Publication of FR3053554B1 publication Critical patent/FR3053554B1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/002Diagnosis, testing or measuring for television systems or their details for television cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/40Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components
    • B60R2300/402Image calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

La présente invention a pour objet un procédé de calibration d'une caméra montée dans un véhicule automobile. Le procédé comprend une étape (E1) de génération d'une série d'images de l'environnement du véhicule, une étape (E4) d'extraction d'un sous-ensemble d'images de ladite série d'images, une étape (E5) de détermination d'un déplacement du véhicule selon une trajectoire rectiligne sur une portion de roulement plane à partir du sous-ensemble d'images extrait, une étape (E6) de détermination des valeurs de tangage et de lacet à partir dudit sous-ensemble d'images lors du déplacement déterminé, et une étape (E7) de détermination de la valeur de roulis à partir des valeurs de tangage et de lacet déterminées et d'un plan de projection associé à la portion de roulement plane afin de calibrer la caméra.The present invention relates to a method of calibrating a camera mounted in a motor vehicle. The method comprises a step (E1) of generating a series of images of the vehicle environment, a step (E4) of extracting a subset of images from said series of images, a step (E5) for determining a displacement of the vehicle in a rectilinear trajectory on a plane rolling portion from the extracted subset of images, a step (E6) of determining the pitch and yaw values from said sub-set of images set of images during the determined displacement, and a step (E7) for determining the roll value from the determined pitch and yaw values and a projection plane associated with the plane rolling portion in order to calibrate the camera.

Description

Titulaire(s) : CONTINENTAL AUTOMOTIVE FRANCE Société par actions simplifiée, CONTINENTAL AUTOMOTIVE GMBH.Holder (s): CONTINENTAL AUTOMOTIVE FRANCE Simplified joint-stock company, CONTINENTAL AUTOMOTIVE GMBH.

Demande(s) d’extensionExtension request (s)

Mandataire(s) : CONTINENTAL AUTOMOTIVE FRANCE Société par actions simplifiée.Agent (s): CONTINENTAL AUTOMOTIVE FRANCE Simplified joint-stock company.

PROCEDE DE CALIBRATION RAPIDE D'UNE CAMERA DE VEHICULE AUTOMOBILE.METHOD FOR QUICK CALIBRATION OF A MOTOR VEHICLE CAMERA.

FR 3 053 554 - A1FR 3 053 554 - A1

La présente invention a pour objet un procédé de calibration d'une caméra montée dans un véhicule automobile. Le procédé comprend une étape (E1 ) de génération d'une série d'images de l'environnement du véhicule, une étape (E4) d'extraction d'un sous-ensemble d'images de ladite série d'images, une étape (E5) de détermination d'un déplacement du véhicule selon une trajectoire rectiligne sur une portion de roulement plane à partir du sous-ensemble d'images extrait, une étape (E6) de détermination des valeurs de tangage et de lacet à partir dudit sous-ensemble d'images lors du déplacement déterminé, et une étape (E7) de détermination de la valeur de roulis à partir des valeurs de tangage et de lacet déterminées et d'un plan de projection associé à la portion de roulement plane afin de calibrer la caméra.The present invention relates to a method for calibrating a camera mounted in a motor vehicle. The method comprises a step (E1) of generating a series of images of the environment of the vehicle, a step (E4) of extracting a subset of images from said series of images, a step (E5) for determining a movement of the vehicle along a rectilinear trajectory on a flat rolling portion from the subset of extracted images, a step (E6) for determining the pitch and yaw values from said sub -set of images during the determined displacement, and a step (E7) of determining the roll value from the determined pitch and yaw values and from a projection plane associated with the plane rolling portion in order to calibrate the camera.

I I I E3 I E3 I E4 I E4 I E5 I E5 I ry, rz I —E6 I ry, rz I —E6 n< J-E7n <J - E7

Figure FR3053554A1_D0001

L’invention se rapporte au domaine de la calibration des caméras embarquées dans les véhicules automobiles et concerne plus particulièrement un procédé et un dispositif de calibration d’une caméra montée dans un véhicule automobile ainsi qu’un véhicule automobile comprenant un tel dispositif.The invention relates to the field of calibration of on-board cameras in motor vehicles and relates more particularly to a method and a device for calibrating a camera mounted in a motor vehicle as well as a motor vehicle comprising such a device.

De nos jours, il est connu d’équiper un véhicule automobile d’un système d’assistance à la conduite appelé communément ADAS (« Advanced Driver Assistance System » en langue anglaise). Un tel système comprend de manière connue une caméra vidéo, par exemple montée sur le pare-brise avant du véhicule, qui permet de générer un flux d’images représentant l’environnement dudit véhicule. Ces images sont exploitées par une unité de traitement dans le but d’assister le conducteur, par exemple en détectant un obstacle ou bien le franchissement d’une ligne blanche. Les informations données par les images capturées par la caméra doivent donc être suffisamment fiables et pertinentes pour permettre au système d’assister efficacement le conducteur du véhicule. A cette fin, il est donc nécessaire de calibrer la caméra.Nowadays, it is known to equip a motor vehicle with a driving assistance system commonly called ADAS ("Advanced Driver Assistance System" in English). Such a system comprises, in known manner, a video camera, for example mounted on the front windshield of the vehicle, which makes it possible to generate a stream of images representing the environment of said vehicle. These images are used by a processing unit to assist the driver, for example by detecting an obstacle or crossing a white line. The information given by the images captured by the camera must therefore be sufficiently reliable and relevant to allow the system to effectively assist the driver of the vehicle. To this end, it is therefore necessary to calibrate the camera.

En traitement d'image, l'opération de calibration de caméra revient à modéliser le processus de formation des images, c'est-à-dire trouver la relation entre les coordonnées spatiales d'un point de l'espace avec le point associé dans l'image prise par la caméra ainsi que la relation spatiale entre la caméra et le véhicule. Le terme calibration est utilisé de manière standard par l’homme du métier bien qu’il soit un anglicisme dont l'équivalent français est étalonnage.In image processing, the camera calibration operation amounts to modeling the image formation process, i.e. finding the relationship between the spatial coordinates of a point in space with the associated point in the image taken by the camera as well as the spatial relationship between the camera and the vehicle. The term calibration is used in a standard way by those skilled in the art although it is an Anglicism whose French equivalent is calibration.

Plusieurs modèles décrivant le processus de formation des images existent. Le plus simple est le modèle du sténopé ou modèle « pin-hole » dans la littérature anglosaxonne, qui est couramment utilisé en traitement d'image. Il s'agit d'une modélisation simple du processus de formation des images au sein d'une caméra. Ce modèle suppose que le système optique de la caméra, c'est-à-dire sa lentille, respecte les conditions de Gauss. Si l'on utilise la notation matricielle des coordonnées homogènes, il est possible de décrire de manière simple ce processus. Pour cela, il faut tout d’abord exprimer les relations de passage d’un premier repère appelé « repère véhicule », lié à l’environnement du véhicule, à un deuxième repère appelé « repère caméra », lié à la caméra. Il faut également exprimer la projection du repère caméra dans un plan appelé « plan image » qui correspond à un plan situé à la distance focale de la caméra le long de l’axe focal. Il faut enfin appliquer la transformation affine qui conduit aux coordonnées du point dans l'image.Several models describing the image formation process exist. The simplest is the pinhole or pin-hole model in Anglo-Saxon literature, which is commonly used in image processing. It is a simple modeling of the image formation process within a camera. This model assumes that the camera's optical system, i.e. its lens, meets Gauss conditions. If one uses the matrix notation of homogeneous coordinates, it is possible to describe in a simple way this process. To do this, it is first necessary to express the passage relationships from a first reference point called "vehicle reference point", linked to the environment of the vehicle, to a second reference point called "camera reference point", linked to the camera. It is also necessary to express the projection of the camera marker in a plane called "image plane" which corresponds to a plane located at the focal distance of the camera along the focal axis. Finally, we must apply the affine transformation which leads to the coordinates of the point in the image.

La relation permettant de passer d’un point du repère véhicule à un point de l’image dépend de manière connue de paramètres dits « intrinsèques » et de paramètres dits « extrinsèques ». Les paramètres intrinsèques sont propres à la caméra tandis que les paramètres extrinsèques peuvent varier suivant la position de la caméra dans l'environnement du véhicule.The relationship allowing to pass from a point of the vehicle reference point to a point of the image depends in a known manner on parameters called "intrinsic" and parameters called "extrinsic". The intrinsic parameters are specific to the camera while the extrinsic parameters can vary according to the position of the camera in the environment of the vehicle.

Parmi les paramètres intrinsèques, on distingue la distance focale, les facteurs d'agrandissement de l'image, les coordonnées de la projection du centre optique de la caméra sur le plan image et un facteur de non-orthogonalité potentielle des lignes et des colonnes des cellules électroniques photosensibles qui composent le capteur de la caméra. La plupart du temps, ce dernier paramètre est négligé et prend donc une valeur nulle.Among the intrinsic parameters, one distinguishes the focal distance, the factors of enlargement of the image, the coordinates of the projection of the optical center of the camera on the image plane and a factor of potential non-orthogonality of the rows and columns of the photosensitive electronic cells that make up the camera sensor. Most of the time, this last parameter is neglected and therefore takes a zero value.

Les paramètres extrinsèques comprennent la matrice de rotation et le vecteur de translation permettant de passer du repère véhicule au repère caméra, soit au total douze paramètres à estimer. La matrice de rotation contient neuf éléments qui peuvent toutefois être réduits aux seuls trois angles de roulis, de tangage et de lacet (respectivement « roll, pitch and yaw » en langue anglaise) selon le formalisme dit « de Tait-Bryan » connu de l’homme du métier.The extrinsic parameters include the rotation matrix and the translation vector making it possible to pass from the vehicle reference point to the camera reference point, ie a total of twelve parameters to be estimated. The rotation matrix contains nine elements which can however be reduced to only three angles of roll, pitch and yaw (respectively “roll, pitch and yaw” in English) according to the formalism known as “of Tait-Bryan” known from l skilled in the art.

Étalonner la caméra consiste à déterminer la valeur numérique des paramètres de ce modèle. Il est toutefois possible de les regrouper de manière différente, suivant la forme sous laquelle ce modèle doit ensuite être exploité. Ceci conduit à différentes variantes possibles du modèle.Calibrating the camera consists in determining the numerical value of the parameters of this model. It is however possible to group them in a different way, depending on the form in which this model must then be used. This leads to different possible variants of the model.

La calibration des paramètres intrinsèques est en général réalisée au moins une première fois en usine puis à chaque fois qu’il est nécessaire de les calibrer à nouveau, par exemple suite à l’intervention d’un garagiste sur le pare-brise.The calibration of intrinsic parameters is generally carried out at least for the first time in the factory and then each time it is necessary to calibrate them again, for example following the intervention of a mechanic on the windshield.

La calibration des paramètres extrinsèques est réalisée une première fois en usine à la fin du processus de fabrication du véhicule. Cette première calibration nécessite l’utilisation d’un support de calibration appelé « mire » et consiste à acquérir, avec la caméra du véhicule, des images dudit support afin de déterminer les valeurs de compensation des paramètres extrinsèques.The extrinsic parameters are calibrated for the first time in the factory at the end of the vehicle manufacturing process. This first calibration requires the use of a calibration support called "test chart" and consists in acquiring, with the vehicle's camera, images of said support in order to determine the compensation values of the extrinsic parameters.

Un tel support de calibration comporte une pluralité de repères de calibration, par exemple disposés en lignes et en colonnes. Afin de calibrer la caméra, il est nécessaire d’aligner tout d’abord parfaitement le véhicule face au support de calibration afin que leurs référentiels tridimensionnels respectifs soient parallèles et annuler ainsi les valeurs de rotation tout en fixant les valeurs de translation dans les trois dimensions spatiales entre le véhicule et le support de calibration. Ensuite, une fois le véhicule aligné, la caméra capture au moins une série d’images du support de calibration afin de déterminer les valeurs de rotation et de translation entre la caméra et les repères de calibration du support. Enfin, connaissant d’une part les valeurs de rotation et de translation entre le véhicule et le support de calibration et d’autre part les valeurs de rotation et de translation entre la caméra et les repères de calibration du support, on en déduit les valeurs des paramètres extrinsèques de calibration de la caméra.Such a calibration support includes a plurality of calibration marks, for example arranged in rows and columns. In order to calibrate the camera, it is necessary first of all to perfectly align the vehicle facing the calibration support so that their respective three-dimensional frames of reference are parallel and thus cancel the rotation values while fixing the translation values in three dimensions between the vehicle and the calibration support. Then, once the vehicle is aligned, the camera captures at least one series of images of the calibration support in order to determine the rotation and translation values between the camera and the calibration marks of the support. Finally, knowing on the one hand the rotation and translation values between the vehicle and the calibration support and on the other hand the rotation and translation values between the camera and the calibration marks of the support, we deduce the values extrinsic camera calibration parameters.

Ces valeurs sont ensuite stockées et utilisées par le système d’assistance à la conduite du véhicule pour compenser en temps réel les images acquises par la caméra lors de l’utilisation du véhicule.These values are then stored and used by the vehicle's driving assistance system to compensate in real time for the images acquired by the camera when the vehicle is used.

Avec cette méthode de calibration, l’alignement du véhicule face au support de calibration doit être précis, ce qui nécessite à la fois du temps et un matériel onéreux tel que des plates-formes d’alignement, des rouleaux, des lasers etc.With this calibration method, the alignment of the vehicle in front of the calibration support must be precise, which requires both time and expensive equipment such as alignment platforms, rollers, lasers, etc.

De plus, un tel matériel d’alignement n’est pas toujours disponible en dehors de l’usine de fabrication, par exemple chez un garagiste ou un concessionnaire, afin de calibrer de nouveau les paramètres extrinsèques de la caméra, par exemple suite à une réparation ou lors d’une maintenance, ce qui présente un inconvénient majeur.In addition, such alignment equipment is not always available outside the manufacturing plant, for example at a garage or a dealer, in order to recalibrate the extrinsic parameters of the camera, for example following a repair or during maintenance, which has a major drawback.

Par ailleurs, la charge ou les secousses subies par le véhicule peuvent entraîner le besoin d’une correction des valeurs de ces paramètres extrinsèques.In addition, the load or the jolts undergone by the vehicle can cause the need for a correction of the values of these extrinsic parameters.

Il est ainsi connu de calibrer à nouveau les paramètres extrinsèques de la caméra lorsque le véhicule se met à rouler, par exemple après chaque démarrage du moteur. Une telle calibration peut par exemple être réalisée en utilisant un algorithme d’analyse des lignes de signalisation présentes sur les routes ou bien en utilisant un algorithme de type SLAM (« Simultaneous Localization And Mapping » en langue anglaise ou Cartographie Et Localisation Simultanées) de manière connue en soi.It is thus known to recalibrate the extrinsic parameters of the camera when the vehicle starts to roll, for example after each engine start. Such a calibration can for example be carried out using an algorithm for analyzing the signaling lines present on the roads or else using an algorithm of the SLAM type (“Simultaneous Localization And Mapping” in English or Simultaneous Cartography And Location) so known per se.

Les algorithmes d’analyse ne fonctionnent qu’en présence de lignes de signalisation sur la route et ne permettent donc pas de calibrer la caméra sur les routes dépourvues de tels marquages, ce qui présente un inconvénient important. De plus, de tels algorithmes présentent de faibles performances en termes de temps de convergence et fonctionnent difficilement à faible vitesse du véhicule, pour laquelle le flux optique est imprécis, ce qui rend la calibration imprécise et présente donc un inconvénient majeur.The analysis algorithms only work in the presence of signal lines on the road and therefore do not allow the camera to be calibrated on roads without such markings, which has a significant drawback. In addition, such algorithms exhibit poor performance in terms of convergence time and operate with difficulty at low vehicle speed, for which the optical flux is imprecise, which makes calibration imprecise and therefore has a major drawback.

Les algorithmes de type SLAM permettent simultanément de construire ou d’améliorer une carte de l’environnement du véhicule et de s’y localiser. De tels algorithmes présentent également de faibles performances de convergence et fonctionnent aussi difficilement à faible vitesse du véhicule pour laquelle le flux optique est imprécis, ce qui rend la calibration imprécise et présente donc là encore un inconvénient majeur.SLAM-type algorithms allow you to simultaneously build, improve and locate your vehicle environment map. Such algorithms also have poor convergence performance and also operate with difficulty at low vehicle speed for which the optical flow is imprecise, which makes calibration imprecise and therefore again presents a major drawback.

L’invention vise donc à remédier au moins en partie à ces inconvénients en proposant une solution simple, rapide, fiable et efficace pour étalonner une caméra de véhicule automobile.The invention therefore aims to remedy these drawbacks at least in part by proposing a simple, rapid, reliable and efficient solution for calibrating a motor vehicle camera.

A cette fin, l’invention a pour objet un procédé de calibration d’une caméra montée dans un véhicule automobile, ladite calibration comprenant la détermination des valeurs des paramètres extrinsèques de roulis, tangage et lacet de ladite caméra permettant de passer d’un point réel de l’environnement du véhicule exprimé dans un repère dit « véhicule » lié au véhicule à un point d’une image générée par la caméra exprimé dans un repère dit « caméra » lié à la caméra et représentant ledit point réel, ledit procédé étant remarquable en ce qu’il comprend :To this end, the subject of the invention is a method for calibrating a camera mounted in a motor vehicle, said calibration comprising the determination of the values of the extrinsic parameters of roll, pitch and yaw of said camera making it possible to pass from one point real of the environment of the vehicle expressed in a reference known as “vehicle” linked to the vehicle at a point of an image generated by the camera expressed in a reference known as “camera” linked to the camera and representing said real point, said method being remarkable in that it includes:

• une étape de génération d’une série d’images de l’environnement du véhicule, • une étape d’extraction d’un sous-ensemble d’images de ladite série d’images, • une étape de détermination d’un déplacement du véhicule selon une trajectoire rectiligne sur une portion de roulement plane à partir du sous-ensemble d’images extrait, • une étape de détermination des valeurs de tangage et de lacet à partir dudit sous-ensemble d’images lors du déplacement déterminé, et • une étape de détermination de la valeur de roulis à partir des valeurs de tangage et de lacet déterminées et d’un plan de projection associé à la portion de roulement plane afin de calibrer la caméra.• a step of generating a series of images of the environment of the vehicle, • a step of extracting a subset of images from said series of images, • a step of determining a displacement of the vehicle along a rectilinear trajectory on a flat rolling portion from the subset of images extracted, • a step of determining the pitch and yaw values from said subset of images during the determined displacement, and • a step of determining the roll value from the determined pitch and yaw values and from a projection plane associated with the flat roll portion in order to calibrate the camera.

L’utilisation d’un sous-ensemble d’images permet d’adapter le taux de variation des images afin d’une part de déterminer que le véhicule roule selon une trajectoire rectiligne et d’autre part de déterminer les valeurs de tangage et de lacet puis de roulis pour calibrer la caméra. Le procédé de calibration selon l’invention ne nécessite avantageusement qu’une surface plane et peut donc être mis en œuvre très aisément et très rapidement aussi bien en usine que dans un garage ou sur une route. L’utilisation d’une surface plane permet en outre à une personne non-spécifiquement qualifiée, par exemple le conducteur du véhicule lors de son utilisation, de réaliser la calibration en conduisant le véhicule de manière rectiligne sur ladite surface plane. Il n’est de plus pas nécessaire d’utiliser une mire de calibration ou des marquages au sol de type lignes peintes, ce qui permet de simplifier significativement la calibration tout en réduisant les coûts et le temps de calibration. Les hypothèses de planéité de la surface de roulement et de trajectoire rendent le procédé simple à mettre en œuvre et donc performant en termes de temps de convergence et de rapport signal sur bruit des signaux lors du traitement des images, ce qui permet une calibration simple, rapide, fiable et efficace de la caméra.The use of a subset of images makes it possible to adapt the rate of variation of the images in order on the one hand to determine that the vehicle is traveling along a rectilinear trajectory and on the other hand to determine the values of pitch and of yaw then roll to calibrate the camera. The calibration method according to the invention advantageously only requires a flat surface and can therefore be implemented very easily and very quickly both in the factory and in a garage or on a road. The use of a flat surface also allows a non-specifically qualified person, for example the driver of the vehicle during its use, to carry out the calibration by driving the vehicle in a rectilinear manner on said flat surface. There is also no need to use a calibration target or painted line markings on the ground, which significantly simplifies calibration while reducing costs and calibration time. The assumptions of flatness of the rolling surface and trajectory make the process simple to implement and therefore efficient in terms of convergence time and signal-to-noise ratio of the signals during image processing, which allows a simple calibration, fast, reliable and efficient camera.

De préférence, le procédé comprend une étape de réception d’une information de vitesse du véhicule et une étape de détermination d’un rapport d’extraction des images du sous-ensemble à partir de l'information de vitesse reçue. Ce rapport d’extraction indique la fréquence à laquelle les images sont extraites de la série d’images pour constituer le sous-ensemble d’images.Preferably, the method comprises a step of receiving vehicle speed information and a step of determining an extraction ratio of the images of the subset from the speed information received. This extraction ratio indicates the frequency with which the images are extracted from the series of images to constitute the subset of images.

De préférence encore, le rapport d’extraction est choisi pour que la distance parcourue par le véhicule entre deux images consécutives extraites soit supérieure ou égale à un seuil de distance prédéterminé, de préférence 0,5 m. Ceci permet de minimiser le rapport signal sur bruit permettant d’avoir un flot optique suffisant entre deux images consécutives du sous-ensemble d’images afin de déterminer les valeurs des paramètres extrinsèques de roulis, tangage et lacet. En effet, le flot optique entre deux images du sous-ensemble sera suffisamment important lorsque la distance parcourue par le véhicule entre les deux instants de capture de ces images sera supérieur au seuil de distance prédéterminée.More preferably, the extraction ratio is chosen so that the distance traveled by the vehicle between two consecutive extracted images is greater than or equal to a predetermined distance threshold, preferably 0.5 m. This makes it possible to minimize the signal-to-noise ratio making it possible to have sufficient optical flow between two consecutive images of the subset of images in order to determine the values of the extrinsic parameters of roll, pitch and yaw. Indeed, the optical flow between two images of the sub-assembly will be sufficiently large when the distance traveled by the vehicle between the two instants for capturing these images will be greater than the predetermined distance threshold.

De manière préférée, le rapport d’extraction est le nombre entier supérieur ou égale à une valeur k donnée par la formule suivante :Preferably, the extraction ratio is the whole number greater than or equal to a value k given by the following formula:

k =VXtf où d_min est le seuil de distance prédéterminée, v est la vitesse du véhicule et tf est le temps écoulé entre deux images de la série d’images.k = VXtf where d_min is the predetermined distance threshold, v is the speed of the vehicle and t f is the time elapsed between two images in the series of images.

Selon un aspect de l’invention, la valeur de lacet est donnée par :According to one aspect of the invention, the lace value is given by:

yaw_24 = atan où Τ2ι(X) représente la translation de la caméra selonyaw_24 = atan where Τ 2 ι (X) represents the translation of the camera according to

T2l(X) un premier axe parallèle à l’axe longitudinal du véhicule et T21(Y) représente la translation de la caméra selon un deuxième axe orthogonal à l’axe longitudinal du véhicule.T2l (X) a first axis parallel to the longitudinal axis of the vehicle and T 21 (Y) represents the translation of the camera along a second axis orthogonal to the longitudinal axis of the vehicle.

Selon un autre aspect de l’invention, la valeur de tangage est donnée par :According to another aspect of the invention, the pitch value is given by:

pitch_24 = -atan (Tzi(z)*sin ^aw~24)) où T21(Z) représente la translation de la caméra selon i 21W un troisième axe, orthogonal au premier axe et au deuxième axe.pitch_24 = -atan ( Tzi (z) * sin ^ aw ~ 24) ) where T 21 (Z) represents the translation of the camera along i 21W a third axis, orthogonal to the first axis and to the second axis.

Avantageusement, les valeurs T21(X), T21(Y) et T21(Z) de translation de la caméra sont calculées à partir de flots optiques entre les images du sous-ensemble d’images.Advantageously, the values T 21 (X), T 21 (Y) and T 21 (Z) of translation of the camera are calculated from optical flows between the images of the subset of images.

Avantageusement encore, l’estimation des flots optiques entre la première image et la deuxième image peut être réalisée en utilisant un algorithme de Lucas-Kanade, un algorithme de type « semi-global matching » ou un algorithme de type « power flow » de manière connue de l’homme du métier, ces algorithmes étant avantageusement robustes aux changements d’intensité des pixels entre la première image et la deuxième image.Advantageously also, the estimation of the optical flows between the first image and the second image can be carried out using a Lucas-Kanade algorithm, a “semi-global matching” type algorithm or a “power flow” type algorithm so known to those skilled in the art, these algorithms being advantageously robust to changes in pixel intensity between the first image and the second image.

Selon un aspect de l’invention, la détermination du vecteur de translation permettant le passage du repère caméra à un premier instant au repère caméra à un deuxième instant, postérieur au premier instant, lors du déplacement du véhicule comporte une estimation du déplacement de la caméra qui maximise le nombre de pixels respectant les contraintes géométriques de déplacement des pixels associées à un tel déplacement de la caméra, de telles contraintes étant connues de l’homme du métier sous le nom de lois épipolaires.According to one aspect of the invention, the determination of the translation vector allowing the transition from the camera marker at a first instant to the camera marker at a second instant, after the first instant, when the vehicle is moving comprises an estimate of the displacement of the camera which maximizes the number of pixels respecting the geometric constraints of displacement of the pixels associated with such a displacement of the camera, such constraints being known to those skilled in the art under the name of epipolar laws.

Selon une caractéristique de l’invention, on détermine la valeur de roulis en minimisant l’expression :According to a characteristic of the invention, the roll value is determined by minimizing the expression:

argmin pitch_42,roll_42,d2 (H_12*PH2(i)) (H_12*PH2(i))(Z)argmin pitch_42, roll_42, d2 (H_12 * PH2 (i)) (H_12 * PH2 (i)) (Z)

Il 2There 2

-PHl(i) ou en minimisant l’expression argmin £-L1 roll_42 (H_12*PH2(i)) (H_12*PH2(i))(Z)-PHl (i) or by minimizing the expression argmin £ -L 1 roll_42 (H_12 * PH2 (i)) (H_12 * PH2 (i)) (Z)

- PHl(i) où :- PHl (i) where:

• i et n sont des entiers naturels compris entre 1 et n correspondant à des points de la portion de roulement plane, • PH1(i) est la mesure du ieme point appartenant à la portion de roulement plane à un instant t exprimée dans un repère dit « rétinien », lié au repère caméra, à un instant t, • PH2(i) correspond à la mesure ce même ieme point à un instant (t-1) précédent l’instant t exprimée dans le repère rétinien.• i and n are natural integers between 1 and n corresponding to points of the flat rolling portion, • PH1 (i) is the measure of the i th point belonging to the flat rolling portion at an instant t expressed in a reference known as “retinal”, linked to the reference camera, at an instant t, • PH2 (i) corresponds to the measurement this same i th point at an instant (t-1) preceding the instant t expressed in the retinal reference.

• H_12, l'homographie qui permet de passer d’un point exprimé dans le repère rétinien à un premier instant t-1 au point correspondant exprimé dans le repère rétinien à un deuxième instant t.• H_12, the homography which makes it possible to pass from a point expressed in the retinal coordinate system at a first time t-1 to the corresponding point expressed in the retinal coordinate system at a second time t.

L’invention concerne aussi un dispositif de calibration d’une caméra pour véhicule automobile, ladite calibration comprenant la détermination des valeurs des paramètres extrinsèques de roulis, tangage et lacet de ladite caméra permettant de passer d’un point réel de l’environnement du véhicule exprimé dans un repère dit « véhicule » lié au véhicule à un point d’une image générée par la caméra exprimé dans un repère dit « caméra » lié à la caméra et représentant ledit point réel, ledit dispositif comprenant :The invention also relates to a device for calibrating a camera for a motor vehicle, said calibration comprising the determination of the values of the extrinsic parameters of roll, pitch and yaw of said camera making it possible to pass from a real point in the environment of the vehicle. expressed in a reference known as “vehicle” linked to the vehicle at a point of an image generated by the camera expressed in a reference known as “camera” linked to the camera and representing said real point, said device comprising:

• une caméra apte à être montée sur un véhicule automobile et configurée pour générer une série d’images de l’environnement du véhicule pendant un déplacement rectiligne dudit véhicule sur une portion de roulement plane, • une unité de traitement configurée pour :• a camera capable of being mounted on a motor vehicle and configured to generate a series of images of the environment of the vehicle during a rectilinear movement of said vehicle on a flat rolling portion, • a processing unit configured for:

- recevoir une série d’images générées par la caméra,- receive a series of images generated by the camera,

- extraire un sous-ensemble d’images de ladite série d’images,- extract a subset of images from said series of images,

- déterminer que le véhicule se déplace selon une trajectoire rectiligne sur une portion de roulement plane à partir du sous-ensemble d’images extrait,- determine that the vehicle is moving along a rectilinear trajectory on a flat rolling portion from the extracted subset of images,

- déterminer les valeurs de tangage et de lacet à partir dudit sous-ensemble d’images, et- determine the pitch and yaw values from said subset of images, and

- déterminer la valeur de roulis à partir des valeurs de tangage et de lacet déterminées et d’un plan de projection associé à la portion de roulement plane afin de calibrer la caméra.- determine the roll value from the determined pitch and yaw values and from a projection plane associated with the flat roll portion in order to calibrate the camera.

De préférence, l’unité de traitement est configurée pour recevoir une information de vitesse du véhicule et pour déterminer un rapport d’extraction des images du sous-ensemble à partir de l’information de vitesse reçue.Preferably, the processing unit is configured to receive speed information from the vehicle and to determine an extraction ratio of the images of the sub-assembly from the speed information received.

De préférence encore, l’unité de traitement est configurée pour calculer le rapport d’extraction des images de sorte que la distance parcourue par le véhicule entre deux images consécutives extraites soit supérieure ou égale à un seuil de distance prédéterminé, de préférence 0,5 m, ce seuil dépendant de la portion de la caméra.More preferably, the processing unit is configured to calculate the image extraction ratio so that the distance traveled by the vehicle between two consecutive extracted images is greater than or equal to a predetermined distance threshold, preferably 0.5 m, this threshold depending on the portion of the camera.

A cette fin, l’unité de traitement est configurée pour déterminer le rapport d’extraction en choisissant le nombre entier supérieur ou égale à une valeur k donnée par la formule suivante :To this end, the processing unit is configured to determine the extraction ratio by choosing the whole number greater than or equal to a value k given by the following formula:

, d._min k =VXtf où d_min est le seuil de distance prédéterminée, v est la vitesse du véhicule et tf est le temps écoulé entre deux images de la série d’images., d._min k = VXtf where d_min is the predetermined distance threshold, v is the speed of the vehicle and t f is the time between two images in the series of images.

L’invention concerne également un véhicule automobile comprenant un dispositif tel que présenté précédemment.The invention also relates to a motor vehicle comprising a device as presented above.

D’autres caractéristiques et avantages de l’invention apparaîtront lors de la description qui suit faite en regard des figures annexées données à titre d’exemples non limitatifs et dans lesquelles des références identiques sont données à des objets semblables :Other characteristics and advantages of the invention will become apparent from the following description given with reference to the appended figures given by way of nonlimiting examples and in which identical references are given to similar objects:

- La figure 1 illustre schématiquement un véhicule automobile selon l’invention.- Figure 1 schematically illustrates a motor vehicle according to the invention.

- La figure 2 illustre schématiquement un repère véhicule et un repère caméra à deux instants.- Figure 2 schematically illustrates a vehicle marker and a camera marker at two times.

- La figure 3 illustre schématiquement un repère lié au véhicule.- Figure 3 schematically illustrates a reference linked to the vehicle.

- La figure 4 illustre schématiquement le paramètre extrinsèque de lacet.- Figure 4 schematically illustrates the extrinsic yaw parameter.

- La figure 5 illustre schématiquement le paramètre extrinsèque de tangage.- Figure 5 schematically illustrates the extrinsic pitch parameter.

- La figure 6 illustre schématiquement un plan de projection situé sur une portion de roulement plane du véhicule.- Figure 6 schematically illustrates a projection plane located on a flat rolling portion of the vehicle.

- La figure 7 illustre schématiquement un mode de réalisation du procédé selon l’invention.- Figure 7 schematically illustrates an embodiment of the method according to the invention.

- La figure 8 illustre schématiquement différents repères utilisés pour exprimer les coordonnées d’un point réel et de sa représentation dans une image acquise par la caméra.- Figure 8 schematically illustrates different marks used to express the coordinates of a real point and its representation in an image acquired by the camera.

L’invention va maintenant être décrite en référence aux figures 1 à 8. En référence tout d’abord à la figure 1, le dispositif 10 selon l’invention est destiné à être monté dans un véhicule automobile 1 afin d’assister le conducteur dans sa conduite.The invention will now be described with reference to FIGS. 1 to 8. With first reference to FIG. 1, the device 10 according to the invention is intended to be mounted in a motor vehicle 1 in order to assist the driver in his conduct.

A cette fin, le dispositif 10 selon l’invention comprend tout d’abord une caméra 100, fixée par exemple, mais de manière non limitative, au niveau supérieur du pare-brise avant 1A du véhicule 1. Cette caméra 100 est configurée pour acquérir des séries d’images de l’environnement 2 du véhicule 1, notamment pendant un déplacement rectiligne du véhicule 1 sur une portion de roulement plane 2A.To this end, the device 10 according to the invention comprises first of all a camera 100, fixed for example, but not limited to, at the upper level of the front windshield 1A of the vehicle 1. This camera 100 is configured to acquire series of images of the environment 2 of the vehicle 1, in particular during a rectilinear movement of the vehicle 1 on a flat rolling portion 2A.

Le dispositif 10 permet de calibrer (c’est-à-dire étalonner) les paramètres extrinsèques de roulis, de tangage et de lacet de la caméra 100 lorsque le véhicule 1 roule afin d’améliorer l’interprétation des images capturées par la caméra 100 et permettre ainsi une assistance fiable et efficace à la conduite du véhicule 1.The device 10 makes it possible to calibrate (that is to say calibrate) the extrinsic parameters of roll, pitch and yaw of the camera 100 when the vehicle 1 is traveling in order to improve the interpretation of the images captured by the camera 100 and thus allow reliable and efficient assistance in driving the vehicle 1.

Une telle calibration consiste à déterminer les valeurs permettant de passer d’un point réel de l’environnement 2 du véhicule 1 exprimé dans un repère dit « véhicule » lié au véhicule 1 à un point d’une image générée par la caméra 100 exprimé dans un repère dit « caméra » lié à la caméra 100 et représentant ledit point réel.Such a calibration consists in determining the values making it possible to pass from a real point of the environment 2 of the vehicle 1 expressed in a so-called “vehicle” reference linked to the vehicle 1 to a point of an image generated by the camera 100 expressed in a reference known as “camera” linked to camera 100 and representing said real point.

A cette fin, le véhicule 1 comprend une unité 200 de traitement d’images acquises par la caméra 100.To this end, the vehicle 1 comprises a unit 200 for processing images acquired by the camera 100.

L’unité de traitement 200 est configurée pour recevoir une série d’images de l’environnement 2 du véhicule 1 générées par la caméra 100 et pour extraire un sousensemble d’images d’une série d’images acquises par la caméra 100 à un rapport d’extraction déterminé.The processing unit 200 is configured to receive a series of images of the environment 2 of the vehicle 1 generated by the camera 100 and to extract a subset of images from a series of images acquired by the camera 100 at a determined extraction ratio.

A cette fin, l’unité de traitement 200 est configurée pour calculer un rapport d’extraction d’images de la série d’images de sorte que la distance parcourue par le véhicule 1 entre deux images consécutives extraites soit supérieure ou égale à un seuil de distance prédéterminé, par exemple 0,5 m.To this end, the processing unit 200 is configured to calculate an image extraction ratio of the series of images so that the distance traveled by the vehicle 1 between two consecutive extracted images is greater than or equal to a threshold. of predetermined distance, for example 0.5 m.

Ce rapport d’extraction i correspond au nombre d’images consécutives de la série d’images que l’unité de traitement 200 reçoit pour une image retenue dans le sousensemble. En d’autres termes, l’unité de traitement 200 sélectionnera une image de la série d’images toutes les i images reçues.This extraction ratio i corresponds to the number of consecutive images in the series of images that the processing unit 200 receives for an image retained in the subset. In other words, the processing unit 200 will select an image from the series of images every i images received.

Dans cet exemple préféré, l’unité de traitement 200 est configurée pour déterminer le rapport d’extraction en choisissant le nombre entier supérieur ou égale à une valeur k donnée par la formule suivante :In this preferred example, the processing unit 200 is configured to determine the extraction ratio by choosing the whole number greater than or equal to a value k given by the following formula:

où d_min est le seuil de distance prédéterminée, v est la vitesse du véhicule 1 et tf est le temps écoulé entre deux images de la série d’images.where d_min is the predetermined distance threshold, v is the speed of vehicle 1 and t f is the time between two images in the series of images.

Ainsi, pour une fréquence de rafraîchissement de la caméra de 16,67 Hz, soit tf = 60 ms entre deux images, si on veut une distance de 0,5 m entre deux images du sous-ensemble, on extraira une image du flux toutes les i images (i étant le rapport d’extraction) où i est le nombre entier supérieur ou égale à k, qui est donné par la formule suivante :Thus, for a camera refresh rate of 16.67 Hz, i.e. t f = 60 ms between two images, if we want a distance of 0.5 m between two images of the subset, we will extract an image from the stream all i images (i being the extraction ratio) where i is the integer greater than or equal to k, which is given by the following formula:

, 0,5 k --., 0.5 k -.

vxO.06vxO.06

A titre d’exemple, pour une vitesse de 3 km/h, soit m/s, on a k = i =10.For example, for a speed of 3 km / h, or m / s, we have k = i = 10.

Pour obtenir un rapport d’extraction égal à la fréquence de rafraîchissement de la caméra 100 (c’est-à-dire l’unité de traitement 200 utilise toutes les images de la série d’images), il faut k < 1, soit v > - 8,33 m/s, soit v > 30 km/h. Ainsi, au-delà de cette vitesse, l’unité de traitement 200 utilisera toutes les images générées par la caméra 100 et en-dessous de cette vitesse, elle extraira un sous-ensemble d’images selon la formule (1), selon l’invention.To obtain an extraction ratio equal to the refresh rate of the camera 100 (that is to say the processing unit 200 uses all the images of the series of images), k <1 is necessary, that is to say v> - 8.33 m / s, i.e. v> 30 km / h. Thus, beyond this speed, the processing unit 200 will use all the images generated by the camera 100 and below this speed, it will extract a subset of images according to the formula (1), according to l 'invention.

L’unité de traitement 200 est ensuite configurée pour déterminer que le véhicule 1 se déplace selon une trajectoire rectiligne sur une portion de roulement plane 2A à partir d’un sous-ensemble d’images extrait d’une série d’images reçue de la caméra 100. Une telle détermination peut être réalisée de manière connue en soi comme cela sera décrit ci-après.The processing unit 200 is then configured to determine that the vehicle 1 is traveling along a rectilinear trajectory on a flat rolling portion 2A from a subset of images extracted from a series of images received from the camera 100. Such a determination can be carried out in a manner known per se as will be described below.

L’unité de traitement 200 est également configurée pour déterminer les valeurs de tangage et de lacet à partir d’un sous-ensemble d’images extrait d’une série d’images reçue de la caméra 100 et pour déterminer la valeur de roulis à partir des valeurs de tangage et de lacet déterminées et d’un plan lié au sol sur lequel roule le véhicule 1 afin de calibrer la caméra 100.The processing unit 200 is also configured to determine the pitch and yaw values from a subset of images extracted from a series of images received from the camera 100 and to determine the roll value at starting from the determined pitch and yaw values and from a plane linked to the ground on which the vehicle 1 is traveling in order to calibrate the camera 100.

L’unité de traitement 200 détermine les paramètres extrinsèques de roulis, de tangage et de lacet à partir, d’une part, de matrices de rotation R et de vecteurs de translation T nécessaires pour passer du repère véhicule au repère caméra, et, d’autre part, de matrices de rotation et de vecteurs de translation de la caméra 100 et du véhicule 1 entre deux instants entre lesquels le véhicule 1 a roulé en ligne droite sur une portion de roulement 2A (surface) plane. On passe ainsi de manière classique d’un point noté PA dans un première repère noté A à un point noté PB dans un deuxième repère noté B selon la formule suivante : PA = R_AB * PB + T_AB comme cela sera décrit ciaprès.The processing unit 200 determines the extrinsic parameters of roll, pitch and yaw from, on the one hand, rotation matrices R and translation vectors T necessary to pass from the vehicle frame to the camera frame, and, d 'other hand, rotation matrices and translation vectors of the camera 100 and the vehicle 1 between two times between which the vehicle 1 rolled in a straight line on a rolling portion 2A (surface) plane. We thus pass in a conventional manner from a point denoted PA in a first frame denoted A to a point denoted PB in a second frame denoted B according to the following formula: PA = R_AB * PB + T_AB as will be described below.

L’invention va maintenant être décrite dans sa mise en œuvre en référence aux figures 1 à 7.The invention will now be described in its implementation with reference to Figures 1 to 7.

Tout d’abord, en référence aux figures 1 et 7, la caméra 100 génère dans une étape E1 une série d’images de l’environnement 2 du véhicule 1.First, with reference to FIGS. 1 and 7, the camera 100 generates in a step E1 a series of images of the environment 2 of the vehicle 1.

L’unité de traitement 200 reçoit parallèlement, par exemple d’un odomètre monté dans le véhicule 1, une information sur la vitesse du véhicule 1 dans une étape E2.The processing unit 200 receives in parallel, for example from an odometer mounted in the vehicle 1, information on the speed of the vehicle 1 in a step E2.

L’unité de traitement 200 calcule alors, dans une étape E3 un rapport d’extraction d’images à partir de la valeur de vitesse reçue.The processing unit 200 then calculates, in a step E3, an image extraction ratio from the speed value received.

Comme expliqué précédemment, le rapport d’extraction des images est choisi pour que la distance parcourue par le véhicule 1 entre deux images consécutives extraites soit supérieure ou égale à un seuil de distance prédéterminé, de préférence 0,5 m. Ceci permet de maximiser le rapport signal sur bruit du flot optique entre deux images consécutives du sous-ensemble d’images pour déterminer les valeurs des paramètres extrinsèques de roulis, tangage et lacet.As explained above, the image extraction ratio is chosen so that the distance traveled by the vehicle 1 between two consecutive extracted images is greater than or equal to a predetermined distance threshold, preferably 0.5 m. This makes it possible to maximize the signal-to-noise ratio of the optical flow between two consecutive images of the subset of images to determine the values of the extrinsic parameters of roll, pitch and yaw.

Dans ce mode de réalisation préférée, le rapport d’extraction i est le nombre entier supérieur ou égale à une valeur k donnée par la formule suivante :In this preferred embodiment, the extraction ratio i is the integer greater than or equal to a value k given by the following formula:

, d._min k =VX.tf où d_min est le seuil de distance prédéterminée (de préférence égal à 0,5 m), v est la vitesse du véhicule 1 et tf est le temps écoulé entre deux images de la série d’images (par exemple 0,06 s de manière connue)., d._min k = VX.tf where d_min is the predetermined distance threshold (preferably equal to 0.5 m), v is the speed of vehicle 1 and t f is the time between two images in the series of images (for example 0.06 s in a known manner).

Ensuite, dans une étape E4, l’unité de traitement 200 extrait un sousensemble d’images de la série d’images à la fréquence d’extraction calculée. En pratique, l’unité de traitement 200 ne retiendra en temps réel qu’une image toutes les i images de la deuxième série d’images (i étant égale à 1 pour une vitesse supérieure ou égale à 30 km/h dans le cas où d_min = 0,5 m et tf = 0,06 s.Then, in a step E4, the processing unit 200 extracts a subset of images from the series of images at the calculated extraction frequency. In practice, the processing unit 200 will retain in real time only one image every i images of the second series of images (i being equal to 1 for a speed greater than or equal to 30 km / h in the case where d_min = 0.5 m and t f = 0.06 s.

Pour réaliser les calculs des étapes E6 et suivantes, il est nécessaire que le véhicule 1 se déplace selon une trajectoire rectiligne sur une portion de roulement plane 2A, par exemple une bande de roulement aménagée dans une usine ou dans un garage ou bien une route plane. Aussi tout d’abord, dans une étape E5, l’unité de traitement 200 doit déterminer que le véhicule 1 suit une trajectoire rectiligne à partir de la première série d’images générées.To carry out the calculations of steps E6 and following, it is necessary for the vehicle 1 to move along a rectilinear trajectory on a flat rolling portion 2A, for example a tread fitted in a factory or in a garage or else a flat road . Also first of all, in a step E5, the processing unit 200 must determine that the vehicle 1 follows a rectilinear trajectory from the first series of images generated.

L’unité de traitement 200 peut aisément déterminer le moment où le véhicule roule en ligne droite en utilisant la rotation de la caméra 100. En effet, en ligne droite, la caméra 100 ne subira aucune rotation alors qu’elle en subira lors de virages. Le déplacement du véhicule 1 sur une portion de roulement plane 2A (par exemple une route ou toute surface plane adaptée) peut avantageusement être réalisé en usine ou bien dans un garage ou une concession ou sur toute route adaptée dès lors qu’il est nécessaire de calibrer la caméra 100. Afin de déterminer le moment où le véhicule 1 roule en ligne droite, plusieurs méthodes sont possibles.The processing unit 200 can easily determine the moment when the vehicle is traveling in a straight line by using the rotation of the camera 100. In fact, in the straight line, the camera 100 will not be rotated whereas it will be subjected to it during turns . The movement of the vehicle 1 on a flat rolling portion 2A (for example a road or any suitable flat surface) can advantageously be carried out in the factory or in a garage or concession or on any suitable road when it is necessary to calibrate camera 100. In order to determine the moment when vehicle 1 is traveling in a straight line, several methods are possible.

Par exemple, un capteur inertiel embarqué dans le véhicule 1 peut être utilisé de sorte à détecter un mouvement rectiligne du véhicule 1 lorsque les valeurs mesurées par le capteur selon l’axe de lacet et l’axe de roulis sont constantes. En pratique, on estimera que ces valeurs sont constantes lorsqu’elles resteront dans un intervalle prédéterminé de manière connue en soi.For example, an inertial sensor on board the vehicle 1 can be used so as to detect a rectilinear movement of the vehicle 1 when the values measured by the sensor along the yaw axis and the roll axis are constant. In practice, it will be considered that these values are constant when they remain within a predetermined interval in a manner known per se.

Une deuxième méthode peut consister à utiliser un système embarqué dans le véhicule 1 connu sous le nom d’« egomotion » qui détermine la rotation et la translation de la caméra 100 basé sur la géométrie épipolaire et la matrice dite « essentielle ». Dans cette méthode, on considère que le véhicule 1 roule en ligne droite lorsque la rotation de la caméra 100 est nulle ou quasi-nulle (c’est-à-dire bornée dans un faible intervalle de valeurs) dans le repère caméra.A second method can consist in using a system embedded in the vehicle 1 known under the name of "egomotion" which determines the rotation and the translation of the camera 100 based on the epipolar geometry and the so-called "essential" matrix. In this method, it is considered that the vehicle 1 is traveling in a straight line when the rotation of the camera 100 is zero or almost zero (that is to say bounded in a small range of values) in the camera frame.

Dans une étape E6, en référence aux figures 5 et 4, l’unité de traitement 200 détermine les valeurs des paramètres extrinsèques de tangage (pitch_24) et de lacet (yaw_24) de la caméra 100 à partir du sous-ensemble d’images extrait.In a step E6, with reference to FIGS. 5 and 4, the processing unit 200 determines the values of the extrinsic parameters of pitch (pitch_24) and yaw (yaw_24) of the camera 100 from the subset of images extracted .

A cette fin, on définit, en référence à la figure 2, un certain nombre de matrices de rotation et de vecteur de translation. Dans cet exemple, la matrice de rotation R_42 et le vecteur de translation T_42 permettent de passer du repère véhicule 4 au repère caméra 2 à un premier instant ΐΊ. De même, la matrice de rotation R_31 et le vecteur de translation T_31 permettent de passer du repère véhicule 3 au repère caméra 1 à un deuxième instant t2, postérieur au premier instant b. La matrice de rotation R_21 et le vecteur de translation T_21 permettent de passer du repère caméra 2 au premier instant t! au repère caméra 1 au deuxième instant t2. De même, la matrice de rotation R_43 et le vecteur de translation T_43 permettent de passer du repère véhicule 4 associé au premier instant ti au repère véhicule 3 associé au deuxième instant t2.To this end, we define, with reference to FIG. 2, a certain number of rotation and translation vector matrices. In this example, the rotation matrix R_42 and the translation vector T_42 make it possible to pass from the vehicle frame 4 to the camera frame 2 at a first instant ΐ Ί . Similarly, the rotation matrix R_31 and the translation vector T_31 make it possible to pass from the vehicle frame 3 to the camera frame 1 at a second time t 2 , after the first time b. The rotation matrix R_21 and the translation vector T_21 make it possible to pass from the camera frame of reference 2 at the first instant t! at the camera mark 1 at the second instant t 2 . Similarly, the rotation matrix R_43 and the translation vector T_43 make it possible to pass from the vehicle frame 4 associated with the first time ti to the vehicle frame 3 associated with the second time t 2 .

La figure 3 illustre la manière de définir le repère véhicule Rv lié au véhicule 1 utilisé dans les calculs suivants (repère appelé « autosar » par l’homme du métier).FIG. 3 illustrates the way of defining the vehicle reference frame Rv linked to vehicle 1 used in the following calculations (reference point called "autosar" by the person skilled in the art).

Dans ce repère véhicule Rv, une matrice de rotation R est définie de manière générique comme étant le produit de trois matrices de composantes selon les axes X, Y et Z, soit :In this vehicle reference frame Rv, a rotation matrix R is defined generically as being the product of three matrices of components along the axes X, Y and Z, that is:

R - Rz * Ry * RxR - Rz * Ry * Rx

C’est-à-dire :That is to say :

r cos(ry) * cos(rz) cos(rz) * sin(rx) * sin(ry) - cos(rx) * sin(rz) sin(rx) * sin(rz) + cos(rx) * cos(rz) * sin(ry) cos(ry) * sin(rz) cos(rx) * cos(rz) + sin(rx) * sin(ry) * sin(rz) cos(rx) * sin(ry) * sin(rz) - cos(rz) * sin(rx)r cos (ry) * cos (rz) cos (rz) * sin (rx) * sin (ry) - cos (rx) * sin (rz) sin (rx) * sin (rz) + cos (rx) * cos (rz) * sin (ry) cos (ry) * sin (rz) cos (rx) * cos (rz) + sin (rx) * sin (ry) * sin (rz) cos (rx) * sin (ry) * sin (rz) - cos (rz) * sin (rx)

-sin(ry) cos(ry) * sin(rx) cos(rx) * cos(ry) (2).-sin (ry) cos (ry) * sin (rx) cos (rx) * cos (ry) (2).

L’hypothèse de translation pure du véhicule 1 (trajectoire rectiligne) et donc de la caméra 100 implique :The pure translation hypothesis of vehicle 1 (rectilinear trajectory) and therefore of camera 100 implies:

T_43 = [ΤΧ ; 0 ; 0]T_43 = [ΤΧ; 0; 0]

R_42= R_31 T_42= T_31R_42 = R_31 T_42 = T_31

R_43 = [1, R_43 = [1, 0, 0, 0 ; 0; 0, 0, 1, 1, 0 ; 0; 0, 0, 0, 0, 1] 1] R_21 = [1, R_21 = [1, 0, 0, 0 ; 0; 0, 0, 1, 1, 0 ; 0; 0, 0, 0 0 H; H; Toujours en référence à la figure 2, on définit Still with reference to FIG. 2, we define

P4 = R_42*P2 + T_42P4 = R_42 * P2 + T_42

P2 = R_21*P1 + T_21 => P2 = P1 + T_21P2 = R_21 * P1 + T_21 => P2 = P1 + T_21

P4 = R_42*(P1 +T_21 ) + T_42P4 = R_42 * (P1 + T_21) + T_42

P4 = R_43*P3 + T_43 => P4 = P3 + T_43P4 = R_43 * P3 + T_43 => P4 = P3 + T_43

P3 = R_31*P1 + T_31P3 = R_31 * P1 + T_31

P4= R_31*P1 +T_31+T_43 où P1, P2, P3 et P4 sont des points de l’espace (non représentés) exprimés respectivement dans les repères 1,2, 3 et 4 de la figure 2.P4 = R_31 * P1 + T_31 + T_43 where P1, P2, P3 and P4 are points in space (not shown) expressed respectively in points 1,2, 3 and 4 in Figure 2.

On en déduit : R_42 = R_31.We deduce: R_42 = R_31.

D’où : R 42*T 21 + T 42 = T 31+ T 43 => R 42*T 21 = T 43 => T 21 =Hence: R 42 * T 21 + T 42 = T 31+ T 43 => R 42 * T 21 = T 43 => T 21 =

R_24*T_43.R_24 * T_43.

On note rx=roll_24 le paramètre de roulis, ry=pitch_24 le paramètre de tangage et rz=yaw_24 le paramètre de lacet, on a donc :We note rx = roll_24 the roll parameter, ry = pitch_24 the pitch parameter and rz = yaw_24 the yaw parameter, so we have:

T_21(X)T_21 (X)

T_21(Y)T_21 (Y)

T_21(Z) cos(ry) * cos(rz) cos(rz) * sin(rx) * sin(ry) - cos(rx) * sin(rz) sin(rx) * sin(rz) + cos(rx) * cos(rz) * sin(ry) cos(ry) * sin(rz) cos(rx) * cos(rz) + sin(rx) * sin(ry) * sin(rz) cos(rx) * sin(ry) * sin(rz) - cos(rz) * sin(rx)T_21 (Z) cos (ry) * cos (rz) cos (rz) * sin (rx) * sin (ry) - cos (rx) * sin (rz) sin (rx) * sin (rz) + cos (rx ) * cos (rz) * sin (ry) cos (ry) * sin (rz) cos (rx) * cos (rz) + sin (rx) * sin (ry) * sin (rz) cos (rx) * sin (ry) * sin (rz) - cos (rz) * sin (rx)

-sin(ry) cos(ry) * sin(rx) cos(rx) * cos(ry)-sin (ry) cos (ry) * sin (rx) cos (rx) * cos (ry)

T 43(X)T 43 (X)

00

T_43(X) * cos(pitch_24) * cos (yaw_24) sin(yaw 24) * T 43(X) * cos(pitch 24) (3)T_43 (X) * cos (pitch_24) * cos (yaw_24) sin (yaw 24) * T 43 (X) * cos (pitch 24) (3)

-T 43(X) * sin (pitch 24)-T 43 (X) * sin (pitch 24)

On en déduit :We can deduce :

T_21(Y) _ sin(yaw_24)*T_43(X)*cos(pitch_24) _ sin(yaw_24)T_21 (Y) _ sin (yaw_24) * T_43 (X) * cos (pitch_24) _ sin (yaw_24)

T_21(X) T_43(X)*cos(pitch_24)*cos (yaw_24) cos (yaw_24)T_21 (X) T_43 (X) * cos (pitch_24) * cos (yaw_24) cos (yaw_24)

D’où : yaw_24 = atan ©77;) 1 21W = tan(yaw_24) (4).Hence: yaw_24 = atan © 77;) 1 21W = tan (yaw_24) (4).

De même, on déduit de l’équation (3) queSimilarly, we deduce from equation (3) that

T_21(Z) _ -T_43(X)*sin (pitch_24) _ tan(pitch_24)T_21 (Z) _ -T_43 (X) * sin (pitch_24) _ tan (pitch_24)

T_21(Y) sin(yaw_24)*T_43(X)*cos(pitch_24) sin (yaw_24)T_21 (Y) sin (yaw_24) * T_43 (X) * cos (pitch_24) sin (yaw_24)

D’où pitch_24 - -atan (Hence pitch_24 - -atan (

T2i(Z)*sin (yaw_24).T 2 i (Z) * sin (yaw_24).

T21(Y) (5).T 21 (Y) (5).

L’unité de traitement 200 calcule ensuite, dans une étape E7, la valeur de roulis à partir des valeurs de tangage et de lacet déterminées et d’un plan W (en référence à la figure 6) lié au sol sur lequel roule le véhicule 1 afin de calibrer la caméra 100.The processing unit 200 then calculates, in a step E7, the roll value from the pitch and yaw values determined and from a plane W (with reference to FIG. 6) linked to the ground on which the vehicle is traveling. 1 to calibrate the camera 100.

On note H_12, l'homographie qui permet de passer d’un point exprimé dans le repère 2 à un premier instant t! au point correspondant exprimé dans le repère 1 à un deuxième instant t2.We note H_12, the homography which allows us to go from a point expressed in reference 2 to a first instant t! at the corresponding point expressed in reference 1 at a second instant t 2 .

On définit d2 comme étant la hauteur de la caméra 100 par rapport à la portion de roulement plane 2A, soit :We define d 2 as being the height of the camera 100 with respect to the plane rolling portion 2A, that is:

d2 = abs(T_42(Z)) ;d 2 = abs (T_42 (Z));

On a alors :We then have:

H_12= R_12 - ((T_12*n2 T)/d2) (7) où n2 est le vecteur normal au plan de la route sélectionné (comme illustré à la figure 6) exprimé dans le repère 2 (repère caméra au premier instant ti).H_12 = R_12 - ((T_12 * n 2 T ) / d 2 ) (7) where n 2 is the vector normal to the selected road map (as illustrated in figure 6) expressed in coordinate system 2 (camera coordinate system on the first instant ti).

On définit n4 = [0;0;1] comme étant le vecteur normal (non représenté) au plan W de la route 2A sélectionné exprimé dans le repère 4 (repère véhicule au premier instant t!).We define n 4 = [0; 0; 1] as being the normal vector (not shown) at the plane W of the selected route 2A expressed in reference 4 (vehicle reference at the first instant t!).

Dans cette expression (7), n2 est la seule inconnue et est un vecteur de trois éléments qui sont fonction du roulis et du lacet.In this expression (7), n 2 is the only unknown and is a vector of three elements which are a function of the roll and the yaw.

La relation entre le vecteur n2 et le vecteur n4 est donnée par : n2 = R_42T*n4 (8)The relation between the vector n 2 and the vector n 4 is given by: n 2 = R_42 T * n 4 (8)

Par souci de clarté et de simplification, on note rx_42 = roll_42, ry_42 = pitch_42 et rz_42 = yaw_42.For the sake of clarity and simplification, we note rx_42 = roll_42, ry_42 = pitch_42 and rz_42 = yaw_42.

On a alors :We then have:

n2 = cos(ry_42) * cos(rz_42) cos(rz_42) * sin(rx_42) * sin(ry_42)- cos(rx_42) * sin(rz_42) _sin(rx_42) * sin(rz_42) + cos(rx_42) * cos(rz_42) * sin(ry_42) cos(ry_42) * sin(rz_42) cos(rx_42) * cos(rz_42) + sin(rx_42) * sin(ry_42) * sin(rz_42) cos(rx_42) * sin(ry_42) * sin(rz_42)- cos(rz_42) * sin(rx_42)n2 = cos (ry_42) * cos (rz_42) cos (rz_42) * sin (rx_42) * sin (ry_42) - cos (rx_42) * sin (rz_42) _sin (rx_42) * sin (rz_42) + cos (rx_42) * cos (rz_42) * sin (ry_42) cos (ry_42) * sin (rz_42) cos (rx_42) * cos (rz_42) + sin (rx_42) * sin (ry_42) * sin (rz_42) cos (rx_42) * sin (ry_42 ) * sin (rz_42) - cos (rz_42) * sin (rx_42)

-sin(ry_42) cos(ry_42) * sin(rx_42) * cos(rx_42) * cos(ry_42).-sin (ry_42) cos (ry_42) * sin (rx_42) * cos (rx_42) * cos (ry_42).

roi pking p

n2 =n2 =

- SÎn(ry_42) cos(ry_42) * SÎn( rx 42) COS(rx_42) * COS(ry_42) où rx_42 et ry_42 correspondent respectivement au roulis et lacet.- SÎn (ry_42) cos (ry_42) * SÎn (rx 42) COS (rx_42) * COS (ry_42) where rx_42 and ry_42 correspond respectively to roll and yaw.

Le calcul de n2 permet ainsi d’obtenir H_12.The calculation of n 2 thus makes it possible to obtain H_12.

Afin d’obtenir la valeur de roulis roll_42, n pixels sont sélectionnés dans chaque image successive (les pixels correspondants d’une image à la suivante), ces n pixels correspondant à des points de la route 2A.In order to obtain the roll value roll_42, n pixels are selected in each successive image (the corresponding pixels from one image to the next), these n pixels corresponding to points on route 2A.

En référence à la figure 8, les coordonnées de ces pixels sont exprimées dans un repère image Ri lié à un plan P de l’image situé à la distance focale f de la caméra 100.With reference to FIG. 8, the coordinates of these pixels are expressed in an image frame Ri linked to a plane P of the image located at the focal distance f of the camera 100.

Pour rendre les calculs aisés, ces coordonnées sont transformées de manière connue dans un repère dit « rétinien » Rr associé au plan P de l’image. Ce repère rétinien Rr est un repère sans unité qui a pour origine l’intersection du plan image, situé à la distance focale de la caméra, et de l’axe Zc du repère caméra Rc. Ce repère universel permet de s’affranchir des paramètres intrinsèques de la caméra 100.To make the calculations easy, these coordinates are transformed in a known manner into a so-called "retinal" coordinate system Rr associated with the plane P of the image. This retinal coordinate system Rr is a unitless coordinate system which originates from the intersection of the image plane, located at the focal distance of the camera, and of the axis Zc of the camera coordinate system Rc. This universal mark makes it possible to overcome the intrinsic parameters of camera 100.

Toujours en référence à la figure 8, les coordonnées d'un point M de l’environnement 2 du véhicule 1 peuvent ainsi être exprimées successivement en passant d’un repère dit « monde » Rm (1) au repère caméra Rc (2) au repère rétinien Rr (3) au repère image Ri.Still with reference to FIG. 8, the coordinates of a point M of the environment 2 of the vehicle 1 can thus be expressed successively by passing from a so-called “world” frame of reference Rm (1) to the camera frame of reference Rc (2) at retinal coordinate system Rr (3) at the image coordinate system Ri.

On estime alors la valeur de roulis roll_42, la valeur de tangage pitch_42 et la hauteur d2 en minimisant, de manière connue en soi, l’expression suivante :We then estimate the roll value roll_42, the pitch value pitch_42 and the height d 2 by minimizing, in a manner known per se, the following expression:

(H 12*PH2(i)) (9) arsmin ΣΡ=1 ||(ΗΐΜηχΏ-ρΗΐ(θΙ pitch.42,roll.42,d2 11 (.H_12*FH2(,i))(,Z) I • où i est un entier naturel compris entre 1 et n (n correspondant à un nombre total de points et donc de flots optiques utilisés entre mes images), • PH1 (i) est la mesure du ieme point à un instant t dans l’image courante exprimée dans le repère rétinien Rr et • PH2(i) correspond à la mesure de ce même ieme point dans l’image précédente à l’instant t-1 (précédent l’instant t) exprimée dans le repère rétinien, • H_12, l'homographie qui permet de passer d’un point exprimé dans le repère rétinien à un premier instant t-1 au point correspondant exprimé dans le repère rétinien à un deuxième instant t.(H 12 * PH2 (i)) (9) ar s min ΣΡ = 1 || ( ΗΐΜηχ Ώ - ρ Ηΐ (θΙ pitch.42, roll.42, d2 11 (.H_12 * FH2 (, i)) (, Z) I • where i is a natural integer between 1 and n (n corresponding to a total number of points and therefore of optical flows used between my images), • PH1 (i) is the measurement of the i th point at an instant t in the current image expressed in the retinal coordinate system Rr and • PH2 (i) corresponds to the measurement of this same i th point in the previous image at time t-1 (preceding time t) expressed in the retinal coordinate system, • H_12, the homography which makes it possible to pass from a point expressed in the retinal coordinate system at a first instant t-1 at the corresponding point expressed in the retinal coordinate system at a second instant t.

A titre d’exemple, il est connu que l’on peut trouver la rotation et translation entre deux images à un facteur d’échelle près sur la translation, défini de manière connue par lOdométrie du véhicule 1, à partir d’au moins 8 flots optiques. Un algorithme minimisant l’erreur de Sampson peut être utilisé pour trouver la géométrie épipolaire entre deux images. En pratique, une pluralité (par exemple une centaine) de flots optiques répartis sur l’ensemble de l’image peut être utilisée avec un algorithme robuste aux valeurs aberrantes (par exemple de type RANSAC) afin de garantir la convergence et la précision. La qualité des valeurs initiales participent aussi à la réussite de la convergence. Il est donc préférable d’utiliser les données odométriques du véhicule (vitesse, localisation, taux de lacet) pour initialiser ces valeurs et ne pas rester sur un minimum local.For example, it is known that one can find the rotation and translation between two images to within a scale factor on the translation, defined in a known manner by the odometry of the vehicle 1, from at least 8 optical flows. A Sampson error minimizing algorithm can be used to find the epipolar geometry between two images. In practice, a plurality (for example a hundred) of optical streams distributed over the entire image can be used with a robust algorithm with outliers (for example of the RANSAC type) in order to guarantee convergence and precision. The quality of the initial values also contributes to the success of convergence. It is therefore preferable to use the vehicle's odometric data (speed, location, yaw rate) to initialize these values and not stay on a local minimum.

L’estimation des flots optiques entre la première image et la deuxième image peut être réalisée en utilisant un algorithme de Lucas-Kanade, un algorithme de type « semi-global matching » ou un algorithme de type « power flow » de manière connue de l’homme du métier, ces algorithmes étant avantageusement robustes aux changements d’intensité des pixels entre la première image et la deuxième imageThe estimation of the optical flows between the first image and the second image can be carried out using a Lucas-Kanade algorithm, a “semi-global matching” type algorithm or a “power flow” type algorithm in a manner known in the art. skilled in the art, these algorithms being advantageously robust to changes in pixel intensity between the first image and the second image

L’étape de détermination de la matrice de rotation et du vecteur de translation permettant le passage du repère véhicule au repère caméra peut comprendre une sousétape d’estimation du déplacement de la caméra qui maximise le nombre de pixels respectant les contraintes géométriques de déplacement des pixels associées à un tel déplacement de la caméra. De telles contraintes sont connues de l’homme du métier sous le nom de lois épipolaires.The step of determining the rotation matrix and the translation vector allowing the passage from the vehicle reference point to the camera reference point may include a sub-step for estimating the movement of the camera which maximizes the number of pixels respecting the geometric constraints of movement of the pixels associated with such movement of the camera. Such constraints are known to those skilled in the art as epipolar laws.

De manière optionnelle, on peut aussi utiliser la valeur de tangage calculée à l’étape E7 pour ne faire varier que le roulis qui est la valeur à minimiser :Optionally, we can also use the pitch value calculated in step E7 to vary only the roll which is the value to minimize:

(H 12*PH2(i)) (10).(H 12 * PH2 (i)) (10).

^4ΤΣ”=4Ι(„5Ο„10)-ρΗ1®Ι^ 4 Τ Σ ”= 4Ι („ 5Ο „10) - ρΗ1 ®Ι

L’invention permet ainsi avantageusement de calibrer la caméra rapidement, aisément et à tout moment à partir d’une surface de roulement plane.The invention thus advantageously makes it possible to calibrate the camera quickly, easily and at any time from a flat rolling surface.

Claims (11)

REVENDICATIONS 1. Procédé de calibration d’une caméra (100) montée dans un véhicule automobile (1), ladite calibration comprenant la détermination des valeurs des paramètres extrinsèques de roulis (roll_42), tangage (pitch_42) et lacet (yaw_42) de ladite caméra (100) permettant de passer d’un point réel de l’environnement (2) du véhicule (1) exprimé dans un repère dit «véhicule» lié au véhicule (1) à un point d’une image générée par la caméra (100) exprimé dans un repère dit « caméra » lié à la caméra (100) et représentant ledit point réel, ledit procédé étant caractérisé en ce qu’il comprend :1. Method for calibrating a camera (100) mounted in a motor vehicle (1), said calibration comprising determining the values of the extrinsic parameters of roll (roll_42), pitch (pitch_42) and yaw (yaw_42) of said camera ( 100) making it possible to pass from a real point in the environment (2) of the vehicle (1) expressed in a reference known as “vehicle” linked to the vehicle (1) to a point of an image generated by the camera (100) expressed in a reference known as “camera” linked to the camera (100) and representing said real point, said method being characterized in that it comprises: • une étape (E1) de génération d’une série d’images de l’environnement (2) du véhicule (1), • une étape (E4) d’extraction d’un sous-ensemble d’images de ladite série d’images, • une étape (E5) de détermination d’un déplacement du véhicule (1) selon une trajectoire rectiligne sur une portion de roulement plane (2A) à partir du sousensemble d’images extrait, • une étape (E6) de détermination des valeurs de tangage (pitch_42) et de lacet (yaw_42) à partir dudit sous-ensemble d’images lors du déplacement déterminé, et • une étape (E7) de détermination de la valeur de roulis (roll_42) à partir des valeurs de tangage (pitch_42) et de lacet (yaw_42) déterminées et d’un plan de projection associé à la portion de roulement plane (2A) afin de calibrer la caméra (100).• a step (E1) of generating a series of images of the environment (2) of the vehicle (1), • a step (E4) of extracting a subset of images from said series d 'images, • a step (E5) of determining a movement of the vehicle (1) according to a rectilinear trajectory on a flat rolling portion (2A) from the subset of images extracted, • a step (E6) of determining pitch (pitch_42) and yaw (yaw_42) values from said subset of images during the determined displacement, and • a step (E7) of determining the roll value (roll_42) from the pitch values (pitch_42) and yaw (yaw_42) determined and a projection plane associated with the flat rolling portion (2A) in order to calibrate the camera (100). 2. Procédé selon la revendication 1, caractérisé en ce qu’il comprend une étape (E2) de réception d’une information de vitesse du véhicule (1) et une étape (E3) de détermination d’un rapport d’extraction des images du sous-ensemble à partir de l’information de vitesse reçue.2. Method according to claim 1, characterized in that it comprises a step (E2) of receiving vehicle speed information (1) and a step (E3) of determining an image extraction report of the subset from the speed information received. 3. Procédé selon la revendication 2, caractérisé en ce que le rapport d’extraction est choisi pour que la distance parcourue par le véhicule (1) entre deux images consécutives extraites soit supérieure ou égale à un seuil de distance prédéterminé.3. Method according to claim 2, characterized in that the extraction ratio is chosen so that the distance traveled by the vehicle (1) between two consecutive extracted images is greater than or equal to a predetermined distance threshold. 4. Procédé selon l’une des revendications 2 et 3, caractérisé en ce que le rapport d’extraction est le nombre entier supérieur ou égale à une valeur k donnée par la formule suivante :4. Method according to one of claims 2 and 3, characterized in that the extraction ratio is the whole number greater than or equal to a value k given by the following formula: , d min k =VXtf où d_min est le seuil de distance prédéterminée, v est la vitesse du véhicule et tf est le temps écoulé entre deux images de la série d’images., d min k = VXtf where d_min is the predetermined distance threshold, v is the speed of the vehicle and t f is the time between two images in the series of images. 5. Procédé selon l’une quelconque des revendications 1 à 4, caractérisé en ce que la valeur de lacet (yaw_24) est donnée par: yaw_24 = atan (^21^) où T2i(X) représente la translation de la caméra (100) selon un premier axe parallèle à l’axe longitudinal du véhicule et T2i(Y) représente la translation de la caméra (100) selon un deuxième axe orthogonal à l’axe longitudinal du véhicule (1).5. Method according to any one of claims 1 to 4, characterized in that the yaw value (yaw_24) is given by: yaw_24 = atan (^ 21 ^) where T 2 i (X) represents the translation of the camera (100) along a first axis parallel to the longitudinal axis of the vehicle and T 2 i (Y) represents the translation of the camera (100) along a second axis orthogonal to the longitudinal axis of the vehicle (1). 6. Procédé selon la revendication précédente, caractérisé en ce que la valeur de tangage (pitch_42) est donnée par :6. Method according to the preceding claim, characterized in that the pitch value (pitch_42) is given by: pitch_24 = -atan (Tzi(z)*sin fraw-24)) où T21(Z) représente la translation de la caméra (100) * 21ΟΩ selon un troisième axe, orthogonal au premier axe et au deuxième axe.pitch_24 -atan = (T z (z) * sin fr aw - 24)) o ù T 21 (Z) represents the translation of the camera (100) * 21ΟΩ along a third axis, orthogonal to the first axis and the second axis. 7. Procédé selon la revendication précédente, caractérisé en ce que les valeurs T21(X), T21(Y) et T21(Z) de translation de la caméra (100) sont calculées à partir de flots optiques entre les images du sous-ensemble d’images.7. Method according to the preceding claim, characterized in that the values T 21 (X), T 21 (Y) and T 21 (Z) of translation of the camera (100) are calculated from optical flows between the images of the subset of images. 8. Procédé selon l’une quelconque des revendications 1 à 7, caractérisé en ce que l’on détermine la valeur de roulis (roll_42) en minimisant l’expression argmin pitch_42,roll_42,d2 (H_12*PH2(i)) (H_12*PH2(i))(Z)8. Method according to any one of claims 1 to 7, characterized in that the roll value is determined (roll_42) by minimizing the expression argmin pitch_42, roll_42, d2 (H_12 * PH2 (i)) (H_12 * PH2 (i)) (Z) OU l’expression argmin Σ?=ι roll_42 (H_12*PH2(i)) (H_12*PH2(i))(Z)OR the expression argmin Σ? = Ι roll_42 (H_12 * PH2 (i)) (H_12 * PH2 (i)) (Z) OU • i et n sont des entiers naturels compris entre 1 et n correspondant à des points de la portion de roulement plane, • PH1(i) est la mesure du ième point appartenant à la portion de roulement plane à un instant t exprimée dans un repère dit « rétinien », lié au repère caméra, à un instant t, • PH2(i) correspond à la mesure ce même ieme point à un instant (t-1) précédent l’instant t exprimée dans le repère rétinien, • H_12, l'homographie qui permet de passer d’un point exprimé dans le repère rétinien à un premier instant t-1 au point correspondant exprimé dans le repère rétinien à un deuxième instant t.OR • i and n are natural integers between 1 and n corresponding to points of the plane rolling portion, • PH1 (i) is the measure of the i th point belonging to the plane rolling portion at an instant t expressed in a reference known as “retinal”, linked to the camera reference, at an instant t, • PH2 (i) corresponds to the measurement this same i th point at an instant (t-1) preceding the instant t expressed in the retinal reference, • H_12, the homography which makes it possible to pass from a point expressed in the retinal coordinate system at a first time t-1 to the corresponding point expressed in the retinal coordinate system at a second time t. 9. Dispositif (10) de calibration d’une caméra (100) pour véhicule automobile (1), ladite calibration comprenant la détermination des valeurs des paramètres extrinsèques de roulis (roll_42), tangage (pitch_42) et lacet (yaw_42) de ladite caméra (100) permettant de passer d’un point réel de l’environnement (2) du véhicule (1) exprimé dans un repère dit « véhicule » lié au véhicule (1) à un point d’une image générée par la caméra (100) exprimé dans un repère dit « caméra » lié à la caméra (100) et représentant ledit point réel, ledit dispositif (10) étant caractérisé en ce qu’il comprend :9. Device (10) for calibrating a camera (100) for a motor vehicle (1), said calibration comprising the determination of the values of the extrinsic parameters of roll (roll_42), pitch (pitch_42) and yaw (yaw_42) of said camera (100) making it possible to pass from a real point of the environment (2) of the vehicle (1) expressed in a so-called “vehicle” reference linked to the vehicle (1) to a point of an image generated by the camera (100 ) expressed in a reference known as “camera” linked to the camera (100) and representing said real point, said device (10) being characterized in that it comprises: • une caméra (100) apte à être montée sur un véhicule automobile (1) et configurée pour générer une série d’images de l’environnement du véhicule (1) pendant un déplacement rectiligne dudit véhicule (1) sur une portion de roulement plane (2A), • une unité de traitement (200) configurée pour :• a camera (100) capable of being mounted on a motor vehicle (1) and configured to generate a series of images of the environment of the vehicle (1) during a rectilinear movement of said vehicle (1) on a flat rolling portion (2A), • a processing unit (200) configured for: - recevoir une série d’images générées par la caméra (100),- receive a series of images generated by the camera (100), 5 - extraire un sous-ensemble d’images de ladite série d’images,5 - extract a subset of images from said series of images, - déterminer que le véhicule (1) se déplace selon une trajectoire rectiligne sur une portion de roulement plane (2A) à partir du sous-ensemble d’images extrait,- determine that the vehicle (1) is moving along a rectilinear trajectory on a flat rolling portion (2A) from the subset of images extracted, - déterminer les valeurs de tangage (pitch_42) et de lacet (yaw_42) à partir- determine the values of pitch (pitch_42) and yaw (yaw_42) from 10 dudit sous-ensemble d’images, et10 of said subset of images, and - déterminer la valeur de roulis (roll_42) à partir des valeurs de tangage (pitch_42) et de lacet (yaw_42) déterminées et d’un plan de projection associé à la portion de roulement plane (2A) afin de calibrer la caméra (100).- determine the roll value (roll_42) from the pitch (pitch_42) and yaw (yaw_42) values determined and from a projection plane associated with the plane rolling portion (2A) in order to calibrate the camera (100) . 15 10. Véhicule automobile (1) caractérisé en ce qu’il comprend un dispositif (10) selon la revendication précédente.15 10. Motor vehicle (1) characterized in that it comprises a device (10) according to the preceding claim. 1/41/4
FR1656192A 2016-06-30 2016-06-30 METHOD FOR RAPID CALIBRATION OF A MOTOR VEHICLE CAMERA Active FR3053554B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
FR1656192A FR3053554B1 (en) 2016-06-30 2016-06-30 METHOD FOR RAPID CALIBRATION OF A MOTOR VEHICLE CAMERA

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1656192A FR3053554B1 (en) 2016-06-30 2016-06-30 METHOD FOR RAPID CALIBRATION OF A MOTOR VEHICLE CAMERA
FR1656192 2016-06-30

Publications (2)

Publication Number Publication Date
FR3053554A1 true FR3053554A1 (en) 2018-01-05
FR3053554B1 FR3053554B1 (en) 2018-08-03

Family

ID=57209527

Family Applications (1)

Application Number Title Priority Date Filing Date
FR1656192A Active FR3053554B1 (en) 2016-06-30 2016-06-30 METHOD FOR RAPID CALIBRATION OF A MOTOR VEHICLE CAMERA

Country Status (1)

Country Link
FR (1) FR3053554B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3082038A1 (en) * 2018-06-04 2019-12-06 Continental Automotive France DYNAMIC ESTIMATION OF THE INSTANT TANGAGE OF A CAMERA ON BOARD IN A MOTOR VEHICLE
CN110969664A (en) * 2018-09-30 2020-04-07 北京初速度科技有限公司 Dynamic calibration method for external parameters of camera
FR3106402A1 (en) * 2020-01-16 2021-07-23 Continental Automotive Method for calibrating a rotary support for a motor vehicle imaging device

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2405399A1 (en) * 2010-07-06 2012-01-11 Imajing Method for calibrating the orientation of an on-board video camera
EP2808645A1 (en) * 2012-01-23 2014-12-03 Nec Corporation Camera calibration device, camera calibration method, and camera calibration program
EP2884226A1 (en) * 2013-12-11 2015-06-17 Parrot Method for angle calibration of the position of a video camera on board an automotive vehicle

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2405399A1 (en) * 2010-07-06 2012-01-11 Imajing Method for calibrating the orientation of an on-board video camera
EP2808645A1 (en) * 2012-01-23 2014-12-03 Nec Corporation Camera calibration device, camera calibration method, and camera calibration program
EP2884226A1 (en) * 2013-12-11 2015-06-17 Parrot Method for angle calibration of the position of a video camera on board an automotive vehicle

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3082038A1 (en) * 2018-06-04 2019-12-06 Continental Automotive France DYNAMIC ESTIMATION OF THE INSTANT TANGAGE OF A CAMERA ON BOARD IN A MOTOR VEHICLE
EP3579191A1 (en) * 2018-06-04 2019-12-11 Continental Automotive France Dynamic estimation of instantaneous pitch and roll of a video camera embedded in a motor vehicle
CN110969664A (en) * 2018-09-30 2020-04-07 北京初速度科技有限公司 Dynamic calibration method for external parameters of camera
CN110969664B (en) * 2018-09-30 2023-10-24 北京魔门塔科技有限公司 Dynamic calibration method for external parameters of camera
FR3106402A1 (en) * 2020-01-16 2021-07-23 Continental Automotive Method for calibrating a rotary support for a motor vehicle imaging device

Also Published As

Publication number Publication date
FR3053554B1 (en) 2018-08-03

Similar Documents

Publication Publication Date Title
EP2884226B1 (en) Method for angle calibration of the position of a video camera on board an automotive vehicle
US10937231B2 (en) Systems and methods for updating a high-resolution map based on binocular images
JP6821712B2 (en) Calibration of integrated sensor in natural scene
EP0948760B1 (en) Method for calibrating the initial position and the orientation of one or several mobile cameras
AU2018286594A1 (en) Methods and systems for color point cloud generation
FR3053554A1 (en) METHOD FOR RAPID CALIBRATION OF A MOTOR VEHICLE CAMERA
EP2432660B1 (en) Method and device for extending a visibility area
CN113781562A (en) Lane line virtual and real registration and self-vehicle positioning method based on road model
EP2161677A1 (en) Method for detecting a target object for an automobile
CN112712563A (en) Camera orientation estimation
FR3085082A1 (en) ESTIMATION OF THE GEOGRAPHICAL POSITION OF A ROAD VEHICLE FOR PARTICIPATORY PRODUCTION OF ROAD DATABASES
AU2018102199A4 (en) Methods and systems for color point cloud generation
FR2938228A1 (en) Method for measuring distance between obstacle and motor vehicle, involves calculating pitch of camera by coinciding two of images and by retaining position parameters of camera, and determining distance from calculated pitch
FR3066303B1 (en) METHOD FOR CALIBRATING A DEVICE FOR MONITORING A DRIVER IN A VEHICLE
FR3106904A1 (en) Method for calibrating the extrinsic characteristics of a lidar
FR3082936A1 (en) STEREOSCOPIC PROCESSING OF CONNECTED VEHICLE DATA
WO2017216465A1 (en) Method and device for processing images acquired by a camera of a motor vehicle
FR3096499A1 (en) Shooting processing device
EP2180426A1 (en) Method for detecting a target object for an automobile
Chawla et al. Practical Auto-Calibration for Spatial Scene-Understanding from Crowdsourced Dashcamera Videos
EP3931741A1 (en) Vehicle driving assistance by reliable determination of objects in deformed images
FR3057693A1 (en) LOCATION DEVICE AND DEVICE FOR GENERATING INTEGRITY DATA
FR3034555A1 (en) METHOD FOR DETERMINING THE DIRECTION OF THE MOVEMENT OF A MOTOR VEHICLE
EP4165601A1 (en) Method for calibrating a camera and associated device
EP4174779A1 (en) Method for automatically calibrating extrinsic parameters of an array of optical cameras; associated computer program product, computer vision system and motor vehicle.

Legal Events

Date Code Title Description
PLFP Fee payment

Year of fee payment: 2

PLSC Publication of the preliminary search report

Effective date: 20180105

PLFP Fee payment

Year of fee payment: 3

PLFP Fee payment

Year of fee payment: 5

PLFP Fee payment

Year of fee payment: 6

PLFP Fee payment

Year of fee payment: 7

PLFP Fee payment

Year of fee payment: 8

TQ Partial transmission of property

Owner name: CONTINENTAL AUTONOMOUS MOBILITY GERMANY GMBH, DE

Effective date: 20230424

Owner name: CONTINENTAL AUTOMOTIVE FRANCE, FR

Effective date: 20230424

PLFP Fee payment

Year of fee payment: 9