FR3088754A1

FR3088754A1 - METHOD OF CREATING A VIEW FROM AN IMAGE CAPTURED BY A WIDE ANGLE CAMERA

Info

Publication number: FR3088754A1
Application number: FR1871533A
Authority: FR
Inventors: Stephanie Ambroise
Original assignee: Renault SAS
Current assignee: Renault SAS
Priority date: 2018-11-15
Filing date: 2018-11-15
Publication date: 2020-05-22
Anticipated expiration: 2038-11-15
Also published as: FR3088754B1

Description

DescriptionDescription

Titre de l’invention : Méthode de création d’une vue à partir d’une image capturée par une caméra grand angle inclinée [0001 ]DO MAI NE TECHNIQUE [0002] L’invention concerne, de manière générale, les aides à la conduite pour un conducteur d’un véhicule automobile via l’acquisition et la restitution d’images de l’environnement extérieur du véhicule automobile prises par une caméra embarquée sur le véhicule automobile.Title of the invention: Method for creating a view from an image captured by a tilted wide angle camera [0001] DO MAI NE TECHNIQUE [0002] The invention relates, in general, to driving aids for a driver of a motor vehicle via the acquisition and reproduction of images of the external environment of the motor vehicle taken by a camera on board the motor vehicle.

[0003] Plus particulièrement, l’invention se rapport à une méthode de calcul d’une vue à partir d’une scène capturée par une caméra de recul grand angle embarquée sur le véhicule automobile et inclinée par rapport à un plan d’appui du véhicule automobile au sol.More particularly, the invention relates to a method of calculating a view from a scene captured by a wide-angle reversing camera on board the motor vehicle and inclined relative to a support plane of the motor vehicle on the ground.

[0004] L’invention concerne également un dispositif de calcul d’une telle vue pour l’aide à la manœuvre en marche arrière d’un véhicule automobile et un véhicule automobile équipée d’un tel dispositif.The invention also relates to a device for calculating such a view for assistance in maneuvering in reverse of a motor vehicle and a motor vehicle equipped with such a device.

[0005] ETAT DE LA TECHNIQUE [0006] Actuellement, certains véhicules automobiles sont équipés d’une ou plusieurs caméras telle qu’une caméra avant, c’est-à-dire située à l’avant du véhicule, et/ou une caméra de recul, c’est-à-dire située à l’arrière du véhicule.STATE OF THE ART [0006] Currently, certain motor vehicles are equipped with one or more cameras such as a front camera, that is to say located at the front of the vehicle, and / or a camera reversing, that is to say located at the rear of the vehicle.

[0007] Ces caméras sont généralement connectées à un écran situé sur le tableau de bord du véhicule de manière à afficher, lorsque le conducteur conduit ou effectue une manœuvre particulière comme celle de se garer, une image de l’environnement extérieur avant ou arrière du véhicule pour l’aider dans sa conduite ou sa manœuvre.These cameras are generally connected to a screen located on the dashboard of the vehicle so as to display, when the driver is driving or performing a particular maneuver such as parking, an image of the front or rear external environment of the vehicle. vehicle to assist in driving or maneuvering.

[0008] Le passage d’une caméra analogique à une caméra numérique offre la possibilité de fournir de nouvelles vues, du fait d’une résolution plus élevée, de l’image capturée. Trois types de vues sont actuellement proposées par les constructeurs automobiles :The transition from an analog camera to a digital camera offers the possibility of providing new views, due to a higher resolution, of the captured image. Three types of views are currently offered by car manufacturers:

• la vue panoramique, offrant un large champ de vision ;• the panoramic view, offering a wide field of vision;

• la vue rognée tournante, utile notamment lorsque le véhicule présente un angle• the rotating cropped view, useful especially when the vehicle has an angle

French Description de braquage non nul ; et • la vue de dessus du véhicule utile pour replacer le véhicule dans son environnement d’ensemble.French Description of non-zero turning; and • the top view of the vehicle useful for replacing the vehicle in its overall environment.

[0009] Les caméras utilisées sont de type grand angle ou « fisheye » (œil de poisson) et leur angle de vue horizontal est proche de 180°. Celles-ci présentent généralement une forte distorsion en bord de champ. Ainsi, sur les images natives des caméras, il est commun d’observer en périphérie une forte déformation de l’image.The cameras used are of the wide angle or "fisheye" (fish eye) type and their horizontal viewing angle is close to 180 °. These generally have a strong distortion at the edge of the field. Thus, on the native images of the cameras, it is common to observe a strong distortion of the image at the periphery.

[0010] Pour remédier à cette déformation, les constructeurs ont développé différentes méthodes comme rogner les images sur les côtés, ou l’application de coefficient de correction de la distorsion donné par les fabricants de caméra.To remedy this deformation, manufacturers have developed different methods such as cropping the images on the sides, or the application of the distortion correction coefficient given by the camera manufacturers.

[0011] Malheureusement, dans le cas où la caméra est inclinée par rapport à l’horizontale ou au plan d’appui du véhicule sur le sol, ces correctifs ne sont pas suffisants pour avoir une image de qualité et exploitable pour le confort et les besoins des dispositifs d’aide à la conduite proposés conducteur.Unfortunately, in the case where the camera is tilted relative to the horizontal or to the support plane of the vehicle on the ground, these corrections are not sufficient to have a quality image and usable for comfort and needs of the driver assistance devices offered.

[0012] Il existe donc un réel besoin d’une méthode et d’un dispositif de calcul des différentes vues actuellement proposées qui soient corrigées des aberrations optiques additionnelles générées par l’inclinaison de la caméra capturant les images de la scène aux abords du véhicule automobile.There is therefore a real need for a method and a device for calculating the various views currently proposed which are corrected for additional optical aberrations generated by the tilt of the camera capturing the images of the scene around the vehicle. automobile.

[0013] DESCRIPTION DE L’INVENTION [0014] Pour résoudre un ou plusieurs inconvénients cités précédemment, l’invention propose une méthode de calcul d’une vue à partir d’une image d’une scène capturée par une caméra de recul grand angle embarquée sur un véhicule automobile, la caméra étant inclinée d’un angle Angle Cam non nul par rapport à un plan d’appui du véhicule automobile sur le sol, la méthode de calcul comprenantDESCRIPTION OF THE INVENTION To resolve one or more of the drawbacks mentioned above, the invention proposes a method of calculating a view from an image of a scene captured by a wide angle rear view camera. on board a motor vehicle, the camera being inclined at a non-zero angle Cam angle relative to a support plane of the motor vehicle on the ground, the calculation method comprising

- une étape de génération d’une première vue de synthèse correspondant à l’image de la scène capturée par la caméra de recul corrigée des aberrations optiques hors champ générées par l’inclinaison de la caméra de recul ; et- a step of generating a first synthesis view corresponding to the image of the scene captured by the reversing camera corrected for optical out-of-scope aberrations generated by the tilt of the reversing camera; and

- une étape de création de la vue à partir de la première vue de synthèse et en fonction du type de vue souhaité parmi : une vue panoramique de la scène- a step of creating the view from the first summary view and depending on the type of view desired from: a panoramic view of the scene

French Description capturée, une vue zoomée tournante en fonction de l’angle a du volant du véhicule automobile, une vue de dessus du véhicule automobile.French Description captured, a zoomed view rotating according to the angle a of the steering wheel of the motor vehicle, a top view of the motor vehicle.

[0015] Des caractéristiques ou des modes de réalisation particuliers, utilisables seuls ou en combinaison pour ce système de vision panoramique, sont :Specific characteristics or embodiments, which can be used alone or in combination for this panoramic vision system, are:

[0016] la génération de la première vue de synthèse est réalisée à partir d’une cartographie de correction fournie par le fabricant de la caméra de recul et, pour chaque pixel de l’image de la scène capturée, du calcul d’une valeur de correction spécifique à la position du pixel de l’image de la scène capturée ;The generation of the first synthesis view is carried out from a correction map supplied by the manufacturer of the rear view camera and, for each pixel of the image of the scene captured, from the calculation of a value correction specific to the pixel position of the image of the scene captured;

[0017] la génération de la première vue de synthèse est réalisée à partir d’une cartographie de correction fournie par le fabricant de la caméra de recul et en redressant par traitement numérique l’image de la scène capturée par la caméra de recul inclinée ;The generation of the first synthesis view is carried out from a correction map supplied by the manufacturer of the rear view camera and by digitally rectifying the image of the scene captured by the inclined rear view camera;

[0018] la vue panoramique est réalisée :The panoramic view is produced:

- par projection des pixels de la première vue de synthèse sur la surface interne d’une demi-sphère de rayon R1 et dont le centre et le sommet sont situés sur un axe optique principal de la caméra de recul, les coordonnées des pixels de la première vue de synthèse projetés sur la demi-sphère étant calculées grâce au théorème de Thalès et à l’équation de la sphère ; puis- by projection of the pixels of the first synthesis view on the internal surface of a half-sphere of radius R1 and whose center and vertex are located on a main optical axis of the rear view camera, the coordinates of the pixels of the first view of synthesis projected on the half-sphere being calculated thanks to the theorem of Thales and the equation of the sphere; then

- par projection des points de la demi-sphère sur la surface interne d’un demicylindre vertical de rayon R2 englobant la demi-sphère et dont l’axe de symétrie passe par le centre de la demi-sphère ; et enfin- by projection of the points of the hemisphere on the internal surface of a vertical semicylinder of radius R2 encompassing the hemisphere and whose axis of symmetry passes through the center of the hemisphere; and finally

- par projection retour des points du demi-cylindre sur le plan défini par la première vue de synthèse ;- by back projection of the points of the half-cylinder on the plane defined by the first synthesis view;

[0019] laquelle la vue zoomée tournante en fonction de l’angle a du volant du véhicule automobile est réalisée :Which the rotating zoomed view as a function of the angle a of the steering wheel of the motor vehicle is produced:

- par projection des points de la demi-sphère sur la surface interne d’un demi- by projection of the points of the hemisphere on the internal surface of a half

French Description cylindre vertical de rayon R2 englobant la demi-sphère et dont l’axe de symétrie passe par le centre de la demi-sphère ;French Description vertical cylinder of radius R2 including the hemisphere and whose axis of symmetry passes through the center of the hemisphere;

- par projection retour des points du demi-cylindre sur le plan défini par la première vue de synthèse ; et enfin- by back projection of the points of the half-cylinder on the plane defined by the first synthesis view; and finally

- par modification de la répartition des pixels ainsi projetés et recadrage de l’image ainsi obtenue par application d’un coefficient dépendant de l’angle a du volant du véhicule ;- by modifying the distribution of the pixels thus projected and cropping the image thus obtained by applying a coefficient depending on the angle a of the vehicle steering wheel;

[0020] une étape d’aide à la manœuvre en marche arrière du véhicule automobile équipé de la caméra de recul grand angle, l’étape d’aide à la manœuvre comprenant successivement :A step to assist in the maneuver in reverse of the motor vehicle equipped with the wide-angle reversing camera, the step to assist in the maneuver comprising successively:

- l'acquisition d'un angle β de braquage avant relatif à l'angle a d'orientation du volant du véhicule automobile et de la vitesse du véhicule automobile ;- the acquisition of a front turning angle β relating to the angle a of the steering wheel of the motor vehicle and of the speed of the motor vehicle;

- une opération de calcul d'un gabarit dynamique représentatif de la trajectoire prévisible du véhicule automobile, en fonction dudit angle β de braquage avant et en fonction également de la vitesse du véhicule automobile ;an operation for calculating a dynamic gauge representative of the foreseeable trajectory of the motor vehicle, as a function of said front turning angle β and also as a function of the speed of the motor vehicle;

- une opération de détermination d’un gabarit initial dans un plan d’appui du véhicule automobile sur le sol ;- an operation to determine an initial gauge in a plane for supporting the motor vehicle on the ground;

- une opération de changement de repère dudit gabarit initial afin d’en déduire la forme d’un gabarit intermédiaire dans un plan sensiblement confondu avec le plan focal de la caméra de recul, le plan focal de la caméra de recul étant incliné d'un angle de roulis, d'un angle de tangage et d'un angle de lacet par rapport audit plan d'appui, ladite opération de changement de repère étant réalisée en fonction de chaque angle de roulis, de tangage et de lacet ;an operation of changing the reference mark of said initial template in order to deduce therefrom the shape of an intermediate template in a plane substantially coincident with the focal plane of the rear view camera, the focal plane of the rear view camera being inclined by a roll angle, a pitch angle and a yaw angle relative to said support plane, said reference change operation being performed as a function of each roll, pitch and yaw angle;

- la superposition du gabarit intermédiaire sur la première vue de synthèse ; ladite étape d’aide à la manœuvre étant réalisée avant la création de la vue zoomée tournante ;- the superimposition of the intermediate template on the first synthesis view; said step of assistance in the maneuver being carried out before the creation of the rotating zoomed view;

[0021] la vue de dessus du véhicule automobile est réalisée :The top view of the motor vehicle is produced:

- par projection de la première vue de synthèse sur le plan d’appui ; puis- by projection of the first summary view on the support plan; then

- par recadrage des pixels ainsi projetés par application d’un coefficient prédéterminé ;- by cropping of the pixels thus projected by application of a predetermined coefficient;

[0022] une étape d’aide à la manœuvre en marche arrière du véhicule automobile équipé de la caméra de recul grand angle, l’étape d’aide à la manœuvreA step to assist in the maneuver in reverse of the motor vehicle equipped with the wide-angle reversing camera, the step to assist in the maneuver

French Description comprenant successivement :French Description comprising successively:

- une opération de calcul d'un gabarit dynamique représentatif de la trajectoire prévisible du véhicule automobile, en fonction dudit angle β de braquage avant et en fonction également de la vitesse (V) du véhicule automobile (1 ) ;- an operation of calculating a dynamic gauge representative of the foreseeable trajectory of the motor vehicle, as a function of said front turning angle β and also as a function of the speed (V) of the motor vehicle (1);

- la superposition du gabarit intermédiaire sur la première vue de synthèse ; ladite étape d’aide à la manoeuvre étant réalisée avant la création de la vue de dessus.- the superimposition of the intermediate template on the first synthesis view; said step of maneuvering aid being carried out before the creation of the top view.

[0023] L’invention propose également un dispositif de calcul d’une vue pour l’aide à la manœuvre en marche arrière d’un véhicule automobile, comprenant :The invention also provides a device for calculating a view for assistance in maneuvering in reverse of a motor vehicle, comprising:

- une caméra de recul grand angle embarquée sur le véhicule automobile, la caméra étant inclinée d’un angle Angle Cam non nul par rapport à un plan d’appui du véhicule automobile au sol et adapter pour capturer une image d’une scène ;- a wide angle reversing camera on board the motor vehicle, the camera being inclined at a non-zero angle Cam angle relative to a support plane of the motor vehicle on the ground and adapting to capture an image of a scene;

- un calculateur adapté pour calculer une vue à partir de l’image de la scène capturée selon une méthode de calcul telle que décrite précédemment ; et- a calculator adapted to calculate a view from the image of the scene captured according to a calculation method as described above; and

- un écran d’affichage adapté pour afficher la vue calculée par le calculateur.- a display screen adapted to display the view calculated by the calculator.

[0024] L’invention concerne aussi un véhicule automobile comprenant un dispositif de calcul d’une vue tel que décrit précédemment.The invention also relates to a motor vehicle comprising a device for calculating a view as described above.

[0025] BREVE DESCRIPTION DES FIGURES [0026] L’invention sera mieux comprise à la lecture de la description qui suit, faite uniquement à titre d’exemple, et en référence aux figures en annexe dans lesquelles :BRIEF DESCRIPTION OF THE FIGURES The invention will be better understood on reading the description which follows, given solely by way of example, and with reference to the appended figures in which:

French DescriptionFrench Description

- les figures 1a et 1b représentent le schéma optique d’une caméra classique telle qu’on peut la modéliser ;- Figures 1a and 1b show the optical diagram of a conventional camera as can be modeled;

- la figure 2 représente les plans unitaires d’un plan capteur utiles pour faciliter les calculs des traitements d’image appliqués à l’image capturée par le capteur ;- Figure 2 shows the unit planes of a sensor plane useful to facilitate the calculations of the image processing applied to the image captured by the sensor;

- la figure 3 représente le schéma de principe d’un mode de réalisation général d’une méthode de calcul d’une vue à partir d’une image d’une scène linit capturée par une caméra de recul grand angle embarquée sur un véhicule automobile- Figure 3 shows the block diagram of a general embodiment of a method of calculating a view from an image of a linit scene captured by a wide angle rearview camera on board a motor vehicle

- les figures 4 à 6 représentent les différentes étapes de création d’une vue cylindrique de l’image de la scène capturée finit ;- Figures 4 to 6 show the different stages of creating a cylindrical view of the image of the scene captured finished;

- la figure 7 représente un exemple d’image de la scène capturée linit ;- Figure 7 shows an example image of the captured scene linit;

- la figure 8 représente un exemple de vue cylindrique calculée à partir d’une image de la scène capturée linit ;- Figure 8 shows an example of a cylindrical view calculated from an image of the scene captured linit;

- la figure 9 représente l’image native corrigée de la distorsion « usine » ;- Figure 9 shows the native image corrected for "factory" distortion;

- la figure 10 représente le plan du capteur de la caméra de recul ;- Figure 10 shows the plane of the rear view camera sensor;

- la figure 11 représente le tracé d’un faisceau lumineux traversant l’objectif de la caméra de recul lorsque celle-ci présente ou non de la distorsion ;- Figure 11 shows the path of a light beam passing through the objective of the rear view camera when it has or not distortion;

- les figures 12 et 13 représentent les différentes étapes d’une première amélioration de la création d’une vue cylindrique de l’image de la scène capturée ;- Figures 12 and 13 show the different stages of a first improvement of the creation of a cylindrical view of the image of the captured scene;

- la figure 14 représente la vue cylindrique de l’image de la scène capturée améliorée après les étapes de la première amélioration ;- Figure 14 shows the cylindrical view of the image of the captured scene improved after the steps of the first improvement;

- les figures 15a et 15b représentent respectivement une image native capturée par une caméra embarquée sur un véhicule automobile et une vue cylindrique réalisée à partir de cette image native lorsque la caméra n’est pas inclinée par rapport au plan d’appui du véhicule automobile sur le sol ;FIGS. 15a and 15b respectively represent a native image captured by a camera on board a motor vehicle and a cylindrical view produced from this native image when the camera is not inclined relative to the bearing plane of the motor vehicle on floor ;

- la figure 16 représente un véhicule automobile équipée d’une caméra de recul inclinée d’un angle Angle Cam non nul par rapport au plan d’appui du véhicule automobile ;- Figure 16 shows a motor vehicle equipped with a reversing camera inclined at a non-zero angle Cam angle relative to the support plane of the motor vehicle;

- les figures 17 à 20 représentent différentes étapes permettant la génération, selon un mode de réalisation particulier, d’une première vue de synthèse corrigée des aberrations optiques de distorsion d’une caméra grand champ embarquée sur un véhicule automobile et inclinée d’un angle Angle Cam non nul par rapport au plan d’appui du véhicule automobile- Figures 17 to 20 show different stages allowing the generation, according to a particular embodiment, of a first corrected synthesis view of the optical distortion aberrations of a wide field camera on board a motor vehicle and tilted at an angle Cam angle not zero with respect to the support plane of the motor vehicle

French DescriptionFrench Description

- la figure 21 représente une vue panoramique générée à partir de la première vue de synthèse corrigée de la figure 20 ;- Figure 21 shows a panoramic view generated from the first corrected synthesis view of Figure 20;

- la figure 22 représente un exemple de gabarit à insérer sur une première vue de synthèse corrigée de la distorsion ;- Figure 22 shows an example of a template to be inserted on a first synthesis view corrected for distortion;

- la figure 23 représente un exemple de vue tournante que laquelle a été superposé un exemple de gabarit d’aide à la conduite, la vue tournante ayant été créée à partir de l’image native de la figure 7 ;- Figure 23 shows an example of a rotating view which has been superimposed on an example of driving aid template, the rotating view having been created from the native image of Figure 7;

- la figure 24 représente les différentes étapes géométriques permettant la création d’une vue de dessus ; et- Figure 24 shows the different geometric steps allowing the creation of a top view; and

- la figure 25 représente un exemple de vue de dessus comprenant un gabarit d’aide à la conduite, la vue de dessus ayant été créée à partir de l’image native de la figure 7.FIG. 25 represents an example of a top view comprising a driving aid template, the top view having been created from the native image of FIG. 7.

[0027] DEFINITION [0028] La Figure 1a représente le schéma optique d’une caméra 20 classique telle qu’on peut en trouver dans le commerce. Ce genre de caméra 20 comprend généralement un capteur 30 et un objectif 40 composé de plusieurs lentilles L.DEFINITION Figure 1a shows the optical diagram of a conventional camera 20 as can be found commercially. This kind of camera 20 generally comprises a sensor 30 and a lens 40 composed of several lenses L.

[0029] Pour simplifier les calculs et la représentation géométrique de la caméra 20, il est possible de remplacer l’ensemble des lentilles L comprises dans l’objectif par une seule lentille équivalente Leq de focale f et de centre A comme illustré Figure 1 b, le capteur étant positionné dans le plan focal de cette lentille équivalente.To simplify the calculations and the geometric representation of the camera 20, it is possible to replace all of the lenses L included in the objective with a single equivalent lens Leq with focal length f and center A as illustrated in FIG. 1 b , the sensor being positioned in the focal plane of this equivalent lens.

[0030] L’axe optique 50, également appelé axe principal, de l’objectif 40 correspond à l’axe de symétrie de rotation des lentilles L composant l’objectif. Dans le cas de la représentation géométrique simplifiée, cet axe optique 50 peut être redéfini comme étant l’axe passant par le centre de la lentille équivalente Leq et le centre du capteur 30.The optical axis 50, also called the main axis, of the objective 40 corresponds to the axis of symmetry of rotation of the lenses L making up the objective. In the case of simplified geometric representation, this optical axis 50 can be redefined as being the axis passing through the center of the equivalent lens Leq and the center of the sensor 30.

[0031] Pour la suite de cette description, le modèle de représentation optique d’une caméra sera le modèle simplifié de la Figure 1b.For the remainder of this description, the optical representation model of a camera will be the simplified model of Figure 1b.

[0032] Pour faciliter les calculs des traitements d’image effectués à partir de l’image hnit capturée par la caméra 20, on définit un premier plan unitaire PU1 et un second plan unitaire PU2. Comme illustré sur la Figure 2, ces plans sont formés par projection des pixels capteur par la homothétie de centre A, et distants de 1To facilitate the calculations of the image processing carried out from the hnit image captured by the camera 20, a first unitary plane PU1 and a second unitary plane PU2 are defined. As illustrated in Figure 2, these planes are formed by projection of the sensor pixels by the homothety of center A, and spaced 1

French Description mm par rapport au centre A. Le premier plan unitaire PU1 correspond au plan situé entre le capteur et le centre A de la lentille équivalente Léq et le second plan unitaire PU2 correspond au plan situé entre le centre A et la scène capturée par la caméra 20. Les deux plans unitaires ont donc les mêmes dimensions : Cx mm x cy mm et sont symétriques par rapport au centre A. Ainsi, dans le repère (Xpui ; Ypui) centré sur Rput le centre image du premier plan unitaire PU1, un point image de coordonnées (x_pui ; y_Pui) correspondra au point image de coordonnées (x_Pu2 = - x_Pui ; y_Pu2 = - y_Pui) dans le repère (Xpu2 ;Ypu2) centré Rpu2sur le centre image du second plan unitaire PU2.English Description mm with respect to the center A. The first unit plane PU1 corresponds to the plane between the sensor and the center A of the equivalent lens Léq and the second unit plane PU2 corresponds to the plane between the center A and the scene captured by the camera 20. The two unit planes therefore have the same dimensions: Cx mm x cy mm and are symmetrical with respect to the center A. Thus, in the coordinate system (Xpui; Ypui) centered on Rput the image center of the first unitary plane PU1, a coordinate point image (x _pu i; y _P ui) will correspond to the coordinate point image (x _P u2 = - x _P ui; y _P u2 = - y _P ui) in the coordinate system (Xpu2; Ypu2) centered Rpu2 on the center image of the second unitary plane PU2.

[0033] DESCRIPTION DETAILLEE DE MODES DE REALISATION [0034] La Figure 3 représente le schéma de principe d’un mode de réalisation général d’une méthode de calcul d’une vue à partir d’une image d’une scène linit capturée par une caméra de recul grand angle embarquée sur un véhicule automobile, la caméra étant inclinée d’un angle Angle_cam non nul par rapport à un plan d’appui du véhicule automobile sur le sol.DETAILED DESCRIPTION OF EMBODIMENTS FIG. 3 represents the block diagram of a general embodiment of a method for calculating a view from an image of a linit scene captured by a wide-angle reversing camera on board a motor vehicle, the camera being inclined at a non-zero Angle_cam angle relative to a support plane of the motor vehicle on the ground.

[0035] Cette méthode de calcul comprend :This calculation method includes:

• une étape E100 de génération d’une première vue de synthèse Isynth correspondant à l’image de la scène linit capturée par la caméra de recul corrigée des aberrations optiques hors champ générées par l’inclinaison de la caméra de recul ; et • une étape E200 de création de la vue à partir de la première vue de synthèse et en fonction du type de vue souhaité parmi : une vue panoramique Vpanoramic de la scène capturée, une vue zoomée tournante Vrot en fonction de l’angle du volant du véhicule automobile, une vue de dessus Vbirdview du véhicule automobile.• a step E100 of generating a first Isynth synthesis view corresponding to the image of the linit scene captured by the reversing camera corrected for optical out-of-scope aberrations generated by the tilt of the reversing camera; and • a step E200 of creating the view from the first summary view and as a function of the type of view desired from: a panoramic Vpanoramic view of the scene captured, a rotating zoomed view Vrot as a function of the angle of the steering wheel of the motor vehicle, a top view Vbirdview of the motor vehicle.

[0036] Dans un premier temps, l’étape E100 de génération de la première vue de synthèse consiste à calculer une vue cylindrique de l’image de la scène capturée linit.First, the step E100 of generating the first synthesis view consists in calculating a cylindrical view of the image of the scene captured linit.

[0037] CALCUL D’UNE VUE CYLINDRIQUE [0038] Pour cela et comme illustré sur la Figure 4, les pixels de l’image de la scène linit capturée par la caméra sont projetés sur la surface interne d’une demi-sphèreCALCULATING A CYLINDRICAL VIEW For this and as illustrated in FIG. 4, the pixels of the image of the linit scene captured by the camera are projected onto the internal surface of a hemisphere.

French Description de rayon R1 et dont le centre C et le sommet S sont situés sur l’axe optique principal 50 de la caméra.English Description of radius R1 and whose center C and vertex S are located on the main optical axis 50 of the camera.

[0039] Les images natives linit issues de la caméra sont constituées de Res_h pixels suivant la direction horizontale et Res_v pixels suivant la direction verticale. Pour effectuer la simulation numérique, le plan du capteur 30 de la caméra considérée est virtuellement rapproché de la lentille équivalente à l’objectif de la caméra par homothétie centrée sur le centre A de la lentille équivalente. On se place ici dans le premier plan unitaire PU1 de largeur ex et de hauteur cy distant de d=1 mm par rapport à la lentille équivalente représente ce nouveau plan capteur.The linit native images from the camera consist of Res_h pixels in the horizontal direction and Res_v pixels in the vertical direction. To perform the digital simulation, the plane of the sensor 30 of the camera considered is virtually brought closer to the lens equivalent to the objective of the camera by homothety centered on the center A of the equivalent lens. We place ourselves here in the first unitary plane PU1 of width ex and height cy distant from d = 1 mm relative to the equivalent lens represents this new sensor plane.

[0040] Ce plan a pour repère orthonormé (X_pui ; Y_Pui) centré sur R_pui qui correspond au centre de l’image capteur hnit ainsi projetée.This plane has as orthonormal reference (X _pu i; Y _P ui) centered on R _pu i which corresponds to the center of the hnit sensor image thus projected.

[0041] Dans ce repère (X_pui ; Y_Pui), un pixel image P a pour coordonnées (x_pui ; y_Pui) tel que :In this coordinate system (X _pu i; Y _P ui), an image pixel P has the coordinates (x _pu i; y _P ui) such that:

[0042] [Math. 1][Math. 1]

[0043] Où :Where:

• i est un entier compris dans l’intervalle [1 ; (Res_h)/2] ;• i is an integer in the interval [1; (Res_h) / 2];

• j est un entier compris dans l’intervalle [1 :(Res_v)/2] ; et • f est la focale de la caméra.• j is an integer in the interval [1: (Res_v) / 2]; and • f is the focal length of the camera.

[0044] Il est à noter que pour cette première équation et pour toutes les suivantes, les calculs sont uniquement effectués sur un quart de l’image native. Cela permet notamment de réduire le nombre de calcul étant donné que les autres quarts de l’image peuvent respectivement être déduits de ce premier quart image par symétrie selon l’axe Xcapteur, symétrie selon l’axe Ycapteur (ou Y_pui) et symétrie centrale centrée sur le centre de l’image (i.e. sur le centre du capteur), la répartition des pixels étant symétrique par rapport à ces axes et ce point central.It should be noted that for this first equation and for all of the following, the calculations are only performed on a quarter of the native image. This makes it possible in particular to reduce the number of computations given that the other quarters of the image can respectively be deduced from this first quarter image by symmetry along the axis X-sensor, symmetry along the axis Y sensor (or Y _pu i) and symmetry central centered on the center of the image (ie on the center of the sensor), the distribution of the pixels being symmetrical with respect to these axes and this central point.

French Description [0045] La demi-sphère 70 a pour repère orthonormé (Xsph ; Ysph ; Z_Sph) centré sur C le centre de la demi-sphère 70. Dans ce repère (Xsph ; Ysph ; Z_sph), la projection du pixel P (xpu ; y_pu) a pour coordonnées P1 (xi ; yi ; zi).French Description The half-sphere 70 has for orthonormal reference (Xsph; Ysph; Z _S ph) centered on C the center of the half-sphere 70. In this reference (Xsph; Ysph; Z _sp h), the projection of the pixel P (xpu; y _pu ) has the coordinates P1 (xi; yi; zi).

[0046] Les coordonnées du point P1 (xi ; yi ; z-i) peuvent être calculées grâce au théorème de Thalès et à l’équation de la sphère.The coordinates of the point P1 (xi; yi; z-i) can be calculated using the theorem of Thales and the equation of the sphere.

[0047] Ainsi, l’application du théorème de Thalès donne entre ces deux pixels P et Pi donne l’équation suivante :Thus, the application of the theorem of Thales gives between these two pixels P and Pi gives the following equation:

[0048] [Math. 2][Math. 2]

Jù [0049] Où :Where:

cam_sph représente la distance entre le centre A de la lentille équivalente et le centre C de la demi-sphère 70 ; et η est une constante (i.e. un nombre réel).cam_sph represents the distance between the center A of the equivalent lens and the center C of the hemisphere 70; and η is a constant (i.e. a real number).

[0050] Les coordonnées de P1 peuvent donc s’écrire :The coordinates of P1 can therefore be written:

[0051] [Math. 3] ~ ?? * $ — ‘ Λ = i[Math. 3] ~ ?? * $ - ‘Λ = i

I 5SS5 t?I 5SS5 t?

χ X ·*£ . < X [0052] Le point P1 appartenant la demi-sphère 70, ces coordonnées vérifient l’équation de celle-ci à savoir :χ X · * £. <X The point P1 belonging to the half-sphere 70, these coordinates verify the equation thereof, namely:

[0053] [Math. 4] [0054] [Math. 5][Math. 4] [Math. 5]

0? ‘ + h ’ ·^{· ( .....** [0055] La résolution de cette équation du second degré nous permet de déduire la constante positive η :0? '+ h' · ^{ · (..... ** [0055] The resolution of this second degree equation allows us to deduce the positive constant η:

French Description [0056] [Math. 6]French Description [Math. 6]

J? * 4- j/Γ * -f (x^i² 4· y_FUt ² + --- mm^²^) ^: ^:-----r'------^:::—~ ^i⁴ -F $ * [0057] Et donc d’en déduire les valeurs de x_Sph, ysph et z_sph.J? * 4 days / Γ * f (x ^ ² i _was there 4 · ² + --- mm ^ ² ^{^)} ^----- r ^::: ------ - ~ ^ i ⁴ -F $ * And therefore to deduce therefrom the values of x _S ph, ysph and z _sp h.

[0058] Si on transpose en coordonnées sphériques, nous obtenons alors les angles de latitude et longitude suivants :If we transpose into spherical coordinates, we then obtain the following angles of latitude and longitude:

[0059] [Math. 7][Math. 7]

[0060] Le point P1 est ensuite projeté sur la surface interne d’un demi-cylindre 80 vertical de rayon R2 englobant la demi-sphère 70 et dont l’axe de symétrie passe par le centre C de la demi-sphère 70, comme cela est illustré sur la Figure 5.The point P1 is then projected onto the internal surface of a vertical half-cylinder 80 of radius R2 encompassing the hemisphere 70 and whose axis of symmetry passes through the center C of the hemisphere 70, as this is illustrated in Figure 5.

[0061] Le demi-cylindre 80 a pour repère orthonormé (X_cyi ; Ycyi ; Z_cyi) centré sur C le centre de la demi-sphère 70. Dans ce repère (X_Cyi ; Ycyi ; Z_cyi), la projection du point P1 est un point P2 de coordonnées (x2 ; ys ; Z2), tel que :The half-cylinder 80 has for orthonormal reference (X _cy i; Ycyi; Z _cy i) centered on C the center of the hemisphere 70. In this reference (X _C yi; Ycyi; Z _cy i), the projection of point P1 is a point P2 with coordinates (x2; ys; Z2), such that:

[0062] [Math. 8][Math. 8]

Γ %· [0063] Enfin, et comme illustré sur la Figure 6, le point P2 est projeté de nouveau sur le premier plan unitaire PU1 en passant par le centre A de la lentille équivalente.Γ% · Finally, and as illustrated in Figure 6, the point P2 is projected again on the first unitary plane PU1 passing through the center A of the equivalent lens.

[0064] Dans le repère (X_pui ; Y_Pui), la projection du point P2 est un point P3 de coordonnées (X3 ; ys), tel que :In the coordinate system (X _pu i; Y _P ui), the projection of the point P2 is a point P3 with coordinates (X3; ys), such that:

FrenchFrench

DescriptionDescription

[0065] [Math. 9] [0066] Où [0067] [Math. 10] ~ x? 4*'-^V >.[Math. 9] Where [0067] [Math. 10] ~ x? 4 * '- ^V >.

[0068] L’image ainsi obtenue par les projections successives de l’ensemble des pixels image P est ensuite redimensionnée à la taille de l’image capteur initiale par homothétie. Ainsi, un pixel P4 de cette image corrigée et redimensionnée a donc les coordonnées suivantes :The image thus obtained by successive projections of all the image pixels P is then resized to the size of the initial sensor image by homothety. Thus, a pixel P4 of this corrected and resized image therefore has the following coordinates:

[0069] [Math. 11][Math. 11]

[0070] La Figure 7 représente l’image native Im prise par la caméra de recul et la Figure 8 représente l’image de la vue cylindrique obtenue après les premiers calculs de cette étape E100.FIG. 7 represents the native image Im taken by the rear view camera and FIG. 8 represents the image of the cylindrical view obtained after the first calculations of this step E100.

[0071] L’étape de création E200 des vues panoramique, zoomée tournante et de dessus consistent ensuite en un recadrage de l’image de la vue cylindrique accompagné ou non d’un ajustement de celle-ci en fonction de l’écran sur lequel est effectué l’affichage (ex. : inversion haut/bas et/ ou gauche/droite, agrandissement ou réduction de l’image, etc.).The step of creating E200 panoramic, zoomed in and above views then consists in cropping the image of the cylindrical view accompanied or not by an adjustment of the latter according to the screen on which the display is performed (e.g. up / down and / or left / right inversion, enlargement or reduction of the image, etc.).

[0072] AMELIORATION 1 [0073] Selon un premier mode de réalisation particulier de l’invention compatible avec le mode général, la génération de la première vue de synthèse à l’étape E100 peut être réalisée à partir d’une cartographie de correction fournie par le fabricant de la caméra de recul et, pour chaque pixel de l’image de la scène capturée, duIMPROVEMENT 1 According to a first particular embodiment of the invention compatible with the general mode, the generation of the first summary view in step E100 can be carried out from a correction map provided by the manufacturer of the rear view camera and, for each pixel of the image of the scene captured, the

French Description calcul d’une valeur de correction spécifique à la position du pixel de l’image de la scène capturée.English Description calculation of a correction value specific to the pixel position of the image of the captured scene.

[0074] En effet, il est courant que le fabricant de caméra fournisse une cartographie permettant une correction de distorsion classique ou distorsion « usine ». Comme illustré sur les Figures 9a et 9b, qui correspondent respectivement à l’image native de la caméra linit, et à l’image corrigée de la distorsion « usine », cette méthode spécifique a pour effet de restreindre le champ de vision offert au conducteur et d’étirer les pixels situés en zone périphérique de l’image.Indeed, it is common for the camera manufacturer to provide a mapping allowing correction of conventional distortion or "factory" distortion. As illustrated in Figures 9a and 9b, which correspond respectively to the native image of the linit camera, and to the corrected image of the "factory" distortion, this specific method has the effect of restricting the field of vision offered to the driver and to stretch the pixels located in the peripheral zone of the image.

[0075] L’objectif de cette amélioration 1 est donc de calculer, en utilisant la cartographie, une valeur de cam_sph pour chaque pixel de l’image. Ainsi, à chaque pixel de l’image avec distorsion correspond un pixel dans l’image non distordue.The objective of this improvement 1 is therefore to calculate, using cartography, a value of cam_sph for each pixel of the image. Thus, each pixel in the distorted image corresponds to one pixel in the undistorted image.

[0076] La Figure 10 représente le plan du capteur 30 de la caméra de recul de dimension Cx mm x Cy mm et de résolution Res_h pixels en hauteur et Res_v pixels en largeur. Dans ce plan, on définit le repère (I ; J) dont l’origine O est située en haut à gauche du capteur 30, ainsi que le repère (H ; V) centré sur le centre du capteur 30.Figure 10 shows the plane of the sensor 30 of the reversing camera of dimension Cx mm x Cy mm and of resolution Res_h pixels in height and Res_v pixels in width. In this plane, we define the coordinate system (I; J) whose origin O is located at the top left of the sensor 30, as well as the coordinate system (H; V) centered on the center of the sensor 30.

[0077] Si (ii ; jj) sont les coordonnées d’un pixel de l’image de la scène capturée par la caméra de recul avec distorsion, où ii est un entier compris dans l’intervalle [1 ; Res_h/2] et jj est un entier compris dans l’intervalle [1 :Res_v/2] (NB : pour rappel, les calculs se font sur un quart de l’image), les coordonnées de ce pixel dans le repère (H ; V) centré sur le centre de l’image sont :If (ii; jj) are the coordinates of a pixel of the image of the scene captured by the reversing camera with distortion, where ii is an integer lying in the interval [1; Res_h / 2] and jj is an integer in the interval [1: Res_v / 2] (NB: as a reminder, the calculations are done on a quarter of the image), the coordinates of this pixel in the coordinate system (H ; V) centered on the center of the image are:

[0078] [Math. 12][Math. 12]

[0079] Autrement écrit en coordonnées cylindriques, nous obtenons :Otherwise written in cylindrical coordinates, we obtain:

FrenchFrench

Description [0080] [Math. 13]Description [Math. 13]

[0081] La Figure 11 illustre le principe de la distorsion. Dans le cas d’une lentille parfaite ou mince, un faisceau incident 100 sur l’objectif 40 de la caméra et passant par le centre A de celle-ci ne devrait pas être dévié. En présence de distorsion comme ici où l’objectif n’est pas une lentille mince mais un objectif grand angle (« fish eye >>), le faisceau 100 est dévié faisant varier la taille de l’objet imagé sur le capteur 30 de Yo, rayon sans distorsion (undistRadius), à Y, rayon avec distorsion (distRadius).Figure 11 illustrates the principle of distortion. In the case of a perfect or thin lens, an incident beam 100 on the lens 40 of the camera and passing through the center A of the latter should not be deflected. In the presence of distortion as here where the objective is not a thin lens but a wide angle objective ("fish eye"), the beam 100 is deflected varying the size of the object imaged on the sensor 30 of Yo , radius without distortion (undistRadius), at Y, radius with distortion (distRadius).

[0082] Le tableau ci-dessous illustre un exemple de table de correction fournie par fabricant de caméra. Ces corrections sont données dans le plan focal de la caméra (i.e. dans le plan capteur 60) dans un rectangle de largeur ex et de hauteur cy.The table below illustrates an example of a correction table supplied by the camera manufacturer. These corrections are given in the focal plane of the camera (i.e. in the sensor plane 60) in a rectangle of width ex and height cy.

[0083] [Tableau 1][Table 1]

Harf Angle of WwC ]Harf Angle of WwC]

0,10870.1087

0,21340.2134

0,32010.3201

0,42880.4288

0,53350.5335

0,84020.8402

0,74680.7468

0,85360.8536

0,86030.8603

1,0871.087

1,17371.1737

1,2804 ¥¥ 1.2804

Image Height [mm]Image Height [mm]

0,002218880.00221888

0,004437380.00443738

0,008658130.00865813

0,008874840.00887484

0,01188380.0118838

8,01331208.0133120

0,0155320.015532

0,01775130.0177513

0,01887070.0188707

0,02218040.0221804

0,02441020.0244102

0,02663030.0266303

French Description [0084] Grâce à cette table, la plus proche valeur de distRadius (i.e. Y) est identifiée puis, par interpolation linéaire, on en déduit la valeur de θ correspondante.French Description Thanks to this table, the closest value of distRadius (i.e. Y) is identified then, by linear interpolation, we deduce the corresponding value of en.

[0085] On peut alors en déduire la valeur du rayon correspondant au pixel sans distorsion.We can then deduce the value of the radius corresponding to the pixel without distortion.

[0086] [Math. 14] / wtdhtAWiw ~ / ™ cas [0087] Sur les Figures 12 et 13, le point A est le centre de la caméra, le point C est le centre de la demi-sphère 70 et on définit un nouveau repère associé à la demisphère 70 (X_Sph2 = - Xsph ; Ysph2 = - Ysph ; Z_sph2 = Z_Sph) centré sur C. Le second plan unitaire PU2 de l’image caméra avec distorsion est situé à 1mm du centre A.[Math. 14] / wtdhtAWiw ~ / ™ cas [0087] In Figures 12 and 13, point A is the center of the camera, point C is the center of the hemisphere 70 and we define a new reference associated with the hemisphere 70 (X _S ph2 = - Xsph; Ysph2 = - Ysph; Z _sp h2 = Z _S ph) centered on C. The second unit plane PU2 of the camera image with distortion is located 1mm from the center A.

[0088] Un plan unitaire sans distorsion PUsd est artificiellement créé du côté du premier plan unitaire PU1 et à 1mm du centre C de la demi-sphère 70. Dans ce plan unitaire sans distorsion PUsd, on définit le repère (Xsd ; Ysd ; Zsd) centré sur le centre image et où l’axe XSD est parallèle à l’axe Ysph2 et de même sens, et l’axe YSD est parallèle à l’axe Zsph2 mais de sens opposé. Dans ce repère (Xsd ; Ysd ; Zsd), un point M, appartenant au plan unitaire sans distorsion PUsd, a pour coordonnées (Xu ;Yu).A unitary plane without distortion PUsd is artificially created on the side of the first unitary plane PU1 and 1mm from the center C of the hemisphere 70. In this unitary plane without distortion PUsd, the reference frame is defined (Xsd; Ysd; Zsd ) centered on the image center and where the XSD axis is parallel to the Ysph2 axis and in the same direction, and the YSD axis is parallel to the Zsph2 axis but in the opposite direction. In this coordinate system (Xsd; Ysd; Zsd), a point M, belonging to the unitary plane without distortion PUsd, has the coordinates (Xu; Yu).

[0089] Pour rappel, on cherche ici à calculer la distance Cam_sph entre le centre A de la caméra et le centre C de la demi-sphère 70 pour un point de l’image capteur.As a reminder, we seek here to calculate the distance Cam_sph between the center A of the camera and the center C of the hemisphere 70 for a point in the sensor image.

[0090] La droite passant par le point M et le centre C intersecte la demi-sphère 70 de rayon R1 en un point N. Le théorème de Thalès et l’appartenance du point N à la demi-sphère permettent de calculer les coordonnées du point N dans le repère (Xsph2 ;Ysph2 ;Z_Sp_h2) centré C :The line passing through the point M and the center C intersects the hemisphere 70 of radius R1 at a point N. The theorem of Thales and the belonging of the point N to the hemisphere make it possible to calculate the coordinates of the point N in the coordinate system (Xsph2; Ysph2; Z _S p _h2 ) centered C:

FrenchFrench

Description [0091] [Math. 15]Description [Math. 15]

Bu *Drank *

B * [0092] La droite passant par le point N et le centre A de la caméra intersecte quant à elle le second plan unitaire PU2 (donc avec distorsion), en P’.B * The straight line passing through point N and the center A of the camera intersects the second unit plane PU2 (therefore with distortion), at P ’.

[0093] Dans le second plan unitaire PU2, les coordonnées de P’ sont (x_Pdi ; y_Pdi) :In the second unitary plane PU2, the coordinates of P 'are (x _P di; y _P di):

[0094] [Math. 16] [0095] Comme illustré sur la Figure 12, on définit le repère caméra (Xcam :Y_Cam ; Zcam) centré sur le centre A de la lentille équivalent à l’objectif 40 de la caméra 20.[Math. 16] As illustrated in FIG. 12, the camera frame is defined (Xcam: Y _C am; Zcam) centered on the center A of the lens equivalent to the objective 40 of the camera 20.

[0096] Dans ce repère caméra (Xcam :Ycam ; Zcam), parallèle au repère (Xs_Ph2 ;Ys_Ph2 ;Z_sph2), les coordonnées du point P’ sont : (-1mm, x_Pdi, y_Pdi).In this camera frame (Xcam: Ycam; Zcam), parallel to the frame (Xs _P h2; Ys _P h2; Z _sp h2), the coordinates of the point P 'are: (-1mm, x _P di, y _P di).

[0097] Dans ce repère caméra (Xcam :Ycam ; Zcam), les coordonnées du point M sont : (Cam_sph+xiu, yiu, ziu).In this camera frame (Xcam: Ycam; Zcam), the coordinates of point M are: (Cam_sph + xiu, yiu, ziu).

[0098] Toujours dans ce repère caméra (Xcam :Ycam ; Zcam), le théorème de Thalès donne : (Cam_sph+xiu)/1mm = yiu/x_Pdi [0099] Soit :Still in this camera frame (Xcam: Ycam; Zcam), the theorem of Thalès gives: (Cam_sph + xiu) / 1mm = yiu / x _P di [0099] Let:

[0100] [Math. 17] [0101] Ainsi, pour chaque pixel de l’image d’origine, une valeur de cam_sph, distance entre le centre C de la demi-sphère 70 et le centre A de la lentille équivalente à l’objectif 40 de la caméra 20 de recul, est calculée.[Math. 17] Thus, for each pixel of the original image, a value of cam_sph, distance between the center C of the hemisphere 70 and the center A of the lens equivalent to the objective 40 of the camera 20, is calculated.

French Description [0102] On injecte ensuite cette valeur de cam_sph dans les équations Math. 7, Math.French Description [0102] This value of cam_sph is then injected into the Math equations. 7, Math.

8, Math. 9 et Math. 11 du calcul de la vue cylindrique initial. Soit :8, Math. 9 and Math. 11 of the calculation of the initial cylindrical view. Is :

[0103] [Math. 18][0103] [Math. 18]

B ™ atan(—) [0104] Le point M est projeté sur le demi-cylindre 80, de rayon R2 et de centre C en un point P’2 de coordonnées (x’2, y’2, z’2) dans le repère (X_cyi ; Ycyi ; Z_cyi) :B ™ atan (-) [0104] The point M is projected onto the half-cylinder 80, of radius R2 and of center C at a point P'2 with coordinates (x'2, y'2, z'2) in the coordinate system (X _cy i; Ycyi; Z _cy i):

[0105] [Math. 19][0105] [Math. 19]

IV „ — J $7 “ X v ώ v ~ ^ώ [0106] [Math. 20] [0107] La droite passant par P’2 et le centre A de la caméra intersecte le plan premier focal unitaire PU1 en un point P’3 de coordonnées :IV „- J $ 7“ X v ώ v ~ ^ώ [0106] [Math. 20] [0107] The straight line passing through P'2 and the center A of the camera intersects the unitary first focal plane PU1 at a point P'3 with coordinates:

[0108] [Math. 21][0108] [Math. 21]

[0109] Les coordonnées en pixel du point P’4 dans le plan focal ! plan capteur corrigé de la distorsion sont alors :The pixel coordinates of point P’4 in the focal plane! corrected sensor plane of the distortion are then:

[0110] [Math. 22][0110] [Math. 22]

French Description [0111] Comme énoncé précédemment, les coordonnées (x’4 ; y’4) permettent de calculer un quart de l’image. Pour obtenir l’image entière, on effectue une symétrie par rapport à l’axe Xcapteur, une symétrie par rapport à l’axe Ycapteur et une symétrie centrale par rapport au centre de l’image.French Description [0111] As stated above, the coordinates (x’4; y’4) allow you to calculate a quarter of the image. To obtain the entire image, we perform a symmetry with respect to the Xcaptor axis, a symmetry with respect to the Ycaptor axis and a central symmetry with respect to the center of the image.

[0112] Enfin, pour que la vue affichée au conducteur soit orientée à l’endroit, des étapes supplémentaires d’inversion gauche/droite et/ou haut/bas peuvent être effectuées.Finally, so that the view displayed to the driver is oriented to the right, additional steps of left / right and / or up / down reversal can be carried out.

[0113] La Figure 14 illustre l’image obtenue après ces opérations d’amélioration à partir des tables de correction donnée par le fabricant de caméra. On note que les courbures ne présentent plus les formes vagues constatées sur la Figure 8.FIG. 14 illustrates the image obtained after these improvement operations from the correction tables given by the camera manufacturer. We note that the curvatures no longer have the vague shapes noted in Figure 8.

[0114] AMELIORATION 2 [0115] Selon un deuxième mode de réalisation particulier de l’invention compatible avec le mode général, la génération de la première vue de synthèse à l’étape E100 peut être réalisée à partir d’une cartographie de correction fournie par le fabricant de la caméra de recul et en redressant par traitement numérique l’image de la scène capturée par la caméra de recul inclinée.IMPROVEMENT 2 [0115] According to a second particular embodiment of the invention compatible with the general mode, the generation of the first summary view in step E100 can be carried out from a correction map provided by the manufacturer of the reversing camera and by digitally rectifying the image of the scene captured by the inclined reversing camera.

[0116] Les Figures 15a et 15b montrent qu’une vue cylindrique réalisée à partir d’une image native lorsque la caméra n’est pas inclinée par rapport au plan d’appui du véhicule automobile sur le sol (Figure 15a) donne après traitement (Figure 15b) un meilleur rendu.Figures 15a and 15b show that a cylindrical view made from a native image when the camera is not tilted relative to the bearing plane of the motor vehicle on the ground (Figure 15a) gives after treatment (Figure 15b) better rendering.

[0117] Puisqu’une orientation inclinée est imposée par le besoin de voir une partie de la face arrière du véhicule automobile dans l’image native, ce deuxième mode de réalisation permet de changer l’axe optique de la vue.Since an inclined orientation is imposed by the need to see part of the rear face of the motor vehicle in the native image, this second embodiment makes it possible to change the optical axis of the view.

[0118] Pour cela, pour chaque pixel (ii ; jj), on calcule le point M (X_u ;Y_U) dans le plan unitaire sans distorsion PUsd.For this, for each pixel (ii; jj), the point M (X _u ; Y _U ) is calculated in the unit plane without distortion PUsd.

[0119] La Figure 16 représente un véhicule automobile 1 équipée d’une caméra de recul 20 inclinée d’un angle Angle_cam non nul par rapport au plan d’appui du véhicule automobile 1 sur le sol.FIG. 16 represents a motor vehicle 1 fitted with a reversing camera 20 inclined at a non-zero angle_cam angle relative to the bearing plane of the motor vehicle 1 on the ground.

[0120] Le repère véhicule (Xv ;Yv ; Zv) est défini comme suit : son origine est au milieu de l’essieu avant du véhicule automobile, l’axe Xv est longitudinal, orienté deThe vehicle identifier (Xv; Yv; Zv) is defined as follows: its origin is in the middle of the front axle of the motor vehicle, the axis Xv is longitudinal, oriented

French Description l’avant vers l’arrière du véhicule, l’axe Zv est vertical vers le haut (i.e, du plan d’appui du véhicule automobile sur le sol vers le ciel / toit du véhicule), et l’axe Yv est latéral, tel que le repère (Xv ; Yv ; Zv) soit orthonormé direct.French Description the front towards the rear of the vehicle, the Zv axis is vertical upwards (ie, from the support plane of the motor vehicle on the ground to the sky / roof of the vehicle), and the Yv axis is lateral, such that the coordinate system (Xv; Yv; Zv) is direct orthonormal.

[0121] Comme précédemment, on définit une demi-sphère S1 de rayon R1 dont le centre C1 est situé sur l’axe optique de la caméra 20 à 1 mm du plan unitaire sans distorsion PUsd.As before, a semi-sphere S1 of radius R1 is defined, the center C1 of which is located on the optical axis of the camera 20 to 1 mm from the unit plane without distortion PUsd.

[0122] Dans ce cas-là, la droite passant par M et le centre C1 intersecte:In this case, the line passing through M and the center C1 intersects:

• le plan xv = a (par exemple a = 4000 mm) en un point de coordonnées (a, ysd1, zsd1) dans le repère véhicule (Xv ;Yv ; Zv) ; et • le plan zv = b (par exemple b = 0 mm) en un point de coordonnées (xad2, ysd2, b) dans le repère véhicule (Xv ;Yv ; Zv).• the plane xv = a (for example a = 4000 mm) at a point of coordinates (a, ysd1, zsd1) in the vehicle coordinate system (Xv; Yv; Zv); and • the plane zv = b (for example b = 0 mm) at a point of coordinates (xad2, ysd2, b) in the vehicle coordinate system (Xv; Yv; Zv).

[0123] Pour valider le choix des valeurs prisent pour a et b, on vérifie, par simulation numérique, que les intersections avec les plans xv = a et zv = b sont suffisantes pour couvrir l’ensemble du champ de vision de la caméra 20 comme illustré sur la Figure 17.To validate the choice of values taken for a and b, it is verified, by numerical simulation, that the intersections with the planes xv = a and zv = b are sufficient to cover the entire field of vision of the camera 20 as shown in Figure 17.

[0124] Sur l’exemple de la Figure 17, la partie claire en haute à droite représente la visualisation d’un rectangle positionné en xv =a, de largeur 20000 mm (suivant Yv) et de hauteur 100000 mm (suivant Zv), la partie sombre en bas à droite représente la visualisation d’un rectangle positionné en zv = 0 mm, de largeur 20000 mm (suivant Yv) et de profondeur 5000 mm (suivant Xv).In the example of FIG. 17, the clear part in the upper right represents the visualization of a rectangle positioned at xv = a, with a width of 20,000 mm (along Yv) and a height of 100,000 mm (along Zv), the dark part at the bottom right represents the visualization of a rectangle positioned in zv = 0 mm, of width 20,000 mm (according to Yv) and depth 5000 mm (according to Xv).

[0125] Dans cette méthode, seule une moitié de l’image est traitée puisque la problématique est symétrique par rapport à l’axe vertical de l’image.In this method, only half of the image is treated since the problem is symmetrical with respect to the vertical axis of the image.

[0126] On considère ensuite une caméra virtuelle ayant les mêmes caractéristiques que la caméra réelle 20, la même position, mais pas d’inclinaison par rapport au plan d’appui du véhicule automobile 1 au sol.We then consider a virtual camera having the same characteristics as the real camera 20, the same position, but no inclination relative to the support plane of the motor vehicle 1 on the ground.

[0127] Pour chaque pixel (i2,j2) de l’image issue de la caméra sans inclinaison par rapport au plan d’appui, on calcule, de la même manière, le point M (X_u ;Yu) dans le plan unitaire sans distorsion PUsd.For each pixel (i2, j2) of the image from the camera without tilting relative to the support plane, the point M (X _u ; Yu) in the unit plane is calculated in the same way. without distortion PUsd.

[0128] Pour cela, on définit une demi-sphère S2 de rayon R1 dont le centre C2 est situé sur l’axe optique de la caméra 20 à 1 mm du plan unitaire sans distorsion PUsd.For this, we define a hemisphere S2 of radius R1 whose center C2 is located on the optical axis of the camera 20 to 1 mm from the unit plane without distortion PUsd.

French Description [0129] La droite passant par M et le centre C2 de la demi-sphère S2 intersecte :French Description [0129] The line passing through M and the center C2 of the hemisphere S2 intersects:

• le plan xv = a (par exemple a = 4000mm) en un point de coordonnées (a, ysd10, zsdIO) ; et • le plan zv = b (par exemple b=0mm) en un point de coordonnées (xsd20, ysd20 ,b).• the plane xv = a (for example a = 4000mm) at a point of coordinates (a, ysd10, zsdIO); and • the plane zv = b (for example b = 0mm) at a point of coordinates (xsd20, ysd20, b).

[0130] On obtient donc quatre tables de correspondance:There are therefore obtained four correspondence tables:

• deux tables lorsque la caméra est inclinée d’un angle Angle_cam non nul par rapport au plan d’appui du véhicule automobile sur le sol, à savoir :• two tables when the camera is tilted at a non-zero Angle_cam angle relative to the support plane of the motor vehicle on the ground, namely:

Table 1 : ii ; jj ; a; yad1, zed1 ; etTable 1: ii; not a word ; at; yad1, zed1; and

Table 2 : ii ; jj ; xsd2, ysd2, b • deux tables lorsque la caméra n’est virtuellement pas inclinée par rapport au plan d’appui du véhicule automobile sur le sol, à savoir :Table 2: ii; not a word ; xsd2, ysd2, b • two tables when the camera is virtually not tilted relative to the plane of support of the motor vehicle on the ground, namely:

Table 3: i2 ; j2 ; a; yad10, zsdIO ; etTable 3: i2; j2; at; yad10, zsdIO; and

- Table 4 : i2 ; j2 ; xsd20, ysd20, b.- Table 4: i2; j2; xsd20, ysd20, b.

[0131] Une fois ces quatre tables établies, un algorithme de tri est réalisé:Once these four tables have been established, a sorting algorithm is carried out:

• pour chaque ligne de la Table 3, le point (ysd10, zsd10) le plus proche de (ysd1, zsdl) est recherché dans la Table 1. Une correspondance entre (ii ; jj) et (i2 ; j2) est ainsi établie ; et • pour chaque ligne de la Table 4, le point (xsd20, ysd20) le plus proche de (xsd2, ysd2) est recherché dans la Table 2. Une correspondance entre (ii ; jj) et (i2 ; j2) est ainsi établie.• for each row of Table 3, the point (ysd10, zsd10) closest to (ysd1, zsdl) is sought in Table 1. A correspondence between (ii; jj) and (i2; j2) is thus established; and • for each row of Table 4, the point (xsd20, ysd20) closest to (xsd2, ysd2) is sought in Table 2. A correspondence between (ii; jj) and (i2; j2) is thus established .

[0132] Grâce à ces correspondances, on génère à partir d’une image native prise par la caméra de recul inclinée dont un pixel à pour coordonnées (ii ; jj) : une première image corrigée de la distorsion pour xv = a dont un pixel a pour coordonnées (ii2 ; jj2) et une deuxième image corrigée de la distorsion pour zv = b dont un pixel a pour coordonnées (ii3 ; jj3). A partir de ces deux images, on génère ensuite la première vue de synthèse telle que :Thanks to these correspondences, one generates from a native image taken by the inclined rear view camera including a pixel with for coordinates (ii; dd): a first image corrected for the distortion for xv = a including a pixel has for coordinates (ii2; dd2) and a second image corrected for the distortion for zv = b of which one pixel has for coordinates (ii3; dd3). From these two images, we then generate the first summary view such as:

• la valeur du pixel (i ; j) de la première vue de synthèse sera égale à celle du pixel (ii2 ; jj2) de la première image corrigée si la composante RVB du pixel (i ;j) de l’image native est strictement positive ; et • la valeur du pixel (i ; j) de la première vue de synthèse sera égale à celle du pixel (ii3 ; jj3) de la deuxième image corrigée si la composante RVB du pixel (i ;j)• the value of the pixel (i; j) of the first synthesis view will be equal to that of the pixel (ii2; dd2) of the first corrected image if the RGB component of the pixel (i; j) of the native image is strictly positive; and • the value of the pixel (i; j) of the first synthesis view will be equal to that of the pixel (ii3; jj3) of the second corrected image if the RGB component of the pixel (i; j)

French Description de l’image native est nulle et si la composante du pixel (ii2 ; jj2) équivalent sur la deuxième image corrigée est strictement positive.French Description of the native image is zero and if the equivalent pixel component (ii2; dd2) on the second corrected image is strictly positive.

[0133] Les Figures 18, 19 et 20 illustrent respectivement la première image corrigée de la distorsion pour xv = a, la deuxième image corrigée de la distorsion pour zv = b et la première vue de synthèse construite à partie de ces deux images corrigées.Figures 18, 19 and 20 respectively illustrate the first image corrected for distortion for xv = a, the second image corrected for distortion for zv = b and the first synthesis view constructed from these two corrected images.

[0134] VUE PANORAMIQUE [0135] Selon un troisième mode de réalisation, compatible avec les précédents modes de réalisation décrits ci-dessus, la création de la vue panoramique la vue panoramique est réalisée de la même manière que la vue cylindrique mais à partir de la première vue de synthèse corrigée, à savoir:PANORAMIC VIEW [0135] According to a third embodiment, compatible with the previous embodiments described above, the creation of the panoramic view the panoramic view is performed in the same way as the cylindrical view but from the first corrected summary view, namely:

• par projection des pixels de la première vue de synthèse sur la surface interne d’une demi-sphère de rayon R1 et dont le centre C et le sommet S) sont situés sur un axe optique principal de la caméra de recul 20, les coordonnées des pixels de la première vue de synthèse projetés sur la demi-sphère étant calculées grâce au théorème de Thalès et à l’équation de la sphère ; puis • par projection des points de la demi-sphère sur la surface interne d’un demicylindre vertical de rayon R2 englobant la demi-sphère et dont l’axe de symétrie passe par le centre (C) de la demi-sphère ; et enfin • par projection retour des points du demi-cylindre sur le plan défini par la première vue de synthèse.• by projection of the pixels of the first synthesis view on the internal surface of a half-sphere of radius R1 and whose center C and the vertex S) are located on a main optical axis of the rear view camera 20, the coordinates pixels from the first synthesis view projected on the half-sphere being calculated using the Thales theorem and the equation of the sphere; then • by projection of the points of the hemisphere on the internal surface of a vertical semicylinder of radius R2 encompassing the hemisphere and whose axis of symmetry passes through the center (C) of the hemisphere; and finally • by back projection of the points of the half-cylinder on the plane defined by the first synthesis view.

[0136] La Figure 21 illustre un exemple de vue panoramique calculée à partir de la première vue de synthèse obtenue précédemment et illustrée Figure 20.FIG. 21 illustrates an example of a panoramic view calculated from the first summary view obtained previously and illustrated in FIG. 20.

[0137] VUE ZOOMEE TOURNANTE [0138] Selon un quatrième mode de réalisation, compatible avec le mode de réalisation général ainsi qu’avec les premier et deuxième modes de réalisation particuliers, la création de la vue zoomée tournante en fonction de l’angle a du volant du véhicule automobile est réalisée :[0137] ROTATING ZOOMED VIEW [0138] According to a fourth embodiment, compatible with the general embodiment as well as with the first and second particular embodiments, the creation of the rotating zoomed view as a function of the angle a of the steering wheel of the motor vehicle is carried out:

• par projection des pixels de la première vue de synthèse sur la surface interne d’une demi-sphère de rayon R1 et dont le centre (C) et le sommet (S) sont situés sur un axe optique principal de la caméra de recul, les coordonnées des pixelsBy projecting the pixels from the first synthesis view onto the internal surface of a half-sphere of radius R1 and whose center (C) and vertex (S) are located on a main optical axis of the rear view camera, pixel coordinates

French Description de la première vue de synthèse projetés sur la demi-sphère étant calculées grâce au théorème de Thalès et à l’équation de la sphère ; puis • par projection des points de la demi-sphère sur la surface interne d’un demicylindre vertical de rayon R2 englobant la demi-sphère et dont l’axe de symétrie passe par le centre (C) de la demi-sphère ;French Description of the first synthesis view projected on the half-sphere being calculated thanks to the theorem of Thales and the equation of the sphere; then • by projection of the points of the hemisphere on the internal surface of a vertical semicylinder of radius R2 encompassing the hemisphere and whose axis of symmetry passes through the center (C) of the hemisphere;

• par projection retour des points du demi-cylindre sur le plan défini par la première vue de synthèse ; et enfin • par modification de la répartition des pixels ainsi projetés et recadrage de l’image ainsi obtenue par application d’un coefficient dépendant de l’angle a du volant du véhicule.• by back projection of the points of the half-cylinder on the plane defined by the first synthesis view; and finally • by modifying the distribution of the pixels thus projected and cropping the image thus obtained by applying a coefficient depending on the angle a of the vehicle steering wheel.

[0139] Pour calculer cette vue, on modifie la répartition des pixels de la vue cylindrique (cf. Math. 11 et Math. 22) comme suit :To calculate this view, the pixel distribution of the cylindrical view is modified (cf. Math. 11 and Math. 22) as follows:

[0140] [Math. 23][Math. 23]

/îtÂS.Î, * Zoom '1 * ZürimZ [0141] Où Zooml et Zoom2 sont des facteurs de zoom définis au moment de la mise au point pendant le développement./îtÂS.Î, * Zoom '1 * ZürimZ [0141] Where Zooml and Zoom2 are zoom factors defined at the time of development during development.

[0142] L’image obtenue par ce calcul est ensuite recadrée par application d’un coefficient dépendant de l’angle a du volant du véhicule pour former la vue tournant zoomée.The image obtained by this calculation is then cropped by applying a coefficient depending on the angle a of the vehicle steering wheel to form the zoomed rotating view.

[0143] VUE ZOOMEE TOURNANTE AVEC L’AIDE A LA CONDUITE [0144] Avantageusement, la méthode telle que décrite dans le quatrième mode de réalisation, comprend également une étape d’aide à la manœuvre en marche arrière du véhicule automobile équipé de la caméra de recul grand angle, l’étape d’aide à la manœuvre comprenant successivement :ADVANCED ZOOMED VIEW WITH DRIVING AID [0144] Advantageously, the method as described in the fourth embodiment, also includes a step for assisting in the maneuvering in reverse of the motor vehicle equipped with the camera wide angle recoil, the maneuvering aid step comprising successively:

• l'acquisition d'un angle β de braquage avant relatif à l'angle ex d'orientation du volant du véhicule automobile et de la vitesse du véhicule automobile ;• the acquisition of a front turning angle β relative to the angle of orientation of the steering wheel of the motor vehicle and of the speed of the motor vehicle;

• une opération de calcul d'un gabarit dynamique représentatif de la trajectoire prévisible du véhicule automobile, en fonction dudit angle β de braquage avant• an operation for calculating a dynamic gauge representative of the foreseeable trajectory of the motor vehicle, as a function of said front turning angle β

French Description et en fonction également de la vitesse (V) du véhicule automobile (1) ;French Description and also depending on the speed (V) of the motor vehicle (1);

• une opération de détermination d’un gabarit initial dans un plan d’appui du véhicule automobile sur le sol ;• an operation to determine an initial gauge in a plane for supporting the motor vehicle on the ground;

• une opération de changement de repère dudit gabarit initial afin d’en déduire la forme d’un gabarit intermédiaire dans un plan sensiblement confondu avec le plan focal de la caméra de recul, le plan focal de la caméra de recul étant incliné d'un angle de roulis, d'un angle de tangage et d'un angle de lacet par rapport audit plan d'appui, ladite opération de changement de repère étant réalisée en fonction de chaque angle de roulis, de tangage et de lacet ;An operation of changing the reference mark of said initial template in order to deduce therefrom the shape of an intermediate template in a plane substantially coincident with the focal plane of the rear view camera, the focal plane of the rear view camera being inclined by a roll angle, a pitch angle and a yaw angle relative to said support plane, said reference change operation being performed as a function of each roll, pitch and yaw angle;

• la superposition du gabarit intermédiaire sur la première vue de synthèse ;• the superimposition of the intermediate template on the first summary view;

• ladite étape d’aide à la manoeuvre étant réalisée avant la création de la vue zoomée tournante.• said step of maneuvering aid being carried out before the creation of the rotating zoomed view.

[0145] L’étape d’aide à la manœuvre et surtout le tracé des gabarits sont décrits plus en détails dans le document WO 2017/144826 A1.The maneuvering aid step and especially the layout of the templates are described in more detail in document WO 2017/144826 A1.

[0146] Pour cela, les gabarits statiques et dynamiques sont :For this, the static and dynamic templates are:

• tracées au sol ;• tracks on the ground;

• projetées dans le plan focal pour calculer les guidelines dans une image sans distorsion ; puis • Γ image Imu temporaire telle que représentée dans la Figure 22 est constituée.• projected in the focal plane to calculate the guidelines in an image without distortion; then • Γ temporary Imu image as shown in Figure 22 is created.

[0147] Par ailleurs, on repart des coordonnées de chaque point M (Xu ;Yu) du plan unitaire sans distorsion PUsd, qui permettent ensuite de calculer les valeurs des pixels correspondants fonctions de X_u, Yu, Res_h, Res_v, ex et cy.Furthermore, we start from the coordinates of each point M (Xu; Yu) of the unit plane without distortion PUsd, which then make it possible to calculate the values of the corresponding pixels functions of X _u , Yu, Res_h, Res_v, ex and cy .

[0148] La Figure 22 illustre un exemple de gabarit à insérer sur une première vue de synthèse corrigée de la distorsion et la Figure 23 illustre un exemple de vue tournante que laquelle a été superposé un exemple de gabarit d’aide à la conduite. La vue tournante de la Figure 23 a été créée à partir de l’image native de la Figure 7.FIG. 22 illustrates an example of a template to be inserted on a first corrected synthesis view of the distortion and FIG. 23 illustrates an example of a rotating view which has been superimposed on an example of a driving aid template. The rotating view in Figure 23 was created from the native image in Figure 7.

[0149] VUE DU DESSUS [0150] Selon un cinquième mode de réalisation, compatible avec le mode de réalisation général ainsi qu’avec les premier et deuxième modes de réalisationVIEW FROM THE TOP [0150] According to a fifth embodiment, compatible with the general embodiment as well as with the first and second embodiments

French Description particuliers, la création de la vue de dessus du véhicule automobile est réalisée : par projection de la première vue de synthèse sur le plan d’appui ; puis par recadrage des pixels ainsi projetés par application d’un coefficient prédéterminé.French Description individuals, the creation of the top view of the motor vehicle is carried out: by projection of the first summary view on the support plane; then by cropping the pixels thus projected by applying a predetermined coefficient.

[0151] Pour calculer cette vue du dessus, on repart des coordonnées de chaque point M (Xu ;Y_u) du plan unitaire sans distorsion PUsd.To calculate this top view, we start from the coordinates of each point M (Xu; Y _u ) of the unit plane without distortion PUsd.

[0152] Angle_cam est l’angle d’inclinaison de l’axe de la caméra avec le plan d’appui du véhicule automobile sur le sol.Angle_cam is the angle of inclination of the axis of the camera with the bearing plane of the motor vehicle on the ground.

[0153] Sur la Figure 24 est représenté le plan Pbv, parallèle au plan d’appui du véhicule automobile et distant de f du centre A de la caméra de recul 20.FIG. 24 shows the plane Pbv, parallel to the support plane of the motor vehicle and distant from f from the center A of the rear view camera 20.

[0154] La droite passant par le centre de la caméra A et le point M intersecte le plan Pbv en P_Ufi.The line passing through the center of camera A and point M intersects the plane Pbv in P _U fi.

[0155] Les coordonnées de M dans le repère de la caméra (Xcam : Ycam ; Zcam) sont (1-cam_sph ; X_u ; Yu).The coordinates of M in the reference frame of the camera (Xcam: Ycam; Zcam) are (1-cam_sph; X _u ; Yu).

[0156] On définit le repère Rcam_hor (X’cam : Y’cam Z’cam ) de centre A, d’axe X’cam horizontal, d’axe Z’cam vertical. Rcam_hor est l’image du repère caméra (Xcam : Ycam ; Zcam) par la rotation d’axe Ycam latéral et d’angle -Angle_cam.We define the reference Rcam_hor (X’cam: Y’cam Z’cam) of center A, of horizontal X’cam axis, of vertical Z’cam axis. Rcam_hor is the image of the camera marker (Xcam: Ycam; Zcam) by the rotation of the lateral Ycam axis and of angle -Angle_cam.

[0157] Les coordonnées de M dans le repère Rcam_hor sont donc :The coordinates of M in the frame Rcam_hor are therefore:

[0158] [Math. 24] o i o p | 1 [0159] M et Pun sont alignés donc en appliquant le théorème de Thalès :[0158] [Math. 24] o i o p | 1 [0159] M and Pun are aligned therefore by applying the theorem of Thales:

[0160] [Math. 25] ¥ - V x 7 χ.χ ”” E/ x[0161] [Math. 26] [0162] Les coordonnées de Pu» dans le repère Rcam_hor sont :[Math. 25] ¥ - V x 7 χ.χ ”” E / x [0161] [Math. 26] [0162] The coordinates of Pu ”in the reference Rcam_hor are:

FrenchFrench

Description [0163] [Mat. 27] f « cosC4wk cam) f * cas(4aaia cam)Description [0163] [Mat. 27] f “cosC4wk cam) f * case (4aaia cam)

V _x y y i___________________Ù_______________Z____________....V _x yy i ___________________ Ù _______________ Z ____________....

*&/! *Si2 ' ·&3.* & /! * Si2 '· & 3.

2_κ^ί - f * œs(4n$ie„œm) [0164] Dans le plan Pbv, on définit le repère suivant Rbv (Xbv : Ybv ): l’origine du repère Rbv est l’intersection de l’axe de la caméra (i.e. l’axe optique 50) avec le plan Pbv, l’axe Xbv est parallèle à l’axe X’cam du repère Rcam_hor, l’axe Ybv est parallèle à l’axe Y’cam du repère Rcam_hor.2 _κ ^ ί - f * œs (4n $ ie „œm) [0164] In the Pbv plane, we define the following frame of reference Rbv (Xbv: Ybv): the origin of the frame of reference Rbv is the intersection of the axis of the axis the camera (ie the optical axis 50) with the plane Pbv, the axis Xbv is parallel to the axis X'cam of the coordinate system Rcam_hor, the axis Ybv is parallel to the axis Y'cam of the coordinate system Rcam_hor.

[0165] Dans ce repère Rbv, les coordonnées de P_un sont :In this Rbv coordinate system, the coordinates of P _u n are:

[0166] [Math. 28] ™ Krom) -f | Xwjesm ~ i [0167] Soit, en pixel :[Math. 28] ™ Krom) -f | Xwjesm ~ i [0167] Let, in pixels:

[0168] [Mat. 29] sy / * _aFw œ® *' Γ[0168] [Mat. 29] sy / * _a Fw œ® * 'Γ

-· y XjT- · y XjT

[0169] Où k est un coefficient choisi au moment de la mise au point de la fonctionnalité. C’est un facteur d’homothétie adapté à la taille de la zone que l’on souhaite visualiser (par exemple : k = 10).[0169] Where k is a coefficient chosen at the time of the development of the functionality. It is a factor of homothety adapted to the size of the zone which one wishes to visualize (for example: k = 10).

[0170] VUE DU DESSUS AVEC L’AIDE A LA CONDUITE [0171] De la même manière que précédemment, la méthode telle que décrite dans le cinquième mode de réalisation, peut avantageusement comprendre une étape supplémentaire d’aide à la manœuvre en marche arrière du véhicule automobile équipé de la caméra de recul grand angle, l’étape d’aide à la manœuvre comprenant successivement :[0170] VIEW FROM ABOVE WITH DRIVING AID [0171] In the same manner as previously, the method as described in the fifth embodiment, can advantageously include an additional step for assisting in maneuvering in reverse. of the motor vehicle equipped with the wide-angle reversing camera, the maneuvering aid step comprising successively:

• l'acquisition d'un angle β de braquage avant relatif à l'angle a d'orientation du volant du véhicule automobile et de la vitesse du véhicule automobile ;• the acquisition of a front turning angle β relative to the angle a of the steering wheel of the motor vehicle and of the speed of the motor vehicle;

French Description • une opération de calcul d'un gabarit dynamique représentatif de la trajectoire prévisible du véhicule automobile, en fonction dudit angle β de braquage avant et en fonction également de la vitesse (V) du véhicule automobile (1 ) ;French Description • an operation for calculating a dynamic gauge representative of the foreseeable trajectory of the motor vehicle, as a function of said front turning angle β and also as a function of the speed (V) of the motor vehicle (1);

• ladite étape d’aide à la manœuvre étant réalisée avant la création de la vue de dessus [0172] La Figure 25 illustre une vue de dessus avec l’aide à la conduite. Cette vue a été créée à partir de l’image native de la Figure 7.• said step of maneuvering aid being carried out before the creation of the top view [0172] FIG. 25 illustrates a top view with driving aid. This view was created from the native image in Figure 7.

Claims

Revendications [Revendication 1] iMéthode de calcul d’une vue à partir d’une image d’une scène capturée par une caméra de recul grand angle embarquée sur un véhicule automobile, la caméra étant inclinée d’un angle Angle_cam non nul par rapport à un plan d’appui du véhicule automobile sur le sol, la méthode de calcul comprenant :Claims [Claim 1] iMethod of calculating a view from an image of a scene captured by a wide-angle reversing camera on board a motor vehicle, the camera being tilted by an angle Angle_cam not zero relative to a support plane of the motor vehicle on the ground, the calculation method comprising:

• une étape (E100) de génération d’une première vue de synthèse (Isynth) correspondant à l’image de la scène (hnit) capturée par la caméra de recul corrigée des aberrations optiques hors champ générées par l’inclinaison de la caméra de recul ; et • une étape (E200) de création de la vue à partir de la première vue de synthèse et en fonction du type de vue souhaité parmi : une vue panoramique (Vpanoramic) de la scène capturée, une vue zoomée tournante (V_rat) en fonction de l’angle a du volant du véhicule automobile, une vue de dessus (Vbirdview) du véhicule automobile.• a step (E100) of generating a first synthesis view (Isynth) corresponding to the image of the scene (hnit) captured by the reversing camera corrected for optical out-of-scope aberrations generated by the tilt of the camera recoil; and • a step (E200) of creating the view from the first synthesis view and according to the type of view desired among: a panoramic view (Vpanoramic) of the captured scene, a rotating zoomed view (V _ra t) depending on the angle a of the steering wheel of the motor vehicle, a top view (Vbirdview) of the motor vehicle.

[Revendication 2] Méthode de calcul telle que définie dans la revendication[Claim 2] Calculation method as defined in the claim

1 dans laquelle la génération de la première vue de synthèse (E100) est réalisée à partir d’une cartographie de correction fournie par le fabricant de la caméra de recul et, pour chaque pixel de l’image de la scène capturée, du calcul d’une valeur de correction spécifique à la position du pixel de l’image de la scène capturée.1 in which the generation of the first synthesis view (E100) is carried out from a correction map supplied by the manufacturer of the rear view camera and, for each pixel of the image of the scene captured, from the calculation of '' a correction value specific to the pixel position of the image of the scene captured.

[Revendication 3] Méthode de calcul telle que définie dans la revendication[Claim 3] Calculation method as defined in the claim

1 dans laquelle la génération de la première vue de synthèse est réalisée à partir d’une cartographie de correction fournie par le fabricant de la caméra de recul et en redressant par traitement numérique l’image de la scène capturée par la caméra de recul inclinée.1 in which the generation of the first synthesis view is carried out from a correction map supplied by the manufacturer of the rear view camera and by digitally processing the image of the scene captured by the inclined rear view camera.

[Revendication 4] Méthode de calcul telle que définie selon l’une des revendications 1 à 3 dans laquelle la vue panoramique est réalisée : • par projection des pixels de la première vue de synthèse sur la surface interne d’une demi-sphère de rayon R1 et dont le centre (C) et le sommet (S) sont situés sur un axe optique principal de la caméra de recul, les [Claim 4] Calculation method as defined according to one of claims 1 to 3 in which the panoramic view is produced: • by projection of the pixels of the first synthesis view on the internal surface of a half-sphere of radius R1 and whose center (C) and vertex (S) are located on a main optical axis of the rear view camera, the

French Claims coordonnées des pixels de la première vue de synthèse projetés sur la demisphère étant calculées grâce au théorème de Thalès et à l’équation de la sphère ; puis • par projection des points de la demi-sphère sur la surface interne d’un demi-cylindre vertical de rayon R2 englobant la demi-sphère et dont l’axe de symétrie passe par le centre (C) de la demi-sphère ; et enfin • par projection retour des points du demi-cylindre sur le plan défini par la première vue de synthèse.French Claims coordinates of the pixels of the first synthesis view projected on the hemisphere being calculated thanks to the theorem of Thalès and the equation of the sphere; then • by projection of the points of the half-sphere on the internal surface of a vertical half-cylinder of radius R2 encompassing the half-sphere and whose axis of symmetry passes through the center (C) of the half-sphere; and finally • by back projection of the points of the half-cylinder on the plane defined by the first synthesis view.

[Revendication 5] Méthode de calcul telle que définie selon l’une des revendications 1 à 3 dans laquelle la vue zoomée tournante en fonction de l’angle a du volant du véhicule automobile est réalisée :[Claim 5] Calculation method as defined according to one of claims 1 to 3 in which the rotating zoomed view as a function of the angle a of the steering wheel of the motor vehicle is produced:

• par projection des pixels de la première vue de synthèse sur la surface interne d’une demi-sphère de rayon R1 et dont le centre (C) et le sommet (S) sont situés sur un axe optique principal de la caméra de recul, les coordonnées des pixels de la première vue de synthèse projetés sur la demisphère étant calculées grâce au théorème de Thalès et à l’équation de la sphère ; puis • par projection des points de la demi-sphère sur la surface interne d’un demi-cylindre vertical de rayon R2 englobant la demi-sphère et dont l’axe de symétrie passe par le centre (C) de la demi-sphère ;By projecting the pixels from the first synthesis view onto the internal surface of a half-sphere of radius R1 and whose center (C) and vertex (S) are located on a main optical axis of the rear view camera, the coordinates of the pixels of the first synthesis view projected on the hemisphere being calculated thanks to the theorem of Thales and the equation of the sphere; then • by projection of the points of the half-sphere on the internal surface of a vertical half-cylinder of radius R2 encompassing the half-sphere and whose axis of symmetry passes through the center (C) of the half-sphere;

• par projection retour des points du demi-cylindre sur le plan défini par la première vue de synthèse ; et enfin • par modification de la répartition des pixels ainsi projetés et recadrage de Γ image ainsi obtenue par application d’ un coefficient dépendant de Γ angle oc du volant du véhicule.• by back projection of the points of the half-cylinder on the plane defined by the first synthesis view; and finally • by modifying the distribution of the pixels thus projected and cropping the Γ image thus obtained by applying a coefficient dependent on oc angle oc of the steering wheel of the vehicle.

[Revendication 6] Méthode de calcul telle que définie selon la revendication 5 comprenant également une étape d’aide à la manœuvre en marche arrière du véhicule automobile équipé de la caméra de recul grand angle, l’étape d’aide à la manoeuvre comprenant successivement :[Claim 6] Calculation method as defined according to claim 5 also comprising a step for assisting in the maneuvering in reverse of the motor vehicle equipped with the wide-angle reversing camera, the step for assisting in the maneuver comprising successively :

• une opération de calcul d'un gabarit dynamique représentatif de la • an operation to calculate a dynamic template representative of the

French Claims trajectoire prévisible du véhicule automobile, en fonction dudit angle β de braquage avant et en fonction également de la vitesse (V) du véhicule automobile (1) • une opération de détermination d’un gabarit initial dans un plan d’appui du véhicule automobile sur le sol ;French Claims foreseeable trajectory of the motor vehicle, as a function of said front turning angle β and also as a function of the speed (V) of the motor vehicle (1) • an operation of determining an initial gauge in a support plane of the vehicle automobile on the ground;

• la superposition du gabarit intermédiaire sur la première vue de synthèse ; ladite étape d’aide à la manœuvre étant réalisée avant la création de la vue zoomée tournante.• the superimposition of the intermediate template on the first summary view; the said maneuvering aid step being carried out before the creation of the rotating zoomed view.

[Revendication 7] Méthode de calcul telle que définie selon l’une des revendications 1 à 3 dans laquelle la vue de dessus du véhicule automobile est réalisée :[Claim 7] Calculation method as defined according to one of claims 1 to 3 in which the top view of the motor vehicle is produced:

• par projection de la première vue de synthèse sur le plan d’appui ; puis • par recadrage des pixels ainsi projetés par application d’un coefficient prédéterminé.• by projection of the first summary view on the support plan; then • by cropping the pixels thus projected by applying a predetermined coefficient.

[Revendication 8] Méthode de calcul telle que définie selon la revendication 7 comprenant également une étape d’aide à la manœuvre en marche arrière du véhicule automobile équipé de la caméra de recul grand angle, l’étape d’aide à la manoeuvre comprenant successivement :[Claim 8] Calculation method as defined according to claim 7 also comprising a step for assisting in the maneuvering in reverse of the motor vehicle equipped with the wide-angle reversing camera, the step for assisting in the maneuver comprising successively :

• une opération de calcul d'un gabarit dynamique représentatif de la trajectoire prévisible du véhicule automobile, en fonction dudit angle β de braquage avant et en fonction également de la vitesse (V) du véhicule automobile (1) ;• an operation for calculating a dynamic gauge representative of the foreseeable trajectory of the motor vehicle, as a function of said front turning angle β and also as a function of the speed (V) of the motor vehicle (1);

• une opération de détermination d’un gabarit initial dans un plan d’appui du• an operation to determine an initial template in a support plan for the

French Claims véhicule automobile sur le sol ;French Claims motor vehicle on the ground;

• une opération de changement de repère dudit gabarit initial afin d’en déduire la forme d’un gabarit intermédiaire dans un plan sensiblement confondu avec le plan focal de la caméra de recul, le plan focal de la caméra de recul étant incliné d’un angle de roulis, d'un angle de tangage et d'un angle de lacet par rapport audit plan d'appui, ladite opération de changement de repère étant réalisée en fonction de chaque angle de roulis, de tangage et de lacet ;An operation of changing the reference mark of said initial template in order to deduce therefrom the shape of an intermediate template in a plane substantially coincident with the focal plane of the rear view camera, the focal plane of the rear view camera being inclined by a roll angle, a pitch angle and a yaw angle relative to said support plane, said reference change operation being performed as a function of each roll, pitch and yaw angle;

• la superposition du gabarit intermédiaire sur la première vue de synthèse ; ladite étape d’aide à la manœuvre étant réalisée avant la création de la vue de dessus.• the superimposition of the intermediate template on the first summary view; said step of maneuvering aid being carried out before the creation of the top view.

[Revendication 9] Dispositif de calcul d’une vue pour l’aide à la manœuvre en marche arrière d’un véhicule automobile, comprenant :[Claim 9] Device for calculating a view for assistance in maneuvering in reverse of a motor vehicle, comprising:

• une caméra de recul grand angle embarquée sur le véhicule automobile, la caméra étant inclinée d’un angle Angle_cam non nul par rapport à un plan d’appui du véhicule automobile au sol et adapter pour capturer une image d’une scène ;• a wide-angle reversing camera on board the motor vehicle, the camera being inclined at a non-zero angle_cam angle relative to a support plane of the motor vehicle on the ground and adapting to capture an image of a scene;

• un calculateur adapté pour calculer une vue à partir de l’image de la scène capturée selon une méthode de calcul telle que décrite selon l’une des revendications 1 à 8 ; et • un écran d’affichage adapté pour afficher la vue calculée par le calculateur.• a computer adapted to calculate a view from the image of the scene captured according to a calculation method as described according to one of claims 1 to 8; and • a display screen adapted to display the view calculated by the computer.

[Revendication 10] Véhicule automobile comprenant un dispositif de calcul d’une vue selon la revendication 9.[Claim 10] Motor vehicle comprising a device for calculating a view according to claim 9.