FR2998956A1 - Procede de calibration d'une camera mise en place dans un vehicule automobile - Google Patents

Abstract

La présente invention a pour objet un procédé de calibration d'une caméra mise en place dans un véhicule automobile. Dans une première phase dite d'apprentissage, on réalise une cible spécifique (12') à un véhicule type et à une caméra type, cette cible présentant un motif déformé (L1, L2) par rapport à un motif de référence et dans une seconde phase dite de calibration on corrige les paramètres extrinsèques de chaque caméra mise en place dans un véhicule, en plaçant ce véhicule en regard de la cible spécifique (12') de telle sorte que la caméra montée dans le véhicule présente une image non déformée du motif déformé de la cible.

Description

La présente invention concerne un procédé de calibration d'une caméra placée dans un véhicule automobile. Plus particulièrement il s'agit de déterminer et de compenser les défauts de positionnements (paramètres extrinsèques) de la caméra dans le véhicule et les défauts de fabrication (liés aux capteurs, lentilles, focales... - paramètres intrinsèques) de la caméra. Il est déjà connu de munir un véhicule automobile d'une caméra, généralement placée à l'intérieur du véhicule au niveau du rétroviseur intérieur, pour : - déterminer la distance séparant le véhicule de celui qui le précède, - surveiller que le véhicule reste bien dans sa voie de circulation (suivi de ligne), - détecter un obstacle sur la voie, - etc... Bien entendu, pour que de telles caméras puissent donner des informations fiables et pertinentes au conducteur, il est nécessaire qu'elles soient positionnées de manière optimale et connue dans le repère du véhicule. Il convient donc d'être en mesure de calibrer ces caméras, c'est-à-dire de déterminer dans quelles positions elles se trouvent réellement dans le repère du véhicule et de modifier cette position de manière à les positionner dans une position optimale. En effet quelque soit le soin avec lequel la caméra est fixée dans le véhicule il est impossible de garantir que le positionnement d'une caméra est optimal. De ce fait il est connu de fixer la caméra sur un support comportant des moyens pour positionner la caméra selon les trois axes du repère lié au véhicule. Ainsi il est possible à partir d'une position initiale déterminée de la caméra par rapport au véhicule de modifier cette position initiale pour la faire coïncider avec la position optimale recherchée. Il s'agit là de la calibration des paramètres extrinsèques de la caméra. De même les caméras présentent un certains nombre de paramètres intrinsèques, comme la distance focale, la distorsion, la position du centre optique... qui les rendent toutes légèrement différentes les unes des autres (même pour un même modèle de caméra).

Là encore, pour rendre toutes ces caméras le plus homogène possible il est nécessaire de tenir compte de leurs paramètres intrinsèques propres et de les calibrer pour pouvoir traiter d'une manière homogène les images de n'importe quelle caméra. Il s'agit là de la calibration des paramètres intrinsèques de la caméra. Il est déjà connu pour calibrer les paramètres extrinsèque d'une caméra 35 d'utiliser une cible placée devant le véhicule (dans une position prédéterminée) et d'analyser l'image de cette cible telle que vue par la caméra placée dans le véhicule. En fonction de l'image de cette cible il est en effet possible de déterminer les corrections (calibrations) à apporter aux paramètres extrinsèques de la caméra, pour placer cette caméra dans une position optimale par rapport au véhicule. Les corrections (calibrations) apportées aux paramètres de la caméra sont 5 déterminées à l'aide d'une cible extérieur au véhicule, au moment de la fabrication du véhicule (sur la chaine de montage). Cette calibration peut être réalisée également par des concessionnaires équipés de cibles appropriées. Les cibles utilisées sont couteuses à réaliser. Pour diminuer leurs couts de fabrication et le temps nécessaire pour effectuer la calibration, les constructeurs de 10 véhicules automobiles diminuent le nombre de points de référence représentés sur la cible. Ainsi la calibration des caméras doit pouvoir être réalisée avec un nombre de points de référence faible / limité. Lors de la calibration de la caméra, le véhicule sur lequel est montée la caméra est placé à une distance déterminée de la cible, en alignement avec celle-ci. 15 Malheureusement le positionnement du véhicule par rapport à la cible n'est pas toujours parfait. Notamment il arrive parfois que la cible soit placée beaucoup plus bas ou plus haut que la caméra (cas des camions / voitures) ce qui engendre un défaut dit de « tangage », ou trop à droite ou à gauche, ce qui engendre un défaut dit de « roulis », ou 20 encore il peut exister une rotation entre la position nominale de la cible et sa position réelle, ce qui engendre un défaut dit de « lacet ». Dans tous ces cas, l'image de la cible telle que perçue par la caméra se trouve déformée par le mauvais positionnement du véhicule par rapport de la cible. De ce fait si l'on réalise la calibration de la caméra en se basant sur cette image déformée, le positionnement optimal de la caméra dans le repère 25 du véhicule ne peut être obtenu. Lorsque la caméra d'un véhicule est mal calibrée l'analyse de ses images peut donner des interprétations totalement erronées rendant inopérante la détection d'obstacle sur la voie ou le suivi de lignes, par exemple. La présente invention a pour but de pallier l'ensemble de ces inconvénients, tout en gardant une cible présentant un nombre de points limité. 30 A cet effet la présente invention concerne, un procédé de calibration d'une caméra mise en place dans un véhicule automobile, la dite caméra présentant une pluralité de paramètres intrinsèques et extrinsèques, le dit procédé étant caractérisé en ce qu'il consiste, dans une première phase dite d'apprentissage, à: 35 - mémoriser les paramètres intrinsèques d'une caméra type pour un véhicule type, et déterminer des défauts de positionnement entre le véhicule type et une cible type, - calculer une déformation d'une image d'un motif de référence réalisé par une pluralité de points de repère répartis de manière homogène sur la surface d'une cible de référence en fonction des paramètres intrinsèque de la caméra et de la position de la cible de référence par rapport à un véhicule type, - réaliser une cible spécifique au véhicule type et à la caméra type, la dite cible spécifique comportant des points de référence répartis de manière homogène sur la surface de la cible, les dits points formant un motif déformé par rapport au motif de référence de telle sorte que l'image de ce motif déformé par la caméra type associée au véhicule type soit le motif de référence non déformé, et Dans une seconde phase dite de calibration à: - corriger les paramètres extrinsèques de chaque caméra mise en place dans un véhicule, en plaçant ce véhicule en regard de la cible spécifique de telle sorte que la caméra montée dans le véhicule présente une image non déformée du motif déformé de la cible. Ainsi la cible servant à calibrer chaque caméra placée dans un véhicule présente une image déformée et la calibration de chaque caméra consiste à modifier les paramètres extrinsèques de la caméra que l'on cherche à calibrer pour que l'image de la 20 cible vue par cette caméra ne soit pas déformée. Il s'agit en fait d'utiliser une technique dite de « trompe l'oeil » dans laquelle on tient compte des paramètres intrinsèques d'une caméra (son positionnement par rapport à la cible) pour qu'elle soit leurrée par le « trompe l'oeil » et donne de la cible une image non déformée. 25 On notera que selon la présente invention, on tient ainsi compte, par exemple du fait que la caméra va être montée dans un camion, donc à une certaine hauteur du sol et qu'elle va capter une image de la cible déformée par son angle de vision (la caméra sera placée nettement au dessus de la cible et devra « regarder » cette cible avec un fort angle vers le bas) pour réaliser une cible qui vue sous cet angle de vision présentera une 30 image non déformée. Cette cible pourra avantageusement être utilisée pour la calibration des paramètres extrinsèques de la caméra. Avantageusement, pour le calcul de la déformation de l'image du motif de référence la cible de référence est positionnée de manière non perpendiculaire à un axe longitudinal du véhicule. Ceci permet d'accentuer les différences dues à l'angle de vision 35 de la caméra et donc de réaliser une cible beaucoup plus déformée. L'intérêt d'une telle cible déformée réside dans le fait que les points qui constituent le motif déformé sont éloignés les uns des autres. De ce fait ils sont répartis de manière homogène sur la totalité de la surface de la cible et de manière homogène sur l'image de cette cible, telle que « vue » par la caméra. Une telle répartition sur toute la surface de la cible permet de calibrer la caméra avec une précision accrue.

La présente invention concerne également une cible pour véhicule automobile du type comportant une pluralité de points de référence répartis de manière homogène sur toute la surface de la cible, de telles sorte que les points de référence forment un motif déformé par rapport à un motif de référence prédéterminé. Avantageusement encore les points de référence sont répartis sur la plus 10 grande surface possible de la cible, tout en restant dans l'angle de vue de la caméra. D'autres objets, caractéristiques et avantages de la présente invention ressortiront d'ailleurs de la description qui va suivre, à titre d'exemple non limitatif, en regard des dessins annexés dans lesquels : - La figure 1 est une vue schématique représentant la partie avant d'un 15 véhicule placée en regard d'une cible de calibration, - La figure 2 est une vue schématique représentant une cible de calibration de type connue, - La figure 3 est une vue schématique représentant l'image d'une cible de calibration connue, lorsque cette cible est déplacée vers le bas par rapport 20 à un axe de vision d'une caméra, - La figure 4 est une vue schématique représentant une cible de calibration selon l'invention adaptée pour corriger un défaut de tangage entre la caméra et la cible, - La figure 5 est une vue schématique représentant une image de la cible de 25 la figure 4 telle qu'observée par la caméra à calibrer, - La figure 6 est une vue schématique représentant un cible de calibration selon l'invention adaptée pour corriger un défaut de roulis entre la caméra et la cible, et - La figure 7 est une vue schématique représentant une cible de calibration 30 selon l'invention adaptée pour corriger un défaut de lacet entre la caméra et la cible. Selon la forme de réalisation représentée aux figures 1 à 7, un véhicule 10 est muni d'une caméra 11 à calibrer. Cette opération de calibration est effectuée sur la chaine de montage du véhicule au moment de sa fabrication. Cependant cette opération de 35 calibration pourrait également être réalisée lors du remplacement ou de la pose d'une caméra chez un concessionnaire, pendant la durée de vie du véhicule.

Les véhicules automobiles actuels peuvent en effet être munis de caméras afin de mettre en oeuvre une procédure de suivi de ligne et / ou de détermination d'un obstacle sur la voie de circulation et / ou de détermination de la distance séparant le véhicule de celui qui le précède... Toutes ces procédures, en général axées sur une amélioration de la sécurité de circulation, nécessitent la détection d'objets (véhicule, lignes, obstacles...) sur la voie de circulation, cette détection est réalisée à l'aide de caméras. Bien entendu, pour que les caméras mises en places sur le véhicule puissent déterminer avec précision la position des différents objets se trouvant sur une voie de circulation, il est nécessaire qu'elles soient elles mêmes positionnées avec précision sur le véhicule. C'est pourquoi il est nécessaire de calibrer ces caméras après leur mise en place. La calibration des caméras sur un véhicule donné consiste à les placer dans une position optimale déterminée par rapport au véhicule. A cet effet on place le véhicule 10 muni de sa caméra 11, devant une cible dite de calibration 12. Le centre C de cette cible de calibration est maintenu à une hauteur donnée (connue) H par rapport au sol grâce à un support 13 approprié et connu en soi. Comme on le voit à la figure 1, l'axe de visée A de la caméra 11 est décalé d'une hauteur h du centre C de la cible 12. En fonction du type de véhicule (véhicule bas ou haut) l'axe de visée A de la caméra se retrouve plus ou moins éloigné du centre de la cible. La cible de calibration 12, est plus particulièrement représentée à la figure 2. Cette cible est constituée par un panneau métallique 14 sur lequel des ponts de références 16 sont positionnés. Ces points de références constituent un motif prédéterminé, uniformément réparti sur toute la surface de la cible, tout en restant dans l'angle de vue de la caméra. Dans l'exemple représenté à la figure 2 ces points de référence 16 sont situés à l'intersection d'éléments de positionnement carrés 15 associés deux par deux et présentant un sommet commun. C'est ce sommet commun qui constitue en fait le point de référence 16 détecté par la caméra 11. La caméra 11 est associée (figure 1) à un dispositif de traitement 17 du signal (image) perçu par la caméra.

Ce dispositif de traitement est adapté pour mesurer avec précision la position de l'image des points de référence 16. Comme on le voit mieux à la figure 2 dans l'exemple représenté, les points de références 16 sont alignés selon un axe L1 sur la partie gauche de la cible et selon un axe L2 sur la partie droite de la cible. Dans les cibles classiques utilisées à ce jour les axes L1 et L2 sont sensiblement parallèles et éloignés l'un de l'autre de sorte que les points de références 16 soient répartis de manière uniforme et homogène sur la plus grande partie de la surface de la cible 12, tout en restant dans l'angle de vue de la caméra 11.

Lorsque le véhicule 10 est placé devant la cible de calibration 12 pour calibrer la caméra 11, il est nécessaire que le positionnement du véhicule par rapport à la cible soit parfait. Or cette précision de positionnement ne peut être obtenue de manière fiable.

Ainsi notamment si le véhicule placé devant la cible 11 est un camion, la hauteur h entre l'axe de visée de la caméra et le centre C de la cible est importante. En fait, dans ce cas, la caméra se trouve positionnée nettement au dessus de la cible. De ce fait même si tous les paramètres intrinsèques de la caméra sont parfaits la caméra donnera une image de la cible déformée par son angle de vision. Cette image de la cible est représentée à la figure 3. Comme on le remarque le fait que la caméra soit disposée au dessus de la cible donne un effet de perspective à la cible. Ainsi les points de références 16 placés en bas de l'image sont plus rapprochés que ceux placés en haut de l'image. Les deux axes L1 et L2 ne sont plus parallèles. Si le procédé de calibration de la caméra utilise cette image déformée de la 15 cible pour calibrer les paramètres extrinsèques de la caméra, tous les réglages effectués vont être erronés, car l'image est entachée d'erreurs liées au positionnement de la cible par rapport au véhicule. La présente invention a pour but de pallier ce problème. A cet effet la cible de calibration 12 utilisée, est modifiée (selon le (ou les) paramètre(s) à corriger) de la 20 manière décrite ci-après. Trois types de défauts de positionnement majeurs peuvent apparaitre entre la cible et le véhicule, à savoir : - un défaut de tangage (« pitch » en anglais), - un défaut de roulis (« roll » en anglais), et 25 - un défaut de lacet (« yaw » en anglais). La cible spécifique 12' représentée à la figure 4 est destinée à corriger un défaut de tangage. La cible spécifique 12" représentée à la figure 6 est destinée à corriger un défaut de roulis. La cible spécifique 12" représentée à la figure 7 est destinée à corriger un défaut de lacet. Les caractéristiques de ces cibles spécifiques sont 30 explicitées ci-après. Comme représenté à la figure 4, lorsque l'on a déterminé que le placement du véhicule type face à une cible connue engendre un défaut de tangage, l'invention consiste à substituer à la cible classique une cible 12' spécifique dont les points de références 16 présentent un motif déformé en fonction du tangage. 35 A cet effet l'axe L1 joignant les points de références 16 situés sur le coté gauche de la cible (dans l'exemple représenté) et l'axe L2 joignant les points de références 16 situés sur le coté droit de la cible ne sont plus parallèles. Ces deux axes sont maintenant inclinés l'un vers l'autre. Ils peuvent comme cela est représenté à la figure 4 être plus proches en haut de la cible qu'en bas, ou bien l'inverse plus proche en bas qu'en haut. Tout dépend en fait du type de tangage que l'on cherche à corriger. Dans l'exemple représenté on cherche à corriger un tangage vers le bas (cas d'un camion dont la caméra fixe une cible située en dessous d'elle). En plaçant une cible spécifique 12' en face du véhicule portant la caméra à calibrer (cas ou l'axe de vision de la caméra est placé nettement au dessus de la cible), l'image de cette cible spécifique par la caméra est une image non déformée, telle que celle représentée à la figure 5. En effet la déformation induite par le placement de la caméra au-dessus de la cible est contre carrée par la déformation initiale de la cible12'. Ainsi en utilisant une cible présentant un motif déformé on obtient une image non déformée de la cible. La calibration des paramètres extrinsèques de la caméra peut alors se faire par rapport à l'image obtenue, car cette image n'est plus entachée des erreurs de positionnement entre la cible et le véhicule. Il n'y a, dans ce cas, plus d'erreur d'interprétation sur la position réelle de la caméra dans le véhicule. Lorsqu'il est détecté un défaut de roulis (entre la position de la cible et celle du véhicule) on utilise une cible spécifique 12" présentant un motif déformé comme indiqué à la figure 6. Dans ce cas on remarque que l'un des axes L2 (dans l'exemple représenté sur la figure 6) reste sensiblement vertical et l'autre axe L1 est incliné. Bien entendu en fonction du type de roulis il est également possible que ce soit l'axe L1 qui reste sensiblement vertical et l'axe L2 qui soit incliné. Comme précédemment l'image de la cible spécifique 12" par la caméra à calibrer (présentant ce défaut de roulis) sera un cible non déformée, telle que représentée à la figure 5.

Lorsqu'il est détecté un défaut de lacet (entre la position de la cible et celle du véhicule) on utilise une cible spécifique 12" présentant un motif déformé comme indiqué à la figure 7. Dans ce cas, les axes L1 et L2 restent sensiblement parallèles entre eux, mais sur l'un de ces deux axes les points de références 16 sont plus resserrés que sur l'autre.

Comme précédemment l'image de la cible spécifique 12" par la caméra à calibrer (présentant un défaut de lacet) sera une cible non déformée, telle que représentée à la figure 5. La détermination du type de défaut (tangage, roulis, lacet) entre la cible de calibration et le véhicule est effectuée sur un véhicule type, placé dans une position 35 prédéterminée, en regard d'une cible de calibration type. Bien entendu les déformations du motif de point de références présentées dans les trois cas ci-dessus peuvent être combinées entre elles. Ainsi, si pour un véhicule donné et une position de cible donnée, il existe à la fois des défauts de tangage, de roulis et de lacet, on calcule et on réalise une cible spécifique présentant un motif déformé selon ces trois paramètres. La cible spécifique ainsi crée engendrera une image non déformée (vue par la caméra).

L'exploitation d'une image non déformée par le système de traitement du signal 17, permet alors de calibrer (corriger) correctement les paramètres extrinsèques de la caméra montée dans le véhicule et donc de placer la caméra 11 dans une position optimale prédéterminée par rapport au repère lié au véhicule. Ainsi le procédé de calibration d'une caméra mise en place dans un véhicule 10 automobile consiste, dans une première phase dite d'apprentissage, à: - mémoriser les paramètres intrinsèques d'une caméra type pour un véhicule type et à déterminer des défauts de positionnement entre un véhicule type et une cible type, - calculer une déformation d'une image d'un motif de référence en fonction 15 des paramètres intrinsèque de la caméra et de la position de la cible de référence par rapport à un véhicule type, - réaliser une cible spécifique au véhicule type et à la caméra type, la dite cible spécifique comportant des points de référence répartis de manière homogène sur la surface de la cible, les dits points formant un motif 20 déformé par rapport au motif de référence de telle sorte que l'image de ce motif déformé par la caméra type associée au véhicule type soit le motif de référence non déformé, et Dans une seconde phase dite de calibration à: - corriger les paramètres extrinsèques de chaque caméra mise en place 25 dans un véhicule, en plaçant ce véhicule en regard de la cible spécifique de telle sorte que la caméra montée dans le véhicule présente une image non déformée du motif déformé de la cible. Ainsi lorsque la cible spécifique a été calculée et réalisée, tous les véhicules correspondant au véhicule type et muni de caméras semblables à la caméra type, 30 peuvent être calibrés, pendant la phase de calibration, en utilisant la cible spécifique déterminée pendant l'étape d'apprentissage. On notera que chaque cible spécifique est adaptée pour calibrer un véhicule donné muni d'une caméra donnée. On notera que pour calculer le type de défaut à corriger il est préférable de placer la caméra de manière non perpendiculaire à l'axe longitudinal du véhicule. En se 35 plaçant de la sorte on augmente les défauts à corriger ce qui permet de mieux répartir les points de référence de la cible spécifique sur toue la surface de la cible.

La cible spécifique selon l'invention comporte une pluralité de points de référence répartis de manière homogène sur toute la surface de la cible et formant un motif déformé par rapport au motif de référence prédéterminé. Ainsi au lieu de réaliser une cible de calibration présentant un motif rigoureusement aligné, on réalise des cibles spécifiques dont le motif constitué par les points de références est déformé. C'est l'image de cette cible qui présentera un motif non déformé et qui de ce fait pourra être utilisée pour calibrer les paramètres extrinsèques de la caméra. De préférence le nombre de point de référence utilisés pour réaliser le motif est limité (six dans les exemples représentés). Ce nombre est part exemple inférieur à dix. Il est avantageux de répartir ces points de référence sur toute la surface de la cible spécifique tout en restant dans l'angle de vue de la caméra, car plus ces points sont éloignés les uns des autres et plus la précision de la calibration est améliorée. Bien entendu la présente invention n'est pas limitée aux modes de réalisations représentés aux figures 1 à 7. Ainsi la cible peut comporter plus de deux axes (L1, L2) de points de référence alignés. L'invention consiste ici à ne pas essayer de placer le véhicule (muni de sa caméra) et la cible de calibration de la manière la plus précise possible (car cela demande beaucoup de temps et est couteux), mais au contraire de tenir compte des défauts de positionnement entre le véhicule et la cible pour réaliser une calibration précise.

Claims (5)

1. REVENDICATIONS1. Procédé de calibration d'une caméra (11) mise en place dans un véhicule automobile (10), la dite caméra présentant une pluralité de paramètres intrinsèques et extrinsèques, le dit procédé étant caractérisé en ce qu'il consiste, dans une première phase dite d'apprentissage, à: - mémoriser les paramètres intrinsèques d'une caméra type pour un véhicule type et à déterminer des défauts de positionnement entre un véhicule type et une cible type, - calculer une déformation d'une image d'un motif de référence en fonction des paramètres intrinsèque de la caméra et de la position de la cible de référence (12) par rapport à un véhicule type, - réaliser une cible spécifique (12', 12", 12") au véhicule type et à la caméra type, la dite cible spécifique comportant des points de référence répartis de manière homogène sur la surface de la cible, les dits points formant un motif déformé par rapport au motif de référence de telle sorte que l'image de ce motif déformé par la caméra type associée au véhicule type soit le motif de référence non déformé, et dans une seconde phase dite de calibration à: - corriger les paramètres extrinsèques de chaque caméra (11) mise en place dans un véhicule, en plaçant ce véhicule en regard de la cible spécifique (12', 12", 12") de telle sorte que la caméra montée dans le véhicule présente une image non déformée du motif déformé de la cible.
2. 2. Procédé selon la revendication 1, caractérisé en ce que pour le calcul de la déformation de l'image du motif de référence la cible de référence est positionnée de manière non perpendiculaire à un axe longitudinal du véhicule.
3. 3. Cible spécifique pour véhicule automobile du type comportant une pluralité de points de référence (16) répartis de manière homogène sur toute la surface de la cible, la dite cible spécifique (12', 12", 12") étant caractérisée en ce que les points de référence (16) forment un motif déformé par rapport à un motif de référence prédéterminé.
4. 4. Cible spécifique selon la revendication 3, caractérisée en ce que les points de référence sont répartis sur le plus grande surface possible de la cible.
5. 5. Cible selon l'une quelconque des revendications 3 ou 4, caractérisée en ce qu'elle est adaptée pour une caméra type donnée et un véhicule type donné.