FR2674354A1 - Procede d'analyse de sequences d'images routieres, dispositif pour sa mise en óoeuvre et son application a la detection d'obstacles. - Google Patents
Procede d'analyse de sequences d'images routieres, dispositif pour sa mise en óoeuvre et son application a la detection d'obstacles. Download PDFInfo
- Publication number
- FR2674354A1 FR2674354A1 FR9103502A FR9103502A FR2674354A1 FR 2674354 A1 FR2674354 A1 FR 2674354A1 FR 9103502 A FR9103502 A FR 9103502A FR 9103502 A FR9103502 A FR 9103502A FR 2674354 A1 FR2674354 A1 FR 2674354A1
- Authority
- FR
- France
- Prior art keywords
- road
- image
- analysis
- color
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000001514 detection method Methods 0.000 title claims abstract description 25
- 238000004458 analytical method Methods 0.000 claims abstract description 56
- 238000000605 extraction Methods 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 14
- 238000012360 testing method Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 3
- 238000005192 partition Methods 0.000 claims description 3
- 239000003086 colorant Substances 0.000 claims description 2
- 230000004807 localization Effects 0.000 claims description 2
- 238000005096 rolling process Methods 0.000 claims description 2
- 238000012300 Sequence Analysis Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 11
- 230000011218 segmentation Effects 0.000 description 7
- 238000004040 coloring Methods 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000010191 image analysis Methods 0.000 description 3
- 239000011248 coating agent Substances 0.000 description 2
- 238000000576 coating method Methods 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 241000408659 Darpa Species 0.000 description 1
- 241001481824 Indri Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000003703 image analysis method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
- G01S13/867—Combination of radar systems with cameras
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0242—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using non-visible light signals, e.g. IR or UV signals
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30256—Lane; Road marking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30261—Obstacle
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Automation & Control Theory (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Electromagnetism (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
Abstract
Le procédé d'analyse de séquences d'images routières prises par une caméra embarquée à bord d'un véhicule roulant, combine une analyse (130, 131, 132) du signal de luminance de laquelle sont extraits des contours et une analyse (110) des signaux vidéo couleur prenant en compte le fait que les composantes colorimétriques d'une zone route dans une image ne comportent pas de dominante verte ni rouge, pour confirmer avec une bonne fiabilité les limites de la route dans l'image à partir des contours. Un masque de la route est alors établi par remplissage Ce procédé est applicable, notamment, à la détection d'obstacles sur la route suivie par un véhicule, et les informations qu'il génère peuvent être combinées aux informations issues d'autres moyens détecteurs dans un système de détection d'obstacles applicable à la circulation automobile.
Description
Procédé d'analyse de séquences d'images routières,
dispositif pour sa mise en oeuvre et son application
à la détection d'obstacles.
dispositif pour sa mise en oeuvre et son application
à la détection d'obstacles.
L'invention se rapporte au domaine du traitement d'images et a plus particulièrement pour objet un procédé d'analyse de séquences d'images routières en vue de l'extraction de routes un dispositif pour sa mise en oeuvre, et son application à la détection d'obstacles.
L'extraction d'informations relatives à la route, par l'intermédiaire d'images a été étudiée dans le cadre d'applications mettant en oeuvre des véhicules de type robot mobile. La détection de route à partir d'images s'est développée des lors qu on a voulu rendre autonomes des engins de type robot mobile.
D'une manière générale un traitement dans ce domaine consiste à analyser l'information délivrée par une caméra à capteur CCD sous forme d'un signal vidéo couleur. Les images issues de la caméra portée par le mobile sont stockées en mémoire où elles sont transmises à différents modules de traitement.
Les méthodes classiques de détermination de contours ont été largement employées pour détecter les bords de route, avec plus ou moins de réussite du fait des problèmes d'ombres portées sur la route. En effet, une approche de type modélisation géométrique liée à la recherche de segments forts sur les images peut ne pas correspondre au mieux au modele ligne droite désiré, notamment dans le cas de conditions non optimales de prises de vues (mauvais temps, données bruitées,...).
Les publications qui suivent se rapportent à ces travaux - par C. TORSE et al: "Vision and navigation for the
Carnegie-MELLON Navlab" I. E. E. E. Transactions on pattern analysis and machine intelligence, vol. 10, nO 3, p. 362-373, mai 1988 - par J.M. LOWRIE et al : "The Autonomous Land Vehicle preliminary road-following demonstration" Proc. SPIE 579 D - P.
Carnegie-MELLON Navlab" I. E. E. E. Transactions on pattern analysis and machine intelligence, vol. 10, nO 3, p. 362-373, mai 1988 - par J.M. LOWRIE et al : "The Autonomous Land Vehicle preliminary road-following demonstration" Proc. SPIE 579 D - P.
CASAENT Ed; p.336-350, septembre 1985 - par M. TURK et al : "VITS : A vision system for Autonomous
Land Vehicule navigation" I.E.E.E Trans. PAMI, Vol.10, nO 3, p.343-361, mai 1988.
Land Vehicule navigation" I.E.E.E Trans. PAMI, Vol.10, nO 3, p.343-361, mai 1988.
Ces travaux ne peuvent être appliqués au cas de la circulation automobile sur des axes autoroutiers, en vue d'applications dans le domaine de la sécurité routière, du fait des contraintes imposées par ce type d'applications : vitesses élevées et circulation dense.
Dans le cadre de la détection d'obstacles "Hughes Artificial Intelligence Center" a développé des techniques de télémétrie couplées à des bases de connaissances. On se reportera aux travaux de M.J. DAILY et al : "Detecting obstacles in range imagery" Proc. DARPA Image Understanding Worhop, p .87-97, février 1987. L'avantage d'un tel procédé, utilisant la télémétrie réside dans la possibilité d'obtenir directement les distances séparant le véhicule des obstacles potentiels, en s'affranchissant des problèmes d'éclairement des scènes. Par contre le rayonnement des ondes émises peut être un inconvénient pour rester en conformité avec les normes de sécurité nécessaires.
D'une manière générale l'utilisation d'un capteur optique d'images associé à un procédé de traitement d'images permet de constituer d'un organe de perception pour le véhicule automobile. Dès lors, on peut envisager un grand nombre d'applications basées sur l'analyse de l'image et l'interprétation de scène.
Cependant, dans ce contexte, les principaux éléments constituant la scène sont la route et les objets qui s'y trouvent. Il est donc essentiel, préalablement à toute interprétation d'image, d'extraire et de localiser la route par rapport à laquelle le reste de la scène peut ensuite être décrit.
De nombreuses techniques de segmentation sont classiquement utilisées, en traitement d'images, pour regrouper des régions, sous des contraintes de similarité de caractéristiques.
La segmentation de scènes naturelles extérieures est une opération particulièrement complexe s'il faut prendre en compte tous les éléments constituant celles-ci. Les conditions liées à l'environnement et leurs variations ne font qu'accentuer cette difficulté: (différentes saisons, météorologie, éclairage, heures de prises de vue : réflexion spectrale lorsque le soleil est bas, ombres, boue sur la chaussée,...).
Le but de l'invention est le développement d'un procédé d'analyse de séquences d'images routières en vue de l'extraction de voies de roulement (routes) et de la détection d'obstacles à partir de ces images.
L'invention a pour objet un procédé d'analyse de séquences d'images routières performant permettant d'obtenir des informations relatives à la route et éventuellement aux obstacles susceptibles de s'y trouver, applicable même à la circulation sur axes autoroutiers, en vue notamment d'améliorer la sécurité dans la conduite automobile. A partir de ces informations, l'automatisation de certaines fonctions peut être établie et une extension des capacités de perception du conducteur est envisageable lors de longs trajets sur autoroute notamment, par déclenchement d'alarmes ou de signalisation de danger.
Selon l'invention, le procédé d'analyse de séquences d'images routières en vue de l'extraction de routes dans les images, est caractérisé en ce qu'il comporte
- une première étape d'analyse de l'information luminance des signaux vidéo images pour extraire les contours et régions des images et établir un masque de la route,
- une deuxième étape, d'analyse des signaux vidéo couleurs au cours de laquelle une partition de l'image est réalisée sur les points qui de manière certaine ne peuvent appartenir à la route,
- une troisième étape qui combine les informations issues de l'étape d'analyse de la luminance et de l'étape d'analyse couleurs, pour l'extraction finale de la route.
- une première étape d'analyse de l'information luminance des signaux vidéo images pour extraire les contours et régions des images et établir un masque de la route,
- une deuxième étape, d'analyse des signaux vidéo couleurs au cours de laquelle une partition de l'image est réalisée sur les points qui de manière certaine ne peuvent appartenir à la route,
- une troisième étape qui combine les informations issues de l'étape d'analyse de la luminance et de l'étape d'analyse couleurs, pour l'extraction finale de la route.
L'invention a également pour objet un dispositif d'analyse de séquences d'images routières issues d'une caméra et disponibles sous forme de composantes numériques de couleur et après conversion des composantes de couleur, sous forme d'une composante de luminance, destiné à la mise en oeuvre du procédé d'analyse tel que décrit ci-dessus, est caractérisé en ce qu'il comporte
- un dispositif d'analyse contour et régions dont l'entrée est destinée à recevoir le signal de luminance d'image associé à un dispositif de prédétermination du marquage horizontal,
- un dispositif d'analyse couleurs dont l'entrée est destinée à recevoir les trois composantes de couleur, constituant l'image vidéo,
- et un dispositif d'extraction de route relié aux sorties du dispositif d'analyse contours et régions et du dispositif analyse couleurs.
- un dispositif d'analyse contour et régions dont l'entrée est destinée à recevoir le signal de luminance d'image associé à un dispositif de prédétermination du marquage horizontal,
- un dispositif d'analyse couleurs dont l'entrée est destinée à recevoir les trois composantes de couleur, constituant l'image vidéo,
- et un dispositif d'extraction de route relié aux sorties du dispositif d'analyse contours et régions et du dispositif analyse couleurs.
L'invention a également pour objet l'application de ce procédé dans un système de détection d'obstacles applicable à la circulation automobile où l'analyse de séquences d'images vidéo routières conduit à l'extraction de routes dans les images et à la localisation éventuelle d'obstacles lorsque le masque de la route est discontinu.
L'invention sera mieux comprise et d'autres caractéristiques apparaîtront à l'aide de la description qui suit en référence aux figures annexées.
La figure 1 est un schéma général d'un système de détection d'obstacles applicable à la sécurité automobile
La figure 2 est le schéma synoptique du dispositif d'analyse d'images pour l'extraction de routes selon l'invention;
La figure 3 est un organigramme du procédé d'analyse d'images mis en oeuvre pour l'extraction de routes
La figure 4 est un organigramme détaillé de la phase de calcul des gradients à partir du signal de luminance
La figure 5 est l'organigramme de la phase d'analyse couleur
La figure 6 est un schéma explicatif
La figure 7 est un organigramme de la phase de remplissage du masque de la route
Les figures 8 et 9 sont des schémas explicatifs de la fonction remplissage
La figure 10 est un schéma synoptique illustrant la mise en oeuvre du procédé selon l'invention en combinaison avec un procédé de détection d'obstacles, dans un système de détection d'obstacles appliqué à la sécurité automobile.
La figure 2 est le schéma synoptique du dispositif d'analyse d'images pour l'extraction de routes selon l'invention;
La figure 3 est un organigramme du procédé d'analyse d'images mis en oeuvre pour l'extraction de routes
La figure 4 est un organigramme détaillé de la phase de calcul des gradients à partir du signal de luminance
La figure 5 est l'organigramme de la phase d'analyse couleur
La figure 6 est un schéma explicatif
La figure 7 est un organigramme de la phase de remplissage du masque de la route
Les figures 8 et 9 sont des schémas explicatifs de la fonction remplissage
La figure 10 est un schéma synoptique illustrant la mise en oeuvre du procédé selon l'invention en combinaison avec un procédé de détection d'obstacles, dans un système de détection d'obstacles appliqué à la sécurité automobile.
Comme indiqué ci-dessus l'invention concerne principalement l'extraction de la route et la détection d'anomalies sur les voies de roulement telles que par exemple des problèmes de revêtement sur la chaussée, ou des objets ou véhicules entrant dans la zone de sécurité limitée autour du véhicule roulant, à partir d'une analyse de séquence d'images routières.
La diversité des conditions naturelles d'éclairement et des aspects de la chaussée nécessite un procédé d'extraction "robuste". En partant de l'hypothèse qu a tout instant le véhicule roule sur la route et que la caméra, fixée par exemple au niveau du rétroviseur intérieur, reçoit les informations liées à la route et aux éventuels obstacles s'y trouvant, le dispositif de vision proposé "apprend", de manière itérative, puis "reconnaît" I'apparence du revêtement de la chaussée. Le procédé d'extraction de la surface de la route dans l'image est fondé sur l'analyse de caractéristiques des voies de roulement en champ proche (apprentissage) et sur la segmentation de la route en perspective (reconnaissance).Le traitement d'images a pour but de rechercher les attributs de caractérisation nécessaires, ctest-à-dire des informations conto'irs/régions et des données spécifiques couleurs liées à la composition colorimétrique de la chaussée par rapport au fond.
Pour la mise en oeuvre de ce traitement l'invention utilise des opérateurs simples, faciles à mettre en oeuvre dans une architecture dédiée à cette fonction. Un seul capteur vidéo est utilisé pour la mise en oeuvre du procédé d'analyse comme décrit ci-après, ce qui est un facteur économique important quant au coût de réalisation. Cependant, l'adjonction d'autres capteurs du même type (caméra CCD) ou d'autres types (lidar, radar, gyromètre. . . ) permet d'augmenter les possibilités d'analyse telles la stéréo-vision, la reconstruction d'informations tridimensionnelles et la détection active d'obstacles sur la route, dans un système composite de détection d'obstacles.
La structure d'un tel système composite de détection d'obstacles est illustrée sur la figure 1.
L'environnement du véhicule est analysé par exemple à partir de 4 types d'informations : Des informations détectées par un radar 1, des informations détectées par un lidar 2, des images prises par une caméra CCD, 3 (utilisant un capteur à transfert de charges), et des images prises par une caméra infrarouge IR, 4. Les signaux issus du radar et du lidar sont traités par un dispositif de traitement de signal 5, tandis que les images obtenues des caméras sont traitées par un dispositif de traitement d'images 6. Un dispositif de fusion 7 de l'ensemble des données résultant de ces traitements est alors utilisé pour générer des images et/ou des alarmes sur un ensemble de visualisation et de déclenchement d'alarmes 8 disposé sur le tableau de bord du véhicule.
Le procédé selon l'invention concerne plus particulièrement le traitement d'images mis en oeuvre par le dispositif fi pour l'extraction de routes de ces images.
La figure 2 est le schéma synoptique du dispositif d'analyse d'images pour l'extraction de routes selon l'invention.
L'image de l'environnement du véhicule est prise par la caméra CCD, 3. A partir des trois signaux analogiques de couleur fournis par cette caméra, un ensemble 10 comportant un convertisseur analogique-numérique, convertit ces trois signaux en suites de valeurs numériques ; à ce convertisseur sont associés classiquement dans l'ensemble 10 un circuit de base de temps et une mémoire d'images ; ces images sont transmises d'une part à un dispositif d'analyse de couleurs, 11, et d'autre part à un dispositif de conversion 12 effectuant la combinaison des composantes de couleur pour restituer une suite de valeurs numériques caractérisant la luminance Y des points d'image. La suite des valeurs de luminance est transmise à un dispositif d'analyse de contours et de régions 13.Les informations issues d'une part du dispositif d'analyse de couleurs 11 et d'autre part du dispositif 13 sont transmises à un dispositif d'extraction de routes et de localisation d'obstacles 15.
Le procédé de traitement proprement dit comporte donc trois étapes
- La première étape consiste en une analyse conjointe des contours et régions pour la détection de la route. Elle utilise l'information luminance du signal vidéo.
- La première étape consiste en une analyse conjointe des contours et régions pour la détection de la route. Elle utilise l'information luminance du signal vidéo.
- La seconde étape, parallèle à la première, repose sur une analyse des signaux de couleurs (R-V-B), afin d'établir un masque global sur l'image, destiné à confirmer la présence et la position de la route.
- La troisième étape consiste à utiliser judicieusement, comme décrit en détails ci-après, les informations extraites par l'analyse contours/régions et l'analyse de couleurs, pour aboutir à une détection précise de la route.
Les voies de roulement, ou routes, une fois extraites, permettent une détermination de la zone de manoeuvre du véhicule.
L'étape d'analyse contours/régions du traitement est une étape essentielle du procédé. Elle utilise le signal de luminance, avec la possibilité d'effectuer un sous-échantillonnage temporel (analyse en trame) pour réduire le temps de traitement, ceci permettant une architecture plus simple (liée au temps de calcul). L'organigramme détaillé de cette étape d'analyse contours/régions effectuée par le dispositif 13 est illustré sur la figure 3.
L'image source est lue dans une mémoire image dans une étape 100. Pour cela les valeurs du signal de luminance d'une trame sont stockées dans un tableau itab, de dimension (icol, ilig) données, icol et ilig étant respectivement les nombres de colonnes et de lignes du tableau. Chaque élément de ce tableau est codé sur 8 bits, le signal de luminance étant quantifié sur 256 niveaux.
Le calcul de l'amplitude des contours s'effectue dans une étape 130 à l'aide d'opérateurs gradient qui sont des masques de convolution connus, de type "PREWITT", en horizontal et en vertical. Ces masques de convolution, de dimension faible (5x5) se prêtent bien à une réalisation temps réel grâce à la structure de leur noyau (addition et soustraction binaire).
Les masques horizontaux et verticaux utilisés sont représentés sur la figure 4 qui détaille l'organigramme de la phase 130 de calcul des gradients sur le signal de luminance. L'image source est convoluée par les masques 5x5, respectivement horizontal et vertical, ce qui conduit aux valeurs de gradient horizontal GH et vertical GV. L'amplitude du gradient G en chaque point est alors calculée par la formule
Une image des contours est alors formée par l'image des amplitudes des gradients ainsi calculés.
On obtient ainsi à la fin de la phase 130 un tableau de dimension (icol, ilig) représentant le résultat du calcul de l'image de l'amplitude des contours, codée sur 16 bits pour chaque point d'image.
Le calcul de la caractéristique région se fait dans une étape 131 (figure 3) à partir de cette image des amplitudes des gradients du signal de luminance. A partir de l'image des contours obtenue dans l'étape précédente, cette opération consiste à effectuer un filtrage moyenneur sur l'image des amplitudes des gradients, de support faible (masques 5x5). Le but est d'obtenir une information relative à l'énergie du signal dans un voisinage local du point considéré, en évitant les problèmes de bruit et de détection quadratique. L'énergie, calculée de manière classique, est égale au carré du signal à mesurer dans tane fenêtre centrée sur le point courant. Pour diminuer le temps de calcul et en raison des résultats proches obtenus, seule la valeur simple de ce signal a été utilisée dans un mode de réalisation de l'invention.En sortie, un tableau de dimension (icol, ilig) est alors obtenu, représentant le résultat du calcul de la caractéristique "région", codé sur 8 bits pour chaque point d'image. Cette nouvelle "image" est notée INRJ.
Une prédétermination des bords de route est alors effectuée dans une étape 132 à partir de l'image INDRI : un feuillage est effectué pour ne retenir que les niveaux hauts relatifs aux contours des régions. Une première détection des bords de route est alors obtenue avec une meilleure "confiance" que celle qui aurait été obtenue avec un simple seuillage sur l'image originale. Cette étape est complétée par un traitement destiné à rendre connexes les segments de contours détectés.
L'analyse des composantes couleurs, étape 110 sur la figure 3, effectuée par le dispositif d'analyse couleurs 11 de la figure 2 permet de valider le masque de la route obtenu par l'analyse du signal de luminance (contours/régions). I1 ne s'agit pas ici d'aboutir à une segmentation de la scène comme
décrit ci-dessus, au sens classique du terme, mais plutôt de prendre en compte les qualités intrinsèques de l'information présente dans ces signaux couleurs, pour aboutir à une segmentation de la route confirmée avec une bonne fiabilité, et une robustesse importante. De plus, il est nécessaire que cette procédure de segmentation de la route soit effectuée à une cadence vidéo ou quasi-temps réel.
décrit ci-dessus, au sens classique du terme, mais plutôt de prendre en compte les qualités intrinsèques de l'information présente dans ces signaux couleurs, pour aboutir à une segmentation de la route confirmée avec une bonne fiabilité, et une robustesse importante. De plus, il est nécessaire que cette procédure de segmentation de la route soit effectuée à une cadence vidéo ou quasi-temps réel.
La méthode de segmentation utilisée dans la phase d'analyse couleur du procédé selon l'invention et décrite ci-après a été motivée par l'aspect architecture en vue d'une réalisation en circuits rapides, ainsi que par les hypothèses selon lesquelles on peut trouver des informations caractéristiques spécifiant l'appartenance ou non à la route des régions analysées.
Selon l'invention l'analyse couleurs effectue une partition en 2 classes seulement : route et non-route. Un point d'image est représenté par un triplet de valeurs de couleurs
R-V-B. L'espace des caractéristiques à traiter est donc immédiatement défini.
R-V-B. L'espace des caractéristiques à traiter est donc immédiatement défini.
L'hypothèse de départ est que la discrimination de la route peut s'accomplir par le fait que celle-ci ne comporte pas de dominante colorimétrique verte ni rouge. Les constituants des chaussées font généralement que le revêtement a une teinte bleue ou grise.
L'analyse couleur, dont l'organigramme est illustré par la figure 5 cherche les points d'image pour lesquels l'écart entre les informations discriminantes des 2 classes "route" et "non-route" est maximum. L'analyse couleur détermine les points où ltécart maximum existe entre la composante moyenne bleue et les composantes moyennes rouge ou verte. Pour cela une boucle d'analyse couleur de l'image 111 décrit les points successifs de l'image et commande à partir des composantes couleurs rouge, verte, bleue le calcul de valeurs
Soient VAL-R, VAL-V et VAL-B, les valeurs respectives des composantes rouge, verte et bleu, d'un point d'image, moyennées sur des bloc 3x3 autour du point et soit Max-R-V, la valeur maximum des 2 composantes VAL-R et VAL-V calculées dans une étape 112.Une valeur VAL-PIX du masque couleur est attribuée au point d'image analysé étape 114, si le test 113 est vérifié, c'est-à-dire la composante moyenne bleue du point est d'intensité inférieure ou égale à la valeur MAX-R-V, sinon le masque est mis à zéro étape 115. Cette valeur VAL-PIX est égale à l'écart entre les valeurs MAX-R-V et VAL-B.
Soient VAL-R, VAL-V et VAL-B, les valeurs respectives des composantes rouge, verte et bleu, d'un point d'image, moyennées sur des bloc 3x3 autour du point et soit Max-R-V, la valeur maximum des 2 composantes VAL-R et VAL-V calculées dans une étape 112.Une valeur VAL-PIX du masque couleur est attribuée au point d'image analysé étape 114, si le test 113 est vérifié, c'est-à-dire la composante moyenne bleue du point est d'intensité inférieure ou égale à la valeur MAX-R-V, sinon le masque est mis à zéro étape 115. Cette valeur VAL-PIX est égale à l'écart entre les valeurs MAX-R-V et VAL-B.
Au cours du test 116, si, l'écart VAL-PIX est reconnu comme supérieur à un seuil donné S-MASK, le point considéré est affecté à la classe "non-route", étape 117.
Les points de ce masque ne représentent qu'une partie de la classe non-route, mais ils sont avantageusement positionnés de telle façon qu'ils renforcent généralement la détermination des frontières et des bords de route.
Il est possible d'améliorer la détection, en réalisant un filtrage passe-bas de type moyenneur, de support (3x3), avant la décision d'affectation des points au masque "non route".
L'opération de moyennage s'effectue en temps réel vidéo, à l'aide de circuits rapides.
La dernière étape de la phase d'extraction de la route est alors effectuée à partir de la fusion des informations précédemment obtenues à partir des deux analyses des signaux de luminance et de couleur, pour extraire de façon précise les voies de roulement, ou routes. Cetteétape 150 (figure 3) est l'extraction de la route à partir de la superposition des informations contours et masque "non-route".
Le problème de la détection de la route est résolu par le remplissage, ou "coloriage" de la région délimitée par les bords de route devenus, par les différentes opérations précédentes, des segments connexes. L'intérêt d'une fermeture des régions par le masque "non-route" réside dans la possibilité de couvrir une zone entière sans "débordement", en évitant d'avoir un masque comportant des points de fuite.
Cette phase d'extraction 150 effectuée par le dispositif d'extraction 15 (Figure 2) est illustrée par les figures 6 à 9 et consiste, dans un premier temps, à repérer un point intérieur aux contours désignés correspondant à la route, de manière automatique en prenant l'hypothèse de présence de la route devant le véhicule ; après quoi un algorithme de "remplissage" propage le remplissage de la route, suivant les directions de balayage horizontale et verticale, jusqu'aux points de contours où le remplissage s'arrête. Ces points contours, sont les points frontières route-bords, contours issus de la luminance et limites du masque "non-route".
Suivant un mode de réalisation, donné à titre d'exemple, le procédé d'extraction fait appel pour le remplissage à la notion de connectivité. La procédure de remplissage du masque route est décrite ci-après à l'aide des variables suivantes illustrées sur la figure 6 et est illustrée par la figure 7
- l'image de départ est de dimension (COL, LIG)
- la caméra fixe le centre optique de visée du véhicule, et l'hypothèse de départ est que la route est située devant celui-ci
- (IPC, IPL) sont les coordonnées du point courant et (ICD, ILD) celles au point de départ P. de l'analyse, respectivement en colonne et en ligne avec par exemple
ILD=LIG-100 et ICD=COL/2 pour que le point d'initialisation Pi soit centré en ligne, et placé au bas de l'image correspondant à la scène proche du véhicule, ceci afin d'éviter les problèmes d'obstacles éventuels à une distance plus lointaine. Une phase d'initialisation 151 fait alors appel à un sous programme
SP-COLOR 152, qui colorie tous les points de la ligne du point de départ entre les limites constituées par les points de contour sur cette ligne, comme le montre la figure 8.
- l'image de départ est de dimension (COL, LIG)
- la caméra fixe le centre optique de visée du véhicule, et l'hypothèse de départ est que la route est située devant celui-ci
- (IPC, IPL) sont les coordonnées du point courant et (ICD, ILD) celles au point de départ P. de l'analyse, respectivement en colonne et en ligne avec par exemple
ILD=LIG-100 et ICD=COL/2 pour que le point d'initialisation Pi soit centré en ligne, et placé au bas de l'image correspondant à la scène proche du véhicule, ceci afin d'éviter les problèmes d'obstacles éventuels à une distance plus lointaine. Une phase d'initialisation 151 fait alors appel à un sous programme
SP-COLOR 152, qui colorie tous les points de la ligne du point de départ entre les limites constituées par les points de contour sur cette ligne, comme le montre la figure 8.
Cette initialisation sur la ligne du point de départ étant terminée, le remplissage du masque de la route peut alors effectivement commencer. I1 permet de rechercher ligne par ligne les points appartenant à la route susceptibles d'être "coloriés" à partir de l'analyse d'une fenêtre (3x3) centrée sur le point courant de la ligne en cours de balayage. La condition du test effectué est que le point doit être différent d'un point contour ou d'un point déjà colorié, et qu'il doit avoir au moins 3 points voisins coloriés. La figure 9 illustre les huit possibilités qui conduisent au coloriage du point courant s'il n'est pas soit un point du contour, soit déjà marqué : Le point courant est le point central de la fenêtre 3x3 noté ' et les points voisins déjà coloriés sont marqués "x".
Les bornes du masque de la route à colorier résultant de la fusion des informations contours et bords de route sont mémorisées dans une étape 153. Un sens de balayage vertical pour l'analyse ligne par ligne est fixé dans une étape 154 au moyen d'un index d'itération verticale il, d'abord à +1 par exemple.
L'analyse est effectuée ligne par ligne par une boucle ligne 155. Puis une boucle de recherche ligne est effectuée, 156, avec, pour initier un sens de balayage de la ligne, un index i
c mis à +1, puis à -1. Le test 157 de la fenêtre 3.3 autour du point courant est alors mis en oeuvre pour chaque point de la ligne par un sous programme de recherche ligne SP-RECH qui après chaque itération du rang de la colonne, IPC=IPC+i du point courant, teste si ce point doit être colorié ou non, selon les configurations illustrées par la figure 8 c'est-à-dire s'il appartient au masque de la route. Lorsque le point est colorié une valeur "FLAG-COLOR" associée à ce point et initialement à 0 est mise à 1.Lorsque le point courant est un point de contour, un retour au point d'initialisation de la ligne et un changement d'index colonne i =-1 permettent de décrire, à partir de ce
c point, l'autre demi-ligne jusqu'à l'autre un point de contour.
c mis à +1, puis à -1. Le test 157 de la fenêtre 3.3 autour du point courant est alors mis en oeuvre pour chaque point de la ligne par un sous programme de recherche ligne SP-RECH qui après chaque itération du rang de la colonne, IPC=IPC+i du point courant, teste si ce point doit être colorié ou non, selon les configurations illustrées par la figure 8 c'est-à-dire s'il appartient au masque de la route. Lorsque le point est colorié une valeur "FLAG-COLOR" associée à ce point et initialement à 0 est mise à 1.Lorsque le point courant est un point de contour, un retour au point d'initialisation de la ligne et un changement d'index colonne i =-1 permettent de décrire, à partir de ce
c point, l'autre demi-ligne jusqu'à l'autre un point de contour.
La recherche des points à colorier sur cette ligne pour obtenir le masque de la route est alors terminée et la même recherche est effectuée sur une ligne adjacente par itération du rang de la ligne IPL=IPL+i1.
Le coloriage de la zone commence par la ligne ILREF d'ordonnée ILD et se termine à la ligne IFINLIG=LIG-40. Lorsque la dernière ligne utile est coloriée, l'indice de ligne est ramené à l'indice ILD de départ et le même procédé est utilisé pour le marquage de la zone supérieure de la coordonnée ligne
ILD jusqu'à la ligne d'arrêt du remplissage de coordonnée verticale ILMIN à partir d'un index vertical modifié il=-l. La ligne d'arrêt ILMIN est donnée par une ligne "contours haut" détectée à la fin de l'analyse des contours et fermant le masque route. Cette étape marque tous les points intérieurs aux points contours en leur affectant un niveau noté "niv-route" et aboutit à la formation d'un "masque de la route".
ILD jusqu'à la ligne d'arrêt du remplissage de coordonnée verticale ILMIN à partir d'un index vertical modifié il=-l. La ligne d'arrêt ILMIN est donnée par une ligne "contours haut" détectée à la fin de l'analyse des contours et fermant le masque route. Cette étape marque tous les points intérieurs aux points contours en leur affectant un niveau noté "niv-route" et aboutit à la formation d'un "masque de la route".
Comme indiqué ci-dessus, l'information contours/régions permet une détection des bords de route. Elle permet également d'établir une localisation des obstacles potentiels situés sur la route, devant le véhicule.
L'information couleur accentue la confiance du masque de la route obtenu initialement, surtout dans le cas où il n'existe pas de bords francs aux frontières de la chaussée. Ce deuxième masque permet une fermeture des zones d'accotement, favorisant ainsi l'obtention d'un masque global de la route.
La figure 10 illustre la structure générale d'un système de sécurité automobile mettant en oeuvre à partir des signaux issus de la caméra numérisés et mis en mémoire dans le convertisseur à mémoire 10 un processus d'extraction de la route et de localisation de candidats obstacles 100, tel que décrit ci-dessus qui est associé à un processus de détection d'obstacles 200 basé sur d'autres données, comme décrit en référence à la figure 1.
Le procédé selon l'invention tel que décrit ci-dessus vise à déterminer les voies de roulement sur la chaussée, à partir d'un processus d'analyse statique des signaux de luminance et de couleur. Ce procédé peut ensuite être complété phase complémentaire pour permettre une localisation des objets sur la route, et une pré-détermination des obstacles majeurs par une analyse dynamique. En effet une analyse dynamique est nécessaire pour séparer les différents types d'objets détectés par détection de mouvement dans les séquences d'images afin de repérer des objets sur la route et à localiser les obstacles.
L'image segmentée résultante met alors en évidence les obstacles situés sur la route.
L'invention n'est pas limitée à la description précise du procédé donnée ci-dessus. En particulier, pour la phase d'extraction de la route, la méthode par connectivité peut être remplacée par toute autre méthode permettant de remplir le masque de la route dont les contours ont été déterminés par l'image des amplitudes des gradients et confirmés par l'analyse couleur, par exemple une méthode de type vectorielle ou toute autre méthode adaptée qui permettrait d'augmenter la rapidité du traitement.
De même, les dimensions de fenêtres pour le moyennage peuvent être modifiées tout comme les autres paramètres, dont les valeurs numériques ont été données à titre d'exemple, sans sortir du cadre de l'invention.
Claims (8)
1. Procédé d'analyse de séquences d'images routières, prises par une caméra embarquée à bord d'un véhicule roulant pour l'extraction de routes dans les images, caractérisé en ce qu'il comporte
- une première étape d'analyse (130, 131, 140) de l'information luminance des signaux vidéo images pour extraire les contours et régions des images et établir un masque de la route,
- une deuxième étape (110), d'analyse des signaux vidéo couleurs au cours de laquelle une partition de l'image est réalisée sur les points qui de manière certaine ne peuvent appartenir à la route,
- une troisième étape (150) qui combine les informations issues de l'étape d'analyse de la luminance et de l'étape d'analyse couleurs, pour l'extraction finale de la route.
2. Procédé selon la revendication 1, caractérisé en ce que l'étape d'analyse de la luminance comporte
- une phase (130) de calcul des gradients sur le signal de luminance, les amplitudes des gradients calculés aux différents points d'image constituant une image de contours,
- une phase de calcul d'une caractéristique région définissant un masque de la route à partir de l'image des contours au cours de laquelle un filtrage moyenneur (131) dans un voisinage local du point courant est effectué et donne pour chaque point d'image une valeur caractéristique de l'énergie du signal dans le voisinage local considéré, puis une étape (132) de seuillage pour ne retenir que les valeurs d'énergie supérieures à un seuil, associées aux segments de contours image des bords de route dans l'image, et de traitement des segments de contour pour les rendre connexes, et enfin de remplissage de la région délimitée par les bords de route.
3. Procédé selon l'une des revendications 1 et 2, caractérisé en ce que l'étape d'analyse couleurs (110) utilise le fait que dans les séquences images routières, les routes ne comportent pas de dominante colorimétrique verte ou rouge et comporte
- une phase (112) de calcul de composantes moyennes des trois couleurs fondamentales autour d'un point courant, et de détermination de la composante moyenne maximum entre les deux composantes verte et rouge,
- une comparaison (113) de cette valeur maximum et de la valeur de la composante moyenne bleuie, suivie d'une phase de test (116) de la différence entre ces valeurs par rapport à un seuil, les points pour lesquels cette différence est supérieure au seuil étant de manière certaine situés en dehors de la route.
4. Procédé selon l'une des revendications 1 à 3, caractérisé en ce que l'étape (150) de combinaison des informations relatives au masque de la route établies au cours de la première étape et les informations relatives à la zone d'image en dehors de la route obtenues dans la deuxième étape établit précisément les voies de roulement contenues dans les séquences images routières initiales et éventuellement de localiser des obstacles sur ces voies de roulement.
5. Procédé selon l'une quelconque des revendications précédentes, caractérisé en ce que l'étape d'analyse de luminance et l'étape d'analyse couleurs sont effectuées en parallèle.
6. Dispositif d'analyse de séquences d'images routières issues d'une caméra (3) et disponibles sous forme de composantes numériques de couleur et après conversion des composantes de couleur, sous forme d'une composante de luminance, destiné à la mise en oeuvre du procédé d'analyse selon l'une des revendications 1 à 5, caractérisé en ce qutil comporte
- un dispositif d'analyse contour et régions (13) dont l'entrée est destinée à recevoir le signal de luminance d'image,
- un dispositif d'analyse couleurs (11) dont l'entrée est destinée à recevoir les trois composantes de couleur, constituant l'image vidéo,
- et un dispositif (15) d'extraction de route relié aux sorties du dispositif d'analyse contours et régions et du dispositif d'analyse couleurs.
7. Application du procédé selon l'une des revendications 1 à 5 à la détection d'obstacles sur voies de roulement, caractérisé en ce que l'analyse de séquences d'images vidéo routières conduit à l'extraction de routes dans les images et à la localisation éventuelle d'obstacles lorsque le masque de la route est discontinu.
8. Application selon la revendication 7, caractérisé en ce qu'un dispositif de fusion de données destiné à recevoir simultanément les informations issues d'un dispositif d'analyse de séquences d'images selon la revendication 6 et des informations issues du traitement de signaux issus d'autres moyens détecteurs d'obstacles (1, 2), est prévu pour générer des informations relatives aux obstacles détectés sur la route telle qu'analysée par la caméra et résultant des séquences d'images d'une part, et telle qu'analysée par les autres moyens détecteurs d'autre part, ce dispositif de fusion de données étant reliée à un ensemble de visualisation et d'alarmes (8).
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR9103502A FR2674354A1 (fr) | 1991-03-22 | 1991-03-22 | Procede d'analyse de sequences d'images routieres, dispositif pour sa mise en óoeuvre et son application a la detection d'obstacles. |
| EP92910047A EP0588815B1 (fr) | 1991-03-22 | 1992-04-14 | Procede et dispositif d'analyse de sequences d'images routieres pour la detection d'obstacles |
| PCT/FR1992/000329 WO1993021596A1 (fr) | 1991-03-22 | 1992-04-14 | Procede et dispositif d'analyse de sequences d'images routieres pour la detection d'obstacles |
| JP4509516A JPH06508946A (ja) | 1991-03-22 | 1992-04-14 | 障害物を検出するための道路画像のシーケンス分析方法および装置 |
| US08/715,248 US5706355A (en) | 1991-03-22 | 1996-09-19 | Method of analyzing sequences of road images, device for implementing it and its application to detecting obstacles |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR9103502A FR2674354A1 (fr) | 1991-03-22 | 1991-03-22 | Procede d'analyse de sequences d'images routieres, dispositif pour sa mise en óoeuvre et son application a la detection d'obstacles. |
| PCT/FR1992/000329 WO1993021596A1 (fr) | 1991-03-22 | 1992-04-14 | Procede et dispositif d'analyse de sequences d'images routieres pour la detection d'obstacles |
| US08/715,248 US5706355A (en) | 1991-03-22 | 1996-09-19 | Method of analyzing sequences of road images, device for implementing it and its application to detecting obstacles |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| FR2674354A1 true FR2674354A1 (fr) | 1992-09-25 |
| FR2674354B1 FR2674354B1 (fr) | 1995-05-05 |
Family
ID=27252422
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| FR9103502A Granted FR2674354A1 (fr) | 1991-03-22 | 1991-03-22 | Procede d'analyse de sequences d'images routieres, dispositif pour sa mise en óoeuvre et son application a la detection d'obstacles. |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US5706355A (fr) |
| FR (1) | FR2674354A1 (fr) |
| WO (1) | WO1993021596A1 (fr) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2706211A1 (fr) * | 1993-06-08 | 1994-12-16 | Thomson Csf | Procédé de traitement d'images routières et de suivi d'obstacles, et dispositif pour sa mise en Óoeuvre. |
| EP0810496A2 (fr) * | 1996-05-31 | 1997-12-03 | Société SAGEM | Procédé et dispositif d'identification et de localisation d'objets fixes le long d'un trajet |
| EP0827127A1 (fr) * | 1996-08-28 | 1998-03-04 | Matsushita Electric Industrial Co., Ltd. | Appareil de positionnement local et méthode associée |
| EP0837378A2 (fr) * | 1996-10-17 | 1998-04-22 | STMicroelectronics S.r.l. | Méthode pour l'identification des bandes de marquage dans de voies routières |
| DE19938266A1 (de) * | 1999-08-12 | 2001-02-15 | Volkswagen Ag | Verfahren und Einrichtung zur elektronischen bzw. elektronisch visuellen Erkennung von Verkehrszeichen |
| WO2003001472A1 (fr) * | 2001-06-23 | 2003-01-03 | Lucas Industries Limited | Systeme de localisation d'objets pour vehicule routier |
| US8818042B2 (en) | 2004-04-15 | 2014-08-26 | Magna Electronics Inc. | Driver assistance system for vehicle |
| US8842176B2 (en) | 1996-05-22 | 2014-09-23 | Donnelly Corporation | Automatic vehicle exterior light control |
| US8917169B2 (en) | 1993-02-26 | 2014-12-23 | Magna Electronics Inc. | Vehicular vision system |
| US8993951B2 (en) | 1996-03-25 | 2015-03-31 | Magna Electronics Inc. | Driver assistance system for a vehicle |
| US9171217B2 (en) | 2002-05-03 | 2015-10-27 | Magna Electronics Inc. | Vision system for vehicle |
| US9436880B2 (en) | 1999-08-12 | 2016-09-06 | Magna Electronics Inc. | Vehicle vision system |
| US10071676B2 (en) | 2006-08-11 | 2018-09-11 | Magna Electronics Inc. | Vision system for vehicle |
Families Citing this family (44)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3564547B2 (ja) * | 1995-04-17 | 2004-09-15 | 本田技研工業株式会社 | 自動走行誘導装置 |
| TR199700058A2 (xx) * | 1997-01-29 | 1998-08-21 | Onural Levent | Kurallara dayalı hareketli nesne bölütlemesi. |
| JP3759280B2 (ja) * | 1997-04-15 | 2006-03-22 | 富士通株式会社 | 道路監視用事象検知装置 |
| US6204858B1 (en) * | 1997-05-30 | 2001-03-20 | Adobe Systems Incorporated | System and method for adjusting color data of pixels in a digital image |
| US6205242B1 (en) * | 1997-09-29 | 2001-03-20 | Kabushiki Kaisha Toshiba | Image monitor apparatus and a method |
| US6141776A (en) * | 1998-04-29 | 2000-10-31 | The Boeing Company | Data-driven process generator |
| US6233510B1 (en) * | 1999-10-15 | 2001-05-15 | Meritor Heavy Vehicle Technology, Llc | Method and system for predicting road profile |
| US6297844B1 (en) | 1999-11-24 | 2001-10-02 | Cognex Corporation | Video safety curtain |
| US6678394B1 (en) | 1999-11-30 | 2004-01-13 | Cognex Technology And Investment Corporation | Obstacle detection system |
| US20010031068A1 (en) * | 2000-04-14 | 2001-10-18 | Akihiro Ohta | Target detection system using radar and image processing |
| US6701005B1 (en) | 2000-04-29 | 2004-03-02 | Cognex Corporation | Method and apparatus for three-dimensional object segmentation |
| US7167575B1 (en) | 2000-04-29 | 2007-01-23 | Cognex Corporation | Video safety detector with projected pattern |
| US6469734B1 (en) | 2000-04-29 | 2002-10-22 | Cognex Corporation | Video safety detector with shadow elimination |
| US6819779B1 (en) | 2000-11-22 | 2004-11-16 | Cognex Corporation | Lane detection system and apparatus |
| US7639842B2 (en) * | 2002-05-03 | 2009-12-29 | Imagetree Corp. | Remote sensing and probabilistic sampling based forest inventory method |
| US7162056B2 (en) * | 2002-08-16 | 2007-01-09 | Evolution Robotics, Inc. | Systems and methods for the automated sensing of motion in a mobile robot using visual data |
| DE10253510A1 (de) * | 2002-11-16 | 2004-05-27 | Robert Bosch Gmbh | Vorrichtung und Verfahren zur Verbesserung der Sicht in einem Kraftfahrzeug |
| US7684624B2 (en) * | 2003-03-03 | 2010-03-23 | Smart Technologies Ulc | System and method for capturing images of a target area on which information is recorded |
| JP4319857B2 (ja) * | 2003-05-19 | 2009-08-26 | 株式会社日立製作所 | 地図作成方法 |
| US8326084B1 (en) | 2003-11-05 | 2012-12-04 | Cognex Technology And Investment Corporation | System and method of auto-exposure control for image acquisition hardware using three dimensional information |
| WO2005093657A1 (fr) * | 2004-03-29 | 2005-10-06 | Pioneer Corporation | Dispositif et méthode d'analyse de la vue de la route |
| US7881496B2 (en) | 2004-09-30 | 2011-02-01 | Donnelly Corporation | Vision system for vehicle |
| US7359555B2 (en) * | 2004-10-08 | 2008-04-15 | Mitsubishi Electric Research Laboratories, Inc. | Detecting roads in aerial images using feature-based classifiers |
| JP4364275B2 (ja) * | 2005-02-23 | 2009-11-11 | 富士通株式会社 | 画像処理方法、画像処理装置及びコンピュータプログラム |
| US7804980B2 (en) * | 2005-08-24 | 2010-09-28 | Denso Corporation | Environment recognition device |
| US8111904B2 (en) | 2005-10-07 | 2012-02-07 | Cognex Technology And Investment Corp. | Methods and apparatus for practical 3D vision system |
| US7929798B2 (en) | 2005-12-07 | 2011-04-19 | Micron Technology, Inc. | Method and apparatus providing noise reduction while preserving edges for imagers |
| DE102006060893A1 (de) * | 2006-05-12 | 2007-11-15 | Adc Automotive Distance Control Systems Gmbh | Vorrichtung und Verfahren zum Bestimmen eines Freiraums vor einem Fahrzeug |
| DE102007012458A1 (de) * | 2007-03-15 | 2008-09-18 | Robert Bosch Gmbh | Verfahren zur Objektbildung |
| US8126260B2 (en) * | 2007-05-29 | 2012-02-28 | Cognex Corporation | System and method for locating a three-dimensional object using machine vision |
| US8890951B2 (en) * | 2008-04-24 | 2014-11-18 | GM Global Technology Operations LLC | Clear path detection with patch smoothing approach |
| US8803966B2 (en) | 2008-04-24 | 2014-08-12 | GM Global Technology Operations LLC | Clear path detection using an example-based approach |
| US8670592B2 (en) * | 2008-04-24 | 2014-03-11 | GM Global Technology Operations LLC | Clear path detection using segmentation-based method |
| JP5272042B2 (ja) * | 2011-05-12 | 2013-08-28 | 富士重工業株式会社 | 環境認識装置および環境認識方法 |
| CN102393744B (zh) * | 2011-11-22 | 2014-09-10 | 湖南大学 | 一种无人驾驶汽车的导航方法 |
| CN102514572B (zh) * | 2012-01-17 | 2014-05-28 | 湖南大学 | 一种道路偏离预警方法 |
| KR20140019501A (ko) * | 2012-08-06 | 2014-02-17 | 현대자동차주식회사 | 장애물 인식을 위한 분류기의 생성방법 |
| JP5996421B2 (ja) * | 2012-12-26 | 2016-09-21 | ヤマハ発動機株式会社 | 障害物検出装置及びそれを用いた車両 |
| CN103310006B (zh) * | 2013-06-28 | 2016-06-29 | 电子科技大学 | 一种车辆辅助驾驶***中的感兴趣区域提取方法 |
| RU2014104445A (ru) * | 2014-02-07 | 2015-08-20 | ЭлЭсАй Корпорейшн | Формирования изображения глубины с использованием информации о глубине, восстановленной из амплитудного изображения |
| KR102261329B1 (ko) * | 2015-07-24 | 2021-06-04 | 엘지전자 주식회사 | 안테나, 차량용 레이더, 및 이를 구비하는 차량 |
| JP6612135B2 (ja) * | 2016-01-14 | 2019-11-27 | 日立オートモティブシステムズ株式会社 | 車両検出装置および配光制御装置 |
| US11557132B2 (en) * | 2020-10-19 | 2023-01-17 | Here Global B.V. | Lane marking |
| US20220291701A1 (en) * | 2021-03-10 | 2022-09-15 | Flir Commercial Systems, Inc. | Thermal imaging for navigation systems and methods |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0361914A2 (fr) * | 1988-09-28 | 1990-04-04 | Honda Giken Kogyo Kabushiki Kaisha | Appareil et méthode d'appréciation de la trajectoire |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4630109A (en) * | 1985-02-28 | 1986-12-16 | Standard Telephones & Cables Public Limited Company | Vehicle tracking system |
| JPS62155140A (ja) * | 1985-12-27 | 1987-07-10 | Aisin Warner Ltd | 車両制御用道路画像入力方式 |
| US4797738A (en) * | 1986-05-19 | 1989-01-10 | Kabushiki Kaisha Tohken | Color recognition apparatus |
| JP2669031B2 (ja) * | 1989-02-28 | 1997-10-27 | 日産自動車株式会社 | 自律走行車両 |
| US4970653A (en) * | 1989-04-06 | 1990-11-13 | General Motors Corporation | Vision method of detecting lane boundaries and obstacles |
| JPH03218581A (ja) * | 1989-11-01 | 1991-09-26 | Hitachi Ltd | 画像セグメンテーション方法 |
| JPH03201110A (ja) * | 1989-12-28 | 1991-09-03 | Toyota Central Res & Dev Lab Inc | 自律走行車の位置方位検出装置 |
| GB9020082D0 (en) * | 1990-09-14 | 1990-10-24 | Crosfield Electronics Ltd | Methods and apparatus for defining contours in coloured images |
| DE69121369T2 (de) * | 1990-11-30 | 1997-01-09 | Honda Motor Co Ltd | Steuervorrichtung für einen sich selbständig bewegenden Körper und Verfahren zur Auswertung der Daten davon |
| US5301239A (en) * | 1991-02-18 | 1994-04-05 | Matsushita Electric Industrial Co., Ltd. | Apparatus for measuring the dynamic state of traffic |
| US5535314A (en) * | 1991-11-04 | 1996-07-09 | Hughes Aircraft Company | Video image processor and method for detecting vehicles |
-
1991
- 1991-03-22 FR FR9103502A patent/FR2674354A1/fr active Granted
-
1992
- 1992-04-14 WO PCT/FR1992/000329 patent/WO1993021596A1/fr active IP Right Grant
-
1996
- 1996-09-19 US US08/715,248 patent/US5706355A/en not_active Expired - Lifetime
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0361914A2 (fr) * | 1988-09-28 | 1990-04-04 | Honda Giken Kogyo Kabushiki Kaisha | Appareil et méthode d'appréciation de la trajectoire |
Non-Patent Citations (1)
| Title |
|---|
| TWENTY-SECOND ASILOMAR CONFERENCE ON SIGNALS, & COMPUTERS vol. 1, 31 Octobre 1988, PACIFIC GROVE, CALIFORNIA pages 310 - 314; F. CARTOSIO ET AL: 'A fuzzy data-fusion approach to segmentation of colour images' * |
Cited By (46)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8917169B2 (en) | 1993-02-26 | 2014-12-23 | Magna Electronics Inc. | Vehicular vision system |
| FR2706211A1 (fr) * | 1993-06-08 | 1994-12-16 | Thomson Csf | Procédé de traitement d'images routières et de suivi d'obstacles, et dispositif pour sa mise en Óoeuvre. |
| US8993951B2 (en) | 1996-03-25 | 2015-03-31 | Magna Electronics Inc. | Driver assistance system for a vehicle |
| US8842176B2 (en) | 1996-05-22 | 2014-09-23 | Donnelly Corporation | Automatic vehicle exterior light control |
| EP0810496A2 (fr) * | 1996-05-31 | 1997-12-03 | Société SAGEM | Procédé et dispositif d'identification et de localisation d'objets fixes le long d'un trajet |
| FR2749419A1 (fr) * | 1996-05-31 | 1997-12-05 | Sagem | Procede et dispositif d'identification et de localisation d'objets fixes le long d'un trajet |
| EP0810496A3 (fr) * | 1996-05-31 | 1998-08-19 | Société SAGEM | Procédé et dispositif d'identification et de localisation d'objets fixes le long d'un trajet |
| EP1383100A2 (fr) * | 1996-08-28 | 2004-01-21 | Matsushita Electric Industrial Co., Ltd. | Appareil de positionement local et méthode associée |
| EP0827127A1 (fr) * | 1996-08-28 | 1998-03-04 | Matsushita Electric Industrial Co., Ltd. | Appareil de positionnement local et méthode associée |
| US6091833A (en) * | 1996-08-28 | 2000-07-18 | Matsushita Electric Industrial Co., Ltd. | Local positioning apparatus, and a method therefor |
| EP1383100A3 (fr) * | 1996-08-28 | 2005-02-02 | Matsushita Electric Industrial Co., Ltd. | Appareil de positionement local et méthode associée |
| EP0837378A2 (fr) * | 1996-10-17 | 1998-04-22 | STMicroelectronics S.r.l. | Méthode pour l'identification des bandes de marquage dans de voies routières |
| US6212287B1 (en) | 1996-10-17 | 2001-04-03 | Sgs-Thomson Microelectronics S.R.L. | Method for identifying marking stripes of road lanes |
| EP0837378A3 (fr) * | 1996-10-17 | 1998-05-06 | STMicroelectronics S.r.l. | Méthode pour l'identification des bandes de marquage dans de voies routières |
| DE19938266A1 (de) * | 1999-08-12 | 2001-02-15 | Volkswagen Ag | Verfahren und Einrichtung zur elektronischen bzw. elektronisch visuellen Erkennung von Verkehrszeichen |
| US9436880B2 (en) | 1999-08-12 | 2016-09-06 | Magna Electronics Inc. | Vehicle vision system |
| WO2003001472A1 (fr) * | 2001-06-23 | 2003-01-03 | Lucas Industries Limited | Systeme de localisation d'objets pour vehicule routier |
| US9555803B2 (en) | 2002-05-03 | 2017-01-31 | Magna Electronics Inc. | Driver assistance system for vehicle |
| US9834216B2 (en) | 2002-05-03 | 2017-12-05 | Magna Electronics Inc. | Vehicular control system using cameras and radar sensor |
| US11203340B2 (en) | 2002-05-03 | 2021-12-21 | Magna Electronics Inc. | Vehicular vision system using side-viewing camera |
| US10683008B2 (en) | 2002-05-03 | 2020-06-16 | Magna Electronics Inc. | Vehicular driving assist system using forward-viewing camera |
| US10351135B2 (en) | 2002-05-03 | 2019-07-16 | Magna Electronics Inc. | Vehicular control system using cameras and radar sensor |
| US9171217B2 (en) | 2002-05-03 | 2015-10-27 | Magna Electronics Inc. | Vision system for vehicle |
| US10118618B2 (en) | 2002-05-03 | 2018-11-06 | Magna Electronics Inc. | Vehicular control system using cameras and radar sensor |
| US9643605B2 (en) | 2002-05-03 | 2017-05-09 | Magna Electronics Inc. | Vision system for vehicle |
| US10187615B1 (en) | 2004-04-15 | 2019-01-22 | Magna Electronics Inc. | Vehicular control system |
| US9428192B2 (en) | 2004-04-15 | 2016-08-30 | Magna Electronics Inc. | Vision system for vehicle |
| US9948904B2 (en) | 2004-04-15 | 2018-04-17 | Magna Electronics Inc. | Vision system for vehicle |
| US10015452B1 (en) | 2004-04-15 | 2018-07-03 | Magna Electronics Inc. | Vehicular control system |
| US11847836B2 (en) | 2004-04-15 | 2023-12-19 | Magna Electronics Inc. | Vehicular control system with road curvature determination |
| US10110860B1 (en) | 2004-04-15 | 2018-10-23 | Magna Electronics Inc. | Vehicular control system |
| US9609289B2 (en) | 2004-04-15 | 2017-03-28 | Magna Electronics Inc. | Vision system for vehicle |
| US8818042B2 (en) | 2004-04-15 | 2014-08-26 | Magna Electronics Inc. | Driver assistance system for vehicle |
| US10306190B1 (en) | 2004-04-15 | 2019-05-28 | Magna Electronics Inc. | Vehicular control system |
| US9008369B2 (en) | 2004-04-15 | 2015-04-14 | Magna Electronics Inc. | Vision system for vehicle |
| US10462426B2 (en) | 2004-04-15 | 2019-10-29 | Magna Electronics Inc. | Vehicular control system |
| US9736435B2 (en) | 2004-04-15 | 2017-08-15 | Magna Electronics Inc. | Vision system for vehicle |
| US10735695B2 (en) | 2004-04-15 | 2020-08-04 | Magna Electronics Inc. | Vehicular control system with traffic lane detection |
| US11503253B2 (en) | 2004-04-15 | 2022-11-15 | Magna Electronics Inc. | Vehicular control system with traffic lane detection |
| US9191634B2 (en) | 2004-04-15 | 2015-11-17 | Magna Electronics Inc. | Vision system for vehicle |
| US11148583B2 (en) | 2006-08-11 | 2021-10-19 | Magna Electronics Inc. | Vehicular forward viewing image capture system |
| US11396257B2 (en) | 2006-08-11 | 2022-07-26 | Magna Electronics Inc. | Vehicular forward viewing image capture system |
| US10787116B2 (en) | 2006-08-11 | 2020-09-29 | Magna Electronics Inc. | Adaptive forward lighting system for vehicle comprising a control that adjusts the headlamp beam in response to processing of image data captured by a camera |
| US11623559B2 (en) | 2006-08-11 | 2023-04-11 | Magna Electronics Inc. | Vehicular forward viewing image capture system |
| US10071676B2 (en) | 2006-08-11 | 2018-09-11 | Magna Electronics Inc. | Vision system for vehicle |
| US11951900B2 (en) | 2006-08-11 | 2024-04-09 | Magna Electronics Inc. | Vehicular forward viewing image capture system |
Also Published As
| Publication number | Publication date |
|---|---|
| US5706355A (en) | 1998-01-06 |
| WO1993021596A1 (fr) | 1993-10-28 |
| FR2674354B1 (fr) | 1995-05-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| FR2674354A1 (fr) | Procede d'analyse de sequences d'images routieres, dispositif pour sa mise en óoeuvre et son application a la detection d'obstacles. | |
| FR2752969A1 (fr) | Procede pour detecter un objet a partir d'images stereoscopiques | |
| EP0588815B1 (fr) | Procede et dispositif d'analyse de sequences d'images routieres pour la detection d'obstacles | |
| FR2947657A1 (fr) | Procede de detection d’un obstacle pour vehicule automobile | |
| CN112740225B (zh) | 一种路面要素确定方法及装置 | |
| AU2013213659A1 (en) | Method and system for using fingerprints to track moving objects in video | |
| FR3042283B1 (fr) | Methode de traitement d'une image radar de type sar et methode de detection de cible associee | |
| US20210285867A1 (en) | Device for detecting water on a surface and a method for detecting water on a surface | |
| CN107194343A (zh) | 基于位置相关的卷积与Fire模型的红绿灯检测方法 | |
| EP3729327A1 (fr) | Methode de reconnaissance d'objets dans une scene observee en trois dimensions | |
| FR2858447A1 (fr) | Procede et dispositif automatise de perception avec determination et caracterisation de bords et de frontieres d'objets d'un espace, construction de contours et applications | |
| EP2432660A1 (fr) | Procede et dispositif pour etendre une zone de visibilite | |
| FR2706211A1 (fr) | Procédé de traitement d'images routières et de suivi d'obstacles, et dispositif pour sa mise en Óoeuvre. | |
| EP0863488A1 (fr) | Procédé de détection de contours de relief dans une paire d'images stéréoscopiques | |
| CN110909656A (zh) | 一种雷达与摄像机融合的行人检测方法和*** | |
| Barua et al. | An Efficient Method of Lane Detection and Tracking for Highway Safety | |
| FR2779257A1 (fr) | Procede de detection de la profondeur relative entre objets dans une image a partir d'un couple d'images | |
| Na et al. | Drivable space expansion from the ground base for complex structured roads | |
| FR3103907A1 (fr) | Procede de geolocalisation et de qualification de dispositifs d’infrastructure de signalisation | |
| Broggi et al. | Artificial vision in extreme environments for snowcat tracks detection | |
| Matthews | Visual collision avoidance | |
| EP0810496B1 (fr) | Procédé et dispositif d'identification et de localisation d'objets fixes le long d'un trajet | |
| EP0359314B1 (fr) | Système de traitement d'images | |
| Mishra | Automatic moving vehicle's information extraction from one-pass WorldView-2 satellite imagery | |
| FR3080937A1 (fr) | Procede et dispositif de reconnaissance de distance en temps reel |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TP | Transmission of property | ||
| ST | Notification of lapse |