FR3047217B1

FR3047217B1 - Dispositif de determination de l'etat d'un feu de signalisation, systeme embatque comprenant un tel dispositif, vehicule comprenant un tel systeme et procede de determination associe

Info

Publication number: FR3047217B1
Application number: FR1650867A
Authority: FR
Inventors: Alexandre Garnault; Thomas Heitzmann; Paulo Resende; Benazouz BRADAI
Original assignee: Valeo Schalter und Sensoren GmbH
Current assignee: Valeo Schalter und Sensoren GmbH
Priority date: 2016-02-03
Filing date: 2016-02-03
Publication date: 2019-08-16
Anticipated expiration: 2036-02-03
Also published as: FR3047217A1

Abstract

L'invention concerne un dispositif de détermination de l'état d'un feu de signalisation bordant une route empruntée par un véhicule. Ce dispositif comprend un élément de réception de données (POS) indicatives d'une position du feu de signalisation relativement au véhicule, et un élément de réception d'une image (IMG) capturée par un capteur d'image et représentant un environnement rencontré par le véhicule. Le dispositif comprend un module (16) conçu pour déterminer, en l'absence d'identification de feu de signalisation dans l'image capturée (IMG) et lorsque lesdites données (POS) indiquent que le feu de signalisation est à portée du véhicule, l'état de ce feu de signalisation par détection d'une situation liée à l'état du feu de signalisation. Un système embarqué, un véhicule et un procédé de détermination associés sont également proposés.

Description

Dispositif de détermination de l’état d’un feu de signalisation,système embarqué comprenant un tel dispositif, véhicule comprenant un telsystème et procédé de détermination associé

Domaine technique auquel se rapporte l'invention

La présente invention concerne la détermination de l’état des feux designalisation, en particulier dans les véhicules autonomes ou équipés de systèmesd’aide à la conduite.

Elle concerne plus particulièrement un dispositif de détermination del’état d’un feu de signalisation, un système embarqué comprenant un tel dispositif,un véhicule comprenant un tel système et un procédé de détermination associé. L’invention s’applique particulièrement avantageusement dans le casd’un défaut de visibilité entre un capteur d’image du système embarqué et le feude signalisation dont on souhaite déterminer l’état.

Arriere-plan technologique

Dans les véhicules équipés de systèmes d’aide à la conduite, commedans les véhicules autonomes, on prévoit d’utiliser un dispositif de déterminationde l’état des feux de signalisation bordant la route empruntée.

Comme décrit par exemple dans le document US 2015/329 107, un teldispositif reçoit une image capturée par un capteur d’image et représentant unenvironnement rencontré par le véhicule et incluant une partie de la routeempruntée.

Le dispositif peut ainsi identifier un feu de signalisation dans l’imagecapturée et déterminer l’état de ce feu de signalisation par analyse de pixelsreprésentatifs du feu de signalisation identifié dans l’image capturée.

Un actionneur peut ainsi être commandé de manière à contrôler latrajectoire du véhicule en fonction de l’état déterminé, ainsi qu’éventuellement enfonction de données indicatives d’une position du feu de signalisation relativementau véhicule, fournies par exemple par un système de navigation.

Dans cette solution, l’identification du feu de signalisation dans l’imagecapturée est toutefois nécessaire à la détermination de l’état du feu et undysfonctionnement risque donc de se produire lorsque le feu de signalisation n’estpas visible par le capteur d’image, par exemple en présence d’un obstacle entre lecapteur d’image et le feu de signalisation.

Objet de l’invention

Dans ce contexte, la présente invention propose un dispositif dedétermination de l’état (courant) d’un feu de signalisation bordant une routeempruntée par un véhicule, le dispositif comprenant un élément de réception dedonnées indicatives d’une position du feu de signalisation relativement auvéhicule, et un élément de réception d’une image capturée par un capteur d’imageet représentant un environnement rencontré par le véhicule (et pouvant alorsnotamment inclure une partie de la route empruntée), caractérisé par un moduleconçu pour déterminer, en l’absence d’identification de feu de signalisation dansl’image capturée et lorsque lesdites données indiquent que le feu de signalisationest à portée du véhicule, l’état de ce feu de signalisation par détection d’unesituation liée à l’état du feu de signalisation.

Ainsi, lorsqu’un problème de visibilité empêche l’identification d’un feu designalisation dans l’image capturée alors que le véhicule approche le feu designalisation (d’après les données indicatives de la position du feu de signalisationrelativement au véhicule), le dispositif pallie l’absence d’identification de feu designalisation dans l’image capturée par la détection d’une situation liée à l’état dufeu de signalisation, ce qui permet d’en déduire indirectement l’état courant du feude signalisation. D’autres caractéristiques envisageables à titre optionnel (et donc nonlimitatif) sont les suivantes : - le dispositif comprend en outre un module conçu pour déterminer, encas d’identification d’un feu de signalisation dans l’image capturée, l’état du feu designalisation par analyse de pixels représentatifs du feu de signalisation identifiédans l’image capturée ; - la détection de la situation est réalisée par analyse de l’image capturéeou d’une séquence d’images capturées par le capteur d’images ; - la détection de la situation comprend l’identification d’un autre véhiculeou d’au moins un piéton dans l’image capturée ou dans la séquence d’imagescapturées ; - les données indiquent que le feu de signalisation est à portée duvéhicule lorsque la distance entre le feu de signalisation et le véhicule, déterminéeen fonction desdites données, est inférieure à un seuil prédéfini ; - les données indiquent que le feu de signalisation est à portée du véhicule lorsque le feu de signalisation est situé dans un angle solide associé aucapteur d’image. L’invention propose également un système embarqué pour véhiculecomprenant un dispositif de détermination tel qu’évoqué ci-dessus, ledit capteurd’image et une unité de navigation conçu pour produire lesdites données. L’invention propose aussi un véhicule (tel qu’un véhicule autonome)comprenant un tel système embarqué, dans lequel un actionneur est commandéen fonction de l’état du feu de signalisation déterminé par ledit dispositif dedétermination et d’une information d’état du feu de signalisation reçue via unréseau de données véhicule-infrastructure. L’invention propose enfin un procédé de détermination de l’état d’un feude signalisation bordant une route empruntée par un véhicule, comprenant lesétapes suivantes : - recherche du feu de signalisation dans une image capturée par uncapteur d’image et représentant un environnement rencontré par le véhicule etincluant une partie de la route empruntée ; - en l’absence d’identification (à l’étape de recherche) du feu designalisation dans l’image capturée et lorsque des données indicatives d’uneposition du feu de signalisation relativement au véhicule indiquent que le feu designalisation est à portée du véhicule, détermination de l’état de ce feu designalisation par détection d’une situation liée à l’état du feu de signalisation.

On peut prévoir qu’en cas d’identification d’un feu de signalisation dansl’image capturée, l’état du feu de signalisation soit déterminé par analyse de pixelsreprésentatifs du feu de signalisation identifié dans l’image capturée.

Les données susmentionnées peuvent par ailleurs être produites par uneunité de navigation.

Description detaillee d’un exemple de réalisation

La description qui va suivre en regard des dessins annexés, donnés àtitre d’exemples non limitatifs, fera bien comprendre en quoi consiste l’invention etcomment elle peut être réalisée.

Sur les dessins annexés : - la figure 1 représente schématiquement les éléments principaux d’unsystème embarqué dans un véhicule ; - la figure 2 représente, sous forme de blocs fonctionnels, une unité de commande du système embarqué de la figure 1 ; - la figure 3 représente une intersection rencontrée par le véhiculesusmentionné ; et - la figure 4 illustre le positionnement du véhicule au sein d’une cartenumérique représentant notamment l’intersection précitée.

La figure 1 représente schématiquement les éléments principaux d’unsystème embarqué dans un véhicule V.

Ce système comprend un dispositif de localisation du véhicule 2, uneunité de navigation 4, une base de données cartographiques 5, un capteurd’image 6, un actionneur 8 et une unité de commande 10.

Le dispositif de localisation du véhicule 2 est par exemple un dispositif degéolocalisation (typiquement de type GPS pour "Global Positioning System"). Ledispositif de localisation du véhicule 2 génère ainsi des données Pvreprésentatives de la position du véhicule dans un référentiel donné (ici leréférentiel terrestre). L’unité de navigation 4 reçoit les données Pv et peut ainsi déterminer laposition courante du véhicule au sein d’une carte C mémorisée dans la base dedonnées cartographiques 5, et extraire éventuellement des éléments de la carte Csitués à proximité du véhicule V, en particulier un feu de signalisation F (commevisible en figure 4). L’unité de navigation 4 peut ainsi générer des données POSreprésentatives de la position relative du feu de signalisation F par rapport auvéhicule V. En pratique, ces données POS peuvent comprendre par exemple lescoordonnées du feu de signalisation F dans un repère lié au véhicule V. Selon uneautre possibilité envisageable, ces données POS peuvent comprendre lescoordonnées courantes du véhicule V dans un référentiel donné (ici le référentielterrestre comme déjà indiqué) et les coordonnées du feu de signalisation F dansce même référentiel.

Le capteur d’image 6 est par exemple une caméra vidéo. Le capteurd’image 6 est placé dans le véhicule V de manière à capturer des images IMG del’environnement extérieur du véhicule V, situé à l’avant du véhicule V, dans unangle solide A correspondant au champ de vision du capteur d’image 6. Cetenvironnement comprend ici la route empruntée par le véhicule V et bordée par lefeu de signalisation F. L’actionneur 8 permet de commander au moins en partie la trajectoire duvéhicule V. Ainsi, l’actionneur 8 peut être par exemple un système de freinage, ungroupe motopropulseur ou un système de commande de direction. L’unité de commande 10 est conçue pour commander, au moyen d’unsignal de commande CMD, l’actionneur 8, en fonction notamment des images IMGcapturées par le capteur d’image 6 et des informations POS représentatives de laposition relative du feu de signalisation F par rapport au véhicule V, commeexpliqué ci-après. L’unité de commande 10 peut commander l’actionneur 8 dans un butd’assistance à la conduite (l’unité de commande 10 étant par exemple conçuepour commander un freinage du véhicule V à l’approche du feu de signalisation Fsi le conducteur n’a pas suffisamment décéléré), ou dans un but de pilotageautomatique du véhicule V (cas d’un véhicule autonome).

Dans certains modes de réalisation (et en particulier dans le cas duvéhicule autonome), l’unité de commande 10 peut commander l’actionneur 8 nonseulement en fonction de l’état du feu de signalisation F déterminé au sein del’unité de commande 10 comme décrit ci-dessous, mais également en fonctiond’une information relative à l’état de ce feu de signalisation F (information reçuepar exemple via un réseau de données établi entre le véhicule V et l’infrastructureroutière dont fait partie le feu de signalisation F).

La figure 2 représente l’unité de commande 10 sous forme de blocsfonctionnels.

Chaque bloc fonctionnel 12, 14, 16, 18 représenté sur la figure 2correspond à une fonctionnalité particulière mise en oeuvre par l’unité decommande 10. Plusieurs (voire tous les) blocs fonctionnels peuvent toutefois enpratique être mis en oeuvre par une même entité physique, par exemple unprocesseur sur lequel s’exécute des instructions de programme mémorisées dansune mémoire associé au processeur (chaque bloc fonctionnel étant alors dans cecas mis en oeuvre par l’exécution d’un jeu particulier d’instructions mémoriséesdans ladite mémoire). L’unité de commande 10 comprend un ensemble de blocs fonctionnels12, 14, 16 qui forment, comme expliqué ci-dessous, un dispositif 20 dedétermination de l’état d’un feu de signalisation bordant la route empruntée par levéhicule V.

Cet ensemble comprend un premier bloc 12 (bloc d’identification) conçupour rechercher et identifier un feu de signalisation dans la dernière image IMGreçue du capteur d’image 6. On prévoit ici que le bloc d’identification 12 n’identifieun feu de signalisation dans l’image IMG que si ce feu de signalisation est relatif àl’itinéraire couramment suivi par le véhicule V (un tel itinéraire pouvant parexemple être mémorisé dans l’unité de navigation 4).

Si un tel feu de signalisation F est identifié dans l’image IMG, le blocd’identification 12 détermine l’état de ce feu de signalisation F par analyse despixels représentatifs du feu de signalisation F et transmet un premier signal Sreprésentatif de l’état du feu de signalisation F ("feu vert', "feu orange" ou "feurouge") à un quatrième bloc 18 (bloc de décision).

Si aucun feu de signalisation n’est identifié dans l’image IMG (commerelatif à l’itinéraire suivi par le véhicule V), le bloc d’identification 12 active lesecond bloc 14 (bloc de vérification).

Le bloc de vérification 14 reçoit les informations POS représentatives dela position relative du feu de signalisation F par rapport au véhicule V etdétermine, en fonction de ces informations POS, si le feu de signalisation F estsitué dans l’angle solide associé au capteur d’image 6, à une distance du véhiculeV inférieure à un seuil prédéfini.

Si le bloc de vérification 14 détermine que le feu de signalisation F estsitué dans l’angle solide A associé au capteur d’image 6 (comme représenté enfigure 4) et à une distance inférieure au seuil prédéfini, ceci signifie que l’absenced’identification (au sein du bloc d’identification 12) provient d’un défaut de visibilitédu feu de signalisation F depuis le capteur d’image 6.

Un tel défaut de visibilité peut être généré par exemple par la présenced’un obstacle O (tel qu’un autre véhicule) entre le véhicule V (où est situé lecapteur d’image 6) et le feu de signalisation F, comme représenté en figure 3. Untel défaut de visibilité peut également être généré par une mauvaise qualité del’image IMG capturée, par exemple à cause d’une sous-exposition du fait d’uneluminosité ambiante importante.

Le bloc de vérification 14 commande dans ce cas l’activation dutroisième bloc 16 (bloc d’analyse), dont le fonctionnement est décrit plus bas.

Si le bloc de vérification 14 détermine que le feu de signalisation F n’estpas situé dans l’angle solide A associé au capteur d’image 6, ou que ce feu de signalisation est situé à une distance supérieure au seuil prédéfini, ceci indiquequ’il n’y a pas de feu de signalisation à proximité et le bloc de vérification 14transmet alors au bloc de décision 18 un signal N représentatif de l’absence defeu de signalisation.

Lorsqu’il est activé, le bloc d’analyse 16 recherche, dans la dernièreimage IMG reçue (ou dans la séquence d’images IMG reçues), une situation liée àl’état du feu de signalisation F (situé dans l’angle solide A comme déterminé par lebloc de vérification 14) afin d’en déduire l’état de ce feu de signalisation F(accompagné éventuellement d’un indice de confiance associé, variable selon lasituation détectée).

Par exemple, l’une quelconque des situations suivantes (déterminée paranalyse de l’image IMG précitée ou de la séquence d’images précitée) permet aubloc d’analyse 16 de déterminer que le feu de signalisation F est à l’état "feurouge" : - au moins un véhicule (sans feux de détresse) empruntant la mêmeroute que le véhicule V est à l’arrêt à l’intersection ; - au moins un véhicule traverse l’intersection dans une directiontransverse par rapport à celle empruntée par le véhicule V ; - un piéton traverse la voie empruntée par le véhicule V. L’une quelconque des situations suivantes permet au contraire au blocd’analyse 16 de déterminer que le feu de signalisation F est à l’état "feu vert' : - un véhicule empruntant la même route que le véhicule V s’engage dansl’intersection dans la même direction que celle prévue dans l’itinéraire suivi par levéhicule V ; - un véhicule suivant le véhicule V fait un appel de phares (détecté parexemple par un capteur d’image supplémentaire dirigé vers l’arrière du véhiculeV); - un véhicule suivant le véhicule V actionne son avertisseur sonore, cequi peut être détecté par exemple en déterminant la vitesse d’un tel véhicule paranalyse du son émis, en tenant compte de l’effet Doppler, et en comparantéventuellement la vitesse ainsi déterminée à celles des véhicules proches, lorsqueces vitesses sont connues (afin d’en déduire quel véhicule a actionné sonavertisseur sonore) ; il est également possible d’analyser le type de son émis(quant à son intensité et/ou sa durée et/ou fréquence de répétition) afin de renforcer l’indice de confiance susmentionné ; - des piétons sont présents sur les passages piétons traversant une voietransverse par rapport à celle empruntée par le véhicule V et aucun piéton netraverse la voie empruntée par le véhicule V.

Le bloc d’analyse 16 peut donc transmettre au bloc de décision 18 unsecond signal S’représentatif de l’état du feu de signalisation F ainsi déterminé.

Le bloc de décision 18 reçoit par conséquent le premier signal Sreprésentatif de l’état du feu de signalisation F (déterminé par le blocd’identification 12), ou le second signal S’ représentatif de l’état du feu designalisation F (déterminé par le bloc d’analyse 16), ou encore le signal Nreprésentatif de l’absence de feu de signalisation (déterminé par le bloc devérification 14).

Le bloc de décision 18 peut alors générer le signal de commande CMDde l’actionneur 8 en fonction du signal reçu S, S’, N.

En particulier, en cas de réception d’un premier signal S ou d’un secondsignal S’indiquant que le feu de signalisation F est à l’état "feu rouge", le bloc dedécision 18 génère un signal de commande CMD qui entraîne le ralentissementpuis l’arrêt du véhicule V (par décélération lorsque l’actionneur 8 est un groupemotopropulseur ou par freinage lorsque l’actionneur 8 est un système defreinage).

En cas de réception d’un premier signal S ou d’un second signal S’indiquant que le feu de signalisation F est à l’état "feu vert' (comme d’ailleurs encas de réception du signal N représentatif de l’absence de feu de signalisation), lebloc de décision 18 génère un signal de commande CMD qui entraîne le maintiende la vitesse du véhicule V, voire une accélération du véhicule V (jusqu’à unevitesse donnée) si le véhicule V est à l’arrêt.

On peut prévoir que le signal de commande CMD généré soit différentselon que c’est le premier signal S ou le second signal S’ qui indique un étatdonné (ici "feu vert') du feu de signalisation F.

On peut ainsi prévoir par exemple que le signal de commande CMDcorresponde à une première vitesse de consigne du véhicule V (par exemple40 km/h) lorsque le premier signal S indique l’état "feu vert', et à une secondevitesse de consigne du véhicule V (inférieure à la première vitesse, par exemple20 km/h) lorsque le second signal S’indique l’état "feu vert').

Comme déjà indiqué, on peut également prévoir que les signaux N, S, S’générés par le dispositif 20 de détermination de l’état du feu de signalisationsoient utilisés comme des signaux redondants, en complément d’une informationindicative de l’état du feu de signalisation reçue via un réseau de donnéesvéhicule-infrastructure. Dans un tel cas (par exemple au sein d’un véhiculeautonome), l’actionneur 8 est commandé en fonction de l’état du feu designalisation tel que déterminé par le dispositif 20 (que ce soit par analyse depixels représentatifs du feu de signalisation identifié dans une image capturée oupar détection d’une situation liée à l’état du feu de signalisation) et de l’informationd’état reçue du réseau véhicule-infrastructure (l’état déterminé par le dispositif 20et l’information d’état reçue pouvant être combinés par exemple au moyen d’unefonction logique prédéfinie, en tenant compte éventuellement de l’indice deconfiance associé, comme mentionné ci-dessus, à la détermination effectuée parle dispositif 20).

Claims

REVENDICATIONS

1. Dispositif de détermination de l’état d’un feu de signalisation (F)bordant une route empruntée par un véhicule (V), te dispositif comprenant : - un élément de réception de données (POS) indicatives d’une positiondu feu de signalisation (F) relativement au véhicule (V) ; - un élément de réception d'une image (IMG) capturée par un capteurd’image (6) et représentant un environnement rencontré par le véhicule (V) ; comprenant un module (16) conçu pour déterminer, en l'absenced’identification de feu de signalisation (F) dans l'image capturée (IMG) et lorsquetesdites données (POS) indiquent que ie feu de signalisation (F) est à portée duvéhicule (V), l'état dé ce feu de signalisation (F) par détection d’une situation liée àl’état du feu de signalisation (F) caractérisé en ce que les données (POS) indiquent que le feu designalisation (F) est â portée du véhicule (V) soit lorsque la distance entre le feude signalisation (F) et le véhicule (V), déterminée en fonction desdites données(POS), est inférieure à un seuil prédéfini ; soit lorsque le feu de signalisation (F)est situé dans un angle solide (A) associé au capteur d’image (6).
2. Dispositif de détermination selon là revendication 1, comprenant enoutre un module (12) conçu pour déterminer, en cas d'identification d’un feu designalisation (F) dans l’image capturée (IMG), l’état du feu de signalisation (F) paranalyse de pixels représentatifs du feu de signalisation (F) identifié dans l’imagecapturée (IMG). 3. Dispositif de détermination selon la revendication 1 ou 2, dans lequella détection de la situation est réalisée par analyse de l’image capturée (IMG) oud’une séquence d’images capturées par le capteur d’images (6). 4. Dispositif de détermination selon la revendication 3, dans lequel ladétection de la situation comprend l’identification d’un autre véhicule (O) ou d’aumoins un piéton dans l’image capturée (IMG) ou dans la séquence d'imagescapturées. 5. Système embarqué pour véhicule comprenant un dispositif dedétermination (20) selon l'une des revendications 1 à 4, ledit capteur d’image (6)et une unité de navigation (4) conçu pour produire lesdites données (POS). 6. Véhicule comprenant un système embarqué selon la revendication 5,dans lequel un actionneur (8) est commandé en fonction de l’état du feu designalisation déterminé par ledit dispositif de détermination (20) et d’uneinformation d’état du feu de signalisation reçue via un réseau de donnéesvéhicule-infrastructure. 7. Procédé de détermination de l’état d'un feu de signalisation (F)bordant une route empruntée par un véhicule (V), comprenant les étapessuivantes : - recherche du feu de signalisation (F) dans une image (IMG) capturéepar un capteur d’image (6) et représentant un environnement rencontré par levéhicule (V) et incluant une partie de la route empruntée ; - en l'absence d'identification du feu de signalisation (F) dans l’imagecapturée (IMG) et lorsque des données (POS) indicatives d'une position du feu designalisation (F) relativement au véhicule (V) indiquent que le feu de signalisation(F) est à portée du véhicule (V), détermination de l'état de ce feu de signalisation(F) par détection d'une situation liée à l'état du feu de signalisation (F) caractérisé en ce que les données (POS) indiquent que le feu designalisation (F) est à portée du véhicule (V) soit lorsque la distance entre le feude signalisation (F) et le véhicule (V), déterminée en fonction desdites données(POS), est inférieure â uh seuil prédéfini ; soit lorsque le feu de signalisation (F)est situé dans un angle solide (A) associé au capteur d’image (6).
8. Procédé de détermination selon la revendication 7, dans lequel, encas d’identification d’un feu de signalisation (F) dans l'image capturée (IMG), l’étatdu feu de signalisation (F) est déterminé par analyse de pixels représentatifs dufeu de signalisation (F) identifié dans l’image capturée (IMG). 9. Procédé de détermination selon la revendication 7 ou 8, dans lequellesdites données (POS) sont produites par une unité de navigation (4),