FR3106918A1 - Procédé et dispositif de reconstruction des voies - Google Patents
Procédé et dispositif de reconstruction des voies Download PDFInfo
- Publication number
- FR3106918A1 FR3106918A1 FR2000926A FR2000926A FR3106918A1 FR 3106918 A1 FR3106918 A1 FR 3106918A1 FR 2000926 A FR2000926 A FR 2000926A FR 2000926 A FR2000926 A FR 2000926A FR 3106918 A1 FR3106918 A1 FR 3106918A1
- Authority
- FR
- France
- Prior art keywords
- line
- lane
- lines
- vehicle
- road
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 42
- 238000001514 detection method Methods 0.000 claims abstract description 34
- 238000004364 calculation method Methods 0.000 claims abstract description 6
- 238000013519 translation Methods 0.000 claims description 13
- 230000008447 perception Effects 0.000 description 14
- 230000009466 transformation Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000002688 persistence Effects 0.000 description 4
- 230000001174 ascending effect Effects 0.000 description 3
- 102100034112 Alkyldihydroxyacetonephosphate synthase, peroxisomal Human genes 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 2
- 101000799143 Homo sapiens Alkyldihydroxyacetonephosphate synthase, peroxisomal Proteins 0.000 description 2
- 238000000848 angular dependent Auger electron spectroscopy Methods 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Traffic Control Systems (AREA)
Abstract
L’invention fournit un dispositif de reconstruction de voies routières (10) pour véhicule (2), le véhicule étant équipé d’au moins un dispositif de détection (120) apte à acquérir des images d’une portion de la route de circulation située à l'avant du véhicule. Le dispositif de reconstruction des voies est configuré pour recevoir des données de lignes représentant un ensemble de lignes dans un format de représentation donné, les données de lignes étant dérivées des images acquises par les dispositifs de détection. Le dispositif comprend une unité de sélection (102) configurée pour sélectionner chaque paire de lignes de l’ensemble de lignes correspondant à deux positions de lignes successives dans la direction de l’axe des ordonnées, l’axe des ordonnées correspondant à la direction du mouvement latéral du véhicule et l’axe des abscisses correspondant à la direction du mouvement longitudinal du véhicule sur la route. Le dispositif comprend en outre un unité de détermination de voie (103) configurée pour créer une voie délimitée par des lignes de délimitation définies par les lignes d’une paire de ligne sélectionnée par l’unité de sélection si les lignes de la paire ont une longueur commune supérieure ou égale à un seuil de longueur prédéfini, l’unité de détermination de voie comprenant une fonction de calcul (1030) de ligne centrale de voie configurée pour calculer la ligne centrale de ladite voie créée et un ensemble de paramètres géométriques associés à ladite ligne centrale, chaque paramètre géométrique de la ligne étant calculé en effectuant une moyenne des paramètres géométriques correspondants, associés aux lignes de la paire de lignes. Figure pour l’abrégé : Fig.12
Description
L’invention concerne de manière générale les systèmes de contrôle de véhicules et en particulier un dispositif et un procédé de reconstruction de voie.
Les véhicules automatisés, tels que les véhicules autonomes et connectés utilisés dans les systèmes ITS (Intelligent Transport Systems), sont classiquement équipés de systèmes d’aide à la conduite tels que des systèmes ADAS (acronyme pour «Advanced driver-assistance systems») ou des systèmes AD (acronyme pour «autonomous driving»). De tels systèmes d’aide à la conduite utilisent une représentation des voies des routes générées à l’aide d’informations mesurées par des capteurs embarqués sur le véhicule, tels que des caméras de vision ou des capteurs radars, qui détectent le marquage des routes comme par exemple les lignes de marquage au sol ou les bords de route, tels que les barrières en bords de route. De telles représentations doivent être aussi fiables que possible pour garantir la sécurité des passagers et/ou optimiser la conduite. Cependant, les informations détectées sont généralement relatives aux lignes marquées sur le sol, aux barrières présentes, ou aux lignes de marquage des bords de routes.
Les systèmes d’aide à la conduite peuvent supporter des fonctionnalités d’aide à la conduite utilisant une reconstruction des voies, telle qu’une fonctionnalité de changement de voie automatique pour aider le conducteur à changer de file, notamment lors des dépassements sur une route à voies multiples, en vérifiant la disponibilité de la voie cible.
En particulier, la reconstruction de la ligne centrale d’une voie au moyen des informations de capteurs embarqués sur le véhicule est nécessaire à la planification ou à la prédiction des trajets du véhicule qui doit se déplacer au centre des voies où il circule pour être en sécurité.
Des solutions ont été proposées pour détecter une voie en utilisant une classification d’informations de couleurs, comme par exemple la demande KR101191308. Une autre solution a été proposée dans CN103136341 pour reconstruire des lignes de voie en utilisant des courbes de Bézier (clothoïdes). Une telle solution reconstruit les voies au niveau de la phase de détection des lignes. Dans US9646214, un dispositif de reconnaissance de lignes a été proposé.
Dans FR3043975A1, il a été proposé un procédé de maintien d’une trajectoire de véhicule à l’intérieur d’une voie de roulage en suivant la trajectoire centrale de la voie. Cependant, une telle solution ne permet pas de générer une représentation des voies routières ni de la trajectoire centrale de la voie, à partir des données de capteurs. Des solutions de contrôle de position de véhicule ont été proposées pour centrer le positionnement d’un véhicule dans une voie, comme la demande FR3069222 A1. Cependant, de telles solutions sont spécifiques à des voies de largeur variable.
Plus généralement, les solutions existantes ne permettent pas une reconstruction des voies suffisamment précise pour ne pas requérir de correction de trajectoire, en créant notamment une ligne centrale à suivre qui soit aussi conforme que possible à la réalité de terrain.
Ainsi, il existe un besoin pour un système et un procédé de contrôle de conduite capable de reconstruire efficacement les lignes d’une voie routière dans laquelle circule un véhicule à partir des informations reçues du système de perception embarqué sur le véhicule.
Définition générale de l’invention
L’invention vient améliorer la situation en proposant un procédé de reconstruction de voies routières implémenté dans un véhicule circulant sur une route, le véhicule étant équipé d’au moins un dispositif de détection apte à acquérir des images d’une portion de la route de circulation située à l'avant du véhicule.
Le procédé comprend l’étape consistant àrecevoir des données de lignes représentant un ensemble de lignes dans un format de représentation donné, les données de lignes étant dérivées des images acquises par les dispositifs de détection, chaque point d’une ligne étant associé à des coordonnées dans un repère cartésien, l’axe des abscisses du repère correspondant à la direction du mouvement longitudinal du véhicule sur la route et l’axe des ordonnées correspondant à la direction du mouvement latéral du véhicule, chaque ligne représentée par les données de lignes étant associée à un ensemble de paramètres géométriques définis par le format.
Le procédé comprend avantageusement, pour chaque paire de lignes de l’ensemble de lignes correspondant à deux positions de lignes successives dans la direction de l’axe des ordonnées, les étapes suivantes consistant à:
- créer une voie délimitée par des lignes de délimitation définies par les lignes de la paire de ligne si les lignes de la paire ont une longueur commune supérieure ou égale à un seuil de longueur prédéfini ;
- calculer la ligne centrale de la voie créée et un ensemble de paramètres géométriques associés à la ligne centrale, chaque paramètre géométrique de la ligne centrale étant calculé en effectuant une moyenne des paramètres géométriques correspondants, associés aux lignes de la paire de lignes.
- créer une voie délimitée par des lignes de délimitation définies par les lignes de la paire de ligne si les lignes de la paire ont une longueur commune supérieure ou égale à un seuil de longueur prédéfini ;
- calculer la ligne centrale de la voie créée et un ensemble de paramètres géométriques associés à la ligne centrale, chaque paramètre géométrique de la ligne centrale étant calculé en effectuant une moyenne des paramètres géométriques correspondants, associés aux lignes de la paire de lignes.
Dans un mode de réalisation, les données de lignes peuvent être préalablement triées par ordre croissant des ordonnées d’origine associées à chaque ligne.
Avantageusement, chaque ligne représentée par des données de lignes peut être associée à un identifiant de ligne.
Dans un mode de réalisation, l’identifiant de ligne peut être un entier, les identifiants de lignes ayant une valeur croissant avec la position de la ligne selon l’axe des ordonnées.
En particulier, un identifiant de voie peut être affecté à chaque voie à partir des identifiants des lignes constituant les lignes de délimitation de la voie.
Dans un mode de réalisation, le procédé peut comprendre en outre une étape consistant à diminuer la longueur d’une ligne de délimitation d’une voie créée, ce qui fournit une ligne de délimitation modifiée, s’il est déterminé une intersection entre la ligne de délimitation et la ligne centrale de la voie, la ligne centrale étant recalculée à partir de la ligne de délimitation modifiée.
Dans un mode de réalisation, le procédé peut comprendre une étape de translation orthogonale d’une des deux lignes de délimitation de la voie créée dans la direction de l’axe des ordonnées vers l’autre ligne de délimitation, ce qui fournit une ligne virtuelle, si la largeur de la voie est supérieure ou égale à un seuil de largeur inférieur, la voie créée étant remplacée par deux sous voies, chacune des sous voies étant délimitée par l’une des lignes de délimitation de la voie créée et par la ligne virtuelle.
Le procédé peut en outre comprendre une étape consistant à supprimer une voie créée si la largeur de la voie est strictement inférieure à un seuil de largeur supérieur.
Dans un mode de réalisation, le procédé peut comprendre une étape de détermination de la largeur d’une voie créée, la largeur de voie étant déterminée en projetant un point d’origine de la ligne centrale de la voie sur chaque bord de la voie, ce qui fournit des points projetés au niveau des bords, la largeur de la voie étant calculée comme étant égale à la somme de deux segments, chaque segment étant délimité par le point d’origine et le point projeté sur chaque bord.
Dans un mode de réalisation, le procédé peut comprendre une étape consistant à substituer la ligne centrale d’une voie par une ligne centrale alternative, si une condition de validité géométrique de voie n’est pas satisfaite, la ligne centrale alternative étant déterminée en fonction de critères relatifs à la valeur absolue de la différence entre les longueurs des deux lignes de délimitation de la voie ou à la valeur absolue de la différence entre les courbures des lignes de délimitation.
Dans un mode de réalisation, le procédé peut comprendre une étape consistant à substituer la ligne centrale d’une voie par une ligne centrale alternative, si une condition de validité géométrique de voie n’est pas satisfaite, la ligne centrale alternative étant déterminée en appliquant une opération de translation orthogonale de la ligne de délimitation de voie la plus longue, selon l’axe des ordonnées, et en direction de l’autre ligne de délimitation, notamment d’une distance égale à la moitié de la largeur de voie initiale.
En particulier, chaque voie créée peut être associée à des informations de description de voie comprenant le type de chaque ligne de délimitation de la voie, l’identifiant de chaque ligne de délimitation de la voie, et/ou la largeur de la voie.
Dans un mode de réalisation, le format de représentation des lignes peut être une représentation sous forme de clothoïdes, les informations de description des voies comprenant en outre la forme clothoïde des deux lignes de délimitation et la forme clothoïde de la ligne centrale.
Il est en outre proposé un dispositif de reconstruction de voies routières implémenté dans un véhicule circulant sur une route, le véhicule étant équipé d’au moins un dispositif de détection apte à acquérir des images d’une portion de la route de circulation située à l'avant du véhicule. Le dispositif de reconstruction des voies est configuré pour recevoir des données de lignes représentant un ensemble de lignes dans un format de représentation donné, les données de lignes étant dérivées des images acquises par les dispositifs de détection, chaque point de ligne étant associé à des coordonnées dans un repère cartésien, l’axe des abscisses du repère correspondant à la direction du mouvement longitudinal du véhicule sur la route et l’axe des ordonnées correspondant à la direction du mouvement latéral du véhicule, chaque ligne représentée par les données de lignes étant associée à un ensemble de paramètres géométriques définis par le format.
Avantageusement, le dispositif comprend:
- une unité de sélection configurée pour sélectionner chaque paire de lignes de l’ensemble de lignes correspondant à deux positions de lignes successives dans la direction de l’axe des ordonnées,
- un unité de détermination de voie configurée pour créer une voie délimitée par des lignes de délimitation définies par les lignes d’une paire de ligne sélectionnée par l’unité de sélection si les lignes de la paire ont une longueur commune supérieure ou égale à un seuil de longueur prédéfini, l’unité de détermination de voie comprenant une fonction de calcul de ligne centrale de voie configurée pour calculer la ligne centrale de la voie créée et un ensemble de paramètres géométriques associés à la ligne centrale, chaque paramètre géométrique de la ligne étant calculé en effectuant une moyenne des paramètres géométriques correspondants, associés aux lignes de la paire de lignes.
- une unité de sélection configurée pour sélectionner chaque paire de lignes de l’ensemble de lignes correspondant à deux positions de lignes successives dans la direction de l’axe des ordonnées,
- un unité de détermination de voie configurée pour créer une voie délimitée par des lignes de délimitation définies par les lignes d’une paire de ligne sélectionnée par l’unité de sélection si les lignes de la paire ont une longueur commune supérieure ou égale à un seuil de longueur prédéfini, l’unité de détermination de voie comprenant une fonction de calcul de ligne centrale de voie configurée pour calculer la ligne centrale de la voie créée et un ensemble de paramètres géométriques associés à la ligne centrale, chaque paramètre géométrique de la ligne étant calculé en effectuant une moyenne des paramètres géométriques correspondants, associés aux lignes de la paire de lignes.
Brève Description des Figures
D’autres caractéristiques, détails et avantages de l’invention ressortiront à la lecture de la description faite en référence aux dessins annexés donnés à titre d’exemple et qui représentent, respectivement:
Description détaillée de la demande
La figure 1 représente schématiquement une voie de circulation 50 sur laquelle circule un véhicule 2.
Le véhicule 2 peut être un véhicule automatisé ou semi-automatisé apte à circuler sur une route 5. La route peut comprendre au moins une voie routière 50. Le véhicule 2 peut être tout type de véhicule 2 apte à circuler sur une voie 50 comprenant des lignes de marquage au sol ou des bords de route.
Le véhicule 2 comprend un système de perception 12 utilisant un ensemble de dispositifs de détection 120 comprenant un ou plusieurs dispositifs de détection agencés sur le véhicule 2. Les dispositifs de détection 120 sont configurés pour fournir des signaux représentatifs d’une image de la route 5 sur laquelle circule le véhicule 2. Les dispositifs de détection 120 peuvent comprendre une ou plusieurs caméras, radar ou autre capteur. Une caméra 120 peut être équipée d'un capteur photosensible sensible au rayonnement d'un spectre de lumière compris dans l'infrarouge et/ou dans le visible.
Les dispositifs de détection 120 peuvent être agencés sur le véhicule de manière à acquérir des images de la voie de circulation située à l'avant du véhicule 2. Par exemple, les dispositifs de détection 120 peuvent être fixés à l'avant du véhicule 2 et/ou dans l'habitacle du véhicule 2 et/ou sur le toit du véhicule 2 et/ou sur les côtés du véhicule 2. Les dispositifs de détection peuvent en outre comprendre un lidar (Laser Detection And Ranging), et/ou un radar.
D’autres types de capteurs peuvent être utilisés par le système de perception 12 tels qu’un capteur à ultrasons, un capteur d’angle de volant, un capteur de vitesse de roue, un capteur de pression de freinage, un capteur de vitesse de lacet et d’accélération transversales, ou une combinaison de ces derniers.
Le système de perception 12 peut être configuré pour déterminer des données de lignes de marquage et de bords de route à partir des informations détectées par l’ensemble de dispositifs de détection 120. Dans des modes de réalisation, des algorithmes de fusion multicapteurs peuvent être mis en œuvre pour combiner des informations issues des différents dispositifs de détection 120 pour déterminer les données de lignes.
Une voie routière 50 peut être délimitée par un ensemble de lignes de marquage et/ou de bord(s) de route.
Une voie routière peut comprendre une première ligne de délimitation 501, une ligne centrale de voie (encore appelée ligne médiane) 502, et une deuxième ligne de délimitation 503.
En considérant le sens de circulation du véhicule 2 circulant sur la voie 50, la première ligne de délimitation 501 est située à gauche du véhicule 2 et la deuxième ligne de délimitation est située à droite du véhicule 2. Dans la suite de la description, la première ligne de délimitation 501 sera encore appelée «ligne de délimitation gauche» (ou bord gauche) et la deuxième ligne de délimitation 503 sera encore appelée «ligne de délimitation droite» (ou bord droit).
Les lignes de délimitation 501 et 503 peuvent être des lignes continues, des lignes discontinues et/ou formées par un ensemble de plots lumineux, électroluminescents, ou réfléchissants. Un marquage au sol ou un bord de route peut être sous la forme d’une ligne continue, discontinue, en pointillée ou formée par un ensemble de plots lumineux, électroluminescents, ou réfléchissants. Les lignes de délimitation 501, 503 constituent des éléments de signalisation destinés à délimiter les voies de circulation 50 pour les usagers circulant sur la voie. La route peut être plane ou non et présenter des courbures horizontales et verticale. La géométrie de la voie 50 et sa largeur en chaque point peuvent donc varier. Les lignes de délimitation 501, 503 ainsi que la ligne médiane permettent de matérialiser l’évolution de la voie 50, le véhicule 2 devant ajuster dynamiquement sa conduite à cette évolution.
Les modes de réalisation de l’invention fournissent avantageusement un dispositif de reconstruction des voies capable de générer une reconstruction des voies de l’environnement du véhicule en utilisant des données de lignes déterminées par le système de perception 12.
La figure 2 représente un exemple d’implémentation d’un dispositif de reconstruction de voies 10 utilisé dans un véhicule 2, selon un mode de réalisation.
Le système de contrôle 3 peut être par exemple un système d’aide à la conduite (tel qu’un système ADAS ou AD) configuré pour optimiser la conduite du véhicule et la sécurité des passagers à partir des informations déterminées par le système de perception 12.
Le système de contrôle 3 comprend avantageusement un dispositif de reconstruction des voies 10 configuré pour générer une reconstruction des voies de l’environnement du véhicule en utilisant des données de lignes déterminées par le système de perception 12 à partir des lignes détectées par l’ensemble de dispositifs de détection 120, les lignes pouvant comprendre des lignes de marquage et/ou de bords de route.
Le système de contrôle 3 peut exécuter un ensemble d’applications de contrôle automobiles 101 qui utilisent des informations de voies déterminées par le dispositif de reconstruction de voies 10. Les applications de contrôle 101 peuvent inclure par exemple:
- une application de changement de voie automatique pour aider le conducteur à changer de file, notamment lors des dépassements sur une route à voies multiples, en vérifiant la disponibilité de la voie cible,
- une application d’aide au maintien dans la voie pour détecter si le véhicule franchit accidentellement un marquage au sol,
- une application de régulation de vitesse (ACC) et/ou une application d’avertissement de collision imminente reposent sur des informations de voies liées à des véhicules cibles potentiels.
- une application de changement de voie automatique pour aider le conducteur à changer de file, notamment lors des dépassements sur une route à voies multiples, en vérifiant la disponibilité de la voie cible,
- une application d’aide au maintien dans la voie pour détecter si le véhicule franchit accidentellement un marquage au sol,
- une application de régulation de vitesse (ACC) et/ou une application d’avertissement de collision imminente reposent sur des informations de voies liées à des véhicules cibles potentiels.
La figure 3 représente le procédé de génération, en temps réel, d’une représentation des voies sur lesquelles circule le véhicule 2, à partir des données fournies par le système de perception 12 (encore appelé «procédé de reconstruction des voies»).
A l’étape 300, un ensemble de données de lignes sont reçues. L’ensemble de données de lignes peut être fourni directement par un ou plusieurs dispositifs de détection 120 du système de perception 12. Les dispositifs de détection 120 peuvent être configurés pour délivrer les données qu’ils détectent dans un ordre séquentiel ou non. En variante, l’ensemble de données de lignes peut être déterminé à partir d’informations calculées par un procédé de traitement de fusion ou d’association mis en œuvre par le système de perception 12, à partir des données de lignes capturées par un ou plusieurs dispositifs de détection 120. Dans un mode de réalisation, les données de lignes reçues du système de perception peuvent être représentées sous une forme polynomiale.
Dans un mode de réalisation, les données de lignes de l’ensemble de données reçues à l’étape 300 peuvent être transformées en clothoïdes selon les équations (1) à (4) suivantes, si les données représentant l’ensemble des lignes reçues à l’étape 300 sont sous une forme polynomiale (lignes polynomiales), à l’étape 302.
Les clothoïdes, encore appelées courbes de Bézier, sont des formes géométriques utilisées pour modéliser les lignes de marquage des routes.
La courbature d’une clothoïde représentant une ligne de marquage de voie est proportionnelle à la longueur de la ligne, comme indiqué par l’équation (1):
-
Dans l’équation (1) :
Un clothoïde (C) de courbature peut être décrit par la relation:
Dans la relation (2):
L’angle d’orientation à une longueur est donné par la relation (3) suivante:
Les coordonnées d’un point sont définies par:
Dans les équations (4), les paramètres x0et y0représentent les coordonnées du point initial d’une clothoïde pour une valeur de l = 0 (x0 =x(0) et y0=y(0)). Le point initial défini par les cordonnées (x0, y0) représente le début du segment de la ligne (ligne du marquage ou du bord de la route) détectée par un capteur. Il est à noter que dans des conditions favorables de détection (par exemple, bon fonctionnement des capteurs et en l’absence d’objets d’occlusion qui bloquent la détection), ce point initial se situe au début duchamp de vision («field of view») du capteur.
Les équations (4) peuvent être résolues par diverses techniques comme par exemple les intégrales de Fresnel.
L’étape de transformation 302 peut ainsi appliquer les équations (1) à (4) aux données de lignes reçues à l’étape 300 et fournit un ensemble de données de lignes transformées encore appelé «collection de lignes»).
A l’étape 304, des paramètres de lignes associés aux lignes de l’ensemble de données de lignes représentés sous forme de clothoïdes peuvent être déterminés. Les paramètres de lignes peuvent comprendre:
- un horizon temporel d’estimation T, correspondant à l’instant auquel le procédé de reconstruction de voies doit estimer l’environnement des voies détectées par les dispositifs de détection;
- un nombre de lignes-éléments Nligne sde l’ensemble de lignes (l’ensemble de lignes est encore appelé «collection»); et
- une description de chaque ligne de la collection.
- un horizon temporel d’estimation T, correspondant à l’instant auquel le procédé de reconstruction de voies doit estimer l’environnement des voies détectées par les dispositifs de détection;
- un nombre de lignes-éléments Nligne sde l’ensemble de lignes (l’ensemble de lignes est encore appelé «collection»); et
- une description de chaque ligne de la collection.
Dans un mode de réalisation, la description de ligne peut comprendre pour chaque ligne:
- un identifiant ID unique de ligne; un identifiant de voie sera en outre généré par le procédé de reconstruction de voie pour identifier les voies reconstruites.
- un type de ligne. Les types de lignes peuvent inclure: un type de ligne solide, un type de ligne de bord de route, un type de ligne en pointillés, un type de ligne de plots réfléchissants, un type de ligne de double voie (marquage avec une double ligne), ou un type inconnu;
- une couleur de marquage représentant la couleur de marquage de la ligne (par exemple blanc ou jaune);
- une largeur de ligne;
- un nombre de points décrivant la partie de la ligne enregistrée précédemment par les dispositifs de détection (partie antérieure de la ligne);
- un ensemble de points (x,y) représentant la partie antérieure de la ligne (x désigne l’abscisse et y l’ordonnée d’un point de la ligne dans un repère cartésien considéré) ;
- une probabilité d’existence qui peut être fournie par le capteur qui détecte une ligne pour exprimer la fiabilité d’une telle détection de ligne (la fiabilité de détection peut être par exemple basée sur le contraste de l’image qui a servi à la détection);
- une forme de ligne exprimée sous forme de clothoïdes, comme obtenu dans l’étape 302; cette forme peut être représentée par les valeurs moyennes des paramètres de la courbe clothoïde et par la longueur de la courbe clothoïde exprimée selon l’équation (2).
- un identifiant ID unique de ligne; un identifiant de voie sera en outre généré par le procédé de reconstruction de voie pour identifier les voies reconstruites.
- un type de ligne. Les types de lignes peuvent inclure: un type de ligne solide, un type de ligne de bord de route, un type de ligne en pointillés, un type de ligne de plots réfléchissants, un type de ligne de double voie (marquage avec une double ligne), ou un type inconnu;
- une couleur de marquage représentant la couleur de marquage de la ligne (par exemple blanc ou jaune);
- une largeur de ligne;
- un nombre de points décrivant la partie de la ligne enregistrée précédemment par les dispositifs de détection (partie antérieure de la ligne);
- un ensemble de points (x,y) représentant la partie antérieure de la ligne (x désigne l’abscisse et y l’ordonnée d’un point de la ligne dans un repère cartésien considéré) ;
- une probabilité d’existence qui peut être fournie par le capteur qui détecte une ligne pour exprimer la fiabilité d’une telle détection de ligne (la fiabilité de détection peut être par exemple basée sur le contraste de l’image qui a servi à la détection);
- une forme de ligne exprimée sous forme de clothoïdes, comme obtenu dans l’étape 302; cette forme peut être représentée par les valeurs moyennes des paramètres de la courbe clothoïde et par la longueur de la courbe clothoïde exprimée selon l’équation (2).
Les étapes suivantes sont réitérées tant qu’une collection de lignes est reçue (bloc 300) pour déterminer une structure de données de voies stockant les informations associées à chaque voie reconstruite par le procédé.
A chaque nouvelle itération déclenchée par la réception d’un ensemble de lignes à l’étape 300, la structure de données de voie peut être réinitialisée.
A l’étape 306, il est déterminé s’il y a plus d’une ligne dans la collection de lignes à partir du nombre Nlignesde lignes. Si le nombre de ligne Nlignesest strictement supérieur à 1, des étapes sont implémentées pour tenter de déterminer un ensemble de voies pour les lignes de la collection de lignes obtenue à l’étape 304.
Plus précisément, à l’étape 308, les lignes de la collection de lignes par rapport à leur ordonnée , de la plus petite ordonnée à la plus grande ordonnée (les lignes sont ainsi triées de la plus à droite à la plus à gauche). Les coordonnées cartésiennes dans le repère Cartésien considéré, comme illustré sur la figure 4, comprennent une abscisse x positive selon l’axe des abscisses correspondant à la direction du mouvement longitudinal du véhicule et l’ordonnée y positive selon l’axe des ordonnées correspondant au mouvement latéral du véhicule vers la gauche du véhicule.
Après le tri des ordonnées des lignes selon leurs coordonnées respective , pour chaque paire de lignes successives (309) dans la direction de l’axe y, il peut être déterminé à l’étape 311 si les deux lignes de la paire considérée ont une longueur commune (calculée à l’étape 310) supérieure à un seuil de longueur prédéfini (condition de longueur), auquel cas ces deux lignes sont identifiées comme formant ensemble une voie qui est créée à l’étape 312. Sinon, si la longueur est strictement inférieure au seuil de longueur, la paire de lignes est supprimée (313) et une nouvelle paire de lignes est sélectionnée, en réitérant les étapes 309 à 313 pour la nouvelle paire.
Telle qu’utilisée ici, la «longueur commune» à deux lignes représente la longueur de la région commune comprise dans la voie formée par les deux lignes. La longueur commune peut être calculée par exemple par projection orthogonale du point initial et du point final de la première ligne vers la deuxième ligne (en pratique, segments des lignes). Si la projection des deux points vers l’autre ligne est possible, la longueur du segment créée par la projection des deux points représente la longueur commune. En variante, la longueur commune peut être définie en considérant également la longueur du segment créé par projections des points d’extrémité (initial et final) de la deuxième ligne sur la première ligne. La longueur du segment, produit par projection, qui est la plus longue parmi les longueurs des deux segments créés par projections des points d’extrémité d’une ligne sur l’autre ligne représente alors la longueur commune. Si un seul segment par projection est obtenu, la longueur de ce segment représente la longueur commune. Si aucun segment n’est obtenu par projection, il n’existe pas de longueur commune.
A l’étape 314, la ligne centrale de la voie peut être déterminée (ligne médiane de la voie) en tant que courbe clothoïde dont les paramètres de clothoïde sont définis comme étant égaux à la moyenne des paramètres correspondant des lignes de délimitation.
A chaque création de voie (étape 312), un compteur de voies initialisé à zéro peut être incrémenté à l’étape 315.
Deux voies voisines partagent une ligne commune formant une ligne de délimitation de voies. A la formation d’une nouvelle voie (312), des informations relatives aux lignes de délimitation comprises dans la voie peuvent être également enregistrées et associées à des informations de ligne de délimitation pouvant indiquer si la ligne de délimitation est une ligne de délimitation droite ou gauche, sa forme géométrique, son identifiant de ligne. Les informations de ligne de délimitation peuvent inclure d’autres informations telles que le type de ligne.
Dans un mode de réalisation, les identifiants de lignes peuvent être des entiers. Dans un tel mode de réalisation, l’agencement d’ordonnées de lignes triés peut être effectué de sorte que la première ligne la plus à droite ait un identifiant de ligne égal à zéro (id1=0), la deuxième ligne ait un identifiant de ligne égal à 1 (id2=1), jusqu’à la dernière ligne de quantième Nlignesqui a alors un identifiant égal à Nlignes-1 où Nlignesdésigne le nombre total de lignes. Le choix d’un ordre croissant pour les identifiants de ligne en fonction de leurs ordonnées permet d’obtenir de meilleures performances computationnelles, et pour déterminer la topologie de voie. Cependant, l’homme du métier comprendra aisément que l’invention n’est pas limitée à une telle définition des identifiants de ligne. Par exemple, les identifiants des lignes peuvent être générés par un module de suivi («tracking» en langue anglo-saxonne) des lignes qui peut être situé dans le processeur du capteur considéré 120 ou du véhicule 2 recevant les signaux du capteur 120. Un suivi de lignes peut garantir l’attribution d’un unique identifiant à une même ligne tant qu’une continuité de ligne est détectée. Lorsqu’une nouvelle ligne est détectée, un identifiant de ligne est attribué à la nouvelle ligne selon un ordre croissant (par incrémentation d’une valeur égale à 1 du dernier identifiant de ligne attribué).
A l’étape 316, pour chaque voie identifiée, la topologie de voies est mise à jour. La topologie d’une voie désigne ici un ensemble d’informations qui peuvent comprendre l’identifiant de la voie située à la droite du véhicule 2 et l’identifiant de la voie qui est située à la gauche du véhicule 2 en considérant le sens de circulation du véhicule, ou bien un identifiant réservé pour signaler qu’aucune ligne ne se trouve à droite ou à gauche du véhicule.
La figure 5 illustre la détermination de la ligne centrale de la voie (étape 314) à partir de la courbe clothoïde dont les paramètres de clothoïde sont égaux à la moyenne des paramètres correspondant des lignes de délimitation. La figure 5 montre par exemple une voie 50 comprenant une ligne de délimitation de gauche 501 de clothoïde Cl, une ligne centrale 502 de clothoïde Cclet une ligne de délimitation de droite 503 de clothoïde Cr. La ligne centrale 502 de cette voie 50 est représentée par la clothoïde dont les paramètres de clothoïde correspondent la moyenne des valeurs des paramètres correspondant des lignes de délimitations de droite et de gauche.
Il est considéré que:
- la courbe clothoïde de la ligne de délimitation gauche 501 est définie par les paramètres de clothoïde , et que
- la courbe clothoïde de la ligne de délimitation droite 503 est définie par les paramètres de clothoïde .
Chaque paramètre de clothoïde associé à la clothoïde représentant la ligne centrale 502 est déterminé en faisant la moyenne des paramètres de clothoïde correspondants des lignes de délimitation droite et gauche (c’est-à-dire la somme des paramètres de clothoïde correspondants des lignes de délimitation divisé par le nombre de lignes de délimitation, soit dans cet exemple le nombre 2).
Les paramètres de clothoïde associés à la clothoïde représentant la ligne centrale 502 sont alors:
La clothoïde de la ligne centrale 502 est alors notée:
Dans un mode de réalisation, il peut être testé si la ligne centrale 502 est adaptée comme ligne centrale de voie (condition de validité géométrique), par exemple lorsqu’une sortie d’autoroute est au-devant. Si la ligne centrale 502 ne satisfait pas cette condition de validité géométrique, une ligne centrale alternative peut être déterminée en tenant compte de critères de seuils relatifs à la valeur absolue de la différence |lr- ll| entre la longueur lrde la ligne de délimitation de droite et la longueur llde la ligne de délimitation de gauche ou à la valeur absolue de la différence |c0r- c0l| entre la courbure c0rde la ligne de droite et la courbure c0lde la ligne de gauche ou entre d’autres différences de paramètres de clothoïde similaires, à l’étape 314. Dans un mode de réalisation, la ligne centrale alternative peut être déterminée en exécutant une opération de translation orthogonale (dans la direction de l’axe y) de la ligne de délimitation de voie la plus longue 501 ou 503 vers l’autre ligne de délimitation, d’une distance égale à la moitié de la largeur de voie initiale.
Sur la figure 6, la voie 50 est formée par une ligne de délimitation de gauche 501 de clothoïde Clet une ligne de délimitation de droite 503 de clothoïde Cr. Il peut être observé une ligne centrale alternative obtenue après l’opération translation orthogonale de la ligne de délimitation de gauche en remplacement de la ligne centrale obtenue en moyennant les paramètres de clothoïde des deux lignes de délimitation.
Si le nombre de voies est supérieur ou égal à 1 (étape 322), à l’étape 324 un bord de route peut être décalé avant de déterminer si la ligne de délimitation gauche ou droite ne peut pas diviser la voie initiale en deux.
A l’étape 325, il est déterminé s’il existe une intersection entre la ligne de délimitation de gauche, la ligne de délimitation de droite et la ligne centrale. Si une telle intersection existe, la partie de la voie ayant la longueur la plus petite avant ou après l’intersection peut être supprimée. La ligne centrale peut être ensuite recalculée (non représentée) selon l’étape 314 comme étant le barycentre de la ligne de délimitation modifiée et de l’autre ligne de délimitation. La ligne centrale modifiée est ensuite testée pour vérifier qu’il n’y a aucune intersection comme illustré sur la figure 7 qui montre dans la partie 7A une situation initiale de voie et dans la partie 7B une situation avec réduction de voie et re-calcul de ligne centrale en cas de détection d’intersection entre une des lignes de délimitation et la ligne centrale initiale. En effet, dans l’état initial représenté dans la partie 7A, la ligne centrale 502 coupe la ligne de délimitation de gauche 501 de sorte que la ligne de délimitation de gauche est ensuite réduite pour atteindre le point d’intersection initial. La ligne centrale est recalculée (ligne 502’) comme étant la ligne barycentre de la ligne de gauche de délimitation modifiée 501’ et de la ligne de délimitation de droite 503’. Il est ensuite testé si la nouvelle ligne centrale 502’ coupe la ligne de délimitation de droite. Dans l’exemple de la figure 7, il n’est pas détecté d’intersection dans la configuration 7B (voie 50’).
S’il est déterminé à l’étape 306 qu’il n’y a qu’une ligne dans la collection de lignes, et que cette ligne unique est une ligne de bord de route, une ligne virtuelle peut être créée à l’étape 318, en exécutant une opération de translation orthogonale de la ligne de bord de route (translation dans la direction de l’axe y) vers la droite lorsque la ligne de bord de route est située sur la gauche du véhicule ou vers la gauche lorsque la ligne de bord de route est située sur la droite du véhicule 2. La translation orthogonale peut être effectuée de telle sorte qu’il existe une distance par défaut entre la ligne de bord de route et la ligne virtuelle (la distance par défaut peut être par exemple égale à 3,5 mètres). Une voie additionnelle constituée par la paire de lignes incluant la ligne de bord de route et la ligne virtuelle peut être créée ensuite à l’étape 319. La ligne virtuelle permet ainsi de subdiviser une voie qui est trop large en deux voies ou plus. Le critère de subdivision utilisé peut être la largeur de voie au niveau du début de la voie.
Pour déterminer, à l’étape 325, pour chaque voie créée, s’il existe une intersection entre les deux lignes de délimitation de gauche et droite délimitant la voie, dans un mode de réalisation, il peut être testé s’il existe une intersection entre les deux clothoïdes représentant les lignes de délimitation délimitant la voie, en utilisant un procédé adapté comme par exemple le procédé de Newton. Le procédé de Newton utilise un point de départ qui peut être le point d’origine de chaque clothoïde, le point situé au milieu de sa longueur ( ) ou son point d’extrémité. Dans un mode de réalisation, il peut être déterminé si une intersection existe pour ces trois points ou pour d’autres points des clothoïdes.
Si une intersection est identifiée, en fonction du point où l’intersection a été identifiée, si la partie de la voie est plus grande avant ou après le point d’intersection, il peut être déterminé quelle partie de la voie reconstruite doit être maintenue. Dans un mode de réalisation, la partie de voie la plus courte de part et d’autre du point d’intersection peut être supprimée. Les lignes de délimitation et l’identifiant de voie peuvent être adaptés dans ce cas. Comme les lignes de délimitation changent, les voies adjacentes préconstruites peuvent être revisitées en exécutant l’étape de mise à jour de topologie à l’étape 316. Les lignes centrales des trois voies, soit la voie à couper et les deux voies voisines, peuvent être recalculées à l’étape 314.
La figure 8 illustre une configuration avec intersection des lignes de délimitation avec une partie avant le point d’intersection supérieure à la partie après le point d’intersection, partie qui est donc conservée. Dans la figure 9, la situation inverse est observée, la partie conservée étant la partie après la voie.
S’il est déterminé à l’étape 306 qu’aucune ligne n’est comprise dans la collection de ligne, aucune voie n’est formée en conséquence à l’étape 321.
Pour chaque voie reconstruite et non constituée d’une ligne virtuelle, il peut être déterminé si la largeur de la voie Lvoieest supérieure ou égale à un seuil de largeur S1 prédéfini (encore appelée seuil de largeur inférieur; le seuil de largeur inférieur peut être par exemple une valeur de largeur standard de voie définie en fonction du pays ou se situe la voie). Si la largeur de la voie a une largeur supérieure au seuil de largeur S1 (par exemple de l’ordre de 4 mètres par exemple), à l’étape 324, la voie peut être divisée en deux voies (par exemple en deux voies de largeur égale à 2 mètres chacune), ce qui ajoute une voie additionnelle au nombre total de voies reconstruites. La largeur de la voie peut être calculée comme étant égale à la distance entre les lignes de délimitation de la voie. Sinon, la largeur de la voie peut être calculée comme étant égale à un vecteur des largeurs le long de la voie pour assurer une meilleure précision lorsque la largeur de la voie varie le long de la voie.
Dans un mode de réalisation, pour diviser une voie initiale, ayant une ligne de délimitation gauche et une ligne de délimitation droite, en deux voies à l’étape 324, une translation orthogonale (dans la direction de l’axe y) du bord de gauche de la voie initiale peut être réalisée vers la droite, la ligne correspondant à la translation de la ligne de délimitation de gauche constituant une ligne virtuelle délimitant les deux sous voies (une première voie est délimitée par la ligne de délimitation de gauche de la voie initiale et la ligne virtuelle, tandis que l’autre voie est délimités par la ligne virtuelle et la ligne de délimitation de droite de la voie initiale). La figure 10 montre la transformation d’une voie initiale en deux voies, lorsque la largeur de la voie initiale ne satisfait pas la condition de largeur. La figure 10 montre la transformation d’une voie initiale en deux voies, lorsque la largeur de la voie initiale ne satisfait pas la condition de largeur. Sur la figure 10, la voie initiale 50 est trop large par rapport au seuil et est divisée en deux voies 51 et 52 en exécutant une opération de translation de la ligne de délimitation de gauche 501, la nouvelle position de la ligne de délimitation de gauche après translation constituant une ligne virtuelle 504 qui délimite une des lignes de délimitation des deux voies 51 et 52, et constitue leur ligne de délimitation commune.
Si la voie initiale ne peut pas être divisée en deux voies, une étape similaire peut être mise en œuvre mais en partant de la ligne de délimitation de droite à laquelle la translation est appliquée pour définir une ligne virtuelle qui sera utilisée comme ligne de délimitation commune des deux voies 51 et 52.
A l’étape 326, pour chaque voie formée, un identifiant de voie peut être déterminé. Dans un mode de réalisation, l’étape 326 peut comprendre, pour chaque voie formée, une étape consistant à vérifier les identifiants de ses lignes de délimitation. Une mémoire d’informations de voies (qui peut être par exemple une mémoire statique) stockant des informations relatives aux collections des voies formées les plus récentes (dite ci-après «voies précédentes») peut être maintenue dans le dispositif de reconstruction de voies, incluant les informations relatives aux identifiants des lignes de délimitation des voies et aux identifiants de voie. Les identifiants des lignes de délimitation de chaque voie nouvellement formée (dite ci-après «nouvelle voie») peuvent être alors comparés aux identifiants des lignes de délimitation des voies précédentes. Si la paire d’identifiants des lignes de délimitation de la voie considérée est la même que celle d’une voie précédemment traitée (dont les informations sont maintenues dans la mémoire d’informations de voies), le même identifiant de voie que la voie précédente est assigné à la nouvelle voie. Une telle gestion des identifiants de voies assure une persistance indirecte sur les voies (suivi indirect de voies). La persistance (suivi) directe des lignes permet la persistance indirecte des voies. La persistance directe des lignes peut être assurée dans un module approprié situé dans le capteur ou ailleurs dans le véhicule 2.
Sinon, si la paire d’identifiants associée aux lignes de délimitation de la nouvelle voie ne coïncide avec aucune paire d’identifiants associée aux voies précédentes dans la mémoire d’informations de voies, un nouvel identifiant est attribué à la nouvelle voie à l’étape 326.
A l’étape 327, pour chaque voie formée, la largeur de la voie peut être en outre calculée. Pour déterminer la largeur d’une voie formée, l’origine MCde la ligne centrale 502 peut être projeté sur la ligne de délimitation de droite, ce qui donne le point PR, et sur la ligne de délimitation de gauche, ce qui donne le point PL. Lorsque les deux projections sont possibles, la largeur de ligne L est calculée en faisant la somme des longueurs du premier segment [MCPR] délimité par le point d’origine MCet le point PRet du deuxième segment [MCPL] délimité par le point d’origine MCet le point PL, comme illustré sur la figure 11:
L = [MCPR] + [MCPL]
Sinon, si une seule des deux projections est possible, la largeur de la voie calculée est le double du segment délimité par le point d’origine MCet le point issue de la projection (PRou PLselon le cas). Si aucune projection n’est possible, la largeur de la voie n’est pas définie.
Dans d’autres modes de réalisation, la largeur de voie L peut être déterminée en effectuant des projections à partir d’un point situé sur la ligne centrale 502 autres que le point d’origine MC. Par exemple, dans des applications de l’invention, il peut être important de disposer de la largeur au niveau de l’extrémité de la voie. Dans un tel mode de réalisation, il peut être déterminé itérativement un nouveau point de référence (en tant que point ‘origine’) sur la ligne centrale 502. Ce nouveau point d’origine peut être alors projeté, si la projection est possible, sur les lignes de délimitation de droite et/ou de gauche de la voie pour calculer le vecteur des «largeurs» de la voie similairement aux sous-étapes de l’étape 327.
Il peut être ensuite déterminé si la largeur de voie Lvoiecalculée à l’étape 327 est strictement inférieure à un deuxième seuil de largeur S2 (encore appelée seuil de largeur supérieur; le seuil de largeur supérieur peut être avantageusement égal à environ 2 mètres). En fonction du résultat de la comparaison, il peut être déterminé si la voie est adaptée à la circulation de véhicule (voie dite ‘praticable’) à l’étape 328. Si la voie est praticable, un compteur de voies praticables peut être en outre incrémenté.
A l’étape 329, si au moins une voie a été formée, la ligne qui est située le plus à gauche de la route (ligne extrême gauche) et la ligne qui est située la plus à droite de la route (ligne extrême droite) peuvent être détectées. Si chacune de ces lignes extrêmes constitue une ligne de bord de route, il est ensuite déterminé la largeur bord à bord de la voie correspondant à la distance entre les deux lignes extrêmes. La largeur bord-à-bord de la voie peut être déterminée similairement à l’étape 327, en considérant les lignes extrêmes à la place des lignes de délimitation de la voie 501 et 503, en considérant une ligne centrale dont les points sont à équidistance des deux lignes extrême (ligne médiane entre les deux lignes extrêmes).
A l’étape 330, l’ensemble de voies ainsi déterminé à partir des données de lignes initial peut être filtré. Dans un mode de réalisation, dans l’étape de filtrage 330, si la largeur de chaque voie de l’ensemble de voies formées est inférieure à un autre seuil de largeur, et si la voie n’est pas formée après un bord de route et sa ligne voisine (qui aurait pu être acceptée comme non erronée), la voie peut être fusionnée avec une voie voisine. Une telle étape permet de corriger les cas où une voie non pertinente aurait été créée.
A l’étape 332, des informations associées aux voies formées ainsi obtenues peuvent être stockées dans la mémoire d’informations de voies. De telles informations peuvent comprennent les données décrivant chaque voie. Les informations stockées peuvent en outre comprendre le nombre de voies, l’identifiant de chaque voie, la paire d’identifiants des deux lignes de délimitation délimitant chaque voie. Ces informations peuvent être utilisées dans l’itération suivante des étapes 303 à 332.
Le procédé de reconstruction de voies selon les modes de réalisation de l’invention fournit un signal de sortie comprenant un ensemble de données de sortie relatives aux voies reconstruites.
Les données de sortie comprennent la collection de voies estimée sous la forme de données de description des voies générées.
Dans un mode de réalisation, les données de sortie peuvent comprendre:
- Un indicateur booléen ayant une première valeur si une collection de voies a été déterminée et une deuxième valeur si aucune collection de voies n’a été déterminée; et/ou
- Le nombre de voies de la collection en utilisant le compteur de voies qui a été incrémenté à chaque nouvelle voie formée; et/ou
- L’horizon temporel tel que défini par les données d’entrée reçues à l’étape 300; et/ou
- La largeur bord à bord de la route déterminée à l’étape 329;
- Les informations de description des voies peuvent comprendre:
- la forme clothoïde de la ligne de délimitation de gauche;
- la forme clothoïde de la ligne de délimitation de droite;
- la forme clothoïde de la ligne centrale;
- l’identifiant unique de la voie.
- Un indicateur booléen ayant une première valeur si une collection de voies a été déterminée et une deuxième valeur si aucune collection de voies n’a été déterminée; et/ou
- Le nombre de voies de la collection en utilisant le compteur de voies qui a été incrémenté à chaque nouvelle voie formée; et/ou
- L’horizon temporel tel que défini par les données d’entrée reçues à l’étape 300; et/ou
- La largeur bord à bord de la route déterminée à l’étape 329;
- Les informations de description des voies peuvent comprendre:
- la forme clothoïde de la ligne de délimitation de gauche;
- la forme clothoïde de la ligne de délimitation de droite;
- la forme clothoïde de la ligne centrale;
- l’identifiant unique de la voie.
Dans des modes de réalisation, les informations de description de voie peuvent en outre comprendre:
- le type de chaque ligne de délimitation ; et/ou
- l’identifiant de chaque ligne de délimitation; et/ou
- un vecteur de largeurs représentant les largeurs des voies telles que déterminée par le procédé de reconstruction de voie; et/ou
- le nombre de points du vecteur de largeurs de voies.
- le type de chaque ligne de délimitation ; et/ou
- l’identifiant de chaque ligne de délimitation; et/ou
- un vecteur de largeurs représentant les largeurs des voies telles que déterminée par le procédé de reconstruction de voie; et/ou
- le nombre de points du vecteur de largeurs de voies.
La figure 12 représente un dispositif de reconstruction de voie 10 configuré pour implémenter le procédé de reconstruction de voies routières de la figure 3, selon certains modes de réalisation.
Le dispositif de reconstruction de voies routières 10 peut être implémenté dans tout véhicule 2 circulant sur une route, le véhicule étant équipé d’au moins un dispositif de détection 120 apte à acquérir des images d’une portion de la route de circulation située à l'avant du véhicule.
Le dispositif de reconstruction de voies 10 est configuré pour recevoir des données de lignes représentant un ensemble de lignes dans un format de représentation donné, les données de lignes étant dérivées des images acquises par les dispositifs de détection 120, chaque ligne de la ligne étant associé à des coordonnées dans le repère cartésien considéré, l’axe des abscisses du repère correspondant à la direction du mouvement longitudinal F du véhicule sur la route et l’axe des ordonnées correspondant à la direction du mouvement latéral du véhicule, chaque ligne représentée par les dites données de lignes étant associée à un ensemble de paramètres géométriques définis par le format (format de représentation en clothoïdes par exemple).
Le dispositif de reconstruction de voies 10 peut comprendre une unité de sélection 102 configurée pour sélectionner chaque paire de lignes de l’ensemble de lignes correspondant à deux positions de lignes successives dans la direction de l’axe des ordonnées y.
Le dispositif de reconstruction de voies 10 peut comprendre en outre une unité de détermination de voie 103 configurée pour créer une voie délimitée par des lignes de délimitation définies par les lignes d’une paire de ligne sélectionnée par l’unité de sélection 102 si les lignes de la paire ont une longueur commune supérieure ou égale à un seuil de longueur prédéfini.
L’unité de détermination de voie 103 peut comprendre une fonction de calcul de ligne centrale de voie 1030 configurée pour calculer la ligne centrale de la voie créée et un ensemble de paramètres géométriques associés à ladite ligne centrale, chaque paramètre géométrique de la ligne étant calculé en effectuant une moyenne des paramètres géométriques correspondant associés aux lignes de la paire de lignes. L’unité de détermination de voie 103 peut en outre comprendre une fonction de tri de lignes pour trier les lignes par ordre croissant des ordonnées d’origine y0associées aux lignes et une fonction de transformation pour transformer les données de lignes au préalable dans un format cible (clothoïde par exemple).
Les modes de réalisation de l’invention permettent ainsi de reconstruire efficacement et en temps réel les voies sur lesquelles circule un véhicule à partir des données calculées par le système de perception 12 sur la base des informations détectées par les dispositifs de détection embarqués sur le véhicule.
Ils peuvent être implémentés sur tout type de véhicule automatisé tel qu’un véhicule autonome et connecté, équipé d’un système de perception, sans surcoût. Ils ne requièrent pas non plus l’utilisation de moyens de communication additionnels avec d’autres véhicules ou infrastructures, les informations d’entrée étant issues des mesures effectuées par les dispositifs de détection embarqués sur le véhicule.
Avantageusement, un affichage des données de voies fournies par le système et le procédé de reconstruction de voies selon les modes de réalisation de l’invention peut être généré en temps réel sur un dispositif d’affichage agencé dan l’habitable du véhicule de manière visible par le conducteur du véhicule, ce qui permet de comparer le rendu des voies reconstruite par rapport à la réalité de terrain de la route, de manière transparente.
L’homme du métier comprendra que le système ou des sous-systèmes selon les modes de réalisation de l’invention peuvent être mis en œuvre de diverses manières par matériel (« hardware »), logiciel, ou une combinaison de matériel et de logiciels, notamment sous la forme de code de programme pouvant être distribué sous la forme d'un produit de programme, sous diverses formes. En particulier, le code de programme peut être distribué à l'aide de supports lisibles par ordinateur, qui peuvent inclure des supports de stockage lisibles par ordinateur et des supports de communication. Les procédés décrits dans la présente description peuvent être notamment implémentés sous la forme d’instructions de programme d’ordinateur exécutables par un ou plusieurs processeurs dans un dispositif informatique d'ordinateur. Ces instructions de programme d’ordinateur peuvent également être stockées dans un support lisible par ordinateur.
Par ailleurs, l'invention n'est pas limitée aux modes de réalisation décrits ci-avant à titre d’exemple non limitatif. Elle englobe toutes les variantes de réalisation qui pourront être envisagées par l'homme du métier. En particulier, l’homme du métier comprendra que l’invention s’applique à tout type de véhicule tel qu’une voiture, un camion, une moto, un bus, etc. Plus généralement, les modes de réalisation de l’invention peuvent être utilisés par toute application exécutée par un système de contrôle d’un équipement véhiculaire mobile sur une route (par exemple un robot mobile, un équipement véhiculaire de défense) utilisant une reconstruction de la topologie des voies d’un environnement à partir de lignes de marquage routières détectées par un système de perception embarqué sur un véhicule.
Par ailleurs, bien que les modes de réalisation de l’invention aient été décrits en référence à des lignes de marquage de route initialement modélisées sous forme de courbes clothoïdes (chaque ligne est décrite par une courbe clothoïde), l’homme du métier comprendra aisément que l’invention peut s’appliquer à d’autres types de modélisation géométrique de lignes, comme par exemple une modélisation de ligne par un polynôme en remplaçant les équations (1) à (4) par les équations polynomiales correspondantes.
Claims (13)
- Procédé de reconstruction de voies routières implémenté dans un véhicule circulant sur une route, le véhicule (2) étant équipé d’au moins un dispositif de détection (120) apte à acquérir des images d’une portion de la route de circulation située à l'avant du véhicule, le procédé comprenant l’étape consistant à:
- recevoir des données de lignes (300) représentant un ensemble de lignes dans un format de représentation donné, les données de lignes étant dérivées des images acquises par lesdits dispositifs de détection, chaque point d’une ligne étant associé à des coordonnées dans un repère cartésien, l’axe des abscisses dudit repère correspondant à la direction du mouvement longitudinal du véhicule sur la route et l’axe des ordonnées correspondant à la direction du mouvement latéral du véhicule, chaque ligne représentée par les dites données de lignes étant associée à un ensemble de paramètres géométriques définis par ledit format;
le procédé comprenant, pour chaque paire de lignes dudit ensemble de lignes correspondant à deux positions de lignes successives dans la direction de l’axe des ordonnées, les étapes suivantes consistant à:
- créer (312) une voie délimitée par des lignes de délimitation définies par lesdites lignes de ladite paire de ligne si les lignes de ladite paire ont une longueur commune supérieure ou égale à un seuil de longueur prédéfini (311);
- calculer la ligne centrale de la voie créée (314) et un ensemble de paramètres géométriques associés à ladite ligne centrale, chaque paramètre géométrique de ladite ligne centrale étant calculé en effectuant une moyenne des paramètres géométriques correspondants, associés auxdites lignes de la paire de lignes. - Procédé selon la revendication 1, caractérisé en ce que chaque ligne représentée par des données de lignes est associée à un identifiant de ligne.
- Procédé selon la revendication 2, caractérisé en ce que l’identifiant de ligne est un entier, les identifiants de lignes ayant une valeur croissant avec la position de la ligne selon l’axe des ordonnées.
- Procédé selon la revendication 3, caractérisé en ce qu’un identifiant de voie est affecté à chaque voie à partir des identifiants des lignes constituant les lignes de délimitation de la voie.
- Procédé selon l’une des revendications précédentes, caractérisé en ce qu’il comprend en outre une étape consistant à diminuer la longueur d’une ligne de délimitation d’une voie créée, ce qui fournit une ligne de délimitation modifiée, s’il est déterminé une intersection (325) entre ladite ligne de délimitation et la ligne centrale de la voie, la ligne centrale étant recalculée à partir de la ligne de délimitation modifiée.
- Procédé selon l’une des revendications précédentes, caractérisé en ce qu’il comprend une étape (318) de translation orthogonale d’une des deux lignes de délimitation de la voie créée, dans la direction de l’axe des ordonnées, vers l’autre ligne de délimitation, ce qui fournit une ligne virtuelle, si la largeur de la voie est supérieure ou égale à un seuil de largeur inférieur, ladite voie créée étant remplacée par deux sous voies, chacune des sous voies étant délimitée par l’une des lignes de délimitation de la voie créée et par la ligne virtuelle.
- Procédé selon l’une des revendications précédentes, caractérisé en ce qu’il comprend une étape consistant à supprimer une voie créée (313) si la largeur de la voie est strictement inférieure à un seuil de largeur supérieur.
- Procédé selon l’une des revendications 5 et 6, caractérisé en ce qu’il comprend une étape de détermination de la largeur d’une voie créée (327), la largeur de voie étant déterminée en projetant un point d’origine de la ligne centrale de la voie sur chaque bord de la voie, ce qui fournit des points projetés au niveau des bords, la largeur de la voie étant calculée comme étant égale à la somme de deux segments, chaque segment étant délimité par le point d’origine et le point projeté sur chaque bord.
- Procédé selon l’une des revendications précédentes, caractérisé en ce qu’il comprend une étape consistant à substituer la ligne centrale d’une voie par une ligne centrale alternative, si une condition de validité géométrique de voie n’est pas satisfaite, la ligne centrale alternative étant déterminée en fonction de critères relatifs à la valeur absolue de la différence entre les longueurs des deux lignes de délimitation de la voie ou à la valeur absolue de la différence entre les courbures des lignes de délimitation.
- Procédé selon l’une des revendications précédentes, caractérisé en ce qu’il comprend une étape consistant à substituer la ligne centrale d’une voie par une ligne centrale alternative, si une condition de validité géométrique de voie n’est pas satisfaite, la ligne centrale alternative étant déterminée en appliquant une opération de translation orthogonale de la ligne de délimitation de voie la plus longue, selon l’axe des ordonnées, et en direction de l’autre ligne de délimitation, notamment d’une distance égale à la moitié de la largeur de voie initiale.
- Procédé selon l’une des revendications précédentes 2 à 10, caractérisé en ce que chaque voie créée est associée à des informations de description de voie comprenant un type de ligne pour chaque ligne de délimitation de la voie, un identifiant de chaque ligne de délimitation de la voie, et/ou la largeur de la voie.
- Procédé selon la revendication 11, caractérisé en ce que le format de représentation des lignes est une représentation sous forme de clothoïdes, les informations de description des voies comprenant en outre la forme clothoïde des deux lignes de délimitation et la forme clothoïde de la ligne centrale.
- Dispositif de reconstruction de voies routières (10) implémenté dans un véhicule (2) circulant sur une route, le véhicule étant équipé d’au moins un dispositif de détection (120) apte à acquérir des images d’une portion de la route de circulation située à l'avant du véhicule, le dispositif de reconstruction des voies étant configuré pour recevoir des données de lignes représentant un ensemble de lignes dans un format de représentation donné, les données de lignes étant dérivées des images acquises par lesdits dispositifs de détection, chaque point d’une ligne étant associé à des coordonnées dans un repère cartésien, l’axe des abscisses dudit repère correspondant à la direction du mouvement longitudinal du véhicule sur la route et l’axe des ordonnées correspondant à la direction du mouvement latéral du véhicule, chaque ligne représentée par lesdites données de lignes étant associée à un ensemble de paramètres géométriques définis par ledit format,
le dispositif comprenant:
- une unité de sélection (102) configurée pour sélectionner chaque paire de lignes dudit ensemble de lignes correspondant à deux positions de lignes successives dans la direction de l’axe des ordonnées,
- un unité de détermination de voie (103) configurée pour créer une voie délimitée par des lignes de délimitation définies par lesdites lignes d’une paire de ligne sélectionnée par l’unité de sélection si les lignes de ladite paire ont une longueur commune supérieure ou égale à un seuil de longueur prédéfini, ladite unité de détermination de voie comprenant une fonction de calcul (1030) de ligne centrale de voie configurée pour calculer la ligne centrale de ladite voie créée et un ensemble de paramètres géométriques associés à ladite ligne centrale, chaque paramètre géométrique de ladite ligne étant calculé en effectuant une moyenne des paramètres géométriques correspondants, associés auxdites lignes de la paire de lignes.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR2000926A FR3106918B1 (fr) | 2020-01-30 | 2020-01-30 | Procédé et dispositif de reconstruction des voies |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR2000926 | 2020-01-30 | ||
| FR2000926A FR3106918B1 (fr) | 2020-01-30 | 2020-01-30 | Procédé et dispositif de reconstruction des voies |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| FR3106918A1 true FR3106918A1 (fr) | 2021-08-06 |
| FR3106918B1 FR3106918B1 (fr) | 2022-01-28 |
Family
ID=72356028
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| FR2000926A Active FR3106918B1 (fr) | 2020-01-30 | 2020-01-30 | Procédé et dispositif de reconstruction des voies |
Country Status (1)
| Country | Link |
|---|---|
| FR (1) | FR3106918B1 (fr) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113945221A (zh) * | 2021-09-26 | 2022-01-18 | 华中科技大学 | 一种考虑近迫感效应的自动驾驶车道宽度确定方法 |
| CN114132325A (zh) * | 2021-12-14 | 2022-03-04 | 京东鲲鹏(江苏)科技有限公司 | 车辆的行驶方法和装置 |
| CN114485716A (zh) * | 2021-12-28 | 2022-05-13 | 北京百度网讯科技有限公司 | 车道渲染方法、装置、电子设备及存储介质 |
| FR3137992A1 (fr) * | 2022-07-13 | 2024-01-19 | Psa Automobiles Sa | Méthodes et systèmes de détection de lignes de délimitation de voies de circulation |
| CN117456496A (zh) * | 2023-12-25 | 2024-01-26 | 合众新能源汽车股份有限公司 | 地图车道边界线的处理方法和*** |
| FR3142730A1 (fr) | 2022-12-05 | 2024-06-07 | Renault S.A.S | Procédé de détection d’une ligne centrale d’une voie de circulation et de pilotage d’un véhicule automobile |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2251239A1 (fr) * | 2008-03-12 | 2010-11-17 | Honda Motor Co., Ltd. | Dispositif d'assistance au déplacement d'un véhicule, véhicule et programme d'assistance au déplacement d'un véhicule |
| KR101191308B1 (ko) | 2010-05-31 | 2012-10-16 | 태성전장주식회사 | 지능형 운송 시스템의 도로 및 차선 검출 시스템 및 방법 |
| CN103136341A (zh) | 2013-02-04 | 2013-06-05 | 北京航空航天大学 | 一种基于Bézier曲线的车道线重构装置 |
| US9646214B2 (en) | 2014-07-11 | 2017-05-09 | Denso Corporation | Lane boundary line recognition device and computer-readable storage medium storing program of recognizing lane boundary lines on roadway |
| FR3043975A1 (fr) | 2015-10-16 | 2017-05-26 | Valeo Schalter & Sensoren Gmbh | Procede et systeme d'assistance au maintien d'une trajectoire de vehicule automobile a l'interieur d'une voie de roulage |
| FR3069222A1 (fr) | 2017-07-18 | 2019-01-25 | Renault S.A.S | Procede de fonctionnement d'un systeme d'assistance a la conduite du type assistance au centrage d'un vehicule dans une voie de circulation |
-
2020
- 2020-01-30 FR FR2000926A patent/FR3106918B1/fr active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2251239A1 (fr) * | 2008-03-12 | 2010-11-17 | Honda Motor Co., Ltd. | Dispositif d'assistance au déplacement d'un véhicule, véhicule et programme d'assistance au déplacement d'un véhicule |
| KR101191308B1 (ko) | 2010-05-31 | 2012-10-16 | 태성전장주식회사 | 지능형 운송 시스템의 도로 및 차선 검출 시스템 및 방법 |
| CN103136341A (zh) | 2013-02-04 | 2013-06-05 | 北京航空航天大学 | 一种基于Bézier曲线的车道线重构装置 |
| US9646214B2 (en) | 2014-07-11 | 2017-05-09 | Denso Corporation | Lane boundary line recognition device and computer-readable storage medium storing program of recognizing lane boundary lines on roadway |
| FR3043975A1 (fr) | 2015-10-16 | 2017-05-26 | Valeo Schalter & Sensoren Gmbh | Procede et systeme d'assistance au maintien d'une trajectoire de vehicule automobile a l'interieur d'une voie de roulage |
| FR3069222A1 (fr) | 2017-07-18 | 2019-01-25 | Renault S.A.S | Procede de fonctionnement d'un systeme d'assistance a la conduite du type assistance au centrage d'un vehicule dans une voie de circulation |
Non-Patent Citations (4)
| Title |
|---|
| ALBERT S HUANG ET AL: "Finding multiple lanes in urban road networks with vision and lidar", AUTONOMOUS ROBOTS, KLUWER ACADEMIC PUBLISHERS, BO, vol. 26, no. 2-3, 24 March 2009 (2009-03-24), pages 103 - 122, XP019670021, ISSN: 1573-7527 * |
| PAMIR GHIMIRE: "Efficient location selection for computations of expensive Log-Gabor features using directional enhancement: For robust localization of lane markings in cluttered scenes", 2016 IEEE DISTRIBUTED COMPUTING, VLSI, ELECTRICAL CIRCUITS AND ROBOTICS (DISCOVER), 5 January 2017 (2017-01-05), pages 269 - 276, XP055747778, ISBN: 978-1-5090-1623-5, DOI: 10.1109/DISCOVER.2016.7806230 * |
| WANG Y ET AL: "Lane detection and tracking using B-Snake", vol. 22, no. 4, 1 April 2004 (2004-04-01), pages 269 - 280, XP002492183, ISSN: 0262-8856, Retrieved from the Internet <URL:http://www.sciencedirect.com/science?_ob=ArticleURL&_udi=B6V09-4B85832-1&_user=987766&_rdoc=1&_fmt=&_orig=search&_sort=d&view=c&_version=1&_urlVersion=0&_userid=987766&md5=435bfba3b53f8d69382cc05eecfb5927> [retrieved on 20201109], DOI: 10.1016/J.IMAVIS.2003.10.003 * |
| ZUWHAN KIM: "Robust Lane Detection and Tracking in Challenging Scenarios", IEEE TRANSACTIONS ON INTELLIGENT TRANSPORTATION SYSTEMS, IEEE, PISCATAWAY, NJ, USA, vol. 9, no. 1, 1 March 2008 (2008-03-01), pages 16 - 26, XP011205053, ISSN: 1524-9050 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113945221A (zh) * | 2021-09-26 | 2022-01-18 | 华中科技大学 | 一种考虑近迫感效应的自动驾驶车道宽度确定方法 |
| CN113945221B (zh) * | 2021-09-26 | 2024-02-13 | 华中科技大学 | 一种考虑近迫感效应的自动驾驶车道宽度确定方法 |
| CN114132325A (zh) * | 2021-12-14 | 2022-03-04 | 京东鲲鹏(江苏)科技有限公司 | 车辆的行驶方法和装置 |
| CN114132325B (zh) * | 2021-12-14 | 2024-03-01 | 京东鲲鹏(江苏)科技有限公司 | 车辆的行驶方法和装置 |
| CN114485716A (zh) * | 2021-12-28 | 2022-05-13 | 北京百度网讯科技有限公司 | 车道渲染方法、装置、电子设备及存储介质 |
| FR3137992A1 (fr) * | 2022-07-13 | 2024-01-19 | Psa Automobiles Sa | Méthodes et systèmes de détection de lignes de délimitation de voies de circulation |
| FR3142730A1 (fr) | 2022-12-05 | 2024-06-07 | Renault S.A.S | Procédé de détection d’une ligne centrale d’une voie de circulation et de pilotage d’un véhicule automobile |
| WO2024121172A1 (fr) | 2022-12-05 | 2024-06-13 | Ampere S.A.S. | Procédé de détection d'une ligne centrale d'une voie de circulation et de pilotage d'un véhicule automobile |
| CN117456496A (zh) * | 2023-12-25 | 2024-01-26 | 合众新能源汽车股份有限公司 | 地图车道边界线的处理方法和*** |
| CN117456496B (zh) * | 2023-12-25 | 2024-03-22 | 合众新能源汽车股份有限公司 | 地图车道边界线的处理方法和*** |
Also Published As
| Publication number | Publication date |
|---|---|
| FR3106918B1 (fr) | 2022-01-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| FR3106918A1 (fr) | Procédé et dispositif de reconstruction des voies | |
| CN107798699B (zh) | 用立体图像进行深度图估计 | |
| US20230111722A1 (en) | Curb detection by analysis of reflection images | |
| JP7069927B2 (ja) | 物体認識装置、及び物体認識方法 | |
| EP1905643B1 (fr) | Procédé de détermination anticipée d'un virage sur une portion de route et système associé | |
| EP3455788A1 (fr) | Procédé de traitement d'image pour la reconnaissance de marquage au sol et système pour la détection du marquage au sol | |
| CN116685874A (zh) | 摄像机-激光雷达融合对象检测***和方法 | |
| FR2919098A1 (fr) | Procede de determination automatique des limitations de vitesse sur une route et systeme associe | |
| US20230046410A1 (en) | Semantic annotation of sensor data using unreliable map annotation inputs | |
| EP1785966A1 (fr) | Procédé d'évaluation, par un véhicule automobile, des caractéristiques d'un élément frontal | |
| FR3028344A1 (fr) | Determination automatique d'une limitation de vitesse sur une route | |
| US20240096109A1 (en) | Automatic lane marking extraction and classification from lidar scans | |
| EP3877228B1 (fr) | Construction par segmentation de voies virtuelles sur une chaussée | |
| FR3054672B1 (fr) | Procede et systeme d'association de donnees de detection et de suivi d'objets mobile pour vehicule automobile | |
| US20230316789A1 (en) | Object labeling in images using dense depth maps | |
| FR3106108A1 (fr) | Procédé et dispositif de détermination de trajectoire d’une route | |
| WO2020165516A1 (fr) | Conduite autonome fondé sur une distance et une vitesse d'objets cibles distincts | |
| FR3098778A1 (fr) | Procédé et dispositif embarqué d’aide à la conduite avec tracé de contour de voie dépassé | |
| FR3082044A1 (fr) | Procede et dispositif de detection de la voie de circulation sur laquelle circule un vehicule, en fonction des delimitations determinees | |
| US11967159B2 (en) | Semantic annotation of sensor data with overlapping physical features | |
| WO2023001703A1 (fr) | Dispositif et procédé de détection d'une sortie de voie d'un véhicule | |
| US20230152465A1 (en) | UNSUPERVISED DOMAIN ADAPTATION FOR LiDAR SEGMENTATION VIA ENHANCED PSEUDO-LABELING TECHNIQUES | |
| US20240144701A1 (en) | Determining lanes from drivable area | |
| FR3135048A1 (fr) | Procédé de suivi d’au moins une limite de bord de voie de circulation et véhicule automobile associé | |
| EP4227912A1 (fr) | Procede de detection d'une ligne centrale d'une voie de circulation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PLFP | Fee payment |
Year of fee payment: 2 |
|
| PLSC | Publication of the preliminary search report |
Effective date: 20210806 |
|
| PLFP | Fee payment |
Year of fee payment: 3 |
|
| CA | Change of address |
Effective date: 20221014 |
|
| PLFP | Fee payment |
Year of fee payment: 4 |
|
| PLFP | Fee payment |
Year of fee payment: 5 |