FR3068777A1 - METHOD FOR PLANNING THE TRACK OF A MOTOR VEHICLE EQUIPPED WITH AN AUTOMATED DRIVING SYSTEM AND VEHICLE IMPLEMENTING THE METHOD - Google Patents
METHOD FOR PLANNING THE TRACK OF A MOTOR VEHICLE EQUIPPED WITH AN AUTOMATED DRIVING SYSTEM AND VEHICLE IMPLEMENTING THE METHOD Download PDFInfo
- Publication number
- FR3068777A1 FR3068777A1 FR1856150A FR1856150A FR3068777A1 FR 3068777 A1 FR3068777 A1 FR 3068777A1 FR 1856150 A FR1856150 A FR 1856150A FR 1856150 A FR1856150 A FR 1856150A FR 3068777 A1 FR3068777 A1 FR 3068777A1
- Authority
- FR
- France
- Prior art keywords
- route
- vehicle
- location
- driving
- accuracy
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/3453—Special cost functions, i.e. other than distance or default speed limit of road segments
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/3446—Details of route searching algorithms, e.g. Dijkstra, A*, arc-flags, using precalculated routes
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Navigation (AREA)
- Traffic Control Systems (AREA)
Abstract
Procédé de planification de trajet consistant à : sélectionner un trajet à examiner entre le point de départ et le point de destination, - déterminer les conditions d'environnement indépendantes du véhicule sur le trajet choisi, - déterminer un taux prévisible de détection de repères terrestres pour une localisation du véhicule sur le trajet sélectionné, - déterminer une précision prévisible de localisation, et - déterminer si la précision de localisation prévisible est suffisante.A route planning method comprising: selecting a path to be examined between the starting point and the destination point; - determining the vehicle independent environment conditions on the selected path; - determining a predictable rate of detection of landmarks for a location of the vehicle on the selected path, - determine a predictable location accuracy, and - determine whether predictable location accuracy is sufficient.
Description
L’invention se rapporte également à un véhicule équipé d’un système de conduite automatisé mettant en œuvre le procédé de planification de trajet.The invention also relates to a vehicle equipped with an automated driving system implementing the route planning method.
Etat de la techniqueState of the art
Les systèmes actuels d’assistance de conduite ADAS (système d’assistance avancée de conduite) et les systèmes de conduite fortement automatisés (systèmes UAD) (conduite urbaine automatique) supposent une connaissance de plus en plus détaillée de l’environnement du véhicule et de la perception de la situation. Comme base de la perception de l’environnement du véhicule on utilise des données de mesure de capteurs. A partir de ces données et à l’aide d’algorithmes de détection, on peut extraire des objets à l’aide desquels on décrit l’environnement du véhicule et on l’analyse. Les capteurs modernes d’environnement tels que les caméras vidéo ou les scanners laser permettent, en liaison avec les algorithmes de détection, de saisir de nombreuses informations de l’environnement du véhicule telles que, par exemple, la forme de repères terrestres. Ces repères terrestres sont les signaux ou panneaux de circulation, les feux rouges, les marquages de voies, etc. Les objets détectés ou les repères terrestres détectés peuvent servir pour la localisation du véhicule. La puissance disponible de l’ensemble du système de conduite automatisée dépend ainsi, de manière significative, de la capacité des capteurs d’environnement.Current ADAS driving assistance systems (advanced driving assistance system) and highly automated driving systems (UAD systems) (automatic urban driving) require increasingly detailed knowledge of the vehicle environment and the perception of the situation. As a basis for the perception of the vehicle environment, we use sensor measurement data. From this data and using detection algorithms, objects can be extracted using which the environment of the vehicle is described and analyzed. Modern environmental sensors such as video cameras or laser scanners, in conjunction with detection algorithms, make it possible to capture a large amount of information about the environment of the vehicle, such as, for example, the shape of landmarks. These landmarks are traffic signals or signs, red lights, lane markings, etc. Detected objects or detected landmarks can be used to locate the vehicle. The available power of the entire automated driving system thus depends significantly on the capacity of the environmental sensors.
Les systèmes actuels d’assistance pour le guidage dans un couloir de circulation dépendent de la fiabilité de la détection et de la localisation des marquages de voie par rapport au véhicule. On connaît le document Borrmann, J.M. et al., STELLaR - a Case-Study on systematically embedding of traffic light récognition, Intelligent Transportation Systems (ITSC), 2014 IEEE, 17. International Conférence, pp. 1258, 1265, 8-11. 2014.Current assistance systems for guiding in a traffic lane depend on the reliability of detection and location of lane markings in relation to the vehicle. We know the document Borrmann, J.M. et al., STELLaR - a Case-Study on systematically embedding of traffic light récognition, Intelligent Transportation Systems (ITSC), 2014 IEEE, 17. International Conférence, pp. 1258, 1265, 8-11. 2014.
Ce document décrit une détection de feux rouges utilisant des algorithmes de détection d’objets très exigeants en matériel.This document describes a red light detection using object detection algorithms that are very demanding in terms of equipment.
On connaît également le document Thrun, S., FindingWe also know the document Thrun, S., Finding
Landmarks for Mobile Robot Navigation, Robotics & automation, 1998.Landmarks for Mobile Robot Navigation, Robotics & automation, 1998.
Proceedings. 1998 IEEEE International Conférence, Tome 2, pp. 958,Proceedings. 1998 IEEEE International Conférence, Tome 2, pp. 958
963, 16.-20. Mai 1998.963, 16.-20. May 1998.
Ce document est un projet de sélection de repères terrestres pour localiser le véhicule.This document is a project to select landmarks to locate the vehicle.
La précision de la localisation du véhicule nécessaire aux systèmes de conduite automatisée dépend non seulement de la puissance des capteurs d’environnement, car les conditions d’environnement et le choix de l’algorithme de détection peuvent avoir une influence significative. La puissance de l’ensemble du système du véhicule est directement associée au trajet à effectuer et aux conditions d’environnement.The accuracy of the vehicle location necessary for automated driving systems depends not only on the power of the environmental sensors, since the environmental conditions and the choice of the detection algorithm can have a significant influence. The power of the entire vehicle system is directly associated with the route to be taken and environmental conditions.
But de l’inventionPurpose of the invention
La présente invention a pour but de développer un procédé de planification de trajet pour un véhicule automobile équipé d’un système de conduite automatisée et qui tient compte de la possibilité de localisation spécifique au trajet et à la puissance du système de conduite automatisée et permet ainsi une planification d’un trajet adapté à la situation.The present invention aims to develop a route planning method for a motor vehicle equipped with an automated driving system and which takes into account the possibility of location specific to the route and the power of the automated driving system and thus allows planning a trip adapted to the situation.
L’invention a également pour but de développer un véhicule équipé d’un système de conduite automatisée pour une planification d’un trajet adapté à la situation.The invention also aims to develop a vehicle equipped with an automated driving system for route planning adapted to the situation.
Exposé et avantages de l’inventionPresentation and advantages of the invention
A cet effet, l’invention a pour objet un procédé de planification de trajet pour un véhicule équipé d’un système de conduite automatisée, selon lequel on établit une analyse de possibilités de conduite pour au moins un trajet, cette analyse de possibilités de conduite comprenant les étapes suivantes consistant à sélectionner un trajet à examiner entre le point de départ et le point de destination, déterminer les conditions d’environnement indépendantes du véhicule sur le trajet choisi, déterminer un taux prévisible de détection de repères terrestres appropriés pour une localisation du véhicule sur le trajet sélectionné en utilisant les conditions d’environnement indépendantes du véhicule, déterminer une précision prévisible de loca3 lisation sur le trajet sélectionné en utilisant le taux de détection prévisible et, déterminer si la précision de localisation prévisible est suffisante pour la conduite assistée par le système de conduite automatisée sur le trajet sélectionné.To this end, the subject of the invention is a route planning method for a vehicle equipped with an automated driving system, according to which an analysis of driving possibilities for at least one journey is established, this analysis of driving possibilities. comprising the following stages consisting in selecting a route to be examined between the starting point and the destination point, determining the environmental conditions independent of the vehicle on the chosen route, determining a predictable rate of detection of landmarks suitable for locating the vehicle on the selected route using environmental conditions independent of the vehicle, determine a predictable location accuracy on the selected route using the predictable detection rate and, determine if the predictable location accuracy is sufficient for driving assisted by the aut driving system on the selected route.
Le système de véhicule automatisé est un système d’assistance de conduite pour assister le conducteur et/ou une conduite très automatisée et/ou une conduite autonome.The automated vehicle system is a driving assistance system to assist the driver and / or highly automated driving and / or autonomous driving.
De façon avantageuse, le procédé de planification du trajet tient compte d’une possibilité de localisation suffisamment précise par rapport au trajet et à la puissance disponible du système notamment du système de véhicule automatisé. Les trajets le long desquels, dans les conditions d’environnement donné et les capteurs d’environnement disponibles dans le système du véhicule, ne permettent pas une localisation répondant à la demande, seront considérés comme non utilisables. De tels trajets ou segments de trajet seront alors contournés. Le procédé utilise des conditions d’environnement indépendantes du véhicule le long des trajets examinés, ces conditions constituant les grandeurs d’entrée. Les repères pour la localisation du véhicule peuvent être pris dans une carte de localisation.Advantageously, the route planning method takes account of a sufficiently precise location possibility with respect to the route and the available power of the system, in particular of the automated vehicle system. The routes along which, under the given environmental conditions and the environmental sensors available in the vehicle system, do not allow a location meeting demand, will be considered unusable. Such paths or path segments will then be bypassed. The method uses environmental conditions independent of the vehicle along the paths examined, these conditions constituting the input quantities. The marks for the location of the vehicle can be taken from a location map.
Le procédé permet de planifier des trajets sur lesquels la puissance demandée au système du véhicule est assurée avec une probabilité élevée, ce qui permet d’influencer avantageusement la robustesse du système de véhicule automatisé. Par rapport aux procédés connus de planification de trajet pour des systèmes de véhicule automatisé, on utilise ici en plus des conditions d’environnement indépendantes du véhicule, c’est-à-dire des conditions d’environnement qui ne sont pas liées au véhicule et/ou au système de conduite automatisée. Toutefois, on peut également inclure des conditions d’environnement dépendant du véhicule dans le calcul de la précision de localisation prévisible. Les conditions d’environnement dépendant du véhicule sont, par exemple, l’efficacité des capteurs ou la robustesse des algorithmes de détection des repères terrestres.The method makes it possible to plan journeys on which the power requested from the vehicle system is ensured with a high probability, which advantageously influences the robustness of the automated vehicle system. Compared to known route planning methods for automated vehicle systems, environment conditions independent of the vehicle are used here, i.e. environmental conditions which are not linked to the vehicle and / or the automated driving system. However, environmental conditions depending on the vehicle can also be included in the calculation of the predictable location accuracy. Vehicle-dependent environmental conditions are, for example, the efficiency of sensors or the robustness of algorithms for detecting landmarks.
Les capteurs d’environnement peuvent être des capteurs vidéo-stéréo ou des scanners laser ou d’autres dispositifs de capteurs appropriés.Environmental sensors can be video-stereo sensors or laser scanners or other suitable sensor devices.
L’étape de détermination du taux de détection prévisible des repères terrestres convenant pour la localisation du véhicule ne se fait pas nécessairement comme une étape de procédé distincte, mais elle peut également être incluse implicitement dans la détermination de la précision de localisation prévisible. L’essentiel dans le procédé de planification de trajet est la précision de localisation prévisible et la détermination qui en résulte pour savoir si la précision de localisation prévisible pour la conduite assistée dans un système de véhicule automatisé sur le trajet sélectionné est suffisante en utilisant les conditions d’environnement dépendant du véhicule sur le trajet sélectionné. Par exemple, il est également possible que la détermination de la précision de localisation prévisible ou de la détermination de la précision de localisation est suffisante pour circuler sur le trajet sélectionné avec l’assistance du système de conduite automatisée, à l’aide d’un modèle paramétré et/ou d’un réseau neuronal ou autre procédé d’apprentissage par machine et/ou de modèles statistiques.The step of determining the predictable detection rate of landmarks suitable for the location of the vehicle is not necessarily done as a separate process step, but it can also be implicitly included in the determination of the predictable location accuracy. The bottom line in the route planning process is the predictable location accuracy and the resulting determination of whether the predictable location accuracy for assisted driving in an automated vehicle system on the selected route is sufficient using the conditions depending on the vehicle on the selected route. For example, it is also possible that the determination of the predictable location accuracy or the determination of the location accuracy is sufficient to travel on the selected route with the assistance of the automated driving system, using a parametric model and / or neural network or other machine learning process and / or statistical models.
Dans le cas d’un modèle paramétré, le taux de détection peut se trouver de manière explicite ou implicite dans le procédé. Si la précision de localisation se détermine par un réseau neuronal ou un moyen analogue, alors le taux de détection prévisible est implicitement pris en compte par la pondération apprise par le réseau neuronal. Dans le cas d’un modèle statistique, le taux de détection est pris en compte par l’entrée pondérée, statistique, dans la détermination de la précision de localisation. Pour la compréhension de l’invention il est important que la précision de la localisation dépende implicitement ou explicitement du produit du taux de détection, (c’est-à-dire du pourcentage de repère terrestre détecté sur le trajet choisi) et du nombre de repères présents sur le trajet choisi.In the case of a parameterized model, the detection rate can be found explicitly or implicit in the process. If the location accuracy is determined by a neural network or similar means, then the predictable detection rate is implicitly taken into account by the weighting learned by the neural network. In the case of a statistical model, the detection rate is taken into account by the weighted, statistical input, in determining the location accuracy. For the understanding of the invention it is important that the accuracy of the location depends implicitly or explicitly on the product of the detection rate, (that is to say on the percentage of landmark detected on the chosen path) and on the number of markers present on the chosen route.
Le taux de détection inclus implicitement ou explicitement dans le procédé peut en outre dépendre du type de repères terrestres se trouvant dans le trajet sélectionné. Par exemple, le taux de détection de signaux de circulation, de limitations de couloir de circulation, de signaux lumineux, d’arbres ou de construction peut être variable. De plus, le taux de détection peut dépendre de l’efficacité de l’installation de capteurs du champ environnant. Les algorithmes de détection utilisés peuvent avoir une efficacité variable pour le taux de détection de certains types de repères terrestres. Tous les facteurs évoqués ci-dessus peuvent intervenir de manière explicite ou implicite dans la prise en compte du taux de détection, dans la détermination de la précision de localisation prévisible et de la détermination qui en résulte pour savoir si la précision de localisation prévisible est suffisante pour parcourir le trajet sélectionné avec l’assistance d’un système de conduite automatisé.The detection rate implicitly or explicitly included in the method may also depend on the type of landmarks located in the selected path. For example, the rate of detection of traffic signals, traffic lane limitations, light signals, trees or construction may be variable. In addition, the detection rate may depend on the efficiency of the installation of surrounding field sensors. The detection algorithms used may have varying effectiveness for the detection rate of certain types of landmarks. All the factors mentioned above can intervene explicitly or implicitly in taking the detection rate into account, in determining the predictable location accuracy and the resulting determination as to whether the predictable location accuracy is sufficient. to travel the selected route with the assistance of an automated driving system.
De façon préférentielle, les conditions d’environnement indépendantes du véhicule, sont la densité de circulation et/ou les conditions météorologiques et/ou les conditions routières.Preferably, the environmental conditions independent of the vehicle are the traffic density and / or the weather conditions and / or the road conditions.
Les conditions météorologiques, les événements de la circulation et la densité de la circulation ainsi que les conditions routières peuvent influencer la caractéristique de détection des capteurs et intervenir ainsi sur le taux de détection de différents types de repères terrestres. En particulier, une densité de circulation élevée peut conduire à ce qu’une partie déterminée de repères terrestres sera cachée sur le trajet sélectionné, au moins de temps en temps par des véhicules qui précèdent le véhicule équipé du capteur ; cela diminuera le taux de détection et ainsi la précision de la localisation. De façon avantageuse, la dépendance de la précision de la localisation et des conditions météorologiques actuelles et les événements de circulation peuvent être pris en compte. La détermination des conditions d’environnement, en particulier les conditions météorologiques et des événements de circulation peut se faire, par exemple, en interrogeant des bandes de données météorologiques ou des bandes de données de circulation.Weather conditions, traffic events and traffic density as well as road conditions can influence the detection characteristic of the sensors and thus influence the detection rate of different types of landmarks. In particular, a high traffic density can lead to a certain part of landmarks being hidden on the selected route, at least from time to time by vehicles preceding the vehicle equipped with the sensor; this will decrease the detection rate and thus the accuracy of the location. Advantageously, dependence on location accuracy and current weather conditions and traffic events can be taken into account. The determination of the environmental conditions, in particular the weather conditions and traffic events can be done, for example, by interrogating bands of meteorological data or bands of traffic data.
De façon préférentielle, on détermine un taux de couverture de repères terrestres sur le trajet sélectionné et ce taux de couverture se détermine de préférence en utilisant des conditions d’environnement et/ou le type d’utilisation particulière de l’environnement et/ou du type de repère routier approprié ; la précision de la localisation et/ou le taux de détection se déterminent en utilisant le taux de couverture.Preferably, a rate of coverage of landmarks on the selected path is determined and this rate of coverage is preferably determined by using environmental conditions and / or the particular type of use of the environment and / or the appropriate road mark type; the accuracy of the location and / or the detection rate are determined using the coverage rate.
De façon avantageuse, le taux de couverture influence les conditions d’environnement dépendant du trajet et celles indépendantes du trajet sur la précision de la localisation. Le taux de couverture peut également dépendre du type de repère routier. C’est ainsi que, par exemple, les repères terrestres situés à faible hauteur au-dessus de la voie de circulation sont cachés aux capteurs d’environnement à cause de la circulation et des véhicules, ce qui diminue par conséquence le taux de détection pour de tels repères. Face à cela, le taux de détection pour des repères routiers installés à une hauteur importante tels que, par exemple, les signaux lumineux est moindre.Advantageously, the coverage rate influences the environmental conditions dependent on the journey and those independent of the journey on the accuracy of the location. The coverage rate may also depend on the type of road mark. Thus, for example, landmarks located at low height above the traffic lane are hidden from the environmental sensors because of traffic and vehicles, which consequently decreases the detection rate for such benchmarks. Faced with this, the detection rate for road markers installed at a significant height such as, for example, light signals is lower.
Le taux de couverture peut être pris en compte implicitement ou explicitement dans le procédé. Dans les modèles paramétrés ou les réseaux neuronaux on peut avoir une prise en compte implicite par les paramètres ou les pondérations apprises.The coverage rate can be taken into account implicitly or explicitly in the process. In the parametric models or the neural networks one can have an implicit taking into account by the parameters or the learned weights.
De manière préférentielle, le taux de couverture et/ou le taux de détection et/ou la précision de localisation se déterminent en utilisant un modèle paramétré ; le modèle paramétré est, de préférence, un modèle appris par machine et en outre de préférence le modèle appris par machine a été établi en utilisant des analyses de possibilité de conduite antérieures notamment en utilisant des conditions d’environnement antérieures et/ou des taux de détection déterminés antérieurement et/ou des taux de couverture déterminés, antérieurs et/ou des précisions de localisation déterminées antérieurement et/ou la capacité de puissance des dispositifs de capteur et/ou des algorithmes de détection du système de véhicule automatisé.Preferably, the coverage rate and / or the detection rate and / or the location accuracy are determined using a parameterized model; the parameterized model is preferably a machine learned model and further preferably the machine learned model has been established using previous driving possibility analyzes in particular using previous environmental conditions and / or previously determined detection and / or previously determined coverage rates and / or previously determined location accuracies and / or the power capacity of the sensor devices and / or detection algorithms of the automated vehicle system.
De façon avantageuse on détermine le taux de couverture et/ou le taux de détection et/ou la précision de la localisation en utilisant un modèle paramétré ou un réseau neuronal. Le modèle paramétré ou le réseau neuronal déterminent ainsi le taux de couverture et/ou le taux de détection et/ou la précision de la localisation en s’appuyant sur des analyses de possibilité de conduite faites antérieurement, c’est-àdire en utilisant les résultats d’analyses de possibilités de conduite qui ont été faites avant l’exécution actuelle du procédé.Advantageously, the coverage rate and / or the detection rate and / or the accuracy of the location is determined using a parameterized model or a neural network. The parameterized model or the neural network thus determines the coverage rate and / or the detection rate and / or the accuracy of the localization based on analyzes of the possibility of driving made previously, that is to say using the results of analyzes of driving possibilities which were made before the current execution of the process.
De façon correspondante on peut prévoir qu’avant d’exécuter l’analyse de possibilités de conduite, notamment avant de choisir un trajet à examiner, le modèle paramétré ou le réseau neuronal effectue une phase d’apprentissage.Correspondingly, it can be foreseen that before executing the analysis of driving possibilities, in particular before choosing a path to be examined, the parameterized model or the neural network performs a learning phase.
Selon un mode de réalisation préférentiel, on détermine le taux de couverture en utilisant le modèle paramétré avec, comme grandeur d’entrée du modèle paramétré, l’information météorologique actuelle et/ou l'état de circulation actuelle sur le trajet sélectionné et/ou les types de repères terrestres existant sur le trajet sélectionné.According to a preferred embodiment, the coverage rate is determined using the parameterized model with, as input quantity of the parameterized model, the current meteorological information and / or the current traffic state on the selected route and / or the types of landmarks existing on the selected route.
Le système est fondé sur un modèle paramétré avec un procédé d’apprentissage par machine, notamment sur un réseau neuronal qui établit la relation entre le temps et les données de circulation ainsi que d’autres informations concernant l’environnement, les modules de perception d’environnement, utilisés ou les capteurs d’environnement du côté du véhicule et la probabilité de détection résultante des différents types de repères terrestres.The system is based on a parameterized model with a machine learning process, in particular on a neural network which establishes the relationship between time and traffic data as well as other information concerning the environment, the perception modules of environment, used or environment sensors on the vehicle side and the resulting probability of detection of different types of landmarks.
De façon préférentielle, on détermine le taux de détection en utilisant le taux de couverture et/ou un nombre, notamment maximum, et/ou une densité numérique et/ou le type de repères terrestres qui peuvent être détectés sur le trajet sélectionné et/ou la puissance des dispositifs de capteur et/ou des algorithmes de détection du système de véhicule automatisé et/ou les conditions d’environnement et/ou la précision des données de localisation notamment des données GPS.Preferably, the detection rate is determined using the coverage rate and / or a number, in particular a maximum number, and / or a digital density and / or the type of landmarks which can be detected on the selected route and / or the power of the sensor devices and / or the detection algorithms of the automated vehicle system and / or the environmental conditions and / or the accuracy of the location data, in particular of the GPS data.
Le taux de couverture permet de déterminer la partie de repère terrestre d’un certain type qui sera probablement couvert sur le trajet sélectionné par les conditions d’environnement telles qu’une forte circulation. Le taux de détection dépend alors du taux de couverture et aussi de l’efficacité des capteurs ou des dispositifs de capteurs. En outre, le taux de détection peut dépendre de l’efficacité des algorithmes de détection en utilisant différents algorithmes de détection, notamment pour les différents types de repères terrestres.The coverage rate is used to determine the part of the landmark of a certain type that will probably be covered on the route selected by environmental conditions such as heavy traffic. The detection rate then depends on the coverage rate and also on the effectiveness of the sensors or sensor devices. In addition, the detection rate may depend on the effectiveness of the detection algorithms using different detection algorithms, especially for different types of landmarks.
De façon préférentielle, la précision de la localisation se détermine à l’aide d’un modèle statistique et cette précision de localisation se détermine de préférence en utilisant le taux de détection prévisible et/ou le taux de couverture prévisible et/ou le nombre et/ou la densité numérique et/ou le type de repères terrestres le long du trajet sélectionné.Preferably, the location accuracy is determined using a statistical model and this location accuracy is preferably determined using the predictable detection rate and / or the predictable coverage rate and / or the number and / or the digital density and / or the type of landmarks along the selected path.
La précision de localisation dépend explicitement ou implicitement du taux de détection prévisible et du nombre ou de la densité numérique des repères routiers selon le type de repères le long du trajet sélectionné. Le taux de détection peut être influencé par le taux de couverture.The location accuracy depends explicitly or implicitly on the foreseeable detection rate and the number or numerical density of the road markers according to the type of markers along the selected route. The detection rate can be influenced by the coverage rate.
Suivant une autre caractéristique avantageuse, la précision de localisation déterminée est comparée à un seuil prédéfini et le conducteur du véhicule aura la possibilité de conduire lui-même le long du trajet sélectionné et/ou on effectue une nouvelle analyse des possibilités de conduite sur un autre trajet si la précision de localisation est inférieure au seuil.According to another advantageous characteristic, the determined location accuracy is compared with a predefined threshold and the driver of the vehicle will have the possibility of driving himself along the selected route and / or a new analysis of the possibilities of driving on another path if the location accuracy is below the threshold.
Pendant la conduite, si la précision de localisation descend en dessous du seuil, cela sera signalé au conducteur lui indiquant que le trajet sélectionné ne pourra être parcouru par le véhicule avec le système de véhicule automatisé et qu’ensuite un nouveau trajet est planifié.While driving, if the location accuracy drops below the threshold, the driver will be informed that the selected route cannot be traveled by the vehicle with the automated vehicle system and that a new route is then planned.
En variante ou en complément, le conducteur du véhicule aura la possibilité de décider s’il veut conduire lui-même sur le trajet initialement sélectionné et planifié ou s’il souhaite accepter un trajet éventuellement plus long.As a variant or in addition, the driver of the vehicle will have the possibility of deciding whether he wants to drive himself on the route initially selected and planned or whether he wishes to accept a possibly longer route.
De façon avantageuse, on peut faire une planification globale et un changement de planification de l’ensemble du trajet pour un système de véhicule automatisé, vers une destination définie.Advantageously, one can make a global planning and a change of planning of the whole journey for an automated vehicle system, towards a defined destination.
De manière préférentielle, il est prévu de déterminer si la précision de localisation prévisible est suffisante pour circuler sur le trajet sélectionné avec un système de véhicule automatisé, si la possibilité de localisation est suffisamment bonne et/ou si cette détermination faite sur un trajet aussi court que possible est optimisée avec une précision suffisante de la localisation.Preferably, it is planned to determine if the predictable location accuracy is sufficient to travel on the selected route with an automated vehicle system, if the location possibility is sufficiently good and / or if this determination made on such a short route as possible is optimized with sufficient localization accuracy.
En outre, de manière préférentielle, la conduite assistée avec le système de véhicule automatisé sur le trajet sélectionné détermine des dispositifs de capteur appropriés et/ou des algorithmes de détecteur de préférence si la précision de localisation est supérieure ou égale au seuil.In addition, preferably, the assisted driving with the automated vehicle system on the selected path determines suitable sensor devices and / or detector algorithms preferably if the location accuracy is greater than or equal to the threshold.
De façon avantageuse, le procédé détermine quel dispositif de capteur convient pour quel type de repère terrestre, pour circuler sur le trajet sélectionné. En utilisant un modèle paramétré, le système repose notamment sur l’établissement de la relation entre les données météorologiques, les données de circulation ainsi que d’autres informations relatives à l’environnement, les dispositifs de capteurs ou les modules de perception de l’environnement du côté du véhicule et de la probabilité résultante de détection des différents types de repères terrestres. Avec les informations concernant la densité des repères terrestres qui sont, par exemple, extraites d’une carte de localisation, et les types de repères terrestres susceptibles d’être détectés et qui sont donnés par le module de localisation du système de conduite du véhicule, le procédé permet de déterminer si le trajet peut être emprunté actuellement par le système de véhicule. Pour cela le procédé tient compte de différents éléments des algorithmes de détection côté véhicule, c’est-àdire que, selon le dispositif de capteur disponible ou selon les algorithmes de détection disponibles, certains types de véhicule pourront circuler dans des zones dans lesquelles d’autres ne le pourront pas. On peut ainsi fixer avantageusement quels dispositifs de capteur et/ou quels algorithmes de détection ont été utilisés pour parcourir un trajet, notamment quel segment de trajet.Advantageously, the method determines which sensor device is suitable for which type of landmark, to travel on the selected path. Using a parameterized model, the system relies in particular on establishing the relationship between meteorological data, traffic data as well as other information relating to the environment, sensor devices or modules for perceiving the environment on the vehicle side and the resulting probability of detection of different types of landmarks. With the information concerning the density of landmarks which are, for example, extracted from a location map, and the types of landmarks likely to be detected and which are given by the location module of the vehicle driving system, the method makes it possible to determine whether the route can currently be taken by the vehicle system. For this, the method takes into account different elements of the vehicle-side detection algorithms, that is to say that, depending on the sensor device available or according to the detection algorithms available, certain types of vehicle may travel in areas in which others will not. It is thus possible to advantageously fix which sensor devices and / or which detection algorithms have been used to cover a path, in particular which segment of the path.
Les données météorologiques, les informations de circulation, les informations relatives à la précision du système GPS et les informations concernant la densité des repères terrestres détectables le long du trajet sont utilisées comme grandeurs d’entrée. Un modèle dont les paramètres ont été déterminés par un procédé d’apprentissage par machine sera ainsi utilisé pour obtenir une information concernant le trajet sélectionné pour déterminer le cas échéant avec quel algorithme de détection le trajet peut être effectué.The meteorological data, traffic information, information relating to the accuracy of the GPS system and information concerning the density of the landmarks detectable along the route are used as input quantities. A model whose parameters have been determined by a machine learning process will thus be used to obtain information concerning the selected route to determine if necessary with which detection algorithm the route can be carried out.
Une autre solution du problème de l’invention est la réalisation d’un véhicule automobile équipé d’un système de conduite automatisée pour la mise en œuvre du procédé tel que décrit ci-dessus.Another solution to the problem of the invention is the production of a motor vehicle equipped with an automated driving system for implementing the method as described above.
Suivant une autre caractéristique avantageuse, le système de véhicule automatisé est conçu pour une conduite assistée et/ou une conduite très automatisée et/ou une conduite autonome.According to another advantageous characteristic, the automated vehicle system is designed for assisted driving and / or highly automated driving and / or autonomous driving.
Dessinsdrawings
La présente invention sera décrite ci-après, de manière plus détaillée, à l’aide d’un procédé de planification de trajet pour un véhicule automobile, représenté dans les dessins annexés dans lesquels :The present invention will be described below, in more detail, using a route planning method for a motor vehicle, shown in the accompanying drawings in which:
la figure 1 montre un ordinogramme d’un procédé de planification de trajet pour un véhicule équipé d’un système de conduite automatisée, la figure 2 montre une vue d’ensemble des grandeurs d’entrée pour la phase d’apprentissage d’un modèle paramétré.FIG. 1 shows a flowchart of a route planning method for a vehicle equipped with an automated driving system, FIG. 2 shows an overview of the input quantities for the learning phase of a model setting.
Description d’un mode de réalisation de l’inventionDescription of an embodiment of the invention
La figure 1 montre un ordinogramme d’un procédé de planification de trajet d’un véhicule automobile équipé d’un système de conduite automatisée.Figure 1 shows a flowchart of a route planning method for a motor vehicle equipped with an automated driving system.
Dans une première étape SI prévue en option, au cours d’une phase d’apprentissage d’un modèle paramétré, notamment d’un réseau neuronal, on s’appuie sur des informations telles que des données météorologiques, des taux de détection, des repères terrestres de différents types et d’autres sources d’information telles que des données de circulation, une réunion entre ces grandeurs d’entrée et le taux de couverture prévisible pour les différents types de repère terrestre, de préférence dans des conditions données. La position peut, entre autre se déterminer par GPS, navigation couplée ou localisation côté véhicule.In a first step SI optionally provided, during a learning phase of a parameterized model, in particular of a neural network, we rely on information such as meteorological data, detection rates, terrestrial landmarks of different types and other sources of information such as traffic data, a combination of these input quantities and the expected coverage rate for the different types of terrestrial landmark, preferably under given conditions. The position can, among other things, be determined by GPS, combined navigation or location on the vehicle side.
Dans un cas, le procédé commence par l’analyse de la possibilité de conduite dans l’étape S2. En fonction du point de départ et de la destination, on sélectionne un trajet à examiner pour l’emprunter avec le système de véhicule automatisé équipé d’un système de navigation.In one case, the process begins with the analysis of the possibility of driving in step S2. Depending on the starting point and the destination, we select a route to be examined to take it with the automated vehicle system equipped with a navigation system.
Ensuite, dans l’étape S3, on détermine les conditions d’environnement indépendantes du véhicule sur le trajet sélectionné. Ces conditions d’environnement peuvent être les événements de la circulation actuelle ou les conditions météorologiques actuelles sur le trajet sélectionné ; on les obtient en interrogeant une banque de données. En outre, on extrait les repères terrestres prévisibles d’une carte de localisation.Then, in step S3, the environmental conditions independent of the vehicle on the selected path are determined. These environmental conditions can be current traffic events or current weather conditions on the selected route; they are obtained by interrogating a database. In addition, predictable landmarks are extracted from a location map.
Dans l’étape S4 suivante, on utilise le modèle paramétré pour déterminer le taux de couverture prévisible sur le trajet en cours d’examen pour chaque type de repère terrestre souhaité. Comme grandeur d’entrée, on utilise des événements de circulation actuelle et/ou les conditions météorologiques actuelles et le cas échéant également les repères terrestres enregistrés dans la carte de localisation pour le trajet sélectionné.In the next step S4, the parameterized model is used to determine the expected coverage rate on the path under examination for each type of desired landmark. As an input quantity, current traffic events and / or current weather conditions are used, and where appropriate also the landmarks recorded in the location map for the selected route.
Dans l’étape S5 on détermine le taux de détection des repères terrestres pour la localisation du véhicule sur le trajet sélectionné en utilisant les conditions d’environnement indépendantes du véhicule. Pour la détermination du taux de détection, on utilise comme entrée, le taux de couverture obtenu dans l’étape S4. En outre on peut tenir compte des conditions dépendant du véhicule telles que, par exemple, l’efficacité de la détection des différents dispositifs de capteurs tels que les caméras stéréo ou les systèmes laser ainsi que la puissance des algorithmes de détection possibles pour différents types de repères terrestres, notamment dans les conditions d’environnement données (météorologie, état de la circulation,In step S5, the rate of detection of landmarks for locating the vehicle on the selected path is determined using environmental conditions independent of the vehicle. For the determination of the detection rate, the coverage rate obtained in step S4 is used as input. In addition, account can be taken of vehicle-dependent conditions such as, for example, the efficiency of detection of different sensor devices such as stereo cameras or laser systems as well as the power of possible detection algorithms for different types of landmarks, especially in given environmental conditions (meteorology, traffic conditions,
Dans l’étape S6 on appliquer la précision de localisation prévisible sur le trajet sélectionné en utilisant le taux de détection prévisible. En d’autres termes, avec la combinaison du taux de couverture déterminé, du taux de détection et du nombre, de la densité numérique et du type des repères terrestres le long du trajet on évalue la précision de la localisation à l’aide d’un modèle statistique.In step S6, apply the predictable location accuracy on the selected path using the predictable detection rate. In other words, with the combination of the determined coverage rate, the detection rate and the number, the numerical density and the type of landmarks along the route, the accuracy of the localization is evaluated using a statistical model.
La précision de la localisation pour le trajet sélectionné résulte pour un type donné de repères terrestres, notamment du produit du taux de détection et de la densité numérique des repères terrestres existant sur le trajet sélectionné ou des segments du trajet sélectionné.The accuracy of the location for the selected route results for a given type of landmarks, in particular from the product of the detection rate and the digital density of the landmarks existing on the selected route or of the segments of the selected route.
Dans une autre étape S7, on détermine si la précision de localisation prévisible pour conduire avec l’assistance du système de véhicule automatisé est suffisante pour le trajet sélectionné. A partir de l’analyse de la possibilité de conduite, on décide de la nécessité d’une nouvelle planification du trajet. Si celle-ci était nécessaire, on pourra la faire selon le procédé qui commence avec le nouveau trajet sélectionné par l’analyse de la possibilité de conduite dans l’étape S2.In another step S7, it is determined whether the predictable location accuracy for driving with the assistance of the automated vehicle system is sufficient for the selected route. From the analysis of the possibility of driving, we decide on the need for a new route planning. If this was necessary, it can be done according to the process which begins with the new route selected by the analysis of the possibility of driving in step S2.
Si la précision de la localisation pour une conduite assistée par le système de véhicule automatisé du trajet sélectionné est suffisant, dans une autre étape S8, le procédé pourra indiquer pour un trajet considéré comme utilisable, en plus les dispositifs de capteur et les algorithmes de détection que le système de véhicule doit utiliser. En outre, on peut établir un plan pour commuter les algorithmes de détection le long du trajet sélectionné, pour réagir à des types de repères terrestres modifiés.If the accuracy of the location for driving assisted by the automated vehicle system of the selected route is sufficient, in another step S8, the method may indicate for a route considered to be usable, in addition to the sensor devices and the detection algorithms the vehicle system should use. In addition, a plan can be established to switch the detection algorithms along the selected path, to react to modified types of landmarks.
A titre d’exemple, on planifie un trajet pour un système de véhicule automatisé le long d’une route principale. Le long de ce trajet on dispose de suffisamment d’informations d’environnement pour que la détection de tous les repères terrestres du type panneau de signalisation routière permet une localisation suffisamment précise du système de véhicule.For example, a route for an automated vehicle system is planned along a main road. Along this route, there is enough environmental information available so that the detection of all landmarks of the road sign type allows sufficiently precise location of the vehicle system.
Pour les temps de circulation sur ce trajet, il faut néanmoins compter avec une circulation dense. Un système de véhicule automatisé implémenté par le procédé détermine cet état de la circulation et pour le trajet planifié, un taux de détection qui est inférieur au taux de couverture prévisible qui repose sur des conditions d’environnement indépendantes du véhicule et se situe significativement en dessous de 100%. Néanmoins, le système détermine comme précision de localisation prévisible une valeur qui est suffisamment bonne et se situe notamment au-dessus d’un seuil prédéfini. Le système permet ainsi la conduite assistée par le système de véhicule automatisé sur le trajet sélectionné.For traffic times on this route, it is nevertheless necessary to count with heavy traffic. An automated vehicle system implemented by the method determines this traffic condition and for the planned route, a detection rate which is lower than the foreseeable coverage rate which is based on environmental conditions independent of the vehicle and is significantly below 100%. However, the system determines as predictable location accuracy a value which is sufficiently good and is in particular above a predefined threshold. The system thus allows assisted driving by the automated vehicle system on the selected route.
Dans un autre cas, à la même heure du jour on peut avoir une forte précipitation. Le procédé détermine de nouveau un taux de détection. Du fait des mauvaises conditions météorologiques, ce taux n’est pas suffisamment élevé, ce qui résulte en particulier de l’augmentation du taux de couverture à cause des mauvaises conditions météorologiques. Cela ne permet pas d’avoir une précision de localisation suffisante. Dans le cadre du procédé on peut sélectionner un trajet alternatif et l’évaluer dans le cadre d’une nouvelle analyse de possibili tés de conduite. Ce nouveau trajet passe par des routes moins encombrées mais avec un taux de couverture moindre. On pourra communiquer au conducteur en option par une interface homme-machine, qu’un trajet plus long a été planifié et qu’il n’y a qu’une possibilité de sélection entre le mode automatisé sur ce trajet ou une conduite non automatisée sur un trajet plus court.In another case, at the same time of day there can be a strong precipitation. The method again determines a detection rate. Due to bad weather conditions, this rate is not high enough, which results in particular from the increase in the coverage rate due to bad weather conditions. This does not allow for sufficient location accuracy. As part of the process, an alternative route can be selected and evaluated in the context of a new analysis of driving possibilities. This new route goes through less congested roads but with a lower coverage rate. The driver can be communicated as an option via a man-machine interface, that a longer trip has been planned and that there is only a possibility of selection between automated mode on this trip or non-automated driving on a shorter trip.
La figure 2 montre une vue d’ensemble des grandeurs d’entrée pour la phase d’apprentissage du modèle paramétré et notamment du réseau neuronal.FIG. 2 shows an overview of the input quantities for the learning phase of the parameterized model and in particular of the neural network.
Dans la phase d’apprentissage on utilise comme paramètre d’entrée dans le réseau neuronal 14 :In the learning phase, the following are used as input parameters to the neural network 14:
les données GPS 10,GPS 10 data,
- les données de circulation 11,- traffic data 11,
- les données météorologiques 12, et- meteorological data 12, and
- les taux de détection antérieurs 13.- previous detection rates 13.
A partir de la phase d’entraînement, on obtient un modèle 15 pour la probabilité dépendant du type de détection de repère terrestre dans différentes conditions d’environnement.From the training phase, a model 15 is obtained for the probability depending on the type of detection of a landmark under different environmental conditions.
Claims (10)
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102017211556.4 | 2017-07-06 | ||
| DE102017211556.4A DE102017211556A1 (en) | 2017-07-06 | 2017-07-06 | Method for route planning for a motor vehicle with an automated vehicle system and motor vehicle with an automated vehicle system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| FR3068777A1 true FR3068777A1 (en) | 2019-01-11 |
| FR3068777B1 FR3068777B1 (en) | 2021-09-17 |
Family
ID=64666390
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| FR1856150A Active FR3068777B1 (en) | 2017-07-06 | 2018-07-04 | JOURNEY PLANNING PROCESS OF A MOTOR VEHICLE EQUIPPED WITH AN AUTOMATED DRIVING SYSTEM AND VEHICLE IMPLEMENTING THE PROCESS |
Country Status (3)
| Country | Link |
|---|---|
| CN (1) | CN109211255B (en) |
| DE (1) | DE102017211556A1 (en) |
| FR (1) | FR3068777B1 (en) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109808615A (en) * | 2019-03-22 | 2019-05-28 | 北京经纬恒润科技有限公司 | A kind of automatic Pilot method and device |
| CN112166446A (en) * | 2019-07-31 | 2021-01-01 | 深圳市大疆创新科技有限公司 | Method, system, device and computer readable storage medium for identifying trafficability |
| CN111024084A (en) * | 2019-12-17 | 2020-04-17 | 国汽(北京)智能网联汽车研究院有限公司 | Automatic driving method, device, equipment and storage medium for automatic driving vehicle |
| US11794775B2 (en) * | 2020-03-03 | 2023-10-24 | Motional Ad Llc | Control architectures for autonomous vehicles |
| CN114112421B (en) * | 2021-09-30 | 2023-06-20 | 东风汽车集团股份有限公司 | Automatic driving test method and device, electronic equipment and storage medium |
| DE102022203261A1 (en) * | 2022-04-01 | 2023-10-05 | Robert Bosch Gesellschaft mit beschränkter Haftung | Method for predicting the availability of a feature-based localization of a vehicle and method for controlling a vehicle |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050216182A1 (en) * | 2004-03-24 | 2005-09-29 | Hussain Talib S | Vehicle routing and path planning |
| EP2490092B1 (en) * | 2011-02-16 | 2013-09-18 | Siemens Aktiengesellschaft | Method for autonomous localisation of a driver-less motorised vehicle |
| DE102013205840A1 (en) * | 2013-04-03 | 2014-10-09 | Robert Bosch Gmbh | Automatic driving on a route |
| EP2915718B1 (en) * | 2014-03-04 | 2018-07-11 | Volvo Car Corporation | Apparatus and method for continuously establishing a boundary for autonomous driving availability and an automotive vehicle comprising such an apparatus |
| JP6537780B2 (en) * | 2014-04-09 | 2019-07-03 | 日立オートモティブシステムズ株式会社 | Traveling control device, in-vehicle display device, and traveling control system |
| EP3109115B1 (en) * | 2015-06-23 | 2018-01-31 | Volvo Car Corporation | Arrangement and method for facilitating handover to and from an automated autonomous driving aid system |
| DE102015220360A1 (en) * | 2015-10-20 | 2017-04-20 | Robert Bosch Gmbh | Method for selecting an optimized trajectory |
| CN106908775B (en) * | 2017-03-08 | 2019-10-18 | 同济大学 | A kind of unmanned vehicle real-time location method based on laser reflection intensity |
-
2017
- 2017-07-06 DE DE102017211556.4A patent/DE102017211556A1/en active Pending
-
2018
- 2018-07-04 FR FR1856150A patent/FR3068777B1/en active Active
- 2018-07-06 CN CN201810736269.4A patent/CN109211255B/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| FR3068777B1 (en) | 2021-09-17 |
| DE102017211556A1 (en) | 2019-01-10 |
| CN109211255A (en) | 2019-01-15 |
| CN109211255B (en) | 2022-07-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| FR3068777A1 (en) | METHOD FOR PLANNING THE TRACK OF A MOTOR VEHICLE EQUIPPED WITH AN AUTOMATED DRIVING SYSTEM AND VEHICLE IMPLEMENTING THE METHOD | |
| US10471955B2 (en) | Stop sign and traffic light alert | |
| AU2016247117B2 (en) | Driver profiling system and method | |
| EP2079984B1 (en) | Method of constructing a digital road model | |
| CN101964941A (en) | Intelligent navigation and position service system and method based on dynamic information | |
| FR3058214A1 (en) | METHOD FOR PRODUCING A NAVIGATION AUTONOMY CARD FOR A VEHICLE | |
| CN112633812B (en) | Track segmentation method, device, equipment and storage medium for freight vehicle | |
| CN114274972A (en) | Scene recognition in an autonomous driving environment | |
| SE539156C2 (en) | Map structure in a vehicle | |
| US20210088340A1 (en) | Inferring lane boundaries via high speed vehicle telemetry | |
| US10532750B2 (en) | Method, device and system for wrong-way driver detection | |
| EP3792127B1 (en) | Method for assisting the choice of positioning of a vehicle on a road comprising a plurality of lanes | |
| US20210048819A1 (en) | Apparatus and method for determining junction | |
| EP3472015B1 (en) | Method for determining a reference driving class | |
| US11315417B2 (en) | Method, device and system for wrong-way driver detection | |
| FR2958745A1 (en) | METHOD FOR DETERMINING THE FUEL CONSUMPTION OF A MOTOR VEHICLE ON A TRACK | |
| FR3103305A1 (en) | Method and device for predicting at least one dynamic characteristic of a vehicle at a point in a road segment. | |
| CN113847925B (en) | Method, device, equipment and medium for detecting vehicle yaw based on track data | |
| US20190145783A1 (en) | Method, device and system for wrong-way driver detection | |
| EP4382392A1 (en) | Method for determining the position of a rail vehicle | |
| CN113847925A (en) | Method, device, equipment and medium for detecting vehicle yaw based on track data | |
| Prabakaran et al. | Deep Learning-Based Image Analysis to Track Vehicles | |
| FR3080448A1 (en) | DEVICE AND METHOD FOR ANALYZING THE POSITION OF A VEHICLE BY COMPARISON OF DETERMINED AND KNOWN ENVIRONMENTAL INFORMATION | |
| FR3115913A1 (en) | Method and system for automatically generating and using road traffic scenarios | |
| EP4308881A1 (en) | Method and device for determining the reliability of a low-definition map |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PLFP | Fee payment |
Year of fee payment: 2 |
|
| PLFP | Fee payment |
Year of fee payment: 3 |
|
| PLSC | Publication of the preliminary search report |
Effective date: 20201106 |
|
| PLFP | Fee payment |
Year of fee payment: 4 |
|
| PLFP | Fee payment |
Year of fee payment: 5 |
|
| PLFP | Fee payment |
Year of fee payment: 6 |