FR2985588A1 - Method for locating mobile e.g. pedestrian, in e.g. building interior, involves estimating trajectory of mobile and position of vertical edges in built medium, and estimating errors and plane of flat vertical walls visible from trajectory - Google Patents

Method for locating mobile e.g. pedestrian, in e.g. building interior, involves estimating trajectory of mobile and position of vertical edges in built medium, and estimating errors and plane of flat vertical walls visible from trajectory Download PDF

Info

Publication number
FR2985588A1
FR2985588A1 FR1200071A FR1200071A FR2985588A1 FR 2985588 A1 FR2985588 A1 FR 2985588A1 FR 1200071 A FR1200071 A FR 1200071A FR 1200071 A FR1200071 A FR 1200071A FR 2985588 A1 FR2985588 A1 FR 2985588A1
Authority
FR
France
Prior art keywords
mobile
vertical
image sensor
image
horizontal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
FR1200071A
Other languages
French (fr)
Other versions
FR2985588B1 (en
Inventor
Jean Paul Sicard
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to FR1200071A priority Critical patent/FR2985588B1/en
Publication of FR2985588A1 publication Critical patent/FR2985588A1/en
Application granted granted Critical
Publication of FR2985588B1 publication Critical patent/FR2985588B1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/277Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Navigation (AREA)

Abstract

The method involves extracting (1) a set of rectilinear contours (11) in each of images successively produced by an image sensor (7) carried by a mobile. The contours are classified (2) into subsets allowing identification of a possible horizontal leak point (12) and vertical rectilinear contours (13). Attitude (15) of the image sensor is estimated (3), and a horizontal leak point (16) is detected. Trajectory (18) of the mobile and position of vertical edges (19) in a built medium are estimated (4). Errors and a plane of flat vertical walls (21) visible from the trajectory are estimated (5). The image sensor is a monocular video camera. An independent claim is also included for a system for locating a mobile evolving in a built medium.

Description

Domaine technique La présente invention concerne un procédé et un système permettant à un mobile, notamment un piéton, d'être localisé lors de ses déplacements dans un milieu construit tel qu'une zone urbaine de forte densité, l'intérieur de bâtiments ou une galerie souterraine, dans lequel la réception des signaux émis par les satellites des systèmes de navigation tels que GPS (Global Positioning System) ou Galileo est perturbée voire impossible. TECHNICAL FIELD The present invention relates to a method and a system enabling a mobile, in particular a pedestrian, to be located during its movements in a built environment such as a high-density urban area, inside buildings or a gallery. underground, in which the reception of the signals emitted by the satellites of navigation systems such as GPS (Global Positioning System) or Galileo is disturbed or impossible.

Etat de la technique antérieure La banalisation de l'utilisation des systèmes de navigation par satellites tels que GPS (Global Positioning System) ou autres (Galileo, Glonass, Compass, ...), destinés à des utilisations à ciel ouvert, a nourri une demande croissante de localisation en milieu construit, notamment pour des piétons. Cette demande concerne des catégories d'utilisateurs variées, allant du grand public aux professionnels de la sécurité. L'utilisateur peut être le mobile lui-même, dans le cas d'applications de navigation ou de guidage, ou bien un utilisateur distant, dans le cas d'applications de suivi de mobile. Dans un tel environnement, les éléments de construction perturbent la réception des signaux émis par les satellites des systèmes de navigation par des phénomènes de masquage ou d'atténuation, de réflexion et de diffraction. Ceci conduit à des erreurs de positionnement importantes, voire une incapacité totale de réception desdits signaux. En outre, plus l'environnement construit est dense, plus la réception desdits signaux est difficile, et plus le besoin de précision et de fiabilité de positionnement est élevé. PRIOR ART The generalization of the use of satellite navigation systems such as GPS (Global Positioning System) or other (Galileo, Glonass, Compass, ...), intended for open-air uses, has nourished a increasing demand for localization in built environments, especially for pedestrians. This application concerns a variety of user categories, ranging from the general public to security professionals. The user can be the mobile itself, in the case of navigation or guidance applications, or a remote user, in the case of mobile tracking applications. In such an environment, the construction elements disrupt the reception of the signals emitted by the satellites of the navigation systems by masking or attenuation, reflection and diffraction phenomena. This leads to significant positioning errors, or even a total inability to receive said signals. In addition, the denser the built environment, the more difficult the reception of said signals, and the greater the need for accuracy and positioning reliability.

Enfin, le besoin de localisation ne se réduit pas au seul problème de positionnement. Il est également essentiel de déterminer l'orientation du mobile, afin de pouvoir le guider ou de prédire son déplacement. De même, une information de position offre peu d'intérêt en l'absence d'une carte ou d'une description de l'environnement dans lequel évolue le mobile. Une information de position relative, par rapport à une carte de l'environnement, peut ainsi se révéler beaucoup plus utile qu'une information de position absolue plus précise mais sans carte. Finally, the need for localization is not limited to the only positioning problem. It is also essential to determine the orientation of the mobile, in order to guide it or predict its movement. Similarly, position information offers little interest in the absence of a map or description of the environment in which the mobile is moving. Relative position information, relative to a map of the environment, can thus be much more useful than more precise absolute position information without a map.

Depuis plusieurs années, d'importants efforts sont entrepris pour tenter de répondre à ce besoin. Outre les méthodes de type AGPS (Assisted-GPS), qui permettent d'améliorer le fonctionnement des récepteurs de navigation par satellites à l'aide des réseaux cellulaires, de nombreuses autres solutions ont été développées. Nombre d'entre elles s'appuient sur l'utilisation d'une infrastructure existante de radiocommunications telle que des bornes WiFi par exemple, ainsi que l'illustre le document FR 2945176. Cette approche présente d'importantes limitations de couverture géographique, de précision de positionnement et de disponibilité. D'autres méthodes s'appuient sur le déploiement d'une infrastructure dédiée à la localisation, telle que celle décrite dans le document FR 2951832, ou bien sur la disponibilité d'une cartographie préalable de l'environnement, ce qui en limite l'usage à quelques lieux précis, et soulève des contraintes de coût de mise en oeuvre et de maintenance. Pour des applications de défense et de sécurité, l'utilisation d'une infrastructure dédiée introduit en outre des contraintes de délai de déploiement et de discrétion. Une autre catégorie de solutions dites autonomes, permet à un mobile de se localiser à l'aide d'un terminal portable muni de capteurs, indépendamment de toute infrastructure. Ces solutions exploitent des capteurs proprioceptifs tels que capteurs inertiels (accéléromètres et gyromètres), baromètres, magnétomètres, des capteurs optiques ou acoustiques, ou encore des dispositifs électromagnétiques de mesure de distance. Les mobiles concernés par la localisation en milieu construit sont essentiellement des piétons, des objets transportés par des piétons, ou des véhicules roulants tels que des automobiles ou des robots mobiles. Ces mobiles imposent des contraintes de taille, de consommation électrique et de coût dans le choix des capteurs, qui limitent les performances de positionnement accessibles. Au sein de cette catégorie de solutions autonomes, deux approches ont été particulièrement développées ces dernières années, l'une pour les piétons, l'autre en robotique mobile. Pour les piétons, la navigation inertielle classique se révélant inadaptée compte tenu des faibles performances des capteurs utilisables et de la complexité de la dynamique de la marche, une méthode de navigation classique dite à l'estime est généralement proposée, consistant à accumuler au cours du temps le déplacement effectué à chaque enjambée. La fréquence des enjambées est estimée au moyen d'un podomètre, et la distance parcourue entre deux pas est déduite de la relation entre fréquence et longueur des enjambées, qui est stable pour un individu donné. La direction du déplacement de chaque enjambée est obtenue au moyen de capteurs de direction, ou par l'analyse des mesures de l'accélération dans un plan horizontal. Une solution de ce type est décrite dans le document WO 091113. Selon certains fournisseurs de produits mettant en oeuvre ce type de solution, la distance parcourue par un piéton peut être estimée avec une précision atteignant 1%, sous conditions de calibration préalable du modèle de pas et de marche régulière. Le défaut principal de la navigation à l'estime ci-dessus est la dégradation progressive et sans limite de la précision de positionnement, en raison de l'accumulation des erreurs. Il est connu un moyen d'amélioration, selon par exemple le document FR 2945864, obtenu en plaçant des capteurs inertiels dans le talon de la chaussure du piéton. Selon ce procédé il est possible de détecter le bref moment pendant lequel le talon reste fixé au sol, et de limiter ainsi la dérive de l'erreur de vitesse. Cette technique, connue en navigation inertielle sous le nom de ZUPT (Zero velocity UPdaTe), revient en quelque sorte à effectuer une navigation inertielle sur la durée d'une enjambée uniquement. Une solution voisine consiste à mesurer la distance séparant les chaussures droite et gauche, au moyen de capteurs placés dans chaque chaussure. Outre la distance, la direction du mouvement peut ainsi être estimée, ainsi que l'illustre le document US 0326795. Le placement des capteurs dans la chaussure introduit cependant une contrainte opérationnelle forte, qui exclut de nombreux cas d'utilisation. En outre, le facteur d'erreur principal des techniques de navigation à l'estime évoquées ci-dessus est non pas l'erreur de mesure de distance à chaque enjambée mais l'incertitude sur la direction du mouvement, qui dépend à la fois de la qualité des capteurs de direction utilisés et de l'incertitude sur le mésalignement entre l'axe sensible desdits capteurs et la direction du déplacement. Afin de limiter la dérive de l'erreur de mesure de direction du mouvement, on utilise en général une référence de cap au moyen de magnétomètres permettant de déterminer l'orientation du Nord magnétique. Malheureusement, dans les milieux construits, de nombreuses anomalies du champ magnétique terrestre sont produites par les éléments de construction. Malgré les méthodes développées pour détecter et atténuer l'effet de ces anomalies magnétiques, les erreurs résiduelles d'orientation peuvent être considérables. Enfin, de même que les solutions basées sur l'utilisation d'une infrastructure, les méthodes de localisation ci-dessus ne répondent pas au besoin de description de l'environnement. En robotique mobile, le besoin de perception de l'environnement est essentiel. Il est connu une approche nommée SLAM (Simultaneous Localization And Mapping), permettant à la fois d'estimer la trajectoire d'un mobile équipé de capteurs et de cartographier le milieu dans lequel se déplace ledit mobile, de manière récurrente, c'est-à-dire au fur et à mesure du déplacement dudit mobile. L'approche SLAM est générale et prend en compte de nombreux types de mesures. Dans une variante nommée SLAM visuel, décrite notamment dans le document WO 059900, le capteur principal est un capteur optique produisant une séquence d'images desquelles sont extraits des éléments caractéristiques, fixes dans l'environnement et mis en correspondance entre images successives. Les éléments caractéristiques recherchés dans les images sont généralement des éléments ponctuels, tels que des coins, ou des zones limitées autour d'un point d'intérêt. Les éléments caractéristiques ponctuels ne coïncidant généralement pas avec des éléments significatifs de la géométrie de l'environnement, la cartographie de ces éléments caractéristiques est généralement sans intérêt pour un utilisateur humain. Il est également connu une mise en oeuvre de cette variante utilisant comme éléments caractéristiques des lignes, tel que proposé par Ethan Eade et Tom Drummond dans l'article « Edge Landmarks in Monocular SLAM », publié en Avril 2009 dans le journal « Image and Vision Computing », volume 27, numéro 5. De tels éléments caractéristiques sont davantage porteurs d'information utile pour l'utilisateur humain. En revanche la sélection des lignes et leur mise en correspondance entre deux images successives est plus difficile à établir, cette dernière faiblesse étant particulièrement critique en raison de la sensibilité de l'approche SLAM visuel aux erreurs de mise en correspondance des éléments caractéristiques entre images successives. L'approche SLAM visuel ci-dessus, développée pour des robots mobiles, est en principe transposable au cas d'un piéton. Cette extension se heurte cependant à d'importantes difficultés dues notamment à la complexité de la cinématique pédestre et son caractère peu prédictible. Il est également connu du document WO 033100 une méthode de cartographie de type SLAM qui exploite les mesures odométriques telles que celles obtenues à partir de capteurs attachés aux chaussures d'un piéton. La carte établie n'est cependant pas une description de l'environnement à proprement parler, mais une trace des déplacements du piéton. En outre, cette méthode ne paraît pas offrir de garantie de convergence en l'absence de fermeture de boucle. Dans un milieu construit les déplacements horizontaux et verticaux des mobiles sont fortement découplés. La majorité des déplacements se déroule dans un plan horizontal ou proche de l'horizontale. Les déplacements verticaux correspondent le plus souvent à des transitions rapides d'un plan à un autre, tel qu'un changement d'étage. Ainsi, le déplacement d'un mobile peut être décrit comme un enchaînement de déplacements verticaux ou horizontaux. Toutefois il est connu que les changements de niveau dans un plan vertical sont aisément déterminés à l'aide de mesures barométriques, de sorte que la problématique principale de localisation en milieu construit se réduit à la détermination des déplacements horizontaux. Enfin, il est connu des méthodes d'identification de points de fuite à partir des images produites par un capteur d'images, permettant de déterminer l'orientation d'un véhicule portant ledit capteur d'images par rapport à la direction dudit point de fuite. Ces méthodes sont notamment employées pour le guidage de robots mobiles ou la navigation automobile. Le document US 0097455 décrit un exemple d'utilisation de méthodes de ce type. For several years, major efforts have been made to try to meet this need. In addition to the AGPS (Assisted-GPS) methods, which improve the operation of satellite navigation receivers using cellular networks, many other solutions have been developed. Many of them rely on the use of an existing radio infrastructure such as WiFi terminals for example, as illustrated in document FR 2945176. This approach has significant limitations in geographic coverage, accuracy positioning and availability. Other methods rely on the deployment of a dedicated infrastructure for localization, such as that described in document FR 2951832, or on the availability of a prior cartography of the environment, which limits it. use at a few specific places, and raises constraints of cost of implementation and maintenance. For defense and security applications, the use of a dedicated infrastructure also introduces deployment time and discretion constraints. Another category of so-called autonomous solutions, allows a mobile to be located using a portable terminal equipped with sensors, regardless of any infrastructure. These solutions use proprioceptive sensors such as inertial sensors (accelerometers and gyrometers), barometers, magnetometers, optical or acoustic sensors, or electromagnetic distance measuring devices. The mobiles concerned by the location in a built environment are essentially pedestrians, objects transported by pedestrians, or moving vehicles such as automobiles or mobile robots. These mobiles impose constraints of size, power consumption and cost in the choice of sensors, which limit the positioning performance accessible. Within this category of autonomous solutions, two approaches have been particularly developed in recent years, one for pedestrians, the other in mobile robotics. For pedestrians, classic inertial navigation proving to be unsuitable given the low performance of usable sensors and the complexity of the dynamics of walking, a conventional method of navigation known as esteem is generally proposed, consisting of accumulating during the time the displacement made at each stride. The frequency of strides is estimated by means of a pedometer, and the distance traveled between two steps is deduced from the relationship between frequency and stride length, which is stable for a given individual. The direction of movement of each stride is obtained by means of direction sensors, or by the analysis of the acceleration measurements in a horizontal plane. A solution of this type is described in the document WO 091113. According to some suppliers of products implementing this type of solution, the distance traveled by a pedestrian can be estimated with an accuracy of up to 1%, under conditions of prior calibration of the model of not and regular walking. The main defect of the above esteem is the gradual and limitless degradation of positioning accuracy, due to the accumulation of errors. It is known a means of improvement, according to for example the document FR 2945864, obtained by placing inertial sensors in the heel of the pedestrian's shoe. According to this method it is possible to detect the brief moment during which the heel remains fixed to the ground, and thus limit the drift of the speed error. This technique, known in inertial navigation under the name of ZUPT (Zero velocity UPDATE), is a kind of inertial navigation over the duration of a stride only. A similar solution is to measure the distance between the right and left shoes by means of sensors placed in each shoe. In addition to the distance, the direction of movement can be estimated, as shown in US 0326795. The placement of the sensors in the shoe, however, introduces a strong operational constraint, which excludes many use cases. In addition, the main error factor of the reckoning techniques discussed above is not the distance error at each stride but the uncertainty of the direction of motion, which depends both on the quality of the direction sensors used and the uncertainty of the misalignment between the sensitive axis of said sensors and the direction of displacement. In order to limit the drift of the motion direction measurement error, a heading reference is generally used by means of magnetometers to determine the orientation of the magnetic north. Unfortunately, in built environments, many anomalies of the Earth's magnetic field are produced by the building elements. Despite the methods developed to detect and mitigate the effect of these magnetic anomalies, residual orientation errors can be considerable. Finally, as well as solutions based on the use of an infrastructure, the location methods above do not meet the need for describing the environment. In mobile robotics, the need for perception of the environment is essential. An approach known as Simultaneous Localization and Mapping (SLAM) is known, making it possible both to estimate the trajectory of a mobile equipped with sensors and to map the medium in which said mobile moves, in a recurrent manner, that is, that is, as the mobile moves. The SLAM approach is general and takes into account many types of measurements. In a variant called visual SLAM, described in particular in document WO 059900, the main sensor is an optical sensor producing a sequence of images from which characteristic elements are extracted, fixed in the environment and matched between successive images. The characteristic elements sought in the images are usually point elements, such as corners, or limited areas around a point of interest. As punctual characteristic elements do not generally coincide with significant elements of the geometry of the environment, the mapping of these characteristic elements is generally of no interest to a human user. It is also known an implementation of this variant using as characteristic elements lines, as proposed by Ethan Eade and Tom Drummond in the article "Edge Landmarks in Monocular SLAM", published in April 2009 in the newspaper "Image and Vision Computing ", volume 27, number 5. Such character-defining elements provide more information that is useful for the human user. On the other hand, the selection of the lines and their matching between two successive images is more difficult to establish, the latter weakness being particularly critical because of the sensitivity of the visual SLAM approach to the errors of mapping of the characteristic elements between successive images. . The visual SLAM approach above, developed for mobile robots, is in principle transferable to the case of a pedestrian. This extension, however, faces significant difficulties due in particular to the complexity of pedestrian kinematics and its unpredictable nature. It is also known from WO 033100 a SLAM type mapping method that exploits odometric measurements such as those obtained from sensors attached to a pedestrian's shoes. The map drawn is not, however, a description of the environment itself, but a trace of the pedestrian's movements. In addition, this method does not seem to offer a guarantee of convergence in the absence of loop closure. In a medium built the horizontal and vertical displacements of the mobiles are strongly decoupled. The majority of displacements occur in a horizontal or near horizontal plane. Vertical displacements most often correspond to rapid transitions from one plane to another, such as a change of floor. Thus, the displacement of a mobile can be described as a sequence of vertical or horizontal displacements. However, it is known that level changes in a vertical plane are easily determined using barometric measurements, so that the main problem of localization in a built environment is reduced to the determination of horizontal displacements. Finally, methods for identifying vanishing points from images produced by an image sensor are known, making it possible to determine the orientation of a vehicle carrying said image sensor with respect to the direction of said point of view. leak. These methods are used in particular for guiding mobile robots or car navigation. US 0097455 discloses an example of using such methods.

Exposé de l'invention Un but de l'invention est de répondre au besoin de navigation ou de suivi d'un mobile se déplaçant dans un milieu construit avec des moyens autonomes ne nécessitant ni infrastructure ni cartographie préalable dudit milieu, en remédiant à certains défauts des solutions citées plus haut. En particulier, la présente invention s'applique à un piéton se déplaçant à l'intérieur d'un bâtiment. Un autre but est de fournir une description du milieu dans lequel évolue le mobile en offrant une perception des contraintes physiques de déplacement. A cet effet le premier objet de l'invention est un procédé permettant de déterminer l'orientation et la localisation dans un plan horizontal d'un terminal porté par un mobile évoluant dans un milieu construit, ainsi qu'un plan de parois verticales planes visibles depuis la trajectoire dudit mobile. Dans la suite de ce document, on entend par arête un élément fixe dans l'environnement produisant une ligne droite de contraste d'intensité lumineuse dans une image dudit environnement. Une arête peut être notamment une arête physique entre deux faces d'un élément de structure ou de mobilier, ou la frontière entre les projections dans le plan image de deux éléments physiques, ou encore le bord de l'ombre d'un élément physique. SUMMARY OF THE INVENTION An object of the invention is to respond to the need for navigation or tracking of a moving mobile in a medium built with autonomous means requiring no infrastructure or prior mapping of said medium, by remedying certain defects. solutions mentioned above. In particular, the present invention applies to a pedestrian moving inside a building. Another goal is to provide a description of the environment in which the mobile is evolving by offering a perception of the physical constraints of displacement. For this purpose the first object of the invention is a method for determining the orientation and location in a horizontal plane of a terminal carried by a moving mobile in a built environment, and a plan of visible vertical vertical walls. since the trajectory of said mobile. In the rest of this document, edge is understood to mean a fixed element in the environment producing a straight line of light intensity contrast in an image of said environment. An edge may be in particular a physical edge between two faces of a structural element or furniture, or the boundary between the projections in the image plane of two physical elements, or the edge of the shadow of a physical element.

On désigne également par attitude d'un capteur l'orientation d'un repère orthogonal tridimensionnel lié audit capteur par rapport à un repère orthogonal tridimensionnel de référence, fixe par rapport à la terre et comprenant un axe vertical et un axe orienté vers le Nord géographique. Enfin on qualifie de mesure de position absolue une mesure de la position d'un mobile dans un référentiel fixe par rapport à la terre, obtenue au moyen d'un capteur tel que notamment un récepteur de navigation par satellite, ou un dispositif de triangulation à partir de signaux de télécommunications terrestres. Le procédé conforme à l'invention comporte des étapes: - d'extraction d'un ensemble de contours rectilignes dans chacune des images successivement produites par un capteur d'images monoculaire porté par ledit mobile; - de classification de chacun desdits ensembles successifs de contours rectilignes en sous-ensembles permettant d'identifier au moins un point de fuite horizontal possible et des contours rectilignes verticaux; d'estimation de l'attitude dudit capteur d'images et de détection d'au moins un point de fuite horizontal au moyen de la fusion entre d'une part des mesures d'angle dites optiques déduites de l'orientation des contours rectilignes verticaux dans le plan image et de l'orientation d'au moins un point de fuite horizontal possible et d'autre part des mesures dites inertielles de l'attitude dudit capteur d'images obtenues à partir des signaux produits par un bloc de mesure inertielle rigidement lié audit capteur d'images ; - d'estimation, dans un plan horizontal, à partir d'une position initiale connue, de la trajectoire dudit mobile et de la position d'arêtes verticales visibles dans ledit milieu construit, au moyen de la mise en correspondance desdits contours rectilignes verticaux entre images successives, et de la fusion des mesures d'attitude successives obtenues à l'étape précédente, de mesures odométriques fournies par des capteurs proprioceptifs portés par ledit mobile, et de l'orientation desdits contours rectilignes verticaux dans les plans image successifs, ladite estimation pouvant être entachée d'erreurs; - d'estimation desdites erreurs et d'un plan de parois verticales planes visibles depuis la trajectoire dudit mobile, au moyen de l'identification de groupes d'arêtes verticales alignées et de la comparaison de l'alignement desdits groupes avec la direction d'au moins un point de fuite horizontal. De préférence, ledit bloc de mesure inertielle comprend trois gyromètres disposés selon des axes orthogonaux et trois accéléromètres également disposés selon lesdits axes, lesdits accéléromètres permettant de mesurer l'orientation dudit capteur d'images par rapport à la verticale. Selon une variante du procédé, applicable notamment lorsque le mobile est un véhicule roulant, l'orientation dudit capteur d'images par rapport à la verticale étant connue et stable, ledit bloc de mesure inertielle est avantageusement réduit à un seul gyromètre, l'axe sensible dudit gyromètre étant maintenu selon une direction proche de la verticale. Selon une variante du procédé, lorsque ledit mobile est un piéton, lesdites mesures odométriques sont élaborées à partir des signaux produits par les accéléromètres dudit bloc de mesure inertielle, au moyen du comptage des pas et d'un modèle de relation entre fréquence des pas, longueur des enjambées et amplitude des variations des signaux desdits accéléromètres. Selon une caractéristique de l'invention, ladite étape d'estimation de l'attitude dudit capteur d'images et de détection d'au moins un point de fuite horizontal fournit en outre une estimation des facteurs d'erreur d'au moins un gyromètre du bloc de mesure inertielle. Lesdits facteurs d'erreur variant très lentement, l'invention offre ainsi l'avantage de prédire la valeur desdits facteurs d'erreur et de maintenir une estimation d'attitude dudit capteur d'images lorsque ce dernier est temporairement dans l'incapacité de produire des mesures valides. Cette caractéristique de l'invention offre aussi l'avantage de réduire les exigences de performance, donc de coût, sur lesdits gyromètres, en particulier parce qu'elle permet de tolérer des biais de mesure gyrométrique plus importants. Selon une variante de l'invention, lesdites directions d'au moins deux points de fuite horizontaux détectés sont mises en correspondance avec des directions probables de points de fuite horizontaux obtenues à partir d'une vue du milieu dans lequel évolue le mobile, ladite vue pouvant notamment être extraite d'une image aérienne ou satellitaire faisant apparaître des parois verticales planes. Ladite mise en correspondance permet de réduire l'incertitude sur l'attitude dudit capteur d'images, notamment sur l'orientation par rapport au Nord géographique. Selon une autre caractéristique du procédé, la mise en correspondance desdits contours rectilignes verticaux entre images successives est réalisée à l'aide de la constitution de groupes de contours rectilignes verticaux proches dans une image et de la corrélation entre au moins un groupe de contours rectilignes verticaux ainsi constitué dans une image et les contours rectilignes verticaux dans une autre image. The attitude of a sensor also denotes the orientation of a three-dimensional orthogonal coordinate system linked to said sensor with respect to a three-dimensional reference orthogonal reference, fixed with respect to the earth and comprising a vertical axis and an axis oriented towards the geographic North. . Finally, it is called absolute position measurement a measurement of the position of a mobile in a fixed reference relative to the earth, obtained by means of a sensor such as in particular a satellite navigation receiver, or a triangulation device to from terrestrial telecommunications signals. The method according to the invention comprises steps of: extracting a set of rectilinear contours in each of the images successively produced by a monocular image sensor carried by said mobile; classifying each of said successive sets of rectilinear contours into subsets making it possible to identify at least one possible horizontal vanishing point and vertical rectilinear contours; estimating the attitude of said image sensor and detecting at least one horizontal vanishing point by means of the fusion between, on the one hand, so-called optical angle measurements derived from the orientation of the vertical rectilinear contours in the image plane and the orientation of at least one possible horizontal vanishing point and on the other hand so-called inertial measurements of the attitude of said image sensor obtained from the signals produced by an inertial measurement block rigidly linked to said image sensor; estimating, in a horizontal plane, from a known initial position, the trajectory of said mobile and the position of visible vertical edges in said constructed medium, by means of the matching of said vertical rectilinear contours between successive images, and the fusion of the successive attitude measurements obtained in the preceding step, odometric measurements provided by proprioceptive sensors carried by said mobile, and the orientation of said vertical rectilinear contours in the successive image planes, said estimate may be tainted by errors; estimating said errors and a plane of vertical plane walls visible from the trajectory of said mobile, by means of the identification of groups of aligned vertical edges and comparing the alignment of said groups with the direction of at least one horizontal vanishing point. Preferably, said inertial measurement block comprises three gyrometers arranged along orthogonal axes and three accelerometers also arranged along said axes, said accelerometers making it possible to measure the orientation of said image sensor with respect to the vertical. According to a variant of the method, applicable especially when the mobile is a rolling vehicle, the orientation of said image sensor relative to the vertical being known and stable, said inertial measurement block is advantageously reduced to a single gyrometer, the axis said gyrometer being maintained in a direction close to the vertical. According to a variant of the method, when said mobile is a pedestrian, said odometric measurements are produced from the signals produced by the accelerometers of said inertial measurement block, by means of step counting and a pitch frequency relationship model, stride length and amplitude of the signal variations of said accelerometers. According to one characteristic of the invention, said step of estimating the attitude of said image sensor and detecting at least one horizontal vanishing point furthermore provides an estimate of the error factors of at least one gyrometer the inertial measurement block. Since said error factors vary very slowly, the invention thus offers the advantage of predicting the value of said error factors and of maintaining an attitude estimate of said image sensor when the latter is temporarily unable to produce valid measures. This feature of the invention also offers the advantage of reducing the performance requirements, and therefore the cost, on said gyrometers, in particular because it makes it possible to tolerate larger gyrometric measurement biases. According to a variant of the invention, said directions of at least two detected horizontal vanishing points are put in correspondence with probable directions of horizontal vanishing points obtained from a view of the medium in which the mobile moves, said view which can be extracted from an aerial or satellite image showing flat vertical walls. Said mapping makes it possible to reduce the uncertainty on the attitude of said image sensor, especially on the orientation relative to the geographical north. According to another characteristic of the method, the mapping of said vertical rectilinear contours between successive images is carried out using the constitution of groups of vertical rectilinear contours close in an image and the correlation between at least one group of vertical rectilinear contours. thus constituted in one image and the rectilinear vertical contours in another image.

Selon une autre variante, le procédé comprend en outre une étape de détection de fermeture de boucle au moyen de la comparaison d'au moins un groupe de parois verticales planes avec des parois verticales planes identifiées antérieurement audit groupe. Un autre objet de l'invention est un système de localisation d'un mobile évoluant en milieu construit mettant en oeuvre le procédé ci-dessus, ledit système comprenant : - un terminal porté par ledit mobile comprenant : - un capteur d'images monoculaire, un bloc de mesure inertielle rigidement lié audit capteur d'images et comprenant trois gyromètres disposés selon des axes orthogonaux et trois accéléromètres également disposés selon lesdits axes, - un premier moyen de calcul apte à recevoir les données produites par ledit capteur d'images et ledit bloc de mesure inertielle, un moyen d'interface homme-machine comprenant un écran d'affichage et un dispositif d'acquisition de données introduites par l'utilisateur ; - un second moyen de calcul relié audit moyen d'interface homme machine ; - un moyen de communication radioélectrique ou filaire reliant ledit premier moyen de calcul et ledit second moyen de calcul ; un moyen de mesure odométrique porté par ledit mobile et relié à l'un desdits moyens de calcul ; - un capteur de position absolue porté par ledit mobile et relié à l'un desdits moyens de calcul ; caractérisé en ce que lesdits moyens de calcul exécutent conjointement un programme informatique déterminant l'orientation et la localisation dudit terminal, par rapport à une position initiale connue, dans un plan horizontal et un plan de parois verticales visibles depuis la trajectoire dudit mobile. According to another variant, the method further comprises a loop closure detection step by means of the comparison of at least one group of flat vertical walls with planar vertical walls identified previously to said group. Another object of the invention is a system for locating a mobile operating in a built environment using the above method, said system comprising: a terminal carried by said mobile comprising: a monocular image sensor, an inertial measurement block rigidly connected to said image sensor and comprising three gyrometers arranged along orthogonal axes and three accelerometers also arranged along said axes, - a first calculation means able to receive the data produced by said image sensor and said inertial measurement block, a human-machine interface means comprising a display screen and a data acquisition device introduced by the user; a second calculation means connected to said man-machine interface means; - A radio or wired communication means connecting said first calculation means and said second calculation means; odometric measurement means carried by said mobile and connected to one of said calculating means; an absolute position sensor carried by said mobile and connected to one of said calculating means; characterized in that said calculating means jointly execute a computer program determining the orientation and location of said terminal, with respect to a known initial position, in a horizontal plane and a plane of vertical walls visible from the trajectory of said mobile.

Selon une variante, le système comprend en outre un moyen d'interface avec une base de données géographiques et un moyen de détermination, à partir desdites données géographiques, de directions probables de points de fuite horizontaux. Selon une autre variante du système, ledit bloc de mesure inertielle ne comprend qu'un seul gyromètre, disposé de manière telle que son orientation est maintenue proche de la verticale. Selon encore une autre variante, le moyen de mesure odométrique est constitué d'un programme informatique de podométrie exécuté par ledit premier moyen de calcul, à partir des signaux produits par les trois accéléromètres dudit bloc de mesure inertielle. According to a variant, the system further comprises means for interfacing with a geographical database and means for determining, from said geographical data, probable directions of horizontal vanishing points. According to another variant of the system, said inertial measurement block comprises only one gyrometer, arranged in such a way that its orientation is kept close to the vertical. According to another variant, the odometric measurement means consists of a pedometer computer program executed by said first calculation means, from the signals produced by the three accelerometers of said inertial measurement block.

Brève présentation des figures La présente invention, ainsi que les avantages qu'elle procure, seront mieux appréciés à la lecture de la description détaillée suivante qui expose des formes de réalisation préférées et qui est faite en référence aux dessins annexés parmi lesquels : la figure 1 illustre schématiquement l'enchaînement des étapes de traitement des données selon le procédé ; - la figure 2 est un bloc-diagramme simplifié décrivant un système de mise en oeuvre dudit procédé ; Il est entendu que les formes de réalisation décrites ci-dessous ne sont nullement limitatives, et que pour l'homme de l'art il existe de nombreuses formes alternatives de réalisation susceptibles de faire varier les performances et/ou le coût de réalisation. BRIEF DESCRIPTION OF THE DRAWINGS The present invention, as well as the advantages thereof, will be better appreciated from the following detailed description which discloses preferred embodiments and which is made with reference to the accompanying drawings in which: FIG. schematically illustrates the sequence of data processing steps according to the method; FIG. 2 is a simplified block diagram describing a system for implementing said method; It is understood that the embodiments described below are in no way limiting, and that those skilled in the art there are many alternative embodiments that may vary the performance and / or the cost of implementation.

En outre, il est entendu que le procédé objet de l'invention peut être mis en oeuvre conjointement avec d'autres procédés de positionnement d'un mobile évoluant dans un milieu construit, notamment avec des moyens de positionnement basés sur l'utilisation d'une infrastructure radioélectrique. In addition, it is understood that the method which is the subject of the invention can be implemented in conjunction with other methods of positioning a mobile operating in a built environment, in particular with positioning means based on the use of a radio infrastructure.

Exposé des modes de réalisation particuliers Le procédé objet de l'invention permet de localiser un mobile évoluant dans un milieu construit, muni d'un terminal comprenant un capteur d'images 7 et un bloc de mesure inertielle 8. DESCRIPTION OF THE PARTICULAR EMBODIMENTS The method that is the subject of the invention makes it possible to locate a mobile operating in a constructed medium, provided with a terminal comprising an image sensor 7 and an inertial measurement block 8.

Le capteur d'images 7 considéré est préférentiellement une caméra vidéo monoculaire. Il peut alternativement s'agir d'un autre type de capteur d'images monoculaire tel que notamment une caméra thermique. Le capteur d'images 7 est préalablement calibré afin de limiter les erreurs affectant la conversion des positions de points dans le plan image, exprimées en pixels, en mesures d'angle par rapport à l'axe optique du capteur d'images 7. Un repère orthogonal tridimensionnel est lié au capteur d'images, l'un des axes coïncidant avec ledit axe optique et les deux autres axes définissant le plan image. Selon un mode particulier de réalisation l'attitude du capteur d'images 7 est décrite par des angles de cap, de gite et d'assiette conformes aux définitions communes en navigation maritime ou aérienne, l'axe optique du capteur d'images 7 constituant l'axe longitudinal de référence. Dans la suite de ce document on utilise également les angles de gisement (respectivement d'azimut) pour décrire la projection, sur un plan horizontal, de l'angle entre la direction d'un point extérieur et l'axe optique du capteur d'images 7 (respectivement la direction du Nord géographique). The image sensor 7 considered is preferably a monocular video camera. It may alternatively be another type of monocular image sensor such as in particular a thermal camera. The image sensor 7 is previously calibrated in order to limit the errors affecting the conversion of the positions of points in the image plane, expressed in pixels, into angle measurements with respect to the optical axis of the image sensor 7. three-dimensional orthogonal coordinate system is linked to the image sensor, one of the axes coinciding with said optical axis and the other two axes defining the image plane. According to a particular embodiment, the attitude of the image sensor 7 is described by angles of heading, gite and attitude in accordance with the common definitions in maritime or air navigation, the optical axis of the image sensor 7 constituting the longitudinal axis of reference. In the remainder of this document we also use the bearing angles (respectively of azimuth) to describe the projection, on a horizontal plane, of the angle between the direction of an external point and the optical axis of the sensor of images 7 (respectively the direction of the geographic North).

Le bloc de mesure inertielle 8, rigidement lié au capteur d'images 7, est constitué préférentiellement de trois gyromètres disposés selon trois axes orthogonaux et trois accéléromètres disposés selon lesdits axes, l'orientation desdits axes par rapport au repère orthogonal tridimensionnel lié au capteur d'images étant connue et constante. Selon une variante de l'invention, le bloc de mesure inertielle 8 est constitué d'un seul gyromètre dont l'axe sensible est maintenu selon une direction proche de la verticale. La position du mobile est assimilée à la position du capteur d'images 7. Le procédé de localisation objet de l'invention est constitué de plusieurs étapes dont l'enchainement est illustré par la Figure 1 annexée et qui sont détaillées ci-30 après. - L'étape 1 consiste à extraire les contours rectilignes 11 de chacune des images successivement produites par le capteur d'images 7. Cette étape est réalisée selon l'une quelconque des diverses méthodes connues à cet effet. - L'étape 2 consiste à classifier les contours rectilignes 11 en groupes correspondant soit à un point de fuite horizontal possible, soit à un point de fuite vertical. A cette fin, il est nécessaire de connaître l'orientation du capteur d'images 7 par rapport à la verticale avec une précision suffisante pour éviter l'ambiguïté entre les directions horizontales et verticale. Cette condition est satisfaite soit par construction, lorsque le mobile est un véhicule roulant ou un piéton assurant le maintien de l'axe optique du capteur d'images 7 dans une direction qui s'écarte de l'horizontale au plus d'un angle connu, soit au moyen de la prédiction de l'attitude du capteur d'images 7 à partir des mesures d'attitude 15 estimées à l'étape 3. Il existe une variété de méthodes connues permettant d'identifier des points de fuite à partir de contours rectilignes 11. Selon un mode de réalisation particulier, les points de fuite horizontaux possibles 12 sont d'abord recherchés, dans le plan image, à l'aide de l'algorithme RANSAC (RANdom Sampling And Consensus), suivi d'une phase d'ajustement utilisant l'algorithme EM (Expectation Maximization). Les contours rectilignes verticaux 13 sont ensuite sélectionnés parmi les contours rectilignes 11 ne correspondant pas à un point de fuite horizontal possible 12 et déterminant un point de fuite vertical possible. The inertial measurement block 8, rigidly connected to the image sensor 7, preferably consists of three gyrometers arranged along three orthogonal axes and three accelerometers arranged along said axes, the orientation of said axes with respect to the three-dimensional orthogonal coordinate system linked to the image sensor. 'images being known and constant. According to a variant of the invention, the inertial measurement block 8 consists of a single gyrometer whose sensitive axis is maintained in a direction close to the vertical. The position of the mobile is assimilated to the position of the image sensor 7. The method of locating object of the invention consists of several steps whose sequence is illustrated in Figure 1 attached and which are detailed below. Step 1 consists in extracting the rectilinear contours 11 from each of the images successively produced by the image sensor 7. This step is carried out according to any one of the various methods known for this purpose. Step 2 consists in classifying the rectilinear contours 11 in groups corresponding to either a possible horizontal leak point or a vertical vanishing point. To this end, it is necessary to know the orientation of the image sensor 7 relative to the vertical with sufficient accuracy to avoid ambiguity between the horizontal and vertical directions. This condition is satisfied either by construction, when the mobile is a rolling vehicle or a pedestrian ensuring the maintenance of the optical axis of the image sensor 7 in a direction that deviates from the horizontal at most a known angle or by means of the prediction of the attitude of the image sensor 7 from the attitude measurements estimated in step 3. There are a variety of known methods for identifying vanishing points from rectilinear contours 11. According to a particular embodiment, the possible horizontal vanishing points 12 are firstly sought, in the image plane, using the RANSdom (RANdom Sampling And Consensus) algorithm, followed by a phase adjustment using the EM (Expectation Maximization) algorithm. The rectilinear vertical contours 13 are then selected from the rectilinear contours 11 which do not correspond to a possible horizontal vanishing point 12 and which determine a possible vertical vanishing point.

Chaque groupe de contours rectilignes, correspondant à un point de fuite possible horizontal 12 ou vertical 13, est soumis à un test de validation portant sur des valeurs minimales prédéfinies du nombre de contours rectilignes du groupe et de leur écartement dans le plan image. - L'étape 3 consiste en l'estimation de l'attitude du capteur d'images 7 et la détection d'au moins un point de fuite horizontal, au moyen de la fusion des mesures d'angles optiques et des mesures d'attitude inertielles, lesdites mesures d'angle optiques étant utilisées pour corriger les erreurs affectant lesdites mesures d'attitude inertielles. Des mesures d'attitude inertielles, constituées de valeurs des angles de cap, de gite et d'assiette du capteur d'images 7, sont élaborées par l'intégration, à partir d'une valeur d'attitude initiale du capteur d'images 7, des signaux produits par les gyromètres du bloc de mesure inertielle 8. D'autres mesures d'attitude inertielles d'angles d'assiette et de gite sont élaborées à partir des valeurs moyennes des signaux produits par les accéléromètres du bloc de mesure inertielle 8, au moyen d'un algorithme dit de nivellement, mieux connu sous le terme anglais levelling. Lesdites mesures d'attitude inertielles sont ensuite corrigées du mésalignement, prédéterminé, entre les axes des capteurs du bloc de mesure inertielle 8 et le repère orthogonal tridimensionnel lié au capteur d'images 7, puis interpolées temporellement pour correspondre aux instants d'échantillonnage du capteur d'images 7. Ladite valeur d'attitude initiale peut être définie par l'utilisateur, ou bien déduite de mesures successives d'un capteur de position absolue, et peut être entachée d'erreurs, notamment l'angle de cap du capteur d'images 7. A intervalles de temps irréguliers, ladite attitude initiale est mise à jour et remplacée par la valeur courante de l'attitude estimée 15, l'intégration desdits signaux des gyromètres du bloc de mesure inertielle 8 étant alors réinitialisée. Des mesures d'angle optiques sont élaborées à partir des groupes de contours rectilignes verticaux 13, chaque groupe de contours rectilignes verticaux 13 permettant d'obtenir une mesure des angles de gite et d'assiette du capteur d'images 7. Lesdites mesures d'angle optiques pouvant parfois présenter des valeurs aberrantes, un mécanisme de filtrage des données est mis en place, consistant en un seuillage des différences entre lesdites mesures d'angle optiques et inertielles, le niveau de seuil étant déterminé à partir de la valeur moyenne desdites différences. Les points de fuite horizontaux possibles 12 identifiés à l'étape 2 ne sont pas tous véritables. La détection des véritables points de fuite horizontaux est effectuée en exploitant la propriété d'invariance de leur direction le long de la trajectoire du mobile. A cet effet, les points de fuite horizontaux possibles 12 sont associés entre images successives, selon un critère de proximité de leur position dans le plan image, et après compensation des variations d'attitude entre images successives au moyen desdites mesures d'attitude inertielles. Les associations successives forment une séquence de points de fuite horizontaux possibles 12. Lorsqu'une dite séquence de points de fuite horizontaux possibles 12 atteint une durée prédéfinie, un point de fuite horizontal est détecté 16. Les positions successives dudit point de fuite horizontal dans le plan image de chaque image de ladite séquence portent une information sur l'attitude du capteur d'images 7 et l'orientation dudit point de fuite horizontal. Un point de fuite horizontal détecté 16 est caractérisé par sa période d'observation, entre les instants de début et de fin de ladite séquence de points de fuite horizontaux possibles 12, et sa direction définie par l'angle d'azimut. La fusion entre lesdites mesures d'attitude inertielles et lesdites mesures d'angle optiques valides est ensuite réalisée en estimant conjointement les paramètres d'un modèle d'erreur desdites mesures inertielles et la direction de chacun des points de fuite horizontaux détectés 16. Selon un mode de réalisation préféré, cette opération est effectuée au moyen d'un filtre de type Kalman dont le vecteur d'état comprend les paramètres d'un modèle d'erreur des mesures inertielles et l'azimut de chacun des points de fuite horizontaux détectés 16 et dont le vecteur de mesure comprend les différences entre lesdites mesures d'attitude inertielles et les mesures d'angle optiques ainsi que les positions dans les plans image successifs des points de fuite horizontaux possibles 12 associés à chacun des points de fuite horizontaux détectés 16. A l'issue de cette fusion, lesdites mesures d'attitude inertielles sont corrigées des erreurs estimées par ledit filtre pour former une estimation de l'attitude 15 du capteur d'images 7. Each group of rectilinear contours, corresponding to a possible horizontal 12 or vertical leakage point 13, is subjected to a validation test concerning predefined minimum values of the number of rectilinear contours of the group and their spacing in the image plane. Step 3 consists in estimating the attitude of the image sensor 7 and detecting at least one horizontal vanishing point, by means of the fusion of optical angle measurements and attitude measurements. inertial measurements, said optical angle measurements being used to correct errors affecting said inertial attitude measurements. Inertial attitude measurements, consisting of values of the course angles, location and attitude of the image sensor 7, are elaborated by integration, from an initial attitude value of the image sensor. 7, signals produced by the gyrometers of the inertial measurement block 8. Other measurements of inertial attitude of attitude angles and of gite are developed from the average values of the signals produced by the accelerometers of the inertial measurement block 8, using a so-called leveling algorithm, better known as the English wording. Said inertial attitude measurements are then corrected for the predetermined misalignment between the axes of the sensors of the inertial measurement block 8 and the three-dimensional orthogonal reference linked to the image sensor 7, and then interpolated temporally to correspond to the sampling times of the sensor. 7. Said initial attitude value can be defined by the user, or deduced from successive measurements of an absolute position sensor, and can be tainted by errors, in particular the heading angle of the sensor. 7. At irregular time intervals, said initial attitude is updated and replaced by the current value of the estimated attitude 15, the integration of said gyro signals of the inertial measurement block 8 then being reset. Optical angle measurements are made from the vertical rectilinear contour groups 13, each group of vertical rectilinear contours 13 to obtain a measurement of the gite and attitude angles of the image sensor 7. Said measurements of optical angle can sometimes have outliers, a data filtering mechanism is implemented, consisting of a threshold of the differences between said optical and inertial angle measurements, the threshold level being determined from the average value of said differences . The possible horizontal vanishing points 12 identified in Step 2 are not all true. The detection of true horizontal vanishing points is performed by exploiting the property of invariance of their direction along the path of the mobile. For this purpose, the possible horizontal vanishing points 12 are associated between successive images, according to a criterion of proximity of their position in the image plane, and after compensation of the variations of attitude between successive images by means of said inertial attitude measurements. The successive associations form a sequence of possible horizontal vanishing points 12. When a said sequence of possible horizontal vanishing points 12 reaches a predefined duration, a horizontal vanishing point is detected. The successive positions of the horizontal vanishing point in the image plane of each image of said sequence carry information on the attitude of the image sensor 7 and the orientation of said horizontal vanishing point. A detected horizontal vanishing point 16 is characterized by its observation period, between the start and end times of said sequence of possible horizontal vanishing points 12, and its direction defined by the azimuth angle. The fusion between said inertial attitude measurements and said valid optical angle measurements is then performed by jointly estimating the parameters of an error model of said inertial measurements and the direction of each of the detected horizontal vanishing points. In a preferred embodiment, this operation is performed by means of a Kalman filter whose state vector comprises the parameters of an error model of the inertial measurements and the azimuth of each of the horizontal vanishing points detected. and whose measurement vector comprises the differences between said inertial attitude measurements and the optical angle measurements as well as the successive image plane positions of the possible horizontal vanishing points 12 associated with each of the detected horizontal vanishing points 16. At the end of this fusion, said inertial attitude measurements are corrected by the errors estimated by said filter to form a e estimation of the attitude of the image sensor 7.

A intervalles de temps irréguliers, lorsque la covariance desdits paramètres du modèle d'erreur des mesures inertielles estimés par ledit filtre est inférieure à un seuil prédéfini, ledit filtre est réinitialisé, et ladite valeur d'attitude initiale du capteur d'images 7 est fixée à la valeur courante de l'attitude estimée 15. At irregular time intervals, when the covariance of said error model parameters of the inertial measurements estimated by said filter is lower than a predefined threshold, said filter is reset, and said initial attitude value of the image sensor 7 is set at the current value of the estimated attitude 15.

Selon une variante du procédé, une amélioration est apportée à l'estimation de l'attitude 15 du capteur d'images 7, par la mise en correspondance des valeurs d'azimut d'au moins deux points de fuite horizontaux détectés 16 avec des directions horizontales probables prédéterminées de points de fuite horizontaux. Lesdites directions horizontales probables sont extraites d'une vue 14 du milieu dans lequel évolue le mobile provenant d'une base de données géographiques 9 pouvant être notamment constituée d'images aériennes ou satellitaires faisant apparaître des parois verticales planes présentes dans ledit milieu. Ladite mise en correspondance se justifie par le fait que dans un milieu construit, notamment à l'intérieur de bâtiments, les directions de points de fuite horizontaux sont le plus souvent parallèles ou perpendiculaires aux façades desdits bâtiments. Chaque paroi verticale plane extraite de la vue 14 permet donc de définir quatre directions horizontales probables perpendiculaires. L'extraction desdites directions horizontales probables est effectuée autour de la position géographique du mobile, au moyen d'un logiciel pouvant opérer soit de façon automatique, à partir d'une mesure de position absolue dudit mobile, soit sous le contrôle de l'utilisateur du procédé. Chacune des valeurs d'azimut de points de fuite horizontaux détectés 16 peut être mise en correspondance avec au plus l'une desdites directions horizontales probables, la différence angulaire entre ladite valeur d'azimut et ladite direction horizontale probable correspondante produisant une mesure de l'erreur résiduelle de l'angle de cap décrit par l'attitude 15 du capteur d'images 7, ladite mesure étant prise en compte par ledit filtre. La multiplicité des mises en correspondance possibles produit plusieurs hypothèses de mise en correspondance de l'ensemble des azimuts de points de fuite horizontaux 16, ledit filtre étant alors dupliqué en autant de copies que d'hypothèses. La probabilité de chaque hypothèse est calculée, et les hypothèses les moins probables sont abandonnées. - L'étape 4 consiste à estimer, dans un plan horizontal, la trajectoire 18 dudit mobile, constituée de l'ensemble de ses positions successives, et la position d'arêtes verticales 19 visibles depuis ledit mobile, définies à partir d'une position initiale du mobile pouvant être soit introduite par l'utilisateur, soit acquise automatiquement au moyen d'un capteur de position absolue. According to a variant of the method, an improvement is made to the estimation of the attitude of the image sensor 7, by matching the azimuth values of at least two detected horizontal vanishing points 16 with directions. predicted horizontal horizontal vanishing points. Said probable horizontal directions are extracted from a view 14 of the medium in which the mobile moves from a geographic database 9 which can be constituted in particular by aerial or satellite images showing vertical planar walls present in said medium. Said matching is justified by the fact that in a built environment, especially inside buildings, the directions of horizontal vanishing points are most often parallel or perpendicular to the facades of said buildings. Each planar vertical wall extracted from the view 14 thus makes it possible to define four probable perpendicular horizontal directions. The extraction of said probable horizontal directions is carried out around the geographical position of the mobile, by means of software that can operate either automatically, from a measurement of absolute position of said mobile, or under the control of the user of the process. Each of the detected horizontal vanishing point azimuth values 16 may be mapped to at most one of said probable horizontal directions, the angular difference between said azimuth value and said corresponding probable horizontal direction producing a measurement of the residual error of the heading angle described by the attitude of the image sensor 7, said measurement being taken into account by said filter. The multiplicity of possible mappings produces several hypotheses for mapping all the horizontal vanishing point azimuths 16, said filter then being duplicated in as many copies as there are hypotheses. The probability of each assumption is calculated, and the least likely assumptions are dropped. Step 4 consists in estimating, in a horizontal plane, the trajectory 18 of said mobile, consisting of all of its successive positions, and the position of vertical edges 19 visible from said mobile, defined from a position initial mobile can be introduced by the user, or acquired automatically by means of an absolute position sensor.

Selon un mode de réalisation particulier, la trajectoire 18 et les positions d'arêtes verticales 18 sont estimées de manière consécutive. La trajectoire 18 dans le plan horizontal est d'abord estimée en combinant les valeurs estimées d'attitude 15 du capteur d'images 7 et les mesures d'incrément de distance 17 produites par un moyen de mesure odométrique 10 utilisant des capteurs proprioceptifs portés par ledit mobile. La trajectoire 18 est calculée par la méthode dite d'estime, consistant à accumuler les vecteurs de déplacement élémentaires successifs, le module de chaque vecteur de déplacement élémentaire étant égal à un incrément de distance 17 mesuré par le moyen de mesure odométrique 10, et la direction dudit vecteur étant égale à la valeur de l'attitude 15 du capteur d'images 7, moyennée depuis l'instant d'échantillonnage précédent du moyen de mesure odométrique 10, et corrigée d'un angle de mésalignement 20 dans un plan horizontal entre l'axe optique et la direction de déplacement du capteur d'image 7. L'angle de mésalignement 20 est initialisé à une valeur prédéfinie, puis mis à jour à intervalles irréguliers à l'étape 5. Selon une variante du procédé, lorsque le mobile est un piéton, le moyen de mesure odométrique est remplacé par un algorithme de podométrie utilisant les mesures issues des accéléromètres du bloc de mesure inertielle 8, les incréments de distance 17 entre chaque pas étant alors déterminés en utilisant la relation de proportionnalité connue entre fréquence et longueur des enjambées. Les positions d'arêtes verticales 19 sont ensuite estimées à partir de la trajectoire estimée 18 et au moyen de la mise en correspondance des contours rectilignes verticaux 13 issus d'images successives. Afin de permettre la comparaison des contours rectilignes verticaux 13 issus d'une paire d'images consécutives, les contours rectilignes verticaux 13 de la première image sont d'abord projetés dans le plan image de la seconde image, en compensant les variations d'attitude 15 du capteur d'images 7 entre lesdites images. Chaque contour rectiligne vertical 13 est alors caractérisé par un ensemble de descripteurs comprenant sa longueur en pixels, la valeur moyenne du gradient d'intensité des pixels qui le constituent, et la position de son point milieu dans le plan image de la seconde image. La mise en correspondance est ensuite effectuée en trois phases successives décrites ci-après : La première phase de mise en correspondance consiste à identifier toutes les correspondances possibles entre chacun des contours rectilignes verticaux 13 issus de la première image et chacun des contours rectilignes verticaux 13 issus de la seconde image, au moyen de la similitude, selon des critères prédéfinis, desdits descripteurs de contours rectilignes verticaux 13. A l'issue de cette première phase de nombreuses ambiguïtés de correspondance apparaissent, chaque contour rectiligne vertical 13 issu de la première image pouvant avoir de multiples correspondances possibles avec des contours rectilignes verticaux 13 issus de la seconde image et réciproquement. La seconde phase de mise en correspondance résout en partie ces ambiguïtés, en recherchant la mise en correspondance de groupes de contours rectilignes verticaux 13. Les éléments de structure ou de mobilier verticaux, dans un milieu construit, donnent fréquemment lieu à la détection, par un capteur d'images, de plusieurs contours verticaux très proches constituant un groupe aisément identifiable et se répétant d'une image à la suivante. La constitution d'un groupe de contours verticaux 13, dit groupe de proximité, parmi les contours issus de la première image, est établie selon un critère prédéfini de proximité des positions des points milieu des contours rectilignes verticaux 13. Une fois un groupe de proximité constitué dans la première image, il s'agit de rechercher, parmi l'ensemble des correspondances possibles avec les éléments dudit groupe de proximité, les sous-ensembles de correspondances ne présentant pas d'ambiguïté de correspondance. Chacun des sous-ensembles de correspondances répondant à ce critère détermine un deuxième groupe parmi les contours rectilignes verticaux 13 issus de la seconde image, dit groupe de correspondance. La corrélation entre les contours rectilignes verticaux 13 dudit groupe de proximité et dudit groupe de correspondance associé fournit une indication de qualité de la mise en correspondance. Parmi tous les sous-ensembles de correspondances définis ci-dessus, celui qui permet de maximiser ladite corrélation est sélectionné. Toutes les autres correspondances possibles relatives audit groupe de proximité et audit groupe de correspondance sélectionné sont écartées, réduisant ainsi le nombre d'ambiguïtés de correspondance. - La troisième phase de mise en correspondance consiste à résoudre les ambiguïtés de correspondance résiduelles parmi lesdites correspondances possibles, en sélectionnant, pour chaque contour rectiligne vertical 13 issu de la première image n'appartenant pas à un groupe de proximité, la correspondance possible pour laquelle lesdits descripteurs présentent la plus grande similitude. According to a particular embodiment, the trajectory 18 and the vertical edge positions 18 are estimated consecutively. The trajectory 18 in the horizontal plane is first estimated by combining the estimated attitude values of the image sensor 7 and the distance increment measurements 17 produced by an odometric measurement means 10 using proprioceptive sensors carried by said mobile. The trajectory 18 is calculated by the so-called estimation method, consisting of accumulating the successive elementary displacement vectors, the modulus of each elementary displacement vector being equal to a distance increment 17 measured by the odometric measurement means 10, and the direction of said vector being equal to the value of the attitude of the image sensor 7, averaged from the previous sampling instant of the odometric measuring means 10, and corrected by a misalignment angle 20 in a horizontal plane between the optical axis and the moving direction of the image sensor 7. The misalignment angle 20 is initialized to a predefined value, then updated at irregular intervals in step 5. According to a variant of the method, when the mobile is a pedestrian, the odometric measurement means is replaced by a pedometer algorithm using the measurements from the accelerometers of the inertial measurement block 8, the incremental The distances 17 between each step are then determined using the known proportionality relationship between frequency and stride length. The positions of vertical edges 19 are then estimated from the estimated trajectory 18 and by means of the matching of the rectilinear vertical contours 13 from successive images. In order to allow the comparison of vertical rectilinear contours 13 coming from a pair of consecutive images, the rectilinear vertical contours 13 of the first image are first projected in the image plane of the second image, compensating for the variations in attitude 15 of the image sensor 7 between said images. Each vertical rectilinear contour 13 is then characterized by a set of descriptors comprising its length in pixels, the average value of the intensity gradient of the pixels that constitute it, and the position of its midpoint in the image plane of the second image. The mapping is then carried out in three successive phases described below: The first matching phase consists of identifying all the possible matches between each of the rectilinear vertical contours 13 from the first image and each of the rectilinear vertical contours 13 from of the second image, by means of the similarity, according to predefined criteria, of said vertical rectilinear contour descriptors 13. At the end of this first phase, numerous correspondence ambiguities appear, each vertical rectilinear contour 13 issuing from the first image being able to have multiple possible matches with rectilinear vertical contours 13 from the second image and vice versa. The second matching phase partially resolves these ambiguities, by seeking the matching of groups of vertical rectilinear contours 13. The elements of structure or vertical furniture, in a built environment, frequently give rise to the detection, by a image sensor, several very close vertical contours constituting a group easily identifiable and repeating from one image to the next. The constitution of a group of vertical contours 13, said proximity group, among the contours from the first image, is established according to a predefined criterion of proximity of the positions of the middle points of the rectilinear vertical contours 13. Once a proximity group constituted in the first image, it is a question of searching, among the set of possible correspondences with the elements of said proximity group, the subsets of correspondences having no ambiguity of correspondence. Each of the subsets of correspondences satisfying this criterion determines a second group among the rectilinear vertical contours 13 coming from the second image, called the correspondence group. The correlation between the vertical rectilinear contours 13 of said proximity group and said associated correspondence group provides an indication of quality of matching. Of all the subsets of correspondences defined above, the one that makes it possible to maximize said correlation is selected. All other possible matches relating to said proximity group and selected correspondence group are discarded, thereby reducing the number of matching ambiguities. The third mapping phase consists in solving the residual correspondence ambiguities among said possible correspondences, by selecting, for each vertical rectilinear contour 13 issuing from the first image that does not belong to a proximity group, the possible correspondence for which said descriptors have the greatest similarity.

La mise en correspondance des contours rectilignes verticaux 13 décrite ci- dessus produit des séquences de contours rectilignes verticaux 13 associés deux à deux d'une image à la suivante, chaque séquence étant représentative d'une arête verticale. A chaque contour rectiligne vertical 13 est associée une mesure de gisement déduite de la position du point milieu du contour rectiligne vertical 13 dans le plan image et de l'attitude 15 du capteur d'images 7. Lorsqu'aucun contour rectiligne vertical 13 ne peut plus, faute de correspondance possible, être associé à une séquence de contours rectilignes verticaux 13 existante, et à condition que le nombre d'éléments de ladite séquence soit supérieur à un seuil prédéfini, la position 19 dans le plan horizontal de l'arête verticale représentée par ladite séquence de contours rectilignes verticaux 13 est estimée par un ajustement au sens des moindres carrés, au moyen de l'algorithme de Levenberg-Marquardt, à partir des mesures de gisement associées aux éléments de ladite séquence, des valeurs d'attitude 15 du capteur d'images 7, de mésalignement 20 et de la trajectoire 18. Un test sur la valeur de la covariance d'estimation de chaque position d'arête verticale 19, de niveau prédéfini, est appliqué afin d'éliminer les estimations les moins vraisemblables. - L'étape 5 consiste à exploiter la propriété des arêtes verticales d'être fréquemment alignées le long des directions des points de fuite horizontaux validés 16, en estimant les erreurs résiduelles de la trajectoire du mobile 18 et des positions des arêtes verticales 19. Selon un mode de réalisation particulier, les positions dans le plan horizontal des arêtes verticales 19 sont regroupées en segments de droite dont l'orientation est comparée à l'azimut d'au moins un point de fuite horizontal détecté 16. Le regroupement des positions d'arêtes verticales 19 est effectué selon un critère de proximité en distance, puis le segment de droite de meilleur ajustement est déterminé au moyen d'un algorithme de moindres carrés pondérés. Un test de validation portant sur la longueur dudit segment de droite et le résidu d'ajustement permet de sélectionner les groupes les plus vraisemblables. Lesdits groupes ainsi sélectionnés sont identifiés à des parois verticales planes 21. Chaque paroi verticale plane 21 est caractérisée par la position, la longueur et l'orientation du segment de droite associé, l'incertitude sur ladite orientation, et la période d'observation définie par le minimum et le maximum des instants d'observation de tous les contours rectilignes verticaux 13 associés aux arêtes verticales qui la constituent. Lorsqu'une paroi verticale plane 21 est déterminée, l'orientation du segment de droite associé est comparée à l'azimut d'au moins un point de fuite horizontal détecté 16 à une période concomitante, au moyen du rapport de l'angle entre lesdites directions et l'incertitude sur l'orientation de ladite paroi verticale plane 21. Lorsque ledit rapport est compris à l'intérieur d'une fourchette de valeurs prédéfinie, une procédure de correction de l'estimation de la trajectoire 18 du mobile et des positions des arêtes verticales 19 est entreprise, pour la période d'observation de ladite paroi verticale plane 21. Selon un mode de réalisation particulier, ladite procédure consiste d'abord à corriger l'angle de mésalignement 20, puis à reprendre les calculs de l'étape 5 à partir de l'instant de début de la période d'observation de ladite paroi verticale plane 21, la valeur corrigée de l'angle de mésalignement 20 étant déterminée de manière à annuler ledit écart entre les deux orientations. Une variante du procédé comprend en outre une étape 6 de détection de fermeture de boucle. Une fermeture de boucle est détectée lorsqu'un premier groupe de parois verticales planes 21, satisfaisant des critères prédéfinis de proximité et de recouvrement de leurs périodes d'observation, peut être mis en correspondance avec un second groupe de parois verticales planes 21, satisfaisant des critères identiques de proximité et de recouvrement de leurs périodes d'observation, mais dont les périodes d'observation sont antérieures à celles dudit premier groupe. Un test portant sur l'écart de trajectoire 18 entre lesdites périodes d'observation et la corrélation entre les deux groupes de parois verticales planes permet d'écarter les hypothèses de mise en correspondance les moins vraisemblables. Le procédé décrit ci-dessus est mis en oeuvre par le système illustré sur la figure 2, dans lequel ledit procédé est mis en oeuvre par un programme informatique distribué sur deux moyens de calcul 22 et 24 physiquement séparés et reliés par un moyen de communication filaire ou radioélectrique. Selon un mode de réalisation préféré, le système comprend : - un terminal porté par le mobile comprenant : - un capteur d'images monoculaire 7, - un bloc de mesure inertielle 8 rigidement lié au capteur d'images 7, comprenant trois gyromètres disposés selon trois axes orthogonaux et trois accéléromètres disposés selon lesdits axes, l'orientation desdits axes par rapport au repère orthogonal tridimensionnel lié au capteur d'images étant connue et constante, et un premier moyen de calcul 22 apte à recevoir les mesures produites par le capteur d'images 7 et le bloc de mesure inertielle 8, un moyen d'interface homme-machine 23 comprenant un écran d'affichage et un dispositif d'acquisition de données introduites par l'utilisateur ; - un second moyen de calcul 24 relié au premier moyen de calcul 22 par une liaison radioélectrique ou filaire et au moyen d'interface homme-machine 23 ; un capteur de position absolue 25 porté par ledit mobile et relié à l'un des deux moyens de calcul 22 et 24 ; un moyen de mesure odométrique 10 porté par ledit mobile et relié à l'un des deux moyens de calcul 22 et 24. The mapping of the vertical rectilinear contours 13 described above produces vertical rectilinear contour sequences 13 associated in pairs from one image to the next, each sequence being representative of a vertical edge. Each vertical rectilinear contour 13 is associated with a bearing measurement deduced from the position of the mid-point of the vertical rectilinear contour 13 in the image plane and the attitude of the image sensor 7. When no vertical rectilinear contour 13 can moreover, if there is no possible correspondence, be associated with a sequence of vertical rectilinear contours 13 existing, and provided that the number of elements of said sequence is greater than a predefined threshold, the position 19 in the horizontal plane of the vertical edge represented by said sequence of vertical rectilinear contours 13 is estimated by a least-squares adjustment, by means of the Levenberg-Marquardt algorithm, from the deposit measurements associated with the elements of said sequence, attitude values 15 of image sensor 7, misalignment 20 and trajectory 18. A test on the value of the estimation covariance of each vertical edge position 19 , of predefined level, is applied in order to eliminate the least likely estimates. Step 5 consists in exploiting the property of the vertical edges to be frequently aligned along the directions of the validated horizontal vanishing points 16, by estimating the residual errors of the trajectory of the mobile 18 and the positions of the vertical edges 19. a particular embodiment, the positions in the horizontal plane of the vertical edges 19 are grouped into line segments whose orientation is compared to the azimuth of at least one detected horizontal leak point 16. The grouping of the positions of vertical edges 19 is performed according to a distance proximity criterion, and then the best fit line segment is determined using a weighted least squares algorithm. A validation test relating to the length of said right segment and the adjustment residue makes it possible to select the most likely groups. Said groups thus selected are identified with flat vertical walls 21. Each vertical plane wall 21 is characterized by the position, the length and the orientation of the associated line segment, the uncertainty on said orientation, and the defined observation period. by the minimum and the maximum of the instants of observation of all the rectilinear vertical contours 13 associated with the vertical edges which constitute it. When a planar vertical wall 21 is determined, the orientation of the associated line segment is compared to the azimuth of at least one detected horizontal leak point 16 at a concomitant period, by means of the ratio of the angle between said directions and the uncertainty of the orientation of said vertical plane wall 21. When said ratio is within a predefined range of values, a procedure for correcting the estimation of the trajectory 18 of the mobile and of the positions vertical edges 19 is undertaken, for the period of observation of said vertical plane wall 21. According to a particular embodiment, said procedure consists firstly in correcting the misalignment angle 20, then in taking up the calculations of the step 5 from the start of the observation period of said vertical vertical wall 21, the corrected value of the misalignment angle 20 being determined so as to cancel said gap e between the two orientations. A variant of the method further comprises a loop closure detecting step 6. A loop closure is detected when a first group of planar vertical walls 21, satisfying predefined criteria of proximity and recovery of their observation periods, can be matched with a second group of planar vertical walls 21, satisfying identical criteria of proximity and recovery of their observation periods, but whose observation periods are earlier than those of the first group. A test relating to the difference in trajectory 18 between said observation periods and the correlation between the two groups of vertical vertical walls makes it possible to rule out the least likely matching hypotheses. The method described above is implemented by the system illustrated in FIG. 2, in which said method is implemented by a computer program distributed on two computing means 22 and 24 physically separated and connected by a wired communication means. or radio. According to a preferred embodiment, the system comprises: a terminal carried by the mobile device comprising: a monocular image sensor 7; an inertial measurement block 8 rigidly linked to the image sensor 7, comprising three gyrometers arranged according to three orthogonal axes and three accelerometers arranged along said axes, the orientation of said axes relative to the three-dimensional orthogonal reference linked to the image sensor being known and constant, and a first calculation means 22 able to receive the measurements produced by the image sensor. 7 and the inertial measurement block 8, a human-machine interface means 23 comprising a display screen and a data acquisition device introduced by the user; a second calculation means 24 connected to the first calculation means 22 by a radio or wire link and by means of a man-machine interface 23; an absolute position sensor 25 carried by said mobile and connected to one of the two calculation means 22 and 24; an odometric measuring means 10 carried by said mobile and connected to one of the two calculation means 22 and 24.

Ledit système est opéré selon deux modes possibles : - un mode dit navigation, dans lequel l'utilisateur humain est lié au mobile, ledit utilisateur pouvant être notamment un piéton constituant le mobile lui-même ou le conducteur d'un véhicule roulant, le second moyen de calcul 24 et le moyen d'interface homme machine 23 étant portés par ledit mobile ; - un mode dit suivi, dans lequel l'utilisateur humain est distant du mobile, le second moyen de calcul 24, et le moyen d'interface homme-machine 23, étant dissociés dudit mobile. Said system is operated according to two possible modes: a mode called navigation, in which the human user is linked to the mobile, said user can be in particular a pedestrian constituting the mobile itself or the driver of a rolling vehicle, the second computing means 24 and the man-machine interface means 23 being carried by said mobile; a so-called tracking mode, in which the human user is distant from the mobile, the second calculation means 24, and the human-machine interface means 23, being dissociated from said mobile.

Le premier moyen de calcul 22 et le second moyen de calcul 24 exécutent conjointement un programme informatique mettant en oeuvre ledit procédé. Le second moyen de calcul 24 exécute en outre un programme informatique d'affichage, sur l'écran du moyen d'interface homme-machine 23, des résultats dudit procédé, notamment la trajectoire estimée 18 du terminal mobile et un plan des parois verticales planes détectées 21. Le capteur de position absolue 25 permet l'initialisation de la position horizontale du mobile, et l'initialisation du cap du capteur d'images 7. Selon une variante du système, le bloc de mesure inertielle 8 est constitué d'un seul gyromètre dont l'axe sensible est maintenu selon une direction proche de la verticale. Selon une autre variante, le moyen de mesure odométrique 10 est remplacé par un programme informatique exécuté sur le premier moyen de calcul 22, ledit programme utilisant les données produites par les accéléromètres du bloc de mesure inertielle 8. Selon encore une autre variante, le second moyen de calcul 24 est relié à une base de données géographiques 9, et exécute un programme informatique sélectionnant une vue 14 de la zone dans laquelle évolue le mobile puis extrayant de ladite vue les directions des points de fuite horizontaux probables.20 The first calculation means 22 and the second calculation means 24 jointly execute a computer program implementing said method. The second calculation means 24 furthermore executes a computer program for displaying, on the screen of the man-machine interface means 23, the results of said method, in particular the estimated trajectory 18 of the mobile terminal and a plane of the vertical plane walls. 21. The absolute position sensor 25 allows the initialization of the horizontal position of the mobile, and the initialization of the heading of the image sensor 7. According to a variant of the system, the inertial measurement block 8 consists of a only gyrometer whose sensitive axis is maintained in a direction close to the vertical. According to another variant, the odometric measuring means 10 is replaced by a computer program executed on the first calculation means 22, said program using the data produced by the accelerometers of the inertial measurement block 8. According to another variant, the second calculation means 24 is connected to a geographical database 9, and executes a computer program selecting a view 14 of the zone in which the mobile is moving and then extracting from said view the directions of the probable horizontal vanishing points.

Claims (11)

REVENDICATIONS1. Procédé de localisation d'un mobile évoluant dans un milieu construit caractérisé en ce qu'il comprend des étapes: - d'extraction (1) d'un ensemble de contours rectilignes (11) dans chacune des images successivement produites par un capteur d'images (7) porté par ledit mobile ; - de classification (2) de chacun des ensembles successifs de contours rectilignes (11) en sous-ensembles permettant d'identifier au moins un point de fuite horizontal possible (12) et des contours rectilignes verticaux (13) ; - d'estimation (3) de l'attitude du capteur d'images (15) et de détection d'au moins un point de fuite horizontal (16) au moyen de la fusion entre d'une part des mesures d'angle dites optiques déduites dans chaque image successive de l'orientation des contours rectilignes verticaux (13) dans le plan image et de l'orientation d'au moins un point de fuite horizontal possible (12) et d'autre part des mesures dites inertielles de l'attitude du capteur d'images (7) obtenues à partir des signaux produits par un bloc de mesure inertielle (8) rigidement lié au capteur d'images (7) et comprenant au moins un gyromètre ; d'estimation (4), dans un plan horizontal, à partir d'une position initiale connue, de la trajectoire (18) dudit mobile et de la position d'arêtes verticales (19) présentes dans ledit milieu construit, au moyen de la mise en correspondance des contours rectilignes verticaux (13) entre images successives, et de la fusion des mesures d'attitude successives (15) du capteur d'images (7), de mesures odométriques (17) fournies par des capteurs proprioceptifs portés par ledit mobile, et de l'orientation des contours rectilignes verticaux (13) dans les plans image successifs, ladite estimation pouvant être entachée d'erreurs ; d'estimation (5) desdites erreurs et d'un plan de parois verticales planes (21) visibles depuis la trajectoire dudit mobile, au moyen de l'identification de groupes d'arêtes verticales (19) alignées et de la comparaison de l'alignement de chacun desdits groupes avec la direction d'au moins un point de fuite horizontal (16). REVENDICATIONS1. A method of locating a mobile operating in a built environment characterized in that it comprises steps of: - extracting (1) a set of rectilinear contours (11) in each of the images successively produced by a sensor of images (7) carried by said mobile; classifying (2) each of successive sets of rectilinear contours (11) into subsets making it possible to identify at least one possible horizontal vanishing point (12) and vertical rectilinear contours (13); estimating (3) the attitude of the image sensor (15) and detecting at least one horizontal vanishing point (16) by means of the fusion between, on the one hand, so-called angle measurements; in each successive image of the orientation of the vertical rectilinear contours (13) in the image plane and the orientation of at least one possible horizontal leak point (12) and on the other hand so-called inertial measurements of the attitude of the image sensor (7) obtained from the signals produced by an inertial measurement block (8) rigidly connected to the image sensor (7) and comprising at least one gyrometer; estimating (4), in a horizontal plane, from a known initial position, the trajectory (18) of said mobile and the position of vertical edges (19) present in said constructed medium, by means of the mapping the vertical rectilinear contours (13) between successive images, and the fusion of successive attitude measurements (15) of the image sensor (7), odometric measurements (17) provided by proprioceptive sensors carried by said mobile, and the orientation of the vertical rectilinear contours (13) in the successive image planes, said estimate may be tainted by errors; estimating (5) said errors and a planar vertical wall plane (21) visible from the path of said moving body, by means of the identification of aligned vertical edge groups (19) and the comparison of the aligning each of said groups with the direction of at least one horizontal vanishing point (16). 2. Procédé selon la revendication 1 caractérisé en ce que le bloc de mesure inertielle (8) comprend au plus trois gyromètres disposés selon des axes orthogonaux d'orientation connue par rapport dit capteur d'images (7). 2. Method according to claim 1 characterized in that the inertial measurement block (8) comprises at most three gyrometers arranged along orthogonal axes of known orientation with respect to said image sensor (7). 3. Procédé selon la revendication 1 ou 2 caractérisé en ce que le bloc de mesure inertielle (8) comprend en outre trois accéléromètres disposés selon des axes orthogonaux d'orientation connue par rapport au capteur d'images (7), lesdits accéléromètres produisant des signaux permettant de calculer l'orientation du capteur d'images (7) par rapport à la verticale. 3. Method according to claim 1 or 2 characterized in that the inertial measurement block (8) further comprises three accelerometers arranged along orthogonal axes of known orientation with respect to the image sensor (7), said accelerometers producing signals for calculating the orientation of the image sensor (7) relative to the vertical. 4. Procédé selon la revendication 3 caractérisé en ce que les mesures odométriques (17) sont élaborées à partir des signaux produits pas lesdits accéléromètres. 4. Method according to claim 3 characterized in that the odometric measurements (17) are developed from the signals produced by said accelerometers. 5. Procédé selon l'une des revendications 1 à 4 caractérisé en ce que l'estimation de l'attitude du capteur d'images (7) et la détection d'au moins un point de fuite horizontal réalisée à l'étape (3) fournit en outre une estimation des facteurs d'erreur d'au moins un gyromètre du bloc de mesure inertielle (8). 5. Method according to one of claims 1 to 4 characterized in that the estimation of the attitude of the image sensor (7) and the detection of at least one horizontal vanishing point made in step (3). ) further provides an estimate of the error factors of at least one gyrometer of the inertial measurement block (8). 6. Procédé selon l'une des revendications 1 à 5 caractérisé en ce que le procédé comprend en outre une étape de mise en correspondance de la direction d'au moins un point de fuite horizontal (16) avec des directions probables de points de fuite horizontaux obtenues à partir d'une vue (14) du milieu dans lequel évolue le mobile, ladite vue étant extraite d'une base de données géographiques (9). 6. Method according to one of claims 1 to 5 characterized in that the method further comprises a step of matching the direction of at least one horizontal leak point (16) with probable directions of vanishing points. horizontal lines obtained from a view (14) of the medium in which the mobile moves, said view being extracted from a geographic database (9). 7. Procédé selon l'une des revendications 1 à 6 caractérisé en ce que la mise en correspondance des contours rectilignes verticaux (13) entre images successives est réalisée au moyen de la constitution de groupes de contours rectilignes verticaux proches dans le plan image et de la corrélation entre au moins un groupe de contours ainsi constitué dans une image et les contours rectilignes verticaux (13) dans une autre image. 7. Method according to one of claims 1 to 6 characterized in that the mapping of the rectilinear vertical contours (13) between successive images is performed by means of the formation of vertical rectilinear contour groups close in the image plane and the correlation between at least one contour group thus formed in one image and the vertical rectilinear contours (13) in another image. 8. Procédé selon l'une des revendications 1 à 7 caractérisé en ce qu'il comprend en outre une étape (6) de détection de fermeture de boucle au moyen de la comparaison d'au moins un groupe de parois verticales planes (21) avec des parois verticales planes (21) identifiées antérieurement audit groupe. 8. Method according to one of claims 1 to 7 characterized in that it further comprises a loop closure detection step (6) by means of the comparison of at least one group of planar vertical walls (21). with flat vertical walls (21) previously identified with said group. 9. Système de localisation d'un mobile évoluant dans un milieu construit, comprenant - un terminal porté par ledit mobile et comprenant : - un capteur d'images monoculaire (7), - un bloc de mesure inertielle (8) rigidement lié au capteur d'images et comprenant au moins un gyromètre, et un premier moyen de calcul (22) apte à recevoir les données produites par le capteur d'images (7) et le bloc de mesure inertielle (8), - un moyen d'interface homme-machine (23) comprenant un écran d'affichage et un dispositif d'acquisition de données introduites par l'utilisateur, - un second moyen de calcul (24) relié au moyen d'interface homme machine (23), un moyen de communication radioélectrique ou filaire reliant le premier moyen de calcul (22) et le second moyen de calcul (24), un moyen de mesure odométrique (10) porté par ledit mobile et produisant des données à l'un des deux moyens de calcul (22) et (24), - un capteur de position absolue (25) porté par ledit mobile et produisant des données à l'un des deux moyens de calcul (22) et (24), caractérisé en ce que les moyens de calcul (22) et (24) exécutent conjointement les étapes du procédé selon les revendications 1 à 8 déterminant l'attitude (15) et la localisation (19) dudit terminal dans un plan horizontal et un plan de parois verticales planes (21) visibles depuis la trajectoire dudit mobile, lorsqu'elles sont mises en oeuvre dans un programme d'ordinateur. 9. System for locating a mobile operating in a built environment, comprising - a terminal carried by said mobile and comprising: - a monocular image sensor (7), - an inertial measurement block (8) rigidly connected to the sensor of images and comprising at least one gyrometer, and first calculating means (22) adapted to receive the data produced by the image sensor (7) and the inertial measurement block (8), - an interface means human-machine (23) comprising a display screen and a data acquisition device introduced by the user, - a second calculation means (24) connected to the man-machine interface means (23), a means of radio or wired communication connecting the first calculating means (22) and the second calculating means (24), an odometric measuring means (10) carried by said mobile and producing data to one of the two calculating means (22). ) and (24), - an absolute position sensor (25) carried by said mobile and producing data to one of the two calculating means (22) and (24), characterized in that the calculation means (22) and (24) jointly perform the steps of the method according to claims 1-8 determining the attitude (15) and the location (19) of said terminal in a horizontal plane and a planar vertical wall plane (21) visible from the path of said mobile, when implemented in a computer program. 10. Système selon la revendication 9 caractérisé en ce que le bloc de mesure inertielle (8) comprend au plus trois gyromètres disposés selon trois axes orthogonaux d'orientation connue par rapport au capteur d'images (7).10. System according to claim 9 characterized in that the inertial measurement block (8) comprises at most three gyrometers arranged along three orthogonal axes of known orientation with respect to the image sensor (7). 11 Système selon la revendication 9 ou 10 caractérisé en ce que le bloc de mesure inertielle (8) comprend en outre trois accéléromètres disposés selon des axes orthogonaux d'orientation connue par rapport au capteur d'images (7).12. Système selon la revendication 11 caractérisé en ce que ledit mobile est un piéton ou un objet déplacé par un piéton, et le moyen de mesure odométrique (10) est constitué desdits accéléromètres et d'un programme informatique de podométrie exécuté par l'un des deux moyens de calcul (22) et (24). 13. Système selon l'une des revendications 9 à 12 caractérisé en ce qu'il comprend en outre une interface avec une base de données géographiques (9) et un moyen de détermination, à partir desdites données géographiques, de l'orientation de points de fuite probables. System according to claim 9 or 10, characterized in that the inertial measuring block (8) further comprises three accelerometers arranged along orthogonal axes of known orientation with respect to the image sensor (7). System according to claim 11 characterized in that said mobile is a pedestrian or an object moved by a pedestrian, and the odometric measuring means (10) consists of said accelerometers and a pedometer computer program executed by one of the two calculation means (22) and (24). 13. System according to one of claims 9 to 12 characterized in that it further comprises an interface with a geographic database (9) and a means for determining, from said geographical data, the orientation of points. likely leakage.
FR1200071A 2012-01-10 2012-01-10 METHOD FOR LOCATING A MOBILE IN BUILD ENVIRONMENT Active FR2985588B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
FR1200071A FR2985588B1 (en) 2012-01-10 2012-01-10 METHOD FOR LOCATING A MOBILE IN BUILD ENVIRONMENT

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
FR1200071A FR2985588B1 (en) 2012-01-10 2012-01-10 METHOD FOR LOCATING A MOBILE IN BUILD ENVIRONMENT

Publications (2)

Publication Number Publication Date
FR2985588A1 true FR2985588A1 (en) 2013-07-12
FR2985588B1 FR2985588B1 (en) 2015-03-20

Family

ID=46275883

Family Applications (1)

Application Number Title Priority Date Filing Date
FR1200071A Active FR2985588B1 (en) 2012-01-10 2012-01-10 METHOD FOR LOCATING A MOBILE IN BUILD ENVIRONMENT

Country Status (1)

Country Link
FR (1) FR2985588B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113340310A (en) * 2021-07-08 2021-09-03 深圳市人工智能与机器人研究院 Step terrain identification and positioning method for mobile robot and related device
CN114355836A (en) * 2017-08-02 2022-04-15 深圳阿科伯特机器人有限公司 Robot control method, device and system and applicable robot

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MYUNG HWANGBO ET AL: "Visual-inertial UAV attitude estimation using urban scene regularities", ROBOTICS AND AUTOMATION (ICRA), 2011 IEEE INTERNATIONAL CONFERENCE ON, IEEE, 9 May 2011 (2011-05-09), pages 2451 - 2458, XP032033419, ISBN: 978-1-61284-386-5, DOI: 10.1109/ICRA.2011.5979542 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114355836A (en) * 2017-08-02 2022-04-15 深圳阿科伯特机器人有限公司 Robot control method, device and system and applicable robot
CN113340310A (en) * 2021-07-08 2021-09-03 深圳市人工智能与机器人研究院 Step terrain identification and positioning method for mobile robot and related device
CN113340310B (en) * 2021-07-08 2024-03-15 深圳市人工智能与机器人研究院 Step terrain identification and positioning method and relevant device for mobile robot

Also Published As

Publication number Publication date
FR2985588B1 (en) 2015-03-20

Similar Documents

Publication Publication Date Title
EP1886517B1 (en) Method and device for locating a terminal in a wireless local area network
US20180283882A1 (en) Location-based services system and method therefor
US11875519B2 (en) Method and system for positioning using optical sensor and motion sensors
US20210278549A1 (en) Lane-level navigation system for ground vehicles with lidar and cellular signals
FR3012597B1 (en) INTERNAL AND EXTERNAL LOCALIZATION METHOD AND PORTABLE DEVICE IMPLEMENTING SAID METHOD
EP3472557B1 (en) Method of estimating a direction of absolute orientation of an optronic system
FR2897680A1 (en) MOTION CAPTURE DEVICE AND ASSOCIATED METHOD
EP3494402A1 (en) System and global method for geolocation using imprecise distance and anchor position measurements
FR2960082A1 (en) METHOD AND SYSTEM FOR MERGING DATA FROM IMAGE SENSORS AND MOTION OR POSITION SENSORS
EP2507586A1 (en) System and method for assisting the driver of a biomechanically driven vehicle including at least one wheel
WO2010063844A1 (en) Method for geolocating an object by multitelemetry
EP3447654B1 (en) Method for determining the trajectory of a moving object, program and device for implementing said method
FR3015072A1 (en) METHOD OF DETERMINING THE ORIENTATION OF A MOBILE TERMINAL-RELATED SENSOR MARK WITH SENSOR ASSEMBLY USED BY A USER AND COMPRISING AT LEAST ONE MOTION-MOVING MOTION SENSOR
EP2818829B1 (en) Navigation and pointing system and method for calibrating a navigation and pointing system
FR3042266A1 (en) METHOD FOR ESTIMATING THE MOVEMENT OF A PIETON
EP2428934A1 (en) Method for estimating the movement of a carrier in relation to an environment and calculation device for a navigation system
EP2405399B1 (en) Method for calibrating the orientation of an on-board video camera
WO2018142057A1 (en) Method and device for calibrating a perception system including a set of lidar rangefinders
FR2975484A1 (en) METHOD FOR REMOTELY DETERMINING AN ABSOLUTE AZIMUT OF A TARGET POINT
FR2985588A1 (en) Method for locating mobile e.g. pedestrian, in e.g. building interior, involves estimating trajectory of mobile and position of vertical edges in built medium, and estimating errors and plane of flat vertical walls visible from trajectory
CN116105729A (en) Multi-sensor fusion positioning method for reconnaissance of forest environment of field cave
FR3114659A1 (en) REGISTRATION METHOD ON A PLURALITY OF LANDMARKS, COMPUTER PROGRAM PRODUCT AND ASSOCIATED REGISTRATION DEVICE
EP3655725A1 (en) Method for estimating the movement of an object moving in a magnetic field environment
FR3041769A1 (en) GEOLOCATION PROCESS
FR3137764A1 (en) Method for resetting an attitude provided by a dead reckoning navigation system by means of a relative positioning system

Legal Events

Date Code Title Description
PLFP Fee payment

Year of fee payment: 5

PLFP Fee payment

Year of fee payment: 6

PLFP Fee payment

Year of fee payment: 7

PLFP Fee payment

Year of fee payment: 9

PLFP Fee payment

Year of fee payment: 10

PLFP Fee payment

Year of fee payment: 11

PLFP Fee payment

Year of fee payment: 12

PLFP Fee payment

Year of fee payment: 13