EP2947628B1 - Procédé de traitement d'informations locales - Google Patents

Procédé de traitement d'informations locales Download PDF

Info

Publication number
EP2947628B1
EP2947628B1 EP15167278.9A EP15167278A EP2947628B1 EP 2947628 B1 EP2947628 B1 EP 2947628B1 EP 15167278 A EP15167278 A EP 15167278A EP 2947628 B1 EP2947628 B1 EP 2947628B1
Authority
EP
European Patent Office
Prior art keywords
virtual representation
displacement
image
captured image
localization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
EP15167278.9A
Other languages
German (de)
English (en)
Other versions
EP2947628A1 (fr
Inventor
Nicolas Chevassus
Denis Marraud
Antoine Tarault
Xavier Perrotton
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Airbus SAS
Original Assignee
Airbus Group SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Airbus Group SAS filed Critical Airbus Group SAS
Publication of EP2947628A1 publication Critical patent/EP2947628A1/fr
Application granted granted Critical
Publication of EP2947628B1 publication Critical patent/EP2947628B1/fr
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/16—Using real world measurements to influence rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Definitions

  • the present invention relates to a local information processing method, a device for implementing such a method and a communicating portable terminal comprising such a device.
  • the invention applies in particular in the field of assistance to industrial control. More particularly, the invention applies to assembly, maintenance or installation by mixed or augmented reality and training aid.
  • Augmented reality in an industrial environment requires a very robust location process.
  • the estimation of the position of the device used is performed using markers. This technique makes it possible to have a certain robustness only when a marker is visible.
  • the device identified is located in the reference frame of the marker.
  • SLAM Simultaneous Localization And Mapping
  • Augmented reality devices are, in most cases, devices for displaying information superimposed on an image or video.
  • EP 2201532 which describes a local positioning device configured to determine the relative position of the device with respect to a target object.
  • the device is mounted on a controlled and graduated ball joint fixed on a tripod.
  • the patella is used to determine the azimuth and elevation angle that must be entered manually to define the position of the device. This device is difficult to position and move in an industrial environment.
  • the article by G. Klein and T. Drummond “Tighlty intergrated sensor fusion for robust visual tracking” describes an object tracking method based on the correlation of images acquired with a virtual representation of the object and inertial data. The result of the tracking is then used in an augmented reality application in which the captured image and a portion of the virtual representation are displayed together.
  • the present invention aims to remedy all or part of these disadvantages.
  • the present invention is directed to a method as described in claim 1.
  • the use of a virtual environment realized a priori makes it possible to locate the device in the reference of the virtual representation. Unlike a reconstruction, the representation allows to detect the missing elements on the elements of the real environment.
  • the analyzed information has a plus high reliability.
  • the virtual environment can also be modified according to the observations made on the real environment.
  • the correlation step may be performed from an image analysis that does not require a target object.
  • the device performing the method of the invention is not fixed and is easily movable in an industrial environment.
  • the correlation is performed by recognition in at least one captured image of predefined discriminant semantic structures in the virtual representation.
  • This recognition has the advantage of increasing the robustness of the process. Indeed, the more discriminating semantic structures in the captured image, the more accurate the process.
  • the method which is the subject of the present invention comprises a step of attenuation of the displacement determined during the step of determining the displacement.
  • the method that is the subject of the present invention comprises a step of conjointly displaying a captured image and a portion of the virtual representation corresponding to the displayed captured image.
  • the advantage of these embodiments is a better visualization of the differences between the virtual representation and the real environment. The user is therefore more efficient.
  • the method which is the subject of the present invention comprises a step of editing localized information on the virtual representation.
  • the advantage of these embodiments is to have precisely localized information.
  • the information being recorded on the virtual representation they are easily transferred and accessible.
  • the information recorded during previous uses of the device is accessible and modifiable.
  • the present invention relates to a device as described in claim 7.
  • the device of the present invention comprises a display means configured to jointly display a captured image and a portion of the virtual representation corresponding to the displayed captured image.
  • the device that is the subject of the present invention comprises means for editing information located on the virtual representation.
  • the present invention aims a communicating portable terminal comprising a device object of the present invention.
  • the invention is compact and easily transportable in industrial settings, which are often difficult to access.
  • the video mode may include a sub-step of image quality processing by stabilization, denoising, and super-resolution. This step is used in detailed local views for example.
  • Still picture mode differs from video mode in the absence of time constraints.
  • the image can be of better quality and it is possible to implement a global localization strategy by optimizing the localization of all the images. For example, taking into account the knowledge of certain characteristics of the shooting, such as the characteristics of panoramas for example.
  • Discriminant semantic structures take into account reference structures when the constraints of tolerance impose it. In this case, discriminant semantic structures are selected exclusively on the reference elements.
  • Discriminant semantic structures are preferably geometric structures such as points, lines, circles, ellipses, surfaces, parametric volumes, texture-rich elements, or contours.
  • multimodal means that they correspond to primitives extracted from the different available images, whatever their nature. Unambiguity is defined as corresponding to unique configurations or descriptions in a nearby neighborhood.
  • the calibration targets require the intervention of a user who must locate the target approximately in the virtual representation.
  • the pattern can be positioned on a surface to define a normal to the surface. The user can reproduce normality and positioning quickly in the virtual representation.
  • a subsequent addition of automatically located patterns on the digital representation makes it possible to further increase the robustness of the method and the accuracy of the position of the device in the digital representation.
  • the location is automatic when the new positioned target is captured by the camera in an image having at least one semantic structure already referenced.
  • the correlation is performed from the outlines extracted from the virtual representation which are then aligned with the contours extracted from the image. This allows a reduction of the drift during use in video mode.
  • the initialization step 12 can be fully automated if the number of visual bitter is sufficient to avoid having to place a test pattern.
  • the selection of the amers or patterns to be extracted can be carried out according to different criteria: the proximity of an object of interest identified in the virtual representation or the dimension of landmarks or landmarks, for example.
  • the initial position of the inertial unit is defined.
  • the step 13 of determining the displacement can be carried out in three sub-steps, 13-1, 13-2 and 13-3.
  • Step 13-1 of motion estimation by the inertial unit is a step of calculating the displacement between the initial position of the inertial unit defined in step 12 and the estimated position of the inertial unit after displacement of the device.
  • the step 13-2 for estimating the relative movement between the images captured at a given moment and the images captured at a later moment is an image processing step. More particularly, a recognition of semantic structures is performed in both images. By comparing the positions of these structures in the image, an estimate of the motion of the device can be determined.
  • the step 13-2 can be iterative and exploits the capabilities of the virtual representation, for example a texture rendering, a depth map, a map of normals.
  • the step is a pairing of the 3D primitives extracted from the renderings previously mentioned with 2D or 3D primitives extracted from the image acquired by the camera. The selection of visible 3D primitives is inherently managed and a model preparation step is avoided.
  • Step 13-3 of combining the motion estimates determined in steps 13-1 and 13-2 determines a displacement of the device.
  • an estimate of the position using the correlation of step 12 is combined with the motion estimates to determine the position of the device at a later time.
  • a level of confidence can be assigned to each estimate.
  • the determination of the displacement is preferably carried out by weighting the estimates by the corresponding confidence levels. The process is therefore more robust and precise. For example, when the image is fuzzy, the confidence level assigned to the correlation position estimate is low.
  • the step 13 of attenuation of the displacement determined in step 13-3 is configured to attenuate the impression of floating between the virtual representation and the captured images.
  • Step 14 may be a filtering of the rotation and translation data from the inertial unit. For example, motion estimation by the inertial unit is filtered to minimize the impact of vibrations or small movements due to the user. Depending on the selection mode of the semantic structures, the small movements can be attenuated while maintaining an alignment on the points of interest of the image.
  • the step 15 of modifying the position of the device in the virtual representation as a function of the determined displacement is configured to precisely update the position of the device according to the displacement determined in step 13-3 and attenuated in step 14.
  • This information is saved in the virtual representation and can be used for future use.
  • This information can be edited to reflect an evolution of a local situation for example, such as the correction of a non-compliance, for example.
  • the editing step can also be a user control of the local alignment.
  • This control is preferably performed by means of the superposition display defined above.
  • the position of the virtual representation is transparent and the alignment is performed from a still image.
  • the operator can move a point position in 3D without calling into question the global alignment.
  • the user can precisely align the real on the virtual with a zoom centered on the point to align.
  • the process 10 is carried out by means of a device 20.
  • a camera 205 captures an image 210 and an image 215 subsequent to the image 210.
  • the images 210 and 215 represent a real environment.
  • the image 210 is transmitted to a device 225.
  • the device 225 also takes into account a virtual representation 220 of the real environment.
  • the device 225 extracts discriminant semantic structures from the virtual representation and the captured image and performs a correlation configured to obtain a location 230 of the device in the repository of the digital representation according to step 12 of the method 10.
  • the device 225 is a microprocessor, for example.
  • the image 210 is also transmitted with the image 215 to a device 235.
  • the device 235 extracts the discriminant semantic structures of the two images and compares them to deduce an estimate of the motion that the device 20 has made between the instant when the image 210 was captured and the subsequent instant when image 215 was captured.
  • the device 235 is for example a microprocessor which performs the estimation according to step 13-2 of the method 10.
  • the information 240 is the estimation of the movement of the device 20 at the output of the device 235.
  • An inertial unit 245 is initialized when the image 210 is sensed.
  • the inertial unit provides motion estimation information 250 to a device 255 in accordance with step 13-1 of method 10.
  • the device 255 may be a microprocessor.
  • the device 255 takes into account the information 230 of initial location of the device 20 and, according to the motion estimates 240 and 250, transmits a signal 260 corresponding to the new position of the device 20 in the virtual representation.
  • the device 255 performs the steps 13-3, 14 and 15 of the method 10.
  • a device 270 is a display device.
  • the device 270 jointly displays the image 215 and the virtual representation 220 at the position 260 corresponding to the image 215.
  • the device 270 can also take into account information 265 that must be edited on the virtual representation.
  • the information 275 at the output of the device 270 is the edited virtual representation.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Processing Or Creating Images (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)
  • Navigation (AREA)

Description

    DOMAINE DE L'INVENTION
  • La présente invention vise un procédé de traitement d'informations locales, un dispositif de mise en oeuvre d'un tel procédé et un terminal portable communiquant comportant un tel dispositif. L'invention s'applique notamment dans le domaine de l'assistance au contrôle industriel. Plus particulièrement, l'invention s'applique à l'assemblage, la maintenance ou l'installation par réalité mixte ou augmentée ainsi qu'à l'aide à la formation.
    • ÉTAT DE LA TECHNIQUE
  • La réalité augmentée en milieu industriel exige une très grande robustesse des procédés de localisation. Actuellement, l'estimation de la position du dispositif utilisé est effectuée à l'aide de marqueurs. Cette technique permet d'avoir une certaine robustesse seulement lorsqu'un marqueur est visible. En outre, le dispositif repéré est localisé dans le référentiel du marqueur.
  • De plus, il existe peu de dispositifs permettant une localisation sans utilisation de marqueur. Pour avoir une localisation du dispositif robuste, les procédés existants nécessitent une étape de calibration longue et peu intuitive. Cette étape de calibration ne permet pas d'utilisation rapide du dispositif et nécessite une certaine qualification des utilisateurs.
  • Par ailleurs, certaines techniques de positionnement reconstruisent en temps réel l'environnement, le SLAM (ou « Simultaneous Localization And Mapping » en terminologie anglo-saxonne) par exemple. On a donc une localisation par rapport à un environnement reconstruit. Ceci présente plusieurs inconvénients. Tout d'abord, il n'est pas possible de détecter de différences entre ce qui a été construit et ce qui a été dessiné. De plus, l'environnement reconstruit peut comporter des erreurs de détection d'éléments par exemple. Ainsi, cette technique manque de fiabilité surtout dans le domaine de la maintenance ou lorsque l'on souhaite une grande précision.
  • Les dispositifs utilisant la réalité augmentée sont, le plus souvent, des dispositifs permettant l'affichage d'informations en superposition sur une image ou vidéo.
  • On connaît dans l'état de la technique la demande de brevet européen EP 2201532 qui décrit un dispositif de positionnement local configuré pour déterminer la position relative du dispositif par rapport à un objet cible. Le dispositif est monté sur une rotule pilotée et graduée fixée sur un trépied. La rotule permet de déterminer l'azimut et l'angle d'élévation qui doivent être entrés manuellement afin de définir la position du dispositif. Ce dispositif est donc difficile à positionner et à déplacer en milieu industriel.
  • L'article De G. Klein et T. Drummond "Tighlty intergrated sensor fusion for robust visual tracking" décrit un procédé de suivi d'objet basé sur la corrélation d'images acquises avec une représentation virtuelle de l'objet et de données inertielles. Le résultat du suivi est ensuite utilisé dans une application de réalité augmentée dans laquelle l'image captée et une partie de la représentation virtuelle sont affichées conjointement.
    • OBJET DE L'INVENTION
  • La présente invention vise à remédier à tout ou partie de ces inconvénients. A cet effet, selon un premier aspect, la présente invention vise un procédé tel que décrit dans la revendication 1.
  • L'utilisation d'un environnement virtuel réalisé a priori permet de localiser le dispositif dans le repère de la représentation virtuelle. Contrairement à une reconstruction, la représentation permet de détecter les éléments manquants sur les éléments de l'environnement réel. Les informations analysées ont une plus grande fiabilité. L'environnement virtuel peut aussi être modifié en fonction des observations faites sur l'environnement réel.
  • L'étape de corrélation peut être effectuée à partir d'une analyse d'image ne nécessitant pas d'objet cible. En outre, le dispositif effectuant le procédé de l'invention n'est pas fixe et est facilement déplaçable en milieu industriel.
  • Dans des modes de réalisation, l'étape de détermination du déplacement comporte les étapes suivantes:
    • estimation d'un mouvement par la centrale inertielle,
    • estimation d'un mouvement relatif entre les images captées à un instant et les images captées à un instant ultérieur et
    • combinaison des estimations de mouvement.
  • Ces modes de réalisation présentent l'avantage d'avoir une position la plus précise possible. L'estimation du mouvement relatif entre deux images captées ainsi que l'estimation du mouvement de la centrale inertielle minimisent une erreur d'estimation de la position. Effectivement, les environnements industriels pouvant être visuellement ambigus, la détermination de la localisation par corrélation peut produire des erreurs entre deux situations similaires. L'estimation des deux autres mouvements permet d'éviter des changements brusques de localisation. Le procédé est donc plus robuste.
  • Dans des modes de réalisation, au cours de l'étape de localisation du dispositif, la corrélation est effectuée par reconnaissance dans au moins une image captée de structures sémantiques discriminantes prédéfinies dans la représentation virtuelle.
  • Cette reconnaissance a l'avantage d'accroître la robustesse du procédé. En effet, plus il y a de structures sémantiques discriminantes dans l'image captée, plus le procédé est précis.
  • Dans des modes de réalisation, le procédé objet de la présente invention, comporte une étape d'atténuation du déplacement déterminé au cours de l'étape de détermination du déplacement.
  • Ces modes de réalisation ont l'avantage d'avoir une localisation précise en cas de perte momentanée de l'image ou si l'image est inexploitable. L'utilisateur ne doit pas attendre de stabiliser le dispositif pour connaître sa position par rapport au référentiel de la représentation virtuelle. L'utilisateur est donc plus efficace. Aussi, cela permet d'atténuer les micromouvements que peut subir le dispositif. Le procédé objet de la présente invention, comporte une étape d'affichage conjoint d'une image captée et d'une partie de la représentation virtuelle correspondant à l'image captée affichée.
  • L'avantage de ces modes de réalisation est une meilleure visualisation des différences entre la représentation virtuelle et l'environnement réel. L'utilisateur est donc plus efficace. Le procédé objet de la présente invention, comporte une étape d'édition d'informations localisées sur la représentation virtuelle.
  • L'avantage de ces modes de réalisation est d'avoir des informations précisément localisées. De plus, les informations étant enregistrées sur la représentation virtuelle, elles sont aisément transférées et accessibles. Les informations enregistrées lors d'utilisations précédentes du dispositif sont accessibles et modifiable.
  • Selon un deuxième aspect, la présente invention vise un dispositif tel que décrit dans la revendication 7.
  • Les avantages, buts et caractéristiques particuliers du dispositif objet de la présente invention étant similaires à ceux du procédé objet de la présente invention, ils ne sont pas rappelés ici.
  • Dans des modes de réalisation, le dispositif objet de la présente invention, comporte un moyen d'affichage configuré pour afficher conjointement une image captée et une partie de la représentation virtuelle correspondant à l'image captée affichée.
  • Ces modes de réalisation présentent l'avantage de comparer l'environnement réel à la représentation virtuelle afin de détecter des anomalies.
  • Dans des modes de réalisation, le dispositif objet de la présente invention, comporte un moyen d'édition d'informations localisées sur la représentation virtuelle.
  • L'avantage de ces modes de réalisation est la possibilité de création et de modification d'annotations précisément localisées directement sur la représentation virtuelle.
  • Selon un troisième aspect, la présente invention vise un terminal portable communiquant comportant un dispositif objet de la présente invention.
  • Grâce à ces dispositions, l'invention est compacte et aisément transportable dans les milieux industriels, qui sont souvent difficiles d'accès.
    • BRÈVE DESCRIPTION DES FIGURES
  • D'autres avantages, buts et caractéristiques de l'invention ressortiront de la description non-limitative qui suit d'au moins un mode de réalisation particulier du procédé et du dispositif de traitement d'informations locales, et du terminal portable communiquant comportant un tel dispositif, en regard des dessins annexés, dans lesquels :
    • la figure 1 représente, sous forme de logigramme, un mode de réalisation du procédé objet de la présente invention,
    • la figure 2 représente, schématiquement, un mode de réalisation du dispositif objet de la présente invention.
    • la figure 3 représente, schématiquement, un mode de réalisation du terminal portable communiquant objet de la présente invention.
    DESCRIPTION D'EXEMPLES DE REALISATION DE L'INVENTION
  • On note, dès à présent, que les figures ne sont pas à l'échelle.
  • On observe sur la figure 1, un mode de réalisation particulier du procédé 10, objet de la présente invention, qui comporte :
    • une étape 11 de capture d'images représentatives de l'environnement réel,
    • une étape 12 de localisation d'un dispositif dans une maquette virtuelle correspondant à la localisation du dispositif dans l'environnement réel,
    • une étape 13 de détermination du déplacement du dispositif comportant trois sous-étapes :
      • une étape 13-1 d'estimation du mouvement par la centrale inertielle,
      • une étape 13-2 d'estimation du mouvement relatif entre les images captées à un instant et les images captées à un instant ultérieur,
      • une étape 13-3 de combinaison des estimations de mouvements déterminées aux étapes 13-1 et 13-2 déterminant un déplacement du dispositif,
    • une étape 14 d'atténuation du déplacement déterminé,
    • une étape 15 de modification de la position du dispositif dans la représentation virtuelle en fonction du déplacement déterminé,
    • une étape 16 d'affichage conjoint d'images captées et d'une partie de la représentation virtuelle correspondant à l'image captée affichée et
    • une étape 17 d'édition d'informations localisées sur la représentation virtuelle.
  • L'étape 11 est effectuée au moyen d'un dispositif de capture d'images. Le dispositif de capture d'images est, par exemple, une caméra, un appareil photo ou un scanner. Dans la suite de la description, « caméra » désigne un dispositif de capture d'images. La caméra peut être de type monoculaire, stéréoscopique, RGB-D ou plénoptique. La caméra effectuant la capture d'images à l'étape 11 peut être utilisée selon deux modes :
    • le mode vidéo permettant une prise de vue en continu et
    • le mode image fixe configuré pour l'analyse plus approfondie de certains plans, lorsque la prise de vue est difficile par exemple.
  • Le mode vidéo peut inclure une sous-étape de traitement de la qualité d'une image par stabilisation, débruitage, et super-résolution. Cette étape est utilisée lors de vues locales détaillées par exemple.
  • Le mode image fixe se différencie du mode vidéo par l'absence de contrainte temporelle. L'image peut être de meilleure qualité et il est possible de mettre en oeuvre une stratégie de localisation globale en optimisant la localisation de l'ensemble des images. Par exemple, en prenant en compte la connaissance de certaines caractéristiques de la prise de vue, tels les caractéristiques de panoramas par exemple.
  • L'étape 12 est une étape de calibration. Lors de sa création, des structures sémantiques discriminantes sont désignées dans la représentation virtuelle. La représentation virtuelle peut être une maquette numérique aussi appelée « Digital MockUp » en terminologie anglo-saxonne ou DMU. La maquette numérique est préférentiellement réalisée au moyen de logiciels de conception assistée par ordinateur (CAO). La représentation virtuelle peut inclure : des informations d'assemblage ou d'inspection, des tests et mesures, des annotations, des éléments à contrôler, des non-conformités. Les informations peuvent être de différents types :
    • texte tels des métadonnées associées aux objets de la scène par exemple,
    • image,
    • géométrie,
    • vidéo ou,
    • scan 3D qui peut être acquis sur les objets de la scène lors d'une utilisation antérieure.
  • Préférentiellement, la représentation virtuelle est une simplification de la maquette numérique brute, réalisée lors de la conception de l'objet représenté. La maquette numérique brute est filtrée et organisée afin de :
    • sélectionner les objets pertinents pour la tâche à réaliser,
    • extraire des métadonnées à afficher ou éditer,
    • organiser des données de simplification des géométries et
    • définir les structures sémantiques discriminantes par un procédé d'analyse automatique des structures géométriques présentes dans la maquette numérique.
  • Préférentiellement, ces structures sémantiques discriminantes :
    • minimisent l'ambiguïté naturelle de la scène,
    • maximisent leur probabilité de détection,
    • prennent éventuellement en compte des structures de référence.
  • Les structures sémantiques discriminantes prennent en compte des structures de références lorsque les contraintes de tolérance l'imposent. Dans ce cas, les structures sémantiques discriminantes sont sélectionnées exclusivement sur les éléments de référence.
  • Les structures sémantiques discriminantes sont préférentiellement des structures géométriques de type points, lignes, cercles, ellipses, surfaces, volumes paramétrés, des éléments riches en texture, ou des contours.
  • Les structures sémantiques discriminantes peuvent être :
    • des amers visuels multimodaux et non-ambigus,
    • des mires de calibration facilement détectables.
  • Le terme multimodal signifie qu'ils correspondent à des primitives extraites des différentes images disponibles, quelle qu'en soit la nature. La non-ambiguité est définie comme correspondant à des configurations ou des descriptions uniques dans un voisinage proche.
  • Les amers visuels permettent une calibration sans intervention d'utilisateur. Les mires de calibration nécessitent l'intervention d'un utilisateur qui doit localiser la mire approximativement dans la représentation virtuelle. La mire peut être positionnée sur une surface pour définir une normale à la surface. L'utilisateur peut reproduire la normalité et le positionnement rapidement dans la représentation virtuelle.
  • De plus, un ajout ultérieur de mires localisées automatiquement sur la représentation numérique permet d'accroitre encore la robustesse du procédé et la précision de la position du dispositif dans la représentation numérique. La localisation est automatique lorsque que la nouvelle mire positionnée est captée par la caméra dans une image comportant au moins une structure sémantique déjà référencée.
  • Après la localisation de la première mire, une corrélation entre les systèmes sémantiques discriminants des images captées et ceux de la représentation virtuelle est effectuée
  • Préférentiellement, la corrélation est effectuée à partir des contours extraits de la représentation virtuelle qui sont ensuite alignés aux contours extraits de l'image. Ceci permet une réduction de la dérive lors d'une utilisation en mode vidéo.
  • L'étape 12 d'initialisation peut être totalement automatisée si le nombre d'amers visuels est suffisant pour ne pas avoir à placer une mire. De plus, la sélection des amers ou mires à extraire peut être effectuée selon différents critères : la proximité d'un objet d'intérêt repéré dans la représentation virtuelle ou la dimension des amers ou des mires, par exemple.
  • Lors de l'étape 12 de localisation, la position initiale de la centrale inertielle est définie.
  • L'étape 13 de détermination du déplacement peut être effectuée en trois sous-étapes, 13-1, 13-2 et 13-3.
  • L'étape 13-1 d'estimation du mouvement par la centrale inertielle, est une étape de calcul du déplacement entre la position initiale de la centrale inertielle définie à l'étape 12 et la position estimée de la centrale inertielle après déplacement du dispositif.
  • L'étape 13-2 d'estimation du mouvement relatif entre les images captées à un instant et les images captées à un instant ultérieur, est une étape de traitement d'image. Plus particulièrement, une reconnaissance des structures sémantiques est effectuée dans les deux images. En comparant les positions de ces structures dans l'image, on peut déterminer une estimation du mouvement du dispositif.
  • L'étape 13-2 peut être itérative et exploite les capacités de la représentation virtuelle, par exemple un rendu de texture, une carte de profondeurs, une carte des normales. Préférentiellement, l'étape est un appariement des primitives 3D extraites des rendus précédemment cités à des primitives 2D ou 3D extraites de l'image acquise par la caméra. La sélection des primitives 3D visibles est gérée de manière intrinsèque et une étape de préparation de modèle est évitée.
  • L'étape 13-3 de combinaison des estimations de mouvements déterminées aux étapes 13-1 et 13-2 détermine un déplacement du dispositif. Préférentiellement, une estimation de la position utilisant la corrélation de l'étape 12 est combinée aux estimations de mouvement pour déterminer la position du dispositif à un instant ultérieur.
  • Un niveau de confiance peut être attribué à chaque estimation. La détermination du déplacement est préférentiellement effectuée par pondération des estimations par les niveaux de confiance correspondant. Le procédé est donc plus robuste et précis. Par exemple, lorsque l'image est floue, le niveau de confiance attribué à l'estimation de la position par corrélation est faible.
  • L'étape 13-3 est configurée pour :
    • limiter l'effort de recalage en réduisant le nombre d'amers de référence, et donc le nombre de primitives définies à l'étape 13-2,
    • accroître la robustesse du ré-accrochage en cas de perte momentanée du recalage visuel si la caméra est masquée par exemple.
  • L'étape 14 d'atténuation du déplacement déterminé à l'étape 13-3 est configurée pour atténuer l'impression de flottement entre la représentation virtuelle et les images captées. L'étape 14 peut être un filtrage des données de rotation et de translation issues de la centrale inertielle. Par exemple, l'estimation du mouvement par la centrale inertielle est filtrée pour minimiser l'impact des vibrations ou petits mouvements dus à l'utilisateur. Selon le mode de sélection des structures sémantiques, les petits mouvements peuvent être atténués tout en conservant un alignement sur les points d'intérêt de l'image.
  • L'étape 15 de modification de la position du dispositif dans la représentation virtuelle en fonction du déplacement déterminé, est configurée pour actualiser précisément la position du dispositif en fonction du déplacement déterminé à l'étape 13-3 et atténué à l'étape 14.
  • L'étape 16, d'affichage conjoint d'images captées et d'une partie de la représentation virtuelle correspondant à l'image captée affichée, utilise la position et l'orientation du dispositif, modifiée à l'étape 15 et localisée dans le référentiel de la représentation virtuelle, pour définir la partie de la représentation virtuelle à afficher. L'affichage conjoint peut être un affichage en :
    • juxtaposition, dans lequel les images sont placées l'une à côté de l'autre, afin de permettre une comparaison par exemple ou,
    • en superposition dans lequel la représentation virtuelle est en transparence, afin d'avoir l'affichage des informations ajoutées à la maquette numérique brute et liées au processus industriel.
  • L'affichage peut être :
    • en vue globale qui est une vue en champ large afin d'avoir une vision globale de la scène à analyser,
    • en vue locale qui est une vue détaillée ou un zoom d'une partie d'une vue globale, la vue locale étant indiquée dans une vue globale.
  • L'étape 17 d'édition d'informations localisées sur la représentation virtuelle est effectuée à partir de l'affichage des informations réalisé à l'étape 16. Des informations précisément localisées peuvent être associées automatiquement ou manuellement à la représentation virtuelle. Ces informations sont par exemple fournies par :
    • l'opérateur, tel une indication de non-conformité dans l'environnement réel par exemple,
    • la camera, tel une photo, une vidéo, ou un scan 3D par exemple,
    • un dispositif externe permettant par exemple une mesure de pression, de température, de niveau d'éclairement.
  • Ces informations sont enregistrées dans la représentation virtuelle et peuvent servir pour une utilisation ultérieure. Ces informations peuvent être éditées pour rendre compte d'une évolution d'une situation locale par exemple, telle la correction d'une non-conformité, par exemple.
  • L'étape d'édition peut aussi être un contrôle par l'utilisateur de l'alignement local. Ce contrôle est préférentiellement effectué au moyen de l'affichage en superposition défini précédemment. Préférentiellement, la position de la représentation virtuelle est transparente et l'alignement est effectué à partir d'une image fixe. L'opérateur peut déplacer une position ponctuelle en 3D sans remettre en cause l'alignement global. L'utilisateur peut aligner précisément le réel sur le virtuel grâce à un zoom centré sur le point à aligner.
  • Le procédé 10 est effectué au moyen d'un dispositif 20.
  • On observe sur la figure 2, un mode de réalisation particulier du dispositif 20, objet de la présente invention.
  • Une caméra 205 capte une image 210 et une image 215 ultérieure à l'image 210. Les images 210 et 215 représentent un environnement réel. L'image 210 est transmise à un dispositif 225. Le dispositif 225 prend aussi en compte une représentation virtuelle 220 de l'environnement réel. Le dispositif 225 extrait des structures sémantiques discriminantes de la représentation virtuelle et de l'image capturée et effectue une corrélation configurée pour obtenir une localisation 230 du dispositif dans le référentiel de la représentation numérique selon l'étape 12 du procédé 10. Le dispositif 225 est un microprocesseur, par exemple.
  • L'image 210 est aussi transmise avec l'image 215 à un dispositif 235. Le dispositif 235 extrait les structures sémantiques discriminantes des deux images et les compare pour en déduire une estimation du mouvement que le dispositif 20 a effectué entre l'instant où l'image 210 a été captée et l'instant ultérieur où l'image 215 a été captée. Le dispositif 235 est par exemple un microprocesseur qui effectue l'estimation selon l'étape 13-2 du procédé 10. L'information 240 est l'estimation du mouvement du dispositif 20 en sortie du dispositif 235.
  • Une centrale inertielle 245 est initialisée lorsque l'image 210 est captée. La centrale inertielle donne une information 250 d'estimation de mouvement à un dispositif 255 conformément à l'étape 13-1 du procédé 10.
  • Le dispositif 255 peut être un microprocesseur. Le dispositif 255 prend en compte l'information 230 de localisation initiale du dispositif 20 et, en fonction des estimations de mouvement 240 et 250, transmet un signal 260 correspondant à la nouvelle position du dispositif 20 dans la représentation virtuelle. Le dispositif 255 réalise les étapes 13-3, 14 et 15 du procédé 10.
  • Un dispositif 270 est un dispositif d'affichage. Le dispositif 270 affiche conjointement l'image 215 et la représentation virtuelle 220 à la position 260 correspondant à l'image 215. Le dispositif 270 peut aussi prendre en compte une information 265 qui doit être éditée sur la représentation virtuelle. L'information 275 en sortie du dispositif 270 est la représentation virtuelle éditée.
  • On observe sur la figure 3, un mode de réalisation particulier du terminal portable communiquant 30, objet de la présente invention.
  • Le terminal portable communiquant 30 comporte un écran d'affichage 270 relié au reste du dispositif 20. Le terminal portable communiquant 30 est préférentiellement :
    • une tablette numérique,
    • un dispositif de type « smartphone »,
    • des lunettes,
    • un casque ou,
    • un ordinateur.

Claims (9)

  1. Procédé (10) de traitement d'informations locales acquises au moyen d'une représentation virtuelle (220) et d'un dispositif (20) comportant une centrale inertielle (245) et un capteur d'images (205), le procédé comportant les étapes suivantes:
    - capture (11) d'au moins une image (210) d'un environnement réel du dispositif,
    - localisation (12) du dispositif dans la représentation virtuelle, correspondant à la localisation du dispositif dans l'environnement réel, par corrélation de parties d'une image captée et de parties de la représentation virtuelle, la corrélation étant effectuée par reconnaissance automatique dans au moins une image captée (210) d'amers visuels, multimodaux et non-ambigus, prédéfinis dans la représentation virtuelle (220),
    - détermination (13) du déplacement du dispositif au moins au moyen de la centrale inertielle et
    - modification (15) de la localisation du dispositif dans la représentation virtuelle en fonction du déplacement déterminé par la centrale inertielle pour que la position réelle du dispositif corresponde, pendant le déplacement, à la localisation du dispositif dans la représentation virtuelle,
    - affichage (16) conjoint d'au moins une image captée (210) et d'une partie de la représentation virtuelle (220) correspondant à l'image captée affichée, caractérisé en ce qu'il comporte
    - modification de la représentation virtuelle (220) par édition (17) d'informations localisées (265) provenant d'un dispositif externe fournissant une mesure de pression, de température, de niveau d'éclairement, sur la représentation virtuelle (220).
  2. Procédé (10) de traitement d'informations locales selon la revendication 1, dans lequel, l'étape (13) de détermination du déplacement comporte les étapes suivantes :
    - estimation (13-1) d'un mouvement par la centrale inertielle,
    - estimation (13-2) d'un mouvement relatif entre les images captées à un instant et les images captées à un instant ultérieur et
    - combinaison (13-3) des estimations de mouvement.
  3. Procédé de traitement d'informations locales selon l'une des revendications 1 ou 2, qui comporte une étape (14) d'atténuation du déplacement déterminé au cours de l'étape (13) de détermination du déplacement.
  4. Procédé de traitement d'informations locales selon l'une des revendications 1 à 3, dans lequel l'étape d'affichage (16) est un affichage en superposition.
  5. Procédé de traitement d'informations locales selon la revendication 4, dans lequel l'affichage de la représentation virtuelle (220) est effectué en transparence.
  6. Procédé de traitement d'informations locales selon l'une quelconque des revendications 1 à 5, comportant une étape d'enregistrement des informations localisées (265) dans la représentation virtuelle (220) pour rendre compte d'une évolution d'une situation locale, telle la correction d'une non-conformité.
  7. Dispositif (20) de traitement d'informations locales qui comporte :
    - un capteur d'images (205), qui fournit au moins une image (210) de l'environnement réel du dispositif,
    - un moyen d'accès à une représentation virtuelle (220),
    - un moyen de localisation (225) du dispositif dans la représentation virtuelle, correspondant à la localisation du dispositif dans l'environnement réel, par corrélation de parties d'une image captée et de parties de la représentation virtuelle, la corrélation étant effectuée par reconnaissance automatique dans au moins une image captée (210) d'amers visuels, multimodaux et non-ambigus, prédéfinis dans la représentation virtuelle (220),
    - une centrale inertielle (245) qui détermine un déplacement (250) du dispositif et,
    - un moyen de modification (255) de la localisation du dispositif dans la représentation virtuelle en fonction du déplacement déterminé par la centrale inertielle pour que la position réelle du dispositif corresponde, pendant le déplacement, à la localisation du dispositif dans la représentation virtuelle,
    - un moyen d'affichage (270) configuré pour afficher conjointement une image captée (210) et une partie de la représentation virtuelle (220) correspondant à l'image captée affichée,
    caractérisé en ce qu'il comporte :
    - un moyen de modification de la représentation virtuelle (220) par édition d'informations localisées (265) provenant d'un dispositif externe fournissant une mesure de pression, de température, de niveau d'éclairement, sur la représentation virtuelle (220).
  8. Dispositif (20) de traitement d'informations locales selon la revendication 7, comportant un moyen d'enregistrement des informations localisées (265) dans la représentation virtuelle (220) pour rendre compte d'une évolution d'une situation locale, telle la correction d'une non conformité.
  9. Terminal portable communiquant (30) caractérisé en ce qu'il comporte un dispositif (20) selon l'une des revendications 7 à 8.
EP15167278.9A 2014-05-21 2015-05-12 Procédé de traitement d'informations locales Active EP2947628B1 (fr)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
FR1454556A FR3021442B1 (fr) 2014-05-21 2014-05-21 Procede de traitement d'informations locales

Publications (2)

Publication Number Publication Date
EP2947628A1 EP2947628A1 (fr) 2015-11-25
EP2947628B1 true EP2947628B1 (fr) 2018-04-25

Family

ID=51610212

Family Applications (1)

Application Number Title Priority Date Filing Date
EP15167278.9A Active EP2947628B1 (fr) 2014-05-21 2015-05-12 Procédé de traitement d'informations locales

Country Status (9)

Country Link
US (1) US9940716B2 (fr)
EP (1) EP2947628B1 (fr)
JP (1) JP6516558B2 (fr)
CN (1) CN105091817B (fr)
BR (1) BR102015011234A2 (fr)
CA (1) CA2891159A1 (fr)
FR (1) FR3021442B1 (fr)
RU (1) RU2015119032A (fr)
SG (1) SG10201503996XA (fr)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3022065B1 (fr) * 2014-06-04 2017-10-13 European Aeronautic Defence & Space Co Eads France Procede de generation d'une maquette numerique enrichie
WO2018027206A1 (fr) 2016-08-04 2018-02-08 Reification Inc. Procédés de localisation et cartographie simultanés (slam) et appareil et systèmes associés
WO2018110432A1 (fr) 2016-12-15 2018-06-21 株式会社ソニー・インタラクティブエンタテインメント Système de traitement d'informations, dispositif de commande, procédé et programme de commande de dispositif de commande
JP6634528B2 (ja) 2016-12-15 2020-01-22 株式会社ソニー・インタラクティブエンタテインメント 振動デバイス、及び制御システム
US10963054B2 (en) 2016-12-15 2021-03-30 Sony Interactive Entertainment Inc. Information processing system, vibration control method and program
WO2018193514A1 (fr) 2017-04-18 2018-10-25 株式会社ソニー・インタラクティブエンタテインメント Dispositif de commande de vibration
US11145172B2 (en) 2017-04-18 2021-10-12 Sony Interactive Entertainment Inc. Vibration control apparatus
WO2018193557A1 (fr) 2017-04-19 2018-10-25 株式会社ソニー・インタラクティブエンタテインメント Dispositif de régulation d'une vibration
WO2018198229A1 (fr) 2017-04-26 2018-11-01 株式会社ソニー・インタラクティブエンタテインメント Dispositif de commande de vibration
JP6771435B2 (ja) * 2017-07-20 2020-10-21 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および位置情報取得方法
CN115033444B (zh) * 2022-08-10 2022-11-15 合肥健天电子有限公司 基于8051core在线调试电路控制装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7627447B2 (en) * 2007-01-23 2009-12-01 The Boeing Company Method and apparatus for localizing and mapping the position of a set of points on a digital model
US8044991B2 (en) * 2007-09-28 2011-10-25 The Boeing Company Local positioning system and method
JP5434608B2 (ja) * 2010-01-08 2014-03-05 トヨタ自動車株式会社 測位装置及び測位方法
GB201002973D0 (en) * 2010-02-23 2010-04-07 Airbus Operations Ltd Recording the location of a point of interest on an object
US9600933B2 (en) * 2011-07-01 2017-03-21 Intel Corporation Mobile augmented reality system
JP5867176B2 (ja) * 2012-03-06 2016-02-24 日産自動車株式会社 移動物***置姿勢推定装置及び方法
CN104662435A (zh) * 2012-09-27 2015-05-27 Metaio有限公司 确定与用于捕获至少一个图像的捕获装置关联的装置的位置和方向的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
None *

Also Published As

Publication number Publication date
CN105091817B (zh) 2019-07-12
EP2947628A1 (fr) 2015-11-25
US20150339819A1 (en) 2015-11-26
CN105091817A (zh) 2015-11-25
FR3021442B1 (fr) 2018-01-12
FR3021442A1 (fr) 2015-11-27
BR102015011234A2 (pt) 2016-08-09
RU2015119032A (ru) 2016-12-10
US9940716B2 (en) 2018-04-10
JP6516558B2 (ja) 2019-05-22
JP2015228215A (ja) 2015-12-17
SG10201503996XA (en) 2015-12-30
CA2891159A1 (fr) 2015-11-21

Similar Documents

Publication Publication Date Title
EP2947628B1 (fr) Procédé de traitement d'informations locales
US11393173B2 (en) Mobile augmented reality system
US11003943B2 (en) Systems and methods for processing images with edge detection and snap-to feature
US10242454B2 (en) System for depth data filtering based on amplitude energy values
EP2992507B1 (fr) Procédés pour faciliter une initialisation d'application de vision artificielle
WO2015180659A1 (fr) Procédé de traitement d'image et dispositif de traitement d'image
JP6580761B1 (ja) 偏光ステレオカメラによる深度取得装置及びその方法
WO2017041740A1 (fr) Procédés et systèmes destinés à la réalité virtuelle/réalité augmentée à champ lumineux sur des dispositifs mobiles
EP3048791B1 (fr) Procédé d'affichage d'au moins une fenêtre d'une scène tridimensionnelle, produit programme d'ordinateur et système d'affichage associés
KR101863647B1 (ko) 3d 맵들에 대한 가설 라인 맵핑 및 검증
US11978161B2 (en) 3D modelling method and system
Järvenpää Metrological characterization of a consumer grade flash LiDAR device
FR3013492A1 (fr) Procede utilisant des donnees de geometrie 3d pour une presentation et une commande d'image de realite virtuelle dans un espace 3d
Schreyvogel et al. Dense point cloud generation of urban scenes from nadir RGB images in a remote sensing system
TWI516744B (zh) 距離估算系統、距離估算方法及電腦可讀取媒體
Van Genechten ‘Creating Built Heritage Orthophotographs from Laser Scan
FR3090903A1 (fr) Procédé et dispositif de détection d’au moins une conduite d’au moins un réseau souterrain
FR3041747A1 (fr) Procede de visee collaborative
FR3018362A1 (fr) Procede et systeme d'aide a la localisation d'un element d'un systeme complexe, et methode et ensemble d'aide a la maintenance d'un systeme complexe

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

17P Request for examination filed

Effective date: 20160525

RBV Designated contracting states (corrected)

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

R17P Request for examination filed (corrected)

Effective date: 20160525

17Q First examination report despatched

Effective date: 20170602

REG Reference to a national code

Ref country code: DE

Ref legal event code: R079

Ref document number: 602015010299

Country of ref document: DE

Free format text: PREVIOUS MAIN CLASS: G06T0007000000

Ipc: G06T0007200000

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

RIC1 Information provided on ipc code assigned before grant

Ipc: G06T 7/20 20170101AFI20171222BHEP

INTG Intention to grant announced

Effective date: 20180124

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: AT

Ref legal event code: REF

Ref document number: 993665

Country of ref document: AT

Kind code of ref document: T

Effective date: 20180515

RAP2 Party data changed (patent owner data changed or rights of a patent transferred)

Owner name: AIRBUS (SAS)

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: FRENCH

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 4

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 602015010299

Country of ref document: DE

REG Reference to a national code

Ref country code: NL

Ref legal event code: MP

Effective date: 20180425

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG4D

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180425

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180425

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180425

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180425

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180725

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180425

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180725

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180425

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180726

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180425

Ref country code: RS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180425

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180425

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

REG Reference to a national code

Ref country code: AT

Ref legal event code: MK05

Ref document number: 993665

Country of ref document: AT

Kind code of ref document: T

Effective date: 20180425

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180827

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 602015010299

Country of ref document: DE

REG Reference to a national code

Ref country code: BE

Ref legal event code: MM

Effective date: 20180531

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180425

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180425

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180425

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180425

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180425

Ref country code: AT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180425

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180425

REG Reference to a national code

Ref country code: IE

Ref legal event code: MM4A

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SM

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180425

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20180531

Ref country code: IT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180425

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20180531

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20180512

26N No opposition filed

Effective date: 20190128

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20180512

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180425

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20180531

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180425

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180425

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180425

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180425

Ref country code: MK

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20180425

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO

Effective date: 20150512

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180825

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20230526

Year of fee payment: 9

Ref country code: DE

Payment date: 20230519

Year of fee payment: 9

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 20230524

Year of fee payment: 9