FR2889761A1 - Systeme permettant a un utilisateur de localiser une camera afin de pouvoir inserer, rapidement de maniere ajustee, des images d'elements virtuels dans des images video d'elements reels captees par la camera - Google Patents

Systeme permettant a un utilisateur de localiser une camera afin de pouvoir inserer, rapidement de maniere ajustee, des images d'elements virtuels dans des images video d'elements reels captees par la camera Download PDF

Info

Publication number
FR2889761A1
FR2889761A1 FR0552479A FR0552479A FR2889761A1 FR 2889761 A1 FR2889761 A1 FR 2889761A1 FR 0552479 A FR0552479 A FR 0552479A FR 0552479 A FR0552479 A FR 0552479A FR 2889761 A1 FR2889761 A1 FR 2889761A1
Authority
FR
France
Prior art keywords
camera
video
real
images
elements
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
FR0552479A
Other languages
English (en)
Other versions
FR2889761A3 (fr
Inventor
Valentin Lefevre
Marion Passama
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Total Immersion
Original Assignee
Total Immersion
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Total Immersion filed Critical Total Immersion
Priority to FR0552479A priority Critical patent/FR2889761A3/fr
Priority to JP2008525601A priority patent/JP4917603B2/ja
Priority to EP06794316A priority patent/EP1913556A2/fr
Priority to PCT/FR2006/001934 priority patent/WO2007017597A2/fr
Priority to US12/063,307 priority patent/US20100134601A1/en
Publication of FR2889761A1 publication Critical patent/FR2889761A1/fr
Publication of FR2889761A3 publication Critical patent/FR2889761A3/fr
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

L'invention concerne un système permettant à un utilisateur de localiser une caméra afin de pouvoir insérer des images d'éléments virtuels dans des images vidéo d'éléments réels captées par la caméra, caractérisé en ce qu'il comprend :- une caméra vidéo destinée à capter des images vidéo d'éléments réels,- un équipement informatique connecté à la caméra vidéo,- des premiers moyens de traitement informatique permettant d'afficher:- une zone de vidéo temps réel,- une zone d'images de synthèse,- des moyens de sélection, permettant de sélectionner des points clés dans la zone de vidéo temps réel et des points clés équivalents dans la zone d'images de synthèse,- des seconds moyens de traitement informatique destinés à apparier les points clés de la zone de vidéo temps réel et les points clés équivalents de la zone d'images de synthèse.

Description

Système permettant à un utilisateur de localiser une caméra afin de
pouvoir insérer, rapidement de manière ajustée, des images d'éléments virtuels dans des images vidéo d'éléments réels captées par la caméra Les technologies de réalité augmentée permettent de mixer, en temps réel, des images vidéo avec des images de synthèse.
Dans de nombreuses applications, l'utilisateur est confronté aux problèmes suivants: - Il possède une modélisation 3D qu'il souhaite placer précisément par rapport à un endroit réel filmé par la caméra.
- Une partie de la modélisation 3D correspond à des éléments déjà présents sur l'endroit réel (la modélisation 3D pouvant aussi contenir des éléments futurs non présents dans l'endroit réel).
- Il souhaite installer sa caméra ou bon lui semble pour trouver le meilleur point de vue.
- Il souhaite placer rapidement les éléments virtuels dans l'image vidéo.
La présente invention décrit un outil de localisation rapide qui résout les contraintes énoncées ci-dessus.
L'invention concerne un système permettant à un utilisateur de localiser une caméra afin de pouvoir insérer rapidement de manière ajustée des images d'éléments virtuels dans des images vidéo d'éléments réels captées par la caméra, caractérisé en ce qu'il comprend: - une caméra vidéo destinée à capter des images vidéo d'éléments réels, - un équipement informatique, connecté à la caméra vidéo, notamment via une liaison vidéo composite, SVideo, DV, SDI ou HD-SDI, comportant des moyens de visualisation, notamment un écran, - des premiers moyens de traitement informatique permettant d'afficher sur les moyens de visualisation: - une zone de vidéo temps réel, permettant à l'utilisateur de visualiser les images vidéo des éléments réels captés par la caméra vidéo, - une zone d'images de synthèse permettant à l'utilisateur de visualiser des images d'éléments virtuels issus d'une base de données d'éléments en trois dimensions, - des moyens de sélection, notamment une souris associée à l'équipement informatique, permettant à l'utilisateur de sélectionner des points clés dans la zone de vidéo temps réel et des points clés équivalents dans la zone d'images de synthèse, - des seconds moyens de traitement informatique destinés à apparier les points clés de la zone de vidéo temps réel et les points clés équivalents de la zone d'images de synthèse, - des moyens de calcul de la pose de la caméra vidéo par rapport aux éléments virtuels issus de la base de données d'éléments en trois dimensions, en fonction des points clés ainsi appariés, - des troisièmes moyens de traitement informatique destinés à afficher, en temps réel, des éléments virtuels superposés aux images vidéo captées par la une caméra vidéo.
Les applications concernées par la présente invention sont notamment les suivantes (liste non exhaustive) : - Dans le domaine de la construction / bâtiments: o Sur un chantier, vérifier l'état d'avancement des travaux, en superposant les travaux théoriques (mémorisé sous forme de base de données de synthèse) sur les travaux réels filmés par la caméra.
o Sur une maquette miniature réelle symbolisant le but à atteindre, ajouter une base de données de synthèse.
o Implantation d'usines: visualiser des travaux non encore réalisés dans une usine existante, pour tester la viabilité du projet.
- Dans le domaine automobile: o Calage d'un cockpit virtuel sur un cockpit réel.
o Calage d'un véhicule virtuel dans un environnement réel (exemple: showroom).
2889761 Description de l'outil
L'outil est composé des éléments suivants: - Une caméra: o Par exemple une caméra robotisée en pan / tilt /zoom, éventuellement posée sur un trépied (par exemple une caméra Sony EVI D100 ou Sony EVI D100P).
o Par exemple une caméra en plan fixe.
o Par exemple une caméra associée à un capteur de mouvement.
- Un ordinateur PC, éventuellement un PC portable pour une plus grande mobilité.
- La caméra est branchée au PC avec deux types de connexions: o Une connexion vidéo (par exemple: composite, SVideo, DV, SDI ou HD-SDI) o Si besoin une connexion série (par exemple pour l'envoi en temps réel des paramètres de pan /tilt/zoom de la caméra EVI D100 vers le PC).
- L'ordinateur est équipé du logiciel D'FUSION configuré spécifiquement pour l'outil de localisation.
Procédure de localisation de la caméra L'utilisateur emmène le système sur le lieu réel à observer.
Il est totalement libre de choisir le point de vue le plus pertinent . Il installe la caméra pan/tilt/zoom sur son trépied.
Localisation rapide de la caméra grâce à l'utilisation de traitements temps réels sur la vidéo, de rendu 3D temps réel et d'acquisitions de données en temps réel.
Cette procédure est indispensable pour obtenir un positionnement parfait des objets de synthèse sur la scène réelle.
Une fois que l'utilisateur a lancé le logiciel de localisation (D'FUSION configuré spécifiquement), une fenêtre apparaît, divisée en deux parties: - Une zone de vidéo temps réel, où l'on visualise l'image en provenance de la caméra.
- Une zone image de synthèse , qui affiche la base de données en 3 dimensions.
Point -:;. ;:;rtn -i, : iï.".;;a..ÈO; ; O.: p.:;, .,.
Zone video Zone synthèse Point r,; ,,,; Pour localiser la caméra, l'utilisateur associe des points clé virtuels (dans la zone synthèse ) à leur équivalent (Points clé réels) dans la zone vidéo . Ce processus doit être aussi précis et rapide que possible grâce aux fonctionnalités suivantes: Sélection des points clé réels dans la zone vidéo : - Dans le cas d'une caméra robotisée, on contrôle le mouvement de la caméra à la souris (pan / tilt contrôlé avec les axes X/Y de la souris, contrôle du zoom avec la molette de la souris).
- Dans le cas d'une caméra robotisée, on contrôle le zoom optique sur les points clé réels pour améliorer la précision (les points clés réels peuvent être sélectionnés à l'intérieur de l'image zoomée).
- Une fois sélectionné, un point clé réel reste affiché (avec son numéro d'index) dans l'image vidéo même si la caméra bouge en pan/tilt/zoom.
- L'utilisateur peut sélectionner N points clés dans la zone vidéo , qui resteront affichés en temps réel avec leur index 1 à N. Sélection des points clé virtuels dans la zone synthèse : -L'utilisateur peut facilement déplacer à la souris le point de vue de la caméra virtuelle pour obtenir rapidement un point de vue virtuel proche du point de vue de la caméra réelle (la position et l'orientation de la caméra virtuelle sont modifiables comme dans un modeleur standard).
- Une fois le point de vue fixé dans la zone synthèse , l'utilisateur peut sélectionner les N points clé virtuels, en cliquant avec la souris sur chaque point. Les points clés virtuels apparaissent avec leur index, et ils sont toujours bien placés, même si l'utilisateur change les paramètres de la caméra virtuelle.
- Grâce à l'algorithme de picking , chaque point clé virtuel sélectionné est associé à 3 coordonnées (X, Y, Z) dans le repère de la base de donnée de synthèse.
Calcul de la pose de la caméra réelle par rapport à la base de donnée de synthèse: Le logiciel possède en mémoire les informations suivantes: - Les N points clés réels dans l'image réelle.
- Les N points clés virtuels dans l'image virtuelle, avec pour chaque point clé virtuel ses coordonnées (X, Y, Z) dans le repère de la base de données virtuelle.
- Pour calculer la pose de la caméra, on utilise l'algorithme POSIT (voir httpi/w,,vw.cfar.umd.edu/ daniel/). Cet algorithme est déjà publié par Daniel DeMenthon, la publication a pour titre: D. DeMenthon and L.S. Davis, "Model-Based Object Pose in 25 Lines of Code", International Journal of Computer Vision, 15, pp. 123-141, June 1995 .
Affichage de la base de donnée de synthèse superposée sur la vidéo réelle: - Le mélange réel / virtuel est réalisé grâce: o Dé-distortion temps réel de l'image caméra.
o Utilisation de la pose caméra calculée grâce à la méthode décrite dans le présent document.
o Si besoin, la base de donnée peut être affichée en transparence sur la scène réelle grâce aux techniques de blending mises en oeuvre dans la technologie D'FUSION.
Avantages de la solution: - Facilement transportable (un PC portable et une camera).
- Peut fonctionner sur des maquettes ou à l'échelle 1.
- Peut fonctionner à l'intérieur ou à l'extérieur de batiments.
- Peut fonctionner à l'intérieur ou à l'extérieur de véhicules.
- Temps d'installation et de calcul de pose rapide grâce à l'interface décrite dans le présent document.
- Pas d'obligation d'utilisation de capteurs hardware.
- Les fonction pan/tilt/zoom de la caméra sont très utiles pour une utilisation dans des batiments: pour travailler à l'échelle 1 face à des buildings ou en intérieur de bâtiments (la plupart du temps, l'utilisateur ne dispose que de peu de recul, donc la scène réelle n'est vue que partiellement par la caméra).

Claims (1)

Revendication
1. Système permettant à un utilisateur de localiser une caméra afin de pouvoir insérer rapidement de manière ajustée des images d'éléments virtuels dans des images vidéo d'éléments réels captées par la caméra, caractérisé en ce qu'il comprend: - une caméra vidéo destinée à capter des images vidéo d'éléments réels, - un équipement informatique, connecté à la caméra vidéo, notamment via une liaison vidéo composite, SVideo, DV, SDI ou HD-SDI, comportant des moyens de visualisation, notamment un écran, des premiers moyens de traitement informatique permettant d'afficher sur les moyens de visualisation: - une zone de vidéo temps réel, permettant à l'utilisateur de visualiser les images vidéo des éléments réels captés par la caméra vidéo, - une zone d'images de synthèse permettant à l'utilisateur de visualiser des images d'éléments virtuels issus d'une base de données d'éléments en trois dimensions, - des moyens de sélection, notamment une souris associée à l'équipement informatique, permettant à l'utilisateur de sélectionner des points clés dans la zone de vidéo temps réel et des points clés équivalents dans la zone d'images de synthèse, des seconds moyens de traitement informatique destinés à apparier les points clés de la zone de vidéo temps réel et les points clés équivalents de la zone d'images de synthèse, - des moyens de calcul de la pose de la caméra vidéo par rapport aux éléments virtuels issus de la base de données d'éléments en trois dimensions, en fonction des points clés ainsi appariés, - des troisièmes moyens de traitement informatique destinés à afficher, en temps réel, des éléments virtuels superposés aux images vidéo captées par la une caméra vidéo.
FR0552479A 2005-08-09 2005-08-09 Systeme permettant a un utilisateur de localiser une camera afin de pouvoir inserer, rapidement de maniere ajustee, des images d'elements virtuels dans des images video d'elements reels captees par la camera Withdrawn FR2889761A3 (fr)

Priority Applications (5)

Application Number Priority Date Filing Date Title
FR0552479A FR2889761A3 (fr) 2005-08-09 2005-08-09 Systeme permettant a un utilisateur de localiser une camera afin de pouvoir inserer, rapidement de maniere ajustee, des images d'elements virtuels dans des images video d'elements reels captees par la camera
JP2008525601A JP4917603B2 (ja) 2005-08-09 2006-08-09 少なくとも１つの実在オブジェクトをモデル化した少なくとも１つの三次元仮想オブジェクトの基準デジタル化フレーム内におけるビデオキャプチャ手段の姿勢を判定する方法及び装置
EP06794316A EP1913556A2 (fr) 2005-08-09 2006-08-09 Procede et dispositif pour determiner la pose d'un moyen de capture video dans le repere de numerisation d'au moins un objet virtuel en trois dimensions modelisant au moins un objet reel
PCT/FR2006/001934 WO2007017597A2 (fr) 2005-08-09 2006-08-09 Procede et dispositif pour determiner la pose d'un moyen de capture video dans le repere de numerisation d'au moins un objet virtuel en trois dimensions modelisant au moins un objet reel
US12/063,307 US20100134601A1 (en) 2005-08-09 2006-08-09 Method and device for determining the pose of video capture means in the digitization frame of reference of at least one three-dimensional virtual object modelling at least one real object

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
FR0552479A FR2889761A3 (fr) 2005-08-09 2005-08-09 Systeme permettant a un utilisateur de localiser une camera afin de pouvoir inserer, rapidement de maniere ajustee, des images d'elements virtuels dans des images video d'elements reels captees par la camera

Publications (2)

Publication Number Publication Date
FR2889761A1 true FR2889761A1 (fr) 2007-02-16
FR2889761A3 FR2889761A3 (fr) 2007-02-16

Family

ID=37616907

Family Applications (1)

Application Number Title Priority Date Filing Date
FR0552479A Withdrawn FR2889761A3 (fr) 2005-08-09 2005-08-09 Systeme permettant a un utilisateur de localiser une camera afin de pouvoir inserer, rapidement de maniere ajustee, des images d'elements virtuels dans des images video d'elements reels captees par la camera

Country Status (5)

Country Link
US (1) US20100134601A1 (fr)
EP (1) EP1913556A2 (fr)
JP (1) JP4917603B2 (fr)
FR (1) FR2889761A3 (fr)
WO (1) WO2007017597A2 (fr)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8817045B2 (en) 2000-11-06 2014-08-26 Nant Holdings Ip, Llc Interactivity via mobile image recognition
EP2764899A3 (fr) 2005-08-29 2014-12-10 Nant Holdings IP, LLC Interactivité par reconnaisance mobile d'images
FR2911211B1 (fr) * 2007-01-05 2009-06-12 Total Immersion Sa Procede et dispositifs pour inserer en temps reel des objets virtuels dans un flux d'images a partir de donnees issues de la scene reelle representee par ces images
US8624962B2 (en) 2009-02-02 2014-01-07 Ydreams—Informatica, S.A. Ydreams Systems and methods for simulating three-dimensional virtual interactions from two-dimensional camera images
DE102009058802B4 (de) * 2009-12-18 2018-03-29 Airbus Operations Gmbh Anordnung zur kombinierten Darstellung eines realen und eines virtuellen Modells
KR20150008840A (ko) 2010-02-24 2015-01-23 아이피플렉 홀딩스 코포레이션 시각 장애인들을 지원하는 증강 현실 파노라마
JP5682060B2 (ja) * 2010-12-20 2015-03-11 国際航業株式会社 画像合成装置、画像合成プログラム、及び画像合成システム
US9436358B2 (en) * 2013-03-07 2016-09-06 Cyberlink Corp. Systems and methods for editing three-dimensional video
US10834305B2 (en) * 2016-04-11 2020-11-10 Spiideo Ab System and method for providing virtual pan-tilt-zoom, PTZ, video functionality to a plurality of users over a data network
US10719193B2 (en) 2016-04-20 2020-07-21 Microsoft Technology Licensing, Llc Augmenting search with three-dimensional representations
US10261747B2 (en) * 2016-09-09 2019-04-16 The Boeing Company Synchronized side-by-side display of live video and corresponding virtual environment images
US11633235B2 (en) 2017-07-31 2023-04-25 Children's National Medical Center Hybrid hardware and computer vision-based tracking system and method
FR3070085B1 (fr) * 2017-08-11 2019-08-23 Renault S.A.S. Procede d’etalonnage d’une camera d’un vehicule automobile
CN109089150B (zh) * 2018-09-26 2021-07-16 联想(北京)有限公司 图像处理方法及电子设备
US11263780B2 (en) * 2019-01-14 2022-03-01 Sony Group Corporation Apparatus, method, and program with verification of detected position information using additional physical characteristic points

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6191812B1 (en) * 1997-04-01 2001-02-20 Rt-Set Ltd. Method of providing background patterns for camera tracking
JP3415427B2 (ja) * 1998-02-25 2003-06-09 富士通株式会社 ロボットシミュレーションにおけるキャリブレーション装置
JPH11351826A (ja) * 1998-06-09 1999-12-24 Mitsubishi Electric Corp カメラ位置同定装置
JP3530772B2 (ja) * 1999-06-11 2004-05-24 キヤノン株式会社 複合現実感装置及び複合現実空間画像の生成方法
US6330356B1 (en) * 1999-09-29 2001-12-11 Rockwell Science Center Llc Dynamic visual registration of a 3-D object with a graphical model
JP3363861B2 (ja) * 2000-01-13 2003-01-08 キヤノン株式会社 複合現実感提示装置及び複合現実感提示方法並びに記憶媒体
JP4537557B2 (ja) * 2000-09-19 2010-09-01 オリンパス株式会社 情報呈示システム
WO2002029700A2 (fr) * 2000-10-05 2002-04-11 Siemens Corporate Research, Inc. Neurochirurgie guidee par imagerie peroperatoire permettant d'obtenir une visualisation enrichie de la realite
US20040104935A1 (en) * 2001-01-26 2004-06-03 Todd Williamson Virtual reality immersion system
NZ511444A (en) * 2001-05-01 2004-01-30 Deep Video Imaging Ltd Information display
SE0203908D0 (sv) * 2002-12-30 2002-12-30 Abb Research Ltd An augmented reality system and method
JP4532856B2 (ja) * 2003-07-08 2010-08-25 キヤノン株式会社 位置姿勢計測方法及び装置

Also Published As

Publication number Publication date
JP4917603B2 (ja) 2012-04-18
WO2007017597A3 (fr) 2007-05-18
US20100134601A1 (en) 2010-06-03
EP1913556A2 (fr) 2008-04-23
FR2889761A3 (fr) 2007-02-16
JP2009505191A (ja) 2009-02-05
WO2007017597A2 (fr) 2007-02-15

Similar Documents

Publication Publication Date Title
FR2889761A1 (fr) Systeme permettant a un utilisateur de localiser une camera afin de pouvoir inserer, rapidement de maniere ajustee, des images d'elements virtuels dans des images video d'elements reels captees par la camera
Behzadan et al. Georeferenced registration of construction graphics in mobile outdoor augmented reality
Zollmann et al. Augmented reality for construction site monitoring and documentation
Dunston Technology development needs for advancing augmented reality-based inspection
EP1720131A1 (fr) Système de réalité augmentée avec identification du marqueur réel d'objet
Xu et al. A review of augmented reality applications in civil infrastructure during the 4th industrial revolution
Barrile et al. Geomatics and augmented reality experiments for the cultural heritage
JP2015228215A (ja) 位置情報処理方法
US20210097760A1 (en) System and method for collecting geospatial object data with mediated reality
Morar et al. Evaluation of the ARCore indoor localization technology
CN112348887A (zh) 终端位姿确定方法以及相关装置
Narciso et al. Mixar mobile prototype: Visualizing virtually reconstructed ancient structures in situ
KR20220085142A (ko) 확장현실 기반 지능형 건설현장 관리 지원 시스템 및 방법
Kinnen et al. Thermal reality capturing with the Microsoft HoloLens 2 for energy system analysis
KR20220085150A (ko) 확장현실 기반 지능형 건설현장 관리 지원 시스템 서버 및 방법
CN111127661B (zh) 一种数据处理方法、装置及电子设备
CN113836337B (zh) Bim的展示方法、装置、设备及存储介质
Stylianidis et al. LBS augmented reality assistive system for utilities infrastructure management through Galileo and EGNOS
Wang Improving human-machine interfaces for construction equipment operations with mixed and augmented reality
Dyrda et al. Specifying Volumes of Interest for Industrial Use Cases
Angladon Room layout estimation on mobile devices
Magrini et al. Marine virtual environment to access underwater cultural heritage
Dong et al. Cost efficient virtual environment generation framework using annotated panoramic videos
Bianchini et al. The Democratization of 3D Capturing: An Application Investigating Google Tango Potentials
EP2059903B1 (fr) Procede et outil de configuration d'au moins un systeme de videosurveillance intelligente

Legal Events

Date Code Title Description
ST Notification of lapse

Effective date: 20070430