KR20210085549A - Method and system for posture estimation about object tracking taken by camera - Google Patents
Method and system for posture estimation about object tracking taken by camera Download PDFInfo
- Publication number
- KR20210085549A KR20210085549A KR1020190178679A KR20190178679A KR20210085549A KR 20210085549 A KR20210085549 A KR 20210085549A KR 1020190178679 A KR1020190178679 A KR 1020190178679A KR 20190178679 A KR20190178679 A KR 20190178679A KR 20210085549 A KR20210085549 A KR 20210085549A
- Authority
- KR
- South Korea
- Prior art keywords
- posture
- guide tool
- image sensor
- mixed reality
- tracking
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/292—Multi-camera tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
본 발명은 카메라로 촬영된 객체 추적을 위한 자세 추정 방법 및 시스템에 관한 것이다. 보다 상세하게는, 자세 추정을 위한 원점을 변환하여 객체의 자세 추정 절차를 간소화하면서 정확하게 객체의 자세를 추정할 수 있는 카메라로 촬영된 객체 추적을 위한 자세 추정 방법 및 시스템에 관한 것이다.The present invention relates to a posture estimation method and system for tracking an object captured by a camera. More particularly, it relates to a posture estimation method and system for tracking an object captured by a camera capable of accurately estimating an object's posture while simplifying an object's posture estimation procedure by transforming an origin for posture estimation.
현대의 컴퓨팅 및 디스플레이 기술들은, 소위 "가상 현실(Virtual Reality, VR)" 또는 "증강 현실(Augmented Reality, AR)" 경험들을 위한 시스템들의 개발을 가능하게 하며, 디지털적으로 재생된 이들의 이미지들 또는 부분들은 이들이 실제인 것 같은 또는 실제인 것으로 인식될 수 있는 방식으로 사용자에게 제시된다. Modern computing and display technologies enable the development of systems for so-called "Virtual Reality (VR)" or "Augmented Reality (AR)" experiences, digitally reproduced images of these or portions are presented to the user in such a way that they are real or may be perceived to be real.
가상 현실의 시나리오는, 다른 실제의 실 세계 시각 입력에 투명하지 않은 디지털 또는 가상 이미지 정보의 표현을 통상적으로 포함하며, 증강 현실의 시나리오는, 사용자 주위의 실제 세계의 가시화에 대한 증강으로서 디지털 또는 가상 이미지 정보의 표현을 통상적으로 포함한다. Scenarios of virtual reality typically include representations of digital or virtual image information that are not transparent to other real-world visual inputs, wherein scenarios in augmented reality are digital or virtual as augmentations to the visualization of the real world around the user. It typically includes a representation of image information.
최근, 조작 도구 실제 물체 및 작업 대상 실제 물체에 상호 작용을 할 수 있는 가상 객체를 증강하여 소정의 작업 또는 훈련을 할 수 있는 증강 현실 환경 서비스가 요구되는 실정이다. 특히, 수시로 움직이는 스마트 글라스와 같은 증강 현실 제공 장치를 착용한 사용자가 증강된 조작 도구를 이용하여 증강된 작업 대상에 대한 작업 또는 훈련을 할 수 있는 증강 현실 환경 서비스가 요구 된다. 이때, 조작 도구과 작업 대상에 가상객체를 증강하기 위하여 조작 도구와 작업 대상의 자세를 추정하는 기술이 필요하다. 종래 기술은, 증강 현실 제공 장치의 카메라를 원점으로 하여 조작 도구와 작업 대상에 대한 자세를 추정한다. Recently, an augmented reality environment service capable of performing a predetermined task or training by augmenting a virtual object capable of interacting with a real object of a manipulation tool and a real object to be worked is required. In particular, there is a need for an augmented reality environment service in which a user wearing an augmented reality providing device such as a smart glass that moves frequently can work or train on an augmented work target using an augmented manipulation tool. In this case, in order to augment the virtual object on the manipulation tool and the work target, a technique for estimating the posture of the manipulation tool and the work target is required. In the prior art, postures of a manipulation tool and a work target are estimated with the camera of the augmented reality providing device as an origin.
그러나, 종래 기술은 증강 현실 제공 장치가 수시로 움직일 때마다 자세 추정을 위한 원점이 변경되어 조작 도구와 작업 대상의 자세 추정의 복잡도와 계산량이 증가하여 실시간 증강 현실을 제공하는데 많은 제약이 있었다. 마찬가지로, 다수의 사용자가 동일한 증강 현실 환경에서 작업 또는 훈련을 할 경우, 종래 기술은 복수의 증강 현실 제공 장치가 움직이기 때문에 조작 도구 및 작업 대상의 추정의 복잡도와 계산량이 기하 급수적으로 증가하여 실시간 증강 현실을 제공하는데 한계가 있었다.However, the prior art has many limitations in providing real-time augmented reality because the origin for posture estimation is changed whenever the augmented reality providing apparatus moves frequently, and thus the complexity and amount of calculation of the posture estimation of the manipulation tool and the work object increase. Similarly, when a plurality of users work or train in the same augmented reality environment, in the prior art, since a plurality of augmented reality providing devices move, the complexity and amount of calculation of the estimation of the manipulation tool and the work target exponentially increase, resulting in real-time augmentation. There was a limit to providing reality.
본 발명은, 자세 추정을 위한 원점을 변환하여 객체의 자세 추정 절차를 간소화하면서 정확하게 객체의 자세를 추정할 수 있는 방법 및 시스템을 구현하는데 그 목적이 있다.An object of the present invention is to implement a method and system capable of accurately estimating an object's posture while simplifying an object's posture estimation procedure by transforming an origin for posture estimation.
자세히, 본 발명은, 카메라가 실시간으로 움직여도 실제 객체에 대한 자세를 신속하고 정확하게 추정할 수 있는 방법 및 시스템을 구현하는데 그 목적이 있다.In detail, an object of the present invention is to implement a method and system capable of quickly and accurately estimating a posture of a real object even when a camera moves in real time.
또한, 본 발명은, 카메라가 실시간으로 움직여도 복수의 실제 객체에 대한 자세를 신속하고 정확하게 추정할 수 있는 방법 및 시스템을 구현하는데 그 목적이 있다.Another object of the present invention is to implement a method and system capable of quickly and accurately estimating postures of a plurality of real objects even when a camera moves in real time.
또한, 본 발명은, 복수의 카메라가 실시간으로 움직여도 복수의 실제 객체에 대한 자세를 신속하고 정확하게 추정할 수 있는 방법 및 시스템을 구현하는데 그 목적이 있다.Another object of the present invention is to implement a method and system capable of quickly and accurately estimating postures of a plurality of real objects even when a plurality of cameras move in real time.
또한, 본 발명은, 카메라가 실시간으로 움직여도 복수의 실제 객체에 가상 컨텐츠를 증강하고 증강된 실제 객체 사이에 상호작용하는 혼합 현실 환경을 제공할 수 있는 방법 및 시스템을 구현하는데 그 목적이 있다.Another object of the present invention is to implement a method and system capable of providing a mixed reality environment in which virtual content is augmented on a plurality of real objects and interactive between the augmented real objects even when the camera moves in real time.
또한, 본 발명은 인접한 환경내에서 카메라가 장착된 증강 현실 제공 장치를 착용한 다수의 사용자가 하나의 증강된 작업 대상에 대해 동시 작업을 할 수 있는 방법 및 시스템을 구현하는데 그 목적이 있다.Another object of the present invention is to implement a method and system in which a plurality of users wearing an augmented reality providing device equipped with a camera can simultaneously work on one augmented work object in an adjacent environment.
실시예에 따른 제1 이미지 센서가 가이드 도구와 타겟 객체를 촬영하여 획득한 제1 영상에서 서버 시스템의 프로세서가 자세 추적 어플리케이션을 동작시켜 상기 자세 추적 어플리케이션이 상기 가이드 도구를 추적하기 위한 자세 추정 방법에 있어서, 상기 자세 추적 어플리케이션이 상기 제1 이미지 센서를 캘리브레이션하여 상기 제1 이미지 센서의 내부 파라미터 및 자세를 획득하는 단계; 상기 자세 추적 어플리케이션이 상기 제1 이미지 센서에서 촬영된 제1 영상을 수신하는 단계; 상기 자세 추적 어플리케이션이 상기 제1 영상 내의 상기 타겟 객체에 대하여 제1 공간 좌표계를 설정하는 단계; 상기 자세 추적 어플리케이션이 상기 제1 공간 좌표계를 기초하여 상기 타겟 객체에 대한 상대적인 자세를 계산하여 제1 타겟 상대 자세를 추정하는 단계; 및 상기 자세 추적 어플리케이션이 상기 제1 타겟 상대 자세를 상기 제1 이미지 센서 자세에 대하여 원점 자세로 설정하도록 상기 제1 이미지 센서 자세를 변환하여 제1 이미지 센서 변환 자세를 획득하는 단계;를 포함하는 카메라로 촬영된 객체 추적을 위한 자세 추정 방법을 제공할 수 있다.In the first image obtained by the first image sensor capturing the guide tool and the target object according to the embodiment, the processor of the server system operates the posture tracking application to enable the posture tracking application to track the guide tool. The method of claim 1 , further comprising: obtaining, by the posture tracking application, internal parameters and posture of the first image sensor by calibrating the first image sensor; receiving, by the posture tracking application, a first image captured by the first image sensor; setting, by the posture tracking application, a first spatial coordinate system with respect to the target object in the first image; estimating, by the posture tracking application, a first target relative posture by calculating a posture relative to the target object based on the first spatial coordinate system; and converting the first image sensor posture so that the posture tracking application sets the first target relative posture as an origin posture with respect to the first image sensor posture to obtain a first image sensor conversion posture; It is possible to provide a posture estimation method for tracking an object photographed with .
다른 측면에서, 상기 자세 추적 어플리케이션이 상기 제1 공간 좌표계에서 상기 설정된 원점 자세에 기초하여 상기 가이드 도구의 상대적인 자세를 계산하여 가이드 도구 상대 자세를 추정하는 단계; 및 상기 자세 추적 어플리케이션이 상기 추정된 가이드 도구 상대 자세에 기초하여 상기 가이드 도구를 추적하는 단계;를 포함하는 카메라로 촬영된 객체 추적을 위한 자세 추정 방법을 제공할 수 있다.In another aspect, the step of estimating the guide tool relative posture by calculating the relative posture of the guide tool based on the set origin posture in the first spatial coordinate system by the posture tracking application; and tracking, by the posture tracking application, the guide tool based on the estimated relative posture of the guide tool.
다른 측면에서, 제2 이미지 센서가 상기 가이드 도구와 상기 타겟 객체를 촬영하여 상기 제2 이미지 센서가 제2 영상을 획득하고, 상기 자세 추적 어플리케이션이 상기 제2 이미지 센서를 각각 캘리브레이션하여 상기 제2 이미지 센서의 내부 파라미터 및 자세를 획득하는 단계; 상기 자세 추적 어플리케이션이 상기 제2 이미지 센서에서 촬영된 제2 영상을 수신하는 단계; 상기 자세 추적 어플리케이션이 상기 제2 영상 내의 상기 타겟 객체에 대하여 제2 공간 좌표계를 설정하는 단계; 상기 자세 추적 어플리케이션이 상기 제2 공간 좌표계를 기초하여 상기 타겟 객체에 대한 상대적인 자세를 계산하여 제2 타겟 상대 자세를 추정하는 단계; 및 상기 자세 추적 어플리케이션이 상기 제2 공간 좌표계에서 상기 제2 타겟 상대 자세를 상기 제2 이미지 센서 자세에 대하여 원점 자세로 설정하도록 상기 제2 이미지 센서 자세를 변환하여 제2 이미지 센서 변환 자세를 획득하는 단계;를 포함하는 카메라로 촬영된 객체 추적을 위한 자세 추정 방법을 제공할 수 있다.In another aspect, a second image sensor captures the guide tool and the target object, the second image sensor acquires a second image, and the posture tracking application calibrates the second image sensor to obtain the second image acquiring an internal parameter and a posture of the sensor; receiving, by the posture tracking application, a second image captured by the second image sensor; setting, by the posture tracking application, a second spatial coordinate system with respect to the target object in the second image; estimating, by the posture tracking application, a second target relative posture by calculating a posture relative to the target object based on the second spatial coordinate system; and converting the second image sensor posture so that the posture tracking application sets the second target relative posture to the origin posture with respect to the second image sensor posture in the second spatial coordinate system to obtain a second image sensor conversion posture It is possible to provide a posture estimation method for tracking an object photographed by a camera including;
다른 측면에서, 상기 자세 추적 어플리케이션이 상기 제2 공간 좌표계에서 상기 설정된 원점 자세에 기초하여 상기 가이드 도구의 상대적인 자세를 계산하여 제1-2 가이드 도구 상대 자세를 추정하는 단계; 및 상기 자세 추적 어플리케이션이, 상기 제2 영상에서, 상기 제1-2 가이드 도구 상대 자세에 기초하여 상기 가이드 도구를 추적하는 단계;를 포함하는 카메라로 촬영된 객체 추적을 위한 자세 추정 방법을 제공할 수 있다.In another aspect, the step of estimating a 1-2 guide tool relative posture by calculating the relative posture of the guide tool based on the set origin posture in the second spatial coordinate system by the posture tracking application; and tracking, by the posture tracking application, the guide tool based on the 1-2 guide tool relative posture in the second image. can
또 다른 측면에서 제1 웨어러블 타입 컴퓨팅 디바이스이 제1 이미지 센서로 타겟 객체 및 제1 가이드 도구를 촬영하여 획득한 제1 영상에서 서버 시스템의 프로세서가 혼합 현실 어플리케이션을 동작시켜 상기 혼합 현실 어플리케이션이 상기 제1 가이드 도구를 추적하고 혼합 현실 환경을 제공하는 카메라로 촬영된 객체 추적을 위한 자세 추정 방법에 있어서, 상기 혼합 현실 어플리케이션이 상기 제1 이미지 센서를 캘리브레이션하여 상기 제1 이미지 센서의 내부 파라미터 및 자세를 획득하는 단계; 상기 혼합 현실 어플리케이션이 상기 제1 이미지 센서에서 촬영된 제1 영상을 수신하는 단계; 상기 혼합 현실 어플리케이션이 상기 제1 영상 내의 상기 타겟 객체에 대하여 제1 공간 좌표계를 설정하는 단계; 상기 혼합 현실 어플리케이션이 상기 제1 공간 좌표계를 기초하여 상기 타겟 객체에 대한 상대적인 자세를 계산하여 제1 타겟 상대 자세를 추정하는 단계; 상기 혼합 현실 어플리케이션이 상기 타겟 상대 자세를 상기 제1 이미지 센서 자세에 대하여 원점 자세로 설정하도록 상기 제1 이미지 센서 자세를 변환하여 제1 이미지 센서 변환 자세를 획득하는 단계; 및 상기 혼합 현실 어플리케이션이 상기 제1 공간 좌표계에서 상기 설정된 원점 자세에 기초하여 상기 제1 가이드 도구의 상대적인 자세를 계산하여 제1 가이드 도구 상대 자세를 추정하는 단계;를 포함하는 카메라로 촬영된 객체 추적을 위한 자세 추정 방법을 제공할 수 있다.In another aspect, the processor of the server system operates the mixed reality application in the first image obtained by the first wearable type computing device capturing the target object and the first guide tool with the first image sensor, so that the mixed reality application is displayed in the first image. A posture estimation method for tracking an object captured by a camera that tracks a guide tool and provides a mixed reality environment, wherein the mixed reality application obtains an internal parameter and a posture of the first image sensor by calibrating the first image sensor to do; receiving, by the mixed reality application, a first image captured by the first image sensor; setting, by the mixed reality application, a first spatial coordinate system with respect to the target object in the first image; estimating, by the mixed reality application, a first target relative posture by calculating a relative posture with respect to the target object based on the first spatial coordinate system; converting the first image sensor posture so that the mixed reality application sets the target relative posture as an origin posture with respect to the first image sensor posture to obtain a first image sensor conversion posture; and estimating, by the mixed reality application, the relative posture of the first guide tool by calculating the relative posture of the first guide tool based on the set origin posture in the first spatial coordinate system. It is possible to provide a posture estimation method for
다른 측면에서, 상기 혼합 현실 어플리케이션이 상기 추정된 제1 가이드 도구 상대 자세에 기초하여 상기 제1 가이드 도구를 추적하는 단계; 상기 혼합 현실 어플리케이션이 상기 타겟 객체에 대응한 제1 가상 컨텐츠를 생성하고, 상기 추적된 제1 가이드 도구에 대응한 제2 가상 컨텐츠 생성하는 단계; 및 상기 혼합 현실 어플리케이션이, 상기 제1 영상에서, 상기 타겟 객체의 원점 자세에 기초하여 상기 타겟 객체에 상기 제1 가상 컨텐츠를 증강하고, 상기 제1 가이드 도구 상대 자세에 기초하여 상기 제1 가이드 도구에 제2 가상 컨텐츠를 증강하여 혼합 현실 환경을 제공하는 단계;를 더 포함하는 카메라로 촬영된 객체 추적을 위한 자세 추정 방법을 제공할 수 있다.In another aspect, the method comprising: tracking, by the mixed reality application, the first guide tool based on the estimated first guide tool relative posture; generating, by the mixed reality application, first virtual content corresponding to the target object, and generating second virtual content corresponding to the tracked first guide tool; and the mixed reality application augments the first virtual content on the target object based on the origin posture of the target object in the first image, and the first guide tool based on the first guide tool relative posture It is possible to provide a posture estimation method for tracking an object captured by a camera further comprising; providing a mixed reality environment by augmenting the second virtual content.
다른 측면에서, 제2 웨어러블 타입 컴퓨팅 장치가 제2 이미지 센서로 타겟 객체, 제1 가이드 도구 및 제2 가이드 도구를 촬영하여 제2 영상을 획득하고, 상기 혼합 현실 어플리케이션이 상기 제2 이미지 센서를 캘리브레이션하여 상기 제2 이미지 센서의 내부 파라미터 및 자세를 획득하는 단계; 상기 혼합 현실 어플리케이션이 상기 제2 이미지 센서에서 촬영된 제2 영상을 수신하는 단계; 상기 혼합 현실 어플리케이션이 상기 제2 영상 내의 상기 타겟 객체에 대하여 제2 공간 좌표계를 설정하는 단계; 상기 혼합 현실 어플리케이션이 상기 제2 공간 좌표계를 기초하여 상기 타겟 객체에 대한 상대적인 자세를 계산하여 제2 타겟 상대 자세를 추정하는 단계; 상기 혼합 현실 어플리케이션이 상기 제2 타겟 상대 자세를 상기 제2 이미지 센서 자세에 대하여 원점 자세로 설정하도록 상기 제2 이미지 센서 자세를 변환하여 제2 이미지 센서 변환 자세를 획득하는 단계; 상기 혼합 현실 어플리케이션이 상기 제2 공간 좌표계에서 상기 설정된 원점 자세에 기초하여 상기 제2 가이드 도구의 상대적인 자세를 계산하여 제2 가이드 도구 상대 자세를 추정하고, 상기 제2 공간 좌표계에서 상기 설정된 원점 자세에 기초하여 상기 제1 가이드 도구의 상대적인 자세를 계산하여 제1-2 가이드 도구 상대 자세를 추정하는 단계; 상기 혼합 현실 어플리케이션이, 상기 제2 영상에서, 상기 제2 추정된 가이드 도구 상대 자세에 기초하여 상기 제2 가이드 도구를 추적하고, 상기 제1-2 추정된 가이드 도구 상대 자세에 기초하여 상기 제1 가이드 도구를 추적하는 단계; 상기 혼합 현실 어플리케이션이 상기 추적된 제2 가이드 도구에 대응한 제3 가상 컨텐츠 생성하는 단계; 및 상기 혼합 현실 어플리케이션이, 상기 제2 영상에서, 상기 타겟 객체의 원점 자세에 기초하여 상기 타겟 객체에 상기 제1 가상 컨텐츠를 증강하고, 상기 제2 가이드 도구 상대 자세에 기초하여 상기 제2 가이드 도구에 상기 제3 가상 컨텐츠를 증강하고, 상기 제1-2 가이드 도구 상대 자세에 기초하여 상기 제1 가이드 도구에 상기 제2 가상 컨텐츠를 증강하여 혼합 현실 환경을 제공하는 단계;를 더 포함하는 카메라로 촬영된 객체 추적을 위한 자세 추정 방법을 제공할 수 있다.In another aspect, the second wearable type computing device acquires a second image by photographing the target object, the first guide tool, and the second guide tool with a second image sensor, and the mixed reality application calibrates the second image sensor to obtain an internal parameter and a posture of the second image sensor; receiving, by the mixed reality application, a second image captured by the second image sensor; setting, by the mixed reality application, a second spatial coordinate system with respect to the target object in the second image; estimating, by the mixed reality application, a second target relative posture by calculating a relative posture with respect to the target object based on the second spatial coordinate system; converting the second image sensor posture so that the mixed reality application sets the second target relative posture as the origin posture with respect to the second image sensor posture to obtain a second image sensor conversion posture; The mixed reality application calculates the relative posture of the second guide tool based on the set origin posture in the second spatial coordinate system to estimate the second guide tool relative posture, and to the set origin posture in the second spatial coordinate system. estimating the relative posture of the first guide tool by calculating the relative posture of the first guide tool based on the first; the mixed reality application, in the second image, tracks the second guide tool based on the second estimated guide tool relative posture, and tracks the first guide tool based on the 1-2 estimated guide tool relative posture tracking guide tool; generating, by the mixed reality application, third virtual content corresponding to the tracked second guide tool; and the mixed reality application augments the first virtual content on the target object based on the origin posture of the target object in the second image, and the second guide tool based on the second guide tool relative posture and providing a mixed reality environment by augmenting the third virtual content in the , and augmenting the second virtual content to the first guide tool based on the relative posture of the 1-2 guide tool. It is possible to provide a posture estimation method for tracking a photographed object.
본 발명의 실시예에 따른 카메라로 촬영된 객체 추적을 위한 자세 추정 방법 및 시스템은, 자세 추정을 위한 원점을 변환하여 객체의 자세 추정 절차를 간소화하면서 정확하게 객체의 자세를 추정할 수 있다.The posture estimation method and system for tracking an object photographed with a camera according to an embodiment of the present invention can accurately estimate the posture of the object while simplifying the posture estimation procedure of the object by transforming the origin for posture estimation.
또한, 카메라로 촬영된 객체 추적을 위한 자세 추정 방법 및 시스템은, 카메라가 실시간으로 움직여도 실제 객체에 대한 자세를 신속하고 정확하게 추정할 수 있다.In addition, the posture estimation method and system for tracking an object photographed by a camera can quickly and accurately estimate a posture of a real object even when the camera moves in real time.
또한, 카메라로 촬영된 객체 추적을 위한 자세 추정 방법 및 시스템은, 카메라가 실시간으로 움직여도 복수의 실제 객체에 대한 자세를 신속하고 정확하게 추정할 수 있다.In addition, the posture estimation method and system for tracking an object photographed by a camera can quickly and accurately estimate postures of a plurality of real objects even when the camera moves in real time.
또한, 카메라로 촬영된 객체 추적을 위한 자세 추정 방법 및 시스템은, 복수의 카메라가 실시간으로 움직여도 복수의 실제 객체에 대한 자세를 신속하고 정확하게 추정할 수 있다.In addition, the posture estimation method and system for tracking an object photographed by a camera can quickly and accurately estimate the posture of a plurality of real objects even when a plurality of cameras move in real time.
또한, 카메라로 촬영된 객체 추적을 위한 자세 추정 방법 및 시스템은, 카메라가 실시간으로 움직여도 복수의 실제 객체에 가상 컨텐츠를 증강하고 증강된 실제 객체 사이에 상호작용하는 혼합 현실 환경을 제공할 수 있다.In addition, the posture estimation method and system for tracking an object captured by a camera may provide a mixed reality environment in which virtual content is augmented on a plurality of real objects and interaction between the augmented real objects even when the camera moves in real time.
또한, 카메라로 촬영된 객체 추적을 위한 자세 추정 방법 및 시스템은, 인접한 환경내에서 카메라가 장착된 증강 현실 제공 장치를 착용한 다수의 사용자가 하나의 증강된 작업 대상에 대해 동시 작업을 할 수 있다.In addition, the posture estimation method and system for tracking an object photographed by a camera allows a plurality of users who wear an augmented reality providing device equipped with a camera in an adjacent environment to simultaneously work on one augmented work target. .
도 1은 본 발명의 실시예에 따른 카메라로 촬영된 객체 추적을 위한 자세 추정 시스템의 개념도이다.
도 2는 본 발명의 실시예에 따른 웨어러블 웨어러블 타입의 컴퓨팅 디바이스의 내부 블록도이다.
도 3은 본 발명의 실시예에 따른 카메라로 촬영된 객체 추적을 위한 자세 추정 방법을 설명하기 위한 흐름도이다.
도 4는 도 3 및 도 5의 각 구성에 대한 자세 정보 획득 및 원점 변경에 따른 각 구성에 대한 상대적인 전환 관계를 설명하기 위한 예시도이다.
도 5은 도 3의 추적을 위한 자세 추정 방법에서 카메라가 추가된 경우 추가된 카메라로 촬영된 객체 추적을 위한 자세 추정 방법을 추가 설명하기 위한 흐름도이다.
도 6은 본 발명의 실시예에 따른 카메라로 촬영된 객체 추적을 위한 자세 추정 방법을 이용한 혼합 현실 환경 제공 방법을 설명하기 위한 예시도이다.
도 7은 도 6의 혼합 현실 환경 제공 방법을 이용하여 의료 수술 현장에 관한 혼합 현실 환경 서비스를 제공하는 모습의 예시도이다.
도 8은 도 6의 혼합 현실 환경 제공 방법에서 혼합 현실 환경을 제공 받는 사용자가 추가된 경우 복수의 사용자에게 혼합 현실 환경 제공 방법을 설명하기 위한 예시도이다.
도 9는 도 8의 혼합 현실 환경 제공 방법을 이용하여 의료 수술 현장에 관한 복수의 사용자에게 혼합 현실 환경 서비스를 제공하는 모습의 예시도이다.1 is a conceptual diagram of a posture estimation system for tracking an object photographed by a camera according to an embodiment of the present invention.
2 is an internal block diagram of a wearable wearable type computing device according to an embodiment of the present invention.
3 is a flowchart illustrating a posture estimation method for tracking an object photographed by a camera according to an embodiment of the present invention.
FIG. 4 is an exemplary diagram for explaining a relative switching relationship for each configuration according to the acquisition of posture information for each configuration of FIGS. 3 and 5 and the change of the origin.
FIG. 5 is a flowchart for further explaining a posture estimation method for tracking an object captured by the added camera when a camera is added in the posture estimation method for tracking of FIG. 3 .
6 is an exemplary diagram for explaining a method for providing a mixed reality environment using a posture estimation method for tracking an object photographed by a camera according to an embodiment of the present invention.
7 is an exemplary diagram illustrating a state in which a mixed reality environment service for a medical surgery site is provided by using the mixed reality environment providing method of FIG. 6 .
FIG. 8 is an exemplary diagram for explaining a method of providing a mixed reality environment to a plurality of users when a user receiving a mixed reality environment is added in the mixed reality environment providing method of FIG. 6 .
9 is an exemplary diagram illustrating a state in which a mixed reality environment service is provided to a plurality of users related to a medical surgery site by using the mixed reality environment providing method of FIG. 8 .
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 본 발명의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있다. 이하의 실시예에서, 제1, 제2 등의 용어는 한정적인 의미가 아니라 하나의 구성 요소를 다른 구성 요소와 구별하는 목적으로 사용되었다. 또한, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다. 또한, 도면에서는 설명의 편의를 위하여 구성 요소들이 그 크기가 과장 또는 축소될 수 있다. 예컨대, 도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도시된 바에 한정되지 않는다. Since the present invention can apply various transformations and can have various embodiments, specific embodiments are illustrated in the drawings and described in detail in the detailed description. Effects and features of the present invention, and a method of achieving them, will become apparent with reference to the embodiments described below in detail in conjunction with the drawings. However, the present invention is not limited to the embodiments disclosed below and may be implemented in various forms. In the following embodiments, terms such as first, second, etc. are used for the purpose of distinguishing one component from another, not in a limiting sense. Also, the singular expression includes the plural expression unless the context clearly dictates otherwise. In addition, terms such as include or have means that the features or components described in the specification are present, and do not preclude the possibility that one or more other features or components will be added. In addition, in the drawings, the size of the components may be exaggerated or reduced for convenience of description. For example, since the size and thickness of each component shown in the drawings are arbitrarily indicated for convenience of description, the present invention is not necessarily limited to the illustrated bar.
이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings, and when described with reference to the drawings, the same or corresponding components are given the same reference numerals, and the overlapping description thereof will be omitted. .
본 발명은, 카메라를 원점으로 하는 것이 아니라 하나의 고정된 실제 객체에 대한 자세를 원점으로 하여 카메라가 실제 객체의 자세를 추정할 수 있다. 이때, 자세는 6자유도와 위치를 함께 포함하는 용어이다. 상기 자세 추정 방법을 이용하여, 본 발명은 카메라가 실시간으로 움직여도 하나 이상의 실제 객체에 대한 자세를 신속하고 정확히 추정 할 수 있고, 나아가 복수의 카메라가 동일하게 촬영한 복수의 실제 객체에 대한 자세를 신속하고 정확히 추정 할 수 있다. 또한, 상기 자세 추정 방법을 이용하여, 본 발명은 복수의 가상 컨텐츠를 복수의 실제 객체에 증강하고 실시간으로 복수의 가상 컨텐츠의 상호관계를 반영한 혼합현실 환경을 제공할 수 있다. 나아가 본 발명은 복수의 사용자에게 동일한 작업 또는 학습 장소에서 실시간으로 복수의 가상 컨텐츠의 상호관계를 반영한 혼합 현실 환경을 제공할 수 있다.According to the present invention, the camera can estimate the posture of the real object by not using the camera as the origin, but by using the posture of one fixed real object as the origin. In this case, posture is a term that includes 6 degrees of freedom and position. By using the posture estimation method, the present invention can quickly and accurately estimate the posture of one or more real objects even when the camera moves in real time, and furthermore, can quickly and accurately estimate postures of a plurality of real objects photographed by a plurality of cameras in the same way and can be estimated accurately. In addition, by using the posture estimation method, the present invention can provide a mixed reality environment in which a plurality of virtual contents are augmented to a plurality of real objects and the interrelationship of the plurality of virtual contents is reflected in real time. Furthermore, the present invention can provide a mixed reality environment reflecting the interrelationship of a plurality of virtual contents in real time at the same work or learning place to a plurality of users.
이하, 이러한 카메라로 촬영된 객체 추적을 위한 자세 추정 시스템의 세부적 구성부터 상세히 설명하기로 한다.Hereinafter, a detailed configuration of a posture estimation system for tracking an object photographed with such a camera will be described in detail.
<카메라로 촬영된 객체 추적을 위한 자세 추정 시스템><Position estimation system for tracking objects captured by the camera>
도 1은 본 발명의 실시예에 따른 카메라로 촬영된 객체 추적을 위한 자세 추정 시스템의 개념도이고, 도 2는 본 발명의 실시예에 따른 웨어러블 웨어러블 타입의 컴퓨팅 디바이스의 내부 블록도이다.1 is a conceptual diagram of a posture estimation system for tracking an object captured by a camera according to an embodiment of the present invention, and FIG. 2 is an internal block diagram of a wearable type computing device according to an embodiment of the present invention.
도 1을 참조하면, 본 발명의 실시예에 따른 카메라로 촬영된 객체 추적을 위한 자세 추정 시스템은, 하나 이상의 웨어러블 타입 컴퓨팅 디바이스(100, 101), 서버 시스템(200), 타겟 객체(300) 및 가이드 도구(400)를 포함할 수 있다.Referring to FIG. 1 , a posture estimation system for tracking an object captured by a camera according to an embodiment of the present invention includes one or more wearable
도 1의 구성요소 중 하나 이상의 웨어러블 타입 컴퓨팅 디바이스(100, 101) 및 서버 시스템(200)은, 네트워크(Network)를 통해 연결될 수 있다. 네트워크는 컴퓨팅 디바이스 및 데이터 중계 서버 시스템(500) 등과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크의 일 예에는 3GPP(3rd Generation Partnership Project) 네트워크, LTE(Long Term Evolution) 네트워크, WIMAX(World Interoperability for Microwave Access) 네트워크, 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), 블루투스(Bluetooth) One or more wearable
네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.networks, satellite broadcast networks, analog broadcast networks, Digital Multimedia Broadcasting (DMB) networks, and the like are included, but are not limited thereto.
<서버 시스템(200)><
실시예에서 서버 시스템(200)은, 이미지 센서로 촬영된 영상 내의 객체의 자세를 추정하는 일련의 프로세스를 수행할 수 있다. 후술 하겠지만 이미지 센서는 객체를 촬영하여 영상을 획득할 수 있는 카메라일 수 있다. In an embodiment, the
실시예에 따른 서버 시스템(200)은 데이터 중계서버(210), 프로세서(220), 가상 컨텐츠 데이터베이스(230) 및 공간 정보 데이터베이스(240)를 포함할 수 있다.The
데이터 중계서버(210)는, 데이터 중계를 위한 통신설비 등을 포함할 수 있으며, 유무선 통신 네트워크를 통해 커뮤니케이션 데이터를 웨어러블 타입 컴퓨팅 디바이스(100) 간에 송수신하도록 중계할 수 있다.The
프로세서(220)는, 각 디바이스의 전박적인 동작을 제어하여 후술할 일련의 동작에 대한 데이터 처리를 수행할 수 있다. 이러한 데이터 프로세서(11)는 ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 임의의 형태의 프로세서일 수 있다. 특히, 프로세서(220)는, 웨어러블 타입 컴퓨팅 디바이스(100)의 이미지 센서로 촬영된 영상 내의 실제 객체의 자세를 추정하는 일련의 프로세스를 수행할 수 있다. 이러한 실제 객체의 자세를 추정하는 일련의 프로세스는 후술하는 카메라로 촬영된 객체 추적을 위한 자세 추정 방법의 설명을 따른다. 또한, 프로세서(200)는 추정된 실제 객체의 자세에 기초하여 실제 객체에 가상 컨텐츠를 증강하는 혼합 현실 환경을 제공하는 일련의 프로세스를 수행할 수 있다. 이러한 혼합 현실 환경을 제공하는 일련의 프로세스는 카메라로 촬영된 객체 추적을 위한 자세 추정 방법을 이용한 혼합 현실 환경 제공 방법의 설명을 따른다. The
가상 컨텐츠 데이터베이스(230)에는, 증강현실 환경이나, 혼합현실 환경을 구현하기 위한 가상 컨텐츠 데이터가 저장되어 있을 수 있다. 이러한 가상 컨텐츠 데이터베이스(230)는, 상기 가상 컨텐츠를 실제 객체(예컨대, 마커)나 공간좌표에 매칭시켜 가상 컨텐츠로 저장할 수 있다. 또한, 가상 컨텐츠 데이터베이스(230)는, 웨어러블 타입 컴퓨팅 디바이스(100) 요청시 상기 웨어러블 타입 컴퓨팅 디바이스(100)의 주변 물리적 공간에 매칭된 가상 컨텐츠를 전달하는 가상 컨텐츠 소스 역할을 수행할 수 있다. Virtual content data for implementing an augmented reality environment or a mixed reality environment may be stored in the
공간 정보 데이터베이스(230)는, 특정 영역의 물리적 공간을 스캔하거나 3차원 공간 모델링하여 물리적 공간에 대한 정보 데이터를 저장할 수 있다. 또한, 물리적 공간 내에 실제객체, 마커 등을 이미지 학습하여 획득된 특징 정보들이 더 저장될 수 있으며, 특징 정보들은 공간 정보와 매칭되어 저장될 수 있다. 즉, 서버 시스템(200)은, 웨어러블 타입 컴퓨팅 디바이스(100)의 주변 물리적 공간에 대한 가상 컨텐츠 데이터와 공간정보 데이터를 함께 송신하여, 상기 웨어러블 타입 컴퓨팅 디바이스(100, 101)를 통해 혼합 현실 환경을 제공할 수 있다. The
메모리(250)는 데이터 중계서버(210), 프로세서(220), 가상 컨첸츠 데이터베이스(230) 및 공간정보 데이터베이스(240)를 동작하기 위한 명령들을 저장할 수 있다. 또한, 메모리(250)는 실제 객체의 자세를 추정하는 일련의 프로세스로 동작하는 명령어들을 포함하는 자세 추적 어플리케이션 또는 추정된 실제 객체의 자세에 기초하여 실제 객체에 가상 컨텐츠를 증강하는 혼합 현실 환경을 제공하는 일련의 프로세스로 동작하는 명령어들을 포함하는 혼합현실 어플리케이션을 저장할 수 있다. 메모리(250)는 이러한 명령들은 프로세서(220)로 하여금 동작들을 수행하게 된다. 또한, 메모리(250)는 하드웨어적으로, ROM, RAM, EPROM, 플래시 드라이브, 하드 드라이브 등과 같은 다양한 저장기기 일 수 있고, 메모리(250)는 인터넷(internet)상에서 상기 메모리(13)의 저장 기능을 수행하는 웹 스토리지(web storage)일 수도 있다.The
<웨어러블 타입의 컴퓨팅 디바이스(100, 101)><Wearable type computing device (100, 101)>
웨어러블 타입의 컴퓨팅 디바이스(100, 101)는 스마트 글래스(smart glasses display; 100)나 헤드 마운티드 디스플레이(HMD; 101)를 포함할 수 있다. 설명의 편의를 위해 이하 웨어러블 타입의 컴퓨팅 디바이스(100, 101)는 스마트 글래스(100)인 것으로 설명한다.The wearable-
웨어러블 타입의 컴퓨팅 디바이스(100)는 착용되는 동안 사용자가 주변 물리적 공간을 볼 수 있도록 광을 투과하면서 사용자의 시야 상에 가상 컨텐츠(예컨대, 가상객체 이미지)를 표시하는 글라스를 포함하는 디스플레이 시스템을 포함할 수 있다.The wearable
자세히, 실시예의 웨어러블 타입의 컴퓨팅 디바이스(100)는, 주변 물리적 공간으로부터의 광이 사용자의 눈에 도달하도록 투과함과 동시에, 디스플레이 시스템에 의해 표시된 가상 컨텐츠를 사용자의 눈을 향해 반사시키는 투명한 글래스 디스플레이를 포함할 수 있다. In detail, the wearable
도 2를 참조하면, 예시적인 구현에 따른 웨어러블 타입 컴퓨팅 디바이스(100)는, 혼합 현실 어플리케이션(111)을 포함하는 메모리(110), 프로세서 어셈블리(120), 통신 모듈(130), 인터페이스 모듈(140), 입력 시스템(150), 센서 시스템(160) 및 디스플레이 시스템(170)을 포함할 수 있다. 또한, 상기 구성요소들은 웨어러블 타입 컴퓨팅 디바이스(100)의 하우징 내에 포함되도록 구현될 수 있다. 또한, 웨어러블 타입 컴퓨팅 디바이스(100)는 하우징 외에 추가 이미지 센서(161-2)를 장착시킬 수 있다.Referring to FIG. 2 , the wearable
추가 이미지 센서(161-2)는 웨어러블 타입 컴퓨팅 디바이스(100)에 탈부착 가능한 형태로 구성될 수도 있다.The additional image sensor 161 - 2 may be configured to be detachable from the wearable
메모리(110)에는, 혼합 현실 어플리케이션(111)이 저장되며, 혼합 현실 어플리케이션(111)에는 혼합 현실 환경을 제공하기 위한 가상 컨텐츠, 이미지 버퍼, 위치 엔진, 가상 컨텐츠 디스플레이 엔진 등이 포함될 수 있다. 즉, 메모리(110)는 혼합 현실 환경을 생성하기 위해 사용될 수 있는 명령 및 데이터를 저장할 수 있다. The memory 110 stores a
또한, 메모리(110)는, 적어도 하나 이상의 비일시적 컴퓨터 판독 가능 저장매체와, 일시적 컴퓨터 판독 가능 저장매체를 포함할 수 있다. 예를 들어, 메모리(110)는, ROM, EPROM, 플래시 드라이브, 하드 드라이브 등과 같은 다양한 저장기기일 수 있고, 인터넷(internet)상에서 상기 메모리(110)의 저장 기능을 수행하는 웹 스토리지(web storage)를 포함할 수 있다. In addition, the memory 110 may include at least one or more non-transitory computer-readable storage media and a temporary computer-readable storage medium. For example, the memory 110 may be various storage devices such as ROM, EPROM, flash drive, hard drive, and the like, and web storage that performs a storage function of the memory 110 on the Internet. may include.
프로세서 어셈블리(120)는, 혼합 현실 환경을 생성하기 위한 다양한 작업을 수행하기 위해, 메모리(110)에 저장된 혼합 현실 어플리케이션(111)의 명령들을 실행할 수 있는 적어도 하나 이상의 프로세서를 포함할 수 있다. The processor assembly 120 may include at least one processor capable of executing instructions of the
실시예에서 프로세서 어셈블리(120)는, 혼합 현실 서비스를 제공하기 위하여 메모리(110)의 혼합 현실 어플리케이션(111)을 통해 구성요소의 전반적인 동작을 컨트롤할 수 있다. In an embodiment, the processor assembly 120 may control overall operations of components through the
예를 들어, 프로세서 어셈블리(120)는, 이미지 센서(161)를 기반으로 획득된 영상으로부터 실제 객체를 인식할 수 있고, 인식된 실제 객체에 가상 컨텐츠를 매칭한 증강 현실 영상을 생성하고 표시하도록 웨어러블 타입 컴퓨팅 디바이스(100)의 구성요소들을 제어할 수 있다. For example, the processor assembly 120 may recognize a real object from an image acquired based on the
이러한 프로세서 어셈블리(120)는, 중앙처리장치(CPU) 및/또는 그래픽 프로세서 장치(GPU)를 포함할 수 있다. 또한, 프로세서 어셈블리(120)는, ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세스(microprocessors), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 포함하여 구현될 수 있다. The processor assembly 120 may include a central processing unit (CPU) and/or a graphics processor unit (GPU). In addition, the processor assembly 120, ASICs (application specific integrated circuits), DSPs (digital signal processors), DSPDs (digital signal processing devices), PLDs (programmable logic devices), FPGAs (field programmable gate arrays), controllers (controllers) ), micro-controllers, microprocessors, and other electrical units for performing other functions.
통신 모듈(130)은, 서버 시스템(200)과 통신하기 위한 하나 이상의 장치를 포함할 수 있다. 이러한 통신 모듈(130)은, 무선 네트워크를 통해 통신할 수 있다. The
자세히, 통신 모듈(130)은, 혼합 현실 환경을 구현하기 위한 가상 컨텐츠 소스를 저장한 서버 시스템(200)와 통신할 수 있으며, 사용자 입력을 받은 컨트롤러와 같은 다양한 사용자 입력 컴포넌트와 통신할 수 있다. In detail, the
이러한 통신 모듈(130)은, 이동통신을 위한 기술표준들 또는 통신방식(예를 들어, LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced),5G NR(New Radio), WIFI) 또는 근거리 통신방식 등을 수행할 수 있는 통신장치를 통해 구축된 이동 통신망 상에서 기지국, 외부의 단말, 임의의 서버 중 적어도 하나와 무선으로 데이터를 송수신할 수 있다.Such a
센서 시스템(160)은, 이미지 센서(161), 위치 센서(IMU, 163), 오디오 센서, 거리 센서, 근접 센서, 접촉 센서 등 다양한 센서를 포함할 수 있다. The sensor system 160 may include various sensors, such as an
이미지 센서(161)는, 웨어러블 타입 컴퓨팅 디바이스(100) 주위의 물리적 공간에 대한 이미지 및/또는 영상을 캡처할 수 있다. The
실시예에서 이미지 센서(161)는, 실제 객체의 자세 추정 또는 혼합 현실 환경 제공에 관련된 영상을 촬영하여 획득할 수 있다.In an embodiment, the
또한, 이미지 센서(161)는, 웨어러블 타입 컴퓨팅 디바이스(100)의 전면 또는/및 후면에 배치되어 배치된 방향측을 촬영하여 영상을 획득할 수 있으며, 웨어러블 타입 컴퓨팅 디바이스(100)의 외부를 향해 배치된 카메라를 통해 작업 현장과 같은 물리적 공간을 촬영할 수 있다. In addition, the
이러한 이미지 센서(161)는, 이미지 센서(161)와 영상 처리 모듈을 포함할 수 있다. 자세히, 이미지 센서(161)는, 이미지 센서(161)(예를 들면, CMOS 또는 CCD)에 의해 얻어지는 정지영상 또는 동영상을 처리할 수 있다. The
또한, 이미지 센서(161)는, 영상 처리 모듈을 이용하여 이미지 센서(161)를 통해 획득된 정지영상 또는 동영상을 가공해 필요한 정보를 추출하고, 추출된 정보를 프로세서에 전달할 수 있다.In addition, the
이러한 이미지 센서(161)는, 적어도 하나 이상의 카메라를 포함하는 카메라 어셈블리일 수 있다. 카메라 어셈블리는, 가시광선 대역을 촬영하는 일반 카메라를 포함할 수 있으며, 적외선 카메라, 스테레오 카메라 등의 특수 카메라를 더 포함할 수 있다. 특히, 웨어러블 타입 컴퓨팅 디바이스(100)는 하우징 외부에 추가 이미지 센서(161-2)를 별도의 장착 기구에 의해 장착 될 수 있다. 추가 이미지 센서(161-2)는 인터페이스 모듈(140)을 통해 웨어러블 타입 컴퓨팅 디바이스(100)와 전기적으로 연결 될 수 있다. 이 경우, 웨어러블 타입 컴퓨팅 디바이스(100)는 하우징 내에 배치된 이미지 센서(161)와 하우징 외에 배치된 추가 이미지 센서(161-2)를 이용하여 스테레오 카메라처럼 동작시켜 물리적 공간에 대한 깊이 영상을 촬영할 수 있다. 획득된 깊이 영상을 이용할 경우, 서버 시스템(200)은 실제 객체의 거리를 정밀하게 측정할 수 있어서 정확한 실제 객체의 자세를 추정 할 수 있고, 혼합 현실 환경 제공을 위한 가상 컨텐츠 증강을 보다 정밀하게 할 수 있다. The
IMU(163)는 웨어러블 타입 컴퓨팅 디바이스(100)의 움직임 및 가속도 중 적어도 하나 이상을 감지할 수 있다. 예를 들어, 가속도계, 자이로스코프, 자력계와 같은 다양한 위치 센서의 조합으로 이루어 질 수 있다. 또한, 통신 모듈(130)의 GPS와 같은 위치 통신 모듈(130)과 연동하여, 웨어러블 타입 컴퓨팅 디바이스(100) 주변의 물리적 공간에 대한 공간 정보를 인식할 수 있다. The
또한, IMU(163)는, 검출된 위치 및 방향을 기초로 사용자의 시선 방향 및 머리 움직임을 검출 및 추적하는 정보를 검출할 수 있다. Also, the
또한, 일부 구현들에서, 혼합 현실 어플리케이션(111)은 이러한 IMU(163) 및 이미지 센서(161)를 사용하여 물리적 공간 내의 사용자의 위치 및 방향을 결정하거나 물리적 공간 내의 특징 또는 객체를 인식할 수 있다.Additionally, in some implementations, the
오디오 센서(165)는, 웨어러블 타입 컴퓨팅 디바이스(100) 주변의 소리를 인식할 수 있다. The
자세히, 오디오 센서(165)는, 웨어러블 타입 컴퓨팅 디바이스(100) 사용자의 음성 입력을 감지할 수 있는 마이크로폰을 포함할 수 있다. In detail, the
실시예에서 오디오 센서(165)는 확장현실 커뮤니케이션 서비스를 통해 전송할 커뮤니케이션 데이터의 음성 데이터를 사용자로부터 입력 받을 수 있다.In an embodiment, the
인터페이스 모듈(140)은, 웨어러블 타입 컴퓨팅 디바이스(100)를 하나 이상의 다른 장치와 통신 가능하게 연결할 수 있다. 자세히, 인터페이스 모듈(140)은, 하나 이상의 상이한 통신 프로토콜과 호환되는 유선 및/또는 무선 통신 장치를 포함할 수 있다. 이러한 인터페이스 모듈(140)을 통해 웨어러블 타입 컴퓨팅 디바이스(100)는, 여러 입출력 장치들과 연결될 수 있다. 예를 들어, 인터페이스 모듈(140)은, 헤드셋 포트나 스피커와 같은 오디오 출력장치와 연결되어, 오디오를 출력할 수 있다. 예시적으로 오디오 출력장치가 인터페이스 모듈(140)을 통해 연결되는 것으로 설명하였으나, 웨어러블 타입 컴퓨팅 디바이스(100) 내부에 설치되는 실시예도 포함될 수 있다. 이러한 인터페이스 모듈(140)은, 유/무선 헤드셋 포트(port), 외부 충전기 포트(port), 유/무선 데이터 포트(port), 메모리(110) 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트(port), 오디오 I/O(Input/Output) 포트(port), 비디오 I/O(Input/Output) 포트(port), 이어폰 포트(port), 전력 증폭기, RF 회로, 송수신기 및 기타 통신 회로 중 적어도 하나를 포함하여 구성될 수 있다. The
입력 시스템(150)은 혼합 현실 환경과 관련된 사용자의 입력(예를 들어, 제스처, 음성 명령, 버튼의 작동 또는 다른 유형의 입력)을 감지할 수 있다.
자세히, 입력 시스템(150)은 버튼, 터치 센서 및 사용자 모션 입력을 수신하는 이미지 센서(161)를 포함할 수 있다. Specifically, the
또한, 입력 시스템(150)은, 인터페이스 모듈(140)을 통해 외부 컨트롤러와 연결되어, 사용자의 입력을 수신할 수 있다. Also, the
디스플레이 시스템(170)은, 웨어러블 타입 컴퓨팅 디바이스(100) 주변 물리적 공간으로부터의 광이 사용자의 눈에 도달하도록 투과함과 동시에, 디스플레이 시스템(170)에 의해 표시된 가상 컨텐츠를 사용자의 눈을 향해 반사시키는 투명한 글래스 디스플레이를 포함할 수 있다. The display system 170 transmits light from the physical space surrounding the wearable
이러한 디스플레이 시스템(170)은, 웨어러블 컴퓨팅 디바이스(100)를 착용한 사용자의 좌안에 대응되는 좌측 디스플레이(171)와, 우안에 대응되는 우측 디스플레이(172)를 포함할 수 있으며, 좌측 디스플레이(171)와 우측 디스플레이(172)는 시차에 오프셋을 둔 서로 다른 이미지를 가상 컨텐츠로 출력함으로써, 사용자는 가상 컨텐츠를 3차원 이미지로 인식할 수 있다. The display system 170 may include a
실시예에서 디스플레이 시스템(170)은, 혼합 현실 환경 서비스와 관련된 다양한 정보를 그래픽 이미지로 출력할 수 있다. In an embodiment, the display system 170 may output various information related to the mixed reality environment service as a graphic image.
이러한 디스플레이는, 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉서블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전자잉크 디스플레이(e-ink display) 중에서 적어도 하나를 포함할 수 있다. Such displays include a liquid crystal display (LCD), a thin film transistor-liquid crystal display (TFT LCD), an organic light-emitting diode (OLED), and a flexible display. , a three-dimensional display (3D display), may include at least one of an electronic ink display (e-ink display).
이러한 웨어러블 타입 컴퓨팅 디바이스(100)는, 작업 현장과 같은 물리적 공간에 위치한 현장 작업자가 사용하기에 유리할 수 있다. The wearable
< 타겟 객체(300) ><
타겟 객체(300)는 고정된 실제 객체 일 수 있다. 혼합 현실 환경에서 타겟 객체(300)는 웨어러블 타입 컴퓨팅 디바이스(100)를 착용한 사용자에게 작업 대상이 되는 가상 컨텐츠가 증강될 수 있다. 일 예로, 혼합 현실 환경이 의료 수술 환경이면, 타겟 객체(300)에 증강되는 가상 컨텐츠는 수술 대상인 환자의 수술 부위가 될 수 있다. 다른 예로, 혼합 현실 환경이 용접 작업 환경이면, 타겟 객체(300)에 증강되는 가상 컨텐츠는 용접이 되는 물체일 수 있다. 다만, 전술한 예시에 한정하는 것은 아니나, 의료 환경과 같이 타겟, 가이드 도구 그리고 증강 컨텐츠 간의 정밀한 상호 작용이 요구되는 환경에서 실시예의 효과는 극대화될 수 있다.The
웨어러블 타입 컴퓨팅 디바이스(100)는 타겟 객체(300)에 매칭된 가상 컨텐츠를 서버 시스템(200)으로부터 수신하여, 디스플레이를 통해 증강 현실로 출력할 수 있다. 일반적으로 이미지 센서(161)로 촬영된 영상에 타겟 객체(300)의 자세에 맞게 매칭된 가상 컨텐츠를 증강하려면 사전에 해당 타겟 객체(300)의 자세를 알아야 한다. 여기서, 자세는 객체에 대한 기준 포인트 위치 및 6 자유도를 포함한다. 기준 포인트 위치는 3차원 공간에서의 기준 포인트의 좌표일 수 있다. 타겟 객체(300)의 기준 포인트는 타겟 객체(300)의 자세를 추정하기 위한 기준이 되는 타겟 객체(300) 상의 적어도 하나 이상의 지점을 의미한다. 이러한 기준 포인트는, 타겟 객체(300)에 기초하여 증강현실을 구현할 때 해당 타겟 객체(300)에 매칭된 가상 컨텐츠 증강을 위한 기준 파라미터로 이용될 수 있다. 타겟 객체(300)의 6 자유도는 3차원 공간에서 기준 포인트를 기준으로 운동하는 타겟 객체(300)의 여섯 가지 회전 및 병진 동작 요소를 측정한 자세 추정 정보일 수 있다. 자세히, 6 자유도는, 3차원 직각 좌표계에서 X축 중심의 좌우 회전(roll), Y축 중심의 앞뒤 회전(pitch), Z축 중심의 위아래 회전(yaw) 동작과 앞뒤(forward/back, surge), 좌우(left/right, sway), 위아래(up/down, heave) 병진 동작(translational motion)에 대한 값을 측정한 정보일 수 있다. 일반적으로 위와 같은 타겟 객체(300)의 자세 정보를 획득하기 위해, 타겟 객체(300)에 매칭되는 마커(미도시)를 이용하는 방법이 이용되고 있다. 여기서, 마커란, 매칭되는 오브젝트의 존재, 위치 및/또는 성격 등을 표시하는 매개체를 의미할 수 있다. 이에 제한되는 것은 아니고, 타겟 객체(300)의 자세 정보를 획득하기 위해서 타겟 객체 형상 자체를 딥러닝 모델을 이용하여 이미지를 학습하는 방법이 이용될 수 있다.The wearable
<가이드 도구(400)><Guide Tool (400)>
가이드 도구(400)는 사용자가 움직일 수 있는 실제 객체 일 수 있다. 혼합 현실 환경에서 가이드 도구(400)는 웨어러블 타입 컴퓨팅 디바이스(100)를 착용한 사용자가 작업 대상이 되는 가상 컨텐츠에 상호 작용을 할 수 있는 가상 컨텐츠가 증강될 수 있다. 일 예로, 혼합 현실 환경이 의료 수술 환경이면, 가이드 도구(400)에 증강되는 가상 컨텐츠는 수술 도구(메스, 블레이드, 겸자, 파지기, 가위, 스태플러, 혈관 밀봉기, 생검 도구, 봉합 도구, 또는 클립 어플라이어 등)가 될 수 있다. 다른 예로, 혼합 현실 환경이 용접 작업 환경이면, 가이드 도구(400)에 증강되는 가상 컨텐츠는 용접기일 수 있다. 다만, 전술한 예시에 한정하는 것은 아니다.The
웨어러블 타입 컴퓨팅 디바이스(100)는 가이드 도구(400)에 매칭된 가상 컨텐츠를 서버 시스템(200)으로부터 수신하여, 디스플레이를 통해 증강 현실로 출력할 수 있다. 일반적으로 이미지 센서(161)로 촬영된 영상에 가이드 도구(400)의 자세에 맞게 매칭된 가상 컨텐츠를 증강하려면 사전에 해당 가이드 도구(400)의 자세를 알아야 한다. 가이드 도구(400)의 기준 포인트 위치는 3차원 공간에서의 기준 포인트의 좌표일 수 잇다. 가이드 도구(400)의 6 자유도는 3차원 공간에서 기준 포인트를 기준으로 운동하는 가이드 도구(400)의 여섯 가지 회전 및 병진 동작 요소를 측정한 자세 추정 정보일 수 있다. 타겟 객체(300)와 마찬가지로 가이드 도구(400)의 자세 정보를 획득하기 위해, 가이드 도구(400)에 매칭되는 마커를 이용하는 방법이 이용되고 있다. 이에 제한되는 것은 아니고, 가이드 도구(400)의 자세 정보를 획득하기 위해서 타겟 객체 형상 자체를 딥러닝 모델을 이용하여 이미지를 학습하는 방법이 이용될 수 있다.The wearable
<카메라로 촬영된 객체 추적을 위한 자세 추정 방법><Position estimation method for tracking objects captured by the camera>
도 3은 본 발명의 실시예에 따른 카메라로 촬영된 객체 추적을 위한 자세 추정 방법을 설명하기 위한 흐름도이고, 도 4는 도 3 및 도 5의 각 구성에 대한 자세 정보 획득 및 원점 변경에 따른 각 구성에 대한 상대적인 전환 관계를 설명하기 위한 예시도이다.3 is a flowchart for explaining a posture estimation method for tracking an object photographed with a camera according to an embodiment of the present invention, and FIG. 4 is each according to obtaining posture information and changing the origin for each configuration of FIGS. 3 and 5 It is an exemplary diagram for explaining a relative conversion relationship with respect to a configuration.
본 발명의 실시예에 따른 카메라로 촬영된 객체 추적을 위한 자세 추정 방법은, 제1 웨어러블 타입 컴퓨팅 장치(100)의 제1 이미지 센서(161)가 가이드 도구(400)와 타겟 객체(300)를 촬영하여 획득한 제1 영상에서 서버 시스템(200)의 프로세서(220)가 메모리(250)에 저장한 자세 추적 어플리케이션을 동작시켜 자세 추적 어플리케이션이 가이드 도구(400)를 추적할 수 있다.In the posture estimation method for tracking an object photographed by a camera according to an embodiment of the present invention, the
도 3 및 도 4를 참조하면, 본 발명의 실시예에 따른 카메라로 촬영된 객체 추적을 위한 자세 추정 방법은, 자세 추적 어플리케이션이 제1 이미지 센서(View1)를 캘리브레이션하여 제1 이미지 센서(View1)의 내부 파라미터(K1) 및 자세(P1)를 획득하는 단계(S301)를 포함할 수 있다. 보다 구체적으로, 제1 이미지 센서 자세(P1)는 제1 이미지 센서(View1)가 촬영한 공간의 영상에서 원점일 수 있다. 3 and 4 , in the posture estimation method for tracking an object photographed by a camera according to an embodiment of the present invention, the posture tracking application calibrates the first image sensor View1 to obtain the first image sensor View1 It may include a step (S301) of obtaining the internal parameter (K1) and the posture (P1) of (S301). More specifically, the first image sensor posture P1 may be the origin in the image of the space captured by the first image sensor View1.
또한, 본 발명의 실시예에 따른 카메라로 촬영된 객체 추적을 위한 자세 추정 방법은, 자세 추적 어플리케이션이 제1 이미지 센서(View1)에서 촬영된 제1 영상을 수신하는 단계(S302)를 포함할 수 있다. 즉, 제1 웨어러블 타입 컴퓨팅 장치(100)는 제1 이미지 센서(View1)로 촬영한 제1 영상을 서버 시스템(200)에 전송할 수 있다. In addition, the posture estimation method for tracking an object photographed with a camera according to an embodiment of the present invention may include the step (S302) of the posture tracking application receiving the first image captured by the first image sensor (View1). have. That is, the first wearable
또한, 본 발명의 실시예에 따른 카메라로 촬영된 객체 추적을 위한 자세 추정 방법은, 자세 추적 어플리케이션이 제1 영상 내의 타겟 객체(300)에 대하여 제1 공간 좌표계를 설정하는 단계(S303)를 포함할 수 있다. 제1 공간 좌표계는 제1 이미지 센서(View1)를 통해 촬영되는 3차원 공간에 대한 좌표계일 수 있다.In addition, the posture estimation method for tracking an object photographed by a camera according to an embodiment of the present invention includes the step (S303) of the posture tracking application setting a first spatial coordinate system with respect to the
또한, 본 발명의 실시예에 따른 카메라로 촬영된 객체 추적을 위한 자세 추정 방법은, 자세 추적 어플리케이션이 제1 공간 좌표계를 기초하여 타겟 객체(300)에 대한 상대적인 자세를 계산()하여 제1 타겟 상대 자세(P2)를 추정하는 단계(S304)를 포함할 수 있다. 보다 구체적으로, 서버 시스템(200)은, 피앤피(Perspective-n-Point, PnP) 및/또는 호모그래피(Homography) 알고리즘 등에 기초한 자세 추정 기법을 적용하여 제1 타겟 상대 자세(P2)를 획득할 수 있다. 제1 타겟 상대 자세(P2)는 제1 이미지 센서(View1)에 대한 상대적인 6자유도(R2)와 기준 포인트의 위치(t2)일 수 있다. 이때 6자유도는 3X3 행렬로 표현되고, 위치는 3X1 벡터로 표현되므로, 제1 타겟 상대 자세(P2)은 수학식 1을 따를 수 있다.In addition, in the posture estimation method for tracking an object photographed with a camera according to an embodiment of the present invention, the posture tracking application calculates a relative posture with respect to the
[수학식 1][Equation 1]
또한, 본 발명의 실시예에 따른 카메라로 촬영된 객체 추적을 위한 자세 추정 방법은, 자세 추적 어플리케이션이 제1 타겟 상대 자세(P2)를 제1 이미지 센서 자세(P1)에 대하여 원점 자세로 설정하도록 제1 이미지 센서 자세(P1)를 변환()하여 제1 이미지 센서 변환 자세(P1)를 획득하는 단계(S305)를 포함할 수 있다. 보다 구체적으로, 즉, 제1 타겟 상대 자세(P2)는 원점이 된다. 제1 이미지 센서 변환 자세(P1)는 제1 타겟 상대 자세(P2)을 역변환한 수학식 2를 따를 수 있다.In addition, in the posture estimation method for tracking an object photographed with a camera according to an embodiment of the present invention, the posture tracking application sets the first target relative posture P2 as the origin posture with respect to the first image sensor posture P1. Convert the first image sensor attitude (P1) ( ) to obtain the first image sensor transformation posture P1 (S305). More specifically, that is, the first target relative posture P2 becomes the origin. The first image sensor transformation posture P1 may follow Equation 2 obtained by inverse transformation of the first target relative posture P2 .
[수학식 2][Equation 2]
또한, 본 발명의 실시예에 따른 카메라로 촬영된 객체 추적을 위한 자세 추정 방법은, 자세 추적 어플리케이션이 제1 공간 좌표계에서 설정된 원점 자세에 기초하여 가이드 도구(400)의 상대적인 자세를 계산()하여 가이드 도구 상대 자세(P3)를 추정하는 단계(S306)를 포함할 수 있다. 보다 구체적으로, 서버 시스템(200)은, 피앤피(Perspective-n-Point, PnP) 및/또는 호모그래피(Homography) 알고리즘 등에 기초한 자세 추정 기법을 적용하여 가이드 도구 상대 자세(P3)를 획득할 수 있다. 가이드 도구 상대 자세(P3)는 제1 타겟 상대 자세(P2)에 대한 상대적인 6자유도(R3)와 기준 포인트의 위치(t3)일 수 있다. 만약, 이미지 센서(View1)를 원점으로 하여 타겟 객체(300)와 가이드 도구(400)의 상대적인 자세를 계산 할 경우, 이미지 센서(View1)가 움직이면 원점이 변경되어 다시 새롭게 타겟 객체(300)와 가이드 도구(400)의 상대적인 자세를 계산하여야 해서 계산량이 증가하는 문제가 있다. 본 발명은 고정된 물체인 타겟 객체(300)를 원점으로 하기 때문에 이미지 센서(View1)가 움직이 더라도 원점의 변경이 없으므로 움직이는 가이드 도구(400)와 타겟 객체(300)의 상대적인 자세를 신속하고 정확하게 계산할 수 있다.In addition, in the posture estimation method for tracking an object photographed by a camera according to an embodiment of the present invention, the posture tracking application calculates the relative posture of the
또한, 본 발명의 실시예에 따른 카메라로 촬영된 객체 추적을 위한 자세 추정 방법은, 자세 추적 어플리케이션이 추정된 가이드 도구 상대 자세(P3)에 기초하여 가이드 도구를 추적하는 단계(S307)를 포함할 수 있다. In addition, the posture estimation method for tracking an object photographed with a camera according to an embodiment of the present invention may include the step (S307) of tracking the guide tool based on the guide tool relative posture P3 estimated by the posture tracking application. can
전술한, 본 발명의 실시예에 따른 카메라로 촬영된 객체 추적을 위한 자세 추정 방법은, 자세 추정을 위한 원점을 변환하여 객체의 자세 추정 절차를 간소화하면서 정확하게 객체의 자세를 추정할 수 있다. 또한, 본 발명의 카메라로 촬영된 객체 추적을 위한 자세 추정 방법은, 카메라가 실시간으로 움직여도 실제 객체에 대한 자세를 신속하고 정확하게 추정 할 수 있다. 또한, 본 발명의 카메라로 촬영된 객체 추적을 위한 자세 추정 방법은, 카메라가 실시간으로 움직여도 복수의 실제 객체에 대한 자세를 신속하고 정확하게 추정 할 수 있다.The above-described posture estimation method for tracking an object photographed by a camera according to an embodiment of the present invention can accurately estimate the posture of the object while simplifying the posture estimation procedure of the object by transforming the origin for posture estimation. In addition, the posture estimation method for tracking an object photographed by a camera of the present invention can quickly and accurately estimate the posture of a real object even when the camera moves in real time. In addition, the posture estimation method for tracking an object photographed by a camera of the present invention can quickly and accurately estimate the posture of a plurality of real objects even when the camera moves in real time.
도 5은 도 3의 추적을 위한 자세 추정 방법에서 카메라가 추가된 경우 추가된 카메라로 촬영된 객체 추적을 위한 자세 추정 방법을 추가 설명하기 위한 흐름도이다.FIG. 5 is a flowchart for further explaining a posture estimation method for tracking an object captured by the added camera when a camera is added in the posture estimation method for tracking of FIG. 3 .
본 발명의 실시예에 따른 카메라로 촬영된 객체 추적을 위한 자세 추정 방법은, 제1 웨어러블 타입 컴퓨팅 장치(100)와 동일한 환경에 있는 별도의 제2 웨어러블 타입 컴퓨팅 장치(100)의 제2 이미지 센서(161)가 동일한 가이드 도구(400)와 타겟 객체(300)를 촬영하여 획득한 제2 영상에서 서버 시스템(200)의 프로세서(220)가 메모리(250)에 저장한 자세 추적 어플리케이션을 동작시켜 자세 추적 어플리케이션이 가이드 도구(400)를 추적할 수 있다.In the posture estimation method for tracking an object photographed by a camera according to an embodiment of the present invention, a second image sensor of a separate second wearable
도 3 및 도 5를 참조하면, 본 발명의 실시예에 따른 카메라로 촬영된 객체 추적을 위한 자세 추정 방법은, 자세 추적 어플리케이션이 제2 이미지 센서(View2)를 각각 캘리브레이션하여 제2 이미지 센서의 내부 파라미터(K2) 및 자세(P4)를 획득하는 단계(S308)를 포함할 수 있다. 보다 구체적으로, 제2 이미지 센서 자세(P4)는 제2 이미지 센서(View2)가 촬영한 공간의 영상에서 원점일 수 있다. 3 and 5 , in the posture estimation method for tracking an object photographed with a camera according to an embodiment of the present invention, the posture tracking application calibrates the second image sensor View2, respectively, and the inside of the second image sensor and obtaining the parameter K2 and the posture P4 ( S308 ). More specifically, the second image sensor posture P4 may be the origin in the image of the space captured by the second image sensor View2.
또한, 본 발명의 실시예에 따른 카메라로 촬영된 객체 추적을 위한 자세 추정 방법은, 자세 추적 어플리케이션이 제2 이미지 센서(View2)에서 촬영된 제2 영상을 수신하는 단계(S309)를 포함할 수 있다. 즉, 제2 웨어러블 타입 컴퓨팅 장치(100)는 제2 이미지 센서(View2)로 촬영한 제2 영상을 서버 시스템(200)에 전송할 수 있다.In addition, the posture estimation method for tracking an object photographed with a camera according to an embodiment of the present invention may include the step (S309) of the posture tracking application receiving a second image captured by the second image sensor (View2). have. That is, the second wearable
또한, 본 발명의 실시예에 따른 카메라로 촬영된 객체 추적을 위한 자세 추정 방법은, 자세 추적 어플리케이션이 제2 영상 내의 타겟 객체에 대하여 제2 공간 좌표계를 설정하는 단계(S310)를 포함할 수 있다. 제2 공간 좌표계는 제2 이미지 센서(View2)를 통해 촬영되는 3차원 공간에 대한 좌표계일 수 있다.In addition, the posture estimation method for tracking an object captured by a camera according to an embodiment of the present invention may include the step (S310) of the posture tracking application setting a second spatial coordinate system with respect to the target object in the second image. . The second spatial coordinate system may be a coordinate system for a three-dimensional space imaged through the second image sensor View2.
또한, 본 발명의 실시예에 따른 카메라로 촬영된 객체 추적을 위한 자세 추정 방법은, 자세 추적 어플리케이션이 제2 공간 좌표계를 기초하여 타겟 객체(300)에 대한 상대적인 자세()를 계산하여 제2 타겟 상대 자세(P2-2)를 추정하는 단계(S311)를 포함할 수 있다. 보다 구체적으로, 서버 시스템(200)은, 피앤피(Perspective-n-Point, PnP) 및/또는 호모그래피(Homography) 알고리즘 등에 기초한 자세 추정 기법을 적용하여 제2 타겟 상대 자세(P2-2)를 획득할 수 있다. 제2 타겟 상대 자세(P2-2)는 제2 이미지 센서(View2)에 대한 상대적인 6자유도(R2-2)와 기준 포인트의 위치(t2-2)일 수 있다. 이때 6자유도는 3X3 행렬로 표현되고, 위치는 3X1 벡터로 표현되므로, 제2 타겟 상대 자세(P2-2)은 수학식 3을 따를 수 있다.In addition, in the posture estimation method for tracking an object photographed with a camera according to an embodiment of the present invention, the posture tracking application is a relative posture with respect to the
[수학식 3][Equation 3]
또한, 본 발명의 실시예에 따른 카메라로 촬영된 객체 추적을 위한 자세 추정 방법은, 자세 추적 어플리케이션이 제2 공간 좌표계에서 제2 타겟 상대 자세(P2-2)를 제2 이미지 센서 자세(P4)에 대하여 원점 자세로 설정하도록 제2 이미지 센서 자세를 변환()하여 제2 이미지 센서 변환 자세(P4)를 획득하는 단계(S312)를 포함할 수 있다. 보다 구체적으로, 제2 이미지 센서 변환 자세(P4)는 제2 타겟 상대 자세(P2-2)을 역변환한 수학식 4를 따를 수 있다.In addition, in the posture estimation method for tracking an object photographed by a camera according to an embodiment of the present invention, the posture tracking application sets the second target relative posture P2-2 in the second spatial coordinate system to the second image sensor posture P4. Convert the second image sensor posture to set as the origin posture for ) to obtain a second image sensor conversion posture P4 ( S312 ). More specifically, the second image sensor transformation posture P4 may follow Equation 4 obtained by inversely transforming the second target relative posture P2-2.
[수학식 4][Equation 4]
또한, 본 발명의 실시예에 따른 카메라로 촬영된 객체 추적을 위한 자세 추정 방법은, 자세 추적 어플리케이션이 제2 공간 좌표계에서 설정된 원점 자세에 기초하여 가이드 도구의 상대적인 자세를 계산하여 제1-2 가이드 도구 상대 자세(P3-2)를 추정하는 단계(S313)를 포함할 수 있다. 보다 구체적으로, 서버 시스템(200)은, 피앤피(Perspective-n-Point, PnP) 및/또는 호모그래피(Homography) 알고리즘 등에 기초한 자세 추정 기법을 적용하여 제1-2 가이드 도구 상대 자세(P3-2)를 획득할 수 있다. 제2 가이드 도구 상대 자세(P3-2)는 제2 타겟 상대 자세(P2-2)에 대한 상대적인 6자유도(R3-2)와 기준 포인트의 위치(t3-2)일 수 있다. In addition, in the posture estimation method for tracking an object photographed with a camera according to an embodiment of the present invention, the posture tracking application calculates the relative posture of the guide tool based on the origin posture set in the second spatial coordinate system to guide the first 1-2 The method may include estimating the tool relative posture P3 - 2 ( S313 ). More specifically, the
이 때, 제1 웨어러블 타입 컴퓨팅 장치를 착용한 사용자와 제2 웨어러블 타입 컴퓨팅 장치를 착용한 사용자가 동일한 타겟 객체와 가이드 도구를 동일한 자세로 인식하기 위해서는 모든 시점 간의 상대적인 회전 및 이동 정보를 정확하게 파악해야 한다. 만약에 서버 시스템(200)이 제1 이미지 센서(View1)와 제2 이미지 센서(View2) 각각을 원점으로 하여 타겟 객체(300)와 가이드 도구(400)의 상대적인 자세를 계산 할 경우 가이드 도구(400), 제1 이미지 센서(View1)와 제2 이미지 센서(View2)가 모두 움직여 원점이 변경되기 때문에 모든 시점 간의 상대적인 회전 및 이동 정보를 정확하게 파악하는 계산이 복잡하여 계산량이 증가하는 문제가 있었다. 본 발명은, 서버 시스템(200)이 타겟 객체를 원점으로 하였기 때문에 가이드 도구(400), 제1 이미지 센서(View1)와 제2 이미지 센서(View2)가 모두 움직이더라도 원점의 변화가 없기 때문에 타겟 객체(300)와 가이드 도구(400)의 상대적인 자세를 신속하고 정확하게 계산할 수 있다.At this time, in order for the user wearing the first wearable type computing device and the user wearing the second wearable type computing device to recognize the same target object and the guide tool in the same posture, it is necessary to accurately grasp the relative rotation and movement information between all viewpoints. do. If the
또한, 본 발명의 실시예에 따른 카메라로 촬영된 객체 추적을 위한 자세 추정 방법은, 상기 자세 추적 어플리케이션이, 제2 영상에서, 제1-2 가이드 도구 상대 자세(P3-2)에 기초하여 가이드 도구(400)를 추적하는 단계(S314)를 포함할 수 있다.In addition, in the posture estimation method for tracking an object photographed with a camera according to an embodiment of the present invention, the posture tracking application guides the second image based on the 1-2 guide tool relative posture P3-2. and tracking the tool 400 ( S314 ).
따라서, 본 발명의 카메라로 촬영된 객체 추적을 위한 자세 추정 방법은, 복수의 카메라가 실시간으로 움직여도 복수의 실제 객체에 대한 자세를 신속하고 정확하게 추정 할 수 있다.Accordingly, the posture estimation method for tracking an object photographed by a camera of the present invention can quickly and accurately estimate the posture of a plurality of real objects even when a plurality of cameras move in real time.
도 6은 본 발명의 실시예에 따른 카메라로 촬영된 객체 추적을 위한 자세 추정 방법을 이용한 혼합 현실 환경 제공 방법을 설명하기 위한 예시도이고, 도 7은 도 6의 혼합 현실 환경 제공 방법을 이용하여 의료 수술 현장에 관한 혼합 현실 환경 서비스를 제공하는 모습의 예시도이다.6 is an exemplary diagram for explaining a method for providing a mixed reality environment using a posture estimation method for tracking an object captured by a camera according to an embodiment of the present invention, and FIG. 7 is a method for providing a mixed reality environment using the method of FIG. It is an example diagram of providing a mixed reality environment service for a medical surgery site.
본 발명의 실시예에 따른 혼합 현실 환경 제공 방법은, 제1 웨어러블 타입 컴퓨팅 디바이스(100)이 제1 이미지 센서(161)로 타겟 객체(300) 및 제1 가이드 도구(400)를 촬영하여 획득한 제1 영상에서 서버 시스템(200)의 프로세서(220)가 혼합 현실 어플리케이션을 동작시켜 혼합 현실 어플리케이션이 제1 가이드 도구(400a)를 추적하고 혼합 현실 환경을 제공할 수 있다. 이하 설명에서 도 3 내지 도 5의 본 발명의 실시예에 따른 카메라로 촬영된 객체 추적을 위한 자세 추정 방법에 대한 설명과 동일한 내용은 생략한다.In the method for providing a mixed reality environment according to an embodiment of the present invention, the first wearable
도 6 및 도 7을 참조하면, 본 발명의 실시예에 따른 혼합 현실 환경 제공 방법은, 혼합 현실 어플리케이션이 제1 이미지 센서를 캘리브레이션하여 제1 이미지 센서의 내부 파라미터 및 자세(P5)를 획득하는 단계(S601)을 포함할 수 있다. 6 and 7 , in a method for providing a mixed reality environment according to an embodiment of the present invention, the mixed reality application includes the steps of calibrating a first image sensor to obtain an internal parameter and a posture P5 of the first image sensor (S601) may be included.
또한, 본 발명의 실시예에 따른 혼합 현실 환경 제공 방법은, 혼합 현실 어플리케이션이 제1 이미지 센서에서 촬영된 제1 영상을 수신하는 단계(S602)를 포함할 수 있다.Also, the method for providing a mixed reality environment according to an embodiment of the present invention may include receiving a first image captured by the mixed reality application from the first image sensor ( S602 ).
또한, 본 발명의 실시예에 따른 혼합 현실 환경 제공 방법은, 혼합 현실 어플리케이션이 제1 영상 내의 타겟 객체에 대하여 제1 공간 좌표계를 설정하는 단계(S603)를 포함할 수 있다.Also, the method for providing a mixed reality environment according to an embodiment of the present invention may include setting, by the mixed reality application, a first spatial coordinate system with respect to a target object in a first image ( S603 ).
또한, 본 발명의 실시예에 따른 혼합 현실 환경 제공 방법은, 혼합 현실 어플리케이션이 제1 공간 좌표계를 기초하여 타겟 객체에 대한 상대적인 자세를 계산()하여 제1 타겟 상대 자세(P7)를 추정하는 단계(S604)를 포함할 수 있다.In addition, in the method for providing a mixed reality environment according to an embodiment of the present invention, the mixed reality application calculates a position relative to the target object based on the first spatial coordinate system ( ) and estimating the first target relative posture P7 ( S604 ).
또한, 본 발명의 실시예에 따른 혼합 현실 환경 제공 방법은, 혼합 현실 어플리케이션이 타겟 상대 자세(P7)를 제1 이미지 센서 자세(P5)에 대하여 원점 자세로 설정하도록 제1 이미지 센서 자세(P5)를 변환()하여 제1 이미지 센서 변환 자세(P5)를 획득하는 단계(S605)를 포함할 수 있다. 즉, 타겟 상대 자세(P7)는 원점이 된다.In addition, in the method for providing a mixed reality environment according to an embodiment of the present invention, the mixed reality application sets the target relative posture P7 as the origin posture with respect to the first image sensor posture P5 so that the first image sensor posture P5 is performed. convert ( ) to obtain the first image sensor conversion posture P5 ( S605 ). That is, the target relative posture P7 becomes the origin.
또한, 본 발명의 실시예에 따른 혼합 현실 환경 제공 방법은, 혼합 현실 어플리케이션이 제1 공간 좌표계에서 설정된 원점 자세에 기초하여 제1 가이드 도구의 상대적인 자세를 계산()하여 제1 가이드 도구 상대 자세(P6)를 추정하는 단계(S606)를 포함할 수 있다.In addition, in the method for providing a mixed reality environment according to an embodiment of the present invention, the mixed reality application calculates the relative posture of the first guide tool based on the origin posture set in the first spatial coordinate system ( ) to estimate the first guide tool relative posture (P6) (S606).
또한, 본 발명의 실시예에 따른 혼합 현실 환경 제공 방법은, 혼합 현실 어플리케이션이 추정된 제1 가이드 도구 상대 자세(P6)에 기초하여 제1 가이드 도구를 추적하는 단계(S607)를 포함할 수 있다.In addition, the method for providing a mixed reality environment according to an embodiment of the present invention may include the step of tracking the first guide tool based on the estimated first guide tool relative posture P6 by the mixed reality application ( S607 ). .
또한, 본 발명의 실시예에 따른 혼합 현실 환경 제공 방법은, 혼합 현실 어플리케이션이 타겟 객체에 대응한 제1 가상 컨텐츠를 생성하고, 추적된 제1 가이드 도구에 대응한 제2 가상 컨텐츠 생성하는 단계(S608)을 포함할 수 있다. 일 예로, 도 7과 같이, 혼합 현실 환경이 의료 수술 현장인 경우, 서버 시스템(200)은 제1 가이드 도구(400)에 대응하여 제1 가상 컨텐츠를 메스로 생성할 수 있고, 타겟 객체(300)에 대응하여 제2 가상 컨텐츠를 수술부위로 생성할 수 있다.In addition, the method for providing a mixed reality environment according to an embodiment of the present invention includes the steps of, in a mixed reality application, generating first virtual content corresponding to a target object, and generating second virtual content corresponding to the tracked first guide tool ( S608) may be included. For example, as shown in FIG. 7 , when the mixed reality environment is a medical surgery site, the
또한, 본 발명의 실시예에 따른 혼합 현실 환경 제공 방법은, 혼합 현실 어플리케이션이, 제1 영상에서, 타겟 객체의 원점 자세에 기초하여 타겟 객체에 제1 가상 컨텐츠를 증강하고, 제1 가이드 도구 상대 자세에 기초하여 제1 가이드 도구에 제2 가상 컨텐츠를 증강하여 혼합 현실 환경을 제공하는 단계(S609)를 포함할 수 있다. 일 예로, 도 7과 같이, 혼합 현실 환경이 의료 수술 현장인 경우, 서버 시스템(200)은 제1 가이드 도구(400)에 제1 가이드 도구 상대 자세(P6)에 맞게 제1 가상 컨텐츠인 메스를 증강할 수 있다. 또한, 서버 시스템(200)은 타겟 객체(300)에 원점 자세에 맞게 제2 가상 컨텐츠인 개복한 모습을 증강할 수 있다. 또한, 제1 가이드 도구(400)가 타겟 객체(300)에 인접하여 절개하는 동작을 할 경우, 서브 시스템(200)은 제1 가상 컨텐츠인 메스가 제2 가상 컨텐츠인 수술 부위에 작용하여 수술부위가 절개되는 모습으로 제2 가상 컨텐츠를 변형할 수 있다. In addition, in the method for providing a mixed reality environment according to an embodiment of the present invention, the mixed reality application augments the first virtual content in the target object based on the origin posture of the target object in the first image, and the first guide tool opponent The method may include providing a mixed reality environment by augmenting the second virtual content to the first guide tool based on the posture (S609). For example, as shown in FIG. 7 , when the mixed reality environment is a medical surgery site, the
이와 같이 본 발명은 실제 객체에 대한 자세 추정이 신속하고 정확이 이루어 지기 때문에 가상 컨텐츠 간에 상호 작용이 필요한 실시간성이 요구되는 작업 환경의 콘텐츠에 적용할 수 있다. 즉, 본 발명은 실제 객체에 대한 자세 추정이 신속하고 정확이 이루어 지기 때문에 객체 증강에 있어 객체 추적의 밀림이나 어긋남을 예방할 수 있어 이질감을 줄이는 증강현실 및 증강 가상 콘텐츠를 제공할 수 있다.As described above, the present invention can be applied to content in a work environment that requires real-time interaction between virtual content because the posture estimation for a real object is quickly and accurately performed. That is, the present invention can provide augmented reality and augmented virtual content that reduces the sense of heterogeneity by preventing the movement or misalignment of object tracking in object augmentation because posture estimation for a real object is quickly and accurately performed.
따라서, 본 발명의 혼합 현실 환경 제공 방법은, 카메라가 실시간으로 움직여도 복수의 실제 객체에 가상 컨텐츠를 증강하고 증강된 실제 객체 사이에 상호작용하는 혼합 현실 환경을 제공할 수 있다.Accordingly, the method for providing a mixed reality environment of the present invention may provide a mixed reality environment in which virtual content is augmented on a plurality of real objects and the augmented real objects interact even when the camera moves in real time.
도 8은 도 6의 혼합 현실 환경 제공 방법에서 혼합 현실 환경을 제공 받는 사용자가 추가된 경우 복수의 사용자에게 혼합 현실 환경 제공 방법을 설명하기 위한 예시도이고, 도 9는 도 8의 혼합 현실 환경 제공 방법을 이용하여 의료 수술 현장에 관한 복수의 사용자에게 혼합 현실 환경 서비스를 제공하는 모습의 예시도이다.8 is an exemplary diagram illustrating a method of providing a mixed reality environment to a plurality of users when a user receiving a mixed reality environment is added in the method of providing the mixed reality environment of FIG. 6 , and FIG. 9 is the mixed reality environment of FIG. 8 . It is an exemplary diagram of a state in which a mixed reality environment service is provided to a plurality of users related to a medical surgery site by using the method.
본 발명의 실시예에 따른 혼합 현실 환경 제공 방법은, 제1 웨어러블 타입 컴퓨팅 장치와 동일한 환경에 있는 별도의 제2 웨어러블 타입 컴퓨팅 장치의 제2 이미지 센서가 제1 가이드 도구, 제2 가이드 도구 및 타겟 객체를 촬영하여 획득한 제2 영상에서 서버 시스템(200)의 프로세서(220)가 혼합 현실 어플리케이션을 동작시켜 혼합 현실 어플리케이션이 제1 가이드 도구, 제2 가이드 도구 및 타겟 객체를 추적하고 혼합 현실 환경을 제공할 수 있다. In a method for providing a mixed reality environment according to an embodiment of the present invention, a second image sensor of a separate second wearable type computing device in the same environment as the first wearable type computing device includes a first guide tool, a second guide tool, and a target. In the second image obtained by photographing the object, the
또한, 본 발명의 실시예에 따른 혼합 현실 환경 제공 방법은, 혼합 현실 어플리케이션이 제2 이미지 센서를 캘리브레이션하여 제2 이미지 센서의 내부 파라미터 및 자세를 획득하는 단계(S610)를 포함할 수 있다. 제2 이미지 센서 자세(P4)는 제2 이미지 센서가 촬영한 공간의 영상에서 원점일 수 있다.Also, the method for providing a mixed reality environment according to an embodiment of the present invention may include a step ( S610 ) in which the mixed reality application calibrates the second image sensor to obtain internal parameters and postures of the second image sensor. The second image sensor posture P4 may be an origin in an image of a space captured by the second image sensor.
또한, 본 발명의 실시예에 따른 혼합 현실 환경 제공 방법은, 혼합 현실 어플리케이션이 제2 이미지 센서에서 촬영된 제2 영상을 수신하는 단계(S611)를 포함할 수 있다. Also, the method for providing a mixed reality environment according to an embodiment of the present invention may include receiving a second image captured by a second image sensor by the mixed reality application ( S611 ).
또한, 본 발명의 실시예에 따른 혼합 현실 환경 제공 방법은, 혼합 현실 어플리케이션이 제2 영상 내의 상기 타겟 객체에 대하여 제2 공간 좌표계를 설정하는 단계(S612)를 포함할 수 있다.In addition, the method for providing a mixed reality environment according to an embodiment of the present invention may include the step of setting a second spatial coordinate system with respect to the target object in the second image by the mixed reality application ( S612 ).
또한, 본 발명의 실시예에 따른 혼합 현실 환경 제공 방법은, 혼합 현실 어플리케이션이 제2 공간 좌표계를 기초하여 타겟 객체에 대한 상대적인 자세를 계산하여 제2 타겟 상대 자세를 추정하는 단계(S613)를 포함할 수 있다.In addition, the method for providing a mixed reality environment according to an embodiment of the present invention includes the step (S613) of estimating a second target relative posture by calculating a posture relative to the target object by the mixed reality application based on the second spatial coordinate system. can do.
또한, 본 발명의 실시예에 따른 혼합 현실 환경 제공 방법은, 혼합 현실 어플리케이션이 제2 타겟 상대 자세를 제2 이미지 센서 자세에 대하여 원점 자세로 설정하도록 제2 이미지 센서 자세를 변환하여 제2 이미지 센서 변환 자세를 획득하는 단계(S614)를 포함할 수 있다.In addition, the method for providing a mixed reality environment according to an embodiment of the present invention converts the second image sensor posture so that the mixed reality application sets the second target relative posture to the origin posture with respect to the second image sensor posture to the second image sensor. It may include a step (S614) of acquiring a transformed posture.
또한, 본 발명의 실시예에 따른 혼합 현실 환경 제공 방법은, 혼합 현실 어플리케이션이 제2 공간 좌표계에서 설정된 원점 자세에 기초하여 제2 가이드 도구의 상대적인 자세를 계산하여 제2 가이드 도구 상대 자세를 추정하고, 제2 공간 좌표계에서 설정된 원점 자세에 기초하여 제1 가이드 도구의 상대적인 자세를 계산하여 제1-2 가이드 도구 상대 자세를 추정하는 단계(S614)를 포함할 수 있다.In addition, in the mixed reality environment providing method according to an embodiment of the present invention, the mixed reality application calculates the relative posture of the second guide tool based on the origin posture set in the second spatial coordinate system to estimate the relative posture of the second guide tool, , calculating the relative posture of the first guide tool based on the origin posture set in the second spatial coordinate system and estimating the relative posture of the first and second guide tools ( S614 ).
또한, 본 발명의 실시예에 따른 혼합 현실 환경 제공 방법은, 혼합 현실 어플리케이션이, 제2 영상에서, 제2 추정된 가이드 도구 상대 자세에 기초하여 제2 가이드 도구를 추적하고, 제1-2 추정된 가이드 도구 상대 자세에 기초하여 제1 가이드 도구를 추적하는 단계(S615)를 포함할 수 있다. In addition, in the method for providing a mixed reality environment according to an embodiment of the present invention, the mixed reality application tracks the second guide tool based on the second estimated guide tool relative posture in the second image, and estimates 1-2 It may include tracking the first guide tool based on the relative posture of the guide tool (S615).
또한, 본 발명의 실시예에 따른 혼합 현실 환경 제공 방법은, 혼합 현실 어플리케이션이 추적된 제2 가이드 도구에 대응한 제3 가상 컨텐츠 생성하는 단계(S616)를 포함할 수 있다. 일 예로, 도 9와 같이, 혼합 현실 환경이 의료 수술 현장이고 제1 내지 제3 사용자가 각각 제1 내지 제3 웨어러블 타입 컴퓨팅 장치(100a, 100b, 100c)를 착용할 수 있다. 또한, 제1 사용자(u1)는 제1 가이드 도구(400a)를 타겟 객체(300)에 대하여 조작하고 있다. 제2 사용자(u2)는 제2 가이드 도구(400b)를 타겟 객체(300)에 대하여 조작하고 있다. 앞서 설명한 자세 추정 방법에 따라, 서버 시스템(500)은 타겟 객체(300)의 자세(P10)를 원점으로 하여 제1 웨어러블 타입 컴퓨팅 장치(100a)의 자세인 제1 이미지 센서 변환 자세(P8-1), 제1 가이드 도구(400a)의 자세인 제1 가이드 도구 상대 자세(P8-2), 제2 웨어러블 타입 컴퓨팅 장치(100b)의 자세인 제2 이미지 센서 변환 자세(P9-1), 제2 가이드 도구(400b)의 자세인 제2 가이드 도구 상대 자세(P9-2), 제3 웨어러블 타입 컴퓨팅 장치(100c)의 자세인 제3 이미지 센서 변환 자세(P11)를 추정할 수 있다. 서버 시스템(200)은 제1 가이드 도구(400a)에 대응하여 제1 가상 컨텐츠를 메스로 생성할 수 있고, 타겟 객체(300)에 대응하여 제2 가상 컨텐츠를 개복한 모습으로 생성할 수 있고, 제2 가이드 도구(400b)에 대응하여 제3 가상 컨텐츠를 생검 도구로 생성할 수 있다. 이 때, 제2 웨어러블 타입 컴퓨팅 장치(100b)에 제공되는 제1 가이드 도구(100a)의 제1 가상 컨텐츠가 시각적으로 보여지는 모습은 제1 웨어러블 타입 컴퓨팅 장치(100a)에 제공되는 제1 가이드 도구(100a)의 제1 가상 컨텐츠가 시각적으로 보여지는 모습과 다를 수 있다. 제2 웨어러블 타입 컴퓨팅 장치(100a)이 보는 시각과 제1 웨어러블 타입 컴퓨팅 장치(100a)이 보는 시각이 달라서 제1 가이드 도구(100a)에 대한 상대 자세가 다르기 때문이다.Also, the method for providing a mixed reality environment according to an embodiment of the present invention may include generating ( S616 ) a third virtual content corresponding to the second guide tool in which the mixed reality application is tracked. For example, as shown in FIG. 9 , the mixed reality environment is a medical surgery site, and first to third users may wear the first to third wearable
또한, 본 발명의 실시예에 따른 혼합 현실 환경 제공 방법은, 혼합 현실 어플리케이션이, 제2 영상에서, 타겟 객체의 원점 자세에 기초하여 타겟 객체에 제1 가상 컨텐츠를 증강하고, 제2 가이드 도구 상대 자세에 기초하여 제2 가이드 도구에 제3 가상 컨텐츠를 증강하고, 제1-2 가이드 도구 상대 자세에 기초하여 제1 가이드 도구에 제2 가상 컨텐츠를 증강하여 혼합 현실 환경을 제공하는 단계(S617)를 포함할 수 있다. 일 예로, 도 9와 같이, 다수의 사용자가 있는 의료 수술 현장의 혼합 현실 환경인 경우, 서버 시스템(200)은 제1 가이드 도구(400a)에 제1 가이드 도구 상대 자세(P8-2) 맞게 제1 가상 컨텐츠인 메스를 증강할 수 있다. 또한, 서버 시스템(200)은 타겟 객체(300)에 원점 자세(P10)에 맞게 제2 가상 컨텐츠인 개복한 모습을 증강할 수 있다. 또한, 서버 시스템(200)은 제2 가이드 도구(400b)에 제2 가이드 도구 상대 자세(P9-2) 맞게 제3 가상 컨텐츠인 생검 도구를 증강할 수 있다. 또한, 제1 사용자(100a)가 제1 가이드 도구(400)로 타겟 객체(300)에 인접하여 절개하는 동작을 할 경우, 서브 시스템(200)은 제1 가상 컨텐츠인 메스가 제2 가상 컨텐츠인 수술 부위에 작용하여 수술부위가 절개되는 모습으로 제2 가상 컨텐츠를 변형할 수 있다. 이후, 제2 사용자(100b)가 제2 가이드 도구(400b)로 타겟 객체(300)에 인접하여 생검하는 동작을 할 경우, 서브 시스템(200)은 제3 가상 컨텐츠인 생검 도구가 제2 가상 컨텐츠인 절개되어 변형된 수술 부위에 작용하여 절개된 곳에서 조직을 생검한 모습으로 제2 가상 컨텐츠를 변형할 수 있다. In addition, in the method for providing a mixed reality environment according to an embodiment of the present invention, the mixed reality application augments the first virtual content on the target object based on the origin posture of the target object in the second image, and the second guide tool Augmenting the third virtual content to the second guide tool based on the posture, and augmenting the second virtual content to the first guide tool based on the relative posture of the 1-2 guide tool to provide a mixed reality environment (S617) may include. For example, as shown in FIG. 9 , in the case of a mixed reality environment of a medical surgery site in which a plurality of users are present, the
이와 같이 본 발명은 실제 객체에 대한 자세 추정이 신속하고 정확이 이루어 지기 때문에 가상 컨텐츠 간에 상호 작용이 필요하고 다수의 작업자가 협업이 필요하여 실시간성이 요구되는 작업 환경의 콘텐츠에 적용할 수 있다. 즉, 본 발명은 실제 객체에 대한 자세 추정이 신속하고 정확이 이루어 지기 때문에 객체 증강에 있어 객체 추적의 밀림이나 어긋남을 예방할 수 있어 이질감을 줄이고 더욱 유연하게 서로 다른 시점에서 증강현실 및 증강 가상 콘텐츠를 제공할 수 있다.As described above, the present invention can be applied to content in a work environment that requires real-time since interaction between virtual content is required and collaboration between virtual content is required because posture estimation for a real object is quickly and accurately performed. That is, the present invention can prevent object tracking from being pushed or misaligned in object augmentation because posture estimation for a real object is quickly and accurately performed, thereby reducing the sense of heterogeneity and more flexibly providing augmented reality and augmented virtual content from different viewpoints. can provide
따라서, 본 발명은 인접한 환경내에서 카메라가 장착된 증강 현실 제공 장치를 착용한 다수의 사용자가 하나의 증강된 작업 대상에 대해 동시 작업을 할 수 있다.Accordingly, according to the present invention, a plurality of users who wear an augmented reality providing apparatus equipped with a camera in an adjacent environment can simultaneously work on one augmented work object.
이상 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.The embodiments according to the present invention described above may be implemented in the form of program instructions that can be executed through various computer components and recorded in a computer-readable recording medium. The computer-readable recording medium may include program instructions, data files, data structures, etc. alone or in combination. The program instructions recorded on the computer-readable recording medium may be specially designed and configured for the present invention, or may be known and used by those skilled in the computer software field. Examples of the computer-readable recording medium include hard disks, magnetic media such as floppy disks and magnetic tapes, optical recording media such as CD-ROMs and DVDs, and magneto-optical media such as floppy disks. medium), and hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like. A hardware device may be converted into one or more software modules to perform processing in accordance with the present invention, and vice versa.
본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.The specific implementations described in the present invention are only examples, and do not limit the scope of the present invention in any way. For brevity of the specification, descriptions of conventional electronic components, control systems, software, and other functional aspects of the systems may be omitted. In addition, the connection or connection members of the lines between the components shown in the drawings exemplarily represent functional connections and/or physical or circuit connections, and in an actual device, various functional connections, physical connections that are replaceable or additional may be referred to as connections, or circuit connections. In addition, unless there is a specific reference such as “essential” or “important”, it may not be a necessary component for application of the present invention.
또한 설명한 본 발명의 상세한 설명에서는 본 발명의 바람직한 실시 예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자 또는 해당 기술분야에 통상의 지식을 갖는 자라면 후술할 특허청구범위에 기재된 본 발명의 사상 및 기술 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. 따라서, 본 발명의 기술적 범위는 명세서의 상세한 설명에 기재된 내용으로 한정되는 것이 아니라 특허청구범위에 의해 정하여져야만 할 것이다.In addition, although the detailed description of the present invention has been described with reference to a preferred embodiment of the present invention, those skilled in the art or those having ordinary knowledge in the art will appreciate the spirit of the present invention described in the claims to be described later. And it will be understood that various modifications and variations of the present invention can be made without departing from the technical scope. Accordingly, the technical scope of the present invention should not be limited to the contents described in the detailed description of the specification, but should be defined by the claims.
100 웨어러블 타입 컴퓨팅 장치
200 서버 시스템
300 타겟 객체
400 가이드 도구100 Wearable Type Computing Devices
200 server systems
300 target object
400 guide tools
Claims (7)
상기 자세 추적 어플리케이션이 상기 제1 이미지 센서를 캘리브레이션하여 상기 제1 이미지 센서의 내부 파라미터 및 자세를 획득하는 단계;
상기 자세 추적 어플리케이션이 상기 제1 이미지 센서에서 촬영된 제1 영상을 수신하는 단계;
상기 자세 추적 어플리케이션이 상기 제1 영상 내의 상기 타겟 객체에 대하여 제1 공간 좌표계를 설정하는 단계;
상기 자세 추적 어플리케이션이 상기 제1 공간 좌표계를 기초하여 상기 타겟 객체에 대한 상대적인 자세를 계산하여 제1 타겟 상대 자세를 추정하는 단계; 및
상기 자세 추적 어플리케이션이 상기 제1 타겟 상대 자세를 상기 제1 이미지 센서 자세에 대하여 원점 자세로 설정하도록 상기 제1 이미지 센서 자세를 변환하여 제1 이미지 센서 변환 자세를 획득하는 단계;를 포함하는
카메라로 촬영된 객체 추적을 위한 자세 추정 방법.In the posture estimation method for the posture tracking application to track the guide tool by the processor of the server system operating the posture tracking application in the first image obtained by the first image sensor capturing the guide tool and the target object,
acquiring, by the posture tracking application, internal parameters and posture of the first image sensor by calibrating the first image sensor;
receiving, by the posture tracking application, a first image captured by the first image sensor;
setting, by the posture tracking application, a first spatial coordinate system with respect to the target object in the first image;
estimating, by the posture tracking application, a first target relative posture by calculating a posture relative to the target object based on the first spatial coordinate system; and
converting the first image sensor posture so that the posture tracking application sets the first target relative posture as an origin posture with respect to the first image sensor posture to obtain a first image sensor conversion posture;
Posture estimation method for tracking objects captured by a camera.
상기 자세 추적 어플리케이션이 상기 제1 공간 좌표계에서 상기 설정된 원점 자세에 기초하여 상기 가이드 도구의 상대적인 자세를 계산하여 가이드 도구 상대 자세를 추정하는 단계; 및
상기 자세 추적 어플리케이션이 상기 추정된 가이드 도구 상대 자세에 기초하여 상기 가이드 도구를 추적하는 단계;를 포함하는
카메라로 촬영된 객체 추적을 위한 자세 추정 방법.According to claim 1,
estimating the guide tool relative posture by calculating, by the posture tracking application, the relative posture of the guide tool based on the set origin posture in the first spatial coordinate system; and
The step of tracking the guide tool based on the estimated guide tool relative posture by the posture tracking application; including
Posture estimation method for tracking objects captured by a camera.
제2 이미지 센서가 상기 가이드 도구와 상기 타겟 객체를 촬영하여 상기 제2 이미지 센서가 제2 영상을 획득하고,
상기 자세 추적 어플리케이션이 상기 제2 이미지 센서를 각각 캘리브레이션하여 상기 제2 이미지 센서의 내부 파라미터 및 자세를 획득하는 단계;
상기 자세 추적 어플리케이션이 상기 제2 이미지 센서에서 촬영된 제2 영상을 수신하는 단계;
상기 자세 추적 어플리케이션이 상기 제2 영상 내의 상기 타겟 객체에 대하여 제2 공간 좌표계를 설정하는 단계;
상기 자세 추적 어플리케이션이 상기 제2 공간 좌표계를 기초하여 상기 타겟 객체에 대한 상대적인 자세를 계산하여 제2 타겟 상대 자세를 추정하는 단계; 및
상기 자세 추적 어플리케이션이 상기 제2 공간 좌표계에서 상기 제2 타겟 상대 자세를 상기 제2 이미지 센서 자세에 대하여 원점 자세로 설정하도록 상기 제2 이미지 센서 자세를 변환하여 제2 이미지 센서 변환 자세를 획득하는 단계;를 포함하는
카메라로 촬영된 객체 추적을 위한 자세 추정 방법.3. The method of claim 2,
a second image sensor captures the guide tool and the target object so that the second image sensor acquires a second image;
acquiring, by the posture tracking application, internal parameters and posture of the second image sensor by calibrating each of the second image sensors;
receiving, by the posture tracking application, a second image captured by the second image sensor;
setting, by the posture tracking application, a second spatial coordinate system with respect to the target object in the second image;
estimating, by the posture tracking application, a second target relative posture by calculating a posture relative to the target object based on the second spatial coordinate system; and
obtaining a second image sensor transformation posture by converting the second image sensor posture so that the posture tracking application sets the second target relative posture as the origin posture with respect to the second image sensor posture in the second spatial coordinate system including;
Posture estimation method for tracking objects captured by a camera.
상기 자세 추적 어플리케이션이 상기 제2 공간 좌표계에서 상기 설정된 원점 자세에 기초하여 상기 가이드 도구의 상대적인 자세를 계산하여 제1-2 가이드 도구 상대 자세를 추정하는 단계; 및
상기 자세 추적 어플리케이션이, 상기 제2 영상에서, 상기 제1-2 가이드 도구 상대 자세에 기초하여 상기 가이드 도구를 추적하는 단계;를 포함하는
카메라로 촬영된 객체 추적을 위한 자세 추정 방법.4. The method of claim 3,
estimating, by the posture tracking application, the relative posture of the guide tool based on the set origin posture in the second spatial coordinate system to calculate a relative posture of the guide tool; and
In the second image, the posture tracking application tracking the guide tool based on the 1-2 guide tool relative posture; including
Posture estimation method for tracking objects captured by a camera.
상기 혼합 현실 어플리케이션이 상기 제1 이미지 센서를 캘리브레이션하여 상기 제1 이미지 센서의 내부 파라미터 및 자세를 획득하는 단계;
상기 혼합 현실 어플리케이션이 상기 제1 이미지 센서에서 촬영된 제1 영상을 수신하는 단계;
상기 혼합 현실 어플리케이션이 상기 제1 영상 내의 상기 타겟 객체에 대하여 제1 공간 좌표계를 설정하는 단계;
상기 혼합 현실 어플리케이션이 상기 제1 공간 좌표계를 기초하여 상기 타겟 객체에 대한 상대적인 자세를 계산하여 제1 타겟 상대 자세를 추정하는 단계;
상기 혼합 현실 어플리케이션이 상기 타겟 상대 자세를 상기 제1 이미지 센서 자세에 대하여 원점 자세로 설정하도록 상기 제1 이미지 센서 자세를 변환하여 제1 이미지 센서 변환 자세를 획득하는 단계; 및
상기 혼합 현실 어플리케이션이 상기 제1 공간 좌표계에서 상기 설정된 원점 자세에 기초하여 상기 제1 가이드 도구의 상대적인 자세를 계산하여 제1 가이드 도구 상대 자세를 추정하는 단계;를 포함하는
카메라로 촬영된 객체 추적을 위한 자세 추정 방법.The processor of the server system operates the mixed reality application in the first image obtained by the first wearable type computing device capturing the target object and the first guide tool with the first image sensor, so that the mixed reality application tracks the first guide tool And in a posture estimation method for tracking an object photographed with a camera that provides a mixed reality environment,
obtaining, by the mixed reality application, an internal parameter and a posture of the first image sensor by calibrating the first image sensor;
receiving, by the mixed reality application, a first image captured by the first image sensor;
setting, by the mixed reality application, a first spatial coordinate system with respect to the target object in the first image;
estimating, by the mixed reality application, a first target relative posture by calculating a relative posture with respect to the target object based on the first spatial coordinate system;
converting the first image sensor posture so that the mixed reality application sets the target relative posture as an origin posture with respect to the first image sensor posture to obtain a first image sensor conversion posture; and
estimating, by the mixed reality application, a relative posture of the first guide tool by calculating the relative posture of the first guide tool based on the set origin posture in the first spatial coordinate system;
Posture estimation method for tracking objects captured by a camera.
상기 혼합 현실 어플리케이션이 상기 추정된 제1 가이드 도구 상대 자세에 기초하여 상기 제1 가이드 도구를 추적하는 단계;
상기 혼합 현실 어플리케이션이 상기 타겟 객체에 대응한 제1 가상 컨텐츠를 생성하고, 상기 추적된 제1 가이드 도구에 대응한 제2 가상 컨텐츠 생성하는 단계; 및
상기 혼합 현실 어플리케이션이, 상기 제1 영상에서, 상기 타겟 객체의 원점 자세에 기초하여 상기 타겟 객체에 상기 제1 가상 컨텐츠를 증강하고, 상기 제1 가이드 도구 상대 자세에 기초하여 상기 제1 가이드 도구에 제2 가상 컨텐츠를 증강하여 혼합 현실 환경을 제공하는 단계;를 더 포함하는
카메라로 촬영된 객체 추적을 위한 자세 추정 방법.6. The method of claim 5,
tracking, by the mixed reality application, the first guide tool based on the estimated first guide tool relative posture;
generating, by the mixed reality application, first virtual content corresponding to the target object, and generating second virtual content corresponding to the tracked first guide tool; and
The mixed reality application, in the first image, augments the first virtual content on the target object based on the origin posture of the target object, and adds the first virtual content to the first guide tool based on the relative posture of the first guide tool. Augmenting the second virtual content to provide a mixed reality environment; further comprising
Posture estimation method for tracking objects captured by a camera.
제2 웨어러블 타입 컴퓨팅 장치가 제2 이미지 센서로 타겟 객체, 제1 가이드 도구 및 제2 가이드 도구를 촬영하여 제2 영상을 획득하고,
상기 혼합 현실 어플리케이션이 상기 제2 이미지 센서를 캘리브레이션하여 상기 제2 이미지 센서의 내부 파라미터 및 자세를 획득하는 단계;
상기 혼합 현실 어플리케이션이 상기 제2 이미지 센서에서 촬영된 제2 영상을 수신하는 단계;
상기 혼합 현실 어플리케이션이 상기 제2 영상 내의 상기 타겟 객체에 대하여 제2 공간 좌표계를 설정하는 단계;
상기 혼합 현실 어플리케이션이 상기 제2 공간 좌표계를 기초하여 상기 타겟 객체에 대한 상대적인 자세를 계산하여 제2 타겟 상대 자세를 추정하는 단계;
상기 혼합 현실 어플리케이션이 상기 제2 타겟 상대 자세를 상기 제2 이미지 센서 자세에 대하여 원점 자세로 설정하도록 상기 제2 이미지 센서 자세를 변환하여 제2 이미지 센서 변환 자세를 획득하는 단계;
상기 혼합 현실 어플리케이션이 상기 제2 공간 좌표계에서 상기 설정된 원점 자세에 기초하여 상기 제2 가이드 도구의 상대적인 자세를 계산하여 제2 가이드 도구 상대 자세를 추정하고, 상기 제2 공간 좌표계에서 상기 설정된 원점 자세에 기초하여 상기 제1 가이드 도구의 상대적인 자세를 계산하여 제1-2 가이드 도구 상대 자세를 추정하는 단계;
상기 혼합 현실 어플리케이션이, 상기 제2 영상에서, 상기 제2 추정된 가이드 도구 상대 자세에 기초하여 상기 제2 가이드 도구를 추적하고, 상기 제1-2 추정된 가이드 도구 상대 자세에 기초하여 상기 제1 가이드 도구를 추적하는 단계;
상기 혼합 현실 어플리케이션이 상기 추적된 제2 가이드 도구에 대응한 제3 가상 컨텐츠 생성하는 단계; 및
상기 혼합 현실 어플리케이션이, 상기 제2 영상에서, 상기 타겟 객체의 원점 자세에 기초하여 상기 타겟 객체에 상기 제1 가상 컨텐츠를 증강하고, 상기 제2 가이드 도구 상대 자세에 기초하여 상기 제2 가이드 도구에 상기 제3 가상 컨텐츠를 증강하고, 상기 제1-2 가이드 도구 상대 자세에 기초하여 상기 제1 가이드 도구에 상기 제2 가상 컨텐츠를 증강하여 혼합 현실 환경을 제공하는 단계;를 더 포함하는
카메라로 촬영된 객체 추적을 위한 자세 추정 방법.7. The method of claim 6,
The second wearable type computing device acquires a second image by photographing the target object, the first guide tool, and the second guide tool with the second image sensor,
obtaining, by the mixed reality application, internal parameters and postures of the second image sensor by calibrating the second image sensor;
receiving, by the mixed reality application, a second image captured by the second image sensor;
setting, by the mixed reality application, a second spatial coordinate system with respect to the target object in the second image;
estimating, by the mixed reality application, a second target relative posture by calculating a relative posture with respect to the target object based on the second spatial coordinate system;
converting the second image sensor posture so that the mixed reality application sets the second target relative posture as the origin posture with respect to the second image sensor posture to obtain a second image sensor conversion posture;
The mixed reality application calculates the relative posture of the second guide tool based on the set origin posture in the second spatial coordinate system to estimate the second guide tool relative posture, and to the set origin posture in the second spatial coordinate system. estimating the relative posture of the first guide tool by calculating the relative posture of the first guide tool based on the first;
the mixed reality application, in the second image, tracks the second guide tool based on the second estimated guide tool relative posture, and tracks the first guide tool based on the 1-2 estimated guide tool relative posture tracking guide tool;
generating, by the mixed reality application, third virtual content corresponding to the tracked second guide tool; and
The mixed reality application augments the first virtual content on the target object based on the origin posture of the target object in the second image, and provides the second guide tool based on the relative posture of the second guide tool. Augmenting the third virtual content and providing a mixed reality environment by augmenting the second virtual content to the first guide tool based on the relative posture of the 1-2 guide tool
Posture estimation method for tracking objects captured by a camera.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190178679A KR102299936B1 (en) | 2019-12-30 | 2019-12-30 | Method and system for posture estimation about object tracking taken by camera |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190178679A KR102299936B1 (en) | 2019-12-30 | 2019-12-30 | Method and system for posture estimation about object tracking taken by camera |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20210085549A true KR20210085549A (en) | 2021-07-08 |
KR102299936B1 KR102299936B1 (en) | 2021-09-09 |
Family
ID=76893709
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020190178679A KR102299936B1 (en) | 2019-12-30 | 2019-12-30 | Method and system for posture estimation about object tracking taken by camera |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102299936B1 (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102433894B1 (en) * | 2021-12-30 | 2022-08-18 | 주식회사 버넥트 | Method and system for creating and storing map targets |
KR20230004280A (en) | 2021-06-30 | 2023-01-06 | 옥재윤 | System for tracking motion using deep learning technic |
KR102614102B1 (en) | 2022-11-24 | 2023-12-14 | 주식회사 버넥트 | An automated calibration system for precise tracking a real object, a calibration method, and a method for tracking a real object in an image based on the calibration method and augmenting a virtual model on the real object |
KR102618591B1 (en) | 2022-11-24 | 2023-12-27 | 주식회사 버넥트 | An automated calibration system for calculating intrinsic parameter and extrinsic parameter of a camera module for precise tracking a real object, a calibration method, and a method for tracking a real object in an image based on the calibration method and augmenting a virtual model on the real object |
WO2024114071A1 (en) * | 2022-11-30 | 2024-06-06 | 京东方科技集团股份有限公司 | Virtual display device and virtual display method |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003014435A (en) * | 2001-07-04 | 2003-01-15 | Minolta Co Ltd | Measuring apparatus and measuring method |
KR100825859B1 (en) * | 2007-02-15 | 2008-04-28 | 한국과학기술연구원 | Indirect object pose estimation method with respect to user-wearable camera using multi-view camera system |
JP2013092871A (en) * | 2011-10-25 | 2013-05-16 | Secom Co Ltd | Camera attitude calculation device |
KR20130096897A (en) * | 2012-02-23 | 2013-09-02 | 단국대학교 산학협력단 | Augmented reality providing apparatus and method using control marker |
JP2014170374A (en) * | 2013-03-04 | 2014-09-18 | Kddi Corp | Ar system employing optical see-through type hmd |
KR20160001699A (en) | 2014-06-26 | 2016-01-06 | 한국과학기술원 | Method and apparatus for providing service for augmented reality interaction |
-
2019
- 2019-12-30 KR KR1020190178679A patent/KR102299936B1/en active IP Right Grant
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003014435A (en) * | 2001-07-04 | 2003-01-15 | Minolta Co Ltd | Measuring apparatus and measuring method |
KR100825859B1 (en) * | 2007-02-15 | 2008-04-28 | 한국과학기술연구원 | Indirect object pose estimation method with respect to user-wearable camera using multi-view camera system |
JP2013092871A (en) * | 2011-10-25 | 2013-05-16 | Secom Co Ltd | Camera attitude calculation device |
KR20130096897A (en) * | 2012-02-23 | 2013-09-02 | 단국대학교 산학협력단 | Augmented reality providing apparatus and method using control marker |
JP2014170374A (en) * | 2013-03-04 | 2014-09-18 | Kddi Corp | Ar system employing optical see-through type hmd |
KR20160001699A (en) | 2014-06-26 | 2016-01-06 | 한국과학기술원 | Method and apparatus for providing service for augmented reality interaction |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20230004280A (en) | 2021-06-30 | 2023-01-06 | 옥재윤 | System for tracking motion using deep learning technic |
KR102433894B1 (en) * | 2021-12-30 | 2022-08-18 | 주식회사 버넥트 | Method and system for creating and storing map targets |
KR102614102B1 (en) | 2022-11-24 | 2023-12-14 | 주식회사 버넥트 | An automated calibration system for precise tracking a real object, a calibration method, and a method for tracking a real object in an image based on the calibration method and augmenting a virtual model on the real object |
KR102618591B1 (en) | 2022-11-24 | 2023-12-27 | 주식회사 버넥트 | An automated calibration system for calculating intrinsic parameter and extrinsic parameter of a camera module for precise tracking a real object, a calibration method, and a method for tracking a real object in an image based on the calibration method and augmenting a virtual model on the real object |
WO2024114071A1 (en) * | 2022-11-30 | 2024-06-06 | 京东方科技集团股份有限公司 | Virtual display device and virtual display method |
Also Published As
Publication number | Publication date |
---|---|
KR102299936B1 (en) | 2021-09-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102299936B1 (en) | Method and system for posture estimation about object tracking taken by camera | |
US11796309B2 (en) | Information processing apparatus, information processing method, and recording medium | |
CN110140099B (en) | System and method for tracking controller | |
JP6359644B2 (en) | Method for facilitating computer vision application initialization | |
EP2568355A2 (en) | Combined stereo camera and stereo display interaction | |
WO2014016986A1 (en) | Three-dimensional environment sharing system, and three-dimensional environment sharing method | |
JP2008210276A (en) | Method and device for generating three-dimensional model information | |
US20150193940A1 (en) | Image Synthesis Device, Image Synthesis System, Image Synthesis Method and Program | |
JP4834424B2 (en) | Information processing apparatus, information processing method, and program | |
US10386633B2 (en) | Virtual object display system, and display control method and display control program for the same | |
NL2022371B1 (en) | Method and assembly for spatial mapping of a model of a surgical tool onto a spatial location of the surgical tool, as well as a surgical tool | |
JP2020065229A (en) | Video communication method, video communication device, and video communication program | |
WO2023000085A1 (en) | System and apparatus for remote interaction with an object | |
Zinchenko et al. | Virtual reality control of a robotic camera holder for minimally invasive surgery | |
KR102085374B1 (en) | Training system of a surgical operation using authoring tool based on augmented reality | |
KR102190072B1 (en) | Content discovery | |
KR20190048810A (en) | Apparatus and method for providing augmented reality contents | |
JP4689344B2 (en) | Information processing method and information processing apparatus | |
WO2023205782A1 (en) | Two-way communication between head-mounted display and electroanatomic system | |
US20220175485A1 (en) | Method for operating a visualization system in a surgical application, and visualization system for a surgical application | |
KR102428438B1 (en) | Method and system for multilateral remote collaboration based on real-time coordinate sharing | |
KR101907989B1 (en) | Medical 3D image processing system using augmented reality and short distance location tracking | |
Luo et al. | A Robotic Arm-based Telepresence for Mixed-Reality Telecollaboration System | |
CN111966213A (en) | Image processing method, device, equipment and storage medium | |
US20230218270A1 (en) | System and apparatus for remote interaction with an object |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right |