KR102152217B1 - Vr 장비와 ar 장비간의 좌표계 일치용 지그 및 이를 이용한 물리 공간 공유 방법 - Google Patents

Vr 장비와 ar 장비간의 좌표계 일치용 지그 및 이를 이용한 물리 공간 공유 방법 Download PDF

Info

Publication number
KR102152217B1
KR102152217B1 KR1020180165911A KR20180165911A KR102152217B1 KR 102152217 B1 KR102152217 B1 KR 102152217B1 KR 1020180165911 A KR1020180165911 A KR 1020180165911A KR 20180165911 A KR20180165911 A KR 20180165911A KR 102152217 B1 KR102152217 B1 KR 102152217B1
Authority
KR
South Korea
Prior art keywords
coordinate system
trackers
center
jig
matching
Prior art date
Application number
KR1020180165911A
Other languages
English (en)
Other versions
KR20200076924A (ko
Inventor
임인성
안재풍
천우영
최규진
이재석
Original Assignee
서강대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서강대학교 산학협력단 filed Critical 서강대학교 산학협력단
Priority to KR1020180165911A priority Critical patent/KR102152217B1/ko
Publication of KR20200076924A publication Critical patent/KR20200076924A/ko
Application granted granted Critical
Publication of KR102152217B1 publication Critical patent/KR102152217B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Processing Or Creating Images (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

본 발명은 AR 장비와 VR 장비에 대한 좌표계 일치용 지그 및 이를 이용한 물리 공간 공유 방법에 관한 것이다. 상기 좌표계 일치용 지그는, 기판; 상기 기판에 일정 거리 이격되어 고정 장착되어 VR 장비의 제1 좌표계 설정을 위하여 사용되는 둘 이상의 트랙커; 타겟 이미지의 중심이 상기 트랙커들의 중심에 배치되어 AR 장비의 제2 좌표계 설정을 위하여 사용되는 타겟 이미지;를 구비하여, VR 장비의 제1 좌표계의 원점과 AR 장비의 제2 좌표계의 원점을 일치시켜 VR 장비와 AR 장비의 물리 공간을 공유할 수 있도록 한다. 상기 타겟 이미지를 이용하여 얻을 제2 좌표계의 중심과 상기 트랙커를 통해 계산할 제1 좌표계의 중심은 서로 일치하도록 배치된 것이 바람직하다.

Description

VR 장비와 AR 장비간의 좌표계 일치용 지그 및 이를 이용한 물리 공간 공유 방법{Jig for matching coordinates of VR and AR devices and method for sharing physical space by using the jig}
본 발명은 VR 장비와 AR 장비의 혼합 현실 장비에 관한 것으로서, 더욱 구체적으로는 혼합 현실 장비를 구성하는 VR 장비의 좌표계와 AR 장비의 좌표계를 서로 일치시키기 위하여 사용되는 좌표계 일치용 지그 및 상기 좌표계 일치용 지그를 이용하여 VR 장비와 AR 장비의 좌표계들을 일치시켜 이들간의 물리 공간을 공유할 수 있도록 하는 물리 공간 공유 방법에 관한 것이다.
최근 프로세서의 성능 향상과 디스플레이 기술의 발전으로 인해, 가상 현실(Virtual Reality; VR)과 증강 현실(Augmented Reality; AR)을 구현하는 HMD(Head Mounted Display)가 다양한 형태로 개발되고 있다. VR은 완벽한 가상 세계만을 보여주므로 현실 세계는 전혀 반영하지 않는 형태이며, AR은 현실 세계에 가상의 물체를 배치시키는 형태이다. 따라서, 두 종류의 디바이스는 비슷한 점도 있지만 상당한 차이점이 있는 사용자 경험을 제공하게 된다.
가상 현실 기술과 증강 현실 기술은 큰 관점에서 보았을 때 혼합현실 기술을 구성하는 요소 기술이라 할 수 있다. 각 기술은 자신만의 특성과 장단점을 통하여 지속적인 발전을 이루어 왔으며 최근 관련 장비 제조 기술의 향상과 가격 하락으로 인하여 그 중요성 및 활용 범위가 날로 증대하고 있다. 일반적으로 가상 현실 장비의 사용자와 증강 현실 장비의 사용자는 서로 자신만의 3차원 공간에서 원하는 작업을 수행하여 왔다. 하지만 서로 상이한 특성을 가지는 기술을 사용하는 사용자들이 하나의 물리 공간에서 상호 작용하면서 작업을 할 수 있도록 해준다면, 그에 대한 응용 범위와 효과는 매우 클 것으로 판단된다.
최근, AR 헤드셋을 착용한 사용자가 VR 컨트롤러를 사용하여 두 장비의 공간을 일치시켜주는 연구가 진행되고 있다. 하지만, 이러한 연구는 사용자가 물리적인 컨트롤러를 AR 장비를 통하여 렌더링한 가상의 컨트롤러 물체에 일치시키도록 한 것으로서, 정밀한 공간 정렬을 기대하기가 매우 어려운 문제가 있다.
따라서, 본 발명에서는 AR 환경에서는 영상 인식 기술을, 그리고 VR 환경에서는 VR 장비가 제공하는 공간 인식 트랙커를 사용하여 수치적으로 정밀하게 두 환경의 사용자들이 하나의 물리 공간을 공유케 하는 방법과 그에 필요한 장치를 제시한다.
한국등록특허공보 10-1079925호
전술한 문제점을 해결하기 위한 본 발명은 VR 장비의 좌표계와 AR 장비의 좌표계를 서로 일치시키기 위하여 사용되는 좌표계 일치용 지그를 제공하는 것을 목적으로 한다.
또한, 본 발명은 전술한 좌표계 일치용 지그를 이용하여 VR 장비의 좌표계와 AR 장비의 좌표계를 일치시켜 VR 장비와 AR 장비의 물리 공간을 서로 공유할 수 있도록 하는 물리 공간 공유 방법을 제공하는 것을 다른 목적으로 한다.
전술한 기술적 과제를 달성하기 위한 본 발명의 제1 특징에 따른 좌표계 일치용 지그는, 기판; 상기 기판에 일정 거리 이격되어 고정 장착되어 가상 현실 장기의 제1 좌표계 설정을 위하여 사용되는 둘 이상의 트랙커; 타겟 이미지의 중심이 상기 트랙커들의 중심에 배치되어 증강 현실 장비의 제2 좌표계 설정을 위하여 사용되는 타겟 이미지;를 구비하여, 가상 현실 장비의 제1 좌표계의 원점과 증강 현실 장비의 제2 좌표계의 원점을 일치시켜 VR 장비와 AR 장비의 물리 공간을 공유할 수 있도록 한다.
전술한 제1 특징에 따른 좌표계 일치용 지그에 있어서, 상기 타겟 이미지를 이용하여 얻을 제2 좌표계의 중심과 상기 트랙커를 통해 계산할 제1 좌표계의 중심은 서로 일치하도록 배치된 것이 바람직하다.
전술한 제1 특징에 따른 좌표계 일치용 지그에 있어서, 상기 제1 좌표계의 중심은 상기 트랙커들의 위치들의 평균으로 계산되며, 제1 좌표계의 중심은, 트랙커가 2개인 경우 두 트랙커의 중점, 트랙커가 3개인 경우 정삼각형으로 배치된 트랙커들의 무게 중심, 트랙커가 4개인 경우 정사각형으로 배치된 트랙커들의 위치 평균인 것이 바람직하다.
전술한 제1 특징에 따른 좌표계 일치용 지그에 있어서, 상기 기판은 빛이 반사되지 않는 재질로 이루어진 것이 바람직하다.
본 발명의 제2 특징에 따른 AR 장비와 VR 장비에 대한 물리 공간 공유 방법은, 좌표계 일치용 지그의 트랙커들을 이용하여 가상 현실 장비의 제1 좌표계를 계산하는 단계; 증강 현실 장비의 카메라와 좌표계 일치용 지그의 타겟 이미지에 대한 이미지 인식 기술을 사용하여 증강 현실 장비의 제2 좌표계를 설정하는 단계; 및 (c) 상기 가상 현실 장비의 이전 좌표계는 제1 좌표계로 변환시키고 증강 현실 장비의 이전 좌표계는 제2 좌표계로 변환시켜, 제1 및 제2 좌표계를 일치시키는 단계;를 구비하고, 상기 좌표계 일치용 지그는 기판위에 트랙커와 타겟 이미지가 탑재된 것을 특징으로 한다.
전술한 제2 특징에 따른 AR 장비와 VR 장비에 대한 물리 공간 공유 방법에 있어서, 상기 (a) 단계는, (a1) 좌표계 일치용 지그의 기판에 탑재된 복수 개의 트랙커들을 이용하여, 오차를 최소화시킬 수 있는 VR 장비에 대한 정확한 좌표계 측정 방법을 검출하는 단계; 및 (a2) 상기 검출된 측정 방법을 사용하여 VR 장비에 대한 제1 좌표계를 계산하는 단계;를 구비하고,
상기 (a1) 단계의 좌표계 측정 방법은, 트랙커들의 위치 정보와 회전 정보를 사용하여 계산되는 측정 방법과 트랙커들의 위치 정보만을 사용하여 계산되는 측정 방법 중 하나인 것이 바람직하다.
전술한 제2 특징에 따른 AR 장비와 VR 장비의 물리 공간 공유 방법에 있어서, 상기 (a1) 단계의 좌표계 측정 방법은, 복수 개의 트랙커들 중 위치 정보 또는 회전 정보 중 하나 이상이 사전 설정된 범위를 벗어나는 측정값을 갖는 트랙커들을 검출하여 outlier로 설정하고, outlier로 설정된 트랙커들에 의해 발생된 오차를 검출하고, 검출된 오차 정보를 이용하여 제1 좌표계의 중심을 정확하게 계산하고, 정확하게 계산된 제1 좌표계의 중심을 기반으로 하여 제1 좌표계의 측정 방법을 확정하는 것이 바람직하다.
본 발명에 따른 좌표계 일치용 지그를 사용함으로써, VR 장비의 좌표계와 AR 장비의 좌표계를 서로 일치시킬 수 있게 되며, 이로써 VR 장비와 AR 장비는 물리 공간을 서로 공유할 수 있게 된다.
본 발명에 의하여, AR 장비를 착용한 사용자가 VR 장비를 공유해서 사용할 수 있으며, 또한 VR 장비를 착용한 사용자가 AR 장비를 통해 얻은 실제적인 물리 공간의 정보를 사용할 수 있게 된다.
또한, 본 발명에 의하여, VR 공간에서의 더욱 정밀한 좌표계 계산 방법을 탐구함으로써 두 좌표계 사이의 오차가 감소하게 되며, 이를 통한 AR 장비와 VR 장비의 공간 공유를 통해 가상의 공간에서 물리적으로 정확한 형태의 새로운 경험을 제공할 수 있다.
도 1은 본 발명의 바람직한 실시예에 따른 좌표계 일치용 지그의 일 실시 형태에 대한 도면 및 사진이다.
도 2는 본 발명의 바람직한 실시예에 따른 좌표계 일치용 지그에 있어서, VR 장비의 좌표계 설정시에 트랙커의 개수의 변화에 따른 측정 방식을 나타낸 모식도이다.
도 3은 본 발명의 바람직한 실시예에 따른 물리 공간 공유 방법을 순차적으로 도시한 흐름도이다.
도 4는 본 발명의 바람직한 실시예에 따른 물리 공간 공유 방법에 있어서, VR 장비에서의 정확한 좌표계 검출을 계산하기 위하여 사용되는 측정용 지그 및 그 도면이다.
도 5는 본 발명의 바람직한 실시예에 따른 물리 공간 공유 방법에 있어서, 복수 개의 트랙커들 중 Outlier를 검출하고 이들로부터 오차를 검출하는 방법을 설명하기 위하여 도시한 모식도이다.
도 6은 본 발명의 바람직한 실시예에 따른 물리 공간 공유 방법에 있어서, 각 트랙커들의 개수에 따라 VR 장비 좌표계를 설정하는 방법들을 설명한 도표이다.
도 7는 본 발명의 바람직한 실시예에 따른 물리 공간 공유 방법에 있어서, 정확한 오류 검출을 위해 사용할 계산 방법에 대한 그림이다.
도 8 및 도 9는 본 발명의 바람직한 실시예에 따른 물리 공간 공유 방법에 있어서, 좌표계 일치화 방법을 활용한 물리 공간 공유를 이용해 개발한 컨텐츠의 예시이다.
본 발명은 하나의 기판위에 탑재된 적어도 둘 이상의 트랙커 및 트랙커들의 중심에 배치된 타겟 이미지로 구성된 좌표계 일치용 지그를 이용하여 AR 장비와 VR 장비의 좌표계들을 일치시켜 AR 장비와 VR 장비의 물리 공간을 서로 공유할 수 있도록 하는 것을 특징으로 한다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 따른 AR 및 VR 장비의 좌표계 일치용 지그 및 이를 이용한 물리 공간 공유 방법에 대하여 구체적으로 설명한다.
먼저, 본 발명의 바람직한 실시예에 따른 좌표계 일치용 지그의 구성에 대하여 구체적으로 설명한다.
도 1은 본 발명의 바람직한 실시예에 따른 좌표계 일치용 지그의 일 실시 형태에 대한 도면 및 사진이다. 도 1의 (b)를 참조하면, 본 발명에 따른 좌표계 일치용 지그(10)는 기판(100), 적어도 둘 이상의 트랙커(110) 및 타겟 이미지(120)를 구비한다. 도 1은 4개의 트랙커들이 탑재된 좌표계 일치용 지그를 예시하고 있으나, 트랙커들의 개수는 변경가능하다. 한편, 도 1의 (a)를 참조하면, 트랙커를 2개, 3개 또는 4개를 선택하여 탑재할 수 있도록 구성된 도면이다.
상기 기판(100)은 트랙커들과 타겟 이미지를 고정시키기 위한 것으로서, AR 장비서의 이미지 인식을 정확히 이루어지게 하기 위하여 빛 반사가 거의 없거나 적은 표면을 갖는 것이 바람직하다. 상기 기판은 표면에 트랙커들을 정확한 위치에 고정할 수 있는 홈들이 형성된 것이 바람직하다. 이하, 본 명세서에서의 설명의 편의를 위하여 VR 장비의 좌표계는 제1 좌표계로 칭하고, AR 장비의 좌표계는 제2 좌표계로 칭한다.
상기 적어도 둘 이상의 트랙커들(110)은 상기 기판에 일정 거리 이격되어 고정 장착되어 가상 현실 장비에 대한 제1 좌표계 설정을 위하여 사용된다.
상기 타겟 이미지(120)는 그 중심이 상기 트랙커들의 중심에 배치되어 증강 현실 장비의 이미지 인식 기술을 활용하여 증강 현실 장비에 대한 제2 좌표계 설정을 위하여 사용된다.
가상 현실 장비의 제1 좌표계와 증강 현실 장비의 제2 좌표계를 일치시켜 주기 위하여, 증상 현실 장비의 타겟 이미지와 이미지 인식 기술을 이용하여 얻을 제2 좌표계의 중심과 가상 현실 장비의 트랙커들을 통해 얻을 제1 좌표계의 중심은 서로 일치되어야 한다.
도 2는 본 발명의 바람직한 실시예에 따른 좌표계 일치용 지그에 있어서, VR 장비의 좌표계 설정시에 트랙커의 개수의 변화에 따른 측정 방식을 나타낸 모식도이다.
도 2를 참조하면, 상기 좌표계의 중심은 상기 트랙커들의 위치들의 평균으로 계산되며, 좌표계의 중심은, (a)와 같이 트랙커가 2개인 경우 두 트랙커의 중점이 되고, (b)와 같이 트랙커가 3개인 경우 정삼각형으로 배치된 트랙커들의 무게 중심이 되고, 트랙커가 4개인 경우 정사각형으로 배치된 트랙커들의 위치 평균이 된다.
이하, 전술한 좌표계 일치용 지그를 이용하여, 본 발명의 가상 현실 장비와 증강 현실 장비의 물리 공간 공유 방법에 대하여 구체적으로 설명한다. 본 발명에 따른 물리 공간 공유 방법은, 전술한 좌표계 일치용 지그를 이용하여, 제1 좌표계와 제2 좌표계를 일치시킴으로써, VR 장비와 AR 장비의 물리 공간을 공유할 수 있도록 하는 것을 특징으로 한다.
도 3은 본 발명의 바람직한 실시예에 따른 물리 공간 공유 방법을 순차적으로 도시한 흐름도이다.
도 3을 참조하면, 본 발명에 따른 물리 공간 공유 방법은, 먼저 좌표계 일치용 지그를 제작한다(단계 300). 좌표계 일치용 지그는 도 1 및 도 2에 기재된 바와 같은 구성을 갖도록 제작될 수 있다.
다음, 좌표계 일치용 지그를 이용하여, 가상 현실 장비의 트랙커들로 설정하는 제1 좌표계의 정밀도를 측정하고 개선하여 오차를 최소화시킬 수 있는 좌표계 측정 방법을 검출한다 (단계 310). 상기 측정 방법은 트랙커들의 위치 정보와 회전 정보를 사용하여 계산하거나 트랙커들의 위치 정보만을 사용하여 계산할 수 있다. 또한, 상기 측정 방법은 다수의 트랙커들 중 일부가 사전 설정된 범위를 벗어나는 측정값을 갖는 경우 측정 범위에서 제외시키고 나머지의 트랙커들만으로 측정하도록 할 수 있다. 이러한 측정 방법들에 대한 구체적인 설명은 후술한다.
다음, 상기 선택된 측정 방법을 사용하여 가상 현실 장비의 제1 좌표계를 계산한다(단계 320).
다음, 증강 현실 장비의 카메라와 이미지 인식 기술을 활용하여 좌표계 일치용 지그의 타겟 이미지의 중심을 제2 좌표계의 중심으로 하여 제2 좌표계를 설정한다(단계 330).
다음, 가상 현실 장비와 증강 현실 장비의 기존 좌표계들을 상기 설정된 제1 및 제2 좌표계로 변환시킴으로써 제1 및 제2 좌표계를 서로 일치시킨다(단계 340).
전술한 과정을 통해, 제1 좌표계와 제2 좌표계를 서로 일치시킴으로써, 가상 현실 장비와 증강 현실 장비의 물리 공간을 서로 공유할 수 있게 된다. 이하, 전술한 물리 공간 공유 방법의 각 단계에 대하여 보다 구체적으로 설명한다.
도 4는 본 발명의 바람직한 실시예에 따른 물리 공간 공유 방법에 있어서, VR 장비에서의 정확한 좌표계 검출을 계산하기 위하여 사용되는 측정용 지그 및 그 도면이다. 도 4를 참조하면, VR 장비의 정확한 좌표계 검출을 위한 측정용 지그(40)는 타겟 이미지없이 트랙커들(410)만이 기판(400)위에 탑재된 것을 특징으로 한다. 상기 트랙커들은 도 2와 같이 탑재되는 것이 바람직하다.
VR 환경을 구축하면 처음 설정한 좌표계를 기준으로 VR 장비들의 위치와 회전 정보가 표현된다. 트랙커를 사용하게 되면, 해당 좌표계에서 트랙커의 위치와 회전 정보, 즉 회전축인
Figure 112018128295808-pat00001
,
Figure 112018128295808-pat00002
,
Figure 112018128295808-pat00003
벡터를 얻어낼 수 있다. 하지만 트랙커는 환경의 제약을 많이 받는 장비이기 때문에, 위치와 회전 정보인
Figure 112018128295808-pat00004
,
Figure 112018128295808-pat00005
,
Figure 112018128295808-pat00006
벡터가 정확하게 검출되지 않는 경우가 발생하게 된다. 이러한 이유로, 트랙커를 단순히 한 개만 사용할 수 없고, 위치 및 회전 정보를 그대로 사용하는 데는 무리가 있다. 따라서, 트랙커의 개수를 늘려 측정을 안정적인 방향으로 보완하면서, 개수마다 오류를 두 가지 계산 방법으로 나누어 어느 것이 정밀한 방법인지 파악한다. 두 가지 계산 방법이란 위치 정보와 회전 정보를 모두 사용하여 계산하는 방법과 위치 정보만을 사용하여 계산하는 방법이다.
또한, 좌표계의 회전 정보는 트랙커들을 활용하여 계산하여야 한다. 트랙커의 회전 정보의 경우
Figure 112018128295808-pat00007
벡터는 트랙커를 어떤 방향으로 고정을 해도 항상 같은 위쪽 방향을 바라보지만,
Figure 112018128295808-pat00008
,
Figure 112018128295808-pat00009
벡터는 방향에 따라 값이 항상 변하기 때문에,
Figure 112018128295808-pat00010
벡터만을 사용하고,
Figure 112018128295808-pat00011
,
Figure 112018128295808-pat00012
벡터는 계산에서 제외한다. 좌표계를 설정하기 위하여 좌표계의
Figure 112018128295808-pat00013
,
Figure 112018128295808-pat00014
,
Figure 112018128295808-pat00015
벡터가 필요한데,
Figure 112018128295808-pat00016
벡터는 남은
Figure 112018128295808-pat00017
벡터와
Figure 112018128295808-pat00018
벡터의 외적으로 계산할 수 있기 때문에 두 벡터만 계산하면 된다.
좌표계의 기준점 위치는 측정한 위치의 산술 평균으로 계산한다.
Figure 112018128295808-pat00019
벡터는 사용하는 모든 트랙커에서 검출된
Figure 112018128295808-pat00020
벡터들의 평균을 정규화하여 사용하며, u 벡터는 트랙커의 위치 정보를 이용해 계산한다. 도 2에 도시된 바와 같이, 트랙커가 2개인 경우, Tracker0에서 Tracker1로 향하는 벡터를
Figure 112018128295808-pat00021
벡터로 하면
Figure 112018128295808-pat00022
를 구할 수 있다. 트랙커가 3개인 경우는 같은 방식으로
Figure 112018128295808-pat00023
,
Figure 112018128295808-pat00024
,
Figure 112018128295808-pat00025
벡터를 구해,
Figure 112018128295808-pat00026
를 계산할 수 있으며, 트랙커가 4개인 경우도
Figure 112018128295808-pat00027
를 계산할 수 있다. 하지만
Figure 112018128295808-pat00028
벡터와
Figure 112018128295808-pat00029
벡터가 수직이라는 것이 보장되지 않기 때문에 3가지 경우에 대해
Figure 112018128295808-pat00030
벡터 및
Figure 112018128295808-pat00031
벡터는 수학식 1과 계산된다.
Figure 112018128295808-pat00032
트랙커의
Figure 112018128295808-pat00033
벡터 정보를 그대로 사용하는 방법도 있지만, 측정 오차로 인해
Figure 112018128295808-pat00034
벡터 정보가 항상 정확하다는 것이 보장되지는 않는다. 트랙커가 3개 이상일 경우에 대해서는 위치 정보를 활용하여 외적을 이용해
Figure 112018128295808-pat00035
벡터를 새로 계산할 수 있다. 3개인 경우
Figure 112018128295808-pat00036
로 계산할 수 있고, 4개인 경우는 수학식 2와 같이 계산할 수 있다.
Figure 112018128295808-pat00037
3개의 경우는 정의되는 평면이 단 1개여서 비교적 간단한 방법으로 구할 수 있지만, 4개의 경우 4개의 트랙커 위치 중 3개를 뽑아 평면을 선택할 수 있는 방법이 4가지가 가능한데, 각 경우 위와 같은 방식을 통해서
Figure 112018128295808-pat00038
벡터를 계산할 수 있다.
도 5는 본 발명의 바람직한 실시예에 따른 물리 공간 공유 방법에 있어서, 복수 개의 트랙커들 중 Outlier를 검출하고 이들로부터 오차를 검출하는 것을 설명하기 위하여 도시한 모식도이다. 이하, 도 5를 참조하여, 복수 개의 트랙커들 중 Outlier를 검출하고 이들로부터 오차 검출하는 과정을 설명한다.
여러 개의 트랙커가 있을 때 특정 트랙커가 매우 큰 오차를 발생시킬 수 있다. 트랙커가 3개 이상일 경우에 트랙커 1개가 없어도 계산하는 방법이 존재하기 때문에, 만약 값이 특정 범위를 넘어서 잘못된 값으로 계산될 가능성이 보인다면 이를 계산에서 제외해 더 정확한 데이터들로 계산을 진행할 수 있을 것이다. 이때, 제외되는 정보를 Outlier라고 하자. 위치 정보와 회전 정보 모두에 대해서 신뢰할 수 없으므로 Outlier를 검출하는 단계를 두 가지로 나누어 생각해 볼 수 있다. 우선 측정한
Figure 112018128295808-pat00039
벡터를 바탕으로 Outlier를 검출하는데
Figure 112018128295808-pat00040
값이 나머지
Figure 112018128295808-pat00041
벡터인
Figure 112018128295808-pat00042
들과 일정 범위 이상으로 차이가 나면 해당
Figure 112018128295808-pat00043
벡터는 평균 계산에서 제외한다.
위치 정보에 대해서도 Outlier를 검출할 수 있다.
Figure 112018128295808-pat00044
벡터 기준 오차의 경우 도 5의 (a) 및 (b)에서 보여진다. 앞서 계산한
Figure 112018128295808-pat00045
벡터 기준으로 Outlier인 트랙커를 검출한 후, 남은 트랙커들의 위치 평균과
Figure 112018128295808-pat00046
벡터를 이용해 새로운 평면을 정의할 수 있다. 이 평면이
Figure 112018128295808-pat00047
Figure 112018128295808-pat00048
평면이 되고, 이 평면에 모든 트랙커들을 투영시킨 결과가 도 5의 (c) 및 (d)와 같다.
Figure 112018128295808-pat00049
,
Figure 112018128295808-pat00050
벡터 기준 Outlier를 검출하면
Figure 112018128295808-pat00051
,
Figure 112018128295808-pat00052
,
Figure 112018128295808-pat00053
모든 벡터에 대해서 오차를 검출해낼 수 있게 된다.
먼저
Figure 112018128295808-pat00054
벡터 기준의 오차는
Figure 112018128295808-pat00055
벡터와의 각도를 비교함으로써 찾아낼 것이다. 트랙커가 4개인 경우 1개의 트랙커를 제외하고 나머지 3개의 트랙커로 평면을 항상 생성할 수 있다. 만약 하나 이상의 트랙커가
Figure 112018128295808-pat00056
벡터 방향으로 이상이 있다면 생성되는 평면의 법선 벡터와
Figure 112018128295808-pat00057
벡터 사이의 각도가 차이가 날 것이다. 또한 트랙커가 3개인 경우에도 1개의 트랙커를 제외하고 나머지 2개의 트랙커로 항상 벡터를 생성할 수 있으며, 만약 정확하다면
Figure 112018128295808-pat00058
벡터와의 각도가 정확히 90도 차이가 날 것이다. 이러한 기준을 통해
Figure 112018128295808-pat00059
벡터 기준으로 오류가 발생한 트랙커를 찾아낼 수 있다.
다음으로
Figure 112018128295808-pat00060
,
Figure 112018128295808-pat00061
벡터 기준 오차를 검출한다. 위에서 언급했듯 트랙커들을 새롭게 정의되는
Figure 112018128295808-pat00062
Figure 112018128295808-pat00063
평면으로 투영하며, 평면 내에서 투영된 좌표가 부정확한 경우 실제로 측정 가능한 물리적 거리를 기반으로 오차를 검출해낼 수 있다. 트랙커 한 개가 잘못된 위치에 있다면 나머지 트랙커와의 거리에도 오차가 발생할 것이고, 이를 통해 Outlier를 찾아내 좌표계 중심을 정확히 계산해낼 수 있다.
Figure 112018128295808-pat00064
,
Figure 112018128295808-pat00065
벡터는 언급한 방식을 그대로 사용해 구해내고, 좌표계를 확정한다.
언급한 방법들을 정리하면 도 6과 같이 정리할 수 있다. 도 6은 본 발명의 바람직한 실시예에 따른 물리 공간 공유 방법에 있어서, 각 트랙커들의 개수에 따라 VR 장비 좌표계를 설정하는 방법들을 설명한 도표이다. 도 6을 참조하면, 본 발명에서는 각 트랙커가 검출한 기하 정보중 (i) 좌표계의 원점에 해당하는 위치 정보만 사용하거나 (ii) 위치 정보와 위쪽 방향에 해당하는 n 벡터를 사용하는 두 가지 방법을 제안하고 있다. 도 6에 있어서, pi는 i번째 트랙커가 검출한 위치 정보 즉 좌표값이고, ni 는 위쪽 방향에 해당하는 벡터값이다.
이렇게 여러 가지 방법으로 좌표계를 계산해 보았는데, 이 중 어떤 방법이 가장 정확하고 안정적으로 좌표계를 만들어 내는지 오류 측정을 통해 계산해 보아야 한다. 계산해 낸
Figure 112018128295808-pat00066
으로 수학식 3을 정의한다. 여기서, P 는 앞에서 기술한 위치 정보에 해당하는 3차원 좌표값이고, F 는 P 와 길이가 1이고 서로 수직인 세 개의 기준 방향
Figure 112018128295808-pat00067
,
Figure 112018128295808-pat00068
,
Figure 112018128295808-pat00069
에 의해 결정이 되는 좌표계(coordinate frame)을 지칭하는 기호이다.
Figure 112018128295808-pat00070
도 7는 본 발명의 바람직한 실시예에 따른 물리 공간 공유 방법에 있어서, 정확한 오류 검출을 위해 사용할 계산 방법에 대한 그림이다.
도 7의 두 좌표계에 대해서 측정한
Figure 112018128295808-pat00071
는
Figure 112018128295808-pat00072
와
Figure 112018128295808-pat00073
로 정의할 수 있으며,
Figure 112018128295808-pat00074
에서 물리적으로 설정한 정보를 이용해 강체변환을 시키면
Figure 112018128295808-pat00075
를 도출해낼 수 있다. 강체변환 방법은 수학식 4와 같다.
Figure 112018128295808-pat00076
여기서, R(60°, na)는 벡터 na가 가리키는 방향 둘레로 60도 회전을 시켜주는 3행3열 회전 변환 행렬이고, r은 도 7에 표시한 바와 같이 왼쪽 아래 삼각형 중심에서 주황색 트랙커 위치의 중점까지의 거리이다.
오차는 Translation Error(
Figure 112018128295808-pat00077
)와 Rotation Error(
Figure 112018128295808-pat00078
)로 나뉘고, 각 오차는 수학식 5와 같이 계산한다.
Figure 112018128295808-pat00079
Figure 112018128295808-pat00080
와
Figure 112018128295808-pat00081
의 두 가지 척도로 개발된 좌표계 계산 방법들의 오차와 정확도를 측정할 수 있다.
이러한 방법들을 통해 VR 장비의 제1 좌표계를 정확하게 측정할 수 있는 측정 방법을 검출하고, 검출된 측정 방법을 이용하여 VR 장비에 대한 제1 좌표계를 계산하여 설정한다.
한편, AR 장비의 제2 좌표계는 위에서 언급했듯이 이미지 인식 기술을 이용해 구해낼 수 있다. 생성된 VR 장비의 제1 좌표계와 AR 장비의 제2 좌표계는 상기 좌표계 일치용 지그를 통해 물리적으로 일치되고, 오차를 최소화함으로써 더욱 정밀한 물리 공간 공유를 이뤄낼 수 있다.
도 8 및 도 9는 본 발명의 바람직한 실시예에 따른 물리 공간 공유 방법에 있어서, 좌표계 일치화 방법을 활용한 물리 공간 공유를 이용해 개발한 컨텐츠의 예시이다. 도 8은 VR 장비에서 구동되는 모습을 보여주는 Unity 엔진상에서의 장면이다. 도 9는 AR 장비에서 구동되는 모습을 Hololens에서 스트리밍받은 장면으로서, AR 장비를 착용한 사용자가 VR 장비인 컨트롤러를 사용하여 AR 공간의 원하는 위치에 물체를 생성해낼 수 있다.
이상에서 본 발명에 대하여 그 바람직한 실시예를 중심으로 설명하였으나, 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 발명의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 특히, 트랙커의 개수에 따라, 다양한 측정 방식에 따라 나온 데이터 값을 이용하여 이 목표를 달성하였는데 통상적인 지식이 있는 자라면 여러 가지 변환과 응용을 이뤄낼 수 있을 것이다. 그리고, 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.
10 : 좌표계 일치용 지그
100 : 기판
110 : 트랙커
120 : 타겟 이미지

Claims (10)

  1. 기판;
    상기 기판에 일정 거리 이격되어 고정 장착되어 가상 현실 장비의 제1 좌표계 설정을 위하여 사용되는 둘 이상의 트랙커;
    타겟 이미지의 중심이 상기 트랙커들의 중심에 배치되어 증강 현실 장비의 제2 좌표계 설정을 위하여 사용되는 타겟 이미지;
    를 구비하고, 상기 타겟 이미지를 이용하여 얻을 제2 좌표계의 중심과 상기 트랙커를 통해 계산할 제1 좌표계의 중심은 서로 일치하도록 배치되도록 구성하여, 가상 현실 장비의 제1 좌표계의 원점과 증강 현실 장비의 제2 좌표계의 원점을 일치시켜 가상 현실 장비와 증강 현실 장비의 물리 공간을 공유할 수 있도록 하는 좌표계 일치용 지그.
  2. 삭제
  3. 제1항에 있어서, 상기 제1 좌표계의 중심은 상기 트랙커들의 위치들의 평균으로 계산되며,
    제1 좌표계의 중심은, 트랙커가 2개인 경우 두 트랙커의 중점, 트랙커가 3개인 경우 정삼각형으로 배치된 트랙커들의 무게 중심, 트랙커가 4개인 경우 정사각형으로 배치된 트랙커들의 위치 평균인 것을 특징으로 하는 좌표계 일치용 지그.
  4. 제1항에 있어서, 상기 기판은 빛이 반사되지 않는 재질로 이루어진 것을 특징으로 하는 좌표계 일치용 지그.
  5. (a) 좌표계 일치용 지그의 트랙커들을 이용하여 가상 현실 장비의 제1 좌표계를 계산하는 단계;
    (b) 증강 현실 장비의 카메라와 좌표계 일치용 지그의 타겟 이미지에 대한 이미지 인식 기술을 사용하여 증강 현실 장비의 제2 좌표계를 설정하는 단계; 및
    (c) 상기 가상 현실 장비의 이전 좌표계는 제1 좌표계로 변환시키고 증강 현실 장비의 이전 좌표계는 제2 좌표계로 변환시켜, 제1 및 제2 좌표계를 일치시키는 단계;
    를 구비하고, 상기 (a) 단계는,
    (a1) 좌표계 일치용 지그의 기판에 탑재된 복수 개의 트랙커들을 이용하여, 오차를 최소화시킬 수 있는 VR 장비에 대한 정확한 좌표계 측정 방법을 검출하는 단계; 및
    (a2) 상기 검출된 측정 방법을 사용하여 VR 장비에 대한 제1 좌표계를 계산하는 단계;를 구비하는 것을 특징으로 하며,
    상기 좌표계 일치용 지그는 기판위에 트랙커와 타겟 이미지가 탑재된 것을 특징으로 하는 AR 장비와 VR 장비의 물리 공간 공유 방법.
  6. 삭제
  7. 제5항에 있어서, 상기 (a1) 단계의 좌표계 측정 방법은,
    트랙커들의 위치 정보와 회전 정보를 사용하여 계산되는 측정 방법과 트랙커들의 위치 정보만을 사용하여 계산되는 측정 방법 중 하나인 것을 특징으로 하는 것을 특징으로 하는 AR 장비와 VR 장비의 물리 공간 공유 방법.
  8. 제5항에 있어서, 상기 (a1) 단계의 좌표계 측정 방법은,
    복수 개의 트랙커들 중 위치 정보 또는 회전 정보 중 하나 이상이 사전 설정된 범위를 벗어나는 측정값을 갖는 트랙커들을 검출하여 outlier로 설정하고,
    Outlier로 설정된 트랙커들에 의해 발생된 오차를 검출하고,
    검출된 오차 정보를 이용하여 제1 좌표계의 중심을 정확하게 계산하고,
    정확하게 계산된 제1 좌표계의 중심을 기반으로 하여 제1 좌표계의 측정 방법을 확정하는 것을 특징으로 하는 것을 특징으로 하는 AR 장비와 VR 장비의 물리 공간 공유 방법.
  9. 제5항에 있어서, 상기 좌표계 일치용 지그는,
    기판;
    상기 기판에 일정 거리 이격되어 고정 장착되어 가상 현실 장비의 제1 좌표계 설정을 위하여 사용되는 둘 이상의 트랙커;
    타겟 이미지의 중심이 상기 트랙커들의 중심에 배치되어 증강 현실 장비의 제2 좌표계 설정을 위하여 사용되는 타겟 이미지;
    를 구비하여, 가상 현실 장비의 제1 좌표계의 원점과 증강 현실 장비의 제2 좌표계의 원점을 일치시킬 수 있도록 구성된 것을 특징으로 하는 AR 장비와 VR 장비의 물리 공간 공유 방법.
  10. 제9항에 있어서, 상기 제1 좌표계의 중심은 상기 트랙커들의 위치들의 평균으로 계산되며,
    제1 좌표계의 중심은, 트랙커가 2개인 경우 두 트랙커의 중점, 트랙커가 3개인 경우 정삼각형으로 배치된 트랙커들의 무게 중심, 트랙커가 4개인 경우 정사각형으로 배치된 트랙커들의 위치 평균인 것을 특징으로 하는 AR 장비와 VR 장비의 물리 공간 공유 방법.
KR1020180165911A 2018-12-20 2018-12-20 Vr 장비와 ar 장비간의 좌표계 일치용 지그 및 이를 이용한 물리 공간 공유 방법 KR102152217B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180165911A KR102152217B1 (ko) 2018-12-20 2018-12-20 Vr 장비와 ar 장비간의 좌표계 일치용 지그 및 이를 이용한 물리 공간 공유 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180165911A KR102152217B1 (ko) 2018-12-20 2018-12-20 Vr 장비와 ar 장비간의 좌표계 일치용 지그 및 이를 이용한 물리 공간 공유 방법

Publications (2)

Publication Number Publication Date
KR20200076924A KR20200076924A (ko) 2020-06-30
KR102152217B1 true KR102152217B1 (ko) 2020-09-04

Family

ID=71121072

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180165911A KR102152217B1 (ko) 2018-12-20 2018-12-20 Vr 장비와 ar 장비간의 좌표계 일치용 지그 및 이를 이용한 물리 공간 공유 방법

Country Status (1)

Country Link
KR (1) KR102152217B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220165166A (ko) 2021-06-07 2022-12-14 서강대학교산학협력단 실제 및 가상 세상 간의 좌표계 공유를 위한 위치 트래커 신호 처리 방법
KR20230063463A (ko) 2021-11-02 2023-05-09 서강대학교산학협력단 선택적 샘플링에 기반을 둔 가상 현실 헤드셋용 광선 추적 방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102443299B1 (ko) * 2020-08-11 2022-09-14 김동욱 제품 구매 서비스 제공 장치 및 방법

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101079925B1 (ko) 2010-04-19 2011-11-04 서경대학교 산학협력단 마커와 훈련자 손 인식을 통한 증강 현실 상황 훈련 시스템
KR101680124B1 (ko) * 2010-06-14 2016-11-29 주식회사 비즈모델라인 이종 플랫폼 간 증강현실 전달 방법
EP2691935A1 (en) * 2011-03-29 2014-02-05 Qualcomm Incorporated System for the rendering of shared digital interfaces relative to each user's point of view
KR101274556B1 (ko) * 2011-08-17 2013-06-17 국방과학연구소 증강현실을 이용한 실물과 가상모델 사이의 거리측정 시스템 및 방법
AU2014204252B2 (en) * 2013-01-03 2017-12-14 Meta View, Inc. Extramissive spatial imaging digital eye glass for virtual or augmediated vision

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220165166A (ko) 2021-06-07 2022-12-14 서강대학교산학협력단 실제 및 가상 세상 간의 좌표계 공유를 위한 위치 트래커 신호 처리 방법
KR20230063463A (ko) 2021-11-02 2023-05-09 서강대학교산학협력단 선택적 샘플링에 기반을 둔 가상 현실 헤드셋용 광선 추적 방법

Also Published As

Publication number Publication date
KR20200076924A (ko) 2020-06-30

Similar Documents

Publication Publication Date Title
CN110695993B (zh) 一种柔性机械臂同步测量方法、***及装置
US9818043B2 (en) Real-time, model-based object detection and pose estimation
CN105091744B (zh) 一种基于视觉传感器和激光测距仪的位姿检测装置与方法
JP5036260B2 (ja) 位置姿勢算出方法及び装置
US7640129B2 (en) Information processing apparatus and information processing method
JP5746477B2 (ja) モデル生成装置、３次元計測装置、それらの制御方法及びプログラム
US9928595B2 (en) Devices, systems, and methods for high-resolution multi-view camera calibration
KR102152217B1 (ko) Vr 장비와 ar 장비간의 좌표계 일치용 지그 및 이를 이용한 물리 공간 공유 방법
JP2020516883A (ja) 高精密な校正システム及び方法
RU2720076C1 (ru) Способ оценивания по реперным точкам угловых и пространственных координат объекта в оптико-электронной системе позиционирования
CN112541946A (zh) 一种基于透视多点投影的机械臂的位姿实时检测方法
CN110501036A (zh) 传感器参数的标定检查方法及装置
CN104048674A (zh) 利用不准确的校准靶的机器视觉***校准
CN101900531B (zh) 双目视觉位移测量误差的测算方法及测量***
CN110095089B (zh) 一种飞行器旋转角度的测量方法及***
Wu et al. A novel calibration method for non-orthogonal shaft laser theodolite measurement system
CN111562563A (zh) 激光雷达转台标定方法、装置和计算机可读存储介质
Huo et al. Corrected calibration algorithm with a fixed constraint relationship and an error compensation technique for a binocular vision measurement system
Tushev et al. Architecture of industrial close-range photogrammetric system with multi-functional coded targets
CN115371545A (zh) 激光跟踪仪姿态测量校准装置及方法
CN108286946A (zh) 传感器位置标定和数据拼接的方法及***
Cui et al. A measurement method of motion parameters in aircraft ground tests using computer vision
EP3693697A1 (en) Method for calibrating a 3d measurement arrangement
CN111220118B (zh) 基于视觉惯性导航***的激光测距仪及测距方法
Liu et al. Calibration method for geometry relationships of nonoverlapping cameras using light planes

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant