KR101583131B1 - 증강현실 기반 오프셋 캘리브레이션 제공 방법 및 시스템 - Google Patents

증강현실 기반 오프셋 캘리브레이션 제공 방법 및 시스템 Download PDF

Info

Publication number
KR101583131B1
KR101583131B1 KR1020140028215A KR20140028215A KR101583131B1 KR 101583131 B1 KR101583131 B1 KR 101583131B1 KR 1020140028215 A KR1020140028215 A KR 1020140028215A KR 20140028215 A KR20140028215 A KR 20140028215A KR 101583131 B1 KR101583131 B1 KR 101583131B1
Authority
KR
South Korea
Prior art keywords
sensor node
tracking sensor
coordinate system
camera
coordinates
Prior art date
Application number
KR1020140028215A
Other languages
English (en)
Other versions
KR20150106116A (ko
Inventor
신도형
정원조
Original Assignee
인하대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인하대학교 산학협력단 filed Critical 인하대학교 산학협력단
Priority to KR1020140028215A priority Critical patent/KR101583131B1/ko
Publication of KR20150106116A publication Critical patent/KR20150106116A/ko
Application granted granted Critical
Publication of KR101583131B1 publication Critical patent/KR101583131B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

본 발명은 3차원 공간 내 설치된 소정 영역의 카메라 위치로부터 세 개의 직교하는 좌표축 기반 임의의 고정 좌표계에서 복수의 기준점을 설정하고, 설정된 상기 기준점별 위치 데이터를 계측기를 통해 획득하는 과정과, 카메라 촬영을 통해 획득된 영상의 좌표에서 상기 복수의 기준점을 인식하는 과정과, 상기 카메라 설치위치로부터 기설정된 간격으로 대향하게 위치하는 트래킹 센서 노드의 위치와 방향 데이터를 상기 계측기를 통해 획득하여 고정 좌표계에서의 트래킹 센서 노드의 방향 및 위치를 산정하는 과정과, 상기 고정 좌표계의 기준점의 좌표 및 상기 획득된 영상에서 기준점이 인식된 좌표를 상기 트래킹 센서 노드의 좌표계로 좌표 변환하여 각 기준점 위치 기반 차이를 검출하는 과정과, 검출된 상기 기준점의 차이에 따라 카메라와 트래킹 센서 노드간 오프셋(offset)을 검출하여 보정을 수행하는 과정을 포함함을 특징으로 한다.

Description

증강현실 기반 오프셋 캘리브레이션 제공 방법 및 시스템{SYSTEM AND METHOD FOR PROVIDING OFFSET CALIBRATION BASED AUGMENTED REALITY}
본 발명은 증강현실 제공 시스템에서의 트래킹 독립적 오프셋 캘리브레이션에 관한 것이다.
비디오 시스루 증강현실 시스템에서 비디오 카메라 자체를 트래킹 센서로 사용하는 시스템은 비디와 카메라와 트래킹 센서가 하나이기 때문에 이들 사이의 오프셋은 존재하지 않는다. 따라서 이러한 시스템에서는 비디오 카메라와 트래킹 센서의 오프셋 캘리브레이션이 별도로 필요하지 않다.
ARToolworks 사의 ARToolKit 기반 시스템이나 Total Immersion사의 D`fusion 시리즈가 비디오 카메라-트래킹 센서 일체형 시스템의 대표적인 예이다.
하지만 이러한 일체형 시스템은 비디오 카메라에서 촬영한 실사 이미지에서 특정 포인트를 인식해 사전에 등록한 해당 포인트와 대비하여 비디오 카메라의 위치와 방향을 계산하는 특성상 빛의 세기나 반사 등의 광학적 노이즈에 상당히 민감한 단점이 있다.
이에 반하여 비디오 카메라와는 별도의 트래킹 센서를 사용하는 비일체형 시스템은 트래킹 센서의 기능상 더욱 안정적인 트래킹을 구현할 수 있으나 비디오 카메라와 트레킹 센서 사이의 위치 및 방향 오프셋을 캘리브레이션 하여야 한다.
이러한 비디오 카메라와 트래킹 센서의 오프셋 캘리브레이션의 대표적인 예가 Shin and Dunston (2010)의 캘리브레이션 방법이다.
Shin and Dunston (2010)은 트래킹 센서의 로컬축을 기준으로 비디로 카메라 중심과의 x, y, z축의 3개 위치 오프셋과 pan, tilt, roll 회전의 3개 방향 오프셋을 캘리브레이션 하였다.
이들이 사용한 방식은 실제 공간에 다수의 기준점을 설치한 후 이의 위치를 트래킹 좌표 기준로 계측하였다.
또한 비디오 카메라와 트래킹 센서가 서로 고정된 상태에서 비디오 카메라로 설치된 기준점들의 전체 뷰를 다수 촬영하였다. 이때 촬영 시 비디오 카메라와 함께 움직인 트래킹 센서의 위치와 방향도 트래킹 시스템에서 계측되어 저장되었다.
이렇게 촬영된 사진마다 기준점들의 픽셀값들을 계측하였다. 이러한 u, v축 픽셀값을 실제 포인트 u, v 값(Real u, Real v)이라고 할 수 있다.
한편 기준점의 트래킹 좌표상 X, Y, Z 좌표값과 사진마다 촬영 함께 저장된 트래킹 센서의 방향과 위치값을 사용하여 이를 가상 카메라에 프로젝트 하여 가상 포인트의 u, v 값(Virtual u, Virtual v)이 계산된다.
사진마다 이렇게 계산된 가상 포인트 u, v 값과 사진에서 직접 추출한 실제 포인트 u, v 값을 각각 비교하여(δu = |Real u-Virtual u|, δv = |Real v-Virtual v|) 그 오차를 합한다(δu+ δv). 이러한 식으로 각 사진 마다 모든 기준점들에 대한 u, v 값들의 오차를 계산하여 모든 사진에 걸쳐 그 합을 구하게 된다.
이때 초기에 임의로 설정한 6개(x, y, z, pan, tilt, roll)의 오프셋이 실제 오프셋과는 달라 가상 포인트 u, v 값과 실제 포인트 u, v의 값들 각각의 오차는 크게 나오게 된다.
이러한 차이를 줄이는 방향으로 6개 오프셋이 조정되어 u, v 값들의 오차의 합이 산정되는 과정이 오차의 합이 허용치로 수렴될 때까지 반복적으로 수행된다.
이러한 반복을 통하여 u, v값들의 오차의 합이 허용치로 수렴될 때의 6개의 오프셋 값이 최적의 오프셋으로 결정되게 된다.
하지만 Shin and Dunston (2010)의 방법은 사용되는 기준점들의 트래킹 좌표상 좌표값이 정확해야 한다는 조건이 충족되어야만 한다.
만약 기준점들의 좌표값이 정확하지 못하다면 오프셋 캘리브레이션 과정에서 오차의 합이 허용치로 수렴되지 못하고 부정확한 오프셋 값을 내놓게 된다.
문제는 많은 트래킹 시스템들이 최소 수 mm의 오차를, 크게는 수 cm의 오차를 가지고있어 소수의 초정밀 트래킹 시스템을 제외하고는 기준점들의 좌표값을 정확하게 측정하기가 사실상 어렵다는 점이다.
따라서 본 발명은 비디오 카메라와 트래킹 센서의 오프셋 캘리브레이션 과정에서 트래킹 시스템의 정밀도가 영향을 주지 않도록 트래킹에 독립적인 오프셋 캘리브레이션 기술을 제공하고자 한다.
본 발명의 일 견지에 따르면, 3차원 공간 내 설치된 소정 영역의 카메라 위치로부터 세 개의 직교하는 좌표축 기반 임의의 고정 좌표계에서 복수의 기준점을 설정하고, 설정된 상기 기준점별 위치 데이터를 계측기를 통해 획득하는 과정과, 카메라 촬영을 통해 획득된 영상의 좌표에서 상기 복수의 기준점을 인식하는 과정과, 상기 카메라 설치위치로부터 기설정된 간격으로 대향하게 위치하는 트래킹 센서 노드의 위치와 방향 데이터를 상기 계측기를 통해 획득하여 고정 좌표계에서의 트래킹 센서 노드의 방향 및 위치를 산정하는 과정과, 상기 고정 좌표계의 기준점의 좌표 및 상기 획득된 영상에서 기준점이 인식된 좌표를 상기 트래킹 센서 노드의 좌표계로 좌표 변환하여 각 기준점 위치 기반 차이를 검출하는 과정과, 검출된 상기 기준점의 차이에 따라 카메라와 트래킹 센서 노드간 오프셋(offset)을 검출하여 보정을 수행하는 과정을 포함함을 특징으로 한다.
본 발명의 다른 견지에 따르면, 3차원 공간 내 소정 영역에 설치된 카메라와, 상기 카메라와 대향하여 기설정된 간격으로 소정 거리를 두어 위치되는 트래킹 센서 노드와, 상기 카메라 및 트래킹 센서 노드에 인접하게 위치하여 상기 카메라 및 트래킹 센서 노드 기반으로 생성되는 임의의 기준점을 계측하는 계측기와, 네트워크를 통해 연결된 상기 카메라 위치로부터 세 개의 직교하는 좌표축 기반 임의의 고정 좌표계에서 복수의 기준점을 설정하고, 설정된 기준점별 위치 데이터가 계측기를 통해 계측되도록 제어하고, 상기 카메라 촬영을 통해 획득된 영상의 좌표에서 상기 복수의 기준점을 인식하여 상기 고정 좌표계의 기준점의 좌표 및 상기 획득된 영상에서 기준점이 인식된 좌표를 상기 트래킹 센서 노드의 좌표계로 좌표 변환하여 각 기준점 위치 기반 차이를 검출하여 카메라와 트래킹 센서 노드 간 오프셋(offset)을 검출하여 보정하는 제어 서버를 포함함을 특징으로 한다.
본 발명은 트래킹 독립적 오프셋 캘리브레이션을 통해 트래킹 시스템의 정밀도가 오프셋 캘리브레이션에 영향을 주지 않도록 함으로써 초정밀 트래킹 시스템을 사용하지 않더라도 정확한 오프셋 캘리브레이션이 가능한 효과가 있다.
도 1은 본 발명의 일 실시 예에 따른 증강현실 기반 오프셋 캘리브레이션 방법에 관한 전체 흐름도.
도 2는 본 발명의 일 실시 예에 따른 증강현실 기반 오프셋 캘리브레이션 제공 시스템의 구성도.
도 본 발명의 일 실시 예에 따른 증강현실 기반 오프셋 캘리브레이션 제공 시스템에서 트래킹 센서 노드를 보인 예시도.
이하 본 발명에 따른 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 하기 설명에서는 구체적인 구성 소자 등과 같은 특정 사항들이 나타나고 있는데 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐 이러한 특정 사항들이 본 발명의 범위 내에서 소정의 변형이나 혹은 변경이 이루어질 수 있음은 이 기술 분야에서 통상의 지식을 가진 자에게는 자명하다 할 것이다.
본 발명은 비디오 시스루(see-through) 증강현실 시스템에서 레지스트레이션(registration)의 완벽한 구현을 위한 비디오 카메라와 트래킹 센서 사이의 오프셋 캘리브레이션을 수행함에 있어, 트래킹의 정확성에 영향을 받지 않고 오프셋 캘리브레이션을 수행할 수 있는 트래킹 독립적 오프셋 캘리브레이션에 관한 기술을 제공하고자 한다.
우선, 본 발명의 일 실시 예에 따른 증강현실 기반 오프셋 캘리브레이션 방법에 관해 도 1을 참조하여 자세히 살펴보기로 한다.
도 1은 본 발명의 일 실시 예에 따른 증강현실 기반 오프셋 캘리브레이션 방법에 관한 전체 흐름도이다.
계측기를 사용하여 트래킹 센서 노드의 위치 및 방향 산정
도 1을 참조하면, 먼저 110 과정에서는 3차원 공간 내 설치된 소정 영역의 카메라 위치로부터 세 개의 직교하는 좌표축 기반 임의의 고정 좌표계에서 복수의 기준점을 설정한다.
여기서, 상기 세 개의 직교하는 좌표축은 기설정된 영역에 고정되어 설치된 카메라를 중심으로 3차원 공간에서 방향성을 나타내는 3축의 x, y, z축을 의미하는 것으로, 지구 중심 좌표계에 대한 카메라에 대한 임의의 고정 좌표계 내에서 각각 가로(수평, 넓이, 좌우), 세로(높이, 상하, 수직), 깊이(심도, 원근)을 나타낸다.
112 과정에서는 토털스테이션(total station)과 같은 계측기를 사용하여 임의의(이하 후술되는 캘리브레이션 동안은 고정된) 고정 좌표계에서 3개 이상의 기준점의 위치 데이터를 획득한다.
이때, 상기 계측기는 각도와 거리를 함께 측정할 수 있는 측량기로, 본 발명의 실시 예에 따라 임의의 고정 좌표계에서 미리 설정된 다수의 기준점의 위치를 움직임 추정이 가능한 트래킹(tracking) 시스템으로 계측하는 대신 상기 계측기를 사용하여 임의의 고정 좌표계의 좌표 상에 대한 좌표로 계측을 수행하여 위치 데이터를 획득한다.
실제 포인트 u, v값을 획득하기 위하여 임의의 좌표계 내에서 카메라와 트래킹 센서노드가 서로 고정된 다음 114 과정에서는 카메라 촬영을 통해 획득된 영상의 좌표에서 상기 복수의 기준점을 인식한다.
즉, 상기 카메라를 통해 입력된 초기 영상으로부터 임의의 고정 좌표계 내 기준점별 위치를 전체 영상 영역에 포함된 화소들을 인식하여 저장하는 것으로, 실제 포인트 u, v값을 얻기 위하여 기설정된 주기별로 촬영된 영상마다 기준점들의 픽셀값들을 계측한다. 이러한 u, v축 픽셀값을 실제 포인트 u, v값(Real u, Real v)라고 할 수 있다.
또한, 실제 포인트 u, v값을 얻기 위하여 카메라와 트래킹 센서 노드가 서로 고정된 다음 카메라로 기준점 뷰(view)를 다수 촬영해야 하는데 이때 촬영 시 트래킹 센서노드의 위치와 방향을 계측해야 해야 하므로, 116 과정에서는 상기 계측기를 통해 트래킹 센서 노드의 위치와 방향 데이터를 획득하고, 이를 통해 118 과정에서는 상기 트래킹 센서 노드의 방향 및 위치 산정을 상기 고정 좌표계 기반 하에 수행한다. 이때, 상기 트래킹 센서 노드의 위치 및 방향 계측값은 기준점의 위치 계측값과 함께 가상 포인트 u, v 값을 계산하는데 사용된다.
상기 트래킹 센서 노드는 본 발명의 실시 예에 따라 카메라의 설치위치로부터 기설정된 간격으로 대향하게 위치하는 것으로, 본 발명에서는 카메라와 트래킹 센서 노드가 서로 고정된 상태에서 카메라로 설치된 기준점들의 전체 뷰를 다수 촬영하고, 촬영 시 카메라와 함께 움직인 트래킹 센서 노드의 위치와 방향도 트래킹 시스템에서 계측되어 저장되는 것과 달리, 상기 임의의 고정 좌표계에서 설정된 기준점과 마찬가지로 상기 트래킹 센서 노드의 위치 및 방향의 계측도 트래킹 시스템에서 계측하는 것이 아니라, 기준점의 위치를 계측한 상기 계측기를 통해 동일한 임의의 고정된 좌표 상에서 계측하게 된다.
상기 118 과정에서 고정 좌표계에서의 트래킹 센서 노드의 방향 및 위치를 산정하는 것은, 상기 계측기를 통해 트래킹 센서 노드에 마킹된 복수의 포인트를 계측하여 수행되는 것으로, 도 3에 도시된 트래킹 센서 노드 상부에 마킹된 P1, P2, P3를 포함한다.
상기 마킹된 복수의 포인트 중 어느 하나의 포인트의 좌표에 대하여 임의의 고정 좌표계에서의 트래킹 센서 노드 좌표축과 트래킹 센서 노드 위치 기반 좌표축을 기준으로 각각 정의하고,
상기 임의의 고정 좌표계에서의 좌표축을 기준으로 한 트래킹 센서 노드의 중점 위치와 방향을 정의하여 하기의 수학식 1에서와 같이 상기 마킹된 복수의 포인트별 방정식이 생성되고 상기 중점 위치와 방향에 각각 대응하는 언노운(unknown)변수가 생성되어 임의의 고정 좌표계에서의 좌표축에 대한 트래킹 센서 노드의 위치와 방향이 산정된다.
Figure 112014023416577-pat00001
더욱 상세하게는, 도 3을 참조하여 설명하면, 도 3에 도시된 바와 같이, 임의의 고정 좌표축을 기준으로 한
Figure 112014023416577-pat00002
의 좌표는 (
Figure 112014023416577-pat00003
), 트래킹 센서 노드 좌표축을 기준으로 한
Figure 112014023416577-pat00004
의 좌표는
Figure 112014023416577-pat00005
로 나타낼 수 있다.
여기서, 임의의 고정 좌표축을 기준으로 한 트래킹 센서 노드의 중점 위치와 방향을 (
Figure 112014023416577-pat00006
,
Figure 112014023416577-pat00007
,
Figure 112014023416577-pat00008
,
Figure 112014023416577-pat00009
, ,
Figure 112014023416577-pat00010
)라고 하면, 수학식 1에서와 같이
Figure 112014023416577-pat00011
,
Figure 112014023416577-pat00012
,
Figure 112014023416577-pat00013
에 대하여 각각 3개씩 9개의 방정식이 생성되고 언노운(unknown) 변수는 (
Figure 112014023416577-pat00014
,
Figure 112014023416577-pat00015
,
Figure 112014023416577-pat00016
,
Figure 112014023416577-pat00017
,
Figure 112014023416577-pat00018
,
Figure 112014023416577-pat00019
)로 6개가 된다. 따라서 최소 제곱법으로 6개 변수에 대한 값을 구함으로써 임의의 고정 좌표축에 대한 센서 중심의 위치와 방향을 산정할 수 있게 된다.
120 과정에서는 상기 고정 좌표계의 기준점의 좌표 및 상기 카메라를 통해 획득된 영상에서 기준점이 인식된 좌표를 상기 트래킹 센서노드의 좌표계로 좌표 변환한다.
상기 트래킹 센서노드의 좌표계는, 상술한 최소 제곱법에 의해 트래킹 센서노드 중점의 위치와 방향각을 가지는 6개의 변수에 대응하는 값을 산출하여 좌표 변환되어 생성된다.
트래킹 센서 노드 좌표를 기준으로 한 카메라의 위치와 방향 산정
이후, 122 과정에서 고정 좌표계에서 설정된 기준점별 위치와, 상기 고정 좌표계의 기준점을 촬영한 영상에 대한 좌표에서 기준점별 위치에 차이를 각각 검출한다.
124 과정에서는 검출된 상기 기준점의 차이에 따라 카메라와 트래킹 센서 간 오프셋(offset)을 검출하여 보정을 수행한다.
더욱 상세하게는, 임의 고정 좌표축을 기준으로 트래킹 센서 노드의 중심으로부터 카메라 중심의 위치는 수학식 2와 같이 표현 가능하다.
Figure 112014023416577-pat00020
여기서, Δx, Δy, Δz는 트래킹 센서 노드 좌표계를 기준으로 트래킹 센서 노드 중심에 대한 카메라 중심의 오프셋을 나타낸다.
카메라 좌표계가 트래킹 센서 노드 좌표계에 대하여
Figure 112014023416577-pat00021
,
Figure 112014023416577-pat00022
,
Figure 112014023416577-pat00023
축에 대하여 각각 Δp, Δt, Δr 만큼 틀어질 경우,
Figure 112014023416577-pat00024
도 2에 도시된 바와 같이, 임의의 고정 좌표축을 기준으로 바닥의 3개 이상의 기준점
Figure 112014023416577-pat00025
의 좌표는
Figure 112014023416577-pat00026
이 되고, 이에 대응되는 영상 좌표를
Figure 112014023416577-pat00027
라고 하면, 영상 좌표
Figure 112014023416577-pat00028
를 영상 중심을 기준으로 한 센서 좌표계(
Figure 112014023416577-pat00029
,
Figure 112014023416577-pat00030
)로 나타낸다면 하기와 같이 표현할 수 있다.
Figure 112014023416577-pat00031
(여기서, Width=영상의 폭(pixel), Height=영상의 높이(pixel))
Figure 112014023416577-pat00032
의 좌표
Figure 112014023416577-pat00033
에 대응되는 (
Figure 112014023416577-pat00034
,
Figure 112014023416577-pat00035
)를 공선조건을 이용하여 나타내면 하기의 수학식 4와 같은 형태이다.
Figure 112014023416577-pat00036
(여기서, f=초점거리(pixel),
Figure 112014023416577-pat00037
는 스케일 팩터)
수학식 4를 간략히 표현하면 하기의 수학식 5와 같다.
Figure 112014023416577-pat00038
수학식 5로부터
Figure 112014023416577-pat00039
영상에서 측정된
Figure 112014023416577-pat00040
와 수학식 5에서 산정된
Figure 112014023416577-pat00041
값의 차이를
Figure 112014023416577-pat00042
라고 하면 하기의 수학식 6과 같이 표현할 수 있다.
Figure 112014023416577-pat00043
한편, 수학식 2, 3, 4에서 보듯이 U, V, W는 Δx, Δy, Δz, Δp, Δt, Δr로 구성된 function들이다.
점
Figure 112014023416577-pat00044
하나에 수학식 6과 같이 방정식이 2개가 생성됨으로 3개 이상의
Figure 112014023416577-pat00045
를 사용하면 최소 6개의 방정식이 생성된다. 여기서, unknown 변수는 Δx, Δy, Δz, Δp, Δt, Δr로 6개 임으로서 최소 제곱법으로 이를 구할 수 있게 된다.
이상에서는 본 발명의 일 실시 예에 따른 증강현실 기반 오프셋 캘리브레이션 제공 방법에 대해서 살펴보았다.
이하, 본 발명의 일 실시 예에 따른 증강현실 기반 오프셋 캘리브레이션 시스템에 대한 구성을 도 2를 참조하여 살펴보기로 한다.
도 2는 본 발명의 일 실시 예에 따른 증강현실 기반 오프셋 캘리브레이션 제공 시스템의 구성도이다.
도 2를 참조하면, 본 발명이 적용된 시스템(200)은 고정 좌표계(20), 카메라(21), 트래킹 센서 노드(22), 제어 서버(23) 및 계측기(24)를 포함한다.
상기 카메라(21)는 3차원 공간 내 소정 영역에 설치된다.
상기 트래킹 센서 노드(22)는 카메라(21)와 대향하여 기설정된 간격으로 소정 거리를 두어 위치된다.
상기 계측기(24)는 카메라(21) 및 트래킹 센서 노드(22)에 인접하게 위치하여 상기 카메라(21) 및 트래킹 센서 노드(22) 기반으로 생성되는 임의의 기준점을 계측한다.
상기 제어 서버(23)는 카메라(21), 계측기(24) 및 트래킹 센서 노드(22)와 네트워크로 연결되어 통신하며, 상기 카메라(21), 계측기(24) 및 트래킹 센서 노드(22)로부터의 출력 결과를 기반으로 증강현실 기반 오프셋 캘리브레이션 제공 시스템의 전반적인 동작을 제어한다.
더욱 상세하게는, 네트워크를 통해 연결된 상기 카메라(21) 위치로부터 세 개의 직교하는 좌표축 기반 임의의 고정 좌표계에서 복수의 기준점을 설정하고, 설정된 기준점별 위치 데이터가 계측기(24)를 통해 계측되도록 제어하고, 상기 카메라(21) 촬영을 통해 획득된 영상의 좌표에서 상기 복수의 기준점을 인식하여 상기 고정 좌표계의 기준점의 좌표 및 상기 획득된 영상에서 기준점이 인식된 좌표를 상기 트래킹 센서 노드(22)의 좌표계로 좌표 변환하여 각 기준점 위치 기반 차이를 검출하여 카메라(21)와 트래킹 센서 노드(22)간 오프셋(offset)을 검출하여 보정한다.
이때, 상기 제어 서버(23)는 디지털 방송 단말기, 개인 정보 단말기(PDA, Personal Digital Assistant), 스마트 폰(Smart Phone), 태블릿(Tablet) PC, 아이패드(Ipad), 3G 단말기 예를 들면 IMT-2000(International Mobile Telecommunication 2000)단말기, WCDMA(Wideband Code Division Multiple Access)단말기, GSM/GPRS(Global System For Mobile Communication Packet Radio Service) 및 UMTS(Universal Mobile Telecommunication Service) 단말기 등과 같은 모든 정보통신기기 및 멀티미디어 기기 등이 포함될 수 있다. 그러나 본 명세서에서 기재된 실시 예에 따른 구성은 데스크탑 컴퓨터 등과 같은 고정 단말기에도 적용될 수도 있음을 본 기술 분야의 당업자라면 쉽게 알 수 있을 것이다.
상기 제어 서버(23)는 계측기(24)를 통해 트래킹 센서 노드(22)에 마킹된 복수의 포인트를 계측하여 고정 좌표계에서의 트래킹 센서 노드(22)의 방향 및 위치를 산정하고, 상기 트랙킹 센서 노드(22)의 좌표계가 최소 제곱법에 의해 트래킹 센서 노드 중점의 위치와 방향각을 가지는 6개의 변수에 대응하는 값을 산출하여 좌표 변환되도록 제어한다.
즉, 상기 제어 서버(23)는 상기 마킹된 복수의 포인트 중 어느 하나의 포인트의 좌표를 임의의 고정 좌표계에서의 트래킹 센서노드 좌표축과 트래킹 센서 노드 위치 기반 좌표축을 기준으로 각각 정의하고,
상기 임의의 고정 좌표계에서의 좌표축을 기준으로 한 트래킹 센서노드의 중심점 위치와 방향을 정의하여 하기의 수학식 7에서와 같이 상기 마킹된 복수의 포인트별 방정식이 생성되고 상기 중심점 위치와 방향에 각각 대응하는 언노운(unknown)변수가 생성되어 임의의 고정 좌표계에서의 좌표축에 대한 트래킹 센서노드의 위치와 방향을 산정한다.
Figure 112014023416577-pat00046
상기와 같이 본 발명에 따른 증강현실 기반 오프셋 캘리브레이션 제공 시스템 및 방법에 관한 동작이 이루어질 수 있으며, 한편 상기한 본 발명의 설명에서는 구체적인 실시 예에 관해 설명하였으나 여러 가지 변형이 본 발명의 범위를 벗어나지 않고 실시될 수 있다. 따라서 본 발명의 범위는 설명된 실시 예에 의하여 정할 것이 아니고 청구범위와 청구범위의 균등한 것에 의하여 정하여져야 할 것이다.
[참고문헌]
Figure 112014023416577-pat00047
21: 카메라 22: 트래킹 센서 노드
23: 제어 서버 24: 계측기

Claims (8)

  1. 3차원 공간 내 설치된 소정 영역의 카메라 위치로부터 세 개의 직교하는 좌표축 기반 임의의 고정 좌표계에서 복수의 기준점을 설정하고, 설정된 상기 기준점별 위치 데이터를 계측기를 통해 획득하는 과정과,
    카메라 촬영을 통해 획득된 영상의 좌표에서 상기 복수의 기준점을 인식하는 과정과,
    상기 카메라 설치위치로부터 기설정된 간격으로 대향하게 위치하는 트래킹 센서 노드의 위치와 방향 데이터를 상기 계측기를 통해 획득하여 고정 좌표계에서의 트래킹 센서 노드의 방향 및 위치를 산정하는 과정과,
    상기 고정 좌표계의 기준점의 좌표 및 상기 획득된 영상에서 기준점이 인식된 좌표를 상기 트래킹 센서 노드의 좌표계로 좌표 변환하여 각 기준점 위치 기반 차이를 검출하는 과정과,
    검출된 상기 기준점의 차이에 따라 카메라와 트래킹 센서 노드간 오프셋(offset)을 검출하여 보정을 수행하는 과정을 포함함을 특징으로 하는 증강현실 기반 오프셋 캘리브레이션 제공 방법.
  2. 제1항에 있어서, 상기 고정 좌표계에서의 트래킹 센서 노드의 방향 및 위치를 산정하는 과정은,
    상기 계측기를 통해 트래킹 센서 노드에 마킹된 복수의 포인트를 계측하여 수행됨을 특징으로 하는 증강현실 기반 오프셋 캘리브레이션 제공 방법.
  3. 제1항에 있어서, 상기 트래킹 센서 노드의 좌표계는,
    최소 제곱법에 의해 트래킹 센서 노드 중점의 위치와 방향각을 가지는 6개의 변수에 대응하는 값을 산출하여 좌표 변환되어 생성됨을 특징으로 하는 증강현실 기반 오프셋 캘리브레이션 제공 방법.
  4. 제2항에 있어서,
    상기 마킹된 복수의 포인트 중 어느 하나의 포인트의 좌표에 대하여 임의의 고정 좌표계에서의 트래킹 센서 노드 좌표축과 트래킹 센서 노드 위치 기반 좌표축을 기준으로 각각 정의하고,
    상기 임의의 고정 좌표계에서의 좌표축을 기준으로 한 트래킹 센서 노드의 중점 위치와 방향을 정의하여 하기의 수학식에서와 같이 상기 마킹된 복수의 포인트별 방정식이 생성되고 상기 중점 위치와 방향에 각각 대응하는 언노운(unknown)변수가 생성되어 임의의 고정 좌표계에서의 좌표축에 대한 트래킹 센서 노드의 위치와 방향이 산정됨을 특징으로 하는 증강현실 기반 오프셋 캘리브레이션 제공 방법.
    Figure 112015080113069-pat00048

    (여기서, 임의의 고정 좌표축을 기준으로 한
    Figure 112015080113069-pat00053
    의 좌표는 (
    Figure 112015080113069-pat00054
    ), 트래킹 센서 노드 좌표축을 기준으로 한
    Figure 112015080113069-pat00055
    의 좌표는
    Figure 112015080113069-pat00056
    이고,
    Figure 112015080113069-pat00057
    ,
    Figure 112015080113069-pat00058
    ,
    Figure 112015080113069-pat00059
    ,
    Figure 112015080113069-pat00060
    , ,
    Figure 112015080113069-pat00061
    : 임의의 고정 좌표축을 기준으로 한 트래킹 센서 노드의 중점 위치와 방향인 경우
    Figure 112015080113069-pat00062
    ,
    Figure 112015080113069-pat00063
    ,
    Figure 112015080113069-pat00064
    에 대하여 각각 3개씩 9개의 방정식이 생성되고 언노운(unknown) 변수는 (
    Figure 112015080113069-pat00065
    ,
    Figure 112015080113069-pat00066
    ,
    Figure 112015080113069-pat00067
    ,
    Figure 112015080113069-pat00068
    ,
    Figure 112015080113069-pat00069
    ,
    Figure 112015080113069-pat00070
    )로 6개)
  5. 3차원 공간 내 소정 영역에 설치된 카메라와,
    상기 카메라와 대향하여 기설정된 간격으로 소정 거리를 두어 위치되는 트래킹 센서 노드와,
    상기 카메라 및 트래킹 센서 노드에 인접하게 위치하여 상기 카메라 및 트래킹 센서 노드 기반으로 생성되는 임의의 기준점을 계측하는 계측기와,
    네트워크를 통해 연결된 상기 카메라 위치로부터 세 개의 직교하는 좌표축 기반 임의의 고정 좌표계에서 복수의 기준점을 설정하고, 설정된 기준점별 위치 데이터가 계측기를 통해 계측되도록 제어하고, 상기 카메라 촬영을 통해 획득된 영상의 좌표에서 상기 복수의 기준점을 인식하여 상기 고정 좌표계의 기준점의 좌표 및 상기 획득된 영상에서 기준점이 인식된 좌표를 상기 트래킹 센서 노드의 좌표계로 좌표 변환하여 각 기준점 위치 기반 차이를 검출하여 카메라와 트래킹 센서 노드 간 오프셋(offset)을 검출하여 보정하는 제어 서버를 포함함을 특징으로 하는 증강현실 기반 오프셋 캘리브레이션 제공 시스템.
  6. 제5항에 있어서, 상기 제어 서버는,
    상기 계측기를 통해 트래킹 센서 노드에 마킹된 복수의 포인트를 계측하여 고정 좌표계에서의 트래킹 센서 노드의 방향 및 위치를 산정함을 특징으로 하는 증강현실 기반 오프셋 캘리브레이션 제공 시스템.
  7. 제5항에 있어서, 상기 제어 서버는,
    상기 트랙킹 센서 노드의 좌표계가 최소 제곱법에 의해 트래킹 센서 노드 중점의 위치와 방향각을 가지는 6개의 변수에 대응하는 값을 산출하여 좌표 변환되도록 제어함을 특징으로 하는 증강현실 기반 오프셋 캘리브레이션 제공 시스템.
  8. 제6항에 있어서, 상기 제어 서버는,
    상기 마킹된 복수의 포인트 중 어느 하나의 포인트의 좌표를 임의의 고정 좌표계에서의 트래킹 센서 노드 좌표축과 트래킹 센서 노드 위치 기반 좌표축을 기준으로 각각 정의하고,
    상기 임의의 고정 좌표계에서의 좌표축을 기준으로 한 트래킹 센서 노드의 중심점 위치와 방향을 정의하여 하기의 수학식에서와 같이 상기 마킹된 복수의 포인트별 방정식이 생성되어 상기 중심점 위치와 방향에 각각 대응하는 언노운(unknown)변수가 생성되어 임의의 고정 좌표계에서의 좌표축에 대한 트래킹 센서노드의 위치와 방향을 산정함을 특징으로 하는 증강현실 기반 오프셋 캘리브레이션 제공 시스템.
    Figure 112015080113069-pat00049

    (여기서, 임의의 고정 좌표축을 기준으로 한
    Figure 112015080113069-pat00071
    의 좌표는 (
    Figure 112015080113069-pat00072
    ), 트래킹 센서 노드 좌표축을 기준으로 한
    Figure 112015080113069-pat00073
    의 좌표는
    Figure 112015080113069-pat00074
    이고,
    Figure 112015080113069-pat00075
    ,
    Figure 112015080113069-pat00076
    ,
    Figure 112015080113069-pat00077
    ,
    Figure 112015080113069-pat00078
    , ,
    Figure 112015080113069-pat00079
    : 임의의 고정 좌표축을 기준으로 한 트래킹 센서 노드의 중점 위치와 방향인 경우
    Figure 112015080113069-pat00080
    ,
    Figure 112015080113069-pat00081
    ,
    Figure 112015080113069-pat00082
    에 대하여 각각 3개씩 9개의 방정식이 생성되고 언노운(unknown) 변수는 (
    Figure 112015080113069-pat00083
    ,
    Figure 112015080113069-pat00084
    ,
    Figure 112015080113069-pat00085
    ,
    Figure 112015080113069-pat00086
    ,
    Figure 112015080113069-pat00087
    ,
    Figure 112015080113069-pat00088
    )로 6개)
KR1020140028215A 2014-03-11 2014-03-11 증강현실 기반 오프셋 캘리브레이션 제공 방법 및 시스템 KR101583131B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140028215A KR101583131B1 (ko) 2014-03-11 2014-03-11 증강현실 기반 오프셋 캘리브레이션 제공 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140028215A KR101583131B1 (ko) 2014-03-11 2014-03-11 증강현실 기반 오프셋 캘리브레이션 제공 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20150106116A KR20150106116A (ko) 2015-09-21
KR101583131B1 true KR101583131B1 (ko) 2016-01-07

Family

ID=54245072

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140028215A KR101583131B1 (ko) 2014-03-11 2014-03-11 증강현실 기반 오프셋 캘리브레이션 제공 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR101583131B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10796493B2 (en) 2018-07-02 2020-10-06 Electronics And Telecommunications Research Institute Apparatus and method for calibrating augmented-reality image

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114125430B (zh) * 2021-11-19 2024-05-14 天津津航技术物理研究所 一种光电转塔上摄像机视轴偏离度的校准方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006099188A (ja) 2004-09-28 2006-04-13 Canon Inc 情報処理方法および装置
JP2008224626A (ja) 2007-03-15 2008-09-25 Canon Inc 情報処理装置、情報処理方法、校正治具
KR101326010B1 (ko) 2012-06-13 2013-11-07 에이알비전 (주) 증강현실을 위한 원통형 마커 기반의 카메라 좌표 변환시스템 및 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020085432A (ko) * 2001-05-08 2002-11-16 (주)이음미디어 오브젝트 가상현실 이미지 제작 시스템 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006099188A (ja) 2004-09-28 2006-04-13 Canon Inc 情報処理方法および装置
JP2008224626A (ja) 2007-03-15 2008-09-25 Canon Inc 情報処理装置、情報処理方法、校正治具
KR101326010B1 (ko) 2012-06-13 2013-11-07 에이알비전 (주) 증강현실을 위한 원통형 마커 기반의 카메라 좌표 변환시스템 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10796493B2 (en) 2018-07-02 2020-10-06 Electronics And Telecommunications Research Institute Apparatus and method for calibrating augmented-reality image

Also Published As

Publication number Publication date
KR20150106116A (ko) 2015-09-21

Similar Documents

Publication Publication Date Title
KR102085228B1 (ko) 깊이 센서의 깊이 보정을 위한 이미지 처리방법 및 그 장치
Luhmann et al. Sensor modelling and camera calibration for close-range photogrammetry
CN110276786B (zh) 确定跟踪目标的位置信息的方法及装置、跟踪装置及***
US20190392609A1 (en) 3 dimensional coordinates calculating apparatus, 3 dimensional coordinates calculating method, 3 dimensional distance measuring apparatus and 3 dimensional distance measuring method using images
JP6442193B2 (ja) 点群位置データ処理装置、点群位置データ処理システム、点群位置データ処理方法およびプログラム
JP5961945B2 (ja) 画像処理装置、その画像処理装置を有するプロジェクタ及びプロジェクタシステム、並びに、画像処理方法、そのプログラム、及び、そのプログラムを記録した記録媒体
US20150377612A1 (en) Position/orientation measurement apparatus, measurement processing method thereof, and non-transitory computer-readable storage medium
US9800867B2 (en) Calibration device of camera, camera system, and calibration method of camera
CN108111828B (zh) 投影设备校正方法、装置及投影设备
CN105451012B (zh) 三维成像***和三维成像方法
EP3421930B1 (en) Three-dimensional shape data and texture information generation system, photographing control program, and three-dimensional shape data and texture information generation method
WO2015073548A2 (en) Point-to-point measurements using a handheld device
CN105554247A (zh) 测量方法、测量***和终端
JP2015184767A (ja) 情報処理装置、情報処理方法、位置姿勢推定装置、ロボットシステム
KR102255017B1 (ko) 시간 코딩된 패턴 타겟을 사용하여 적어도 하나의 센서 카메라를 포함하는 이미지 캡처 센서를 캘리브레이션하는 방법
CN108932732B (zh) 一种获取监测对象数据信息的方法及装置
CN106705860B (zh) 一种激光测距方法
JP6282377B2 (ja) ３次元形状計測システムおよびその計測方法
JP2016200557A (ja) 校正装置、距離計測装置及び校正方法
CN114445506A (zh) 相机标定处理方法、装置、设备及存储介质
KR101583131B1 (ko) 증강현실 기반 오프셋 캘리브레이션 제공 방법 및 시스템
TW201326776A (zh) 鏡頭檢測裝置及方法
US20140313324A1 (en) Dynamic results projection for moving test object
JP5267100B2 (ja) 運動推定装置及びプログラム
US20160171017A1 (en) Mobile positioning apparatus and positioning method thereof

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
FPAY Annual fee payment

Payment date: 20180823

Year of fee payment: 4