KR20080085621A - 증강현실 공간을 제공하는 장치 및 방법 - Google Patents

증강현실 공간을 제공하는 장치 및 방법 Download PDF

Info

Publication number
KR20080085621A
KR20080085621A KR1020070039840A KR20070039840A KR20080085621A KR 20080085621 A KR20080085621 A KR 20080085621A KR 1020070039840 A KR1020070039840 A KR 1020070039840A KR 20070039840 A KR20070039840 A KR 20070039840A KR 20080085621 A KR20080085621 A KR 20080085621A
Authority
KR
South Korea
Prior art keywords
marker
markers
motion
image
transform
Prior art date
Application number
KR1020070039840A
Other languages
English (en)
Other versions
KR100945555B1 (ko
Inventor
박종승
윤종현
김정규
Original Assignee
인천대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인천대학교 산학협력단 filed Critical 인천대학교 산학협력단
Publication of KR20080085621A publication Critical patent/KR20080085621A/ko
Application granted granted Critical
Publication of KR100945555B1 publication Critical patent/KR100945555B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 다중 마커를 이용하여 증강현실 공간을 제공하는 장치 및 방법에 관한 것이다. 장치는 영상을 수신하고, 수신한 영상에서 복수의 마커를 검출한다. 다음 장치는 검출한 복수의 마커에 각각 대응하는 복수의 움직임 변환을 계산한 후, 복수의 움직임 변환에 복수의 가중치를 적용하여 복수의 움직임 변환을 대표 움직임 변환으로 융합한다. 이후 장치는 대표 움직임 변환에 대한 투사행렬을 계산하고, 계산된 투사행렬에 따라 증강현실 공간을 출력한다. 이를 통해 장치는 신뢰도가 높은 증강현실 공간을 제공한다.
마커, 증강현실, 투사행렬

Description

증강현실 공간을 제공하는 장치 및 방법{APPARATUS AND METHOD FOR PROVIDING AUGMENTED REALITY SPACE}
도 1은 본 발명의 실시예에 따른 증강현실 공간 제공 장치의 구성도이다.
도 2는 본 발명의 실시예에 따른 마커 등록부의 구성도이다.
도 3은 본 발명의 실시예에 따른 마커 융합부의 구성도이다.
도 4는 본 발명의 실시예에 따른 변환 보정부의 구성도이다.
도 5는 본 발명의 실시예에 따른 증강현실 공간 제공 방법을 도시한 순서도이다.
도 6은 본 발명의 실시예에 따른 마커 융합부가 복수의 움직임 변환을 대표 움직임 변환으로 융합하는 방법을 도시한 순서도이다.
도 7은 본 발명의 실시예에 따른 좌표계 정합부가 로컬 좌표계를 정합하는 방법을 도시한 도면이다.
도 8은 본 발명의 실시예에 따른 왜곡률 계산부가 각 마커의 왜곡률을 계산하는 방법을 도시한 도면이다.
본 발명은 증강현실 공간을 구현하는 장치 및 방법에 관한 것이다. 특히 본 발명은 현실세계와 가상세계의 융합을 통해 증강현실 공간을 구현하는 장치 및 방법에 관한 것이다.
증강현실 공간 형성을 위한 현실세계와 가상세계의 융합 방법은 마커 추적을 통해 카메라의 움직임을 추정하고 추정된 결과를 통해 투사행렬을 계산함으로써 현실세계의 물리 공간과 가상세계의 가상 공간을 일치화한다.
이때 물리 공간과 가상 공간의 일치화에 있어서 매개체의 역할을 하는 마커에 대한 추적 및 카메라의 움직임에 대한 추정이 중요한 역할을 한다.
본 발명이 이루고자 하는 기술적 과제는 마커의 추적 및 카메라의 움직임 추정에 대한 정확도를 향상시켜 신뢰도가 높은 증강현실 공간을 구현하는 장치 및 방법을 제공하는 것이다.
본 발명의 실시예에 따른 증강현실 공간 제공 방법은 영상을 수신하는 단계, 영상에서 복수의 마커를 검출하는 단계, 복수의 마커에 각각 대응하는 복수의 움직임 변환을 계산하는 단계, 복수의 움직임 변환에 복수의 가중치를 적용하여 복수의 움직임 변환을 대표 움직임 변환으로 융합하는 단계, 대표 움직임 변환에 대한 투사행렬을 계산하는 단계, 및 투사행렬에 따라 증강현실 공간을 출력하는 단계를 포함한다.
이때 증강현실 공간 제공 방법에서 복수의 움직임 변환은 복수의 움직임 변 환에 각각 대응하는 복수의 로컬 좌표계를 기준으로 정의되고, 증강현실 공간 제공 방법의 융합하는 단계는 복수의 마커 중에서 참조 마커를 검출하는 단계, 복수의 로컬 좌표계를 참조 마커의 좌표계로 정합하는 단계, 복수의 마커에 각각 대응하는 복수의 가중치를 계산하는 단계, 및 복수의 움직임 변환에 복수의 가중치를 적용하여 대표 움직임 변환을 생성하는 단계를 포함한다.
또한 이때 증강현실 공간 제공 방법의 복수의 가중치를 계산하는 단계는 각 마커에 대한 왜곡률과 각 마커에 대한 크기를 바탕으로 각 마커의 가중치를 계산하는 단계를 포함한다.
또한 이때 증강현실 공간 제공 방법의 참조 마커를 검출하는 단계는 복수의 마커 각각의 중심점과 영상의 중심점과의 거리가 가장 작은 마커를 참조 마커로 설정하는 단계를 포함한다.
또한 이때 증강현실 공간 제공 방법의 정합하는 단계는 복수의 로컬 좌표계를 참조 마커의 좌표계로 정합하여 복수의 움직임 변환이 참조 마커의 좌표계를 기준으로 정의되도록 하는 단계를 포함한다.
본 발명의 다른 실시예에 따른 증강현실 공간 제공 방법은 영상 데이터를 수신하는 단계, 영상 데이터에서 복수의 마커를 검출하는 단계, 복수의 마커 각각 대응하는 복수의 움직임 변환을 계산하는 단계, 복수의 움직임 변환을 융합하여 대표 움직임 변환을 생성하는 단계, 이전 영상 데이터에 대한 대표 움직임 변환을 바탕으로 대표 움직임 변환을 보정하는 단계, 보정된 대표 움직임 변환에 대한 투사행렬을 계산하는 단계, 및 투사행렬에 따라 증강현실 공간을 출력하는 단계를 포함한 다.
이때 증강현실 공간 제공 방법에서 대표 움직임 변환은 복수의 요소로 구성되고, 증강현실 공간 제공 방법의 보정하는 단계는 이전 영상 데이터에 대한 대표 움직임 변환의 각 요소와 대표 움직임 변환의 각 요소에 대한 평균을 통해 대표 움직임 변환을 보정하는 단계를 포함한다.
본 발명의 다른 실시예에 따른 증강현실 공간 제공 장치는 영상 수신부, 마커 등록부, 마커 융합부, 변환 보정부, 투사행렬 계산부, 및 영상 표시부를 포함한다. 영상 수신부는 물리 공간에 해당하는 영상을 수신하여 영상을 흑백 영상으로 변환한다. 마커 등록부는 흑백 영상으로부터 복수의 마커를 검출하고, 복수의 마커에 각각 대응하는 복수의 움직임 변환을 계산한다. 마커 융합부는 복수의 마커로부터 참조 마커를 검출하고, 복수의 움직임 변환을 대표 움직임 변환으로 융합한다. 변환 보정부는 대표 움직임 변환을 보정하고, 투사행렬 계산부는 보정된 대표 움직임 변환에 대한 투사행렬을 계산하며, 영상 표시부는 투사행렬에 따라 증강현실 공간의 영상을 표시한다.
이때 증강현실 공간 제공 장치의 마커 등록부는 마커 패턴 인식부, 마커 검출부, 및 움직임 변환 계산부를 포함한다. 마커 패턴 인식부는 미리 정의된 마커의 패턴을 읽어오고, 마커 검출부는 마커의 패턴에 따라 영상으로부터 복수의 마커를 검출하며, 움직임 변환 계산부는 복수의 마커에 각각 대응하는 복수의 움직임 변환을 계산한다.
또한 이때 증강현실 공간 제공 장치에서 복수의 움직임 변환은 복수의 움직 임 변환에 각각 대응하는 복수의 로컬 좌표계를 기준으로 정의되고, 증강현실 공간 제공 장치의 마커 융합부는 참조 마커 검출부, 좌표계 정합부, 왜곡률 계산부, 크기 계산부, 가중치 계산부, 변환 융합부를 포함한다. 참조 마커 검출부는 복수의 마커 중에서 참조 마커를 검출하고, 좌표계 정합부는 복수의 로컬 좌표계를 참조 마커의 좌표계로 정합하며, 왜곡률 계산부는 영상에서 복수의 마커에 각각 대응하는 복수의 왜곡률을 계산한다. 크기 계산부는 영상에서 복수의 마커에 각각 대응하는 복수의 영역 크기를 계산하고, 가중치 계산부는 복수의 왜곡률과 복수의 영역 크기를 바탕으로 복수의 마커에 각각 대응하는 복수의 가중치를 계산하며, 변환 융합부는 복수의 움직임 변환에 복수의 가중치를 적용하여 복수의 움직임 변환을 대표 움직임 변환으로 융합한다.
또한 이때 증강현실 공간 제공 장치의 변환 보정부는 버퍼, 및 보정부를 포함한다. 버퍼는 대표 움직임 변환에 대한 히스토리를 저장하고, 보정부는 히스토리를 바탕으로 대표 움직임 변환을 보정한다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈", "블록" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
이제 본 발명의 실시예에 따른 증강현실 공간을 제공하는 장치 및 방법에 대하여 도면을 참고로 하여 상세하게 설명한다.
다음은 도 1을 참고하여 본 발명의 실시예에 따른 증강현실 공간을 제공하는 장치에 대해 설명한다.
도 1은 본 발명의 실시예에 따른 증강현실 공간 제공 장치의 구성도이다.
도 1에 도시된 바와 같이, 증강현실 공간 제공 장치는 영상 수신부(100), 마커 등록부(200), 마커 융합부(300), 변환 보정부(400), 투사행렬 계산부(500), 및 영상 표시부(600)를 포함한다.
영상 수신부(100)는 증강현실 공간의 물리 공간으로 사용될 실시간 영상을 수신하고, 수신한 영상을 흑백 영상으로 변환한다. 이때 영상 수신부(100)는 영상 데이터를 통해 영상을 수신할 수 있다.
마커 등록부(200)는 영상 수신부(100)로부터 흑백 영상을 입력 받고, 입력된 흑백 영상으로부터 복수의 마커를 검출한다. 마커 등록부(200)는 영상의 왜곡이 심하지 않은 경우 등록된 모든 마커를 찾아내고, 단일 마커의 추적뿐만 아니라 다중 마커의 추적도 가능하다.
마커 융합부(300)는 복수의 마커로부터 참조 마커를 검출하고, 복수의 마커 각각에 대한 가중치를 통해 복수의 마커에 각각 대응하는 복수의 움직임 변환을 하나의 대표 움직임 변환으로 융합한다.
변환 보정부(400)는 대표 움직임 변환들의 히스토리(history)를 통해 대표 움직임 변환을 보정하여 영상 출력 시 떨림 현상을 제거한다.
투사행렬 계산부(500)는 보정된 대표 움직임 변환에 따라 가상 객체를 물리 공간으로 투사할 수 있는 투사행렬을 계산한다.
영상 표시부(600)는 영상 수신부(100)가 수신한 영상의 물리 공간과 가상 객체 또는 가상 공간이 융합된 증강현실 공간의 영상을 표시한다. 영상 표시부(600)는 투사행렬을 통해 렌더링(rendering)되는 증강현실 공간의 모습을 모니터로 출력한다. 이때 영상 표시부(600)는 두부 장착형 디스플레이(Head Mounted Display, HMD)를 통해 출력할 수도 있다.
다음은 도 2를 참고하여 본 발명의 실시예에 따른 마커 등록부를 설명한다.
도 2는 본 발명의 실시예에 따른 마커 등록부의 구성도이다.
도 2에 도시된 바와 같이, 마커 등록부(200)는 마커 패턴 인식부(210), 마커 검출부(230), 및 움직임 변환 계산부(250)를 포함한다.
마커 패턴 인식부(210)는 미리 정의된 마커의 패턴을 읽어 온다.
마커 검출부(230)는 마커 패턴 인식부(210)가 읽어온 마커의 패턴을 흑백 영상에서 인식하여 인식된 복수의 마커를 검출한다.
움직임 변환 계산부(250)는 마커 검출부(230)가 검출한 복수의 마커에 각각 대응하는 복수의 움직임 변환을 계산한다. 움직임 변환은 영상에서 마커의 움직임의 변화를 나타내고, 움직임 변환을 통해 카메라의 움직임을 추적할 수 있다.
다음은 도 3을 참고하여 본 발명의 실시예에 따른 마커 융합부를 설명한다.
도 3은 본 발명의 실시예에 따른 마커 융합부의 구성도이다.
도 3에 도시된 바와 같이, 마커 융합부(300)는 참조 마커 검출부(310), 좌표계 정합부(320), 왜곡률 계산부(330), 크기 계산부(340), 마커 가중치 계산부(350), 및 다중 변환 융합부(360)를 포함한다.
참조 마커 검출부(310)는 마커 등록부(200)를 통해 검출된 복수의 마커 중에서 신뢰도가 높은 참조 마커를 검출한다.
좌표계 정합부(320)는 다수의 마커가 서로 다른 로컬(local) 좌표계를 중심으로 움직일 때 각 마커의 로컬 좌표계를 참조 마커를 기준으로 하는 참조 좌표계로 정합한다.
왜곡률 계산부(330)는 참조 좌표계에 따라 정의되는 마커들에 대한 왜곡 정도에 해당하는 왜곡률을 계산한다.
크기 계산부(340)는 참조 좌표계에 따라 정의되는 마커들의 픽셀 크기를 통해 마커 영역의 크기를 계산한다.
마커 가중치 계산부(350)는 각 마커의 왜곡률과 마커 영역의 크기를 바탕으로 복수의 마커에 각각 대응하는 복수의 가중치를 계산한다.
다중 변환 융합부(360)는 복수의 마커에 복수의 마커에 각각 대응하는 복수의 가중치를 적용하여 복수의 움직임 변환을 하나의 대표 움직임 변환으로 융합한 다.
다음은 도 4를 참고하여 본 발명의 실시예에 따른 변환 보정부를 설명한다.
도 4는 본 발명의 실시예에 따른 변환 보정부의 구성도이다.
도 4에 도시된 바와 같이, 변환 보정부(400)는 히스토리 버퍼(410), 및 보정부(430)를 포함한다.
히스토리 버퍼(410)는 대표 움직임 변환의 히스토리(history)를 저장한다.
보정부(430)는 히스토리 버퍼(410)에 저장된 대표 움직임 변환의 히스토리를 바탕으로 변환을 보정한다. 보정부(430)는 일반적인 환경에서 추정된 마커와 카메라 사이의 움직임 변환이 빛과 같은 환경 변수의 영향으로 불안정한 값으로 추정되어 출력된 영상이 떨림 현상을 야기할 수 있으므로 대표 움직임 변환을 보정한다.
다음은 도 5와 도 6을 참고하여 본 발명의 실시예에 따른 증강현실 공간을 제공하는 방법에 대해 설명한다.
도 5는 본 발명의 실시예에 따른 증강현실 공간 제공 방법을 도시한 순서도이다.
도 5에 도시된 바와 같이, 먼저 영상 수신부(100)는 실시간 영상을 수신한다(S100). 실시간 영상은 다수의 프레임으로 구성된다. 이때 영상 수신부(100)는 실시간 영상을 흑백 영상으로 변환하여 출력할 수 있다.
다음 마커 등록부(200)는 영상 수신부(100)로부터 영상을 입력 받아, 입력된 영상에서 복수의 마커를 검출하고, 복수의 마커에 각각 대응하는 복수의 움직임 변환을 계산한다(S200). 마커 등록부(200)의 마커 검출부(230)는 영상 수신부(100)로 부터 흑백 영상을 입력 받아 입력된 흑백 영상으로부터 미리 정의된 마커 패턴에 대응하는 마커들을 검출하고, 검출된 마커가 유효한 경우 각 마커에 대한 움직임 변환을 계산한다. 이때 마커 검출부(230)는 마커 패턴 인식부(210)를 통해 미리 정의된 마커 패턴들을 인식할 수 있다.
이후 마커 융합부(300)는 복수의 마커에 각각 대응하는 복수의 움직임 변환을 대표 움직임 변환으로 융합한다(S300).
이하에서는 도 6을 참고하여 본 발명의 실시예에 따른 마커 융합부가 복수의 움직임 변환을 대표 움직임 변환으로 융합하는 방법에 대해 설명한다.
도 6은 본 발명의 실시예에 따른 마커 융합부가 복수의 움직임 변환을 대표 움직임 변환으로 융합하는 방법을 도시한 순서도이다.
도 6에 도시된 바와 같이, 먼저 마커 융합부(300)의 참조 마커 검출부(310)는 마커들 중 신뢰도가 가장 큰 마커를 참조 마커로 선택한다(S310). 이때 참조 마커 검출부(310)는 영상의 각 프레임에서 검출된 각 마커의 중심점과 해당 프레임의 중심점의 거리를 바탕으로 참조 마커를 선택할 수 있다. 또한 이때 다수의 마커들 중 i 번째 마커가 4개의 꼭지점(ci,j)을 갖는 사각형인 경우, i 번째 마커의 중심점(ci)은 수학식 1을 따른다.
Figure 112007030949714-PAT00001
수학식 1에 따라, i 번째 마커의 중심점(ci)과 해당 프레임의 중심점(o)간의 거리(di)는 수학식 2를 따른다.
Figure 112007030949714-PAT00002
수학식 2에 따라, 참조 마커 검출부(310)는 거리(di)가 가장 작은 마커를 참조 마커로 선택할 수 있다.
다음 마커 융합부(300)의 좌표계 정합부(320)는 복수의 마커에 각각 대응하는 복수의 로컬 좌표계를 참조 마커의 좌표계로 정합한다(S330). 각 마커의 움직임 변환은 로컬(local) 좌표계에 따라 정의될 수 있다. 좌표계 정합부(320)는 각 마커의 로컬 좌표계를 참조 마커의 좌표계로 정합한다.
이후 마커 융합부(300)의 마커 가중치 계산부(350)는 복수의 마커에 각각 대응하는 복수의 가중치를 계산한다(S350). 마커 가중치 계산부(350)는 각 마커의 왜곡률과 각 마커의 영역 크기를 바탕으로 각 마커에 대한 가중치를 계산한다. 이때 마커 가중치 계산부(350)는 왜곡률 계산부(330)가 계산한 각 마커의 왜곡률과 크기 계산부(340)가 계산한 각 마커의 영역 크기를 통해 각 마커의 가중치를 계산할 수 있다.
다음 마커 융합부(300)의 다중 변환 융합부(360)는 복수의 마커에 각각 대응하는 복수의 움직임 변환에 복수의 마커에 각각 대응하는 복수의 가중치를 적용하여 하나의 대표 움직임 변환으로 융합한다(S370).
다시 도 5를 참고하여 본 발명의 실시예에 따른 증강현실 공간을 구현하는 방법에 대해 설명한다.
다음 변환 보정부(400)는 버퍼(410)에 저장된 대표 움직임 변환의 히스토리를 바탕으로 대표 움직임 변환을 보정한다(S400). 변환 보정부(400)의 보정부(430)는 중간값 평균화 방법을 통해 대표 움직임 변환을 보정한다. 보정부(430)는 현재 영상에 해당하는 n 번째 영상의 대표 움직임 변환과 n-3 번째 영상부터 n-1 번째 영상까지의 대표 움직임 변환을 바탕으로 각 대표 움직임 변환의 요소 중 최대 값을 갖는 변수와 최소 값을 갖는 변수를 제외한 나머지의 평균을 취함으로써 n 번째 대표 움직임 변환을 보정한다.
이후 투사행렬 계산부(500)는 보정된 대표 움직임 변환에 대한 투사행렬을 계산한다(S500).
다음 영상 표시부(600)는 영상 수신부(100)가 수신한 실시간 영상에 실시간 영상에 대응하는 투사행렬을 통해 증강현실 공간을 렌더링 하여 출력한다(S600). 이때 마커 등록부(200)가 마커를 검출하는 단계(S200)에서 유효한 마커가 검출되지 않은 경우 영상 표시부(600)는 이전 투사행렬을 통해 증강현실 공간을 출력할 수 있다.
다음은 도 7을 참고하여 본 발명의 실시예에 따른 좌표계 정합부가 로컬 좌표계를 참조 마커의 좌표계로 정합하는 방법을 설명한다.
도 7은 본 발명의 실시예에 따른 좌표계 정합부가 로컬 좌표계를 정합하는 방법을 도시한 도면이다.
도 7에 도시된 바와 같이, 마커 등록부(200)가 검출한 다수의 마커 중 i 번 째 마커의 움직임 변환(Ti)이 로컬 좌표계(Li)를 기준으로 정의되고, j 번째 마커의 움직임 변환(Tj)이 로컬 좌표계(Lj)를 기준으로 정의되며, 참조 마커의 움직임 변환(Tk)이 좌표계(Lk)를 기준으로 정의된다.
좌표계 정합부(320)는 각 로컬 좌표계를 기준으로 정의되는 각 마커의 움직임 변환을 참조 마커의 좌표계를 기준으로 정의되는 움직임 변환이 되도록 각 마커의 로컬 좌표계를 참조 마커의 좌표계로 정합한다.
좌표계 정합부(320)는 로컬 좌표계(Li)를 기하구조 변환(Ti k)를 통해 변환하여 i 번째 마커의 움직임 변환(Ti)을 참조 마커의 좌표계(Lk)를 기준으로 하는 움직임 변환으로 변형한다. 또한 좌표계 정합부(320)는 로컬 좌표계(Lj)를 기하구조 변환(Tj k)를 통해 변환하여 j 번째 마커의 움직임 변환(Tj)을 참조 마커의 좌표계(Lk)를 기준으로 하는 움직임 변환으로 변형한다.
다음은 도 8을 참고하여 본 발명의 실시예에 따른 왜곡률 계산부가 각 마커의 왜곡률을 계산하는 방법을 설명한다.
도 8은 본 발명의 실시예에 따른 왜곡률 계산부가 각 마커의 왜곡률을 계산하는 방법을 도시한 도면이다.
도 8에 도시된 바와 같이, 왜곡률 계산부(330)는 본래 정사각형 모양을 갖는 마커가 영상 상에서 왜곡된 정도를 나타내는 왜곡률을 계산한다.
마커 등록부(200)를 통해 검출된 i 번째 마커는 4개의 꼭지점(ci,1, ci,2, ci,3, ci,4)을 갖고, 마커의 내부에 두 대각선의 교점(si)에서 각 꼭지점까지의 거리(di,k)는 수학식 3을 따른다.
Figure 112007030949714-PAT00003
왜곡률 계산부(330)는 수학식 3을 따르는 교점(si)에서 각 꼭지점까지의 거리(di ,k)와 수학식 2를 따르는 마커의 중심점(ci)과 해당 프레임의 중심점(o)간의 거리(di)를 바탕으로 i 번째 마커의 왜곡률(vi)을 계산한다. 이때 왜곡률(vi)은 수학식 4를 따른다.
Figure 112007030949714-PAT00004
본 발명의 실시예는 이상에서 설명한 장치 및/또는 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하기 위한 프로그램, 그 프로그램이 기록된 기록 매체 등을 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시예의 기재로부터 본 발명이 속하는 기술분야의 전문가라면 쉽게 구현할 수 있는 것이다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.
이상에서 설명한 본 발명에 따라 마커를 통해 넓은 공간에 대한 추적이 가능하고, 정확한 움직임 변환의 추정 및 보정을 통해 실제 물리 공간의 모습과 완전한 조화를 이루는 증강현실 공간을 구현할 수 있다.

Claims (11)

  1. 영상을 수신하는 단계;
    상기 영상에서 복수의 마커를 검출하는 단계;
    상기 복수의 마커에 각각 대응하는 복수의 움직임 변환을 계산하는 단계;
    상기 복수의 움직임 변환에 복수의 가중치를 적용하여 상기 복수의 움직임 변환을 대표 움직임 변환으로 융합하는 단계;
    상기 대표 움직임 변환에 대한 투사행렬을 계산하는 단계; 및
    상기 투사행렬에 따라 증강현실 공간을 출력하는 단계를 포함하는 증강현실 공간 제공 방법.
  2. 제1항에 있어서,
    상기 복수의 움직임 변환은 상기 복수의 움직임 변환에 각각 대응하는 복수의 로컬 좌표계를 기준으로 정의되고,
    상기 융합하는 단계는
    상기 복수의 마커 중에서 참조 마커를 검출하는 단계;
    상기 복수의 로컬 좌표계를 상기 참조 마커의 좌표계로 정합하는 단계;
    상기 복수의 마커에 각각 대응하는 복수의 가중치를 계산하는 단계; 및
    상기 복수의 움직임 변환에 상기 복수의 가중치를 적용하여 대표 움직임 변환을 생성하는 단계를 포함하는 증강현실 공간 제공 방법.
  3. 제2항에 있어서,
    상기 복수의 가중치를 계산하는 단계는 각 마커에 대한 왜곡률과 상기 각 마커에 대한 크기를 바탕으로 상기 각 마커의 가중치를 계산하는 단계를 포함하는 증강현실 공간 제공 방법.
  4. 제2항에 있어서,
    상기 참조 마커를 검출하는 단계는 상기 복수의 마커 각각의 중심점과 상기 영상의 중심점과의 거리가 가장 작은 마커를 참조 마커로 설정하는 단계를 포함하는 증강현실 공간 제공 방법.
  5. 제2항에 있어서,
    상기 정합하는 단계는 상기 복수의 로컬 좌표계를 상기 참조 마커의 좌표계로 정합하여 상기 복수의 움직임 변환이 상기 참조 마커의 좌표계를 기준으로 정의되도록 하는 단계를 포함하는 증강현실 공간 제공 방법.
  6. 영상 데이터를 수신하는 단계;
    상기 영상 데이터에서 복수의 마커를 검출하는 단계;
    상기 복수의 마커 각각 대응하는 복수의 움직임 변환을 계산하는 단계;
    상기 복수의 움직임 변환을 융합하여 대표 움직임 변환을 생성하는 단계;
    이전 영상 데이터에 대한 대표 움직임 변환을 바탕으로 상기 대표 움직임 변환을 보정하는 단계;
    보정된 대표 움직임 변환에 대한 투사행렬을 계산하는 단계; 및
    상기 투사행렬에 따라 증강현실 공간을 출력하는 단계를 포함하는 증강현실 공간 제공 방법.
  7. 제6항에 있어서,
    상기 대표 움직임 변환은 복수의 요소로 구성되고,
    상기 보정하는 단계는 상기 이전 영상 데이터에 대한 대표 움직임 변환의 각 요소와 상기 대표 움직임 변환의 각 요소에 대한 평균을 통해 상기 대표 움직임 변환을 보정하는 단계를 포함하는 증강현실 공간 제공 방법.
  8. 물리 공간과 가상 공간이 융합된 증강현실 공간을 제공하는 장치에 있어서,
    상기 물리 공간에 해당하는 영상을 수신하여 상기 영상을 흑백 영상으로 변환하는 영상 수신부;
    상기 흑백 영상으로부터 복수의 마커를 검출하고, 상기 복수의 마커에 각각 대응하는 복수의 움직임 변환을 계산하는 마커 등록부;
    상기 복수의 마커로부터 참조 마커를 검출하고, 상기 복수의 움직임 변환을 대표 움직임 변환으로 융합하는 마커 융합부;
    상기 대표 움직임 변환을 보정하는 변환 보정부;
    보정된 대표 움직임 변환에 대한 투사행렬을 계산하는 투사행렬 계산부; 및
    상기 투사행렬에 따라 상기 증강현실 공간의 영상을 표시하는 영상 표시부를 포함하는 장치.
  9. 제8항에 있어서,
    상기 마커 등록부는
    미리 정의된 마커의 패턴을 읽어오는 마커 패턴 인식부;
    상기 마커의 패턴에 따라 상기 영상으로부터 상기 복수의 마커를 검출하는 마커 검출부; 및
    상기 복수의 마커에 각각 대응하는 복수의 움직임 변환을 계산하는 움직임 변환 계산부를 포함하는 장치.
  10. 제8항에 있어서,
    상기 복수의 움직임 변환은 상기 복수의 움직임 변환에 각각 대응하는 복수의 로컬 좌표계를 기준으로 정의되고,
    상기 마커 융합부는
    상기 복수의 마커 중에서 참조 마커를 검출하는 참조 마커 검출부;
    상기 복수의 로컬 좌표계를 상기 참조 마커의 좌표계로 정합하는 좌표계 정합부;
    상기 영상에서 상기 복수의 마커에 각각 대응하는 복수의 왜곡률을 계산하는 왜곡률 계산부;
    상기 영상에서 상기 복수의 마커에 각각 대응하는 복수의 영역 크기를 계산하는 크기 계산부;
    상기 복수의 왜곡률과 상기 복수의 영역 크기를 바탕으로 상기 복수의 마커에 각각 대응하는 복수의 가중치를 계산하는 가중치 계산부; 및
    상기 복수의 움직임 변환에 상기 복수의 가중치를 적용하여 상기 복수의 움직임 변환을 상기 대표 움직임 변환으로 융합하는 변환 융합부를 포함하는 장치.
  11. 제8항에 있어서,
    상기 변환 보정부는
    상기 대표 움직임 변환에 대한 히스토리를 저장하는 버퍼; 및
    상기 히스토리를 바탕으로 상기 대표 움직임 변환을 보정하는 보정부를 포함하는 장치.
KR1020070039840A 2007-03-20 2007-04-24 증강현실 공간을 제공하는 장치 및 방법 KR100945555B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20070026993 2007-03-20
KR1020070026993 2007-03-20

Publications (2)

Publication Number Publication Date
KR20080085621A true KR20080085621A (ko) 2008-09-24
KR100945555B1 KR100945555B1 (ko) 2010-03-08

Family

ID=40025314

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070039840A KR100945555B1 (ko) 2007-03-20 2007-04-24 증강현실 공간을 제공하는 장치 및 방법

Country Status (1)

Country Link
KR (1) KR100945555B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100971667B1 (ko) * 2008-12-11 2010-07-22 인천대학교 산학협력단 증강 책을 통한 실감 콘텐츠를 제공하는 방법 및 장치
KR101036107B1 (ko) * 2010-11-30 2011-05-19 심광호 고유식별 정보를 이용한 증강 현실 구현시스템
KR101126415B1 (ko) * 2010-03-31 2012-03-28 인천대학교 산학협력단 모바일 기기에서의 증강공간 제공 가속 장치
KR20190105532A (ko) * 2019-08-26 2019-09-17 엘지전자 주식회사 Xr 컨텐츠 제공 방법 및 xr 디바이스

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004038470A (ja) 2002-07-02 2004-02-05 Canon Inc 複合現実感装置および情報処理方法
KR20060021001A (ko) * 2004-09-02 2006-03-07 (주)제니텀 엔터테인먼트 컴퓨팅 개체인지를 이용한 Marker-less 증강현실과 복합현실 응용시스템 및 그 방법
KR101086068B1 (ko) * 2004-12-10 2011-11-22 한국문화콘텐츠진흥원 3차원 마커 인지 방법 및 이를 이용한 증강현실 및복합현실 제공 방법 및 장치
ES2325374T3 (es) 2005-05-03 2009-09-02 Seac02 S.R.L. Sistema de realidad aumentada con identificacion de objeto marcador real.

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100971667B1 (ko) * 2008-12-11 2010-07-22 인천대학교 산학협력단 증강 책을 통한 실감 콘텐츠를 제공하는 방법 및 장치
KR101126415B1 (ko) * 2010-03-31 2012-03-28 인천대학교 산학협력단 모바일 기기에서의 증강공간 제공 가속 장치
KR101036107B1 (ko) * 2010-11-30 2011-05-19 심광호 고유식별 정보를 이용한 증강 현실 구현시스템
KR20190105532A (ko) * 2019-08-26 2019-09-17 엘지전자 주식회사 Xr 컨텐츠 제공 방법 및 xr 디바이스

Also Published As

Publication number Publication date
KR100945555B1 (ko) 2010-03-08

Similar Documents

Publication Publication Date Title
US9759548B2 (en) Image processing apparatus, projector and projector system including image processing apparatus, image processing method
US10319111B2 (en) Image projection device for 3D measurement and calibration method for calibration of camera and projector
JP3951984B2 (ja) 画像投影方法、及び画像投影装置
JP6394005B2 (ja) 投影画像補正装置、投影する原画像を補正する方法およびプログラム
US7929043B2 (en) Image stabilizing apparatus, image-pickup apparatus and image stabilizing method
KR101766603B1 (ko) 화상 처리 장치, 화상 처리 시스템, 화상 처리 방법, 및 컴퓨터 프로그램
EP2698766B1 (en) Motion estimation device, depth estimation device, and motion estimation method
JP6418449B2 (ja) 画像処理装置および画像処理方法、並びにプログラム
US20040246229A1 (en) Information display system, information processing apparatus, pointing apparatus, and pointer cursor display method in information display system
US10326894B1 (en) Self stabilizing projector
US10438412B2 (en) Techniques to facilitate accurate real and virtual object positioning in displayed scenes
KR100951309B1 (ko) 광학식 모션 캡처 장비를 위한 다중 카메라 보정 방법
KR20160020172A (ko) 도로에서의 차선 검출 방법 및 장치
JP2011049733A (ja) カメラキャリブレーション装置および映像歪み補正装置
KR100945555B1 (ko) 증강현실 공간을 제공하는 장치 및 방법
JP2011155412A (ja) 投影システムおよび投影システムにおける歪み修正方法
US9785839B2 (en) Technique for combining an image and marker without incongruity
JP6395429B2 (ja) 画像処理装置、その制御方法及び記憶媒体
JP6583923B2 (ja) カメラのキャリブレーション装置、方法及びプログラム
KR102076635B1 (ko) 산재된 고정 카메라를 이용한 파노라마 영상 생성 장치 및 방법
JP4468019B2 (ja) 画像処理装置
KR20180068022A (ko) 스테레오 카메라 영상 실시간 자동 캘리브레이션 장치, 그를 포함한 시스템 및 그 방법
JP5590680B2 (ja) 映像合成装置、映像合成方法、および映像合成プログラム
JP2009065283A (ja) 画像ぶれ補正装置
US20150163477A1 (en) Systems and methods for calculating epipolar constraints between generalized cameras

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130204

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140205

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20150203

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20170125

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20180226

Year of fee payment: 9