KR101971948B1 - 평면 특성 기반 마커리스 증강 현실 시스템 및 그 동작 방법 - Google Patents

평면 특성 기반 마커리스 증강 현실 시스템 및 그 동작 방법 Download PDF

Info

Publication number
KR101971948B1
KR101971948B1 KR1020120075387A KR20120075387A KR101971948B1 KR 101971948 B1 KR101971948 B1 KR 101971948B1 KR 1020120075387 A KR1020120075387 A KR 1020120075387A KR 20120075387 A KR20120075387 A KR 20120075387A KR 101971948 B1 KR101971948 B1 KR 101971948B1
Authority
KR
South Korea
Prior art keywords
camera
information
plane information
plane
estimating
Prior art date
Application number
KR1020120075387A
Other languages
English (en)
Other versions
KR20130014358A (ko
Inventor
이선민
김도균
이영범
이태현
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US13/823,593 priority Critical patent/US9405359B2/en
Priority to PCT/KR2012/005645 priority patent/WO2013015549A2/ko
Priority to CN201280001645.6A priority patent/CN103181157B/zh
Priority to EP12818138.5A priority patent/EP2739036B1/en
Priority to JP2014522736A priority patent/JP6242334B2/ja
Publication of KR20130014358A publication Critical patent/KR20130014358A/ko
Application granted granted Critical
Publication of KR101971948B1 publication Critical patent/KR101971948B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04804—Transparency, e.g. transparent or translucent windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)

Abstract

카메라로부터 생성된 영상의 3차원 정보를 이용하여 상기 영상에 포함된 다수의 평면 정보를 추출하고, 추출된 다수의 평면 정보 간의 대응 관계를 이용하여 카메라의 자세를 추정하는 마커리스 증강 현실 시스템 및 그 동작 방법에 관한 것이다.

Description

평면 특성 기반 마커리스 증강 현실 시스템 및 그 동작 방법{MARKER-LESS AUGMENTED REALITY SYSTEM USING PLANE FEATURE AND METHOD THEREOF}
영상에 포함된 3차원 정보를 이용하여 카메라의 자세를 추정하는 기술에 관한 것이다.
증강 현실은 카메라로 촬영한 실제 영상에 그래픽스 객체나 부가 정보를 오버랩하여 보여 주는 기술이다. 정확한 증강 현실을 구현하기 위해서는 카메라의 자세(pose) 즉, 위치와 방향을 정확하게 파악하는 것이 중요이다. 카메라의 위치나 방향을 파악하기 위해서는 사전에 준비된 마커(marker)를 이용하거나, 사전에 정의된 참조 객체(ex. 2D(dimension) 평면 객체나 3D 모델)를 실제 공간에 배치하여 기준 카메라 위치 대비 현재 카메라의 상대적인 위치를 알아내는 방식을 사용한다.
도 1은 종래기술에 따른 마커의 일례를 도시한 도면이다.
도 1을 참고하면, 110은 사전에 준비된 마커로서, QR(Quick Response) 코드와 같은 인위적인(artificial) 형태일 수 있다. 120은 실제 영상에 자연스럽게 존재하는 2차원 또는 3차원의 참조 객체를 마커로서 사용하는 일례를 나타낸다. 도면에서는 실제 영상에 포함된 모니터, 키보드, 책상위에 놓여진 액자를 참조 객체로서 사용할 수 있다.
120에 도시한 바와 같이, 2차원 또는 3차원의 객체를 마커로서 사용하는 경우, 실제 공간에 존재하는 자연스러운 참조 객체를 사용한다는 의미로 마커리스(Marker-less)로 분류하기도 하지만, 실제로는 참조 객체를 마커로서 데이터베이스에 저장하는 등의 사전 준비가 필요하기 때문에 마커를 이용하는 방식에 해당된다. 120에서는 참조 객체를 마커로서 사용하기 위한 점(+) 특징을 데이터베이스에 저장할 수 있다.
따라서, 사전 준비 없이 원하는 장소와 시간에 증강 현실 기술을 즉시 활용하기 위해서는 참조 객체 없는 마커리스 카메라 트래킹 및 정합이 필요하다.
Figure 112012055312485-pat00001
종래의 증강 현실 기술에서의 카메라 트래킹 및 정합은 마커 사용 여부와 관계 없이 컬러 영상에서의 인텐시티(intensity) 정보를 활용한 점 특징(point feature)을 주로 이용하였다. 이때, 컬러 영상의 인텐시티를 활용하기 위해서는 조명 조건이 일정해야 하며, 특이한(distinctive) 점 특성을 찾아내기 위해 텍스처가 풍부해야 한다는 제약이 있다.
마커리스 증강 현실 기술의 대표적인 예인 PTAM(Parallel Tracking and Mapping)은 컬러 영상으로부터 점 특성을 찾아내고, 프레임 별로 점 특성 간 대응 관계를 이용하여 3차원 공간에 대한 맵(map)을 생성하고, 이 맵을 기준으로 카메라 자세를 추정하는 방식을 이용한다. 특히, 초기에 맵을 생성하기 위하여 5 점 알고리즘(five point algorithm)을 이용하기 때문에, 최소 5개 이상의 대응되는 점 특징이 추출되어야 하는데, 텍스처가 풍부하지 않은 경우에는 점 특징이 추출되지 않아 증강 현실 시스템이 정상 동작하지 않는 경우가 발생할 수 있다.
일실시예에 따른 마커리스 증강 현실 시스템은 카메라로부터 생성된 영상의 3차원 정보를 이용하여 상기 영상에 포함된 다수의 평면 정보를 추출하는 평면 추출부, 상기 추출된 다수의 평면 정보 간의 대응 관계를 추정하는 대응 관계 추정부, 및 상기 추정된 대응 관계를 이용하여 상기 카메라의 자세(pose)를 추정하는 카메라 자세 추정부를 포함한다.
상기 평면 추출부는 상기 3차원 정보로부터 제1 점을 선택하고, 상기 제1 점으로부터 임계값 이내에 위치한 제2 점 및 제3 점을 선택하고, 선택된 상기 제1 점, 상기 제2 점 및 상기 제3 점을 이용하여 평면 모델을 생성할 수 있다.
상기 평면 추출부는 상기 평면 모델을 이용하여 상기 영상 내에 포함된 다수의 평면 정보를 추출할 수 있다.
상기 대응 관계 추정부는 각 평면 정보를 구성하는 법선 벡터, 또는 상기 카메라로부터 상기 각 평면 정보 간의 거리를 이용하여 상기 다수의 평면 정보 간의 대응 관계를 추정할 수 있다.
상기 평면 추출부는 상기 영상을 구성하는 다수의 프레임들에 포함된 다수의 평면 정보를 추출할 수 있다. 상기 대응 관계 추정부는 상기 다수의 프레임들 중에서 어느 하나의 프레임을 기준 프레임으로 선정하고, 선정된 기준 프레임에 포함된 대상 평면 정보를 이용하여 상기 다수의 평면 정보 간의 대응 관계를 추정할 수 있다.
상기 대응 관계 추정부는 평면 정보에 포함된 점의 수, 평면 정보간의 법선 벡터의 방향, 또는 상기 카메라로부터 평면 정보까지의 거리 중 어느 하나를 고려하여 상기 대상 평면 정보를 선택할 수 있다.
상기 대응 관계 추정부는 상기 대상 평면 정보와 각 프레임에 포함된 평면 정보간의 법선 벡터의 방향, 또는 상기 카메라로부터 평면 정보까지의 거리를 고려하여 상기 다수의 평면 정보 간의 대응 관계를 추정할 수 있다.
상기 대응 관계 추정부는 상기 선택된 대상 평면 정보를 평면 정보 데이터베이스에 저장하고, 상기 다수의 평면 정보 중에서 상기 대상 평면 정보와 상이한 평면 정보를 상기 평면 정보 데이터베이스에 저장할 수 있다.
상기 카메라 자세 추정부는 상기 대응 관계를 이용하여 상기 카메라의 회전 정보 또는 이동 정보를 추정하고, 추정된 상기 회전 정보 또는 상기 이동 정보를 이용하여 상기 카메라의 자세를 추정할 수 있다.
상기 카메라 자세 추정부는 상기 영상에 포함된 프레임별 평면 정보 간의 법선 벡터를 이용하여 회전 행렬을 생성하고, 상기 회전 행렬과 상기 카메라로부터 상기 평면 정보까지의 거리를 이용하여 이동 행렬을 생성하며, 상기 회전 행렬 및 상기 이동 행렬을 이용하여 변환 행렬을 생성할 수 있다.
상기 카메라 자세 추정부는 상기 변환 행렬을 이용하여 상기 카메라의 자세를 추정할 수 있다.
다른 실시예에 따른 마커리스 증강 현실 시스템은 카메라로부터 생성된 영상의 3차원 정보를 이용하여 상기 영상에 포함된 다수의 평면 정보를 추출하는 평면 추출부, 및 상기 추출된 다수의 평면 정보를 이용하여 상기 영상과 가상 객체를 정합하는 증강 현실부를 포함한다.
상기 평면 추출부는 상기 3차원 정보로부터 제1 점을 선택하고, 상기 제1 점으로부터 임계값 이내에 위치한 제2 점 및 제3 점을 선택하고, 상기 제1 점, 상기 제2 점 및 상기 제3 점을 이용하여 다수의 평면 정보를 추출할 수 있다.
상기 마커리스 증강 현실 시스템은 상기 추출된 다수의 평면 정보 간의 대응 관계를 이용하여 상기 카메라의 자세를 추정하는 카메라 자세 추정부를 더 포함할 수 있다. 상기 증강 현실부는 상기 추정된 카메라의 자세를 이용하여 상기 영상과 가상 객체를 정합할 수 있다.
상기 마커리스 증강 현실 시스템은 상기 추출된 평면 정보에 포함된 점의 수, 평면 정보간의 법선 벡터의 방향, 또는 상기 카메라로부터 평면 정보까지의 거리 중 어느 하나를 고려하여 대상 평면 정보를 선택하고, 상기 대상 평면 정보와, 각 프레임에 포함된 평면 정보간의 법선 벡터의 방향, 또는 상기 카메라로부터 평면 정보까지의 거리를 고려하여 상기 다수의 평면 정보 간의 대응 관계를 추정하는 대응 관계 추정부를 더 포함할 수 있다.
일실시예에 따른 마커리스 증강 현실 방법은 영상의 3차원 정보를 이용하여 상기 영상에 포함된 다수의 평면 정보를 추출하는 단계, 및 상기 추출된 다수의 평면 정보 간의 대응 관계를 이용하여 상기 영상을 생성한 카메라의 자세를 추정하는 단계를 포함한다.
사전에 참조 객체를 데이터베이스에 저장하는 등의 준비 없이 원하는 장소와 시간에 증강 현실 기술을 즉시 활용할 수 있다.
참조 객체가 없는 마커리스 카메라 트래킹 및 정합이 가능하다.
깊이 카메라로부터 획득한 영상의 3차원 정보를 이용함으로써, 마커가 없는 증강 현실 시스템이 구축 가능하다.
영상으로부터 추출된 평면 특성을 이용하여 카메라 모션을 추정함으로써, 컬러 카메라를 이용하는 종래의 카메라 모션 추정 기술이 정상적으로 동작하지 않는 환경에서도 이용할 수 있다.
카메라 모션 추정의 적용 시, 환경 상 제약 조건을 완화함으로써, 카메라 모션 추정 기술의 활용 범위를 넓힐 수 있다.
3차원 공간 상의 점들을 평면으로 만들어 사용함으로써, 개별적인 점의 3차원 좌표값에 잡음이 있는 경우에도 자동적으로 특이한 값을 제거하여 고정밀 정합이 가능하다.
도 1은 종래기술에 따른 마커의 일례를 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 마커리스 증강 현실 시스템의 구성을 도시한 블록도이다.
도 3은 3차원 정보로부터 점을 선택하는 일례를 도시한 도면이다.
도 4는 평면 방정식의 계수가 나타내는 기하학적 의미를 도시한 도면이다.
도 5는 영상으로부터 평면 정보를 추출하는 일례를 도시한 도면이다.
도 6은 본 발명의 다른 실시예에 따른 마커리스 증강 현실 시스템의 구성을 도시한 블록도이다.
도 7은 평면 특징을 이용하여 카메라의 자세를 추정하는 일례를 도시한 도면이다.
도 8은 영상과 가상 객체를 정합하는 일례를 도시한 도면이다.
도 9는 본 발명의 일실시예에 따른 마커리스 증강 현실 동작 방법의 순서를 도시한 흐름도이다.
이하, 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 다양한 실시예를 상세하게 설명하지만, 본 발명이 실시예에 의해 제한되거나 한정되는 것은 아니다.
도 2는 본 발명의 일실시예에 따른 마커리스 증강 현실 시스템의 구성을 도시한 블록도이다.
도 2를 참고하여, 마커리스 증강 현실 시스템(200)은 3차원 정보 획득부(210), 평면 추출부(220), 대응 관계 추정부(230), 및 카메라 자세 추정부(240)를 포함할 수 있다.
마커리스 증강 현실 시스템(200)은 영상으로부터 추출된 평면 특성을 이용하여 카메라 자세를 추정함으로써, 사전에 참조 객체를 데이터베이스에 저장하는 등의 준비작업이 필요없고, 마커가 없는 증강 현실 시스템 구축이 가능하다.
영상으로부터 평면 특성을 얻기 위해서는 먼저 영상으로부터 3차원 정보를 획득해야 한다.
이를 위해, 3차원 정보 획득부(210)는 깊이 카메라로부터 깊이 영상을 획득하고, 획득한 깊이 영상으로부터 깊이 정보를 3차원 정보로서 획득할 수 있다. 또는, 3차원 정보 획득부(210)는 다수의 컬러 카메라로부터 획득한 컬러 영상들을 이용하여 3차원 정보를 획득할 수도 있다. 컬러 카메라에서 획득한 컬러 영상은 2차원 영상이기 때문에, 3차원 정보 획득부(210)는 스테레오 컬러 카메라 또는 멀티 컬러 카메라 등과 같은 다수의 컬러 카메라로부터 획득한 컬러 영상들을 이용하여 3차원 정보를 획득할 수 있다.
이하에서는 깊이 영상과 컬러 영상을 모두 '영상'으로 통칭한다.
평면 추출부(220)는 상기 3차원 정보를 이용하여 영상에 존재하는 평면을 추정한다. 실시예로, 평면 추출부(220)는 평면을 구성하는 점들이 인접 공간 내에 존재한다는 공간 일관성(Spatial Coherency)을 고려하여 보다 빠르게 평면 모델을 추정할 수 있다. 평면 추출부(220)는 상기 3차원 정보로부터 임의로 제1 점(P1)을 선택하고, 상기 제1 점으로부터 임계값 이내에 위치한 제2 점(P2) 및 제3 점(P3)을 선택할 수 있다. 즉, 평면 추출부(220)는 제1 점으로부터 임계값 이내에 위치한 점들을 추출하기 위하여, 3차원 공간 상의 점들에 대하여 트리(kd-tree)를 구축하고, 제1 점(P1)을 기준으로 임계값 내에 있는 점들 중에서, 제2 점(P2) 및 제3 점(P3)을 선택할 수 있다.
도 3은 3차원 정보로부터 점을 선택하는 일례를 도시한 도면이다.
도 3을 참조하면, 제1 내지 제3 점들을 각각 랜덤하게 선택할 경우, 세 개의 점들이 동일 평면상에 존재할 확률이 인접 지역에서 세 개의 점들을 선택할 때보다 상대적으로 적어지기 때문에, 평면 모델을 추출하는데 시간이 오래 걸린다. 따라서, 평면 추출부(220)는 제1 점을 선택한 후, 제1 점을 기준으로 임계값 이내인 인접 영역(원)에 포함된 제2 점, 제3 점들을 선택하는 방식을 이용하면 기존 RANSAC(Random Sample Consensus) 방식에 비하여 보다 빠르게 평면 정보를 추출할 수 있다.
평면 추출부(220)는 상기 선택된 상기 제1 점, 상기 제2 점 및 상기 제3 점을 이용하여 평면 모델을 생성할 수 있다.
상기 제1 점 내지 상기 제3 점인 P1, P2, P3가 (x1, y1, z1) (x2, y2, z2) (x3, y3, z3)로 정해지면 다음과 같은 행렬식에 의하여 평면 방정식의 계수(coefficient)인 A, B, C를 구할 수 있다.
Figure 112012055312485-pat00002
여기서, (A, B, C)는 평면의 방향을 나타내는 법선 벡터이고, D는 상기 카메라로부터 상기 제1 점 내지 상기 제3 점이 포함된 평면까지의 거리이다.
위의 행렬식은 수학식 2와 같이 다시 한 번 전개할 수 있다.
Figure 112012055312485-pat00003
평면 추출부(220)는 상기 계산된 A, B, C, D를 이용하여 수학식 3과 같은 평면 방정식을 구할 수 있다.
Figure 112012055312485-pat00004
도 4는 평면 방정식의 계수가 나타내는 기하학적 의미를 도시한 도면이다.
도 4를 참고하면, (A, B, C)는 평면 정보의 방향을 나타내는 법선 벡터이며, D는 원점으로부터 상기 평면까지의 거리에 해당된다. 예컨대, D는 3개의 점들을 추출한 평면을 좌표계에 투영했을 때의 원점으로부터 상기 평면까지의 거리이기 때문에, 실제 공간 상에서는 상기 카메라로부터 상기 평면까지의 거리와 동일하다고 할 수 있다.
평면 추출부(220)는 상기 평면 모델을 이용하여 상기 영상 내에 포함된 다수의 평면 정보를 추출할 수 있다. 다수의 평면 정보는 수학식 4와 같이 평면 집합으로 표현될 수 있다.
Figure 112012055312485-pat00005
Si는 i번째 카메라에서 추출된 평면 집합, i는 카메라 인덱스, j는 평면 번호, n은 추출된 전체 평면의 개수이다.
예컨대, S1은 첫 번째 카메라에서 추출된 다수의 평면 정보이고, S2는 두 번째 카메라에서 추출된 다수의 평면 정보이며, Si는 i번째 카메라에서 추출된 다수의 평면 정보를 의미한다.
상기 카메라 모션이 작은 경우에는 인접 프레임 간의 법선 벡터 간격차가 적음을 의미한다. 따라서, 평면 추출부(230)에서 영상에 포함된 프레임별 각 평면 정보를 추출하면, 대응 관계 추정부(230)는 평면 정보를 구성하는 법선 벡터와 카메라와 평면 간의 거리를 이용하여 다수의 평면 정보간 대응 관계를 추정할 수 있다.
각 평면 정보가 나타내는 평면 특성은 평면 방정식의 계수인 (ai, bi, ci, di)로 나타낼 수 있다. 이 때, 평면 정보의 개수는 3개로만 제한되지 않으며 3개 이상의 평면을 포함할 수 있다.
실시예로, 평면 추출부(220)는 상기 영상을 구성하는 다수의 프레임들에 포함된 다수의 평면 정보를 추출할 수 있다. 대응 관계 추정부(230)는 상기 다수의 프레임들 중에서 어느 하나의 프레임을 기준 프레임으로 선정할 수 있다. 예컨대, 상기 기준 프레임으로 첫 번째 프레임이 선정된 경우, 대응 관계 추정부(230)는 추출된 현재 프레임이 첫 번째 프레임이라면, 추출된 다수의 평면 정보 중 실제 추적하기 위한 대상 평면 정보를 선택하여 평면 정보 데이터베이스에 저장할 수 있다. 대응 관계 추정부(230)는 선정된 기준 프레임에 포함된 대상 평면 정보를 이용하여 상기 다수의 평면 정보 간의 대응 관계를 추정할 수 있다.
실시예로, 대응 관계 추정부(230)는 평면 정보에 포함된 점의 수, 평면 정보간의 법선 벡터의 방향, 또는 상기 카메라로부터 평면 정보까지의 거리 중 어느 하나를 고려하여 상기 대상 평면 정보를 선택할 수 있다. 예컨대, 대응 관계 추정부(230)는 평면 정보에 포함된 점의 수가 많은 경우, 평면 정보간의 법선 벡터간 방향차이가 큰 경우, 또는 상기 카메라로부터 평면 정보까지의 거리가 먼 경우를 고려하여 상기 대상 평면 정보를 선택할 수 있다.
대응 관계 추정부(230)는 상기 기준 프레임이 정해진 이후의 프레임부터는 평면 정보 데이터베이스에 저장된 대상 평면 정보와 현재 추출된 평면 정보간의 법선 벡터의 방향, 상기 카메라로부터 평면 정보까지의 거리를 고려하여 평면 정보간 대응 관계를 추정할 수 있다. 대응 관계 추정부(230)는 상기 다수의 평면 정보 중에서 상기 대상 평면 정보와 상이한 평면 정보를 상기 평면 정보 데이터베이스에 저장할 수 있다. 즉, 대응 관계 추정부(230)는 평면 정보 데이터베이스에 존재하지 않는(첫 번째 카메라 시야에서는 보이지 않는) 새로운 평면 정보가 현재 프레임에서 검출된 경우, 새로운 평면 정보를 평면 정보 데이터베이스에 저장할 수 있다. 따라서, 대응 관계 추정부(230)는 대상 평면 정보와 다수의 평면 정보 간의 대응 관계 추정을 통해 첫 번째 프레임에서 보이지 않던 영역에서도 카메라 추적 및 가상 객체 정합이 가능하도록 한다.
도 5는 영상으로부터 평면 정보를 추출하는 일례를 도시한 도면이다.
도 5를 참고하면, 평면 추출부(220)는 영상(510)에 대하여, 카메라 모션 변화에 따라 다양한 다수의 평면 정보(520 내지 560)를 추출할 수 있다. 여기서, 영상(510)은 깊이 카메라에서 생성한 깊이 영상일 수 있다. 카메라가 이동하면서 깊이 영상(510)에 포함된 객체(책상, 책상 위 박스(네모 모양))를 촬영하였다면, 카메라의 시점에 따라 각각 다른 영상들이 촬영된다. 따라서, 카메라 자세 추정부(240)는 상기 추출된 다수의 평면 정보 간의 대응 관계를 추정을 통해 카메라의 자세를 추정할 수 있다.
예컨대, 대응 관계 추정부(230)는 영상(510)에 대한 대상 평면 정보로서'520'을 선택할 수 있다. 대응 관계 추정부(230)는 대상 평면 정보를 선택하여 평면 정보 데이터베이스에 저장할 수 있다. 520은 책상을 기준으로 책상을 기준으로 위(ㆍ), 아래(ㆍ), 바닥(＋), 왼쪽 옆(▼), 오른쪽 옆(○), 박스(x) 등을 대상 평면 정보로서 포함하고 있다. 대응 관계 추정부(230)는 520에 포함된 대상 평면 정보를 다수의 평면 정보(530 내지 560)와 비교함으로써, 다수의 평면 정보(520 내지 560) 간의 대응 관계를 추정할 수 있다. 예컨대, 520과 530을 비교하면, 520에는 책상 왼쪽 평면(▼) 정보가 포함되어 있지만, 530에는 책상 왼쪽 평면 정보가 포함되어 있지 않은 것을 알 수 있다. 또한, 520과 560을 비교하면, 책상 오른쪽 평면(○) 정보가 포함되어 있지만, 530에는 책상 오른쪽 평면 정보가 포함되어 있지 않은 것을 알 수 있다. 만약, 대응 관계 추정부(230)는 상기 대상 평면 정보와 동일하지 않는 새로운 평면 정보가 검출된 경우, 새로운 평면 정보를 평면 정보 데이터베이스에 새롭게 저장할 수 있다.
카메라 자세 추정부(240)는 상기 추정된 대응 관계를 이용하여 상기 카메라의 자세(pose)를 추정한다. 카메라 자세 추정부(240)는 상기 대응 관계를 이용하여 상기 카메라의 회전 정보 또는 이동 정보를 추정하고, 추정된 상기 회전 정보 또는 상기 이동 정보를 이용하여 상기 카메라의 자세를 추정할 수 있다.
카메라의 회전 정보 또는 이동 정보를 추정하기 위해서는 최소 3개의 평면 대응 쌍이 필요하다. 동일 평면 정보가 이전 프레임 대비하여 어떻게 변했는지를 이용하면 회전 정보 또는 이동 정보 추정이 가능하다.
회전 정보를 추정하기 위해서, 카메라 자세 추정부(240)는 상기 영상에 포함된 프레임별 평면 정보 간의 법선 벡터를 이용하여 회전 행렬(R)을 생성할 수 있다.
Figure 112012055312485-pat00006
아래 첨자로 표시된 변수(a1, 내지 c3)는 평면 번호이고, 위 첨자로 표시된 변수(1(a1 내지 c1)또는 i(ai 내지 ci))는 카메라 인덱스를 의미한다. 또한, R11 내지 R33은 회전 행렬을 의미한다.
수학식 5를 선형 시스템으로 변환하여 수학식 6을 얻을 수 있다.
Figure 112012055312485-pat00007
카메라 자세 추정부(240)는 수학식 6을 통해 회전 행렬을 생성할 수 있다. 일반적으로 회전 행렬은 정규 직교(Orthonormal)한 특성을 갖어야 하는데, 수학식 6에 의해 구해진 회전 행렬은 정규 직교한 특성을 만족하지 못할 수 있다. 따라서, 카메라 자세 추정부(240)는 SVD(Singular Value Decomposition)를 수행하여 정규 직교한 특성을 반영한 최적의 회전 행렬을 수학식 7과 같이 구할 수 있다.
Figure 112012055312485-pat00008
R은 정규 직교한 특성을 반영한 회전 행렬이다.
카메라 자세 추정부(240)는 상기 회전 행렬을 이용하여 상기 카메라의 회전 정보를 추정할 수 있다.
이동 정보를 추정하기 위해서, 카메라 자세 추정부(240)는 상기 회전 행렬과 상기 카메라로부터 상기 평면 정보까지의 거리를 이용하여 이동 행렬(T)을 생성할 수 있다.
Figure 112012055312485-pat00009
Figure 112012055312485-pat00010
는 카메라로부터 평면 정보까지의 거리, i는 카메라 인덱스, j는 평면 번호를 의미한다. R은 회전 행렬, T는 이동 행렬을 의미한다.
수학식 8은 수학식 9와 같이 표현될 수 있다.
Figure 112012055312485-pat00011
카메라 자세 추정부(240)는 상기 이동 행렬을 이용하여 상기 카메라의 이동 정보를 추정할 수 있다.
위에 제시한 실시예는 대응되는 평면 정보가 3개인 경우이며, 3개 이상인 경우에도 카메라 자세 추정부(240)는 선형 시스템(linear system)에서의 중복결정 방법(overdetermined solution)을 이용하여 회전 정보 또는 이동 정보의 추정이 가능하다.
카메라 자세 추정부(240)는 상기 회전 행렬 R(3x3)과 상기 이동 행렬 T(3x1)을 이용하여 첫 번째 카메라를 기준으로 현재 카메라 모션을 반영한 변환 행렬(RT)을 구할 수 있다.
Figure 112012055312485-pat00012
카메라 자세 추정부(240)는 상기 변환 행렬을 이용하여 상기 카메라의 자세를 추정할 수 있다.
카메라 자세 추정부(240)는 상기 추정된 카메라의 자세에 이상치(outlier)가 있는 경우, 이상치를 필터링할 수 있다. 예컨대, 카메라 자세 추정부(240)는 확장형 칼만 필터(Extended Kalman Filter) 또는 파티클 필터(Particle Filter)와 같은 기법을 이용하여 상기 추정된 카메라의 자세에서 이상치를 제거함으로써,　지터(Jitter) 현상을 완화시킬 수 있다.
도 6은 본 발명의 다른 실시예에 따른 마커리스 증강 현실 시스템의 구성을 도시한 블록도이다.
도 6을 참고하면, 마커리스 증강 현실 시스템(600)은 평면 추출부(610), 대응 관계 추정부(620), 카메라 자세 추정부(630), 및 증강 현실부(640)를 포함할 수 있다.
평면 추출부(610)는 카메라로부터 생성된 영상의 3차원 정보를 이용하여 상기 영상에 포함된 다수의 평면 정보를 추출한다. 예컨대, 평면 추출부(610)는 상기 3차원 정보로부터 제1 점을 선택하고, 상기 제1 점으로부터 임계값 이내에 위치한 제2 점 및 제3 점을 선택할 수 있다. 평면 추출부(610)는 상기 제1 점, 상기 제2 점 및 상기 제3 점을 이용하여 다수의 평면 정보를 추출할 수 있다. 예컨대, 평면 추출부(610)는 상기 제1 점, 상기 제2 점 및 상기 제3 점을 이용하여 평면 모델을 생성하고, 생성된 평면 모델을 이용하여 다수의 평면 정보를 추출할 수 있다.
증강 현실부(640)는 상기 추출된 다수의 평면 정보를 이용하여 상기 영상과 가상 객체를 정합한다.
이를 위해, 카메라 자세 추정부(630)는 상기 추출된 다수의 평면 정보 간의 대응 관계를 이용하여 상기 카메라의 자세를 추정할 수 있다. 상기 카메라의 자세 추정은 상기 카메라의 회전 정보 또는 이동 정보를 추정하는 것을 의미한다. 또한, 상기 대응 관계는 대응 관계 추정부(630)를 통해 구할 수 있다.
대응 관계 추정부(630)는 상기 추출된 평면 정보에 포함된 점의 수, 평면 정보간의 법선 벡터의 방향, 또는 상기 카메라로부터 평면 정보까지의 거리 중 어느 하나를 고려하여 대상 평면 정보를 선택할 수 있다. 대응 관계 추정부(630)는 상기 대상 평면 정보와, 각 프레임에 포함된 평면 정보간의 법선 벡터의 방향, 또는 상기 카메라로부터 평면 정보까지의 거리를 고려하여 상기 다수의 평면 정보 간의 대응 관계를 추정할 수 있다.
도 7은 평면 특징을 이용하여 카메라의 자세를 추정하는 일례를 도시한 도면이다.
도 7을 참고하면, 대응 관계 추정부(630)는 카메라 1에서 추출된 평면 정보(
Figure 112012055312485-pat00013
내지
Figure 112012055312485-pat00014
)와 카메라 i에서 추출된 평면 정보(
Figure 112012055312485-pat00015
내지
Figure 112012055312485-pat00016
)의 대응 관계를 추정할 수 있다. 예컨대, 상기 카메라 모션이 작은 경우에는 인접 프레임 간의 법선 벡터 간격차가 적음을 의미한다. 따라서, 대응 관계 추정부(630)는 평면 정보를 구성하는 법선 벡터와 카메라와 평면 간의 거리를 이용하여 다수의 평면 정보간 대응 관계를 추정할 수 있다.
대응 관계 추정부(630)는 상기 영상을 구성하는 다수의 프레임들 중에서 어느 하나의 프레임을 기준 프레임으로 선정할 수 있다. 예컨대, 상기 기준 프레임을 첫 번째 프레임으로 선정한 경우, 대응 관계 추정부(630)는 추출된 현재 프레임이 첫 번째 프레임이라면, 추출된 다수의 평면 정보 중 실제 추적하기 위한 대상 평면 정보를 선택하여 평면 정보 데이터베이스에 저장할 수 있다. 대응 관계 추정부(630)는 선정된 기준 프레임에 포함된 대상 평면 정보를 이용하여 상기 다수의 평면 정보 간의 대응 관계를 추정할 수 있다.
증강 현실부(640)는 상기 추정된 카메라의 자세를 이용하여 상기 영상과 가상 객체를 정합할 수 있다.
도 8은 영상과 가상 객체를 정합하는 일례를 도시한 도면이다.
도 8을 참조하면, 동일한 객체에 대하여 카메라가 왼쪽에서 오른쪽으로 회전하면서 깊이 영상들(810 내지 830)을 촬영할 수 있다. 예컨대, 810은 카메라(깊이 카메라)를 오른쪽으로 회전하여 촬영한 깊이 영상이고, 820은 상기 카메라가 객체 정면에서 촬영한 깊이 영상이며, 830은 상기 카메라를 왼쪽으로 회전하여 촬영한 깊이 영상이다. 또한, 810a는 카메라(컬러 카메라)를 오른쪽으로 회전하여 촬영한 컬러 영상이고, 820a은 상기 카메라가 객체 정면에서 촬영한 컬러 영상이며, 830a은 상기 카메라를 왼쪽으로 회전하여 촬영한 깊이 영상이다.
증강 현실부(640)는 컬러 영상들(810a 내지 830a)에 가상 객체(카메라)를 정합한 영상(810b 내지 830b)을 생성할 수 있다. 810b는 컬러 영상(810a)에 가상 객체(카메라)를 정합한 영상이고, 820b는 컬러 영상(820a)에 가상 객체를 정합한 영상이며, 830b는 컬러 영상(830a)에 가상 객체를 정합한 영상이다.
여기서, 깊이 영상들(810 내지 830)과 컬러 영상들(810a 내지 830a)은 동일한 시점을 갖는 것으로 해석될 수 있다. 예컨대, 증강 현실부(640)는 깊이 영상들(810 내지 830)과 컬러 영상들(810a 내지 830a)이 동일한 시점을 갖는 경우, 컬러 영상들(810a 내지 830a)에 가상 객체(카메라)를 정합한 영상(810b 내지 830b)을 생성할 수 있다.
깊이 영상들(810 내지 830)과 컬러 영상들(810a 내지 830a)이 서로 다른 시점을 갖는 경우, 증강 현실부(640)는 상기 추정된 카메라의 자세를 이용하여 깊이 영상들(810 내지 830)과 컬러 영상들(810a 내지 830a)이 동일한 시점을 갖도록 교정(calibration)할 수 있다. 즉, 증강 현실부(640)는 깊이 영상들(810 내지 830)과 컬러 영상들(810a 내지 830a)의 시점을 일치시킨 후, 컬러 영상들(810a 내지 830a)에 가상 객체(카메라)를 정합한 영상(810b 내지 830b)을 생성할 수 있다.
따라서, 마커리스 증강 현실 시스템(600)은 사전에 참조 객체를 데이터베이스에 저장하는 등의 준비 없이 평면 특성을 이용하여 카메라 자세를 추정함으로써, 마커가 없는 증강 현실 시스템을 구축할 수 있다.
도 9는 본 발명의 일실시예에 따른 마커리스 증강 현실 동작 방법의 순서를 도시한 흐름도이다. 도 9에 도시한 마커리스 증강 현실 동작 방법은 도 2에 도시한 마커리스 증강 현실 시스템(200) 또는 도 6에 도시한 마커리스 증강 현실 시스템(600)에 의해 구현될 수 있다.
도 9를 참조하면, 단계 901에서, 마커리스 증강 현실 시스템은 영상으로부터 3차원 정보를 획득할 수 있다. 예컨대, 상기 마커리스 증강 현실 시스템은 깊이 카메라로부터 획득한 깊이 영상으로부터 깊이 정보를 3차원 정보로서 획득할 수 있다. 또는, 상기 마커리스 증강 현실 시스템은 다수의 컬러 카메라로부터 획득한 컬러 영상들을 이용하여 3차원 정보를 획득할 수도 있다.
이하에서는 깊이 영상과 컬러 영상을 모두 '영상'으로 통칭한다.
단계 902에서, 상기 마커리스 증강 현실 시스템은 상기 3차원 정보를 이용하여 상기 영상에 포함된 다수의 평면 정보를 추출할 수 있다. 예컨대, 상기 마커리스 증강 현실 시스템은 상기 3차원 정보로부터 제1 점을 선택하고, 상기 제1 점으로부터 임계값 이내에 위치한 제2 점 및 제3 점을 선택할 수 있다. 상기 마커리스 증강 현실 시스템은 상기 제1 점, 상기 제2 점, 및 상기 제3 점을 이용하여 다수의 평면 정보를 추출할 수 있다.
단계 903에서, 상기 마커리스 증강 현실 시스템은 상기 영상을 구성하는 다수의 프레임들 중에서 기준 프레임을 선정할 수 있다. 예를 들어, 상기 마커리스 증강 현실 시스템은 다수의 프레임들 중에서 첫 번째 프레임을 기준 프레임으로 선정할 수 있다.
단계 904에서, 상기 마커리스 증강 현실 시스템은 상기 선정된 기준 프레임에 포함된 대상 평면 정보를 선택할 수 있다. 실시예로, 상기 마커리스 증강 현실 시스템은 상기 추출된 평면 정보에 포함된 점의 수, 평면 정보간의 법선 벡터의 방향, 또는 상기 카메라로부터 평면 정보까지의 거리 중 어느 하나를 고려하여 대상 평면 정보를 선택할 수 있다.
단계 905에서, 상기 마커리스 증강 현실 시스템은 상기 대상 평면 정보를 이용하여 상기 다수의 평면 정보 간의 대응 관계를 추정할 수 있다. 실시예로, 상기 마커리스 증강 현실 시스템은 상기 대상 평면 정보와, 각 프레임에 포함된 평면 정보간의 법선 벡터의 방향, 또는 상기 카메라로부터 평면 정보까지의 거리를 고려하여 상기 다수의 평면 정보 간의 대응 관계를 추정할 수 있다.
단계 906에서, 상기 마커리스 증강 현실 시스템은 상기 대응 관계를 이용하여 상기 카메라의 자세를 추정할 수 있다. 실시예로, 상기 마커리스 증강 현실 시스템은 상기 영상에 포함된 프레임별 평면 정보 간의 법선 벡터를 이용하여 회전 행렬을 생성하고, 상기 생성된 회전 행렬을 이용하여 회전 정보를 추정함으로써, 상기 추정된 회전 정보를 이용하여 상기 카메라의 자세를 추정할 수 있다. 또는, 상기 마커리스 증강 현실 시스템은 상기 회전 행렬과 상기 카메라로부터 상기 평면 정보까지의 거리를 이용하여 이동 행렬을 생성하고, 상기 생성된 이동 행렬을 이용하여 이동 정보를 추정함으로써, 상기 추정된 이동 정보를 이용하여 상기 카메라의 자세를 추정할 수 있다.
단계 907에서, 상기 마커리스 증강 현실 시스템은 상기 추정된 카메라의 자세에서 이상치를 필터링할 수 있다. 예컨대, 상기 마커리스 증강 현실 시스템은 확장형 칼만 필터 또는 파티클 필터를 이용하여 상기 추정된 카메라의 자세에서 이상치를 제거함으로써,　지터 현상을 완화시킬 수 있다.
단계 908에서, 상기 마커리스 증강 현실 시스템은 상기 이상치가 제거된 카메라의 자세를 업데이트할 수 있다.
단계 909에서, 상기 마커리스 증강 현실 시스템은 상기 업데이트된 자세를 이용하여 영상과 가상 객체를 정합할 수 있다.
본 발명의 실시예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
200: 마커리스 증강 현실 시스템
210: 3차원 정보 획득부
220: 평면 추출부
230: 대응 관계 추정부
240: 카메라 자세 추정부

Claims (23)

  1. 카메라로부터 생성된 영상의 3차원 정보를 이용하여, 상기 영상을 구성하는 다수의 프레임들에 포함된 다수의 평면 정보를 추출하는 평면 추출부;
    상기 다수의 프레임들 중에서 어느 하나의 프레임을 기준 프레임으로 선정하고, 상기 선정된 기준 프레임에 포함된 대상 평면 정보를 이용하여, 상기 추출된 다수의 평면 정보 간의 대응 관계를 추정하는 대응 관계 추정부; 및
    상기 추정된 대응 관계를 이용하여 상기 카메라의 자세(pose)를 추정하는 카메라 자세 추정부
    를 포함하고,
    상기 대응 관계 추정부는,
    상기 대상 평면 정보와 상기 다수의 평면 정보 간의 법선 벡터의 방향에 기초하여, 상기 대응 관계를 추정하는, 마커리스 증강 현실 시스템.
  2. 제1항에 있어서,
    상기 평면 추출부는,
    상기 3차원 정보로부터 제1 점을 선택하고, 상기 제1 점으로부터 정해진 거리인 임계값(threshold distance) 이내에 위치한 제2 점 및 제3 점을 선택하고, 선택된 상기 제1 점, 상기 제2 점 및 상기 제3 점을 이용하여 평면 모델을 생성하는, 마커리스 증강 현실 시스템.
  3. 제2항에 있어서,
    상기 평면 추출부는,
    상기 평면 모델을 이용하여 상기 영상 내에 포함된 다수의 평면 정보를 추출하는, 마커리스 증강 현실 시스템.
  4. 제1항에 있어서,
    상기 대응 관계 추정부는,
    상기 카메라로부터 상기 각 평면 정보 간의 거리를 이용하여 상기 다수의 평면 정보 간의 대응 관계를 추정하는, 마커리스 증강 현실 시스템.
  5. 삭제
  6. 제1항에 있어서,
    상기 대응 관계 추정부는,
    평면 정보에 포함된 점의 수, 또는 상기 카메라로부터 평면 정보까지의 거리를 고려하여 상기 대상 평면 정보를 선택하는, 마커리스 증강 현실 시스템.
  7. 삭제
  8. 제1항에 있어서,
    상기 대응 관계 추정부는,
    상기 대상 평면 정보를 평면 정보 데이터베이스에 저장하고, 상기 다수의 평면 정보 중에서 상기 대상 평면 정보와 상이한 평면 정보를 상기 평면 정보 데이터베이스에 저장하는, 마커리스 증강 현실 시스템.
  9. 제1항에 있어서,
    상기 카메라 자세 추정부는,
    상기 대응 관계를 이용하여 상기 카메라의 회전 정보 또는 이동 정보를 추정하고, 추정된 상기 회전 정보 또는 상기 이동 정보를 이용하여 상기 카메라의 자세를 추정하는, 마커리스 증강 현실 시스템.
  10. 제1항에 있어서,
    상기 카메라 자세 추정부는,
    상기 영상에 포함된 프레임별 평면 정보 간의 법선 벡터를 이용하여 회전 행렬을 생성하고, 상기 회전 행렬과 상기 카메라로부터 상기 평면 정보까지의 거리를 이용하여 이동 행렬을 생성하며, 상기 회전 행렬 및 상기 이동 행렬을 이용하여 변환 행렬을 생성하는, 마커리스 증강 현실 시스템.
  11. 제10항에 있어서,
    상기 카메라 자세 추정부는,
    상기 변환 행렬을 이용하여 상기 카메라의 자세를 추정하는, 마커리스 증강 현실 시스템.
  12. 제1항에 있어서,
    상기 마커리스 증강 현실 시스템은,
    상기 추출된 다수의 평면 정보를 이용하여 상기 영상과 가상 객체를 정합하는 증강 현실부
    를 더 포함하는, 마커리스 증강 현실 시스템.
  13. 삭제
  14. 제12항에 있어서,
    상기 증강 현실부는,
    상기 카메라 자세 추정부에 의해 추정된 상기 카메라의 자세를 이용하여 상기 영상과 가상 객체를 정합하는, 마커리스 증강 현실 시스템.
  15. 삭제
  16. 카메라로부터 생성된 영상의 3차원 정보를 이용하여, 상기 영상을 구성하는 다수의 프레임들에 포함된 다수의 평면 정보를 추출하는 단계;
    상기 다수의 프레임들 중에서 어느 하나의 프레임을 기준 프레임으로 선정하는 단계;
    상기 선정된 기준 프레임에 포함된 대상 평면 정보를 이용하여, 상기 추출된 다수의 평면 정보 간의 대응 관계를 추정하는 단계; 및
    상기 추정된 대응 관계를 이용하여 상기 카메라의 자세를 추정하는 단계
    를 포함하고,
    상기 대응 관계를 추정하는 단계는,
    상기 대상 평면 정보와 상기 다수의 평면 정보 간의 법선 벡터의 방향에 기초하여, 상기 대응 관계를 추정하는 단계
    를 포함하는, 마커리스 증강 현실 동작 방법.
  17. 제16항에 있어서,
    상기 추정된 카메라의 자세를 이용하여 상기 영상과 가상 객체를 정합하는 단계
    를 더 포함하는, 마커리스 증강 현실 동작 방법.
  18. 제16항에 있어서,
    상기 다수의 평면 정보를 추출하는 단계는,
    상기 3차원 정보로부터 제1 점을 선택하는 단계;
    상기 제1 점으로부터 정해진 거리인 임계값 이내에 위치한 제2 점 및 제3 점을 선택하는 단계; 및
    상기 제1 점, 상기 제2 점, 및 상기 제3 점을 이용하여 다수의 평면 정보를 추출하는 단계
    를 포함하는, 마커리스 증강 현실 동작 방법.
  19. 제16항에 있어서,
    상기 대응 관계를 추정하는 단계는,
    상기 카메라로부터 상기 각 평면 정보 간의 거리를 이용하여 상기 다수의 평면 정보 간의 대응 관계를 추정하는 단계
    를 더 포함하는, 마커리스 증강 현실 동작 방법.
  20. 삭제
  21. 제16항에 있어서,
    상기 대응 관계를 추정하는 단계는,
    평면 정보에 포함된 점의 수, 또는 상기 카메라로부터 평면 정보까지의 거리를 고려하여 상기 대상 평면 정보를 선택하는 단계
    를 더 포함하는, 마커리스 증강 현실 동작 방법.
  22. 제16항에 있어서,
    상기 카메라의 자세를 추정하는 단계는,
    상기 대응 관계를 이용하여 상기 카메라의 회전 정보 또는 이동 정보를 추정하는 단계; 및
    추정된 상기 회전 정보 또는 상기 이동 정보를 이용하여 상기 카메라의 자세를 추정하는 단계
    를 포함하는, 마커리스 증강 현실 동작 방법.
  23. 제16항에 있어서,
    상기 카메라의 자세를 추정하는 단계는,
    상기 영상에 포함된 프레임별 평면 정보 간의 법선 벡터를 이용하여 회전 행렬을 생성하는 단계;
    상기 회전 행렬과 상기 카메라로부터 상기 평면 정보까지의 거리를 이용하여 이동 행렬을 생성하는 단계;
    상기 회전 행렬 및 상기 이동 행렬을 이용하여 변환 행렬을 생성하는 단계; 및
    상기 변환 행렬을 이용하여 상기 카메라의 자세를 추정하는 단계
    를 포함하는, 마커리스 증강 현실 동작 방법.
KR1020120075387A 2011-07-28 2012-07-11 평면 특성 기반 마커리스 증강 현실 시스템 및 그 동작 방법 KR101971948B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
US13/823,593 US9405359B2 (en) 2011-07-28 2012-07-16 Plane-characteristic-based markerless augmented reality system and method for operating same
PCT/KR2012/005645 WO2013015549A2 (ko) 2011-07-28 2012-07-16 평면 특성 기반 마커리스 증강 현실 시스템 및 그 동작 방법
CN201280001645.6A CN103181157B (zh) 2011-07-28 2012-07-16 基于平面特性的无标记增强现实***及其操作方法
EP12818138.5A EP2739036B1 (en) 2011-07-28 2012-07-16 Plane-characteristic-based markerless augmented reality system and method for operating same
JP2014522736A JP6242334B2 (ja) 2011-07-28 2012-07-16 平面特性基盤マーカーレス拡張現実システムおよびその動作方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201161512480P 2011-07-28 2011-07-28
US61/512,480 2011-07-28

Publications (2)

Publication Number Publication Date
KR20130014358A KR20130014358A (ko) 2013-02-07
KR101971948B1 true KR101971948B1 (ko) 2019-04-24

Family

ID=47894605

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120075387A KR101971948B1 (ko) 2011-07-28 2012-07-11 평면 특성 기반 마커리스 증강 현실 시스템 및 그 동작 방법

Country Status (6)

Country Link
US (1) US9405359B2 (ko)
EP (1) EP2739036B1 (ko)
JP (1) JP6242334B2 (ko)
KR (1) KR101971948B1 (ko)
CN (1) CN103181157B (ko)
WO (1) WO2013015549A2 (ko)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9418480B2 (en) * 2012-10-02 2016-08-16 Augmented Reailty Lab LLC Systems and methods for 3D pose estimation
WO2014053661A1 (en) * 2012-10-05 2014-04-10 Abb Technology Ag Apparatus containing a dielectric insulation gas comprising an organofluorine compound
JP6318542B2 (ja) * 2013-10-24 2018-05-09 富士通株式会社 表示制御方法、表示制御プログラムおよび情報処理装置
CN104360729B (zh) * 2014-08-05 2017-10-10 北京农业智能装备技术研究中心 基于Kinect和Unity3D的多交互方法与装置
JP6476657B2 (ja) * 2014-08-27 2019-03-06 株式会社リコー 画像処理装置、画像処理方法、およびプログラム
JP2016058043A (ja) * 2014-09-12 2016-04-21 キヤノン株式会社 情報処理装置、情報処理方法、プログラム
KR102309451B1 (ko) * 2015-02-13 2021-10-07 주식회사 엘지유플러스 웨어러블 디바이스 및 웨어러블 디바이스 디스플레이 제어 방법
KR101692335B1 (ko) * 2015-02-25 2017-01-03 이은미 증강현실 영상표시 시스템 및 증강현실 영상표시 방법
JP6503906B2 (ja) * 2015-06-10 2019-04-24 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
KR20170024715A (ko) * 2015-08-26 2017-03-08 삼성전자주식회사 객체 검출장치 및 그 객체 검출방법
CN105224084B (zh) * 2015-09-30 2018-04-24 深圳多新哆技术有限责任公司 确定虚拟物件在虚拟空间中位置的方法及装置
KR102434406B1 (ko) * 2016-01-05 2022-08-22 한국전자통신연구원 공간 구조 인식을 통한 증강 현실 장치 및 그 방법
CN105701828B (zh) * 2016-01-14 2019-09-20 广州视睿电子科技有限公司 一种图像处理方法和装置
CN107665505B (zh) * 2016-07-29 2021-04-06 成都理想境界科技有限公司 基于平面检测实现增强现实的方法及装置
US20180211404A1 (en) * 2017-01-23 2018-07-26 Hong Kong Applied Science And Technology Research Institute Co., Ltd. 3d marker model construction and real-time tracking using monocular camera
US10089750B2 (en) * 2017-02-02 2018-10-02 Intel Corporation Method and system of automatic object dimension measurement by using image processing
CN110313021B (zh) * 2017-03-06 2023-07-25 连株式会社 增强现实提供方法、装置以及计算机可读记录介质
WO2018169110A1 (ko) * 2017-03-17 2018-09-20 주식회사 언리얼파크 3차원 객체 표현을 위한 마커리스 증강현실장치 및 방법
JP2018155709A (ja) * 2017-03-21 2018-10-04 キヤノン株式会社 位置姿勢推定装置および位置姿勢推定方法、運転支援装置
US11436811B2 (en) 2017-04-25 2022-09-06 Microsoft Technology Licensing, Llc Container-based virtual camera rotation
US10762713B2 (en) * 2017-09-18 2020-09-01 Shoppar Inc. Method for developing augmented reality experiences in low computer power systems and devices
KR101974073B1 (ko) * 2017-12-19 2019-04-30 (주)이공감 혼합현실을 위한 바닥면 재구성 방법
CN108596105B (zh) * 2018-04-26 2023-02-03 李辰 增强现实书画***
WO2020105847A1 (ko) * 2018-11-23 2020-05-28 삼성전자주식회사 전자 장치 및 그 제어 방법
KR20200061279A (ko) 2018-11-23 2020-06-02 삼성전자주식회사 전자 장치 및 그 제어 방법
CN114765667A (zh) * 2021-01-13 2022-07-19 安霸国际有限合伙企业 用于多视图拼接的固定图案校准

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101013751B1 (ko) 2009-07-09 2011-02-14 주식회사 인스프리트 가상화 처리서버 및 ｄｃｄ 컨텐츠를 이용한 증강현실 제공 시스템

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4188632B2 (ja) 2002-07-16 2008-11-26 独立行政法人科学技術振興機構 距離画像の統合方法及び距離画像統合装置
CN100416336C (zh) * 2003-06-12 2008-09-03 美国西门子医疗解决公司 校准真实和虚拟视图
JP2005056059A (ja) 2003-08-01 2005-03-03 Canon Inc 撮像部を備えた頭部搭載型ディスプレイを用いた入力装置および方法
JP5013961B2 (ja) 2007-05-21 2012-08-29 キヤノン株式会社 位置姿勢計測装置及びその制御方法
JP4956375B2 (ja) * 2007-10-30 2012-06-20 キヤノン株式会社 画像処理装置、画像処理方法
JP2009196860A (ja) * 2008-02-22 2009-09-03 Taiheiyo Cement Corp 鉛成分、カリウム成分及び塩素成分を含有するダストの処理方法
KR101002785B1 (ko) 2009-02-06 2010-12-21 광주과학기술원 증강 현실 환경에서의 공간 상호 작용 방법 및 시스템
KR101010904B1 (ko) 2009-02-26 2011-01-25 인천대학교 산학협력단 마커를 사용하지 않는 증강공간 제공 장치
KR101080073B1 (ko) * 2009-02-27 2011-11-04 숭실대학교산학협력단 다수의 가상 평면 정보를 이용한 3차원 물체의 기하 정보 추출 방법
JP2011008687A (ja) * 2009-06-29 2011-01-13 Sharp Corp 画像処理装置
KR101633359B1 (ko) 2009-10-20 2016-06-27 삼성전자 주식회사 투사 불변량을 이용한 무표식 증강 현실 구현 시스템 및 그 방법
JP5423406B2 (ja) 2010-01-08 2014-02-19 ソニー株式会社 情報処理装置、情報処理システム及び情報処理方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101013751B1 (ko) 2009-07-09 2011-02-14 주식회사 인스프리트 가상화 처리서버 및 ｄｃｄ 컨텐츠를 이용한 증강현실 제공 시스템

Also Published As

Publication number Publication date
CN103181157B (zh) 2017-09-01
JP6242334B2 (ja) 2017-12-06
KR20130014358A (ko) 2013-02-07
EP2739036B1 (en) 2018-05-23
EP2739036A2 (en) 2014-06-04
US9405359B2 (en) 2016-08-02
WO2013015549A2 (ko) 2013-01-31
JP2014526099A (ja) 2014-10-02
US20130265392A1 (en) 2013-10-10
CN103181157A (zh) 2013-06-26
EP2739036A4 (en) 2015-03-18
WO2013015549A3 (ko) 2013-03-21

Similar Documents

Publication Publication Date Title
KR101971948B1 (ko) 평면 특성 기반 마커리스 증강 현실 시스템 및 그 동작 방법
US10701332B2 (en) Image processing apparatus, image processing method, image processing system, and storage medium
US9525862B2 (en) Method for estimating a camera motion and for determining a three-dimensional model of a real environment
KR100721536B1 (ko) 2차원 평면상에서 실루엣 정보를 이용한 3차원 구조 복원방법
JP2019534510A5 (ko)
US8792708B2 (en) Method and apparatus for rendering a three-dimensional object from a two-dimensional image
CN111179427A (zh) 自主移动设备及其控制方法、计算机可读存储介质
TW201234278A (en) Mobile camera localization using depth maps
JP2008286756A (ja) 位置姿勢計測装置及びその制御方法
KR20130073097A (ko) 로봇 위치 추정 장치 및 그 방법
JP5795250B2 (ja) 被写体姿勢推定装置および映像描画装置
KR101869605B1 (ko) 평면정보를 이용한 3차원 공간 모델링 및 데이터 경량화 방법
CN110567441B (zh) 基于粒子滤波的定位方法、定位装置、建图及定位的方法
JP6894707B2 (ja) 情報処理装置およびその制御方法、プログラム
KR20140037936A (ko) 3차원 이미지 모델 조정을 위한 방법 및 장치
KR102110459B1 (ko) 3차원 이미지 생성 방법 및 장치
JP7379065B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2018113021A (ja) 情報処理装置およびその制御方法、プログラム
JP2016071645A (ja) オブジェクト３次元モデル復元方法、装置およびプログラム
KR101746648B1 (ko) 3차원 객체 표현을 위한 마커리스 증강현실장치 및 방법
JP2006285952A (ja) 画像処理方法、画像処理装置、プログラムおよび記録媒体
KR101080073B1 (ko) 다수의 가상 평면 정보를 이용한 3차원 물체의 기하 정보 추출 방법
Ward et al. A model-based approach to recovering the structure of a plant from images
JP2013092888A (ja) データ処理装置
Hachiuma et al. Recognition and pose estimation of primitive shapes from depth images for spatial augmented reality

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant