KR101532864B1 - 모바일 디바이스들에 대한 평면 맵핑 및 트래킹 - Google Patents

모바일 디바이스들에 대한 평면 맵핑 및 트래킹 Download PDF

Info

Publication number
KR101532864B1
KR101532864B1 KR1020137034637A KR20137034637A KR101532864B1 KR 101532864 B1 KR101532864 B1 KR 101532864B1 KR 1020137034637 A KR1020137034637 A KR 1020137034637A KR 20137034637 A KR20137034637 A KR 20137034637A KR 101532864 B1 KR101532864 B1 KR 101532864B1
Authority
KR
South Korea
Prior art keywords
key frame
new
new image
key frames
pose
Prior art date
Application number
KR1020137034637A
Other languages
English (en)
Other versions
KR20140014298A (ko
Inventor
크리슈티안 피르히하임
게르하르트 라이트마이어
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20140014298A publication Critical patent/KR20140014298A/ko
Application granted granted Critical
Publication of KR101532864B1 publication Critical patent/KR101532864B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

실시간 트래킹 및 맵핑은 공지되지 않은 평면 오브젝트의 이미지들을 사용하여 수행된다. 평면 오브젝트의 다수의 이미지들이 캡처된다. 새로운 이미지는 새로운 키프레임으로서 선택된다. 호모그래피들은 공간적으로 분포된 평면 오브젝트에 대하여 새로운 키프레임 및 복수의 이전 키프레임들 중 각각의 이전 키프레임에 대해 추정된다. 그래프 구조는 새로운 키프레임과 복수의 이전 키프레임들 중 각각의 이전 키프레임, 및 새로운 키프레임과 복수의 이전 키프레임들 중 각각의 이전 키프레임 사이의 호모그래피들을 사용하여 생성된다. 그래프 구조는 평면 오브젝트의 맵을 생성하는데 사용된다. 평면 오브젝트는 맵 및 차후에 캡처된 이미지들에 기초하여 트래킹된다.

Description

모바일 디바이스들에 대한 평면 맵핑 및 트래킹{PLANAR MAPPING AND TRACKING FOR MOBILE DEVICES}
관련 출원(들)의 상호 참조
본 출원은, 차례로, "Planar Mapping and Tracking for Mobile Phones" 의 명칭으로 2011 년 5 월 27 일자로 출원된 미국 가특허출원 제 61/490,764 호에 대해 35 USC 119 하에서 우선권 주장하는, "Planar Mapping and Tracking for Mobile Phones" 의 명칭으로 2012 년 5 월 3 일자로 출원된 미국 출원 제 13/463,643 호에 대해 우선권 주장하며, 이들 출원 양자는 본 출원의 양수인에게 양도되고, 본 명세서에 참조로서 통합된다.
분야
본 명세서에 설명된 청구물의 실시형태들은, 일반적으로 트래킹 및 맵핑에 관한 것이며, 더욱 상세하게는 모바일 디바이스의 영상 (vision) 기반 맵핑 및 트래킹에 관한 것이다.
최근 몇 년 동안, 모델 기반 트래킹은 모바일 디바이스들에서 최신식이 되어왔다. 선험적으로 널리 공지된 텍스처 (textured) 이미지들의 실시간의 자연적 특징 검출 및 트래킹은 다수의 그룹들에서 보여져 왔고, 이러한 기술들은 상용 애플리케이션들과 소프트웨어 개발 키트들에서 그들의 방법을 발견했다.
완전 3-차원에서 선험적으로 공지되지 않은 장면들의 맵핑 및 단안 카메라를 사용한 6 개 자유도 (6DOF) 의 트래킹은, 특히 셀룰러 폰 또는 스마트 폰과 같은 모바일 디바이스들에서 여전히 어려운 작업으로 남아있다. 로봇 공학 커뮤니티에서 알려진 종래의 확장 칼만 필터 (EKF) 기반의 접근 방식들은 현재 계산적으로 실행 불가능하다. 오직 널리 공지된 병렬 트래킹 및 맵핑 (PTAM) 시스템만이 현재 스마트 폰들에 프로토타입으로서 실행되는 것으로 보여졌다. 그러나, PTAM 맵핑 방식은 높은 계산적 요구들로 인해 맵 사이즈들이 증가함에 따라 불량하게 스케일링하는, 번들 조정 기술들을 기반으로 한다.
실시간 트래킹 및 맵핑은 미지의 평면 오브젝트의 이미지들을 사용하여 수행된다. 평면 오브젝트의 다수의 이미지들이 캡처된다. 새로운 이미지는 새로운 키프레임으로서 선택된다. 호모그래피들은 공간적으로 분포된 평면 오브젝트에 대하여 새로운 키프레임 및 복수의 이전 키프레임들 중 각각의 이전 키프레임에 대해 추정된다. 그래프 구조는 새로운 키프레임과 복수의 이전 키프레임들 중 각각의 이전 키프레임, 및 새로운 키프레임과 복수의 이전 키프레임들 중 각각의 이전 키프레임 사이의 호모그래피들을 사용하여 생성된다. 그래프 구조는 트리 기반의 그래프 구조일 수도 있고, 새로운 키프레임과 복수의 이전 키프레임들 중 각각의 이전 키프레임은 노드들이며, 새로운 키프레임과 복수의 이전 키프레임들 중 각각의 이전 키프레임 사이의 호모그래피들은 노드들 사이의 에지들이다. 그래프 구조는 평면 오브젝트의 맵을 생성하는데 사용된다. 평면 오브젝트는 맵 및 차후에 캡처된 이미지들에 기초하여 트래킹된다.
일 양태에서, 일 방법은, 평면 오브젝트의 다수의 이미지들을 캡처하는 단계; 새로운 이미지를 새로운 키프레임으로서 선택하는 단계; 공간적으로 분포된 평면 오브젝트에 대하여 새로운 키프레임과 복수의 이전 키프레임들 중 각각의 이전 키프레임 간의 호모그래피들을 계산하는 단계; 새로운 키프레임과 복수의 이전 키프레임들 중 각각의 이전 키프레임 및 새로운 키프레임과 복수의 이전 키프레임들 중 각각의 이전 키프레임 간의 호모그래피들을 사용하여 그래프 구조를 생성하는 단계; 평면 오브젝트의 맵을 생성하기 위해 그래프 구조를 사용하는 단계; 및 맵 및 차후에 캡처된 이미지들에 기초하여 평면 오브젝트를 트래킹하는 단계를 포함한다.
일 양태에서, 일 장치는, 평면 오브젝트의 다수의 이미지들을 캡처할 수 있는 카메라; 및 카메라에 커플링된 프로세서를 포함하며, 그 프로세서는 새로운 이미지를 새로운 키프레임으로서 선택하고, 공간적으로 분포된 평면 오브젝트에 대하여 새로운 키프레임과 복수의 이전 키프레임들 중 각각의 이전 키프레임 간의 호모그래피들을 계산하고, 새로운 키프레임과 복수의 이전 키프레임들 중 각각의 이전 키프레임 및 새로운 키프레임과 복수의 이전 키프레임들 중 각각의 이전 키프레임 간의 호모그래피들을 사용하여 그래프 구조를 생성하고, 평면 오브젝트의 맵을 생성하기 위해 그래프 구조를 사용하며, 그리고 맵 및 차후에 캡처된 이미지들에 기초하여 평면 오브젝트를 트래킹하도록 구성된다.
일 양태에서, 일 장치는, 평면 오브젝트의 다수의 이미지들을 캡처하는 수단; 새로운 이미지를 새로운 키프레임으로서 선택하는 수단; 공간적으로 분포된 평면 오브젝트에 대하여 새로운 키프레임과 복수의 이전 키프레임들 중 각각의 이전 키프레임 간의 호모그래피들을 계산하는 수단; 새로운 키프레임과 복수의 이전 키프레임들 중 각각의 이전 키프레임 및 새로운 키프레임과 복수의 이전 키프레임들 중 각각의 이전 키프레임 간의 호모그래피들을 사용하여 그래프 구조를 생성하는 수단; 평면 오브젝트의 맵을 생성하기 위해 그래프 구조를 사용하는 수단; 및 맵 및 차후에 캡처된 이미지들에 기초하여 평면 오브젝트를 트래킹하는 수단을 포함한다.
일 양태에서, 저장된 프로그램 코드를 포함하는 비-일시적인 컴퓨터 판독가능 매체는, 평면 오브젝트의 캡처된 다수의 이미지들로부터, 새로운 이미지를 새로운 키프레임으로서 선택하기 위한 프로그램 코드; 공간적으로 분포된 평면 오브젝트에 대하여 새로운 키프레임과 복수의 이전 키프레임들 중 각각의 이전 키프레임 간의 호모그래피들을 계산하기 위한 프로그램 코드; 새로운 키프레임과 복수의 이전 키프레임들 중 각각의 이전 키프레임 및 새로운 키프레임과 복수의 이전 키프레임들 중 각각의 이전 키프레임 간의 호모그래피들을 사용하여 그래프 구조를 생성하기 위한 프로그램 코드; 평면 오브젝트의 맵을 생성하기 위해 그래프 구조를 사용하기 위한 프로그램 코드; 및 맵 및 차후에 캡처된 이미지들에 기초하여 평면 오브젝트를 트래킹하기 위한 프로그램 코드를 포함한다.
도 1 은 공지되지 않은 텍스쳐의 평면 오브젝트의 캡처된 이미지들을 사용하는 실시간 포즈 트래킹 및 맵핑이 가능한 모바일 디바이스를 도시한다.
도 2 는 포즈 트래킹 및 맵핑을 위해 모바일 디바이스에 의해 사용되는 단단히 커플링된 트래킹 컴포넌트와 맵핑 컴포넌트를 도시한다.
도 3 은 쿼드 트리로 구성된 2 개의 키프레임들 내의 포인트들로 이루어진 평면 맵 및 2 개의 키프레임들 사이의 호모그래피를 도시한다.
도 4 는 평면 오브젝트의 캡처된 이미지들을 사용하는 실시간 포즈 트래킹 및 맵핑 방법을 예시하는 플로우 차트이다.
도 5 는 복수의 키프레임들을 그래프의 노드들로서 도시하고, 키프레임들 사이의 호모그래피들을 그래프의 에지들로서 도시하는 포즈 그래프를 도시한다.
도 6a, 6b, 6c 및 6d 는 평면 이미지 교정 파라미터화의 기하학적 해석을 도시한다.
도 7 은 포즈 일치성에 기초한 키프레임으로서 키프레임 후보를 선택하는 방법을 예시하는 플로우 차트이다.
도 8 은 도 5 에 도시된 것과 유사하지만 키프레임 후보 (F) 를 포함하는 포즈 그래프를 도시한다.
도 9 는 새로운 키프레임에 대한 노드 (포즈) 와 에지들 (호모그래피들) 을 포함하는 그래프 구조를 사용하여 맵을 생성하는 방법을 도시한다.
도 10a 및 도 10b 는 평면 추정 및 포즈 업데이트를 위한 호모그래피 취출 동작들에 대한 상이한 접근법들을 도시한다.
도 11 은 평면 포인트 맵에 대한 카메라 포즈를 트래킹하는 방법의 플로우 차트이다.
도 12 는 전술된 것과 같이, 캡처된 이미지들을 사용하는 포즈 트래킹 및 맵핑이 가능한 모바일 디바이스의 블록도이다.
도 1 은 예컨대, 캘리브레이트된 단안 카메라일 수도 있는 카메라 (110) 로부터 획득된, 캡처된 이미지들을 사용하여 공지되지 않은 텍스처의 평면 오브젝트의 실시간 포즈 트래킹 및 맵핑이 가능한 모바일 디바이스 (100) 를 도시한다. 모바일 디바이스 (100) 는 키프레임들 및 키프레임들 간의 평면 유도 호모그래피들에 기초한 맵핑 접근방식을 사용한다. 키프레임 포즈들을 추정하는 평면 재구성 문제는, 측정된 키프레임간 호모그래피들의 수에 있어서의 본질적으로 선형 시간에서의 이미지 교정 프로세스로 해결된다. 포즈 트래킹은 견고하게 추정된 포즈들을 전달하기 위해 지속적으로 확장되고 리파이닝된 평면 포인트 맵들을 사용한다.
모바일 디바이스 (100) 는 하우징 (101), 터치 스크린 디스플레이일 수도 있는 디스플레이 (102), 뿐만 아니라, 스피커 (104) 및 마이크로폰 (106) 을 포함하는 것으로 도시된다. 디스플레이 (102) 는 카메라 (110), 맵, 또는 임의의 다른 원하는 재료에 의해 캡처된 이미지들을 도시할 수도 있다. 모바일 디바이스 (100) 는 트래킹 컴포넌트 (120) 와 맵핑 컴포넌트 (130) 를 포함한다. 트래킹 컴포넌트 (120) 는 카메라 (110) 로부터의 평면 환경의 이미지 스트림을 처리하고 카메라 포즈들을 계산함으로써 카메라 포즈를 트래킹한다. 트래킹 컴포넌트 (120) 는 키프레임 후보 큐의 맵핑 컴포넌트로 선택된 키프레임들을 제공한다. 맵핑 컴포넌트 (130) 는 캡처된 평면 장면의 새로운 뷰들이 사용가능하게 되면, 확대되고 리파이닝된 맵을 생성하도록 키프레임들을 처리한다. 맵핑 컴포넌트 (130) 는 키프레임들 간의 평면-유도 호모그래피들을 계산하고, 그들의 관계를 전용 포즈 그래프로 구성한다. 맵핑 컴포넌트 (130) 는 포인트들과 키프레임들의 맵을 트래킹 컴포넌트 (120) 에 제공하며, 트래킹 컴포넌트 (120) 는 이를 사용하여 카메라 포즈를 트래킹한다. 물론, 모바일 디바이스 (100) 는 반드시 본 개시물에 관련되지는 않은 추가 컴포넌트들을 포함할 수도 있다.
본 명세서에서 사용되는 바와 같이, 모바일 디바이스는 셀룰러 또는 다른 무선 통신 디바이스, 개인 통신 시스템 (PCS) 디바이스, 개인용 네비게이션 디바이스 (PND), 개인 정보 관리자 (PIM), 개인 휴대 정보 단말기 (PDA), 랩톱 또는 다른 적절한 모바일 플랫폼과 같은 임의의 휴대용 전자 디바이스를 지칭한다. 모바일 플랫폼은 네비게이션 포지셔닝 신호들과 같은 무선 통신 및/또는 네비게이션 신호들을 수신할 수도 있다. 용어 "모바일 디바이스" 는 또한, 예를 들어, 단거리 무선, 적외선, 유선 접속, 또는 다른 접속에 의해 개인용 네비게이션 디바이스 (PND) 와 통신하는 디바이스를, 위성 신호 수신, 보조 데이터 수신 및/또는 포지션 관련 프로세싱이 그 디바이스에서 발생하는지 또는 PND 에서 발생하는지 여부에 관계없이, 포함하도록 의도된다. 또한, "모바일 디바이스" 는 포즈 트래킹 및 맵핑에 사용되는 이미지들을 캡처할 수 있는 무선 통신 디바이스들, 컴퓨터들, 랩톱들, 태블릿 컴퓨터들, 스마트 폰들 등을 포함하는 모든 전자 디바이스들을 포함하도록 의도된다.
도 2 는 포즈 트래킹 및 맵핑을 위해 모바일 디바이스 (100) 에 의해 사용되는, 단단히 커플링된 트래킹 컴포넌트 (120) 및 맵핑 컴포넌트 (130) 를 도시한다. 도 2 에 도시된 바와 같이, 트래킹 컴포넌트 (120) 는 캘리브레이트된 단안 카메라 (110) 의 이미지 스트림을 처리하고, 예컨대 6-자유도 (6DOF) 로 카메라 포즈들을 계산함으로써 카메라 포즈 트래킹 (122) 을 수행한다. 카메라 포즈 트래킹 (122) 은 이미지 스트림에서 키프레임을 별개로 선택하고, 키프레임 후보 큐의 맵핑 컴포넌트 (130) 에 선택된 키프레임들을 제공한다. 맵핑 컴포넌트 (130) 는 평면 장면의 새로운 뷰들이 사용가능하게 되면, 시간에 걸쳐, 예컨대 연속적인 방식으로 확대되고 리파이닝된 지속적인 맵 (134) 을 생성하도록 키프레임들을 처리한다. 키프레임들 사이에, 평면-유도 호모그래피들이 계산되고, 그들의 관계는 전용 포즈 그래프로 구성된다. 맵핑 컴포넌트 (130) 는, 쿼드 트리로 구성된 포인트들, 키프레임들, 및 그래프로 구성된 호모그래피들의 평면 맵 (124) 을, 트래킹을 위해 트래킹 컴포넌트 (120) 에 제공한다.
도 3 은, 예컨대, 쿼드 트리 (142) 로 구성된, 2 개의 키프레임들 (Ii, Ij) 내의 포인트들로 이루어진 평면 맵 (140) 을 도시한다. 키프레임의 각 포인트는 도 3 에 "x" 로 도시된다. 키프레임들 (Ii, Ij) 은 현저한 이미지 측정치들을 제공하며, 각각 카메라 포즈들 (Pi 및 Pj) 을 통해 평면 맵 (140) 과 관련된다. 키프레임들은 이차원 (2D) 장면의 다양한 뷰들를 도시하고, 일 키프레임에서 다른 키프레임으로 픽셀들을 맵핑하는 평면-유도 호모그래피들을 계산하는데 사용된다. 호모그래피들 (H) 은 키프레임들 (I) 간의 포인트들을 투영하며, 예컨대, 도 3 에 도시된 것과 같이, 호모그래피 (Hji) 는 키프레임들 (Ii, Ij) 간의 포인트들을 투영한다. 결과적인 관계들이 포즈 그래프에서 관리되며, 예컨대, 키프레임들 및 호모그래피들은 그래프에서 노드들 및 에지들로서 저장된다.
맵핑 컴포넌트 (130) 는 트래킹 컴포넌트 (120) 로부터 전달된 키프레임들의 세트에 의해 관측된, 공지되지 않은 텍스처의 평면 장면의 맵을 생성한다. 맵들은 평면 표면을 샘플링하는 3 차원 (3D) 포인트들로 구성된다. 포인트 관측들은 포즈 또는 호모그래피 추정의 일부로서 현저한 키프레임 코너들로부터, 또는 특징 매칭으로부터 발생한다. 평면 맵 포인트들은 쿼드 트리로 구성되며, 그 결과 예컨대, 상이한 스케일 레벨들로 비어있는 (unpopulated) 맵 영역들을 탐색하는 동안 고속 포인트 취출이 채용된다.
도 4 는 평면 오브젝트의 캡처된 이미지들을 사용하는 실시간 포즈 트래킹 및 맵핑 방법을 예시하는 플로우 차트이다. 도시된 바와 같이, 평면 오브젝트의 다수의 이미지들은 예를 들어, 카메라 (110) 로부터의 이미지 또는 비디오 스트림의 프레임들로서 캡처된다 (202). 새로운 이미지가 새로운 키프레임으로 선택된다 (204). 예를 들어, 새로운 이미지가 양호한 품질을 갖는 포즈 추정치를 산출한다면, 새로운 이미지는 예컨대, 임계치를 사용하여 충분한 오버랩이 존재하는지 여부를 결정하기 위해 복수의 이전의 키프레임들 (및 후보 키프레임들) 과 비교될 수도 있다. 충분한 오버랩이 존재하는 경우, 새로운 이미지는 트래킹 컴포넌트 (120) 에 의해 키프레임 후보 큐 (132) 로 푸시될 수도 있다. 또한, 새로운 이미지를 키프레임으로서 선택하기 위해, 새로운 이미지는 평면 오브젝트 상에 있는 것으로 확인될 수도 있다. 확인은 예컨대, 인접 키프레임들의 포즈들 및 새로운 이미지와 인접 키프레임들 사이의 대응하는 호모그래피들에 기초하여 새로운 이미지에 대한 다수의 포즈들을 결정함으로써 수행될 수도 있다. 다수의 포즈들은 평면 맵에 대하여 새로운 이미지를 트래킹하여 생성된, 새로운 이미지에 대한 트래킹 컴포넌트 (120) 에 의해 발생된 트래커 포즈와 비교될 수도 있다. 예를 들어, 새로운 이미지는, 다수의 포즈들과 트래커 포즈 간의 쌍별 포즈 차이들의 합이 임계치 이내라면, 평면 오브젝트로 이루어지는 것으로 결정될 수도 있다.
호모그래피들은 공간적으로 분포된 평면 오브젝트에 대하여 새로운 키프레임과 복수의 이전 키프레임들 중 각각의 이전 키프레임 간에 계산된다 (206). 그래프 구조는 새로운 키프레임과 복수의 이전 키프레임들 중 각각의 이전 키프레임, 및 새로운 키프레임과 복수의 이전 키프레임들 중 각각의 이전 키프레임 간의 호모그래피들을 사용하여 생성된다 (208). 도 5는, 예컨대, 복수의 키프레임들 (A, B, C, D, E) 을 그래프의 노드들로서 도시하고, 키프레임들 간의 호모그래피들을 점선으로 도시된 그래프의 에지들로서 도시하는 포즈 그래프를 도시한다. 각각의 키프레임의 포즈가 또한 평면에 대하여 도시된다. 키프레임 쌍 (i,j) 을 연결하는 각각의 호모그래피 (Hj ,i) 추정치에 대하여, 대응하는 노드들 (Ii 및 Ij) 을 연결하는 지향된 에지가 부가된다. 호모그래피들이 독립적인 측정치들을 획득하기 위해 키프레임 쌍들 간에 독립적으로 양자의 방향들에서 추정되기 때문에, 그래프는 지향된다. 도 5 에 도시된 것과 같이, 호모그래피들은 새로운 키프레임 (E) 과 공간적으로 분포된 복수의 이전 키프레임들 (A, C 및 D) 의 각각 사이에서 계산되며, 이는 바로 선행하는 키프레임들과는 반대된다.
그래프 구조는 평면 오브젝트의 맵을 생성하기 위해 사용된다 (210). 예를 들어, 맵은 복수의 이전 키프레임들로부터 기준 키프레임을 선택하고, 평면 오브젝트에 대하여 기준 키프레임에 대한 포즈를 계산함으로써 생성될 수도 있다. 기준 키프레임은 새로운 키프레임에 대한 근접도 및 그래프 구조의 센터 노드에 대한 근접도 중 하나에 기초하여 선택될 수도 있다. 포즈들은 기준 키프레임의 포즈 및 기준 키프레임과 키프레임의 나머지 세트 간의 호모그래피들을 사용하여 키프레임들의 나머지 세트에 대해 계산된다. 그 후에, 기준 키프레임의 포즈와 키프레임들의 나머지 세트의 포즈들은 맵을 생성하기 위해 사용될 수도 있다. 그 후에, 평면 오브젝트는 맵 및 차후에 캡처된 이미지들에 기초하여 트래킹된다 (212).
포즈 그래프
맵을 생성하기 위한 맵핑 컴포넌트 (130) 의 입력들은 키프레임들 및 그들 간에 측정된 호모그래피들의 세트이다. 키프레임 (Ii) 에 대응하는 카메라 포즈는 3×4 변환 행렬 Pi=(R｜t) 로 표현되며, 이는 월드 좌표계로부터 로컬 카메라 좌표계로의 엄격한 변환 및 후속하는 투영을 나타낸다. 일부 키프레임 쌍들 (i,j) 에 대하여, 도 3 에 도시된 것과 같이 키프레임 (Ii) 으로부터 키프레임 (Ij) 으로 포인트들을 맵핑하는 호모그래피 (Hj ,i) 가 측정된다.
도 4 에 도시된 바와 같이, 이러한 키프레임 호모그래피 관계들은 키프레임들을 노드들로서 및 호모그래피들을 에지들로서 갖는 지향된 그래프에서 관리될 수도 있다. 새로운 키프레임들이 생성되면, 이웃 키프레임들에 대한 새로운 호모그래피들이 측정되고, 이들 양자는 그래프에 추가된다. 평면 맵 가정을 유지하기 위해, 동일 평면상의 키프레임들만이 추가되어야한다. 따라서, 주요 장면 평면과 일치하지 않는 호모그래피들을 유도하는 아웃라이어 영역들 (예컨대, 상이한 평면 또는 비-평면 오브젝트를 도시하는 영역들) 의 뷰들을 지배적으로 도시하는 키프레임들에 대하여 필터링이 수행된다. 예컨대, 일치성 검사는 새로운 키프레임들에 채용될 수도 있다. 지속적으로 검사를 실패한 키프레임 후보 큐 (132) 에서의 후보 키프레임들은 거부될 수도 있다. 일치성 검사를 통과한 후보 키프레임들은 허용되고 그래프에 추가될 수도 있다.
평면 추정
3D 포인트들의 맵을 생성하기 위해, 키프레임들에 대응하는 공지되지 않은 카메라 포즈들 (Pi) 이 추정된다. 평면에 대한 공지되지 않은 키프레임 카메라 포즈들의 계산을 위해, 교정 알고리즘이 채용될 수도 있다. 이미지들 간에 알려진 호모그래피를 사용하여 평면을 추정하는 문제점을 해결하기 위한 2 가지 일반적인 접근방식들은 호모그래피 분해 및 이미지 교정을 포함한다. 호모그래피 분해는 평면 오브젝트의 2 개의 이미지들 사이에 호모그래피 행렬이 주어질 때 카메라 모션을 계산하는 것을 지칭한다. 이미지 교정 알고리즘들은 이미지 쌍들에 적용되는, 알려진 에피폴라 기하구조 (또는 평면 경우의 호모그래피들) 로부터의 투영 변환들을 계산하며, 예컨대 1D 탐색 공간에서의 포인트 매칭을 위해 자신의 에피폴라 라인을 정렬시킨다. 전용의 기준 카메라와 다른 카메라들 간의 가변적인 수의 호모그래피 측정치들을 사용하는 오직 2DOF 를 갖는 계산적으로 효율적인 비선형 최적화 방식이 사용될 수도 있다.
비용 함수 및 파라미터화
최적화 방식의 수학 공식이 제공된다. 장면 평면이 (x, y) 평면에 대응하는 표준 위치 z=0 에 위치된 것으로 정의한다. 따라서, 평면상의 포인트들은 0 과 동일한 z 좌표를 가지며, 동차 좌표들에서 (x, z, 0, 1) 로서 기록될 수 있다. 최적화시 미지수는 이러한 평면에 대한 카메라 포즈들 (Pi) 이다. 모든 월드 포인트들이 그 평면상에 위치된다는 가정하에, 카메라 포즈들은 포즈 행렬 (Pi) 의 제 3 컬럼을 제거함으로써 2D 호모그래피들로 용이하게 재공식화될 수 있다:
Figure 112013119269196-pct00001
결과적인 포즈 호모그래피들은 제 1 및 제 2 컬럼들이 정규 직교 벡터들이라는 관측들에 기초하여 다음의 중요한 특성을 가지며, 여기서 r1 및 r2 은 각각 R 의 제 1 및 제 2 컬럼이다:
Figure 112013119269196-pct00002
추가로, 포즈 호모그래피 (C1), 및 카메라 (C1) 으로부터 (C2) 로의 호모그래피 (H2 ,1) 맵핑이 제공될 때, 대응하는 포즈 호모그래피 (C2) 는 다음과 같이 계산될 수 있다:
Figure 112013119269196-pct00003
C1 는 제약방정식 2 을 따라야 한다. 또한, 식 3 을 식 2 에 대입함으로써, C1 에 대한 다음 추가의 제약이 획득된다:
Figure 112013119269196-pct00004
비대각 엔트리들이 0 이 되게 하고 대각 엔트리들이 동일한 값을 가지게 함으로써 C1 에 대한 비용 함수로서 제약을 공식화할 수 있다. 따라서, 하나의 호모그래피 (Hi ,1) 에 대하여 다음 비용 함수를 정의한다.
Figure 112013119269196-pct00005
Figure 112013119269196-pct00006
식 6 의 결과적인 비용 함수는 완전한 원뿔형 이미지에 널리 공지된 직교성 제약들을 사용하며, 임의의 호모그래피 (Hi ,1) 에 대하여 기준 카메라로부터 다른 카메라 (i) 로의 맵핑을 유지한다. 개별 호모그래피들 (Hi ,1) 로 기준 카메라 (C1) 에 모두 접속된 카메라들 (Ci) 의 세트에 대하여, 모든 개별 비용들을 합산함으로써 비용 함수를 구성하여 공지되지 않은 기준 카메라 포즈 (C1) 에 대한 단일 비용 함수를 획득한다:
Figure 112013119269196-pct00007
전반적으로, 모든 카메라 포즈들 (Ci) 을 추정하는 전반적인 문제점은 식 7 의 전체 비용 함수를 최소화하는 하나의 카메라 포즈 (C1) 를 발견하는 것으로 감소될 수 있다.
2 개의 카메라들 간의 호모그래피 (H2 ,1) 는 일정한 비율까지 정의되기 때문에 8 개의 자유도를 갖는다. 제 1 카메라 (C1) 에 대한 제 2 카메라 (C2) 의 배향 및 평행이동 (translation) 을 고정시키고, 오직 그 평면만이 자유롭게 이동하게 함으로써, 제 1 카메라 (C1) 는 오직 2 개의 자유도만이 남게 된다. 본 명세서에서 참조로서 통합되는, In Proc. BMVC, 2006, Edinburgh, UK, Sept 4-7 2006 에서 A. Ruiz, P. E. L. de Teruel 및 L. Fernandez 에 의한 “Practical planar metric rectification”에서, 카메라 포즈 (C1) 는 대응하는 카메라 이미지에서 수평선의 위치, 즉 무한원 직선 (line at infinity) 을 고정하는 2 개의 자유도들에서의 공액 회전으로서 표현될 수 있는 것이 관측되었다. 결과적인 회전 행렬은 평면의 카메라 이미지를 원근법적으로 변환하고, 직각 및 평행선을 측정할 수 있는 교정된 정사이미지 (orthoimage) 를 합성하는데 사용될 수도 있다. Ruiz 등은 고정 위치 카메라를 x 축 (틸트 각도) 및 z 축 (롤 각도) 주위에서 연속하여 회전시킴으로써 수평을 설명하는 것을 제안하였다. 6-DOF 카메라 포즈는 2-DOF 공액 회전, 및 임의의 평면 좌표계 (배향, 스케일, 위치) 를 정의하는 4-DOF 유사도 행렬로 구성될 수도 있다. 도 6a, 6b, 6c 및 6d 는 평면 이미지 교정 파라미터화의 기하학적 해석을 도시한다. 도 6a 및 도 6d 에 도시된 것과 같이, 평면 및 기준 카메라는 표준 위치에 위치된 것으로 정의되는데, 그 평면은 월드 (x, y) 평면과 정렬되고, 기준 카메라는 위치 (0, 0, -1) 에 위치되어 월드 좌표계와 카메라 좌표계가 정렬되도록 한다. 평면은 여전히 고정되어 있는 기준 카메라 주위의 단위 반구 상에서 회전한다. 도 6a 에 도시된 것과 같이, x 축 주위의 제 1 회전은 그 평면이 (y,z) 카메라 평면과 정렬된 원을 따라 이동하게 한다. 도 6b 에 도시된 것과 같이, 제 2 회전은 평면이 (x,y) 카메라 평면과 정렬된 다른 원을 따라 이동하게 한다. 평면이 카메라 뒤에서 회전되는 것을 회피할 때, x-회전 파라미터에 대한 범위로서 (-π/2, π/2) 를 정의한다. z-회전 파라미터에 대하여, 솔루션 대칭을 회피하기 위한 유효 범위로서 [-π/2, π/2) 를 정의한다. 카메라는 도 6c 에 도시된 것과 같이, x 축 및 z 축 회전들 각각으로 이루어진 교정 변환 이후에 표준 위치에 남아있다. 도 6d 에 도시된 것과 같이, 최종 평면 좌표계는 카메라 z-선을 유사도 변환에서 발생한 평면과 교차시킴으로써 정의된다.
속성들
식 7 의 비용 함수 및 결과적인 2DOF 비용 표면의 형상 및 깊이를 분석하였다. 기준 카메라의 선택 및 키프레임들 간의 모션에 의존하여, 다양한 영향들이 이하에 설명되는 것과 같이 발견되었다.
입력 호모그래피들에서 인코딩된 모션은 비용 표면의 깊이에 상당한 영향을 미치는 것으로 발견되었다. 예를 들어, 평행이동의 단일 축을 따라 이미지 오버랩이 증가함에 따라 고정된 카메라 (C1) 로부터 추정된 단일 호모그래피를 일 카메라 (C2) 로 통과시킬 경우, 비용 깊이는 평행이동의 크기에 따라 선형으로 증가한다.
비용 깊이 및 모션은 에러 함수의 솔루션 다양성에 영향을 준다. 일반적으로, 고유한 2DOF 솔루션을 산출하는 비용 표면의 글로벌 최소치를 발견하는 것이 바람직하다. 그러나, 비용 표면은 평면 앞 뒤에서 카메라 포즈를 설명하는 솔루션들에 대응하는, 2 개의 로컬 최소치들을 규칙적으로 도시한다. 호모그래피들에서 인코딩되는 모션의 양을 증가시키는 것은 평면의 앞에서 카메라 포즈를 설명하는 정확한 글로벌 최소치를 위해 로컬 최소치가 사라지게 한다.
디제너레이트 (degenerate) 모션 케이스들이 조우될 수도 있으며, 이는 비용 함수를 변경시키지 않고, 따라서 유효한 솔루션을 산출하지 않는다. 예를 들어, 알려진 디제너레이트 모션 케이스들은 법선 평면 (plane normal) 을 따른 순수한 회전 및 평행이동을 포함한다.
평면 맵핑
전술된 것과 같이, 맵핑 컴포넌트 (130) 는 트래킹 컴포넌트 (120) 에 의해 제공된 키프레임 후보들을 처리한다. 키프레임 후보들은 평면 재구성을 개선시키기 위해 사용될 수도 있는, 평면 장면에 관한 새로운 정보를 제공하며, 그 결과 리파이닝되고 확장된 맵들을 생성한다.
도 7 은 포즈 일치성에 기초한 키프레임으로서 키프레임 후보를 선택하는 방법을 예시하는 플로우 차트이다. 도시된 바와 같이, 키프레임 후보는 트래킹 컴포넌트 (120; 도 2) 로부터, 예컨대 키프레임 후보 큐 (132) 에서 수신된다 (220). 키프레임 후보에 대하여 인접 키프레임들은 예컨대, 오버랩의 양에 기초하여 결정된다 (222). 키프레임 후보 및 인접 키프레임들에 대한 호모그래피들이 추정되고 (224), 후보 키프레임에 대한 포즈들은 각각의 인접 키프레임의 포즈 및 추정된 호모그래피를 사용하여 계산된다 (226). 키프레임 후보에 대하여 계산된 포즈들이 예컨대 도 2 의 트래킹 컴포넌트 (120) 에 의해 생성된 트래킹 포즈와 비교된다 (228). 결과적인 비교가 원하는 임계치 미만이면 (230), 키프레임 후보는 키프레임으로서 선택되고 (232), 그렇지 않으면 후보 키프레임은 거부된다 (234).
인접 키프레임들
전술된 것과 같이, 도 7 의 단계 (222) 에서, 각각의 키프레임 후보에 대해, 인접 키프레임 노드들의 세트는 후속 호모그래피 추정과 관련하여 그래프로부터 선택된다. 이를 위해, 쌍별 이미지 오버랩이 계산될 수도 있다.
소스/타겟 키프레임 쌍의 오버랩은 소스 키프레임의 이미지 코너들을 일 호모그래피를 갖는 타겟 키프레임 상에 투영함으로써 계산된다. 호모그래피는 알려진 키프레임의 포즈들로부터 유도된다. 결과적인 4-포인트 다각형들은 교차되고 통합되어, 그 결과 다른 두 개의 다각형들을 생성한다. 원하는 오버랩은 이러한 다각형 영역들의 비 r(A,B) 이다:
Figure 112013119269196-pct00008
소정의 후보 키프레임은 그 그래프에서 기존의 키프레임들 각각과 쌍을 이루며, 그 결과 오버랩 비율들의 대응 리스트를 생성한다. 실제 선택은 결과 리스트를 내림차순의 오버랩 비율들로 분류하고, 인접 키프레임 세트에서 발생한 리스트의 전면에서 제한된 키프레임 세트 (예를 들어, 5) 를 취출함으로써 실행될 수도 있다.
포즈 일치성 검사
이전에 선택된 인접 키프레임 세트와 후보 키프레임을 결합할 때, 도 7 의 단계 (224) 에서 참조되는 것과 같이, 쌍별 호모그래피들은 양 방향에서 추정된다. 예를 들면, RANSAC (RANdom SAmple Consensus) 알고리즘이 강건한 추정을 위해 사용될 수도 있다. 결과적인 호모그래피들은 현재 맵핑된 평면과 충돌하는 평면들에 의해 유도될 수도 있다. 추정 에러들은 예컨대, 불량한 이미지 오버랩, 균등하지 않은 특징 배포 또는 (높은 잡음 또는 아웃라이어들로 인한) 낮은 대응 카운트에서 발생할 수도 있다.
따라서, 후보 키프레임에 대하여 트래킹 컴포넌트 (120) 에 의해 제공된 트래커 포즈를, 인접 키프레임 포즈들 및 추정된 호모그래피들로부터 계산된 포즈 관측치들과 비교함으로써, 에러 호모그래피들을 특징으로 하는 후보 키프레임들을 검출하는 것이 바람직하다. 각각의 인접 키프레임 (Ii) 에 대하여, 키프레임 후보에 대한 포즈 (Oi) 는 대응하는 호모그래피와 인접 키프레임의 포즈를 결합함으로써 계산된다 (도 7 의 단계 (226)). 도 8 은, 예컨대, 도 5 에 도시된 것과 유사한 포즈 그래프를 도시하지만, 후보 키프레임 (F) 을 포함한다. 후보 키프레임 (F) 의 포즈 (OA) 는 키프레임 (A) 에 대한 포즈 (PA) 및 호모그래피 (HFA) 에 기초하여 계산되고, 포즈 (OE) 는 키프레임 (E) 에 대한 포즈 (PE) 및 호모그래피 (HFE) 에 기초하여 계산되고, 포즈 (OD) 는 키프레임 (D) 에 대한 포즈 (PD) 및 호모그래피 (HFD) 에 기초하여 계산된다. (도 7 의 단계 (228) 에서) 평면 트래킹 컴포넌트 (120) 로부터 획득된 후보 카메라 포지션 (P) 에 대한 포즈 (Oi) 의 포지션 차이는 다음과 같이 결정될 수도 있다:
Figure 112013119269196-pct00009
결과적인 RMS 에러가 원하는 임계치 미만이면 (도 7 의 단계 (230)), 키프레임 후보가 키프레임으로서 선택되고 (도 7 의 단계 (232)), 추정된 호모그래피들은 각각 노드들 및 에지들로서 그래프에 입력되며; 그렇지 않으면, 키프레임 후보는 거부된다 (도 7 의 단계 (234)).
재구성
평면 재구성 절차는 키프레임 카메라 포즈들 및 맵 포인트들의 초기화 및 리파인먼트 (refinement) 를 포함한다. 키프레임 카메라 포즈들은 그래프에서 취출된 호모그래피들을 사용하는 평면 추정 알고리즘에 의해 재평가되는, 선택된 기준 키프레임 포즈에 대하여 계산된다. 맵 포인트들은 각 맵 포인트와 연관된 이미지 관측들에서 계산된다.
도 9 는 새로운 키프레임에 대한 노드 (포즈) 와 에지들 (호모그래피들) 을 포함하는 그래프 구조를 사용하여 맵을 생성하는 방법을 도시한다. 생성된 그래프 구조와 함께, 새로운 키프레임에 대한 노드 (포즈) 및 에지들 (호모그래피들) 을 포함하여, 이미지화된 평면 오브젝트의 맵은, 도 9 에 도시된 것과 같은 그래프 구조를 사용하여 생성된다 (도 4 의 단계 (210)). 새로운 키프레임이 추가된 후에, 기준 키프레임은 복수의 이전 키프레임들로부터 선택된다 (280). 기준 키프레임에 대한 포즈는 평면 오브젝트에 대하여 계산된다 (282). 키프레임들의 나머지 세트에 대한 포즈들은 기준 키프레임의 포즈, 및 기준 키프레임과 키프레임들의 나머지 세트 간의 호모그래피들을 사용하여 계산된다 (284). 기준 키프레임의 포즈 및 키프레임들의 나머지 세트의 포즈들은 맵을 생성하기 위해 사용된다 (286).
기준 키프레임 선택
기준 키프레임의 선택 (단계 280) 은, 모든 키프레임 포즈들이 기준 키프레임에 대해 계산되기 때문에 재구성의 전반적인 품질에 상당한 영향을 미치고 있다.
기준 키프레임의 선택을 위해, 실제의 카메라 궤적에서 실행시간에 발생하는 포즈 그래프의 구조에 기초하여 상이한 접근방식들이 사용될 수도 있다. 포즈 그래프가 명확한 센터 노드를 도시하면, 이 노드는 기준 키프레임으로서 사용될 수도 있다. 그렇지 않으면, 정면 (최근) 키프레임에 인접한 선두 노드가 우세할 수도 있다. 그 후에, 포즈 그래프는 키프레임 노드들 간의 호모그래피 경로들을 취출하는 데 사용된다. 호모그래피들은 기준 키프레임 추정 및 맵 생성을 위해 채용된다. 양자의 경우에, 하나는 호모그래피 에러들이 경로를 따라 축적되기 때문에, 예컨대, 호모그래피 경로 깊이들을 최소화함으로써, (구성된) 호모그래피들에 의해 유도된 전체 에러를 최소화하는 것을 원할 수도 있다.
양자의 접근방식들에 대하여, 폭 우선 (breath-first) 그래프 동작들로부터 취출된 값들로 파라미터화되는 스코어링 기능들이 실시될 수도 있다. 포즈 그래프가 명확한 센터 노드를 갖는지 여부를 결정하기 위해, 널리 공지된 프리맨 (Freeman) 네트워크 집중화 측정을 사용할 수도 있다. 최대 집중성 측정을 갖는 노드가 계산되어 이론적인 최대치와 비교된다. 결과적인 비율이 미리 결정된 임계치를 초과한다면, 최대 측정 노드를 기준 키프레임으로서 사용할 수도 있다. 대안적으로, 가장 최근의 키프레임 노드로부터의 최소 경로 깊이에서 임의의 가변 오프셋 (예컨대, 2) 을 뺀 그래프 노드가 사용될 수도 있다.
기준 포즈 추정
기준 키프레임의 선택으로, 평면 추정 알고리즘은 입력 호모그래피들의 세트로 초기화되고, 모든 키프레임 포즈들은 후속하여 기준 키프레임의 업데이트된 카메라 포즈 대해 재계산된다.
도 10a 및 도 10b 는 평면 추정 및 포즈 업데이트를 위한 호모그래피 취출 동작들을 도시한다. 평면 추정 알고리즘은 상이한 호모그래피 취출 접근방식들을 사용할 수도 있다. 하나의 접근 방식은 입력 호모그래피들에서 인코딩된 모션을 최대화하는 것을 목표로 하고, 리던던시를 전달하여 단일 에러 호모그래피들이 교정 알고리즘 비용 표면을 오염시키지 않는다. 도 10a 에 도시된 것과 같이, 소정의 루트 노드 (C) 에 대하여, 그래프의 (어느 한 방향에서) 모든 에지들을 포함하는 모든 다른 노드들로의 경로들이 취출된다. 최대 수의 에지들을 통합하는 것은 높은 양의 모션을 보장하며, 복수의 경로들을 타겟 노드들, 예컨대 노드 (E) 에 제공하여 개별 에러 호모그래피들을 포함하는 구성된 호모그래피들이 보상되게 한다. 도 10b 에 도시된 다른 접근방식에서, 모든 그래프 에지들이 통합되는 것이 아니라, 기준 키프레임 (C) 으로부터 모든 다른 키프레임들로의 최단 경로들이 취출된다.
취출된 호모그래피 경로들로 식 7 의 비용 함수를 최소화하여 기준 키프레임의 포즈를 획득한다 (도 9 의 단계 (282)). 호모그래피들의 소정의 세트에 대하여, 단일의 최적의 가용 솔루션이 계산될 수도 있다. 솔루션의 다양성에 의존하여, 최적의 솔루션은 고유한 글로벌 최소치일 수도 있거나, 솔루션 모호성의 경우, 로컬 최소치들의 세트로부터의 선택된 최적의 최소치일 수도 있다. 희박한 디제너레이트 경우들에서, 알고리즘은 결코 유효한 솔루션을 산출하지 않을 수도 있다.
비용 함수를 최소화하기 위해, 비용 표면은 별개로 샘플링되며 (예컨대, 각 파라미터 차원에서 각각 10 °), 샘플 최소치들의 세트는 샘플링된 비용 값들을 그들의 이웃들과 간단히 비교함으로써 계산된다. 샘플 최소치들의 세트로부터, 로컬 최소치들의 세트가 계산된다. 각 샘플 최소치는 최적화된 파라미터들을 발견하기 위해 Nelder-Mead 다운힐 심플렉스 솔버 (downhill simplex solver) 로 리파이닝된다. 유효 범위 외부의 파라미터들을 특징으로 하는 결과적인 로컬 최소치들은 폐기된다. 또한, 로컬 최소치들은 쌍별로 비교되고, 중복물들이 폐기된다. 수치 부정확성으로 인해, 잠재적인 글로벌 최소치는 유효화 단계에서 폐기될 수 있다. 글로벌 최소치의 존재는 모든 로컬 최소치들을 최소 비용을 갖는 샘플링된 최소치들과 비교함으로써 검사된다. 더 적은 비용을 갖는 로컬 최소치가 발견될 수 없다면, 최소 비용 샘플 최소치가 로컬 최소치 세트에 추가된다.
맵 생성
재구성의 시점에서, 평면에 대하여 기준 키프레임의 포즈가 알려져 있다. 나머지 키프레임 포즈들은 기준 포즈에 키프레임간 호모그래피들을 곱함으로써 계산된다 (도 9 의 단계 (284)). 맵 생성은 맵 포인트들을 재평가함으로써 완료된다 (도 9 의 단계 (286)).
키프레임 포즈 업데이트
키프레임 포즈들 (Pk) 은 키프레임 포즈 호모그래피 (Ck) 를 획득하기 위해 평면 추정 알고리즘으로부터 발생한 기준 포즈 호모그래피 (Cr) 에 호모그래피 (Hk,r) 를 곱함으로써 계산된다. 그 후에, 전체 포즈 (Pk) 는 회전 행렬의 제 3 컬럼을 계산함으로써 복원된다. 추가로, 유사도 변환 (S) 이 적용되어 평면 좌표계 원점을 제 1 키프레임의 역 투영된 주점 (principle point) 으로 이동시킬 수도 있다:
Figure 112013119269196-pct00010
호모그래피 (Hk ,r) 의 취출을 위하여, 기준으로부터 키프레임으로의 최단 경로가 폭 우선 탐색을 사용하여 계산될 수도 있다.
포인트 평가
맵 포인트 위치들은 대응하는 키프레임 카메라 포즈들을 사용하여 역 투영 키프레임 이미지 관측들의 중심에 할당된다. 총 아웃라이어 관측들은 그 중심에 대한 관측들의 평균 거리를 계산하고 특정 임계치 (예를 들면, 평균 거리의 2 배) 밖의 관측들을 폐기함으로써 검출된다. 이러한 경우, 중심은 인라이어 관측들만을 사용하여 재평가된다.
평면 트래킹
도 11 은 평면 포인트 맵에 대한 카메라 포즈를 트래킹하는 방법의 플로우 차트이다. 트래킹 컴포넌트 (120) 는 캘리브레이트된 단안 카메라 (110) 로부터의 입력된 이미지 스트림으로부터 캡처된 이미지들을 처리하고, 맵핑 컴포넌트 (130) 에 의해 제공된 평면 포인트 맵에 대한 카메라 포즈를 계산한다. 따라서, 도 11 에 도시된 바와 같이, 이미지 스트림이 수신된다 (300). 시스템 시작시, 맵이 아직 존재하지 않고, 따라서 시스템은 예컨대, 2 개의 키프레임들을 사용하여 초기화된다 (302). 시스템이 초기화되면, 맵은 맵핑 컴포넌트 (130) 로부터 수신되고 (304), 맵으로부터의 포인트들을 사용하고 이들을 현재 이미지와 매칭하여 포즈들이 추정된다 (306). 카메라 포즈들은 모션 모델과 강건한 포즈 리파이너를 사용하여 추정된다. 이미지가 기존의 키프레임들과 약간의 오버랩으로 양호한 포즈를 생성한다면, 이미지가 후보 키프레임 큐에 추가된다 (308). 따라서, 후보 키프레임은 트래킹 컴포넌트 (120) 에 의해 선택되고, 맵핑 컴포넌트 (130) 에 전달되어 확장 및 리파이닝된 맵들을 생성한다.
초기화
맵핑 및 트래킹 시스템은 예컨대, 수동으로 제 1 키프레임을 선택할 수도 있는 사용자에 의해, 초기화된다 (도 11 의 단계 (300)). 예를 들어, 제 1 키프레임은 맵핑 및 트래킹 애플리케이션이 사용자에 의해 개시될 경우 제 1 이미지 프레임일 수도 있다. 대안적으로, 사용자는 맵핑 및 트래킹 애플리케이션이 개시된 후에 터치 스크린 디스플레이 (102) 를 터치함으로써 원하는 제 1 키프레임을 선택할 수도 있다. 키프레임과 현재의 입력 이미지 간의 호모그래피들은 지속적으로 추정된다. 추가로, 각 호모그래피는 전술된 이미지 교정 알고리즘으로 전달되고, 현재 이미지에 대한 포즈 추정치들은 제 1 키프레임에 대하여 생성된다.
호모그래피 추정
키프레임들은 상이한 이미지 스케일 레벨들에 대한 현저한 이미지 측정들의 고정 세트를 특징으로 한다. 예를 들어, 3 개 래벨들을 갖는 저역 통과 이미지 피라미드는 스케일 불변성을 개선하기 위해 생성될 수도 있다. 각각의 피라미드 레벨에서, FAST (Features from Accelerated Segment Test) 코너 검출기가 적용되어 코너 측정치들의 세트를 생성할 수도 있다. 키포인트들을 추출하는 다른 방법들, 예컨대 SIFT, 또는 SURF (Speed-up Robust Features), 또는 임의의 다른 바람직한 방법이 사용될 수도 있다. 키포인트 카운트는 예컨대, 낮은 스코어들을 갖는 FAST 특징들을 필터링함으로써 차후 계산 비용을 한정하도록 제한될 수도 있다.
강건한 RANSAC 추정 알고리즘은 소스 키프레임 (즉, 제 1 키프레임) 과 타겟 키프레임 (즉, 현재 키프레임) 간의 2D-2D 포인트 대응들로부터의 호모그래피 추정을 위해 사용될 수도 있다. (최조밀로부터 최세밀로 진행하는) 각 이미지 레벨에 대하여, 소스 키프레임에 의해 제공된 현저한 이미지 측정들을 반복하고, 타겟 키프레임에서의 매치 대응들을 계산한다. 각각의 레벨 이후에, 호모그래피는 추가 레벨 포인트 대응들로 리파이닝된다. RANSAC 아웃라이어 임계치는 알려진 내부 카메라 파라미터들과 관련하여 설정될 수도 있다.
포인트의 대응들은 정규화 상호 상관 (NCC) 을 사용한 탐색 윈도우의 능동 탐색에 의해 서브-픽셀의 정확한 아핀 패치 매칭 알고리즘으로 계산될 수도 있다. 2 개의 이미지들 및 초기 호모그래피가 주어질 때, 로컬 1×1 픽셀 좌표계가 소스 이미지의 소스 포인트 위치에 확립된다. 로컬 아핀 워핑 행렬은 로컬 좌표계를 타겟 이미지에 투영함으로써 생성될 수도 있다. 소스 이미지 레벨을 조정한 후, 8×8 패치가 소스 이미지로부터 샘플링되며, 소스 이미지는 NCC 를 에러 측정치로서 사용하여 소정의 반경 (예컨대, 3 내지 5 픽셀들) 을 갖는 탐색 윈도우에서 타겟 이미지와 상관된다. 타겟 이미지 포인트의 NCC 값이 특정 임계치 (예컨대, > 0.9) 이상이면, 소스 및 타겟 포인트들은 상관되는 것으로 간주될 수도 있다.
초기 맵
제 2 키프레임의 자동 선택으로, 맵핑 컴포넌트 (130) 는 결과적인 키프레임 쌍 및 대응하는 호모그래피에서 초기 맵을 계산한다. 제 2 키프레임은 이미지 오버랩 및 평면 추정 품질에 기초하여 선택된다. 제 1 키프레임과 현재 이미지 사이의 이미지 오버랩이 특정 임계치 (예를 들면, 0.75) 를 초과하고, 교정 알고리즘은 기준으로서 제 1 키프레임을 사용하여 유효하고 모호하지 않은 평면 추정치를 산출한다면, 제 2 키프레임이 선택되고, 맵이 초기화된다.
맵 초기화는 제 2 키프레임으로부터 제 1 키프레임으로의 호모그래피의 추정, 양자의 키프레임들에 대한 포즈 추정 및 키프레임들로부터 역 투영된 포인트들을 갖는 맵의 모집단 (population) 을 포함한다. 맵 포인트 위치들은 역 투영된 연관된 이미지 관측들의 중심으로 정의된다. 월드 좌표계 원점은 제 1 키프레임 이미지의 주점을 역 투영시킴으로써 정의된다. 추가로, 초기의 그래프는 제 1 및 제 2 키프레임들을 노드로서 및 그들의 호모그래피들을 에지들로서 추가시킴으로써 설정된다.
맵 트래킹
초기 평면 맵의 생성 후에, 트래킹 컴포넌트 (120) 는 맵을 수신하고 (도 11의 (304)), 맵으로부터의 포인트들을 사용하여 카메라 포즈들을 추정하고, 이들을 현재 이미지와 매칭한다 (306). 추가로, 키프레임들은 이미지 스트림으로부터 선택되고, 맵핑 컴포넌트 (130) 에 전달된다.
포즈 추정
트래킹 컴포넌트 (120) 는 맵핑 컴포넌트 (130) 에 의해 제공된 평면 맵에 대하여 6-DOF 카메라 포즈를 견고하게 추정한다. 일정한 감쇠 모션 모델은 이전의 포즈 관측들에 기초하여 현재 이미지의 포즈를 예측한다. 모션 모델 포즈는 현재 이미지에 비-가시적인 맵 포인트들을 폐기하는 데 사용되는 카메라 프러스 텀 (camera frustum) 을 초기화하는 데 사용된다. 나머지 맵 포인트들은 예측된 포즈를 시용하여 현재 이미지 내로 투영되며, 그 결과 가시적인 포인트 세트를 생성한다.
포인트 매칭은 정규화 상호 상관을 사용하여 최조밀 레벨에서 시작하여 각 이미지 레벨에 대하여 연속적으로 실행된다. 일 레벨을 완료한 후, 매칭된 레벨 대응들이 현저한 포인트 세트에 추가되고, 포즈 리파인먼트 단계가 수행된다. 채용된 포즈 리파인먼트 알고리즘은 아웃라이어들을 폐기하기 위해 강건한 Tukey M-추정기를 사용하여 재투영 오차를 최소화하는 것을 목표로 한다. 결과적인 포즈의 인라이어 포인트 세트는 대응하는 Tukey M-추정기 가중치들을 미리 정의된 임계치로 분할함으로써 현저한 입력 포인트 세트로부터 계산될 수도 있다.
모든 레벨들에서 포인트 매칭을 완료한 후, 결과적인 포즈의 유효성 및 품질이 검사된다. 포즈 품질은 현저한 피처 대 인라이어 피처 카운트의 비율에 의해 정의될 수도 있다. 그 비율이 특정 임계치를 초과하면, 예컨대 > 0.75 이면, 양호한 것으로 간주되고, 특정 임계치 미만이면, 예컨대 < 0.5 이면, 불량한 것으로 간주되고, 그렇지 않으면 중간인 것으로 간주된다. 포즈 추정기가 예컨대, 너무 적은 포인트 대응들로 인해 유효하지 않은 포즈를 나타내면, 재국소화 (relocalization) 모드가 사용될 수도 있다. 한 가지 가능한 재국소화는 현재 이미지의 SIFT 피처 디스크립터들을 계산하고 맵 특징들의 디스크립터들을 포함하는 데이터베이스와 매칭하기 위한 것일 수도 있고, 결과적인 대응들로 포즈를 추정하는 것을 시도한다.
키프레임 선택 및 맵 업데이트
키프레임 후보들은 이미지 스트림으로부터의 이미지 오버랩 및 현재 포즈 품질에 기초하여 선택될 수도 있다. 전술된 것과 같이, 양호한 이미지 품질을 갖는 포즈 추정치들을 산출하는 이미지들만이 키프레임들로서 간주된다. 현재 이미지를 충분히 오버랩하는, 기존의 키프레임 또는 후보 키프레임 큐로부터의 후보 키프레임 중 어느 것도 발견되지 않는다면, 예컨대, 최대 오버랩 비율이 0.75 또는 0.60 미만이라면, 현재 이미지는 맵핑 컴포넌트 (130) 에 의해 처리된 키프레임 후보 큐로 푸시된다 (단계 (308)). 오버랩 파라미터는 맵 데이터 볼륨 및 따라서 전체 시스템 성능에 영향을 미칠 수도 있다. 오버랩이 증가함에 따라, 키프레임의 수는 꾸준히 증가하며, 그 결과 3D 공간의 더 밀집된 샘플링을 생성한다. 결국, 후보 키프레임들은 더 많은 호모그래피들의 추정을 허용하고 그래프의 연결에 영향을 주는 더 인접한 키프레임들을 특징으로 한다. 그러나, 오버랩 파라비터는 정확성에 대하여 어떤 상당한 영향도 산출하지 않는 것으로 보여진다. 놀랍게도, 더 많은 데이터는 오브젝트 공간 및 수신 에러 중 어느 것도 상당히 개선시키지 못한다. 60% 오버랩은 3 픽셀 미만의 재투영 에러 및 궤적 사이즈들의 1.5 % 미만의 오브젝트 공간 에러를 갖는 양호한 품질로 평면 재구성을 해결하는데 충분한 데이터를 제공하는 것으로 보인다.
맵핑 컴포넌트 (130) 는 대응하는 플래그를 세팅함으로써 리파이닝된 맵의 완료를 나타낸다. 리파이닝된 맵들은 예컨대, 기준 키프레임에서의 변경으로 인해, 상당히 변화할 수도 있기 때문에, 예컨대, 최종 2 개의 이미지들로부터의 대응들이 저장되고, 새로운 맵에 대한 그들의 포즈들은 재추정된다. 그 후에, 모션 모델은 이러한 새로운 포즈들로부터 업데이트될 수도 있다.
도 12 는 전술된 것과 같이, 캡처된 이미지들을 사용하여 포즈 트래킹 및 맵핑이 가능한 모바일 디바이스 (100) 의 블록도이다. 모바일 디바이스 (100) 는 캘리브레이트된 단안 카메라 (110) 를 포함한다. 모바일 디바이스 (100) 는 추가로 디스플레이 (102), 키패드 (105) 또는 사용자가 정보를 모바일 디바이스 (100) 에 입력할 수 있는 다른 입력 디바이스를 포함하는 사용자 인터페이스 (103) 를 포함한다. 요구되는 경우, 키패드 (105) 는 터치 센서를 갖는 디스플레이 (102) 에 가상 키패드를 통합함으로써 제거될 수도 있다. 예컨대, 모바일 디바이스 (100) 가 셀룰러 전화기와 같은 모바일 디바이스이면, 사용자 인터페이스 (103) 는 또한 마이크로폰 (106) 및 스피커 (104) 를 포함할 수도 있다. 물론, 모바일 디바이스 (100) 는 본 개시물과 관련되지 않은 다른 엘리먼트들을 포함할 수도 있다.
모바일 디바이스 (100) 는 또한 카메라 (110) 에 접속되어 통신하는 제어 유닛 (180) 을 포함한다. 제어 유닛 (180) 은 버스 (180b), 프로세서 (181) 및 관련 메모리 (184), 하드웨어 (182), 소프트웨어 (185), 및 펌웨어 (183) 에 의해 제공될 수도 있다. 제어 유닛 (180) 은 전술된 것과 같이 동작하는 트래킹 컴포넌트 (120) 와 맵핑 컴포넌트 (130) 를 포함한다. 트래킹 컴포넌트 (120) 및 맵핑 컴포넌트 (130) 는 별개로 도시되고, 명확성을 위해 프로세서 (181) 에서 분리되어 있지만, 단일 유닛일 수도 있거나, 결합된 유닛일 수도 있거나, 및/또는 프로세서 (181) 에서 실행되는 소프트웨어 (185) 의 명령들에 기초하여 프로세서 (181) 에서 구현될 수도 있다. 본 명세서에서 사용되는 것과 같이, 프로세서 (181) 뿐만 아니라 트래킹 컴포넌트 (120) 와 맵핑 컴포넌트 (130) 중 하나 이상은, 하나 이상의 마이크로프로세서들, 임베디드 프로세서들, 제어기들, 주문형 반도체 회로 (ASIC) 들, 디지털 신호 프로세서 (DSP) 들, 등을 반드시 포함할 필요는 없을 수 있는 것이 이해될 것이다. 프로세서라는 용어는 특정 하드웨어보다는 시스템에 의해 구현되는 기능들을 설명하도록 의도된다. 또한, 본 명세서에서 사용되는 것과 같이, 용어 "메모리" 는 모바일 디바이스와 연관된 장기, 단기, 또는 다른 메모리를 포함하는 임의의 타입의 컴퓨터 저장 매체를 지칭하며, 어떤 특정 타입의 메모리 또는 메모리들의 수, 또는 메모리가 저장된 매체의 타입에 제한되지 않는다.
모바일 디바이스는, 예를 들면, 카메라 (110) 일 수도 있는 평면 오브젝트의 다수의 이미지들을 캡처하기 위한 수단을 포함한다. 새로운 키프레임으로서 새로운 이미지를 선택하기 위한 수단은 트래킹 컴포넌트 (120) 를 포함할 수도 있다. 공간적으로 분포된 평면 오브젝트에 대하여 새로운 키프레임과 복수의 이전 키프레임들 중 각각의 이전 키프레임 간의 호모그래피들을 계산하는 수단은 맵핑 컴포넌트 (130) 일 수도 있다. 새로운 키프레임과 복수의 이전 키프레임들 중 각각의 이전 키프레임, 및 새로운 키프레임과 복수의 이전 키프레임들 중 각각의 이전 키프레임 간의 호모그래피들을 사용하여 그래프 구조를 생성하는 수단은 맵핑 컴포넌트 (130) 일 수도 있다. 그래프 구조를 사용하여 평면 오브젝트의 맵을 생성하는 수단은 맵핑 컴포넌트 (130) 를 포함할 수도 있다. 맵에 기초하여 평면 오브젝트 및 차후에 캡처된 이미지들을 트래킹하는 수단은 트래킹 컴포넌트 (120) 를 포함할 수도 있다.
본 명세서에 기술된 방법들은 그 적용에 따라 다양한 수단에 의해 구현될 수도 있다. 예를 들어, 이러한 방법들은 하드웨어 (182), 펌웨어 (163), 소프트웨어 (185), 또는 이들의 임의의 조합으로 구현될 수도 있다. 하드웨어 구현에 대하여, 프로세싱 유닛들은 하나 이상의 주문형 반도체 회로 (ASIC) 들, 디지털 신호 프로세서들 (DSP) 들, 디지털 신호 프로세싱 디바이스들 (DSPD) 들, 프로그래머블 로직 디바이스 (PLD) 들, 필드 프로그래머블 게이트 어레이 (FPGA) 들, 프로세서들, 제어기들, 마이크로 제어기들, 마이크로 프로세서들, 전자 디바이스들, 본 명세서에 설명된 기능들을 수행하도록 설계된 다른 전자 유닛들, 또는 이들의 조합 내에서 구현될 수도 있다.
펌웨어 및/또는 소프트웨어 구현에 대하여, 방법들은 본 명세서에 설명된 기능들을 수행하는 모듈들 (예컨대, 절차들, 기능들, 등등) 로 구현될 수도 있다. 명령들을 유형으로 수록하는 임의의 머신 판독가능 매체는 본 명세서에 기재된 방법들을 구현하는데 사용될 수 있다. 예를 들어, 소프트웨어 코드들은 메모리 (184) 에 저장될 수도 있고, 프로세서 (181) 에 의해 실행될 수도 있다. 메모리는 프로세서 (181) 내부에 또는 외부에 구현될 수도 있다. 펌웨어 및/또는 소프트웨어로 구현되는 경우, 기능들은 컴퓨터-판독가능 매체 상에 하나 이상의 명령들 또는 코드로서 저장될 수 있다. 예들은 데이터 구조로 인코딩된 비-일시적인 컴퓨터 판독가능 매체 및 컴퓨터 프로그램으로 인코딩된 컴퓨터 판독가능 매체를 포함한다. 컴퓨터 판독가능 매체는 물리적인 컴퓨터 저장 매체를 포함한다. 저장 매체는 컴퓨터에 의해 액세스 될 수 있는 임의의 사용가능한 매체일 수도 있다. 예를 들지만, 제한 없이, 이러한 컴퓨터 판독가능 매체는 RAM, ROM, EEPROM, CD-ROM 또는 다른 광학 디스크 스토리지, 자기 디스크 스토리지 또는 다른 자기 스토리지 디바이스들, 또는 명령들 또는 데이터 구조들의 형태로 원하는 프로그램 코드를 저장하는 데 사용될 수고 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체를 포함할 수 있다; 디스크 (Disk 및 disc) 는 본 명세서에서 사용되는 바와 같이, 콤팩트 디스크 (CD), 레이저 디스크, 광 디스크, 디지털 다용도 디스크 (DVD), 플로피 디스크 및 블루레이 디스크를 포함하는데, 디스크 (disk) 들은 보통 데이터를 자기적으로 재생하지만, 디스크 (disc) 들은 레이저들로 광학적으로 데이터를 재생한다. 상기의 것들의 조합들도 컴퓨터 판독가능 매체의 범위 내에 포함되어야 한다.
본 발명은 교육의 목적을 위해 특정 실시형태들과 함께 설명되었지만, 본 발명은 이에 제한되지 않는다. 다양한 적응들 및 변경들이 본 발명의 범위로부터 벗어나지 않고 실행될 수도 있다. 그러므로, 첨부된 청구항들의 사상 및 범위는 앞의 설명에 제한되지 않아야 한다.

Claims (26)

  1. 평면 오브젝트의 다수의 이미지들을 캡처하는 단계;
    새로운 이미지를 새로운 키프레임으로서 선택하는 단계;
    공간적으로 분포된 평면 오브젝트에 대하여 상기 새로운 키프레임과 복수의 이전 키프레임들 중 각각의 이전 키프레임 간의 호모그래피들을 계산하는 단계;
    상기 새로운 키프레임과 상기 복수의 이전 키프레임들 중 각각의 이전 키프레임 및 상기 새로운 키프레임과 상기 복수의 이전 키프레임들 중 각각의 이전 키프레임 간의 호모그래피들을 사용하여 그래프 구조를 생성하는 단계;
    상기 평면 오브젝트의 맵을 생성하기 위해 상기 그래프 구조를 사용하는 단계; 및
    상기 맵 및 차후에 캡처된 이미지들에 기초하여 상기 평면 오브젝트를 트래킹하는 단계를 포함하고,
    상기 평면 오브젝트의 맵을 생성하기 위해 상기 그래프 구조를 사용하는 단계는,
    상기 복수의 이전 키프레임들로부터 기준 키프레임을 선택하는 단계;
    상기 평면 오브젝트에 대하여 상기 기준 키프레임에 대한 포즈를 계산하는 단계;
    상기 기준 키프레임의 포즈 및 상기 기준 키프레임과 키프레임들의 나머지 세트 간의 호모그래피들을 사용하여 상기 키프레임들의 나머지 세트에 대한 포즈들을 계산하는 단계; 및
    상기 기준 키프레임의 포즈 및 상기 키프레임들의 나머지 세트에 대한 포즈들을 사용하여 상기 맵을 생성하는 단계를 포함하는, 평면 맵핑 및 트래킹 방법.
  2. 제 1 항에 있어서,
    상기 그래프 구조는 트리 기반의 그래프 구조이고, 상기 새로운 키프레임과 상기 복수의 이전 키프레임들 중 각각의 이전 키프레임은 노드들이며, 상기 새로운 키프레임과 상기 복수의 이전 키프레임들 중 각각의 이전 키프레임 간의 호모그래피들은 상기 노드들 사이의 에지들인, 평면 맵핑 및 트래킹 방법.
  3. 삭제
  4. 제 1 항에 있어서,
    상기 기준 키프레임은 상기 새로운 키프레임에 대한 근접도 및 상기 그래프 구조의 센터 노드에 대한 근접도 중 하나에 기초하여 선택되는, 평면 맵핑 및 트래킹 방법.
  5. 제 1 항에 있어서,
    상기 새로운 이미지를 새로운 키프레임으로서 선택하는 단계는, 상기 새로운 이미지와 상기 복수의 이전 키프레임들과의 오버랩을 결정하기 위해 상기 새로운 이미지와 상기 복수의 이전 키프레임들을 비교하는 단계, 및 상기 오버랩을 임계치와 비교하는 단계를 포함하는, 평면 맵핑 및 트래킹 방법.
  6. 제 1 항에 있어서,
    상기 새로운 이미지를 새로운 키프레임으로서 선택하는 단계는 상기 새로운 이미지가 상기 평면 오브젝트로 이루어지는지를 확인하는 단계를 포함하는, 평면 맵핑 및 트래킹 방법.
  7. 제 6 항에 있어서,
    상기 새로운 이미지가 상기 평면 오브젝트로 이루어지는지를 확인하는 단계는,
    인접 키프레임들의 포즈들 및 상기 새로운 이미지와 상기 인접 키프레임들 간의 대응하는 호모그래피들에 기초하여 상기 새로운 이미지에 대한 다수의 포즈들을 결정하는 단계;
    상기 다수의 포즈들을, 상기 맵에 대하여 상기 새로운 이미지를 트래킹하는 것으로부터 생성된 상기 새로운 이미지에 대한 트래커 포즈에 비교하는 단계; 및
    상기 다수의 포즈들과 상기 트래커 포즈 간의 쌍별 포즈 차이들의 합이, 상기 새로운 이미지가 상기 평면 오브젝트로 이루어지는지를 나타내는 임계치 내에 있는 것으로 결정하는 단계를 포함하는, 평면 맵핑 및 트래킹 방법.
  8. 평면 오브젝트의 다수의 이미지들을 캡처할 수 있는 카메라; 및
    상기 카메라에 커플링된 프로세서를 포함하며,
    상기 프로세서는, 새로운 이미지를 새로운 키프레임으로서 선택하고, 공간적으로 분포된 평면 오브젝트에 대하여 상기 새로운 키프레임과 복수의 이전 키프레임들 중 각각의 이전 키프레임 간의 호모그래피들을 계산하고, 상기 새로운 키프레임과 상기 복수의 이전 키프레임들 중 각각의 이전 키프레임 및 상기 새로운 키프레임과 상기 복수의 이전 키프레임들 중 각각의 이전 키프레임 간의 호모그래피들을 사용하여 그래프 구조를 생성하고, 상기 평면 오브젝트의 맵을 생성하기 위해 상기 그래프 구조를 사용하며, 그리고 상기 맵 및 차후에 캡처된 이미지들에 기초하여 상기 평면 오브젝트를 트래킹하도록 구성되고,
    상기 프로세서는,
    상기 복수의 이전 키프레임들로부터 기준 키프레임을 선택하고, 상기 평면 오브젝트에 대하여 상기 기준 키프레임에 대한 포즈를 계산하고, 상기 기준 키프레임의 포즈 및 상기 기준 키프레임과 키프레임들의 나머지 세트 간의 호모그래피들을 사용하여 상기 키프레임들의 나머지 세트에 대한 포즈들을 계산하며, 그리고 상기 기준 키프레임의 포즈 및 상기 키프레임들의 나머지 세트에 대한 포즈들을 사용하여 상기 맵을 생성하도록 구성됨으로써,
    상기 평면 오브젝트의 맵을 생성하기 위해 상기 그래프 구조를 사용하도록 구성되는, 평면 맵핑 및 트래킹 장치.
  9. 제 8 항에 있어서,
    상기 그래프 구조는 트리 기반의 그래프 구조이고, 상기 새로운 키프레임과 상기 복수의 이전 키프레임들 중 각각의 이전 키프레임은 노드들이며, 상기 새로운 키프레임과 상기 복수의 이전 키프레임들 중 각각의 이전 키프레임 간의 호모그래피들은 상기 노드들 사이의 에지들인, 평면 맵핑 및 트래킹 장치.
  10. 삭제
  11. 제 8 항에 있어서,
    상기 프로세서는, 상기 새로운 키프레임에 대한 근접도 및 상기 그래프 구조의 센터 노드에 대한 근접도 중 하나에 기초하여 상기 기준 키프레임을 선택하도록 구성되는, 평면 맵핑 및 트래킹 장치.
  12. 제 8 항에 있어서,
    상기 프로세서는,
    상기 새로운 이미지와 상기 복수의 이전 키프레임들과의 오버랩을 결정하기 위해 상기 새로운 이미지와 상기 복수의 이전 키프레임들을 비교하고, 상기 오버랩을 임계치와 비교하도록 구성됨으로써,
    상기 새로운 이미지를 새로운 키프레임으로서 선택하도록 구성되는, 평면 맵핑 및 트래킹 장치.
  13. 제 8 항에 있어서,
    상기 프로세서는,
    상기 새로운 이미지가 상기 평면 오브젝트로 이루어지는지를 확인하도록 구성됨으로써,
    상기 새로운 이미지를 새로운 키프레임으로서 선택하도록 구성되는, 평면 맵핑 및 트래킹 장치.
  14. 제 13 항에 있어서,
    상기 프로세서는,
    인접 키프레임들의 포즈들 및 상기 새로운 이미지와 상기 인접 키프레임들 간의 대응하는 호모그래피들에 기초하여 상기 새로운 이미지에 대한 다수의 포즈들을 결정하고, 상기 다수의 포즈들을, 상기 맵에 대하여 상기 새로운 이미지를 트래킹하는 것으로부터 생성된 상기 새로운 이미지에 대한 트래커 포즈에 비교하며, 그리고 상기 다수의 포즈들과 상기 트래커 포즈 간의 쌍별 포즈 차이들의 합이, 상기 새로운 이미지가 상기 평면 오브젝트로 이루어지는지를 나타내는 임계치 내에 있는 것으로 결정하도록 구성됨으로써,
    상기 새로운 이미지가 상기 평면 오브젝트로 이루어지는지를 확인하도록 구성되는, 평면 맵핑 및 트래킹 장치.
  15. 평면 오브젝트의 다수의 이미지들을 캡처하는 수단;
    새로운 이미지를 새로운 키프레임으로서 선택하는 수단;
    공간적으로 분포된 평면 오브젝트에 대하여 상기 새로운 키프레임과 복수의 이전 키프레임들 중 각각의 이전 키프레임 간의 호모그래피들을 계산하는 수단;
    상기 새로운 키프레임과 상기 복수의 이전 키프레임들 중 각각의 이전 키프레임 및 상기 새로운 키프레임과 상기 복수의 이전 키프레임들 중 각각의 이전 키프레임 간의 호모그래피들을 사용하여 그래프 구조를 생성하는 수단;
    상기 평면 오브젝트의 맵을 생성하기 위해 상기 그래프 구조를 사용하는 수단; 및
    상기 맵 및 차후에 캡처된 이미지들에 기초하여 상기 평면 오브젝트를 트래킹하는 수단을 포함하고,
    상기 평면 오브젝트의 맵을 생성하기 위해 상기 그래프 구조를 사용하는 수단은,
    상기 복수의 이전 키프레임들로부터 기준 키프레임을 선택하는 수단;
    상기 평면 오브젝트에 대하여 상기 기준 키프레임에 대한 포즈를 계산하는 수단;
    상기 기준 키프레임의 포즈 및 상기 기준 키프레임과 키프레임들의 나머지 세트 간의 호모그래피들을 사용하여 상기 키프레임들의 나머지 세트에 대한 포즈들을 계산하는 수단; 및
    상기 기준 키프레임의 포즈 및 상기 키프레임들의 나머지 세트에 대한 포즈들을 사용하여 상기 맵을 생성하는 수단을 포함하는, 평면 맵핑 및 트래킹 장치.
  16. 제 15 항에 있어서,
    상기 그래프 구조는 트리 기반의 그래프 구조이고, 상기 새로운 키프레임과 상기 복수의 이전 키프레임들 중 각각의 이전 키프레임은 노드들이며, 상기 새로운 키프레임과 상기 복수의 이전 키프레임들 중 각각의 이전 키프레임 간의 호모그래피들은 상기 노드들 사이의 에지들인, 평면 맵핑 및 트래킹 장치.
  17. 삭제
  18. 제 15 항에 있어서,
    상기 새로운 이미지를 새로운 키프레임으로서 선택하는 수단은, 상기 새로운 이미지와 상기 복수의 이전 키프레임들과의 오버랩을 결정하기 위해 상기 새로운 이미지와 상기 복수의 이전 키프레임들을 비교하는 수단, 및 상기 오버랩을 임계치와 비교하는 수단을 포함하는, 평면 맵핑 및 트래킹 장치.
  19. 제 15 항에 있어서,
    상기 새로운 이미지를 새로운 키프레임으로서 선택하는 수단은 상기 새로운 이미지가 상기 평면 오브젝트로 이루어지는지를 확인하는 수단을 포함하는, 평면 맵핑 및 트래킹 장치.
  20. 제 19 항에 있어서,
    상기 새로운 이미지가 상기 평면 오브젝트로 이루어지는지를 확인하는 수단은,
    인접 키프레임들의 포즈들 및 상기 새로운 이미지와 상기 인접 키프레임들 간의 대응하는 호모그래피들에 기초하여 상기 새로운 이미지에 대한 다수의 포즈들을 결정하는 수단;
    상기 다수의 포즈들을, 상기 맵에 대하여 상기 새로운 이미지를 트래킹하는 것으로부터 생성된 상기 새로운 이미지에 대한 트래커 포즈에 비교하는 수단; 및
    상기 다수의 포즈들과 상기 트래커 포즈 간의 쌍별 포즈 차이들의 합이, 상기 새로운 이미지가 상기 평면 오브젝트로 이루어지는지를 나타내는 임계치 내에 있는 것으로 결정하는 수단을 포함하는, 평면 맵핑 및 트래킹 장치.
  21. 저장된 프로그램 코드를 포함하는, 평면 맵핑 및 트래킹을 위한 컴퓨터 판독가능 매체로서,
    평면 오브젝트의 캡처된 다수의 이미지들로부터, 새로운 이미지를 새로운 키프레임으로서 선택하기 위한 프로그램 코드;
    공간적으로 분포된 평면 오브젝트에 대하여 상기 새로운 키프레임과 복수의 이전 키프레임들 중 각각의 이전 키프레임 간의 호모그래피들을 계산하기 위한 프로그램 코드;
    상기 새로운 키프레임과 상기 복수의 이전 키프레임들 중 각각의 이전 키프레임 및 상기 새로운 키프레임과 상기 복수의 이전 키프레임들 중 각각의 이전 키프레임 간의 호모그래피들을 사용하여 그래프 구조를 생성하기 위한 프로그램 코드;
    상기 평면 오브젝트의 맵을 생성하기 위해 상기 그래프 구조를 사용하기 위한 프로그램 코드; 및
    상기 맵 및 차후에 캡처된 이미지들에 기초하여 상기 평면 오브젝트를 트래킹하기 위한 프로그램 코드를 포함하고,
    상기 평면 오브젝트의 맵을 생성하기 위해 상기 그래프 구조를 사용하기 위한 프로그램 코드는,
    상기 복수의 이전 키프레임들로부터 기준 키프레임을 선택하기 위한 프로그램 코드;
    상기 평면 오브젝트에 대하여 상기 기준 키프레임에 대한 포즈를 계산하기 위한 프로그램 코드;
    상기 기준 키프레임의 포즈 및 상기 기준 키프레임과 키프레임들의 나머지 세트 간의 호모그래피들을 사용하여 상기 키프레임들의 나머지 세트에 대한 포즈들을 계산하기 위한 프로그램 코드; 및
    상기 기준 키프레임의 포즈 및 상기 키프레임들의 나머지 세트에 대한 포즈들을 사용하여 상기 맵을 생성하기 위한 프로그램 코드를 포함하는, 평면 맵핑 및 트래킹을 위한 컴퓨터 판독가능 매체.
  22. 제 21 항에 있어서,
    상기 그래프 구조는 트리 기반의 그래프 구조이고, 상기 새로운 키프레임과 상기 복수의 이전 키프레임들 중 각각의 이전 키프레임은 노드들이며, 상기 새로운 키프레임과 상기 복수의 이전 키프레임들 중 각각의 이전 키프레임 간의 호모그래피들은 상기 노드들 사이의 에지들인, 평면 맵핑 및 트래킹을 위한 컴퓨터 판독가능 매체.
  23. 삭제
  24. 제 21 항에 있어서,
    상기 새로운 이미지를 새로운 키프레임으로서 선택하기 위한 프로그램 코드는, 상기 새로운 이미지와 상기 복수의 이전 키프레임들과의 오버랩을 결정하기 위해 상기 새로운 이미지와 상기 복수의 이전 키프레임들을 비교하기 위한 프로그램 코드, 및 상기 오버랩을 임계치와 비교하기 위한 프로그램 코드를 포함하는, 평면 맵핑 및 트래킹을 위한 컴퓨터 판독가능 매체.
  25. 제 21 항에 있어서,
    상기 새로운 이미지를 새로운 키프레임으로서 선택하기 위한 프로그램 코드는 상기 새로운 이미지가 상기 평면 오브젝트로 이루어지는지를 확인하기 위한 프로그램 코드를 포함하는, 평면 맵핑 및 트래킹을 위한 컴퓨터 판독가능 매체.
  26. 제 25 항에 있어서,
    상기 새로운 이미지가 상기 평면 오브젝트로 이루어지는지를 확인하기 위한 프로그램 코드는,
    인접 키프레임들의 포즈들 및 상기 새로운 이미지와 상기 인접 키프레임들 간의 대응하는 호모그래피들에 기초하여 상기 새로운 이미지에 대한 다수의 포즈들을 결정하기 위한 프로그램 코드;
    상기 다수의 포즈들을, 상기 맵에 대하여 상기 새로운 이미지를 트래킹하는 것으로부터 생성된 상기 새로운 이미지에 대한 트래커 포즈에 비교하기 위한 프로그램 코드; 및
    상기 다수의 포즈들과 상기 트래커 포즈 간의 쌍별 포즈 차이들의 합이, 상기 새로운 이미지가 상기 평면 오브젝트로 이루어지는지를 나타내는 임계치 내에 있는 것으로 결정하기 위한 프로그램 코드를 포함하는, 평면 맵핑 및 트래킹을 위한 컴퓨터 판독가능 매체.
KR1020137034637A 2011-05-27 2012-05-04 모바일 디바이스들에 대한 평면 맵핑 및 트래킹 KR101532864B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201161490764P 2011-05-27 2011-05-27
US61/490,764 2011-05-27
US13/463,643 US9020187B2 (en) 2011-05-27 2012-05-03 Planar mapping and tracking for mobile devices
US13/463,643 2012-05-03
PCT/US2012/036624 WO2012166293A1 (en) 2011-05-27 2012-05-04 Planar mapping and tracking for mobile devices

Publications (2)

Publication Number Publication Date
KR20140014298A KR20140014298A (ko) 2014-02-05
KR101532864B1 true KR101532864B1 (ko) 2015-06-30

Family

ID=47219248

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137034637A KR101532864B1 (ko) 2011-05-27 2012-05-04 모바일 디바이스들에 대한 평면 맵핑 및 트래킹

Country Status (6)

Country Link
US (1) US9020187B2 (ko)
EP (1) EP2715667B1 (ko)
JP (1) JP5722502B2 (ko)
KR (1) KR101532864B1 (ko)
CN (1) CN103858148B (ko)
WO (1) WO2012166293A1 (ko)

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012166814A1 (en) * 2011-05-31 2012-12-06 Honda Motor Co., Ltd. Online environment mapping
US9237340B2 (en) * 2012-10-10 2016-01-12 Texas Instruments Incorporated Camera pose estimation
US9332243B2 (en) * 2012-10-17 2016-05-03 DotProduct LLC Handheld portable optical scanner and method of using
US10674135B2 (en) * 2012-10-17 2020-06-02 DotProduct LLC Handheld portable optical scanner and method of using
US9684941B2 (en) 2012-10-29 2017-06-20 Digimarc Corporation Determining pose for use with digital watermarking, fingerprinting and augmented reality
US9857470B2 (en) 2012-12-28 2018-01-02 Microsoft Technology Licensing, Llc Using photometric stereo for 3D environment modeling
US9940553B2 (en) * 2013-02-22 2018-04-10 Microsoft Technology Licensing, Llc Camera/object pose from predicted coordinates
US10733798B2 (en) * 2013-03-14 2020-08-04 Qualcomm Incorporated In situ creation of planar natural feature targets
US9501725B2 (en) 2013-06-11 2016-11-22 Qualcomm Incorporated Interactive and automatic 3-D object scanning method for the purpose of database creation
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US10533850B2 (en) 2013-07-12 2020-01-14 Magic Leap, Inc. Method and system for inserting recognized object data into a virtual world
US9036044B1 (en) * 2013-07-22 2015-05-19 Google Inc. Adjusting camera parameters associated with a plurality of images
JP6071142B2 (ja) * 2013-08-28 2017-02-01 Kddi株式会社 画像変換装置
JP6168601B2 (ja) * 2013-09-27 2017-07-26 Kddi株式会社 画像変換装置
KR20150097251A (ko) * 2014-02-18 2015-08-26 한국전자통신연구원 다중 영상간 대응점을 이용한 카메라 정렬 방법
US9547935B2 (en) * 2014-02-24 2017-01-17 Vricon Systems Ab Method and a system for building a three-dimensional model from satellite images
GB2524960B (en) * 2014-04-04 2019-05-15 Imagineer Systems Ltd Processing of digital motion images
WO2016065375A1 (en) * 2014-10-27 2016-05-06 Fts Computertechnik Gmbh Computer vision monitoring for a computer vision system
US10185775B2 (en) * 2014-12-19 2019-01-22 Qualcomm Technologies, Inc. Scalable 3D mapping system
US9791264B2 (en) * 2015-02-04 2017-10-17 Sony Corporation Method of fast and robust camera location ordering
EP3078935A1 (en) * 2015-04-10 2016-10-12 The European Atomic Energy Community (EURATOM), represented by the European Commission Method and device for real-time mapping and localization
US9558424B2 (en) * 2015-06-30 2017-01-31 Mitsubishi Electric Research Laboratories, Inc. On-road stereo visual odometry without explicit pose determinations
US9852550B2 (en) * 2015-08-05 2017-12-26 Civic Resource Group International Inc. System and method of markerless injection of ads in AR
CN105719314A (zh) * 2016-01-30 2016-06-29 西北工业大学 基于单应性估计和扩展卡尔曼滤波的无人机位置估计方法
JP6775969B2 (ja) * 2016-02-29 2020-10-28 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
US10558881B2 (en) * 2016-08-24 2020-02-11 Electronics And Telecommunications Research Institute Parallax minimization stitching method and apparatus using control points in overlapping region
US10379606B2 (en) 2017-03-30 2019-08-13 Microsoft Technology Licensing, Llc Hologram anchor prioritization
US10466953B2 (en) 2017-03-30 2019-11-05 Microsoft Technology Licensing, Llc Sharing neighboring map data across devices
US10990829B2 (en) * 2017-04-28 2021-04-27 Micro Focus Llc Stitching maps generated using simultaneous localization and mapping
US10614591B2 (en) 2017-05-31 2020-04-07 Google Llc Hand tracking based on articulated distance field
CN110517319B (zh) * 2017-07-07 2022-03-15 腾讯科技（深圳）有限公司 一种相机姿态信息确定的方法及相关装置
US10762713B2 (en) * 2017-09-18 2020-09-01 Shoppar Inc. Method for developing augmented reality experiences in low computer power systems and devices
JP6831765B2 (ja) * 2017-10-10 2021-02-17 Kddi株式会社 情報処理装置、方法及びプログラム
US10636205B2 (en) 2018-01-05 2020-04-28 Qualcomm Incorporated Systems and methods for outlier edge rejection
US10593014B2 (en) 2018-03-26 2020-03-17 Ricoh Company, Ltd. Image processing apparatus, image processing system, image capturing system, image processing method
KR102561263B1 (ko) * 2018-04-04 2023-07-28 삼성전자주식회사 지도 데이터를 생성하는 전자 장치 및 그 동작 방법
CN110544280B (zh) * 2018-05-22 2021-10-08 腾讯科技（深圳）有限公司 Ar***及方法
CN113762068A (zh) * 2018-05-31 2021-12-07 谷歌有限责任公司 用于估计手的当前姿势的方法和电子装置
CN110866936B (zh) * 2018-08-07 2023-05-23 创新先进技术有限公司 视频标注方法、跟踪方法、装置、计算机设备及存储介质
KR102212825B1 (ko) * 2019-04-08 2021-02-08 네이버랩스 주식회사 이미지를 기반으로 포즈 계산을 위한 지도의 최신성을 유지하는 방법 및 시스템
WO2021064925A1 (ja) * 2019-10-02 2021-04-08 富士通株式会社 生成方法、生成プログラムおよび情報処理装置
KR102297103B1 (ko) * 2020-02-19 2021-09-03 한국과학기술원 3차원 장면 그래프 생성 방법 및 장치
KR20220004460A (ko) 2020-07-03 2022-01-11 삼성전자주식회사 이미지 병합을 위한 이미지 매칭 방법 및 이를 수행하는 데이터 처리 장치
CN112230194B (zh) * 2020-08-05 2024-01-26 北京航空航天大学杭州创新研究院 一种基于平移阵列的解模糊方法、设备及存储介质
CN112150558B (zh) * 2020-09-15 2024-04-12 阿波罗智联(北京)科技有限公司 用于路侧计算设备的障碍物三维位置获取方法及装置
US20220358671A1 (en) * 2021-05-07 2022-11-10 Tencent America LLC Methods of estimating pose graph and transformation matrix between cameras by recognizing markers on the ground in panorama images
CN117195138B (zh) * 2023-11-07 2024-02-20 湖南展通科技集团有限公司 基于人工智能的生产设备安全生产管理方法及相关装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6137491A (en) 1998-06-05 2000-10-24 Microsoft Corporation Method and apparatus for reconstructing geometry using geometrically constrained structure from motion with points on planes
JP2004198211A (ja) 2002-12-18 2004-07-15 Aisin Seiki Co Ltd 移動体周辺監視装置
GB2400287A (en) 2003-04-02 2004-10-06 Autodesk Canada Inc Three-Dimensional Image Compositing
US7565004B2 (en) 2003-06-23 2009-07-21 Shoestring Research, Llc Fiducial designs and pose estimation for augmented reality
GB0625455D0 (en) * 2006-12-20 2007-01-31 Mitsubishi Electric Inf Tech Graph-based multiple panorama extraction from unordered image sets
EP2174301A4 (en) 2007-06-29 2011-11-16 Three Pixels Wide Pty Ltd METHOD AND SYSTEM FOR GENERATING A 3D MODEL FROM PICTURES
JP4337929B2 (ja) 2007-12-25 2009-09-30 トヨタ自動車株式会社 移動状態推定装置
US20100045701A1 (en) 2008-08-22 2010-02-25 Cybernet Systems Corporation Automatic mapping of augmented reality fiducials
JP2011043419A (ja) * 2009-08-21 2011-03-03 Sony Corp 情報処理装置、および情報処理方法、並びにプログラム
CN101763647A (zh) * 2010-02-02 2010-06-30 浙江大学 一种基于关键帧的实时摄像机跟踪方法
CN102075686B (zh) * 2011-02-10 2013-10-30 北京航空航天大学 一种鲁棒的实时在线摄像机跟踪方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
J. Kim, et al., "Robust vision-based autonomous navigation against environment changes," 2008 IEEE/RSJ International Conference on Intelligent Robots and Systems, pp.696-701, Sep. 2008. *
J. Kim, et al., "Robust vision-based autonomous navigation against environment changes," 2008 IEEE/RSJ International Conference on Intelligent Robots and Systems, pp.696-701, Sep. 2008.*
S. Lovegrove, et al., "Real-time spherical mosaicing using whole image alignment," Computer Vision-ECCV 2010, Springer Berlin Heidelberg, pp.73-86, 2010. *
S. Lovegrove, et al., "Real-time spherical mosaicing using whole image alignment," Computer Vision-ECCV 2010, Springer Berlin Heidelberg, pp.73-86, 2010.*

Also Published As

Publication number Publication date
US9020187B2 (en) 2015-04-28
WO2012166293A1 (en) 2012-12-06
CN103858148B (zh) 2017-12-01
US20120300979A1 (en) 2012-11-29
JP2014515530A (ja) 2014-06-30
JP5722502B2 (ja) 2015-05-20
KR20140014298A (ko) 2014-02-05
EP2715667B1 (en) 2019-01-23
CN103858148A (zh) 2014-06-11
EP2715667A1 (en) 2014-04-09

Similar Documents

Publication Publication Date Title
KR101532864B1 (ko) 모바일 디바이스들에 대한 평면 맵핑 및 트래킹
US10334168B2 (en) Threshold determination in a RANSAC algorithm
CN106570507B (zh) 单目视频场景三维结构的多视角一致的平面检测解析方法
EP2751777B1 (en) Method for estimating a camera motion and for determining a three-dimensional model of a real environment
US8238612B2 (en) Method and apparatus for vision based motion determination
US20100045701A1 (en) Automatic mapping of augmented reality fiducials
CN107657644B (zh) 一种移动环境下稀疏场景流检测方法和装置
KR20140136016A (ko) 장면 구조-기반 자가-포즈 추정
KR20150079730A (ko) 컴퓨터 비전 기반 추적을 위해 멀티 맵들을 병합하는 시스템들 및 방법들
EP2751742A1 (en) Method of matching image features with reference features
US20150138193A1 (en) Method and device for panorama-based inter-viewpoint walkthrough, and machine readable medium
JP6240706B2 (ja) グラフマッチングおよびサイクル検出による自動モデル初期化を用いた線トラッキング
KR20150082417A (ko) 병렬화가능한 구조에서의 이미지들을 사용하여 표면 엘리먼트들의 로컬 지오메트리 또는 표면 법선들을 초기화 및 솔빙하는 방법
CN116894876A (zh) 基于实时图像的6-dof的定位方法
Megyesi et al. Dense 3D reconstruction from images by normal aided matching
Fu et al. 3D registration based on V-SLAM and application in augmented reality
Recker et al. Depth data assisted structure-from-motion parameter optimization and feature track correction
Shi et al. Robust framework for three-dimensional measurement of dynamic deformable surface
Park et al. AnchorLoc: Large-Scale, Real-Time Visual Localisation Through Anchor Extraction and Detection
Liao et al. High completeness multi-view stereo for dense reconstruction of large-scale urban scenes
Salvi et al. Overview of surface registration techniques including loop minimization for three-dimensional modeling and visual inspection
Ahmed Real-Time Interactive 3D Reconstruction of Indoor Environments With High Accuracy
Liu et al. A novel SFP extracting/tracking framework for rigid microstructure measurement
Brink et al. Dense stereo correspondence for uncalibrated images in multiple view reconstruction
Sanchez Tapia A Stochastic Parallel Method for Real Time Monocular SLAM Applied to Augmented Reality

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180329

Year of fee payment: 4