KR101689923B1 - 다중 사용자 증강 현실을 위한 온라인 참조 생성 및 추적 - Google Patents

다중 사용자 증강 현실을 위한 온라인 참조 생성 및 추적 Download PDF

Info

Publication number
KR101689923B1
KR101689923B1 KR1020137008997A KR20137008997A KR101689923B1 KR 101689923 B1 KR101689923 B1 KR 101689923B1 KR 1020137008997 A KR1020137008997 A KR 1020137008997A KR 20137008997 A KR20137008997 A KR 20137008997A KR 101689923 B1 KR101689923 B1 KR 101689923B1
Authority
KR
South Korea
Prior art keywords
image
reference image
mobile platform
images
plane object
Prior art date
Application number
KR1020137008997A
Other languages
English (en)
Other versions
KR20130051501A (ko
Inventor
볼란 지앙
아쉬윈 스와미나탄
세라핀 디아즈 스핀돌라
디라지 아후자
3세 찰스 휠러 스위트
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20130051501A publication Critical patent/KR20130051501A/ko
Application granted granted Critical
Publication of KR101689923B1 publication Critical patent/KR101689923B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

다중 사용자 증강 현실 (AR) 시스템은 온 더 플라이로 참조 이미지를 발생시키는 것에 의해 사전에 획득된 공통 참조 없이 동작한다. 참조 이미지는 평면 객체의 적어도 2개의 이미지들을 캡쳐하고 그 이미지들을 사용하여 평면 객체에 대한 제 1 모바일 플랫폼의 포즈 (포지션 및 배향) 을 결정하는 것에 의해 생성된다. 모바일 플랫폼의 배향에 기초하여, 초기 이미지들 중 하나 또는 후속하여 캡쳐된 이미지일 수도 있는 평면 객체의 이미지가, 평면 객체의 정면 뷰의 참조 이미지를 생성하기 위해 워핑된다. 참조 이미지가 모바일 플랫폼에 의해 또는 예를 들면 서버에 의해 생성될 수도 있다. 다른 모바일 플랫폼들은 평면 객체에 대한 그들의 포즈를 결정하여 참조 이미지를 사용해 다중 사용자 증강 현실 애플리케이션을 수행할 수도 있다.

Description

다중 사용자 증강 현실을 위한 온라인 참조 생성 및 추적 {ONLINE REFERENCE GENERATION AND TRACKING FOR MULTI-USER AUGMENTED REALITY}
계류중인 가출원에 대한 상호 참조
본원은, 발명의 명칭이 "Online Reference Generation And Tracking For Multi-User Augmented Reality" 이고 2010년 9월 9일자로 출원된 U.S. 가출원 번호 제61/381,344호에 대한 35 USC 119 하의 우선권을 주장하고, 이는 본원의 양수인에게 양도되었고 참조에 의해 본원에 원용된다.
증강 현실 시스템은 현실 세계의 사용자 뷰에 가상의 객체들을 삽입할 수 있다. 성공적인 증강 현실 시스템의 하나의 주요 요건은 정확하게 참조에 대한 사용자의 포지션 및 배향 (포즈) 을 추정할 수 있는 추적 시스템이다. 그렇지 않으면, 가상 객체들은 잘못된 위치에 나타나거나 또는 환경을 떠돌 것이다. 다중 사용자 증강 현실 시스템에서, 가상 객체들은 각 사용자의 고유 관점 (perspective) 으로부터 환경에서 같은 위치에 나타날 필요가 있다. 따라서, 환경에 대한 각 사용자의 고유 포즈는 같은 참조에 대해 추정될 필요가 있다.
다중 사용자 증강 현실 시스템을 위한 종래 추적 시스템은 사전에 획득된 공통 참조를 필요로 한다. 참조는 환경의 3D 모델, 환경에 놓인 인공 마커 또는 환경에 있는 평면의 정면 뷰 이미지일 수 있다. 따라서, 그러한 증강 현실 시스템들은 오직 알려진 환경에서 동작한다. 하지만, 사전에 참조를 획득하는 것이 항상 편리하거나 또는 가능한 것은 아니다. 환경의 사전 지식에 대한 의존성은 다중 사용자 증강 현실 기술의 사용을 크게 제한한다.
환경의 사전 지식을 필요로 하지 않는 Georg Klein 및 David Murray의, “Parallel Tracking and Mapping on a Camera Phone,” 2009 8th IEEE International Symposium on Mixed and Augmented Reality (ISMAR), Oct. 19-22, 2009, pp.83-86과 같은 추적 기술이 있다. 하지만, 이들 기술들은 오직 임의적인 참조에 대한 사용자의 포즈를 추정할 뿐이고 다중 사용자 증강 현실 애플리케이션에 사용될 수 없다.
W. Lee, Y. Park, V. Lepetit, W. Woo의, “Point-and-Shoot for Ubiquitous Tagging on Mobile Phones,” 2010 9th IEEE International Symposium on Mixed and Augmented Reality (ISMAR), Oct. 13-16 2010, pp. 57-64에 기재된 바처럼, 포인트 앤드 슈트 방법 (point-and-shoot method) 은 다중 사용자들에 대한 포즈를 추정한다. 포인트 앤드 슈트 방법에서, 카메라의 배향은 온보드 가속도계에 의해 추정된다. 이미지는 정면 뷰로 워핑 (warping) 되고 "평균 패치 (mean patch)" 들의 세트가 발생된다. 각 평균 패치는 제한된 범위의 뷰포인트들에 대한 패치들의 평균으로서 계산되고, 다수의 범위들의 평균 패치들이 모든 가능한 뷰들을 커버하도록 생성된다. 각 인입 이미지 (incoming image) 를 평균 패치와 비교하는 것에 의해, 포즈가 추정될 수 있다. 하지만, 포인트 앤드 슈트 방법은, 모션 센서들에 의존하여 정면 뷰 이미지를 발생시키고, 따라서 카메라에서 추가 컴포넌트들을 필요로 하고, 모션 센서들에 의해 야기된 에러를 겪게 된다. 추가적으로, 포인트-앤드-슈트 방법은 복수의 평균 패치들에 의존한다. 또한, 포인트 앤드 슈트 방법은, 제한적인 수직 또는 수평 평면 표면들에 대해서만 작동한다.
따라서, 사전에 알려지지 않은 장면에서 다중 사용자들에 대한 포즈를 추정할 수 있는 개선된 시스템이 요망된다.
다중 사용자 증강 현실 (AR) 시스템은 온 더 플라이 (on the fly) 로 참조 이미지 (reference image) 를 발생시키는 것에 의해 사전에 획득된 공통 참조 없이 동작한다. 참조 이미지는, 평면 객체의 적어도 2개의 이미지들을 캡쳐하고 그 적어도 2개의 이미지들을 사용하여 평면 객체에 대한 제 1 모바일 플랫폼의 포즈 (포지션 및 배향) 을 결정하는 것에 의해 생성된다. 초기 이미지들 중 하나이거나 또는 후속하여 캡쳐된 이미지일 수도 있는 평면 객체의 이미지는, 평면 객체의 정면 뷰의 참조 이미지를 생성하기 위하여 제 1 모바일 플랫폼의 배향을 사용하여 워핑된다. 평면 객체에 대한 제 2 모바일 플랫폼의 포즈는 제 2 모바일 플랫폼에 의해 캡쳐된 평면 객체의 이미지 및 참조 이미지를 사용하여 결정된다. 제 1 모바일 플랫폼의 포즈를 결정하는 것 및/또는 참조를 생성하기 위하여 이미지를 워핑하는 것은 제 1 모바일 플랫폼 또는 서버에 의해 수행될 수도 있다. 또한, 원하는 경우, 참조 이미지는 참조 이미지에 포함되지 않은 평면 객체의 일 부분을 함유하는 새로운 이미지를 포함하도록 확장될 수도 있다. 예를 들면, 제 2 모바일 플랫폼은, 참조 이미지에 포함되지 않은, 평면 객체의 다른 부분을 포함하는 새로운 이미지를 캡쳐할 수도 있다. 새로운 이미지 및 참조 이미지는, 평면 객체의 정면 뷰의 새로운 참조 이미지를 발생시키기 위해 병합될 수도 있고, 평면 객체에 대한 제 2 모바일 플랫폼의 포즈가 제 2 모바일 플랫폼에 의해 캡쳐된 평면 객체의 후속 이미지 및 새로운 참조 이미지를 사용하여 업데이트될 수도 있다.
다른 양태에서, 장치는 프로세싱될 적어도 2개의 이미지들을 수신하기 위한 인터페이스를 포함하고, 그 적어도 2개의 이미지들 중 적어도 하나는 제 1 카메라에 의해 캡쳐되고 평면 객체의 상이한 뷰들을 함유한다. 예를 들면, 인터페이스는 모바일 플랫폼에서 프로세서와 제 1 카메라와 사이의 인터페이스일 수도 있거나 또는 모바일 플랫폼으로부터 이미지들을 수신하는 서버에서의 외부 인터페이스일 수도 있다. 그 장치는 데이터 송신 인터페이스, 및 그 데이터 송신 인터페이스 및 프로세싱될 적어도 2개 이미지들을 수신하기 위한 인터페이스에 접속된 프로세스, 그리고 프로세서에 접속된 메모리를 더 포함한다. 메모리에 유지되고 프로세서에서 실행되는 소프트웨어는 프로세서로 하여금 평면 객체의 적어도 2개의 이미지들을 분석하게 하고 그 적어도 2개의 캡쳐된 이미지들을 사용하여 평면 객체에 대한 제 1 카메라의 포즈 (포지션 및 배향) 를 결정하게 한다. 소프트웨어는 또한, 프로세서로 하여금 평면 객체의 정면 뷰의 참조 이미지를 생성하기 위하여 배향을 사용하여 평면 객체의 이미지를 워핑하게 하고 데이터 송신 인터페이스를 통해 제 2 카메라와 적어도 하나의 모바일 플랫폼에 참조 이미지를 송신하여 참조 이미지를 사용해 다중 사용자 증강 현실 애플리케이션을 수행하게 한다. 원하는 경우, 메모리에 유지되고 프로세서에서 실행되는 소프트웨어는 또한, 프로세서로 하여금 평면 객체의 정면 뷰의 새로운 참조 이미지를 생성하기 위하여 참조 이미지에 포함되지 않은 평면 객체의 일 부분을 포함하는 새로운 이미지 및 참조 이미지를 병합하게 하고 데이터 송신 인터페이스를 통해 적어도 하나의 다른 모바일 플랫폼에 새로운 참조 이미지를 송신하여 새로운 참조 이미지를 사용해 다중 사용자 증강 현실 애플리케이션을 수행하게 할 수도 있다.
다른 양태에서, 모바일 플랫폼은 카메라, 무선 송수신기, 카메라와 무선 송수신기에 접속된 프로세서, 프로세서에 접속된 메모리, 및 메모리에 접속된 디스플레이를 포함한다. 메모리에 유지되고 프로세서에서 실행되는 소프트웨어는 프로세서로 하여금 평면 객체의 적어도 2개의 캡쳐된 이미지들을 분석하게 하고, 그 적어도 2개의 캡쳐된 이미지들을 사용하여 평면 객체에 대한 모바일 플랫폼의 포즈 (포지션 및 배향) 을 결정하게 하고, 평면 객체의 정면 뷰의 참조 이미지를 생성하기 위하여 배향을 사용하여 평면 객체의 이미지를 워핑하게 하고, 적어도 하나의 다른 모바일 플랫폼에 참조 이미지를 송신하게 하고, 참조 이미지를 사용하여 적어도 하나의 다른 모바일 플랫폼으로 다중 사용자 증강 현실 애플리케이션을 수행하여 디스플레이 상에 디스플레이되게 한다.
다른 양태에서, 시스템은 평면 객체의 적어도 2개의 이미지들을 캡쳐하기 위한 수단 및 그 적어도 2개의 이미지들을 사용하여 평면 객체에 대한 제 1 모바일 플랫폼의 포즈 (포지션 및 배향) 을 결정하기 위한 수단을 포함한다. 시스템은 또한, 평면 객체의 정면 뷰의 참조 이미지를 생성하기 위하여 평면 객체에 대한 제 1 모바일 플랫폼의 배향을 사용하여 평면 객체의 이미지를 워핑하기 위한 수단, 및 제 2 모바일 플랫폼에 의해 캡쳐된 평면 객체의 이미지 및 참조 이미지를 사용하여 평면 객체에 대한 제 2 모바일 플랫폼의 포즈를 결정하기 위한 수단을 더 포함한다. 원하는 경우, 시스템은 또한, 평면 객체의 정면 뷰의 새로운 참조 이미지를 발생시키기 위하여 참조 이미지에 포함되지 않은 평면 객체의 일 부분을 포함하는 새로운 이미지 및 참조 이미지를 병합하기 위한 수단을 더 포함할 수도 있다. 그러한 시스템에서, 제 2 모바일 플랫폼의 포즈를 결정하기 위한 수단은 제 2 모바일 플랫폼에 의해 캡쳐된 평면 객체의 다른 이미지 및 새로운 참조 이미지를 사용하여 평면 객체에 대한 제 2 모바일 플랫폼의 포즈를 업데이트한다.
또 다른 양태에서, 프로그램 코드가 저장된 컴퓨터 판독가능 매체는, 평면 객체에 대한 적어도 2개 이미지들 중 적어도 하나를 캡쳐한 카메라의 포즈 (포지션 및 배향) 을 결정하기 위해 평면 객체의 적어도 2개의 이미지들을 분석하기 위한 프로그램 코드 및 평면 객체의 정면 뷰의 참조 이미지를 생성하기 위해 배향을 사용하여 평면 객체의 이미지를 워핑하기 위한 프로그램 코드를 포함한다. 컴퓨터 판독가능 매체는 참조 이미지를 송신하기 위한 프로그램 코드, 그리고 참조 이미지를 사용하여 다중 사용자 증강 현실 애플리케이션을 수행하기 위한 프로그램 코드를 더 포함한다. 원하는 경우, 컴퓨터 판독가능 매체는 또한, 평면 객체의 정면 뷰의 새로운 참조 이미지를 생성하기 위하여 참조 이미지에 포함되지 않은 평면 객체의 일 부분을 포함하는 새로운 이미지 및 참조 이미지를 병합하기 위한 프로그램 코드, 새로운 참조 이미지를 송신하기 위한 프로그램 코드, 및 새로운 참조 이미지를 사용하여 다중 사용자 증강 현실 애플리케이션을 수행하기 위한 프로그램 코드를 더 포함할 수도 있다.
도 1은 사전에 획득된 공통 참조 없이 동작하는 다중 사용자 증강 현실 (AR) 시스템을 예시 한다.
도 2는 사전에 획득된 공통 참조 없이 다중 사용자와 AR을 수행하는 프로세스를 설명하는 플로우 차트이다.
도 3은 평면 객체의 정면 뷰의 참조 이미지에 평면 객체의 이미지를 워핑하는 것을 예시한다.
도 4는 사전에 획득된 공통 참조 없이 동작하고 참조 이미지를 발생시키기 위해 서버를 사용하는 다중 사용자 AR 시스템을 예시한다.
도 5는 평면 상의 3D 포인트 그리고 평면의 상이한 뷰들을 갖는 2개 이미지들 상으로의 3D 포인트의 2D 투영 (projection) 을 예시한다.
도 6은 다중 사용자 AR 시스템을 위한 초기화 프로세스를 수행할 수 있는, 모바일 플랫폼 또는 서버와 같은 디바이스의 블록도이다.
도 1은 사전에 획득된 공통 참조 없이 동작하는 다중 사용자 증강 현실 (AR) 시스템 (100) 을 예시 한다. 다중 사용자 AR 시스템 (100) 은, 종종 마스터 디바이스 (110A) 로 지칭되는 제 1 모바일 플랫폼 (110A) 및 총괄적으로 모바일 플랫폼 (110) 으로 지칭되는 추가 모바일 플랫폼 (110B 및 110C) 을 포함한다. 각 모바일 플랫폼 (110) 은 환경 (environment) 을 이미징하기 위한 후방 카메라 (back facing camera; 114) 를 포함한다. 마스터 디바이스 (110A) 는 상이한 뷰포인트들로부터 평면 객체 (102) 의 복수의 이미지들 (하나의 이미지가 디스플레이 (112) 에서 102A로서 예시된다) 을 캡쳐하는 것에 의해 초기화 프로세스를 적어도 부분적으로 수행한다. 다수의 캡쳐된 이미지들로부터, 객체 (102) 에 대한 마스터 디바이스 (110A) 의 포즈 (포지션 및 배향) 이 결정될 수 있고, 그로부터 참조 이미지 (104) 가 생성된 다음에, 이미지들 (102B 및 102C) 에 의해 예시된 바처럼, 같은 평면 객체 (102) 를 뷰잉하고 있는 다른 모바일 플랫폼 (110B 및 110C) 에 (화살표 (103) 에 의해 예시된 바처럼) 분배된다. 참조 이미지 (104) 를 사용하여, 각 모바일 플랫폼 (110A, 110B, 및 110C) 는 다중 사용자 AR 애플리케이션을 수행하기 위하여 객체 (102) 에 대한 그의 고유 포즈를 결정하는 것에 의해 객체 (102) 를 추적 (track) 할 수도 있다. 모바일 플랫폼은 셀룰러 또는 다른 무선 통신 디바이스, PCS (personal communication system) 디바이스, PND (personal navigation device), PIM (Personal Information Manager), PDA (Personal Digital Assistant), 랩톱, 카메라, 또는 증강 현실 (AR) 이 가능한 다른 적합한 모바일 디바이스 등의 임의의 휴대 전자 디바이스일 수도 있다는 것이 이해되야 한다.
도 2는 사전에 획득된 공통 참조 없이 다중 사용자와 AR을 수행하는 프로세스를 설명하는 플로우 차트이다. 마스터 디바이스 (110A) 는 후방 카메라 (114) 로 객체 (102) 의 2개 이상의 이미지들을 캡쳐한다 (202). 여기에 사용된 바처럼, 캡쳐된 이미지는 정지 이미지 (still image) 또는 비디오 프레임 (video frame) 일 수도 있다는 것이 이해되야 한다. 객체 (102) 의 2개 이상의 이미지들은 상이한 뷰포인트들, 즉 객체 (102) 에 대한 포즈들에서, 마스터 디바이스 (110A) 에 의해 또는 상이한 뷰포인트들을 갖는 상이한 모바일 플랫폼들 (110A 및 110B) 에 의해 캡쳐된다. 복수의 캡쳐된 이미지들을 사용하여, 객체 (102) 에 대한 마스터 디바이스 (110A) 의 포즈 (포지션 및 배향) 가 결정된다 (204). 마스터 디바이스 (110A) 에 의해 캡쳐된 초기 이미지들의 하나 또는 객체 (102) 의 새로운 또는 다른 이미지일 수도 있는 객체 (102) 의 이미지가, 다음으로 도 3에서 화살표 (106) 에 의해 예시된 바처럼 객체 (102) 의 정면 뷰로서 참조 이미지 (104) 를 생성하기 위하여 마스터 디바이스 (110A) 의 배향에 기초하여 워핑된다 (206). 참조 이미지 (104) 는 공통 참조 이미지로서 사용되고, 그로부터 각 모바일 플랫폼 (110) 은 다중 사용자 AR을 수행하기 위하여 추적을 위해 객체에 대한 그의 고유 포즈를 결정할 수도 있다 (208).
도 1에 예시된 바처럼, 마스터 디바이스 (110A) 는 그의 포즈를 결정하고 (도 2에서 단계 (204)) 객체의 이미지를 워핑하고 (도 2에서 단계 (206)), 화살표 (103) 에 의해 예시된 바처럼, 참조 이미지 (104) 를 다른 모바일 플랫폼 (110B 및 110C) 에 송신할 수도 있다. 다음으로, 마스터 디바이스 (110A) 및 다른 모바일 플랫폼 (110B 및 110C) 이, 생성된 참조 이미지 (104) 를 사용하여 AR 애플리케이션에서 객체에 대한 그들 각각의 포즈들을 결정할 수도 있다.
하지만, 원하는 경우, 하나 이상의 프로세스들이 마스터 디바이스 (110A) 로부터 원격으로 수행될 수도 있다. 예를 들면, 별개의 서버가 하나 이상의 초기화 기능들을 수행하기 위하여 사용될 수도 있다. 도 4에 예시된 바처럼, 다중 사용자 AR 시스템 (100') 에서, 마스터 디바이스 (110A) 는 객체 (102) 의 다중 이미지들 (하나의 이미지가 도 4의 디스플레이 (112) 에서 102A로서 예시된다) 을 캡쳐할 수도 있고 (도 2에서 단계 (202)) 서버 (130) 에 (화살표 (105) 에 의해 예시된 바처럼) 캡쳐된 이미지들을 송신할 수도 있다. 서버 (130) 는 캡쳐된 이미지들을 이용하여 마스터 디바이스 (110A) 의 포즈를 결정하고 (도 2에서 단계 (204)) 객체 (102) 의 이미지를 워핑하여 참조 이미지 (104) 를 생성한다 (도 2에서 단계 (206)). 다음으로, 서버 (130) 는, 화살표 (107) 에 의해 예시된 바처럼, 참조 이미지 (104) 를 마스터 디바이스 (110A) 및 다른 모바일 플랫폼들 (모바일 플랫폼 (110B) 만이 도 4에 도시되어 있다) 에 송신한다. 원하는 경우, 마스터 디바이스 (110A) 는 포즈를 결정하고 (도 2에서 단계 (204)), 포즈를 그 포즈와 연관된 이미지와 함께 서버 (130) 에 송신할 수도 있다. 다음으로, 서버 (130) 는 이미지를 워핑하고 (도 2에서 단계 (206)), 참조 이미지 (104) 를 마스터 디바이스 (110A) 및 모바일 플랫폼 (110B) 에 송신할 수도 있다. 다르게는, 서버 (130) 를 사용하는 대신에, 하나 이상의 프로세스 단계들이 하나 이상의 다른 모바일 플랫폼들 (110B 및 110C) 에 의해 수행될 수도 있다. 예를 들면, 마스터 디바이스 (110A) (또는 마스터 디바이스 (110A) 및 다른 모바일 플랫폼 (110B)) 은 객체 (102) 의 다중 이미지들을 캡쳐할 수도 있고 (도 2에서 단계 (202)), 마스터 디바이스 (110A) 로부터 캡쳐된 이미지들은 다른 모바일 플랫폼들 (110B) 로 송신될 수도 있다. 다른 모바일 플랫폼들 (110B) 은 마스터 디바이스 (110A) 의 포즈를 결정 (도 2에서 단계 (204)) 하고 객체 (102) 의 이미지들 중 하나를 참조 이미지 (104) 로 워핑 (도 2에서 단계 (206)) 하고 마스터 디바이스 (110A) 를 포함한 다른 모바일 플랫폼들에 워핑된 이미지를 송신할 수도 있다. 다르게는, 객체 (102) 의 캡쳐된 다중 이미지들 (도 2에서 단계 (202)) 는 다른 모바일 플랫폼들 (110B 및 110C) 의 각각에 송신될 수도 있고, 이는 다음으로 마스터 디바이스 (110A) 의 포즈를 독립적으로 결정 (도 2에서 단계 (204)) 하고 객체 (102) 의 이미지들 중 하나를 참조 이미지 (104) 로 워핑한다 (도 2에서 단계 (206)). 원하는 경우, 마스터 디바이스 (110A) 는 포즈를 결정 (도 2에서 단계 (204)) 하고, 포즈를 그 포즈와 연관된 이미지와 함께 다른 모바일 플랫폼들 (110B 및 110C) 에 송신할 수도 있다. 다음으로 다른 모바일 플랫폼들 (110B 및 110C) 은 독립적으로 정면 뷰로 이미지를 워핑한다 (도 2에서 단계 (206)).
도 5는 평면 π 상의 3D 포인트 Q 그리고 평면 π의 상이한 뷰들을 갖는 2개 각각의 이미지들 I, I' 상의 3D 포인트 Q의 2D 투영 q, q'를 예시함으로써 다음 표기법을 사용하여 마스터 디바이스 (110A) 의 포즈를 결정하는 것을 예시한다.
3D 포인트
Figure 112013030536847-pct00001
는 다음과 같은 3×4 투영 행렬 P에 의해 카메라 이미지 상으로의 그 3D 포인트의 2D 투영
Figure 112013030536847-pct00002
에 관련된다.
Figure 112013030536847-pct00003
식중에서
Figure 112013030536847-pct00004
는 스케일 팩터까지 같음 (equality up to a scale factor) 을 나타내고,
Figure 112013030536847-pct00005
식중에서 R은 회전을 나타내고, t는 병진을 나타내고, K은 고유 카메라 파라미터를 나타낸다.
도 5에 도시된 바처럼, 평면 π 상의 3D 포인트 Q가 2개 이미지들 I' 및 I 상에서 뷰잉되면, 이미지 I' 상의 그 3D 포인트의 2D 투영
Figure 112013030536847-pct00006
및 이미지 I 상의 투영
Figure 112013030536847-pct00007
은 다음 처럼 2D-2D 호모그래피 h에 의해 관련된다.
Figure 112013030536847-pct00008
이미지 I에 대한 투영 행렬이
Figure 112013030536847-pct00009
이고 이미지 I'에 대한 투영 행렬이
Figure 112013030536847-pct00010
이면,
Figure 112013030536847-pct00011
식중에서 임의의 3D 포인트
Figure 112013030536847-pct00012
에 대해
Figure 112013030536847-pct00013
이고, n는 평면 법선의 방향의 단위 벡터이고 d는 원점으로부터 평면까지의 거리이다. 양자 모두의 이미지 I 및 I'를 생성하기 위하여 같은 카메라가 사용되면, 고유 카메라 파라미터는 변하지 않을 것이다, 즉 K'=K이다. n 및 d의 값들은 이미지 I에 대한 카메라 좌표 프레임에서 정의된다.
평면 π 상의 3D 포인트 및 카메라 이미지 상의 그 3D 포인트의 2D 투영 q는 다음 처럼 3D-2D 호모그래피 H에 의해 관련된다.
Figure 112013030536847-pct00014
z 축이 평면 법선과 정렬되고 원점이 평면 상에 있는 세계 좌표 프레임이 정의되면, 호모그래피 H는 다음 포맷을 갖는다
Figure 112013030536847-pct00015
식중에서 r1 및 r2는 회전 행렬 R의 제 1 및 제 2 열들이고 t는 등식 2에서 정의된 병진 벡터이다.
다중 사용자 증강 현실 시스템 (100) 의 초기화 프로세스 동안, 사용자들, 즉 모바일 플랫폼들 (110A, 110B, 및 110C) 은 증강을 위한 그라운드 평면 (ground plane) 역할을 하는 같은 평면 표면, 예를 들면, 도 1에서 객체 (102) 를 뷰잉한다. 마스터 디바이스 (110A) 의 고유 카메라 파라미터 K는 사전에 교정 (calibrate) 되고 전체 프로세스 동안 같은 상태로 머무른다. 마스터 디바이스 (110A) 는 객체 (102) 에 대해 이동되어 상이한 뷰포인트들로부터 객체 (102) 의 이미지들을 캡쳐한다. 원하는 경우, 초기 이미지들은 상이한 뷰포인트들에서 상이한 디바이스들에 의해 캡쳐될 수도 있다, 즉 마스터 디바이스 (110A) 는 하나의 이미지를 캡쳐하고 다른 모바일 플랫폼 (110B) 은 다른 이미지를 캡쳐할 수도 있고, 이는 다음으로 다른 모바일 플랫폼 (110B) 의 고유 카메라 파라미터 (K') 와 함께 마스터 디바이스 (110A) (또는 서버 (130)) 에 송신된다. 각 캡쳐된 이미지 또는 비디오 프레임에 대해, 피쳐들은 각 캡쳐된 이미지로부터 추출된다. 피쳐들은 피쳐들을 로컬화하고 그들의 디스크립션 (description) 을 발생시키는 잘알려진 기법들, 이를테면, SIFT (Scale Invariant Feature Transform) 를 사용하여 추출될 수도 있다. 원하는 경우, 다른 기법들, 이를테면 SURF (Speed Up Robust Features), GLOH (Gradient Location-Orientation Histogram), CHoG (Compressed Histogram of Gradients) 또는 다른 비슷한 기법들이 사용될 수도 있다. 이미지에 대해 추출된 피쳐들의 수가 임계치, 예를 들면 100 포인트 피쳐들을 초과할 때, 그 이미지는 초기 이미지들로서 세이브 (save) 되고 추출된 피쳐들은 참조 포인트들로서 정의된다. 참조 포인트들로서 정의된 각 이미지로부터 추출된 피쳐들을 갖는 적어도 2개의 이미지들이 존재할 때까지 후속 이미지들이 유사하게 프로세싱된다.
마스터 디바이스 (110A) 의 포즈는 적어도 2개의 이미지들 및 정의된 참조 포인트들에 기초하여 결정된다 (도 2에서 단계 (204)). 포즈를 결정하기 위하여, 주 평면 (dominant plane) 이 초기 이미지와 적어도 하나의 후속 이미지 사이의 2D-2D 호모그래피 h를 계산하는 것에 의해 검출된다. 초기 이미지가 세이브될 때 호모그래피 h가 항등 행렬로서 초기화된다. 각 후속 이미지에 대해 , 초기 이미지로부터 참조 포인트들은 호모그래피 h에 의해 후속 이미지 상에 투영된다. 후속 이미지에서 대응하는 포인트들이 각 투영된 참조 포인트 주위에서 검색된다. 호모그래피 h의 값은 RANSAC (RANdom SAmpling Consensus) 최적화 접근법을 사용하여 업데이트되어 대응되는 포인트 쌍들로부터 호모그래피를 계산한다. 원하는 경우, 다른 기법들이, 광학 플로우 (optical flow) 와 같은, 이미지들의 시퀀스에 걸쳐 2D 포인트들을 추적하기 위하여 사용될 수도 있고, 따라서 임의의 2D 포인트 추적 또는 매칭 방법이 주 평면을 검출하기 위하여 사용될 수 있다.
호모그래피 h는 전술된 바처럼 상대 카메라 모션
Figure 112013030536847-pct00016
및 평면 법선 n으로 분해될 수 있다. 하지만, 캡쳐된 이미지들 사이의 마스터 디바이스 (110A) 의 카메라에 대한 병진 운동이 너무 작으면, 분해된 평면 법선 n은 정확하지 않을 것이다. 따라서, 메트릭 S는 hth의 최대 및 최소 고유값들의 비로서 정의될 수도 있고, 여기서 메트릭 S가 임계치, 예를 들면 2.0을 초과한 후에 호모그래피 h는 상대 카메라 모션
Figure 112013030536847-pct00017
및 평면 법선 n으로 분해된다.
평면 π 상의 3D 포인트 Q에 대해, 그의 2D 투영 q 및 포인트 O로서 도 5에 예시된 카메라 (114) 의 중심이 레이 (ray) 를 형성한다. 레이와 평면 π를 교차시킨 후에, 3D 포인트 Q에 대한 좌표가 결정될 수 있다. 복수의 참조 포인트들은, 복수의 3D 포인트들에 대응하고, 이들은 3D 평면을 형성한다. 일반적으로, 호모그래피 분해를 위한 2개의 솔루션들이 존재한다. 올바른 솔루션을 선택하기 위하여, 2개의 결과적인 3D 평면들이 저장되고 사용되어 후속 프레임들에서 마스터 디바이스 (110A) 포즈를 추정한다. 하나의 평면에 대한 평균 투영 에러가, 다른 평면에 대한 평균 투영 에러보다 더 클 때, 예를 들면 하나가 1.2배 더 클 때, 더 큰 투영 에러를 갖는 평면이 제거된다. 초기 이미지가 대략적으로 평면 객체 (102) 의 정면 뷰이면, 평면 법선 n을 사용하여 올바른 3D 평면을 선택할 수도 있다. 올바른 3D 평면이 선택된 후에, 세계 좌표 프레임 (world coordinate frame) 은 평면 상의 원점을 갖는 평면 법선 n과 z-축을 정렬하기 위해 정의된다. 따라서, 3D-2D 호모그래피 H가 결정됨에 따라, 객체 (102) 에 대한 마스터 디바이스 (110A) 의 포즈가, 등식 6을 참조하여 위에서 논의된 바처럼 회전 행렬 R 및 병진 벡터 t에 기초하여 결정된다. 원하는 경우, 다른 포즈 결정 기법들이 사용될 수도 있다.
다음으로 평면 객체 (102) 의 정면 뷰가 발생된다 (도 2에서 단계 (206)). 예를 들면, 객체 (102) 상의 3D 포인트들 및 이미지 상의 그 3D 포인트들의 2D 투영들은 투영 행렬
Figure 112013030536847-pct00018
를 추정하기 위하여 사용될 수도 있다. 회전 R 및 병진 t는 3D-2D 호모그래피 H로부터 추정될 수 있다. R의 제 1 열 r1 및 제 2 열 r2 는 H의 제 1 열 및 제 2 열이다. R의 제 3 열은 r3 = r1 × r2 로서 형성될 수도 있다. 병진 t는 H의 제 3 열이다. 도 3에 예시된 바처럼, 이미지 (102A) 는 화살표 (106) 에 의해 예시된 바처럼 회전 R-1 만을 사용하여 정면 뷰 참조 이미지 (104) 로 워핑될 수 있다. 하지만, 원하는 경우, 3D 평면과 이미지 상으로의 그 3D 평면의 2D 투영 사이의 호모그래피 H가, 이미지를 워핑하기 위하여 사용, 즉 H-1될 수 있다. 배향을 사용하여 이미지를 정면 뷰로 워핑한 후에, 정면 뷰 이미지는 스케일링 (scaling) 되고 평면 상의 임의의 곳으로 병진될 수 있다. 예를 들면, 평면 상으로 투영된 후의 이미지의 하부 좌측 코너가 결정되고 병진에 사용된다. 유사하게, 이미지의 대각선 및 그의 투영의 비는 스케일링 팩터 (스케일) 을 도출하기 위하여 사용될 수도 있다.
추가로, 원하는 경우, 초기 캡쳐된 이미지들 중 하나를 사용하는 대신에, 객체 (102) 의 새로운 이미지가 캡쳐되고 워핑되어 참조 이미지 (104) 를 생성할 수도 있지만, 새로운 이미지에 대한 포즈는, 예를 들면, 새로운 이미지를 워핑하기 위하여 사용되는 배향 및 새로운 이미지 관련 사전 결정된 포즈 및 비젼 기반 추적을 사용하여 결정되야 한다. 하지만, 카메라 (114) 의 뷰잉 방향과 평면 법선 n 사이의 각도 α 이 너무 크면, 참조 이미지의 품질은 포즈 추정에 충분한 품질이 아닐 수도 있다. 각도 α는 다음과 같이 계산될 수도 있다:
Figure 112013030536847-pct00019
식중에서 r33은 회전 행렬 R의 제 3 열 상의 제 3 원소이다.
따라서, 고품질 참조 이미지를 발생시키기 위하여, 각도 α 가 초기 캡쳐된 이미지 및/또는 현재 캡쳐된 이미지를 위해 결정된다. 각도 α가 임계치, 예를 들면 8도보다 작으면, 대응하는 이미지는 정면 뷰로 워핑된다. 캡쳐된 이미지들에 대한 각도 α가 임계치보다 더 크면, 추가 이미지들이 캡쳐되고 사용될 수도 있다. 예를 들면, 적합한 이미지가 구해질 때까지, 추가 이미지들이 캡쳐되고 그들의 각도 α 는 임계치와 비교된다. 다르게는, M 추가 이미지들은 마스터 디바이스 (110A) 에 의해 캡쳐될 수도 있고 최소 각도 α 를 갖는 이미지는 참조 이미지로서 정면 뷰로 워핑된다. 다음으로 참조 이미지는 다른 모바일 플랫폼 (110B 및 110C) 으로 전송될 수도 있다. 참조 이미지가 표준 이미지이기 때문에, 기존 네트워크 프로토콜 및 이미지 표준은 참조 이미지를 압축, 전송 및 압축해제하는데 사용될 수도 있다.
원하는 경우, 참조 이미지 (104) 를 발생시키기 위하여 단일 이미지를 사용하는 대신에, 다중 이미지들이 고해상도 참조 이미지를 생성하기 위하여 사용될 수도 있다. 예를 들면, 다중 이미지들이 캡쳐되고 함계 평균내어져 최종 고해상도 참조 이미지를 생성할 수도 있다. 예를 들면, 참조 이미지는 N개의 캡쳐된 이미지들로부터 생성될 수도 있다. 참조 이미지에서 각 픽셀에 대해, 각 좌표 이미지는 대응하는 픽셀에 대해 검색된다. 상이한 좌표 이미지들에서 다중 대응이 존재하면, 대응의 픽셀 값들의 평균이 참조 이미지 상의 픽셀 값으로서 사용된다.
각 모바일 플랫폼이, 마스터 디바이스 (110A), 서버 (130) 로부터 수신될 수도 있거나 또는 각 모바일 플랫폼에 의해 독립적으로 생성될 수도 있는 참조 이미지 (104) 를 수신한 후에, 참조 이미지 (104) 는 공통 참조 이미지로서 사용될 수도 있고 그로부터 각 모바일 플랫폼 (110) 은 다중 사용자 AR 애플리케이션을 수행하기 위하여 추적을 위한 그 모바일 플랫폼의 포즈를 결정할 수도 있다 (도 2, 단계 (208)). 참조 이미지에 대한 모바일 플랫폼의 포즈를 결정하기 위하여, 제 1, 피쳐들, 이를테면 포인트 피쳐들 또는 라인 피쳐들 또는 다른 적절한 피쳐들이 참조 이미지 (104) 상에서 검출되고 디스크립터 (descriptor) 들이 각 피쳐들에 대해 빌드 (build) 된다. 피쳐들은 전술된 바처럼 잘알려진 기법들, 이를테면, SIFT, SURF, GLOH, CHoG 를 사용하여 추출될 수도 있다. 각 모바일 플랫폼 (110) 은, 참조 이미지 (104) 만이 모바일 플랫폼 (110) 으로 송신될 필요가 있도록 포인트 피쳐들을 독립적으로 추출할 수도 있는데, 이는 기존 네트워크 프로토콜 및 이미지 표준들을 사용하여 수행될 수도 있다. 참조 이미지 (104) 는 객체 (102) 의 정면 뷰이고 따라서, 참조 이미지 (104) 에서 임의의 검출된 2D 포인트
Figure 112013030536847-pct00020
에 대해, 대응하는 3D 포인트는 (sx, sy, 0)로서 정의될 수 있고 여기에서 s는 상수이고 그것은 모든 모바일 플랫폼들 (110) 에 대해 같다. 이 좌표 정의는 세계 좌표 시스템의 z 축을 평면 법선과 정렬되게 만드고 평면 상의 세계 좌표의 원점을 만든다. 원하는 경우 좌표들의 다른 정의들이 가능하다. 다음으로 3D 포인트들의 2D 투영들이 모바일 플랫폼으로부터 각 후속 캡쳐된 이미지에서 검색된다. 다음으로 객체 (102) 에 대한 모바일 플랫폼의 포즈는 매칭된 3D-2D 포인트 쌍들을 사용하여 추정될 수 있다.
원하는 경우, 원래 참조 이미지 (104) 는 확장될 수도 있고 확장된 참조 이미지는 다른 모바일 플랫폼들로 분배될 수도 있다. 초기화 프로세스 동안, 참여 모바일 플랫폼들의 카메라들은 객체 (102) 의 같은 부분으로부터의 이미지들을 캡쳐하도록 포인팅된다. 마스터 디바이스 (110A) 는 상이한 관점들로부터의 이미지들을 캡쳐하고, 상이한 관점들로부터의 이미지들을 사용하여, 참조 이미지가 발생되고, 이는 다음으로 다른 사용자들에게 송신될 수 있다. 각 모바일 플랫폼은 객체 (102) 의 이미지들을 계속 캡쳐하고 참조 이미지를 사용하여 현재 이미지에 대한 포즈를 추정한다. 현재 이미지의 상당한 부분이 참조 이미지에서 가시적이지 않으면, 참조 이미지 및 현재 이미지는 병합되어 새로운 참조 이미지를 발생시킬 수도 있고, 이는 다른 모바일 플랫폼들에 송신될 수 있다.
참조 이미지를 확장시키기 위하여, 2D 포인트들이 참조 이미지 상에서 검출되고 그들의 2D 대응물 (correspondent) 들이 현재 이미지에서 검색된다. 참조 이미지와 현재 이미지 사이에 상당한 차이가 존재하면, 호모그래피 h는 전술된 바처럼 매칭된 포인트 쌍들에 기초하여 계산된다. 새로운 참조 이미지가 참조 이미지 및 현재 이미지를 병합하는 것에 의해 발생될 수도 있다. 예를 들면, 원래 참조 이미지 상의 픽셀들은 항등 변환 (identity transformation) 을 통해 새로운 참조 이미지로 변환될 수도 있고 현재 이미지 상의 픽셀들은 호모그래피 h를 통해 새로운 참조 이미지로 변환될 수도 있다.
참조 이미지와 현재 이미지 사이의 상당한 차이가 존재하는지를 판정하는 몇몇 방법들이 존재한다. 예를 들면, 2개 이미지들 사이의 카메라 모션이 현저한 차이가 존재하는지를 판정하기 위하여 사용될 수도 있고, 여기에서 카메라 모션은 여기에 기재된 비젼 기반 기법들을 사용하여 또는 온보드 모션 센서들, 이를테면 가속도계 및 자이로스코프에 의해 결정된다. 상당한 차이가 존재하는지를 결정하는 다른 방법은 참조 이미지 상의 포인트들과 그 포인트들의 현재 이미지 상의 대응을 검출하는 것이다. 다음으로 현재 이미지 상의 포인트들의 둘러싸인 직사각형 (enclosed rectangle) 이 계산될 수 있다. 비 r은 직사각형의 면적 대 현재 이미지의 면적에 대한 비로서 정의될 수도 있다. r이 원하는 임계치 아래이면, 2개 이미지들 사이의 차이가 상당한 것으로 고려될 수도 있다.
확장된 참조 이미지는, 예를 들면, 참조 이미지와는 현저히 상이한 이미지들을 마스터 디바이스 (110A) 또는 서버 (130) 로 전송하는 모든 모바일 플랫폼들 (110B 및 110C) 에 의해 생성될 수도 있다. 마스터 디바이스 (110A) 또는 서버 (130) 는, 상이한 모바일 플랫폼들로부터 수신된 이미지들을 병합하는 것에 의해 참조 이미지를 확장시키고 확장된 참조 이미지를 다른 모바일 플랫폼들로 송신할 수도 있다. 확장된 참조 이미지는 네트워크 상으로 분배되기에 너무 큰 경우, 확장된 참조 이미지는 타일 (tile) 들로 분할될 수도 있고 확장 참조 이미지는 타일 단위로 (tile by tile) 로 분배된다. 다르게는, 타일들이 비디오 파일로 통합될 수도 있고 비디오로서 분배될 수도 있다.
도 6은, 전술된 바처럼, 다중 사용자 AR 시스템을 위한 초기화 프로세스를 수행할 수 있는 디바이스 (300) 의 블록도이다. 도 6에 도시된 디바이스 (300) 는, 예를 들면, 마스터 디바이스 (110A) 또는 서버 (130) 일 수도 있다. 디바이스 (300) 는 프로세싱될 이미지들을 수신하기 위한 인터페이스, 데이터 송신 인터페이스 및 프로세서 (161) 를 포함한다. 예를 들면, 디바이스 (300) 가 마스터 디바이스 (110A) 인 경우에, 프로세싱될 이미지들을 수신하기 위한 인터페이스는 카메라 (114) 와 프로세서 (161) 사이의 인터페이스일 수도 있고 데이터 송신 인터페이스는 송수신기 (140) 일 수도 있다. 디바이스 (300) 가 서버 (130) 이고, 따라서 카메라 (114) 를 포함하지 않는 경우에, 프로세싱될 이미지들을 수신하기 위한 인터페이스 그리고 데이터 송신 인터페이스는 송수신기 (140) 일 수도 있다. 따라서, 디바이스 (300) 는 참조 이미지 또는 초기 캡쳐된 이미지들과 같은 데이터를 송신하기 위한 수단을 포함한다. 데이터를 송신하기 위한 수단은, 디바이스 (300) 가 모바일 플랫폼일 때, 셀룰러 타워로 통신을 전송할 수 있고 셀룰러 타워로부터 또는 무선 액세스 포인트로부터 통신을 수신할 수 있는 셀룰러 모뎀 또는 무선 네트워크 라디오 수신기/송신기와 같은 무선 송수신기일 수도 있다. 다르게는, 디바이스 (300) 가 서버일 때, 송수신기는, 예를 들면, 이더넷 또는 임의의 다른 유선 포맷을 통해 신호들을 전송 및 수신하기 위한 유선 통신 인터페이스일 수도 있다.
디바이스 (300) 가 모바일 플랫폼인 경우, 디바이스 (300) 는 카메라 (114) 와 같은 평면 객체의 이미지를 캡쳐하기 위한 수단을 더 포함하고 옵션적으로 가속도계, 자이로스코프, 전자 컴퍼스 또는 다른 유사한 모션 감지 엘리먼트와 같은 모션 센서들 (111) 을 포함할 수도 있다. 디바이스 (300) 는, 디스플레이 (112) 와 같은 이미지 및 AR 객체들을 디스플레이하기 위한 수단을 포함하는 사용자 인터페이스 (150) 를 더 포함할 수도 있다. 사용자 인터페이스 (150) 는 또한, 키패드 (152) 또는 사용자가 정보를 디바이스 (300) 로 입력할 수 있는 다른 입력 디바이스를 포함할 수도 있다. 원하는 경우, 키패드 (152) 는, 터치 센서를 갖는 디스플레이 (112) 속으로 가상 키패드를 통합하는 것에 의해 제거될 수도 있다. 사용자 인터페이스 (150) 는 또한, 예를 들면 디바이스 (300) 가 셀룰러 텔레폰와 같은 모바일 플랫폼인 경우, 마이크로폰 (154) 및 스피커 (156) 를 포함할 수도 있다. 물론, 디바이스 (300) 는, 위성 위치결정 시스템 수신기와 같은 본 개시와 관련없는 다른 엘리먼트들을 포함할 수도 있다.
디바이스 (300) 는 또한, 디바이스 (300) 가 모바일 플랫폼일 때, 카메라 (114) 그리고 옵션적인 모션 센서 (111) 뿐만 아니라, 송수신기 (140) 및 사용자 인터페이스 (150) 에 접속되고 이들과 통신하는 제어 유닛 (160) 을 포함한다. 제어 유닛 (160) 은 카메라 (114) 에 의해 캡쳐된 이미지들을 수용 및 프로세싱하고 송수신기 (140) 및 디스플레이 (112) 를 제어한다. 제어 유닛 (160) 은 프로세서 (161) 및 연관된 메모리 (164), 하드웨어 (162), 소프트웨어 (165), 및 펌웨어 (163) 에 의해 제공될 수도 있다. 제어 유닛 (160) 은, 위에서 논의된 바처럼, 2D-2D 호모그래피 h를 결정하고 3D-2D 호모그래피 H를 결정하기 위해 카메라 (114) 로부터 초기 이미지들을 프로세싱하기 위한 이미지 프로세서 (166) 를 포함할 수도 있고, 세계 좌표 프레임을 정의할 수도 있다. 제어 유닛 (160) 은, 예를 들면 송수신기 (140) 를 통하여 다른 모바일 플랫폼들로 송신되는, 정면 뷰 참조 이미지 (104) 로 초기 이미지들 중 하나 (또는 다른 이미지) 를 워핑하기 위한, 게이밍 엔진일 수도 있는, 그래픽스 엔진 (167) 을 더 포함할 수도 있다. 그래픽스 엔진 (167) 은 또한, 디스플레이 (112) 상에 디스플레이될 원하는 AR 객체들을 렌더링할 수도 있다. 제어 유닛은 또한, 카메라 (114) 로부터의 이미지들 및 참조 이미지 (104) 에 기초하여 객체 (102) 에 대한 마스터 디바이스 (110A) 의 포지션 및 배향을 결정 및 추적하기 위하여 포즈 프로세서 (168) 를 포함할 수도 있다. 이미지 프로세서 (166), 그래픽스 엔진 (167) 및 포즈 프로세서 (168) 는 명료성을 위해 프로세서 (161) 로부터 분리하여 예시되지만, 프로세서 (161) 의 부분일 수도 있거나 또는 프로세서 (161) 에서 실행되는 소프트웨어 (165) 에서의 명령들을 기초하여 프로세서에서 구현될 수도 있다. 여기에 사용된 바처럼, 프로세서 (161) 는 하나 이상의 마이크로프로세서들, 임베딩된 프로세서들, 제어기들, ASIC (application specific integrated circuit), DSP (digital signal processor) 및 그밖에 이와 유사한 것을 포함할 수 있지만 반드시 포함할 필요는 없다는 것이 이해될 것이다. 용어 프로세서는 특정 하드웨어가 아닌 시스템에 의해 구현된 기능들을 기술하기 위하여 의도되어 있다. 또한, 여기에 사용된 바처럼, 용어 "메모리"는 장기, 단기, 또는 모바일 플랫폼과 연관된 다른 메모리를 포함하는 임의의 타입의 컴퓨터 저장 매체를 지칭하고, 임의의 특정 타입의 메모리 또는 메모리들의 수, 또는 메모리가 저장되는 매체의 타입에 제한되지 않는다.
따라서, 도 1 및 도 4에 도시된 다중 사용자 AR 시스템 (100 및 100') 은 각각, 카메라 (114) 를 포함할 수도 있는, 제 1 모바일 플랫폼으로부터 평면 객체의 적어도 2개의 이미지들을 캡쳐하기 위한 수단, 및 이미지 프로세서 (166) 및 포즈 프로세서 (168) 를 포함할 수도 있는, 그 적어도 2개의 이미지들을 사용하여 평면 객체에 대한 제 1 모바일 플랫폼의 포지션 및 배향을 결정하기 위한 수단을 포함한다. 시스템은, 이미지 프로세서 (166), 포즈 프로세서 (168) 및 그래픽스 엔진 (167) 을 포함할 수도 있는, 평면 객체의 정면 뷰의 참조 이미지를 생성하기 위하여 평면 객체에 대한 배향을 사용하여 평면 객체의 이미지를 워핑하기 위한 수단을 더 포함한다. 시스템은, 제 2 모바일 플랫폼 (110B) 에 있는 포즈 프로세서 (168) 및 이미지 프로세서 (166) 를 포함할 수도 있는, 제 2 모바일 플랫폼에 의해 캡쳐되는 평면 객체의 이미지 및 참조 이미지를 사용하여 평면 객체에 대한 제 2 모바일 플랫폼의 포지션 및 배향을 결정하기 위한 수단을 더 포함한다. 원하는 경우, 시스템은, 마스터 디바이스 (110A), 서버 (130) 또는 제 2 모바일 플랫폼 (110B) 에 위치될 수도 있는, 이미지 프로세서 (166), 포즈 프로세서 (168) 및 그래픽스 엔진 (167) 을 더 포함할 수도 있는, 새로운 참조 이미지를 생성하기 위해 참조 이미지에 포함되지 않은 평면 객체의 부분을 포함하는 새로운 이미지 및 참조 이미지를 병합하기 위한 수단을 더 포함할 수도 있고, 제 2 모바일 플랫폼의 포지션 및 배향을 결정하기 위한 수단은 새로운 참조 이미지와 제 2 모바일 플랫폼에 의해 캡쳐된 평면 객체의 상이한 이미지들을 사용하여 평면 객체에 대한 제 2 모바일 플랫폼의 포지션 및 배향을 업데이트한다.
여기에 기술된 방법론들은 또한, 애플리케이션에 따라 다양한 수단에 의해 구현될 수도 있다. 예를 들면, 이들 방법론들은, 하드웨어 (162), 펌웨어 (163), 소프트웨어 (165) 또는 이들의 임의의 조합으로 구현될 수도 있다. 하드웨어 구현을 위해, 프로세싱 유닛은 하나 이상의 ASIC (application specific integrated circuit), DSP (digital signal processor), DSPD (digital signal processing device), PLD (programmable logic device), FPGA (field programmable gate array), 프로세서, 제어기, 마이크로-제어기, 마이크로프로세서, 전자 디바이스, 여기에 설명된 기능들을 수행하도록 설계된 다른 전자 유닛, 또는 이들의 조합 내에서 구현될 수도 있다.
펌웨어 및/또는 소프트웨어 구현을 위해, 그 방법론들은 여기에 설명된 기능들을 수행하는 모듈 (예를 들면, 프로시저, 함수 기타 등등) 으로 구현될 수도 있다. 명령들을 유형적으로 포함하는 임의의 머신 판독가능 매체가 여기에 기재된 방법론들을 구현함에 있어서 사용될 수도 있다. 예를 들면, 소트프웨어 코드는 메모리 (164) 에 저장되고 프로세서 (161) 에 의해 실행될 수도 있다. 메모리는 프로세서 (161) 내부에 또는 외부에 구현될 수도 있다.
펌웨어 및/또는 소프트웨어로 구현되면, 기능들은 컴퓨터 판독가능 매체 상의 하나 이상의 명령들 또는 코드들로서 저장될 수도 있다. 예들은 데이터 구조로 인코딩된 비일시적 컴퓨터 판독가능 매체 및 컴퓨터 프로그램으로 인코딩된 컴퓨터 판독가능 매체를 포함한다. 예를 들면, 프로그램 코드가 저장된 컴퓨터 판독가능 매체는, 평면 객체에 대한 적어도 2개 이미지들 중 적어도 하나를 캡쳐한 카메라의 포지션 및 배향을 결정하기 위해 평면 객체의 적어도 2개의 이미지들을 분석하기 위한 프로그램 코드, 평면 객체의 정면 뷰의 참조 이미지를 생성하기 위해 배향을 사용하여 평면 객체의 이미지를 워핑하기 위한 프로그램 코드, 참조 이미지를 송신하기 위한 프로그램 코드, 및 참조 이미지를 사용하여 다중 사용자 증강 현실 애플리케이션을 수행하기 위한 프로그램 코드를 포함할 수도 있다. 원하는 경우, 컴퓨터 판독가능 매체는 또한, 평면 객체의 정면 뷰의 새로운 참조 이미지를 생성하기 위하여 참조 이미지에 포함되지 않은 평면 객체의 일 부분을 포함하는 새로운 이미지 및 참조 이미지를 병합하기 위한 프로그램 코드, 새로운 참조 이미지를 송신하기 위한 프로그램 코드, 및 새로운 참조 이미지를 사용하여 다중 사용자 증강 현실 애플리케이션을 수행하기 위한 프로그램 코드를 더 포함할 수도 있다. 컴퓨터 판독가능 매체는 물리적 컴퓨터 저장 매체를 포함하고, 일시적 전파 신호를 지칭하지는 않는다. 저장 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수도 있다. 비한정적 예로서, 이러한 컴퓨터 판독가능 매체는 RAM, ROM, EEPROM, CD-ROM 또는 다른 광학 디스크 저장, 자성 디스크 저장 또는 다른 자성 저장 디바이스, 또는 명령 또는 데이터 구조의 형태로 원하는 프로그램 코드를 저장하는데 사용될 수 있고 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체를 포함할 수 있다: 여기에 설명된 바와 같이, 디스크 (disk) 및 디스크 (disc) 는 콤팩트 디스크 (CD), 레이저 디스크, 광 디스크, DVD (digital versatile disc), 플로피 디스크 및 블루-레이 디스크를 포함하며, 여기서, 디스크 (disk) 는 일반적으로 데이터를 자기적으로 재생하지만, 디스크 (disc) 는 레이저를 이용하여 광학적으로 데이터를 재생한다. 또한, 상기의 조합은 컴퓨터 판독가능 매체의 범위 내에 포함되어야 한다.
본 발명은 설명 목적으로 특정 실시형태들과 관련하여 예시되었지만, 본 발명은 이에 한정되지 않는다. 다양한 적응 및 변경들이 본 발명의 범위를 이탈함이 없이 이루어질 수도 있다. 따라서, 첨부된 청구항들의 사상 및 범위는 전술한 설명으로 제한되지 않아야 한다.

Claims (45)

  1. 평면 객체의 적어도 2개의 이미지들을 캡쳐하는 단계;
    상기 적어도 2개의 이미지들을 사용하여 상기 평면 객체에 대한 제 1 모바일 플랫폼의 포지션 및 배향 (orientation) 을 포함하는 제 1 포즈를 결정하는 단계;
    상기 평면 객체의 정면 뷰의 참조 이미지를 생성하기 위하여 상기 평면 객체에 대한 상기 제 1 모바일 플랫폼의 배향을 사용하여 상기 제 1 모바일 플랫폼에 의해 캡쳐된 상기 평면 객체의 이미지를 워핑 (warping) 하는 단계; 및
    제 2 모바일 플랫폼에 의해 캡쳐된 상기 평면 객체의 제 2 이미지 및 상기 참조 이미지를 사용하여 상기 평면 객체에 대한 상기 제 2 모바일 플랫폼의 제 2 포즈를 결정하는 단계를 포함하는, 방법.
  2. 제 1 항에 있어서,
    상기 평면 객체에 대한 상기 제 2 모바일 플랫폼의 상기 제 2 포즈에 기초하여 상기 제 2 모바일 플랫폼으로 증강 현실 애플리케이션을 수행하는 단계를 더 포함하는, 방법.
  3. 제 1 항에 있어서,
    상기 평면 객체에 대한 상기 제 1 모바일 플랫폼의 포지션 및 배향을 포함하는 제 1 포즈를 결정하는 단계는,
    상기 적어도 2개의 이미지들로부터 피쳐들을 추출하는 단계;
    상기 피쳐들을 사용하여 상기 적어도 2개의 이미지들 간의 2D-2D 호모그래피 h를 계산하는 단계;
    상기 평면 객체의 평면에 대응하는 3D 평면을 정의하기 위하여 상기 피쳐들에 대한 3D 좌표를 계산하는 단계;
    상기 피쳐들 및 상기 3D 평면을 사용하여 상기 적어도 2개의 이미지들 중 하나와 상기 3D 평면간의 3D-2D 호모그래피 H를 계산하는 단계; 및
    상기 제 1 포즈를 결정하기 위하여 상기 3D-2D 호모그래피 H를 사용하는 단계를 포함하는, 방법.
  4. 제 1 항에 있어서,
    상기 제 2 모바일 플랫폼에 의해 캡쳐된 상기 평면 객체의 제 2 이미지 및 상기 참조 이미지를 사용하여 상기 평면 객체에 대한 제 2 모바일 플랫폼의 제 2 포즈를 결정하는 단계는,
    상기 참조 이미지로부터 피쳐들을 추출하는 단계;
    상기 참조 이미지로부터 추출된 상기 피쳐들에 대응하는 3D 평면 상의 3D 포인트들을 정의하는 단계;
    상기 3D 포인트들의 2D 투영과 매칭되는 제 2 모바일 플랫폼에 의해 캡쳐된 평면 객체의 이미지에서 포인트들을 구하는 단계; 및
    상기 제 2 모바일 플랫폼의 상기 제 2 포즈를 추정하기 위하여 매칭된 3D-2D 포인트 쌍들을 사용하는 단계를 포함하는, 방법.
  5. 제 4 항에 있어서,
    상기 참조 이미지로부터 추출된 상기 피쳐들은 포인트 피쳐들 또는 라인 피쳐들을 포함하는, 방법.
  6. 제 1 항에 있어서,
    상기 평면 객체에 대한 상기 제 1 모바일 플랫폼의 포지션 및 배향을 포함하는 제 1 포즈를 결정하는 단계는 상기 제 1 모바일 플랫폼에 의해 수행되는, 방법.
  7. 제 1 항에 있어서,
    상기 평면 객체의 이미지를 워핑하는 단계는 상기 제 1 모바일 플랫폼에 의해 수행되는, 방법.
  8. 제 1 항에 있어서,
    상기 제 2 모바일 플랫폼에 상기 참조 이미지를 송신하는 단계를 더 포함하는, 방법.
  9. 제 1 항에 있어서,
    상기 제 1 모바일 플랫폼에 의해 상기 평면 객체의 적어도 2개의 이미지들을 송신하는 단계를 더 포함하고, 상기 평면 객체에 대한 상기 제 1 모바일 플랫폼의 포지션 및 배향을 포함하는 제 1 포즈를 결정하는 단계는 서버에 의해 수행되는, 방법.
  10. 제 1 항에 있어서,
    상기 평면 객체의 이미지를 워핑하는 단계는 서버에 의해 수행되는, 방법.
  11. 제 1 항에 있어서,
    워핑되는 상기 제 1 모바일 플랫폼에 의해 캡쳐된 상기 평면 객체의 상기 이미지는 상기 평면 객체의 적어도 2개의 이미지들 중 하나인, 방법.
  12. 제 1 항에 있어서,
    상기 제 1 모바일 플랫폼으로 상기 평면 객체의 추가 이미지를 캡쳐하는 단계를 더 포함하고, 워핑되는 상기 제 1 모바일 플랫폼에 의해 캡쳐된 상기 평면 객체의 상기 이미지는 상기 평면 객체의 추가 이미지인, 방법.
  13. 제 1 항에 있어서,
    상기 제 1 모바일 플랫폼으로 상기 평면 객체의 추가 이미지를 캡쳐하는 단계;
    상기 평면 객체의 추가 이미지 및 상기 참조 이미지를 사용하여 상기 평면 객체에 대한 상기 제 1 모바일 플랫폼의 업데이트된 제 1 포즈를 발생시키는 단계; 및
    상기 평면 객체에 대한 상기 제 1 모바일 플랫폼의 상기 업데이트된 제 1 포즈에 기초하여 상기 제 1 모바일 플랫폼으로 증강 현실 애플리케이션을 수행하는 단계를 더 포함하는, 방법.
  14. 제 1 항에 있어서,
    상기 평면 객체의 정면 뷰의 상기 참조 이미지에 포함되지 않은 상기 평면 객체의 일 부분을 포함하는 새로운 이미지를 캡쳐하기 위하여 상기 제 2 모바일 플랫폼을 사용하는 단계;
    상기 평면 객체의 정면 뷰의 새로운 참조 이미지를 발생시키기 위하여 상기 새로운 이미지 및 상기 참조 이미지를 병합하는 단계; 및
    상기 제 2 모바일 플랫폼에 의해 캡쳐된 상기 평면 객체의 후속 이미지 및 상기 새로운 참조 이미지를 사용하여 상기 평면 객체에 대한 상기 제 2 모바일 플랫폼의 업데이트된 제 2 포즈를 결정하는 단계를 더 포함하는, 방법.
  15. 제 14 항에 있어서,
    상기 평면 객체의 정면 뷰의 새로운 참조 이미지를 발생시키기 위하여 상기 새로운 이미지 및 상기 참조 이미지를 병합하는 단계는, 항등 변환을 통해 상기 새로운 참조 이미지로의 상기 참조 이미지의 픽셀들을 변환시키는 단계 및 상기 새로운 참조 이미지로의 상기 새로운 이미지의 픽셀들을 변환시키는 단계를 포함하는, 방법.
  16. 제 15 항에 있어서,
    상기 새로운 참조 이미지로의 상기 새로운 이미지의 픽셀들을 변환시키는 단계는 계산된 호모그래피 또는 아핀 (affine) 변환 중 적어도 하나를 사용하여 수행되는, 방법.
  17. 제 1 항에 있어서,
    상기 평면 객체의 적어도 2개의 이미지들의 양자 모두는 상기 제 1 모바일 플랫폼에 의해 캡쳐되는, 방법.
  18. 제 1 항에 있어서,
    상기 평면 객체의 적어도 2개의 이미지들 중 하나는 상기 제 1 모바일 플랫폼에 의해 캡쳐되고, 상기 평면 객체의 적어도 2개의 이미지들 중 다른 하나 상기 제 2 모바일 플랫폼에 의해 캡쳐되는, 방법.
  19. 제 1 항에 있어서,
    상기 제 1 모바일 플랫폼의 배향을 사용하여 상기 제 1 모바일 플랫폼에 의해 캡쳐된 상기 평면 객체의 이미지를 워핑하는 단계는 계산된 호모그래피를 사용하는 단계를 포함하는, 방법.
  20. 제 1 항에 있어서,
    상기 평면 객체의 이미지를 워핑하는 단계는 워핑된 이미지를 생성하고, 상기 방법은 상기 평면 객체의 정면 뷰의 상기 참조 이미지를 생성하기 위하여 상기 워핑된 이미지를 변환 및 스케일링하는 단계를 더 포함하는, 방법.
  21. 장치로서,
    프로세싱될 적어도 2개의 이미지들을 수신하는 인터페이스로서, 상기 적어도 2개의 이미지들은 평면 객체의 상이한 뷰들을 함유하고, 상기 적어도 2개의 이미지들 중 적어도 하나는 제 1 카메라에 의해 캡쳐되는, 상기 인터페이스;
    데이터 송신 인터페이스;
    프로세싱될 상기 적어도 2개의 이미지들을 수신하는 인터페이스 및 상기 데이터 송신 인터페이스에 접속된 프로세서;
    상기 프로세서에 접속된 메모리; 및
    상기 메모리에 유지되고 상기 프로세서로 하여금 상기 평면 객체의 적어도 2개의 이미지들을 분석하게 하고, 상기 적어도 2개의 이미지들을 사용하여 상기 평면 객체에 대한 상기 제 1 카메라의 포지션 및 배향 (orientation) 을 포함하는 포즈를 결정하게 하고, 상기 평면 객체의 정면 뷰의 참조 이미지를 생성하기 위하여 상기 배향을 사용하여 상기 평면 객체의 이미지를 워핑 (warping) 하게 하고, 상기 데이터 송신 인터페이스를 통해 제 2 카메라를 갖는 모바일 플랫폼에 상기 참조 이미지를 송신하여 상기 참조 이미지를 사용해 결정된 상기 모바일 플랫폼의 포즈에 기초하여 다중 사용자 증강 현실 애플리케이션을 수행하게 하도록 구성된 소프트웨어를 포함하는, 장치.
  22. 제 21 항에 있어서,
    상기 장치는 서버이고, 상기 프로세싱될 적어도 2개의 이미지들을 수신하는 인터페이스 및 상기 데이터 송신 인터페이스는 외부 인터페이스이고, 상기 참조 이미지는 복수의 모바일 플랫폼들에 송신되는, 장치.
  23. 제 21 항에 있어서,
    상기 장치는 상기 제 1 카메라를 더 포함하는 제 1 모바일 플랫폼이고, 상기 프로세싱될 적어도 2개의 이미지들을 수신하는 인터페이스는 상기 제 1 카메라와 상기 프로세서 사이의 인터페이스이고, 상기 데이터 송신 인터페이스는 무선 송수신기인, 장치.
  24. 제 23 항에 있어서,
    상기 메모리에 유지되고 상기 프로세서로 하여금 상기 참조 이미지를 사용해 다중 사용자 증강 현실 애플리케이션을 수행하게 하도록 구성된 상기 소프트웨어는, 상기 참조 이미지 및 상기 평면 객체의 추가 이미지를 사용하여 상기 평면 객체에 대한 상기 제 1 카메라의 포즈를 상기 프로세서로 하여금 업데이트하게 하는 소프트웨어를 포함하는, 장치.
  25. 제 24 항에 있어서,
    상기 제 1 카메라의 포즈를 상기 프로세서로 하여금 업데이트하게 하는 상기 소프트웨어는, 상기 참조 이미지로부터 피쳐들을 추출하고, 상기 참조 이미지로부터 추출된 상기 피쳐들에 대응하는 3D 평면 상의 3D 포인트들을 정의하고, 상기 3D 포인트들의 2D 투영들과 매칭되는 상기 평면 객체의 추가 이미지에서 포인트들을 구하고, 매칭된 3D-2D 포인트 쌍들을 이용하여 상기 포즈를 업데이트하는 소프트웨어를 포함하는, 장치.
  26. 제 21 항에 있어서,
    상기 메모리에 유지되고 상기 프로세서로 하여금 상기 평면 객체에 대한 상기 제 1 카메라의 포즈를 결정하게 하도록 구성된 상기 소프트웨어는, 상기 메모리에 유지되고 상기 프로세서에서 실행되어 상기 적어도 2개의 이미지들로부터 피쳐들을 추출하고, 상기 피쳐들을 사용하여 적어도 2개의 이미지들 사이의 2D-2D 호모그래피 h를 계산하고, 상기 평면 객체의 평면에 대응하는 3D 평면을 정의하기 위하여 상기 피쳐들의 3D 좌표들을 계산하고, 상기 피쳐들과 상기 3D 평면을 사용하여 상기 적어도 2개의 이미지들 중 하나와 상기 3D 평면 사이의 3D-2D 호모그래피 H를 계산하고, 상기 3D-2D 호모그래피 H를 사용하여 상기 포즈를 결정하는 소프트웨어를 포함하는, 장치.
  27. 제 21 항에 있어서,
    상기 참조 이미지를 생성하기 위하여 워핑되는 상기 평면 객체의 상기 이미지는 상기 평면 객체의 적어도 2개의 이미지들 중 하나인, 장치.
  28. 제 21 항에 있어서,
    상기 참조 이미지를 생성하기 위하여 워핑되는 상기 평면 객체의 상기 이미지는 상기 평면 객체의 추가 이미지인, 장치.
  29. 제 21 항에 있어서,
    상기 메모리에 유지되는 상기 소프트웨어는, 상기 프로세서로 하여금 상기 평면 객체의 정면 뷰의 새로운 참조 이미지를 발생시키기 위하여 상기 참조 이미지에 포함되지 않은 상기 평면 객체의 일 부분을 포함하는 새로운 이미지 및 상기 참조 이미지를 병합하게 하고, 상기 데이터 송신 인터페이스를 통해 상기 제 2 카메라로 상기 모바일 플랫폼에 상기 새로운 참조 이미지를 송신하게 하여 상기 새로운 참조 이미지를 사용해 결정된 상기 모바일 플랫폼의 포즈에 기초하여 다중 사용자 증강 현실 애플리케이션을 수행하게 하도록 구성된, 장치.
  30. 제 29 항에 있어서,
    상기 메모리에 유지된 상기 소프트웨어는, 상기 프로세서로 하여금 항등 변환을 통해 상기 새로운 참조 이미지로의 상기 참조 이미지의 픽셀들을 변환시키는 것과 계산된 호모그래피 또는 아핀 (affine) 변환 중 적어도 하나를 사용해 상기 새로운 참조 이미지로의 상기 새로운 이미지의 픽셀들을 변환시키는 것에 의해 상기 새로운 참조 이미지를 발생시키기 위하여 상기 새로운 이미지 및 상기 참조 이미지를 병합하게 하도록 구성된, 장치.
  31. 제 21 항에 있어서,
    상기 메모리에 유지된 상기 소프트웨어는 상기 프로세서로 하여금 계산된 호모그래피를 사용하여 상기 평면 객체의 이미지를 워핑하게 하도록 구성된, 장치.
  32. 제 21 항에 있어서,
    상기 메모리에 유지된 상기 소프트웨어는 상기 프로세서로 하여금 워핑된 이미지를 생성하기 위하여 상기 평면 객체의 이미지를 워핑하게 하도록 구성되고, 상기 메모리에 유지되고 상기 프로세서에서 실행되는 소프트웨어는 또한 상기 프로세서로 하여금 상기 평면 객체의 정면 뷰의 상기 참조 이미지를 생성하기 위하여 상기 워핑된 이미지를 변환 및 스케일링하게 하는, 장치.
  33. 모바일 플랫폼으로서,
    카메라;
    무선 송수신기;
    상기 카메라 및 상기 무선 송수신기에 접속된 프로세서;
    상기 프로세서에 접속된 메모리;
    상기 메모리에 접속된 디스플레이; 및
    상기 메모리에 유지되고, 상기 프로세서로 하여금 평면 객체의 적어도 2개의 캡쳐된 이미지들을 분석하게 하고, 상기 적어도 2개의 캡쳐된 이미지들을 사용하여 상기 평면 객체에 대한 상기 모바일 플랫폼의 포지션 및 배향 (orientation) 을 포함하는 포즈를 결정하게 하고, 상기 평면 객체의 정면 뷰의 참조 이미지를 생성하기 위하여 상기 배향을 사용하여 상기 평면 객체의 이미지를 워핑 (warping) 하게 하고, 적어도 하나의 다른 모바일 플랫폼에 상기 참조 이미지를 송신하게 하고, 상기 참조 이미지를 사용하여 결정된 상기 적어도 하나의 다른 모바일 플랫폼의 포즈에 기초하여 적어도 하나의 다른 모바일 플랫폼으로 다중 사용자 증강 현실 애플리케이션을 수행하게 하여 상기 디스플레이에 디스플레이되게 하도록 구성되는 소프트웨어를 포함하는, 모바일 플랫폼.
  34. 시스템으로서,
    평면 객체의 적어도 2개의 이미지들을 캡쳐하기 위한 수단;
    상기 적어도 2개의 이미지들을 사용하여 상기 평면 객체에 대한 제 1 모바일 플랫폼의 포지션 및 배향 (orientation) 을 포함하는 포즈를 결정하기 위한 수단;
    상기 평면 객체의 정면 뷰의 참조 이미지를 생성하기 위하여 상기 평면 객체에 대한 상기 제 1 모바일 플랫폼의 배향을 사용하여 상기 평면 객체의 이미지를 워핑 (warping) 하기 위한 수단; 및
    제 2 모바일 플랫폼에 의해 캡쳐된 상기 평면 객체의 제 2 이미지 및 상기 참조 이미지를 사용하여 상기 평면 객체에 대한 상기 제 2 모바일 플랫폼의 제 2 포즈를 결정하기 위한 수단을 포함하는, 시스템.
  35. 제 34 항에 있어서,
    상기 평면 객체에 대한 상기 제 2 모바일 플랫폼의 상기 제 2 포즈에 기초하여 상기 제 2 모바일 플랫폼으로 증강 현실 애플리케이션을 수행하기 위한 수단을 더 포함하는, 시스템.
  36. 제 34 항에 있어서,
    상기 제 1 모바일 플랫폼은, 상기 평면 객체에 대한 포지션 및 배향을 포함하는 포즈를 결정하기 위한 수단, 및 상기 평면 객체의 이미지를 워핑하기 위한 수단을 포함하고, 상기 제 1 모바일 플랫폼은 상기 제 2 모바일 플랫폼에 상기 참조 이미지를 송신하기 위한 수단을 더 포함하는, 시스템.
  37. 제 34 항에 있어서,
    상기 평면 객체에 대한 포지션 및 배향을 포함하는 포즈를 결정하기 위한 수단, 및 상기 평면 객체의 이미지를 워핑하기 위한 수단을 포함하는 서버를 더 포함하고, 상기 서버는 상기 평면 객체의 적어도 2개의 이미지들을 수신하기 위한 수단 및 상기 제 2 모바일 플랫폼에 상기 참조 이미지를 송신하기 위한 수단을 더 포함하는, 시스템.
  38. 제 34 항에 있어서,
    워핑되는 상기 평면 객체의 상기 이미지는, 상기 평면 객체의 적어도 2개의 이미지들 중 하나 또는 상기 평면 객체의 추가 이미지를 포함하는, 시스템.
  39. 제 34 항에 있어서,
    상기 평면 객체의 정면 뷰의 새로운 참조 이미지를 발생시키기 위하여 상기 참조 이미지에 포함되지 않은 상기 평면 객체의 일 부분을 포함하는 새로운 이미지 및 상기 참조 이미지를 병합하기 위한 수단을 더 포함하고, 상기 제 2 모바일 플랫폼의 제 2 포즈를 결정하기 위한 수단은 상기 제 2 모바일 플랫폼에 의해 캡쳐된 상기 평면 객체의 다른 이미지 및 상기 새로운 참조 이미지를 사용하여 상기 평면 객체에 대한 상기 제 2 모바일 플랫폼의 제 2 포즈를 업데이트하는, 시스템.
  40. 제 39 항에 있어서,
    상기 새로운 참조 이미지를 발생시키기 위해 상기 새로운 이미지 및 상기 참조 이미지를 병합하기 위한 수단은, 항등 변환을 통해 상기 새로운 참조 이미지로 상기 참조 이미지의 픽셀들을 변환시키고 계산된 호모그래피 또는 아핀 (affine) 변환 중 적어도 하나를 사용해 상기 새로운 참조 이미지로 상기 새로운 이미지의 픽셀들을 변환시키는, 시스템.
  41. 제 34 항에 있어서,
    상기 제 1 모바일 플랫폼의 배향을 사용하여 상기 평면 객체의 이미지를 워핑하기 위한 수단은 상기 배향 및 병진을 포함하는 계산된 호모그래피를 사용하는, 시스템.
  42. 제 34 항에 있어서,
    상기 평면 객체의 이미지를 워핑하기 위한 수단은 워핑된 이미지를 생성하고, 상기 시스템은, 상기 평면 객체의 정면 뷰의 상기 참조 이미지를 생성하기 위하여 상기 워핑된 이미지를 변환 및 스케일링하기 위한 수단을 더 포함하는, 시스템.
  43. 저장된 프로그램 코드를 포함하는 컴퓨터 판독가능 매체로서,
    평면 객체에 대한 적어도 2개의 이미지들 중 적어도 하나를 캡쳐한 카메라의 포지션 및 배향 (orientation) 을 포함하는 포즈를 결정하기 위해 상기 평면 객체의 상기 적어도 2개의 이미지들을 분석하기 위한 프로그램 코드;
    상기 평면 객체의 정면 뷰의 참조 이미지를 생성하기 위해 상기 배향을 사용하여 상기 평면 객체의 이미지를 워핑 (warping) 하기 위한 프로그램 코드;
    상기 참조 이미지를 송신하기 위한 프로그램 코드; 및
    상기 참조 이미지를 사용하여 결정된 모바일 플랫폼의 포즈에 기초하여 다중 사용자 증강 현실 애플리케이션을 수행하기 위한 프로그램 코드를 포함하는, 컴퓨터 판독가능 매체.
  44. 제 43 항에 있어서,
    상기 평면 객체의 정면 뷰의 새로운 참조 이미지를 발생시키기 위하여 상기 참조 이미지에 포함되지 않은 상기 평면 객체의 일 부분을 포함하는 새로운 이미지 및 상기 참조 이미지를 병합하기 위한 프로그램 코드;
    상기 새로운 참조 이미지를 송신하기 위한 프로그램 코드; 및
    상기 새로운 참조 이미지를 사용하여 결정된 상기 모바일 플랫폼의 포즈에 기초하여 다중 사용자 증강 현실 애플리케이션을 수행하기 위한 프로그램 코드를 더 포함하는, 컴퓨터 판독가능 매체.
  45. 제 44 항에 있어서,
    상기 새로운 참조 이미지를 발생시키기 위하여 상기 새로운 이미지 및 상기 참조 이미지를 병합하기 위한 프로그램 코드는,
    항등 변환을 통해 상기 새로운 참조 이미지로 상기 참조 이미지의 픽셀들을 변환시키기 위한 프로그램 코드;
    계산된 호모그래피 또는 아핀 (affine) 변환 중 적어도 하나를 사용하여 상기 새로운 참조 이미지로 상기 참조 이미지의 픽셀들을 변환시키기 위한 프로그램 코드를 포함하는, 컴퓨터 판독가능 매체.
KR1020137008997A 2010-09-09 2011-09-09 다중 사용자 증강 현실을 위한 온라인 참조 생성 및 추적 KR101689923B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US38134410P 2010-09-09 2010-09-09
US61/381,344 2010-09-09
US13/082,187 US9013550B2 (en) 2010-09-09 2011-04-07 Online reference generation and tracking for multi-user augmented reality
US13/082,187 2011-04-07
PCT/US2011/051109 WO2012034092A1 (en) 2010-09-09 2011-09-09 Online reference generation and tracking for multi-user augmented reality

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020157017271A Division KR20150082684A (ko) 2010-09-09 2011-09-09 다중 사용자 증강 현실을 위한 온라인 참조 생성 및 추적

Publications (2)

Publication Number Publication Date
KR20130051501A KR20130051501A (ko) 2013-05-20
KR101689923B1 true KR101689923B1 (ko) 2016-12-26

Family

ID=44678049

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020137008997A KR101689923B1 (ko) 2010-09-09 2011-09-09 다중 사용자 증강 현실을 위한 온라인 참조 생성 및 추적
KR1020157017271A KR20150082684A (ko) 2010-09-09 2011-09-09 다중 사용자 증강 현실을 위한 온라인 참조 생성 및 추적

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020157017271A KR20150082684A (ko) 2010-09-09 2011-09-09 다중 사용자 증강 현실을 위한 온라인 참조 생성 및 추적

Country Status (6)

Country Link
US (2) US9013550B2 (ko)
EP (1) EP2614487B1 (ko)
JP (1) JP5660648B2 (ko)
KR (2) KR101689923B1 (ko)
CN (1) CN103155001B (ko)
WO (1) WO2012034092A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102245760B1 (ko) * 2019-12-31 2021-04-29 주식회사 버넥트 테이블 탑 디바이스 및 이를 포함하는 테이블 탑 시스템

Families Citing this family (115)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9171221B2 (en) * 2010-07-18 2015-10-27 Spatial Cam Llc Camera to track an object
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
US11792538B2 (en) 2008-05-20 2023-10-17 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
JP2011523538A (ja) 2008-05-20 2011-08-11 ペリカン イメージング コーポレイション 異なる種類の撮像装置を有するモノリシックカメラアレイを用いた画像の撮像および処理
US20100205628A1 (en) 2009-02-12 2010-08-12 Davis Bruce L Media processing methods and arrangements
US8514491B2 (en) 2009-11-20 2013-08-20 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
JP5848754B2 (ja) 2010-05-12 2016-01-27 ペリカン イメージング コーポレイション 撮像装置アレイおよびアレイカメラのためのアーキテクチャ
US9013550B2 (en) 2010-09-09 2015-04-21 Qualcomm Incorporated Online reference generation and tracking for multi-user augmented reality
US8878950B2 (en) 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
US8810598B2 (en) 2011-04-08 2014-08-19 Nant Holdings Ip, Llc Interference based augmented reality hosting platforms
US8305456B1 (en) 2011-05-11 2012-11-06 Pelican Imaging Corporation Systems and methods for transmitting and receiving array camera image data
US20130050499A1 (en) * 2011-08-30 2013-02-28 Qualcomm Incorporated Indirect tracking
US9305361B2 (en) 2011-09-12 2016-04-05 Qualcomm Incorporated Resolving homography decomposition ambiguity based on orientation sensors
US20130070060A1 (en) 2011-09-19 2013-03-21 Pelican Imaging Corporation Systems and methods for determining depth from multiple views of a scene that include aliasing using hypothesized fusion
JP6140709B2 (ja) 2011-09-28 2017-05-31 ペリカン イメージング コーポレイション 明視野画像ファイルを符号化および復号するためのシステムおよび方法
US9424255B2 (en) * 2011-11-04 2016-08-23 Microsoft Technology Licensing, Llc Server-assisted object recognition and tracking for mobile devices
US9875542B2 (en) * 2012-01-23 2018-01-23 Nec Corporation Camera calibration device, camera calibration method, and camera calibration program
EP2817955B1 (en) 2012-02-21 2018-04-11 FotoNation Cayman Limited Systems and methods for the manipulation of captured light field image data
KR20130117303A (ko) * 2012-04-18 2013-10-25 삼성전자주식회사 증강 현실 이미지를 디스플레이하기 위한 방법 및 그 전자 장치
US9210392B2 (en) 2012-05-01 2015-12-08 Pelican Imaging Coporation Camera modules patterned with pi filter groups
US10365711B2 (en) 2012-05-17 2019-07-30 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for unified scene acquisition and pose tracking in a wearable display
EP2873028A4 (en) 2012-06-28 2016-05-25 Pelican Imaging Corp SYSTEMS AND METHOD FOR DETECTING DEFECTIVE CAMERA ARRAYS, OPTICAL ARRAYS AND SENSORS
US20140002674A1 (en) 2012-06-30 2014-01-02 Pelican Imaging Corporation Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors
CN102821323B (zh) * 2012-08-01 2014-12-17 成都理想境界科技有限公司 基于增强现实技术的视频播放方法、***及移动终端
US9131295B2 (en) 2012-08-07 2015-09-08 Microsoft Technology Licensing, Llc Multi-microphone audio source separation based on combined statistical angle distributions
CN107346061B (zh) 2012-08-21 2020-04-24 快图有限公司 用于使用阵列照相机捕捉的图像中的视差检测和校正的***和方法
US9269146B2 (en) * 2012-08-23 2016-02-23 Microsoft Technology Licensing, Llc Target object angle determination using multiple cameras
WO2014032020A2 (en) 2012-08-23 2014-02-27 Pelican Imaging Corporation Feature based high resolution motion estimation from low resolution images captured using an array source
CN104685860A (zh) 2012-09-28 2015-06-03 派力肯影像公司 利用虚拟视点从光场生成图像
US9214021B2 (en) * 2012-10-09 2015-12-15 The Boeing Company Distributed position identification
US9237340B2 (en) * 2012-10-10 2016-01-12 Texas Instruments Incorporated Camera pose estimation
WO2014078443A1 (en) 2012-11-13 2014-05-22 Pelican Imaging Corporation Systems and methods for array camera focal plane control
US9076257B2 (en) * 2013-01-03 2015-07-07 Qualcomm Incorporated Rendering augmented reality based on foreground object
WO2014130849A1 (en) 2013-02-21 2014-08-28 Pelican Imaging Corporation Generating compressed light field representation data
US9253380B2 (en) 2013-02-24 2016-02-02 Pelican Imaging Corporation Thin form factor computational array cameras and modular array cameras
WO2014138695A1 (en) 2013-03-08 2014-09-12 Pelican Imaging Corporation Systems and methods for measuring scene information while capturing images using array cameras
US8866912B2 (en) 2013-03-10 2014-10-21 Pelican Imaging Corporation System and methods for calibration of an array camera using a single captured image
WO2014165244A1 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
US9106784B2 (en) 2013-03-13 2015-08-11 Pelican Imaging Corporation Systems and methods for controlling aliasing in images captured by an array camera for use in super-resolution processing
WO2014164550A2 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation System and methods for calibration of an array camera
US9888194B2 (en) 2013-03-13 2018-02-06 Fotonation Cayman Limited Array camera architecture implementing quantum film image sensors
US9898866B2 (en) 2013-03-13 2018-02-20 The University Of North Carolina At Chapel Hill Low latency stabilization for head-worn displays
US9578259B2 (en) 2013-03-14 2017-02-21 Fotonation Cayman Limited Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
WO2014153098A1 (en) 2013-03-14 2014-09-25 Pelican Imaging Corporation Photmetric normalization in array cameras
US10733798B2 (en) * 2013-03-14 2020-08-04 Qualcomm Incorporated In situ creation of planar natural feature targets
JP2016524125A (ja) * 2013-03-15 2016-08-12 ペリカン イメージング コーポレイション カメラアレイを用いた立体撮像のためのシステムおよび方法
US9367811B2 (en) * 2013-03-15 2016-06-14 Qualcomm Incorporated Context aware localization, mapping, and tracking
US9497429B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras
US9633442B2 (en) * 2013-03-15 2017-04-25 Fotonation Cayman Limited Array cameras including an array camera module augmented with a separate camera
US9445003B1 (en) 2013-03-15 2016-09-13 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information
US10122993B2 (en) 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
US9898856B2 (en) 2013-09-27 2018-02-20 Fotonation Cayman Limited Systems and methods for depth-assisted perspective distortion correction
US9582516B2 (en) 2013-10-17 2017-02-28 Nant Holdings Ip, Llc Wide area augmented reality location-based services
WO2015070105A1 (en) 2013-11-07 2015-05-14 Pelican Imaging Corporation Methods of manufacturing array camera modules incorporating independently aligned lens stacks
WO2015074078A1 (en) 2013-11-18 2015-05-21 Pelican Imaging Corporation Estimating depth from projected texture using camera arrays
US9426361B2 (en) 2013-11-26 2016-08-23 Pelican Imaging Corporation Array camera configurations incorporating multiple constituent array cameras
KR102209008B1 (ko) * 2014-02-17 2021-01-28 삼성전자주식회사 카메라 포즈 추정 장치 및 카메라 포즈 추정 방법
US10068344B2 (en) 2014-03-05 2018-09-04 Smart Picture Technologies Inc. Method and system for 3D capture based on structure from motion with simplified pose detection
US10089740B2 (en) 2014-03-07 2018-10-02 Fotonation Limited System and methods for depth regularization and semiautomatic interactive matting using RGB-D images
JP6248732B2 (ja) * 2014-03-20 2017-12-20 コニカミノルタ株式会社 拡張現実表示装置、拡張現実表示システム、拡張現実表示方法および拡張現実表示プログラム
US10380410B2 (en) 2014-04-07 2019-08-13 Eyeways Systems Ltd. Apparatus and method for image-based positioning, orientation and situational awareness
CN103955499B (zh) * 2014-04-22 2018-02-02 北京航空航天大学 一种基于即时计算与动态追踪的视觉体验增强方法
EP2940989B1 (en) * 2014-05-02 2022-01-05 Samsung Electronics Co., Ltd. Method and apparatus for generating composite image in electronic device
US9521319B2 (en) 2014-06-18 2016-12-13 Pelican Imaging Corporation Array cameras and array camera modules including spectral filters disposed outside of a constituent image sensor
US10659750B2 (en) * 2014-07-23 2020-05-19 Apple Inc. Method and system for presenting at least part of an image of a real object in a view of a real environment, and method and system for selecting a subset of a plurality of images
CN113256730B (zh) 2014-09-29 2023-09-05 快图有限公司 用于阵列相机的动态校准的***和方法
US11049476B2 (en) 2014-11-04 2021-06-29 The University Of North Carolina At Chapel Hill Minimal-latency tracking and display for matching real and virtual worlds in head-worn displays
US20160134860A1 (en) * 2014-11-12 2016-05-12 Dejan Jovanovic Multiple template improved 3d modeling of imaged objects using camera position and pose to obtain accuracy
WO2016155767A1 (en) * 2015-03-30 2016-10-06 Siemens Aktiengesellschaft Method and system for determining an orientation of a mobile device
US9942474B2 (en) 2015-04-17 2018-04-10 Fotonation Cayman Limited Systems and methods for performing high speed video capture and depth estimation using array cameras
CN104850229B (zh) 2015-05-18 2019-03-22 小米科技有限责任公司 识别物体的方法及装置
US10083522B2 (en) 2015-06-19 2018-09-25 Smart Picture Technologies, Inc. Image based measurement system
US9800778B2 (en) * 2015-07-21 2017-10-24 Qualcomm Incorporated Camera orientation notification system
CN106776267A (zh) * 2015-11-25 2017-05-31 富士通株式会社 网页应用兼容性测试方法和网页应用兼容性测试设备
GB2545275A (en) * 2015-12-11 2017-06-14 Nokia Technologies Oy Causing provision of virtual reality content
US9747668B2 (en) * 2016-01-21 2017-08-29 Disney Enterprises, Inc. Reconstruction of articulated objects from a moving camera
JP6775969B2 (ja) * 2016-02-29 2020-10-28 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
KR102359978B1 (ko) * 2017-03-17 2022-02-07 매직 립, 인코포레이티드 다중-소스 가상 콘텐츠 합성을 갖는 혼합 현실 시스템 및 이를 사용하여 가상 콘텐츠를 생성하는 방법
CN107133986B (zh) * 2017-04-26 2019-08-20 武汉科技大学 一种基于二维标定物的相机标定方法
US10269181B2 (en) * 2017-05-31 2019-04-23 Verizon Patent And Licensing Inc. Methods and systems for generating a virtualized projection of a customized view of a real-world scene for inclusion within virtual reality media content
US10643373B2 (en) 2017-06-19 2020-05-05 Apple Inc. Augmented reality interface for interacting with displayed maps
US10779011B2 (en) 2017-07-31 2020-09-15 Qualcomm Incorporated Error concealment in virtual reality system
WO2019032736A1 (en) 2017-08-08 2019-02-14 Smart Picture Technologies, Inc. METHOD OF MEASURING AND MODELING SPACES USING AUGMENTED REALITY WITHOUT MARKER
US10482618B2 (en) 2017-08-21 2019-11-19 Fotonation Limited Systems and methods for hybrid depth regularization
US10762713B2 (en) * 2017-09-18 2020-09-01 Shoppar Inc. Method for developing augmented reality experiences in low computer power systems and devices
US10777007B2 (en) 2017-09-29 2020-09-15 Apple Inc. Cooperative augmented reality map interface
US10685456B2 (en) 2017-10-12 2020-06-16 Microsoft Technology Licensing, Llc Peer to peer remote localization for devices
US10460512B2 (en) * 2017-11-07 2019-10-29 Microsoft Technology Licensing, Llc 3D skeletonization using truncated epipolar lines
US10504289B2 (en) 2018-05-01 2019-12-10 Dell Products, Lp Method and apparatus for securely displaying private information using an augmented reality headset
US10410372B1 (en) 2018-06-14 2019-09-10 The University Of North Carolina At Chapel Hill Methods, systems, and computer-readable media for utilizing radial distortion to estimate a pose configuration
US11055056B1 (en) * 2018-09-25 2021-07-06 Facebook Technologies, Llc Split system for artificial reality
US11189054B2 (en) * 2018-09-28 2021-11-30 Apple Inc. Localization and mapping using images from multiple devices
US10547974B1 (en) * 2019-03-19 2020-01-28 Microsoft Technology Licensing, Llc Relative spatial localization of mobile devices
WO2020231872A1 (en) 2019-05-10 2020-11-19 Smart Picture Technologies, Inc. Methods and systems for measuring and modeling spaces using markerless photo-based augmented reality process
US10949960B2 (en) * 2019-06-20 2021-03-16 Intel Corporation Pose synthesis in unseen human poses
BR112022004811A2 (pt) 2019-09-17 2022-06-21 Boston Polarimetrics Inc Sistemas e métodos para modelagem de superfície usando indicações de polarização
JP7330376B2 (ja) 2019-10-07 2023-08-21 ボストン ポーラリメトリックス，インコーポレイティド 偏光によるセンサシステム及び撮像システムの増強のための方法
WO2021108002A1 (en) 2019-11-30 2021-06-03 Boston Polarimetrics, Inc. Systems and methods for transparent object segmentation using polarization cues
US11816757B1 (en) * 2019-12-11 2023-11-14 Meta Platforms Technologies, Llc Device-side capture of data representative of an artificial reality environment
US11663736B2 (en) * 2019-12-27 2023-05-30 Snap Inc. Marker-based shared augmented reality session creation
KR20220132620A (ko) 2020-01-29 2022-09-30 인트린식 이노베이션 엘엘씨 물체 포즈 검출 및 측정 시스템들을 특성화하기 위한 시스템들 및 방법들
US11797863B2 (en) 2020-01-30 2023-10-24 Intrinsic Innovation Llc Systems and methods for synthesizing data for training statistical models on different imaging modalities including polarized images
US20210327119A1 (en) * 2020-04-17 2021-10-21 Occipital, Inc. System for Generating a Three-Dimensional Scene Reconstructions
WO2021243088A1 (en) 2020-05-27 2021-12-02 Boston Polarimetrics, Inc. Multi-aperture polarization optical systems using beam splitters
US11295135B2 (en) * 2020-05-29 2022-04-05 Corning Research & Development Corporation Asset tracking of communication equipment via mixed reality based labeling
US11374808B2 (en) 2020-05-29 2022-06-28 Corning Research & Development Corporation Automated logging of patching operations via mixed reality based labeling
US11924397B2 (en) * 2020-07-23 2024-03-05 Samsung Electronics Co., Ltd. Generation and distribution of immersive media content from streams captured via distributed mobile devices
US11483533B2 (en) 2021-01-05 2022-10-25 At&T Intellectual Property I, L.P. System and method for social immersive content rendering
US12020455B2 (en) 2021-03-10 2024-06-25 Intrinsic Innovation Llc Systems and methods for high dynamic range image reconstruction
US12069227B2 (en) 2021-03-10 2024-08-20 Intrinsic Innovation Llc Multi-modal and multi-spectral stereo camera arrays
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US12067746B2 (en) 2021-05-07 2024-08-20 Intrinsic Innovation Llc Systems and methods for using computer vision to pick up small objects
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers
US12045950B2 (en) 2021-09-27 2024-07-23 Ford Global Technologies, Llc Object pose estimation

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007033087A (ja) * 2005-07-22 2007-02-08 Sony Corp キャリブレーション装置及び方法

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6353679B1 (en) * 1998-11-03 2002-03-05 Compaq Computer Corporation Sample refinement method of multiple mode probability density estimation
US20030076980A1 (en) * 2001-10-04 2003-04-24 Siemens Corporate Research, Inc.. Coded visual markers for tracking and camera calibration in mobile computing systems
NZ539632A (en) * 2002-10-22 2008-01-31 Artoolworks Tracking a surface in a 3-dimensional scene using natural visual features of the surface
US7671916B2 (en) 2004-06-04 2010-03-02 Electronic Arts Inc. Motion sensor using dual camera inputs
JP2008506953A (ja) * 2004-07-14 2008-03-06 ブレインテック カナダ インコーポレイテッド 機械視覚のための方法及び装置
JP4689380B2 (ja) * 2004-09-28 2011-05-25 キヤノン株式会社 情報処理方法および装置
WO2006105054A2 (en) * 2005-03-25 2006-10-05 Sarnoff Corporation Method and system for improving video metadata through the use of frame-to-frame correspondences
US7889905B2 (en) * 2005-05-23 2011-02-15 The Penn State Research Foundation Fast 3D-2D image registration method with application to continuously guided endoscopy
WO2008060916A2 (en) * 2006-11-09 2008-05-22 University Of Florida Research Foundation, Inc. Passive single camera imaging system for determining motor vehicle speed
KR100918392B1 (ko) * 2006-12-05 2009-09-24 한국전자통신연구원 3ｄ 컨텐츠 저작을 위한 개인형 멀티미디어 스튜디오플랫폼 장치 및 방법
FR2911707B1 (fr) 2007-01-22 2009-07-10 Total Immersion Sa Procede et dispositifs de realite augmentee utilisant un suivi automatique, en temps reel, d'objets geometriques planaires textures, sans marqueur, dans un flux video.
US20090010507A1 (en) * 2007-07-02 2009-01-08 Zheng Jason Geng System and method for generating a 3d model of anatomical structure using a plurality of 2d images
EP2048599B1 (en) * 2007-10-11 2009-12-16 MVTec Software GmbH System and method for 3D object recognition
KR20090088210A (ko) * 2008-02-14 2009-08-19 주식회사 만도 두 개의 기준점을 이용한 목표주차위치 검출 방법과 장치및 그를 이용한 주차 보조 시스템
GB2458927B (en) * 2008-04-02 2012-11-14 Eykona Technologies Ltd 3D Imaging system
US20100097444A1 (en) * 2008-10-16 2010-04-22 Peter Lablans Camera System for Creating an Image From a Plurality of Images
FR2933218B1 (fr) * 2008-06-30 2011-02-11 Total Immersion Procede et dispositif permettant de detecter en temps reel des interactions entre un utilisateur et une scene de realite augmentee
EP2154650A1 (en) * 2008-08-12 2010-02-17 IEE INTERNATIONAL ELECTRONICS & ENGINEERING S.A. 3D time-of-flight camera system and position/orientation calibration method therefor
US8970690B2 (en) 2009-02-13 2015-03-03 Metaio Gmbh Methods and systems for determining the pose of a camera with respect to at least one object of a real environment
US20100208033A1 (en) 2009-02-13 2010-08-19 Microsoft Corporation Personal Media Landscapes in Mixed Reality
US7901095B2 (en) * 2009-03-27 2011-03-08 Seiko Epson Corporation Resolution scalable view projection
US8839121B2 (en) 2009-05-06 2014-09-16 Joseph Bertolami Systems and methods for unifying coordinate systems in augmented reality applications
US8755569B2 (en) * 2009-05-29 2014-06-17 University Of Central Florida Research Foundation, Inc. Methods for recognizing pose and action of articulated objects with collection of planes in motion
US20110115671A1 (en) 2009-11-17 2011-05-19 Qualcomm Incorporated Determination of elevation of mobile station
US8427536B2 (en) 2009-11-19 2013-04-23 Qualcomm Incorporated Orientation determination of a mobile station using side and top view images
US9412164B2 (en) * 2010-05-25 2016-08-09 Hewlett-Packard Development Company, L.P. Apparatus and methods for imaging system calibration
US20120011142A1 (en) 2010-07-08 2012-01-12 Qualcomm Incorporated Feedback to improve object recognition
US9013550B2 (en) 2010-09-09 2015-04-21 Qualcomm Incorporated Online reference generation and tracking for multi-user augmented reality

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007033087A (ja) * 2005-07-22 2007-02-08 Sony Corp キャリブレーション装置及び方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Gilles Simon외 2인, "Markerless Tracking using Planar Structures in the Scene," Augmented Reality, 2000.(ISAR 2000), pp.120-128(2000.10.06.)*
Xiaowei Li외 3인, "Computing Homography with RANSAC Algorithm," SPIE Proceedings vol. 5637, pp.109-112(2005.02.28.)*

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102245760B1 (ko) * 2019-12-31 2021-04-29 주식회사 버넥트 테이블 탑 디바이스 및 이를 포함하는 테이블 탑 시스템

Also Published As

Publication number Publication date
KR20130051501A (ko) 2013-05-20
EP2614487A1 (en) 2013-07-17
US20120062702A1 (en) 2012-03-15
JP5660648B2 (ja) 2015-01-28
US9013550B2 (en) 2015-04-21
EP2614487B1 (en) 2021-01-06
US9558557B2 (en) 2017-01-31
KR20150082684A (ko) 2015-07-15
CN103155001A (zh) 2013-06-12
JP2013539872A (ja) 2013-10-28
CN103155001B (zh) 2017-09-08
WO2012034092A8 (en) 2012-10-18
WO2012034092A1 (en) 2012-03-15
US20150193935A1 (en) 2015-07-09

Similar Documents

Publication Publication Date Title
KR101689923B1 (ko) 다중 사용자 증강 현실을 위한 온라인 참조 생성 및 추적
US11481982B2 (en) In situ creation of planar natural feature targets
US9582707B2 (en) Head pose estimation using RGBD camera
KR101585521B1 (ko) 장면 구조-기반 자가-포즈 추정
US9269003B2 (en) Diminished and mediated reality effects from reconstruction
EP3251090B1 (en) Occlusion handling for computer vision
JP6258953B2 (ja) 単眼視覚ｓｌａｍのための高速初期化
US8638986B2 (en) Online reference patch generation and pose estimation for augmented reality
JP5774226B2 (ja) 方位センサに基づくホモグラフィ分解の曖昧性の解決
KR101863647B1 (ko) 3d 맵들에 대한 가설 라인 맵핑 및 검증
WO2023149118A1 (ja) プログラム、情報処理装置、および情報処理方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application
A107 Divisional application of patent
J201 Request for trial against refusal decision
J301 Trial decision

Free format text: TRIAL NUMBER: 2015101003673; TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20150626

Effective date: 20160923

S901 Examination by remand of revocation
GRNO Decision to grant (after opposition)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190924

Year of fee payment: 4