KR20210044506A - 증강 현실 객체를 표시하는 장치 및 그 동작 방법 - Google Patents

증강 현실 객체를 표시하는 장치 및 그 동작 방법 Download PDF

Info

Publication number
KR20210044506A
KR20210044506A KR1020190127750A KR20190127750A KR20210044506A KR 20210044506 A KR20210044506 A KR 20210044506A KR 1020190127750 A KR1020190127750 A KR 1020190127750A KR 20190127750 A KR20190127750 A KR 20190127750A KR 20210044506 A KR20210044506 A KR 20210044506A
Authority
KR
South Korea
Prior art keywords
augmented reality
reality object
display device
sensor data
viewpoint
Prior art date
Application number
KR1020190127750A
Other languages
English (en)
Inventor
하인우
홍성훈
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020190127750A priority Critical patent/KR20210044506A/ko
Priority to US16/879,859 priority patent/US11335066B2/en
Publication of KR20210044506A publication Critical patent/KR20210044506A/ko
Priority to US17/743,658 priority patent/US11798241B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

일 실시예에 따른 표시 장치 및 표시 장치의 동작 방법은 제1 시점의 적어도 하나의 제1 센서 데이터를 획득하고, 제1 센서 데이터를 기초로 제1 프로세서에서 생성된 제1 시점에 대응하는 제1 증강 현실 객체를 포함하는 제1 영상 프레임을 수신하고, 제1 시점에 후속하는 제2 시점의 제2 센서 데이터를 획득하여 제2 센서 데이터를 기초로 제1 증강 현실 객체를 제2 시점에 정합되는 제2 증강 현실 객체로 보정하며, 제2 증강 현실 객체를 포함하는 제2 영상 프레임을 표시한다.

Description

증강 현실 객체를 표시하는 장치 및 그 동작 방법{APPARATUS OF DISPLAYING AUGMENTED REALITY OBJECT AND OPERATING METHODE THEREOF}
아래의 실시예들은 증강 현실 객체를 표시하는 장치 및 그 동작 방법에 관한 것이다.
가상 현실(Virtual Reality; VR)은 현실에서 존재하지 않는 가상 객체를 디스플레이 및/또는 가상 렌더링 장치를 통해 사용자로 하여금 볼 수 있게 한다. 가상 렌더링 장치는 가상 현실 객체를 이미 제작된 2차원 또는 3차원 기반의 가상 환경을 투사하므로 사용자가 현실과 다른 가상 공간 안에 몰입하게 된다. 증강 현실(Augmented Reality; AR)은 가상 현실과는 달리 사용자가 현재 보고 있는 실제 환경에 가상 객체를 부가하는 형태로 제공될 수 있다. 증강 현실은 사용자가 바라보는 실제 환경에 가상 객체를 결합시키므로 실제 환경과 가상 객체가 제대로 정합되지 않는 경우, 증강 현실 영상을 바라보는 사용자로 하여금 영상의 부정합에 의한 어지러움, 멀미 및 두통 등을 유발시킬 수 있다.
일 측에 따르면, 표시 장치의 동작 방법은 제1 시점의 적어도 하나의 제1 센서 데이터를 획득하는 단계; 상기 제1 센서 데이터를 기초로, 제1 프로세서에서 생성된 상기 제1 시점에 대응하는 제1 증강 현실(Augmented Reality; AR) 객체를 포함하는 제1 영상 프레임을 수신하는 단계; 상기 제1 시점에 후속하는 제2 시점의 제2 센서 데이터를 획득하는 단계; 상기 제2 센서 데이터를 기초로, 상기 제1 증강 현실 객체를 상기 제2 시점에 정합되는 제2 증강 현실 객체로 보정하는 단계; 및 상기 제2 증강 현실 객체를 포함하는 제2 영상 프레임을 표시하는 단계를 포함한다.
상기 제2 증강 현실 객체로 보정하는 단계는 상기 제2 센서 데이터를 기초로, 상기 제1 증강 현실 객체에 대한 RGB 정보 및 깊이 정보 중 적어도 하나에 기초한 2차원 영상 처리, 및 상기 제1 증강 현실 객체에 대한 3차원 영상 처리 중 적어도 하나의 영상 처리를 수행함으로써 상기 제2 증강 현실 객체로 보정하는 단계를 포함할 수 있다.
상기 제2 증강 현실 객체로 보정하는 단계는 상기 제1 센서 데이터와 상기 제2 센서 데이터 간의 차이를 기초로, 영상 처리를 위한 연산을 수행함으로써 상기 제2 증강 현실 객체로 보정하는 단계를 포함할 수 있다.
상기 영상 처리를 위한 연산은 상기 제1 센서 데이터 및 상기 제2 센서 데이터를 감지하는 적어도 하나의 센서의 유형, 및 상기 제2 증강 현실 객체가 이용되는 응용 분야 중 적어도 하나를 기초로 변경될 수 있다.
상기 제2 증강 현실 객체로 보정하는 단계는 상기 제1 센서 데이터와 상기 2 센서 데이터 간의 차이를 기초로, 쉬프트 연산(shift operation)에 의해 상기 제1 증강 현실 객체의 위치를 이동시킴으로써 상기 제2 증강 현실 객체로 보정하는 단계를 포함할 수 있다.
상기 제2 증강 현실 객체로 보정하는 단계는 상기 제1 영상 프레임에서 일부 영역에 해당하는 상기 제1 증강 현실 객체를 부분 렌더링(partial rendering)하는 단계; 및 상기 부분 렌더링된 제1 증강 현실 객체를 상기 제2 시점에 대응하는 제2 영상 프레임에 정합시키는 단계를 포함할 수 있다.
상기 제2 센서 데이터는 관성 센서에 의해 획득된 상기 제2 시점에 대응하는 제2 움직임 정보를 포함하고, 상기 제2 증강 현실 객체로 보정하는 단계는 상기 제2 움직임 정보를 기초로, 상기 제1 센서 데이터를 감지하는 센서의 동작 주파수 및 상기 제1 증강 현실 객체의 해상도 중 적어도 하나를 조정함으로써 상기 제2 증강 현실 객체로 보정하는 단계를 포함할 수 있다.
상기 제2 움직임 정보는 상기 제2 시점에 대응하는 사용자의 움직임, 상기 제2 센서 데이터에 포함된 대상 객체의 움직임, 및 상기 제2 시점에 대응하는 상기 표시 장치의 움직임 중 적어도 하나를 포함할 수 있다.
상기 제2 증강 현실 객체로 보정하는 단계는 상기 제2 움직임 정보가 상기 제1 시점에 대응하는 제1 움직임 정보보다 큰 경우, 상기 센서의 동작 주파수를 증가시키고, 상기 제1 증강 현실 객체의 해상도를 감소시켜 상기 제2 증강 현실 객체로 보정하는 단계; 및 상기 제2 움직임 정보가 상기 제1 움직임 정보보다 작거나 같은 경우, 상기 센서의 동작 주파수를 감소시키고, 상기 제1 증강 현실 객체의 해상도를 증가시켜 상기 제2 증강 현실 객체로 보정하는 단계 중 적어도 하나를 포함할 수 있다.
상기 제2 센서 데이터는 상기 표시 장치를 사용하는 사용자의 시선(gaze)을 감지하는 시선 센서에 의해 획득된 상기 제2 시점에 대응하는 시선 정보를 포함하고, 상기 제2 증강 현실 객체로 보정하는 단계는 상기 제2 시점에 대응하는 시선 정보를 기초로, 상기 제1 증강 현실 객체의 해상도를 조정하는 단계를 포함할 수 있다.
상기 제1 증강 현실 객체의 해상도를 조정하는 단계는 상기 제2 시점에 대응하는 시선 정보에 따른 포커싱 영역(focusing area)에 포함된 제1 증강 현실 객체에 대한 업-샘플링(up-sampling)을 수행함으로써 상기 제1 증강 현실 객체의 해상도를 증가시키는 단계; 및 상기 시선 정보에 따른 디포커싱 영역(defocusing area)에 포함된 제1 증강 현실 객체에 대한 블러(blur) 연산을 수행함으로써 상기 제1 증강 현실 객체의 해상도를 감소시키는 단계 중 적어도 하나를 포함할 수 있다.
상기 제2 센서 데이터는 깊이 센서에 의해 감지된 상기 제2 시점에 대응하는 배경 영역의 제2 깊이 값을 포함하고, 상기 제2 증강 현실 객체로 보정하는 단계는 상기 제1 증강 현실 객체의 제1 깊이 값과 상기 제2 깊이 값을 기초로, 상기 제1 증강 현실 객체와 상기 배경 영역 간의 배치 관계를 결정하는 단계; 및 상기 배치 관계를 기초로, 상기 제1 증강 현실 객체의 적어도 일부 영역에 대한 가림(occlusion) 처리를 수행하는 단계를 포함할 수 있다.
상기 표시 장치의 동작 방법은 상기 제1 프로세서와의 동기화 여부와 무관하게, 상기 제1 프로세서와 디스플레이 간의 동기화를 위한 동기화 신호를 갱신하는 단계를 더 포함할 수 있다.
상기 제1 프로세서는 상기 표시 장치, 상기 표시 장치와 구별되는 외부 기기 및 클라우드 서버 중 적어도 하나에 포함되고, 3차원 렌더링에 의해 상기 제1 증강 현실 객체를 생성할 수 있다.
상기 표시 장치는 디스플레이(display)를 포함하는 스마트 안경(smart glasses), 웨어러블 디바이스(wearable device), 증강 현실 기기(AR device), 사용자 단말 및 헤드-업 디스플레이(Head-Up Display) 중 적어도 하나를 포함할 수 있다.
상기 제1 센서 데이터 및 상기 제2 센서 데이터 중 적어도 하나는 상기 표시 장치에 포함된 카메라 센서, 관성(Inertial Measurement Unit; IMU) 센서, 시선(gaze) 센서, 눈 추적기(eye tracker), 및 깊이 센서 중 적어도 하나에 의해 감지될 수 있다.
일 측에 따르면, 표시 장치는 제1 시점의 적어도 하나의 제1 센서 데이터를 획득하고, 상기 제1 시점에 후속하는 제2 시점의 제2 센서 데이터를 획득하는 적어도 하나의 센서; 상기 제1 센서 데이터를 기초로 제1 프로세서에서 생성된 상기 제1 시점에 대응하는 제1 증강 현실 객체를 포함하는 제1 영상 프레임을 수신하는 통신 인터페이스; 상기 제2 센서 데이터를 기초로, 상기 제1 증강 현실 객체를 상기 제2 시점에 정합되는 제2 증강 현실 객체로 보정하는 프로세서; 및 상기 제2 증강 현실 객체를 포함하는 제2 영상 프레임을 표시하는 디스플레이를 포함한다.
상기 프로세서는 상기 제2 센서 데이터를 기초로, 상기 제1 증강 현실 객체에 대한 RGB 정보 및 깊이 정보 중 적어도 하나에 기초한 2차원 영상 처리, 및 상기 제1 증강 현실 객체에 대한 3차원 영상 처리 중 적어도 하나의 영상 처리를 수행함으로써 상기 제1 증강 현실 객체를 상기 제2 증강 현실 객체로 보정할 수 있다.
상기 프로세서는 상기 제1 센서 데이터와 상기 제2 센서 데이터 간의 차이를 기초로, 상기 영상 처리를 위한 연산을 수행함으로써 상기 제1 증강 현실 객체를 상기 제2 증강 현실 객체로 보정할 수 있다.
도 1은 일 실시예에 따른 증강 현실 객체를 표시하는 표시 장치의 동작 개요를 설명하기 위한 도면.
도 2는 일 실시예에 따른 증강 현실 객체를 표시하는 표시 장치의 동작 방법을 나타낸 흐름도.
도 3은 일 실시예에 따른 증강 현실 객체를 표시하는 표시 장치의 동작 과정을 설명하기 위한 도면.
도 4는 일 실시예에 따른 제2 프로세서가 증강 현실 객체를 보정하는 과정을 설명하기 위한 도면.
도 5를 참조하면, 일 실시예에 따른 일부 렌더링에 의해 증강 현실 객체를 보정하는 방법을 설명하기 위한 도면.
도 6은 일 실시예에 따른 사용자의 시선 정보에 기초하여 증강 현실 객체를 보정하는 방법을 설명하기 위한 도면.
도 7은 일 실시예에 따른 제2 프로세서가 동기화 신호를 비동기적으로 갱신하는 방법을 설명하기 위한 도면.
도 8은 일 실시예에 따른 증강 현실 객체를 표시하는 표시 장치의 블록도
이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 그러나, 특허출원의 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
아래 설명하는 실시예들에는 다양한 변경이 가해질 수 있다. 아래 설명하는 실시예들은 실시 형태에 대해 한정하려는 것이 아니며, 이들에 대한 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
실시예에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 실시예를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 일 실시예에 따른 증강 현실 객체를 표시하는 표시 장치의 동작 개요를 설명하기 위한 도면이다. 도 1을 참조하면, 일 실시예에 따른 증강 현실 객체를 표시하는 장치(이하, '표시 장치')(100)는 프로세서(110) 및 디스플레이(130)를 포함한다.
GPU(Graphic Processing Unit)(50)는 3차원 렌더링된 증강 현실 객체를 포함하는 2차원 영상을 생성할 수 있다. GPU(50)는 높은 연산량으로 인해 높은 레이턴시(high latency)를 가질 수 있다.
표시 장치(100)는 GPU(50)에서 3차원 렌더링된 증강 현실 객체를 포함하는 영상 프레임을 수신할 수 있다. 영상 프레임은 예를 들어, 표시 장치(100)의 프로세서(110)와 GPU(50) 간의 HDMI(High Definition Multimedia Interface) 케이블을 통한 유선 통신, 또는 와이파이(Wi-Fi) 등과 같은 무선 통신에 의해 표시 장치(100)의 프로세서(110)로 전달될 수 있다. 이때, GPU(50)가 프로세서(110)에게 전송한 영상 프레임은 예를 들어, 16.6ms 보다 큰 레이턴시를 가질 수 있다. 따라서, GPU(50)에서 영상 프레임이 생성된 제1 시점(t-1)과 GPU(50)가 프로세서(110)에게 전송한 영상 프레임이 프로세서(110)에 수신되어 디스플레이(130)에서 재생되는 제2 시점(t) 간에는 상당한 시간 차가 발생할 수 있다. 이 경우, 제1 시점의 데이터에 기초하여 렌더링된 3차원 증강 현실 객체는 제2 시점의 배경 환경과 정합되지 않을 수 있다.
일 실시예에 따른 프로세서(110)는 GPU(50)로부터 수신한 2차원 영상 프레임에 대한 간단한 산술적 연산을 통해 제1 시점의 데이터에 기초하여 렌더링된 증강 현실 객체가 제2 시점의 데이터에 맞게 정합되도록 증강 현실 객체를 보정할 수 있다. 프로세서(110)는 예를 들어, 쉬프트(shift) 연산, 부분 렌더링(partial rendering), 업 샘플링(up sampling) 연산, 다운 샘플링 연산, 블러(blur) 연산 및 부분 렌더링(partial rendering) 등과 같이 2차원의 증강 현실 객체에 대한 간단한 산술적 연산을 통해 증강 현실 객체를 보정할 수 있다.
프로세서(110)는 증강 현실의 환경 특성을 고려한 프로세싱 유닛으로서, GPU(50)보다 낮은 연산력(computation power)을 가지는 2D 이미지 프로세서일 수 있다. 프로세서(110)는 예를 들어, 프로그래머블 증강 현실 프로세서 유닛(programmable AR processor Unit; 이하, ARPU)일 수 있다.
프로세서(110)는 예를 들어, GPU(50)의 프레임 버퍼(frame buffer)에 저장된 증강 현실 객체를 수신하고, 각종 센서 데이터에 의해 처리해 최종적으로 보정된 증강 현실 객체를 디스플레이(130)에 출력할 수 있다. 프로세서(110)는 표시 장치(100) 내에서 디스플레이(130)로 데이터 또는 영상을 전송하는 경우에 레이턴시(latency)를 최소화할 수 있는 위치, 다시 말해 디스플레이(130)에 인접한 위치에 배치될 수 있다.
일 실시예에 따른 표시 장치(100)는 예를 들어, 디스플레이(display)(130)를 포함하는 스마트 안경(smart glasses), 웨어러블 디바이스(wearable device), 증강 현실 기기(AR device), 스마트 폰과 같은 사용자 단말(User Terminal) 이거나, 또는 헤드-업 디스플레이(Head-Up Display)일 수 있다. 웨어러블 디바이스는 예를 들어, 헤드 마운티드(Head mounted) 웨어러블 디바이스 또는 손목 시계형 웨어러블 디바이스일 수 있다.
도 2는 일 실시예에 따른 증강 현실 객체를 표시하는 표시 장치의 동작 방법을 나타낸 흐름도이다. 도 2를 참조하면, 일 실시예에 따른 제2 프로세서를 포함하는 표시 장치의 동작이 도시된다. 표시 장치는 제1 시점의 적어도 하나의 제1 센서 데이터를 획득한다(210).
표시 장치는 제1 센서 데이터를 기초로, 제1 프로세서에서 생성된 제1 시점에 대응하는 제1 증강 현실(Augmented Reality; AR) 객체를 포함하는 제1 영상 프레임을 수신한다(220). 이때, 제1 프로세서는 예를 들어, 해당 표시 장치 내에 포함될 수도 있고, 또는 표시 장치와 구별되는 외부 기기 또는 클라우드 서버(Cloud Server)에 포함될 수도 있다. 제1 프로세서는 예를 들어, 증강 현실 객체의 3차원 렌더링과 같은 복잡한 연산을 수행하는 GPU 일 수 있다. 제1 프로세서는 제1 시점의 적어도 하나의 제1 센서 데이터를 기초로 3차원 렌더링에 의해 제1 시점에 대응하는 제1 증강 현실 객체를 생성할 수 있다.
표시 장치는 제1 시점에 후속하는 제2 시점의 제2 센서 데이터를 획득한다(230). 일 실시예에서 제1 센서 데이터 및/또는 제2 센서 데이터는 예를 들어, 표시 장치에 포함된 RGB 카메라 센서, 관성(Inertial Measurement Unit; IMU) 센서, 시선(gaze) 센서, 눈 추적기(eye tracker), 및 깊이 센서 중 적어도 하나에 의해 감지될 수 있다. 이때, 제1 시점의 제1 센서 데이터와 제2 시점의 제2 센서 데이터는 서로 동일한 유형의 센서에 의해 감지된 데이터일 수 있다.
표시 장치는 제2 센서 데이터를 기초로, 제1 증강 현실 객체를 제2 시점에 정합되는 제2 증강 현실 객체로 보정한다(240). 표시 장치에 포함된 제2 프로세서는 제2 센서 데이터를 기초로, 제1 프로세서에 의해 생성된 제1 증강 현실 객체를 제2 시점에 정합되는 제2 증강 현실 객체로 보정할 수 있다. 표시 장치는 제2 센서 데이터를 기초로, 제1 증강 현실 객체에 대한 RGB 정보 및 깊이 정보 중 적어도 하나에 기초한 2차원 영상 처리, 및 제1 증강 현실 객체에 대한 3차원 영상 처리 중 적어도 하나의 영상 처리를 수행함으로써 제2 증강 현실 객체로 보정할 수 있다.
표시 장치는 예를 들어, 제1 센서 데이터와 제2 센서 데이터 간의 차이를 기초로, 영상 처리를 위한 연산을 수행함으로써 제2 증강 현실 객체로 보정할 수 있다. 영상 처리를 위한 연산은 2차원의 증강 현실 객체에 대한 간단한 산술적 연산에 해당할 수 있다. 영상 처리를 위한 연산은 예를 들어, 쉬프트(shift) 연산, 부분 렌더링(partial rendering), 포지셔닝 연산 업 샘플링(up sampling) 연산, 다운 샘플링 연산, 블러(blur) 연산, 및 깊이 연산 등을 포함할 수 있으며, 반드시 이에 한정되지는 않는다. 포지셔닝 연산은 증강 현실 객체의 위치를 산출하기 위한 연산, 다시 말해 측위 연산에 해당할 수 있다.
예를 들어, 클라우드를 사용하는 경우, 실제 렌더링 연산은 클라우드에서 처리하고, 표시 장치는 클라우드에서 계산된 결과를 간단히 보정할 수 있다.
영상 처리를 위한 연산은 예를 들어, 제1 센서 데이터 또는 제2 센서 데이터를 감지하는 센서의 유형, 및 제2 증강 현실 객체가 이용되는 응용 분야 중 적어도 하나를 기초로 변경될 수 있다. 센서의 유형은 예를 들어, RGB 카메라 센서, 관성 센서, 시선 센서, 눈 추적기, 및 깊이 센서 등을 포함할 수 있으며, 반드시 이에 한정되지 않는다.
일 실시예에 따른 표시 장치가 영상 처리를 위한 연산을 통해 제1 증강 현실 객체를 제2 증강 현실 객체로 보정하는 방법은 아래의 도 4 내지 도 7을 참조하여 구체적으로 설명한다. 또한, 표시 장치는 제1 프로세서의 렌더링 시작 시점 이후에 변화된 카메라(camera)의 위치 및/또는 대상 객체(target object)의 위치에 기초하여 제1 영상 프레임에 포함된 제1 증강 현실 객체를 이미지 레벨(image-level)로 제2 증강 현실 객체로 보정할 수 있다.
표시 장치는 제2 증강 현실 객체를 포함하는 제2 영상 프레임을 표시한다(250). 표시 장치는 예를 들어, 도 8에 도시된 디스플레이(870)와 같이 표시 장치에 포함된 디스플레이를 통해 제2 영상 프레임을 표시할 수 있다.
도 3은 일 실시예에 따른 증강 현실 객체를 표시하는 표시 장치의 동작 과정을 설명하기 위한 도면이다. 도 3을 참조하면, 일 실시예에 따른 표시 장치(300)는 센서들(310), 디스플레이(130) 및 제2 프로세서(110)를 포함할 수 있다.
센서들(310)은 예를 들어, RGB 카메라 센서, 관성 센서, 시선 센서, 눈 추적기, 및 깊이 센서 등을 포함할 수 있다.
표시 장치(300)는 센서들(310)을 통해 획득한 t-1 시점의 적어도 하나의 센서 데이터(SDt - 1)를 제2 프로세서(110)에게 전달하는 한편, 장치(350)에게 전달할 수 있다. 장치(350)는 표시 장치(300)로부터 수신한 t-1 시점의 적어도 하나의 센서 데이터(SDt-1)를 기초로 정밀한 포즈를 계산할 수 있다. 장치(350)는 포즈 계산 결과를 기초로 t-1 시점에 대응하는 3차원 증강 현실 객체를 모델링할 수 있다. 장치(350)는 제1 프로세서(50)에 의해 3차원 증강 현실 객체를 렌더링하여 t-1 시점에 대응하는 영상 프레임(ARt - 1)을 생성할 수 있다. 영상 프레임(ARt - 1)은 t-1 시점에 대응하는 제1 증강 현실 객체를 포함하는 2차원 영상일 수 있다.
장치(350)는 영상 프레임(ARt - 1)을 표시 장치(300)로 전송할 수 있다. 영상 프레임(ARt-1)은 예를 들어, 16.6ms 이상의 레이턴시를 갖고 표시 장치(300)로 전송될 수 있다.
예를 들어, 영상 프레임(ARt - 1)이 장치(350)에 전송된 시점을 t 시점이라고 하면, 표시 장치(300)는 센서들(310)을 이용하여 t 시점의 적어도 하나의 센서 데이터(SDt)를 획득할 수 있다. 표시 장치(300)의 제2 프로세서(110)는 t 시점의 적어도 하나의 센서 데이터(SDt)를 기초로, 영상 프레임(ARt - 1)에 포함된 t-1 시점에 대응하는 제1 증강 현실 객체를 t 시점에 정합되는 제2 증강 현실 객체로 보정할 수 있다.
표시 장치(300)는 디스플레이(130)를 통해 제2 증강 현실 객체를 포함하는 t 시점에 대응하는 영상 프레임(ARt)을 표시할 수 있다. 제2 프로세서(110)는 t-1 시점의 적어도 하나의 센서 데이터(SDt - 1)와 t 시점의 적어도 하나의 센서 데이터(SDt) 간의 차이를 기초로, 2차원 영상 처리를 위한 연산을 수행함으로써 t-1 시점에 대응하는 영상 프레임(ARt - 1)을 t 시점에 대응하는 영상 프레임(ARt)으로 보정할 수 있다. 이때, 2차원 영상 처리를 위한 연산은 예를 들어, 센서 데이터들을 감지하는 센서들(310)의 유형, 및 제2 증강 현실 객체가 이용되는 응용 분야 중 적어도 하나를 기초로 변경될 수 있다.
장치(350)는 표시 장치(300)의 내부에 포함된 장치일 수도 있고, 클라우드 서버 등과 같이 네트워크를 통해 표시 장치(300)와 통신하는 외부 장치일 수도 있다. 제1 프로세서(50)는 예를 들어, GPU, NPU(Neural Network Processing Unit) 또는 CPU(Central Processing Unit) 등과 같이 3차원 렌더링을 수행할 수 있는 장치일 수 있다.
일 실시예에 따른 표시 장치(300)는 장치(350)에서의 복잡한 처리를 통해 생성된 t-1 시점에 대응하는 영상 프레임에 대한 간단한 연산을 수행함으로써 레이턴시를 최소화 하면서 사용자에게 t 시점에 정합된 영상 프레임을 제공할 수 있다.
도 4는 일 실시예에 따른 제2 프로세서가 증강 현실 객체를 보정하는 과정을 설명하기 위한 도면이다. 도 4의 (a)를 참조하면, 제1 시점(t)에 대응하여 제1 프로세서(예를 들어, GPU)에서 렌더링된 증강 현실 객체들을 포함하는 영상 프레임(410) 및 제2 프로세서(예를 들어, ARPU)에서 제2 시점(t+30ms)에 대응하여 이동된 증강 현실 객체들을 포함하는 영상 프레임(430)이 도시된다. 도 4에서 점선은 제1 프로세서에 의해 수행된 동작에 해당하고, 실선은 제2 프로세서에 의해 수행된 동작에 해당할 수 있다.
일 실시예에 따른 표시 장치는 제1 시점(t)의 센서 데이터와 제2 시점(t+30ms)의 데이터 간의 차이를 기초로, 쉬프트 연산(shift operation)에 의해 영상 프레임(410)에 포함된 제1 증강 현실 객체의 위치를 이동시킴으로써 제1 시점(t)에 대응하는 제1 증강 현실 객체를 제2 시점(t+30ms)에 대응하는 제2 증강 현실 객체로 보정할 수 있다. 예를 들어, 센서 데이터가 RGB 카메라에 의해 촬영된 영상 데이터인 경우, 표시 장치는 제1 시점(t)의 영상과 제2 시점(t+30ms)의 영상에 포함된 객체들 간의 거리 차이 또는 좌표 차이만큼 제1 증강 현실 객체의 위치를 상, 하, 좌, 또는 우로 쉬프트 시킴으로써 제2 시점(t+30ms)에 대응하는 제2 증강 현실 객체로 보정할 수 있다. 이러한 보정을 통해 표시 장치는 증강 현실 객체의 정합 오차로 인한 사용자의 어지러움 등을 방지할 수 있다.
도 4의 (b)를 참조하면, 제1 시점(t)에 대응하여 제1 프로세서에 의해 포지셔닝(positioning) 연산 없이 증강 현실 객체들을 렌더링한 결과 영상(450), 제2 프로세서에 의해 산출된 제2 시점(t+30ms)의 포지셔닝 결과를 나타낸 영상(470), 및 영상(450)에 포함된 증강 현실 객체들을 영상(470)의 포지셔닝 결과에 맞춰 배치한 영상(490)이 도시된다.
일 실시예에 따른 표시 장치는 제1 프로세서에 의해 포지션닝 연산 없이 렌더링된 증강 현실 객체를 제2 시점(t+30ms)의 포지셔닝 결과에 따라 배치함으로써 제1 시점(t)에 대응하는 제1 증강 현실 객체를 제2 시점(t+30ms)에 대응하는 제2 증강 현실 객체로 보정할 수 있다.
도 5를 참조하면, 일 실시예에 따른 일부 렌더링에 의해 증강 현실 객체를 보정하는 방법을 설명하기 위한 도면이다. 도 5를 참조하면, 제1 프로세서에 의해 전체 렌더링(Full rendering)된 제1 시점에 대응하는 증강 현실 객체를 포함하는 제1 영상 프레임(510) 및 제2 프로세서에 의해 일부 렌더링(Partial rendering)된 증강 현실 객체(530)를 전체 스크린(Full screen)에 표시한 제2 영상 프레임(550)이 도시된다. 제1 프로세서는 최종 렌더링 결과를 생성하므로 부분 렌더링을 수행할 수 없다.
예를 들어, 제1 영상 프레임(510)에서 원통 기둥 형태로 표시된 증강 현실 객체를 제외한 나머지 영역이 투명하고(transparent), 제1 영상 프레임(510)의 전체 해상도는 2000 x 1000 이라고 가정하자. 또한, 제1 영상 프레임(510)의 대부분에는 컨텐츠가 없고, 100 x 100 영역에만 컨텐츠에 해당하는 증강 현실 객체(530)가 있다고 가정하자.
이 경우, 표시 장치는 제1 시점에 대응하는 제1 영상 프레임(510)에서 컨텐츠인 증강 현실 객체(530)에 해당하는 영역만을 부분 렌더링할 수 있다. 이때, 표시 장치는 제1 영상 프레임(510)에서 컨텐츠가 없는 투명한 영역에 대한 렌더링은 수행하지 않을 수 있다.
증상 현실 영상의 특성상, 전체 해상도의 대부분은 투명하게 나오고 일부분의 해상도에서만 실제 색상을 가진 컨텐츠가 존재할 수 있다. 따라서, 증강 현실 객체는 가상 현실 객체(Virtual Reality(VR) object)와 달리 렌더링할 객체의 크기가 크지 않으므로 간단한 연산을 수행하는 제2 프로세서에 의해 충분히 부분 렌더링될 수 있다. 예를 들어, 표시 장치는 제1 영상 프레임(510)에서 일부 영역에 해당하는 증강 현실 객체(530)를 부분 렌더링하고, 제2 영상 프레임(550)의 2000x1000 전체 영상 중 원하는 위치 또는 영역에 렌더링 된 증강 현실 객체(530)를 정합할 수 있다. 표시 장치는 부분 렌더링된 증강 현실 객체(530)를 제2 시점에 대응하는 전체 스크린(Full screen) 영상에 배치시켜 제2 영상 프레임(550)을 생성할 수 있다. 이러한 과정에서 표시 장치는 시간의 변화에 따른 증강 현실 객체(530)의 추가 움직임을 반영할 수 있다.
표시 장치는 실제 색상을 가진 컨텐츠에 해당하는 증강 현실 객체를 부분 렌더링함으로써 렌더링 속도를 향상시키는 한편, 부분 렌더링된 증강 현실 객체를 제2 영상 프레임에 정합함으로써 렌더링 시간뿐만 아니라 전송 대역폭(bandwidth) 또한 크게 절감할 수 있다. 이때, 표시 장치는 울퉁불퉁한 화소 모서리(aliasing)를 없애 영상을 부드럽게 하는 슈퍼 샘플링(Super sampling)에 의해 증강 현실 객체(530)를 부분 렌더링할 수 있다.
도 6은 일 실시예에 따른 사용자의 시선 정보에 기초하여 증강 현실 객체를 보정하는 방법을 설명하기 위한 도면이다. 도 6을 참조하면, 일 실시예에 따라 실시간 추적된 사용자의 눈의 위치 또는 시선 정보에 따른 포커싱 영역(focusing area)(640) 및 그 외의 디포커싱 영역(defocusing area)을 포함하는 영상 프레임(600)이 도시된다. 디포커싱 영역은 영상 프레임(610)에서 포커싱 영역(640)을 제외한 나머지 영역에 해당할 수 있다.
일 실시예에 따른 표시 장치는 실시간 추적된 사용자의 눈의 위치 또는 시선 정보에 따라 영상 프레임(600)에서 포커싱 영역(640)을 업-샘플링(up-sampling)하여 높은 해상도로 선명하게 표현하고, 포커싱 영역(640) 이외의 디포커싱 영역을 블러링(blurring)하여 낮은 해상도로 흐리게 표현할 수 있다.
예를 들어, 표시 장치는 사용자의 시선(gaze)을 감지하는 시선 센서를 포함하고, 시선 센서는 제1 시점에 대응하는 시선 정보와 제2 시점에 대응하는 시선 정보를 획득할 수 있다. 영상 프레임(600)에 포함된 제1 증강 현실 객체들(610, 620, 630) 중 제1 증강 현실 객체(630)이 제2 시점에 대응하는 시선 정보 내에 포함된다고 하자.
표시 장치는 제2 시점에 대응하는 시선 정보를 기초로, 제1 증강 현실 객체들(610, 620, 630)의 해상도를 조정함으로써 제2 증강 현실 객체로 보정할 수 있다. 표시 장치는 예를 들어, 제2 시점에 대응하는 시선 정보에 따른 포커싱 영역(640)에 포함된 제1 증강 현실 객체(630)에 대한 업-샘플링을 수행함으로써 제1 증강 현실 객체(630)의 해상도를 증가시켜 제2 증강 현실 객체로 보정할 수 있다. 또는 표시 장치는 제2 시점에 대응하는 시선 정보에 따른 디포커싱 영역에 포함된 제1 증강 현실 객체(610, 620)에 대한 블러(blur) 연산을 수행함으로써 제1 증강 현실 객체(610, 620)의 해상도를 감소시켜 제2 증강 현실 객체로 보정할 수 있다.
실시예에 따라서, 표시 장치는 디포커싱 영역에 비해 포커싱 영역(640)을 더 높은 해상도로 캡쳐(capture)하거나, 또는 디포커싱 영역에 비해 포커싱 영역(640)을 더 높은 해상도로 표시할 수 있다.
또는 표시 장치는 관성 센서를 포함하고, 관성 센서에 의해 감지한 제2 움직임 정보에 의해 제1 증강 현실 객체를 제2 증강 현실 객체로 보정할 수 있다. 제2 움직임 정보는 예를 들어, 제2 시점에 대응하는 사용자의 움직임, 제2 센서 데이터에 포함된 대상 객체의 움직임, 및 제2 시점에 대응하는 표시 장치의 움직임 등을 포함할 수 있다. 표시 장치는 제2 움직임 정보를 기초로, 제1 센서 데이터를 감지하는 센서의 동작 주파수 및 제1 증강 현실 객체의 해상도 중 적어도 하나를 조정함으로써 제2 증강 현실 객체로 보정할 수 있다.
예를 들어, 제2 시점의 제2 움직임 정보가 제1 시점의 제1 움직임 정보보다 큰 경우, 표시 장치는 제1 증강 현실 객체의 디테일(detail)이나 정확도(accuracy) 대신에 속도에 중점을 두어 제1 증강 현실 객체를 제2 증강 현실 객체로 보정할 수 있다. 표시 장치는 예를 들어 관성 센서 및/또는 디스플레이의 동작 주파수를 증가시키고, 제1 증강 현실 객체의 해상도를 감소시켜 제2 증강 현실 객체로 보정할 수 있다. 여기서, '관성 센서 및/또는 디스플레이의 동작 주파수를 증가시킨다'는 것은 영상 프레임의 개수를 증가시킨다는 것으로 이해될 수 있다.
또는 예를 들어, 제2 시점의 제2 움직임 정보가 제1 시점의 제1 움직임 정보보다 작거나 같은 경우, 표시 장치는 제1 증강 현실 객체의 디테일 또는 정확도에 중점을 두어 제2 증강 현실 객체로 보정할 수 있다. 표시 장치는 관성 센서 및/또는 디스플레이의 동작 주파수를 감소시키고, 제1 증강 현실 객체의 해상도를 증가시켜 제2 증강 현실 객체로 보정할 수 있다. 여기서, '관성 센서 및/또는 디스플레이의 동작 주파수를 감소시킨다'는 것은 영상 프레임의 개수를 감소시킨다는 의미로 이해될 수 있다.
실시예에 따라서, 표시 장치는 관성 센서 및/또는 시선 센서에 의해 획득된 센서 데이터에 의해 카메라의 포커싱 영역을 조절할 수도 있다.
또는 실시예에 따라서, 표시 장치는 깊이 센서를 포함하고, 깊이 센서에 의해 제1 시점에 대응하는 제1 증강 현실 객체의 제1 깊이 값을 포함하는 제1 센서 데이터 및 제2 시점에 대응하는 배경 영역의 제2 깊이 값을 포함하는 제2 센서 데이터를 획득할 수 있다. 표시 장치는 제1 증강 현실 객체의 제1 깊이 값과 배경 영역의 제2 깊이 값을 기초로, 제1 증강 현실 객체와 배경 영역 간의 배치 관계를 결정할 수 있다. 표시 장치는 배치 관계를 기초로, 제1 증강 현실 객체의 적어도 일부 영역에 대한 가림(occlusion) 처리를 수행할 수 있다.
예를 들어, 제1 증강 현실 객체의 일부와 배경 영역이 겹쳐 있고, 제1 증강 현실 객체의 제1 깊이 값이 배경 영역의 제2 깊이 값보다 크다고 하자. 여기서, 제1 깊이 값이 제2 깊이 값보다 크다는 것은 제1 증강 현실 객체가 배경 영역에 비해 뒤에 위치한다는 것을 의미한다. 표시 장치는 제1 증강 현실 객체와 배경 영역 간의 선, 후 배치 관계에 따라 제1 증강 현실 객체에서 배경 영역과 겹치는 일부 영역을 제거하는 가림 처리를 수행함으로써 제2 증강 현실 객체로 보정할 수 있다.
도 7은 일 실시예에 따른 제2 프로세서가 동기화 신호를 비동기적으로 갱신하는 방법을 설명하기 위한 도면이다. 도 7을 참조하면, 일 실시예에 따른 제2 프로세서(예를 들어, ARPU)를 사용하지 않은 경우의 동기화 신호(예를 들어, Vsync 신호)에 따른 제1 프로세서(예를 들어, GPU)의 동작을 도시한 도면(710) 및 제2 프로세서(ARPU)를 사용한 경우에 동기화 신호에 따른 제1 프로세서의 동작을 도시한 도면(730)이 도시된다. 동기화 신호는 예를 들어, Vsync(vertical synchronization) 신호일 수 있다.
Vsync 신호는 제1 프로세서가 영상 프레임을 생성하는 타이밍과 디스플레이의 프레임 출력 타이밍을 동기화시키기 위한 신호에 해당할 수 있다. 예를 들어, 디스플레이가 초당 60 프레임을 표시하고(재생률 60Hz), 제1 프로세서가 초당 100 프레임을 표시할 수 있다 하자.
도면(710)과 같이 제2 프로세서(ARPU)를 사용하지 않은 경우, 동기화 신호에 의해 디스플레이와 제1 프로세서가 동기화되면, 제1 프로세서는 디스플레이의 재생률에 동기화되어 초당 60 프레임을 표시하게 되므로 AR 객체의 렌더링이 종료(705)한 후에도 동기화 신호를 기다려야 한다. 이 경우, 제1 프로세서는 최대 렌더링 시간 장면이 동기화 신호 전에 처리되도록 하기 위해 전체 렌더링 화질을 낮추거나, 또는 제1 프로세서가 다음 동기화 신호를 기다리는 대기 시간의 낭비가 발생할 수 있다.
이와 달리, 일 실시예에서는 도면(730)과 같이 AR 객체의 렌더링이 종료한 후, 제2 프로세서(ARPU)를 사용하여 동기화 신호를 처리함으로써 제1 프로세서와 디스플레이 간의 동기화 여부와 무관하게 제1 프로세서가 증강 현실 객체를 렌더링하여 디스플레이를 통해 표시하도록 할 수 있다. 제2 프로세서는 상기 제1 프로세서와의 동기화 여부와 무관하게, 제1 프로세서와 디스플레이 간의 동기화를 위한 동기화 신호를 갱신함으로써 제1 프로세서의 대기 시간의 낭비를 줄일 수 있다.
도 8은 일 실시예에 따른 증강 현실 객체를 표시하는 표시 장치의 블록도이다. 도 8을 참조하면, 일 실시예에 따른 증강 현실 객체를 표시하는 표시 장치(이하, '표시 장치')(800)는 적어도 하나의 센서(810), 통신 인터페이스(830), 프로세서(850), 및 디스플레이(870)를 포함한다. 표시 장치(800)는 메모리(890)를 더 포함할 수 있다. 적어도 하나의 센서(810), 통신 인터페이스(830), 프로세서(850), 디스플레이(870) 및 메모리(890)는 통신 버스(805)를 통해 서로 통신할 수 있다.
적어도 하나의 센서(810)는 제1 시점의 적어도 하나의 제1 센서 데이터를 획득하고, 제1 시점에 후속하는 제2 시점의 제2 센서 데이터를 획득한다. 적어도 하나의 센서(810)는 예를 들어, RGB 카메라 센서, 관성 센서, 시선 센서, 눈 추적기, 및 깊이 센서 중 적어도 하나를 포함할 수 할 수 있다.
통신 인터페이스(830)는 제1 센서 데이터를 기초로 제1 프로세서에서 생성된 제1 시점에 대응하는 제1 증강 현실 객체를 포함하는 제1 영상 프레임을 수신한다. 이때, 제1 프로세서는 표시 장치(800) 외부의 프로세서일 수도 있고, 또는 표시 장치(800) 내에 포함된 프로세서(850) 이외에 프로세서일 수도 있다. 제1 프로세서는 증강 현실 객체의 3차원 렌더링과 같이 복잡한 연산을 수행하는 GPU일 수 있다.
프로세서(850)는 적어도 하나의 센서(810)에서 획득된 제2 센서 데이터를 기초로, 제1 증강 현실 객체를 제2 시점에 정합되는 제2 증강 현실 객체로 보정한다. 프로세서(850)는 예를 들어, 프로그램 가능한 2D 이미지 프로세서(Programmable 2D image processor) 또는 프로그램 가능한 증강 현실 프로세서(Programmable AR processor)일 수 있다. 프로세서(850)는 전술한 제2 프로세서에 해당할 수 있다.
디스플레이(870)는 프로세서(850)가 보정한 제2 증강 현실 객체를 포함하는 제2 영상 프레임을 표시한다.
메모리(890)는 적어도 하나의 제1 센서 데이터 및 제2 센서 데이터를 저장할 수 있다. 또한, 메모리(890)는 통신 인터페이스를 통해 수신한 제1 증강 현실 객체 및/또는 프로세서(850)가 보정한 제2 증강 현실 객체를 저장할 수 있다. 메모리(890)는 디스플레이를 통해 표시되는 제2 증강 현실 객체를 포함하는 영상 프레임을 저장할 수 있다.
표시 장치(800)는 예를 들어, 스마트 안경(smart glasses), 웨어러블 디바이스(wearable device), 증강 현실 기기(AR device), 사용자 단말 및 헤드-업 디스플레이(Head-Up Display)일 수 있다.
또한, 프로세서(850)는 도 1 내지 도 7을 통해 전술한 적어도 하나의 방법 또는 적어도 하나의 방법에 대응되는 알고리즘을 수행할 수 있다. 프로세서(850)는 목적하는 동작들(desired operations)을 실행시키기 위한 물리적인 구조를 갖는 회로를 가지는 하드웨어로 구현된 데이터 처리 표시 장치일 수 있다. 예를 들어, 목적하는 동작들은 프로그램에 포함된 코드(code) 또는 인스트럭션들(instructions)을 포함할 수 있다. 예를 들어, 하드웨어로 구현된 데이터 처리 표시 장치는 마이크로프로세서(microprocessor), 중앙 처리 표시 장치(central processing unit), 프로세서 코어(processor core), 멀티-코어 프로세서(multi-core processor), 멀티프로세서(multiprocessor), ASIC(Application-Specific Integrated Circuit), FPGA(Field Programmable Gate Array)를 포함할 수 있다.
프로세서(850)는 프로그램을 실행하고, 표시 장치(800)를 제어할 수 있다. 프로세서(850)에 의하여 실행되는 프로그램 코드는 메모리(890)에 저장될 수 있다.
메모리(890)는 상술한 프로세서(850)의 처리 과정에서 생성되는 다양한 정보들을 저장할 수 있다. 이 밖에도, 메모리(890)는 각종 데이터와 프로그램 등을 저장할 수 있다. 메모리(890)는 휘발성 메모리 또는 비휘발성 메모리를 포함할 수 있다. 메모리(890)는 하드 디스크 등과 같은 대용량 저장 매체를 구비하여 각종 데이터를 저장할 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 표시 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 표시 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 표시 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.
800: 표시 장치
810: 적어도 하나의 센서
830: 통신 인터페이스
850: 프로세서
870: 디스플레이

Claims (20)

  1. 제1 시점의 적어도 하나의 제1 센서 데이터를 획득하는 단계;
    상기 제1 센서 데이터를 기초로, 제1 프로세서에서 생성된 상기 제1 시점에 대응하는 제1 증강 현실(Augmented Reality; AR) 객체를 포함하는 제1 영상 프레임을 수신하는 단계;
    상기 제1 시점에 후속하는 제2 시점의 제2 센서 데이터를 획득하는 단계;
    상기 제2 센서 데이터를 기초로, 상기 제1 증강 현실 객체를 상기 제2 시점에 정합되는 제2 증강 현실 객체로 보정하는 단계; 및
    상기 제2 증강 현실 객체를 포함하는 제2 영상 프레임을 표시하는 단계
    를 포함하는, 표시 장치의 동작 방법.
  2. 제1항에 있어서,
    상기 제2 증강 현실 객체로 보정하는 단계는
    상기 제2 센서 데이터를 기초로, 상기 제1 증강 현실 객체에 대한 RGB 정보 및 깊이 정보 중 적어도 하나에 기초한 2차원 영상 처리, 및 상기 제1 증강 현실 객체에 대한 3차원 영상 처리 중 적어도 하나의 영상 처리를 수행함으로써 상기 제2 증강 현실 객체로 보정하는 단계
    를 포함하는, 표시 장치의 동작 방법.
  3. 제2항에 있어서,
    상기 제2 증강 현실 객체로 보정하는 단계는
    상기 제1 센서 데이터와 상기 제2 센서 데이터 간의 차이를 기초로, 영상 처리를 위한 연산을 수행함으로써 상기 제2 증강 현실 객체로 보정하는 단계
    를 포함하는, 표시 장치의 동작 방법.
  4. 제3항에 있어서,
    상기 영상 처리를 위한 연산은
    상기 제1 센서 데이터 및 상기 제2 센서 데이터를 감지하는 적어도 하나의 센서의 유형, 및 상기 제2 증강 현실 객체가 이용되는 응용 분야 중 적어도 하나를 기초로 변경되는, 표시 장치의 동작 방법.
  5. 제1항에 있어서,
    상기 제2 증강 현실 객체로 보정하는 단계는
    상기 제1 센서 데이터와 상기 2 센서 데이터 간의 차이를 기초로, 쉬프트 연산(shift operation)에 의해 상기 제1 증강 현실 객체의 위치를 이동시킴으로써 상기 제2 증강 현실 객체로 보정하는 단계
    를 포함하는, 표시 장치의 동작 방법.
  6. 제1항에 있어서,
    상기 제2 증강 현실 객체로 보정하는 단계는
    상기 제1 영상 프레임에서 일부 영역에 해당하는 상기 제1 증강 현실 객체를 부분 렌더링(partial rendering)하는 단계; 및
    상기 부분 렌더링된 제1 증강 현실 객체를 상기 제2 시점에 대응하는 제2 영상 프레임에 정합시키는 단계
    를 포함하는, 표시 장치의 동작 방법.
  7. 제1항에 있어서,
    상기 제2 센서 데이터는
    관성 센서에 의해 획득된 상기 제2 시점에 대응하는 제2 움직임 정보를 포함하고,
    상기 제2 증강 현실 객체로 보정하는 단계는
    상기 제2 움직임 정보를 기초로, 상기 제1 센서 데이터를 감지하는 센서의 동작 주파수 및 상기 제1 증강 현실 객체의 해상도 중 적어도 하나를 조정함으로써 상기 제2 증강 현실 객체로 보정하는 단계
    를 포함하는, 표시 장치의 동작 방법.
  8. 제7항에 있어서,
    상기 제2 움직임 정보는
    상기 제2 시점에 대응하는 사용자의 움직임, 상기 제2 센서 데이터에 포함된 대상 객체의 움직임, 상기 제2 시점에 대응하는 상기 표시 장치의 움직임 중 적어도 하나를 포함하는, 표시 장치의 동작 방법.
  9. 제7항에 있어서,
    상기 제2 증강 현실 객체로 보정하는 단계는
    상기 제2 움직임 정보가 상기 제1 시점에 대응하는 제1 움직임 정보보다 큰 경우, 상기 센서의 동작 주파수를 증가시키고, 상기 제1 증강 현실 객체의 해상도를 감소시켜 상기 제2 증강 현실 객체로 보정하는 단계; 및
    상기 제2 움직임 정보가 상기 제1 움직임 정보보다 작거나 같은 경우, 상기 센서의 동작 주파수를 감소시키고, 상기 제1 증강 현실 객체의 해상도를 증가시켜 상기 제2 증강 현실 객체로 보정하는 단계
    중 적어도 하나를 포함하는, 표시 장치의 동작 방법.
  10. 제1항에 있어서,
    상기 제2 센서 데이터는
    상기 표시 장치를 사용하는 사용자의 시선(gaze)을 감지하는 시선 센서에 의해 획득된 상기 제2 시점에 대응하는 시선 정보를 포함하고,
    상기 제2 증강 현실 객체로 보정하는 단계는
    상기 제2 시점에 대응하는 시선 정보를 기초로, 상기 제1 증강 현실 객체의 해상도를 조정하는 단계
    를 포함하는, 표시 장치의 동작 방법.
  11. 제10항에 있어서,
    상기 제1 증강 현실 객체의 해상도를 조정하는 단계는
    상기 제2 시점에 대응하는 시선 정보에 따른 포커싱 영역(focusing area)에 포함된 제1 증강 현실 객체에 대한 업-샘플링(up-sampling)을 수행함으로써 상기 제1 증강 현실 객체의 해상도를 증가시키는 단계; 및
    상기 시선 정보에 따른 디포커싱 영역(defocusing area)에 포함된 제1 증강 현실 객체에 대한 블러(blur) 연산을 수행함으로써 상기 제1 증강 현실 객체의 해상도를 감소시키는 단계
    중 적어도 하나를 포함하는, 표시 장치의 동작 방법.
  12. 제1항에 있어서,
    상기 제2 센서 데이터는
    깊이 센서에 의해 감지된 상기 제2 시점에 대응하는 배경 영역의 제2 깊이 값을 포함하고,
    상기 제2 증강 현실 객체로 보정하는 단계는
    상기 제1 증강 현실 객체의 제1 깊이 값과 상기 제2 깊이 값을 기초로, 상기 제1 증강 현실 객체와 상기 배경 영역 간의 배치 관계를 결정하는 단계; 및
    상기 배치 관계를 기초로, 상기 제1 증강 현실 객체의 적어도 일부 영역에 대한 가림(occlusion) 처리를 수행하는 단계
    를 포함하는, 표시 장치의 동작 방법.
  13. 제1항에 있어서,
    상기 제1 프로세서와의 동기화 여부와 무관하게, 상기 제1 프로세서와 디스플레이 간의 동기화를 위한 동기화 신호를 갱신하는 단계
    를 더 포함하는, 표시 장치의 동작 방법.
  14. 제1항에 있어서,
    상기 제1 프로세서는
    상기 표시 장치, 상기 표시 장치와 구별되는 외부 기기 및 클라우드 서버 중 적어도 하나에 포함되고, 3차원 렌더링에 의해 상기 제1 증강 현실 객체를 생성하는, 표시 장치의 동작 방법.
  15. 제1항에 있어서,
    상기 표시 장치는
    디스플레이(display)를 포함하는 스마트 안경(smart glasses), 웨어러블 디바이스(wearable device), 증강 현실 기기(AR device), 사용자 단말 및 헤드-업 디스플레이(Head-Up Display) 중 적어도 하나를 포함하는, 표시 장치의 동작 방법.
  16. 제1항에 있어서,
    상기 제1 센서 데이터 및 상기 제2 센서 데이터 중 적어도 하나는
    상기 표시 장치에 포함된 카메라 센서, 관성(Inertial Measurement Unit; IMU) 센서, 시선(gaze) 센서, 눈 추적기(eye tracker), 및 깊이 센서 중 적어도 하나에 의해 감지되는, 표시 장치의 동작 방법.
  17. 하드웨어와 결합되어 제1항 내지 제16항 중 어느 하나의 항의 방법을 실행시키기 위하여 매체에 저장된 컴퓨터 프로그램.
  18. 제1 시점의 적어도 하나의 제1 센서 데이터를 획득하고, 상기 제1 시점에 후속하는 제2 시점의 제2 센서 데이터를 획득하는 적어도 하나의 센서;
    상기 제1 센서 데이터를 기초로 제1 프로세서에서 생성된 상기 제1 시점에 대응하는 제1 증강 현실 객체를 포함하는 제1 영상 프레임을 수신하는 통신 인터페이스;
    상기 제2 센서 데이터를 기초로, 상기 제1 증강 현실 객체를 상기 제2 시점에 정합되는 제2 증강 현실 객체로 보정하는 프로세서; 및
    상기 제2 증강 현실 객체를 포함하는 제2 영상 프레임을 표시하는 디스플레이
    를 포함하는, 표시 장치.
  19. 제18항에 있어서,
    상기 프로세서는
    상기 제2 센서 데이터를 기초로, 상기 제1 증강 현실 객체에 대한 RGB 정보 및 깊이 정보 중 적어도 하나에 기초한 2차원 영상 처리, 및 상기 제1 증강 현실 객체에 대한 3차원 영상 처리 중 적어도 하나의 영상 처리를 수행함으로써 상기 제1 증강 현실 객체를 상기 제2 증강 현실 객체로 보정하는, 표시 장치.
  20. 제18항에 있어서,
    상기 프로세서는
    상기 제1 센서 데이터와 상기 제2 센서 데이터 간의 차이를 기초로, 상기 영상 처리를 위한 연산을 수행함으로써 상기 제1 증강 현실 객체를 상기 제2 증강 현실 객체로 보정하는, 표시 장치.
KR1020190127750A 2019-10-15 2019-10-15 증강 현실 객체를 표시하는 장치 및 그 동작 방법 KR20210044506A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020190127750A KR20210044506A (ko) 2019-10-15 2019-10-15 증강 현실 객체를 표시하는 장치 및 그 동작 방법
US16/879,859 US11335066B2 (en) 2019-10-15 2020-05-21 Apparatus and operating method for displaying augmented reality object
US17/743,658 US11798241B2 (en) 2019-10-15 2022-05-13 Apparatus and operating method for displaying augmented reality object

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190127750A KR20210044506A (ko) 2019-10-15 2019-10-15 증강 현실 객체를 표시하는 장치 및 그 동작 방법

Publications (1)

Publication Number Publication Date
KR20210044506A true KR20210044506A (ko) 2021-04-23

Family

ID=75383790

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190127750A KR20210044506A (ko) 2019-10-15 2019-10-15 증강 현실 객체를 표시하는 장치 및 그 동작 방법

Country Status (2)

Country Link
US (2) US11335066B2 (ko)
KR (1) KR20210044506A (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102461478B1 (ko) * 2021-05-03 2022-11-03 (주)이머시브캐스트 이미지 내의 객체 떨림 감소를 위한 클라우드 vr 장치
WO2023080564A1 (ko) * 2021-11-02 2023-05-11 삼성전자 주식회사 전자 장치 및 그 동작 방법
WO2023106610A1 (ko) * 2021-12-08 2023-06-15 삼성전자 주식회사 컨텐츠 및 비전 처리를 위한 분산 시스템이 구현된 웨어러블 전자 장치
US11822074B2 (en) 2021-12-08 2023-11-21 Samsung Electronics Co., Ltd. Wearable electronic device implementing distributed system for processing contents and vision

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114935971A (zh) * 2021-02-05 2022-08-23 京东方科技集团股份有限公司 显示驱动芯片、显示装置和显示驱动方法
US11988833B2 (en) * 2022-10-04 2024-05-21 Snap Inc. AR system bending correction

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5491486A (en) * 1994-04-25 1996-02-13 General Electric Company Mobile tracking units employing motion sensors for reducing power consumption therein
US7445550B2 (en) 2000-02-22 2008-11-04 Creative Kingdoms, Llc Magical wand and interactive play experience
DE102005009437A1 (de) * 2005-03-02 2006-09-07 Kuka Roboter Gmbh Verfahren und Vorrichtung zum Einblenden von AR-Objekten
EP2327055B1 (en) * 2008-09-25 2012-08-22 TomTom Global Content B.V. Method of and arrangement for blurring an image
US9122053B2 (en) * 2010-10-15 2015-09-01 Microsoft Technology Licensing, Llc Realistic occlusion for a head mounted augmented reality display
US9348141B2 (en) * 2010-10-27 2016-05-24 Microsoft Technology Licensing, Llc Low-latency fusing of virtual and real content
US9237331B2 (en) * 2011-01-18 2016-01-12 Disney Enterprises, Inc. Computational stereoscopic camera system
US9897805B2 (en) * 2013-06-07 2018-02-20 Sony Interactive Entertainment Inc. Image rendering responsive to user actions in head mounted display
US9204143B2 (en) * 2013-03-15 2015-12-01 Samsung Electronics Co., Ltd. Image sensor, operation method thereof, and system including the same
US10368784B2 (en) * 2014-06-23 2019-08-06 Microsoft Technology Licensing, Llc Sensor data damping
US9536277B2 (en) * 2014-11-04 2017-01-03 Toshiba Medical Systems Corporation Asynchronous method and apparatus to support real-time processing and data movement
KR20180041984A (ko) 2016-10-17 2018-04-25 삼성전자주식회사 이미지를 렌더링 하는 장치 및 방법
WO2018100800A1 (ja) * 2016-11-29 2018-06-07 ソニー株式会社 情報処理装置及び情報処理方法、並びにコンピュータ・プログラム
KR102609477B1 (ko) * 2017-02-06 2023-12-04 삼성전자주식회사 파노라마 이미지 또는 동영상을 생성하는 전자 장치 및 그 방법
CN106597673B (zh) 2017-02-28 2020-04-03 京东方科技集团股份有限公司 虚拟现实显示装置及其驱动方法和驱动模块
KR102111501B1 (ko) 2017-06-19 2020-05-15 주식회사 케이티 가상 현실 체험 서비스를 제공하는 서버, 사용자 단말 및 방법
KR102560689B1 (ko) 2017-09-26 2023-07-28 삼성전자주식회사 Ar 객체를 표시하기 위한 장치 및 방법
CN109600668B (zh) 2019-01-10 2021-03-30 京东方科技集团股份有限公司 Vr头戴设备、显示***及方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102461478B1 (ko) * 2021-05-03 2022-11-03 (주)이머시브캐스트 이미지 내의 객체 떨림 감소를 위한 클라우드 vr 장치
WO2023080564A1 (ko) * 2021-11-02 2023-05-11 삼성전자 주식회사 전자 장치 및 그 동작 방법
WO2023106610A1 (ko) * 2021-12-08 2023-06-15 삼성전자 주식회사 컨텐츠 및 비전 처리를 위한 분산 시스템이 구현된 웨어러블 전자 장치
US11822074B2 (en) 2021-12-08 2023-11-21 Samsung Electronics Co., Ltd. Wearable electronic device implementing distributed system for processing contents and vision

Also Published As

Publication number Publication date
US20220270336A1 (en) 2022-08-25
US11798241B2 (en) 2023-10-24
US11335066B2 (en) 2022-05-17
US20210110613A1 (en) 2021-04-15

Similar Documents

Publication Publication Date Title
US11200730B2 (en) Continuous time warp and binocular time warp for virtual and augmented reality display systems and methods
KR20210044506A (ko) 증강 현실 객체를 표시하는 장치 및 그 동작 방법
CN110050250B (zh) 显示器同步的图像规整
CN109743626B (zh) 一种图像显示方法、图像处理方法和相关设备
US10678325B2 (en) Apparatus, system, and method for accelerating positional tracking of head-mounted displays
US20210368152A1 (en) Information processing apparatus, information processing method, and program
US20170374256A1 (en) Method and apparatus for rolling shutter compensation
US11749141B2 (en) Information processing apparatus, information processing method, and recording medium
US11158108B2 (en) Systems and methods for providing a mixed-reality pass-through experience
US11218691B1 (en) Upsampling content for head-mounted displays
US20220300120A1 (en) Information processing apparatus, and control method
US11615767B2 (en) Information processing apparatus, information processing method, and recording medium
US20230222741A1 (en) Video pass-through computing system

Legal Events

Date Code Title Description
A201 Request for examination