KR102101217B1 - 헤드 마운트 디스플레이의 가상현실 생성방법 및 이를 수행하는 헤드 마운트 디스플레이 - Google Patents

Abstract

본 발명은 가상현실 구현 기술에 관한 것으로, 헤드 마운트 디스플레이의 가상현실 생성방법은 (a) 레이 트레이싱을 통해 제1 아이(eye)와 연관된 기준영상을 생성하는 단계, (b) 제2 아이와 연관되고 상기 기준영상을 변형한 임시영상을 생성하는 단계 및 (c) 상기 임시영상에 있는 픽셀들 중 임계치 이하의 픽셀에 관해 레이 트레이싱을 수행하여 가상영상을 생성하는 단계를 포함한다.

Description

헤드 마운트 디스플레이의 가상현실 생성방법 및 이를 수행하는 헤드 마운트 디스플레이

본 발명은 가상현실 기술에 관한 것으로, 보다 상세하게는 레이 트레이싱을 이용하여 헤드 마운트 디스플레이(HMD, Head Mounted Display)에서 가상현실을 구현할 수 있는 헤드 마운트 디스플레이 상에서 가상 현실을 생성하는 방법 및 헤드 마운트 디스플레이에 에 관한 것이다.

몰입형 멀티미디어 또는 컴퓨터로 시뮬레이션된 생활로서 언급될 수 있는 가상현실(Virtual Reality)은 현실 세계 또는 가상 세계에 존재하는 물리적 현실을 시뮬레이션하는 환경을 복제하고 그러한 세계에서 사용자 상호작용을 허용한다. 가상현실은 시각, 청각, 촉각, 냄새, 맛을 포함할 수 있는 감각적인 경험을 인위적으로 창조한다. 가장 최근의 가상현실 환경들은 컴퓨터 화면이나 특정 입체 디스플레이에 디스플레이되고 어떤 시뮬레이션들은 추가적인 감각 정보를 포함하고 VR 사용자들을 대상으로 타깃된 스피커들 또는 헤드폰들을 통해 실제 사운드에 중점을 둔다. 현재 어떤 첨단 햅틱(haptic)시스템은 메디컬, 게임, 군사 어플리케이션에서 포스 피드백(force feedback)으로 알려진 촉각 정보를 포함한다. 또한 가상현실은 키보드 및 마우스와 같은 표준 입력 장치의 사용 또는 유선 장갑 또는 전방향의 러닝머신과 같은 멀티 모달장치를 통해 사용자의 가상 실제를 텔레프레즌스 및 텔레익지스턴스의 개념들 또는 가상 인공물로 제공하는 원격통신 환경을 커버한다.

시뮬레이션 환경은 파일럿 또는 전투교육등의 생생한 경험을 하기 위해 생성된 실제 세상과 유사하거나 또는 VR 게임과 같이 현실과 크게 다를 수 있다.

대한민국 특허등록번호 제10-0453225호는 3차원 가상 현실 구현을 위한 클라이언트 시스템과 이를 이용한 가상 현실 구현 방법에 관한 것이다 클라이언트 시스템은 애플릿, 통신 모듈, 브라우저 및 ASP 지원 모듈을 포함한다. 애플릿은 클라이언트 시스템이 X3D 데이터를 서버와 통신할 수 있게 한다. 애플릿에 연결된 통신 모듈은 클라이언트 시스템과 서버 간의 통신을 가능하게 한다. 브라우저는 서버에 의해 통신 모듈을 통해 전송된 X3D 데이터를 분석하고, 장면 그래프를 만들고. 미리 설정된 유형에 따라 장면 그래프를 렌더링하고, 렌더링 된 장면 그래프를 디스플레이에 표시한다. ASP지원 모듈은 브라우저에 의해 구현된 VR에서 생성된 사용자 이벤트에 따라 서버가 전송 한 데이터를 외부창에서 처리한다.

한국등록특허 제10-0453225호 (2004.10.06)

본 발명의 일 실시예는 레이 트레이싱(ray tracing)을 통해 헤드 마운트 디스플레이에서 정밀한 가상현실을 생성할 수 있는 헤드 마운트 디스플레이 기술을 제공하고자 한다.

본 발명의 일 실시예에 따르면, 제1 시선 영상을 레이 트레이싱으로 사용하여 또 다른 시선 영상을 생성하여 동작의 복잡성을 감소시킬 수 있는 헤드 마운트 디스플레이 기술을 제안한다. 여기에서, 제1 시선 영상(하나의 시선 영상)은 한쪽 눈(예를 들어 왼쪽 눈)으로 표시되는 영상일 수 있고, 다른 시선 영상은 다른쪽 눈(예를 들어 오른쪽 눈)으로 표시되는 영상일 수 있다.

본 발명의 일 실시예는 실시간 인터페이스가 가능하여 눈의 피로감을 줄여줄 수 있는 헤드 마운트 디스플레이 기술을 제공하고자 한다.

실시예들 중에서, 헤드 마운트 디스플레이의 가상현실 생성방법은 (a) 레이 트레이싱을 통해 제1 아이(eye)와 연관된 기준영상을 생성하는 단계, (b) 제2 아이와 연관되고 상기 기준영상을 변형한 임시영상을 생성하는 단계 및 (c) 상기 임시영상에 있는 픽셀들 중 임계치 이하의 픽셀에 관해 레이 트레이싱을 수행하여 가상영상을 생성하는 단계를 포함한다.

일 실시예에서, 상기 (a) 단계 이전에 양안에 의하여 형성되고 제1 및 제2 시선들(eyelines)과 시차(parallax)를 포함하는 시점(viewpoint)을 획득하는 단계를 더 포함할 수 있다.

일 실시예에서, 상기 (a) 단계는 제1 시선을 레이 트레이싱(ray tracing)을 사용한 아이 레이와 연관시켜 상기 기준영상을 생성하는 단계를 포함할 수 있다.

상기 (b) 단계는 상기 기준영상에 양안에 의해 형성된 시차를 반영하여 상기 기준영상을 와프(warp)하는 단계를 포함할 수 있다.

상기 (c) 단계는 제2 시선을 레이 트레이싱(ray tracing)을 사용한 아이 레이와 연관시켜 상기 기준영상에서 발생되고 상기 기준영상에서 입체적으로 보여질 때 제1 시선에 의해 나타나지 않는 반-입체영역에 해당하는 공백공간에 관해 레이 트레이싱을 수행하는 단계를 포함할 수 있다.

일 실시예에서, 상기 (b) 단계는 (b1) 상기 기준영상을 복수의 서브 기준영상들로 분할하는 단계 및 (b2) 상기 복수의 서브 기준영상들 각각에 양안에 의해 형성된 시차를 반영하여 상기 기준영상을 와프(warp)하는 단계를 포함할 수 있다.

일 실시예에서, 상기 (b1) 단계는 기준 윈도우를 분할하는 복수의 서브 윈도우들을 통해 가변적으로 복수의 서브 기준영상들로 분할하는 단계를 더 포함할 수 있다.

일 실시예에서, 상기 (c) 단계는 (c1) 제2 시선을 레이 트레이싱(ray tracing)을 사용한 아이 레이와 연관시켜 상기 와프된 복수의 서브 기준영상들 중 반-입체영역에 해당하는 공백공간을 포함하는 적어도 하나의 서브 기준영상에 관해 레이 트레이싱을 수행하는 단계를 포함할 수 있다.

일 실시예에서, 상기 (c1) 단계는 상기 와프된 복수의 서브 기준영상들에 관한 레이 트레이싱을 병렬적으로 수행하는 단계를 더 포함할 수 있다.

일 실시예에서, 상기 (b) 단계는 (b1) 상기 기준영상을 복수의 서브 기준영상들로 분할하면서 또는 분할한 후에, 반-입체영역을 포함하는 복수의 제1 서브 기준영상들과 그렇지 않은 복수의 제2 서브 기준영상들을 구분하는 단계 및 (b2) 상기 복수의 제2 서브 기준영상들 각각에 양안에 의해 형성된 시차를 반영하여 상기 복수의 제2 서브 기준영상들을 와프하는 단계를 포함할 수 있다.

상기 (c) 단계는 (c1) 제2 시선을 레이 트레이싱(ray tracing)을 사용한 아이 레이와 연관시켜 상기 복수의 제1 서브 기준영상들에 관해 레이 트레이싱을 수행하는 단계를 포함할 수 있다.

일 실시예에서, 상기 (c) 단계는 (c2) 상기 레이 트레이싱을 통해 생성된 복수의 제1 서브 기준영상들과 상기 와프된 복수의 제2 서브 기준영상들을 합성하여 상기 가상영상을 생성하는 단계를 더 포함할 수 있다.

실시예들 중에서, 헤드 마운트 디스플레이는 양안에 의하여 형성되고 제1 및 제2 시선들(eyelines)과 시차(parallax)를 포함하는 시점(viewpoint)을 획득하는 시점 획득부, 레이 트레이싱을 통해 제1 아이(eye)와 연관된 기준영상을 생성하는 기준영상 생성부, 제2 아이와 연관되고 상기 기준영상을 변형한 임시영상을 생성하는 임시영상 생성부 및 상기 임시영상에 있는 픽셀들 중 임계치 이하의 픽셀에 관해 레이 트레이싱을 수행하는 레이 트레이싱부를 포함한다.

본 발명의 일 실시예에 따른 헤드 마운트 디스플레이의 가상현실 생성방법 및 이를 수행하는 헤드 마운트 디스플레이는 레이 트레이싱을 통해 헤드 마운트 디스플레이에서 정밀한 가상현실을 생성할 수 있다.

본 발명의 일 실시예에 따른 헤드 마운트 디스플레이의 가상현실 생성방법 및 이를 수행하는 헤드 마운트 디스플레이는 하나의 시선 영상을 광선으로 사용하여 또 다른 시선 영상을 생성함으로써 동작의 복잡성을 감소시킬 수 있다. 여기서, 하나의 시선 영상은 한쪽 눈(예를 들어, 왼쪽 눈)으로 나타낸 영상일 수 있고, 다른 시선 영상은 다른쪽 눈(예를 들어, 오른쪽 눈)으로 나타낸 영상일 수 있다.

본 발명의 일 실시예에 따른 헤드 마운트 디스플레이의 가상현실 생성방법 및 이를 수행하는 헤드 마운트 디스플레이는 실시간 인터페이스가 가능하여 눈의 피로감을 줄여줄 수 있다.

도 1은 본 발명의 일 실시예에 따른 가상현실 생성방법을 수행하는 헤드 마운트 디스플레이의 구성을 나타내는 개념도이다.
도 2는 도 1에 있는 헤드 마운트 디스플레이 내의 하나의 제어부를 나타내는 블록도 이다.
도 3은 도 1에 있는 헤드 마운트 디스플레이 내의 다른 제어부을 나타내는 블록도이다.
도 4는 도 1에 있는 헤드 마운트 디스플레이의 가상현실 생성방법을 설명하는 흐름도이다.
도5 는 입체 영역과 반-입체 영역을 설명하는 개념도 이다.

본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.

한편, 본 출원에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.

"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.

어떤 구성요소가 다른 구성요소에 "연결되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다"또는 "가지다" 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.

본 발명은 컴퓨터가 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있고, 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한, 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.

여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.

본 발명은 서울 산업 진흥원에서 '특허 기술 상용화 기술 개발 지원 사업'으로 지원되며, 2013년 9월 1일부터 2014년 8월 31일까지 SILICONARTS,INC.에 의한 '광선 추적 렌더링 콘텐츠 개발을 위한 소프트웨어 키트 개발' 프로젝트의 결과물이다.

[본 발명을 지원하는 국가 연구 개발 과제]

[프로젝트 일련 번호] PA130017

[부서] 서울특별시

[연구 관리기구] 서울산업진흥원

[연구 과제명] 서울산학협력사업(2013년 특허기술 상용화 기술개발 지원 사업)

[연구 주제명] 레이 트레이싱 렌더링 컨텐츠 개발을 위한 소프트웨어 킷 개발

[기여 비율] 1/1

[주요 기관] 주식회사 실리콘아츠

[연구 기간] 2013 년 9 월 1 일 ~ 2014 년 8 월 31 일

도 1은 본 발명의 일 실시예에 따른 가상현실 생성방법을 수행하는 헤드 마운트 디스플레이의 시스템을 나타내는 개념도이다.

도 1을 참조하면, 헤드 마운트 디스플레이(10) 시스템은 가상 객체(50)와 헤드 마운트 디스플레이(HMD, Head Mount Display)(100)를 포함한다.

가상 객체(50)는 HMD(100)에 의해 형성된 가상의 포커싱 영역에 대응할 수 있다. 즉, 가상 객체(50)는 실제는 아니지만 입체적으로 표현되는 3D 물체일 수 있다. 일 실시예에서, 가상 객체(50)는 HMD(100)에 의해 완전히 생성될 수 있다. 다른 일 실시예에서, 가상 객체(50)는 HMD(100)의 정면에 위치된 실제 객체와 HMD(100)에 의해 부분적으로 생성된 객체를 결합하여 생성될 수 있다.

HMD(100)는 좌측 디스플레이부(110), 우측 디스플레이부(120), 네트워크 인터페이스부(130) 및 제어부(140)를 포함한다. HMD(100)는 머리에 착용하거나 헬맷의 일부로 착용할 수 있으며, 각 눈(양안 HMD) 앞에 작은 디스플레이 광학 장치가 있다.

좌측 및 우측 디스플레이부(110 및 120)는 눈 앞의 디스플레이 광학 장치에 상응할 수 있다. 일 실시예에서, 좌측 디스플레이부(110)는 좌안용 좌측 영상을 생성하고 우측 디스플레이부(120)는 우안용 우측 영상을 생성할 수 있으며 이에 따라 좌측 및 우측 디스플레이부(110 및 120)는 가상적인 입체영상을 생성한다.

네트워크 인터페이스부(130)는 좌측 및 우측 영상을 외부장치로 전송할 수 있으며, 외부 장치로부터 입체 영상 또는 좌측 및 우측 영상을 수신할 수 있다. 일 실시예에서, 네트워크 인터페이스부(130)는 블루투스(Bluetooth), 와이파이(WiFi) 등으로 구현될 수 있다.

제어부(140)는 레이 트레이싱을 통해 한쪽 눈의 일측 영상을 제1 아이와 관련된 기준영상으로 생성할 수 있다. 제어부(140)는 기준영상을 변형하여 제2 아이와 관련된 임시영상을 생성하고, 임시영상에서 에러픽셀(즉, 임계픽셀 이하)를 레이 트레이싱하여 다른쪽 눈을 위한 다른 측면의 영상을 완성할 수 있다. 마지막으로, 제어부(140)는 한쪽 측면 영상과 다른쪽 측면 영상을 결합하여 가상 영상을 생성할 수 있다. 제어부(140)는 도2 및 도3을 참조하여 설명된다.

도 2는 도 1에 있는 헤드 마운트 디스플레이의 하나의 제어부를 설명하는 블록도이다.

도 2을 참조하면, 헤드 마운트 디스플레이(HMD, Head Mounted Display)(100)는 시점 획득부(210), 기준영상 생성부(220), 임시영상 생성부(230), 레이 트레이싱부(240) 및 HMD 디스플레이부(250)를 포함한다.

시점 획득부(210)는 양안에 의하여 형성되고 제1 및 제2 시선들(eyelines)과 시차(parallax)를 포함하는 시점(viewpoint)을 획득한다. 예를 들어, 제1 시선은 좌안에 의한 시선에 해당하고, 제2 시선은 우안에 의한 시선에 해당한다. 시차는 좌안과 우안이 공간적으로 다른 위치에서 가상객체(50)를 바라봄에 의해 발생하는 양안 시차에 해당할 수 있다. 기준영상 생성부(220)는 레이 트레이싱(ray tracing)을 통해 제1 아이(eye)와 연관된 기준영상을 생성한다. 일 실시예에서, 기준영상 생성부(220)는 제1 시선을 레이 트레이싱(ray tracing)을 사용한 아이 레이와 연관시켜 상기 기준영상을 생성한다. 예를 들어, 기준영상 생성부(220)는 제1 아이(예를 들어, 좌안)에 의한 시선, 즉 제1 시선을 기초로 레이 트레이싱을 수행하여 가상현실 생성 시 제1 아이에 의해 보여질 수 있는 영상(기준영상)을 생성한다. 레이 트레이싱은 렌더링할 객체와 광원 및 시선을 설정하고, 광원에서 나온 광선이 가상객체(50)에서 반사하는 모습을 시뮬레이션하여 각 화소에서의 색을 산출함으로써, 설정된 시선에서 보여질 수 있는 영상을 렌더링하는 기법이다.

임시영상 생성부(230)는 기준영상을 변형하여 제2 아이의 임시영상을 생성한다. 예를 들어, 임시영상 생성부(230)는 임시영상을 생성하기 위해 기준영상에 대한 시점을 제1 아이에서 제2 아이로 변경할 수 있다. 임시영상은 제1 아이(즉, 제2 아이에서 보이지 않는)에서만 보이는 일부 영역으로 인해 제2 아이에 대해 불완전할 수 있다.

일 실시예에서, 임시영상 생성부(230)는 기준영상에 양안에 의해 형성된 시차를 반영하여 기준영상을 와프(warp)하여 임시영상을 생성할 수 있다. 임시영상 생성부(230)는 기준영상을 임시영상으로 왜곡시킬 수 있으며, 제1 아이에서 제2 아이로 시점변경을 위해 시차를 사용할 수 있다. 이는 가상 객체(50)에 대한 입체방향 및 조명 효과를 계산할 수 있다. 즉, 임시영상 생성부(230)는 기준영상에 이미지 와핑(warping)을 수행함으로써, 양안의 시차로 인해 발생할 수 있는 왜곡을 기준영상에 반영하여 임시영상을 생성할 수 있다.

레이 트레이싱부(240)는 임시영상에 있는 에러픽셀(즉, 임계치 이하의 픽셀)에 관해 제2 시선을 아이 레이와 연관시켜 레이 트레이싱을 수행한다. 여기에서, 에러픽셀은 색상 값을 부적절하게 반영한 픽셀 또는 입체 방향을 부적절하게 반영한 픽셀을 포함할 수 있다.

기준영상을 왜곡시켜 임시영상을 생성할 경우, 시차로 인해 에러픽셀이 생성될 수 있다. 그러면, 레이 트레이싱부(240)는 픽셀 값을 얻기 위해 임시영상의 픽셀들 중 임계 값 이하의 픽셀에 대해 레이 트레이싱을 수행하여 에러픽셀을 보정할 수 있다. 일 실시예에서, 시차에 의한 에러픽셀은 복수의 영역으로 그룹화될 수 있다. 일부 영역 중 하나는 워핑 된 기준영상(즉, 임시영상)이 생성 될 때 제1 시선을 통해 시각적으로 보이지 않는 반-입체적인 영역을 나타내는 공백 영역에 해당한다.

HMD 디스플레이부(250)는 제1 아이에 대해 기준영상 생성부(220)에서 생성된 기준영상과 레이 트레이싱부(240)를 통해 생성된 광선 추적되어 워프된 기준영상을 합성하여 사용자에게 가상현실 영상을 제공할 수 있다.

도 3은, 도 1에 있는 헤드 마운트 디스플레이의 다른 제어부를 나타내는 블록도이다. 도 3은 기준영상을 복수의 서브 영상들로 분할하고, 분할된 서브 영상들 각각을 와프(warp)하여 레이 트레이싱을 통해 보정하여 가상영상을 생성하는 경우의 예이다.

도 3을 참조하면, 헤드 마운트 디스플레이(100)는 시점(viewpoint) 획득부(310), 기준영상 생성부(320), 영상 분할부(332)및 분할 임시영상 생성부(332)를 포함하는 임시영상 생성부(330), 레이 트레이싱부(340) 및 HMD 디스플레이부(350)를 포함한다.

시점(viewpoint) 획득부(310), 기준영상 생성부(320), 레이 트레이싱부(340) 및 HMD 디스플레이부(350)의 기능은 도 2의 대응되는 구성의 기능과 동일하다. 이하에서는 설명의 편의를 위해, 주요 차이점을 중심으로 설명하기로 한다.

도 3에서, 임시영상 생성부(330)는 영상 분할부(332) 및 분할 임시영상 생성부(334)를 포함할 수 있다. 영상 분할부(332)는 기준영상을 복수의 서브 기준영상들(예를 들어, 좌측 영상)로 분할한다. 일 실시예에서, 영상 분할부(332)는 기준 윈도우를 분할하는 복수의 서브 윈도우들을 통해 기준영상을 가변적으로 복수의 서브 기준영상들로 분할할 수 있고, 이들의 조합은 기준 윈도우를 완료할 수 있다. 예를 들어, 기준 윈도우의 사이즈가 16*16(픽셀*픽셀)이라면, 복수의 서브 윈도우들의 사이즈는 4*4, 8*8 및 16*16을 포함할 수 있다.

일 실시예에서, 영상 분할부(332)는 한 종류의 복수의 서브 윈도우를 이용하여 기준영상을 분할할 수 있다. 예를 들어, 영상 분할부(332)는 8*8 사이즈의 서브 윈도우를 이용하여 기준영상을 4개의 서브 기준영상들로 분할할 수 있다. 다른 실시예에서, 영상 분할부(332)는 여러 종류의 복수의 서브 윈도우를 이용하여 기준영상을 분할할 수 있다. 예를 들어, 영상 분할부(332)는 8*8 사이즈의 서브 윈도우와 4*4 사이즈의 서브 윈도우를 사용하여, 기준영상을 3개의 8*8 사이즈의 서브 기준영상들과, 4개의 4*4 사이즈의 서브 기준영상들로 분할할 수도 있다.

분할 임시영상 생성부(334)는 복수의 서브 기준영상들에 대해 양안(330)에 의해 형성된 시차를 반영하여 와프(warp)함으로써 임시영상을 생성한다. 분할 임시영상 생성부(240)는 복수의 서브 기준영상들 각각에 이미지 와핑(warping)을 수행하여 임시영상을 생성할 수 있다. 즉, 분할 임시영상 생성부(334)는 복수의 서브 기준영상들 각각에 대해 영상 와핑(warping)을 수행하여 임시영상을 생성할 수 있다.

레이 트레이싱부(340)는 와프된 복수의 서브 기준영상들 중 하나의 에러픽셀(즉, 임계치 이하의 픽셀) 또는 에러픽셀을 갖는 와프된 서브 기준영상에 대해 제2 시선을 아이 레이와 연관시켜 레이 트레이싱을 수행한다. 일 실시예에서, 레이 트레이싱부(340)는 레이 트레이싱을 병렬적으로 수행할 수 있다. 에러픽셀에 대한 레이 트레이싱 과정이 레이 트레이싱부(240)에 설명되어 있으므로, 에러픽셀을 갖는 와프된 서브 기준영상에 대한 레이 트레이싱 과정이 설명 된다.

일 실시예에서, 레이 트레이싱부(340)는 레이 트레이싱된 와프영상을 생성하기 위해 에러픽셀 또는 공백영역(예를 들어, 임계픽셀 이하의 영역)을 포함하는 서브 기준영상들 중 적어도 하나에 대해 제2 시선을 아이 레이와 연관시켜 레이 트레이싱을 수행할 수도 있다. 여기서, 공백영역은 상기 기준영상에서 한쪽 눈에서 보았을 때 다른쪽 눈에서 보이지 않는 영역을 나타내는 복수의 와프된 서브 기준영상들에 대한 반-입체적인 영역을 나타낼 수 있다.

다른 실시예에서, 영상 분할부(332)는 기준영상을 복수의 서브 기준영상들로 분할하면서 또는 분할한 후에, 반-입체영역을 포함하는 복수의 제1 서브 기준영상들과 그렇지 않은 복수의 제2 서브 기준영상들을 구분할 수 있다. 분할 임시영상 생성부(334)는 양안에 의해 형성된 시차를 반영하여 복수의 제2 서브 기준영상들을 와프(warp)함으로써 임시영상을 생성할 수 있다.

이러한 경우, 레이 트레이싱부(340)는 복수의 제1 서브 기준영상들에 관해 제2 시선을 레이 트레이싱에 사용된 아이 레이와 연관시켜 레이 트레이싱을 수행하고, 복수의 제1 서브 기준영상들과 와프된 복수의 제2 서브 기준영상들을 합성하여 레이 트레이싱된 와프영상을 생성할 수 있다.

도 4는, 도 1에있는 헤드 마운트 디스플레이 시스템의 가상현실 생성방법을 설명하는 흐름도이고 도 5는 입체적 및 반-입체적 영역을 도시한 개념도이다.

도 4를 참조하면, 시점 획득부(210 또는 310)가 양안에 의하여 형성 된 제1 및 제2 시선들과 시차를 포함하는 시점을 획득 한 후, 기준영상 생성부(220 또는 320)는 레이 트레이싱을 통해 제1 아이와 연관된 기준영상을 생성한다(단계 S410).

임시영상 생성부(230 또는 330)는 제2 아이와 연관되고 기준영상을 변형한 임시영상을 생성한다(단계 S320). 일 실시예에서, 임시영상 생성부(230 또는 330)는 기준영상에 양안에 의해 형성된 시차를 반영할 수 있고 기준영상을 와프(warp)하여 임시영상을 생성할 수 있다. 임시영상 생성부(230 또는 330)는 전체적으로 또는 부분적으로 기준영상을 변형할 수 있다.

레이 트레이싱부(240 또는 340)는 임시영상에 있는 에러픽셀(즉, 임계치 이하의 픽셀)에 관해 아이레이로 제2 시선을 사용하여 레이 트레이싱을 수행한다(단계 S430).

일 실시예에서, 레이 트레이싱부(240 또는 340)는 임시영상에 있는 각각의 에러픽셀들 또는 그 내부에 있는 각각의 에러 서브블록들에 대해 레이 트레이싱을 수행하며, 각각은 에러픽셀을 갖는 분할되고 변환 된 기준영상을 나타낸다. 마지막으로, 레이 트레이싱부(240 또는 340)는 레이 트레이싱되고 변환된 기준영상을 생성한다.

도 5에서, 기준영상이 좌안에서 본 좌측 영상 인 것으로 가정하면, 임시영상 생성부(230 또는 330)는 기준영상을 변환하여 우안 용 임시영상을 생성한다. 입체영역(510)은 양 안에서 보아 적절하게 변형 된 영역을 포함할 수 있다. 반-입체영역(250)은 우안에서 보았을 때 좌안에서 보이지 않고 부적절하게 변형 된 영역을 포함할 수 있다. 레이 트레이싱부(240 또는 340)는 반-입체영역(520)에 포함되고, 그 안에서 레이 트레이싱을 수행하는 임시영상에서 에러픽셀을 탐색한다. 일 실시예에서, 에러픽셀은 에러픽셀을 포함하는 서브블록으로 사용될 수 있다.

HMD 디스플레이부(250 또는 350)는 양 안에 가상영상을 생성한다. 즉, HMD 디스플레이부(250 또는 350)는 기준영상을 하나의 디스플레이부(예를 들어, 좌측 디스플레이부(110))에 제공하고, 레이 트레이싱되어 변형된 기준영상을 다른 디스플레이부(예를 들어, 우측 디스플레이부(120))에 제공한다.

상기에서는 본 출원의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 출원을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

100: 헤드 마운트 디스플레이(HMD, Head Mounted Display)
110: 좌측 디스플레이부
120: 우측 디스플레이부
130: 네트워크 인터페이스부
140: 제어부
210: 시점 획득부
220: 기준영상 생성부
230: 임시영상 생성부
240: 레이 트레이싱부
250: HMD 디스플레이부

Claims (13)

1. (a) 레이 트레이싱을 통해 제1 아이(eye)와 연관된 기준영상을 생성하는 단계;
   (b) 제2 아이와 연관되고 상기 기준영상을 변환함으로써 생성된 임시영상을 생성하는 단계; 및
   (c) 상기 임시영상에 있는 픽셀들 중에서 픽셀 값이 기 설정된 임계치 이하인 픽셀에 관해 레이 트레이싱을 수행하여 가상영상을 생성하는 단계를 포함하되,
   상기 (b) 단계는 (b1) 상기 기준영상을 복수의 서브 기준영상들로 분할하는 단계 및 (b2) 상기 복수의 서브 기준영상들 각각에 양안에 의해 생성된 시차를 반영하여 상기 기준영상을 와프(warp)하는 단계를 포함하는 것을 특징으로 하는 HMD(Head-Mounted Display)의 가상현실 생성방법.
2. 제1항의 방법에 있어서,
   상기 (a) 단계 이전에 양안에 의하여 형성되고 제1 및 제2 시선들(eyelines)과 시차(parallax)를 포함하는 시점(viewpoint)을 획득하는 단계를 더 포함하는 것을 특징으로 하는 HMD의 가상현실 생성방법.
3. 제1항에 있어서, 상기 (a) 단계는
   레이 트레이싱에 사용된 아이 레이와 제1 시선 (eyeline)을 연관시켜 상기 기준영상을 생성하는 단계를 포함하는 것을 특징으로 하는 HMD의 가상현실 생성방법.
4. 제1항에 있어서, 상기 (b) 단계는
   상기 기준영상에서 양안에 의해 형성된 시차를 반영하여 상기 기준영상을 와프(warp)하는 단계를 포함하는 것을 특징으로 하는 HMD의 가상현실 생성방법.
5. 제4항에 있어서, 상기 (c) 단계는,
   레이 트레이싱에 사용된 아이 레이(eye ray)와 제2 시선(eyeline)을 연관시켜 공백영역에 대한 레이 트레이싱을 수행하는 단계를 포함하고,
   상기 공백영역은 상기 기준영상이 입체적으로 표시될 때 제1 시선(eyeline)을 통해 시각적으로 표시되지 않은 비-입체 영역에 해당하는 것을 특징으로 하는 HMD의 가상현실 생성방법.
6. 삭제
7. 제1항에 있어서, 상기 (b1) 단계는
   복수의 서브 윈도우들의 조합을 통해 상기 복수의 서브 기준영상들로 가변적으로 분할하는 단계를 더 포함하고,
   상기 조합은 기준 윈도우를 완성하는 것을 특징으로 하는 HMD의 가상현실 생성방법.
8. 제1항에 있어서, 상기 (c) 단계는
   (c1) 레이 트레이싱에서 사용된 아이 레이(eye ray)와 제2 시선(eye line)을 연관시켜서 적어도 하나의 서브 기준영상에 관한 레이 트레이싱을 수행하는 단계를 포함하고,
   상기 적어도 하나의 서브 기준영상은 상기 복수의 와프(wraped)된 서브 기준영상들 중 비-입체 영역에 해당하는 공백영역을 포함하는 것을 특징으로 하는 HMD의 가상현실 생성방법.
9. 제8항에 있어서, 상기 (c1) 단계는
   상기 복수의 와프(warped)된 서브 기준영상들에 관한 레이 트레이싱을 병렬적으로 수행하는 단계를 더 포함하는 것을 특징으로 하는 HMD의 가상현실 생성방법.
10. 제1항에 있어서, 상기 (b) 단계는
    (b1-1) 상기 기준영상을 복수의 서브 기준영상들로 분할하기전 또는 분할한 후에, 반-입체영역을 포함하는 복수의 제1 서브 기준영상들과 그렇지 않은 복수의 제2 서브 기준영상들로 구분하는 단계; 및
    (b2-1) 상기 복수의 제2 서브 기준영상들 각각에 양안에 의해 형성된 시차를 반영하여 상기 복수의 제2 서브 기준영상들을 와프(warped)하는 단계를 포함하는 것을 특징으로 하는 HMD의 가상현실 생성방법.
11. 제10항에 있어서, 상기 (c) 단계는
    (c1) 제2 시선(eyeline)과 레이 트레이싱(ray tracing)에 사용된 아이 레이(eye ray)를 연관시켜 상기 복수의 제1 서브 기준영상에 레이 트레이싱(ray tracing)을 수행하는 단계를 포함하는 것을 특징으로 하는 HMD의 가상현실 생성방법.
12. 제11항에 있어서, 상기 (c) 단계는
    (c2) 상기 레이 트레이싱을 통해 생성된 복수의 제1 서브 기준영상들과 상기 와프(warped)된 복수의 제2 서브 기준영상들을 합성하여 상기 가상영상을 생성하는 단계를 더 포함하는 것을 특징으로 하는 HMD의 가상현실 생성방법.
13. 양안에 의하여 형성되고 제1 및 제2 시선들(eyelines)과 시차(parallax)를 포함하는 시점(viewpoint)을 획득하는 시점 획득부;
    레이 트레이싱(ray tracing))을 통해 제1 아이(eye)와 연관된 기준영상을 생성하도록 구성되는 기준영상 생성부;
    제2 아이와 연관되고 상기 기준영상을 변형한 임시영상을 생성하는 임시영상 생성부; 및
    상기 임시영상에 있는 픽셀들 중 픽셀 값이 기 설정된 임계치 이하인 픽셀에 관해 레이 트레이싱(ray tracing))을 수행하는 레이 트레이싱부를 포함하되,
    상기 임시영상 생성부는 상기 기준영상을 복수의 서브 기준영상들로 분할하고 상기 복수의 서브 기준영상들 각각에 양안에 의해 생성된 시차를 반영하여 상기 기준영상을 와프(warp)하는 것을 특징으로 하는 헤드 마운트 디스플레이.
    
    

Images