KR20190046387A - Hmd 영상 보정 방법 및 hmd에 보정 영상을 표시하는 방법 - Google Patents

Hmd 영상 보정 방법 및 hmd에 보정 영상을 표시하는 방법 Download PDF

Info

Publication number
KR20190046387A
KR20190046387A KR1020170140130A KR20170140130A KR20190046387A KR 20190046387 A KR20190046387 A KR 20190046387A KR 1020170140130 A KR1020170140130 A KR 1020170140130A KR 20170140130 A KR20170140130 A KR 20170140130A KR 20190046387 A KR20190046387 A KR 20190046387A
Authority
KR
South Korea
Prior art keywords
image
hmd
target object
correction value
position correction
Prior art date
Application number
KR1020170140130A
Other languages
English (en)
Inventor
이상호
Original Assignee
주식회사 그루크리에이티브랩
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 그루크리에이티브랩 filed Critical 주식회사 그루크리에이티브랩
Priority to KR1020170140130A priority Critical patent/KR20190046387A/ko
Publication of KR20190046387A publication Critical patent/KR20190046387A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명에 따른 HMD 영상 보정 방법은 영상 정보로부터 타겟 오브젝트까지의 오브젝트 거리를 추출하는 단계, HMD 사용자의 머리 움직임에 따른 회전 정보를 획득하는 단계, 오브젝트 거리 및 상기 회전 정보를 이용하여 HMD 영상의 위치 보정값을 산출하는 단계 및 위치 보정값에 따라 변환된 상기 HMD 영상이 네거티브 디스패리티 영역에서 포지티브 디스패리티 영역으로 넘어가거나, 포지티브 디스패리티 영역에서 네거티브 디스패리티 영역으로 넘어가는 경우, 상기 HMD 영상을 제로 디스패리티 영역에 고정되도록 보정 영상을 생성하는 단계를 포함한다. 본 발명에 의하면, 특정 구간에 대해서만 영상 이동이 진행될 수 있도록 렌더링 조건을 변경함으로써 양안 영상에 의한 어지럼증 발현 요소를 억제할 수 있게 된다.

Description

HMD 영상 보정 방법 및 HMD에 보정 영상을 표시하는 방법{METHOD FOR CORRECTING IMAGES OF HEAD MOUNTED DISPLAY AND METHOD FOR DISPLAYING CORRECTED IMAGES ON HEAD MOUNTED DISPLAY}
본 발명은 HMD 영상 보정 방법 및 HMD에 보정 영상을 표시하는 방법에 관한 것으로, 더욱 상세하게는 HMD 등에서 재생될 수 있는 3차원 영상에 대해 컨버전스 매칭 효과를 극대화할 수 있도록 하는 HMD 영상 보정 방법 및 HMD에 보정 영상을 표시하는 방법에 관한 것이다.
가상현실(VR; Virtual Reality)이란 인공적으로 생성된 가상의 공간으로 3차원 시각 효과 등을 통해 현실성을 부여하는 공간이다. 가상현실 구현을 위한 기술은 사용자의 입력을 실시간으로 처리하여 현실 세계에 있는 것 같은 느낌을 받을 수 있는 기술로, 멀티미디어를 뛰어 넘는 차세대 기술이다.
이러한 가상현실은 HMD(Head Mount Display, 헤드 마운트 디스플레이)와 같은 장치를 통해 이용할 수 있다. HMD는 사용자의 머리(head)에 착용하여 눈 앞의 스크린에 렌즈를 통해 객체(object)가 입체감을 가지면서 보이도록 한다.
사람이 지각하는 입체감은 보고자 하는 물체의 위치에 따라 수정체 두께의 변화 정도, 좌우 눈과 물체와의 각도 차이, 좌우 눈에 보이는 물체의 위치 및 형태 차이, 물체의 운동에 따라 생기는 시차, 관찰자의 심리적 요인 등 여러 요소가 복합적으로 작용하여 생긴다. 특히, 사람의 눈은 초점 조절(accomodation)과 좌우 눈에 의한 두 시선을 보고자 하는 물체 위에 하나로 모으는 폭주(vergence) 조절이 동시에 일어난다.
일반적으로, HMD는 고정 스크린 방식을 사용하고 있으며, HMD를 착용하고 있는 사용자의 눈과 영상의 객체 간의 거리의 변화에 따른 눈의 초점 조절(accomodation)과 좌우 눈의 수렴(convergence)을 정확히 반영하지 못하고 있다.
즉, HMD에서 사용자가 영상을 볼 때, 눈의 초점이 스크린에 맞춰져 있으나, 좌우 눈의 수렴(convergence)은 주목하고 있는 객체에 맞추어져 있어 불일치가 발생하며, 이에 따라 사용자가 눈의 피로가 증가하고, 어지럼증을 느끼게 된다.
뿐만 아니라, 종래 기술은 매 프레임마다 정제되지 않은 디스패리티 값을 이용하여 영상 이동값을 결정하고 이를 바로 렌더링 파이프라인에서 적용하였기 때문에 영상이 항상 상하좌우로 움직이는 문제점을 안고 있었다.
대한민국 공개특허 2012-0051308호 (2012.05.22. 공개) 대한민국 공개특허 2013-0078990호 (2013.07.10. 공개)
본 발명은 상기 문제점을 해결하기 위한 것으로, 본 발명의 목적은 컨버전스 매칭 효과를 극대화하고, 양안 영상에 의한 어지럼증 발현 요소를 억제할 수 있는 HMD 영상 보정 방법 및 HMD에 보정 영상을 표시하는 방법을 제공함에 있다. 또한, 매 프레임마다 정제되지 않은 디스패리티 값을 이용하여 영상 이동값을 결정하고 이를 바로 렌더링 파이프라인에서 적용함에 따른 영상의 상하좌우 움직임 문제를 해소할 수 있는 HMD 영상 보정 방법 및 HMD에 보정 영상을 표시하는 방법을 제공함에 있다.
본 발명이 해결하고자 하는 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 목적을 달성하기 위한 본 발명에 따른 HMD 영상 보정 방법은 영상 정보로부터 타겟 오브젝트까지의 오브젝트 거리를 추출하는 단계; HMD 사용자의 머리 움직임에 따른 회전 정보를 획득하는 단계; 상기 오브젝트 거리 및 상기 회전 정보를 이용하여 HMD 영상의 위치 보정값을 산출하는 단계; 및 상기 위치 보정값에 따라 변환된 상기 HMD 영상이 네거티브 디스패리티 영역에서 포지티브 디스패리티 영역으로 넘어가거나, 포지티브 디스패리티 영역에서 네거티브 디스패리티 영역으로 넘어가는 경우 상기 영상을 제로 디스패리티 영역으로 고정하여 보정 영상을 생성하는 단계;를 포함한다.
한편, 상기 목적을 달성하기 위한 본 발명에 따른 HMD 영상 보정 방법은 HMD 영상의 전체 가시거리(viewing distanc)를 N개의 레이어로 분할하는 단계; 상기 N개의 레이어에서의 위치 보정값을 산출하는 단계; 양안의 중앙점과 타겟 오브젝트 사이의 거리를 계산하여 상기 타겟 오브젝트가 상기 N개의 레이어 중 어느 레이어에 위치하는지를 판단하는 단계; 및 상기 타겟 오브젝트가 위치하는 레이어에서의 위치 보정값을 적용하여 상기 HMD 영상을 보정하는 단계;를 포함한다.
그리고, 상기 N개의 레이어에서 서로 인접하는 영역을 그래주얼 시프팅 레이어(Gradual shifting layer)로 설정하는 단계; 상기 타겟 오브젝트가 상기 그래주얼 시프팅 레이어에 위치하는 경우, 상기 그래주얼 시프팅 레이어에 인접한 2개의 레이어에서의 위치 보정값을 선형 보간하는 단계; 및 상기 선형 보간된 위치 보정값을 적용하여 상기 HMD 영상을 보정하는 단계;를 더 포함할 수 있다.
한편, 상기 목적을 달성하기 위한 HMD에 보정 영상을 표시하는 방법은, 상기 제1항 내지 제3항에 기재된 HMD 영상 보정 방법에 의해 생성된 보정 영상을 수신하는 단계; 상기 HMD의 시야각 및 스크린 해상도를 기초로 상기 보정 영상을 스케일링하는 단계; 및 상기 스케일링된 보정 영상을 상기 HMD의 스크린에 표시하는 단계;를 포함한다.
본 발명에 의하면, 특정 구간에 대해서만 영상 이동이 진행될 수 있도록 렌더링 조건을 변경함으로써 양안 영상에 의한 어지럼증 발현 요소를 억제할 수 있게 된다.
도 1a는 본 발명의 일 실시예에 따른 HMD 영상 보정 방법을 나타내는 흐름도이다.
도 1b는 본 발명의 일 실시예에 따른 HMD 영상 보정 방법을 설명하기 위한 개략도이다.
도 2는 HMD 사용자의 머리 움직임에 따른 회전 방향을 설명하기 위한 도면이다.
도 3은 HMD의 영상 기술 개요를 설명하기 위한 도면이다.
도 4a 내지 4c는 컨버전스 조절의 일 실시예를 설명하기 위한 도면이다.
도 5a는 본 발명의 다른 실시예에 따른 HMD 영상 보정 방법을 나타내는 흐름도이다.
도 5b는 본 발명의 또 다른 실시예에 따른 HMD 영상 보정 방법을 나타내는 흐름도이다.
도 5c는 도 5a 및 5b의 실시예를 설명하기 위한 개략도이다.
도 6은 본 발명의 일 실시예에 따른 HMD에 보정 영상을 표시하는 방법의 흐름도이다.
도 7은 영상을 스케일링하는 일 실시예를 설명하기 위한 도면이다.
도 8은 HMD 사용자의 눈에 대한 호럽터(horopter)와 파넘(panum) 영역을 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시예에 따른 HMD 영상 보정 방법에 의해 생성된 보정 영상을 표시하는 HMD를 포함하는 시스템을 개략적으로 도시한 도면이다.
도 10은 본 발명의 일 실시예에 따른 HMD 영상 보정 방법에 의해 생성된 보정 영상을 표시하는 HMD의 구성을 도시한 도면이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
비록 제1, 제2 등이 다양한 소자, 구성요소 및/또는 섹션들을 서술하기 위해서 사용되나, 이들 소자, 구성요소 및/또는 섹션들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 소자, 구성요소 또는 섹션들을 다른 소자, 구성요소 또는 섹션들과 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 소자, 제1 구성요소 또는 제1 섹션은 본 발명의 기술적 사상 내에서 제2 소자, 제2 구성요소 또는 제2 섹션일 수도 있음은 물론이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "이루어지다(made of)"는 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않은 한 이상적으로 또는 과도하게 해석되지 않는다.
이하, 본 발명에 대하여 첨부된 도면을 참조하면서 더욱 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 HMD 영상 보정 방법을 나타내는 흐름도이다. 이와 함께, 도 2는 HMD 사용자의 머리 움직임에 따른 회전 방향을 설명하기 위한 도면이고, 도 3은 HMD의 영상 기술 개요를 설명하기 위한 도면이며, 도 4a 내지 4c는 컨버전스 조절의 일 실시예를 설명하기 위한 도면이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 HMD 영상 보정 방법은, 영상 정보로부터 타겟 오브젝트까지의 오브젝트 거리를 추출(S110)하고, HMD 사용자의 머리 움직임에 따른 회전 정보를 획득(S111)하고, 오브젝트 거리 및 회전 정보를 이용하여 HMD 영상의 위치 보정값(h)을 산출(S112)한다.
이후, 위치 보정값에 따라 변환된 HMD 영상이 네거티브 디스패리티 영역에서 포지티브 디스패리티 영역으로 이동하는지를 판단(S113)하고, 네거티브 디스패리티 영역에서 포지티브 디스패리티 영역으로 이동하면(S113-Y), HMD 영상이 제로 디스패리티 영역으로 고정되도록 보정 영상을 생성한다(S114).
반대로, 네거티브 디스패리티 영역에서 포지티브 디스패리티 영역으로 이동하지 않으면(S113-N), 위치 보정값에 따라 변환된 HMD 영상이 포지티브 디스패리티 영역에서 네거티브 디스패리티 영역으로 이동하는지를 판단(S115)하고, 포지티브 디스패리티 영역에서 네거티브 디스패리티 영역으로 이동하면(S115-Y), HMD 영상이 제로 디스패리티 영역으로 고정되도록 보정 영상을 생성한다(S114). 만약, 포지티브 디스패리티 영역에서 네거티브 디스패리티 영역으로 이동하지 않으면(S115-N), 위치 보정값에 따라 변환된 HMD 영상을 보정 영상으로 생성한다(S116).
먼저, 영상 정보의 오브젝트 거리는 HMD에 저장된 영상 또는 외부에서 HMD로부터 전송되는 영상의 영상 정보로부터 추출될 수 있다.
상기 영상 정보에는 파일이름, 파일 용량, 플레이 시간, 프레임 수, 해상도 정보 등과 함께, 객체의 정보가 포함된다. 구체적으로, 객체 이름, 객체 방향, 객체의 이동 거리, 객체와의 거리, 객체 비율, 객체 위도, 객체 경도 등을 들 수 있다. 그러므로, 영상 정보에 포함된 객체의 정보 중에서 객체와의 거리를 추출할 수 있으며, 영상 정보로부터 타겟 오브젝트까지의 오브젝트 거리를 추출할 수 있다.
사용자 머리의 회전 정보는 HMD의 사용자를 기준으로 상기 HMD의 스크린에 대해 깊이 방향에 대한 회전 정보인 롤값, 지면을 기준으로 상기 HMD의 스크린에 대해 수평 방향에 대한 회전 정보인 피치값, 지면을 기준으로 상기 HMD의 스크린에 대해 수직 방향에 대한 회전 정보인 요값 중 적어도 하나를 획득함으로써 추출될 수 있다.
구체적으로, 도 2에 도시한 바와 같이, HMD의 스크린에 대해 깊이 방향을 z축, 지면을 기준으로 상기 HMD의 스크린에 대해 수평 방향을 x축, 지면을 기준으로 상기 HMD의 스크린에 대해 수직 방향을 y축으로 표현할 수 있으며, z축을 기준으로 한 회전이 롤(roll), x축을 기준으로 한 회전이 피치(pitch), y축을 기준으로 한 회전이 요(yaw)가 된다.
바람직하게는, 롤값, 피치값, 요값 중 상기 롤값이 포함된 적어도 하나의 값을 획득할 수 있다. 즉, 영상의 위치 보정값을 산출하기 위해, HMD의 스크린에 대해 깊이 방향에 대한 회전 정보인 롤값을 사용하며, 보조적으로 피치값, 요값을 사용할 수 있다.
HMD 사용자의 눈의 초점(accomodation)은 스크린에 맞추어져 있지만, 좌우 눈의 수렴(convergence)은 보고자 주목하는 타겟 오브젝트(target object)에 모아지는 불일치 현상이 일어나므로 컨버전스(convergence)의 조절이 필요하다.
이에 따라, HMD에 제공되어 표시되는 영상에서는 영상의 깊이(depth)가 중요한 역할을 한다. 그러므로, HMD의 사용자를 기준으로 상기 HMD의 스크린에 대해 깊이 방향에 대한 회전 정보인 롤값이 컨버전스(convergence) 조절에 중요한 요소가 된다.
참고로, 회전 정보는 HMD에 구비된 센서를 이용하여 획득할 수 있다. 일반적으로, HMD는 세 방향의 가속도를 측정할 수 있는 3축 가속도 센서, 세 방향의 각속도를 측정할 수 있는 3축 자이로 센서, 세 방향의 지자기를 측정할 수 있는 3축 지자기 센서를 구비할 수 있다. 자이로 센서에서 측정한 각속도 데이터는 단위 시간당 각도 변화량을 의미하며, 각속도 데이터를 적분하면 각도가 되므로 자이로 센서는 HMD 사용자의 머리 회전을 계산하기 위한 센서이다.
또한, 각 변화율(angular rate)은 자이로 센서 및/또는 지자기 센서를 사용하여 측정할 수 있다. 또한, 지자기 센서가 없더라도, 가속도 센서가 측정한 가속도 데이터를 이용하여 롤(roll) 및 피치(pitch) 값을 계산하고, 상기 계산된 롤 및 피치 값으로부터 요값을 계산할 수도 있다.
이렇게 추출된 영상 정보의 오브젝트 거리 및 사용자 머리의 회전 정보에 기초하여 다음과 같은 방법으로 위치 보정값이 산출될 수 있다. 위치 보정값은 오브젝트 거리를 기초로 하여 HMD의 스크린 및 상기 HMD 사용자에 의해 형성되는 스크린 디스패러티값을 산출하며, 롤값, 피치값, 요값 중 상기 롤값이 포함된 적어도 하나의 값 및 상기 스크린 디스패러티값을 기초로 산출될 수 있다.
도 3에 도시한 바와 같이, 사용자의 좌안(L)과 우안(R)의 시차(disparity)를 이용하여 상기 좌안(L)과 우안(R)에 각각 대응되는 한 쌍의 스크린(15a, 15b)을 통해 가상적으로 입체감을 느낄 수 있다. 사용자의 눈 바로 앞에 가상의 스크린(Virtual Screen)을 띄운 후, 눈으로 초점(accomodation)을 맞추고, 컨버전스(convergence)를 조절하여 가상의 입체 영상을 구현할 수 있다. 이때, 사용자의 좌안(L)과 우안(R)의 동공 간 거리 IPD(Inter Pupillary Distance)는 60~70mm 정도일 수 있다. 가상 환경에서의 카메라 IPD는 시스템에 따라 다양한 거리로 설정될 수 있고, 그 정보는 자유롭게 추출되어 사용될 수 있다.
사용자의 좌안(L)과 우안(R)의 동공 간 거리 IPD에 의해 발생하는 스크린 디스패러티값을 산출할 수 있다. 스크린 디스패러티(screen disparity)는 스크린(15a, 15b)에서 좌우 대응점의 수평 이격거리가 된다.
도 4a 내지 도 4c에서, 사용자의 좌안(L)과 우안(R)의 동공 간 거리 IPD를 e라 표현할 수 있고, Z는 사용자의 눈으로부터 고정된 스크린까지의 거리를 의미한다. 이때, p는 패럴럭스(parallax)를 의미하고, d는 스크린 디스패리티(screen disparity)를 의미한다.
이때, 도 4a는 제로 패럴럭스(zero parallax) 상태이며, Accomodation-Convergence 정합이 이루어진다. 도 4b는 타겟 오브젝트가 컨버전스 포인트 뒤에 있어서 스크린면 뒤로 들어가 보이는 포지티브 패럴럭스(positive parallax) 상태이며, 도 4c는 타겟 오브젝트가 컨버전스 포인트 앞에 있어서 스크린면 앞으로 돌출되어 보이는 네거티브 패럴럭스(negative parallax) 상태이고, 컨버전스 조절이 요구된다.
상기 스크린 디스패러티값을 이용하여 영상을 이동시킬 수 있으며, 타겟 오브젝트의 깊이 값이 고정된 스크린 거리 보다 크면 (+) 값을, 상기 타겟 오브젝트의 깊이 값이 상기 고정된 스크린 거리보다 작으면 (-) 값을 산출할 수 있다. HMD는 사용자의 좌안(L)과 우안(R)에 각각 대응되는 한 쌍의 스크린(15a, 15b)이므로, 스크린 디스패러티값 d에 따른 영상의 이동값 h는 다음의 수학식 1과 같이 표현할 수 있다.
Figure pat00001
다시 도 4b를 참조하면, 포지티브 패럴럭스(positive parallax) 상태이고, 다음의 수학식 2 및 3과 같이 표현할 수 있다.
Figure pat00002
Figure pat00003
상기 수학식 2 및 3으로부터 다음의 수학식 4가 도출된다.
Figure pat00004
다시 도 4c를 참조하면, 네거티브 패럴럭스(negative parallax) 상태이고, 다음의 수학식 5 및 6과 같이 표현할 수 있다.
Figure pat00005
Figure pat00006
상기 수학식 5 및 6으로부터 다음의 수학식 7이 도출된다.
Figure pat00007
따라서, 상기 수학식 1은 상기 수학식 4 및 7로부터 다음의 수학식 8을 도출할 수 있다. 여기서, h는 영상을 HMD의 스크린에 대해 수평 방향으로 이동시키는 값이 된다.
Figure pat00008
위치 보정값이 산출되면, 해당 위치 보정값에 따라 변환된 HMD 영상이 네거티브 디스패리티 영역에서 포지티브 디스패리티 영역으로 이동하는지를 판단한다.
구체적으로, 도 1b를 참조하면, 제1 타겟 오브젝트(TO1)의 경우 영상 보정이 이루어지면서 네거티브 디스패리티 영역에서 제로 디스패리티로 이동하는 것으로 표시되어 있다. 만약, 해당 위치 보정값에 따라 HMD 영상이 보정되면서, 도 1b에서 실선으로 표시된 제1 타겟 오브젝트(TO1)에서 점선으로 표시된 제1 타겟 오브젝트(TO1)를 벗어나 포지티브 디스패리티 영역으로 넘어가는 경우 HMD 영상이 제로 디스패리티 영역으로 고정되도록 보정 영상을 생성한다.
마찬가지로, 도 1b를 참조하면, 해당 위치 보정값에 따라 변환된 HMD 영상이 포지티브 디스패리티 영역에서 네거티브 디스패리티 영역으로 이동하는지를 판단한다.
구체적으로, 도 1b를 참조하면, 제2 타겟 오브젝트(TO2)의 경우 영상 보정이 이루어지면서 포지티브 디스패리티 영역에서 제로 디스패리티로 이동하는 것으로 표시되어 있다. 만약, 해당 위치 보정값에 따라 HMD 영상이 보정되면서, 도 1b에서 실선으로 표시된 제2 타겟 오브젝트(TO2)에서 점선으로 표시된 제2 타겟 오브젝트(TO2)를 벗어나 네거티브 디스패리티 영역으로 넘어가는 경우 HMD 영상이 제로 디스패리티 영역으로 고정되도록 보정 영상을 생성한다.
도 1a 및 1b에 도시된 실시예에 따른 HMD 영상 보정 방법에 의하면 영상 보정 영역을 제로 디스패리티 영역(h=0이 되는 영역)까지로 제한함으로써 양안 영상에 의한 어지럼증 발현 요소를 억제한다.
도 5a는 본 발명의 다른 실시예에 따른 HMD 영상 보정 방법을 나타내는 흐름도이다.
도 5a에 도시된 HMD 영상 보정 방법은 HMD 영상의 전체 가시거리를 N개의 레이어로 분할(S120)하고, N개의 레이어에서의 위치 보정값을 산출(S121)하며, 양안의 중앙점과 타겟 오브젝트 사이의 거리를 계산하여 N개의 레이어 상에서의 타겟 오브젝트의 위치를 판단(S122)한 뒤 타겟 오브젝트가 위치하는 레이어에서의 위치 보정값을 적용하여 HMD 영상을 보정(S123)한다.
도 5c를 참조하면, HMD 영상의 전체 가시거리가 4개의 레이어로 분할된 뒤 각 레이어의 깊이와 위치 보정값이 산출된다.
각 레이어의 깊이는 레이어의 개수(N), 후술할 그래주얼 시프팅값(gradual shifting amount)(G), 포화 깊이(saturated depth)(M)에 의하여 결정될 수 있고, 각 값은 사용자에 의하여 미리 정의된 값을 갖는다. 레이어의 개수(N)는 전체 가시거리에 따라 2 이상의 적절한 개수로 이루어질 수 있다. 그래주얼 시프팅값은 각 레이어가 인접하는 영역에서 컨티뉴어스한 위치 보정값을 설정하기 위한 영역이며, 그 깊이는 사용자의 의도에 따라 달리 설정될 수 있다. 포화 깊이(M)는 전체 가시거리를 의미할 수 있고, 시스템에 따라 다를 수 있다.
여기서, 각 구간별 깊이 범위는 아래 수학식 9에 의하여 설정될 수 있다.
Figure pat00009
여기서, n은 각 레이어의 번호(n=2,3…)를 나타낸다. 단, 제1 레이어(Z1)의 깊이는 0에서 (M/N×n)+G까지가 된다.
도 5c에서는 레이어의 개수(N)가 4, 그래주얼 시프팅값(G)을 ±0.1, 포화 깊이(M)를 2.0으로 설정하여 각 레이어에서의 위치 보정값(h)과 깊이값을 산출하였다.
예를 들어, 위에서 설명한 위치 보정값 산출 방법에 따르면 제2 레이어의 깊이(Z2)는 0.6∼0.9가 되고, 제3 레이어의 깊이(Z3)는 1.1∼1.4가 된다.
이후, 아래 수학식 10에 의하여 양안의 중앙점(C)을 계산한다.
Figure pat00010
그 다음 중앙점(C)과 제3 타겟 오브젝트(TO3) 사이의 거리를 계산하고, 이에 의하여 타겟 오브젝트(TO3)가 어느 레이어에 위치하는지를 판단한다. 다만, 다른 실시예에서는 양자 사이의 거리 계산에 의하지 않고, 제3 타겟 오브젝트(TO3)의 위치 좌표를 추출하는 것에 의하여 제3 타겟 오브젝트(TO3)가 어느 레이어에 속해 있는지를 판단할 수도 있다. 한편, 각 레이어에서의 위치 보정값(h1,h2,h3,h4)은 위의 수학식 8에 기초하여 산출될 수 있을 것이다.
마지막으로, 위에서 설명한 방법에 의하여 산출된 타겟 오브젝트의 위치 레이어 및 해당 레이어에 대한 위치 보정값에 기초하여 HMD 영상을 보정한다.
도 5b는 본 발명의 또 다른 실시예에 따른 HMD 영상 보정 방법을 나타내는 흐름도이다. 도 5b에 도시된 HMD 영상 보정 방법은 HMD 영상의 전체 가시거리를 N개의 레이어로 분할(S130)하고, N개의 레이어에서의 위치 보정값(S131)을 산출하고, N개의 레이어에서 인접하는 레이어가 접하는 영역을 그래주얼 시프팅 레이어로 설정(S132)하며, 양안의 중앙점과 타겟 오브젝트 사이의 거리를 계산하여 타겟 오브젝트의 위치를 판단(S133)한다.
이후, 타겟 오브젝트가 그래주얼 시프팅 레이어 상에 위치하는지 판단(S134)하고, 타겟 오브젝트가 그래주얼 시프팅 레이어 상에 위치한다면(S134-Y), 그래주얼 시프팅 레이어에 인접한 2개의 레이어에서의 위치 보정값을 선형 보간한 보간값을 산출(S135)하고, 그 보간값을 적용하여 HMD 영상을 보정한다(S136).
만약, 타겟 오브젝트가 그래주얼 시프팅 레이어 상에 위치하지 않으면(S134-N), 타겟 오브젝트가 위치하는 레이어에서의 위치 보정값을 적용하여 HMD 영상을 보정(S137)한다.
도 5c를 참조하면, HMD 영상의 전체 가시거리가 4개의 레이어로 분할된 뒤 각 레이어의 깊이와 위치 보정값이 산출된다.
각 레이어의 깊이는 레이어의 개수(N), 후술할 그래주얼 시프팅값(gradual shifting amount)(G), 포화 깊이(saturated depth)(M)에 의하여 결정될 수 있고, 각 값은 사용자에 의하여 미리 정의된 값을 갖는다. 레이어의 개수(N)는 전체 가시거리에 따라 2 이상의 적절한 개수로 이루어질 수 있다. 그래주얼 시프팅값은 그래주얼 시프팅 레이어의 깊이를 나타내며, 각 레이어가 인접하는 영역에서 컨티뉴어스한 위치 보정값을 설정하기 위한 영역으로, 그 깊이는 사용자의 의도에 따라 달리 설정될 수 있다. 포화 깊이(M)는 전체 가시거리를 의미할 수 있고, 시스템에 따라 다를 수 있다.
수학식 9 및 10에 의하여 각 레이어의 깊이값 및 타겟 오브젝트가 어느 레이어에 위치하는지를 파악할 수 있고, 수학식 1에 의하여 각 레이어에 대한 위치 보정값(h1,h2,h3,h4)이 추출된다.
여기서, 타겟 오브젝트가 그래주얼 시프팅 레이어 상에 위치하는 경우에는 앞서서 위치하는 레이어의 위치 보정값을 적용할지 뒤에 위치하는 레이어의 위치 보정값을 적용할지가 불분명해져서 영상 보정이 제대로 이루어지지 않을 수 있다.
따라서, 그래주얼 시프팅 레이어에서는 컨티뉴어스한 위치 보정값을 적용하기 위하여 아래 수학식 11에 의하여 위치 보정값을 선형 보간하여 보간값(hsn)을 ㄱ계산한다.
Figure pat00011
여기서, k는 그래주얼 시프팅 레이어의 시작점으로부터의 거리를 의미한다.
예를 들어, 제3 타겟 오브젝트(TO3)가 제1 그래주얼 시프팅 레이어의 중심에 있는 경우, h2=-20, h1=-60, G=0.1, k=0.1이므로 제1 그래주얼 시프팅 레이어의 보간값(hs1)은 -40이 된다.
만약, 타겟 오브젝트가 그래주얼 시프팅 레이어 상에 위치하지 않는다면 제1 내지 제4 레이어 중 어느 하나의 레이어 상에 존재하기 때문에, 위에서 설명한 대로 타겟 오브젝트가 위치하는 레이어에서의 위치보정값을 그대로 적용하여 HMD 영상을 보정할 수 있게 되며, 이에 따라 매 프레임마다 적용되는 영상 이동을 최소화할 수 있게 된다.
도 6은 본 발명의 일 실시예에 따른 HMD에 보정 영상을 표시하는 방법을 나타내는 흐름도이고, 도 7은 영상을 스케일링하는 일 실시예를 설명하기 위한 도면이고, 도 8은 HMD 사용자의 눈에 대한 호럽터(horopter)와 파넘(panum) 영역을 설명하기 위한 도면이다.
도 6에서 S110 단계 내지 S116 단계에 의한 보정 영상 생성, S120 단계 내지 S123 단계에 의한 보정 영상 생성 및 S130 단계 내지 S137 단계에 의한 보정 영상 생성에 대해서는 위에서 상세히 설명한 바 여기서는 그 설명을 생략하기로 한다.
S110 단계 내지 S116 단계에 의해 생성된 보정 영상을 수신(S210a)하거나 S120 단계 내지 S123 단계에 의해 생성된 보정 영상을 수신(S210b)하거나 S130 단계 내지 S137 단계에 의해 생성된 보정 영상을 수신(S210c)하면, 해당 영상에 대한 스케일링이 이루어지고(S220), 스케일링된 보정 영상을 HMD의 스크린에 표시(S230)하는 단계를 거쳐 사용자의 눈으로 인식된다.
보정 영상을 스케일링하는 경우(S220), HMD의 시야각 및 스크린 해상도를 기초로 상기 위치 보정 영상을 스케일링할 수 있다. 도 7에 도시한 바와 같이, 가상 환경에서의 객체를 실제 표시되는 스크린에 맞추어 크기 변환할 수 있다. 도 7에서, SSw는 가상 환경에서의 가상 스크린의 크기를 도시하며, FOV는 HMD의 시야각이며, Zp는 오브젝트까지의 거리이고, h는 가상 환경에서의 오브젝트의 이동값이다. 또한, SSv는 스크린 해상도이며, hpixel은 실제 스크린에서 픽셀의 시프트값이다.
가상 환경에서의 관계는 다음의 수학식 12와 같다.
Figure pat00012
가상 환경은 실제 스크린과 다음의 수학식 13과 같은 비례 관계를 가질 수 있다.
Figure pat00013
상기 수학식 12 및 13으로부터 다음의 수학식 14가 도출된다.
Figure pat00014
상기 수학식 14를 적용하여 컨버전스가 조절되도록 변환된 영상을 스케일링할 수 있다.
여기에서, 스케일링된 위치 보정 영상을 HMD의 스크린에 표시하는 경우(S230), HMD으로부터 소정 거리를 벗어난 영역에 대해 초점을 블러링 처리할 수 있다.
도 8에 도시한 바와 같이, 눈의 초점 조절 및 컨버전스 조절이 맞게 이루어져 정합된 0점들을 연결한 선(horopter)으로부터 일정 범위이 영역을 파넘의 퓨전 영역(Panum's Fusion Area)이라 한다. 상기 파넘의 퓨전 영역을 벗어난 경우, 객체(object)가 하나로 보이지 않고, 2개로 보이게 된다. 좌우 눈(L, R)으로부터 가까운 쪽의 복시 현상은 Crossed Disparity이고, 먼 쪽의 복시 현상은 Unrossed Disparity이다. 초점 조절이 안 되어 파넘의 퓨전 영역을 벗어나 오브젝트가 2개로 보임으로써, HMD 사용자가 어지럼증을 느낄 수 있다.
그러므로, 파넘의 퓨전 영역을 벗어난 오브젝트들에 대해서는 초점을 블러링 처리함으로써, 미스매치에 따른 눈의 시각 피로도를 줄이고, 어지럼증을 예방할 수 있다.
도 9는 본 발명의 일 실시예에 따른 위치 보정 영상 생성 방법에 의해 생성된 보정 영상을 표시하는 HMD를 포함하는 시스템을 개략적으로 도시한 도면이고, 도 10은 본 발명의 일 실시예에 따른 위치 보정 영상 생성 방법에 의해 생성된 보정 영상을 표시하는 HMD의 구성을 도시한 도면이다.
도 9를 참조하면, 본 발명의 일 실시예에 따른 HMD 영상 보정 방법에 의해 생성된 보정 영상을 표시하는 HMD를 포함하는 시스템은, 위치 보정 영상을 표시하는 HMD(300) 및 상기 HMD(300)와 네트워크(50)를 통해 통신하는 외부 장치(400)를 포함한다. 또한, 상기 시스템은 위치 보정 영상을 표시하는 HMD(300) 및 상기 HMD(300)와 케이블(60)을 통해 통신하는 외부 장치(400)를 포함할 수 있다.
네트워크(50)는 유선 네트워크뿐만 아니라 무선 네트워크를 포함함은 물론이다. 여기에서, 무선 네트워크는 원거리 무선 통신 또는 근거리 무선 통신 모두가 가능할 것이며, 블루투스(Bluetooth), 지그비(Zigbee), NFC(Near Field Communication), 와이브리(Wibree) 등 여러 무선 통신 방식이 사용될 수 있다.
케이블(60)은 외부 장치(400)와 HMD(300)를 직접 연결하는 물리적인 통신선으로써, HDMI 케이블 등 공지의 케이블이 사용될 수 있음은 당업자에게 자명하다 할 것이다.
외부 장치(400)는 네트워크(50)를 통해 위치 보정 영상을 표시하는 HMD(300)와 통신하며, 상기 HMD(300)에 네트워크(50)를 통해 영상을 전송할 수 있고, HMD(300)로부터 영상을 전송받을 수도 있다. 예를 들어, 외부 장치(400)에서 상기 HMD(300)로 영상을 전송하고, 상기 HMD(300)는 전송된 영상을 위치 보정하여 위치 보정 영상을 표시하고, 상기 위치 보정 영상 및 이에 관련된 정보, 데이터 등을 상기 외부 장치(400)에 전송하여 저장할 수 있다. 이렇게 외부 장치(400)에 저장된 위치 보정 영상 및 정보, 데이터 등은 다른 HMD(300)에 전송되어 다른 HMD(300) 사용자의 컨버전스를 조절하는데 도움이 될 수 있다.
도 10을 참조하면, 위치 보정 영상을 표시하는 HMD(300)는, 디스플레이부(310), 사용자의 움직임을 감지하며, 사용자의 머리 움직임에 따른 회전 정보를 획득하는 센서부(320), 상기 회전 정보를 기초로 입력 영상을 실시간으로 변환하여 제공하는 영상 위치 보정부(330), 상기 영상 위치 보정부에서 제공되는 위치 보정 영상을 상기 디스플레이부에 표시하는 제어부(340)를 포함할 수 있다. 또한, 위치 보정 영상을 표시하는 HMD(300)는, 영상을 저장하는 저장부(350), 외부와 통신하며, 외부로부터 영상을 전송받는 통신부(360), 영상을 획득하는 카메라부(370) 등을 더 포함할 수 있다.
디스플레이부(310)는 좌우 눈에 각각 대응하는 한 쌍으로 이루어지며, 저장부(350)에 저장된 영상 또는 통신부(360)를 통해 외부로부터 전송받는 영상을 표시(display)한다. 특히, 영상의 영상 정보로부터 타겟 오브젝트까지의 오브젝트 거리를 추출하며, 상기 오브젝트 거리 및 회전 정보를 이용하여 현재 표시되고 있는 영상의 위치 보정값을 산출하고, 상기 위치 보정값에 따라 상기 현재 표시되고 있는 영상을 변환시킨 위치 보정 영상을 제공받아 디스플레이할 수 있다.
센서부(320)는 사용자의 움직임을 감지하며, 사용자의 머리 움직임에 따른 회전 정보를 획득한다. 이러한 센서부(320)는 세 방향의 가속도를 측정할 수 있는 3축 가속도 센서, 세 방향의 각속도를 측정할 수 있는 3축 자이로 센서, 세 방향의 지자기를 측정할 수 있는 3축 지자기 센서를 구비할 수 있다. 특히, 자이로 센서에서 측정한 각속도 데이터는 단위 시간당 각도 변화량을 의미하며, 각속도 데이터를 적분하면 각도가 되므로 자이로 센서는 HMD 사용자의 머리 회전을 계산하기 위한 센서가 된다.
영상 위치 보정부(330)는 입력 영상의 영상 정보로부터 타겟 오브젝트까지의 오브젝트 거리를 추출하며, 오브젝트 거리 및 회전 정보를 이용하여 상기 영상의 위치 보정값을 산출하고, 상기 위치 보정값에 따라 상기 영상을 변환시켜 상기 위치 보정 영상을 제공한다.
구체적으로, 상기 영상 위치 보정부(330)는 상기 오브젝트 거리를 기초로 하여 상기 HMD의 스크린 및 상기 HMD 사용자에 의해 형성되는 스크린 디스패러티값을 산출하며, 상기 롤값, 상기 피치값, 상기 요값 중 상기 롤값이 포함된 적어도 하나의 값 및 상기 스크린 디스패러티값을 기초로 상기 위치 보정값을 산출할 수 있다.
산출된 위치 보정값, 가상 카메라의 IPD, IPD에 기초하여 계산된 중심점, 로드된 월드 좌표계값에 기초하여 오브젝트의 월드 좌표계값을 갱신하는 프로세스와 관련해서는 위에서 상세히 설명한 바 여기서는 구체적인 설명을 생략하기로 한다.
이러한 영상 위치 보정부(330)는 별도의 모듈로 구성될 수도 있으나, 제어부(340)의 일부 구성이 될 수 있다. 특히, 영상 위치 보정부(330)는 HMD(300)에서 실행될 수 있는 프로그램으로 구현될 수 있다. 영상 위치 보정부(330)가 별도의 물리적 구성물이 아닌, HMD(300)에서 실행될 수 있는 프로그램으로 구현됨으로써, 종래의 HMD를 하드웨어적으로 변경하는 것이 아니라, 소프트웨어적으로 변경함으로써, 컨버전스를 조절할 수 있고, 위치 보정 영상을 HMD에 제공할 수 있다.
제어부(340)는 디스플레이부(310), 센서부(320), 영상 위치 보정부(330), 저장부(350), 통신부(360), 카메라부(370) 등을 제어한다. 예를 들어, 제어부(340)는 영상 위치 보정부(330)에서 제공되는 위치 보정 영상을 디스플레이부(310)에 표시한다.
또한, 제어부(340)는 상기 위치 보정 영상을 스케일링하고, 상기 스케일링 영상을 상기 디스플레이부(310)에 표시한다. 구체적으로, 제어부(340)는 HMD(300)의 시야각 및 디스플레이부(310)의 스크린 해상도를 기초로 상기 위치 보정 영상을 스케일링할 수 있다. 이의 구체적인 프로세스에 대해서는, 상술하여 설명하였으므로 상세한 설명은 생략하도록 한다.
저장부(350)는 영상을 미리 저장하거나, 또는 외부 장치(400) 등으로부터 전송되는 영상을 저장하며, 상기 영상과 함께 관련 데이터 및 정보 등도 저장할 수 있다. 특히, 저장부(350)는 각종 데이터 및 정보 등을 데이터베이스화하여 저장할 수 있고, 저장부(350)와 외부 장치(400)에 이중으로 데이터 및 정보를 저장하여 데이터의 안정성을 높일 수 있다.
통신부(360)는 네트워크(50)를 통해 영상 등 각종 정보를 전송받는다. 통신부(360)를 통해 전송되는 영상은 실시간으로 디스플레이부(310)에 출력되거나, 저장부(350)에 저장될 수 있다.
한편, 본 발명의 일 실시예에 따른 HMD 영상 보정 방법 및 HMD에 보정 영상을 표시하는 방법은 소프트웨어 및 하드웨어에 의해 하나의 모듈로 구현 가능하며, 전술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 컴퓨터에서 구현될 수 있다.
상기 살펴본 실시예들에 따른 장치는 프로세서, 프로그램 데이터를 저장하고 실행하는 메모리, 디스크 드라이브와 같은 영구 저장부(permanent storage), 외부 장치와 통신하는 통신 포트, 터치 패널, 키(key), 버튼 등과 같은 사용자 인터페이스 장치 등을 포함할 수 있다. 소프트웨어 모듈 또는 알고리즘으로 구현되는 방법들은 상기 프로세서상에서 실행 가능한 컴퓨터가 읽을 수 있는 코드들 또는 프로그램 명령들로서 컴퓨터가 읽을 수 있는 기록 매체 상에 저장될 수 있다. 여기서 컴퓨터가 읽을 수 있는 기록 매체로 마그네틱 저장 매체(예컨대, ROM(read-only memory), RAM(random-access memory), 플로피 디스크, 하드 디스크 등) 및 광학적 판독 매체(예컨대, 시디롬(CD-ROM), 디브이디(DVD: Digital Versatile Disc)) 등이 있다. 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템들에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행될 수 있다. 매체는 컴퓨터에 의해 판독가능하며, 메모리에 저장되고, 프로세서에서 실행될 수 있다.
본 실시 예는 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 실시 예는 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩 업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있는 것과 유사하게, 본 실시 예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다.
기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 실시 예는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다.
"매커니즘", "요소", "수단", "구성", "~부"와 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다. 본 실시 예에서 설명하는 특정 실행들은 예시들로서, 어떠한 방법으로도 기술적 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다.
본 명세서(특히 특허청구범위에서)에서 "상기"의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 포함하는 것으로서(이에 반하는 기재가 없다면), 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다. 마지막으로, 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 한정되는 것은 아니다. 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 기술적 사상을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
100: HMD (Head Mount Dispaly)
110: 디스플레이부 120: 센서부
130: 영상 위치 보정부 140: 제어부
150: 저장부 160: 통신부

Claims (4)

  1. 영상 정보로부터 타겟 오브젝트까지의 오브젝트 거리를 추출하는 단계;
    HMD 사용자의 머리 움직임에 따른 회전 정보를 획득하는 단계;
    상기 오브젝트 거리 및 상기 회전 정보를 이용하여 HMD 영상의 위치 보정값을 산출하는 단계; 및
    상기 위치 보정값에 따라 변환된 상기 HMD 영상이 네거티브 디스패리티 영역에서 포지티브 디스패리티 영역으로 넘어가거나, 포지티브 디스패리티 영역에서 네거티브 디스패리티 영역으로 넘어가는 경우, 상기 HMD 영상을 제로 디스패리티 영역에 고정되도록 보정 영상을 생성하는 단계;를 포함하는, HMD 영상 보정 방법.
  2. HMD 영상의 전체 가시거리(viewing distanc)를 N개의 레이어로 분할하는 단계;
    상기 N개의 레이어에서의 위치 보정값을 산출하는 단계;
    양안의 중앙점과 타겟 오브젝트 사이의 거리를 계산하여 상기 타겟 오브젝트가 상기 N개의 레이어 중 어느 레이어에 위치하는지를 판단하는 단계; 및
    상기 타겟 오브젝트가 위치하는 레이어에서의 위치 보정값을 적용하여 상기 HMD 영상을 보정하는 단계;를 포함하는 HMD 영상 보정 방법.
  3. 제2항에 있어서,
    상기 N개의 레이어에서 인접하는 레이어가 접하는 영역을 그래주얼 시프팅 레이어(Gradual shifting layer)로 설정하는 단계;
    상기 타겟 오브젝트가 상기 그래주얼 시프팅 레이어에 위치하는 경우, 상기 그래주얼 시프팅 레이어에 인접한 2개의 레이어에서의 위치 보정값을 선형 보간한 보간값을 산출하는 단계; 및
    상기 보간값을 적용하여 상기 HMD 영상을 보정하는 단계;를 포함하는 HMD 영상 보정 방법.
  4. HMD(Head Mounted Display)에 보정 영상을 표시하는 방법으로,
    상기 제1항 내지 제3항에 기재된 HMD 영상 보정 방법에 의해 생성된 보정 영상을 수신하는 단계;
    상기 HMD의 시야각 및 스크린 해상도를 기초로 상기 보정 영상을 스케일링하는 단계; 및
    상기 스케일링된 보정 영상을 상기 HMD의 스크린에 표시하는 단계;를 포함하는 HMD에 보정 영상을 표시하는 방법.
KR1020170140130A 2017-10-26 2017-10-26 Hmd 영상 보정 방법 및 hmd에 보정 영상을 표시하는 방법 KR20190046387A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170140130A KR20190046387A (ko) 2017-10-26 2017-10-26 Hmd 영상 보정 방법 및 hmd에 보정 영상을 표시하는 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170140130A KR20190046387A (ko) 2017-10-26 2017-10-26 Hmd 영상 보정 방법 및 hmd에 보정 영상을 표시하는 방법

Publications (1)

Publication Number Publication Date
KR20190046387A true KR20190046387A (ko) 2019-05-07

Family

ID=66656136

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170140130A KR20190046387A (ko) 2017-10-26 2017-10-26 Hmd 영상 보정 방법 및 hmd에 보정 영상을 표시하는 방법

Country Status (1)

Country Link
KR (1) KR20190046387A (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120051308A (ko) 2010-11-12 2012-05-22 삼성전자주식회사 3ｄ 입체감을 개선하고 시청 피로를 저감하는 방법 및 장치
KR20130078990A (ko) 2012-01-02 2013-07-10 성균관대학교산학협력단 입체영상촬영장치에서의 주시각 제어장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120051308A (ko) 2010-11-12 2012-05-22 삼성전자주식회사 3ｄ 입체감을 개선하고 시청 피로를 저감하는 방법 및 장치
KR20130078990A (ko) 2012-01-02 2013-07-10 성균관대학교산학협력단 입체영상촬영장치에서의 주시각 제어장치

Similar Documents

Publication Publication Date Title
CN108600733B (zh) 一种基于人眼跟踪的裸眼3d显示方法
US10133073B2 (en) Image generation apparatus and image generation method
JP2022000640A (ja) 情報処理装置、情報処理方法、及び情報処理プログラム
US20160267720A1 (en) Pleasant and Realistic Virtual/Augmented/Mixed Reality Experience
US10884576B2 (en) Mediated reality
JPWO2015098292A1 (ja) 画像処理装置及び画像処理方法、コンピューター・プログラム、並びに画像表示システム
CN111007939B (zh) 一种基于深度感知的虚拟现实***空间定位方法
KR20120015564A (ko) 하이브리드 사용자 추적 센서를 이용한 디스플레이 시스템 및 방법
CN103282859A (zh) 手势操作输入处理装置及手势操作输入处理方法
JP2010072477A (ja) 画像表示装置、画像表示方法及びプログラム
CN102293003A (zh) 图像处理装置、程序、图像处理方法、记录方法及记录介质
CN110321005A (zh) 一种提高ar设备虚拟物件显示效果的方法、装置、ar设备和存储介质
JP2011165068A (ja) 画像生成装置、画像表示システム、画像生成方法、及びプログラム
WO2019142560A1 (ja) 視線を誘導する情報処理装置
US20230156176A1 (en) Head mounted display apparatus
CN110969706B (zh) 增强现实设备及其图像处理方法、***以及存储介质
EP3738104B1 (en) Apparatus and method for generating view images
CN102799378B (zh) 一种立体碰撞检测物体拾取方法及装置
KR101947372B1 (ko) Hmd에 위치 보정 영상을 제공하는 방법 및 hmd에 위치 보정 영상을 표시하는 방법, 그리고 이를 이용한 위치 보정 영상을 표시하는 hmd
US20220300120A1 (en) Information processing apparatus, and control method
EP3422151A1 (en) Methods, apparatus, systems, computer programs for enabling consumption of virtual content for mediated reality
US20180205930A1 (en) Information processing device, information processing method, and program
KR20190046387A (ko) Hmd 영상 보정 방법 및 hmd에 보정 영상을 표시하는 방법
CN112819970B (zh) 一种控制方法、装置及电子设备
Peli et al. 53.2: A binocular stereoscopic display system with coupled convergence and accommodation demands

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application