KR20180045644A - 머리 착용형 디스플레이 장치 및 그의 제어 방법 - Google Patents

머리 착용형 디스플레이 장치 및 그의 제어 방법 Download PDF

Info

Publication number
KR20180045644A
KR20180045644A KR1020160140235A KR20160140235A KR20180045644A KR 20180045644 A KR20180045644 A KR 20180045644A KR 1020160140235 A KR1020160140235 A KR 1020160140235A KR 20160140235 A KR20160140235 A KR 20160140235A KR 20180045644 A KR20180045644 A KR 20180045644A
Authority
KR
South Korea
Prior art keywords
user
signal
image
level
dizziness
Prior art date
Application number
KR1020160140235A
Other languages
English (en)
Inventor
원광현
이재성
이태미
김창한
이은영
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020160140235A priority Critical patent/KR20180045644A/ko
Priority to PCT/KR2017/011924 priority patent/WO2018080202A1/ko
Publication of KR20180045644A publication Critical patent/KR20180045644A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0123—Head-up displays characterised by optical features comprising devices increasing the field of view
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0145—Head-up displays characterised by optical features creating an intermediate image

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

머리 착용형 디스플레이 장치가 개시된다. 본 장치는 영상을 표시하는 디스플레이부, 디스플레이 장치의 움직임에 대응하는 신호를 생성하는 센서, 신호에 대응하는 디스플레이 장치의 움직임 동안 영상 상의 사용자 시선의 위치를 추적하여 시선 이동 정보를 생성하는 시선 추적부 및 신호를 사용자의 어지러움 레벨을 결정하는데 이용할지 여부를 시선 이동 정보에 기초하여 결정하는 프로세서를 포함한다.

Description

머리 착용형 디스플레이 장치 및 그의 제어 방법 { HEAD MOUNTED DISPLAY APPARATUS AND METHOD FOR CONTROLLING THEREOF }
본 개시는 머리 착용형 디스플레이 장치 및 그의 제어 방법에 관한 것으로, 더욱 상세하게는, 어지러움을 줄일 수 있는 머리 착용형 디스플레이 장치 및 그의 제어 방법에 대한 것이다.
머리 착용형 디스플레이 장치(head mounted display)는 소프트웨어 기술로 구현된 시뮬레이션을 통해 현실과 유사한 가상 현실을 경험할 수 있는 다양한 장치들 중 하나이다. 디스플레이의 크기가 크고 고 해상도를 지원하는 머리 착용형 디스플레이 장치를 착용한 사용자는 센서를 통한 헤드 트랙킹 및 양안에 제공되는 디스플레이를 통해 가상현실을 체험할 수 있었다.
머리 착용형 디스플레이 장치를 착용하고 영상 시청시, 영상의 특성에 따라서 사용자에게 어지러움을 유발시킨다. 그 이유는 영상 정보에 의해 움직임을 느끼는 시각계와 몸의 평형감각을 감지하여 수용하는 전정계가 불일치하기 때문이다. 이러한 시각-전정계 불일치는 어지러움증을 유발시키고, 자세 흔들림을 유발시킨다.
이에 따라, 머리 착용형 디스플레이 장치 사용시 어지러움을 줄일 수 있는 방법에 대한 요구가 있었다.
본 개시는 상술한 문제점을 해결하기 위한 것으로, 본 개시의 목적은 어지러움을 줄일 수 있는 머리 착용형 디스플레이 장치 및 그의 제어 방법을 제공하기 위한 것이다.
이상과 같은 목적을 달성하기 위한 본 개시의 일 실시 예에 따른 머리 착용형 디스플레이 장치는, 영상을 표시하는 디스플레이부, 상기 디스플레이 장치의 움직임에 대응하는 신호를 생성하는 센서, 상기 신호에 대응하는 상기 디스플레이 장치의 움직임 동안 상기 영상 상의 사용자 시선의 위치를 추적하여 시선 이동 정보를 생성하는 시선 추적부 및 상기 신호를 사용자의 어지러움 레벨을 결정하는데 이용할지 여부를 상기 시선 이동 정보에 기초하여 결정하는 프로세서를 포함한다.
이 경우, 상기 프로세서는, 상기 시선 이동 정보에 기초하여 시선이 움직인 거리가 기 설정된 거리 이상인 것으로 판단되면, 사용자의 어지러움 레벨을 결정하는데 상기 신호를 미사용하고, 시선이 움직인 거리가 기 설정된 거리 미만인 것으로 판단되면, 사용자의 어지러움 레벨을 결정하는데 상기 신호를 사용할 수 있다.
한편, 본 개시에 따른 머리 착용형 디스플레이 장치는, 사운드를 출력하는 스피커를 더 포함하며, 상기 프로세서는, 상기 시선 이동 정보에 기초하여 시선이 움직인 거리가 기 설정된 거리 미만인 것으로 판단되면, 상기 신호를 어지러움 레벨을 결정하는데 이용할지 여부를 상기 신호에 대응하는 디스플레이 장치의 움직임 동안 상기 스피커를 통해 출력되는 사운드에 기초하여 결정할 수 있다.
이 경우, 상기 프로세서는, 상기 출력된 사운드에 대응하는 주파수와 상기 신호에 대응하는 주파수 간의 연관성 수치가 기 설정된 값 이상이면 사용자의 어지러움 레벨을 결정하는데 상기 신호를 미사용할 수 있다.
한편, 상기 프로세서는, 상기 사용자의 어지러움 레벨에 따라 상기 영상 중 일부 영역의 식별도를 나머지 영역보다 낮추어 표시하도록 상기 디스플레이부를 제어할 수 있다.
이 경우, 상기 디스플레이부를 통해 표시된 영상이 VR(Virtual Reality) 컨텐츠에 대응하는 전체 영상 내의 일 시점(view point)에 대응하는 영상인 경우, 상기 프로세서는, 상기 센서에서 생성된 신호에 따라 시점이 이동된 영상을 표시하고, 상기 시점이 이동된 영상 중 일부 영역의 식별도를 나머지 영역보다 낮추어 표시하도록 상기 디스플레이부를 제어할 수 있다.
한편, 상기 프로세서는, 상기 사용자의 어지러움 레벨의 변화에 따라 상기 식별도가 낮춰진 영역의 크기를 변경하도록 상기 디스플레이부를 제어할 수 있다.
한편, 상기 식별도가 낮춰진 영역은, 상기 표시된 영상 중 상기 사용자 시선이 검출된 영역 이외의 영역일 수 있다.
한편, 상기 프로세서는, 상기 영상을 복수의 블럭으로 구분하고, 복수의 블럭 각각의 모션 정보에 기초하여 상기 복수의 블럭 중 어지러움 유발도가 최소인 블럭을 선택하며, 상기 식별도가 낮춰진 영역은, 상기 표시된 영상 중 상기 선택된 블럭에 대응하는 영역 이외의 영역일 수 있다.
한편, 상기 식별도가 낮춰진 영역은, 블러 필터(Blur Filter)가 적용된 영역일 수 있다.
한편, 상기 디스플레이부를 통해 표시된 영상이 VR(Virtual Reality) 컨텐츠에 대응하는 전체 영상 중 일부 영상인 경우, 상기 프로세서는, 상기 VR 컨텐츠에 대응하는 전체 영상 중 상기 디스플레이부를 통해 표시되지 않은 일부 영상을 복수의 블럭으로 구분하고, 상기 복수의 블럭 각각의 모션 정보에 기초하여 상기 복수의 블럭 중 어지러움 유발도가 최소인 블럭을 선택하고, 상기 선택된 블럭이 위치한 방향으로 사용자 시선을 유도하는 UI 요소를 표시하도록 상기 디스플레이부를 제어할 수 있다.
이 경우, 상기 프로세서는, 상기 사용자의 어지러움 레벨의 변화에 따라 상기 UI 요소의 크기를 변경하도록 상기 디스플레이부를 제어할 수 있다.
한편, 본 개시의 일 실시 예에 따른 머리 착용형 디스플레이 장치의 제어방법은, 영상을 표시하는 단계, 상기 디스플레이 장치의 움직임에 대응하는 신호를 생성하는 단계 및 상기 신호에 대응하는 상기 디스플레이 장치의 움직임 동안 상기 영상 상의 사용자 시선의 위치를 추적하여 시선 이동 정보를 생성하는 단계 및 상기 신호를 사용자의 어지러움 레벨을 결정하는데 이용할지 여부를 상기 시선 이동 정보에 기초하여 결정하는 단계를 포함한다.
이 경우, 상기 결정하는 단계는, 상기 시선 이동 정보에 기초하여 시선이 움직인 거리가 기 설정된 거리 이상인 것으로 판단되면, 사용자의 어지러움 레벨을 결정하는데 상기 신호를 미사용하는 것으로 결정하고, 시선이 움직인 거리가 기 설정된 거리 미만인 것으로 판단되면, 사용자의 어지러움 레벨을 결정하는데 상기 신호를 사용하는 것으로 결정할 수 있다.
한편, 상기 디스플레이 장치는 사운드를 출력하는 스피커를 포함하며, 상기 결정하는 단계는, 상기 시선 이동 정보에 기초하여 시선이 움직인 거리가 기 설정된 거리 미만인 것으로 판단되면, 상기 신호를 어지러움 레벨을 결정하는데 이용할지 여부를 상기 신호에 대응하는 디스플레이 장치의 움직임 동안 상기 스피커를 통해 출력되는 사운드에 기초하여 결정할 수 있다.
이 경우, 상기 결정하는 단계는, 상기 출력된 사운드에 대응하는 주파수와 상기 신호에 대응하는 주파수 간의 연관성 수치가 기 설정된 값 이상이면 사용자의 어지러움 레벨을 결정하는데 상기 신호를 미사용하는 것으로 결정할 수 있다.
한편, 본 개시에 따른 머리 착용형 디스플레이 장치의 제어방법은, 상기 사용자의 어지러움 레벨에 따라 상기 영상 중 일부 영역의 식별도를 나머지 영역보다 낮추어 표시하는 단계를 더 포함할 수 있다.
이 경우, 상기 표시된 영상이 VR(Virtual Reality) 컨텐츠에 대응하는 전체 영상 내의 일 시점(view point)에 대응하는 영상인 경우, 상기 표시하는 단계는, 상기 생성된 신호에 따라 시점이 이동된 영상을 표시하고, 상기 시점이 이동된 영상 중 일부 영역의 식별도를 나머지 영역보다 낮추어 표시할 수 있다.
한편, 상기 표시하는 단계는, 상기 사용자의 어지러움 레벨의 변화에 따라 상기 식별도가 낮춰진 영역의 크기를 변경할 수 있다.
한편, 본 개시의 일 실시 예에 따른 머리 착용형 디스플레이 장치의 제어방법을 실행하기 위한 프로그램을 포함하는 컴퓨터 판독가능 기록매체에 있어서, 상기 제어방법은, 영상을 표시하는 단계, 상기 디스플레이 장치의 움직임에 대응하는 신호를 생성하는 단계 및 상기 신호에 대응하는 상기 디스플레이 장치의 움직임 동안 사용자의 시선의 위치를 추적하여 시선 이동 정보를 생성하는 단계 및 상기 신호를 사용자의 어지러움 레벨을 결정하는데 이용할지 여부를 상기 시선 이동 정보에 기초하여 결정하는 단계를 포함한다.
도 1은 본 개시의 일 실시 예에 따른 머리 착용형 디스플레이 장치를 설명하기 위한 도면,
도 2는 본 개시의 일 실시 예에 따른 머리 착용형 디스플레이 장치의 구성을 설명하기 위한 도면,
도 3 내지 도 6은 특정 영상을 피험자에게 보여줬을 때 본 개시의 일 실시 예에 따른 머리 착용형 디스플레이 장치의 자이로 센서에서 생성된 신호를 나타낸 도면,
도 7 내지 도 9는 본 개시의 다양한 실시 예에 따른 사용자의 어지러움 레벨을 결정하는 방법을 설명하기 위한 흐름도,
도 10 내지 도 11은 본 개시의 다양한 실시 예에 따라 어지러움 저감 처리가 된 영상을 도시한 도면,
도 12 내지 도 15는 어지러움 미유발 위치에 대한 정보 제공 방법의 다양한 실시 예를 설명하기 위한 도면, 그리고
도 16은 본 개시의 일 실시 예에 따른 머리 착용형 디스플레이 장치의 제어방법을 설명하기 위한 도면이다.
본 개시를 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 개시의 요지를 불필요하게 흐릴 수 있다고 판단된 경우 그 상세한 설명은 생략한다. 그리고 후술 되는 용어들은 본 개시에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관계 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 개시에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 권리범위를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
실시 예에 있어서 '모듈' 혹은 '부'는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 '모듈' 혹은 복수의 '부'는 특정한 하드웨어로 구현될 필요가 있는 '모듈' 혹은 '부'를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서로 구현될 수 있다.
아래에서는 첨부한 도면을 참고하여 본 개시의 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
이하에서는 도면을 참조하여 본 개시에 대해 더욱 상세히 설명하기로 한다.
도 1은 본 개시의 일 실시 예에 따른 머리 착용형 디스플레이 장치를 나타내는 개략적인 도면이다.
도 1을 참조하면, 머리 착용형 디스플레이 장치(100)의 내부에 사용자의 눈과 마주보는 곳에 디스플레이부(110)가 위치한다. 디스플레이부(110)는 머리 착용형 디스플레이 장치(100)의 외부에선 보이지 않고, 내부에서만 보이도록 배치되어 있을 수 있다.
도 1을 참조하면, 머리 착용형 디스플레이 장치(100)의 디스플레이부(110)에 표시되는 화면(111)의 예를 표시하였다. 디스플레이부(110)에 표시되는 화면(111)은 VR(Virtual Reality) 컨텐츠(또는 가상현실 컨텐츠)에 대응하는 전체 영상 중 일 시점에 대응하는 영상일 수 있다.
VR 컨텐츠란, 여러 시점(view point)을 가진 영상으로서, 예컨대, 하나의 카메라를 이동시켜 가며 촬영한 복수의 영상을 결합하여 생성된 영상이거나, 여러 대의 카메라로 같은 공간의 다른 시점에서 촬영한 복수의 영상을 결합하여 생성된 영상이거나, 화각이 넓은 한 대의 카메라로 촬영한 영상일 수 있다. 또한, 반드시 카메라로 촬영된 영상에 제한되는 것은 아니고, 예컨대 게임 영상과 같이 인위적으로 제작된 컨텐츠도 VR 컨텐츠에 해당될 수 있다. 한편, 영상은, 정지 영상과 동영상을 모두 포함할 수 있는 개념이다.
VR 컨텐츠 중엔, 360도의 뷰를 가지는 영상이 있다. 360도의 뷰를 가지는 영상이란, 시작단과 끝단이 동일한 영상을 의미하는 것으로서, 구형 영상, 전 방향 영상 등 다양한 이름으로 불릴 수 있다.
머리 착용형 디스플레이 장치(100)의 적어도 하나의 센서는 사용자 머리의 움직임을 검출할 수 있다. 따라서, 예컨대 머리 착용형 디스플레이 장치(100)를 착용한 사용자가 머리의 방향을 바꾸면, VR 컨텐츠에 대응하는 전체 영상 중 머리 방향에 대응하는 시점의 영상이 디스플레이부(110)를 통해 표시될 수 있다. 또한, 예컨대 사용자가 머리 착용형 디스플레이 장치(100)를 착용하고 걸어가면, 사용자는 디스플레이부(110)에서 보이는 영상 내의 사물에 가까이 다가가는 것과 같은 체험을 할 수 있다.
한편, 본 개시의 머리 착용형 디스플레이 장치(100)는 도 1에 도시한 것처럼 머리에 고정시킬 수 있는 구조까지 포함하는 것일 수 있다. 또는, 본 개시의 머리 착용형 디스플레이 장치(100)는 머리에 고정시킬 수 있는 구조에 장착, 탈착될 수 있는 장치로 구현될 수도 있다. 이 경우, 예컨대 본 개시의 머리 착용형 디스플레이 장치(100)는 디스플레이 기능을 가지는 스마트폰과 같은 휴대용 기기일 수 있다. 또 한편, 본 개시의 머리 착용형 디스플레이 장치(100)는 디스플레이 구성은 포함하지 않고, 외부의 디스플레이 장치와 연결될 수 있는 형태로도 구현될 수 있다. 이 경우, 외부의 디스플레이 장치와 연결되기 위한 무선 또는 유선 통신부를 구비할 수 있다.
도 2는 본 개시의 일 실시 예에 따른 머리 착용형 디스플레이 장치의 구성을 설명하기 위한 도면이다.
도 2를 참고하면, 머리 착용형 디스플레이 장치(100)는 디스플레이부(110), 센서(120), 시선 추적부(130) 및 프로세서(140)를 포함한다.
디스플레이부(110)는 영상을 표시하기 위한 구성이다. 여기서 영상은 정지 영상과 동영상을 모두 포함하는 개념이다. 예컨대 디스플레이부(110)는 액정 디스플레이(LCD) 방식, 유기 발광 다이오드(Organic LED) 방식, LED 방식 등으로 영상을 표시할 수 있다.
디스플레이부(110)는 VR 컨텐츠에 대응하는 전체 영상 내의 일 시점에 대응하는 영상을 표시할 수 있고, 머리 착용형 디스플레이 장치(100)를 착용한 사용자의 움직임에 따라 표시되는 영상의 시점이 변경될 수 있다.
센서(120)는 머리 착용형 디스플레이 장치(100)의 움직임에 대응하는 신호를 생성하는 구성이다.
센서(120)는 머리 착용형 디스플레이 장치(100)의 기울기를 감지하여 그에 대응하는 신호를 생성하는 자이로 센서, 머리 착용형 디스플레이 장치(100)의 이동 상태를 감지하여 그에 대응하는 신호를 생성하는 가속도 센서, 머리 착용형 디스플레이 장치(100)에 대한 중력의 작용 방향을 감지하여 그에 대응하는 신호를 생성하는 중력 센서(Gravity Sensor), 대기의 압력을 측정하여 고도를 감지하고 그에 대응하는 신호를 생성하는 고도계(Altimeter) 등과 같은 다양한 센서들 중 적어도 어느 하나를 포함할 수 있다.
시선 추적부(130)는 디스플레이부(110)에 표시된 영상의 어느 부분을 사용자가 바라보고 있는지, 영상 상에서 사용자의 시선의 위치가 어디로 이동하는지에 관한 정보인 시선 이동 정보를 생성할 수 있는 구성이다.
일 예로, 머리 착용형 디스플레이 장치(100)는 적외선을 발생하는 적외선 발광 장치와 피사체를 촬영하는 카메라를 포함할 수 있고, 시선 추적부(130)는 상기 적외선 발광 장치와, 상기 카메라를 제어할 수 있다. 시선 추적부(130)는 카메라 및 적외선 발광 장치와 같이 시선 검출에 필요한 장치를 포함하는 모듈일 수 있다.
상기 적외선 발광 장치가 배치된 위치는 머리 착용형 디스플레이 장치(100)에서 사용자의 눈에 적외선이 조사될 수 있는 위치일 수 있고, 카메라가 배치된 위치는 머리 착용형 디스플레이 장치(100)에서 사용자의 눈을 촬영할 수 있는 위치일 수 있다. 그리고 상기 적외선 발광 장치는 시선 추적부(130)의 제어에 따라 디스플레이부(110)에 표시된 영상을 바라보고 있는 사용자 눈에 적외선을 조사할 수 있고, 상기 카메라는 시선 추적부(130)의 제어에 따라, 상기 적외선이 조사된 눈을 촬영할 수 있는데, 이때 촬영된 영상에선 사용자의 각막에서 반사된 적외선이 나타난다. 시선 추적부(130)는 촬영된 영상에서 사용자의 각막에서 반사된 적외선의 위치에 기초하여 홍채와 동공을 구분하여 동공을 검출하고, 이로부터 영상 상에서 시선의 위치를 검출할 수 있으며, 연속된 영상 프레임들에서 각각 검출된 시선의 위치의 이동 경로를 추적하여 시선 이동 정보를 생성할 수 있다.
또 다른 실시 예에선 디스플레이 장치(100)는 피사체를 촬영하는 카메라를 포함할 수 있고, 시선 추적부(130)는 상기 카메라를 제어할 수 있다. 시선 추적부(130)는 카메라와 같이 시선 검출에 필요한 장치를 포함하는 모듈일 수 있다.
카메라가 배치된 위치는 머리 착용형 디스플레이 장치(100)에서 사용자의 눈을 촬영할 수 있는 위치일 수 있다. 시선 추적부(130)는 사용자의 눈을 촬영한 영상에서 객체의 특징을 찾는 기법(예컨대, Haar-like features)을 이용하여 눈의 위치를 검출하고, 가장자리 검출(edge detection) 기법을 이용하여 눈의 위치에서 홍채와 동공을 검출하고, 홍채와 동공의 상대적인 위치에 기반하여 디스플레이부(110)에 표시된 영상 상에서 사용자의 시선의 위치를 검출할 수 있다. 그리고 시선 추적부(130)는 촬영 영상의 연속된 프레임에서 각각 검출된 시선의 위치의 이동 경로를 추적하여 시선 이동 정보를 생성할 수 있다.
상술한 방법 이외에도 알려진 다양한 시선 추적 기술이 시선 추적부(130)에 적용될 수 있다.
특히, 시선 추적부(130)는 센서(120)에서 생성된 신호에 대응하는 머리 착용형 디스플레이 장치(100)의 움직임이 있는 동안 디스플레이부(110)에서 표시되는 영상 상의 사용자 시선의 위치를 추적하여 시선 이동 정보를 생성할 수 있다. 따라서, 머리 착용형 디스플레이 장치(100)를 착용한 사용자가 움직이는 동안 그 사용자의 시선의 위치는 어떻게 변화하였는지에 대한 정보가 얻어질 수 있다.
한편, 시선 추적부(130)와 프로세서(140)를 별개의 구성인 것처럼 도시 및 설명하였으나, 실시 예에 따라서는 시선 추적부(130)는 생략되고, 시선 추적부(130)의 기능은 프로세서(140)가 수행할 수도 있다.
프로세서(140)는 머리 착용형 디스플레이 장치(100)의 구성을 전반적으로 제어할 수 있다. 프로세서(140)는 CPU, 램(RAM), 롬(ROM), 시스템 버스를 포함할 수 있다. 이상에서는 프로세서(140)가 하나의 CPU만을 포함하는 것으로 설명하였지만, 복수의 CPU(또는 DSP 등)을 포함할 수 있다.
프로세서(140)는 센서(120)에서 머리 착용형 디스플레이 장치(100)의 움직임에 대응하여 생성된 신호 및 시선 추적부(130)를 통해 생성된 시선 이동 정보 중 적어도 하나에 기초하여 머리 착용형 디스플레이 장치(100)를 착용한 사용자의 어지러움 레벨(또는 정도)을 결정할 수 있다.
사용자는 어지러움을 느끼는 동안 자신도 모르게 몸이 흔들린다. 따라서 프로세서(140)는 센서(120)에서 생성된 신호에 기초하여 사용자의 어지러움 레벨을 결정할 수 있다.
일 실시 예에 따르면, 프로세서(140)는 센서(120)에 포함된 자이로 센서를 통해 획득된 Yaw 데이터, Pitch 데이터, Roll 데이터 중, Pitch 데이터와 Roll 데이터에 기초하여 어지러움 레벨을 결정할 수 있다. 구체적으로 프로세서(140)는 시간 도메인의 Pitch 데이터와 Roll 데이터를 주파수 도메인으로 변환하고, 변환된 값들 중에서 크기(amplitude)가 가장 큰 주파수 값을 선택한다. 프로세서(140)는 선택된 주파수 값이 기 설정된 주파수 값보다 크다면, 어지러움 증이 있는 것으로 판단한다. 1Hz 이상의 몸 흔들림은 어지럼증에 의한 것이라는 연구 결과에 기초하였을 때, 상기 기 설정된 주파수 값은 1Hz일 수 있다. 그리고 프로세서(140)는 어지러움 증이 있는 것으로 판단한 경우, 상기 선택된 주파수의 크기에 대응하는 어지러움 레벨을 결정할 수 있다.
도 3 내지 도 6은 특정 영상을 피험자에게 보여줬을 때 본 개시의 일 실시 예에 따른 머리 착용형 디스플레이 장치(100)의 센서에서 생성된 신호를 나타낸 것이다.
구체적으로, 도 3은 피험자가 앉아 있는 동안에 피험자에게 어지러움을 유발하는 영상을 보여줬을 때의 결과이고, 도 4는 피험자가 앉아 있는 동안에 피험자에게 어지러움을 유발하지 않는 영상을 보여줬을 때의 결과이고, 도 5는 피험자가 서있는 동안에 피험자에게 어지러움을 유발하는 영상을 보여줬을 때의 결과이고, 도 6은 피험자가 서있는 동안에 피험자에게 어지러움을 유발하지 않는 영상을 보여줬을 때의 결과이다.
도 3 내지 도 6을 참고하였을 때, 앉아 있는 경우나 서있는 경우나 모두 어지러움 유발 영상에선 자세의 흔들림 정도가 높고, 어지러움 미유발 영상에는 자세 흔들림 정도가 낮음을 알 수 있다. 이러한 데이터에 기초하여 프로세서(140)는 어지러움 레벨을 결정할 수 있다.
또 한편, 안구 운동 진폭(Saccade amplitude)은 주관적 어지러움과 관계가 있다. 시선의 이동 거리가 클수록, 어지러움 정도가 강하다. 따라서, 프로세서(140)는 시선 추적부(130)에서 생성된 시선 이동 정보에 기초하여 사용자의 어지러움 레벨을 결정할 수 있다.
이상에선 센서(120)에서 생성된 신호와 시선 이동 정보 각각을 이용하여 어지러움 레벨을 결정하는 것으로 설명하였으나, 이 둘의 조합으로 어지러움 레벨을 결정하는 것도 가능하다. 일 예로, 센서(120)에서 생성된 신호에 기초하여 결정된 어지러움 레벨과, 시선 이동 정보에 기초하여 결정된 어지러움 레벨의 평균이 최종 어지러움 레벨로 결정될 수 있다.
한편, 센서(120)에서 생성되는 신호는 어지러움에 의한 움직임에 대응되는 것일 수도 있지만, 사용자의 의도적인 움직임에 대응하는 것일 수도 있다. 따라서, 사용자의 의도적인 움직임에 대응하여 센서(120)에서 생성된 신호는 어지러움 레벨을 결정하는데 사용하지 않는 것이 바람직하다. 이를 위해, 본 개시의 일 실시 예에 따르면, 프로세서(140)는 센서(120)에서 생성된 신호를 어지러움 레벨을 결정하는데 사용할지 여부를 그 신호에 대응하는 움직임이 있는 동안 사용자의 시선의 위치를 추적하여 생성된 시선 이동 정보에 기초하여 결정할 수 있다.
머리의 움직임이 있는 동안 시선이 움직인 거리가 기 설정된 거리 이상이면 그 머리의 움직임은 의도적인 움직임이고, 기 설정된 거리 미만이면, 그 머리의 움직임은 의도적인 움직임이 아닌, 즉 어지러움에 의한 움직임이라고 판단될 수 있다. 실험 결과에 따르면, 가로 30도 및 세로 20도의 범위 내에서 시선이 머무르는 동안에 머리가 흔들린다면, 이것은 의도하지 않은 흔들림으로 볼 수 있다. 또 다른 실험 결과에 따르면, 시야(Field Of View: FOV)가 넓은 환경(예컨대, 360도 VR 컨텐츠를 머리 착용형 디스플레이 장치로 보고 있는 경우)에서는 시선 이동을 위해 머리도 같이 움직이게 되는 비율이 높다.
따라서, 프로세서(140)는 센서(120)에서 생성된 신호에 대응하는 움직임이 있는 동안 디스플레이부(110)에서 표시된 영상 상의 사용자의 시선의 위치를 추적한 결과로 생성된 시선 이동 정보에 기초하여, 시선이 움직임 거리가 기 설정된 거리 이상인 것으로 판단되면, 사용자의 어지러움 레벨을 결정하는데 상기 센서(120)에서 생성된 신호를 미사용하고, 시선이 움직임 거리가 기 설정된 거리 미만인 것으로 판단되면, 상기 센서(120)에서 생성된 신호를 사용자의 어지러움 레벨을 결정하는데 사용할 수 있다.
또 다른 실시 예에 따르면, 머리 착용형 디스플레이 장치(100)를 착용한 사용자의 움직임이 의도적인 것인지 여부는 다양한 외부 환경이 고려되어 결정될 수 있다. 예를 들어, 사용자가 신나는 음악을 듣고 있는 경우라면, 사용자는 그 음악의 리듬에 맞추어 몸을 흔들 수 있다. 즉, 이것은 의도적인 움직임이다.
머리 착용형 디스플레이 장치(100)는 사운드를 출력하는 스피커를 더 포함할 수 있고, 프로세서(140)는 센서(120)에서 생성된 신호에 대응하는 움직임이 있는 동안 스피커에서 출력된 사운드와, 상기 센서(120)에서 생성된 신호 간의 상관관계에 기초하여 상기 생성된 신호를 사용자의 어지러움 레벨을 결정하는데 사용할지 여부를 결정할 수 있다.
구체적으로, 프로세서(140)는 상기 생성된 신호에 대응하는 주파수와, 상기 출력된 사운드에 대응하는 주파수 간의 연관성 수치가 기 설정된 값 이상이면, 사용자가 음악을 듣고 흥겨워서 몸을 흔들고 있는 경우라고 볼 수 있으므로, 사용자의 어지러움 레벨을 결정하는데 상기 신호를 미사용할 수 있다.
또 다른 실시 예에 따르면, 프로세서(140)는 디스플레이부(110)에서 표시된 영상 상의 사용자의 시선의 위치를 추적한 결과로 생성된 시선 이동 정보에 기초하여, 시선이 움직임 거리가 기 설정된 거리 미만인 것으로 판단된 경우에 스피커에서 출력된 사운드가 이용될 수 있다. 다시 말해, 시선 이동 정보에 기초하여, 시선이 움직임 거리가 기 설정된 거리 미만인 것으로 판단되면, 프로세서(140)는 상기 신호를 어지러움 레벨을 결정하는데 이용할지 여부를 상기 신호에 대응하는 디스플레이 장치의 움직임 동안 상기 스피커를 통해 출력되는 사운드까지 고려하여 결정할 수 있다.
이 경우, 프로세서(140)는 상기 출력된 사운드에 대응하는 주파수와 상기 신호에 대응하는 주파수 간의 연관성 수치가 기 설정된 값 이상이면 사용자의 어지러움 레벨을 결정하는데 상기 신호를 미사용할 수 있다.
한편, 상기의 실시 예는 스피커뿐만 아니라 머리 착용형 디스플레이 장치(100)에 이어폰 잭이 구비되어 있는 경우도 적용 가능하다. 또한, 상술한 예에선 머리 착용형 디스플레이 장치(100) 자체에 스피커 또는 이어폰 잭이 구비되는 것으로 설명되었으나, 머리 착용형 디스플레이 장치(100)는 마이크를 구비할 수 있고, 외부의 스피커를 통해 출력되어 사용자가 듣고 있는 사운드가 마이크를 통해 획득되면, 프로세서(140)는 획득된 사운드와 센서(120)에서 생성된 신호 간의 상관관계를 판단할 수도 있다.
또한, 사운드뿐만 아니라 다양한 외부 환경이 고려될 수 있다. 머리 착용형 디스플레이 장치(100)는, 사용자가 어지러워서 움직인 것이 아니라는 것을 판단할 수 있는 다양한 정보를 수신할 수 있다. 예컨대, 머리 착용형 디스플레이 장치(100)는 지진 감지계로부터 정보를 수신할 수 있다. 따라서, 이러한 외부 장치로부터 정보를 수신하기 위해 머리 착용형 디스플레이 장치(100)는 통신부를 구비할 수 있다.
통신부는 다양한 외부 장치와 통신을 수행하기 위한 구성으로, 근거리 통신망(LAN: Local Area Network) 및 인터넷망을 통해 외부 기기에 접속되는 형태뿐만 아니라, 무선 통신(예를 들어, Z-wave, 4LoWPAN, RFID, LTE D2D, BLE, GPRS, Weightless, Edge Zigbee, ANT+, NFC, IrDA, DECT, WLAN, 블루투스, 와이파이, Wi-Fi Direct, GSM, UMTS, LTE, WiBRO 등의 무선 통신) 방식에 의해서 외부 기기에 접속될 수 있다. 통신부는 와이파이칩, 블루투스 칩, 무선 통신 칩 등 다양한 통신칩을 포함할 수 있다.
도 7은 본 개시의 일 실시 예에 따른 사용자의 어지러움 레벨을 결정하는 방법을 설명하기 위한 흐름도이다.
설명의 편의를 위해, 시선 추적부(130)에서 생성된 시선 이동 정보, 즉 시선 움직임 정보는 A로 표시하였다. 시선 움직임은 처음 시선의 위치와 마지막 시선의 위치의 차이 값을 좌표 Ax, Ay 로 나타내었다. 그리고 센서(120)에서 발생된 신호, 즉 머리 움직임 정보는 B로 표시하였다. 상기 신호는 자이로 센서를 통해 생성된 것으로, Yaw, Pitch 및 Roll 각각에 대한 좌표 (By, Bp, Br)을 포함한다. 그리고 머리 착용형 디스플레이 장치(100)의 스피커에서 출력되는 사운드에 대응하는 오디오 신호는 C로 표시하였다.
도 7을 참고하면, 먼저, 시선 움직임 정보(A), 머리 움직임 정보(B) 및 오디오 신호(C)를 획득한다(S710). 여기서 시선 움직임 정보(A), 머리 움직임 정보(B) 및 오디오 신호(C)는 모두 같은 기간 동안에 발생한 것이다. 즉, 이들 정보는 사용자가 머리 착용형 디스플레이 장치(100)를 착용하고 움직이면서 사운드를 듣고 또한 시선을 옮기는 과정에서 발생한 정보들이다.
그리고 시선이 이동한 거리(Ax, Ay)가 기 설정된 거리(thx, thy) 미만인지 여부를 판단한다(S720).
판단 결과 시선이 이동한 거리가 기 설정된 거리 이상이면(S720, N), 시선 이동 정보(A)에 기초하여 어지러움 레벨을 결정한다(S750). 반대로, 상기 판단결과 시선이 이동한 거리가 기 설정된 거리 미만이면(S720, Y), 스피커에서 출력되는 사운드에 대응하는 오디오 신호(C)의 주파수(Freq(C))와 머리 움직임에 대응하여 센서(120)에서 발생한 신호의 주파수(Freq(B)) 간의 연관도, 즉 연관 계수(Correlation Coefficient: CC) 값을 산출하고, 산출된 연관 계수 값이 기 설정된 값인 0.5보다 작은지 판단한다(S730).
상기 연관 계수 값이 기 설정된 값보다 작다면(S730, Y), 머리 움직임 정보(A)에 기초하여 어지러움 레벨을 결정한다(S740). 반대로, 상기 연관 계수 값이 기 설정된 값 이상이면(S730, N), 시선 이동 정보(A)에 기초하여 어지러움 레벨을 결정한다(S750).
한편, S730 단계는 생략 가능하다. 이 경우, 시선이 이동한 거리(Ax, Ay)가 기 설정된 거리(thx, thy) 미만이면(S720, Y), 머리 움직임 정보(B)에 기초하여 어지러움 레벨을 결정한다(S740).
도 8은 본 개시의 또 다른 실시 예에 따른 사용자의 어지러움 레벨을 결정하는 방법을 설명하기 위한 흐름도이다. 도 7에서와 마찬가지로 시선 움직임 정보는 A로 표시하고, 머리 움직임 정보는 B로 표시하고, 스피커에서 출력되는 사운드에 대응하는 오디오 신호는 C로 표시되었다.
도 8을 참고하면 먼저, 시선 움직임 정보(A), 머리 움직임 정보(B) 및 오디오 신호(C)를 획득한다(S810). 여기서 시선 움직임 정보(A), 머리 움직임 정보(B) 및 오디오 신호(C)는 모두 같은 기간 동안에 발생한 것이다.
그리고 시선이 이동한 거리(Ax, Ay)가 기 설정된 거리(thx, thy) 미만인지 여부를 판단한다(S820).
판단 결과 시선이 이동한 거리가 기 설정된 거리 이상이면(S820, N), 새롭게 입력되는 시선 움직임 정보(A), 머리 움직임 정보(B) 및 오디오 신호(C)를 획득한다(S810). 즉, 시선이 이동한 거리가 기 설정된 거리 미만이 될 때까지 이 과정이 반복된다.
마침내 시선이 이동한 거리가 기 설정된 거리 이상이 되었으면(S820, Y), 스피커에서 출력되는 사운드에 대응하는 오디오 신호(C)의 주파수(Freq(C))와 머리 움직임에 대응하여 센서(120)에서 발생한 신호의 주파수(Freq(B)) 간의 연관도, 즉 연관 계수(Correlation Codfficient: CC) 값을 산출하고, 산출된 연관 계수 값이 기 설정된 값인 0.5보다 작은지 판단한다(S830).
상기 연관 계수 값이 기 설정된 값 이상이면(S830, N), 새롭게 입력되는 시선 움직임 정보(A), 머리 움직임 정보(B) 및 오디오 신호(C)를 획득한다(S810). 즉, 상기 연관 계수 값이 기 설정된 값보다 작아질 때까지 이 과정이 반복된다.
마침내 상기 연관 계수 값이 기 설정된 값보다 작아지면(S830, Y), 머리 움직임 정보(B)에 기초하여 어지러움 레벨을 결정한다(S840).
도 8에서 설명한 방법은, 도 7에서 설명한 방법과 달리 시선 움직임 정보는 머리 움직임이 의도적인지 여부를 판단할 때에만 사용되고 어지러움 레벨을 결정하는 데에는 사용되지 않는다. 즉, 도 8에서 설명한 방법은 머리 움직임이 비의도적인 움직임이라고 판단되었을 때 그에 기초하여 어지러움 레벨이 결정된다.
한편, S830 단계는 생략 가능하다. 이 경우, 시선이 이동한 거리(Ax, Ay)가 기 설정된 거리(thx, thy) 미만이면(S820, Y), 머리 움직임 정보(B)에 기초하여 어지러움 레벨을 결정한다(S840).
도 9는 시선 정보를 이용하는 경우와, 머리 움직임 정보를 이용하는 경우 각각에서 어지러움 레벨을 결정하는 구체적인 방법을 설명하기 위한 흐름도이다.
우선, 머리 움직임 정보를 이용하는 경우에 대해 설명하자면, S911 내지 S914 및 S930 단계는, 도 7에서 S740 단계 또는 도 8에서 S840 단계에 포함된 세부 단계들일 수 있다.
먼저, 어지러움 레벨 결정을 위한 데이터로 센서(120)에서 생성된 신호, 즉 머리 움직임 정보를 선택한다(S911). 그리고 그 신호를 시간 도메인에서 주파수 도메인으로 변환한다(S912). 주파수 값들 중, 크기가 가장 큰 주파수 값(MAX(Head)freq)을 선택하고, MAX(Head)freq이 기 설정된 주파수 값(th1) 이상인지 판단한다(S913). 어지러움에 의한 흔들림인 경우 1Hz 이상의 흔들림을 보이므로, th1은 1Hz로 설정될 수 있다. MAX(Head)freq이 기 설정된 주파수 값(th1) 이하이면(S913, N), 어지러움이 없는 것으로 판단한다(S930).
MAX(Head)freq이 기 설정된 주파수 값(th1)보다 크면(S913, Y), MAX(Head)freq을 기초로 어지러움 레벨을 결정한다(S914).
시선 움직임 정보를 이용하는 경우에 대해 설명하자면, S921 내지 S924 및 S930 단계는, 도 7에서 S750 단계에 포함된 세부 단계들일 수 있다.
먼저, 어지러움 레벨 결정을 위한 데이터로 시선 추적부(130)에서 생성된 시선 이동 정보를 선택한다(S921). 그리고 시선 이동 정보에 기초하여 안구 운동 진폭(Saccade amplitude: SA)을 계산한다(S922). 그리고 안구운동진폭이 기 설정된 값보다 큰지를 판단한다(S923). 안구운동진폭이 기 설정된 값(th2) 이하이면(S923, N), 어지러움이 없는 것으로 판단한다(S930).
안구운동진폭이 기 설정된 값(th2)보다 크면(S923, Y), 안구운동진폭을 기초로 어지러움 레벨을 결정한다.
안구운동진폭에 기초하여 결정한 어지러움 레벨의 단위와, 머리 움직임에 따른 주파수 값에 기초하여 결정한 어지러움 레벨의 단위가 서로 같아지도록 하기 위한 정규화(normalization)가 추가로 수행될 수 있다.
어지러움 레벨이 결정되면, 그에 기초하여 어지러움 저감 프로세싱을 수행한다(S940).
도 10은 본 개시의 일 실시 예에 따른 어지러움 저감 프로세싱의 일 예를 설명하기 위한 도면이다.
프로세서(140)는 사용자의 어지러움 레벨에 따라 디스플레이부(110)에 표시된 영상 중 일부 영역의 식별도를 나머지 영역보다 낮추어 표시하도록 디스플레이부(110)를 제어할 수 있다.
예컨대, 도 10에 도시한 것처럼 디스플레이부(110)에 표시된 영상(1000) 중 일부 영역(1010)을 제외한 나머지 영역의 식별도를 낮추어 표시할 수 있다. 식별도를 낮추게 되면 사용자의 눈이 받아들이는 정보의 양(또는 옵티칼 플로우(Optical Flow))이 감소하게 되므로, 그만큼 어지러움을 덜 느끼게 된다. 식별도를 낮추는 것에는, 영상에 흐림 처리를 하는 것을 포함할 수 있다. 이 경우, 얼마나 흐리게 처리할 것인지는 조절 가능하다. 일 실시 예에 따르면, 프로세서(140)는 블러 필터(blur filter)를 영상에 적용하여 식별도를 낮출 수 있다. 블러 필터를 사용할 경우 작은 크기의 옵티칼 플로우는 0으로 수렴 가능하다.
한편, 어지러움 정도가 심할수록 식별도가 낮추어진 영역의 크기를 증가시킬 수 있다. 도 11은 도 10의 경우보다 어지러움 레벨이 큰 경우에 디스플레이부(110)에서 표시될 수 있는 영상의 일 예를 도시한 것이다.
도 11을 참고하면, 디스플레이부(110)에 표시된 영상(1100)에서 식별도가 낮추어진 영역(즉, 영역(1110)을 제외한 영역)의 크기가 도 10에 비해 늘어났음을 알 수 있다. 즉, 프로세서(140)는 사용자의 어지러움 레벨의 변화에 따라 식별도가 낮춰진 영역의 크기를 변경하도록 디스플레이부(110)를 제어할 수 있다.
한편, 디스플레이부(110)에 표시되는 영상이 VR(Virtual Reality) 컨텐츠에 대응하는 전체 영상 내의 일 시점(view point)에 대응하는 영상인 경우, 프로세서(140)는, 센서(120)에서 생성된 신호에 따라 시점이 이동된 영상을 표시하고, 상기 시점이 이동된 영상 중 일부 영역의 식별도를 나머지 영역보다 낮추어 표시하도록 디스플레이부(110)를 제어할 수 있다. 즉, 머리 움직임에 대응하여 영상의 시점이 변하면서 동시에 그 영상의 일부 영역의 식별도를 낮추는 작업도 수행될 수 있다.
본 개시의 일 실시 예에 따르면, 디스플레이부(110)에서 표시된 영상에서 식별도가 낮춰진 영역은, 상기 표시된 영상 중 사용자 시선이 검출된 영역 이외의 영역일 수 있다. 즉, 예컨대 도 11에서, 영역(1110)이 사용자가 바라보고 있는 영역에 해당할 수 있다.
상기 실시 예에 따르면, 영상에서 사용자가 바라보고 있는 부분 이외의 부분은 식별도가 낮춰져서 표시됨에 따라, 사용자가 바라보고 있는 부분 이외의 영역은 신경이 덜 쓰이게 되므로, 사용자의 어지러움 증상이 완화될 수 있다.
또 다른 실시 예에 따르면, 프로세서(140)는 디스플레이부(110)에 표시된 영상을 복수의 블럭으로 구분하고, 복수의 블럭 각각의 모션 정보에 기초하여 상기 복수의 블럭 중 어지러움 유발도가 최소인 블럭을 선택할 수 있다.
연구 결과에 따르면, 모션 벡터의 특정 주파수 대역(0.3 ~ 2.5Hz)의 크기가 최소인 영역이 어지러움의 유발도가 낮다고 볼 수 있다.
따라서, 프로세서(140)는 복수의 블럭 각각의 모션 벡터를 주파수 변환을 하고, 복수의 블럭 중 상기 특정 주파수 대역(0.3 ~ 2.5Hz)의 크기가 최소인 블럭을 어지러움 유발도가 최소인 블럭으로 선택할 수 있다. 다만, 0.3 ~ 2.5Hz은 일 예이고, 상기 특정 주파수 대역은 다른 대역에서 선택될 수도 있다.
그리고 프로세서(140)는 선택된 블럭에 대응하는 영역을 제외한 나머지 영역의 식별도를 낮추어 표시하도록 디스플레이부(110)를 제어할 수 있다. 즉, 도 11을 통해 설명하자면, 영역(1110)은 전체 영상(1100) 중에서 어지러움 유발도가 최소인 블럭에 대응하는 영역일 수 있다.
상기 실시 예에 따르면, 영상에서 모션 정도가 낮은 부분에 사용자가 집중할 수 있게 되므로, 사용자의 어지러움 증상이 완화될 수 있다.
상기 실시 예에선 어지러움 유발도가 최소인 부분을 제외한 부분의 식별도를 낮추는 것으로 설명하였지만, 또 다른 실시 예에선 어지러움 유발도가 최소인 부분으로 사용자 시선을 유도하도록 하는 UI 요소가 표시될 수 있다. 본 실시 예를 도 12를 통해 설명하도록 한다.
도 12는 머리 착용 디스플레이 장치(100)를 통해 사용자가 머리를 움직여가며 볼 수 있는 VR 컨텐츠에 대응하는 전체 영상(1200)을 도시한 것이고, 전체 영상(1200)에서 디스플레이부(110)를 통해 시청 가능한 영역(1210)을 박스로 표시한 것이다. 즉, 디스플레이부(110)를 통해 영역(1210)에 대응하는 영상이 표시되고 있는 상황에서 머리 착용 디스플레이 장치(100)를 착용한 사용자가 머리를 왼쪽으로 돌리면 영역(1210)의 왼쪽의 영상이 디스플레이부(110)에서 표시될 것이고, 머리를 오른쪽으로 돌리면 영역(1210)의 오른쪽의 영상이 디스플레이부(110)에서 표시될 것이다.
사용자가 보고 있는 영역(1210)에선, 어지러움 유발도가 최소인 블럭에 대응하는 부분에 사용자의 시선을 유도하는 UI 요소(1210)가 표시될 수 있다. UI 요소(1210)쪽으로 사용자가 시선을 옮기면 어지럼움 정도가 감소될 수 있다.
한편, 도 12에선 현재 사용자가 보고 있는 화면 내에서 어지러움 유발도가 최소인 영역으로 사용자 시선을 유도시키는 실시 예를 설명하였으나, 또 다른 실시 예에 따르면, 시청 가능한 영역 밖의 영역에서 어지러움 유발도가 최소인 영역을 찾아, 그곳으로 사용자 시선을 유도시킬 수도 있다. 이에 대해선 도 13을 참고하여 설명하도록 한다.
도 13을 참고하면, 디스플레이부(110)를 통해 표시된 영상이 VR 컨텐츠에 대응하는 전체 영상(1300) 중 일부 영상(시청 영역에 해당하는 부분)인 경우, 프로세서(140)는 상기 VR 컨텐츠에 대응하는 전체 영상 중 디스플레이부(110)를 통해 표시되지 않은 일부 영상(탐색 영역에 해당하는 부분)을 복수의 블럭으로 구분하고, 상기 복수의 블럭 각각의 모션 정보에 기초하여 상기 복수의 블럭 중 어지러움 유발도가 최소인 블럭을 선택하고, 상기 선택된 블럭이 위치한 방향으로 사용자 시선을 유도하는 UI 요소를 표시하도록 디스플레이부(110)를 제어할 수 있다.
도 13에 도시한 것처럼, 탐색 영역은 시청 영역 밖으로 기 설정된 거리 이내에 있는 영역으로 설정될 수 있다. 그리고 프로세서(140)는 이 탐색 영역을 복수의 블럭으로 구분하고, 그 중에서 어지러움 유발도가 최소인 블럭(1311)을 선택할 수 있다.
탐색 영역 내에서 어지러움 유발도가 최소인 블럭이 있는 곳으로 사용자 시선을 유도하기 위해, 현재 사용자가 보고 있는 영상에서 UI 요소가 표시될 수 있다. 이에 대해선 도 14를 통해 설명하도록 한다.
도 14를 참고하면, 프로세서(140)는 탐색 영역(1410)을 복수의 블럭으로 구분하고, 복수의 블럭 중에서 어지러움 유발도가 최소인 블럭(1411)을 선택할 수 있다. 그리고 프로세서(140)는 시청 영역(1420)에서 상기 선택된 블럭(1411)이 위치한 방향으로 시선을 유도하는 UI 요소(1421)를 표시하도록 디스플레이부(110)를 제어할 수 있다. 도 14에선 UI 요소(1421)를 화살표 형태로 도시하였으나 이러한 형태에 한정되는 것은 아니다.
표시된 UI 요소(1421)에 근거하여 사용자가 머리를 오른쪽 및 위쪽으로 움직이면, 그에 따라 센서(110)에서 사용자 움직임을 감지하고, 프로세서(140)는 움직임에 대응하는 영상을 표시하도록 디스플레이부(110)를 제어할 수 있다. 따라서, 현재 보여지는 영상에서 어지러움을 느낀 사용자는, UI 요소(1421)가 가르키는 방향으로 머리를 움직임으로써 어지러움을 덜 느끼게 될 수 있다.
한편, 상술한 UI 요소의 크기는 사용자의 어지러움 레벨에 따라 변화될 수 있다. 즉, 프로세서(140)는 사용자의 어지러움 레벨의 변화에 따라 시선을 유도하기 위한 UI 요소의 크기를 변경하도록 디스플레이부(110)를 제어할 수 있다. 이 경우, 어지러움 레벨 변화에 비례하여 UI 요소의 크기가 변경될 수 있다.
도 15를 참고하여 설명하자면, 전체 영상(1500) 내의 탐색 영역(1510)에서 어지러움 유발도가 최소인 블럭(1511)이 위치한 방향으로 시선을 유도하는 UI 요소(1521)가 시청 영역(1520)에 표시될 수 있는데, 도 14의 경우보다 도 15의 경우가 어지러움 레벨이 더 낮은 경우이므로, 도 15의 UI 요소(1521)의 크기는 도 14의 UI 요소(1421)의 크기보다 작다.
도 16은 본 개시의 일 실시 예에 따른 머리 착용형 디스플레이 장치의 제어방법을 설명하기 위한 흐름도이다.
도 16을 참고하면 먼저, 머리 착용형 디스플레이 장치(100)는 영상을 표시한다(S1610).
여기서 영상은 VR 컨텐츠에 대응하는 전체 영상 중 일 시점에 대응하는 영상일 수 있고, 머리 착용형 디스플레이 장치(100)를 착용한 사용자의 머리 움직임에 대응하여 영상의 시점이 변경될 수 있다.
그리고 머리 착용형 디스플레이 장치(100)는 머리 착용형 디스플레이 장치(100)의 움직임에 대응하는 신호를 생성한다(S1620). 이 경우 머리 착용형 디스플레이 장치(100)에 내장되어 있는 다양한 센서가 이용될 수 있다. 예컨대 자이로 센서가 이용될 수 있다.
그리고 머리 착용형 디스플레이 장치(100)는 상기 생성된 신호에 대응하는 상기 디스플레이 장치의 움직임 동안 상기 표시된 영상 상의 사용자 시선의 위치를 추적하여 시선 이동 정보를 생성한다(S1630).
그리고 머리 착용형 디스플레이 장치(100)는 상기 움직임에 대응하는 신호를 사용자의 어지러움 레벨을 결정하는데 이용할지 여부를 상기 시선 이동 정보에 기초하여 결정한다(S1640).
구체적으로, 머리 착용형 디스플레이 장치(100)는 시선 이동 정보에 기초하여 머리 움직임에 의도성이 있는지 여부를 판단할 수 있다. 시선 움직임이 기 설정된 임계값보다 크면 의도적 움직임이고, 작으면 비의도적 움직임이라고 볼 수 있다. 머리 움직임에 의도성이 있는 경우, 움직임을 감지하여 생성된 신호에 기초하여 어지러움 레벨을 결정하게 되면 정확도가 떨어지게 되므로, 이 경우엔 움직임을 감지하여 생성된 신호는 어지러움 레벨 결정에 사용되지 않는 것이 바람직하다.
또 다른 예로, 사용자가 음악을 듣고 신이 나서 머리를 흔드는 것과 같은 의도적인 움직임이 있는 경우도 고려될 수 있다. 이 경우, 사용자에게 제공되는 사운드에 대응하는 오디오 데이터와, 센서에서 측정된 데이터를 주파수 변환한 후, 두 주파수 값들의 연관성을 계산한다. 예컨대, 두 주파수 값들 간의 연관성 계수(Correlation Coefficient) 값을 계산한다. 상기 계산된 값이 기 설정된 연관성 계수 값 보다 크면, 사용자가 음악에 맞추어 몸을 흔들었을 가능성이 높다. 즉, 움직임이 의도적인 것이라고 볼 수 있다.
상기와 같은 방식에 따라 움직임의 의도성 여부를 판단할 수 있다. 상술한 의도성 판별 기준은 현재 자세나 눈의 깜빡임에 따라서 조금씩 달라질 수 있으므로, 현재 자세나 눈의 깜빡임 정도를 고려하여 시선 움직임에 대한 임계값 또는 연관성 계수에 대한 임계값 등을 조정할 수 있다.
비의도적인 움직임인 경우엔 상기 센서에서 생성된 신호를 이용하여 어지러움 레벨을 결정한다.
구체적으로, 머리 착용형 디스플레이 장치(100)에 자이로 센서가 내장된 경우, 자이로센서 데이터 3종류(Yaw, Pitch, Roll) 중 2종류(Pitch, Roll) 데이터가 어지러움 레벨을 결정하는 데 사용될 수 있다. 그리고 시간단위로 누적된 Pitch와 Roll 데이터 값들을 주파수 변환한다. 변환된 값들 중에서 1Hz 이상 주파수 대역을 선택한 후, 선택된 주파수 대역에서 크기(amplitude)가 가장 큰 주파수 값을 어지러움을 정량화한 값, 즉 어지러움 레벨로 결정한다.
의도적인 움직임인 경우엔 상기 센서에서 생성된 신호를 이용하지 않고, 의도적인 움직임이 아니라고 판단될 때까지 상기의 의도성 판단 과정을 반복한다. 또는, 의도적인 움직임인 경우에 시선 이동 정보에 기초하여 어지러움 레벨을 결정할 수 있다. 이 경우, 안구 운동 진폭(Saccade amplitude) 값(= 안구 움직임 동안 안구가 이동한 각거리(angular distance))을 계산하여 어지러움 레벨을 결정할 수 있다. 상기 결정된 어지러움 레벨이 기 설정된 레벨 이상인 경우에, 어지러움을 줄이기 위한 추가의 프로세스가 수행될 수 있다.
한편, 상술한 내용에선 시선 이동 정보 또는 움직임을 센싱한 신호에 기초하여 어지러움 레벨이 결정될 수 있는 것으로 설명하였으나, 이 밖에도, 머리 착용형 디스플레이 장치(100)엔 뇌파 센서가 내장되어 있어, 사용자의 뇌파 신호 데이터를 획득하여 어지러움 레벨을 결정할 수 있다. 구체적으로, 머리 착용형 디스플레이 장치(100)는 시간단위로 누적된 뇌파 데이터 값들을 주파수 변환하고, 변환된 값들 중에서 임계 Hz 이상의 주파수 대역을 선택한 후, 선택된 주파수 대역들 중 크기가 가장 큰 주파수 값에 기초하여 어지러움 레벨을 결정할 수 있다.
상술한 다양한 실시 예에 따르면, 머리 착용형 디스플레이 장치에 내장되어 있는 센서를 사용하여 어지러움 정도를 결정할 수 있기 때문에 별도의 장치가 요구되지 않으며, 따라서 별도의 전력도 요구되지 않고, 사용자가 머리 착용형 디스플레이 장치를 착용하고 있는 동안에 실시간으로 상기와 같은 어지러움 레벨이 결정되어 이에 따른 처리가 수행되므로, 현실감 저하 없이 사용자의 어지러움을 줄여줄 수 있다.
한편, 이상에서 설명된 다양한 실시 예들은 소프트웨어(software), 하드웨어(hardware) 또는 이들의 조합된 것을 이용하여 컴퓨터(computer) 또는 이와 유사한 장치로 읽을 수 있는 기록 매체 내에서 구현될 수 있다. 하드웨어적인 구현에 의하면, 본 개시에서 설명되는 실시 예들은 ASICs(Application Specific Integrated Circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛(unit) 중 적어도 하나를 이용하여 구현될 수 있다. 소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시 예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 상기 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다.
한편, 상술한 본 개시의 다양한 실시 예들에 따른 머리 착용형 디스플레이 장치의 제어방법은 비 일시적 판독 가능 매체(non-transitory readable medium) 에 저장될 수 있다. 이러한 비일시적 판독 가능 매체는 다양한 장치에 탑재되어 사용될 수 있다.
비 일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 방법을 수행하기 위한 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
또한, 이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.
100: 머리 착용형 디스플레이 장치

Claims (20)

  1. 머리 착용형 디스플레이 장치에 있어서,
    영상을 표시하는 디스플레이부;
    상기 디스플레이 장치의 움직임에 대응하는 신호를 생성하는 센서;
    상기 신호에 대응하는 상기 디스플레이 장치의 움직임 동안 상기 영상 상의 사용자 시선의 위치를 추적하여 시선 이동 정보를 생성하는 시선 추적부; 및
    상기 신호를 사용자의 어지러움 레벨을 결정하는데 이용할지 여부를 상기 시선 이동 정보에 기초하여 결정하는 프로세서;를 포함하는 머리 착용형 디스플레이 장치.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 시선 이동 정보에 기초하여 시선이 움직인 거리가 기 설정된 거리 이상인 것으로 판단되면, 사용자의 어지러움 레벨을 결정하는데 상기 신호를 미사용하고, 시선이 움직인 거리가 기 설정된 거리 미만인 것으로 판단되면, 사용자의 어지러움 레벨을 결정하는데 상기 신호를 사용하는 머리 착용형 디스플레이 장치.
  3. 제1항에 있어서,
    사운드를 출력하는 스피커;를 더 포함하며,
    상기 프로세서는,
    상기 시선 이동 정보에 기초하여 시선이 움직인 거리가 기 설정된 거리 미만인 것으로 판단되면, 상기 신호를 어지러움 레벨을 결정하는데 이용할지 여부를 상기 신호에 대응하는 디스플레이 장치의 움직임 동안 상기 스피커를 통해 출력되는 사운드에 기초하여 결정하는 머리 착용형 디스플레이 장치.
  4. 제3항에 있어서,
    상기 프로세서는,
    상기 출력된 사운드에 대응하는 주파수와 상기 신호에 대응하는 주파수 간의 연관성 수치가 기 설정된 값 이상이면 사용자의 어지러움 레벨을 결정하는데 상기 신호를 미사용하는 머리 착용형 디스플레이 장치.
  5. 제1항에 있어서,
    상기 프로세서는,
    상기 사용자의 어지러움 레벨에 따라 상기 영상 중 일부 영역의 식별도를 나머지 영역보다 낮추어 표시하도록 상기 디스플레이부를 제어하는 머리 착용형 디스플레이 장치.
  6. 제5항에 있어서
    상기 디스플레이부를 통해 표시된 영상이 VR(Virtual Reality) 컨텐츠에 대응하는 전체 영상 내의 일 시점(view point)에 대응하는 영상인 경우,
    상기 프로세서는,
    상기 센서에서 생성된 신호에 따라 시점이 이동된 영상을 표시하고, 상기 시점이 이동된 영상 중 일부 영역의 식별도를 나머지 영역보다 낮추어 표시하도록 상기 디스플레이부를 제어하는 머리 착용형 디스플레이 장치.
  7. 제5항에 있어서,
    상기 프로세서는,
    상기 사용자의 어지러움 레벨의 변화에 따라 상기 식별도가 낮춰진 영역의 크기를 변경하도록 상기 디스플레이부를 제어하는 머리 착용형 디스플레이 장치.
  8. 제5항에 있어서,
    상기 식별도가 낮춰진 영역은,
    상기 표시된 영상 중 상기 사용자 시선이 검출된 영역 이외의 영역인, 머리 착용형 디스플레이 장치.
  9. 제5항에 있어서,
    상기 프로세서는,
    상기 영상을 복수의 블럭으로 구분하고, 복수의 블럭 각각의 모션 정보에 기초하여 상기 복수의 블럭 중 어지러움 유발도가 최소인 블럭을 선택하며,
    상기 식별도가 낮춰진 영역은,
    상기 표시된 영상 중 상기 선택된 블럭에 대응하는 영역 이외의 영역인, 머리 착용형 디스플레이 장치.
  10. 제5항에 있어서,
    상기 식별도가 낮춰진 영역은,
    블러 필터(Blur Filter)가 적용된 영역인 머리 착용형 디스플레이 장치.
  11. 제1항에 있어서,
    상기 디스플레이부를 통해 표시된 영상이 VR(Virtual Reality) 컨텐츠에 대응하는 전체 영상 중 일부 영상인 경우,
    상기 프로세서는,
    상기 VR 컨텐츠에 대응하는 전체 영상 중 상기 디스플레이부를 통해 표시되지 않은 일부 영상을 복수의 블럭으로 구분하고, 상기 복수의 블럭 각각의 모션 정보에 기초하여 상기 복수의 블럭 중 어지러움 유발도가 최소인 블럭을 선택하고,
    상기 선택된 블럭이 위치한 방향으로 사용자 시선을 유도하는 UI 요소를 표시하도록 상기 디스플레이부를 제어하는 머리 착용형 디스플레이 장치.
  12. 제11항에 있어서,
    상기 프로세서는,
    상기 사용자의 어지러움 레벨의 변화에 따라 상기 UI 요소의 크기를 변경하도록 상기 디스플레이부를 제어하는 머리 착용형 디스플레이 장치.
  13. 머리 착용형 디스플레이 장치의 제어방법에 있어서,
    영상을 표시하는 단계;
    상기 디스플레이 장치의 움직임에 대응하는 신호를 생성하는 단계; 및
    상기 신호에 대응하는 상기 디스플레이 장치의 움직임 동안 상기 영상 상의 사용자 시선의 위치를 추적하여 시선 이동 정보를 생성하는 단계; 및
    상기 신호를 사용자의 어지러움 레벨을 결정하는데 이용할지 여부를 상기 시선 이동 정보에 기초하여 결정하는 단계;를 포함하는 머리 착용형 디스플레이 장치의 제어방법.
  14. 제13항에 있어서,
    상기 결정하는 단계는,
    상기 시선 이동 정보에 기초하여 시선이 움직인 거리가 기 설정된 거리 이상인 것으로 판단되면, 사용자의 어지러움 레벨을 결정하는데 상기 신호를 미사용하는 것으로 결정하고, 시선이 움직인 거리가 기 설정된 거리 미만인 것으로 판단되면, 사용자의 어지러움 레벨을 결정하는데 상기 신호를 사용하는 것으로 결정하는 머리 착용형 디스플레이 장치의 제어방법.
  15. 제13항에 있어서,
    상기 디스플레이 장치는 사운드를 출력하는 스피커를 포함하며,
    상기 결정하는 단계는,
    상기 시선 이동 정보에 기초하여 시선이 움직인 거리가 기 설정된 거리 미만인 것으로 판단되면, 상기 신호를 어지러움 레벨을 결정하는데 이용할지 여부를 상기 신호에 대응하는 디스플레이 장치의 움직임 동안 상기 스피커를 통해 출력되는 사운드에 기초하여 결정하는 머리 착용형 디스플레이 장치의 제어방법.
  16. 제15항에 있어서,
    상기 결정하는 단계는,
    상기 출력된 사운드에 대응하는 주파수와 상기 신호에 대응하는 주파수 간의 연관성 수치가 기 설정된 값 이상이면 사용자의 어지러움 레벨을 결정하는데 상기 신호를 미사용하는 것으로 결정하는 머리 착용형 디스플레이 장치의 제어방법.
  17. 제13항에 있어서,
    상기 사용자의 어지러움 레벨에 따라 상기 영상 중 일부 영역의 식별도를 나머지 영역보다 낮추어 표시하는 단계;를 더 포함하는 머리 착용형 디스플레이 장치의 제어방법.
  18. 제17항에 있어서,
    상기 표시된 영상이 VR(Virtual Reality) 컨텐츠에 대응하는 전체 영상 내의 일 시점(view point)에 대응하는 영상인 경우,
    상기 표시하는 단계는,
    상기 생성된 신호에 따라 시점이 이동된 영상을 표시하고, 상기 시점이 이동된 영상 중 일부 영역의 식별도를 나머지 영역보다 낮추어 표시하는 머리 착용형 디스플레이 장치의 제어방법.
  19. 제17항에 있어서,
    상기 표시하는 단계는,
    상기 사용자의 어지러움 레벨의 변화에 따라 상기 식별도가 낮춰진 영역의 크기를 변경하는 머리 착용형 디스플레이 장치의 제어방법.
  20. 머리 착용형 디스플레이 장치의 제어방법을 실행하기 위한 프로그램을 포함하는 컴퓨터 판독가능 기록매체에 있어서,
    상기 제어방법은,
    영상을 표시하는 단계;
    상기 디스플레이 장치의 움직임에 대응하는 신호를 생성하는 단계; 및
    상기 신호에 대응하는 상기 디스플레이 장치의 움직임 동안 사용자의 시선의 위치를 추적하여 시선 이동 정보를 생성하는 단계; 및
    상기 신호를 사용자의 어지러움 레벨을 결정하는데 이용할지 여부를 상기 시선 이동 정보에 기초하여 결정하는 단계;를 포함하는 기록매체.

KR1020160140235A 2016-10-26 2016-10-26 머리 착용형 디스플레이 장치 및 그의 제어 방법 KR20180045644A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020160140235A KR20180045644A (ko) 2016-10-26 2016-10-26 머리 착용형 디스플레이 장치 및 그의 제어 방법
PCT/KR2017/011924 WO2018080202A1 (ko) 2016-10-26 2017-10-26 머리 착용형 디스플레이 장치 및 그의 제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160140235A KR20180045644A (ko) 2016-10-26 2016-10-26 머리 착용형 디스플레이 장치 및 그의 제어 방법

Publications (1)

Publication Number Publication Date
KR20180045644A true KR20180045644A (ko) 2018-05-04

Family

ID=62023747

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160140235A KR20180045644A (ko) 2016-10-26 2016-10-26 머리 착용형 디스플레이 장치 및 그의 제어 방법

Country Status (2)

Country Link
KR (1) KR20180045644A (ko)
WO (1) WO2018080202A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220170643A (ko) * 2021-06-23 2022-12-30 주식회사 피앤씨솔루션 시선 추적을 통해 동공 간 거리를 자동 조절하는 머리 착용형 디스플레이 장치

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112656404B (zh) * 2020-12-30 2023-05-02 浙江凡聚科技有限公司 一种基于图像处理的虚拟现实眩晕程度测量***及方法
CN112819967A (zh) * 2021-01-14 2021-05-18 京东方科技集团股份有限公司 一种显示方法、装置及***、存储介质、显示器

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9690099B2 (en) * 2010-12-17 2017-06-27 Microsoft Technology Licensing, Llc Optimized focal area for augmented reality displays
US9645395B2 (en) * 2013-03-15 2017-05-09 Mark Bolas Dynamic field of view throttling as a means of improving user experience in head mounted virtual environments
US20150005587A1 (en) * 2013-06-27 2015-01-01 Yinhong Qu Goggles for emergency diagnosis of balance disorders
KR101613091B1 (ko) * 2014-04-24 2016-04-20 한국과학기술연구원 시선 추적 장치 및 방법
KR101564964B1 (ko) * 2015-02-05 2015-11-02 계명대학교 산학협력단 가상현실 멀미를 감소시키는 전기 자극 헤드 마운트 디스플레이 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220170643A (ko) * 2021-06-23 2022-12-30 주식회사 피앤씨솔루션 시선 추적을 통해 동공 간 거리를 자동 조절하는 머리 착용형 디스플레이 장치

Also Published As

Publication number Publication date
WO2018080202A1 (ko) 2018-05-03

Similar Documents

Publication Publication Date Title
US9824698B2 (en) Wearable emotion detection and feedback system
US10114466B2 (en) Methods and systems for hands-free browsing in a wearable computing device
US9164588B1 (en) Wearable computing device with gesture recognition
KR102623391B1 (ko) 영상 출력 방법 및 이를 지원하는 전자 장치
US9720083B2 (en) Using sounds for determining a worn state of a wearable computing device
US8752963B2 (en) See-through display brightness control
CA2750287C (en) Gaze detection in a see-through, near-eye, mixed reality display
KR20150037254A (ko) 착용형 디스플레이 디바이스 및 레이어 제어 방법
US11575877B2 (en) Utilizing dual cameras for continuous camera capture
JP2016191845A (ja) 情報処理装置、情報処理方法及びプログラム
US11244496B2 (en) Information processing device and information processing method
KR20170028942A (ko) 안전한 웨어러블 컴퓨터 인터페이스
US20210004081A1 (en) Information processing apparatus, information processing method, and program
KR20140037730A (ko) 착용형 정보 제공 시스템
KR20180045644A (ko) 머리 착용형 디스플레이 장치 및 그의 제어 방법
WO2020050186A1 (ja) 情報処理装置、情報処理方法及び記録媒体
US11743447B2 (en) Gaze tracking apparatus and systems
JP7400721B2 (ja) 情報処理装置、情報処理方法及びプログラム
KR20190038296A (ko) 화상 표시 시스템, 화상 표시 방법 및 화상 표시 프로그램
US11422622B2 (en) Electronic device and operating method thereof
US20210278665A1 (en) Electronic device and control method thereof
US11442543B1 (en) Electronic devices with monocular gaze estimation capabilities
WO2017051720A1 (ja) 情報処理装置、情報処理方法、およびプログラム