KR20170000808A - 복시를 해소한 양안시차 기반 3차원 디스플레이 장치의 증강정보 표시 방법 - Google Patents

복시를 해소한 양안시차 기반 3차원 디스플레이 장치의 증강정보 표시 방법 Download PDF

Info

Publication number
KR20170000808A
KR20170000808A KR1020160079414A KR20160079414A KR20170000808A KR 20170000808 A KR20170000808 A KR 20170000808A KR 1020160079414 A KR1020160079414 A KR 1020160079414A KR 20160079414 A KR20160079414 A KR 20160079414A KR 20170000808 A KR20170000808 A KR 20170000808A
Authority
KR
South Korea
Prior art keywords
image
enhancement information
user
body part
coordinates
Prior art date
Application number
KR1020160079414A
Other languages
English (en)
Inventor
김석중
Original Assignee
주식회사 브이터치
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 브이터치 filed Critical 주식회사 브이터치
Publication of KR20170000808A publication Critical patent/KR20170000808A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/356—Image reproducers having separate monoscopic and stereoscopic modes
    • H04N13/359—Switching between monoscopic and stereoscopic modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/0454—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/0044—
    • H04N13/0456—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/158—Switching image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/361—Reproducing mixed stereoscopic images; Reproducing mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

양안시차 기반 3차원 디스플레이 장치에서 증강정보가 3차원 공간 상에 복시의 문제없이 표시되도록 하는 복시를 해소한 양안시차 기반 3차원 디스플레이 장치의 증강정보 표시 방법이 개시된다.
발명의 일 측면에 따르면, 복시를 해소한 양안시차 기반 3차원 디스플레이 장치의 증강정보 표시 방법은, 양안시차를 이용하여 사용자에게 3차원 영상을 제공하기 위하여, 사용자의 두 눈에 각각 보여지는 제1 영상 및 제2 영상을 생성하는 단계; 증강정보를 포함하는 영상을 생성하는 단계; 및 상기 증강정보를 포함하는 영상이 상기 제1 영상을 표시하는 디스플레이 화면과 상기 제2 영상을 표시하는 디스플레이 화면 중 하나에만 표시되는 단계;를 포함한다.

Description

복시를 해소한 양안시차 기반 3차원 디스플레이 장치의 증강정보 표시 방법{METHOD FOR DISPLAYING AUGMENTED INFORMATION WITHOUT DOUBLE VISION IN THREE DIMENSIONAL DISPLAY DEVICE}
본 발명은 복시를 해소한 양안시차 기반 3차원 디스플레이 장치의 증강정보 표시 방법에 관한 것으로서, 보다 상세하게는 양안시차 기반 3차원 디스플레이 장치에서 증강정보가 3차원 공간 상에 복시의 문제없이 표시되도록 하는 증강정보 표시 방법에 관한 것이다.
사람의 눈은 초점거리(Focal Distance)가 맞지 않는 위치의 사물은 흐릿하게 인지하게 된다. 한편, 사람의 눈은 주시 거리(Convergence Distance)가 서로 다른 두 사물 중 어느 하나를 주시할 때에는 다른 사물은 둘로 겹쳐 보이는, 이른바 복시(Double Vision) 문제가 발생한다. 이는 사람의 두 눈 사이에 양안시차(Binocular Disparity)가 존재하기 때문이다.
종래의 양안시차 기반 3차원 디스플레이 장치에서 증강정보를 제공하는 경우에는, 사용자가 특정 물체에 초점을 맞추는 경우, 초점이 맞지 않는 증강정보에 나타나는 복시의 문제를 해결하지 못하였다. 따라서 증강정보를 정상적으로 인지하지 못하는 문제가 있었다.
도 1은 종래의 양안시차 기반 3차원 디스플레이 장치의 문제점을 예시한 도면이다.
도 1은 사용자에게 가상현실(VR) 디스플레이 화면을 통하여 서로 다른 주시거리를 갖는, 자동차(12) 및 속도계(10)의 시각적 인지 상태를 나타낸다. 여기에서 속도계(10)는 사용자에게 "증강정보"로서 제공된다.
도 1에서 나타낸 바와 같이, 사용자가 전방 풍경의 자동차(12)를 응시하는 경우에는 양안시차로 인하여 왼눈(100)에서는 속도계(103)가 자동차(102)의 우측에 위치하고(101), 오른눈(110)에서는 속도계(113)가 자동차(112)의 좌측에 위치한다(111). 따라서 전방 풍경을 응시하는 운전자는 전방 풍경의 자동차(122)의 좌우에 각각 속도계(123,124)가 나타나, 속도 정보를 잘 알아볼 수 없게 되는 문제가 생긴다.
나아가, 증강정보는 (현실 또는 가상의) 물체 또는 콘텐트로부터 쉽게 구별 가능하여야 한다. 그러나 종래의 양안시차 기반 3차원 디스플레이 기술로는 증강정보를 (현실 또는 가상의) 물체 또는 콘텐트로부터 쉽게 구별할 수 있는 방법이 없었다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 착안된 것으로서, 양안시차 기반 3차원 디스플레이 장치에서 증강정보가 3차원 공간 상에 복시의 문제없이 표시될 수 있는 증강정보 표시 방법을 제공하는 것을 목적으로 한다.
발명의 일 측면에 따르면, 복시를 해소한 양안시차 기반 3차원 디스플레이 장치의 증강정보 표시 방법은, 양안시차를 이용하여 사용자에게 3차원 영상을 제공하기 위하여, 사용자의 두 눈에 각각 보여지는 제1 영상 및 제2 영상을 생성하는 단계; 증강정보를 포함하는 영상을 생성하는 단계; 및 상기 증강정보를 포함하는 영상이 상기 제1 영상을 표시하는 디스플레이 화면과 상기 제2 영상을 표시하는 디스플레이 화면 중 하나에만 표시되는 단계;를 포함한다.
이 때, 상기 증강정보를 포함하는 영상을 생성하는 단계 후에, 상기 제1 영상 및 상기 제2 영상 중 어느 하나에 상기 증강정보를 포함하는 영상이 오버레이되는 단계;를 더 포함할 수 있다.
또한, 상기 증강정보를 포함하는 영상을 생성하는 단계 후에, 상기 증강정보를 포함하는 영상과 함께 표시될 영상을 상기 제1 영상과 상기 제2 영상 중에서 선택하는 단계;를 더 포함할 수 있다.
이 때, 상기 증강정보를 포함하는 영상과 함께 표시될 영상은, 상기 사용자의 우세안측에 보여지는 영상일 수 있다.
나아가, 상기 사용자의 상기 우세안을 결정하는 단계;를 더 포함할 수 있다.
더 나아가, 상기 우세안을 결정하는 단계는, 기준포인트가 디스플레이 화면에 표시되는 단계; 사용자가 기준포인트와 일치하도록 배치한 제1 신체부위의 좌표를 획득하는 단계; 상기 제1 신체부위 및 상기 사용자의 두 눈을 각각 잇는 두 개의 직선을 생성하는 단계; 상기 두 개의 직선 중 실질적으로 상기 제1 신체부위의 좌표를 지나가는 직선과 만나는 눈을 상기 우세안으로 결정하는 단계;를 더 포함할 수 있다.
또한, 상기 제1 신체부위의 좌표와 상기 두 개의 직선 중 어느 한 직선 사이의 거리가 소정의 임계값보다 작다면, 상기 제1 신체부위가 실질적으로 상기 직선과 만나는 것으로 간주할 수 있다.
발명의 다른 측면에 따르면, 복시를 해소한 양안시차 기반 3차원 디스플레이 장치는, 영상에 포함하고자 하는 증강정보를 2D 영상의 형태로 생성하는 증강정보 생성부; 사용자에게 3차원 영상을 제공하기 위한 제1 영상 및 제2 영상을 생성하는 3차원 영상 생성부; 및 증강정보를 상기 제1 영상 및 상기 제2 영상 중 하나와만 오버레이하는 증강정보 오버레이부;를 포함한다.
또한, 사용자의 각 신체부위의 좌표를 획득하는 신체좌표 획득부; 상기 신체좌표 획득부가 획득한 상기 사용자의 두 눈의 좌표 및 상기 사용자의 제1 신체좌표에 기초하여 우세안을 결정하는 우세안 판단부;를 더 포함하고, 상기 증강정보 오버레이부는, 상기 제1 영상 및 상기 제2 영상 중 상기 우세안에 보여지는 쪽의 영상을 상기 증강정보와 함께 표시할 수 있다.
또한, 상기 우세안 판단부는, 기준포인트와 상기 두 눈을 각각 잇는 두 개의 직선을 생성하는 직선생성부; 및 상기 사용자가 상기 기준포인트와 일치하도록 배치한 제1 신체부위와 상기 두 개의 직선 사이의 거리를 측정하는 거리 측정부;를 더 포함할 수 있다.
양안시차 기반 3차원 디스플레이 장치에서, 증강정보가 3차원 공간 상에 복시의 문제없이 표시될 수 있는 효과가 있다.
또한, 양안시차 기반 3차원 디스플레이 장치에서, 사용자가 증강정보가 표시되는 쪽의 눈을 감는 간단한 동작만으로 현실(또는 가상의) 물체 또는 콘텐트로부터 증강정보를 쉽게 구별할 수 있는 효과가 있다.
도 1은 종래의 양안시차 기반 3차원 디스플레이 장치의 문제점을 예시한 도면이다.
도 2는 복시를 해소한 양안시차 기반 3차원 디스플레이 장치에서 증강정보가 표시된 모습을 예시한 도면이다.
도 3은 복시를 해소한 양안시차 기반 3차원 디스플레이 장치의 증강정보 표시 방법의 일례를 나타낸 흐름도이다.
도 4는 복시를 해소한 양안시차 기반 3차원 디스플레이 장치의 증강정보 표시 방법의 다른 예를 나타낸 흐름도이다.
도 5는 우세안을 결정하는 방법의 일례를 나타낸 흐름도이다.
도 6은 복시를 해소한 양안시차 기반 3차원 디스플레이 장치의 증강정보 표시 방법을 이용한 경우 사용자의 시각적 인지 상태를 예시한 도면이다.
도 7은 가상현실(VR) 장치 및 증강현실(AR) 장치에서 우세안을 판단하는 방법을 예시한 도면이다.
도 8은 3D 텔레비전에서 우세안을 판단하는 방법을 예시한 도면이다.
도 9는 복시를 해소한 양안시차 기반 3차원 디스플레이 장치의 일례를 나타낸 블록도이다.
도 10은 복시를 해소한 양안시차 기반 3차원 디스플레이 장치의 다른 예를 나타낸 블록도이다.
도 11은 도 10의 우세안 판단부를 더욱 상세히 나타낸 블록도이다.
이하 도면 및 다양한 실시예를 바탕으로 복시를 해소한 양안시차 기반 3차원 디스플레이 장치의 증강정보 표시 방법을 설명한다.
도 2는 복시를 해소한 양안시차 기반 3차원 디스플레이 장치에서 증강정보가 표시된 모습을 예시한 도면이다.
도 2에서 나타낸 바와 같이, 양안시차 기반 3차원 디스플레이 장치는 왼눈쪽 표시화면(20)과 오른눈쪽 표시화면(21)의 두 화면을 갖는다. 이들 표시화면(20,21)은 미세하게 다른 영상을 표시함으로써, 사용자가 3차원 영상인 것으로 인지하도록 한다.
이러한 양안시차 기반 3차원 디스플레이 장치에서 복시를 해소하기 위하여, 증강정보(200,210)는 왼눈쪽 표시화면(20)과 오른눈쪽 표시화면(21) 중 어느 하나에만 표시된다. 도 2의 실시예에서는 오른눈쪽 표시화면(21)을 통해서 증강정보(200,210)가 표시되는 경우를 예시하였다.
사용자는 두 눈을 통하여 표시화면(20,21)을 각각 받아들인 후, 3차원 영상 내에서 증강정보(200,210)가 각각 단일한 상으로 표시되는 것으로 인지하게 된다.
도 3은 복시를 해소한 양안시차 기반 3차원 디스플레이 장치의 증강정보 표시 방법의 일례를 나타낸 흐름도이다.
도 3에서 나타낸 바와 같이, 복시를 해소한 양안시차 기반 3차원 디스플레이 장치의 증강정보 표시 방법은, 각각 왼눈과 오른눈을 통하여 보여지는 두 개의 3차원 디스플레이용 영상 중에서, 하나의 영상에만 증강정보를 포함시키는 단계를 수행하여 이루어진다(300).
이 단계(300)에서, 3차원 디스플레이용 영상에 증강정보를 포함시키는 구체적인 방법은 이미 알려진 다양한 기법이 널리 적용될 수 있다. 예컨대, 증강정보가 포함된 2차원 영상 레이어를 한쪽의 3차원 디스플레이용 영상의 레이어에 오버레이될 수 있다. 또는, 증강정보가 한쪽의 3차원 디스플레이용 영상의 단일 레이어 내에 합성이 되도록 할 수도 있다.
도 4는 복시를 해소한 양안시차 기반 3차원 디스플레이 장치의 증강정보 표시 방법의 다른 예를 나타낸 흐름도이다.
사람은 한쪽 눈만 사용하는 작업을 할 경우에 일반적으로 두 눈 중 정해진 눈을 사용하는 경향이 있다. 이처럼 주로 사용되는 눈을 우세안(dominant eye)이라고 한다. 다른쪽 눈을 비우세안 또는 열세안이라고 부르기도 한다.
예컨대, 작은 구멍을 들여다 본다든가 사격을 하기 위하여 조준경을 주시할 때 또는 렌즈가 하나인 현미경을 관찰할 때 등 한쪽 눈만으로 작업을 수행할 때 무의식으로 선택되는 눈이 우세안이다.
도 4의 실시예에서는 양안시차 기반 3차원 디스플레이 장치에서 우세안측 디스플레이 화면에 증강정보가 표시되도록 한다.
이를 위하여, 사용자의 우세안을 판단하는 단계(40)가 수행되고, 어느쪽 눈이 우세안인지 결정되면, 두 개의 3차원 디스플레이용 영상중 우세안쪽으로 표시되는 영상에만 증강정보를 포함시키는 단계(41)가 수행된다.
이처럼 우세안측 디스플레이 화면에 증강정보가 표시되도록 하면, 사용자가 증강정보를 더욱 분명하게 인지할 수 있는 효과를 기대할 수 있다.
도 5는 우세안을 결정하는 방법의 일례를 나타낸 흐름도이다.
도 5에서 나타낸 바와 같이, 우세안을 결정하기 위해서 먼저 양안시차 기반 3차원 디스플레이 장치에서 기준포인트가 디스플레이 화면에 표시된다(400).
다음으로, 사용자는 기준포인트를 "제1 신체부위"(예컨대 특정 손가락 끝)를 기준포인트에 일치하도록 가리킨다. 이에 따라, 사용자를 신체부위의 좌표를 획득할 수 있는 장치, 예컨대 사용자를 촬영하고 있는 3차원 카메라를 통하여 제1 신체부위의 좌표가 획득된다(410).
다음으로, 기준포인트와 사용자의 두 눈을 잇는 두 개의 직선이 각각 생성된다(420).
만약 두 직선 중 어느 하나의 직선이 제1 신체부위와 만난다면, 그 직선이 지나가는 쪽의 눈이 우세안이 된다. 실제로는 오차를 고려하여야 하므로, 제1 신체부위의 좌표와 어느 한 직선 간의 거리가 소정의 임계값보다 작다면, 사실상 그 신체부위가 그 직선과 만나는 것으로 간주하게 된다(430).
한편, 제1 신체부위의 좌표와 직선 간의 거리는 다양한 계산방법을 통하여 구할 수 있다. 이 때, 다음과 같이 거리를 구할 수도 있다.
먼저, 제1 신체부위(Q)의 공간 상에서의 좌표를 직교좌표계로 (p, q, r)라고 한다. 또한, 직선 위의 점(P)을 t로 매개화할 때, 점(P)의 좌표는 (a1t+b1, a2t+b2, a3t+b3)로 나타낼 수 있다.
직선의 방향벡터(a1, a2, a3)와 벡터PQ가 직교할 때, 선분 PQ의 길이가 최소가 된다. 이 길이가 바로 제1 신체부위(Q)와 직선 사이의 거리가 된다.
PQ벡터를 (a1t+p', a2t+q', a3t+r')라 하면, 직선의 방향벡터(a1, a2, a3)와 벡터PQ가 직교할 때 수학식 1이 성립한다.
[수학식 1]
Figure pat00001
이를 만족하는 t값에 대해 PQ의 길이를 구하면 수학식 2와 같다.
[수학식 2]
Figure pat00002
도 6은 복시를 해소한 양안시차 기반 3차원 디스플레이 장치의 증강정보 표시 방법을 이용한 경우 사용자의 시각적 인지 상태를 예시한 도면이다.
도 1의 경우와 달리, 복시를 해소한 양안시차 기반 3차원 디스플레이 장치의 증강정보 표시 방법이 적용된 도 6에서는 증강정보로 제공되는 속도계(60)의 상이 하나로 인식된다.
이처럼 복시를 해소하기 위하여, 3차원 디스플레이 장치를 이루는 두 화면(601,611) 중 하나의 화면(601)에만 증강정보(603)가 표시되도록 한다. 도 6의 실시예에서는 왼눈쪽 화면(601)에 증강정보(603)가 표시되는 경우를 나타내었다.
3차원으로 보여지는 대상인 자동차(62)는 각각의 화면(601,611) 내에서 양안시차가 반영되어 미세하게 다른 자동차의 영상(602,612)으로 표시된다.
사용자는, 3차원의 자동차(622)의 옆에 단일한 상으로 표시되는 속도계(624)가 증강정보로서 더 제공되는 것으로 인지하게 된다(620).
도 7은 가상현실(VR) 장치 및 증강현실(AR) 장치에서 우세안을 판단하는 방법을 예시한 도면이다.
가상현실 장치나 증강현실 장치는 두 개의 디스플레이 화면(71,72)을 포함하여 이루어진다. 두 개의 디스플레이 화면(71,72)은 각각 한쪽 눈(76,77)에 보여진다.
우세안을 결정하기 위해서 먼저 양안시차 기반 3차원 디스플레이 장치에서 왼눈쪽 기준포인트(710)가 왼눈쪽 디스플레이 화면(71)에, 오른눈쪽 기준포인트(720)가 오른눈쪽 디스플레이 화면(72)에 각각 표시된다. 사용자는 기준포인트(710,720)를 하나의 3차원 기준포인트(730)로 인지하게 된다.
다음으로, 사용자는 "제1 신체부위"(예컨대 특정 손가락 끝)(75)를 기준포인트(730)에 일치하도록 가리킨다.
이때, 사용자를 신체부위의 좌표를 획득할 수 있는 장치, 예컨대 사용자를 촬영하고 있는 3차원 카메라(70)를 통하여 제1 신체부위의 좌표가 획득된다.
다음으로, 기준포인트(730)와 사용자의 두 눈(76,77)을 잇는 두 개의 직선(73,74)이 각각 생성된다.
만약 두 직선 중 어느 하나의 직선이 제1 신체부위와 만난다면, 그 직선이 지나가는 쪽의 눈이 우세안이 된다.
도 7의 실시예에서는 오른눈(77)과 기준포인트(730)를 잇는 직선(74)이 제1 신체부위(75)와 만나므로, 오른눈(77)이 우세안이 된다.
실제로는 오차를 고려하여야 하므로, 제1 신체부위의 좌표와 어느 한 직선 간의 거리가 소정의 임계값보다 작다면, 사실상 그 신체부위가 그 직선과 만나는 것으로 간주하게 된다.
한편, 3차원 카메라(70)는 기기 외부로부터 사용자의 각 신체부위의 좌표를 제공하는 수단으로서, 사용자의 각 신체부위의 좌표를 수집할 수 있는 것이라면 어떠한 위치에 배치되어도 무방하다. 나아가, 3차원 카메라가 아닌 외부 기기라도 사용자의 각 신체부위의 좌표를 수집하여 제공할 수 있는 것이라면 어떠한 기기로도 대체 가능하다.
예컨대, 3차원 카메라(70)는, 외부에서 사용자의 신체좌표의 위치를 검출하는 3D 카메라(ToF, Structured Light, Stereo, Dual Aperture), Radar, Lidar 등의 장치가 될 수 있다. 또한, 3차원 카메라를 대체하여 사용자의 각 신체의 좌표를 제공하는 외부기기는, 사용자가 착용한 센서로부터 신체의 3차원 좌표를 검출하는 GPS(Global Positioning System), IPS(Indoor Positioning System), RSSI(Received Signal Strength Indication), 자이로 센서, 가속도 센서, 자기장 센서 등이 될 수도 있다.
도 8은 3D 텔레비전에서 우세안을 판단하는 방법을 예시한 도면이다.
3D 텔레비전은 하나의 디스플레이 화면(81)을 포함하여 이루어진다. 다만, 3D 텔레비전의 특성 상 왼눈(86)에 보여지는 영상과 오른눈(87)에 보여지는 영상은 미세하게 차이가 생긴다.
우세안을 결정하기 위해서 먼저 디스플레이 화면(81)에 왼눈쪽 기준포인트(810)와 오른눈쪽 기준포인트(820)가 표시된다. 사용자는 3D 텔레비전의 특성상 왼눈쪽 기준포인트(810)는 왼눈으로만, 오른눈쪽 기준포인트(820)는 오른눈으로만 볼 수 있다. 그 결과, 기준포인트(810,820)를 하나의 3차원 기준포인트(830)로 인지하게 된다.
다음으로, 사용자는 "제1 신체부위"(예컨대 특정 손가락 끝)(85)를 기준포인트(830)에 일치하도록 가리킨다.
이때, 사용자를 신체부위의 좌표를 획득할 수 있는 장치, 예컨대 사용자를 촬영하고 있는 3차원 카메라(80)를 통하여 제1 신체부위의 좌표가 획득된다.
다음으로, 기준포인트(830)와 사용자의 두 눈(86,87)을 잇는 두 개의 직선(83,84)이 각각 생성된다.
만약 두 직선 중 어느 하나의 직선이 제1 신체부위와 만난다면, 그 직선이 지나가는 쪽의 눈이 우세안이 된다.
도 8의 실시예에서는 오른눈(87)과 기준포인트(830)를 잇는 직선(84)이 제1 신체부위(85)와 만나므로, 오른눈(87)이 우세안이 된다.
실제로는 오차를 고려하여야 하므로, 제1 신체부위의 좌표와 어느 한 직선 간의 거리가 소정의 임계값보다 작다면, 사실상 그 신체부위가 그 직선과 만나는 것으로 간주하게 된다.
도 9는 복시를 해소한 양안시차 기반 3차원 디스플레이 장치의 일례를 나타낸 블록도이다.
도 9에서 예시하는 복시를 해소한 양안시차 기반 3차원 디스플레이 장치(90)는, 증강정보 생성부(900), 3차원 영상 생성부(910), 증강정보 오버레이부(920) 및 영상출력부(930)를 포함하여 이루어진다.
증강정보 생성부(900)는 영상에 포함하고자 하는 증강정보를 2D 영상의 형태로 생성한다.
3차원 영상 생성부(910)는 사용자에게 3차원 영상을 제공하기 위한 왼눈쪽 영상 및 오른눈쪽 영상을 각각 생성한다. 이를 위하여, 3차원 영상 생성부(910)는 왼눈쪽 영상을 생성하는 제1 영상 생성부(912)와 오른눈쪽 영상을 생성하는 제2 영상 생성부(914)를 더 포함할 수 있다.
증강정보 오버레이부(920)는 증강정보 생성부(900)에서 생성된 2D 영상의 형태의 증강정보를 왼눈쪽 영상과 오른눈쪽 영상 중 어느 하나에만 포함시킨다. 이를 통하여, 3차원 영상에 증강정보가 더 표시될 수 있게 된다.
영상출력부(930)는 증강정보가 포함된 3차원 영상이 외부 기기, 예컨대 디스플레이 패널에 표시될 수 있도록 하는 입출력 인터페이스이다.
도 10은 복시를 해소한 양안시차 기반 3차원 디스플레이 장치의 다른 예를 나타낸 블록도이다.
앞서 도 4의 실시예에서 설명하였듯이, 증강정보가 사용자의 우세안쪽 화면에 표시되도록 할 수 있다. 도 10은 이를 위한 디스플레이 장치이다.
도 10에서 예시하는 복시를 해소한 양안시차 기반 3차원 디스플레이 장치(1000)는, 증강정보 생성부(1010), 3차원 영상 생성부(1020), 증강정보 오버레이부(1030), 신체좌표 획득부(1040), 우세안 판단부(1050) 및 영상출력부(1060)를 포함하여 이루어진다.
증강정보 생성부(1010)는 영상에 포함하고자 하는 증강정보를 2D 영상의 형태로 생성한다.
3차원 영상 생성부(1020)는 사용자에게 3차원 영상을 제공하기 위한 왼눈쪽 영상 및 오른눈쪽 영상을 각각 생성한다. 이를 위하여, 3차원 영상 생성부(1020)는 왼눈쪽 영상을 생성하는 제1 영상 생성부(1022)와 오른눈쪽 영상을 생성하는 제2 영상 생성부(1024)를 더 포함할 수 있다.
신체좌표 획득부(1040)는 사용자를 촬영하는 3D 카메라 등의 외부 기기로부터 사용자의 각 신체부위의 좌표를 획득한다. 신체좌표 획득부(1040)는 외부에서 사용자의 신체좌표의 위치를 검출하는 3D 카메라(ToF, Structured Light, Stereo, Dual Aperture), Radar, Lidar 등의 장치가 제공하는 사용자의 각 신체부위의 좌표를 획득한다. 또는 사용자가 착용한 센서로부터 신체의 3차원 좌표를 검출할 수 있도록, 외부의 GPS(Global Positioning System), IPS(Indoor Positioning System), RSSI(Received Signal Strength Indication), 자이로 센서, 가속도 센서, 자기장 센서등이 제공하는 사용자의 각 신체부위의 좌표를 획득할 수도 있다.
우세안 판단부(1050)는 신체좌표 획득부(1040)가 획득한 사용자의 두 눈의 좌표, 특정 손가락 끝의 좌표 등을 이용하여, 사용자의 우세안을 결정한다.
증강정보 오버레이부(1030)는 증강정보 생성부(1010)에서 생성된 2D 영상의 형태의 증강정보를 사용자의 우세안쪽에 보여지는 영상에만 포함시킨다. 이를 통하여, 3차원 영상에 증강정보가 더 표시될 수 있게 된다.
영상출력부(1060)는 증강정보가 포함된 3차원 영상이 외부 기기, 예컨대 디스플레이 패널에 표시될 수 있도록 하는 입출력 인터페이스이다.
도 11은 도 10의 우세안 판단부를 더욱 상세히 나타낸 블록도이다.
우세안 판단부는 앞서 도 5 및 이에 관한 설명과 수학식 1 및 수학식 2에서 설명한 내용에 기초하여 사용자의 우세안을 판단한다.
이를 위하여, 직선생성부(1052)는 사용자의 두 눈의 좌표를 이용하여, 기준포인트와 두 눈을 잇는 두 개의 직선을 생성한다.
거리 측정부(1054)는, 두 개의 직선과 제1 신체좌표(즉, 기준포인트를 가리킨 신체부위의 좌표) 사이의 거리를 측정한다.
직선과 제1 신체좌표 사이의 거리가 0이라는 것은 정확하게 제1 신체좌표를 직선이 지나감을 의미한다. 나아가, 0에 충분히 가까운 소정의 임계값보다 계산된 거리가 작은 경우에는, 직선이 제1 신체좌표를 지나가는 것으로 간주할 수 있다.
또한, 기준포인트와 왼눈을 잇는 직선(l1)과 제1 신체좌표의 거리(d1)와, 기준포인트와 오른눈을 잇는 직선(l2)과 제1 신체좌표의 거리(d2)를 비교할 때, 두 거리(d1,d2) 중에서 작은 값을 갖는 쪽의 직선은 언제나 우세안을 지난다.
한편, 복시를 해소한 양안시차 기반 3차원 디스플레이 장치의 증강정보 표시 방법 및 장치에서는 증강정보가 그 밖의 (현실 또는 가상의) 물체 또는 콘텐트로부터 쉽게 구별 가능하다.
발명에 따르면 증강정보는 언제나 한쪽 화면에만 표시된다. 따라서, 양쪽 화면에 모두 표시되는 그 밖의 물체 또는 콘텐트로부터 구별하기 위해서는 단지 증강정보가 표시되는 쪽의 눈만 감는 것으로 충분하다.
이상과 같이 발명의 상세한 내용을 도면 및 다양한 실시예를 통하여 살펴보았다.
그러나, 이와 같은 내용은 발명을 설명하기 위한 예시에 불과한 것이다. 즉, 발명은 도면과 실시예들의 경우만으로 한정되는 것이 아니며, 특허청구범위에 속하는 실시예 및 그 밖의 어떠한 변형 실시예도 발명의 권리범위에 속하는 것은 자명하다.

Claims (10)

  1. 양안시차를 이용하여 사용자에게 3차원 영상을 제공하기 위하여, 사용자의 두 눈에 각각 보여지는 제1 영상 및 제2 영상을 생성하는 단계;
    증강정보를 포함하는 영상을 생성하는 단계; 및
    상기 증강정보를 포함하는 영상이 상기 제1 영상을 표시하는 디스플레이 화면과 상기 제2 영상을 표시하는 디스플레이 화면 중 하나에만 표시되는 단계;를 포함하는, 복시를 해소한 양안시차 기반 3차원 디스플레이 장치의 증강정보 표시 방법.
  2. 제1항에 있어서,
    상기 증강정보를 포함하는 영상을 생성하는 단계 후에,
    상기 제1 영상 및 상기 제2 영상 중 어느 하나에 상기 증강정보를 포함하는 영상이 오버레이되는 단계;를 더 포함하는, 복시를 해소한 양안시차 기반 3차원 디스플레이 장치의 증강정보 표시 방법.
  3. 제1항에 있어서,
    상기 증강정보를 포함하는 영상을 생성하는 단계 후에,
    상기 증강정보를 포함하는 영상과 함께 표시될 영상을 상기 제1 영상과 상기 제2 영상 중에서 선택하는 단계;를 더 포함하는, 복시를 해소한 양안시차 기반 3차원 디스플레이 장치의 증강정보 표시 방법.
  4. 제3항에 있어서,
    상기 증강정보를 포함하는 영상과 함께 표시될 영상은, 상기 사용자의 우세안측에 보여지는 영상인, 복시를 해소한 양안시차 기반 3차원 디스플레이 장치의 증강정보 표시 방법.
  5. 제4항에 있어서,
    상기 사용자의 상기 우세안을 결정하는 단계;를 더 포함하는, 복시를 해소한 양안시차 기반 3차원 디스플레이 장치의 증강정보 표시 방법.
  6. 제5항에 있어서,
    상기 우세안을 결정하는 단계는,
    기준포인트가 디스플레이 화면에 표시되는 단계;
    사용자가 기준포인트와 일치하도록 배치한 제1 신체부위의 좌표를 획득하는 단계;
    상기 제1 신체부위 및 상기 사용자의 두 눈을 각각 잇는 두 개의 직선을 생성하는 단계;
    상기 두 개의 직선 중 실질적으로 상기 제1 신체부위의 좌표를 지나가는 직선과 만나는 눈을 상기 우세안으로 결정하는 단계;를 더 포함하는, 복시를 해소한 양안시차 기반 3차원 디스플레이 장치의 증강정보 표시 방법.
  7. 제6항에 있어서,
    상기 제1 신체부위의 좌표와 상기 두 개의 직선 중 어느 한 직선 사이의 거리가 소정의 임계값보다 작다면, 상기 제1 신체부위가 실질적으로 상기 직선과 만나는 것으로 간주하는, 복시를 해소한 양안시차 기반 3차원 디스플레이 장치의 증강정보 표시 방법.
  8. 영상에 포함하고자 하는 증강정보를 2D 영상의 형태로 생성하는 증강정보 생성부;
    사용자에게 3차원 영상을 제공하기 위한 제1 영상 및 제2 영상을 생성하는 3차원 영상 생성부; 및
    증강정보를 상기 제1 영상 및 상기 제2 영상 중 하나와만 오버레이하는 증강정보 오버레이부;를 포함하는, 복시를 해소한 양안시차 기반 3차원 디스플레이 장치.
  9. 제8항에 있어서,
    사용자의 각 신체부위의 좌표를 획득하는 신체좌표 획득부;
    상기 신체좌표 획득부가 획득한 상기 사용자의 두 눈의 좌표 및 상기 사용자의 제1 신체좌표에 기초하여 우세안을 결정하는 우세안 판단부;를 더 포함하고,
    상기 증강정보 오버레이부는, 상기 제1 영상 및 상기 제2 영상 중 상기 우세안에 보여지는 쪽의 영상을 상기 증강정보와 함께 표시하는, 복시를 해소한 양안시차 기반 3차원 디스플레이 장치.
  10. 제9항에 있어서,
    상기 우세안 판단부는,
    기준포인트와 상기 두 눈을 각각 잇는 두 개의 직선을 생성하는 직선생성부; 및
    상기 사용자가 상기 기준포인트와 일치하도록 배치한 제1 신체부위와 상기 두 개의 직선 사이의 거리를 측정하는 거리 측정부;를 더 포함하는, 복시를 해소한 양안시차 기반 3차원 디스플레이 장치.
KR1020160079414A 2015-06-24 2016-06-24 복시를 해소한 양안시차 기반 3차원 디스플레이 장치의 증강정보 표시 방법 KR20170000808A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20150089929 2015-06-24
KR1020150089929 2015-06-24

Publications (1)

Publication Number Publication Date
KR20170000808A true KR20170000808A (ko) 2017-01-03

Family

ID=57586665

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160079414A KR20170000808A (ko) 2015-06-24 2016-06-24 복시를 해소한 양안시차 기반 3차원 디스플레이 장치의 증강정보 표시 방법

Country Status (2)

Country Link
KR (1) KR20170000808A (ko)
WO (1) WO2016209030A1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020130821A1 (en) * 2001-03-16 2002-09-19 Barry Bronson Method and apparatus for displaying images

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007034628A (ja) * 2005-07-26 2007-02-08 Canon Inc 画像処理方法及び装置
JP4764854B2 (ja) * 2007-05-22 2011-09-07 富士フイルム株式会社 撮像装置、画像再生装置、撮像方法、システム及びプログラム
JP2009033538A (ja) * 2007-07-27 2009-02-12 Sea Phone Co Ltd 立体映像表示装置及び立体映像表示方法
JP2009128565A (ja) * 2007-11-22 2009-06-11 Toshiba Corp 表示装置、表示方法及びヘッドアップディスプレイ
JP6337418B2 (ja) * 2013-03-26 2018-06-06 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020130821A1 (en) * 2001-03-16 2002-09-19 Barry Bronson Method and apparatus for displaying images

Also Published As

Publication number Publication date
WO2016209030A1 (ko) 2016-12-29

Similar Documents

Publication Publication Date Title
US10029700B2 (en) Infotainment system with head-up display for symbol projection
JP4793451B2 (ja) 信号処理装置、画像表示装置、信号処理方法およびコンピュータプログラム
JP6304628B2 (ja) 表示装置および表示方法
US20160307374A1 (en) Method and system for providing information associated with a view of a real environment superimposed with a virtual object
KR970004916A (ko) 입체 cg화상 발생장치와 입체 텔레비젼 장치
JPWO2017183346A1 (ja) 情報処理装置、情報処理方法、及びプログラム
GB2556910A (en) Virtual reality display
EP2402906A2 (en) Apparatus and method for providing 3D augmented reality
US9338426B2 (en) Three-dimensional image processing apparatus, three-dimensional imaging apparatus, and three-dimensional image processing method
KR20160094190A (ko) 시선 추적 장치 및 방법
US20190043245A1 (en) Information processing apparatus, information processing system, information processing method, and program
EP2631696A2 (en) Image generator
JP6820561B2 (ja) 画像処理装置、表示装置、ナビゲーションシステム、画像処理方法及びプログラム
JP2013168063A (ja) 画像処理装置、画像表示システム及び画像処理方法
KR20150121127A (ko) 양안 응시 이미징 방법 및 장치
JP2012223446A (ja) 立体内視鏡装置
US20200388079A1 (en) System to add parallax to video for augmented reality head up display
KR20130059650A (ko) 헤드업 디스플레이의 컨텐츠 초점 제어 장치 및 방법
JP2018500690A (ja) 拡大３ｄ画像を生成するための方法およびシステム
JP2019102936A (ja) 表示装置、電子ミラー、表示装置の制御方法、および表示制御プログラム
CN102799378B (zh) 一种立体碰撞检测物体拾取方法及装置
US20190166358A1 (en) Display device, electronic mirror and method for controlling display device
US20140049540A1 (en) Image Processing Device, Method, Computer Program Product, and Stereoscopic Image Display Device
US20200257360A1 (en) Method for calculating a gaze convergence distance
JP2013062657A (ja) 画像表示システム、画像表示装置、画像表示方法、及び画像表示プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application