KR102564479B1

KR102564479B1 - 사용자의 눈을 위한 3d 렌더링 방법 및 장치

Info

Publication number: KR102564479B1
Application number: KR1020160155756A
Authority: KR
Inventors: 강병민; 남동경
Original assignee: 삼성전자주식회사
Priority date: 2016-11-22
Filing date: 2016-11-22
Publication date: 2023-08-07
Also published as: CN108090942A; JP7097685B2; US20200257361A1; US20180143683A1; EP3324619A3; EP3324619A2; KR20180057294A; CN108090942B; EP3324619B1; JP2018085724A; US11256328B2; US10671158B2

Abstract

사용자의 영상으로부터 검출한 사용자의 양 눈의 위치 좌표를 보정하고, 보정된 위치 좌표를 이용하여 사용자의 양 눈에 대한 3D 렌더링을 수행하는 3D 렌더링 방법 및 장치를 제공할 수 있다.

Description

사용자의 눈을 위한 3D 렌더링 방법 및 장치{METHOD AND APPARATUS OF 3D RENDERING USER' EYES}

아래 실시예들은 렌더링 방법 및 장치에 관한 것으로, 보다 구체적으로 사용자의 눈을 위한 3D 렌더링 방법 및 장치에 관한 것이다.

상용화되고 있는 대부분의 3차원 디스플레이 장치는 사용자의 양 눈에 서로 다른 영상을 재생함으로써 입체감 또는 깊이감을 주는 원리를 사용한다. 이때, 좌측 눈에는 좌측 눈을 위한 좌측 영상이 재생되고, 우측 눈에는 우측 눈을 위한 우측 영상이 재생되는 것이 정상입니다. 하지만, 다양한 이유로 좌측 눈에 대하여 우측 눈을 위한 우측 영상이 들어오고, 우측 눈에 좌측 눈을 위한 좌측 영상이 들어오는 '크로스토크(crosstalk)'가 발생할 수 있다. 크로스토크는 디스플레이 장치의 화질 저하를 발생시킬 수 있다. 일반적으로, 스넬 법칙을 적용하여 3D 렌더링을 수행하는 경우, 디스플레이에서 발생하는 크로스토크를 해결할 수 있으나, 스넬 법칙에 사용되는 복잡한 삼각 함수로 인해 연산량이 많으므로 성능이 낮은 장치에서는 실시간 구현이 용이하지 않다.

일 측에 따르면, 3D 렌더링 방법은 빛의 굴절에 의한 크로스토크(crosstalk)를 감소시키는 가상의 눈의 위치를 향하여 상기 양 눈의 위치 좌표를 보정하는 단계; 및 상기 보정된 위치 좌표를 이용하여 상기 사용자의 양 눈에 대한 3D 렌더링을 수행하는 단계를 포함한다.

상기 양 눈의 위치 좌표를 보정하는 단계는 상기 양 눈의 위치 오차를 허용하는 범위인 양안 거리(Inter Pupil Distance; IPD) 내에서 상기 양 눈의 위치 좌표를 보정하는 단계를 포함할 수 있다.

상기 양 눈의 위치 좌표를 보정하는 단계는 상기 양 눈의 위치 좌표에 대응하는 한 프레임의 일부 픽셀들인 제1 픽셀들에 대하여 스넬 법칙(Snell's refraction law)을 적용하는 단계; 및 상기 제1 픽셀들에 스넬 법칙을 적용한 결과에 기초하여, 상기 양 눈의 위치 좌표를 보정하는 단계를 포함할 수 있다.

상기 제1 픽셀들에 스넬 법칙을 적용한 결과에 기초하여, 상기 양 눈의 위치 좌표를 보정하는 단계는 상기 제1 픽셀들에 대하여 스넬 법칙을 적용한 제1 결과값을 산출하는 단계; 상기 제1 픽셀들에 대하여 근축 근사(paraxial approximation)를 적용한 제2 결과값을 산출하는 단계; 및 상기 제1 결과값 및 상기 제2 결과값 간의 차이에 기초한 평가 함수를 이용하여 상기 양 눈의 위치 좌표를 보정하는 단계를 포함할 수 있다.

상기 평가 함수를 이용하여 상기 양 눈의 위치 좌표를 보정하는 단계는 상기 평가 함수를 최소화시키는 가상의 양 눈의 위치를 산출하는 단계; 및 상기 가상의 양 눈의 위치에 의해 상기 양 눈의 위치 좌표를 보정하는 단계를 포함할 수 있다.

상기 제1 픽셀들은 3D 디스플레이의 측면에 위치하는 픽셀들을 포함할 수 있다.

상기 양 눈의 위치 좌표를 보정하는 단계는 상기 사용자의 양 눈의 위치 좌표 중 X 좌표를 보정하는 미리 정의된 제1 보정 함수, 상기 사용자의 양 눈의 위치 좌표 중 Z 좌표를 보정하는 미리 정의된 제2 보정 함수, 및 상기 사용자의 양 눈의 위치 좌표에 대응하는 보정된 위치 좌표를 미리 저장하는 룩-업 테이블(look-up table) 중 적어도 하나를 이용하여 상기 사용자의 양 눈의 위치 좌표를 보정하는 단계를 포함할 수 있다.

상기 제1 보정 함수는 상기 양 눈의 위치 좌표 중 Z 좌표에 따라 변화하는 제1 파라미터 및 3D 디스플레이의 화면 중심과 이미지 센서 간의 거리에 기초한 제2 파라미터에 기초하여 상기 X 좌표를 보정할 수 있다.

상기 제1 파라미터는 1보다 작거나 같은 값을 가지고, 상기 양 눈의 위치가 상기 3D 디스플레이의 화면으로부터 가까워질수록 작아지고, 상기 양 눈의 위치가 상기 3D 디스플레이의 화면으로부터 멀어질수록 커질 수 있다.

상기 제2 보정 함수는 상기 양 눈의 위치 좌표 중 X 좌표에 따라 변화하는 제3 파라미터 및 상기 X 좌표에 따라 변화하는 제4 파라미터에 기초하여 상기 Z 좌표를 보정할 수 있다.

상기 제3 파라미터는 상기 양 눈의 위치가 3D 디스플레이의 화면의 측면으로 갈수록 작아지고, 상기 양 눈의 위치가 상기 3D 디스플레이의 화면의 중심으로 갈수록 커지며, 상기 양 눈의 위치가 상기 3D 디스플레이의 화면의 중심으로 갈수록 1에 근접하는 값을 가질 수 있다.

상기 제4 파라미터는 상기 양 눈의 위치가 3D 디스플레이의 화면의 측면으로 갈수록 커지고, 상기 양 눈의 위치가 상기 3D 디스플레이의 화면의 중심으로 갈수록 작아지며, 상기 양 눈의 위치가 상기 3D 디스플레이의 화면의 중심으로 갈수록 0에 근접하는 값을 가질 수 있다.

상기 사용자의 양 눈의 위치 좌표를 검출하는 단계는 모바일 장치의 이미지 센서를 이용하여 상기 사용자의 얼굴 영상을 획득하는 단계; 및 상기 사용자의 얼굴 영상의 시점을 추적하여 상기 이미지 센서를 기준으로 하는 상기 사용자의 양 눈의 위치 좌표를 검출하는 단계를 포함할 수 있다.

일 측에 따르면, 3D 렌더링 장치는 사용자의 영상으로부터 사용자의 양 눈의 위치 좌표를 검출하는 이미지 센서; 및 빛의 굴절에 의한 크로스토크(crosstalk)를 감소시키는 가상의 눈의 위치를 향하여 상기 양 눈의 위치 좌표를 보정하고, 상기 보정된 위치 좌표를 이용하여 상기 사용자의 양 눈에 대한 3D 렌더링을 수행하는 프로세서를 포함한다.

상기 프로세서는 상기 양 눈의 위치 오차를 허용하는 범위인 양안 거리 내에서 상기 양 눈의 위치 좌표를 변경할 수 있다.

상기 프로세서는 상기 검출된 양 눈의 위치 좌표에 대응하는 한 프레임의 일부 픽셀들인 제1 픽셀들에 대하여 스넬 법칙을 적용하고, 상기 제1 픽셀들에 스넬 법칙을 적용한 결과에 기초하여, 상기 양 눈의 위치 좌표를 보정할 수 있다.

상기 프로세서는 상기 제1 픽셀들에 대하여 상기 스넬 법칙을 적용한 제1 결과값을 산출하고, 상기 제1 픽셀들에 대하여 근축 근사를 적용한 제2 결과값을 산출하며, 상기 제1 결과값 및 상기 제2 결과값 간의 차이에 기초한 평가 함수를 이용하여 상기 양 눈의 위치 좌표를 보정할 수 있다.

상기 프로세서는 상기 평가 함수를 최소화시키는 가상의 양 눈의 위치를 산출하고, 상기 가상의 양 눈의 위치에 의해 상기 양 눈의 위치 좌표를 보정할 수 있다.

상기 프로세서는 상기 사용자의 양 눈의 위치 좌표 중 X 좌표를 보정하는 미리 정의된 제1 보정 함수, 상기 사용자의 양 눈의 위치 좌표 중 Z 좌표를 보정하는 미리 정의된 제2 보정 함수 및 상기 사용자의 양 눈의 위치 좌표에 대응하는 보정된 위치 좌표를 미리 저장하는 룩-업 테이블 중 적어도 하나를 이용하여 상기 사용자의 양 눈의 위치 좌표를 보정할 수 있다.

상기 제1 파라미터는 1보다 작거나 같은 값을 가지고, 상기 양 눈의 위치가 상기 화면으로부터 가까워질수록 작아지고, 상기 양 눈의 위치가 상기 화면으로부터 멀어질수록 커질 수 있다.

상기 제3 파라미터는 상기 양 눈의 위치가 3D 디스플레이의 화면의 측면으로 갈수록 작아지고, 상기 양 눈의 위치가 상기 3D 디스플레이의화면의 중심으로 갈수록 커지며, 상기 양 눈의 위치가 상기 3D 디스플레이의화면의 중심으로 갈수록 1에 근접하는 값을 가질 수 있다.

상기 이미지 센서는 상기 사용자의 얼굴 영상을 획득하고, 상기 프로세서는 상기 사용자의 얼굴 영상의 시점을 추적하여 상기 이미지 센서를 기준으로 하는 상기 사용자의 양 눈의 위치 좌표를 검출할 수 있다.

상기 3D 렌더링 장치는 모바일 장치를 포함할 수 있다.

도 1은 일 실시예에 따른 3D 렌더링 장치의 동작을 설명하기 위한 도면.
도 2는 3D 렌더링 장치의 화면 측면에서 바라보이는 영상 및 일 실시예에 따라 눈의 위치 좌표를 보정한 영상을 나타낸 도면.
도 3은 일 실시예에 따른 눈의 위치 좌표의 보정 전후의 왼쪽 눈에 대응되는 영상에 대한 광선의 변화를 도시한 도면.
도 4는 일 실시예에 따른 3D 렌더링 방법을 나타낸 흐름도.
도 5는 일 실시예에 따라 양 눈의 위치 좌표를 보정하는 방법을 나타낸 흐름도.
도 6은 일 실시예에 따른 3D 렌더링 장치의 3D 디스플레이의 구조를 도시한 도면.
도 7 내지 도 8은 일 실시예에 따른 수학적 모델(Mathematical Model)에 의해 사용자의 양 눈의 위치 좌표를 보정하는 방법을 설명하기 위한 도면.
도 9 내지 도 11은 일 실시예에 따른 경험적 방법(Heuristic Method)에 의해 사용자의 양 눈의 위치 좌표를 보정하는 방법을 설명하기 위한 도면.
도 12는 일 실시예에 따라 사용자의 양 눈의 위치 좌표를 산출하는 방법을 나타낸 흐름도.
도 13 내지 도 14는 실시예들에 따른 3D 렌더링 장치의 블록도.

이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다. 하기에서 설명될 실시예들은 라이트 필드 디스플레이 기법을 위한 렌더링에 사용될 수 있다. 라이트 필드 기법은 3차원 영상을 표현하는 기법으로, 예를 들어 3D 텔레비전, 3D 모니터, 3D 디지털 정보 디스플레이(Digital Information Display, DID), 및 3D 모바일 기기 등에 적용될 수 있다.

도 1은 일 실시예에 따른 3D 렌더링 장치의 동작을 설명하기 위한 도면이다. 도 1을 참조하면, 3D 렌더링 장치(100)의 구성이 도시된다.

3D 렌더링 장치(100)는 일정한 공간에 존재하는 점들에서 여러 방향으로 출력되는 광선을 그대로 표현할 수 있다. 3D 렌더링 장치(100)는 실제 물체가 한 점에서 여러 방향으로 광선을 생성하거나 반사하는 원리를 이용한다. '렌더링'은 3차원 공간 상에 라이트 필드(light field)를 생성하기 위하여 패널(101)에 표시될 영상을 생성하는 동작 또는 3D 광학 장치와 눈 위치에 맞게 입력 영상을 재구성하는 동작일 수 있다. 예를 들어, '렌더링'은 3차원 공간 상에 라이트 필드를 생성하기 위하여 패널(101)에 포함된 픽셀 또는 서브 픽셀의 값을 결정하는 동작일 수 있다. 3D 렌더링 장치(100)는 라이트 필드 렌더링 장치일 수 있다.

광학 레이어(103)는 렌티큘러 렌즈(Lenticular Lens), 패럴랙스 배리어(Parallex Barrier), 렌즈 어레이 및 마이크로 렌즈 어레이 등 광학 필터를 포함할 수 있다. 또한, 광학 레이어(103)는 방향성 백 라이트 유닛(directional back light unit)을 포함할 수 있다. 실시예들에서 광학 레이어(103)는 전술한 광학 필터에 한정되지 않고, 3D 디스플레이의 전면 또는 후면에 배치될 수 있는 모든 형태의 광학 레이어들을 포함할 수 있다.

패널(101)에 포함된 서브 픽셀로부터 출력되는 광선 방향은 광학 레이어(103)를 통하여 결정될 수 있다. 서브 픽셀들 각각으로부터 출력되는 광선은 광학 레이어(103)를 통과하면서 특정 방향으로 방사될 수 있다. 이러한 과정을 통해 3D 렌더링 장치(100)는 입체 영상 또는 다시점 영상을 표현할 수 있다. 3D 렌더링 장치(100)의 광학적 특성은 패널(101)에 포함된 서브 픽셀의 광선 방향과 관련된 특성을 포함할 수 있다.

광학 레이어(103)는 복수의 광학 원소들(104, 105)을 포함할 수 있다. 각각의 광학 원소들은 3D 화소라고 지칭될 수 있다. 하나의 3D 화소는 여러 방향으로 다른 정보를 포함하는 광선을 출력할 수 있다. 예를 들어, 광학 레이어(103)에 포함된 하나의 3D 화소에서 15 X 4 방향의 광선들(110)이 출력될 수 있다. 라이트 필드 렌더링 장치(100)는 복수의 3D 화소들을 이용하여 3차원 공간상의 점들이 표현할 수 있다.

이 때, 패널(101)의 서브 픽셀 구조에 따라 패널(101) 내 서브 픽셀들의 위치 및/또는 크기가 달라지므로, 패널(101)의 서브 픽셀 구조에 따라 패널(101) 내 각 서브 픽셀들로부터 출력되는 광선 방향이 달라질 수 있다.

도 2는 3D 렌더링 장치의 화면 측면에서 바라보이는 영상 및 일 실시예에 따라 눈의 위치 좌표를 보정한 영상을 나타낸 도면이다. 도 2(a)를 참조하면, 3D 렌더링 장치의 화면 측면에서 크로스토크(crosstalk)가 발생하는 경우의 눈의 위치 및 영상이 도시된다. 이하에서 안구 형태의 기호 는 실제 눈의 위치를 나타내고, 동그라미 안에 x마크가 표시된 기호 는 빛의 굴절에 의한 크로스토크를 감소시키는 가상의 눈의 위치를 향하여 보정된 눈의 위치를 나타낸다.

사용자(또는 시청자)가 화면 정면에서 시청할 경우 측면의 광선은 큰 굴절을 갖게 된다. 이 경우, 광 굴절 특성을 고려하여 스넬 법칙을 적용하여 렌더링을 수행하거나, 근축 가정에 의한 렌더링을 수행할 수 있다. 근축 가정에 의한 렌더링은 연산량이 적기 때문에 연산량이 많은 스넬 법칙 기반 렌더링에 비해 전력 소모를 줄일 수 있다.

근축 가정에 의한 렌더링의 경우, 예를 들어, 40 인치 이상의 대화면 정면에서 시청 시 화면의 측면에서 광선의 굴절이 커서 크로스토크가 발생한다. 반면, 모바일 장치와 같이 10인치 이하의 작은 화면에서는 근축 가정에 의한 렌더링을 적용하여도 크로스토크가 발생하지 않는다. 이는 화면이 작아서 측면에서 발생하는 광선의 굴절이 작기 때문이다.

여기서, 크로스토크는 전술한 바와 같이 정해진 눈에 정해진 영상이 아닌 다른 영상이 들어온 것을 의미한다. 예를 들어 3D 디스플레이에서 왼쪽 눈에 왼쪽 영상(예를 들어, 세로줄 무늬)만 보여져야 하나, 그림2(a)와 같이 3D 디스플레이 특정 위치(측면)에서 왼쪽 눈에 오른쪽 영상(예를 들어, 가로줄무늬)이 들어오게 되면 크로스토크가 발생하였다고 한다. 이하에서, '왼쪽 영상'은 크로스토크가 발생하지 않는 정상적인 경우에 왼쪽 눈에 보여져야 하는 영상을, '오른쪽 영상'은 크로스토크가 발생하지 않는 정상적인 경우에 오른쪽 눈에 보여져야 하는 영상을 의미하는 것으로 이해될 수 있다.

다만, 모바일 장치라고 하더라도 예를 들어 사용자가 태블릿(Tablet)을 손에 들고 비스듬히 시청하는 경우와 같이 화면 중앙이 아닌 측면에서 시청할 경우, 도 2(a)에 도시된 것과 같이 작은 화면의 한쪽 측면에 크로스토크가 발생할 수 있다.

도 2(a)에서 작은 화면의 한쪽 측면에서 시청 시 화면 반대쪽 측면 광선의 굴절이 커지기 때문에 크로스토크가 발생할 수 있다. 대화면 시청 시 발생하는 크로스토크와 작은 화면 시청 시 발생하는 크로스토크 간의 차이점은 작은 화면의 경우, 디스플레이의 한쪽 측면에서만 크로스토크가 발생한다는 것이다.

도 2(b)를 참조하면, 일 실시예에 따른 3D 렌더링 장치의 화면 측면에서 발생하는 크로스토크 제거를 위해 눈의 위치 좌표를 보정한 경우를 도시한 도면이다.

일반적으로 3D 디스플레이는 검출된 눈의 위치 좌표의 오차가 어느 정도 허용되도록 설계 및 렌더링을 수행한다. 일 실시예에서는 이와 같이 오차가 어느 정도 허용되는 범위 안에서 눈의 위치 좌표를 변경할 수 있다. 오차가 어느 정도 허용되는 범위는 예를 들어, 양안 거리(Inter Pupil Distance; IPD) 일 수 있다.

도 2(b)에서, 화면 중앙 부분의 광선은 굴절률이 작기 때문에 왼쪽 눈에 왼쪽 영상이 들어오게 된다. 하지만, 화면 측면 부분의 광선은 굴절률이 크기 때문에 왼쪽 눈에 오른 쪽 영상이 들어오게 된다. 이로 인하여 화면 한쪽 가장자리에 크로스토크가 발생할 수 있다.

도 2(b)에서 화면 중앙 부분의 왼쪽 영상에 해당하는 광선은 도 2(a)에 비해 약간 오른쪽으로 회전된다. 하지만 도 2(b)에서 화면 측면 부분의 왼쪽 영상에 해당하는 광선은 도 2(a)에 비해 비해 크게 오른쪽으로 회전됨을 확인 할 수 있다.

일 실시예에서는 화면 측면 시청 시에 검출된 실제 눈의 위치 좌표를 보정된 눈 좌표 변경함으로써 크로스토크가 제거되어 화면 중앙 부분과 측면 부분의 광선이 변경된 양 눈의 좌표에 맞게 출력되도록 할 수 있다.

도 3은 일 실시예에 따른 눈의 위치 좌표의 보정 전후의 왼쪽 눈에 대응되는 영상에 대한 광선의 변화를 도시한 도면이다. 도 3(a)를 참조하면, 화면 중앙 부분의 왼쪽 영상에 해당하는 광선이 도시되고, 도 3(b)를 참조하면, 화면 측면 부분의 왼쪽 영상에 해당하는 광선이 도시된다.

도 3에서 실선은 눈의 위치 좌표를 변경하기 전에 눈에 들어오는 광선을 나타내고, 점선은 눈의 위치 좌표를 변경한 후에 눈에 들어오는 광선을 나타낸다. 눈 위치의 오차 허용 범위(예를 들어, 양안 거리(IPD)) 안에서 눈의 위치 좌표를 변경하는 경우, 화면 중앙과 화면 측면에서 동시에 왼쪽 영상의 광선들만 보이게 되는 구간이 발생하게 된다. 일 실시예에서는 이와 같이 화면 중앙과 화면 측면에서 동시에 왼쪽 영상의 광선들만 보이게 되는 구간에 왼쪽 눈을 위치시킴으로써 화면의 측면에 크로스토크가 발생하지 않도록 할 수 있다.

눈의 위치 좌표는 예를 들어, 눈의 위치 추적을 수행하는 카메라 또는 이미지 센서를 기준으로 하는 눈 위치에 따라 변경되는 값(위치 좌표 값)을 다르게 적용하여 결정할 수 있다.

도 4는 일 실시예에 따른 3D 렌더링 방법을 나타낸 흐름도이다. 도 4를 참조하면, 일 실시예에 따른 3D 렌더링 장치는 단계(410)에서 사용자의 영상으로부터 사용자의 양 눈의 위치 좌표를 검출한다.

3D 렌더링 장치는 3D 디스플레이를 통해서 사용자의 왼쪽 눈에 왼쪽 영상을 출력하고, 오른쪽 눈에 오른 쪽 영상을 출력하도록 입력 영상을 재구성할 수 있다. 이를 위해서 3D 렌더링 장치는 시점 추적에 기반하여 3D 디스플레이로부터 사용자의 눈이 어디에 있는지를 확인할 수 있다. 3D 렌더링 장치는 예를 들어, 3D 디스플레이의 상단에 배치된 카메라를 이용하여 사용자의 얼굴 영상을 취득하여 카메라를 기준으로 하는 눈의 위치 좌표를 검출할 수 있다.

또는 3D 렌더링 장치가 모바일 장치로 구성되는 경우, 3D 렌더링 장치는 모바일 장치의 이미지 센서를 이용하여 사용자의 얼굴 영상을 획득하고, 사용자의 얼굴 영상의 시점을 추적하여 이미지 센서를 기준으로 하는 사용자의 양 눈의 위치 좌표를 검출할 수 있다. 3D 렌더링 장치가 사용자의 양 눈의 위치 좌표를 검출하는 방법의 일 예는 도 12를 참조하여 설명한다.

단계(420)에서 3D 렌더링 장치는 양 눈의 위치 좌표를 보정한다. 3D 렌더링 장치는 예를 들어, 양 눈의 위치 오차를 허용하는 범위인 양안 거리(Inter Pupil Distance; IPD) 내에서 양 눈의 위치 좌표를 보정할 수 있다. 3D 렌더링 장치는 예를 들어, 수학적 모델(Mathematical Model)에 의해 양 눈의 위치 좌표를 보정하거나 또는 경험적 방법(Heuristic Method)에 의해 양 눈의 위치 좌표를 보정할 수 있다. 3D 렌더링 장치는 수학적 모델 또는 경험적 방법에 의해 크로스토크가 나타나지 않도록 사용자의 양 눈의 위치 좌표를 변경하여 보정할 수 있다.

3D 렌더링 장치가 수학적 모델을 이용하여 양 눈의 위치 좌표를 보정하는 방법은 도 5 내지 도 8을 참조하여 설명하고, 3D 렌더링 장치가 경험적 방법에 의해 양 눈의 위치 좌표를 보정하는 방법은 도 9 내지 도 11을 참조하여 설명한다.

3D 렌더링 장치는 예를 들어, 미리 정의된 보정 함수 또는 미리 정의된 룩-업 테이블 등을 이용하는 경험적 방법에 따라 사용자의 양 눈의 위치 좌표를 보정할 수 있다. 보정 함수는 사용자의 양 눈의 위치 좌표 중 X 좌표를 보정하는 미리 정의된 제1 보정 함수, 사용자의 양 눈의 위치 좌표 중 Z 좌표를 보정하는 미리 정의된 제2 보정 함수 및 사용자의 양 눈의 위치 좌표 중 X 좌표 및 Z 좌표를 보정하는 미리 정의된 제3 보정 함수 등을 포함할 수 있다. 3D 렌더링 장치가 제1 보정 함수에 의해 양 눈의 위치 좌표를 보정하는 방법은 도 9를 참조하고, 제2 보정 함수에 의해 양 눈의 위치 좌표를 보정하는 방법은 도 10을 참조하며, 제3 보정 함수에 의해 양 눈의 위치 좌표를 보정하는 방법은 도 11을 참조하여 설명한다.

룩-업 테이블(look-up table)은 사용자의 양 눈의 위치 좌표에 대응하는 보정된 위치 좌표를 미리 저장할 수 있다. 이때, 사용자의 양 눈의 위치 좌표에 대응하는 보정된 위치 좌표는 예를 들어, 수학적 모델에 의해 산출된 위치 좌표일 수 있다.

단계(430)에서 3D 렌더링 장치는 단계(420)에서 보정된 위치 좌표를 이용하여 사용자의 양 눈에 대한 3D 렌더링을 수행한다. 3D 렌더링은 연산량을 줄이기 위해 예를 들어, 근축 근사(paraxial approximation)에 의해 수행될 수 있다.

도 5는 일 실시예에 따라 양 눈의 위치 좌표를 보정하는 방법을 나타낸 흐름도이다. 도 5를 참조하면, 일 실시예에 따른 3D 렌더링 장치는 양 눈의 위치 좌표에 대응하는 한 프레임의 일부 픽셀들인 제1 픽셀들에 대하여 스넬 법칙(Snell's refraction law)을 적용한 제1 결과값을 산출할 수 있다(510). 제1 픽셀들은 3D 디스플레이의 측면에 위치하는 픽셀들을 포함할 수 있다.

3D 렌더링 장치는 제1 픽셀들에 대하여 근축 근사(paraxial approximation)를 적용한 제2 결과값을 산출할 수 있다(520). 근축 근사는 스넬의 법칙에 쓰이는 사인(sin) 값을 예를 들어, 테일러 공식을 통해 일차식 등으로 근사한 것으로 이해될 수 있다. 근축 근사를 적용하는 경우, 근사값은 광축에 가깝고 평행하게 입사하는 광선만이 남게 된다. 3D 렌더링 장치가 제1 결과값 및 제2 결과값을 산출하는 방법은 도 7을 참조하여 설명한다.

3D 렌더링 장치는 제1 결과값 및 제2 결과값 간의 차이에 기초한 평가 함수를 이용하여 양 눈의 위치 좌표를 보정할 수 있다.

3D 렌더링 장치는 제1 결과값 및 제2 결과값 간의 차이에 기초한 평가 함수를 최소화시키는 가상의 양 눈의 위치를 산출할 수 있다(530).

3D 렌더링 장치는 단계(530)에서 산출된 가상의 양 눈의 위치에 의해 양 눈의 위치 좌표를 보정할 수 있다(540). 3D 렌더링 장치가 평가 함수를 이용하여 양 눈의 위치 좌표를 보정하는 방법은 도 8을 참조하여 설명한다.

도 6은 일 실시예에 따른 3D 렌더링 장치의 3D 디스플레이의 구조를 도시한 도면이다. 도 6을 참조하면, 3D 디스플레이(600)의 어느 한 픽셀(630)을 통과하는 광선들(① 및 ②)이 도시된다. 3D 디스플레이(600)는 무안경 3D 디스플레이일 수 있다.

3D 디스플레이(600)는 배리어 플레인(Barrier plane)(601), 픽셀 플레인(Pixels plane)(603) 및 서피스 플레인(Surface plane)(605)을 포함할 수 있다.

배리어 플레인(601)은 픽셀들로부터 출력되는 광선이 통과하는 전술한 광학 레이어(optical layer)에 해당하며, 예를 들어, 렌티큘러 렌즈(Lenticular Lens), 패럴랙스 배리어(Parallex Barrier), 렌즈 어레이 및 마이크로 렌즈 어레이 등 광학 필터를 포함할 수 있다. 또한, 배리어 플레인(601)은 방향성 백 라이트 유닛(directional back light unit)을 포함할 수 있다. 배리어 플레인(601)은 전술한 광학 필터 이외에도 3D 디스플레이(600)의 전면 또는 후면에 배치될 수 있는 모든 형태의 광학 레이어들을 포함할 수 있다.

픽셀 플레인(603)은 픽셀들을 포함하는 패널에 해당한다. 픽셀 플레인(603)에 포함된 픽셀(들)로부터 출력되는 광선 방향은 배리어 플레인(601)에 의해 결정될 수 있다. 픽셀들 각각으로부터 출력되는 광선은 특정 방향으로 방사되어 입체 영상 또는 다시점 영상을 표현할 수 있다. 3D 렌더링 장치의 광학적 특성은 픽셀의 광선 방향과 관련된 특성을 포함할 수 있다.

3D 렌더링 장치는 배리어 플레인(601)에 포함된 어느 하나의 픽셀의 광선 방향과 대응되는 픽셀 플레인(603)의 픽셀(630)을 통과하는 광선(예를 들어, 광선 ①)의 방향이 속한 시점 영역에 대응되는 콘텐츠를 사용자들의 양 눈 중 어느 한 눈에 대응되도록 결정할 수 있다. 사용자의 어느 한 눈(예를 들어, 오른쪽 눈)의 위치는 로 표현될 수 있다.

3D 디스플레이(600)는 카메라(또는 이미지 센서)(610)를 포함할 수 있다. 카메라(610)는 3D 디스플레이(600)의 상단 또는 일 측에 위치할 수 있다. 카메라(610)의 위치는 와 같이 표현될 수 있다. 3D 디스플레이(600)의 픽셀 플레인(603)에 포함된 픽셀들의 위치는 로 표현될 수 있다.

3D 디스플레이(600)에서 발생된 광선(①)은 스넬 법칙에 따라 실제 눈의 위치 로 대응된다. 이때, 스넬 법칙에 따르는 실제 광선(①)과 근축 근사에 의해 보정된 광선(②) 사이에는 오차가 발생하고, 이러한 오차는 3D 디스플레이(600)의 영상 화질을 저하시키는 크로스토크를 발생시킬 수 있다.

스넬 법칙에 따르는 실제 광선(①)과 근축 근사에 의해 보정된 광선(②) 사이에 발생하는 오차를 산출하는 방법은 도 7을 참조하여 설명한다.

도 7 내지 도 8은 일 실시예에 따른 수학적 모델(Mathematical Model)에 의해 사용자의 양 눈의 위치 좌표를 보정하는 방법을 설명하기 위한 도면이다.

도 7을 참조하면, 3D 렌더링 장치가 제1 픽셀들에 대하여 스넬 법칙(Snell's refraction law)을 적용한 제1 결과값 및 제1 픽셀들에 대하여 근축 근사(paraxial approximation)를 적용한 제2 결과값을 산출하는 방법이 도시된다.

스넬 법칙은 빛(광선)이 광학적 성질이 다른 투명한 두 물질 사이의 경계를 지날 때, 굴절되는 방향을 결정할 수 있다.

배리어 플레인(l)(601)의 위치 에서 출력된 광선이 픽셀 플레인(p)(603)의 및 서피스 플레인(s)(605)의 을 거쳐 출력된다고 하자. 또한, 입사 각도 로 입사된 광선이 매질 을 거쳐 매질 (공기)로 통과한 경우, 스넬 법칙에 따른 광선의 굴절 각도를 , 근축 근사에 따른 광선의 굴절 각도를 라고 하자.

배리어 플레인(601)과 픽셀 플레인(603) 간의 거리는 g, 배리어 플레인(601)과 서피스 플레인(605) 간의 거리는 t 일 수 있다. 또한, 픽셀(630)에서 출력된 광선에 대하여 스넬 법칙을 적용한 결과값에 해당하는 눈의 위치는 (650)가 되고, 근축 근사를 적용한 결과값에 해당하는 눈의 위치는 (655)가 될 수 있다.

이때, 광선의 입사 각도 는 아래의 [수학식 1]과 같이 나타낼 수 있다.

또한, 스넬 법칙에 따른 광선의 굴절 각도 는 아래의 [수학식 2]를 통해 구할 수 있고, 근축 근사에 따른 광선의 굴절 각도를 는 아래의 [수학식 3]을 통해 구할 수 있다.

일 실시예에 따른 3D 렌더링 장치는 모든 픽셀에 대해 스넬 법칙을 적용하여 계산하는 대신, 한 프레임을 구성하는 대부분의 픽셀들에 대하여는 근축 근사에 의해 계산 속도를 고속화하고, 근축 근사에 의한 오차는 한 프레임의 일부 픽셀들에 대한 스넬 법칙의 계산 결과를 이용하여 보정할 수 있다.

도 8을 참조하면, 3D 렌더링 장치가 스넬 법칙을 적용한 경우의 눈의 위치 및 근축 근사를 적용한 경우의 눈의 위치 에 의해 양 눈의 위치 좌표를 보정하는 방법이 도시된다.

3D 디스플레이의 표면, 다시 말해, 서피스 플레인(s)(605)의 위치 을 통과한 광선에 대하여 스넬 법칙을 적용한 경우의 눈의 위치가 이고, 근축 근사를 적용한 경우의 눈의 위치가 이며, 실제 눈의 위치는 라고 하자.

예를 들어, 실제 눈의 위치 로부터 스넬 법칙을 적용한 경우의 눈의 위치 까지의 거리를 , 실제 눈의 위치 로부터 근축 근사를 적용한 경우의 눈의 위치 까지의 거리를 라고 하면, 각 픽셀에 대한 Snell-to-Paraxial 간의 거리 차이(Distance Difference)(Diff)는 아래의 [수학식 4]와 같이 구할 수 있다.

이때, 3D 렌더링 장치는 [수학식 4]를 통해 구한 거리 차이(Distance Difference)(Diff)에 기초한 평가 함수를 이용하여 양 눈의 위치 좌표를 보정할 수 있다.

평가 함수는 예를 들어, 아래의 [수학식 5]와 같이 표현될 수 있다.

3D 렌더링 장치는 한 프레임의 모든 픽셀들에 대하여 [수학식 5]의 평가 함수를 최소화시키는 가상의 양 눈의 위치를 산출하고, 가상의 양 눈의 위치에 의해 양 눈의 위치 좌표를 보정할 수 있다.

[수학식 5]의 평가 함수는 한 프레임의 측면에 위치하는 일부 픽셀에 대하여 적용하는 경우, 아래의 [수학식 6]과 같이 간략화될 수 있다.

도 9 내지 도 11은 일 실시예에 따른 경험적 방법(Heuristic Method)에 의해 사용자의 양 눈의 위치 좌표를 보정하는 방법을 설명하기 위한 도면이다. 일 실시예에 따른 3D 렌더링 장치는 미리 정의된 제1 보정 함수, 미리 정의된 제2 보정 함수 및 사용자의 양 눈의 위치 좌표에 대응하는 보정된 위치 좌표를 미리 저장하는 룩-업 테이블(look-up table) 중 적어도 하나를 이용하는 경험적 방법에 의해 사용자의 양 눈의 위치 좌표를 보정할 수 있다.

도 9를 참조하면, 미리 정의된 제1 보정 함수

를 이용하여 사용자의 양 눈의 위치 좌표 중 X 좌표의 값을 보정한 결과가 도시된다.

제1 보정 함수의 각 파라미터에 대한 설명에 앞서, 눈의 위치 좌표계는 카메라(또는 이미지 센서)를 원점으로 적용되고, 눈의 위치 좌표는 일반적으로 X(가로 방향), Y(세로 방향), Z(카메라 정면 방향)의 형태로 표현될 수 있다.

제1 보정 함수에서 x는 보정 전 눈의 위치 좌표 중 X 좌표 값을 나타낸 것이고, f(x)는 보정 후 눈의 위치 좌표 중 X' 좌표 값을 나타낸 것이다.

여기서, 제1 파라미터 a는 1보다 작은 값을 가지며, 눈의 위치 좌표 중에 Z 좌표에 영향을 받게 된다. 다시 말해, a는 눈의 위치 좌표 중 Z 좌표에 따라 변화한다. 예를 들어, a는 양 눈의 위치가 화면(혹은 카메라)으로부터 가까워질수록 작아지고, 양 눈의 위치가 화면으로부터 멀어질수록 커지게 된다. a는 1보다 작거나 같은 값을 가질 수 있고, 눈 위치가 화면으로부터 멀어지는 경우 1에 근접하는 값을 갖게 된다. 제2 파라미터 b는 3D 디스플레이의 화면 중심과 카메라(혹은 이미지 센서) 간의 거리를 나타낸다.

도 9에 도시된 910은 근거리에 대하여 제1 보정 함수를 적용한 결과 그래프이고, 930은 원거리에 대하여 제1 보정 함수를 적용한 결과 그래프이다.

그래프 910를 통해 눈 위치가 화면으로부터 가까워질수록 제1 파라미터 값이 작아지는 것을 파악할 수 있다. 또한, 그래프 930을 통해 눈 위치가 화면으로부터 멀어질수록 제1 파라미터 값이 커져 1에 가까워지는 것을 파악할 수 있다.

950을 참고하면, 실제 눈 좌표가 제1 보정 함수를 통해 보정된 눈의 좌표로 변경되는 것을 볼 수 있다.

도 10을 참조하면, 미리 정의된 제2 보정 함수

를 이용하여 사용자의 양 눈의 위치 좌표 중 Z 좌표의 값을 보정한 결과(1000)가 도시된다.

제2 보정 함수

에서 z는 보정 전 눈의 위치 좌표 중 Z 좌표 값을 나타낸 것이고 f(z)는 보정 후 눈의 위치 좌표 중 Z'좌표 값을 나타낸 것이다.

여기서, 제3 파라미터 c는 양 눈의 위치 좌표 중 X 좌표에 따라 변화한다. c는 1보다 작은 값을 가지며 눈의 위치 좌표 중에 X에 영향을 받게 된다. 예를 들어, c는 양 눈의 위치가 화면의 측면으로 갈수록 작아지고, 양 눈의 위치가 화면의 중심으로 갈수록 커진다. c는 양 눈의 위치가 화면의 중심으로 갈수록 1에 근접하는 값을 가질 수 있다.

제4 파라미터 d 또한 c와 마찬가지로 눈의 위치 좌표 중 X 좌표에 영향을 받게 된다. 제4 파라미터 d는 0보다 큰 값을 갖는다. 예를 들어, d는 눈 위치가 화면의 측면으로 갈수록 커지고, 눈 위치가 화면 중심으로 갈수록 작아지게 된다. 제4 파라미터는 양 눈의 위치가 화면의 중심으로 갈수록 0에 근접하는 값을 갖게 된다.

도 11을 참조하면, 제1 보정 함수및 제2 보정 함수

를 동시에 이용하여 눈의 위치 좌표 중에 X 값과 Z 값을 동시에 보정한 결과(1100)가 도시된다.

도 12는 일 실시예에 따라 사용자의 양 눈의 위치 좌표를 산출하는 방법을 나타낸 흐름도이다. 양 눈의 위치 좌표를 산출하는 방법은 3D 렌더링 장치 또는 하나 이상의 프로세서와 카메라 혹은 이미지 센서를 포함하는 별도의 눈 추적기에 의해 수행될 수 있다.

도 12를 참조하면, 단계(1210)에서 3D 렌더링 장치는 카메라 혹은 이미지 센서로부터 사용자의 영상을 획득할 수 있다.

단계(1220)에서, 3D 렌더링 장치는 단계(1210)에서 획득된 사용자의 영상으로부터 얼굴 영역을 검출할 수 있다. 사용자의 영상을 예를 들어, 2D 영상일 수 있다. 3D 렌더링 장치는 예를 들어, 얼굴 영상 학습을 통해 취득한 데이터를 기반으로 사용자의 영상에 얼굴 영역이 포함되는지 여부를 판단하여 얼굴 영역을 검출할 수 있다.

단계(1230)에서, 3D 렌더링 장치는 단계(1220)에서 검출된 얼굴 영역으로부터 특징점들을 검출할 수 있다. 3D 렌더링 장치는 얼굴 내부의 눈, 코, 입 등의 경계 부분에 해당하는 특징점들을 검출할 수 있다. 3D 렌더링 장치는, 예를 들어, 얼굴 영역의 특징점들에 대한 학습을 통해 미리 취득한 데이터를 기반으로 얼굴 영역으로부터 특징점들을 검출할 수 있다.

단계(1240)에서, 3D 렌더링 장치는 단계(1230)에서 검출된 특징점들을 기반으로 동공 중심에 대한 특징점을 결정(또는 검출)할 수 있다. 예를 들어, 미리 학습된 데이터가 동공 중심에 대해 정의된 특징점을 포함하고 있다면, 3D 렌더링 장치는 미리 학습된 데이터를 이용하여 단계(1230)에서 검출된 특징점들 중에 동공에 해당하는 특징점(들)을 결정할 수 있다. 만약 미리 학습된 데이터가 없다면, 3D 렌더링 장치는 눈 주변의 특징점들의 평균 값을 이용하여 동공 중심에 대한 특징점을 결정할 수 있다.

단계(1250)에서, 3D 렌더링 장치는 단계(1240)에서 결정된 동공 중심에 대한 특징점을 이용하여 사용자의 눈 위치 좌표를 산출할 수 있다. 3D 렌더링 장치는 카메라의 위치를 기준으로 하는 사용자의 3차원의 눈 위치 좌표(X,Y,Z)를 산출할 수 있다. 단계(1240)에서 결정된 동공 중심에 대한 특징점은 영상 내의 2D 좌표로 나타날 수 있다. 3D 렌더링 장치는 예를 들어, 영상에서 카메라를 기준으로 사용자의 얼굴 방향과 눈 사이의 거리(양안 거리)를 이용하여 2D 좌표를 3D 좌표로 변환할 수 있다. 이때, 사용자의 얼굴 방향은 영상 처리를 통해 계산될 수 있으며, 눈 사이의 거리는 사람들의 평균 양안 거리인 65 mm를 이용할 수 있다.

도 13은 일 실시예에 따른 3D 렌더링 장치의 블록도이다. 도 13을 참조하면, 일 실시예에 따른 3D 렌더링 장치(1300)는 이미지 센서(1310), 프로세서(1320), 및 메모리(1330)를 포함한다. 이미지 센서(1310), 프로세서(1320) 및 메모리(1330)는 버스(1305)를 통해 서로 통신할 수 있다.

이미지 센서(1310)는 사용자의 영상으로부터 사용자의 양 눈의 위치 좌표를 검출한다. 이미지 센서(1310)는 사용자의 얼굴 영상을 획득할 수 있다. 프로세서(1320)는 사용자의 얼굴 영상의 시점을 추적하여 이미지 센서(1310)를 기준으로 하는 사용자의 양 눈의 위치 좌표를 검출할 수 있다.

프로세서(1320)는 양 눈의 위치 좌표를 보정하고, 보정된 위치 좌표를 이용하여 사용자의 양 눈에 대한 3D 렌더링을 수행한다. 프로세서(1320)는 양 눈의 위치 오차를 허용하는 범위인 양안 거리 내에서 양 눈의 위치 좌표를 변경할 수 있다. 프로세서(1320)는 검출된 양 눈의 위치 좌표에 대응하는 한 프레임의 일부 픽셀들인 제1 픽셀들에 대하여 스넬 법칙을 적용하고, 제1 픽셀들에 스넬 법칙을 적용한 결과에 기초하여, 양 눈의 위치 좌표를 보정할 수 있다. 제1 픽셀들은 3D 디스플레이의 측면에 위치하는 픽셀들을 포함할 수 있다.

프로세서(1320)는 제1 픽셀들에 대하여 스넬 법칙을 적용한 제1 결과값을 산출하고, 제1 픽셀들에 대하여 근축 근사를 적용한 제2 결과값을 산출하며, 제1 결과값 및 제2 결과값 간의 차이에 기초한 평가 함수를 이용하여 양 눈의 위치 좌표를 보정할 수 있다. 프로세서(1320)는 평가 함수를 최소화시키는 가상의 양 눈의 위치를 산출하고, 가상의 양 눈의 위치에 의해 양 눈의 위치 좌표를 보정할 수 있다.

이 밖에도, 프로세서(1320)는 도 4 내지 도 12를 통해 전술한 적어도 하나의 방법 또는 적어도 하나의 방법에 대응되는 알고리즘을 수행할 수 있다. 프로세서(1320)는 프로그램을 실행하고, 3D 렌더링 장치(1300)를 제어할 수 있다. 프로세서(1320)에 의하여 실행되는 프로그램 코드는 메모리(1330)에 저장될 수 있다. 3D 렌더링 장치(1300)는 입출력 장치(도면 미 표시)를 통하여 외부 장치(예를 들어, 퍼스널 컴퓨터 또는 네트워크)에 연결되고, 데이터를 교환할 수 있다. 3D 렌더링 장치(1300)는 텔레비전, 스마트 텔레비전, 스마트 폰 등 다양한 전자 시스템들을 포함할 수 있다.

메모리(1330)는 보정된 위치 좌표 및 사용자의 양 눈에 대한 3D 렌더링 결과 등을 저장할 수 있다. 메모리(1330)는 휘발성 메모리 또는 비 휘발성 메모리일 수 있다.

3D 렌더링 장치(1300)는 통신 인터페이스(1340)를 더 포함할 수 있다. 통신 인터페이스(1340)는 3D 렌더링 결과를 전송할 수 있다. 예를 들어, 3D 렌더링 결과는 3D 디스플레이로 전송될 수 있다. 도면에 도시하지 않았으나, 3D 렌더링 장치(1300)는 3D 디스플레이를 더 포함할 수 있다. 이 경우, 3D 렌더링 결과는 통신 인터페이스(1340)를 통하지 않고 직접 3D 디스플레이에 표시될 수 있다.

도 14는 일 실시예에 따른 3D 렌더링 장치가 모바일 장치로 구성되는 경우에 모바일 장치의 블록도이다. 상술한 3D 렌더링 방법은 렌더링 시의 연산량이 적어 태블릿, 또는 스마트 폰과 같이 전력 소모가 작은 모바일 장치에 적용 가능하다.

모바일 장치(1400)는 전원 장치(1410), 광학 장치(1420), 이미징 장치(1430), 구동 장치(1440) 및 패널(1450)을 포함한다. 도 14(a)는 모바일 장치(1400)의 상단을 나타내고, 도 14(b)는 모바일 장치(1400)의 정면을 나타낸다.

전원 장치(1410)는 모바일 장치(1400) 전체에 전원을 공급하는 장치이다. 전원 장치는 다양한 배터리를 포함할 수 있다.

광학 장치(1420)는 광선을 특정 방향으로 분리할 수 있는 장치이다. 광학 장치(1420)는 예를 들어, 패럴랙스 배리어(Parallax Barrier) 또는 렌티큘러 렌즈(Lenticular Lens)로 구성될 수 있다. 광학 장치(1420)가 렌티큘러 렌즈로 구성되는 경우, 렌티큐러 렌즈는 패널(1450)의 앞쪽에 위치된다.

이미징 장치(1430)는 사용자의 눈의 위치 좌표를 검출할 수 있다. 이미징 장치(1430)는 예를 들어, CIS(CMOS Image Sensor), CCD(Charge-Coupled Device) 등과 같은 이미지 센서를 포함할 수 있다. 도 14에 도시된 b는 카메라 중심, 다시 말해 이미징 장치(1430)의 중심과 사용자의 눈이 위치하는 화면 중심 간의 차이를 나타낸다.

구동 장치(1440)는 일 실시예에 따른 3D 렌더링 방법을 수행할 수 있다. 구동 장치(1440)는 전술한 제1 보정 함수, 제2 보정 함수 또는 제1 보정 함수와 제2 보정 함수의 조합을 적용하여 카메라로부터 취득된 눈의 위치 좌표를 변경하고, 근축 가정하여 렌더링을 수행할 수 있다. 구동 장치(1440)는 예를 들어, 소프트웨어(S/W)로 시점 추적 기반 3D 렌더링을 수행할 수 있다. 구동 장치(1440)는 프로세서(Application Processor)를 포함할 수 있다. 프로세서는 구동 장치(1440)에 탑재된 OS(Operation System)를 구동하고, 모든 연산을 수행할 수 있다.

패널(1450)은 예를 들어, LCD(Liquid Crystal Display)와 같이 RGB 영상을 표현할 수 있는 장치일 수 있다.

이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims

사용자의 영상으로부터 사용자의 양 눈의 위치 좌표를 검출하는 단계;
빛의 굴절에 의한 크로스토크(crosstalk)를 감소시키는 가상의 눈의 위치를 향하여 상기 양 눈의 위치 좌표를 보정하는 단계; 및
상기 보정된 위치 좌표를 이용하여 상기 사용자의 양 눈에 대한 3D 렌더링을 수행하는 단계
를 포함하고,
상기 양 눈의 위치 좌표를 보정하는 단계는
상기 양 눈의 위치 좌표에 대응하는 한 프레임의 일부 픽셀들인 제1 픽셀들에 대하여 스넬 법칙(Snell's refraction law)을 적용한 제1 결과값을 산출하는 단계;
상기 제1 픽셀들에 대하여 근축 근사(paraxial approximation)를 적용한 제2 결과값을 산출하는 단계; 및
상기 제1 결과값 및 상기 제2 결과값 간의 차이에 기초한 평가 함수를 이용하여 상기 양 눈의 위치 좌표를 보정하는 단계
를 포함하는, 3D 렌더링 방법.
제1항에 있어서,
상기 양 눈의 위치 좌표를 보정하는 단계는
상기 양 눈의 위치 오차를 허용하는 범위인 양안 거리(Inter Pupil Distance; IPD) 내에서 상기 양 눈의 위치 좌표를 보정하는 단계
를 포함하는, 3D 렌더링 방법.
삭제
삭제
제1항에 있어서,
상기 평가 함수를 이용하여 상기 양 눈의 위치 좌표를 보정하는 단계는
상기 평가 함수를 최소화시키는 가상의 양 눈의 위치를 산출하는 단계; 및
상기 가상의 양 눈의 위치에 의해 상기 양 눈의 위치 좌표를 보정하는 단계
를 포함하는, 3D 렌더링 방법.
제1항에 있어서,
상기 제1 픽셀들은
3D 디스플레이의 측면에 위치하는 픽셀들을 포함하는, 3D 렌더링 방법.
제1항에 있어서,
상기 양 눈의 위치 좌표를 보정하는 단계는
상기 사용자의 양 눈의 위치 좌표 중 X 좌표를 보정하는 미리 정의된 제1 보정 함수, 상기 사용자의 양 눈의 위치 좌표 중 Z 좌표를 보정하는 미리 정의된 제2 보정 함수, 및 상기 사용자의 양 눈의 위치 좌표에 대응하는 보정된 위치 좌표를 미리 저장하는 룩-업 테이블(look-up table) 중 적어도 하나를 이용하여 상기 사용자의 양 눈의 위치 좌표를 보정하는 단계
를 포함하는, 3D 렌더링 방법.
제7항에 있어서,
상기 제1 보정 함수는
상기 양 눈의 위치 좌표 중 Z 좌표에 따라 변화하는 제1 파라미터 및 3D 디스플레이의 화면 중심과 이미지 센서 간의 거리에 기초한 제2 파라미터에 기초하여 상기 X 좌표를 보정하는, 3D 렌더링 방법.
제8항에 있어서,
상기 제1 파라미터는
1보다 작거나 같은 값을 가지고,
상기 양 눈의 위치가 상기 3D 디스플레이의 화면으로부터 가까워질수록 작아지고, 상기 양 눈의 위치가 상기 3D 디스플레이의 화면으로부터 멀어질수록 커지는, 3D 렌더링 방법.
제7항에 있어서,
상기 제2 보정 함수는
상기 양 눈의 위치 좌표 중 X 좌표에 따라 변화하는 제3 파라미터 및 상기 X 좌표에 따라 변화하는 제4 파라미터에 기초하여 상기 Z 좌표를 보정하는, 3D 렌더링 방법.
제10항에 있어서,
상기 제3 파라미터는
상기 양 눈의 위치가 3D 디스플레이의 화면의 측면으로 갈수록 작아지고,
상기 양 눈의 위치가 상기 3D 디스플레이의 화면의 중심으로 갈수록 커지며,
상기 양 눈의 위치가 상기 3D 디스플레이의 화면의 중심으로 갈수록 1에 근접하는 값을 가지는, 3D 렌더링 방법.
제10항에 있어서,
상기 제4 파라미터는
상기 양 눈의 위치가 3D 디스플레이의 화면의 측면으로 갈수록 커지고,
상기 양 눈의 위치가 상기 3D 디스플레이의 화면의 중심으로 갈수록 작아지며,
상기 양 눈의 위치가 상기 3D 디스플레이의 화면의 중심으로 갈수록 0에 근접하는 값을 가지는, 3D 렌더링 방법.
제1항에 있어서,
상기 사용자의 양 눈의 위치 좌표를 검출하는 단계는
모바일 장치의 이미지 센서를 이용하여 상기 사용자의 얼굴 영상을 획득하는 단계; 및
상기 사용자의 얼굴 영상의 시점을 추적하여 상기 이미지 센서를 기준으로 하는 상기 사용자의 양 눈의 위치 좌표를 검출하는 단계
를 포함하는, 3D 렌더링 방법.
하드웨어와 결합되어 제1항, 제2항, 및 제5항 내지 제13항 중 어느 하나의 항의 방법을 실행시키기 위하여 매체에 저장된 컴퓨터 프로그램.
3D 렌더링 장치에 있어서,
사용자의 영상으로부터 사용자의 양 눈의 위치 좌표를 검출하는 이미지 센서; 및
빛의 굴절에 의한 크로스토크(crosstalk)를 감소시키는 가상의 눈의 위치를 향하여 상기 양 눈의 위치 좌표를 보정하고, 상기 보정된 위치 좌표를 이용하여 상기 사용자의 양 눈에 대한 3D 렌더링을 수행하는 프로세서
를 포함하고,
상기 프로세서는
상기 양 눈의 위치 좌표에 대응하는 한 프레임의 일부 픽셀들인 제1 픽셀들에 대하여 스넬 법칙(Snell's refraction law)을 적용한 제1 결과값을 산출하고,
상기 제1 픽셀들에 대하여 근축 근사(paraxial approximation)를 적용한 제2 결과값을 산출하고,
상기 제1 결과값 및 상기 제2 결과값 간의 차이에 기초한 평가 함수를 이용하여 상기 양 눈의 위치 좌표를 보정하는, 3D 렌더링 장치.
제15항에 있어서,
상기 프로세서는
상기 양 눈의 위치 오차를 허용하는 범위인 양안 거리 내에서 상기 양 눈의 위치 좌표를 변경하는, 3D 렌더링 장치.
삭제
삭제
제15항에 있어서,
상기 프로세서는
상기 평가 함수를 최소화시키는 가상의 양 눈의 위치를 산출하고, 상기 가상의 양 눈의 위치에 의해 상기 양 눈의 위치 좌표를 보정하는, 3D 렌더링 장치.
제15항에 있어서,
상기 제1 픽셀들은
3D 디스플레이의 측면에 위치하는 픽셀들을 포함하는, 3D 렌더링 장치.
제15항에 있어서,
상기 프로세서는
상기 사용자의 양 눈의 위치 좌표 중 X 좌표를 보정하는 미리 정의된 제1 보정 함수, 상기 사용자의 양 눈의 위치 좌표 중 Z 좌표를 보정하는 미리 정의된 제2 보정 함수 및 상기 사용자의 양 눈의 위치 좌표에 대응하는 보정된 위치 좌표를 미리 저장하는 룩-업 테이블 중 적어도 하나를 이용하여 상기 사용자의 양 눈의 위치 좌표를 보정하는, 3D 렌더링 장치.
제21항에 있어서,
상기 제1 보정 함수는
상기 양 눈의 위치 좌표 중 Z 좌표에 따라 변화하는 제1 파라미터 및 3D 디스플레이의 화면 중심과 이미지 센서 간의 거리에 기초한 제2 파라미터에 기초하여 상기 X 좌표를 보정하는, 3D 렌더링 장치.
제22항에 있어서,
상기 제1 파라미터는
1보다 작거나 같은 값을 가지고,
상기 양 눈의 위치가 상기 3D 디스플레이의 화면으로부터 가까워질수록 작아지고, 상기 양 눈의 위치가 상기 3D 디스플레이의 화면으로부터 멀어질수록 커지는, 3D 렌더링 장치.
제21항에 있어서,
상기 제2 보정 함수는
상기 양 눈의 위치 좌표 중 X 좌표에 따라 변화하는 제3 파라미터 및 상기 X 좌표에 따라 변화하는 제4 파라미터에 기초하여 상기 Z 좌표를 보정하는, 3D 렌더링 장치.
제24항에 있어서,
상기 제3 파라미터는
상기 양 눈의 위치가 3D 디스플레이의 화면의 측면으로 갈수록 작아지고,
상기 양 눈의 위치가 상기 3D 디스플레이의 화면의 중심으로 갈수록 커지며,
상기 양 눈의 위치가 상기 3D 디스플레이의 화면의 중심으로 갈수록 1에 근접하는 값을 가지는, 3D 렌더링 장치.
제24항에 있어서,
상기 제4 파라미터는
상기 양 눈의 위치가 3D 디스플레이의 화면의 측면으로 갈수록 커지고,
상기 양 눈의 위치가 상기 3D 디스플레이의 화면의 중심으로 갈수록 작아지며,
상기 양 눈의 위치가 상기 3D 디스플레이의 화면의 중심으로 갈수록 0에 근접하는 값을 가지는, 3D 렌더링 장치.
제15항에 있어서,
상기 이미지 센서는
상기 사용자의 얼굴 영상을 획득하고,
상기 프로세서는
상기 사용자의 얼굴 영상의 시점을 추적하여 상기 이미지 센서를 기준으로 하는 상기 사용자의 양 눈의 위치 좌표를 검출하는, 3D 렌더링 장치.
제15항에 있어서,
상기 3D 렌더링 장치는
모바일 장치를 포함하는, 3D 렌더링 장치.