KR20120026643A

KR20120026643A - 입체 영상 변환 방법, 이를 이용한 입체 영상 표시 방법 및 상기 입체 영상 표시 방법을 수행하기 위한 입체 영상 표시 장치

Info

Publication number: KR20120026643A
Application number: KR1020100088639A
Authority: KR
Inventors: 윤해영; 정경호; 이승훈; 김경배; 김주영; 김진환
Original assignee: 삼성전자주식회사
Priority date: 2010-09-10
Filing date: 2010-09-10
Publication date: 2012-03-20
Also published as: KR101704685B1; US20120062559A1

Abstract

입체 영상 표시 방법은 외부로부터 입력되는 평면 영상 및 깊이 영상을 기초로 N 개의 다시점 영상들을 생성한다. 표시 영역의 외각부 주변에 다시점 영상들의 테두리를 형성한 후, 테두리가 형성된 다시점 영상들을 내삽하여 합성 영상으로 변환한다. 표시 패널에 대하여 소정 각도로 기울어진 렌티큘라 렌즈를 통하여 합성 영상을 표시 영역에서 입체 영상으로 표시한다. 이에 따라, 평면 영상을 입체 영상으로 효율적으로 변환할 수 있으며, 입체 영상의 경계에 톱니 모양이 시인되는 현상을 감소시키므로, 표시 품질을 향상시킬 수 있다.

Description

입체 영상 변환 방법, 이를 이용한 입체 영상 표시 방법 및 상기 입체 영상 표시 방법을 수행하기 위한 입체 영상 표시 장치{METHOD FOR CONVERTING STEREO-SCOPIC IMAGE, METHOD FOR DISPLAYING STEREO-SCOPIC IMAGE USING THE SAME AND THE STEREO-SCOPIC IMAGE DISPLAYING DEVICE FOR PERFORMING THE METHOD FOR DISPLAYING STEREO-SCOPIC IMAGE}

본 발명은 입체 영상 변환 방법, 이를 이용한 입체 영상 표시 방법 및 상기 입체 영상 표시 방법을 수행하기 위한 입체 영상 표시 장치에 관한 것으로, 더욱 상세하게는 표시 품질을 개선하기 위한 입체 영상 변환 방법, 이를 이용한 입체 영상 표시 방법 및 상기 입체 영상 표시 방법을 수행하기 위한 입체 영상 표시 장치에 관한 것이다.

최근 게임, 영화 등과 같은 분야에서 3차원 입체 영상에 대한 수요가 증가함에 따라, 3차원 입체 영상을 표시하는 표시 장치가 개발되고 있다. 입체 영상 표시 장치는 관찰자의 특수 안경의 착용 여부에 따라 안경식(stereo-scopic) 및 비안경식(auto stereo-scopic)으로 구분할 수 있다. 일반적으로, 평판 표시 장치에서는 배리어(barrier) 방식, 렌티큘라(lenticular) 방식 등과 같은 비안경식의 입체영상 표시 장치가 주로 이용되고 있다.

상기 렌티큘라 방식은 렌티큘라 렌즈를 이용하는 것으로, 상기 렌티큘라 렌즈는 복수의 초점들을 가지며, 입사된 2차원 영상을 상기 복수의 초점들에서 굴절하여 복수의 입체 영상들을 출사한다. 상기 렌티큘라 방식에 의하면, 광이 대부분 상기 렌즈를 통과하므로 상기 배리어 방식에 비해 휘도의 감소를 최소화시킬 수 있다.

상기 렌티큘라 렌즈는 직사각형 또는 평행사변형 형상을 가지며, 표면에 복수의 원호들과 상기 원호들의 경계 부분에 첨부들이 형성된다. 상기 렌티큘라 렌즈는 상기 원호들에서 광을 굴절시켜 한 곳으로 집중시킨다.

이때, 상기 렌티큘라 렌즈가 표시 패널의 화소들에 대해 기울어진 경우, 화면 경계가 톱니 모양으로 시인되어 표시 품질을 저하시키는 문제가 발생한다.

또한, 2차원 영상을 3차원 입체 영상으로 변환하는 과정에서, 각 시점마다 별개의 영상을 형성하여야 한다. 따라서, 기존의 영상 변환 방법을 이용할 경우 방대한 잉여 계산이 발생하여 과부하를 초래하는 문제가 발생한다.

이에, 본 발명의 기술적 과제는 이러한 점에서 착안된 것으로 본 발명의 목적은 표시 품질을 개선하기 위한 입체 영상 변환 방법을 제공하는 것이다.

본 발명의 다른 목적은 상기 입체 영상 변환 방법을 이용하는 입체 영상 표시 방법을 제공하는 것이다.

본 발명의 또 다른 목적은 상기 입체 영상 표시 방법을 수행하기 위한 입체 영상 표시 장치를 제공하는 것이다.

상기한 본 발명의 목적을 실현하기 위한 일 실시예에 따른 입체 영상 변환 방법은 외부로부터 입력되는 평면 영상 및 깊이 영상을 기초로 N 개의 다시점 영상들을 생성한다. 상기 N은 2 이상의 자연수이다. 표시 영역의 외각부 주변에 상기 다시점 영상들의 테두리를 형성한다. 상기 테두리가 형성된 다시점 영상들을 내삽(interpolation)하여 합성 영상으로 변환한다.

본 발명의 실시예에서, 상기 N 개의 다시점 영상들을 생성하는 단계에서는, 상기 표시 영역에 대응하는 다시점 영상 격자에서의 영상 신호들을 생성할 수 있다.

본 발명의 실시예에서, 상기 표시 영역의 외각부 주변에 상기 다시점 영상들의 테두리를 형성하는 단계에서는, 상기 표시 영역 이외의 주변 영역에 대응하는 다시점 영상 격자에서의 영상 신호들을 블랙 계조에 대응하는 영상 신호들로 설정할 수 있다. 이 때, 상기 표시 영역의 외각으로부터 안쪽으로 1 내지 2 화소에 대응하는 다시점 영상 격자에서의 영상 신호들을 블랙 계조에 대응하는 영상 신호들로 더 설정할 수 있다.

본 발명의 실시예에서, 상기 표시 영역의 외각부 주변에 상기 다시점 영상들의 테두리를 형성하는 단계에서는, 상기 표시 영역의 외각으로부터 안쪽으로 1 내지 2 화소에 대응하는 다시점 영상 격자에서의 영상 신호들을 블랙 계조에 대응하는 영상 신호들로 설정할 수 있다.

본 발명의 실시예에서, 상기 테두리가 형성된 다시점 영상들을 내삽하여 합성 영상으로 변환하는 단계에서는, 가장 가까운 4 개의 다시점 영상 격자에서의 영상 신호들을 이용하여 합성 영상 격자에서의 영상 신호들을 내삽할 수 있다.

본 발명의 실시예에서, 상기 합성 영상 격자에서의 영상 신호들을 내삽하는 단계에서는, 상기 합성 영상의 변환 스케일(scale) 및 변환 오프셋(offset)을 계산할 수 있다. 또한, 상기 합성 영상 격자에서의 색 번호 및 시점 번호를 계산할 수 있다. 이어, 상기 합성 영상의 변환 스케일 및 변환 오프셋을 기초로 상기 합성 영상의 변위를 계산할 수 있다. 상기 합성 영상의 변위, 상기 합성 영상 격자에서의 색 번호 및 시점 번호를 기초로 상기 합성 영상 격자에서의 영상 신호들을 내삽할 수 있다.

본 발명의 실시예에서, 상기 합성 영상의 변환 스케일 및 변환 오프셋을 계산하는 단계에서는, 하기 식 (1)과 같이 행 변환 스케일을 계산하고, 하기 식 (2)와 같이 열 변환 스케일을 계산할 수 있다. 이어, 하기 식 (3)과 같이 행 변환 오프셋을 계산하고, 하기 식 (4)와 같이 열 변환 오프셋을 계산할 수 있다.

행 변환 스케일 = 다시점 영상 격자들의 행 개수/합성 영상 격자들의 행 개수 (1)

열 변환 스케일 = 다시점 영상 격자들의 열 개수/합성 영상 격자들의 열 개수 (2)

행 변환 오프셋 = {1-행 변환 스케일}/2 (3)

열 변환 오프셋 = {1-열 변환 스케일}/2 (4)

본 발명의 실시예에서, 상기 합성 영상 격자에서의 색 번호 및 시점 번호를 계산하는 단계에서는, 하기 식 (5)와 같이 상기 색 번호를 계산하고, 하기 식 (6)과 같이 상기 시점 번호를 계산할 수 있다.

색 번호 = mod{열 번호-1, 3}+1 (5)

시점 번호 = mod{열 번호-행 번호+시점 오프셋, 시점수}+1 (6)

여기서, Mod{a, b}는 a를 b로 나눈 나머지이며, 시점 오프셋은 1과 시점수 사이의 정수로 정의한다.

본 발명의 실시예에서, 상기 합성 영상의 변환 스케일 및 변환 오프셋을 기초로 상기 합성 영상의 변위를 계산하는 단계에서는, 하기 식 (7)과 같이 상기 행 위치를 계산하고, 하기 식 (8)과 같이 상기 열 위치를 계산할 수 있다. 또한, 상기 행 위치를 이용하여 하기 식 (9)와 같이 행 변위를 계산하고, 상기 열 위치를 이용하여 하기 식 (10)과 같이 열 변위를 계산할 수 있다.

행 위치 = 행 번호*행 변환 스케일+행 변환 오프셋 (7)

열 위치 = 열 번호*열 변환 스케일+열 변환 오프셋 (8)

행 변위 = 행 위치-floor{행 위치} (9)

열 변위 = 열 위치-floor{열 위치} (10)

여기서, floor{c}는 c의 소수점 이하 버림으로 정의한다.

본 발명의 실시예에서, 상기 내삽은 선형(bilinear) 내삽법 또는 3차(bicubic) 내삽법을 이용할 수 있다.

상기한 본 발명의 다른 목적을 실현하기 위한 일 실시예에 따른 입체 영상 표시 방법은 외부로부터 입력되는 평면 영상 및 깊이 영상을 기초로 N 개의 다시점 영상들을 생성한다. 상기 N은 2 이상의 자연수이다. 표시 영역의 외각부 주변에 상기 다시점 영상들의 테두리를 형성한다. 상기 테두리가 형성된 다시점 영상들을 내삽하여 합성 영상으로 변환한다. 표시 패널에 대하여 소정 각도로 기울어진 렌티큘라 렌즈를 통하여 상기 합성 영상을 상기 표시 영역에서 입체 영상으로 표시한다.

상기한 본 발명의 또 다른 목적을 실현하기 위한 일 실시예에 따른 입체 영상 표시 장치는 다시점 영상부, 테두리 형성부, 합성 영상부 및 표시 패널을 포함한다. 상기 다시점 영상부는 외부로부터 입력되는 평면 영상 및 깊이 영상을 기초로 N 개의 다시점 영상들을 생성한다. 상기 N은 2 이상의 자연수이다. 상기 테두리 형성부는 표시 영역의 외각부 주변에 상기 다시점 영상들의 테두리를 형성한다. 상기 합성 영상부는 상기 테두리가 형성된 다시점 영상들을 내삽하여 합성 영상으로 변환한다. 상기 표시 패널은 소정 각도로 기울어진 렌티큘라 렌즈를 통하여 상기 합성 영상을 상기 표시 영역에서 입체 영상으로 표시한다.

본 발명의 실시예에서, 상기 렌티큘라 렌즈는 한 쌍의 대변이 상기 표시 패널의 모서리와 평행한 평행사변형의 형상을 가질 수 있다. 이 때, 상기 N은 9이며, 상기 렌티큘라 렌즈의 폭은 상기 표시 패널의 9 개의 화소들과 대응하며 복수개 배열될 수 있다.

본 발명의 실시예에서, 상기 테두리 형성부는, 상기 표시 영역 이외의 주변 영역에 대응하는 다시점 영상 격자에서의 영상 신호들을 블랙 계조에 대응하는 영상 신호들로 설정할 수 있다.

본 발명의 실시예에서, 상기 테두리 형성부는, 상기 표시 영역의 외각으로부터 안쪽으로 1 내지 2 화소에 대응하는 다시점 영상 격자에서의 영상 신호들을 블랙 계조에 대응하는 영상 신호들로 설정할 수 있다.

이와 같은 입체 영상 변환 방법에 따르면, 내삽법을 이용하여 입체 영상을 처리하므로 입체 영상 변환 장치의 계산 로드를 감소시킬 수 있다. 또한, 입체 영상의 경계에 톱니 모양이 시인되는 현상을 감소시키므로, 표시 품질을 향상시킬 수 있다.

도 1은 본 발명의 일 실시예에 따른 입체 영상 표시 장치의 블록도이다.
도 2는 도 1의 입체 영상 변환 장치의 블록도이다.
도 3은 도 1의 화소들과 렌티큘라 렌즈가 대응되는 일례를 보여주기 위한 개념도이다.
도 4는 도 2의 다시점 영상의 일례를 보여주기 위한 개념도이다.
도 5a 내지 도 5c는 도 4의 다시점 영상을 시인하는 경우에 각 시점에서 시인되는 화소를 보여주기 위한 개념도들이다.
도 6은 도 2의 다시점 영상의 다시점 영상 격자 및 합성 영상의 합성 영상 격자를 보여주기 위한 개념도이다.
도 7은 도 1의 입체 영상 표시 장치에서 수행되는 입체 영상 표시 방법을 설명하는 흐름도이다.
도 8 및 도 9는 도 7의 다시점 영상들을 내삽하여 합성 영상으로 변환하는 단계를 설명하는 상세 흐름도이다.

이하, 도면들을 참조하여 본 발명의 표시 장치의 바람직한 실시예들을 보다 상세하게 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른 입체 영상 표시 장치의 블록도이다. 도 2는 도 1의 입체 영상 변환 장치의 블록도이다. 도 3은 도 1의 화소들과 렌티큘라 렌즈가 대응되는 일례를 보여주기 위한 개념도이다.

도 1 및 도 2를 참조하면, 입체 영상 표시 장치(1)는 입체 영상 변환 장치(10), 제어부(30), 표시 구동부(50), 광원 구동부(70), 표시 패널(20), 렌즈부(40) 및 광원부(60)를 포함한다.

상기 입체 영상 변환 장치(10)는 외부 장치로부터 제공되는 평면 영상 및 상기 평면 영상의 깊이 영상(2.5D)을 상기 표시 패널(20)에서 입체 영상으로 표시될 수 있도록 합성 영상(SYN)으로 변환한다. 상기 합성 영상(SYN)은 상기 표시 패널(20)의 표시 영역(DA)에서 표시되고, 상기 렌즈부(40)를 통하여 입체 영상으로 시인된다.

상기 입체 영상 변환 장치(10)는 다시점 영상부(110), 테두리 형성부(130) 및 합성 영상부(150)를 포함한다. 상기 입체 영상 변환 장치(10)는 상기 제어부(30)와 동일한 기판에 형성되거나 별개의 기판에 형성될 수 있다.

상기 다시점 영상부(110)는 상기 평면 및 깊이 영상들(2.5D)을 기초로 N 개의 다시점 영상(MV)들을 생성한다. 상기 N은 상기 입체 영상 표시 장치(1)의 시점수로서, 2 이상의 자연수이다. 본 실시예에 의한 입체 영상 표시 장치(1)는 9 시점 영상을 표시하는 것으로 가정한다. 관찰자 관점에서 오른쪽으로부터 제1 시점 내지 제9 시점이라고 정의한다.

상기 다시점 영상(MV)들은 상기 표시 영역(DA)에 대응하는 다시점 영상 격자(MV grid, 도 6 참조)에서의 영상 신호들을 포함한다. 상기 다시점 영상 격자(MV grid)는 9 개의 화소 위치가 중첩되어 있고. 상기 다시점 영상 격자(MV grid)에서의 영상 신호들은 9 개의 화소들에 대한 영상 정보를 포함한다. 상기 다시점 영상부(110)에서 형성된 다시점 영상(MV)들은 상기 테두리 형성부(130)로 제공된다.

상기 테두리 형성부(130)는 상기 각 다시점 영상(MV)들에 가상의 테두리를 형성한다. 상기 테두리는 상기 표시 영역(DA)의 외각부 주변에 다시점 영상 격자(MV grid)에서의 영상 신호들을 블랙 계조에 대응하는 영상 신호들로 설정하여 형성할 수 있다. 상기 테두리는 상기 표시 영역(DA) 이외의 주변 영역(PA)에 대응하거나, 상기 표시 영역(DA)의 외각으로부터 안쪽으로 1 내지 2 화소(P)에 대응할 수 있다. 상기 테두리 형성부(130)는 테두리가 설정된 다시점 영상(BMV)들을 상기 합성 영상부(150)에 제공한다.

상기 합성 영상부(150)는 상기 테두리 형성부(130)로부터 제공되는 테두리가 설정된 다시점 영상(BMV)들을 합성 영상(SYN)으로 변환한다. 상기 합성 영상(SYN)들은 상기 표시 영역(DA)에 대응하는 합성 영상 격자(SYN grid, 도 6 참조)에서의 영상 신호들을 포함한다.

상기 합성 영상부(150)는 상기 다시점 영상 격자(MV grid)에서의 영상 신호들을 이용하여 합성 영상 격자(SYN grid)에서의 영상 신호들을 내삽한다. 상기 합성 영상부(150)는 상기 합성 영상(SYN)을 상기 제어부(30)에 제공한다.

상기 다시점 영상부(110)에서 상기 다시점 영상(MV)들을 생성하는 과정, 상기 테두리 형성부(130)에서 상기 다시점 영상(MV)들에 테두리를 형성하는 과정 및 상기 합성 영상부(150)의 상기 합성 영상(SYN)을 생성하는 과정에 대한 자세한 설명은 후술한다.

상기 제어부(30)는 상기 입체 영상 표시 장치(1)의 전반적인 구동을 제어한다. 상기 제어부(30)는 상기 입체 영상 변환 장치(10)로부터 제공되는 상기 합성 영상(SYN) 및 외부로부터 제공되는 제어 신호(CS)들을 시간적으로 제어하여, 상기 표시 구동부(50) 및 상기 광원 구동부(70)에 제공한다.

상기 광원 구동부(70)는 상기 제어부(30)로부터 제공되는 제1 제어 신호(CS1)에 따라 상기 광원부(60)를 구동하기 위한 제1 구동 신호(DS1)를 발생한다.

상기 광원부(60)는 광을 발생하는 광원을 포함하고, 상기 표시 패널(20)의 배면에 배치되어 상기 표시 패널(20)에 광을 제공한다. 상기 광원은 상기 표시 패널(20)의 아래에 배치되는 직하형 또는 상기 표시 패널(20)의 모서리에 배치되는 에지형일 수 있다. 상기 광원은 램프 또는 발광 다이오드를 포함할 수 있다.

상기 표시 구동부(50)는 상기 제어부(30)로부터 제공되는 제2 제어 신호(CS2)에 따라 상기 표시 패널(20)을 구동하기 위한 제2 구동 신호(DS2)를 발생한다. 상기 표시 구동부(50)는 게이트 구동부 및 데이터 구동부를 포함할 수 있다.

상기 데이터 회로부는 화소(P)에 데이터 전압을 인가하고, 상기 게이트 회로부는 상기 화소(P)에 상기 데이터 전압이 충전되는 타이밍을 제어하는 게이트 신호를 제공한다. 상기 게이트 회로부는 상기 표시 패널(20) 상에 칩 형태로 실장되거나, 상기 표시 패널(20)에 포함된 박막 트랜지스터를 제조하는 공정을 통해 상기 표시 패널(20) 상에 동시에 집적될 수 있다.

상기 표시 패널(20)은 상기 표시 구동부(50)로부터 제공되는 제2 구동 신호(DS2)를 기초로 상기 합성 영상(SYN)을 표시한다. 상기 표시 패널(20)은 상기 합성 영상(SYN)을 상기 렌즈부(40)를 통하여 상기 입체 영상으로 표시한다.

상기 표시 패널(20)은 상기 입체 영상을 표시하는 상기 표시 영역(DA) 및 상기 표시 영역(DA)을 둘러싸고 있는 상기 주변 영역(PA)을 포함한다. 예를 들어, 상기 표시 패널(20)은 직사각형 형상을 가지며, 제1 방향(D1)과 평행한 장변과 상기 제1 방향(D1)과 실질적으로 수직하는 제2 방향(D2)과 평행한 단변을 가질 수 있다. 그러나, 상기 표시 패널(20)의 형상은 이에 한정되지 않고, 상기 제1 방향(D1)과 평행한 단변과 상기 제2 방향(D2)과 평행한 장변을 가질 수 있으며, 정사각형의 형상을 가질 수도 있다.

상기 표시 패널(20)은 매트릭스 형태로 배열된 복수의 적색(R), 녹색(G) 및 청색(B)의 화소(P)들을 포함한다. 상기 화소(P)들 사이에는 블랙 매트릭스(BM)가 형성될 수 있다. 도 3에 도시된 바와 같이, 상기 화소(P)들은 상기 제1 방향(D1)으로는 적색(R), 녹색(G) 및 청색(B)의 화소(P)들이 반복하여 배열되고, 상기 제2 방향(D2)으로는 동일한 컬러의 화소(P)들이 반복하여 배열된다.

상기 화소(P)는 직사각형 형상을 가지며, 상기 제1 방향(D1)과 평행한 단변과 상기 제2 방향(D2)과 평행한 장변을 가질 수 있다. 예를 들어, 상기 화소(P)는 상기 단변과 상기 장변의 길이의 비가 1:3일 수 있다.

상기 렌즈부(40)는 서로 평행한 렌즈 축(Ax)을 갖는 복수의 렌티큘라 렌즈들(L1, L2)을 포함하며, 상기 표시 패널(20) 상에 배치된다. 상기 렌티큘라 렌즈들(L1, L2)의 렌즈 축(Ax)은 상기 제2 방향(D2)과 평행하게 연장되거나 상기 제2 방향(D2)에 대하여 경사각(Θ)을 가지는 기울기로 연장될 수 있다.

예를 들어, 평면상에서 볼 때, 상기 렌티큘라 렌즈들(L1, L2)은 상기 제2 방향(D2)에 대하여 경사각(Θ)으로 기울어진 평행사변형의 형상일 수 있다. 상기 렌티큘라 렌즈들(L1, L2)의 렌즈 축(Ax)이 기울어진 경우, 특정 시점에서 상기 화소(P)들 사이에 형성된 블랙 매트릭스(BM)만을 보게 되는 무아레(moire) 현상을 줄일 수 있다.

상기 입체 영상 표시 장치(1)가 9 시점 영상을 표시할 때, 도 3에 도시된 바와 같이, 상기 렌티큘라 렌즈들(L1, L2)은 상기 표시 패널(20)의 상기 제1 방향(D1)으로 형성된 9 개의 화소(P)들과 대응하며 반복되어 형성될 수 있다. 이때, 상기 경사각(Θ)은 tan -1(화소(P)의 장변의 길이/화소(P)의 단변의 길이)로 정의될 수 있다. 도 3은 상기 화소(P)들 사이에 형성된 블랙 매트릭스(BM)는 편의상 생략하고 도시하였다.

상기 표시 패널(20)의 상기 제1 방향(D1)으로 형성된 9 개의 화소(P)들은 각각 9 시점과 대응되는 입체 영상의 화소 그룹들(PG1, PG2, PG3)로 정의할 수 있다. 입체 영상의 단위 화소(PU)는 3 개의 입체 영상의 화소 그룹들(PG1, PG2, PG3)을 포함한다. 따라서, 상기 입체 영상의 단위 화소(PU)는 상기 제1 방향(D1)으로 각각 9 시점과 대응되는 9 개의 화소(P)들을 갖고, 상기 제2 방향(D2)으로 각각 적색(R), 녹색(G) 및 청색(B)과 대응되는 3 개의 화소(P)들을 포함할 수 있다. 상기 표시 패널(20)의 입체 영상의 화소 그룹들(PG1, PG2, PG3)에서 상기 합성 영상(SYN)을 표시하면, 상기 렌티큘라 렌즈들(L1, L2)을 통해 서로 다른 방향성을 가지는 9 개의 입체 영상으로 출사된다.

상기 렌티큘라 렌즈들(L1, L2)은 상기 입체 영상의 화소 그룹들(PG1, PG2, PG3)과 평행하지 않으므로, 상기 표시 영역(DA)에서 상기 입체 영상이 표시될 때, 톱니 모양의 경계가 시인될 수 있다.

도 4는 도 2의 다시점 영상의 일례를 보여주기 위한 개념도이다. 도 5a 내지 도 5c는 도 4의 다시점 영상을 시인하는 경우에 각 시점에서 시인되는 화소를 보여주기 위한 개념도들이다.

도 4 내지 도 5c를 참조하면, 상기 다시점 영상부(110)에서 생성한 다시점 영상(MV) 및 각 시점과의 관계를 알 수 있다. 상기 입체 영상 표시 장치(1)가 9 시점 영상을 표시할 때, 상기 다시점 영상부(110)는 상기 다시점 영상 격자(MV grid)에서의 영상 신호들을 생성한다. 상기 다시점 영상 격자(MV grid)는 9 개의 화소 위치가 중첩되어 있고. 상기 다시점 영상 격자(MV grid)에서의 영상 신호들은 9 개의 화소들에 대한 영상 정보를 포함한다.

도 4의 다시점 영상(MV)을 시인할 때, 제1 시점, 제4 시점 및 제7 시점에서는 도 5a에 도시한 바와 같이, 제1 지점(P1), 제2 지점(P2) 및 제3 지점(P3)은 각각 적색(R), 녹색(G) 및 청색(B) 화소(P)로 시인된다. 이와 달리, 제2 시점, 제5 시점 및 제8 시점에서는 도 5b에 도시한 바와 같이, 상기 제1 내지 제3 지점들(P1, P2, P3)은 각각 녹색(G), 청색(B) 및 적색(R) 화소(P)로 시인된다. 또한, 제3 시점, 제6 시점 및 제9 시점에서는 도 5c에 도시한 바와 같이, 상기 제1 내지 제3 지점들(P1, P2, P3)은 각각 청색(B), 적색(R), 녹색(G) 화소(P)로 시인된다.

도 6은 도 2의 다시점 영상의 다시점 영상 격자 및 합성 영상의 합성 영상 격자를 보여주기 위한 개념도이다.

상기 다시점 영상부(110)는 상기 표시 영역(DA)에 대응하는 다시점 영상 격자(MV grid)에서의 영상 신호들을 출력하고, 상기 합성 영상부(150)는 합성 영상 격자(SYN grid)에서의 영상 신호들을 출력한다.

참고로, 도 6에 도시된 입체 영상 격자(3D grid)는 상기 합성 영상(SYN)이 상기 렌즈부(40)를 통하여 입체 영상으로 표시될 때, 상기 입체 영상의 화소 그룹들(PG1, PG2, PG3)의 중심의 위치이다. 도 6에 도시된 바와 같이, 상기 다시점 영상 격자(MV grid)와 상기 입체 영상 격자(3D grid)의 위치가 다르므로, 합성 영상 격자(SYN grid)에서의 영상 신호들을 내삽법을 이용하여 출력할 수 있다.

상기 테두리 형성부(130)는 상기 각 다시점 영상(MV)들에 가상의 테두리를 형성한다. 상기 테두리는 상기 표시 영역(DA)의 외각부 주변에 다시점 영상 격자(MV grid)에서의 영상 신호들을 블랙 계조에 대응하는 영상 신호들로 설정하여 형성할 수 있다. 상기 테두리는 상기 표시 영역(DA) 이외의 주변 영역(PA)에 대응하거나, 상기 표시 영역(DA)의 외각으로부터 안쪽으로 1 내지 2 화소(P)에 대응할 수 있다.

구체적으로, 상기 테두리 형성부(130)는 상기 표시 영역(DA) 이외의 주변 영역(PA)에 대응하는 다시점 영상 격자(MV grid)에서의 영상 신호들을 블랙 계조에 대응하는 영상 신호들로 설정할 수 있다. 이 경우, 상기 다시점 영상(MV)들의 테두리는 상기 표시 영역(DA)의 외부로 확장된다.

또는, 상기 테두리 형성부(130)는 상기 표시 영역(DA)의 외각으로부터 안쪽으로 1 내지 2 화소(P)에 대응하는 다시점 영상 격자(MV grid)에서의 영상 신호들을 블랙 계조에 대응하는 영상 신호들로 설정할 수 있다.

또는, 상기 테두리 형성부(130)는 상기 표시 영역(DA) 이외의 주변 영역(PA)에 대응하는 다시점 영상 격자(MV grid)에서의 영상 신호들 및 상기 표시 영역(DA)의 외각으로부터 안쪽으로 1 내지 2 화소(P)에 대응하는 다시점 영상 격자(MV grid)에서의 영상 신호들을 블랙 계조에 대응하는 영상 신호들로 설정할 수 있다. 예를 들어, 상기 블랙 계조에 대응하는 값은 0 계조일 수 있다.

상기 테두리 형성부(130)는 상기 테두리가 설정된 다시점 영상(BMV)들을 상기 합성 영상부(150)에 제공한다. 상기 합성 영상부(150)는 상기 테두리가 설정된 다시점 영상(BMV)들을 이용하여 상기 합성 영상 격자(SYN grid)에서의 영상 신호들을 내삽한다. 따라서, 상기 입체 영상의 화소 그룹들(PG1, PG2, PG3)과 상기 렌티큘라 렌즈(L1, L2)가 평행하지 않음에 따라 발생하는 톱니 모양의 경계가 블랙으로 시인되어, 표시 품질을 향상시킬 수 있다.

상기 합성 영상부(150)는 상기 합성 영상 격자(SYN grid)에서의 영상 신호를 상기 합성 영상 격자(SYN grid)와 가장 가까운 4 개의 다시점 영상 격자(MV grid)에서의 영상 신호들을 이용하여 내삽할 수 있다.

상기 3차 내삽법을 이용하기 위해 우선 상기 합성 영상(SYN)의 변환 스케일(scale) 및 변환 오프셋(offset)을 계산한다. 상기 합성 영상(SYN)의 행 변환 스케일 및 열 변환 스케일은 각각 다음의 수학식 1 및 수학식 2와 같이 정의될 수 있다.

[수학식 1]

행 변환 스케일 = 다시점 영상 격자들의 행 개수/합성 영상 격자들의 행 개수

[수학식 2]

열 변환 스케일 = 다시점 영상 격자들의 열 개수/합성 영상 격자들의 열 개수

또한, 상기 합성 영상(SYN)의 행 변환 오프셋 및 열 변환 오프셋은 각각 다음의 수학식 3 및 수학식 4와 같이 정의될 수 있다.

[수학식 3]

행 변환 오프셋 = {1-행 변환 스케일}/2

[수학식 4]

열 변환 오프셋 = {1-열 변환 스케일}/2

이어, 상기 합성 영상 격자(SYN grid)에서의 색 번호 및 시점 번호를 계산한다. 상기 합성 영상 격자(SYN grid)에서의 색 번호 및 시점 번호는 각각 다음의 수학식 5 및 수학식 6과 같이 정의될 수 있다.

[수학식 5]

색 번호 = mod{열 번호-1, 3}+1

[수학식 6]

시점 번호 = mod{열 번호-행 번호+시점 오프셋, 시점수}+1

여기서, Mod{a, b}는 a를 b로 나눈 나머지이며, 시점 오프셋은 1과 시점수 사이의 정수이다.

이어, 상기 합성 영상(SYN)의 변환 스케일 및 변환 오프셋을 기초로 상기 합성 영상의 변위를 계산한다. 우선, 상기 합성 영상(SYN)의 행 변위 및 열 변위를 계산하기 위해 상기 합성 영상(SYN)의 행 위치 및 열 위치를 계산한다. 상기 합성 영상(SYN)의 행 위치 및 열 위치는 각각 다음의 수학식 7 및 수학식 8과 같이 정의될 수 있다.

[수학식 7]

행 위치 = 행 번호*행 변환 스케일+행 변환 오프셋

[수학식 8]

열 위치 = 열 번호*열 변환 스케일+열 변환 오프셋

상기 계산된 합성 영상(SYN)의 행 위치 및 열 위치를 이용하여 각각 행 변위 및 열 변위를 계산한다. 상기 행 변위 및 열 변위는 각각 다음의 수학식 9 및 수학식 10과 같이 정의될 수 있다.

[수학식 9]

행 변위 = 행 위치-floor{행 위치}

[수학식 10]

열 변위 = 열 위치-floor{열 위치}

여기서, floor{c}는 c의 소수점 이하 버림이다.

상기 다시점 영상부(110)는 상기 계산된 상기 합성 영상(SYN)의 변위, 상기 합성 영상 격자(SYN grid)에서의 색 번호 및 시점 번호를 기초로 상기 합성 영상 격자(SYN grid)에서의 영상 신호들을 내삽할 수 있다. 상기 내삽은 일반적으로 공지된 선형(bilinear) 내삽법 또는 3차(bicubic) 내삽법을 이용할 수 있다.

상기 다시점 영상부(110)는 상기와 같은 내삽에 의하여 상기 합성 영상 격자(SYN grid)에서의 영상 신호들을 효율적으로 계산할 수 있으므로, 계산 로드를 줄일 수 있다.

도 7은 도 1의 입체 영상 표시 장치에서 수행되는 입체 영상 표시 방법을 설명하는 흐름도이다. 도 8 및 도 9는 도 7의 다시점 영상들을 내삽하여 합성 영상으로 변환하는 단계를 설명하는 상세 흐름도이다.

도 7을 참조하면, 상기 다시점 영상부(110)는 상기 평면 및 깊이 영상들(2.5D)을 기초로 N 개의 다시점 영상(MV)들을 생성한다(단계 S100).

상기 N은 상기 입체 영상 표시 장치(1)의 시점수로서, 2 이상의 자연수이다. 본 실시예에 의한 입체 영상 표시 장치(1)는 9 시점 영상을 표시하는 것으로 가정한다. 관찰자 관점에서 오른쪽으로부터 제1 시점 내지 제9 시점이라고 정의한다.

상기 다시점 영상(MV)들은 상기 표시 영역(DA)에 대응하는 다시점 영상 격자(MV grid)에서의 영상 신호들을 포함한다. 상기 다시점 영상 격자(MV grid)는 9 개의 화소 위치가 중첩되어 있고. 상기 다시점 영상 격자(MV grid)에서의 영상 신호들은 9 개의 화소들에 대한 영상 정보를 포함한다. 상기 다시점 영상부(110)에서 형성된 다시점 영상(MV)들은 상기 테두리 형성부(130)로 제공된다.

상기 테두리 형성부(130)는 상기 표시 영역(PA)의 외각부 주변에 상기 각 다시점 영상(MV)들의 테두리를 형성하고, 상기 테두리가 형성된 다시점 영상(BMV)들을 상기 합성 영상부(150)에 제공한다(단계 S300).

상기 합성 영상부(150)는 상기 테두리 형성부(130)로부터 제공되는 테두리가 설정된 다시점 영상(BMV)들을 합성 영상(SYN)으로 변환한다(단계 S500).

상기 합성 영상부(150)는 상기 다시점 영상 격자(MV grid)에서의 영상 신호들을 이용하여 합성 영상 격자(SYN grid)에서의 영상 신호들을 내삽한다.

도 8 및 도 9를 참조하면, 상기 합성 영상 격자(SYN grid)에서의 영상 신호 계산은 우선 상기 합성 영상(SYN)의 변환 스케일(scale) 및 변환 오프셋(offset)을 계산한다(단계 S510). 상기 합성 영상(SYN)의 행 변환 스케일 및 열 변환 스케일은 각각 상기 수학식 1 및 수학식 2와 같이 정의될 수 있다(단계 S510a). 또한, 상기 합성 영상(SYN)의 행 변환 오프셋 및 열 변환 오프셋은 각각 상기 수학식 3 및 수학식 4와 같이 정의될 수 있다(단계 S510b).

이어, 상기 합성 영상 격자(SYN grid)에서의 색 번호 및 시점 번호를 계산한다(단계 S530). 상기 합성 영상 격자(SYN grid)에서의 색 번호 및 시점 번호는 각각 상기 수학식 5 및 수학식 6과 같이 정의될 수 있다(단계 S530a 및 단계 S530b).

이어, 상기 합성 영상(SYN)의 변환 스케일 및 변환 오프셋을 기초로 상기 합성 영상의 변위를 계산한다(단계 S550). 우선, 상기 합성 영상(SYN)의 행 변위 및 열 변위를 계산하기 위해 상기 합성 영상(SYN)의 행 위치 및 열 위치를 계산한다(단계 S550a). 상기 합성 영상(SYN)의 행 위치 및 열 위치는 각각 상기 수학식 7 및 수학식 8과 같이 정의될 수 있다. 상기 계산된 합성 영상(SYN)의 행 위치 및 열 위치를 이용하여 각각 행 변위 및 열 변위를 계산한다(단계 S550b). 상기 행 변위 및 열 변위는 각각 상기 수학식 9 및 수학식 10과 같이 정의될 수 있다.

상기 계산된 상기 합성 영상(SYN)의 변위, 상기 합성 영상 격자(SYN grid)에서의 색 번호 및 시점 번호를 기초로 상기 합성 영상 격자(SYN grid)에서의 영상 신호들을 내삽할 수 있다(단계 S570). 상기 내삽은 일반적으로 공지된 선형(bilinear) 내삽법 또는 3차(bicubic) 내삽법을 이용할 수 있다.

상기와 같은 입체 영상 변환 방법을 이용하는 경우, 상기 합성 영상 격자(SYN grid)에서의 영상 신호들은 상기와 같은 내삽에 의하여 효율적으로 계산할 수 있으므로, 계산 로드를 줄일 수 있다.

상기 합성 영상(SYN)은 표시 패널(20)에 대하여 소정 각도로 기울어진 렌즈부(40)를 통하여 상기 표시 영역(DA)에서 입체 영상으로 표시된다(단계 S700). 상기 합성 영상(SYN)은 상기 테두리가 설정된 다시점 영상(BMV)들로부터 변환되므로, 상기 입체 영상의 경계에 톱니 모양이 시인되는 현상을 감소시킬 수 있다.

이상에서 설명한 바와 같이, 본 발명에 따른 입체 영상 표시 방법은 내삽법을 이용하므로, 평면 영상을 입체 영상으로 변환하는데 필요한 계산을 줄일 수 있다. 또한, 다시점 영상에서 테두리를 형성한 후 입체 영상으로 변환한다. 따라서, 입체 영상의 경계에 톱니 모양이 시인되는 현상을 감소시켜, 표시 품질을 향상시킬 수 있다.

이상에서는 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

1: 입체 영상 표시 장치 10: 입체 영상 변환 장치
20: 표시 패널 40: 렌즈부
30: 제어부 50: 표시 구동부
60: 광원부 70: 광원 구동부
110: 다시점 영상부 130: 테두리 형성부
150: 합성 영상부

Claims

외부로부터 입력되는 평면 영상 및 깊이 영상을 기초로 N 개의 다시점 영상들을 생성하는 단계(N은 2 이상의 자연수);
표시 영역의 외각부 주변에 상기 다시점 영상들의 테두리를 형성하는 단계; 및
상기 테두리가 형성된 다시점 영상들을 내삽(interpolation)하여 합성 영상으로 변환하는 단계를 포함하는 입체 영상 변환 방법.
제1항에 있어서, 상기 N 개의 다시점 영상들을 생성하는 단계는,
상기 표시 영역에 대응하는 다시점 영상 격자에서의 영상 신호들을 생성하는 것을 특징으로 하는 입체 영상 변환 방법.
제2항에 있어서, 상기 표시 영역의 외각부 주변에 상기 다시점 영상들의 테두리를 형성하는 단계는,
상기 표시 영역 이외의 주변 영역에 대응하는 다시점 영상 격자에서의 영상 신호들을 블랙 계조에 대응하는 영상 신호들로 설정하는 것을 특징으로 하는 입체 영상 변환 방법.
제3항에 있어서, 상기 표시 영역의 외각부 주변에 상기 다시점 영상들의 테두리를 형성하는 단계는,
상기 표시 영역의 외각으로부터 안쪽으로 1 내지 2 화소에 대응하는 다시점 영상 격자에서의 영상 신호들을 블랙 계조에 대응하는 영상 신호들로 설정하는 단계를 더 포함하는 것을 특징으로 하는 입체 영상 변환 방법.
제2항에 있어서, 상기 표시 영역의 외각부 주변에 상기 다시점 영상들의 테두리를 형성하는 단계는,
상기 표시 영역의 외각으로부터 안쪽으로 1 내지 2 화소에 대응하는 다시점 영상 격자에서의 영상 신호들을 블랙 계조에 대응하는 영상 신호들로 설정하는 것을 특징으로 하는 입체 영상 변환 방법.
제2항에 있어서, 상기 테두리가 형성된 다시점 영상들을 내삽하여 합성 영상으로 변환하는 단계는,
가장 가까운 4 개의 다시점 영상 격자에서의 영상 신호들을 이용하여 합성 영상 격자에서의 영상 신호들을 내삽하는 단계를 포함하는 것을 특징으로 하는 입체 영상 변환 방법.
제6항에 있어서, 상기 합성 영상 격자에서의 영상 신호들을 내삽하는 단계는,
상기 합성 영상의 변환 스케일(scale) 및 변환 오프셋(offset)을 계산하는 단계;
상기 합성 영상 격자에서의 색 번호 및 시점 번호를 계산하는 단계;
상기 합성 영상의 변환 스케일 및 변환 오프셋을 기초로 상기 합성 영상의 변위를 계산하는 단계; 및
상기 합성 영상의 변위, 상기 합성 영상 격자에서의 색 번호 및 시점 번호를 기초로 상기 합성 영상 격자에서의 영상 신호들을 내삽하는 단계를 포함하는 것을 특징으로 하는 입체 영상 변환 방법.
제7항에 있어서, 상기 합성 영상의 변환 스케일 및 변환 오프셋을 계산하는 단계는,
하기 식 (1)과 같이 행 변환 스케일을 계산하고, 하기 식 (2)와 같이 열 변환 스케일을 계산하는 단계; 및
하기 식 (3)과 같이 행 변환 오프셋을 계산하고, 하기 식 (4)와 같이 열 변환 오프셋을 계산하는 단계를 포함하고,
행 변환 스케일 = 다시점 영상 격자들의 행 개수/합성 영상 격자들의 행 개수 (1)
열 변환 스케일 = 다시점 영상 격자들의 열 개수/합성 영상 격자들의 열 개수 (2)
행 변환 오프셋 = {1-행 변환 스케일}/2 (3)
열 변환 오프셋 = {1-열 변환 스케일}/2 (4)
인 것을 특징으로 하는 입체 영상 변환 방법.
제8항에 있어서, 상기 합성 영상 격자에서의 색 번호 및 시점 번호를 계산하는 단계는,
하기 식 (5)와 같이 상기 색 번호를 계산하는 단계; 및
하기 식 (6)과 같이 상기 시점 번호를 계산하는 단계를 포함하고,
색 번호 = mod{열 번호-1, 3}+1 (5)
시점 번호 = mod{열 번호-행 번호+시점 오프셋, 시점수}+1 (6)
Mod{a, b}는 a를 b로 나눈 나머지이며, 시점 오프셋은 1과 시점수 사이의 정수인 것을 특징으로 하는 입체 영상 변환 방법.
제9항에 있어서, 상기 합성 영상의 변환 스케일 및 변환 오프셋을 기초로 상기 합성 영상의 변위를 계산하는 단계는,
하기 식 (7)과 같이 상기 행 위치를 계산하고, 하기 식 (8)과 같이 상기 열 위치를 계산하는 단계; 및
상기 행 위치를 이용하여 하기 식 (9)와 같이 행 변위를 계산하고, 상기 열 위치를 이용하여 하기 식 (10)과 같이 열 변위를 계산하는 단계를 포함하고,
행 위치 = 행 번호*행 변환 스케일+행 변환 오프셋 (7)
열 위치 = 열 번호*열 변환 스케일+열 변환 오프셋 (8)
행 변위 = 행 위치-floor{행 위치} (9)
열 변위 = 열 위치-floor{열 위치} (10)
floor{c}는 c의 소수점 이하 버림인 것을 특징으로 하는 입체 영상 변환 방법.
제1항에 있어서, 상기 내삽은 선형(bilinear) 내삽법 또는 3차(bicubic) 내삽법을 이용하는 것을 특징으로 하는 입체 영상 변환 방법.
외부로부터 입력되는 평면 영상 및 깊이 영상을 기초로 N 개의 다시점 영상들을 생성하는 단계(N은 2 이상의 자연수);
표시 영역의 외각부 주변에 상기 다시점 영상들의 테두리를 형성하는 단계;
상기 테두리가 형성된 다시점 영상들을 내삽하여 합성 영상으로 변환하는 단계; 및
표시 패널에 대하여 소정 각도로 기울어진 렌티큘라 렌즈를 통하여 상기 합성 영상을 상기 표시 영역에서 입체 영상으로 표시하는 단계를 포함하는 입체 영상 표시 방법.
제12항에 있어서, 상기 표시 영역의 외각부 주변에 상기 다시점 영상들의 테두리를 형성하는 단계는,
상기 표시 영역 이외의 주변 영역에 대응하는 다시점 영상 격자에서의 영상 신호들을 블랙 계조에 대응하는 영상 신호들로 설정하는 것을 특징으로 하는 입체 영상 표시 방법.
제13항에 있어서, 상기 표시 영역의 외각부 주변에 상기 다시점 영상들의 테두리를 형성하는 단계는,
상기 표시 영역의 외각으로부터 안쪽으로 1 내지 2 화소에 대응하는 다시점 영상 격자에서의 영상 신호들을 블랙 계조에 대응하는 영상 신호들로 설정하는 단계를 더 포함하는 것을 특징으로 하는 입체 영상 표시 방법.
제12항에 있어서, 상기 표시 영역의 외각부 주변에 상기 다시점 영상들의 테두리를 형성하는 단계는,
상기 표시 영역의 외각으로부터 안쪽으로 1 내지 2 화소에 대응하는 다시점 영상 격자에서의 영상 신호들을 블랙 계조에 대응하는 영상 신호들로 설정하는 것을 특징으로 하는 입체 영상 표시 방법.
외부로부터 입력되는 평면 영상 및 깊이 영상을 기초로 N 개의 다시점 영상들을 생성하는 다시점 영상부(N은 2 이상의 자연수);
표시 영역의 외각부 주변에 상기 다시점 영상들의 테두리를 형성하는 테두리 형성부;
상기 테두리가 형성된 다시점 영상들을 내삽하여 합성 영상으로 변환하는 합성 영상부; 및
소정 각도로 기울어진 렌티큘라 렌즈를 통하여 상기 합성 영상을 상기 표시 영역에서 입체 영상으로 표시하는 표시 패널을 포함하는 입체 영상 표시 장치.
제16항에 있어서, 상기 렌티큘라 렌즈는 한 쌍의 대변이 상기 표시 패널의 모서리와 평행한 평행사변형의 형상을 갖는 것을 특징으로 하는 입체 영상 표시 장치.
제17항에 있어서, 상기 N은 9이며,
상기 렌티큘라 렌즈의 폭은 상기 표시 패널의 9 개의 화소들과 대응하며 복수개 배열되는 것을 특징으로 하는 입체 영상 표시 장치.
제16항에 있어서, 상기 테두리 형성부는,
상기 표시 영역 이외의 주변 영역에 대응하는 다시점 영상 격자에서의 영상 신호들을 블랙 계조에 대응하는 영상 신호들로 설정하는 것을 특징으로 하는 입체 영상 표시 장치.
제16항에 있어서, 상기 테두리 형성부는,
상기 표시 영역의 외각으로부터 안쪽으로 1 내지 2 화소에 대응하는 다시점 영상 격자에서의 영상 신호들을 블랙 계조에 대응하는 영상 신호들로 설정하는 것을 특징으로 하는 입체 영상 표시 장치.