KR19980031957A

KR19980031957A - 텔레비젼 신호로부터 삼차원 동영상을 발생시키는 장치

Info

Publication number: KR19980031957A
Application number: KR1019960051829A
Authority: KR
Inventors: 김도균
Original assignee: 김광호; 삼성전자 주식회사
Priority date: 1996-10-31
Filing date: 1996-10-31
Publication date: 1998-07-25
Also published as: KR100400209B1

Abstract

TV 신호로부터 삼차원 동영상을 발생시키는 장치가 개시된다. TV신호로부터 삼차원 동영상을 발생시키는 장치는 TV신호로부터 움직임을 추출하기 위해 연속된 프레임을 일정기간동안 저장하는 프레임 저장부, 연속된 프레임으로부터 움직임을 추출하고 이로부터 깊이 맵(depth map)을 획득하는 움직임 추정기, 깊이 맵으로부터 영상내의 물체를 삼차원으로 모델링하는 물체 모델러; 획득한 삼차원 모델을 저장하는 삼차원 모델 저장부, 좌안/우안의 시점을 발생시키는 시점 발생기, 시점에 따라 삼차원 모델을 투영하고 렌더링하여 좌안 영상과 우안 영상을 발생시키는 모델 투영기, 보는 이의 머리의 움직임을 추정하는 머리 움직임 추정기, 좌안 영상과 우안 영상을 각각 TV신호의 짝수/홀수 필드에 배치하는 필드 생성기, 생성된 TV신호를 보는 이의 LCD 셔터 글래스와 동기화하여 재생하는 TV를 포함함을 특징으로 한다. 따라서, 현재 프레임에 움직임이 없어도 입체감을 구현하며 보는 이의 시점에 따라 적절한 삼차원 영상을 구현하는 삼차원 동영상을 발생시키며, TV신호로부터 삼차원 동영상을 발생시킴에 있어 필요한 영상처리가 실시간에 구현될 수 있다는 효과를 갖는다.

Description

텔레비젼(TV) 신호로부터 삼차원 동영상을 발생시키는 장치

본 발명은 텔레비젼(TV) 신호로부터 삼차원 동영상을 발생시키는 장치에 관한 것으로서, 더욱 상세하게는 임의의 2차원 TV신호로부터 삼차원 정보를 획득하여 보는 이의 위치에 따라 알맞은 삼차원 영상을 구축하여 이 삼차원 영상으로부터 각각 보는 이의 좌안(left eye)과 우안(right eye)에 투사될 영상을 생성하고, 이를 TV 신호의 짝수/홀수 필드(even/odd field)에 배치하여 LCD(Liquid Crystal Display) 셔터 글래스(shutter glass)를 착용하고 있는 사람으로 하여금 실제와 같은 삼차원 입체감을 느끼게 하는 TV신호로부터 삼차원 동영상을 발생시키는 장치에 관한 것이다.

종래의 TV신호로부터 삼차원 동영상을 발생시키는 장치는 TV신호로부터 과거의 임의의 숫자의 프레임을 그 순서별로 저장하고 있다가 현재 프레임에서 움직임(motion)의 양을 측정하여 그 양이 상대적으로 크면 저장하고 있던 가장 과거의 프레임을 하나 선택하고, 그 양이 상대적으로 감소할수록 더 현재 프레임에 가까운 영상을 선택하여 이를 좌안을 위한 영상으로 이용하고 현재 프레임을 우안을 위한 영상으로 선택하여 각각을 짝수/홀수 필드에 배치하는 방식으로 입체감을 구현하였다.

즉, 움직임 차이를 이용하여 양안 시차를 발생시켜 사람으로 하여금 입체감을 느끼도록 하는 것이다. 따라서 만약 현재 프레임에서 움직임이 없는 경우에는 양안 시차를 발생시킬 수 없으므로 입체감을 구현할 수 없다. 또한, 원래의 TV신호로부터의 영상을 아무처리없이 그대로 이용하므로 보는 이의 시점이 임의의 위치로 이동하여도 그에 알맞은 삼차원 영상을 나타낼 수가 없는 단점이 있다.

본 발명은 상기의 문제점을 해결하기 위하여 창출된 것으로서, 현재 프레임에 움직임이 없어도 입체감을 구현하며 보는 이의 시점에 따라 알맞은 삼차원 영상을 구현하는 삼차원 동영상 발생장치를 제공하는 것을 그 목적으로 한다.

본 발명의 다른 목적은 TV신호로부터 삼차원 동영상을 발생시킴에 있어 필요한 영상처리가 실시간에 구현될 수 있도록 하는 삼차원 동영상 발생장치를 제공하는 것에 있다.

상기의 목적을 달성하는 본 발명에 따른 TV신호로부터 삼차원 동영상을 발생시키는 장치는, TV신호로부터 움직임을 추출하기 위해 연속된 프레임을 일정기간동안 저장하는 프레임 저장부; 연속된 프레임으로부터 움직임을 추출하고 이로부터 깊이 맵을 획득하는 움직임 추정기; 상기 깊이 맵으로부터 영상내의 물체를 삼차원으로 모델링하는 물체 모델러; 획득한 삼차원 모델을 저장하는 삼차원 모델 저장부; 좌안/우안의 시점을 발생시키는 시점 발생기; 시점에 따라 삼차원 모델을 투영하고 렌더링하여 좌안 영상과 우안 영상을 발생시키는 모델 투영기; 보는 이의 머리의 움직임을 추정하는 머리 움직임 추정기; 좌안 영상과 우안 영상을 각각 TV신호의 짝수/홀수 필드에 배치하는 필드 생성기; 및 생성된 TV신호를 보는 이의 LCD 셔터 글래스와 동기화하여 재생하는 TV를 포함함을 특징으로 한다.

도 1은 본 발명에 따른 TV신호로부터 삼차원 동영상을 발생시키는 장치의 구성을 보이는 블록도이다.

도 2는 도 1에 표시된 움직임 추정기의 상세한 구성을 보이는 블록도이다.

도 3은 도 1에 표시된 모델 투영기의 상세한 구성을 보이는 블록도이다.

도 4는 도 1에 표시된 필드 생성기의 상세한 구성을 보이는 블록도이다.

이하, 첨부된 도면을 참조하여 본 발명의 특징 및 효과를 상세히 설명한다.

도 1은 본 발명에 따른 TV신호로부터 삼차원 동영상을 발생시키는 장치의 구성을 보이는 블록도이다. 도 1에 있어서, 삼차원 동영상 발생장치는 프레임 저장부(10), 움직임 추정기(11), 물체 모델러(12), 삼차원 모델 저장부(13), 시점 발생기(14), 모델 투영기(15), 머리 움직임 추정기(16), 필드 생성기(17), 입체 TV(18)로 구성된다.

도 1에 있어서, 프레임 저장부(10)는 일반 TV신호로부터 연속된 프레임을 저장한다.

움직임 추정부(11)는 프레임 저장부(10)로부터 연속된 프레임을 획득하여 영상의 움직임을 추정하고 이로부터 깊이를 추출하여 깊이 맵을 생성한다.

물체 모델러(12)는 움직임 추정부(11)로부터 발생된 깊이 맵을 이용하여 삼차원 모델을 구한다. 이는 패치 모델(patch model)이나 삼각형 모델(triangular model)을 이용하여 구해질 수 있다.

삼차원 모델 저장부(13)는 이전 프레임의 물체 모델을 저장하고 있다. 만약 움직임 추정부(11)가 현재 프레임에서 움직임이 없음을 나타내면 삼차원 모델 저장부(13)에 저장되었던 삼차원 모델이 모델 투영기(15)에 입력된다.

시점 발생기(14)는 머리 움직임 추정부(16)에서 입력된 머리의 위치에 따라 알맞은 좌안과 우안의 시점을 발생시킨다.

모델 투영기(15)는 시점 발생기(14)에서 입력된 시점에 따라 물체 모델러(12) 혹은 삼차원 모델 저장부(13)에서 입력된 삼차원 모델을 투영하고 랜더링한다.

머리 움직임 추정기(16)는 CCD(Charge-Coupled Device) 카메라로부터 입력된 머리의 움직임, 즉 시점의 움직임을 추정하고 그 위치를 시점 발생기(14)에 제공한다.

필드 생성기(17)는 모델 투영기(15)에서 입력된 좌안/우안 영상을 TV신호의 필드에 순차적으로 배열한다.

입체 TV(18)는 일반 TV와 같은 TV신호를 입력으로 한다. 단, 보는 이가 착용하고 있는 LCD 셔터 글래스와 동기를 이루기 위해 동기신호를 발생시킨다.

도 2는 도 1에 표시된 움직임 추정부(11)의 상세한 구성을 보이는 블록도이다. 도 2에 있어서, 움직임 추정부(11)는 움직임 검출기(20), 이차원 움직임 추정기(22), 움직임 분할부(24), 삼차원 움직임 추정기(26), 깊이 맵 생성기(28)로 구성된다.

도 2에 있어서, 움직임 검출기(20)는 프레임 저장부(10)으로부터 입력된 연속된 프레임으로부터 움직임을 검출한다. 움직임을 검출하는 식은 다음 수학식 1과 같다.

상기 수학식 1에서, I는 영상의 밝기, n1, n2는 각각 영상의 가로, 세로 크기, t는 시간을 나타낸다.

만약 수학식 1의 결과값이 임의의 문턱값보다 크다면 연속된 프레임을 이차원 움직임 추정기(22)로 제공하고, 문턱값보다 작다면 움직임 추정기(11)의 모든 과정을 거치지 않고 삼차원 모델 저장부(13)로 직접 이동한다. 그러므로 연속된 프레임에서 움직임이 발생하지 않는 경우에는 과거에 이미 획득한 삼차원 모델을 사용하므로서 삼차원 모델을 얻기 위한 처리 시간을 단축하고 여전히 삼차원 모델을 가지고 있을 수 있다.

이차원 움직임 추정기(22)는 움직임 검출기(20)에서 움직임이 있다고 판정된 연속된 프레임으로부터 이차원 움직임을 추정한다. 이는 광학적 흐름(optical flow)을 획득하는 것을 의미한다. 즉, 프레임 영상들간의 2차원 움직임을 속도 벡터나 이동 필드로 구한다.

움직임 분할기(24)는 추정된 이차원 움직임으로부터 3차원 움직임 모델(3D motion model)에 근거하여 각각의 독립된 움직임들을 찾아내고 이들을 각각 확정한다. 여기서, 움직임 분할기(24)는 삼차원 움직임 추정기(26)와 하나로 구현될 수도 있다.

삼차원 움직임 추정기(26)는 움직임 분할기(24)에서 확정된 각각의 움직임에 대하여 각각의 삼차원 움직임들을 추정한다.

깊이 맵 생성기(28)는 삼차원 움직임 추정기(26)에서 추정한 삼차원 움직임으로부터 각 픽셀들에 대한 상대적 깊이를 구한다.

도 3은 도 1에 표시된 모델 투영기(15)의 상세한 구성을 보이는 블록도이다. 도 3에 있어서, 모델 투영기(15)는 시점 변화 검출기(30), 투영 제어기(32), 물체 모델 변화 검출기(34), 원근 투영기(perspective projector;36), 직각 투영기(orthographic projector;38), 랜더링부(39)로 구성된다.

도 3에 있어서, 시점 변화 검출기(30)는 시점 발생기(14)에서 제공된 좌안/우안의 시점이 이전의 시점에 비교하여 변화가 있었는가를 판별한다. 시점의 변화는 다음 수학식 2에 의해 획득한다.

상기 수학식 2에서, VP 는 시점, vp_left는 좌안 시점의 좌표, vp_right는 우안 시점의 좌표를 각각 나타낸다.

상기 수학식 2의 결과값이 임의로 정한 문턱값보다 크게되면 시점의 변화가 있었다고 판별하고 투영 제어기(32)를 구동한다. 그렇지 않다면 다음의 조건 검사를 위해 물체 모델 변화 검출기(34)를 구동한다.

투영 제어기(32)는 시점 변화 검출기(30)이나 물체 모델 변화 검출기(34)에서 구동 신호를 받으면 물체 모델러(12)나 삼차원 모델 저장부(13)에서 제공되는 삼차원 모델을 어떤 방법으로 투영할 것인가를 결정한다. 만약 물체 내에서의 상대적인 깊이의 변화가 카메라에서 물체까지의 거리에 비해 매우 작을 경우 (1/100 이하) 모델 투영기(32)는 삼차원 모델 데이터를 직각 투영기(38)에 제공한다. 그렇지 않다면 원근 투영기(36)에 제공한다.

물체 모델 변화 검출기(34)는 현재의 삼차원 모델이 이전에 입력된 삼차원 모델과 같은지를 판별한다. 만약 삼차원 모델이 삼차원 모델 저장부(13)에서 제공된다면 이는 삼차원 모델의 변화가 없음을 의미한다. 그러므로 만약 시점 변화 검출기(30)에서 시점의 변화가 없고 물체 모델 변화 검출기(34)에서 모델의 변화가 없다면 투영 제어기(32) 및 원근 투영기(36), 직각 투영기(38)를 통과하지 않고 필드 생성기(17)로 'N' 신호와 함께 진행한다. 이것은 TV신호가 움직임을 많이 포함하지 않은 경우에 처리 시간을 줄일 수 있다.

원근 투영기(36)는 투영 제어기(32)에서 제공한 삼차원 모델 데이터와 시점 변화 검출기(30)에서 제공한 시점의 변화를 가지고 각각 좌안/ 우안 시점에 상응하는 좌안/우안 원근 투영 영상을 제공한다.

시점의 변화는 보는 이의 화면에 대한 회전각으로 표시될 수 있으며 이 회전각에 따른 삼차원 모델의 좌표 변환은 다음 수학식 3과 같다.

X' = RX

상기 수학식 3에서, X' 는 변환된 삼차원 모델의 좌표, R 은 회전 행렬, X 는 원래의 삼차원 모델의 좌표를 각각 나타낸다.

상기 수학식 3을 이용하여 삼차원 좌표를 시점의 변화에 따라 변환한 후, 투영 영상을 생성한다. 원근 투영을 위한 식은 다음 수학식 4와 같다.

상기 수학식 4에서, x,y 는 각각 투영 영상의 x,y 좌표, X,Y,Z 는 각각 삼차원 모델의 x,y,z 좌표, f 는 초점 거리를 각각 나타낸다.

직각 투영기(38)는 원근 투영기(36)와 투영을 위한 식을 제외하고는 동일한 기능을 수행한다. 직각 투영을 위한 식은 다음 수학식 5와 같다.

x=X, y=Y

상기 수학식 5에서, x,y 는 각각 투영 영상의 x,y 좌표, X,Y 는 각각 삼차원 모델의 x,y 좌표를 각각 나타낸다.

랜더링부(39)는 투영된 영상의 표면에 음영처리(texture mapping)를 행한다.

도 4는 도 1에 표시된 필드 생성기(17)의 상세한 구성을 보이는 블록도이다. 도 4에 있어서, 필드 생성기(17)는 입력 판별기(40), 필드 배열기(42), 필드 저장부(44)로 구성된다.

도 4에 있어서, 입력 판별기(40)은 모델 투영기(15)에서 제공되는 입력이 새로운 좌안/우안 투영 영상인지 아니면 'N' 신호인지 판별한다. 만약 입력이 새로운 투영영상이라면 이를 필드 배열기(42)로 제공하고 그렇지 않으면 필드 저장부(44)에 신호를 제공한다.

필드 배열기(42)는 입력된 좌안/ 우안 투영 영상을 각각 짝수/홀수 필드에 배열한다.

필드 저장부(44)는 이전의 필드 배열기(42)의 출력 필드를 저장하고 있다가 입력 판별기(40)로부터 신호를 받으면 저장하고 있던 필드 배열을 출력한다.

상술한 바와 같이 본 발명에 따른 TV신호로부터 삼차원 동영상을 발생시키는 장치는 현재 프레임에 움직임이 없어도 입체감을 구현하며 보는 이의 시점에 따라 알맞은 심차원 영상을 구현하는 삼차원 동영상을 발생시키며, TV신호로부터 삼차원 동영상을 발생시킴에 있어 필요한 영상처리가 실시간에 구현될 수 있다는 효과를 갖는다.

Claims

TV신호로부터 움직임을 추출하기 위해 연속된 프레임을 일정기간동안 저장하는 프레임 저장부;

상기 연속된 프레임으로부터 움직임을 추출하고 이로부터 깊이 맵을 획득하는 움직임 추정기;

상기 깊이 맵으로부터 영상내의 물체를 삼차원으로 모델링하는 물체 모델러;

상기 획득한 삼차원 모델을 저장하는 삼차원 모델 저장부;

좌안/우안의 시점을 발생시키는 시점 발생기;

상기 시점에 따라 삼차원 모델을 투영하고 렌더링하여 좌안 영상과 우안 영상을 발생시키는 모델 투영기;

보는 이의 머리의 움직임을 추정하는 머리 움직임 추정기;

상기 좌안 영상과 상기 우안 영상을 각각 TV신호의 짝수/홀수 필드에 배치하는 필드 생성기; 및

상기 생성된 TV신호를 보는 이의 LCD 셔터 글래스와 동기화하여 재생하는 TV를 포함하는 TV신호로부터 삼차원 동영상을 발생시키는 장치.
제1항에 있어서, 상기 시점 발생기는 입체감을 주는 삼차원 영상을 생성하기 위해 보는 이의 시점 변화를 검출하여, 검출된 시점 변화에 따른 좌안/우안의 시점을 발생시키는 것을 특징으로 하는 TV신호로부터 삼차원 동영상을 발생시키는 장치.
제1항에 있어서, 상기 움직임 추정기는,

상기 프레임 저장부에서 제공되는 2차원 동영상을 입력하고, 프레임 영상들간의 움직임을 검출하는 움직임 검출부;

상기 프레임 영상들간의 2차원 움직임을 속도 벡터나 이동 필드로 구하는 2차원 움직임 추정부;

상기 2차원 움직임 추정부에서 추정된 이차원 움직임으로부터 3차원 움직임 모델에 근거하여 각각의 독립된 움직임들을 찾아내고 이들을 각각 확정하는 움직임 분할부;

상기 움직임 분할기에서 확정된 각각의 움직임에 대하여 각각의 삼차원 움직임들을 추정하는 삼차원 움직임 추정부;

상기 삼차원 움직임 추정기에서 추정한 삼차원 움직임으로부터 각 픽셀들에 대한 상대적 깊이를 구하는 깊이 맵 생성부;

실시간 처리를 위해 상기 움직임 검출부에서 움직임이 검출되지 않으면 이전에 처리한 삼차원 모델을 사용하기 위해 이를 저장하는 상기 삼차원 모델 저장부를 구비함을 특징으로 하는 TV신호로부터 삼차원 동영상을 발생시키는 장치.
제1항에 있어서, 상기 모델 투영기는,

상기 시점 발생기에서 제공된 좌안/우안의 시점이 이전의 시점에 비교하여 변화가 있었는가를 판별하는 시점 변화 검출기;

상기 시점 변화 검출기나 상기 물체 모델 변화 검출기에서 구동 신호를 받으면 상기 물체 모델러나 상기 삼차원 모델 저장부에서 제공되는 삼차원 모델을 어던 방법으로 투영할 것인가를 결정하는 투영 제어부;

현재의 삼차원 모델이 이전에 입력된 삼차원 모델과 같은지를 판별하는 물체 모델 변화 검출부;

상기 투영 제어기에서 제공한 삼차원 모델 데이터와 상기 시점 변화 검출기에서 제공한 시점의 변화를 가지고 각각 좌안/우안 시점에 상응하는 좌안/우안 원근 투영 영상을 제공하는 원근 투영부;

상기 원근 투영부와 투영을 위한 식을 제외하고는 동일한 기능을 수행하는 직각 투영부; 및

투영된 영상의 표면에 음영처리를 행하는 랜더링부를 구비하는 것을 특징으로 하는 TV신호로부터 삼차원 동영상을 발생시키는 장치.
제4항에 있어서, 상기 시점 변화 검출기와 상기 물체 모델 변화 검출기에서는 실시간 처리를 위해 시점과 물체 모델에 동시에 변화가 없으면 이전의 좌안/우안 투영 영상을 그대로 이용할 수 있도록 하는 것을 특징으로 하는 TV신호로부터 삼차원 동영상을 발생시키는 장치.
제1항에 있어서, 상기 필드 생성부는,

상기 모델 투영기에서 제공되는 입력이 새로운 좌안/우안 투영 영상인지 아니면 'N'신호인지 판별하는 입력 판별부;

입력된 좌안/우안 투영 영상을 각각 짝수/홀수 필드에 배열하는 필드 배열부; 및

이전의 상기 필드 배열기의 출력 필드를 저장하고 있다가 상기 입력 판별기로부터 신호를 받으면 저장하고 있던 필드 배열을 출력하는 필드 저장부를 구비함을 특징으로 하는 TV신호로부터 삼차원 동영상을 발생시키는 장치.
제6항에 있어서, 상기 필드 저장부는 실시간 처리를 위해 이전의 상기 필드 배열기의 출력 필드를 저장하고 있다가 상기 입력 판별기로부터 신호를 받으면 저장하고 있던 필드 배열을 출력하는 것을 특징으로 하는 TV신호로부터 삼차원 동영상을 발생시키는 장치.