KR102135914B1 - 영상 데이터 처리 방법과 이를 이용한 멀티 뷰 무안경 입체 영상 표시장치 - Google Patents

Abstract

본 발명에 따른 멀티 뷰 무안경 입체 영상 표시장치는 입력 영상 데이터의 뎁쓰 맵을 생성하는 뎁쓰 맵 생성부; 상기 뎁쓰 맵을 기초로 멀티 뷰 영상을 생성하는 멀티 뷰 영상 합성부; 상기 입력 영상 데이터의 이웃한 프레임들 간 모션 벡터를 추출한 후, 상기 모션 벡터의 크기를 미리 정해진 기준값과 비교하여 뎁쓰 제어신호를 발생하는 뎁쓰 제어부; 및 상기 뎁쓰 제어신호에 따라 상기 멀티 뷰 영상의 뎁스를 변조하는 뎁스 변조부를 구비한다.

Description

영상 데이터 처리 방법과 이를 이용한 멀티 뷰 무안경 입체 영상 표시장치{IMAGE DATA PROCESSING METHOD AND MULTI-VIEW AUTOSTEREOSCOPIC IMAGE DISPLAY USING THE SAME}

본 발명은 영상 데이터 처리 방법과 이를 이용한 멀티 뷰 무안경 입체 영상 표시장치에 관한 것이다.

텔레비젼이나 모니터와 같은 표시장치에 입체 영상 재현 기술이 적용되어 가정에서도 3D 입체 영상을 감상할 수 있는 시대가 도래하였다. 입체 영상 표시장치는 안경 방식과 무안경 방식으로 나뉘어질 수 있다. 안경 방식은 직시형 표시소자나 프로젝터에 좌우 시차 영상의 편광 방향을 바꿔서 또는 시분할 방식으로 표시하고, 편광 안경 또는 액정셔터 안경을 사용하여 입체 영상을 구현한다. 무안경 방식은 일반적으로 좌우 시차 영상의 광축을 분리하기 위한 패럴랙스 베리어(parallax barrier, 이하 "베리어"라 함), 렌티큘라 렌즈(lenticular lens, 이하 "렌즈"라 함) 등의 광학 부품을 표시 화면의 앞이나 뒤에 설치하여 입체 영상을 구현한다.

무안경 입체 영상 표시장치는 도 1과 같이 표시패널의 픽셀 어레이(PIX)와 렌즈(LENS) 사이의 배면 거리, 렌즈(LENS)의 초점 거리, 픽셀 피치(pixel pitch, Ppix), 렌즈 피치(lens pitch, Plens), 시청자의 좌안과 우안 간의 거리 등을 고려하여 시청자가 정상적으로 입체 영상을 시청할 수 있는 최적 시청 거리(Optimal Viewing Distance, OVD)가 계산된다. 도 1에서 배면 거리, 렌즈(LENS)의 초점 거리, 픽셀 피치(Ppix), 렌즈 피치(Plens), 시청자의 좌안과 우안 간의 거리 등은 상수값으로 고정된다. 시청자의 좌안과 우안 간의 거리는 성인의 평균 양안 기준인 65mm이다. 따라서, 무안경 입체 영상 표시장치에서 최적 시청 거리(OVD)는 도 1과 같이 특정 위치로 고정되어 있고, 최적 시청 거리(OVD)를 조정하려면 배면 거리나 렌즈의 초점 거리를 변경하여야 한다. 도 1에서 렌즈(LENS)를 베리어로 교체한 무안경 입체 영상 표시장치에서도 최적 시청 거리(OVD)는 특정 위치로 고정된다.

도 1에서, "REZ"는 우안 영상이 기입된 픽셀(이하, "우안 픽셀")(R)을 볼 수 있는 우안 뷰잉 존(Viewing zone)이고, "LEZ"는 픽셀 어레이(PIX)에서 좌안 영상이 기입된 픽셀(이하, "좌안 픽셀")(L)을 볼 수 있는 좌안 뷰잉 존이다. "PSUBS"는 픽셀 어레이(PIX)와 렌즈(LENS) 간의 배면 거리를 확보하기 위한 투명 기판이다.

무안경 입체 영상 표시장치는 멀티 뷰 시스템으로 구현될 수 있다. 멀티 뷰 시스템은 최적 시청 거리(OVD)에서 시청자가 표시패널의 화면을 바라 볼 때 여러 위치에서 입체 영상을 정상적으로 감상할 수 있도록 화면의 픽셀 어레이에 멀티 뷰 영상을 기입할 수 있다. 도 2에는 제1 내지 제3 뷰 영상들(1~3)이 하나의 화면에 표시된 예이다. 이웃한 뷰 영상들은 객체의 입체감을 정량적으로 표현한 뎁쓰 맵에 의해 정의된 픽셀들 간의 간격(즉, 디스패리티(disparity))만큼 동일 좌안 영상으로 보이는 픽셀 데이터와 우안 영상으로 보이는 픽셀 데이터의 간격이 설정되어 사용자로 하여금 양안 시차를 느끼게 한다. 예를 들어, 시청자는 도 2의 (a) 위치에서 화면을 바라볼 때 좌안으로 제2 뷰 영상(2)을 표시하는 픽셀들을 보게 되고, 우안으로 제1 뷰 영상(1)을 표시하는 픽셀들을 보게 되어 양안 시차를 느끼게 된다. 시청자가 도 2의 (b) 위치로 이동하면, 좌안으로 제3 뷰 영상(5)을 표시하는 픽셀들을 보게 되고, 우안으로 제2 뷰 영상(4)을 표시하는 픽셀들을 보게 되어 양안 시차를 느끼게 된다. 도 2의 (a) 및 (b)에는 정입체시 영역, 도 2의 (c)에는 역입체시 영역이 나타나 있다.

한편, 사람이 입체감 즉, 깊이감을 인식할 수 있는 시각적인 요인에는 생리적인 요인과 경험적인 요인이 있다. 생리적인 요인에는 망막의 조절(Accomodation), 폭주(Convergence), 양안시차(Binocular Disparity) 등이 있다.

경험적인 요인에는 단안 운동시차(Monocular Movement Disparity), 상의 크기(Retinal Image Size), 선 원근(Linear Perspective), 면적 원근(Areal Perspective), 상의 겹침(Overlapping), 명암(Contrast), 텍스처 구배(Texture Gradient) 등이 있다. 경험적인 요인은 객체들의 크기 차이에 따른 원근감, 객체들의 겹침에 따른 원근감, 객체들의 밝기 차이에 따른 원근감, 객체들의 선명도 차이에 따른 원근감과 같은 학습된 원근감으로 입체감을 느낀다. 예를 들어, 인간의 뇌는 원근감 학습에 의해 큰 물체와 작은 물체가 함께 보일 때 상대적으로 큰 물체를 가까운 물체로 느끼고, 물체가 겹쳐 있을 때 앞에 있는 물체를 가까운 물체로 느끼며, 밝은 물체와 어두운 물체가 동시에 보일 때 밝은 물체를 가까운 물체로 느낀다. 또한, 인간의 뇌는 원근감 학습에 의해 선명한 물체와 흐릿한 물체가 함께 보일 때 선명한 물체를 가까운 물체로 느낀다.

사람이 입체 영상 표시장치에서 재현되는 3D 입체 영상을 감상할 때 주로 생리적 요인에 의해 피로도를 심하게 느끼거나 심한 경우에 메스껍거나 두통을 느낄 수 있다. 이러한 증상의 원인은 사람이 바라 보는 객체(또는 피사체)의 상이 맺히는 위치와 초점 거리가 다르기 때문이다.

사람이 피사체를 바라볼 때 두 눈의 시선은 한 점으로 모이며, 이러한 현상을 수렴(convergence)이라 한다. 실제 상황에서 사람이 두 눈을 통해 인식하는 객체는 도 3 (a)와 같이 수렴(convergence) 위치(즉, 객체의 상이 맺히는 위치)와 망막의 초점 조절(Accomodation) 위치가 일치하기 때문에 수렴을 통해 느끼는 거리와 망막의 초점 조절을 통해 느끼는 거리가 같다. 따라서, 사람은 실제 상황에서 피로감 없이 입체감을 느낄 수 있다. 이에 비하여, 도 3의 (b)와 같이 입체 영상 표시장치의 표시패널(PNL)에 양안 시차로 분리된 좌안 영상과 우안 영상을 표시하면 망막의 초점 조절(Accomodation) 위치가 표시패널(PNL)의 화면 상에 존재하고 3D 입력 영상의 뎁쓰(depth) 정보에 따라 객체의 상이 맺히는 위치가 표시패널(PNL)의 화면 앞이나 뒤에 존재하여 두 눈의 초점 거리(L1)와 객체의 상이 맺히는 거리(L2)가 일치하지 않는다. 이렇게 두 눈의 초점 거리(L1)와 객체의 상이 맺히는 거리(L2)가 일치하지 않기 때문에 입체 영상 표시장치를 시청하는 시청자는 피로감을 느끼게 된다. 특히, 동영상에서 그 거리들(L1, L2) 간의 차가 장면 마다 변동하기 때문에 입체 영상 표시장치에 운동량이 큰 객체를 표시할 때 피로감이 더 커지고 입체 영상이 더욱 블러(blur) 해지는 등 시인성이 악화된다.

따라서, 본 발명의 목적은 객체의 움직임에 따라 뎁쓰를 조절하여 시청하기 편안한 입체 영상을 구현할 수 있도록 한 영상 데이터 처리 방법과 이를 이용한 멀티 뷰 무안경 입체 영상 표시장치를 제공하는 데 있다.

상기 목적을 달성하기 위하여, 본 발명의 실시예에 따른 멀티 뷰 무안경 입체 영상 표시장치는 입력 영상 데이터의 뎁쓰 맵을 생성하는 뎁쓰 맵 생성부; 상기 뎁쓰 맵을 기초로 멀티 뷰 영상을 생성하는 멀티 뷰 영상 합성부; 상기 입력 영상 데이터의 이웃한 프레임들 간 모션 벡터를 추출한 후, 상기 모션 벡터의 크기를 미리 정해진 기준값과 비교하여 뎁쓰 제어신호를 발생하는 뎁쓰 제어부; 및 상기 뎁쓰 제어신호에 따라 상기 멀티 뷰 영상의 뎁스를 변조하는 뎁스 변조부를 구비한다.

상기 뎁스 변조부는, 상기 멀티 뷰 영상의 뎁스를 변조하기 위해 상기 뎁쓰 제어신호에 따라 상기 뎁쓰 맵의 계조값을 보정한다.

상기 뎁스 변조부는, 상기 모션 벡터의 크기가 상기 기준값보다 큰 경우에 상기 뎁쓰 맵에 1보다 작은 가중치를 곱하여 상기 뎁쓰 맵의 계조값을 낮춘다.

상기 뎁스 변조부는, 상기 모션 벡터의 크기가 상기 기준값보다 작은 경우에 상기 뎁쓰 맵에 1보다 큰 가중치를 곱하여 상기 뎁쓰 맵의 계조값을 높인다.

상기 뎁스 변조부는, 상기 멀티 뷰 영상의 뎁스를 변조하기 위해 상기 뎁쓰 제어신호에 따라 상기 멀티 뷰 영상을 구현하는 뷰 영상들 간 계조 별 디스패러티 값을 보정한다.

상기 뎁스 변조부는, 상기 모션 벡터의 크기가 상기 기준값보다 큰 경우에 상기 계조 별 디스패러티 값에 1보다 작은 가중치를 곱하여 상기 계조 별 디스패러티 값을 감소시킨다.

상기 뎁스 변조부는, 상기 모션 벡터의 크기가 상기 기준값보다 작은 경우에 상기 계조 별 디스패러티 값에 1보다 큰 가중치를 곱하여 상기 계조 별 디스패러티 값을 증가시킨다.

상기 뎁쓰 제어부는, 상기 입력 영상 데이터의 이웃한 프레임들 간 모션 벡터를 추출하는 모션 벡터 추출부; 다수의 프레임들을 통해 추출되어 누적된 모션 벡터를 평균화 처리하는 모션 벡터 평균화부; 및 상기 평균화 처리된 모션 벡터의 크기를 상기 기준값과 비교하여 상기 뎁쓰 제어신호를 발생하는 모션 벡터 크기 비교부를 구비한다.

상기 모션 벡터 추출부는, 상기 모션 벡터를 추출하기 위해 상기 이웃한 프레임들의 좌안 영상 데이터만을 서로 비교하거나 또는, 상기 이웃한 프레임들의 우안 영상 데이터만을 서로 비교한다.

또한, 본 발명의 실시예에 따른 멀티 뷰 무안경 입체 영상 표시장치의 영상 데이터 처리 방법은 입력 영상 데이터의 뎁쓰 맵을 생성하는 단계; 상기 뎁쓰 맵을 기초로 멀티 뷰 영상을 생성하는 단계; 상기 입력 영상 데이터의 이웃한 프레임들 간 모션 벡터를 추출한 후, 상기 모션 벡터의 크기를 미리 정해진 기준값과 비교하여 뎁쓰 제어신호를 발생하는 단계; 및 상기 뎁쓰 제어신호에 따라 상기 멀티 뷰 영상의 뎁스를 변조하는 단계를 포함한다.

본 발명은 모션 벡터를 활용하여 객체의 움직임에 따라 영상의 뎁쓰를 조절함으로써 시청하기 편안한 입체 영상을 구현할 수 있음은 물론이거니와 시인성을 높일 수 있다.

도 1은 무안경 입체 영상 표시장치에서 최적 시청 거리를 보여 주는 도면.
도 2는 무안경 입체 영상 표시장치에서 구현되는 멀티 뷰 영상의 일 예를 보여주는 도면.
도 3은 무안경 입체 영상 표시장치에서 시청자의 피로도를 유발하는 원인을 보여 주는 도면.
도 4는 본 발명의 실시 예에 따른 멀티 뷰 무안경 입체 영상 표시장치를 개략적으로 보여주는 블록도.
도 5는 본 발명의 실시 예에 따른 멀티 뷰 무안경 입체 영상 표시장치에서 멀티 뷰 영상을 구현하는 일 예를 보여주는 도면.
도 6은 도 4의 영상 처리회로를 상세히 보여주는 블록도.
도 7은 본 발명의 실시 예에 따른 멀티 뷰 영상 데이터를 보여주는 일 예시도면.
도 8은 도 6의 모션 벡터 추출부의 상세 구성을 보여주는 도면.
도 9는 영상 비교 방식의 일 예로서 SAD 방식을 보여주는 도면.
도 10은 SAD 방식 등을 통해 이웃한 프레임들 간의 좌안 영상들(또는 우안 영상들)을 서로 비교하여 모션 벡터를 추출하는 것을 보여주는 도면.
도 11은 동일 프레임을 구성하는 좌안 영상과 우안 영상을 서로 비교하여 뎁쓰 정보를 추출하는 것을 보여주는 도면.
도 12는 뎁쓰 맵 생성부에서 생성된 뎁쓰 맵의 일 예를 보여주는 도면.
도 13은 뎁쓰 맵 생성부에 포함되는 뎁쓰 변조부를 이용하여 뎁쓰 맵의 계조값을 모션 벡터의 크기에 따라 보정하는 일 예를 보여주는 도면.
도 14a 및 도 14b는 뎁쓰 맵의 계조값 보정 전후에 있어 영상의 깊이감이 달라지는 일 예를 보여주는 도면.
도 15는 멀티 뷰 영상 합성부에 포함되는 뎁쓰 변조부를 이용하여 뷰 영상들 간 디스패리티 값을 모션 벡터의 크기에 따라 보정하는 일 예를 보여주는 도면.
도 16a 및 도 16b는 뷰 영상들 간 디스패리티 값 보정 전후에 있어 영상의 깊이감이 달라지는 일 예를 보여주는 도면.
도 17은 본 발명의 일 영상 데이터 처리 방법으로서, 모션 벡터의 크기에 따라 뎁쓰 맵의 계조값을 보정한 후 멀티 뷰 영상을 처리하는 일련의 과정을 보여주는 도면.
도 18은 본 발명의 일 영상 데이터 처리 방법으로서, 모션 벡터의 크기에 따라 뷰 영상들 간 디스패리티 값을 보정한 후 멀티 뷰 영상을 처리하는 일련의 과정을 보여주는 도면.

이하 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예들을 상세히 설명한다. 명세서 전체에 걸쳐서 동일한 참조번호들은 실질적으로 동일한 구성요소들을 의미한다. 이하의 설명에서, 본 발명과 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그 상세한 설명을 생략한다. 이하의 설명에서 사용되는 구성요소 명칭은 명세서 작성의 용이함을 고려하여 선택된 것일 수 있는 것으로서, 실제 제품의 부품 명칭과는 상이할 수 있다.

도 4는 본 발명의 실시 예에 따른 멀티 뷰 무안경 입체 영상 표시장치를 개략적으로 보여주는 블록도이다.

도 4를 참조하면, 본 발명의 실시 예에 따른 멀티 뷰 무안경 입체 영상 표시장치는 표시패널(10), 광학판(30), 게이트 구동회로(110), 데이터 구동회로(120), 타이밍 콘트롤러(130), 영상 처리회로(140), 및 호스트 시스템(150) 등을 구비한다. 본 발명의 실시 예에 따른 멀티 뷰 무안경 입체 영상 표시장치의 표시패널(10)은 액정표시소자(Liquid Crystal Display, LCD), 전계 방출 표시소자(Field Emission Display, FED), 플라즈마 디스플레이 패널(Plasma Display Panel, PDP), 유기발광다이오드 소자(Organic Light Emitting Diode, OLED) 등의 평판 표시소자로 구현될 수 있다. 본 발명은 아래의 실시 예에서 표시패널(10)이 액정표시소자로 구현된 것을 중심으로 예시하였지만, 이에 한정되지 않는 것에 주의하여야 한다.

표시패널(10)은 액정층을 사이에 두고 대향하는 상부기판과 하부기판을 포함한다. 표시패널(10)에는 데이터 라인(D)들과 게이트 라인(G)들(또는 스캔 라인들)의 교차 구조에 의해 매트릭스 형태로 배열되는 액정셀들을 포함하는 화소 어레이가 형성된다. 화소 어레이의 화소들 각각은 TFT(Thin Film Transistor)를 통해 데이터 전압이 충전되는 화소 전극과 공통전압이 인가되는 공통전극의 전압 차에 의해 액정층의 액정을 구동시켜 빛의 투과량을 조정함으로써 화상을 표시한다. 표시패널(10)의 상부기판상에는 블랙매트릭스와 컬러필터가 형성된다. 공통전극은 TN(Twisted Nematic) 모드와 VA(Vertical Alignment) 모드와 같은 수직전계 구동방식의 경우에 상부기판상에 형성되며, IPS(In-Plane Switching) 모드와 FFS(Fringe Field Switching) 모드와 같은 수평전계 구동방식의 경우에 화소전극과 함께 하부기판상에 형성될 수 있다. 표시패널(10)의 액정모드는 TN 모드, VA 모드, IPS 모드, FFS 모드뿐 아니라 어떠한 액정모드로도 구현될 수 있다. 표시패널(10)의 상부기판과 하부기판 각각에는 편광판이 부착되고 액정의 프리틸트각(pre-tilt angle)을 설정하기 위한 배향막이 형성된다. 표시패널(10)의 상부기판과 하부기판 사이에는 액정층의 셀갭(cell gap)을 유지하기 위한 스페이서(spacer)가 형성된다.

표시패널(10)은 투과형 액정표시패널, 반투과형 액정표시패널, 반사형 액정표시패널 등 어떠한 형태로도 구현될 수 있다. 투과형 액정표시패널과 반투과형 액정표시패널에서는 백라이트 유닛이 필요하다. 백라이트 유닛은 직하형(direct type) 백라이트 유닛 또는 에지형(edge type) 백라이트 유닛으로 구현될 수 있다.

멀티 뷰 영상은 3D 영상을 분석하여 뎁쓰 맵(depth map)을 추출하고, 뎁쓰 맵에 기반한 뷰 영상들 간 디스패리티(disparity)에 따라 생성될 수도 있다. 광학판(30)은 표시패널(10) 상에 배치되어 표시패널(10)의 화소들에 표시되는 제1 내지 제k 뷰 영상들을 제1 내지 제k 뷰 영역들로 진행시킨다. 제1 내지 제k 뷰 영상들은 제1 내지 제k 뷰 영역들과 일대일로 매칭된다. 즉, 광학판(30)은 화소들에 표시되는 제t(t는 1≤t≤k을 만족하는 자연수) 뷰 영상을 제t 뷰 영역으로 진행시킨다. 본 발명의 실시 예에 따른 입체 영상 표시장치의 광학판(30)은 패럴렉스 배리어(parallax barrier), 스위쳐블 배리어(switchable barrier), 렌티큘러 렌즈(lenticular lens), 스위쳐블 렌즈(switchable lens) 등 어떠한 형태로도 구현될 수 있다. 한편, 광학판(30)이 스위쳐블 배리어 또는 스위쳐블 렌즈로 구현되는 경우, 광학판(30)을 구동하기 위한 광학판 구동회로가 필요하다. 광학판 구동회로는 광학판(30)에 구동전압을 공급함으로써 스위쳐블 배리어 또는 스위쳐블 렌즈의 광분리 동작을 온-오프시킬 수 있다.

도 5는 본 발명의 실시 예에 따른 멀티 뷰 무안경 입체 영상 표시장치에서 멀티 뷰 영상을 구현하는 일 예를 보여준다. 도 5에서는 설명의 편의를 위해 표시패널(10)이 4 개의 뷰 영상들(V1, V2, V3, V4)을 표시하고, 광학판(30)이 표시패널(10)에 표시된 4 개의 뷰 영상들(V1, V2, V3, V4)을 4 개의 뷰 영역들(VP1, VP2, VP3, VP4)로 진행시키는 것을 중심으로 설명하였다. 도 5에서 광학판(30)은 렌티큘러 렌즈로 구현된 것을 중심으로 예시하였지만, 본 발명의 실시 예에 따른 광학판(30)은 패럴렉스 배리어, 스위쳐블 배리어, 스위쳐블 렌즈 등 어떠한 형태로도 구현될 수 있음에 유의하여야 한다.

도 5를 참조하면, 광학판(30)은 화소들에 표시되는 제1 뷰 영상(V1)을 제1 뷰 영역(VP1)으로 진행시키고, 화소들에 표시되는 제2 뷰 영상(V2)을 제2 뷰 영역(VP2)으로 진행시키며, 화소들에 표시되는 제3 뷰 영상(V3)을 제3 뷰 영역(VP3)으로 진행시키고, 화소들에 표시되는 제4 뷰 영상(V4)을 제4 뷰 영역(VP4)으로 진행시킨다. 사용자의 좌안이 제t 뷰 영역(VPt)에 위치하고, 우안이 제t-1 뷰 영역(VPt-1)에 위치하는 경우, 사용자는 좌안으로 제t 뷰 영상(Vt)을 시청하고, 우안으로 제t-1 뷰 영상(Vt-1)을 시청할 수 있다. 따라서, 사용자는 양안 시차에 의해 입체감을 느낄 수 있다.

데이터 구동회로(120)는 다수의 소스 드라이브 집적회로(Integrated Circuit, 이하 'IC'라 칭함)들을 포함한다. 소스 드라이브 IC들은 타이밍 콘트롤러(130)의 제어 하에 멀티 뷰 영상 데이터(MVD)를 정극성/부극성 감마보상전압으로 변환하여 정극성/부극성 아날로그 데이터전압들을 발생한다. 소스 드라이브 IC들로부터 출력되는 정극성/부극성 아날로그 데이터 전압들은 표시패널(10)의 데이터 라인(D)들에 공급된다.

게이트 구동회로(110)는 타이밍 콘트롤러(130)의 제어 하에 표시패널(10)의 게이트 라인(G)들에 게이트 펄스들(또는 스캔 펄스들)을 순차적으로 공급한다. 게이트 구동부(110)는 쉬프트 레지스터, 쉬프트 레지스터의 출력신호를 액정셀의 TFT 구동에 적합한 스윙폭으로 변환하기 위한 레벨 쉬프터, 및 출력 버퍼 등을 각각 포함하는 다수의 게이트 드라이브 집적회로들로 구성될 수 있다. 게이트 드라이브 집적회로는 GIP(Gate driver In Panel) 방식에 따라 표시패널(10)의 하부기판에 직접 형성될 수 있다.

타이밍 콘트롤러(130)는 영상 처리회로(140)로부터 멀티 뷰 영상 데이터(MVD)와 타이밍 신호들 등을 입력받는다. 타이밍 신호들은 수직동기신호(vertical synchronization signal), 수평동기신호(horizontal synchronization signal), 데이터 인에이블 신호(data enable signal), 및 클럭 신호(clock signal) 등을 포함할 수 있다.

타이밍 콘트롤러(130)는 타이밍 신호들에 기초하여 게이트 구동회로(110)를 제어하기 위한 게이트 제어신호(GCS)를 생성하고, 데이터 구동회로(120)를 제어하기 위한 데이터 제어신호(DCS)를 생성한다. 타이밍 콘트롤러(130)는 게이트 제어신호(GCS)를 게이트 구동회로(110)에 공급한다. 타이밍 콘트롤러(130)는 멀티 뷰 영상 데이터(MVD)와 데이터 제어신호(DCS)를 데이터 구동회로(120)로 공급한다.

호스트 시스템(150)은 외부 비디오 소스 기기로부터 입력되는 3D 영상 데이터(L,R)를 표시패널(10)에 표시하기에 적합한 해상도의 데이터 포맷으로 변환하기 위해 스케일러(scaler)가 내장된 시스템 온 칩(System on Chip)을 포함할 수 있다. 호스트 시스템(150)은 LVDS(Low Voltage Differential Signaling) 인터페이스, TMDS(Transition Minimized Differential Signaling) 인터페이스 등의 인터페이스 회로를 통해 3D 영상 데이터(L,R)와 타이밍 신호들을 영상 처리회로(140)에 공급한다.

영상 처리회로(140)는 호스트 시스템(150)으로부터 입력받은 3D 영상 데이터(L,R)로부터 멀티 뷰 영상 데이터(MVD)를 생성하여 타이밍 콘트롤러(130)로 출력한다. 3D 영상 데이터(L,R)는 제1 단안(單眼) 영상 데이터와 제2 단안 영상 데이터(또는 2 개의 뷰 영상 데이터)를 포함한다. 이하에서는 설명의 편의를 위해 제1 단안 영상 데이터가 좌안 영상 데이터(L)이고, 제2 단안 영상 데이터가 우안 영상 데이터(R)인 것을 예로 하여 설명한다. 영상 처리회로(140)는 3D 영상 데이터(L,R)를 참조로 뎁쓰 맵을 생성하고, 뎁쓰 맵에서 계조 차이로 표현된 뷰 영상들 간 디스패리티(disparity) 값을 이용하여 멀티 뷰 영상 데이터(MVD)를 생성한다. 멀티 뷰 영상 데이터(MVD)에 따라 생성되는 이웃한 뷰 영상들은, 객체의 입체감을 정량적으로 표현한 뎁쓰 맵에 의해 정의된 픽셀들 간의 간격(즉, 디스패리티)만큼 좌안 영상으로 보이는 픽셀 데이터와 우안 영상으로 보이는 픽셀 데이터의 간격이 설정되어 사용자로 하여금 양안 시차를 느끼게 한다.

특히, 영상 처리회로(140)는 객체의 움직임에 따라 뎁쓰를 조절하여 시청하기 편안한 입체 영상을 구현한다. 입체 영상을 시청함에 있어 객체의 움직임이나 속도 변화가 클 경우, 시청자는 양안시차(Binocular Disparity)의 급격한 변화 및 컨버젼스 포이트(Convergence Point) 변화로 인해 어지러움 등의 불편함을 느끼게 된다. 더욱이, 입체 영상에서 객체의 상이 맺히는 위치와 시청자의 초점 조절 위치가 불일치 하는 환경에서 객체의 운동량이 크면, 표시 장치의 응답속도 영향이 더해져 영상이 더욱 블러(Blur)해 지는 등 시인성도 악화 된다. 이러한 문제점을 해결하기 위해 본 발명의 영상 처리회로(140)는 이웃한 프레임 간 모션 벡터(Motion Vector)의 크기를 감지하여 입력 영상의 프레임 별 객체의 운동량 변화를 추출한다. 그리고, 모션 벡터의 크기 즉, 객체의 운동량 변화에 따라 뎁쓰 맵의 계조값을 보정하거나, 또는 뷰 영상들 간 계조 별 디스패리티 값을 보정한다. 본 발명의 영상 처리회로(140)는 객체의 운동량이 일정치 미만인 경우에만 입체감을 강조하고, 객체의 운동량이 일정치 이상인 경우에는 이웃한 뷰 영상들 간의 입체감을 줄여 영상의 시인성을 향상시킨다.

도 6은 도 4의 영상 처리회로(140)를 상세히 보여주는 블록도이다. 도 7은 본 발명의 실시 예에 따른 멀티 뷰 영상을 보여준다.

도 6을 참조하면, 영상 처리회로(140)는 뎁쓰 제어부(210), 멀티 뷰 영상 생성기(300), 및 데이터 포맷부(250)를 구비한다.

멀티 뷰 영상 생성기(300)는 입력 3D 영상 데이터(L,R)의 뎁쓰 맵(DISM) 생성하고, 뎁쓰 맵(DISM)을 기초로 좌안 영상 데이터(L) 또는 우안 영상 데이터(R)를 쉬프트시켜 멀티 뷰 영상(MV)을 생성한다. 이를 위해, 멀티 뷰 영상 생성기(300)는 뎁쓰 맵 생성부(220), 멀티 뷰 영상 합성부(240)를 포함한다.

뎁쓰 맵 생성부(220)는 입력 3D 영상 데이터(L,R)의 뎁쓰 맵(DISM)을 생성한다.

멀티 뷰 영상 합성부(240)는 뎁쓰 맵(DISM)에서 정의된 디스패리티만큼 좌안 영상 데이터(L) 또는 우안 영상 데이터(R)를 쉬프트시켜 멀티 뷰 영상(MV)을 생성한다. 구체적으로, 멀티 뷰 영상 생성기(300)는 도 7과 같이 좌안 영상 데이터(L)를 제1 뷰 영상(V1)으로 설정하고, 우안 영상 데이터(RGBR)를 제n 뷰 영상(Vn)으로 설정하며, 뎁쓰 맵(DISM)의 계조에 따라 정해진 디스패리티들을 이용하여 좌안 영상 데이터(L) 또는 우안 영상 데이터(R)를 소정 픽셀 간격씩 쉬프트시킴으로써 제2 내지 제n-1 뷰 영상 (V2 ~ Vn-1)을 생성한다.

멀티 뷰 영상 생성기(300)는 후처리부(230)를 더 포함하여 뎁쓰 맵 생성부(220)에서 생성된 뎁쓰 맵(DISM)을 공지의 다양한 필터링 기법들을 이용하여 후 처리함으로써 뎁쓰 맵(DISM)에서 불필요한 노이즈를 제거하고 스테레오 매칭의 정확도를 높일 수 있다. 후처리부(230)는 필요에 따라 생략될 수 있다.

본 발명의 멀티 뷰 영상 생성기(300)는 뎁쓰 제어부(210)로부터 입력되는 뎁쓰 제어신호(RMVET)에 따라 멀티 뷰 영상(MV)의 뎁쓰를 변조하는 뎁쓰 변조부를 포함하는 특징이 있다. 뎁쓰 변조부(221, 241)는 도 13 및 도 15에서와 같이 뎁쓰 맵 생성부(220)에 구비되거나 또는 멀티 뷰 영상 합성부(240)에 구비될 수도 있다. 뎁쓰 변조부((221, 241)에 대해서는 도 13 내지 도 16b를 통해 후술한다.

뎁쓰 제어부(210)는 입력 3D 영상 데이터(L,R)를 분석하여 모션 벡터를 추출한 후, 모션 벡터의 크기를 미리 정해진 기준값과 비교하여 뎁쓰 제어신호(RMVET)를 출력한다. 뎁쓰 제어부(210)에 대해서는 도 8 내지 도 10을 통해 후술한다.

데이터 포맷부(250)는 멀티 뷰 영상 합성부(240)에서 입력되는 멀티 뷰 영상(MV)을 표시패널(10)의 3D 표시 배열에 맞게 멀티 뷰 영상 데이터 포맷으로 재정렬하여 멀티 뷰 영상 데이터(MVD)를 생성한다. 그리고, 이 멀티 뷰 영상 데이터(MVD)를 타이밍 콘트롤러(101)에 전송한다. 데이터 포맷부(250)는 공지의 3D 포맷터로 구현될 수 있다.

도 8은 도 6의 뎁쓰 제어부(210)의 상세 구성을 보여준다. 도 9는 영상 비교 방식의 일 예로서 SAD 방식을 보여준다. 그리고, 도 10은 SAD 방식 등을 통해 이웃한 프레임들 간의 좌안 영상들(또는 우안 영상들)을 서로 비교하여 모션 벡터를 추출하는 일 예를 보여준다.

도 8을 참조하면, 뎁쓰 제어부(210)는 모션 벡터 추출부(211), 모션 벡터 평균화부(212), 및 모션 벡터 크기 비교부(213)를 포함한다.

모션 벡터 추출부(211)는 현재 프레임(예컨대, 제n 프레임)의 3D 영상 데이터(Ln,Rn)와 이전 프레임(예컨대, 제n-1 프레임)의 3D 영상 데이터(Ln-1,Rn-1)을 입력 받고, 도 9와 같은 공지의 SAD(Sum of Absolute Differences) 방식 등을 이용하여 3D 영상 데이터의 이웃한 프레임들 간 모션 벡터(MVET)를 추출하여 프레임 별 객체의 운동량을 체크한다. 모션 벡터(MVET)를 추출하는 방식은 SAD 방식에 한정되지 않으며, 공지의 어떠한 방법으로도 가능하다. 하드웨어적인 적용 용이성을 고려하여 SAD 방식이 채용되는 경우, 모션 벡터 추출부(211)는 템플레이트(template)를 서치 이미지에 마스킹한 상태에서 좌에서 우로 이동시키며 그 차이를 계산한다. 센터 영역의 차이값이 가장 적으므로 서치 이미지의 중앙에 찾고자 하는 영상(혹은 객체)가 존재함을 알 수 있다.

모션 벡터 추출부(211)는 도 10과 같이 모션 벡터(MVET)를 추출하기 위해 이웃한 프레임들의 좌안 영상 데이터(Ln-1,Ln)만을 서로 비교하거나 또는, 이웃한 프레임들의 우안 영상 데이터(Rn-1,Rn)만을 서로 비교한다. 스테레오 영상 구현을 위한 3D 영상 데이터는 좌안 영상 데이터와 우안 영상 데이터가 각각 절반씩 포함하고, 좌안 영상 데이터에 대한 프레임 간 변화량과 우안 영상 데이터에 대한 프레임 변화량은 실질적으로 동일하므로, 본 발명의 모션 벡터 추출부(211)는 좌안 영상 데이터에 대한 프레임 간 변화량 및, 우안 영상 데이터에 대한 프레임 변화량 중 어느 하나만을 이용하여 모션 벡터(MVET)를 추출한다. 이를 통해, 본 발명은 모션 벡터(MVET) 추출을 위한 연산 처리 시간, 로직 사이즈, 및 필요 메모리 량을 줄일 수 있다.

모션 벡터 평균화부(212)는 다수의 프레임들을 통해 추출되어 누적된 모션 벡터(MVET)를 평균화 처리함으로써, 모션 벡터(MVET) 추출시 발생되는 에러와 모션 벡터(MVET)에 혼입되는 노이즈를 줄이고, 특정 한두 프레임의 급격한 변화에 따른 영향을 배제한다. 평균화 프레임 수는 2개 ~ 64개 정도로 설정될 수 있다.

모션 벡터 크기 비교부(213)는 평균화된 모션 벡터(MVET)의 크기를 미리 정해진 기준값과 비교하여 뎁쓰 제어신호(RMVET)를 출력한다. 여기서, 기준값은 실험에 의해 미리 설정되는 값으로, 뎁쓰를 유지하거나 또는 상하로 조정하는 데 있어 기준이 된다.

도 11은 동일 프레임을 구성하는 좌안 영상과 우안 영상을 서로 비교하여 뎁쓰 정보를 추출하는 것을 보여준다. 그리고, 도 12는 뎁쓰 맵 생성부(220)에서 생성된 뎁쓰 맵의 일 예를 보여준다.

뎁쓰 맵 생성부(220)는 다양한 공지의 방법(예를 들어, 도 9의 SAD 기법 등)으로 도 11과 같이 동일 프레임 내의 좌안 영상 데이터(L)와 우안 영상 데이터(R)를 서로 비교하여 뎁쓰 정보를 추출하고, 이 뎁쓰 정보를 통해 뎁쓰 맵(DISM)을 생성할 수 있다. 뎁쓰 맵 생성부(220)는 모션 벡터 추출 기법과 동일한 방법으로 뎁쓰 정보를 추출하여 리소스를 줄일 수 있다. SAD 기법을 공통으로 사용하는 경우, 모션 벡터 추출시에는 이웃한 프레임들의 좌안 영상 데이터만(또는 우안 영상 데이터만)을 서로 비교하는 데 반해, 뎁쓰 정보 추출시에는 동일 프레임내의 좌안 영상 데이터와 우안 영상 데이터를 서로 비교한다. 뎁쓰 맵(DISM)은 도 12에서 보여지는 바와 같이 물체 혹은 객체(Object)의 3차원 공간 정보를 화면으로부터의 거리에 따라 계조로 표현한 이미지 데이터이다. 뎁쓰(depth, 심도) 값은 픽셀 데이터의 시프트(shift) 정도 즉, 디스패리티(disparity)를 정의한다. 뎁쓰 맵(DISM)에서, 화면의 앞으로 돌출되는 객체는 높은 계조(또는 화이트 계조)의 데이터로 표현되고, 화면 뒤로 멀어지는 객체는 낮은 계조(또는 블랙 계조)로 표현된다.

도 13은 뎁쓰 맵 생성부(220)에 포함되는 뎁쓰 변조부(221)를 이용하여 뎁쓰 맵(DISM)의 계조값을 모션 벡터(MVET)의 크기에 따라 보정하는 일 예를 보여준다.

도 13을 참조하면, 본 발명의 일 실시예에 따른 뎁쓰 변조부(221)는 뎁쓰 맵 생성부(220)에 구비될 수 있다. 뎁쓰 맵 생성부(220)는 전술한 방법으로 뎁쓰 맵(DISM)을 생성한다. 그러면, 뎁쓰 변조부(221)는 멀티 뷰 영상(MV)의 뎁스를 변조하기 위해 뎁쓰 제어신호(RMVET)에 따라 뎁쓰 맵(DISM)의 계조값을 일률적으로 보정할 수 있다.

뎁쓰 제어신호(RMVET)는, 이웃한 프레임들 간 모션 벡터(MVET)의 크기가 기준값보다 큰 경우에 제1 로직레벨로 입력되고, 기준값보다 작은 경우에 제2 로직레벨로 입력될 수 있으며, 기준값과 동일한 경우에 입력이 스킵(skip)될 수 있다.

뎁쓰 제어신호(RMVET)가 제1 로직레벨로 입력될 때(즉, 모션 벡터(MVET)의 크기가 기준값보다 큰 경우), 뎁스 변조부(221)는 뎁쓰 맵(DISM)에 1보다 작은 가중치를 곱하여 뎁쓰 맵(DISM)의 계조값을 일률적으로 낮춘다. 뎁쓰 맵(DISM)의 계조값이 일정한 비율로 낮아지면, 멀티 뷰 영상 합성부(240)에서 뎁쓰 맵(DISM)을 참조로 생성되는 멀티 뷰 영상들 간의 뎁쓰(심도, 깊이감, 입체감)가 줄어들게 된다. 이렇게 본 발명은 객체의 운동량이 큰 고속 영상에서 뎁쓰를 일률적으로 줄임으로써 피로감을 줄이고 영상의 시인성을 높일 수 있다.

반면, 뎁쓰 제어신호(RMVET)가 제2 로직레벨로 입력될 때(즉, 모션 벡터(MVET)의 크기가 기준값보다 작은 경우), 뎁스 변조부(221)는 뎁쓰 맵(DISM)에 1보다 큰 가중치를 곱하여 뎁쓰 맵(DISM)의 계조값을 일률적으로 높일 수 있다. 뎁쓰 맵(DISM)의 계조값이 일정한 비율로 높아지면, 멀티 뷰 영상 합성부(240)에서 뎁쓰 맵(DISM)을 참조로 생성되는 멀티 뷰 영상들 간의 뎁쓰(심도, 깊이감, 입체감)가 커지게 된다. 본 발명은 객체의 운동량이 매우 작은 영상에서 뎁쓰를 일률적으로 늘림으로써 입체감을 보다 강조할 수도 있다.

한편, 뎁스 맵(DISM)이 8비트 계조 스케일로 표현되는 경우, 일반적으로 125 계조가 컨버젼스 포인트(convergence point)가 되며, 이에 따라 125 계조보다 높은 계조 구간은 객체가 화면 앞의 시청자 쪽으로 돌출되 보이는 포지티브 뎁쓰(positive depth)가 되고, 125 계조보다 낮은 계조 구간은 객체가 화면 뒤로 들어가 보이는 네거티브 뎁쓰(negative depth)가 된다. 뎁스 맵(DISM) 상의 컨버젼스 포인트(convergence point)는 임의의 계조값으로 미리 설정될 수 있으며, 이 경우 설정된 계조값에 해당하는 객체는 화면상에 위치하여 그 뎁쓰가 0이 된다.

이 상태에서 뎁쓰 맵(DISM)에 1보다 작거나 큰 가중치가 곱해지면 뎁쓰 맵(DISM)의 모든 계조값(컨버젼스 포인트로 설정된 계조값 포함)이 변화된다. 예컨대, 뎁쓰 맵(DISM)에 가중치 0.8이 곱해지는 경우, 컨버젼스 포인트로 설정된 125 계조에 해당하는 객체는 뎁쓰 맵(DISM) 상에서 100 계조(125*0.8)로 그 계조값이 바뀌어 뎁쓰가 변경된다. 즉, 컨버젼스 포인트에 있던 객체의 뎁스는 0에서 음의 값으로 바뀌게 된다. 이는 뎁쓰 맵의 계조값 보정 전후에 있어 영상의 깊이감이 달라지는 일 예를 보여주는 도 14a 및 도 14b를 통해 명확히 알 수 있다.

도 14a에는 계조값 보정 전의 뎁쓰 맵(DISM)에 따른 객체들(OB1~OB4)의 공간상 분포 위치가 나타나 있으며, 도 14b에는 계조값 하향 보정 후의 뎁쓰 맵(DISM)에 따른 객체들(OB1~OB4)의 공간상 분포 위치가 나타나 있다. 뎁쓰 맵(DISM)에 대한 계조값 하향 보정에 의해 도 14b는 도 14a에 비해 객체들(OB1~OB4)의 공간상 분포 위치가 전체적으로 패널(화면) 안쪽으로 쉬프트된다. 그 결과 컨버젼스 포인트에 해당되는 계조값까지 변하게 된다. 이에 따라, 뎁스 맵의 계조값을 보정하는 방식은 보정 전후에 있어 표시패널과 객체들 간의 상대적 거리 비율을 변화시켜, 도 14a 및 도 14b에서 a:b≠c:d와 같은 결과를 초래할 수 있다.

도 15는 멀티 뷰 영상 합성부(240)에 포함되는 뎁쓰 변조부(241)를 이용하여 뷰 영상들 간 디스패리티 값을 모션 벡터(MVET)의 크기에 따라 보정하는 일 예를 보여준다.

도 15를 참조하면, 본 발명의 일 실시예에 따른 뎁쓰 변조부(241)는 멀티 뷰 영상 합성부(240)에 구비될 수 있다. 멀티 뷰 영상 합성부(240)는 전술한 방법으로 뎁쓰 맵(DISM)에서 정의된 계조 별 디스패리티만큼 좌안 영상 데이터(L) 또는 우안 영상 데이터(R)를 쉬프트시켜 멀티 뷰 영상(MV)을 생성한다. 이러한 멀티 뷰 영상(MV)을 생성하는 과정에서, 뎁쓰 변조부(221)는 뷰 영상들 간의 계조 별 디스패리티 값을 뎁쓰 제어신호(RMVET)에 따라 일정한 비율로 조정하여 멀티 뷰 영상(MV)의 뎁스를 변조할 수 있다.

뎁쓰 제어신호(RMVET)는, 이웃한 프레임들 간 모션 벡터(MVET)의 크기가 기준값보다 큰 경우에 제1 로직레벨로 입력되고, 기준값보다 작은 경우에 제2 로직레벨로 입력될 수 있으며, 기준값과 동일한 경우에 입력이 스킵(skip)될 수 있다.

뎁쓰 제어신호(RMVET)가 제1 로직레벨로 입력될 때(즉, 모션 벡터(MVET)의 크기가 기준값보다 큰 경우), 뎁스 변조부(241)는 뷰 영상들 간의 계조 별 디스패리티 값에 1보다 작은 가중치를 곱하여 뷰 영상들 간에 쉬프트되는 픽셀 간격을 계조별로 일정하게 감소시킨다. 뷰 영상들 간에 쉬프트되는 픽셀 간격이 일정한 비율로 감소되면, 멀티 뷰 영상 합성부(240)에서 생성되는 멀티 뷰 영상들 간의 뎁쓰(심도, 깊이감, 입체감)가 줄어들게 된다. 이렇게 본 발명은 객체의 운동량이 큰 고속 영상에서 뎁쓰를 일률적으로 줄임으로써 피로감을 줄이고 영상의 시인성을 높일 수 있다.

반면, 뎁쓰 제어신호(RMVET)가 제2 로직레벨로 입력될 때(즉, 모션 벡터(MVET)의 크기가 기준값보다 작은 경우), 뎁스 변조부(241)는 뷰 영상들 간의 계조 별 디스패리티 값에 1보다 큰 가중치를 곱하여 뷰 영상들 간에 쉬프트되는 픽셀 간격을 계조별로 일정하게 증가시킨다. 뷰 영상들 간에 쉬프트되는 픽셀 간격이 일정한 비율로 증가되면, 멀티 뷰 영상 합성부(240)에서 생성되는 멀티 뷰 영상들 간의 뎁쓰(심도, 깊이감, 입체감)가 커지게 된다. 본 발명은 객체의 운동량이 매우 작은 영상에서 뎁쓰를 일률적으로 늘림으로써 입체감을 보다 강조할 수도 있다.

한편, 뎁스 맵(DISM)이 8비트 계조 스케일로 표현되는 경우, 일반적으로 125 계조가 컨버젼스 포인트(convergence point)가 되며, 이에 따라 125 계조보다 높은 계조 구간은 객체가 화면 앞의 시청자 쪽으로 돌출되 보이는 포지티브 뎁쓰(positive depth)가 되고, 125 계조보다 낮은 계조 구간은 객체가 화면 뒤로 들어가 보이는 네거티브 뎁쓰(negative depth)가 된다. 뎁스 맵(DISM) 상의 컨버젼스 포인트(convergence point)는 임의의 계조값으로 미리 설정될 수 있으며, 이 경우 설정된 계조값에 해당하는 객체는 화면상에 위치하여 그 뎁쓰가 0이 된다. 255 계조가 125 계조 대비 (+) 뎁쓰이고 컨버젼스 포인트를 기준으로 10 픽셀만큼 좌측으로 디스패러티를 갖는다고 할 경우, 190 계조는 (+) 뎁쓰이고 컨버젼스 포인트를 기준으로 5 픽셀만큼 좌측으로 디스패러티를 갖게 된다. 또한, 0 계조는 125 계조 대비 (-) 뎁쓰이고 컨버젼스 포인트를 기준으로 10 픽셀만큼 우측으로 디스패러티를 갖게 되고, 63 계조는 125 계조 대비 (-) 뎁쓰이고 컨버젼스 포인트를 기준으로 5 픽셀만큼 우측으로 디스패러티를 갖게 된다.

이 상태에서, 뷰 영상들 간의 계조 별 디스패리티 값에 1보다 작거나 큰 가중치가 곱해지면 뷰 영상들 간에 쉬프트되는 픽셀 간격은 일률적으로 변화된다. 예컨대, 뷰 영상들 간의 계조 별 디스패리티 값에 가중치 0.8이 곱해지는 경우, 255 계조는 125 계조 대비 (+) 뎁쓰이고 컨버젼스 포인트를 기준으로 8 픽셀(10*0.8)만큼 좌측으로 디스패러티를 갖도록 변경되고, 190 계조는 (+) 뎁쓰이고 컨버젼스 포인트를 기준으로 4 픽셀(5*0.8)만큼 좌측으로 디스패러티를 갖도록 변경된다. 또한, 0 계조는 125 계조 대비 (-) 뎁쓰이고 컨버젼스 포인트를 기준으로 8 픽셀만큼 우측으로 디스패러티를 갖도록 변경되고, 63 계조는 125 계조 대비 (-) 뎁쓰이고 컨버젼스 포인트를 기준으로 4 픽셀만큼 우측으로 디스패러티를 갖도록 변경된다. 이에 따르면, 컨버젼스 포인트로 설정된 125 계조는 디스패리티 값이 0이므로 어떠한 가중치가 곱해지더라도 변화없이 0을 유지한다. 즉, 컨버젼스 포인트에 있는 객체의 뎁스는 가중치 적용에도 불구하고 0을 유지한다. 이는 뷰 영상들 간 디스패리티 값 보정 전후에 있어 영상의 깊이감이 달라지는 일 예를 보여주는 도 16a 및 도 16b를 통해 명확히 알 수 있다.

도 16a에는 보정 전의 디스패리티 값 적용에 따른 객체들(OB1~OB4)의 공간상 분포 위치가 나타나 있으며, 도 16b에는 보정 후의 디스패리티 값 적용에 따른 객체들(OB1~OB4)의 공간상 분포 위치가 나타나 있다. 디스패리티 값을 하향 보정함에 따라, 도 16b는 도 16a에 비해 객체들(OB1~OB4)의 공간상 분포 위치가 전체적으로 표시 패널(컨버젼스 포인트)을 향해 모이거나 또는, 표시 패널(컨버젼스 포인트)을 기준으로 멀어진다. 이에 따라, 디스패리티 값을 보정하는 방식은 보정 전후에 있어 표시패널과 객체들 간의 상대적 거리 비율을 일정하게 유지할 수 있다. 디스패리티 값을 보정하는 방식은 도 16a 및 도 16b에서 보여지듯이 a:b=c:d와 같은 결과를 얻을 수 있다. 이러한, 디스패리티 값을 보정하는 방식은, 뎁스 맵의 계조값을 보정하는 방식에 비해, 모션 벡터의 크기에 따라 멀티 뷰 영상의 뎁스를 변경시킬 때 입체감이 왜곡되는 것을 최소화할 수 있다.

도 17은 본 발명의 일 영상 데이터 처리 방법으로서, 모션 벡터의 크기에 따라 뎁쓰 맵의 계조값을 보정한 후 멀티 뷰 영상을 처리하는 일련의 과정을 보여준다.

도 17을 참조하면, 본 발명의 일 영상 데이터 처리 방법은 입력 영상 데이터의 뎁쓰 맵을 생성하고, 상기 입력 영상 데이터의 이웃한 프레임들 간 모션 벡터를 추출한다.(S10)

이어서, 본 발명은 모션 벡터의 크기를 미리 정해진 기준값과 비교하여 뎁쓰 제어신호를 발생한다. 본 발명은 뎁쓰 제어신호에 따라, 뎁쓰 맵에 일정한 가중치를 곱하여 뎁스 맵의 계조값을 보정(낮추거나 높임)하거나 또는, 뎁스 맵의 계조값을 보정없이 유지한다.(S11,S12,S13)

이어서, 본 발명은 선택적으로 계조값이 보정된 뎁스 맵을 후처리한다.(S14) 후처리 과정은 필요에 의해 생략될 수 있다.

이어서, 본 발명은 보정된 뎁스 맵을 기초로 하여 좌안 영상 데이터 또는 우안 영상 데이터를 정해진 디스패러티 값만큼 쉬프트시켜 멀티 뷰 영상을 생성한다.(S15)

이어서, 본 발명은 멀티 뷰 영상을 표시패널의 3D 표시 배열에 맞게 멀티 뷰 영상 데이터 포맷으로 재정렬하여 멀티 뷰 영상 데이터를 생성한다.(S16)

도 18은 본 발명의 일 영상 데이터 처리 방법으로서, 모션 벡터의 크기에 따라 뷰 영상들 간 디스패리티 값을 계조 별로 보정한 후 멀티 뷰 영상을 처리하는 일련의 과정을 보여준다.

도 18을 참조하면, 본 발명의 일 영상 데이터 처리 방법은 입력 영상 데이터의 뎁쓰 맵을 생성하고, 상기 입력 영상 데이터의 이웃한 프레임들 간 모션 벡터를 추출한다.(S10)

이어서, 본 발명은 모션 벡터의 크기를 미리 정해진 기준값과 비교하여 뎁쓰 제어신호를 발생한다. (S11)

이어서, 본 발명은 뎁쓰 맵을 후처리한다.(S13) 후처리 과정은 필요에 의해 생략될 수 있다.

이어서, 본 발명은 뎁쓰 제어신호에 따라, 뷰 영상들 간의 계조 별 디스패리티 값에 일정한 가중치를 곱하여 계조 별 디스패리티 값을 보정(낮추거나 높임)하거나 또는, 계조 별 디스패리티값을 보정없이 유지한다. 그리고, 본 발명은 뎁스 맵을 기초로 하여 좌안 영상 데이터 또는 우안 영상 데이터를 선택적으로 보정된 디스패러티 값만큼 쉬프트시켜 멀티 뷰 영상을 생성한다.(S12,S14,S15)

이어서, 본 발명은 멀티 뷰 영상을 표시패널의 3D 표시 배열에 맞게 멀티 뷰 영상 데이터 포맷으로 재정렬하여 멀티 뷰 영상 데이터를 생성한다.(S16)

이상에서 살펴본 바와 같이, 본 발명은 모션 벡터를 활용하여 객체의 움직임에 따라 영상의 뎁쓰를 조절함으로써 시청하기 편안한 입체 영상을 구현할 수 있음은 물론이거니와 시인성을 높일 수 있다.

이상 설명한 내용을 통해 당업자라면 본 발명의 기술사상을 일탈하지 아니하는 범위 내에서 다양한 변경 및 수정이 가능함을 알 수 있을 것이다. 따라서, 본 발명은 상세한 설명에 기재된 내용으로 한정되는 것이 아니라 특허 청구의 범위에 의해 정하여져야만 할 것이다.

10: 표시패널 30: 광학판
110: 게이트 구동회로 120: 데이터 구동회로
130: 타이밍 콘트롤러 140: 영상 처리회로
150: 호스트 시스템 210: 뎁쓰 제어부
211 : 모션 벡터 추출부 212 : 모션 벡터 평균화부
213 : 모션 벡터 크기 비교부 220: 뎁쓰 맵 생성부
230: 후처리부 240: 멀티 뷰 영상 합성부
221,241: 뎁쓰 변조부 300 : 멀티 뷰 영상 생성기

Claims (18)

1. 입력 영상 데이터의 뎁쓰 맵을 생성하는 뎁쓰 맵 생성부;
   상기 뎁쓰 맵을 기초로 멀티 뷰 영상을 생성하는 멀티 뷰 영상 합성부;
   상기 입력 영상 데이터의 이웃한 프레임들 간 모션 벡터를 추출한 후, 상기 모션 벡터의 크기를 미리 정해진 기준값과 비교하여 뎁쓰 제어신호를 발생하는 뎁쓰 제어부; 및
   상기 멀티 뷰 영상을 생성하기 위한 뷰 영상들의 계조 별 디스패러티 값에 상기 뎁쓰 제어신호에 따른 가중치를 곱하여, 상기 뷰 영상들의 계조 별 디스패러티 값을 보정하는 뎁스 변조부를 구비하고,
   상기 멀티 뷰 영상을 구현하기 위해 미리 정해진 컨버젼스 포인트를 기준으로 배치된 제1 객체와 제2 객체는, 상기 뷰 영상들의 계조 별 디스패러티 값이 보정됨에 따라 상기 컨버젼스 포인트를 향해 모이거나 또는 상기 컨버젼스 포인트를 기준으로 멀어지도록 이동하며, 상기 컨버젼스 포인트는 상기 뷰 영상들의 계조 별 디스패러티 값이 보정되는 것과 무관하게 미리 정해진 위치에 고정되는 것을 특징으로 하는 멀티 뷰 무안경 입체 영상 표시장치.
2. 삭제
3. 삭제
4. 삭제
5. 삭제
6. 제 1 항에 있어서,
   상기 뎁스 변조부는,
   상기 모션 벡터의 크기가 상기 기준값보다 큰 경우에 상기 계조 별 디스패러티 값에 1보다 작은 가중치를 곱하여 상기 계조 별 디스패러티 값을 감소시키는 것을 특징으로 하는 멀티 뷰 무안경 입체 영상 표시장치.
7. 제 1 항에 있어서,
   상기 뎁스 변조부는,
   상기 모션 벡터의 크기가 상기 기준값보다 작은 경우에 상기 계조 별 디스패러티 값에 1보다 큰 가중치를 곱하여 상기 계조 별 디스패러티 값을 증가시키는 것을 특징으로 하는 멀티 뷰 무안경 입체 영상 표시장치.
8. 제 1 항에 있어서,
   상기 뎁쓰 제어부는,
   상기 입력 영상 데이터의 이웃한 프레임들 간 모션 벡터를 추출하는 모션 벡터 추출부;
   다수의 프레임들을 통해 추출되어 누적된 모션 벡터를 평균화 처리하는 모션 벡터 평균화부; 및
   상기 평균화 처리된 모션 벡터의 크기를 상기 기준값과 비교하여 상기 뎁쓰 제어신호를 발생하는 모션 벡터 크기 비교부를 구비하는 것을 특징으로 하는 멀티 뷰 무안경 입체 영상 표시장치.
9. 제 8 항에 있어서,
   상기 모션 벡터 추출부는,
   상기 모션 벡터를 추출하기 위해 상기 이웃한 프레임들의 좌안 영상 데이터만을 서로 비교하거나 또는, 상기 이웃한 프레임들의 우안 영상 데이터만을 서로 비교하는 것을 특징으로 하는 멀티 뷰 무안경 입체 영상 표시장치.
10. 입력 영상 데이터의 뎁쓰 맵을 생성하는 단계;
    상기 뎁쓰 맵을 기초로 멀티 뷰 영상을 생성하는 단계;
    상기 입력 영상 데이터의 이웃한 프레임들 간 모션 벡터를 추출한 후, 상기 모션 벡터의 크기를 미리 정해진 기준값과 비교하여 뎁쓰 제어신호를 발생하는 단계; 및
    상기 멀티 뷰 영상을 생성하기 위한 뷰 영상들의 계조 별 디스패러티 값에 상기 뎁쓰 제어신호에 따른 가중치를 곱하여, 상기 뷰 영상들의 계조 별 디스패러티 값을 보정하는 단계를 포함하고,
    상기 멀티 뷰 영상을 구현하기 위해 미리 정해진 컨버젼스 포인트를 기준으로 배치된 제1 객체와 제2 객체는, 상기 뷰 영상들의 계조 별 디스패러티 값이 보정됨에 따라 상기 컨버젼스 포인트를 향해 모이거나 또는 상기 컨버젼스 포인트를 기준으로 멀어지도록 이동하며, 상기 컨버젼스 포인트는 상기 뷰 영상들의 계조 별 디스패러티 값이 보정되는 것과 무관하게 미리 정해진 위치에 고정되는 것을 특징으로 하는 멀티 뷰 무안경 입체 영상 표시장치의 영상 데이터 처리 방법.
11. 삭제
12. 삭제
13. 삭제
14. 삭제
15. 제 10 항에 있어서,
    상기 멀티 뷰 영상의 뎁스를 변조하는 단계는,
    상기 모션 벡터의 크기가 상기 기준값보다 큰 경우에 상기 계조 별 디스패러티 값에 1보다 작은 가중치를 곱하여 상기 계조 별 디스패러티 값을 감소시키는 단계인 것을 특징으로 하는 멀티 뷰 무안경 입체 영상 표시장치의 영상 데이터 처리 방법.
16. 제 10 항에 있어서,
    상기 멀티 뷰 영상의 뎁스를 변조하는 단계는,
    상기 모션 벡터의 크기가 상기 기준값보다 작은 경우에 상기 계조 별 디스패러티 값에 1보다 큰 가중치를 곱하여 상기 계조 별 디스패러티 값을 증가시키는 단계인 것을 특징으로 하는 멀티 뷰 무안경 입체 영상 표시장치의 영상 데이터 처리 방법.
17. 제 10 항에 있어서,
    상기 뎁쓰 제어신호를 발생하는 단계는,
    상기 입력 영상 데이터의 이웃한 프레임들 간 모션 벡터를 추출하는 단계;
    다수의 프레임들을 통해 추출되어 누적된 모션 벡터를 평균화 처리하는 단계; 및
    상기 평균화 처리된 모션 벡터의 크기를 상기 기준값과 비교하여 상기 뎁쓰 제어신호를 발생하는 단계를 포함하는 것을 특징으로 하는 멀티 뷰 무안경 입체 영상 표시장치의 영상 데이터 처리 방법.
18. 제 17 항에 있어서,
    상기 모션 벡터를 추출하는 단계는,
    상기 모션 벡터를 추출하기 위해 상기 이웃한 프레임들의 좌안 영상 데이터만을 서로 비교하거나 또는, 상기 이웃한 프레임들의 우안 영상 데이터만을 서로 비교하는 단계인 것을 특징으로 하는 멀티 뷰 무안경 입체 영상 표시장치의 영상 데이터 처리 방법.

Images