KR101953315B1 - 디스패러티 산출방법과 이를 이용한 입체영상 표시장치 - Google Patents

디스패러티 산출방법과 이를 이용한 입체영상 표시장치 Download PDF

Info

Publication number
KR101953315B1
KR101953315B1 KR1020120141719A KR20120141719A KR101953315B1 KR 101953315 B1 KR101953315 B1 KR 101953315B1 KR 1020120141719 A KR1020120141719 A KR 1020120141719A KR 20120141719 A KR20120141719 A KR 20120141719A KR 101953315 B1 KR101953315 B1 KR 101953315B1
Authority
KR
South Korea
Prior art keywords
block
image data
eye image
range
disparity
Prior art date
Application number
KR1020120141719A
Other languages
English (en)
Other versions
KR20140073814A (ko
Inventor
이승용
김성균
김도형
Original Assignee
엘지디스플레이 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지디스플레이 주식회사 filed Critical 엘지디스플레이 주식회사
Priority to KR1020120141719A priority Critical patent/KR101953315B1/ko
Publication of KR20140073814A publication Critical patent/KR20140073814A/ko
Application granted granted Critical
Publication of KR101953315B1 publication Critical patent/KR101953315B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

본 발명은 디스패러티 산출방법과 이를 이용한 입체영상 표시장치에 관한 것이다. 본 발명의 실시 예에 따른 디스패러티 산출방법은 좌안 영상 데이터와 우안 영상 데이터를 포함하는 3D 영상 데이터를 입력받고, 제1 범위 내에서 상기 좌안 영상 데이터와 상기 우안 영상 데이터를 분석하여 제1 디스패러티들을 산출하는 제1 단계; 상기 제1 디스패러티들의 신뢰도 값들을 산출하는 제2 단계; 문턱 값 이상의 신뢰도 값을 갖는 상기 제1 디스패러티들의 평균값을 산출하는 제3 단계; 및 상기 평균값에 기초하여 상기 제1 범위를 쉬프트하여 제2 범위를 설정하고, 상기 제2 범위 내에서 상기 좌안 영상 데이터와 상기 우안 영상 데이터를 분석하여 제2 디스패러티들을 산출하는 제4 단계를 포함한다.

Description

디스패러티 산출방법과 이를 이용한 입체영상 표시장치{DISPARITY CALCULATION METHOD AND STEREOSCOPIC IMAGE DISPLAY DEVICE}
본 발명은 디스패러티 산출방법과 이를 이용한 입체영상 표시장치에 관한 것이다.
입체영상 표시장치는 양안시차방식(stereoscopic technique)과 복합시차지각방식(autostereoscopic technique)으로 나뉘어진다. 양안시차방식은 입체 효과가 큰 좌우 눈의 시차 영상을 이용하며, 안경방식과 무안경방식이 있고 두 방식 모두 실용화되고 있다. 안경방식은 직시형 표시소자나 프로젝터에 좌우 시차 영상의 편광 방향을 바꿔서 표시하고 편광 안경을 사용하여 입체영상을 구현하는 패턴 리타더 방식이 있다. 또한, 안경방식은 직시형 표시소자나 프로젝터에 좌우 시차 영상을 시분할하여 표시하고 액정셔터안경을 사용하여 입체영상을 구현하는 셔터안경 방식이 있다. 무안경 방식은 일반적으로 패럴렉스 베리어, 렌티큘러 렌즈 등의 광학판을 사용하여 좌우시차 영상의 광축을 분리하여 입체영상을 구현한다.
사용자가 셔터안경이나 편광안경을 착용하지 않고 입체영상을 시청할 수 있는 편의성으로 인해, 무안경 방식은 최근에 스마트폰(smart phone), 태블릿(tablet), 및 노트북(notebook) 등의 중소형 디스플레이에 많이 적용되고 있다. 무안경 방식은 3D 크로스토크(crosstalk)를 줄이기 위해 광학판을 이용하여 m(m은 2 이상의 자연수) 개의 뷰 영상들을 포함하는 멀티뷰 영상을 m 개의 뷰 영역들에 표시함으로써 입체영상을 구현한다. 3D 크로스토크는 복수 개의 뷰 영상들이 사용자에게 겹쳐보이는 것을 의미하며, 3D 크로스토크로 인해 입체영상의 품질이 낮아지게 된다.
멀티뷰 영상은 일반인의 양안 간격만큼 m 개의 카메라를 이격하고 객체에 대한 이미지를 촬영함으로써 생성될 수 있다. 하지만, 멀티뷰 영상은 비디오 컨텐츠로 제작하기 쉽지 않을 뿐만 아니라 비디오 컨텐츠로 제작하기 위한 단가가 높기 때문에, 멀티뷰 영상으로 구현된 비디오 컨텐츠는 많이 부족한 실정이다. 따라서, 좌안 영상과 우안 영상(또는 2 개의 뷰 영상들)을 포함하는 양안 시차 영상을 이용하여 멀티뷰 영상을 생성하는 방법이 많이 이용되고 있다. 양안 시차 영상을 이용한 멀티뷰 영상 생성 방법은 좌안 영상과 우안 영상을 분석하여 디스패러티(diparity)들을 산출한다. 디스패러티는 입체감을 형성하기 위해 좌안 영상과 우안 영상을 쉬프트시키기 위한 값을 의미한다.
한편, 좌안 영상과 우안 영상을 포함하는 양안 시차 영상은 토-인 방식(toe-in method) 또는 수평 방식(parallel method)을 이용하여 얻어질 수 있다. 토-인 방식은 도 1a과 같이 두 대의 카메라(C1, C2)를 안쪽으로 향하게 하여 피사체(subject, SUB)에 초점(F)을 맞추고 촬영하는 방식이고, 수평 방식은 도 1b와 같이 두 대의 카메라(C1, C2)를 평행하게 하여 피사체(SUB)에 초점을 맞추지 않고 촬영하는 방식을 의미한다. 토-인 방식으로 촬영하여 생성된 양안 시차 영상을 이용하여 디스패러티들을 산출하는 경우, 초점(F)이 맞춰진 피사체(SUB)보다 앞쪽에 위치하는 어느 한 객체의 디스패러티는 제1 값(양의 값)으로 산출되며, 뒤쪽에 위치하는 또 다른 객체의 디스패러티는 제2 값(음의 값)으로 산출될 수 있다. 수평 방식으로 촬영하여 생성된 양안 시차 영상을 이용하여 디스패러티들을 산출하는 경우, 어느 한 객체의 디스패러티는 기준이 되는 초점(F)이 맞춰진 피사체(SUB)가 없으므로, 양의 값(또는 음의 값)으로만 산출될 수 있다. 결국, 토-인 방식의 양안 시차 영상으로부터 산출되는 디스패러티들의 범위와 수평 방식의 양안 시차 영상으로부터 산출되는 디스패러티들의 범위가 다르기 때문에, 종래에는 토-인 방식의 양안 시차 영상으로부터 산출되는 디스패러티들의 범위와 수평 방식의 양안 시차 영상으로부터 산출되는 디스패러티들의 범위를 모두 고려하여야 했었다. 이 경우, 디스패러티 산출을 위한 연산량이 매우 크며, 연산 결과들을 저장하기 위한 메모리의 크기 또한 매우 커야 한다. 이로 인해, 메모리 등의 비용 증가가 초래되는 문제가 있었다.
본 발명은 메모리의 크기를 늘리지 않고도 양안 시차 영상을 촬영한 촬영 방식을 고려하여 정확히 디스패러티를 산출할 수 있는 디스패러티 산출방법과 이를 이용한 입체영상 표시장치를 제공한다.
본 발명의 실시 예에 따른 디스패러티 산출방법은 좌안 영상 데이터와 우안 영상 데이터를 포함하는 3D 영상 데이터를 입력받고, 제1 범위 내에서 상기 좌안 영상 데이터와 상기 우안 영상 데이터를 분석하여 제1 디스패러티들을 산출하는 제1 단계; 상기 제1 디스패러티들의 신뢰도 값들을 산출하는 제2 단계; 문턱 값 이상의 신뢰도 값을 갖는 상기 제1 디스패러티들의 평균값을 산출하는 제3 단계; 및 상기 평균값에 기초하여 상기 제1 범위를 쉬프트하여 제2 범위를 설정하고, 상기 제2 범위 내에서 상기 좌안 영상 데이터와 상기 우안 영상 데이터를 분석하여 제2 디스패러티들을 산출하는 제4 단계를 포함한다.
본 발명의 실시 예에 따른 입체영상 표시장치는 데이터 라인들과 게이트 라인들을 포함하는 표시패널; 좌안 영상 데이터와 우안 영상 데이터를 포함하는 3D 영상 데이터로부터 디스패러티들을 산출하는 디스패러티 산출부와 상기 디스패러티들에 따라 상기 좌안 영상 데이터 또는 상기 우안 영상 데이터를 쉬프트시켜 멀티뷰 영상 데이터를 생성하는 멀티뷰 영상 생성부를 포함하는 영상처리부; 상기 멀티뷰 영상 데이터를 데이터 전압으로 변환하여 상기 데이터 라인들에 공급하는 데이터 구동회로; 및 상기 게이트 라인들에 게이트 펄스를 순차적으로 공급하는 게이트 구동회로를 포함하고, 상기 디스패러티 산출부는, 제1 범위 내에서 상기 좌안 영상 데이터와 상기 우안 영상 데이터를 분석하여 상기 제1 디스패러티들을 산출하는 제1 디스패러티 산출부; 상기 제1 디스패러티들의 신뢰도 값들을 산출하는 신뢰도 값 산출부; 문턱 값 이상의 신뢰도 값을 갖는 상기 제1 디스패러티들의 평균값을 산출하는 평균값 산출부; 및 상기 평균값에 기초하여 상기 제1 범위를 쉬프트하여 제2 범위를 설정하고, 상기 제2 범위 내에서 상기 좌안 영상 데이터와 상기 우안 영상 데이터를 분석하여 상기 제2 디스패러티들을 산출하는 제2 디스패러티 산출부를 포함한다.
본 발명은 미리 설정된 제1 범위 내에서 제1 디스패러티들을 산출하고, 제1 디스패러티들의 신뢰도 값들에 의존하여 제1 범위를 쉬프트시켜 제2 범위를 설정하며, 제2 범위 내에서 제2 디스패러티들을 산출한다. 그 결과, 본 발명은 양안 시차 영상의 촬영 방식을 모두 반영하기 위해 메모리의 크기를 늘릴 필요가 없으며, 메모리의 크기를 늘리지 않고도 양안 시차 영상의 촬영 방식을 고려하여 정확히 디스패러티를 산출할 수 있다.
도 1a는 토-인 방식의 카메라 촬영을 보여주는 일 예시도면.
도 1b는 수평 방식의 카메라 촬영을 보여주는 일 예시도면.
도 2는 본 발명의 실시 예에 따른 입체영상 표시장치를 개략적으로 보여주는 블록도.
도 3은 본 발명의 실시 예에 따른 입체영상 표시장치의 입체영상 구현방법을 보여주는 일 예시 도면.
도 4는 도 2의 영상처리부를 상세히 보여주는 블록도.
도 5는 본 발명의 실시 예에 따른 멀티뷰 영상 생성방법을 상세히 보여주는 흐름도.
도 6은 도 4의 디스패러티 산출부를 상세히 보여주는 블록도.
도 7은 본 발명의 실시 예에 따른 디스패러티 산출방법을 상세히 보여주는 흐름도.
도 8a 및 도 8b은 좌안 영상 데이터 맵과 우안 영상 데이터 맵을 이용한 제1 디스패러티 산출방법을 보여주는 예시도면들.
도 9a는 수평 방식의 기준 영상 데이터 맵을 보여주는 일 예시도면.
도 9b는 초기 디스패러티 맵을 보여주는 일 예시도면.
도 9c는 신뢰도 맵을 보여주는 일 예시도면.
도 9d는 디스패러티 맵을 보여주는 일 예시도면.
도 10a는 토-인 방식의 기준 영상 데이터 맵을 보여주는 일 예시도면.
도 10b는 디스패러티 맵을 보여주는 일 예시도면.
이하 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예들을 상세히 설명한다. 명세서 전체에 걸쳐서 동일한 참조번호들은 실질적으로 동일한 구성요소들을 의미한다. 이하의 설명에서, 본 발명과 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그 상세한 설명을 생략한다. 이하의 설명에서 사용되는 구성요소 명칭은 명세서 작성의 용이함을 고려하여 선택된 것일 수 있는 것으로서, 실제 제품의 부품 명칭과는 상이할 수 있다.
도 2는 본 발명의 실시 예에 따른 입체영상 표시장치를 개략적으로 보여주는 블록도이다. 도 2를 참조하면, 본 발명의 실시 예에 따른 입체영상 표시장치는 표시패널(10), 광학판(30), 게이트 구동회로(110), 데이터 구동회로(120), 타이밍 콘트롤러(130), 영상 처리부(140), 및 호스트 시스템(150) 등을 구비한다. 본 발명의 실시 예에 따른 입체영상 표시장치의 표시패널(10)은 액정표시소자(Liquid Crystal Display, LCD), 전계 방출 표시소자(Field Emission Display, FED), 플라즈마 디스플레이 패널(Plasma Display Panel, PDP), 유기발광다이오드 소자(Organic Light Emitting Diode, OLED) 등의 평판 표시소자로 구현될 수 있다. 본 발명은 아래의 실시 예에서 표시패널(10)이 액정표시소자로 구현된 것을 중심으로 예시하였지만, 이에 한정되지 않는 것에 주의하여야 한다.
표시패널(10)은 액정층을 사이에 두고 대향하는 상부기판과 하부기판을 포함한다. 표시패널(10)에는 데이터 라인(D)들과 게이트 라인(G)들(또는 스캔 라인들)의 교차 구조에 의해 매트릭스 형태로 배열되는 픽셀들을 포함하는 화소 어레이가 형성된다. 화소 어레이의 화소들 각각은 TFT(Thin Film Transistor)를 통해 데이터 전압이 충전되는 화소 전극과 공통전압이 인가되는 공통전극의 전압 차에 의해 액정층의 액정을 구동시켜 빛의 투과량을 조정함으로써 화상을 표시한다. 표시패널(10)의 상부기판상에는 블랙매트릭스와 컬러필터가 형성된다. 공통전극은 TN(Twisted Nematic) 모드와 VA(Vertical Alignment) 모드와 같은 수직전계 구동방식의 경우에 상부기판상에 형성되며, IPS(In-Plane Switching) 모드와 FFS(Fringe Field Switching) 모드와 같은 수평전계 구동방식의 경우에 화소전극과 함께 하부기판상에 형성될 수 있다. 표시패널(10)의 액정모드는 TN 모드, VA 모드, IPS 모드, FFS 모드뿐 아니라 어떠한 액정모드로도 구현될 수 있다. 액정표시패널의 상부기판과 하부기판 각각에는 편광판이 부착되고 액정의 프리틸트각(pre-tilt angle)을 설정하기 위한 배향막이 형성된다. 표시패널(10)의 상부기판과 하부기판 사이에는 액정층의 셀갭(cell gap)을 유지하기 위한 스페이서(spacer)가 형성된다.
표시패널(10)은 투과형 액정표시패널, 반투과형 액정표시패널, 반사형 액정표시패널 등 어떠한 형태로도 구현될 수 있다. 투과형 액정표시패널과 반투과형 액정표시패널에서는 백라이트 유닛이 필요하다. 백라이트 유닛은 직하형(direct type) 백라이트 유닛 또는 에지형(edge type) 백라이트 유닛으로 구현될 수 있다.
멀티뷰 영상은 제1 내지 제n(n은 3 이상의 자연수) 뷰 영상들을 포함한다. 멀티뷰 영상은 일반인의 양안 간격만큼 n 개의 카메라를 이격하고 객체에 대한 이미지를 촬영함으로써 생성될 수 있다. 광학판(30)은 표시패널(10) 상에 배치되어 표시패널(10)의 화소들에 표시되는 제1 내지 제n 뷰 영상들을 제1 내지 제n 뷰 영역들로 진행시킨다. 제1 내지 제n 뷰 영상들은 제1 내지 제n 뷰 영역들과 일대일로 매칭된다. 즉, 광학판(30)은 화소들에 표시되는 제k(k는 1≤k≤n을 만족하는 자연수) 뷰 영상을 제k 뷰 영역으로 진행시킨다. 본 발명의 실시 예에 따른 입체영상 표시장치의 광학판(30)은 패럴렉스 배리어(parallax barrier), 스위쳐블 배리어(switchable barrier), 렌티큘러 렌즈(lenticular lens), 스위쳐블 렌즈(switchable lens) 등 어떠한 형태로도 구현될 수 있다. 한편, 광학판(30)이 스위쳐블 배리어 또는 스위쳐블 렌즈로 구현되는 경우, 광학판(30)을 구동하기 위한 광학판 구동회로가 필요하다. 광학판 구동회로는 광학판(30)에 구동전압을 공급함으로써 스위쳐블 배리어 또는 스위쳐블 렌즈의 광분리를 온-오프시킬 수 있다. 이하에서, 도 3을 참조하여 광학판(30)을 이용한 입체영상 구현방법을 상세히 살펴본다.
도 3은 본 발명의 실시 예에 따른 무안경 방식의 입체영상 표시장치의 입체영상 구현방법을 보여주는 일 예시 도면이다. 도 3에서는 설명의 편의를 위해 표시패널(10)이 4 개의 뷰 영상들(V1, V2, V3, V4)을 표시하고, 광학판(30)이 표시패널(10)에 표시된 4 개의 뷰 영상들(V1, V2, V3, V4)을 4 개의 뷰 영역들(VP1, VP2, VP3, VP4)로 진행시키는 것을 중심으로 설명하였다. 도 3에서 광학판(30)은 렌티큘러 렌즈로 구현된 것을 중심으로 예시하였지만, 본 발명의 실시 예에 따른 광학판(30)은 패럴렉스 배리어, 스위쳐블 배리어, 렌티큘러 렌즈, 스위쳐블 렌즈 등 어떠한 형태로도 구현될 수 있음에 유의하여야 한다.
도 3을 참조하면, 광학판(30)은 화소들에 표시되는 제1 뷰 영상(V1)을 제1 뷰 영역(VP1)으로 진행시키고, 화소들에 표시되는 제2 뷰 영상(V2)을 제2 뷰 영역(VP2)으로 진행시키며, 화소들에 표시되는 제3 뷰 영상(V3)을 제3 뷰 영역(VP3)으로 진행시키고, 화소들에 표시되는 제4 뷰 영상(V4)을 제4 뷰 영역(VP4)으로 진행시킨다. 사용자의 좌안이 제k 뷰 영역(VPk)에 위치하고, 우안이 제k-1 뷰 영역(VPk-1)에 위치하는 경우, 사용자는 좌안으로 제k 뷰 영상(Vk)을 시청하고, 우안으로 제k-1 뷰 영상의 인접 뷰 영상을 시청할 수 있다. 따라서, 사용자는 양안 시차에 의해 입체감을 느낄 수 있다. 예를 들어, 도 3과 같이 사용자의 좌안이 제2 뷰 영역(VP2)에 위치하고, 우안이 제1 뷰 영역(VP1)에 위치하는 경우, 사용자는 좌안으로 제2 뷰 영상(V2)을 시청하고, 우안으로 제1 뷰 영상(V1)을 시청할 수 있다. 따라서, 사용자는 양안 시차에 의해 입체감을 느낄 수 있다.
데이터 구동회로(120)는 다수의 소스 드라이브 집적회로(Integrated Circuit, 이하 'IC'라 칭함)들을 포함한다. 소스 드라이브 IC들은 타이밍 콘트롤러(130)의 제어 하에 2D 영상 데이터(RGB2D) 또는 멀티뷰 영상 데이터(MVD)를 정극성/부극성 감마보상전압으로 변환하여 정극성/부극성 아날로그 데이터전압들을 발생한다. 소스 드라이브 IC들로부터 출력되는 정극성/부극성 아날로그 데이터 전압들은 표시패널(10)의 데이터 라인(D)들에 공급된다.
게이트 구동회로(110)는 타이밍 콘트롤러(130)의 제어 하에 표시패널(10)의 게이트 라인(G)들에 게이트 펄스들(또는 스캔 펄스들)을 순차적으로 공급한다. 게이트 구동부(110)는 쉬프트 레지스터, 쉬프트 레지스터의 출력신호를 액정셀의 TFT 구동에 적합한 스윙폭으로 변환하기 위한 레벨 쉬프터, 및 출력 버퍼 등을 각각 포함하는 다수의 게이트 드라이브 집적회로들로 구성될 수 있다.
타이밍 콘트롤러(130)는 영상 처리부(140)로부터 2D 영상 데이터(RGB2D) 또는 멀티뷰 영상 데이터(MVD)와 타이밍 신호들과 모드 신호(MODE) 등을 입력받는다. 타이밍 신호들은 수직동기신호(vertical synchronization signal), 수평동기신호(horizontal synchronization signal), 데이터 인에이블 신호(data enable signal), 및 클럭 신호(clock signal) 등을 포함할 수 있다. 타이밍 콘트롤러(130)는 타이밍 신호들에 기초하여 게이트 구동회로(110)를 제어하기 위한 게이트 제어신호(GCS)를 생성하고, 데이터 구동회로(120)를 제어하기 위한 데이터 제어신호(DCS)를 생성한다. 타이밍 콘트롤러(130)는 게이트 제어신호(GCS)를 게이트 구동회로(110)에 공급한다. 타이밍 콘트롤러(130)는 2D 모드에서 2D 영상 데이터(RGB2D)와 데이터 제어신호(DCS)를 데이터 구동회로(120)로 공급하고, 3D 모드에서 멀티뷰 영상 데이터(MVD)와 데이터 제어신호(DCS)를 데이터 구동회로(120)로 공급한다.
호스트 시스템(150)은 외부 비디오 소스 기기로부터 입력되는 2D 영상 데이터(RGB2D) 또는 3D 영상 데이터(RGB3D)를 표시패널(10)에 표시하기에 적합한 해상도의 데이터 포맷으로 변환하기 위해 스케일러(scaler)가 내장된 시스템 온 칩(System on Chip)을 포함할 수 있다. 호스트 시스템(150)은 LVDS(Low Voltage Differential Signaling) 인터페이스, TMDS(Transition Minimized Differential Signaling) 인터페이스 등의 인터페이스를 통해 2D 영상 데이터(RGB2D) 또는 3D 영상 데이터(RGB3D)와 타이밍 신호들을 영상 처리부(140)에 공급한다. 또한, 호스트 시스템(150)은 2D 모드와 3D 모드를 구별할 수 있는 모드 신호(MODE)를 영상 처리부(140)에 공급한다.
영상 처리부(140)는 2D 모드에서 2D 영상 데이터(RGB2D)를 변환하지 않고 그대로 타이밍 콘트롤러(130)로 출력한다. 영상 처리부(140)는 3D 모드에서 3D 영상 데이터(RGB3D)로부터 멀티뷰 영상 데이터(MVD)를 생성하여 타이밍 콘트롤러(130)로 출력한다. 3D 영상 데이터(RGB3D)는 좌안 영상 데이터와 우안 영상 데이터(또는 2 개의 뷰 영상 데이터)를 포함한다. 따라서, 본 발명의 실시 예에 따른 입체영상 표시장치는 3D 영상 데이터(RGB3D)가 입력되더라도, 영상 처리부(140)를 이용하여 멀티뷰 영상 데이터(MVD)를 생성함으로써, 표시패널(10)에 멀티뷰 영상을 표시할 수 있다. 그 결과, 본 발명의 실시 예에 따른 입체영상 표시장치는 입체영상의 품질을 높일 수 있다. 이하에서, 도 4 및 도 5를 참조하여 영상 처리부(140)의 멀티뷰 영상 데이터(MVD) 생성방법에 대하여 상세히 설명한다.
도 4는 도 2의 영상처리부를 상세히 보여주는 블록도이다. 도 5는 본 발명의 실시 예에 따른 멀티뷰 영상 생성방법을 상세히 보여주는 흐름도이다. 도 4를 참조하면, 영상처리부(140)는 디스패러티 산출부(200)와 멀티뷰 영상 생성부(300)를 포함한다. 이하에서, 도 4와 도 5를 결부하여 영상처리부(140)의 멀티뷰 영상 생성방법을 상세히 설명한다.
첫 번째로, 디스패러티 산출부(200)는 3D 영상 데이터(RGB3D)의 좌안 영상 데이터(RGBL)와 우안 영상 데이터(RGBR)를 이용하여 디스패러티(disparity)들을 산출한다. 디스패러티는 입체감을 형성하기 위해 좌안 영상 또는 우안 영상을 쉬프트시키기 위한 값을 의미한다. 디스패러티 산출부(200)의 디스패러티 산출방법에 대한 자세한 설명은 도 6 및 도 7을 결부하여 후술한다. (S101)
멀티뷰 영상 생성부(300)는 디스패러티 산출부(200)에 의해 산출된 디스패러티들에 따라 좌안 영상 데이터(RGBL) 또는 우안 영상 데이터(RGBR)를 쉬프트시켜 멀티뷰 영상 데이터(MVD)를 생성한다. 좌안 영상 데이터 맵은 1 프레임 기간 동안 표시패널(10)의 화소들에 공급될 좌안 영상 데이터(RGBL)들을 이용하여 작성될 수 있고, 우안 영상 데이터 맵은 1 프레임 기간 동안 표시패널(10)의 화소들에 공급될 우안 영상 데이터들을 이용하여 작성될 수 있다. 좌안 영상 데이터 맵과 우안 영상 데이터 맵에서 좌안 영상 데이터(RGBL)들과 우안 영상 데이터(RGBR)들은 그 위치가 좌표로 표현될 수 있다.
예를 들어, 멀티뷰 영상 생성부(300)는 (i,j)(i,j는 자연수) 좌표에서의 좌안 영상 데이터(RGBL(i,j))를 (i,j) 좌표에서의 디스패러티(Dis(i,j))만큼 제1 수평 방향으로 쉬프트시켜 (i,j) 좌표에서의 제1 뷰 영상 데이터(V1(i,j))를 생성하고, (i,j) 좌표에서의 좌안 영상 데이터(RGBL(i,j))를 (i,j) 좌표에서의 디스패러티(Dis(i,j))만큼 제1 수평 방향과 반대되는 제2 수평 방향으로 쉬프트시켜 (i,j) 좌표에서의 제2 뷰 영상 데이터(V2(i,j))를 생성하는 방식으로, 2 개의 뷰 영상 데이터를 생성할 수 있다. 그리고 나서, 멀티뷰 영상 데이터 생성부(300)는 (i,j) 좌표에서의 제1 뷰 영상 데이터(V1(i,j))와 (i,j) 좌표에서의 제2 뷰 영상 데이터(V2(i,j)) 사이에 적어도 하나 이상의 (i,j) 좌표에서의 뷰 영상 데이터를 생성하는 방식으로, n 개 이상의 뷰 영상 데이터를 포함하는 멀티뷰 영상 데이터를 생성할 수 있다. 멀티뷰 영상 생성부(300)의 멀티뷰 영상 생성방법은 공지의 어떠한 방법도 적용될 수 있다. 멀티뷰 영상 생성부(300)는 멀티뷰 영상 데이터(MVD)에 홀 필링(hole filling) 등의 후처리 연산을 수행한 후 타이밍 콘트롤러(130)로 출력한다. (S102)
도 6은 도 4의 디스패러티 산출부를 상세히 보여주는 블록도이다. 도 7은 본 발명의 실시 예에 따른 디스패러티 산출방법을 상세히 보여주는 흐름도이다. 도 6을 참조하면, 디스패러티 산출부(200)는 제1 디스패러티 산출부(210), 신뢰도 값 산출부(220), 평균값 산출부(230), 제2 디스패러티 산출부(240), 및 후처리부(250)를 포함한다. 이하에서, 도 6과 도 7을 결부하여 디스패러티 산출부(200)의 디스패러티 산출방법을 상세히 설명한다.
첫 번째로, 제1 디스패러티 산출부(210)는 3D 모드에서 호스트 시스템(150)으로부터 3D 영상 데이터(RGB3D)를 입력받는다. 3D 영상 데이터(RGB3D)는 좌안 영상 데이터(RGBL)와 우안 영상 데이터(RGBR)를 포함한다. 제1 디스패러티 산출부(210)는 좌안 영상 데이터(RGBL)와 우안 영상 데이터(RGBR) 중 어느 하나를 기준 영상 데이터로 설정하고, 나머지 하나를 비교 영상 데이터로 설정한다. 아래의 실시 예에서는 설명의 편의를 위해 좌안 영상 데이터(RGBL)를 기준 영상 데이터로 설정하고, 우안 영상 데이터(RGBR)를 비교 영상 데이터로 설정한 것을 중심으로 설명하였음에 주의하여야 한다.
제1 디스패러티 산출부(210)는 도 8a와 같이 좌안 영상 데이터 맵(RGBL)에 제1 블록(BL1)을 설정하고, 제2 블록(BL2)의 중심 좌표(C2)가 제1 블록(BL1)의 중심 좌표(C1)와 동일한 좌표를 갖도록 우안 영상 데이터 맵(RGBR)에 제2 블록(BL2)을 설정한다. 좌안 영상 데이터 맵(RGBLM)은 1 프레임 기간 동안 표시패널(10)의 화소들에 공급될 좌안 영상 데이터(RGBL)들로 작성된 맵을 의미하고, 우안 영상 데이터 맵(RGBRM)은 1 프레임 기간 동안 표시패널(10)의 화소들에 공급될 우안 영상 데이터들로 작성된 맵을 의미한다. 좌안 영상 데이터 맵(RGBLM)과 우안 영상 데이터 맵(RGBRM)에서 좌안 영상 데이터(RGBL)들과 우안 영상 데이터(RGBR)들은 그 위치가 좌표로 표현될 수 있다. 또한, 제1 블록(BL1)과 제2 블록(BL2)은 p×q(p, q는 2 이상의 자연수) 개의 데이터들을 포함하도록 구현될 수 있으며, 예를 들어 도 8과 같이 3×3 개의 데이터들을 포함할 수 있다.
그리고 나서, 제1 디스패러티 산출부(210)는 우안 영상 데이터 맵(RGBRM)에서 제2 블록(BL2)을 쉬프트하면서 제1 블록(BL1) 내에 포함된 좌안 영상 데이터(RGBL)들과 제2 블록(BL2) 내에 포함된 우안 영상 데이터(RGBR)들의 차이의 절대값이 최소인 제2 블록(BL2)을 검출한다. 구체적으로, 제1 디스패러티 산출부(210)는 제2 블록(BL2)의 중심 좌표(C2)가 제1 범위(DR1) 내에 속하는 범위에서 제2 블록(BL2)을 쉬프트하면서 제1 블록(BL1) 내에 포함된 좌안 영상 데이터(RGBL)들과 제2 블록(BL2) 내에 포함된 우안 영상 데이터(RGBR)들의 차이의 절대값이 최소인 제2 블록(BL2)을 검출한다.
제1 범위(DR1)는 제1 블록(BL1)의 중심 좌표(C1)를 (x,y)라 할 때, (x-dr,y) 내지 (x+dr-1,y)로 설정될 수 있다. 이 경우, 제1 디스패러티 산출부(210)는 제2 블록(BL2)의 중심 좌표(C2)가 (x-dr,y) 내지 (x+dr-1,y)에 속하는 범위에서 제2 블록(BL2)을 쉬프트하면서 제1 블록(BL1) 내에 포함된 좌안 영상 데이터(RGBL)들과 제2 블록(BL2) 내에 포함된 우안 영상 데이터(RGBR)들의 차이가 최소인 제2 블록(BL2)을 검출한다. 즉, 제2 블록(BL2)은 그의 중심 좌표(C2)가 (x-dr,y) 내지 (x+dr-1,y)를 벗어나지 않는 범위 내에서 쉬프트된다. dr은 디스패러티의 최대값으로 사전 실험을 통해 미리 설정될 수 있다.
한편, 제1 디스패러티 산출부(210)는 제1 블록(BL1)과 제2 블록(BL2) 내의 위치별로 좌안 영상 데이터와 우안 영상 데이터의 차이의 절대값을 산출하고 이들을 총합함으로써, 제1 블록(BL1) 내에 포함된 좌안 영상 데이터들과 제2 블록(BL2) 내에 포함된 우안 영상 데이터들의 차이의 절대값을 산출할 수 있다. 예를 들어, 제1 디스패러티 산출부(210)는 제1 블록(BL1)과 제2 블록(BL2)의 중심 좌표(C1)를 (x,y) 좌표라 할 때, 제1 블록(BL1)의 (x-1,y-1) 좌표에서의 좌안 영상 데이터와 제2 블록(BL2)의 (x-1,y-1) 좌표에서의 우안 영상 데이터의 차이의 절대값을 산출할 수 있다. 제1 디스패러티 산출부(210)는 나머지 좌표들에서도 위와 같이 좌안 영상 데이터와 우안 영상 데이터의 차이의 절대값을 산출할 수 있다. 제1 디스패러티 산출부(210)는 (x-1,y-1) 내지 (x+1,y+1) 좌표들에서 산출된 절대값들의 총합을 제1 블록(BL1) 내에 포함된 좌안 영상 데이터들과 제2 블록(BL2) 내에 포함된 우안 영상 데이터들의 차이의 절대값으로 산출할 수 있다.
제1 디스패러티 산출부(210)는 도 8b과 같이 제1 블록(BL1)의 중심 좌표(C1)와 검출된 제2 블록(BL2)의 중심 좌표(C2) 사이의 거리를 제1 블록(BL1)의 중심 좌표(C1)에서의 제1 디스패러티(DIS1)로 산출한다. 제1 디스패러티(DIS1)는 제1 범위(DR1) 내에서 산출된다. 제1 디스패러티 산출부(210)는 제1 블록(BL1)을 쉬프트하면서 상기 과정을 반복하며 좌안 영상 데이터 맵(RGBLM)의 모든 좌표들에서 제1 디스패러티(DIS1)들을 산출할 수 있다. 제1 디스패러티 산출부(210)는 도 9b와 같이 1 프레임 기간의 제1 디스패러티(DIS1)들로부터 제1 디스패러티 맵(IDM1)을 작성할 수 있다. (S201)
두 번째로, 신뢰도 값 산출부(220)는 제1 디스패러티들의 신뢰도 값들을 산출한다. 신뢰도 값은 제1 디스패러티(DIS1)가 얼마나 정확히 산출되었는지를 지시한다. 따라서, 신뢰도 값이 높을수록 제1 디스패러티(DIS1)가 정확히 산출되었음을 의미한다.
구체적으로, 신뢰도 값 산출부(220)는 제1 블록(BL1) 내에 포함된 좌안 영상 데이터(RGBL)들과 검출된 제2 블록(BL2) 내에 포함된 우안 영상 데이터(RGBR)들의 차이의 절대값을 이용하여 제1 블록(BL1)의 중심 좌표(C1)에서의 제1 디스패러티의 신뢰도 값을 산출할 수 있다. 즉, 신뢰도 값 산출부(220)는 제1 블록(BL1) 내에 포함된 좌안 영상 데이터(RGBL)들과 검출된 제2 블록(BL2) 내에 포함된 우안 영상 데이터(RGBR)들의 차이의 절대값이 작을수록 제1 디스패러티의 신뢰도 값을 높게 산출한다. 신뢰도 값 산출부(220)는 제1 디스패러티의 신뢰도 값을 정규화(normalization)하는 과정을 포함할 수 있다. 신뢰도 값 산출부(220)는 상기 과정을 반복하며 제1 디스패러티 맵(IDM1)의 모든 좌표들에서 신뢰도 값(CV)들을 산출할 수 있다. 신뢰도 값 산출부(220)는 도 9c와 같이 1 프레임 기간의 신뢰도 값(CV)들로부터 신뢰도 맵(CM)을 작성할 수 있다.
또는, 신뢰도 값 산출부(220)는 제1 블록(BL1) 내에 포함된 좌안 영상 데이터(RGBL)들과 검출된 제2 블록(BL2) 내에 포함된 우안 영상 데이터(RGBR)들의 차이의 절대값인 제1 차이 절대값과, 검출된 제2 블록(BL2)에 인접한 블록 내에 포함된 우안 영상 데이터(RGBR)들의 차이의 절대값인 제2 차이 절대값을 산출한다. 그리고 나서, 신뢰도 값 산출부(220)는 제1 차이 절대값과 제2 차이 절대값을 비교하여 차이 변화량을 산출한다. 신뢰도 값 산출부(220)는 차이 변화량에 의존하여 제1 블록(BL1)의 중심 좌표(C1)에서의 제1 디스패러티(DIS1)의 신뢰도 값(CV)을 산출할 수 있다. 즉, 신뢰도 값 산출부(220)는 차이 변화량이 클수록 제1 블록(BL1)의 중심 좌표(C1)에서의 제1 디스패러티(DIS1)의 신뢰도 값(CV)을 높게 산출할 수 있다. (S202)
세 번째로, 평균값 산출부(230)는 소정의 문턱 값 이상의 신뢰도 값(CV)을 갖는 제1 디스패러티(DIS1)들의 평균값을 산출한다. 구체적으로, 평균값 산출부(230)는 (x,y) 좌표에서의 신뢰도 값(CV)이 소정의 문턱 값 이상이라면, (x,y) 좌표에서의 제1 디스패러티(ID1(x,y))는 평균값 산출 후보군으로 산출될 수 있다. 평균값 산출부(230)는 평균값 산출 후보군으로 산출된 제1 디스패러티(DIS1)들의 평균값을 산출할 수 있다. (S203)
네 번째로, 제2 디스패러티 산출부(240)는 3D 모드에서 호스트 시스템(150)으로부터 3D 영상 데이터(RGB3D)를 입력받는다. 3D 영상 데이터(RGB3D)는 좌안 영상 데이터(RGBL)와 우안 영상 데이터(RGBR)를 포함한다. 제2 디스패러티 산출부(240)는 좌안 영상 데이터(RGBL)와 우안 영상 데이터(RGBR) 중 어느 하나를 기준 영상 데이터로 설정하고, 나머지 하나를 비교 영상 데이터로 설정한다. 아래의 실시 예에서는 설명의 편의를 위해 좌안 영상 데이터(RGBL)를 기준 영상 데이터로 설정하고, 우안 영상 데이터(RGBR)를 비교 영상 데이터로 설정한 것을 중심으로 설명하였음에 주의하여야 한다.
제2 디스패러티 산출부(240)는 좌안 영상 데이터 맵(RGBLM)에 제1 블록(BL1)을 설정하고, 제2 블록(BL2)의 중심 좌표(C2)가 제1 블록(BL1)의 중심 좌표(C1)와 동일한 좌표를 갖도록 우안 영상 데이터 맵(RGBRM)에 제2 블록(BL2)을 설정한다. 그리고 나서, 제2 디스패러티 산출부(240)는 우안 영상 데이터 맵(RGBRM)에서 제2 블록(BL2)을 쉬프트하면서 제1 블록(BL1) 내에 포함된 좌안 영상 데이터(RGBL)들과 제2 블록(BL2) 내에 포함된 우안 영상 데이터(RGBR)들의 차이의 절대값이 최소인 제2 블록(BL2)을 검출한다. 구체적으로, 제2 디스패러티 산출부(240)는 제2 블록(BL2)의 중심 좌표(C2)가 제2 범위(DR2) 내에 속하는 범위에서 제2 블록(BL2)을 쉬프트하면서 제1 블록(BL1) 내에 포함된 좌안 영상 데이터(RGBL)들과 제2 블록(BL2) 내에 포함된 우안 영상 데이터(RGBR)들의 차이의 절대값이 최소인 제2 블록(BL2)을 검출한다.
제2 디스패러티 산출부(240)는 평균값 산출부(230)에 의해 산출된 평균값에 기초하여 제1 범위(DR1)를 쉬프트시켜 제2 범위(DR2)를 설정할 수 있다. 구체적으로, 제2 디스패러티 산출부(240)는 평균값 산출부(230)에 의해 산출된 평균값만큼 제1 범위(DR1)를 쉬프트시켜 제2 범위(DR2)를 설정할 수 있다. 따라서, 제1 범위(DR1)의 크기와 제2 범위(DR2)의 크기는 동일하다. 예를 들어, 제2 범위(DR2)는 제1 블록(BL1)의 중심 좌표(C1)를 (x,y)라 할 때, (x+μ-dr,y) 내지 (x+μ+dr-1,y)로 설정될 수 있다. 이 경우, 제2 디스패러티 산출부(240)는 제2 블록(BL2)의 중심 좌표(C2)가 (x+μ-dr,y) 내지 (x+μ+dr-1,y)에 속하는 범위에서 제2 블록(BL2)을 쉬프트하면서 제1 블록(BL1) 내에 포함된 좌안 영상 데이터(RGBL)들과 제2 블록(BL2) 내에 포함된 우안 영상 데이터(RGBR)들의 차이의 절대값이 최소인 제2 블록(BL2)을 검출한다. 즉, 제2 블록(BL2)은 그의 중심 좌표(C2)가 (x+μ-dr,y) 내지 (x+μ+dr-1,y)를 벗어나지 않는 범위 내에서 쉬프트된다. dr은 디스패러티의 최대값으로 사전 실험을 통해 미리 설정될 수 있다.
제2 디스패러티 산출부(240)는 제1 블록(BL1)의 중심 좌표(C1)와 검출된 제2 블록(BL2)의 중심 좌표(C2) 사이의 거리를 제1 블록(BL1)의 중심 좌표(C1)에서의 제2 디스패러티(DIS2)로 산출한다. 제2 디스패러티(DIS2)는 제2 범위(DR2) 내에서 산출된다. 제2 디스패러티 산출부(240)는 제1 블록(BL1)을 쉬프트하면서 상기 과정을 반복하며 좌안 영상 데이터 맵(RGBLM)의 모든 좌표들에서 제2 디스패러티(DIS2)들을 산출할 수 있다. 제2 디스패러티 산출부(240)는 도 9d와 같이 1 프레임 기간의 제2 디스패러티(DIS2)들로부터 제2 디스패러티 맵(IDM2)을 작성할 수 있다. (S204)
이상에서 살펴본 바와 같이, 본 발명은 미리 설정된 제1 범위 내에서 제1 디스패러티들을 산출하고, 제1 디스패러티들의 신뢰도 값들을 산출한다. 그리고 나서, 본 발명은 소정의 문턱값 이상의 신뢰도 값을 갖는 제1 디스패러티들의 평균값을 산출하고, 그 평균값을 반영하여 제1 범위를 보정하여 제2 범위를 산출하며, 제2 범위 내에서 제2 디스패러티들을 산출한다. 즉, 미리 설정된 제1 범위 내에서 산출된 제1 디스패러티들의 신뢰도가 높은 경우, 소정의 문턱 값 이상의 신뢰도를 갖는 제1 디스패러티들의 평균값은 "0"에 근접한 값을 가지므로, 그 평균값을 반영하여 보정된 제2 범위는 제1 범위와 거의 유사할 것이다. 하지만, 미리 설정된 제1 범위 내에서 산출된 제1 디스패러티들의 신뢰도가 낮은 경우, 소정의 문턱 값 이상의 신뢰도를 갖는 제1 디스패러티들의 평균값은 양의 값 또는 음의 값을 갖게 되므로, 그 평균값을 반영하여 보정된 제2 범위는 제1 범위와 다른 범위를 갖는다.
결국, 본 발명은 미리 설정된 제1 범위 내에서 제1 디스패러티들을 산출하고, 제1 디스패러티들의 신뢰도 값들에 의존하여 제1 범위를 쉬프트시켜 제2 범위를 설정하며, 제2 범위 내에서 제2 디스패러티들을 산출한다. 그 결과, 본 발명은 양안 시차 영상의 촬영 방식을 모두 반영하기 위해 메모리의 크기를 늘릴 필요가 없으며, 메모리의 크기를 늘리지 않고도 양안 시차 영상의 촬영 방식을 고려하여 정확히 디스패러티를 산출할 수 있다.
다섯 번째로, 후처리부(250)는 제2 디스패러티(DIS2)들을 후처리하여 최종 디스패러티(DISF)들을 산출한다. 후처리부(250)는 메디안 필터(median filter), 가중치 메디안 필터(weighted median filter), 가중치 최빈값 필터(weighted voting filter) 등 여러가지 필터들 중 어느 하나를 사용하여 제2 디스패러티(DIS2)들을 후처리할 수 있다. 메디안 필터는 마스크의 중심 좌표에서의 데이터를 마스크 내 데이터들의 중앙값으로 변환하는 필터이다. 가중치 메디안 필터는 마스크 내 데이터들을 가중치 마스크의 가중치를 적용하여 배열한 후 중앙값을 선택하고, 마스크 내 중심 좌표에서의 데이터를 그 중앙값으로 변환하는 필터이다. 가중치 최빈값 필터는 마스크 내 데이터들을 가중치 마스크의 가중치를 적용하여 히스토그램 작성 후 최빈값을 선택하고, 마스크 내 중심 좌표에서의 데이터를 그 최빈값으로 변환하는 필터이다. 후처리부(250)는 후처리 과정을 통해 산출된 최종 디스패러티(DISF)들을 멀티뷰 영상 생성부(300)로 출력한다. (S205)
도 9a는 수평 방식의 기준 영상 데이터 맵을 보여주는 일 예시도면이다. 도 9b는 초기 디스패러티 맵을 보여주는 일 예시도면이다. 도 9c는 신뢰도 맵을 보여주는 일 예시도면이다. 도 9d는 디스패러티 맵을 보여주는 일 예시도면이다.
도 9a에 도시된 기준 영상 데이터 맵은 1 프레임 기간의 기준 영상 데이터들로부터 작성된 맵을 의미한다. 본 발명의 실시 예에서는 기준 영상 데이터가 좌안 영상 데이터(RGBL)인 것을 중심으로 설명하였다. 제1 디스패러티 맵은 1 프레임 기간의 제1 디스패러티들로부터 작성된 맵을 의미한다. 제1 디스패러티들은 도 9b와 같이 계조값(gray level value)으로 표현되고, 계조값이 높을수록 제1 디스패러티가 높은 것을 의미한다. 신뢰도 맵은 제1 디스패러티들의 신뢰도 값들로부터 작성된 맵을 의미한다. 신뢰도 값들도 도 9c와 같이 계조값으로 표현되고, 계조값이 높을수록 신뢰도 값이 높은 것을 의미한다. 제2 디스패러티 맵은 1 프레임 기간의 제2 디스패러티들로부터 작성된 맵을 의미한다. 제2 디스패러티들은 도 9d와 같이 계조값으로 표현되고, 계조값이 높을수록 제2 디스패러티가 높은 것을 의미한다.
한편, 제1 디스패러티들 산출 범위인 제1 범위(DR1)는 토-인 방식(toe-in method)의 입체영상의 디스패러티 산출에 최적화된 범위로 설정될 수 있다. 따라서, 제1 디스패러티 산출부(210)가 제1 범위(DR1) 내에서 도 9a와 같이 수평 방식의 기준 영상 데이터 맵의 디스패러티들을 산출한다면, 도 9b와 같이 제1 디스패러티들 일부가 오산출될 수 있다. 따라서, 본 발명은 도 9c와 같이 제1 디스패러티들의 신뢰도 값들을 산출하고, 소정의 문턱값 이상의 신뢰도 값들을 갖는 제1 디스패러티들의 평균값을 산출한 후, 그 평균값을 이용하여 제1 범위(DR1)를 보정하여 제2 범위(DR2)를 산출한다. 제1 범위(DR1)의 크기와 제2 범위(DR2)의 크기는 동일하므로, 상기 평균값에 따라 제2 범위(DR2)가 쉬프트된다. 즉, 제2 범위(DR2)는 소정의 문턱값 이상의 신뢰도 값들을 갖는 제1 디스패러티들의 평균값에 따라 쉬프트되므로, 수평 방식의 기준 영상 데이터 맵의 디스패러티 산출시 제1 범위(DR1)보다 정확한 범위일 것이다. 결국, 본 발명은 제2 범위(DR2) 내에서 도 9a와 같이 수평 방식의 기준 영상 데이터 맵의 디스패러티들을 산출하는 경우, 도 9d와 같이 제2 디스패러티들을 정확히 산출할 수 있다.
한편, 토-인 방식은 도 1a과 같이 두 대의 카메라(C1, C2)를 안쪽으로 향하게 하여 피사체(subject, SUB)에 초점(F)을 맞추고 촬영하는 방식이고, 수평 방식은 도 1b와 같이 두 대의 카메라(C1, C2)를 평행하게 하여 피사체(SUB)에 초점을 맞추지 않고 촬영하는 방식을 의미한다.
도 10a는 토-인 방식의 단안 영상을 보여주는 일 예시도면이다. 도 10b는 제1 디스패러티 맵을 보여주는 일 예시도면이다. 도 10a에 도시된 기준 영상 데이터 맵은 1 프레임 기간의 기준 영상 데이터들로부터 작성된 맵을 의미한다. 본 발명의 실시 예에서는 기준 영상 데이터가 좌안 영상 데이터(RGBL)인 것을 중심으로 설명하였다. 제1 디스패러티 맵은 1 프레임 기간의 제1 디스패러티들로부터 작성된 맵을 의미한다. 제1 디스패러티들은 도 10b와 같이 계조값으로 표현되고, 계조값이 높을수록 제1 디스패러티가 높은 것을 의미한다.
제1 디스패러티들 산출 범위인 제1 범위(DR1)는 토-인 방식(toe-in method)의 입체영상의 디스패러티 산출에 최적화된 범위로 설정될 수 있다. 따라서, 제1 디스패러티 산출부(210)가 제1 범위(DR1) 내에서 도 10a와 같이 토-인 방식의 기준 영상 데이터 맵의 디스패러티들을 산출한다면, 도 10b와 같이 제1 디스패러티들을 정확히 산출될 수 있다.
그리고 나서, 본 발명은 제1 디스패러티들의 신뢰도 값들을 산출하고, 소정의 문턱값 이상의 신뢰도 값들을 갖는 제1 디스패러티들의 평균값을 산출한 후, 그 평균값을 이용하여 제1 범위(DR1)를 보정하여 제2 범위(DR2)를 산출한다. 하지만, 제1 디스패러티들이 거의 정확히 산출되므로, 제1 디스패러티들의 신뢰도 값들 또한 거의 높은 값을 가질 것이다. 이 경우, 소정의 문턱값 이상의 신뢰도 값들을 갖는 제1 디스패러티들의 평균값은 "0"에 근접한 값을 가질 것이다. 따라서, 본 발명은 제2 범위(DR2) 내에서 도 10a와 같이 토-인 방식의 기준 영상 데이터 맵의 디스패러티들을 산출하는 경우, 도 10b와 같이 제2 디스패러티들을 정확히 산출할 수 있다.
이상에서 살펴본 바와 같이, 본 발명은 미리 설정된 제1 범위 내에서 제1 디스패러티들을 산출하고, 제1 디스패러티들의 신뢰도 값들에 의존하여 제1 범위를 쉬프트시켜 제2 범위를 설정하며, 제2 범위 내에서 제2 디스패러티들을 산출한다. 그 결과, 본 발명은 양안 시차 영상의 촬영 방식을 모두 반영하기 위해 메모리의 크기를 늘릴 필요가 없으며, 메모리의 크기를 늘리지 않고도 양안 시차 영상의 촬영 방식을 고려하여 정확히 디스패러티들을 산출할 수 있다.
이상 설명한 내용을 통해 당업자라면 본 발명의 기술사상을 일탈하지 아니하는 범위 내에서 다양한 변경 및 수정이 가능함을 알 수 있을 것이다. 따라서, 본 발명은 상세한 설명에 기재된 내용으로 한정되는 것이 아니라 특허 청구의 범위에 의해 정하여져야만 할 것이다.
10: 표시패널 30: 광학판
110: 게이트 구동회로 120: 데이터 구동회로
130: 타이밍 콘트롤러 140: 영상 처리부
150: 호스트 시스템 200: 디스패러티 산출부
210: 제1 디스패러티 산출부 220: 신뢰도 값 산출부
230: 평균값 산출부 240: 제2 디스패러티 산출부
250: 후처리부 300: 입체영상 생성부

Claims (14)

  1. 좌안 영상 데이터와 우안 영상 데이터를 포함하는 3D 영상 데이터를 입력받고, 제1 범위 내에서 상기 좌안 영상 데이터와 상기 우안 영상 데이터를 분석하여 제1 디스패러티들을 산출하는 제1 단계;
    상기 제1 디스패러티들의 신뢰도 값들을 산출하는 제2 단계;
    문턱 값 이상의 신뢰도 값을 갖는 상기 제1 디스패러티들의 평균값을 산출하는 제3 단계; 및
    상기 평균값에 기초하여 상기 제1 범위를 쉬프트하여 상기 제1 범위와 크기가 같은 제2 범위를 설정하고, 상기 제2 범위 내에서 상기 좌안 영상 데이터와 상기 우안 영상 데이터를 분석하여 제2 디스패러티들을 산출하는 제4 단계를 포함하는 디스패러티 산출방법.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 제1 단계는,
    좌안 영상 데이터 맵에 제1 블록을 설정하고, 우안 영상 데이터 맵에 제2 블록을 설정하는 단계;
    상기 제1 블록을 기준으로 상기 제1 범위 내에서 상기 제2 블록을 쉬프트하며 상기 제1 블록 내에 포함된 데이터들의 총합과 상기 제2 블록 내에 포함된 데이터들의 총합의 차이의 절대값이 최소인 상기 제2 블록을 검출하는 단계; 및
    상기 제1 블록의 중심 좌표와 검출된 상기 제2 블록의 중심 좌표 사이의 거리를 상기 제1 블록의 중심 좌표에서의 제1 디스패러티로 산출하는 단계를 포함하는 것을 특징으로 하는 디스패러티 산출방법.
  4. 제 3 항에 있어서,
    상기 제4 단계는,
    좌안 영상 데이터 맵에 제1 블록을 설정하고, 우안 영상 데이터 맵에 제2 블록을 설정하는 단계;
    상기 제1 블록을 기준으로 상기 제2 범위 내에서 상기 제2 블록을 쉬프트하며 상기 제1 블록 내에 포함된 데이터들과 상기 제2 블록 내에 포함된 데이터들의 차이의 절대값이 최소인 상기 제2 블록을 검출하는 단계;
    상기 제1 블록의 중심 좌표와 검출된 상기 제2 블록의 중심 좌표 사이의 거리를 상기 제1 블록의 중심 좌표에서의 제2 디스패러티로 산출하는 단계를 포함하는 것을 특징으로 하는 디스패러티 산출방법.
  5. 제 4 항에 있어서,
    상기 제1 블록의 중심 좌표를 (x,y)라 하고, dr은 미리 설정된 디스패러티의 최대값이라 할 때,
    상기 제1 범위는,
    (x-dr,y) 내지 (x+dr-1,y) 좌표들을 포함하는 범위로 설정되는 것을 특징으로 하는 디스패러티 산출방법.
  6. 제 5 항에 있어서,
    μ를 상기 평균값이라 할 때,
    상기 제2 범위는,
    (x+μ-dr,y) 내지 (x+μ+dr-1,y) 좌표들을 포함하는 범위로 설정되는 것을 특징으로 하는 디스패러티 산출방법.
  7. 제 1 항에 있어서,
    메디안 필터, 가중치 메디안 필터, 또는 가중치 최빈값 필터를 적용하여 상기 제2 디스패러티들을 보정하여 최종적으로 디스패러티들을 산출하는 제5 단계를 더 포함하는 디스패러티 산출방법.
  8. 데이터 라인들과 게이트 라인들을 포함하는 표시패널;
    좌안 영상 데이터와 우안 영상 데이터를 포함하는 3D 영상 데이터로부터 디스패러티들을 산출하는 디스패러티 산출부와 상기 디스패러티들에 따라 상기 좌안 영상 데이터 또는 상기 우안 영상 데이터를 쉬프트시켜 멀티뷰 영상 데이터를 생성하는 멀티뷰 영상 생성부를 포함하는 영상처리부;
    상기 멀티뷰 영상 데이터를 데이터 전압으로 변환하여 상기 데이터 라인들에 공급하는 데이터 구동회로; 및
    상기 게이트 라인들에 게이트 펄스를 순차적으로 공급하는 게이트 구동회로를 포함하고,
    상기 디스패러티 산출부는,
    제1 범위 내에서 상기 좌안 영상 데이터와 상기 우안 영상 데이터를 분석하여 제1 디스패러티들을 산출하는 제1 디스패러티 산출부;
    상기 제1 디스패러티들의 신뢰도 값들을 산출하는 신뢰도 값 산출부;
    문턱 값 이상의 신뢰도 값을 갖는 상기 제1 디스패러티들의 평균값을 산출하는 평균값 산출부; 및
    상기 평균값에 기초하여 상기 제1 범위를 쉬프트하여 상기 제1 범위와 크기가 같은 제2 범위를 설정하고, 상기 제2 범위 내에서 상기 좌안 영상 데이터와 상기 우안 영상 데이터를 분석하여 제2 디스패러티들을 산출하는 제2 디스패러티 산출부를 포함하는 것을 특징으로 하는 입체영상 표시장치.
  9. 삭제
  10. 제 8 항에 있어서,
    상기 제1 디스패러티 산출부는,
    좌안 영상 데이터 맵에 제1 블록을 설정하고, 우안 영상 데이터 맵에 제2 블록을 설정하며, 상기 제1 블록을 기준으로 상기 제1 범위 내에서 상기 제2 블록을 쉬프트하며 상기 제1 블록 내에 포함된 데이터들과 상기 제2 블록 내에 포함된 데이터들의 차이의 절대값이 최소인 상기 제2 블록을 검출하고, 상기 제1 블록의 중심 좌표와 검출된 상기 제2 블록의 중심 좌표 사이의 거리를 상기 제1 블록의 중심 좌표에서의 제1 디스패러티로 산출하는 것을 특징으로 하는 입체영상 표시장치.
  11. 제 10 항에 있어서,
    상기 제2 디스패러티 산출부는,
    좌안 영상 데이터 맵에 제1 블록을 설정하고, 우안 영상 데이터 맵에 제2 블록을 설정하며, 상기 제1 블록을 기준으로 상기 제2 범위 내에서 상기 제2 블록을 쉬프트하며 상기 제1 블록 내에 포함된 데이터들과 상기 제2 블록 내에 포함된 데이터들의 차이의 절대값이 최소인 상기 제2 블록을 검출하고, 상기 제1 블록의 중심 좌표와 검출된 상기 제2 블록의 중심 좌표 사이의 거리를 상기 제1 블록의 중심 좌표에서의 제2 디스패러티로 산출하는 것을 특징으로 하는 입체영상 표시장치.
  12. 제 11 항에 있어서,
    상기 제1 블록의 중심 좌표를 (x,y)라 하고, dr은 미리 설정된 상기 디스패러티의 최대값이라 할 때,
    상기 제1 범위는,
    (x-dr,y) 내지 (x+dr-1,y) 좌표들을 포함하는 범위로 설정되는 것을 특징으로 하는 입체영상 표시장치.
  13. 제 12 항에 있어서,
    μ를 상기 평균값이라 할 때,
    상기 제2 범위는,
    (x+μ-dr,y) 내지 (x+μ+dr-1,y) 좌표들을 포함하는 범위로 설정되는 것을 특징으로 하는 입체영상 표시장치.
  14. 제 8 항에 있어서,
    메디안 필터, 가중치 메디안 필터, 또는 가중치 최빈값 필터를 적용하여 상기 제2 디스패러티들을 보정하는 후처리부를 더 포함하는 입체영상 표시장치.
KR1020120141719A 2012-12-07 2012-12-07 디스패러티 산출방법과 이를 이용한 입체영상 표시장치 KR101953315B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120141719A KR101953315B1 (ko) 2012-12-07 2012-12-07 디스패러티 산출방법과 이를 이용한 입체영상 표시장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120141719A KR101953315B1 (ko) 2012-12-07 2012-12-07 디스패러티 산출방법과 이를 이용한 입체영상 표시장치

Publications (2)

Publication Number Publication Date
KR20140073814A KR20140073814A (ko) 2014-06-17
KR101953315B1 true KR101953315B1 (ko) 2019-02-28

Family

ID=51127167

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120141719A KR101953315B1 (ko) 2012-12-07 2012-12-07 디스패러티 산출방법과 이를 이용한 입체영상 표시장치

Country Status (1)

Country Link
KR (1) KR101953315B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102324605B1 (ko) * 2015-05-26 2021-11-10 한국전자통신연구원 변이 영상 생성 방법 및 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010286302A (ja) * 2009-06-10 2010-12-24 Konica Minolta Holdings Inc 画像処理装置、画像処理方法、およびプログラム
JP2011029905A (ja) * 2009-07-24 2011-02-10 Fujifilm Corp 撮像装置、方法およびプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010286302A (ja) * 2009-06-10 2010-12-24 Konica Minolta Holdings Inc 画像処理装置、画像処理方法、およびプログラム
JP2011029905A (ja) * 2009-07-24 2011-02-10 Fujifilm Corp 撮像装置、方法およびプログラム

Also Published As

Publication number Publication date
KR20140073814A (ko) 2014-06-17

Similar Documents

Publication Publication Date Title
US8743111B2 (en) Stereoscopic image display and method for driving the same
US8970582B2 (en) Stereoscopic image display device and method for driving the same
KR101869872B1 (ko) 멀티뷰 영상 생성방법과 이를 이용한 입체영상 표시장치
KR101840876B1 (ko) 입체영상 표시장치와 그 구동방법
KR101992163B1 (ko) 입체영상 표시장치와 그 구동방법
KR101296902B1 (ko) 영상처리부와 이를 이용한 입체영상 표시장치, 및 영상처리방법
KR101963385B1 (ko) 디스패러티 산출방법과 이를 이용한 입체영상 표시장치
KR101929042B1 (ko) 디스패러티 산출부와 이를 포함한 입체영상 표시장치, 및 디스패러티 산출방법
KR101990334B1 (ko) 입체영상 표시장치와 그 구동방법
KR101953315B1 (ko) 디스패러티 산출방법과 이를 이용한 입체영상 표시장치
KR102022527B1 (ko) 입체영상 표시장치 및 그의 디스패러티 산출방법
KR101843197B1 (ko) 멀티뷰 영상 생성방법과 이를 이용한 입체영상 표시장치
KR102045563B1 (ko) 멀티뷰 영상 생성방법과 이를 이용한 입체영상 표시장치
KR20160024283A (ko) 렌티큘러 렌즈 방식의 입체영상표시장치
KR101863140B1 (ko) 입체영상 디스플레이장치 및 그 구동 방법
KR102013382B1 (ko) 무안경 방식의 입체영상 표시장치
KR101843198B1 (ko) 멀티뷰 영상 생성방법과 이를 이용한 입체영상 표시장치
KR101829466B1 (ko) 입체영상 표시장치
KR101957975B1 (ko) 디스패러티 산출방법과 이를 이용한 입체영상 표시장치
US8723931B2 (en) Stereoscopic image display
KR101983369B1 (ko) 멀티뷰 영상 생성방법과 이를 이용한 입체영상 표시장치
KR101996657B1 (ko) 글로벌 뎁스 맵 생성방법과 이를 이용한 입체영상 표시장치
KR102126530B1 (ko) 3d 변환방법과 이를 이용한 입체영상 표시장치
KR101961943B1 (ko) 3ｄ 영상 데이터 생성방법과 이를 이용한 입체영상 표시장치
KR102135914B1 (ko) 영상 데이터 처리 방법과 이를 이용한 멀티 뷰 무안경 입체 영상 표시장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right