KR20160136831A - 다시점 영상 디스플레이 장치 및 그 제어 방법 - Google Patents

Abstract

다시점 영상 디스플레이 장치가 개시된다. 다시점 영상 디스플레이 장치는, 영상을 입력받는 영상 입력부, 디스플레이 패널 및 디스플레이 패널의 전면에 배치되어 사용자의 시청 영역에서 서로 다른 시점의 광학 뷰를 제공하는 시역 분리부를 포함하는 디스플레이부 및 입력된 영상의 뎁스에 기초하여 서로 다른 시점을 갖는 복수의 뷰를 렌더링하고, 복수의 뷰를 구성하는 픽셀 값에 기초하여 디스플레이 패널에 디스플레이될 다시점 영상을 생성하는 프로세서를 포함하며, 프로세서는, 디스플레이 패널의 출력 픽셀 영역 및 광학 뷰를 통해 사용자에게 제공되는 대응되는 가시(可視) 픽셀 영역 간 차이에 기초하여 산출된 타겟 영역에, 복수의 뷰 중 특정 시점 뷰의 픽셀 값 및 특정 시점 뷰의 인접 시점 뷰의 픽셀 값에 기초하여 생성된 혼합 픽셀 값을 맵핑하여 생성된 다시점 영상을 디스플레이 패널에 디스플레이한다.

Description

다시점 영상 디스플레이 장치 및 그 제어 방법 { MULTI VIEW IMAGE DISPLAY APPARATUS AND CONTORL METHOD THEREOF}

본 발명은 다시점 영상 디스플레이 장치 및 제어 방법에 관한 것으로, 더욱 상세하게는 무안경식 다시점 영상 디스플레이 장치 및 그 제어 방법에 관한 것이다.

전자 기술의 발달에 힘입어 다양한 유형의 전자기기가 개발 및 보급되고 있다. 특히, 일반 가정에서 가장 많이 사용되고 있는 가전 제품 중 하나인 TV와 같은 디스플레이 장치는 최근 수년 간 급속도로 발전하고 있다.

디스플레이 장치의 성능이 고급화되면서, 디스플레이 장치에서 디스플레이하는 컨텐츠의 종류도 다양하게 증대되었다. 특히, 최근에는 3D 컨텐츠까지 시청할 수 있는 입체 디스플레이 시스템이 개발되어 보급되고 있다.

입체 디스플레이 장치는 일반 가정에서 사용되는 3D 텔레비젼 뿐만 아니라, 각종 모니터, 휴대폰, PDA, PC, 셋탑 PC, 태블릿 PC, 전자 액자, 키오스크 등과 같은 다양한 유형의 디스플레이 장치로 구현될 수 있다. 또한, 3D 디스플레이 기술은, 가정 내 사용 뿐만 아니라 과학, 의약, 디자인, 교육, 광고, 컴퓨터 게임 등과 같이 3D 이미징이 필요한 다양한 분야에 활용될 수 있다.

입체 디스플레이 시스템은 크게 안경 없이 시청 가능한 무안경식 시스템과, 안경을 착용하여 시청하여야 하는 안경식 시스템으로 분류할 수 있다.

안경식 시스템은 만족스러운 입체감을 제공할 수 있으나, 시청자가 반드시 안경을 사용하여야만 한다는 불편함이 있었다. 이에 비해, 무안경식 시스템은 안경 없이도 3D 이미지를 시청할 수 있다는 장점이 있어, 무안경식 시스템에 대한 개발 논의가 지속적으로 이루어지고 있다.

한편, 기존의 무안경식 시스템의 경우 그 광학 구조로 인해, 화질 열화가 발생한다는 문제점이 있었다.

본 발명은 상술한 필요성에 따라 안출된 것으로, 본 발명은 입력 영상의 각 시점 간 화소 및 뎁스 정보를 활용하여 출력 영상을 디스플레이함으로써 선명한 3D 영상을 제공하는 다시점 영상 디스플레이 장치 및 그 제어 방법을 제공하는 것을 목적으로 한다.

본 발명의 상술한 목적을 달성하기 위한 일 실시 예에 따르면 다시점 영상 디스플레이 장치는, 영상을 입력받는 영상 입력부, 디스플레이 패널 및 상기 디스플레이 패널의 전면에 배치되어 사용자의 시청 영역에서 서로 다른 시점의 광학 뷰를 제공하는 시역 분리부를 포함하는 디스플레이부 및 , 상기 입력된 영상의 뎁스에 기초하여 서로 다른 시점을 갖는 복수의 뷰를 렌더링하고, 상기 복수의 뷰를 구성하는 픽셀 값에 기초하여 상기 디스플레이 패널에 디스플레이될 다시점 영상을 생성하는 프로세서를 포함하며, 상기 프로세서는, 상기 디스플레이 패널의 출력 픽셀 영역 및 상기 광학 뷰를 통해 사용자에게 제공되는 대응되는 가시(可視) 픽셀 영역 간 차이에 기초하여 산출된 타겟 영역에, 상기 복수의 뷰 중 특정 시점 뷰의 픽셀 값 및 상기 특정 시점 뷰의 인접 시점 뷰의 픽셀 값에 기초하여 생성된 혼합 픽셀 값을 맵핑하여 생성된 다시점 영상을 상기 디스플레이 패널에 디스플레이한다.

여기서, 상기 시역 분리부는, 기설정된 각도로 기울어진 적어도 하나의 픽셀 영역이 상기 광학 뷰로 제공되도록 동작하며, 상기 프로세서는, 상기 기설정된 각도 및 상기 가시 픽셀 영역의 픽셀 피치에 기초하여, 상기 타겟 영역을 산출할 수 있다.

또한, 상기 프로세서는, 상기 가시 픽셀 영역의 픽셀 피치 및 상기 기설정된 각도에 기초하여 결정된 가중치를 상기 특정 시점 뷰의 픽셀 값 및 상기 특정 시점 뷰의 인접 시점 뷰의 픽셀 값에 적용하여, 상기 혼합 픽셀 값을 산출할 수 있다.

또한, 상기 프로세서는, 상기 가시 픽셀 영역 중 상기 출력 픽셀 영역과 일치하는 제1 영역의 면적 비에 따른 가중치와 상기 출력 픽셀 영역의 픽셀 값을 곱한 값 및, 상기 가시 픽셀 영역 중 재깅(jagging)을 유발하는 제2 영역의 면적 비에 따른 가중치와 상기 인접 픽셀 값을 곱한 값을 합산하여, 상기 출력 픽셀 영역에 매핑할 혼합 픽셀 값을 산출할 수 있다.

또한, 상기 프로세서는, 상기 입력된 영상 중 적어도 하나의 에지 영역을 검출하고, 상기 검출된 에지 영역에 대응되는 출력 픽셀 영역 및 상기 에지 영역에 대응되는 가시 픽셀 영역 간 차이에 기초하여 상기 타겟 영역을 산출할 수 있다.

또한, 상기 프로세서는, 상기 입력된 영상의 뎁스 정보에 따라, 상기 적어도 하나의 에지 영역에 대응되는 픽셀 값이 상기 복수의 뷰에서 분포되는 위치를 판단하고, 판단된 위치에 포함된 상기 타겟 영역을 산출할 수 있다.

또한, 상기 프로세서는, 상기 복수의 뷰 각각의 동일한 픽셀 라인으로 구성된 에피폴라(epipolar) 이미지에 기초하여 생성된 에피폴라 도메인에서 상기 적어도 하나의 에지 영역에 대응되는 픽셀 값이 분포되는 위치를 판단하고, 상기 판단된 위치에 상기 입력된 뎁스 정보에 따른 필터링을 적용하여 상기 혼합 픽셀 값을 산출할 수 있다.

또한, 상기 프로세서는, 상기 뎁스 정보에 기초하여 뎁스가 낮은 오브젝트에 대해서는 약한 필터링을 수행하고, 뎁스가 높은 오브젝트에 대해서는 강한 필터링을 수행할 수 있다.

또한, 상기 혼합 픽셀 값 산출에 이용되는 상기 특정 시점 뷰의 인접 시점 뷰는, 상기 특정 시점 뷰의 이전 시점 뷰 및 이후 시점 뷰를 포함할 수 있다.

또한, 상기 프로세서는, R, G, B 중 하나의 서브 픽셀 단위로 상기 혼합 픽셀 값을 산출할 수 있다.

한편, 본 발명의 일 실시 예에 따른 디스플레이 패널 및 상기 디스플레이 패널의 전면에 배치되어 사용자의 시청 영역에서 서로 다른 시점의 광학 뷰를 제공하는 시역 분리부를 포함하는 다시점 영상 디스플레이 장치의 제어 방법은, 입력된 영상의 뎁스에 기초하여 서로 다른 시점을 갖는 복수의 뷰를 렌더링하는 단계 및 상기 복수의 뷰를 구성하는 픽셀 값에 기초하여 상기 디스플레이 패널에 디스플레이될 다시점 영상을 생성하는 단계 및, 상기 디스플레이 패널의 출력 픽셀 영역 및 상기 광학 뷰를 통해 사용자에게 제공되는 대응되는 가시(可視) 픽셀 영역 간 차이에 기초하여 산출된 타겟 영역에, 상기 복수의 뷰 중 특정 시점 뷰의 픽셀 값 및 상기 특정 시점 뷰의 인접 시점 뷰의 픽셀 값에 기초하여 생성된 혼합 픽셀 값을 맵핑하여 생성된 다시점 영상을 상기 디스플레이 패널에 디스플레이하는 단계를 포함할 수 있다.

여기서, 상기 시역 분리부는, 기설정된 각도로 기울어진 적어도 하나의 픽셀 영역이 상기 광학 뷰로 제공되도록 동작하며, 상기 기설정된 각도 및 상기 가시 픽셀 영역의 픽셀 피치에 기초하여, 상기 타겟 영역을 산출하는 단계를 더 포함할 수 있다.

또한, 상기 가시 픽셀 영역의 픽셀 피치 및 상기 기설정된 각도에 기초하여 결정된 가중치를 상기 특정 시점 뷰의 픽셀 값 및 상기 특정 시점 뷰의 인접 시점 뷰의 픽셀 값에 적용하여, 상기 혼합 픽셀 값을 산출하는 단계를 더 포함할 수 있다.

또한, 상기 혼합 픽셀 값을 산출하는 단계는, 상기 가시 픽셀 영역 중 상기 출력 픽셀 영역과 일치하는 제1 영역의 면적 비에 따른 가중치와 상기 출력 픽셀 영역의 픽셀 값을 곱한 값 및, 상기 가시 픽셀 영역 중 재깅(jagging)을 유발하는 제2 영역의 면적 비에 따른 가중치와 상기 인접 픽셀 값을 곱한 값을 합산하여, 상기 출력 픽셀 영역에 매핑할 혼합 픽셀 값을 산출할 수 있다.

또한, 상기 입력된 영상 중 적어도 하나의 에지 영역을 검출하고, 상기 검출된 에지 영역에 대응되는 출력 픽셀 영역 및 상기 에지 영역에 대응되는 가시 픽셀 영역 간 차이에 기초하여 상기 타겟 영역을 산출하는 단계를 더 포함할 수 있다.

또한, 상기 타겟 영역을 산출하는 단계는, 상기 입력된 영상의 뎁스 정보에 따라, 상기 적어도 하나의 에지 영역에 대응되는 픽셀 값이 상기 복수의 뷰에서 분포되는 위치를 판단하고, 판단된 위치에 포함된 상기 타겟 영역을 산출할 수 있다.

또한, 상기 복수의 뷰 각각의 동일한 픽셀 라인으로 구성된 에피폴라(epipolar) 이미지에 기초하여 생성된 에피폴라 도메인에서 상기 적어도 하나의 에지 영역에 대응되는 픽셀 값이 분포되는 위치를 판단하고, 상기 판단된 위치에 상기 입력된 뎁스 정보에 따른 필터링을 적용하여 상기 타겟 영역에 매핑할 혼합 픽셀 값을 산출하는 단계를 더 포함할 수 있다.

또한, 상기 혼합 픽셀 값을 산출하는 단계는, 상기 뎁스 정보에 기초하여 뎁스가 낮은 오브젝트에 대해서는 약한 필터링을 수행하고, 뎁스가 높은 오브젝트에 대해서는 강한 필터링을 수행할 수 있다.

또한, 상기 혼합 픽셀 값 산출에 이용되는 상기 특정 시점 뷰의 인접 시점 뷰는, 상기 특정 시점 뷰의 이전 시점 뷰 및 이후 시점 뷰를 포함할 수 있다.

또한, R, G, B 중 하나의 서브 픽셀 단위로 상기 혼합 픽셀 값을 산출하는 단계를 더 포함할 수 있다.

이상과 같이 본 발명의 다양한 실시 예에 따르면, 무안경식 디스플레이 시스템에서 제공되는 3D 영상의 화질을 개선시킬 수 있게 된다.

도 1은 본 발명의 이해를 돕기 위한 다시점 영상 디스플레이 장치의 동작을 설명하기 위한 도면이다.
도 2a 내지 도 2d는 본 발명의 일 실시 예에 따른 다시점 영상 디스플레이 장치의 구성을 설명하기 위한 도면들이다.
도 3은 본 발명의 일 실시 예에 따른 픽셀 맵핑 방식을 설명하기 위한 도면이다.
도 4a 내지 도 4c는 본 발명의 일 실시 예에 따른 픽셀 맵핑 방법을 설명하기 위한 도면들이다.
도 5a 및 도 5b는 본 발명의 일 실시 예에 따른 화질 열화 완화 효과를 설명하기 위한 도면들이다.
도 6 및 도 7은 본 발명의 다른 실시 예에 따른 기술적 사상의 이해를 돕기 위한 도면이다.
도 8a 및 도 8b는 본 발명의 다른 실시 예에 따라 뎁스를 반영하여 픽셀을 맵핑하는 방법을 설명하기 위한 도면들이다.
도 9는 본 발명의 다른 실시 예에 따라 에피폴라 도메인에서 화소값을 필터링하는 방법을 설명하기 위한 도면이다.
도 10 및 도 11은 본 발명의 또 다른 실시 예에 따라 에피폴라 도메인에서 화소값을 필터링하는 방법을 설명하기 위한 도면이다.
도 12는 본 발명의 일 실시 예에 따른 다시점 영상 디스플레이 장치의 제어 방법을 설명하기 위한 흐름도이다.

본 발명에 대하여 구체적으로 설명하기에 앞서, 본 명세서 및 도면의 기재 방법에 대하여 설명한다.

먼저, 본 명세서 및 청구범위에서 사용되는 용어는 본 발명의 다양한 실시 예들에서의 기능을 고려하여 일반적인 용어들을 선택하였다 하지만, 이러한 용어들은 당 분야에 종사하는 기술자의 의도나 법률적 또는 기술적 해석 및 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 일부 용어는 출원인이 임의로 선정한 용어도 있다. 이러한 용어에 대해서는 본 명세서에서 정의된 의미로 해석될 수 있으며, 구체적인 용어 정의가 없으면 본 명세서의 전반적인 내용 및 당해 기술 분야의 통상적인 기술 상식을 토대로 해석될 수도 있다.

또한, 본 명세서에 첨부된 각 도면에 기재된 동일한 참조번호 또는 부호는 실질적으로 동일한 기능을 수행하는 부품 또는 구성요소를 나타낸다. 설명 및 이해의 편의를 위해서 서로 다른 실시 예들에서도 동일한 참조번호 또는 부호를 사용하여 설명한다. 즉, 복수의 도면에서 동일한 참조 번호를 가지는 구성요소를 모두 도시되어 있다고 하더라도, 복수의 도면들이 하나의 실시 예를 의미하는 것은 아니다.

또한, 본 명세서 및 청구범위에서는 구성요소들 간의 구별을 위하여 "제1", "제2" 등과 같이 서수를 포함하는 용어가 사용될 수 있다. 이러한 서수는 동일 또는 유사한 구성요소들을 서로 구별하기 위하여 사용하는 것이며 이러한 서수 사용으로 인하여 용어의 의미가 한정 해석되어서는 안된다. 일 예로, 이러한 서수와 결합된 구성요소는 그 숫자에 의해 사용 순서나 배치 순서 등이 제한되어서는 안된다. 필요에 따라서는, 각 서수들은 서로 교체되어 사용될 수도 있다.

본 명세서에서 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

본 발명의 실시 예에서 "모듈", "유닛", "부(part)" 등과 같은 용어는 적어도 하나의 기능이나 동작을 수행하는 구성요소를 지칭하기 위한 용어이며, 이러한 구성요소는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 "모듈", "유닛", "부(part)" 등은 각각이 개별적인 특정한 하드웨어로 구현될 필요가 있는 경우를 제외하고는, 적어도 하나의 모듈이나 칩으로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.

또한, 본 발명의 실시 예에서, 어떤 부분이 다른 부분과 연결되어 있다고 할 때, 이는 직접적인 연결뿐 아니라, 다른 매체를 통한 간접적인 연결의 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 포함한다는 의미는, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

이하 본 발명의 다양한 실시 예를 첨부된 도면을 참조하여 상세히 설명한다.

도 1은 본 발명의 이해를 돕기 위한 다시점 영상 디스플레이 장치의 동작을 설명하기 위한 도면이다.

도 1은 본 발명의 일 실시 예에 따라 다시점 영상을 디스플레이하여 무안경 방식으로 입체 영상을 제공하는 장치의 동작 방식을 나타내는 것으로, 여기에서, 다시점 영상은 동일한 오브젝트를 서로 다른 각도에서 촬영한 복수의 영상에 기초하여 생성될 수 있다. 즉, 서로 다른 시점에서 촬영한 복수의 영상을 서로 다른 각도로 굴절시키고, 소위 시청 거리라 하는 일정한 거리만큼 떨어진 위치(가령, 약 3m)에 포커스된 영상을 제공한다. 이러한 영상이 형성되는 위치를 시청 영역(또는 광학 뷰)이라 한다. 이에 따라, 사용자의 한 쪽 눈이 하나의 제1 시청 영역에 위치하고, 다른 쪽 눈이 제2 시청 영역에 위치하면 입체감을 느낄 수 있게 된다.

일 예로, 도 1은 총 7 시점의 다시점 영상의 디스플레이 동작을 설명하는 도면이다. 도 1에 따르면, 무안경 3D 디스플레이 장치는 좌안에는 7 시점 중 1 시점 영상에 해당하는 광이, 우안에는 2 시점 영상에 해당하는 광이 투사되도록 할 수 있다. 이에 따라, 사용자는 좌안 및 우안에서 서로 다른 시점의 영상을 시청하게 되어 입체감을 느낄 수 있게 된다.

도 2a 내지 도 2d는 본 발명의 일 실시 예에 따른 다시점 영상 디스플레이 장치의 구성을 설명하기 위한 도면들이다.

도 2a는 본 발명의 일 실시 예에 따른 다시점 영상 디스플레이 장치의 구성을 나타내는 블럭도이다.

도 2a에 따르면, 다시점 영상 디스플레이 장치(100)는 영상 입력부(110), 디스플레이부(120) 및 프로세서(130)를 포함한다.

다시점 영상 디스플레이 장치(100)는 TV, 모니터, PC, 키오스크, 태블릿 PC, 전자 액자, 키오스크, 휴대폰 등과 같은 다양한 유형의 디스플레이 장치로 구현될 수 있다.

영상 입력부(110)는 영상을 입력받는다. 구체적으로, 영상 입력부(110)는 외부의 저장 매체, 방송국, 웹 서버 등과 같은 각종 외부 장치로부터 영상을 입력받을 수 있다. 여기서, 입력되는 영상은 단일 시점 영상, 스테레오(Stero) 영상, 다시점 영상 중 어느 하나의 영상이다. 단일 시점 영상은 일반적인 촬영 장치에 의해 촬영된 영상이며, 스테레오 영상(Stereoscopic image)은 좌안 영상과 우안 영상만으로 표현된 3차원 비디오 영상으로, 스테레오 촬영 장치에 의해 촬영된 입체 영상이다. 일반적으로 스테레오 촬영 장치는 2개의 렌즈를 구비한 촬영 장치로 입체 영상을 촬영하는데 사용된다. 그리고, 다시점 영상(Multiview image)은 한대 이상의 촬영 장치를 통해 촬영된 영상들을 기하학적으로 교정하고 공간적인 합성 등을 통하여 여러 방향의 다양한 시점을 사용자에게 제공하는 3차원 비디오 영상을 의미한다.

또한, 영상 입력부(110)는 영상의 뎁스 정보를 수신할 수 있다. 일반적으로 영상의 뎁스(Depth)는 영상의 각각 픽셀별로 부여된 깊이 값으로, 일 예로, 8bit의 뎁스는 0~255까지의 그레이 스케일(grayscale) 값을 가질 수 있다. 예를 들어, 흑/백을 기준으로 나타낼 때, 검은색(낮은 값)이 시청자로부터 먼 곳을 나타내며, 흰색(높은 값)이 시청자로부터 가까운 곳을 나타낼 수 있다.

뎁스(depth) 정보란 3D 영상의 뎁스를 나타내는 정보로, 3D 영상을 구성하는 좌안 영상과 우안 영상 사이의 양안 시차 정도에 대응되는 정보이다. 뎁스 정보에 따라 사람이 느끼는 입체감의 정도가 달라진다. 즉, 뎁스가 큰 경우 좌우 양안 시차가 크게 되므로 입체감이 상대적으로 크게 느껴지고, 뎁스가 작은 경우 좌우 양안 시차가 작게 되므로 입체감이 상대적으로 작게 느껴지게 된다. 뎁스 정보는 일반적으로, 스테레오 정합(Stereo matching) 등과 같이 영상의 2차원적 특성만을 가지고 얻는 수동적인 방법과 깊이 카메라(Depth camera)와 같은 장비를 이용하는 능동적 방법을 통하여 획득될 수 있다. 한편, 뎁스 정보는 뎁스 맵 형태가 될 수 있다. 뎁스 맵(Depth map)이란 영상의 각 영역 별 뎁스 정보를 포함하고 있는 테이블을 의미한다. 영역은 픽셀 단위로 구분될 수도 있고, 픽셀 단위보다 큰 기설정된 영역으로 정의될 수도 있다. 일 예에 따라 뎁스 맵은 0~255까지의 그레이 스케일(grayscale) 값 중 127 또는 128을 기준 값 즉, 0(또는 포컬 플레인)으로 하여 127 또는 128 보다 작은 값을 - 값으로 나타내고, 큰 값을 + 값으로 나타내는 형태가 될 수 있다. 포컬 플레인의 기준값은 0~255 사이에서 임의로 선택할 수 있다. 여기서, - 값은 침강을 의미하며, + 값은 돌출을 의미한다.

디스플레이부(120)는, 복수의 광학 뷰(또는 시청 영역)를 제공하는 기능을 한다. 이를 위해, 디스플레이부(120)는 복수의 광학 뷰 제공을 위한 디스플레이 패널(121) 및 시역 분리부(122)를 포함한다.

디스플레이 패널(121)은 복수의 서브 픽셀로 구성된 복수의 픽셀을 포함한다. 여기에서, 서브 픽셀은 R(Red), G(Green), B(Blue)로 구성될 수 있다. 즉, R, G, B의 서브 픽셀로 구성된 픽셀이 복수의 행 및 열 방향으로 배열되어 디스플레이 패널(131)을 구성할 수 있다. 이 경우, 디스플레이 패널(121)는 액정 디스플레이 패널(Liquid Crystal Display Panel: LCD Panel), 플라즈마 디스플레이 패널(Plasma Display Panel: PDP), 유기발광 소자(Organic Light Emitting Diode, OLED), VFD(Vacuum Fluorescent Display), FED(Field Emission Display), ELD(Electro Luminescence Display) 등과 같은 다양한 디스플레이 유닛으로 구현될 수 있다.

프로세서(130)는 서로 다른 시점의 복수의 뷰를 렌더링할 수 있다.

구체적으로, 프로세서(130)는 2D 영상의 경우, 2D/3D 변환에 추출된 뎁스 정보를 기초로 서로 다른 시점의 복수의 뷰를 렌더링할 수 있다. 또는 프로세서(130)는 서로 다른 시점의 N 개의 뷰 및 대응되는 N 개의 뎁스 정보가 입력되는 경우 입력된 N 개의 뷰 및 뎁스 정보 중 적어도 하나의 영상 및 뎁스 정보에 기초하여 다시점 영상을 렌더링할 수 있다. 또는 프로세서(130)는 서로 다른 시점의 N 개의 뷰 만 입력되는 경우, N 개의 뷰로부터 뎁스 정보 추출 후, 추출된 뎁스 정보에 기초하여 다시점 영상을 렌더링할 수 있다.

일 예로, 프로세서(130)는 3D 영상, 즉 좌안 영상 및 우안 영상 중 하나를 기준 뷰(또는 센터 뷰)로 선택하여 다시점 영상의 기초가 되는 최좌측 뷰 및 최우측 뷰를 생성할 수 있다. 이 경우, 프로세서(130)는 기준 뷰로 선택된 좌안 영상 및 우안 영상 중 하나에 대응되는 보정된 뎁스 정보를 기초로 최좌측 뷰 및 최우측 뷰를 생성할 수 있다. 프로세서(130)는 최좌측 뷰 및 최우측 뷰가 생성되면, 센터 뷰와 최좌측 뷰 사이에서 복수 개의 보간 뷰를 생성하고, 센터 뷰와 최우측 뷰 사이에서 복수 개의 보간 뷰를 생성함으로써 다시점 영상을 렌더링할 수 있다. 다만, 이에 한정되는 것은 아니며, 보외 기법에 의해 생성되는 보외 뷰(Extrapolation View)를 생성하는 것도 가능하다. 한편, 2D 영상 및 뎁스 정보를 기초로 다시점 영상을 렌더링하는 경우 2D 영상을 센터 뷰로 선택할 수 있음을 물론이다.

다만, 상술한 프로세서(130)의 상세 동작은 일 예를 든 것이며, 프로세서(130)는 상술한 동작 외에 다양한 방법에 의해 복수의 뷰를 렌더링할 수 있음은 물론이다.

또한, 프로세서(130)는 뎁스 정보에 기초하여 입력된 영상의 뎁스를 다양한 기준에 따라 조정할 수 있으며, 뎁스가 조정된 영상에 기초하여 복수의 뷰를 렌더링할 수 있다.

한편, 디스플레이 패널(121)은 프로세서(130)의 제어에 따라 영상 프레임을 디스플레이한다. 구체적으로, 디스플레이 패널(121)은 서로 다른 시점의 복수의 뷰가 순차적으로 반복 배치된 다시점 영상 프레임을 디스플레이할 수 있다.

한편, 도 2a에 도시하지 않았지만, 디스플레이 패널(121)이 LCD 패널로 구현되는 경우, 디스플레이 장치(100)는 디스플레이 패널(121)에 백라이트를 공급하는 백라이트부(미도시) 및 영상 프레임을 구성하는 각 픽셀들의 픽셀 값에 따라 디스플레이 패널(121)의 픽셀들을 구동하는 패널 구동부(미도시)를 더 구비할 수 있다.

시역 분리부(122)는 디스플레이 패널(121)의 전면(또는 후면)에 배치되어 시청 영역 별로 상이한 시점 즉, 광학 뷰를 제공할 수 있다. 이 경우, 시역 분리부(122)는 렌티큘러 렌즈(Lenticular lens) 또는, 패러랙스 배리어(Parallax Barrier)로 구현될 수 있다.

예를 들어, 시역 분리부(122)는 복수의 렌즈 영역을 포함하는 렌티큘러 렌즈로 구현될 수 있다. 이에 따라, 렌티큘러 렌즈는 복수의 렌즈 영역을 통해 디스플레이 패널(121)에서 디스플레이되는 영상을 굴절시킬 수 있다. 각 렌즈 영역은 적어도 하나의 픽셀에 대응되는 크기로 형성되어, 각 픽셀을 투과하는 광을 시청 영역 별로 상이하게 분산시킬 수 있다.

다른 예로, 시역 분리부(122)는 패러랙스 배리어로 구현될 수 있다. 패러랙스 배리어는 복수의 배리어 영역을 포함하는 투명 슬릿 어레이로 구현된다. 이에 따라, 배리어 영역 간의 슬릿(slit)을 통해 광을 차단하여 시청 영역 별로 상이한 시점의 영상이 출사되도록 할 수 있다.

도 2b는 본 발명의 일 실시 예에 따라 시역 분리부(122)가 렌티큘러 렌즈 어레이로 구현된 경우를 예를 들어 설명하도록 한다.

도 2b에 따르면, 디스플레이부(120)는 디스플레이 패널(121), 렌티큘러 렌즈 어레이(122') 및 백라이트 유닛(123)을 포함한다.

도 2b에 따르면, 디스플레이 패널(121)은 복수의 열(column)로 구분되는 복수의 픽셀을 포함한다. 각 열 별로 상이한 시점의 이미지가 배치된다. 도 2b에 따르면, 서로 다른 시점의 복수의 이미지 1, 2, 3, 4가 순차적으로 반복 배치되는 형태를 나타낸다. 즉, 각 픽셀 열은 1, 2, 3, 4로 넘버링된 그룹으로 배열된다. 패널로 인가되는 그래픽 신호는 픽셀열 1이 첫 번째 이미지를 디스플레이하고, 픽셀열 2가 두 번째 이미지를 디스플레이하도록 배열된다.

백라이트 유닛(123)은 디스플레이 패널(121)로 광을 제공한다. 백라이트 유닛(123)으로부터 제공되는 광에 의해, 디스플레이 패널(121)에 형성되는 각 이미지 1, 2, 3, 4는 렌티큘러 렌즈 어레이(122')로 투사되고, 렌티큘러 렌즈 어레이(132')는 투사되는 각 이미지 1, 2, 3, 4의 광을 분산시켜 시청자 방향으로 전달한다. 즉, 렌티큘러 렌즈 어레이(122')는 시청자의 위치, 즉, 시청 거리에 출구동공(exit pupils)을 생성한다. 도시된 바와 같이 렌티큘러 렌즈 어레이로 구현되었을 경우 렌티큘러 렌즈의 두께 및 직경, 패러랙스 배리어로 구현되었을 경우 슬릿의 간격 등은 각 열에 의해 생성되는 출구 동공이 65mm 미만의 평균 양안 중심 거리로 분리되도록 설계될 수 있다. 분리된 이미지 광들은 각각 시청 영역을 형성한다. 즉, 도 2b에 도시된 바와 같이 제1 내지 제4 뷰가 형성되고 사용자의 좌안 및 우안이 각각 제2 뷰 및 제3 뷰에 위치하게 되는 경우, 3D 영상을 시청할 수 있게 된다.

한편, 시역 분리부(122)는 화질 개선을 위하여 일정한 각도로 기울어져서 동작할 수 있다. 프로세서(130)는 복수의 뷰 각각을 시역 분리부(122)가 기울어진(Slanted) 각도에 기초하여 분할하고, 이들을 조합하여 출력을 위한 다시점 영상 프레임을 생성할 수 있다. 이에 따라, 사용자는 디스플레이 패널(121)의 서브 픽셀에 수직 방향 또는 수평 방향으로 디스플레이된 영상을 시청하는 것이 아니라, 특정 방향으로 기울어진 영역을 시청할 수 있다. 이에 따라, 시청자는 적어도 일부 픽셀에 대해서는 하나의 완전한 서브 픽셀이 아닌 서브 픽셀의 일부를 시청할 수 있다.

예를 들어, 도 2c에 도시된 바와 같이 사용자는 시역 분리부(122)에 의하여 기설정된 각도로 기울어진 영역(210)을 시청하게 되며, 특히, 시역 분리부(122)의 광학적 동작에 의하여, 사용자는 도시된 바와 같은 기울어진 영역에 픽셀 영역(이하, 가시 픽셀 영역이라 함)을 시청하게 된다. 이 경우, 가시 픽셀 영역에서 제공되는 픽셀(A, B, C)의 크기는 렌티큘러 렌즈의 피치(pitch)에 의해 결정될 수 있다.

한편, 본 발명의 일 실시 예에 따르면, 프로세서(130)는 서로 다른 시점의 복수의 뷰를 구성하는 서브 픽셀 값에 기초하여 디스플레이 패널(121)에 디스플레이할 다시점 영상을 생성한다.

구체적으로, 프로세서(130)는 서로 다른 시점을 갖는 복수의 뷰 중 특정 시점 뷰의 픽셀 값 및 해당 특정 시점 뷰의 인접 시점 뷰의 픽셀 값이 혼합된 혼합 픽셀 값을 적어도 하나의 타겟 픽셀 영역에 매핑하여 다시점 영상을 생성할 수 있다. 이 경우, 프로세서(130)는 R, G, B 중 하나의 서브 픽셀 단위로 혼합 픽셀 값을 산출하고, 산출된 혼합 픽셀 값을 적어도 하나의 타겟 서브 픽셀 영역에 매핑하여 다시점 영상을 생성할 수 있다. 여기서, 혼합 픽셀 값 산출에 이용되는 특정 시점 뷰의 인접 시점 뷰는, 특정 시점 뷰의 이전 시점 뷰 및 이후 시점 뷰를 포함할 수 있으며, 경우에 따라서는 수 시점 이상 이격된 시점 뷰가 될 수도 있다.

즉, 프로세서(130)는 하나의 시점 뷰의 서브 픽셀 값을 특정 서브 픽셀 영역에 매핑하여 출력을 위한 다시점 영상을 생성하는 기존의 방식과 달리 적어도 두 개의 시점 뷰에 대응되는 적어도 두 개의 서브 픽셀 값을 혼합하여 특정 서브 픽셀 영역에 매핑함으로써 디스플레이 패널(121)에 출력하기 위한 다시점 영상을 생성할 수 있다.

예를 들어, 프로세서(130)는 디스플레이 패널(121)에 디스플레이할 다시점 영상의 (1, 1) 위치의 R 서브 픽셀에 매핑할 혼합 픽셀 값을 산출하는 경우, 선택된 제1 시점 뷰의 (1, 1) 위치의 R 서브 픽셀 값 및 적어도 하나의 인접 시점 뷰의 (1, 1) 위치의 R 서브 픽셀 값을 혼합하여 산출할 수 있다.

특히, 프로세서(130)는 디스플레이 패널(121)의 출력 픽셀 영역 및 사용자의 시청 영역에서 광학 뷰를 통해 사용자에게 제공되는 대응되는 가시(可視) 픽셀 영역 간 차이에 기초하여 타겟 영역을 산출하고, 복수의 뷰 중 특정 시점 뷰의 픽셀 값 및 특정 시점 뷰의 인접 시점 뷰의 픽셀 값에 기초하여 생성된 혼합 픽셀 값을 맵핑하여 생성된 다시점 영상을 디스플레이 패널(121)에 디스플레이할 수 있다.

구체적으로, 프로세서(130)는 입력된 영상 중 적어도 하나의 에지 영역을 검출하고, 검출된 에지 영역에 대응되는 출력 픽셀 영역 및 에지 영역이 광학 뷰를 통해 제공되는 가시 픽셀 영역 간 차이에 기초하여 타겟 영역을 산출할 수 있다. 이 경우, 프로세서(130)는 시역 분리부(122)가 기울어진 각도 및 가시 픽셀 영역의 픽셀 피치에 기초하여, 타겟 영역을 산출할 수 있다.

프로세서(130)는 입력된 영상에 포함된 에지 영역에 대응되는 가시 픽셀 영역의 픽셀 피치 및 시역 분리부(122)가 기울어진 각도에 기초하여 결정된 가중치를 특정 시점 뷰의 픽셀 값 및 특정 시점 뷰의 인접 시점 뷰의 픽셀 값에 적용하여, 혼합 픽셀 값을 산출할 수 있다.

구체적으로, 프로세서(130)는 입력된 영상에 포함된 에지 영역에 대응되는 가시 픽셀 영역 중 출력 픽셀 영역과 일치하는 제1 영역의 면적 비에 따른 가중치와 출력 픽셀 영역의 픽셀 값을 곱한 값 및, 가시 픽셀 영역 중 재깅(jagging)을 유발하는 제2 영역의 면적 비에 따른 가중치와 출력 픽셀 영역의 인접 픽셀 값을 곱한 값을 합산하여, 제1 영역에 매핑할 혼합 픽셀 값을 산출할 수 있다. 이에 대해서는 도면을 참조하여 후술하도록 한다.

또한, 프로세서(130)는 입력된 영상의 뎁스 정보에 따라, 적어도 하나의 에지 영역에 대응되는 픽셀 값이 복수의 뷰에서 분포되는 위치를 판단하고, 판단된 위치에 포함된 타겟 영역을 산출할 수 있다.

또한, 프로세서(130)는 복수의 뷰 각각의 동일한 픽셀 라인으로 구성된 에피폴라(epipolar) 이미지에 기초하여 생성된 에피폴라 도메인에서 적어도 하나의 에지 영역에 대응되는 픽셀 값이 분포되는 위치를 판단하고, 판단된 위치에 입력된 뎁스 정보에 따른 필터링을 적용하여 타겟 영역에 매핑할 혼합 픽셀 값을 산출할 수 있다.

도 3은 본 발명의 일 실시 예에 따른 픽셀 맵핑 방식을 설명하기 위한 도면이다.

본 발명의 일 실시 예에 따르면, 렌더링된 서로 다른 시점을 갖는 복수의 뷰로부터 디스플레이를 위한 다시점 영상을 생성하기 위하여 복수의 뷰의 개수 및 렌티큘러 렌즈의 피치(pitch)가 기준이 될 수 있다.

도 3에서는 설명의 편의를 위하여 서로 다른 시점을 갖는 복수의 뷰(311, 312...)가 M 개이고, 렌티큘러 렌즈의 피치가 4.6 개의 서브 픽셀을 덮는 경우를 가정하도록 한다. 이 경우, 픽셀 (i, j) 위치에 할당되는 뷰는 참고문헌 “Cees van Derkel, “Image Preparation for 3D-LCD”, Electronic Imaging ‘99”에 개시된 방식에 기반하여 산출될 수 있다.

도 4a 내지 도 4c는 본 발명의 일 실시 예에 따른 픽셀 맵핑 방법을 설명하기 위한 도면들이다.

도 4a에 도시된 바와 같이 디스플레이 패널(121)은 복수의 서브 픽셀로 구성된 복수의 픽셀을 포함한다. 여기에서, 서브 픽셀은 R(Red), G(Green), B(Blue)로 구성될 수 있다. 즉, R, G, B의 서브 픽셀로 구성된 픽셀이 복수의 행 및 열 방향으로 배열되어 디스플레이 패널(121)을 구성할 수 있다.

한편, 디스플레이 패널(121)의 전면에 구비된 시역 분리부(미도시)에 광학적 동작에 의하여, 사용자는 도시된 바와 같은 기설정된 각도로 기울어진 가시 픽셀 영역(410, 420, 430, ...)을 시청하게 된다. 이 경우, 가시 픽셀 영역에서 제공되는 픽셀(421-1, 421-2, 421-3)의 크기는 렌티큘러 렌즈의 피치(pitch)에 의해 결정될 수 있다.

이에 따라 디스플레이 패널(121)에서 특정 에지 이미지를 출력 픽셀 영역(440)에 디스플레이하는 경우, 해당 에지 이미지는 특정 가시 픽셀 영역(410, 420)으로 사용자에게 보여지게 된다. 즉, 픽셀 재깅(pixel jagging) 현상으로 인한 화질 열화가 발생될 수 있다. 이하에서는 좌측 도면을 참고하여 이러한 재깅 현상을 방지하기 위한 본 발명의 일 실시 예에 따른 픽셀 맵핑 방법에 대해 자세히 설명하기로 한다.

도 4a의 좌측 도면은 우측 도면에 도시된 구성 중 일 부분을 확대하여 도시한 것으로, 특정 에지 이미지에 대응되는 출력 픽셀 영역(440)이 사용자에게 보여지는 가시 픽셀 영역 중 일 부분(421)을 도시한다.

해당 가시 픽셀 영역(421) 중 특정 에지 이미지에 대응되는 출력 픽셀 영역(440)에 의해 구분되는 일 영역(422)은 실질적으로 사용자에게 재깅 현상을 유발하는 영역에 해당한다.

이에 따라 해당 영역(422)에 대응되는 출력 픽셀 영역(450)의 픽셀 값을 혼합 픽셀 값으로 보정하여 재깅 현상을 감소시킬 수 있다. 예를 들어, 에지 이미지가 흰색이고, 인접 배경 영역이 검은색인 경우, 사용자 눈에 흰색으로 보이게 되어 재깅을 유발하는 가시 픽셀 영역(422)에 대응되는 출력 픽셀 영역(450)을 원래 픽셀 값, 즉 흰색과 인접 픽셀 값 즉, 검은색의 혼합 픽셀 값으로 맵핑하여 스무스하게 처리함으로써 재깅 현상을 감소시킬 수 있다.

이 경우, 혼합 픽셀 값은 가시 픽셀 영역의 픽셀 피치 및 기울어진 각도에 기초하여 결정된 가중치를 출력 픽셀 영역에 맵핑된 특정 시점 뷰의 픽셀 값 및, 인접 픽셀 영역에 맵핑된 인접 시점 뷰의 픽셀 값에 적용하여 산출될 수 있다. 일반적으로 다시점 영상은 특정 시점 뷰의 픽셀 값이 맵핑된 출력 픽셀의 인접 픽셀에, 해당 특정 시점 뷰의 인접 시점 뷰의 픽셀 값을 맵핑하게 되므로, 결과적으로, 혼합 픽셀 값은 특정 시점 뷰의 픽셀 값 및 인접 시점 뷰의 픽셀 값이 혼합되어 산출될 수 있다. 다만, 여기서, 인접 시점 뷰란 반드시 이전 및 이후 시점 뷰만을 의미하는 것이 아니고, 수 시점 이격된 시점 뷰를 통틀어 의미할 수 있다.

구체적으로, 가시 픽셀 영역 중 출력 픽셀 영역과 일치하는 제1 영역(421-1, 421-2, 421-3)의 면적 비에 따른 가중치와 출력 픽셀 영역의 픽셀 값(예를 들어, 에지 이미지에 대응되는 흰색의 픽셀 값인 255)을 곱한 값 및, 가시 픽셀 영역 중 재깅(jagging)을 유발하는 제2 영역(422)의 면적 비에 따른 가중치와 인접 픽셀 값(예를 들어, 배경 영상에 대응되는 검은색의 픽셀 값인 0)을 곱한 값을 합산하여, 제2 영역(422)으로 사용자에게 보여지는 출력 픽셀 영역(450)에 맵핑할 혼합 픽셀 값을 산출할 수 있다.

예를 들어, 도시된 바와 같이 픽셀 피치가 4.688p이고, 기울어진 각도가 80.50°인 경우, 제1 가시 픽셀 영역(421-1)에서 재깅을 유발하는 제1 서브 영역(422-1)의 면적은 a*b/2이고, 제2 서브 영역(422-2)의 면적은 a*b*3/2, 제3 서브 영역(422-3)의 면적은 a*b*5/2로 산출될 수 있다. 이 경우, a 값은 삼각함수 법칙에 의해 a = 1/cos(80.50°)가 되고, b = a/tan(80.50°)로 산출될 수 있다.

한편, 가시 픽셀 영역(421-1)에서 제1 서브 영역(422-1)의 면적비가 r인 경우, 혼합 픽셀 값은 인접 픽셀 영역의 픽셀 값(예를 들어, 배경 영상에 대응되는 검은색의 픽셀 값인 0) * R + 출력 픽셀 영역의 픽셀 값(예를 들어, 에지 이미지에 대응되는 흰색의 픽셀 값인 255)*(1-r)로 산출될 수 있다. 이와 같이 산출된 혼합 픽셀 값이 해당 제1 가시 픽셀 영역(421-1)에 대응되는 출력 픽셀 영역에 맵핑될 수 있다. 이와 같은 방식으로, 제2 및 제3 서브 영역(422-2, 422-3)을 기초로 하는 혼합 픽셀 값이 산출될 수 있으며, 산출된 혼합 픽셀 값 각각 제2 및 제3 가시 픽셀 영역(421-2, 421-3)에 대응되는 출력 픽셀 영역에 맵핑될 수 있다. 상술한 바와 같은 픽셀 맵핑 방식은 서브 픽셀 단위로 이루어질 수 있다.

또한, 도 4b에 도시된 바와 같이 재깅 현상을 유발하는 나머지 가시 픽셀 영역들(450)에 대응되는 출력 픽셀 영역에 대해서도 도 4a와 유사한 형태의 픽셀 맵핑을 수행할 수 있다. 간략히 설명하면, 해당 가시 픽셀 영역(450)에 대응되는 출력 픽셀 영역 즉, 에지 이미지가 디스플레이되는 출력 픽셀 영역의 우측 인접 픽셀 영역에 대해서도 도 4b와 같은 방식으로 산출된 혼합 픽셀 값을 맵핑하여 에지 영역에서 발생되는 재깅 현상을 감소시킬 수 있다.

다만, 본 발명의 다른 실시 예에 따르면, 인접 시점 뷰의 픽셀 값 뿐 아니라, 인접 시점 뷰의 인접 시점 뷰의 픽셀 값에 기초하여 혼합 픽셀 값을 산출할 수 있다. 예를 들어, 도 4a에서 설명된 방식에 의해 결정된, 제1 R 서브 픽셀에 매핑될 인접 시접 뷰가 1 시점 뷰인 경우, 단지 1 시점 뷰의 픽셀 값 뿐 아니라 인접 시점 뷰인 2 시점 뷰 및 7 시점 뷰의 픽셀 값이 혼합된 픽셀값이 출력 영상의 제1 R 서브 픽셀에 맵핑될 수 있다. 즉, 제1 R 서브 픽셀에는 1 시점 뷰의 R 서브 픽셀 값, 2 시점 뷰의 R 서브 픽셀 값 및 7 시점 뷰의 R 서브 픽셀 값이 기설정된 가중치에 따라 혼합된 픽셀 값이 맵핑되게 된다.

또한, 본 발명의 또 다른 실시 예에 따르면, 인접 시점 뷰의 픽셀 값 뿐 아니라, 인접 픽셀 값의 인접 픽셀 값들을 포함하는 인접 픽셀 영역의 픽셀 값에 기초하여 혼합 픽셀 값을 산출할 수 있다. 예를 들어, 도 4a에서 설명된 방식에 의해 결정된, 제1 R 서브 픽셀에 매핑될 인접 시접 뷰가 1 시점 뷰인 경우, 단지 1 시점 뷰의 특정 서브 픽셀 값 뿐 아니라 해당 서브 픽셀 및 인접 서브 픽셀을 포함하는 픽셀 영역을 기준으로, 인접 시점 뷰인 2 시점 뷰 및 7 시점 뷰에 대응되는 픽셀 영역을 기준으로 혼합 픽셀 값을 산출할 수 있다. 즉, 제1 R 서브 픽셀에는 1 시점 뷰의 특정 R 서브 픽셀 영역, 2 시점 뷰의 특정 R 서브 픽셀 영역 및 7 시점 뷰의 특정 R 서브 픽셀 영역의 R 픽셀 값이 기설정된 가중치에 따라 혼합된 픽셀 값이 맵핑되게 된다.

도 5a 및 도 5b는 본 발명의 일 실시 예에 따른 화질 열화 완화 효과를 설명하기 위한 도면들이다.

도 5a는 본 발명의 일 실시 예에 따른 기술적 사상이 적용되기 전 화질 열화 현상을 설명하기 위한 도면이다.

도 5a의 좌측 도면(510)은 디스플레이 패널에서 실제 출력되는 에지 이미지를 나타내며, 우측 도면(520)은 3D 디스플레이 장치의 광학 구조에 의해 에지 이미지가 사용자 눈에 보이는 가시 이미지를 나타낸다.

도 5a에 도시된 바와 같이 본 발명에 따른 기술적 사상이 적용되기 전에는 3D 디스플레이 장치의 광학 구조에 의하여 에지 영역에서 발생하는 재깅 현상으로 인해 화질 열화가 발생하게 된다.

도 5b는 본 발명의 일 실시 예에 따른 기술적 사상이 적용된 이후 화질 열화가 완화되는 효과를 설명하기 위한 도면이다.

도 5b의 좌측 도면(530)은 디스플레이 패널에서 실제 출력되는 에지 이미지를 나타내며, 우측 도면(540)은 본 발명에 따른 기술적 사상이 적용된 이후에 디스플레이 패널에서 실제 출력되는 에지 이미지가 사용자 눈에 보이는 가시 이미지를 나타낸다. 도시된 바와 같이 본 발명에 따른 기술적 사상이 적용된 이후에 재깅 현상이 완화됨을 확인할 수 있다.

도 6 및 도 7은 본 발명의 다른 실시 예에 따른 기술적 사상의 이해를 돕기 위한 도면이다.

도 6에 도시된 바와 같이 뎁스에 따라 각 뷰에 대응되는 픽셀이 이동하는 양을 나타내는 도면이다.

도 6에 도시된 바와 같이 하이 뎁스를 갖는 픽셀이 복수의 뷰 각각에서 이동하는 위치는 로우 뎁스를 갖는 픽셀이 복수의 뷰 각각에서 이동하는 위치보다 위치 이동량이 크게 된다.

예를 들어, 도시된 바와 같이 하이 뎁스를 갖는 픽셀은 제1 뷰, 제2 뷰, 제N 뷰에서 각각 611, 612, 613의 위치로 이동하지만, 로우 뎁스를 갖는 픽셀은 제1 뷰, 제2 뷰, 제N 뷰에서 각각 621, 622, 623의 위치로 이동하게 된다.

반면, 뎁스를 갖지 않는 픽셀은 각 뷰에서 동일한 위치에 위치하게 된다.

즉, 도 7에 도시된 바와 같이 전경(예를 들어, 건물) 및 배경(예를 들어 차도)이 동일한 뎁스를 갖는 영상(710)에 포함된 에지 이미지(711)는 디스플레이 패널에 출력되는 영상과 동일한 형태(720)로 사용자에게 보이게 된다.

하지만, 전경 즉, 건물 이미지가 기설정된 뎁스를 갖는 경우 에지 이미지(713)에 대응되는 픽셀은 복수의 뷰 각각에서 이동량이 크게 되므로, 복수의 뷰를 기초로 생성되는 다시점 영상을 보게 되는 사용자의 눈에는 해당 픽셀이 퍼져 보이게 되며, 픽셀이 벌어져 보이는 정도는 뎁스 값이 증가할수록 증가(740, 750)하게 된다.

도 8a 및 도 8b는 본 발명의 다른 실시 예에 따라 뎁스를 반영하여 픽셀을 맵핑하는 방법을 설명하기 위한 도면들이다.

도 6 및 도 7에 도시된 바와 같이 뎁스가 큰 경우 각 뷰에서 화소 이동량이 크게 되므로 화질 열화가 발생하게 된다. 이에 따라 본 발명에서는 에피폴라 도메인에서 뎁스를 반영한 화질 처리를 수행할 수 있다.

도 8a에 도시된 바에 따르면 에피폴라 도메인(810)은 렌더링된 서로 다른 시점을 갖는 복수의 뷰 각각이 Y 축(view 축)으로 나열되고 각 뷰의 너비 및 높이가 X-Z 축(width 축-height 축)을 구성하는 형태가 될 수 있다. 즉, 복수의 뷰 각각의 동일한 픽셀 라인이 조합된 이미지가 X-Y 축 즉, width-height 축을 구성하는 형태가 될 수 있다. 예를 들어, 복수의 뷰 각각에서 동일한 픽셀 라인이 Y 축 즉, view 축을 구성할 수 있다.

예를 들어, 도 8b에 도시된 바와 같이 높이 h, 너비 w인 35 개의 다시점 영상이 렌더링된 경우를 가정하도록 한다.

이 경우, 35 개의 다시점 영상(811 내지 814) 각각의 각 픽셀 라인을 조합하여 각 픽셀 라인에 대응되는 에피폴라 이미지를 생성할 수 있다. 구체적으로, 도시된 바와 같이 첫번째 픽셀 라인을 조합하여 첫번째 이미지(821)를 생성하고, a 번째 픽셀 라인을 조합하여 a 번째 이미지(822)를 생성하고, 이렇게 생성된 픽셀 라인 수에 대응되는 h 개의 이미지를 순차적으로 조합하여 에피폴라 이미지를 생성할 수 있다.

이 경우, 각 픽셀 라인에 대응되는 이미지에서 오브젝트의 뎁스 크기 즉, 픽셀 영역의 뎁스 크기에 따라 기설정된 형태의 라인이 나타날 수 있다. 예를 들어, 오브젝트 A(●)의 경우 뎁스가 "0"이기 때문에 35 개의 다시점 영상에서 동일한 위치에 존재하지만, 오브젝트 B(△)의 경우 기설정된 크기의 뎁스를 갖기 때문에 35 개의 다시점 영상에서 위치가 점점 변경되며 이러한 위치 변경은 기설정된 라인 형태로 나타나게 된다. 도시된 도면을 참고하면 뎁스 값이 "0"인 오브젝트 A(●)에 대응되는 라인은 수직 형태로 나타나며, 기설정된 크기의 뎁스를 갖는 오브젝트 B(△) 및 오브젝트 C(×)에 대응되는 라인은 비스듬한 사선 형태로 나타나게 된다.

이에 따라, 도 8a에 도시된 바와 같은 에피폴라 도메인에서 view 측은 도 8c에 도시된 바와 같이 뎁스가 낮으면 좌측과 같이 기울어짐이 낮은 직선으로 나타나며, 뎁스가 높으면 우측과 같이 기울어짐이 큰 직선으로 나타나게 된다.

이 경우, 디스플레이 패널의 가시 픽셀 영역의 픽셀 피치 및 기울어진 각도 뿐만 아니라, 뎁스에 따라 시점 간 정보를 고려하는 정도를 달리하여, 픽셀 맵핑을 수행할 수 있다.

도 9는 본 발명의 다른 실시 예에 따라 에피폴라 도메인에서 화소값을 필터링하는 방법을 설명하기 위한 도면이다.

도 9에 도시된 바와 같이 에피폴라 도메인에서 영상을 만든 후, Unsharp Masking 을 통해 출력 영상의 서브 픽셀 값을 결정하는데 있어 하이 패스 필터(High-pass Filter)의 결과 값이 더해지는 비율을 디스플레이 패널의 가시 픽셀 영역의 픽셀 피치 및 기울어진 각도 뿐 아니라, 뎁스를 고려하여 결정할 수 있다.

구체적으로, 뎁스 및, 디스플레이 패널에서 가시 픽셀 영역의 픽셀 피치 및 기울어진 각도에 따라 하이 패스 필터링 강도를 선택할 수 있다.

도 10 및 도 11은 본 발명의 또 다른 실시 예에 따라 에피폴라 도메인에서 화소값을 필터링하는 방법을 설명하기 위한 도면이다.

도 10에 도시된 바와 같이 에피폴라 도메인에서 영상을 만든 후, 휘도 개선 알고리즘 적용을 하는데 있어 필터 강도를 선택할 수 있다.

구체적으로, 도 11에 도시된 바와 같이 뎁스가 낮은 배경 영상에 대해서는 약한 필터링을 수행하고, 뎁스가 높은 배경 영상에 대해서는 강한 필터링을 수행할 수 있다.

도 12는 본 발명의 일 실시 예에 따른 다시점 영상 디스플레이 장치의 제어 방법을 설명하기 위한 흐름도이다.

도 12에 도시된 디스플레이 패널 및 디스플레이 패널의 전면에 배치되어 사용자의 시청 영역에서 서로 다른 시점의 광학 뷰를 제공하는 시역 분리부를 포함하는 다시점 영상 디스플레이 장치의 제어 방법에 따르면, 우선 입력된 영상의 뎁스에 기초하여 서로 다른 시점을 갖는 복수의 뷰를 렌더링한다(S1210).

이어서, 복수의 뷰를 구성하는 픽셀 값에 기초하여 디스플레이 패널에 디스플레이될 다시점 영상을 생성한다(S1220).

이 후, 디스플레이 패널의 출력 픽셀 영역 및 광학 뷰를 통해 사용자에게 제공되는 대응되는 가시(可視) 픽셀 영역 간 차이에 기초하여 산출된 타겟 영역에, 복수의 뷰 중 특정 시점 뷰의 픽셀 값 및 특정 시점 뷰의 인접 시점 뷰의 픽셀 값에 기초하여 생성된 혼합 픽셀 값을 맵핑하여 생성된 다시점 영상을 디스플레이 패널에 디스플레이한다(S1230).

여기서, 시역 분리부는, 기설정된 각도로 기울어진 적어도 하나의 픽셀 영역이 광학 뷰로 제공되도록 동작하며, 제어 방법은, 시역 분리부에 의해 기울어진 각도 및 가시 픽셀 영역의 픽셀 피치에 기초하여, 타겟 영역을 산출하는 단계를 더 포함할 수 있다.

또한, 제어 방법은, 가시 픽셀 영역의 픽셀 피치 및 시역 분리부에 의해 기울어진 각도에 기초하여 결정된 가중치를 특정 시점 뷰의 픽셀 값 및 특정 시점 뷰의 인접 시점 뷰의 픽셀 값에 적용하여, 혼합 픽셀 값을 산출하는 단계를 더 포함할 수 있다.

또한, 혼합 픽셀 값을 산출하는 단계는, 가시 픽셀 영역 중 출력 픽셀 영역과 일치하는 제1 영역의 면적 비에 따른 가중치와 출력 픽셀 영역의 픽셀 값을 곱한 값 및, 가시 픽셀 영역 중 재깅(jagging)을 유발하는 제2 영역의 면적 비에 따른 가중치와 인접 픽셀 값을 곱한 값을 합산하여, 출력 픽셀 영역에 매핑할 혼합 픽셀 값을 산출할 수 있다.

또한, 제어 방법은, 입력된 영상 중 적어도 하나의 에지 영역을 검출하고, 상기 검출된 에지 영역에 대응되는 출력 픽셀 영역 및 상기 에지 영역에 대응되는 가시 픽셀 영역 간 차이에 기초하여 타겟 영역을 산출하는 단계를 더 포함할 수 있다.

또한, 타겟 영역을 산출하는 단계는, 입력된 영상의 뎁스 정보에 따라, 상기 적어도 하나의 에지 영역에 대응되는 픽셀 값이 상기 복수의 뷰에서 분포되는 위치를 판단하고, 판단된 위치에 포함된 타겟 영역을 산출할 수 있다.

또한, 제어 방법은, 복수의 뷰 각각의 동일한 픽셀 라인으로 구성된 에피폴라(epipolar) 이미지에 기초하여 생성된 에피폴라 도메인에서 상기 적어도 하나의 에지 영역에 대응되는 픽셀 값이 분포되는 위치를 판단하고, 판단된 위치에 입력된 뎁스 정보에 따른 필터링을 적용하여 상기 타겟 영역에 매핑할 혼합 픽셀 값을 산출하는 단계를 더 포함할 수 있다.

또한, 혼합 픽셀 값을 산출하는 단계는, 뎁스 정보에 기초하여 뎁스가 낮은 오브젝트에 대해서는 약한 필터링을 수행하고, 뎁스가 높은 오브젝트에 대해서는 강한 필터링을 수행할 수 있다.

또한, 혼합 픽셀 값 산출에 이용되는 특정 시점 뷰의 인접 시점 뷰는, 특정 시점 뷰의 이전 시점 뷰 및 이후 시점 뷰를 포함할 수 있다.

또한, R, G, B 중 하나의 서브 픽셀 단위로 혼합 픽셀 값을 산출하는 단계를 더 포함할 수 있다.

이상 설명한 바와 같이 본 발명의 다양한 실시 예에 따르면, 사용자의 시청 영역에서 광학 뷰를 통해 사용자에게 제공되는 가시 픽셀 영역의 픽셀 피치 및 기울어진 각도, 및 입력 영상의 뎁스를 고려하여 출력 픽셀에 맵핑되는 픽셀 값을 결정하게 된다. 이에 따라, 3D 디스플레이 장치의 광학 구조로 인한 엘리어싱(Aliasing) 또는 재깅(jagging) 현상을 감소시킬 수 있으므로 사용자에게 선명한 3D 영상을 서비스할 수 있게 된다.

상술한 다양한 실시 예에 따른 다시점 영상 디스플레이 방법은 프로그램으로 구현되어 디스플레이 장치에 제공될 수 있다.

일 예로, 입력된 영상의 뎁스에 기초하여 서로 다른 시점을 갖는 복수의 뷰를 렌더링하는 단계 및, 복수의 뷰를 구성하는 픽셀 값에 기초하여 디스플레이 패널에 디스플레이될 다시점 영상을 생성하는 단계 및 디스플레이 패널의 출력 픽셀 영역 및 광학 뷰를 통해 사용자에게 제공되는 대응되는 가시(可視) 픽셀 영역 간 차이에 기초하여 산출된 타겟 영역에, 복수의 뷰 중 특정 시점 뷰의 픽셀 값 및 특정 시점 뷰의 인접 시점 뷰의 픽셀 값에 기초하여 생성된 혼합 픽셀 값을 맵핑하여 출력될 다시점 영상을 생성하는 단계를 수행하는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 제공될 수 있다.

비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.

또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

100 : 다시점 영상 디스플레이 장치
110 : 영상 입력부 120 : 디스플레이부 130 : 프로세서

Claims (20)

1. 다시점 영상 디스플레이 장치에 있어서,
   영상을 입력받는 영상 입력부;
   디스플레이 패널 및 상기 디스플레이 패널의 전면에 배치되어 사용자의 시청 영역에서 서로 다른 시점의 광학 뷰를 제공하는 시역 분리부를 포함하는 디스플레이부; 및
   상기 입력된 영상의 뎁스에 기초하여 서로 다른 시점을 갖는 복수의 뷰를 렌더링하고, 상기 복수의 뷰를 구성하는 픽셀 값에 기초하여 상기 디스플레이 패널에 디스플레이될 다시점 영상을 생성하는 프로세서;를 포함하며,
   상기 프로세서는,
   상기 디스플레이 패널의 출력 픽셀 영역 및 상기 광학 뷰를 통해 사용자에게 제공되는 대응되는 가시(可視) 픽셀 영역 간 차이에 기초하여 산출된 타겟 영역에, 상기 복수의 뷰 중 특정 시점 뷰의 픽셀 값 및 상기 특정 시점 뷰의 인접 시점 뷰의 픽셀 값에 기초하여 생성된 혼합 픽셀 값을 맵핑하여 생성된 다시점 영상을 상기 디스플레이 패널에 디스플레이하는 다시점 영상 디스플레이 장치.
2. 제1항에 있어서,
   상기 시역 분리부는, 기설정된 각도로 기울어진 적어도 하나의 픽셀 영역이 상기 광학 뷰로 제공되도록 동작하며,
   상기 프로세서는, 상기 기설정된 각도 및 상기 가시 픽셀 영역의 픽셀 피치에 기초하여, 상기 타겟 영역을 산출하는 것을 특징으로 하는 다시점 영상 디스플레이 장치.
3. 제2항에 있어서,
   상기 프로세서는,
   상기 가시 픽셀 영역의 픽셀 피치 및 상기 기설정된 각도에 기초하여 결정된 가중치를 상기 특정 시점 뷰의 픽셀 값 및 상기 특정 시점 뷰의 인접 시점 뷰의 픽셀 값에 적용하여, 상기 혼합 픽셀 값을 산출하는 것을 특징으로 하는 다시점 영상 디스플레이 장치.
4. 제3항에 있어서,
   상기 프로세서는,
   상기 가시 픽셀 영역 중 상기 출력 픽셀 영역과 일치하는 제1 영역의 면적 비에 따른 가중치와 상기 출력 픽셀 영역의 픽셀 값을 곱한 값 및, 상기 가시 픽셀 영역 중 재깅(jagging)을 유발하는 제2 영역의 면적 비에 따른 가중치와 상기 인접 픽셀 값을 곱한 값을 합산하여, 상기 출력 픽셀 영역에 매핑할 혼합 픽셀 값을 산출하는 것을 특징으로 하는 다시점 영상 디스플레이 장치.
5. 제1항에 있어서,
   상기 프로세서는,
   상기 입력된 영상 중 적어도 하나의 에지 영역을 검출하고, 상기 검출된 에지 영역에 대응되는 출력 픽셀 영역 및 상기 에지 영역에 대응되는 가시 픽셀 영역 간 차이에 기초하여 상기 타겟 영역을 산출하는 것을 특징으로 하는 다시점 영상 디스플레이 장치.
6. 제5항에 있어서,
   상기 프로세서는,
   상기 입력된 영상의 뎁스 정보에 따라, 상기 적어도 하나의 에지 영역에 대응되는 픽셀 값이 상기 복수의 뷰에서 분포되는 위치를 판단하고, 판단된 위치에 포함된 상기 타겟 영역을 산출하는 것을 특징으로 하는 다시점 영상 디스플레이 장치.
7. 제6항에 있어서,
   상기 프로세서는,
   상기 복수의 뷰 각각의 동일한 픽셀 라인으로 구성된 에피폴라(epipolar) 이미지에 기초하여 생성된 에피폴라 도메인에서 상기 적어도 하나의 에지 영역에 대응되는 픽셀 값이 분포되는 위치를 판단하고, 상기 판단된 위치에 상기 입력된 뎁스 정보에 따른 필터링을 적용하여 상기 혼합 픽셀 값을 산출하는 것을 특징으로 하는 다시점 영상 디스플레이 장치.
8. 제7항에 있어서,
   상기 프로세서는,
   상기 뎁스 정보에 기초하여 뎁스가 낮은 오브젝트에 대해서는 약한 필터링을 수행하고, 뎁스가 높은 오브젝트에 대해서는 강한 필터링을 수행하는 것을 특징으로 하는 다시점 영상 디스플레이 장치.
9. 제1항에 있어서,
   상기 혼합 픽셀 값 산출에 이용되는 상기 특정 시점 뷰의 인접 시점 뷰는, 상기 특정 시점 뷰의 이전 시점 뷰 및 이후 시점 뷰를 포함하는 것을 특징으로 하는 다시점 영상 디스플레이 장치.
10. 제1항에 있어서,
    상기 프로세서는,
    R, G, B 중 하나의 서브 픽셀 단위로 상기 혼합 픽셀 값을 산출하는 것을 특징으로 하는 다시점 영상 디스플레이 장치.
11. 디스플레이 패널 및 상기 디스플레이 패널의 전면에 배치되어 사용자의 시청 영역에서 서로 다른 시점의 광학 뷰를 제공하는 시역 분리부를 포함하는 다시점 영상 디스플레이 장치의 제어 방법에 있어서,
    입력된 영상의 뎁스에 기초하여 서로 다른 시점을 갖는 복수의 뷰를 렌더링하는 단계; 및
    상기 복수의 뷰를 구성하는 픽셀 값에 기초하여 상기 디스플레이 패널에 디스플레이될 다시점 영상을 생성하는 단계; 및
    상기 디스플레이 패널의 출력 픽셀 영역 및 상기 광학 뷰를 통해 사용자에게 제공되는 대응되는 가시(可視) 픽셀 영역 간 차이에 기초하여 산출된 타겟 영역에, 상기 복수의 뷰 중 특정 시점 뷰의 픽셀 값 및 상기 특정 시점 뷰의 인접 시점 뷰의 픽셀 값에 기초하여 생성된 혼합 픽셀 값을 맵핑하여 생성된 다시점 영상을 상기 디스플레이 패널에 디스플레이하는 단계;를 포함하는 제어 방법.
12. 제11항에 있어서,
    상기 시역 분리부는, 기설정된 각도로 기울어진 적어도 하나의 픽셀 영역이 상기 광학 뷰로 제공되도록 동작하며,
    상기 기설정된 각도 및 상기 가시 픽셀 영역의 픽셀 피치에 기초하여, 상기 타겟 영역을 산출하는 단계;를 더 포함하는 것을 특징으로 하는 제어 방법.
13. 제12항에 있어서,
    상기 가시 픽셀 영역의 픽셀 피치 및 상기 기설정된 각도에 기초하여 결정된 가중치를 상기 특정 시점 뷰의 픽셀 값 및 상기 특정 시점 뷰의 인접 시점 뷰의 픽셀 값에 적용하여, 상기 혼합 픽셀 값을 산출하는 단계;를 더 포함하는 것을 특징으로 하는 제어 방법.
14. 제13항에 있어서,
    상기 혼합 픽셀 값을 산출하는 단계는,
    상기 가시 픽셀 영역 중 상기 출력 픽셀 영역과 일치하는 제1 영역의 면적 비에 따른 가중치와 상기 출력 픽셀 영역의 픽셀 값을 곱한 값 및, 상기 가시 픽셀 영역 중 재깅(jagging)을 유발하는 제2 영역의 면적 비에 따른 가중치와 상기 인접 픽셀 값을 곱한 값을 합산하여, 상기 출력 픽셀 영역에 매핑할 혼합 픽셀 값을 산출하는 것을 특징으로 하는 제어 방법.
15. 제11항에 있어서,
    상기 입력된 영상 중 적어도 하나의 에지 영역을 검출하고, 상기 검출된 에지 영역에 대응되는 출력 픽셀 영역 및 상기 에지 영역에 대응되는 가시 픽셀 영역 간 차이에 기초하여 상기 타겟 영역을 산출하는 단계;를 더 포함하는 것을 특징으로 하는 제어 방법.
16. 제15항에 있어서,
    상기 타겟 영역을 산출하는 단계는,
    상기 입력된 영상의 뎁스 정보에 따라, 상기 적어도 하나의 에지 영역에 대응되는 픽셀 값이 상기 복수의 뷰에서 분포되는 위치를 판단하고, 판단된 위치에 포함된 상기 타겟 영역을 산출하는 것을 특징으로 하는 제어 방법.
17. 제16항에 있어서,
    상기 복수의 뷰 각각의 동일한 픽셀 라인으로 구성된 에피폴라(epipolar) 이미지에 기초하여 생성된 에피폴라 도메인에서 상기 적어도 하나의 에지 영역에 대응되는 픽셀 값이 분포되는 위치를 판단하고, 상기 판단된 위치에 상기 입력된 뎁스 정보에 따른 필터링을 적용하여 상기 타겟 영역에 매핑할 혼합 픽셀 값을 산출하는 단계;를 더 포함하는 것을 특징으로 하는 제어 방법.
18. 제17항에 있어서,
    상기 혼합 픽셀 값을 산출하는 단계는,
    상기 뎁스 정보에 기초하여 뎁스가 낮은 오브젝트에 대해서는 약한 필터링을 수행하고, 뎁스가 높은 오브젝트에 대해서는 강한 필터링을 수행하는 것을 특징으로 하는 제어 방법.
19. 제11항에 있어서,
    상기 혼합 픽셀 값 산출에 이용되는 상기 특정 시점 뷰의 인접 시점 뷰는, 상기 특정 시점 뷰의 이전 시점 뷰 및 이후 시점 뷰를 포함하는 것을 특징으로 하는 제어 방법.
20. 제11항에 있어서,
    R, G, B 중 하나의 서브 픽셀 단위로 상기 혼합 픽셀 값을 산출하는 단계;를 더 포함하는 것을 특징으로 하는 제어 방법.
    

Images