KR20140039649A - 다시점 영상 생성 방법 및 다시점 영상 디스플레이 장치 - Google Patents

Abstract

다시점 영상 생성 방법을 개시한다. 본 발명의 다양한 실시 예에 따른 다시점 영상 생성 방법은, 원본영상의 뎁스정보를 이용하여 홀영상(Hole Image)을 생성하는 단계와, 생성된 홀영상의 홀영역이 배경과 접하는 경계 영역을 적어도 하나의 패치로 분할하는 단계와, 원본영상의 기설정된 영역 내에서 분할된 적어도 하나의 패치에 포함된 배경과 가장 유사한 픽셀값을 갖는 영역을 선택하는 단계와, 분할된 적어도 하나의 패치상의 홀영역을 선택된 영역의 픽셀값으로 채워 제1시점 영상을 생성하는 단계를 포함한다.

Description

다시점 영상 생성 방법 및 다시점 영상 디스플레이 장치{MULTI VIEW IMAGE GENERATING METHOD AND MULTI VIEW IMAGE DISPLAY APPARATUS}

본 발명은 다시점 영상 생성 방법에 관한 것으로, 보다 상세하게는 홀영상을 생성하여 홀영역을 채움으로써 다시점 영상을 생성할 수 있는 다시점 영상 생성 방법 및 다시점 영상 디스플레이 장치에 관한 것이다.

전자 기술의 발달에 힘입어 다양한 유형의 전자기기가 개발 및 보급되고 있다. 특히, 일반 가정에서 가장 많이 사용되고 있는 가전 제품 중 하나인 TV와 같은 디스플레이 장치는 최근 수년 간 급속도로 발전하고 있다.

디스플레이 장치의 성능이 고급화되면서, 디스플레이 장치에서 디스플레이하는 컨텐츠의 종류도 다양하게 증대되었다. 특히, 최근에는 3D 컨텐츠까지 시청할 수 있는 입체 디스플레이 시스템이 개발되어 보급되고 있다.

입체 디스플레이 장치는 일반 가정에서 사용되는 3D 텔레비젼 뿐만 아니라, 각종 모니터, 휴대폰, PDA, PC, 셋탑 PC, 태블릿 PC, 전자 액자, 키오스크 등과 같은 다양한 유형의 디스플레이 장치로 구현될 수 있다. 또한, 3D 디스플레이 기술은, 가정 내 사용 분만 아니라 과학, 의약, 디자인, 교육, 광고, 컴퓨터 게임 등과 같이 3D 이미징이 필요한 다양한 분야에 활용될 수 있다.

입체 디스플레이 시스템은 크게 안경 없이 시청 가능한 무안경식 시스템과, 안경을 착용하여 시청하여야 하는 안경식 시스템으로 분류할 수 있다.

안경식 시스템의 일 예로는, 셔터 글래스 방식의 디스플레이 장치가 있다. 셔터 글래스 방식이란, 좌안 이미지 및 우안 이미지를 교번적으로 출력하면서, 이와 연동하여 사용자가 착용한 3D 안경의 좌우 셔터 글래스를 교번적으로 개폐시켜 사용자가 입체감을 느낄 수 있도록 하는 방식이다.

무 안경식 시스템은 오토스테레오스코피(autostereoscopy)시스템이라고도 한다. 무 안경 방식의 3D 디스플레이 장치는, 공간적으로 쉬프트된 다시점 영상을 디스플레이하면서 패러랙스 배리어(Parallax Barrier) 기술 또는 렌티큘러(Lenticular) 렌즈를 이용하여 시청자의 좌안 및 우안에 다른 시점의 영상에 해당하는 광이 투사되도록 하여, 사용자가 입체감을 느낄 수 있도록 한다.

안경식 시스템은 만족스러운 입체감을 제공할 수 있으나, 시청자가 반드시 안경을 사용하여야만 한다는 불편함이 있었다. 이에 비해, 무안경식 시스템은 안경 없이도 3D 이미지를 시청할 수 있다는 장점이 있어, 무안경식 시스템에 대한 개발 논의가 지속적으로 이루어지고 있다.

도 1은 종래의 무 안경식 3D 디스플레이 장치의 구성을 나타내는 도면이다. 도 1에 따르면, 종래의 3D 디스플레이 장치는 백라이트 유닛(10), 이미지 패널(20) 및 패러랙스부(30)를 포함한다.

패러랙스부는 패러랙스 배리어로 알려진 불투명 쉴드(opaque shield)의 슬릿 어레이 또는 렌티큘러 렌즈 어레이로 이루어질 수 있다. 도 1에서는 렌티큘러 렌즈 어레이로 구현된 경우를 나타낸다.

도 1에 따르면, 이미지 패널(20)은 복수의 열(column)로 구분되는 복수의 픽셀을 포함한다. 각 열 별로 상이한 시점의 이미지가 배치된다. 도 1에 따르면, 서로 다른 시점의 복수의 이미지 1, 2, 3, 4가 순차적으로 반복 배치되는 형태를 나타낸다. 즉, 각 픽셀 열은 1, 2, 3, 4로 넘버링된 그룹으로 배열된다. 패널로 인가되는 그래픽 신호는 픽셀열 1이 첫 번째 이미지를 디스플레이하고, 픽셀열 2가 두 번째 이미지를 디스플레이하도록 배열된다.

백라이트 유닛(10)은 이미지 패널(20)로 광을 제공한다. 백라이트 유닛(10)으로부터 제공되는 광에 의해, 이미지 패널(20)에 형성되는 각 이미지 1, 2, 3, 4는 패러랙스 부(30)로 투사되고, 패러랙스부(30)는 투사되는 각 이미지 1, 2, 3, 4의 광을 분산시켜 시청자 방향으로 전달한다. 즉, 패러랙스 부(30)는 시청자의 위치, 즉, 시청 거리에 출구동공(exit pupils)을 생성한다. 렌티큘러 렌즈 어레이로 구현되었을 경우 렌티큘러 렌즈의 두께 및 직경, 패러랙스 배리어로 구현되었을 경우 슬릿의 간격 등은 각 열에 의해 생성되는 출구동공이 65mm 미만의 평균 양안 중심 거리로 분리되도록 설계될 수 있다. 분리된 이미지 광들은 각각 시청 영역을 형성한다. 즉, 도 1에 도시된 바와 같이 시청 영역 1, 2, 3, 4가 형성된다.

이러한 상태에서 사용자의 좌안(51)이 시청 영역 3에 위치하고, 우안(52)이 시청 영역 2에 위치하면, 사용자는 특수 안경 없이도 입체감을 느낄 수 있게 된다.

무안경식 시스템(이하에서는 다시점 영상 생성 장치라고 통칭한다.)은 원본 영상으로부터 복수 개의 다시점 영상을 생성하게 된다. 예를 들어, 하나 이상의 원본 영상으로부터 서로 다른 9개의 시점을 갖는 각 영상을 생성할 수 있다.

일 예로 원본 영상으로부터 일정 시점을 갖는 홀 영상을 생성하고, 홀영역을 보간(Interpolation)하는 방법이 있을 수 있다. 한국공개공보 KR20100040593, KR20110085469은 이러한 다시점 영상 생성 방법을 개시하고 있다.

그러나, 종래의 홀영역 보간 방법은 수평라인 단위로 단순하게 인접하는 배경의 픽셀값으로 홀영역을 채우거나 Hole의 크기를 줄이는 방법에 불과했다. 이 경우, 종종 실제 생성된 다시점 영상의 홀영역에 대응되는 부분의 영상이 왜곡되는 현상이 발생한다. 특히, 홀영역의 주변 배경이 영상에서 구조적으로 돌출된 영역인 경우와 같이 뎁스(depth)가 높은 경우, 이러한 영상의 왜곡이 심해진다. 따라서, 원본영상에서 구조를 이루는 부분을 효과적으로 처리함으로써, 매끄러운 다시점 영상을 생성할 수 있는 방안이 요구된다.

본 발명은 상술한 문제점을 해결하기 위한 것으로, 본 발명의 목적은, 원본영상에서 구조를 이루는 부분을 효과적으로 처리함으로써, 매끄러운 다시점 영상을 생성할 수 있는 다시점 영상 생성 방법 및 다시점 영상 디스플레이 장치를 제공하기 위함이다.

이상과 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 다시점 영상 생성 방법은, 다시점 영상 생성 방법에 있어서, 원본영상의 뎁스정보를 이용하여 홀영상(Hole Image)을 생성하는 단계와, 상기 생성된 홀영상의 홀영역이 배경과 접하는 경계 영역을 적어도 하나의 패치로 분할하는 단계와, 상기 원본영상의 기설정된 영역 내에서 상기 분할된 적어도 하나의 패치에 포함된 배경과 가장 유사한 픽셀값을 갖는 영역을 선택하는 단계와, 상기 분할된 적어도 하나의 패치상의 홀영역을 상기 선택된 영역의 픽셀값으로 채워 제1시점 영상을 생성하는 단계를 포함한다.

또한, 상기 선택단계는, 상기 원본 영상의 기설정된 영역 내에서 비교 대상이 된 영역을 적어도 두 개의 비율로 스케일링하여, 상기 분할된 적어도 하나의 패치와 비교하는 단계 및 상기 비교 결과에 기초하여 상기 분할된 적어도 하나의 패치에 포함된 배경과 가장 유사한 픽셀값을 갖는 영역을 선택하는 단계를 포함할 수 있다.

또한, 상기 다시점 영상 생성 방법은, 상기 원본영상의 뎁스정보를 이용하여 제1홀영상(Hole Image)을 생성하는 단계와, 상기 생성된 제1시점 영상의 뎁스정보를 이용하여 제2홀영상(Hole Image)을 생성하는 단계와, 상기 제1홀영상의 홀영역을 상기 제2홀영상의 대응되는 영역의 픽셀값으로 채우거나 상기 제2홀영상의 홀영역을 상기 제1홀영상의 대응되는 영역의 픽셀값으로 채움으로써, 제2시점 영상을 생성하는 단계를 더 포함할 수 있다.

이때 상기 홀영상을 생성하는 단계는, 상기 원본영상의 각 픽셀에 대한 뎁스의 크기에 따라 기설정된 거리만큼 상기 각 픽셀을 쉬프트시켜 생성할 수 있다.

또한, 상기 선택단계는, 상기 분할된 적어도 하나의 패치 중에서 상기 홀영역과 상기 배경의 픽셀값의 차이가 큰 패치에 대해서 우선적으로 수행될 수 있다.

또한, 상기 선택단계는, 상기 원본영상의 기설정된 영역 내의 각 부분과 상기 분할된 적어도 하나의 패치에 포함된 배경의 색상, 뎁스 및 그레이디언트(gradient)를 서로 비교하여 유사한 정도를 판단할 수 있다.

또한, 상기 다시점 영상 생성 방법은, 상기 홀영상의 홀영역이 모두 채워질 때까지 상기 과정을 반복하여 상기 제1시점 영상을 생성할 수 있다.

또한, 상기 다시점 영상 생성 방법은, 상기 제1시점 영상 및 제2시점 영상의 서로 대응되는 영역의 픽셀을 조합하여 다시점 영상을 생성하는 단계를 더 포함할 수 있다.

이상과 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 다시점 영상 디스플레이 장치는, 다시점 영상 디스플레이 장치에 있어서, 원본영상을 수신하는 수신부; 상기 원본영상의 뎁스정보를 이용하여 홀영상(Hole Image)을 생성하는 홀영상 생성모듈과, 상기 생성된 홀영상의 홀영역이 배경과 접하는 경계 영역을 적어도 하나의 패치로 분할하고, 상기 원본영상의 기설정된 영역 내에서 상기 분할된 적어도 하나의 패치에 포함된 배경과 가장 유사한 픽셀값을 갖는 영역을 선택하는 유사영역 선택모듈과, 상기 분할된 적어도 하나의 패치상의 홀영역을 상기 선택된 영역의 픽셀값으로 채워 제1시점 영상을 생성하는 영상생성모듈을 포함하는 제어부; 및 상기 생성된 제1시점 영상을 출력하는 디스플레이 패널;을 포함한다.

또한, 상기 유사영역 선택모듈은, 상기 원본 영상의 기설정된 영역 내에서 비교 대상이 된 영역을 적어도 두 개의 비율로 스케일링하여, 상기 분할된 적어도 하나의 패치와 비교하고, 상기 비교 결과에 기초하여 상기 분할된 적어도 하나의 패치에 포함된 배경과 가장 유사한 픽셀값을 갖는 영역을 선택할 수 있다.

또한, 상기 홀영상 생성모듈은, 상기 원본영상의 뎁스정보를 이용하여 제1홀영상(Hole Image)을 생성하고, 상기 생성된 제1시점 영상의 뎁스정보를 이용하여 제2홀영상(Hole Image)을 더 생성하고, 상기 영상 생성모듈은, 상기 제1홀영상의 홀영역을 상기 제2홀영상의 대응되는 영역의 픽셀값으로 채우거나 상기 제2홀영상의 홀영역을 상기 제1홀영상의 대응되는 영역의 픽셀값으로 채움으로써, 제2시점 영상을 생성할 수 있다.

또한, 상기 홀영상 생성 모듈은, 상기 원본영상의 각 픽셀에 대한 뎁스의 크기에 따라 기설정된 거리만큼 상기 각 픽셀을 쉬프트시켜 생성할 수 있다.

또한, 상기 유사영역 선택모듈은, 상기 분할된 적어도 하나의 패치 중에서 상기 홀영역과 상기 배경의 픽셀값의 차이가 큰 패치에 대해서 우선적으로 상기 선택 동작을 수행할 수 있다.

또한, 상기 유사영역 선택모듈은, 상기 원본영상의 기설정된 영역 내의 각 부분과 상기 분할된 적어도 하나의 패치에 포함된 배경의 색상, 뎁스 및 그레이디언트(gradient)를 서로 비교하여 유사한 정도를 판단할 수 있다.

또한, 상기 유사영역 선택모듈과 상기 영상 생성 모듈은, 상기 홀영상의 홀영역이 모두 채워질 때까지 상기 과정을 반복하여 상기 제1시점 영상을 생성할 수 있다.

또한, 상기 제어부는, 상기 제1시점 영상 및 제2시점 영상의 서로 대응되는 영역의 픽셀을 조합하여 다시점 영상을 생성하는 다시점 영상 생성모듈을 더 포함할 수 있다.

이상과 같은 본 발명의 다양한 실시 예에 따르면, 원본영상에서 구조를 이루는 부분을 효과적으로 처리함으로써, 매끄러운 다시점 영상을 생성할 수 있게 된다.

도 1은 종래의 무 안경식 3D 디스플레이 장치의 구성을 나타내는 도면,
도 2는 본 발명의 일 실시 예에 따른 다시점 영상 생성 방법을 도시한 흐름도,
도 3은 홀영상을 생성하기 위한 원본영상을 설명하기 위한 도면,
도 4는 생성된 홀영상을 도시한 도면,
도 5는 원본영상에서 패치와 유사한 영역으로 홀영역을 채우는 방법을 설명하기 위한 도면,
도 6은 본 발명의 다른 실시 예에 따른 다시점 영상 생성 방법의 흐름도,
도 7은 도 6의 방법에 의해 유사도가 높은 부분을 찾는 방법을 설명하기 위한 도면,
도 8은 본 발명의 또 다른 실시 예에 따른 다시점 영상 생성 방법을 도시한 흐름도,
도 9는 도 8의 방법에 따라 다시점 영상을 생성하는 방법을 도시한 도면,
도 10은 본 발명의 또 다른 실시 예에 따른 다시점 영상 생성 방법을 도시한 흐름도,
도 11은 본 발명의 또 다른 실시 예에 따른 완전한 제1시점 영상을 생성하기 위한 방법을 설명하기 위한 흐름도,
도 12는 본 발명의 또 다른 실시 예에 따른 완전한 다시점 영상을 생성하기 위한 방법을 설명하기 위한 도면, 그리고,
도 13 내지 14는 본 발명의 다양한 실시 예에 따른 다시점 영상 디스플레이 장치의 구성을 도시한 블록도이다.

이하에서는 첨부된 도면을 참조하여, 본 발명의 다양한 실시 예를 좀더 상세하게 설명한다. 본 발명을 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단된 경우 그 상세한 설명은 생략한다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

도 2는 본 발명의 일 실시 예에 따른 다시점 영상 생성 방법을 도시한 흐름도이고, 도 3은 홀영상을 생성하기 위한 원본영상을 설명하기 위한 도면이고, 도 4는 생성된 홀영상을 도시한 도면이고, 도 5는 원본영상에서 패치와 유사한 영역으로 홀영역을 채우는 방법을 설명하기 위한 도면이다.

도 2를 참조하면, 본 발명의 일 실시 예에 따른 다시점 영상 생성 방법은, 홀영상 생성 단계(S210), 경계 영역을 적어도 하나의 패치로 분할하는 단계(S220), 패치에 포함된 배경과 가장 유사한 원본영상의 영역을 선택하는 단계(S230), 홀영역을 채워 제1시점 영상을 생성하는 단계(S240)를 포함한다.

먼저 홀영상 생성 단계(S210)는, 원본영상의 뎁스정보를 이용하여 홀영상(Hole Image)을 생성하는 과정이다.

여기서 원본영상은 다양한 형태로 존재할 수 있다. 예를 들어, 각 픽셀간에 디스패리티(disparity)를 갖는 좌안영상과 우안영상으로 이루어질 수 있다. 이 경우, 원본 영상은 2개가 된다. 이와 달리, 원본 영상은 하나일 수 있고, 이 경우 홀홀영상 생성을 위해서 뎁스 정보를 나타내는 뎁스맵(depth map)이 이용된다.

뎁스(depth) 정보란 3D 영상의 뎁스를 나타내는 정보로, 3D 영상을 구성하는 좌안 영상 프레임과 우안 영상 프레임 사이의 양안 시차 정도에 대응되는 정보이다. 뎁스 정보에 따라 사람이 느끼는 입체감의 정도가 달라진다. 즉, 뎁스가 큰 경우 좌우 양안 시차가 크게 되므로 입체감이 상대적으로 크게 느껴지고, 뎁스가 작은 경우 좌우 양안 시차가 작게 되므로 입체감이 상대적으로 작게 느껴지게 된다. 뎁스 정보는 후술하는 뎁스 맵으로 표시할 수 있다.

뎁스 맵이란 디스플레이 화면의 각 영역별 뎁스 정보를 포함하고 있는 테이블을 의미한다. 영역은 픽셀 단위로 구분될 수도 있고, 픽셀 단위보다 큰 기설정된 영역으로 정의될 수도 있다. 이때 뎁스 정보는, 3D 이미지 프레임의 각 영역 또는 픽셀(pixel)에 대한 뎁스일 수 있다. 일 실시 예에서 뎁스 맵은 영상 프레임의 각 픽셀에 대한 뎁스를 나타내는 그레이 스케일(grayscale)의 2차원 이미지에 대응될 수 있다.

도 3은 원본영상과 이에 대응되는 뎁스 맵의 일 예를 도시하고 있다. 원본 영상을 보면, 가장 앞에 있는 객체인 정자와, 그보다 뒤에 놓인 나무, 빌딩 등이 있음을 알 수 있다. 정자는 가장 앞에 위치한 객체이므로 뎁스가 큰 반면, 나무, 빌딩은 뎁스가 작아 영상의 배경을 이루게 된다. 이에 따라 영상의 뎁스 맵에서 정자의 경우 뎁스가 높은 값을 이루는 반면, 뒤의 배경은 작은 뎁스를 갖게 된다.

그러면, 이러한 원본영상과 뎁스맵을 이용하여 홀영상을 생성하는 방법을 설명한다.

본 발명의 일 실시 예에 따르면, 상기 홀영상은 상기 원본영상의 각 픽셀에 대한 뎁스의 크기에 따라 기설정된 거리만큼 상기 각 픽셀을 쉬프트시켜 생성할 수 있다.

원본 영상을 기준으로 왼쪽의 시점을 갖는 영상을 생성한다고 가정하자. 이는 원본영상의 정중앙을 기준으로 왼쪽으로 일정 각도 만큼 회전한 영상을 얻는 것과 같다. 이를 2차원 평면에 투영하면, 각 물체는 일정 각도에 대응되는 거리만큼 오른쪽으로 이동해야 한다. 그런데, 가까이 있는 물체의 경우 긴 거리를 이동하는 반면, 멀리 있는 물체나 배경의 경우는 상대적으로 짧은 거리를 이동하게 된다. 이렇게 다시점 영상이 생성된다.

이때, 전술한 뎁스맵을 활용한다. 즉, 뎁스맵을 참조하여 뎁스가 큰 픽셀의 경우는 가까이에 위치한 물체로 간주되므로, 상대적으로 긴 거리를 쉬프트시킨다. 반면, 뎁스가 작은 픽셀의 경우는 멀리 있는 물체 또는 배경으로 간주되므로, 상대적으로 짧은 거리를 쉬프트시킨다.

이때, 뎁스의 크기에 따라 객체를 이루는 픽셀의 쉬프트 거리가 달라지게 되므로, 원본 영상에서 픽셀이 최종적으로 이동하지 않아 아무것도 채워지지 않는 부분이 생기게 된다. 이 부분을 홀영역이라고 한다. 그리고, 홀영역을 갖는 영상을 홀영상이라고 한다.

도 4는 이렇게 생성된 홀영상을 도시하고 있다. 즉, 위쪽의 원본 영상을 뎁스 맵을 참조하여 각 픽셀에 대해서 오른쪽으로 기설정된 거리만큼 쉬프트 시킨 경우, 아래쪽의 홀영상이 생성된다.

이처럼 홀영상이 생성되면, 경계 영역을 적어도 하나의 패치로 분할하게 된다(S220). 즉, 상기 생성된 홀영상의 홀영역(42)이 배경(41)과 접하는 경계 영역을 적어도 하나의 패치(patch)로 분할한다.

도 5의 (1)을 참조하면, 원본 영상의 가까운 물체인 정자의 지붕부분에 홀영역이 있다. 이 홀영역이 배경과 접하는 경계 영역을 복수개의 패치로 분할한다. 하나의 패치는 배경 영역(Background Area)과 홀영역(Hole Area)으로 구분된다.

그리고, 상기 원본영상의 기설정된 영역 내에서 상기 분할된 적어도 하나의 패치에 포함된 배경과 가장 유사한 픽셀값을 갖는 영역을 선택한다(S230). 즉, 원본 영상 내에서 상기 패치의 배경 영역(Background Area)과 가장 유사한 픽셀값을 갖는 영역을 찾는다.

도 5의 (2)에서 패치를 원본영상의 각 영역 A,B, C와 비교한다. 그리고, 가장 유사한 픽셀값을 갖는 영역 A를 선택할 수 있다(도 5의 (3) 참조).

본 발명의 일 실시 예에서, 상기 선택과정은 상기 원본영상의 기설정된 영역 내의 각 부분과 상기 분할된 적어도 하나의 패치에 포함된 배경의 색상, 뎁스 및 그레이디언트(gradient)를 서로 비교하여 유사한 정도를 판단함으로써 수행될 수 있다.

예를 들어, 배경의 색상은 RGB 컬러로 표현될 수 있고, 이 경우 상기 적어도 하나의 패치의 각 픽셀의 RGB값을 모두 합하고, 원본 영상의 기설정된 영역의 어느 부분의 대응되는 픽셀의 RGB값을 모두 합하여 양자를 비교할 수 있다. 그리고, 원본 영상의 기설정된 영역 중 그 차이가 가장 적은 부분이 선택될 수 있다.

마찬가지로 상기 적어도 하나의 패치의 각 픽셀의 뎁스값을 모두 합하고, 원본 영상의 기설정된 영역의 어느 부분의 대응되는 픽셀의 뎁스값을 모두 합하여 양자를 비교할 수 있다. 그리고, 원본 영상의 기설정된 영역 중 그 차이가 가장 적은 부분이 선택될 수 있다.

또한, 상기 적어도 하나의 패치의 각 픽셀의 그레이디언트값을 모두 합하고, 원본 영상의 기설정된 영역의 어느 부분의 대응되는 픽셀의 그레이디언트값을 모두 합하여 양자를 비교할 수도 있다. 이 경우, 원본 영상의 기설정된 영역 중 그 차이가 가장 적은 부분이 선택될 수 있다.

상기의 색상, 뎁스, 그레이디언트 값 중 어느 하나만을 사용하여 비교할 수도 있지만, 상기 값을 모두 비교할 수 있다. 이 경우, 어느 하나의 팩터(factor)만으로는 확인하기 어려운 정보까지 고려할 수 있어 정확성이 향상된다. 예를 들어, 픽셀값을 모두 합한 값의 차이만으로는 확인하기 어려운 색상의 패턴까지 고려할 수 있게 된다.

원본 영상의 기설정된 영역 중 패치와 가장 유사한 부분이 발견된 경우, 그 부분을 이용해서 홀영역을 채움으로써, 제1시점 영상을 생성한다(S240). 즉, 상기 분할된 적어도 하나의 패치상의 홀영역을 상기 선택된 영역의 픽셀값으로 채워 제 제1시점 영상을 생성한다.

도 5의 (4)에서 패치와 가장 유사한 영역인 A가 선택되었고, 패치의 홀영역을 A의 대응되는 영역의 픽셀값으로 채우게 된다.

종래의 홀영역 보간 방법은 수평라인 단위로 단순하게 인접하는 배경의 픽셀값으로 홀영역을 채우거나 Hole의 크기를 줄이는 방법에 불과했다. 이 경우, 종종 실제 생성된 다시점 영상의 홀영역에 대응되는 부분의 영상이 왜곡되는 현상이 발생한다. 특히, 홀영역의 주변 배경이 영상에서 구조적으로 돌출된 영역인 경우와 같이 주변 배경 영역의 뎁스(depth)가 상대적으로 높은 경우, 이러한 영상의 왜곡이 심해진다.

그러나, 본 발명은 상술한 것처럼 홀영역과 배경의 경계 영역을 적어도 하나의 패치로 분할하고, 각 패치에 대해서 원본 영상에서 가장 유사한 부분의 대응되는 픽셀로 채우게 되어 이러한 문제를 해결한다. 이 경우, 원본영상에서 구조를 이루는 부분을 단순하게 인접 배경 픽셀로 채우지 않고, 가장 유사한 영상을 이용하여 채우게 되므로, 매끄러운 다시점 영상을 생성할 수 있게 된다.

그런데, 일반적으로 상술한 패치는 전체 영상에서 아주 작은 부분이므로, 식별력있는 많은 픽셀 정보를 포함하고 있지 않은 경우가 많아 원본 영상에 유사한 부분이 다수 존재할 수 있다. 이때, 다수의 유사한 부분 중에 좀더 패치의 배경 영역과 유사도가 높은 부분을 발견할 수 있는 방안이 요구된다.

이하에서는 이러한 방안을 설명한다.

도 6은 본 발명의 다른 실시 예에 따른 다시점 영상 생성 방법의 흐름도이고 도 7은 도 6의 방법에 의해 유사도가 높은 부분을 찾는 방법을 설명하기 위한 도면이다.

도 6을 참조하면, 본 발명의 다른 실시 예에 따른 다시점 영상 생성 방법은, 홀영상 생성 단계(S610), 경계 영역을 적어도 하나의 패치로 분할하는 단계(S620), 비교대상이 된 영역을 스케일링하여 패치와 비교하는 단계(S630), 비교결과에 기초하여 해치에 포함된 배경과 가장 유사한 원본영상의 영역을 선택하는 단계(S640), 홀영역을 채워 1시점 영상을 생성하는 단계(S650)를 포함한다.

상기 S610, S620, S650은 전술한 실시 예의 S210, S220, S240과 동일한 구성이므로, 중복 설명은 생략한다.

상기 실시 예에서, 경계 영역을 적어도 하나의 패치로 분할하면(S620), 상기 원본 영상의 기설정된 영역 내에서 비교 대상이 된 영역을 적어도 두 개의 비율로 스케일링하여, 상기 분할된 적어도 하나의 패치와 비교한다(S630).

여기서 스케일링이란 픽셀값의 분포 범위를 기설정된 범위 내에 들게 하기 위하여 분포 범위에 정수를 곱하는 것을 의미한다. 기설정된 범위가 최초의 영상 데이터의 픽셀값의 분포 범위보다 큰 경우를 업 스케일링(up-scaling)이라고 하고, 업 스케일링 결과 영상 데이터의 화면은 기설정된 비율로 확대된다. 반면, 기설정된 범위가 입력 영상 데이터의 픽셀값의 분포 범위보다 작은 경우를 다운 스케일링(down-scaling)이라고 하고, 다운 스케일링 결과 영상 데이터의 화면은 기설정된 비율로 축소된다. 업스케일의 경우는 입력 영상 데이터 상의 하나의 픽셀값이 스케일링 결과 영상 데이터 화면의 복수의 픽셀값으로 매칭될 수 있으므로, 해상도가 떨어질 수 있다.

도 7에 도시된 것처럼 원본 영상의 비교대상이 된 영역을 세가지 비율로 스케일링하여 확대 또는 축소시킬 수 있다. 이때, 각각의 경우에 대해 분할된 적어도 하나의 패치와 비교를 수행한다.

전술한 것처럼 패치는 전체 영상에서 아주 작은 부분이므로, 원본 영상의 유사한 부분이 다수 존재할 수 있다. 본 발명은 이처럼 여러 비율의 영상의 부분을 패치와 비교함으로써, 다수의 유사한 부분 중에 좀더 패치의 배경 영역과 유사도가 높은 부분을 발견할 수 있게 된다.

그리고, 상기 비교 결과에 기초하여 상기 분할된 적어도 하나의 패치에 포함된 배경과 가장 유사한 픽셀값을 갖는 영역을 선택한다(S650). 유사도를 판단하는 방법에 대해서는 상술한 바 있으므로, 중복 설명은 생략한다.

본 발명의 상술한 실시 예에 따르면, 하나의 원본 영상을 통해 홀영상을 생성하고, 홀영상의 홀영역을 패치로 분할하여 원본 영상 내에서 유사도가 높은 영상으로 채움으로써, 영상의 왜곡이 없는 자연스러운 다시점 영상을 생성할 수 있게 된다.

최종적인 다시점 영상은 복수개의 시점에 대한 영상으로 구성될 수 있다. 이때 각각의 영상을 상술한 방법으로 생성할 수 있을 것이다. 다만, 개별 영상의 개수가 많아지는 경우, 연산의 양이 많아지는 문제가 생길 수 있다. 이 경우 다음의 효율적인 다시점 영상 생성 방안을 고려할 수 있다.

도 8은 본 발명의 또 다른 실시 예에 따른 다시점 영상 생성 방법을 도시한 흐름도이고, 도 9는 도 8의 방법에 따라 다시점 영상을 생성하는 방법을 도시한 도면이다.

도 8을 참조하면, 본 발명의 또 다른 실시 예에 따른 다시점 영상 생성 방법은, 홀영상 생성 단계(S810), 경계 영역을 적어도 하나의 패치로 분할하는 단계(S820), 패치에 포함된 배경과 가장 유사한 원본영상의 영역을 선택하는 단계(S830), 홀영역을 채워 1시점 영상을 생성하는 단계(S840), 제1홀영상을 생성하는 단계(S840), 제2홀영상을 생성하는 단계(S850), 제2시점 영상을 생성하는 단계(S860)를 포함할 수 있다.

상기 S810, S820, S830, S840은 전술한 실시 예의 S210, S220, S230, S240과 동일한 구성이므로, 중복 설명은 생략한다.

상기 실시 예에서, 제1시점 영상이 생성되면, 제1시점 영상과 원본 영상 사이의 시점을 갖는 영상을 생성할 수 있다. 즉, 상기 원본영상의 뎁스정보를 이용하여 제1시점 영상과 원본 영상 사이의 시점을 갖는 제1홀영상(Hole Image)을 생성한다(S850). 제1홀영상은 전술한 홀영상과 동일한 방법으로 생성된다.

그리고, 상기 생성된 제1시점 영상의 뎁스정보를 이용하여 전술한 제1홀영상과 동일한 시점을 갖는 제2홀영상(Hole Image)을 생성한다(S860).

이때, 제1홀영상은 원본영상을 기준으로 제1방향의 시점 이동이 있는 영상인 반면, 제2홀영상은 제1시점 영상을 기준으로 상기 제1방향과는 다른 제2방향의 시점이동이 있는 영상이 된다. 따라서, 제1홀영상과 제2홀영상의 홀영역은 서로 다른 방향으로 생기게 된다.

도 9의 실시 예를 살펴보면, 2번 시점 영상을 생성하기 위해 왼쪽 영상으로부터 홀영상을 생성하는 경우, 객체의 오른쪽 부분에 홀영역이 생기는 홀영상이 생성되는 것을 알 수 있다. 반면, 오른쪽 영상(원본 영상)으로부터 2번 시점 영상을 생성하는 경우, 객체의 왼쪽 부분에 홀영역이 생기는 홀영상이 생성되는 것을 알 수 있다.

상기 두 개의 홀영상을 생성한 후, 상기 제1홀영상의 홀영역을 상기 제2홀영상의 대응되는 영역의 픽셀값으로 채우거나 상기 제2홀영상의 홀영역을 상기 제1홀영상의 대응되는 영역의 픽셀값으로 채움으로써, 제2시점 영상을 생성한다(S870).

상기 제1홀영상과 제2홀영상은 동일한 시점에 대한 서로 다른 홀영역을 갖는 영상이므로, 제1홀영상의 홀영역에 대응되는 픽셀값을 갖는 제2홀영상의 영역이 존재하고, 마찬가지로 제2홀영상의 홀영역에 대응되는 픽셀값을 갖는 제1홀영상의 영역이 존재하게 된다. 따라서, 각각 다른 영상의 대응되는 영역의 픽셀값을 이용하여 홀영역을 채울 수 있다.

도 9에서 객체의 왼쪽 부분에 홀영역을 갖는 홀영상은 다른 홀영상의 대응되는 영역의 픽셀값으로 홀영역을 채울 수 있다. 마찬가지로 객체의 오른쪽 부분에 홀영역을 갖는 홀영상은 다른 홀영상의 대응되는 영역의 픽셀값으로 홀영역을 채울 수 있게 된다. 도 9의 오버레이된 이미지의 상단과 하단은 서로 다른 홀영역을 갖는 영상을 표시하고 있다.

이처럼 두 개의 서로 다른 시점을 갖는 영상으로부터 그 사이에 존재하는 시점의 영상을 생성하는 경우, 간단하게 두 개의 홀영상을 생성하여, 어느 하나의 홀영상의 홀영역에 대응되는 다른 하나의 홀영상의 픽셀값으로 상기 홀영역을 채울 수 있게 된다. 따라서, 개별 영상의 개수가 많아지는 경우, 빠르고 효율적으로 다시점 영상을 생성할 수 있게 된다.

한편, 전술한 실시 예들에서 복수의 패치 중에서 어느 패치에 대해서 선택단계를 우선적으로 수행할지 문제될 수 있다. 도 10은 이러한 문제를 해결하기 위한 다시점 영상 생성 방법을 도시한 흐름도이다.

도 10을 참조하면, 본 발명의 또 다른 실시 예에 따른 다시점 영상 생성 방법은, 홀영상 생성 단계(S1010), 경계 영역을 적어도 하나의 패치로 분할하는 단계(S1020), 패치에 포함된 배경과 가장 유사한 원본영상의 영역을 선택하는 단계(S1030) 및 홀영역을 채워 1시점 영상을 생성하는 단계(S1040)를 포함할 수 있다.

상기 S1010, S1020, S1030, S1040은 전술한 실시 예의 S210, S220, S230, S240과 동일한 구성이므로, 중복되는 설명은 생략한다.

다만, 상기 단계 S1030는 상기 분할된 적어도 하나의 패치 중에서 상기 홀영역과 상기 배경의 픽셀값의 차이가 큰 패치에 대해서 우선적으로 수행할 수 있다.

적어도 하나의 패치 중에 홀영역과 인접하는 배경의 픽셀값의 차이가 큰 경우는 상기 인접하는 배경이 영상에서 구조를 이루거나, 뎁스가 큰 픽셀을 갖는 경우가 대부분이다. 따라서, 이러한 패치에 대해서 우선순위를 두어 패치와 유사한 원본 영상의 영역을 선택함으로써, 좀더 자연스럽고 효율적인 다시점 영상 생성이 가능해질 수 있다.

도 11은 본 발명의 또 다른 실시 예에 따른 완전한 제1시점 영상을 생성하기 위한 방법을 설명하기 위한 흐름도이다.

상술한 본 발명의 실시 예에 따른 각 단계는, 상기 홀영상의 홀영역이 모두 채워질 때까지 반복된다. 즉, 어느 하나의 패치에 대해서 홀영역을 유사한 원본영상의 부분으로 채우는 과정을 마치게 되면, 남은 홀영역의 경계 영역에 대해 전술한 과정을 반복하게 된다. 상술한 과정들은 홀영역이 없어질 때까지 계속된다.

도 11을 참조하여, 완전한 제1시점 영상을 생성하는 과정을 살펴보면, 먼저 홀 영상을 생성하고(S1110), 경계 영역을 적어도 하나의 패치로 분할하며(S1120), 분할된 적어도 하나의 패치에 포함된 배경과 가장 유사한 픽셀값을 갖는 영역을 선택한다(S1130). 그리고, 홀영역을 선택된 영역의 픽셀값으로 채워 제1시점 영상을 생성한다(S1140). 이러한 과정들은 홀영역이 모두 채워져 사라짐으로써, 완전한 제1시점 영상이 생성될 때까지 계속된다(S1150).

도 12는 본 발명의 또 다른 실시 예에 따른 완전한 다시점 영상을 생성하기 위한 방법을 설명하기 위한 도면이다.

본 발명의 또 다른 실시 예에 따른 다시점 영상 생성 방법은, 전술한 S810 내지 S860을 포함하고, 상기 제1시점 영상 및 제2시점 영상의 서로 대응되는 영역의 픽셀을 조합하여 다시점 영상을 생성하는 단계를 더 포함할 수 있다.

본 발명의 다양한 실시 예에 따르면, 먼저 S810 내지 S840에 따라 원본 영상으로부터 최외각 시점을 갖는 영상(도 12의 Left Image 및 Right Image 중 적어도 하나)을 생성하고, S850 내지 S870을 통해 원본영상과 최외각 시점을 갖는 영상 사이의 시점을 갖는 영상을 생성할 수 있다.

한편, 상술한 본 발명의 다양한 실시 예들에 따른 방법을 수행하기 위한 프로그램은 다양한 유형의 기록 매체에 저장되어 사용될 수 있다.

구체적으로는, 상술한 방법들을 수행하기 위한 코드는, RAM(Random Access Memory), 플레시메모리, ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electronically Erasable and Programmable ROM), 레지스터, 하드디스크, 리무버블 디스크, 메모리 카드, USB 메모리, CD-ROM 등과 같이, 단말기에서 판독 가능한 다양한 유형의 기록 매체에 저장되어 있을 수 있다.

이하에서는 전술한 방법을 수행할 수 있는 다시점 영상 디스플레이 장치(100, 100')를 설명한다.

도 13 내지 14는 본 발명의 다양한 실시 예에 따른 다시점 영상 디스플레이 장치(100, 100')의 구성을 도시한 블록도이다.

도 13을 참조하면, 본 발명의 다양한 실시 예에 따른 다시점 영상 디스플레이 장치는, 원본영상을 수신하는 수신부(110); 상기 원본영상의 뎁스정보를 이용하여 홀영상(Hole Image)을 생성하는 홀영상 생성모듈(121)과, 상기 생성된 홀영상의 홀영역이 배경과 접하는 경계 영역을 적어도 하나의 패치로 분할하고, 상기 원본영상의 기설정된 영역 내에서 상기 분할된 적어도 하나의 패치에 포함된 배경과 가장 유사한 픽셀값을 갖는 영역을 선택하는 유사영역 선택모듈(122)과, 상기 분할된 적어도 하나의 패치상의 홀영역을 상기 선택된 영역의 픽셀값으로 채워 제1시점 영상을 생성하는 영상생성모듈(123)을 포함하는 제어부(120); 및 상기 생성된 제1시점 영상을 출력하는 출력부(130);을 포함한다.

수신부(110)는 영상을 포함하는 콘텐츠를 수신한다. 구체적으로, 수신부(110)는 방송 네트워크를 이용하여 방송 프로그램 콘텐츠를 전송하는 방송국 또는 인터넷을 이용하여 콘텐츠 파일을 전송하는 웹 서버로부터 콘텐츠를 수신한다. 또한, 다시점 영상 디스플레이 장치(100) 내에 마련되거나 다시점 영상 디스플레이 장치(100)에 연결된 각종 기록 매체 재생 장치로부터 콘텐츠를 수신할 수도 있다. 여기서 기록 매체 재생 장치란 CD, DVD, 하드디스크, 블루레이 디스크, 메모리 카드, USB 메모리 등과 같은 다양한 유형의 기록 매체에 저장된 콘텐츠를 재생하는 장치를 의미한다.

방송국으로부터 콘텐츠를 수신하는 실시 예의 경우, 수신부(110)는 튜너(미도시), 복조기(미도시), 등화기(미도시) 등과 같은 구성을 포함하는 형태로 구현될 수 있다. 반면, 웹 서버와 같은 소스로부터 콘텐츠를 수신하는 실시 예의 경우에는, 수신부(110)는 네트워크 인터페이스 카드(미도시)로 구현될 수 있다. 또는, 상술한 각종 기록 매체 재생 장치로부터 콘텐츠를 수신하는 실시 예의 경우에는, 수신부(110)는 기록 매체 재생 장치와 연결된 인터페이스부(미도시)로 구현될 수 있다. 예를 들어, AV 단자, COMP 단자, HDMI 단자 등으로 구현 가능하다. 이 밖에도 수신부(110-1)는 실시 예에 따라 다양한 형태로 구현될 수 있다.

제어부(120)는 다시점 영상 디스플레이 장치(100)의 동작 전반을 제어하며, 특히, 다시점 영상 생성을 제어한다. 전술한 것처럼 홀영상 생성모듈(121), 유사영역 선택모듈(122), 영상생성모듈(123)을 포함한다.

본 발명의 일 실시 예에서, 상기 유사영역 선택모듈(122)은, 상기 원본 영상의 기설정된 영역 내에서 비교 대상이 된 영역을 적어도 두 개의 비율로 스케일링하여, 상기 분할된 적어도 하나의 패치와 비교하고, 상기 비교 결과에 기초하여 상기 분할된 적어도 하나의 패치에 포함된 배경과 가장 유사한 픽셀값을 갖는 영역을 선택할 수 있다.

본 발명의 다른 실시 예에서, 상기 홀영상 생성모듈(121)은, 전술한 홀영상 외에 상기 원본영상의 뎁스정보를 이용하여 제1홀영상(Hole Image)을 더 생성하고, 상기 생성된 제1시점 영상의 뎁스정보를 이용하여 제2홀영상(Hole Image)을 더 생성할 수 있다. 이때 상기 영상 생성모듈(123)은, 제1시점 영상 외에 상기 제1홀영상의 홀영역을 상기 제2홀영상의 대응되는 영역의 픽셀값으로 채우거나 상기 제2홀영상의 홀영역을 상기 제1홀영상의 대응되는 영역의 픽셀값으로 채움으로써, 제2시점 영상을 더 생성할 수 있다.

본 발명의 또 다른 실시 예에서, 상기 홀영상 생성 모듈(121)은, 상기 원본영상의 각 픽셀에 대한 뎁스의 크기에 따라 기설정된 거리만큼 상기 각 픽셀을 쉬프트시켜 생성할 수 있다.

본 발명의 또 다른 실시 예에서, 상기 유사영역 선택모듈(122)은, 상기 분할된 적어도 하나의 패치 중에서 상기 홀영역과 상기 배경의 픽셀값의 차이가 큰 패치에 대해서 우선적으로 상기 선택 동작을 수행할 수 있다.

본 발명의 또 다른 실시 예에서, 상기 유사영역 선택모듈(122)은, 상기 원본영상의 기설정된 영역 내의 각 부분과 상기 분할된 적어도 하나의 패치에 포함된 배경의 색상, 뎁스 및 그레이디언트(gradient)를 서로 비교하여 유사한 정도를 판단할 수 있다.

본 발명의 또 다른 실시 예에서, 상기 유사영역 선택모듈(122)과 상기 영상 생성 모듈(123)은, 상기 홀영상의 홀영역이 모두 채워질 때까지 상기 과정을 반복하여 상기 제1시점 영상을 생성할 수 있다.

본 발명의 또 다른 실시 예에서, 상기 제어부(120)는, 상기 제1시점 영상 및 제2시점 영상의 서로 대응되는 영역의 픽셀을 조합하여 다시점 영상을 생성하는 다시점 영상 생성모듈(124)을 더 포함할 수 있다.

출력부(130)는 상기 생성된 제1시점 영상을 출력하는 구성이다. 출력부(130)는 액정 디스플레이 패널(Liquid Crystal Display Panel), 플라즈마 디스플레이 패널(Plasma Display Panel), OLED(Organic Light Emitting Diodes), VFD(Vacuum Fluorescent Display), FED(Field EmissionDisplay) 및 ELD(Electro Luminescence Display) 중 적어도 하나로 구현될 수 있다.

도 14를 참조하면, 본 발명의 또 다른 실시 예에 따른 다시점 디스플레이 장치(100')는 수신부(110), 제어부(120), 패러랙스부(150), 디스플레이 패널(130), 백라이트부(140)를 포함한다.

수신부(110), 제어부(120), 디스플레이 패널(130, 출력부)에 대해서는 상술하였으므로, 생략한다. 즉, 제어부(120)는 전술한 동작을 수행하므로, 다시점 영상 디스플레이 장치(100')는 전술한 다시점 영상 생성 방법에 따라 다시점 영상을 생성하여 디스플레이 패널(130)에 디스플레이한다.

백라이트부(140)은 LCD 패널에 통상적으로 적용되는 일반적인 백라이트 유닛 또는 필드 순차 컬러(Field Sequential Color(FSC)) LCD 디스플레이에 적용되는 컬러 순차 백라이트 유닛일 수 있다. 즉, 백라이트부(140)의 종류는 디스플레이 패널(130)의 종류에 따라 달라질 수 있다.

패러랙스부(150)는 디스플레이 패널(130)의 전면에 배치되어, 디스플레이 패널(130)로부터 발산되는 광을 시청 영역별로 분산시킨다. 이에 따라, 시청 영역별로 상이한 시점의 이미지에 대응되는 광이 출사된다. 패러랙스부(150)는 패러랙스 배리어(Parallax Barrier) 또는 렌티큘러 렌즈 어레이(Lenticular lens array)로 구현될 수 있다. 패러랙스 배리어는 복수의 배리어 영역을 포함하는 투명 슬릿 어레이로 구현된다. 이에 따라, 배리어 영역 간의 슬릿(slit)을 통해 광을 차단하여 시청 영역 별로 상이한 시점의 이미지 광이 출사되도록 한다. 슬릿의 폭 및 피치는 다시점 영상에 포함되는 각 시점 이미지의 개수 및 시청 거리에 따라 상이하게 설계될 수 있다. 렌티큘러 렌즈 어레이는 복수의 렌즈 영역을 포함한다. 각 렌즈 영역은 적어도 하나의 픽셀 열에 대응되는 크기로 형성되어, 각 픽셀 열의 픽셀들을 투과하는 광을 시청 영역 별로 상이하게 분산한다. 각 렌즈 영역은 원형 렌즈를 포함할 수 있다. 각 렌즈의 피치 및 곡률 반경은 각 시점 이미지의 개수 및 시청 거리에 따라 상이하게 설계될 수 있다. 패러랙스 부(150)는 디스플레이 패널(130)에 구비된 각 픽셀들의 열 방향과 일치하도록 배열된다.

종래의 홀영역 보간을 수행하여 다시점 영상을 디스플레이하는 장치는 수평라인 단위로 단순하게 인접하는 배경의 픽셀값으로 홀영역을 채우거나 Hole의 크기를 줄이는 방법으로 이러한 동작을 수행했다. 이 경우, 종종 실제 생성된 다시점 영상의 홀영역에 대응되는 부분의 영상이 왜곡되는 현상이 발생한다. 특히, 홀영역의 주변 배경이 영상에서 구조적으로 돌출된 영역인 경우와 같이 주변 배경 영역의 뎁스(depth)가 상대적으로 높은 경우, 이러한 영상의 왜곡이 심해진다.

그러나, 본 발명에 따른 다시점 영상 디스플레이 장치(100, 100')는 홀영역과 배경의 경계 영역을 적어도 하나의 패치로 분할하고, 각 패치에 대해서 원본 영상에서 가장 유사한 부분의 대응되는 픽셀로 채우게 되어 이러한 문제를 해결한다. 이 경우, 원본영상에서 구조를 이루는 부분을 단순하게 인접 배경 픽셀로 채우지 않고, 가장 유사한 영상을 이용하여 채우게 되므로, 매끄러운 다시점 영상을 생성할 수 있게 된다.

또한, 본 발명에 따른 다시점 영상 디스플레이 장치(100, 100')는 다시점 영상을 생성하는 경우, 여러 비율의 영상의 부분을 패치와 비교함으로써, 다수의 유사한 부분 중에 좀더 패치의 배경 영역과 유사도가 높은 부분을 발견할 수 있게 된다. 즉, 하나의 원본 영상을 통해 홀영상을 생성하고, 홀영상의 홀영역을 패치로 분할하여 원본 영상 내에서 유사도가 높은 영상으로 채움으로써, 영상의 왜곡이 없는 자연스러운 다시점 영상을 생성할 수 있게 된다.

또한, 본 발명에 따른 다시점 영상 디스플레이 장치(100, 100')는 다시점 영상을 생성함에 있어서, 두 개의 서로 다른 시점을 갖는 영상으로부터 그 사이에 존재하는 시점의 영상을 생성하는 경우, 간단하게 두 개의 홀영상을 생성하여, 어느 하나의 홀영상의 홀영역에 대응되는 다른 하나의 홀영상의 픽셀값으로 상기 홀영역을 채울 수 있게 된다. 따라서, 개별 영상의 개수가 많아지는 경우, 빠르고 효율적으로 다시점 영상을 생성할 수 있게 된다.

이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안 될 것이다.

100, 100' : 다시점 영상 디스플레이 장치
120: 제어부
130 : 출력부
140 : 백라이트부
150 : 패러랙스부

Claims (16)

1. 다시점 영상 생성 방법에 있어서,
   원본영상의 뎁스정보를 이용하여 홀영상(Hole Image)을 생성하는 단계;
   상기 생성된 홀영상의 홀영역이 배경과 접하는 경계 영역을 적어도 하나의 패치로 분할하는 단계;
   상기 원본영상의 기설정된 영역 내에서 상기 분할된 적어도 하나의 패치에 포함된 배경과 가장 유사한 픽셀값을 갖는 영역을 선택하는 단계; 및
   상기 분할된 적어도 하나의 패치상의 홀영역을 상기 선택된 영역의 픽셀값으로 채워 제1시점 영상을 생성하는 단계;를 포함하는 다시점 영상 생성 방법.
2. 제1항에 있어서,
   상기 선택단계는,
   상기 원본 영상의 기설정된 영역 내에서 비교 대상이 된 영역을 적어도 두 개의 비율로 스케일링하여, 상기 분할된 적어도 하나의 패치와 비교하는 단계; 및
   상기 비교 결과에 기초하여 상기 분할된 적어도 하나의 패치에 포함된 배경과 가장 유사한 픽셀값을 갖는 영역을 선택하는 단계;를 포함하는 것을 특징으로 하는 다시점 영상 생성 방법.
3. 제1항에 있어서,
   상기 원본영상의 뎁스정보를 이용하여 제1홀영상(Hole Image)을 생성하는 단계;
   상기 생성된 제1시점 영상의 뎁스정보를 이용하여 제2홀영상(Hole Image)을 생성하는 단계; 및
   상기 제1홀영상의 홀영역을 상기 제2홀영상의 대응되는 영역의 픽셀값으로 채우거나 상기 제2홀영상의 홀영역을 상기 제1홀영상의 대응되는 영역의 픽셀값으로 채움으로써, 제2시점 영상을 생성하는 단계;를 더 포함하는 것을 특징으로 하는 다시점 영상 생성 방법.
4. 제1항에 있어서,
   상기 홀영상을 생성하는 단계는,
   상기 원본영상의 각 픽셀에 대한 뎁스의 크기에 따라 기설정된 거리만큼 상기 각 픽셀을 쉬프트시켜 상기 홀영상을 생성하는 것을 특징으로 하는 다시점 영상 생성 방법.
5. 제1항에 있어서,
   상기 선택단계는,
   상기 분할된 적어도 하나의 패치 중에서 상기 홀영역과 상기 배경의 픽셀값의 차이가 큰 패치에 대해서 우선적으로 수행되는 것을 특징으로 하는 다시점 영상 생성 방법.
6. 제1항에 있어서,
   상기 선택단계는,
   상기 원본영상의 기설정된 영역 내의 각 부분과 상기 분할된 적어도 하나의 패치에 포함된 배경의 색상, 뎁스 및 그레이디언트(gradient)를 서로 비교하여 유사한 정도를 판단하는 것을 특징으로 하는 다시점 영상 생성 방법.
7. 제1항에 있어서,
   상기 홀영상의 홀영역이 모두 채워질 때까지 상기 과정을 반복하여 상기 제1시점 영상을 생성하는 것을 특징으로 하는 다시점 영상 생성 방법.
8. 제3항에 있어서,
   상기 제1시점 영상 및 제2시점 영상의 서로 대응되는 영역의 픽셀을 조합하여 다시점 영상을 생성하는 단계;를 더 포함하는 것을 특징으로 하는 다시점 영상 생성 방법.
9. 다시점 영상 디스플레이 장치에 있어서,
   원본영상을 수신하는 수신부;
   상기 원본영상의 뎁스정보를 이용하여 홀영상(Hole Image)을 생성하는 홀영상 생성모듈과,
   상기 생성된 홀영상의 홀영역이 배경과 접하는 경계 영역을 적어도 하나의 패치로 분할하고, 상기 원본영상의 기설정된 영역 내에서 상기 분할된 적어도 하나의 패치에 포함된 배경과 가장 유사한 픽셀값을 갖는 영역을 선택하는 유사영역 선택모듈과,
   상기 분할된 적어도 하나의 패치상의 홀영역을 상기 선택된 영역의 픽셀값으로 채워 제1시점 영상을 생성하는 영상생성모듈을 포함하는 제어부;와,
   상기 생성된 제1시점 영상을 출력하는 출력부;를 포함하는 다시점 영상 디스플레이 장치.
10. 제9항에 있어서,
    상기 유사영역 선택모듈은,
    상기 원본 영상의 기설정된 영역 내에서 비교 대상이 된 영역을 적어도 두 개의 비율로 스케일링하여, 상기 분할된 적어도 하나의 패치와 비교하고,
    상기 비교 결과에 기초하여 상기 분할된 적어도 하나의 패치에 포함된 배경과 가장 유사한 픽셀값을 갖는 영역을 선택하는 것을 특징으로 하는 다시점 영상 디스플레이 장치.
11. 제9항에 있어서,
    상기 홀영상 생성모듈은,
    상기 원본영상의 뎁스정보를 이용하여 제1홀영상(Hole Image)을 생성하고, 상기 생성된 제1시점 영상의 뎁스정보를 이용하여 제2홀영상(Hole Image)을 더 생성하고,
    상기 영상 생성모듈은,
    상기 제1홀영상의 홀영역을 상기 제2홀영상의 대응되는 영역의 픽셀값으로 채우거나 상기 제2홀영상의 홀영역을 상기 제1홀영상의 대응되는 영역의 픽셀값으로 채움으로써, 제2시점 영상을 생성하는 것을 특징으로 하는 다시점 영상 디스플레이 장치.
12. 제9항에 있어서,
    상기 홀영상 생성 모듈은,
    상기 원본영상의 각 픽셀에 대한 뎁스의 크기에 따라 기설정된 거리만큼 상기 각 픽셀을 쉬프트시켜 상기 홀영상을 생성하는 것을 특징으로 하는 다시점 영상 디스플레이 장치.
13. 제9항에 있어서,
    상기 유사영역 선택모듈은,
    상기 분할된 적어도 하나의 패치 중에서 상기 홀영역과 상기 배경의 픽셀값의 차이가 큰 패치에 대해서 우선적으로 상기 선택 동작을 수행하는 것을 특징으로 하는 다시점 영상 디스플레이 장치.
14. 제9항에 있어서,
    상기 유사영역 선택모듈은,
    상기 원본영상의 기설정된 영역 내의 각 부분과 상기 분할된 적어도 하나의 패치에 포함된 배경의 색상, 뎁스 및 그레이디언트(gradient)를 서로 비교하여 유사한 정도를 판단하는 것을 특징으로 하는 다시점 영상 디스플레이 장치.
15. 제9항에 있어서,
    상기 유사영역 선택모듈과 상기 영상 생성 모듈은,
    상기 홀영상의 홀영역이 모두 채워질 때까지 상기 과정을 반복하여 상기 제1시점 영상을 생성하는 것을 특징으로 하는 다시점 영상 디스플레이 장치.
16. 제11항에 있어서,
    상기 제어부는,
    상기 제1시점 영상 및 제2시점 영상의 서로 대응되는 영역의 픽셀을 조합하여 다시점 영상을 생성하는 다시점 영상 생성모듈;을 더 포함하는 것을 특징으로 하는 다시점 영상 디스플레이 장치.

Images