KR20130055248A - 3차원 텔레비전 수신기를 위한 영상 포맷 변환 방법 및 장치 - Google Patents

Abstract

3D 텔레비젼 수신기는 비월주사 포맷을 포함하는 제1 포맷을 갖는 인코딩된 기준 영상-상기 기준 영상은 기수(odd) 필드 기준 영상 및 서수(even) 필드 기준 영상을 포함함-을 디코딩하는 기준 영상 디코더; 상기 비월주사 포맷을 포함하는 제1 포맷을 갖는 인코딩된 부가 영상-상기 부가 영상은 기수 필드 부가 영상 및 서수 필드 부가 영상을 포함함-을 디코딩하는 부가 영상 디코더; 및 상기 디코딩된 기수 필드 기준 영상 및 기수 필드 부가 영상의 조합과 상기 서수 필드 기준 영상 및 상기 서수 필드 부가 영상의 조합을 이용하여 순차 주사 포맷을 갖는 입체 영상을 생성하는 3차원 포맷 변환기를 포함한다.

Description

3차원 텔레비전 수신기를 위한 영상 포맷 변환 방법 및 장치{METHOD AND APPARAUTUS OF CONVERTING VIDEO FORMAT FOR 3 DIMENSIONAL TELEVISION RECEIVER}

아래의 실시예들은 스테레오스코픽(stereoscopic) 영상 관련 기술에 관한 것으로, 보다 구체적으로 3DTV 수신기 및 3DTV와의 인터페이스에 관련된 기술에 관한 것이다.

스테레오스코픽 비디오 분야에는 side-by-side, top & bottom 등과 같이 다양한 영상 포맷들이 존재한다. 종래 3DTV 전용방송용으로 프레임호환(frame-compatible) 3DTV 서비스를 위해 상기 두 가지 포맷이 가장 많이 사용되고 있으므로, 대부분의 3DTV 관련 장비(3DTV Set-top box, 3D blu-raly, 3DTV 등)들이 이를 입출력 영상포맷으로 지원하고 있다. 하지만, 상기 두 포맷은 역방향 호환성 보장이라는 측면에서 문제점을 내재하고 있다. 즉, 기존의 2D (2-dimensional) 방송시스템을 사용하여 인코딩, 전송, 디코딩 등을 할 수 있으나, 기존의 DTV 수신기는 좌우가 동시에 한 화면에 재생되게 된다. 또한 축소/보간 등의 과정을 거치게 되므로 3D 영상으로 재생할 때 화질의 열화를 초래한다.

본 발명은 듀얼 스트림 방식의 서비스 호환 3DTV 수신 시스템을 통하여 side-by-side 혹은 top-down 방식의 스테레오스코픽 영상 콘텐츠를 제공하기 위한 것이다. 즉 본 발명은 3DTV 수신기와 3DTV의 인터페이스 방식에 관한 것으로서, 3DTV 수신기에서 디코딩된 비월주사 영상 포맷의 좌우 영상을 top&bottom 순차주사 (progressive scanning) 영상포맷으로 변환하여 일반 3DTV로 보내기 위한 영상포맷 변환 방법 및 장치를 제공하기 위한 것을 목적으로 한다.

3D 텔레비젼 수신기는 비월주사 포맷을 포함하는 제1 포맷을 갖는 인코딩된 기준 영상-상기 기준 영상은 기수(odd) 필드 기준 영상 및 서수(even) 필드 기준 영상을 포함함-을 디코딩하는 기준 영상 디코더; 상기 비월주사 포맷을 포함하는 제1 포맷을 갖는 인코딩된 부가 영상-상기 부가 영상은 기수 필드 부가 영상 및 서수 필드 부가 영상을 포함함-을 디코딩하는 부가 영상 디코더; 및 상기 디코딩된 기수 필드 기준 영상 및 기수 필드 부가 영상의 조합과 상기 서수 필드 기준 영상 및 상기 서수 필드 부가 영상의 조합을 이용하여 순차 주사 포맷을 갖는 입체 영상을 생성하는 3차원 포맷 변환기를 포함한다.

본 발명은 3DTV 수신기와 3DTV의 인터페이스 방식에 관한 것으로서, 3DTV 수신기에서 디코딩된 비월주사 영상 포맷의 좌우 영상을 top&bottom 순차주사 (progressive scanning) 영상포맷으로 변환하여 일반 3DTV로 보내기 위한 영상포맷 변환 방법 및 장치를 제공할 수 있다.

도 1은 SIDE-BY-SYDE 방식에 따른 영상 포맷 및 TOP&BOTTOM 방식에 따른 영상 포맷의 예를 나타낸 도면이다.
도 2는 종래의 듀얼 스트림 방식을 사용하는 3DTV 방송 시스템을 나타낸 도면이다.
도 3은 본 발명의 일실시예에 따른 3차원 텔레비전 수신기 및 3차원 텔레비전 사이의 연결 관계와 영상 포맷을 변환하는 과정을 설명하는 도면이다.
도 4는 본 발명의 일실시예에 따른 영상 포맷 과정을 나타낸 도면이다.
도 5는 3차원 텔레비전에서의 기준 영상 및 부가 영상을 복원하는 과정을 나타낸 도면이다.
도 6은 본 발명의 일실시예에 따른 포맷 변환을 적용하지 않는 경우를 설명하는 도면이다.

이하, 본 발명의 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.

도 1은 SIDE-BY-SYDE 방식에 따른 영상 포맷 및 TOP&BOTTOM 방식에 따른 영상 포맷의 예를 나타낸 도면이다.

스테레오스코픽 비디오 분야에는 도 1에서와 같이 side-by-side 방식에 따른 영상 포맷과, top&bottom 방식에 따른 영상 포맷과 같이 다양한 영상 포맷들이 존재한다.

종래에는 3DTV 전용 방송을 위하여 프레임호환(frame-compatible) 3DTV 서비스를 위해 상기 두 가지 포맷을 가장 많이 사용되고 있으므로, 대부분의 3DTV 관련 장비(3DTV Set-top box, 3D blu-raly, 3DTV 등)들이 상기 두 가지 영상 포맷들을 입출력 영상 포맷들로 지원하고 있다.

하지만, 상기 두 포맷은 역방향 호환성 보장이라는 측면에서 문제점을 내재하고 있다. 즉, 기존의 2D (2-dimensional) 방송시스템을 사용하여 인코딩, 전송, 디코딩 등을 할 수 있으나, 기존의 DTV 수신기는 좌우가 동시에 한 화면에 재생되게 된다. 또한 축소/보간 등의 과정을 거치게 되므로 3D 영상으로 재생할 때 화질의 열화를 초래한다.

도 2는 종래의 듀얼 스트림 방식을 사용하는 3DTV 방송 시스템을 나타낸 도면이다.

도 2에 도시된 방송 시스템은 도 1에서의 스테레오스코픽 영상 포맷에서 발생되는 역방향 호환성을 근본적으로 해결할 수 있는 시스템으로서, 좌우 각각의 원본 영상을 독립적으로 인코딩하여 별개의 듀얼 스트림으로 전송하는 것이다.

여기서 기준영상은 일반적인 2D영상과 호환되는 영상을 의미하며, 부가영상은 기준영상과 함께 스테레오스코픽 영상을 구성하기 위해 쌍을 이루는 영상으로서, 기준영상에 대응하는 우측영상, 깊이(depth) 영상, 변이(disparity) 영상 등이 해당한다.

기준영상 인코더 및 부가 영상 인코더는 기준영상 및 부가영상을 인코딩하기 위한 비디오 인코더이며, 다중화 및 전송부는 인코딩된 기준영상 및 부가영상 스트림들을 단일 스트림으로 다중화한 후, 전송망을 통해 전송한다. 수신 측에서 보면, 수신 및 역다중화부는 상기 전송망을 통해 전송된 3DTV 신호를 역다중화 과정을 통해 기준영상 스트림과 부가영상 스트림으로 분리하고 기준영상 디코더 및 부가영상 디코더에서 각각 해당 영상을 디코딩한다.

디지털 방송은 현재 대부분 비월주사(interlaced scanning) 영상 포맷을 지원하고 있으며, 또한 기존에 판매된 3DTV 는 도 2의 듀얼 스트림 방식의 3DTV 신호를 재생하지 못한다. 즉 Shuttering 방식 혹은 필름 방식의 3DTV는 이미 보급되고 있으며, 이 3DTV에 3D 콘텐츠의 제공을 위해서 3DTV 수신기(Set-top box) 혹은 3D blue-ray player등을 통해 디코딩 및 재생되는 3D영상을 HDMI 등의 인터페이스 수단을 통해 입력시켜야 한다. 따라서 상기 듀얼 스트림 방식을 지원하며, 비월주사 포맷의 좌영상 및 우영상을 화질의 열화 없이 side-by-side, top&bottom 3D 영상포맷으로 변환하여 보급된 3DTV로 보내기 위한 별도의 장비가 필요한 실정이다.

도 3은 본 발명의 일실시예에 따른 3차원 텔레비전 수신기 및 3차원 텔레비전 사이의 연결 관계와 영상 포맷을 변환하는 과정을 설명하는 도면이다.

3DTV 수신기는 비월주사(interlaced scanning) 포맷의 인코딩된 좌우 영상을 입력 받아, 좌영상 디코더 및 우영상 디코더에서 각각 디코딩한 다음, 3D 포맷변환기에서 순차주사 방식의 입체영상 포맷으로 변환하여 3DTV에 3D 콘텐츠를 제공한다. 여기서 3DTV 수신기가 도 2에서의 서비스 호환 3DTV방송을 수신하기 위한 Set-top Box인 경우, 방송신호를 수신하여 역다중화한 후 비월주사 포맷(예: 1920X1080, 60i)의 좌측과 우측영상을 (디코더 및 우영상 디코더에서) 각각 디코딩 한다. 비월주사 포맷의 영상은 도 3의 좌상단에서와 같이 기수필드(odd field)와 서수필드(even field)가 시간적으로 구성된다.

본 특허에서는 특히, Top&bottom 3D 영상 포맷이면서 순차주사(progressive scanning) 포맷의 영상으로 변환하기 위해, 도 3의 우상단에서와 같이 좌우영상의 필드를 각각 조합한다. 즉, 한 frame의 top&bottom 순차주사 영상은 (좌영상 odd field+ 우영상 odd field) 혹은 (좌영상 even field+ 우영상 even field)의 조합으로써, 원래 좌우 각각 1920X1080, 60i영상이 한 frame의 1920X1080, 60P로 변환된다.

도 4는 본 발명의 일실시예에 따른 영상 포맷 과정을 나타낸 도면이다.

우측은 원래 크기의 좌우영상 전체 중에, 각각 4개의 라인(라인 2, 라인 3, 라인 4, 라인 5)에 픽셀들을 예시하고 있다. 이를 디지털방송에서 주로 적용하고 있는 비월주사 영상으로 생성할 경우, 라인2/라인4의 픽셀들이 Odd 필드영상을 구성하고, 라인3/라인5의 픽셀들이 Even 필드영상을 시간적으로 나란히 구성한다(도의 interlaced 영상).

본 발명에서 Top/bottom progressive 영상을 구성하는 방법을 우측(Top/bottom progressive 영상)에 표현하고 있다. 좌우 영상 각각의 Odd field를 조합하여 Top/bottom progressive 영상 Frame 0을 구성함에 있어서, Odd field의 라인의 픽셀들을 그대로 가져온다. 반면에, 좌우 영상 각각의 Even field를 조합하여 Top/bottom progressive 영상 Frame 1을 구성함에 있어서, Even field의 라인을 그대로(라인3 및 라인5) 가져오는 대신, 위로 1/2 라인 보간된 라인(라인1-라인3 보간, 라인3-라인5 보간)들의 픽셀들을 가져와서 프레임(Frame 1)을 구성한다. 이렇게 좌우 영상의 Even field로 부터 위로 1/2 라인 보간된 픽셀들을 가져오는 이유는 도 5에서 설명하고 있다.

도 5는 3차원 텔레비전에서의 기준 영상 및 부가 영상을 복원하는 과정을 나타낸 도면이다.

도 5에서 Top/bottom progressive 영상이 3DTV에 입력되면 라인 보간 과정을 통해 좌우 각각 원본크기의 progressive 영상을 생성하여 입체 화면을 구성한다. Frame 0의 경우 각각의 라인에 있는 픽셀들을 보간하여 라인 3 및 라인 5을 복원한다. Frame 1의 경우 각각의 라인(라인1-라인3 보간, 라인3-라인5 보간)을 보간하면 다시 라인 3 및 라인 5을 원래 위치로 복원할 수 있는 것이다. 이는 도 4에서 라인1-라인3 보간 및 라인3-라인5 보간에 있는 픽셀들은 각각 라인 2, 라인 4 위치에 있던 픽셀 들에 해당되므로, 이를 다시 보간하면(라인2-라인4 보간 및 라인4-라인6 보간에 해당) 라인 3, 라인 5의 픽셀들을 다시 복원할 수 있는 것이다.

도 6은 본 발명의 일실시예에 따른 포맷 변환을 적용하지 않는 경우를 설명하는 도면이다.

도 6은 도 3의 Top/bottom progressive의 과정에서 좌우 even field를 상하로 배치하여 frame을 생성함에 있어서, 라인을 그대로(라인3 및 라인5) 가져오는데 대한 문제점을 설명하고 있다. 즉 frame 1을 구성하는데 있어 라인3 및 라인5 사이를 보간하는 이유에 대해 설명하고 있다.

도 6에서와 같이 만일 Top/bottom progressive의 frame 1을 구성하는 과정에서 라인3 및 라인5를 그대로 가져온 경우에, 3DTV 수신기에서 이를 이용하여 다시 라인 사이를 보간하면 도 6의 우측 그림처럼 된다. 즉 3DTV는 입력되는 라인들을 순서대로 배열하여 프레임 영상을 생성하므로, 원래 라인 3 및 라인 5에 있었던 픽셀들은 라인 2 및 라인5로 이동하게 된다. 이는 전체적으로 볼때 Frame 1에서만 물체가 한 라인 위로 이동한 것처럼 보여 시각적으로 문제를 발생시킨다.

상술한 본 발명의 방법, 절차들 및 기능들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.

그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

Claims (1)

1. 3D 텔레비젼 수신기에 있어서,
   비월주사 포맷을 포함하는 제1 포맷을 갖는 인코딩된 기준 영상-상기 기준 영상은 기수(odd) 필드 기준 영상 및 서수(even) 필드 기준 영상을 포함함-을 디코딩하는 기준 영상 디코더;
   상기 비월주사 포맷을 포함하는 제1 포맷을 갖는 인코딩된 부가 영상-상기 부가 영상은 기수 필드 부가 영상 및 서수 필드 부가 영상을 포함함-을 디코딩하는 부가 영상 디코더; 및
   상기 디코딩된 기수 필드 기준 영상 및 기수 필드 부가 영상의 조합과 상기 서수 필드 기준 영상 및 상기 서수 필드 부가 영상의 조합을 이용하여 순차 주사 포맷을 갖는 입체 영상을 생성하는 3차원 포맷 변환기
   를 포함하는 3D 텔레비전 수신기.
   

Images