최근, 디지털 방송(Digital Television, DTV)을 통해 3차원 입체 영상을 방송하려는 연구가 진행 중에 있다. 디지털 방송은 비디오, 오디오 및 기타 데이터 등의 아날로그 신호를 디지털 신호로 변환하여 압축하고 전송한 후, 이를 수신하여 다시 원래의 비디오, 오디오 및 기타 데이터 신호로 변환하여 재생하는 방송으로써, 종래의 아날로그 방송과 대비하여 고화질의 서비스를 제공한다.
또한, 상기와 같은 디지털 방송 기술을 이용하여 3차원 영상을 수신하여 디스플레이하는 것에 대한 연구도 진행되고 있다. 3차원 영상을 구현하는 일반적인 방법은 시청자의 양안시차를 이용하는 것이다. 양안시차를 이용한 3차원 영상 구현 방법에는 편광안경, LC shutter 안경 등과 같은 3차원 영상을 표시하기 위한 안경을 착용하는 방법과, 렌티큘라 렌즈(lenticular lens), barallax barrier, barallax illumination 등이 구비된 장치를 이용하여 맨 눈으로 관측하는 방법이 있다. 전자를 스테레오스카피(Stereoscopy) 방법이라 하고, 후자를 오토스테레오스카피(Autostereoscopy) 방법이라 한다.
상기 스테레오스카피 방법은 편광 프로젝터를 이용하여 주로 극장과 같은 여러 사람이 시청하는 곳에 응용되고 있다. 그리고 상기 오토스테레오스카피 방법은 개인이나 소수의 사람들이 사용하는 게임용 디스플레이, 가정용 TV, 전시용 디스플레이 등에 응용되고 있다.
현재의 연구는 대체로 오토스테레오스카피 방법을 이용하여 3차원 영상을 구현하는데 집중되고 있고, 이와 관련된 여러 제품들이 판매되고 있다. 현재 소개되고 있는 대부분의 입체영상용 디스플레이 장치들은 3차원(3D) 영상만을 구현할 수 있게 되어 있고, 가격도 2차원 디스플레이 장치보다 고가이다.
그런데 3차원 영상용 콘텐츠(contents)가 활발히 공급되고 있지 않기 때문에, 고가의 3차원 영상 전용의 디스플레이 장치로는 소비자의 구매 욕구를 만족시킬 수 없다.
이에 따라 최근 2차원과 3차원 영상을 선택적으로 구현할 수 있는 2D/3D 겸용 디스플레이 장치를 제작하는 방법에 많은 연구가 이루어지면서 다양한 제품이 소개되고 있다.
인간의 눈으로 보는 실제 영상과 유사한 3차원 입체 영상을 방송하기 위해서는, 다시점(multi-view) 3차원 영상을 만들어 전송하고 이를 수신하여 3차원 디스플레이 장치로 재생하여야 한다. 그러나 다시점 3차원 입체 영상은 데이터 량이 매우 많기 때문에 현재의 디지털 방송 시스템에서 사용되는 채널의 대역폭(bandwidth)으로는 수용하기 어렵다. 따라서, 스테레오 영상의 송신과 수신에 대한 연구가 먼저 진행되고 있다.
동영상 압축 표준화 단체인 MPEG(Moving Picture Expert Groups)에서 진행중인 입체 영상과 관련된 부분을 살펴보면, 1996년에 MPEG-2 다시점 프로파일(multi-view profile)이 제정되었고, 현재는 스테레오 영상 및 다시점 영상의 압축에 대한 표준이 완성단계에 있다. 이에 따라, 입체 영상을 연구하는 관련 단체에서도 디지털 텔레비전 방송을 통한 3차원 입체 영상의 전송 및 수신에 대한 연구가 활발하게 진행되고 있는데, 현재는 HD(High Definition)급 스테레오 영상의 전송 및 수신을 목표로 하고 있다.
한편, 디지털 방송 시스템, 시뮬레이션 또는 의학적인 분석 시스템 등 대부분의 분야에서 3차원 영상과 함께 선택적으로 2차원 영상이 구현될 필요가 있다. 그러나 현재 2차원 영상과 3차원 영상을 선택적으로 구현하기 위한 전송 스트림 구조와 상기 전송 스트림의 송신 장치 및 방법과 상기 전송 스트림을 수신하여 디스플레이하는 수신 장치 및 방법에 대하여는 현재 규격으로 정해지지 않고 있어 이에 대한 연구가 진행되어야 할 것이다.
이하 첨부된 도면을 참조하여 본 발명의 바람직한 일실시예에 대해 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 전송 스트림 구조이다. 도 1을 살펴보면, 전송 스트림은 헤더(header)(100)와 패이로드(120)로 구성된다.
전송 스트림의 헤더(100)에는 패이로드(120)에 포함되어 있는 영상을 디스플레이 할 수 있는 다양한 제어 정보들이 포함되어 있다. 이와 같은 전송 스트림 헤더(100)의 소정 위치에는 패이로드(120)에서 포함하고 있는 영상 데이터의 특성을 나타내는 영상특성 파라미터(102)가 포함되어 잇다.
영상특성 파라미터(102)는 패이로드(120)에 저장되어 있는 영상 데이터가 2 차원(2D: 2-dimention) 영상(예를 들어, 일반 TV 신호, VCR 신호)인지 3차원(3D: 3-Dimention) 영상인지 여부에 대한 2D/3D 구분 정보(102a)를 포함하고 있다.
그리고, 패이로드(120)에 저장되어 있는 영상이 3차원 영상인 경우에 영상특성 파라미터는 상기 3차원 영상의 촬상 시점수 정보(102b)를 더 포함할 수 있다. 여기에서, 3차원 영상의 촬상 시점수란 하나의 대상물체를 카메라로 촬상하여 제작하는 과정에서 몇 군데의 서로 다른 각도에서 촬상하였는지와 관련된 정보이다. 이와 같은 3차원 영상의 촬상 시점수에 대하여는 도 2에서 보다 자세히 살펴보기로 한다.
또한, 패이로드(120)에 저장되어 있는 영상이 3차원 영상인 경우에 영상특성 파라미터는 상기 3차원 영상의 디스플레이 포맷 정보(102c)를 더 포함할 수 있다. 여기에서, 디스플레이 포맷이란 3차원 영상을 합성하는 과정에서 하나의 장면에 대하여 어떠한 형태로 포맷을 수행하였는지에 대한 정보이다. 보다 구체적으로, 3차원 영상의 디스플레이 포맷으로는 라인-바이-라인(line-by-line) 포맷, 픽셀-바이-픽셀(pixel-by-picel) 포맷, 탑-다운(top-down) 포맷 및 사이드-바이-사이드(side-by-side) 포맷 등이 있다. 이와 같은 3차원 영상의 디스플레이 포맷 정보에 대하여는 도 3에서 보다 자세히 살펴보기로 한다.
도 2a와 도 2b는 도 1에서 3차원 영상의 촬상 시점수에 대한 일 예를 도시한 도면이다.
도 2a를 살펴보면, 하나의 대상물체(200)를 서로 다른 위치에 있는 2대의 카메라(221)(222)를 가지고 촬상한 것이다. 즉, 3차원 영상의 촬상 시점수는 2시점이 다. 여기에서, 대상물체는 정지하고 있는 물체일 수 있고, 움직이는 물체일 수도 있다. 2대의 카메라(221)(222)는 하나의 대상물체(200)에 대하여 각각 좌안 영상과 우안 영상을 따로 따로 촬상한다.
도 2b를 살펴보면, 하나의 대상물체(200)를 서로 다른 위치에 있는 4대의 카메라(221)(222)(223)(224)를 가지고 촬상한 것이다. 즉, 3차원 영상의 촬상 시점수는 4시점이다.
도 2a와 도 2b에서, 대상물체는 정지되어 있는 물체일 수 있고, 움직이는 물체일 수도 있다.
도 2a와 도 2b에서는 3차원 영상의 촬상 시점수와 관련하여 2시점과 4시점에 대하여 살펴보았으나 하나의 대상물체(200)에 대하여 보다 다양한 촬상 시점수를 가지도록 촬상할 수 있다.
*도 3a 내지 도 3d는 도 1에서 3차원 영상의 디스플레이 포맷 방식의 일 예를 도시한 도면들이다. 도 3a 내지 도 3d를 살펴보면, 도 3a는 라인-바이-라인 포맷에 대한 영상을 나타내고, 도 3b는 픽셀-바이-픽셀 포맷에 대한 영상을 나타내고, 도 3c는 탑-다운 포맷 영상을 나타내고, 도 3d는 사이드-바이-사이드 포맷에 대한 영상을 나타낸다.
보다 구체적으로, 이하에서는, 스테레오 영상(좌안 영상, 우안 영상)에 대한 디스플레이 포맷 방식을 설명하기로 한다. 그리고, 좌안 영상과 우안 영상은 각각 (N x M) 크기를 가지는 것으로 한다.
도 3a의 라인-바이-라인(line-by-line) 포맷의 영상은, 좌안 영상과 우안 영상을 각각 수직 방향으로 1/2 서브 샘플링하여, 좌안 영상의 화소와 우안 영상의 화소가 라인마다 교대로 위치하도록 하여 3차원 영상을 만든다. 도 3b의 픽셀-바이-픽셀(pixel-by-pixel) 포맷의 영상은, 좌안 영상과 우안 영상을 각각 수평 방향으로 1/2 서브 샘플링하여, 좌안 영상의 화소와 우안 영상의 화소가 한 화소씩 교대로 위치하도록 하여 3차원 영상을 만든다. 도 3c의 탑-다운(top-down) 포맷의 영상은, 좌안 영상과 우안 영상을 각각 수직 방향으로 1/2 서브 샘플링하여, 샘플링한 좌안 영상을 상부에, 샘플링한 우안 영상을 하부에 위치시켜 하나의 3차원 영상을 만든다. 즉, (N x M) 크기의 좌안 영상과 우안 영상을 각각 (N x M/2) 크기로 서브 샘플링한 후 이를 위아래에 위치시킴으로써, 하나의 (N x M) 크기의 3차원 영상을 만든다. 도 3d는 사이드-바이-사이드(side-by-side) 포맷의 영상으로, 좌안 영상과 우안 영상을 각각 수평 방향으로 1/2 서브 샘플링하여, 샘플링한 좌안 영상을 왼쪽에, 샘플링한 우안 영상을 오른쪽에 위치시켜 하나의 3차원 영상을 만든다. 즉, (N x M) 크기의 좌안 영상과 우안 영상을 각각 (N/2 x M) 크기로 서브 샘플링한 후 이를 좌우측에 위치시킴으로써, 하나의 (N x M) 크기의 3차원 영상을 만든다.
상술한 바와 같이 3차원 영상 합성 포맷에는 여러 가지 있는데, 이 중에서 도 3c에 도시한 바와 같은 탑-다운 포맷과 도 3d에 도시한 바와 같은 사이드-바이-사이드 포맷이, MPEG 등으로 압축하여 전송시에 효율적이기 때문에 많이 사용될 수 있다.
도 4는 본 발명의 바람직한 일 실시예에 따른 영상 송신장치의 블럭도이다. 도 4를 살펴보면, 영상 송신장치는 저장부(400), 영상특성 파라미터 생성부(410), 사용자 인터페이스부(420), 인코더부(430) 및 송신부(440)를 포함하여 이루어진다.
저장부(400)는 대상물체를 촬상하여 얻어진 영상 데이터를 저장하고 있다. 저장부(400)에 저장되어 있는 영상 데이터는 하나의 대상물체를 한 대의 카메라로 촬상하여 얻어지는 영상일 수 있고 또는 하나의 대상물체를 다수 대의 카메라로 촬상하여 얻어지는 영상들일 수도 있다.
즉, 저장부(400)에 저장되어 있는 영상 데이터는 2차원 영상일 수 있고, 다수 대의 카메라에서 찍은 좌안 영상과 우안 영상들이 서브 샘플링 되고 합성되어 도 3a 내지 도 3d를 참조하여 상술한 바와 같은 디스플레이 포맷 중 어느 한 가지 포맷의 3차원 영상일 수도 있다.
영상특성 파라미터 생성부(410)는 저장부(400)에 저장되어 있는 영상 데이터의 특성을 나타내는 영상특성 파라미터를 생성하는 역할을 한다. 여기에서, 영상특성 파라미터는 2차원 영상인지 3차원 영상인지 여부를 포함한다. 나아가, 3차원 영상인 경우에 촬상 시점수 정보 또는 디스플레이 포맷 정보를 포함할 수 있다.
사용자 인터페이스부(420)는 영상특성 파라미터 생성부(410)를 제어하는 명령을 사용자로부터 수신하고, 상기 영상특성 파라미터에 대하여 수신하는 입출력 인터페이스를 제공한다. 사용자는 저장부(400)에 저장되어 있는 영상 데이터의 특성을 나타내는 영상특성 파라미터를 사용자 인터페이스부(420)를 통하여 설정하여 줌으로써 생성하도록 할 수 있다.
본 발명의 일 실시예에서는 이와 같이 사용자 인터페이스부(420)를 두어 영 상특성 파라미터를 생성하는 것으로 하였으나 이와 관련하여서는 영상을 촬상하는 과정에서 바로 영상특성 파라미터를 생성하는 방법 등 다양한 실시예가 가능하다.
인코더부(430)는 저장부(400)로부터 대상물체를 촬상하여 얻어진 영상 데이터들과 영상특성 파라미터 생성부(410)로부터 생성된 영상특성 파라미터를 입력받는다. 그리고, 인코더부(430)는 저장부(400)로부터 입력받은 영상 데이터들과 영상특성 파라미터 생성부(410)로부터 입력받은 영상특성 파라미터를 부호화하여 전송 스트림 형태로 나타나도록 변환한다. 여기에서, 인코더부(430)는 저장부(400)로부터 입력받은 영상들은 전송 스트림의 패이로드에 포함되도록 하고, 영상특성 파라미터는 전송 스트림의 헤더 소정 위치에 포함되도록 한다. 또한, 인코더부(430)는 MPEG 또는 기타 여러 가지 방법으로 부호화를 수행한다.
송신부(440)는 인코딩된 전송 스트림을 디지털 방송 규격이나 그 밖의 여러 가지 전송 규격에 따라 송신한다.
도 5는 본 발명의 바람직한 일 실시예에 따른 영상 수신장치의 블럭도이다. 도 5를 살펴보면, 영상 수신장치는 수신부(500), 디코더부(510), 영상특성 파라미터 검출부(520) 및 디스플레이부(530)를 포함하여 이루어진다.
수신부(500)는 영상 송신장치에서 전송된 영상 신호를 수신한다. 여기에서, 수신부(500)를 통하여 수신되는 영상 신호는 전송 스트림 형태의 영상 신호이다.
디코더부(510)는 영상 송신장치에서 부호화한 규격에 대응되는 복호화를 수행한다. 예를 들어, MPEG-2 규격에 따라 부호화되었으면 그에 따라 복호화를 수행한다. 보다 구체적으로, 디코더부(510)는 영상 신호의 시, 공간적인 상관성을 고려 하여 인코딩된 영상 신호를 가변 길이 디코딩, 역 DCT, 역양자화 및 움직임 보상 등의 복호화 기법을 이용하여 부호화 이전의 원래 영상들과 영상특성 파라미터로 복원하게 된다.
영상특성 파라미터 검출부(520)는 디코딩된 전송 스트림의 헤더 소정 위치에 포함된 정보들 중에서 영상특성 파라미터를 검출한다. 여기에서, 영상특성 파라미터는 패이로드에 포함되어 있는 영상이 2차원 영상인지 3차원 영상인지 여부를 포함한다. 나아가, 3차원 영상인 경우에 촬상 시점수 정보 또는 디스플레이 포맷 정보를 더 포함할 수 있다.
디스플레이부(530)는 영상특성 파라미터 검출부(520)로부터 전송된 영상특성 파라미터와 디코더부(510)로부터 디코딩된 영상 데이터를 입력받는다. 그리고, 디스플레이부(530)는 영상특성 파라미터에 따라서 디코딩된 영상 데이터를 화면상에 디스플레이한다.
보다 구체적으로, 영상특성 파라미터가 2차원 영상으로 나타난 경우에 디스플레이부(530)는 디코더부(510)로부터 입력되는 디코딩된 영상 데이터를 2차원으로 화면상에 디스플레이한다. 그리고, 영상특성 파라미터가 3차원 영상으로 나타난 경우에 디스플레이부(530)는 디코더부(510)로부터 입력되는 디코딩된 영상 데이터를 3차원으로 화면상에 디스플레이한다. 나아가, 디스플레이부(530)는 영상특성 파라미터가 3차원 영상이고 촬상 시점수 정보 또는 디스플레이 포맷 정보를 더 포함하는 것으로 나타난 경우에 상기 촬상 시점수 정보 또는 디스플레이 포맷 정보에 해당하도록 상기 디코딩된 영상 데이터를 소정 방식으로 변환하여 디스플레이한다.
여기에서, 디스플레이부(530)는 2D/3D 겸용 디스플레이 장치로 구성된다. 2D/3D 겸용 디스플레이 장치를 구현하는 방법은 다양할 수 있다. 보다 구체적인 방법으로는, 본 발명의 디스플레이부(530)는 대한민국 등록특허공보 등록번호 10-0440956(발명의 명칭: 2D/3D 겸용 디스플레이)에 기술되어 있는 바와 같이 이미지 형성 패널 디스플레이, 렌즈부와 상기 렌즈부에 대해 선택적으로 전원을 공급시킬 수 있는 전원 공급부를 포함하여 구현할 수 있다. 그리고, TFT-LCD 뒤쪽에 액정 셔터를 구비하고, 이를 이용하여 2차원 영상과 3차원 영상을 선택적으로 표시하는 2D/3D 겸용 디스플레이 장치가 있다. 그러나 상기에서 든 예들은 하나의 일 예로 든 것으로 본 발명의 디스플레이부(530)는 여기에 한정 되지 않고 다양한 방법으로 구현될 수 있다.
도 6은 본 발명의 바람직한 일 실시예에 따른 영상 송신방법의 흐름도이다. 도 6을 살펴보면, 먼저, 대상물체를 촬상하여 얻어진 영상 데이터를 입력받는다(S600). 여기에서, 영상 데이터는 하나의 대상물체를 한 대의 카메라로 촬상하여 얻어지는 영상 데이터 또는 하나의 대상물체를 다수 대의 카메라로 촬상하여 얻어지는 영상 데이터들일 수 있다.
다음으로, 상기 영상 데이터의 특성을 나타내도록 생성된 영상특성 파라미터를 입력받는다(S610). 여기에서, 영상특성 파라미터는 단계S600에서 입력받은 영상 데이터가 2차원 영상인지 3차원 영상인지 여부에 대한 정보를 포함한다. 나아가, 3차원 영상인 경우에 촬상 시점수 정보 또는 디스플레이 포맷 정보를 더 포함할 수 있다.
다음으로, 단계S600에서 입력받은 영상 데이터와 단계S610에서 입력받은 영상특성 파라미터를 부호화하여 전송 스트림 형태로 변환한다(S620). 여기에서, 영상 데이터들은 전송 스트림의 패이로드에 포함되도록 하고, 영상특성 파라미터는 전송 스트림의 헤더 소정 위치에 포함되도록 한다. 단계S620에서의 부호화는 MPEG 또는 기타 여러 가지 방법으로 부호화를 수행한다.
다음으로, 단계S620에서 인코딩된 전송 스트림을 디지털 방송 규격이나 그 밖의 여러가지 전송 규격에 따라 송신한다(S630).
도 6에서 미설명된 부분은 도 4를 참조하기로 한다.
도 7은 본 발명의 바람직한 일 실시예에 따른 영상 수신방법의 흐름도이다. 도 7을 살펴보면, 먼저, 안테나를 통하여 영상 데이터와 상기 영상 데이터에 대한 영상특성 파라미터를 포함하는 영상 신호를 수신한다(S700). 여기에서, 수신되는 영상 신호는 전송 스트림 형태의 영상 신호이다.
다음으로, 단계S700에서 수신된 영상 신호를 디코딩한다(S710).
다음으로, 단계S710에서 디코딩된 영상 신호를 입력받아 상기 영상 데이터에 대한 영상특성 파라미터를 검출한다(S720). 여기에서, 영상특성 파라미터는 패이로드에 있는 영상 데이터가 2차원 영상인지 3차원 영상인지 여부를 포함한다. 나아가, 3차원 영상인 경우에 촬상 시점수 정보 또는 디스플레이 포맷 정보를 더 포함할 수 있다.
*다음으로, 단계S720에서 검출된 영상특성 파라미터를 디스플레이 장치에 출 력한다(S730).
다음으로, 단계S730에서 전송된 영상특성 파라미터에 따라서 단계S710에서 디코딩된 영상 데이터를 화면상에 디스플레이한다(S750).
도 7에서 미설명된 부분은 도 5를 참조하기로 한다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD_ROM, 자기테이프, 플로피디스크 및 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드로 저장되고 실행될 수 있다.
이상에서와 같이 도면과 명세서에서 최적 실시예가 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.