KR101632076B1 - 우선순위에 따른 스테레오스코픽 영상 데이터의 전송 장치 및 방법 - Google Patents

Abstract

본 발명에서는 가변적인 채널 환경에 적응하여 스테레오스코픽의 재생 방법에 따라 서비스 품질을 향상시킬 수 있도록 하는 스테레오스코픽 영상 데이터의 전송 방법을 제안하고 있다. 이를 위해 모니터링한 채널 상황이 미리 정해진 기준보다 나빠질 경우 스테레오스코픽 영상의 송신측에서는 전송할 데이터를 우선순위에 따라 선택한다. 우선순위를 정하는 방법은 스테레오스코픽 영상의 재생 방법에 따라 다르며, 정해진 우선순위에 따라 데이터에 차등적으로 패러티를 추가하여 전송한다. 그러면 수신측에서는 수신된 영상을 사용된 코덱을 이용하여 복호화함으로써 좌/우 영상으로 분리한 후에 이를 재생한다.

스테레오스코픽, AVC, MVC, 비트스트림

Description

우선순위에 따른 스테레오스코픽 영상 데이터의 전송 장치 및 방법{APPARATUS AND METHOD FOR TRANSMITTING STEREOSCOPIC IMAGE DATA ACCORDING TO PRIORITY}

본 발명은 스테레오스코픽 영상에 관한 것으로, 특히 재생 방법을 고려하여 우선순위를 부여한 후 이를 기반으로 스테레오스코픽 영상 데이터를 전송하는 장치 및 방법에 관한 것이다.

스테레오스코픽 영상은 하나의 피사체를 촬영하여 각각 획득한 한쌍의 왼쪽과 오른쪽 영상을 말한다. 상기 스테레오스코픽 영상은 두 개의 비디오 시퀀스로 구성되며 그 영상을 부호화 및 복호화는 기존의 방법을 응용하여 처리할 수 있다. 이러한 방법에는 단일 시점 영상만을 부호화 및 복호화하는 방법을 이용하는 방법과 다시점 영상을 부호화 및 복호화하는 방법을 이용하는 방법이 존재한다.

첫째, 한 개의 단일 시점 비디오 코덱을 이용하는 경우를 살펴보면 다음과 같다. 그 예로서, 좌영상과 우영상을 하나의 합성영상으로 만든 후에 H.264/AVC (Advanced Video Codec)와 같은 단일 시점 비디오 코덱을 이용하여 부호화 및 복호화하는 방법이 있다. 따라서 송신측에서 부호화를 통해 좌/우 영상을 하나로 만들면 수신측에서는 그 하나의 영상을 좌/우 2개의 영상으로 다시 분리하는 과정이 필요하게 된다.

좌영상과 우영상을 이용한 합성 영상 만드는 방법 중 하나는 좌영상과 우영상의 픽셀들을 라인 단위로 교대로 배열하는 방법이다. 예를 들어, 도 1에 도시된 바와 같이 좌영상의 홀수 수직라인과 우영상의 짝수 수직라인을 이용하여 하나의 합성 영상을 만들 수 있다. 다르게는 좌영상의 짝수 수직라인, 우영상의 홀수 수직라인을 이용할 수도 있으며 수직라인 대신 수평라인을 이용해서 만들 수도 있다. 반대로, 합성영상을 통해 좌영상의 홀수 수직라인, 우영상의 짝수 수직 라인을 만들어 낼 수 있을 것이며, 좌영상에서의 짝수 수직라인과 우영상에서의 홀수 수직라인처럼 비어 있는 라인은 보간(interpolation)하여 생성해 낼 수 있다.

합성 영상을 만드는 방법 중 다른 하나는 도 2에서와 같이 좌영상과 우영상을 다운 샘플링하여 합성영상을 만드는 방법이다. 도 2에서는 다운 샘플링을 통해 좌/우 영상의 수평방향 크기를 반으로 만든 후 하나의 영상으로 합치는 것을 보여주고 있다. 이와 달리 좌영상과 우영상을 수평방향 대신 수직 방향으로 다운 샘플링 하여 만들 수도 있으며, 좌영상과 우영상이 합쳐지는 부분의 상관성을 높이기 위하여 다운샘플링을 수행하기 전 좌영상이나 우영상을 뒤집는 방법이 추가될 수도 있다. 반대로, 합성영상을 통해 수평방향이나 수직방향으로 크기가 준 좌영상과 우영상을 만든 후 업샘플링을 하여 본래 크기의 좌영상과 우영상을 만들어 낼 수 있다.

둘째, 다중 시점 코덱을 이용하는 경우를 살펴보면 다음과 같다. 다시 점(multiview) 영상의 경우에는 하나의 상황을 여러 각도에서 촬영하기 때문에 그 촬영한 영상들 간에는 상관도가 많이 존재한다. 이러한 다시점 영상의 효과적인 부호화 및 복호화를 위해 기존의 시간 방향 상관도 외에 같은 시간에 존재하는 영상간의 상관도를 이용하여 여러 시점을 동시에 부호화 및 복호화하는 코덱으로 다중 시점 비디오 코덱(MVC, Multi-view Video Codec)이 개발되었다. 이러한 다중 시점 비디오 코덱의 계층적 B 픽쳐를 사용한 시점-시간 간의 예측 구조를 나타내면 도 3과 같다. 여기서, 스테레오스코픽 영상은 다시점 비디오에서 좌영상과 우영상으로 2개의 시점이 있는 경우라고 생각할 수 있다.

셋째, 단일 시점 영상만을 부호화 및 복호화하는 방법 중의 다른 하나로 2개의 단일 시점 코덱을 이용하는 경우를 살펴보면 다음과 같다. 이 방법은 단일 시점 코덱은 한번에 하나의 시점만을 부호화 및 복호화할 수 있으므로 스테레오스코픽 영상을 부호화 및 복호화하기 위하여 단순히 2개의 단일 시점 비디오 코덱을 이용하는 것이다. 이때, 좌/우를 각각 부호화 및 복호화하기 때문에 좌/우 영상간의 상관도를 이용할 수 없다.

상기와 같은 방법으로 스테레오스코픽 영상을 부호화하게 되면, 디스플레이 장치로 전송이 가능하게 된다. 이때, 채널 상황의 변화에 따라 스테레오스코픽 비디오 서비스 품질이 달라지게 된다. 따라서 이러한 가변적인 채널 환경을 고려한 스테레오스코픽 영상 데이터의 전송 방법이 필요하다. 또한 전송을 위해 부호화할 때 서비스 품질의 향상을 위해 스테레오스코픽 영상의 재생 방법도 고려될 필요성이 있다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명한다. 도면에서 동일한 구성요소들에 대해서는 비록 다른 도면에 표시되더라도 가능한 한 동일한 참조번호 및 부호로 나타내고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명은 생략한다.

본 발명에서는 가변적인 채널 환경에 적응하여 스테레오스코픽의 재생 방법에 따라 서비스 품질을 향상시킬 수 있도록 하는 스테레오스코픽 영상 데이터의 전송 방법을 제안하고 있다. 이를 위해 모니터링한 채널 상황이 미리 정해진 기준보다 나빠질 경우 스테레오스코픽 영상의 송신측에서는 전송할 데이터를 우선순위에 따라 선택한다. 우선순위를 정하는 방법은 스테레오스코픽 영상의 재생 방법에 따라 다르며, 정해진 우선순위에 따라 데이터에 차등적으로 패러티를 추가하여 전송한다. 그러면 수신측에서는 수신된 영상을 사용된 코덱을 이용하여 복호화함으로써 좌/우 영상으로 분리한 후에 이를 재생한다. 이렇게 함으로써 송신측에서의 우선순위 부여 방법에 의해 전송 환경에 따른 손실율에 적응할 수 있으며, 수신측에서는 끊김없는 실시간 서비스 제공이 가능하게 된다.

이러한 실시간으로 부호화하여 전송하는 서비스에서는 채널에서 가용비트율(available bitrate)이 떨어졌다는 정보가 전달되면, 비디오 품질을 떨어뜨려서 비트율을 적응적으로 조절할 수 있다. 그러나, 이미 부호화된 비디오를 전송하는 서비스 예컨대, 스트리밍 서비스에서는 패킷에 우선순위를 매기고 우선순위가 낮은 것부터 필터링하여 전송하지 않음으로써 비트율을 조절할 수 있다. 멀티미디어 데이터에서 음성이나 오디오 데이터는 비디오보다 우선순위가 높으며, 비디오 데이터도 패킷별로 우선순위를 차별화할 수 있다. H.264/AVC의 데이터 분리나 NAL 헤더 등을 이용하여 패킷에 우선순위를 차별화할 수 있다.

이러한 우선순위에 따라 손실율을 차별적으로 적응하는 방법을 살펴보기 위해 도 4를 참조한다. 도 4는 리드 솔로몬(Reed Solomon) 코드를 이용하여 데이터의 우선순위에 따라 패킷 손실율을 차별적으로 적응하는 방법에 관한 것이다. 도 4와 같이 데이터를 중요도별로 P1, P2, P3에 배치하고 패러티를 계산한다. 패러티는 Reed Solomon 코드 방식으로 수평적으로 계산한다. 도 4에서와 같이 P1, P2, P3는 각각 RS[10,4], RS[10,7], RS[10,9]로 중요한 패킷에 대해서 더 많은 패러티 패킷을 붙여 인코딩한다. 세로 열을 하나씩 10개의 패킷으로 전송하면, 10개의 패킷중에 P1, P2, P3는 각각 6개, 3개, 1개의 패킷이 손실되더라도 복원이 가능하다. 이 방식은 한 패킷내에 중요도가 다른 데이터가 있는 경우에 적용할 수 있으나, 패킷별로 중요도가 다른 경우에는 적용하기가 어렵다.

이러한 방식으로 패킷이 전송되면 스테레오스코픽 영상에 대한 재생이 이루어진다. 이 스테레오스코픽 영상의 재생 방법의 예로서 도 5 및 도 6을 참조한다. 먼저, 도 5는 스테레오스코픽 영상만 재생할 수 있는 장치에서의 재생 방법을 예시하고 있다. 이러한 재생 방법에 따르면, 채널 환경이 나빠져 전송 대역폭이 충분하 지 않은 경우에는 좌/우 영상이 동시에 전송된 부분까지는 예컨대, 1~5번째까지는 동시에 재생하고, 그 이후의 영상은 앞 영상을 참조하여 만들어 재생할 수 있다. 다르게는 6, 7, 8 번째 재생을 할 차례지만 6 ~ 8번째에 해당하는 좌/우 영상이 전송되지 않은 경우에는 5번째 좌/우 영상을 이용한 재생화면을 계속 보여주게 된다. 한편, 모노 영상도 재생 가능한 장치에서는 도 6에서와 같이 좌/우 영상이 동시에 전송된 부분 즉, 1, 2번째에서는 스테레오스코픽 영상으로 재생하고 그렇지 않은 부분 즉, 3번째 이후에서는 모노 영상으로 재생하게 된다.

상기한 바와 같이 스테레오스코픽 영상은 좌/우 두 시점으로 이루어져 있으며 두 시점을 부호화/복호화하기 위하여 하나의 시점을 부호화/복호화하는 코덱을 사용할 수 있으며, 한번에 여러 시점을 부호화/복호화하는 코덱을 사용할 수도 있다. 또한 재생 방법으로는 스테레오스코픽 영상만 재생하는 방법과 스테레오스코픽 영상과 모노 영상을 같이 재생하는 방법이 존재한다. 도 4에서처럼 우선순위에 따라 다른 양의 패러티를 추가함으로써 손실율에 대응할 수 있으며 도 4의 방법을 이용하기 위해서는 우선순위가 같은 데이터를 모으는 것이 필요하다.

또한 실시간 서비스에서는 대역폭이 충분하지 않을 경우 보내야할 데이터는 폐기되거나 또는 버퍼링을 하면서 전송하게 된다. 그러나 실시간 서비스에서는 지연이 발생하는 버퍼링보다는 품질이 떨어지더라도 끊김없는 서비스가 중요할 것이다. 이를 위해서는 전체 데이터 중 일부분만을 선택하여 전송하고 수신측에서는 일부 데이터를 이용하여 품질이 낮더라도 끊김없는 전체의 화면을 복호화하는 것이 필요하다. 이때, 데이터가 폐기될 경우에는 지연을 발생시키지 않을 것이나 우선순 위가 높은 데이터가 폐기될 수 있으며 동일한 양의 데이터를 폐기할 경우 우선순위가 낮은 데이터를 폐기하는 경우에 비해 서비스 품질이 많이 떨어지게 될 것이다. 따라서 기본적으로 데이터의 일부 선택은 대역폭 조건 안에서 우선순위에 따라 이루어져야한다.

특히 스테레오스코픽 영상의 경우에는 어떠한 방법으로 재생하느냐에 따라 서비스 품질이 달라질 수 있으므로 재생 방법에 따라 데이터의 우선순위 부여 방법이 다르게 되어야 한다. 따라서 서비스 지연을 유발하지 않기 위해 데이터를 일부 폐기하는 상황일 경우에는 재생 방법에 따라 데이터에 대한 우선순위를 다르게 부여하여 전송할 데이터를 선택하는 방법이 필요하다.

이를 고려하여 재생 방법에 따라 우선순위를 다르게 정하고 그 우선순위에 따라 선택된 데이터를 전송하기 위한 스테레오스코픽 영상의 송신측 구성의 일예를 보이면 도 7과 같다.

도 7을 참조하면, 콘텐츠 저장부(111)는 부호화된 콘텐츠를 제공하는 역할을 한다. 이는 HDD와 같은 대용량 저장장치에 미리 저장 되어 있거나 실시간으로 부호화되는 비트스트림을 가져오는 것을 의미한다. 채널 모니터링부(112)는 전송 채널의 상태에 대한 모니터링을 수행한다. 이러한 모니터링을 통해 가용대역폭, 손실율 등의 채널 상태 정보를 얻을 수 있다. 추출기(113)는 모니터링 결과를 근거로 부호화 및 복호화에 사용되는 코덱 및 재생 방법에 따라 데이터에 우선순위를 부여하고 전송할 데이터를 선택하는 역할을 수행한다. 구체적으로 추출기(113)는 부호화된 비트스트림 구조에서의 프레임간의 참조 횟수를 확인한다. 이어, 추출기(113)는 확인된 참조 횟수를 근거로 참조 횟수가 같은 프레임끼리 묶은 후 참조 횟수가 높은 순으로 우선순위 그룹을 정한다. 이렇게 우선순위 그룹을 정함으로써 전송할 데이터가 선택되는 것이다.

패러티 생성기(114)는 우선순위에 따라 선택된 데이터에 차등적으로 패러티를 추가하는 역할을 한다. 이러한 차등적인 패러티의 추가는 전송 손실율에 적응할 수 있게 한다. 전송부(115)는 비트스트림 형태의 선택된 데이터와 추가된 패러티를 전송하는 역할을 한다. 이러한 구성을 통해 무선채널과 같이 채널 상황이 시간적으로 변하는 경우 측정된 가용비트율과 패킷손실율에 적응적으로 스테레오스코픽 영상 데이터를 전송할 수 있어 서비스 품질의 향상을 기대할 수 있게 된다.

한편, 스테레오스코픽 영상의 수신측 구성의 일예를 보이면 도 8과 같다.

도 8을 참조하면, 수신부(211)는 전송채널을 통해서 부호화된 스테레오스코픽 비트스트림을 수신하여 복호화부(212)로 전달한다. 그러면 복호화부(212)는 부호화된 비트스트림을 복호화하게 된다. 이때, 부호화된 영상의 분리는 영상 분리부(213)에서 수행된다. 즉, 영상 분리부(213)는 부호화된 영상을 좌/우 영상으로 분리한다. 이때, 사용된 코덱에 따라 부호화 즉시 좌/우 영상이 분리될 수 있으나 1개의 단일 시점 코덱을 사용하는 방법에서는 영상 분리부(213)에서의 영상 분리 과정을 통해 좌/우 영상으로 분리시키는 것이 필요하다. 재생부(214)는 스테레오스코픽 영상의 디스플레이 장치로서, 좌/우 영상을 재생하는 역할을 수행한다.

이하의 본 발명의 상세한 설명에 기술된 본 발명의 실시 예를 설명하면 다음과 같다. 본 발명의 실시 예들은 크게 1개의 단일 시점 코덱, 다중 시점 코덱, 2개 의 단일 시점 코덱 등 각각의 코덱을 이용하여 부호화할 때 비트율 적응성을 부여하는 과정과, 손실에 강인성을 부여하는 과정으로 이루어진다. 그 중에서도 1개의 단일 시점 코덱 및 다중 시점 코덱은 단일 비디오 시퀀스로 부호화 및 복호화하는데 이용되며, 2개의 단일 시점 코덱은 복수의 비디오 시퀀스로 부호화 및 복호화하는데 이용된다.

먼저, 본 발명에 따른 제1실시 예에 해당하는 1개의 단일 시점 코덱을 이용하여 부호화할 경우 비트율 적응성 부여 과정과 손실에 강인성을 부여하는 과정을 도 9 내지 도 11을 참조하여 설명하기로 한다.

도 9는 1개의 단일 시점 코덱을 사용했을 경우 참조 관계를 예시하고 있으며, 특히 비트스트림의 구성이 B, B, B, B, B, B, B, I 구조를 가질 때의 참조 관계를 나타내고 있다. 일단 좌/우 영상을 하나의 합성영상으로 만들고 하나의 단일 시점 코덱을 이용하여 GOP(Group of Pictures) 데이터 단위로 부호화했을 경우 도 9에서와 같은 참조 관계를 가지게 된다. 도 9에서 양쪽의 인트라 영상 I로부터 예측 영상 B(프레임 2)를 예측하고 즉, 맨 오른쪽의 인트라 영상 I(프레임 1)은 예측 영상 B(프레임 2)를 예측하는데 참조된다. 이러한 방식으로 프레임 2는 프레임 3, 프레임4를 예측하는데 참조되며, 프레임 3은 프레임 5, 6을 예측하는데 참조된다. 이와 같은 참조관계로 GOP 데이터를 부호화함으로써 비트스트림을 생성하게 된다. 각 프레임에서의 숫자는 비트스트림에서의 순서 즉, 부호화된 순서를 나타내며, 실제 재생순서는 좌측 프레임부터 우측 프레임으로의 순이다.

또한 도 10에서도 1개의 단일 시점 코덱을 사용했을 경우 참조 관계를 예시 하고 있으며, 특히 비트스트림의 구성이 B, B, B, P, B, B, B, P 구조를 가질 때의 참조 관계를 나타내고 있다. 도 9에서와 마찬가지로 프레임의 숫자는 비트스트림에서의 순서를 나타내며, 실제 재생순서도 좌측 프레임부터 우측 프레임으로의 순이다.

상기 도 9 및 도 10에서와 같이 각 프레임의 참조 관계에 따라서 비트스트림의 순서가 달라짐을 알 수 있다. 그러므로 비트스트림에 존재하는 프레임의 순서에 따라 우선순위를 결정지을 수 없다. 따라서 본 발명에서는 참조되는 횟수를 이용하여 우선순위를 결정한다. 구체적으로, 인코딩 구조를 확인하여 참조되는 횟수를 파악하고, 그 참조되는 횟수에 따라 우선순위를 결정하게 된다. 그리고나서 전송대역폭에 따라 전송할 데이터의 선택은 우선순위가 높은 프레임부터 선택되도록 한다. 예를 들어, 도 9에서 프레임1, 2는 각각 4번 참조되며, 프레임 3, 4는 각각 2번 참조되므로 우선순위 그룹을 만든다면 (1, 2), (3, 4), (5, 6, 7, 8) 순으로 그룹지어진다. 이와 같은 방식으로 도 10에서는 (1, 5), (2, 6), (3, 4, 7, 8) 순으로 우선순위 그룹이 결정될 수 있다. 여기서, 전체 GOP(Group of Pictures) 데이터가 아니라 일부 데이터만 선택하여 전송할 수 있는 이유는 코덱에서의 에러은닉(EC, Error Concealment) 기능을 활용할 수 있기 때문이다.

상기와 같이 전송을 위해 선택된 비트스트림은 우선순위가 높은 데이터부터 낮은 순으로 구성된다. 전송 중 데이터의 손실이 발생할 경우, 우선순위가 높은 데이터의 손실은 우선순위가 낮은 데이터의 손실에 비해 서비스의 품질을 많이 저하시키므로 우선순위가 높은 데이터를 좀 더 안전하게 보낼 수 있는 방법을 사용해야 한다. 이에 따라 제한된 대역폭과 주어진 채널 환경 하에서 선택된 비트스트림을 최적의 데이터율로 전송하기 위해 UEP(Unequal Error Protection) 방법을 사용한다.

여기서, 부호화된 한 프레임은 하나의 합성영상으로 좌/우 영상을 모두 포함하고 있으므로 좌/우 영상을 동시에 재생하는 방법인 도 5에서와 같은 재생 방법으로 재생이 이루어진다. 만일 각 영상 프레임을 여러 개의 슬라이스로 인코딩을 하면서 좌우가 슬라이스로 구분이 된다면, 이 경우에는 모노과 스테레오로 혼합방식으로 전송할 수 있다. 이때 중요한 부분만 스테레오로 하고 나머지는 모노로 하는 것도 고려할 수 있다.

이와 같이 1개의 단일 코덱을 사용한 경우에는 좌/우 영상이 모두 전송되기 때문에 재생 방법에 따라 우선순위 부여 방법이 달라지지 않는다. 즉, 상기와 같은 방법으로 참조 횟수에 따라 우선순위 그룹을 정하면 되는 것이다. 이때, 우선순위가 높은 데이터를 보다 안전하게 보내기 위해 일단 우선순위가 같은 데이터끼리 모아야 한다. 그 후 모인 데이터의 우선순위에 따라 패러티를 다르게 추가함으로써 손실에 대비할 수 있게 된다.

이러한 패러티의 차등적인 추가 방법을 도 11을 참조하여 설명하기로 한다. 도 11에서는 본 발명의 실시예에 따라 우선순위 그룹에 따른 차별적 패러티 생성을 예시하고 있다. 예를 들어, 도 11에서는 리드 솔로몬 코드를 이용하여 데이터의 우선순위에 따라 차별적인 패러티 생성을 위해 (1, 2), (3, 4), (5, 6, 7, 8) 순의 우선순위 그룹을 도 4에서와 같이 중요도별로 P1, P2, P3에 배치하고 패러티를 계산한다. 도 11에서는 우선순위가 높은 P1에는 (1, 2)의 2개 데이터에 7개의 패러티를 추가하며, P2에는 (3, 4)의 2개 데이터에 5개의 패러티를 추가하며, P3에는 (5, 6, 7, 8)의 4 데이터에 4개의 패러티를 추가한 경우를 예시하고 있다. 이러한 패러티 추가를 통해 P1은 패러티의 개수가 7이므로 전체 중 7 개까지 손실이 나도 복원이 가능하며 P2는 5개까지, P3은 4개까지 복원이 가능하게 되는 것이다.

한편, 본 발명에 따른 제2실시 예에 해당하는 다중 시점 코덱을 이용하여 부호화할 경우 비트율 적응성 부여 과정과 손실에 강인성을 부여하는 과정을 도 12 내지 도 14를 참조하여 설명하기로 한다.

도 12에서는 다중 시점 코덱을 이용하여 스테레오스코픽 영상을 부호화했을 때의 참조관계를 나타낸다. 도 12에서 각 프레임내의 숫자는 부호화되는 순서를 나타내고 있으며, R은 우영상이며, L은 좌영상을 나타낸다. 이때, 다중 시점 코덱은 도 12에 도시된 바와 같이 시간축에서의 참조 외에 동일 시간에서의 시점간 참조를 수행한다. 이와 같이 다중 시점 코덱은 시점내에서 시간축에서의 참조 외에 시점간 참조관계가 존재하므로 수신측에서는 손실시 이러한 참조관계를 이용하여 복호화할 수 있다.

따라서 수신측에서 스테레오스코픽 영상으로만 재생하는 경우를 고려하여 송신측에서 데이터를 선택하는 경우는 다음과 같다. 스테레오스코픽 영상에서 좌/우 영상의 중요도가 같으므로 시간적으로 우선순위가 높은 프레임부터 먼저 선택하도록 한다. 이에 따라 도 13에서와 같이 프레임 1, 2를 추출한 후 프레임 3, 4를 추출하고, 이어 프레임 5, 6 순으로 전송할 데이터를 선택한다. 그리고나서 데이터의 전송은 도 4와 같이 시간적으로 같은 위치에 있는 좌/우 영상을 하나의 패킷으로 만들어 전송하도록 한다.

이와 달리 스테레오스코픽 영상과 모노영상을 재생하는 경우를 고려하여 송신측에서 데이터를 선택하는 경우는 다음과 같다. 이러한 재생을 위해 같은 시간축에 있는 좌/우 영상을 모두 선택하는 것이 아니라 한 시점을 모두 선택한 후에 다른 시점을 추가하는 방법이다. 도 14에서처럼 우영상을 먼저 모두 선택하고 대역폭에 따라 좌영상 예컨대, 프레임 2, 4를 추가하는 것이다. 만일 대역폭이 충분하지 못하여 우영상을 모두 선택하지 못하였을 경우에는 우영상에서의 중요도에 따라 좌영상을 선택한다. 도 14에서 추가적으로 좌영상의 프레임을 선택한다면 (6, 8) (10, 12, 14, 16) 순으로 추가될 수 있다.

이와 같이 재생 방법 및 참조 횟수에 따라 우선순위 그룹을 결정하고, 이어 손실에 강인성을 부여하기 위해 그 결정된 우선순위 그룹에 따라 차등적으로 패러티를 생성하게 된다.

재생 방법이 스테레오스코픽 영상으로만 재생하는 방법일 경우에는 좌/우 영상의 중요도가 같으므로 시간축으로 같은 위치에 존재하는 프레임의 우선순위는 동일하다. 이에 따라 시간축으로의 참조 횟수만 고려하여 참조 횟수가 높은 순으로 상기 참조 횟수가 같으면서 시간적으로 같은 위치에 있는 좌/우 영상에 해당하는 프레임을 묶음으로써 우선순위 그룹을 결정하게 된다. 예컨대, 참조횟수가 4로서 참조횟수가 가장 많은 프레임1, 프레임3에 대해 시간축으로 같은 위치에 존재하는 프레임2, 프레임4가 함께 선택되어 (1, 2, 3, 4) 그룹이 만들어진다. 이어, 다음으로 참조횟수가 많은 프레임5, 프레임7에 대해 각각의 쌍을 이루는 프레임6, 프레임8이 묶여져 (5, 6, 7, 8) 그룹이 만들어진다. 이어, 다음으로 참조횟수가 같은 프레임끼리 묶은 프레임9, 프레임11, 프레임13, 프레임15에 대해 각각의 쌍을 이루는 프레임10, 프레임12, 프레임14, 프레임16이 묶여져 (9, 10, 11, 12, 13, 14, 15, 16)그룹이 만들어진다. 이와 같은 방식을 통해 (1, 2, 3, 4), (5, 6, 7, 8), (9, 10, 11, 12, 13, 14, 15, 16)의 그룹으로 P1, P2, P3를 결정한다.

이와 달리 재생 방법이 스테레오스코픽 영상과 모노 영상으로 재생하는 방법일 경우에는 시간축으로의 참조 외에 시점 간의 참조관계가 존재하므로 시간축으로의 참조 및 시점간의 참조 관계를 근거로 프레임간의 참조 횟수를 확인한 후 참조 횟수에 따라 우선순위 그룹을 결정짓는다. 예컨대, 참조횟수가 4인 (1, 3), 참조횟수가 3인(2, 4, 5, 7), 참조횟수가 2인 (6, 8), 참조횟수가 1인 (9, 11, 13, 15), 마지막으로 참조횟수가 없는 (10, 12, 14, 16)의 순으로 참조횟수가 같은 프레임끼리 묶은 후 참조 횟수가 높은 순으로 우선순위 그룹을 결정하게 된다.

한편, 본 발명에 따른 제3실시 예에 해당하는 2개의 단일 시점 코덱을 이용하여 부호화할 경우 비트율 적응성 부여 과정과 손실에 강인성을 부여하는 과정을 도 15 및 도 16을 참조하여 설명하기로 한다.

도 15에서는 2개의 단일 시점 코덱 사용 시의 부호화된 비트스트림을 예시하고 있다. 도 15에 도시된 바와 같이 각 시간마다 좌/우 2개의 영상이 존재하는데, 다중 시점 코덱에서는 시점간 참조관계가 발생하나 2개의 단일 시점 코덱을 사용할 경우에는 시점간 참조관계가 없으며 시점내에서 시간축의 참조관계만 존재한다.

따라서 수신측에서 스테레오스코픽 영상으로만 재생하는 경우를 고려하여 송신측에서 데이터를 선택하는 경우는 다음과 같다. 2개의 단일 시점 코덱을 사용시에는 두 시점을 하나의 영상으로 만들고 하나의 단일 시점 코덱을 사용했을 때와 같이 인코딩 구조에 따라 다른 참조관계를 가진다. 이에 따라 각 시점별로 중요도에 따라 그룹화해주고 같은 중요도를 가지는 각 시점의 그룹들을 각각 하나로 통합하여 우선순위 그룹을 만든다. 다시 말하면, 각 시점별로 참조 횟수가 높은 순으로 상기 참조 횟수가 같은 프레임끼리 묶음으로써 그룹화한 후, 한 시점 그룹 및 같은 시간축에 위치한 다른 시점 그룹을 각각 하나의 그룹으로 만들어서 우선순위 그룹을 결정하는 것이다.

예컨대, 도 16에서와 같은 인코딩 구조에서는 각 시점별로 즉, 우영상 시점에서는 (R1, R2), (R3, R4), (R5, R6, R7, R8)로 그룹들이 만들어지며, 좌영상 시점에서는 (L1, L2), (L3, L4), (L5, L6, L7, L8)로 그룹들이 만들어진다. 각 시점의 그룹들은 하나의 그룹으로 만들어지는데, 이에 따라 (R1, L1, R2, L2), (R3, L3, R4, L4), (R5, L5, R6, L6, R7, L7, R8, L8)로 우선순위 그룹이 만들어지게 된다.

만일 수신측에서 스테레오스코픽 영상으로만 재생을 한다면 한쪽 시점은 좋은 화질로 재생되고 다른 한쪽 시점은 안좋은 화질로 재생되기보다는 동일한 화질로 재생되는 것이 필요하다. 그러므로 두 시점의 인코딩 구조를 동일하게 하는 것이 필요하며 하나의 시점에 대한 중요도를 구분하게 되면 다른 시점의 중요도도 동일하게 적용된다.

이와 달리 스테레오스코픽 영상과 모노영상을 재생하는 경우를 고려하여 송신측에서 데이터를 선택하는 경우는 다음과 같다. 우선, 송신측에서는 모노로 재생할 시점을 선택하고 대역폭에 따라 중요한 데이터를 추가한다. 만일 모노로 재생할 수 있는 대역폭이 충분한 상태라면 송신측에서는 그 나머지 대역폭에는 다른 시점의 높은 우선순위의 데이터를 추가하게 된다. 이렇게 함으로써 수신측에서는 추가적으로 선택된 데이터에 대해서는 스테레오스코픽 재생을 할 수 있게 된다.

도 15에서와 같이 부호화된 비트스트림을 B, B, B, B, B, B, B, I의 구조로 인코딩했을 경우 실제 비트스트림의 위치 및 참조관계를 나타내면 도 16에서와 같다. 도 16을 참조하면, 다중 시점 코덱에서의 시점간 참조관계가 존재하는 것을 제외하고는 그 다중 시점 코덱에서의 시간축의 참조관계와 2개의 단일 시점 코덱에서의 시간축의 참조관계가 동일하다는 것을 알 수 있다.

따라서 수신측에서 스테레오스코픽 영상으로만 재생하는 경우를 고려하여 송신측에서 데이터를 선택하는 경우는 다음과 같다. 좌/우 영상의 중요도가 같으므로 시간축으로 같은 위치에 존재하는 프레임의 우선순위는 동일하다. 예컨대, 도 16에서와 같은 인코딩 구조에서는 (R1, L1, R2, L2), (R3, L3, R4, L4), (R5, L5, R6, L6, R7, L7, R8, L8)의 그룹으로 P1, P2, P3를 결정한다.

이와 달리 스테레오스코픽 영상과 모노영상을 재생하는 경우를 고려하여 송신측에서 데이터를 선택하는 경우는 다음과 같다. 2개의 단일 시점 코덱을 사용하는 경우는 다중 시점 코덱에서와 유사하나 시점간 참조관계가 존재하지 않으므로 참조횟수가 2인 P1, 참조횟수가 1인 P2 그리고 참조횟수가 0인 P3으로 그룹화할 수 있다. 그러나 모노 재생을 모두 만족한 상태에서 스테레오스코픽 재생을 하므로 모노 재생 시점으로 선택된 시점은 그렇지 않은 시점에 비해 무조건 중요도가 우선한다.

예컨대, 도 16에서 참조횟수가 2인 P1은 (R1, R2, L1, L2), 참조횟수가 1인 (R3, R4, L3, L4), 마지막으로 참조횟수가 없는 (R5, R6, R7, R8, L5, L6, L7, L8)로 그룹화할 수 있다. 그러나 모노로의 재생 화면을 우영상을 기준으로 정하였다고 하면 (L1, L2)의 우선순위는 (R3, R4) 보다 낮은 우선순위를 가진다. 즉, 모노 재생으로 선택된 우영상의 우선순위 (R1, R2), (R3, R4), (R5, R6, R7, R8) 다음에 그렇지 않은 시점의 우선순위 (L1, L2), (L3, L4), (L5, L6, L7, L8) 순서를 가지는 것이다. 이와 같이 모노로 재생할 시점의 프레임을 선택한 후 대역폭에 따라 다른 시점에서 참조 횟수가 높은 프레임을 추가함으로써 우선순위 그룹을 정하는 것이다.

이하, 본 발명을 적용함으로써 실제 이러한 서비스 품질의 향상이 얼마만큼 이루어졌는지를 알아보기 위해 각각의 코덱을 사용했을 때의 손실 프레임 수를 측정해보면 다음과 같다.

먼저, 도 17에서는 GOP가 8프레임으로 구성되면서 각 프레임들의 참조관계가 도 9 및 도 10에서와 같은 참조 관계를 가질 때 각 프레임이 손실되었을 때의 PCI(Play Continuity Index) 계수를 나타내고 있다.

도 17의 결과에서처럼 두 경우처럼 1번 프레임이 손실되면 PCI는 0으로 나타나며, 이러한 경우에는 나머지 데이터가 모두 존재하더라도 1번 프레임이 존재하지 않기 때문에 GOP 전체에 대한 복호화를 할 수 없으므로 한 GOP 전체를 재생할 수 없다. 도 9에서와 같은 참조 구조에서는 프레임 2는 프레임 1을 참조하고 프레임 3, 4는 프레임 2를 참조하기 때문에 프레임 2가 손실될 경우에는 프레임 1까지는 복호화가 되어 재생이 되나 그 외의 프레임 즉, 프레임 3, 4는 복호화할 수 없으므로 재생을 할 수 없다. 또한, 프레임 5, 6, 7, 8의 경우에는 손실이 되더라도 참조하는 프레임이 존재하지 않으므로 그 프레임 5, 6, 7, 8 중 손실된 프레임만 복호를 할 수 없다.

또한 도 10에서는 2번 프레임이 손실될 경우 프레임 2와 그 프레임 2를 참조하는 프레임 3, 4의 복호화를 수행할 수 없다. 같은 방식으로 프레임 3, 4, 7, 8이 손실될 경우 참조하는 프레임이 존재하지 않으므로 그 중에 손실된 프레임만 복호 할 수 없다. 즉, 두 결과를 통해 참조가 많이 되는 우선순위가 높은 프레임일수록 손실시 미치는 영향이 큼을 알 수 있다. 그러므로 손실이 발생하는 상황에서 패러티를 추가하여 손실을 극복할 때 손실의 영향이 큰, 우선순위가 높은 프레임을 보다 잘 복원하도록 하는 것이 필요하므로 본 발명에서와 같은 방법을 제안하는 것이다.

한편, 도 18에서는 다중 시점 코덱을 이용하여 부호화한 비트스트림에 대하여 전체 GOP가 차지하는 대역폭에 대비하여 대역폭을 다르게 했을 때 재생 방법 차이에 따른 3D 재생 지수를 나타낸다. 한 GOP를 8 프레임으로 했을 때, 8 프레임 모두 스테레오스코픽 영상으로 재생되면 3D 재생 지수는 100%이고 4 프레임만 스테레오스코픽으로 재생된다면 3D 재생 지수는 50%이다. 스테레오스코픽 영상으로만 재 생할 경우 대역폭이 낮아 일부의 화면만 재생하게 될 때에도 항상 스테레오스코픽 영상으로 재생하므로 3D 재생 지수 값을 지닌다. 그러나 약 30% 대역폭에서의 3D 재생지수 값 12.5%는 GOP의 8프레임 중 한 프레임만 재생이 되고 나머지는 재생이 되지 않는 끊긴 화면이라는 것을 나타낸다. 이에 반해 스테레오 스코픽 영상과 모노 영상을 같이 재생할 시에는 대역폭이 낮을 경우에는 모노 영상이라도 끊기지 않고 재생을 하며 대역폭이 높아졌을 때에는 똑같은 3D 재생지수를 지니면서 끊김없는 재생을 하는 것이다.

도 19는 도 9의 참조관계 구조 및 각 프레임의 데이터의 크기가 동일하다는 가정하에 대역폭에 따라 손실되는 프레임 수를 나타내고 있다. 만일 8개의 프레임으로 구성된 GOP에서 하나의 프레임만을 전송할 수 있는 대역폭이 된다면 나머지 7개의 프레임은 손실이 발생하게 될 것이다. 그러므로 각 프레임의 손실 확률은 7/8이라 할 수 있다. 또한 각 프레임의 손실에 따라 손실 영향을 받는 프레임 수가 다르므로 이를 평균적으로 산출할 수 있다.

도 20은 2개의 단일 시점 코덱 사용시의 대역폭에 따른 손실 프레임 수를 보여준다. 각 시점별 한 GOP가 8개의 프레임으로 구성되었다고 할 때 전체적으로 16개의 프레임이 존재하며 각 시점은 독립적으로 손실이 발생할 수 있다.

도 21은 모노와 스테레오스코픽 영상을 동시에 재생할 경우 대역폭에 따른 손실 프레임 수를 나타내며, 도 22는 스테레오스코픽 영상만을 재생할 경우의 대역폭에 따른 손실 프레임 수를 나타낸다. 다중 시점 코덱은 시점간 참조관계를 가지고 있으며 재생 방법에 따라 전송할 프레임 선택 순서가 다르므로 대역폭에 따라 손실 프레임 수가 다르게 나타난다.

상기한 바와 같이 본 발명에서는 채널 상황을 고려하여 재생방법에 따라 전송할 데이터의 우선순위를 결정하고, 그 결정된 우선순위에 따라 차등적인 패러티 생성 후 이들을 전송함으로써 전송상에서의 손실에 대응할 수 있어 서비스 품질의 향상됨을 알 수 있다.

도 1은 일반적인 좌영상과 우영상을 이용한 합성 영상 만드는 방법의 일예를 나타낸 도면,

도 2는 일반적인 좌영상과 우영상을 이용한 합성 영상 만드는 방법의 다른 예를 나타낸 도면,

도 3은 종래의 계층적 B 픽쳐를 사용한 뷰-시간 간 예측 구조를 나타낸 도면,

도 4는 패킷내 중요한 데이터는 앞에 위치시킨 중요도별 손실 복원율 차별화 방법을 나타낸 도면,

도 5는 스테레오스코픽 영상만 재생하는 방법을 나타낸 도면,

도 6은 스테레오스코픽 영상과 모노 영상을 재생하는 방법을 나타낸 도면,

도 7은 본 발명의 실시예에 따른 스테레오스코픽 영상의 송신측 구성도,

도 8은 본 발명의 실시예에 따른 스테레오스코픽 영상의 수신측 구성도,

도 9는 본 발명의 제1실시예에 따른 1개 단일 시점 코덱 사용시의 참조관계의 일예를 나타낸 도면,

도 10은 본 발명의 제1실시예에 따른 1개 단일 시점 코덱 사용시의 참조관계의 다른 예를 나타낸 도면,

도 11은 본 발명에 따른 우선순위 그룹에 따른 차별적 패러티 생성을 나타낸 도면,

도 12는 본 발명의 제2실시예에 따른 다중 시점 코덱의 참조관계를 나타낸 도면,

도 13은 본 발명의 제2실시예에 따른 스테레오스코픽 영상만 재생시 비트율 적응 방법을 나타낸 도면,

도 14는 본 발명의 제2실시예에 따른 스테레오스코픽 영상과 모노영상을 재생시 비트율 적응 방법을 나타낸 도면,

도 15는 본 발명의 제3실시예에 따른 2개의 단일 시점 코덱 사용시의 비트스트림을 나타낸 도면,

도 16은 본 발명의 제3실시예에 따른 2개의 단일 시점 코덱 사용시의 참조관계를 나타낸 도면,

도 17은 상기 도 9 및 10에서의 각 프레임이 손실 되었을 때의 PCI 계수를 나타낸 도면,

도 18은 다중시점 코덱 사용시 대역폭에 따른 3D 재생지수를 나타낸 도면,

도 19는 1개의 단일 시점 코덱 사용시 대역폭에 따른 손실 프레임 수를 나타낸 도면,

도 20은 2개의 단일 시점 코덱 사용시 대역폭에 따른 손실 프레임 수를 나타낸 도면,

도 21은 다중 시점 코덱 사용시 대역폭에 따른 손실 프레임 수를 나타낸 도면,

도 22은 다중 시점 코덱 사용시 대역폭에 따른 손실 프레임 수를 나타낸 도면.

Claims (14)

1. 좌 영상 데이터와 우 영상 데이터로 구성된 다 시점 영상 데이터를 전송하는 방법에 있어서,

   상기 다 시점 영상 데이터의 비트 스트림을 구성하는 복수의 프레임을 대상으로 시점과 시간 축에 의해 정의된 참조 관계를 고려하여 상기 복수의 프레임 각각에 대한 참조 횟수를 결정하는 과정과,

   상기 결정된 참조 횟수를 고려한 프레임끼리의 묶음에 의해 프레임 그룹을 구성하는 과정과,

   상기 다 시점 영상 데이터를 전송할 채널 환경에서 전송 가능한 프레임 수를 결정하는 과정과,

   상기 복수의 프레임으로부터 상기 구성한 프레임 그룹의 우선순위에 의해 상기 전송 가능한 프레임 수에 해당하는 프레임들을 선택하는 과정과,

   상기 선택한 프레임들과, 상기 선택한 프레임들 각각이 속하는 프레임 그룹의 우선순위에 대응하여 설정된 개수의 패러티 패킷을 전송하는 과정을 포함하며,

   여기서, 상기 프레임 그룹의 우선순위는 상기 결정된 참조 횟수에 비례하며, 상기 프레임 그룹을 구성하는 프레임들은 같은 참조 횟수를 가짐을 특징으로 하는 다 시점 영상 데이터 전송방법.
2. 제1항에 있어서,

   상기 다 시점 영상 데이터의 비트 스트림은 하나의 단일 시점 코덱, 다중 시점 코덱, 두 개의 단일 시점 코덱 중 어느 하나에 의해 생성됨을 특징으로 하는 다 시점 영상 데이터 전송방법.
3. 삭제
4. 제1항에 있어서,

   다 시점 영상 데이터에서 동일 시간에 위치하는 좌 영상 프레임과 우 영상 프레임은 하나의 프레임 그룹으로 구성됨을 특징으로 하는 다 시점 영상 데이터 전송방법.
5. 제4항에 있어서,

   상기 동일 시간에 위치하는 좌 영상 프레임과 우 영상 프레임 중 어느 하나에 대해 결정된 참조 횟수에 의해 프레임 그룹을 지정하고, 상기 지정한 프레임 그룹에 상기 동일 시간에 위치하는 좌 영상 프레임과 우 영상 프레임을 같이 추가함을 특징으로 하는 다 시점 영상 데이터 전송방법.
6. 제1항에 있어서,

   상기 참조 관계는 하나의 프레임을 예측하기 위해 고려할 적어도 하나의 다른 프레임을 정의함을 특징으로 하는 다 시점 영상 데이터 전송방법.
7. 제1항에 있어서,

   우선순위가 낮은 프레임 그룹보다 우선순위가 높은 프레임 그룹에 상대적으로 많은 개수의 패러티 패킷이 설정됨을 특징으로 하는 다 시점 영상 데이터 전송방법.
8. 좌 영상 데이터와 우 영상 데이터로 구성된 다 시점 영상 데이터를 전송하는 장치에 있어서,

   상기 다 시점 영상 데이터를 전송할 채널 환경을 모니터링 하는 채널 모니터링부와,

   상기 다 시점 영상 데이터의 비트 스트림을 구성하는 복수의 프레임을 대상으로 시점과 시간 축에 의해 정의된 참조 관계를 고려하여 상기 복수의 프레임 각각에 대한 참조 횟수를 결정하고, 상기 결정된 참조 횟수를 고려한 프레임끼리의 묶음에 의해 프레임 그룹을 구성하고, 상기 채널 모니터링부에 의해 모니터링된 채널 환경에서 전송 가능한 프레임 수를 결정하며, 상기 복수의 프레임으로부터 상기 구성한 프레임 그룹의 우선순위에 의해 상기 전송 가능한 프레임 수에 해당하는 프레임들을 선택하는 추출기와,

   상기 선택한 프레임들과, 상기 선택한 프레임들 각각이 속하는 프레임 그룹의 우선순위에 대응하여 설정된 개수의 패러티 패킷을 전송하는 전송부와,

   상기 패러티 패킷을 생성하는 패러티 생성기를 포함하며,

   여기서, 상기 프레임 그룹의 우선순위는 상기 결정된 참조 횟수에 비례하며, 상기 프레임 그룹을 구성하는 프레임들은 같은 참조 횟수를 가짐을 특징으로 하는 다 시점 영상 데이터 전송장치.
9. 제8항에 있어서, 상기 추출기는,

   하나의 단일 시점 코덱, 다중 시점 코덱, 두 개의 단일 시점 코덱 중 어느 하나에 의해 상기 다 시점 영상 데이터의 비트 스트림을 생성함을 특징으로 하는 다 시점 영상 데이터 전송장치.
10. 삭제
11. 제8항에 있어서, 상기 추출기는,

    다 시점 영상 데이터에서 동일 시간에 위치하는 좌 영상 프레임과 우 영상 프레임은 하나의 프레임 그룹으로 구성됨을 특징으로 하는 다 시점 영상 데이터 전송장치.
12. 제11항에 있어서, 상기 추출기는,

    상기 동일 시간에 위치하는 좌 영상 프레임과 우 영상 프레임 중 어느 하나에 대해 결정된 참조 횟수에 의해 프레임 그룹을 지정하고, 상기 지정한 프레임 그룹에 상기 동일 시간에 위치하는 좌 영상 프레임과 우 영상 프레임을 같이 추가함을 특징으로 하는 다 시점 영상 데이터 전송장치.
13. 제8항에 있어서,

    상기 참조 관계는 하나의 프레임을 예측하기 위해 고려할 적어도 하나의 다른 프레임을 정의함을 특징으로 하는 다 시점 영상 데이터 전송장치.
14. 제8항에 있어서, 상기 전송부는,

    우선순위가 낮은 프레임 그룹보다 우선순위가 높은 프레임 그룹에 상대적으로 많은 개수의 패러티 패킷를 추가함을 특징으로 하는 다 시점 영상 데이터 전송장치.

Images