KR101072626B1 - Bit rate control method and apparatus and distributed video coding method and equipment using the bit rate control method and apparatus - Google Patents

Abstract

분산 비디오 코딩(Distributed Video Coding, DVC) 방법과 장치에 관하여 개시한다. 일 실시예에 따른 분산 비디오 코딩방법에서는 전송 채널의 상황을 지시하는 다른 계층에서의 채널 상황 정보에 기초하여 DVC 인코더에서의 전송 비트율을 제어한다. 채널 상황 정보는 패킷 손실율(Packet Loss Rate, PLR) 및/또는 가용비트율(available bitrate)일 수 있다. 예를 들어, 가용비트율이 이전의 가용비트율보다 줄어들었거나, 패킷 손실율이 이전의 패킷 손실율보다 증가한 것으로 판정되면, DVC 인코더에서는 양자화 파라미터(QP) 값을 증가시켜서 부호화를 수행할 수 있다. 또는, 패킷 손실율 및/또는 가용비트율을 이용하여 DVC 디코더에서 수신되는 비트율을 계산하고, 디코딩에 필요한 패러티의 비율과 DVC 인코더의 양자화부에서의 소스의 크기를 곱하여 예측 비트율을 구한 다음, 가용 비트율과 예측 비트율을 비교하여, 예측 비트율이 가용 비트율보다 클 경우에는 양자화부에서의 양자화 파라미터(QP)의 값을 증가시킬 수 있다.

Disclosed are a distributed video coding (DVC) method and apparatus. In the distributed video coding method according to an embodiment, the transmission bit rate in the DVC encoder is controlled based on channel condition information in another layer indicating a condition of a transport channel. The channel state information may be a packet loss rate (PLR) and / or an available bit rate. For example, if it is determined that the available bit rate is lower than the previous available bit rate or the packet loss rate is increased than the previous packet loss rate, the DVC encoder may perform encoding by increasing the quantization parameter (QP) value. Alternatively, the bit rate received by the DVC decoder is calculated using the packet loss rate and / or the available bit rate, and the prediction bit rate is obtained by multiplying the ratio of the parity required for decoding by the size of the source in the quantization unit of the DVC encoder. By comparing the predicted bit rates, when the predicted bit rate is larger than the available bit rate, the value of the quantization parameter QP in the quantization unit may be increased.

Description

비트율 제어 방법과 장치 및 이를 이용한 분산 비디오 코딩 방법과 장치{Bit rate control method and apparatus and distributed video coding method and equipment using the bit rate control method and apparatus}Bit rate control method and apparatus and distributed video coding method and apparatus {bit rate control method and apparatus and distributed video coding method and equipment using the bit rate control method and apparatus}

본 발명은 분산 비디오 코딩(Distributed Video Coding, DVC)에 관한 것으로, 보다 구체적으로 분산 비디오 코딩(DVC)에서 비트율을 제어하는 방법과 장치에 관한 것이다.The present invention relates to distributed video coding (DVC), and more particularly, to a method and apparatus for controlling a bit rate in distributed video coding (DVC).

정보통신(IT)기술의 급속한 발전으로 디지털 콘텐츠의 제작 및 배포가 광범위하게 전개되고 있다. 특히, 최근에는 디지털 콘텐츠에 대한 소비자들의 다양한 요구에 맞춰서 사용자 제작 콘텐츠(User Creative Contents, UCC)의 확산과 함께 이와 관련된 시장의 규모가 급증하고 있다. 그리고 종래의 방송망이 아이피티브(Internet Protocol Television, IPTV)의 발달로 인터넷망에 통합되고 있어서, 장래에는 방송에서도 UCC의 저변이 확대될 것으로 예상되고 있다. With the rapid development of information and communication (IT) technology, the production and distribution of digital content is being widely deployed. In particular, in recent years, with the proliferation of user creative contents (UCC) in response to various demands of consumers for digital contents, the size of the related market is rapidly increasing. In addition, since the conventional broadcasting network is being integrated into the Internet network due to the development of Internet Protocol Television (IPTV), it is expected that the base of UCC will be expanded in the future.

이러한 UCC는 비전문가인 일반인들이 콘텐츠를 제작하는 것으로서, 고가의 제작 장비 대신에 상대적으로 저가인 모바일 캠코더 등을 이용하여 제작되는 것이 일반적이다. 하지만, 모바일 기기는 사용 가능한 전원이 제한될 뿐만 아니라 허용되는 연산 능력에 한계가 있다. 따라서 모바일 기기 등을 사용하여 제작된 UCC를 효율적으로 전송하기 위해서는, 높은 압축 성능을 보이지만 상대적으로 복잡도가 낮은 부호화 기술이 필요하다.The UCC is produced by non-expert members of the public, and is generally produced using a relatively low-cost mobile camcorder instead of expensive production equipment. However, mobile devices not only have limited power sources available but also have limited computational power. Accordingly, in order to efficiently transmit a UCC produced using a mobile device, a coding technique that exhibits high compression performance but has a relatively low complexity is required.

그런데, MPEG-1, MPEG-2, MPEG-4와 H.26x와 같은 기존의 동영상 압축 기술은 인코더가 디코더에 비해 복잡도가 상당히 높다. 이것은 기존의 동영상 압축 기술에서는 시간적 중복성(redundancy) 등과 같은 중복성을 인코더에서 제거하기 때문이다. 예를 들어, 기존의 동영상 압축 기술에서는 이웃한 프레임들 간에 존재하는 상관도를 이용하는 움직임 예측(Motion Estimation, ME)과 움직임 보상(Motion Compensation, MC)을 통하여 시간적 중복성을 제거하는데, 이에 소요되는 연산량이 상당히 많기 때문에 인코더의 복잡도가 높다. 이러한 기존의 동영상 압축 기술은 인코더에 허용되는 연산 능력과 전력 소모량이 극히 제한적인 센서 네트워크와 같은 응용 환경에서는 사용할 수 없다.However, existing video compression techniques such as MPEG-1, MPEG-2, MPEG-4, and H.26x have a much higher complexity than encoders. This is because the existing video compression technology removes redundancy, such as temporal redundancy, from the encoder. For example, in the existing video compression technology, the amount of computation required to remove temporal redundancy through motion estimation (ME) and motion compensation (MC) using the correlation between neighboring frames. The complexity of the encoder is high because of this much. These traditional video compression techniques cannot be used in application environments such as sensor networks where the computational power and power consumption allowed for the encoder are extremely limited.

분산 비디오 코딩(DVC)은 바로 이러한 인코더의 복잡도 문제를 해결하기 위한 방법의 하나로 최근에 관심을 받고 있다. DVC는 상관도(correlation)가 있는 소스(source)들을 각각 독립적으로 부호화하여도 복호화를 서로 연계해서 한다면, 각 소스를 같이 부호화하여 얻을 수 있는 부호화 이득을 동일하게 얻을 수 있다는 것을 수학적으로 증명한 Slepian-Wolf의 정보이론에 근거한다. 동영상 압축 기술의 구현관점에서 봤을 때, Slepian-Wolf의 정보이론은 시간적 중복성을 줄이기 위 하여 인코더에서 행하였던 모든 처리 절차를 부호화 이득에 별다른 손실 없이 디코더쪽으로 옮길 수 있음을 의미한다. 따라서 Slepian-Wolf의 정보이론에 기초하면, 센서 네트워크와 같은 새로운 환경에 대응하여 부호화의 복잡도를 낮출 수가 있다. Distributed video coding (DVC) has recently attracted attention as one of methods for solving the complexity problem of the encoder. Slepian mathematically proved that DVC can achieve the same coding gains obtained by encoding each source if the decoding is linked to each other even if the sources having correlation are independently encoded. Based on Wolf's theory of information. From the perspective of the implementation of video compression technology, Slepian-Wolf's information theory means that all the processing performed by the encoder can be moved to the decoder without any loss in coding gain to reduce temporal redundancy. Therefore, based on Slepian-Wolf's information theory, the complexity of encoding can be reduced in response to new environments such as sensor networks.

Wyner-Ziv(WZ) 코딩 방식은 무손실 압축을 지향하는 Slepian-Wolf의 정보이론의 경계(bound) 개념을 양자화를 통한 손실 압축에 적용한 부호화 방식으로서, 이로 인하여 DVC의 가능성이 열리기 시작하였다. DVC에 대한 연구는 스탠포드 대학의 Girod 박사 연구팀, 버클리 대학의 Ramchandran 교수 연구팀, 그리고 유럽의 DISCOVER(포르투갈, 이탈리아, 스페인의 대학들이 참여한 국제공동연구로 2002년부터 2006년 12월까지 연구가 진행되었다) 연구 단체 등을 비롯한 해외의 많은 연구 기관들에 의하여 진행되었다. 그리고 MPEG 회의의 "Future MPEG Workshop"에서 2차례 정도 소개가 되었다. 그러나 아직은 DISCOVER에서도 표준화를 진행할 만큼 효율적이지 못한 것으로 평가되고 있다. 현재 관련 논물들에서 DVC의 성능이 기존 H.263 코덱의 인트라 코딩(Intra Coding)의 성능에 근접해가는 것을 볼 수 있다. The Wyner-Ziv (WZ) coding scheme is a coding scheme in which Slepian-Wolf's concept of information theory for lossless compression is applied to lossy compression through quantization, which opens the possibility of DVC. The research on DVC was a joint international study involving Dr. Girod's team at Stanford, Professor Ramchandran's at Berkeley, and DISCOVER (Europe, Italy and Spain). It was conducted by many research institutes abroad, including research groups. He was also introduced to the MPEG conference "Future MPEG Workshop" twice. However, DISCOVER is not yet efficient enough to proceed with standardization. In the current literature, we can see that the performance of DVC is close to the performance of intra coding of the existing H.263 codec.

기존의 동영상 압축 기술에서 인코더의 복잡도를 높이는 가장 주요한 요인은 시간적 중복성의 제거를 위한 움직임 예측 및 보상(ME & MC)이다. 도 1은 인코더에서의 예측 구조의 일례를 보여 주는 다이어그램이다. 도 1에 도시된 인코더의 예측 구조는 픽쳐 그룹(Group Of Pictures, GOP)의 크기가 8인 경우인데, 시간적 중복성을 제거하지 않은 프레임을 I 프레임, 시간적 중복성을 제거한 프레임을 참조 영상의 방향성에 따라서 P 프레임과 B 프레임이라고 한다. 그런데, 도 1과 같은 예측 구조에서는 한 프레임이 손실되었을 경우에, 그것을 참조한 모든 프레임으 로 손실이 전파되게 된다. 특히, I 프레임이 손실될 경우에는 하나의 GOP 내의 모든 프레임으로 손실이 확산된다. 이와 같이, 한 프레임의 손실이 다른 프레임으로 전파되는 것은, 기존의 동영상 압축 기술에서는 예측 구조가 모두 인코더에서 결정되기 때문이다. The most important factor that increases the complexity of the encoder in the existing video compression technique is motion prediction and compensation (ME & MC) for eliminating temporal redundancy. 1 is a diagram illustrating an example of a prediction structure in an encoder. The predictive structure of the encoder shown in FIG. 1 is a case where the size of a group of pictures (GOP) is 8, i frame for a frame without temporal redundancy, and a frame for removing temporal redundancy according to the direction of a reference picture. It is called P frame and B frame. However, in the prediction structure shown in FIG. 1, when one frame is lost, the loss is propagated to all frames that refer to it. In particular, when an I frame is lost, the loss spreads to all frames in one GOP. As described above, the loss of one frame is propagated to another frame because the prediction structure is all determined by the encoder in the existing video compression technique.

반면, DVC에서는 시간적 중복성을 제거하기 위한 예측을 디코더에서 수행한다. 따라서 DVC에 의하면 이러한 손실의 전파를 방지할 수가 있다. DVC는 손실에 강인한 부호화 기술이라고 할 수 있다.On the other hand, in DVC, the decoder performs prediction to remove temporal redundancy. Therefore, according to DVC, propagation of such a loss can be prevented. DVC can be said to be a robust coding technique.

DISCOVER에서는 어플리케이션의 특징과 DVC의 특징을 고려하여, DVC에 적합한 어플리케이션으로 대화형 서비스(Conversational Service)와 스트리밍 서비스(Streaming Service)를 지목하였다. 도 2는 서비스의 특징과 에러에 대한 민감도에 따른 구분을 나타낸다. 도 2를 참조하면, 대화형 서비스나 스트리밍 서비스와 같은 경우에는 지연에 매우 민감한 것을 알 수 있다. 그리고 화상폰 같은 대화형 서비스의 경우에는 종단간(end-to-end) 지연이 150ms 이하가 되어야 하고, VOD와 스트리밍 서비스의 경우에는 지연이 10초 이하이어야 한다. 만일, 지연이 기준치 이상으로 발생할 경우에는 에러로 간주되게 된다. 따라서 DVC의 장점을 살리기 위해서는 지연을 최소화할 필요가 있다.In DISCOVER, considering the characteristics of the application and the characteristics of the DVC, the interactive service and the streaming service were selected as suitable applications for the DVC. 2 shows the classification according to the characteristics of the service and the sensitivity to the error. Referring to FIG. 2, it can be seen that in the case of an interactive service or a streaming service, the delay is very sensitive. In the case of an interactive service such as a videophone, the end-to-end delay should be 150 ms or less, and in the case of VOD and streaming services, the delay should be 10 seconds or less. If the delay occurs above the reference value, it is regarded as an error. Therefore, to take advantage of DVC, it is necessary to minimize the delay.

본 발명이 해결하고자 하는 하나의 과제는 지연을 최소화할 수 있으면서 수신측의 서비스 품질(Quality of Service, QoS)을 보장할 수 있는 분산 비디오 코딩에서의 비트율 제어 방법과 장치 및 이를 이용한 분산 비디오 코딩 방법과 장치를 제공하는 것이다.One problem to be solved by the present invention is a method and apparatus for controlling bit rate in distributed video coding that can minimize delay while guaranteeing a quality of service (QoS) at the receiving end, and a distributed video coding method using the same And to provide a device.

본 발명이 해결하고자 하는 다른 하나의 과제는 피드백 채널을 사용하지 않거나 또는 사용을 최소화하면서 전송 중의 손실을 반영할 수 있으며, 또한 디코딩된 영상의 품질을 보장할 수 있는 분산 비디오 코딩에서의 비트율 제어 방법과 장치 및 이를 이용한 분산 비디오 코딩 방법과 장치를 제공하는 것이다.Another problem to be solved by the present invention is a method of controlling a bit rate in distributed video coding, which can reflect a loss during transmission without using a feedback channel or minimizing use, and can also ensure the quality of a decoded image. An apparatus and a distributed video coding method and apparatus using the same are provided.

상기한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 분산 비디오 코딩(Distributed Video Coding, DVC) 방법에서는 전송 채널의 상황을 지시하는 다른 계층에서의 채널 상황 정보에 기초하여 DVC 인코더에서의 전송 비트율을 제어한다. 이 경우에, 상기 채널 상황 정보는 패킷 손실율(Packet Loss Rate, PLR) 및/또는 가용 비트율(available bitrate)일 수 있다. 예를 들어, 상기 패킷 손실율이 이전의 패킷 손실율보다 증가하였거나, 또는 가용 비트율이 이전의 가용 비트율보다 감소한 것으로 판정되면, 상기 DVC 인코더에서는 양자화 파라미터(QP) 값을 증가시켜서 부호화를 수행할 수 있다. 또는, 상기 패킷 손실율을 이용하여 DVC 디코더에서 수신되는 비트율을 계산하고, 디코딩에 필요한 패러티의 비율과 상기 DVC 인코더의 양자화부에서의 소스의 크기를 곱하여 예측 비트율을 구하고, 상기 가용 비트율과 상기 예측 비트율을 비교하여, 상기 예측 비트율이 상기 가용 비트율보다 클 경우에는 상기 양자화부에서의 양자화 파라미터(QP)의 값을 증가시킬 수 있다. In the distributed video coding (DVC) method according to an embodiment of the present invention for solving the above problems, the transmission bit rate in the DVC encoder is based on channel condition information in another layer indicating a condition of a transport channel. To control. In this case, the channel condition information may be a packet loss rate (PLR) and / or an available bit rate. For example, if it is determined that the packet loss rate is higher than the previous packet loss rate or the available bit rate is lower than the previous available bit rate, the DVC encoder may perform encoding by increasing the quantization parameter (QP) value. Alternatively, the bit rate received by the DVC decoder is calculated using the packet loss rate, the parity required for decoding is multiplied by the size of the source in the quantization unit of the DVC encoder to obtain a predicted bit rate, and the available bit rate and the predicted bit rate In comparison, when the prediction bit rate is larger than the available bit rate, the value of the quantization parameter QP in the quantization unit may be increased.

상기한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 분산 비디오 코딩(Distributed Video Coding, DVC) 장치는 피드백 채널을 사용하지 않는 DVC 인코더와 DVC 디코더를 포함하고, 상기 DVC 인코더는 전송 채널의 상황을 지시하는 다른 계층에서의 채널 상황 정보에 기초하여 전송 비트율을 제어하기 위한 전송 비트율 제어 장치를 포함한다. Distributed video coding (DVC) apparatus according to an embodiment of the present invention for solving the above problems includes a DVC encoder and a DVC decoder that does not use a feedback channel, the DVC encoder is a situation of the transport channel And a transmission bit rate control device for controlling the transmission bit rate based on channel condition information in another layer indicating.

상기 전송 비트율 제어 장치는 패킷 손실율 및/또는 가용 비트율에 기초하여 상기 DVC 인코더의 양자화부에서 이용하는 양자화 파라미터의 값을 증가시키거나 또는 감소시켜서 전송 비트율을 제어할 수 있다. 예를 들어, 상기 전송 비트율 제어 장치는 상기 패킷 손실율이 이전의 패킷 손실율보다 증가하였거나, 가용 비트율이 이전의 가용 비트율보다 감소한 것으로 판정되면, 상기 양자화부에서 양자화 파라미터(QP) 값을 증가시켜서 부호화를 수행하도록 하거나 또는 상기 패킷 손실율 및/또는 가용 비트율을 이용하여 DVC 디코더에서 수신되는 비트율을 계산하고, 디코딩에 필요한 패러티의 비율과 상기 DVC 인코더의 양자화부에서의 소스의 크기를 곱하여 예측 비트율을 구하고, 그리고 상기 가용 비트율과 상기 예측 비트율을 비교하여, 상기 예측 비트율이 상기 가용비트율보다 클 경우에는 상기 양자화부에서의 양자화 파라미터(QP)의 값을 증가시킬 수 있다.The apparatus for controlling a transmission bit rate may control the transmission bit rate by increasing or decreasing a value of a quantization parameter used in the quantization unit of the DVC encoder based on a packet loss rate and / or an available bit rate. For example, when it is determined that the packet loss rate is higher than the previous packet loss rate or the available bit rate is lower than the previous available bit rate, the apparatus for controlling the transmission bit rate increases the quantization parameter (QP) value in the quantization unit to perform encoding. Calculate the bit rate received by the DVC decoder using the packet loss rate and / or available bit rate, multiply the ratio of parity required for decoding by the size of the source in the quantization unit of the DVC encoder, When the predicted bit rate is greater than the available bit rate, the value of the quantization parameter QP in the quantization unit may be increased by comparing the available bit rate with the predicted bit rate.

본 발명의 실시예에 따른 분산 비디오 코딩 방법과 장치에 의하면, 피드백 채널을 사용하지 않고 때문에 지연이 발생하지 않는다. 그리고 DVC 인코더에서 패킷 손실율 및/또는 가용 비트율을 이용하여 DVC 디코더에서 실제로 사용 가능한 비트량을 예측하고, 그에 해당하는 비트량으로 DVC 인코더에서 인코딩하여 DVC 디코더로 전송하기 때문에, 분산 비디오 코딩의 채널 손실 강인성을 향상시킬 수가 있으며, 서비스 품질을 보장할 수 있다.According to the distributed video coding method and apparatus according to the embodiment of the present invention, no delay occurs because no feedback channel is used. Since the DVC encoder uses the packet loss rate and / or the available bit rate to predict the actual amount of available bits in the DVC decoder, encodes the DVC encoder at the corresponding bit amount and transmits the bit to the DVC decoder, thereby reducing the channel loss of distributed video coding. Robustness can be improved and service quality can be guaranteed.

이하, 첨부된 도면들을 참조하여 본 발명의 실시예를 상세하게 설명한다. 사용되는 용어들은 실시예에서의 기능을 고려하여 선택된 용어들로서, 그 용어의 의미는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 후술하는 실시예들에서 사용된 용어의 의미는, 본 명세서에 구체적으로 정의된 경우에는 그 정의에 따르며, 구체적인 정의가 없는 경우는 당업자들이 일반적으로 인식하는 의미로 해석되어야 할 것이다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. The terms used are terms selected in consideration of functions in the embodiments, and the meaning of the terms may vary depending on the intention or custom of the user or operator. Therefore, the meaning of the terms used in the embodiments to be described later, according to the definition if specifically defined herein, and if there is no specific definition should be interpreted to mean generally recognized by those skilled in the art.

본 발명의 실시예를 설명하기에 앞서, 우선 분산 비디오 코딩(DVC)에 대하여 개략적으로 설명한다. DVC는 크게 피드백 채널(feedback channel)을 사용하는 방식과 피드백 채널을 사용하지 않는 방식으로 구분할 수 있는데, 전자의 일례는 DISCOVER DVC이며 후자의 일례는 PRISM DVC이다.Prior to describing an embodiment of the present invention, distributed video coding (DVC) will be described first. DVC can be classified into a method of using a feedback channel and a method of not using a feedback channel. An example of the former is a DISCOVER DVC and an example of the latter is a PRISM DVC.

도 3은 DISCOVER DVC의 구조를 보여 주는 블록도이다. 도 3을 참조하면, DISCOVER DVC는 송신측(10)과 수신측(20)을 포함한다. 송신측(10)은 입력 비디오를 부호화하여 소정의 전송 네트워크(예컨대, 이동통신 네트워크)를 통해 전송하기 위한 인코더를 포함하며, 수신측(20)은 수신된 부호화된 데이터를 복원하여 영상을 재생하기 위한 디코더를 포함한다.3 is a block diagram showing the structure of a DISCOVER DVC. Referring to FIG. 3, the DISCOVER DVC includes a transmitting side 10 and a receiving side 20. The transmitting side 10 includes an encoder for encoding an input video and transmitting the same through a predetermined transmission network (eg, a mobile communication network), and the receiving side 20 restores the received encoded data to reproduce an image. It includes a decoder for.

송신측(10)은 분리기(11), 인트라 인코더(12), 및 Wyner-Ziv(WZ) 인코더(13)를 포함한다. 분리기(11)는 입력 비디오를 기존의 방식으로 인코딩할 프레임과 Wyner-Ziv(WZ)로 인코딩할 프레임을 나누어서, 전자는 인트라 인코더(12)로 보내고 후자는 Wyner-Ziv 인코더(13)로 보낸다. 인트라 인코더(12)는 기존의 동영상 압축 방법에 따라서 입력 비디오를 부호화하기 위한 것으로서, 예컨대 H.264/AVC 인트라 코딩 방법에 따라서 입력 비디오를 부호화하는 인코더일 수 있다. The transmitting side 10 includes a separator 11, an intra encoder 12, and a Wyner-Ziv (WZ) encoder 13. The separator 11 divides the frame to encode the input video in the conventional manner and the frame to encode into Wyner-Ziv (WZ), the former to the intra encoder 12 and the latter to the Wyner-Ziv encoder 13. The intra encoder 12 is for encoding input video according to an existing video compression method. For example, the intra encoder 12 may be an encoder for encoding input video according to an H.264 / AVC intra coding method.

Wyner-Ziv 인코더(13)는 입력 비디오를 Wyner-Ziv로 인코딩하기 위한 것이다. Wyner-Ziv 인코더(13)는 변환 유닛(Transform, T, 13a), 양자화 유닛(Quantization, Q, 13b), 비트 정렬 유닛(Bit Ordering, 13c), 채널 인코더(Channel Encoder, 13d), 최소율 예측 유닛(Minimum Rate Estimation, 13e), 및 버퍼(Buffer, 13f)를 포함한다. 변환 유닛(13a)은 블록 단위로 변환 과정을 수행하여 변환 계수를 출력한다. 양자화 유닛(13b)은 변환 계수에 대한 양자화 과정을 수행하여 양자화 계수를 출력한다. 비트 정렬 유닛(13c)은 출력되는 양자화 계수들을 같은 주파수 계수끼리 모은 후에 비트 레벨별로 하나의 코딩 단위로 채널 인코더(13d)로 입력시킨다. 이때, 압축 효율을 높이기 위하여 입력되는 비트들 중에서 일부 레벨의 비트만을 채널 인코더(13d)로 보낼 수도 있다. 채널 인코더(13d)에서는 입력된 비트들에 대한 채널 인코딩을 수행하는데, 채널 인코딩의 결과로 생성되는 패러티 비트(parity bits)들은 버퍼(13f)로 전달되어 저장된다. 그리고 버퍼(13f)에 저장된 패러티 비트들은 수신측(20)으로 전송된다. DISCOVER DVC는 피드백 채널을 사용하므로, 이 피드백 채널을 통해 수신측(20)으로부터 요구된 양만큼 버퍼(13f)에 저장된 패러티 비트들이 수신측(20)으로 전송된다. 마지막으로, 최소율 예측 유닛(13e)은 전송할 최소의 패러티 비트의 양을 가상 채널 모델(virtual channel model)의 정보를 이용하여 예측함으로써 재전송 횟수를 줄일 수 있도록 한다. 이러한 최소율 예측 유닛(13e)에서의 예측을 이용하면, 반복되는 재전송으로 인한 지연(delay)과 디코딩의 복잡도를 감소시킬 수가 있다. The Wyner-Ziv encoder 13 is for encoding the input video into Wyner-Ziv. Wyner-Ziv encoder 13 is a transform unit (Transform, T, 13a), quantization unit (Quantization, Q, 13b), bit ordering unit (Bit Ordering, 13c), channel encoder (Channel Encoder, 13d), minimum rate prediction Unit (Minimum Rate Estimation, 13e), and a buffer (Buffer, 13f). The transform unit 13a performs a transform process in units of blocks and outputs transform coefficients. The quantization unit 13b performs a quantization process on the transform coefficients and outputs quantization coefficients. The bit alignment unit 13c collects the output quantization coefficients among the same frequency coefficients and inputs the same quantization coefficients to the channel encoder 13d in one coding unit for each bit level. In this case, only some level bits among the input bits may be sent to the channel encoder 13d in order to increase compression efficiency. The channel encoder 13d performs channel encoding on the input bits. Parity bits generated as a result of the channel encoding are transferred to and stored in the buffer 13f. The parity bits stored in the buffer 13f are transmitted to the receiving side 20. Since the DISCOVER DVC uses a feedback channel, parity bits stored in the buffer 13f are transmitted to the receiving side 20 by the required amount from the receiving side 20 through this feedback channel. Finally, the minimum rate prediction unit 13e may reduce the number of retransmissions by predicting the minimum amount of parity bits to be transmitted using the information of the virtual channel model. By using the prediction in this minimum rate prediction unit 13e, it is possible to reduce the delay and the complexity of decoding due to repeated retransmissions.

수신측(20)는 인트라 디코더(21), 부가 정보 추출 유닛(Side Information Extraction, 22), 가상 채널 모델 유닛(Virtual Channel Model, 23), 소프트 밸류(Soft Value) 계산 유닛(24), 및 Wyner-Ziv 디코더(25)를 포함한다. 인트라 디코더(21)는 송신측(10)의 인트라 인코더(12)에서 부호화된 프레임의 비트들을 수신하여 복원한다. 부가 정보 추출 유닛(22)은 인트라 디코더(21)에서 복원된 영상을 이용하여, 송신측(10)의 Wyner-Ziv 인코더(13)에서 부호화된 프레임(Wyner-Ziv영상)에 대한 예측값인 부가 정보(Side Information, SI)를 생성한다. 예를 들어, 부가 정보 추출 유닛(22)은 인접한 두 참조 프레임간의 움직임 보상 보간(Motion Compensated Interpolation, MCI)을 통하여 주어진 Wyner-Ziv 영상에 대한 부가 정보(SI)를 획득할 수 있다. The receiving side 20 includes an intra decoder 21, a side information extraction unit 22, a virtual channel model unit 23, a soft value calculation unit 24, and a Wyner. Includes a Ziv decoder 25. The intra decoder 21 receives and restores the bits of the frame encoded by the intra encoder 12 of the transmitting side 10. The additional information extracting unit 22 uses the image reconstructed by the intra decoder 21 and additional information which is a prediction value for the frame (Wyner-Ziv image) encoded by the Wyner-Ziv encoder 13 of the transmitting side 10. Generate (Side Information, SI). For example, the additional information extraction unit 22 may obtain additional information SI for a given Wyner-Ziv image through motion compensation interpolation (MCI) between two adjacent reference frames.

가상 채널 모델 유닛(23)은 Wyner-Ziv 영상과 해당 부가 정보(SI) 사이의 차이를 가상 채널에서의 상관성 잡음(correlation noise)으로 모델링한다. 그리고 소프트 밸류 계산 유닛(24)의 변환부(T, 24a)는 부가 정보(SI)에 대하여 송신측(10)의 Wyner-Ziv 인코더(13)의 변환 유닛(13a)에서와 같은 변환 과정을 수행하여, Wyner-Ziv 영상에 대한 변환 계수를 얻는다. 그리고 소프트 밸류 계산 유닛(24)의 소프트 입력 계산부(Soft Input Computation, 24b)는 가상 채널 모델 유닛(23)에서 만들어 낸 가상 잡음에 대한 모델을 이용하여 정보 비트(information bit)에 대한 소프트 밸류(soft value)를 계산하여 출력한다.The virtual channel model unit 23 models the difference between the Wyner-Ziv image and the corresponding side information SI as correlation noise in the virtual channel. The conversion units T and 24a of the soft value calculation unit 24 perform the same conversion process as the conversion unit 13a of the Wyner-Ziv encoder 13 of the transmitting side 10 with respect to the additional information SI. The conversion coefficients for the Wyner-Ziv image are obtained. The soft input calculation unit 24b of the soft value calculation unit 24 uses the model for the virtual noise generated by the virtual channel model unit 23 to calculate the soft value for the information bit (information bit). soft value) is calculated and printed.

Wyner-Ziv 디코더(25)의 채널 디코더(25a)는 먼저 수신된 부호화된 패러티 비트들에 대한 채널 디코딩을 수행한다. 만일 채널 디코더(25a)에서 디코딩이 실패하면, 즉 수신한 패러티 비트들이 성공적인 디코딩을 보장할 수 있을 만큼 충분하지 않다면, 디코더 성공/실패부(Decoder Succ./Failure, 25b)는 피드백 채널을 통하여 더 많은 패러티 비트들은 송신측(10)에 요구한다. 그리고 디코더 성공/실패부(Decoder Succ./Failure, 25b)에서의 이러한 피드백 과정은 성공적인 디코딩이 이루어질 때까지 반복될 수 있다. 채널 디코더(25a)에서 디코딩이 성공하면, 역양자화 및 재구성부(Q-¹ and Reconst., 25c)는 우선 수신된 패러티 비트들에 대한 역양자화를 수행하고, 또한 역양자화된 패러티 비트들을 이용하여 가상 채널 모델 유닛(23)에서 계산된 가상 채널 모델과 부가 정보(SI) 계수를 참조하여 변환 계수를 재구성한다. 그리고 역변환부(T-¹, 25d)는 재구성된 변환 계수에 대하여 역변환을 수행하여 Wyner-Ziv 영상을 복원한다.The channel decoder 25a of the Wyner-Ziv decoder 25 first performs channel decoding on the received encoded parity bits. If decoding fails at the channel decoder 25a, i.e., if the received parity bits are not sufficient to ensure successful decoding, then the decoder succ./failure 25b is further transmitted through the feedback channel. Many parity bits are required of the transmitting side 10. And this feedback process in decoder succ./failure 25b can be repeated until successful decoding is achieved. If decoding is successful in the channel decoder 25a, the dequantization and reconstruction unit Q- ¹ and Reconst. 25c first performs dequantization on the received parity bits, and further uses dequantized parity bits. The transform coefficient is reconstructed with reference to the virtual channel model calculated in the virtual channel model unit 23 and the side information (SI) coefficient. The inverse transform units T- ¹ and 25d reconstruct the Wyner-Ziv image by performing inverse transform on the reconstructed transform coefficients.

도 4는 피드백 채널을 사용하지 않는 PRISM DVC의 구조를 보여 주는 블록도이다. 도 4를 참조하면, PRISM DVC도 송신측(30)과 수신측(40)을 포함한다. 송신측(30)은 입력 비디오를 부호화한 다음 부호화된 비트스트림(encoded bitstream)을 소정의 전송 네트워크(예컨대, 이동통신 네트워크)를 통해 전송하기 위한 인코더를 포함하며, 수신측(40)은 수신된 부호화된 비트스트림를 복원하여 영상을 재생하기 위한 디코더를 포함한다. 이러한 PRISM DVC의 구조는 2002년 버클리 대학의 Ramchandran 교수 연구팀에 의하여 처음 제안된 것으로, 본 명세서에서는 이에 대한 구체적인 설명은 생략한다. 다만, PRISM DVC에서는 채널 모델링을 송신측(30) 의 인코더의 분류기(classifier)에서 채널 모델링을 하여 비트율 제어를 수행하며, 또한 수신측(40)에서의 디코딩의 성공 여부는 해쉬 체크(hash check)를 통해서 수행한다는 점에서, 전술한 DISCOVER DVC와 차이가 있다.4 is a block diagram showing the structure of a PRISM DVC that does not use a feedback channel. Referring to FIG. 4, the PRISM DVC also includes a transmitting side 30 and a receiving side 40. The transmitting side 30 includes an encoder for encoding an input video and then transmitting an encoded bitstream through a predetermined transmission network (eg, a mobile communication network), and the receiving side 40 receives the received video. And a decoder for reproducing the encoded bitstream to reproduce an image. The structure of PRISM DVC was first proposed by Professor Ramchandran of Berkeley University in 2002, and the detailed description thereof is omitted here. However, in the PRISM DVC, channel modeling is performed in a classifier of the encoder of the transmitter 30 to control the bit rate, and whether the decoding is successful at the receiver 40 is a hash check. It is different from the above-described DISCOVER DVC in that it is performed through.

DVC에서 피드백 채널을 사용하는 구조(예컨대, DISCOVER DVC)와 사용하지 않는 구조(예컨대, PRISM DVC)의 가장 큰 차이는 채널 모델링을 송신측(인코더)에서 수행하느냐 또는 수신측(디코더)에서 수행하느냐이다. 전술한 바와 같이, DISCOVER DVC의 경우에는 채널 모델링을 디코더에서 수행하며 모델링된 채널에 관한 정보는 피드백 채널을 통하여 인코더로 전달되는 과정이 필수적이다. 반면, PRISM DVC의 경우에는 인코더에서 채널 모델링을 수행하기 때문에, 피드백 채널이 필요가 없다. The biggest difference between the structure using the feedback channel in the DVC (eg, DISCOVER DVC) and the structure not using (eg, PRISM DVC) is whether channel modeling is performed at the sender (encoder) or at the receiver (decoder). to be. As described above, in the case of the DISCOVER DVC, channel modeling is performed at the decoder, and information about the modeled channel is transmitted to the encoder through a feedback channel. On the other hand, in the case of PRISM DVC, since the encoder performs channel modeling, there is no need for a feedback channel.

피드백 채널을 필요로 하는 DVC 구조는 채널 모델링을 정확하게 할 수 있는 장점이 있지만 피드백에 따른 지연이 발생한다는 것이 단점이다. 반면, 피드백 채널을 사용하지 않는 DVC 구조는 피드백이 없기 때문에 지연이 크지 않다는 장점은 있지만, 송신측인 인코더에서 채널 모델링을 하기 때문에 정확한 채널 모델링이 어려우며 이로 인하여 수신측의 서비스 품질(QoS)을 보장하기 어려운 단점이 있다. 따라서 지연을 방지할 수 있을 뿐만 아니라 상대적으로 정확한 채널 모델링에 기초하여 수신측의 서비스 품질을 보장할 수 있는 DVC 구조가 필요하다.The DVC structure that requires a feedback channel has an advantage of accurate channel modeling, but has a disadvantage in that a delay caused by feedback occurs. On the other hand, the DVC structure that does not use the feedback channel has the advantage that the delay is not large because there is no feedback.However, accurate channel modeling is difficult due to channel modeling at the encoder, which is the transmitting side, thereby guaranteeing the quality of service (QoS) at the receiving side. It is difficult to do. Therefore, there is a need for a DVC structure that can prevent delays and ensure the quality of service at the receiving side based on relatively accurate channel modeling.

도 5는 크기가 QCIF인 Foreman 영상에서 디코딩된 영상(WZ 영상)과 부가 정보(SI)와의 차분 값(residual data, WZ-SI)의 분포를 보여 주는 그래프이다. 도 5에서 점선은 실제 차분 값의 분포를 나타내고, 실선은 수학식 1의 라플라시 안(Laplacian) 모델, 즉 f(WZ-SI)을 통하여 근사화된 차분 값의 라플라시안 분포(Laplacian Distribution)를 나타낸다. 라플라시안 모델에 따른 그래프는 알파(α)값에 따라서 달라질 수 있는데, 도 5의 그래프는 알파(α)가 0.58인 경우이다. 그리고 수학식 1에서는, 알파(α)값을 이용하여 비트량 예측을 수행하여 비트율을 결정하는 식(R_min(D^X))의 일례가 도시되어 있다.FIG. 5 is a graph showing a distribution of residual data (WZ-SI) between a decoded image (WZ image) and additional information (SI) in a foreman image having a size QCIF. In FIG. 5, the dotted line represents the distribution of actual difference values, and the solid line represents the Laplacian distribution of the difference values approximated through the Laplacian model of Equation 1, that is, f (WZ-SI). . The graph according to the Laplacian model may vary according to the alpha (α) value. In the graph of FIG. 5, the alpha (α) is 0.58. In Equation 1, an example of an equation (R _min (D ^X )) for determining a bit rate by performing bit amount prediction using an alpha (α) value is shown.

종래의 비트율 제어 방법에 의하면, 이전 프레임의 비트 에러율(Bit Error Rate, BER)에 기초하여 전송할 비트량을 결정한다. 보다 구체적으로, WZ-SI의 분포에 기초하여 비트량 예측을 수행하여 전송할 비트량을 결정하는데, 피드백 채널을 사용하는 경우에는 디코더에서 라플라시안 모델을 이용하여 채널 모델링을 실시한 후에 피드백을 통하여 알파(α)값을 인코더로 전달해주고, 인코더에서는 수신된 알파(α)값을 이용하여 비트량 예측을 수행한다. According to the conventional bit rate control method, a bit amount to be transmitted is determined based on a bit error rate (BER) of a previous frame. More specifically, the amount of bits to be transmitted is determined by performing bit rate prediction based on the distribution of WZ-SI. When using a feedback channel, the decoder performs a channel modeling using a Laplacian model and then uses alpha (α) through feedback. Value is transmitted to the encoder, and the encoder performs bit rate prediction using the received alpha (α) value.

이와 같은 피드백 채널을 갖는 DVC에서의 비트율 제어 방법에서는, 디코더에서 채널 모델링을 실시하기 때문에, 전송 중에 발생하는 손실이 채널 모델링에 반영된다. 예를 들어, 전송 중에 손실이 많이 발생할 경우에는, 전송 중의 손실도 채널 모델링에 영향을 미치게 되며, 결국 이러한 영향은 알파(α)값에 반영이 되어서 전송되는 비트량을 증가시키는 쪽으로 작용하게 된다. 또한, 피드백 채널을 갖는 DVC에서의 비트율 제어 방법에 의하면, 디코더에서 디코딩의 성공 여부에 따라서 추가 전송을 요청할 수가 있기 때문에, 디코딩된 영상의 품질을 보장할 수가 있다. 반면, 전술한 바와 같이, 피드백 채널을 사용하면 이에 따른 지연은 불가피하 다.In the bit rate control method in the DVC having such a feedback channel, since channel modeling is performed at the decoder, loss occurring during transmission is reflected in the channel modeling. For example, if a large amount of loss occurs during transmission, the loss during transmission also affects channel modeling, and this effect is reflected in the alpha (α) value to increase the amount of transmitted bits. In addition, according to the method of controlling a bit rate in a DVC having a feedback channel, since the decoder can request additional transmission depending on whether the decoding is successful, the quality of the decoded video can be guaranteed. On the other hand, as described above, using the feedback channel, the delay is inevitable.

그리고 피드백 채널을 사용하지 않는 경우는 채널 모델링을 인코더에서 실시하고 그에 따라 비트량 예측을 실시하기 때문에, 비트량 예측에 전송 시에 발생하는 손실이 반영되기가 어렵다. 뿐만 아니라, 디코딩된 영상의 품질을 보장하기도 어렵다. 반면, 피드백 채널을 사용하지 않으면, 피드백에 따른 지연이 없기 때문에, 저지연 서비스의 제공이 가능하다. 따라서 지연을 최소화할 수 있도록 피드백 채널을 사용하지 않거나 사용을 최소화하면서, 전송 중의 손실을 인코더에 반영하여 디코딩된 영상의 품질을 보장할 수 있는 DVC 절차와 이를 위한 비트율 제어 방법이 요청된다. When the feedback channel is not used, since channel modeling is performed by the encoder and bit quantity prediction is performed accordingly, the loss caused during transmission is difficult to be reflected in the bit quantity prediction. In addition, it is difficult to guarantee the quality of the decoded image. On the other hand, if the feedback channel is not used, since there is no delay according to the feedback, it is possible to provide a low latency service. Therefore, there is a need for a DVC procedure and a bit rate control method for guaranteeing the quality of a decoded image by reflecting a loss during transmission to an encoder while minimizing or using a feedback channel to minimize delay.

본 발명의 일 실시예에 따른 비트율 제어 방법에 의하면, DVC에서 지연을 최소화하고 또한 디코딩된 영상의 품질을 보장하기 위하여, 피드백 채널을 사용하지 않고 DVC 인코더에서 채널 모델링을 수행하되, 크로스 레이어(Cross Layer)적인 접근을 통하여 획득한 채널 상황 정보를 DVC 인코더(송신측)에서의 채널 모델링에 반영하여 비트율을 결정한다. 도 6은 이와 같이 크로스 레이어적인 접근을 통하여 획득한 채널 상황 정보를 반영한 가상 채널 모델링의 일례를 도식적으로 보여 주는 도면이다. 도 6에 도시된 것과 같이, 크로스 레이어 최적화(Cross-layer Optimization)에 의하여 얻어지는 채널 정보(channel information)를 이용하여 만들어진 가상 채널 모델(Virtual Channel Model)에 따라서 비트율 제어(Rate control)를 수행하면, DVC 디코더에서의 디코딩 성공 확률을 높일 수가 있다. 또한, 이러한 비트율 제어 방법에 의하면, 크로스 레이어적인 접근을 통해 획득한 채 널 상황 정보가 비트율에 반영되기 때문에, 채널 손실 강인성을 향상시킬 수가 있다. According to a method of controlling a bit rate according to an embodiment of the present invention, in order to minimize delay in DVC and ensure the quality of a decoded image, channel modeling is performed in a DVC encoder without using a feedback channel, but a cross layer (Cross) The bit rate is determined by reflecting the channel condition information obtained through the layer approach to channel modeling in the DVC encoder (sending side). FIG. 6 is a diagram schematically showing an example of virtual channel modeling reflecting channel state information obtained through the cross-layer approach. As shown in FIG. 6, if bit rate control is performed according to a virtual channel model created using channel information obtained by cross-layer optimization, The probability of decoding success in the DVC decoder can be increased. In addition, according to the bit rate control method, since channel state information obtained through the cross-layer approach is reflected in the bit rate, the channel loss robustness can be improved.

크로스 레이어(Cross Layer)적인 접근을 통하여 획득 가능한 채널 상황 정보의 일례로 패킷 손실율(Packet Loss Rate, PLR)과 가용 비트율(available bitrate) 이 있다. 패킷 손실율(PLR)은 패킷의 망내 송신 중에 장애 등으로 인하여 손실되는 비율을 나타내는 것으로서, 채널 상황을 보여 주는 정보의 하나이다. 가용 비트율도 채널 상황을 보여주는 정보의 하나로서 해당 서비스에 대해 채널에서 사용가능한 비트율을 뜻한다. 본 발명의 일 실시예에 의하면, DVC 인코더는 이러한 패킷 손실율(PLR) 및/또는 가용 비트율을 이용하여 채널 모델링을 수행하며, 모델링된 채널 환경에 기초하여 비트율을 결정한다. Examples of channel state information that can be obtained through a cross layer approach include a packet loss rate (PLL) and an available bit rate. The packet loss rate (PLR) indicates a rate of loss due to a failure during packet transmission in the network, and is one of information showing channel conditions. Available bit rate is one piece of information showing channel status, and means the bit rate available in the channel for the service. According to one embodiment of the invention, the DVC encoder performs channel modeling using this packet loss rate (PLR) and / or available bit rate, and determines the bit rate based on the modeled channel environment.

도 7은 소정의 패킷 손실율(PLR)을 갖는 손실 환경에서 비트스트림을 전송할 경우에, 송신측에서 전송하는 비트율과 수신측에서 수신하는 비트율 사이의 관계를 보여 주는 도면이다. 도 7을 참조하면, DVC 인코더에서 소정의 가용 비트율(R_avail)로 비트스트림을 송신한다. 그리고 송신된 비트스트림은 소정의 패킷 손실율(PLR)을 보이는 망을 통해서 수신측으로 전송된다. 이러한 전송의 결과, 수신측인 DVC 디코더에서는 송신된 비트스트림보다 적은 양의 비트스트림, 즉 R_avail(1-PLR)을 수신하게 된다. FIG. 7 is a diagram illustrating a relationship between a bit rate transmitted by a transmitter and a bit rate received by a receiver when a bitstream is transmitted in a lossy environment having a predetermined packet loss rate (PLR). Referring to FIG. 7, the DVC encoder transmits a bitstream at a predetermined available bit rate R _avail . The transmitted bitstream is transmitted to the receiver through a network showing a predetermined packet loss rate (PLR). As a result of this transmission, the DVC decoder on the receiving side receives a smaller amount of bitstream, that is, R _avail (1-PLR) than the transmitted bitstream.

이와 같이, 전송 과정에서 손실이 발생하게 되면, 디코더에서 실제로 수신하는 비트스트림(DVC 디코더의 경우에는 패러티 비트)의 양은 패킷 손실율에 따라서 달라지게 된다. 결국, 이러한 전송 과정에서 발생하는 손실을 송신측에서의 비트율 제어에 제대로 반영하지 못하면, 수신측의 디코더는 성공적인 디코딩에 필요한 양의 패러티 비트를 받을 수 없게 되며, 그 결과 복원된 영상의 화질을 보장하기가 어렵다.As such, when a loss occurs in the transmission process, the amount of the bitstream (parity bits in the case of a DC decoder) actually received by the decoder varies according to the packet loss rate. As a result, if the loss caused by the transmission process is not properly reflected in the bit rate control at the transmitter, the decoder at the receiver cannot receive the amount of parity bits necessary for successful decoding, and as a result, it is difficult to guarantee the quality of the restored image. it's difficult.

본 발명에서는 크로스 레이어적인 접근을 통하여 전송 과정에서 손실이 발생했는지 및/또는 가용 비트율이 변경되었는지를 판정한 다음, 이 판정 결과에 기초하여 패러티 비트의 생성을 위한 원 데이터의 양 및/또는 패러티 비트의 양을 제어한다. 보다 구체적으로, 전송 과정에서 이전보다 더 많은 손실이 발생하거나DVC 인코더에서는 전송해야 할 원래 데이터의 양을 비트율 제어를 통하여 감소시키고 및/또는 보다 높은 패러티 비율로 얻어지는 패러티 비트들을 DVC 디코더로 전송한다. 따라서 DVC 인코더는 전송 손실에 강인한, 즉 전송 과정에서 손실이 발생하더라도 원래 데이터의 복원이 가능한 패러티 비트들을 생성하여 DVC 디코더로 전송한다. 이를 터보 코딩(turbo coding)에 적용할 경우에, DVC 인코더는 보다 적은 양의 데이터를 높은 펑쳐링 비율(puncturing rate)로 DVC 디코더로 보내는 것을 의미한다. 반면, 전송 과정에서 이전보다 더 적은 손실이 발생한 경우에는 DVC 인코더에서는 전송해야 할 원래 데이터의 양을 비트율 제어를 통하여 증가시키고 및/또는 보다 낮은 패러티 비율로 얻어지는 패러티 비트들을 DVC 디코더로 전송한다. 패킷 손실율은 변함이 없고, 가용 비트율이 증가 또는 감소한 경우에는 패러티 비율은 이전과 같지만 전송 비트율은 가용 비트율의 증감에 맞추어 양자화 인자를 이용하여 증감한다.In the present invention, the cross-layer approach determines whether a loss occurs in the transmission process and / or whether the available bit rate has changed, and then based on the determination result, the amount of original data and / or parity bits for generating the parity bits. To control the amount of. More specifically, more loss than before occurs in the transmission process, or the DVC encoder reduces the amount of original data to be transmitted through bit rate control and / or transmits parity bits obtained at a higher parity rate to the DVC decoder. Therefore, the DVC encoder generates parity bits that are robust to transmission loss, that is, even if a loss occurs in the transmission process, and transmits the parity bits to the DVC decoder. In the case of applying this to turbo coding, the DVC encoder means to send a smaller amount of data to the DVC decoder at a high puncturing rate. On the other hand, if there is less loss than before in the transmission process, the DVC encoder increases the amount of original data to be transmitted through bit rate control and / or transmits parity bits obtained at a lower parity rate to the DVC decoder. The packet loss rate is not changed, and when the available bit rate is increased or decreased, the parity rate is the same as before, but the transmission bit rate is increased or decreased by using a quantization factor in accordance with the increase and decrease of the available bit rate.

도 8은 본 발명의 일 실시예에 따라서 채널 상황을 고려하여 비트율을 제어하는 방법의 일례를 보여 주는 흐름도이다.8 is a flowchart illustrating an example of a method of controlling a bit rate in consideration of channel conditions according to an embodiment of the present invention.

도 8을 참조하면, 우선 현재 패킷 손실율(PLR_n)이 이전의 패킷 손실율(PLR_n-1)과 같은지를 판정한다(102). 패킷 손실율은 크로스 레이어적인 접근을 통하여 채널 상황을 파악할 수 있는 정보의 하나이다. 따라서 본 실시예가 반드시 패킷 손실율에만 한정되는 것은 아니며, 패킷 손실율과 동일하게 채널 상황을 지시하는 다른 정보가 이용될 수 있다는 것은 자명하다. Referring to FIG. 8, first, it is determined 102 whether the current packet loss rate PLR _n is equal to the previous packet loss rate PLR _n-1 . Packet loss rate is one of the information to determine the channel status through a cross-layer approach. Therefore, the present embodiment is not necessarily limited to the packet loss rate, and it is obvious that other information indicating a channel condition may be used in the same manner as the packet loss rate.

본 단계에서 현재 패킷 손실율(PLR_n)이 이전의 패킷 손실율(PLR_n-1)과 같은 것으로 판정되는 경우에, 추가적인 비트율 제어 없이 이전과 동일한 방법으로 패러티 비트를 생성하여 전송한다. 반면, 단계 102에서 현재 패킷 손실율(PLR_n)이 이전의 패킷 손실율(PLR_n-1)과 다른 것으로 판정되면, 현재 패킷 손실율(PLR_n)이 이전의 패킷 손실율(PLR_n-1)보다 큰 지를 판정한다(104). In this step, when it is determined that the current packet loss rate PLR _n is equal to the previous packet loss rate PLR _n-1 , the parity bit is generated and transmitted in the same manner as before without additional bit rate control. On the other hand, the current packet loss rate in step 102 (PLR _n) is if it is judged that the other and before the packet loss rate (PLR _n-1), the current packet loss rate (PLR _n) the paper is larger than the previous packet loss rate (PLR _n-1) Decision 104 is made.

계속해서, 단계 104에서 현재 패킷 손실율(PLR_n)이 이전의 패킷 손실율(PLR_n-1)보다 큰 것으로 판정되면, DVC 인코더에서는 우선 양자화 파라미터의 값을 증가시킨다(106). 양자화 파라미터의 값을 증가시키는 것은 DVC 인코더에서 패러티 비트를 생성하기 위한 원 데이터의 양을 감소시키는 방법의 일례이다. 그리고 양자화 파라미터의 증가에 따른 현재의 패러티 버퍼의 크기(PB_c)가 PB_i*(1-PLR) 보다 더 작 은지를 판정한다(108). 여기서, PB_i는 초기 패러티 버퍼의 크기로서, 초기의 비트율 설정에 의하여 결정되는 임의의 값이다. 단계 108에서의 판정 결과, 현재의 패러티 버퍼의 크기(PB_c)가 PB_i*(1-PLR) 보다 크거나 같으면, 현재의 패러티 버퍼의 크기(PB_c)가 PB_i*(1-PLR) 보다 작아질 때까지 단계 106과 단계 108을 반복한다.Subsequently, when the current packet loss rate (PLR _n) is determined to be larger than before the packet loss rate (PLR _n-1) in step 104, the encoder first DVC increases the value of the quantization parameter (106). Increasing the value of the quantization parameter is an example of a method of reducing the amount of raw data for generating parity bits in a DVC encoder. In operation 108, it is determined whether the size of the current parity buffer PB _c is smaller than PB _i * (1-PLR) according to the increase of the quantization parameter. Here, PB _i is the size of the initial parity buffer, which is an arbitrary value determined by the initial bit rate setting. As a result of the determination in step 108, if the size of the current parity buffer PB _c is greater than or equal to PB _i * (1-PLR), the size of the current parity buffer PB _c is PB _i * (1-PLR) Repeat steps 106 and 108 until smaller.

반면, 단계 104에서 현재 패킷 손실율(PLR_n)이 이전의 패킷 손실율(PLR_n-1)보다 작은 것으로 판정되면, DVC 인코더에서는 양자화 파라미터의 값을 감소시킨다(110). 양자화 파라미터의 값을 감소시키는 것은 DVC 인코더에서 패러티 비트를 생성하기 위한 원 데이터의 양을 증가시키는 방법의 일례이다. 그리고 양자화 파라미터의 감소에 따른 현재의 패러티 버퍼의 크기(PB_c)가 PB_i*(1-PLR) 보다 더 큰지를 판정한다(112). 여기서, PB_i는 초기 패러티 버퍼의 크기로서, 초기의 비트율 설정에 의하여 결정되는 임의의 값이다. 단계 112에서의 판정 결과, 현재의 패러티 버퍼의 크기(PB_c)가 PB_i*(1-PLR) 보다 작거나 같으면, 현재의 패러티 버퍼의 크기(PB_c)가 PB_i*(1-PLR) 보다 클 때까지 단계 110과 단계 112를 반복한다.On the other hand, if it is determined in step 104 that the current packet loss rate PLR _n is less than the previous packet loss rate PLR _n-1 , the DVC encoder decreases the value of the quantization parameter (110). Reducing the value of the quantization parameter is one example of a method of increasing the amount of raw data for generating parity bits in a DVC encoder. In operation 112, it is determined whether the size of the current parity buffer PB _c is larger than PB _i * (1-PLR) according to the decrease of the quantization parameter. Here, PB _i is the size of the initial parity buffer, which is an arbitrary value determined by the initial bit rate setting. As a result of the determination in step 112, if the size of the current parity buffer PB _c is less than or equal to PB _i * (1-PLR), the size of the current parity buffer PB _c is PB _i * (1-PLR) Repeat steps 110 and 112 until greater.

이러한 본 발명의 실시예에 따른 비트율의 제어방법에 의할 경우에, 복호에 성공된 블록만을 비교한다면, 패킷 손실율이 클 경우에는 양자화 파라미터의 크기가 크기 때문에 영상의 품질이 떨어질 수 밖에 없다. 다만, 본 실시예에 의하면 복호화에 성공한 블록의 비율이 기존의 방법에 비하여 높기 때문에, 전체적인 복호화된 영상의 품질은 기존의 방법에 비하여 우수하다. 그리고 패킷 손실율이 작을 경우에는, 양자화 파라미터의 크기가 작아지기 때문에 영상의 품질은 기존의 방법에 비하여 좋아질 수 있을 뿐만 아니라, 복호화에 성공하는 블록의 비율도 일정 수준 이상을 유지할 수 있다. In the case of the method of controlling the bit rate according to the embodiment of the present invention, if only the blocks successfully decoded are compared, the quality of the image is deteriorated because the size of the quantization parameter is large when the packet loss rate is large. However, according to the present embodiment, since the ratio of successful blocks is higher than that of the conventional method, the overall quality of the decoded image is superior to the existing method. When the packet loss rate is small, the quality of the image can be improved as compared with the conventional method because the size of the quantization parameter is smaller, and the ratio of blocks that succeed in decoding can be maintained at a certain level or more.

도 9는 본 발명의 일 실시예에 따른 비트율 제어 방법이 적용된 DVC 시스템의 구성을 개략적으로 보여 주는 블록도이다. 도 9를 참조하면, DVC 시스템은 DVC 인코더(130)와 DVC 디코더(140)를 포함한다. DVC 인코더(130)는 송신측에 해당되고, DVC 디코더(140)는 수신측에 해당된다. DVC 디코더(140)의 구성 및 동작은 피드백 채널을 사용하지 않는 기존의 DVC 디코더와 동일할 수 있으므로, 이하에서는 DVC 인코더(130)의 구성 및 동작을 중심으로 설명한다.9 is a block diagram schematically illustrating a configuration of a DVC system to which a bit rate control method according to an embodiment of the present invention is applied. Referring to FIG. 9, the DVC system includes a DVC encoder 130 and a DVC decoder 140. The DVC encoder 130 corresponds to the transmitting side, and the DVC decoder 140 corresponds to the receiving side. Since the configuration and operation of the DVC decoder 140 may be the same as the existing DVC decoder that does not use a feedback channel, the configuration and operation of the DVC encoder 130 will be described below.

DVC 인코더(130)의 변환부(DCT, 131)는 입력되는 비디오 데이터에 대한 변환, 예컨대 이산 여현 변환을 수행한다. 그리고 분류기(classifier, 133)는 입력되는 비디오 데이터를 종래의 방법으로 인코딩하는 프레임(예컨대, 인트라 프레임)과 DVC 인코딩하는 프레임으로 분류한다. The transform unit (DCT) 131 of the DVC encoder 130 performs a transform, for example, a discrete cosine transform, on the input video data. The classifier 133 classifies the input video data into a frame (eg, an intra frame) that encodes the input video data using a conventional method and a frame that encodes the DVC.

점선으로 표시되어 있는 전송 비트율 제어 장치는 크로스 레이어 기반 채널 모니터(134)와 양자화기(132)를 포함한다. 크로스 레이어 기반 채널 모니터(134)는 다른 계층에서의 전송 채널의 상황과 관련된 정보, 예컨대 패킷 손실율(PLR)을 모니터한다. 그리고 양자화부(Quantizer, 132)는 타깃 왜곡(target distortion)에 기초하여 결정된 양자화 계수를 이용하여 변환 계수에 대한 양자화를 수행하는데, 이 때 양자화 계수의 값은 크로스 레이어 기반 채널 모니터(134)에서 모니터한 정보(예컨대, 패킷 손실율 등)에 기초하여 적응적으로 변동될 수 있다. 크로스 레이 어 기반 채널 모니터(134)에서 모니터한 정보(예컨대, 패킷 손실율 등)에 기초하여 양자화부(132)에서 양자화 계수를 증가 또는 감소하는 과정의 일례는 도 8을 참조하여 상세히 설명하였으므로, 여기에서는 이에 대한 부연 설명은 생략한다. The transmission bit rate control device indicated by the dotted line includes a cross layer based channel monitor 134 and a quantizer 132. The cross layer based channel monitor 134 monitors information related to the situation of the transport channel at another layer, such as packet loss rate (PLR). The quantizer 132 performs quantization on the transform coefficients using the quantization coefficients determined based on target distortion, and the values of the quantization coefficients are monitored by the cross layer based channel monitor 134. It can vary adaptively based on one piece of information (eg, packet loss rate, etc.). An example of a process of increasing or decreasing the quantization coefficient in the quantization unit 132 based on the information monitored by the cross-layer based channel monitor 134 (eg, packet loss rate, etc.) has been described in detail with reference to FIG. 8. The description of this is omitted.

CRC 생성기(136)는 양자화된 계수로부터 패러티 비트를 생성하며, 생성된 패러티 비트는 DVC 디코더(140)로 전송된다. 그리고 터보 인코더(turbo encoder, 135)는 분류기(133)에서 결정된 펑쳐리율에 기초하여, 양자화된 계수들의 비트플레인을 소정의 간격으로 펑쳐링하여 DVC 디코더(140)로 전송한다. 또한, 비디오 데이터의 I 프레임 등은 종래의 비디오 인코더(Conventional Video Encoder, 127)에서 인트라 부호화된 다음, DVC 디코더(140)로 전송된다. The CRC generator 136 generates parity bits from the quantized coefficients, and the generated parity bits are sent to the DVC decoder 140. The turbo encoder 135 punctures the bitplanes of the quantized coefficients at predetermined intervals and transmits them to the DVC decoder 140 based on the puncture rate determined by the classifier 133. In addition, an I frame or the like of video data is intra coded by a conventional video encoder 127 and then transmitted to the DVC decoder 140.

도 10은 도 9의 DVC 인코더(130)에서의 비트율 제어 방법의 일례를 설명하기 위한 도면이다. FIG. 10 is a diagram for describing an example of a method of controlling a bit rate in the DVC encoder 130 of FIG. 9.

도 10을 참조하면, 크로스 레이어 기반 채널 모니터(132)는 채널 상황에 관련된 정보, 예컨대 패킷 손실율(PLR)을 비트율 예측부(Rate Estimation)로 전달한다. 비트율 예측부에서는 우선 전달 받은 패킷 손실율(PLR) 정보를 이용하여 DVC 디코더(140)에서의 가용 비트율(R_avail)을 계산한다(Calculate available rate, 블록 B). 그리고 비트율 예측부는 비트 에러율(Bit Error Rate, BER)을 추정하며(BER Estimation, 블록 D), 디코딩에 필요한 패러티 비율을 결정한 다음 양자화부(132)로부터 받은 소스 X의 크기와 결정된 패러티 비율을 곱하여 비트율을 예측한다(parity rate decision, 블록 C). 그리고 비트율 예측부는 블록 B로부터 받은 가용 비트율(R_avail)과 블록 C로부터 받은 예측 비트율(Estimated rate)을 비교한다. 비교 결과, 예측 비트율(Estimated rate)이 가용 비트율(R_avail)보다 클 경우에는, 양자화부(132)에게 양자화 파라리터의 값을 증가시키도록 한다.Referring to FIG. 10, the cross layer based channel monitor 132 transmits information related to a channel condition, for example, a packet loss rate (PLR), to a rate estimator. The bit rate prediction unit first calculates an available bit rate R _avail in the DVC decoder 140 using the received packet loss rate (PLR) information (Calculate available rate, block B). The bit rate predictor estimates a bit error rate (BER), determines a parity rate required for decoding, and multiplies the size of the source X received from the quantizer 132 by the determined parity rate. (Parity rate decision, block C). The bit rate prediction unit compares the available bit rate R _avail received from the block B with the predicted bit rate received from the block C. As a result of the comparison, when the predicted bit rate is greater than the available bit rate R _avail , the quantization unit 132 increases the value of the quantization parameter.

계속해서, 도 9를 참조하면, DVC 디코더(140)의 종래 비디오 디코더(conventional video decoder, 141)는 기존의 방법에 따라서 종래 비디오 인코더(conventional video encoder, 127)에서 부호화된 I 프레임 등을 복호화한다. 그리고 부가 정보 생성기(Side Information generator, 142)는 종래 비디오 디코더(141)에서 복호화된 I 프레임 영상 등을 이용하여, 부가 정보(SI)를 생성한다. 그리고 터보 복호화기(Turbo Decoder, 143)는 전송 채널을 통해 수신된 패킷과 부가 정보(SI)를 이용하여 복호화를 수행한다. CRC 검토기(CRC Checker, 144)는 수신된 패러티 비트를 이용하여, 터보 복호화기(143)에서 복호가 성공적으로 이루어졌는지를 판정한다. 계속해서, 역양자화 과정과 역변환 과정을 수행함으로써, P 프레임이나 B 프레임을 복원하고, 종래의 비디오 디코더(141)에서 복원된 I 프레임 등을 이용하여, 비디오 영상을 재구성한다.9, the conventional video decoder 141 of the DVC decoder 140 decodes an I frame or the like encoded by the conventional video encoder 127 according to a conventional method. . The side information generator 142 generates side information SI using the I-frame image decoded by the conventional video decoder 141. The turbo decoder 143 performs decoding by using the packet received through the transport channel and additional information (SI). The CRC Checker 144 uses the received parity bits to determine whether the decoding was successful in the turbo decoder 143. Subsequently, by performing the inverse quantization process and the inverse transform process, the P frame or the B frame is reconstructed, and the video image is reconstructed using the I frame or the like reconstructed by the conventional video decoder 141.

이러한 본 발명의 실시예에 의하면, 피드백 채널을 사용하지 않기 때문에, 지연을 최소화할 수 있다. 또한, 크로스 레이어적인 접근을 통하여, 전송 비트율을 제어하기 때문에, DVC 복호화기에서 디코딩에 실패하는 블록의 비율을 감소시킬 수가 있다.According to this embodiment of the present invention, since the feedback channel is not used, delay can be minimized. In addition, since the transmission bit rate is controlled through a cross-layer approach, the ratio of blocks that fail to decode in the DVC decoder can be reduced.

이상의 설명은 본 발명의 실시예에 불과할 뿐, 이 실시예에 의하여 본 발명의 기술 사상이 한정되는 것으로 해석되어서는 안된다. 본 발명의 기술 사상은 특허청구범위에 기재된 발명에 의해서만 특정되어야 한다. 따라서 본 발명의 기술 사상을 벗어나지 않는 범위에서 전술한 실시예는 다양한 형태로 변형되어 구현될 수 있다는 것은 당업자에게 자명하다. The above description is only an embodiment of the present invention, and the technical idea of the present invention should not be construed as being limited by this embodiment. The technical idea of the present invention should be specified only by the invention described in the claims. Therefore, it will be apparent to those skilled in the art that the above-described embodiments may be implemented in various forms without departing from the spirit of the present invention.

도 1은 인코더에서의 예측 구조의 일례를 보여 주는 다이어그램이다.1 is a diagram illustrating an example of a prediction structure in an encoder.

도 2는 서비스의 특징과 에러에 대한 민감도에 따른 구분을 나타내는 도면이다.2 is a diagram illustrating a classification according to a service characteristic and a sensitivity to an error.

도 3은 DISCOVER DVC의 구조를 보여 주는 블록도이다.3 is a block diagram showing the structure of a DISCOVER DVC.

도 4는 PRISM DVC의 구조를 보여 주는 블록도이다.4 is a block diagram showing the structure of a PRISM DVC.

도 5는 크기가 QCIF인 Foreman 영상에서 디코딩된 영상(WZ 영상)과 부가 정보(SI)와의 차분 값(residual data, WZ-SI)의 분포를 보여 주는 그래프이다.FIG. 5 is a graph showing a distribution of residual data (WZ-SI) between a decoded image (WZ image) and additional information (SI) in a foreman image having a size QCIF.

도 6은 크로스 레이어적인 접근을 통하여 획득한 채널 상황 정보를 반영한 가상 채널 모델링의 일례를 도식적으로 보여 주는 도면이다.6 is a diagram schematically showing an example of virtual channel modeling reflecting channel state information obtained through a cross-layer approach.

도 7은 손실 환경에서 송신측에서 전송하는 비트율과 수신측에서 수신하는 비트율 사이의 관계를 보여 주는 도면이다.FIG. 7 is a diagram illustrating a relationship between a bit rate transmitted by a transmitter and a bit rate received by a receiver in a lossy environment.

도 8은 본 발명의 일 실시예에 따라서 채널 상황을 고려하여 비트율을 제어하는 방법의 일례를 보여 주는 흐름도이다.8 is a flowchart illustrating an example of a method of controlling a bit rate in consideration of channel conditions according to an embodiment of the present invention.

도 9는 본 발명의 일 실시예에 따른 비트율 제어 방법이 적용된 DVC 시스템의 구성을 개략적으로 보여 주는 블록도이다.9 is a block diagram schematically illustrating a configuration of a DVC system to which a bit rate control method according to an embodiment of the present invention is applied.

도 10은 도 9의 DVC 인코더에서의 비트율 제어 방법의 일례를 설명하기 위한 도면이다.FIG. 10 is a diagram for describing an example of a method of controlling a bit rate in the DVC encoder of FIG. 9.

Claims (8)

삭제delete 분산 비디오 코딩(Distributed Video Coding, DVC) 방법에 있어서,In the distributed video coding (DVC) method, 전송 채널의 상황을 지시하는 다른 계층에서의 채널 상황 정보에 기초하여 DVC 인코더에서의 전송 비트율을 제어하고,Control the transmission bit rate in the DVC encoder based on the channel status information in another layer indicating the status of the transmission channel, 상기 채널 상황 정보는 패킷 손실율(Packet Loss Rate, PLR)과 가용 비트율 중에서 적어도 하나인 것을 특징으로 하는 분산 비디오 코딩 방법.The channel state information is at least one of a packet loss rate (PLR) and an available bit rate. 제2항에 있어서,The method of claim 2, 상기 패킷 손실율이 이전의 패킷 손실율보다 증가한 것으로 판정되면, 상기 DVC 인코더에서는 양자화 파라미터(QP) 값을 증가시켜서 부호화를 수행하는 것을 특징으로 하는 분산 비디오 코딩 방법.And if it is determined that the packet loss rate is increased from a previous packet loss rate, the DVC encoder performs encoding by increasing a quantization parameter (QP) value. 제2항에 있어서,The method of claim 2, 상기 패킷 손실율을 이용하여 DVC 디코더에서 가용 비트율을 계산하고, Calculate the available bit rate in the DVC decoder using the packet loss rate, 디코딩에 필요한 패러티의 비율과 상기 DVC 인코더의 양자화부에서의 소스의 크기를 곱하여 예측 비트율을 구하고, The prediction bit rate is obtained by multiplying the ratio of parity required for decoding by the size of the source in the quantization unit of the DVC encoder, 상기 가용 비트율과 상기 예측 비트율을 비교하여, 상기 예측 비트율이 상기 가용 비트율보다 클 경우에는 상기 양자화부에서의 양자화 파라미터(QP)의 값을 증가시키는 분산 비디오 코딩 방법.And comparing the available bit rate with the predicted bit rate and increasing a value of a quantization parameter (QP) in the quantization unit when the predicted bit rate is larger than the available bit rate. 삭제delete 분산 비디오 코딩(Distributed Video Coding, DVC) 장치에 있어서,In the distributed video coding (DVC) apparatus, 상기 DVC 장치는 피드백 채널을 사용하지 않는 DVC 인코더와 DVC 디코더를 포함하고, The DVC device includes a DVC encoder and a DVC decoder that does not use a feedback channel, 상기 DVC 인코더는 전송 채널의 상황을 지시하는 다른 계층에서의 채널 상황 정보에 기초하여 전송 비트율을 제어하기 위한 전송 비트율 제어 장치를 포함하고,The DVC encoder includes a transmission bit rate control device for controlling the transmission bit rate based on channel status information in another layer indicating the status of the transmission channel, 상기 전송 비트율 제어 장치는 패킷 손실율에 기초하여 상기 DVC 인코더의 양자화부에서 이용하는 양자화 파라미터의 값을 증가시키거나 또는 감소시켜서 전송 비트율을 제어하는 것을 특징으로 하는 분산 비디오 코딩 장치.The apparatus for controlling transmission bit rate is to control the transmission bit rate by increasing or decreasing a value of a quantization parameter used in the quantization unit of the DVC encoder based on a packet loss rate. 제6항에 있어서, 상기 전송 비트율 제어 장치는 The apparatus of claim 6, wherein the transmission bit rate control device 상기 패킷 손실율이 이전의 패킷 손실율보다 증가한 것으로 판정되면, 상기 양자화부에서 양자화 파라미터(QP) 값을 증가시켜서 부호화를 수행하도록 하는 것을 특징으로 하는 분산 비디오 코딩 장치.And if it is determined that the packet loss rate has increased from a previous packet loss rate, the quantization unit performs encoding by increasing a quantization parameter (QP) value. 제6항에 있어서, 상기 전송 비트율 제어 장치는The apparatus of claim 6, wherein the transmission bit rate control device 상기 패킷 손실율을 이용하여 DVC 디코더에서 가용 비트율을 계산하고, Calculate the available bit rate in the DVC decoder using the packet loss rate, 디코딩에 필요한 패러티의 비율과 상기 DVC 인코더의 양자화부에서의 소스의 크기를 곱하여 예측 비트율을 구하고, The prediction bit rate is obtained by multiplying the ratio of parity required for decoding by the size of the source in the quantization unit of the DVC encoder, 상기 가용 비트율과 상기 예측 비트율을 비교하여, 상기 예측 비트율이 상기 가용비트율보다 클 경우에는 상기 양자화부에서의 양자화 파라미터(QP)의 값을 증가시키는 분산 비디오 코딩 장치.And comparing the available bit rate with the predicted bit rate and increasing the value of a quantization parameter (QP) in the quantization unit when the predicted bit rate is larger than the available bit rate.

Images