KR20030025285A - 비디오 부호화 - Google Patents

비디오 부호화 Download PDF

Info

Publication number
KR20030025285A
KR20030025285A KR10-2003-7002040A KR20037002040A KR20030025285A KR 20030025285 A KR20030025285 A KR 20030025285A KR 20037002040 A KR20037002040 A KR 20037002040A KR 20030025285 A KR20030025285 A KR 20030025285A
Authority
KR
South Korea
Prior art keywords
picture
frame
video
sequence
pictures
Prior art date
Application number
KR10-2003-7002040A
Other languages
English (en)
Other versions
KR100960282B1 (ko
Inventor
한눅세라미스카
Original Assignee
노키아 모빌 폰즈 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=9897578&utm_source=***_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=KR20030025285(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 노키아 모빌 폰즈 리미티드 filed Critical 노키아 모빌 폰즈 리미티드
Publication of KR20030025285A publication Critical patent/KR20030025285A/ko
Application granted granted Critical
Publication of KR100960282B1 publication Critical patent/KR100960282B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142—Detection of scene cut or scene change
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H04N19/166—Feedback from the receiver or from the transmission channel concerning the amount of transmission errors, e.g. bit error rate [BER]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

화상들의 시퀀스를 나타내는 비디오 신호를 부호화하는 방법에 있어서, 화상(I0)를 생성하기 위하여 상기 시퀀스의 다른 화상을 참조하지 않고 상기 시퀀스의 제1 화상(또는 화상의 세그먼트)을 부호화하는 단계 및 대응하는 시간적으로 예측된 화상(P4) 또는 화상의 세그먼트를 생성하기 위하여 상기 시퀀스의 다른 화상(I4)을 참조하여 상기 제1 화상(또는 화상의 세그먼트)을 부호화하는 단계를 포함하는 비디오 신호 부호화 방법이 제공된다.

Description

비디오 부호화{Video coding}
비디오 시퀀스는 일련의 정지 화상들 또는 프레임들로 이루어져 있다. 비디오 압축 방법들은 비디오 시퀀스들의 중복되고 지각적으로 관련없는 부분들을 감소시키는 것에 근거한다. 비디오 시퀀스들에서의 리던던시(redundancy)는 스펙트럼적 리던던시, 공간적 리던던시 및 시간적 리던던시로 분류될 수 있다. 스펙트럼적 리던던시는 동일한 화상의 상이한 색 성분들간의 유사성을 지칭한다. 공간적 리던던시는 화상내의 이웃하는 화소들간의 유사성에 기인한다. 시간적 리던던시는 이전의 이미지에 나타나는 객체들이 또한 현재의 이미지에 나타날 가능성이 있기 때문에 존재한다. 압축은 이 시간적 리던던시를 이용함으로써 그리고 앵커(anchor) 또는 참조 화상으로 불리우는, 다른 화상으로부터 현재 화상을 예측함으로써 달성될 수 있다. 추가 압축은 현재 화상과 이전 화상간의 움직임을 기술하는 움직임 압축 데이터를 생성함으로써 달성된다.
그러나, 보통 충분한 압축은 상기 시퀀스의 고유한 리던던시를 감소하는 것만으로는 달성될 수 없다. 따라서, 비디오 부호기들은 또한 주관적으로 덜 중요한 비디오 시퀀스의 부분들의 품질을 감소시키려고 한다. 더욱이, 부호화된 비트-스트림의 리던던시는 압축 매개 변수들 및 계수들의 효과적인 무손실 부호화에 의해 감소된다. 주된 기술은 가변장 코드들을 사용하는 것이다.
전형적으로 비디오 압축 방법들은 시간적 리던던시 감축을 이용하는 화상들과 시간적 리던던시 감축을 이용하지 않는 화상들간을 구별한다. 시간적 리던던시 감축 방법들을 이용하지 않는 압축된 화상들은 보통 인트라(INTRA) 또는 I-프레임들 또는 I-화상들(I-pictures)이라고 불리운다. 시간적으로 예측된 이미지들은 보통 현재 화상 이전에 발생하는 화상으로부터 순방향으로 예측되고 인터(INTER) 또는 P-프레임들 또는 P-화상들이라고 불리운다. 상기 인터 프레임 경우에, 상기 예측된 움직임-보상된 화상은 충분히 매우 정확해서 공간적으로 압축된 예측 오차 프레임은 각 인터 프레임과 연관된다. 인터 화상들은 인트라-부호화된 영역들을 포함할 수 있다.
또한 많은 비디오 압축 방식들은, 일반적으로 B-화상들 또는 B-프레임들이라고 지칭되는, 시간적으로 양방향으로 예측된 프레임들을 사용한다. B-화상들은 I- 및/또는 P-프레임들의 앵커 화상 쌍들간에 삽입되고 이들 앵커 화상들의 하나 또는 양자로부터 예측된다. B-화상들은 보통 순방향 예측된 화상들과 비교하여 증가된 압축을 초래한다. B-화상들은 앵커 화상들로서 사용되지 않는다. 즉 다른 화상들은 B-화상들로부터 예측되지 않는다. 그러므로, 그들은 미래의 화상들의 화상 품질에 영향을 주지 않고 (고의적으로 또는 고의적이 아니게) 버려질 수 있다. B-화상들은 P-화상들과 비교하여 압축 성능을 개선시킬 수 있는 반면에, 그들의 생성은 더 큰 계산 복잡성 및 메모리 사용을 필요로 하고, 그들은 부가적인 지연들을 야기한다.이것은 비디오 스트리밍과 같은 비-실시간 애플리케이션들에는 문제가 되지 않을 수 있지만, 비디오-회의와 같은 실시간 애플리케이션에서 문제를 야기할 수 있다.
전형적으로 압축된 비디오 클립은 시간적으로 독립적인 인트라 화상들 및 시간적으로 차별적으로 부호화된 인터 화상들로 대략 분류될 수 있다. 인트라 화상들에서의 압축 효율은 보통 인터 화상들보다 더 낮기 때문에, 인트라 화상들은 저비트율 애플리케이션들에서 특히 드물게 사용된다.
비디오 시퀀스는 다수의 장면들 또는 샷들(shots)로 이루어질 수 있다. 화상 내용들은 장면마다 현저하게 다를 수 있어서, 장면의 제1 화상은 전형적으로 인트라 부호화된다. 텔레비전 및 영화 자료에 빈번한 장면 변화들이 존재하는 반면에, 장면 컷들은 비디오 회의에서 비교적 드물다. 더욱이, 전형적으로 재구성된 비디오 신호에서의 전송 에러들의 시간적 전파를 중단시키고 비디오 비트-스트림에 랜덤 액세스 포인트들을 제공하기 위하여 인트라 화상들이 삽입된다.
압축된 비디오는 여러가지 이유로 전송 에러들에 의해 쉽게 손상된다. 첫번째로, 시간적 예측 차분 부호화의 이용에 기인하여(인터 프레임들), 에러는 공간적으로 그리고 시간적으로 양자로 전파된다. 실제로 이것은 일단 에러가 발생하면, 비교적 긴 시간동안 인간의 눈에 쉽게 보일 수 있다는 것을 의미한다. 특히, 소수의 인트라-부호화된 프레임들만이 존재하는 저비트율에서의 전송에 영향을 받기 쉽고, 따라서 시간적 에러 전파는 잠시동안 중단되지 않는다. 두번째로, 가변장 코드들의 사용은 에러들에 대한 민감도를 증가시킨다. 비트 에러가 코드워드를 변경시킬 때, 복호기는 코드워드 동기를 잃고 또한 다음 동기(또는 시작) 코드까지 부정확하게 (몇몇 비트들을 포함하는) 다음 무오류 코드워드들을 복호화한다. 동기 코드는 다른 코드워드들의 어떤 합법적 조합으로부터 생성될 수 없는 비트 패턴이고 이러한 코드들은 재-동기화를 가능하게 하기 위하여 이따금 상기 비트 스트림에 부가된다. 더욱이, 에러들은 데이터가 전송중 손실될 때 발생한다. 예를 들어, IP 네트워크에서 신뢰성없는 사용자 데이터그램 프로토콜(UDP: Unreliable User Datagram Protocol) 전송 프로토콜을 사용하는 비디오 애플리케이션들에서, 네트워크 요소들은 부호화된 비디오 비트-스트림의 일부분들을 버릴 수 있다. 더욱이, 부호화된 인트라 화상의 크기는 전형적으로 부호화된 인터 화상의 크기보다 훨씬 더 크다. 그러므로, 주기적인 인트라 프레임들이 부호화될 때, 인트라 화상이 손상될 가능성이 더 있을 수 있다.
전송 경로에 도입된 손상을 제기하는 많은 방법들이 수신기를 위해 존재한다. 일반적으로, 신호의 수신시, 전송 에러들이 우선 검출되고 그다음 상기 수신기에 의해 정정되거나 은폐된다. 에러 정정은 아무런 에러들도 처음부터 야기되지 않았던 것처럼 완전하게 잘못된 데이터를 복구하는 프로세스를 지칭한다. 에러 은폐는 전송 에러들이 재구성된 비디오 시퀀스에서 거의 보이지 않도록 전송 에러들의 영향들을 은폐하는 프로세스를 지칭한다. 전형적으로 어떤 양의 리던던시는 에러 검출, 정정 및 은폐를 용이하게 하기 위하여 소스 또는 전송 부호화에 의해 부가된다.
스트리밍 애플리케이션들에 있어서, 역다중화-압축해제-재생 체인은 여전히 상기 클립의 다음 부분들을 다운로드하면서 행해질 수 있다. 이 경우, 클라이언트는 손상된 인트라 화상의 재전송을 요청할 수 있다. 그러나, 때때로 상기 스트리밍 서버는 이러한 요청들에 응답할 수 없을지도 모르거나, 상기 스트리밍 서버와 상기 클라이언트간의 통신 프로토콜은 이러한 요청들을 전송할 수 없을지도 모른다. 예를 들어, 상기 서버는 멀티캐스트 스트림, 즉 다수의 클라이언트들을 위해 단일 스트림을 송신할 수 있다. 상기 클라이언트들 중 하나가 손상된 인트라 화상을 수신하고 재전송에 대한 요청을 송신하는 경우, 상기 멀티캐스팅 서버는 상기 멀티캐스트 채널을 사용하여 모든 클라이언트들에 재전송된 인트라 화상을 송신하거나 특정 클라이언트에 재전송을 위한 부가적인 유니캐스트(unicast) 채널을 개방할 것이다. 전자의 경우는 대부분의 클라이언트들에 대해 불필요하게 네트워크 트래픽을 증가시키고 후자의 경우는 애플리케이션들 및 네트워크 자원 할당을 복잡하게 한다. 실 시간 제어 프로토콜(RTCP: Real Time Control Protocol)은 특정 화상들의 재전송들을 요청할 수 없는 전송 프로토콜의 예이다. 서버들은 RTCP에 의해 제공된 수신기 보고들에 기초하여 어떤 화상들을 재전송할지를 결정할 수 없다.
현재의 비디오 부호화 표준들은 자급 자족 비디오 비트-스트림을 위한 구문(syntax)을 정의한다. 작성시 가장 대중적인 표준들은 ITU-T 권고 H.263, 1998년 2월, "저비트율 통신을 위한 비디오 부호화"; ISO/IEC 14496-2, "오디오-비주얼 객체들의 일반적인 부호화 파트 2: 비주얼", 1999(MPEG-4로 알려짐); 및 ITU-T 권고 H.262(ISO/IEC 13818-2)(MPEG-2로 알려짐)이다. 이들 표준들은 비트-스트림들 및 대응적으로 이미지 시퀀스들과 이미지들에 대한 구문을 정의한다.
ITU-T H.263 부록 N 참조 화상 선택(RPS: Reference Picture Selection) 모드와 같은 몇몇 비디오 부호화 방식들은 인터 프레임의 예측 참조 프레임에 대한 표시자 또는 표시자들을 포함한다.
비디오 리던던시 부호화(VRC: Video Redundancy Coding)는 또한 H.263의 부록 N에 기술되어 있다. VRC에 있어서, 독립적으로 부호화된 인터-화상들의 다수의 "스레드들(threads)"이 생성된다. 그러므로 하나의 스레드내의 프레임의 손상은 다른 스레드들의 복호화에 영향을 미치지 않을 것이다. 주기적으로, 모든 스레드들은 모든 스레드들내에서 중복적으로 표시될 수 있는 인트라-화상 또는 비-인트라 화상일 수 있는 소위 동기 프레임에 수렴된다. 이 동기 프레임으로부터, 모든 독립적인 스레드들이 다시 시작된다.
상기 VRC 방법의 원리는 모든 화상들이 라운드-로빈 방식으로 상기 스레드들 중 하나에 할당되는 방법으로 화상들의 시퀀스를 2개 이상의 스레드들로 분할하는 것이다. 각 스레드는 독립적으로 부호화된다. 한 스레드내에서의 프레임률은 전체 프레임률보다 더 낮다: 2개의 스레드들의 경우 절반, 3개의 스레드들의 경우 3분의 1, 등등. 전형적으로 한 스레드내의 2개의 P-화상들간의 움직임 관련 변화들을 정확하게 표시하는데 요구되는 일반적으로 더 큰 변화들 및 더 긴 움직임 벡터들 때문에 이것은 실질적인 부호화 위반을 초래한다. 규칙적인 간격에서 모든 스레드들은 소위 동기 프레임에 수렴된다. 이 동기 프레임으로부터, 새로운 일련의 스레드들이 시작된다.
상기 스레드들 중 하나가 손상된 경우(예를 들어 패킷 손실 때문에), 잔여 스레드들은 다음 동기 프레임을 예측하는데 사용될 수 있다. 전형적으로 약간의 화상 열화를 초래하는, 손상된 스레드의 복호화를 계속 진행하는 것이 가능하거나, 프레임률의 감소를 초래하는 그것의 복호화를 중지하는 것이 가능하다. 그러나, 상기 스레드들의 길이가 합당하게 작게 유지되는 경우, 양 형태의 열화들은 비교적 단시간동안, 즉 다음 동기 프레임이 도달될 때까지, 지속될 것이다.
동기 프레임들은 항상 손상되지 않은 스레드들 중 하나로부터 예측된다. 이것은 전송된 I-화상들의 수가 적게 유지될 수 있다는 것을 의미하는데, 이것은 재-동기화를 완료할 필요가 없기 때문이다. 모든 스레드들이 2개의 동기 프레임들간에 손상되는 경우에만, 정확한 동기 프레임 예측은 더 이상 가능하지 않다. 이러한 상황에서, VRC를 채용하지 않는 경우가 되는 바와 같이, 다음 I-화상이 정확하게 복호화될 때까지 성가신 아티팩트들이 존재할 것이다.
본 발명은 비디오 부호화에 관한 것이다.
도 1은 멀티미디어 이동 통신 시스템을 도시한 것이다.
도 2는 멀티미디어 단말기의 멀티미디어 구성요소들의 예를 도시한 것이다.
도 3은 비디오 코덱의 예를 도시한 것이다.
도 4는 본 발명에 의한 비디오 부호기의 동작을 도시한 흐름도이다.
도 5는 본 발명에 의한 비디오 부호기의 제1 실시예의 출력 예를 도시한 것이다.
도 6은 본 발명의 제1 실시예에 의한 비디오 복호기의 동작을 도시한 흐름도이다.
도 7은 본 발명의 제2 실시예에 의한 비디오 복호기의 동작을 도시한 흐름도이다.
도 8은 본 발명의 다른 실시예를 도시한 것이다.
도 9는 본 발명에 의한 비디오 부호기 및/또는 복호기가 통합될 수 있는 멀티미디어 콘텐츠 생성 및 검색 시스템을 도시한 것이다.
본 발명의 일 태양에 의하면, 화상들의 시퀀스를 나타내는 비디오 신호를 부호화하는 방법에 있어서, 상기 시퀀스의 다른 화상을 참조하지 않고 상기 시퀀스의 제1 화상의 적어도 일부를 부호화하는 단계 및 대응하는 시간적으로 예측된 화상을 생성하기 위하여 상기 시퀀스의 다른 화상을 참조하여 상기 제1 화상의 적어도 일부를 부호화하는 단계를 포함하는 비디오 신호 부호화 방법이 제공된다.
본 발명은 프레임 또는 프레임의 일부가 인트라 방식으로 부호화될 때는 언제나 적용가능하다. 부호기가 인트라 방식으로 프레임(또는 프레임의 일부)을 부호화할 때, 상기 부호기는 또한, 이번에는 상기 비디오 시퀀스내의 다른 프레임을 참조하여 시간적인 예측 방식으로, 다시 상기 프레임(또는 상기 프레임의 일부)을 부호화한다.
본 발명은 원래의 인트라 화상이 분실되거나 손상되는 경우조차 복호기에서의 인트라 화상 복구를 가능하게 한다. 송신기와 수신기간의 상호작용은 상기 인트라 화상을 복구하는데 필요하지 않다. 더욱이, 어떤 상황에서 본 발명은 종래 기술의 순방향 에러 정정 방법들보다 더 낮은 비트율 오버헤드를 초래한다.
바람직하기로는, 다른 화상을 참조하지 않고 부호화된 모든 화상(또는 화상 세그먼트)은 또한 상기 시퀀스의 다른 화상을 참조하여 부호화된다.
제1 화상(또는 화상 세그먼트)은 시간적으로 상기 제1 화상 이전에 상기 시퀀스에서 발생한 다른 화상을 참조하여 그리고/또는 시간적으로 상기 제1 화상 이후에 상기 시퀀스에서 발생하는 다른 화상을 참조하여 부호화될 수 있다. 상기 제1 화상(또는 화상 세그먼트)은 상기 시퀀스에서 발생하는 다른 화상들을 참조하여 여러번 부호화될 수 있다.
본 발명의 제2 실시예에 있어서, 화상들의 시퀀스를 나타내는 비디오 신호를 수신하기 위한 입력을 포함하는 비디오 부호기에 있어서, 상기 시퀀스의 다른 화상을 참조하지 않고 상기 시퀀스의 제1 화상 또는 상기 제1 화상의 일부를 부호화하고 대응하는 시간적으로 예측된 화상을 생성하기 위하여 상기 시퀀스의 다른 화상을 참조하여 상기 제1 화상 또는 상기 제1 화상의 일부를 부호화하도록 되어 있는 비디오 부호기가 제공된다.
또한 본 발명은 비디오 코덱 및 본 발명에 의한 비디오 코덱을 포함하는 멀티미디어 시스템까지 확장된다.
본 발명의 다른 태양에 의하면, 화상들의 시퀀스를 나타내는 비디오 신호를 부호화하는 방법에 있어서, 상기 시퀀스의 다른 화상을 참조하지 않고 상기 시퀀스의 제1 화상의 세그먼트를 부호화하는 단계 및 대응하는 시간적으로 예측된 화상 세그먼트를 생성하기 위하여 상기 시퀀스의 다른 화상을 참조하여 상기 제1 화상의 적어도 상기 세그먼트를 부호화하는 단계를 포함하는 비디오 신호 부호화 방법이 제공된다.
또한 비디오 복호화 방법은, 비디오 시퀀스의 부호화된 화상들을 나타내는 신호를 수신하는 단계와, 시간적으로 예측되지 않은 화상 또는 시간적으로 예측되지 않은 화상의 일부가 손상되었는지를 결정하고 만약 그렇다면 상기 화상 또는 상기 화상의 일부의 시간적으로 예측된 표시를 감시하는 단계 및 상기 화상 또는 상기 화상의 일부의 상기 시간적으로 예측된 표시의 수신시, 다른 화상을 참조하여 상기 화상 또는 상기 화상의 일부를 복호화하는 단계를 포함한다.
또한 본 발명의 다른 태양에 의하면, 비디오 시퀀스의 부호화된 화상들을 나타내는 신호를 수신하기 위한 입력을 포함하는 비디오 복호기에 있어서, 비-시간적으로 예측된 프레임 또는 상기 프레임의 일부가 손상되었는지를 결정하고 만약 그렇다면 상기 프레임 또는 상기 프레임의 일부의 시간적으로 예측된 표시를 감시하도록 되어 있으며, 상기 프레임 또는 상기 프레임의 일부의 상기 시간적으로 예측된 표시의 수신시, 다른 프레임을 참조하여 상기 프레임 또는 상기 프레임의 일부의 상기 시간적으로 예측된 표시를 복호화하도록 되어 있는 비디오 복호기가 제공된다.
본 발명은 본 발명에 의한 비디오 부호기 또는 비디오 복호기를 통합하는 휴대용 전자 장치까지 확장된다.
이제 본 발명이 첨부된 도면들을 참조하여 단지 예로서 설명될 것이다.
도 1은 전형적인 멀티미디어 이동 통신 시스템을 도시한 것이다. 제1 멀티미디어 이동 단말기(1)는 이동 통신 네트워크(4)에 대한 무선 링크(3)를 통해 제2 멀티미디어 이동 단말기(2)와 통신한다. 제어 데이터는 멀티미디어 데이터 뿐만 아니라, 상기 두 단말기들(1, 2)간에 송신된다.
도 2는 단말기(1)의 전형적인 멀티미디어 구성요소들을 도시한 것이다. 상기 단말기는 비디오 코덱(10), 오디오 코덱(20), 데이터 프로토콜 매니저(30), 제어 매니저(40), 다중화기/역다중화기(50) 및 (필요한 경우) 모뎀을 포함한다. 상기 비디오 코덱(10)은 상기 단말기의 비디오 입력/출력 장치(70)(예를 들어 카메라)로부터 부호화를 위한 신호들을 수신하고 상기 비디오 입력/출력 장치(70)의 디스플레이상에 상기 단말기(1)에 의한 디스플레이를 위해 원격 단말기(2)로부터 복호화를 위한 신호들을 수신한다. 상기 오디오 코덱(20)은 상기 단말기(1)의 오디오 입력/출력 장치(75)(예를 들어, 마이크로폰)로부터 부호화를 위한 신호들을 수신하고 상기 단말기(1)의 오디오 입력/출력 장치(75)(예를 들어, 라우드스피커)에 의한 재생을 위하여 원격 단말기(2)로부터 복호화를 위한 신호들을 수신한다. 상기 단말기는 무선 전화기와 같은 휴대용 무선 통신 장치일 수 있다.
상기 제어 매니저(40)는 상기 비디오 코덱(10), 상기 오디오 코덱(20) 및 상기 데이터 프로토콜 매니저(30)의 동작을 제어한다. 그러나, 본 발명은 상기 비디오 코덱(10)의 동작과 관련되기 때문에, 상기 오디오 코덱(20)과 상기 프로토콜 매니저(30)에 대한 추가 논의는 제공되지 않을 것이다.
도 3은 본 발명에 의한 비디오 코덱(10)의 예를 도시한 것이다. 상기 비디오 코덱은 부호기부(100) 및 복호기부(200)를 포함한다. 상기 부호기부(100)는 상기 단말기(1)의 카메라 또는 비디오 소스(미도시)로부터 비디오 신호를 수신하기 위한입력(101)을 포함한다. 스위치(102)는 상기 부호기를 부호화의 인트라-모드와 인터-모드간에 전환시킨다. 상기 비디오 코덱(10)의 상기 부호기부(100)는 DCT 변환기(103), 양자화기(104), 역 양자화기(108), 역 DCT 변환기(109), 가산기(110), 하나 이상의 화상 저장부들(107), 예측 오차를 형성하기 위한 감산기(106), 스위치(115) 및 부호화 제어 매니저(105)를 포함한다.
상기 비디오 코덱(10)의 복호기부(200)는 역 양자화기(220), 역 DCT 변환기(221), 움직임 보상기(222), 복수의 화상 저장부들(223) 및 제어기(224)를 포함한다. 상기 제어기(224)는 상기 역다중화기(50)에 의해 상기 부호화된 멀티미디어 스트림으로부터 역다중화된 비디오 코덱 제어 신호들을 수신한다. 실제로 상기 부호기의 제어기(105) 및 상기 복호기의 제어기(224)는 동일한 프로세서일 수 있다.
본 발명에 의한 부호기의 동작이 이제 설명될 것이다. 상기 비디오 코덱(10)은 부호화될 비디오 신호를 수신한다. 상기 비디오 코덱의 상기 부호기(100)는 DCT 변환, 양자화 및 움직임 보상을 수행함으로써 상기 비디오 신호를 부호화한다. 그다음 상기 부호화된 비디오 데이터는 상기 다중화기(50)로 출력된다. 상기 다중화기(50)는 상기 비디오 코덱(10)으로부터의 상기 비디오 데이터와 (적합한 다른 신호들 뿐만 아니라) 상기 제어기(40)로부터의 제어 데이터를 멀티미디어 신호로 다중화한다. 상기 단말기(1)는 상기 멀티미디어 신호를 (필요한 경우) 상기 모뎀(60)을 통해 상기 수신 단말기(2)로 출력한다.
인트라-모드에서, 상기 입력(101)으로부터의 비디오 신호는 DCT 변환기(103)에 의해 DCT 계수들로 변환된다. 그다음 상기 DCT 계수들은 그들이 양자화되는 양자화기(104)로 전달된다. 상기 스위치(102) 및 상기 양자화기(104) 양자는 상기 비디오 코덱의 부호화 제어 매니저(105)에 의해 제어되고, 상기 부호화 제어 매니저는 또한 상기 제어 매니저(40)에 의해 상기 수신 단말기(2)로부터 피드백 제어를 수신할 수 있다. 그다음 상기 양자화기에 의해 출력된 데이터를 상기 역 양자화기(108)를 통해 전달하고 역 DCT 변환(109)을 상기 역 양자화된 데이터에 적용함으로써 복호화된 화상이 형성된다. 결과로서 생기는 데이터는 가산기(110)에 의해 상기 화상 저장부(107)에 가산되고, 스위치(115)는 상기 가산기(110)에 아무런 데이터도 제공하기 않도록 동작된다.
인터(INTER) 모드에서, 상기 스위치(102)는 상기 입력(101)으로부터의 신호와 상기 화상 저장부(107)에 저장된 참조 화상간의 차를 상기 감산기(106)로부터 수용하도록 동작된다. 상기 감산기(106)로부터 출력된 상기 차 데이터(difference data)는 현재 화상과 상기 화상 저장부(107)에 저장된 참조 화상간의 예측 오차를 나타낸다. 움직임 추정기(111)는 종래의 방법으로 상기 화상 저장부(107)내의 데이터로부터 움직임 보상 데이터를 생성할 수 있다.
상기 부호화 제어 매니저(105)는 인트라 부호화 또는 인터 부호화를 적용할지를 결정하거나 상기 감산기(106)의 출력에 근거하여 또는 수신 복호기로부터의 피드백 제어 데이터에 응답하여 도대체 상기 프레임을 부호화할지를 결정하고 이에 따라 상기 스위치(102)를 동작시킨다. 상기 부호화 제어 매니저는 현재 프레임과 참조 프레임간의 유사성이 충분할 때 또는 상기 프레임을 부호화할 시간이 없을때, 수신된 프레임을 전혀 부호화하지 않을 것인지를 결정할 수 있다.
피드백 제어 데이터에 응답하지 않을 때, 상기 부호기는 전형적으로 (모든 다른 프레임들이 P-프레임들이 되는) 부호화의 시작시에만 또는 정기적인 주기, 예를 들어 매 5초마다 또는 상기 감산기의 출력이 임계값을 초과할 때, 즉 현재 화상 및 상기 화상 저장부(107)에 저장된 화상이 너무 유사하지 않아서 효과적인 시간 예측을 할 수 없다고 판정될 때, 프레임을 인트라-프레임으로서 부호화한다. 또한 상기 부호기는 특정의 규칙적인 시퀀스, 예를 들어 I B B P B B P B B P B B P B B I B B P 등과 같이 프레임들을 부호화하도록 프로그램될 수 있다.
상기 비디오 코덱은 인트라 부호화된 화상 또는 인터 부호화된 화상(112a)의 예측 오차 데이터의 양자화된 DCT 계수들, 상기 양자화 인덱스(112b)(즉 사용된 상기 양자화기의 상세 정도), 수행된 부호화(I 또는 P/B)의 모드를 나타내는 인트라/인터 플래그(112c), 부호화되는 프레임의 수를 나타내는 전송 플래그(112d) 및 부호화되는 인터 화상의 경우 움직임 벡터들(112e)을 출력한다. 이들은 다른 멀티미디어 신호들과 함께 상기 다중화기(50)에 의해 함께 다중화된다.
도 4는 본 발명의 제1 실시예에 의한 부호기의 동작을 도시한 흐름도이다. 상기 부호기는 인트라 부호화된 프레임 그 자체 뿐만 아니라 인트라 부호화된 프레임에 대응하는 하나 이상의 시간적으로 예측된 프레임들을 생성한다. 간략화를 위하여 설명은 인터 및 인트라 프레임들의 처리만을 언급한다. 다른 유형의 프레임들(예를 들어 B-프레임들)은 설명에서 생략되었다. 이들은 종래의 방법으로 처리된다.
우선 상기 부호기는 프레임을 수신한다(401). 상기 부호기는 (종래의 방법으로) 상기 프레임을 부호화할지 또는 스킵할지를 결정한다(402). 상기 프레임을 부호화하기로 결정된 경우, 상기 부호기는 상기 프레임을 인터 프레임(404) 또는 인트라 프레임(405)으로서 부호화할지를 결정한다(403). 전자의 경우, 상기 프레임은 종래의 시간적인 예측 방법으로 부호화된다(404). 후자의 경우, 상기 프레임은 종래의 비-시간적인 예측 방법으로 부호화된다(405). 상기 프레임을 인트라 프레임으로서 부호화하는 결정(405)은 상기 부호기에서 설정된 주기적인 인트라 요청에 응답하는 것일 수 있거나 수신 복호기로부터 수신된 특정 요청에 응답하는 것일 수 있다. 대안적으로, 그것은 압축 효율의 관점에서 유익한 인트라 화상을 사용하는 화상 내용의 중대한 변화가 존재함을 결정하는 상기 부호기에 응답하는 것일 수 있다. 또한 이것은 비공식적으로 장면 컷으로서 지칭될 수 있다.
본 발명은 프레임 또는 프레임의 세그먼트가 인트라 방법으로 부호화될 때는 언제나 적용가능하다. 상기 부호기가 프레임을 인트라 프레임으로서 부호화할 때, 상기 부호기는 또한 이번에는 상기 비디오 시퀀스내의 다른 프레임을 참조하여 시간적인 예측 방법으로 상기 프레임(또는 상기 프레임의 세그먼트)을 다시 부호화한다(407, 408).
상기 비디오 시퀀스의 제1 프레임 이외의 모든 프레임에 대해서, 인트라-부호화된 프레임은 시간적으로 부호화될 프레임 이전에 상기 비디오 시퀀스내에서 발생하는 프레임을 참조하여 시간적인 예측 방법으로 즉 순방향 예측에 의해 부호화된다(407). 이 예외는 또한 장면 컷 이후에 제1 인트라 부호화된 프레임에 대한 경우일 수 있다.
상기 부호기가 상기 프레임이 부호화될 제1 인트라 프레임(또는 장면 컷 이후에 부호화될 제1 인트라 프레임)이라고 결정하는 경우, 상기 부호기는 이번에는 시간적으로 부호화될 프레임 이후에 상기 비디오 시퀀스내에서 발생하는 프레임을 참조하여 예측 방법으로, 즉 역방향 예측에 의해 상기 프레임을 다시 부호화한다(408). 그러므로 상기 부호기는 다음 프레임을 참조하여 상기 예측된 프레임을 부호화할 수 있기 전에 상기 다음 프레임이 부호화를 위해 수신될 때까지 기다려야 한다.
도 4에 도시된 예에서, 상기 부호기는 다음 인트라 프레임이 부호화될 때까지 기다리고(409) 그다음 상기 장면의 제2 인트라 프레임을 참조하여 선행 인트라-부호화된 프레임의 역방향 예측 표시를 생성한다(408).
비디오 시퀀스의 상기 제1 인트라 화상 이후의 모든 인트라 화상들은 순방향 예측 방법 및/또는 역방향 예측 방법으로 부호화된 시간적으로 예측된 표시(들)를 가질 수 있다.
도 5는 본 발명에 의한 부호기의 프레임별 출력을 도시한 것이다. I0은 비디오 시퀀스의 맨 처음(또는 장면 컷 이후)에 나타나는 인트라 부호화된 화상이다. 도시된 시스템은 주기적인 인트라 화상들을 사용하고, I4는 이러한 화상이다. I0 및 I4를 전송 에러들로부터 보호하기 위하여, 각 인트라 부호화된 화상의 제2 표시가 시간적으로 그리고 예측적으로 부호화되고 전송된다. 화상 4의 제2 표시는 화상 0을 참조하여 예측된 (그리고 움직임 보상된) 인터 화상이다. 상기 제2 표시는 도5에서 P4로 표시된다. P4는 이전 프레임들 I0, P1, P2 또는 P3 중 어느 것으로부터 예측될 수 있다. 바람직하기로는 화상 0이 선택되는데, 이것은 그렇지 않으면 P4가 I0에서 시작하는 예측 경로에서 어떤 전송 에러들에 영향을 받기 쉬울 것이기 때문이다. 수신 복호기는 디스플레이/참조를 위한 화상을 재구성하기 위하여 화상 4의 어떤 표시를 사용할 수 있다.
화상 0을 전송 에러들로부터 보호하기 위하여, 동일한 화상의 제2 표시가 부호화되고 전송된다. 화상 0은 비디오 시퀀스의 제1 인트라 부호화된 프레임이다. 이것은 전체 비디오 시퀀스일 수 있고 전체 비디오 시퀀스의 부집합의 제1 인트라 부호화된 프레임(예를 들어, 비주얼-콘텐츠 불연속 바로 이후에 발생하는 인트라 프레임, 예를 들어 장면 컷)일 수 있다. 이러한 인트라-화상에 대한 참조 화상의 선택 방법은 I4에 대해 사용된 것과 다르다. 그 대신, 화상 0의 제2 표시는 다음 주기적인 인트라 화상에 대응하는 화상(상기 예에서 화상 4)을 참조하여 예측된 (그리고 움직임 보상된) 인터 화상이다. I0이 손상된 경우, 수신기는 I4 및 P0이 수신될 때까지 기다릴 수 있고, 그 후 상기 수신기는 화상 0을 재구성할 수 있다. 다시 P0은 프레임 I4 이외의 화상으로부터 예측될 수 있지만, 인트라 방법으로 부호화된 시간적으로 가장 근접한 프레임으로부터의 예측이 선호된다.
상기 부호화된 데이터는 그것이 부호화된 순서, 즉 I0, P1, P2, P3, I4, P4, P0, P5... 등으로 전송될 수 있다. 대안적으로 상기 데이터의 프레임들은 재-순서화될 수 있다.
상기 단말기(1)를 단말기(2)로부터 부호화된 비디오 데이터를 수신하는 것으로서 고려할 때, 상기 비디오 코덱(10)의 동작이 이제 그것의 복호화 역할을 참조하여 설명될 것이다. 상기 단말기(1)는 전송 단말기(2)로부터 멀티미디어 신호를 수신한다. 역다중화기(50)는 상기 멀티미디어 신호를 역다중화하고 상기 비디오 데이터를 상기 비디오 코덱(10)에 전달하며 상기 제어 데이터를 상기 제어 매니저(40)에 전달한다. 상기 비디오 코덱의 복호기(200)는 상기 데이터를 역 양자화하고, 역 DCT 변환하며 움직임 보상함으로써 상기 부호화된 비디오 데이터를 복호화한다. 상기 복호기의 제어기(124)는 수신된 데이터의 무결성을 검사하고, 에러가 검출된 경우, 하기에 설명되는 방법으로 상기 에러를 은폐하는 것을 시도한다. 그다음 상기 복호화되고, 정정되며 은폐된 비디오 데이터는 상기 화상 저장부들(223) 중 하나에 저장되고 상기 수신 단말기(1)의 디스플레이(70)상에 재생을 위해 출력된다.
비디오 데이터의 에러들은 화상 레벨, 화상 세그먼트 레벨(예를 들어 GOB(Group of Blocks) 또는 슬라이스 레벨) 또는 매크로블록 레벨에서 발생할 수 있다. 에러 검사는 이들 레벨 중 어느 하나에서 수행될 수 있다.
도 6은 본 발명에 의한 비디오 복호기의 동작을 도시한 흐름도이다. 우선 상기 신호를 도 5에 도시된 것으로서 고려하면, 본 발명에 의한 복호기가 상기 신호를 수신할 때 상기 신호의 각 프레임은 종래의 방법으로 복호화되고 그다음 디스플레이 수단상에 디스플레이된다. 상기 복호화된 프레임은 종래의 방법으로 에러 정정될 수 있거나 에러 은폐될 수 있다. 프레임이 복호화될 때마다, 상기 복호기는 상기 프레임이 디스플레이될 때를 결정한다. 이것은 상기 프레임의 헤더의 시간 참조(TR: Temporal Reference) 필드를 검사함으로써 행해질 수 있거나, 상기 비디오가 패킷들로 전송되는 경우, 상기 패킷들의 타임-스탬프들이 검사될 수 있다.
다음 순서: I0, P1, P2, P3, I4, P4, P0, P5... 등으로 전송된, 도 5에 도시된 화상들을 고려하자. 상기 복호기는 화상 I0을 수신하고(601) 그것의 헤더로부터 상기 화상이 인트라-부호화되어 있다고 결정한다(602). 상기 복호기는 어떤 다른 화상을 참조하지 않고 화상 I0을 복호화하고(603), 그것을 디스플레이하며 그것을 화상 저장부(223a)에 저장한다(604). 그다음 상기 복호기는 화상 P1을 수신하고(601) 그것의 화상 헤더로부터 상기 화상이 P-화상으로서 인터-부호화되어 있다고 결정한다(602). 상기 복호기는 화상 1이 이미 복호화되었는지를 결정한다(605). 화상 1이 이미 복호화되지 않았기 때문에, 상기 복호기는 P1에 대한 참조 화상이 수신되고 복호화되었는지를 검사한다(606). 화상 0이 수신되고 복호화되었을 때, 상기 복호기는 상기 참조 화상 0을 참조하여 화상 P1을 복호화하고(603), 그것을 디스플레이하며 그것을 다음 화상 저장부(223b)에 저장한다(604). 그다음 상기 복호기는 화상 P2를 수신하고(601) 그것의 화상 헤더로부터 상기 화상이 P-화상으로서 인터-부호화되어 있다고 결정한다(602). 화상 2는 복호화되지 않았고(605) 상기 참조 화상 1은 복호화되었으므로(606) 상기 복호기는 이전의 참조 화상 1을 참조하여 화상 P2를 복호화하고, 그것을 디스플레이하며 그것을 다음 화상 저장부(223c)에 저장하며 나머지도 마찬가지이다. 동일한 절차(단계들 602, 603, 605 및 606)가 인터 부호화된 화상 P3에 대해 이어진다.
수신될 다음 화상은 I4이다. 그다음 상기 복호기는 그것의 화상 헤더로부터상기 화상이 인트라-부호화되었다고 결정하고(602) 상기 화상을 복호화한다. 그다음 상기 복호기는 화상 P4를 수신하고(601) 그것의 화상 헤더로부터 상기 화상이 P-화상으로서 인터-부호화되어 있다고 결정한다(602). 그러나 상기 복호기는 화상 4가 이미 성공적으로 복호화되었다는 것을 알아채고(605) 화상 P4를 버리며 데이터의 다음 화상 P0을 수신한다. 상기 복호기는 그것의 화상 헤더로부터 상기 화상이 P-화상으로서 인터-부호화되어 있다고 결정한다(602). 그러나 상기 복호기는 화상 0이 이미 복호화되었다는 것을 알아채고(605), 화상 P0을 버리며 후속하여 데이터의 다음 화상 P5를 수신한다. 그다음 이 화상은 복호하된 화상 4를 참조하여 복호화된다.
상기 설명은 아무런 에러도 전송중 발생하지 않을 때 무엇이 발생하는지를 설명한다. 이제 상기 복호기가 인트라 부호화된 프레임 I0을 성공적으로 복호화할 수 없는 경우를 고려하자. 이것은 상기 프레임에 대한 데이터가 전송중 완전히 유실되었거나 상기 프레임에 대한 데이터중 몇몇이 만족할만큼 복구가능하지 않는 방식으로 손상되었기 때문일 수 있다. 프레임 P1이 수신될 때, 상기 복호기는 프레임 1이 아직 복호화되지 않았고(605) P1에 대한 참조 프레임이 수신되지 않았으며 복호화되지 않았다는 것을 결정한다(606). 그다음 상기 복호기는 P1에 대한 데이터를 버퍼링한다(607). 동일한 동작이 P2 및 P3에 대해 취해진다.
I4가 성공적으로 수신될 때, 상기 복호기는 어떤 다른 프레임을 참조하지 않고 I4를 복호화한다. P4가 수신될 때 그것은 무시되는데, 이것은 화상 4가 이미 복호화되었기 때문이다(605). P0이 수신될 때 상기 복호기는 화상 0이 이미 복호화되지 않았다고 결정하고(605) P0에 대한 참조 화상(화상 4)이 복호화되었다고 결정한다(606). 그러므로 상기 복호기는 화상 4를 참조하여 프레임 P0을 복호화한다(603). 화상 0이 이제 복호화되었기 때문에, 화상 0이 참조 화상이었던 어떤 버퍼링된 프레임들도 복호화하는 것이 가능하다. 따라서 상기 복호기는 화상 0을 참조하여 상기 버퍼링된 프레임 P1을 복호화한다(608). 프레임 1을 복호화한 후, 상기 복호기는 상기 버퍼링된 프레임 P2를 복호화할 수 있고, 프레임 2를 복호화한 후, 상기 복호기는 또한 상기 버퍼링된 프레임 P3을 복호화할 수 있다.
상기 복호기는 상기 복호기가 상기 버퍼링된 프레임들에 대한 참조 프레임을 수신하지 않는 경우 상기 버퍼링된 프레임들을 버린다. 상기 복호기는 상기 버퍼링된 프레임들에 대한 상기 참조 화상이 주어진 시간내에 수신되지 않을 때 또는 인트라-부호화된 프레임이 수신될 때 상기 버퍼링된 프레임들을 버리도록 되어 있을 수 있다.
또한 도 7은 장면 변화들을 검출할 수 있는, 본 발명에 의한 비디오 복호기의 제2 실시예의 동작을 도시한 흐름도이다. 상기 복호기는 복호화를 위한 신호를 수신한다(701). 상기 복호기는 최근에 복호화된 프레임간에 장면 컷이 존재하는지 그리고 상기 장면 컷 다음에 오는 인트라 화상이 분실되었는지를 검출한다(702). 이것은 예를 들어 H.263의 부록 W에 설명된 바와 같이, 부호화된 프레임의 헤더내의 장면 식별자를 검사함으로써 또는 상기 프레임의 화상 수를 검사함으로써 행해질 수 있다. 후자의 경우, 상기 복호기는 상기 화상 수로부터 화상이 분실되어 있다는 것을 추론할 수 있고, 분실된 화상 이후의 다음 화상이 여분의 참조 화상 수를 나타내지 않는 경우, 상기 복호기는 분실된 화상이 장면 컷과 연관된 인트라 화상이라고 가정한다.
장면 컷 바로 다음에 오는 인트라 화상이 분실되어 있는 경우, 상기 복호기는 복호화되고 있는 프레임이 이미 복호화된 프레임의 중복 표시(도면에서 동기 프레임이라고 불리움)인지를 검사한다(703). H.263에서, 이러한 중복 표시는 상기 부호화된 프레임에 상기 화상의 주 표시로서 동일한 TR을 제공함으로써 표시될 수 있다.
상기 프레임이 동기 프레임이 아닌 경우 또는 상기 동기 프레임의 주 표시가 복호화되지 않은 경우(704), 상기 복호기는 상기 프레임을 복호화하고(705) 상기 루프의 시작부터 계속 진행한다. 그렇지 않으면, 상기 복호기는 상기 복호화를 스킵하고 상기 루프의 시작부터 계속 진행한다(701).
제1 인트라 화상(또는 장면 컷 다음에 오는 화상)이 분실된 경우, 상기 복호기는 상기 제1 인트라 화상에 대응하는 역방향-예측된 프레임의 수신을 감시하기 시작한다(706). 상기 복호기는 이 특정 프레임이 다음 주기적인 인트라 화상 이후에 나타나야 한다는 것을 알고 있다. 상기 예측된 역방향-예측된 프레임 이전의 모든 프레임들은 (압축 포맷으로) 버퍼링된다(707). 상기 역방향-예측된 동기 프레임이 상기 비트-스트림에 나타날 예정일 때, 상기 버퍼링은 중지된다. 다음에 수신된 프레임과 상기 제1의 주기적인 인트라 화상(즉, 상기 장면에서의 제2 인트라 화상)이 정확하게 수신되는 경우, 다음에 수신된 프레임이 복호화된다. 그 후, 모든 상기 버퍼링된 프레임들이 복호화되고(709), 그다음 상기 장면의 제1 인트라 화상이절대로 분실되지 않은 것처럼 정상적으로 복호화가 계속 진행될 수 있다. 그렇지 않으면, 상기 복호기는 상기 버퍼링된 프레임들을 복호화할 수 없고 오히려 그것은 그들을 버려야 하며(710) 다음 인트라 화상이 도착하는 것을 기다리고(711) 그것을 복호화한 후 정상적으로 계속 복호화를 행한다.
프레임 버퍼링은 2개의 암시를 갖는다. 첫번째로 재생(디스플레이) 프로세스는 상기 복호화 프로세스에 의해 야기된 지터를 흡수하기 위해 버퍼링을 사용해야 한다. 이러한 종류의 버퍼는 비디오 스트리밍에서 전형적이고 그러므로 본 발명은 상기 디스플레이 프로세스에 대한 어떤 변경들도 반드시 야기할 필요는 없다. 두번째로, 모든 버퍼링된 프레임들은 참조 프레임이 복호화되자마자 복호화된다. 실제로 이것은 장면의 제1 인트라 화상(I0)이 분실되고 상기 장면의 상기 화상의 다음 표시(P0)가 복호화될 때 돌발적인 계산 활동이 존재할 수 있다는 것을 의미한다. 상기 복호기는 버퍼링에 소요되는 시간을 형성하기 위한 자원들을 갖도록 그리고 압축되지 않은 프레임들이 긴 시간동안 상기 버퍼에 남아있지 않도록 충분히 빨라야 한다
전형적인 부호화/복호화 순서는 다음과 같을 것이다:
I0, P1, P2, ..., Pn-1, In, Pn, P0, Pn+1, Pn+2, ...
여기에서 I는 인트라 화상을 의미하고, P는 인터 화상을 의미하며, 인덱스는 상대적인 캡처/디스플레이 시간에 대응하며, 시간 상수 n은 장면 컷 이후의 제1의 주기적인 인트라 프레임에 대응한다.
복호기에서의 처리 전력 요건은 전형적인 부호화/복호화 순서와 비교하여 전송된 프레임들을 재-순서화함으로써 최소화될 수 있다. 즉 송신기는 다음 순서로 프레임들을 송신할 수 있다:
I0, In, P0, Pn, P1, P2, ..., Pn-1, Pn+1, Pn+2, ...
본 발명은 화상의 몇몇 세그먼트들은 인트라 부호화되고 다른 것들은 인터 부호화되는 방식들에 적용가능하다. 이것은 도 8에 도시되어 있다. 우선, 상기 비트-스트림은 종래의 방식으로 부호화된다. 부호기가 인트라 방식으로 화상 세그먼트를 갱신하는 것을 결정할 때, 상기 부호기는 다음 3개의 동작들을 수행한다:
1. 상기 부호기는 상기 화상을 정상 인터-화상 P(n)으로서 부호화한다.
2. 상기 부호기는 요망되는 화상 세그먼트가 인트라 부호화되고 다른 화상 세그먼트들은 P(n)으로부터 변하지 않은채 유지되는 P(n)'를 부호화한다. 새로 부호화된 화상의 타임-스탬프는 가능한 한 P(n)에 근접하다.
3. 상기 부호기는 P(n)'의 제2의 표시인 P(n)"를 부호화한다. P(n)"에서, 인트라 방식으로 부호화되었던 P(n)'의 화상 세그먼트는 인터-부호화된다. 바람직하기로는, 사용된 참조 화상은 대응하는 세그먼트가 인트라-부호화되었던 최근의 화상(P(n)' 이외의)이다. 상기 부호기는 인접 세그먼트들로부터 가능한 복호화 에러들의 전파를 막기 위하여 움직임 벡터들이 상기 화상 세그먼트 내부만을 가리키도록 할 수 있다. 대안적으로, 상기 부호기는 H.263 독립 세그먼트 복호화(부록 R)와 같은 부호화 모드를 사용할 수 있는데, 이것은 본질적으로 인접 화상 세그먼트들로부터의 예측을 막는다. P(n)"의 다른 화상 세그먼트들은 P(n)으로부터 변하지 않은채 유지된다.
그 후, 상기 부호기는 정상적으로 계속 부호화를 행한다.
상기 복호기는 일찍이 설명된 것과 유사하게 동작한다. P(n)내의 화상 세그먼트가 손상되지 않은 경우, P(n)'와 P(n)"는 중복적이고 버려질 수 있다. 그렇지 않으면, 상기 복호기는 손상된 화상 세그먼트를 복구하기 위하여 P(n)' 또는 P(n)"를 사용할 수 있다.
본 발명의 에러 회복성(resilience)은 송신기가 인트라 프레임에 대응하는 시간적으로 예측된 프레임의 다수의 복사본들을 송신하는 경우 개선될 수 있다. 상기 다수의 복사본들은 상이한 참조 화상들로부터 순방향 방식 또는 역방향 방식으로 예측될 수 있다. 에러 방지를 최대화하기 위하여, 이들 프레임들은 다른 패킷들에 캡슐화되어야 한다. 더욱이, 각 인트라 화상이 순방향 및 역방향 예측 대응 화상들 양자와 연관되는 경우 그것은 유익하다.
본 발명은 대화식, 저-지연 애플리케이션들에서 사용될 수 있다. 복호화된 프레임들을 디스플레이하기 전에 복호화된 프레임들을 버퍼링하지 않는 (그러나 오히려 다소 즉시 복호화된 프레임들을 디스플레이하는) 애플리케이션들에 있어서, 대응하는 역방향 예측된 프레임들은 복호기에 의해 사용될 수 없다. 따라서, 이러한 애플리케이션들(예를 들어, 대화식 애플리케이션들)을 위한 전송 부호기는 인트라 프레임들을 위해 대응하는 역방향 예측된 프레임들을 부호화하지 않도록 되어 있을 수 있다. 따라서, 상기 제1 인트라 화상은 본 발명에 따라 보호되지 않을 것이다.
이제 전체 멀티미디어 콘텐츠 생성 및 검색 시스템의 골격이 도 9를 참조하여 설명될 것이다. 상기 시스템은 하나 이상의 매체 소스들(90), 예를 들어 카메라 및 마이크로폰을 갖는다. 멀티미디어 콘텐츠는 예를 들어 애니메이션된 컴퓨터 그래픽 및 디지털적으로 생성된 음악과 같이 합성적으로 생성될 수 있다. 상이한 매체 유형들로 이루어져 있는 멀티미디어 클립을 구성하기 위하여, 상기 소스들로부터 캡처된 원시 데이터는 편집 시스템(91)에 의해 편집된다. 전형적으로 원시 멀티미디어 데이터를 위해 필요한 저장 공간은 막대하다. 저 비트율 채널들상에서 매력적인 멀티미디어 검색 서비스를 용이하게 하기 위하여, 또한 멀티미디어 클립들은 상기 편집 시스템(91)에서 압축된다. 그다음 상기 클립들은 멀티미디어 서버(92)로 넘겨진다. 전형적으로, 다수의 클라이언트들(93)은 네트워크상에서 상기 서버에 액세스할 수 있다. 상기 서버(92)는 상기 클라이언트들(93)에 의해 제공된 요청들에 응답할 수 있다. 상기 서버를 위한 주 태스크는 요망되는 멀티미디어 클립을 주어진 클라이언트에 제공하는 것이다. 상기 클라이언트(93)는 상기 클립을 압축해제하고 재생한다. 재생 단계에서, 상기 클라이언트는 하나 이상의 출력 장치들(94), 예를 들어 상기 클라이언트의 스크린 및 라우드스피커를 이용한다. 도 9에 도시된 시스템에서, 상기 서버는 본 발명에 의한 비디오 부호기를 통합하고 상기 클라이언트는 본 발명에 의한 복호기를 통합한다. 양방향 비디오 전송을 포함하는 애플리케이션들에 있어서, 상기 서버 및 상기 클라이언트들 양자는 본 발명에 의한 비디오 코덱을 통합한다.
이동 멀티미디어 검색 시스템에서, 클라이언트(93)와 상기 서버(92)를 연결하는 링크의 적어도 일부는 무선(wireless), 예를 들어 무선(radio)에 의한다.
전형적으로, 멀티미디어 서버(92)는 두가지 동작 모드를 갖는다. 즉 그들은 미리 저장된 멀티미디어 클립들 또는 라이브(실시간) 멀티미디어 스트림들을 전달한다. 전자의 경우, 클립들은 서버 데이터베이스에 저장되고, 상기 서버 데이터베이스는 상기 클라이언트(들)를 위해 상기 서버에 의해 주문형 방식으로 액세스된다. 후자의 경우, 멀티미디어 클립들은 즉시 클라이언트들(93)로 전송되는 연속적인 매체 스트림으로서 상기 서버에 넘겨진다. 서버는 상기 매체 클립을 네트워크 패킷들에 캡슐화할 뿐만 아니라 다중화 포맷에 의해 생성된 몇몇 헤더 정보를 제거하고 압축할 수 있다.
상기 클라이언트들(93)은 제어 프로토콜을 사용하여 상기 서버(92)의 동작을 제어한다. 제어들의 최소 세트는 요망되는 매체 클립을 선택하는 기능으로 이루어져 있다. 더욱이, 서버들은 더 많은 진보된 제어들을 지원할 수 있다. 예를 들어, 클라이언트들은 클립의 전송을 중지하고, 클립의 전송을 일시 중지 및 재개할 수 있고 전송 채널의 처리율이 변하는 경우 매체 흐름을 제어할 수 있는데, 이 경우 상기 서버는 이용가능한 대역폭내에 맞추기 위하여 상기 비트 스트림을 동적으로 조정한다.
상기 클라이언트(93)는 멀티미디어 서버(92)로부터 압축되고 다중화된 매체 클립을 수신한다. 우선, 상기 클라이언트는 개별 매체 트랙들을 검색하기 위하여 상기 클립을 역다중화하고 그다음 이들 매체 트랙들을 압축해제한다. 그 후, 상기 압축해제된(재구성된) 매체 트랙들은 출력 장치들(94)상에 재생된다. 이들 동작들에 부가하여, 제어기 유닛은 최종 사용자와 인터페이스하고, 사용자 입력에 따라재생을 제어하며 클라이언트-서버 제어 트래픽을 처리한다. 상기 역다중화-압축해제-재생 체인은 상기 클립의 다음 부분을 여전히 다운로드하면서 수행될 수 있다. 이것은 일반적으로 스트리밍으로서 지칭된다. 대안적으로, 전체 클립이 상기 클라이언트(93)로 다운로드된 후 상기 클라이언트는 그것을 역다중화하고 압축해제하며 재생한다.
본 발명은 상술된 비디오 부호화 프로토콜들에 제한되는 것으로 의도되지 않는다: 이들은 단지 예시적인 것으로 의도된다. 본 발명은 시간 예측을 이용한 어떤 비디오 부호화 프로토콜에도 적용가능하다. 상술된 바와 같이 인트라 프레임들에 대응하는 부가적인 인터 프레임들의 부가는 상기 부호화된 신호에 에러 회복성을 도입하고 수신된 신호의 일부가 손상된 경우 수신 복호기가 대안적인 복호화 옵션들을 선택하도록 허용한다.

Claims (12)

  1. 화상들의 시퀀스를 나타내는 비디오 신호를 부호화하는 방법에 있어서, 상기 시퀀스의 다른 화상을 참조하지 않고 상기 시퀀스의 제1 화상의 적어도 일부를 부호화하는 단계 및 대응하는 시간적으로 예측된 화상을 생성하기 위하여 상기 시퀀스의 다른 화상을 참조하여 상기 제1 화상의 적어도 일부를 부호화하는 단계를 포함하는 것을 특징으로 하는 비디오 신호 부호화 방법.
  2. 제1항에 있어서, 다른 화상을 참조하지 않고 부호화된 모든 화상 또는 그 일부도 또한 상기 시퀀스의 다른 화상을 참조하여 부호화되는 것을 특징으로 하는 비디오 신호 부호화 방법.
  3. 제1항에 있어서, 상기 제1 화상 또는 상기 제1 화상의 일부는 시간적으로 상기 제1 화상 이전에 상기 시퀀스에서 발생하는 다른 화상을 참조하여 부호화되는 것을 특징으로 하는 비디오 신호 부호화 방법.
  4. 제1항에 있어서, 상기 제1 화상 또는 상기 제1 화상의 일부는 시간적으로 상기 제1 화상 이후에 상기 시퀀스에서 발생하는 다른 화상을 참조하여 부호화되는 것을 특징으로 하는 비디오 신호 부호화 방법.
  5. 제1항에 있어서, 상기 제1 화상 또는 상기 제1 화상의 일부는 상기 시퀀스에서 발생하는 하나 이상의 화상들을 참조하여 부호화되는 것을 특징으로 하는 비디오 신호 부호화 방법.
  6. 화상들의 시퀀스를 나타내는 비디오 신호를 수신하기 위한 입력을 포함하는 비디오 부호기에 있어서, 상기 시퀀스의 다른 화상을 참조하지 않고 상기 시퀀스의 제1 화상 또는 상기 제1 화상의 적어도 일부를 부호화하도록 되어 있고, 대응하는 시간적으로 예측된 화상을 생성하기 위하여 상기 시퀀스의 다른 화상을 참조하여 상기 제1 화상 또는 상기 제1 화상의 적어도 일부를 부호화하도록 되어 있는 것을 특징으로 하는 비디오 부호기.
  7. 제6항에 의한 비디오 부호기를 포함하는 것을 특징으로 하는 비디오 코덱.
  8. 제6항에 의한 비디오 부호기 또는 제7항에 의한 비디오 코덱을 포함하는 것을 특징으로 하는 멀티미디어 시스템.
  9. 화상들의 시퀀스를 나타내는 비디오 신호를 부호화하는 방법에 있어서, 상기 시퀀스의 다른 화상을 참조하지 않고 상기 시퀀스의 제1 화상의 세그먼트를 부호화하는 단계 및 대응하는 시간적으로 예측된 화상 세그먼트를 생성하기 위하여 상기 시퀀스의 다른 화상을 참조하여 상기 제1 화상의 적어도 상기 세그먼트를 부호화하는 단계를 포함하는 것을 특징으로 하는 비디오 신호 부호화 방법.
  10. 비디오 시퀀스의 부호화된 화상들을 나타내는 신호를 수신하는 단계와, 시간적으로 예측되지 않은 화상 또는 시간적으로 예측되지 않은 화상의 일부가 손상되었는지를 결정하고 만약 그렇다면 상기 화상 또는 상기 화상의 일부의 시간적으로 예측된 표시를 감시하는 단계 및 상기 화상 또는 상기 화상의 일부의 상기 시간적으로 예측된 표시의 수신시, 다른 화상을 참조하여 상기 화상 또는 상기 화상의 일부를 복호화하는 단계를 포함하는 것을 특징으로 하는 비디오 복호화 방법.
  11. 비디오 시퀀스의 부호화된 화상들을 나타내는 신호를 수신하기 위한 입력을 포함하는 비디오 복호기에 있어서, 비-시간적으로 예측된 프레임 또는 상기 프레임의 일부가 손상되었는지를 결정하고, 만약 그렇다면 상기 프레임 또는 상기 프레임의 일부의 시간적으로 예측된 표시를 감시하도록 되어 있고, 상기 프레임 또는 상기 프레임의 일부의 상기 시간적으로 예측된 표시의 수신시, 다른 프레임을 참조하여 상기 프레임 또는 상기 프레임의 일부의 상기 시간적으로 예측된 표시를 복호화하도록 되어 있는 것을 특징으로 하는 비디오 복호기.
  12. 제6항 또는 제11항에 의한 비디오 부호기 또는 비디오 복호기를 통합하는 휴대용 전자 장치.
KR1020037002040A 2000-08-14 2001-08-09 비디오 부호화 KR100960282B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB0019983A GB2366464A (en) 2000-08-14 2000-08-14 Video coding using intra and inter coding on the same data
GB0019983.6 2000-08-14
PCT/EP2001/009220 WO2002015589A1 (en) 2000-08-14 2001-08-09 Video coding

Publications (2)

Publication Number Publication Date
KR20030025285A true KR20030025285A (ko) 2003-03-28
KR100960282B1 KR100960282B1 (ko) 2010-06-07

Family

ID=9897578

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020037002040A KR100960282B1 (ko) 2000-08-14 2001-08-09 비디오 부호화

Country Status (8)

Country Link
US (2) US7116714B2 (ko)
EP (1) EP1312222A1 (ko)
JP (1) JP2004507178A (ko)
KR (1) KR100960282B1 (ko)
CN (2) CN1242623C (ko)
AU (1) AU2001289794A1 (ko)
GB (1) GB2366464A (ko)
WO (1) WO2002015589A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7961788B2 (en) 2005-07-08 2011-06-14 Samsung Electronics Co., Ltd. Method and apparatus for video encoding and decoding, and recording medium having recorded thereon a program for implementing the method
KR101155587B1 (ko) * 2008-12-19 2012-06-19 주식회사 케이티 전송에러 복원을 위한 장치 및 방법

Families Citing this family (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7974200B2 (en) 2000-11-29 2011-07-05 British Telecommunications Public Limited Company Transmitting and receiving real-time data
JP4065503B2 (ja) * 2001-08-21 2008-03-26 キヤノン株式会社 画像処理装置、画像入出力装置、変倍処理方法、及びメモリ制御方法
JP4163618B2 (ja) * 2001-08-28 2008-10-08 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化伝送システム、動画像符号化伝送方法、これらに用いて好適な符号化装置、復号化装置、符号化方法、復号化方法及びプログラム
CA2464508A1 (en) * 2001-11-30 2003-06-12 Rory Stewart Turnbull Method and apparatus for critical time multimedia data transmission
AU2003215752A1 (en) * 2002-03-27 2003-10-13 British Telecommunications Public Limited Company Video coding and transmission
EP1359722A1 (en) 2002-03-27 2003-11-05 BRITISH TELECOMMUNICATIONS public limited company Data streaming system and method
JP4135395B2 (ja) * 2002-04-26 2008-08-20 日本電気株式会社 符号化パケット伝送受信方法およびその装置ならびにプログラム
EP1501314A4 (en) * 2002-04-26 2010-03-17 Nec Corp MOVING PICTURE TRANSFER SYSTEM, MOVABLE IMAGE CODING DEVICE, MOVABLE PICTURE DECODER AND MOVABLE PICTURE TRANSFER PROGRAM
FI114679B (fi) 2002-04-29 2004-11-30 Nokia Corp Satunnaisaloituspisteet videokoodauksessa
EP3177020B1 (en) * 2002-07-16 2023-04-19 Nokia Technologies Oy A method for random access and gradual picture refresh in video coding
US7949047B2 (en) 2003-03-17 2011-05-24 Qualcomm Incorporated System and method for partial intraframe encoding for wireless multimedia transmission
GB0306296D0 (en) 2003-03-19 2003-04-23 British Telecomm Data transmission
US7724818B2 (en) 2003-04-30 2010-05-25 Nokia Corporation Method for coding sequences of pictures
US8116370B2 (en) 2003-10-20 2012-02-14 Logitech Europe S.A. Methods and apparatus for encoding and decoding video data
US7634146B2 (en) 2003-10-20 2009-12-15 Logitech Europe S.A. Methods and apparatus for encoding and decoding video data
US7826526B2 (en) 2003-10-20 2010-11-02 Logitech Europe S.A. Methods and apparatus for encoding and decoding video data
US7676722B2 (en) * 2004-03-31 2010-03-09 Sony Corporation Multimedia content delivery using pre-stored multiple description coded video with restart
US20060050695A1 (en) * 2004-09-07 2006-03-09 Nokia Corporation System and method for using redundant representations in streaming applications
US8345740B2 (en) * 2005-01-17 2013-01-01 Koninklijke Philips Electronics N.V. System, transmitter, receiver, method and software for transmitting and receiving ordered sets of video frames
US7738468B2 (en) 2005-03-22 2010-06-15 Logitech Europe S.A. Method and apparatus for packet traversal of a network address translation device
TWI279143B (en) * 2005-07-11 2007-04-11 Softfoundry Internat Ptd Ltd Integrated compensation method of video code flow
CN101313584B (zh) * 2005-09-27 2014-10-08 高通股份有限公司 用于处理多媒体数据的方法和设备
NZ566935A (en) 2005-09-27 2010-02-26 Qualcomm Inc Methods and apparatus for service acquisition
US9467659B2 (en) * 2005-09-27 2016-10-11 Qualcomm Incorporated Method and apparatus for progressive channel switching
US8229983B2 (en) * 2005-09-27 2012-07-24 Qualcomm Incorporated Channel switch frame
US8340098B2 (en) * 2005-12-07 2012-12-25 General Instrument Corporation Method and apparatus for delivering compressed video to subscriber terminals
BRPI0710236A2 (pt) * 2006-05-03 2011-08-09 Ericsson Telefon Ab L M método e aparelho para a reconstrução de mìdia, produto de programa de computador, aparelho para criar uma representação de mìdia, objeto de dados de ponto de acesso randÈmico, e, representação e documento ou recipiente de mìdia
US8520733B2 (en) * 2006-06-30 2013-08-27 Core Wireless Licensing S.A.R.L Video coding
KR101089072B1 (ko) 2006-11-14 2011-12-09 퀄컴 인코포레이티드 채널 전환용 시스템 및 방법
RU2009122503A (ru) 2006-11-15 2010-12-20 Квэлкомм Инкорпорейтед (US) Системы и способы для приложений, использующих кадры переключения каналов
FR2910211A1 (fr) * 2006-12-19 2008-06-20 Canon Kk Procedes et dispositifs pour re-synchroniser un flux video endommage.
US20080152014A1 (en) * 2006-12-21 2008-06-26 On Demand Microelectronics Method and apparatus for encoding and decoding of video streams
US8411734B2 (en) 2007-02-06 2013-04-02 Microsoft Corporation Scalable multi-thread video decoding
WO2008129500A2 (en) * 2007-04-24 2008-10-30 Nokia Corporation System and method for implementing fast tune-in with intra-coded redundant pictures
US8265144B2 (en) * 2007-06-30 2012-09-11 Microsoft Corporation Innovations in video decoder implementations
US9648325B2 (en) 2007-06-30 2017-05-09 Microsoft Technology Licensing, Llc Video decoding implementations for a graphics processing unit
US8700792B2 (en) 2008-01-31 2014-04-15 General Instrument Corporation Method and apparatus for expediting delivery of programming content over a broadband network
KR100949917B1 (ko) * 2008-05-28 2010-03-30 한국산업기술대학교산학협력단 적응적 인트라 예측을 통한 고속 부호화 방법 및 시스템
US8752092B2 (en) 2008-06-27 2014-06-10 General Instrument Corporation Method and apparatus for providing low resolution images in a broadcast system
US8638844B2 (en) * 2008-07-01 2014-01-28 Mediatek Inc. Method and apparatus for storing decoded moving pictures with a reduced memory requirement
US9413664B1 (en) 2008-09-23 2016-08-09 Spring Communications Company L.P. Resuming media objects delivered via streaming services upon data loss events
US8396114B2 (en) 2009-01-29 2013-03-12 Microsoft Corporation Multiple bit rate video encoding using variable bit rate and dynamic resolution for adaptive video streaming
US8311115B2 (en) 2009-01-29 2012-11-13 Microsoft Corporation Video encoding using previously calculated motion information
US9106468B1 (en) * 2009-01-30 2015-08-11 Sprint Communications Company L.P. Transferring media objects from one device to another device
US8270473B2 (en) 2009-06-12 2012-09-18 Microsoft Corporation Motion based dynamic resolution multiple bit rate video encoding
US9357244B2 (en) * 2010-03-11 2016-05-31 Arris Enterprises, Inc. Method and system for inhibiting audio-video synchronization delay
US8705616B2 (en) 2010-06-11 2014-04-22 Microsoft Corporation Parallel multiple bitrate video encoding to reduce latency and dependences between groups of pictures
US9532059B2 (en) 2010-10-05 2016-12-27 Google Technology Holdings LLC Method and apparatus for spatial scalability for video coding
US8885729B2 (en) 2010-12-13 2014-11-11 Microsoft Corporation Low-latency video decoding
US9706214B2 (en) 2010-12-24 2017-07-11 Microsoft Technology Licensing, Llc Image and video decoding implementations
CN102655604B (zh) * 2011-03-03 2016-06-22 华为技术有限公司 视频处理方法和设备
US8989256B2 (en) 2011-05-25 2015-03-24 Google Inc. Method and apparatus for using segmentation-based coding of prediction information
CA2840427C (en) 2011-06-30 2018-03-06 Microsoft Corporation Reducing latency in video encoding and decoding
EP2751990A4 (en) 2011-08-29 2015-04-22 Icvt Ltd CONTROL OF A VIDEO CONTENT SYSTEM
US8731067B2 (en) 2011-08-31 2014-05-20 Microsoft Corporation Memory management for video decoding
US9591318B2 (en) 2011-09-16 2017-03-07 Microsoft Technology Licensing, Llc Multi-layer encoding and decoding
CN103988501A (zh) * 2011-11-25 2014-08-13 汤姆逊许可公司 考虑场景剪切伪像的视频质量评估
US9247257B1 (en) 2011-11-30 2016-01-26 Google Inc. Segmentation based entropy encoding and decoding
US9819949B2 (en) 2011-12-16 2017-11-14 Microsoft Technology Licensing, Llc Hardware-accelerated decoding of scalable video bitstreams
US11089343B2 (en) 2012-01-11 2021-08-10 Microsoft Technology Licensing, Llc Capability advertisement, configuration and control for video coding and decoding
US9094681B1 (en) 2012-02-28 2015-07-28 Google Inc. Adaptive segmentation
US8396127B1 (en) * 2012-06-27 2013-03-12 Google Inc. Segmentation for video coding using predictive benefit
JP5885604B2 (ja) * 2012-07-06 2016-03-15 株式会社Ｎｔｔドコモ 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法及び動画像予測復号プログラム
US9332276B1 (en) 2012-08-09 2016-05-03 Google Inc. Variable-sized super block based direct prediction mode
US9380298B1 (en) 2012-08-10 2016-06-28 Google Inc. Object-based intra-prediction
WO2014158049A1 (en) 2013-03-28 2014-10-02 Huawei Technologies Co., Ltd Method for protecting a video frame sequence against packet loss
CN105684035B (zh) * 2013-09-16 2019-08-20 英特尔公司 分组并压缩类似照片

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2696026B1 (fr) * 1992-09-18 1994-12-30 Sgs Thomson Microelectronics Procédé de masquage d'erreurs de transmission d'image compressée en MPEG.
US5442400A (en) * 1993-04-29 1995-08-15 Rca Thomson Licensing Corporation Error concealment apparatus for MPEG-like video data
JPH07322248A (ja) 1994-05-30 1995-12-08 Matsushita Electric Ind Co Ltd 動画像データの伝送方法および伝送装置
US6028631A (en) * 1997-09-08 2000-02-22 Hitachi, Ltd. Portable terminal apparatus for multimedia communication
JP3206530B2 (ja) * 1997-11-28 2001-09-10 日本ビクター株式会社 動画像符号化装置、動画像復号化装置、動画像符号化方法及び動画像復号化方法
JP3185763B2 (ja) * 1998-07-13 2001-07-11 日本電気株式会社 動画像符号化装置
GB2347038A (en) * 1999-02-18 2000-08-23 Nokia Mobile Phones Ltd A video codec using re-transmission
US6404814B1 (en) * 2000-04-28 2002-06-11 Hewlett-Packard Company Transcoding method and transcoder for transcoding a predictively-coded object-based picture signal to a predictively-coded block-based picture signal

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7961788B2 (en) 2005-07-08 2011-06-14 Samsung Electronics Co., Ltd. Method and apparatus for video encoding and decoding, and recording medium having recorded thereon a program for implementing the method
KR101155587B1 (ko) * 2008-12-19 2012-06-19 주식회사 케이티 전송에러 복원을 위한 장치 및 방법

Also Published As

Publication number Publication date
JP2004507178A (ja) 2004-03-04
KR100960282B1 (ko) 2010-06-07
CN1812587A (zh) 2006-08-02
US20020054641A1 (en) 2002-05-09
EP1312222A1 (en) 2003-05-21
CN1470133A (zh) 2004-01-21
GB0019983D0 (en) 2000-10-04
AU2001289794A1 (en) 2002-02-25
GB2366464A (en) 2002-03-06
US7116714B2 (en) 2006-10-03
US20060285589A1 (en) 2006-12-21
CN1242623C (zh) 2006-02-15
WO2002015589A1 (en) 2002-02-21

Similar Documents

Publication Publication Date Title
KR100960282B1 (ko) 비디오 부호화
JP5341629B2 (ja) ピクチャ復号化方法
KR100878057B1 (ko) 비디오 부호화
KR100929558B1 (ko) 비디오 부호화 방법, 복호화 방법, 부호화기, 복호기, 무선 통신 장치 및 멀티미디어 터미널 장치
EP1205076B1 (en) Video coding
KR100945548B1 (ko) 비디오 오류 회복
US20040218669A1 (en) Picture coding method

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
N231 Notification of change of applicant
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
J201 Request for trial against refusal decision
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee