KR20050113665A

KR20050113665A - 멀티미디어 송신을 위한 사이드 정보를 인코딩 및디코딩하는 방법, 장치 및 시스템

Info

Publication number: KR20050113665A
Application number: KR1020057017983A
Authority: KR
Inventors: 하리나스 가루다드리; 칸난 람찬드란
Original assignee: 퀄컴 인코포레이티드
Priority date: 2003-03-24
Filing date: 2004-03-23
Publication date: 2005-12-02
Also published as: US7643558B2; US20040194008A1; CN1795679B; JP2006521759A; ATE378780T1; JP4814081B2; DE602004010081D1; AU2004223383A1; ES2295895T3; CA2520098A1; DE602004010081T2; EP1606953A2; TW200507465A; CN1795679A; KR100967322B1; BRPI0408708A; RU2005132605A; EP1606953B1; WO2004086631A3; MXPA05010251A

Abstract

본 발명의 일 양태에 따르면, 입력 데이터 (예를 들어, 입력 비디오 데이터) 가 제 1 코딩 표준 (예를 들어, MPEG-4, H.263) 에 따라 인코딩되어 인코딩 데이터를 생성하는 방법이 제공된다. 또한, 입력 데이터의 재구성에 기초하여 입력 데이터가 인코딩되어, 입력 데이터와 관련된 인코딩 사이드 정보를 생성한다. 인코딩 데이터는 제 1 채널을 통해 수신지 (예를 들어, 디코딩 서브시스템) 에 송신되고, 인코딩 사이드 정보는 제 2 채널을 통해 수신지에 송신된다. 인코딩 데이터 및 인코딩 사이드 정보는 수신지에서 디코딩되고 결합되어 출력 데이터를 생성한다.

Description

멀티미디어 송신을 위한 사이드 정보를 인코딩 및 디코딩하는 방법, 장치 및 시스템{METHOD, APPARATUS AND SYSTEM FOR ENCODING AND DECODING SIDE INFORMATION FOR MULTIMEDIA TRANSMISSION}

기술분야

본 발명은 일반적으로 데이터 프로세싱 및 데이터 통신 분야에 관한 것이고, 더 상세하게는, 멀티미디어 송신을 위한 사이드 정보를 인코딩 및 디코딩하는 방법, 장치 및 시스템에 관한 것이다.

배경

기술이 진보하고, 비디오 및 오디오 신호 프로세싱에 대한 수요가 급속도로 증가됨에 따라, 신호 프로세싱 및 데이터 송신을 위한 효과적이고 효율적인 기술이 시스템 설계 및 구현에서 더 중요해지고 있다. 비디오 신호 프로세싱을 포함하는 멀티미디어 프로세싱 및 송신에 대한 다양한 표준 또는 사양이 수 년 동안 개발되어 멀티미디어 신호 프로세싱에 관련된 다양한 코딩 방식을 표준화하고 용이하게 하였다. 더 상세하게는, 동화상 전문가 그룹 (MPEG; Moving Picture Expert Group) 으로 알려진 그룹이 설립되어, 디지털 저장 매체 상에 저장되는 동화상 및 관련 오디오의 코딩된 표현을 위한 표준 또는 사양을 개발하였다. 그 결과, 1999년 12월에 발행된 ISO/IEC 14496-2 (Part 2 - Visual) CODING OF AUDIO-VISUAL OBJECTS 로 공지된 (또한 본 명세서에서는 MPEG-4 표준 또는 MPEG-4 사양이라 하는) 표준이 개발되어, 시각적 객체 또는 비디오 신호를 위한 다양한 코딩 방식을 표준화하였다. ISO 는 국제 표준화 기구 (International Organization for Standardization) 을 나타내고, IEC 는 국제 전자기술 위원회 (International Electrotechnical Commission) 를 나타낸다. 일반적으로, MPEG 사양은 인코더를 표준화하지는 않지만, 인코더가 생성하고 MPEG 순응 비트스트림에 기록할 필요가 있는 정보의 타입을 표준화하고, 또한 디코더가 이 정보를 파싱하고, 압축해제하고, 재결합하여 인코딩된 신호를 재획득하는 방식을 표준화한다. 또 다른 코딩 표준은 예를 들어, ITU-T 권고 H.263 "저 비트레이트 통신을 위한 비디오 코딩", H.264 등을 포함한다.

비디오 인코더 (110) 및 비디오 디코더 (130) 를 포함하는 통상의 비디오 프로세싱 시스템 (100) 이 도 1 에 도시되어 있다. 이 구성에서, 비디오 인코더 (110) 및 비디오 디코더 (130) 는 확립된 표준 또는 사양에 따라 동작할 수도 있다. 예를 들어, 비디오 인코더 (110) 및 비디오 디코더 (130) 는 MPEG-4 표준에 따라 동작할 수도 있다. 따라서, 비디오 인코더 (110) 는 MPEG-4 인코더를, 비디오 디코더 (130) 는 MPEG-4 디코더를 각각 지칭하는 것일 수도 있다. 도 1 에 도시된 시스템 구성에서는, 송신단에서, 비디오 인코더 (110) 가 비디오 입력 데이터를 수신하고 비디오 입력 데이터를 인코딩하여, 채널 (120) 을 통해 비디오 디코더 (130) 로 송신되는 인코딩된 비디오 데이터를 생성하거나 형성한다. 채널 (120) 은 무선 또는 유선 채널일 수 있고, 또한 본 명세서에서는 메인 채널 또는 메인 스트림으로 지칭된다. 수신단에서, 비디오 디코더 (130) 는 인코딩된 비디오 데이터를 수신하고 인코딩된 비디오 데이터를 디코딩하여, 비디오 출력 데이터를 생성하거나 형성한다. 채널 (120) 을 통한 송신 프로세스 동안, 잡음, 신호 간섭, 페이딩, 접속 손실 등을 포함하는 다양한 요인에 기인하여 에러가 개입될 수도 있다. 이러한 에러는 비디오 디코더 (130) 의 성능에 부정적으로 영향을 미치고, 따라서 비디오 출력 데이터의 품질이 악화된다. 에러 검출 코딩, 포워드 에러 보정 (FEC; forward error correction), 또는 자동 반복/재송신 요청 (ARQ) 방식과 같은 다양한 통상의 에러 코딩 기술이 사용되어 용인할만한 레벨로 에러 레이트를 유지할 수도 있다. 그러나, 이러한 통상의 기술은, 데이터 리던던시 및/또는 더 긴 대기시간 때문에 현저한 비효율성을 야기시킬 수도 있다. 또한, 비디오 압축 표준은 송신에 의해 개입되는 에러의 악영향을 완화시키는 추가적인 메카니즘을 제공한다. 이들은 재동기화 마커 (marker), 데이터 파티션, 가역 가변 길이 코딩 (RVLC; reverible variable length coding) 등이다. 이러한 에러 허용 (resilience) 툴들은 인코더/디코더의 복잡성을 증가시키고 비디오 정보를 송신하는데 요구되는 데이터 레이트를 증가시킨다. 또한, 이러한 툴들은 CDMA 네트워크와 같은 확산 스펙트럼 통신 채널에서 통상 발견되는 버스티 에러에 대한 적절한 보호를 제공하지 못할 수도 있다.

따라서, 멀티미디어 프로세싱 시스템에서 현저한 프로세싱 비효율성을 발생시키지 않고 비디오 데이터와 같은 멀티미디어 정보의 품질을 개선시키는 방법, 장치 및 시스템에 대한 요구가 존재한다.

발명의 요약

본 발명의 일 양태에 따르면, 입력 데이터 (예를 들어, 입력 비디오 데이터) 가 제 1 코딩 표준 (예를 들어, MPEG-4, H.263) 에 따라 인코딩되어 인코딩 데이터를 생성하는 방법이 제공된다. 또한, 입력 데이터의 재구성본에 기초하여 입력 데이터가 인코딩되어, 입력 데이터와 관련된 인코딩 사이드 정보를 생성한다. 인코딩 데이터는 제 1 채널을 통해 수신지 (예를 들어, 디코딩 서브시스템) 에 송신되고, 인코딩 사이드 정보는 제 2 채널을 통해 수신지에 송신된다. 인코딩 데이터 및 인코딩 사이드 정보는 수신지에서 디코딩되고 결합되어 출력 데이터를 생성한다.

본 발명의 또 다른 양태에 따르면, 제 1 인코더 및 제 2 인코더를 포함하는 장치가 제공된다. 제 1 인코더는 입력 데이터를 수신하고 제 1 코딩 표준 (예를 들어, MPEG-4) 에 따라 입력 데이터를 인코딩하여 제 1 채널을 통한 송신을 위해 인코딩 데이터를 생성한다. 제 2 인코더는 입력 데이터, 및 제 1 인코더로부터의 입력 데이터의 재구성본을 수신하고, 입력 데이터의 재구성본에 적어도 일부 기초하여 입력 데이터를 인코딩하여, 제 2 채널을 통한 송신을 위해 인코딩 사이드 데이터를 생성한다.

본 발명의 또 다른 양태에 따르면, 제 1 디코더 및 제 2 디코더를 포함하는 장치가 제공된다. 제 1 디코더는 제 1 채널 상에서 수신된 인코딩 데이터를 디코딩하고, 제 2 디코더는 제 2 채널 상에서 수신된 인코딩 데이터를 디코딩한다. 제 1 디코더로부터 생성된 데이터 및 제 2 디코더로부터 생성된 데이터는 결합되어 출력 데이터를 생성한다.

본 발명의 또 다른 양태에 따르면, 제 1 인코더, 제 2 인코더, 제 1 디코더 및 제 2 디코더를 포함하는 시스템이 제공된다. 제 1 인코더는 입력 데이터를 수신하고 제 1 코딩 표준에 따라 입력 데이터를 인코딩하여, 제 1 채널을 통한 송신을 위해 인코딩된 데이터를 생성한다. 제 2 인코더는 입력 데이터 및 제 1 인코더로부터의 입력 데이터의 재구성본을 수신하고, 입력 데이터의 재구성본의 적어도 일부에 기초하여 입력 데이터를 인코딩하여 제 2 채널을 통한 송신을 위해 인코딩 사이드 데이터를 생성한다. 제 1 디코더는 제 1 채널 상에서 수신된 인코딩 데이터를 디코딩하고, 제 2 디코더는 제 2 채널 상에서 수신된 인코딩 사이드 데이터를 디코딩한다. 제 1 디코더로부터 생성된 데이터 및 제 2 디코더로부터 생성된 데이터는 결합되어 출력 데이터를 생성한다.

본 발명의 또 다른 양태에 따르면, 머신에 의해 실행될 때, 제 1 인코딩 표준에 따라 입력 데이터를 인코딩하여 인코딩 데이터를 생성하는 동작, 입력 데이터의 재구성본에 기초하여 입력 데이터를 인코딩하여 인코딩 사이드 데이터를 생성하는 동작, 및 제 1 채널을 통해 인코딩 데이터를 수신지에 송신하고 제 2 채널을 통해 인코딩 사이드 데이터를 수신지에 송신하는 동작을 머신이 수행하도록 하는 명령들을 포함하는 머신-판독가능 매체가 제공된다.

본 발명의 다양한 양태 및 특성이 다음의 상세한 설명에 의해 개시되고, 첨부한 도면을 참조한다.

도면의 간단한 설명

도 1 은 통상의 비디오 프로세싱 시스템을 도시하는 블록도이다.

도 2a 는 인코더 및 디코더 유닛이 사이드 정보에 액세스한 프로세싱 시스템을 도시하는 블록도이다.

도 2b 는 디코더 유닛만이 사이드 정보에 액세스한 프로세싱 시스템을 도시하는 블록도이다.

도 3 은 본 발명의 일 실시형태에 따른 예시적인 프로세싱 시스템의 블록도이다.

도 4 는 본 발명의 일 실시형태에 따른 사이드 정보 인코더의 블록도이다.

도 5 는 양자화된 코드워드 세트, 및 양자화된 코드워드 스페이스의 파티션을 도시하는 도면이다.

도 6 은 양자화된 코드워드 스페이스의 Mod-4 레이블링을 도시하는 도면이다.

도 7 은 본 발명의 일 실시형태에 따른 사이드 정보 디코더를 포함하는 디코딩 서브시스템의 블록도이다.

도 8 은 본 발명의 일 실시형태에 따른 방법의 흐름도이다.

상세한 설명

다음의 상세한 설명에서는 다양하고 구체적인 세부사항들을 설명한다. 그러나, 본 발명의 다양한 실시형태들은 이러한 구체적인 세부사항들 없이 실행될 수도 있음을 이해해야 한다. 이하 설명하는 본 발명의 다양한 실시형태들은 예시적이며, 본 발명을 한정하기 보다는 예시적인 것으로 의도되었음을 당업자는 이해해야 한다.

이하 더욱 상세히 설명하는 바와 같이, 본 발명의 일 실시형태에 따르면, 멀티미디어 비트스트림을 반송하는 메인 스트림에 추가하여 여분의 디지털 스트림을 인코딩하는 방업 및 시스템 구조가 제공된다. 또한, 여분의 디지털 스트림을 본 명세서에서는 사이드 채널 또는 힌트 채널이라고 한다. 이러한 여분의 디지털 채널은, 메인 채널을 통해 송신되는 멀티미디어 비트스트림에 에러 허용성을 제공하여, 수신단 (예를 들어, 비디오 디코더에 의해 생성되는 비디오 데이터) 에서 생성되는 멀티미디어 정보 (예를 들어, 비디오 데이터) 의 품질을 개선하는데 사용될 수 있다. 또한, 이하 더 상세히 설명하는 본 발명의 일 실시형태에 따르면, 사이드 채널을 통해 송신되는 힌트 또는 사이드 채널 정보의 양은, 채널 조건들, 사이드 채널이 제공하도록 요구되는 보호의 양 등을 포함하는 다양한 요인에 기초하여 적응되거나 동적으로 조정될 수 있다.

다음의 설명은 사이드 정보로 코딩하는 것을 이용하는 방법 및 시스템 구조에 대한 설명 및 예시를 제공한다. 사이드 정보로 코딩하는 구조는 1999년 3 월 Proceedings of the Data Compression Conference (DCC) 의 "Distributed Source Coding Using Syndromes (DISCUS): Design and Construction" 으로 명명된 기술논문에서 S.S.Pradhan 및 K.Ramchandran 에 의해 설명되었다. 도 2a 및 2b 를 참조하면, 프로세싱 시스템 (200A 및 200B) 이 각각 도시된다. 프로세싱 시스템 (200A) 은, 채널 (220A) 을 통해 디코더 (230A) 에 데이터를 송신하는 인코더 (210A) 를 포함한다. 유사하게, 프로세싱 시스템 (200B) 은, 채널 (220B) 을 통해 디코더 (230B) 에 데이터를 송신하는 인코더 (210B) 를 포함한다.

도 2a 및 2b 에 도시된 바와 같이, X 및 Y 는, 8 개가 가능한 2 진 3-투플 (tuple) 의 각각을 동등하게 취할 수 있는 3-비트 길이의 2 진 데이터인 것으로 가정한다. 그러나, X 및 Y 는 랜덤 변수로 상관된다. 이들간의 상관은, X 와 Y 간의 해밍 (Hamming) 차이가 1 이하이도록 된다. 즉, Y 값 (예를 들어, Y=[0 1 0]) 이 주어지면, X 값은 Y 값과 동일하거나 (즉, X=[0 1 0]), Y 값에 대해 1 비트만큼 다르다. 예를 들어, X 값은 최초 비트에서 다르거나 (X=[1 1 0]) 또는 중간 비트에서 다르거나 (X=[0 0 0]) 또는 최후 비트에서 다를 수 있다 (X=[0 1 1]).

다음 설명은, X 가 도 1 에서 설명한 2 개의 시나리오에서 효율적으로 인코딩되어 X 가 디코더에서 정확하게 재구성될 수 있음을 나타낼 것이다.

제 1 시나리오: 도 2a 에서 도시된 제 1 시나리오에서는, Y 가 인코더 (210A) 및 디코더 (230A) 모두에 제공된다. 이 시나리오에서는, X 가 Y 로부터 예측될 수 있다. 나머지 데이터 또는 나머지 정보, 또는 Y 에 대한 X 의 에러 패턴으로 불리는 나머지 (XY) 는 4 개의 개별 값을 가질 수 있고 따라서 2 비트로 인코딩될 수 있다. 이것을, X 를 인코딩하는데 요구되는 최소 가능 (최상) 레이트라 할 수 있다. 수신단에서, 디코더는 이 나머지를 Y 와 결합하여 X 를 얻을 수 있다. 이 경우, 이하 더 상세하게 설명하는 바와 같이, X 는, 힌트 채널을 통해 송신되도록 요구되는 현재의 멀티미디어 코딩 유닛과 유사하다. Y 는메인 채널에 기초한 현재 멀티미디어 코딩 유닛에 대한 재구성본과 유사하다. 나머지가 힌트 채널에 대해 인코딩되는 이러한 방법은 예측 코딩에 대응한다.

제 2 시나리오: 도 2b 에 도시된 바와 같은 제 2 시나리오에서는, X 에 대한 인코더 (인코더 (210B)) 가 Y 에 액세스하지 않는다. 따라서 이 시나리오의 성능은 제 1 시나리오의 성능에 의해 한정된다. 그러나, X 에 대한 인코더는 X 와 Y 간의 상관 구조를 인식하고 또한 디코더가 Y 에 액세스함을 인식한다. 이러한 일견 불량해 보이는 시나리오에서, 제 1 시나리오와 동일한 성능이 달성될 수 있음을 이하에서 알 수 있다. 즉, 제 2 시나리오에서, X 또한 2 비트로 인코딩될 수 있다.

이는 다음의 접근방식을 사용하여 이루어질 수 있다. 이 접근방식에서, X 의 코드워드 스페이스는,

([0 0 0] 및 [1 1 1]) 을 포함하는 코세트 (Coset) 1;

([0 0 1] 및 [1 1 0]) 을 포함하는 코세트 2;

([0 1 0] 및 [1 0 1]) 을 포함하는 코세트 3; 및

([1 0 0] 및 [0 1 1]) 을 포함하는 코세트 4

와 같은, 각각 2 코드워드를 포함하는 4 세트로 분할될 수 있다.

이 예에서, X 에 대한 인코더는 X 에 대한 코드워드를 포함하는 세트를 식별하여, 개별 코드워드 대신에 각 세트에 대한 인덱스를 전달할 수 있다. X 의 코드워드 스페이스에 4 세트가 존재하기 때문에, 이들은 2 비트로 인덱스될 수 있다. 코세트 인덱스의 수신시에, 디코더는 Y 를 사용하여, Y 에 가장 근접한 코드워드를 응답으로서 나타내거나 선언함으로써 그 세트로부터 정확한 X 를 명확히하거나 얻을 수 있다. 전술한 바와 같이, X 와 Y 간의 차이는 1 이하이고, 임의의 세트에서의 2 코드워드간의 차이는 3 이다. 따라서, 제 2 시나리오에서 X 의 디코딩은 코세트 인덱스 및 Y 에 기초하여 정확하게 이루어질 수 있다. 예를 들어, Y 가 [0 0 1] 이고, X 가 [0 1 1] 이면, 인코더 (210B) 는 X 에 대한 개별 코드워드를 전송하는 대신에, X 값을 포함하는 대응하는 세트에 대한 인덱스를 전송하며, 이 경우에는 코세트 4 를 전송한다. 따라서, 인코더 (210B) 로부터 이 인덱스의 수신시에, 디코더 (230B) 는 Y ([0 0 1]) 와 코세트 4 의 코드워드 중 하나인 ([1 0 0]) 간의 차이 (= 2), 및 Y ([0 0 1]) 와 다른 코드워드 ([0 1 1]) 간의 차이 (= 1) 를 계산한다. X 와 Y 간의 차이가 1 이하임을 디코더 (210B) 가 인식하고 있기 때문에, 이 예에서 X 의 정확한 값인 [0 1 1] 이 X 에 대한 관측된 코드워드로서 디코딩된다. 디코더가 상관된 사이드 정보에 액세스하는 이러한 모드의 인코딩을 사이드 정보 코딩이라 한다. 사이드 정보 시스템으로 코딩하는 것을 이용하는 시스템의 성능은, 코드 길이가 커짐에 따라, 예측 코딩에 기초한 시스템의 성능에 매칭될 수 있다. 일반적으로, X 와 Y 간의 상관은 송신 레이트를 감소시키는 것을 도울 수 있다. 전술한 설명에 기초하여, 다음의 관측을 설명한다.

- 코세트 1 은 차이 3 의 반복 채널 코드이고, 다른 세트들은 X 의 코드워드 스페이스에서의 이 코드의 코세트들이다. 이 예에서, X 의 소스 코드워드 스페이스를 분할하기 위해, X 와 Y 간의 상관 차이 (예를 들어, 잡음) 에 "매칭되는" 채널 코드를 사용하였다. 이것은, 예측 코딩 시스템과 동일하거나 필적할만한 높은 압축 성능을 제공하는 사이드 정보 인코딩 시스템을 유발시킨다.

- 실제로, 소스 코드워드 스페이스 및 그렇게 형성된 코세트의 인덱스 레이블링의 분할은 코세트 코드의 구조를 통해 계산적으로 매우 효율적인 방식으로 이루어질 수 있다. 따라서, 사이드 정보 코딩 시스템에서의 인코더는 낮은 인코딩 복잡성을 발생시킨다.

- 또한, 전술한 바와 같은 X 의 분할은 보편적이다. 즉, X 및 Y 가 상관 구조를 만족시키는 한, X 의 동일한 분할은 Y 값에 무관하게 모든 Y 에 대해 작용한다. 예를 들어, X 가 [0 1 0] 이면, X 에 대한 동일한 인코딩 (예를 들어, 코세트 3 의 인덱스) 이 모든 경우의 Y (예를 들어, [0 1 0], [1 1 0], [0 0 0] 및 [0 1 1]) 에 대해 적용가능할 것이다. 따라서, X 에 대한 인코딩과 상관된 정보 Y 의 값간에 독립성이 존재하지 않는 예측 코딩 설정과 달리, 보편성을 제공한다. 따라서, 여기서 제공된 발명은 MPEG-4, H.263, H.264 등과 같은 모든 예측 코딩 기술에 적용될 것이다.

도 3 을 참조하여, 본 발명의 일 실시형태에 따라, 사이드 정보 코딩 접근방식을 사용하는 예시적인 멀티미디어 프로세싱 시스템 (300) 을 설명한다. 도 3 에 도시된 바와 같이, 시스템 (300) 은 인코딩 서브시스템 또는 인코딩 구성요소 (310) 및 디코딩 서브시스템 또는 디코딩 구성요소 (330) 를 포함한다. 일 실시형태에서, 인코딩 서브시스템 (310) 은, MPEG-4 표준 또는 H.263 표준과 같은 확립된 표준에 따라 동작하는 인코더 (312) 를 포함한다. 또한, 인코더 (312) 를 본 명세서에서는 통상의 인코더라 한다. 인코딩 서브시스템 (310) 은, 비디오 인코더 (312) 에 결합되는 또 다른 인코더 (316) (또한 본 명세서에서는 사이드 정보 인코더 또는 힌트 정보 인코더라 한다) 를 더 포함한다. 인코더 (312) 는 입력 데이터를 수신하고 인코딩하여, 메인 채널 (320) 을 통해 디코딩 서브시스템 (330) 에 송신되는 인코딩 데이터를 생성한다. 메인 채널 (320) 은 무선 또는 유선 채널일 수 있다. 인코더 (316) 는 인코더 (312) 로부터 입력 데이터 및 입력 데이터의 재구성본을 수신하도록 결합되고, 무선 또는 유선 채널일 수 있는 개별 채널 (325) 를 통해 디코딩 서브시스템 (330) 에 송신되는 인코딩 사이드 또는 힌트 정보를 생성한다. 또한, 채널 (325) 를 본 명세서에서는 사이드 채널 또는 힌트 채널이라 한다. 일 실시형태에서, 입력 데이터와 입력 데이터의 재구성본간의 차이를, 인코더 (312) 에 의해 생성된 예측 에러 정보를 포함할 수도 있는 나머지 데이터라 한다. 이하, 인코더 (316) 의 구조 및 동작을 더 상세히 설명한다.

일 실시형태에서는, 도 3 에 도시된 바와 같이, 디코딩 서브시스템 (330) 이, MPEG-4 표준 또는 H.263 표준과 같은 확립된 표준에 따라 동작하는 디코더 (332) 를 포함한다. 디코더 (332) 를 본 명세서에서는 통상의 디코더라 한다. 디코딩 서브시스템 (330) 은 사이드 채널 (325) 을 통해 수신된 사이드 정보를 디코딩하는 디코더 (336) 를 더 포함한다. 디코더 (332) 및 디코더 (336) 에 의해 생성된 정보 또는 데이터는 결합되어 출력 데이터 (예를 들어, 출력 비디오 데이터) 를 생성한다. 이하, 디코딩 서브시스템 (330) 및 디코더 (316) 의 구조 및 동작을 더 상세히 설명한다.

도 4 는, 본 발명의 일 실시형태에 따라, 전술한 도 3 에 도시된 인코더 (316) 의 세부 블록도를 도시한다. 도 4 에 도시된 바와 같이, 인코더 (316) (또한 본 명세서에서는 사이드 정보 인코더 또는 단순히 사이드 인코더라 한다) 는 분류 유닛 (410), 베이스 스칼라 양자 유닛 (420), 신드롬 인코딩 유닛 (430), 정제 (refinement) 양자화 유닛 (440) 및 에러 검출/보호 유닛 (450) 을 포함한다. 이하, 인코더 (316) 의 이러한 다양한 유닛 또는 구성요소를 더 상세히 설명한다. 도 4 에 도시된 인코더 (316) 의 구성 또는 구조는 본 발명의 교시에 따른 일 실시형태 또는 일 구현형태일 뿐이다. 본 발명 및/또는 다양한 시스템 환경에 기초하여, 또 다른 구성, 구조 또는 변형이 구현될 수 있다. 예를 들어, 분류 및 신드롬 코드 선택이 일시적 채널 조건에 매칭될 수 있다.

사이드 (힌트) 채널 (325) 상에서 허용된 송신 레이트에 따라, 인코더 (316) 에 의해 수행되는 기능 또는 프로세스의 일부는 수정되거나 생략될 수 있다. 예를 들어, 베이스 스칼라 양자화는 사이드 정보에 대한 가용 비트 레이트 및 N 의 통계값에 따라 수정될 수 있다. 유사하게, 정제 양자화 프로세스 또는 기능은 수정되거나 생략될 수 있다. 설명 및 예시의 목적으로, X 는 인코딩될 현재의 블록, Y 는 메인 채널에서 현재 블록의 재구성본, Y = X + N 으로 설정하며, N 은 X 와 Y 간의 차이를 나타내고, 예를 들어, X 의 인코딩에서의 예측 에러, 잡음, 및/또는 인코딩 및 송신 프로세스에서 개입되는 왜곡 등에 대응할 수도 있다.

다음의 설명에서, 인코딩될 비디오 프레임은 오버랩하지 않는 픽셀의 공간적 블록 (예를 들어, 16×16, 8×8 등) 으로 분할되는 것으로 가정한다. 본 발명의 교시는 인코딩될 비디오 프레임의 임의의 특정한 분할 또는 파티션에 한정되지 않음을 당업자는 인식할 것이다. 이하, 블록별로 진행할 수 있는 인코딩 프로세스를 설명한다.

분류:

일 실시형태에서, 분류 유닛 (410) 은 다음과 같은 분류 기능 또는 프로세스를 수행한다. 채널 코드를 블록에 매칭시키기 위해, 블록은, 현재 프레임의 메인 채널 재구성본과의 상관에 기초하여 분류된다. 특정 경우에 대응하는 N 의 통계값이 적절한 분할 전략을 결정하거나 명령하는데 사용된다. 일 실시형태에서, 블록 프레임 차이 (예를 들어, 동일한 위치에서, 메인 채널 상의 현재 블록과 재구성된 블록간의 제곱평균 에러) 에서의 에너지가 큐 (cue) 로서 사용되어 현재 블록을 분류할 수 있다. 다양한 코딩 모드 또는 클래스가 상관의 상이한 정도에 대응하여 사용될 수 있다. 예를 들어, 상관이 매우 강하여 블록이 전혀 인코딩되지 않는 소위 생략 (SKIP) 모드가 하나의 극단적 예이다. 또 다른 극단적 예로, 매우 약하여 내부 코딩 (intra-coding) 이 적절하게 되는 소위 인트라 (INTRA) 모드가 있다. 따라서, 이러한 2 극단 사이에 다양한 신드롬 코딩 모드가 존재할 수 있다.

베이스 스칼라 양자화

도 4 에 도시된 바와 같이, 인코딩 유닛 (316) 은 픽셀값 상에서 양자화를 수행하는 베이스 스칼라 양자화 유닛 (420) 을 포함한다. 일 실시형태에서, 입력 데이터 (예를 들어, 픽셀값) 는 인코딩 전에 양자화될 필요가 있다. 양자화에 있어서, 스텝 사이즈의 선택은 N 의 통계값에 한정될 수 있다. 예를 들어, X 를 인코딩하는데 매우 세밀한 스텝 사이즈가 선택되면, 코드워드들이 서로 너무 "근접"하여 재구성된 정보 Y 가 정확하게 코드워드들을 명확화하지 못할 수도 있기 때문에, 디코딩 에러가 존재할 수 있다. 이것이 도 5 에 도시된 도면에 설명되어 있다. 도 5 에 도시된 바와 같이, 최상부의 선은 X 에 대한 양자화된 코드워드 세트를 도시하고, 2 개의 하부 선들은 X 에 대한 양자화된 코드워드 스페이스의 2 개의 분할을 도시한다. 직각 박스는 제 1 파티션에 놓인 관측된 코드워드를 도시한다. 이 예에서, N 의 크기가 양자화 스텝 사이즈보다 크기 때문에, 디코더는 재구성된 정보 Y 를 사용하여 부정확한 (원형의) 코드워드를 디코딩한다. 따라서, X 의 엘리먼트 각각은 N 에서의 대응 엘리먼트의 표준편차에 비례하는 스텝 사이즈로 양자화된다.

신드롬 인코딩

다시 도 4 를 참조하면, 신드롬 코딩 유닛 (430) 은 베이스 스칼라 양자화 유닛 (420) 으로부터 생성된 데이터에 따라 신드롬 인코딩을 수행한다. 이 실시형태에서, N 의 통계값을 사용하여 적절하게 생성된 양자화된 코드워드의 스페이스는 양호한 차이 특성을 가진 채널 코드 (예를 들어, 유클리드 공간 격자 채널 코드 (Euclidean space trellis channel code), 터보 코드, LDPC (Low Density Parity Check) 코드 또는 당해 분야에 공지된 다른 채널 코드 등) 를 사용하여 분할될 수 있다. 이것은, 전술한 소스 코드워드 스페이스를 분할하는데 사용되는 반복 채널 코드와 유사하다.

일 실시형태에서, 레이트-1/2 격자 코드가 이 목적으로 사용될 수 있다. 블록 길이 N 의 레이트-1/2 격자 코드는 {0, 1, 2, 3}N 의 서브스페이스이다 (예를 들어, 블록 길이 3 ([0 0 0] 및 [1 1 1]) 의 반복 채널 코드는 {0 1}3 의 서브스페이스이다). 따라서, 스페이스 {0, 1, 2, 3}N 을 분할하는데 사용될 수 있다. 이러한 이유 때문에, 양자화된 코드워드의 스페이스는 {0, 1, 2, 3}N 으로 변환될 필요가 있다. 이것은, 일 실시형태에서는, 도 6 에 도시된 바와 같이, 양자화 격자의 mod-4 레이블링을 사용함으로써 이루어질 수 있다.

일 실시형태에서, 이 경우에 발생되는 송신 레이트 또는 코세트 인덱스 레이트는 1 비트/샘플이다. 이 예에서, {0, 1, 2, 3}N 의 서브스페이스인 블록 길이 N 의 레이트-1/2 격자 코드는 사이즈 4N 의 스페이스에서 2N 코드워드를 가진다. 따라서, 이와 관련된 4N/2N = 2N 코세트가 존재하며, N 비트에 의해 인덱스될 수 있고, 따라서 1 비트/샘플의 레이트에 대응할 수 있다.

각 코드워드와 관련된 코세트 인덱스 (신드롬) 의 생성은, 양자화된 코드워드와 격자코드의 패러티 체크 매트릭스간에 단순한 콘벌루션 연산 (계수의 수에서 선형) 을 통해 계산적으로 효율적인 방식으로 달성될 수 있다.

정제 양자화:

도 4 에 도시된 바와 같이, 신드롬 인코딩 유닛 (430) 에 의해 생성된 데이터는 정제 양자화 유닛 (440) 에 의해 더 정제될 수 있다. 일반적으로, 목표 재구성 품질은 특정한 양자화 스텝 사이즈에 대응한다 (예를 들어, 더 높은 품질은 더 세밀한 양자화 스텝 사이즈에 대응하고, 더 낮은 품질은 더 거친 양자화 스텝 사이즈에 대응한다). 통상적으로, 품질은, PSNR = log10 (2552/MSE) 인 PSNR (Peak Signal-to-Noise Ratio) (dB) 에서 측정되며, 여기서 MSE 는 원 (original) 블록과 블록에서 픽셀의 수에 의해 분할된 인코딩 블록간의 제곱평균 에러 (mean square error) 를 나타낸다.

신드롬이 인코딩되는 픽셀값에 있어서, 기본 양자화 스텝 사이즈는 N 에 의해 한정된다. 이는 디코딩 에러의 확률을 최소화하기 위해 이루어진다. 따라서, 기본 양자화 간격이 높은 신뢰도로 디코더에 정확하게 이송될 수 있다고 가정하면, 목표 양자화 스텝 사이즈로 더 정제될 수 있다. 일 실시형태에서, 정제 동작은, 기본 양자화 간격을 목표 양자화 스텝 사이즈와 동일한 사이즈의 간격으로 점진적으로 서브-분할하는 만큼 단순화될 수 있다. 이 경우, 기본 간격 내의 정제 간격의 인덱스가 디코더에 송신된다.

신드롬 코딩 및 정제 양자화를 수행하는 것은, 사이드 정보로 코딩하는 이점을 구현하고 실현하는 단지 하나의 방식임을 당업자는 이해할 것이다. 전술한 바와 같이, 또 다른 구성, 변형 또는 본 명세서에서 설명한 다양한 프로세싱 단계의 조합이 본 발명의 다양한 애플리케이션에 따라 구현될 수 있다. 예를 들어, 정제 양자화 단계 또는 프로세스는, 필요없다면, 어떠한 애플리케이션 또는 시스템 환경에서는 생략될 수도 있다.

기본 양자화 및 정제 양자화 레벨은 다양한 팩에 기초하여 조정되거나 적응되어 품질과 효율성간의 적절한 균형을 유지할 수 있다. 다양한 요인은, 사이드 정보에 대한 가용 비트 레이트, 채널 조건, 및 소망하는 레벨의 품질을 달성하기 위해 사이드 채널이 제공해야 하는 보호의 양 등을 포함할 수도 있지만, 이에 한정되지는 않는다.

디코딩 에러 검출/보호:

도 4 에 도시된 바와 같이, 인코더 (316) 는 에러 검출/보호 유닛 (450) 을 포함할 수도 있다. 인코더 서브시스템에서, 사이드 정보 인코딩은 주로, 인코딩될 블록 X 와 메인 채널 프레임 메모리에서 이 블록에 대한 "최상의" 예측자 Y 간의 에러의 통계값에 따라 이루어진다. 인코딩 프로세스는 통계적이기 때문에, 검출될 필요가 있는 디코딩 에러가 존재할 수 있다. 이는, 순환 잉여 검사 (CRC) 코드와 같은 에러 보호 코드에 의해 달성될 수 있다. 이 실시형태에서, 인코더 (316) 는 사이드 정보 인코딩 계수에 대한 신드롬 및 코드워드의 양자화된 시퀀스에 대한 충분한 강도의 CRC 체크를 송신한다. 이러한 CRC 체크는 양자화된 코드워드 시퀀스의 "서명 (signature)" 으로서 제공될 수 있다. 통상의 인코딩/디코딩 패러다임과는 반대로, 본 명세서에서 설명하는 새로운 접근방식에서 모션 검색을 수행하는 것은 디코더의 작업이다. 일 실시형태에서, 디코더는 후보 예측자의 스페이스에 대해 하나씩 검색하여, 신드롬에 의해 레이블링된 세트로부터 시퀀스를 디코딩한다. 디코딩된 시퀀스가 CRC 체크와 매칭되면, 디코딩은 성공적인 것으로 선언된다. 코드워드 시퀀스에 대해 신뢰할 만한 서명으로서 작용하기 위해 CRC 는 충분히 강력할 필요가 있다.

도 7 을 참조하면, 디코딩 서브시스템 (330) 의 더 상세한 블록도가 도시된다. 도 7 에 도시된 바와 같이, 디코딩 서브시스템 (330) 은 디코더 유닛 (332), 디코더 유닛 (336), 및 추정 및 재구성 유닛 (730) 을 포함할 수도 있다. 일 실시형태에서, 디코더 (336) (또한, 본 명세서에서는 사이드 정보 디코더 또는 단순히 사이드 디코더라 한다) 는 모션 검색 유닛 (710) 및 신드롬 인코딩 유닛 (720) 을 포함할 수도 있다. 이하, 디코딩 서브시스템 (330) 에 포함된 다양한 유닛의 동작 및 기능을 더 상세히 설명한다.

모션 검색:

일 실시형태에서, 모션 검색 유닛 (710) 은 후보 예측자를 생성하기 위해 모션 검색을 수행하여, 수신된 신드롬에 의해 표시된 세트로부터 양자화된 코드워드의 시퀀스를 디코딩한다. 표준 비디오 알고리즘의 인코딩측에서 수행되는 것과 같이, 포괄적인 하프 픽셀 모션 검색이 사용되어 다양한 후보 예측자를 얻는다. 본 명세서에서 설명하는 방법 및 시스템 구조는, 다중-프레임 예측, 광학 플로우, 제어 그리드 내삽 등과 같은 임의의 또 다른 정교한 모션 추정 과정을 수용하도록 적용될 수 있다.

일 실시형태에서, 메인 채널에 에러가 없을 때, 또는 모션 벡터가 손상되지 않았을 때에는 모션 검색이 수행되지 않는다. 여기서, 모션 검색 동작은 시간 소모적이고, 계산 집약적이다. 따라서, 모션 벡터가 메인 스트림에서 에러없이 도달하면, 모션 검색 동작은 수행될 필요가 없다.

신드롬 디코딩

이러한 설명에 계속하여, 신드롬 디코딩이 신드롬 디코딩 유닛 (720) 에 의해 수행된다. 일 실시형태에서, 모션 검색 유닛 (710) 에 의해 생성되는 후보 예측자 각각은 신드롬에 의해 표시된 세트로부터의 양자화된 코드워드의 시퀀스를 디코딩하는데 사용된다. 격자 코드의 경우에, 이러한 디코딩은 비터비 (Viterbi) 알고리즘을 사용하여 달성될 수 있다. 여기서, 수신된 신드롬에 의해 레이블링된 모든 시퀀스의 세트는 격자 상에서 표현된다. 그 후, 비터비 알고리즘이, 이 세트에서 후보 예측자에 "가장 근접한" 시퀀스를 식별하는데 사용된다. 다른 코드 (예를 들어, 터보 코드) 의 경우에는, 대응하는 디코딩 알고리즘 (예를 들어, 반복적 디코딩) 이 사용될 수 있다. 이러한 디코딩된 시퀀스가 CRC 체크에 매칭되면, 디코딩은 성공적인 것으로 선언된다. 그렇지 않으면, 모션 검색 모듈을 사용하여, 다음 후보 예측자가 얻어지고 과정이 반복된다.

추정 및 재구성:

일단 양자화된 코드워드 시퀀스가 신드롬 디코딩 유닛 (720) 에 의해 복구되면, 복구된 코드워드 시퀀스는 추정 및 재구성 유닛 (730) (또한 본 명세서에서는 결합 유닛이라 한다) 에 제공된다. 메인 채널로부터 사용가능한 예측자와 함께 복구된 코드워드 시퀀스가 사용되어 소스 데이터의 최상의 재구성본을 얻는다. X, Y 및 N 이 가우스 랜덤 변수로서 모델링되었다면, 예측자 및 양자화된 코드워드로부터의 최상의 선형 추정치가 소스 재구성본을 얻는데 사용될 수 있다. 그러나, 임의의 신호 프로세싱 알고리즘 (예를 들어, 공간시간 내삽 (spatio-temporal interpolation)) 또는 후처리 메카니즘이 이 구조에서 이용될 수 있고, 프로세싱 시스템의 전반적인 성능 개선을 제공할 수도 있다.

즉, 도 7 에 도시된 바와 같이, 재구성된 메인 스트림 데이터 및 재구성된 사이드 스트림 데이터는 결합 유닛 (730) 에 의해 결합되어, 출력 데이터 (예를 들어, 비디오 출력 데이터) 를 생성한다. 출력 데이터를 생성하기 위한 다양한 기술이 재구성된 메인 스트림 데이터와 재구성된 사이드 스트림 데이터를 결합하는데 사용될 수 있다. 예를 들어, (선형 추정에 기초한) 선형 가중 또는 공지된 임의의 또 다른 비선형 결합기술이 재구성된 메인 스트림 데이터와 재구성된 사이드 스트림 데이터를 결합하는데 사용될 수 있다.

도 8 은 본 발명의 일 실시형태에 따라 정보 (예를 들어, 비디오 데이터) 를 프로세싱하는 방법의 흐름도를 도시한다. 블록 810 에서는, 입력 데이터 (예를 들어, 입력 비디오 데이터) 가 수신된다. 블록 820 에서는, 입력 비디오 데이터가 확립된 표준 (MPEG-4 또는 H.263 표준) 에 따라 인코딩되어 인코딩 데이터를 생성한다. 블록 830 에서는, 입력 데이터의 재구성본에 기초하여 입력 데이터가 인코딩되어, 인코딩 사이드 정보 (또한 힌트 정보라 한다) 를 생성한다. 블록 840 에서는, 블록 820 에서 생성된 인코딩 데이터가 제 1 채널 (또한, 메인 채널이라 한다) 을 통해 수신지 (예를 들어, 디코딩 서브시스템) 에 송신되고, 인코딩 사이드 정보가 제 2 채널 (또한, 사이드 채널 또는 힌트 채널이라 한다) 을 통해 수신지 (예를 들어, 디코딩 서브시스템) 에 송신된다. 본 명세서에서 설명한 바와 같이, 메인 채널을 통해 송신된 정보 스트림을 메인 스트림이라 하는 한편, 사이드 채널을 통해 송신된 정보 스트림을 사이드 스트림이라 한다. 블록 850 에서는, 메인 채널로부터 인코딩 데이터를 수신할 때 및 사이드 채널로부터 인코딩 사이드 정보를 수신할 때에, 수신된 인코딩 데이터 및 수신된 사이드 정보가 디코딩되어 출력 데이터 (예를 들어, 출력 비디오 데이터) 를 생성한다.

전술한 바와 같이, 본 발명의 다양한 실시형태에 따른 방법 및 시스템 구조는 다양한 시스템 구성, 애플리케이션, 및 비디오 및 오디오 데이터를 포함하는 다양한 타입의 상관된 데이터에서 적용되고 구현될 수 있다. 전술한 설명으로부터, 도 3 에서 설명된 바와 같은 사이드 정보 인코딩/디코딩을 이용하는 프로세싱 시스템에서는 디코딩 서브시스템에 의해 생성된 출력 데이터의 품질 및 시스템 성능이 통상의 시스템에서의 성능 및 품질에 비해 개선됨을 알 수 있다. 즉, 본 명세서에 개시된 사이드 정보 기반 힌트 채널 방법/솔루션은, (1) 프레임 또는 GOP 레벨에서 동작할 필요가 있어서 현저하게 증가된 대기시간을 발생시키는 FEC 솔루션과 반대로, 힌트 채널은 매크로블록 레벨에서 효율적으로 동작할 수 있는 조인트-소스-채널 코드이기 때문에, 본 발명의 사이드 정보 기반 방법/솔루션은 동일한 성능 곡선에 대해 FEC 기반 솔루션보다 훨씬 낮은 대기시간을 발생시키고; (2) 메인 채널 상에서 에러가 존재하지 않는 경우에도, 본 발명의 사이드 정보 기반 접근방식은 전술한 바와 같은 2 정보 스트림의 결합 때문에, 개선된 품질을 발생시킬 수 있는 반면, 표준 FEC 기반 솔루션은 이 경우 품질을 개선시킬 수 없는; 적어도 2 가지 면에서 통상의 FEC 기반 에러 허용 방식/솔루선에 비해 뛰어나다.

본 발명은 구체적인 실시형태들 및 특정한 예들을 참조하여 설명되었지만, 이러한 실시형태들 및 예들은 예시적인 것이며 본 발명의 범주는 이러한 실시형태들에 한정되지 않음을 당업자는 이해해야 한다. 전술한 실시형태들에 대한 다양한 변형, 수정, 추가 및 개선이 가능하다. 이러한 변형, 수정, 추가 및 개선은 다음의 청구항들에서 상세화되는 본 발명의 범주 내에 속하는 것으로 고려된다.

Claims

인코딩 데이터를 생성하기 위해 제 1 인코딩 표준에 따라 입력 데이터를 인코딩하는 단계;

인코딩 사이드 데이터를 생성하기 위해 상기 입력 데이터의 재구성본에 기초하여 상기 입력 데이터를 인코딩하는 단계; 및

상기 인코딩 데이터를 제 1 채널을 통해 수신지에 송신하고, 상기 인코딩 사이드 데이터를 제 2 채널을 통해 수신지에 송신하는 단계를 포함하는, 방법.
제 1 항에 있어서,

상기 제 1 인코딩 표준은 MPEG-4 표준과 호환가능한 표준인, 방법.
제 1 항에 있어서,

상기 제 1 인코딩 표준은 H.263 표준과 호환가능한 표준인, 방법.
제 1 항에 있어서,

상기 입력 데이터는 비디오 데이터를 포함하는, 방법.
제 4 항에 있어서,

인코딩될 상기 입력 데이터 각각의 프레임은 오버랩하지 않는 픽셀의 공간적 블록으로 분할되는, 방법.
제 1 항에 있어서,

상기 입력 데이터의 재구성본에 기초하여 상기 입력 데이터를 인코딩하는 단계는,

상기 입력 데이터의 블록을 상기 입력 데이터의 현재 프레임의 재구성본과의 상관값에 기초하여 분류하는 단계를 포함하는, 방법.
제 6 항에 있어서,

상기 블록은 동일한 위치에서 각각의 블록과 재구성된 블록간의 에너지 차이에 기초하여 분류되는, 방법.
제 6 항에 있어서,

특정한 클래스는 상관의 특정한 정도에 대응하는, 방법.
제 6 항에 있어서,

상기 입력 데이터에 대응하는 일 세트의 양자화된 코드워드를 생성하기 위해 상기 입력 데이터를 양자화하는 단계를 더 포함하는, 방법.
제 9 항에 있어서,

상기 입력 데이터를 양자화하는데 사용되는 양자화 파라미터는, 상기 입력 데이터와 상기 입력 데이터의 재구성본간의 차이에 대응하는 나머지 데이터의 통계값에 기초하여 결정되는, 방법.
제 10 항에 있어서,

상기 나머지 데이터는 상기 입력 데이터의 인코딩으로부터 생성된 예측 에러 정보를 포함하는, 방법.
제 9 항에 있어서,

인코딩 사이드 데이터를 생성하기 위해 상기 양자화된 코드워드에 대한 신드롬 코딩 프로세스를 수행하는 단계를 더 포함하는, 방법.
제 12 항에 있어서,

생성된 상기 인코딩 사이드 데이터는 정제 (refinement) 양자화 프로세스를 통해 더 정제되는, 방법.
제 12 항에 있어서,

상기 인코딩 사이드 데이터에 에러 보호 코드를 추가하는 단계를 더 포함하는, 방법.
제 1 항에 있어서,

재구성된 데이터를 생성하기 위해 상기 수신지에서 상기 인코딩 데이터를 디코딩하는 단계; 및

재구성된 사이드 데이터를 생성하기 위해 상기 수신지에서 상기 인코딩 사이드 데이터를 디코딩하는 단계를 더 포함하는, 방법.
제 15 항에 있어서,

출력 데이터를 생성하기 위해 상기 재구성된 데이터와 상기 재구성된 사이드 데이터를 결합하는 단계를 더 포함하는, 방법.
제 15 항에 있어서,

상기 인코딩 사이드 데이터를 디코딩하는 단계는,

상기 제 1 채널을 통해 수신된 모션 정보가 에러를 포함하고 있으면, 모션 검색 프로세스를 수행하는 단계를 포함하는, 방법.
제 15 항에 있어서,

상기 인코딩 사이드 데이터를 디코딩하는 단계는,

상기 제 2 채널로부터 수신된 상기 인코딩 사이드 데이터에 대응하는 양자화된 코드워드를 복구하는 신드롬 디코딩 프로세스를 수행하는 단계를 포함하는, 방법.
입력 데이터를 수신하고, 제 1 채널을 통한 송신을 위한 인코딩 데이터를 생성하기 위해 제 1 코딩 표준에 따라 상기 입력 데이터를 인코딩하는 제 1 인코더; 및

상기 입력 데이터 및 상기 제 1 인코더로부터의 상기 입력 데이터의 재구성본을 수신하고, 제 2 채널을 통한 송신을 위한 인코딩 사이드 데이터를 생성하기 위해 상기 입력 데이터의 상기 재구성본에 적어도 일부 기초하여 상기 입력 데이터를 인코딩하는 제 2 인코더를 구비하는, 장치.
제 19 항에 있어서,

상기 제 1 코딩 표준은 MPEG-4 표준과 호환가능한 표준인, 장치.
제 19 항에 있어서,

상기 제 1 코딩 표준은 H.263 표준과 호환가능한 표준인, 장치.
제 19 항에 있어서,

상기 입력 데이터는 비디오 데이터를 포함하는, 장치.
제 22 항에 있어서,

인코딩될 상기 입력 데이터 각각의 프레임은 오버랩하지 않는 픽셀의 공간적 블록으로 분할되는, 장치.
제 19 항에 있어서,

상기 제 2 인코더는 상기 입력 데이터의 블록을 상기 입력 데이터의 현재 프레임의 재구성본과의 상관에 기초하여 분류하는 분류 유닛을 구비하는, 장치.
제 24 항에 있어서,

상기 입력 데이터의 블록은 동일한 위치에서 각각의 블록과 재구성된 블록간의 에너지 차이에 기초하여 분류되는, 장치.
제 24 항에 있어서,

특정한 클래스는 상관의 특정한 정도에 대응하는, 장치.
제 24 항에 있어서,

상기 입력 데이터에 대응하는 일 세트의 양자화된 코드워드를 생성하기 위해 상기 입력 데이터를 양자화하는 양자화 유닛을 더 구비하는, 장치.
제 27 항에 있어서,

상기 입력 데이터를 양자화하는데 사용되는 양자화 파라미터는, 상기 입력 데이터와 상기 입력 데이터의 재구성본간의 차이에 대응하는 나머지 데이터의 통계값에 기초하여 결정되는, 장치.
제 28 항에 있어서,

상기 나머지 데이터는 상기 입력 데이터의 인코딩으로부터 생성된 예측 에러 정보를 포함하는, 장치.
제 27 항에 있어서,

인코딩 사이드 데이터를 생성하기 위해 상기 양자화된 코드워드에 대한 신드롬 코딩을 수행하는 신드롬 코딩 유닛을 더 구비하는, 장치.
제 30 항에 있어서,

생성된 상기 인코딩 사이드 데이터는 정제 양자화 프로세스를 통해 더 정제되는, 장치.
제 30 항에 있어서,

상기 인코딩 사이드 데이터에 에러 보호 코드를 추가하는 에러 보호 유닛을 더 구비하는, 장치.
제 1 채널을 통해서 수신되는 인코딩 데이터를 디코딩하는 제 1 디코더;

제 2 채널을 통해서 수신되는 인코딩 사이드 데이터를 디코딩하는 제 2 디코더; 및

출력 데이터를 생성하기 위해, 제 1 인코더로부터 생성된 데이터와 상기 제 2 디코더로부터 생성된 데이터를 결합하는 결합 유닛을 구비하는, 장치.
제 33 항에 있어서,

상기 제 1 채널을 통해 수신된 모션 정보가 에러를 포함하고 있으면, 모션 검색 동작을 수행하는 모션 검색 유닛을 더 구비하는, 장치.
제 33 항에 있어서,

상기 제 2 디코더는,

상기 제 2 채널을 통해 수신되는 인코딩 사이드 데이터에 대응하는 양자화된 코드워드를 복구하는 신드롬 디코딩 유닛을 구비하는, 장치.
입력 데이터를 수신하고, 제 1 채널을 통한 송신을 위한 인코딩 데이터를 생성하기 위해 제 1 코딩 표준에 따라 상기 입력 데이터를 인코딩하는 제 1 인코더;

상기 입력 데이터 및 상기 제 1 인코더로부터의 상기 입력 데이터의 재구성본을 수신하고, 제 2 채널을 통한 송신을 위한 인코딩 사이드 데이터를 생성하기 위해 상기 입력 데이터의 상기 재구성본에 적어도 일부 기초하여 상기 입력 데이터를 인코딩하는 제 2 인코더;

상기 제 1 채널을 통해 수신된 인코딩 데이터를 디코딩하는 제 1 디코더; 및

상기 제 2 채널을 통해 수신된 인코딩 사이드 데이터를 디코딩하는 제 2 디코더를 구비하는, 시스템.
제 36 항에 있어서,

출력 데이터를 생성하기 위해 상기 제 1 인코더로부터 생성된 데이터와 상기 제 2 디코더로부터 생성된 데이터를 결합하는 결합 유닛을 더 구비하는, 시스템.
제 36 항에 있어서,

상기 제 2 인코더는,

상기 입력 데이터의 블록을 상기 입력 데이터의 현재 프레임의 재구성본과의 상관에 기초하여 분류하는 분류 유닛;

상기 입력 데이터에 대응하는 일 세트의 양자화 코드워드를 생성하기 위해 상기 입력 데이터를 양자화하는 양자화 유닛; 및

인코딩 사이드 데이터를 생성하기 위해 상기 양자화된 코드워드에 대한 신드롬 코딩을 수행하는 신드롬 코딩 유닛을 구비하는, 시스템.
제 36 항에 있어서,

상기 제 2 디코더는 상기 제 1 채널을 통해 수신된 모션 정보가 에러를 포함하면, 모션 검색 동작을 수행하는 모션 검색 유닛을 구비하는, 시스템.
제 36 항에 있어서,

상기 제 2 디코더는 상기 제 2 채널을 통해 수신된 상기 인코딩 사이드 데이터에 대응하는 양자화된 코드워드를 복구하는 신드롬 디코딩 유닛을 구비하는, 시스템.
머신에 의해 실행되는 경우,

상기 머신이,

인코딩 데이터를 생성하기 위해 제 1 인코딩표준에 따라 입력 데이터를 인코딩하는 단계;

인코딩 사이드 데이터를 생성하기 위해 상기 입력 데이터의 재구성본에 기초하여 상기 입력 데이터를 인코딩하는 단계; 및

제 1 채널을 통해 상기 인코딩 데이터를 수신지에 송신하고, 제 2 채널을 통해 상기 인코딩 사이드 데이터를 수신지에 송신하는 단계를 포함하는 동작을 수행하게 하는 명령들을 포함하는, 머신-판독가능 매체.
제 41 항에 있어서,

상기 입력 데이터의 상기 재구성본에 기초하여 상기 입력 데이터를 디코딩하는 단계는 상기 입력 데이터를 상기 입력 데이터의 현재 프레임의 재구성본과의 상관값에 기초하여 분류하는 단계를 포함하는, 머신-판독가능 매체.
제 42 항에 있어서,

상기 입력 데이터에 대응하는 일 세트의 양자화된 코드워드를 생성하기 위해 상기 입력 데이터를 양자화하는 단계를 더 포함하는, 머신-판독가능 매체.
제 43 항에 있어서,

인코딩 사이드 데이터를 생성하기 위해 상기 양자화된 코드워드에 대한 신드롬 코딩 프로세스를 수행하는 단계를 더 포함하는, 머신-판독가능 매체.
제 40 항에 있어서,

재구성된 데이터를 생성하기 위해 상기 수신지에서 상기 인코딩 데이터를 디코딩하는 단계; 및

재구성된 사이드 데이터를 생성하기 위해 상기 수신지에서 상기 인코딩 사이드 데이터를 디코딩하는 단계를 더 포함하는, 머신-판독가능 매체.
제 45 항에 있어서,

출력 데이터를 생성하기 위해 상기 재구성된 데이터와 상기 재구성된 사이드 데이터를 결합하는 단계를 더 포함하는, 머신-판독가능 매체.