KR20110074957A

KR20110074957A - 동영상 부호화 장치, 동영상 복호 장치, 동영상 부호화 방법, 동영상 복호 방법, 동영상 부호화 프로그램, 동영상 복호 프로그램, 및 동영상 부호화·복호 시스템

Info

Publication number: KR20110074957A
Application number: KR20107029505A
Authority: KR
Inventors: 요시노리 스즈키; 춘센 분; 티오 켕 탄
Original assignee: 가부시키가이샤 엔.티.티.도코모
Priority date: 2008-10-01
Filing date: 2009-09-08
Publication date: 2011-07-05
Also published as: WO2010038587A1; EP2337357A1; RU2011117204A; US8879627B2; MX2011003499A; CN102172029A; AU2009299222A1; EP2337357A4; CN104135665B; JP5697301B2; BRPI0920532A2; US20110249738A1; TW201036449A; CA2739304A1; JP2010087984A; CN104135665A

Abstract

동영상의 부호화·복호 처리에 있어서, 프레임 메모리의 용량이나 대역의 증대를 억제하면서 부호화 효율을 높임과 동시에, 확장을 용이하게 하기 위하여, 비트 길이 확장 변환기(102)가, 화소값이 비트 길이 N에 의해 표시되는 대상 화상을, 각 화소값이 비트 길이 M에 의해 표시되도록 변환하고, 압축기(110)가, 변환된 화상을 부호화하고, 또한 신장기(111)가, 부호화된 화상이 복원된 후, 비트 길이 축소 변환기(113)가, 화소값이 비트 길이 M보다 값이 작은 비트 길이 L에 의해 표시되는 재생 화상으로 변환하여, 이 재생 화상이, 참조 화상으로서 프레임 메모리(114)에 저장된다.

Description

동영상 부호화 장치, 동영상 복호 장치, 동영상 부호화 방법, 동영상 복호 방법, 동영상 부호화 프로그램, 동영상 복호 프로그램, 및 동영상 부호화·복호 시스템{MOVING IMAGE ENCODING APPARATUS, MOVING IMAGE DECODING APPARATUS, MOVING IMAGE ENCODING METHOD, MOVING IMAGE DECODING METHOD, MOVING IMAGE ENCODING PROGRAM, MOVING IMAGE DECODING PROGRAM, AND MOVING IMAGE ENCODING/DECODING SYSTEM}

본 발명은, 동영상을 부호화·복호하기 위한 동영상 부호화 장치, 동영상 복호 장치, 동영상 부호화 방법, 동영상 복호 방법, 동영상 부호화 프로그램, 동영상 복호 프로그램, 및 동영상 부호화·복호 시스템에 관한 것이며, 특히 부호화·복호 처리에 있어서 취급되는 화상의 각 화소의 비트 길이와 관련된 것이다.

동영상 데이터의 전송이나 축적을 효율적으로 행하기 위하여, 압축 부호화 기술이 사용된다. 동영상의 경우에는 MPEG1, 2, 4나 H.261∼H.264의 방식이 널리 사용되고 있다.

부호화 효율을 높이기 위하여, 부호화의 대상으로 되는 화상을 복수개의 블록으로 분할한 후 예측 부호화·복호 처리를 행한다. 구체적으로는 1프레임의 화상을 16×16화소로 이루어지는 블록의 영역으로 분할한다. 화면 내 예측 부호화 방법에서는, 부호화 대상이 되는 대상 블록과 같은 화면 내에 있는 인접하는 이미 재생된 화상 신호(압축된 화상 데이터를 복원한 것)를 사용하여 예측 신호를 생성한 후, 그것을 대상 블록의 신호로부터 뺀 차분 신호를 부호화한다.

또한, 동영상에 있어서의 시간축 상에 인접하는 다른 화상을 참조하여 대상 블록의 예측 신호를 생성하고, 대상 블록과 예측 신호와의 차분을 부호화하는 화면 간 예측 부호화 방법도 더불어 사용된다. 이 경우, 대상 블록에 대하여, 부호화되고 복원된 다른 프레임을 참조 화상으로 하여 동작 검출을 행하고, 오차가 가장 적은 예측 신호를 결정한 후, 대상 블록의 그 예측 신호와의 차분값을 구한다. 다음으로, 화면 내 또는 화면 간 예측에 의한 차분 신호에 대하여 이산 코사인 변환과 양자화(量子化) 처리를 행한다. 양자화된 이산 코사인 변환의 계수 및 예측 신호를 특정하기 위한 동작 벡터나 모드 정보를 엔트로피 부호화하여, 부호화 데이터를 생성한다.

이와 같이 부호화된 화상 데이터는, 다음 대상 블록의 예측 신호를 구하기 위해 일단 복원되어 재생되고, 참조 화상으로서 프레임 메모리에 일시적으로 저장해 둔다.

상기와 같이 종래의 부호화·복호 처리는, 입력 화상의 각 화소의 비트 길이를 유지한 채, 예측이나 변환의 처리를 행한다. 일반적인 화상에서는, 휘도와 색차 성분의 각 화소는 8비트에 의해 표시되므로 예측·변환 등의 부호화·복호 처리도 8비트의 화소에 대하여 행해진다. 프레임 메모리에는 재생된 8비트의 재생 화상 신호가 저장된다.

이에 대하여, 다운사이징이나 소비 전력을 삭감하기 위하여, 프레임 메모리의 사이즈나 메모리에 액세스하는 대역(메모리 대역)을 삭감하는 기술이, 하기 특허 문헌 1에 개시되어 있다. 이 기술에서는, 프레임 메모리에 저장하기 전에 재생된 화상을 별도로 압축한다. 구체적으로는, 재생된 8비트의 재생 화상을 8비트 이하가 되도록 양자화하여, 프레임 메모리에 저장한다. 예측 신호를 생성할 때는, 압축된 재생 화상을 신장(伸張)하여 참조 화상으로서 사용된다. 이와 같이, 프레임 메모리의 용량이나 대역을 삭감하면서, 입력 화상의 비트 길이를 유지한 채 부호화·복호 처리를 행하기 위하여, 압축 부호화 성능의 저하를 억제할 수 있다.

미국 특허 공보 제6,222,886B1호

그러나, 특허 문헌 1과 같이 프레임 메모리의 용량이나 대역을 삭감하면, 프레임 메모리에 저장하기 위해 각 화소의 비트 길이를 짧게 한 재생 화상을 다시 신장하여 참조 화상을 작성하기 때문에, 참조 화상의 정밀도가 저하된다. 예측 신호는 참조 화상을 사용하여 생성되므로, 예측 신호의 정밀도도 저하되게 된다. 이 결과, 부호화의 대상이 되는 화상의 대상 블록과 예측 신호로부터 생성되는 차분 신호[잔차(殘差) 신호]가 커지고, 이 차분 신호를 부호화한 부호화 데이터의 데이터 길이가 커지므로, 부호화 효율이 저하되는 문제점이 있었다.

또한, 부호화·복호 처리에 있어서, 프레임 메모리에 저장되는 참조 화상을 이용하여 재생 화상을 가공하는 처리를 추가하는 것을 고려할 수 있다. 특허 문헌 1과 같이 프레임 메모리에 저장되는 화상의 비트 길이가 압축 전의 재생 화상의 비트 길이보다 짧아지는 경우에는, 이와 같은 처리를 추가하기 위해서는, 프레임 메모리 내의 참조 화상의 비트 길이를 신장시키는 처리, 또는 프레임 메모리에 축적하기 전의 압축되어 있지 않은 재생 화상을 긴 비트 길이인 채로 일시적으로 내부 버퍼에 저장하는 처리를 새로 추가하여, 참조 화상과 재생 화상 사이의 비트 길이의 차이를 흡수할 필요가 있다. 그러므로, 화상 가공 처리 등의 새로운 처리를 추가하는데 따른 실장·처리 비용이 높고, 확장 용이성에 문제점이 있었다.

본 발명은, 상기의 과제를 해결하기 위하여 이루어진 것이며, 프레임 메모리의 용량이나 대역의 증대를 억제하면서, 부호화 효율을 높일 수 있는 동시에, 확장이 용이하게 되는 동영상 부호화 장치, 방법 및 프로그램, 동영상 복호 장치, 방법 및 프로그램, 및 동영상 부호화·복호 시스템을 제공하는 것을 목적으로 한다.

상기 과제를 해결하기 위하여, 본 발명에 따른 동영상 부호화 장치는, 화소값이 제1 비트 길이에 의해 표시되는 대상 화상을 입력하는 입력 수단과, 대상 화상의 각 화소를 제1 비트 길이보다 값이 큰 제2 비트 길이에 의해 표시되도록 변환하여 확장 대상 화상을 생성하는 확장 변환 수단과, 제2 비트 길이보다 값이 작은 제3 비트 길이에 의해 표시되는 화소값을 가지는 참조 화상을 저장하기 위한 저장 수단과, 저장 수단에 저장되는 참조 화상으로부터 예측 신호를 생성하고, 예측 신호를 제2 비트 길이에 의해 표시되도록 변환하여 확장 예측 신호를 생성하는 예측 신호 생성 수단과, 확장 예측 신호와 확장 대상 화상과의 잔차 신호를 생성하는 잔차 신호 생성 수단과, 잔차 신호 생성 수단에 의해 생성된 잔차 신호를 부호화하는 부호화 수단과, 부호화된 잔차 신호를 복원한 후 확장 예측 신호에 가산하고, 확장 재생 화상을 생성하는 복원 수단과, 확장 재생 화상의 화소값을 제3 비트 길이에 의해 표시되는 재생 화상으로 변환하는 축소 변환 수단을 구비하고, 재생 화상이 참조 화상으로서 저장 수단에 저장되는 것을 특징으로 한다.

이 구성에 의해, 화소값이 제1 비트 길이에 의해 표시되는 대상 화상이, 각 화소값이 제2 비트 길이에 의해 표시되도록 변환한 후에 부호화되고, 또한, 부호화된 화상이 복원된 후, 화소값이 제2 비트 길이보다 값이 작은 제3 비트 길이에 의해 표시되는 재생 화상으로 변환되고, 이 재생 화상이 참조 화상으로서 저장 수단(프레임 메모리)에 저장된다. 이로써, 부호화의 대상으로 되는 화상 신호의 각 화소를 대상 신호의 비트 길이보다 긴 비트 길이로 변환한 후 부호화 처리를 행하므로, 부호화 처리의 고정밀도 연산을 가능하게 하고, 부호화 효율을 높일 수 있다. 또한, 부호화 처리를 행했을 때의 비트 길이보다 짧은 비트 길이로 변환한 후 프레임 메모리에 저장되므로, 프레임 메모리의 용량이나 대역의 증대를 억제할 수 있다. 이 결과, 프레임 메모리의 용량이나 대역의 증대를 억제하면서, 부호화 효율을 높일 수 있다. 또한, 저장 수단에 저장되는 참조 화상의 비트 길이와 재생 화상의 비트 길이가, 모두 제3 비트 길이이므로, 참조 화상을 이용하여 재생 화상을 가공하는 처리를 추가하는 경우에도, 참조 화상과 재생 화상 사이의 비트 길이의 차이를 흡수하는 처리를 추가할 필요가 없어져, 화상 가공 처리 등의 새로운 처리를 추가하는데 따른 실장·처리 비용이 저감하고, 확장이 용이하게 된다.

또한, 본 발명에 따른 동영상 부호화 장치는, 축소 변환 수단에 의해 생성된 재생 화상에 대하여, 저장 수단에 저장되어 있는 참조 화상 중 적어도 일부를 사용하여, 재생 화상을 가공 처리하는 화상 처리 수단을 구비하고, 화상 처리 수단에 의해 가공 처리된 재생 화상이 저장 수단에 저장되는 것이 바람직하다.

또한, 제3 비트 길이는 제1 비트 길이와 같은 값을 가지는 것이 바람직하다.

또한, 부호화 수단이, 제1, 제2 및 제3 비트 길이에 관한 정보 중 적어도 1개를 부호화하는 것이 바람직하다.

마찬가지로, 상기 과제를 해결하기 위하여, 본 발명에 따른 동영상 복호 장치는, 제1 비트 길이에 의해 표시되는 화소값을 가지는 대상 화상을 제2 비트 길이에 의해 표시되도록 변환한 확장 대상 화상에 대하여, 예측 부호화함으로써 생성되는 잔차 신호를 포함하는 데이터 스트림을 입력하는 입력 수단과, 제2 비트 길이보다 값이 작은 제3 비트 길이에 의해 표시되는 화소값을 가지는 참조 화상을 저장하기 위한 저장 수단과, 데이터 스트림 중에서 잔차 신호의 부호화 데이터를 추출하여 잔차 신호의 부호화 데이터를 복호하는 해석 수단과, 해석 수단에 의해 복호된 잔차 신호의 부호화 데이터를 재생 잔차 신호로 복원하는 잔차 신호 복원 수단과, 저장 수단에 저장되는 참조 화상으로부터 예측 신호를 생성하여, 예측 신호를 제2 비트 길이에 의해 표시되도록 변환하여 확장 예측 신호를 생성하는 예측 신호 생성 수단과, 확장 예측 신호와 재생 잔차 신호를 가산함으로써, 확장 재생 화상을 복원하는 화상 복원 수단과, 확장 재생 화상의 화소값을 제3 비트 길이에 의해 표시되는 재생 화상으로 변환하는 제1 축소 변환 수단을 구비하고, 재생 화상이 참조 화상으로서 저장 수단에 저장되는 것을 특징으로 한다.

이 구성에 의해, 입력된 데이터 스트림으로부터, 화소값이 대상 화상의 제1 비트 길이보다 큰 제2 비트 길이에 의해 표시되는 확장 재생 화상이 복원되고, 또한 확장 재생 화상이, 화소값이 제2 비트 길이보다 값이 작은 제3 비트 길이에 의해 표시되는 재생 화상로 변환되고, 이 재생 화상이 참조 화상으로서 저장 수단(프레임 메모리)에 저장된다. 이로써, 부호화의 대상이 된 화상 신호의 각 화소를 대상 신호의 비트 길이보다 긴 비트 길이로 변환한 다음 복호 처리를 행하므로 복호 처리의 고정밀도 연산을 가능하게 하고, 부호화 효율을 높일 수 있다. 또한, 복호 처리를 행했을 때의 비트 길이보다 짧은 비트 길이로 변환한 후 프레임 메모리에 저장되므로, 프레임 메모리의 용량이나 대역의 증대를 억제할 수 있다. 이 결과, 프레임 메모리의 용량이나 대역의 증대를 억제하면서, 부호화 효율을 높일 수 있다. 또한, 저장 수단에 저장되는 참조 화상의 비트 길이와 재생 화상의 비트 길이가, 모두 제3 비트 길이이므로, 참조 화상을 이용하여 재생 화상을 가공하는 처리를 추가하는 경우에도, 참조 화상과 재생 화상 사이의 비트 길이의 차이를 흡수하는 처리를 추가할 필요가 없어져, 화상 가공 처리 등의 새로운 처리를 추가하는데 따른 실장·처리 비용이 저감되고, 확장이 용이하게 된다.

또한, 본 발명에 따른 동영상 복호 장치는, 제1 축소 변환 수단에 의해 생성된 재생 화상에 대하여, 저장 수단에 저장되어 있는 참조 화상 중 적어도 일부를 사용하여, 재생 화상을 가공 처리하는 화상 처리 수단을 구비하고, 화상 처리 수단에 의해 가공 처리된 재생 화상이 저장 수단에 저장되는 것이 바람직하다.

또한, 제1, 제2 및 제3 비트 길이에 관한 정보 중 적어도 1개가 데이터 스트림에 포함되어 있고, 해석 수단에 의해 복호된 후에 처리를 행하는 것이 바람직하다.

또한, 동영상 복호 장치는, 확장 재생 화상의 화소값을 제1 비트 길이에 의해 표시되는 재생 화상으로 변환하는 제2 축소 변환 수단을 구비하고, 제2 축소 변환 수단에 의해 생성된 재생 화상이 표시 장치에 송신되는 것이 바람직하다.

본 발명에 따른 동영상 부호화 장치 및 동영상 복호 장치는, 방법에 관한 발명 또는 프로그램에 관한 발명으로서 볼 수도 있으며, 이하와 같이 기술할 수 있다. 방법에 관한 발명 또는 프로그램에 관한 발명은, 동일한 작용·효과를 얻을 수 있다.

본 발명에 따른 동영상 부호화 방법은, 화소값이 제1 비트 길이에 의해 표시되는 대상 화상을 입력하는 입력 단계와, 대상 화상의 각 화소를 제1 비트 길이보다 값이 큰 제2 비트 길이에 의해 표시되도록 변환하여 확장 대상 화상을 생성하는 확장 변환 단계와, 제2 비트 길이보다 값이 작은 제3 비트 길이에 의해 표시되는 화소값을 가지는 참조 화상을 저장하는 저장 수단에 저장되는 참조 화상으로부터 예측 신호를 생성하고, 예측 신호를 제2 비트 길이에 의해 표시되도록 변환하여 확장 예측 신호를 생성하는 예측 신호 생성 단계와, 확장 예측 신호와 확장 대상 화상과의 잔차 신호를 생성하는 잔차 신호 생성 단계와, 잔차 신호 생성 단계에 있어서 생성된 잔차 신호를 부호화하는 부호화 단계와, 부호화 단계에 있어서 부호화된 잔차 신호를 복원한 후 확장 예측 신호에 가산하고, 확장 재생 화상을 생성하는 복원 단계와, 확장 재생 화상의 화소값을 제3 비트 길이에 의해 표시되는 재생 화상으로 변환하는 축소 변환 단계와, 재생 화상을 저장 수단에 저장하는 저장 단계를 포함하는 것을 특징으로 한다.

또한, 본 발명에 따른 동영상 부호화 방법은, 축소 변환 단계에 있어서 생성된 재생 화상에 대하여, 저장 수단에 저장되어 있는 참조 화상 중 적어도 일부를 사용하여, 재생 화상을 가공 처리하는 화상 처리 단계를 포함하고, 저장 단계는, 화상 처리 단계에 있어서 가공 처리된 재생 화상을 저장 수단에 저장하는 것이 바람직하다.

본 발명에 따른 동영상 복호 방법은, 제1 비트 길이에 의해 표시되는 화소값을 가지는 대상 화상을 제2 비트 길이에 의해 표시되도록 변환한 확장 대상 화상에 대하여, 예측 부호화함으로써 생성되는 잔차 신호를 포함하는 데이터 스트림을 입력하는 입력 단계와, 데이터 스트림 중에서 잔차 신호의 부호화 데이터를 추출하여 잔차 신호의 부호화 데이터를 복호하는 해석 단계와, 해석 단계에 있어서 복호된 잔차 신호의 부호화 데이터를 재생 잔차 신호로 복원하는 잔차 신호 복원 단계와, 제2 비트 길이보다 값이 작은 제3 비트 길이에 의해 표시되는 화소값을 가지는 참조 화상을 저장하기 위한 저장 수단에 저장되는 참조 화상으로부터 예측 신호를 생성하고, 예측 신호를 제2 비트 길이에 의해 표시되도록 변환하여 확장 예측 신호를 생성하는 예측 신호 생성 단계와, 확장 예측 신호와 재생 잔차 신호를 가산함으로써, 확장 재생 화상을 복원하는 화상 복원 단계와, 확장 재생 화상의 화소값을 제3 비트 길이에 의해 표시되는 재생 화상으로 변환하는 제1 축소 변환 단계와, 재생 화상을 저장 수단에 저장하는 저장 단계를 포함하는 것을 특징으로 한다.

또한, 본 발명에 따른 동영상 복호 방법은, 제1 축소 변환 단계에 있어서 생성된 재생 화상에 대하여, 저장 수단에 저장되어 있는 참조 화상 중 적어도 일부를 사용하여, 재생 화상을 가공 처리하는 화상 처리 단계를 포함하고, 저장 단계는, 화상 처리 단계에 있어서 가공 처리된 재생 화상을 저장 수단에 저장하는 것이 바람직하다.

본 발명에 따른 동영상 부호화 프로그램은, 컴퓨터를, 화소값이 제1 비트 길이에 의해 표시되는 대상 화상을 입력하는 입력 수단과, 대상 화상의 각 화소를 제1 비트 길이보다 값이 큰 제2 비트 길이에 의해 표시되도록 변환하여 확장 대상 화상을 생성하는 확장 변환 수단과, 제2 비트 길이보다 값이 작은 제3 비트 길이에 의해 표시되는 화소값을 가지는 참조 화상을 저장하기 위한 저장 수단과, 저장 수단에 저장되는 참조 화상으로 예측 신호를 생성하고, 예측 신호를 제2 비트 길이에 의해 표시되도록 변환하여 확장 예측 신호를 생성하는 예측 신호 생성 수단과, 확장 예측 신호와 확장 대상 화상과의 잔차 신호를 생성하는 잔차 신호 생성 수단과, 잔차 신호 생성 수단에 의해 생성된 잔차 신호를 부호화하는 부호화 수단과, 부호화된 잔차 신호를 복원한 후 확장 예측 신호에 가산하고, 확장 재생 화상을 생성하는 복원 수단과, 확장 재생 화상의 화소값을 제3 비트 길이에 의해 표시되는 재생 화상으로 변환하는 축소 변환 수단으로서 기능하게 하기 위한 동영상 부호화 프로그램으로서, 재생 화상이 참조 화상으로서 저장 수단에 저장되는 것을 특징으로 한다.

또한, 본 발명에 따른 동영상 부호화 프로그램은, 컴퓨터를, 또한 축소 변환 수단에 의해 생성된 재생 화상에 대하여, 저장 수단에 저장되어 있는 참조 화상 중 적어도 일부를 사용하여, 재생 화상을 가공 처리하는 화상 처리 수단으로서 기능시켜, 화상 처리 수단에 의해 가공 처리된 재생 화상이 저장 수단에 저장되는 것이 바람직하다.

본 발명에 따른 동영상 복호 프로그램은, 컴퓨터를, 제1 비트 길이에 의해 표시되는 화소값을 가지는 대상 화상을 제2 비트 길이에 의해 표시되도록 변환한 확장 대상 화상에 대하여, 예측 부호화함으로써 생성되는 잔차 신호를 포함하는 데이터 스트림을 입력하는 입력 수단과, 제2 비트 길이보다 값이 작은 제3 비트 길이에 의해 표시되는 화소값을 가지는 참조 화상을 저장하기 위한 저장 수단과, 데이터 스트림 중에서 잔차 신호의 부호화 데이터를 추출하여 잔차 신호의 부호화 데이터를 복호하는 해석 수단과, 해석 수단에 의해 복호된 잔차 신호의 부호화 데이터를 재생 잔차 신호로 복원하는 잔차 신호 복원 수단과, 저장 수단에 저장되는 참조 화상으로부터 예측 신호를 생성하고, 예측 신호를 제2 비트 길이에 의해 표시되도록 변환하여 확장 예측 신호를 생성하는 예측 신호 생성 수단과, 확장 예측 신호와 재생 잔차 신호를 가산함으로써, 확장 재생 화상을 복원하는 화상 복원 수단과, 확장 재생 화상의 화소값을 제3 비트 길이에 의해 표시되는 재생 화상으로 변환하는 제1 축소 변환 수단으로서 기능하게 하기 위한 동영상 복호 프로그램으로서, 재생 화상이 참조 화상으로서 저장 수단에 저장되는 것을 특징으로 한다.

또한, 본 발명에 따른 동영상 복호 프로그램은, 컴퓨터를, 또한 제1 축소 변환 수단에 의해 생성된 재생 화상에 대하여, 저장 수단에 저장되어 있는 참조 화상 중 적어도 일부를 사용하여, 재생 화상을 가공 처리하는 화상 처리 수단으로서 기능시켜, 화상 처리 수단에 의해 가공 처리된 재생 화상이 저장 수단에 저장되는 것이 바람직하다.

본 발명에 따른 동영상 부호화 장치 및 동영상 복호 장치는, 이들을 구비하는 동영상 부호화·복호 시스템에 관한 발명으로 볼 수도 있고, 이들을 방법에 관한 발명으로 보아 이들을 구비하는 동영상 부호화·복호 방법에 관한 발명으로 볼 수도 있으며 다음과 같이 기술할 수 있다. 이들 발명은, 동영상 부호화 장치 및 동영상 복호 장치와 동일한 작용·효과를 얻을 수 있다.

본 발명에 따른 동영상 부호화·복호 시스템은, 동영상 데이터를 부호화 및 복호하기 위한 동영상 부호화·복호 시스템으로서, 동영상 데이터를 압축 부호화하는 동영상 부호화 장치와, 동영상 부호화 장치에 의해 압축 부호화된 동영상 데이터를 복호하는 동영상 복호 장치를 구비하고, 동영상 부호화 장치가, 화소값이 제1 비트 길이에 의해 표시되는 대상 화상을 입력하는 입력 수단과, 대상 화상의 각 화소를 제1 비트 길이보다 값이 큰 제2 비트 길이에 의해 표시되도록 변환하여 확장 대상 화상을 생성하는 확장 변환 수단과, 제2 비트 길이보다 값이 작은 제3 비트 길이에 의해 표시되는 화소값을 가지는 참조 화상을 저장하기 위한 저장 수단과, 저장 수단에 저장되는 참조 화상으로 예측 신호를 생성하고, 예측 신호를 제2 비트 길이에 의해 표시되도록 변환하여 확장 예측 신호를 생성하는 예측 신호 생성 수단과, 확장 예측 신호와 확장 대상 화상과의 잔차 신호를 생성하는 잔차 신호 생성 수단과, 잔차 신호 생성 수단에 의해 생성된 잔차 신호를 부호화하는 부호화 수단과, 부호화된 잔차 신호를 복원한 다음 확장 예측 신호에 가산하여, 확장 재생 화상을 생성하는 복원 수단과, 확장 재생 화상의 화소값을 제3 비트 길이에 의해 표시되는 재생 화상으로 변환하는 축소 변환 수단을 구비하고, 재생 화상이 참조 화상으로서 저장 수단에 저장되는 것을 특징으로 하는 것이며, 동영상 복호 장치가, 제1 비트 길이에 의해 표시되는 화소값을 가지는 대상 화상을 제2 비트 길이에 의해 표시되도록 변환한 확장 대상 화상에 대하여, 예측 부호화함으로써 생성되는 잔차 신호를 포함하는 데이터 스트림을 입력하는 입력 수단과, 제2 비트 길이보다 값이 작은 제3 비트 길이에 의해 표시되는 화소값을 가지는 참조 화상을 저장하기 위한 저장 수단과, 데이터 스트림 중에서 잔차 신호의 부호화 데이터를 추출하여 잔차 신호의 부호화 데이터를 복호하는 해석 수단과, 해석 수단에 의해 복호된 잔차 신호의 부호화 데이터를 재생 잔차 신호로 복원하는 잔차 신호 복원 수단과, 저장 수단에 저장되는 참조 화상으로부터 예측 신호를 생성하고, 예측 신호를 제2 비트 길이에 의해 표시되도록 변환하여 확장 예측 신호를 생성하는 예측 신호 생성 수단과, 확장 예측 신호와 재생 잔차 신호를 가산함으로써, 확장 재생 화상을 복원하는 화상 복원 수단과, 확장 재생 화상의 화소값을 제3 비트 길이에 의해 표시되는 재생 화상으로 변환하는 제1 축소 변환 수단을 구비하고, 재생 화상이 참조 화상으로서 저장 수단에 저장되는 것을 특징으로 하는 것이다.

본 발명에 따른 동영상 부호화·복호 방법은, 동영상 데이터를 부호화 및 복호하기 위한 동영상 부호화·복호 방법으로서, 동영상 데이터를 압축 부호화하는 동영상 부호화 방법과, 동영상 부호화 방법에 있어서 압축 부호화된 동영상 데이터를 복호하는 동영상 복호 방법을 구비하고, 동영상 부호화 방법이, 화소값이 제1 비트 길이에 의해 표시되는 대상 화상을 입력하는 입력 단계와, 대상 화상의 각 화소를 제1 비트 길이보다 값이 큰 제2 비트 길이에 의해 표시되도록 변환하여 확장 대상 화상을 생성하는 확장 변환 단계와, 제2 비트 길이보다 값이 작은 제3 비트 길이에 의해 표시되는 화소값을 가지는 참조 화상을 저장하는 저장 수단에 저장되는 참조 화상으로부터 예측 신호를 생성하고, 예측 신호를 제2 비트 길이에 의해 표시되도록 변환하여 확장 예측 신호를 생성하는 예측 신호 생성 단계와, 확장 예측 신호와 확장 대상 화상과의 잔차 신호를 생성하는 잔차 신호 생성 단계와, 잔차 신호 생성 단계에 있어서 생성된 잔차 신호를 부호화하는 부호화 단계와, 부호화 단계에 있어서 부호화된 잔차 신호를 복원한 후 확장 예측 신호에 가산하여, 확장 재생 화상을 생성하는 복원 단계와, 확장 재생 화상의 화소값을 제3 비트 길이에 의해 표시되는 재생 화상으로 변환하는 축소 변환 단계와, 재생 화상을 저장 수단에 저장하는 저장 단계를 포함하고, 동영상 복호 방법이, 제1 비트 길이에 의해 표시되는 화소값을 가지는 대상 화상을 제2 비트 길이에 의해 표시되도록 변환한 확장 대상 화상에 대하여, 예측 부호화함으로써 생성되는 잔차 신호를 포함하는 데이터 스트림을 입력하는 입력 단계와, 데이터 스트림 중에서 잔차 신호의 부호화 데이터를 추출하여 잔차 신호의 부호화 데이터를 복호하는 해석 단계와, 해석 단계에 있어서 복호된 잔차 신호의 부호화 데이터를 재생 잔차 신호로 복원하는 잔차 신호 복원 단계와, 제2 비트 길이보다 값이 작은 제3 비트 길이에 의해 표시되는 화소값을 가지는 참조 화상을 저장하기 위한 저장 수단에 저장되는 참조 화상으로 예측 신호를 생성하고, 예측 신호를 제2 비트 길이에 의해 표시되도록 변환하여 확장 예측 신호를 생성하는 예측 신호 생성 단계와, 확장 예측 신호와 재생 잔차 신호를 가산함으로써, 확장 재생 화상을 복원하는 화상 복원 단계와, 확장 재생 화상의 화소값을 제3 비트 길이에 의해 표시되는 재생 화상으로 변환하는 제1 축소 변환 단계와, 재생 화상을 저장 수단에 저장하는 저장 단계를 포함하는 것을 특징으로 한다.

본 발명에 의하면, 프레임 메모리의 용량이나 대역의 증대를 억제하면서, 부호화 효율을 높일 수 있는 동시에, 확장이 용이하게 된다.

도 1은 본 발명의 일실시예에 따른 비트 길이 변환 처리를 따른 동영상 부호화 장치의 블록도이다.
도 2는 도 1에 나타내는 동영상 부호화 장치의 변형예를 나타낸 블록도이다.
도 3은 도 1에 나타내는 동영상 부호화 장치에 의해 실시되는 동영상 부호화 방법을 나타내는 흐름도이다.
도 4는 본 발명의 일실시예에 따른 비트 길이 변환 처리를 따른 동영상 복호 장치의 블록도이다.
도 5는 도 4에 나타내는 동영상 복호 장치의 변형예를 나타낸 블록도이다.
도 6은 도 4에 나타내는 동영상 복호 장치의 변형예를 나타낸 블록도이다.
도 7은 도 4에 나타내는 동영상 복호 장치에 의해 실시되는 동영상 복호 방법을 나타내는 흐름도이다.
도 8은 본 발명의 일실시예에 따른 동영상 부호화 프로그램의 모듈을 나타낸 블록도이다.
도 9는 본 발명의 일실시예에 따른 동영상 복호 프로그램의 모듈을 나타낸 블록도이다.
도 10은 기록 매체에 기록된 프로그램을 실행하기 위한 컴퓨터의 하드웨어 구성을 나타낸 도면이다.
도 11은 기록 매체에 기억된 프로그램을 실행하기 위한 컴퓨터의 사시도이다.

이하, 본 발명에 따른 실시예에 대하여, 도 1∼도 9를 참조하여 설명한다. 본 실시예는, 동영상 데이터를 부호화 및 복호하기 위한 동영상 부호화·복호 시스템으로서, 동영상 데이터를 압축 부호화하는 동영상 부호화 장치와, 동영상 부호화 장치에 의해 압축 부호화된 동영상 데이터를 복호하는 동영상 복호 장치를 구비하는 것이다. 이하에서 동영상 부호화 장치와, 동영상 복호 장치에 대하여, 각각 설명한다.

(동영상 부호화 장치)

도 1은, 본 발명의 일실시예에 따른 비트 길이 변환을 따른 동영상 부호화 장치(100)의 블록도를 나타낸다. 동영상 부호화 장치(100)는, 입력 단자(입력 수단)(101), 비트 길이 확장 변환기(확장 변환 수단)(102), 블록 분할기(103), 차분기(잔차 신호 생성 수단)(104), 예측 신호 생성기(예측 신호 생성 수단)(105), 예측 방법 결정기(106), 압축기(부호화 수단)(110), 신장기(복원 수단)(111), 가산기(복원 수단)(112), 비트 길이 축소 변환기(축소 변환 수단)(113), 프레임 메모리(저장 수단)(114), 엔트로피 부호화기(부호화 수단)(115), 화상 처리기(화상 처리 수단)(116), 및 출력 단자(117)를 구비하고 있다.

이와 같은 동영상 부호화 장치(100)에 대하여, 이하, 각 구성부의 동작을 설명한다. 동영상을 구성하는 복수개의 화상은 입력 단자(101)에 입력된다. 본 명세서에서는, 부호화 대상의 화상의 비트 길이를 N비트(제1 비트 길이)로 한다. 입력된 N비트의 화상은, 비트 길이 확장 변환기(102)에 의해, 비트 길이를 M비트(제2 비트 길이)로 하는 확장 대상 화상으로 변환된다. M는 N보다 큰 양(+)의 정수이다.

비트 길이 확장 변환기(102)에서는, N비트의 부호화 대상의 화상을 M비트의 확장 대상 화상으로 변환한다. 비트 확장의 방법에 대해서느, 본 발명에서는 한정되지 않지만, 예를 들면, N비트의 화상 신호를 (M-N)비트 분만큼 좌측으로 시프트하는 방법이 있다. 이 때, 부호화 효율이 높아지도록 M비트 신호의 하위 (M-N)의 신호값을 정할 수도 있다. 또한, 실장 효율을 높이기 위해, M비트의 다이나믹 레인지를 -2^(M-1)∼2^(M-1)-1로 되도록 제어할 수도 있다[음수가 아닌 정수(nonnegative integer) 변수가 아니라, 부호를 가진 정수 변수를 사용할 수 있다].

비트 길이 확장 변환기(102)에 의해 변환된 확장 대상 화상에 대하여, 블록 분할기(103)는, 부호화의 대상으로 되는 화상을 복수개의 소영역(여기서는 예를 들면, 16×16화소로 이루어지는 블록)으로 분할한다. 분할된 각 블록에 대하여, 이하의 압축·부호화 처리가 실행된다.

부호화의 대상으로 되는 블록(이하, 「대상 블록」이라고 함)에 대하여, 예측 방법 결정기(106), 및 예측 신호 생성기(105)에 의해, M비트의 확장 예측 신호의 생성 처리가 실행된다.

예측 방법 결정기(106)에서는, 화면 내 예측이나 화면 간 예측을 행하고, 라인 L103 경유로 입력되는 대상 블록의 부호화에 필요한 부호량이 작으면서, 또한 대상 블록과의 잔차가 작은 예측 방법을 복수개의 후보로부터 선택한다. 도 1에서는, 라인 L103 경유로 M비트 신호가 입력되고, 예측 방법 결정기(106)에 있어서도, M비트의 예측 확장 예측 신호를 생성한다. 예측 방법의 후보에 대해서는, 본 발명에서는 한정되지 않지만, 예를 들면, 프레임 메모리(114)에 저장되어 있는 L비트의 참조 화상을 사용하여 예측 신호를 생성하는 방법이나, 비트 길이 축소 변환기(113)에 입력되기 전의 M비트의 재생 신호를 사용하여 예측 신호를 생성하는 방법이 포함된다. 전자에서는, 예를 들면, 복수개의 L비트의 재생 화소를 가중치를 가산하는 등, P비트(P는 P>L로 되는 양의 수)의 예측 신호를 생성하는 방법이 고려된다. 이 때, P=M이 되도록 예측 신호의 생성 방법을 정해두면 실장 효율이 양호해진다. P의 값이 M의 값보다 큰 경우에는, 예를 들면, P비트의 예측 신호를 사사오입 등의 라운딩 방법에 의해, M비트의 확장 예측 신호를 생성한다. P의 값이 M의 값보다 작은 경우에는, 예를 들면, P비트의 예측 신호를 (M-P)비트 분만큼 좌측으로 시프트함으로써, M비트의 확장 예측 신호를 생성한다. 선택한 예측 방법을 나타내는 예측 모드 정보나 화면 간 예측에 따른 동작 정보 등은 부가 정보로서, 라인 L118 경유로 엔트로피 부호화기(115)로 출력된다. 엔트로피 부호화기(115)에서는, 이 부가 정보는, L110 경유로 입력되는 양자화 변환 계수와 함께 가변 길이 부호 또는 산술 부호 등의 방법에 의해 엔트로피 부호화된다.

예측 신호 생성기(105)에서는, L106 경유로 입력되는 부가 정보에 기초하여 M비트의 확장 예측 신호가 생성되고, 라인 L105 경유로 차분기(104)와 가산기(112)에 출력된다. 이와 같이, 예측 신호 생성기(105)와 예측 방법 결정기(106)에는, 비트 길이를 L비트로부터 M비트로 확장하는 처리가 포함된다.

예측 신호 생성기(105)에 의해 생성된 M비트의 확장 예측 신호는 라인 L105경유로 차분기(104)로 출력되고, 차분기(104)는, 라인 L103 경유로 입력된 대상 블록의 M비트 신호로부터 확장 예측 신호를 뺌으로써 잔차 신호를 생성한다. 생성된 잔차 신호는, L104 경유로 압축기(110)에 입력되어 정보량이 적은 데이터(부호화 데이터)에 압축된다.

압축기(110)는, 일반적으로 차분 신호를 주파수 영역의 변환 계수로 변환하는 변환기와 변환 계수를 양자화 처리하는 양자화기에 의해 구성되지만, 그 한쪽이 없어도 되고, 다른 구성을 가져도 된다. 양자화된 변환 계수의 비트 길이는 M비트이지만, 압축기 내의 중간 처리에 있어서는 M비트보다 긴 비트 길이의 신호가 되어도 된다. 예를 들면, 잔차 신호는 마이너스 값으로 될 가능성이 있으므로, 통상 (M+1)비트의 비트 길이로 된다. 변환 계수는 (M+1)비트보다 긴 비트 길이로 하면 변환 효율이 높아진다. 양자화기는, 양자화 변환 계수를 M비트의 신호로 라운딩하여, L110 경유로 엔트로피 부호화기(115)와 신장기(111)에 출력한다.

엔트로피 부호화기(115)는, 양자화 변환 계수를 가변 길이 부호로 변환하여 출력 단자(117)로부터 비트 스트림으로서 출력한다. 그리고, 가변 길이 부호 대신 산술 부호화를 적용해도 된다.

신장기(111)와 가산기(112)는, 부호화 데이터로 된 양자화 변환 계수를 복호하여, M비트의 확장 재생 신호를 생성한다. 신장기(111)는, 일반적으로 양자화 변환 계수를 변환 계수로 역양자화하는 역양자화기와, 변환 계수를 역변환하여 잔차 신호를 재생하는 역변환기에 의해 구성되지만, 그 한쪽이 없어도 되고, 다른 구성을 가져도 된다.

가산기(112)에서는, 재생된 잔차 신호에 확장 예측 신호를 가산함으로써, M비트의 확장 재생 신호를 복원한다. 여기서, 확장 재생 신호의 비트 길이는 M비트이지만, 신장기의 중간 처리에서는 M비트보다 긴 비트 길이의 신호가 되어도 된다. 예를 들면, 잔차 신호는 마이너스 값으로 될 가능성이 있으므로, 통상 (M+1)비트의 비트 길이로 된다. 또한, 연산 정밀도 향상을 위해 역양자화된 변환 계수를 (M+1)비트보다 긴 비트 길이로 한다.

비트 길이 축소 변환기(113)에서는, M비트의 재생 신호를 L비트(제3 비트 길이)의 재생 신호로 변환한다. L은 N이하의 양의 정수이며, 프레임 메모리의 용량에 의존한 값으로 된다. 통상은 프레임 메모리의 용량은, 입력 화상과 같은 비트 길이가 되므로, L=N로 한다.

비트 길이 축소 변환기(113)에서는, M비트의 재생 신호를 L비트의 재생 신호로 변환한다. 비트 길이 변환의 방법에 대해서는, 본 발명에서는 한정되지 않지만, 예를 들면, 사사오입에 의한 라운딩 방법, 보다 구체적으로는, L비트의 재생 신호에 2^(M-L-1)을 가산한 후, (M-L)비트분 우측으로 시프트하는 방법이 있다. 또한, 사사오입이 아니라, 절사(切捨)에 의한 라운딩 방법을 사용해도 되며, 다른 라운딩 방법을 사용해도 된다. 그리고, M비트 신호의 다이나믹 레인지가, -2^(M-1)∼2^(M-1)-1과 같이 제어되고 있는 경우에는, 라운딩 처리 후에, L비트 신호의 다이나믹 레인지를 0∼2^L-1로 클리핑(clipping) 처리할 필요가 있다.

L비트의 재생 신호는, 라인 L113 경유로, 화상 처리기(116)에 입력된다. 화상 처리기(116)에서는, 재생 신호에, 예를 들면, 미국 특허 출원 공개 공보 제2006/153301호에 나타낸 바와 같은 화질 개선 처리나 H.264 등에 정의된 블록 노이즈 제거 처리를 행한다. 이와 같이 하여 복원된 L비트의 재생 신호는, 그 다음 화상을 부호화할 때의 참조 화상으로서 사용되므로, 프레임 메모리(114)에 저장된다. 화상 처리기(116)에서는, 대상 블록 사이에 전술한 화질 개선 처리나 블록 노이즈 제거 처리 등의 신호 처리를 행하기 위해, 라인 L113 경유로 입력되는 재생 신호에 더하여 이미 프레임 메모리(114)에 저장되어 있는 재생 신호의 일부 또는 전부를 사용한다.

이들 처리를 모든 대상 블록에 대하여 행함으로써, 최종적인 비트 스트림이 생성된다.

도 1의 엔트로피 부호화기(115)에 의해 부호화된 데이터를 후술하는 동영상 복호 장치에 의해 복호하기 위해서는, 동영상 복호 장치는 비트 길이를 나타내는 N, M, L의 값을 알 필요가 있다. 이들 값은 미리 정해 두어도 되지만, 그 어느 하나 또는 2개 또는 모두를 부호화 장치에 의해 결정하고, 시퀀스 단위나 프레임 단위로 부호화해도 된다. N과 L의 값은 장치 구성에 관한 값이며, 통상적으로 고정값이다. M의 값은 압축기나 신장기에 있어서의 처리 정밀도를 나타내는 값이며, 프레임 단위나 블록 단위로 변경하는 것도 가능하다. 따라서, M의 값을 프레임 단위나 블록 단위로 결정하고 그 값을 부호화해도 된다.

예를 들면, 동영상 부호화 장치(100)에, 비트 길이 확장 변환기(102), 비트 길이 축소 변환기(113), 예측 방법 결정기(106) 등에서 사용되는 비트 길이 N, M, L의 값의 세트가 미리 복수개 준비되어 있고, 도시하지 않은 제어 수단으로부터의 명령에 따라 비트 길이 N, M, L의 값의 세트가 선택되어, 부호화 처리가 행해진다. 이를 비트 길이 N, M, L의 값의 모든 세트에 대하여 행하고, 각각의 경우의 부호화 데이터를 엔트로피 부호화기(115)에서 비교하여, 부호화 데이터의 비트 길이가 가장 짧고 압축율이 가장 좋은 것이 선택된다. 그리고, 이 때 비트 길이 N, M, L의 값의 일부 또는 모두가 엔트로피 부호화기(115)에 의해 부호화되어, 부호화 데이터와 함께 비트 스트림 데이터에 포함된다.

다음으로, 도 2를 참조하여, 본 실시예에 따른 동영상 부호화 장치(100)의 변형예인 동영상 부호화 장치(100-2)에 대하여 설명한다.

도 1의 동영상 부호화 장치(100)에서는, 비트 길이 확장 변환기(102)에 의해, 대상 화상을 확장 대상 화상으로 변환한 후, 블록 분할기(103)에 의해 확장 대상 블록을 대상 블록으로 분할하고 있다. 이에 비해, 도 2의 동영상 부호화 장치(100-2)는, 블록 분할기(103)에 의해 확장 대상 블록을 대상 블록으로 분할한 후, 비트 길이 확장 변환기(102)에 의해 대상 화상을 확장 대상 화상으로 변환하고 있는 점에서, 동영상 부호화 장치(100)와 상이하다.

또한, 도 1의 동영상 부호화 장치(100)에서는, 예측 신호 생성기(105)가, L비트의 참조 화상을 사용하여 M비트의 확장 예측 신호를 생성하고 있다. 이에 비해, 도 2의 동영상 부호화 장치(100-2)에서는, 먼저 예측 신호 생성기(105a)가 L비트의 예측 신호를 한번 생성하고, 비트 길이 확장 변환기(105b)가 이 L비트의 예측 신호를 M비트의 예측 신호로 확장으로 하는 점에서, 동영상 부호화 장치(100)와 상이하다.

도 2의 동영상 부호화 장치(100-2)의 동작에 대하여 설명한다. 여기서는 N=L이라고 한다. 블록 분할기(103)에 의해 분할된 대상 블록의 N비트 신호가 라인 L103 경유로 예측 방법 결정기(106-2)에 입력된다. 예측 방법 결정기(106-2)에서는, N비트의 참조 화상, 또는 비트 길이 축소 변환기(113)에 의해 변환된 N비트의 재생 신호를 사용하여, 복수개의 예측 신호를 생성하고, 최적인 예측 방법을 선택한다. 예측 신호 생성기(105a)에서는, N비트의 예측 신호를 생성한다. 생성된 N비트의 예측 신호는 라인 L105a 경유로 비트 길이 확장 변환기(105b)에 입력되어, M비트의 확장 예측 신호로 변환된다.

그리고, 본 발명의 특징인 비트 길이 변환 방법은, 도 1과 도 2에 나타낸 동영상 부호화 장치(100, 100-2)의 구성을 동시에 가지는 장치 구성에 있어서도 유효하다. 이 경우, 예측 방법 결정기(106, 106-2)에 의한 예측 방법의 후보에, L비트의 참조 화상으로부터 M비트의 확장 예측 신호를 직접 생성하는 방법이나, 한번 1비트의 예측 신호를 생성한 후 비트 길이 확장 변환기에 의해 M비트의 예측 신호로 변환하는 방법이 포함된다.

(동영상 부호화 방법)

도 3에는, 동영상 부호화 장치(100)에 의해 실행되는, 비트 길이 변환을 동반하는 동영상 부호화 처리의 흐름도를 나타낸다. 부호화 대상의 화상이 N비트 신호로 입력 단자(101)에 입력되면(단계301: 입력 단계), 비트 길이 확장 변환기(102)에 의해, 이 N비트의 대상 화상이 M비트(M>N)의 확장 대상 화상으로 변환되고, 또한 블록 분할기(103)에 의해, 이 확장 대상 화상이 복수개의 소블록으로 분할된다(단계302: 확장 변환 단계). 그리고, 비트 길이 확장 변환과 블록 분할의 처리의 순서는 반대라도 된다.

다음으로, 예측 방법 결정기(106)와 예측 신호 생성기(105)는, 각 대상 블록에 대하여, 프레임 메모리(114)에 저장된 L비트의 참조 화상을 사용하여, 복수개의 예측 방법 중에서 1개의 예측 방법을 결정하고, M비트의 확장 예측 신호를 생성한다. 이와 동시에, 선택한 예측 방법을 나타내는 예측 모드 정보나 화면 간 예측에 따른 동작 정보 등, 이 예측 신호의 생성에 필요한 부가 정보를 생성한다(단계303: 예측 신호 생성 단계). 그리고, 예측 신호의 생성 방법에는, L비트의 신호로부터 직접 M비트의 예측 신호를 생성하는 방법이나, 한번 1비트의 예측 신호를 생성한 후, 비트 길이 확장 변환기(105b)에 의해 M비트의 확장 예측 신호로 변환하는 방법이 포함된다.

차분기(104)는, M비트의 확장 대상 화상과 M비트의 예측 화상과의 잔차 화상을 생성하고(단계304: 잔차 신호 생성 단계), 압축기(110)는 잔차 화상을 변환·양자화하여, 잔차 화상의 부호화 정보를 생성한다(단계305: 부호화 단계).

다음으로, 신장기(111)는, 부호화 정보를 역양자화와 역변환에 의해 복원하고, 가산기(112)는 복원된 잔차 화상과 예측 화상을 가산하여 M비트의 확장 재생 화상을 생성한다(단계306: 복원 단계).

비트 길이 축소 변환기(113)는, M비트의 확장 재생 화상을 L비트의 재생 화상으로 변환한다(단계307: 축소 변환 단계). 화상 처리기(116)는, 예를 들면, 미국 특허 출원 공개 공보 제2006/153301호에 나타낸 바와 같은 방법으로 L비트의 재생 화상에 가공 처리를 실시하고, 처리 후의 재생 화상을 예측 신호 생성 시의 참조 화상으로서 사용하기 위하여 프레임 메모리(114)에 저장한다(단계308: 화상 처리 단계, 저장 단계). 이 때, 화상 처리기(116)에서는, 대상 블록 사이에 신호 처리를 행하기 위해, L비트로 변환한 재생 신호에 더하여 이미 프레임 메모리(114)에 저장되어 있는 재생 신호를 사용한다. 생성된 상기 부가 정보와 부호화 정보는 엔트로피 부호화기(115)에 의해 비트 스트림 데이터로 압축된다(단계309). 비트수 N, M, L 중 어느 하나를 부호화할 필요가 있는 경우에는, 엔트로피 부호화기(115)에 의해 부호화되고, 비트 스트림 데이터에 포함된다.

동영상 부호화 장치의 설명에서 나타낸 바와 같이, 본 발명에 있어서의 비트 길이 변환 처리는, 특정한 비트 길이의 확장 방법, 비트 길이의 축소 방법 및 예측 방법으로 한정되지 않는다.

이들 단계를 모든 대상 블록에 대하여 행함으로써, 최종적인 비트 스트림이 생성된다.

(동영상 복호 장치)

도 4에, 본 발명에 의한 비트 길이 변환을 따른 동영상 복호 장치(500)의 블록도를 나타낸다. 동영상 복호 장치(500)는, 입력 단자(입력 수단)(501), 데이터 해석기(해석 수단)(502), 신장기(잔차 신호 복원 수단)(503), 가산기(화상 복원 수단)(504), 예측 신호 생성기(예측 신호 생성 수단)(505), 비트 길이 축소 변환기(제1 축소 변환 수단)(506), 화상 처리기(화상 처리 수단)(507), 프레임 메모리(저장 수단)(508), 및 화상 출력 단자(509)를 구비하고 있다.

이와 같은 동영상 복호 장치(500)에 대하여, 이하, 각 구성부의 동작을 설명한다. 입력 단자(501)에는, 각 대상 블록의 확장 예측 신호의 생성에 필요한 부가 정보와 대상 블록의 잔차 신호의 부호화 데이터를 포함하는 비트 스트림이 입력된다. 본 실시예에서는, 도 1의 동영상 부호화 장치(100)에서 처리하여 얻어진 비트 스트림이 동영상 복호 장치(500)에 입력된다.

데이터 해석기(502)는, 입력 데이터(입력된 비트 스트림)를 해석하여, 잔차 신호의 부호화 데이터(양자화 변환 계수)와 부가 정보를 복호한다. 또한, 입력 데이터에 비트 길이를 나타내는 정보인 M, N, L 중 어느 하나의 값이 포함되어 있는 경우에는, 복호되고, 후술하는 비트 길이 축소 변환기나 예측 신호 생성기에 통지된다. 그리고, 복호 방법으로서는, 가변 길이 복호 또는 산술 복호 등이 사용된다.

복호된 잔차 신호의 부호화 데이터(양자화 변환 계수)는, 라인 L502a 경유로 신장기(503)에 입력되어, 잔차 신호로 복원된다. 신장기(503)는, 일반적으로 양자화 변환 계수를 변환 계수로 역양자화하는 역양자화기와, 변환 계수를 역변환하고 잔차 신호를 재생하는 역변환기에 의해 구성되지만, 그 한쪽이 없어도 되고, 다른 구성을 가져도 된다.

한편, 데이터 해석기(502)에 의해 복호된 부가 정보는 라인 L502b 경유로 예측 신호 생성기(505)에 보내진다. 예측 신호 생성기(505)에서는, 부가 정보에 기초하여, 동영상 부호화 장치의 예측 신호 생성기(105)와 동일한 수순으로 M비트의 확장 예측 신호를 생성한다. 가산기(504)는, 확장 예측 신호와 복원된 잔차 신호를 가산함으로써, M비트의 확장 재생 신호를 생성한다. 여기서, 확장 재생 신호의 비트 길이는 M비트이지만, 신장기(503)나 가산기(504) 등의 중간 처리에서는 M비트보다 긴 비트 길이의 신호가 되어도 된다. 예를 들면, 잔차 신호는 마이너스 값으로 될 가능성이 있으므로, 통상 (M+1)비트의 비트 길이로 된다. 또한, 연산 정밀도 향상을 위해 역양자화된 변환 계수를 (M+1)비트보다 긴 비트 길이로 해도 된다.

비트 길이 축소 변환기(506)에서는, M비트의 재생 신호를 L비트의 재생 신호로 변환한다. L은 N이하의 양의 정수이며, 프레임 메모리의 용량에 의존한 값이 된다. 통상적으로는 프레임 메모리의 용량은, 입력 화상과 같은 비트 길이가 되므로, L=N으로 한다. 도 3은, L=N의 예이다.

L비트의 재생 신호는, 라인 L506 경유로, 화상 처리기(507)에 입력된다. 화상 처리기(507)에서는, 재생 신호에 미국 특허 출원 공개 공보 제2006/153301호에 나타낸 바와 같은 화질 개선 처리나 H.264 등에 정의된 블록 노이즈 제거 처리를 실시한다. 이와 같이 하여 복원된 L비트의 재생 신호는, 예측 신호를 생성할 때의 참조 화상으로서 사용하기 위하여, 프레임 메모리(508)에 저장된다. 화상 처리기(507)에서는, 블록 사이에 신호 처리를 행하기 위하여, 라인 L506 경유로 입력되는 재생 신호에 더하여 이미 프레임 메모리(508)에 저장되어 있는 재생 신호를 사용한다.

이들 처리를 비트 스트림의 전체 데이터가 처리될 때까지 반복함으로써, 동영상 데이터가 복원된다.

다음으로, 도 4 및 도 5를 참조하여, 본 실시예에 따른 동영상 복호 장치(500)의 변형예에 대하여 설명한다.

비트수 L의 값이 비트수 N의 값과 다른 경우에는, N비트의 재생 신호를 출력하기 위해, 도 4의 동영상 복호 장치(500)에, M비트의 재생 신호를 N비트의 재생 신호로 변환하는 처리를 추가할 필요가 있다. 도 5의 동영상 복호 장치(500-2)에 그 구성을 나타낸다. 도 5의 동영상 복호 장치(500-2)에서는, 비트 길이 축소 변환기(제2 축소 변환 수단)(506)에 의해 M비트의 재생 신호를 L비트의 재생 신호로 변환하고, 비트 길이 축소 변환기(510)에 의해 M비트의 재생 신호를 N비트의 재생 신호로 변환한다.

도 6에는, 전술한 동영상 부호화 장치(100)의 변형예인 동영상 부호화 장치 (100-2)에 의해 생성된 비트 스트림 데이터를 복호하는 동영상 복호 장치(500-3)의 구성을 나타낸다. 여기서는 N=L이라고 한다. 예측 신호 생성기(505a)에서는, N비트의 예측 신호가 생성되고, 라인 L505a 경유로 비트 길이 확장 변환기(505b)에 입력된다. 비트 길이 확장 변환기(505b)에서는, N비트의 예측 신호가 M비트의 확장 예측 신호로 확장되고, 라인 L505 경유로 가산기(504)로 출력된다.

그리고, 본 발명의 특징인 비트 길이 변환 방법은, 도 4와 도 6에 나타낸 동영상 복호 장치(500, 500-3)의 구성을 동시에 가지는 장치 구성에 있어서도 유효하다. 이 경우, 예측 신호 생성기(505, 505a)에 있어서의 예측 모드에, L비트의 참조 화상으로부터 M비트의 확장 예측 신호를 직접 생성하는 방법이나, 한번 1비트의 예측 신호를 생성한 후 이것을 비트 길이 확장 변환기에 의해 M비트의 예측 신호로 변환하는 방법이 포함되고, 복호한 부가 정보에 따라 선택적으로 처리된다.

(동영상 복호 방법)

도 7에는, 동영상 복호 장치(500)에 의해 실행되는, 비트 길이 변환을 수반하는 동영상 복호 처리의 흐름도를 나타낸다. 압축 부호화된 데이터가 입력 단자(501)에 입력된다(단계701: 입력 단계). 다음으로, 데이터 해석기(502)는, 입력된 데이터를 엔트로피 복호하여, 부호화 정보(양자화 변환 계수), 및 부가 정보를 추출한다(단계702: 해석 단계). 이 때, 입력 데이터에 M, N, L의 값이 포함되는 경우에는, 복호되고, 후술하는 비트 길이 축소 변환이나 예측 신호 생성 처리에 사용된다.

예측 신호 생성기(505)는, 부가 정보를 복호하고, L비트의 재생 화상을 사용하여, M비트의 확장 예측 신호를 생성한다(단계703: 예측 신호 생성 단계). 예측 신호의 생성 방법에는, L비트의 신호로부터 직접 M비트의 예측 신호를 생성하는 방법이나, 한번 1비트의 예측 신호를 생성한 후, 비트 길이 확장 변환기(505b)에 의해 M비트의 확장 예측 신호로 변환하는 방법이 포함된다.

이와 동시에 신장기(503)는, 추출된 양자화 변환 계수를 역양자화하여 변환 계수를 복원하고, 이 변환 계수를 역변환하여, 잔차 신호를 복원한다(단계704: 잔차 신호 복원 단계). 가산기(504)는, 확장 예측 신호와 복원된 잔차 신호를 가산하여, M비트의 확장 재생 화상을 생성한다(단계705: 화상 복원 단계).

다음으로, 비트 길이 축소 변환기는, M비트의 확장 재생 화상을 L비트의 재생 화상으로 변환한다(단계706: 제1 축소 변환 단계). 여기서는, N=L로 한다. 화상 처리기(507)는, 예를 들면, 미국 특허 출원 공개 공보 제2006/153301호에 나타낸 바와 같은 방법으로 L비트의 재생 화상에 가공 처리를 실시하고, 처리 후의 재생 화상을 예측 신호 생성 시의 참조 화상으로서 사용하기 위하여 프레임 메모리(508)에 저장한다(단계707: 화상 처리 단계, 저장 단계). 화상 처리기(507)에서는, 대상 블록 사이에 신호 처리를 행하기 위하여 L비트로 변환된 재생 신호에 더하여 이미 프레임 메모리(508)에 저장되어 있는 재생 신호를 사용한다.

이들 단계를, 비트 스트림의 전체 데이터가 처리될 때까지 반복함으로써, 동영상 데이터가 복원된다.

그리고, 도 5의 동영상 복호 장치(500-2)의 구성과 같이, L=N이 아닌 경우에는, 비트 길이 축소 변환기(510)에 의해, N비트의 재생 화상을 생성하는 단계가 추가된다.

동영상 복호 장치의 설명에 나타낸 바와 같이, 본 발명에 있어서의 비트 길이 변환 처리는, 특정한 비트 길이의 확장 방법, 비트 길이의 축소 방법 및 예측 방법으로 한정되지 않는다.

(동영상 부호화 프로그램·동영상 복호 프로그램)

동영상 부호화 장치(100)에 관한 발명은, 컴퓨터를 동영상 부호화 장치로서 기능하게 하기 위한 동영상 부호화 프로그램에 관한 발명으로 볼 수 있다. 또는, 본 실시예에 따른 동영상 부호화 방법을 프로그램으로서 기록 매체에 저장하여 제공할 수 있다. 또한, 동영상 복호 장치(500)에 관한 발명은, 컴퓨터를 동영상 복호 장치 또는 동영상 부호화 방법으로서 기능하게 하기 위한 동영상 복호 프로그램에 관한 발명으로 볼 수 있다. 또는, 본 실시예에 따른 동영상 복호 방법을 프로그램으로서 기록 매체에 저장하여 제공할 수 있다. 동영상 부호화 프로그램 및 동영상 복호 프로그램은, 예를 들면, 기록 매체에 저장되어 제공된다. 기록 매체로서는, 플렉시블 디스크, CD-ROM, DVD 등의 기록 매체, 또는 ROM 등의 기록 매체, 또는 반도체 메모리 등이 예시된다.

도 8은, 동영상 부호화 방법을 실행할 수 있는 프로그램의 모듈을 나타낸 블록도이다. 동영상 부호화 프로그램(P100)은, 블록 분할 모듈(P101), 예측 방법 결정 모듈(P102), 예측 신호 생성 모듈(P103), 기억 모듈(P104), 감산 모듈(P105), 압축 모듈(P106), 신장 모듈(P107), 가산 모듈(P108), 비트 길이 확장 모듈(P109), 비트 길이 축소 모듈(P110), 화상 처리 모듈(P111) 및 엔트로피 부호화 모듈(P112)을 구비하고 있다.

전술한 각 모듈이 실행됨으로써 실행되는 기능은, 전술한 동영상 부호화 장치(100)의 기능과 같다. 즉, 화상 예측 부호화 프로그램(P100)의 각 모듈의 기능은, 블록 분할기(103), 예측 방법 결정기(106), 예측 신호 생성기(105), 프레임 메모리(114), 차분기(104), 압축기(110), 신장기(111), 가산기(112), 비트 길이 확장 변환기(102), 비트 길이 축소 변환기(113), 화상 처리기(116), 엔트로피 부호화기(115)의 기능과 동일하다.

또한, 도 9는, 동영상 복호 방법을 실행할 수 있는 프로그램의 모듈을 나타낸 블록도이다. 동영상 복호 프로그램(P500)은, 데이터 해석 모듈(P501), 예측 신호 생성 모듈(502), 기억 모듈(503), 신장 모듈(P504), 가산 모듈( P505), 비트 길이 축소 모듈(P506) 및 화상 처리 모듈(P507)을 구비하고 있다.

전술한 각 모듈이 실행됨으로써 실현되는 기능은, 상기 동영상 복호 장치(500)의 각 구성 요소와 같다. 즉, 동영상 복호 프로그램(P500)의 각 모듈의 기능은, 데이터 해석기(502), 예측 신호 생성기(505), 프레임 메모리(508), 신장기(503), 가산기(504), 비트 길이 축소 변환기(506), 화상 처리기(507)의 기능과 동일하다.

이와 같이 구성된 동영상 부호화 프로그램(P100) 또는 동영상 복호 프로그램 (P500)은, 기록 매체(10)에 기억되어, 후술하는 컴퓨터에 의해 실행된다.

도 10은, 기록 매체(10)에 기록된 프로그램을 실행하기 위한 컴퓨터(30)의 하드웨어 구성을 나타낸 도면이며, 도 11은, 기록 매체(10)에 기록된 프로그램을 실행하기 위한 컴퓨터(30)의 사시도이다. 여기서의 컴퓨터(30)로서는, CPU를 구비하고 소프트웨어에 의한 처리나 제어를 행하는 DVD 플레이어, 셋탑 박스, 휴대전화 등을 포함한다.

도 10에 나타낸 바와 같이, 컴퓨터(30)는, 플렉시블 디스크 드라이브 장치, CD-ROM 드라이브 장치, DVD 드라이브 장치 등의 판독 장치(12)와 오퍼레이팅 시스템(operating system)을 상주시킨 작업용 메모리(RAM)(14)와, 기록 매체(10)에 기억된 프로그램을 기억하는 메모리(16)와, 디스플레이(18)와, 입력 장치인 마우스(20) 및 키보드(22)와, 데이터 등의 송수신을 행하기 위한 통신 장치(24)와, 프로그램의 실행을 제어하는 CPU(26)를 구비하고 있다. 컴퓨터(30)는, 기록 매체(10)가 판독 장치(12)에 삽입되면, 판독 장치(12)로부터 기록 매체(10)에 저장된 동영상 부호화 프로그램 및 동영상 복호 프로그램에 액세스 가능하게 되어, 상기 동영상 부호화 프로그램 및 동영상 복호 프로그램에 의해, 컴퓨터(30)는, 본 발명에 따른 동영상 부호화 장치 및 동영상 복호 장치로서 동작할 수 있게 된다.

도 11에 나타낸 바와 같이, 동영상 부호화 프로그램 및 동영상 복호 프로그램은, 반송파(搬送波)에 중첩된 컴퓨터 데이터 신호(40)로서, 유선 네트워크·무선 네트워크를 통하여 제공될 수도 있다. 이 경우, 컴퓨터(30)는, 통신 장치(24)에 의해 수신한 동영상 부호화 프로그램 및 동영상 복호 프로그램을 메모리(16)에 저장하여, 상기 동영상 부호화 프로그램 및 동영상 복호 프로그램을 실행할 수 있다.

이상 설명한 본 실시예의 동영상 부호화 장치(100, 100-2)에 의하면, 화소값이 비트 길이 N에 의해 표시되는 대상 화상이, 비트 길이 확장 변환기(102)에 의해 각 화소값이 비트 길이 M에 의해 표시되도록 변환한 후에, 압축기(110)에 의해 부호화되고, 또한 부호화된 화상이 신장기(111)에 의해 복원된 후, 비트 길이 축소 변환기(113)에 의해 화소값이 비트 길이 M보다 값이 작은 비트 길이 L에 의해 표시되는 재생 화상으로 변환되고, 이 재생 화상이 참조 화상으로서 프레임 메모리(114)에 저장된다. 이로써, 부호화의 대상으로 되는 화상 신호의 각 화소를 대상 신호의 비트 길이보다 긴 비트 길이로 변환한 후 압축기(110)에서 부호화 처리를 행하므로 부호화 처리의 고정밀도 연산을 가능하게 하여, 부호화 효율을 높일 수 있다. 또한, 압축기(110)에 있어서 부호화 처리를 행했을 때의 비트 길이 M보다 짧은 비트 길이 L로 변환한 후 프레임 메모리(114)에 저장되므로, 프레임 메모리의 용량이나 대역의 증대를 억제할 수 있다.

또한, 본 실시예의 동영상 복호 장치(500, 500-2, 500-3)에 의하면, 입력 단자(501)를 거쳐 입력된 데이터 스트림으로부터, 데이터 해석기(502) 및 신장기(503)에 의해, 화소값이 대상 화상의 비트 길이 N보다 큰 비트 길이 M에 의해 표시되는 확장 재생 화상이 복원되고, 또한 확장 재생 화상이, 비트 길이 축소 변환기(506)에 의해, 화소값이 비트 길이 M보다 값이 작은 비트 길이 L에 의해 표시되는 재생 화상으로 변환되고, 이 재생 화상이 참조 화상으로서 프레임 메모리(508)에 저장된다. 이로써, 부호화의 대상이 된 화상 신호의 각 화소를 대상 신호의 비트 길이보다 긴 비트 길이로 변환한 다음, 데이터 해석기(502) 및 신장기(503)에 있어서 복호 처리를 행하므로 복호 처리의 고정밀도 연산을 가능하게 하여, 부호화 효율을 높일 수 있다. 또한, 데이터 해석기(502) 및 신장기(503)에 있어서 복호 처리를 행했을 때의 비트 길이보다 짧은 비트 길이로 변환한 후 프레임 메모리(508)에 저장되므로, 프레임 메모리(508)의 용량이나 대역의 증대를 억제할 수 있다.

또한, 본 실시예의 동영상 부호화 장치(100, 100-2) 및 동영상 복호 장치(500, 500-2, 500-3)에 의하면, 프레임 메모리(114, 508)에 저장된 참조 화상의 비트 길이와 비트 길이 축소 변환기(113, 506)에 의해 변환된 재생 화상의 비트 길이가, 모두 비트 길이 L이다. 그러므로, 화상 처리기(116, 507)에 의해 참조 화상을 이용하여 재생 화상을 가공하는 처리를 행하는 경우에도, 참조 화상과 재생 화상 사이의 비트 길이의 차이를 흡수하는 처리를 별도 추가할 필요가 없어, 화상 가공 처리 등의 새로운 처리를 추가하는데 따른 실장·처리 비용이 저감되고, 확장이 용이하게 된다.

이와 같이, 본 실시예에 의하면, 프레임 메모리의 용량을 증가시키지 않고, 부호화의 대상으로 되는 화상 신호의 각 화소를 대상 신호의 비트 길이보다 긴 비트 길이로 변환한 후 부호화·복호 처리를 행한다. 그러므로, 프레임 메모리로의 메모리 대역을 증가시키지 않고, 부호화·복호 처리의 고정밀도 연산을 가능하게 하여, 부호화 효율을 높이는 효과가 있다. 또한, 긴 비트 길이의 재생 신호를 짧은 비트 길이의 신호로 변환한 후, 화상 처리기(116, 507)에 의해, 프레임 메모리에 저장된 신호를 사용한 화상 신호의 가공 처리를 실시한다. 그러므로, 프레임 메모리에 저장된 신호에 대한 비트 길이의 변환을 추가하지 않고, 상기 가공 처리를 실시할 수 있다.

100, 100-2: 동영상 부호화 장치
101, 501: 입력 단자(입력 수단)
102, 105b, 505b: 비트 길이 확장 변환기(확장 변환 수단)
103: 블록 분할기
104: 차분기(잔차 신호 생성 수단)
105, 105a, 505, 505a: 예측 신호 생성기(예측 신호 생성 수단)
106, 106-2: 예측 방법 결정기(예측 신호 생성 수단)
110: 압축기(부호화 수단)
111: 신장기(복원 수단)
112: 가산기(복원 수단)
113: 비트 길이 축소 변환기(축소 변환 수단)
114, 508: 프레임 메모리(저장 수단)
115: 엔트로피 부호화기
116, 507: 화상 처리기(화상 처리 수단)
117, 509: 출력 단자
500, 500-2, 500-3: 동영상 복호 장치
502: 데이터 해석기(해석 수단)
503: 신장기(잔차 신호 복원 수단)
504: 가산기(화상 복원 수단)
506: 비트 길이 축소 변환기(제1 축소 변환 수단)
510: 비트 길이 축소 변환기(제2 축소 변환 수단)

Claims

화소값이 제1 비트 길이에 의해 표시되는 대상 화상을 입력하는 입력 수단;
상기 대상 화상의 각각의 화소를 상기 제1 비트 길이보다 값이 큰 제2 비트 길이에 의해 표시되도록 변환하여 확장 대상 화상을 생성하는 확장 변환 수단;
상기 제2 비트 길이보다 값이 작은 제3 비트 길이에 의해 표시되는 화소값을 가지는 참조 화상을 저장하기 위한 저장 수단;
상기 저장 수단에 저장되는 상기 참조 화상으로부터 예측 신호를 생성하고, 상기 예측 신호를 상기 제2 비트 길이에 의해 표시되도록 변환하여 확장 예측 신호를 생성하는 예측 신호 생성 수단;
상기 확장 예측 신호와 상기 확장 대상 화상과의 잔차(殘差) 신호를 생성하는 잔차 신호 생성 수단;
상기 잔차 신호 생성 수단에 의해 생성된 잔차 신호를 부호화하는 부호화 수단;
부호화된 상기 잔차 신호를 복원한 후 상기 확장 예측 신호에 가산하여, 확장 재생 화상을 생성하는 복원 수단; 및
상기 확장 재생 화상의 화소값을 상기 제3 비트 길이에 의해 표시되는 재생 화상으로 변환하는 축소 변환 수단
을 포함하고,
상기 재생 화상이 참조 화상으로서 상기 저장 수단에 저장되는, 동영상 부호화 장치.
제1항에 있어서,
상기 축소 변환 수단에 의해 생성된 상기 재생 화상에 대하여, 상기 저장 수단에 저장되어 있는 상기 참조 화상 중 적어도 일부를 사용하여, 상기 재생 화상을 가공 처리하는 화상 처리 수단을 더 포함하고,
상기 화상 처리 수단에 의해 가공 처리된 상기 재생 화상이 상기 저장 수단에 저장되는, 동영상 부호화 장치.
제2항에 있어서,
상기 제3 비트 길이는 상기 제1 비트 길이와 같은 값을 가지는, 동영상 부호화 장치.
제1항에 있어서,
상기 부호화 수단은, 상기 제1 비트 길이, 상기 제2 비트 길이 및 상기 제3 비트 길이에 관한 정보 중 적어도 1개를 부호화하는, 동영상 부호화 장치.
제1 비트 길이에 의해 표시되는 화소값을 가지는 대상 화상을 제2 비트 길이에 의해 표시되도록 변환한 확장 대상 화상에 대하여, 예측 부호화함으로써 생성되는 잔차 신호를 포함하는 데이터 스트림을 입력하는 입력 수단;
상기 제2 비트 길이보다 값이 작은 제3 비트 길이에 의해 표시되는 화소값을 가지는 참조 화상을 저장하기 위한 저장 수단;
상기 데이터 스트림 중에서 상기 잔차 신호의 부호화 데이터를 추출하여 상기 잔차 신호의 부호화 데이터를 복호하는 해석 수단;
상기 해석 수단에 의해 복호된 상기 잔차 신호의 부호화 데이터를 재생 잔차 신호로 복원하는 잔차 신호 복원 수단;
상기 저장 수단에 저장되는 상기 참조 화상으로 예측 신호를 생성하고, 상기 예측 신호를 제2 비트 길이에 의해 표시되도록 변환하여 확장 예측 신호를 생성하는 예측 신호 생성 수단;
상기 확장 예측 신호와 상기 재생 잔차 신호를 가산함으로써, 확장 재생 화상을 복원하는 화상 복원 수단;
상기 확장 재생 화상의 화소값을 상기 제3 비트 길이에 의해 표시되는 재생 화상으로 변환하는 제1 축소 변환 수단
을 포함하고,
상기 재생 화상은 참조 화상으로서 상기 저장 수단에 저장되는, 동영상 복호 장치.
제5항에 있어서,
상기 제1 축소 변환 수단에 의해 생성된 재생 화상에 대하여, 상기 저장 수단에 저장되어 있는 상기 참조 화상 중 적어도 일부를 사용하여, 상기 재생 화상을 가공 처리하는 화상 처리 수단을 더 포함하고,
상기 화상 처리 수단에 의해 가공 처리된 재생 화상이 상기 저장 수단에 저장되는, 동영상 복호 장치.
제6항에 있어서,
상기 제3 비트 길이는 상기 제1 비트 길이와 같은 값을 가지는, 동영상 복호 장치.
제5항에 있어서,
상기 제1 비트 길이, 상기 제2 비트 길이 및 상기 제3 비트 길이에 관한 정보 중 적어도 1개가 상기 데이터 스트림에 포함되어 있고, 상기 해석 수단에 의해 복호된 후에 처리를 행하는, 동영상 복호 장치.
제5항에 있어서,
상기 확장 재생 화상의 화소값을 상기 제1 비트 길이에 의해 표시되는 재생 화상으로 변환하는 제2 축소 변환 수단을 더 포함하고, 상기 제2 축소 변환 수단에 의해 생성된 재생 화상이 표시 장치에 송신되는, 동영상 복호 장치.
화소값이 제1 비트 길이에 의해 표시되는 대상 화상을 입력하는 입력 단계;
상기 대상 화상의 각각의 화소를 상기 제1 비트 길이보다 값이 큰 제2 비트 길이에 의해 표시되도록 변환하여 확장 대상 화상을 생성하는 확장 변환 단계;
상기 제2 비트 길이보다 값이 작은 제3 비트 길이에 의해 표시되는 화소값을 가지는 참조 화상을 저장하는 저장 수단에 저장되는 상기 참조 화상으로부터 예측 신호를 생성하고, 상기 예측 신호를 제2 비트 길이에 의해 표시되도록 변환하여 확장 예측 신호를 생성하는 예측 신호 생성 단계;
상기 확장 예측 신호와 상기 확장 대상 화상과의 잔차 신호를 생성하는 잔차 신호 생성 단계;
상기 잔차 신호 생성 단계에 있어서 생성된 상기 잔차 신호를 부호화하는 부호화 단계;
상기 부호화 단계에 있어서 부호화된 상기 잔차 신호를 복원한 후 상기 확장 예측 신호에 가산하여, 확장 재생 화상을 생성하는 복원 단계;
상기 확장 재생 화상의 화소값을 상기 제3 비트 길이에 의해 표시되는 재생 화상으로 변환하는 축소 변환 단계; 및
상기 재생 화상을 상기 저장 수단에 저장하는 저장 단계
를 포함하는 동영상 부호화 방법.
제10항에 있어서,
상기 축소 변환 단계에 있어서 생성된 재생 화상에 대하여, 상기 저장 수단에 저장되어 있는 상기 참조 화상 중 적어도 일부를 사용하여, 상기 재생 화상을 가공 처리하는 화상 처리 단계를 더 포함하고,
상기 저장 단계는, 상기 화상 처리 단계에 있어서 가공 처리된 재생 화상을 상기 저장 수단에 저장하는, 동영상 부호화 방법.
제1 비트 길이에 의해 표시되는 화소값을 가지는 대상 화상을 제2 비트 길이에 의해 표시되도록 변환한 확장 대상 화상에 대하여, 예측 부호화함으로써 생성되는 잔차 신호를 포함하는 데이터 스트림을 입력하는 입력 단계;
상기 데이터 스트림 중에서 상기 잔차 신호의 부호화 데이터를 추출하여 상기 잔차 신호의 부호화 데이터를 복호하는 해석 단계;
상기 해석 단계에 있어서 복호된 상기 잔차 신호의 부호화 데이터를 재생 잔차 신호로 복원하는 잔차 신호 복원 단계;
상기 제2 비트 길이보다 값이 작은 제3 비트 길이에 의해 표시되는 화소값을 가지는 참조 화상을 저장하기 위한 저장 수단에 저장되는 상기 참조 화상으로부터 예측 신호를 생성하고, 상기 예측 신호를 상기 제2 비트 길이에 의해 표시되도록 변환하여 확장 예측 신호를 생성하는 예측 신호 생성 단계;
상기 확장 예측 신호와 상기 재생 잔차 신호를 가산함으로써, 확장 재생 화상을 복원하는 화상 복원 단계;
상기 확장 재생 화상의 화소값을 상기 제3 비트 길이에 의해 표시되는 재생 화상으로 변환하는 제1 축소 변환 단계; 및
상기 재생 화상을 상기 저장 수단에 저장하는 저장 단계
를 포함하는 동영상 복호 방법.
제12항에 있어서,
상기 제1 축소 변환 단계에 있어서 생성된 재생 화상에 대하여, 상기 저장 수단에 저장되어 있는 상기 참조 화상 중 적어도 일부를 사용하여, 상기 재생 화상을 가공 처리하는 화상 처리 단계를 더 포함하고,
상기 저장 단계는, 상기 화상 처리 단계에 있어서 가공 처리된 재생 화상을 상기 저장 수단에 저장하는, 동영상 복호 방법.
컴퓨터를,
화소값이 제1 비트 길이에 의해 표시되는 대상 화상을 입력하는 입력 수단;
상기 대상 화상의 각 화소를 제1 비트 길이보다 값이 큰 제2 비트 길이에 의해 표시되도록 변환하여 확장 대상 화상을 생성하는 확장 변환 수단;
상기 제2 비트 길이보다 값이 작은 제3 비트 길이에 의해 표시되는 화소값을 가지는 참조 화상을 저장하기 위한 저장 수단;
상기 저장 수단에 저장되는 상기 참조 화상으로부터 예측 신호를 생성하고, 상기 예측 신호를 제2 비트 길이에 의해 표시되도록 변환하여 확장 예측 신호를 생성하는 예측 신호 생성 수단;
상기 확장 예측 신호와 상기 확장 대상 화상과의 잔차 신호를 생성하는 잔차 신호 생성 수단;
상기 잔차 신호 생성 수단에 의해 생성된 잔차 신호를 부호화하는 부호화 수단;
부호화된 상기 잔차 신호를 복원한 후 상기 확장 예측 신호에 가산하여, 확장 재생 화상을 생성하는 복원 수단; 및
상기 확장 재생 화상의 화소값을 제3 비트 길이에 의해 표시되는 재생 화상으로 변환하는 제1 축소 변환 수단
으로서 기능하게 하기 위한 동영상 부호화 프로그램으로서,
상기 재생 화상이 참조 화상으로서 상기 저장 수단에 저장되는, 동영상 부호화 프로그램.
제14항에 있어서,
컴퓨터를,
상기 축소 변환 수단에 의해 생성된 상기 재생 화상에 대하여, 상기 저장 수단에 저장되어 있는 상기 참조 화상 중 적어도 일부를 사용하여, 상기 재생 화상을 가공 처리하는 화상 처리 수단으로서 더 기능시키고,
상기 화상 처리 수단에 의해 가공 처리된 재생 화상이 상기 저장 수단에 저장되는, 동영상 부호화 프로그램.
컴퓨터를,
제1 비트 길이에 의해 표시되는 화소값을 가지는 대상 화상을 제2 비트 길이에 의해 표시되도록 변환한 확장 대상 화상에 대하여, 예측 부호화함으로써 생성되는 잔차 신호를 포함하는 데이터 스트림을 입력하는 입력 수단;
상기 제2 비트 길이보다 값이 작은 제3 비트 길이에 의해 표시되는 화소값을 가지는 참조 화상을 저장하기 위한 저장 수단;
상기 데이터 스트림 중에서 상기 잔차 신호의 부호화 데이터를 추출하여 상기 잔차 신호의 부호화 데이터를 복호하는 해석 수단;
상기 해석 수단에 의해 복호된 상기 잔차 신호의 부호화 데이터를 재생 잔차 신호로 복원하는 잔차 신호 복원 수단;
상기 저장 수단에 저장되는 상기 참조 화상으로부터 예측 신호를 생성하고, 상기 예측 신호를 제2 비트 길이에 의해 표시되도록 변환하여 확장 예측 신호를 생성하는 예측 신호 생성 수단;
상기 확장 예측 신호와 상기 재생 잔차 신호를 가산함으로써, 확장 재생 화상을 복원하는 화상 복원 수단; 및
상기 확장 재생 화상의 화소값을 상기 제3 비트 길이에 의해 표시되는 재생 화상으로 변환하는 제1 축소 변환 수단
으로서 기능하게 하기 위한 동영상 복호 프로그램으로서,
상기 재생 화상이 참조 화상으로서 상기 저장 수단에 저장되는, 동영상 복호 프로그램.
제16항에 있어서,
컴퓨터를,
상기 제1 축소 변환 수단에 의해 생성된 재생 화상에 대하여, 상기 저장 수단에 저장되어 있는 상기 참조 화상 중 적어도 일부를 사용하여, 상기 재생 화상을 가공 처리하는 화상 처리 수단으로서 더 기능시키고,
상기 화상 처리 수단에 의해 가공 처리된 재생 화상이 상기 저장 수단에 저장되는, 동영상 복호 프로그램.
동영상 데이터를 부호화 및 복호하기 위한 동영상 부호화·복호 시스템으로서,
상기 동영상 데이터를 압축 부호화하는 동영상 부호화 장치; 및
상기 동영상 부호화 장치에 의해 압축 부호화된 동영상 데이터를 복호하는 동영상 복호 장치를 포함하고,
상기 동영상 부호화 장치는,
화소값이 제1 비트 길이에 의해 표시되는 대상 화상을 입력하는 입력 수단;
상기 대상 화상의 각각의 화소를 상기 제1 비트 길이보다 값이 큰 제2 비트 길이에 의해 표시되도록 변환하여 확장 대상 화상을 생성하는 확장 변환 수단;
상기 제2 비트 길이보다 값이 작은 제3 비트 길이에 의해 표시되는 화소값을 가지는 참조 화상을 저장하기 위한 저장 수단;
상기 저장 수단에 저장되는 상기 참조 화상으로부터 예측 신호를 생성하고, 상기 예측 신호를 상기 제2 비트 길이에 의해 표시되도록 변환하여 확장 예측 신호를 생성하는 예측 신호 생성 수단;
상기 확장 예측 신호와 상기 확장 대상 화상과의 잔차 신호를 생성하는 잔차 신호 생성 수단;
상기 잔차 신호 생성 수단에 의해 생성된 잔차 신호를 부호화하는 부호화 수단;
부호화된 상기 잔차 신호를 복원한 후 상기 확장 예측 신호에 가산하여, 확장 재생 화상을 생성하는 복원 수단; 및
상기 확장 재생 화상의 화소값을 상기 제3 비트 길이에 의해 표시되는 재생 화상으로 변환하는 축소 변환 수단
을 포함하고,
상기 재생 화상은 참조 화상으로서 상기 저장 수단에 저장되며,
상기 동영상 복호 장치는,
상기 제1 비트 길이에 의해 표시되는 화소값을 가지는 대상 화상을 상기 제2 비트 길이에 의해 표시되도록 변환한 확장 대상 화상에 대하여, 예측 부호화함으로써 생성되는 잔차 신호를 포함하는 데이터 스트림을 입력하는 입력 수단;
상기 제2 비트 길이보다 값이 작은 상기 제3 비트 길이에 의해 표시되는 화소값을 가지는 참조 화상을 저장하기 위한 저장 수단;
상기 데이터 스트림 중에서 상기 잔차 신호의 부호화 데이터를 추출하여 상기 잔차 신호의 부호화 데이터를 복호하는 해석 수단;
상기 해석 수단에 의해 복호된 상기 잔차 신호의 부호화 데이터를 재생 잔차 신호로 복원하는 잔차 신호 복원 수단;
상기 저장 수단에 저장되는 상기 참조 화상으로부터 예측 신호를 생성하고, 상기 예측 신호를 제2 비트 길이에 의해 표시되도록 변환하여 확장 예측 신호를 생성하는 예측 신호 생성 수단;
상기 확장 예측 신호와 상기 재생 잔차 신호를 가산함으로써, 확장 재생 화상을 복원하는 화상 복원 수단; 및
상기 확장 재생 화상의 화소값을 제3 비트 길이에 의해 표시되는 재생 화상으로 변환하는 제1 축소 변환 수단
을 포함하고,
상기 재생 화상은 참조 화상으로서 상기 저장 수단에 저장되는, 동영상 부호화·복호 시스템.
동영상 데이터를 부호화 및 복호하기 위한 동영상 부호화·복호 방법으로서,
상기 동영상 데이터를 압축 부호화하는 동영상 부호화 방법; 및
상기 동영상 부호화 방법에 있어서 압축 부호화된 동영상 데이터를 복호하는 동영상 복호 방법을 포함하고,
상기 동영상 부호화 방법은
화소값이 제1 비트 길이에 의해 표시되는 대상 화상을 입력하는 입력 단계;
대상 화상의 각 화소를 상기 제1 비트 길이보다 값이 큰 제2 비트 길이에 의해 표시되도록 변환하여 확장 대상 화상을 생성하는 확장 변환 단계;
상기 제2 비트 길이보다 값이 작은 제3 비트 길이에 의해 표시되는 화소값을 가지는 참조 화상을 저장하는 저장 수단에 저장되는 상기 참조 화상으로부터 예측 신호를 생성하고, 상기 예측 신호를 상기 제2 비트 길이에 의해 표시되도록 변환하여 확장 예측 신호를 생성하는 예측 신호 생성 단계;
확장 예측 신호와 상기 확장 대상 화상과의 잔차 신호를 생성하는 잔차 신호 생성 단계;
상기 잔차 신호 생성 단계에 있어서 생성된 상기 잔차 신호를 부호화하는 부호화 단계;
상기 부호화 단계에 있어서 부호화된 상기 잔차 신호를 복원한 후 상기 확장 예측 신호에 가산하여, 확장 재생 화상을 생성하는 복원 단계;
상기 확장 재생 화상의 화소값을 상기 제3 비트 길이에 의해 표시되는 재생 화상으로 변환하는 축소 변환 단계; 및
상기 재생 화상을 상기 저장 수단에 저장하는 저장 단계
를 포함하고,
상기 동영상 복호 방법은,
상기 제1 비트 길이에 의해 표시되는 화소값을 가지는 대상 화상을 상기 제2 비트 길이에 의해 표시되도록 변환한 확장 대상 화상에 대하여, 예측 부호화함으로써 생성되는 잔차 신호를 포함하는 데이터 스트림을 입력하는 입력 단계;
상기 데이터 스트림 중에서 상기 잔차 신호의 부호화 데이터를 추출하여 상기 잔차 신호의 부호화 데이터를 복호하는 해석 단계;
상기 해석 단계에 있어서 복호된 상기 잔차 신호의 부호화 데이터를 재생 잔차 신호로 복원하는 잔차 신호 복원 단계;
상기 제2 비트 길이보다 값이 작은 상기 제3 비트 길이에 의해 표시되는 화소값을 가지는 참조 화상을 저장하기 위한 저장 수단에 저장되는 상기 참조 화상으로 예측 신호를 생성하고, 상기 예측 신호를 제2 비트 길이에 의해 표시되도록 변환하여 확장 예측 신호를 생성하는 예측 신호 생성 단계;
상기 확장 예측 신호와 상기 재생 잔차 신호를 가산함으로써, 확장 재생 화상을 복원하는 화상 복원 단계;
상기 확장 재생 화상의 화소값을 상기 제3 비트 길이에 의해 표시되는 재생 화상으로 변환하는 제1 축소 변환 단계; 및
상기 재생 화상을 상기 저장 수단에 저장하는 저장 단계
를 포함하는, 동영상 부호화·복호 방법.