KR19990077197A - 디지털 화상 부호화 방법 및 디지털 화상 부호화 장치, 디지털화상 복호화 방법 및 디지털 화상복호화 장치, 및 데이터 기억매체 - Google Patents

디지털 화상 부호화 방법 및 디지털 화상 부호화 장치, 디지털화상 복호화 방법 및 디지털 화상복호화 장치, 및 데이터 기억매체 Download PDF

Info

Publication number
KR19990077197A
KR19990077197A KR1019980705338A KR19980705338A KR19990077197A KR 19990077197 A KR19990077197 A KR 19990077197A KR 1019980705338 A KR1019980705338 A KR 1019980705338A KR 19980705338 A KR19980705338 A KR 19980705338A KR 19990077197 A KR19990077197 A KR 19990077197A
Authority
KR
South Korea
Prior art keywords
signal
image signal
prediction
image
encoding
Prior art date
Application number
KR1019980705338A
Other languages
English (en)
Other versions
KR100306337B1 (ko
Inventor
충 셍 분
Original Assignee
모리시타 요우이치
마쓰시타 덴키 산교 가부시키 가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 모리시타 요우이치, 마쓰시타 덴키 산교 가부시키 가이샤 filed Critical 모리시타 요우이치
Publication of KR19990077197A publication Critical patent/KR19990077197A/ko
Application granted granted Critical
Publication of KR100306337B1 publication Critical patent/KR100306337B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/41—Bandwidth or redundancy reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/649—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding the transform being applied to non rectangular image segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/29—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding involving scalability at the object level, e.g. video object layer [VOL]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

본 발명의 디지털 화상 부호화 장치는, 도 2에 도시하는 바와 같이, 저해상도 텍스처 신호 Std를 차분 부호화하는 부호화기(1100b)와, 고해상도 텍스처 신호 Sth를 차분 부호화하는 부호화기(1100a)를 갖고, 고해상도 텍스처 신호 Sth를 그 예측 신호를 이용하여 차분 부호화할 때, 상기 부호화기(1100b)에 있어서의 보전기(138)에 의해, 상기 부호화기(1100b)에서 재생한 저해상도 텍스처 신호의 유의가 아닌 샘플값을, 그 유의인 샘플값로부터 얻어진 유사 샘플값으로 치환하는 보전 처리를 행하고, 상기 해당 보전 처리를 실시한 재생 저해상도 텍스처 신호에 근거하여 상기 고해상도 텍스처 신호 Sth에 대한 예측 신호를 생성하도록 한 것이다.
이러한 구성의 화상 부호화 장치에서는, 보전 처리가 실시된 재생 저해상도 텍스처 신호에 근거하여 고해상도 텍스처 신호 Sth의 예측 신호가 생성되기 때문에, 부호화 처리의 대상으로 되는 블럭(단위 처리 영역)의 고해상도 텍스처 신호와 그 예측 신호의 차분인 차분 신호가 억제되게 되어, 물체의 경계부에 위치하는 블럭에 대응하는 고해상도 텍스처 신호를, 부호화 효율의 열화를 억제하면서 차분 부호화할 수 있다.

Description

디지털 화상 부호화 방법 및 디지털 화상 부호화 장치, 디지털 화상 복호화 방법 및 디지털 화상 복호화 장치, 및 데이터 기억 매체
디지털 화상 정보를 효율적으로 축적 또는 전송하기 위해서는, 디지털 화상 정보를 압축 부호화해야 하는데, 현상태에서는 디지털 화상 정보를 압축 부호화하기 위한 방법으로서, JPEG(Joint Photographic Coding Experts Group)이나 MPEG(Moving Picture Experts Group)으로 대표되는 이산 코사인 변환(DCT) 이외에, 서브 밴드, 웨이브렛, 차원 분열 도형(fractal) 등의 파형 부호화 방법이 있다.
또한, 인접하는 프레임 등의 화면 사이에 있어서의 용장 화상 정보를 제거하는 방법으로서는, 움직임 보상을 이용한 화면간 예측을 행하여, 즉, 현(現)화면의 화소의 화소값과 전(前)화면의 화소의 화소값의 차분을 이용하여 나타내고, 이 차분 신호를 파형 부호화하는 방법이 있다.
최근에는, 압축 효율을 향상시킴과 동시에, 1 화면을 구성하는 각각의 물체에 대응한 영역(이하, 화상 공간이라 함)마다 화상 신호를 재생할 수 있도록, 화상 신호를 물체마다 따로따로 압축 부호화하여 전송하는 방식이 실용화되고 있다. 이 방식에서는, 재생측에서 각각의 물체에 대응하는 부호화된 화상 신호를 복호화하고, 이 복호화에 의해 재생한 각각의 물체의 화상을 합성하여, 1 화면에 상당하는 화상의 표시를 행하고 있다. 이와 같이 물체 단위로 화상 신호를 부호화함으로써, 표시해야 할 물체의 화상을 자유롭게 조합하여 합성하는 것이 가능해져, 이에 따라 동화상을 간단히 재편집할 수 있도록 된다. 또한, 이방식에서는, 통신로의 혼잡 정도나 재생 장치의 성능, 또는 시청자의 기호에 따라, 비교적 중요하지 않은 물체의 화상에 대해서는 재생을 행하지 않으면서, 동화상의 표시를 행할 수 있다.
구체적으로는, 임의의 형상을 갖는 물체의 화상(이하, 물체 화상이라 생략하여 표기함)을 포함하는 화상 공간을 형성하기 위한 화상 신호를 부호화하는 방법으로서는, 종래부터 그 형상에 알맞은 변환 방법(예를 들면, 형상 적응 이산 코사인 변환)을 이용하는 부호화 방법이나, 화상 공간의 무효 영역(즉, 물체 화상의 외측 영역)을 구성하는 화소의 화소값을 소정의 방법에 의해 보전한 후, 해당 화상 공간에 대응하는 복수개의 화소값으로 이루어지는 화상 신호를, 해당 화상 공간을 구분하는 단위 영역(8×8 화소로 이루어지는 블럭)마다 코사인 변환하는 부호화 방법이 있다.
또한, 프레임 등의 화면 사이에서의 용장 신호를 제거하는 구체적인 방법으로서는, 16×16 화소로 이루어지는 매크로 블럭을 단위 영역으로 하여, 부호화 처리의 대상으로 되는 대상 매크로 블럭에 대응하는 화상 신호와, 그 예측 신호의 차분을 취하는 방법이 있다. 여기서, 상기 예측 신호는 움직임 보상에 의해 얻어지는 예측 영역에 대응하는 화상 신호이다. 또한, 움직임 보상은 이미 부호화 처리 혹은 복호화 처리가 실시된 화면내에 있어서의, 대상 매크로 블럭의 화상 신호와의 차분이 가장 작은 화상 신호를 인가하는 16×16 화소로 이루어지는 영역을 예측 영역으로서 검출하는 처리이다.
그런데, 이 예측 영역도 이것이 화상 공간에 있어서의 물체 화상의 경계에 위치하는 것인 경우에는, 유의가 아닌(정의되어 있지 않음) 샘플값(화소값)을 갖는 화소를 포함하게 된다. 그러므로, 이러한 예측 영역에 대해서는, 이것에 대응하는 화상 신호에 대하여, 그 유의가 아닌 샘플값을 유의인 유사적인 샘플값으로 치환하는 보전 처리를 실시한 후, 보전 처리를 실시한 예측 신호와 대상 매크로 블럭의 화상 신호의 차분을 예측 오차 신호(차분 신호)로서 구하고, 해당 차분 신호에 대한 부호화를 위한 변환 처리를 실시하도록 하고 있다. 여기서, 예측 영역에 대한 보전 처리를 행하는 것은 차분 신호를 억제하기 위해서, 환언하면 차분 신호를 부호화할 때의 부호량을 삭감하기 위한 것이다.
또한, 각 물체에 대응하는 화상 신호, 즉, 물체 화상을 포함하는 화상 공간을 형성하기 위한 화상 신호로서, 해상도가 상이한 복수개의 계층에 대응한 화상 신호를 이용하여, 각 계층의 화상 신호를 부호화하여 복호화하는 스케일러빌리티(scalability)라 칭하여지는 계층적인 처리 방법이 있다.
이러한 계층적인 처리 방법으로는, 전송되는 데이터(부호화 비트 스트림)로부터 출력한 일부의 비트열을 복호화함으로써 해상도가 낮은 물체 화상을 재생할 수 있고, 또한 모든 데이터를 복호화함으로써 해상도가 높은 물체 화상을 재생할 수 있다.
그런데, 상기 계층적인 부호화(스케일러빌리티 부호화) 처리에서는, 해상도가 높은 화상에 대응하는 화상 신호(고해상도 화상 신호)를, 해상도가 낮은 화상에 대응하는 화상 신호(저해상도 화상 신호)에 근거하여 부호화한다. 즉, 부호화 처리의 대상으로 되는 대상 블럭에 대응하는 고해상도 화상 신호를, 이에 대응하는 저해상도 화상 신호를 이용해 예측하여 예측 화상 신호를 생성하고, 해당 대상 블럭의 고해상도 화상 신호로부터 해당 예측 화상 신호를 감산하여 얻어지는 차분 신호를 부호화하도록 하고 있다.
또한, 화상 신호를 물체 단위로 부호화하는 경우, 화상 신호로서 물체의 임의의 형상을 나타내는 형상 신호도, 물체 화상을 계조 컬러 표시하기 위한, 휘도 신호 및 색차 신호를 포함하는 텍스처 신호와 함께 부호화하기 때문에, 각 물체에 대응하는 화상 신호에 대하여 스케일러빌리티 부호화를 행할 때에는, 상기 텍스처 신호뿐만 아니라 상기 형상 신호도, 고해상도 신호와 저해상도 신호로 나누어 계층적으로 부호화해야 한다.
이러한 물체 단위의 스케일러빌리티 부호화에 있어서는, 저해상도 텍스처 신호로부터 효율적으로 고해상도 텍스처 신호를 예측할 필요가 있다. 특히, 물체의 경계에 위치하는 매크로 블럭에 대응하는 저해상도 텍스처 신호에는, 유의가 아닌(정의되어 있지 않음) 샘플값(화소값)이 포함되기 때문에, 이 저해상도 텍스처 신호를 그대로 이용하여 예측 신호를 생성하고, 해당 예측 신호를 부호화 처리의 대상으로 되는 대상 매크로 블럭의 고해상도 텍스처 신호로부터 감산하면, 차분 신호에 있어서의, 물체의 경계부에 위치하는 화소에 대응하는 차분 화소값이 큰 값으로 되어, 효율적으로 고해상도 텍스처 신호를 부호화할 수 없다.
또한, 형상 신호를, 해상도가 상이한 복수개의 계층, 구체적으로는 고해상도 계층과 저해상도 계층에 대응하도록 나누기 때문에, 저해상도 형상 신호로부터 얻어지는 물체 형상과 고해상도 형상 신호로부터 얻어지는 물체 형상 사이에서, 물체의 내부나 외부를 나타내는 경계(물체의 윤곽)가 어긋나게 된다. 이것은, 고해상도 형상 신호로부터 저해상도 형상 신호를 생성할 때에, 다운 샘플 처리에 의해 저해상도 형상 신호에 의한 물체 화상의 형상이, 고해상도 형상 신호에 의한 물체 화상의 형상에 대하여 변형되게 되고, 또한 고해상도 형상 신호 및 저해상도 형상 신호에 대한 압축 처리에 의해서도, 해당 양쪽 형상 신호에 의한 물체 형상이 변형되기 때문이다.
이 경우, 고해상도 텍스처 신호에 의해 형성되는 화상 공간에 있어서의 특정 매크로 블럭 영역이 물체 화상의 내부에 포함되어 있음에도 불구하고, 저해상도 텍스처 신호에 의해 형성되는 화상 공간에서는, 해당 특정 매크로 블럭 영역이 완전히 물체 화상의 외부에 위치한다고 하는 상황이 발생한다. 이러한 상황에서는, 저해상도 텍스처 신호에 근거하는 고해상도 텍스처 신호의 예측 신호를 이용하더라도, 고해상도 텍스처 신호와 그 예측 형상 신호의 차분 신호를 효율적으로 억제할 수 없다.
본 발명의 목적은, 상기한 바와 같은 문제점을 해결하기 위해서 이루어진 것으로, 임의의 형상을 갖는 물체 화상을 포함하는 화상 공간을 형성하기 위한 화상 신호에 근거해, 해상도가 상이한 복수개의 계층에 대응하는 화상 신호를 생성하여, 고해상도 화상 신호를 저해상도 화상 신호를 이용하여 단위 영역마다 차분 부호화하는 계층 부호화 처리를 행할 때, 물체의 경계부에 위치하는 단위 영역의 화상 신호를 부호화 효율이 좋게 압축할 수 있는 디지털 화상 부호화 방법 및 디지털 화상 부호화 장치를 얻는 데 있다.
또한, 본 발명의 다른 목적은, 물체 화상을 포함하는 화상 공간을 형성하기 위한 화상 신호를 부호화 효율이 좋게 압축 가능한 계층 부호화 처리에 의해 얻어진 화상 부호화 신호를, 대응하는 계층 복호화 처리에 의해 정확하게 재생할 수 있는 디지털 화상 복호화 방법 및 디지털 화상 복호화 장치를 얻는 데 있다.
또한, 본 발명의 또다른 목적은, 상기 디지털 화상 부호화 방법에 의한 계층 부호화 처리 및 디지털 화상 복호화 방법에 의한 계층 복호화 처리를 컴퓨터에 의해 실현하기 위한 프로그램을 저장한 디지털 기록 매체를 얻는 데 있다.
본 발명은, 디지털 화상 신호를 부호화하는 방법과 장치, 부호화된 디지털 화상 신호를 복호화하는 방법과 장치, 및 디지털 화상 신호의 부호화와 복호화 처리를 컴퓨터에 의해 실행시키기 위한 프로그램을 저장한 데이터 기억 매체에 관한 것으로, 특히, 임의의 형상을 갖는 물체의 화상에 대한 시공간 계층 부호화 처리 및 이에 대응하는 시공간 계층 복호화 처리에 관한 것이다.
도 1은 본 발명의 실시예 1에 의한 디지털 화상 부호화 장치의 전체 구성을 설명하기 위한 블럭도,
도 2는 상기 실시예 1의 디지털 화상 부호화 장치를 구성하는 텍스처 부호화부의 상세한 구성을 나타내는 블럭도,
도 3은 상기 실시예 1의 디지털 화상 부호화 장치를 구성하는 전(前)처리기의 구체적인 구성을 나타내는 블럭도,
도 4a는 상기 실시예 1의 텍스처 부호화부에 있어서의 부호화기의 구체적 구성을, 도 4b는 해당 텍스처 부호화부에 있어서의 국소 복호화기의 구체적 구성을 나타내는 블럭도,
도 5는 상기 실시예 1의 디지털 화상 부호화 장치에 의한, 저해상도 텍스처 신호에 근거하여 고해상도 텍스처 신호를 예측하는 처리를 설명하기 위한 모식도이고, 도 5a, 도 5b는 각각 고해상도 화상 공간, 저해상도 화상 공간을 도시한 도면,
도 6은 상기 실시예 1의 디지털 화상 부호화 장치에 의한 화상 보전 처리를 설명하기 위한 모식도,
도 7은 상기 실시예 1의 디지털 화상 부호화 장치를 구성하는 텍스처 변환기의 구성을 나타내는 도면,
도 8은 상기 실시예 1의 디지털 화상 부호화 장치에 의한 보전 처리 및 보간 처리를 플로우차트에 의해 도시한 도면,
도 9a 및 도 9b는 상기 실시예 1의 디지털 화상 부호화 장치에 의한 화상 보전 처리를 설명하기 위한 모식도,
도 10은 본 발명의 실시예 2에 의한 디지털 화상 복호화 장치의 전체 구성을 나타내는 블럭도,
도 11은 상기 실시예 2의 디지털 화상 복호화 장치를 구성하는 텍스처 복호화부의 상세한 구성을 나타내는 블럭도,
도 12a, 도 12b, 도 12c는 상기 각 실시예의 디지털 화상 부호화 장치 혹은 디지털 화상 복호화 장치를 컴퓨터 시스템에 의해 실현하기 위한 프로그램을 저장한 데이터 기억 매체를 설명하기 위한 도면이다.
본 발명(청구의 범위 제 1 항)에 관한 디지털 화상 부호화 방법은, 임의의 형상을 갖는 화상을 포함하는 복수개의 화소로 이루어지는 화상 공간을 형성하기 위한, 해상도가 상이한 제 1 및 제 2 입력 화상 신호를 부호화하는 디지털 화상 부호화 방법에 있어서, 상기 제 1 입력 화상 신호를 압축해 부호화하여 제 1 부호화 화상 신호를 생성하고, 또한 해당 압축된 제 1 입력 화상 신호를 신장하여 제 1 재생 화상 신호를 생성하는 부호화 처리를, 상기 화상 공간을 구분하는 단위 영역마다 실행하며, 또한 상기 각 단위 영역에 대응하는 제 1 재생 화상 신호에 대하여, 그 유의가 아닌 화소값을 소정의 방법에 의해 얻어진 유사 화소값으로 치환하는 보전 처리를 실시하고, 해당 보전 처리가 실시된 제 1 재생 화상 신호에 근거하여, 해당 각 단위 영역에 대응하는 제 2 입력 화상 신호를 예측하여 예측 신호를 생성하며, 또한 해당 각 단위 영역에 대응하는 제 2 입력 화상 신호와 그 예측 신호의 차분인 차분 신호를 압축해 부호화하여 부호화 차분 신호를 생성하고, 또한 해당 압축된 차분 신호를 신장하여, 해당 신장된 차분 신호에 상기 예측 신호를 가산하여 제 2 재생 화상 신호를 생성하는 차분 부호화 처리를, 상기 단위 영역마다 실행하는 것이다.
이러한 구성의 화상 부호화 방법에 의하면, 보전 처리가 실시된 제 1 재생 화상 신호에 근거하여 제 2 입력 화상 신호의 예측 신호가 생성되기 때문에, 해상도가 제 1 입력 화상 신호와는 상이한 제 2 입력 화상 신호와 그 예측 신호의 차분인 차분 신호가 억제되게 되어, 물체의 경계부에 위치하는 단위 영역에 대응하는 제 2 입력 화상 신호를, 부호화 효율의 열화를 억제하면서 압축할 수 있다.
또한, 부호화 처리의 대상으로 되는 대상 단위 영역의 제 2 입력 화상 신호의 부호화 처리에서는, 그 예측 신호로서 상기 대상 단위 영역의 제 1 재생 화상 신호에 근거하여 생성되는 신호를 이용하기 때문에, 제 2 입력 화상 신호의 부호화 처리는 제 1 입력 화상 신호의 부호화 처리에 비해서, 상기 단위 영역을 처리하기 위한 시간 만큼밖에 지연되지 않는다. 이 때문에, 복호화측에서는, 제 1, 제 2 입력 화상 신호의 부호화에 의해 얻어지는 제 1, 제 2 부호화 화상 신호에 근거하여, 고해상도 화상과 저해상도 화상을 거의 동시에 재생할 수 있다.
본 발명(청구의 범위 제 2 항)은, 청구의 범위 제 1 항에 기재된 디지털 화상 부호화 방법에 있어서, 상기 각 단위 영역에 대응하는 제 1 재생 화상 신호에 대한 보전 처리로서, 해당 제 1 재생 화상 신호에 있어서의 유의가 아닌 화소값을, 해당 제 1 재생 화상 신호에 있어서의 유의인 화소값에 근거하여 얻어진 유사 화소값으로 치환하는 처리를 행하는 것이다.
이러한 구성의 화상 부호화 방법에 의하면, 각 단위 영역에 대응하는 제 1 재생 화상 신호의 보전 처리를, 해당 제 1 재생 화상 신호에 있어서의 유의인 화소값에 근거하여 실행하기 때문에, 제 1 입력 화상 신호로부터 얻어지는 제 2 입력 화상 신호의 예측 신호와 제 2 입력 화상 신호의 차분을 효과적으로 억제할 수 있다.
본 발명(청구의 범위 제 3 항)에 관한 디지털 화상 부호화 장치는, 임의의 형상을 갖는 화상을 포함하는 복수개의 화소로 이루어지는 화상 공간을 형성하기 위한 제 1 입력 화상 신호를 부호화하는 제 1 부호화 처리부와, 상기 화상을 포함하는 복수개의 화소로 이루어지는 화상 공간을 형성하기 위한, 해상도가 제 1 입력 화상 신호와는 상이한 제 2 입력 화상 신호를 부호화하는 제 2 부호화 처리부를 구비하고, 상기 제 1 부호화 처리부를, 상기 제 1 입력 화상 신호를 압축해 부호화하여 제 1 부호화 화상 신호를 생성하고, 또한 해당 압축된 제 1 입력 화상 신호를 신장하여 제 1 재생 화상 신호를 생성하는 부호화 처리를, 상기 화상 공간을 구분하는 단위 영역마다 실행하는 제 1 부호화 수단과, 상기 각 단위 영역에 대응하는 제 1 재생 화상 신호에 대하여, 그 유의가 아닌 화소값을 소정의 방법에 의해 얻어진 유사 화소값으로 치환하는 보전 처리를 실시하는 보전 수단을 갖는 구성으로 하며, 상기 제 2 부호화 처리부를, 상기 보전 처리가 실시된 제 1 재생 화상 신호에 근거하여, 상기 각 단위 영역에 대응하는 제 2 입력 화상 신호를 예측하여 예측 신호를 생성하는 예측 신호 생성 수단과, 상기 각 단위 영역에 대응하는 제 2 입력 화상 신호와 그 예측 신호의 차분 신호를 압축해 부호화하여 부호화 차분 신호를 생성하고, 또한 해당 압축된 차분 신호를 신장하고, 해당 신장된 차분 신호에 상기 예측 신호를 가산하여 제 2 재생 화상 신호를 생성하는 차분 부호화 처리를, 상기 단위 영역마다 실행하는 제 2 부호화 수단을 갖는 구성으로 한 것이다.
이러한 구성의 화상 부호화 장치에 의하면, 보전 처리가 실시된 제 1 재생 화상 신호에 근거하여 제 2 입력 화상 신호의 예측 신호가 생성되기 때문에, 해상도가 제 1 입력 화상 신호와는 상이한 제 2 입력 화상 신호와 그 예측 신호의 차분인 차분 신호가 억제되게 되어, 물체의 경계부에 위치하는 단위 영역에 대응하는 제 2 입력 화상 신호를, 부호화 효율의 열화를 억제하면서 압축할 수 있다.
또한, 부호화 처리의 대상으로 되는 대상 단위 영역의 제 2 입력 화상 신호의 부호화 처리에서는, 그 예측 신호로서, 상기 대상 단위 영역의 제 1 재생 화상 신호에 근거하여 생성되는 신호를 이용하기 때문에, 제 2 입력 화상 신호의 부호화 처리는 제 1 입력 화상 신호의 부호화 처리에 비해서, 상기 단위 영역을 처리하기 위한 시간 만큼밖에 지연되지 않는다. 이 때문에, 복호화측에서는, 제 1, 제 2 입력 화상 신호의 부호화에 의해 얻어지는 제 1, 제 2 부호화 화상 신호에 근거하여, 고해상도 화상과 저해상도 화상을 거의 동시에 재생할 수 있다.
본 발명(청구의 범위 제 4 항)은, 청구의 범위 제 3 항에 기재된 디지털 화상 부호화 장치에 있어서, 상기 보전 처리가 실시된 제 1 재생 화상 신호를, 그 해상도가 상기 제 2 입력 화상 신호의 해상도와 일치하도록 변환하여 해상도 변환 신호를 출력하는 해상도 변환 수단을 구비하고, 상기 예측 신호 생성 수단은, 상기 제 2 재생 화상 신호에 근거해 각 단위 영역에 대응하는 제 2 입력 화상 신호를 예측하여 보조 예측 신호를 생성하는 예측 수단과, 해당 보조 예측 신호와 상기 해상도 변환 신호를, 상기 제 2 입력 화상 신호에 포함되는 제어 정보에 근거하여 전환하는 스위치 수단을 가지며, 해당 스위치 수단의 출력을 상기 각 단위 영역에 대응하는 제 2 입력 화상 신호의 예측 신호로서 출력하는 구성으로 되어 있다.
이러한 구성의 화상 부호화 장치에 의하면, 제 2 입력 화상 신호로부터 얻어지는 보조 예측 신호와, 제 1 입력 화상 신호로부터 얻어지는 해상도 변환 신호중의 한쪽을, 상기 제 2 입력 화상 신호에 포함되는 제어 정보에 근거해 선택하여, 해당 선택된 신호를 각 단위 영역에 대응하는 제 2 입력 화상 신호의 예측 신호로서 출력하기 때문에, 간단한 구성에 의해, 예측 신호를 적응적으로 전환할 수 있어, 계층 부호화 처리에 있어서의 부호화 효율을 보다 높일 수 있다.
본 발명(청구의 범위 제 5 항)은, 청구의 범위 제 3 항에 기재된 디지털 화상 부호화 장치에 있어서, 상기 보전 처리가 실시된 제 1 재생 화상 신호를, 그 해상도가 상기 제 2 입력 화상 신호의 해상도와 일치하도록 변환하여 해상도 변환 신호를 출력하는 해상도 변환 수단을 구비하고, 상기 예측 신호 생성 수단은, 상기 제 2 재생 화상 신호에 근거해 각 단위 영역에 대응하는 제 2 입력 화상 신호를 예측하여 보조 예측 신호를 생성하는 예측 수단과, 해당 보조 예측 신호와 상기 해상도 변환 신호를 가중하여 평균화하는 평균화 수단을 가지며, 해당 평균화 수단의 출력을 상기 각 단위 영역에 대응하는 제 2 입력 화상 신호의 예측 신호로서 출력하는 구성으로 되어 있다.
이러한 구성의 화상 부호화 장치에 의하면, 제 2 입력 화상 신호로부터 얻어지는 보조 예측 신호와, 제 1 입력 화상 신호로부터 얻어지는 해상도 변환 신호를 가중을 행하여 평균화하여, 해당 평균화된 신호를 각 단위 영역에 대응하는 제 2 입력 화상 신호의 예측 신호로서 출력하기 때문에, 제 1 재생 화상 신호로부터 얻어지는 제 2 입력 화상 신호의 예측 신호와 제 2 입력 화상 신호의 차분값의 크기를 세밀하게 제어할 수 있어, 계층 부호화 처리에 있어서의 부호화 효율의 향상을 도모하는 것이 가능해진다.
본 발명(청구의 범위 제 6 항)은, 청구의 범위 제 5 항에 기재된 디지털 화상 부호화 장치에 있어서, 상기 보전 수단을, 상기 제 1 재생 화상 신호에 있어서의 유의가 아닌 화소값을, 해당 제 1 재생 화상 신호에 있어서의 유의인 화소값에 근거하여 얻어진 유사 화소값으로 치환하는 보전 처리를 행하는 구성으로 한 것이다.
이러한 구성의 화상 부호화 장치에 의하면, 각 단위 영역에 대응하는 제 1 재생 화상 신호의 보전 처리를, 해당 제 1 재생 화상 신호에 있어서의 유의인 화소값에 근거하여 실행하기 때문에, 제 1 입력 화상 신호로부터 얻어지는 제 2 입력 화상 신호의 예측 신호와 제 2 입력 화상 신호의 차분을 효과적으로 억제할 수 있다.
본 발명(청구의 범위 제 7 항)은, 청구의 범위 제 3 항에 기재된 디지털 화상 부호화 장치에 있어서, 상기 제 1 부호화 수단을, 상기 각 단위 영역에 대응하는 제 1 입력 화상 신호와 그 예측 신호의 차분을 구하여 차분 신호를 출력하는 연산기와, 해당 차분 신호를 압축하는 압축기와, 해당 압축된 차분 신호를 부호화하는 부호화기와, 상기 압축된 차분 신호를 신장하는 신장기와, 해당 신장기의 출력과 상기 제 1 입력 화상 신호의 예측 신호를 가산하여 제 1 재생 화상 신호를 상기 보전 수단에 출력하는 가산기와, 상기 보전 수단의 출력을 기억하는 프레임 메모리와, 해당 프레임 메모리에 기억되어 있는 보전 처리가 실시된 제 1 재생 화상 신호에 근거하여, 상기 각 단위 영역에 대응하는 상기 제 1 입력 화상 신호의 예측 신호를 생성하는 예측 신호 생성기를 갖는 구성으로 한 것이다.
이러한 구성의 화상 부호화 장치에 의하면, 보전 처리를 실시한 제 1 재생 화상 신호를 프레임 메모리에 저장하도록 하였기 때문에, 움직임 검출이나 움직임 보상을 보다 정밀하게 실행할 수 있다.
본 발명(청구의 범위 제 8 항)에 관한 디지털 화상 복호화 방법은, 임의의 형상을 갖는 화상을 포함하는 복수개의 화소로 이루어지는 화상 공간을 형성하기 위한, 해상도가 상이한 제 1, 제 2 화상 신호에, 부호화 처리를 실시하여 얻어지는 제 1, 제 2 부호화 화상 신호를 복호화하여 제 1, 제 2 재생 화상 신호를 생성하는 디지털 화상 복호화 방법에 있어서, 상기 제 1 부호화 화상 신호로부터 제 1 재생 화상 신호를 생성하는 복호화 처리를, 상기 화상 공간을 구분하는 단위 영역마다 실행하고, 또한 상기 각 단위 영역에 대응하는 제 1 재생 화상 신호에 대하여, 그 유의가 아닌 화소값을 소정의 방법에 의해 얻어지는 유사 화소값으로 치환하는 보전 처리를 실시하여, 해당 보전 처리가 실시된 제 1 재생 화상 신호로부터 해당 각 단위 영역에 대응하는 제 2 재생 화상 신호를 예측하여 재생 예측 신호를 생성하며, 또한 해당 각 단위 영역에 대응하는 제 2 부호화 화상 신호를 복호화해, 제 2 화상 신호와 그 예측 신호의 차분 신호를 재생하고, 해당 차분 신호에 상기 재생 예측 신호를 가산하여 제 2 재생 화상 신호를 생성하는 차분 복호화 처리를, 상기 단위 영역마다 실행하는 것이다.
이러한 구성의 화상 복호화 방법에 의하면, 보전 처리가 실시된 제 1 재생 화상 신호에 근거하여 제 2 재생 화상 신호의 재생 예측 신호가 생성되기 때문에, 제 1 화상 신호에 근거해 제 2 화상 신호를 계층 부호화하여 얻어지는 제 2 부호화 화상 신호를, 제 1 재생 화상 신호를 이용하여 정확하게 계층 복호화할 수 있다.
또한, 복호화 처리의 대상으로 되는 대상 단위 영역에 대응하는 제 2 부호화 화상 신호의 복호화 처리에서는, 그 예측 신호로서, 상기 대상 단위 영역에 대응하는 제 1 재생 화상 신호에 근거하여 생성되는 신호를 이용하기 때문에, 제 2 부호화 화상 신호의 복호화 처리는 제 1 부호화 화상 신호의 복호화 처리에 비해서, 상기 단위 영역을 처리하기 위한 시간만큼 밖에 지연되지 않는다. 이 때문에, 화상 신호의 계층 부호화 처리에 의해 얻어지는 제 1, 제 2 부호화 화상 신호에 근거하여, 고해상도 화상과 저해상도 화상을 거의 동시에 재생할 수 있다.
본 발명(청구의 범위 제 9 항)은, 청구의 범위 제 8 항에 기재된 디지털 화상 복호화 방법에 있어서, 상기 각 단위 영역에 대응하는 제 1 재생 화상 신호에 대한 보전 처리로서, 상기 제 1 재생 화상 신호에 있어서의 유의가 아닌 화소값을, 해당 제 1 재생 화상 신호에 있어서의 유의인 화소값에 근거하여 얻어진 유사 화소값으로 치환하는 처리를 행하는 것이다.
이러한 구성의 화상 복호화 방법에 의하면, 각 단위 영역에 대응하는 제 1 재생 화상 신호의 보전 처리를, 해당 제 1 재생 화상 신호에 있어서의 유의인 화소값에 근거하여 실행하기 때문에, 제 1 화상 신호로부터 얻어지는 제 2 화상 신호의 예측 신호와 제 2 화상 신호의 차분을 효과적으로 억제하면서 부호화하여 얻어지는 부호화 차분 신호를 정확하게 복호화할 수 있다.
본 발명(청구의 범위 제 10 항)에 관한 디지털 화상 복호화 장치는, 임의의 형상을 갖는 화상을 포함하는 복수개의 화소로 이루어지는 화상 공간을 형성하기 위한 제 1 화상 신호에, 부호화 처리를 실시하여 얻어지는 제 1 부호화 화상 신호를 복호화하여 제 1 재생 화상 신호를 생성하는 제 1 복호화 처리부와, 상기 화상을 포함하는 복수개의 화소로 이루어지는 화상 공간을 형성하기 위한, 해상도가 상기 제 1 화상 신호와는 상이한 제 2 화상 신호에, 부호화 처리를 실시하여 얻어지는 제 2 부호화 화상 신호를 복호화하여 제 2 재생 화상 신호를 생성하는 제 2 복호화 처리부를 구비하고, 상기 제 1 복호화 처리부를, 상기 제 1 부호화 화상 신호로부터 제 1 재생 화상 신호를 생성하는 복호화 처리를, 상기 화상 공간을 구분하는 단위 영역마다 실행하는 제 1 복호화 수단과, 상기 각 단위 영역에 대응하는 제 1 재생 화상 신호에 대하여, 그 유의가 아닌 화소값을 소정의 방법에 의해 얻어진 유사 화소값으로 치환하는 보전 처리를 실시하는 보전 수단을 갖는 구성으로 하며, 상기 제 2 복호화 처리부를, 상기 보전 처리가 실시된 제 1 재생 화상 신호로부터 상기 각 단위 영역에 대응하는 제 2 재생 화상 신호를 예측하여 재생 예측 신호를 생성하는 예측 신호 생성 수단과, 상기 각 단위 영역에 대응하는 제 2 부호화 화상 신호를 복호화하고, 상기 제 2 화상 신호와 그 예측 신호의 차분 신호를 재생하여, 해당 차분 신호에 상기 재생 예측 신호를 가산하여 제 2 재생 화상 신호를 생성하는 차분 복호화 처리를, 상기 단위 영역마다 실행하는 제 2 복호화 수단을 갖는 구성으로 한 것이다.
이러한 구성의 화상 복호화 장치에 의하면, 보전 처리가 실시된 제 1 재생 화상 신호에 근거하여 제 2 재생 화상 신호의 재생 예측 신호가 생성되기 때문에, 제 1 화상 신호에 근거하여 제 2 화상 신호를 계층 부호화하여 얻어지는 제 2 부호화 화상 신호를, 제 1 재생 화상 신호를 이용하여 정확하게 계층 복호화할 수 있다.
또한, 복호화 처리의 대상으로 되는 대상 단위 영역에 대응하는 제 2 부호화 화상 신호의 복호화 처리에서는, 그 예측 신호로서, 상기 대상 단위 영역에 대응하는 제 1 재생 화상 신호에 근거하여 생성되는 신호를 이용하기 때문에, 제 2 부호화 화상 신호의 복호화 처리는 제 1 부호화 화상 신호의 복호화 처리에 비해서, 상기 단위 영역을 처리하기 위한 시간 만큼밖에 지연되지 않는다. 이 때문에, 화상 신호의 계층 부호화 처리에 의해 얻어지는 제 1, 제 2 부호화 화상 신호에 근거하여, 고해상도 화상과 저해상도 화상을 거의 동시에 재생할 수 있다.
본 발명(청구의 범위 제 11 항)은, 청구의 범위 제 10 항에 기재된 디지털 화상 복호화 장치에 있어서, 상기 보전 처리가 실시된 제 1 재생 화상 신호를, 그 해상도가 상기 제 2 재생 화상 신호의 해상도와 일치하도록 변환하여 해상도 변환 신호를 출력하는 해상도 변환 수단을 구비하고, 상기 예측 신호 생성 수단은, 상기 제 2 재생 화상 신호에 근거해 각 단위 영역에 대응하는 제 2 재생 화상 신호를 예측하여 보조 예측 신호를 생성하는 예측 수단과, 해당 보조 예측 신호와 상기 해상도 변환 신호를, 상기 제 2 부호화 화상 신호에 포함되는 제어 정보에 근거하여 전환하는 스위치 수단을 가지며, 해당 스위치 수단의 출력을 상기 각 단위 영역에 대응하는 제 2 재생 화상 신호의 예측 신호로서 출력하는 구성으로 되어 있다.
이러한 구성의 화상 복호화 장치에 의하면, 제 2 재생 화상 신호로부터 얻어지는 보조 예측 신호와, 제 1 재생 화상 신호로부터 얻어지는 해상도 변환 신호중의 한쪽을, 상기 제 2 부호화 화상 신호에 포함되는 제어 정보에 근거해 선택하여, 해당 선택한 신호를 각 단위 영역에 대응하는 제 2 재생 화상 신호의 재생 예측 신호로서 출력하기 때문에, 간단한 구성에 의해 재생 예측 신호를 적응적으로 전환할 수 있어, 부호화 효율을 보다 높인 계층 부호화 처리에 대응하는 계층 복호화 처리를 간단히 실현할 수 있다.
본 발명(청구의 범위 제 12 항)은, 청구의 범위 제 10 항에 기재된 디지털 화상 복호화 장치에 있어서, 상기 보전 처리가 실시된 제 1 재생 화상 신호를, 그 해상도가 상기 제 2 재생 화상 신호의 해상도와 일치하도록 변환하여 해상도 변환 신호를 출력하는 해상도 변환 수단을 구비하고, 상기 예측 신호 생성 수단은, 상기 제 2 재생 화상 신호에 근거해 각 단위 영역에 대응하는 제 2 재생 화상 신호를 예측하여 보조 예측 신호를 생성하는 예측 수단과, 해당 보조 예측 신호와 상기 해상도 변환 신호를 가중하여 평균화하는 평균화 수단을 가지며, 해당 평균화 수단의 출력을 상기 각 단위 영역에 대응하는 제 2 재생 화상 신호의 재생 예측 신호로서 출력하는 구성으로 되어 있다.
이러한 구성의 화상 복호화 장치에 의하면, 제 2 재생 화상 신호로부터 얻어지는 보조 예측 신호와, 제 1 재생 화상 신호로부터 얻어지는 해상도 변환 신호를 가중을 행하여 평균화하여, 해당 평균화한 신호를 각 단위 영역에 대응하는 제 2 재생 화상 신호의 재생 예측 신호로서 출력하기 때문에, 제 1 화상 신호로부터 얻어지는 제 2 화상 신호의 예측 신호와, 제 2 화상 신호의 차분의 크기를 세밀하게 제어하는 계층 부호화 처리에 대응한 계층 복호화 처리를 실현할 수 있다.
본 발명(청구의 범위 제 13 항)은, 청구의 범위 제 12 항에 기재된 디지털 화상 복호화 장치에 있어서, 상기 보전 수단을, 상기 제 1 재생 화상 신호에 있어서의 유의가 아닌 화소값을, 해당 제 1 재생 화상 신호에 있어서의 유의인 화소값에 근거하여 얻어진 유사 화소값으로 치환하는 보전 처리를 행하는 구성으로 한 것이다.
이러한 구성의 화상 복호화 장치에 의하면, 각 단위 영역에 대응하는 제 1 재생 화상 신호의 보전 처리를, 해당 제 1 재생 화상 신호에 있어서의 유의인 화소값에 근거하여 실행하기 때문에, 제 1 화상 신호로부터 얻어지는 제 2 화상 신호의 예측 신호와 제 2 화상 신호의 차분을 효과적으로 억제하면서 부호화하여 얻어지는 부호화 차분 신호를 정확하게 복호화할 수 있다.
본 발명(청구의 범위 제 14 항)은, 청구의 범위 제 10 항에 기재된 디지털 화상 복호화 장치에 있어서, 상기 제 1 부호화 화상 신호를, 각 단위 영역에 대응하는 제 1 화상 신호와 그 예측 신호의 차분인 차분 신호를 압축해 부호화하여 이루어지는 차분 부호화 신호로 하고, 상기 제 1 복호화 수단을, 상기 차분 부호화 신호를 복호화하는 복호화기와, 해당 복호화기의 출력을 신장하여 재생 차분 신호를 생성하는 신장기와, 해당 신장기의 출력인 재생 차분 신호와 상기 제 1 재생 화상 신호의 재생 예측 신호를 가산하여 제 1 재생 화상 신호를 상기 보전 수단에 출력하는 가산기와, 상기 보전 수단의 출력을 기억하는 프레임 메모리와, 해당 프레임 메모리에 기억되어 있는 보전 처리가 실시된 제 1 재생 화상 신호에 근거하여, 각 단위 영역에 대응하는 상기 제 1 재생 화상 신호의 재생 예측 신호를 생성하는 예측 신호 생성기를 갖는 구성으로 한 것이다.
이러한 구성의 화상 복호화 장치에 의하면, 보전 처리를 실시한 제 1 재생 화상 신호를 프레임 메모리에 저장하도록 하였기 때문에, 복호화 처리에 있어서의 움직임 보상을 보다 정밀하게 실행할 수 있다.
본 발명(청구의 범위 제 15 항)에 관한 데이터 기억 매체는, 컴퓨터에 의해, 임의의 형상을 갖는 화상을 포함하는 복수개의 화소로 이루어지는 화상 공간을 형성하기 위한, 해상도가 상이한 제 1 및 제 2 입력 화상 신호를 부호화하는 처리를 행하도록 하기 위한 프로그램을 저장한 데이터 기억 매체에 있어서, 상기 프로그램으로서, 컴퓨터에 상기 제 1 입력 화상 신호를 압축해 부호화하여 제 1 부호화 화상 신호를 생성하고, 또한 해당 압축된 제 1 입력 화상 신호를 신장하여 제 1 재생 화상 신호를 생성하는 부호화 처리를, 상기 화상 공간을 구분하는 단위 영역마다 실행하는 처리, 상기 각 단위 영역에 대응하는 제 1 재생 화상 신호에 대하여, 그 유의가 아닌 화소값을 소정의 방법에 의해 얻어진 유사 화소값으로 치환하는 보전 처리를 실시하고, 해당 보전 처리가 실시된 제 1 재생 화상 신호에 근거하여, 해당 각 단위 영역에 대응하는 제 2 입력 화상 신호를 예측하여 예측 신호를 생성하는 처리, 및 해당 각 단위 영역에 대응하는 제 2 입력 화상 신호와 그 예측 신호의 차분인 차분 신호를 압축해 부호화하여 부호화 차분 신호를 생성하고, 또한 해당 압축된 차분 신호를 신장하여, 해당 신장된 차분 신호에 상기 예측 신호를 가산하여 제 2 재생 화상 신호를 생성하는 차분 압축 부호화를, 상기 단위 영역마다 실행하는 처리를, 실행시키는 프로그램을 저장한 것이다.
이러한 구성의 데이터 기억 매체에 의하면, 보전 처리가 실시된 제 1 재생 화상 신호에 근거하여 제 2 입력 화상 신호의 예측 신호가 생성되기 때문에, 해상도가 제 1 입력 화상 신호와는 상이한 제 2 입력 화상 신호와 그 예측 신호의 차분인 차분 신호가 억제되게 되어, 물체의 경계부에 위치하는 단위 영역에 대응하는 제 2 입력 화상 신호를, 부호화 효율의 열화를 억제하면서 압축하는 처리를, 컴퓨터에 의해 실현할 수 있다.
본 발명(청구의 범위 제 16 항)에 관한 데이터 기억 매체는, 컴퓨터에, 임의의 형상을 갖는 화상을 포함하는 복수개의 화소로 이루어지는 화상 공간을 재생하기 위한, 해상도가 상이한 제 1, 제 2 화상 신호에, 부호화 처리를 실시하여 얻어지는 제 1, 제 2 부호화 화상 신호를 복호화하여 제 1, 제 2 재생 화상 신호를 생성하는 처리를 행하도록 하기 위한 프로그램을 저장한 데이터 기억 매체에 있어서, 상기 프로그램으로서, 컴퓨터에 상기 제 1 부호화 화상 신호로부터 제 1 재생 화상 신호를 생성하는 복호화 처리를, 상기 화상 공간을 구분하는 단위 영역마다 실행하는 처리, 상기 각 단위 영역에 대응하는 제 1 재생 화상 신호에 대하여, 그 유의가 아닌 화소값을 소정의 방법에 의해 얻어진 유사 화소값으로 치환하는 보전 처리를 실시하여, 해당 보전 처리가 실시된 제 1 재생 화상 신호로부터, 해당 각 단위 영역에 대응하는 제 2 재생 화상 신호를 예측하여 재생 예측 신호를 생성하는 처리, 및 해당 각 단위 영역에 대응하는 제 2 부호화 화상 신호를 복호화해, 제 2 화상 신호와 그 예측 신호의 차분 신호를 재생하고, 해당 차분 신호에 상기 재생 예측 신호를 가산하여 제 2 재생 화상 신호를 생성하는 차분 복호화 처리를, 상기 단위 영역마다 실행하는 처리를, 실행시키는 프로그램을 저장한 것이다.
이러한 구성의 데이터 기억 매체에 의하면, 보전 처리가 실시된 제 1 재생 화상 신호에 근거하여 제 2 재생 화상 신호의 재생 예측 신호가 생성되기 때문에, 해상도가 제 1 입력 화상 신호와는 상이한 제 2 입력 화상 신호와 그 예측 신호의 차분을 억제해 부호화하여 얻어지는 부호화 차분 신호를 정확하게 복호화하는 처리를 컴퓨터에 의해 실현할 수 있다.
이하, 본 발명의 실시예에 대하여, 도 1 내지 도 12를 이용하여 설명한다.
(실시예 1)
도 1은 본 발명의 실시예 1에 의한 디지털 화상 부호화 장치(1000)를 설명하기 위한 블럭도이다.
이 디지털 화상 부호화 장치(1000)는 화상 신호의 스케일러빌리티 부호화를 물체 단위로 실행하는 것이고, 상기 화상 신호를 구성하는, 물체를 컬러 표시하기 위한 텍스처 신호에 대한 스케일러빌리티 부호화 처리를 행하는 텍스처 부호화부(1100)와, 상기 화상 신호를 구성하는, 물체의 형상을 나타내는 형상 신호에 대한 스케일러빌리티 부호화 처리를 행하는 형상 부호화부(1200)를 갖고 있다.
상기 텍스처 부호화부(1100)는 텍스처 신호를 수신하여, 해상도가 높은 계층에 대응하는 텍스처 신호(이하, 고해상도 텍스처 신호라고 함)와, 해상도가 낮은 계층에 대응하는 텍스처 신호(이하, 저해상도 텍스처 신호라 함)를 생성하는 텍스처 전(前)처리기(1100c)와, 고해상도 텍스처 신호를 부호화 처리의 단위로 되는 블럭에 대응하도록 분할하는 블럭화기(1120a)와, 저해상도 텍스처 신호를 부호화 처리의 단위로 되는 블럭에 대응하도록 분할하는 블럭화기(1120b)를 갖고 있다.
상기 전처리기(1100c)는, 도 3a에 도시하는 바와 같이, 그 입력 단자(203)에서 수신한 상기 텍스처 신호 St에 대한 필터 처리를 행하는 로우 패스 필터(LPF)(201)와, 해당 필터(201)의 출력을 다운 샘플에 의해 추출하는 추출기(202)를 갖고, 상기 텍스처 신호 St를 그대로 제 1 출력 단자(216)에 고해상도 텍스처 신호 Sth로서 출력하고, 또한 상기 추출기(202)에 의해 추출된 텍스처 신호를 저해상도 텍스처 신호 Std로서 제 2 출력 단자(204)에 출력하는 구성으로 되어 있다.
또한, 상기 텍스처 부호화부(1100)는 상기 저해상도 텍스처 신호에 대하여, 소정의 물체의 표시 영역(즉, 임의의 형상을 갖는 물체의 화상을 포함하는 화상 공간)을 구분하는 단위 처리 영역(블럭)마다 차분 부호화 처리를 실시하여 저해상도 텍스처 차분 부호화 신호(이하, LT 차분 부호화 신호라 함) Etd를 출력하는 부호화기(1100b)와, 해당 저해상도 텍스처 신호 Std의 차분 부호화 처리에 이용하는 예측 신호를, 고해상도 텍스처 신호 Sth의 차분 부호화 처리가 이용할 수 있도록 해상도의 변환을 행하는 텍스처 변환기(1125)와, 해당 텍스처 변환기(1125)의 출력에 근거하여, 상기 고해상도 텍스처 신호 Sth에 대하여 상기 단위 처리 영역(블럭)마다 차분 부호화 처리를 실시하여 고해상도 텍스처 차분 부호화 신호(이하, HT 차분 부호화 신호라 함) Eth를 출력하는 부호화기(1100a)를 갖고 있다.
상기 형상 부호화부(1200)는 상기 형상 신호 Sk를 수신하여, 해상도가 높은 계층에 대응하는 형상 신호(이하, 고해상도 형상 신호라 함) Skh와, 해상도가 낮은 계층에 대응하는 형상 신호(이하, 저해상도 형상 신호라 함) Skd를 생성하는 형상 전처리기(1200c)를 갖고 있다. 이 형상 전처리기(1200c)도 상기 텍스처 전처리기(1100c)와 완전히 마찬가지의 구성으로 되어 있다. 또한, 상기 형상 부호화부(1200)는 상기 저해상도 형상 신호 Skd에 대하여, 소정의 물체의 표시 영역(임의의 형상을 갖는 물체의 화상을 포함하는 화상 공간)을 구분하는 단위 처리 영역(블럭)마다 차분 부호화 처리를 실시하여 저해상도 형상 차분 부호화 신호(이하, LS 차분 부호화 신호라 함) Ekd를 출력하는 부호화기(1200b)와, 해당 저해상도 형상 신호 Skd의 차분 부호화 처리에 이용하는 예측 신호를, 고해상도 형상 신호 Skh의 차분 부호화 처리가 이용할 수 있도록 해상도의 변환을 행하는 형상 변환기(1225)와, 해당 형상 변환기(1225)의 출력에 근거하여, 상기 고해상도 형상 신호 Skh에 대하여 상기 단위 처리 영역(블럭)마다 차분 부호화 처리를 실시하여 고해상도 형상 차분 부호화 신호(이하, HS 차분 부호화 신호) Ekh를 출력하는 부호화기(1200a)를 갖고 있다.
또한, 도시되어 있지 않지만, 상기 각 부호화기는 각각, 입력되는 텍스처 신호 혹은 형상 신호에 근거하여 각 처리 단위 영역(블럭)에서 실행되는 부호화 처리의 모드를 판정하는 모드 판정기를 갖는 구성으로 되어 있다.
다음에, 도 2를 이용하여, 상기 텍스처 부호화부(1100)에 있어서의 각 부호화기(1100a) 및 부호화기(1100b)의 상세한 구성에 대하여 설명한다.
상기 저해상도 텍스처 부호화기(1100b)는 부호화 처리의 대상으로 되는 대상 블럭의 저해상도 텍스처 신호와 그 예측 신호의 차분 신호를 생성하는 제 1 가산기(132)와, 해당 가산기(132)의 출력인 차분 신호를 압축하는 제 1 정보 압축기(ENC)(133)와, 해당 정보 압축기(133)의 출력을 가변 길이 부호화하는 제 1 가변 길이 부호화기(VLC)(104)와, 상기 예측 신호를 생성하는 예측 신호 생성부(1110b)로 구성되어 있다.
여기서, 상기 제 1 정보 압축기(133)는, 도 4a에 도시하는 바와 같이, 대상 블럭의 저해상도 텍스처 신호와 그 예측 신호의 차분 신호(304)에 대하여, 주파수 변환 처리의 일종인 DCT(이산 코사인 변환) 처리를 실시하는 DCT 변환기(302)와, 해당 주파수 변환에 의해 얻어지는 차분 신호의 주파수 성분(305)을 양자화하여 양자화 신호(306)를 출력하는 양자화기(303)로 구성되어 있다.
상기 예측 신호 생성부(1110b)는, 상기 제 1 정보 압축기(133)의 출력(차분 압축 신호)를 신장하여 상기 차분 신호를 재생하는 제 1 정보 신장기(DEC)(136)와, 상기 예측 신호와 해당 정보 신장기(136)로부터의 재생 차분 신호를 가산하여 저해상도 텍스처 신호를 재생하는 제 2 가산기(137)를 갖고 있다.
여기서, 상기 제 1 정보 신장기(136)은, 도 4b에 도시하는 바와 같이, 상기 압축 차분 신호(310)를 역양자화하는 역양자화기(308)와, 역양자화된 압축 차분 신호(311)에 대하여, 주파수 영역의 데이터로부터 공간 영역의 데이터로 변환하는 역IDTC 처리를 실시하여 신장 차분 신호(312)를 출력하는 IDCT기(309)로 구성되어 있다.
또한, 상기 예측 신호 생성부(1110b)는 해당 가산기(137)의 출력을 수신하여, 재생 저해상도 텍스처 신호에 있어서의 유의가 아닌 샘플값(화소값)을, 상기 저해상도 형상 부호화기(1200b)에 의해 재생된 저해상도 형상 신호에 근거하여 보전하는 제 1 보전기(138)와, 해당 보전기(138)의 출력인, 보전된 재생 저해상도 텍스처 신호를 저장하는 제 1 프레임 메모리(139)를 갖고 있고, 이 보전기(138)의 출력은 상기 텍스처 변환기(1125)에도 출력되도록 되어 있다.
또한, 상기 예측 신호 생성부(1110b)는 해당 제 1 프레임 메모리(139)의 출력과, 입력되는 저해상도 텍스처 신호 Std에 근거하여, 대상 블럭의 저해상도 텍스처 신호와의 오차가 가장 작은 예측 신호를 인가하는, 해당 대상 블럭과 동일 사이즈의 예측 영역을 나타내는 움직임 변위 정보(움직임 벡터)를 구하여 출력하는 제 1 움직임 검출기(ME)(141)와, 해당 움직임 검출기(141)로부터의 움직임 벡터에 근거하여 프레임 메모리(139)의 어드레스 Add1을 발생시켜, 상기 프레임 메모리(139)로부터 예측 영역에 대응하는 재생 저해상도 텍스처 신호를 예측 신호로서 판독하여, 상기 제 1 가산기(132)에 출력하는 제 1 움직임 보상기(MC)(140)를 갖고 있다.
한편, 상기 고해상도 텍스처 부호화기(1100a)도 상기 저해상도 텍스처 부호화기(1100b)와 거의 마찬가지의 구성으로 되어 있다.
즉, 상기 고해상도 텍스처 부호화기(1100a)는, 부호화 처리의 대상으로 되는 대상 블럭의 고해상도 텍스처 신호와 그 예측 신호의 차분 신호를 생성하는 제 3 가산기(102)와, 해당 가산기(102)의 출력인 차분 신호를 압축하는 제 2 정보 압축기(ENC)(103)와, 해당 정보 압축기(103)의 출력을 가변 길이 부호화하는 제 2 가변 길이 부호화기(VLC)(104)와, 상기 예측 신호를 생성하는 예측 신호 생성부(1110a)로 구성되어 있다.
여기서, 상기 제 2 정보 압축기(103)는 상기 제 1 정보 압축기(133)와 마찬가지로, 대상 블럭의 고해상도 텍스처 신호와 그 예측 신호의 차분 신호에 대하여, 주파수 변환 처리의 일종인 DCT(이산 코사인 변환) 처리를 실시하는 DCT 변환기(302)와, 해당 주파수 변환에 의해 얻어지는 차분 신호의 주파수 성분을 양자화하는 양자화기(303)로 구성되어 있다(도 4a 참조).
상기 예측 신호 생성부(1110a)는 상기 제 2 정보 압축기(103)의 출력(차분 압축 신호)을 신장하여 상기 차분 신호를 재생하는 제 2 정보 신장기(DEC)(106)와, 상기 예측 신호와 해당 정보 신장기(106)로부터의 재생 차분 신호를 가산하여 고해상도 텍스처 신호를 재생하는 제 3 가산기(107)를 갖고 있다.
또한, 상기 예측 신호 생성부(1110a)는 해당 가산기(107)의 출력을 수신하여, 재생 고해상도 텍스처 신호에 있어서의 유의가 아닌 샘플값(화소값)을, 상기 고해상도 형상 부호화기(1200a)에 의해 재생된 고해상도 형상 신호에 근거하여 보전하는 제 2 보전기(108)와, 해당 보전기(108)의 출력인, 보전된 재생 고해상도 텍스처 신호를 저장하는 제 2 프레임 메모리(109)를 갖고 있다.
또한, 상기 예측 신호 생성부(1110a)는 해당 제 2 프레임 메모리(109)의 출력과, 입력되는 고해상도 텍스처 신호에 근거하여, 대상 블럭의 고해상도 텍스처 신호와의 오차가 가장 작은 예측 신호를 인가하는, 대상 블럭과 동일 사이즈의 예측 영역을 나타내는 움직임 변위 정보(움직임 벡터)를 구하여 출력하는 제 2 움직임 검출기(ME)(111)와, 해당 움직임 검출기(111)로부터의 움직임 벡터에 근거하여 상기 프레임 메모리(109)의 어드레스 Add2를 발생시켜, 상기 프레임 메모리(109)로부터 예측 영역에 대응하는 재생 고해상도 텍스처 신호를 예측 신호로서 판독하는 제 2 움직임 보상기(MC)(110)와 해당 제 2 움직임 보상기(MC)(110)의 출력과 상기 텍스처 변환기(1125)의 출력을 평균화하여 상기 제 3 가산기(102)에 출력하는 평균화기(AVE)(124)를 갖고 있다.
여기서는, 이 평균화기(124)는 상기 모드 판정기(도시하지 않음)의 출력에 근거하여, 해당 제 2 움직임 보상기(MC)(110)의 출력과 상기 텍스처 변환기(1125)의 출력을 일정 비율의 가중을 행하여 평균화하는 구성으로 되어 있다.
또한, 가중 평균 처리를 행하는 평균화기(124) 대신에, 상기 모드 판정기의 출력에 근거하여 제 2 움직임 보상기(MC)(110)의 출력과 상기 텍스처 변환기(1125)의 출력중의 한쪽을 선택하여, 선택된 출력을 고해상도 텍스처 신호의 예측 신호로서 상기 제 3 가산기(102)에 출력하도록 하더라도 무방하다.
다음에, 상기 저해상도 형상 부호화기(1200b) 및 고해상도 형상 부호화기(1200a)의 구체적인 구성에 대하여 설명한다. 단, 이들의 부호화기는 기본적으로 상기 저해상도 텍스처 부호화기(1100b) 및 고해상도 텍스처 부호화기(1100a)의 구성과 동일하기 때문에, 도면을 이용한 상세한 설명은 생략하고, 각 텍스처 부호화기와 각 형상 부호화기의 구성상의 상위점만을 간단히 설명한다.
즉, 상기 저해상도 형상 부호화기(1200b)는, 상기 저해상도 텍스처 부호화기(1100b)에 있어서의 보상기(138)를 갖고 있지 않고, 그 가산기(137)의 출력을 제 1 프레임 메모리(139)에 직접 입력하는 구성으로 되어 있는 점에서만 상기 저해상도 텍스처 부호화기(1100b)와 상이하다. 또한, 상기 고해상도 형상 부호화기(1200a)는 상기 고해상도 텍스처 부호화기(1100a)에 있어서의 보상기(108)를 갖고 있지 않고, 그 가산기(107)의 출력을 제 2 프레임 메모리(109)에 직접 입력하는 구성으로 되어있는 점에서만 상기 고해상도 텍스처 부호화기(1100a)와 상이하다.
다음에 동작에 대하여 설명한다.
화상 신호로서, 소정의 물체에 대응하는 텍스처 신호 St 및 형상 신호 Sk가 각각 텍스처 입력 단자(1111) 및 형상 입력 단자(1211)에 입력되면, 상기 텍스처 부호화부(1100)에서는 텍스처 신호 St에 대한 스케일러빌리티 부호화 처리가, 상기 형상 부호화부(1200)에서는 형상 신호 Sk에 대한 스케일러빌리티 부호화 처리가 행하여진다.
즉, 상기 텍스처 부호화부(1100)에서는, 전처리기(1100c)에 의해 텍스처 신호 St로부터 고해상도 텍스처 신호 Sth와 저해상도 텍스처 신호 Std가 생성된다. 구체적으로는, 도 3a에 도시하는 바와 같이, 상기 전처리기(1100c)에서는, 입력된 텍스처 신호(화상계열) St는 그대로 고해상도 텍스처 신호 Sth로서 제 1 출력 단자(216)에 출력되는 반면, 해당 텍스처 신호 St는 로우 패스 필터(201)에 의해 고대역 성분이 제거되고, 또한 추출기(202)에 의해서 다운 샘플되어 저해상도 텍스처 신호 Std로서 제 2 출력 단자(204)에 출력된다.
여기서, 상기 고해상도 텍스처 신호 Sth로부터는 (K×L)개의 샘플(화소)로 이루어지는, 상기 물체의 화상을 포함하는 화상 공간(화상 표시 화면)(205)을 얻을 수 있는데 비하여, 상기 저해상도 텍스처 신호 Std로부터는 (K/2×L/2)개의 샘플(화소)로 이루어지는, 상기 물체의 화상을 포함하는 화상 공간(화상 표시 화면)(206)을 얻을 수 있다. 또한, 여기서 K, L은 정수이다. 즉, 상기 추출기(202)에서는, 다운 샘플 처리로서, 필터 출력을 1 샘플 걸러서 추출하는 처리가 행하여진다. 단, 추출기의 구성은 일례이고, 상기 텍스처 신호 St에는, 1/2 이외의 비율로 다운 샘플링 처리를 실시하더라도 무방하다.
또한 이 때, 상기 형상 부호화부(1200)에서는, 상기 텍스처 부호화부(1100)에 있어서의 텍스처 신호의 전처리와 마찬가지로, 전처리기(1200c)에 의해 물체의 형상 신호의 전처리가 실행된다.
다음에, 상기 고해상도 텍스처 신호 Sth 및 저해상도 텍스처 신호 Std는, 각각 블럭화기(1120a, 1120b)에 의해, 화상이 표시되는 1 화면(화상 공간)을 구분하는, 소정 사이즈의 블럭 영역에 대응하도록 분할되어, 고해상도 텍스처 부호화기(1100a), 저해상도 텍스처 부호화기(1100b)에 입력된다.
여기서, 상기 각 텍스처 신호 Sth 및 Std는, (8×8)개 또는 (16×16)개의 샘플로 이루어지는 직사각형 형상의 블럭 영역에 대응하도록 분할되지만, 상기 각 텍스처 신호는 임의의 형상의 블럭 영역에 대응하도록 분할되더라도 무방하다.
이 때, 형상 부호화부(1200)에서는, 블럭기(1220a, 1220b)에 의해, 고해상도 형상 신호 Sth 및 저해상도 형상 신호 Std에 대하여, 상기 각 텍스처 신호에 대한 블럭화 처리와 마찬가지의 블럭 처리가 실시된다.
그리고, 부호화 처리의 대상으로 되는 블럭(이하, 대상 블럭이라 함)에 대응하는 저해상도 및 고해상도 텍스처 신호가 각각, 저해상도 부호화기(1110b) 및 고해상도 부호화기(1110a)에 입력되면, 각 부호화기에서는 이들의 신호에 대한 차분 부호화 처리가 행하여진다.
또한, 저해상도 및 고해상도 형상 신호에 대해서도, 대응하는 부호화기(1200a, 1200b)에 의해 각 블럭 단위로 부호화 처리가 행하여지지만, 형상 신호에 대한 부호화 처리는, 텍스처 신호의 부호화 처리에 있어서의 보전 처리를 행하지 않는다는 점에서만 상이하기 때문에, 상세한 설명은 텍스처 신호에 대해서만 행한다.
이하, 우선 저해상도 부호화기(1110b)에 있어서의 저해상도 텍스처 신호 Std에 대한 차분 부호화 처리에 대하여 설명한다.
상기 대상 블럭의 저해상도 텍스처 신호 Std가 제 1 움직임 검출기(141)에 입력됨과 동시에, 제 1 프레임 메모리(139)로부터, 압축 처리된 텍스처 신호를 신장하여 얻어지는 신장 텍스처 신호가, 참조 화면의 텍스처 신호로서 제 1 움직임 검출기(141)에서 판독된다.
이 제 1 움직임 검출기(141)에서는, 블럭 매칭등의 방법에 의해, 대상 블럭의 저해상도 텍스처 신호에 대하여 오차가 가장 작은 예측 신호를 인가하는, 참조 화면에 있어서의 예측 블럭이 검출되어, 대상 블럭을 기준으로 하는 해당 예측 영역의 위치를 나타내는 움직임 변위 정보(이하, 움직임 벡터라 함)가 출력된다.
이 움직임 벡터는 제 1 움직임 보상기(140)에 보내어져, 거기에서 참조 화면에 대응하는 참조용 저해상도 텍스처 신호로부터 예측 블럭에 대응하는 저해상도 텍스처 신호가 예측 신호로서 생성된다. 이 때, 상기 대상 블럭에 대한 움직임 벡터는 가변 길이 부호화기(134)에 공급되어, 대응하는 가변 길이 부호로 변환된다.
또한, 대상 블럭의 저해상도 텍스처 신호와 예측 블럭의 저해상도 텍스처 신호는 상기 제 1 가산기(132)에 공급되고, 상기 제 1 가산기(132)에서는 양자의 차분 신호가 생성되며, 이 차분 신호는 제 1 정보 압축기(133)에 의해 압축된다.
이 제 1 정보 압축기(133)에 있어서의 차분 신호의 압축 처리는, 도 3a에 도시하는 바와 같이, DCT기(302)에서의 주파수 변환 및 양자화기(303)에서의 양자화에 의해서 실행되지만, 상기 차분 신호의 압축 처리에는 서브 밴드 변환이나 벡터 양자화 등의 방법을 이용하더라도 무방하다. 여기서는, 양자화된 차분 신호(압축 차분 신호)가 가변 길이 부호화기(134)에 공급되어 가변 길이 부호화된다.
그리고, 가변 길이 부호화된 압축 차분 신호 Etd는, 가변 길이 부호화된 움직임 벡터를 포함하는 그 밖의 사이드 정보와 함께 출력 단자(135)에 출력된다.
이 때, 저해상도 예측 신호 생성부(1110b)에서는, 상기 정보 압축기(135)의 출력인 압축 차분 신호에 근거하여 예측 신호가 생성된다.
즉, 상기 압축 차분 신호가 예측 신호 생성부(1110b)에 입력되면, 이 압축 차분 신호는 정보 신장기(136)에 의해 신장 처리가 실시되어, 신장 차분 신호가 출력된다. 본 실시예에서는 도 4b에 도시하는 바와 같이, 상기 압축 차분 신호가 역양자화기(308)에 의해 역양자화되어, 역양자화된 압축 차분 신호가 IDCT기(309)에 의해, 주파수 영역의 데이터로부터 공간 영역의 데이터로 변환된다.
상기 정보 신장기(136)로부터의 신장 차분 신호는, 제 2 가산기(137)에 의해 대응하는 예측 블럭의 저해상도 텍스처 신호에 가산되어, 해당 가산에 의해 얻어지는 신호가 대상 블럭에 대응하는 재생 저해상도 텍스처 신호로서 출력된다. 이 재생 저해상도 텍스처 신호는 제 1 보전기(PAD)(138)에 입력되어, 해당 보전기(138)에 의해 해당 재생 저해상도 텍스처 신호에 대한 보전 처리가 실시된다. 그리고 보전 처리가 실시된 재생 저해상도 텍스처 신호가 제 1 프레임 메모리(139)에 참조용 저해상도 텍스처 신호로서 저장된다. 여기서, 상기 보전 처리는 각 블럭에 대응하는 재생 저해상도 텍스처 신호를 구성하는 복수개의 샘플값(화소값)중의 유의가 아닌 샘플값을 유의인 샘플값으로 치환하는 처리이고, 샘플값이 유의인지의 여부의 판정은 저해상도 형상 부호화기(1200b)에 의해, 압축 차분 신호에 신장 처리 등을 실시하여 얻어지는 재생 저해상도 형상 신호를 참조하여 실행된다.
도 6은 상기 제 1 보전기(138)에 의한 보전 처리를 설명하기 위한 모식도이다. 또한, 도 6에서는 설명을 간략화하기 위해서, 재생 저해상도 텍스처 신호에 의해 형성되는 화상 공간을 구분하는 각 블럭(501)은 (4×4)개의 샘플로 이루어지는 것으로 하고, 해당 블럭(501)에 있어서의 각 직사각형 영역은 한개의 샘플(화소)을 나타낸다. 또한, 복수개의 직사각형 영역중, 점선으로 나타낸 직사각형 영역은 물체 내부에 위치하는 유의인 샘플을 나타내고, 그 이외의 직사각형 영역(점선으로 나타내지 않은 영역)은 물체의 외측에 위치하는 유의가 아닌 샘플을 나타내고 있다.
유의가 아닌 샘플의 샘플값에 대한 보전 처리에는, 물체의 경계(주연(周緣))상에 위치하는 샘플의 샘플값을 이용한다. 도 6에서는 샘플(502, 503, 504, 505)이 경계상에 위치하는 샘플이고, 이들 유의 샘플의 샘플값을 유의가 아닌 샘플의 샘플값으로 치환함으로써, 물체의 외측 영역에 위치하는 샘플의 샘플값을 보전한다. 예를 들면, 샘플(506)의 샘플값을 샘플(505)의 샘플값으로 치환한다. 또한 샘플(507)과 같이, 유의 샘플(503)과 유의 샘플(504) 양쪽에 인접하는, 물체 외부의 샘플에 대해서는, 그 샘플값을 양쪽 유의 샘플의 샘플값의 평균값으로 보전한다.
또한, 상기 설명에서는, 보전 처리로서, 유의가 아닌 샘플의 샘플값을 유의가 아닌 샘플과 인접하는 유의인 샘플의 샘플값으로 치환하는 처리에 대하여 도시하였지만, 보전 처리는 유의가 아닌 샘플의 샘플값을 물체의 경계상에 있는 모든 유의인 샘플의 샘플값의 평균값으로 치환하는 처리이더라도 무방하고, 또한 유의가 아닌 샘플과 인접하는 유의인 샘플이 복수개 있는 경우, 유의가 아닌 샘플의 샘플값을 해당 복수개의 유의인 샘플의 샘플값중에서 최대 또는 최소의 샘플값으로 치환하는 처리이더라도 무방하다.
또한, 이 때 상기 제 1 움직임 검출기(141)에서는, 상술한 바와 같이 블럭 매칭등의 방법에 의해, 입력되는 저해상도 텍스처 신호와 프레임 메모리에 저장되어 있는 참조용의 재생 저해상도 텍스처 신호에 근거하여 움직임 벡터가 생성되어 있고, 제 1 움직임 보상기(140)에서는, 이 움직임 벡터에 근거하여 예측 블럭에 대응하는 저해상도 텍스처 신호가 생성되어, 이것이 예측 신호로서 상기 제 1 가산기(132)에 출력된다.
다음에, 고해상도 부호화기(1110a)에 있어서의 고해상도 텍스처 신호 Sth에 대한 차분 부호화 처리에 대하여 설명한다.
이 고해상도 텍스처 신호 Sth에 대한 차분 부호화 처리는, 상기 저해상도 텍스처 신호 Std에 대한 차분 부호화 처리와 기본적으로는 동일하고, 대상 블럭에 대응하는 예측 신호를 생성하는 처리가 상기 저해상도 텍스처 신호에 대한 것과는 약간 상이하다.
즉, 고해상도 텍스처 부호화기(1100a)의 예측 신호 생성부(1110a)에서는, 제 2 움직임 보상기(110)에 의한 움직임 보상에 의해 얻어지는 시간 예측 신호에 부가하여, 저해상도 텍스처 부호화기(1100b)의 제 1 보전기(138)에 의해 보전 처리를 실시한 재생 저해상도 텍스처 신호(공간 예측 신호)가 이용된다.
도 3a에 도시하는 바와 같이, 저해상도 화상 공간(206)을 형성하기 위한 저해상도 텍스처 신호는, 고해상도 화상 공간(205)을 형성하기 위한 고해상도 텍스처 신호를 다운 샘플링하여 얻어지는 것이기 때문에, 상기 재생 저해상도 텍스처 신호를 고해상도 텍스처 부호화기(1100a)에 의해 공간 예측 신호로서 이용하기 위해서는, 해당 재생 저해상도 텍스처 신호를 업 샘플링등에 의해 보간해야 한다.
이 때문에, 상기 공간 예측 신호는 텍스처 변환기(1125)에 의한 업 샘플링에 의해 보간되며, 보간된 공간 예측 신호는 상기 고해상도 텍스처 부호화기(1100a)의 예측 신호 생성부(1110a)에 공급된다.
구체적으로는, 도 7에 도시하는 상기 텍스처 변환기(1125)를 구성하는 보간기(602)에서는, 우수 탭의 필터를 이용하여 보간값이 생성되고, 이 보간값에 의해 상기 공간 예측 신호를 구성하는 샘플값이 보간된다.
이러한 업 샘플링 처리가 실시된 공간 예측 신호는, 상기 시간 예측 신호와 함께 평균화기(124)에 입력된다. 이 평균화기(124)에서는, 상술한 모드 판정기(도시하지 않음)로부터의 모드 판정 출력에 근거하여, 시간 예측 신호와 공간 예측 신호를 가중 평균화하여 얻어지는, 고해상도 텍스처 신호에 대한 예측 신호가 생성되어, 이 예측 신호가 제 3, 제 4 가산기(102, 107)에 공급된다.
또한, 본 실시예에서는, 상기 평균화기(124)에 있어서의, 공간 예측 신호와 시간 예측 신호의 가중의 비율로서, 1 : 0, 0 : 1, 1/2 : 1/2의 3가지의 비율을 이용하도록 하고 있지만, 이 밖의 비율로 가중하더라도 무방하다. 또한, 이 가중의 비율은 모드 판정 출력에 근거하여 조정하는 것이 아니라, 미리 소정의 비율을 설정해 놓도록 하더라도 좋다. 또한, 공간 예측 신호는 제 1 보전기(138)로부터 출력하도록 하고 있지만, 이것은 제 1 프레임 메모리(139)로부터 출력하도록 하더라도 무방하다.
도 5는 상기 재생 저해상도 텍스처 신호로부터 고해상도 텍스처 신호에 대한 예측 신호를 생성하는 처리를 설명하기 위한 모식도이다. 도면 중, 참조번호 (401a)는 고해상도 텍스처 신호로부터 얻어지는, 임의의 형상의 물체 화상을 포함하는 고해상도 화상 공간이고, 참조번호 (401b)는 재생 저해상도 텍스처 신호로부터 얻어지는, 상기 임의의 형상의 물체 화상을 포함하는 재생 저해상도 화상 공간이다. 각 화상 공간은 복수개의 블럭(단위 처리 영역)으로 구성되어 있고, 해당 복수개의 블럭중 점선으로 표시한 것은, 물체의 내부에 위치하는 유의인 샘플을 포함하는 것이다.
구체적으로는, 화상 공간(401a)을 구분하는 블럭은 부호화 처리가 행하여지는 피처리 블럭을 나타내고, 화상 공간(401b)을 구분하는 블럭은 화상 공간(401a)의 각 피처리 블럭에 대응하는 공간 예측 블럭을 나타낸다. 여기서 각 피처리 블럭과 이에 대응하는 각 공간 예측 블럭은, 각각 화상 공간에 있어서의 동일 위치에 위치한다.
예를 들면, 피처리 블럭(404a)과 대응하는 공간 예측 블럭(404b)은 각각 화상 공간(401a)과 화상 공간(401b)에서는, 수평 방향의 배열에 있어서 좌측 단부로부터 6번째에 위치하고, 또한 수직 방향의 배열에 있어서 상측 단부로부터 4번째에 위치하는 블럭으로 되어 있다. 또한, 화상 공간(401a)에서의 피처리 블럭(403a)은 물체의 경계상에 위치하고, 이에 대응하는 화상 공간(401b)에 있어서의 공간 예측 블럭(403b)도 물체의 경계상에 위치한다.
또한, 물체의 경계상에 있는 공간 예측 블럭(403b)에 대응하는 저해상도 텍스처 신호는, 이것을 구성하는 유의가 아닌 샘플값이 상술한 방법으로 치환된 후에, 텍스처 변환기(125)로 업 샘플링되며, 해당 업 샘플된 저해상도 텍스처 신호는, 상기 공간 예측 블럭에 대응하는 피처리 블럭(403a)의 고해상도 텍스처 신호로부터 감산된다.
일반적으로는, 공간 예측 블럭에 대응하는 저해상도 텍스처 신호를 업 샘플링하더라도, 이에 의해서 얻어지는 공간 예측 블럭에 있어서의 물체의 경계와, 대응하는 피처리 블럭에 있어서의 물체의 경계가 일치하지 않는 경우가 대부분이다. 이 때문에, 상기한 바와 같이 공간 예측 블럭에 대응하는 저해상도 텍스처 신호를 보전한 후에 업 샘플함으로써, 양쪽 블럭의 경계의 불일치에 의한 잔차(殘差)의 증가를 억제할 수 있다.
또한, 도 5에 있어서의 피처리 블럭(405a, 406a, 407a)과, 이들에 대응하는 공간 예측 블럭(405b, 406b, 407b)에서 볼 수 있듯이, 화상 공간(401a)에 있어서의 피처리 블럭이 물체의 경계상에 위치하고 있는데 비하여, 화상 공간(401b)에 있어서의 공간 예측 블럭은 완전히 물체 외부에 위치하게 되는 경우가 있다.
이것은, 화상 공간(401b)에 대응하는 저해상도 텍스처 신호를 생성하기 위한 다운 샘플링이나, 저해상도 텍스처 신호의 압축 부호화에 의해서, 저해상도 텍스처 신호가 갖는 물체 형상 정보가 왜곡되기 때문이다. 이 경우, 예를 들면, 피처리 블럭(407a)에 대응하는 공간 예측 블럭(407b)을 구성하는 샘플의 샘플값은 정의되어 있지 않고, 이 때문에 공간 예측 블럭(407b)에 대응하는 저해상도 텍스처 신호를 그대로 이용하여, 피처리 블럭(407a)에 대응하는 고해상도 텍스처 신호로부터 감산을 하면 양쪽 신호의 잔차가 커진다.
그러므로, 본 발명의 실시예 1에서는, 이러한 물체 외부의 공간 예측 블럭에 대해서는, 그 샘플값을, 해당 물체 외부 공간 블럭에 인접하는 물체 내부 공간 블럭의 유의인 샘플값으로 보전하도록 하고 있다.
즉, 공간 예측 블럭(407b)에 관해서는, 그 샘플값을, 그 바로 위에 있는 공간 예측 블럭(402b)의 유의인 샘플값으로 치환하도록 하고 있다.
이 경우, 공간 예측 블럭(402b)과 같은 물체의 경계상에 위치하는 블럭에 대해서는, 도 6에 도시하는 방법으로 그 유의가 아닌 샘플의 샘플값이 보전되어 있기 때문에, 상기 물체 외부 공간 예측 블럭(407b)의 샘플값을, 공간 예측 블럭(402b)의, 경계상에 위치하는 샘플의 샘플값으로 보전하더라도 무방하다.
도 9a 및 도 9b는 이와 같은 보전 처리의 예를 도시한다.
블럭(801, 802, 803, 804)는 각각 4×4의 샘플로 구성된다. 블럭(801)과 블럭(803)이 경계 블럭이고, 보전 처리에 의해 모든 샘플값이 유의인 값으로 되어 있다. 그 때문에, 샘플(805 내지 812)은 모두 유의인 샘플값을 갖고 있다. 또한 블럭(802)과 블럭(804)은 물체 외부 블럭이다.
그러므로, 블럭(802)에 대한 보전 처리에서는, 샘플(805, 806, 807, 808)을 수평으로 순차적으로 반복하여 적용시켜, 이들의 샘플을 블럭(802)의 샘플로서 보전하고, 또한 블럭(804)에 대한 보전 처리에서는, 샘플(809, 810, 811, 812)을 수직으로 순차적으로 반복하여 적용시켜, 이들의 샘플을 블럭(804)의 샘플로서 보전한다.
또한, 보전 처리가 실시되는 블럭에 수평 방향으로도 수직 방향으로도 인접한 경계 블럭이 존재하는 경우에는, 이들의 경계 블럭에 있어서의 모든 후보 샘플값의 평균을, 치환해야 할 유사 샘플값으로서 이용하거나, 모든 후보 샘플값중의 최대값을, 치환해야 할 유사 샘플값으로서 이용할 수 있다.
이와 같이, 물체 외부에 위치하는 공간 예측 블럭에 대하여, 이것에 인접하는 경계 블럭의 샘플값을 이용하여 보전 처리를 실시함으로써, 공간 예측 블럭이 완전히 물체 외부에 있더라도, 그 유의가 아닌 샘플값은, 물체 내부의 샘플값에 의해 치환되기 때문에, 공간 예측 블럭에 대응하는 저해상도 텍스처 신호를 업 샘플한 신호와, 피처리 블럭에 대응하는 고해상도 텍스처 신호의 잔차 신호를 억제할 수 있다.
도 8은 상술한 보전 처리를 고려한, 보전기 및 텍스처 변환기에 의한 동작을 플로우차트에 의해 설명하기 위한 도면이다.
우선, 공간 예측 블럭과 그 공간 예측 블럭이 물체의 외부에 있는지의 여부를 나타내는 식별 신호 LDkd가 보전기(138)에 입력된다(단계 S1). 예측 블럭이 물체의 외부에 있는지의 여부를 나타내는 식별 신호 LDkd는, 형상 부호화부(1200)의 저해상도 형상 부호화기(1200b)에 의해 생성된 신장 형상 신호(물체의 형상 정보)이다.
다음에, 그 식별 신호를 이용하여 공간 예측 블럭이 물체의 외부에 있는지의 여부가 상기 보전기(138)에 의해 판별된다(단계 S2). 만약, 해당 공간 예측 블럭이 물체의 외부에 없으면, 공간 예측 블럭은 보전 처리가 실시되지 않고서 그대로 출력되어, 텍스처 변환기(1125)에 의해 업 샘플링된다(단계 S4). 반면, 물체의 외부에 있는 경우, 공간 예측 블럭에 대하여, 인접하는 블럭의 유의인 샘플의 샘플값을 이용한 보전 처리가 실시되며(단계 S3), 그 후, 해당 공간 예측 블럭에 대응하는 저해상도 텍스처 신호가, 상기 텍스처 변환기(1125)에 의해 업 샘플링된다(단계 S4). 또한, 경계 블럭에 인접하는 물체 외부에 있는 블럭의 보전은 상술한 보전기에 의해 행하여도 무방하다.
또한, 상기 실시예 1에서는, 텍스처 신호를 계층화시 도 3a에 도시하는 전처리기(201)를 이용하였지만, 상기 계층화 처리에는, 이 전처리기(201) 대신에 도 3b에 도시하는 전처리기(207)를 이용하더라도 무방하다.
이 전처리기(207)는 입력 단자(208)와, 제 1, 제 2 출력 단자(209, 210)를 갖고, 입력 단자(208)와 제 1 출력 단자(209)의 접속 상태와, 입력 단자(208)와 제 2 출력 단자(210)의 접속 상태가 일정한 시간 간격으로서 교체되는 구성으로 되어 있다.
예를 들면, 텍스처 신호가 입력 단자(208)에 입력되면, 입력 단자(208)와 제 1 출력 단자(209)의 접속 상태와, 입력 단자(208)와 제 2 출력 단자(210)의 접속 상태가 스위치(207a)에 의해 소정의 시간 간격으로 교체된다.
여기서는, 시간 t(t는 정수), t+N, t+2N의 간격으로, 입력 단자(208)와 제 2 출력 단자(210)가 접속 상태로 되어, 입력된 텍스처 신호가 제 2 출력 단자에 출력된다. 이 제 2 출력 단자(210)로부터 출력되는 텍스처 신호를 저해상도 텍스처 신호로서, 도 2의 제 1 입력 단자(131)에 공급한다.
또한, 시간 t와 t+N 사이에 있는 텍스처 신호(화상 데이터)는, 제 1 출력 단자(209)에 출력되어, 해당 제 1 출력 단자(209)로부터 출력되는 텍스처 신호를, 고해상도 텍스처 신호로서 도 2의 제 2 입력 단자(101)에 공급한다. 여기서, N은 임의의 정수이지만, 본 실시예에서는 N=3으로 하고 있다.
이 경우, 도 7의 변환기에는 보간기 대신에 움직임 보상기를 이용해, 제 1 프레임 메모리(139)로부터 움직임 보상에 의해 얻어진 예측 신호를 판독하여, 상기 예측 신호(저해상도 텍스처 신호로부터 얻어진 예측 신호)를, 시간 해상도가 고해상도 텍스처 신호에 합치하도록 처리한다. 이 경우, 도시되어 있지 않지만, 그것을 위해 움직임 벡터를 상기 움직임 보상기에 전송해야 한다. 어느쪽이든, 계층 부호화 처리에서는, 임의의 계층의 텍스처 신호를, 다른 계층, 즉, 해상도가 상이한 계층으로부터 얻어지는 예측 신호를 이용하여 차분 부호화하는 경우에는, 해당 예측 신호의 보전 처리를 행하지 않으면 안된다.
이와 같이 본 실시예 1에서는, 도 2에 도시하는 바와 같이, 저해상도 텍스처 신호 Std를 차분 부호화하는 부호화기(1100b)와, 고해상도 텍스처 신호 Sth를 차분 부호화하는 부호화기(1100a)를 갖고, 고해상도 텍스처 신호 Sth를 그 예측 신호를 이용하여 차분 부호화할 때, 상기 부호화기(1100b)에 있어서의 보전기(138)에 의해, 상기 부호화기(1100b)에 의해 재생된 저해상도 텍스처 신호의 유의가 아닌 샘플값을, 그 유의인 샘플값으로부터 얻어진 유사 샘플값으로 치환하는 보전 처리를 행하고, 상기 해당 보전 처리를 실시한 재생 저해상도 텍스처 신호에 근거하여 상기 고해상도 텍스처 신호 Sth에 대한 예측 신호를 생성하도록 하였기 때문에, 보전 처리가 실시된 재생 저해상도 텍스처 신호에 근거하여 고해상도 텍스처 신호 Sth의 예측 신호가 생성되게 된다. 이 때문에, 부호화 처리의 대상으로 되는 블럭(단위 처리 영역)의 고해상도 텍스처 신호와 그 예측 신호의 차분인 차분 신호가 억제되게 되어, 물체의 경계부에 위치하는 블럭에 대응하는 고해상도 텍스처 신호를, 부호화 효율의 열화를 억제하면서 차분 부호화할 수 있다.
또한, 부호화 처리의 대상으로 되는 대상 단위 영역의 고해상도 텍스처 신호 Sth의 부호화 처리에서는, 그 예측 신호로서, 상기 대상 단위 영역의 재생된 저해상도 텍스처 신호에 근거하여 생성되는 신호를 이용하기 때문에, 고해상도 텍스처 신호 Sth의 부호화 처리는 저해상도 텍스처 신호 Std의 부호화 처리에 비해서, 상기 단위 영역을 처리하기 위한 시간 만큼밖에 지연되지 않는다. 이 때문에, 복호화측에서는, 저해상도 텍스처 신호 Std, 고해상도 텍스처 신호 Sth의 부호화에 의해 얻어지는 LT 차분 부호화 신호 Etd, HT 차분 부호화 신호 Eth에 근거하여, 고해상도 화상과 저해상도 화상을 거의 동시에 재생할 수 있다.
또한, 각 단위 영역에 대응하는 재생 저해상도 텍스처 신호의 보전 처리를, 해당 재생 저해상도 텍스처 신호에 있어서의 유의인 화소값에 근거하여 실행하기 때문에, 저해상도 텍스처 신호로부터 얻어지는 고해상도 텍스처 신호의 예측 신호와 고해상도 텍스처 신호의 차분을 효과적으로 억제할 수 있다.
또한, 보전 처리를 실시한 재생 저해상도 텍스처 신호를 프레임 메모리(139)에, 보전 처리를 실시한 재생 고해상도 텍스처 신호를 프레임 메모리(109)에 저장하도록 하였기 때문에, 움직임 검출이나 움직임 보상을 보다 정밀하게 실행할 수 있다.
또한, 상기 실시예 1에서는, 형상 부호화부(1200)를 구성하는 각 부호화기(1200a, 1200b)에서는, 저해상도 재생 형상 신호 LDkd 및 고해상도 재생 형상 신호LDkh를 그대로 예측 신호의 생성에 이용하고 있지만, 저해상도 재생 형상 신호 LDkd 및 고해상도 재생 형상 신호 LDsh에 보전 처리를 실시한 것을 예측 신호의 생성에 이용하더라도 좋다.
(실시예 2)
도 10은 본 발명의 실시예 2에 의한 디지털 화상 복호화 장치(2000)를 설명하기 위한 블럭도이다.
이 디지털 화상 부호화 장치(2000)는, 실시예 1의 디지털 화상 부호화 장치(1000)에 의해 화상 신호에 스케일러빌리티 부호화 처리를 실시하여 얻어지는 화상 부호화 신호를 물체 단위로 복호화 가능하게 구성한 것이고, 상기 화상 부호화 신호를 구성하는 부호화 텍스처 신호에 대한 스케일러빌리티 복호화 처리를 행하는 텍스처 복호화부(2100)와, 상기 화상 부호화 신호를 구성하는 부호화 형상 신호에 대한 스케일러빌리티 부호화 처리를 행하는 형상 복호화부(2200)를 갖고 있다.
상기 텍스처 복호화부(2100)는 고해상도 텍스처 차분 부호화 신호(HT 차분 부호화 신호) Eth에 대하여 차분 복호화 처리를 각 블럭마다 실시하여, 고해상도 텍스처 복호화 신호 Dth를 출력하는 고해상도 텍스처 복호화기(2100a)와, 해당 각 블럭에 대응하는 고해상도 텍스처 복호화 신호 Dth를 통합하여 주사선 구조의 고해상도 텍스처 재생 신호 Rth를 출력하는 역(逆)블럭화기(2120a)와, 저해상도 텍스처 차분 부호화 신호(LT 차분 부호화 신호) Etd에 대하여 차분 복호화 처리를 각 블럭마다 실시하여, 저해상도 텍스처 복호화 신호 Dtd를 출력하는 저해상도 텍스처 복호화기(2100b)와, 해당 각 블럭에 대응하는 저해상도 텍스처 복호화 신호 Dtd를 통합하여 주사선 구조의 고해상도 텍스처 재생 신호 Rtd를 출력하는 역블럭화기(2120b)를 갖고 있다.
또한, 상기 텍스처 복호화부(2100)는 해당 LT 차분 부호화 신호의 차분 복호화 처리에 이용하는 예측 신호를, HT 차분 부호화 신호의 차분 복호화 처리에 이용할 수 있도록 변환하여, 상기 고해상도 텍스처 복호화기(2100a)에 출력하는 텍스처 변환기(2125)를 갖고 있다.
또한, 상기 형상 복호화부(2200)는 고해상도 형상 차분 부호화 신호(HS 차분 부호화 신호) Ekh에 대하여 차분 복호화 처리를 각 블럭마다 실시하여, 고해상도 형상 복호화 신호 Dkh를 출력하는 고해상도 형상 복호화기(2200a)와, 해당 각 블럭에 대응하는 고해상도 형상 복호화 신호 Dkh를 통합하여 주사선 구조의 고해상도 형상재생 신호 Rkh를 출력하는 역블럭화기(2220a)와, 저해상도 형상 차분 부호화 신호(LS 차분 부호화 신호) Ekd에 대하여 차분 복호화 처리를 각 블럭마다 실시하여, 저해상도 형상 복호화 신호 Dkd를 출력하는 저해상도 텍스처 복호화기(2200b)와, 해당 각 블럭에 대응하는 저해상도 텍스처 복호화 신호 Dkd를 통합하여 주사선 구조의 고해상도 텍스처 재생 신호 Rkd를 출력하는 역블럭화기(2220b)를 갖고 있다.
또한, 상기 형상 복호화부(2200)는, 해당 LS 차분 부호화 신호의 차분 복호화 처리에 이용하는 예측 신호를, HS 차분 부호화 신호의 차분 복호화 처리에 이용할 수 있도록 변환하여, 상기 고해상도 형상 복호화기(2200a)에 출력하는 형상 변환기(2225)를 갖고 있다.
다음에, 도 10을 이용하여, 상기 텍스처 복호화부(2100)에 있어서의 각 부호화기(2100a 및 2100b)의 상세한 구성에 대하여 설명한다.
상기 저해상도 텍스처 복호화기(2100b)는, 복호화 처리의 대상으로 되는 대상 영역(대상 블럭)의 LT 부호화 차분 신호를 해석하여 가변 길이 복호화하는 데이터 해석기(922)와, 해당 데이터 해석기(922)의 출력에 대하여 신장 처리를 실시하여 신장 차분 신호를 출력하는 정보 신장기(DEC)(923)와, 해당 신장 차분 신호와, 대상 블럭에 대응하는 예측 신호를 가산하여 저해상도 텍스처 복호화 신호를 출력하는 가산기(924)와, 상기 각 블럭에 대응하는 예측 신호를 생성하는 예측 신호 생성부(2110b)로 구성되어 있다.
여기서, 상기 제 1 정보 신장기(923)는, 도 4b에 도시하는 바와 같이, 상기 데이터 해석기(922)의 출력에 역양자화 처리를 실시하는 역양자화기(308)와, 해당 역양자화기(308)의 출력에 대하여 역주파수 변환 처리의 일종인 IDCT(역이산 코사인 변환) 처리를 실시하는 IDCT 변환기(309)로 구성되어 있다.
상기 예측 신호 생성부(2110b)는 상기 가산기(924)의 출력을 수신하여, 재생된 저해상도 텍스처 신호에 있어서의 유의가 아닌 샘플값(화소값)을, 상기 저해상도 형상 복호화기(1200b)에 의해 복호화된 저해상도 형상 신호 Dkd에 근거하여 보전하는 제 1 보전기(926)와, 해당 보전기(926)의 출력인, 보전된 재생 저해상도 텍스처 신호를 저장하는 제 1 프레임 메모리(927)를 갖고 있으며, 상기 보전기(926)의 출력은 상기 텍스처 변환기(2125)에도 출력되도록 되어 있다.
또한, 상기 예측 신호 생성부(2110b)는 해당 제 1 프레임 메모리(927)의 출력과, 상기 데이터 해석기(922)에 의해 복호화된 대상 블럭에 대응하는 움직임 벡터에 근거하여, 상기 프레임 메모리(927)로부터, 대상 블럭의 재생 저해상도 텍스처 신호와의 오차가 가장 작은 재생 저해상도 텍스처 신호를 가지는 예측 영역을 검출하고, 해당 예측 영역에 대응하는 재생 저해상도 텍스처 신호를 예측 신호로서 판독하여, 상기 제 1 가산기(924)에 출력하는 제 1 움직임 보상기(928)를 갖고 있다.
한편, 상기 고해상도 텍스처 복호화기(2100a)도 상기 저해상도 텍스처 복호화기(2100b)와 거의 마찬가지의 구성으로 되어 있다.
즉, 상기 고해상도 텍스처 복호화기(2100a)는 복호화 처리의 대상으로 되는 대상 영역(대상 블럭)의 HT 부호화 차분 신호를 해석하여 가변 길이 복호화하는 제 2 데이터 해석기(902)와, 해당 데이터 해석기(902)의 출력에 대하여 신장 처리를 실시하여 신장 차분 신호를 출력하는 제 2 정보 신장기(DEC)(903)와, 해당 신장 차분 신호와 대상 블럭에 대응하는 예측 신호를 가산하여 고해상도 텍스처 복호화 신호를 출력하는 제 2 가산기(904)와, 상기 각 블럭에 대응하는 예측 신호를 생성하는 예측 신호 생성부(2110a)로 구성되어 있다.
여기서, 상기 제 2 정보 신장기(903)는, 도 4b에 도시하는 바와 같이, 상기 데이터 해석기(902)의 출력에 역양자화 처리를 실시하는 역양자화기(308)와, 해당 역양자화기(308)의 출력에 대하여 역주파수 변환 처리의 일종인 IDCT(역이산 코사인 변환) 처리를 실시하는 IDCT 변환기(309)로 구성되어 있다.
상기 예측 신호 생성부(2110a)는 상기 제 2 가산기(904)의 출력을 수신하여, 재생된 고해상도 텍스처 신호에 있어서의 유의가 아닌 샘플값(화소값)을, 상기 고해상도 형상 복호화기(1200a)에 의해 복호화된 고해상도 형상 신호 Dkh에 근거하여 보전하는 제 2 보전기(906)와, 해당 보전기(906)의 출력인, 보전된 고해상도 텍스처 복호화 신호를 저장하는 제 2 프레임 메모리(907)를 갖고 있다.
또한, 상기 예측 신호 생성부(2110a)는 해당 제 2 프레임 메모리(907)의 출력과, 상기 데이터 해석기(902)에 의해 복호화된 대상 블럭에 대응하는 움직임 벡터에 근거하여, 상기 프레임 메모리(907)로부터, 대상 블럭의 재생 고해상도 텍스처 신호와의 오차가 가장 작은 재생 고해상도 텍스처 신호를 인가하는 예측 영역을 검출하고, 해당 예측 영역에 대응하는 재생 고해상도 텍스처 신호를 예측 신호로서 판독하는 제 2 움직임 보상기(908)와, 해당 제 2 움직임 보상기(908)의 출력과 상기 텍스처 변환기(2125)의 출력을 움직임 벡터에 근거하여 평균화하여, 상기 제 2 가산기(904)에 출력하는 평균화기(AVE)(918)를 갖고 있다.
다음에, 상기 저해상도 형상 복호화기(2200b) 및 고해상도 형상 복호화기(2200a)의 구체적인 구성에 대하여 설명한다. 단, 이들의 복호화기는 기본적으로 상기 저해상도 텍스처 복호화기(2100b) 및 고해상도 텍스처 복호화기(2100a)의 구성과 동일하기 때문에, 도면을 이용한 상세한 설명은 생략하고, 각 텍스처 복호화기와 각 형상 복호화기의 구성상의 상위점만을 간단히 설명한다.
즉, 상기 저해상도 형상 부호화기(2200b)는 상기 저해상도 텍스처 복호화기(2100b)에 있어서의 보상기(926)를 갖고 있지 않고, 그 가산기(924)의 출력을 제 1 프레임 메모리(927)에 직접 입력하는 구성으로 되어 있는 점에서만, 상기 저해상도 텍스처 복호화기(2100b)와 상이하다. 또한 상기 고해상도 형상 부호화기(2200a)는 상기 고해상도 텍스처 부호화기(2100a)에 있어서의 보상기(906)를 갖고 있지 않고, 그 가산기(904)의 출력을 제 2 프레임 메모리(907)에 직접 입력하는 구성으로 되어있는 점에서만, 상기 고해상도 텍스처 복호화기(2100a)와 상이하다.
다음에 동작에 대하여 설명한다.
본 화상 복호화 장치(2000)에 입력되는 소정의 물체에 대응하는 다중화된 화상 부호화 신호는 본 화상 복호화 장치(2000)의 전단에 의해, HT 차분 부호화 신호 Eth, LT 차분 부호화 신호 Etd, HS 차분 부호화 신호 Ekh, LS 차분 부호화 신호 Ekd, 및 그 밖의 제어 신호로 분리되어, 상기 HT 및 LT 차분 부호화 신호는 텍스처 복호화부(2100)에, 상기 HS 및 LS 차분 부호화 신호는 형상 복호화부(2200)에 입력된다.
그러면, 상기 텍스처 복호화부(2100)에서는 상기 양쪽 텍스처 차분 부호화 신호에 대한 스케일러빌리티 복호화 처리가, 상기 형상 복호화부(2200)에서는 상기 양쪽 형상 신호에 대한 스케일러빌리티 복호화 처리가 행하여진다.
즉, 상기 텍스처 복호화부(2100)에서는, LT 차분 부호화 신호 Etd가 제 1 입력 단자(2101)를 거쳐서 제 1 데이터 해석기(922)에 입력되고, 해당 해석기(922)에 의해 그 데이터 해석이 행해져, 가변 길이 복호화된 LT 부호화 차분 신호가 상기 제 1 정보 신장기(923)에 출력된다. 또한 이 때, 상기 데이터 해석기(922)로부터는, 복호화 처리의 대상으로 되는 대상 블럭의 움직임 벡터가 예측 신호 생성부(2110b)의 제 1 움직임 보상기(928)에 출력된다.
상기 제 1 정보 신장기(923)에서는, 가변 길이 복호화된 LT 부호화 차분 신호에 대하여 신장 처리가 실시되어, 저해상도 텍스처 차분 신호가 저해상도 텍스처신장 차분 신호로서 복원된다.
본 실시예에서는, 도 4b에 도시하는 바와 같이, 상기 가변 길이 복호화된 LT 부호화 차분 신호는 역양자화기(308)에 의해 역양자화 처리가 실시되고, 또한 역이산 코사인 변환(309)에 의해 주파수 영역 신호를 공간 영역 신호로 변환하는 역주파수 변환 처리가 실시된다.
이 때 상기 제 1 움직임 보상기(928)에서는, 움직임 벡터에 근거하여, 제 1 프레임 메모리(927)를 액세스하기 위한 어드레스 Add1이 생성되고, 제 1 프레임 메모리(927)에 참조용 저해상도 텍스처 신호로서 저장되어 있는 재생 저해상도 텍스처 신호로부터, 대상 블럭에 대한 재생 저해상도 텍스처 신호의 예측 신호가 판독된다. 이 판독된 예측 신호와 상기 정보 신장기(923)의 출력이 가산기(924)에 입력되어, 해당 가산기(924)로부터는, 이들의 신호의 가산값으로서 저해상도 텍스처 복호화 신호 Dtd가 제 1 출력 단자(925)에 출력된다.
이 때 상기 재생 저해상도 텍스처 신호 Dtd는, 제 1 보전기(926)에도 입력되어, 이 신호에 대하여, 도 6에서 설명한 바와 같이 물체의 유의인 샘플값을 이용하여 물체의 유의가 아닌 샘플값을 치환하는 보전 처리가 실시된다. 이와 같이 보전한 재생 저해상도 텍스처 신호 Dtd가 제 1 프레임 메모리(927)에 저장된다.
한편, 상기 형상 복호화부(2200)에서는, HT 부호화 차분 신호 Etd가 제 2 입력 단자(2131)를 거쳐서 제 2 데이터 해석기(902)에 입력되고, 해당 해석기(902)에 의해 그 데이터 해석이 행해져, 가변 길이 복호화된 HT 부호화 차분 신호가 상기 제 2 정보 신장기(903)에 출력된다. 또한 이 때, 상기 데이터 해석기(902)로부터는, 복호화 처리의 대상으로 되는 대상 블럭의 움직임 벡터가 예측 신호 생성부(2110a)의 제 2 움직임 보상기(908)에 출력된다.
상기 제 2 정보원 복호화기(903)에서는, 가변 길이 복호화된 HT 부호화 차분 신호에 대하여 신장 처리가 실시되어, 고해상도 텍스처 차분 신호가 고해상도 텍스처 신장 차분 신호로서 복원된다.
본 실시예에서는, 도 4b에 도시하는 바와 같이, 상기 가변 길이 복호화된 LT 부호화 차분 신호는 역양자화기(308)에 의해 역양자화 처리가 실시되고, 또한 역이산 코사인 변환(309)에 의해, 주파수 영역 신호를 공간 영역 신호로 변환하는 역주파수 변환 처리가 실시된다.
이 때 상기 제 2 움직임 보상기(908)에서는, 움직임 벡터에 근거하여, 제 2 프레임 메모리(907)를 액세스하기 위한 어드레스 Add2가 생성되고, 제 2 프레임 메모리(907)에 참조용 고해상도 텍스처 신호로서 저장되어 있는 재생 고해상도 텍스처 신호로부터, 대상 블럭에 대한 예측 신호가 시간 예측 신호로서 판독된다.
또한, 상기 텍스처 변환기(937)에서는, 도 7 및 도 8에서 설명한 것과 동일한 업 샘플 처리가 행하여져, 이와 같이 업 샘플링한 공간 예측 신호가 평균화기(918)에 출력된다. 해당 평균화기(918)에서는, 제 2 움직임 보상기(908)로부터의 시간 예측 신호와 해당 공간 예측 신호를, 상기 데이터 해석기로부터의 모드 신호에 근거하여 가중 평균화하여 재생 고해상도 텍스처 신호의 예측 신호가 생성된다. 가중의 비율은 송수신측에서 미리 결정하더라도 무방하지만, 본 실시예에서는, 가중의 정보가 상기 고해상도 텍스처 압축 부호화 신호와 함께 전송되고, 제 2 데이터 해석기(902)로부터 추출되어 평균화기(918)에 입력되도록 되어 있다.
그리고 상기 평균화기(918)의 출력과, 상기 정보 신장기(903)의 출력인 고해상도 텍스처 신장 차분 신호가 가산기(904)에 입력된다. 그러면, 해당 가산기(904)로부터는 이들의 신호의 가산값으로서, 재생 고해상도 텍스처 신호 Dth가 제 2 출력 단자(905)에 출력된다.
이 때 상기 재생 고해상도 텍스처 신호 Dth는, 제 2 보전기(906)에도 입력되어, 도 6에서 설명한 바와 같이 물체의 유의인 샘플값을 이용하여 물체의 유의가 아닌 샘플값을 치환하는 보전 처리가 실시된다. 이와 같이 보전된 재생 고해상도 텍스처 복호화 신호 Dth가 제 2 프레임 메모리(907)에 저장된다.
이와 같이 본 실시예 2에서는, 도 11에 도시하는 바와 같이, 저해상도 텍스처 부호화 차분 신호 Etd를 차분 복호화하는 복호화기(2100b)와, 고해상도 텍스처 부호화 차분 신호 Eth를 차분 복호화하는 복호화기(2100a)를 갖고, 고해상도 텍스처 부호화 차분 신호 Eth를 그 예측 신호를 이용하여 차분 복호화 부호화할 때, 상기 복호화기(2100b)에 있어서의 보전기(926)에 의해, 상기 복호화기(2100b)에서 재생한 저해상도 텍스처 신호의 유의가 아닌 샘플값을, 그 유의인 샘플값으로부터 얻어진 유사 샘플값으로 치환하는 보전 처리를 행하여, 상기 해당 보전 처리를 실시한 재생 저해상도 텍스처 신호에 근거하여 상기 예측 신호를 생성하도록 하였기 때문에, 보전 처리가 실시된 재생 저해상도 텍스처 신호에 근거하여 재생 고해상도 텍스처 신호 Dth의 예측 신호가 생성되게 된다. 이 때문에, 부호화 처리의 대상으로 되는 블럭(단위 처리 영역)의 재생 고해상도 텍스처 신호와 그 예측 신호의 차분인 차분 신호를 억제한 계층 부호화 처리에 대응한 계층 복호화 처리를 실현할 수 있다.
또한, 복호화 처리의 대상으로 되는 대상 단위 영역에 대응하는 HT 부호화 차분 신호의 복호화 처리에서는, 그 예측 신호로서, 상기 대상 단위 영역에 대응하는 재생 저해상도 텍스처 화상 신호에 근거하여 생성되는 신호를 이용하기 때문에, HT 부호화 차분 신호 Eth의 복호화 처리는 LT 부호화 차분 신호 Etd의 복호화 처리에 비해서, 상기 단위 영역을 처리하기 위한 시간 만큼밖에 지연되지 않는다. 이 때문에, 화상 신호의 계층 부호화 처리에 의해 얻어지는 HT, LT 부호화 차분 신호에 근거하여, 고해상도 화상과 저해상도 화상을 거의 동시에 재생할 수 있다.
또한, 각 단위 영역(블럭)에 대응하는 재생 저해상도 텍스처 신호의 보전 처리를, 해당 재생 저해상도 텍스처 신호에 있어서의 유의인 화소값에 근거하여 실행하기 때문에, 저해상도 텍스처 신호로부터 얻어지는 고해상도 텍스처 신호의 예측 신호와 고해상도 텍스처 신호의 차분을 효과적으로 억제하면서 부호화하여 얻어지는 부호화 차분 신호를 정확하게 복호화할 수 있다.
또한, 보전 처리를 실시한 재생 저해상도 텍스처 신호를 프레임 메모리(927)에, 보전 처리를 실시한 재생 고해상도 텍스처 신호를 프레임 메모리(907)에 저장하도록 하였기 때문에, 계층 복호화 처리에 있어서의 움직임 보상을 보다 정밀하게 실행할 수 있다.
또한, 상기 실시예 2에서는, 공간 예측 신호는 보전기(926)로부터 전송되는 것으로 도시하였지만, 이 공간 예측 신호는 제 1 프레임 메모리(927)로부터 평균화기에 공급하도록 하더라도 무방하다.
또한, 저해상도 텍스처 압축 부호화 신호와 고해상도 텍스처 압축 부호화 신호가 동일한 사이즈의 화상 공간에 대응하고, 또한 시간적으로 어긋난 화상 정보를 갖고 있는 경우(도 3b), 변환기(937)에는 보간기 대신에 움직임 보상기를 이용하여, 제 1 프레임 메모리(927)로부터 움직임 보상에 의해 얻어진 예측 신호를 판독하여, 이 예측 신호를 시간 해상도가 고해상도 텍스처 신호와 합치하도록 처리한다. 이 경우, 도시되어 있지 않지만, 그것을 위해 움직임 벡터를 상기 움직임 보상기에 전송해야 한다. 어떤쪽이든, 계층 복호화 처리에서는, 임의의 계층의 텍스처 부호화 차분 신호를, 별도의 계층, 즉, 해상도가 상이한 계층으로부터 얻어지는 예측 신호를 이용하여 차분 복호화하는 경우에는, 해당 예측 신호의 보전 처리를 행하지 않으면 안된다.
또한, 상기 실시예 2에서는, 형상 복호화부(2200)를 구성하는 각 부호화기(2200a, 2200b)에서는, 저해상도 재생 형상 신호 Dkd 및 고해상도 재생 형상 신호 Dkh를 그대로 예측 신호의 생성에 이용하고 있지만, 저해상도 재생 형상 신호 Dkd 및 고해상도 재생 형상 신호 Dkh에 보전 처리를 실시한 것을 예측 신호의 생성에 이용하도록 하더라도 무방하다.
또한, 상기 실시예 2에서는, 계층 부호화 처리 및 계층 복호화 처리로서, 계층이 2개인 것에 대하여 설명하였지만, 계층이 3가지 이상인 계층 부호화, 복호화 처리에 대해서도, 하위 계층(해상도가 낮은 계층)의 화상 신호로부터 상위 계층(해상도가 높은 계층)의 화상 신호를 예측할 때에는, 동일한 하위 계층의 화상 신호를 보전하도록 해도 무방하다.
또한, 상기 각 실시예에서 도시한 부호화 처리 혹은 복호화 처리의 구성을 실현하기 위한 부호화 혹은 복호화 프로그램을, 플로피 디스크 등의 데이터 기억 매체에 기록하도록 함으로써, 상기 각 실시예에서 도시한 처리를, 독립된 컴퓨터 시스템에 있어서 간단히 실시하는 것이 가능해진다.
도 12는 상기 실시예의 부호화 혹은 복호화 처리를, 상기 부호화 혹은 복호화 프로그램을 저장한 플로피 디스크를 이용하여, 컴퓨터 시스템에 의해 실시하는 경우를 설명하기 위한 도면이다.
도 12b는 플로피 디스크의 정면에서 본 외관, 단면 구조, 및 플로피 디스크를 도시하고, 도 12a는 기록 매체 본체인 플로피 디스크의 물리 포맷의 예를 도시한다. 플로피 디스크 FD는 케이스 F내에 내장되고, 해당 디스크의 표면에는, 외주로부터 내주를 향하는 동심원 형상의 복수개의 트랙 Tr이 형성되며, 각 트랙은 각도 방향에 16 섹터 Se로 분할되어 있다. 따라서, 상기 프로그램을 저장한 플로피 디스크에서는 상기 플로피 디스크 FD 상에 할당된 영역에, 상기 프로그램으로서의 데이터가 기록되어 있다.
또한, 도 12c는 플로피 디스크 FD에 상기 프로그램의 기록 재생을 행하기 위한 구성을 나타낸다. 상기 프로그램을 플로피 디스크 FD에 기록하는 경우에는, 컴퓨터 시스템 Cs로부터 상기 프로그램으로서의 데이터를 플로피 디스크 드라이브를 거쳐서 기입한다. 또한, 플로피 디스크내의 프로그램에 의해 상기 부호화 혹은 복호화 장치를 컴퓨터 시스템중에 구축하는 경우에는, 플로피 디스크 드라이브에 의해 프로그램을 플로피 디스크로부터 판독하여, 컴퓨터 시스템에 전송한다.
또한, 상기 설명에서는, 데이터 기록 매체로서 플로피 디스크를 이용하여 설명하였지만, 광디스크를 이용하더라도 마찬가지로 실행할 수 있다. 또한, 기록 매체는 이에 한정되지 않고, IC 카드, ROM 카셋트 등 프로그램을 기록할 수 있는 것이라면 마찬가지로 실시할 수 있다.
이상과 같은 본 발명에 따른 디지털 화상 부호화 방법 및 디지털 화상 부호화 장치, 디지털 화상 복호화 방법 및 디지털 화상 복호화 장치, 및 데이터 기억 매체는, 화상 신호의 압축 처리에 있어서의 부호화 효율의 향상을 도모할 수 있어, 화상 신호의 전송이나 기억을 행하는 시스템에 있어서의 화상 부호화 처리나 화상 복호화 처리를 실현하기에 지극히 유용하고, 특히 MPEG4 등의 규격에 준거한 동화상의 압축, 신장 처리에 적합하다.

Claims (16)

  1. 임의의 형상을 갖는 화상을 포함하는 복수개의 화소로 이루어지는 화상 공간을 형성하기 위한, 해상도가 상이한 제 1 및 제 2 입력 화상 신호를 부호화하는 디지털 화상 부호화 방법에 있어서,
    상기 제 1 입력 화상 신호를 압축해 부호화하여 제 1 부호화 화상 신호를 생성하고, 또한 상기 압축된 제 1 입력 화상 신호를 신장하여 제 1 재생 화상 신호를 생성하는 부호화 처리를, 상기 화상 공간을 구분하는 단위 영역마다 실행하고,
    상기 각 단위 영역에 대응하는 제 1 재생 화상 신호에 대하여, 그 유의가 아닌 화소값을 소정의 방법에 의해 얻어진 유사 화소값으로 치환하는 보전 처리를 실시하고, 상기 보전 처리가 실시된 제 1 재생 화상 신호에 근거하여, 상기 각 단위 영역에 대응하는 제 2 입력 화상 신호를 예측하여 예측 신호를 생성하며,
    상기 각 단위 영역에 대응하는 제 2 입력 화상 신호와 그 예측 신호의 차분인 차분 신호를 압축해 부호화하여 부호화 차분 신호를 생성하고, 또한 상기 압축된 차분 신호를 신장하여, 상기 신장된 차분 신호에 상기 예측 신호를 가산하여 제 2 재생 화상 신호를 생성하는 차분 부호화 처리를, 상기 단위 영역마다 실행하는 것을 특징으로 하는 디지털 화상 부호화 방법.
  2. 제 1 항에 있어서,
    상기 각 단위 영역에 대응하는 제 1 재생 화상 신호에 대한 보전 처리는, 상기 제 1 재생 화상 신호에 있어서의 유의가 아닌 화소값을, 상기 제 1 재생 화상 신호에 있어서의 유의인 화소값에 근거하여 얻어진 유사 화소값으로 치환하는 것을 특징으로 하는 디지털 화상 부호화 방법.
  3. 임의의 형상을 갖는 화상을 포함하는 복수개의 화소로 이루어지는 화상 공간을 형성하기 위한 제 1 입력 화상 신호를 부호화하는 제 1 부호화 처리부와,
    상기 화상을 포함하는 복수개의 화소로 이루어지는 화상 공간을 형성하기 위한, 해상도가 제 1 입력 화상 신호와는 상이한 제 2 입력 화상 신호를 부호화하는 제 2 부호화 처리부를 포함하고,
    상기 제 1 부호화 처리부는,
    상기 제 1 입력 화상 신호를 압축해 부호화하여 제 1 부호화 화상 신호를 생성하고, 또한 상기 압축된 제 1 입력 화상 신호를 신장하여 제 1 재생 화상 신호를 생성하는 부호화 처리를, 상기 화상 공간을 구분하는 단위 영역마다 실행하는 제 1 부호화 수단과,
    상기 각 단위 영역에 대응하는 제 1 재생 화상 신호에 대하여, 그 유의가 아닌 화소값을 소정의 방법에 의해 얻어진 유사 화소값으로 치환하는 보전 처리를 실시하는 보전 수단을 가지며,
    상기 제 2 부호화 처리부는,
    상기 보전 처리가 실시된 제 1 재생 화상 신호에 근거하여, 상기 각 단위 영역에 대응하는 제 2 입력 화상 신호를 예측해 예측 신호를 생성하는 예측 신호 생성 수단과,
    상기 각 단위 영역에 대응하는 제 2 입력 화상 신호와 그 예측 신호의 차분 신호를 압축해 부호화하여 부호화 차분 신호를 생성하고, 또한 상기 압축된 차분 신호를 신장하여, 상기 신장된 차분 신호에 상기 예측 신호를 가산하여 제 2 재생 화상 신호를 생성하는 차분 부호화 처리를, 상기 단위 영역마다 실행하는 제 2 부호화 수단을 갖는 것을 특징으로 하는 디지털 화상 부호화 장치.
  4. 제 3 항에 있어서,
    상기 보전 처리가 실시된 제 1 재생 화상 신호를, 그 해상도가 상기 제 2 입력 화상 신호의 해상도와 일치하도록 변환하여 해상도 변환 신호를 출력하는 해상도 변환 수단을 포함하고,
    상기 예측 신호 생성 수단은,
    상기 제 2 재생 화상 신호에 근거해 각 단위 영역에 대응하는 제 2 입력 화상 신호를 예측하여 보조 예측 신호를 생성하는 예측 수단과,
    상기 보조 예측 신호와 상기 해상도 변환 신호를, 상기 제 2 입력 화상 신호에 포함되는 제어 정보에 근거하여 전환하는 스위치 수단을 가지며,
    상기 스위치 수단의 출력을 상기 각 단위 영역에 대응하는 제 2 입력 화상 신호의 예측 신호로서 출력하는 구성으로 되어 있는 것을 특징으로 하는 디지털 화상 부호화 장치.
  5. 제 3 항에 있어서,
    상기 보전 처리가 실시된 제 1 재생 화상 신호를, 그 해상도가 상기 제 2 입력 화상 신호의 해상도와 일치하도록 변환하여 해상도 변환 신호를 출력하는 해상도 변환 수단을 포함하고,
    상기 예측 신호 생성 수단은,
    상기 제 2 재생 화상 신호에 근거해 각 단위 영역에 대응하는 제 2 입력 화상 신호를 예측하여 보조 예측 신호를 생성하는 예측 수단과,
    상기 보조 예측 신호와 상기 해상도 변환 신호를 가중하여 평균화하는 평균화 수단을 가지며,
    상기 평균화 수단의 출력을 상기 각 단위 영역에 대응하는 제 2 입력 화상 신호의 예측 신호로서 출력하는 구성으로 되어 있는 것을 특징으로 하는 디지털 화상 부호화 장치.
  6. 제 5 항에 있어서,
    상기 보전 수단은, 상기 제 1 재생 화상 신호에 있어서의 유의가 아닌 화소값을, 상기 제 1 재생 화상 신호에 있어서의 유의인 화소값에 근거하여 얻어진 유사 화소값으로 치환하는 보전 처리를 행하는 것을 특징으로 하는 디지털 화상 부호화 장치.
  7. 제 3 항에 있어서,
    상기 제 1 부호화 수단은,
    상기 각 단위 영역에 대응하는 제 1 입력 화상 신호와 그 예측 신호의 차분을 구하여 차분 신호를 출력하는 연산기와,
    상기 차분 신호를 압축하는 압축기와,
    상기 압축된 차분 신호를 부호화하는 부호화기와,
    상기 압축된 차분 신호를 신장하는 신장기와,
    상기 신장기의 출력과 상기 제 1 입력 화상 신호의 예측 신호를 가산하여 제 1 재생 화상 신호를 상기 보전 수단에 출력하는 가산기와,
    상기 보전 수단의 출력을 기억하는 프레임 메모리와,
    상기 프레임 메모리에 기억되어 있는 보전 처리가 실시된 제 1 재생 화상 신호에 근거하여, 상기 각 단위 영역에 대응하는 상기 제 1 입력 화상 신호의 예측 신호를 생성하는 예측 신호 생성기를 갖는 것을 특징으로 하는 디지털 화상 부호화 장치.
  8. 임의의 형상을 갖는 화상을 포함하는 복수개의 화소로 이루어지는 화상 공간을 형성하기 위한, 해상도가 상이한 제 1, 제 2 화상 신호에, 부호화 처리를 실시하여 얻어지는 제 1, 제 2 부호화 화상 신호를 복호화하여 제 1, 제 2 재생 화상 신호를 생성하는 디지털 화상 복호화 방법에 있어서,
    상기 제 1 부호화 화상 신호로부터 제 1 재생 화상 신호를 생성하는 복호화 처리를, 상기 화상 공간을 구분하는 단위 영역마다 실행하고,
    상기 각 단위 영역에 대응하는 제 1 재생 화상 신호에 대하여, 그 유의가 아닌 화소값을 소정의 방법에 의해 얻어진 유사 화소값으로 치환하는 보전 처리를 실시하고, 상기 보전 처리가 실시된 제 1 재생 화상 신호로부터, 상기 각 단위 영역에 대응하는 제 2 재생 화상 신호를 예측하여 재생 예측 신호를 생성하며,
    상기 각 단위 영역에 대응하는 제 2 부호화 화상 신호를 복호화하여, 제 2 화상 신호와 그 예측 신호의 차분 신호를 재생하고, 상기 차분 신호에 상기 재생 예측 신호를 가산하여 제 2 재생 화상 신호를 생성하는 차분 복호화 처리를, 상기 단위 영역마다 실행하는 것을 특징으로 하는 디지털 화상 복호화 방법.
  9. 제 8 항에 있어서,
    상기 각 단위 영역에 대응하는 제 1 재생 화상 신호에 대한 보전 처리는, 상기 제 1 재생 화상 신호에 있어서의 유의가 아닌 화소값을, 상기 제 1 재생 화상 신호에 있어서의 유의인 화소값에 근거하여 얻어진 유사 화소값으로 치환하는 것을 특징으로 하는 디지털 화상 복호화 방법.
  10. 임의의 형상을 갖는 화상을 포함하는 복수개의 화소로 이루어지는 화상 공간을 형성하기 위한 제 1 화상 신호에, 부호화 처리를 실시하여 얻어지는 제 1 부호화 화상 신호를 복호화하여 제 1 재생 화상 신호를 생성하는 제 1 복호화 처리부와,
    상기 화상을 포함하는 복수개의 화소로 이루어지는 화상 공간을 형성하기 위한, 해상도가 상기 제 1 화상 신호와는 상이한 제 2 화상 신호에, 부호화 처리를 실시하여 얻어지는 제 2 부호화 화상 신호를 복호화하여 제 2 재생 화상 신호를 생성하는 제 2 복호화 처리부를 포함하고,
    상기 제 1 복호화 처리부는,
    상기 제 1 부호화 화상 신호로부터 제 1 재생 화상 신호를 생성하는 복호화 처리를, 상기 화상 공간을 구분하는 단위 영역마다 실행하는 제 1 복호화 수단과,
    상기 각 단위 영역에 대응하는 제 1 재생 화상 신호에 대하여, 그 유의가 아닌 화소값을 소정의 방법에 의해 얻어진 유사 화소값으로 치환하는 보전 처리를 실시하는 보전 수단을 가지며,
    상기 제 2 복호화 처리부는,
    상기 보전 처리가 실시된 제 1 재생 화상 신호로부터, 상기 각 단위 영역에 대응하는 제 2 재생 화상 신호를 예측하여 재생 예측 신호를 생성하는 예측 신호 생성 수단과,
    상기 각 단위 영역에 대응하는 제 2 부호화 화상 신호를 복호화하여, 상기 제 2 화상 신호와 그 예측 신호의 차분 신호를 재생하고, 상기 차분 신호에 상기 재생 예측 신호를 가산하여 제 2 재생 화상 신호를 생성하는 차분 복호화 처리를, 상기 단위 영역마다 실행하는 제 2 복호화 수단을 갖는 것을 특징으로 하는 디지털 화상 복호화 장치.
  11. 제 10 항에 있어서,
    상기 보전 처리가 실시된 제 1 재생 화상 신호를, 그 해상도가 상기 제 2 재생 화상 신호의 해상도와 일치하도록 변환하여 해상도 변환 신호를 출력하는 해상도 변환 수단을 포함하고,
    상기 예측 신호 생성 수단은,
    상기 제 2 재생 화상 신호에 근거해 각 단위 영역에 대응하는 제 2 재생 화상 신호를 예측하여 보조 예측 신호를 생성하는 예측 수단과,
    상기 보조 예측 신호와 상기 해상도 변환 신호를, 상기 제 2 부호화 화상 신호에 포함되는 제어 정보에 근거하여 전환하는 스위치 수단을 가지며,
    상기 스위치 수단의 출력을 상기 각 단위 영역에 대응하는 제 2 재생 화상 신호의 예측 신호로서 출력하는 구성으로 되어 있는 것을 특징으로 하는 디지털 화상 복호화 장치.
  12. 제 10 항에 있어서,
    상기 보전 처리가 실시된 제 1 재생 화상 신호를, 그 해상도가 상기 제 2 재생 화상 신호의 해상도와 일치하도록 변환하여 해상도 변환 신호를 출력하는 해상도 변환 수단을 포함하고,
    상기 예측 신호 생성 수단은,
    상기 제 2 재생 화상 신호에 근거하여 각 단위 영역에 대응하는 제 2 재생 화상 신호를 예측하여 보조 예측 신호를 생성하는 예측 수단과,
    상기 보조 예측 신호와 상기 해상도 변환 신호를 가중하여 평균화하는 평균화 수단을 가지며,
    상기 평균화 수단의 출력을 상기 각 단위 영역에 대응하는 제 2 재생 화상 신호의 재생 예측 신호로서 출력하는 구성으로 되어 있는 것을 특징으로 하는 디지털 화상 복호화 장치.
  13. 제 12 항에 있어서,
    상기 보전 수단은, 상기 제 1 재생 화상 신호에 있어서의 유의가 아닌 화소값을, 상기 제 1 재생 화상 신호에 있어서의 유의인 화소값에 근거하여 얻어진 유사 화소값으로 치환하는 보전 처리를 행하는 것을 특징으로 하는 디지털 화상 복호화 장치.
  14. 제 10 항에 있어서,
    상기 제 1 부호화 화상 신호는, 각 단위 영역에 대응하는 제 1 화상 신호와 그 예측 신호의 차분인 차분 신호를 압축해 부호화하여 이루어지는 차분 부호화 신호이고,
    상기 제 1 복호화 수단은,
    상기 차분 부호화 신호를 복호화하는 복호화기와,
    상기 복호화기의 출력을 신장하여 재생 차분 신호를 생성하는 신장기와,
    상기 신장기의 출력인 재생 차분 신호와 상기 제 1 재생 화상 신호의 재생 예측 신호를 가산하여 제 1 재생 화상 신호를 상기 보전 수단에 출력하는 가산기와,
    상기 보전 수단의 출력을 기억하는 프레임 메모리와,
    상기 프레임 메모리에 기억되어 있는 보전 처리가 실시된 제 1 재생 화상 신호에 근거하여, 각 단위 영역에 대응하는 상기 제 1 재생 화상 신호의 재생 예측 신호를 생성하는 예측 신호 생성기를 갖는 것을 특징으로 하는 디지털 화상 복호화 장치.
  15. 컴퓨터에 의해, 임의의 형상을 갖는 화상을 포함하는 복수개의 화소로 이루어지는 화상 공간을 형성하기 위한, 해상도가 상이한 제 1 및 제 2 입력 화상 신호를 부호화하는 처리를 행하도록 하기 위한 프로그램을 저장한 데이터 기억 매체에 있어서,
    상기 프로그램은, 컴퓨터에,
    상기 제 1 입력 화상 신호를 압축해 부호화하여 제 1 부호화 화상 신호를 생성하고, 또한 상기 압축된 제 1 입력 화상 신호를 신장하여 제 1 재생 화상 신호를 생성하는 부호화 처리를, 상기 화상 공간을 구분하는 단위 영역마다 실행하는 처리와,
    상기 각 단위 영역에 대응하는 제 1 재생 화상 신호에 대하여, 그 유의가 아닌 화소값을 소정의 방법에 의해 얻어진 유사 화소값으로 치환하는 보전 처리를 실시하고, 상기 보전 처리가 실시된 제 1 재생 화상 신호에 근거하여, 상기 각 단위 영역에 대응하는 제 2 입력 화상 신호를 예측하여 예측 신호를 생성하는 처리와,
    상기 각 단위 영역에 대응하는 제 2 입력 화상 신호와 그 예측 신호의 차분인 차분 신호를 압축해 부호화하여 부호화 차분 신호를 생성하고, 또한 상기 압축된 차분 신호를 신장하여, 상기 신장된 차분 신호에 상기 예측 신호를 가산하여 제 2 재생 화상 신호를 생성하는 차분 압축 부호화를, 상기 단위 영역마다 실행하는 처리
    를 실행시키는 것을 특징으로 하는 데이터 기억 매체.
  16. 컴퓨터에, 임의의 형상을 갖는 화상을 포함하는 복수개의 화소로 이루어지는 화상 공간을 재생하기 위한, 해상도가 상이한 제 1, 제 2 화상 신호에, 부호화 처리를 실시하여 얻어지는 제 1, 제 2 부호화 화상 신호를 복호화하여 제 1, 제 2 재생 화상 신호를 생성하는 처리를 행하도록 하기 위한 프로그램을 저장한 데이터 기억 매체에 있어서,
    상기 프로그램은, 컴퓨터에,
    상기 제 1 부호화 화상 신호로부터 제 1 재생 화상 신호를 생성하는 복호화 처리를, 상기 화상 공간을 구분하는 단위 영역마다 실행하는 처리와,
    상기 각 단위 영역에 대응하는 제 1 재생 화상 신호에 대하여, 그 유의가 아닌 화소값을 소정의 방법에 의해 얻어진 유사 화소값으로 치환하는 보전 처리를 실시하여, 상기 보전 처리가 실시된 제 1 재생 화상 신호로부터, 상기 각 단위 영역에 대응하는 제 2 재생 화상 신호를 예측하여 재생 예측 신호를 생성하는 처리와,
    상기 각 단위 영역에 대응하는 제 2 부호화 화상 신호를 복호화하여, 제 2 화상 신호와 그 예측 신호의 차분 신호를 재생하고, 상기 차분 신호에 상기 재생 예측 신호를 가산하여 제 2 재생 화상 신호를 생성하는 차분 복호화 처리를, 상기 단위 영역마다 실행하는 처리
    를 실행시키는 것을 특징으로 하는 데이터 기억 매체.
KR1019980705338A 1996-11-12 1997-11-12 디지털화상부호화방법및디지털화상부호화장치,디지털화상복호화방법및디지털화상복호화장치 KR100306337B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP30000696 1996-11-12
JP96-300006 1996-11-12
PCT/JP1997/004107 WO1998021896A1 (en) 1996-11-12 1997-11-12 Digital image coding method and digital image coder, and digital image decoding method and digital image decoder, and data storage medium

Publications (2)

Publication Number Publication Date
KR19990077197A true KR19990077197A (ko) 1999-10-25
KR100306337B1 KR100306337B1 (ko) 2001-11-02

Family

ID=17879600

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019980705338A KR100306337B1 (ko) 1996-11-12 1997-11-12 디지털화상부호화방법및디지털화상부호화장치,디지털화상복호화방법및디지털화상복호화장치

Country Status (7)

Country Link
US (3) US6154570A (ko)
EP (1) EP0876061A4 (ko)
JP (1) JP3144806B2 (ko)
KR (1) KR100306337B1 (ko)
CN (2) CN1167274C (ko)
TW (1) TW358296B (ko)
WO (1) WO1998021896A1 (ko)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW358296B (en) * 1996-11-12 1999-05-11 Matsushita Electric Ind Co Ltd Digital picture encoding method and digital picture encoding apparatus, digital picture decoding method and digital picture decoding apparatus, and data storage medium
JP3191922B2 (ja) 1997-07-10 2001-07-23 松下電器産業株式会社 画像復号化方法
JP2001520781A (ja) * 1998-02-06 2001-10-30 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 動き又はデプス推定
US6480538B1 (en) * 1998-07-08 2002-11-12 Koninklijke Philips Electronics N.V. Low bandwidth encoding scheme for video transmission
TW376663B (en) * 1999-01-21 1999-12-11 Winbond Electronics Corp Encoding method for source encoder
CN101106707B (zh) * 1999-08-09 2010-11-03 索尼公司 发送设备及方法
JP4697500B2 (ja) * 1999-08-09 2011-06-08 ソニー株式会社 送信装置および送信方法、受信装置および受信方法、並びに記録媒体
US6542545B1 (en) * 1999-10-01 2003-04-01 Mitsubishi Electric Reseach Laboratories, Inc. Estimating rate-distortion characteristics of binary shape data
US6718066B1 (en) * 2000-08-14 2004-04-06 The Hong Kong University Of Science And Technology Method and apparatus for coding an image object of arbitrary shape
FR2813484A1 (fr) * 2000-08-31 2002-03-01 Koninkl Philips Electronics Nv Traitement de donnees en une serie temporelle d'etapes
US6621865B1 (en) * 2000-09-18 2003-09-16 Powerlayer Microsystems, Inc. Method and system for encoding and decoding moving and still pictures
JP3636983B2 (ja) * 2000-10-23 2005-04-06 日本放送協会 符号化装置
WO2003036980A1 (en) * 2001-10-26 2003-05-01 Koninklijke Philips Electronics N.V. Spatial scalable compression scheme using spatial sharpness enhancement techniques
US6842177B2 (en) * 2001-12-14 2005-01-11 University Of Washington Macroblock padding
KR100927760B1 (ko) * 2002-01-11 2009-11-20 소니 가부시끼 가이샤 메모리 셀 회로, 메모리 장치, 움직임 벡터 검출 장치 및움직임 보상 예측 부호화 장치
JP3504256B1 (ja) * 2002-12-10 2004-03-08 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化方法、動画像復号方法、動画像符号化装置、及び動画像復号装置
KR20050078709A (ko) * 2004-01-31 2005-08-08 삼성전자주식회사 스케일러블 비디오 코딩방법 및 디코딩방법과 이를 위한장치
KR100631777B1 (ko) 2004-03-31 2006-10-12 삼성전자주식회사 다 계층의 모션 벡터를 효율적으로 압축하는 방법 및 장치
JP2005333393A (ja) * 2004-05-19 2005-12-02 Sharp Corp 画像圧縮装置，画像出力装置，画像伸張装置，印刷装置，画像処理装置，複写機，画像圧縮方法，画像伸張方法，画像処理プログラムおよび画像処理プログラムを記録した記録媒体
DE102005016827A1 (de) * 2005-04-12 2006-10-19 Siemens Ag Adaptive Interpolation bei der Bild- oder Videokodierung
WO2006112996A1 (en) * 2005-04-13 2006-10-26 Thomson Licensing Luma and chroma decoding using a common predictor
JP2008536451A (ja) * 2005-04-14 2008-09-04 トムソン ライセンシング 空間スケーラブルビデオ符号化及び復号化向けスライス適応型動きベクトル符号化のための方法及び装置
JP4687216B2 (ja) * 2005-04-18 2011-05-25 ソニー株式会社 画像信号処理装置、カメラシステム、および画像信号処理方法
JP2007043651A (ja) 2005-07-05 2007-02-15 Ntt Docomo Inc 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法及び動画像復号プログラム
KR100779173B1 (ko) * 2005-07-20 2007-11-26 한국전자통신연구원 폴리페이즈 다운 샘플링기반 리던던트 슬라이스 코딩 방법및 그 방법을 이용하는 코덱
FR2894424A1 (fr) * 2005-12-05 2007-06-08 Thomson Licensing Sas Procede de prediction de donnees mouvement et de texture
JP2007234204A (ja) * 2006-01-31 2007-09-13 Toshiba Corp 情報記憶媒体、情報記録方法および情報記録装置
JP2007243838A (ja) * 2006-03-10 2007-09-20 Toshiba Corp 情報転送装置、情報受信装置およびコンピュータプログラム
US20070242746A1 (en) * 2006-04-12 2007-10-18 Takehiro Kishimoto Video signal processing device
KR100939917B1 (ko) 2008-03-07 2010-02-03 에스케이 텔레콤주식회사 움직임 예측을 통한 부호화 시스템 및 움직임 예측을 통한부호화 방법
US8295364B2 (en) * 2009-04-02 2012-10-23 Sony Corporation System and method of video data encoding with minimum baseband data transmission
JP5474887B2 (ja) * 2011-08-01 2014-04-16 株式会社ソニー・コンピュータエンタテインメント 動画データ生成装置、動画像表示装置、動画データ生成方法、動画像表示方法、および動画像ファイルのデータ構造
KR101711161B1 (ko) * 2012-09-25 2017-03-13 한국전자통신연구원 웹 기반 멀티네트워크 적응형 멀티스크린 서비스 방법 및 그 장치
US10237559B2 (en) 2014-11-20 2019-03-19 Getgo, Inc. Layer-based video decoding
US9813721B2 (en) 2014-11-20 2017-11-07 Getgo, Inc. Layer-based video encoding
CN106296578B (zh) * 2015-05-29 2020-04-28 阿里巴巴集团控股有限公司 一种图像处理方法及装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2901656B2 (ja) * 1989-09-01 1999-06-07 株式会社日立製作所 画像符号化装置
JP2743208B2 (ja) * 1990-03-19 1998-04-22 富士通株式会社 画像補完符号化装置
NL9201594A (nl) * 1992-09-14 1994-04-05 Nederland Ptt Systeem omvattende ten minste één encoder voor het coderen van een digitaal signaal en ten minste één decoder voor het decoderen van een gecodeerd digitaal signaal, en encoder en decoder voor toepassing in het systeem.
NL9201640A (nl) * 1992-09-22 1994-04-18 Nederland Ptt Systeem omvattende ten minste één encoder voor het coderen van een digitaal signaal en ten minste één decoder voor het decoderen van een digitaal signaal, en encoder en decoder voor toepassing in het systeem volgens de uitvinding.
JP2979900B2 (ja) * 1993-05-26 1999-11-15 日本ビクター株式会社 記録媒体
US5608458A (en) * 1994-10-13 1997-03-04 Lucent Technologies Inc. Method and apparatus for a region-based approach to coding a sequence of video images
EP0719049B1 (en) * 1994-12-20 2003-05-28 Matsushita Electric Industries Co., Ltd. Method and apparatus for image coding
JP3169783B2 (ja) * 1995-02-15 2001-05-28 日本電気株式会社 動画像の符号化・復号システム
JP3788823B2 (ja) * 1995-10-27 2006-06-21 株式会社東芝 動画像符号化装置および動画像復号化装置
TW358296B (en) * 1996-11-12 1999-05-11 Matsushita Electric Ind Co Ltd Digital picture encoding method and digital picture encoding apparatus, digital picture decoding method and digital picture decoding apparatus, and data storage medium

Also Published As

Publication number Publication date
CN1112810C (zh) 2003-06-25
US6571017B1 (en) 2003-05-27
CN1167274C (zh) 2004-09-15
KR100306337B1 (ko) 2001-11-02
US6154570A (en) 2000-11-28
WO1998021896A1 (en) 1998-05-22
TW358296B (en) 1999-05-11
CN1390061A (zh) 2003-01-08
US6766061B2 (en) 2004-07-20
EP0876061A1 (en) 1998-11-04
EP0876061A4 (en) 2005-11-30
CN1211373A (zh) 1999-03-17
JP3144806B2 (ja) 2001-03-12
US20030059122A1 (en) 2003-03-27

Similar Documents

Publication Publication Date Title
KR100306337B1 (ko) 디지털화상부호화방법및디지털화상부호화장치,디지털화상복호화방법및디지털화상복호화장치
KR101359490B1 (ko) 컬러 영상 부호화/복호화 방법 및 장치
US6233279B1 (en) Image processing method, image processing apparatus, and data storage media
KR100289587B1 (ko) 화상 신호 부호화 방법 및 화상 신호 부호화 장치, 화상 신호 복호화 방법 및 화상 신호 복호화장치,및 화상 신호 기록매체
KR100631777B1 (ko) 다 계층의 모션 벡터를 효율적으로 압축하는 방법 및 장치
KR101365597B1 (ko) 영상 부호화장치 및 방법과 그 영상 복호화장치 및 방법
KR100257614B1 (ko) 화상 신호의 보전 방법, 화상 신호 부호화 장치, 및 화상 신호복호화 장치
KR20060105408A (ko) 영상 신호의 스케일러블 인코딩 및 디코딩 방법
KR950000830B1 (ko) 디지탈 비디오 신호의 부호화 방법 및 이를 이용한 고능률 부호화장치
KR100711597B1 (ko) 감소된 해상도의 비디오 신호를 유도하기 위한 디코딩 장치 및 방법
WO1997028650A1 (en) Method for supplementing digital image with picture element, and digital image encoder and decoder using the same
KR100883604B1 (ko) 스케일러블 비디오 신호 인코딩 및 디코딩 방법
JPH08294119A (ja) 画像符号化／復号化装置
JPH08294125A (ja) 動画像符号化装置および動画像復号化装置
JP2000036963A (ja) 画像符号化装置、画像符号化方法および画像復号化装置
JP2001160971A (ja) デジタル画像符号化方法及びデジタル画像符号化装置，デジタル画像復号化方法及びデジタル画像復号化装置，並びにデータ記憶媒体
KR100468384B1 (ko) 운동객체기반에서의 움직임 예측 웨이브렛 동영상 압축 및복원장치
JPH0591498A (ja) 帯域分割動画像符号化装置
JPH11346368A (ja) 画像処理方法，画像処理装置，及びデ―タ記憶媒体
KR100897640B1 (ko) 동화상 부호화 장치 및 동화상 복호 장치와, 그 방법 및 프로그램이 기록된 컴퓨터 판독가능한 기록 매체
KR100804338B1 (ko) 동화상 재생 방법 및 장치와 프로그램을 기록한 컴퓨터 판독가능 기록 매체
JP3914214B2 (ja) 画像符号化装置および画像復号化装置
JP3087864B2 (ja) Ｈｄｔｖ信号用サブバンド符号化方式
KR100670459B1 (ko) 영상 압축 부호화 및 복호화 방법과 장치
JP3869303B2 (ja) 画像復号化方法及び装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20060725

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee