KR20010080299A - 화상 복호화 장치 - Google Patents

화상 복호화 장치 Download PDF

Info

Publication number
KR20010080299A
KR20010080299A KR1020017005073A KR20017005073A KR20010080299A KR 20010080299 A KR20010080299 A KR 20010080299A KR 1020017005073 A KR1020017005073 A KR 1020017005073A KR 20017005073 A KR20017005073 A KR 20017005073A KR 20010080299 A KR20010080299 A KR 20010080299A
Authority
KR
South Korea
Prior art keywords
partial image
error
decoded
image region
pixel level
Prior art date
Application number
KR1020017005073A
Other languages
English (en)
Inventor
이수요시미
세키구치슈니치
아사이코타로
오가와후미노부
쿠로다시니치
니시가와히로부미
야마다요시히사
Original Assignee
다니구찌 이찌로오, 기타오카 다카시
미쓰비시덴키 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 다니구찌 이찌로오, 기타오카 다카시, 미쓰비시덴키 가부시키가이샤 filed Critical 다니구찌 이찌로오, 기타오카 다카시
Publication of KR20010080299A publication Critical patent/KR20010080299A/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Color Television Systems (AREA)

Abstract

수평 방향 차분 산출부(21)는 복호화된 블록에 대해서, 수평 방향에 인접하는 블록의 경계에 걸친 인접 화소간 및 수평 방향에 인접하는 블록 내의 화소간에 있어서의 화소 레벨의 변화량을 구하고, 수평 방향 연속성 판정부(23)는 수평 방향에 인접하는 블록과의 연속성을 판정한다. 수직 방향 차분 산출부(22) 및 수직 방향 연속성 판정부(24)도 마찬가지로 동작하고, 블록 연속성 판정부(25)는 인접하는 블록과의 연속성을 판정하며, 에러 매크로 블록 판정부(26)는 블록 연속성 판정부(25)의 판정 결과에 의해 에러 매크로 블록을 검출한다.

Description

화상 복호화 장치{Image decoding device}
화상 신호를 효율적으로 부호화하는 방법으로서, 예를 들면, IS0/IECJTC11/SC29/WG11로 표준화 작업이 진행되고 있는 MPEG-4(Moving Picture Experts Group Phase-4)에서 채용되고 있는 바와 같이, 블록마다, 이산 코사인 변환(DCT: Discrete Cosine Transform)을 행하고, 양자화 후에, 얻어진 양자화 변환 계수를 가변 길이 부호화하는 방법이 이용되고 있다.
이와 같이 부호화된 비트 스트림은 복호화측에서, 각 블록 데이터마다, 가변 길이 복호화된 후 역양자화, 역DCT가 실시되어, 화상 신호로서 복원된다. 이 때, 예를 들면, 이 블록 데이터 영역의 가변 길이 부호어(符號語)에서 비트 오류가 발생한 경우, 오류가 발생한 가변 길이 부호어가 미리 정해진 가변 길이 복호 테이블에 정의되어 있는 값일 때에는 오류가 검출되지 않고 복호화되기 때문에, 잘못된 화상 신호가 복원된다.
또한, 각 블록 데이터는 가변 길이이기 때문에, 블록 데이터의 단락은 복호화할 때까지 판별할 수 없다. 가변 길이 부호어를 오류 복호화한 경우에는 블록 데이터의 단락도 오류 판별되는 경우가 많아, 다음 블록 이후의 데이터의 복호화도 잘못되게 된다. 이 경우, 오류에 의한 화질 열화는 다음 블록 이후로 전파된다.
종래의 화상 복호화 장치는 이상과 같이 구성되어 있기 때문에, 예를 들면, 블록 데이터 영역에서 비트 오류가 발생한 경우에, 가변 길이 복호 테이블에 정의되어 있지 않은 값이 나타날 때까지 복호화를 속행하기 때문에, 오류가 발생한 위치에서, 오류가 검출될 때까지 오류 복호화된 화상이 현저하게 열화되는 동시에, 이후의 프레임에 있어서의 화상을 복호화할 때에, 그 화상이 예측 화상으로서 이용되기 때문에, 이후의 프레임의 복호 화상도 열화되어 버리는 과제가 있었다.
상기 과제와 관련하는 선행 기술로서, 일본 특개평 7-154783호 공보에 나타낸 것이 있다. 이것은 부호화된 소정의 사이즈의 블록을 복호화할 때에, 블록의 주변 화소와 인접 블록의 주변 화소의 변화량을 구하여, 소정의 임계치와 비교함으로써 에러를 검출하고 있다. 그러나, 블록의 주변 화소와 인접 블록의 주변 화소의 변화량만으로는 에러를 확실하게 검출하는 것이 곤란한 경우가 있었다.
본 발명은 상기와 같은 과제를 해결하기 위해서 이루어진 것으로, 화상 신호가 갖는 통계적 성질에 의해, 오류가 발생한 블록을 확실하게 검출하여, 오류의 발생에 의한 화질의 열화나 오류의 전파를 최소한으로 억제하는 화상 복호화 장치를 얻는 것을 목적으로 한다.
본 발명은 각종의 화상 압축·신장 방식에 있어서, 부호화 비트 스트림 중에 발생하는 비트 오류의 영향을 받은 에러 부분 화상 영역을 검출하는 화상 복호화 장치에 관한 것이다.
도 1은 MPEG-4 심플 프로파일의 부호화 비트 스트림의 텍스처(texture) 데이터 영역의 구조를 도시하는 도면.
도 2는 본 발명의 실시예 1에 의한 화상 복호화 장치의 구성을 도시하는 블록도.
도 3은 본 발명의 실시예 1에 의한 에러 매크로 블록 검출부의 내부 구성을 도시하는 블록도.
도 4는 본 발명의 실시예 1에 의한 에러 매크로 블록 검출부의 동작을 도시하는 흐름도.
도 5는 본 발명의 실시예 1에 의한 수평 방향 차분 산출부 및 수직 방향 차분 산출부의 처리를 설명하는 도면.
도 6은 본 발명의 실시예 2에 의한 에러 매크로 블록 검출부의 내부 구성을 도시하는 블록도.
도 7은 본 발명의 실시예 2에 의한 임계치 제어부의 동작을 도시하는 흐름도.
도 8은 본 발명의 실시예 3에 의한 에러 매크로 블록 검출부의 내부 구성을 도시하는 블록도.
도 9는 본 발명의 실시예 3에 의한 에러 매크로 블록 검출부의 동작을 도시하는 흐름도.
도 10은 본 발명의 실시예 3에 의한 차분 산출의 대상이 되는 근방의 블록을 도시하는 도면.
도 11은 본 발명의 실시예 4에 있어서의 에러 매크로 블록 검출부의 내부 구성을 도시하는 도면.
도 12는 본 발명의 실시예 5에 의한 에러 매크로 블록 검출부의 내부 구성을 도시하는 도면.
도 13은 본 발명의 실시예 5에 의한 에러 매크로 블록 판정부의 동작을 도시하는 흐름도.
도 14는 본 발명의 실시예 7에 의한 에러 매크로 블록 검출부의 내부 구성을 도시하는 도면.
도 15는 본 발명의 실시예 7에 의한 에러 매크로 블록 검출부의 동작을 도시하는 흐름도.
도 16은 본 발명의 실시예 8에 의한 화상 복호화 장치의 구성을 도시하는 블록도.
도 17은 미디어 패킷 열의 구성을 도시하는 도면.
도 18은 본 발명의 실시예 8에 의한 오류 감시부 구성을 도시하는 블록도.
본 발명에 따른 화상 복호화 장치는 입력 화상 신호를 부분 화상 영역 단위로 압축 부호화하여 생성된 부호화 비트 스트림을 복호화하는 데에 있어서, 상기 부호화 비트 스트림을 상기 부분 화상 영역 단위로 복호화하는 부분 화상 영역 데이터 복호화 수단과, 상기 부분 화상 영역 데이터 복호화 수단에 의해서 복호화된 복호 부분 화상 영역과 그것에 인접하는 부분 화상 영역의 경계에 걸친 인접 화소간에 있어서의 제 1 화소 레벨의 변화량과, 상기 복호 부분 화상 영역에 인접하는 부분 화상 영역 내의 화소간에 있어서의 제 2 화소 레벨의 변화량을 구하고, 상기 제 1 화소 레벨의 변화량, 상기 제 2 화소 레벨의 변화량, 및 상기 제 1 화소 레벨의 변화량 및 상기 제 2 화소 레벨의 변화량에 따른 소정의 임계치에 근거하여, 상기 복호 부분 화상 영역이 상기 부호화 비트 스트림에 발생한 비트 오류의 영향을 받은 에러 부분 화상 영역인 것을 검출하는 에러 부분 화상 영역 검출 수단을 구비한 것이다.
이에 의해서, 오류의 발생을 조기에 또한 확실하게 검출하여, 오류의 전파나 오류에 의한 화질의 열화를 최소한으로 억제할 수 있는 효과가 있다.
본 발명에 따른 화상 복호화 장치는 에러 부분 화상 영역 검출 수단이 복호 부분 화상 영역과 그것에 인접하는 부분 화상 영역의 경계에 걸친 인접 화소간에 있어서의 제 1 화소 레벨의 차분 값과, 상기 복호 부분 화상 영역에 인접하는 부분 화상 영역 내의 화소간에 있어서의 제 2 화소 레벨의 차분 값과 제 3 화소 레벨의 차분 값을 구하고, 상기 제 1 화소 레벨의 차분 값과 상기 제 2 화소 레벨의 차분 값의 차분 값, 상기 제 2 화소 레벨의 차분 값과 상기 제 3 화소 레벨의 차분 값의 차분 값, 및 소정의 임계치에 근거하여, 에러 부분 화상 영역을 검출하는 것이다.
이에 의해서, 오류의 발생을 조기에 또한 확실하게 검출하여, 오류의 전파나 오류에 의한 화질의 열화를 최소한으로 억제할 수 있는 효과가 있다.
본 발명에 따른 화상 복호화 장치는 부호화 비트 스트림으로부터 복호화된 양자화 단계 사이즈에 근거하여, 에러 부분 화상 영역 검출 수단이 에러 부분 화상 영역을 검출할 때의 소정의 임계치를 제어하는 임계치 제어 수단을 구비한 것이다.
이에 의해서, 오류가 발생한 매크로 블록의 오류 판별을 피할 수 있는 효과가 있다.
본 발명에 따른 화상 복호화 장치는 입력 화상 신호를 부분 화상 영역 단위로 압축 부호화하여 생성된 부호화 비트 스트림을 복호화하는 것에 있어서, 상기 부호화 비트 스트림을 상기 부분 화상 영역 단위로 복호화하는 부분 화상 영역 데이터 복호화 수단과, 상기 부분 화상 영역 데이터 복호화 수단에 의해서 복호화된 복호 부분 화상 영역에 있어서의 제 1 화소 레벨의 대표값과, 상기 복호 부분 화상 영역 근방의 부분 화상 영역에 있어서의 제 2 화소 레벨의 대표값을 구하고, 상기 제 1 화소 레벨의 대표값, 상기 제 2 화소 레벨의 대표값 및 상기 제 1 화소 레벨의 대표값 및 상기 제 2 화소 레벨의 대표값에 따른 소정의 임계치에 근거하여, 상기 복호 부분 화상 영역이 상기 부호화 비트 스트림에 발생한 비트 오류의 영향을 받은 에러 부분 화상 영역인 것을 검출하는 에러 부분 화상 영역 검출 수단을 구비한 것이다.
이에 의해서, 오류의 발생을 조기에 검출하여, 오류의 전파나 오류에 의한 화질의 열화를 최소한으로 억제할 수 있는 효과가 있다.
본 발명에 따른 화상 복호화 장치는 에러 부분 화상 영역 검출 수단이 제 1 화소 레벨의 대표값으로서, 제 1 화소 레벨의 평균치를 구하고, 복호 부분 화상 영역 근방의 복수의 부분 화상 영역에 있어서의 복수의 제 2 화소 레벨의 대표값으로서, 복수의 제 2 화소 레벨의 평균치를 구하며, 상기 제 1 화소 레벨의 평균치와 상기 각 제 2 화소 레벨의 평균치의 차분 및, 상기 차분에 따른 소정의 임계치에 근거하여, 에러 부분 화상 영역을 검출하는 것이다.
이에 의해서, 오류의 발생을 조기에 검출하여, 오류의 전파나 오류에 의한 화질의 열화를 최소한으로 억제할 수 있는 효과가 있다.
본 발명에 따른 화상 복호화 장치는 에러 부분 화상 영역 검출 수단이 복호 부분 화상 영역과 근방의 각 부분 화상 영역의 상관에 근거하여, 제 1 화소 레벨의 평균치와 각 제 2 화소 레벨의 평균치의 차분에 대하여 가중을 행하는 것이다.
이에 의해서, 근방의 블록과의 상관을 고려하여, 한층 더 확실하게 오류의 발생을 검출할 수 있는 효과가 있다.
본 발명에 따른 화상 복호화 장치는 입력 화상 신호를 부분 화상 영역 단위로 압축 부호화하여 생성된 부호화 비트 스트림을 복호화하는 것에 있어서, 상기 부호화 비트 스트림을 상기 부분 화상 영역 단위로 복호화하는 부분 화상 영역 데이터 복호화 수단과, 상기 부분 화상 영역 데이터 복호화 수단에 의해서 복호화된 복호 부분 화상 영역과 그것에 인접하는 부분 화상 영역의 경계에 걸친 인접 화소간에 있어서의 제 1 화소 레벨의 변화량과, 상기 복호 부분 화상 영역에 인접하는 부분 화상 영역 내의 화소간에 있어서의 제 2 화소 레벨의 변화량을 구하고, 상기제 1 화소 레벨의 변화량, 상기 제 2 화소 레벨의 변화량, 및 상기 제 1 화소 레벨의 변화량 및 상기 제 2 화소 레벨의 변화량에 따른 제 1 소정의 임계치에 근거하여, 상기 복호 부분 화상 영역과 상기 인접하는 부분 화상 영역의 연속성을 판정하고, 상기 복호 부분 화상 영역에 있어서의 제 1 화소 레벨의 대표값과, 상기 복호 부분 화상 영역 근방의 부분 화상 영역에 있어서의 제 2 화소 레벨의 대표값을 구하고, 상기 복호 부분 화상 영역과 상기 인접하는 부분 화상 영역의 연속성의 판정, 및 상기 제 1 화소 레벨의 대표값, 상기 제 2 화소 레벨의 대표값, 상기 제 1 화소 레벨의 대표값 및 상기 제 2 화소 레벨의 대표값에 따른 제 2 소정의 임계치에 근거하여, 상기 복호 부분 화상 영역이 상기 부호화 비트 스트림에 발생한 비트 오류의 영향을 받은 에러 부분 화상 영역인 것을 검출하는 에러 부분 화상 영역 검출 수단을 구비한 것이다.
이에 의해서, 오류의 발생을 한층 더 확실하게 검출할 수 있고, 오류 판별을 피할 수 있는 효과가 있다.
본 발명에 따른 화상 복호화 장치는 부호화 비트 스트림으로부터 복호화된 양자화 단계 사이즈에 근거하여, 에러 부분 화상 영역 검출 수단이 에러 부분 화상 영역을 검출할 때의 제 1 및 제 2의 소정의 임계치를 제어하는 임계치 제어 수단을 구비한 것이다.
이에 의해서, 오류가 발생한 매크로 블록의 오류 판별을 피할 수 있는 효과가 있다.
본 발명에 따른 화상 복호화 장치는 입력 화상 신호를 부분 화상 영역 단위로 압축 부호화하여 생성된 부호화 비트 스트림을 복호화하는 것에 있어서, 상기 부호화 비트 스트림을 상기 부분 화상 영역 단위로 복호화하는 부분 화상 영역 데이터 복호화 수단과, 상기 부분 화상 영역 데이터 복호화 수단에 의해서 복호화된 복호 화상 신호와 예측 오차 신호의 비교에 근거하여, 상기 복호 부분 화상 영역이 상기 부호화 비트 스트림에 발생한 비트 오류의 영향을 받은 에러 부분 화상 영역인 것을 검출하는 에러 부분 화상 영역 검출 수단을 구비한 것이다.
이에 의해서, 시간 방향의 화상 신호의 상관성을 이용하여 에러 매크로 블록의 검출을 행할 수 있어, 오류를 조기에 검출하여, 오류의 전파나 오류에 의한 화질의 열화를 최소한으로 억제할 수 있는 효과가 있다.
본 발명에 따른 화상 복호화 장치는 에러 부분 화상 영역 검출 수단이 복호 화상 신호의 대표값과 예측 오차 신호의 대표값을 구하고, 상기 복호 화상 신호의 대표값, 상기 예측 오차 신호의 대표값, 및 상기 복호 화상 신호의 대표값 및 상기 예측 오차 신호의 대표값에 따른 소정의 임계치에 근거하여, 에러 부분 화상 영역인 것을 검출하는 것이다.
이에 의해서, 시간 방향의 화상 신호의 상관성을 이용하여 에러 매크로 블록의 검출을 행할 수 있어, 오류를 조기에 검출하여, 오류의 전파나 오류에 의한 화질의 열화를 최소한으로 억제할 수 있는 효과가 있다. .
본 발명에 따른 화상 복호화 장치는 입력 화상 신호를 부분 화상 영역 단위로 압축 부호화하여 생성된 부호화 비트 스트림을 포함하는 미디어 패킷 열을 수신하고, 부호화 비트 스트림을 상기 복호화하는 것에 있어서, 상기 부호화 비트 스트림을 상기 부분 화상 영역 단위로 복호화하는 부분 화상 영역 데이터 복호화 수단과, 상기 부분 화상 영역 데이터 복호화 수단에 의해서 복호화된 복호 부분 화상 영역과 그 근방의 부분 화상 영역에 있어서의 화상 신호 특성의 비교에 근거하여, 상기 복호 부분 화상 영역이 상기 부호화 비트 스트림에 발생한 비트 오류의 영향을 받은 에러 부분 화상 영역인 것을, 상기 부분 화상 영역 단위로 검출하는 에러 부분 화상 영역 검출 수단과, 상기 미디어 패킷 열에 포함되어 있는 오류 검출 부호에 근거하여, 상기 미디어 패킷 열을 수신할 때의 비트 오류 발생 빈도를 감시하는 감시 수단을 구비하고, 상기 감시 수단의 감시 결과에 근거하여, 상기 에러 부분 화상 영역 검출 수단을 제어하는 것이다.
이에 의해서, 수신 상황이 양호한 경우에는 에러 부분 화상 영역 검출 수단에 의한 오류 검출을 회피할 수 있고, 전체적으로 안정된 복호화 동작을 행할 수 있는 효과가 있다,
본 발명에 따른 화상 복호화 장치는 감시 수단의 감시 결과에 근거하여, 에러 부분 화상 영역 검출 수단이 복호화된 복호 부분 화상 영역과 그 근방의 부분 화상 영역에 있어서의 화상 신호 특성을 비교할 때의 비교 조건을 제어하는 것이다.
이에 의해서, 수신 상황이 양호한 경우에는 에러 부분 화상 영역 검출 수단에 의한 오류 검출을 회피할 수 있고, 전체적으로 안정된 복호화 동작을 행할 수 있는 효과가 있다.
본 발명에 따른 화상 복호화 장치는 감시 수단의 감시 결과에 근거하여, 에러 부분 화상 영역 검출 수단이 에러 부분 화상 영역을 검출할 때의 부분 화상 영역 단위를 제어하는 것이다.
이에 의해서, 수신 상황이 양호한 경우에는 에러 부분 화상 영역 검출 수단에 의한 오류 검출을 회피할 수 있고, 전체적으로 안정된 복호화 동작을 행할 수 있는 효과가 있다.
이하, 본 발명을 더욱 상세하게 설명하기 위해서, 본 발명을 실시하기 위한 실시예에 대해서, 첨부한 도면에 따라서 설명한다.
<실시예 1>
본 발명의 실시예 1은 부호화 비트 스트림의 블록 데이터 영역에 오류가 발생하였을 때에, 오류가 검출되지 않고 복호화된 블록을, 블록 경계 부근의 화상 신호의 연속성에 근거하여 검출하는 것이다.
도 1은 MPEG-4 심플 프로파일의 부호화 비트 스트림에 있어서의 텍스처 데이터 영역의 구조를 도시하는 도면이다. MPEG-4에서는 부호화 대상이 되는 오브젝트의 텍스처 데이터를 「매크로 블록」이라고 불리는 16×16 화소 사이즈의 휘도 성분과, 8×8 화소 사이즈의 색차 성분으로 이루어지는 블록 단위로 부호화한다. 16×16 화소 사이즈의 휘도 성분은 더욱이 8×8 화소 사이즈의 블록으로 분할되어, 8×8 화소 사이즈의 블록 단위로 DCT, 양자화가 행하여진다. 여기서는 「매크로 블록」내에 있어서의 8×8 화소 사이즈의 블록을, 이하, 특별히「블록」이라고 부른다.
도 1에 도시하는 바와 같이, 텍스처 데이터 영역은 복수의 매크로 블록 데이터 영역으로 이루어지고, 각 매크로 블록 데이터 영역은 매크로 블록의 부호화 타입이나 동작 벡터의 정보가 포함되어 있는 매크로 블록 데이터 헤더 정보, 4개의 휘도 블록 데이터(Y) 및 2개의 색차 블록 데이터(Cb/Cr)로 구성되어 있다. 이 실시예에서는 이 매크로 블록 데이터 영역에 오류가 발생하였을 때에, 에러가 발생한매크로 블록을 조기에 검출하는 것이다.
도 2는 실시예 1에 의한 화상 복호화 장치의 구성을 도시하는 블록도이다. 도 2에 있어서, 1은 가변 길이 복호화부로, 부호화 비트 스트림(101)을 입력하고, 복호 블록 데이터(102), 동작 벡터(103), 부가 정보(104)를 출력한다. 2는 동작 보상부로, 동작 벡터(103)를 입력하고, 메모리(3)에 기억되어 있는 참조 화상(106)을 이용하여 예측 화상(107)을 출력한다. 4는 전환부로, 부가 정보(104)에 근거하여, 예측 화상(107) 또는 0 신호를 출력한다.
또한, 도 2에 있어서, 5는 역양자화부로, 복호 블록 데이터(102)를 입력하여 역양자화를 행한다. 6은 역DCT부로, 역양자화 후의 데이터(108)를 입력하여 역DCT 처리를 행하고, 예측 오차 신호(109)를 출력한다. 7은 가산부로, 예측 오차 신호(109)에, 전환부(4)로부터의 예측 화상(107) 또는 0 신호를 가산하여, 복호 화상 신호(110)를 출력한다.
게다가, 도 2에 있어서, 8은 에러 매크로 블록 검출부(에러 부분 화상 영역 검출 수단)로, 복호 화상 신호(110)를 입력하고, 오류가 발생하고 있는지를 판정하여, 에러 매크로 블록 판정 결과(111)를 출력한다. 9는 전환부로, 에러 매크로 블록 판정 결과(111)에 근거하여, 복호 화상 신호(110)의 출력처를 바꾼다. 10은 에러 매크로 블록 수정부로, 에러가 발생한 복호 화상 신호(110)를 수정하여, 수정 화상 신호(112)를 출력한다. 11은 부분 화상 영역 데이터 복호화 수단으로, 가변 길이 복호화부(1), 동작 보상부(2), 메모리(3), 전환부(4), 역양자화부(5), 역DCT부(6), 가산부(7)로 구성되어 있다.
다음에 동작에 대해서 설명한다.
가변 길이 복호화부(1)는 부호화 비트 스트림(101)으로부터 매크로 블록 데이터를 추출하여 가변 길이 복호화를 행한다. 동작 보상부(2)는 복호화된 동작 벡터(103)에 근거하여, 메모리(3) 내의 참조 화상(106)을 참조하여 예측 화상(107)을 추출한다. 역양자화부(5)는 복호화된 복호 블록 데이터(102)를 역양자화하고, 역DCT부(6)는 역양자화 후의 데이터(108)를 입력하여 역DCT 처리를 행하고, 예측 오차 신호(109)를 출력한다.
전환부(4)는 가변 길이 복호화부(1)에 의해 복호화된 부가 정보(104)에 포함되는 매크로 블록 타입이 인트러 부호화를 나타내고 있는 경우에는 0 신호를 선택하여 가산부(7)로 출력하고, 인트러 부호화 이외의 부호화를 나타내고 있는 경우에는 동작 보상부(2)에서 추출된 예측 화상(107)를 선택하여 가산부(7)로 출력한다. 가산부(7)는 역DCT부(6)로부터의 예측 오차 신호(109)에, 전환부(4)로부터의 0 신호 또는 예측 화상(107)을 가산하여, 복호 화상 신호(110)를 출력한다. 여기서, 복호 화상 신호(110)는 복호 매크로 블록을 의미하며, 4개의 휘도 블록과 2개의 색차 블록으로 구성되어 있다.
에러 매크로 블록 검출부(8; 에러 부분 화상 영역 검출 수단)는 복호 화상 신호(110)를 입력하고, 오류가 발생한 매크로 블록의 화상 신호인지의 여부를 판정하여, 에러 매크로 블록 판정 결과(111)를 출력한다.
전환부(9)는 에러 매크로 블록 검출부(8)로부터 출력되는 에러 매크로 블록 판정 결과(111)에 근거하여, 복호 화상 신호(110)의 출력을 바꾼다. 에러 매크로블록 판정 결과(111)에 의해서, 복호 화상 신호(110)가 에러 매크로 블록인 것을 나타내고 있는 경우는 복호 화상 신호(110)를 에러 매크로 블록 수정부(10)로 출력한다. 한편, 에러 매크로 블록 판정 결과(111)에 의해, 복호 화상 신호(110)가 에러 매크로 블록이 아닌 것을 나타내고 있는 경우는 복호 화상 신호(110)는 그대로 출력되는 동시에, 이후의 복호화 처리에 있어서, 참조 화상(106)으로서 이용하기 위해서, 메모리(3)에 격납된다.
에러 매크로 블록 수정부(10)는 에러 매크로 블록에 대하여 오류를 눈에 띄지 않게 하는 처리를 행하여, 수정 화상 신호(112)를 출력한다. 가장 간단한 방법으로서는 메모리(3) 내의 참조 화상(106)으로부터, 오류가 발생하였다고 판정된 매크로 블록과 같은 위치에 있는 매크로 블록을 추출하여, 오류가 발생한 매크로 블록과 교체하는 방법이 있다. 에러 매크로 블록 수정부(10)에서, 수정된 수정 화상 신호(112)는 복호 화상으로서 출력되는 동시에, 이후의 복호화 처리에 있어서, 참조 화상(106)으로서 이용하기 위해서 메모리(3)에 격납된다.
도 3은 이 실시예 1의 특징인 에러 매크로 블록 검출부(8; 에러 부분 화상 영역 검출 수단)의 내부 구성을 도시하는 블록도이다. 도 3에 있어서, 21은 수평 방향 차분 산출부로, 복호 화상 신호(110)와 수평 방향의 블록 신호(121)를 입력하고, 수평 방향에 인접하는 블록의 경계에 걸친 인접 화소간에 있어서의 화소 레벨의 변화량과, 수평 방향에 인접하는 블록 내의 화소간에 있어서의 화소 레벨의 변화량을 구하여, 수평 방향 화소간 차분(123)으로서 출력한다.
또한, 도 3에 있어서, 22는 수직 방향 차분 산출부로, 복호 화상 신호(110)와 수직 방향의 블록 신호(122)를 입력하고, 수직 방향에 인접하는 블록의 경계에 걸친 인접 화소간에 있어서의 화소 레벨의 변화량과, 수직 방향에 인접하는 블록 내의 화소간에 있어서의 화소 레벨의 변화량을 구하여, 수직 방향 화소간 차분(124)으로서 출력한다.
게다가, 도 3에 있어서, 23은 수평 방향 연속성 판정부로, 수평 방향 화소간 차분(123)을 입력하고, 수평 방향의 블록과의 연속성을 판정하여 수평 방향 연속성(125)을 출력한다. 24는 수직 방향 연속성 판정부로, 수직 방향 화소간 차분(124)을 입력하여 수직 방향의 블록과의 연속성을 판정하여 수직 방향 연속성(126)을 출력한다.
게다가, 도 3에 있어서, 25는 블록 연속성 판정부로, 수평 방향 연속성(125)과 수직 방향 연속성(126)을 입력하고, 인접 블록과의 연속성을 판정하여, 인접 블록 연속성(127)을 출력한다. 26은 에러 매크로 블록 판정부로, 인접 블록 연속성(127)을 입력하고, 에러 매크로 블록인지를 판정하여, 에러 매크로 블록 판정 결과(111)를 출력한다.
다음에 에러 매크로 블록 검출부(8)의 동작에 대해서 설명한다.
도 4는 에러 매크로 블록 검출부(8)의 동작을 도시하는 흐름도가다. 에러 매크로 블록 검출부(8)는 화상 신호의 연속성에 근거하여, 복호 화상 신호(110)가 오류가 발생한 매크로 블록의 화상 신호인지의 여부의 판정을 행한다. 통상, 화상 신호는 인접 화소간과 큰 상관을 갖고 있고, 동일한 물체 내에서는 화소 값은 연속적으로 변화한다. 그러나, 오류가 발생한 블록의 화상 신호는 인접하는 블록의 화상 신호와의 연속성을 유지할 수 없는 경우가 많다. 이 실시예에서는 인접 블록과의 연속성을 이용하여, 오류가 발생한 매크로 블록을 검출한다.
도 5는 수평 방향 차분 산출부(21) 및 수직 방향 차분 산출부(22)의 처리를 설명하는 도면이다. 도 4의 단계 ST1에 있어서, 수평 방향 차분 산출부(21)는 도 5의 판정 대상 블록(m, n)으로부터의 복호 화상 신호(110)와, 도 5의 수평 방향의 블록(m, n-1)으로부터의 수평 방향의 블록 신호(121)를 입력하고, 복호 화상 신호(110)의 색차 블록, 휘도 블록 각각에 대하여, 도 5의 블록(m, n-1)에 있어서의 블록 경계 부근의 화소 3열(Pm,n-1(i, 5) 내지 Pm,n-1(i, 7))과, 판정 대상 블록(m, n)의 블록 경계 부근의 화소 1열(Pm,n(i, 0))에 대해서, 각각 인접 화소간의 변화량(차분 값)을 산출하여, 수평 방향 화소간 차분(123)으로서 출력한다.
인접 화소간의 변화량(차분 값)은 다음 (1)식에 의해서 구할 수 있다.
DPm,n-1(i, j+1) = Pm, n-1(i, j) - Pm,n-1(i, j+1)
(i = 0, 1, …, 7, j = 5, 6)
DPm,n(i, 0) = Pm,n-1(i, 7) - Pm,n(i, 0)
(i = 0, 1, …, 7) (1)
단계 ST2에 있어서, 수직 방향 차분 산출부(22)는 판정 대상 블록(m, n)으로부터의 복호 화상 신호(110)와, 도 5의 수직 방향의 블록(m-1, n)으로부터의 수직 방향의 블록 신호(122)를 입력하고, 복호 화상 신호(110)의 색차 블록, 휘도 블록 각각에 대하여, 도 5의 블록(m-1, n)에 있어서의 블록 경계 부근의 화소 3행(Pm-1,n(5, j) 내지 Pm-1,n(7, j))과, 판정 대상 블록(m, n)의 블록 경계 부근의 화소 1행(Pm,n(0, j)에 대해서, 각각 인접 화소간의 차분 값을 산출하여, 수직 방향 화소간 차분(124)으로서 출력한다.
도 4의 단계 ST3에 있어서, 수평 방향 연속성 판정부(23)는 수평 방향 차분 산출부(21)에서 산출된 블록 경계 부근의 화소의 변화량(차분 값), 즉 상기 (1)식으로 나타내는 수평 방향 화소간 차분(123)에 근거하여, 복호화된 블록(m, n)이 왼쪽 옆의 블록(m, n-1)과 상관이 있는지의 여부를 판정하여, 수평 방향 연속성(125)을 출력한다. 왼쪽 옆의 블록과 상관이 없는 경우에는 왼쪽 옆의 블록과의 경계 부근의 화소는 불연속이 된다.
블록 경계의 화소가 불연속이 되는 경우에는 Pm,n-1(i, 5) 내지 Pm,n-1(i, 7)의 인접하는 화소 레벨의 변화량(차분 값)과 비교하여, Pm,n-1(i, 7)에서 Pm,n(i, 0)으로의 화소 레벨의 변화량(차분 값)이 커진다. 그래서, 이 2종류의 화소 레벨의 변화량(차분 값)에 근거하여 불연속성을 판정한다. 우선, 다음 (2)식에 의해서, Pm,n-1(i, 5)와 Pm,n-1(i, 6)의 인접 화소간의 변화량(차분 값; DPm,n-1(i, 6))과, Pm,n-1(i, 6)과 Pm,n-1(i, 7)의 인접 화소간의 변화량(차분 값; DPm,n-1(i, 7))의 변화량(차분 값; △Pm,n-1(1, 7))을 구한다.
△Pm,n-1(i, 7) = DPm,n-1,(i, 6) - DPm,n-1(i, 7)
(i = O, 1,…, 7) (2)
마찬가지로, 다음 (3)식에 의해서, Pm,n-1(i, 6)과 Pm,n-1(i, 7)의 인접 화소간의 변화량(차분 값; DPm,n-1(i, 7))과, Pm,n-1(i, 7)과 Pm,n(i, 0)의 인접 화소간의 변화량(차분 값; DPm,n(i, 0))의 변화량(차분 값; △Pm,n(i, 0))을 구한다.
△Pm,n(i, 0) = DPm,n-1(i, 7) - DPm,n(i, 0)
(i = 0, 1,…, 7) (3)
다음에, (2)식에 의해서 구해진 변화량(차분 값; △Pm,n-1(i, 7))과 (3)식에 의해서 구해진 변화량(차분 값; △Pm,n(i, 0))의 변화량(차분 값)을, 소정의 임계치(TH1)에 근거하여 판정함으로써 불연속성을 판정한다. 즉, 미리 정해진 소정의 임계치(TH1)에 대하여, 다음 (4)식이 성립할 때, i행째의 화소는 불연속이라고 판정한다.
│△Pm,n(i, 0)│-│△Pm,n-1(i, 7)│>TH1 (4)
블록 경계의 모든 화소에 대해서, 불연속으로 판정된 경우에는 그 블록은 수평 방향의 블록과 불연속이라고 한다.
도 4의 단계 ST4에 있어서, 수직 방향 연속성 판정부(24)는 수평 방향 연속성 판정부(23)와 마찬가지로 수직 방향 차분 산출부(22)에서 산출된 블록 경계 부근의 화소의 변화량(차분 값), 즉 수직 방향 화소간 차분(124)을 바탕으로, 복호화된 블록이 위의 블록과 상관이 있는지의 여부를 판정하여, 수직 방향 연속성(126)을 출력한다.
단계 ST5에 있어서, 블록 연속성 판정부(25)는 수평 방향 연속성 판정부(23)의 판정 결과인 수평 방향 연속성(125)에 근거하여, 복호 블록이 왼쪽 옆의 블록과 연속인지의 여부를 판정한다. 판정한 결과, 복호 블록이 왼쪽 옆의 블록과 연속인 경우에는 단계 ST8에 있어서, 블록 연속성 판정부(25)는 인접하는 블록과 연속이라고 판정한다.
상기 단계 ST5에 있어서, 판정한 결과, 복호 블록이 왼쪽 옆의 블록과 연속이 아닌 경우에는 단계 ST6에 있어서, 블록 연속성 판정부(25)는 수직 방향 연속성 판정부(24)의 판정 결과인 수직 방향 연속성(126)에 근거하여, 복호 블록이 위의 블록과 연속인지의 여부를 판정한다. 판정한 결과, 복호 블록이 위의 블록과 연속인 경우에는 단계 ST8에 있어서, 블록 연속성 판정부(25)는 인접하는 블록과 연속이라고 판정한다.
상기 단계 ST6에 있어서, 판정한 결과, 복호 블록이 위의 블록과 연속이 아닌 경우에는 단계 ST7에 있어서, 블록 연속성 판정부(25)는 인접하는 블록과 불연속이라고 판정한다. 이상과 같이, 수평 방향, 수직 방향 모두 불연속인 경우에, 인접하는 블록과 불연속이라고 판정한다.
단계 ST9에 있어서, 모든 휘도 블록, 색차 블록에 대해서, 인접하는 블록과의 연속성의 판정을 종료하면, 블록 연속성 판정부(25)는 판정 결과인 인접 블록 연속성(127)을 출력한다. 단계 ST10에 있어서, 에러 매크로 블록 판정부(26)는 인접 블록 연속성(127)에 근거하여, 에러 매크로 블록인지의 여부의 판정을 행한다.
에러 매크로 블록 판정부(26)는 휘도 블록, 색차 블록의 각각의 근방 블록과의 연속성에 근거하여, 복호 매크로 블록이 에러 매크로 블록인지의 여부를 판정한다. 예를 들면, 2개의 색차 블록 또는 4개의 휘도 블록 중 어느 하나에서, 불연속성이 검출된 경우에는 그 블록을 포함하는 매크로 블록을 오류가 발생한 매크로 블록으로 판정한다. 또한, 2개의 색차 블록, 4개의 휘도 블록의 불연속 판정의 조합에 의해 판정할 수 있다.
또한, 이 실시예 1에서는 인접할 수평 방향의 블록(m, n-1)의 블록 경계 부근의 화소 3열((Pm,n-1(i, 5) 내지 Pm,n-1(i, 7))과, 판정 대상 블록의 블록 경계 부근의 화소 1열((Pm,n(i, 0))의 인접 화소간의 차분 값을 이용하여, 에러 블록 판정을 행하였지만, 이용하는 화소열이나 화소열 수에 대해서는 틀별히 한정하는 것은 아니고, 보다 광범위하게 화소간의 변화량(차분 값)을 조사하여, 에러 블록의 판정에 이용하는 것도 가능하다. 또한, 이 실시예에서는 도 5에 있어서, 인접하는 화소간의 변화량(차분 값)을 이용하였지만, 1 화소 건너의 변화량(차분 값)을 취하는 것도 가능하다. 이들은 인접할 수직 방향의 블록(m-1, n)에 대해서도 적용할 수 있다.
게다가, 이 실시예에서는 상기 단계 ST3에 있어서, 수평 방향 연속성 판정부(23)가, 상기 (2)식에서 구한 변화량(△Pm,n-1(i, 7))과 상기 (3)식에서 구한 양(△Pm,n(i, 0))을 사용하여, 상기 (4)식에 의해 소정의 임계치(TH1)와 비교하여, 수평 방향의 연속성을 판정하고 있지만, 상기 (2)식을 사용하지 않고, 상기 (3)식에서 구한 변화량(△Pm,n(i, 0))과 다른 소정의 임계치(TH1a)와 비교하여 수평 방향의 연속성을 판정하여도 좋다. 이것은 수직 방향 연속성 판정부(24)에 대해서도 적용할 수 있다.
이상과 같이, 이 실시예 1에 의하면, 인접하는 블록과의 화상 신호의 연속성을 이용하여, 오류가 발생한 매크로 블록을 검출함으로써, 오류를 조기에 검출하여, 오류의 전파나 오류에 의한 화질의 열화를 최소한으로 억제할 수 있는 동시에, 복호화 대상의 블록과 인접하는 블록의 주변 화소의 변화량뿐만 아니라, 인접하는 블록 내의 화소의 변화량도 고려함으로써, 확실하게 오류가 발생한 매크로 블록을 검출할 수 있는 효과를 얻을 수 있다.
<실시예 2>
본 발명의 실시예 2에 있어서의 화상 복호화 장치의 구성을 도시하는 블록도는 실시예 1에 있어서의 도 2와 동일하다. 이 실시예는 실시예 1에서 설명한 에러 매크로 블록 검출부(8)의 수평 방향 연속성 판정부(23), 수직 방향 연속성 판정부(24)에 있어서의 임계치를, 각 매크로 블록의 양자화 단계 사이즈에 근거하여 적응적으로 바꾸는 것이다.
실시예 1에서 설명한 바와 같이 블록 단위로 DCT 등의 직교 변환 후, 양자화를 행하는 경우, 블록 왜곡이라고 불리는 직교 변환 부호화 특유의 잡음이 생긴다. 이 블록 왜곡에 의해서도, 블록 경계의 화소간 변화량(차분 값)이 커지는 경우가 있다. 그래서, 이 실시예 2에 있어서의 에러 매크로 블록 검출부(8)에서는 블록 왜곡의 영향을 고려하여, 임계치를 적응적으로 제어하는 임계치 제어부를 설치한다.
도 6은 실시예 2에 의한 에러 매크로 블록 검출부(8; 에러 부분 화상 영역 검출 수단)의 내부 구성을 도시하는 블록도이다. 도면에 있어서, 27은 임계치 제어부로, 도 2의 가변 길이 복호화부(1)에 의해 복호화된 부가 정보(104)에 포함되는 매크로 블록의 양자화 단계 사이즈에 근거하여, 임계치(128)를 제어한다. 수평 방향 차분 산출부(21), 수평 방향 연속성 판정부(23), 수직 방향 차분 산출부(22), 수직 방향 연속성 판정부(24), 블록 연속성 판정부(25), 에러 매크로 블록 판정부(26)의 동작은 실시예 1과 같다.
다음에 동작에 대해서 설명한다.
도 7은 이 실시예 2에 의한 임계치 제어부(27)의 동작을 도시하는 흐름도가다. 임계치 제어부(27)는 부가 정보(104)에 포함되는 매크로 블록의 양자화 단계 사이즈에 근거하여, 임계치(128)를 제어한다. 단계 ST11에 있어서, 임계치 제어부(27)는 부가 정보(104)에 포함되는 매크로 블록의 양자화 단계 사이즈가 소정의 값(Q1)보다 큰지를 확인하고, Q1보다 큰 경우에는 블록 왜곡에 의해 블록 경계 부근의 화소간 변화량(차분 값)이 커지는 경우가 있기 때문에, 단계 ST12에 있어서, 임계치 제어부(27)는 불연속 판정성의 임계치도 그것에 따라서 큰 값(THa)으로 설정한다.
상기 단계 ST11에 있어서, 양자화 단계 사이즈가 소정의 값(Q1)보다 작은 경우에는 단계 ST13에 있어서, 임계치 제어부(27)는 양자화 단계 사이즈가 소정의 값(Q2; Q2<Q1)보다 큰지를 확인하고, Q2보다 큰 경우에는 단계 ST14에 있어서, 임계치 제어부(27)는 불연속 판정성의 임계치도 그것에 따라서 THa보다 작은 값(THb)으로 설정한다.
이하, 마찬가지로 하여, 단계 ST15, ST16, ST17의 처리를 행하여, 양자화 단계 사이즈가 소정의 값(Q3: Q3<Q2<Q1)보다 큰 경우에는 임계치를 THc로 설정하고, 작은 경우에는 블록 왜곡의 영향이 적기 때문에, 임계치도 그것에 따라서 작은 값(THd; THd<THc<THb<THa)으로 설정한다.
도 7의 처리에서는 양자화 단계 사이즈의 범위를 4단계로 구분하여, 각각의 값에 따라서 임계치를 설정하였지만, 4단계에 한하는 것이 아니라, 양자화 특성에 따라서 적응적으로 설정할 수 있다.
도 6에 있어서, 임계치 제어부(27)에 의해 설정된 임계치(128)는 수평 방향 연속성 판정부(23), 수직 방향 연속성 판정부(24)로 출력되어, 실시예 1과 마찬가지로 수평 방향의 블록 신호(121), 수직 방향의 블록 신호(122)의 연속성을 판정할 때의 임계치로서 이용된다.
이상과 같이, 이 실시예 2에 의하면, 인접하는 블록과의 연속성을 판정할 때에 이용하는 임계치를, 양자화 단계 사이즈에 의해 제어함으로써, 블록 왜곡에 의한 블록 경계에 있어서의 불연속성과 오류에 의한 블록 경계에 있어서의 불연속성을 구별할 수 있고, 블록 왜곡이 발생한 매크로 블록을, 오류가 발생한 매크로 블록으로서 오류 판별하는 것을 피할 수 있는 효과를 얻을 수 있다.
<실시예 3>
본 발명의 실시예 3에 있어서의 화상 복호화 장치의 구성을 도시하는 블록도는 실시예 1에 있어서의 도 2와 동일하다. 실시예 1에서는 블록 경계 부근의 화소간 차분 신호에 의해 블록간의 불연속성을 판정하여, 에러 매크로 블록의 검출을 행하였지만, 이 실시예에서는 블록마다 산출한 화소 레벨의 대표값에 근거하여, 에러 매크로 블록을 검출하는 것이다.
도 8은 이 실시예의 특징인 에러 매크로 블록 검출부(8; 에러 부분 화상 영역 검출 수단)의 내부 구성을 도시하는 블록도이다. 도 8에 있어서, 31은 블록 내 화소 평균치 산출부로, 복호 화상 신호(110)를 입력하고, 블록마다의 화소 레벨의 대표값으로서 블록 내 화소 평균치를 구하여 화소 레벨 평균치(131)로서 출력한다. 32는 화소 평균 차분 산출부로, 화소 레벨 평균치(131)와 도시되어 있지 않은 소정의 메모리에 기억되어 있는 근방 블록의 화소 레벨의 대표값인 근방 블록 화소 레벨 평균치(132)를 입력하고, 차분을 취하여 화소 평균 차분(133)을 출력한다. 33은 에러 매크로 블록 판정부로, 화소 평균 차분(133)을 입력하고, 에러 매크로 블록인지의 판정을 행하여, 에러 매크로 블록 판정 결과(111)를 출력한다.
다음에 동작에 대해서 설명한다.
도 9는 실시예 3에 의한 에러 매크로 블록 검출부(8)의 동작을 도시하는 흐름도가다. 에러 매크로 블록 검출부(8)는 복호 화상 신호(110)의 색차 블록, 휘도 블록 각각에 대해서 이하의 처리를 행한다. 단계 ST21에 있어서, 블록 내 화소 평균치 산출부(31)는 복호 화상 신호(110)를 입력하고, 다음 (5)식에 의해 블록 내의 화소 레벨의 평균치를 산출한다.
(5)
단계 ST22에 있어서, 화소 평균 차분 산출부(32)는 다음 (6)식에 의해서, 블록 내 화소 평균치 산출부(31)에 의해 산출된 복호 블록의 화소 레벨의 평균치(131; AvePm,n)와, 근방의 블록에 있어서의 화소 레벨의 평균치(132; AvePs,t) 의 화소 평균 차분(133; △AvePm,n,s,t)을 산출한다.
△AvePm,n,s,t= AvePs,t- AvePm,n(6)
도 10은 차분 산출의 대상이 되는 근방의 블록을 도시하는 도면으로, 예를 들면, 도면에 도시하는 바와 같이 4개의 블록을 고려할 수 있다. 상기 (6)식에 있어서의 s, t는 도 10에 있어서의 근방의 블록((m, n-1), (m-1, n-1), (m-1, n), (m-1, n+1))을 도시하고 있다.
에러 매크로 블록 판정부(33)는 단계 ST23 이후의 처리에 의해, 화소 평균 차분 산출부(32)에서 산출된 근방 블록과 화소 평균 차분(133)을 이용하여, 에러 매크로 블록을 판정하고, 에러 매크로 블록 판정 결과(111)를 출력한다.
에러 매크로 블록의 판정 방법으로서는 단계 ST23에 있어서, 에러 매크로 블록 판정부(33)가, 예를 들면 다음 (7)식에 의해서, 색차 블록, 휘도 블록 각각에 대해서, 근방의 블록과의 화소 평균의 절대 차분을 계산하고, 근방 블록의 화소 평균의 절대 차분을 전부 더한 값(Cm, n)을 구한다.
Cm,n=│△AvePm,n,m-1,n-1│+│△AvePm,n,m-1,n│
+│△AvePm,n,m-1,n+1│+│△AvePm, n, m,n-1│ (7)
다음에 단계 ST24에 있어서, 에러 매크로 블록 판정부(33)가, 다음 (8)식에 근거하여, (7)식에 의해서 구해진 값(Cm, n)을, 소정의 임계치(TH2)와 비교함으로써 에러 매크로 블록을 판정한다. 즉, 미리 정해진 임계치(TH2)에 대하여, 다음 (8)식이 성립할 때, 그 블록을 에러 블록으로 한다.
Cm,n> TH2 (8)
단계 ST25에 있어서, 에러 매크로 블록 판정부(33)는 에러 블록을 포함하는 매크로 블록을 에러 매크로 블록으로 판정한다
상기 단계 ST24에 있어서, 상기 (8)식을 만족하지 않는 경우, 단계 ST26에 있어서, 모든 블록의 에러 판정을 행하였는지의 여부를 조사하여, 모든 블록에 대해서, 에러 블록이 아니라고 판정된 경우에는 단계 ST27에 있어서, 에러 매크로 블록 판정부(33)는 복호 화상 신호(110)를 정상 매크로 블록으로 판정한다.
또한, 근방의 블록과의 화소 평균의 절대 차분의 총합을 구할 때에, 다음 (9)식에 의해서 각 절대 차분 값에 가중을 더할 수도 있다.
Cm, n= w1│△AvePm,n,m-1,n-1│+ w2│△AvePm,n,m-1,n│
+w3│△AvePm,n,m-1,n+1│+ w4│△AvePm,n,m,n-1│ (9)
이것에 의해, 근방의 블록과의 상관이 동일하지 않을 때에, 상관이 강하다고 생각되는 블록의 차분을 우선적으로 취급할 수 있다.
이 실시예에서는 블록의 화소 레벨의 대표값으로서, 화소 레벨의 평균치를 사용하고 있지만, 화소 레벨의 분산을 사용하여도 좋다.
이상과 같이 이 실시예 3에 의하면, 복호 화상 블록마다 대표값을 산출하여, 근방 블록의 대표값과 비교함으로써, 오류가 발생한 매크로 블록을 검출할 수 있기 때문에, 오류를 조기에 검출하여, 오류의 전파나 오류에 의한 화질의 열화를 최소한으로 억제할 수 있는 효과를 얻을 수 있다.
<실시예 4>
본 발명의 실시예 4에 있어서의 화상 복호화 장치의 구성을 도시하는 블록 도는 실시예 1에 있어서의 도 2와 동일하다. 이 실시예는 실시예 3에서 설명한 에러 매크로 블록 검출부(8)의 에러 매크로 블록 판정부(33)에 있어서의 임계치를, 각 매크로 블록의 양자화 단계 사이즈에 근거하여 적응적으로 제어하는 것이다.
실시예 1에서 설명한 바와 같이, 블록 단위로 DCT 등의 직교 변환 후, 양자화를 행하는 경우, 양자화 단계 사이즈가 클 때는 화상 신호의 진폭이 평활화되어 진폭이 작아진다. 따라서, 블록마다의 평균치는 양자화 단계 사이즈가 클 때는 작아지는 경우가 있다. 그래서, 이 실시예에 있어서의 에러 매크로 블록 검출부(8)에서는 양자화 단계 사이즈의 영향을 고려하여, 임계치를 제어하는 임계치 제어부를 설치한다.
도 11은 이 실시예 4에 있어서의 에러 매크로 블록 검출부(8; 에러 부분 화상 영역 검출 수단)의 내부 구성을 도시하는 블록도이다. 도 11에 있어서, 34는 임계치 제어부이고, 도 2의 가변 길이 복호화부(1)에 의해 복호화된 부가 정보(104)에 포함되는 매크로 블록의 양자화 단계 사이즈에 근거하여, 임계치(134)를 설정한다. 블록 내 화소 평균치 산출부(31), 화소 평균 차분 산출부(32), 에러매크로 블록 판정부(33)의 동작은 실시예 3과 같다.
다음에 동작에 대해서 설명한다.
임계치 제어부(34)는 부가 정보(104)에 포함되는 매크로 블록의 양자화 단계 사이즈에 근거하여 임계치(134)를 제어한다. 예를 들면, 양자화 단계 사이즈가 큰 경우에는 화상 신호의 진폭이 작아지므로, 평균치가 작아지는 경우가 있기 때문에, 임계치를 작은 값으로 설정한다. 또한, 양자화 단계 사이즈가 작은 경우에는 화상 신호의 진폭이 유지되고, 평균치는 작아지지 않기 때문에, 임계치를 큰 값으로 설정한다.
임계치 제어부(34)에 의해 설정된 임계치(134)는 에러 매크로 블록 판정부(33)로 출력되어, 실시예 3과 마찬가지로, 에러 매크로 블록을 판정할 때의 임계치로서 이용된다.
이상과 같이, 이 실시예 4에 의하면, 에러 매크로 블록을 판정할 때에 이용하는 임계치를, 양자화 단계 사이즈에 의해 제어함으로써, 오류가 발생한 매크로 블록에 대한 오류 판별을 피할 수 있는 효과를 얻을 수 있다.
<실시예 5>
본 발명의 실시예 5에 있어서의 화상 복호화 장치의 구성을 도시하는 블록도는 실시예 1에 있어서의 도 2와 동일하다. 이 실시예에서는 실시예 1부터 실시예 4에서 설명한 에러 매크로 블록 판정 방법을 조합하여 에러 매크로 블록을 판정하는 것이다.
도 12는 이 실시예 5에 의한 에러 매크로 블록 검출부(8; 에러 부분 화상 영역 검출 수단)의 내부 구성을 도시하는 블록도이다. 도 12에 있어서, 41은 임계치 제어부이고, 도 2의 가변 길이 복호화부(1)에 의해 복호화된 부가 정보(104)에 포함되는 매크로 블록의 양자화 단계 사이즈에 근거하여, 소정의 임계치(141)와 소정의 임계치(142)를 설정한다. 42는 에러 매크로 블록 판정부로, 인접 블록 연속성(127)과 화소 평균 차분(133)에 근거하여, 에러 매크로 블록을 판정한다.
도 12에 있어서, 수평 방향 차분 산출부(21), 수평 방향 연속성 판정부(23), 수직 방향 차분 산출부(22), 수직 방향 연속성 판정부(24), 블록 연속성 판정부(25), 블록 내 화소 평균치 산출부(31), 화소 평균 차분 산출부(32)는 실시예 1 및 실시예 3과 마찬가지이다.
다음에 동작에 대해서 설명한다.
임계치 제어부(41)의 동작은 실시예 2 및 실시예 4와 같다. 도 13은 실시예 5에 의한 에러 매크로 블록 판정부(42)의 동작을 도시하는 흐름도가다. 에러 매크로 블록 판정부(42)는 색차 블록, 휘도 블록마다의 인접 블록 연속성(127) 과, 화소 평균 차분(133)에 근거하여, 에러 매크로 블록을 판정한다. 단계 ST31에 있어서, 에러 매크로 블록 판정부(42)는 색차 블록으로부터 휘도 블록으로 차례로 인접 블록 연속성(127)에 근거하여, 인접하는 블록의 연속성을 판정한다.
단계 ST31에 있어서의 판정의 결과, 인접하는 블록과 연속인 경우에는 단계 ST35에 있어서, 에러 매크로 블록 판정부(42)는 모든 블록에 대해서 에러 판정을 행하였는지의 여부를 조사하고, 모든 블록에 대해서 판정을 행하지 않는 경우에는 단계 ST31으로 되돌아가서, 다음 블록에 대해서 인접하는 블록과의 연속성을 조사한다.
한편, 단계 ST31에 있어서의 판정의 결과, 인접하는 블록과 불연속인 경우에는 단계 ST32에 있어서, 에러 매크로 블록 판정부(42)는 실시예 3에서 설명한 바와 같이, 화소 평균 차분(133)에 근거하여, 에러 블록인지의 여부의 판정을 행한다.
여기서, 단계 ST33에 있어서, 에러 블록으로 판정된 경우에는 단계 ST34에 있어서, 에러 매크로 블록 판정부(42)는 그 블록을 포함하는 매크로 블록을 에러 매크로 블록으로 판정하여, 에러 매크로 블록 판정 결과(111)를 도 2에 도시하는 전환기(9)로 출력한다.
상기 단계 ST33에 있어서, 에러 블록으로 판정되지 않는 경우에는 단계 ST35에 있어서, 모든 블록에 대해서, 상기의 판정을 행하여, 어느 쪽의 블록에 대해서도 에러 블록으로 판정되지 않은 경우에는 단계 ST36에 있어서, 에러 매크로 블록 판정부(42)는 정상의 매크로 블록으로 판정하여, 에러 매크로 블록 판정 결과(111)를 전환기(9)로 출력한다.
상기 단계 ST36에서, 정상 매크로 블록으로 판정되는 것은 단계 ST31에서 인접하는 블록과의 연속성이 있다고 판정하거나, 또는 단계 ST33에서, 화소 평균 차분에 의해 에러 블록으로서 판정되지 않는 경우이지만, 단계 ST31에서 인접하는 블록과의 연속성이 있다고 판정하고, 또한 상기 단계 ST33에서, 화소 평균 차분에 의해 에러 블록으로서 판정되지 않는 경우에, 상기 단계 ST36에서, 정상 매크로 블록으로 판정하여도 좋다.
이 실시예에서는 매크로 블록의 양자화 단계 사이즈에 근거하여, 임계치 제어부(41)가 소정의 임계치(141)와 소정의 임계치(142)를 제어하고 있지만, 실시예 1 및 실시예 3과 마찬가지로, 양자화 단계 사이즈에 근거하여, 제어하지 않아도 좋다.
이상과 같이, 이 실시예 5에 의하면, 복수의 판정 방법에 근거하여 에러 매크로 블록을 판정하기 때문에, 더욱 확실하게 오류가 발생한 매크로 블록을 판정할 수 있고, 오류 판별을 피할 수 있는 효과를 얻을 수 있다.
또한, 판정 처리를 색차 블록으로부터 휘도 블록으로 계층적으로 행하고, 어떤 블록에서 에러 블록으로 판정된 경우에, 그 블록을 포함하는 매크로 블록을 에러 매크로 블록으로 판정하고, 이후의 블록의 판정 처리를 행하지 않기 때문에, 판정 처리에 따른 계산량을 삭감할 수 있는 효과를 얻을 수 있다.
<실시예 6>
실시예 1부터 실시예 5에서는 동화상에 있어서의 MPEG-4의 부호화 방식에 의한 화상 복호화 장치에 대해서 설명하였지만, 정지화상에 대해서도 적용할 수 있다. 또한, 블록 단위로 DCT, 양자화를 행하는 부호화 방식에 대해서 설명하였지만, 이것에 한정된 것이 아니라, DCT 이외의 직교 변환을 이용하는 경우 등, 블록 단위로 부호화를 행하는 모든 방식에 적용하는 것이 가능하다.
게다가, 8×8 화소의 블록 단위로 근방의 블록의 연속성을 조사하였지만, 이것에 한한 것이 아니라, 예를 들면, 16×16 화소의 매크로 블록 단위로, 근방의 매크로 블록과의 연속성을 조사할 수도 있다.
게다가, 블록 단위뿐만 아니라, 임의 형상의 영역 단위로 부호화하는 경우에도, 근방의 영역과의 연속성을 마찬가지로 조사하면 좋고, 임의 형상의 영역 단위로 부호화를 행하는 모든 방식에 적용하는 것이 가능하다.
<실시예 7>
본 발명의 실시예 7에 있어서의 화상 복호화 장치의 구성을 도시하는 블록도는 실시예 1에 있어서의 도 2와 동일하다. 실시예 1부터 실시예 6에서는 공간 방향의 화상 신호의 연속성을 이용하여, 비트 오류가 발생한 매크로 블록을 검출하였지만, 이 실시예는 시간 방향의 화상 신호의 상관을 이용하여, 비트 오류가 발생한 매크로 블록을 검출하는 것이다.
화상을 부호화할 때에, 동작이 적은 경우에는 프레임간에 상관이 있는 것을 이용한 프레임간 예측 부호화가 행하여진다. 대표적인 방식이 동작 보상 예측으로, 어떤 정해진 화상 사이즈의 블록 단위로, 미리 정해진 범위에, 차분 신호가 가장 작아지는 블록을 과거의 프레임으로부터 탐색하고, 탐색한 결과의 블록과 부호화 대상 블록의 위치의 어긋남을 동작 벡터로 하고, 이 동작 벡터와 차분 신호(예측 오차 신호)를 부호화하여, 부호화 비트 스트림에 다중화한다.
과거의 프레임 내에 비슷한 블록이 존재하면, 예측 오차 신호의 분산은 작아지기 때문에, 효율적으로 부호화할 수 있다. 이것에 대하여, 과거의 프레임 내에 비슷한 블록이 존재하지 않는 경우에는 예측 오차 신호의 분산이 커지기 때문에, 프레임 내의 정보만으로 부호화(인트러 부호화)를 행한다. 복호화 장치에서는 실시예 1에서 설명한 바와 같이, 부호화 비트 스트림(101)으로부터 동작 벡터(103)와 예측 오차 신호(109)를 복호화하고, 복호화한 동작 벡터(103)에 근거하여 예측 화상(107)을 추출하며, 복호화한 예측 오차 신호(109)와 가산함으로써, 복호 화상 신호(110)를 복원한다.
이 실시예에서는 부호화 장치측에서, 예측 오차 신호(109)의 분산이 커지는 경우에, 인트러 부호화가 선택되어 있는 것을 이용하여, 복호화 장치측에서 복호화된 예측 오차 신호(109)의 분산을 임계치 처리함으로써, 비트 오류가 발생한 매크로 블록을 검출한다.
도 14는 실시예 7에 의한 에러 매크로 블록 검출부(8; 에러 부분 화상 영역 검출 수단)의 내부 구성을 도시하는 블록도이다. 도 14에 있어서, 51은 예측 오차 신호 분산 산출부로, 예측 오차 신호(109)의 분산을 구하여 예측 오차 신호 분산(151)을 출력한다. 52는 복호 화상 신호 분산 산출부로, 복호 화상 신호(110)의 분산을 구하여 복호 화상 신호 분산(152)을 출력한다. 53은 에러 매크로 블록 판정부로, 예측 오차 신호 분산(151) 및 복호 화상 신호 분산(152)에 근거하여, 에러 매크로 블록인지의 판정을 행하여, 에러 매크로 블록 판정 결과(111)를 출력한다.
다음에 동작에 대해서 설명한다.
도 15는 에러 매크로 블록 검출부(8)의 동작을 도시하는 흐름도가다. 이 실시예에 있어서의 에러 매크로 블록 검출부(8)는 인터 매크로 블록에 대해서만 적용되고, 인트러 매크로 블록의 경우에는 적용되지 않는다.
단계 ST41에 있어서, 도 2의 가변 길이 복호화부(1)에 의해 복호화된 부가 정보(104)에 의해, 인터 매크로 블록인지 인트러 매크로 블록인지의 판정이 행하여진다. 인트러 매크로 블록의 경우에는 실시예 1에서 실시예 5 중 어느 하나의 수법을 이용할 수 있다. 인터 매크로 블록의 경우에는 이후의 처리에 의해 에러 매크로 블록을 판정한다.
단계 ST42에 있어서, 예측 오차 신호 분산 산출부(51)는 다음 (10)식에 의해, 복호화된 예측 오차 신호(109)의 분산을 구하여 예측 오차 신호 분산(151)을 출력한다. 여기서, σ2(P)는 예측 오차 신호 분산, pi, j는 N×N 화소 사이즈의 예측 오차 블록의 i행, j열의 화소 값이고, mp는 N×N 화소 사이즈의 화소 값의 평균을 나타낸다.
(10)
단계 ST43에 있어서, 복호 화상 신호 분산 산출부(52)는 다음 (11)식에 의해, 복호 화상 신호(110)의 분산을 구하여 복호 화상 신호 분산(152)을 출력한다. 여기서, σ2(D)는 예측 오차 신호 분산, di, j는 N×N 화소 사이즈의 복호 블록의 i행, j열의 화소 값이고, md는 N×N 화소 사이즈의 화소 값의 평균을 나타낸다.
(11)
단계 ST44에 있어서, 에러 매크로 블록 판정부(53)는 예측 오차 신호 분산 산출부(51)가 구한 예측 오차 신호 분산(151)과, 복호 화상 신호 분산 산출부(52)가 구한 복호 화상 신호 분산(152)과, 소정의 임계치(TH3)를 이용하여, 다음의(12)식에 의해 비교를 행한다.
σ2(P)>σ2(D)+TH3 (12)
상기 단계 ST44에 있어서, 예측 오차 신호 분산(σ2(P))이 복호 화상 신호 분산(σ2(D))에 소정의 임계치(TH3)를 더한 값보다 큰 경우에는 단계 ST45에 있어서, 에러 매크로 블록 판정부(53)는 그 매크로 블록을 에러 매크로 블록으로 판정한다.
상기 단계(ST44)에 있어서, 예측 오차 신호 분산(σ2(P))이 복호 화상 신호 분산(σ2(D))에 소정의 임계치(TH3)를 더한 값보다 크지 않은 경우에는 단계 ST46에 있어서, 에러 매크로 블록 판정부(53)는 그 매크로 블록을 정상 매크로 블록으로 판정한다.
이 실시예에 있어서, 예측 오차 신호 분산(σ2(P))과 복호 화상 신호 분산(σ2(D))을, 각각 예측 오차 신호(109) 및 복호 화상 신호(110)의 대표값으로 하고 있지만, 평균이나 제곱합을 대표값으로 하여도 좋다. 또한, 이 실시예에서 설명한 수법과 실시예 1부터 실시예 5에서 설명한 수법을 조합하여 에러 매크로 블록의 판정을 행할 수도 있다.
이상과 같이, 이 실시예 7에 의하면, 예측 오차 신호 분산(151)과 복호 화상 신호 분산(152)을 비교함으로써, 시간 방향의 화상 신호의 상관성을 이용하여 에러매크로 블록의 검출을 행할 수 있어, 오류를 조기에 검출하여, 오류의 전파나 오류에 의한 화질의 열화를 최소한으로 억제할 수 있는 효과를 얻을 수 있다.
<실시예 8>
본 발명의 실시예 8은 전송로 또는 기록매체로부터 부호화 비트 스트림을 수신하여, 화상의 복호화 및 표시를 행하는 화상 복호화 장치로, 비트 오류의 발생 빈도를 검지하여, 발생 빈도가 높다고 판정된 경우에, 상기의 에러 매크로 블록 검출부를 기동시킴으로써, 에러 매크로 블록 검출부의 오동작을 적게 하여, 복호 오류에 의한 화질 열화를 안정되게 억제하는 것이다.
상기의 에러 매크로 블록 검출부는 신택스 해석 과정에서 복호화가 불가능하게 되거나, 또는 부정한 데이터를 복호화한 화상 데이터에 있어서 치명적인 오류를 검출하는 것보다 이전에, 화상 신호의 정상적인 성질에 근거하여 오류를 추정하여 검출하기 때문에, 오류 검출의 가능성이 있다. 그래서, 이 실시예는 비트 오류가 빈번하게 발생하는 수신 상황의 경우에만, 에러 매크로 블록 검출부를 기동시켜서, 오류에 대한 내성을 높이고, 전체적으로 안정된 복호화 동작을 행하는 것이다.
도 16은 실시예 8에 의한 화상 복호화 장치의 구성을 도시하는 블록도이다. 도면에 있어서, 61은 오류 감시부로, 미디어 패킷 열(201)을 입력하고, 비트 오류 카운트치(202)를 출력한다. 62는 오류 검출 기동 제어부로, 비트 오류 카운트치(202)를 입력하고, 오류 검출 기동 지시 플래그(203)를 출력함으로써, 에러 매크로 블록 검출부(8)의 기동을 제어한다. 63은 전환부로, 오류 검출 기동 지시 플래그(203)에 의해, 가산부(7)로부터의 복호 화상 신호(110)를 에러 매크로 블록 검출부(8)에 입력시킨다. 71은 감시부로, 오류 감시부(61)와 오류 검출 기동 제어부(62)로 구성되어 있다. 그 밖의 구성은 실시예 1에 있어서의 도 2의 구성과 동등한 것이다.
도 17은 미디어 패킷 열(201)의 구성을 도시하는 도면이다. 미디어 패킷은 비디오 데이터 외에, 그것과 동기하여 복호화·제시되는 오디오 데이터나, 텍스트·그래픽스·정지화 등 여러가지의 미디어를 소정의 룰에 따라서 통일된 포맷으로 패킹하는 디지털 데이터 단위로 정의한다. 예를 들면, MPEG-2(ISO/IEC13818-1) Packetized Elementary Stream(PES), ITU-T H.223 AL-PDU 등을 들 수 있다.
도 17에 있어서, 패킷 헤더는 패킷의 속성이나 미디어의 종별 등을 기술하는 각종의 헤더 정보이고, 미디어 데이터는 비디오, 오디오, 데이터 등의 고유의 부호화 데이터이며, 오류 검출 부호는 CRC(Cyclic Redundancy Check) 등의 오류 검출을 위한 부가 비트이다. 도 17과 같은 통일된 미디어 패킷의 형식으로 전송되고, 그 중의 화상 부호화 데이터(부호화 비트 스트림(101))만이 도 16에 있어서의 가변 길이 복호화부(1)에 공급된다.
다음에 동작에 대해서 설명한다.
부분 화상 영역 데이터 복호화 수단(11) 및 에러 매크로 블록 검출부(8) 이후의 동작은 실시예 1과 동등하다. 오류 감시부(61)는 미디어 패킷 열(201)을 입력하고, 거기에 포함되어 있는 오류 검출 부호에 의해서, 비트 오류 발생 빈도를 감시하고, 검출된 비트 수를 카운트하여, 비트 오류 카운트치(202)를 출력한다.
오류 검출 기동 제어부(62)는 오류 감시부(61)로부터의 오류 검출 결과인 비트 오류 카운트치(202)를, 소정의 단위 시간 간격으로 체크하여, 소정의 단위 시간 간격에 있어서의 비트 오류 카운트치(202)가, 소정의 임계치를 넘는 경우에, 수신 상황이 열악(전송로의 비트 에러 레이트가 크고, 기억매체로부터의 판독이 불안정 등)하다고 판단하고, 오류 검출 기동 플래그(203)를 출력한다. 한편, 소정의 단위 시간 간격에 있어서의 비트 오류 카운트치(202)가, 소정의 임계치를 넘지 않는 경우에는 수신 상황이 양호하다고 판단하고, 오류 검출 기동 플래그(203)를 출력하지 않는다.
전환부(63)는 오류 검출 기동 제어부(62)로부터의 오류 검출 기동 플래그(203)를 입력하였을 때에는 가산부(7)로부터의 복호 화상 신호(110)를 에러 매크로 블록 검출부(8)에 입력시키고, 에러 매크로 블록 검출부(8)를 기동시킨다. 한편, 전환부(63)는 오류 검출 기동 제어부(62)로부터의 오류 검출 기동 플래그(203)를 입력하지 않을 때에는 에러 매크로 블록 검출부(8)를 기동시키지 않고, 가산부(7)로부터의 복호 화상 신호(110)를 그대로 출력한다.
에러 매크로 블록 검출부(8)는 실시예 1에서 실시예 7까지의 여러가지의 구성에서 오류가 발생한 매크로 블록을 검출하고, 에러 매크로 블록 수정부(10)는 손실된 화상 영역을 수정 처리한다.
도 18은 오류 감시부(61)의 내부 구성을 도시하는 블록도이다. 비트 오류 검출부(81)는 미디어 패킷 열(201)을 입력하고, 패킷 단위에 부가되어 있는 오류 검출 부호에 의해서, 패킷 중의 비트 오류를 검출하여, 패킷 단위의 비트 오류 카운트치(211)를 출력한다. 비트 오류 카운터(82)는 비트 오류 검출부(81)로부터의패킷 단위의 비트 오류 카운트치(211)를 미디어 패킷마다 누산하고, 누산한 비트 오류 카운트치(202)를 오류 검출 기동 제어부(62)로 출력한다. 이상과 같이 하여, 오류 감시부(61)는 비트 오류 카운트치(202)의 추이를 감시함으로써, 전송로에 있어서의 한참 전송 중인 비트 오류 발생 빈도나, 기억매체로부터의 한참 판독 중인 비트 오류 발생 빈도를 감시한다.
오류 감시부(61)의 감시 방법으로서, 상기한 오류 검출 부호에 근거하는 방법 외에, 미디어 패킷 열을 반송하는 전파의 수신 전계 강도나, 전파의 지연 검파 후의 위상 정보를 감시하여도 좋다. 또한, 오디오 등의 다른 미디어 패킷에 있어서의 비트 오류의 상황을 감시하고, 그 감시 결과도 포함시켜서 고려하여도 좋다.
오류 검출 기동 제어부(62)에 있어서의 제어에 대해서도 상기에 나타낸 온, 오프 제어뿐만 아니라, 여러가지의 제어방법을 생각할 수 있다. 예를 들면, 실시예 2 및 실시예 4에서는 부가 정보(104)에 포함되는 매크로 블록의 양자화 단계 사이즈에 근거하여 임계치를 제어하였지만, 오류 감시부(61)로부터의 비트 오류 카운트치(202)에 근거하여, 임계치를 제어하여도 좋다.
즉, 비트 오류 카운트치(202)가 큰 경우에는 수신 상황이 열악하고 오류가 발생하는 확률이 높기 때문에, 임계치를 작게 설정한다. 한편, 비트 오류 카운트치(202)가 작은 경우에는 수신 상황이 안정되어 오류가 발생하는 확률이 낮기 때문에, 임계치를 크게 설정한다. 이와 같이, 오류 감시부(61)의 출력 결과에 따라서 임계치를 설정함으로써, 에러 매크로 블록 검출부(8)의 처리를 제어하고, 수신 상황이 양호할 때, 에러 매크로 블록 검출부(8)의 오류 검출을 회피할 수 있다.
오류 검출 기동 제어부(62)의 다른 제어방법으로서, 연속성의 평가 범위를 변화시킬 수도 있다. 실시예 1에서는 휘도 블록, 색차 블록마다 8×8 화소 사이즈의 블록 단위로 연속성의 판정을 행하고, 적어도 1개의 블록에서 불연속성의 판정이 이루어진 경우에, 그 블록을 포함하는 매크로 블록을 에러 매크로 블록으로 판정하였지만, 오류 감시부(61)의 출력 결과에 의해, 안정된 수신 상황이라고 판단된 경우에는 오류가 발생할 확률이 낮기 때문에, 에러 매크로 블록의 검출 조건을 엄격하게 하기 위해서, 휘도 블록의 경우에는 16×16 화소의 매크로 블록 단위로 불연속성을 판정하여도 좋다. 또한, 판정할 때에 이용하는 화소간 차분의 평가 대상 화소를 늘려도 좋다.
이상과 같이, 이 실시예 8에 의하면, 전송로의 회선 품질이나 기억매체로부터의 판독의 신뢰성 등에 따라서, 적응적으로 에러 매크로 블록 검출부(8)를 작동시킴으로써, 수신 상황이 양호한 경우에는 에러 매크로 블록 검출부(8)에 의한 오류 검출을 회피할 수 있고, 전체적으로 안정된 복호화 동작을 행할 수 있는 효과를 얻을 수 있다.
이상과 같이, 본 발명에 따른 화상 복호화 장치는 오류가 발생한 매크로 블록을 검출함으로써, 화상의 복호화 과정에서 오류를 조기에 검출하여, 오류의 전파나 오류에 의한 화질의 열화를 최소한으로 억제하는 것에 적합하다.

Claims (14)

  1. 입력 화상 신호를 부분 화상 영역 단위로 압축 부호화하여 생성된 부호화 비트 스트림을 복호화하는 화상 복호화 장치에 있어서,
    상기 부호화 비트 스트림을 상기 부분 화상 영역 단위로 복호화하는 부분 화상 영역 데이터 복호화 수단과,
    상기 부분 화상 영역 데이터 복호화 수단에 의해 복호화된 복호 부분 화상 영역과 그것에 인접하는 부분 화상 영역의 경계에 걸친 인접 화소간에 있어서의 제 1 화소 레벨의 변화량과, 상기 복호 부분 화상 영역에 인접하는 부분 화상 영역 내의 화소간에 있어서의 제 2 화소 레벨의 변화량을 구하고, 상기 제 1 화소 레벨의 변화량, 상기 제 2 화소 레벨의 변화량, 및 상기 제 1 화소 레벨의 변화량 및 상기 제 2 화소 레벨의 변화량에 따른 소정의 임계치에 근거하여, 상기 복호 부분 화상 영역이 상기 부호화 비트 스트림에 발생한 비트 오류의 영향을 받은 에러 부분 화상 영역인 것을 검출하는 에러 부분 화상 영역 검출 수단을 구비한 것을 특징으로 하는 화상 복호화 장치.
  2. 제 1 항에 있어서,
    에러 부분 화상 영역 검출 수단이 복호 부분 화상 영역과 그것에 인접하는 부분 화상 영역의 경계에 걸친 인접 화소간에 있어서의 제 1 화소 레벨의 차분 값과, 상기 복호 부분 화상 영역에 인접하는 부분 화상 영역 내의 화소간에 있어서의제 2 화소 레벨의 차분 값과 제 3 화소 레벨의 차분 값을 구하고, 상기 제 1 화소 레벨의 차분 값과 상기 제 2 화소 레벨의 차분 값의 차분 값, 상기 제 2 화소 레벨의 차분 값과 상기 제 3 화소 레벨의 차분 값의 차분 값, 및 소정의 임계치에 근거하여, 상기 복호 부분 화상 영역이 상기 부호화 비트 스트림에 발생한 비트 오류의 영향을 받은 에러 부분 화상 영역인 것을 검출하는 것을 특징으로 하는 화상 복호화 장치.
  3. 제 1 항에 있어서,
    부호화 비트 스트림으로부터 복호화된 양자화 단계 사이즈에 근거하여, 에러 부분 화상 영역 검출 수단이 에러 부분 화상 영역을 검출할 때의 소정의 임계치를 제어하는 임계치 제어 수단을 구비한 것을 특징으로 하는 화상 복호화 장치.
  4. 입력 화상 신호를 부분 화상 영역 단위로 압축 부호화하여 생성된 부호화 비트 스트림을 복호화하는 화상 복호화 장치에 있어서,
    상기 부호화 비트 스트림을 상기 부분 화상 영역 단위로 복호화하는 부분 화상 영역 데이터 복호화 수단과,
    상기 부분 화상 영역 데이터 복호화 수단에 의해서 복호화된 복호 부분 화상 영역에 있어서의 제 1 화소 레벨의 대표값과, 상기 복호 부분 화상 영역 근방의 부분 화상 영역에 있어서의 제 2 화소 레벨의 대표값을 구하고, 상기 제 1 화소 레벨의 대표값, 상기 제 2 화소 레벨의 대표값, 및 상기 제 1 화소 레벨의 대표값 및상기 제 2 화소 레벨의 대표값에 따른 소정의 임계치에 근거하여, 상기 복호 부분 화상 영역이 상기 부호화 비트 스트림에 발생한 비트 오류의 영향을 받은 에러 부분 화상 영역인 것을 검출하는 에러 부분 화상 영역 검출 수단을 구비한 것을 특징으로 하는 화상 복호화 장치.
  5. 제 4 항에 있어서,
    에러 부분 화상 영역 검출 수단이 제 1 화소 레벨의 대표값으로서, 제 1 화소 레벨의 평균치를 구하고, 복호 부분 화상 영역 근방의 복수의 부분 화상 영역에 있어서의 복수의 제 2 화소 레벨의 대표값으로서, 복수의 제 2 화소 레벨의 평균치를 구하며, 상기 제 1 화소 레벨의 평균치와 상기 각 제 2 화소 레벨의 평균치의 차분, 및 상기 차분에 따른 소정의 임계치에 근거하여, 에러 부분 화상 영역을 검출하는 것을 특징으로 하는 화상 복호화 장치.
  6. 제 5 항에 있어서,
    에러 부분 화상 영역 검출 수단이 복호 부분 화상 영역과 근방의 각 부분 화상 영역의 상관에 근거하여, 제 1 화소 레벨의 평균치와 각 제 2 화소 레벨의 평균치의 차분에 대하여 가중을 행하는 것을 특징으로 하는 화상 복호화 장치.
  7. 제 4 항에 있어서,
    부호화 비트 스트림으로부터 복호화된 양자화 단계 사이즈에 근거하여, 에러부분 화상 영역 검출 수단이 에러 부분 화상 영역을 검출할 때의 소정의 임계치를 제어하는 임계치 제어 수단을 구비한 것을 특징으로 하는 화상 복호화 장치.
  8. 입력 화상 신호를 부분 화상 영역 단위로 압축 부호화하여 생성된 부호화 비트 스트림을 복호화하는 화상 복호화 장치에 있어서,
    상기 부호화 비트 스트림을 상기 부분 화상 영역 단위로 복호화하는 부분 화상 영역 데이터 복호화 수단과,
    상기 부분 화상 영역 데이터 복호화 수단에 의해 복호화된 복호 부분 화상 영역과 그것에 인접하는 부분 화상 영역의 경계에 걸친 인접 화소간에 있어서의 제 1 화소 레벨의 변화량과, 상기 복호화 부분 화상 영역에 인접하는 부분 화상 영역 내의 화소간에 있어서의 제 2 화소 레벨의 변화량을 구하고, 상기 제 1 화소 레벨의 변화량, 상기 제 2 화소 레벨의 변화량, 및 상기 제 1 화소 레벨의 변화량 및 상기 제 2 화소 레벨의 변화량에 따른 제 1 소정의 임계치에 근거하여, 상기 복호 부분 화상 영역과 상기 인접하는 부분 화상 영역의 연속성을 판정하고, 상기 복호 부분 화상 영역에 있어서의 제 1 화소 레벨의 대표값과, 상기 복호 부분 화상 영역 근방의 부분 화상 영역에 있어서의 제 2 화소 레벨의 대표값을 구하고, 상기 복호 부분 화상 영역과 상기 인접하는 부분 화상 영역의 연속성의 판정, 및 상기 제 1 화소 레벨의 대표값, 상기 제 2 화소 레벨의 대표값, 상기 제 1 화소 레벨의 대표값 및 상기 제 2 화소 레벨의 대표값에 따른 제 2 소정의 임계치에 근거하여, 상기 복호 부분 화상 영역이 상기 부호화 비트 스트림에 발생한 비트 오류의 영향을 받은 에러 부분 화상 영역인 것을 검출하는 에러 부분 화상 영역 검출 수단을 구비한 것을 특징으로 하는 화상 복호화 장치.
  9. 제 8 항에 있어서,
    부호화 비트 스트림으로부터 복호화된 양자화 단계 사이즈에 근거하여, 에러 부분 화상 영역 검출 수단이 에러 부분 화상 영역을 검출할 때의 제 1 및 제 2 소정의 임계치를 제어하는 임계치 제어 수단을 구비한 것을 특징으로 하는 화상 복호화 장치.
  10. 입력 화상 신호를 부분 화상 영역 단위로 압축 부호화하여 생성된 부호화 비트 스트림을 복호화하는 화상 복호화 장치에 있어서,
    상기 부호화 비트 스트림을 상기 부분 화상 영역 단위로 복호화하는 부분 화상 영역 데이터 복호화 수단과,
    상기 부분 화상 영역 데이터 복호화 수단에 의해 복호화된 복호 화상 신호와 예측 오차 신호의 비교에 근거하여, 상기 복호 부분 화상 영역이 상기 부호화 비트 스트림에 발생한 비트 오류의 영향을 받은 에러 부분 화상 영역인 것을 검출하는 에러 부분 화상 영역 검출 수단을 구비한 것을 특징으로 하는 화상 복호화 장치.
  11. 제 10 항에 있어서,
    에러 부분 화상 영역 검출 수단이 복호 화상 신호의 대표값과 예측 오차 신호의 대표값을 구하고, 상기 복호 화상 신호의 대표값, 상기 예측 오차 신호의 대표값, 및 상기 복호 화상 신호의 대표값 및 상기 예측 오차 신호의 대표값에 따른 소정의 임계치에 근거하여, 에러 부분 화상 영역인 것을 검출하는 것을 특징으로 하는 화상 복호화 장치.
  12. 입력 화상 신호를 부분 화상 영역 단위로 압축 부호화하여 생성된 부호화 비트 스트림을 포함하는 미디어 패킷 열을 수신하고, 부호화 비트 스트림을 복호화하는 화상 복호화 장치에 있어서,
    상기 부호화 비트 스트림을 상기 부분 화상 영역 단위로 복호화하는 부분 화상 영역 데이터 복호화 수단과,
    상기 부분 화상 영역 데이터 복호화 수단에 의해 복호화된 복호 부분 화상 영역과 그 근방의 부분 화상 영역에 있어서의 화상 신호 특성의 비교에 근거하여, 상기 복호 부분 화상 영역이 상기 부호화 비트 스트림에 발생한 비트 오류의 영향을 받은 에러 부분 화상 영역인 것을, 상기 부분 화상 영역 단위로 검출하는 에러 부분 화상 영역 검출 수단과, 상기 미디어 패킷 열에 포함되어 있는 오류 검출 부호에 근거하여, 상기 미디어 패킷 열을 수신할 때의 비트 오류 발생 빈도를 감시하는 감시 수단을 구비하고, 상기 감시 수단의 감시 결과에 근거하여, 상기 에러 부분 화상 영역 검출 수단을 제어하는 것을 특징으로 하는 화상 복호화 장치.
  13. 제 12 항에 있어서,
    감시 수단의 감시 결과에 근거하여, 에러 부분 화상 영역 검출 수단이 복호화된 복호 부분 화상 영역과 그 근방의 부분 화상 영역에 있어서의 화상 신호 특성을 비교할 때의 비교 조건을 제어하는 것을 특징으로 하는 화상 복호화 장치.
  14. 제 12 항에 있어서,
    감시 수단의 감시 결과에 근거하여, 에러 부분 화상 영역 검출 수단이 에러 부분 화상 영역을 검출할 때의 부분 화상 영역 단위를 제어하는 것을 특징으로 하는 화상 복호화 장치.
KR1020017005073A 1998-10-23 1999-10-21 화상 복호화 장치 KR20010080299A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP30304098A JP3576402B2 (ja) 1998-10-23 1998-10-23 画像復号化装置
JP1998-303040 1998-10-23
PCT/JP1999/005820 WO2000025523A1 (en) 1998-10-23 1999-10-21 Image decoding device

Publications (1)

Publication Number Publication Date
KR20010080299A true KR20010080299A (ko) 2001-08-22

Family

ID=17916208

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020017005073A KR20010080299A (ko) 1998-10-23 1999-10-21 화상 복호화 장치

Country Status (8)

Country Link
US (1) US6697433B1 (ko)
EP (1) EP1126725A4 (ko)
JP (1) JP3576402B2 (ko)
KR (1) KR20010080299A (ko)
AU (1) AU6227999A (ko)
NO (1) NO20011957L (ko)
TW (1) TW450008B (ko)
WO (1) WO2000025523A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100548316B1 (ko) * 2002-11-08 2006-02-02 엘지전자 주식회사 동영상 에러 보정 방법 및 장치
KR100935608B1 (ko) * 2008-05-14 2010-01-07 이디텍 주식회사 움직임 보상 보간 프레임의 보간 오류 은닉 방법
US7653136B2 (en) 2004-01-14 2010-01-26 Samsung Electronics Co., Ltd. Decoding method and decoding apparatus

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7031393B2 (en) * 2000-10-20 2006-04-18 Matsushita Electric Industrial Co., Ltd. Block distortion detection method, block distortion detection apparatus, block distortion removal method, and block distortion removal apparatus
JP2002191048A (ja) * 2000-12-22 2002-07-05 Ando Electric Co Ltd 動画符号通信評価方法及び動画符号通信評価装置
US20030012286A1 (en) * 2001-07-10 2003-01-16 Motorola, Inc. Method and device for suspecting errors and recovering macroblock data in video coding
US7266150B2 (en) * 2001-07-11 2007-09-04 Dolby Laboratories, Inc. Interpolation of video compression frames
CN101448162B (zh) 2001-12-17 2013-01-02 微软公司 处理视频图像的方法
KR100504824B1 (ko) * 2003-04-08 2005-07-29 엘지전자 주식회사 이미지 신호 블록오류 보정 장치 및 방법
US10554985B2 (en) 2003-07-18 2020-02-04 Microsoft Technology Licensing, Llc DC coefficient signaling at small quantization step sizes
KR100987765B1 (ko) * 2003-09-30 2010-10-13 삼성전자주식회사 동영상 부호화기에서의 예측 수행 방법 및 장치
US20050137911A1 (en) * 2003-12-18 2005-06-23 Conn John P. Systems and methods for data insurance
JP2006065834A (ja) * 2004-07-26 2006-03-09 Murata Mach Ltd 画像処理装置および画像処理方法
KR101354151B1 (ko) * 2006-08-24 2014-01-28 삼성전자주식회사 영상 변환 방법 및 장치, 역변환 방법 및 장치
JPWO2008139721A1 (ja) * 2007-05-07 2010-07-29 パナソニック株式会社 復号化装置及び復号化方法
US9564988B2 (en) * 2007-07-26 2017-02-07 The Directv Group, Inc. Method and system for forming a formatted content stream and using a cyclic redundancy check
CN102113326A (zh) 2008-08-04 2011-06-29 杜比实验室特许公司 重叠块差异估计和补偿体系结构
US8934545B2 (en) * 2009-02-13 2015-01-13 Yahoo! Inc. Extraction of video fingerprints and identification of multimedia using video fingerprinting
US8379715B2 (en) * 2009-08-27 2013-02-19 Nxp B. V. System and method for video compression using non-linear quantization and modular arithmetic computation
JP2017103744A (ja) * 2015-12-04 2017-06-08 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置、及び画像符号化復号装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1987002210A1 (en) * 1985-10-02 1987-04-09 Deutsche Thomson-Brandt Gmbh Process for correcting transmission errors
JPH0714211B2 (ja) * 1989-07-14 1995-02-15 国際電信電話株式会社 動画像符号化のブロック歪除去方法および装置
JPH04180381A (ja) * 1990-11-14 1992-06-26 Matsushita Electric Ind Co Ltd 画像信号の復号化装置
KR0166716B1 (ko) 1992-06-18 1999-03-20 강진구 블럭 dpcm을 이용한 부호화/복호화방법 및 장치
KR960014184B1 (ko) 1993-08-31 1996-10-14 대우전자 주식회사 분류 벡터 양자화된 영상의 클라스(Class) 오류 검출 방법
KR960012931B1 (ko) * 1993-08-31 1996-09-25 대우전자 주식회사 분류 벡터 양자화된 영상의 채널 오류 은폐 방법
US5471252A (en) * 1993-11-03 1995-11-28 Matsushita Electric Industrial Corporation Of America Method and apparatus for estimating motion vector fields by rejecting local outliers
JP3432904B2 (ja) * 1994-08-31 2003-08-04 三洋電機株式会社 ブロック歪み検出装置
JP3540855B2 (ja) * 1995-03-08 2004-07-07 シャープ株式会社 ブロック歪み補正器
JPH0927955A (ja) * 1995-07-11 1997-01-28 Matsushita Electric Ind Co Ltd 画像処理装置
JP3176270B2 (ja) * 1995-10-24 2001-06-11 京セラ株式会社 画像復号化処理方法
KR100197368B1 (ko) * 1995-12-23 1999-06-15 전주범 영상 에러 복구 장치
KR100197366B1 (ko) * 1995-12-23 1999-06-15 전주범 영상 에러 복구 장치
JP3065251B2 (ja) * 1996-07-08 2000-07-17 日本電気株式会社 動画像復号装置
JP3466032B2 (ja) * 1996-10-24 2003-11-10 富士通株式会社 動画像符号化装置および復号化装置
US20030012286A1 (en) * 2001-07-10 2003-01-16 Motorola, Inc. Method and device for suspecting errors and recovering macroblock data in video coding

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100548316B1 (ko) * 2002-11-08 2006-02-02 엘지전자 주식회사 동영상 에러 보정 방법 및 장치
US7653136B2 (en) 2004-01-14 2010-01-26 Samsung Electronics Co., Ltd. Decoding method and decoding apparatus
KR100935608B1 (ko) * 2008-05-14 2010-01-07 이디텍 주식회사 움직임 보상 보간 프레임의 보간 오류 은닉 방법

Also Published As

Publication number Publication date
JP2002027475A (ja) 2002-01-25
NO20011957D0 (no) 2001-04-20
AU6227999A (en) 2000-05-15
JP3576402B2 (ja) 2004-10-13
US6697433B1 (en) 2004-02-24
WO2000025523A1 (en) 2000-05-04
EP1126725A4 (en) 2006-09-20
EP1126725A1 (en) 2001-08-22
NO20011957L (no) 2001-06-12
TW450008B (en) 2001-08-11

Similar Documents

Publication Publication Date Title
KR20010080299A (ko) 화상 복호화 장치
EP0933948B1 (en) Video encoder and video encoding method
US5737022A (en) Motion picture error concealment using simplified motion compensation
KR100587280B1 (ko) 오류 은폐방법
EP0710031B1 (en) System for coding a video signal in the presence of an image intensity gradient
JP3840020B2 (ja) 動画像符号化装置
US5500689A (en) System for detecting a video signal image intensity gradient
US6493392B1 (en) Method for coding digital interlaced moving video
JP3519441B2 (ja) 動画像伝送装置
US6480546B1 (en) Error concealment method in a motion video decompression system
JPH07264600A (ja) 画像符号化データの同期ワード多重化方式
JPH09294262A (ja) 画像符号化装置
JP4624308B2 (ja) 動画像復号装置及び動画像復号方法
JP3884003B2 (ja) 画像復号化装置
KR20070090494A (ko) 평균 움직임 벡터를 이용한 인터 프레임 에러 은닉 장치 및방법
KR20030065694A (ko) 시공간적 정보를 이용한 인트라 프레임의 에러 은닉방법
KR100388802B1 (ko) 오류은폐장치및방법
JP2002354488A (ja) 動画像伝送装置
KR100632106B1 (ko) 디지털 비월주사 인터픽쳐 부호화/복호화 방법
KR100620695B1 (ko) 동영상 데이터의 비디오 패킷 단위 전송 방법
KR100299962B1 (ko) 동영상 부호화 시스템의 프레임간 적응 평활화 장치 및 방법
KR100679787B1 (ko) 동영상 데이터의 비디오 패킷 단위 전송 방법 및 장치,디코딩 방법 및 장치
Ding et al. Correction of random and outburst error in MPEG-2 code
KR20070018590A (ko) 비디오 전송 시스템 및 디블로킹 제어 방법
KR20050089457A (ko) 동영상 복호화 시 에러 은닉 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E601 Decision to refuse application