KR100267805B1 - 오염영역을 판정하는 동화상복호방법 및 장치 - Google Patents

오염영역을 판정하는 동화상복호방법 및 장치 Download PDF

Info

Publication number
KR100267805B1
KR100267805B1 KR1019960046608A KR19960046608A KR100267805B1 KR 100267805 B1 KR100267805 B1 KR 100267805B1 KR 1019960046608 A KR1019960046608 A KR 1019960046608A KR 19960046608 A KR19960046608 A KR 19960046608A KR 100267805 B1 KR100267805 B1 KR 100267805B1
Authority
KR
South Korea
Prior art keywords
picture
image
unit
contaminated area
error
Prior art date
Application number
KR1019960046608A
Other languages
English (en)
Other versions
KR970068641A (ko
Inventor
순이치 세키구치
고타로 아사이
Original Assignee
다니구찌 이찌로오, 기타오카 다카시
미쓰비시덴키 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 다니구찌 이찌로오, 기타오카 다카시, 미쓰비시덴키 가부시키가이샤 filed Critical 다니구찌 이찌로오, 기타오카 다카시
Publication of KR970068641A publication Critical patent/KR970068641A/ko
Application granted granted Critical
Publication of KR100267805B1 publication Critical patent/KR100267805B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

부호화된 동화상데이타를 복호하는 동화상 복호방법 및 장치에 관한 것으로서, 수복처리에 오차가 있는 것을 인식한 후에 그 수복처리가 실시된 픽쳐의 재생화상의 화질을 개선함과 동시에 수복처리에 따르는 오차의 공간적, 시간적영향을 억제하기 위해, 본 장치는 동화상데이타를 매크로블럭마다 해석하는 비트 스트림 해석부, 해석중에 에러가 검출되면, 그 영역을 오염영역으로서 등록하는 오명영역 등록부, 매크로 블럭을 복호할 때, 움직임보상예측에 사용되는 예측화상을 결정하는 움직임벡터 선택부, 예측화상의 오염유무를 판정하는 오염영역 판정부, 예측화상이 오염되어 있으면 그것에 필터를 거는 루프필터부를 갖는 구성으로 하였다.
이러한 구성에 의해 오염영역에 포함되는 예측화상이 평활화되므로 재생화상중에서 상기 예측화상이 화상의 다른 부분에서 두드러지게 다른 인상을 주는 상태가 회피되고, 에러에 의한 악영향의 전파를 저감할 수 있다.

Description

오염영역을 판정하는 동화상복호방법 및 장치
본 발명은 부호화된 동화상데이타를 복호하는 동화상 복호방법 및 장치에 관한 것으로서, 특히 부호화된 동화상데이타를 움직임보상예측을 이용해서 복호하는 동화상 복호방법 및 이 방법을 사용한 동화상 복호장치에 관한 것이다.
일반적으로 동화상은 시간적, 공간적으로 큰 용장도를 갖는다. 디지탈 고능률부호화기술에서는 움직임보상예측이나 DCT 등에 의해서 용장도를 제거하고 그 후에 양자화를 실행하여 양자화값이나 움직임벡터 등을 그 발생빈도에 따라서 가변길이 부호화하는 알고리듬이 많이 사용된다. ITU-T H. 261이나 MPEG(ISO/IEC11172-2, 13818-2)등의 국제표준 부호화방식에서도 이 알고리듬이 채용되고 있다.
그러나, 이 알고리듬에 의해 부호화된 데이타를 전송, 기록 또는 리드할 때 등 처리중에 어떠한 불합리가 발생하면, 복호시에 가변길이부호를 정확하게 해석할 수 없거가 또는 부호화 파라미터가 부정값을 취하는 등 복호에러(이하, 단지 「에러」라고도 한다)의 원인으로 된다. 에러는 복호화상의 부분적인 손실을 초래한다. 움직임보상예측을 실행하는 경우, 이러한 손실은 이후의 복호화상에도 악영향을 미친다.
이러한 사태를 회피하기 위해 복호장치에서는 손실된 화상과 유사하다고 고려되는 화상의 데이타에 의해서 손실된 화상을 수복하는 손실 수복(Error Concealment)기능을 구비하는 경우가 많다. 손실수복 알고리듬에 대해서는 종래부터 여러가지 제안이 이루어지고 있다.
그의 대부분은 동일 픽쳐내의 근방영역의 데이타를 사용해서 손실부분을 수복하는 공간적수복(Spatial Concealment)과 프레임메모리내에 남아 있는 과거 또는 미래의 화상데이타에 의해서 손실부분을 치환하는 시간적수복(Temporal Concealment)으로 분류된다. 픽쳐라고 하는 것은 화상의 단위로서 프레임이나 필드를 포함하는 개념이다.
공간적수복은 「공간적으로 서로 인접하는 소영역(화소, 블럭 등)은 일반적으로 유사하다(상관이 높다)」라는 식견을 이용하는 것으로서, 예를 들면 SPIE Visual Communications and Image Processing '93의 「Performance of MPEG Codecs in the Presence of Errors」 (Y. Q. Zhang and X. Lee, 1993)에서는 에러에 의해서 움직임보상예측을 위한 정보가 손실된 매크로블럭(이하 「손실매크로블럭」이라고 한다)을 근방의 정확하게 복호된 매크로블럭의 전체블럭의 평균 DC값에 따라서 치환한다.
한편, 시간적수복은 「일반적으로 시간적으로 근접한 픽쳐간의 움직임은 작고(즉, 시간적인 상관이 높고), 공간적으로 서로 인접하는 영역은 동일한 움직임을 한다」라는 식견을 이용한다. 예를 들면 SPIE Visual Communications and Image Processing '93의 「Transmission Error Detection, Resynchronization, and Error Concealment for MPEG Video Decoder」(S. H. Lee 외, 1993)에서는 근방의 정확하게 복호된 블럭의 움직임벡터에서 손실블럭의 움직임벡터를 추정하고, 추정된 움직임벡터를 사용해서 과거 또는 미래의 화상으로부터 예측화상을 특정하고 손실블럭을 치환하는 방법을 개시한다.
이들의 수복기술은 동화상의 일반적인 성질을 이용하는 것으로서, 동화상의 종류에 따라서는 단독으로 사용해도 항상 만족하는 결과를 초래한다고는 말할 수 없다. 그래서, 여러가지 동화상의 성질에 동적으로 대처하기 위해서 경우에 따라서 수복처리를 전환하는 방법도 제안되고 있다. 예를 들면, SPIE Visual Communications and Image Processing '92의 「Adaptive Error Concealment Algorithm for MPEG Compressed Video」(H. Sun 외, 1992)에 있어서 제안되는 방법에서는 수복의 대상으로 되는 블럭의 근방 블럭에 대해서 공간적 및 시간적상관을 구하여 이들의 상관비에 따라서 공간적수복과 시간적수복의 전환을 실행하고 있다.
이상은 복호측의 기술이지만, 부호화측에서도 에러의 영향을 작게 하는 조치가 취해진다. 동화상에서는 특히 시간방향으로의 손실의 영향의 전파가 심각하므로, 주기적으로 움직임보상예측을 실행하지 않고 자체 픽쳐내에서만 닫힌 인트라부호화를 실행하는 것, 즉 주기 리플래쉬를 실행하는 경우가 많다.
도 1은 MPEG1 또는 MPEG2를 사용해서 부호화를 실행하는 상태를 도시한 도면으로서, 복호시에 발생할 수 있는 시간방향의 에러전파의 상태를 도시하고 있다. 여기에서는 자체 픽쳐내에서 닫힌 부호화의 대상으로 되는 I픽쳐를 주기적으로 삽입하고 있다. 이 때문에, 일단 손실이 발생해도 다음의 I픽쳐가 도래하면 손실의 영향이 보이지 않게 되어 동화상복호 시퀀스 전체로서 에러내성이 향상된다. I픽쳐가 없는 경우, 동일도면과 같이 손실의 영향은 점차 확대되어 간다. 그 밖에 인트라부호화된 매크로블럭군을 주기적으로 삽입하는 인트라 슬라이스라 불리우는 방법도 있다.
한편, 동일 픽쳐내에 있어서도 DPCM(Differential Phase Code Modulatin) 등의 예측부호화가 실행되는 경우가 많으므로, 공간적인 손실영향의 전파를 방지하도록 DPCM에 주기적인 리세트의 단위가 마련되어 있다. 이 단위는 예를 들면 도 2에 도시한 MPEG1 또는 MPEG2로 정의되는 슬라이스에 상당한다. 동일도면은 복호시에 발생할 수 있는 공간방향의 에러전파의 상태를 도시하고 있다. 동일도면에서는 1 매크로블럭열을 1슬라이스로 구성하는 경우(A)와 2슬라이스로 구성하는 경우(B)를 도시한다. (B)와 같이 슬라이스의 길이를 짧게 하면, 손실파급범위가 좁아지므로, DPCM에 기인하는 에러는 조기에 리세트되어 공간방향의 손실의 영향의 전파를 저감할 수 있다.
에러수복처리는 에러정정처리에 의해서도 정정불가능한 비트에러에 대해서 실행되고, 그 목적은 화상의 손실을 최소한에 머물게 하는데 있다.
그러나, 수복된 화상데이타는 본래의 화상데이타와는 다른 것이다. 이후의 픽쳐에서는 수복된 화상영역에 따라서 움직임보상예측을 실행하므로, 예측화상도 본래의 예측화상과 다르다. 이렇게 해서 화질열화의 시간적전파가 발생한다. I픽쳐나 인트라슬라이스를 마련해도 그들 자체의 복호시에 에러가 발생할 가능성도 있다. 이와 같은 경우, I픽쳐 등의 효과는 기대할 수 없다.
종래의 복호측의 에러처리의 주안은 어떤 방법으로 수복처리를 적확하게 실행하는가에 있었다. 그 근본사상은 수복이 적확하면 어느 정도 그 처리가 실행된 픽쳐의 재생화상의 화질이 개선되는 사실에 입각한다. 그러나, 실제로는 수복에는 반드시 오차가 생긴다. 움직임보상예측을 실행하는 한 통상 이 오차에 의한 악영향은 확대되어 간다.
따라서, 본 발명의 목적은 수복처리에 오차가 있는 것을 인식한 후에 그 수복처리가 실시된 픽쳐의 재생화상의 화질을 개선함과 동시에 수복처리에 따르는 오차의 공간적, 시간적영향을 억제하는 것이다.
제1도는 MPEG1 또는 MPEG2를 사용해서 부호화를 실행하는 상태를 도시한 것으로 복호시에 발생할 수 있는 시간방향의 에러전파의 상태를 도시한 도면.
제2도는 MPEG1 또는 MPEG2로 정의되는 슬라이스를 도시한 것으로 복호시에 발생할 수 있는 공간방향의 에러전파의 상태를 도시한 도면.
제3도는 ITU-T H. 261규정의 비디오 비트 스트림의 데이타구조를 도시한 도면.
제4도는 실시형태1에 관한 복호장치의 구성도.
제5도는 실시형태1의 장치에 의한 복호동작을 도시한 흐름도.
제6도는 수복(concealment)처리의 수순을 도시한 흐름도.
제7도는 실시형태1의 움직임벡터 선택부(14)의 내부구성도.
제8도는 오염영역의 등록, 판정, 필터링처리의 개요를 도시한 도면.
제9도는 실시형태1의 오염영역 판정부(16)의 내부구성도.
제10도는 오염영역 등록판정부(31)의 처리상태를 도시한 도면.
제11도는 루프필터부(20)에 사용되는 필터의 계수를 도시한 도면.
제12도는 실시형태2에 관한 복호장치의 구성도.
제13도는 MPEG1 비디오규정의 비디오 비트 스트림의 데이타구조를 도시한 도면.
제14도는 실시형태2의 움직임벡터 선택부(14)의 내부구성도.
제15도는 실시형태2에 의한 오염영역의 등록, 판정, 필터링처리의 전체 처리를 설명하기 위한 도면.
제16도는 내삽예측된 B픽쳐에 대한 오염영역 등록판정부(31)의 처리내용을 도시한 도면.
제17도는 예측화상이 4개 존재하는 경우의 오염영역 등록판정부(31)에 의한 판정방법을 도시한 도면.
제18도는 실시형태3의 루프필터부(20)의 내부구성도.
[1] 본 발명의 동화상복호방법은 부호화된 동화상데이타를 움직임보상예측을 이용해서 복호하는 방법으로서, 동화상데이타를 처리단위화상마다 해석하는 해석공정, 임미의 처리단위화상을 해석했을 때 에러가 검출되면 그 처리단위화상의 영역을 오염영역으로서 등록하는 등록공정, 처리단위화상을 복호할 때 움직임보상예측에 사용되는 예측화상을 결정하는 결정공정, 결정된 예측화상이 상기 오염영역에 포함되는지 포함되지 않는지를 판정하는 판정공정 및 판정의 결과 상기 예측화상이 상기 오염영역에 포함될 때 그 예측화상에 평활화처리를 실시하는 평활화공정을 포함한다.
여기서 「치리단위화상」이라고 하는 것은 화상의 복호시에 처리단위로 되는 화상을 의미하며, 예를 들면 MPEG의 매크로블럭을 말한다. 동화상데이타는 예를 들면 ITU-T H. 261, ISO/IEC 11172-2(소위 MPEG1), ISO/ICE 13818-2(소위 MPEG2) 등에 준거해서 부호화된다. 「해석」이라고 하는 것은 예를 들면 비트 스트림이라는 형태로 수신하는 동화상데이타의 내용을 판독하는 것을 말하며, 통상은 복호처리의 최초의 단계에서 실행된다. 동화상데이타중에 판독할 수 없는 비트열이 포함되어 있던 경우 등에 에러가 검출된다. 오염영역이라고 하는 것은 상기 에러의 결과, 어떠한 의미에서 악영향을 받는 화상영역을 말한다. 「예측화상」은 움직임보상예측에 사용되는 화상으로서, 예를 들면 임의의 픽쳐의 임의의 매크로블럭을 복호할 때, 이 매크로블럭의 영역에 대응하기 직전의 픽쳐의 영역이 판명되면, 이 직전의 픽쳐의 영역이 복호중의 매크로블럭의 예측화상의 영역에 상당한다.
이상의 구성에서 우선, 동화상데이타가 입력되고, 이것이 처리단위화상마다 해석된다. 해석중에 에러가 검출되지 않으면, 통상대로 복호가 실행된다. 한편, 에러가 검출되면, 그 에러가 검출된 처리단위화상의 영역이 오염영역으로서 등록된다.
이 등록처리와는 달리 임의의 처리단위화상이 복호될 때, 움직임보상예측에 사용되는 예측화상이 결정된다. 여기에서 결정된 예측화상이 상기 오염영역에 포함되는지 포함되지 않는지가 판정된다. 판정의 결과, 그 예측화상이 오염영역에 포함될 때, 그 예측화상에 평활화처리가 실시된다. 그 후, 평활화된 후의 예측화상이 복호중인 처리단위 화상의 예측화상으로서 이용되고 복호화상이 얻어진다. 평활화공정의 예로서 로우패스필터를 사용한 필터링처리가 있다.
이 동작에 의하면, 오염영역에 포함되는 예측화상이 평활화되므로, 재생화상중에서 상기 예측화상이 화상의 다른 부분에서 두드러지게 다른 인상을 주는 상태가 회피된다. 이 상태에서 후속 픽쳐가 복호되므로, 공간적 및 시간적인 화질열화가 저감된다.
이상의 방법에 의하면, 예측화상이 오염영역에 포함될 때, 그 예측화상에 평활화처리가 실시된다. 이 때문에, 가령 정정불가능한 비트에러가 혼입되어도 시각적으로 양호한 재생화상을 얻을 수 있다. 이 효과는 부호화된 비트 스트림의 포맷(H. 261, MPEG1, MPEG2 등에 의해 규정되는 포맷)에 의존하지 않으므로 적용범위도 넓다.
[2] 본 발명의 한 형태에서는 상기 등록공정은 ① 에러가 검출된 처리단위화상의 영역뿐만 아니라 ② 상기 오염영역에 포함되는 예측화상을 사용해서 움직임보상예측을 실행한 화상영역도 오염영역으로서 등록한다. ①은 금회 복호중인 픽쳐에 있어서의 에러의 유무를 후속 픽쳐의 복호시에 참조하기 위한 것이다. 한편, ②는 이미 이전 픽쳐에서 에러가 발생하고 있던 경우, 가령 금회 복호중인 픽쳐에서 에러가 검출되지 않아도 이전 픽쳐의 에러의 영향이 금회 복호된 화상에 미치는 한, 이 사실을 등록해 두는 것이다. 이것은 후속 픽쳐의 복호시에 참조된다. 이 방법에서는 에러에 의한 악영향의 전파를 저감할 수 있다.
[3] 한편, 본 발명의 동화상 복호장치는 부호화된 동화상데이타를 움직임보상예측을 이용해서 복호하는 장치로서, 동화상데이타를 수신하고 이것을 처리단위화상마다 해석하는 비트 스트림 해석부, 임의의 처리단위화상을 해석했을 때 에러가 검출되면 그 처리단위화상의 영역을 오염영역으로서 등록하는 오염영역 등록부, 처리단위화상을 복호할 때 움직임보상예측에 사용되는 예측화상을 결정하는 예측화상 결정부, 결정된 예측화상의 영역과 상기 오염영역을 비교하는 것에 의해서 그 예측화상이 오염되어 있는지 오염되어 있지 않은지를 판정하는 오염판정부 및 판정의 결과 상기 예측화상이 상기 오염영역에 포함될 때 그 예측 화상에 평활화처리를 실시하는 평활화부를 포함한다. 이 구성에 의한 동작의 원리는 [1]과 같다.
이 장치에 의하면, 수신한 동화상데이타를 복호하고, 재생화상을 얻을 수 있다. 이 때, 정정불가능한 비트 에러가 혼입되어도 시각적으로 양호한 재생화상이 얻어진다.
[4] 이 때, 본 발명의 한 형태에서는 상기 예측화상 결정부는 처리단위화상마다 그 움직임벡터를 사용해서 움직임보상예측을 실행하는 것으로 상기 에러에 기인해서 움직임벡터가 손실된 처리단위화상에 대해서는 그 근방의 처리단위화상의 움직임벡터에 따라서 예측화상을 결정한다. 이 장치에 의하면 손실된 화상데이타를 수복할 수 있다.
[5] 본 발명의 한 형태에서 본 장치는 또, 복호된 픽쳐의 수를 계수하는 픽쳐계수부를 포함하고, 계수된 픽쳐의 수가 소정값에 도달했을 때 상기 오염영역 등록부는 오염영역의 등록을 말소한다. 등록이 말소된 시점에서 오염영역은 존재하지 않는 상태로 되돌아가므로, 상기 평활화처리가 실행되지 않게 된다. 이 장치에 의하면 과도의 평활화처리를 방지할 수 있다.
[6] 본 발명의 한 형태에서는 상기 오염영역 등록부는 에러가 검출된 처리단위화상뿐만 아니라 상기 오염영역에 포함되는 예측화상을 사용해서 움직임보상예측을 실행한 화상영역도 오염영역으로서 등록한다. 이 동작원리는 [2]에서 설명한 바와 같다. 이 결과, 에러에 의한 악영향의 전파를 저감할 수 있다.
[7] 본 발명의 한 형태에서 상기 오염판정부는 상기 예측화상의 영역과 상기 오염영역의 중첩의 정도로부터 오염의 유무를 판정한다. 「중첩정도」의 예로서 예측화상의 전체영역중 오염영역에 들어가 있는 영역의 비율이 고려된다. 즉, 오염영역에 들어가 있는 영역의 비율이 높을수록 이 예측화상은 오염되어 있다고 용이하게 판정된다. 이 경우, 판정식에 사용되는 임계값(TH)를 조작하는 것에 의해서 오염영역을 등록할 때의 기준을 변경할 수 있으므로, 상황에 따라서 최적한 재생화상을 얻을 수 있다.
[8] 본 발명의 한 형태에서 상기 장치는 또, 에러가 검출되었을 때 에러가 검출된 처리단위화상뿐만 아니라 그 에러에 기인해서 그 처리단위화상과 마찬가지로 움직임벡터가 손실된 화상영역범위를 결정하는 손실화상범위 결정부를 포함하고, 상기 오염영역 등록부는 이 화상영역 범위 전체를 오염영역으로서 등록한다. 이 경우는 오염영역을 적확하게 추적할 수 있어 화질열화를 저감할 수 있다.
[9] 본 발명의 한 형태에서 본 장치는 복호픽쳐용 오염영역 기억부와 예측픽쳐용 오염영역 기억부를 포함하고, 상기 오염영역 등록부는 현재 복호중인 픽쳐에 있어서 에러가 검출되면, 그 에러가 검출된 처리단위 화상을 복호픽쳐용 오염영역 기억부에 등록하고, 복호처리가 다음의 픽쳐로 진행했을 때 복호픽쳐용 오염영역 기억부와 예측픽쳐용 오염영역 기억부를 전환한다. 「복호픽쳐」라고 하는 것은 복호중인 픽쳐를 말하고, 「예측픽쳐」라고 하는 것은 예측화상에 포함되는 픽쳐를 말한다.
임의의 픽쳐를 다 복호했을 때, 그 픽쳐에 있어서 검출된 에러는 다음의 픽쳐의 복호시에 참조해야 한다. 이 때문에, 우선 복호픽쳐용 오염영역 기억부를 예측픽쳐용 오염영역 기억부로 전환한다. 이 시점에서 원래의 예측픽쳐용 오염영역 기억부가 비게 되므로, 이것을 복호픽쳐용 오염영역 기억부로 전환한다. 이후, 픽쳐를 복호할 때마다 이 전환을 반복한다. 1예로서 복호픽쳐용 오염영역 기억부는 등록전용, 예측픽쳐용 오염영역 기억부는 리드전용이라는 구성으로 할 수도 있다. 이 경우에는 적절히 이것을 전환하는 것에 의해 적은 메모리용량으로 오염영역의 등록과 참조가 가능하게 된다.
[10] 본 발명의 한 형태에서 본 장치는 픽쳐구조가 프레임형식인지 필드형식인지를 판정하는 픽쳐구조 판정부와 픽쳐구조가 프레임형식일 때, 이것을 필드형식으로 변환하는 픽쳐구조 변환부를 포함하고, 픽쳐 구조가 프레임형식인 경우에는 이것이 필드형식으로 변환된 후 상기 평활화처리가 실행된다. 「픽쳐구조」라고 하는 것은 처리단위화상의 픽쳐의 구조를 말하고, 적어도 프레임형식과 필드형식을 포함한다. 이 형태에서는 프레임형식의 픽쳐가 일단 필드마다 모여지므로 필드사이에 존재하는 움직임(이것은 평활화해야만 하는 것은 아니다)이 평활화되지 않고 남는다. 이 결과 양호한 화상이 얻어진다.
[실시형태]
실시형태 1
도 3은 ITU-T H. 261규정의 비디오 비트 스트림의 데이타구조를 도시한 도면이다. 프레임은 픽쳐라는 계층으로 위치결정되고, 매크로블럭의 집합으로서 GOB(Group Of Blocks)라는 층이 마련되어 있다. 매크로블럭은 휘도용의 Y블럭, 블루 색차용의 Cb블럭, 레드 색차용의 Cr블럭으로 구성된다.
본 실시형태에 관한 복호장치는 H. 261규정에 따라서 부호화된 비트 스트림을 수신해서 이것을 매크로블럭단위로 복호하고, 동화상데이타를 재생한다. 복호시에는 매크로블럭마다 픽쳐사이에서 움직임보상예측을 실행해서 얻어지는 움직임벡터정보를 이용한다.
본 장치의 처리의 특징은 임의의 픽쳐를 복호할 때 수복처리의 대상으로 된 매크로블럭영역을 오염영역으로서 등록하고, 이후 다른 픽쳐가 복호될 때 매크로블럭의 예측화상이 이 오염영역에 들어가는 경우에 이 예측화상에 대해서 필터링처리를 실행하는 점에 있다.
[구성]
도 4는 본 실시형태에 관한 복호장치의 구성도이다. 이 장치는 우선 비디오 비트 스트림(1)을 수신한다. 이 비트 스트림은 화상정보와 부가정보로 이루어지는 부호화 데이타열이다. 화상정보는 각 매크로블럭의 원화상 또는 움직임보상예측 오차 화상데이타에 대한 직교변환에서 얻어지는 변환계수를 각 블럭마다 양자화하고, 양자화 인덱스를 가변길이 부호화해서 얻어진다. 부가정보는 픽쳐 및 매크로블럭 마다 부가된다. 본 장치는 이 부호화과정을 반대로 하기 구성을 갖는다.
이 장치는 수신한 비디오 비트 스트림(1)을 복호하는 가변길이 복호부(2), 이 가변길이 복호부(2)에서 양자화DCT계수(3) 및 이 양자화에 필요로 되는 양자화 파라미터(4)를 받아서 역양자화를 실행하는 역양자화부(5), 역양자화부(5)에 의한 역양자화의 결과를 받아서 역DCT연산을 실행하는 역DCT부(6), 가변길이 복호부(2)의 출력 중 처리중인 매크로블럭의 화면내 위치정보(11)과 움직임벡터(12)에 따라서 상기 매크로블럭의 움직임을 가장 적절하게 표현하고 있다고 고려되는 움직임벡터(이하 「최종 움직임벡터」라 한다)를 선택하고 이것을 출력하는 움직임벡터 선택부(14), 최종움직임벡터와 후술하는 에러플래그(8)을 참조해서 예측화상이 오염되어 있는지 오염되어 있지 않는지를 판정하는 오염영역 판정부(16), 복호된 화상데이타를 저장하는 프레임메모리(19), 프레임메모리(19)에 대한 라이트와 리드를 제어하는 메모리 인터페이스부(18), 루프필터 동작지시 플래그(10) 또는 후술하는 오염영역 필터링 지시플래그(17) 중 어느 하나가 1로 되었을 때 이것을 후단의 필터(20)에 통지하는 OR게이트(40), ITU-T H. 261에 의해 규정되는 로우패스필터로서 프레임메모리(19)에서 리드된 화상데이타에 대해서 OR게이트(40)에서 통지를 받았을 때에 필터링을 실행하는 루프필터(20), 루프필터(20)에서 출력된 예측화상과 역DCT부(6)의 출력을 가산해서 최종적인 복호화상(22)를 생성하는 복호가산부(7)을 포함한다.
본 실시형태의 가변길이 복호부(2)는 수신한 비디오 비트 스트림(1)을 해석하는 비트 스트림 해석부(200), 해석의 결과 에러가 검출되었을 때 이 에러에 의해서 손실되는 화상영역을 결정하는 손실화상범위 결정부(204) 및 후술하는 오염영역 추적기간을 결정하기 위해 복호한 픽쳐의 수를 계수하는 픽쳐계수부(208)을 갖는다. 픽쳐계수부(208)은 에러검출 이후에 복호한 픽쳐수를 계수해도 좋고, 어떠한 경우에도 계수값이 소정값에 도달했을 때 오염영역 판정부(16)에 대해서 후술하는 오염영역 기억메모리 리세트지시(13)을 발행한다.
[동작]
도 5는 본 장치에 의한 복호동작을 도시한 흐름도이다. 동일도면에 도시한 바와 같이 우선 비트 스트림 해석부(200)이 H. 261의 신택스에 따라서 데이타 스트림의 해석을 실행하고, 에러발생의 유무가 판정된다(S100). 여기서는 비트 스트림(1)을 복호해 갈 때 규격에 따라 정해진 부호어에 적합하지 않은 비트열이 검출되었을 때 에러가 발생했다고 간주한다. S100에 있어서의 분기에 의해, 본 장치는 크게 나누어 복호에러가 발생하고 있지 않을 때와 발생했을 때에 처리를 변경한다. 전자는 또 S106에 있어서의 분기에 의해 처리중인 화상이 인트라부호화된 것인지, 인터부호화된 것인지에 따라 처리가 다르다. 인트라부호화라고 하는 것은 움직임벡터정보를 포함하지 않고 실행되는 부호화를 말하고, 인터부호화는 부호화시의 속성정보의 하나에 움직임벡터정보가 포함되는 부호화를 말한다.
[1] 정상시의 복호동작
S100에 있어서 에러가 검출되지 않는 경우, 통상대로의 복호처리가 개시된다. 우선, 처리의 대상이 인트라부호화된 매크로블럭(이하, 「인트라부호화 매크로블럭」이라 한다)인 경우(인트라/인터플래그(9)가 인트라를 나타내고 있는 경우), 처리는 도 4의 가변길이 복호부(2), 역양자화부(5), 역DCT부(6)을 경유한다. 인트라부호화 매크로블럭은 움직임벡터정보를 포함하지 않으므로 움직임벡터에만 관한 구성은 원칙적으로 이용되지 않는다. 역DCT부(6)의 출력은 프레임내 원신호를 나타내고, 이것이 복호가산부(7)을 그냥 통과하여 그대로 최종적인 복호화상(22)로 된다. 이 처리는 도 5에 있어서 역양자화(S102), 역 DCT(S104)를 실행하고, 인트라부호화인지 아닌지의 판정(S106)을 거쳐서 복호화상을 출력하는(S108) 경로에서 나타내어진다.
한편, 처리의 대상이 인터부호화 매크로블럭인 경우(인트라/인터플래그(9)가 인터를 나타내고 있는 경우), 처리는 도 4의 영역 역DCT를 경유하는 경로와 움직임벡터 선택부(14) 등을 경유하는 경로의 2개로 이루어지고, 이들의 처리결과가 복호가산부(7)에서 가산된다.
우선, 전자의 처리는 도 5중의 역양자화(S102), 역DCT(S104)에 따라서 실행된다. 이 경우, 역DCT부(6)의 출력신호는 움직임보상예측 프레임간 예측오차신호이다. 후자의 처리는 도 5중 S110~S122에 상당한다. 즉, S106에 있어서 처리의 대상이 인터부호화 매크로블럭이므로, S110으로 진행한다. 여기서, 움직임벡터 선택부(14)에서 최종움직임벡터(15)가 출력된다. 에러가 없는 동안, 단지 상기 매크로블럭의 움직임벡터를 사용해서 최종움직임벡터로 한다. 그 후, 상기 매크로블럭의 화면내 위치정보(11)과 최종움직임벡터(15)가 메모리 인터페이스부(18)에 수수되어 예측화상의 어드레스가 생성되고 프레임메모리(19)에서 예측화상이 추출된다(S112). 예측화상은 루프필터부(20)으로 보내진다.
이것과 병행해서 예측화상의 오염유무가 판정된다(S114). 판정방법은 후에 상세하게 기술한다. 여기서, 가령 오염되어 있다고 판정되면(S114의 Y), 그 예측화상의 화면내위치가 후술하는 복호픽쳐용 오염영역 기억메모리(36)에 등록된다(S116). 이것은 이 픽쳐이후의 픽쳐를 복호할 때에 참조하기 위한 것이다. 계속해서 오염영역 필터링 지시 플래그(17)을 1로 한다. 그 결과, 루프필터부(20)에서 필터링이 실행되고(S118), 예측화상의 최종상태(21)(이하, 「최종예측화상(21)」이라 한다)이 얻어진다. 또한, S114의 오염유무의 판정은 복호픽쳐용 오염영역 기억메모리(36)을 참조하는 것에 의해 가능하므로 예측화상의 추출(S112)는 S114전에 있을 필요는 없고, 이들의 처리는 병렬해서 실행해도 좋다.
그 후, 최종예측화상(21)은 복호가산부(7)로 보내져 역DCT부(6)의 출력과 가산되고, 예측화상(22)가 출력된다(S120). 복호화상(22)는 이후의 픽쳐의 예측화상으로서 사용되므로, 상기 매크로블럭의 화면내위치정보(11)에 따라서 프레임메모리(19)에 라이트된다.
한편, S114에 있어서 예측화상이 오염되어 있지 않다고 판정되면(S114의 N), 루프필터 동작지시 플래그(10)이 1인 경우에 한해 필터링이 실행된다(S122). H. 261에서는 루프필터 동작지시 플래그(10)은 원래의 비트 스트림(1)에 있어서 매크로블럭단위로 설정하는 것이 인정되는 비트플래그로서, 설정 내용은 부호화측에 의존한다.
[2] 에러검출시의 복호동작
〈1〉 수복처리
한편, S100에 있어서 에러가 검출된 경우, 우선 수복처리가 실행된다(S124). 에러는 인트라부호화 매크로블럭, 인터부호화 매크로블럭을 불문하고 발생할 수 있다. 수복처리라고 하는 것은 에러에 의해서 손실된 매크로블럭의 움직임벡터를 추정하고, 이미 정상으로 복호되어 프레임메모리(19)내에 저장되어 있는 픽쳐(이것은 예측용으로 사용되므로 이후 「예측픽쳐」라 한다)에서 치환화상을 추출하는 처리를 말한다. 이 치환화상이 상기 매크로블럭의 예측화상으로서 이용되므로 에러검출시에는 역DCT부(6)의 출력은 무시된다.
도 6은 수복처리의 수순을 도시한 흐름도이다. 동일도면에 도시한 바와 같이 우선 손실화상범위 결정부(204)는 에러가 검출된 데이타에서 그 에러의 영향을 받는 화상데이타의 범위를 특정한다(S200). 여기서, 예를 들면 픽쳐층에 속하는 데이타에 있어서 복호계속 불가능한 에러가 발생한 경우(S202의 Y), 그 픽쳐는 정상적인 복호가 불가능하므로 그 픽쳐에 관한 데이타를 모두 버리고(S220) 수복처리를 중단한다. 이 경우, 픽쳐가 1장 없어지므로 예를 들면 동일픽쳐를 2회 표시하는 에러처리를 실행한다.
한편, S202에서 N인 경우, GOB층 이하의 레벨에서 복호계속 불가능한 에러가 발생했다고 고려되므로, 우선 에러플래그(8)을 1로 해서(S204) 에러가 발생한 GOB에 관한 데이타를 버린다(S206). 이 처리에 의해 몇개의 매크로블럭의 데이타가 손실된다. 그래서, 이들의 매크로블럭(이하, 「손실매크로블럭」이라 한다)에 대해서 움직임벡터를 추정한다(S208). 계속해서 추정된 움직임벡터의 타당성의 평가(S210)을 거쳐서 최종움직임벡터가 출력된다(S212).
움직임벡터의 추정에서부터 최종움직임벡터의 출력까지는 움직임벡터 선택부(14)에서 처리된다. 도 7은 본 실시형태의 움직임벡터 선택부(14)의 내부구성도이다. 동일도면에 있어서, 움직임벡터 선택부(14)는 여러개의 매크로블럭라인에 대해서 매크로블럭마다 그 움직임벡터를 저장하는 움직임벡터버퍼(26), 에러플래그(8)과 인트라/인터플래그(9)를 참조하여 움직임벡터버퍼(26)에 대해서 라이트지시(24)와 라이트 벡터값(25)를 부가해서 라이트를 제어하는 라이트벡터 결정부(23), 움직임벡터버퍼(26)에 대해서 리드지시(29)를 부가하고 벡터값의 리드를 제어하는 리드벡터 결정부(28), 움직임벡터버퍼(26)에서 리드된 추정움직임벡터(27)을 입력하고 그 벡터의 타당성을 판정하여 최종움직임벡터(15)를 출력하는 최종움직임벡터 결정부(30)을 갖는다. 최종움직임벡터 결정부(30)은 에러플래그(8), 상기 매크로블럭의 화면내위치정보(11)을 참조한다.
본 실시형태에서는 손실매크로블럭의 바로 위의 매크로블럭의 움직임벡터를 손실매크로블럭의 움직임벡터로 추정한다. 이것은 근방의 매크로블럭사이에서 움직임벡터의 유사도가 높다는 경험측에 기인한다. 이 처리의 경우, 움직임벡터버퍼(26)은 손실매크로블럭의 존재하는 매크로블럭라인의 1개 위의 ㅣ매크로블럭라인에 포함되는 매크로블럭에 관한 움직임벡터를 유지하고 있으면 충분하다.
이 구성에 있어서 라이트벡터 결정부(23)은 에러플래그(8)이 0인 동안에 인트라부호화 매크로블럭에 대해서는 벡터값으로서 0, 인터부호화 매크로블럭에 대해서는 복호된 움직임벡터값을 각각 라이트벡터값(25)로서 움직임벡터버퍼(26)에 라이트한다. 한편, 에러플래그(8)이 1인 동안에 상기 매크로블럭 자신의 정확한 움직임벡터가 존재하지 않으므로, 라이트벡터값(25)로서 벡터값으로서 0을 라이트한다. 이것은 이후 처리에 있어서 이 손실매크로블럭의 움직임벡터에 의해서 바로 아래의 매크로블럭이 악영향을 받지 않기 위한 배려이다.
한편, 리드벡터 결정부(28)은 에러플래그(8)이 1일 때, 손실매크로블럭의 화면내위치정보(11)에 따라서 움직임벡터버퍼(26)에서 손실매크로 블럭의 바로 위의 매크로블럭의 움직임벡터를 추정움직임벡터(27)로서 리드한다. 리드할 어드레스는 상기 매크로블럭의 화면내위치정보(11)이 부가되어 있으므로 이것을 참조해서 결정한다. 에러플래그(8)이 0일 때에는 상기 매크로블럭의 움직임벡터가 정확하게 복호되어 있으므로 이것을 그대로 리드한다.
에러플래그(8)이 1일 때, 계속해서 최종움직임벡터 결정부(30)에 있어서 추정움직임벡터(27)의 타당성을 평가한다(S210). 본 실시형태에서는 추정움직임벡터(27)을 상기 매크로블럭의 움직임벡터로서 사용했을 때 벡터가 화면의 밖을 지시하는 경우, 타당하지 않다고 판단한다. 이 경우에는 추정움직임벡터(27) 대신에 벡터값을 0으로 하고, 최종움직임벡터(15)로서 출력한다. 추정움직임벡터(27)이 타당하면, 그 추정움직임벡터(27)을 최종움직임벡터(15)로서 출력한다(S212). 최종움직임벡터(15)는 메모리 인터페이스부(18)에 수수되고 치환화상이 얻어지므로(S214), 이것을 예측화상으로 한다. 그 후, 에러플래그(8)을 0으로 되돌려(S216) 다음의 GOB로 처리를 진행하고(S214), 수복처리를 종료한다.
수복처리가 종료되면, 도 5로 되돌아가 수복처리된 매크로블럭, 즉 손실매크로블럭의 영역을 오염영역으로서 복호픽쳐용 오염영역 기억메모리(36)에 등록한다(S126). 그 후, 얻어진 예측화상을 복호화상(22)로서 출력한다(S108). 본 실시형태에서는 에러플래그(8)이 1일 때, 인트라부호화 매크로블럭, 인터부호화 매크로블럭에 관계없이 복호가산부(7)에서 역DCT부(6)의 출력을 강제적으로 무시하는 것으로 한다. 이 결과, 추정움직임벡터(27)에서 결정되는 예측화상이 그대로 복호화상(22)로 된다. 또한, 손실매크로블럭의 복호시 역DCT부(6)으로부터의 움직임보상예측 프레임간 예측오차신호의 가산이 실행되지 않으므로 후술하는 필터링은 실행되지 않는다.
〈2〉 오염영역의 판정과 필터링처리
도 5의 S114의 오염영역의 판정, S116 및 S126의 오염영역의 등록, S118의 필터링처리를 설명한다.
〈2-1〉 개요
도 8은 이들의 처리의 개요를 도시한 도면이다. 우선, 에러가 검출된 픽쳐(80)에서는 에러가 검출된 매크로블럭(83)도 포함해서 수복처리를 실행한 매크로블럭군을 오염영역(84)로서 등록해 둔다. 다음의 픽쳐(81)에서는 비트 스트림(1)중에 에러가 검출되지 않았던 경우에도 동일도면의 매크로블럭(85),(86)과 같이 오염영역(84)에 (적어도 일부가) 포함되는 예측화상(87),(88)부터 움직임보상예측이 실행될 가능성이 있다. 이들의 매크로블럭(85),(86)에 대해서는 본래 얻어져야 할 이상적인 예측화상이 얻어지지 않으므로, 복호화상의 화질이 열화한다. 마찬가지로, 픽쳐(82)의 매크로블럭(93),(94)는 픽쳐(81)의 오염영역(90)에 포함되는 예측화상(91),(92)에 따라서 움직임보상예측이 실행되므로, 오염은 확대되어 간다. 여기서는 움직임보상예측을 매크로블럭 단위로 실행하고 있으므로, 매크로블럭의 경계가 눈에 띄는 화상이 출력된다. 그래서, 오염영역에 포함되는 예측화상에 필터링을 실시하고, 복호화상을 어느 정도 평활화해서 경계의 두드러짐을 해소한다. 이 결과, 필터링처리된 영역이 이후 픽쳐의 예측화상으로 되는 경우에도 오염의 영향을 저감할 수 있다.
오염영역의 판정, 오염영역의 등록, 필터링처리는 실제로는 다음의 상황이 순서대로 발생했을 때 필요한 장면(③, ⑤~⑦)에서 실행된다.
① 임의의 픽쳐를 복호했을 때 에러가 검출된다.
② 손실매크로블럭에 대해서 수복처리를 실행한다.
③ 상기 손실매크로블럭의 영역을 오염영역으로서 등록한다.
④ 다른 픽쳐를 복호할 때 어떠한 매크로블럭의 예측화상을 결정한다.
⑤ 그 예측화상이 오염영역에 포함되는지 포함되지 않는지를 판정한다.
⑥ 그 예측화상이 오염영역에 포함되면, 새로 그 예측화상의 영역을 오염영역에 등록한다.
⑦ 그 예측화상에 대해서 필터링처리를 한다.
⑧ 필터링처리한 예측화상에 따라서 복호화상을 출력한다.
여기서, 상기 ③은 도 5의 S126에 대응하는 등록으로서, 오염의 판정없이 실행되는 점에 특징이 있다. 한편, 상기 ⑥은 S116에 대응하는 등록으로서 오염의 판정결과를 보고 실행된다.
〈2-2〉 오염영역의 판정과 등록
오염영역의 판정과 특징은 오염영역 판정부(16)에 있어서 실행된다. 도 9는 본 실시형태의 오염영역 판정부(16)의 내부구성도이다.
동일도면에 도시한 바와 같이 오염영역 판정부(16)은 우선 에러플래그(8), 매크로블럭의 화면내위치정보(11), 최종움직임벡터(15), 후술하는 오염영역 기억메모리 리세트지시(13)을 참조해서 오염영역의 등록과 참조 및 오염영역 필터링 지시 플래그(17)을 제어하는 오염영역 등록판정부(31)을 갖는다. 오염영역 판정부(16)은 또 복호픽쳐용 오염영역 기억메모리(36), 예측픽쳐용 오염영역 기억메모리(37)의 이중버퍼를 갖는다. 전자는 현재 복호중인 픽쳐에 포함되는 오염영역을 등록하고, 후자는 예측화상이 오염영역에 포함되는지 포함되지 않는지를 알기 위해 참조된다. 1픽쳐분의 복호가 종료하면 등록된 오염영역을 다음의 픽쳐의 복호시에 참조할 수 있도록 복호픽쳐용 오염영역 기억메모리(36)을 예측픽쳐용 오염영역 기억메모리(37)로 전환한다. 이 시점에서 복호픽쳐용 오염영역 기억메모리(36)이 비게 되므로 이번에는 이것을 예측픽쳐용 오염영역 기억메모리(37)로서 이용한다. 이후, 1픽쳐의 복호가 완료할 때마다 복호픽쳐용 오염영역 기억메모리(36)과 예측픽쳐용 오염영역(37)이 전환된다. 전자에는 등록만이 실행되고 후자에는 참조만이 실행된다.
오염영역 등록판정부(31)은 라이트지시(32)와 금회 처리중인 매크로 블럭의 화면내위치정보(11)에 포함되는 어드레스(33)에 의해 복호픽쳐용 오염영역 기억메모리(36)을 제어하고, 마찬가지로 리드지시(34)와 리드의 대상으로 되는 어드레스(35)에 의해 예측픽쳐용 오염영역 기억메모리(37)을 제어한다.
이상의 구성에 의한 동작을 설명한다.
에러플래그(8)이 1일 때에는 오염영역 등록판정부(31)은 처리중인 매크로블럭이 오염되어 있다고 간주하여 복호픽쳐용 오염영역 기억메모리(36)에 그 매크로블럭의 화면내위치정보(11)을 등록한다. 이것은 도 5의 S126에 대응한다.
한편, 에러플래그(8)이 0일 때에는 우선 오염의 판정을 실행한다. 도 10은 오염영역 등록판정부(31)의 처리상태를 도시한 도면이다. 동일도면에 있어서, 우선 최종움직임벡터(15)와 상기 매크로블럭의 화면내위치정보(11)에서 예측화상영역(140)을 특정한다. 계속해서, 예측픽쳐내에서 예측화상영역(140)과 중첩되는 영역을 갖는 매크로블럭의 어드레스(35)를 취득한다. 이 어드레스에 따라서 예측픽쳐용 오염영역 기억메모리(37)에서 동일도면에 도시한 오염영역(38)의 분포를 얻는다. 이 오염영역(38)과 예측화상영역(140)의 중첩정도를 다음식에 의해서 평가하고 상기 매크로블럭이 오염영역에 포함되는지 포함되지 않는지를 판정한다.
[식 1]
P1〉TH ­­­­­­(식 1)
여기서, P1은 예측화상중에 포함되는 오염영역의 점유율을 나타낸다. 예측화상영역 중 오염영역에 중첩되지 않는 부분의 면적을 S1, 중첩되는 부분의 면적을 S2로 하면, P1은
P1=S2/(S1+S2)
로 계산된다. 한편, TH는 오염판정을 위한 임계값이다. 본 실시형태에서는 예측화상이 이 조건식을 만족시키는 경우, 오염되어 있다고 판정한다. 이 식에 있어서 TH의 결정방법은 임의이고, 동화상의 성질이나 내용, 복호상황 등에 관계없이 일정값을 사용해도 좋고, 상황 등에 따라서 가변값으로 할 수도 있다. 이 값의 설정방법에 의해서 오염영역의 분포상태를 제어할 수 있고 복호상황에 따른 화질제어가 가능하다. 이상이 판정이다.
판정의 결과, 복호중인 매크로블럭의 예측화상이 오염영역에 포함되는 경우에는 복호픽쳐용 오염영역 기억메모리(36)에 상기 매크로블럭의 화면내위치정보(11)을 오염영역으로서 등록하고, 오염영역 필터링 지시 플래그(17)을 1로 한다.
또한, 여기서는 예측픽쳐측에 있어서의 오염의 유무를 문제로 했지만, 가령 복호픽쳐에 있어서 에러가 검출된 경우에는 에러플래그(8)을 1로 하고, 그 다음의 GOB 직전까지 상술한 수복처리를 실행하고, 처리의 대상으로 된 매크로블럭을 모두 오염영역으로서 등록한다.
〈2-3〉 필터링처리
오염영역 필터링 지시 플래그(17)이 1일 때, 루프필터부(20)이 동작하고, 예측화상에 로우패스필터가 실시된다.
도 11은 루프필터부(20)에 사용되는 필터의 계수를 도시한 도면이다. 동일도면내의 숫자는 ○의 화소에 대한 필터계수를 나타낸다. 본 실시형태에서는 이 필터에 H. 261에 의해 규정되는 필터를 겸용한다. 예측화상을 구성하는 휘도용과 색차용의 각 8×8화소로 이루어지는 모든 블럭에 대해서 각각 필터링이 실시된다.
〈2-4〉 필터링처리의 제한
장기간에 걸친 필터링은 해상도의 저하를 초래한다. 그래서, 본 실시형태에서는 픽쳐계수부(208)이 에러검출 이후의 복호픽쳐수를 계수하고, 이 계수값이 소정값에 도달했을 때 오염영역 판정부(16)에 대해서 오염영역 기억메모리 리세트지시(13)을 발행한다.
오염영역 등록판정부(31)은 오염영역 기억메모리 리세트지시(13)에 따라 리세트지시(39)에 의해서 예측픽쳐용 및 복호픽쳐용 오염영역 기억메모리(36),(37)의 내용의 초기화, 즉 이미 이루어진 등록의 말소를 실행한다. 이 결과, 오염영역의 추적이 정지되고 다음에 에러가 검출될때까지 오염영역의 등록, 필터링은 실행되지 않아 필터링에 의한 과도의 평활화가 방지된다(오염영역을 리세트하는 간격을 이후 「오염영역 추적기간」이라고 한다). 오염영역 추적기간의 결정방법은 임의이고, 일정값, 가변값중의 어느 하나를 채용해도 좋다. 이 값의 설정방법에 의해서 오염영역의 분포상태를 제어할 수 있어 복호상황에 따른 화질제어가 가능하게 된다.
[실시형태 2]
[구성]
도 12는 실시형태2에 관한 복호장치의 구성도이다. 이 실시형태에서는 MPEG1 비디오(ISO/IEC 11130-2)규정에 따라서 부호화된 비트 스트림을 수신해서 복호하고 동화상데이타를 재생한다.
한편, 도 13은 MPEG1 비디오규정의 비디오 비트 스트림의 데이타구조를 도시하고 있다. 프레임은 픽쳐라는 계층에 위치결정되고, 허락되는 예측방향에 따라서 I픽쳐, P픽쳐, B픽쳐와 같은 3종류의 픽쳐형태로 분류된다. 픽쳐는 슬라이스의 집합, 슬라이스는 매크로블럭의 집합이다. 매크로블럭은 4개의 휘도용 블럭Y1~4와 색차용의 Cb, Cr 블럭으로 이루어진다. 도면 중, 「예측방향」인 부분에 있어서의 화살표가 예측방향을 나타낸다. 우측을 향한 화살표가 앞방향예측, 그 반대가 뒷방향예측이다. I픽쳐에서는 움직임보상예측이 실행되지 않고 모두 픽쳐내에서 닫힌 부호화(인트라부호화)가 실행된다. P픽쳐는 시간적으로 과거의 픽쳐만으로부터의 움직임보상예측(앞방향예측)만이 허락된다. B픽쳐에서는 시간적으로 미래의 픽쳐에서도 움직임보상예측(뒷방향예측)이 허락된다. 또, 시간적으로 과거의 픽쳐로부터의 예측과 미래의 픽쳐로부터의 예측을 조합한 예측도 가능하고, 이것을 내삽예측(쌍방향예측)이라고 한다. 또, 매크로블럭의 집합으로서 슬라이스층이 마련되어 있다. 슬라이스는 최소복호 동기단위이다.
이하, 도 12에 있어서 도 4에 대응하는 부재에는 동일부호를 붙이고 실시형태1과 다른 부분을 중심으로 설명한다.
도 12에 있어서 도4와 다른 점은 수신하는 비디오 비트 스트림(1)이 MPEG1 비디오에 준거하는 것, 가변길이 복호부(2)내에 픽쳐구조를 판정하는 픽쳐구조 판정부(206)이 신설된 것(단, 픽쳐구조 판정부(206) 자체는 MPEG1에서는 불필요하고, 이것에 대해서는 실시형태3의 MPEG2에 관련해서 설명한다), 양자화 파라미터(3), 양자화 DCT계수(4), 매크로블럭의 화면내 위치정보(11) 및 움직임벡터(12)가 파라미터버스(42)라는 형태로 역양자화부(5)로 보내지는 것, 규격상으로는 루프필터(20)이 불필요하고 이 대신에 오염영역 필터링 지시(17)에 따라서 동작하는 필터부(56)이 마련되어 있는 것, 루프필터(20)의 삭제에 따라서 루프필터 동작지시(10)과 OR게이트(40)이 삭제된 것, 복호에 사용하는 예측방향(51)이 오염영역 판정부(16)에 부가되는 것에 있다. 필터부(56)은 도 11의 계수에 따라서 필터링처리를 한다.
[동작]
이하, 실시형태1의 장치와 다른 동작만을 설명한다.
[1] 정상시의 복호동작
도 5의 S100~S122를 실행한다. 복호의 대상이 인트라부호화 매크로블럭일 때, 역양자화부(5)는 파라미터버스(42)에서 양자화 파라미터와 양자화 DCT계수를 추출한다. 이후는 실시형태1과 동일하다.
복호의 대상이 인터부호화 매크로블럭일 때, 움직임벡터 선택부(14)는 파라미터버스(42)를 거쳐서 보내지는 움직임벡터와 예측방향정보를 래치하고, 각각 최종움직임벡터(15), 최종예측방향정보(51)로서 그대로 출력한다. 메모리 인터페이스부(18)에서는 파라미터버스(42)에서 상기 매크로블럭이 속하는 픽쳐의 형태와 상기 매크로블럭의 화면내위치정보를 래치한다. 다음에, 픽쳐형태로 이루어지는 예측픽쳐를 결정하고, 상기 매크로블럭의 화면내위치정보, 최종움직임벡터(15), 최종예측방향정보(51)에 따라서 예측화상의 어드레스를 생성하고, 프레임메모리(19)에서 예측화상을 추출한다. 예측화상은 필터를 거치지 않고 그대로 최종적인 예측화상(21)로서 복호가산부(7)로 보내지고, 역DCT연산부(6)의 출력과 가산되어 최종적인 복호화상(22)로 된다. I또는 P픽쳐의 복호화상은 이후 픽쳐의 예측픽쳐로서 사용되므로 메모리 인터페이스부(18)에서 래치되고 있는 상기 매크로블럭의 화면내위치정보에 따라서 재차 프레임메모리(19)에 라이트된다.
[2] 에러검출시의 복호동작
〈1〉 수복처리
도 6에 도시한 처리를 실행한다. 본 실시형태에서는 실시형태 1의 GOB를 모두 슬라이스로서 해석한다. 본 실시형태의 특징은 움직임벡터뿐만 아니라 예측방향도 고려해서 치환화상의 추출을 실행하는 점에 있다. 본 실시형태에서 수복에 사용하는 예측픽쳐와 움직임벡터는 복호픽쳐의 형태마다 다음과 같이 하도록 한다.
① I픽쳐
I픽쳐에서는 본래 움직임보상예측이 실행되지 않지만, 여기서는 예측픽쳐라고 하는 개념을 도입한다. 예측픽쳐는 가장 최근에 복호된 I 또는 P픽쳐로 하고, 추정움직임벡터는 0으로 한다. 즉, 가장 최근에 복호된 I 또는 P픽쳐에서 현재 처리되고 있는 매크로블럭과 동일한 화면내 위치에 있는 매크로블럭을 그대로 예측화상으로 한다. 따라서, I픽쳐의 수복은 앞방향예측에 의해서 실행된다고 해도 좋다. 이 예측방향은 후술하는 추정예측방향으로서 취급된다.
② P픽쳐
실시형태1과 마찬가지로 손실매크로블럭의 바로 위의 매크로블럭의 움직임벡터를 추정움직임벡터로 한다. 또, 바로 위의 매크로블럭의 예측픽쳐를 그대로 예측픽쳐로 한다. 따라서, P픽쳐의 추정예측방향도 앞방향이다.
③ B픽쳐
P픽쳐와 마찬가지로 바로 위의 매크로블럭에 따른다. 따라서, B픽쳐의 수복은 손실매크로블럭의 바로 위의 매크로블럭의 예측방향에 의해 추정예측방향은 앞방향, 뒷방향, 쌍방향 중 어느 하나로 된다.
이렇게 해서 결정된 추정움직임벡터에서 최종움직임벡터(15)를 생성하는 처리는 움직임벡터 선택부(14)에 의해서 실행된다. 도 14는 본 실시형태의 움직임벡터 선택부(14)의 내부구성도이다. 동일도면과 도 7의 구성상의 주요한 차이는 파라미터버스(42)의 신호군을 래치하는 파라미터 래치부(59)가 마련된 점에 있다. 파라미터 래치부(59)는 각종 파라미터 중 복호중인 매크로블럭의 움직임벡터, 예측방향, 화면내위치정보를 래치한다. 래치된 움직임벡터(60), 예측방향(61), 화면내위치정보(62)는 라이트벡터 결정부(23), 최종 움직임벡터 결정부(30)에 인가된다. 그 밖에 움직임벡터버퍼(26)에서 추정움직임벡터(27)에 부가해서 상술한 추정예측방향(69)가 최종움직임벡터 결정부(30)으로 보내지는 점이 다르다.
에러플래그(8)이 1일 때, 복호중인 매크로블럭의 화면내위치정보(62)에 따라서 움직임벡터버퍼(26)에서 그 매크로블럭의 바로 위의 매크로블럭의 움직임벡터와 예측방향을 각각 추정움직임벡터(27), 추정예측방향(69)로서 추출한다. 이들은 최종움직임벡터 결정부(30)을 거쳐서 최종움직임벡터(15), 최종예측방향(51)로서 출력된다. 최종움직임벡터 결정부(30)은 추정움직임벡터(27), 추정예측방향(69)에 따라 추정움직임벡터(27)의 타당성을 평가한다. 평가의 결과, 타당하지 않다고 되었을 때에는 최종움직임벡터(15)의 값으로서 0, 최종예측방향(51)로서 앞방향을 출력한다. 이들은 메모리 인터페이스부(18)에 보내지고 이하 실시형태1과 마찬가지의 처리를 거쳐서 예측화상이 얻어진다.
〈2〉 오염영역의 판정과 필터링처리
도 15는 실시형태2에 의한 오염영역의 등록, 판정, 필터링처리의 전체처리를 설명하기 위한 도면이다. 동일도면에는 B픽쳐가 내삽예측에 의해서 복호되는 형태가 도시되어 있다. 여기서는 최초의 픽쳐(95)의 매크로블럭(100)에 있어서 에러가 검출되고, 그 매크로블럭이 포함되는 슬라이스가 오염영역(101)로서 등록되어 있다. 오염영역(101)에 포함되는 예측화상(102),(103)부터 이후의 P픽쳐(97)의 매크로블럭(104),(105)가 복호되고, 결과적으로 P픽쳐(97)의 오염영역(106)이 확대되고 있다. 현재, 실제로 복호중인 B픽쳐(96)의 매크로블럭(107)은 픽쳐(96)에 포함되는 예측화상(108)과 P픽쳐(97)에 포함되는 예측화상(109)를 사용한다. 이렇게 해서 오염이 전파되어 간다.
MPEG에서 B픽쳐는 다른 픽쳐의 예측에 사용되지 않는다. 따라서, B픽쳐의 오염영역이 다른 픽쳐복호시에 참조되는 일은 없다. 이 때문에, I또는 P픽쳐에 대해서만 오염영역의 등록을 실행한다. 즉, 에러를 검출한 I또는 P픽쳐에서는 에러수복을 실행한 매크로블럭을 오염영역으로서 등록한다.
오염영역의 판정과 등록은 오염영역 판정부(16)에 있어서 실행된다. 본 실시형태의 오염영역 판정부(16)의 구성은 도 9의 것과 거의 동일하다. 다른 점은 오염영역 등록판정부(31)이 실시형태1의 그것에 부가해서 최종예측방향(51)과 파라미터버스(42)를 참조하는 것, 리드지시(34) 및 어드레스(35)가 예측픽쳐용 오염영역 기억메모리(37)뿐만 아니라 복호픽쳐용 오염영역 기억메모리(36)에도 인가되고 있는 것이다. 파라미터버스(42)는 복호중인 매크로블럭의 화면내위치정보를 취득하기 위해 참조된다.
에러플래그(8)이 1일 때에는 오염영역 등록판정부(31)에 있어서 복호중인 매크로블럭을 오염영역으로 간주하고, 복호픽쳐용 오염영역 기억메모리(36)에 그 화면내 위치정보를 등록한다. 단, 등록의 대상은 I 또는 P픽쳐에 한정된다.
한편, 에러플래그(8)이 0일 때에 실행되는 오염의 판정은 P또는 B픽쳐만을 대상으로 한다. I픽쳐는 다른 픽쳐를 참조하지 않고, 이것은 먼저 복호된 픽쳐에 대한 오염의 판정을 필요로 하지 않기 때문이다.
P픽쳐에 대한 오염영역 등록판정부(31)의 처리는 도 10의 경우와 동일하다. B픽쳐에서는 내삽예측이 실행되는 경우에 한해 2개의 예측 화상이 존재한다. 이 때, 판정의 방법이 다르다. 도 16은 내삽예측된 B픽쳐에 대한 오염영역 등록판정부(31)의 처리 내용을 도시한 도면이다. 동일도면에 도시한 바와 같이 앞방향예측픽쳐와 뒷방향예측픽쳐의 각각에 대해 우선 실시형태1과 마찬가지로 오염영역(38)의 분포를 얻는다. 여기서,
·S1을 앞방향예측픽쳐에 포함되는 예측화상영역(140) 중 그 픽쳐의 오염영역(38)에 중첩되지 않는 부분의 면적
·S2를 앞방향예측픽쳐에 포함되는 예측화상영역(140) 중 그 픽쳐의 오염영역(38)에 중첩되는 부분의 면적
·S3을 뒷방향예측픽쳐에 포함되는 예측화상영역(140) 중 그 픽쳐의 오염영역(38)에 중첩되지 않는 부분의 면적
·S4를 뒷방향예측픽쳐에 포함되는 예측화상영역(140) 중 그 픽쳐의 오염영역(38)에 중첩되는 부분의 면적
으로 정의하고 예측화상중의 오염영역 점유율P2를
P2={S2/(S1+S2)+S4/(S3+S4)}/2
로 결정한다. 여기서, 실시형태1과 마찬가지로 P2가 다음에 나타낸 조건을 만족시키는 경우, 그 예측화상은 오염되어 있는 것으로 간주한다.
[식 2]
P2〉TH ­­­­ (식 2)
또한, B픽쳐가 당지 앞방향예측에서 생성되는 경우에는 P2는 단지
P2=S2/(S1+S2)
로 하고, 뒷방향예측에서 생성되는 경우에는
P3=S4/(S3+S4)
로서 판정하면 좋다.
또한, 내삽예측된 B픽쳐는 예측화상을 2개 갖기 때문에 복호픽쳐용 오염영역 기억메모리(36)과 예측픽쳐용 오염영역 기억메모리(37)을 앞방향예측 및 뒷방향예측 픽쳐용의 오염영역 기억메모리로서 사용한다.
이하, 필터링처리는 실시형태1과 동일하다. 또한, 본 실시형태에서도 실시형태1과 마찬가지로 오염영역 추적기간마다 오염영역의 등록을 말소하는 것으로 한다.
[실시형태 3]
계속해서, MPEG2 비디오규정에 따라서 부호화된 비트 스트림을 복호하고 동화상데이타를 재생하는 복호장치를 설명한다. MPEG1과의 차이점은 부호화시에 여러개의 움직임보상예측의 모드에서 하나의 모드에서 지정할 수 있는 점에 있다.
[구성]
이 장치의 구성은 도 12와 거의 동일하지만, 움직임보상예측모드가 움직임벡터 선택부(14)에서 오염영역 판정부(16)에 부가되는 점에서 다르다.
MPEG2 비디오 규정의 비디오 비트 스트림의 데이타구조는 도 13과 마찬가지이다. 픽쳐는 프레임 또는 필드로서 정의된다. 이 구별을 픽쳐구조라 하고 전자를 프레임픽쳐, 후자를 필드픽쳐라 한다. MPEG2에서도 MPEG1과 마찬가지로 I, P, B의 3종류의 픽쳐형태가 있다.
I픽쳐의 부호화방법은 MPEG1과 거의 동일하다. P픽쳐에 있어서 예측방향은 MPEG1과 마찬가지이지만, 움직임보상예측모드로서 프레임픽쳐에서는 프레임예측, 필드예측, 듀얼프라임예측의 3종류를 선택할 수 있다. 또, 필드픽쳐에서는 필드예측, 16×8MC예측, 듀얼프라임예측의 3종류를 선택할 수 있다. 듀얼프라임예측은 필드예측의 변형으로서 프레임에 포함되는 2장의 필드의 각각에 대해 동일 패리티필드 및 다른 패리티필드에서 예측을 실행한다. 복호시에는 합계 4개(프레임픽쳐의 경우) 또는 2개(필드픽쳐의 경우)의 움직임벡터가 발생한다.
B픽쳐도 예측방향은 MPEG1과 마찬가지이지만, 움직임보상예측모드로서 프레임픽쳐에서는 프레임예측, 필드예측의 2종류를 선택할 수 있다. 또, 필드픽쳐에서는 필드예측, 16×8MC예측의 2종류를 선택할 수 있다.
또한, 프레임픽쳐에 대해서 필드예측을 실행하는 경우와 필드픽쳐에 대해서 16×8MC예측을 하는 경우에 한해 움직임벡터가 동일 예측방향으로 2개 발생한다.
[동작]
이하, 실시형태2의 장치와 다른 동작만을 설명한다.
[1] 정상시의 복호동작
복호의 대상이 인터부호화 매크로블럭일 때, 움직임벡터 선택부(14)는 파라미터버스(42)를 거쳐서 보내지는 움직임벡터와 예측방향정보에 부가하여 움직임보상예측모드를 래치한다. 이하의 처리에는 움직임보상예측모드도 참조된다.
[2] 에러검출시의 복호동작
〈1〉 수복처리
본 실시형태에서 수복에 사용하는 예측픽쳐, 움직임벡터, 움직임보상예측모드는 복호픽쳐의 형태마다 다음과 같이 한다.
① I픽쳐
원칙적으로 실시형태2와 동일하다. 단, I픽쳐에 있어서의 수복시의 움직임보상예측모드에 대해서는 픽쳐구조가 프레임픽쳐이면, 프레임예측, 필드픽쳐이면 필드예측으로만 고정된다. 이 고정적인 처리는 수복에 대해서 유효할 뿐, 실제의 복호시에는 부호화시에 지정된 움직임보상예측모드에 충실히 실행하는 점에 주의해야 한다.
② P픽쳐
추정움직임벡터와 예측픽쳐는 실시형태2와 동일하지만, 움직임벡터가 2개 존재하는 경우에는 먼저 복호한 쪽을 이용한다. 움직임보상예측모드에 대해서는 상기 I픽쳐와 마찬가지로 프레임픽쳐이면 프레임예측, 필드픽쳐이면 필드예측으로만 고정된다. 이 고정적인 처리는 상기 I픽쳐와 마찬가지로 수복에 대해서만 유효하다.
③ B픽쳐
움직임벡터 선택부(14)는 이들의 규칙에 따라 최종움직임벡터(15), 최종예측방향(51)에 부가해서 최종움직임보상 예측모드를 출력한다. 본 실시형태의 움직임벡터 선택부(14)는 실시형태2의 그것에 부가해서 파라미터버스(42)에서 복호중인 매크로블럭이 포함되는 픽쳐의 픽쳐구조 및 움직임보상 예측모드를 래치하는 점에서 다르다.
수복에 사용하는 움직임보상 예측모드는 항상 픽쳐구조에 맞추기 때문에 움직임벡터 선택부(14)에서 기억하지 않는다. 최종움직임벡터결정부(30)에서는 에러플래그(8)이 0일 때에는 복호된 움직임벡터와 예측방향과 움직임보상 예측모드를 그대로 출력한다. 에러플래그(8)이 1일 때에는 그 매크로블럭의 화면내위치정보와 움직임벡터버퍼(26)에서 리드된 추정움직임벡터(20)과 추정예측방향(69)에 따라서 움직임벡터의 타당성이 평가된다. 타당하지 않다고 판단되면, 추정움직임벡터(20)대신에 최종움직임벡터(15)의 벡터값을 0, 최종예측방향(51)을 앞방향에서 출력한다. 타당하다고 판단되면, 추정움직임벡터(20), 추정예측방향(69), 그 매크로블럭이 속하는 픽쳐의 픽쳐구조에 따라서 결정한 최종움직임벡터(15), 최종예측방향(51), 최종움직임보상 예측모드를 출력한다. 이하의 처리는 실시형태2와 동일하다.
〈2〉 오염영역의 판정과 필터링처리
본 실시형태에서도 실시형태2와 마찬가지로 I또는 P픽쳐에 대해서만 오염영역의 등록을 실행한다. 본 실시형태의 오염영역 판정부(16)의 구성은 실시형태2의 것과 거의 동일하다. 다른 점은 오염영역 등록 판정부(31)이 실시형태2의 그것에 부가해서 움직임보상예측모드를 참조하는 점에 있다.
에러플래그(8)이 1일 때에는 오염영역 등록판정부(31)에 있어서 복호중인 매크로블럭을 오염영역으로 간주하여 복호픽쳐용 오염영역 기억메모리(36)에 그 화면내위치정보를 등록한다.
한편, 에러플래그가 0일 때에 실행되는 판정은 P도는 B픽쳐만을 대상으로 한다. MPEG2의 경우, 2개의 픽쳐구조에 대해서 각각 3가지의 움직임보상예측모드가 존재할 수 있다. 그 중, 프레임픽쳐에 대해서 프레임예측, 필드픽쳐에 대해서 필드예측 또는 듀얼프라임예측을 적용하는 3가지의 경우에서는 예측화상이 1개 또는 2개 존재하고, 그 처리는 도 16과 동일하게 된다.
한편, 프레임픽쳐에 대해서 필드예측 또는 듀얼프라임예측, 필드픽쳐에 대해서 16×8MC예측을 적용하는 3가지의 경우에서는 예측화상이 2개 또는 4개 존재할 수 있다. 여기서는 예측화상이 4개 존재하는 경우의 판정방법을 설명한다.
도 17은 예측화상이 4개 존재하는 경우의 오염영역 등록판정부(31)에 의한 판정방법을 도시한 도면이다. 동일도면은 프레임픽쳐에 대해서 필드예측을 적용한 경우를 도시하고 있다. 이 때, 앞방향예측픽쳐와 뒷방향예측픽쳐의 각각에 있어서 제1필드, 제2필드를 위한 예측화상이 존재한다. 여기에서도 우선, 앞방향예측픽쳐와 뒷방향예측픽쳐에 대해서 오염영역의 분포를 얻는다. 여기서, S1, S2를
·S1을 앞방향예측픽쳐에 포함되는 제1필드를 위한 예측화상영역(140)중 그 픽쳐의 오염영역(38)에 중첩되지 않는 부분의 면적
·S2를 앞방향예측픽쳐에 포함되는 제1필드를 위한 예측화상영역(140)중 그 픽쳐의 오염영역(38)에 중첩되는 부분의 면적
으로 결정한다. S3~8에 대해서도 동일도면에 도시한 바와 같이 결정한다. 이 때, 오염영역의 점유율 P3은
P3={S2/(S1+S2)+S4/(S3+S4)+S6/(S5+S6)+S8/(S7+S8)}/4
로 결정한다. P3이 이하에 도시한 조건을 만족시키는 경우, 그 예측화상은 오염되어 있는 것으로 간주한다.
[식 3]
P3〉TH ­­­­ (식 3)
이상이 판정방법이다. 또한, 여기에서도 앞방향예측뿐인 경우에는
P3={S2/(S1+S2)+S4/(S3+S4)}/2
뒷방향예측뿐인 경우에는
P3={S6/(S5+S6)+S8/(S7+S8)}/2
로 한다.
판정이 종료되면, 필처링처리가 실행된다. 본 실시형태에서는 픽쳐구조에 의해서 루프필터부(20)의 처리를 변경한다. 도 18은 본 실시형태의 루프필터부(20)의 내부구성도이다. 루프필터부(20)은 파라미터버스(42)에서 래치한 픽쳐구조와 오염영역 필터링 지시 플래그(17)에 따라서 SW1, 2를 제어하는 블록킹 제어부(127), 프레임형식으로 배열된 예측화상을 필드형식으로 재배열하는 필드블록킹부(129), 필드블록킹부(129)를 통과 또는 회피한 예측화상에 필터링처리를 실시하는 필터실행부(130)으로 이루어진다. 블록킹제어부(127)은 픽쳐구조가 프레임픽쳐이고, 또한 오염영역 필터링 지시 플래그(17)이 1인 경우에 한해서 W21, 2를 방향A로 접속한다.
이 구성에 의하면, 픽쳐구조가 프레임픽쳐, 오염영역 필터링 지시 플래그(17)이 1인 경우, 필드블록킹부(129)는 동일도면에 도시한 바와 같이 데이타형식의 변환을 실행한다. 그 후, 필터링처리가 이루어진다. 이 때문에 필드마다(동일도면의 흰 부분과 검은 부분마다) 평활화가 실행되게 되어 필드간에 움직임이 있는 경우에도 이 움직임이 평활화되어 손실되는 사태가 회피된다. 필터링처리 후, 도시하지 않은 역변환회로에 의해 필드형식에서 프레임형식으로 되돌아가 데이타를 후단의 회로에 전달하면 좋다.
이상이 본 실시형태의 개요이다. 또한, 본 실시형태에 대해서 다음의 개량 또는 변형을 고려할 수 있다.
① 실시형태1, 2와 마찬가지로 임의의 주기에서 오염영역의 등록을 말소하는 구성으로 한다.
② 실시형태1~3의 장치의 임의의 조합을 채용하는 것에 의해 ITU-T H. 261규격, MPEG1 비디오규격, MPEG2 비디오규격 중 어느 하나의 규격에 준거한 비트 스트림이어도 복호가능한 동화상 복호장치를 제공할 수 있다.
본 발명에 의하면, 오염영역에 포함되는 예측화상이 평활화되므로, 재생화상중에서 상기 예측화상이 화상의 다른 부분에서 두드러지게 다른 인상을 주는 상태가 회피된다. 또, 에러에 의한 악영향의 전파를 저감할 수 있다.

Claims (2)

  1. 부호화된 동화상데이타를 움직임보상예측을 이용해서 복호하는 동화상 복호방법에 있어서, 동화상데이타를 처리단위화상마다 해석하는 해석공정, 임의의 처리단위화상을 해석했을 때 에러가 검출되면 그 처리단위화상의 영역을 오염영역으로서 등록하는 등록공정, 처리단위화상을 복호할 때 움직임보상예측에 사용되는 예측화상을 결정하는 결정공정, 결정된 예측화상이 상기 오염영역에 포함되는지 포함되지 않는지를 판정하는 판정공정 및 판정의 결과 상기 예측화상이 상기 오염영역에 포함될 때 그 예측화상에 평활화처리를 실시하는 평활화공정을 포함하며, 상기 평활화공정에 의해 얻어진 예측화상을 상기 움직임보상예측에 사용하는 것을 특징으로 하는 동화상복호방법.
  2. 부호화된 동화상데이타를 움직임보상예측을 이용해서 복호하는 동화상 복호장치에 있어서, 동화상데이타를 수신하고 이것을 처리단위화상마다 해석하는 비트 스트림해석부, 임의의 처리단위화상을 해석했을 때 에러가 검출되면 그 처리단위화상의 영역을 오염영역으로서 등록하는 오염영역 등록부, 처리단위화상을 복호할 때 움직임보상예측에 사용되는 예측화상을 결정하는 예측화상 결정부, 결정된 예측화상의 영역과 상기 오염영역을 비교하는 것에 의해서 그 예측화상이 오염되어 있는지 오염되어 있지 않은지를 판정하는 오염판정부 및 판정의 결과 상기 예측화상이 상기 오염영역에 포함될 때 그 예측화상에 평활화처리를 실시하는 평활화부를 포함하며, 상기 평활화부에 의해 얻어진 예측화상을 상기 움직임보상예측에 사용하는 것을 특징으로 하는 동화상복호장치.
KR1019960046608A 1996-03-07 1996-10-18 오염영역을 판정하는 동화상복호방법 및 장치 KR100267805B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP5047996A JP3297293B2 (ja) 1996-03-07 1996-03-07 動画像復号方法および動画像復号装置
JP96-050479 1996-03-07
JP96-50479 1996-03-07

Publications (2)

Publication Number Publication Date
KR970068641A KR970068641A (ko) 1997-10-13
KR100267805B1 true KR100267805B1 (ko) 2000-10-16

Family

ID=12860049

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019960046608A KR100267805B1 (ko) 1996-03-07 1996-10-18 오염영역을 판정하는 동화상복호방법 및 장치

Country Status (8)

Country Link
US (1) US5715008A (ko)
EP (1) EP0794671B1 (ko)
JP (1) JP3297293B2 (ko)
KR (1) KR100267805B1 (ko)
AU (1) AU679881B1 (ko)
CA (1) CA2180411C (ko)
DE (1) DE69617901T2 (ko)
TW (1) TW313739B (ko)

Families Citing this family (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2848326B2 (ja) * 1996-03-28 1999-01-20 日本電気株式会社 Ｍｐｅｇ符号化画像復号装置
US6549575B1 (en) * 1996-11-07 2003-04-15 International Business Machines Corporation. Efficient, flexible motion estimation architecture for real time MPEG2 compliant encoding
US5905542A (en) * 1996-12-04 1999-05-18 C-Cube Microsystems, Inc. Simplified dual prime video motion estimation
US6185340B1 (en) * 1997-02-18 2001-02-06 Thomson Licensing S.A Adaptive motion vector control
GB9703470D0 (en) 1997-02-19 1997-04-09 Thomson Consumer Electronics Trick play reproduction of MPEG encoded signals
US6359929B1 (en) * 1997-07-04 2002-03-19 Matsushita Electric Industrial Co., Ltd. Image predictive decoding method, image predictive decoding apparatus, image predictive coding apparatus, and data storage medium
US6310918B1 (en) * 1997-07-31 2001-10-30 Lsi Logic Corporation System and method for motion vector extraction and computation meeting 2-frame store and letterboxing requirements
US6493385B1 (en) * 1997-10-23 2002-12-10 Mitsubishi Denki Kabushiki Kaisha Image encoding method, image encoder, image decoding method, and image decoder
US6959045B2 (en) * 1997-12-30 2005-10-25 Mediatek, Inc. Reduced cost decoder using bitstream editing for image cropping
CN1272288A (zh) * 1998-05-20 2000-11-01 皇家菲利浦电子有限公司 编码作为图象序列组织的信息流
AU717480B2 (en) * 1998-08-01 2000-03-30 Korea Advanced Institute Of Science And Technology Loop-filtering method for image data and apparatus therefor
KR100587280B1 (ko) * 1999-01-12 2006-06-08 엘지전자 주식회사 오류 은폐방법
JP2000333163A (ja) * 1999-05-24 2000-11-30 Sony Corp 復号装置及び方法、符号化装置及び方法、画像処理システム、画像処理方法
JP3483806B2 (ja) 1999-07-28 2004-01-06 松下電器産業株式会社 動画像信号の符号化装置及び符号化方法
JP3630590B2 (ja) * 1999-08-25 2005-03-16 沖電気工業株式会社 復号化装置及び伝送システム
JP4794711B2 (ja) * 1999-09-07 2011-10-19 富士通株式会社 エラー隠蔽制御方法及び符号化装置及び画像信号伝送システム
JP2002142162A (ja) * 2000-10-30 2002-05-17 Fujitsu Ten Ltd ディジタル放送受信機の復調処理装置
US20030012287A1 (en) * 2001-03-05 2003-01-16 Ioannis Katsavounidis Systems and methods for decoding of systematic forward error correction (FEC) codes of selected data in a video bitstream
US6983078B2 (en) 2001-05-01 2006-01-03 Hewlett-Packard Development Company, L.P. System and method for improving image quality in processed images
GB2415570B (en) * 2001-05-01 2006-02-15 Hewlett Packard Co System and method for improving image quality in processed images
US6907079B2 (en) * 2002-05-01 2005-06-14 Thomson Licensing S.A. Deblocking filter conditioned on pixel brightness
JP2003348594A (ja) 2002-05-27 2003-12-05 Sony Corp 画像復号装置及び方法
KR100754419B1 (ko) * 2002-07-16 2007-08-31 노키아 코포레이션 비디오 코딩시 랜덤 액세스 및 점진적 화상 리프레시를위한 방법
EP1395061A1 (en) * 2002-08-27 2004-03-03 Mitsubishi Electric Information Technology Centre Europe B.V. Method and apparatus for compensation of erroneous motion vectors in video data
US7558441B2 (en) 2002-10-24 2009-07-07 Canon Kabushiki Kaisha Resolution conversion upon hierarchical coding and decoding
AU2003248858A1 (en) * 2003-01-10 2004-08-10 Thomson Licensing S.A. Decoder apparatus and method for smoothing artifacts created during error concealment
MXPA05007854A (es) * 2003-01-23 2005-10-18 Thomson Licensing Sa Metodo y aparato para evitar la propagacion de error en una secuencia de video.
KR100585733B1 (ko) 2003-10-16 2006-06-07 엘지전자 주식회사 영상 처리 시스템의 손실 블록 특성 자동 판단 방법 및 장치
US20090225832A1 (en) * 2004-07-29 2009-09-10 Thomson Licensing Error concealment technique for inter-coded sequences
JP2006060813A (ja) 2004-08-20 2006-03-02 Polycom Inc ビデオデコーダにおける誤り隠蔽
ZA200703153B (en) * 2004-10-18 2008-08-27 Thomson Licensing Film grain simulation method
MX2007005653A (es) * 2004-11-12 2007-06-05 Thomson Licensing Simulacion de grano para reproduccion normal y reproduccion de modo de truco para sistemas de reproduccion de video.
WO2006055333A2 (en) 2004-11-16 2006-05-26 Thomson Licensing Film grain sei message insertion for bit-accurate simulation in a video system
MX2007005652A (es) 2004-11-16 2007-06-05 Thomson Licensing Metodo de simulacion de grano de pelicula con base en coeficientes de transformacion pre-computados.
KR101169826B1 (ko) 2004-11-17 2012-08-03 톰슨 라이센싱 사전계산된 변환 계수들에 기초한 비트-어큐리트 필름그레인 시뮬레이션 방법
JP5474300B2 (ja) * 2004-11-22 2014-04-16 トムソン ライセンシング フィルムグレインシミュレーションのフィルムグレインキャッシュ分割のための方法、装置及びシステム
JP4570081B2 (ja) * 2005-01-11 2010-10-27 Ｋｄｄｉ株式会社 動画像エラー隠蔽方法および装置
US7925955B2 (en) 2005-03-10 2011-04-12 Qualcomm Incorporated Transmit driver in communication system
US8693540B2 (en) 2005-03-10 2014-04-08 Qualcomm Incorporated Method and apparatus of temporal error concealment for P-frame
EP2268042B1 (en) * 2005-03-10 2014-07-02 Qualcomm Incorporated A decoder architecture for optimized error management in streaming multimedia
JP4672431B2 (ja) * 2005-05-13 2011-04-20 パナソニック株式会社 フィルタ特性異常隠蔽処理装置
CN101228793B (zh) * 2005-09-13 2011-04-13 三菱电机株式会社 解码装置
US8213495B2 (en) 2006-02-06 2012-07-03 Panasonic Corporation Picture decoding method and picture decoding apparatus
JP4949010B2 (ja) * 2006-02-06 2012-06-06 パナソニック株式会社 画像復号化方法及び画像復号化装置
US8189688B2 (en) 2006-02-06 2012-05-29 Panasonic Corporation Image decoding device and image decoding method
KR100745765B1 (ko) 2006-04-13 2007-08-02 삼성전자주식회사 화상 데이터의 공간상 예측 장치 및 방법과 그를 이용한부호화 장치 및 방법, 화상 데이터의 공간상 예측 보상장치 및 방법과 그를 이용한 복호화 장치 및 방법
JP4624308B2 (ja) * 2006-06-05 2011-02-02 三菱電機株式会社 動画像復号装置及び動画像復号方法
KR100827091B1 (ko) * 2006-09-29 2008-05-02 삼성전자주식회사 동영상 복호화시 손실 은폐 방법 및 이를 이용한 복호화장치
US10715834B2 (en) 2007-05-10 2020-07-14 Interdigital Vc Holdings, Inc. Film grain simulation based on pre-computed transform coefficients
JPWO2009048112A1 (ja) * 2007-10-09 2011-02-24 国立大学法人北海道大学 動画像復号器、動画像復号方法及び動画像復号プログラム
MX2010008978A (es) * 2008-03-07 2010-09-07 Toshiba Kk Aparato de codificacion / decodificacion de video.
JP2008228327A (ja) * 2008-04-08 2008-09-25 Canon Inc 復号方法及び装置
JP5089632B2 (ja) * 2009-03-04 2012-12-05 三菱電機株式会社 動画像復号装置
JP5344238B2 (ja) 2009-07-31 2013-11-20 ソニー株式会社 画像符号化装置および方法、記録媒体、並びにプログラム
JP5701018B2 (ja) * 2010-11-12 2015-04-15 三菱電機株式会社 画像復号装置
JP2012151576A (ja) 2011-01-18 2012-08-09 Hitachi Ltd 画像符号化方法、画像符号化装置、画像復号方法及び画像復号装置
JP6328076B2 (ja) * 2015-06-17 2018-05-23 ヴェロス メディア インターナショナル リミテッドＶｅｌｏｓ Ｍｅｄｉａ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｌｉｍｉｔｅｄ 画像復号装置および方法、記録媒体、並びにプログラム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2050752B (en) * 1979-06-07 1984-05-31 Japan Broadcasting Corp Motion compensated interframe coding system
JP2750717B2 (ja) * 1988-12-15 1998-05-13 国際電信電話 株式会社 画像伝送誤り訂正方式
US5122876A (en) * 1988-12-26 1992-06-16 Canon Kabushiki Kaisha Image signal restoring apparatus
DE3939136A1 (de) * 1989-11-27 1991-05-29 Daimler Benz Ag Verfahren zur decodierung von codierten bilddaten
US5136371A (en) * 1990-03-15 1992-08-04 Thomson Consumer Electronics, Inc. Digital image coding using random scanning
US5212549A (en) * 1991-04-29 1993-05-18 Rca Thomson Licensing Corporation Error concealment apparatus for a compressed video signal processing system
KR0125581B1 (ko) * 1991-07-24 1998-07-01 구자홍 디지탈 영상신호의 에러수정 시스템
GB2260053B (en) * 1991-09-27 1995-03-08 Sony Broadcast & Communication Image signal processing
JPH05130420A (ja) * 1991-11-07 1993-05-25 Canon Inc 復号化装置
JPH05300485A (ja) * 1992-04-22 1993-11-12 Sony Corp ブロック変換符号の復号装置
JP3132184B2 (ja) * 1992-09-04 2001-02-05 株式会社日立製作所 画像データ記録再生装置
KR970005831B1 (ko) * 1992-09-09 1997-04-21 대우전자 주식회사 적응적 프레임/필드 변환 부호화를 이용한 영상 부호화기
FR2696026B1 (fr) * 1992-09-18 1994-12-30 Sgs Thomson Microelectronics Procédé de masquage d'erreurs de transmission d'image compressée en MPEG.
JP3153390B2 (ja) * 1993-07-02 2001-04-09 沖電気工業株式会社 動画像復号化装置
TW283289B (ko) * 1994-04-11 1996-08-11 Gen Instrument Corp

Also Published As

Publication number Publication date
JPH09247681A (ja) 1997-09-19
CA2180411C (en) 2000-04-04
US5715008A (en) 1998-02-03
AU679881B1 (en) 1997-07-10
DE69617901D1 (de) 2002-01-24
KR970068641A (ko) 1997-10-13
EP0794671A3 (en) 1997-12-29
EP0794671B1 (en) 2001-12-12
DE69617901T2 (de) 2002-08-01
TW313739B (en) 1997-08-21
EP0794671A2 (en) 1997-09-10
JP3297293B2 (ja) 2002-07-02
CA2180411A1 (en) 1997-09-08

Similar Documents

Publication Publication Date Title
KR100267805B1 (ko) 오염영역을 판정하는 동화상복호방법 및 장치
CN100521793C (zh) 视频编码中的随机访问点
US6603815B2 (en) Video data processing apparatus, video data encoding apparatus, and methods thereof
EP0933948B1 (en) Video encoder and video encoding method
US7532764B2 (en) Prediction method, apparatus, and medium for video encoder
KR100751670B1 (ko) 화상 부호화 장치, 화상 복호 장치 및 화상 부호화 또는 복호화 방법
KR100357093B1 (ko) 동영상 압축 복원시스템에서의 오류 은폐장치 및 방법
US7916785B2 (en) Image processing apparatus and method
JP3840020B2 (ja) 動画像符号化装置
JP2006519565A (ja) ビデオ符号化
JPWO2011080925A1 (ja) 画像符号化装置および方法
KR19990087266A (ko) 블록 바탕 비디오 코딩 시스템에서 장면 커팅을 검출하기 위한방법 및 장치
JP2007067469A (ja) フレーム内予測符号化制御方法、フレーム内予測符号化制御装置、フレーム内予測符号化制御プログラムおよびそのプログラムを記録した記録媒体
JPH08223577A (ja) 動画像符号化方法及び装置、並びに動画像復号方法及び装置
JPH08154247A (ja) 圧縮画像データ処理装置及び方法
JP3519441B2 (ja) 動画像伝送装置
JP2004527981A (ja) 予測タイプの選択によるビデオデータブロックのイントラ符号化
US20050013496A1 (en) Video decoder locally uses motion-compensated interpolation to reconstruct macro-block skipped by encoder
JP3599942B2 (ja) 動画像符号化方法、及び動画像符号化装置
JP3200199B2 (ja) 動画像圧縮符号化方法
JP2000261809A (ja) 画像特徴に応じた画像符号化装置
KR101678138B1 (ko) 동화상 부호화 방법, 장치 및 프로그램
JP3599909B2 (ja) 動画像符号化装置
JP2001326941A (ja) 動画像符号化装置、動画像符号化方法、動画像符号化プログラムを記録している記録媒体、動きベクトル判定装置、動きベクトル判定方法及び動きベクトル判定プログラムを記録している記録媒体
JPH0795588A (ja) 動画像符号化装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application
AMND Amendment
J201 Request for trial against refusal decision
E902 Notification of reason for refusal
B701 Decision to grant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20100707

Year of fee payment: 11

LAPS Lapse due to unpaid annual fee