KR100644498B1 - 노이즈 검출방법과 노이즈 검출장치 및 화상 복호화장치 - Google Patents

노이즈 검출방법과 노이즈 검출장치 및 화상 복호화장치 Download PDF

Info

Publication number
KR100644498B1
KR100644498B1 KR1020000049429A KR20000049429A KR100644498B1 KR 100644498 B1 KR100644498 B1 KR 100644498B1 KR 1020000049429 A KR1020000049429 A KR 1020000049429A KR 20000049429 A KR20000049429 A KR 20000049429A KR 100644498 B1 KR100644498 B1 KR 100644498B1
Authority
KR
South Korea
Prior art keywords
block
noise
dct
filter
coefficient
Prior art date
Application number
KR1020000049429A
Other languages
English (en)
Other versions
KR20010021410A (ko
Inventor
곤도사토시
이와사키에이지
다니우치히로시
다카하시히데야
Original Assignee
마츠시타 덴끼 산교 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마츠시타 덴끼 산교 가부시키가이샤 filed Critical 마츠시타 덴끼 산교 가부시키가이샤
Publication of KR20010021410A publication Critical patent/KR20010021410A/ko
Application granted granted Critical
Publication of KR100644498B1 publication Critical patent/KR100644498B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/3002—Conversion to or from differential modulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 블록 노이즈가 발생하는 블록경계 또는 모스키토 노이즈가 발생하는 블록을 확실하게 검출하기 위한 것이다.
화상에 대한 동보상 예측과, 블록단위의 직교변환, 및 양자화의 각 처리를 이용하여 부호화된 부호열로부터, 각 블록에 대한 직교변환 계수 및 동 벡터를 포함한 부호화 정보를 추출하는 부호화 정보 추출단계와, 각 블록에 대한 동 벡터에 기초하여 참조 프레임으로부터 각 블록의 참조영역을 구하는 참조영역 추출단계와, 각 블록 및 그 참조영역에 중복되는 참조프레임 내 블록에 대한 직교변환 계수의 각 주파수 성분의 분포에 기초하여, 제거해야 할 부호화 노이즈를 검출하는 부호화 노이즈 검출 단계를 구비한다.

Description

노이즈 검출방법과 노이즈 검출장치 및 화상 복호화장치{NOISE DETECTING METHOD, NOISE DETECTOR AND IMAGE DECODING APPARATUS}
도 1은 제 1 실시예에 관한 화상 복호화장치의 블록도.
도 2는 화상 포맷이 4:2:0인 경우의 매크로블록 구성에 대한 설명도.
도 3은 블록 노이즈 검출수단의 구성을 도시한 블록도.
도 4는 블록 분류에 이용하는 DCT패턴의 설명도.
도 5는 인트라 부호화된 블록을 분류하는 처리의 흐름을 나타내는 흐름도.
도 6은 화소블록의 배치에 대한 설명도.
도 7은 필터 종류를 구하는 순서를 도시하는 흐름도.
도 8은 블록간 경계에 대한 수평방향의 필터처리에 대한 설명도.
도 9는 필터의 주파수 특성의 예를 나타내는 그래프.
도 10은 제 2 실시예에 관한 블록 노이즈 검출수단의 구성을 도시한 블록도.
도 11은 비인트라 부호화된 블록의 분류 처리 흐름을 나타내는 흐름도.
도 12는 처리대상 블록과 그 참조영역에 대한 설명도.
도 13은 제 3 실시예에 관한 화상 복호화장치의 블록도.
도 14는 도 13의 화상 복호화장치의 블록 노이즈 검출수단의 구성을 나타내는 블록도.
도 15는 블록 분류에 이용하는 DCT패턴의 설명도.
도 16은 블록 분류 처리의 흐름을 나타내는 흐름도.
도 17은 도 14의 블록 노이즈 검출수단의 다른 구성예를 나타내는 블록도.
도 18은 DC계수를 이용하여 블록을 분류하는 경우의 처리 흐름을 나타내는 흐름도.
도 19는 도 14의 블록 노이즈 검출수단의 또 다른 구성예를 나타내는 블록도.
도 20은 제 4 실시예에 관한 블록 노이즈 검출수단의 구성을 나타내는 블록도.
도 21은 도 20의 블록 노이즈 검출수단의 다른 구성예를 나타내는 블록도.
도 22는 도 20의 블록 노이즈 검출수단의 또 다른 구성예를 나타내는 블록도.
도 23은 제 5 실시예에 관한 블록 노이즈 검출수단의 구성을 나타내는 블록도.
도 24는 DCT 모드가 필드 모드인 경우의 DCT계수 매크로블록과 화소블록을 필드별로 나타낸 것의 관계 설명도.
도 25는 DCT 모드가 프레임 모드인 경우의 DCT계수 매크로블록과 화소블록을 필드별로 나타낸 것의 관계 설명도.
도 26은 필드블록의 배치에 대한 설명도.
도 27은 블록간 경계에 대한 수직방향의 필터처리에 대한 설명도.
도 28은 제 6 실시예에 관한 블록 노이즈 검출수단의 구성을 나타내는 블록도.
도 29는 참조영역의 블록 노이즈 파라미터의 취득방법에 대한 설명도.
도 30은 제 7 실시예에 관한 화상 복호화장치의 블록도.
도 31은 도 30의 화상 복호화장치의 모스키토 노이즈 검출수단의 구성을 나타내는 블록도.
도 32는 블록 분류에 이용하는 DCT패턴의 설명도.
도 33은 블록 분류 처리의 흐름을 나타내는 흐름도.
도 34는 비인트라 부호화된 블록을 분류하는 처리의 흐름도.
도 35는 필터처리에 이용하는 화소의 예에 대한 설명도.
도 36은 모스키토 노이즈를 제거하는 필터처리의 예에 대한 설명도.
도 37은 필터처리에 이용하는 화소의 다른 예에 대한 설명도.
도 38은 제 8 실시예에 관한 모스키토 노이즈 검출수단의 구성을 나타내는 블록도.
도 39는 필터처리에 이용하는 화소의 예에 대한 설명도.
도 40은 필터처리에 이용하는 화소의 다른 예에 대한 설명도.
도 41은 제 9 실시예에 관한 화상 복호화장치의 블록도.
도 42는 블록 노이즈 및 모스키토 노이즈가 발생한 곳의 예를 나타내는 설명도.
도 43은 도 42와 같이 노이즈가 발생한 경우에, 노이즈 제거를 해야한다고 결정된 영역을 나타내는 설명도.
도 44는 노이즈 크기를 고려한 경우에, 노이즈 제거를 해야한다고 결정된 영역을 나타내는 설명도.
* 도면의 주요 부분에 대한 부호의 설명 *
101 : 화상 복호화 수단
102,,130, 140, 230, 240, 250, 260, 270, 280,
330, 340 : 블록 노이즈 검출수단
103, 430, 440 : 모스키토 노이즈 검출수단
104 : 노이즈 제거영역 결정수단 105 : 노이즈 제거수단
110 : 가변길이 복호화 수단 111 : 역 양자화 수단
112 : 역 DCT 수단 113, 114, 145, 345, 435, 445 : 스위치
115 : 프레임 메모리 116 :블록 노이즈 제거수단
118 : 파라미터 메모리 수단 119 : 가산수단
126 : 모스키토 노이즈 제거수단
131, 141, 231, 261, 331, 341, 431, 441 : DCT패턴 판정수단
132, 142, 244, 332, 342 : DC계수 추출수단
133, 143, 255, 333, 343, 433, 443 : 양자화 스케일 추출수단
134, 144, 233, 243, 253, 334, 344, 434, 444 : 필터 결정수단
146, 267, 277, 287, 346, 436, 446 : 파라미터 보정수단
147, 266, 276, 286, 347, 437, 447 : 참조영역 파라미터 결정수단
232 : 동 벡터 추출수단
PTN1~PTN4, PTN11~PTN14 : DCT패턴
BB, BB1, BB2 : 블록 노이즈가 발생하는 블록경계
MM, MM1, MM2 : 모스키토 노이즈가 발생하는 블록
본 발명은 압축 부호화된 화상의 복호화 기술에 관하며, 특히 부호화에 기인하여 발생한 부호화 노이즈를 검출하고, 제거하는 기술에 관한 것이다.
최근, 방송, 통신이나 축적 분야에서 화상의 고능률 압축 부호화 방법으로서 MPEG(Moving Picture Experts Group) 방식 등이 널리 이용되고 있다. MPEG 방식에서는 화상으로부터 공간방향 및 시간방향의 용장도를 제거함으로써 부호화를 실행한다.
공간방향의 용장도를 제거하기 위해서는, 이산코사인 변환(Discrete Cosine Transform, 이하 DCT로 칭함)과 양자화 처리가 이용된다. 우선 화상을 8×8화소블록으로 불리는 단위로 분할한 후, DCT에 의하여 주파수 영역의 계수(이하 DCT계수로 칭함)로 변환시키고, DCT계수에 대하여 양자화 처리를 실행한다.
양자화 처리는 DCT영역의 각 주파수에 대응한 값을 갖는 양자화 매트릭스와 양자화 스케일의 양쪽을 이용하여 DCT계수를 나누는 처리이다. 이 양자화 처리에 의하여 DCT계수 값이 작은 주파수 성분의 값이 0으로 된다. 일반적으로 화상신호 는 에너지가 저역으로 집중하기 때문에, 이 처리에 의하여 고주파수 성분이 삭제된다. 그러나 인간의 시각 특성은 고역으로 될수록 나빠지므로, 양자화 처리에서 이용하는 양자화 스케일이 작으면(양자화 단계가 작으면), 화질열화는 눈에 잘 띄지 않는다.
또 시간방향의 용장도를 제거하기 위해서는 동 보상이 이용된다. 동 보상에서는 16×16화소의 매크로블록을 단위로 하여 참조 프레임으로부터 가장 가까운 영역을 선택해 낸다. 그리고 참조 프레임과의 차분값을 부호화한다. 움직임이 그리 빠르지 않은 경우, 차분값은 거의 0으로 되므로, 시간적 용장도를 삭감할 수 있다.
통상, MPEG방식에서 부호의 전송 비트율이 높은(압축율이 작은) 경우에는, 화질열화는 거의 눈에 띄지 않는다. 그러나 비트율이 낮아지면(압축율이 커지면) 부호화 노이즈가 보이기 시작하며 화질이 열화된다. MPEG방식에서 부호화 노이즈의 대표적인 것으로서 블록 노이즈(블록 왜곡이라고도 불림:Blocking artifact) 및 모스키토 노이즈(링잉 노이즈(ringing artifact), 코로나 노이즈로도 불림)가 있다.
블록 노이즈는 블록경계가 뚜렷하게 타일 형상으로 보이는 현상이다. 이는 블록 내 화상신호가 저역 주파수 성분만 갖고 있으며 또, 인접하는 블록 사이에서의 주파수 성분값이 다르기 때문에 발생한다.
모스키토 노이즈는 에지 주변에 모기가 날아다니듯이 점점이 발생하는 노이즈이다. 이는 본래 화상신호가 갖고 있던 고주파수 성분이, 양자화 처리에 의하여 없어짐으로써 발생한다.
블록 노이즈 및 모스키토 노이즈는 아날로그계 노이즈와는 달리, 화질열화로서 크게 두드러지므로 이들을 제거하는 방법이 몇 가지 제안되었다.
블록 노이즈를 제거하는 방법의 예가 일특개평 5-308623호 공보에 개시되어 있다(제 1 종래예). 이 종래예에서는 DCT계수의 최고 주파수 및 동 벡터에서 구한 움직임의 양에 따라 필터의 주파수 특성을 결정하여 필터처리를 실시한다.
또한 일특개평 7-177521호 공보에서는 양자화 스케일 및 동 벡터의 크기를 이용하여 필터 특성을 결정하고, 결정한 필터를 이용하여 복호화 화상의 블록경계에 대하여 필터처리를 실시함으로써, 블록 노이즈를 제거하는 방법이 개시되어 있다(제 2 종래예). 이 종래예에서는, 양자화 스케일이 크고 동 벡터가 작은 경우에는 양자화 스케일만을 이용하여 필터 특성을 결정한다. 또 양자화 스케일이 작고 동 벡터가 큰 경우에는, 동 벡터 크기만을 이용하여 필터 특성을 결정한다. 그리고 양자화 스케일과 동 벡터 크기가 모두 중간 정도인 경우에는 양쪽을 이용하여 필터 특성을 결정한다.
한편, 모스키토 노이즈를 제거하는 방법의 예가 일특개평 6-311499호 공보에 개시되어 있다(제 3 종래예). 이 종래예에서는 각 블록의 특정 DCT계수에 대한 절대합을 구하고 그 값에 의하여 필터링의 임계값을 변경한다. 또 프레임간 참조 부호화를 행한 프레임에 대해서는 차분 화상에 모스키토 노이즈 제거를 실시한 후, 이미 모스키토 노이즈 제거 처리를 실시한 참조 프레임을 가산함으로써 복호화 화상을 얻는다.
일반적으로 블록 노이즈의 발생은 DCT계수의 최고 주파수로 결정되는 것이 아니라, DCT계수의 각 주파수 성분의 분포 및 인접블록간 DCT계수의 각 주파수 성분의 분포차에 의하여 결정된다. 그러나 상기 제 1 종래예와 같이 DCT계수의 최고 주파수 성분만을 이용하여 필터 특성을 결정하면 블록 노이즈의 제거 능력이 저하된다.
또한 상기 제 1 종래예와 같은 방법에서는 다음과 같은 문제점이 있다. 즉 수평방향 및 수직방향 각각에 대하여 개별로 필터 특성을 결정하면 필터 결정에 필요한 연산 처리량이 많아진다. 더욱이 DCT계수에 의하여 필터 특성을 결정하면, 프레임간 부호화(비 인트라부호화)의 실행같은 경우에는 블록 노이즈의 검출 능력이 낮아진다. 또 움직임의 양이 크면 강한 필터처리를 한다는 식으로 제어를 실행하면 참조 프레임의 성질이 고려되지 않는다. 예를 들어 움직임의 양이 커도 정확하게 동 보상이 실행되는 경우, 차분화상은 0으로 됨에도 불구하고 필터처리를 하게 되어 화상 흐림 등의 화질열화가 발생한다. 따라서 비인트라 부호화된 화상에 대해서는 화질열화가 발생하게 된다.
또 동 벡터가 큰 경우라도 복호화 화상에 고주파수 성분이 포함되는 일이 있다. 또, 예를 들어 프레임간 부호화를 실시한 프레임의 경우에는, 양자화 스케일이 크더라도 참조 프레임에 고주파수 성분이 포함되는 경우가 있으며, 이러한 경우 복호화 화상에 고주파수 성분이 포함되게 된다. 상기 제 2 종래예와 마찬가지로 이러한 경우에 복호화 화상에 필터처리를 실시하면 화질열화가 발생한다.
또한 상기 제 3 종래예와 같은 방법에서는 다음과 같은 문제점이 있다. 즉 각 블록의 특정 DCT계수에 대한 절대값의 합을 구하면, DCT계수의 절대값 합의 계산에 있어서 큰 처리량을 필요로 하게된다. 그리고 모스키토 노이즈 제거 처리를 이미 실시한 참조 프레임을 가산함으로써 복호화 화상을 얻으면, 부호화 시의 참조 프레임과 복호화 시의 참조 프레임이 다르기 때문에 복호화 화상에 오차가 축적되어, 화질열화가 눈에 띄게 된다.
본 발명은 이와 같은 문제점을 해결하는 것이며, 블록 노이즈가 발생하는 블록경계 또는 모스키토 노이즈가 발생하는 블록을 확실하게 검출할 수 있으며, 비 인트라 부호화 블록에 있어서도 이들 부호화 노이즈를 정확하게 검출할 수 있는 노이즈 검출방법 및 노이즈 검출장치를 제공하고, 화질열화를 최소한으로 억제하면서 확실하게 부호화 노이즈를 제거할 수 있는 화상 복호화장치를 제공하는 것을 과제로 한다.
상기 과제를 해결하기 위하여 본 발명이 강구한 수단은 노이즈 검출방법으로서, 화상에 대한 동 보상 예측과, 블록단위의 직교변환, 및 양자화의 각 처리를 이용하여 부호화된 부호열로부터 각 블록에 대한 직교변환 계수 및 동 벡터를 포함하는 부호화 정보를 추출하는 부호화 정보 추출 단계와, 각 블록에 대한 동 벡터에 기초하여 참조 프레임으로부터 각 블록의 참조영역을 구하는 참조영역 추출 단계와, 각 블록 및 그 참조영역에 중복되는 참조 프레임 내 블록에 대한 상기 직교변환 계수의 각 주파수 성분의 분포에 기초하여, 제거해야 할 부호화 노이즈를 검출하는 부호화 노이즈 검출 단계를 구비하는 것이다.
본 발명에 의하면, 부호열로부터 얻어지는 직교변환 계수의 각 주파수 성분 분포뿐만 아니라, 동 벡터를 이용하여 참조 프레임 중의 참조영역에 관한 블록의 직교변환 계수의 각 주파수 성분 분포에도 기초하여 부호화 노이즈를 검출한다. 따라서 비 인트라 부호화 블록에서 확실하게 부호화 노이즈를 검출할 수 있고 또 오검출의 확률도 적다.
또 본 발명에서, 상기 노이즈 검출방법은, 상기 부호화 노이즈로서 블록 노이즈를 검출하는 것으로, 상기 부호화 노이즈 검출 단계에서는 각 블록을, 상기 직교변환 계수의 각 주파수 성분의 분포에 기초하여 복수의 클래스로 분류하고, 처리대상 블록 및 이에 인접하는 인접블록의 클래스와 이들 블록 각각의 참조영역에 중복되는 참조 프레임 내 블록의 클래스에 기초하여, 상기 처리대상 블록 및 상기 인접블록 각각의 새로운 클래스를 구하고, 상기 새로운 클래스에 기초하여 상기 처리대상 블록과 상기 인접블록 사이에 발생하는 블록 노이즈의 크기를 검출하는 것을 특징으로 한다.
본 발명에 의하면 노이즈 제거 처리대상 블록의 클래스뿐만 아니라, 동 벡터를 이용하여 참조 프레임 중의 참조영역에 관한 블록 클래스에도 기초하여 노이즈를 검출하므로 비 인트라 부호화 블록에서, 블록 노이즈가 발생하는 블록경계를 확실하게 검출할 수 있다. 또한 클래스 분류를 수평방향과 수직방향으로 나누지 않고 실시하므로, 적은 연산처리량으로 블록 노이즈의 검출을 실행할 수 있다.
또 본 발명에서, 상기 노이즈 검출방법은 상기 부호화 노이즈로서 모스키토 노이즈를 검출하는 것으로, 상기 부호화 노이즈 검출 단계에서는 각 블록을, 상기 직교변환 계수의 각 주파수 성분 분포에 기초하여 복수 클래스로 분류하고, 처리대상 블록의 클래스와 상기 처리대상 블록의 참조영역에 중복되는 참조 프레임 내 블록의 클래스에 기초하여 상기 처리대상 블록의 새로운 클래스를 구하고, 상기 새로운 클래스에 기초하여 상기 처리대상 블록에 발생하는 모스키토 노이즈의 크기를 검출하는 것을 특징으로 한다.
상기 발명에 의하면 노이즈 제거 처리대상 블록의 클래스뿐만 아니라, 동 벡터를 이용하여 참조 프레임 중의 참조영역에 중복되는 블록의 클래스에도 기초하여 노이즈를 검출하므로, 비 인트라 부호화 블록에서 모스키토 노이즈가 발생하는 블록을 확실하게 검출할 수 있다. 또한 클래스의 분류를 수평방향과 수직방향으로 나누지 않고 실행하므로, 적은 연산처리로 블록 노이즈의 검출을 실행할 수 있다.
또 본 발명에서, 상기 노이즈 검출방법은 상기 부호화 노이즈로서 블록 노이즈를 검출하는 것으로, 상기 부호화 노이즈 검출 단계에서는 상기 부호화 정보로부터 처리대상 블록 및 이에 인접하는 인접블록에 대한 상기 직교변환 계수의 직류성분을 추출하고, 상기 직교변환 계수의 각 주파수 성분 분포에 추가로, 상기 처리대상 블록과 상기 인접블록간의 상기 직류성분 차의 절대값에 기초하여, 상기 처리대상 블록과 상기 인접블록간에 발생하는 블록 노이즈의 크기를 검출하는 것을 특징으로 한다.
본 발명에 의하면 처리대상 블록과 인접블록간의 직류성분 차의 절대값을 조사하므로, 높은 정밀도로 블록 노이즈를 검출할 수 있다.
또 본 발명은 상기 노이즈 검출방법에 있어서, 상기 부호화 노이즈 검출 단 계에서는 상기 부호화 정보로부터 상기 처리대상 블록에 대한 양자화 스케일을 추출하고, 상기 직교변환 계수의 각 주파수 성분 분포에 추가로, 상기 직류성분 차의 절대값과 상기 양자화 스케일에 기초하여, 상기 처리대상 블록과 상기 인접블록간에 발생하는 블록 노이즈의 크기를 검출하는 것을 특징으로 한다.
상기 발명에 의하면 처리대상 블록의 양자화 스케일에 따라 처리대상 블록과 인접블록간 직류성분 차의 절대값을 조사하므로, 높은 정밀도로 블록 노이즈를 검출할 수 있다.
또 본 발명은 상기의 노이즈 검출방법에 있어서, 상기 직교변환 계수의 각 주파수 성분 분포에 추가로, 처리대상 블록 또는 이에 인접하는 인접블록의 동 벡터 크기에 기초하여, 제거해야 할 부호화 노이즈를 검출하는 것을 특징으로 한다.
상기 발명에 의하면, 일반적으로 동 벡터의 크기가 클수록 부호화 노이즈가 크다는 경향이 있다는 점에서, 동 벡터의 크기를 이용함으로써 노이즈 검출을 적절하게 실행할 수 있다.
또한 본 발명에서 상기 노이즈 검출방법은, 상기 부호화 노이즈로서 블록 노이즈를 검출하는 것으로서, 상기 부호화 노이즈 검출 단계에서는 상기 부호화 정보로부터 상기 처리대상 블록 및 이에 인접하는 인접블록에 대한 상기 직교변환 계수의 직류성분을 추출하고, 상기 직교변환 계수의 각 주파수 성분 분포 및 상기 동 벡터의 크기에 추가로, 상기 처리대상 블록과 상기 인접블록간 상기 직류성분 차의 절대값에 기초하여, 상기 처리대상 블록과 상기 인접블록간에 발생하는 블록 노이즈의 크기를 검출하는 것을 특징으로 한다.
상기 발명에 의하면 처리대상 블록과 인접블록간 직류성분 차의 절대값을 조사하므로 높은 정밀도로 블록 노이즈를 검출할 수 있다.
또 본 발명은, 상기 노이즈 검출방법에 있어서 상기 부호화 노이즈 검출 단계에서는, 상기 부호화 정보로부터 상기 처리대상 블록에 대한 양자화 스케일을 추출하고, 상기 직교변환 계수의 각 주파수 성분의 분포 및 상기 각 블록의 동 벡터 크기에 추가로, 상기 직류성분 차의 절대값과 상기 양자화 스케일에 기초하여 상기 처리대상 블록과 상기 인접블록간에 발생하는 블록 노이즈의 크기를 검출하는 것을 특징으로 한다.
상기 발명에 의하면 처리대상 블록의 양자화 스케일에 따라 처리대상 블록과 인접블록간 직류성분 차의 절대값을 조사하므로, 높은 정밀도로 블록 노이즈를 검출할 수 있다.
또 본 발명은 상기 노이즈 검출방법에 있어서, 상기 부호화 노이즈로서 블록 노이즈와 모스키토 노이즈를 검출하고, 하나의 블록에 관한 블록 노이즈 및 모스키토 노이즈 중 한쪽을 이들 노이즈 크기의 대소에 기초하여, 제거해야 할 부호화 노이즈로서 선택하는 것을 특징으로 한다.
상기 발명에 의하면 하나의 블록에 관해서는 블록 노이즈 및 모스키토 노이즈 중 어느 한쪽을 선택하므로 노이즈 제거를 위해 필요한 연산처리나 메모리의 양을 적게 할 수 있으며, 블록 노이즈 및 모스키토 노이즈 양쪽을 적절하게 제거하도록 할 수 있다.
또 본 발명은 상기 노이즈 검출방법에 있어서 인터레이스 화상에 대해서는 필드별로 부호화 노이즈 검출처리를 실행하는 것을 특징으로 한다.
상기 발명에 의하면 인터레이스 화상에 있어서도 부호화 노이즈를 높은 정밀도로 검출할 수 있다.
또한 본 발명은 노이즈 검출장치로서, 화상에 대한 동 보상 예측, 블록단위의 직교변환, 및 양자화의 각 처리를 이용하여 부호화된 부호열로부터 구해진, 각 블록에 대한 직교변환 계수 및 동 벡터를 포함한 부호화 정보를 입력으로 하고, 각 블록에 대한 동 벡터에 기초하여 참조 프레임으로부터 각 블록의 참조영역을 구하며, 각 블록 및 그 참조영역에 중복되는 참조 프레임 내의 블록에 대한 상기 직교변환 계수의 각 주파수 성분 분포에 기초하여, 제거해야 할 부호화 노이즈를 검출하고 그 검출결과를 출력하는 수단을 구비하는 것이다.
상기 발명에 의하면 부호열로부터 얻어지는 직교변환 계수의 각 주파수 성분 분포뿐만 아니라, 동 벡터를 이용하여 참조 프레임 중의 참조영역에 관한 블록의 직교변환 계수의 각 주파수 성분 분포에도 기초하여 부호화 노이즈를 검출한다. 따라서 비 인트라 부호화 블록에 있어서, 확실하게 부호화 노이즈를 검출할 수 있으며 또 오검출도 적다.
또한 본 발명은 화상 복호화장치로서 상기 노이즈 검출장치와, 상기 부호열을 복호화하고 각 블록에 대한 상기 직교변환 계수 및 처리대상 블록에 대한 동 벡터를 포함한 부호화 정보를 출력하는 복호화부와, 상기 노이즈 검출장치가 출력하는 검출결과에 기초하여 부호화 노이즈를 제거하는 부호화 노이즈 제거부를 구비하는 것이다.
상기 발명에 의하면 비 인트라 부호화 블록에 있어서, 확실하게 부호화 노이즈를 검출할 수 있으며, 또 오검출한 부호화 노이즈를 제거 처리함에 따른 화질열화가 발생하는 일이 적다.
또 본 발명에서는 상기 화상 복호화장치에 있어서, 상기 노이즈 검출장치는 상기 부호화 노이즈로서 모스키토 노이즈를 검출하는 것이며, 또 상기 부호화 정보로부터 상기 처리대상 블록에 대한 양자화 스케일을 추출하는 것이고, 상기 부호화 노이즈 제거부는 노이즈 제거에 이용하지 않는 에지화소를 검출하기 위한 임계값으로서, 상기 양자화 스케일에 대응하는 값을 이용하는 것을 특징으로 한다.
상기 발명에 의하면 모스키토 노이즈를 제거할 때 이용하는 화소를 양자화 스케일에 맞추어 선택할 수 있으므로, 에지부에 발생하는 화질열화를 억제하면서 확실하게 모스키토 노이즈를 제거할 수 있다.
상술한 목적 및 기타의 목적과 본 발명의 특징 및 이점은 첨부 도면과 관련한 다음의 상세한 설명을 통해 보다 분명해 질 것이다.
(실시예)
이하 도면을 참조하면서 본 발명의 실시예에 대하여 설명하기로 한다. 이하의 실시예에서 화상의 압축부호열은, 예로서 MPEG-2 방식으로 생성된 것으로 한다. 이하에서는 DCT계수값 집합과 화소값 집합의 차이를 나타내기 위하여, DCT계수로 구성되는 블록을 DCT계수 블록, 화소로 구성되는 블록을 화소블록으로 칭한다.
(제 1 실시예)
제 1 실시예에서는 인트라 부호화된 프레임을 복호화하는 경우에서, 부호화 노이즈로서 블록 노이즈를 검출하고 제거하는 화상 복호화장치에 대하여 설명한다.
도 1은 제 1 실시예에 관한 화상 복호화장치의 블록도이다. 도 1의 화상 복호화장치는, 가변길이 복호화 수단(110)과, 역양자화 수단(111), 역DCT 수단(112), 스위치(113, 114), 프레임 메모리(115), 블록 노이즈 제거수단(116), 블록 노이즈 검출수단(130), 파라미터 메모리 수단(118), 그리고 가산수단(119)을 구비한다. 블록 노이즈 검출수단(130)은 노이즈 검출장치로서 동작한다.
압축부호열(입력 비트스트림)은 먼저 가변길이 복호화 수단(110)에 입력된다. 압축부호열은, 화상에 대한 동 보상 예측, 직교변환으로서의 8×8화소 블록단위의 DCT와, 양자화, 및 가변길이 부호화의 각 처리를 이용하여 부호화된 부호열이다. 가변길이 복호화 수단(110)은 입력된 압축부호열의 가변길이 부호를 복호화하고, 양자화된 DCT계수 및 부호화 시 이용한 부호화 정보로서의 파라미터(동 벡터, 양자화 스케일 등)를 추출하여 출력한다. 양자화된 DCT계수는 수평주파수8×수직주파수8 개의 64개 계수로, 양자화된 DCT계수의 블록을 구성한다.
도 2는 화상 포맷이 4:2:0인 경우의 매크로블록 구성에 대한 설명도이다. 도 2에 도시한 바와 같이, 매크로블록은 휘도신호가 나타내는 16×16화소의 영역으로서, 휘도신호의 DCT계수 블록 4개와 색차신호의 DCT계수 블록 2개로 표시된다. 색차신호에 관해서는 화소가 간축되고, 휘도신호와 비교하여 수평 수직방향 모두 화소수가 절반으로 된다.
가변길이 복호화 수단(110)에서 얻어진 양자화된 DCT계수는, 매크로블록순으로 역양자화 수단(111)으로 입력된다. 역양자화 수단(111)은, 가변길이 복호화 수 단(110)에서 얻어진 양자화 스케일과 양자화 매트릭스를 이용하여 매크로블록에 포함되는 블록별로, 양자화된 DCT계수의 역양자화를 실행하여 DCT계수 블록을 얻는다. 역양자화 수단(111)은 DCT계수 블록을 역DCT 수단(112) 및 블록 노이즈 검출수단(130)으로 출력한다. 역DCT 수단(112)은 DCT계수 블록에 역 DCT를 실시하여 화소블록을 얻는다. 역DCT 수단(112)은, 매크로블록에 포함되는 모든 블록에 대하여 역DCT 처리를 끝낸 후, 가변길이 복호화 수단(110)에서 얻어진 DCT모드를 이용하여 휘도신호의 데이터를 프레임 구조로 변환시킨다.
여기서 DCT모드라는 것은, 휘도신호 데이터를 프레임 구조와 필드 구조 중 어느 것으로 DCT를 실시하는지를 나타내는 플래그이다. 단, 프레임이 프로그레시브(순차주사) 화상인 경우에 DCT모드는 프레임 구조만으로 되므로, 휘도신호 데이터의 프레임 구조로의 변환은 필요 없다.
역DCT 수단(112)에서 얻어진 화소블록은 스위치(113)로 입력된다. 스위치(113, 114)는 가변길이 복호화 수단(110)이 출력하는 매크로블록 부호화 모드에 의하여 절환된다. 매크로블록 부호화 모드라는 것은, 그 매크로블록이 프레임 내 부호화(인트라 부호화)되었는지, 참조 프레임을 이용한 프레임간 부호화(비 인트라 부호화)되었는지 등을 나타내는 정보이다. 매크로블록이 인트라 부호화된 경우에는, 스위치(113, 114)는 각각 a, c로 접속된다. 또 매크로블록이 비 인트라 부호화된 경우에는, 스위치(113, 114)는 각각 b, d로 접속된다.
따라서 인트라 부호화된 매크로블록의 경우에는, 역DCT 수단(112)이 출력한 매크로블록의 각 화소블록은 그대로 프레임 메모리(115)에 축적된다. 또한 비 인 트라 부호화된 매크로블록의 각 화소블록은 가산기(119)로 입력된다. MPEG2 방식에서 동 보상은 매크로블록 단위로 실행되므로, 가변길이 복호화 수단(110)이 출력한 동 벡터를 이용하여 구한, 매크로블록에 대응한 참조 프레임 내 화상도 프레임 메모리(115)로부터 가산기(119)로 입력된다. 가산기(119)는 스위치(113)로부터 입력되어 온 화소블록과 프레임 메모리(115)로부터 얻은 참조 프레임 내 화상을 가산하여 그 결과를 스위치(114)를 통하여 프레임 메모리(115)에 축적한다.
블록 노이즈 검출수단(130)에는, 역양자화 수단(111)으로부터 DCT계수가 입력되고, 가변길이 복호화 수단(110)으로부터 양자화 스케일 및 매크로블록의 부호화 모드가 입력된다. 블록 노이즈 검출수단(130)은 DCT계수의 각 주파수 성분 분포에 기초하여, 제거해야 할 부호화 노이즈를 검출하고, 노이즈 제거에 사용하는 필터의 종류를 블록 노이즈 제거수단(116)에 통지한다. 또, 블록 노이즈 검출수단(130)은 입력된 데이터로부터 각 블록에 대한 파라미터를 추출하고, 이 파라미터를 필요에 따라 파라미터 메모리 수단(118)과의 사이에서 입출력한다.
블록 노이즈 제거수단(116)은 블록 노이즈 검출수단(130)으로부터 각 화소블록의 경계에 실시하는 필터처리의 종류를 수취하고, 그에 따라 프레임 메모리(115)가 출력하는 화상의 블록경계에 필터처리를 실시하여 블록 노이즈를 제거한 화상을 출력한다.
도 3은 블록 노이즈 검출수단(130)의 구성을 도시한 블록도이다. 도 3의 블록 노이즈 검출수단(130)은 DCT패턴 판정수단(131)과, DC계수 추출수단(132)과, 양자화 스케일 추출수단(133)과, 필터 결정수단(134)을 구비한다.
DCT패턴 판정수단(131)은 역양자화 수단(111)으로부터 DCT계수 블록을 수취하여, DCT계수 블록의 각 주파수 성분 분포로부터 각 블록을 분류한다. 다음으로 블록분류 방법에 대하여 설명하기로 한다.
도 4는 블록분류에 이용하는 DCT패턴의 설명도이다. 도 4의 (a)~(d)의 사선부는 각각 8×8 DCT계수 블록의 패턴(DCT패턴)을 나타낸 것으로서, 하나의 정방형이 1계수에 대응한다. 왼쪽 위의 계수가 직류성분을 나타내고, 오른쪽으로 갈수록 높은 수평주파수 성분이며, 아래로 갈수록 높은 수직주파수 성분을 나타낸다. 이하에서는 DCT계수 중 직류성분을 DC계수로 칭한다.
DCT패턴 판정수단(131)은 입력된 DCT계수 블록이 DCT패턴을 만족시키는지의 여부를 판정한다. 즉 도 4의 DCT패턴에 포함되는 주파수 성분의 계수로서, 그 절대값이 소정값보다 큰 것을, 입력된 DCT계수 블록이 갖는 경우, 입력된 DCT계수 블록은 그 DCT패턴을 만족시키는 것으로 판정하고, 그렇지 않은 경우는 만족시키지 않는 것으로 판정한다. 예를 들어 소정값이 0이라 하면, 사선으로 표시된 주파수 성분의 계수 중 하나라도 0이 아닌 계수를 갖는다면, 입력된 DCT계수 블록은 그 DCT패턴을 만족시키는 것으로 판정한다.
DCT패턴 판정수단(131)은 이 판정결과에 기초하여, 입력된 DCT계수 블록을 복수의 DCT클래스 중 어느 한쪽으로 분류하고, 이 분류결과를 파라미터 메모리 수단(118)으로 출력한다.
DCT패턴은 고주파수 성분을 포함하도록 설정되므로, 일반적으로 어떤 DCT패턴을 만족시키는 DCT계수 블록에는, 만족시키지 않는 DCT계수 블록보다 블록 노이 즈가 발생하기 어렵다.
DCT패턴 판정수단(131)은 입력된 DCT계수 블록이, 매크로블록 부호화 모드로부터 판단하여 인트라 부호화 블록이면 도 4 (a)의 DCT패턴(PTN1) 및 도 4 (b)의 DCT패턴(PTN2)을 이용한다. 블록 노이즈는 저역의 DCT계수만을 갖는 블록 주변에 발생하기 쉬우므로, DCT패턴(PTN2)만을 만족시키는 블록쪽이, DCT패턴(PTN1)을 만족시키는 블록보다 블록 노이즈가 발생하기 쉽다고 말할 수 있다.
도 5는 인트라 부호화된 블록을 분류하는 처리의 흐름을 나타내는 흐름도이다. 여기서는 DCT패턴(PTN1)과 DCT패턴(PTN2)을 이용한 경우에 대하여 설명한다. 도 5에 도시한 바와 같이 입력 DCT계수 블록은 우선, 단계(S11)에서 DCT패턴(PTN1)과 비교된다. 입력 DCT계수 블록이 DCT패턴(PTN1)을 만족시킨다면 그 블록을 DCT클래스(I1)로 분류한다(단계(S13)). 입력 DCT계수 블록이 DCT패턴(PTN1)을 만족시키지 않으면, 다음으로 단계(S12)에서 DCT패턴(PTN2)과 비교한다. 입력 DCT계수 블록이 DCT패턴(PTN2)을 만족시킨다면 그 블록을 DCT클래스(I2)로 분류한다(단계(S14)). 입력 DCT계수 블록이 DCT패턴(PTN2)을 만족시키지 않으면 그 블록을 DCT클래스(I3)로 분류한다(단계(S15)). 이상과 같이 DCT패턴 판정수단(131)은 각 블록을 DCT클래스(I1, I2, I3) 중 어느 하나로 분류하고 그 분류결과를 파라미터 메모리 수단(118)으로 출력한다.
DC계수 추출수단(132)은 입력된 DCT계수로부터 DC계수만을 추출하여 파라미터 메모리 수단(118)으로 출력한다. 양자화 스케일 추출수단(133)은 가변길이 복호화 수단(110)이 출력한 부호화 정보로부터 양자화 스케일을 추출하여 파라미터 메모리 수단(118)으로 출력한다.
이하에서는 이와 같은 DCT클래스와 DC계수 및 양자화 스케일을 합하여 블록 노이즈 파라미터로 칭한다. 파라미터 메모리 수단(118)은 입력된 블록 노이즈 파라미터를 축적시킨다.
이상과 같은 동작을 각 매크로블록별로 행함으로써 각 블록에 대한 블록 노이즈 파라미터가 파라미터 메모리 수단(118)에 축적된다.
1 프레임분의 블록에 대한 블록 노이즈 파라미터가 축적되면, 필터 결정수단(134)은 각 블록경계에 실시할 필터처리의 종류를, 블록 노이즈 파라미터를 참조하면서 결정한다. 그 동작에 대하여 이하에서 설명한다.
도 6은 화소블록의 배치에 대한 설명도이다. 도 6에서는 하나의 정방형이 하나의 화소블록을 나타낸다. 도 6과 같이 화소블록이 나열된 것으로 하고 화소블록(501)의 블록경계에 어떤 필터처리를 실시하는가를 결정하는 경우를 생각한다. 여기서 화소블록(501)은, 현재 노이즈 검출처리 대상으로 하는 처리대상 블록이다. 먼저, 화소블록(501)과 화소블록(502)간의 블록경계(511)에 실시할 필터처리를 결정하는 경우를 생각하기로 한다.
도 7은 필터의 종류를 구하는 순서를 나타내는 흐름도이다. 필터 결정수단(134)은 단계(S31)에서 파라미터 메모리 수단(118)으로부터 화소블록(501) 및 화소블록(502)의 블록 노이즈 파라미터를 취득한다. 그리고 블록 노이즈 파라미터 중 DCT 클래스를 비교하여 필터의 종류를 결정한다. 필터 종류의 결정은 다음의 표 1에 따라 실행한다.
Figure 112000017829089-pat00045
표 1에서는 필터가 F1, F2, F3의 3종류인 경우의 결정방법의 예를 나타낸다. 여기서 필터의 강도(블록 노이즈의 제거 능력)는 F1이 가장 약하고 F3이 가장 강하다. 다음으로 단계(S32)에서, 필터 결정수단(134)은 블록 노이즈 파라미터 중 DC계수와 양자화 스케일을 이용하여 필터의 종류를 변경한다. 여기서는 화소블록(501, 502)의 DC계수를 각각 DC1, DC2, 양자화 스케일을 각각 QS1, QS2로 하였을 때, 다음 수학식(1) 또는 (2) 중 어느 한쪽을 만족시키면 필터 종류를 F1로 변경한다. 여기서 k는 정수이며 abs는 절대값 연산을 나타낸다.
abs(DC1-DC2)＞QS1×k (QS1＜QS2)
abs(DC1-DC2)＞QS2×k (QS1≥QS2)
마찬가지로 하여 필터 결정수단(134)은 화소블록(501)과 화소블록(503, 504, 505) 각각의 사이의 블록경계(512, 513, 514)에 실시하는 필터처리의 종류를 각 블 록의 블록 노이즈 파라미터를 이용하여 결정한다. 그리고 필터 결정수단(134)은 결정한 필터의 종류를 블록 노이즈 제거수단(116)으로 출력한다.
이와 같이 하여 결정된 필터의 종류는 검출된 블록 노이즈의 크기에 대응한다. 즉 결정한 필터의 종류가 F3일 경우, 필터 결정수단(134)은 강한 블록 노이즈를 검출했다고 할 수 있으며, 결정한 필터의 종류가 F1일 경우는 약한 블록 노이즈를 검출했다, 또는 블록 노이즈를 검출하지 않았다고 할 수 있다. 블록 노이즈 제거수단(116)의 동작에 대한 예를 이하에서 설명하기로 한다.
도 8은 블록간 경계에 대한 수평방향의 필터처리에 대한 설명도이다. 도 8에서는 도 6의 화소블록(501 및 502)의 화소를 나타내며, 하나의 정방형이 1 화소를 표시한다. 현재 화소블록(501과 502)의 경계(511)에 필터처리를 실시하는 경우를 생각해 본다.
블록 노이즈 검출수단(130)이 경계(511)에 실시하는 필터처리의 종류를 F1로 결정한 경우, 블록 노이즈 제거수단(116)은, 경계(511)에는 필터처리를 실시하지 않는다. 블록 노이즈 검출수단(130)이 경계(511)에 실시하는 필터처리의 종류를 F2로 결정한 경우, 블록 노이즈 제거수단(116)은 경계(511) 부근의 화소에 대하여 약한 필터처리를 실시한다. 이 경우 도 8의 (a)에서, 위로부터 4번째 선의 화소에 대하여 생각해 보면, 예를 들어 화소(b, c, d, e)에 필터처리를 실시한다. 필터로서는 저역통과 필터 등을 이용할 수 있다.
도 9는 필터 주파수 특성의 예를 나타내는 그래프이다. 필터의 종류가 F2의 경우는, 예를 들어 도 9에 L2로 표시된 주파수 특성을 갖는 저역통과 필터를 이용 한다. 이와 같이 필터처리를 실시함으로써 도 8의 (b)에 도시된 화소값이 도 8의 (c)와 같이 되어 블록 노이즈가 제거된다. 여기서 도 8의 (b), (c)에서는 세로축이 화소값을 나타내며, 가로축은 수평방향의 화소위치를 나타낸다. 여기서의 화소위치는 도 8의 (a)의 화소위치에 대응한다.
블록 노이즈 검출수단(130)이 경계(511)에 실시하는 필터의 종류를 F3으로 결정한 경우, 블록 노이즈 제거수단(116)은 경계(511) 부근의 화소에 대하여 강한 필터처리를 실시한다. 이 경우 필터 종류가 F2인 경우와 동등한 또는 더 넓은 범위의 화소에 필터처리를 실시한다. 도 8의 (a)에 있어서 위로부터 4번째 선의 화소에 대하여 생각해 보면, 예를 들어 화소(a, b, c, d, e, f)에 필터처리를 실시한다. 필터로는 필터 종류가 F2의 경우와 마찬가지로 저역통과 필터 등을 이용할 수 있다.
필터의 종류가 F3의 경우는, 예를 들어 도 9에 L3으로 표시된 주파수 특성을 갖는 저역통과 필터를 이용한다. 저역통과 필터를 이용하는 경우에는, 도 9에 도시한 바와 같이 필터의 종류가 F3인 경우(L3)의 차단 주파수를 F2의 경우(L2)보다 낮게 설정한다. 이로써 필터의 종류가 F2인 경우보다 F3인 경우가, 블록 노이즈를 제거하는 능력이 커진다. 이와 같이 필터처리를 실시함으로써 도 8의 (d)에 도시된 화소값이 도 8의 (e)와 같이 되어 블록 노이즈가 제거된다.
여기서는 수평방향으로 필터처리를 실시하는 경우에 대하여 설명했지만, 필터의 처리방법은 도 6의 경계(513, 514) 등에서 수직방향으로 필터처리를 실시하는 경우에 있어서도 마찬가지이다.
이상과 같이 블록 노이즈 제거수단(116)에서 필터처리가 실시된 프레임은 출력화상으로서 출력된다.
이상과 같이 제 1 실시예의 화상 복호화장치에서는 압축부호열에서 얻어지는 DCT계수를 이용하여, 각 블록을 복수의 DCT 클래스로 분류한다. 또 인접하는 블록에서의 DCT 클래스, 양자화 스케일, DC계수를 이용하여 그 블록경계에 실시하는 필터처리를 결정한다. 여기서 필터의 결정 시에는 소정값 이상의 DCT계수가 더욱 저역에만 분포하는 경우일수록 필터의 강도가 강해지도록 한다. 그리고 결정한 필터에 기초하여 복호화 후의 화상 블록경계의 주변 화소에 대하여 필터처리를 실시한다.
이와 같이 제 1 실시예의 화상 복호화장치에 의하면 인접하는 블록의 DCT계수 분포로부터, 블록 노이즈가 발생하는 블록경계를 확실하게 검출할 수 있으며, 또 DC계수 차의 절대값을 검사함으로써 블록노이즈의 오검출(erroneous detection)이 없어진다. 그리고 강도가 서로 다른 필터를 복수 준비하여 블록 노이즈의 크기에 따라 선택하여 이용함으로써 화상의 흐려짐을 최소한으로 억제하면서 블록 노이즈를 확실하게 제거할 수 있다. 또한 DCT 클래스의 분류는 수평방향과 수직방향으로 나누지 않고 실행하므로 적은 처리량으로 분류할 수 있다.
또한 본 실시예에서는 인트라 부호화 블록에 대한 DCT패턴으로서 도 4의 (a), (b) 두 가지를 이용하여 DCT계수 블록을 3개의 DCT 클래스로 분류하는 경우에 대하여 설명하였으나, DCT패턴 수는 두 가지에 한정되지 않으며 DCT 클래스의 수는 3개에 한정되지 않는다. 또 DCT패턴의 주파수 분포는 도 4의 (a), (b) 분포에 한 정되지 않는다.
또 수학식 (1), (2)의 우변은 양자화 스케일을 이용한 식이지만, 이들 식 우변의 값은 양자화 스케일에 관계없이 고정값이라도 된다.
그리고 블록 노이즈 제거수단(116)에서 이용하는 필터의 종류를 3종류로 했지만, 이는 몇 종류라도 상관없다.
또한 블록 노이즈 제거수단(116)에서 이용하는 필터가 저역통과 필터인 경우에 대하여 설명했지만, 이는 블록 노이즈를 제거하는 필터라면 다른 필터, 예를 들어 메디안 필터 등이라도 된다.
또 필터의 종류가 F1인 경우에는 블록경계에 필터처리를 실시하지 않는 것으로 설명했지만 필터 종류가 F2인 경우보다 약한 필터처리를 실시하여도 된다.
또한 필터 종류가 F2인 경우에는 블록경계 부근의 4 화소에 필터처리를 실시하고, 필터 종류가 F3인 경우에는 블록경계 부근의 6 화소에 필터처리를 실시하는 경우에 대하여 설명했지만, 필터처리를 실시하는 화소 범위는 본 실시예와 다른 범위라도 된다.
또 필터처리 F2를 실시하는 범위와 필터처리 F3을 실시하는 범위가 다른 경우에 대하여 설명했지만, 이는 같은 범위라도 상관없다.
또한 파라미터 메모리 수단(118)에 1 프레임분의 블록 노이즈 파라미터가 축적된 시점에서 필터 결정수단(134)이 필터를 결정하는 경우에 대하여 설명했지만, 이는 1 프레임분 축적한 시점이 아니라도 된다.
(제 2 실시예)
제 2 실시예에서는 비인트라 부호화된 프레임을 복호화하는 경우에 있어서, 부호화 노이즈로서 블록 노이즈를 검출하고, 제거하는 화상 복호화장치에 대하여 설명하기로 한다.
제 2 실시예에 관한 화상 복호화장치는 도 1의 화상 복호화장치에 있어서, 블록 노이즈 검출수단(130) 대신 블록 노이즈 검출수단(140)을 이용한 것이다. 가변길이 복호화 수단(110), 역양자화 수단(111), 역DCT 수단(112), 스위치(113, 114), 프레임 메모리(115), 블록 노이즈 제거수단(116), 파라미터 메모리 수단(118), 및 가산수단(119)에 대해서는 제 1 실시예와 마찬가지이므로 동일 부호를 부여하고 그 설명을 생략한다. 여기서 블록 노이즈 검출수단(140)은 노이즈 검출장치로서 동작한다.
도 10은 블록 노이즈 검출수단(140)의 구성을 나타내는 블록도이다. 도 10의 블록 노이즈 검출수단(140)은 DCT패턴 판정수단(141)과, DC계수 추출수단(142), 양자화 스케일 추출수단(143), 필터 결정수단(144), 스위치(145), 파라미터 보정수단(146), 그리고 참조영역 파라미터 결정수단(147)을 구비한다. 블록 노이즈 검출수단(140)에는 역양자화 수단(111)으로부터 DCT계수가 입력되고, 가변길이 복호화 수단(110)으로부터 양자화 스케일과 매크로블록의 부호화 모드 및 동 벡터가 입력된다. 또 파라미터 메모리 수단(118)에는 제 1 실시예에서 설명한 방법에 의하여 얻어진, 이미 복호화된 프레임에 대한 블록 노이즈 파라미터가 유지되어 있는 것으로 한다.
DCT패턴 판정수단(141)은, 역양자화 수단(111)으로부터 DCT계수 블록을 수취 하여, DCT계수 블록의 각 주파수 성분의 분포로부터 각 블록을 분류하고, 이 분류결과를 스위치(145)로 출력한다.
블록의 분류방법에 대하여 설명하기로 한다. DCT패턴 판정수단(141)은, 제 1 실시예에서 설명한 바와 같이, 도 4의 DCT패턴에서 사선으로 나타낸 주파수 성분의 계수로서, 그 절대값이 소정값보다 큰 것을 입력된 DCT계수 블록이 갖는 경우는, 입력된 DCT계수 블록이 그 DCT패턴을 만족시키는 것으로 판정한다.
DCT패턴 판정수단(141)은 매크로블록 부호화 모드에서 판단하여 입력된 DCT계수 블록이 인트라 부호화 블록인 경우에는 도 4(a)의 DCT패턴(PTN1) 및 도 4(b)의 DCT패턴(PTN2)을 이용한다. 한편, 매크로블록 부호화 모드에서 판단하여 입력된 DCT계수 블록이 비인트라 부호화 블록인 경우에는 도 4(c)의 DCT패턴(PTN3) 및 도 4(d)의 DCT패턴(PTN4)을 이용한다.
인트라 부호화된 블록의 처리방법에 대해서는 제 1 실시예에서 설명하였으므로 생략한다. 이하에서는 비인트라 부호화된 블록의 처리방법에 대하여 설명한다.
도 11은 비인트라 부호화된 블록을 분류하는 처리의 흐름도이다. 도 11에 도시한 바와 같이 입력 DCT계수 블록은 먼저, 단계(S21)에서 DCT패턴(PTN3)과 비교된다. 입력 DCT계수 블록이 DCT패턴(PTN3)을 만족시키면, 그 블록을 DCT 클래스(N1)로 분류한다(단계(S23)). 입력 DCT계수 블록이 DCT패턴(PTN3)을 만족시키지 않으면 다음 단계(S22)에서 DCT패턴(PTN4)과 비교한다. 입력 DCT계수 블록이 DCT패턴(PTN4)을 만족시키면, 그 블록을 DCT 클래스(N2)로 분류한다(단계(S24)). 입력 DCT계수 블록이 DCT패턴(PTN4)을 만족시키지 않으면 그 블록을 DCT 클래스(N3)로 분류한다(단계(S25)). 이상과 같이 하여 DCT패턴 판정수단(141)은 각 블록을 DCT 클래스(N1, N2, N3) 중 어느 하나로 분류하고, 그 분류결과를 스위치(145)로 출력한다.
DC계수 추출수단(142)은 입력된 DCT계수로부터 DC계수만을 추출하여 스위치(145)로 출력한다. 양자화 스케일 추출수단(143)은 가변길이 복호화 수단(110)으로부터 출력된 부호화 정보로부터 양자화 스케일을 추출하여 스위치(145)로 출력한다.
스위치(145)는 가변길이 복호화 수단(110)이 출력한 매크로블록 부호화 모드를 이용하여 접속을 절환한다. 매크로블록 부호화 모드가 인트라 부호화된 경우에, 스위치(145)는 b에 접속된다. 이 경우의 동작은 제 1 실시예와 마찬가지이다. 매크로블록 부호화 모드가 비인트라 부호화된 경우에, 스위치(145)는 a에 접속된다. 따라서 파라미터 보정수단(146)으로 블록 노이즈 파라미터가 입력된다. 이하에서는 매크로블록 부호화 모드가 비인트라 부호화된 경우에 대하여 설명하기로 한다.
참조영역 파라미터 결정수단(147)은 가변길이 복호화 수단(110)이 출력한 동 벡터를 이용하여 파라미터 메모리 수단(118)이 유지하는 참조블록의 블록 노이즈 파라미터를 참조하여 참조영역의 블록 노이즈 파라미터를 결정한다. 여기서 참조영역은, 노이즈 제거대상으로 하는 처리대상 블록을 복호화할 때, 이 블록의 동 벡터에 기초하여 참조하는 참조 프레임 내의 블록이다. 참조블록은 참조영역에 중복되는 참조 프레임 내의 화소블록이다. 이하, 참조영역 파라미터 결정수단(147)의 상세한 동작에 대하여 설명한다.
도 12는 처리대상 블록과 그 참조영역에 대한 설명도이다. 도 12의 (a)는 복호화 중의 프레임 내에서 현재, 노이즈 제거대상으로 하는 처리대상 블록(521)을 나타내고, 도 12의 (b)는, 참조 프레임 내의 참조영역(526) 및 참조블록(522~525)을 나타낸다. 참조영역(526)은 처리대상 블록(521)을 복호화할 때, 동 벡터를 이용하여 참조하는 블록이다.
도 12의 (a)와 같이 블록(521)의 프레임 내 어드레스(프레임의 왼쪽 위를 기점으로, 블록 왼쪽 위 화소의 수평, 수직방향의 위치를 화소수로 나타낸 것)를 (x, y)로 하고 동 벡터를 (MVx, MVy)로 하면, 도 12의 (b)와 같이 참조영역(526)의 어드레스는 (x＋MVx, y＋MVy)로 된다. 참조영역 파라미터 결정수단(147)은 참조영역(526)의 어드레스로부터 참조영역(526)이 중복된 블록을 검색한다. 도 12 (b)의 경우, 참조영역(526)은 블록(522~525)과 중복되므로 참조영역 파라미터 결정수단(147)은 블록(522~525)의 블록 노이즈 파라미터를 파라미터 메모리 수단(118)으로부터 수취하고, 이들 블록 노이즈 파라미터를 이용하여 참조영역(526)의 블록 노이즈 파라미터를 구하여 파라미터 보정수단(146)에 출력한다.
우선 참조영역(526)의 블록 노이즈 파라미터 중, DCT 클래스를 구하는 방법에 대하여 설명한다. 여기서는 예로서, 블록(522~525)의 DCT 클래스가 차례로 I2, I1, I2, I3인 것으로 하고, 또 블록(522~525)과 참조영역(526)이 중복된 부분의 화소수가 차례로 36, 12, 12, 4인 경우를 생각한다.
참조영역(526)의 DCT 클래스를 구하는 제 1 방법으로서는, 블록(522~525)의 DCT 클래스를, 참조영역(526)과 각 블록이 중복된 부분의 화소수로 하중평균을 구해 얻어진 값을, 참조영역(526)의 DCT 클래스로 하는 방법이 있다. 이는 블록(522~525)의 DCT 클래스(I1)를 0, DCT 클래스(I2)를 1, DCT 클래스(I3)를 2라 하는 값에 대응시키고, 이들 값을 참조영역(526)과 이들의 DCT 클래스에 속해 있는 블록이 중복된 부분의 화소수로 하중을 둔 평균값을 구하고, 이 평균값에 가장 가까운 값에 대응한 DCT 클래스를 선택하는 방법이다.
이 방법으로, DCT 클래스에 대응시킨 값의 화소수로 구한 하중평균값은 (1×36＋0×12＋1×12＋2×4)/64＝0.875가 된다. 이 평균값은, 소수점 한자리에서 사사오입하면 1이며, DCT 클래스(I2)가 값 1에 대응하므로, 참조영역(526)의 DCT 클래스를 I2로 한다.
또 참조영역(526)의 DCT 클래스를 구하는 제 2 방법으로는 참조영역(526)과 중복되는 부분의 화소수가 가장 많은 블록의 DCT 클래스를 선택하는 방법이 있다. 이 방법에서는 참조영역(526)의 DCT 클래스를, 블록(522)의 DCT 클래스인 I2로 한다.
또한 참조영역(526)의 DCT 클래스를 구하는 제 3 방법으로는, 각 블록 DCT 클래스의 최소값 또는 최대값을 취하는 방법이 있다. 이 방법에서는, 최소값을 선택하면 참조영역(526)의 DCT 클래스는 I1로 되고, 최대값을 선택하면 참조영역(526)의 DCT 클래스는 I3으로 된다.
또 참조영역(526)의 DCT 클래스를 구하는 제 4 방법으로는, 블록(522~525)의 4 블록에 관한 한, 가장 많은 블록이 분류된 DCT 클래스를 선택하는 방법이 있다. 여기서는 I2로 분류된 블록이 가장 많으므로, 이 방법에서는 참조영역(526)의 DCT 클래스는 I2로 된다.
다음으로, 참조영역(526)의 블록 노이즈 파라미터 중, DC계수를 구하는 방법에 대하여 설명한다.
참조영역(526)의 DC계수를 구하는 방법으로는 블록(522~525)의 DC계수를, 참조영역(526)과 각 블록이 중복된 부분의 화소수로 하중평균을 구해 얻어지는 값을 참조영역(526)의 DC계수로 하는 방법이 있다.
또 참조영역(526)의 DC계수를 구하는 다른 방법으로는, 블록(522~525) DC계수의 평균을 구하는 방법이 있다.
다음으로, 참조영역(526)의 블록 노이즈 파라미터 중, 양자화 스케일을 구하는 방법에 대하여 설명한다.
참조영역(526)의 양자화 스케일을 구하는 방법으로는 블록(522~525)의 양자화 스케일을, 참조영역(526)과 각 블록이 중복된 부분의 화소수로 하중평균을 구해 얻어진 값을 참조영역(526)의 양자화 스케일로 하는 방법이 있다.
또, 참조영역(526)의 양자화 스케일을 구하는 다른 방법으로는, 블록(522~525)의 양자화 스케일의 최소값 또는 최대값을 구하는 방법이 있다.
파라미터 보정수단(146)은 스위치(145)를 통하여 DCT패턴 판정수단(141), DC계수 추출수단(142), 및 양자화 스케일 추출수단(143)이 출력하는 처리대상 블록의 블록 노이즈 파라미터와, 참조영역 파라미터 결정수단(147)이 출력하는 참조영역의 블록 노이즈 파라미터를 입력으로서 수취한다. 그리고 처리대상 블록의 블록 노이 즈 파라미터를 참조영역의 블록 노이즈 파라미터로 보정하여 파라미터 메모리 수단(118)으로 출력한다. 파라미터 메모리 수단(118)은 입력된 블록 노이즈 파라미터를 축적한다.
먼저, DCT패턴 판정수단(141)이 결정한 DCT 클래스를, 참조영역 파라미터 결정수단(147)이 결정한 참조영역의 DCT 클래스를 이용하여 보정한다. 이 보정방법의 예를 다음의 표 2에 나타낸다.
Figure 112000017829089-pat00046
표 2에 나타낸 보정방법에서는, DCT패턴 판정수단(141)이 결정한 DCT 클래스와 참조영역 파라미터 결정수단(147)이 결정한 참조영역의 DCT 클래스 중, 블록 노이즈가 발생하기 어려운 쪽을 선택하게 된다.
또 다른 보정방법의 예를 다음의 표 3에 나타낸다.
표 3에 나타낸 보정방법에서는 DCT패턴 판정수단(141)이 결정한 DCT 클래스와 참조영역 파라미터 결정수단(147)이 결정한 DCT 클래스를 평균한 DCT 클래스를 선택하게 된다.
Figure 112000017829089-pat00047
다음으로 DC계수 추출수단(142)이 추출한 DC계수를, 참조영역 파라미터 결정수단(147)이 구한 DC계수를 이용하여 보정한다. 이 보정방법의 예로서는, DC계수 추출수단(142)이 추출한 DC계수에 참조영역 파라미터 결정수단(147)이 구한 DC계수를 가산하는 방법이 있다.
그 다음, 양자화 스케일 추출수단(143)이 추출한 양자화 스케일을, 참조영역 파라미터 결정수단(147)이 구한 양자화 스케일을 이용하여 보정한다. 이 보정방법의 예로는, 양자화 스케일 추출수단(143)이 추출한 양자화 스케일과 참조영역 파라미터 결정수단(147)이 구한 양자화 스케일 중, 값이 작은 쪽을 이용하는 방법이 있다. 또한 이들 양자화 스케일의 평균값이나 큰 쪽의 값을 이용하는 방법이 있다.
1 프레임분의 블록에 대한 블록 노이즈 파라미터를 축적하면, 필터 결정수단(144)은 블록 노이즈 파라미터를 참조하면서, 예를 들어 표 1 및 수학식 (1), (2)에 기초하여 각 블록의 경계에 실시할 필터처리를 결정한다. 필터 결정수단(144)은 제 1 실시예에서의 필터 결정수단(134)과 마찬가지이므로 그 설명은 생 략한다. 여기서, 결정된 필터의 종류는, 검출된 블록 노이즈의 크기에 대응한다고 할 수 있다.
이상과 같이 제 2 실시예의 화상 복호화장치에서는 압축부호열로부터 얻어지는 DCT계수를 이용하여, 각 블록을 복수의 DCT 클래스로 분류한다. 또 비인트라 부호화 블록의 경우에는, 먼저 동 벡터를 이용하여 참조 프레임 중의 참조영역을 구한다. 그 후 참조영역에 중복되는 블록의 DCT 클래스와 DC계수 및 양자화 스케일을 이용하여 참조영역의 DCT 클래스, DC계수, 양자화 스케일을 구하고, 압축부호열 정보로부터 구한 처리대상 블록의 DCT 클래스, DC계수, 양자화 스케일을 보정한다. 또 인접하는 블록에서의 DCT 클래스, 양자화 스케일, DC계수를 이용하여 그 블록경계에 실시할 필터처리를 결정한다. 여기서 필터의 결정 시에는 소정값 이상의 DCT계수가 더 낮은 저역에만 분포하는 경우일수록 필터 강도가 강해지도록 한다.
이와 같이 제 2 실시예의 화상 복호화장치에 의하면, DCT계수 분포로부터 블록 노이즈가 발생하는 블록경계를 확실하게 검출할 수 있다. 이 때, 비인트라 부호화 블록에 대해서는 인트라 부호화 블록과는 다른 DCT패턴을 이용함으로써 비인트라 부호화의 특성에 맞는 분류를 실행할 수 있다. 또한 DC계수 차의 절대값을 검사함으로써 블록 노이즈를 오검출하는 일이 없어진다. 또 비인트라 부호화 블록에서는 참조 프레임의 블록 노이즈 파라미터도 이용하여 블록 노이즈 파라미터를 결정하므로, 더 높은 정밀도로 블록 노이즈를 검출할 수 있다. 그리고 강도가 다른 필터를 복수개 준비하여 블록 노이즈의 크기에 따라 선택 이용함으로써, 화상 흐림을 최소한으로 억제하면서 확실하게 블록 노이즈를 제거할 수 있다.
여기서 본 실시예에서는 비인트라 부호화 블록에 대하여, DCT패턴으로서 도 4의 (c)와 (d)의 2 가지를 이용하여, DCT계수 블록을 3개의 DCT 클래스로 분류하는 경우에 대하여 설명했지만, DCT패턴은 2 가지로 한정되지 않으며, DCT 클래스의 수는 3개로 한정되지 않는다. 또 DCT패턴의 주파수 분포는 도 4의 (c)와 (d)의 분포에 한정되지 않는다.
또한 참조영역 파라미터 결정수단(147)에서의 참조영역 블록 노이즈 파라미터의 결정방법에 대해서 몇 가지 예를 들었지만, 이 결정방법은 본 실시예에서 설명한 방법에 한정되지 않는다.
또 파라미터 보정수단(146)에서의 블록 노이즈 파라미터 보정방법으로서 표 2 또는 표 3을 이용한 경우에 대하여 설명했지만, 보정방법은 표 2 또는 표 3의 방법에 한정되지 않는다.
또한 참조영역 파라미터 결정수단(147)과 파라미터 보정수단(146)을 이용하여 DCT 클래스, DC계수, 양자화 스케일을 보정하는 방법을 설명했지만 어느 한쪽의 파라미터는 보정하지 않는 것으로 하여도 된다.
그리고 파라미터 메모리 수단(118)에 1 프레임분의 블록 노이즈 파라미터가 축적된 시점에서 필터 결정수단(144)이 필터를 결정하는 경우에 대하여 설명했지만 이는 1 프레임분 축적한 시점이 아니라도 된다.
또 DCT패턴 판정수단(141)에 있어서는 인트라 부호화 블록과 비인트라 부호화 블록에서 서로 다른 DCT패턴을 이용하는 경우에 대해서 설명했지만 같은 DCT패 턴을 이용하여도 된다.
(제 3 실시예)
제 3 실시예에서는 DCT계수에 추가로 동 벡터의 크기에도 기초하여, 부호화 노이즈로서의 블록 노이즈 제거를 위한 필터의 강도를 결정하고, 노이즈를 제거하는 화상 복호화장치에 대하여 설명한다.
도 13은 제 3 실시예에 관한 화상 복호화장치의 블록도이다. 도 13의 화상 복호화장치는 가변길이 복호화 수단(110)과, 역양자화 수단(111), 역DCT 수단(112), 스위치(113, 114), 프레임 메모리(115), 블록 노이즈 제거수단(116), 블록 노이즈 검출수단(230), 그리고 가산수단(119)을 구비한다. 가변길이 복호화 수단(110), 역양자화 수단(111), 역DCT 수단(112), 스위치(113, 114), 프레임 메모리(115), 블록 노이즈 제거수단(116), 및 가산수단(119)에 대해서는 제 1 실시예와 마찬가지이므로 동일 부호를 부여하고 그 설명을 생략한다. 여기서 블록 노이즈 검출수단(230)은 노이즈 검출장치로서 동작한다.
도 14는 블록 노이즈 검출수단(230)의 구성을 나타내는 블록도이다. 도 14의 블록 노이즈 검출수단(230)은 DCT패턴 판정수단(231)과, 동 벡터 추출수단(232), 필터 결정수단(233)을 구비한다. 블록 노이즈 검출수단(230)에는 역양자화 수단(111)으로부터 DCT계수가 입력되고, 가변길이 복호화 수단(110)으로부터 동 벡터가 입력된다.
DCT패턴 판정수단(231)은 역양자화 수단(111)으로부터 DCT계수 블록을 수취한다. DCT패턴 판정수단(231)은 DCT계수 블록의 각 주파수 성분의 분포로부터, 입 력된 DCT계수 블록이 고주파수 성분을 포함하는지의 여부를 판정한다.
도 15는 블록분류에 이용하는 DCT패턴의 설명도이다. DCT패턴 판정수단(231)은 입력된 DCT계수 블록이 도 15 (a)의 DCT패턴을 만족시키는지의 여부를 판정하고, 그 결과를 필터 결정수단(233)으로 출력한다. 이 판정에 대해서는 제 1 실시예에서 설명한 것과 마찬가지이다.
이하에서는 설명을 위하여, DCT패턴 판정수단(231)은 DCT계수 블록이 DCT패턴을 만족시키는 경우에는 "Yes", 만족시키지 않는 경우에는 "No"라는 판정결과를 필터 결정수단(233)으로 출력하는 것으로 한다. 또 DCT패턴은 그 블록이 고주파수 성분을 갖는지 여부를 판단하기 위하여 이용하는 것이므로, 도 15 (a)의 DCT패턴 대신에 예를 들어 도 15 (b)의 DCT패턴을 이용하여도 된다.
동 벡터 추출수단(232)은 가변길이 복호화 수단(110)이 출력한 부호화 정보로부터 동 벡터를 추출하고, 이 동 벡터의 크기를 구하여 필터 결정수단(233)으로 출력한다. 여기서 동 벡터의 크기를 구하는 방법으로는, 동 벡터의 수평방향 및 수직방향 성분의 2제곱의 합을 구하는 방법, 동 벡터의 수평방향 및 수직방향 성분의 절대값의 합을 구하는 방법, 그리고 동 벡터의 수평방향 및 수직방향 성분 중 절대값이 큰 쪽의 값을 구하는 방법 등이 있다.
필터 결정수단(233)은 DCT패턴 판정수단(231)이 출력한 판정결과와, 동 벡터 추출수단(232)이 출력한 동 벡터의 크기를 이용하여 각 블록경계에 실시할 필터처리를 결정한다. 그 결정방법에 대하여 이하에서 설명한다.
현재, 도 6과 같이 화소블록이 나열된 것으로 한다. 또 화소블록(501, 503, 505, 506)이 화소 매크로블록을 구성하는 것으로 한다. 이 화소 매크로블록의 경계에 어떠한 필터처리를 실시할지를 결정하는 경우를 생각한다.
도 16은 블록을 분류하는 처리의 흐름을 나타내는 흐름도이다. 필터 결정수단(233)은 도 16에 나타내는 순서에 따라서 필터의 종류를 결정한다. 여기서는 화소블록(501)과 화소블록(502) 사이의 블록경계(511)에 실시할 필터처리를 결정하는 경우를 예로 들어 설명한다.
먼저, 도 16의 단계(S41)에서 블록경계를 사이에 두는 2개의 블록, 즉 화소블록(501 및 502)에 대한 DCT패턴 판정수단(231)의 출력을 검사한다. 그리고 적어도 한쪽 블록의 판정결과가 "Yes"인 경우에는, 그 블록경계에 필터처리를 실시하지 않는 것으로 한다(단계(S44)). 그 이외의 경우에는 단계(S42)의 처리를 행한다.
단계(S42)에서는 동 벡터 추출수단(232)의 출력인 동 벡터의 크기와 미리 정해 놓은 임계값(TH1)을 비교하여, 동 벡터의 크기가 임계값(TH1)보다 작으면 약한 필터처리를 실시한다(단계(S45)). 그 이외의 경우에는 단계(S43)의 처리를 행한다. 단계(S43)에서는 동 벡터의 크기와 미리 정해 놓은 임계값(TH2)을 비교한다. 여기서, TH1＜TH2이다. 동 벡터의 크기가 임계값(TH2)보다 작으면 중간 정도의 필터처리를 실시한다(단계(S46)). 그 이외의 경우에는 강한 필터처리를 실시하는 것으로 한다(단계(S47)).
여기서 단계(S42, S43)의 동 벡터 크기의 비교에는 양쪽의 블록, 즉 화소블록(501 및 502)의 동 벡터 크기를 이용하여도 되고, 한쪽의 동 벡터 크기만을 이용하여도 된다. 예를 들어 양쪽 블록의 동 벡터 크기를 이용하여, 어느 한쪽의 값이 임계값보다 크면, 단계(S42, S43)의 조건을 만족시키는 것으로 하여도 되고, 양쪽 값이 모두 임계값보다 큰 경우에도 단계(S42, S43)의 조건을 만족시키는 것으로 하여도 된다. 또 여기서 필터의 강도는 예를 들어 필터가 저역통과 필터인 경우, 필터의 차단주파수에 따른 것이다. 이 경우 차단주파수가 낮을수록 강한 필터라고 할 수 있다.
마찬가지로 필터 결정수단(233)은 다른 매크로블록 경계에 실시할 필터의 종류를 결정하고, 결정한 필터의 종류를 블록 노이즈 제거수단(116)으로 출력한다.
도 17은 도 14의 블록 노이즈 검출수단의 다른 구성예를 나타내는 블록도이다. 도 17의 블록 노이즈 검출수단(240)은 DCT패턴 판정수단(231)과, 동 벡터 추출수단(232), 필터 결정수단(243), DC계수 추출수단(244)을 구비한다. DCT패턴 판정수단(231) 및 DC계수 추출수단(244)에는 역양자화 수단(111)으로부터 DCT계수가 입력되고, 동 벡터 추출수단(232)에는 가변길이 복호화 수단(110)으로부터 동 벡터가 입력된다.
DCT패턴 판정수단(231) 및 동 벡터 추출수단(232)은 도 14에서 설명한 것과 마찬가지이므로 여기서는 그 설명을 생략한다.
DC계수 추출수단(244)은 역양자화 수단(111)이 출력한 DCT계수 블록으로부터 DC계수만을 추출하여 필터 결정수단(243)에 출력한다.
필터 결정수단(243)은 DCT패턴 판정수단(231)이 출력한 판정결과와, 동 벡터 추출수단(232)이 출력한 동 벡터의 크기와, DC계수 추출수단(244)이 출력한 DC계수를 이용하여, 각 블록경계에 실시할 필터처리를 결정한다. 그 동작을 이하에서 설 명한다.
도 18은 DC계수를 이용하여 블록을 분류하는 경우의 처리 흐름을 도시한 흐름도이다. 필터 결정수단(243)은 도 18에 도시하는 순서에 따라서 필터의 종류를 결정한다. 도 18의 처리방법이 도 16의 처리방법과 다른 점은 단계(S41)와 단계(S42) 사이에 단계(S51) 처리가 추가된다는 점이다. 여기서 단계(S51)의 처리에 대하여 설명하기로 한다.
단계(S51)에서는 인접하는 2블록 사이의 DC계수 차의 절대값을 구하고, 그 절대값이 소정 임계값(TH3)보다 큰지의 여부를 판정한다. 차의 절대값이 임계값(TH3)보다 큰 경우에는, 블록경계(511)에 필터처리를 실시하지 않는 것으로 판정한다(단계(S44)). 그 이외의 경우에는 단계(S42)의 처리를 행한다.
필터 결정수단(243)은 이와 같이 하여 결정한 필터의 종류를 블록 노이즈 제거수단(116)에 출력한다.
도 19는 도 14의 블록 노이즈 검출수단의 또 다른 구성예를 도시한 블록도이다. 도 19의 블록 노이즈 검출수단(250)은 DCT패턴 판정수단(231)과, 동 벡터 추출수단(232), 필터 결정수단(253), DC계수 추출수단(244) 및 양자화 스케일 추출수단(255)을 구비한다.
DCT패턴 판정수단(231)과 동 벡터 추출수단(232) 및 DC계수 추출수단(244)은 도 14 및 도 17에서 설명한 것과 마찬가지이므로 여기서는 그 설명을 생략한다.
양자화 스케일 추출수단(255)은 가변길이 복호화 수단(110)으로부터 입력된 부호화 정보로부터 양자화 스케일을 추출하여 필터 결정수단(253)으로 출력한다.
필터 결정수단(253)은 DCT패턴 판정수단(231)이 출력한 판정결과와, 동 벡터 추출수단(232)이 출력한 동 벡터 크기와, DC계수 추출수단(244)이 출력한 DC계수, 그리고 양자화 스케일 추출수단(255)이 출력한 양자화 스케일을 이용하여 각 블록경계에 실시할 필터처리를 결정한다. 그 동작을 이하에서 설명한다.
필터 결정수단(253)은 도 18의 처리 순서와 거의 마찬가지의 처리를 한다. 단, 필터 결정수단(253)에서는 도 18의 단계(S51)에서의 임계값(TH3)으로서, 양자화 스케일 추출수단(255)이 출력하는 양자화 스케일을 정수배 시킨 값을 이용한다. 필터 결정수단(253)은 이와 같이 하여 결정된 필터의 종류를 블록 노이즈 제거수단(116)에 출력한다.
블록 노이즈 제거수단(116)은 제 1 실시예의 경우와 거의 마찬가지 동작을 한다. 단, 강도가 중간 정도의 필터는, 제 1 실시예에서의 필터(F2)에 상당하며, 강도가 강한 필터는 필터(F3)에 상당한다. 또 결정된 필터의 종류가 약한 필터인 경우에, 블록 노이즈 제거수단(116)은 필터 종류가 중간 정도의 필터인 경우와 동등 또는 더욱 좁은 범위의 화소에 필터처리를 실시한다. 저역통과 필터를 이용하는 경우에는, 도 9의 주파수 특성(L1)과 같이, 약한 필터의 차단주파수를 중간 정도의 필터보다 높게 설정한다. 여기서, 결정된 필터의 종류는 검출된 블록 노이즈의 크기에 대응한다고 할 수 있다.
필터처리의 실시방법은 수직방향에 대해서도 마찬가지이다. 그리고 인터레이스(interlaced: 비월주사) 화상의 경우에, 수직방향 필터처리는 동일 필드 내에서 실시하면 된다.
이상과 같이 제 3 실시예의 화상 복호화장치에서는 압축부호열로부터 얻어지는 DCT계수 등의 직교변환 계수의 주파수 분포에 따라, 각 블록이 고주파수 성분을 갖는지의 여부를 판정한다. 그리고 인접하는 블록에서의 직교변환 계수의 주파수 분포의 판정결과와, 동 벡터의 크기와, DC계수와, 양자화 스케일을 이용하여 그 블록경계에 실시할 필터처리를 결정한다.
여기서 필터의 결정방법은 다음과 같다. 즉 고주파수 성분을 갖는 블록이면 필터처리를 실시하지 않도록 결정한다. 또 고주파수 성분을 갖지 않는 블록인 경우에는, 동 벡터의 크기가 클수록 필터의 강도가 강해지도록 설정한다. 또한 DC계수를 이용하는 경우에는, 인접하는 블록에서의 DC계수 차의 절대값이 소정값보다 크면 필터처리를 실시하지 않도록 결정한다. 또 이 때의 소정값으로서 양자화 스케일에 따른 값을 이용할 수도 있다. 그리고 결정된 필터에 기초하여, 복호화 후 화상의 블록경계의 주변화소에 대하여 필터처리를 실시함으로써 블록 노이즈를 제거한다.
이와 같이 제 3 실시예의 화상 복호화장치에 의하면, 인접하는 블록의 동 벡터 크기로부터 블록 노이즈가 발생하는 블록경계를 확실하게 검출할 수 있으며, 또 고주파수 성분을 갖는 블록에는 필터처리를 실시하지 않음으로써, 오검출을 없애고 화질열화를 방지할 수 있다. 더욱이 DC계수 차의 절대값을 검사함으로써, 큰 휘도차를 갖는 블록간 블록경계에서 블록 노이즈를 검출하는 식의 오검출을 방지할 수 있다. 또 DC계수 차의 절대값의 검사에서의 임계값으로서 양자화 스케일에 따른 값을 이용함으로써, 화질에 따른 적절한 검사를 행할 수 있다. 그리고 동 벡터의 크기에 따라 강도가 다른 필터를 복수 이용함으로써, 블록 노이즈의 크기에 맞는 필터처리를 실시할 수 있다. 이들 효과에 의하여, 화상의 흐림을 최소한으로 억제하면서 확실하고, 오검출하는 일없이 블록 노이즈를 제거할 수 있다.
여기서, 본 실시예에서는 DCT패턴의 예로서 도 15 (a), (b)의 2가지 DCT패턴에 대하여 설명하였지만, DCT패턴의 주파수 분포는 이들 분포에 한정되지 않는다.
또 블록 노이즈 제거수단(116)에서 이용하는 필터의 종류를 3 종류로 했지만, 이는 몇 종류라도 상관없다.
또한 본 실시예에서는 동 벡터의 크기에 대하여 2개의 임계값(TH1, TH2)을 이용하는 경우에 대하여 설명했지만, 이 임계값의 수는 2개에 한정되지 않는다.
또 블록 노이즈 제거수단(116)에서 이용하는 필터가 저역필터인 경우에 대하여 설명했지만 이는 블록 노이즈를 제거하는 필터라면 다른 필터, 예를 들어 메디안필터나 비선형필터 등이라도 된다.
(제 4 실시예)
제 4 실시예에서는 처리대상 블록의 DCT계수와, 동 벡터의 크기에 추가로, 이 블록의 참조영역에 관한 파라미터에도 기초하여 부호화 노이즈로서의 블록 노이즈 제거를 위한 필터의 강도를 결정하여 노이즈를 제거하는 화상 복호화장치에 대하여 설명한다.
제 4 실시예에 관한 화상 복호화장치는 도 1의 화상 복호화장치에 있어서, 블록 노이즈 검출수단(130) 대신에 블록 노이즈 검출수단(260)을 이용한 것이다. 가변길이 복호화 수단(110)과, 역양자화 수단(111), 역DCT 수단(112), 스위치(113, 114), 프레임 메모리(115), 블록 노이즈 제거수단(116), 파라미터 메모리 수단(118), 그리고 가산수단(119)에 대해서는 제 1 실시예와 마찬가지이므로 동일 번호를 부여하고 그 설명을 생략한다. 여기서 블록 노이즈 검출수단(260)은 노이즈 검출장치로서 동작한다. 블록 노이즈 검출수단(260)에는 역양자화 수단(111)으로부터 DCT계수가 입력되고, 가변길이 복호화 수단(110)으로부터 동 벡터가 입력된다.
도 20은 블록 노이즈 검출수단(260)의 구성을 도시한 블록도이다. 도 20의 블록 노이즈 검출수단(260)은 DCT패턴 판정수단(261)과, 동 벡터 추출수단(232), 필터 결정수단(233), 참조영역 파라미터 결정수단(266), 및 파라미터 보정수단(267)을 구비한다. DCT패턴 판정수단(261)에는 역양자화 수단(111)으로부터 DCT계수가 입력되고, 동 벡터 추출수단(232) 및 참조영역 파라미터 결정수단(266)에는 가변길이 복호화 수단(110)으로부터 동 벡터가 입력된다. 또 DCT패턴 판정수단(261)에는 가변길이 복호화 수단(110)으로부터 부호화 정보가 입력된다.
동 벡터 추출수단(232)은 제 3 실시예의 도 14에서 설명한 것과 마찬가지이므로 그 설명을 생략한다.
DCT패턴 판정수단(261)은 역양자화 수단(111)으로부터 DCT계수 블록을 수취한다. DCT패턴 판정수단(261)은 DCT계수 블록의 각 주파수 성분의 분포에 기초하여, 입력된 DCT계수 블록이 고주파수 성분을 포함하는지의 여부를 판정한다. 이 판정방법은 제 3 실시예에서 설명한 것과 마찬가지이므로 그 설명을 생략한다. DCT패턴 판정수단(261)은 판정결과를 파라미터 보정수단(267)에 출력하고, 현재 복호화중의 프레임이 다른 프레임의 복호화 시에 참조되는 프레임인 경우(예를 들어 MPEG-2에서의 I픽처나 P픽처의 경우)에는 판정결과를 파라미터 메모리 수단(118)에도 출력한다.
참조영역 파라미터 결정수단(266)은 가변길이 복호화 수단(110)이 출력한 동 벡터를 이용하여 참조영역의 화소를 포함하는 블록의 DCT패턴 판정결과를 참조한다.
제 2 실시예에서 도 12를 이용하여 설명한 바와 같이, 참조영역 파라미터 결정수단(266)은 처리대상 블록(521)을 복호화할 때, 참조하는 참조 프레임 내의 참조영역(526) 및 참조영역(526)이 중복된 블록(522~525)을 구한다. 참조영역 파라미터 결정수단(266)은 블록(522~525) DCT패턴의 판정결과를 파라미터 메모리 수단(118)으로부터 취득하고, 이들 DCT패턴의 판정결과를 이용하여 참조영역(526)의 DCT패턴 판정결과를 구하여, 파라미터 보정수단(267) 및 파라미터 메모리 수단(118)으로 출력한다.
블록(522~525)의 DCT패턴 판정결과를 이용하여 참조영역(526)의 DCT패턴 판정결과를 구하는 방법으로서는, 참조영역(526)과 중복되는 부분의 화소수가 가장 많은 블록의 DCT패턴 판정결과를 선택하는 방법, 블록(522~525) 중에 1개라도 DCT패턴 판정결과가 "Yes"인 블록이 있는 경우에는 참조영역(526)의 판정결과가 "Yes"인 것으로 결정하는 방법, 블록(522~525)의 DCT패턴 판정결과의 다수결에 의하여 결정하는 방법 등이 있다.
파라미터 보정수단(267)은 DCT패턴 판정수단(261)이 출력한 DCT패턴의 판정결과와 참조영역 파라미터 결정수단(266)이 출력한 참조영역의 DCT패턴 판정결과를 입력으로서 수취한다. 파라미터 보정수단(267)은 DCT패턴 판정수단(261)이 결정한 판정결과를, 참조영역 파라미터 결정수단(266)이 결정한 판정결과를 이용하여 보정한다. 이 경우 적어도 한쪽의 판정결과가 "Yes"이면, "Yes"를 필터 결정수단(233)에 출력하는 것으로 한다.
필터 결정수단(233)은 파라미터 보정수단(267)이 출력하는 판정결과와 동 벡터 추출수단(232)이 출력한 동 벡터 크기를 입력으로 하고, 이들을 이용하여 각 블록경계에 실시할 필터처리를 결정한다. 이 결정방법은 도 14의 필터 결정수단(233)에 대하여 설명한 방법과 마찬가지이다. 필터 결정수단(233)이 결정한 필터의 종류는 블록 노이즈 제거수단(116)에 출력된다.
블록 노이즈 제거수단(116)은 제 3 실시예의 경우와 마찬가지로, 프레임 메모리(115)가 출력하는 화상의 블록경계에 필터처리를 실시하여 블록 노이즈를 제거한다. 블록 노이즈 제거수단(116)은 노이즈 제거를 행한 화상을 출력화상으로서 출력한다.
도 21은 도 20의 블록 노이즈 검출수단의 다른 구성예를 나타낸 블록도이다. 도 21의 블록 노이즈 검출수단(270)은 DCT패턴 판정수단(261)과, 동 벡터 추출수단(232), 필터 결정수단(243), DC계수 추출수단(244), 참조영역 파라미터 결정수단(276), 및 파라미터 보정수단(277)을 구비한다. DCT패턴 판정수단(261) 및 DC계수 추출수단(244)에는 역양자화 수단(111)으로부터 DCT계수가 입력되고, 동 벡 터 추출수단(232) 및 참조영역 파라미터 결정수단(276)에는 가변길이 복호화 수단(110)으로부터 동 벡터가 입력된다. 또 DCT패턴 판정수단(261)에는 가변길이 복호화 수단(110)으로부터 부호화 정보가 입력된다.
DCT패턴 판정수단(261) 및 동 벡터 추출수단(232)은 도 20에서 설명한 것과 마찬가지이며, DC계수 추출수단(244)은 도 17에서 설명한 것과 마찬가지이므로 여기서는 그 설명을 생략한다.
DCT패턴 판정수단(261) 및 DC계수 추출수단(244)의 출력은 파라미터 보정수단(277)으로 입력된다. 또 현재 복호화중의 프레임이 다른 프레임의 복호화 시에 참조되는 프레임인 경우에, DCT패턴 판정수단(261) 및 DC계수 추출수단(244)의 출력은 파라미터 메모리 수단(118)에도 출력된다. 또 동 벡터 추출수단(232)의 출력은 필터 결정수단(243)에 출력된다.
참조영역 파라미터 결정수단(276)은 가변길이 복호화 수단(110)이 출력한 동 벡터를 이용하여 파라미터 메모리 수단(118)으로부터 참조 프레임의 DCT패턴 판정결과 및 DC계수를 취득한다. 이들을 얻는 방법 및 참조영역의 DC패턴 판정결과를 구하는 방법은 도 20의 참조영역 파라미터 결정수단(266)에 대하여 설명한 방법과 마찬가지이다. 또 참조영역의 DC계수를 구하는 방법으로는 참조영역의 화소를 포함하는 블록의 DC계수 평균값을 취하는 방법, 참조영역과 중복되는 블록의 중복된 부분 면적에 따른 하중 평균값을 취하는 방법 등이 있다.
참조영역 파라미터 결정수단(276)은 이상과 같이 하여 구해진 참조영역의 DCT패턴 판정결과와 DC계수를, 파라미터 보정수단(277) 및 파라미터 메모리 수단(118)에 출력한다.
파라미터 보정수단(277)은, DCT패턴 판정수단(261)이 출력한 DCT패턴의 판정결과와, DC계수 추출수단(244)이 출력한 DC계수와, 참조영역 파라미터 결정수단(276)이 출력한 참조영역의 DCT패턴 판정결과 및 DC계수를 입력으로서 수취한다. 그리고 먼저, 파라미터 보정수단(277)은 DCT패턴 판정수단(261)이 결정한 판정결과를, 참조영역 파라미터 결정수단(276)이 결정한 판정결과를 이용하여 보정한다. 이 방법은 도 20의 파라미터 보정수단(267)에 대하여 설명한 방법과 마찬가지이다.
다음으로, 파라미터 보정수단(277)은 DC계수 추출수단(244)이 출력한 DC계수를, 참조영역 파라미터 결정수단(276)이 출력한 DC계수를 이용하여 보정한다. 이 보정은 DC계수 추출수단(244)이 출력한 DC계수에, 참조영역 파라미터 결정수단(276)이 출력한 DC계수를 가산함으로써 실행된다. 파라미터 보정수단(277)이 보정한 DCT패턴의 판정결과 및 DC계수는 필터 결정수단(243)에 출력된다.
필터 결정수단(243)은 파라미터 보정수단(277)이 출력한 판정결과와 DC계수 및 동 벡터 추출수단이 출력한 동 벡터의 크기를 이용하여 각 블록경계에 실시할 필터처리를 결정한다. 이 결정방법은 도 17의 필터 결정수단(243)에 대하여 설명한 방법과 마찬가지이다. 필터 결정수단(243)이 결정한 필터의 종류는 블록 노이즈 제거수단(116)에 출력된다.
도 22는 도 20의 블록 노이즈 검출수단의 또 다른 구성예를 도시한 블록도이 다. 도 22의 블록 노이즈 검출수단(280)은 DCT패턴 판정수단(261)과, 동 벡터 추출수단(232), 필터 결정수단(253), DC계수 추출수단(244), 양자화 스케일 추출수단(255), 참조영역 파라미터 결정수단(286), 파라미터 보정수단(287)을 구비한다. DCT패턴 판정수단(261)과 DC계수 추출수단(244)으로는 역양자화 수단(111)으로부터 DCT계수가 입력되고, 동 벡터 추출수단(232) 및 참조영역 파라미터 결정수단(286)으로는 가변길이 복호화 수단(110)으로부터 동 벡터가 입력된다. 또 가변길이 복호화 수단(110)으로부터, 양자화 스케일 추출수단(255)으로는 양자화 스케일이 입력되며, DCT패턴 판정수단(261)으로는 부호화 정보가 입력된다.
DCT패턴 판정수단(261) 및 동 벡터 추출수단(232)은 도 20에서 설명한 것과 마찬가지이고, DC계수 추출수단(244)은 도 17에서의 설명과 마찬가지이며, 양자화 스케일 추출수단(255)은 도 19에서의 설명과 마찬가지이므로 여기서는 그 설명을 생략한다.
DCT패턴 판정수단(261)과 DC계수 추출수단(244) 및 양자화 스케일 추출수단(255)의 출력은 파라미터 보정수단(287)으로 입력된다. 또 현재 복호화중의 프레임이 다른 프레임의 복호화 시에 참조되는 프레임인 경우에, DCT패턴 판정수단(261)과 DC계수 추출수단(244) 및 양자화 스케일 추출수단(255)의 출력은 파라미터 메모리 수단(118)으로도 출력된다. 또한 동 벡터 추출수단(232)의 출력은 필터 결정수단(253)으로 출력된다.
참조영역 파라미터 결정수단(286)은 가변길이 복호화 수단(110)이 출력한 동 벡터를 이용하여 파라미터 메모리 수단(118)으로부터 참조 프레임의 DCT패턴 판정 결과와 DC계수 및 양자화 스케일을 취득한다. 이들을 얻는 방법 및 참조영역의 DCT패턴 판정결과와 참조영역의 DC계수를 구하는 방법은 도 20의 참조영역 파라미터 결정수단(266)에 대하여 설명한 방법과 마찬가지이다. 또 참조영역의 양자화 스케일을 구하는 방법으로는 참조영역의 화소를 포함하는 블록의 양자화 스케일의 평균값을 취하는 방법과, 참조영역과 중복되는 블록의 중복된 부분 면적에 따른 하중 평균값을 취하는 방법, 최소값을 취하는 방법 그리고 최대값을 취하는 방법 등이 있다.
참조영역 파라미터 결정수단(286)은 이상과 같이 하여 구해진 참조영역의 DCT패턴 판정결과와 DC계수 및 양자화 스케일을 파라미터 보정수단(287) 및 파라미터 메모리 수단(118)으로 출력한다.
파라미터 보정수단(287)은 DCT패턴 판정수단(261)이 출력한 DCT패턴의 판정결과와, DC계수 추출수단(244)이 출력한 DC계수와, 양자화 스케일 추출수단(255)이 출력한 양자화 스케일과, 참조영역 파라미터 결정수단(286)이 출력한 참조영역의 DCT패턴 판정결과, DC계수, 양자화 스케일을 입력으로서 수취한다. 그리고 먼저 파라미터 보정수단(287)은 DCT패턴 판정수단(261)이 결정한 판정결과를, 참조영역 파라미터 결정수단(286)이 결정한 판정결과를 이용하여 보정한다. 이 방법은 도 20의 파라미터 보정수단(267)에 대하여 설명한 방법과 마찬가지이다.
다음으로 파라미터 보정수단(287)은 DC계수 추출수단(244)이 출력한 DC계수를, 참조영역 파라미터 결정수단(286)이 출력한 DC계수를 이용하여 보정한다. 이 보정방법은 도 21의 파라미터 보정수단(277)에 대하여 설명한 방법과 마찬가지이 다.
이어서, 파라미터 보정수단(287)은 양자화 스케일 추출수단(255)이 출력한 양자화 스케일을, 참조영역 파라미터 결정수단(286)이 출력한 양자화 스케일을 이용하여 보정한다. 이 보정방법으로는 양자화 스케일 추출수단(255)이 출력한 양자화 스케일과 참조영역 파라미터 결정수단(286)이 출력한 양자화 스케일의 평균값을 구하는 방법이 있다. 또 이들 2개의 양자화 스케일 중 최소값 또는 최대값을 구하는 방법이 있다. 또한 양자화 스케일 추출수단(255)이 출력한 양자화 스케일을 보정하지 않고 출력해도 된다. 파라미터 보정수단(287)이 보정한 DCT패턴의 판정결과와 DC계수 및 양자화 스케일은 필터 결정수단(253)으로 출력된다.
필터 결정수단(253)은 파라미터 보정수단(287)이 출력한 DCT패턴의 판정결과와 DC계수 및 양자화 스케일, 그리고 동 벡터 추출수단(232)이 출력한 동 벡터의 크기를 이용하여 각 블록경계에 실시할 필터처리를 결정한다. 이 결정방법은 도 19의 필터 결정수단(253)에 대하여 설명한 방법과 마찬가지이다. 필터 결정수단(253)이 결정한 필터의 종류는 블록 노이즈 제거수단(116)으로 출력된다. 여기서, 결정된 필터의 종류는 검출된 블록 노이즈의 크기에 대응한다고 할 수 있다.
이상과 같이 본 실시예의 화상 복호화장치에서는 압축부호열로부터 얻어지는 직교변환 계수(예를 들어 DCT계수)의 주파수 분포에 의하여, 각 블록이 고주파수 성분을 갖는지의 여부를 판정한다. 또 동 벡터를 이용하여 참조 프레임중의 참조영역을 구하고, 참조영역에 중복되는 블록의 주파수 분포, DC계수, 양자화 스케일 을 이용하여 참조영역의 주파수 분포, DC계수, 양자화 스케일을 구한다. 그리고 이들 값을 이용하여 압축부호열의 정보로부터 구한 처리대상 블록의 주파수 분포, DC계수, 및 양자화 스케일을 보정한다. 또 인접하는 블록에서의 직교변환 계수의 주파수 분포 판정결과와, 동 벡터 크기, DC계수, 및 양자화 스케일을 이용하여 그 블록경계에 실시할 필터처리를 결정한다.
여기서 필터 결정방법은 다음과 같은 것이다. 즉 직교변환 계수분포가 고주파수 성분을 갖는 블록이면 필터처리를 실시하지 않도록 결정한다. 또한 직교변환 계수분포가 고주파수 성분을 갖지 않는 블록이면, 동 벡터의 크기가 클수록 필터의 강도가 강해지도록 설정한다. 또 DC계수를 이용한 경우에, 인접하는 블록에서의 DC계수 차의 절대값이 소정값보다 크면 필터처리를 실시하지 않도록 결정한다. 또한 이 때 소정값으로 양자화 스케일을 이용할 수도 있다. 그리고 이상과 같이 결정한 필터를 이용하여 복호화 후 화상의 블록경계 주변화소에 대하여 필터처리를 실시함으로써 블록 노이즈를 제거한다.
이와 같은 동작에 따라, 본 실시예의 화상 복호화장치에 의하면, 인접하는 블록의 동 벡터 크기에 따라, 블록 노이즈가 발생하는 블록경계를 확실하게 검출할 수 있고, 또 고주파수 성분을 갖는 블록에는 필터처리를 실시하지 않음으로써 오검출을 없애 화질열화를 방지할 수 있다. 그리고 DC계수 차의 절대값을 검사함으로써, 더욱 오검출을 방지할 수 있으며, 이 때의 임계값으로 양자화 스케일을 이용함으로써 화질에 맞는 검사를 실행할 수 있다. 또 동 보상이 실행될 경우, 참조 프레임의 DCT패턴 판정결과, DC계수, 양자화 스케일도 이용하여 필터를 결정하기 때 문에 더욱 높은 정밀도로 동 보상 후 복호화 화상의 성질에 맞는 블록 노이즈 검출을 실행할 수 있다. 그리고 동 벡터의 크기에 따라 강도가 다른 필터를 복수 이용함으로써 화상 흐림을 최소한으로 억제하면서 확실하게 블록 노이즈를 제거할 수 있다.
(제 5 실시예)
제 5 실시예에서는 인터레이스 화상이 부호화된 압축부호열로부터, 인트라 부호화된 프레임을 복호화하는 경우에 있어서, 부호화 노이즈로서 블록 노이즈를 검출하고 제거하는 화상 복호화장치에 대하여 설명한다.
제 5 실시예에 관한 화상 복호화장치는, 도 1의 화상 복호화장치에서, 블록 노이즈 검출수단(130) 대신 블록 노이즈 검출수단(330)을 이용한 것이다. 가변길이 복호화 수단(110)과, 역양자화 수단(111), 역DCT 수단(112), 스위치(113, 114), 프레임 메모리(115), 파라미터 메모리 수단(118), 및 가산수단(119)에 대해서는 제 1 실시예와 마찬가지이므로 동일 번호를 부여하고 그 설명을 생략한다. 여기서 블록 노이즈 검출수단(330)은 노이즈 검출장치로서 동작한다.
도 23은 제 5 실시예에 관한 블록 노이즈 검출수단의 구성을 도시한 블록도이다. 도 23의 블록 노이즈 검출수단(330)은 DCT패턴 판정수단(331)과 DC계수 추출수단(332), 양자화 스케일 추출수단(333), 및 필터 결정수단(334)을 구비한다. 블록 노이즈 검출수단(330)에는 DCT계수가 역양자화 수단(111)으로부터 입력되고, 양자화 스케일, 매크로블록 부호화 모드, 및 DCT모드가 가변길이 복호화 수단(110)으로부터 입력된다.
DCT패턴 판정수단(331)은 역양자화 수단(111)으로부터 DCT계수 블록을, 가변길이 복호화 수단(110)으로부터 DCT모드를 입력으로 수취한다. DCT패턴 판정수단(331)에서는 DCT계수 블록의 각 주파수 성분의 분포에 의하여 각 DCT계수 블록을 분류한다. DCT계수 블록의 분류는 제 1 실시예와 마찬가지 방법으로 행하며 각 DCT계수 블록을 DCT클래스(I1, I2, I3)로 분류한다.
여기서 결정된 DCT클래스는 각 블록에 필드 단위로 할당된다. 여기서는 설명의 간략화를 위하여 휘도신호 블록만을 이용하여 설명한다.
도 24는 DCT모드가 필드모드인 경우에 있어서, DCT계수 매크로블록과, 화소블록을 필드별로 나타낸 것과의 관계에 대한 설명도이다. 도 24의 (a)는 DCT계수 블록을 도시한 설명도이며, DCT계수 블록(601~604)으로 DCT계수 매크로블록을 구성하는 것으로 한다. 도 24 (a)의 DCT계수 매크로블록은 DCT모드가 필드모드이므로 DCT계수 블록(601, 603)이 제 1 필드의 DCT계수를 나타내고, DCT계수 블록(602, 604)이 제 2 필드의 DCT계수를 나타낸다. 따라서 도 24 (a)의 DCT계수 매크로블록에 역DCT를 실시한 화소 매크로블록의 상태는 도 24의 (b)와 같이 된다.
도 24의 (b)는 화소 매크로블록을 프레임 구조로 나타낸 설명도이며, 화소블록(605~608)으로 구성되는 화소 매크로블록을 나타낸다. 예를 들어 화소블록(605)은 제 1 필드가 DCT블록(601)을 역DCT 실시한 화소로 구성되고, 제 2 필드가 DCT블록(602)을 역DCT 실시한 화소로 구성된다.
도 24의 (c)는 화소블록(605~608)을 필드별로 나타낸 설명도이다. 이하에서는 1개의 화소블록에 포함되는 화소중 한쪽 필드의 화소집합(8×4화소)을 1개의 단 위로 하고 필드블록이라 칭한다. 예를 들어 필드블록(609, 610)은 각각 화소블록(605)의 제 1 필드 및 제 2 필드 화소를 모은 것이다. 마찬가지로 필드블록(611, 612)은 각각 화소블록(606)의 제 1 필드 및 제 2 필드 화소로 구성된다. 따라서 DCT블록(601)에 대하여 결정된 DCT클래스는 필드블록(609, 611)에 대하여 할당된다. 마찬가지로 DCT블록(602)에 대하여 결정된 DCT클래스는 필드블록(610, 612)에 대하여, DCT블록(603)에 대하여 결정된 DCT클래스는 필드블록(613, 615)에 대하여, DCT블록(604)에 대하여 결정된 DCT클래스는 필드블록(614, 616)에 대하여 할당된다.
도 25는 DCT모드가 프레임모드인 경우의, DCT계수 매크로블록과, 화소블록을 필드별로 나타낸 것과의 관계에 대한 설명도이다. 도 25의 (a)는 DCT계수 블록을 나타내는 설명도이며, DCT계수 블록(651~654)으로 DCT계수 매크로블록을 구성하는 것으로 한다. 도 25 (a)의 DCT계수 매크로블록은 DCT모드가 프레임모드이므로, 도 25 (a)의 DCT계수 매크로블록에 역DCT를 실시한 화소 매크로블록의 상태는 도 25의 (b)와 같이 된다.
도 25의 (b)는 화소 매크로블록을 프레임 구조로 나타낸 설명도이며, 화소블록(655~658)으로 구성되는 화소 매크로블록을 나타낸다. 예를 들어 화소블록(655)은 DCT블록(651)을 역DCT 실시한 화소로 구성되고, 화소블록(656)은 DCT블록(652)을 역DCT 실시한 화소로 구성된다.
도 25의 (c)는 화소블록(655~658)을 필드별로 나타낸 설명도이다. 예를 들어 필드블록(659, 660)은 각각 화소블록(655)의 제 1 필드, 제 2 필드의 화소를 모 은 것이다. 마찬가지로 하여 필드블록(661, 662)은 각각 화소블록(656)의 제 1 필드, 제 2 필드의 화소로 구성된다. 따라서 DCT블록(651)에 대하여 결정된 DCT클래스는 필드블록(659, 660)에 대하여 할당된다. 같은 방식으로, DCT블록(652)에 대하여 결정된 DCT클래스는 필드블록(661, 662)에 대하여, DCT블록(653)에 대하여 결정된 DCT클래스는 필드블록(663, 664)에 대하여, DCT블록(654)에 대하여 결정된 DCT클래스는 필드블록(665, 666)에 대하여 할당된다.
DC계수 추출수단(332)은 DCT계수 블록과 DCT모드를 입력으로 하여, DCT계수로부터 DC계수만을 추출하여 파라미터 메모리 수단(118)으로 출력한다. DC계수는 DCT패턴 판정수단(331)과 마찬가지로 필드블록별로 할당된다.
양자화 스케일 추출수단(333)은 가변길이 복호화 수단(110)이 출력한 부호화 정보로부터 양자화 스케일을 추출하여 파라미터 메모리 수단(118)으로 출력한다. 양자화 스케일은 DCT패턴 판정수단(331)과 마찬가지로 필드블록별로 할당된다.
블록 노이즈 파라미터, 즉 DCT패턴 판정수단(331)이 출력한 DCT클래스, DC계수 추출수단(332)이 출력한 DC계수, 및 양자화 스케일 추출수단(333)이 출력한 양자화 스케일은 필드블록 단위로 파라미터 메모리 수단(118)으로 출력된다. 파라미터 메모리 수단(118)은 입력된 블록 노이즈 파라미터를 필드블록 단위로 축적한다.
1 프레임분의 필드블록에 대한 블록 노이즈 파라미터를 축적하면, 필터 결정수단(334)은 블록 노이즈 파라미터를 참조하면서, 각 필드블록의 경계에 실시할 필터처리를 결정한다. 그 동작을 이하에서 설명한다.
도 26은 필드블록의 배치에 대한 설명도이다. 현재, 도 26의 (a)와 같이 블 록이 나열된 것으로 한다. 도 26의 (a)에서는 프레임 구조에서의 블록 나열을 나타내며, 1개의 정방형이 1 블록을 나타낸다. 또 도 26의 (b), (c)는 각각 도 26 (a)의 제 1 필드 및 제 2 필드의 필드블록 배치를 나타낸다. 예를 들어 블록(551)은 제 1 필드의 화소로 구성되는 필드블록(551a)과 제 2 필드의 화소로 구성되는 필드블록(551b)으로 분리된다.
경계에 실시하는 필터처리는 필드블록 단위로 결정한다. 예를 들어 필드블록(551a)에 대해서는 경계(561a, 562a, 563a, 564a)의 필터를 결정하고, 필드블록(551b)에 대해서는 경계(561b, 562b, 563b, 564b)의 필터를 결정한다. 필터의 결정방법에 대해서는 제 1 실시예에서 설명한 방법과 마찬가지이다. 예를 들어 경계(561a)의 필터처리를 결정하는 경우에는 필드블록(551a 및 552a)의 블록 노이즈 파라미터를 이용한다. 필터 결정수단(334)이 결정한 필터의 종류는 블록 노이즈 제거수단(116)으로 출력된다. 여기서, 결정된 필터의 종류는 검출된 블록 노이즈의 크기에 대응한다고 할 수 있다.
블록 노이즈 제거수단(116)은 블록 노이즈 검출수단(330)으로부터 각 블록경계에 실시할 필터처리의 종류를 수취한다. 그리고 프레임 메모리(115)로부터 출력되는 화상의 블록경계에 필터처리를 실시한다. 수평방향의 필터처리에 대해서는 제 1 실시예와 마찬가지이므로 그 설명은 생략한다. 블록 노이즈 제거수단(116)이 실행하는 수직방향의 필터처리의 예에 대하여 이하에서 설명한다.
도 27은 블록간 경계에 대한 수직방향의 필터처리에 대한 설명도이다. 도 27은 도 26의 블록(551 및 555)의 화소를 나타내며, 1개의 정방형이 1 화소에 상당 한다. 현재 두 블록(551와 555)의 경계(564)에 필터처리를 실시하는 경우를 생각한다. 블록 노이즈 검출수단(330)에 의하여 경계(564)에 실시하는 필터의 종류가 F1로 결정되었다고 하면, 블록 노이즈 제거수단(116)은 경계(564)에 필터처리를 실시하지 않는다. 블록 노이즈 검출수단(330)에 의하여 경계(564)에 실시하는 필터의 종류가 F2로 결정되었다고 하면, 블록 노이즈 제거수단(116)은 경계(564) 부근의 화소에 필터처리를 실시한다.
예를 들어 도 27의 (a)에서, 왼쪽으로부터 4번째 및 5번째 세로방향 선의 화소를 이용하여 설명하면, 화소(c, d) 및 화소(c', d')에 필터처리를 실시한다. 여기서 제 1 필드의 화소(c, d)에 대해서는 제 1 필드의 화소만을 이용하여 필터처리를 실시하고, 제 2 필드의 화소(c', d')에 대해서는 제 2 필드의 화소만을 이용하여 필터처리를 실시한다. 또 필터로는 저역통과 필터 등을 이용할 수 있다.
이와 같이 필터처리를 실시함으로써, 도 27의 (b)에 도시된 화소값이 도 27의 (c)와 같이 되어 블록 노이즈가 제거된다. 여기서 도 27의 (b), (c)에서는 가로축이 화소값을 나타내며, 세로축은 수직방향의 화소위치를 나타낸다. 여기서의 화소위치는 도 27 (a)의 화소위치에 대응한다.
또 블록 노이즈 검출수단(330)에 의하여 경계(564)에 실시하는 필터의 종류가 F3으로 결정되었다고 하면, 블록 노이즈 제거수단(116)은 경계(564) 부근에서, 필터의 종류가 F2인 경우보다 넓은 범위의 화소에 필터처리를 실시한다. 왼쪽으로부터 4번째 및 5번째 세로방향 선의 화소를 이용하여 설명하면, 예를 들어 제 1 필드의 화소에 대해서는 화소(b, c, d, e)에 필터처리를 실시하고, 제 2 필드의 화소 에 대해서는 화소(b', c', d', e')에 필터처리를 실시한다. 필터로는 F2의 경우와 마찬가지로 저역통과 필터 등을 이용할 수 있다. 또 도 9의 필터 주파수 특성예에 나타내는 바와 같이 필터 종류가 F3의 경우(L3)가 F2의 경우(L2)보다 더 차단주파수가 낮으며 그만큼 블록 노이즈를 제거하는 능력이 크다. 이와 같이 필터처리를 실시함으로써 도 27의 (d)에 도시된 화소값이 도 27의 (e)와 같이 되어 블록 노이즈가 제거된다.
여기서 필터로서 1차원 필터를 이용한 경우, 필터 탭(Tap) 수의 결정방법의 예를 설명한다. 1차원 필터를 이용하는 경우에는, 경계를 끼고 인접하는 2개의 필드블록 양쪽의 화소를 필터처리에 이용하며, 또 이들 2개의 필드블록 이외의 화소를 사용하지 않도록 한다. 이를 도 27의 (a)를 이용하여 설명한다.
예를 들어 필터의 탭 길이를 5로 한 경우, 화소(c)에 대하여 필터처리를 실시하기 위해서는, 화소(a, b, c, d, e)를 사용하여 화소(c)의 값을 구하게 된다. 이들 화소는 두 블록(551, 555)에 걸쳐 있고, 또 블록(551 및 555) 이외의 블록화소는 사용하지 않는다. 그러나 화소(a)에 대하여 필터처리를 실시하고자 하는 경우, 블록(555)의 화소는 사용하지 않으므로 화소(a)에는 탭 길이 5의 필터처리를 실시할 수가 없다. 즉 탭 길이 5의 필터를 사용하는 경우에는, 화소(a~f) 중 화소(b, c, d, e)에 대하여 필터처리를 실시할 수 있다. 마찬가지 방법으로 탭 길이 7의 필터를 사용하는 경우에는 화소(a~f)중 화소(c, d)에 대하여 필터처리를 실시할 수 있다.
이상과 같이 하여 블록 노이즈 제거수단(116)에서 필터처리가 실시된 프레임 은 출력화상으로서 출력된다.
이상과 같이, 본 실시예의 화상 복호화장치에서는 압축부호열로부터 얻어지는 DCT계수를 이용하여 각 블록을 복수 DCT클래스로 분류한다. 이 DCT클래스로의 분류는, 각 블록을 필드별로 분리한 필드블록을 단위로 실행한다. 그리고 인접하는 필드블록간에서의 DCT클래스, 양자화 스케일, DC계수를 이용하여 그 필드블록 경계에 실시할 필터처리를 결정한다. 여기서 필터를 결정할 때는, 소정값 이상의 DCT계수가 더 낮은 저역에만 분포하는 경우일수록 필터의 강도가 강해지도록 한다.
이와 같이 본 실시예의 화상 복호화장치에 의하면 DCT계수의 분포에 따라 블록 노이즈가 발생하는 블록경계를 확실하게 검출할 수 있으며, 또 DC계수 차의 절대값을 검사함으로써 블록 노이즈를 오검출하는 일이 없어진다. 그리고 블록 노이즈의 크기에 따라 강도가 다른 필터를 복수 이용함으로써, 화상 흐림을 최소한으로 억제하면서 확실하게 블록 노이즈를 제거할 수 있다. 또 필드블록을 단위로 하여 블록 노이즈를 검출하므로, 인터레이스 화상에 대해서는 더욱 정확하게 블록 노이즈를 검출할 수 있다. 또한 필드블록을 단위로 하여 블록 노이즈의 제거를 하므로, 화상에 악영향을 주는 일없이 블록 노이즈를 제거할 수 있다. 또 블록 노이즈 제거에 필터를 이용하는 경우, 경계를 끼고 인접하는 2개의 필드블록 양쪽의 화소를 필터처리에 이용하며, 또 이들 2개의 필드블록 이외의 화소를 사용하지 않도록 함으로써 블록 노이즈의 제거능력을 향상시킬 수 있다.
여기서 본 실시예에서는 필터 종류가 F2인 경우에는 블록경계의 2 화소에 필터처리를 실시하고, 필터 종류가 F3인 경우에는 블록경계의 4 화소에 필터처리를 실시하는 경우에 대하여 설명했지만, 필터처리를 하는 화소의 범위는 본 실시예와 다른 범위라도 된다.
또 본 실시예에서는 필터처리(F2)를 실시하는 범위와 필터처리(F3)를 실시하는 범위가 다른 경우에 대해서 설명했지만, 이는 같은 범위라도 상관없다.
또한 본 실시예에서는 파라미터 메모리 수단(118)에 1 프레임분의 블록 노이즈 파라미터가 축적된 시점에서 필터 결정수단(334)이 필터를 결정하는 경우에 대해서 설명했지만, 이는 1 프레임분 축적된 시점이 아니라도 된다.
(제 6 실시예)
제 6 실시예에서는 인터레이스 화상이 부호화된 압축부호열로부터 비 인트라 부호화된 프레임을 복호화하는 경우에 있어서, 부호화 노이즈로서 블록 노이즈를 검출하고 제거하는 화상 복호화장치에 대하여 설명한다.
제 6 실시예에 관한 화상 복호화장치는 도 1의 화상 복호화장치에 있어서, 블록 노이즈 검출수단(130) 대신 블록 노이즈 검출수단(340)을 이용한 것이다. 가변길이 복호화 수단(110)과, 역양자화 수단(111), 역DCT 수단(112), 스위치(113, 114), 프레임 메모리(115), 블록 노이즈 제거수단(116), 파라미터 메모리 수단(118), 및 가산수단(119)에 대해서는 제 1 실시예와 마찬가지이므로 동일 번호를 부여하고 그 설명을 생략한다. 여기서 블록 노이즈 검출수단(340)은 노이즈 검출장치로서 동작한다.
도 28은 제 6 실시예에 관한 블록 노이즈 검출수단의 구성을 도시한 블록도이다. 도 28의 블록 노이즈 검출수단(340)은 DCT패턴 판정수단(341)과 DC계수 추 출수단(342), 양자화 스케일 추출수단(343), 필터 결정수단(344), 스위치(345), 파라미터 보정수단(346), 참조영역 파라미터 결정수단(347)을 구비한다. 블록 노이즈 검출수단(340)에는 DCT계수가 역양자화 수단(111)으로부터 입력되고, 양자화 스케일, 매크로블록 부호화 모드, 동 벡터 및 DCT모드가 가변길이 복호화 수단(110)으로부터 입력된다. 또 파라미터 메모리 수단(118)에는 제 5 실시예에서 설명한 방법에 의하여 얻어진, 이미 복호화된 프레임에 대한 블록 노이즈 파라미터가 유지되는 것으로 한다.
DCT패턴 판정수단(341)은 DCT계수 블록과 DCT모드 및 매크로블록 부호화 모드를 수취하여, DCT계수 블록의 각 주파수 성분 분포에 따라 각 블록을 DCT클래스 중 어느 하나로 분류하고, 분류결과를 스위치(345)로 출력한다.
블록의 분류는 제 1 및 제 2 실시예에서 설명한 바와 같이, 도 4와 같은 주파수 분포의 DCT패턴을 이용하여 실행한다. DCT계수 블록의 분류는 인트라 부호화 블록의 경우에는 제 1 실시예와 같은 방법에 의하여 실행하고 각 블록을 DCT클래스(I1, I2, I3)로 분류하는 것으로 한다. 비인트라 부호화 블록의 경우에는 제 2 실시예와 같은 방법으로 실행하고 각 블록을 DCT클래스(N1, N2, N3)로 분류하는 것으로 한다. 또 여기서 결정된 DCT클래스는 제 5 실시예에서 설명한 방법과 같은 방법에 의하여 필드블록별로 할당된다.
DC계수 추출수단(342)에는 DCT계수 블록과 DCT모드가 입력된다. DC계수 추출수단(342)은 DCT계수로부터 DC계수만을 추출하여 스위치(345)로 출력한다. DC계수 추출수단(342)은 DCT패턴 판정수단(341)과 마찬가지로 추출된 DC계수를 필드 블록별로 할당한다.
양자화 스케일 추출수단(343)은 가변길이 복호화 수단(110)이 출력한 부호화 정보로부터 양자화 스케일을 추출하여 스위치(345)로 출력한다. 양자화 스케일 추출수단(343)은 DCT패턴 판정수단(341)과 마찬가지로, 추출된 양자화 스케일을 필드블록별로 할당한다.
스위치(345)는 가변길이 복호화 수단(110)이 출력한 매크로블록 부호화 모드를 이용하여 스위치를 절환한다. 매크로블록 부호화 모드가 인트라 부호화된 경우에는 스위치(345)는 b에 접속된다. 이 경우의 동작은 제 5 실시예와 마찬가지이다. 매크로블록 부호화 모드가 비인트라 부호화된 경우에는 스위치(345)는 a에 접속된다. 따라서 블록 노이즈 파라미터(DCT클래스, DC계수 및 양자화 스케일)는 파라미터 보정수단(346)으로 입력된다.
참조영역 파라미터 결정수단(347)은 가변길이 복호화 수단(110)이 출력한 동 벡터를 이용하여 참조블록의 블록 노이즈 파라미터를 참조하여, 참조영역의 블록 노이즈 파라미터를 구한다. 참조영역 파라미터 결정수단(347)의 상세한 동작에 대하여 이하에서 설명한다.
도 29는 참조영역 블록 노이즈 파라미터의 취득방법에 대한 설명도이다. 참조영역 파라미터 결정수단(347)은 가변길이 복호화 수단(110)이 출력한 동 벡터를 이용하여 파라미터 메모리 수단(118)으로부터 참조 프레임의 블록 노이즈 파라미터를 취득한다. 참조 프레임의 블록 노이즈 파라미터는 필드블록을 단위로 하여 취득한다.
도 29의 (a)는 현재 복호화중의 프레임을 나타낸다. 여기서는 블록(701)에 주목한다. 또 블록(701)의 제 1 필드 화소로 구성되는 필드블록을 701a로 한다. 도 29의 (b)~(f)는 각각 도 29의 (a)를 복호화할 때 참조하는 프레임이며 블록(702~705)은 참조 프레임 내의 블록을 나타낸다. 이하에서는 필드블록(701a)에 대한 참조 프레임의 블록 노이즈 파라미터 취득방법에 대하여 설명한다.
도 29의 (b)는 동 벡터가 프레임모드인 경우의 제 1 예를 설명하는 도면이다. 현재, 블록(701)의 프레임 내 어드레스를 (x, y), 동 벡터를 (MVx, MVy)로 하면 블록(701)은 참조영역(706)을 참조한다. 여기서 참조영역(706)의 제 1 필드 영역을 706a로 하면, 필드블록(701a)이 참조하는 영역은 영역(706a)으로 된다. 또 참조영역(706)의 어드레스는 (x＋MVx, y＋MVy)로 된다. 참조영역 파라미터 결정수단(347)은 참조영역(706)의 어드레스로부터 영역(706a)이 중복된 블록을 검색한다. 도 29의 (b)에서, 영역(706a)은 블록(702~705)의 제 1 필드에 중복된다. 그래서 블록(702~705)의 제 1 필드 화소로 구성되는 필드블록의 블록 노이즈 파라미터 중 DCT클래스를 파라미터 메모리 수단(118)으로부터 취득한다.
도 29의 (c)는 동 벡터가 프레임 모드인 경우의 제 2 예를 설명하는 도면이다. 블록(701)이 참조하는 영역을 참조영역(707)으로 한다. 여기서 참조영역(707)의 제 1 필드 영역을 707a로 하면, 필드블록(701a)이 참조하는 영역은 영역(707a)으로 된다. 참조영역 파라미터 결정수단(347)은 참조영역(707)의 어드레스로부터 영역(707a)이 중복된 블록을 검색한다. 도 29의 (c)에서는 블록(702~705)의 제 2 필드가 중복되어 있다. 그래서 블록(702~705)의 제 2 필드 화소로 구성되는 필드블록의 블록 노이즈 파라미터 중 DCT클래스를 파라미터 메모리 수단(118)으로부터 취득한다.
도 29의 (d)는 동 벡터가 프레임 모드인 경우의 제 3 예를 설명하는 도면이다. 블록(701)이 참조하는 영역을 참조영역(708)으로 한다. 여기서 참조영역(708)의 제 1 필드 영역을 708a로 하면, 필드블록(701a)이 참조하는 영역은 영역(708a)으로 된다. 참조영역 파라미터 결정수단(347)은 참조영역(708)의 어드레스로부터 영역(708a)이 중복된 블록을 검색한다. 도 29의 (d)에서는 수직방향의 동 벡터가 1/2화소 단위의 크기를 가지며, 참조영역(708)의 제 1 필드와 제 2 필드 화소의 평균값이, 참조하는 화소값이 된다. 그래서 참조영역 파라미터 결정수단(347)은 블록(702~705)의 제 1 필드 화소로 구성되는 필드블록 및 제 2 필드 화소로 구성되는 필드블록의 블록 노이즈 파라미터 중 DCT클래스를 파라미터 메모리 수단(118)으로부터 취득한다.
도 29의 (e)는 동 벡터가 필드 모드인 경우의 제 1 예를 설명하는 도면이다. 여기서는 참조할 필드가 제 1 필드인 경우에 대하여 설명한다. 블록(701)이 참조하는 영역을 참조영역(709)으로 한다. 여기서 참조영역(709)의 제 1 필드 영역을 709a로 하면, 필드블록(701a)이 참조하는 영역은 영역(709a)으로 된다. 참조영역 파라미터 결정수단(347)은 참조영역(709)의 어드레스로부터 영역(709a)이 중복된 블록을 검색한다. 현재 참조할 필드는 제 1 필드이므로 참조영역 파라미터 결정수단(347)은 블록(702~705)의 제 1 필드 화소로 구성되는 필드블록의 블록 노이즈 파라미터 중 DCT클래스를 파라미터 메모리 수단(118)으로부터 취득한다.
도 29의 (f)는 동 벡터가 필드 모드인 경우의 제 2 예를 설명하는 도면이다. 여기서는 참조할 필드가 제 2 필드인 경우에 대하여 설명한다. 블록(701)이 참조하는 영역을 참조영역(710)으로 한다. 여기서 참조영역(710)의 제 1 필드 영역을 710a로 하면, 필드블록(701a)이 참조하는 영역은 영역(710a)으로 된다. 참조영역 파라미터 결정수단(347)은 참조영역(710)의 어드레스로부터 영역(710a)이 중복된 블록을 검색한다. 현재 참조할 필드는 제 2 필드이므로 참조영역 파라미터 결정수단(347)은 블록(702~705)의 제 2 필드 화소로 구성되는 필드블록의 블록 노이즈 파라미터 중 DCT클래스를 파라미터 메모리 수단(118)으로부터 취득한다.
이상과 같이 파라미터 메모리 수단(118)으로부터 취득한 DCT클래스를 이용하여 참조영역의 DCT클래스를 구하는 방법은 제 2 실시예에서 설명한 방법과 마찬가지이므로 그 설명은 생략한다.
참조영역 파라미터 결정수단(347)은 이상과 같이 필드블록 단위로 구해진 참조영역의 DCT클래스를 파라미터 보정수단(346)으로 출력한다.
파라미터 보정수단(346)은 스위치(345)를 거쳐 DCT패턴 판정수단(341)과 DC계수 추출수단(342) 및 양자화 스케일 추출수단(343)이 출력한 블록 노이즈 파라미터, 그리고 참조영역 파라미터 결정수단(347)이 출력한 참조영역의 DCT클래스를 입력으로서 수취한다. 그리고 먼저, DCT패턴 판정수단(341)이 결정한 필드블록 단위의 DCT클래스를, 참조영역 파라미터 결정수단(347)이 결정한 DCT클래스를 이용하여 보정한다. 이 보정방법은 제 2 실시예에서 설명한 것과 마찬가지이므로 그 설명은 생략한다. 단, DCT클래스는 필드블록 단위로 보정한다.
파라미터 보정수단(346)은 이상과 같이 하여 결정한 DCT클래스와, DC계수 추출수단(342)이 출력한 DC계수와, 양자화 스케일 추출수단(343)이 출력한 양자화 스케일을, 블록 노이즈 파라미터로서 파라미터 메모리 수단(118)으로 출력한다. 파라미터 메모리 수단(118)은 입력된 블록 노이즈 파라미터를 필드블록 단위로 축적한다.
1 프레임분의 블록에 대한 블록 노이즈 파라미터를 축적하면, 필터 결정수단(344)은 블록 노이즈 파라미터를 참조하면서, 각 필드블록 경계에 실시할 필터처리를 결정한다. 이 때의 동작은 제 5 실시예에서의 필터 결정수단(334) 동작과 마찬가지이다. 여기서, 결정된 필터의 종류는 검출된 블록 노이즈의 크기에 대응한다고 할 수 있다.
블록 노이즈 제거수단(116)은 블록 노이즈 검출수단(340)으로부터 각 필드블록 경계에 실시할 필터처리의 종류를 수취한다. 그리고 프레임 메모리(115)로부터 출력되는 화상의 필드블록 경계에 필터처리를 실시한다. 블록 노이즈 제거수단(116)의 동작은 제 5 실시예에서 설명한 것과 마찬가지이므로 그 설명은 생략한다. 본 실시예에 있어서도, 블록 노이즈 제거수단(116)에서 필터를 이용하는 경우에는 제 5 실시예에서 설명한 필터의 탭 길이 결정방법을 적용할 수 있다.
이상과 같이, 본 실시예의 화상 복호화장치는 압축부호열로부터 얻어지는 DCT계수를 이용하여 각 블록을 복수 DCT클래스로 분류한다. 이 DCT클래스로의 분류는, 각 블록을 필드별로 나눈 필드블록을 단위로 실행한다. 또 비인트라 부호화 블록의 경우는, 먼저 동 벡터를 이용하여 참조 프레임 중의 참조영역을 구한다. 그 후, 참조영역 내에 중복되는 블록의 DCT클래스와 DC계수 및 양자화 스케일을 이용하여, 참조영역의 DCT클래스와 DC계수 및 양자화 스케일을 구하고, 압축부호열로부터 얻어지는 정보를 이용하여 구한 처리대상 블록의 DCT클래스와 DC계수 및 양자화 스케일을 보정한다. 그리고 인접하는 블록에서의 DCT클래스와 DC계수 및 양자화 스케일을 이용하여 그 블록경계에 실시할 필터처리를 결정한다. 여기서 필터의 결정 시에는 소정값 이상의 DCT계수가 더욱 저역만에 분포하는 경우일수록 필터의 강도가 강해지도록 한다.
이와 같은 동작에 따라, 본 실시예의 화상 복호화장치에 의하면, DCT계수의 분포로부터 블록 노이즈가 발생하는 블록경계를 확실하게 검출할 수 있다. 이 때, 비인트라 부호화 블록에 대해서는, 인트라 부호화 블록과는 다른 DCT패턴을 이용함으로써 비인트라 부호화의 특성에 맞는 분류를 행할 수 있다. 또 DC계수 차의 절대값을 검사함으로써 블록 노이즈를 오검출하는 일이 없어진다. 또한 비인트라 부호화 블록에서는, 참조 프레임의 블록 노이즈 파라미터를 이용하여 블록 노이즈 파라미터를 결정하므로, 더욱 높은 정밀도로 블록 노이즈를 검출할 수 있다. 그리고 블록 노이즈의 크기에 따라 강도가 다른 필터를 복수 이용함으로써 화상 흐림을 최소한으로 억제하면서 확실하게 블록 노이즈를 제거할 수 있다. 또 필드블록을 단위로 하여 블록 노이즈의 검출을 하므로, 인터레이스 화상에 대하여 더 정확하게 블록 노이즈를 검출할 수 있다. 또한 필드블록을 단위로 하여 블록 노이즈를 제거하므로, 화상에 악영향을 주는 일없이 블록 노이즈를 제거할 수 있다.
여기서, 본 실시예에서는 파라미터 메모리 수단(118)에 1 프레임분의 블록 노이즈 파라미터가 축적된 시점에서 필터 결정수단(344)이 필터를 결정하는 경우에 대하여 설명했지만, 이는 1 프레임분 축적한 시점이 아니라도 된다.
(제 7 실시예)
제 7 실시예에서는 부호화 노이즈로서 모스키토 노이즈를 검출하고, 제거하는 화상 복호화장치에 대하여 설명한다.
도 30은 제 7 실시예에 관한 화상 복호화장치의 블록도이다. 도 30의 화상 복호화장치는 가변길이 복호화 수단(110)과, 역양자화 수단(111), 역DCT 수단(112), 스위치(113, 114), 프레임 메모리(115), 모스키토 노이즈 제거수단(126), 모스키토 노이즈 검출수단(430), 파라미터 메모리 수단(118), 및 가산수단(119)을 구비한다. 가변길이 복호화 수단(110)과, 역양자화 수단(111), 역DCT 수단(112), 스위치(113, 114), 프레임 메모리(115), 파라미터 메모리 수단(118), 및 가산수단(119)에 대해서는 제 1 실시예와 마찬가지이므로 동일 번호를 부여하고 그 설명을 생략한다. 여기서 모스키토 노이즈 검출수단(430)은 노이즈 검출장치로서 동작한다.
도 31은 모스키토 노이즈 검출수단(430)의 구성을 도시한 블록도이다. 도 31의 모스키토 노이즈 검출수단(430)은 DCT패턴 판정수단(431)과, 양자화 스케일 추출수단(433), 필터 결정수단(434), 스위치(435), 파라미터 보정수단(436), 참조영역 파라미터 결정수단(437)을 구비한다. 블록 노이즈 검출수단(430)에는 DCT계수가 역양자화 수단(111)으로부터 입력되고, 양자화 스케일과 매크로블록 부호화 모드 및 동 벡터가 가변길이 복호화 수단(110)으로부터 입력된다.
우선 입력블록이 인트라 부호화 블록인 경우의 동작에 대하여 설명한다.
DCT패턴 판정수단(431)은 역양자화 수단(111)으로부터 DCT계수 블록을 수취한다. DCT패턴 판정수단(431)은 DCT계수 블록의 각 주파수 성분 분포에 따라 각 블록을 m개(m은 자연수)의 클래스 {M1, M2, …, Mm}중 어느 하나로 분류한다. 여기서 클래스(M1)는 모스키토 노이즈가 가장 발생하기 어려운 클래스이고, 클래스(Mm)는 모스키토 노이즈가 가장 발생하기 쉬운 클래스인 것으로 한다.
도 32는 블록분류에 이용하는 DCT패턴의 설명도이다. 도 32의 (a)~(d)는 각각 8×8의 DCT계수 블록의 패턴을 나타낸 것으로, 1개의 정방형이 1계수에 대응한다. 왼쪽 위의 계수가 DC계수를 나타내며 오른쪽일수록 높은 수평주파수 성분, 아래쪽일수록 높은 수직주파수 성분을 나타낸다.
DCT패턴 판정수단(431)은 제 1 실시예에서 설명한 DCT패턴 판정수단(131)과 마찬가지로, 입력된 DCT계수 블록이 DCT패턴을 만족시키는지의 여부를 판정한다.
DCT패턴 판정수단(431)은 입력된 블록이 매크로블록 부호화 모드에 따라 판단하여 인트라 부호화 블록이면, 도 32 (a)의 DCT패턴(PTN11) 및 도 32 (b)의 DCT패턴(PTN12)을 이용한다. 여기서 모스키토 노이즈는 고역의 DCT계수를 갖는 경우일수록 발생하기 쉬우므로, DCT패턴(PTN12)을 만족시키는 블록이, DCT패턴(PTN11)을 만족시키는 블록보다 모스키토 노이즈를 발생시키기 쉽다고 할 수 있다.
도 33은 블록을 분류하는 처리의 흐름도이다. 도 33은 DCT패턴(PTN11)과 DCT패턴(PTN12)을 이용하여 각 블록을 3개의 클래스{M1, M2, M3} 중 어느 하나로 분류하는 경우를 나타낸다. 도 33에 나타내는 바와 같이 입력 DCT계수 블록은 먼 저, 단계(S71)에서 DCT패턴(PTN11)과 비교된다. 입력 DCT계수 블록이 DCT패턴(PTN11)을 만족시키지 않으면, 즉 도 32 (a)의 사선부분 계수의 절대값이 모두 소정값 이하이면 그 블록을 DCT클래스(M1)로 분류한다(단계(S73)). 입력 DCT계수 블록이 DCT패턴(PTN11)을 만족시키면, 다음 단계(S72)에서 DCT계수 블록과 DCT패턴(PTN12)을 비교한다. 입력 DCT계수 블록이 DCT패턴(PTN12)을 만족시키지 않으면, 그 블록을 DCT클래스(M2)로 분류한다(단계(S74)). 입력 DCT계수 블록이 DCT패턴(PTN12)을 만족시키면, 그 블록을 DCT클래스(M3)로 분류한다(단계(S75)). 이상과 같이 하여 DCT패턴 판정수단(431)에서는 각 블록을 3개의 클래스{M1, M2, M3}중 어느 하나로 분류하고, 그 분류결과를 출력한다.
양자화 스케일 추출수단(433)에서는 가변길이 복호화 수단(110)이 출력한 부호화 정보로부터 양자화 스케일을 추출하여 출력한다.
여기서는 DCT패턴 판정수단(431)이 출력한 DCT클래스와 양자화 스케일 추출수단(433)이 출력한 양자화 스케일을 함께 하여 노이즈 파라미터라 칭하기로 한다. 매크로블록 부호화 모드가 인트라 부호화된 경우에는 스위치(435)는 b에 접속된다. 따라서 노이즈 파라미터는 파라미터 메모리 수단(118)으로 출력된다. 파라미터 메모리 수단(118)은 입력된 노이즈 파라미터를 축적한다.
상기와 같은 동작을 각 매크로블록별로 행함으로써, 각 블록에 대한 노이즈 파라미터가 파라미터 메모리 수단(118)에 축적되게 된다.
다음으로 입력블록이 비인트라 부호화 블록인 경우의 동작에 대하여 설명한다. 여기서 파라미터 메모리 수단(118)에는 본 실시예에서 설명한 방법에 의하여 얻어진, 이미 복호화된 참조 프레임에 대한 노이즈 파라미터가 유지되는 것으로 한다.
DCT패턴 판정수단(431)은 역양자화 수단(111)으로부터 DCT계수 블록을 수취한다. DCT패턴 판정수단(431)에서는 DCT계수 블록의 각 주파수 성분 분포에 따라 각 블록을 분류한다.
DCT패턴 판정수단(431)은 매크로블록 부호화 모드로부터 판단하여, 입력된 블록이 비인트라 부호화 블록이면 도 32 (c)의 DCT패턴(PTN13) 및 도 32 (d)의 DCT패턴(PTN14)을 이용한다.
도 34는 비 인트라 부호화된 블록을 분류하는 처리를 나타낸 흐름도이다. 도 34는 두 DCT패턴(PTN13, PTN14)을 이용하여 각 블록을 3개의 클래스{M1, M2, M3}중 어느 하나로 분류하는 경우를 나타낸다. 도 34에 나타내는 바와 같이 입력 DCT블록은 먼저, 단계(S81)에서 DCT패턴(PTN13)과 비교된다. 입력 DCT블록이 DCT패턴(PTN13)을 만족시키지 않으면, 그 블록을 DCT클래스(M1)로 분류한다(단계(S83)). 입력 DCT블록이 DCT패턴(PTN13)을 만족시키면, 다음 단계(S82)에서 DCT패턴(PTN14)과 비교한다. 입력 DCT블록이 DCT패턴(PTN14)을 만족시키지 않으면, 그 블록을 DCT클래스(M2)로 분류한다(단계(S84)). 입력 DCT블록이 DCT패턴(PTN14)을 만족시키면, 그 블록을 DCT클래스(M3)로 분류한다(단계(S85)). 이상과 같이 하여 DCT패턴 판정수단(431)에서는 각 블록을 3개의 DCT클래스{M1, M2, M3}중 어느 하나로 분류하고, 그 분류결과를 출력한다.
양자화 스케일 추출수단(433)은 가변길이 복호화 수단(110)이 출력한 부호화 정보로부터 양자화 스케일을 추출하여 출력한다
DCT패턴 판정수단(431)이 출력한 DCT클래스와 양자화 스케일 추출수단(433)이 출력한 양자화 스케일은 스위치(435)에 출력된다.
스위치(435)는 가변길이 복호화 수단(110)이 출력한 매크로블록 부호화 모드가 비인트라 부호화된 경우에는 스위치를 a에 접속한다. 따라서 노이즈 파라미터는 파라미터 보정수단(436)으로 입력된다.
참조영역 파라미터 결정수단(437)은 가변길이 복호화 수단(110)이 출력한 동 벡터를 이용하여 노이즈 제거를 실행하는 처리대상 블록의 참조영역을 구하고, 이 참조영역과 중복된 참조블록의 노이즈 파라미터를 참조하여, 참조영역의 노이즈 파라미터를 결정한다.
참조영역 파라미터 결정수단(437)은 참조블록의 노이즈 파라미터를 취득하는데, 이에 대해서는 도 12를 이용하여 설명한 바와 같이 참조영역 파라미터 결정수단(147)에 따른 참조블록(522~525)의 블록 노이즈 파라미터의 취득과 마찬가지이므로 그 설명을 생략한다.
참조영역 파라미터 결정수단(437)이 취득한 노이즈 파라미터로부터 참조영역 노이즈 파라미터를 구하는 방법에 대하여 설명한다.
우선, 참조영역의 노이즈 파라미터 중 DCT클래스(M1~M3)를 구하는 방법에 대해서는 제 2 실시예에서 설명한 바와 같이 참조영역(526)의 DCT클래스(I1~I3)를 구하는 방법과 마찬가지이므로 그 설명을 생략한다.
다음으로 참조영역의 노이즈 파라미터 중, 양자화 스케일을 구하는 방법에 대하여 도 12를 참조하여 설명한다.
참조영역(526)의 양자화 스케일을 구하는 방법으로는 참조블록(522~525)의 양자화 스케일을, 참조영역(526)과 각 참조블록이 중복된 부분의 화소수로 하중평균하여 얻어진 값을 참조영역(526)의 양자화 스케일로 하는 방법이 있다.
또 참조영역(526)의 양자화 스케일을 구하는 다른 방법으로는, 참조블록(522~525) 양자화 스케일의 최소값 또는 최대값을 구하는 방법이 있다.
또한 참조영역(526)의 양자화 스케일을 구하는 또 다른 방법으로는 DCT클래스가 소정 클래스인 참조블록에 있어서 양자화 스케일의 최소값, 최대값, 또는 평균값을 구하는 방법이 있다. 예를 들어 DCT클래스가 M2 또는 M3인 참조블록의 양자화 스케일에 기초하여 참조영역(526)의 양자화 스케일을 구할 수 있다.
참조영역 파라미터 결정수단(437)은 이상과 같이 하여 구해진 참조영역의 노이즈 파라미터를 파라미터 보정수단(436)으로 출력한다.
파라미터 보정수단(436)에서는 스위치(435)를 거쳐 DCT패턴 판정수단(431) 및 양자화 스케일 추출수단(433)이 출력한 노이즈 파라미터와, 참조영역 파라미터 결정수단(437)이 출력한 참조영역의 노이즈 파라미터를 입력으로 수취한다. 그리고 먼저, DCT패턴 판정수단(431)이 결정한 DCT클래스를 참조영역 파라미터 결정수단(437)이 결정한 DCT클래스를 이용하여 보정한다. 이 보정방법의 예를 다음의 표 4에 나타낸다.
Figure 112000017829089-pat00048
표 4에 나타난 보정방법에서는 DCT패턴 판정수단(431)이 결정한 DCT클래스와 참조영역 파라미터 결정수단(437)이 결정한 DCT클래스 중 모스키토 노이즈가 발생하기 쉬운 쪽을 선택하는 것을 나타낸다.
또 다른 보정방법의 예를 다음의 표 5에 나타낸다.
Figure 112000017829089-pat00049
표 5에 나타내는 보정방법에서는 DCT패턴 판정수단(431)이 결정한 DCT클래스와 참조영역 파라미터 결정수단(437)이 결정한 DCT클래스를 평균한 DCT클래스를 선 택하는 것을 나타낸다.
다음으로 양자화 스케일 추출수단(433)이 추출한 양자화 스케일을, 참조영역 파라미터 결정수단(437)이 결정한 양자화 스케일을 이용하여 보정한다. 이 보정방법의 예로는 양자화 스케일 추출수단(433)이 출력한 양자화 스케일과, 참조영역 파라미터 결정수단(437)이 결정한 양자화 스케일 중 작은쪽 값을 선택하는 방법이 있다. 또 양쪽의 평균값이나 최대값을 구해도 된다.
또 양자화 스케일을 보정하는 다른 방법으로는, 참조영역의 DCT클래스에 따라, 보정 여부를 결정하는 방법도 있다. 예를 들어 참조영역의 DCT클래스가 M1인 경우에는, 보정은 하지 않고 양자화 스케일 추출수단(433)이 추출한 양자화 스케일을 그대로 출력하고, 참조영역의 DCT클래스가 M2, M3인 경우에는, 상기의 방법으로 양자화 스케일을 보정하고 보정 후 값을 출력한다.
파라미터 보정수단(436)은 이상과 같이 보정된 노이즈 파라미터를 파라미터 메모리 수단(118)으로 출력한다. 파라미터 메모리 수단(118)은 입력된 노이즈 파라미터를 축적한다.
다음으로, 필터 결정수단(434)의 동작에 대하여 설명한다. 필터 결정수단(434)은 인트라 부호화 블록과 비인트라 부호화 블록에서 마찬가지 동작을 한다.
필터 결정수단(434)은 각 블록에 실시하는 필터의 종류를 노이즈 파라미터 중 DCT클래스를 참조하여 결정한다. 필터 종류의 결정은 다음의 표 6에 따라 실행된다.
Figure 112000017829089-pat00050
표 6에서는 필터가 F1, F2, F3의 3 종류인 경우의 결정방법 예를 나타낸다. 여기서 필터의 강도(모스키토 노이즈를 제거하는 능력)는 F1이 가장 약하고 F3이 가장 강한 것으로 한다. 그리고 필터 결정수단(434)이 결정한 필터의 종류는 모스키토 노이즈 제거수단(126)으로 출력된다. 여기서, 결정된 필터의 종류는 검출된 모스키토 노이즈의 크기에 대응한다고 할 수 있다.
모스키토 노이즈 제거수단(126)은 모스키토 노이즈 검출수단(430)으로부터 각 화소블록에 실시하는 필터의 종류를 수취한다. 그리고 프레임 메모리(115)에서 출력되는 화상에 필터처리를 실시한다. 모스키토 노이즈 제거수단(126)의 동작예를 이하에서 설명한다.
도 35는 필터처리에 이용하는 화소의 예에 대한 설명도이다. 1개의 정방형이 1 화소에 상당하는 것으로 한다. 필터 결정수단(434)이 화소블록(544)에 필터(F2)처리를 실시하는 것으로 결정한 것으로 한다. 이 경우, 블록(544)의 모든 화소에 대하여 필터처리를 실시한다.
현재, 화소(d)에 필터처리를 실시하는 경우를 생각한다. 이 경우, 먼저 화소(d)로부터 상하좌우로 향하여 에지화소가 되는 화소를 검출한다. 에지화소의 검출은 화소(d)와 다른 화소간에서 화소값 차분값의 절대값을 구하고, 이 절대값이 소정값보다 크면 에지화소로 검출함으로써 실행된다. 소정값으로는 각 블록의 노이즈 파라미터인 양자화 스케일에, 미리 정한 계수를 곱한 값을 이용할 수 있다. 예를 들어 화소(d)로부터 왼쪽으로 향하여 에지화소를 검출하는 경우, 화소(d)와 화소(c, b, a)간에서 차분값의 절대값을 구하고, 소정값과 비교한다. 마찬가지로 하여 화소(d)로부터 위로 향하여 화소(j, i, h), 아래로 향하여 화소(k, l, m), 오른쪽으로 향하여 화소(e, f, g)에 대하여 에지검출을 행한다.
이와 같이 하여 검출된 에지화소가 a, b, f, i인 것으로 한다. 이 경우 에지화소 이외의 화소(c, d, e, g, h, j, k, l, m)를 이용하여 화소(d)에 필터처리를 실시한다. 필터의 종류로서는 예를 들어 저역통과형 필터를 사용할 수 있다.
도 36은 모스키토 노이즈를 제거하는 필터처리의 예에 대한 설명도이다. 여기서는 도 36의 (a)의 화소(d)에 대하여 화소(a~g)를 이용하여 필터처리를 실시하는 경우에 대하여 설명하기로 한다.
도 36의 (b)는 화소(a~g)의 화소값을 나타낸다. 여기서는 화소(a~g) 중 화소(d) 화소값과의 차분 절대값이 소정값 이하의 화소, 즉 도 36의 (b)에서 화소(d)에 관한 임계값을 나타내는 2개의 선 사이에 있는 화소만을 이용하여 필터처리를 실시한다. 따라서 도 36의 (c)에서 검은 점으로 나타난 화소(a, b, f)는 이용하지 않고, 흰 점으로 나타난 화소(c, d, e, g)만을 이용하여 화소(d)에 대한 필터처리 를 실시한다. 여기서 검은 점으로 나타난 화소(a, b, f)는 에지화소이다.
도 36의 (d)는 필터처리후의 화소(d)를 나타낸다. 도 36의 (e)는 마찬가지로 하여, 다른 화소에도 필터처리를 실시한 후의 각 화소값을 나타낸다. 여기서는 동일선 상의 화소를 이용하여 필터처리를 실시하는 경우에 대하여 설명했지만, 도 35와 같이 동일선 상에 없는 화소를 이용하는 경우도 마찬가지이다.
또 필터처리에 이용하는 화소로서, 화소(d)에서 보아 에지화소 내부에 있는 화소(에지화소보다 가까운 화소)만을 이용하여도 된다. 이 경우에는 화소(c, d, e, j, k, l, m)를 이용하여 화소(d)에 필터처리를 실시하게 된다.
또 에지화소인 화소(a, b, f, i)에 대해서는 화소값을 화소(d)의 화소값과 치환하고, 화소(a~m)를 이용하여 화소(d)에 필터처리를 실시하여도 된다.
또한 필터 결정수단(434)이 화소블록(544)에 필터처리(F3)를 실시하는 것으로 결정한 경우에는, 필터처리(F2)보다 강도가 강한 필터처리를 실시한다. 이는 예를 들어 도 35에서 화소(d)에 필터처리를 실시하는 경우, 화소(a)보다 더욱 왼쪽의 화소, 화소(h)보다 더욱 위쪽의 화소, 화소(g)보다 더욱 오른쪽의 화소, 화소(m)보다 더욱 아래쪽의 화소라는 식으로, 더 넓은 범위의 화소를 이용함으로써 실현할 수 있다. 또는 이용하는 화소는 필터처리(F2)의 경우와 마찬가지로 하여, 차단 주파수가 더 낮아지도록 필터 계수를 설정한 저역통과 필터처리를 실시하여도 된다.
그리고 필터 결정수단(434)이 화소블록(544)에 가장 약한 필터인 필터(F1)를 실시하는 것으로 결정한 경우, 화소블록(544)에는 필터처리를 실시하지 않거나 또 는 필터(F2)보다 강도가 약한 필터처리를 실시한다.
도 37은 필터처리에 이용하는 화소의 다른 예에 대한 설명도이다. 필터처리에 이용하는 화소는 도 35에서 설며한 것 이외에 도 37에 도시한 것이라도 된다. 즉 도 37에서 화소(m)에 대하여 필터처리를 실시하는 경우, 화소(a~y)를 이용하여 도 35의 경우와 마찬가지로 필터처리를 실시한다.
또 에지 검출에서의 화소 차분값의 절대값과 비교하는 소정값으로서는, 양자화 파라미터를 이용하지 않고 고정값으로 할 수도 있다. 에지 검출 시에 양자화 스케일을 이용하지 않는 경우에는, 양자화 스케일 추출수단(433), 파라미터 보정수단(436), 참조영역 파라미터 결정수단(437), 및 파라미터 메모리 수단(118)에서는 양자화 스케일을 취할 필요가 없다. 즉 이 경우, 노이즈 파라미터는 DCT클래스만으로 된다.
이상과 같이 본 실시예의 화상 복호화장치에서는, 인트라 부호화된 블록에 대해서는 압축부호열로부터 얻어지는 DCT계수를 이용하여, 각 블록을 복수의 DCT클래스로 분류한다. 또 비인트라 부호화된 블록의 경우는, 먼저 동 벡터를 이용하여 참조 프레임 중의 참조영역을 구한다. 그 후 참조영역에 중복되는 블록의 DCT클래스와 양자화 스케일을 이용하여, 참조영역의 DCT클래스와 양자화 스케일을 구하고, 압축부호열로부터 얻어지는 정보에 의하여 구한 처리대상 블록의 DCT클래스와 양자화 스케일을 보정한다. 그리고 각 블록에서의 DCT클래스를 이용하여 그 블록에 실시할 필터처리를 결정한다. 여기서 필터 결정 시에는, 소정값 이상의 DCT계수가 고역으로 분포하는 경우일수록 필터 강도가 강해지도록 한다. 그리고 결정한 필터 에 기초하여, 복호화 후 화상의 각 블록에 필터처리를 실시한다. 필터처리를 실시하는 경우, 각 블록의 양자화 스케일 또는 소정의 고정값을 임계값으로 이용하여 에지 검출을 실행하고, 적어도 에지화소를 제외하고 필터처리를 실시하여 모스키토 노이즈를 제거한다.
이와 같이 본 실시예의 화상 복호화장치에 의하면, 각 블록의 DCT계수 분포에 따라 모스키토 노이즈가 발생하는 블록 및 모스키토 노이즈의 크기를 확실하게 검출할 수 있다. 이 때 비인트라 부호화된 블록에 대해서는 인트라 부호화된 블록과는 다른 DCT패턴을 사용함으로써, 비인트라 부호화의 특성에 맞는 분류를 실시할 수 있다. 또 비인트라 부호화된 블록에 대해서는 DCT계수로부터 얻어지는 차분 화상에 대한 노이즈 파라미터를 참조영역의 노이즈 파라미터를 이용하여 보정함으로써, 비인트라 부호화된 블록이라도 높은 정밀도로 복호화 화상의 노이즈 파라미터를 결정하고, 모스키토 노이즈의 크기를 결정할 수 있다. 또 참조영역의 노이즈 파라미터는, 참조영역에 중복되는 블록의 노이즈 파라미터를 이용하여 구함으로써 높은 정밀도의 노이즈 파라미터를 얻을 수 있다.
그리고 모스키토 노이즈의 크기에 따라서, 강도가 다른 필터를 복수 이용함으로써, 또 에지 검출을 실시하여 에지화소를 이용하지 않고 필터처리를 실시함으로써 화상의, 특히 에지부분의 흐림을 최소한으로 억제하면서 확실하게 모스키토 노이즈를 제거할 수 있다. 또 에지화소의 검출에 대한 임계값으로서 각 블록의 양자화 스케일을 이용함으로써, 각 블록별로 적절하게 임계값을 변경할 수 있으며 더 높은 정밀도로 에지검출을 할 수 있다. 이에 따라, 특히 에지 부분의 흐림을 최소 한으로 억제하면서 더욱 확실하게 모스키토 노이즈를 제거할 수 있다.
여기서 본 실시예에서는, 인트라 부호화 블록에 대해서는 DCT패턴으로서 도 32의 (a) 및 (b)의 2개를 이용하여 3개의 DCT클래스로 분류하고, 비인트라 부호화 블록에 대해서는 DCT패턴으로서 도 32의 (c) 및 (d)의 2개를 이용하여 3개의 DCT클래스로 분류하는 경우에 대하여 설명했지만, DCT패턴은 2개에 한정되지 않고 DCT클래스 수도 3개에 한정되지 않는다. 또 DCT패턴의 주파수 분포는 도 32의 (a)~(d)의 분포에 한정되지 않는다. 그리고 인트라 부호화 블록과 비인트라 부호화 블록에서 같은 DCT패턴을 이용하여도 된다.
또 본 실시예에서는 모스키토 노이즈 제거수단(126)에서 이용하는 필터의 종류를 3 가지로 했지만, 이는 몇 가지라도 상관없다.
또 본 실시예에서는 모스키토 노이즈 제거수단(126)에서 이용하는 필터가 저역통과 필터인 경우에 대하여 설명했지만, 이는 모스키토 노이즈를 제거하는 필터라면 다른 필터, 예를 들어 메디안 필터 등이라도 된다. 또 필터처리에 이용하는 화소의 위치는 도 35 또는 도 37의 예에 한정되지 않는다.
그리고 본 실시예에서는 참조영역 파라미터 결정수단(437)에서의 참조영역의 노이즈 파라미터 결정방법에 대하여 몇 가지 예를 들었지만, 이 결정방법은 본 실시예에서 설명한 방법에 한정되지 않는다.
또 본 실시예에서는 파라미터 보정수단(436)에서의 노이즈 파라미터 보정방법으로서 표 4와 표 5를 이용한 경우에 대하여 설명했지만, 보정방법은 표 4와 표 5의 방법에 한정되지 않는다.
또한 본 실시예에서는 참조영역 파라미터 결정수단(437)과 파라미터 보정수단(436)을 이용하여 DCT클래스와 양자화 스케일을 보정하는 방법을 설명했지만, 어느 한쪽의 파라미터는 보정하지 않는 것으로 하여도 된다.
또 본 실시예에서는 모스키토 노이즈 제거수단(126)에서 에지 검출을 실시하는 방법으로서, 예를 들어 도 35의 화소(d)에 필터처리를 실시하는 경우 화소(d)와 다른 화소의 차분값을 이용하는 방법에 대하여 설명하였다. 그러나 에지 검출방법은 이 방법에 한정되지 않고, 예를 들어 인접화소의 차분값을 이용하여 에지를 검출하는 방법이라도 상관없다.
(제 8 실시예)
제 8 실시예에서는 인터레이스(비월주사) 화상이 부호화된 압축부호열을 복호화하는 경우, 부호화 노이즈로서 모스키토 노이즈를 검출하고, 제거하는 화상 복호화장치에 대하여 설명하기로 한다.
제 8 실시예에 관한 화상 복호화장치는, 도 30의 화상 복호화장치에서 모스키토 노이즈 검출수단(430) 대신에 모스키토 노이즈 검출수단(440)을 이용한 것이다. 가변길이 복호화 수단(110)과, 역양자화 수단(111), 역DCT 수단(112), 스위치(113, 114), 프레임 메모리(115), 파라미터 메모리 수단(118), 가산수단(119)에 대해서는 제 1 실시예와 마찬가지이므로 동일 번호를 부여하고 그 설명을 생략한다. 여기서 모스키토 노이즈 검출수단(440)은 노이즈 검출장치로서 동작한다.
도 38은 제 8 실시예에 관한 모스키토 노이즈 검출수단의 구성을 나타내는 블록도이다. 도 38의 모스키토 노이즈 검출수단(440)은 DCT패턴 판정수단(441)과, 양자화 스케일 추출수단(443), 필터 결정수단(444), 스위치(445), 파라미터 보정수단(446), 참조영역 파라미터 결정수단(447)을 구비한다. 모스키토 노이즈 검출수단(440)에는 DCT계수가 역양자화 수단(111)으로부터 입력되고, 양자화 스케일과 매크로블록 부호화 모드 및 동 벡터가 가변길이 복호화 수단(110)으로부터 입력된다.
DCT패턴 판정수단(441)은 역양자화 수단(111)으로부터 DCT계수 블록을, 가변길이 복호화 수단(110)으로부터 DCT모드를 입력으로서 수취한다. DCT패턴 판정수단(441)에서는 DCT계수 블록의 각 주파수 성분의 분포에 따라, 각 DCT계수 블록을 분류한다. DCT계수 블록의 분류는 제 7 실시예와 마찬가지 방법으로 실시하며, DCT계수 블록을 DCT클래스(M1, M2, M3)로 분류하는 것으로 한다.
여기서 결정된 각 블록의 DCT클래스는 블록 내 필드별로 할당된다. 이는 도 24와 도 25에서 설명한 것과 마찬가지이다. DCT모드가 필드모드인 경우에는 도 24에서 설명한 바와 같이, 예를 들어 DCT블록(601)에 대한 DCT클래스는 필드블록(609, 611)에 대하여 할당된다. DCT모드가 프레임모드인 경우에는 도 25에서 설명한 바와 같이, 예를 들어 DCT블록(651)에 대한 DCT클래스는 필드블록(659, 660)에 대하여 할당된다.
양자화 스케일 추출수단(443)은 가변길이 복호화 수단(110)이 출력한 부호화 정보로부터 양자화 스케일을 추출하여 출력한다. 양자화 스케일은 DCT패턴 판정수단(441)과 마찬가지로 필드블록별로 할당된다.
스위치(445)는 가변길이 복호화 수단(110)이 출력한 매크로블록 부호화 모 드를 사용하여 스위치를 절환한다. 매크로블록 부호화 모드가 인트라 부호화된 경우에는 스위치(445)는 b에 접속된다. 이 경우 DCT패턴 판정수단(441)이 출력한 DCT클래스 및 양자화 스케일 추출수단(443)이 출력한 양자화 스케일, 즉 노이즈 파라미터는, 필드블록단위로 파라미터 메모리 수단(118)으로 출력된다. 또 매크로블록 부호화 모드가 비인트라 부호화된 경우에는, 스위치(445)는 a에 접속된다. 이 경우 노이즈 파라미터는 파라미터 보정수단(446)으로 입력된다.
참조영역 파라미터 결정수단(447)은, 매크로블록 부호화 모드가 비인트라 부호화된 경우에는 참조블록의 노이즈 파라미터를 참조하여, 참조영역의 노이즈 파라미터를 구한다.
참조영역 파라미터 결정수단(447)은 가변길이 복호화 수단(110)이 출력한 동 벡터를 이용하여, 파라미터 메모리 수단(118)으로부터 필드블록을 단위로 하여 참조 프레임의 노이즈 파라미터를 취득한다. 참조 프레임의 노이즈 파라미터 취득에 대해서는, 제 6 실시예에서 도 29를 이용하여 설명한 것과 마찬가지이므로 그 설명을 생략한다.
또 파라미터 메모리 수단(118)으로부터 취득한 DCT클래스와 양자화 스케일을 이용하여 참조영역의 DCT클래스와 양자화 스케일을 구하는 방법은 제 7 실시예에서 설명한 방법과 마찬가지이므로 그 설명을 생략한다.
참조영역 파라미터 결정수단(447)은, 이상과 같이 필드블록 단위로 구해진 참조영역의 노이즈 파라미터를 파라미터 보정수단(446)으로 출력한다.
파라미터 보정수단(446)은 스위치(445)를 거쳐 DCT패턴 판정수단(441)과 양 자화 스케일 추출수단(443)이 출력한 노이즈 파라미터를, 참조영역 파라미터 결정수단(447)이 출력한 참조영역의 노이즈 파라미터에 의하여 보정한다. 노이즈 파라미터의 보정방법은 제 7 실시예와 마찬가지이므로 그 설명을 생략한다. 파라미터 보정수단(446)은 보정된 노이즈 파라미터를 파라미터 메모리 수단(118)으로 출력한다. 파라미터 메모리 수단(118)에서는 입력된 노이즈 파라미터를 필드블록 단위로 축적한다.
다음으로 필터 결정수단(444)의 동작에 대하여 설명하기로 한다. 필터 결정수단(444)의 동작은 인트라 부호화 블록과 비인트라 부호화 블록에서 서로 같다. 필터 결정수단(444)은 각 필드블록에 실시하는 필터의 종류를, 노이즈 파라미터 중 DCT클래스를 참조하여 결정한다. 필터 종류의 결정은 제 7 실시예와 마찬가지로 표 6에 따라 실시한다. 그리고 필터 결정수단(444)이 결정한 각 필드블록별 필터 종류는 모스키토 노이즈 제거수단(126)으로 출력된다. 여기서, 결정된 필터의 종류는 검출된 모스키토 노이즈의 크기에 대응한다고 할 수 있다.
모스키토 노이즈 제거수단(126)은 모스키토 노이즈 검출수단(440)으로부터 각 블록경계에 실시하는 필터처리의 종류를 수취한다. 그리고 프레임 메모리(115)로부터 출력되는 화상의 블록경계에 필터처리를 실시한다. 모스키토 노이즈 제거수단(126)의 필터처리의 동작 예를 이하에 설명하기로 한다.
도 39는 필터처리에 이용하는 화소의 예에 대한 설명도이다. 1개의 정방형이 1 화소에 상당하는 것으로 한다. 현재 필터 결정수단(444)이 화소블록(594)에 대하여 필터처리(F2)를 실시한다고 결정한 것으로 한다. 이 경우 블록(594)의 모 든 화소에 대하여 필터처리를 실시한다.
여기서 화소(d)에 필터처리를 실시하는 경우를 생각한다. 이 경우, 먼저 화소(d)로부터 동일 필드 내의 화소에 대하여 상하좌우로 향하여 에지화소를 검출한다. 현재, 화소(d)는 제 1 필드의 화소이므로, 제 1 필드의 화소를 이용하여 에지 검출을 실시한다. 에지화소의 검출은, 화소(d)와 다른 화소의 화소 차분값의 절대값이 소정값보다 크면 에지로서 검출함으로써 실시한다. 소정값으로서는 각 블록의 노이즈 파라미터인 양자화 스케일에 계수를 곱한 값을 사용할 수 있다.
예를 들어 화소(d)로부터 왼쪽으로 향하여 에지화소를 검출하는 경우, 화소(d)와 화소(c, b, a) 차분값의 절대값을 구하여 소정값과 비교한다. 마찬가지로 화소(d)로부터 위로 향하여 화소(j, i, h), 아래로 향하여 화소(k, l, m), 오른쪽으로 향하여 화소(e, f, g)에 대하여 에지검출을 실행한다.
이와 같이 하여 검출된 에지화소가 a, b, f, i인 것으로 한다. 이 경우 에지화소 이외의 화소(c, d, e, g, h, j, k, l, m)를 이용하여 화소(d)에 필터처리를 실시한다. 즉 제 1 필드의 화소만을 이용하여 화소(d)에 필터처리를 실시한다. 필터의 종류로서는 예를 들어 저역통과형 필터를 사용할 수 있다.
또 화소(d')에 필터처리를 실시하는 경우를 생각한다. 이 경우 화소(d')는 제 2 필드의 화소이므로, 제 2 필드의 화소를 이용하여 에지검출을 실행한다. 즉 화소(d')에 대하여 화소(a'~m')를 이용하여 에지화소의 검출을 실시한다. 에지화소의 검출방법은 상기의 방법과 마찬가지이다.
이와 같이 하여 검출된 에지화소가 a', b', f', i'인 것으로 한다. 이 경우 에지화소 이외의 화소(c', d', e', g', h', j', k', l', m')를 이용하여 화소(d')에 필터처리를 실시한다. 즉 제 2 필드의 화소만을 이용하여 화소(d')에 필터처리를 실시한다. 필터의 종류로서는 제 1 필드의 경우와 마찬가지로, 예를 들어 저역통과형 필터를 사용할 수 있다.
또 필터처리에 이용하는 화소로서, 화소(d, d')에서 보아서 에지화소 내부에 있는 화소(에지화소보다 가까운 화소)만을 이용하여도 된다. 이 경우는 예를 들어 화소(d)에 대해서는 화소(c, d, e, j, k, l, m)를 이용하여 화소(d)에 필터처리를 실시하게 된다.
또한 필터 결정수단(444)이 화소블록(594)에 필터처리(F3)를 실시하는 것으로 결정한 경우에는, 필터처리(F2)보다 강도가 강한 필터처리를 실시한다. 이는 예를 들어 도 39에서 화소(d)에 필터처리를 실시하는 경우에, 화소(a)보다 더욱 왼쪽의 화소, 화소(h)보다 더욱 위쪽의 화소, 화소(g)보다 더욱 오른쪽의 화소, 화소(m)보다 더욱 아래쪽의 화소라는 식으로, 더 넓은 범위의 동일 필드 내 화소를 이용함으로써 실현할 수 있다. 또는 이용하는 화소는 필터처리(F2)의 경우와 마찬가지로 하여, 차단 주파수가 더 낮아지도록 필터 계수를 설정한 저역통과 필터처리를 실시하여도 된다.
그리고 필터 결정수단(444)이 화소블록(594)에 가장 약한 필터인 필터처리(F1)를 실시하는 것으로 결정한 경우, 화소블록(594)에는 필터처리를 실시하지 않거나 또는 필터처리(F2)보다 강도가 약한 필터처리를 실시한다.
도 40은 필터처리에 이용하는 화소의 다른 예에 대한 설명도이다. 필터처리 에 이용하는 화소는 도 39에서 설명한 것 이외에 도 40에 도시한 것이라도 된다. 즉 도 40에서 화소(m)에 대하여 필터처리를 실시하는 경우 화소(a~y)를 이용하여, 화소(m')에 대하여 필터처리를 실시하는 경우 화소(a'~y')를 이용하여 도 39의 경우와 마찬가지로 필터처리를 실시한다.
또 에지검출에서의 화소 차분값의 절대값과 비교하는 소정값으로서는, 양자화 파라미터를 이용하지 않고 고정값으로 할 수도 있다. 에지검출 시에 양자화 스케일을 이용하지 않는 경우에는, 양자화 스케일 추출수단(443), 파라미터 보정수단(446), 참조영역 파라미터 결정수단(447), 및 파라미터 메모리 수단(118)에서 양자화 스케일을 취할 필요가 없다. 즉 이 경우, 노이즈 파라미터는 DCT클래스만으로 된다.
이상과 같이 하여 모스키토 노이즈 제거수단(126)에서 필터처리가 실시된 프레임은 출력화상으로서 출력된다.
이상과 같이 본 실시예의 화상 복호화장치에서는, 인트라 부호화 블록에 대해서는 압축부호열로부터 얻어지는 DCT계수를 이용하여, 각 블록을 복수의 DCT클래스로 분류한다. 이 DCT클래스의 분류는, 각 블록을 필드별로 나눈 필드블록을 단위로 실행한다. 또 비인트라 부호화 블록의 경우는, 먼저 동 벡터를 이용하여 참조 프레임 중의 참조영역을 구한다. 그 후, 참조영역에 중복되는 블록의 DCT클래스와 양자화 스케일을 이용하여 참조영역의 DCT클래스와 양자화 스케일을 구하고, 압축부호열로부터 얻어지는 정보를 이용하여 구한 처리대상 블록의 DCT클래스와 양자화 스케일을 보정한다. 그리고 각 필드블록에서의 DCT클래스와 양자화 스케일을 이용하여 그 필드블록 내의 화소에 실시할 필터처리를 결정한다. 여기서 필터 결정 시에는, 소정값 이상의 DCT계수가 고역으로 분포하는 경우일수록 필터 강도가 강해지도록 한다. 그리고 결정한 필터에 기초하여, 복호화 후 화상의 각 필드블록에 필터처리를 실시한다. 필터처리를 실시하는 경우, 각 필드블록의 양자화 스케일 또는 소정의 고정값을 임계값으로 이용하여 에지검출을 실행하여, 적어도 에지 화소를 제외하고 필터처리를 실시하여 모스키토 노이즈를 제거한다.
이와 같이 본 실시예의 화상 복호화장치에 의하면 각 블록의 DCT계수 분포에 따라, 모스키토 노이즈가 발생하는 블록 및 모스키토 노이즈의 크기를 필드 단위로 확실하게 검출할 수 있다. 이 때 비인트라 부호화 블록에 대해서는 인트라 부호화 블록과는 다른 DCT패턴을 사용함으로써, 비인트라 부호화 특성에 맞는 분류를 실시할 수 있다. 또 비인트라 부호화 블록에 대해서는 DCT계수로부터 얻어지는 차분 화상에 대한 노이즈 파라미터를 참조영역의 노이즈 파라미터로서 보정함으로써, 비인트라 부호화 블록이라도 높은 정밀도로 복호화 화상의 노이즈 파라미터를 결정하고, 모스키토 노이즈의 크기를 결정할 수 있다. 또 참조영역의 노이즈 파라미터는, 참조영역에 중복되는 블록의 노이즈 파라미터를 이용하여 구함으로써 높은 정밀도의 노이즈 파라미터를 얻을 수 있다.
그리고 모스키토 노이즈의 크기에 따라서, 강도가 다른 필터를 복수 이용함으로써, 또 에지검출을 실시하여 에지화소를 이용하지 않고 필터처리를 실시함으로써 화상의, 특히 에지부분의 흐림을 최소한으로 억제하면서 확실하게 모스키토 노이즈를 제거할 수 있다. 또 필드블록을 단위로 하여 모스키토 노이즈의 검출과 제 거를 실시하므로, 인터레이스 화상에 대해서는 더욱 정확하게 모스키토 노이즈를 검출할 수 있다. 또 에지화소의 검출에 대한 임계값으로서 각 블록의 양자화 스케일을 이용함으로써, 각 블록별로 적절하게 임계값을 변경할 수 있어 더욱 높은 정밀도로 에지화소를 검출할 수 있다. 이에 따라, 특히 에지부분의 흐림을 더욱 최소한으로 억제하면서 더욱 확실하게 모스키토 노이즈를 제거할 수 있다. 또 필드블록을 단위로 하여 모스키토 노이즈의 검출과 제거를 실시하므로, 더욱 작은 단위로 확실하게 모스키토 노이즈를 검출할 수 있어, 모스키토 노이즈가 발생하지 않은 부분에 악영향을 미치는 일없이 모스키토 노이즈를 제거할 수 있다.
여기서 본 실시예에서는 DCT계수 블록을 3개의 DCT클래스로 분류하고, 모스키토 노이즈 제거수단(126)에서 이용하는 필터의 종류를 3 가지로 하였으나, DCT클래스 및 필터의 종류는 이에 한정되지 않는다.
또 본 실시예에서는 모스키토 노이즈 제거수단(126)에서 이용하는 필터가 저역통과 필터인 경우에 대하여 설명했지만, 이는 모스키토 노이즈를 제거하는 필터라면 다른 필터, 예를 들어 메디안 필터 등이라도 된다. 또 필터에 이용하는 화소의 위치는 도 39와 도 40의 예에 한정되지 않는다.
그리고 본 실시예에서는 모스키토 노이즈 제거수단(126)에서 에지 검출을 실시하는 방법으로서, 예를 들어 도 39의 화소(d)에 필터처리를 실시하는 경우 화소(d)와 다른 화소의 차분값을 이용하는 방법에 대하여 설명하였다. 그러나 에지 검출방법은 이 방법에 한정되지 않고, 예를 들어 인접화소의 차분값을 이용하여 에지를 검출하는 방법이라도 상관없다.
(제 9 실시예)
제 9 실시예에서는, 하나의 블록에 관한 블록 노이즈 및 모스키토 노이즈에 대해서는, 이들 중 한쪽을 제거해야 할 부호화 노이즈로서 선택하는 화상 복호화장치에 대하여 설명하기로 한다.
도 41은 제 9 실시예에 관한 화상 복호화장치의 블록도이다. 도 41의 화상 복호화장치는 화상 복호화 수단(101)과, 블록 노이즈 검출수단(102), 모스키토 노이즈 검출수단(103), 노이즈 제거영역 결정수단(104), 노이즈 제거수단(105)을 구비한다. 블록 노이즈 검출수단(102)과 모스키토 노이즈 검출수단(103) 및 노이즈 제거영역 결정수단(104)은 노이즈 검출장치로서 동작한다.
화상 복호화 수단(101)은 부호열을 입력으로 하고, 이를 그 부호열에 적합한 방법으로 복호화하여 복호화 화상을 얻는다. 예를 들어 부호열이 JPEG(Joint Photographic image coding Experts Group) 방식으로 부호화된 경우에는 JPEG 방식으로 복호화를 실시하고, MPEG 방식으로 부호화된 경우에는 MPEG 방식으로 복호화를 실시한다. 화상 복호화 수단(101)은 복호화 화상을 블록 노이즈 검출수단(102)과 모스키토 노이즈 검출수단(103) 및 노이즈 제거수단(105)으로 출력한다.
복호화 화상의 화상 데이터에 기초하여 블록 노이즈 검출수단(102)은 블록 노이즈가 발생하는 블록경계를 검출하고, 모스키토 노이즈 검출수단(103)은 모스키토 노이즈가 발생하는 블록을 검출한다. 블록 노이즈 검출수단(102) 및 모스키토 노이즈 검출수단(103)은 복호화 화상의 화상데이터 대신에, 화상 복호화 수단(101)으로 입력되는 부호열로부터 얻어지는 부호화 정보에 따라 노이즈를 검출하는 것으 로 하여도 된다.
블록 노이즈 검출수단(102)에서의 블록 노이즈 검출방법 및 모스키토 노이즈 검출수단(103)에서의 모스키토 노이즈 검출방법으로는 종래의 방법을 사용할 수 있다. 또 제 1∼제 6 실시예에서 설명한 방법으로 블록 노이즈가 발생하는 블록경계를 검출하거나, 제 7 및 제 8 실시예에서 설명한 방법으로 모스키토 노이즈가 발생하는 블록을 검출하여도 된다.
도 42는 블록 노이즈 및 모스키토 노이즈가 발생한 곳의 예를 나타내는 설명도이다. 도 42에서 1개의 정방형이 1개의 블록을 나타낸다. 도 42의 (a)는 블록 노이즈 검출수단(102)이 블록 노이즈의 발생을 검출한 블록경계를 나타낸다. 도 42의 (a)에서 굵은 실선으로 표시한 블록경계(BB)가, 블록 노이즈의 발생이 검출된 블록경계이다. 또 도 42의 (b)는 모스키토 노이즈 검출수단(103)이 모스키토 노이즈의 발생을 검출한 블록을 나타낸다. 도 42의 (b)에서 사선으로 표시한 블록(MM)이, 모스키토 노이즈의 발생이 검출된 블록이다. 블록 노이즈 검출수단(102)의 검출결과와 모스키토 노이즈 검출수단(103)의 검출결과는 노이즈 제거영역 결정수단(104)으로 출력된다.
노이즈 제거영역 결정수단(104)은 블록 노이즈 검출수단(102) 및 모스키토 노이즈 검출수단(103)의 출력인 블록 노이즈와 모스키토 노이즈의 검출결과에 기초하여 제거해야 할 노이즈를 선택하고, 화면 내의 어느 영역에 노이즈 제거를 실행하는가를 결정한다. 노이즈 제거를 실행하는 영역이라는 것은, 블록 노이즈에 관해서는 검출된 블록경계의 주변 화소를, 모스키토 노이즈에 관해서는 검출된 블록 을 말한다. 이 결정방법은 블록 노이즈와 모스키토 노이즈 중 어느 노이즈의 제거를 우선하는지에 따라 다르다.
도 43은 도 42와 같이 노이즈가 발생한 경우에, 노이즈 제거를 실행해야 한다고 결정된 영역을 나타내는 설명도이다. 도 43의 표기방법은 도 42와 마찬가지이다.
먼저, 블록 노이즈의 제거를 우선하는 경우에 대하여 설명하기로 한다. 이 경우 노이즈 제거영역 결정수단(104)은, 블록 노이즈 검출수단(102)에서 블록 노이즈가 발생하는 것으로 검출된 블록경계(BB)에 대해서는, 그대로 블록 노이즈를 제거해야 한다고 결정한다. 그리고 이 시점에서, 블록 노이즈 제거의 대상이 된 블록경계에 접하지 않는 블록이고 또 모스키토 노이즈 검출수단(103)에서 모스키토 노이즈가 발생하는 것으로 검출된 블록(MM)에 대해서는, 모스키토 노이즈를 제거해야 한다고 결정한다.
그러면, 모스키토 노이즈 검출수단(103)이 검출한 블록(MM)이 블록 노이즈 검출수단(102)이 검출한 블록경계(BB)에 접하는 경우, 이 블록(MM)의 모스키토 노이즈는 제거하지 않고 이 블록경계(BB)의 블록 노이즈만을 제거해야 할 노이즈로서 선택한 것으로 된다. 도 43의 (a)는, 이와 같이 블록 노이즈를 우선하는 경우, 노이즈 제거를 실행해야 한다고 결정된 영역을 나타낸다.
다음으로 모스키토 노이즈의 제거를 우선하는 경우에 대하여 설명하기로 한다. 이 경우 노이즈 제거영역 결정수단(104)은, 모스키토 노이즈 검출수단(103)에서 모스키토 노이즈가 발생하는 것으로 검출된 블록(MM)에 대해서는, 그대로 모스 키토 노이즈를 제거해야 한다고 결정한다. 그리고 이 시점에서 모스키토 노이즈 제거의 대상이 된 블록에 접하지 않는 블록경계이고 또 블록 노이즈 검출수단(102)에서 블록 노이즈가 발생하는 것으로 검출된 블록경계(BB)에 대해서는, 블록 노이즈를 제거해야 한다고 결정한다.
그러면, 모스키토 노이즈 검출수단(103)이 검출한 블록(MM)이 블록 노이즈 검출수단(102)이 검출한 블록경계(BB)에 접하는 경우, 이 블록경계(BB)의 블록 노이즈는 제거하지 않고 이 블록(MM)의 모스키토 노이즈만을 제거해야 할 노이즈로서 선택한 것으로 된다. 도 43의 (b)는 이와 같이 모스키토 노이즈를 우선하는 경우, 노이즈를 제거를 실행해야 한다고 결정된 영역을 나타낸다.
또 노이즈 제거영역 결정수단(104)에서 블록 노이즈 및 모스키토 노이즈의 제거영역을 결정하는 방법으로서, 노이즈의 크기를 이용하는 방법이 있다. 이 경우 블록 노이즈 검출수단(102) 및 모스키토 노이즈 검출수단(103)에서는, 각각 블록 노이즈 및 모스키토 노이즈의 발생 장소 검출 이외에, 그 크기를 구한다. 노이즈의 크기가 클수록 눈에 띄는 노이즈인 것을 나타낸다.
노이즈의 크기를 구하는 방법으로는, 예를 들어 제 1∼제 8 실시예에서 설명한 바와 같이 DCT계수의 각 주파수 성분의 분포에 따라 블록을 몇 가지의 클래스(DCT클래스)로 나누고, 이들 클래스에 기초하여 노이즈 제거를 위한 필터의 종류를 구하고, 이 필터의 종류와 노이즈의 크기를 대응시키는 방법이 있다. 노이즈의 크기는 다른 방법을 이용하여 구하여도 된다. 블록 노이즈 검출수단(102)과 모스키토 노이즈 검출수단(103)이 검출한 노이즈의 발생장소 및 크기는 노이즈 제 거영역 결정수단(104)으로 입력된다.
도 44는 노이즈의 크기를 고려한 경우, 노이즈 제거를 실행해야 할 영역을 나타내는 설명도이다. 노이즈 제거영역 결정수단(104)은 블록 노이즈와 모스키토 노이즈 중 크기가 더 큰 노이즈의 제거를 우선하도록, 제거할 노이즈를 선택하여, 노이즈 제거를 실행할 영역을 결정한다.
도 44의 (a)는 블록 노이즈 검출수단(102)에 의하여 블록 노이즈의 발생이 검출된 블록경계를 나타낸다. 도 44의 (a)에서 굵은 선으로 표시한 블록경계가 블록 노이즈가 발생한다고 판단된 곳이며, 굵은 실선으로 표시한 블록경계(BB1)는, 굵은 점선으로 표시한 블록경계(BB2)보다 블록 노이즈의 크기가 큰 것을 나타낸다.
또 도 44의 (b)는 모스키토 노이즈 검출수단(103)에 의하여 모스키토 노이즈의 발생이 검출된 블록을 나타낸다. 도 44의 (b)에서 사선으로 표시한 블록이 모스키토 노이즈가 발생한다고 판단된 블록이며, 고밀도의 사선으로 표시한 블록(MM1)은 저밀도의 사선으로 표시한 블록(MM2)보다 모스키토 노이즈의 크기가 큰 것을 나타낸다.
모스키토 노이즈 검출수단(103)이 검출한 블록이 블록 노이즈 검출수단(102)이 검출한 블록경계에 접하는 경우에는, 크기가 더 큰 노이즈의 제거를 우선하는 것으로 하고, 또 블록 노이즈 및 모스키토 노이즈의 크기가 같은 경우에는 예를 들어 블록 노이즈의 제거를 우선하는 것으로 한다.
도 44의 (c)는 이와 같이 하여 노이즈 제거영역 결정수단(104)이 결정한 노이즈 제거를 실행할 영역 및 그 노이즈의 종류를 나타낸다. 노이즈 제거영역 결정 수단(104)은, 노이즈 제거를 실행할 영역 및 그 노이즈의 종류, 즉 제거해야 할 노이즈의 정보를 노이즈 제거수단(105)으로 출력한다.
노이즈 제거수단(105)은 화상 복호화 수단(101)으로부터 복호화 화상을 입력으로서 수취하고, 노이즈 제거영역 결정수단(104)으로부터 제거해야 할 노이즈의 정보를 수취한다. 그리고 노이즈 제거수단(105)은 제거해야 할 노이즈를 복호화 화상으로부터 제거한다.
노이즈 제거수단(105)은 예를 들어 블록 노이즈를 제거해야 할 블록경계에 대해서는, 그 경계 주변의 화소에 저역통과 필터처리를 실시하여 블록 노이즈를 제거하고, 모스키토 노이즈를 제거해야 할 블록에 대해서는, 에지화소 이외의 화소에 저역통과 필터처리를 실시하여 모스키토 노이즈를 제거한다. 노이즈 제거수단(105)은 예를 들어, 도 43이나 도 44의 (c)에 따라 블록경계(BB, BB1, BB2)의 주변 화소에는 저역통과 필터처리를 실시하고, 블록(MM, MM1, MM2)의 화소에 대해서는 에지검출을 실시하여 에지화소 이외의 화소에 필터처리를 실시한다. 이와 같은 동작에 의하여 블록 노이즈와 모스키토 노이즈를 제거할 수 있다. 노이즈 제거수단(105)은 블록 노이즈와 모스키토 노이즈를 제거한 복호화 화상을 출력화상으로서 출력한다.
이상과 같이 본 실시예의 화상 복호화장치는, 부호열을 복호화하여 얻어진 복호화 화상에 대하여 블록 노이즈가 발생하는 영역과 모스키토 노이즈가 발생하는 영역을 특정한다. 그리고 블록 노이즈와 모스키토 노이즈 중 어느 한쪽을 우선함으로써, 블록 노이즈와 모스키토 노이즈의 양쪽을 제거하는 영역이 없도록 노이즈 제거영역을 결정한다. 그리고 결정된 노이즈 제거영역과 노이즈의 종류에 따라 노이즈를 제거함으로써, 복호화 화상으로부터 블록 노이즈와 모스키토 노이즈를 제거한다.
이와 같이 본 실시예의 화상 복호화장치에 의하면 블록 노이즈와 모스키토 노이즈의 양쪽 노이즈 제거를 하는 영역이 없어지므로, 노이즈 제거에 필요한 연산 처리량이나 사용하는 메모리량 등을 삭감할 수 있다. 따라서 예를 들어 소프트웨어에서 실현하는 경우, 처리량이나 메모리량의 삭감을 도모할 수 있다. 또 LSI(large-scale integration) 등의 하드웨어에서 실현하는 경우, 칩 면적이나 소비 전력, 메모리량을 삭감할 수 있다.
여기서 본 실시예에서는 블록 노이즈가 발생한다고 판단된 블록경계에는 저역통과 필터처리를 실시하고, 모스키토 노이즈가 발생한다고 판단된 블록에는 에지화소 이외의 화소에 저역통과 필터처리를 실시함으로써, 블록 노이즈와 모스키토 노이즈를 제거하는 경우에 대하여 설명했지만, 이는 다른 방법이라도 된다.
또 이상의 실시예에서는 직교변환으로서 DCT를 채용한 MPEG-2 방식을, 부호화 방식으로서 사용한 경우에 대하여 설명했지만, 제 1과 제 5 및 제 9 실시예에서는 직교변환을 이용하는 부호화 방식이라면 다른 부호화 방식이라도 되며, 제 2~제 4 및 제 6~제 8 실시예에서는 직교변환과 동 보상을 이용하는 부호화 방식이라면 다른 부호화 방식이라도 된다.
그리고 제 1~제 8 실시예에서는 역양자화 수단(111)으로부터 블록 노이즈 검출수단(130 등) 또는 모스키토 노이즈 검출수단(430 등)으로 DCT계수 블록을 입력 하는 경우에 대하여 설명했지만, 블록 노이즈 검출수단(130 등) 또는 모스키토 노이즈 검출수단(430 등)은 DCT계수의 각 주파수 성분의 분포를 조사하기 위하여 DCT계수를 사용하므로, 가변길이 복호화 수단(110)으로부터 역양자화를 실시하기 전의 양자화된 DCT계수의 블록을, 블록 노이즈 검출수단(130 등) 또는 모스키토 노이즈 검출수단(430 등)으로 입력하여도 된다.
이상과 같이 본 발명에 의하면 부호화 노이즈를 확실하게 검출할 수 있고 또 오검출이 적어지므로, 노이즈 제거처리로 인하여 발생하는 화질열화를 방지할 수 있다. 비인트라 부호화된 블록에 대해서는 참조영역의 부호화 정보를 사용하므로 부호화 노이즈를 확실하게 검출할 수 있다. 인터레이스 화상에 대해서는 필드별로 부호화 노이즈 검출처리를 실행하므로 정확하게 부호화 노이즈를 검출할 수 있다. 또 노이즈의 크기에 따라서 노이즈 제거처리를 실행하므로, 화질열화를 최소한으로 억제하면서 확실하게 부호화 노이즈를 제거할 수 있다.

Claims (13)

  1. 화상에 대한 동 보상 예측과, 블록단위의 직교변환, 및 양자화의 각 처리를 이용하여 부호화된 부호열로부터, 각 블록에 대한 직교변환 계수 및 동 벡터를 포함한 부호화 정보를 추출하는 부호화 정보 추출 단계와,
    각 블록에 대한 동 벡터에 기초하여, 참조 프레임으로부터 각 블록의 참조영역을 구하는 참조영역 추출 단계와,
    각 블록 및 그 참조영역에 중복되는 참조 프레임 내의 블록에 대한 상기 직교변환 계수의 각 주파수 성분의 분포에 기초하여, 제거해야 할 부호화 노이즈를 검출하는 부호화 노이즈 검출 단계를 구비하는 것을 특징으로 하는 노이즈 검출방법.
  2. 제 1항에 있어서,
    상기 부호화 노이즈로서 블록 노이즈를 검출하는 것이며,
    상기 부호화 노이즈 검출 단계에서는,
    각 블록을 상기 직교변환 계수의 각 주파수 성분의 분포에 기초하여 복수의 클래스로 분류하고,
    처리대상 블록 및 이에 인접하는 인접블록의 클래스와, 이들 블록 각각의 참조영역에 중복되는 참조 프레임 내 블록의 클래스에 기초하여, 상기 처리대상 블록 및 상기 인접블록 각각의 새로운 클래스를 구하며,
    상기 새로운 클래스에 기초하여, 상기 처리대상 블록과 상기 인접블록 사이에 발생하는 블록 노이즈의 크기를 검출하는 것을 특징으로 하는 노이즈 검출방법.
  3. 제 1항에 있어서,
    상기 부호화 노이즈로서 모스키토 노이즈를 검출하는 것으로서,
    상기 부호화 노이즈 검출 단계에서는,
    각 블록을, 상기 직교변환 계수의 각 주파수 성분 분포에 기초하여 복수의 클래스로 분류하고,
    처리대상 블록의 클래스와 상기 처리대상 블록의 참조영역에 중복되는 참조 프레임 내 블록의 클래스에 기초하여 상기 처리대상 블록의 새로운 클래스를 구하며,
    상기 새로운 클래스에 기초하여 상기 처리대상 블록에 발생하는 모스키토 노이즈의 크기를 검출하는 것을 특징으로 하는 노이즈 검출방법.
  4. 제 1항에 있어서,
    상기 부호화 노이즈로서 블록 노이즈를 검출하는 것이며,
    상기 부호화 노이즈 검출 단계에서는,
    상기 부호화 정보로부터 처리대상 블록 및 이에 인접하는 인접블록에 대한 상기 직교변환 계수의 직류성분을 추출하고,
    상기 직교변환 계수의 각 주파수 성분 분포에 추가로, 상기 처리대상 블록과 상기 인접블록간의 상기 직류성분 차의 절대값에 기초하여, 상기 처리대상 블록과 상기 인접블록간에 발생하는 블록 노이즈의 크기를 검출하는 것을 특징으로 하는 노이즈 검출방법.
  5. 제 4항에 있어서,
    상기 부호화 노이즈 검출 단계에서는,
    상기 부호화 정보로부터 상기 처리대상 블록에 대한 양자화 스케일을 추출하고,
    상기 직교변환 계수의 각 주파수 성분 분포에 추가로, 상기 직류성분 차의 절대값과 상기 양자화 스케일에 기초하여, 상기 처리대상 블록과 상기 인접블록간에 발생하는 블록 노이즈의 크기를 검출하는 것을 특징으로 하는 노이즈 검출방법.
  6. 제 1항에 있어서,
    상기 직교변환 계수의 각 주파수 성분 분포에 추가로, 처리대상 블록 또는 이에 인접하는 인접블록의 동 벡터 크기에 기초하여, 제거해야 할 부호화 노이즈를 검출하는 것을 특징으로 하는 노이즈 검출방법.
  7. 제 6항에 있어서,
    상기 부호화 노이즈로서 블록 노이즈를 검출하는 것이며,
    상기 부호화 노이즈 검출 단계에서는,
    상기 부호화 정보로부터 상기 처리대상 블록 및 이에 인접하는 인접블록에 대한 상기 직교변환 계수의 직류성분을 추출하고,
    상기 직교변환 계수의 각 주파수 성분 분포 및 상기 동 벡터의 크기에 추가로, 상기 처리대상 블록과 상기 인접블록간의 상기 직류성분 차의 절대값에 기초하여, 상기 처리대상 블록과 상기 인접블록간에 발생하는 블록 노이즈의 크기를 검출하는 것을 특징으로 하는 노이즈 검출방법.
  8. 제 7항에 있어서,
    상기 부호화 노이즈 검출 단계에서는,
    상기 부호화 정보로부터 상기 처리대상 블록에 대한 양자화 스케일을 추출하고,
    상기 직교변환 계수의 각 주파수 성분 분포 및 상기 각 블록의 동 벡터 크기에 추가로, 상기 직류성분 차의 절대값과 상기 양자화 스케일에 기초하여, 상기 처리대상 블록과 상기 인접블록간에 발생하는 블록 노이즈의 크기를 검출하는 것을 특징으로 하는 노이즈 검출방법.
  9. 제 1항에 있어서,
    상기 부호화 노이즈로서 블록 노이즈와 모스키토 노이즈를 검출하고,
    하나의 블록에 관한 블록 노이즈 및 모스키토 노이즈 중 어느 한쪽을, 이들 노이즈의 대소에 기초하여, 제거해야 할 부호화 노이즈로서 선택하는 것을 특징으 로 하는 노이즈 검출방법.
  10. 제 1항에 있어서,
    인터레이스 화상에 대해서는, 필드별로 부호화 노이즈 검출처리를 실행하는 것을 특징으로 하는 노이즈 검출방법.
  11. 화상에 대한 동 보상 예측과, 블록단위의 직교변환, 및 양자화의 각 처리를 이용하여 부호화된 부호열로부터 구해진, 각 블록에 대한 직교변환 계수 및 동 벡터를 포함한 부호화 정보를 입력으로 하고,
    각 블록에 대한 동 벡터에 기초하여, 참조 프레임으로부터 각 블록의 참조영역을 구하며, 각 블록 및 그 참조영역에 중복되는 참조 프레임 내의 블록에 대한, 상기 직교변환 계수의 각 주파수 성분 분포에 기초하여, 제거해야 할 부호화 노이즈를 검출하고, 그 검출 결과를 출력하는 수단을 구비하는 것을 특징으로 하는 노이즈 검출장치.
  12. 제 11항 기재의 노이즈 검출장치와,
    상기 부호열을 복호화하고, 각 블록에 대한 상기 직교변환 계수 및 처리대상 블록에 대한 동 벡터를 포함한 부호화 정보를 출력하는 복호화부와,
    상기 노이즈 검출장치가 출력하는 검출결과에 기초하여, 부호화 노이즈를 제거하는 부호화 노이즈 제거부를 구비하는 것을 특징으로 하는 화상 복호화장치.
  13. 제 12항에 있어서,
    상기 노이즈 검출장치는,
    상기 부호화 노이즈로서 모스키토 노이즈를 검출하는 것이며 또,
    상기 부호화 정보로부터 상기 처리대상 블록에 대한 양자화 스케일을 추출하는 것이고,
    상기 부호화 노이즈 제거부는,
    노이즈 제거에 이용하지 않는 에지화소를 검출하기 위한 임계값으로서, 상기 양자화 스케일에 따른 값을 이용하는 것을 특징으로 하는 화상 복호화장치.
KR1020000049429A 1999-08-25 2000-08-25 노이즈 검출방법과 노이즈 검출장치 및 화상 복호화장치 KR100644498B1 (ko)

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
JP???11-238884 1999-08-25
JP23888499 1999-08-25
JP23960699 1999-08-26
JP???11-239606 1999-08-26
JP???11-247536 1999-09-01
JP24753699 1999-09-01
JP32256999 1999-11-12
JP???11-322569 1999-11-12

Publications (2)

Publication Number Publication Date
KR20010021410A KR20010021410A (ko) 2001-03-15
KR100644498B1 true KR100644498B1 (ko) 2006-11-10

Family

ID=27477749

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020000049429A KR100644498B1 (ko) 1999-08-25 2000-08-25 노이즈 검출방법과 노이즈 검출장치 및 화상 복호화장치

Country Status (3)

Country Link
US (1) US6748113B1 (ko)
KR (1) KR100644498B1 (ko)
CN (1) CN1286575A (ko)

Families Citing this family (83)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002019721A2 (en) * 2000-08-28 2002-03-07 Thomson Licensing S.A. Method and apparatus for motion compensated temporal interpolation of video sequences
US7054500B1 (en) * 2000-12-06 2006-05-30 Realnetworks, Inc. Video compression and decompression system with postfilter to filter coding artifacts
US7450641B2 (en) 2001-09-14 2008-11-11 Sharp Laboratories Of America, Inc. Adaptive filtering based upon boundary strength
US6931063B2 (en) 2001-03-26 2005-08-16 Sharp Laboratories Of America, Inc. Method and apparatus for controlling loop filtering or post filtering in block based motion compensationed video coding
US7929610B2 (en) * 2001-03-26 2011-04-19 Sharp Kabushiki Kaisha Methods and systems for reducing blocking artifacts with reduced complexity for spatially-scalable video coding
WO2002093935A1 (en) * 2001-05-10 2002-11-21 Matsushita Electric Industrial Co., Ltd. Image processing apparatus
US6810086B1 (en) 2001-06-05 2004-10-26 At&T Corp. System and method of filtering noise
US6909745B1 (en) 2001-06-05 2005-06-21 At&T Corp. Content adaptive video encoder
US7773670B1 (en) 2001-06-05 2010-08-10 At+T Intellectual Property Ii, L.P. Method of content adaptive video encoding
US6970513B1 (en) 2001-06-05 2005-11-29 At&T Corp. System for content adaptive video decoding
US6968006B1 (en) 2001-06-05 2005-11-22 At&T Corp. Method of content adaptive video decoding
WO2003021936A2 (en) * 2001-09-05 2003-03-13 Emblaze Semi Conductor Ltd Method for reducing blocking artifacts
ATE543339T1 (de) * 2001-09-12 2012-02-15 Panasonic Corp Bildkodierungsverfahren
EP2894856A1 (en) * 2002-01-31 2015-07-15 Samsung Electronics Co., Ltd Filtering method and apparatus for reducing block artifacts or ringing noise
US7031552B2 (en) * 2002-04-05 2006-04-18 Seiko Epson Corporation Adaptive post-filtering for reducing noise in highly compressed image/video coding
JP4368575B2 (ja) * 2002-04-19 2009-11-18 パナソニック株式会社 可変長復号化方法、可変長復号化装置およびプログラム
WO2003100724A2 (en) * 2002-05-23 2003-12-04 Koninklijke Philips Electronics N.V. Edge dependent motion blur reduction
US7463688B2 (en) 2003-01-16 2008-12-09 Samsung Electronics Co., Ltd. Methods and apparatus for removing blocking artifacts of MPEG signals in real-time video reception
US20040190023A1 (en) * 2003-03-24 2004-09-30 Tatsuya Aoyama Image processing method, apparatus and program
JP2004343451A (ja) * 2003-05-15 2004-12-02 Matsushita Electric Ind Co Ltd 動画像復号化方法および動画像復号化装置
JP2005020294A (ja) * 2003-06-25 2005-01-20 Sony Corp ブロック歪低減装置
US20050013494A1 (en) * 2003-07-18 2005-01-20 Microsoft Corporation In-loop deblocking filter
JP3928605B2 (ja) * 2003-08-06 2007-06-13 ソニー株式会社 雑音除去装置、雑音除去方法及びプログラム
US7724827B2 (en) * 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
US7643688B2 (en) * 2003-10-10 2010-01-05 Hewlett-Packard Development Company, L.P. Reducing artifacts in compressed images
JP4118786B2 (ja) * 2003-11-14 2008-07-16 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー 画像撮影診断支援システム
KR20050049680A (ko) * 2003-11-22 2005-05-27 삼성전자주식회사 노이즈 감쇠장치 및 디인터레이싱 장치
US8503542B2 (en) * 2004-03-18 2013-08-06 Sony Corporation Methods and apparatus to reduce blocking noise and contouring effect in motion compensated compressed video
US7869500B2 (en) * 2004-04-27 2011-01-11 Broadcom Corporation Video encoder and method for detecting and encoding noise
US20050243914A1 (en) * 2004-04-29 2005-11-03 Do-Kyoung Kwon Adaptive de-blocking filtering apparatus and method for mpeg video decoder
US7496141B2 (en) * 2004-04-29 2009-02-24 Mediatek Incorporation Adaptive de-blocking filtering apparatus and method for MPEG video decoder
US7539248B2 (en) * 2004-04-29 2009-05-26 Mediatek Incorporation Adaptive de-blocking filtering apparatus and method for MPEG video decoder
US7397853B2 (en) * 2004-04-29 2008-07-08 Mediatek Incorporation Adaptive de-blocking filtering apparatus and method for MPEG video decoder
US7400679B2 (en) * 2004-04-29 2008-07-15 Mediatek Incorporation Adaptive de-blocking filtering apparatus and method for MPEG video decoder
US7680351B2 (en) * 2004-05-21 2010-03-16 Broadcom Corporation Video deblocking method and apparatus
US7949051B2 (en) 2004-05-26 2011-05-24 Broadcom Corporation Mosquito noise detection and reduction
JP2006115078A (ja) * 2004-10-13 2006-04-27 Matsushita Electric Ind Co Ltd 画像データの信号処理装置及びその方法
US7587091B2 (en) * 2004-10-29 2009-09-08 Intel Corporation De-interlacing using decoder parameters
US7136536B2 (en) * 2004-12-22 2006-11-14 Telefonaktiebolaget L M Ericsson (Publ) Adaptive filter
US20060171569A1 (en) * 2005-01-10 2006-08-03 Madhukar Budagavi Video compression with blur compensation
JP4725127B2 (ja) * 2005-02-16 2011-07-13 ソニー株式会社 復号装置および方法、記録媒体、並びにプログラム
JP4645948B2 (ja) 2005-03-18 2011-03-09 富士ゼロックス株式会社 復号化装置及びプログラム
JP4775756B2 (ja) 2005-03-18 2011-09-21 富士ゼロックス株式会社 復号化装置及びそのプログラム
US7961963B2 (en) * 2005-03-18 2011-06-14 Sharp Laboratories Of America, Inc. Methods and systems for extended spatial scalability with picture-level adaptation
US7778468B2 (en) 2005-03-23 2010-08-17 Fuji Xerox Co., Ltd. Decoding apparatus, dequantizing method, and program thereof
JP4737711B2 (ja) 2005-03-23 2011-08-03 富士ゼロックス株式会社 復号化装置、逆量子化方法、分布決定方法及びこのプログラム
US9667999B2 (en) * 2005-04-25 2017-05-30 Avago Technologies General Ip (Singapore) Pte. Ltd. Method and system for encoding video data
KR100695067B1 (ko) * 2005-06-15 2007-03-14 삼성전자주식회사 블록분류를 이용한 시공간 노이즈 제거 방법 및 이 방법이적용되는 디스플레이장치
JP4523886B2 (ja) * 2005-07-08 2010-08-11 富士通株式会社 動画像復号装置、動画像復号方法および動画像復号プログラム
KR100705323B1 (ko) * 2005-08-18 2007-04-10 삼성전자주식회사 압축 아티팩트 검출장치 및 그 압축 아티팩트 검출방법
JP4513764B2 (ja) * 2006-02-20 2010-07-28 セイコーエプソン株式会社 画像判定装置および画像判定方法
JP4679425B2 (ja) * 2006-04-20 2011-04-27 株式会社東芝 画像処理装置、画像処理方法およびプログラム
JP4784386B2 (ja) * 2006-05-01 2011-10-05 富士ゼロックス株式会社 復号化装置、逆量子化方法及びプログラム
US20080084932A1 (en) * 2006-10-06 2008-04-10 Microsoft Corporation Controlling loop filtering for interlaced video frames
JP4956612B2 (ja) * 2006-10-12 2012-06-20 株式会社東芝 画像符号化装置及び画像符号化方法
US20080101469A1 (en) * 2006-10-31 2008-05-01 Motorola, Inc. Method and apparatus for adaptive noise filtering of pixel data
US7876808B2 (en) * 2006-11-30 2011-01-25 Broadcom Corp. Method and apparatus for adaptive noise and/or signal filtering in an HSDPA channel quality indicator (CQI) selection
US8102913B2 (en) * 2006-12-22 2012-01-24 Sony Corporation DCT/Q/IQ/IDCT bypass algorithm in MPEG to AVC/H.264 transcoding
US20090080517A1 (en) * 2007-09-21 2009-03-26 Yu-Ling Ko Method and Related Device for Reducing Blocking Artifacts in Video Streams
US8200028B2 (en) * 2007-12-07 2012-06-12 Csr Technology Inc. System and method for detecting edges in a video signal
US8295367B2 (en) * 2008-01-11 2012-10-23 Csr Technology Inc. Method and apparatus for video signal processing
US8401311B2 (en) * 2008-03-11 2013-03-19 Sony Corporation Image processing device, method, and program
KR101041178B1 (ko) * 2008-05-21 2011-06-13 삼성전자주식회사 전자기기에서 영상 녹화 방법 및 장치
JP4813517B2 (ja) * 2008-05-29 2011-11-09 オリンパス株式会社 画像処理装置、画像処理プログラム、画像処理方法、および電子機器
US20090304086A1 (en) * 2008-06-06 2009-12-10 Apple Inc. Method and system for video coder and decoder joint optimization
US10123050B2 (en) * 2008-07-11 2018-11-06 Qualcomm Incorporated Filtering video data using a plurality of filters
US8526506B1 (en) * 2008-08-15 2013-09-03 Ipera Technology, Inc. System and method for transcoding with quality enhancement
JP5490404B2 (ja) 2008-12-25 2014-05-14 シャープ株式会社 画像復号装置
US8363974B2 (en) * 2009-07-21 2013-01-29 Qualcomm Incorporated Block artifact reducer
KR20110014000A (ko) * 2009-08-04 2011-02-10 광운대학교 산학협력단 영상 데이터의 디블록킹 필터링 장치 및 방법과 이를 이용한 영상 복호화 장치 및 방법
US20110123121A1 (en) * 2009-10-13 2011-05-26 Sony Corporation Method and system for reducing blocking artefacts in compressed images and video signals
JP5047344B2 (ja) * 2009-12-28 2012-10-10 キヤノン株式会社 画像処理装置及び画像処理方法
KR101457396B1 (ko) 2010-01-14 2014-11-03 삼성전자주식회사 디블로킹 필터링을 이용한 비디오 부호화 방법과 그 장치, 및 디블로킹 필터링을 이용한 비디오 복호화 방법 및 그 장치
US8976856B2 (en) * 2010-09-30 2015-03-10 Apple Inc. Optimized deblocking filters
US8787443B2 (en) 2010-10-05 2014-07-22 Microsoft Corporation Content adaptive deblocking during video encoding and decoding
KR101519488B1 (ko) 2010-11-26 2015-05-12 닛본 덴끼 가부시끼가이샤 영상 부호화 장치, 영상 복호 장치, 영상 부호화 방법, 영상 복호 방법 및 기록 매체
US9042458B2 (en) 2011-04-01 2015-05-26 Microsoft Technology Licensing, Llc Multi-threaded implementations of deblock filtering
WO2013075319A1 (en) * 2011-11-24 2013-05-30 Technicolor (China) Technology Co., Ltd. Methods and apparatus for an artifact detection scheme based on image content
CN104509119A (zh) * 2012-04-24 2015-04-08 Vid拓展公司 用于mpeg/3gpp-dash中平滑流切换的方法和装置
US9648355B2 (en) * 2014-03-07 2017-05-09 Eagle Eye Networks, Inc. Adaptive security camera image compression apparatus and method of operation
TW201924349A (zh) * 2017-11-17 2019-06-16 晨星半導體股份有限公司 與移動補償相關之影像處理裝置及影像處理方法
BR112020026959A2 (pt) * 2018-07-02 2021-03-30 Huawei Technologies Co., Ltd. Aparelho e método para filtragem em codificação de vídeo
KR20200140096A (ko) * 2019-06-05 2020-12-15 삼성전자주식회사 영상의 ａｉ 부호화 및 ａｉ 복호화 방법, 및 장치

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05316361A (ja) 1992-04-24 1993-11-26 Sony Corp ブロック歪除去フィルタ
JP3365784B2 (ja) 1992-04-30 2003-01-14 オリンパス光学工業株式会社 画像信号復号化装置
JPH06311499A (ja) 1993-04-27 1994-11-04 Olympus Optical Co Ltd 画像信号復号化装置
JPH07177521A (ja) 1993-12-20 1995-07-14 Fujitsu General Ltd 画像の復号化装置
JP2900810B2 (ja) 1994-12-20 1999-06-02 日本ビクター株式会社 変換符号化された画像データの復号化時に生じる量子化ノイズの低減方法及び変換符号化された画像データの復号化装置
JPH09163373A (ja) * 1995-12-08 1997-06-20 Toshiba Corp 雑音低減装置
US5850294A (en) * 1995-12-18 1998-12-15 Lucent Technologies Inc. Method and apparatus for post-processing images
KR100244290B1 (ko) 1997-09-09 2000-02-01 구자홍 저속 전송에서의 동영상을 위한 디블록킹 필터링 방법
JPH1198510A (ja) 1997-09-17 1999-04-09 Fujitsu Ltd 画像復号化装置
KR100269125B1 (ko) * 1997-10-25 2000-10-16 윤덕용 양자화효과감소를위한영상데이터후처리방법및장치
JP2000013643A (ja) * 1998-06-18 2000-01-14 Sony Corp ノイズ低減装置および方法、映像信号処理装置、並びに動き検出方法

Also Published As

Publication number Publication date
US6748113B1 (en) 2004-06-08
KR20010021410A (ko) 2001-03-15
CN1286575A (zh) 2001-03-07

Similar Documents

Publication Publication Date Title
KR100644498B1 (ko) 노이즈 검출방법과 노이즈 검출장치 및 화상 복호화장치
US6466625B1 (en) Picture signal processing method and apparatus
KR101000926B1 (ko) 영상의 불연속성을 제거하기 위한 필터 및 필터링 방법
KR100627329B1 (ko) Ｈ.264 비디오 코덱을 위한 적응형 움직임 예측 및 모드결정 장치 및 그 방법
KR101526349B1 (ko) 영역 기반의 적응 루프 필터링의 방법 및 장치
US6665346B1 (en) Loop-filtering method for image data and apparatus therefor
US7911538B2 (en) Estimation of block artifact strength based on edge statistics
RU2658178C1 (ru) Устройство декодирования изображений, устройство кодирования изображений, способ декодирования изображений и способ кодирования изображений
US7706450B2 (en) Block distortion detection method, block distortion detection apparatus, block distortion removal method, and block distortion removal apparatus
KR100213089B1 (ko) 루프필터링 방법 및 루프필터
US7957467B2 (en) Content-adaptive block artifact removal in spatial domain
KR20070116717A (ko) 압축된 디지털 이미지의 ｍｐｅｇ 노이즈 강도 측정 방법및 장치
JP2003244702A (ja) ブロッキング効果を除去するためのフィルタリング方法及びその装置
KR101394209B1 (ko) 영상의 인트라 예측 부호화 방법
JP2001204029A (ja) ノイズ検出方法、ノイズ検出装置及び画像復号化装置
JP2012520025A (ja) ビデオデータの動きベクトルを処理するためのシステムおよび方法
KR100708202B1 (ko) 블록킹 효과를 제거하기 위한 필터링 방법
KR100873317B1 (ko) 에러 은폐 방법 및 장치
JP4227160B2 (ja) ブロック歪み除去方法
KR101906831B1 (ko) 영상 부호화 방법 및 장치
JP2001145104A (ja) 画像復号化方法および画像復号化装置
KR20080070242A (ko) 에러 은닉 장치 및 방법
Kim et al. Reduced 4x4 Block Intra Prediction Modes using Directional Similarity in H. 264/AVC
US20120140826A1 (en) Method and device for processing pixels contained in a video sequence

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee