KR100529483B1 - 블록 왜곡 감소 방법과 장치 및 부호화 방법과 장치 - Google Patents

블록 왜곡 감소 방법과 장치 및 부호화 방법과 장치 Download PDF

Info

Publication number
KR100529483B1
KR100529483B1 KR10-1999-7000687A KR19997000687A KR100529483B1 KR 100529483 B1 KR100529483 B1 KR 100529483B1 KR 19997000687 A KR19997000687 A KR 19997000687A KR 100529483 B1 KR100529483 B1 KR 100529483B1
Authority
KR
South Korea
Prior art keywords
block distortion
block
encoding
image data
correction
Prior art date
Application number
KR10-1999-7000687A
Other languages
English (en)
Other versions
KR20000029622A (ko
Inventor
후쿠다교코
고바야시히로시
이기노부히로
오바타고지
가토모토키
Original Assignee
소니 가부시끼 가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 가부시끼 가이샤 filed Critical 소니 가부시끼 가이샤
Publication of KR20000029622A publication Critical patent/KR20000029622A/ko
Application granted granted Critical
Publication of KR100529483B1 publication Critical patent/KR100529483B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

블록 왜곡 감소 장치는 부호화의 난이도를 나타내는 파라미터를 입력 영상 데이터로부터 검출하는 부호화 난이도 인코딩 검출 수단(3)과, 블록 왜곡 결정시 필요한 파라미터를 입력 영상 데이터로부터 연산하는 파라미터 연산 수단(4)과, 상기 부호화의 난이도를 나타내는 파라미터 검출의 결과 및 상기 파라미터 연산의 결과에 근거하여 블록 왜곡을 판정하는 판정 수단(6)과, 상기 블록 왜곡을 저감하기 위한 보정치를 산출하는 보정치 산출 수단(7)과, 상기 블록 왜곡의 판정결과에 따른 상기 보정치에 의한 보정을 상기 입력 화상 데이터에 대하여 실시하여 출력하는 수단을 포함한다.

Description

블록 왜곡 감소 방법과 장치 및 부호화 방법과 장치{Block distortion reduction method and device and encoding method and device}
본 발명은, 정지화면 데이터나 동화면 데이터 등의 입력 데이터를 블록화하여 DCT 부호화 등을 실시하는 것과 같은 블록 부호화에 있어서의 블록 왜곡을 감소시키기 위한 블록 왜곡 감소방법과 장치, 및 블록 왜곡을 감소시켜 부호화를 행하는 부호화 방법과 장치에 관한 것이다.
종래, 정지화면 데이터나 동화면 데이터 등을 효율성 있게 압축 부호화하기 위한 부호화 방식으로서, 블록 DCT(이산 코사인 변환) 부호화 등의 블록 부호화가 알려져 있다.
이러한 블록 부호화에 의한 화상 데이터 등의 압축/신장 시에는, 블록 왜곡(블록잡음)이 발생하는 경우가 있어, 압축률이 높을수록 왜곡을 발생시키기 쉽다. 이 블록 왜곡은, DCT 부호화 등이 블록 내의 닫힌 공간에서 변환을 행하고 있고, 블록 경계를 넘은 상관(相關)을 고려하지 않기 때문에, 블록경계에서의 연속성을 보존할 수 없으며, 인접 블록과의 경계부에서의 재생 데이터 값의 어긋남이 잡음으로서 지각되는 것이다. 화상 데이터를 블록 부호화한 경우에 발생하는 블록 왜곡은, 일종의 규칙성을 갖기 때문에 일반의 랜덤잡음에 비하여 지각되기 쉽고, 화질 열등화의 큰 요인으로 되어 있다.
이 블록 왜곡을 감소시키기 위해서, 예를 들면, 「이다(井田), 다치쿠, "MC-DCT 부호화 방식에 있어서의 노이즈제거 필터", 1990년 전자정보학회 춘계전국대회 강연론문집, 7­35」의 문헌에 있어서는, 화상 본래의 정보인 에지를 보존하여, 그것들 노이즈를 제거하기 위해서, 필터의 on, off의 결정에 양자화 스텝 사이즈를 사용하거나, 처리하여 가는 방향을 바꿔 복수회 처리를 하는 기술이 개시되어 있다. 또한, 「이자와(井澤), "화상의 블록 부호화에 있어서의 적응형 잡음제거 필터의 특성", 신슈(信州)대학 공학부 기요(紀要) 제74호, pp.89-100」의 문헌에 있어서는, 주변 블록까지 뽑아내어 DCT 변환을 행하고 노이즈 주파수성분을 제거하는 기술이 개시되어 있다.
그런데, 전자의 노이즈 제거 필터를 on, off하는 방법에서는, 처리가 간단한 반면, 화상의 고주파 성분이 결핍하여 해상도가 열등화한다고 하는 결점이 있다.
또한, 후자의 적응형 잡음제거 필터를 사용하는 방법에서는, 해상도가 보존되면서 효과적인 블록 왜곡의 감소를 행할 수 있지만, 처리가 복잡하고 비용이 커지며, 특히 민생용 기기 등에 적용하기에는 부적당하다.
또한, 블록 왜곡 판정 때의 오류 판정에 의해, 완전히 블록 왜곡을 제거할 수 없거나, 에지를 오류 보정하여 유사 에지를 발생시키기는 문제점이 있다.
블록 부호화 방식으로써 부호화된 비트 스트림은, 예를 들면 비트 레이트를 다른 기기에 대응시키기 위해서, 예를 들면 8 Mbps에서 4 Mbps로 다른 비트 레이트의 비트 스트림으로 레이트 변환되는 경우가 있다.
이와 같이, 블록 부호화 방식으로써 부호화된 비트 스트림을 레이트 변환하고 재부호화를 행하는 경우에는, 디코더로 복호된 복호화상에 블록 노이즈가 발생하고 있더라도, 그대로 부호화하였다.
이 때문에, 재부호화 시나, 포맷변환 시와 같이, 움직임 보상에 의해 예측부호화를 하는 움직임 벡터의 검출을 행할 때에는, 블록 노이즈에 방해되어 움직임 벡터의 검출정밀도가 저하하였다.
또한, 블록 노이즈가 발생하는 위치는, 블록경계의 위치에 한결같이 의존한다. 그 때문에, 블록경계의 위치가 같은 부호화 방식을 사용하고 재(再)인코드나 포맷을 위한 부호화를 행하는 경우, 블록 노이즈가 발생하고 있는 화상에 관해서 블록 노이즈의 제거를 하는 일없이 부호화하면, 재생화상에 있어서는, 블록 노이즈가 강조되어 더욱 눈에 띄는 문제가 있었다.
또, 화상데이터의 블록 부호화 방식의 일 예로서는, 화면 내의 상관을 이용한 DCT변환, 화면간의 상관을 이용한 움직임 보상, 및 부호열의 상관을 이용한 허프만부호화를 조합한 MPEG(Moving pictures experts group)를 들 수 있다.
도 1은, 본 발명의 제1 실시예에 관련되는 블록 왜곡 감소장치의 구성예를 도시하는 블록도.
도 2a는, 부호화가 용이한 샘플에 대한 움직임 벡터 차분 MV의 값과 샘플 수와의 관계를 도시하는 도면.
도 2b는, 부호화가 곤란한 샘플에 대한 움직임 벡터 차분 MV의 값과 샘플 수와의 관계를 도시하는 도면.
도 3a는, 부호화가 용이한 샘플에 대한 IDCT 계수의 값과 샘플 수와의 관계를 도시하는 도면.
도 3b는, 부호화가 곤란한 샘플에 대한 IDCT 계수의 값과 샘플 수와의 관계를 도시하는 도면.
도 4는, 1프레임 내에 있어서 IDCT 계수와 움직임 벡터 차분 MV를 산출할 때의 일 예를 설명하기 위한 도면.
도 5는, 수직방향 블록경계의 부호화 난이도를 구하는 방법의 일 예를 설명하기 위한 도면.
도 6은, 수직상관의 강함을 구하는 방법을 설명하기 위한 DCT 블록경계 근방의 화소를 도시하는 도면.
도 7은, 블록 왜곡 보정을 위한 블록경계 근방의 화소를 도시하는 도면.
도 8은, 본 발명에 관련되는 제2 실시예가 되는 화상 데이터의 블록 왜곡 감소장치의 개략적인 구성을 도시하는 블록도.
도 9는, 본 발명에 관련되는 제2 실시예가 되는 화상 데이터의 블록 왜곡 감소장치가 사용된 디코더 시스템의 개략적인 구성을 도시하는 블록도.
도 10은, 본 발명에 관련되는 제2 실시예가 되는 블록 왜곡 감소방법의 처리순서를 설명하기 위한 흐름도.
도 11은, 에지추출 처리동작의 일 예를 설명하기 위한 흐름도.
도 12는, 라플라시언 필터의 계수의 일 예를 도시하는 도면.
도 13은, 움직임 검출처리 동작의 일 예를 설명하기 위한 흐름도.
도 14는, 블록 왜곡 판정처리 동작의 일 예를 설명하기 위한 흐름도.
도 15는, 1차원의 2차 미분에 의해 에지 추출을 하는 경우의 처리동작의 일 예를 설명하기 위한 흐름도.
도 16은, 도 15의 에지 추출을 하는 경우의 화상 데이터의 블록 왜곡 감소장치의 개략적인 구성을 도시하는 블록도.
도 17은, 블록경계를 개재시켜 각 화소의 휘도치가 단조롭게 감소하고 있고, 블록경계에서만 휘도치가 증가하고 있을 때에 있어서의 블록 왜곡 감소처리를 설명하기 위한 도면.
도 18은, 블록경계 이외에 생기는 에지에 대한 블록 왜곡 감소처리를 설명하기 위한 도면.
도 19는, 블록경계에 평행하게 블록 왜곡과 검출되는 에지를 도시하는 화소가 있을 때에 있어서의 블록 왜곡 감소처리를 설명하기 위한 도면.
도 20은, 보정 후에 새롭게 생기는 에지를 억제할 때의 보정처리를 설명하기 위한 도면.
도 21은, 블록 왜곡의 감소방법의 일 예를 도시하는 도면.
도 22는, 제1 실시예에 관련되는 블록 왜곡 감소장치로 블록 왜곡 감소처리를 할 때의 흐름도.
도 23은, 블록감소처리에 있어서의 특수처리를 행할 때의 흐름도를 나타내는 도면.
도 24는, 재부호화 전에 블록 노이즈 제거를 하는 방식의 블록도.
도 25는, 적응 블록 노이즈 제거방식의 블록도.
도 26은, 디코드 후에 D/A 변환한 아날로그 신호인 경우의 블록도.
본 발명은, 이러한 실정을 감안하여 이루어진 것으로서, 처리가 간단하고 고주파성분의 결핍도 없이 안정된 블록 왜곡의 감소 혹은 제거를 도모할 수 있고, 블록 왜곡판정 때의 오류 판정을 방지할 수 있으며, 나아가, 재부호화 때에 움직임 벡터의 검출정밀도 저하를 방지함과 동시에 블록 노이즈의 발생을 억제하는 것과 같은 블록 왜곡 감소방법과 장치, 및 블록 노이즈를 감소하는 것과 같은 부호화 방법과 장치를 제공하는 것을 목적으로 한다.
본 발명은, 상술한 과제를 해결하기 위해서, 화상 데이터의 블록 부호화에 있어서의 블록 왜곡을 감소시킬 때에, 입력 화상 데이터로부터 부호화의 난이도를 나타내는 파라미터를 검출하고, 입력 화상 데이터로부터 블록 왜곡판정에 필요한 파라미터를 연산하고, 부호화의 난이도를 나타내는 파라미터검출의 결과 및 상기 파라미터 연산의 결과에 근거하여 블록 왜곡을 판정하고, 블록 왜곡을 감소하기 위한 보정치를 산출하여, 블록 왜곡의 판정결과에 따른 보정치에 의한 보정을 입력 화상 데이터에 대하여 실시하고 출력하는 것을 특징으로 하고 있다.
블록 왜곡을 줄이기 위한 블록 왜곡의 판정에, 입력 화상 데이터로부터 부호화의 난이도를 나타내는 파라미터를 사용함으로써, 판정을 유효히 행할 수 있고, 오류 판정을 경감시킬 수 있다.
이하, 본 발명에 관련되는 실시예에 관해서 도면을 참조하면서 설명한다.
도 1에는, 제1 실시예에 관련되는 블록 왜곡 감소장치(1)의 개략적인 구성을 도시하는 있다. 이 도 1에 도시된 블록 왜곡 감소장치(1)는, MPEG 비트 스트림을 복호 처리하는 MPEG 디코더를 내장하고 있는 일 예이다. 즉, 이 블록 왜곡 감소장치(1)는, MPEG 디코더로 디코드처리가 실시된 화상 데이터에 발생하는 블록 왜곡을 감소시키도록 되어 있다.
이 블록 왜곡 감소장치(1)는, 입력된 화상 데이터에 디코드 처리를 실시하는 MPEG 디코더(2)와, 디코드 처리가 실시된 화상 데이터의 부호화 난이도를 평가하는 부호화 난이도 평가회로(3)와, 블록 왜곡의 판정에 필요한 파라미터를 연산하는 파라미터 연산회로(4)와, 화상 데이터의 수직방향의 상관을 검출하는 수직상관 검출회로(5)와, 화상 데이터의 블록 왜곡의 상태를 판정하는 블록 왜곡 판정회로(6)와, 화상 데이터에 발생한 블록 왜곡을 보정하는 블록 왜곡 보정회로(7)를 구비한다. MPEG 디코더(2)에는, MPEG 방식의 비트 스트림이 입력된다. 이 MPEG 디코더(2)는, 입력된 비트 스트림 내의 데이터에 역양자화, 역DCT(이산 코사인 변환)를 실시하는 것으로, 디코드 처리를 한다. 이 때, MPEG 디코더(2)는, 복수의 매크로 블록으로 이루어지는 DCT 블록단위로 디코드를 실시한다. 이 MPEG 디코더(2)는, 디코드 처리를 실시한 결과 얻은 IDCT(역DCT) 계수와, 움직임 벡터 차분 MV를 검출하여 부호화 난이도 평가회로(3) 및 블록 왜곡 보정회로(7)에 출력한다.
부호화 난이도 평가회로(3)는, MPEG 디코더(2)로부터의 움직임 벡터 차분 MV와 IDCT 계수를 사용하여, 화상 데이터의 부호화 난이도를 나타내는 파라미터 Kp를 생성한다. 여기서, 움직임 벡터 차분 MV는 MPEG 디코더(2)에 입력되는 비트 스트림에 포함되어 있는 움직임 벡터의 차분치이고, IDCT 계수는 MPEG 디코더(2)에 입력되는 비트 스트림에 포함되어 있는 양자화된 DCT 계수를 역양자화한 후에 역DCT한 결과 얻어지는 계수이다.
움직임 벡터 차분 MV 및 IDCT 계수는, 입력 화상 데이터가 나타내는 화상의 복잡도에 따라서 도 2a, 도 2b, 도 3a 및 도 3b에 도시된 바와 같은 관계를 갖는다. 이들 도면은, 도 2a 및 도 3a로서 일반적으로 부호화 난이도가 높은 제1 샘플(yashi)에 대한 움직임 벡터 차분 MV 및 IDCT 계수를 나타내고, 도 2b 및 도 3b로서 일반적으로 부호화 난이도가 낮은 제2 샘플(flower)에 대한 움직임 벡터 차분 MV 및 IDCT 계수를 나타낸 도면이다.
이 도 2a, 도 2b, 도 3a 및 도 3b 에 의하면, 움직임이 격렬하고 복잡한 매크로 블록이나, 고주파성분을 포함하는 매크로 블록에서는, 도 2a 및 도 3a에 도시된 바와 같이, MPEG 디코더(2)로 얻어지는 움직임 벡터 차분 MV 및 IDCT 계수가 높은 값을 나타내고 있고, 움직임이 단조롭고 느슨한 매크로 블록이나, 고주파성분이 적은 평탄한 매크로 블록에서는, 도 2b 및 도 3b에 도시된 바와 같이, MPEG 디코더(2)로 얻어지는 움직임 벡터 차분 MV 및 IDCT 계수가 낮은 값을 나타내고 있는 것이 확인된다.
이것으로부터, 부호화 난이도 평가회로(3)에서는, MPEG 디코더(2)로 얻어지는 움직임 벡터 차분 MV 및 IDCT 계수가 클 때에는, 부호화를 할 때의 난이도가 높다고 판단하여, 부호화 난이도를 나타내는 파라미터 Kp를 높은 값으로 설정한다. 또, 상술한 도 2a, 도 2b, 도 3a 및 도 3b에 관해서는, B­picture, P­ picture에 관해서만 움직임 벡터 차분 MV 및 IDCT 계수를 사용하여 설명하였으나, I-picture에 관해서는, IDCT 계수만을 사용하여 부호화 난이도를 나타내는 파라미터 Kp를 설정한다.
이 부호화 난이도 평가회로(3)에서는, 1프레임 내의 화상 데이터에 관해서 부호화 난이도 Kp를 설정할 때에는, 우선 도 4에 도시된 바와 같이 각 매크로 블록이 배열하고 있을 때, 각 매크로 블록마다에 대한 움직임 벡터 차분 MV와 IDCT 계수를 계산한다. 예를 들면, 매크로 블록 MB0에 대한 아래 식에 나타내는 바와 같이 산출한다.
MB0=(MB0+MB1+MB2+MB3+MB4+MB5+MB6+MB7+MB8)/9
즉, 도 4에 도시된 매크로 블록 MB0에 대하여 움직임 벡터 차분 MV 및 IDCT 계수를 산출할 때에는, 주위에 인접하는 매크로 블록 MB1 내지 MB8도 고려하여 산출된다.
그리고, 부호화 난이도 평가회로(3)에서는, 수직방향의 블록경계의 부호화 난이도를 나타내는 파라미터 Kp를 산출할 때, 도 5에 도시된 바와 같이, 각 매크로 블록간의 블록경계인 매크로 블록경계에 있어서는, 쌍방의 매크로 블록의 IDCT 계수와 움직임 벡터 차분 MV를 산출함으로써 부호화 난이도를 나타내는 파라미터 Kp를 산출한다. 또한, 블록경계에서는, 해당 매크로 블록의 IDCT 계수와 움직임 벡터 차분 MV를 그대로 부호화 난이도를 나타내는 파라미터 Kp로서 사용한다. 수직상관 검출회로(5)는, 블록경계에 따른 방향의 에지 상관의 강함을 검출한다. 파라미터 Kp는, 부호화 난이도가 높을수록 커지도록, 0 내지 1의 범위 내에 다단계로 설정한다.
즉, 입력 휘도 신호는, 에지 추출부의 HPF(하이패스 필터)에 입력되어, 에지요소의 검출을 위해 2차 미분을 한다. 예를 들면 라플라시언을 사용하여, 에지요소의 추출을 한다. HPF에서 에지 추출된 신호는, 최대치 추출부에 입력된다. 여기서는, 다음 단계의 2치화부에서 필요한 임계치를 구하기 위해서, 블록경계를 사이에 둔 에지 추출 블록 내에 있어서 최대치의 검출을 한다. 2치화부에서는, 최대치 추출부에서 구하여진 임계치와, HPF에서 에지요소 추출된 신호가 입력되어, 임계치를 바탕으로 신호의 2치화를 행한다. 이들 HPF, 에지 추출부, 최대치 추출부, 및 2치화부에 관해서는 뒤에 기술한다.
수직상관 검출회로(5)에서는, 이렇게 하여 추출된 에지성분의 블록경계에 있어서의 수직상관의 강도를 구한다. 이 때의 수직상관의 강도를 구하는 방법의 일 예를 도 6을 사용하여 설명한다.
이 도 6에 있어서, 주목하는 블록경계를 포함하는 영역b와 그 근방의 영역a 및 c로 분할한다. 먼저 추출한 에지성분의 수를 각 영역마다 산출한다. 이들을 Ea, Eb, Ec로 한다. 도 6에 있어서, 에지로서 추출된 화소를 1이라 기록하고, 에지가 아니라고 판별된 화소를 0으로 기록하고 있다. 본 예에서는, Ea=5, Eb=12, Ec=5로 된다.
또한, 이 수직상관 검출회로(5)는, 검출한 수직상관의 강도를, 블록 왜곡 판정회로(6)에 출력하는 경우뿐만 아니라, 상관검출의 강도를 부호화할 때의 난이도로서 블록 왜곡 보정회로(7)에도 출력하여도 된다. 즉, 수직상관 검출회로(5)에서 검출되는 수직상관이 클수록 부호화를 행하는 난이도가 높다고 간주하고, 수직상관에 따른 파라미터를 블록 왜곡 보정회로(7)에 출력하여, 블록 왜곡 보정회로(7)에서 산출한 보정치에 해당 파라미터를 승산(乘算)처리한다.
블록경계를 포함하는 영역과 그렇지 않은 영역에 있어서의 에지성분의 수의 비 Kv를 구하여, 클래스 구분을 한다.
예를 들면,
Kv≥4일 때, 클래스 1
2≤Kv＜4일 때, 클래스 2
1≤Kv＜2일 때, 클래스 3
Kv＜1일 때, 클래스 4
로 한다. 도 16의 예에서는,
Kv = (2 ×12)/(5 + 5)
2.4
이기 때문에 클래스(2)가 된다.
다음으로, 블록 왜곡 판정회로(6)의 역할에 관해서 설명한다. 각 클래스에 따라서 가중 계수 Kc를 할당한다. 이 각 클래스마다의 가중 계수 Kc로서는, 예를 들면,
클래스 가중 계수 Kc
1 1
2 0.75
3 0.5
4 0.25
로 하는 것을 들 수 있다.
그러므로, 블록 경계부의 수직상관이 강한 경우에는, 보정량이 커져 블록 왜곡의 제거를 효과적으로 할 수 있다. 요컨대, 블록 왜곡의 검출 정밀도를 높이게 된다.
블록 왜곡 판정회로(6)는, 도 1에 도시된 바와 같이, MPEG 디코더(2)로부터 디코드 처리가 실시된 화상 데이터가 입력된다.
여기서, 블록 왜곡을 판정할 때에 사용되는 화소에 관해서, 도 7을 참조하면서 설명한다. 이 도 7의 예에서는, 예를 들면, 블록 부호화에 DCT 부호화가 사용되고, 8×8화소로 DCT 블록을 구성하는 경우의 처리대상의 구체예를 도시하고 있다. 즉, 도면 중의 좌우의 DCT 블록(51L, 51R)의 블록경계에서 좌측 및 우측에 각각 5화소씩이 블록 왜곡 감소처리에 사용되고, 블록경계에서 4화소씩이 보정범위로 될 때, 에지추출 블록(52)은 블록경계를 중심으로 하는 8×8화소의 블록이고, 블록 왜곡 보정처리 블록(53)은, 이 에지추출 블록(52) 내의 1라인 상의 8화소로 이루어지는 블록이다.
그리고, 이 블록 왜곡 판정회로(6)는, 블록 왜곡의 판정에 필요한 파라미터를 산출한다. 이 블록 왜곡 판정회로(6)는, 파라미터로서 경계차분 ｜tmp0｜, 액티비티 ｜tmp｜ 및 인접차분 ｜diff｜를 다음 계산식에 의해 구한다.
｜tmp0｜=｜f­e｜
｜tmp｜=(｜b­a｜+｜c­b｜+｜d-c｜+｜e­d｜
+｜g­f｜+｜h­g｜+｜i-h｜+｜j-i｜)/8
｜diff0｜=｜b­a｜
｜diff1｜=｜c-b｜
｜diff2｜=｜d-c｜
｜diff3｜=｜e-d｜
｜diff4｜=｜g-f｜
｜diff5｜=｜h-g｜
｜diff6｜=｜i­h｜
｜diff7｜=｜j­i｜
이들 계산식으로부터 분명한 바와 같이, 경계차분 ｜tmp0｜은, 도 7의 DCT 블록의 경계를 끼고 인접하는 화소 e, f간의 차분의 절대치이고, 액티비티 ｜tmp｜는, 블록 왜곡 처리블록(53)에 대한 각 인접 화소간(단 e, f간을 제외한다)의 차분의 절대치의 평균치이고, 인접차분 ｜diff｜는, 화소 c, d간, d, e간, f, g간, g, h간의 각 차분의 절대치이다. 그리고, 블록 왜곡 판정회로(6)는 이들 각 파라미터를 블록 왜곡 보정회로(7)에 출력한다.
블록 왜곡 판정회로(6)는, 부호화 난이도 평가회로(3)로부터의 파라미터 Kp, 파라미터 연산회로(4)로부터의 각 파라미터, 수직상관 검출회로(5)로부터의 가중 계수 Kc를 사용하여, 블록 왜곡의 유무를 판정한다. 또한, 이 블록 왜곡 보정회로(7)는, 블록 왜곡보정을 하는가 아닌가의 임계치 det_th를 갖고 있다.
구체적으로는, 이 블록 왜곡 판정회로(6)는, ｜tmp0｜>｜tmp｜가 만족되고 있을 때에는, 블록경계에 단차가 있다고 판정한다. 또한, 이 블록 왜곡 판정회로(6)는 ｜tmp0｜＜ det_th가 만족되고 있을 때에는, 블록경계에 에지가 없다고 판단한다. ｜tmp0｜≥｜diff3｜ 및 ｜tmp0｜≥｜diff4｜가 만족되고 있다고 판단한 때에는, 블록경계의 양측에 에지가 없는 것이라 판단한다.
또한, 이 블록 왜곡 판정회로(6)는 상술한 가중 계수 Kc 및 Kp를 사용하는 것으로, 블록 왜곡을 행하기 위한 임계치 det_th를 변경한다. 그리고, 이 블록 왜곡 판정회로(6)에서는, 상술한 바와 같이 판정한 결과에 따른 플래그를 세워, 블록 왜곡보정회로(7)를 제어한다.
블록 왜곡 보정회로(7)는, 블록 왜곡 판정회로(6)로부터의 플래그와 부호화 난이도 평가회로(3)로부터의 파라미터 Kp, 수직상관 검출회로(5)로부터의 가중 계수 Kc를 사용하여 블록 왜곡을 갖는 화상 데이터에 보정을 행하는 보정치를 산출한다. 또한, 이 블록 왜곡 보정회로(7)는, 블록 왜곡을 보정할 때에 사용하는 임계치를 corr_th로 하면, 화상의 성질, 특히 선형성에 근거하여, 인접차분에서 보정후의 경계단차 ｜step｜을,
｜step｜=｜diff3 + diff4｜/2
의 식으로부터 구한다. 그리고, 보정 후에 이것만의 경계단차 ｜step｜을 갖게 하기 위해서 필요한 보정량 ｜σ｜을,
｜σ｜=(｜tmp0｜-｜step｜)/2
에 의해 구한다. 여기서, 상기 경계차분 ｜tmp0｜을 소정의 임계치 corr_th에서 변별하여 보정의 강도를 전환하는 것이 바람직하고, 이 경우, ｜tmp0｜＜ corr_th 가 되어 보정의 강도를 강(强)(보정 강)으로 할 때, 보정량 ｜σ｜을,
｜σ｜=(｜tmp0｜-｜step｜)/2
로 하고, ｜tmp0｜≥ corr_th가 되어 보정 약(弱)인 때, 상기 보정량 ｜σ｜을 반으로 줄여서,
｜σ｜=(｜tmp0｜-｜step｜)/4
의 보정을 행한다. 또한, 블록 왜곡 보정회로(7)는, 이 ｜σ｜에 상술한 가중 계수 Kc, 파라미터 Kp를 승산처리하는 것으로, IDCT 계수, 움직임 벡터 차분 MV, 수직상관을 고려하여 보정량 ｜σ｜을 결정하여도 된다. 나아가, 블록 왜곡 보정회로(7)는, 상술한 임계치 corr_th를 상술한 Kc, Kp에 근거하여 변경시켜도 된다.
이것은, 상기 경계차분 ｜tmp0｜이 소정의 임계치 corr_th보다 큰 경우는, 사실은 블록경계에 에지가 존재하는데, 블록 왜곡판정에서 오류 판정된 가능성도 있으므로, 오류 보정을 회피하기 위해서 상기 보정의 강도를 강/약으로 전환하는 것이다.
그리고, 블록 왜곡 보정회로(7)는, 얻어진 보정치 ｜σ｜로부터 각 화소마다의 보정치를 구한다. 인접한 보정범위와의 연결된 곳을 매끄럽게 하기 위해서, 또한 블록 왜곡은 경계부근일수록 강하게 나타나는 사실로부터, 다음 식에 나타내는 바와 같이, 경계에서의 거리에 반비례한 보정치를 구한다.
구체적으로는, 도 6의 보정범위(53) 내의 각 화소 b 내지 i에 대한 각 보정치를 각각 ｜σb｜ 내지 ｜σi｜로 할 때, 상기 보정치 ｜σ｜를 사용하여,
｜σe｜=｜σ｜ , ｜σf｜=｜σ｜
｜σd｜=｜σ｜/2 , ｜σg｜=｜σ｜/2
｜σc｜=｜σ｜/4 , ｜σh｜=｜σ｜/4
｜σb｜=｜σ｜/8 , ｜σi｜=｜σ｜/8
과 같은 각 보정치를 각각 구한다.
그리고, 블록 왜곡 보정회로(7)는, 각 화소 b 내지 i마다의 보정치 ｜σb｜내지 ｜σi｜를 사용하여, 블록 왜곡 보정된 영상신호(화상 데이터) SBb 내지 SBi를 구한다.
구체적으로는, 블록 왜곡 보정회로(7)는, 보정전의 각 화소 b 내지 i의 입력 화상 데이터를 Sb 내지 Si로 할 때, 상기 tmp0의 음 양에 따라서, 보정된 화상 데이터 SBb 내지 SBi를,
tmp0 ≥ 0 : SBb=Sb+｜σb｜, tmp0 ＜ 0 : SBb=Sb-｜σ b｜
tmp0 ≥ 0 : SBc=Sc+｜σc｜, tmp0 ＜ 0 : SBc=Sc-｜σ c｜
tmp0 ≥ 0 : SBd=Sd+｜σd｜, tmp0 ＜ 0 : SBd=Sd-｜σ d｜
tmp0 ≥ 0 : SBe=Se+｜σe｜, tmp0 ＜ 0 : SBe=Se-｜σ e｜
tmp0 ≥ 0 : SBf=Sf-｜σf｜, tmp0 ＜ 0 : SBf=Sf+｜σf｜
tmp0 ≥ 0 : SBg=Sg-｜σg｜, tmp0 ＜ 0 : SBg=Sg+｜σg｜
tmp0 ≥ 0 : SBh=Sh-｜σh｜, tmp0 ＜ 0 : SBh=Sh+｜σh｜
tmp0 ≥ 0 : SBi=Si-｜σi｜, tmp0 ＜ 0 : SBi=Si+｜σi｜
로 하는 것과 같은 보정을 MPEG 디코더(2)로부터의 화상 데이터에 대하여 한다.
따라서, 이러한 블록 왜곡 감소장치(1)에서는, MPEG 디코더(2)로부터 IDCT계수, 움직임 벡터 차분 MV를 사용하여 부호화 난이도를 나타내는 파라미터 Kp를 사용하여, 블록 왜곡의 판정 및 블록 왜곡의 보정을 할 수 있기 때문에, 안정된 블록 왜곡의 감소 혹은 제거를 도모할 수 있고, 나아가, 블록 왜곡판정 때의 오류 판정을 방지할 수가 있다.
도 8은, 제2 실시예가 되는 블록 왜곡 감소장치(10)의 개략적 구성을 도시하는 블록도이다. 또, 블록 왜곡 감소는, 블록 왜곡 제거, 블록 잡음 제거 등이라고도 일컬어진다.
이 도 8에 있어서, 입력단자(11, 12)에는, 블록 부호화를 포함하는 화상부호화가 실시된 후에 복호된 영상신호 혹은 화상 데이터의 크로마신호, 휘도신호가 각각 공급된다. 이 블록 부호화를 포함하는 화상부호화의 구체적인 예로서는, 소위 MPEG의 부호화 규격을 들 수 있다. 이 MPEG란, ISO/IEC JTC1/SC29(International Organization for Standadization / International Electrotechnical Commission, Joint Technical Committee 1 / Sub Committee 29 : 국제표준화기구 / 국제전기표준회의 합동기술위원회 1 / 전문부회 29)의 동화상 압축 부호화의 검토조직(Moving picture experts group)의 약칭이고, MPEG(1) 표준으로서 ISO11172가, MPEG(2) 표준으로서 ISO13818이 있다. 이들 국제표준에 있어서, 멀티미디어 다중화 항목으로 ISO11172-1 및 ISO13818­1이, 영상 항목으로 ISO11172­2 및 ISO13818­2가, 또한 음성 항목으로 ISO11172­3 및 ISO13818­3이 각각 표준화되어 있다.
여기서, 화상압축 부호화 규격으로서의 ISO11172­2 또는 ISO13818­2에 있어서는, 화상신호를 픽처(프레임 또는 필드)단위로, 화상의 시간 및 공간방향의 상관을 이용하여 압축 부호화를 하고 있고, 공간방향의 상관의 이용은, 블록 DCT 부호화를 사용하는 것으로 실현하고 있다.
이와 같이, 예를 들면 블록 DCT 부호화를 포함하는 압축 부호화가 실시되고, 시리얼 전송되거나 기록 재생된 후에, 디코더 측에서 역DCT된 영상신호데이터(화상 데이터)의 크로마(색)성분 및 휘도성분이 도 8의 크로마신호 입력단자(11) 및 휘도신호 입력단자(12)에 각각 공급된다.
크로마신호 입력단자(11)에 공급된 입력 화상 데이터의 크로마(색)성분은, 지연회로(14)를 개재시켜 크로마신호 출력단자(40)로부터 추출된다. 지연회로(14)는, 휘도성분에 대한 블록 왜곡 감소처리가 실시되는데 요하는 시간을 지연시켜, 출력되는 휘도성분과 크로마성분과의 타이밍을 맞추기 위한 것이다.
HD·VD 입력단자(13)에는, 수평동기신호 및 수직동기신호가 입력되어, 제어신호 발생부(26)에 보내어지고, 각 회로에서 필요한 타이밍신호가 작성된다.
단자(12)로부터 입력된 휘도신호는, 보정신호 산출부(15)와, 파라미터 산출부(16)와, 에지 추출부(17)와, 전환선택 스위치(19)와, 움직임(이동) 검출부(20)에 보내어진다.
보정신호 산출부(15)에 있어서, 상기 입력된 휘도신호가 가산기(31) 및 보정치 산출부(32)에 보내지고 있다. 보정치 산출부(32)에서는, 경계의 양옆의 화소의 인접차분으로부터 보정후의 경사를 예측하여 보정치를 구하고, 또한, 블록 왜곡 판정부로부터의 보정 강/약 정보에 근거하여 이에 따른 보정을 구하며, 나아가 경계의 거리에 반비례한 각 화소마다의 보정치를 구한다. 이 보정치 산출부(32)로부터의 보정치를 가산기(31)에 보내고 상기 입력 휘도 신호와 가산하고 있다.
또한, 입력 휘도 신호는, 에지 추출부(17)의 HPF(하이패스 필터)(34)에 입력되어, 에지요소의 검출을 위해 2차 미분을 한다. 이 제2 실시예에서는, 예를 들면 라플라시언을 사용하여, 에지 요소의 추출을 행한다. HPF(34)로 에지 추출된 신호는 최대치 추출부(35)에 입력된다. 여기서는, 다음 단계의 2치화 회로(36)에서 필요한 임계치를 구하기 위해서, 블록경계를 사이에 둔 에지추출 블록 내에 있어서 최대치의 검출을 한다.
2치화 회로(36)에서는, 최대치 추출부(35)에서 구하여진 임계치와, HPF(34)에서 에지요소 추출된 신호가 입력되어, 임계치를 근거로 신호의 2치화를 행한다. 하프변환부(37)에서는, 2치화된 신호를 바탕으로, 블록경계를 사이에 두는 에지추출 블록 내에서 하프변환을 하며, 이에 의해 에지요소를 파라미터공간(ρ, θ)에 사상(寫像)함으로써, 블록 내의 직선(ρ0, θ0)을 구한다. 구하여진 ρ0, θ0은 블록 왜곡 판정부(18)에 입력된다.
또한, 단자(12)로부터의 상기 입력 휘도 신호는, 파라미터 산출부(16)의 파라미터 연산회로(33)에 입력되어, 블록 왜곡 판정부(18)에서 필요한 보정블록 내의 파라미터를 구한다.
또한, 상기 입력 휘도 신호는, 움직임 검출부(20)의 메모리(22)에 입력되어, 메모리 컨트롤러(21)로부터의 제어에 의해서 기입이 행하여진다. 메모리 컨트롤러(21)에 의해서, 메모리로부터 판독된 전(前)필드의 휘도신호는, 패턴 매칭부(23)에 입력되어, 한쪽에서 입력된 휘도신호와 패턴 매칭이 행하여진다. 이 패턴 매칭의 연산결과는 움직임 벡터 판정부(24)에 입력되어 움직임의 크기를 판단할 수 있다. 여기서, 구하여진 움직임의 유무는 블록 왜곡 판정부(18)에 입력된다. 또한, 이 움직임 검출부(20)에서는, 움직임 벡터 MV를 검출함으로써, 움직임 벡터 MV에 근거하여 부호화의 난이도를 나타내는 파라미터로서 블록 왜곡 판정부(18) 및 보정치 산출부(32)에 출력하여도 된다.
블록 왜곡 판정부(18)에서는, 에지 추출부로부터의 블록 내의 직선성분(ρ0, θ0)과 파라미터 연산부에서의 보정 블록 내의 파라미터와 움직임 검출부에서의 움직임의 크기를 사용하여, 블록 왜곡인가 아닌가의 판정, 블록 왜곡 보정치를 제어하여 사용하는가(약) 아닌가(강)의 판정을 하고, 이 보정 강/약 신호를 보정신호 산출부(15)의 보정치 산출부(32)에 보내고, 또한 보정 ON/OFF 신호를 전환선택 스위치(셀렉터)(19)의 컨트롤 단자에 보낸다.
또한, 상기 입력 휘도 신호는, 보정신호 산출부(15)의 가산기(31)에 입력되어, 휘도신호와 보정치 산출부(32)로부터 구한 보정치를 가산함으로써, 블록 왜곡 제거 된 신호가 구해지고, 전환선택 스위치(셀렉터)(19)로 보내어진다.
셀렉터(19)에서는, 블록 왜곡 판정부(18)로부터의 블록 왜곡 ON/OFF 신호에 따라서, 입력된 휘도신호를 그대로 출력하는가, 보정된 신호를 출력하는가를 선택한다.
한편, 입력된 크로마신호는 지연회로(14)에 입력되어, 보정회로를 통과하는 휘도신호와의 지연을 맞춘다.
또, 셀렉터(19)를 사용하지 않고, 블록 왜곡 판정부(18)로부터의 블록 왜곡 ON/OFF 신호가 OFF인 경우에는 보정치 산출부(32)로부터의 출력인 보정신호를 0으로 하는 방법을 사용하여도 된다.
또, 이 도 8에 도시된 제2 실시예에 관련되는 노이즈 제거장치에서는, 휘도신호에 관해서만 블록 왜곡 감소처리를 실시하는 것을 상정하고 있지만, 크로마신호에 관해서도 같은 처리를 실시할 수 있다.
그런데, 상술한 도 8의 구성의 블록 왜곡 감소장치(10)는, 예를 들면 도 9에 도시된 바와 같은 비디오 CD플레이어의 블록 왜곡 감소회로(107)로서 사용할 수 있다.
이 도 9에 있어서, 비디오 CD나 CD-ROM 등의 디스크(101)로부터, 광(光) 픽업(102)에 의해 판독된 RF 신호는, RF 증폭기(103)에 입력된다. 여기서 증폭된 RF 신호는, EFM(8-14변조) 복조회로(104)로 복조되어, 시리얼 데이터로서, 디스크기록 포맷의 디코더인 예를 들면 CD-ROM 디코더(105)로 들어간다.
CD-ROM 디코더(105)에서는, 시리얼 데이터로부터 예를 들면 MPEG 비트 스트림 신호로 변환하여, MPEG 디코더(106)로 보낸다. 이 MPEG는, 상술한 바와 같이, 화상의 시간 및 공간방향의 상관을 이용하여 압축 부호화를 하는 것이고, 공간방향의 상관성을 이용하기 위해서 블록 DCT 부호를 채용하고 있다. MPEG 디코더(106)에서는, 예를 들면 MPEG(1) 포맷에 따라 복호를 하고 있고, 이 복호 때에, 역양자화기(161)에 의한 역양자화 처리 후에 역DCT회로(162)에 의한 역DCT 처리를 실시한다. 나아가, 필요에 따라서 보간 등의 처리를 한 후 출력한다.
MPEG 디코더(106)로부터 출력된 영상신호는, 노이즈 감축기로서의 블록 왜곡 감소회로(107)에 입력되지만, 여기서의 신호는 MPEG(1)에서의 압축/신장에 의한 노이즈가 포함되어 있으므로, 블록 왜곡 감소회로(107)에서 이들 노이즈 제거를 행한다. 이 블록 왜곡 감소회로(107)로서, 상술한 도 9에 도시된 바와 같은 본 발명의 실시예가 적용된다.
블록 왜곡 감소회로(107)에서의 처리 후, NTSC 인코더(108)에서 동기신호의 부가, 크로마신호의 변조 등을 행하여 NTSC 영상신호를 생성한다. 이 NTSC 영상신호가 D/A 변환기(109)를 개재시켜 출력단자(110)에 출력된다.
블록 왜곡 감소회로(107)와 관련하여, 마이크로 컴퓨터 등을 사용한 제어회로(111)가 설치되고, 제어회로(111)에 대한 조작부(112)로부터의 제어신호가 공급된다. 조작부(112)에는, 노이즈 축소, 예를 들면 블록 왜곡감소의 제어스위치가 설치되어 있고, 블록 왜곡감소의 온/오프의 전환이 이루어진다. 제어회로(111)는, 블록 왜곡 감소회로(107)의 다른 회로, 예를 들면 MPEG 디코더(106)의 제어에도 사용되는 것이 많다.
다음으로, 상기 도 8의 구성의 블록 왜곡 감소장치(10)에 있어서의 블록 왜곡 감소처리의 알고리즘에 관해서, 더욱 상세히 설명한다.
도 10은, 본 발명의 실시예가 되는 블록 왜곡 감소방법의 알고리즘을 설명하기 위한 흐름도를 도시하고 있다. 이 도 10의 예에서는, H(수평)방향에 대한 처리의 알고리즘을 나타내고 있지만, V(수직)방향에 대한 블록 왜곡감소 알고리즘은, H방향의 처리가 V방향으로 변하는 것 이외는 같기 때문에 설명을 생략한다.
이 도 10에 있어서, 최초의 스텝 ST41에서는, H방향의 모든 블록경계에 관해서, 블록 왜곡 감소처리가 종료하였나 아닌가를 판별하고 있고, YES의 경우는 처리를 종료하며, NO의 경우에 다음 스텝 ST42로 진행한다.
여기서, 블록 왜곡 감소처리를 위해 사용되는 화소에 관해서는, 상술한 제1 실시예로 설명한 도 7과 같다. 그리고, 상기 도 10의 최초의 스텝 ST41에서는, 블록 왜곡 보정처리가 모든 보정처리 블록(53)에 관해서 행하여졌는가 아닌가를 판단하고 있다.
다음의 스텝 ST42에서는, 블록 왜곡인가 아닌가의 판정에 필요하다고 여겨지는 파라미터로서의 경계차분｜tmp0｜, 액티비티｜tmp｜ 및 인접차분 ｜diff｜를, 상술한 제1 실시예와 같은 계산식에 의해 구한다.
다음으로, 스텝 ST43에 있어서, 보정처리 블록에 대응하는 상기 에지추출 블록(52) 내의 에지추출을 하여, 직선성분(ρ0, θ0)을 구한다. 이 에지추출 처리의 상세한 것에 관해서는, 나중에 설명한다.
다음으로, 스텝 ST44로 진행하여, 보정처리 블록을 사이에 두는 상기 2개의 DCT 블록(51L, 51R)에 관해서, 움직임의 크기를 조사한다. 이 움직임 검출동작의 상세한 것에 관해서는, 나중에 설명한다.
다음으로, 스텝 ST45a에서는, 상기 각 스텝 ST42, ST43, ST44에서 구한 파라미터, 직선성분(ρ0, θ0), 및 움직임의 크기를 사용하여, 이 블록경계에 블록 왜곡이 있는지 어떤지의 판정과 보정 강도의 판정처리를 한다. 이 블록 왜곡 판정처리의 일 예에 관해서는, 나중에 설명한다.
다음 스텝 ST45b에서, 블록 왜곡이 있다고 여겨지면 스텝 ST46a로 진행하고, 블록 왜곡이 없다고 여겨지면 스텝 ST48로 진행한다.
블록 왜곡이라고 판정되면, 스텝 ST46a로 진행하여, 화상의 성질, 특히 선형성에 근거하여, 인접차분으로부터 보정 후의 경계단차｜step｜을, 제1 실시예와 같이,
｜step｜=｜diff3 + diff4｜/2
의 식으로부터 구한다. 그리고, 보정 후에 이것만의 경계단차｜step｜을 갖게 하기 위해서 필요한 보정량 ｜σ｜을,
｜σ｜=(｜tmp0｜-｜step｜)/2
에 의해 구한다. 여기서, 상기 경계차분｜tmp0｜을 소정의 임계치 corr_th에서 변별하여 보정의 강도를 전환하는 것이 바람직하고, 이 경우, ｜tmp0｜＜ corr_th가 되어 보정의 강도를 강(보정 강)으로 할 때, 보정량｜σ｜을,
｜σ｜=(｜tmp0｜-｜step｜)/2
로 하고, ｜tmp0｜≥corr_th가 되어 보정 약일 때, 상기 보정량｜σ｜을 반으로 줄여서,
｜σ｜=(｜tmp0｜-｜step｜)/4
의 보정을 행한다.
다음의 스텝 ST46b에서는, 얻어진 보정치｜σ｜로부터, 각 화소마다의 보정치를 구한다. 옆 보정범위와의 이은 곳을 매끄럽게 하기 위하여, 또한 블록 왜곡은 경계 부근일수록 강하게 나타나는 것으로부터, 상술한 제1 실시예와 같이, 경계에서의 거리에 반비례한 보정치를 구한다.
구체적으로는, 도 7의 보정범위(53) 내의 각 화소 b 내지 i 에 대한 각 보정치를 각각 ｜σb｜ 내지 ｜σi｜로 할 때, 상기 보정치｜σ｜를 사용하여,
｜σe｜=｜σ｜ , ｜σf｜=｜σ｜
｜σd｜=｜σ｜/2 , ｜σg｜=｜σ｜/2
｜σc｜=｜σ｜/4 , ｜σh｜=｜σ｜/4
｜σb｜=｜σ｜/8 , ｜σi｜=｜σ｜/8
과 같은 각 보정치를 각각 구한다.
다음의 스텝 ST46c에서는, 상기 스텝 ST46b에서 구해진 각 화소 b 내지 i마다의 보정치 ｜σb｜ 내지 ｜σi｜를 사용하여, 블록 왜곡 보정된 영상신호(화상 데이터) SBb 내지 SBi를 구한다.
구체적으로는, 보정전의 각 화소 b 내지 i의 입력 화상 데이터를 Sb 내지 Si로 할 때, 상기 tmp0의 음 양에 따라서, 보정된 화상 데이터 SBb 내지 SBi를,
tmp0≥0 : SBb=Sb+｜σb｜ , tmp0 ＜ 0 : SBb=Sb-｜σ b｜
tmp0≥0 : SBc=Sc+｜σc｜ , tmp0 ＜ 0 : SBc=Sc-｜σ c｜
tmp0≥0 : SBd=Sd+｜σd｜ , tmp0 ＜ 0 : SBd=Sd-｜σ d｜
tmp0≥0 : SBe=Se+｜σe｜ , tmp0 ＜ 0 : SBe=Se-｜σ e｜
tmp0≥0 : SBf=Sf-｜σf｜ , tmp0 ＜ 0 : SBf=Sf+｜σf｜
tmp0≥0 : SBg=Sg-｜σg｜ , tmp0 ＜ 0 : SBg=Sg+｜σg｜
tmp0≥0 : SBh=Sh-｜σh｜ , tmp0 ＜ 0 : SBh=Sh+｜σh｜
tmp0≥0 : SBi=Si-｜σi｜ , tmp0 ＜ 0 : SBi=Si+｜σi｜
로 하는 것과 같은 보정을 행한다.
다음의 스텝 ST47에서는, 이와 같이 블록 왜곡 보정처리된 신호를 출력한다.
상기 스텝 ST45b에서 블록 왜곡이 아니라고 판정되면, 스텝 ST48로 진행하여, 보정범위의 원신호를 그대로 출력한다.
다음으로, 상기 스텝 ST43에 있어서의 에지검출 처리동작의 일 예에 관해서, 도 11을 참조하면서 설명한다.
도 11의 최초의 스텝 ST61에서는, 에지요소 추출을 위해, 에지추출 블록 내의 입력신호에 대하여, 2차원 HPF(하이패스 필터), 예를 들면 라플라시언 필터를 적용하고 있다.
이 2차원의 라플라시언 필터로서는, 예를 들면 도 12의 계수와 같은 것을 들 수 있으나, 이 도 12의 예에 한정되는 것이 아니며, 또한 예를 들면, Sobel 오퍼레이터, Prewitt 오퍼레이터, Kirsch 오퍼레이터, Robinson 오퍼레이터 등의 여러 가지 변형을 생각할 수 있다.
다음으로, 스텝 ST62로 진행하여, 상기 HPF를 적용한 블록 내 신호의 최대치 Max를 검출하고, 다음의 스텝 ST63에서 이 최대치 Max에 근거하는 임계치 Thresh(예를 들면 Thresh=Max/2)를 사용하여 2치화를 하고, 에지요소를 추출한다. 즉 이 2치화는, 입력신호 Sin>Thresh인 때, 출력신호 Sout=1로 하여, Sin≤ Thresh인 때, Sout=0으로 하는 것과 같은 처리이다.
다음으로, 스텝 ST64로 진행하여, 추출된 에지요소에, 하프변환을 하여, 파라미터공간(ρ, θ)에 사상한다. 이 하프변환은, 블록 내의 에지요소(x, y)를 파라미터공간(ρ, θ)에,
xcosθ+ysinθ=ρ
의 식에 의해 사상하는 것이다.
다음의 스텝 ST65에서, 이 파라미터 공간에서 많은 점이 모이는 (ρ0, θ0)을 검출한다. 이 (ρ0, θ0)을 통과하는 직선이 에지추출 블록 내에서 검출된 직선 에지라는 것으로 되어, 스텝 ST66에서 파라미터(ρ, θ)를 출력하고 있다.
다음으로, 상기 도 10의 스텝 ST44에서의 움직임 검출처리의 동작의 일 예에 관해서, 도 13을 참조하면서 설명한다.
이 도 13의 움직임 검출처리에 있어서는, 상기 도 7에서 처리하는 보정블록의 블록경계를 사이에 두는 좌우의 DCT 블록(51L, 51R)에 관해서, 패턴 매칭을 한다.
패턴 매칭은 DCT 블록 내의 모든 화소에 관해서, 동일위치의 전(前) 필드의 화소를 메모리로부터 판독하여(스텝 ST72), 다음 식(1)에 나타내는 연산식 처리를 하고(스텝 ST73), 메모리에 현 필드의 화소를 기입한다(스텝 ST74).
이 수학식 1에 있어서, Sn(i, j)은, n필드에 있어서의 위치(i, j) 화소의 휘도신호를 나타내고, BLK_H, BLK_V는, 각각 H, V방향의 DCT 블록 사이즈를 나타내고 있다.
이들 스텝 ST72 내지 ST74의 처리에 관해서, DCT(M×N)블록 내의 모든 화소에 관해서, 처리가 끝났는가 아닌가를 최초의 스텝 ST71에서 판별하여, YES일 때(처리가 종료하였을 때)에는 스텝 ST75로 진행하고, 상기 식(1)에서 구한 Cr의 값에 따라서, 움직임 판정을 행하고 있다.
이 스텝 ST75의 움직임 판정으로서는, 상기 Cr의 값에 대하여 소정의 임계치 mov_thL, mov_thH(단 mov_thL＜mov_thH)를 설정하고,
Cr＜mov_thL 일 때, 움직임 소
mov_thL≤Cr＜mov_thH 일 때, 움직임 중
mov_thH≤Cr 일 때, 움직임 대
와 같은 판정을 행하는 것을 들 수 있다.
또, 이 도 13의 예에서는, 패턴 매칭을 DCT 블록 내의 모든 화소에 관해서 행하였지만, 이 예에만 한정되는 것이 아니라, 예를 들면, LPF를 적용하여, 2, 4화소의 솎아냄(추출) 처리를 한 후, 솎아내어진 화소에 대하여 패턴 매칭을 하는 등의 변형도 생각할 수 있다.
또한, 도 13의 예에서는, 움직임의 크기를 구하는 수단으로서, 동일위치의 DCT 블록에 대한 패턴 매칭을 사용하였으나, 이 예에만 한정되는 것이 아니고, 예를 들면, 움직임 보상범위 내의 모든 시행 벡터에 관해서 패턴 매칭 C(k)를 비교하여, 최소의 C(k)를 주는 시행벡터를 움직임 벡터로서 움직임의 유무를 구하는 변형이나, 대표점 매칭을 하는 등의 변형도 생각할 수 있다.
다음으로, 상기 도 10의 스텝 ST45a, ST45b에 있어서의 블록 왜곡 판정동작의 일 예에 관해서, 도 14를 참조하여 설명한다.
이 도 14에 도시된 예에 있어서는, 파라미터 판정과 움직임 검출에 의한 판정을 조합하여 사용하고 있다.
우선, 상기 도 7의 보정 처리 블록의 블록경계를 사이에 두는 좌우의 DCT 블록(51L, 51R)에 관해서, 상술한 바와 같은 패턴 매칭을 하여 움직임의 크기를 조사하고, 스텝 ST81에서, 검출된 움직임이 작은가 아닌가를 판별한다. 양쪽의 DCT 블록(51L, 51R) 내의 움직임이 작다고 여겨지면, 양자화 오차는 없다고 판단하여, 스텝 ST86으로 진행하고, 블록 왜곡 보정을 하지 않고서 처리를 종료한다.
스텝 ST81에서 NO, 즉 움직임이 작지 않을 때에는, 다음의 스텝 ST82로 진행하여, 직선 에지가 블록경계 상에 존재하는가 아닌가를 판별한다. 이 때, ρ0=에지추출 블록 사이즈/2, θ0=π/2로 한다. 스텝 ST82에서 경계 상에 있다고 판별되면, 강한 블록 왜곡이 있다고 여겨, 스텝 ST88로 진행하여 블록 왜곡(강)의 보정을 한다.
스텝 ST82에서 NO로 판별되면, 스텝 ST83로 진행하여, 상기 도 6의 좌우의 DCT 블록(51L, 51R)경계의 근방영역(에어리어) 내를 직선 에지가 통과하는가 아닌가를 판별한다. 통과하면, 약한 블록 왜곡이 있다고 해서, 스텝 ST87로 진행하여 블록 왜곡(약)의 보정을 한다.
스텝 ST83에서 NO로 판별되었을 때에는, 파라미터를 사용하여 블록 왜곡의 판정을 하여, 보정 강인지(스텝 ST84), 보정 약인지(스텝 ST85)의 판별을 행한다. 보정 강이라고 판별되었을 때에는 스텝 ST88로 진행하고, 보정 약이라고 판별되었을 때에는 스텝 ST87로 진행한다. 그 이외는, 보정 OFF라고 여겨져, 스텝 ST86로 진행한다.
여기서, 상기 블록 왜곡판정의 일 예를 설명하면, 상기 파라미터 ｜tmp0｜, ｜tmp｜ 및 ｜diff｜에 근거하여, 다음과 같은 조건판별을 행함으로써 블록 왜곡인지 여부의 판정을 한다. 이 판정조건은,
(1) 주변과 비교하여 돌출한 단차인가 아닌가.
: 경계차분｜tmp0｜ > 액티비티｜tmp｜
(2) 직류성분 및 저주파 성분의 양자화 오차에 의한 단차인가, 즉, 블록 왜곡에 의한 단차인가 아닌가.
: 경계차분｜tmp0｜ ＜ 임계치 div_th
여기서, 임계치 div_th로서는, 제2 실시예에서는 고정치를 사용하였으나, 각 블록의 양자화 스텝 사이즈의 최대치에 비례한 값을 사용할 수도 있다.
(3) 경계의 양 옆에 경계 단차보다 큰 단차가 없는지, 즉, 경계의 양옆에 에지가 없는지의 여부.
: 인접 차분｜diff3｜≤경계 차분｜tmp0｜
또한, 인접 차분｜diff4｜≤경계 차분｜tmp0｜
의 3개이다.
이들 3개의 판정조건 전부가 만족되면, 블록 왜곡이 있게 된다. 또한, 보정의 강도는, 상기 경계 차분 ｜tmp0｜이 소정의 임계치 corr_th보다 작은지의 여부에 따라서 결정하고 있으며,
｜tmp0｜＜ corr_th 일 때, 보정 강
｜tmp0｜≥ corr_th 일 때, 보정 약
단, corr_th＜div_th
로 하고 있다.
여기서, 상기 각 임계치 div_th, corr_th의 값은, 상기 움직임 검출처리에 의해 얻어진 움직임이 크기에 따라서 적응적(adaptive)으로 변화시키는 것이 바람직하다. 예를 들면,
움직임 대(大)일 때, div_th = div_th (정수)
corr_th = corr_th (정수)
움직임 중(中)일 때, div_th = div_th/2
corr_th = corr_th/2
로 하면 된다.
또, 움직임 검출처리에 있어서의 움직임의 크기는, 대/중/소의 3단계에만 한정되는 것이 아니며, 상기 각 임계치 div_th, corr_th의 값도 상기 움직임 대/중의 2단계에 한정되지 않고, 더욱 세밀한 단계로 변화시키도록 해도 된다.
다음에, 상기 도 11을 참조하여 설명한 에지 추출 처리방법으로서는, 상술한 하프 변환을 이용하지 않고서, 이하에 설명하는 바와 같은 간편한 방법으로도 할 수 있다.
이 간편한 에지 추출의 경우의 동작을 설명하기 위한 흐름도를 도 15에 도시하며, 이 에지 추출을 이용하는 경우의 블록 왜곡 저감장치의 개략 구성의 블록도를 도 16에 도시한다.
이 예에 있어서는, 먼저, 도 15의 스텝 ST91에 나타내는 바와 같이, 에지 추출을 1차원(수평방향)의 2차 미분(BPF:밴드패스 필터)에 의해 행하고 있다. 2차 미분 특성의 전달함수 H(z)로서는, 예를 들면,
H(z)=(-1 + 2z-1 -z-2)/4
을 들 수 있다.
2차 미분 신호의 절대치를 잡은 후, 스텝 ST92에서는 처리 블록 내에서 최대치의 검출을 행하고, 이 최대치를 사용하여 다음 스텝 ST93에서 BPF 처리화상의 2치화를 행하여, 에지 검출을 한다. 2치화할 때의 임계치는 상술한 예와 마찬가지로, 예를 들면 블록 내에서 2차 미분 및 절대치 처리하여 얻은 최대치의 1/2로 하면 된다.
도 16의 에지 추출부(17’)에서는 단자(12)로부터의 휘도 신호 입력을, BPF(34’)에서 상술한 바와 같이 2차 미분하고, 절대치화 회로(38)에서 절대치를 잡으며, 최대치 검출회로(35)에서 최대치를 검출하고 있다. 그리고, 최대치 검출회로(35)로부터의 임계치를 2치화 회로(36)로 보내며, 절대치화 회로(38)로부터의 신호를 2치화하고 있다. 2치화 회로(36)로부터의 출력은 수직 상관 검출부(39)로 보내진다.
또, 도 16의 다른 구성 및 동작은, 상술한 도 8의 예와 동일하므로 대응하는 부분에는 동일한 지시부호를 붙여서 설명을 생략한다. 또한, 수직상관 검출부(39)는, 도 1의 제1 실시 형태에서 설명한 수직상관 검출회로(5)와 같은 동작이다.
본 예에서는, 클래스 및 보정 단계를 각각 4 및 3단계로서 설명하였지만, 특히 이것에 한정되지 않는다. 또한, 예를 들면 수직상관을 검출하는 것으로 산출되는 보정량의 가중 계수 Kc를 아래 식으로 구해도 된다.
Kc = Eb/(Ea+Eb+Ec)
또한, 수직상관 검출부(39)로부터 얻은 클래스에 의해, 블록 왜곡 판정부의 검출의 임계치인 div_th의 값을 제어해도 된다. 예를 들면, 수직상관이 약할수록, 블록 왜곡일 가능성이 낮기 때문에, 검출의 임계치 div_th의 값을 크게 하여, 검출하기 어려운 방향으로 제어한다.
또, 본 발명의 실시 형태에 있어서의 에지 추출부, 보정 신호 산출부, 블록 왜곡 판정 파라미터 산출부 등에 관해서는, 상술한 바와 같은 알고리즘을 이용하였지만, 이들 알고리즘에만 한정되는 것이 아니라, 예를 들면, 보정신호 산출부에는 LPF를 이용하거나, 에지 추출부에는 에지 추적에 의한 에지 추출법 등의 여러 가지 에지 추출법, 블록 왜곡 판정부에는 여러 가지 파라미터를 이용하는 것과 같은 여러 가지 변형이 생각된다.
또한, 상술한 실시 형태는 휘도 신호의 수평방향에 대하여 블록 왜곡 보정을 실시하는 예이지만, 이 예에만 한정되는 것이 아니라, 예를 들면, 수직방향이나 색 신호에 블록 왜곡 보정을 실시하는 것과 같은 여러 가지 변형이 생각된다.
블록 왜곡 판정회로(6)가 블록 왜곡인지의 여부를 판단할 때에 있어서, 상술한 제1 실시 형태 및 제2 실시 형태에서 나타낸 판정조건의 외에, 적응적으로 판정조건을 추가하여 블록 왜곡을 행할 때의 일 예에 대해서 설명한다. 또, 아래의 설명에 있어서는, 상술한 제1 실시 형태에 대한 블록 왜곡 판정회로(6)로 설명한다.
여기서, 블록 왜곡 판정회로(6)에 있어서, 예를 들면 도 17에 도시된 바와 같이, diff0 내지 diff7까지 모두가 음의 값을 잡고 tmp0만이 양의 값을 잡을 때, 또는 diff0 내지 diff7까지 모두가 양의 값을 잡고 tmp0만이 음의 값을 잡는 것과 같은 정보가 파라미터 연산회로(4)로부터 입력된 경우에 관해서 노이즈 제거를 할 때에 관해서 설명한다. 또, 도 17은 블록경계에 대하여 직교하는 방향에 일렬로 배치된 화소 a 내지 j의 휘도 신호의 크기를 종축으로서 나타내고 있고, 백색 동그라미를 보정전의 휘도 신호의 값으로 하고, 흑색 동그라미를 보정 후의 휘도 신호의 값으로 하여 나타내고 있다.
이와 같이, 화소 a 내지 e가 단조 감소하고 있으며, 블록경계에서만 휘도치가 증가하고, 화소 f 내지 j에서 휘도치가 단조 감소하고 있는 경우에는, 부호화 또는 복호를 하기 전에 블록경계에서도 단조 감소하고 있었다고 간주하여, 보정을 행한다.
즉, 블록 왜곡 판정회로(6)에서는, 이러한 화상 데이터를 나타내는 파라미터가 파라미터 연산회로(4)로부터 입력된 경우, 상술한 제1 제2 실시 형태에서 나타낸 판정조건 외에,
(1) diff0 내지 diff7＞0 또는 diff0 내지 diff7＜0
(2) tmp0 ×(diff0 내지 diff7)＜0
(3) Kp ≥diff_th
라는 제1 내지 제3 판정조건을 추가하는 것으로, 블록 왜곡의 판정을 한다. 즉, 제1 판정조건에서는, 블록 경계를 제외한 보정 범위의 휘도치의 변화가 단조 감소인지 단조 증가인지를 판단한다. 제2 판정조건에서는, 블록경계에서의 휘도치의 변화가 보정 범위가 다른 휘도치의 변화와 반대인 것을 판단한다. 제3 판정조건에서는, 부호화 난이도를 나타내는 파라미터 Kp가 소정의 임계치 diff_th 이상인 것을 판단한다.
블록 왜곡 판정회로(6)는 상기 제1 내지 제3 판정조건이 만족되면, 부호화 또는 복호하기 전의 화상 데이터는 단조 감소 또는 단조 증가를 나타내는 화상 데이터임을 나타내는 플래그를 생성하여 블록 왜곡 보정회로(7)에 공급한다.
블록 왜곡 보정회로(7)에서는, 블록 왜곡 판정회로(6)로부터의 플래그에 따라서 아래에 나타내는 바와 같이, 보정치 σ0을 산출한다. 이 블록 왜곡 보정회로(7)에서 결정하는 보정의 강도는, 상기 경계 차분 ｜tmp0｜이 소정의 임계치 corr_th보다 작은지의 여부에 따라서 결정하고 있고,
블록 경계 차분｜tmp0｜＜corr_th일 때,
보정치σ0=(｜tmp0｜+ ｜step｜)/2로서, 보정을 강하게 한다.
또한, ｜tmp0｜≥corr_th일 때,
보정치 σ0 = (｜tmp0｜+ ｜step｜)/4로서, 보정을 약하게 한다.
다음에, 블록경계에 있어서, 도 18에 도시된 바와 같이, ｜diff3｜이
｜tmp0｜보다도 큰 값을 가질 때, 상술한 제1 및 제2 실시 형태에서 나타낸 판정조건에서는, 블록 왜곡으로서 검출되는 조건을 만족하고 있지 않기 때문에, 예를 들면 지켜보아서 블록 왜곡이라고 인식되더라도 블록 왜곡으로서 인식되지 않는 경우, 블록 왜곡 판정회로(6)에서는,
(1) 블록 경계 차분 ｜tmp0｜I≥액티비티｜tmp｜
(2) 블록 경계 차분 ｜tmp0｜＜ det_th
(3) diff3 ×tmp0＜0, diff4 ×tmp0≥0, diff2 ×diff3≥0
과 같은 제1에서 제3 판정조건을 상술한 제1 및 제2 실시 형태에서 나타낸 판정조건에 추가하여, 블록 왜곡을 판정한다. 즉, 제1 판정조건에서는 블록경계에 돌출한 단차가 있는지의 여부를 판단하고, 제2 판정조건에서는 블록경계에서의 에지의 유무를 판단하며, 제3 판정조건에서는 블록경계에 근접하는 화소에 있어서의 에지의 유무를 판단한다. 즉, 제3 판정조건에서는, 화소 d 내지 e간의 휘도치의 변화와 블록경계에서의 휘도치의 변화가 반대임을 판단하며, 화소 f 내지 g간의 휘도치의 변화와 블록경계에서의 휘도치의 변화가 같은 것을 판단하고, 화소 c 내지 d간의 휘도치의 변화와 화소 d 내지 e간의 휘도치의 변화가 같은 것을 판단하고 있다. 또한, 제3 판정조건에서는, 도 18에서 도시된 경우와 반대로, 화소 f 내지 g간에서의 에지의 유무를 판정할 때는,
diff4×tmp0＜0, diff3×tmp0≥0, diff4× diff5≥ 0
라는 제3 판정조건을 이용하여 에지의 유무를 판단한다.
블록 왜곡 보정회로(7)에서는, 상술한 판정조건에 근거하여 플래그가 입력되었을 때에는, 보정의 강도를 경계 차분 ｜tmp0｜이 소정의 임계치 corr_th보다 작은지의 여부에 따라서 결정하고 있으며,
블록 경계 차분 ｜tmp01｜≥ corr_th일 때,
보정치σ0=(｜tmp0｜+｜diff3｜)/4로서, 보정을 약하게 한다.
또한, ｜tmp0｜＜ corr_th일 때,
보정치σ0=(｜tmp0｜+ ｜diff3｜)/2로서, 보정을 강하게 한다.
또한, 보정치σ1 및 보정치σ2는,
보정치 σ1 = diff2/2 로 하고,
보정치 σ2 = diff4/2 로 한다.
또한, 도 18에 도시된 경우와 반대로 화소 f 내지 g의 사이에 에지가 있는 경우에는,
블록 경계 차분 ｜tmp0｜≥ corr_th일 때,
보정치σ0=(｜tmp0｜+ ｜diff4｜)/4로서, 보정을 약하게 한다.
또한, ｜tmp0｜＜ corr_th일 때,
보정치σ0=(｜tmp0｜+｜diff4｜)/2로서, 보정을 강하게 한다.
또한, 보정치σ1 및 보정치σ2는,
보정치 σ1 = diff3/2 로 하며,
보정치 σ2 = diff5/2 로 한다.
이와 같이 블록 왜곡 판정회로(6)에서 판정조건을 변경하는 것으로, 블록경계에 근접하는 화소상에 에지가 있다고 판정되는 경우에도, 블록 왜곡으로서 검출하는 것이 가능하다.
또한, 상술한 수직상관 검출회로(5)에서는, 도 19에 도시된 바와 같이, 블록경계에 평행하게 블록 왜곡으로 검출되는 에지를 나타내는 화소가 있더라도, 해당 에지가 임계치 이상에 존재할 때에는 보정을 행하지 않도록 제어해도 된다. 또, 도 19에서는, 수직 상관 검출회로(5)에서 에지라고 인정되는 화소에 관해서는 1로 도시하고, 에지라고 인정되지 않는 화소에 대해서는 0으로 도시하고 있다. 즉, 도 19에 도시된 바와 같이, 현재 블록 왜곡의 보정을 행하고 있는 라인 A와, 당해 라인 A의 수직방향 V에 인접하는 라인의 에지의 위치를 수직상관 검출회로에서 검출하고, 상하방향에서의 3 라인에서 같은 위치에 에지가 있는 장소를 카운트한다. 이 때, 에지로서 검출되는 화소의 수를 num_edge로 하며, 보정을 하는지의 여부의 임계치를 edge_th로 하면, 블록 왜곡 판정회로(6)는
num_edge＞edge_th
라는 조건을 만족할 때에 보정을 행하지 않는 그러한 플래그를 생성하며, 블록 왜곡 보정회로(7)에 출력한다. 이와 같이 수직상관 검출회로(5)에서 수직방향의 상관을 검출하고, 블록 왜곡 판정회로(6)에서 판정조건을 변경하는 것으로, 예를 들면 에지와는 다른, 수직방향에 세밀한 줄무늬 모양이 있는 것과 같은 그림이라도, 그것을 블록 왜곡으로서 오류 검출하는 것을 억제할 수 있다.
또한, 블록 왜곡 판정회로(6)에서는, 상술한 제1 및 제2 실시 형태에서 블록 왜곡에 대한 보정 처리를 한 결과, 새롭게 에지가 생기지 않도록 하기 위해서, 도 20에 도시된 바와 같은 블록 왜곡의 보정을 행할 때,
(1) ｜step｜＜σ0 ×corr_ratio
(2) σ0＞｜diff3｜ 또한 σ0＞｜diff4｜
(3) ｜tmp0｜＜corr_th
라는 제1 내지 제3 판정조건을 추가하여, 블록 왜곡을 판정한다. 즉, 제1 판정조건에서는 보정후의 단차 ｜step｜가 보정량 σ0에 비교하여 일정한 비(corr_ratio)보다도 작은지의 여부를 판단하며, 제2 판정조건에서는 보정량 σ0이 블록경계의 양쪽의 단차(diff3, diff4)보다도 큰지의 여부를 판단하고, 제3 판정조건에서는 블록경계의 단차 ｜step｜가 보정량 결정을 위한 임계치 corr_th보다도 작은지의 여부를 판단한다. 또, 제3 판정조건에 있어서, 보정후의 단차 ｜step｜와 보정량의 비를 0＜corr_ratio＜1로 한다.
그리고, 블록 왜곡 판정회로(6)에서는, 이들 제1 내지 제3 판정조건이 성립할 때, 그와 같은 사실을 나타내는 플래그를 블록 왜곡 보정회로(7)에 출력하며, 블록 왜곡 보정회로(7)에서는, 화소 e 및 화소 f의 보정치 σ0’를
σ0’=σ0/2
로서 제1 및 제2 실시 형태에서 산출되는 보정치 σ0을 수정한다. 또한, 화소 e 및 화소 f의 주변의 화소에 대한 보정치 σ1, σ2, σ3은,
σ1=σ0’/2
σ2=σ0’/4
σ3=σ0’/8
로 한다. 이와 같이 보정치를 결정하는 것으로, 보정후의 휘도치는, 도 20의 흑색 동그라미로 도시된 바와 같이, 새롭게 블록 왜곡으로 지각될 수 있는 단차가 발생하지 않게 된다.
이와 같이 블록 왜곡 판정회로(6)는, 제1 내지 제3 판정조건을 추가하는 것으로, 블록경계의 근방의 휘도치의 패턴을 식별하며, 상술한 제1 및 제2 형태에서 나타낸 판정조건으로 보정을 행한 경우에 보정후에 새로운 에지가 생기는지를 예측하여, 보정치를 제어할 수 있다. 따라서, 이러한 제1 내지 제3 판정조건을 추가하는 것으로, 보정후 새롭게 생기는 에지 발생을 미연에 방지할 수 있다.
또한, 처리를 함으로써, 블록 왜곡 판정회로(6)에서는, 상술한 제1 및 제2 실시 형태에서는, 도 21에 도시된 바와 같이, 보정후의 diff3의 값이 커져 새롭게 생긴 에지로서 검출되는 경우는 없다.
이러한 블록 왜곡 저감장치(1)에서 블록 왜곡의 저감처리를 할 때에는, 도 22에 도시된 바와 같은 흐름도에 따라서 수행한다.
즉, 이 흐름도에 의하면, 우선, 스텝 ST101에 있어서, 동화상을 구성하는 모든 프레임에 대한 처리가 종료하는지의 여부를 판단한다. 그리고, 모든 프레임에 대한 처리가 종료하였다고 판단하였을 때에는, 스텝 ST102로 진행하여 처리를 종료하며, 처리가 종료하고 있지 않다고 판단하였을 때에는, 스텝 ST103으로 진행한다.
스텝 ST103에서는, 블록 왜곡 저감처리의 대상이 되는 프레임이 I-picture 인지의 여부를 판단하여, I-picture라고 판단하였을 때는 스텝 ST104로 진행하고, I-picture가 아니라고 판단하였을 때는 스텝 ST105로 진행한다.
스텝 ST104에서는 부호화 난이도 평가회로(3)에 있어서 MPEG 디코더(2)로부터 IDCT 계수를 사용하여 부호화 난이도를 나타내는 파라미터 Kp를 산출하며, 스텝 ST105에서는, IDCT 계수 및 움직임 벡터 차분신호 MV를 사용하여 부호화 난이도를 나타내는 파라미터 Kp를 산출하고, 블록 왜곡 판정회로(6) 및 블록 왜곡 보정회로(7)에 출력하여, 스텝 ST106으로 진행한다.
스텝 ST106에서는, 처리의 대상으로 되어 있는 프레임의 모든 DCT 블록에 대한 처리가 종료하였는지의 여부를 판단한다. 그리고, 처리가 종료하였다고 판단한 경우에는, 상기의 스텝 ST101로 되돌아가며, 다음 프레임에 대하여 처리를 하고, 처리가 종료하고 있지 않다고 판단하였을 때에는, 스텝 ST107로 진행한다.
스텝 ST107에서는, 파라미터 연산회로(4)에서 블록경계의 근방에 있어서의 액티비티 ｜tmp｜, 블록 경계 차분 ｜tmp0｜, 인접 차분 ｜diff0｜ 내지 ｜diff7｜의 각 파라미터를 산출하여, 블록 왜곡 판정회로(6)에 출력하며, 스텝 ST108로 진행한다.
스텝 ST108에서는, 수직상관 검출회로(5)에서 에지 추출을 하는 것으로, 가중 계수 Kc를 산출하며, 해당 가중 계수 Kc를 블록 왜곡 판정회로(6) 및 블록 왜곡 보정회로(7)에 출력하고, 스텝 ST109로 진행한다.
스텝 ST109에서는, 블록 왜곡 판정회로(6)에서, 수직상관 검출회로(5)로부터의 수직상관치 Kc 및 부호화 난이도 평가회로(3)로부터의 부호화 난이도를 나타내는 파라미터 Kp를 사용하여, 임계치 det_th 및 corr_th를 결정한다.
다음에 스텝 ST110에서는, 블록 왜곡 판정회로(6)에서,
｜tmp0｜＞｜tmp｜ 및 ｜tmp0｜＜det_th
라는 판정조건이 적용되는 것으로, 블록경계에서의 단차가 주변의 화소와 비교하여 돌출된 단차인지 아닌지, 직류성분 및 저주파 성분의 양자화 오차에 의한 단차인지, 즉, 블록 왜곡으로 인한 단차인지의 여부가 판단된다. 그리고, 이들 2개의 판정조건의 어떠한 것에도 해당하지 않는 경우에는, 스텝 ST111로 진행하며, 블록 왜곡 보정회로(7)에서는 보정처리가 실시되지 않고서 원신호가 그대로 출력되게 된다. 한편, 상기 2개의 판정조건의 어느 하나에 해당하는 경우에는, 블록 왜곡이 있다고 간주되어, 스텝 ST112로 진행한다.
스텝 ST112에서는, 블록 왜곡 판정회로(6)에서, 도 17을 참조하여 설명한 바와 같이, 처리 대상이 되는 화상 데이터가
(1) diff0 내지 diff7＞0 또는 diff0 내지 diff7＜0
(2) tmp0 ×(diff0 내지 diff7)＜0
(3) Kp ≥ diff_th
라는 판정조건을 만족하는지의 여부를 판단한다. 그리고, 이 판정조건을 만족하는 경우는, 블록 경계를 제외한 보정 범위의 휘도치의 변화가 단조 감소인지 단조증가인지를 판단하여 스텝 ST115로 진행하며, 이 판정조건을 만족하지 않는 경우에는, 스텝 ST113으로 진행한다.
스텝 ST115에서는, 블록 왜곡 보정회로(7)에서 스텝 ST112에서의 판정결과를 나타내는 플래그가 입력되면, ｜tmp0｜＞corr_th를 만족하는지의 여부를 판단하며, 이 조건을 만족하는 경우에는 스텝 ST116으로 진행하여 보정을 약으로 하고, 만족하지 않는 경우에는 스텝 ST117로 진행하여 보정을 강으로 하여 스텝 ST122로 진행한다.
스텝 ST113에서는, 블록 왜곡 판정회로(6)에서, 도 18을 참조하여 설명한 바와 같이, ｜tmp0｜≥｜diff3｜ 및 ｜tmp0｜≥｜diff4｜이라는 판단조건을 만족하는지의 여부를 판단하는 것으로, 상술한 제1 및 제2 실시 형태에서 나타낸 조건에서는 블록 왜곡으로서 인식되지 않는 경우에 있어서의 판정조건을 변경한다. 그 결과, 상기의 조건을 만족하는 경우에는 블록경계 이외에 에지가 없다고 판단하며, 스텝 ST114로 진행하고, 만족하지 않는 경우에는 블록 경계 이외에서 에지가 있다고 판단하여, 스텝 ST118로 진행하며, 후술하는 특수처리를 한다.
스텝 ST114에서는, 블록 왜곡 판정회로(6)에서, 상술한 스텝 ST115와 같은 처리를 하여, 조건을 만족할 때는 스텝 ST120으로 진행하며, 조건을 만족하지 않을 때는 스텝 ST119로 진행한다.
스텝 ST119에서는, 블록 왜곡 판정회로(6)에서, 상술한 도 20을 참조하여 설명한 처리를 한다. 즉 이 스텝 ST119에서는, 상술한 제1 및 제2 판정조건을 판단한다. 또, 상술한 제3 판정조건은, 스텝 ST114에서 만족되고 있다. 이러한 판정조건을 적용하는 것으로, 상술한 바와 같이, 보정 후에 블록경계의 근방에 새로운 에지가 생기지 않는지의 여부를 판단한다. 그리고, 스텝 ST119에서는, 제1 판정조건 및 제2 판정조건이 만족되고 있을 때에는 보정 후에 새로운 에지가 생긴다고 판단하여 보정을 약으로 하도록 스텝 ST120으로 진행하며, 만족되고 있지 않을 때에는 보정후에 새로운 에지가 생기지 않는다고 판단하여 보정을 강으로 하도록 스텝 ST121로 진행한다.
스텝 ST120 및 스텝 ST121에서는, 블록 왜곡 보정회로(7)에서 상술한 스텝 ST116, 스텝 ST117과 마찬가지로, 보정의 강약을 결정하여 스텝 ST122로 진행한다. 스텝 ST122에서는, 블록 왜곡 보정회로(7)에서, 부호화 난이도 평가회로(3)로부터의 부호화 난이도를 나타내는 파라미터 Kp 및 수직상관 검출회로(5)로부터의 상관을 나타내는 가중 계수 Kc를 보정치 σ0에 승산처리하며, 스텝 ST123으로 진행한다.
스텝 ST123에서는 블록 왜곡 보정회로(7)에서 보정범위에 있어서의 각 화소의 보정치를 결정한다. 이 때, 블록 왜곡 보정회로(7)에서는, 블록경계의 부근 보정을 강으로 한다. 그리고, 각 화소에 대한 보정치 σ1, σ2, σ3를 결정하면, 스텝 ST124로 진행한다.
스텝 ST124에서는, 블록 왜곡 보정회로(7)에서, 스텝 ST123에서 결정한 보정치를 원신호에 가산하여, 보정된 화상 데이터를 얻고, 스텝 ST125에서 블록 왜곡 보정회로(7)로부터 블록 왜곡이 저감된 화상 데이터를 출력하며, 스텝 ST126에서 1개의 DCT 블록에 대한 블록 왜곡 저감처리 및 보정처리를 종료하여, 스텝 ST106으로 되돌아간다. 즉, 이 흐름도에 의하면, 1 프레임을 구성하는 각 DCT 블록에 대하여 스텝 ST106 내지 스텝 ST125를 행하는 것으로 노이즈 저감처리 및 보정처리를 하며, 스텝 ST106에서 1 프레임내의 모든 DCT 블록의 처리가 종료하면, 다음 프레임으로 동작하고, 스텝 ST101 내지 스텝 ST106을 반복하는 것으로, 동화상을 구성하는 모든 프레임에 대해서 처리를 한다.
상술한 스텝 ST118의 특수처리에 관해서 도 23에 도시한 흐름도를 참조하여 설명한다.
이 흐름도에 의하면, 먼저, 스텝 ST131에서, 도 19를 참조하여 설명한 바와 같이, 수직상관 검출회로(5)에서 수직방향 V에 있어서의 에지의 수 num_edge를 카운트하여, 블록 왜곡 판정회로(6)로 num_edge＞edge_th라는 판정조건을 만족하는 지의 여부를 판단한다. 이 조건을 만족할 때는 스텝 ST132로 진행하여 노이즈 저감처리를 하지 않고서 원신호를 그대로 출력한다. 즉, 원신호가 블록경계의 근방에 줄무늬 모양을 나타내는 화상 데이터라고 판단한다. 또한, 조건을 만족하지 않을 때는 스텝 ST133으로 진행한다.
스텝 ST133에서는, 블록 왜곡 판정회로(6)에서, 상술한 블록경계 이외에 존재하는 에지가 블록경계의 좌측에 존재하는지의 여부를 판단한다. 즉, 스텝 ST133에서는,
diff3 ×tmp0＜0, diff4 ×tmp0≥0, diff2 ×diff3≥ 0
이라는 조건을 만족하는지 여부를 블록 왜곡 판정회로(6)에서 판단한다. 그 결과, 이 판정조건을 만족하는 경우에는 스텝 ST134로 진행하며, 만족하지 않는 경우에는 스텝 ST139로 진행한다.
스텝 ST139에서는, 블록 왜곡 판정회로(6)에서, 상술한 블록 경계 이외에 존재하는 에지가 블록경계의 우측에 존재하는지를 판단한다. 즉, 스텝 ST133에서는,
diff4 ×tmp0＜0, diff3 ×tmp0≥0, diff4 ×diff5≥0
이라는 조건을 만족하는지의 여부를 블록 왜곡 판정회로(6)에서 판단한다. 그 결과, 이 판정조건을 만족하는 경우에는 스텝 ST140으로 진행하며, 만족하지 않는 경우에는 블록경계의 좌우측에는 에지라고 인정되는 부분이 없다고 하여, 스텝 ST132로 진행하고, 원신호를 그대로 출력한다.
스텝 ST134에서는, 블록 왜곡 보정회로(7)에서 ｜tmp0｜＞corr_th를 만족하는지 여부를 판단하며, 이 조건을 만족하는 경우에는 스텝 ST135로 진행하여 보정을 약으로 하고, 만족하지 않는 경우에는 스텝 ST136으로 진행하여 보정을 강으로 하여 각각 스텝 ST137로 진행한다.
스텝 ST137에서는, 블록 왜곡 보정회로(7)에서, 부호화 난이도 평가회로(3)로부터의 부호화 난이도를 나타내는 파라미터 Kp 및 수직상관 검출회로(5)로부터의 상관을 나타내는 가중 계수 Kc를 보정치 σ0에 승산처리하여, 스텝 ST138로 진행한다.
스텝 ST138에서는, 보정치 σ0으로 보정되는 화소의 양측에 인접하는 화소에 대한 보정치 σ1 및 σ2를
σ1 = diff2/2, σ2 = diff4/2
로 나타나는 식으로 산출한다.
스텝 ST140 내지 스텝 ST146에서는, 상술한 스텝 ST134 내지 스텝 ST138과 거의 같은 처리를 한다. 다른 점은, 스텝 ST141 및 스텝 ST142에서 보정의 강약을 결정하는 점과, 스텝 ST144에서 보정치 σ1에 의해 보정을 하는 인접 차분이 diff3이고 보정치 σ2에 의해 보정을 하는 인접 차분이 diff5인 점이다.
다음에 스텝 ST145에서는 상술한 스텝 ST124와 같은 처리를 하며, 스텝 ST 46에서는 상술한 스텝 ST125와 같은 처리를 하는 것으로 처리를 종료한다.
또한, 도 17 내지 도 23을 참조하여 설명한 블록 왜곡 저감장치의 동작에 관해서는, 제1 실시 형태에 관계되는 블록 왜곡 저감장치에 관해서만 설명하지만, 제2 실시 형태에 관계되는 블록 왜곡 저감 회로도 적용 가능하다. 이 때, 제2 실시 형태에서 설명한 블록 왜곡 저감 회로에서는 블록 왜곡 판정부(18)에서 상술한 바와 같은 화상 데이터의 그림에 대응하여 상술한 판정조건을 적용하는 것으로, 그림에 따라서 블록 왜곡의 판정을 하여, 보정치 산출부(32)에서 보정을 행한다.
다음에, 본 발명의 제3 실시 형태로서, 2차원 DCT 변환에 의한 블록처리를 이용한 화상 압축 장치에서 압축된 동화상을 MPEG를 사용하여 재압축할 때, 해당 압축방식 특유의 블록 노이즈를 미리 제거하고 나서 재압축을 하는 것으로, 부호화 압축 효율을 향상시키는 블록 왜곡 부호화 장치에 관해서 설명한다.
예를 들면, 광디스크와 같은 기록매체로부터 판독한 화상 데이터가 부호화된 비트 스트림을 방송에 의해 송출할 때는, 기록매체로부터의 판독의 비트 레이트와 방송에 의한 송출의 비트 레이트는 일반적으로 다르기 때문에, 비트 스트림의 비트 레이트의 변환이 이루어진다. 구체적으로는, 예를 들면 8Mbps의 비트 스트림이 4Mbps의 비트 스트림으로 변환되는 경우가 있다.
종래, MPEG 인코드된 비트 스트림을 레이트 변환하여 MPEG에서 재인코드 사용하는 경우 등에는, MPEG 디코드로 얻어진 복호 화상에 블록 노이즈가 발생하고 있더라도, 그대로 재인코드하고 있었다.
또한, MPEG 이외의 DCT 변환을 이용한 보록(步錄)처리를 하는 동화상 부호화 방식의 비트 스트림을, 일단 당해 부호화 방식에 따라 복호 화상을 얻은 후에 MPEG 인코드함으로써 MPEG의 비트 스트림으로 변환하는 경우도, 블록 노이즈가 발생하고 있었다고 하더라도, 그대로 MPEG 인코드하고 있었다.
그로 인해, MPEG 재인코드 시나 포맷 변환시의 MPEG 인코드 시의 움직임 보상에 대한 움직임 벡터를 검출할 때, 블록 노이즈에 방해받아서 움직임 벡터의 검출 정밀도가 저하하고 있었다.
또한, 블록 노이즈가 발생하는 위치는 블록의 경계에 한결같이 의존한다. 그 때문에, 블록경계의 위치는 같은 부호화 방식을 이용하여 재인코드나 포맷 변환을 위한 인코드를 하는 경우, 블록 노이즈가 발생하고 있는 화상을 블록 노이즈를 제거하지 않고서 인코드하면, 재생화상에 있어서는, 블록 노이즈가 강조되어 더욱 눈에 띄는 문제가 있었다.
이하의 도 24에, 재부호화전에 블록 노이즈 제거를 행하는 제3 실시 형태의 부호화 장치의 블록도를 도시한다.
이 부호화 장치는, 입력단자(51)에 입력 비트 스트림에 대하여 적응 블록 노이즈 제거를 하는 적응 블록 노이즈 제거회로(56)와, 이 적응 블록 노이즈 제거회로(56)로부터의 복호화상을 MPEG 규격의 비트 스트림으로 부호화하여 출력단자(55)에 출력하는 인코더(54)를 구비하고 있다.
적응 블록 노이즈 제거회로(56)는, 입력 비트 스트림을 복호하는 디코더(52)와, 디코더(52)로부터의 복호화상으로부터 블록 노이즈를 제거하는 블록 노이즈 제거회로(53)를 구비하고 있다.
입력단자(51)로부터 입력한 비트 스트림은, 디코더(52)로써 디코드된다. 입력단자(51)로부터 입력되는 비트 스트림은, 2차원 DCT를 사용한 블록처리를 하는 부호화 방식으로 인코드된 것이며, 디코더(52)에서 복호할 수 있는 것이다.
디코드(52)로써 복호된 복호화상은, 블록 노이즈 제거회로(53)에 의해서 블록 노이즈가 제거된다. 블록 노이즈 제거회로(53)에 있어서의 블록 노이즈 제거는, 예를 들면 상술한 바와 같은 방법에 의해 행할 수 있다. 이 때, 인코더(54)에 입력되는 복호화상으로부터는, 이 부호화 장치에 입력되는 입력 화상의 블록 노이즈가 제거되어 있기 때문에, 인코더(54)에 있어서의 부호화 효율이 개선된다.
인코더(54)에서 얻어진 부호화된 비트 스트림은, 출력단자(55)에 출력된다.
여기서, 입력단자(51)로부터 입력한 비트 스트림이 움직임 보상(motion compensation; MC)-DCT을 이용한 MPEG와 같이, 2차원 DCT와 함께 움직임 보상을 이용한 하이브리드 압축방식으로 부호화된 비트 스트림인 경우, 디코더(51)로부터 블록 노이즈의 발생에 상관이 높은 움직임 벡터나, 역DCT를 적용한 후의 계수 등의 부호화 파라미터를 얻을 수 있기 때문에, 적응 블록 노이즈 제거회로(56)를 사용하여, 보다 효율이 높은 블록 노이즈 제거가 가능하게 된다. 이 적응 블록 노이즈 제거에 관해서는, 위에서 언급하였다.
이하의 도 25에는, 적응 블록 노이즈 제거를 하는 경우의 적응 블록 노이즈 제거회로(56)의 블록도를 도시한다.
적응 블록 노이즈 제거회로(56)는 입력단자(71)로부터 입력되는 MPEG 방식으로 부호화된 비트 스트림을 복호하는 MPEG 디코더(72)와, MPEG 디코더(72)로부터의 복호화상으로부터 Y 신호 및 C 신호를 분리하는 YC 분리회로(75)와, YC 분리회로(75)로부터의 C 신호를 지연시키는 지연회로(78)와, YC 분리회로(75)로부터의 Y 신호를 메모리하는 화소치 메모리(76)와, 지연회로(78)를 통하여 얻어지는 C 신호 및 화소치 메모리(76)를 통하여 얻어지는 Y 신호를 합성하여 출력단자(80)에 출력화상으로서 출력하는 YC 합성회로(79)를 가지고 있다. 여기서, MPEG 디코더(72)는, 도 24에 있어서의 디코더(52)에 대응하고 있다.
또한, 적응 블록 노이즈 제거회로(56)는, MPEG 디코더(72)로부터의 부호화 파라미터에 근거하여 부호화 난이도를 산출하는 부호화 난이도 산출회로(73)와, 화소치 메모리(76)로부터의 Y 신호에 대한 파라미터 연산을 하는 파라미터 연산회로(77)와, 부호화 난이도 산출회로(73)로부터의 부호화 난이도 및 파라미터 산출회로(77)로부터의 파라미터에 근거하여 블록 왜곡을 판정하는 동시에 보정치를 산출하여 왜곡 보정치를 화소치 메모리(76)에 주는 블록 왜곡 판정 및 보정치 산출회로(74)를 구비하고 있다.
입력단자(71)에 입력된 MPEG 부호화된 비트 스트림은, MPEG 디코더(72)에서 디코드된다.
디코드 시에 얻어진 부호화 파라미터는, 부호화 난이도 산출회로(73)로 보내지고, 여기서 부호화 난이도가 얻어진다. 부호화 난이도는 블록 왜곡 판정 및 보정치 산출회로(74)로 보내지고, 여기서의 블록 왜곡 및 보정치 산출에 사용된다. YC 분리회로(75)에서는, 입력된 복호화상을 Y 신호와 C 신호로 분리한다. Y 신호의 보정에 필요한 범위의 화소치를 화소치 메모리(76)에 축적한다.
파라미터 산출회로(77)에서는, 화소치 메모리(76)로부터 원하는 Y 신호를 호출하고, 파라미터를 산출한다. 블록 왜곡 판정 및 보정치 산출회로(74)에서는, 입력된 파라미터와 부호화 난이도로부터 블록 왜곡인지 아닌지, 블록 왜곡이라면 어떠한 패턴의 블록 왜곡인지를 판정하여, 보정치를 산출하여 화소치 메모리(76)에 준다. 화소치 메모리(76)내에서는, 소정의 Y 신호에 보정치를 가산하여 보정신호를 얻는다.
도 24에 있어서, 비트 스트림의 디코드후에 디지털 신호로부터 아날로그 신호로 변환되는 경우가 있다. 이 경우에는, 도 26에 도시된 바와 같이, 상기 아날로그 신호는, 블록경계 판정회로(81)와, 이것에 계속되는 블록 노이즈 제거회로(82)에 의해, 화상 데이터로부터 블록 왜곡이 제거된 후에 인코더에 의해 54에서 부호화된다.
이와 같이, 제3 실시 형태는, 2차원 DCT를 사용한 화상 압축방식으로 압축된 동화상을 일단 복호하여 화상으로 되돌린 후에 재압축할 때, 미리 복호화상에 발생하고 있는 해당 압축방식에 특유의 블록 노이즈를 블록 노이즈 제거 필터에 의해서 제거하는 것이다.
블록 노이즈를 제거함으로써, 움직임 예측의 정밀도가 향상하여, 재압축시의 부호화 효율을 향상시키는 것이 가능해진다.
또한, 미리 블록 노이즈를 제거함으로써, 재압축 화상을 복호한 화상의 블록 노이즈의 발생을 억제할 수 있다.
또, 전단계에서 사용된 압축방식이 MC-DCT를 이용한 하이브리드 압축방식이고, 또한, MC일 때의 움직임 벡터 정보를 재압축 시에 이용할 수 있는 경우는, 움직임 벡터 정보를 이용한 적응 블록 노이즈 제거방식을 사용하는 것으로, 블록 노이즈 제거의 효율을 향상시킬 수 있다.
상술한 바와 같이, 이차원 DCT를 사용한 동화상 압축 부호화에 의한 압축화상을 일단 복호한 후 재부호화할 때, 부호화 효율을 향상시켜, 블록 노이즈가 발생하는 것을 억제하여, 주관화질을 향상시킬 수 있다.
이상의 설명으로부터도 분명한 바와 같이, 본 발명에 관계되는 블록 왜곡 저감방법 및 장치 및 부호화 장치 및 방법의 실시 형태에 의하면, 고주파 성분의 결핍 없이 해상도를 유지한 블록 왜곡 저감을 하면서, 보정에 의한 파탄을 경감할 수 있다. 또한, 하드웨어 구성도 간단하기 때문에, 업무용뿐만 아니라, DCT 부호화 등의 블록 부호화를 사용한 압축처리를 하는 여러 가지 민생기기, 예를 들면 비디오 CD 플레이어, 디지털 비디오 디스크 플레이어, 디지털 텔레비전 수상기, 텔레비전 전화 등에도 탑재 가능하다. 물론, 소프트웨어 처리에 의해 상술한 바와 같은 알고리즘을 실현할 수도 있으며, 소위 인터넷이나 멀티미디어에서의 동화의 실시간 재생에 있어서의 블록 왜곡 저감, 블록 왜곡 제거도 용이하게 실현된다. 또, 본 실시 형태에 의하면, 강/중/약의 3 모드를 가지고 있으므로, 영상의 상태에 맞춘 블록 왜곡 저감이 가능하다. 또한, 블록 왜곡 처리에서 사용하는 파라미터도 외부에서 조정할 수 있으므로, 상기 3 모드뿐만 아니라 미세 조정도 가능하다.
또, 본 발명의 실시 형태에 의하면, 에지 추출, 움직임 검출이 유효한 정보를 사용함에 따라, 블록 왜곡 판정에 의한 오류 판정을 경감시킬 수 있다.
또, 본 발명은 상술한 실시 형태에만 한정되는 것이 아니라, 예를 들면, 상기 실시 형태에 있어서는 수평(H) 방향의 처리에 대하여 언급하였지만, 수직(V) 방향에 대해서도 동일하게 적용 가능하다.
또한, 보정치의 계산이나 필터처리의 구체 예는 상술한 예에 한정되지 않는 것은 물론이다.

Claims (37)

  1. 입력 화상 데이터의 블록 부호화에서의 블록 왜곡을 저감하기 위한 블록 왜곡 저감 방법에 있어서,
    상기 입력 화상 데이터로부터 부호화의 난이도를 나타내는 파라미터를 검출하는 부호화 난이도 검출 공정과,
    상기 입력 화상 데이터로부터 블록 왜곡 판정에 필요한 파라미터를 연산하는 연산 공정과,
    상기 부호화의 난이도를 나타내는 파라미터 검출의 결과 및 상기 파라미터 연산의 결과에 기초하여 블록 왜곡을 판정하는 판정 공정과,
    상기 블록 왜곡을 저감하기 위한 보정치를 산출하는 보정치 산출 공정과,
    상기 블록 왜곡의 판정 결과에 따른 상기 보정치에 의한 보정을 상기 입력 화상 데이터에 대하여 실시하여 출력하는 공정을 갖는 것을 특징으로 하는 블록 왜곡 저감 방법.
  2. 제 1 항에 있어서,
    상기 부호화 난이도 검출 공정에서는, 입력 화상 데이터의 고주파 성분을 추출하여 고주파 성분의 에너지량 산출 처리를 행하는 것으로 부호화의 난이도를 나타내는 파라미터를 검출하는 것을 특징으로 하는 블록 왜곡 저감 방법.
  3. 제 1 항에 있어서,
    상기 부호화 난이도 검출 공정에서는, 상기 입력 화상 데이터의 움직임을 검출하는 움직임 검출 처리를 행하는 것으로 부호화의 난이도를 나타내는 파라미터를 검출하는 것을 특징으로 하는 블록 왜곡 저감 방법.
  4. 제 1 항에 있어서,
    상기 부호화 난이도 검출 공정에서는, 상기 입력 화상 데이터의 움직임을 검출하는 움직임 검출 처리를 행하는 동시에, 입력 화상 데이터의 고주파 성분을 추출하는 고주파 성분의 에너지량 산출 처리를 행하는 것으로 부호화의 난이도를 나타내는 파라미터를 검출하는 것을 특징으로 하는 블록 왜곡 저감 방법.
  5. 제 1 항에 있어서,
    상기 입력 화상 데이터를 얻기 위해서 입력 비트 스트림에 복호 처리를 실시하는 디코드 공정을 가지며, 상기 디코드 공정에서는, 상기 입력 비트 스트림에 복호 처리를 실시하는 동시에, 상기 입력 비트 스트림에 포함되는 움직임 벡터 차분 신호와 IDCT 계수를 검출하고,
    상기 부호화 난이도 검출 공정에서는, 상기 디코드 공정에서 검출된 움직임 벡터 차분 신호와 IDCT 계수를 부호화의 난이도를 나타내는 파라미터로 변환하는 것을 특징으로 하는 블록 왜곡 저감 방법.
  6. 제 1 항에 있어서,
    상기 판정 공정에서는, 블록 왜곡의 복수 단계의 강도를 판정하여, 판정된 강도에 따른 보정량으로 보정을 행하도록 하는 것을 특징으로 하는 블록 왜곡 저감 방법.
  7. 제 1 항에 있어서,
    각 블록에서의 경계의 상관을 검출하는 상관 검출 공정을 가지며,
    상기 판정 공정에서는, 상기 상관 검출 공정에서 검출된 상관을 이용하여 블록 왜곡의 판정을 행하고,
    상기 보정치 산출 공정에서는, 상기 상관 검출 공정에서 검출된 상관을 이용하여 상기 보정치를 산출하는 것을 특징으로 하는 블록 왜곡 저감 방법.
  8. 제 2 항에 있어서,
    상기 고주파 성분의 추출은 입력 화상 데이터의 에지 성분의 검출이며, 상기 고주파 성분의 에너지량 산출 처리는 에지 추출 처리인 것을 특징으로 하는 블록 왜곡 저감 방법.
  9. 제 2 항에 있어서,
    상기 보정치 산출 공정에서는, 상기 부호화 난이도 검출 공정에서 검출된 상기 고주파 성분의 에너지량 산출 처리에서의 고주파 성분 추출의 결과에 기초하는 파라미터를 이용하여 상기 보정치를 산출하는 것을 특징으로 하는 블록 왜곡 저감 방법.
  10. 제 3 항에 있어서,
    상기 보정치 산출 공정에서는, 상기 부호화 난이도 검출 공정에서 검출된 상기 움직임 검출 처리에서의 움직임 검출의 결과에 기초하는 파라미터를 이용하여 상기 보정치를 산출하는 것을 특징으로 하는 블록 왜곡 저감 방법.
  11. 제 4 항에 있어서,
    상기 보정치 산출 공정에서는, 상기 부호화 난이도 검출 공정에서 검출된 상기 움직임 검출 처리에서의 움직임 검출의 결과 및 상기 고주파 성분의 에너지량 산출처리에서의 움직임 검출의 결과에 기초하는 파라미터를 이용하여 상기 보정치를 산출하는 것을 특징으로 하는 블록 왜곡 저감 방법.
  12. 제 5 항에 있어서,
    상기 판정 공정에서는, 상기 디코드 공정에서 검출한 움직임 벡터 차분 신호와 IDCT 계수에 기초하는 파라미터를 이용하여 블록 왜곡의 판정을 행하며,
    상기 보정치 산출 공정에서는 디코드 공정에서 검출한 움직임 벡터 신호와 IDCT 계수에 기초하는 파라미터를 이용하여 상기 보정치를 산출하는 것을 특징으로 하는 블록 왜곡 저감 방법.
  13. 제 9 항에 있어서,
    상기 고주파 성분의 추출은 입력 화상 데이터의 에지 성분의 검출이며, 상기 고주파 성분의 에너지량 산출 처리는 에지 추출 처리인 것을 특징으로 하는 블록 왜곡 저감 방법.
  14. 화상 데이터의 블록 부호화에서의 블록 왜곡을 저감하기 위한 블록 왜곡 저감 장치에 있어서,
    상기 입력 화상 데이터로부터 부호화의 난이도를 나타내는 파라미터를 검출하는 부호화 난이도 검출 수단과,
    상기 입력 화상 데이터로부터 블록 왜곡 판정에 필요한 파라미터를 산출하는 파라미터 산출 수단과,
    상기 부호화의 난이도를 나타내는 파라미터 검출의 결과 및 상기 파라미터 연산의 결과에 기초하여 블록 왜곡을 판정하는 블록 왜곡 판정 수단과,
    상기 블록 왜곡을 저감하기 위한 보정치를 산출하는 보정치 산출 수단과,
    상기 블록 왜곡의 판정 결과에 따른 상기 보정치에 의한 보정을 상기 입력 화상 데이터에 대하여 시행하여 출력하는 수단을 갖는 것을 특징으로 하는 블록 왜곡 저감 장치.
  15. 제 14 항에 있어서,
    상기 블록 왜곡 판정 수단으로부터의 판정 결과에 따라서, 상기 보정된 신호와, 상기 입력 화상 데이터를 전환하여 출력하는 전환 선택 수단을 갖는 것을 특징으로 하는 블록 왜곡 저감 장치.
  16. 제 14 항에 있어서,
    상기 부호화 난이도 검출 수단에는, 입력 화상 데이터의 고주파 성분을 추출하는 고주파 성분의 에너지량 산출 처리를 행하여 부호화의 난이도를 나타내는 파라미터를 검출하는 것을 특징으로 하는 블록 왜곡 저감 장치.
  17. 제 14 항에 있어서,
    상기 부호화 난이도 검출 수단에서는, 상기 입력 화상 데이터의 움직임을 검출하는 움직임 검출 처리를 행하여 부호화의 난이도를 나타내는 파라미터를 검출하는 것을 특징으로 하는 블록 왜곡 저감 장치.
  18. 제 14 항에 있어서,
    상기 부호화 난이도 검출 수단은, 상기 입력 화상 데이터의 움직임을 검출하는 움직임 검출 처리를 행함과 동시에, 입력 화상 데이터의 고주파 성분을 추출하는 고주파 성분의 에너지량 산출 처리를 행하여 부호화의 난이도를 나타내는 파라미터를 검출하는 것을 특징으로 하는 블록 왜곡 저감 장치.
  19. 제 14 항에 있어서,
    상기 입력 화상 데이터를 얻기 위해서 상기 입력 비트 스트림에 복호 처리를 실시하는 디코드 수단을 가지며,
    상기 디코드 수단에서는, 상기 입력 화상 데이터에 복호 처리를 실시하는 동시에, 상기 입력 화상 데이터에 포함되는 움직임 벡터 차분 신호와 IDCT 계수를 검출하고,
    상기 부호화 난이도 검출 수단에서는, 상기 디코드 수단에서 검출된 움직임 벡터 차분 신호와 IDCT 계수를 부호화의 난이도를 나타내는 파라미터로 변환하는 것을 특징으로 하는 블록 왜곡 저감 장치.
  20. 제 14 항에 있어서,
    각 블록에서의 경계의 상관을 검출하는 상관 검출 수단을 가지며,
    상기 블록 왜곡 판정 수단에서는 상기 상관 검출 수단에서 검출된 상관을 이용하여 블록 왜곡의 판정을 행하고,
    상기 보정치 산출 수단에서는, 상기 상관 검출 수단에서 검출된 상관을 이용하여 상기 보정치를 산출하는 것을 특징으로 하는 블록 왜곡 저감 장치.
  21. 제 16 항에 있어서,
    상기 고주파 성분은 입력 화상 데이터의 에지 성분이며, 상기 고주파 성분의 에너지량 산출 처리는 에지 추출 처리인 것을 특징으로 하는 블록 왜곡 저감 장치.
  22. 제 16 항에 있어서,
    상기 보정치 산출 수단에서는, 상기 고주파 성분의 에너지량 산출 처리에서의 고주파 성분 추출의 결과에 기초하는 파라미터를 이용하여 상기 보정치를 산출하는 것을 특징으로 하는 블록 왜곡 저감 장치.
  23. 제 17 항에 있어서,
    상기 보정치 산출 수단에서는, 상기 움직임 검출 처리에서의 움직임 검출의 결과에 기초하는 파라미터를 이용하여 상기 보정치를 산출하는 것을 특징으로 하는 블록 왜곡 저감 장치.
  24. 제 18 항에 있어서,
    상기 보정치 산출 수단에서는, 상기 고주파 성분의 에너지량 산출 처리에서의 고주파 성분 추출 결과 및 상기 움직임 검출 처리에서의 움직임 검출의 결과에 기초하는 파라미터를 이용하여 상기 보정치를 산출하는 것을 특징으로 하는 블록 왜곡 저감 장치.
  25. 제 19 항에 있어서,
    상기 블록 왜곡 판정 수단에서는, 상기 디코드 수단에서 검출한 움직임 벡터 차분 신호와 IDCT 계수에 기초하는 파라미터를 이용하여 블록 왜곡의 판정을 하며,
    상기 보정치 산출 수단에서는 디코드 수단으로 검출한 움직임 벡터 신호와 IDCT 계수에 기초하는 파라미터를 이용하여 상기 보정치를 산출하는 것을 특징으로 하는 블록 왜곡 저감 장치.
  26. 부호화 방법에 있어서,
    화상 데이터의 블록 부호화/복호에 의해 생기는 블록 왜곡을 제거하기 위한 블록 왜곡 제거 공정으로서, 입력된 비트 스트림을 화상 데이터로 복호하는 디코드 공정을 포함하는 상기 블록 왜곡 제거 공정; 및
    상기 블록 왜곡 제거 공정에 의해 얻어진 화상 데이터를 비트 스트림으로 부호화하는 인코드 공정을 포함하고,
    상기 입력된 비트 스트림은 블록 부호화와 함께 움직임 보상을 이용하여 부호화된 것이며,
    상기 디코드 공정은, 상기 입력된 비트 스트림으로부터 상기 움직임 보상의 움직임 벡터를 추출하고,
    상기 블록 왜곡 제거 공정은, 상기 디코드 공정으로부터의 움직임 벡터를 이용하여 적응 블록 왜곡 제거를 행하는 것을 특징으로 하는 부호화 방법.
  27. 제 26 항에 있어서,
    상기 블록 부호화는 2차원 이산 코사인 부호화(DCT)인 것을 특징으로 하는 부호화 방법.
  28. 삭제
  29. 제 26 항에 있어서,
    상기 블록 왜곡 제거 공정은, 블록 왜곡을 필터로 제거하는 것을 특징으로 하는 부호화 방법.
  30. 삭제
  31. 제 26 항에 있어서,
    상기 입력된 비트 스트림은, MPEG(Moving pictures experts group)규격에 의한 것임을 특징으로 하는 부호화 방법.
  32. 부호화 장치에 있어서,
    화상 데이터의 블록 부호화/복호에 의해 생기는 블록 왜곡을 제거하기 위한 블록 왜곡 제거 수단으로서, 입력된 비트 스트림을 화상 데이터로 복호하는 디코드 수단을 포함하는 상기 블록 왜곡 제거 수단; 및
    상기 블록 왜곡 제거 수단에 의해 얻어진 화상 데이터를 비트 스트림으로 부호화하는 인코드 수단을 포함하고,
    상기 입력된 비트 스트림은 블록 부호화와 함께 움직임 보상을 이용하여 부호화된 것이며,
    상기 디코드 수단은, 상기 입력되는 비트 스트림으로부터 상기 움직임 보상의 움직임 벡터를 추출하고,
    상기 블록 왜곡 제거 수단은, 상기 디코드 수단으로부터의 움직임 벡터를 이용하여 적응 블록 왜곡 제거를 행하는 것을 특징으로 하는 부호화 장치.
  33. 제 32 항에 있어서,
    상기 블록 부호화는 2차원 이산 코사인 부호화(DCT)인 것을 특징으로 하는 부호화 장치.
  34. 삭제
  35. 제 32 항에 있어서,
    상기 블록 왜곡 제거 수단은, 블록 왜곡을 필터에 의해 제거하는 것을 특징으로 하는 부호화 장치.
  36. 삭제
  37. 제 32 항에 있어서,
    상기 입력되는 비트 스트림은 MPEG(Moving pictures experts group)규격에 의한 것을 특징으로 하는 부호화 장치.
KR10-1999-7000687A 1997-05-28 1998-05-28 블록 왜곡 감소 방법과 장치 및 부호화 방법과 장치 KR100529483B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP13892197 1997-05-28
JP97-138921 1997-05-28
JP98-14443 1998-01-27
JP1444398 1998-01-27

Publications (2)

Publication Number Publication Date
KR20000029622A KR20000029622A (ko) 2000-05-25
KR100529483B1 true KR100529483B1 (ko) 2005-11-22

Family

ID=26350397

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-1999-7000687A KR100529483B1 (ko) 1997-05-28 1998-05-28 블록 왜곡 감소 방법과 장치 및 부호화 방법과 장치

Country Status (6)

Country Link
US (1) US6434275B1 (ko)
EP (2) EP2190205A3 (ko)
JP (1) JP4164877B2 (ko)
KR (1) KR100529483B1 (ko)
CN (1) CN1136719C (ko)
WO (1) WO1998054892A1 (ko)

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6795580B1 (en) * 1998-09-10 2004-09-21 Tektronix, Inc. Picture quality measurement using blockiness
US6385342B1 (en) 1998-11-13 2002-05-07 Xerox Corporation Blocking signature detection for identification of JPEG images
FI117534B (fi) * 2000-01-21 2006-11-15 Nokia Corp Menetelmä digitaalisten kuvien suodattamiseksi ja suodatin
JP2001218206A (ja) * 2000-02-02 2001-08-10 Sony Corp 画像符号化装置及び方法、媒体
US6636645B1 (en) * 2000-06-29 2003-10-21 Eastman Kodak Company Image processing method for reducing noise and blocking artifact in a digital image
CN1209931C (zh) * 2000-07-21 2005-07-06 松下电器产业株式会社 信号传输***
KR100885055B1 (ko) * 2001-02-19 2009-02-23 코닌클리케 필립스 일렉트로닉스 엔.브이. 주신호의 비트스트림에 보조신호를 삽입하는 방법
WO2002093935A1 (en) * 2001-05-10 2002-11-21 Matsushita Electric Industrial Co., Ltd. Image processing apparatus
KR100525785B1 (ko) 2001-06-15 2005-11-03 엘지전자 주식회사 이미지 화소 필터링 방법
GB2379115A (en) * 2001-08-21 2003-02-26 Sony Uk Ltd Introducing test signals into a data signal
EP1294195A1 (en) * 2001-09-14 2003-03-19 STMicroelectronics S.r.l. A process for the format conversion of MPEG bitstreams, a system and computer program product therefor
JP3862613B2 (ja) 2002-06-05 2006-12-27 キヤノン株式会社 画像処理装置及び画像処理方法並びにコンピュータプログラム
WO2004010706A1 (ja) 2002-07-19 2004-01-29 Sony Corporation 情報信号処理装置、情報信号処理方法、画像信号処理装置および画像表示装置、それに使用される補正データの生成装置および生成方法、係数データの生成装置および生成方法、並びに各方法を実行するためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な媒体
JP4144374B2 (ja) * 2003-02-25 2008-09-03 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
EP1631057A4 (en) * 2003-05-27 2007-01-17 Nikon Corp IMAGE PROCESSING DEVICE AND PICTURE PROCESSING PROGRAM
GB0314161D0 (en) * 2003-06-18 2003-07-23 British Telecomm Edge analysis in video quality assessment
GB0314162D0 (en) * 2003-06-18 2003-07-23 British Telecomm Edge analysis in video quality assessment
JP2005020294A (ja) * 2003-06-25 2005-01-20 Sony Corp ブロック歪低減装置
US7424501B2 (en) 2003-06-30 2008-09-09 Intel Corporation Nonlinear filtering and deblocking applications utilizing SIMD sign and absolute value operations
KR100672592B1 (ko) * 2005-01-14 2007-01-24 엘지전자 주식회사 디스플레이 장치의 영상 보상장치 및 보상방법
US7366239B1 (en) * 2005-01-26 2008-04-29 Big Band Networks Inc. Method and system for compressing groups of basic media data units
JP2007189657A (ja) * 2005-12-16 2007-07-26 Fuji Xerox Co Ltd 画像評価装置、画像評価方法及びプログラム
US7667776B2 (en) * 2006-02-06 2010-02-23 Vixs Systems, Inc. Video display device, video encoder, noise level estimation module and methods for use therewith
JP2007288627A (ja) * 2006-04-19 2007-11-01 Nec Corp Ｍｐｅｇ復号処理回路及びそれに用いるｍｐｅｇフィルタリング表示方法
JP5035029B2 (ja) 2008-03-03 2012-09-26 ソニー株式会社 信号処理装置および方法、並びにプログラム
US8401311B2 (en) 2008-03-11 2013-03-19 Sony Corporation Image processing device, method, and program
JP5062483B2 (ja) 2008-04-01 2012-10-31 ソニー株式会社 信号処理装置および方法、並びにプログラム
EP2565582B1 (en) 2009-07-09 2014-05-14 TomTom International B.V. Method for compressing route search acceleration data
US9109909B2 (en) * 2009-07-09 2015-08-18 Tomtom International B.V. Navigation devices
JP4703759B2 (ja) * 2009-11-27 2011-06-15 株式会社東芝 画像処理装置および同装置における画像処理方法
EP2561315B1 (en) 2010-04-21 2019-10-02 TomTom Navigation B.V. System and method of generating a route across an electronic map
CN102947676B (zh) 2010-04-23 2016-06-01 通腾科技股份有限公司 导航装置及在其上实行的方法
US9066112B2 (en) * 2012-08-02 2015-06-23 Xerox Corporation Method and printing system for designing code books for super resolution encoding
CN104021179B (zh) * 2014-06-05 2017-05-31 暨南大学 一种大数据集下相似性数据的快速识别算法
CN106095732B (zh) * 2016-06-08 2018-08-24 北京普杰生物技术有限公司 一种适用于实验数据的降噪处理方法及***
EP3738306A1 (en) * 2018-01-11 2020-11-18 Telefonaktiebolaget LM Ericsson (publ) Multiple boundary filtering
JP7093015B2 (ja) * 2019-04-24 2022-06-29 日本電信電話株式会社 パノラマ映像合成装置、パノラマ映像合成方法、及びパノラマ映像合成プログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100396928B1 (ko) * 1994-08-31 2003-11-13 소니 가부시끼 가이샤 동화상부호화방법및동화상부호화장치

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04342372A (ja) * 1991-05-20 1992-11-27 Seiko Epson Corp 画像データ圧縮装置
JP3365784B2 (ja) * 1992-04-30 2003-01-14 オリンパス光学工業株式会社 画像信号復号化装置
US5512956A (en) * 1994-02-04 1996-04-30 At&T Corp. Adaptive spatial-temporal postprocessing for low bit-rate coded image sequences
JP2673778B2 (ja) * 1994-02-22 1997-11-05 国際電信電話株式会社 動画像の復号化における雑音低減装置
US5552832A (en) * 1994-10-26 1996-09-03 Intel Corporation Run-length encoding sequence for video signals
JPH08237658A (ja) * 1995-02-24 1996-09-13 Kenwood Corp 画像処理装置
JP3540855B2 (ja) * 1995-03-08 2004-07-07 シャープ株式会社 ブロック歪み補正器
EP0772365A3 (en) * 1995-11-02 1999-05-12 Matsushita Electric Industrial Co., Ltd. Method and device for filtering a picture signal, and encoding/decoding using the same
US6360015B1 (en) * 1999-04-06 2002-03-19 Philips Electronics North America Corp. RAM-based search engine for orthogonal-sum block match motion estimation system

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100396928B1 (ko) * 1994-08-31 2003-11-13 소니 가부시끼 가이샤 동화상부호화방법및동화상부호화장치

Also Published As

Publication number Publication date
EP0917357A4 (en) 2009-05-06
US6434275B1 (en) 2002-08-13
EP2190205A3 (en) 2010-10-06
WO1998054892A1 (en) 1998-12-03
EP0917357A1 (en) 1999-05-19
JP4164877B2 (ja) 2008-10-15
CN1234939A (zh) 1999-11-10
KR20000029622A (ko) 2000-05-25
CN1136719C (zh) 2004-01-28
EP2190205A2 (en) 2010-05-26

Similar Documents

Publication Publication Date Title
KR100529483B1 (ko) 블록 왜곡 감소 방법과 장치 및 부호화 방법과 장치
JP4186242B2 (ja) 画像信号処理装置及び画像信号処理方法
US5565921A (en) Motion-adaptive image signal processing system
KR100582427B1 (ko) 화상 신호 처리 장치 및 방법
JP4120989B2 (ja) フィルタリング方法、画像符号化装置および画像復号装置
CA2925141C (en) Image encoding system based upon boundary strength
KR101914896B1 (ko) 화상 처리 장치와 화상 처리 방법
US6904096B2 (en) Video data processing device and video data processing method
WO2012063878A1 (ja) 画像処理装置と画像処理方法
JP3961600B2 (ja) ブロック歪低減方法及び装置
KR20040102211A (ko) 코딩된 디지털 비디오에 대한 선명도 향상 시스템 및 방법
US20070076797A1 (en) Filtering apparatus, method, and medium for multi-format codec
WO2019003676A1 (ja) 画像処理装置と画像処理方法およびプログラム
JP3365784B2 (ja) 画像信号復号化装置
JP4239231B2 (ja) ブロック歪低減装置及び方法
JPH11205792A (ja) ブロック歪低減方法及び装置
JP5387520B2 (ja) 情報処理装置と情報処理方法
JP3599909B2 (ja) 動画像符号化装置
JPH10276433A (ja) ブロックノイズ除去装置
JPH1198510A (ja) 画像復号化装置
JP2007538451A (ja) 復号化ビデオにおいてアーチファクトを削減するアルゴリズム
KR20020070501A (ko) 압축 인코딩된 비디오의 압축 해제

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20111109

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee