KR20130030290A - 영상 부호화 장치 및 영상 복호 장치 - Google Patents

영상 부호화 장치 및 영상 복호 장치 Download PDF

Info

Publication number
KR20130030290A
KR20130030290A KR1020137001377A KR20137001377A KR20130030290A KR 20130030290 A KR20130030290 A KR 20130030290A KR 1020137001377 A KR1020137001377 A KR 1020137001377A KR 20137001377 A KR20137001377 A KR 20137001377A KR 20130030290 A KR20130030290 A KR 20130030290A
Authority
KR
South Korea
Prior art keywords
block
boundary
random noise
unit
quantization
Prior art date
Application number
KR1020137001377A
Other languages
English (en)
Other versions
KR101391365B1 (ko
Inventor
게이이치 조노
유조 센다
준지 다지메
히로후미 아오키
겐타 센자키
Original Assignee
닛본 덴끼 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 닛본 덴끼 가부시끼가이샤 filed Critical 닛본 덴끼 가부시끼가이샤
Publication of KR20130030290A publication Critical patent/KR20130030290A/ko
Application granted granted Critical
Publication of KR101391365B1 publication Critical patent/KR101391365B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H04N19/865—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness with detection of the former encoding block subdivision in decompressed video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명의 영상 부호화 장치 및 영상 복호 장치는, 의사 랜덤 잡음 혼입 처리에 있어서의 참조 라인 버퍼의 라인 수를 증대시키지 않도록 한다. 영상 부호화 장치는, 양자화 인덱스를 역양자화해서 양자화 대표값을 얻는 역양자화부와, 역양자화부에 의해 얻어진 양자화 대표값을 역변환해서 재구축 화상 블록을 얻는 역주파수 변환부와, 재구축 화상 블록의 경계를 중심으로 비대칭인 영역에 의사 랜덤 잡음을 혼입시키는 비대칭 왜곡 제거 필터부를 구비하고 있다.

Description

영상 부호화 장치 및 영상 복호 장치{VIDEO IMAGE ENCODING DEVICE AND VIDEO IMAGE DECODING DEVICE}
본 발명은 영상 부호화 기술이 적용된 영상 부호화 장치 및 영상 복호 장치에 관한 것이다.
일반적으로, 영상 부호화 장치는, 외부로부터 입력되는 동화상 신호를 디지털화한 후, 소정의 영상 부호화 방식에 준거한 부호화 처리를 행함으로써 부호화 데이터 즉 비트스트림(bitstream)을 생성한다.
소정의 영상 부호화 방식으로서, 비특허문헌 1에 기재된 ISO/IEC 14496-10 AVC(Advanced Video Coding)가 있다. AVC의 부호화기의 참조 모델로서 Joint Model 방식이 알려져 있다(이하, 일반적인 영상 부호화 장치라 함).
도 21을 참조해서, 디지털화된 영상의 각 프레임을 입력으로 해서 비트스트림을 출력하는 일반적인 영상 부호화 장치의 구성과 동작을 설명한다.
도 21에 나타내는 바와 같이, 일반적인 영상 부호화 장치는, MB 버퍼(101), 주파수 변환부(102), 양자화부(103), 엔트로피 부호화부(104), 역(逆)양자화부(105), 역(逆)주파수 변환부(106), 픽쳐 버퍼(107), 왜곡 제거 필터부(108a), 디코드 픽쳐 버퍼(109), 인트라 예측부(110), 프레임간 예측부(111), 부호화 제어부(112) 및 스위치(100)를 구비하고 있다.
일반적인 영상 부호화 장치는, 각 프레임을 MB(macroblock : 매크로 블록)라 불리는 16×16화소 사이즈의 블록으로 분할하고, MB를 4×4화소 사이즈의 블록으로 더 분할하여, 분할해서 얻어진 4×4블록을 부호화의 최소 구성 단위로 한다.
도 22는, 프레임의 공간 해상도가 QCIF(Quarter Common Intermediate Format)인 경우의 블록 분할의 예를 나타내는 설명도이다. 이하, 간단히 하기 위하여, 휘도의 화소값에만 착안해서, 도 21에 나타낸 각 부의 동작을 설명한다.
MB 버퍼(101)에는, 입력 화상 프레임의 부호화 대상 MB의 화소값이 저장된다. 이하, 부호화 대상 MB를 입력 MB라 한다. MB 버퍼(101)로부터 공급되는 입력 MB는, 스위치(100)를 통해서, 인트라 예측부(110) 또는 프레임간 예측부(111)로부터 공급되는 예측 신호가 감산된다. 이하, 예측 신호가 감산된 입력 MB를 예측 오차 화상 블록이라 한다.
인트라 예측부(110)는, 픽쳐 버퍼(107)에 저장되며 현재의 프레임과 표시 시각이 동일한 재구축 화상을 이용해서 인트라 예측 신호를 생성한다. 이하, 인트라 예측 신호를 이용해서 부호화되는 MB를 인트라 MB라 한다.
프레임간 예측부(111)는, 현재의 프레임과 표시 시각이 상이한, 디코드 픽쳐 버퍼(109)에 저장된 참조 화상을 이용해서 프레임간 예측 신호를 생성한다. 이하, 프레임간 예측 신호를 이용해서 부호화되는 MB를 인터 MB라 한다.
인트라 MB만을 포함하여 부호화된 프레임은 I 프레임이라 한다. 인트라 MB뿐만 아니라 인터 MB도 포함해서 부호화된 프레임은 P 프레임이라 한다. 프레임간 예측 신호의 생성에 1매의 참조 화상뿐만 아니라 동시에 2매의 참조 화상을 사용하는 인터 MB를 포함해서 부호화된 프레임은 B 프레임이라 한다.
부호화 제어부(112)는, 인트라 예측 신호 및 프레임간 예측 신호 각각과 MB 버퍼(101)에 저장되어 있는 입력 MB를 비교해서, 예측 오차 화상 블록의 에너지가 작아지는 것에 해당하는 예측 신호를 선택하여, 스위치(100)를 제어한다. 선택된 예측 신호에 관련되는 정보(인트라 예측 모드, 인트라 예측 방향, 및 프레임간 예측에 관련되는 정보)는 엔트로피 부호화부(104)에 공급된다.
또한, 부호화 제어부(112)는, 입력 MB 또는 예측 오차 화상 블록에 의거해서, 예측 오차 화상 블록의 주파수 변환에 적합한 정수 DCT(Discrete Cosine Transform)의 기저 블록 사이즈를 선택한다. 정수 DCT는, 일반적인 영상 부호화 장치에서는 DCT 기저를 정수값으로 근사하여 얻어진 기저에 의한 주파수 변환을 의미한다. 기저 블록 사이즈의 선택지로서, 16×16, 8×8, 및 4×4인 3개의 블록 사이즈가 있다. 입력 MB 또는 예측 오차 화상 블록의 화소값이 평탄해질수록, 보다 큰 기저 블록 사이즈가 선택된다. 선택된 정수 DCT의 기저 사이즈에 관한 정보는, 주파수 변환부(102) 및 엔트로피 부호화부(104)에 공급된다. 이하, 선택된 예측 신호에 관련되는 정보, 선택된 정수 DCT의 기저 사이즈 등에 관한 정보, 및 후술하는 양자화 파라미터를 보조 정보라 한다.
또한, 부호화 제어부(112)는, 목표 비트 수 이하로 프레임을 부호화하기 위해서, 엔트로피 부호화부(104)가 출력하는 비트스트림의 비트 수를 감시한다. 그리고, 부호화 제어부(112)는, 출력되는 비트스트림의 비트 수가 목표 비트 수보다 많으면 양자화 스텝 사이즈를 크게 하는 양자화 파라미터를 출력하고, 반대로 출력되는 비트스트림의 비트 수가 목표 비트 수보다 적으면 양자화 스텝 사이즈를 작게 하는 양자화 파라미터를 출력한다. 그렇게 실시해서, 출력 비트스트림이 목표의 비트 수에 근접하도록 부호화된다.
주파수 변환부(102)는, 선택된 정수 DCT의 기저 사이즈로, 예측 오차 화상 블록을 주파수 변환해서 공간 영역으로부터 주파수 영역으로 변환한다. 주파수 영역으로 변환된 예측 오차를 변환 계수라 한다.
양자화부(103)는, 부호화 제어부(112)로부터 공급되는 양자화 파라미터에 대응하는 양자화 스텝 사이즈로, 변환 계수를 양자화한다. 또, 양자화된 변환 계수의 양자화 인덱스는 레벨이라고도 한다.
엔트로피 부호화부(104)는, 보조 정보와 양자화 인덱스를 엔트로피 부호화해서, 그 비트열 즉 비트스트림으로서 출력한다.
역양자화부(105) 및 역(逆)주파수 변환부(106)는, 이후의 부호화를 위해서, 양자화부(103)로부터 공급되는 양자화 인덱스를 역양자화해서 양자화 대표값을 얻고, 또한 양자화 대표값을 역주파수 변환해서 원래의 공간 영역으로 되돌린다. 이하, 원래의 공간 영역으로 되돌려진 예측 오차 화상 블록을 재구축 예측 오차 화상 블록이라 한다.
픽쳐 버퍼(107)에는, 현재의 프레임에 포함되는 모든 MB가 부호화될 때까지, 재구축 예측 오차 화상 블록에 예측 신호가 더해진 재구축 화상 블록이 저장된다. 이하, 픽쳐 버퍼(107)에 있어서 재구축 화상에 의해 구성되는 픽쳐를 재구축 화상 픽쳐라 한다.
왜곡 제거 필터부(108a)는, 재구축 화상의 각 MB 및 MB의 내부 블록의 경계에 필터링을 적용하여, 픽쳐 버퍼(107)에 저장된 재구축 화상에 대해서 왜곡(블록 왜곡(block distortion)과 밴딩 왜곡(banding distortion))을 제거하는 처리를 행한다.
도 23 및 도 24는 왜곡 제거 필터부(108a)의 동작을 설명하기 위한 설명도이다.
왜곡 제거 필터부(108a)는, 도 23에 나타내는 바와 같이, MB 및 그 내부 블록의 수평 방향의 블록 경계에 대해서 필터링을 적용한다. 또한, 도 24에 나타내는 바와 같이, MB 및 MB의 내부 블록의 수직 방향의 블록 경계에 대해서 필터링을 적용한다. 수평 방향의 블록 경계는, 0, 4, 8, 12의 4×4블록의 좌측의 블록 경계, 1, 5, 9, 13의 4×4블록의 좌측의 블록 경계, 2, 6, 10, 14의 4×4블록의 좌측의 블록 경계, 및 3, 7, 11, 15의 4×4블록의 좌측의 블록 경계이다. 또한, 수직 방향의 블록 경계는, 0, 1, 2, 3의 4×4블록의 상측의 블록 경계, 4, 5, 6, 7의 4×4블록의 상측의 블록 경계, 8, 9, 10, 11의 4×4블록의 상측의 블록 경계, 및 12, 13, 14, 15의 4×4블록의 상측의 블록 경계이다.
단, 8×8블록 사이즈의 정수 DCT를 이용한 MB에서는, 0, 4, 8, 12의 4×4블록의 좌측의 블록 경계, 2, 6, 10, 14의 4×4블록의 좌측의 블록 경계, 0, 1, 2, 3의 4×4블록의 상측의 블록 경계, 및 8, 9, 10, 11의 4×4블록의 상측의 블록 경계만이 왜곡 제거 대상의 블록 경계가 된다. 또한, 16×16블록 사이즈의 정수 DCT의 기저가 16×16블록 사이즈의 DCT 기저를 정수값으로 근사한 기저이며, 또한 16×16블록 사이즈의 정수 DCT를 이용한 MB에서는, 0, 4, 8, 12의 4×4블록의 좌측의 블록 경계, 및, 0, 1, 2, 3의 4×4블록의 상측의 블록 경계만이 왜곡 제거 대상의 블록 경계가 된다.
수평 방향의 블록 경계에 대한 필터링 처리에 대해서는, 블록 경계를 중심으로 좌측의 필터링 전의 화소를 p3, p2, p1, p0으로 하고, 좌측의 필터링 후의 화소를 P3, P2, P1, P0으로 하고, 블록 경계를 중심으로 우측의 필터링 전의 화소를 q0, q1, q2, q3으로 하고, 우측의 필터링 후의 화소를 Q0, Q1, Q2, Q3으로 한다.
수직 방향의 블록 경계에 대한 필터링 처리에 대해서는, 블록 경계를 중심으로 상측의 필터링 전의 화소를 p3, p2, p1, p0으로 하고, 상측의 필터링 후의 화소를 P3, P2, P1, P0으로 하고, 블록 경계를 중심으로 하측의 필터링 전의 화소를 q0, q1, q2, q3으로 하고, 하측의 필터링 후의 화소를 Q0, Q1, Q2, Q3으로 한다.
단, P3, P2, P1, P0, Q0, Q1, Q2, Q3은, p3, p2, p1, p0, q0, q1, q2, q3으로 각각 초기화되어 있는 것으로 한다.
수평 방향과 수직 방향간에서 블록 경계에 대한 필터링 처리는 같다. 따라서, 이하 수평 방향과 수직 방향을 특별히 구별하지 않고, 블록 경계에 대한 필터링 처리를 설명한다. 또한, 왜곡 제거 필터부(108a)의 내부 구성을 도 25에 나타낸다.
도 25에 나타내는 왜곡 제거 필터부(108a)에 있어서, 우선 블록 경계 강도 결정부(1081)는, 비특허문헌 1의 8.7 Deblocking filter process를 참조하여, 인접 블록의 보조 정보에 의거해서 블록 경계 강도(bS)(0≤bS≤4)를 결정한다. 도 26은 bS를 결정하는 처리를 나타내는 플로차트이다.
블록 경계 강도 결정부(1081)는, 블록 경계의 화소(p0)와 화소(q0) 중 어느 하나가 인트라 MB의 화소일 경우에는(스텝 S101), 화소(p0)와 화소(q0)가 MB의 경계의 좌우의 화소인지의 여부를 판정한다(스텝 S102). 화소(p0)와 화소(q0)가 MB의 경계의 좌우의 화소일 경우에는, 블록 경계 강도 결정부(1081)는 bS를 4로 결정한다. 화소(p0)와 화소(q0)가 MB의 경계의 좌우의 화소가 아닐 경우에는, 블록 경계 강도 결정부(1081)는 bS를 3으로 결정한다.
블록 경계 강도 결정부(1081)는, 화소(p0)와 화소(q0) 모두 인트라 MB의 화소가 아닐 경우에는, 화소(p0)와 화소(q0)가 각각 속하는 블록 중 어느 하나에 양자화 인덱스가 존재하는지의 여부를 판정한다(스텝 S103). 블록 경계 강도 결정부(1081)는, 화소(p0)와 화소(q0)가 각각 속하는 블록 중 어느 하나에 양자화 인덱스가 존재할 경우에는, bS를 2로 결정한다. 블록 경계 강도 결정부(1081)는, 화소(p0)와 화소(q0)가 각각 속하는 블록에 양자화 인덱스가 존재하지 않을 경우에는, 화소(p0)와 화소(q0)에서 프레임간 예측에 불연속이 있는지의 여부를 판정한다(스텝 S104). 프레임간 예측에 불연속이 있을 경우에는, 블록 경계 강도 결정부(1081)는 bS를 1로 결정한다. 프레임간 예측에 불연속이 없을 경우에는, 블록 경계 강도 결정부(1081)는 bS를 0으로 결정한다.
또, bS를 결정하는 처리의 보다 상세한 설명이, 비특허문헌 1의 8.7.2 Filtering process for a set of samples across a horizontal or vertical block edge에 기재되어 있다.
bS가 큰 값이 될수록, 블록 경계의 변동량이 큰 것으로 판정하며, 강도가 높은 필터링이 적용된다. bS=0에서는, 필터링이 적용되지 않는다.
다음으로, bS>0인 블록 경계에 대해서만, bS=4와 bS<4인 경우로 나눠서, 비특허문헌 1에 의거하는 비특허문헌 2에 있어서의, 블록 경계에 대한 의사 랜덤 잡음(pseudo random noise)을 이용한 필터링 처리를 설명한다.
bS=4인 경우, 처리 대상의 블록 경계의 행(수평 필터링 시) 또는 열(수직 필터링 시)의 pos(0≤pos≤16)의 에지마다, 에지 판정부(1082)는 |p0-q0|<α/4 또한 |p1-p0|<β인 에지를 필터 대상 에지로 결정한다. 필터부(1083)는, pos에 대응한 의사 랜덤 잡음(ditherP[pos])(1≤ditherP[pos]≤7)을 이용한 이하의 식으로 P0, P1, P2를 각각 계산한다.
P0=(p2+2*p1+2*p0+2*q0+q1+ditherP[pos])/8 (1)
P1=(p3+2*p2+2*p1+2*p0+q0+ditherP[pos])/8 (2)
P2=(2*p3+3*p2+p1+p0+q0+ditherP[pos])/8 (3)
단, α와 β는 각각 양자화 파라미터(Q)의 값이 커질수록 큰 값이 되는 파라미터이며, pos는 처리 대상의 블록 위치의 좌표에 대한 위치이다.
마찬가지로, bS=4인 경우, 처리 대상의 블록 경계의 행(수평 필터링 시) 또는 열(수직 필터링 시)의 pos(0≤pos≤16)의 에지마다, 에지 판정부(1082)는 |p0-q0|<α/4 또한 |q1-q0|<β인 에지를 필터 대상 에지로서 결정한다. 필터부(1083)는, pos에 대응한 의사 랜덤 잡음(ditherQ[pos])(1≤ditherQ[pos]≤7)을 이용한 이하의 식으로 Q0, Q1, Q2를 계산한다.
Q0=(q2+2*q1+2*q0+2*p0+p1+ditherQ[pos])/8 (4)
Q1=(q3+2*q2+2*q1+2*q0+p0+ditherQ[pos])/8 (5)
Q2=(2*q3+3*q2+q1+q0+p0+ditherQ[pos])/8 (6)
식 (1) 내지 식 (6)에 나타내는 바와 같이, 의사 랜덤 잡음을 블록 경계에 혼입시킴으로서, 블록 왜곡이 제거될 뿐만 아니라, 밴딩 왜곡도 시각적으로 눈에 띄기 어려워진다.
bS<4인 경우, 처리 대상의 블록 경계의 행(수평 필터링 시) 또는 열(수직 필터링 시)의 pos(0≤pos≤16)의 에지마다, 에지 판정부(1082)는 |p0-p2|<β인 에지를 필터링 대상 에지로 결정한다. 필터부(1083)는, 이하의 식으로 P0을 계산한다.
P0=p0+Clip3{-tc, tc, (2*(q0-p0)+p1-q1+4)/8} (7)
단, tc는, bS 및 양자화 파라미터(Q)의 값이 클수록 큰 값이 되는 파라미터이다.
마찬가지로, bS<4인 경우, 처리 대상의 블록 경계의 행(수평 필터링 시) 또는 열(수직 필터링 시)의 pos(0≤pos≤16)의 에지마다, 에지 판정부(1082)는 |q0-q2|<β인 에지를 필터링 대상 에지로 결정한다. 필터부(1083)는, 이하의 식으로 Q0을 계산한다.
Q0=q0-Clip3{-tc, tc, (2*(q0-p0)+p1-q1+4)/8} (8)
디코드 픽쳐 버퍼(109)는, 왜곡 제거 필터부(108a)로부터 공급되는, 블록 왜곡과 링잉(ringing) 왜곡이 제거된 왜곡 제거 재구축 화상 픽쳐를 참조 화상 픽쳐로서 저장한다. 참조 화상 픽쳐의 화상은, 프레임간 예측 신호를 생성하기 위한 참조 화상으로서 이용된다.
도 21에 나타내어진 영상 부호화 장치는, 상술한 처리에 의해, 비트스트림을 생성한다.
ISO/IEC 14496-10 Advanced Video Coding G. Conklin and N. Gokhale, "Dithering 5-tap Filter for Inloop Deblocking", Joint Video Team(JVT) of ISO/IEC MPEG & ITU-T VCEG, JVT-C056, 2002년 5월 "Test Model under Consideration", Document : JCTVC-B205, Joint Collaborative Team on Video Coding(JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 2nd Meeting : Geneva, CH, 21-28 July, 2010
상술한 일반적인 왜곡 제거 필터는, 블록 경계를 중심으로 대칭인 영역에 의사 랜덤 잡음을 화상에 혼입시킨다. 16×16화소 사이즈의 MB를 부호화 단위로 하는 Joint Model 방식에 있어서는, MB 1행의 처리에 필요한 참조 라인 버퍼의 라인 수는 4 라인이 된다(도 27 참조).
그러나, 주파수 변환의 블록 사이즈가 클수록, 밴딩 왜곡을 시각적으로 눈에 띄기 어렵게 하기 위해서 필요한 의사 랜덤 잡음의 혼입 영역은 넓어진다. 예를 들면, 주파수 변환 블록 사이즈가 16×16인 경우에는, 블록 경계를 중심으로 대칭인 8화소(주파수 변환 블록 사이즈의 1변의 절반)의 영역에 의사 랜덤 잡음을 화상에 혼입시키는 것이 바람직하다. 그 경우에는, 도 28에 나타내는 바와 같이, MB 1행의 처리에 필요한 참조 라인 버퍼의 라인 수는 8라인이 된다.
그러므로, MB의 크기를 16×16화소 사이즈보다 크게 할 수 있는 비특허문헌 3에 기재된 Test Model under Consideration(TMuC 방식)과 같은 영상 부호화 방식에 대해서, 일반적인 왜곡 제거 필터를 그대로 사용하면, 그 처리에 필요한 참조 라인 버퍼의 라인 수가 크게 증대하는 과제가 있다.
TMuC 방식에 있어서는, 비특허문헌 3의 7절 Unit definition을 인용하면, MB에 대응하는 개념이 Coding Tree block(CTB)이며, 16×16 고정이 아닌, 128×128 내지 8×8의 범위로 가변되어 있다(도 29 참조). 또, 최대의 Coding Tree block을 Largest Coding Tree block(LCTB), 최소의 Coding Tree block을 Smallest Coding Tree block(SCTB)이라 부른다. 또한, 본 명세서에 있어서는, CTB의 블록을 Coding Unit(CU)이라 부른다.
또한, TMuC 방식에 있어서는, Coding Tree block에 대한 예측 모드의 단위로서 Prediction unit(PU)이라는 개념(도 30 참조), 및 Coding Tree block에 대한 주파수 변환의 단위로서 Transform unit(TU)이라는 개념(도 31 참조)이 도입되어 있다. TU는, 64×64 내지 4×4의 범위로 가변이 되어 있다. 또, 도 30의 설명도를 참조하면, 인트라 예측 모드에서는, 도 30에 나타내어진 형상 중 정방형만이 서포트되어 있다.
예를 들면, LCTB의 사이즈를 64×64 및 TU의 최대 사이즈를 64×64로 하는 TMuC 방식에 있어서, 블록 경계를 중심으로 대칭인 주파수 변환 블록 사이즈의 1변의 절반의 영역에 의사 랜덤 잡음을 화상에 혼입시키는 일반적인 왜곡 제거 필터는, 그 처리에 필요한 참조 라인 버퍼의 라인 수가 32 라인이 된다(도 32 참조).
본 발명은, 의사 랜덤 잡음 혼입 처리에 있어서의 참조 라인 버퍼의 라인 수를 증대시키지 않는 것을 목적으로 한다.
본 발명에 따른 영상 부호화 장치는, 양자화 인덱스를 역양자화해서 양자화 대표값을 얻는 역양자화 수단과, 역양자화 수단에 의해 얻어진 양자화 대표값을 역변환해서 재구축 화상 블록을 얻는 역주파수 변환 수단과, 재구축 화상 블록의 경계를 중심으로 비대칭인 영역에 의사 랜덤 잡음을 혼입시키는 잡음 혼입 수단을 구비한다.
본 발명에 따른 영상 복호 장치는, 양자화 인덱스를 역양자화해서 양자화 대표값을 얻는 역양자화 수단과, 역양자화 수단에 의해 얻어진 양자화 대표값을 역변환해서 재구축 화상 블록을 얻는 역주파수 변환 수단과, 재구축 화상 블록의 경계를 중심으로 비대칭인 영역에 의사 랜덤 잡음을 혼입시키는 잡음 혼입 수단을 구비한다.
본 발명에 따른 영상 부호화 방법은, 양자화 인덱스를 역양자화해서 양자화 대표값을 얻고, 얻어진 양자화 대표값을 역변환해서 재구축 화상 블록을 얻고, 재구축 화상 블록의 경계를 중심으로 비대칭인 영역에 의사 랜덤 잡음을 혼입시키는 것을 포함한다.
본 발명에 따른 영상 복호 방법은, 양자화 인덱스를 역양자화해서 양자화 대표값을 얻고, 얻어진 양자화 대표값을 역변환해서 재구축 화상 블록을 얻고, 재구축 화상 블록의 경계를 중심으로 비대칭인 영역에 의사 랜덤 잡음을 혼입시킨다.
본 발명에 따른 영상 부호화 프로그램은, 컴퓨터에, 양자화 인덱스를 역양자화해서 양자화 대표값을 얻는 처리와, 얻어진 양자화 대표값을 역변환해서 재구축 화상 블록을 얻는 처리와, 재구축 화상 블록의 경계를 중심으로 비대칭인 영역에 의사 랜덤 잡음을 혼입시키는 처리를 실행시킨다.
본 발명에 따른 영상 복호 프로그램은, 컴퓨터에, 양자화 인덱스를 역양자화해서 양자화 대표값을 얻는 처리와, 얻어진 양자화 대표값을 역변환해서 재구축 화상 블록을 얻는 처리와, 재구축 화상 블록의 경계를 중심으로 비대칭인 영역에 의사 랜덤 잡음을 혼입시키는 처리를 실행시킨다.
본 발명에 따른 영상 부호화 장치 및 영상 복호 장치는, 블록 경계를 중심으로 비대칭으로 의사 랜덤 잡음을 화상에 혼입시키는 수단을 구비하고 있다. 따라서, 큰 블록 사이즈를 사용하는 영상 부호화에 있어서도, 의사 랜덤 잡음 혼입 처리에 있어서 참조 라인 버퍼의 라인 수를 소정의 사이즈로 제한할 수 있다.
도 1은 본 발명에 있어서의 참조 라인 버퍼를 설명하기 위한 설명도.
도 2는 제1 실시형태의 영상 부호화 장치의 구성을 나타내는 블록도.
도 3은 비대칭 왜곡 제거 필터의 수평 방향의 필터링의 적용을 설명하기 위한 설명도.
도 4는 비대칭 왜곡 제거 필터의 수직 방향의 필터링의 적용을 설명하기 위한 설명도.
도 5는 비대칭 왜곡 제거 필터의 구성을 나타내는 블록도.
도 6은 블록 경계 강도 결정부의 동작을 나타내는 플로차트.
도 7은 에지 판정부의 동작을 나타내는 플로차트.
도 8은 의사 랜덤 잡음 혼입 영역 결정부의 동작을 나타내는 플로차트.
도 9는 제2 실시형태의 영상 복호 장치의 구성을 나타내는 블록도.
도 10은 플래너(planar) 예측을 설명하기 위한 설명도.
도 11은 플래너 예측을 설명하기 위한 설명도.
도 12는 플래너 예측을 설명하기 위한 설명도.
도 13은 블록 경계 강도 결정부의 동작을 나타내는 플로차트.
도 14는 에지 판정부의 동작을 나타내는 플로차트.
도 15는 의사 랜덤 잡음 혼입 영역 결정부의 동작을 나타내는 플로차트.
도 16은 본 발명에 따른 영상 부호화 장치 및 영상 복호 장치의 기능을 실현 가능한 정보 처리 시스템의 구성예를 나타내는 블록도.
도 17은 본 발명에 따른 영상 부호화 장치의 주요부를 나타내는 블록도.
도 18은 본 발명에 따른 영상 복호 장치의 주요부를 나타내는 블록도.
도 19는 본 발명에 따른 영상 부호화 장치의 처리를 나타내는 플로차트.
도 20은 본 발명에 따른 영상 복호 장치의 처리를 나타내는 플로차트.
도 21은 일반적인 영상 부호화 장치의 구성을 나타내는 블록도.
도 22는 블록 분할의 예를 나타내는 설명도.
도 23은 왜곡 제거 필터의 수평 방향의 필터링의 적용을 설명하기 위한 설명도.
도 24는 왜곡 제거 필터의 수직 방향의 필터링의 적용을 설명하기 위한 설명도.
도 25는 왜곡 제거 필터의 구성을 나타내는 블록도.
도 26은 bS의 결정 처리를 나타내는 플로차트.
도 27은 라인 수가 4인 경우의 참조 라인 버퍼를 설명하기 위한 설명도.
도 28은 라인 수가 8인 경우의 참조 라인 버퍼를 설명하기 위한 설명도.
도 29는 CTB를 설명하기 위한 설명도.
도 30은 PU를 설명하기 위한 설명도.
도 31은 TU를 설명하기 위한 설명도.
도 32는 라인 수가 32인 경우의 참조 라인 버퍼를 설명하기 위한 설명도.
왜곡 제거 필터의 처리에 필요한 참조 라인 버퍼의 라인 수가 주파수 변환의 블록 사이즈의 크기에 따라서 증가하는 문제를 회피하기 위해서, 밴딩 왜곡을 시각적으로 눈에 띄기 어렵게 하기 위한 조건이 "인접하는 블록이 덮이도록 의사 랜덤 잡음을 혼입하는 것"인 것에 의거하여, 본 발명에 따른 영상 부호화 장치 및 영상 복호 장치는, 블록 경계를 중심으로 비대칭인 영역에 의사 랜덤 잡음 혼입시키는 수단을 구비한다. 또, "인접하는 블록을 덮음"이라 함은, 비대칭인 영역의 합계가, 블록 사이즈의 1변과 동일해진다는 의미이다.
즉, 본 발명에 있어서는, 참조 라인 버퍼의 라인 수를 고정(N)으로 하고, 적어도 수평 방향의 블록 경계의 왜곡 제거에 있어서, N의 2배 이상의 1변[M(2*N≤M)]을 갖는 M×M의 주파수 변환 블록의 블록 경계에 대해서, 블록 경계의 상측에 대한 의사 랜덤 잡음의 혼입 최대 영역을 N으로 제한하고, 대신에 블록 경계의 하측에 대한 의사 랜덤 잡음의 혼입 최대 영역을 M-N으로 허용한다. N에 M-N을 더하면 M이 된다. 이 때문에, 비대칭인 영역에 의사 랜덤 잡음 혼입시키는 것에 의해서도, 인접하는 블록이 덮이는 것을 알 수 있다. N=8, M=64인 예를 도 1에 나타낸다.
실시형태 1.
실시형태 1은 다음과 같이 비대칭 왜곡 제거 필터를 사용하는 영상 부호화 장치를 설명한다. 참조 라인 버퍼의 라인 수를 8(N=8)로 제한하고, 16화소 이상의 1변의 주파수 변환 블록[M×M(M=16, 32, 64)]의 수평 방향과 수직 방향 각각의 블록 경계에 대한 왜곡 제거에 있어서, 블록 경계의 상측(수직 방향의 블록 경계인 경우) 및 좌측(수평 방향의 블록 경계인 경우)에 대한 의사 랜덤 잡음의 혼입 최대 영역을 N으로 제한하고, 대신에 블록 경계의 하측(수직 방향의 블록 경계인 경우) 및 우측(수평 방향의 블록 경계인 경우)에 대한 의사 랜덤 잡음의 혼입 최대 영역을 M-N까지 허용한다. 즉, 본 실시형태에 있어서, 잡음 혼입 수단의 일례인 왜곡 제거 필터는, M=32와 64인 주파수 변환 블록에 대해서, 블록의 경계를 중심으로 비대칭인 영역에 의사 랜덤 잡음을 혼입시킨다.
도 2는 본 실시형태의 영상 부호화 장치를 나타내는 블록도이다. 도 2에 나타내는 본 실시형태의 영상 부호화 장치는, 도 21에 나타내는 일반적인 영상 부호화 장치와 비교하면, 왜곡 제거 필터(108a)가 비대칭 왜곡 제거 필터(108)로 치환되어 있는 것을 알 수 있다. 이하, 본 발명의 특징인 비대칭 왜곡 제거 필터(108)의 구성과 동작을 설명한다.
도 3 및 도 4는, 비대칭 왜곡 제거 필터부(108)의 동작을 설명하기 위한 설명도이다.
비대칭 왜곡 제거 필터부(108)는, 도 3에 나타내는 바와 같이, CU/PU/TU의 수평 방향의 블록 경계에 대해서 필터링을 적용한다. 또한, 도 4에 나타내는 바와 같이, 비대칭 왜곡 제거 필터부(108)는 CU/PU/TU의 수직 방향의 블록 경계에 대해서 필터링을 적용한다. 상술한 바와 같이, CU/PU/TU의 블록 사이즈는 가변되므로, 도 3 및 도 4에 있어서는, 블록 사이즈를 지정하지 않는다.
도 3에 나타내는 수평 방향의 블록 경계에 대한 필터링의 처리에 대해서는, 블록 경계를 중심으로 좌측의 필터링 전의 화소를 블록 경계로부터 p0, p1, p2,…로 하고, 좌측의 필터링 후의 화소를 P0, P1, P2,…로 하고, 블록 경계를 중심으로 우측의 필터링 전의 화소를 블록 경계로부터 q0, q1, q2, q3,…로 하고, 우측의 필터링 후의 화소를 Q0, Q1, Q2, Q3,…으로 한다.
도 4에 나타내는 수직 방향의 블록 경계에 대한 필터링의 처리에 대해서는, 블록 경계를 중심으로 상측의 필터링 전의 화소를 블록 경계로부터 p0, p1, p2,…로 하고, 상측의 필터링 후의 화소를 P0, P1, P2,…로 하고, 블록 경계를 중심으로 하측의 필터링 전의 화소를 블록 경계로부터 q0, q1, q2, q3,…로 하고, 하측의 필터링 후의 화소를 Q0, Q1, Q2, Q3,…으로 한다.
단, …, P3, P2, P1, P0, Q0, Q1, Q2, Q3,…은, …, p3, p2, p1, p0, q0, q1, q2, q3,…으로 각각 초기화되어 있는 것으로 한다.
수평 방향과 수직 방향간에서 블록 경계에 대한 필터링 처리는 같다. 따라서, 이하 수평 방향과 수직 방향간을 특별히 구별하지 않고, 블록 경계에 대한 필터링 처리를 설명한다. 또한, 비대칭 왜곡 제거 필터부(108)의 내부 구성을 도 5에 나타낸다.
도 5에 나타내는 비대칭 왜곡 제거 필터(108)를 구성하는, 블록 경계 강도 결정부(1081), 에지 판정부(1082), 및 필터부(1083)는, 도 25에 나타내어진 것과 동등하다. 의사 랜덤 잡음 혼입 영역 결정부(1084)는, 도 25에 나타내어진 왜곡 제거 필터(108a)에 존재하지 않는 기능 블록이다. 의사 랜덤 잡음 혼입 영역 결정부(1084)는, 블록 경계 강도 결정부(1081)로부터 공급되는 블록 경계 강도(bS)와 외부로부터 공급되는 블록의 보조 정보를 이용해서, 블록의 경계를 중심으로 비대칭인 의사 랜덤 잡음 혼입 영역(의사 랜덤 잡음 혼입 범위)을 계산한다. 계산된 의사 랜덤 잡음 혼입 범위는 필터부(1083)에 공급된다.
이하, 블록 경계 강도 결정부(1081), 에지 판정부(1082), 의사 랜덤 잡음 혼입 영역 결정부(1084), 필터부(1083)의 순으로 그 동작을 설명한다.
블록 경계 강도 결정부(1081)는, 비대칭 왜곡 제거 필터(108)의 외부로부터 공급되는 블록의 보조 정보에 의거해서 블록 경계 강도(bS)(0≤bS≤3)를 결정한다. 도 6은 bS를 결정하는 처리를 나타내는 플로차트이다.
블록 경계 강도 결정부(1081)는, 블록 경계의 화소(p0)와 블록 경계의 화소(q0) 중 어느 하나가 인트라 PU의 화소일 경우에는(스텝 S1001), bS를 3으로 결정한다.
블록 경계 강도 결정부(1081)는, 화소(p0)와 화소(q0) 모두 인트라 PU의 화소가 아닐 경우에는, 화소(p0)와 화소(q0)가 각각 속하는 블록 중 어느 하나에 양자화 인덱스가 존재하는지의 여부를 판정한다(스텝 S1002). 화소(p0)와 화소(q0)가 각각 속하는 블록 중 어느 하나에 양자화 인덱스가 존재할 경우에는, 블록 경계 강도 결정부(1081)는 bS를 2로 결정한다.
블록 경계 강도 결정부(1081)는, 화소(p0)와 화소(q0)가 각각 속하는 블록에 양자화 인덱스가 존재하지 않을 경우에는, 화소(p0)와 화소(q0)간에서, 프레임간 예측에 불연속이 있는지의 여부를 판정한다(스텝 S1003). 블록 경계 강도 결정부(1081)는 프레임간 예측에 불연속이 있을 경우에는, bS를 1로 결정한다. 프레임간 예측에 불연속이 없을 경우에는, bS를 0으로 결정한다.
에지 판정부(1082)는, 블록 경계 강도 결정부(1081)로부터 공급되는 bS와 외부로부터 공급되는 재구축 화상을 이용해서, 필터부(1083)에서의 필터링 처리를 결정한다. 도 7은 그 플로차트이다.
에지 판정부(1082)는, 처리 대상 블록 경계의 8개의 행(수평 방향 블록 경계) 또는 8개의 열(수직 방향 블록 경계)에 대응하는 8개의 에지마다, 이하의 조건 1을 만족시키는지의 여부를 판단한다. 조건 1을 만족시키지 않을 경우에는, 8개의 에지에 대해서 필터링 처리 없음으로 판단한다(스텝 S2001).
조건 1 :
bS>0, 또한,
d=|p22-2*p12+p02|+|q22-2*q12+q02|+|p25-2*p15+p05|+|q25-2*q15+q05|<β
조건 1에 있어서의 아래 첨자인 숫자는, 비특허문헌 3의 5.4.1절 Deblocking filter process의 "Notation of an 8 pixels part of vertical edge for deblocking"에 기재되는, 처리 대상 8화소부의 수직 에지의 인덱스이다. 또한, β는 비특허문헌 3의 5.4.1절 Deblocking filter process의 "Relation between qp, tc, and beta"에 기재되는, 양자화 파라미터(QP)에 의존한 파라미터이다.
에지 판정부(1082)는, 조건 1을 만족시킬 경우에는, 8개의 에지의 각 에지(i)(0≤i≤7)가, 이하의 조건 2를 만족시키는지의 여부를 판단한다. 조건 2를 만족시키지 않을 경우에는, 에지(i)에 대해서 후술하는 약(弱) 필터링을 적용하는 것으로 판단한다(스텝 S2002).
조건 2 :
d<(β/4);
(|p3i-p0i|+|q3i-q0i)|)<(β/8); 및
(|p0i-q0i|)<((5*tc+1)/2).
단, tc는, 비특허문헌 3의 5.4.1절 Deblocking filter process의 " Relation between qp, tc, and beta"에 기재되는, 양자화 파라미터(QP)에 의존한 파라미터이다.
에지 판정부(1082)는, 조건 2를 만족시킬 경우에는, 각 에지(i)(0≤i≤7)가, 이하의 조건 3을 만족시키는지의 여부를 판단한다. 조건 3을 만족시키지 않을 경우에는, 에지(i)에 대해서, 후술하는 강(强) 필터링을 적용하는 것으로 판단한다(스텝 S2003). 조건 3을 만족시킬 경우에는, 에지(i)에 대해서, 후술하는 의사 랜덤 혼입을 갖는 강 필터링를 적용하는 것으로 판단한다.
의사 랜덤 잡음 혼입 영역 결정부(1084)는, 블록 경계 강도 결정부(1081)로부터 공급되는 블록 경계 강도(bS)와 외부로부터 공급되는 블록의 보조 정보를 이용해서, 블록 경계 화소(p0) 측의 의사 랜덤 잡음 혼입 영역의 사이즈(pSize), 및 블록 경계 화소(q0) 측의 의사 랜덤 잡음 혼입 영역의 사이즈(qSize)를 계산한다. 도 8은 그 플로차트이다.
의사 랜덤 잡음 혼입 영역 결정부(1084)는, 입력된 블록 경계 화소가 속하는 블록의 보조 정보를 이용해서, 블록이 소정의 크기(본 실시형태에서는 16×16)의 인트라 예측 블록인지의 여부를 판단한다(스텝 S3001). 의사 랜덤 잡음 혼입 영역 결정부(1084)는, 블록이 16×16 이상의 인트라 예측이 아닐 경우, 의사 랜덤 잡음 혼입 영역의 사이즈를 0으로 한다. 또, 의사 랜덤 잡음 혼입 영역 결정부(1084)는, 인트라 예측의 크기뿐만 아닌, 에지 경계와 그 주변 화소에 대해서, 예를 들면 블록 경계 화소가 q0인 경우, |p0i-q0i|≤1 및 |q0i-q7i|≤1을 만족시키는 평탄인지(블록 경계 화소가 p0인 경우 에지 경계와 그 주변 화소가 |p0i-q0i|≤1 및 |p0i-p7i|≤1을 만족시키는 평탄인지)도 판단하고, 에지 경계와 그 주변 화소가 평탄이 아닐 때에는 의사 랜덤 잡음 혼입 영역의 사이즈를 0으로 해도 판단한다. 여기에서, 의사 랜덤 잡음 혼입 영역 결정부(1084)는, 스텝 S2001의 조건 1로 계산한 d가 소정의 문턱값보다 작을 경우에, 에지 경계와 그 주변 화소가 평탄인 것으로 판단해도 된다.
의사 랜덤 잡음 혼입 영역 결정부(1084)는, 입력된 블록 경계 화소가 속하는 블록이 16×16 이상인 인트라 예측 블록일 경우, 입력된 블록 경계 화소가 p0인지의 여부를 판단한다(스텝 S3002). 의사 랜덤 잡음 혼입 영역 결정부(1084)는, 입력된 블록 경계 화소가 p0일 경우, 의사 랜덤 잡음 혼입 영역의 사이즈를 N(N=8)으로 결정한다. 의사 랜덤 잡음 혼입 영역 결정부(1084)는, 입력된 블록 경계 화소가 p0이 아닐 경우, q0이 속하는 블록 M×M(M=16, 32, 64)의 1변의 사이즈(M)를 이용해서, 의사 랜덤 잡음 혼입 영역의 사이즈를 M-N으로 결정한다.
필터부(1083)는, 각 에지(0≤i≤7)에 대해서, 에지 판정부(1082)가 결정한 필터링 처리를 적용한다. 약 필터링, 강 필터링, 및 의사 랜덤 혼입을 갖는 강 필터링의 각각을 이하에서 설명한다.
약 필터링이 적용될 경우, 에지(i)의 화소(P0i 및 Q0i)를 이하의 식으로 계산한다.
P0i=Clip0 -255(p0i+Clip(-tc, tc, (13*(q0i-p0i)+4*(q1i-p1i)-5*(q2i-p2i)+16)/32)) (9)
Q0i=Clip0 -255(q0i-Clip(-tc, tc, (13*(q0i-p0i)+4*(q1i-p1i)-5*(q2i-p2i)+16)/32)) (10)
강 필터링이 적용될 경우, 에지(i)의 화소(P2i, P1i, P0i, Q0i, Q1i, Q2i)를 이하의 식으로 계산한다.
P0i=Clip0 -255((p2i+2*p1i+2*p0i+2*q0i+q1i+4)/8) (11)
P1i=Clip0 -255((p2i+p1i+p0i+q0i+2)/4) (12)
P2i=Clip0 -255((2*p3i+3*p2i+p1i+p0i+q0i+4)/8) (13)
Q0i=Clip0 -255((q2i+2*q1i+2*q0i+2*p0i+p1i+4)/8) (14)
Q1i=Clip0 -255((q2i+q1i+q0i+p0i+2)/4) (15)
Q2i=Clip0 -255((2*q3i+3*q2i+q1i+q0i+p0i+4)/8) (16)
의사 랜덤 혼입을 갖는 강 필터링이 적용될 경우, 의사 랜덤 잡음 혼입 영역 결정부(1084)에서 계산한 pSize를 이용해서, 에지(i)의 화소(Pki)(0≤k≤pSize)를 이하의 식으로 계산한다.
P0i=Clip0 -255(Clip0 -255((p2i+2*p1i+2*p0i+2*q0i+q1i+4)/8)+n0i) (17)
P1i=Clip0 -255(Clip0 -255((p2i+p1i+p0i+q0i+2)/4)+n1i) (18)
P2i=Clip0 -255(Clip0 -255((2*p3i+3*p2i+p1i+p0i+q0i+4)/8)+n2i) (19)
Pki=Clip0 -255(pki+nki) (3≤k≤pSize) (20)
여기에서, nki=LUT[(idxOffseti-k-1)&(LUTSize-1)]이다. LUT[]은 의사 랜덤 잡음을 저장한 룩 업 테이블이며, 그 요소는 -1, 0, 1 중 어느 하나의 값을 취한다. 또한, LUTSize는 룩 업 테이블의 사이즈이다. 룩 업 테이블의 오프셋(idxOffseti)은, 비대칭 왜곡 제거의 방향에 의존해서, 이하의 식으로 계산된다.
[식 1]
Figure pct00001
단, PUPosX는 프레임에 있어서의 도 3에 나타내는 수직 에지의 수평 위치, PUPosY는 프레임에 있어서의 도 4에 나타내는 수평 에지의 수직 위치, PITCH는 소정의 값(예를 들면 16)이다.
마찬가지로, 의사 랜덤 혼입을 갖는 강 필터링이 적용될 경우, 의사 랜덤 잡음 혼입 영역 결정부(1084)에서 계산한 qSize를 이용해서, 에지(i)의 화소(Qki)(0≤k≤qSize)를 이하의 식으로 계산한다.
Q0i=Clip0 -255(Clip0 -255((q2i+2*q1i+2*q0i+2*p0i+p1i+4)/8)+n0i) (22)
Q1i=Clip0 -255(Clip0 -255((q2i+q1i+q0i+p0i+2)/4)+n1i) (23)
Q2i=Clip0 -255(Clip0 -255((2*q3i+3*q2i+q1i+q0i+p0i+4)/8)+n2i) (24)
Qki=Clip0 -255(qki+nki) (3≤k≤qSize) (25)
여기에서, nki=LUT[(idxOffseti+k)&(LUTSize-1)]이다.
이상으로, 본 발명의 특징인 비대칭 왜곡 제거 필터(108)의 구성과 동작의 설명을 마친다.
본 실시형태의 영상 부호화 장치는, 참조 라인 버퍼의 라인 수를 고정(N)으로 하는 비대칭 왜곡 제거 필터를 이용한다. 구체적으로는, 적어도 수직 방향의 왜곡 제거에 있어서, N의 2배 이상의 1변 [M(2*N≤M)]을 갖는 M×M인 주파수 변환 블록의 블록 경계에 대해서, 블록 경계의 상측에 대한 의사 랜덤 잡음의 혼입 최대 영역을 N으로 제한하고, 대신에 블록 경계의 하측에 대한 의사 랜덤 잡음의 혼입 최대 영역을 M-N으로 허용한다. 이에 따라, 본 실시형태의 영상 부호화 장치는, 밴딩 왜곡을 시각적으로 눈에 띄기 어렵게 하기 위한 조건 "인접하는 블록을 덮도록 의사 랜덤 잡음을 혼입하는 것"을 만족시키면서, 왜곡 제거 필터의 처리에 필요한 참조 라인 버퍼의 라인 수가 주파수 변환의 블록 사이즈의 크기에 따라서 증가하는 문제를 극복할 수 있다.
실시형태 2.
본 실시형태에 있어서는, 다음과 같이 비대칭 왜곡 제거 필터를 사용하는 영상 복호 장치를 설명한다. 참조 라인 버퍼의 라인 수를 8(N=8)로 제한하고, 16화소 이상의 1변의 주파수 변환 블록[M×M(M=16, 32, 64)]의 수평 방향과 수직 방향 각각의 블록 경계에 대한 왜곡 제거에 있어서, 블록 경계의 상측(수직 방향의 블록 경계인 경우) 및 좌측(수평 방향의 블록 경계인 경우)에 대한 의사 랜덤 잡음의 혼입 최대 영역을 N으로 제한하고, 대신에 블록 경계의 하측(수직 방향의 블록 경계인 경우) 및 우측(수평 방향의 블록 경계인 경우)에 대한 의사 랜덤 잡음의 혼입 최대 영역을 M-N로 허용한다. 본 실시형태의 영상 복호 장치는, 실시형태 1의 영상 부호화 장치에 대응하는 영상 복호 장치이다.
도 9에 나타내는 바와 같이, 본 실시형태의 영상 복호 장치는, 엔트로피 복호부(201), 역양자화부(202), 역주파수 변환부(203), 픽쳐 버퍼(204), 비대칭 왜곡 제거 필터(108), 디코드 픽쳐 버퍼(206), 인트라 예측부(207), 프레임간 예측부(208), 복호 제어부(209) 및 스위치(200)를 구비하고 있다.
엔트로피 복호부(201)는, 비트스트림을 엔트로피 복호하고, 복호 대상 CU의 예측 신호에 관련되는 정보, 정수 DCT의 기저 사이즈, 및 양자화 인덱스를 출력한다.
인트라 예측부(207)는, 현재 복호되는 프레임과 표시 시각이 동일한, 픽쳐 버퍼(204)에 저장된 재구축 화상을 이용해서 인트라 예측 신호를 생성한다.
프레임간 예측부(208)는, 현재 복호되는 프레임과 표시 시각이 상이한, 디코드 픽쳐 버퍼(206)에 저장된 참조 화상을 이용해서 프레임간 예측 신호를 생성한다.
복호 제어부(209)는, 엔트로피 복호한 프레임간 예측에 의거해서, 스위치(200)를 제어하여, 인트라 예측 신호 또는 프레임간 예측 신호를 공급한다.
역양자화부(202)는, 엔트로피 복호부(201)로부터 공급되는 양자화 인덱스를 역양자화한다.
역변환부(203)는, 실시형태 1의 역주파수 변환부(106)와 마찬가지로, 양자화 대표값을 역주파수 변환해서 원래의 공간 영역으로 되돌린다.
픽쳐 버퍼(204)에는, 현재 복호되는 프레임에 포함되는 모든 CU가 복호될 때까지, 원래의 공간 영역으로 되돌려진 재구축 예측 오차 화상 블록에 예측 신호가 더해진 재구축 화상 블록이 저장된다.
비대칭 왜곡 제거 필터(108)는, 현재의 프레임에 포함되는 모든 CU가 복호된 후, 픽쳐 버퍼(204)에 저장된 재구축 화상에 대해서 왜곡을 제거한다. 비대칭 왜곡 제거 필터(108)의 구성은, 도 5에 나타내어진 바와 같으며, 또한 비대칭 왜곡 제거 필터(108)가 실행하는 처리는, 도 6～도 8에 나타내어진 바와 같다.
디코드 픽쳐 버퍼(206)는, 비대칭 왜곡 제거 필터(108)로부터 공급되는 왜곡 제거된 재구축 화상을 참조 화상 픽쳐로서 저장한다. 참조 화상 픽쳐의 화상은, 프레임간 예측 신호를 생성하기 위한 참조 화상으로서 이용된다. 또한, 참조 화상 픽쳐는, 적절한 표시 타이밍으로 신장(decompression) 프레임으로서 출력된다.
본 실시형태의 영상 복호 장치는, 상기와 같은 처리에 의해 비트스트림을 신장한다.
본 실시형태의 영상 복호 장치는, 대응하는 영상 부호화 장치와 마찬가지로, 밴딩 왜곡을 시각적으로 눈에 띄기 어렵게 하기 위한 조건 "인접하는 블록을 덮도록 의사 랜덤 잡음을 혼입하는 것"을 만족시키면서, 왜곡 제거 필터의 처리에 필요한 참조 라인 버퍼의 라인 수가 주파수 변환의 블록 사이즈의 크기에 따라서 증가하는 문제를 극복할 수 있다.
다른 실시형태
비특허문헌 3의 Test Model under Consideration(TMuC 방식)에 있어서는, 5.1.1.3.1절 Specification of intra planar prediction을 인용하면, 플래너 예측이라는 새로운 개념의 인트라 예측이 도입되어 있다. 플래너 예측에서는, 우선, 부호화 대상 블록의 오른쪽 아래(bottom right) 화상이 참조 화상을 이용한 예측 부호화에 의거해서 인코더로부터 전송된다(도 10 참조). 이어서, 플래너 예측에서는, 전송된 오른쪽 아래 화상과 부호화 대상 블록 주변의 참조 화상을 이용해서, 부호화 대상 블록 가장 오른쪽 열과 가장 아래의 행의 예측 화상을 1차원의 선형 보간(補間)으로 계산한다(도 11 참조). 마지막으로, 나머지 영역의 예측 화상을 2차원의 선형 보간으로 계산한다(도 12 참조).
플래너 예측(이후, 플래너 모드라고도 부름)을 이용한 블록에 있어서는 예측 오차(원(原) 신호와 보간 화상의 차분(差分))를 전송하지 않는다. 즉, 보간 화상이 그대로 재구축 화상이 된다. 그러므로, 인접하는 플래너 모드의 블록 경계에 있어서는, 배경기술의 설명에서 기술한 왜곡 제거와는 상이한 처리가, 비특허문헌 3의 5.4.1절 Deblocking filter process의 Planar mode filtering에 기재되어 있다.
Planar mode filtering(Planar mode filter)을 고려했을 경우에 있어서의, 비선형 왜곡 제거 필터의 동작을 이하에 나타낸다. 상술한 비선형 왜곡 제거 필터부의 구성은 바뀌지 않는다.
블록 경계 강도 결정부(1081)는, 비선형 왜곡 제거 필터부(108)의 외부로부터 공급되는 블록의 보조 정보에 의거해서 블록 경계 강도(bS)(0≤bS≤4)를 결정한다. 도 13은 bS를 결정하는 처리를 나타내는 플로차트이다.
블록 경계 강도 결정부(1081)는, 블록 경계의 화소(p0)와 블록 경계의 화소(q0)가 같은 블록 사이즈의 플래너 모드일 경우에는(스텝 S1000), bS를 4로 결정한다.
블록 경계 강도 결정부(1081)는, 블록 경계의 화소(p0)와 블록 경계의 화소(q0)가 같은 블록 사이즈의 플래너 모드가 아닐 경우에는, 블록 경계의 화소(p0)와 블록 경계의 화소(q0) 중 어느 하나가 인트라 PU의 화소일 경우에는(스텝 S1001'), bS를 3으로 결정한다.
블록 경계 강도 결정부(1081)는, 화소(p0)와 화소(q0) 모두 인트라 PU의 화소가 아닐 경우에는, 화소(p0)와 화소(q0)가 각각 속하는 블록 중 어느 하나에 양자화 인덱스가 존재하는지의 여부를 판정한다(스텝 S1002). 블록 경계 강도 결정부(1081)는, 화소(p0)와 화소(q0)가 각각 속하는 블록 중 어느 하나에 양자화 인덱스가 존재할 경우에는, bS를 2로 결정한다.
블록 경계 강도 결정부(1081)는, 화소(p0)와 화소(q0)가 각각 속하는 블록에 양자화 인덱스가 존재하지 않을 경우에는, 화소(p0)와 화소(q0)에서, 프레임간 예측에 불연속이 있는지의 여부를 판정한다(스텝 S1003). 블록 경계 강도 결정부(1081)는, 프레임간 예측에 불연속이 있을 경우에는 bS를 1로 결정한다. 블록 경계 강도 결정부(1081)는, 프레임간 예측에 불연속이 없을 경우에는 bS를 0으로 결정한다.
에지 판정부(1082)는, 블록 경계 강도 결정부(1081)로부터 공급되는 bS와 외부로부터 공급되는 재구축 화상을 이용해서, 필터부(1083)에서의 필터링 처리를 결정한다. 도 14는 그 동작의 플로차트이다.
에지 판정부(1082)는, 처리 대상의 블록 경계의 8개의 행(수평 방향 블록 경계) 또는 8개의 열(수직 방향 블록 경계)에 대응하는 8개의 에지마다, 대응하는 블록 경계가 bS=4인지를 판단한다(스텝 S2000). 에지 판정부(1082)는, bS=4일 경우에는, 8개의 에지에 대해서 플래너 모드 필터링을 수행하는 것으로 판단한다.
에지 판정부(1082)는, 대응하는 블록 경계가 bS=4가 아닐 경우, 상기의 8개의 에지마다, 이하의 조건 1을 만족시키는지의 여부를 판단한다(스텝 S2001). 조건 1을 만족시키지 않을 경우에는, 에지 판정부(1082)는, 8개의 에지에 대해서 필터링 처리 없음으로 판단한다.
조건 1 :
bS>0; 및
d=|p22-2*p12+p02|+|q22-2*q12+q02|+|p25-2*p15+p05|+|q25-2*q15+q05|<β
조건 1에 있어서의 아래 첨자인 숫자는, 비특허문헌 3의 5.4.1절 Deblocking filter process의 "Notation of an 8 pixels part of vertical edge for Deblocking"에 기재되는, 처리 대상 8에지의 인덱스이다. 또한 β는, 비특허문헌 3의 5.4.1절 Deblocking filter process의 "Relation between qp, tc, and beta"에 기재되는, 양자화 파라미터(QP)에 의존한 파라미터이다.
에지 판정부(1082)는, 조건 1을 만족시킬 경우에는, 8개의 에지의 각 에지(i)(0≤i≤7)가, 이하의 조건 2를 만족시키는지의 여부를 판단한다(스텝 S2002). 에지 판정부(1082)는, 조건 2를 만족시키지 않을 경우에는, 에지(i)에 대해서 후술하는 약 필터링을 적용하는 것으로 판단한다.
조건 2 :
d<(β/4);
(|p3i-p0i|+|q3i-q0i|)<(β/8); 및
(|p0i-q0i|)<((5*tc+1)/2)
여기에서, tc는, 비특허문헌 3의 5.4.1절 Deblocking filter process의 "Relation between qp, tc, and beta"에 기재되는, 양자화 파라미터(QP)에 의존한 파라미터이다.
에지 판정부(1082)는, 조건 2를 만족시킬 경우에는, 각 에지(i)(0≤i≤7)가, 이하의 조건 3을 만족시키는지의 여부를 판단한다(스텝 S2003). 에지 판정부(1082)는, 조건 3을 만족시키지 않을 경우에는, 에지(i)에 대해서, 후술하는 강 필터링을 적용하는 것으로 판단한다. 조건 3을 만족시킬 경우에는, 에지(i)에 대해서, 후술하는 의사 랜덤 혼입을 갖는 강 필터를 적용하는 것으로 판단한다.
의사 랜덤 잡음 혼입 영역 결정부(1084)는, 블록 경계 강도 결정부(1081)로부터 공급되는 블록 경계 강도(bS)와 외부로부터 공급되는 블록의 보조 정보를 이용해서, 블록 경계 화소(p0) 측의 의사 랜덤 잡음 혼입 영역의 사이즈(pSize), 및 블록 경계 화소(q0) 측의 의사 랜덤 잡음 혼입 영역의 사이즈(qSize)를 계산한다. 도 15는 그 동작의 플로차트이다.
의사 랜덤 잡음 혼입 영역 결정부(1084)는, 입력된 블록 경계 화소가 속하는 블록의 보조 정보를 이용해서, 블록이 소정의 크기(본 실시형태에서는 16×16)인 인트라 예측 블록인지의 여부를 판단한다(스텝 S3001). 의사 랜덤 잡음 혼입 영역 결정부(1084)는, 16×16 이상의 인트라 예측 블록이 아닐 경우, 의사 랜덤 잡음 혼입 영역의 사이즈를 0으로 한다. 의사 랜덤 잡음 혼입 영역 결정부(1084)는, 인트라 예측의 크기뿐만 아닌, 에지 경계와 그 주변 화소에 대해서, 예를 들면 블록 경계 화소가 q0인 경우, |p0i-q0i|≤1 및 |q0i-q7i|≤1을 만족시키는 평탄인지(블록 경계 화소가 p0인 경우 에지 경계와 그 주변 화소가 |p0i-q0i|≤1 및 |p0i-p7i|≤1을 만족시키는 평탄인지)도 판단하고, 에지 경계와 그 주변 화소가 평탄이 아닐 때에는 의사 랜덤 잡음 혼입 영역의 사이즈를 0로 해도 된다. 또한, 의사 랜덤 잡음 혼입 영역 결정부(1084)는, 스텝 S2001의 조건 1로 계산한 d가 소정의 문턱값보다 작을 경우에 에지 경계와 그 주변 화소가 평탄인 것으로 판단해도 된다.
의사 랜덤 잡음 혼입 영역 결정부(1084)는, 입력된 블록 경계 화소가 속하는 블록이 16×16 이상인 인트라 예측일 경우, 입력된 블록 경계 화소가 플래너 모드의 블록에 속하는지의 여부를 판단한다(스텝 S3002a). 의사 랜덤 잡음 혼입 영역 결정부(1084)는, 입력된 블록 경계 화소가 플래너 모드의 블록에 속하지 않을 경우, 스텝 S3002b로 진행된다. 의사 랜덤 잡음 혼입 영역 결정부(1084)는, 입력된 블록 경계 화소가 플래너 모드의 블록에 속할 경우, 스텝 S3002c로 진행된다.
스텝 S3002b에서는, 의사 랜덤 잡음 혼입 영역 결정부(1084)는, 입력된 블록 경계 화소가 p0인지의 여부를 판단한다. 의사 랜덤 잡음 혼입 영역 결정부(1084)는, 입력된 블록 경계 화소가 p0일 경우, 의사 랜덤 잡음 혼입 영역의 사이즈를 N(N=8)으로 결정한다. 의사 랜덤 잡음 혼입 영역 결정부(1084)는, 입력된 블록 경계 화소가 p0이 아닐 경우, q0이 속하는 블록 M×M(M=16, 32, 64)의 1변의 사이즈(M)를 이용해서, 의사 랜덤 잡음 혼입 영역의 사이즈를 M-N으로 결정한다.
스텝 S3002c에서는, 의사 랜덤 잡음 혼입 영역 결정부(1084)는, 에지(i)가 이후의 수평 방향과 수직 방향의 블록 경계에 대한 플래너 모드 필터링의 기준 화상이 되는 행 또는 열이 되는지를 판단한다. 에지(i)가 이후의 수평 방향과 수직 방향의 블록 경계에 대한 플래너 모드 필터핑의 기준 화상을 포함하는 행 또는 열이 될 경우, 의사 랜덤 잡음 혼입 영역 결정부(1084)는, 이후의 수평 방향과 수직 방향의 블록 경계에 대한 플래너 모드 필터링의 기준 화상에 대해서 의사 랜덤 잡음을 혼입시키지 않도록, 의사 랜덤 잡음 혼입 영역의 사이즈를 0으로 결정한다. 의사 랜덤 잡음 혼입 영역 결정부(1084)는, 에지(i)가 이후의 수평 방향과 수직 방향의 블록 경계에 대한 플래너 모드 필터링의 기준 화상을 포함하지 않을 경우, 스텝 S3002d로 진행된다.
스텝 S3002d에서는, 의사 랜덤 잡음 혼입 영역 결정부(1084)는, 입력된 블록 경계 화소가 p0인지의 여부를 판단한다. 의사 랜덤 잡음 혼입 영역 결정부(1084)는, 입력된 블록 경계 화소가 p0일 경우, 의사 랜덤 잡음 혼입 영역의 사이즈를 N(N=8)으로 결정한다. 의사 랜덤 잡음 혼입 영역 결정부(1084)는, 입력된 블록 경계 화소가 p0가 아닐 경우, q0이 속하는 블록 M×M(M=16, 32, 64)의 1변의 사이즈(M)를 이용해서, 의사 랜덤 잡음 혼입 영역의 사이즈를 min(M-N, M-M/4)으로 결정한다. min(M-N, M-M/4)의 제2변수의 목적은, 처리 대상 블록이 플래너 모드일 경우, 플래너 모드의 블록 사이즈로 이용해서 의사 랜덤 잡음의 혼입 범위를 제한하여, 이후의 수평 방향과 수직 방향의 블록 경계에 대한 플래너 모드 필터링의 기준 화상에 의사 랜덤 잡음을 혼입시키지 않는 것이다.
필터부(1083)는, 각 에지(0≤i≤7)에 대하여, 에지 판정부(1082)에서 결정한 필터링 처리를 적용한다. 플래너 모드 필터링, 약 필터링, 강 필터링, 및 의사 랜덤 혼입을 갖는 강 필터링의 각각을 이하에서 설명한다.
플래너 모드 필터링이 적용될 경우, 비특허문헌 3의 5.4.1절 Deblocking filter process의 Planar mode filtering에 따라서, Pki(0≤k≤M/4-1) 및 Qki(0≤k≤M/4)을 계산한다.
약 필터링이 적용될 경우, 에지(i)의 화소(P0i 및 Q0i)를 이하의 식으로 계산한다.
P0i=Clip0 -255(p0i+Clip(-tc, tc, (13*(q0i-p0i)+4*(q1i-p1i)-5*(q2i-p2i)+16)/32)) (26)
Q0i=Clip0 -255(q0i-Clip(-tc, tc, (13*(q0i-p0i)+4*(q1i-p1i)-5*(q2i-p2i)+16)/32)) (27)
강 필터링이 적용될 경우, 에지(i)의 화소(P2i, P1i, P0i, Q0i, Q1i, Q2i)를 이하의 식으로 계산한다.
P0i=Clip0 -255((p2i+2*p1i+2*p0i+2*q0i+q1i+4)/8) (28)
P1i=Clip0 -255((p2i+p1i+p0i+q0i+2)/4) (29)
P2i=Clip0 -255((2*p3i+3*p2i+p1i+p0i+q0i+4)/8) (30)
Q0i=Clip0 -255((q2i+2*q1i+2*q0i+2*p0i+p1i+4)/8) (31)
Q1i=Clip0 -255((q2i+q1i+q0i+p0i+2)/4) (32)
Q2i=Clip0 -255((2*q3i+3*q2i+q1i+q0i+p0i+4)/8) (33)
의사 랜덤 혼입을 갖는 강 필터링이 적용될 경우, 상술한 강 필터링의 결과(Pki)(0≤k≤pSize)를, 의사 랜덤 잡음 혼입 영역 결정부(1084)에서 계산한 pSize를 이용해서 이하의 식으로 계산한다.
Pki=Clip0 -255(pki+nki)(0≤k≤pSize) (34)
여기에서, nki=LUT[(idxOffseti-k-1)&(LUTSize-1)]이다. LUT[]는 의사 랜덤 잡음을 저장한 룩 업 테이블이며, 그 요소는 -1, 0, 1 중 어느 하나의 값을 취한다. LUTSize는 룩 업 테이블의 사이즈이다. 룩 업 테이블의 오프셋(idxOffseti)은, 적응 왜곡 제거의 방향에 따라서, 이하의 식으로 계산된다.
[식 2]
Figure pct00002
여기에서, PUPosX는 프레임에 있어서의 도 3에 나타내는 수직 에지의 수평 위치이고, PUPosY는 프레임에 있어서의 도 4에 나타내는 수평 에지의 수직 위치이고, PITCH는 소정의 값(예를 들면 16)이다.
마찬가지로, 의사 랜덤 혼입을 갖는 강 필터링이 적용될 경우, 의사 랜덤 잡음 혼입 영역 결정부(1084)에서 계산한 qSize를 이용해서, 에지(i)의 화소(Qki)(0≤k≤qSize)를 이하의 식으로 계산한다.
Qki=Clip0 -255(qki+nki)(0≤k≤qSize) (36)
여기에서, nki=LUT[(idxOffseti+k)&(LUTSize-1)] 이다.
상기한 각 실시형태를, 하드웨어로 구성하는 것도 가능하지만, 컴퓨터 프로그램에 의해 실현하는 것도 가능하다.
도 16에 나타내는 정보 처리 시스템은, 프로세서(1001), 프로그램 메모리(1002), 기억 매체(1003) 및 기억 매체(1004)를 구비하고 있다. 기억 매체(1003) 및 기억 매체(1004)는, 별개의 기억 매체여도 되고, 동일한 기억 매체에 포함된 기억 영역이어도 된다. 기억 매체로서, 하드디스크 등의 자기 기억 매체를 사용할 수 있다.
도 16에 나타내어진 정보 처리 시스템에 있어서, 프로그램 메모리(1002)에는, 도 2, 도 5, 도 9의 각각에 나타내어진 각 블록(버퍼의 블록을 제외함)의 기능을 실현하기 위한 프로그램이 저장된다. 프로세서(1001)는, 프로그램 메모리(1002)에 저장되어 있는 프로그램에 따라서 처리를 실행함으로써, 도 2, 도 5, 도 9의 각각에 나타내어진 영상 부호화 장치 또는 영상 복호 장치의 기능을 실현한다.
도 17은, 본 발명에 따른 영상 부호화 장치의 주요부를 나타내는 블록도이다. 도 17에 나타내는 바와 같이, 본 발명에 따른 영상 부호화 장치는, 양자화 인덱스를 역양자화해서 양자화 대표값을 얻는 역양자화 수단(11)(일례로서, 역양자화부(105))과, 역양자화 수단(11)에 의해 얻어진 양자화 대표값을 역변환해서 재구축 화상 블록을 얻는 역주파수 변환 수단(12)(일례로서, 역주파수 변환부(106))과, 재구축 화상 블록의 경계를 중심으로 비대칭인 영역에 의사 랜덤 잡음을 혼입시키는 잡음 혼입 수단(13)(일례로서, 비대칭 왜곡 제거 필터부(108))을 구비하고 있다.
도 18은 본 발명에 따른 영상 복호 장치의 주요부를 나타내는 블록도이다. 도 18에 나타내는 바와 같이, 본 발명에 따른 영상 복호 장치는, 양자화 인덱스를 역양자화해서 양자화 대표값을 얻는 역양자화 수단(21)(일례로서, 역양자화부(202))과, 역양자화 수단(21)에 의해 얻어진 양자화 대표값을 역변환해서 재구축 화상 블록을 얻는 역주파수 변환 수단(22)(일례로서, 역주파수 변환부(203))과, 재구축 화상 블록의 경계를 중심으로 비대칭인 영역에 의사 랜덤 잡음을 혼입시키는 잡음 혼입 수단(23)(일례로서, 비대칭 왜곡 제거 필터부(108))을 구비하고 있다.
도 19는 본 발명에 따른 영상 부호화 방법의 주요 스텝을 나타내는 플로차트이다. 도 19에 나타내는 바와 같이, 본 발명에 따른 영상 부호화 방법에서는, 양자화 인덱스를 역양자화해서 양자화 대표값을 얻고(스텝 S101), 얻어진 양자화 대표값을 역변환해서 재구축 화상 블록을 얻고(스텝 S102), 재구축 화상 블록의 경계를 중심으로 비대칭인 영역에 의사 랜덤 잡음을 혼입시키는 것(스텝 S103)을 포함한다.
도 20은 본 발명에 따른 영상 복호 방법의 주요 스텝을 나타내는 플로차트이다. 도 20에 나타내는 바와 같이, 본 발명에 따른 영상 복호 방법에서는, 양자화 인덱스를 역양자화해서 양자화 대표값을 얻고(스텝 S201), 얻어진 양자화 대표값을 역변환해서 재구축 화상 블록을 얻고(스텝 S202), 재구축 화상 블록의 경계를 중심으로 비대칭인 영역에 의사 랜덤 잡음을 혼입시키는 것(스텝 S203)을 포함한다.
이상, 실시형태 및 실시예를 참조해서 본원 발명을 설명했지만, 본원 발명은 상기 실시형태 및 실시예에 한정되는 것이 아니다. 본원 발명의 구성이나 상세에는, 본원 발명의 범주 내에서 당업자가 이해할 수 있는 다양한 변경을 할 수 있다.
이 출원은, 2010년 9월 17일에 출원된 일본국 특허출원 2010-208891을 기초로 우선권을 주장하고, 그 개시의 전부를 여기에 취입한다.
11 : 역양자화 수단
12 : 역주파수 변환 수단
13 : 잡음 혼입 수단
21 : 역양자화 수단
22 : 역주파수 변환 수단
23 : 잡음 혼입 수단
100 : 스위치
101 : MB 버퍼
102 : 주파수 변환부
103 : 양자화부
104 : 엔트로피 부호화부
105 : 역양자화부
106 : 역주파수 변환부
107 : 픽쳐 버퍼
108 : 비대칭 왜곡 제거 필터부
108a : 왜곡 제거 필터부
1081 : 블록 경계 강도 결정부
1082 : 에지 판정부
1083 : 필터부
1084 : 의사 랜덤 잡음 혼입 영역 결정부
109 : 디코드 픽쳐 버퍼
110 : 인트라 예측부
111 : 프레임간 예측부
112 : 부호화 제어부
200 : 스위치
201 : 엔트로피 복호부
202 : 역양자화부
203 : 역주파수 변환부
204 : 픽쳐 버퍼
206 : 디코드 픽쳐 버퍼
207 : 인트라 예측부
208 : 프레임간 예측부
209 : 복호 제어부
1001 : 프로세서
1002 : 프로그램 메모리
1003 : 기억 매체
1004 : 기억 매체

Claims (10)

  1. 양자화 인덱스를 역(逆)양자화해서 양자화 대표값을 얻는 역양자화 수단과,
    상기 역양자화 수단에 의해 얻어진 양자화 대표값을 역변환해서 재구축 화상 블록을 얻는 역(逆)주파수 변환 수단과,
    상기 재구축 화상 블록의 경계를 중심으로 비대칭인 영역에 의사 랜덤 잡음을 혼입시키는 잡음 혼입 수단을 구비한 영상 부호화 장치.
  2. 제1항에 있어서,
    상기 비대칭인 영역을 상기 재구축 화상 블록의 보조 정보를 이용해서 조절하는 조절 수단을 더 구비한 영상 부호화 장치.
  3. 제1항에 있어서,
    상기 재구축 화상 블록의 경계를 중심으로 비대칭인 영역의 한쪽의 최대 영역을 참조 라인 버퍼의 라인 수로 제한하는 영상 부호화 장치.
  4. 양자화 인덱스를 역양자화해서 양자화 대표값을 얻는 역양자화 수단과,
    상기 역양자화 수단에 의해 얻어진 양자화 대표값을 역변환해서 재구축 화상 블록을 얻는 역주파수 변환 수단과,
    상기 재구축 화상 블록의 경계를 중심으로 비대칭인 영역에 의사 랜덤 잡음을 혼입시키는 잡음 혼입 수단을 구비한 영상 복호 장치.
  5. 제4항에 있어서,
    상기 비대칭인 영역을 상기 재구축 화상 블록의 보조 정보를 이용해서 조절하는 조절 수단을 더 구비한 영상 복호 장치.
  6. 제4항에 있어서,
    상기 재구축 화상 블록의 경계를 중심으로 비대칭인 영역의 한쪽의 최대 영역을 참조 라인 버퍼의 라인 수로 제한하는 영상 복호 장치.
  7. 양자화 인덱스를 역양자화해서 양자화 대표값을 얻는 스텝,
    얻어진 양자화 대표값을 역변환해서 재구축 화상 블록을 얻는 스텝, 및
    상기 재구축 화상 블록의 경계를 중심으로 비대칭인 영역에 의사 랜덤 잡음을 혼입시키는 스텝을 포함하는 영상 부호화 방법.
  8. 양자화 인덱스를 역양자화해서 양자화 대표값을 얻는 스텝,
    얻어진 양자화 대표값을 역변환해서 재구축 화상 블록을 얻는 스텝, 및
    상기 재구축 화상 블록의 경계를 중심으로 비대칭인 영역에 의사 랜덤 잡음을 혼입시키는 스텝을 포함하는 영상 복호 방법.
  9. 컴퓨터에,
    양자화 인덱스를 역양자화해서 양자화 대표값을 얻는 처리와,
    얻어진 양자화 대표값을 역변환해서 재구축 화상 블록을 얻는 처리와,
    상기 재구축 화상 블록의 경계를 중심으로 비대칭인 영역에 의사 랜덤 잡음을 혼입시키는 처리를 실행시키기 위한 영상 부호화 프로그램.
  10. 컴퓨터에,
    양자화 인덱스를 역양자화해서 양자화 대표값을 얻는 처리와,
    얻어진 양자화 대표값을 역변환해서 재구축 화상 블록을 얻는 처리와,
    상기 재구축 화상 블록의 경계를 중심으로 비대칭인 영역에 의사 랜덤 잡음을 혼입시키는 처리를 실행시키기 위한 영상 복호 프로그램.
KR1020137001377A 2010-09-17 2011-09-12 영상 부호화 장치 및 영상 복호 장치 KR101391365B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010208891 2010-09-17
JPJP-P-2010-208891 2010-09-17
PCT/JP2011/005118 WO2012035746A1 (ja) 2010-09-17 2011-09-12 映像符号化装置および映像復号装置

Publications (2)

Publication Number Publication Date
KR20130030290A true KR20130030290A (ko) 2013-03-26
KR101391365B1 KR101391365B1 (ko) 2014-05-07

Family

ID=45831235

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137001377A KR101391365B1 (ko) 2010-09-17 2011-09-12 영상 부호화 장치 및 영상 복호 장치

Country Status (6)

Country Link
US (1) US20130121407A1 (ko)
EP (1) EP2618568A4 (ko)
JP (1) JP5807639B2 (ko)
KR (1) KR101391365B1 (ko)
CN (1) CN103109531B (ko)
WO (1) WO2012035746A1 (ko)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2011265383A1 (en) * 2011-12-20 2013-07-04 Canon Kabushiki Kaisha Geodesic superpixel segmentation
CN116170585A (zh) * 2017-01-16 2023-05-26 世宗大学校产学协力团 影像编码/解码方法
TWI833248B (zh) * 2017-04-06 2024-02-21 美商松下電器（美國）知識產權公司 解碼方法及編碼方法
TW201842782A (zh) 2017-04-06 2018-12-01 美商松下電器（美國）知識產權公司 編碼裝置、解碼裝置、編碼方法及解碼方法
JP6902604B2 (ja) 2017-04-06 2021-07-14 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 符号化装置及び復号装置
EP3609185A4 (en) * 2017-04-06 2020-03-18 Panasonic Intellectual Property Corporation of America CODING DEVICE, DECODING DEVICE, CODING METHOD AND DECODING METHOD
TWI832814B (zh) * 2017-04-06 2024-02-21 美商松下電器（美國）知識產權公司 解碼裝置及編碼裝置
TW201842768A (zh) * 2017-04-06 2018-12-01 美商松下電器（美國）知識產權公司 編碼裝置、解碼裝置、編碼方法及解碼方法
TW202344047A (zh) * 2017-04-06 2023-11-01 美商松下電器（美國）知識產權公司 解碼裝置、編碼裝置及電腦可讀取之非暫時性記憶媒體
TW201842781A (zh) * 2017-04-06 2018-12-01 美商松下電器（美國）知識產權公司 編碼裝置、解碼裝置、編碼方法及解碼方法
US10574997B2 (en) * 2017-10-27 2020-02-25 Apple Inc. Noise level control in video coding
CA3191338A1 (en) * 2018-03-28 2019-10-03 Huawei Technologies Co., Ltd. An image processing device and method for performing efficient deblocking
JP7293460B2 (ja) * 2018-03-28 2023-06-19 華為技術有限公司 効率的なデブロッキングを実行するための画像処理デバイス及び方法
WO2019225459A1 (ja) 2018-05-23 2019-11-28 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
US10893285B2 (en) * 2018-06-29 2021-01-12 FG Innovation Company Limited Device and method for coding video data based on one or more reference lines

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3392307B2 (ja) * 1995-11-02 2003-03-31 松下電器産業株式会社 画像信号平滑化装置および画像信号平滑化方法
KR100846774B1 (ko) * 2002-05-03 2008-07-16 삼성전자주식회사 블록킹 효과를 제거하기 위한 필터링 방법 및 그 장치
US7822286B2 (en) * 2003-11-07 2010-10-26 Mitsubishi Electric Research Laboratories, Inc. Filtering artifacts in images with 3D spatio-temporal fuzzy filters
KR101000926B1 (ko) * 2004-03-11 2010-12-13 삼성전자주식회사 영상의 불연속성을 제거하기 위한 필터 및 필터링 방법
JP2006148878A (ja) * 2004-10-14 2006-06-08 Mitsubishi Electric Research Laboratories Inc 画像中の画素を分類する方法
US7778480B2 (en) * 2004-11-23 2010-08-17 Stmicroelectronics Asia Pacific Pte. Ltd. Block filtering system for reducing artifacts and method
US7961963B2 (en) * 2005-03-18 2011-06-14 Sharp Laboratories Of America, Inc. Methods and systems for extended spatial scalability with picture-level adaptation
US8761538B2 (en) * 2008-12-10 2014-06-24 Nvidia Corporation Measurement-based and scalable deblock filtering of image data
TW201041405A (en) * 2009-03-06 2010-11-16 Sony Corp Image processing device and method
JP5359657B2 (ja) * 2009-07-31 2013-12-04 ソニー株式会社 画像符号化装置および方法、記録媒体、並びにプログラム

Also Published As

Publication number Publication date
EP2618568A1 (en) 2013-07-24
JP5807639B2 (ja) 2015-11-10
CN103109531A (zh) 2013-05-15
CN103109531B (zh) 2016-06-01
US20130121407A1 (en) 2013-05-16
KR101391365B1 (ko) 2014-05-07
JPWO2012035746A1 (ja) 2014-01-20
EP2618568A4 (en) 2015-07-29
WO2012035746A1 (ja) 2012-03-22

Similar Documents

Publication Publication Date Title
KR101391365B1 (ko) 영상 부호화 장치 및 영상 복호 장치
JP6371794B2 (ja) 映像復号化方法
KR101391366B1 (ko) 영상 부호화 장치 및 영상 복호 장치
KR101620620B1 (ko) 인트라 예측 모드를 기초로 양자화 계수를 예측하는 방법 및 이를 이용하는 장치
KR20180041578A (ko) 영상 부호화 방법/장치, 영상 복호화 방법/장치 및 비트스트림을 저장한 기록 매체
KR101468078B1 (ko) 화면 내 예측 방법 및 장치
KR102550503B1 (ko) 부호화 장치, 복호 장치, 및 프로그램
KR20150105348A (ko) 트랜스폼을 이용한 영상 부호화/복호화 방법 및 장치
KR20140129411A (ko) 트랜스폼을 이용한 영상 부호화/복호화 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180403

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190328

Year of fee payment: 6