KR20120041287A - 인트라 예측을 이용한 부호화 및 복호화 장치와 방법 - Google Patents
인트라 예측을 이용한 부호화 및 복호화 장치와 방법 Download PDFInfo
- Publication number
- KR20120041287A KR20120041287A KR1020100083026A KR20100083026A KR20120041287A KR 20120041287 A KR20120041287 A KR 20120041287A KR 1020100083026 A KR1020100083026 A KR 1020100083026A KR 20100083026 A KR20100083026 A KR 20100083026A KR 20120041287 A KR20120041287 A KR 20120041287A
- Authority
- KR
- South Korea
- Prior art keywords
- reference pixel
- intra prediction
- filtering
- characteristic
- result
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
- H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
본 발명은 인트라 예측을 이용한 부호화 및 복호화 장치와 방법에 관한 것으로, 부호화를 수행할 대상블록의 인접블록에 포함된 적어도 하나 이상의 참조화소를 입력받아 참조화소 특성을 결정하고, 상기 참조화소 특성에 기반하여 상기 적어도 하나 이상의 참조화소에 대한 적응적 필터링 적용 여부를 결정하는 참조화소 특성 추출부 상기 참조화소 특성 추출부에서 적응적 필터링을 적용하기로 결정한 경우, 고주파 제거 필터링을 수행한 참조화소를 이용하여 인트라 예측을 수행한 결과와 고주파 제거 필터링을 수행하지 않은 참조화소를 이용하여 인트라 예측을 수행한 결과를 비교하여 비용이 적게 소비되는 결과를 필터링 수행 여부를 나타내는 필터링 정보와 함께 출력하는 제1 인트라 예측부 및 상기 참조화소 특성 추출부에서 적응적 필터링을 적용하지 않기로 결정한 경우, 상기 고주파 제거 필터링을 수행하지 않은 참조화소를 이용하여 인트라 예측을 수행한 결과를 출력하는 제2 인트라 예측부를 포함하는 것을 특징으로 하는 인트라 예측을 이용한 부호화 장치를 제공한다.
Description
본 발명은 인트라 예측을 이용한 부호화 및 복호화 장치와 방법에 관한 것이다. 더욱 상세하게는, 부호화 또는 복호화 대상블록의 인접블록에 포함된 참조화소들의 참조화소 특성을 결정한 후, 그 결정에 근거하여 적응적 필터링 기반의 인트라 예측과 통상적인 인트라 예측 중 어느 하나를 수행함으로써, 필터링 수행 여부를 나타내는 요구되는 비트량을 감소시켜 부호화 효율을 향상시키기 위한 부호화 및 복호화 장치와 방법에 관한 것이다.
이 부분에 기술된 내용은 단순히 본발명의 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.
최신 압축 표준인 H.264/AVC의 인트라 부호화에서는 인접 화소 간의 높은 상관성을 이용한 예측을 통하여 그 부호화 성능을 높이고 있다.
H.264/AVC의 인트라 예측은 4x4 단위의 블록에 대하여, 도 1(A)에서 보는 바와 같이, 총 9가지의 예측모드를 제공하고 있으며, 16x16 단위의 블록에 대해서는, 도 1(B)에서 보는 바와 같이, 4가지의 예측 모드를 사용하고 있다.
한편, H.264/AVC는 8x8 단위의 블록에 대해서 4x4 단위 블록과 마찬가지로 9가지의 인트라 예측모드를 제공하고 있으며, 예측에 사용할 주변 블록의 참조 화소에 대해 먼저 고주파 성분 제거를 위한 필터를 적용하여 참조 화소들을 평탄화 시킨 후 예측을 수행한다[참조문헌 1]. 이러한 필터링 과정은 부근의 화소가 인트라 예측에 좀 더 적절한 값으로 변화되어 대상블록에 대한 인트라 예측 오차를 감소시킬 수 있다.
하지만, 이러한 참조 화소에 대한 고주파 성분 제거 필터링은 원본 화소 간에 실제로 존재하는 교류성분을 감쇠시키기 때문에 예측할 블록 데이터의 세부 묘사를 제공하기 어렵고, 경우에 따라서는 필터링을 적용하지 않는 경우에 비해 상대적으로 예측 성능 또는 효율이 떨어질 수 있다는 단점이 있다.
이러한 단점을 해결하기 위해, 차세대 동영상 압축 부/복호화 장치의 표준을 제정하기 위한 모임인 HEVC에서 Fraunhofer Heinrich Hertz Institute(이하 HHI)에 의해 적응적 필터링 기법이 제안되었다[참조문헌 2].
HHI가 제안한 적응적 필터링 방법은 인트라 예측을 수행할 각 블록에 대해 고주파 성분 제거 필터링을 적용하는 경우와 적용하지 않은 경우에 대한 예측오차를 비교해 보고, 더 작은 예측오차를 가지는 경우를 실제 부호화에 적용함으로써 예측 오차 감소시키고 있다.
하지만, 필터링 적용 여부에 대한 인덱싱을 위해 매 예측블록 단위로 복호화 장치에 추가 정보량이 요구되어, 적응적 필터링에 의한 예측 오차의 감쇠 효과가 크게 나타나지 않는 영상에 대해서는 오히려 압축 효율이 저하될 가능성이 존재한다.
[참조 문헌]
1. Telecommunication Standardization sector of ITU, ““ITU-T Recommendation H.264, Series H: Audiovisual and Multimedia Systems, Advanced video coding for generic audiovisual services””, ITU-T Recommendation H.264, pp.132-133, Nov 2007.
2. Martin Winken, Sebastian Boßße, ““Description of video coding technology proposal by Fraunhofer HHI””, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, CfP response proposal JCTVC-A116,Apr 2010
이러한 문제를 해결하기 위해, 본 발명은 부호화 또는 복호화 대상블록의 인접블록에 포함된 참조화소들의 참조화소특성을 결정한 후, 그 결정에 근거하여 적응적 필터링 기반의 인트라 예측과 통상적인 인트라 예측 중 어느 하나를 수행함으로써, 필터링 수행 여부를 나타내는 요구되는 비트량을 감소시켜 부호화 효율을 향상시키기 위한 부호화 및 복호화 장치와 방법을 제공함을 목적으로 한다.
이러한 목적을 달성하기 위해, 본 발명은, 인트라 예측을 이용한 부호화 장치에 있어서, 부호화를 수행할 대상블록의 인접블록에 포함된 적어도 하나 이상의 참조화소를 입력받아 참조화소 특성을 결정하고, 상기 참조화소 특성에 기반하여 상기 적어도 하나 이상의 참조화소에 대한 적응적 필터링 적용 여부를 결정하는 참조화소 특성 추출부 상기 참조화소 특성 추출부에서 적응적 필터링을 적용하기로 결정한 경우, 고주파 제거 필터링을 수행한 참조화소를 이용하여 인트라 예측을 수행한 결과와 고주파 제거 필터링을 수행하지 않은 참조화소를 이용하여 인트라 예측을 수행한 결과를 비교하여 비용이 적게 소비되는 결과를 필터링 수행 여부를 나타내는 필터링 정보와 함께 출력하는 제1 인트라 예측부 및 상기 참조화소 특성 추출부에서 적응적 필터링을 적용하지 않기로 결정한 경우, 상기 고주파 제거 필터링을 수행하지 않은 참조화소를 이용하여 인트라 예측을 수행한 결과를 출력하는 제2 인트라 예측부를 포함하는 것을 특징으로 하는 인트라 예측을 이용한 부호화 장치를 제공한다.
여기서, 상기 참조화소 특성 추출부는, 상기 적어도 하나 이상의 참조화소들의 통계적 특성을 이용하여 상기 참조화소 특성을 결정할 수 있고, 통계적 특성으로는 분산을 이용할 수 있으며, 분산이 기 설정된 임계값 이하이면 적응적 필터링을 적용하지 않는 것으로 결정할 수 있다.
또한, 상기 참조화소 특성 추출부는, 상기 인접블록에 윤곽선이 존재하는지 여부를 검출하여, 윤곽선이 존재하는 경우 적응적 필터링을 적용하지 않기로 결정할 수 있다.
또 다른 목적을 위해 본 발명은, 인트라 예측을 이용한 복호화 장치에 있어서, 복호화를 수행할 대상블록의 인접블록에 포함된 적어도 하나 이상의 참조화소를 입력받아 참조화소 특성을 결정하고, 상기 참조화소 특성에 기반하여 상기 적어도 하나 이상의 참조화소에 대한 적응적 필터링 적용 여부를 결정하는 참조화소 특성 추출부 상기 참조화소 특성 추출부에서 적응적 필터링이 적용된 것으로 결정한 경우, 부호화 장치로부터 수신한 부호화 데이터로부터 필터링 정보를 추출하고, 추출된 필터링 정보에 근거하여 고주파 제거 필터링을 수행한 참조화소를 이용하여 인트라 예측을 수행한 결과와 고주파 제거 필터링을 수행하지 않은 참조화소를 이용하여 인트라 예측을 수행한 결과 중 어느 하나를 출력하는 제1 인트라 예측부 및 상기 참조화소 특성 추출부에서 적응적 필터링이 적용되지 않은 것으로 결정한 경우, 상기 부호화 데이터에 상기 필터링 정보가 존재하지 않는 것으로 판단하고, 상기 고주파 제거 필터링을 수행하지 않은 참조화소를 이용하여 인트라 예측을 수행한 결과를 출력하는 제2 인트라 예측부를 포함하는 것을 특징으로 하는 인트라 예측을 이용한 복호화 장치를 제공한다.
또 다른 목적을 위해 본 발명은, 인트라 예측을 이용한 부호화 방법에 있어서, 부호화를 수행할 대상블록의 인접블록에 포함된 적어도 하나 이상의 참조화소를 입력받아 참조화소 특성을 결정하고, 상기 참조화소 특성에 기반하여 상기 적어도 하나 이상의 참조화소에 대한 적응적 필터링 적용 여부를 결정하는 참조화소 특성 추출 단계 상기 참조화소 특성 추출 단계에서 적응적 필터링을 적용하기로 결정한 경우, 고주파 제거 필터링을 수행한 참조화소를 이용하여 인트라 예측을 수행한 결과와 고주파 제거 필터링을 수행하지 않은 참조화소를 이용하여 인트라 예측을 수행한 결과를 비교하여 비용이 적게 소비되는 결과를 필터링 수행 여부를 나타내는 필터링 정보와 함께 출력하는 제1 인트라 예측 단계 및 상기 참조화소 특성 추출 단계에서 적응적 필터링을 적용하지 않기로 결정한 경우, 상기 고주파 제거 필터링을 수행하지 않은 참조화소를 이용하여 인트라 예측을 수행한 결과를 출력하는 제2 인트라 예측 단계를 포함하는 것을 특징으로 하는 인트라 예측을 이용한 부호화 방법을 제공한다.
또 다른 목적을 위해 본 발명은, 인트라 예측을 이용한 복호화 방법에 있어서, 복호화를 수행할 대상블록의 인접블록에 포함된 적어도 하나 이상의 참조화소를 입력받아 참조화소 특성을 결정하고, 상기 참조화소 특성에 기반하여 상기 적어도 하나 이상의 참조화소에 대한 적응적 필터링 적용 여부를 결정하는 참조화소 특성 추출 단계 상기 참조화소 특성 추출 단계에서 적응적 필터링이 적용된 것으로 결정한 경우, 부호화 장치로부터 수신한 부호화 데이터로부터 필터링 정보를 추출하고, 추출된 필터링 정보에 근거하여 고주파 제거 필터링을 수행한 참조화소를 이용하여 인트라 예측을 수행한 결과와 고주파 제거 필터링을 수행하지 않은 참조화소를 이용하여 인트라 예측을 수행한 결과 중 어느 하나를 출력하는 제1 인트라 예측 단계 및 상기 참조화소 특성 추출 단계에서 적응적 필터링이 적용되지 않은 것으로 결정한 경우, 상기 부호화 데이터에 상기 필터링 정보가 존재하지 않는 것으로 판단하고, 상기 고주파 제거 필터링을 수행하지 않은 참조화소를 이용하여 인트라 예측을 수행한 결과를 출력하는 제2 인트라 예측 단계를 포함하는 것을 특징으로 하는 인트라 예측을 이용한 복호화 방법을 제공한다.
부호화 대상블록의 인접블록에 포함된 참조화소들의 특성을 결정하고, 결정된 참조화소 특성을 기반으로, 적응적 필터링 기반의 인트라 예측을 수행할지 아니면 통상적인 인트라 예측을 수행할지 여부를 결정하여 부호화를 수행하므로, 적응적 필터링에 의해 발생하는 추가적인 정보의 발생 빈도를 감소시킬 수 있다. 이를 통해 보다 높은 압축 부호화 효율을 제공하고, 적응적 필터링 유무에 대한 판단 기준의 강약을 조절하여 비디오 압축 부호기의 능률적인 율-왜곡 조절 요소를 제공하며, 나아가 적응적 필터링이 생략되는 경우 반복적인 필터링 및 인트라 예측 과정으로 인해 발생하는 부호화 및 복호화 프로세스의 복잡도를 감소시킬 수 있다.
도 1은 인트라 예측모드를 설명하기 위한 도면,
도 2는 본 발명의 실시예에 따른 부호화 장치를 나타내는 블록도,
도 3은 본 발명의 실시예에 따른 부호화 장치의 인트라 예측부의 구성을 나타내는 블록도,
도 4는 본 발명의 일 실시예에 따른 참조화소 특성 추출부(320)의 구성을 나타내는 도면,
도 5는 윤곽선 검출을 위해 인접블록에서 소벨 마스크가 적용되는 영역을 도시한 도면,
도 6은 본 발명의 실시예에 따른 적응적 필터링 기반의 인트라 예측을 수행하는 제1 인트라 예측부의 구성을 나타내는 블록도,
도 7은 본 발명의 실시예에 따른 적응적 필터링 기반의 인트라 예측을 수행하는 제1 인트라 예측부를 설명하기 위한 예시도면,
도 8은 본 발명의 실시예에 따른 부호화 방법을 나타내는 순서도,
도 9는 본 발명의 실시예에 따른 복호화 장치의 구성을 나타내는 블록도,
도 10은 본 발명의 실시예에 따른 복호화 장치의 인트라 예측부의 구성을 나타내는 블록도,
도 11은 본 발명의 실시예에 따른 복호화 방법을 나타내는 순서도이다.
도 2는 본 발명의 실시예에 따른 부호화 장치를 나타내는 블록도,
도 3은 본 발명의 실시예에 따른 부호화 장치의 인트라 예측부의 구성을 나타내는 블록도,
도 4는 본 발명의 일 실시예에 따른 참조화소 특성 추출부(320)의 구성을 나타내는 도면,
도 5는 윤곽선 검출을 위해 인접블록에서 소벨 마스크가 적용되는 영역을 도시한 도면,
도 6은 본 발명의 실시예에 따른 적응적 필터링 기반의 인트라 예측을 수행하는 제1 인트라 예측부의 구성을 나타내는 블록도,
도 7은 본 발명의 실시예에 따른 적응적 필터링 기반의 인트라 예측을 수행하는 제1 인트라 예측부를 설명하기 위한 예시도면,
도 8은 본 발명의 실시예에 따른 부호화 방법을 나타내는 순서도,
도 9는 본 발명의 실시예에 따른 복호화 장치의 구성을 나타내는 블록도,
도 10은 본 발명의 실시예에 따른 복호화 장치의 인트라 예측부의 구성을 나타내는 블록도,
도 11은 본 발명의 실시예에 따른 복호화 방법을 나타내는 순서도이다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
도 2는 본 발명의 실시예에 따른 부호화 장치를 나타내는 블록도이다.
본 발명의 실시예에 따른 부호화 장치는, 도 2에서 보는 바와 같이, 인트라 예측부(210), 참조픽처 메모리(220), 잔여데이터 부호화부(230), 잔여데이터 복호화부(240), 엔트로피 부호화부(250) 및 부호화데이터 생성부(260) 등을 포함할 수 있다.
여기서 부호화 장치는, 개인용 컴퓨터(PC: Personal Computer), 노트북 컴퓨터, 개인 휴대 단말기(PDA: Personal Digital Assistant), 휴대형 멀티미디어 플레이어(PMP: Portable Multimedia Player), 플레이스테이션 포터블(PSP: PlayStation Portable), 이동통신 단말기(Mobile Communication Terminal) 등일 수 있으며, 각종 기기 또는 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, 영상을 부호화하기 위한 각종 프로그램과 데이터를 저장하기 위한 메모리, 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하는 다양한 장치를 의미한다.
부호화하고자 하는 영상 입력은 블록 단위로 입력될 수 있는데, 매크로블록이 될 수 있다. 본 발명의 실시예에서는, 설명의 편의를 위해 H.264/AVC 표준과 동일한방법으로 매크로블록을 16×16 형태로 정의하였으나, 보다 일반적으로 매크로블록의 형태는 M×N 일 수 있으며, 특히 M과 N은 각각 16보다 클 수 있고, M과 N은 서로 다른 정수 혹은 동일한 정수일 수 있다.
인트라 예측부(210)는, 현재블록과 공간적으로 주변에 위치하는 인접블록에서 사용 가능한 참조 화소값을 이용해 현재블록의 인트라 예측블록을 생성한다. 이 경우, 사용 가능한 인트라 예측모드에 대해 각각 현재블록과 인트라 예측블록간의 에러값을 연산하고, 최소의 에러값을 갖는 인트라 예측모드를 적용하여 인트라 예측블록을 생성한다. 또한, 최소의 에러값을 갖는 인트라 예측모드를 부호화함으로써 인트라 예측모드에 대한 정보를 부호화데이터 생성부(260)에 제공한다.
특히, 본 발명의 실시예에 따른 인트라 예측부(210)는, 인트라 예측블록을 생성함에 앞서서, 부호화를 수행해야 할 대상블록의 인접블록에 포함된 참조화소들을 참조픽처 메모리(220)으로부터 추출하여 참조화소 특성을 결정한다. 그리고, 결정된 참조화소 특성을 토대로 적응적 필터링 기반의 인트라 예측을 수행할지 아니면 통상적인 인트라 예측을 수행할지 여부를 결정하고, 그 결정에 근거하여 어느 하나의 예측 방법을 이용하여 부호화 대상블록에 대한 인트라 예측블록을 생성한다. 적응적 필터링 기반의 인트라 예측이란, 인접블록에 포함된 참조화소에 대해 고주파 제거 필터링을 수행한 후 인트라 예측을 수행한 결과와 고주파 제거 필터링을 수행하지 않고 인트라 예측을 수행한 결과 중 비용이 적게 소비되는 결과를 출력하는 인트라 예측 방법을 의미한다. 여기서 인트라 예측 결과를 출력함에 있어서, 인트라 예측에 고주파 제거 필터링이 적용되었는지 여부를 나타내는 필터링 정보도 함께 출력한다.
인트라 예측부(210)에 대한 보다 상세한 설명은 도 3 내지 도 7을 참조하여 후술하기로 한다.
인트라 예측부(210)에서 출력된 결과(인트라 예측블록)는 부호화 대상블록과 감산되어 잔여블록으로생성되고, 생성된 잔여블록은 잔여데이터 부호화부(230)로 출력된다.
잔여데이터 부호화부(230)는 잔여블록을 변환 및 양자화 연산한 후, 부호화된 잔여블록을 생성한다. 이 경우, 변환 방식은 하다마드 변환(Hadamard Transform), 이산 코사인 변환 (Discrete Cosine Transform) 등과 같은 공간 영역의 신호를 주파수 영역의 신호로 변환하는 다양한 방법이 이용될 수 있으며, 양자화 방식은 데드존(Dead Zone)을 포함하는 균일 양자화(Uniform Quantization), 양자화 매트릭스(Quantization Matrix) 등과 같은 다양한 양자화 기법이 이용될 수 있다.
본 발명의 일 실시예에 따르면, 변환블록은 예측블록의 크기를 초과하지 않는 크기를 가질 수 있다. 예를 들어, 예측블록의 크기가 16×16 이라면 16×16을 초과하지 않는 16×16, 16×8, 8×16, 8×8, 8×4, 4×8, 4×4 등의 변환블록이 사용될 수 있다. 만약, 예측블록의 크기가 8×8 이라면 8×8을 초과하지 않는 8×8, 8×4, 4×8, 4×4 등의 변환블록이 사용될 수 있다. 예측블록의 크기가 4×4 라면, 4×4 변환블록만이 사용될 수 있다. 또한, 상기 변환블록의 크기는 율-왜곡(Rate-Distortion) 최적화 기준으로 선택될 수 있다. 이처럼 변환블록의 크기가 예측블록의 크기를 초과하지 않는 경우에는 잔여데이터 부호화부(230)는 변환블록의 크기와 동일한 서브블록들로 잔여블록을 분할한 후 순차적으로 서브블록들을 변환 및 양자화한다.
본 발명의 다른 실시예에 따르면, 변환블록은 예측블록의 크기를 초과하는 크기를 가질 수도 있다. 예를 들어, 예측블록의 크기가 16×16 인 경우, 32×16, 16×32, 32×32, 64×32, 32×64, 64×64 등의 변환블록이 사용될 수 있다. 이와 같이 변환블록의 크기가 예측블록의 크기보다 큰 경우, 잔여데이터 부호화부(230)는 공간적으로 서로 인접한 복수의 잔여블록들을 결합하여 변환블록의 크기와 동일한, 결합된 잔여 블록을 생성한 후 변환 및 양자화한다.
잔여데이터 복호화부(240)는 잔여데이터 부호화부(220)에 의해 변환 및 양자화 된 잔여블록을 역양자화 및 역변환함으로써 잔여블록을 복원한다. 역양자화와 역변환은 잔여데이터 부호화부(230)가 수행한 변환 과정과 양자화 과정을 역으로 수행하며 다양한 방법으로 구현될 수 있다. 예를 들어, 잔여데이터 부호화부(230)와 잔여데이터 복호화부(240)가 사전에 공유하는 동일한 과정의 변환 및 역변환 또는 양자화 및 역양자화를 사용할 수 있고, 또는 잔여데이터 복호화부(240)는 잔여데이터 부호화부(230)의 변환 및 양자화 과정에 의해 발생되어 전달되는 변환 및 양자화 과정에 관한 정보(예를 들어, 변환 크기, 변환 모양, 양자화 타입 등의 정보)를 이용하여 잔여데이터 부호화부(230)의 변환 및 양자화 과정을 역으로 수행함으로써, 역양자화 및 역변환을 수행할 수 있다.
잔여데이터 복호화부(240)를 통해 출력된 잔여블록은 인트라 예측부(210)를 통해 복원된 예측블록과 가산되어 복원블록으로 생성되어 참조픽처 메모리(220)에 저장되며, 저장된 복원블록은 이후에 부호화해야 할 대상블록을 부호화하기 위한 참조픽처로 이용된다.
엔트로피 부호화부(250)는 잔여데이터 부호화부(230)로부터 출력되는 잔여블록을 엔트로피 부호화하여 출력한다. 본 발명의 실시예에는 도시하지 않았으나, 필요에 따라 엔트로피 부호화부(250)는 잔여블록뿐만 아니라, 부호화된 비트열을 복호화하는데 필요한 다양한 정보들을 부호화 할 수 있다. 여기서 부호화된 비트열을 복호화하는데 필요한 다양한 정보들은, 매크로블록 타입에 대한 정보, 인트라 예측모드에 대한 정보, 변환 및 양자화 타입에 대한 정보, 인트라 예측에 사용된 참조화소들에 고주파 제거 필터링이 수행되었는지 여부를 나타내는 필터링 정보 등을 포함할 수 있다.
엔트로피 부호화부(250)는 문맥 적응형 가변장 길이 부호화(CAVLC: Context Adaptive Variable Length Coding), 문맥 적응형 이진 산술 부호화 (CABAC: Context Adaptive Binary Arithmetic Coding) 등 다양한 방법의 엔트로피 부호화 방법을 사용할 수 있다.
부호화데이터 생성부(260)는 엔트로피 부호화된 잔여블록, 매크로블록 타입에 대한 정보 및 인트라 예측모드에 대한 정보 등을 정렬하여 부호화 데이터로 출력한다. 또한, 부화화데이터 생성부(260)는 인트라 예측부(210)가 적응적 필터링 기반의 인트라 예측을 수행한 경우, 필터링이 수행되었는지 여부를 나타내는 필터링 정보도 함께 부호화 데이터로서 출력한다. 하지만, 인트라 예측부(210)가 적응적 필터링 기반의 인트라 예측을 수행하지 않은 경우에는, 부호화 데이터에 필터링 정보가 포함되지 않는다.
이하에서는 본 발명의 실시예에 따른 인트라 예측부(210)의 보다 상세한 구성을 도 3 내지 도 7을 참조하여 설명한다.
도 3은 본 발명의 실시예에 따른 인트라 예측부의 구성을 나타내는 블록도이다.
본 발명의 실시예에 따른 인트라 예측부(210)는 참조화소 설정부(310), 참조화소 특성 추출부(320), 제1 인트라 예측부(330) 및 제2 인트라 예측부(340) 등을 포함할 수 있다.
참조화소 설정부(310)는 부호화 대상블록에 인접한 인접블록들의 화소(참조화소)들을 참조픽처 메모리(220)에서 추출한다. 현재 부호화를 수행할 대상블록의 인접블록들은 블록 단위의 부호화 및 복호화 과정이 모두 끝나고, 현재블록을 부호화 할 때 해당 블록의 화소 값이 참조 가능한 상태이어야 한다. 하지만, 부호화 수행 과정에 따라 인접블록의 화소 값이 사용 불가능한 경우도 발생하는데, 이러한 인접블록의 불가용 화소들은 참조화소 설정부(310)에서 처리된다. 즉, 참조화소 설정부(310)는 인접한 블록들의 화소 값들이 존재하는지의 여부를 확인하고, 참조가 불가능한 인접 화소들이 있는 경우, 해당 참조 값들을 임의의 연산에 의해 산출된 값으로 채운다.
참조화소 특성 추출부(320)는 참조화소 설정부(310)에서 처리된 참조화소 값들을 입력받아, 참조화소들의 특성을 결정하고, 그 결정 결과에 근거하여 참조화소 값들을 적응적 필터링 기반의 인트라 예측을 수행하는 제1 인트라 예측부(330)로 전달할지 아니면 통상적인 인트라 예측을 수행하는 제2 인트라 예측부(340)로 전달할지 여부를 결정한다.
여기서, 참조화소들의 특성이란 참조화소들의 통계적 특성이나 또는 참조화소들이 구성하는 영상 내의 특성 등을 포함할 수 있고, 본 발명의 실시예에서는 통계적 특성으로서 분산을, 영상 내의 특성으로서 윤곽선 존재 여부를 이용하였다. 그러나 이는 하나의 실시예에 지나지 않으며, 적응적 필터링 기반의 인트라 예측과 통상적인 인트라 예측 중 어느 것이 부호화 효율 및 성능이 우수한지를 판단할 수 있는 특성이라면, 본 발명의 범주에 포함되는 것으로 해석하여야 할 것이다.
도 4는 본 발명의 일 실시예에 따른 참조화소 특성 추출부(320)의 구성을 나타내는 도면인데, 도 4를 참조하면, 참조화소 특성 추출부(320)는 통계적 특성 추출부(410), 윤곽선 검출부(420) 및 필터링 결정부(430)를 포함할 수 있다.
통계적 특성 추출부(410)는 참조화소들의 분산을 연산하고, 분산이 기 설정된 임계값 이하인지 여부를 판단한다. 여기서, 임계값은 다양한 방법에 의해 결정될 수 있는데, 그 한 예로서, 하기의 수학식 1을 이용할 수 있다.
윤곽선 검출부(420)는 부호화 대상블록의 인접블록에 포함된 참조화소들을 이용하여 인접블록에 윤곽선이 존재하는지 여부를 검출한다.
윤곽선(Edge)는 영상 내에서 영역의 경계를 나타내는 특징으로서, 밝기의 불연속점에 해당한다. 따라서, 편미분 연산 또는 미분 연산을 이용하거나 또는 미분 연산의 역할을 수행하는 마스크(오퍼레이터)를 이용한 영상 밝기의 기울기(Gradient) 변화를 구하면 윤곽선을 검출할 수 있다. 마스크를 이용한 윤곽선 검출 방법으로서 대표적인 방법은 소벨 마스크(Sobel Mask)를 이용하는 것인데, 이외에도 로버트 마스크(Roberts Mask), 라플라시안 마스크(Laplacian Mask), 캐니 마스크(Canny Mask) 등의 방법이 존재한다.
본 발명의 실시예에서는 소벨 마스크를 이용하여 윤곽선을 검출하는 방법을 사용하였으나, 이에 한정된 것은 아니며, 영상의 윤곽선을 검출하는 다양한 방법들도 본 발명의 범주에 포함되는 것으로 해석하여야 할 것이다.
소벨 마스크를 이용한 윤곽선 추출 방법은 하기의 마스크를 영상에 적용하여 윤곽선을 검출하게 된다.
영상은 이차원으로 구성되어 있으므로, 수직방향(y축방향)의 영상 밝기의 기울기(Gradient)와 수평방향(x축방향)의 밝기 기울기를 구하여야 하는데, 좌측 마스크는 수직방향의 기울기를 구하기 위한 것이며, 우측 마스크는 수평방향의 기울기를 구하기 위한 것이다.
위 두 마스크를 인접블록에 적용하여 기울기의 크기를 산출하게 되는데, 도 5는 소벨 마스크가 적용되는 영역을 도시한 것으로 예측에 사용되는 블록의 크기에 따라 윤곽선을 추출할 인접 영역의 크기가 변할 수 있다.
기울기의 크기는, 좌측 마스크와 우측 마스크 각각에 영상의 각 화소값을 곱하여 산출되는 행렬의 중앙 원소값(행렬의 (2,2)원소)을 각각 Gy와 Gx로 하여, 하기의 수학식 2에 의해 연산할 수 있다.
위 기울기 크기 값이 기 설정된 임계값 T보다 크면 해당 영역에 윤곽선이 존재하는 것으로 판단할 수 있다.
필터링 결정부(430)는 통계적 특성 추출부(410)에서 분산이 기 설정된 임계값 이하인 것으로 판단하거나 윤곽선 검출부에서 윤곽선이 존재하는 것으로 검출한 경우 적응적 필터링을 적용하지 않는 것으로 결정하고, 참조화소들을통상적인 인트라 예측을 수행하는 제2 인트라 예측부(340)로 전달한다. 그러나, 그렇지 않은 경우, 즉, 분산이 기 설정된 임계값보다 크고 윤곽선도 검출되지 않는 경우에는, 적응적 필터링을 적용하는 것으로 결정하고 참조화소들을적응적 필터링 기반의 인트라 예측을 수행하는 제1 인트라 예측부(330)로 전달한다.
참조화소들의 분산이 0에 가까울 정도로 작은 경우에는, 고주파 제거 필터링을 수행한 참조화소들은 고주파 제거 필터링을 수행하지 않은 원래의 참조화소들과매우 유사한 값을 갖는다. 따라서, 이러한 경우에는 적응적 필터링에 기반한 인트라 예측을 수행하지 않으므로써 필터링 수행 여부를 나타내는 인덱스 비트를 사용하지 않게 되고, 이를 통해 부호화 효율을 향상시키게 된다.
또한, 부호화를 수행할 대상블록에 인접한 인접블록에 윤곽선이 존재하는 경우, 참조화소들에 필터링을 적용하면 윤곽선이 흐릿해져 큰 오차가 유발될 수 있다. 따라서, 이러한 경우에도 적응적 필터링에 기반한 인트라 예측을 사용하지 않는 것으로 결정함으로써 부호화 성능을 향상시킬 수 있고, 또한 필터링 수행 여부를 나타내는 인덱스 비트를 사용하지 않게 됨으로써 부호화 효율을 향상시킬 수 있게 된다.
한편, 본 발명의 실시예에서는 참조화소들의 통계적 특성과 윤곽선의 존부를 모두 이용하여 참조화소 특성을 결정하는 것으로 설명하였으나, 이에 한정되는 것은 아니며, 이 중 어느 한 방법만 이용하여 참조화소 특성을 결정할 수도 있을 것이다.
다시 도 3을 참조하면, 제1 인트라 예측부(330)는, 참조화소 특성 추출부(320)가 적응적 필터링을 적용하기로 결정한 경우, 적응적 필터링 기반의 인트라 예측을 수행한다.
도 6은 본 발명의 실시예에 따른 적응적 필터링 기반의 인트라 예측을 수행하는 제1 인트라 예측부의 구성을 나타내는 블록도인데, 도 6을 참조하면, 제1 인트라 예측부는 저주파 통과 필터부(LPF:Low Pass Filter)(610), 인트라 예측 수행부(620, 630) 및 비용 산출부(640) 등을포함할 수 있다.
저주파 통과 필터부(610)는 참조화소들에서 고주파 성분을 제거하여 인트라 예측 수행부(620)로 전달하고, 인트라 예측 수행부(620)는 고주파 성분이 제거된 참조화소 값들을 이용하여 인트라 예측을 수행한 후 그 결과를 비용 산출부(640)로 전달한다.
인트라 예측 수행부(630)는 고주파 제거 필터링이 수행되지 않은 원래의 참조화소 값들을 이용하여 인트라 예측을 수행하고 그 결과를 비용 산출부로 전달한다.
비용 산출부(640)는 인트라 예측 수행부(620)에 의해 수행된 결과(즉, 고주파 제거 필터링이 수행된 참조화소를 이용한 인트라 예측 결과)를 이용하여 데이터를 부호화하는 데에 소요되는 비용과 인트라 예측 수행부(630)에 의해 수행된 결과(즉, 고주파 제거 필터링이 수행되지 않은 참조화소를 이용한 인트라 예측 결과)를 이용하여 데이터를 부호화하는 데에 소요되는 비용을 산출하고, 비용이 적게 소비되는 결과를 출력한다. 여기서, 비용은 율-왜곡이나 또는 데이터를 부호화하는 데에 소요되는 비트량을 이용하여 구할 수 있다.
한편, 비용 산출부(640)는, 인트라 예측 결과를 출력할 때, 고주파 제거 필터링이 수행되었는지 여부를 나타내는 필터링 정보도 함께 출력한다.
도 7은 본 발명의 실시예에 따른 적응적 필터링 기반의 인트라 예측을 수행하는 제1 인트라 예측부를 설명하기 위한 예시도면이다.
인트라 예측을 수행 할 크기 n x m의 블록과 복원된 참조 화소는 다음과 같이 표현할 수 있다.
nxm 크기의 배열로 이루어진 부호화 대상블록 O는,
대상블록 O을 예측한 n x m 배열의 예측블록 P는,
현재의 예측 블록 P에 대한 참조 화소로써 이전 블록의 복원된 화소 값들이 사용된다. 도 7은 참조가 가능한 복원된 참조 화소들의 한 실례를 보여주고 있다.
보다 구체적인 설명을 위해 복원된 좌측의 화소값들을 다음과 같은 벡터로 표현한다.
또한, 복원된 상단의 화소값들은 다음과 같이 표현한다.
그리고, 좌측 상단의 복원된 화소값은 a라 정의한다. 현재블록 이전에 부호화되고 복호화가 완료된 경우, l, t, a의 각 화소들은 ‘available’로 표시한다.
적응적 필터링을 수행하는 경우, 원본 블록 O에 대한 인트라 예측을 수행하기 전, 인트라 예측에 사용되는 참조 화소들을 평탄화시키는 길이 k의 저주파 통과필터를 다음과 같이 정의한다.
위의 필터 계수는 참조화소 벡터 l과 t에 수학식 3과 같은 컨볼루션 연산을 적용하여 평탄화된 참조화소 벡터를 생성한다.
이 때, g 1 , g 2 의 첫 번째와 마지막 원소(t=0, t=n-1 또는 t=m-1)에 대한 연산에서는 f의 값이 예외적으로 변경될 수 있다.
도 6의 저주파 통과 필터부(610)는 수학식 2에 의해 원래의 참조화소들에 대해 고주파 제거 필터링을 수행하게 된다. 그리고 인트라 예측 수행부(620)는 저주파 통과 필터부(610)에서 출력된 참조화소 벡터 g 1 , g 2 를 이용하여 인트라 예측을 수행하게 된다.
한편, 인트라 예측 수행부(630)는 고주파 제거 필터링이 수행되지 않은 원래의 참조화소 벡터 l, t 를 이용하여 인트라 예측을 수행하게 된다.
그리고, 비용 산출부(640)는 참조화소 벡터 g 1 , g 2 를 이용한 인트라 예측 결과를 사용하여 부호화할 때의 비용과 원래의 참조화소 벡터 l, t 를 이용한 인트라 예측 결과를 사용하여 부호화할 때의 비용을 비교하여 비용이 적게 소비되는 인트라 예측 결과를 출력하게 된다. 또한, 비용 산출부(640)가 출력하는 인트라 예측 결과가 고주파 제거 필터링을 수행한 참조화소를 이용한 것인지 아닌지를 나타내는 필터링 정보를 함께 출력한다.
다시 도 3을 참조하면, 제2 인트라 예측부(340)는, 참조화소 특성 추출부가 적응적 필터링을 적용하지 않기로 결정한 경우, 고주파 제거 필터링이 수행되지 않은 참조화소, 즉, 원래의 참조화소 벡터 l, t 를 이용하여 인트라 예측을 수행하여 그 결과를 출력한다. 이 경우, 제2 인트라 예측부는 적응적 필터링 방식을 사용하지 않으므로, 인트라 예측에 고주파 제거 필터링이 사용되었는지 여부를 나타내는 필터링 정보를 출력할 필요가 없다.
이상에서 설명한 본 발명의 실시예에 따르면, 참조화소 특성 추출부(320)가 적응적 필터링을 적용하기로 결정한 경우에는 인트라 예측에 고주파 제거 필터링이 사용되었는지 여부를 나타내는 필터링 정보가 요구되지만, 참조화소 특성 추출부(320)가 적응적 필터링을 적용하지 않기로 결정한 경우에는 필터링 정보가 요구되지 않으므로, 필터링 수행 여부를 나타내기 위해 요구되는 비트량을 감소시킬 수 있게 된다.
도 8은 본 발명의 실시예에 따른 부호화 방법을 나타내는 순서도이다.
부호화를 수행할 대상블록에 인접한 인접블록에 포함된 적어도 하나 이상의 참조화소들을 추출하여 참조화소 특성을 결정한다(S810). 여기서 참조화소 특성은 분산과 같은 참조화소들의 통계적 특성이나 윤곽선의 존부와 같은 참조화소들이 구성하는 영상의 영상 내 특성 등을 포함할 수 있다.
참조화소 특성이 결정되면, 참조화소 특성을 토대로 인트라 예측에 적응적 필터링을 적용할지 여부를 결정한다(S820). 예컨대, 참조화소들의 분산이 기 설정된 임계값보다 작거나 또는 인접블록에 윤곽선이 존재하는 경우 등에는 적응적 필터링을 적용하지 않는 것으로 결정할 수 있고, 그렇지 않은 경우에는 적응적 필터링을 적용하는 것으로 결정할 수 있다.
적응적 필터링을 적용하지 않기로 결정된 경우에는, 고주파 제거 필터링을 수행하지 않은 원래의 참조화소들을 이용하여 인트라 예측을 수행하고 그 결과를 출력한다(S830).
그러나 적응적 필터링을 적용하기로 결정된 경우에는, 적응적 필터링에 기반한 인트라 예측을 수행한다.
즉, 참조화소들에 대해 고주파 제거 필터링을 수행하고 필터링이 수행된 참조화소들을 이용하여 인트라 예측을 수행한다(S840, S850). 또한, 고주파 제거 필터링이 수행되지 않은 참조화소들을 이용하여 인트라 예측을 수행한다(S860). 그리고, S840 및 S850에 의해 수행된 인트라 예측 결과를 이용하여 부호화하였을 때의 비용과 S860에 의해 수행된 인트라 예측 결과를 이용하여 부호화하였을 때의 비용을 산출한 후, 비용이 적게 소비되는 인트라 예측 결과를 출력한다. 이때, 출력되는 인트라 예측 결과가 고주파 제거 필터링을 수행한 참조화소를 이용한 것인지 여부를 나타내는 필터링 정보도 함께 출력한다(S870).
이하에서는 도 9 내지 도 10을 참조하여 본 발명의 실시예에 따른 복호화 장치에 대해 설명한다.
도 9는 본 발명의 실시예에 따른 복호화 장치의 구성을 나타내는 블록도이다.
본 발명의 실시예에 따른 복호화 장치는 부호화데이터 추출부(910), 엔트로피 복호화부(920), 잔여데이터 복호화부(930) 및 인트라 예측부(940) 등을 포함할 수 있다.
여기서, 복호화 장치는, 도 2을 통해 전술한 부호화 장치와 같이, 개인용 컴퓨터(PC: Personal Computer), 노트북 컴퓨터, 개인 휴대 단말기(PDA: Personal Digital Assistant), 휴대형 멀티미디어 플레이어(PMP: Portable Multimedia Player), 플레이스테이션 포터블(PSP: PlayStation Portable), 이동통신 단말기(Mobile Communication Terminal) 등일 수 있으며, 각종 기기 또는 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, 영상을 복호화하기 위한 각종 프로그램과 데이터를 저장하기 위한 메모리, 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하는 다양한 장치를 의미한다.
부호화데이터 추출부(910)는 입력받은 부호화된 데이터를 추출 및 분석하여, 잔여블록에 대한 데이터를 엔트로피 복호화부(920)으로 전달하고, 그 외의 예측을 위해 필요한 데이터, 예컨대, 매크로블록 모드및 부호화된 예측정보(인트라 예측모드에 대한 정보 등) 등을 인트라 예측부(940)로 전달한다.
엔트로피 복호화부(920)는 부호화데이터 추출부(910)으로부터 입력받은 잔여블록에 대해 엔트로피 복호화를 수행해 양자화된 잔여블록을 생성한다. 본 발명의 실시예에는 도시하지 않았으나, 필요에 따라 엔트로피 복호화부(920)는 잔여블록뿐만 아니라, 부호화된 데이터를 복호화하는데 필요한 다양한 정보들을 복호화할 수 있다. 여기서, 부호화된 데이터를 복호화하는데 필요한 다양한 정보들은 블록 타입에 대한 정보, 인트라 예측모드에 대한 정보, 변환 및 양자화 타입에 대한 정보 등의 다양한 정보들을 포함할 수 있다. 엔트로피 복호화부(1220)은 본 발명의 실시예가 적용된 부호화 장치의 엔트로피 부호화부(440)에 사용되는 엔트로피 부호화 방법에 따라 다양한 방법으로 정의될 수 있다.
잔여데이터 복호화부(930)는 본 발명의 실시예에 따른 부호화 장치의 잔여데이터 복호화부(240)와 동일한 과정을 수행하여 잔여블록을 복원한다. 즉, 엔트로피 복호화부로부터 전달받은 양자화된 잔여블록을 역양자화한 후 이를 역변환함으로써 잔여블록을 복원한다.
인트라 예측부(940)는 부호화데이터 추출부에서 추출된 인트라 예측모드 정보를 근거로 인트라 예측을 수행하여 인트라 예측블록을 생성한다.
특히, 본 발명의 실시예에 따른 인트라 예측부(940)는 복호화를 수행해야 할 대상블록의 인접블록에 포함된 참조화소들을 이용하여 참조화소 특성을 결정하고, 참조화소 특성을 토대로 부호화 장치가 적응적 필터링을 적용한 인트라 예측을 수행하였는지 여부를 결정한다. 적응적 필터링이 적용된 것으로 결정된 경우에는, 부호화 장치로부터 수신한 부호화 데이터에 필터링 정보가 포함되어 있을 것이므로, 부호화 데이터에서 필터링 정보를 추출한다. 그리고, 추출된 필터링 정보에 근거하여 고주파 제거 필터링을 수행한 참조화소를 이용하여 인트라 예측을 수행하거나 또는 고주파 제거 필터링을 수행하지 않은 원래의 참조화소들을 이용하여 인트라 예측을 수행하고 그 결과를 출력한다. 그러나 적응적 필터링이 적용되지 않은 것으로 결정된 경우에는, 부호화 데이터에 필터링 정보가 존재하지 않을 것이므로, 고주파 제거 필터링을 수행하지 않은 원래의 참조화소들을이용하여 인트라 예측을 수행하고 그 결과를 출력한다.
인트라 예측부(940)에서 출력되는 결과(인트라 예측블록)는 잔여데이터 복호화부(930)에서 복원된 잔여블록과 가산되어 원래 영상의 블록으로 복원된다.
도 10은 본 발명의 실시예에 따른 인트라 예측부(940)의 구성을 나타내는 블록도이다.
도 10에서 보는 바와 같이, 본 발명의 실시예에 따른 인트라 예측부(940)는 참조화소 설정부(1010), 참조화소 특성 추출부(1020), 제3 인트라 예측부(1030) 및 제4 인트라 예측부(1040)를 포함할 수 있다.
참조화소 설정부(1010)는 복호화 대상블록에 인접한 인접블록들의 화소(참조화소)들을 참조픽처 메모리에서 추출한다.
참조화소 특성 추출부(1020)는 참조화소 설정부(1010)로부터 전달된 참조화소 값들을 입력받아, 참조화소들의 특성을 결정하고 참조화소 특성에 근거하여 적응적 필터링을 적용할지 여부를 결정한다. 그리고 그 결정 결과에 근거하여 참조화소 값들을 제3 인트라 예측부(1030)와 제4 인트라 예측부(1040) 중 어느 하나로 전달한다. 여기서, 참조화소들의 특성이란 참조화소들의 통계적 특성이나 또는 참조화소들이 구성하는 영상 내의 특성 등을 포함할 수 있다.
참조화소 설정부(1010)와 참조화소 특성 추출부(1020)는 각각 본 발명의 실시예에 따른 부호화 장치의 참조화소 설정부(310) 및 참조화소 특성 추출부(320)와 그 기능이 동일하므로, 중복 설명을 피하기 위해 더 이상의 상세한 설명은 생략한다.
제3 인트라 예측부(1030)는, 참조화소 특성 추출부(1020)가 적응적 필터링을 적용하는 것으로 결정한 경우, 부호화데이터에서 필터링 정보를 추출한다. 그리고, 추출된 필터링 정보가 고주파 제거 필터링을 수행하는 것을 지시하는 경우에는 참조화소들에 대해 고주파 제거 필터링을 수행하고, 고주파 제거 필터링이 수행된 참조화소들을 이용하여 인트라 예측을 수행한다. 그러나, 추출된 필터링 정보가 고주파 제거 필터링을 수행하지 않는 것을 지시하는 경우에는 고주파 제거 필터링을 수행하지 않고 원래의 참조화소들을 이용하여 인트라 예측을 수행하고 그 결과를 출력한다.
제4 인트라 예측부(1040)는, 참조화소 특성 추출부(1020)가 적응적 필터링을 적용하지 않는 것으로 결정하는 경우, 고주파 제거 필터링을 수행하지 않은 원래의 참조화소를 이용하여 인트라 예측을 수행하고 그 결과를 출력한다.
복호화 장치의 참조화소 특성 추출부(1020)는 부호화 장치의 참조화소 특성 추출부(320)과 그 구성이 동일하다.
따라서, 복호화 장치의 참조화소 특성 추출부(1020)가 적응적 필터링을 적용하는 것으로 결정한 경우에는, 부호화 장치의 참조화소 특성 추출부(320)도 적응적 필터링을 적용하는 것으로 결정할 것이므로, 부호화 장치가 출력하는 부호화데이터에는 필터링 정보가 포함되어 있게 된다. 따라서, 제3 인트라 예측부(1030)는 부호화 데이터에서 필터링 정보를 추출하고, 그 필터링 정보에 근거하여 인트라 예측을 수행하는 것이다.
한편, 복호화 장치의 참조화소 특성 추출부(1020)가 적응적 필터링을 적용하지 않는 것으로 결정한 경우에는, 부호화 장치의 참조화소 특성 추출부(320)도 적응적 필터링을 적용하지 않는 것으로 결정할 것이므로, 부호화 장치에서 출력되는 부호화데이터에는 필터링 정보가 포함되어 있지 않다. 따라서, 이 때에는 제4 인트라 예측부(1040)가 필터링 정보에 대한 고려없이 바로 고주파 제거 필터링을 수행하지 않은 원래의 참조화소들을 이용하여 인트라 예측을 수행하게 된다.
도 11은 본 발명의 실시예에 따른 복호화 방법을 나타내는 순서도이다.
복호화를 수행할 대상블록의 인접블록에 포함된 적어도 하나 이상의 참조화소들을 추출하여 참조화소 특성을 결정한다(S1110). 여기서 참조화소 특성은 분산과 같은 참조화소들의 통계적 특성이나 윤곽선의 존부와 같은 참조화소들이 구성하는 영상 내 특성 등을 포함할 수 있다.
참조화소 특성이 결정되면, 참조화소 특성에 근거하여 적응적 필터링을 적용할지 여부를 결정한다(S1120). 예컨대, 참조화소들의 분산이 기 설정된 임계값 이하이거나 인접블록 내에 윤곽선이 존재하는 경우에는 적응적 필터링을 적용하지 않는 것으로 결정하고, 그렇지 않은 경우에는 적응적 필터링을 적용하는 것으로 결정할 수 있다.
S1120에서 적응적 필터링을 적용하지 않는 것으로 결정한 경우, 고주파 제거 필터링을 수행하지 않은 원래의 참조화소들을 이용하여 인트라 예측을 수행하고 그 결과를 출력한다(S1130).
그러나 S1120에서 적응적 필터링을 적용하는 것으로 결정한 경우에는, 부호화데이터에서 필터링 정보를 추출하고(S1140), 추출된 필터링 정보를 확인한다(S1150). 확인 결과, 필터링 정보가 고주파 제거 필터링을 수행할 것을 지시하는 경우에는 고주파 제거 필터링을 수행한 참조화소를 이용하여 인트라 예측을 수행하고 그 결과를 출력한다(S1160). 그러나, 필터링 정보가 고주파 제거 필터링을 수행하지 않을 것을 지시하는 경우에는 고주파 제거 필터링을 수행하지 않은 참조화소를 이용하여 인트라 예측을 수행하고 그 결과를 출력한다(S1170).
이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.
또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재할 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
이상에서 설명한 바와 같이 본 발명의 실시예는, 인트라 예측에서의 적응적 필터링에 의해 발생하는 추가적인 필터 적용에 대한 인덱스 신호의 발생 빈도를 효과적으로 감소시켜 높은 압축 부호화 효율을 제공하고, 적응적 필터링 유무에 대한 판단 기준의 강약을 조절하여 비디오 압축 부호기의 능률적인 율-왜곡 조절 요소를 제공하며, 나아가 적응적 필터링이 생략되는 경우 반복적인 필터링 및 인트라 예측 과정으로 인해 발생하는 부호화 및 복호화 프로세스의 복잡도를 감소시킬 수 있으므로, 매우 유용한 발명이다.
310: 참조화소 설정부 320: 참조화소 특성 추출부
330: 제1 인트라 예측부 340: 제2 인트라 예측부
410: 통계적 특성 추출부 420: 윤곽선 검출부
430: 필터링 결정부
330: 제1 인트라 예측부 340: 제2 인트라 예측부
410: 통계적 특성 추출부 420: 윤곽선 검출부
430: 필터링 결정부
Claims (28)
- 인트라 예측을 이용한 부호화 및 복호화 장치에 있어서,
부호화를 수행할 대상블록의 인접블록에 포함된 적어도 하나 이상의 참조화소를 입력받아 제1 참조화소 특성을 결정하고, 상기 제1 참조화소 특성에 기반하여, 고주파 제거 필터링을 수행한 참조화소를 이용하여 인트라 예측을 수행한 결과와 고주파 제거 필터링을 수행하지 않은 참조화소를 이용하여 인트라 예측을 수행한 결과를 비교하여 비용이 적게 소비되는 결과를 필터링 수행 여부를 나타내는 필터링 정보와 함께 출력하는 제1 인트라 예측과, 상기 고주파 제거 필터링을 수행하지 않은 참조화소를 이용하여 인트라 예측을 수행한 결과를 출력하는 제2 인트라 예측 중 어느 하나를 수행하는 부호화 장치 및
복호화를 수행할 대상블록의 인접블록에 포함된 적어도 하나 이상의 참조화소를 입력받아 제2 참조화소 특성을 결정하고, 상기 제2 참조화소 특성에 기반하여, 상기 부호화 장치로부터 수신한 부호화 데이터로부터 상기 필터링 정보를 추출하고 상기 필터링 정보에 근거하여 상기 고주파 제거 필터링을 수행한 참조화소를 이용하여 인트라 예측을 수행한 결과와 상기 고주파 제거 필터링을 수행하지 않은 참조화소를 이용하여 인트라 예측을 수행한 결과 중 어느 하나를 출력하는 제3 인트라 예측과, 상기 부호화 데이터에 상기 필터링 정보가 존재하지 않는 것으로 판단하고 상기 고주파 제거 필터링을 수행하지 않은 참조화소를 이용하여 인트라 예측을 수행한 결과를 출력하는 제4 인트라 예측 중 어느 하나를 수행하는 복호화 장치
를 포함하는 것을 특징으로 하는 인트라 예측을 이용한 부호화 및 복호화 장치. - 인트라 예측을 이용한 부호화 장치에 있어서,
부호화를 수행할 대상블록의 인접블록에 포함된 적어도 하나 이상의 참조화소를 입력받아 참조화소 특성을 결정하고, 상기 참조화소 특성에 기반하여 상기 적어도 하나 이상의 참조화소에 대한 적응적 필터링 적용 여부를 결정하는 참조화소 특성 추출부
상기 참조화소 특성 추출부에서 적응적 필터링을 적용하기로 결정한 경우, 고주파 제거 필터링을 수행한 참조화소를 이용하여 인트라 예측을 수행한 결과와 고주파 제거 필터링을 수행하지 않은 참조화소를 이용하여 인트라 예측을 수행한 결과를 비교하여 비용이 적게 소비되는 결과를 필터링 수행 여부를 나타내는 필터링 정보와 함께 출력하는 제1 인트라 예측부 및
상기 참조화소 특성 추출부에서 적응적 필터링을 적용하지 않기로 결정한 경우, 상기 고주파 제거 필터링을 수행하지 않은 참조화소를 이용하여 인트라 예측을 수행한 결과를 출력하는 제2 인트라 예측부
를 포함하는 것을 특징으로 하는 인트라 예측을 이용한 부호화 장치. - 제 2 항에 있어서,
상기 참조화소 특성 추출부는, 상기 적어도 하나 이상의 참조화소들의 통계적 특성을 이용하여 상기 참조화소 특성을 결정하는 것을 특징으로 하는 인트라 예측을 이용한 부호화 장치. - 제 3 항에 있어서,
상기 참조화소 특성 추출부는, 상기 적어도 하나 이상의 참조화소들의 분산이 기 설정된 임계값 이하인 경우, 적응적 필터링을 적용하지 않기로 결정하는 것을 특징으로 하는 인트라 예측을 이용한 부호화 장치. - 제 2 항에 있어서,
상기 참조화소 특성 추출부는, 상기 인접블록에 윤곽선이 존재하는지 여부를 검출하여, 윤곽선이 존재하는 경우 적응적 필터링을 적용하지 않기로 결정하는 것을 특징으로 하는 인트라 예측을 이용한 부호화 장치. - 제 2 항에 있어서,
상기 참조화소 특성 추출부는,
상기 적어도 하나 이상의 참조화소들의 분산이 기 설정된 임계값 이하인지 여부를 판단하는 통계적 특성 추출부
상기 인접블록에 윤곽선이 존재하는지 여부를 검출하는 윤곽선 검출부 및
상기 통계적 특성 추출부가 상기 분산이 상기 기 설정된 임계값 이하라고 판단하거나 상기 윤곽선 검출부가 윤곽선을 검출한 경우에 적응적 필터링을 적용하지 않기로 결정하는 필터링 결정부
를 포함하는 것을 특징으로 하는 인트라 예측을 이용한 부호화 장치. - 제 2 항에 있어서,
상기 제1 인트라 예측부는, 율-왜곡 및 데이터를 부호화하는 데에 소요되는 비트량 중 적어도 어느 하나의 방법에 의해 상기 비용을 산출하는 것을 특징으로 하는 인트라 예측을 이용한 부호화 장치. - 인트라 예측을 이용한 복호화 장치에 있어서,
복호화를 수행할 대상블록의 인접블록에 포함된 적어도 하나 이상의 참조화소를 입력받아 참조화소 특성을 결정하고, 상기 참조화소 특성에 기반하여 상기 적어도 하나 이상의 참조화소에 대한 적응적 필터링 적용 여부를 결정하는 참조화소 특성 추출부
상기 참조화소 특성 추출부에서 적응적 필터링이 적용된 것으로 결정한 경우, 부호화 장치로부터 수신한 부호화 데이터로부터 필터링 정보를 추출하고, 추출된 필터링 정보에 근거하여 고주파 제거 필터링을 수행한 참조화소를 이용하여 인트라 예측을 수행한 결과와 고주파 제거 필터링을 수행하지 않은 참조화소를 이용하여 인트라 예측을 수행한 결과 중 어느 하나를 출력하는 제1 인트라 예측부 및
상기 참조화소 특성 추출부에서 적응적 필터링이 적용되지 않은 것으로 결정한 경우, 상기 부호화 데이터에 상기 필터링 정보가 존재하지 않는 것으로 판단하고, 상기 고주파 제거 필터링을 수행하지 않은 참조화소를 이용하여 인트라 예측을 수행한 결과를 출력하는 제2 인트라 예측부
를 포함하는 것을 특징으로 하는 인트라 예측을 이용한 복호화 장치. - 제 9 항에 있어서,
상기 참조화소 특성 추출부는, 상기 적어도 하나 이상의 참조화소들의 통계적 특성을 이용하여 상기 참조화소 특성을 결정하는 것을 특징으로 하는 인트라 예측을 이용한 복호화 장치. - 제 10 항에 있어서,
상기 참조화소 특성 추출부는, 상기 적어도 하나 이상의 참조화소들의 분산이 기 설정된 임계값 이하인 경우, 적응적 필터링을 적용하지 않은 것으로 결정하는 것을 특징으로 하는 인트라 예측을 이용한 복호화 장치. - 제 9 항에 있어서,
상기 참조화소 특성 추출부는, 상기 인접블록에 윤곽선이 존재하는지 여부를 검출하여, 윤곽선이 존재하는 경우 적응적 필터링을 적용하지 않은 것으로 결정하는 것을 특징으로 하는 인트라 예측을 이용한 복호화 장치. - 제 9 항에 있어서,
상기 참조화소 특성 추출부는,
상기 적어도 하나 이상의 참조화소들의 분산이 기 설정된 임계값 이하인지 여부를 판단하는 통계적 특성 추출부
상기 인접블록에 윤곽선이 존재하는지 여부를 검출하는 윤곽선 검출부 및
상기 통계적 특성 추출부가 상기 분산이 상기 기 설정된 임계값 이하라고 판단하거나 상기 윤곽선 검출부가 윤곽선을 검출한 경우에 적응적 필터링을 적용하지 않기로 결정하는 필터링 결정부
를 포함하는 것을 특징으로 하는 인트라 예측을 이용한 복호화 장치. - 인트라 예측을 이용한 부호화 및 복호화 방법에 있어서,
부호화를 수행할 대상블록의 인접블록에 포함된 적어도 하나 이상의 참조화소를 입력받아 제1 참조화소 특성을 결정하고, 상기 제1 참조화소 특성에 기반하여, 고주파 제거 필터링을 수행한 참조화소를 이용하여 인트라 예측을 수행한 결과와 고주파 제거 필터링을 수행하지 않은 참조화소를 이용하여 인트라 예측을 수행한 결과를 비교하여 비용이 적게 소비되는 결과를 필터링 수행 여부를 나타내는 필터링 정보와 함께 출력하는 제1 인트라 예측과, 상기 고주파 제거 필터링을 수행하지 않은 참조화소를 이용하여 인트라 예측을 수행한 결과를 출력하는 제2 인트라 예측 중 어느 하나를 수행하는 부호화 단계 및
복호화를 수행할 대상블록의 인접블록에 포함된 적어도 하나 이상의 참조화소를 입력받아 제2 참조화소 특성을 결정하고, 상기 제2 참조화소 특성에 기반하여, 상기 부호화 장치로부터 수신한 부호화 데이터로부터 상기 필터링 정보를 추출하고 상기 필터링 정보에 근거하여 상기 고주파 제거 필터링을 수행한 참조화소를 이용하여 인트라 예측을 수행한 결과와 상기 고주파 제거 필터링을 수행하지 않은 참조화소를 이용하여 인트라 예측을 수행한 결과 중 어느 하나를 출력하는 제3 인트라 예측과, 상기 부호화 데이터에 상기 필터링 정보가 존재하지 않는 것으로 판단하고 상기 고주파 제거 필터링을 수행하지 않은 참조화소를 이용하여 인트라 예측을 수행한 결과를 출력하는 제4 인트라 예측 중 어느 하나를 수행하는 복호화 단계
를 포함하는 것을 특징으로 하는 인트라 예측을 이용한 부호화 및 복호화 방법. - 인트라 예측을 이용한 부호화 방법에 있어서,
부호화를 수행할 대상블록의 인접블록에 포함된 적어도 하나 이상의 참조화소를 입력받아 참조화소 특성을 결정하고, 상기 참조화소 특성에 기반하여 상기 적어도 하나 이상의 참조화소에 대한 적응적 필터링 적용 여부를 결정하는 참조화소 특성 추출 단계
상기 참조화소 특성 추출 단계에서 적응적 필터링을 적용하기로 결정한 경우, 고주파 제거 필터링을 수행한 참조화소를 이용하여 인트라 예측을 수행한 결과와 고주파 제거 필터링을 수행하지 않은 참조화소를 이용하여 인트라 예측을 수행한 결과를 비교하여 비용이 적게 소비되는 결과를 필터링 수행 여부를 나타내는 필터링 정보와 함께 출력하는 제1 인트라 예측 단계 및
상기 참조화소 특성 추출 단계에서 적응적 필터링을 적용하지 않기로 결정한 경우, 상기 고주파 제거 필터링을 수행하지 않은 참조화소를 이용하여 인트라 예측을 수행한 결과를 출력하는 제2 인트라 예측 단계
를 포함하는 것을 특징으로 하는 인트라 예측을 이용한 부호화 방법. - 제 15 항에 있어서,
상기 참조화소 특성 추출 단계는, 상기 적어도 하나 이상의 참조화소들의 통계적 특성을 이용하여 상기 참조화소 특성을 결정하는 것을 특징으로 하는 인트라 예측을 이용한 부호화 방법. - 제 16 항에 있어서,
상기 참조화소 특성 추출 단계는, 상기 적어도 하나 이상의 참조화소들의 분산이 기 설정된 임계값 이하인 경우, 적응적 필터링을 적용하지 않기로 결정하는 것을 특징으로 하는 인트라 예측을 이용한 부호화 방법. - 제 15 항에 있어서,
상기 참조화소 특성 추출 단계는, 상기 인접블록에 윤곽선이 존재하는지 여부를 검출하여, 윤곽선이 존재하는 경우 적응적 필터링을 적용하지 않기로 결정하는 것을 특징으로 하는 인트라 예측을 이용한 부호화 방법. - 제 15 항에 있어서,
상기 참조화소 특성 추출 단계는,
상기 적어도 하나 이상의 참조화소들의 분산이 기 설정된 임계값 이하인지 여부를 판단하는 통계적 특성 추출 단계
상기 인접블록에 윤곽선이 존재하는지 여부를 검출하는 윤곽선 검출 단계 및
상기 통계적 특성 추출 단계에서 상기 분산이 상기 기 설정된 임계값 이하라고 판단하거나 상기 윤곽선 검출 단계에서 윤곽선을 검출한 경우에 적응적 필터링을 적용하지 않기로 결정하는 필터링 결정 단계
를 포함하는 것을 특징으로 하는 인트라 예측을 이용한 부호화 방법. - 제 15 항에 있어서,
상기 제1 인트라 예측 단계는, 율-왜곡 및 데이터를 부호화하는 데에 소요되는 비트량 중 적어도 어느 하나의 방법에 의해 상기 비용을 산출하는 것을 특징으로 하는 인트라 예측을 이용한 부호화 방법. - 인트라 예측을 이용한 복호화 방법에 있어서,
복호화를 수행할 대상블록의 인접블록에 포함된 적어도 하나 이상의 참조화소를 입력받아 참조화소 특성을 결정하고, 상기 참조화소 특성에 기반하여 상기 적어도 하나 이상의 참조화소에 대한 적응적 필터링 적용 여부를 결정하는 참조화소 특성 추출 단계
상기 참조화소 특성 추출 단계에서 적응적 필터링이 적용된 것으로 결정한 경우, 부호화 장치로부터 수신한 부호화 데이터로부터 필터링 정보를 추출하고, 추출된 필터링 정보에 근거하여 고주파 제거 필터링을 수행한 참조화소를 이용하여 인트라 예측을 수행한 결과와 고주파 제거 필터링을 수행하지 않은 참조화소를 이용하여 인트라 예측을 수행한 결과 중 어느 하나를 출력하는 제1 인트라 예측 단계 및
상기 참조화소 특성 추출 단계에서 적응적 필터링이 적용되지 않은 것으로 결정한 경우, 상기 부호화 데이터에 상기 필터링 정보가 존재하지 않는 것으로 판단하고, 상기 고주파 제거 필터링을 수행하지 않은 참조화소를 이용하여 인트라 예측을 수행한 결과를 출력하는 제2 인트라 예측 단계
를 포함하는 것을 특징으로 하는 인트라 예측을 이용한 복호화 방법. - 제 22 항에 있어서,
상기 참조화소 특성 추출 단계는, 상기 적어도 하나 이상의 참조화소들의 통계적 특성을 이용하여 상기 참조화소 특성을 결정하는 것을 특징으로 하는 인트라 예측을 이용한 복호화 방법. - 제 23 항에 있어서,
상기 참조화소 특성 추출 단계는 상기 적어도 하나 이상의 참조화소들의 분산이 기 설정된 임계값 이하인 경우, 적응적 필터링을 적용하지 않은 것으로 결정하는 것을 특징으로 하는 인트라 예측을 이용한 복호화 방법. - 제 22 항에 있어서,
상기 참조화소 특성 추출 단계는, 상기 인접블록에 윤곽선이 존재하는지 여부를 검출하여, 윤곽선이 존재하는 경우 적응적 필터링을 적용하지 않은 것으로 결정하는 것을 특징으로 하는 인트라 예측을 이용한 복호화 방법. - 제 22 항에 있어서,
상기 참조화소 특성 추출 단계는,
상기 적어도 하나 이상의 참조화소들의 분산이 기 설정된 임계값 이하인지 여부를 판단하는 통계적 특성 추출 단계
상기 인접블록에 윤곽선이 존재하는지 여부를 검출하는 윤곽선 검출 단계 및
상기 통계적 특성 추출 단계에서 상기 분산이 상기 기 설정된 임계값 이하라고 판단하거나 상기 윤곽선 검출 단계에서 윤곽선을 검출한 경우에 적응적 필터링을 적용하지 않기로 결정하는 필터링 결정 단계
를 포함하는 것을 특징으로 하는 인트라 예측을 이용한 복호화 방법. - 제 15 항 내지 제 21 항 중 어느 하나의 부호화 방법이 프로그램으로 기록된 컴퓨터로 읽을 수 있는 기록매체.
- 제 22 항 내지 제26항 중 어느 하나의 복호화 방법이 프로그램으로 기록된 컴퓨터로 읽을 수 있는 기록매체.
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020100083026A KR101663764B1 (ko) | 2010-08-26 | 2010-08-26 | 인트라 예측을 이용한 부호화 및 복호화 장치와 방법 |
PCT/KR2011/006346 WO2012026794A2 (ko) | 2010-08-26 | 2011-08-26 | 인트라 예측을 이용한 부호화 및 복호화 장치와 방법 |
US13/819,153 US9179146B2 (en) | 2010-08-26 | 2011-08-26 | Encoding and decoding device and method using intra prediction |
US14/859,970 US20160014409A1 (en) | 2010-08-26 | 2015-09-21 | Encoding and decoding device and method using intra prediction |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020100083026A KR101663764B1 (ko) | 2010-08-26 | 2010-08-26 | 인트라 예측을 이용한 부호화 및 복호화 장치와 방법 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020160061642A Division KR101713250B1 (ko) | 2016-05-19 | 2016-05-19 | 인트라 예측을 이용한 부호화 및 복호화 장치와 방법 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20120041287A true KR20120041287A (ko) | 2012-05-02 |
KR101663764B1 KR101663764B1 (ko) | 2016-10-07 |
Family
ID=45723952
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020100083026A KR101663764B1 (ko) | 2010-08-26 | 2010-08-26 | 인트라 예측을 이용한 부호화 및 복호화 장치와 방법 |
Country Status (3)
Country | Link |
---|---|
US (2) | US9179146B2 (ko) |
KR (1) | KR101663764B1 (ko) |
WO (1) | WO2012026794A2 (ko) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
USD836156S1 (en) | 2016-03-04 | 2018-12-18 | Samsung Electronics Co., Ltd. | Stand for camera |
WO2019078686A1 (ko) * | 2017-10-20 | 2019-04-25 | 한국전자통신연구원 | 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체 |
US10798413B2 (en) | 2013-12-03 | 2020-10-06 | University-Industry Foundation (Uif), Yonsei University | Method, apparatus, and system for encoding and decoding image |
US10904539B2 (en) | 2013-09-30 | 2021-01-26 | University-Industry Foundation(Uif), Yonsei University | Method, device and system for encoding and decoding image |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102595118B (zh) * | 2011-01-14 | 2015-04-08 | 华为技术有限公司 | 一种编解码中的预测方法和预测器 |
JP6328759B2 (ja) * | 2013-07-15 | 2018-05-23 | 寰發股▲ふん▼有限公司HFI Innovation Inc. | ビデオ符号化のサンプル適応オフセット処理の方法 |
CN103888764B (zh) * | 2014-03-14 | 2017-02-15 | 西安交通大学 | 一种自适应补偿视频压缩失真的***及方法 |
US10390020B2 (en) | 2015-06-08 | 2019-08-20 | Industrial Technology Research Institute | Video encoding methods and systems using adaptive color transform |
SG11201804135XA (en) | 2015-11-17 | 2018-06-28 | Huawei Tech Co Ltd | Method and apparatus of adaptive filtering of samples for video coding |
EP3396960A4 (en) * | 2016-02-16 | 2019-04-10 | Samsung Electronics Co., Ltd. | VIDEO ENCODING METHOD AND APPARATUS, AND DECODING METHOD AND APPARATUS THEREOF |
CN110121884B (zh) * | 2016-11-28 | 2023-04-04 | 韩国电子通信研究院 | 用于滤波的方法和装置 |
WO2018097700A1 (ko) * | 2016-11-28 | 2018-05-31 | 한국전자통신연구원 | 필터링을 위한 방법 및 장치 |
GB2567860A (en) * | 2017-10-27 | 2019-05-01 | Sony Corp | Image data encoding and decoding |
CN112399176B (zh) * | 2020-11-17 | 2022-09-16 | 深圳市创智升科技有限公司 | 一种视频编码方法、装置、计算机设备及存储介质 |
CN112399177B (zh) * | 2020-11-17 | 2022-10-28 | 深圳大学 | 一种视频编码方法、装置、计算机设备及存储介质 |
Family Cites Families (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6188799B1 (en) * | 1997-02-07 | 2001-02-13 | Matsushita Electric Industrial Co., Ltd. | Method and apparatus for removing noise in still and moving pictures |
JPH11243491A (ja) * | 1998-02-26 | 1999-09-07 | Agency Of Ind Science & Technol | 適応進化型画像圧縮符号化装置 |
US7450641B2 (en) | 2001-09-14 | 2008-11-11 | Sharp Laboratories Of America, Inc. | Adaptive filtering based upon boundary strength |
US6983079B2 (en) * | 2001-09-20 | 2006-01-03 | Seiko Epson Corporation | Reducing blocking and ringing artifacts in low-bit-rate coding |
US20030161407A1 (en) * | 2002-02-22 | 2003-08-28 | International Business Machines Corporation | Programmable and adaptive temporal filter for video encoding |
US20040158878A1 (en) * | 2003-02-07 | 2004-08-12 | Viresh Ratnakar | Power scalable digital video decoding |
JP3997171B2 (ja) * | 2003-03-27 | 2007-10-24 | 株式会社エヌ・ティ・ティ・ドコモ | 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、及び動画像復号プログラム |
US7317842B2 (en) * | 2003-10-30 | 2008-01-08 | Samsung Electronics Co., Ltd. | Global and local statistics controlled noise reduction system |
KR20050049064A (ko) * | 2003-11-21 | 2005-05-25 | 삼성전자주식회사 | 영상신호의 노이즈 측정장치 및 그 측정방법 |
US7460596B2 (en) * | 2004-04-29 | 2008-12-02 | Mediatek Incorporation | Adaptive de-blocking filtering apparatus and method for MPEG video decoder |
KR100654436B1 (ko) | 2004-07-07 | 2006-12-06 | 삼성전자주식회사 | 비디오 코딩 방법과 디코딩 방법, 및 비디오 인코더와디코더 |
KR100711025B1 (ko) | 2005-02-15 | 2007-04-24 | (주)씨앤에스 테크놀로지 | 동영상 표준 부호화 방식의 성능 향상을 위한 잔여신호 필터링 방법 |
US8208564B2 (en) * | 2005-06-24 | 2012-06-26 | Ntt Docomo, Inc. | Method and apparatus for video encoding and decoding using adaptive interpolation |
EP1965589A1 (en) * | 2005-11-30 | 2008-09-03 | Kabushiki Kaisha Toshiba | Image encoding/image decoding method and image encoding/image decoding apparatus |
KR100800888B1 (ko) * | 2005-12-08 | 2008-02-04 | 연세대학교 산학협력단 | 패턴 정보를 이용한 영상잡음 제거방법 |
US20080279279A1 (en) * | 2007-05-09 | 2008-11-13 | Wenjin Liu | Content adaptive motion compensated temporal filter for video pre-processing |
EP2232874B1 (en) * | 2008-01-08 | 2012-12-05 | Telefonaktiebolaget L M Ericsson (publ) | Adaptive filtering |
JP5357898B2 (ja) * | 2008-01-14 | 2013-12-04 | トムソン ライセンシング | 多格子スパーシティベースフィルタリングを使用するアーチファクト除去フィルタリングのための方法および装置 |
US10123050B2 (en) * | 2008-07-11 | 2018-11-06 | Qualcomm Incorporated | Filtering video data using a plurality of filters |
CN102165760B (zh) * | 2008-09-25 | 2014-08-06 | 松下电器产业株式会社 | 图像编码装置、数字静态相机、数字摄像机、摄像元件以及图像编码方法 |
KR101590500B1 (ko) * | 2008-10-23 | 2016-02-01 | 에스케이텔레콤 주식회사 | 동영상 부호화/복호화 장치, 이를 위한 인트라 예측 방향에기반한 디블록킹 필터링 장치 및 필터링 방법, 및 기록 매체 |
US8498330B2 (en) * | 2009-06-29 | 2013-07-30 | Hong Kong Applied Science and Technology Research Institute Company Limited | Method and apparatus for coding mode selection |
KR101510108B1 (ko) * | 2009-08-17 | 2015-04-10 | 삼성전자주식회사 | 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치 |
JP4834776B2 (ja) * | 2010-03-17 | 2011-12-14 | 株式会社東芝 | 画像処理装置及び画像処理方法 |
WO2011126284A2 (en) * | 2010-04-05 | 2011-10-13 | Samsung Electronics Co., Ltd. | Method and apparatus for encoding video by using adaptive prediction filtering, method and apparatus for decoding video by using adaptive prediction filtering |
WO2011152425A1 (ja) * | 2010-06-03 | 2011-12-08 | シャープ株式会社 | フィルタ装置、画像復号装置、画像符号化装置、および、フィルタパラメータのデータ構造 |
US8837577B2 (en) * | 2010-07-15 | 2014-09-16 | Sharp Laboratories Of America, Inc. | Method of parallel video coding based upon prediction type |
US8848779B2 (en) * | 2010-07-15 | 2014-09-30 | Sharp Laboratories Of America, Inc. | Method of parallel video coding based on block size |
US9008175B2 (en) * | 2010-10-01 | 2015-04-14 | Qualcomm Incorporated | Intra smoothing filter for video coding |
US10142630B2 (en) * | 2010-12-10 | 2018-11-27 | Texas Instruments Incorporated | Mode adaptive intra prediction smoothing in video coding |
-
2010
- 2010-08-26 KR KR1020100083026A patent/KR101663764B1/ko active IP Right Grant
-
2011
- 2011-08-26 US US13/819,153 patent/US9179146B2/en active Active
- 2011-08-26 WO PCT/KR2011/006346 patent/WO2012026794A2/ko active Application Filing
-
2015
- 2015-09-21 US US14/859,970 patent/US20160014409A1/en not_active Abandoned
Non-Patent Citations (2)
Title |
---|
Samsung’s Response to the Call for Proposals on Video Compression Technology, joint collaborative team on viedo coding of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, JCTVC-A124 (2010.04.23.)* * |
Text of ISO/IEC FDIS 14496-10: Information Technology - Coding of audio-visual objects - Part 10: Advanced Video Coding, ISO/IEC JTC 1/SC 29/WG 11 (2003.03.31.)* * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10904539B2 (en) | 2013-09-30 | 2021-01-26 | University-Industry Foundation(Uif), Yonsei University | Method, device and system for encoding and decoding image |
US11252421B2 (en) | 2013-09-30 | 2022-02-15 | Ideahub Inc. | Method, device and system for encoding and decoding image |
US11683506B2 (en) | 2013-09-30 | 2023-06-20 | Ideahub Inc. | Method, device and system for encoding and decoding image |
US10798413B2 (en) | 2013-12-03 | 2020-10-06 | University-Industry Foundation (Uif), Yonsei University | Method, apparatus, and system for encoding and decoding image |
US11425419B2 (en) | 2013-12-03 | 2022-08-23 | Ideahub Inc. | Method, apparatus, and system for encoding and decoding image using LM chroma prediction |
USD836156S1 (en) | 2016-03-04 | 2018-12-18 | Samsung Electronics Co., Ltd. | Stand for camera |
WO2019078686A1 (ko) * | 2017-10-20 | 2019-04-25 | 한국전자통신연구원 | 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체 |
CN111247796A (zh) * | 2017-10-20 | 2020-06-05 | 韩国电子通信研究院 | 图像编码/解码方法和装置以及存储比特流的记录介质 |
Also Published As
Publication number | Publication date |
---|---|
US20160014409A1 (en) | 2016-01-14 |
WO2012026794A2 (ko) | 2012-03-01 |
KR101663764B1 (ko) | 2016-10-07 |
US9179146B2 (en) | 2015-11-03 |
WO2012026794A3 (ko) | 2012-05-31 |
US20130215958A1 (en) | 2013-08-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101663764B1 (ko) | 인트라 예측을 이용한 부호화 및 복호화 장치와 방법 | |
US11659210B2 (en) | Video encoding method for encoding division block, video decoding method for decoding division block, and recording medium for implementing the same | |
KR101379185B1 (ko) | 예측 모드 선택 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치 | |
KR100773761B1 (ko) | 동영상 부호화 장치 및 방법 | |
KR20110028734A (ko) | 고해상도 동영상의 부호화/복호화 방법 및 장치 | |
KR20070090700A (ko) | 영상의 인트라 예측 부호화, 복호화 방법 및 장치 | |
KR101379186B1 (ko) | 인트라 예측 부호화/복호화 방법 및 장치 | |
KR101763113B1 (ko) | 노이즈성분을 위한 공간영역에서의 영상 부호화/복호화 방법 및 장치 | |
KR20080082143A (ko) | 영상 부호화 방법 및 장치, 복호화 방법 및 장치 | |
KR20100035104A (ko) | 임펄스 신호를 고려한 영상 부호화/복호화 장치 및 방법 | |
JP4829019B2 (ja) | 通信端末装置 | |
KR101681301B1 (ko) | 필터링모드 생략가능한 영상 부호화/복호화 방법 및 장치 | |
KR101713250B1 (ko) | 인트라 예측을 이용한 부호화 및 복호화 장치와 방법 | |
KR101539045B1 (ko) | 양자화 계수 결정 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치 | |
KR101369174B1 (ko) | 고해상도 동영상의 부호화/복호화 방법 및 장치 | |
KR20150095604A (ko) | 적응적인 인트라 예측을 이용한 영상 부호화/복호화 장치 및 방법 | |
CN115567710A (zh) | 数据编码方法和装置以及解码数据流的方法和装置 | |
KR101575634B1 (ko) | 고해상도 동영상의 부호화/복호화 방법 및 장치 | |
KR101544379B1 (ko) | 고해상도 동영상의 부호화/복호화 방법 및 장치 | |
KR101070173B1 (ko) | 동영상 압축 효율을 높이기 위한 변환블록의 부호화 장치와 방법 | |
KR101575638B1 (ko) | 고해상도 동영상의 부호화/복호화 방법 및 장치 | |
KR101681307B1 (ko) | 주파수영역 복수 가중예측필터를 사용한 색공간 예측 방법 및 장치와 이를 이용한 영상 부호화/복호화 방법 및 장치 | |
Jiang et al. | A rate-distortion based quantization level adjustment algorithm in block-based video compression | |
KR20130084285A (ko) | 양자화 계수 결정 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
A107 | Divisional application of patent | ||
E701 | Decision to grant or registration of patent right |