KR101545195B1 - 고속 화면 간 예측 부호화 방법 및 그 장치 - Google Patents

고속 화면 간 예측 부호화 방법 및 그 장치 Download PDF

Info

Publication number
KR101545195B1
KR101545195B1 KR1020140086332A KR20140086332A KR101545195B1 KR 101545195 B1 KR101545195 B1 KR 101545195B1 KR 1020140086332 A KR1020140086332 A KR 1020140086332A KR 20140086332 A KR20140086332 A KR 20140086332A KR 101545195 B1 KR101545195 B1 KR 101545195B1
Authority
KR
South Korea
Prior art keywords
division
inter
mode
coding
picture prediction
Prior art date
Application number
KR1020140086332A
Other languages
English (en)
Other versions
KR20150077262A (ko
Inventor
이상윤
이재호
박창현
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Publication of KR20150077262A publication Critical patent/KR20150077262A/ko
Application granted granted Critical
Publication of KR101545195B1 publication Critical patent/KR101545195B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 고속의 화면 간 예측 부호화 방법에 관한 것이다. 본 발명은 HEVC(High Efficiency Video Coding)의 화면 간 예측 부호화에서 CTU(Coding Tree Unit)를 부호화 유닛(Coding Unit) 및 예측 유닛(Prediction Unit)으로 분할하고 각 예측 유닛에 적용할 화면 간 예측 부호화모드를 결정함에 있어서, 부호화 유닛의 크기 정보와 예측 부호화모드 정보 및 율-왜곡 비용 정보를 이용하여, 일정 조건에서 화면 간 예측 부호화모드를 조기에 결정하거나, 부호화 유닛을 조기에 분할하기로 결정하거나, 분할 절차를 조기에 종결하기로 결정하는 방식으로 추가적인 연산과정을 생략함으로써, 모든 경우의 수의 부호화 유닛 및 예측 유닛 분할 구조와 예측 부호화모드들에 대하여 율-왜곡 비용을 계산하여 율-왜곡 최적화를 수행하는 기존 HEVC 화면 간 예측 부호화 방식을 개선하여, 효과적으로 계산의 복잡도를 감소시키면서도 높은 율-왜곡 성능을 갖는 고속의 화면 간 예측 부호화 방법 및 그 장치를 제공한다.

Description

고속 화면 간 예측 부호화 방법 및 그 장치{Apparatus and method for fast Intra Prediction Algorithm}
본 발명은 고속의 화면 간 예측 부호화 방법에 관한 것이다.
HEVC(High Efficiency Video Coding)는 초고해상도 및 초고화질의 영상을 높은 압축률로 부호화 및 복호화하기 위하여 제안된 표준기술로써, 국제 표준기구 ISO/IEC 산하의 MPEG(Moving Picture Experts Group)과 ITU-T산하의 VCEG(Video Coding Experts Group)이 협력하여 구성한 JCT-VC(Joint Collaborative Team on Video Coding)에 의하여 표준화 작업이 된 국제 표준기술이다. HEVC는 영상 부호화에 있어서 기존의 AVC/H.264 표준기술보다 50% 이상 향상된 압축률을 달성하기 위하여 CTU(Coding Tree Unit), 부호화 유닛(Coding Unit), 예측 유닛(Prediction Unit), 변환 유닛(Transform Unit) 등 다양한 영상 부호화 방법들을 도입하였다.
HEVC는 영상 부호화의 성능을 향상시키기 위하여 기존의 AVC/H.264가 16x16 단위의 매크로블록 단위로 영상을 부호화 하였던 것을 개선하여, 최대 64x64 크기를 가지는 CTU를 도입하였고, CTU의 하부 유닛으로 최대 64x64 부터 최소 8x8 까지 다양한 크기를 가지는 부호화 유닛을 도입하였다. HEVC는 기본 영상 압축의 단위가 되는 CTU를 그 특성에 따라 가장 적절한 크기의 부호화 유닛으로 분할하고, 각 부호화 유닛 별로 적용할 예측 부호화 방법 즉 화면 간 예측 부호화 또는 화면 내 예측 부호화 방법을 결정한다. 그리고 위와 같이 분할된 부호화 유닛을 다시 예측 유닛과 변환 유닛으로 각각 분할하고, 각 예측 유닛 별로 예측 모드를 정하고 각 변환 유닛 별로 변환 모드를 정하여, 각 CTU에서 최적화된 영상 부호화가 수행되도록 한다.
HEVC는 위와 같은 CTU 분할 구조를 도입함으로 영상 부호화 효율을 크게 향상시켰으나, 그 반면에 부호화가 수행되는 블록의 분할 구조가 보다 복잡해짐에 따라 율-왜곡 최적화(RDO, Rate-Distortion Optimization) 작업의 계산 복잡도 역시 크게 증가하게 되었다.
일반적으로 영상 부호화의 성능을 평가하는 지표로는 비트율(Rate)과 왜곡(Distortion)을 함께 고려하는 율-왜곡 비용(Rate Distortion Cost)을 이용한다. 즉 부호화된 비트열과 부호화되기 이전의 원 영상을 비교하였을 때 어느 정도의 압축률이 달성되었는지를 나타내는 비트율과, 부호화 과정을 거친 후 다시 복원된 영상과 원 영상을 비교하였을 때 왜곡된 정도(Distortion)를 함께 고려하여, 영상 부호화의 성능을 평가하는 것이다. 영상 부호화 과정에서는 이러한 율-왜곡 비용을 최소화 하도록 율-왜곡 최적화를 수행하여, 각종 부호화 방법들과 각 부호화 방법의 세부 모드 및 파라미터들을 결정한다.
화면 간 예측 부호화는 현재 부호화 대상이 되는 영상 블록과 가장 유사한 영상 블록을 참조 영상에서 찾고, 두 영상 블록 간의 좌표 차인 움직임벡터와 두 영상 블록의 차분값을 부호화함으로써, 부호화된 정보량이 줄어들 수 있도록 하는 기술이다. 따라서 이와 같은 화면 간 예측 부호화에서는 부호화 대상 영상 블록과 가장 유사한 참조 영상 블록을 찾는 것과 그 과정에서 산출된 움직임벡터를 보다 적은 비트로 부호화하는 것이 부호화 성능에 큰 영향을 미친다. HEVC에서는 화면 간 예측 부호화에서 부호화 유닛을 총 8가지 형태의 예측 유닛으로 분할하는 모드를 지원하고, 또한 각 분할된 예측 유닛의 화면 간 예측 부호화에 있어서 움직임벡터와 영상 차분값 정보를 부호화하여 전송하는지 여부에 따라 Merge 모드, SKIP 모드, AMVP(Advanced Motion Vector Prediction) 모드를 지원함으로써, 최적의 화면 간 예측 부호화가 수행될 수 있도록 한다.
이처럼 HEVC는 예측 부호화의 측면에 있어서, 율-왜곡 비용이 최소화되도록 가장 적절한 크기로 CTU를 부호화 유닛과 예측 유닛으로 분할하고, 각 부호화 유닛과 예측 유닛에 적용될 최적의 예측 부호화모드들을 결정한다. 그런데 HEVC는 이상과 같이 부호화 유닛 및 예측 유닛의 분할 구조와 예측 부호화모드를 결정하기 위하여, CTU를 쿼드 트리 구조로 분할하면서 가능한 모든 경우의 수의 부호화 유닛 및 예측 유닛 분할 구조와 예측 부호화모드들에 대하여 각각 율-왜곡 비용을 계산하고 이들 율-왜곡 비용을 상호 비교하여, CTU가 최소의 율-왜곡 비용을 가지도록 부호화 유닛 및 예측 유닛의 분할 구조와 예측 부호화모드를 결정한다. 따라서 이상과 같은 기존 HEVC의 부호화 유닛 및 예측 유닛 분할 구조 그리고 예측 부호화모드 결정 방식은 그 계산의 복잡도로 인해 부호화 단계에서 많은 시간과 자원을 요구하는 문제점이 있다.
본 발명이 이루고자 하는 과제는, HEVC의 화면 간 예측 부호화에서 CTU(Coding Tree Unit)를 부호화 유닛(Coding Unit) 및 예측 유닛(Prediction Unit)으로 분할하고 각 예측 유닛에 적용할 화면 간 예측 부호화모드를 결정함에 있어서, 부호화 유닛의 크기 정보와 예측 부호화모드 정보 및 율-왜곡 비용 정보를 이용하여, 일정 조건에서 화면 간 예측 부호화모드를 조기에 결정하거나, 부호화 유닛을 조기에 분할하기로 결정하거나, 분할 절차를 조기에 종결하기로 결정하는 방식으로 추가적인 연산과정을 생략함으로써, 모든 경우의 수의 부호화 유닛 및 예측 유닛 분할 구조와 예측 부호화모드들에 대하여 율-왜곡 비용을 계산하여 율-왜곡 최적화를 수행하는 기존 HEVC 화면 간 예측 부호화 방식을 개선하여, 효과적으로 계산의 복잡도를 감소시키면서도 높은 율-왜곡 성능을 갖는 고속의 화면 간 예측 부호화 방법 및 그 장치를 제공하는데 있다.
상기 해결하고자 하는 과제를 달성하기 위해, 본 발명의 일 실시예에 따른 화면 간 예측 부호화 방법은, 하부 유닛으로 분할할 대상이 되는 분할 대상 부호화 유닛(Coding Unit)을 설정하는 분할 대상 부호화 유닛 설정 단계; 및 상기 분할 대상 부호화 유닛의 CBF(Coded Block Flag) 정보를 확인하여, 상기 분할 대상 부호화 유닛의 화면 간 예측 부호화모드가 SKIP 모드로 조기에 결정될 가능성이 있는지 여부를 판단하는 CBF 확인 단계를 포함할 수 있다.
일 실시예에 있어서, 상기 CBF 확인 단계는, 상기 분할 대상 부호화 유닛의 화면 간 예측 부호화모드를 PART_2Nx2N 분할의 MERGE 모드로 하여 상기 분할 대상 부호화 유닛을 화면 간 예측 부호화 하고, 상기 화면 간 예측 부호화 하는 단계에서 산출된 움직임벡터를 적용하였을 때 정해지는 참조 영상 블록과 상기 분할 대상 부호화 유닛 간의 차분값을 이용하여 CBF를 산출하는 단계; 및 상기 CBF 정보를 이용하여 상기 분할 대상 부호화 유닛의 화면 간 예측 부호화모드가 SKIP 모드로 조기에 결정될 가능성이 있는지 여부를 판단하는 단계를 포함할 수 있다.
일 실시예에 있어서, 상기 CBF 확인 단계에서 상기 분할 대상 부호화 유닛의 화면 간 예측 부호화모드가 SKIP 모드로 조기에 결정될 가능성이 있다고 판단되는 경우, SKIP 모드를 적용하여 화면 간 예측 부호화를 할 때의 분할 대상 부호화 유닛의 율-왜곡 비용을 산출하고, 상기 산출된 율-왜곡 비용 정보를 이용하여 상기 분할 대상 부호화 유닛의 화면 간 예측 부호화모드를 SKIP 모드로 조기에 결정할지 여부를 판단하는 SKIP 모드 조기 결정 단계를 더 포함할 수 있다.
일 실시예에 있어서, 상기 SKIP 모드 조기 결정 단계는, 상기 SKIP 모드 조기 결정 단계에서 산출된 율-왜곡 비용이 전제되었을 때 상기 분할 대상 부호화 유닛의 화면 간 예측 부호화모드가 SKIP 모드가 될 조건부 확률을 산출하여, 상기 산출된 조건부 확률이 특정한 값보다 클 경우, 상기 분할 대상 부호화 유닛의 화면 간 예측 부호화모드를 SKIP 모드로 결정하는 것을 특징으로 할 수 있다.
일 실시예에 있어서, 상기 SKIP 모드 조기 결정 단계는, 상기 SKIP 모드 조기 결정 단계에서 산출된 율-왜곡 비용이 특정한 값보다 작을 경우, 상기 분할 대상 부호화 유닛의 화면 간 예측 부호화모드를 SKIP 모드로 결정하는 것을 특징으로 할 수 있다.
일 실시예에 있어서, 상기 CBF 확인 단계에서 상기 분할 대상 부호화 유닛의 화면 간 예측 부호화모드가 SKIP 모드로 조기에 결정될 가능성이 없다고 판단되는 경우, 상기 분할 대상 부호화 유닛의 율-왜곡 비용 정보와 크기 정보를 이용하여 상기 분할 대상 부호화 유닛을 분할할지 여부를 조기에 결정하는 조기 분할 결정 단계를 더 포함하는 것을 특징으로 할 수 있다.
일 실시예에 있어서, 상기 조기 분할 결정 단계는, 상기 분할 대상 부호화 유닛이 특정한 크기보다 큰 경우, 상기 분할 대상 부호화 유닛에 대하여 화면 간 예측 부호화모드를 PART_2Nx2N 분할의 MERGE 모드로 하여 율-왜곡 비용을 산출하면서 화면 간 예측 부호화를 수행하고, 그 과정에서 산출되는 율-왜곡 비용 정보를 이용하여, 상기 분할 대상 부호화 유닛을 분할할지 여부를 조기에 결정하는 것을 특징으로 할 수 있다.
일 실시예에 있어서, 상기 조기 분할 결정 단계는, 상기 조기 분할 결정 단계에서 산출된 율-왜곡 비용이 전제되었을 때 상기 분할 대상 부호화 유닛이 분할될 조건부 확률을 산출하여, 상기 산출된 조건부 확률이 특정한 값보다 클 경우, 상기 분할 대상 부호화 유닛을 조기에 분할하기로 결정하는 것을 특징으로 할 수 있다.
일 실시예에 있어서, 상기 조기 분할 결정 단계는, 상기 조기 분할 결정 단계에서 산출된 율-왜곡 비용이 특정한 값보다 클 경우, 상기 분할 대상 부호화 유닛을 조기에 분할하기로 결정하는 것을 특징으로 할 수 있다.
일 실시예에 있어서, 상기 조기 분할 결정 단계에서 상기 분할 대상 부호화 유닛을 분할하기로 결정한 경우, 상기 분할 대상 부호화 유닛을 하부 부호화 유닛(Sub Coding Unit)으로 분할하고, 상기 분할된 하부 부호화 유닛들을 각각 상기 분할 대상 부호화 유닛 설정 단계에서의 상기 분할 대상 부호화 유닛으로 설정하여, 각각의 상기 분할된 하부 부호화 유닛에 대하여 상기 CBF 확인 단계가 새롭게 진행되도록 하는 것을 특징으로 할 수 있다.
일 실시예에 있어서, 상기 SKIP 모드 조기 결정 단계에서 상기 분할 대상 부호화 유닛의 화면 간 예측 부호화모드를 SKIP 모드로 결정하지 아니하거나, 또는 상기 조기 분할 결정 단계에서 상기 분할 대상 부호화 유닛을 조기에 분할하기로 결정하지 않은 경우, 상기 분할 대상 부호화 유닛에 대하여 PART_2Nx2N 분할의 MERGE 모드 이외의 모든 화면 간 예측 부호화모드들을 적용하여 율-왜곡 비용을 산출하면서 화면 간 예측 부호화를 수행하고, 그 과정에서 산출되는 율-왜곡 비용들 중 최소의 율-왜곡 비용에 대응하는 화면 간 예측 부호화모드를 상기 분할 대상 부호화 유닛의 화면 간 예측 부호화모드로 결정하는 부호화모드 결정 단계를 더 포함할 수 있다.
일 실시예에 있어서, 상기 SKIP 모드 조기 결정 단계에서 상기 분할 대상 부호화 유닛의 화면 간 예측 부호화모드가 SKIP 모드로 결정된 이후 또는 상기 부호화모드 결정 단계 이후, 상기 분할 대상 부호화 유닛의 크기가 미리 정해진 최소 크기와 같으면 상기 분할 대상 부호화 유닛을 더 이상 분할하지 않기로 결정하는 부호화 유닛 최소크기확인 단계; 및 상기 부호화 유닛 최소크기확인 단계에서 상기 분할 대상 부호화 유닛의 크기가 미리 정해진 최소 크기보다 크다고 판단된 경우, 상기 SKIP 모드 조기 결정 단계 또는 상기 부호화모드 결정 단계에서 결정된 상기 분할 대상 부호화 유닛의 화면 간 예측 부호화모드 정보와, 상기 결정된 화면 간 예측 부호화모드에 대응하는 율-왜곡 비용 정보를 이용하여, 상기 분할 대상 부호화 유닛의 분할을 조기에 종료할지 여부를 결정하는 조기 분할 종료 결정 단계를 더 포함할 수 있다.
일 실시예에 있어서, 상기 조기 분할 종료 결정 단계는, 상기 조기 분할 종료 결정 단계에서의 화면 간 예측 부호화모드가 미리 정해진 모드에 해당하고, 상기 조기 분할 종료 결정 단계에서의 율-왜곡 비용이 전제되었을 때 상기 분할 대상 부호화 유닛의 분할될 조건부 확률이 특정한 값보다 작은 경우는 상기 분할 대상 부호화 유닛의 분할을 조기에 종료하기로 결정하고, 상기 조기 분할 종료 결정 단계에서의 화면 간 예측 부호화모드가 미리 정해진 모드에 해당하지 않거나, 상기 조기 분할 종료 결정 단계에서의 율-왜곡 비용이 전제되었을 때 상기 분할 대상 부호화 유닛이 분할될 조건부 확률이 특정한 값보다 크거나 같을 경우는 상기 분할 대상 부호화 유닛을 분할하기로 결정하는 것을 특징으로 할 수 있다.
일 실시예에 있어서, 상기 조기 분할 종료 결정 단계는, 상기 조기 분할 종료 결정 단계에서의 화면 간 예측 부호화모드가 미리 정해진 모드에 해당하고, 상기 조기 분할 종료 결정 단계에서의 율-왜곡 비용이 특정한 값보다 작을 경우는 상기 분할 대상 부호화 유닛의 분할을 조기에 종료하기로 결정하고, 상기 조기 분할 종료 결정 단계에서의 화면 간 예측 부호화모드가 미리 정해진 모드에 해당하지 않거나, 상기 조기 분할 종료 결정 단계에서의 율-왜곡 비용이 특정한 값보다 크거나 같을 경우는 상기 분할 대상 부호화 유닛을 분할하기로 결정하는 것을 특징으로 할 수 있다.
일 실시예에 있어서, 상기 조기 분할 종료 결정 단계에서 상기 분할 대상 부호화 유닛을 분할하기로 결정한 경우, 상기 분할 대상 부호화 유닛을 하부 부호화 유닛으로 분할하고, 상기 분할된 하부 부호화 유닛들을 각각 상기 분할 대상 부호화 유닛 설정 단계에서의 상기 분할 대상 부호화 유닛으로 설정하여, 각각의 상기 분할된 하부 부호화 유닛에 대하여 상기 CBF 확인 단계가 새롭게 진행되도록 하는 것을 특징으로 할 수 있다.
일 실시예에 있어서, 상기 부호화 유닛 최소크기확인 단계에서 상기 분할 대상 부호화 유닛을 더 이상 분할하지 않기로 결정하였거나, 또는 상기 조기 분할 종료 결정 단계에서 상기 분할 대상 부호화 유닛의 분할을 조기에 종료하기로 결정한 경우, 상기 분할 대상 부호화 유닛의 분할을 종료하고, 상기 분할 대상 부호화 유닛 설정 단계에서 최초로 설정되었던 분할 대상 부호화 유닛에 대하여 총 율-왜곡 비용의 합이 최소화되도록 부호화 유닛의 분할 구조와 각 분할된 부호화 유닛에 적용될 화면 간 예측 부호화모드를 결정하는 부호화 유닛 분할 구조 결정 단계를 더 포함하는 것을 특징으로 할 수 있다.
일 실시예에 있어서, 일정한 주기로, 상기 SKIP 모드 조기 결정 단계에서의 조건부 확률과, 상기 조기 분할 결정 단계에서의 조건부 확률과, 상기 분할 종료단계에서의 조건부 확률을 산출하는데 사용되는 파라메터들을 갱신하는 것을 특징으로 할 수 있다.
일 실시예에 있어서, 일정한 주기로, 상기 SKIP 모드 조기 결정 단계에서의 상기 율-왜곡 비용과 비교 대상이 되는 특정한 값과, 상기 조기 분할 결정 단계에서의 상기 율-왜곡 비용과 비교 대상이 되는 특정한 값과, 상기 분할 종료단계에서의 상기 율-왜곡 비용과 비교 대상이 되는 특정한 값을 갱신하는 것을 특징으로 할 수 있다.
상기 해결하고자 하는 과제를 달성하기 위해, 본 발명의 또 다른 실시예에 따른 화면 간 예측 부호화 방법은, 하부 유닛으로 분할할 대상이 되는 분할 대상 부호화 유닛(Coding Unit)을 설정하는 분할 대상 부호화 유닛 설정 단계; 상기 분할 대상 부호화 유닛의 화면 간 예측 부호화모드를 PART_2Nx2N 분할의 MERGE 모드로 하여 상기 분할 대상 부호화 유닛을 화면 간 예측 부호화 하고, 상기 화면 간 예측 부호화 하는 단계에서 산출된 움직임벡터를 적용하였을 때 정해지는 참조 영상 블록과 상기 분할 대상 부호화 유닛 간의 차분값을 이용하여 CBF(Coded Block Flag)를 산출하고, 상기 CBF 정보를 이용하여 상기 분할 대상 부호화 유닛의 분할 여부가 조기에 결정될 가능성이 있는지 여부를 판단하는 CBF 확인 단계; 및 상기 CBF 확인 단계에서 상기 분할 대상 부호화 유닛의 분할 여부가 조기에 결정될 가능성이 있다고 판단되는 경우, 상기 분할 대상 부호화 유닛의 율-왜곡 비용 정보와 크기 정보를 이용하여 상기 분할 대상 부호화 유닛을 분할할지 여부를 조기에 결정하는 조기 분할 결정 단계를 포함할 수 있다.
일 실시예에 있어서, 상기 조기 분할 결정 단계는, 상기 분할 대상 부호화 유닛이 특정한 크기보다 큰 경우, 상기 분할 대상 부호화 유닛에 대하여 화면 간 예측 부호화모드를 PART_2Nx2N 분할의 MERGE 모드로 하여 율-왜곡 비용을 산출하면서 화면 간 예측 부호화를 수행하고, 그 과정에서 산출되는 율-왜곡 비용 정보를 이용하여, 상기 분할 대상 부호화 유닛을 분할할지 여부를 조기에 결정하는 것을 특징으로 할 수 있다.
상기 해결하고자 하는 과제를 달성하기 위해, 본 발명의 또 다른 실시예에 따른 화면 간 예측 부호화 방법은, 하부 유닛으로 분할할 대상이 되는 분할 대상 부호화 유닛(Coding Unit)을 설정하는 분할 대상 부호화 유닛 설정 단계; 상기 분할 대상 부호화 유닛에 대하여 모든 화면 간 예측 부호화모드들을 적용하여 율-왜곡 비용을 산출하면서 화면 간 예측 부호화를 수행하고, 그 과정에서 산출되는 율-왜곡 비용들 중 최소의 율-왜곡 비용에 대응하는 화면 간 예측 부호화 모드를 상기 분할 대상 부호화 유닛의 화면 간 예측 부호화모드로 결정하는 부호화 모드 결정 단계; 상기 부호화모드 결정 단계 이후, 상기 분할 대상 부호화 유닛의 크기가 미리 정해진 최소 크기와 같으면 상기 분할 대상 부호화 유닛을 더 이상 분할하지 않기로 결정하는 부호화 유닛 최소크기확인 단계; 및 상기 부호화 유닛 최소크기확인 단계에서 상기 분할 대상 부호화 유닛의 크기가 미리 정해진 최소 크기보다 크다고 판단된 경우, 상기 부호화모드 결정 단계에서 결정된 상기 분할 대상 부호화 유닛의 화면 간 예측 부호화모드 정보와, 상기 결정된 화면 간 예측 부호화모드에 대응하는 율-왜곡 비용 정보를 이용하여, 상기 분할 대상 부호화 유닛의 분할을 조기에 종료할지 여부를 결정하는 조기 분할 종료 결정 단계를 포함할 수 있다.
일 실시예에 있어서, 상기 조기 분할 종료 결정 단계는, 상기 조기 분할 종료 결정 단계에서의 화면 간 예측 부호화모드가 미리 정해진 모드에 해당하고, 상기 조기 분할 종료 결정 단계에서의 율-왜곡 비용이 전제되었을 때 상기 분할 대상 부호화 유닛이 분할될 조건부 확률이 특정한 값보다 작을 경우는 상기 분할 대상 부호화 유닛의 분할을 조기에 종료하기로 결정하고, 상기 조기 분할 종료 결정 단계에서의 화면 간 예측 부호화모드가 미리 정해진 모드에 해당하지 않거나, 상기 조기 분할 종료 결정 단계에서의 율-왜곡 비용이 전제되었을 때 상기 분할 대상 부호화 유닛이 분할될 조건부 확률이 특정한 값보다 크거나 같을 경우는 상기 분할 대상 부호화 유닛을 분할하기로 결정하는 것을 특징으로 할 수 있다.
상기 해결하고자 하는 과제를 달성하기 위해, 본 발명의 또 다른 실시예에 따른 화면 간 예측 부호화 장치는 영상블록을 입력받아 이를 부호화 유닛(Coding Unit)으로 분할하고, 상기 분할된 부호화 유닛의 화면 간 예측 부호화모드를 결정하고, 상기 결정된 화면 간 예측 부호화모드에 따라 참조 영상블록을 생성하는 화면간예측부; 및 상기 화면간예측부에서 생성된 상기 참조 영상블록과 상기 분할된 부호화 유닛의 차분 블록을 생성하는 차분블록생성부를 포함하는 것을 특징으로 하고,
상기 화면간예측부는, 하부 유닛으로 분할할 대상이 되는 분할 대상 부호화 유닛(Coding Unit)을 설정하고, 상기 분할 대상 부호화 유닛의 화면 간 예측 부호화모드를 PART_2Nx2N 분할의 MERGE 모드로 하여 상기 분할 대상 부호화 유닛을 화면 간 예측 부호화 하고, 상기 화면 간 예측 부호화 과정에서 산출되는 상기 분할 대상 부호화 유닛의 율-왜곡 비용과 CBF(Coded Block Flag)를 이용하여, 상기 분할 대상 부호화 유닛의 화면 간 예측 부호화모드를 조기에 SKIP 모드로 결정할지 여부를 판단하고, 상기 분할 대상 부호화 유닛의 율-왜곡 비용과 상기 분할 대상 부호화 유닛의 크기 정보와 상기 CBF 정보를 이용하여 상기 분할 대상 부호화 유닛을 조기에 분할할지 여부를 결정하고, 상기 분할 대상 부호화 유닛에 대하여 모든 화면 간 예측 부호화모드들을 적용하여 율-왜곡 최적화를 수행하여 최적의 화면 간 예측 부호화 모드를 결정하고, 상기 최적의 화면 간 예측 부호화 모드 정보와 이에 대응하는 율-왜곡 비용 정보를 이용하여, 상기 분할 대상 부호화 유닛의 분할을 조기에 종료할지 여부를 결정하는 것을 특징으로 할 수 있다.
일 실시예에 있어서, 상기 화면간예측부는, 상기 분할 대상 부호화 유닛의 화면 간 예측 부호화모드를 조기에 SKIP 모드로 결정할지 여부를 판단하는 경우, 산출된 율-왜곡 비용이 특정한 값보다 작을 때 상기 분할 대상 부호화 유닛의 화면 간 예측 부호화모드를 SKIP 모드로 결정하는 것을 특징으로 할 수 있다.
일 실시예에 있어서, 상기 화면간예측부는, 상기 분할 대상 부호화 유닛을 조기에 분할할지 여부를 결정하는 경우, 산출된 율-왜곡 비용이 특정한 값보다 클 때 상기 분할 대상 부호화 유닛을 조기에 분할하기로 결정하는 것을 특징으로 할 수 있다.
일 실시예에 있어서, 상기 화면간예측부는, 상기 분할 대상 부호화 유닛의 분할을 조기에 종료할지 여부를 결정하는 경우, 화면 간 예측 부호화모드가 미리 정해진 모드에 해당하고, 산출된 율-왜곡 비용이 특정한 값보다 작을 경우는 상기 분할 대상 부호화 유닛의 분할을 조기에 종료하기로 결정하는 것을 특징으로 할 수 있다.
일 실시예에 있어서, 일정한 주기로 상기 분할 대상 부호화 유닛의 율-왜곡 비용의 평균과 분산을 통계적으로 계산하고, 상기 계산된 평균과 분산을 이용하여 상기 산출된 율-왜곡 비용과 비교 대상이 되는 상기 특정한 값을 갱신하는 것을 특징으로 할 수 있다.
본 발명에 의하면, HEVC의 화면 간 예측 부호화 방법에 있어서, 모든 경우의 수의 부호화 유닛 및 예측 유닛 분할 구조와 예측 부호화모드들에 대하여 율-왜곡 비용을 계산하여 율-왜곡 최적화를 수행하는 기존 HEVC 화면 간 예측 부호화 방식을 개선하여, 효과적으로 계산의 복잡도를 감소시키면서도 높은 율-왜곡 성능을 갖도록 부호화 유닛 및 예측 유닛 분할 구조를 결정하고 화면 간 예측 부호화모드를 결정함으로써, 화면 간 예측 부호화를 고속으로 수행하는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 화면 간 예측 부호화 방법의 동작을 설명하는 흐름도이다.
도 2는 HEVC의 화면 간 예측 부호화에 있어서 부호화 유닛이 예측 유닛으로 분할되는 모드의 종류를 설명하는 참고도이다.
도 3a는 본 발명의 일 실시예에 따른 화면 간 예측 부호화 방법에 있어서 부호화 유닛이 분할되는 과정을 설명하는 참고도이다.
도 3a는 본 발명의 일 실시예에 따른 화면 간 예측 부호화 방법에 있어서 부호화 유닛이 분할된 결과의 일례를 설명하는 참고도이다.
도 4a는 HEVC의 화면 간 예측 부호화에서 화면 간 예측 부호화모드가 PART_2Nx2N 분할의 MERGE 모드일 경우의 공간적 후보들을 도시한 참고도이다.
도 4b는 HEVC의 화면 간 예측 부호화에서 화면 간 예측 부호화모드가 PART_2NxN 분할의 MERGE 모드일 경우의 공간적 후보들을 도시한 참고도이다.
도 4c는 HEVC의 화면 간 예측 부호화에서 화면 간 예측 부호화모드가 PART_Nx2N 분할의 MERGE 모드일 경우의 공간적 후보들을 도시한 참고도이다.
도 4d는 HEVC의 화면 간 예측 부호화에서 Merge 모드의 시간적 후보들을 도시한 참고도이다.
도 5는 본 발명의 일 실시예에 따른 화면 간 예측 부호화 장치가 포함된 영상 부호화기의 블록도이다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조 부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.
이하 상술할 본 발명의 일 실시예에 따른 화면 간 예측 부호화 방법 및 그 장치는 특히 국제 표준기구 ISO/IEC 산하의 MPEG과 ITU-T산하의 VCEG이 협력하여 구성한 JCT-VC에서 표준화 작업이 이루어진 국제 표준기술인 HEVC(High Efficiency Video Coding)에 적용될 수 있다.
도 1은 본 발명의 일 실시예에 따른 화면 간 예측 부호화 방법의 동작을 설명하는 흐름도이다.
본 발명의 일 실시예에 따른 화면 간 예측 부호화 방법은 분할 대상 부호화 유닛 설정 단계(S1100), CBF 확인 단계(S1200), SKIP 모드 조기 결정 단계(S1300), 조기 분할 결정 단계(S1400), 부호화모드 결정 단계(S1500), 부호화 유닛 최소크기 확인 단계(S1600), 조기 분할 종료 결정 단계(S1700), 부호화유닛 분할구조 결정 단계(S1800)를 포함할 수 있다. 이하 화면 간 예측 부호화 방법을 구성하는 각 단계에 대하여 보다 구체적으로 설명한다.
상기 실시예는 본 발명에 따른 최적의 실시예이고, 필요에 따라 본 발명의 또 다른 실시예에 따른 화면 간 예측 부호화 방법은 SKIP 모드 조기 결정 단계(S1300), 조기 분할 결정 단계(S1400), 조기 분할 종료 결정 단계(S1700)를 선택적으로 생략하거나 포함시킬 수 있고, 위 세가지 단계들 중 3개를 모두 포함시키거나, 2개를 선택하여 포함시키거나, 1개만을 선택하여 포함시키는 방법으로 동작할 수 있다. 이하에서는 상기 최적의 실시예에 대하여 상술한다.
분할 대상 부호화 유닛 설정 단계(S1100)는 하부 유닛으로 분할할 대상이 되는 분할 대상 부호화 유닛(Coding Unit)을 설정한다. 여기서 분할 대상 부호화 유닛 설정 단계(S1100)는 화면 간 예측 부호화를 할 대상이 되는 영상블록을 입력받고, 상기 입력받은 부호화 대상 영상블록을 쿼드 트리 구조로 분할할 대상이 되는 분할 대상 부호화 유닛으로 설정할 수 있다. 여기서 상기 부호화 유닛은 영상 부호화의 단위가 되는 유닛으로, 상기 부호화 유닛 별로 영상 부호화의 방법이 정해진다.
여기서 분할 대상 부호화 유닛 설정 단계(S1100)는 상기 부호화 대상 영상블록을 쿼드 트리 형태로 반복적으로 분할하기 위하여, 상기 부호화 대상 영상블록을 최초의 상기 분할 대상 부호화 유닛으로 설정한다. 그리고 이하에서 상술할 조기 분할 결정 단계(S1400) 또는 조기 분할 종료 결정 단계(S1700)에서 상기 분할 대상 부호화 유닛을 하부 부호화 유닛(Sub Coding Unit)으로 분할하기로 결정하는 경우, 분할 대상 부호화 유닛 설정 단계(S1100)는 분할된 상기 하부 부호화 유닛을 입력받아 이를 다시 상기 분할 대상 부호화 유닛으로 설정할 수 있다. 이와 같이 상기 분할된 하부 부호화 유닛이 다시 상기 분할 대상 부호화 유닛으로 설정됨에 따라, 상기 부호화 대상 영상블록은 반복적으로 분할되어 일정한 깊이를 가지는 쿼드 트리 구조의 부호화 유닛들로 분할될 수 있다.
CBF 확인 단계(S1200)는 상기 분할 대상 부호화 유닛의 CBF(Coded Block Flag) 정보를 확인하여, 상기 분할 대상 부호화 유닛의 화면 간 예측 부호화모드가 SKIP 모드로 조기에 결정될 가능성이 있는지 여부를 판단한다.
여기서 CBF 확인 단계(S1200)는 MERGE 모드 부호화 단계(S1210)와 SKIP 모드 가능성 확인 단계(S1220)를 포함할 수 있다.
MERGE 모드 부호화 단계(S1210)는 상기 분할 대상 부호화 유닛의 화면 간 예측 부호화모드를 PART_2Nx2N 분할의 MERGE 모드로 하여 상기 분할 대상 부호화 유닛을 화면 간 예측 부호화한다.
HEVC에서 화면 간 예측부호화 모드는 예측 유닛(Prediction Unit)의 형태와 MERGE 모드의 적용 여부에 따라 여러가지가 존재한다. 먼저 도 2에서 확인할 수 있는 바와 같이, 움직임벡터를 계산하는 기본 단위가 되는 예측 유닛의 분할 구조가 PART_2Nx2N, PART_NxN, PART_2NxN, PART_Nx2N, PART_2NxnU, PART_2NxnD, PART_nLx2N, PART_nRx2N로 총 8가지가 존재한다. 화면 간 예측부호화 모드는 위 8가지의 예측 유닛의 분할 구조에 있어서, 참조 영상블록을 검색하여 움직임벡터를 산출하는 ME(Motion Estimation) 모드와, 위와 같이 예측하지 않는 MERGE 모드가 각각 존재하여 총 16가지 경우의 모드가 존재한다. 그리고 이에 더하여 SKIP 모드가 더 존재한다.
이하에서는 예측 유닛의 분할 구조가 PART_2Nx2N인 경우의 MERGE 모드를 PART_2Nx2N 분할의 MERGE 모드라고 지칭한다.
위와 같은 MERGE 모드에서의 화면 간 예측부호화 방법은 도 4a 내지 도 4d를 참고하여 설명한다. MERGE 모드는 현재 예측 유닛에 대한 움직임벡터를 참조 영상블록을 검색한 후 산출하여 전송하지 아니하고, 현재 예측 유닛에 공간적 또는 시간적으로 인접하여 상관도가 있는 주변 영상블록의 움직임벡터로부터 현재 예측 유닛에 적용할 움직임벡터를 유도하는 모드이다. 도 4a는 현재 예측 유닛이 PART_2Nx2N 모드일 경우 움직임벡터를 유도해 낼 공간적후보 영상블록들을 도시한 것으로, A0, A1, B0, B1, B2 이 그 후보들이 된다. 도 4b는 현재 예측 유닛이 PART_2NxN 모드일 경우 움직임벡터를 유도해 낼 공간적후보 영상블록들을 도시한 것으로, A0, A1, B0, B2가 그 후보들이 된다. 도 4c는 현재 예측 유닛이 PART_Nx2N 모드일 경우 움직임벡터를 유도해 낼 공간적후보 영상블록들을 도시한 것으로, A0, B0, B1, B2가 그 후보들이 된다. 도 4d는 움직임벡터를 유도해 낼 시간적후보 영상블록들을 도시한 것으로 참조 예측 유닛의 중앙에 위치한 C3와 참조 예측 유닛에 인접한 H가 그 후보들이 된다. MERGE 모드는 위와 같은 후보 영상블록들의 움직임벡터들을 현재 예측 유닛에 적용하였을 때 율-왜곡 비용이 최소화되도록 움직임벡터를 유도하고, 움직임벡터 자체가 아닌 상기 움직임벡터를 유도하는데 필요한 정보를 부호화하여 전송함으로써, 복호화 단계에서 위 정보를 이용하여 움직임벡터를 유도한다.
MERGE 모드 부호화 단계(S1210)에서는 위와 같은 화면 간 예측부호화 모드 중 PART_2Nx2N 분할의 MERGE 모드를 적용하여 화면 간 예측부호화를 하였을 때, 산출된 움직임벡터를 적용하여 얻어지는 참조 영상 블록과 예측부호화의 대상이 되는 부호화 유닛 간의 차분값을 구하고, 상기 차분값을 변환 부호화하고 양자화 한 값을 이용하여 CBF(Coded Block Flag)를 산출한다.
여기서 CBF는 움직임벡터에 대응하는 참조 영상 블록과 예측부호화의 대상이 되는 부호화 유닛 간의 차분값을 부호화하여 전송할지 여부를 결정하는 플래그이다. 상기 차분값을 변환 부호화 하고 양자화 하였을 때 그 계수가 모두 0에 가까운 경우 CBF는 0으로 설정되어, 움직임이 적은 영상이나 정지영상 등에서는 차분값 정보를 전송하지 않고 CBF를 전송하는 것만으로 영상을 복원할 수 있다.
SKIP 모드 가능성 확인 단계(S1220)는 MERGE 모드 부호화 단계(S1210)에서 산출된 상기 CBF 정보를 이용하여, 더 이상의 율-왜곡 최적화 과정을 수행하지 아니하고, 상기 분할 대상 부호화 유닛의 화면 간 예측 부호화모드가 SKIP 모드로 조기에 결정될 가능성이 있는지 여부를 판단한다. 여기서 상기 산출된 CBF가 0이 되는 경우 상기 분할 대상 부호화 유닛의 화면 간 예측 부호화모드가 SKIP 모드로 조기에 결정될 가능성이 있는 것으로 판단한다.
여기서 화면 간 예측 부호화모드 중 하나인 SKIP 모드는, MERGE 모드가 화면 간 예측된 참조 영상블록과 예측부호화의 대상이 되는 부호화 유닛 간의 차분값 정보를 부호화하여 전송하는 것과 달리, 상기 차분값 정보도 전송하지 아니하는 모드이다. 따라서 SKIP 모드로 화면 간 예측 부호화가 가능한 경우는 움직임벡터를 예측하여 전송하거나 또는 그에 따른 상기 차분값을 전송하는 다른 모드들에 비하여 향상된 부호화율 성능을 보인다. 또한 통계적으로 일반 영상에서 SKIP 모드가 화면 간 예측 부호화모드 중 가장 빈번하게 발생하는 모드이다. 따라서 예측부호화의 대상이 되는 부호화 유닛의 화면 간 예측 부호화모드가 SKIP 모드인지 여부를 조기에 결정하는 것은 부호화율 성능에 도움이 된다.
SKIP 모드 조기 결정 단계(S1300)는 CBF 확인 단계(S1200)에서 상기 분할 대상 부호화 유닛의 화면 간 예측 부호화모드가 SKIP 모드로 조기에 결정될 가능성이 있다고 판단되는 경우, 상기 분할 대상 부호화 유닛을 SKIP 모드를 적용하여 화면 간 예측 부호화할 때의 율-왜곡 비용을 산출하고, 상기 SKIP 모드에서의 율-왜곡 비용 정보를 이용하여, 상기 분할 대상 부호화 유닛의 화면 간 예측 부호화모드를 SKIP 모드로 조기에 결정할지 여부를 판단한다.
여기서 율-왜곡 비용은 원 영상블록을 부호화하고 다시 복호화하여 복원된 영상블록과 부호화 이전의 원 영상블록 간의 차분값을 이용하여 계산할 수 있고, 하기 수학식 1에 의하여 산출할 수 있다.
Figure 112014064719994-pat00001
(여기서
Figure 112014064719994-pat00002
는 율-왜곡 비용이고,
Figure 112014064719994-pat00003
는 상기 율-왜곡 비용 계산 대상 부호화 유닛과 상기 대상 부호화 유닛을 율-왜곡 비용을 산출하고자 하는 해당 부호화모드를 적용하여 부호화하고 다시 복호화 하여 복원한 영상블록 간의 차분값의 크기를 나타내는 지표로, SAD(Sum of Absolute Difference) 또는 SSD(Sum of Squared Difference) 또는 하다마드 변환(Hadamard Transform)을 이용한 SATD(Sum of Absolute Transform Difference)를 사용할 수 있고,
Figure 112014064719994-pat00004
는 최적화에 사용되는 라그랑지안 상수이고,
Figure 112014064719994-pat00005
는 율-왜곡 비용을 산출하고자 하는 해당 부호화모드를 적용하여 화면 간 예측 부호화를 하는데 요구되는 비트량이다.)
여기서 SKIP 모드 조기 결정 단계(S1300)는 SKIP 모드를 적용하였을 때 산출된 율-왜곡 비용이 전제되었을 때 상기 분할 대상 부호화 유닛의 화면 간 예측 부호화모드가 SKIP 모드가 될 조건부 확률을 산출하여, 상기 산출된 조건부 확률이 특정한 값보다 클 경우, 상기 분할 대상 부호화 유닛의 화면 간 예측 부호화모드를 SKIP 모드로 결정할 수 있다. 여기서 상기 비교대상이 되는 특정한 값은 바람직하게는 0.5로 할 수 있고 조절이 가능하다.
여기서 상기 조건부 확률은 하기 수학식 2과 같이 표현될 수 있다.
Figure 112014064719994-pat00006
(여기서
Figure 112014064719994-pat00007
은 SKIP 모드를 적용하였을 때 상기 분할 대상 부호화 유닛의 율-왜곡 비용이고,
Figure 112014064719994-pat00008
은 율-왜곡 최적화를 모두 진행하였을 경우 상기 분할 대상 부호화 유닛의 화면 간 예측 부호화모드가 SKIP 모드로 결정되는 경우이고,
Figure 112014064719994-pat00009
는
Figure 112014064719994-pat00010
가 전제되었을 때
Figure 112014064719994-pat00011
가 발생할 확률이다.)
여기서 상기 조건부 확률은 아래와 같이 조건부 확률을 계산하기 위하여 유도되는 수학식들인 수학식 3 내지 수학식 6을 적용하여 계산될 수 있다.
Figure 112014064719994-pat00012
Figure 112014064719994-pat00013
Figure 112014064719994-pat00014
Figure 112014064719994-pat00015
(여기서
Figure 112014064719994-pat00016
는 상기 분할 대상 부호화 유닛에 관한 특정한 경우(예를 들면 SKIP 모드 조기 결정 여부, 조기 분할 결정 여부, 조기 분할 종료 여부 등)이고,
Figure 112014064719994-pat00017
와
Figure 112014064719994-pat00018
는
Figure 112014064719994-pat00019
의 두 가지 가능한 경우이고,
Figure 112014064719994-pat00020
는
Figure 112014064719994-pat00021
가 발생할 확률이고,
Figure 112014064719994-pat00022
는 일정 주기 동안 계수하였을 때
Figure 112014064719994-pat00023
가 발생하는 횟수이고,
Figure 112014064719994-pat00024
는
Figure 112014064719994-pat00025
인 경우를 조건으로 하였을 때 화면 간 예측부호화 모드를
Figure 112014064719994-pat00026
모드로 하여 산출되는 상기 분할 대상 부호화 유닛에 대한 율-왜곡 비용이고,
Figure 112014064719994-pat00027
은
Figure 112014064719994-pat00028
인 경우를 조건으로 하여 산출된
Figure 112014064719994-pat00029
의 표준편차이고,
Figure 112014064719994-pat00030
는
Figure 112014064719994-pat00031
인 경우를 조건으로 하여 산출된
Figure 112014064719994-pat00032
의 평균이다.)
수학식 2는
Figure 112014064719994-pat00033
을 SKIP 모드, {
Figure 112014064719994-pat00034
,
Figure 112014064719994-pat00035
}를 {SKIP, SKIP모드 이외의 모드}로 하고 수학식 3 내지 수학식 6를 적용하여 계산할 수 있다.
또한 여기서 SKIP 모드 조기 결정 단계(S1300)는 위와 같이 SKIP 모드를 적용하였을 때 산출된 율-왜곡 비용이 특정한 값보다 작을 경우, 상기 분할 대상 부호화 유닛의 화면 간 예측 부호화모드를 SKIP 모드로 결정하는 것을 특징으로 할 수 있다. 즉 SKIP 모드에서의 율-왜곡 비용이 충분히 작을 경우 분할 대상 부호화 유닛은 영상의 변화가 적은 특성을 가질 확률이 높기 때문에, 화면 간 예측 부호화모드를 SKIP 모드로 결정하는 것이 바람직한 것이다.
조기 분할 결정 단계(S1400)는 CBF 확인 단계(S1200)에서 상기 분할 대상 부호화 유닛의 화면 간 예측 부호화모드가 SKIP 모드로 조기에 결정될 가능성이 없다고 판단되는 경우, 상기 분할 대상 부호화 유닛의 율-왜곡 비용 정보와 크기 정보를 이용하여 상기 분할 대상 부호화 유닛을 분할할지 여부를 조기에 결정한다.
여기서 조기 분할 결정 단계(S1400)는, 상기 분할 대상 부호화 유닛이 특정한 크기보다 큰 경우에만, MERGE 모드 부호화 단계(S1100)에서 산출하였던 PART_2Nx2N 분할의 MERGE 모드에서의 율-왜곡 비용을 이용하여, 상기 분할 대상 부호화 유닛을 분할할지 여부를 조기에 결정하는 것을 특징으로 할 수 있다. 이때 상기 특정한 크기는 상기 분할 대상 부호화 유닛의 깊이가 0 또는 1인 경우의 크기, 즉 하부 부호화 유닛으로 분할된 횟수가 0이거나 1인 경우의 부호화 유닛의 크기로 하는 것이 바람직하다. 예를 들어 최초로 분할을 시작한 부호화 유닛의 크기가 64x64인 경우 상기 특정한 크기는 64x64 또는 32x32로 하는 것이 바람직하다.
여기서 조기 분할 결정 단계(S1400)는, 상기 PART_2Nx2N 분할의 MERGE 모드에서의 율-왜곡 비용이 전제되었을 때 상기 분할 대상 부호화 유닛이 분할될 조건부 확률을 산출하여, 상기 산출된 조건부 확률이 특정한 값보다 클 경우, 상기 분할 대상 부호화 유닛을 조기에 분할하기로 결정하는 것을 특징으로 할 수 있다. 여기서 상기 비교대상이 되는 특정한 값은 0.5로 할 수 있고 조절이 가능하다.
여기서 상기 조건부 확률은 하기 수학식 7와 같이 표현될 수 있다.
Figure 112014064719994-pat00036
(여기서
Figure 112014064719994-pat00037
은 PART_2Nx2N 분할의 MERGE 모드를 적용하였을 때 상기 분할 대상 부호화 유닛의 율-왜곡 비용이고,
Figure 112014064719994-pat00038
은 율-왜곡 최적화를 모두 진행하였을 경우 상기 분할 대상 부호화 유닛이 분할되는 것으로 결정되는 경우이고,
Figure 112014064719994-pat00039
는
Figure 112014064719994-pat00040
가 전제되었을 때
Figure 112014064719994-pat00041
가 발생할 확률이다.)
여기서 수학식 7의 경우도 상기 수학식 3 내지 수학식 6을 적용하여 계산할 수 있고, 여기서
Figure 112014064719994-pat00042
을 상기 PART_2Nx2N 분할의 MERGE 모드, {
Figure 112014064719994-pat00043
,
Figure 112014064719994-pat00044
}를 {split, non split}로 하고 수학식 3 내지 수학식 6을 적용하여 계산할 수 있다.
또한 여기서 조기 분할 결정 단계(1400)는, 상기 PART_2Nx2N 분할의 MERGE 모드를 적용하였을 때의 율-왜곡 비용이 특정한 값보다 클 경우, 상기 분할 대상 부호화 유닛을 조기에 분할하기로 결정하는 것을 특징으로 할 수 있다. 즉 PART_2Nx2N 분할의 MERGE 모드에서의 율-왜곡 비용이 충분히 클 경우 분할 대상 부호화 유닛은 영상의 변화가 큰 특성을 가질 확률이 높기 때문에, 이후 율-왜곡 최적화를 모두 진행한 후에 하부 부호화 유닛으로 분할될 가능성이 큰 이유로, 조기에 분할하기로 결정하는 것이 바람직한 것이다.
이때 조기 분할 결정 단계(1400)에서 상기 분할 대상 부호화 유닛을 분할하기로 결정한 경우, 상기 분할 대상 부호화 유닛을 하부 부호화 유닛으로 분할하고, 상기 분할된 하부 부호화 유닛들을 각각 분할 대상 부호화 유닛 설정 단계(S1100)에서의 상기 분할 대상 부호화 유닛으로 설정하여, 각각의 상기 분할된 하부 부호화 유닛에 대하여 MERGE 모드 부호화 단계(S1100)가 새롭게 진행되도록 하는 것을 특징으로 할 수 있다.
부호화모드 결정 단계(S1500)는 SKIP 모드 조기 결정 단계(S1300)에서 상기 분할 대상 부호화 유닛의 화면 간 예측 부호화모드를 SKIP 모드로 결정하지 아니하거나, 또는 조기 분할 결정 단계(S1400)에서 상기 분할 대상 부호화 유닛을 조기에 분할하기로 결정하지 않은 경우 진행되며, 상기 분할 대상 부호화 유닛에 대하여 PART_2Nx2N 분할의 MERGE 모드 이외의 모든 화면 간 예측 부호화모드들을 적용하여 화면 간 예측 부호화를 수행하고, 그 과정에서 산출되는 율-왜곡 비용들을 상호 비교하여, 최소의 율-왜곡 비용을 선택하고 이에 대응하는 화면 간 예측 부호화모드를 상기 분할 대상 부호화 유닛의 화면 간 예측 부호화모드로 결정한다. 이러한 부호화모드 결정 단계(S1500)는 계산 복잡도가 높기 때문에, 본 발명은 SKIP 모드 조기 결정 단계(S1300)를 도입하여 불필요한 계산을 생략하도록 한다.
부호화 유닛 최소크기 확인 단계(S1600)는 SKIP 모드 조기 결정 단계(S1300)에서 상기 분할 대상 부호화 유닛의 화면 간 예측 부호화모드가 SKIP 모드로 결정된 이후 또는 부호화모드 결정 단계(S1500) 이후 진행되며, 이는 상기 분할 대상 부호화 유닛의 크기가 미리 정해진 최소 크기와 같은지 여부를 확인한다. 이는 분할 대상 부호화 유닛 설정 단계(S1100)에서 최초로 설정되었던 부호화 유닛이 분할되어 형성된 쿼드 트리의 깊이 값이 미리 정해진 최대 깊이와 같은지 여부를 확인하는 것과도 동일하다.
여기서 만일 상기 쿼드 트리가 최대 깊이에 이른 경우, 즉 상기 분할 대상 부호화 유닛의 크기가 최소 크기에 이른 경우, 상기 분할 대상 부호화 유닛의 분할은 종료되도록 하는 것이 바람직하다.
조기 분할 종료 결정 단계(S1700)는 상기 분할 대상 부호화 유닛의 크기가 미리 정해진 최소 크기와 같지 않은 경우, SKIP 모드 조기 결정 단계(S1300) 또는 부호화모드 결정 단계(S1500)에서 결정된 상기 분할 대상 부호화 유닛의 화면 간 예측 부호화모드 정보와, 상기 결정된 화면 간 예측 부호화모드에 대응하는 율-왜곡 비용 정보를 이용하여, 상기 분할 대상 부호화 유닛의 분할을 조기에 종료할지 여부를 결정한다.
여기서 조기 분할 종료 결정 단계(S1700)는 상기 분할 대상 부호화 유닛에 대하여 결정된 화면 간 예측 부호화모드가 미리 정해진 예측 부호화모드에 해당하고, 상기 부호화모드를 적용하였을 때의 율-왜곡 비용이 특정한 값보다 작을 경우에만 상기 분할 대상 부호화 유닛의 분할을 조기에 종료하기로 결정하고, 그렇지 않은 경우는 상기 분할 대상 부호화 유닛을 분할하기로 결정하는 것이 바람직하다.
여기서 상기 미리 정해진 예측 부호화모드는 SKIP 모드 또는 PART_2Nx2N 분할의 MERGE 모드 또는 PART_2Nx2N 분할에서 움직임벡터를 예측하는 모드로 하는 것이 바람직하다.
또한 여기서 조기 분할 종료 결정 단계(S1700)는 상기 분할 대상 부호화 유닛에 대하여 결정된 화면 간 예측 부호화모드를 적용하였을 때의 율-왜곡 비용이 전제되었을 때 상기 분할 대상 부호화 유닛이 분할될 조건부 확률을 산출하여, 상기 산출된 조건부 확률이 특정한 값보다 작은 경우, 상기 분할 대상 부호화 유닛의 분할을 조기에 종료하기로 결정하고, 그렇지 않은 경우는 상기 분할 대상 부호화 유닛의 분할하기로 결정할 수 있다. 여기서 상기 비교대상이 되는 특정한 값은 0.5로 할 수 있고 조절이 가능하다.
여기서 상기 조건부 확률은 하기 수학식 8, 수학식 9, 수학식 10과 같이 표현될 수 있다.
Figure 112014064719994-pat00045
Figure 112014064719994-pat00046
Figure 112014064719994-pat00047
(여기서
Figure 112014064719994-pat00048
은 SKIP 모드를 적용하였을 때 상기 분할 대상 부호화 유닛의 율-왜곡 비용이고,
Figure 112014064719994-pat00049
은 PART_2Nx2N 분할의 MERGE 모드를 적용하였을 때 상기 분할 대상 부호화 유닛의 율-왜곡 비용이고,
Figure 112014064719994-pat00050
은 PART_2Nx2N 분할에서 움직임벡터를 예측하는 모드를 적용하였을 때 상기 분할 대상 부호화 유닛의 율-왜곡 비용이고,
Figure 112014064719994-pat00051
은 율-왜곡 최적화를 모두 진행하였을 경우 상기 분할 대상 부호화 유닛이 분할되는 것으로 결정되는 경우이고,
Figure 112014064719994-pat00052
는
Figure 112014064719994-pat00053
가 전제되었을 때
Figure 112014064719994-pat00054
가 발생할 확률이다.)
여기서 수학식 8 내지 수학식 10의 경우도 각각 상기 수학식 3 내지 수학식 6을 적용하여 계산할 수 있다. 여기서 수학식 8은
Figure 112014064719994-pat00055
을 SKIP 모드로, 수학식 9는
Figure 112014064719994-pat00056
을 PART_2Nx2N 분할의 MERGE 모드로, 수학식 10은
Figure 112014064719994-pat00057
을 PART_2Nx2N 분할에서 움직임벡터를 예측하는 모드로 하고, 각각의 경우 모두 {
Figure 112014064719994-pat00058
,
Figure 112014064719994-pat00059
}를 {split, non split}로 하여, 수학식 3 내지 수학식 6을 적용하여 계산할 수 있다.
여기서 상기 분할 대상 부호화 유닛을 조기 분할 종료하지 않고 분할하기로 결정한 경우, 상기 분할 대상 부호화 유닛을 하부 부호화 유닛으로 분할하고, 상기 분할된 하부 부호화 유닛들을 각각 분할 대상 부호화 유닛 설정 단계(S1100)에서의 상기 분할 대상 부호화 유닛으로 설정하여, 각각의 상기 분할된 하부 부호화 유닛에 대하여 MERGE 모드 부호화 단계(S1100)가 새롭게 진행되도록 하는 것을 특징으로 할 수 있다.
부호화유닛 분할구조 결정 단계(S1800)는 부호화 유닛 최소크기확인 단계(S1600)에서 상기 분할 대상 부호화 유닛을 더 이상 분할하지 않기로 결정하였거나, 또는 조기 분할 종료 결정 단계(S1700)에서 상기 분할 대상 부호화 유닛의 분할을 조기에 종료하기로 결정한 경우 진행되며, 상기 분할 대상 부호화 유닛의 분할을 종료하고, 분할 대상 부호화 유닛 설정 단계(S1100)에서 최초로 설정되었던 분할 대상 부호화 유닛에 대하여 총 율-왜곡 비용의 합이 최소화되도록 부호화 유닛의 분할 구조와 각 분할된 부호화 유닛에 적용될 화면 간 예측 부호화모드를 결정한다.
여기서 SKIP 모드 조기 결정 단계(S1300)에서의 조건부 확률과, 조기 분할 결정 단계(S1400)에서의 조건부 확률과, 조기 분할 종료 결정 단계(S1700)에서의 조건부 확률을 산출하는데 사용되는 파라메터들은 일정한 주기로 갱신하는 것이 바람직하다.
또한 여기서 SKIP 모드 조기 결정 단계(S1300)에서의 상기 율-왜곡 비용과 비교 대상이 되는 특정한 값과, 조기 분할 결정 단계(S1400)에서의 상기 율-왜곡 비용과 비교 대상이 되는 특정한 값과, 조기 분할 종료 결정 단계(S1700)에서의 상기 율-왜곡 비용과 비교 대상이 되는 특정한 값은 일정한 주기로 갱신하는 것이 바람직하다.
여기서 상기 조건부 확률 계산과 특정한 값의 갱신은 일정한 주기로 통계적으로 상기 분할 대상 부호화 유닛의 율-왜곡 비용의 평균과 분산을 계산한 후 상기 계산된 평균과 분산을 이용하여 갱신하는 것으로 하는 것이 바람직하다. 그리고 여기서 상기 조건부 확률 계산은 수학식 3 내지 수학식 6에서, 일정 주기 동안 계수하였을 때
Figure 112014064719994-pat00060
가 발생하는 횟수인
Figure 112014064719994-pat00061
와,
Figure 112014064719994-pat00062
인 경우를 조건으로 하여 산출된
Figure 112014064719994-pat00063
의 표준편차인
Figure 112014064719994-pat00064
과,
Figure 112014064719994-pat00065
인 경우를 조건으로 하여 산출된
Figure 112014064719994-pat00066
의 평균인
Figure 112014064719994-pat00067
을 일정한 주기로 갱신하는 것이 바람직하다.
여기서 상기 갱신이 이루어지는 주기는 하기 수학식 11과 같이 산출하는 것이 바람직하다.
Figure 112014064719994-pat00068
(여기서 M은 상기 갱신이 이루어지는 프레임 주기이고,
Figure 112014064719994-pat00069
는 프레임율이고,
Figure 112014064719994-pat00070
는 픽처그룹(GOP, Group Of Picture)의 크기이고,
Figure 112014064719994-pat00071
는
Figure 112014064719994-pat00072
보다 작거나 같은 가장 큰 값이다.)
도 3a는 본 발명의 일 실시예에 따른 화면 간 예측 부호화 방법에 있어서 부호화 유닛이 분할되는 과정을 설명하는 참고도이고, 도 3b는 본 발명의 일 실시예에 따른 화면 간 예측 부호화 방법에 있어서 부호화 유닛이 분할된 결과의 일례를 설명하는 참고도이다. 부호화유닛 분할구조 결정 단계(S1800)는 도 3b와 같이 분할 대상 부호화 유닛의 분할 구조를 최종적으로 결정한다.
도 5는 본 발명의 또 다른 실시예에 따른 화면 간 예측 부호화 장치가 포함된 영상 부호화기의 동작을 설명하는 블록도이다.
본 발명의 또 다른 실시예에 따른 화면 간 예측 부호화 장치는 화면간예측부(100)와 차분블록생성부(200)를 포함할 수 있다.
화면간예측부(100)는 영상블록을 입력받아 이를 부호화 유닛(Coding Unit)으로 분할하고, 상기 분할된 부호화 유닛의 화면 간 예측 부호화모드를 결정하고, 상기 결정된 화면 간 예측 부호화모드에 따라 참조 영상블록을 생성하고,
차분블록생성부(200)는 화면간예측부(100)에서 생성된 상기 참조 영상블록과 상기 분할된 부호화 유닛의 차분 블록을 생성한다.
여기서 화면간예측부(100)는 도 1 내지 도 4를 참조하여 상술한 본 발명의 일 실시예에 따른 화면 간 예측 부호화 방법대로 화면 내 예측을 수행할 수 있다. 이하에서는 상술한 설명과 중복되는 부분을 생략하고 간단하게 서술한다.
화면간예측부(100)는 하부 유닛으로 분할할 대상이 되는 분할 대상 부호화 유닛(Coding Unit)을 설정하고;
상기 분할 대상 부호화 유닛의 화면 간 예측 부호화모드를 PART_2Nx2N 분할의 MERGE 모드로 하여 상기 분할 대상 부호화 유닛을 화면 간 예측 부호화 하고, 상기 화면 간 예측 부호화 과정에서 산출되는 상기 분할 대상 부호화 유닛의 율-왜곡 비용과 CBF(Coded Block Flag)를 이용하여, 상기 분할 대상 부호화 유닛의 화면 간 예측 부호화모드를 조기에 SKIP 모드로 결정할지 여부를 판단하고;
상기 분할 대상 부호화 유닛의 율-왜곡 비용과 상기 분할 대상 부호화 유닛의 크기 정보와 상기 CBF 정보를 이용하여 상기 분할 대상 부호화 유닛을 조기에 분할할지 여부를 결정하고;
상기 분할 대상 부호화 유닛에 대하여 모든 화면 간 예측 부호화모드들을 적용하여 율-왜곡 최적화를 수행하여 최적의 화면 간 예측 부호화 모드를 결정하고;
상기 최적의 화면 간 예측 부호화 모드 정보와 이에 대응하는 율-왜곡 비용 정보를 이용하여, 상기 분할 대상 부호화 유닛의 분할을 조기에 종료할지 여부를 결정하는 것을 특징으로 하는 것이 바람직하다.
여기서 화면간예측부(100)는, 상기 분할 대상 부호화 유닛의 화면 간 예측 부호화모드를 조기에 SKIP 모드로 결정할지 여부를 판단하는 경우, 산출된 율-왜곡 비용이 특정한 값보다 작을 때 상기 분할 대상 부호화 유닛의 화면 간 예측 부호화모드를 SKIP 모드로 결정하는 것이 바람직하다. 그리고 상기 분할 대상 부호화 유닛을 조기에 분할할지 여부를 결정하는 경우, 산출된 율-왜곡 비용이 특정한 값보다 클 때 상기 분할 대상 부호화 유닛을 조기에 분할하기로 결정하는 것이 바람직하다. 그리고 상기 분할 대상 부호화 유닛의 분할을 조기에 종료할지 여부를 결정하는 경우, 화면 간 예측 부호화모드가 미리 정해진 모드에 해당하고, 산출된 율-왜곡 비용이 특정한 값보다 작을 경우는 상기 분할 대상 부호화 유닛의 분할을 조기에 종료하기로 결정하는 것이 바람직하다. 여기서 상기 각 경우에 있어서 상기 산출된 율-왜곡 비용과 비교 대상이 되는 상기 특정한 값은, 일정한 주기로 통계적으로 상기 분할 대상 부호화 유닛의 율-왜곡 비용의 평균과 분산을 계산한 후 상기 계산된 평균과 분산을 이용하여 갱신하는 것이 바람직하다.
이상에서 설명한 본 발명의 실시예를 구성하는 모든 구성요소들이 하나로 결합하거나 결합하여 동작하는 것으로 기재되어 있다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다.
또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 또한, 이와 같은 컴퓨터 프로그램은 USB 메모리, CD 디스크, 플래쉬 메모리 등과 같은 컴퓨터가 읽을 수 있는 기록매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 기록매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.
또한, 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 상세한 설명에서 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖는다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (27)

  1. 영상 부호화의 화면 간 예측 부호화 방법에 있어서,
    하부 유닛으로 분할할 대상이 되는 분할 대상 부호화 유닛(Coding Unit)을 설정하는 분할 대상 부호화 유닛 설정 단계;
    상기 분할 대상 부호화 유닛의 CBF(Coded Block Flag) 정보를 확인하여, 상기 분할 대상 부호화 유닛의 화면 간 예측 부호화모드가 SKIP 모드로 조기에 결정될 가능성이 있는지 여부를 판단하는 CBF 확인 단계; 및
    상기 CBF 확인 단계에서 상기 분할 대상 부호화 유닛의 화면 간 예측 부호화모드가 SKIP 모드로 조기에 결정될 가능성이 있다고 판단되는 경우, SKIP 모드를 적용하여 화면 간 예측 부호화를 할 때의 분할 대상 부호화 유닛의 율-왜곡 비용을 산출하고, 상기 산출된 율-왜곡 비용 정보를 이용하여 상기 분할 대상 부호화 유닛의 화면 간 예측 부호화모드를 SKIP 모드로 조기에 결정할지 여부를 판단하는 SKIP 모드 조기 결정 단계를 포함하는 것을 특징으로 하는 화면 간 예측 부호화 방법.
  2. 제1항에 있어서, 상기 CBF 확인 단계는,
    상기 분할 대상 부호화 유닛의 화면 간 예측 부호화모드를 PART_2Nx2N 분할의 MERGE 모드로 하여 상기 분할 대상 부호화 유닛을 화면 간 예측 부호화 하고, 상기 화면 간 예측 부호화 하는 단계에서 산출된 움직임벡터를 적용하였을 때 정해지는 참조 영상 블록과 상기 분할 대상 부호화 유닛 간의 차분값을 이용하여 CBF를 산출하는 단계; 및
    상기 CBF 정보를 이용하여 상기 분할 대상 부호화 유닛의 화면 간 예측 부호화모드가 SKIP 모드로 조기에 결정될 가능성이 있는지 여부를 판단하는 단계를 포함하는 것을 특징으로 하는 화면 간 예측 부호화 방법.
  3. 삭제
  4. 제1항에 있어서, 상기 SKIP 모드 조기 결정 단계는,
    상기 SKIP 모드 조기 결정 단계에서 산출된 율-왜곡 비용이 전제되었을 때 상기 분할 대상 부호화 유닛의 화면 간 예측 부호화모드가 SKIP 모드가 될 조건부 확률을 산출하여, 상기 산출된 조건부 확률이 특정한 값보다 클 경우, 상기 분할 대상 부호화 유닛의 화면 간 예측 부호화모드를 SKIP 모드로 결정하는 것을 특징으로 하는 화면 간 예측 부호화 방법.
  5. 제1항에 있어서, 상기 SKIP 모드 조기 결정 단계는,
    상기 SKIP 모드 조기 결정 단계에서 산출된 율-왜곡 비용이 특정한 값보다 작을 경우, 상기 분할 대상 부호화 유닛의 화면 간 예측 부호화모드를 SKIP 모드로 결정하는 것을 특징으로 하는 화면 간 예측 부호화 방법.
  6. 제1항에 있어서,
    상기 CBF 확인 단계에서 상기 분할 대상 부호화 유닛의 화면 간 예측 부호화모드가 SKIP 모드로 조기에 결정될 가능성이 없다고 판단되는 경우, 상기 분할 대상 부호화 유닛의 율-왜곡 비용 정보와 크기 정보를 이용하여 상기 분할 대상 부호화 유닛을 분할할지 여부를 조기에 결정하는 조기 분할 결정 단계를 더 포함하는 것을 특징으로 하는 화면 간 예측 부호화 방법.
  7. 제6항에 있어서, 상기 조기 분할 결정 단계는,
    상기 분할 대상 부호화 유닛이 특정한 크기보다 큰 경우, 상기 분할 대상 부호화 유닛에 대하여 화면 간 예측 부호화모드를 PART_2Nx2N 분할의 MERGE 모드로 하여 율-왜곡 비용을 산출하면서 화면 간 예측 부호화를 수행하고, 그 과정에서 산출되는 율-왜곡 비용 정보를 이용하여, 상기 분할 대상 부호화 유닛을 분할할지 여부를 조기에 결정하는 것을 특징으로 하는 화면 간 예측 부호화 방법.
  8. 제7항에 있어서, 상기 조기 분할 결정 단계는,
    상기 조기 분할 결정 단계에서 산출된 율-왜곡 비용이 전제되었을 때 상기 분할 대상 부호화 유닛이 분할될 조건부 확률을 산출하여, 상기 산출된 조건부 확률이 특정한 값보다 클 경우, 상기 분할 대상 부호화 유닛을 조기에 분할하기로 결정하는 것을 특징으로 하는 화면 간 예측 부호화 방법.
  9. 제7항에 있어서, 상기 조기 분할 결정 단계는,
    상기 조기 분할 결정 단계에서 산출된 율-왜곡 비용이 특정한 값보다 클 경우, 상기 분할 대상 부호화 유닛을 조기에 분할하기로 결정하는 것을 특징으로 하는 화면 간 예측 부호화 방법.
  10. 제6항에 있어서, 상기 조기 분할 결정 단계에서 상기 분할 대상 부호화 유닛을 분할하기로 결정한 경우, 상기 분할 대상 부호화 유닛을 하부 부호화 유닛(Sub Coding Unit)으로 분할하고, 상기 분할된 하부 부호화 유닛들을 각각 상기 분할 대상 부호화 유닛 설정 단계에서의 상기 분할 대상 부호화 유닛으로 설정하여, 각각의 상기 분할된 하부 부호화 유닛에 대하여 상기 CBF 확인 단계가 새롭게 진행되도록 하는 것을 특징으로 하는 화면 간 예측 부호화 방법.
  11. 제6항 내지 제10항 중 어느 하나의 항에 있어서, 상기 SKIP 모드 조기 결정 단계에서 상기 분할 대상 부호화 유닛의 화면 간 예측 부호화모드를 SKIP 모드로 결정하지 아니하거나, 또는 상기 조기 분할 결정 단계에서 상기 분할 대상 부호화 유닛을 조기에 분할하기로 결정하지 않은 경우,
    상기 분할 대상 부호화 유닛에 대하여 PART_2Nx2N 분할의 MERGE 모드 이외의 모든 화면 간 예측 부호화모드들을 적용하여 율-왜곡 비용을 산출하면서 화면 간 예측 부호화를 수행하고, 그 과정에서 산출되는 율-왜곡 비용들 중 최소의 율-왜곡 비용에 대응하는 화면 간 예측 부호화모드를 상기 분할 대상 부호화 유닛의 화면 간 예측 부호화모드로 결정하는 부호화모드 결정 단계를 더 포함하는 것을 특징으로 하는 화면 간 예측 부호화 방법.
  12. 제11항에 있어서,
    상기 SKIP 모드 조기 결정 단계에서 상기 분할 대상 부호화 유닛의 화면 간 예측 부호화모드가 SKIP 모드로 결정된 이후 또는 상기 부호화모드 결정 단계 이후, 상기 분할 대상 부호화 유닛의 크기가 미리 정해진 최소 크기와 같으면 상기 분할 대상 부호화 유닛을 더 이상 분할하지 않기로 결정하는 부호화 유닛 최소크기확인 단계; 및
    상기 부호화 유닛 최소크기확인 단계에서 상기 분할 대상 부호화 유닛의 크기가 미리 정해진 최소 크기보다 크다고 판단된 경우, 상기 SKIP 모드 조기 결정 단계 또는 상기 부호화모드 결정 단계에서 결정된 상기 분할 대상 부호화 유닛의 화면 간 예측 부호화모드 정보와, 상기 결정된 화면 간 예측 부호화모드에 대응하는 율-왜곡 비용 정보를 이용하여, 상기 분할 대상 부호화 유닛의 분할을 조기에 종료할지 여부를 결정하는 조기 분할 종료 결정 단계를 더 포함하는 것을 특징으로 하는 화면 간 예측 부호화 방법.
  13. 제12항에 있어서, 상기 조기 분할 종료 결정 단계는,
    상기 조기 분할 종료 결정 단계에서의 화면 간 예측 부호화모드가 미리 정해진 모드에 해당하고, 상기 조기 분할 종료 결정 단계에서의 율-왜곡 비용이 전제되었을 때 상기 분할 대상 부호화 유닛의 분할될 조건부 확률이 특정한 값보다 작은 경우는 상기 분할 대상 부호화 유닛의 분할을 조기에 종료하기로 결정하고,
    상기 조기 분할 종료 결정 단계에서의 화면 간 예측 부호화모드가 미리 정해진 모드에 해당하지 않거나, 상기 조기 분할 종료 결정 단계에서의 율-왜곡 비용이 전제되었을 때 상기 분할 대상 부호화 유닛이 분할될 조건부 확률이 특정한 값보다 크거나 같을 경우는 상기 분할 대상 부호화 유닛을 분할하기로 결정하는 것을 특징으로 하는 화면 간 예측 부호화 방법.
  14. 제13항에 있어서, 상기 조기 분할 종료 결정 단계는,
    상기 조기 분할 종료 결정 단계에서의 화면 간 예측 부호화모드가 미리 정해진 모드에 해당하고, 상기 조기 분할 종료 결정 단계에서의 율-왜곡 비용이 특정한 값보다 작을 경우는 상기 분할 대상 부호화 유닛의 분할을 조기에 종료하기로 결정하고,
    상기 조기 분할 종료 결정 단계에서의 화면 간 예측 부호화모드가 미리 정해진 모드에 해당하지 않거나, 상기 조기 분할 종료 결정 단계에서의 율-왜곡 비용이 특정한 값보다 크거나 같을 경우는 상기 분할 대상 부호화 유닛을 분할하기로 결정하는 것을 특징으로 하는 화면 간 예측 부호화 방법.
  15. 제12항에 있어서, 상기 조기 분할 종료 결정 단계에서 상기 분할 대상 부호화 유닛을 분할하기로 결정한 경우,
    상기 분할 대상 부호화 유닛을 하부 부호화 유닛으로 분할하고, 상기 분할된 하부 부호화 유닛들을 각각 상기 분할 대상 부호화 유닛 설정 단계에서의 상기 분할 대상 부호화 유닛으로 설정하여, 각각의 상기 분할된 하부 부호화 유닛에 대하여 상기 CBF 확인 단계가 새롭게 진행되도록 하는 것을 특징으로 하는 화면 간 예측 부호화 방법.
  16. 제12항에 있어서, 상기 부호화 유닛 최소크기확인 단계에서 상기 분할 대상 부호화 유닛을 더 이상 분할하지 않기로 결정하였거나, 또는 상기 조기 분할 종료 결정 단계에서 상기 분할 대상 부호화 유닛의 분할을 조기에 종료하기로 결정한 경우,
    상기 분할 대상 부호화 유닛의 분할을 종료하고, 상기 분할 대상 부호화 유닛 설정 단계에서 최초로 설정되었던 분할 대상 부호화 유닛에 대하여 총 율-왜곡 비용의 합이 최소화되도록 부호화 유닛의 분할 구조와 각 분할된 부호화 유닛에 적용될 화면 간 예측 부호화모드를 결정하는 부호화 유닛 분할 구조 결정 단계를 더 포함하는 것을 특징으로 하는 화면 간 예측 부호화 방법.
  17. 제13항에 있어서,
    일정한 주기로, 상기 SKIP 모드 조기 결정 단계에서의 조건부 확률과, 상기 조기 분할 결정 단계에서의 조건부 확률과, 상기 조기 분할 종료 결정 단계에서의 조건부 확률을 산출하는데 사용되는 파라메터들을 갱신하는 것을 특징으로 하는 화면 간 예측 부호화 방법.
  18. 제14항에 있어서,
    일정한 주기로, 상기 SKIP 모드 조기 결정 단계에서의 상기 율-왜곡 비용과 비교 대상이 되는 특정한 값과, 상기 조기 분할 결정 단계에서의 상기 율-왜곡 비용과 비교 대상이 되는 특정한 값과, 상기 조기 분할 종료 결정 단계에서의 상기 율-왜곡 비용과 비교 대상이 되는 특정한 값을 갱신하는 것을 특징으로 하는 화면 간 예측 부호화 방법.
  19. 영상 부호화의 화면 간 예측 부호화 방법에 있어서,
    하부 유닛으로 분할할 대상이 되는 분할 대상 부호화 유닛(Coding Unit)을 설정하는 분할 대상 부호화 유닛 설정 단계;
    상기 분할 대상 부호화 유닛의 화면 간 예측 부호화모드를 PART_2Nx2N 분할의 MERGE 모드로 하여 상기 분할 대상 부호화 유닛을 화면 간 예측 부호화 하고, 상기 화면 간 예측 부호화 하는 단계에서 산출된 움직임벡터를 적용하였을 때 정해지는 참조 영상 블록과 상기 분할 대상 부호화 유닛 간의 차분값을 이용하여 CBF(Coded Block Flag)를 산출하고, 상기 CBF 정보를 이용하여 상기 분할 대상 부호화 유닛의 분할 여부가 조기에 결정될 가능성이 있는지 여부를 판단하는 CBF 확인 단계; 및
    상기 CBF 확인 단계에서 상기 분할 대상 부호화 유닛의 분할 여부가 조기에 결정될 가능성이 있다고 판단되는 경우, 상기 분할 대상 부호화 유닛의 율-왜곡 비용 정보와 크기 정보를 이용하여 상기 분할 대상 부호화 유닛을 분할할지 여부를 조기에 결정하는 조기 분할 결정 단계를 포함하는 것을 특징으로 하는 화면 간 예측 부호화 방법.
  20. 제19항에 있어서, 상기 조기 분할 결정 단계는,
    상기 분할 대상 부호화 유닛이 특정한 크기보다 큰 경우, 상기 분할 대상 부호화 유닛에 대하여 화면 간 예측 부호화모드를 PART_2Nx2N 분할의 MERGE 모드로 하여 율-왜곡 비용을 산출하면서 화면 간 예측 부호화를 수행하고, 그 과정에서 산출되는 율-왜곡 비용 정보를 이용하여, 상기 분할 대상 부호화 유닛을 분할할지 여부를 조기에 결정하는 것을 특징으로 하는 화면 간 예측 부호화 방법.
  21. 영상 부호화의 화면 간 예측 부호화 방법에 있어서,
    하부 유닛으로 분할할 대상이 되는 분할 대상 부호화 유닛(Coding Unit)을 설정하는 분할 대상 부호화 유닛 설정 단계;
    상기 분할 대상 부호화 유닛에 대하여 모든 화면 간 예측 부호화모드들을 적용하여 율-왜곡 비용을 산출하면서 화면 간 예측 부호화를 수행하고, 그 과정에서 산출되는 율-왜곡 비용들 중 최소의 율-왜곡 비용에 대응하는 화면 간 예측 부호화 모드를 상기 분할 대상 부호화 유닛의 화면 간 예측 부호화모드로 결정하는 부호화 모드 결정 단계;
    상기 부호화모드 결정 단계 이후, 상기 분할 대상 부호화 유닛의 크기가 미리 정해진 최소 크기와 같으면 상기 분할 대상 부호화 유닛을 더 이상 분할하지 않기로 결정하는 부호화 유닛 최소크기확인 단계; 및
    상기 부호화 유닛 최소크기확인 단계에서 상기 분할 대상 부호화 유닛의 크기가 미리 정해진 최소 크기보다 크다고 판단된 경우, 상기 부호화모드 결정 단계에서 결정된 상기 분할 대상 부호화 유닛의 화면 간 예측 부호화모드 정보와, 상기 결정된 화면 간 예측 부호화모드에 대응하는 율-왜곡 비용 정보를 이용하여, 상기 분할 대상 부호화 유닛의 분할을 조기에 종료할지 여부를 결정하는 조기 분할 종료 결정 단계를 포함하는 것을 특징으로 하는 화면 간 예측 부호화 방법.
  22. 제21항에 있어서, 상기 조기 분할 종료 결정 단계는,
    상기 조기 분할 종료 결정 단계에서의 화면 간 예측 부호화모드가 미리 정해진 모드에 해당하고, 상기 조기 분할 종료 결정 단계에서의 율-왜곡 비용이 전제되었을 때 상기 분할 대상 부호화 유닛이 분할될 조건부 확률이 특정한 값보다 작을 경우는 상기 분할 대상 부호화 유닛의 분할을 조기에 종료하기로 결정하고,
    상기 조기 분할 종료 결정 단계에서의 화면 간 예측 부호화모드가 미리 정해진 모드에 해당하지 않거나, 상기 조기 분할 종료 결정 단계에서의 율-왜곡 비용이 전제되었을 때 상기 분할 대상 부호화 유닛이 분할될 조건부 확률이 특정한 값보다 크거나 같을 경우는 상기 분할 대상 부호화 유닛을 분할하기로 결정하는 것을 특징으로 하는 화면 간 예측 부호화 방법.
  23. 화면 간 예측 부호화 장치에 있어서,
    영상블록을 입력받아 이를 부호화 유닛(Coding Unit)으로 분할하고, 상기 분할된 부호화 유닛의 화면 간 예측 부호화모드를 결정하고, 상기 결정된 화면 간 예측 부호화모드에 따라 참조 영상블록을 생성하는 화면간예측부; 및
    상기 화면간예측부에서 생성된 상기 참조 영상블록과 상기 분할된 부호화 유닛의 차분 블록을 생성하는 차분블록생성부를 포함하는 것을 특징으로 하고,
    상기 화면간예측부는,
    하부 유닛으로 분할할 대상이 되는 분할 대상 부호화 유닛(Coding Unit)을 설정하고,
    상기 분할 대상 부호화 유닛의 화면 간 예측 부호화모드를 PART_2Nx2N 분할의 MERGE 모드로 하여 상기 분할 대상 부호화 유닛을 화면 간 예측 부호화 하고, 상기 화면 간 예측 부호화 과정에서 산출되는 상기 분할 대상 부호화 유닛의 율-왜곡 비용과 CBF(Coded Block Flag)를 이용하여, 상기 분할 대상 부호화 유닛의 화면 간 예측 부호화모드를 조기에 SKIP 모드로 결정할지 여부를 판단하고,
    상기 분할 대상 부호화 유닛의 율-왜곡 비용과 상기 분할 대상 부호화 유닛의 크기 정보와 상기 CBF 정보를 이용하여 상기 분할 대상 부호화 유닛을 조기에 분할할지 여부를 결정하고,
    상기 분할 대상 부호화 유닛에 대하여 모든 화면 간 예측 부호화모드들을 적용하여 율-왜곡 최적화를 수행하여 최적의 화면 간 예측 부호화 모드를 결정하고,
    상기 최적의 화면 간 예측 부호화 모드 정보와 이에 대응하는 율-왜곡 비용 정보를 이용하여, 상기 분할 대상 부호화 유닛의 분할을 조기에 종료할지 여부를 결정하는 것을 특징으로 하는 화면 간 예측 부호화 장치.
  24. 제23항에 있어서, 상기 화면간예측부는,
    상기 분할 대상 부호화 유닛의 화면 간 예측 부호화모드를 조기에 SKIP 모드로 결정할지 여부를 판단하는 경우, 산출된 율-왜곡 비용이 특정한 값보다 작을 때 상기 분할 대상 부호화 유닛의 화면 간 예측 부호화모드를 SKIP 모드로 결정하는 것을 특징으로 하는 화면 간 예측 부호화 장치.
  25. 제23항에 있어서, 상기 화면간예측부는,
    상기 분할 대상 부호화 유닛을 조기에 분할할지 여부를 결정하는 경우, 산출된 율-왜곡 비용이 특정한 값보다 클 때 상기 분할 대상 부호화 유닛을 조기에 분할하기로 결정하는 것을 특징으로 하는 화면 간 예측 부호화 장치.
  26. 제23항에 있어서, 상기 화면간예측부는,
    상기 분할 대상 부호화 유닛의 분할을 조기에 종료할지 여부를 결정하는 경우, 화면 간 예측 부호화모드가 미리 정해진 모드에 해당하고, 산출된 율-왜곡 비용이 특정한 값보다 작을 경우는 상기 분할 대상 부호화 유닛의 분할을 조기에 종료하기로 결정하는 것을 특징으로 하는 화면 간 예측 부호화 장치.
  27. 제24항 내지 제26항 중 어느 하나의 항에서, 일정한 주기로 상기 분할 대상 부호화 유닛의 율-왜곡 비용의 평균과 분산을 통계적으로 계산하고, 상기 계산된 평균과 분산을 이용하여 상기 산출된 율-왜곡 비용과 비교 대상이 되는 상기 특정한 값을 갱신하는 것을 특징으로 하는 화면 간 예측 부호화 장치
KR1020140086332A 2013-12-27 2014-07-09 고속 화면 간 예측 부호화 방법 및 그 장치 KR101545195B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020130166186 2013-12-27
KR20130166186 2013-12-27

Publications (2)

Publication Number Publication Date
KR20150077262A KR20150077262A (ko) 2015-07-07
KR101545195B1 true KR101545195B1 (ko) 2015-08-19

Family

ID=53790064

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140086332A KR101545195B1 (ko) 2013-12-27 2014-07-09 고속 화면 간 예측 부호화 방법 및 그 장치

Country Status (1)

Country Link
KR (1) KR101545195B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019194515A1 (ko) * 2018-04-01 2019-10-10 엘지전자 주식회사 영상의 처리 방법 및 이를 위한 장치

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101695769B1 (ko) * 2015-07-10 2017-01-12 동국대학교 산학협력단 Hevc 인터 예측을 위한 예측 유닛 프루닝 방법 및 장치
KR102472462B1 (ko) * 2015-10-13 2022-12-01 한국전자통신연구원 영상 복잡도에 기반한 적응적 부호화 및 복호화를 위한 방법 및 장치

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
I-K. Kim, et al. High Efficiency Video Coding Test Model 10 Encoder Description. JCT-VC of ITU-T and ISO/IEC. 12th Meeting. JCTVC-L1002. Jan. 14-23, 2013. pp.1-36*
J. Yang, et al. Early SKIP Detection for HEVC. JCT-VC of ITU-T and ISO/IEC. 7th Meeting. JCTVC-G543. Nov. 21-30, 2011. pp.1-6*

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019194515A1 (ko) * 2018-04-01 2019-10-10 엘지전자 주식회사 영상의 처리 방법 및 이를 위한 장치

Also Published As

Publication number Publication date
KR20150077262A (ko) 2015-07-07

Similar Documents

Publication Publication Date Title
KR102620624B1 (ko) 영상 복호화 방법 및 컴퓨터로 읽을 수 있는 기록 매체
KR102017166B1 (ko) 영상 복호화 방법 및 장치
KR102435393B1 (ko) 참조 유닛 결정 방법 및 장치
CN109804626B (zh) 用于对图像进行编码和解码的方法和设备以及用于存储比特流的记录介质
KR20170058838A (ko) 화면간 예측 향상을 위한 부호화/복호화 방법 및 장치
CN116193116A (zh) 使用画面划分信息对视频进行编码和解码的方法和设备
KR20190038405A (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
KR20110068792A (ko) 적응적 영상 부호화 장치 및 방법
KR102558803B1 (ko) 잔차 신호에 대한 예측 방법 및 장치
KR20130085393A (ko) 쌍방향 예측 및 블록 병합을 제한하는 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
KR101545195B1 (ko) 고속 화면 간 예측 부호화 방법 및 그 장치
KR102140271B1 (ko) 문턱값 기반 부호화 단위 분할을 이용한 고속 인트라 부호화 방법 및 장치
KR102472462B1 (ko) 영상 복잡도에 기반한 적응적 부호화 및 복호화를 위한 방법 및 장치
KR20170021675A (ko) 영상 부호화 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180813

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20191105

Year of fee payment: 5