KR101482896B1 - 최적화된 디블록킹 필터 - Google Patents

Abstract

부호화기가 부호화된 비디오에 대한 디블록킹 파라미터들을 선택하기 위한 반복적 검색 방법을 수행한다. 이 방법에 따라, 복호화된 화상이 다차원 디블록킹 벡터와 연관된 파라미터들에 따라 디블록킹될 수 있고, 이로부터 "디블록킹 오차"라고 불리는 오차가 추정될 수 있다. 추정된 오차가 미리 정해진 임계치를 초과하는 경우에는, 각각의 차원에서 현재 디블록킹 벡터로부터 각각 전진된 대체의 디블록킹 벡터들이 생성될 수 있다. 이 방법은 각각의 전진된 벡터에 따라 복호화된 화상을 디블록킹할 수 있고 각각의 전진된 벡터의 디블록킹 각각으로부터 오차들을 추정할 수 있다. 마지막으로, 디블록킹 벡터는 벡터 차원들의 추정된 디블록킹 오차들로부터 유도된 기울기에 따라 다음 반복을 위해 수정될 수 있다. 이 기울기 기반 검색 방법은 효율적인 방식으로 디블록킹 파라미터들의 최종 세트에 수렴할 수 있다.

Description

최적화된 디블록킹 필터{OPTIMIZED DEBLOCKING FILTERS}

본 발명은 비디오 부호화(video coding)에 관한 것이고, 더 상세하게는, 움직임 보상 부호화의 일부로서 보간 필터를 이용하는 비디오 부호화 시스템에 관한 것이다.

비디오 코덱들은 전형적으로 본 명세서에서 "화소 블록들"이라고 불리는 화소들의 블록들에 대해 이산 코사인 변환("DCT")을 이용하여 비디오 프레임들을 부호화하는데, 정지 영상들에 대해 원래의 JPEG 부호화기에 이용되는 것과 대체로 같다. 최초의 프레임("인트라(intra)" 프레임이라고 불림)이 부호화되어 독립된 프레임으로서 송신된다. 장면 내의 물체들의 작은 움직임으로 인해 느리게 변화하는 것으로 모델링되는 후속 프레임들은, 이전에 부호화된 프레임들에서의 화소 블록들의 위치로부터의 그 화소 블록들의 변위가 예측된 화소 블록과 원본 영상으로부터의 화소 블록 간의 차이의 부호화된 표현과 함께 움직임 벡터들로서 송신되는, 움직임 보상("MC")이라고 불리는 기법을 이용하여 인터 모드에서 효율적으로 부호화된다.

움직임 보상에 대한 간단한 검토가 아래 제공된다. 도 1 및 도 2는 움직임 보상 영상 부호화기/복호화기 시스템의 블록도들을 보여준다. 이 시스템은 압축 영상의 저장 및 계산을 감소시키고, 그와 동시에 고도의 압축 및 적응성을 제공하기 위해 (화소들의 화소 블록들의 DCT 형태의) 변환 부호화(transform coding)와 (차동 펄스 부호 변조("PCM") 형태의) 예측 부호화(predictive coding)를 결합시킨다. 움직임 보상은 변환 영역에서 수행하기 어렵기 때문에, 인터프레임 부호화기(interframe coder)에서의 첫 번째 단계는 움직임 보상 예측 오차를 생성하는 것이다. 이 계산은 부호화기와 복호화기 양쪽 모두에서 하나 이상의 프레임 저장을 필요로 한다. 결과의 오차 신호는 DCT를 이용하여 변환되고, 적응 양자화기에 의해 양자화되고, 가변 길이 부호화기("VLC")를 이용하여 엔트로피 부호화되고, 채널을 통한 송신을 위해 버퍼링된다.

움직임 추정기는 도 3에 예시된 바와 같이 동작한다. 가장 간단한 형태로 현재의 프레임은 일정한 크기, 예를 들어, 16 × 16 또는 8 × 8의 움직임 보상 블록들(본 명세서에서 "mcblock들"이라고 불림)로 분할된다. 그러나, 특히 H.264, ITU-T 권고(Recommendation) H.264, AVC(Advanced Video Coding)와 같은 더 새로운 코덱들에서는 종종 가변 크기 mcblock들이 사용된다. 사실, 비직사각형(nonrectangular) mcblock들도 연구되고 제안되었다. mcblock들은 일반적으로 크기가 화소 블록들과 같거나 그보다 크다.

다시, 움직임 보상의 가장 간단한 형태로, 이전의 복호화된 프레임은, 도 3에 도시된 바와 같이, 참조 프레임으로서 사용된다. 그러나, 특히 H.264와 같은 더 새로운 코덱들에서는 다수의 가능한 참조 프레임들 중 하나가 사용될 수도 있다. 사실은, 적절한 시그널링에 의해, 각 mcblock에 대해 상이한 참조 프레임이 사용될 수 있다.

현재 프레임 내의 각 mcblock을 참조 프레임 내의 변위된 mcblock들의 세트와 비교하여 현재 mcblock을 가장 잘 예측하는 것을 결정한다. 가장 잘 매칭하는 mcblock이 발견되면, 참조 mcblock의 변위를 명시하는 움직임 벡터가 결정된다.

공간적 중복성의 활용

비디오는 정지 영상들의 시퀀스이기 때문에, JPEG와 유사한 기법들을 이용하여 어떤 압축을 달성하는 것이 가능하다. 그러한 압축 방법들은 인트라프레임 부호화(intraframe coding) 기법들이라고 불리고, 여기서 비디오의 각 프레임은 독립적으로 압축되거나 부호화된다. 인트라프레임 부호화는 프레임의 인접 화소들 간에 존재하는 공간적 중복성(spatial redundancy)을 활용한다. 인트라프레임 부호화만을 이용하여 부호화된 프레임들은 "I-프레임들"이라고 불린다.

시간적 중복성의 활용

"순방향 예측(forward prediction)"이라고 불리는 전술한 단방향 움직임 추정에서는, 부호화될 프레임 내의 목표 mcblock이 "참조 프레임(reference frame)"이라고 불리는 과거 프레임 내의 동일한 크기의 mcblock들의 세트와 매칭된다. 목표 mcblock과 "가장 잘 매칭하는" 참조 프레임 내의 mcblock은 참조 mcblock으로서 사용된다. 그 후 목표 mcblock과 참조 mcblock 간의 차이로서 예측 오차가 계산된다. 예측 mcblock들은, 일반적으로, 참조 프레임 내의 부호화된 mcblock 경계들과 정렬하지 않는다. 이 가장 잘 매칭하는 참조 mcblock의 위치는 그것과 목표 mcblock 간의 변위를 기술하는 움직임 벡터에 의해 지시된다. 이 움직임 벡터 정보도 부호화되어 예측 오차와 함께 송신된다. 순방향 예측을 이용하여 부호화된 프레임들은 "P-프레임들"이라고 불린다.

예측 오차 자체는 위에 요약한 DCT 기반 인트라프레임 부호화 기법을 이용하여 송신된다.

양방향 시간 예측

"움직임 보상 보간"이라고도 불리는 양방향 시간 예측은 움직임 비디오 코덱들의 주요한 특징이다. 양방향 예측으로 부호화된 프레임들은 2개의 참조 프레임들을 이용하는데, 전형적으로 하나는 과거의 것이고 하나는 미래의 것이다. 그러나, 특히 H.264와 같은 더 새로운 코덱들에서는 다수의 가능한 참조 프레임들 중 2개가 사용될 수도 있다. 사실은, 적절한 시그널링에 의해, 각 mcblock에 대해 상이한 참조 프레임이 사용될 수 있다.

양방향 부호화된 프레임들 내의 목표 mcblock은 과거 참조 프레임으로부터의 mcblock에 의해(순방향 예측), 또는 미래 참조 프레임으로부터의 mcblock에 의해(역방향 예측), 또는 각 참조 프레임으로부터 하나씩 2개의 mcblock들의 평균에 의해(보간) 예측될 수 있다. 모든 경우에, 참조 프레임으로부터의 예측 mcblock은 움직임 벡터와 연관되고, 따라서 mcblock마다 최대 2개의 움직임 벡터가 양방향 예측에서 사용될 수 있다. 양방향 예측된 프레임 내의 mcblock에 대한 보상된 보간이 도 4에 예시되어 있다. 양방향 예측을 이용하여 부호화된 프레임들은 "B-프레임들"이라고 불린다.

양방향 예측은 다수의 이점을 제공한다. 주요한 하나의 이점은 획득된 압축이 전형적으로 순방향(단방향) 압축만으로부터 획득될 수 있는 것보다 더 높다는 것이다. 동일한 화질을 얻기 위해서, 양방향 예측 프레임들은 순방향 예측만을 이용하는 프레임들보다 더 적은 수의 비트로 부호화될 수 있다.

그러나, 양방향 예측은 프레임들이 비순서적으로 부호화되어야 하기 때문에 부호화 프로세스에서 추가의 지연을 도입한다. 또한, 그것은 mcblock 매칭(가장 계산 집약적인 부호화 절차)이, 과거 참조 프레임에 대해 한 번 그리고 미래 참조 프레임에 대해 한 번, 각 목표 mcblock에 대해 두 번 수행되어야 하기 때문에 추가의 부호화 복잡성을 수반한다.

양방향 예측을 위한 전형적인 부호화기 아키텍처

도 5는 전형적인 양방향 비디오 부호화기를 보여준다. 부호화 전에 프레임 재정리가 일어난다고, 즉 B-프레임 예측에 사용되는 I-프레임 또는 P-프레임이 대응하는 B-프레임들 중 어느 것보다 전에 부호화되고 송신되어야 한다고 가정한다. 이 코덱에서는, B-프레임들이 참조 프레임들로서 사용되지 않는다. 아키텍처의 변화에 의해, 그것들은 H.264에서와 같을 수 있다.

감산기의 마이너스 입력에 예측을 공급하는 움직임 보상 추정기/예측기에 입력 비디오가 공급된다. 그 후 각 mcblock에 대해, 인터/인트라 분류기는 입력 화소들을 감산기의 예측 오차 출력과 비교한다. 전형적으로, 평균 제곱 예측 오차가 평균 제곱 화소 값을 초과하면, 인트라 mcblock이 결정된다. 화소들과 예측 오차 양쪽 모두의 DCT를 수반하는 더 복잡한 비교들은 약간 더 나은 성능을 내지만, 통상적으로 그 비용의 가치가 있는 것으로 여겨지지 않는다.

인트라 mcblock들에 대해 예측은 0으로 설정된다. 그렇지 않다면, 그것은 전술한 바와 같이 예측기에서 나온다. 그 후 예측 오차는 부호화되고, 다중화되어 버퍼에 전송되기 전에 DCT 및 양자화기를 거치게 된다.

양자화된 레벨들은 역양자화기에 의해 재구성된 DCT 계수들로 변환되고 그 후 그 역(inverse)은 역 DCT 유닛("IDCT")에 의해 변환되어 부호화된 예측 오차가 생성된다. 가산기는 예측 오차에 예측을 더하고 그 결과를, 예를 들어, 0 내지 255의 범위로 클리핑하여 부호화된 화소 값들을 생성한다.

B-프레임들에 대해, 움직임 보상 추정기/예측기는 화상 저장소(picture store)에 유지된 이전 프레임과 미래의 프레임 양쪽 모두를 이용한다.

I-프레임 및 P-프레임에 대해, 가산기에 의해 출력된 부호화된 화소들은 다음 화상 저장소에 기록되고, 그와 동시에 오래된 화소들은 다음 화상 저장소로부터 이전 화상 저장소로 복사된다. 실제로는, 이것은 통상적으로 메모리 주소의 간단한 변화에 의해 달성된다.

또한, 실제로는 부호화된 화소들은 화상 저장소들에 들어가기 전에 적응 디블록킹 필터에 의해 필터링될 수 있다. 이것은 특히 부호화 아티팩트들(coding artifacts)이 보이게 될 수 있는 저 비트 레이트에 대해 움직임 보상 예측을 개선한다.

양자화기 어댑터와 함께 부호화 통계 프로세서는 출력 비트레이트를 제어하고 화질을 가능한 한 많이 최적화한다.

양방향 예측을 위한 전형적인 복호화기 아키텍처

도 6은 전형적인 양방향 비디오 복호화기를 보여준다. 그것은 인버팅 프로세스들을 이용한 부호화기의 화소 재구성 부분에 대응하는 구조를 갖고 있다. 복호화 및 비디오 출력 후에 프레임 재정리가 일어난다고 가정한다. 보간 필터는 부호화기에서와 같이 움직임 보상 예측기의 출력에 배치될 수 있다.

분수 움직임 벡터 변위

도 3 및 도 4는 현재 프레임에서 복호화되고 있는 현재 mcblock의 위치에 관하여 수직으로 및 수평으로 변위되어 있는 것으로서 참조 프레임들 내의 참조 mcblock들을 보여준다. 변위의 양은 움직임 벡터라고 불리는 2차원 벡터 [dx, dy]에 의해 표현된다. 움직임 벡터들은 부호화되어 송신될 수 있거나, 그것들은 복호화기에 이미 있는 정보로부터 추정될 수 있고, 그 경우 그것들은 송신되지 않는다. 양방향 예측을 위해, 각각의 송신된 mcblock은 2개의 움직임 벡터를 필요로 한다.

가장 간단한 형태로, dx와 dy는 참조 mcblock을 변위시키기 위한 수평으로 화소 수와 수직으로 라인 수를 나타내는 부호 있는 정수들이다. 이 경우, 참조 mcblock들은 단지 참조 저장소들로부터 적절한 화소들을 판독함으로써 얻어진다.

그러나, 더 새로운 비디오 코덱들에서는 dx와 dy에 대해 분수 값들을 허용하는 것이 유익한 것으로 밝혀졌다. 전형적으로, 그것들은 변위 정확도를 4분의 1 화소까지, 즉, 정수 +- 0.25, 0.5 또는 0.75까지 허용한다.

분수 움직임 벡터들은 단순히 참조 저장소들로부터 화소들을 판독하는 것 이상을 필요로 한다. 참조 저장소 화소들 사이의 위치들에 대한 참조 mcblock 값들을 얻기 위해서는, 그들 사이를 보간하는 것이 필요하다.

단순 겹선형 보간법(simple bilinear interpolation)이 상당히 효과가 있을 수 있다. 그러나, 실제로는 이 목적으로 특별히 설계된 2차원 보간 필터들을 이용하는 것이 유익한 것으로 밝혀졌다. 사실은, 성능과 현실성의 이유로, 필터들은 종종 이동 불변 필터들(shift-invariant filters)이다. 대신에, 분수 움직임 벡터들의 상이한 값들은 상이한 보간 필터들을 이용할 수 있다.

적응 보간 필터를 이용한 움직임 보상

최적의 움직임 보상 보간 필터는 다수의 요인들에 의존한다. 예를 들어, 장면 내의 물체들은 순수한 병진으로 움직이고 있지 않을 수 있다. 2개의 차원 및 3개의 차원 양쪽 모두에서 물체 회전이 있을 수 있다. 다른 요인들은 주밍, 카메라 움직임 및 그림자에 의해 야기되는 조명 변화, 또는 변화하는 조명을 포함한다.

카메라 특성들은 그것들의 센서들의 특수한 속성으로 인해 변할 수 있다. 예를 들어, 많은 소비자 카메라들은 본질적으로 인터레이싱되고, 그것들의 출력은 인터레이싱 아티팩트가 없는 만족스럽게 보이는 화상을 제공하기 위해 디인터레이싱되어 필터링될 수 있다. 저광 조건들은 프레임마다 증가된 노출 시간을 유발하여, 움직이는 물체들의 움직임 기반 블러(motion dependent blur)로 이어질 수 있다. 화소들은 비정방형(non-square)일 수 있다.

따라서, 많은 경우에 움직임 보상 보간 필터가 이들 및 다른 외부 요인들에 적응할 수 있다면 개선된 성능을 얻을 수 있다. 그러한 시스템들에서 보간 필터들은 각각의 프레임에 대해 현재의 mcblock들과 그들의 대응 참조 mcblock들 간의 평균 제곱 오차를 최소화함으로써 설계될 수 있다. 이것들은 소위 위너 필터들(Wiener filters)이다. 그러면 필터 계수들은 실제 움직임 보상 부호화에 사용되기 위해 각 프레임의 처음에 양자화되어 송신될 것이다. H.264 및 유사한 코덱들에서는, 소수의 디블록킹 파라미터들만이 주기적으로 조정되도록 허용된다. 더욱이, 필터 동작들은 너무 비선형적이므로, 통상의 위너 필터 설계가 적용될 수 없다.

따라서, 이 기술분야에서는 부호화 동안에 디블록킹 필터들의 파라미터들을 선택하기 위한 효율적인 방식이 필요하다.

도 1은 종래의 비디오 부호화기의 블록도이다.
도 2는 종래의 비디오 복호화기의 블록도이다.
도 3은 움직임 보상 예측의 원리를 예시한다.
도 4는 양방향 시간 예측의 원리를 예시한다.
도 5는 종래의 양방향 비디오 부호화기의 블록도이다.
도 6은 종래의 양방향 비디오 복호화기의 블록도이다.
도 7은 본 발명의 실시예들에서 사용하기에 적합한 부호화기/복호화기 시스템을 예시한다.
도 8은 본 발명의 일 실시예에 따른 비디오 부호화기의 간소화된 블록도이다.
도 9는 본 발명의 일 실시예에 따른 방법을 예시한다.
도 10은 본 발명의 일 실시예에 따른 기울기 검색 방법(gradient search method)의 모범적 동작을 예시한다.
도 11은 본 발명의 다른 실시예에 따른 방법을 예시한다.
도 12는 본 발명의 다른 실시예에 따른 기울기 검색 방법의 모범적 동작을 예시한다.
도 13은 본 발명의 일 실시예에 따른 비디오 복호화기의 간소화된 블록도이다.

본 발명의 실시예들은 부호화된 비디오에 대한 디블록킹 파라미터들을 선택하기 위한 반복적 방법들을 제공한다. 이 방법에 따르면, 복호화된 화상이 다차원 디블록킹 벡터와 연관된 파라미터들에 따라 디블록킹될 수 있고, 그로부터 "디블록킹 오차"라고 불리는 오차가 추정될 수 있다. 추정된 오차가 미리 정해진 임계치를 초과한다면, 각각의 차원에서 현재의 디블록킹 벡터로부터 각각 전진된 대체의 디블록킹 벡터들이 생성될 수 있다. 이 방법은 복호화된 화상을 각각의 전진된 벡터에 따라 디블록킹할 수 있고 각각의 전진된 벡터의 디블록킹 각각으로부터 오차들을 추정할 수 있다. 마지막으로, 디블록킹 벡터는 벡터 차원들의 추정된 디블록킹 오차들로부터 유도된 기울기에 따라 다음 반복을 위해 수정될 수 있다. 이 기울기 기반 검색 방법은 효율적인 방식으로 디블록킹 파라미터들의 최종 세트에 수렴할 수 있다.

도 7은 본 발명에서 사용하기에 적합한 부호화기/복호화기 시스템(100)을 예시한다. 거기에는, 네트워크(130)를 통해 복호화기(120)와 통신하는 부호화기(110)가 구비되어 있다. 부호화기(110)는 카메라 장치를 통해 부호화기에서 로컬로 캡처되거나 저장 장치(미도시)로부터 검색될 수 있는 원본 비디오의 데이터 스트림에 대해 부호화 동작들을 수행할 수 있다. 부호화 동작들은 원본 비디오 데이터의 대역폭을 감소시키고, 그로부터 부호화된 비디오를 생성한다. 부호화기(110)는 부호화된 비디오를 네트워크(130)를 통하여 복호화기(120)에 송신할 수 있다. 복호화기(120)는 부호화기(110)에 의해 수행된 부호화 동작들을 반대로 하여 부호화된 비디오 데이터로부터 복구된 비디오 데이터 스트림을 생성할 수 있다. 부호화기(110)에 의해 수행되는 부호화 동작들은 전형적으로 손실이 있는 프로세스들이며, 따라서, 복구된 비디오 데이터는 원본 비디오 데이터의 부정확한 복제일 수 있다. 복호화기(120)는 복구된 비디오 데이터를 디스플레이 장치 상에서 렌더링할 수 있거나 그것은 복구된 비디오 데이터를 차후의 사용을 위해 저장할 수 있다.

예시된 바와 같이, 네트워크(130)는 부호화된 비디오 데이터를 부호화기(110)로부터 복호화기(120)로 전송할 수 있다. 네트워크(130)는 임의의 수의 유선 또는 무선 통신 네트워크, 컴퓨터 네트워크 또는 이들의 조합으로서 제공될 수 있다. 또한, 네트워크(130)는 전기, 광학 또는 자기 저장 장치와 같은 저장 유닛으로서 제공될 수 있다.

도 8은 본 발명에서 사용하기에 적합한 부호화기의 간소화된 블록도이다. 부호화기(200)는 블록 기반 부호화 체인(210) 및 예측 유닛(220)을 포함할 수 있다.

블록 기반 부호화 체인(210)은 감산기(212), 변환 유닛(214), 양자화기(216) 및 가변 길이 부호화기(218)를 포함할 수 있다. 감산기(212)는 원본 영상으로부터 입력 mcblock을 수신하고 예측 유닛(220)으로부터 예측 mcblock을 수신할 수 있다. 그것은 입력 mcblock으로부터 예측 mcblock을 감산하여, 화소 잔차들의 블록(block of pixel residuals)을 생성할 수 있다. 변환 유닛(214)은 mcblock의 잔차 데이터를 전형적으로 이산 코사인 변환("DCT") 또는 웨이블렛 변환인 공간 변환에 따라 변환 계수의 어레이로 변환할 수 있다. 양자화기(216)는 각 블록의 변환 계수들을 양자화 파라미터("QP")에 따라 트렁케이트(truncate)할 수 있다. 트렁케이션에 사용되는 QP 값들은 채널에서 복호화기에 송신될 수 있다. 가변 길이 부호화기(218)는 양자화된 계수들을 엔트로피 부호화 알고리즘, 예를 들어, 가변 길이 부호화 알고리즘에 따라 부호화할 수 있다. 가변 길이 부호화 후에, 각 mcblock의 부호화된 데이터는 채널을 통한 복호화기로의 송신을 기다리기 위해 버퍼(240)에 저장될 수 있다.

예측 유닛(220)은 역양자화 유닛(222), 역변환 유닛(224), 가산기(226), 디블록킹 필터(228), 참조 화상 캐시(230), 움직임 보상 예측기(232) 및 움직임 추정기(234)를 포함할 수 있다. 역양자화 유닛(222)은 부호화된 비디오 데이터를 양자화기(216)에 의해 사용된 QP에 따라 양자화할 수 있다. 역변환 유닛(224)은 역양자화된 계수들을 화소 도메인으로 변환할 수 있다. 가산기(226)는 역변환 유닛(224)으로부터 출력된 화소 잔차들과 움직임 보상 예측기(232)로부터의 예측 움직임 데이터를 가산할 수 있다. 디블록킹 필터(228)는 복구된 mcblock과 동일 프레임의 다른 복구된 mcblock 사이의 경계 부분들(seams)에서 복구된 영상 데이터를 필터링할 수 있다. 참조 화상 캐시(230)는 복구된 프레임들을 차후 수신된 mcblock들의 부호화 동안에 참조 프레임들로서 사용하기 위해 저장할 수 있다.

움직임 보상 예측기(232)는 블록 부호화기(210)에 의해 사용될 예측 mcblock을 생성할 수 있다. 움직임 추정기(234)는 부호화되는 원본 영상과 참조 화상 캐시(230)에 저장된 참조 프레임(들) 간의 영상 움직임을 추정할 수 있다. 그것은 사용될 예측 모드(예를 들어, 단방향 P-부호화 또는 양방향 B-부호화)를 선택하고, 그러한 예측 부호화에 사용될 움직임 벡터들을 생성할 수 있다. 움직임 벡터들은 움직임 보상 예측기(232)에 그리고 채널에 출력될 수 있다. 이에 응답하여, 움직임 보상 예측기(232)는 참조 화상 캐시(230)로부터 예측 mcblock을 검색할 수 있고 그 예측 블록을 블록 부호화기(210)에 출력할 수 있다. 임의적으로, 움직임 보상 예측기(232)는 검색된 mcblock을 블록 부호화기(210)에 출력하기 전에 그것에 대해 보간 필터링을 수행할 수 있다(미도시).

디블록킹 필터(228)의 동작은 제어 파라미터들에 기초하여 변할 수 있다. 부호화기에서는, 제어 로직(미도시)이 예측 유닛에 의해 생성된 부호화된 영상 데이터를 검토할 수 있고 부호화된 영상 데이터를 원본 영상들의 데이터와 비교하여 어떤 파라미터들이 부호화 오차를 최소화하는지를 판정할 수 있다. 일 실시예에서, 그 선택 프로세스는 적절한 파라미터들의 세트에 빠르게 수렴하기 위해 후보 파라미터 값들을 통한 기울기 검색 프로세스에 의해 증강될 수 있다. 적절한 파라미터들이 선택되면, 복호화에 사용하기 위해 복호화기에 파라미터 식별자들이 송신될 수 있다. 예를 들어, 화상 내의 각 mcblock에 대해 또는 더 큰 엔티티들(예를 들어, 매크로블록들 또는 슬라이스들)에 대해 디블록킹 파라미터들이 송신될 수 있다. 이 디블록킹 파라미터들은 부호화된 mcblock들의 다른 데이터(예를 들어, 움직임 벡터들, 양자화 파라미터들 및 부호화된 잔차들)와 함께 송신될 수 있다.

도 9는 본 발명의 일 실시예에 따른 방법(300)을 예시한다. 방법(300)은 원본 화상을 부호화 및 복호화하고(박스 310), 그 후 그 화상에 대해 현재의 디블록킹 벡터와 연관된 디블록킹 파라미터들을 사용하여 디블록킹을 수행하는 것(박스 320)으로 시작할 수 있다. 방법(300)의 제1 반복에서, 벡터는 디폴트 값으로 설정될 수 있다. 방법(300)은 디블록킹된 화상과 연관된 오차를 계산하고(박스 330) 그 오차를 미리 정해진 임계치와 비교할 수 있다(박스 340). 그 오차가 미리 정해진 임계치보다 작다면, 방법(300)은 부호화된 화상 데이터와 현재의 디블록킹 벡터를 복호화기에 송신할 수 있고(박스 350) 방법(300)은 현재의 화상에 대해 종료할 수 있다.

디블록킹 파라미터들은 다수의 값을 갖는 N차원 벡터를 나타내는 것으로 생각될 수 있다. 예를 들어, H.264는 영상 부호화 시에 부호화기에 의해 정의될 수 있는 2개의 파라미터, 즉 slice_alpha_c0_offset_div2 및 slice_beta_offset_div2(본 명세서에서 "α" 및 "β"라고 함)를 정의한다. H.264 구현에 적용될 때, 디블록킹 파라미터들은 2차원 벡터로 간주될 수 있다. 미래의 부호화 프로토콜들은 도 9의 방법(300)의 맥락에서 고려될 때 3차원, 4차원 또는 더 고차원 공간들로서 표현될 수 있는 추가의 디블록킹 파라미터 유형들을 정의할 수 있다.

박스 340의 비교에서 오차가 임계치를 초과한다고 판정할 때, 방법(300)은 새로운 디블록킹 벡터에 대한 다차원 검색을 수행할 수 있다. 구체적으로, 방법(300)은 각 차원 i에서 개별적으로 현재의 벡터를 증가시킬 수 있다(박스 360). 방법(300)은 증가된 벡터들 각각과 연관된 파라미터들을 이용하여 부호화된 화상의 디블록킹을 수행하고(박스 370) 원본 화상과 디블록킹된 화상 간의 오차를 계산할 수 있다(박스 380). N차원 벡터 공간에는, 이로부터 얻어진 N개의 디블록킹된 화상과 N개의 오차 값이 있을 수 있다. 방법(300)은 박스 330에서 얻어진 오차 값을 박스 380에서의 각 차원 계산으로부터 얻어진 오차들과 비교함으로써 기울기(gradient) 값을 계산할 수 있다(박스 390). 방법(300)은 기울기로부터 새로운 벡터를 생성하고(박스 400) 박스 320으로 돌아가서 분석의 또 다른 반복을 수행할 수 있다.

기울기 값은 N차원 벡터일 수 있고 각 차원 i의 성분은 박스 330으로부터의 디블록킹 오차와 박스 380으로부터 얻어진 차원 오차의 비교에 의해 얻어질 수 있다. 예를 들어, 기울기 벡터 G는 다음과 같이 계산될 수 있다:

G = [G₁, G₂, ..., G_N]

여기서 기울기 벡터의 각 성분 G_i에 대해 G_i = err_i - err_DBLK

방법(300)은 또한 새로운 디블록킹 벡터 V를 다음과 같이 생성할 수 있다:

여기서 w는 알고리즘의 스텝 사이즈를 나타내고 각 차원 성분 V_i는 정수 값들을 갖도록 반올림된다(rounded). 스텝 사이즈 w는 프로그램 가능한 값으로, 통상적으로 각 차원에서의 디블록킹 벡터 공간의 사이즈에 기초한다.

예를 들어, H.264 구현에 적용될 때, 방법(300)은 기울기 벡터 G를

로서 생성할 수 있고, 여기서 err_α 및 err_β는 α 차원 및 β 차원에서 각각 박스 380에 의해 얻어진 오차 값들이다. 방법(300)은 또한 새로운 디블록킹 벡터 [α,β]_new를 다음과 같이 생성할 수 있다:

여기서 다시, [α,β]_new는 정수 값들을 갖도록 반올림된다. 실제로, w=1.4의 값이 만족스러운 결과를 줄 수 있다.

동작 중에, 도 9의 기울기 검색 방법(300)은 몇 차례 반복을 통하여 임계치보다 낮은 오차를 생성하는(박스 340) 디블록킹 파라미터들의 세트에 수렴할 수 있을 것으로 예상된다. 방법(300)의 다른 실시예들은 마음에 들게 낮은 오차 상황이 달성되기 전에 동작을 종료하는 다른 테스트들을 수용한다.

예를 들어, 부호화된 화상이 복호화된 후에(박스 310), 방법(300)은 복호화 오차를 계산하고 그것을 또 다른 임계치와 비교할 수 있다(박스 410). 복호화 오차가 임계치보다 작다면, 방법(300)은 부호화된 화상이 디블록킹 파라미터들 없이 복호화기에 송신되게 할 수 있다(박스 420). 그러한 테스트는 유리하게도 적절한 화질을 달성하는 데 디블록킹이 불필요하다고 판정하며, 따라서, 박스들 320-400의 동작들을 수행하기 위해 요구되는 프로세싱 리소스들이 절약될 수 있다.

다른 실시예에서, 박스 340에서 결정된 오차가 임계치보다 크다면, 방법(300)은 추가로 현재의 반복과 이전의 반복 간의 오차의 변화("Δ오차"로서 표시됨)를 결정할 수 있다. 제1 반복이 실행중인 경우, 현재의 오차 값 및 박스 410에서 얻어진 복호화 오차 값으로부터 Δ오차를 유도하는 것이 허용된다. 대안으로, 제1 반복은 박스 420을 생략할 수 있다. 방법(300)은 Δ오차 값을 또 다른 임계치와 비교할 수 있다(박스 430). Δ오차 값이 미리 정해진 임계치를 초과한다면, 이는 기울기 검색 방법의 수렴률(rate of convergence)이 방법(300)의 추가 실행을 정당화하기에 충분할 만큼 영상 강조(image enhancement)를 개선할 것 같지 않다는 것을 암시할 수 있다. 이 경우, 방법(300)은 박스 350으로 진행하고 부호화된 화상의 데이터와 디블록킹 벡터를 복호화기에 송신할 수 있다.

추가 실시예에서, 방법(300)이 새로운 벡터를 설정한 후(박스 400), 방법(300)은 새로운 벡터가 방법의 어떤 이전 반복 동안 사용되었는지를 결정할 수 있다(박스 440). 만약 그렇다면, 그것은 방법(300)의 추가 실행이 현재의 반복까지 얻어진 결과들 이상으로 영상 강조를 개선할 것 같지 않다는 것을 시사할 수 있다. 이 경우, 방법(300)은 박스 350으로 진행하고 박스 400의 동작 이전에 얻어진 부호화된 화상의 데이터와 디블록킹 벡터를 복호화기에 송신할 수 있다.

그리고, 또 다른 실시예에서, 방법(300)은 박스 350에 도달하기에 충분할 만큼 낮은 오차를 생성하지 않고 박스들 320-400의 미리 정해진 수의 반복이 수행되었다면 종료될 수 있다.

많은 구현들에서, 각각의 디블록킹 파라미터 차원의 가능한 값들의 범위는 유한할 것이다. 예를 들어, H.264 구현에서, α와 β 값들은 각각 -6과 6 사이의 값을 가진 정수들이어야 한다. 일 실시예에서, 특정 차원 i에서 벡터를 증가시키는 프로세스(박스 360)에 따라 증가된 값이 합법적인 값을 초과하게 될 경우에는(예를 들어, α=7), 증가된 값이 한계 값(α=6)으로 설정되어야 하고 각각의 차원과 연관된 박스들 370-380의 처리는 생략될 수 있다. 그 경우, 각각의 차원과 연관된 오차_i 값은 박스 330에서 유도된 오차 값과 같은 것으로 추정될 수 있다.

추가 실시예에서, 방법(300)이 오차 값들로부터 기울기를 계산할 경우(박스 390), 방법(300)은 추가로 박스 330에서 얻어진 디블록킹 오차에 대한 기울기의 크기의 비율을 계산하고 그 비율을 또 다른 임계치와 비교할 수 있다(박스 450). 그 비율이 임계치보다 작다면, 방법(300)은 박스 350으로 진행하고 박스 320에서 사용된 부호화된 화상의 데이터와 디블록킹 벡터를 복호화기에 송신할 수 있다.

구현 동안에, 박스들 340, 410 및 430-450에서의 비교에 사용된 임계치 값들은 개개의 요구에 맞도록 조정될 수 있는 프로그램 가능한 값들일 수 있다. 그 임계치들은 정적인 미리 프로그램된 값들로서 설정될 수 있다. 대안으로, 그것들은 동작 중에 동적으로 변화할 수 있다. 예를 들어, 임계치 값들은 각각의 화상에 할당된 부호화 동작의 유형(예를 들어, I-, P- 또는 B-부호화)에 기초하여 변화할 수 있거나 화상을 부호화하는 데 사용되는 양자화 파라미터에 기초하여 변화할 수 있다. 임계치 값들은 부호화기에서의 부호화 동작들을 지배한 목표 비트레이트 예산에 기초하여 변화할 수 있다. 더욱이, 임계치 값들은 목표 복호화기, 예를 들어, 비디오 데이터가 부호화되고 있는 대상인 대형 스크린 장치들(랩톱, 태블릿 컴퓨터) 또는 소형 스크린 장치(휴대용 미디어 플레이어, 스마트폰)를 기술하는 데이터에 기초하여 변화할 수 있다.

도 10은 모범적 디블록킹 매트릭스에 대해 수행되는 도 9의 기울기 검색 방법의 동작을 예시한다. 도시된 바와 같이, 디블록킹 매트릭스는 값들 α, β에 의해 인덱싱되는 2차원 13×13 매트릭스이다. 이 예는 H.264 구현에서 사용될 수 있는 디블록킹 매트릭스에 대응한다. α와 β 값들에 의해 인덱싱되는 각 셀 위치는 복호화기에 의해 적용될 수 있는 디블록킹 파라미터들의 세트와 연관된다. 동작 중에, 부호화기는 α와 β의 식별자들을 송신할 수 있고, 복호화기는 그것들을 사용하여 저장된 매트릭스로부터 디블록킹 필터 파라미터들을 검색한다.

방법의 제1 반복에서, 디블록킹 벡터(510)는 디폴트 값, 예를 들어, [0,0]으로 설정될 수 있다. 그 디블록킹 벡터(510)와 연관된 파라미터들을 이용하여 제1 디블록킹 동작이 수행될 수 있다. 그로부터 얻어진 오차가 방법을 종료하기에 불충분하다고 가정하여, 디블록킹 벡터는 각 차원에서 증가될 수 있다. 2차원 벡터 공간에서, 이것은 한 쌍의 증가된 벡터들(520, 530)을 생성한다. 한 쌍의 디블록킹 동작들이 수행될 수 있고, 각 동작은 각각의 증가된 벡터(520, 530)와 연관된 파라미터들을 이용한다. 그 한 쌍의 디블록킹 동작들과 연관된 오차 값들과 최초의 디블록킹 벡터(510)로부터 얻어진 오차 값으로부터 기울기 벡터 G가 유도될 수 있다. 그 후, 기울기 벡터 G로부터 유도된 업데이트된 디블록킹 벡터(540)를 이용하여 또 다른 반복이 수행될 수 있고, 그로부터 얻어진 오차가 방법의 동작을 종료하기에 불충분하다면, 또 다른 한 쌍의 증가된 벡터들(550, 560)이 계산될 수 있다. 이 동작은 정지점에 도달할 때까지 새로운 디블록킹 벡터들, 증가된 디블록킹 벡터들 및 기울기 벡터들(미도시)을 생성하면서 계속될 수 있다.

2차원의 경우에, 도 9의 방법의 동작은 다음과 같은 프로세스 흐름에 의해 수행될 수 있다:

도 11은 본 발명의 일 실시예에 따른 방법(600)을 예시한다. 이 방법(600)은 원본 화상을 부호화 및 복호화하고(박스 610), 그 후 현재의 디블록킹 벡터와 연관된 디블록킹 파라미터들을 이용하여 화상에 대해 디블록킹을 수행하는 것(박스 620)으로 시작할 수 있다. 방법(600)의 제1 반복에서, 벡터는 디폴트 값으로 설정될 수 있다. 방법(600)은 디블록킹된 화상과 연관된 오차를 계산하고(박스 630) 그 오차를 미리 정해진 임계치와 비교할 수 있다(박스 640). 그 오차가 미리 정해진 임계치보다 작다면, 방법(600)은 부호화된 화상 데이터와 현재의 디블록킹 벡터를 복호화기에 송신할 수 있고(박스 650) 방법(600)은 현재의 화상에 대해 종료할 수 있다.

디블록킹 파라미터들은 다수의 값을 갖는 N차원 벡터를 나타내는 것으로 생각될 수 있다. 도 9의 실시예에서와 같이, H.264 구현에 적용될 때, α 및 β 파라미터들은 2차원 벡터로 간주될 수 있다. 미래의 부호화 프로토콜들은 도 11의 방법(600)의 맥락에서 고려될 때 3차원, 4차원 또는 더 고차원 공간들로서 표현될 수 있는 추가의 디블록킹 파라미터 유형들을 정의할 수 있다.

박스 640의 비교에서 오차가 임계치를 초과한다고 판정할 때, 방법(600)은 새로운 디블록킹 벡터에 대한 다차원 검색을 수행할 수 있다. 구체적으로, 방법(600)은 차원 i에 대한 지배 검색 방향에 따라 각 차원 i에서 개별적으로 현재의 벡터를 전진시킬 수 있다(박스 660). 방법(600)은 전진된 벡터들 각각과 연관된 파라미터들을 이용하여 부호화된 화상의 디블록킹을 수행하고(박스 670) 원본 화상과 디블록킹된 화상 간의 오차를 계산할 수 있다(박스 680). N차원 벡터 공간에는, 이로부터 얻어진 N개의 디블록킹된 화상과 N개의 오차 값이 있을 수 있다. 방법(600)은 박스 630에서 얻어진 오차 값을 박스 680에서의 각 차원 계산으로부터 얻어진 오차들과 비교함으로써 기울기(gradient) 값을 계산할 수 있다(박스 690). 방법(600)은 기울기로부터 새로운 벡터를 생성하고(박스 700) 박스 620으로 돌아가서 분석의 또 다른 반복을 수행할 수 있다.

기울기 값은 N차원 벡터일 수 있고 각 차원 i의 성분은 박스 630으로부터의 디블록킹 오차와 박스 680으로부터 얻어진 차원 오차의 비교에 의해 얻어질 수 있다. 예를 들어, 기울기 벡터 G는 다음과 같이 계산될 수 있다:

G = [G₁, G₂, ..., G_N]

여기서 기울기 벡터의 각 성분 G_i에 대해

이다. 상기 식에서, DIR_i는 값들 -1 또는 1을 갖는, 각각의 차원에 대한 지배 검색 방향을 나타낸다.

방법(600)은 또한 새로운 디블록킹 벡터 V를 다음과 같이 생성할 수 있다:

여기서 w는 알고리즘의 스텝 사이즈를 나타내고 각 차원 성분 V_i는 정수 값들을 갖도록 반올림된다(rounded). 스텝 사이즈 w는 프로그램 가능한 값으로, 통상적으로 각 차원에서의 디블록킹 벡터 공간의 사이즈에 기초한다.

예를 들어, H.264 구현에 적용될 때, 방법(600)은 기울기 벡터 G를

로서 생성할 수 있고, 여기서 err_α 및 err_β는 α 차원 및 β 차원에서 각각 박스 380에 의해 얻어진 오차 값들이고 DIR_α 및 DIR_β는 검색 방향 지시자들이다. 방법(600)은 또한 새로운 디블록킹 벡터 [α,β]_new를 다음과 같이 생성할 수 있다:

여기서 다시, [α,β]_new는 정수 값들을 갖도록 반올림된다. 실제로, w=1.4의 값이 만족스러운 결과를 줄 수 있다.

동작 중에, 도 11의 기울기 검색 방법(600)은 몇 차례 반복을 통하여 임계치보다 낮은 오차를 생성하는(박스 640) 디블록킹 파라미터들의 세트에 수렴할 수 있을 것으로 예상된다. 방법(600)의 다른 실시예들은 마음에 들게 낮은 오차 상황이 달성되기 전에 동작을 종료하는 다른 테스트들을 수용한다.

예를 들어, 부호화된 화상이 복호화된 후에(박스 610), 방법(600)은 복호화 오차를 계산하고 그것을 또 다른 임계치와 비교할 수 있다(박스 710). 복호화 오차가 임계치보다 작다면, 방법(600)은 부호화된 화상이 디블록킹 파라미터들 없이 복호화기에 송신되게 할 수 있다(박스 720). 그러한 테스트는 유리하게도 적절한 화질을 달성하는 데 디블록킹이 불필요하다고 판정하며, 따라서, 박스들 620-700의 동작들을 수행하기 위해 요구되는 프로세싱 리소스들이 절약될 수 있다.

다른 실시예에서, 박스 640에서 결정된 오차가 임계치보다 크다면, 방법(600)은 추가로 현재의 반복과 이전의 반복 간의 오차의 변화("Δ오차"로서 표시됨)를 결정할 수 있다. 제1 반복이 실행중인 경우, 현재의 오차 값 및 박스 710에서 얻어진 복호화 오차 값으로부터 Δ오차를 유도하는 것이 허용된다. 대안으로, 제1 반복은 박스 720을 생략할 수 있다. 방법(600)은 Δ오차 값을 또 다른 임계치와 비교할 수 있다(박스 730). Δ오차 값이 미리 정해진 임계치를 초과한다면, 이는 기울기 검색 방법의 수렴률이 방법(600)의 추가 실행을 정당화하기에 충분할 만큼 영상 강조를 개선할 것 같지 않다는 것을 암시할 수 있다. 이 경우, 방법(600)은 박스 650으로 진행하고 부호화된 화상의 데이터와 디블록킹 벡터를 복호화기에 송신할 수 있다.

추가 실시예에서, 방법(600)이 새로운 벡터를 설정한 후(박스 700), 방법(600)은 새로운 벡터가 방법의 어떤 이전 반복 동안 사용되었는지를 결정할 수 있다(박스 740). 만약 그렇다면, 그것은 방법(600)의 추가 실행이 현재의 반복까지 얻어진 결과들 이상으로 영상 강조를 개선할 것 같지 않다는 것을 시사할 수 있다. 이 경우, 방법(600)은 박스 650으로 진행하고 박스 700의 동작 이전에 얻어진 부호화된 화상의 데이터와 디블록킹 벡터를 복호화기에 송신할 수 있다.

그리고, 또 다른 실시예에서, 방법(600)은 박스 650에 도달하기에 충분할 만큼 낮은 오차를 생성하지 않고 박스들 620-700의 미리 정해진 수의 반복이 수행되었다면 종료될 수 있다.

많은 구현들에서, 각각의 디블록킹 파라미터 차원의 가능한 값들의 범위는 유한할 것이다. 예를 들어, H.264 구현에서, α와 β 값들은 각각 -6과 6 사이의 값을 가진 정수들이어야 한다. 일 실시예에서, 특정 차원 i에서 벡터를 전진시키는 프로세스(박스 660)에 따라 전진된 값이 합법적인 값을 초과하게 될 경우에는(예를 들어, α=-7), 전진된 값이 한계 값(α=-6)으로 설정되어야 하고 각각의 차원과 연관된 박스들 670-680의 처리는 생략될 수 있다. 그 경우, 각각의 차원과 연관된 오차_i 값은 박스 630에서 유도된 오차 값과 같은 것으로 추정될 수 있다.

추가 실시예에서, 방법(600)이 오차 값들로부터 기울기를 계산할 경우(박스 690), 방법(600)은 추가로 박스 630에서 얻어진 디블록킹 오차에 대한 기울기의 크기의 비율을 계산하고 그 비율을 또 다른 임계치와 비교할 수 있다(박스 750). 그 비율이 임계치보다 작다면, 방법(600)은 박스 650으로 진행하고 박스 620에서 사용된 부호화된 화상의 데이터와 디블록킹 벡터를 복호화기에 송신할 수 있다.

구현 동안에, 박스들 640, 710 및 730-750에서의 비교에 사용된 임계치 값들은 개개의 요구에 맞도록 조정될 수 있는 프로그램 가능한 값들일 수 있다. 그 임계치들은 정적인 미리 프로그램된 값들로서 설정될 수 있다. 대안으로, 그것들은 동작 중에 동적으로 변화할 수 있다. 예를 들어, 임계치 값들은 각각의 화상에 할당된 부호화 동작의 유형들(예를 들어, I-, P- 또는 B-부호화)에 기초하여 변화할 수 있거나 화상을 부호화하는 데 사용되는 양자화 파라미터에 기초하여 변화할 수 있다. 임계치 값들은 부호화기에서의 부호화 동작들을 지배한 목표 비트레이트 예산에 기초하여 변화할 수 있다. 더욱이, 임계치 값들은 목표 복호화기, 예를 들어, 비디오 데이터가 부호화되고 있는 대상인 대형 스크린 장치들(랩톱, 태블릿 컴퓨터) 또는 소형 스크린 장치(휴대용 미디어 플레이어, 스마트폰)를 기술하는 데이터에 기초하여 변화할 수 있다.

도 12는 모범적 디블록킹 매트릭스에 대해 수행되는 도 11의 기울기 검색 방법의 동작을 예시한다. 도시된 바와 같이, 디블록킹 매트릭스는 값들 α, β에 의해 인덱싱되는 2차원 13×13 매트릭스이다. 이 예는 H.264 구현에서 사용될 수 있는 디블록킹 매트릭스에 대응한다. α와 β 값들에 의해 인덱싱되는 각 셀 위치는 복호화기에 의해 적용될 수 있는 디블록킹 파라미터들의 세트와 연관된다. 동작 중에, 부호화기는 α와 β의 식별자들을 송신할 수 있고, 복호화기는 그것들을 사용하여 저장된 매트릭스로부터 디블록킹 필터 파라미터들을 검색한다.

방법의 제1 반복에서, 디블록킹 벡터(810)는 디폴트 값, 예를 들어, [0,0]으로 설정될 수 있다. 그 디블록킹 벡터(810)와 연관된 파라미터들을 이용하여 제1 디블록킹 동작이 수행될 수 있다. 그로부터 얻어진 오차가 방법을 종료하기에 불충분하다고 가정하여, 디블록킹 벡터는 디폴트 방향에 따라 각 차원에서 전진될 수 있다. 2차원 벡터 공간에서, 이것은 한 쌍의 증가된 벡터들(820, 830)을 생성한다. 한 쌍의 디블록킹 동작들이 수행될 수 있고, 각 동작은 각각의 증가된 벡터(820, 830)와 연관된 파라미터들을 이용한다. 그 한 쌍의 디블록킹 동작들과 연관된 오차 값들과 최초의 디블록킹 벡터(810)로부터 얻어진 오차 값으로부터 기울기 벡터 G가 유도될 수 있다. 그 후, 기울기 벡터 G로부터 유도된 업데이트된 디블록킹 벡터(840)를 이용하여 또 다른 반복이 수행될 수 있고, 그로부터 얻어진 오차가 방법의 동작을 종료하기에 불충분하다면, 또 다른 한 쌍의 전진된 벡터들(850, 860)이 계산될 수 있다. 제2 반복에서, 차원 벡터들(850, 860)은 제1 반복의 기울기 벡터 G의 네거티브에 해당하는 방향으로 전진될 수 있다. 이 동작은 정지점에 도달할 때까지 새로운 디블록킹 벡터들, 증가된 디블록킹 벡터들 및 기울기 벡터들(미도시)을 생성하면서 계속될 수 있다.

2차원의 경우에, 도 11의 방법의 동작은 다음과 같은 프로세스 흐름에 의해 수행될 수 있다:

전술한 방법들에서, 값 w는 디블록킹 매트릭스 내에서 기울기 벡터 G의 계산 동안에 사용되는 스트라이드 길이(stride length)를 나타낸다. 전술한 바와 같이, 스트라이드 길이 w는 1.4와 같은 미리 정해진 값으로 설정될 수 있다. 다른 실시예에서, 스트라이드 길이 w는 동적으로 설정될 수 있다. 예를 들어, 스트라이드 길이 w는 (3.5와 같은) 더 큰 값으로 설정될 수 있고 방법들의 동작 중에 개선될 수 있다(refined). 그러한 실시예에서, 스트라이드 길이 w는 w = a*w(여기서 a<1) 또는 w = w-a에 따라 스케일링 팩터에 의해 감소될 수 있다. 또한, 스트라이드 길이 w의 감소는 디블록킹 필터들의 성능의 관찰 가능한 오차에 기초하여 동적으로 설정될 수 있다. 각각의 새로운 디블록킹 동작(상기 박스들 320 또는 620)이 수행될 때, 현재 반복의 디블록킹 오차와 이전 반복의 디블록킹 오차 간의 비교가 행해질 수 있다. 오차 값들의 비율이 미리 정해진 임계치보다 작다면(예를 들어,

), 스트라이드 길이는 그 비율이 임계치를 초과하는 경우보다 더 적극적으로 수정될 수 있다.

전술한 실시예들에서, 방법들(300 및 600)은 제1 반복의 디블록킹 벡터를 디블록킹 매트릭스의 중심(예를 들어, [0,0])에 초기화하였다. 다른 실시예들은 수렴 속도를 높이기 위해 디블록킹 벡터들을 다른 값들에 초기화할 수 있다. 예를 들어, 일 실시예에서, 디블록킹 벡터는 처음에 이전 화상에 대한 이 방법의 실행 동안에 마지막으로 얻어진 벡터로 설정될 수 있다. 대안으로, 디블록킹 벡터는 처음에 공통 부호화 유형의 이전 화상(예를 들어, B 화상에 대해 동작할 경우 이전 B 화상 또는 P 화상에 대해 동작할 경우 이전 P 화상)의 처리 중에 마지막으로 얻어진 벡터로 설정될 수 있다. 또 다른 실시예에서, 초기 디블록킹 벡터들은 처리중인 화상과 유사한 움직임 벡터들을 나타내거나 공통의 참조 화상들을 참조하는 이전 화상들의 처리 중에 얻어진 벡터들의 값들로 설정될 수 있다. 대안으로, 디블록킹 벡터는 처음에 양자화 파라미터들, 화소 종횡비, 부호화율(coding rate), 잡음 레벨 또는 영상 복잡성과 같은 공통 부호화 파라미터들을 나타내는 다른 화상들의 처리로부터 얻어진 값으로 설정될 수 있다.

본 발명의 원리들은 다양한 유형의 오차 계산들에서 응용될 수 있다. 예를 들어, 박스들 330 및 380(도 9)에서 박스들 630 및 680(도 11)에서 수행된 오차 계산들은

형태의, 문제가 되고 있는 화상들 사이의 평균 제곱 오차를 계산함으로써 계산될 수 있고, 여기서 p1, p2는 한 쌍의 프레임들로부터의 화상들을 나타내고 i,j는 그 화상들 내의 화소 위치들을 나타낸다. 오차 값들은 임계치들과 비교될 수 있는 스칼라 값들일 수 있다.

다른 실시예에서, 오차 계산은

형태의 가중 평균 제곱 오차 계산으로서 수행될 수 있고, 여기서 d_{i ,j}는 복호화된 블록들 사이의 가장 가까운 경계로부터 각각의 화소의 거리를 나타낸다. 그러한 실시예는 블록킹 아티팩트들이 가장 눈에 띄기 쉬운 블록 경계들에서 나타나는 오차들에 상대적으로 더 높은 가중치들을 할당할 수 있다.

추가 실시예에서, 오차 계산은 블록 경계의 에지로부터 미리 정해진 거리 이내에 있고 수학적으로 공통의 부호를 나타내는 각 화소의 오차들을 합산할 수 있다. 각 화소의 오차는 에지로부터의 거리에 따라 가중될 수 있다. 그 결과는 제곱되고 화상에 걸쳐 평균될 수 있다. 이 실시예에서, 오차 계산은 블록 에지들에 가까운 화소들에 더 큰 가중치를 할당할 뿐만 아니라 에지들을 따르는 공통 오차들에도 더 큰 가중치를 부여할 수 있다. 공통 부호를 갖는 오차들은 랜덤 잡음 오차들보다 더 눈에 보이기 쉽다.

또 다른 실시예에서는, 평균 제곱 오차 기준을 사용하는 대신에, 오차 계산은 주관적으로 의미 있는 오차를 고려하는 오차 모델들을 이용하여 수행될 수 있다. 예를 들어, 오차 계산은 원본과 부호화된 비디오 간에 눈에 띄는 변형(distortion)이 없는 것에 대한 최소 시거리(Minimum Viewing Distance; "MVD")를 계산할 수 있다. 이 메트릭은 제로 JND(Just Noticeable Distortion)에 대한 최소 시거리라고도 불린다. 이 실시예에서, JND 값들은 "Quality Metric for Coded Video Using Just Noticeable Difference Models"라는 제목의 동시 계류중인 출원 제12/415,340호에 개시된 바와 같이 계산될 수 있다. 박스들 340(도 9) 또는 640(도 11)에서, 계산된 MVD가 미리 정해진 임계치보다 작다면, 방법은 박스들 350 또는 650으로 각각 진행할 수 있다.

전술한 설명에서는, 오차 계산들이 원본 화상과 복호화된 디블록킹된 화상 간의 오차를 결정하는 것으로 설명되었다. 다른 실시예에서, 오차 계산은 필터링되지 않은 원본 화상들보다는 필터링된 원본 화상들을 이용하여 수행될 수 있다. 이런 식으로, 전술한 방법들은 각 화상(또는 화상의 일부)에 대해 필터링된 부호화되지 않은 현재 mcblock들과 디블록킹된 부호화된 현재 mcblock들 간의 오차를 계산할 것이다. 부호화되지 않은 현재 mcblock들을 필터링하는 데 사용되는 필터들은 표준화되거나 복호화기에 전달되지 않아도 된다. 그것들은 전술한 것들과 같은 파라미터들에 또는 입력되는 비디오 내의 잡음의 레벨과 같은 복호화기에 알려지지 않은 다른 것들에 적응할 수 있다. 그것들은 선명한 에지들에 추가의 가중치를 부여하기 위하여 높은 공간 주파수들을 강조할 수 있다.

도 13은 본 발명의 일 실시예에 따른 복호화기(900)의 간소화된 블록도이다. 복호화기(900)는 가변 길이 복호화기(910), 역양자화기(920), 역변환 유닛(930), 가산기(940), 프레임 버퍼(950) 및 디블록킹 필터(960)를 포함할 수 있다. 복호화기(900)는 참조 화상 캐시(970)와 움직임 보상 예측기(980)를 포함하는 예측 유닛을 더 포함할 수 있다.

가변 길이 복호화기(910)는 채널 버퍼로부터 수신된 데이터를 복호화할 수 있다. 가변 길이 복호화기(910)는 부호화된 계수 데이터를 역양자화기(920)에 전송하고, 움직임 벡터들을 움직임 보상 예측기(980)에 전송하고, 디블록킹 벡터 데이터를 디블록킹 필터(960)에 전송할 수 있다. 역양자화기(920)는 역 가변 길이 복호화기(910)로부터 수신된 계수 데이터를 양자화 파라미터와 곱할 수 있다. 역변환 유닛(930)은 역양자화기(920)로부터 수신된 역양자화된 계수 데이터를 화소 데이터로 변환할 수 있다. 역변환 유닛(930)은, 그 이름이 암시하는 바와 같이, 부호화기의 변환 유닛에 의해 수행된 변환 동작들(예를 들어, DCT 또는 웨이블렛 변환)의 역(converse)을 수행할 수 있다. 가산기(940)는, 화소마다(on a pixel-by-pixel basis), 역변환 유닛(930)에 의해 얻어진 화소 잔차 데이터를 움직임 보상 예측기(980)로부터 얻어진 예측 화소 데이터와 가산할 수 있다. 가산기(940)는 복원된 mcblock 데이터를 출력할 수 있고, 이 데이터로부터 복원된 프레임이 구성되어 디스플레이 장치(미도시)에서 렌더링될 수 있다. 프레임 버퍼(950)는 복호화된 mcblock들을 축적하고 그로부터 재구성된 프레임들을 형성할 수 있다. 디블록킹 필터(960)는 채널에 의해 식별된 필터링 파라미터들에 따라 복원된 프레임 데이터에 대해 디블록킹 필터링 동작들을 수행할 수 있다.

참조 화상 캐시(970) 및 움직임 보상 예측기(980)를 통해 움직임 보상 예측이 행해질 수 있다. 참조 화상 캐시(970)는 참조 프레임들(예를 들어, I- 또는 P-프레임들)로서 식별된 프레임들에 대해 디블록킹 필터(960)에 의해 출력된 복원된 영상 데이터를 저장할 수 있다. 움직임 보상 예측기(980)는 채널로부터 수신된 mcblock 움직임 벡터 데이터에 응답하여, 참조 화상 캐시(970)로부터 참조 mcblock(들)을 검색할 수 있다. 움직임 보상 예측기는 참조 mcblock을 가산기(940)에 출력할 수 있다.

전술한 설명은 본 발명의 다양한 실시예들에 따라 구성된 비디오 부호화 시스템들에서 이용될 수 있는 기능 블록들을 식별한다. 실제로, 이들 시스템은 통합된 비디오 카메라를 구비한 모바일 장치들(예를 들어, 카메라 가능 폰들, 엔터테인먼트 시스템들 및 컴퓨터들) 및/또는 영상 회의 장비 및 카메라 가능 데스크톱 컴퓨터들과 같은 유선 통신 시스템들과 같은 각종 장치들에서 적용될 수 있다. 일부 응용들에서, 위에 설명된 기능 블록들은 그 블록들이 컴퓨터 프로그램의 개별 요소들로서 제공될 수 있는 통합 소프트웨어 시스템의 요소들로서 제공될 수 있다. 다른 응용들에서, 그 기능 블록들은, 디지털 신호 프로세서 또는 주문형 집적 회로(ASIC) 내의 기능 유닛들과 같은, 프로세싱 시스템의 개별 회로 컴포넌트들로서 제공될 수 있다. 본 발명의 또 다른 응용들은 전용 하드웨어와 소프트웨어 컴포넌트들의 혼합 시스템으로서 구현될 수 있다. 더욱이, 여기에서 설명된 기능 블록들은 개별 유닛들로서 제공되지 않아도 된다. 예를 들어, 도 8은 블록 기반 부호화 체인(210) 및 예측 유닛(220)의 컴포넌트들을 개별 유닛들로서 예시하고 있지만, 하나 이상의 실시예에서, 그들 중 일부 또는 전부가 통합될 수 있고 그것들은 개별 유닛들일 필요가 없다. 그러한 구현 세부 사항들은 위에서 달리 언급되지 않는 한 본 발명의 동작에 중요하지 않다.

본 발명의 몇몇 실시예들이 여기에 특별히 예시되고 및/또는 설명되어 있다. 그러나, 본 발명의 수정들 및 변형들이 상기 교시 내용들에 의해 커버되고 본 발명의 진의 및 의도된 범위에서 벗어나지 않고 첨부된 청구항들의 범위 내에 있다는 것을 알 것이다.

Claims (32)

1. 삭제
2. 삭제
3. 삭제
4. 삭제
5. 삭제
6. 삭제
7. 삭제
8. 삭제
9. 삭제
10. 삭제
11. 삭제
12. 삭제
13. 삭제
14. 삭제
15. 비디오 부호화(coding) 방법으로서,
    원본 화상들(source pictures)의 블록들을 움직임 보상에 의해 부호화하는 단계;
    참조 화상들(reference pictures)의 블록들을 복호화하는(decoding) 단계 - 상기 복호화하는 단계는,
    반복적 기울기 기반 검색 프로세스(iterative gradient-based search process)에 의해 디블록킹 필터링 동작의 파라미터들을 추정하는 단계, 및
    최종 추정된 디블록킹 파라미터들에 따라 상기 복호화된 참조 화상들을 디블록킹 필터링하는 단계를 포함함 -;
    상기 디블록킹된 화상을 참조 화상 저장소에 저장하는 단계; 및
    상기 부호화된 화상들의 데이터와 상기 최종 추정된 디블록킹 파라미터들을 채널에 송신하는 단계를 포함하고, 상기 파라미터들은 필터 세기를 나타내고,
    상기 검색 프로세스는,
    디블록킹 벡터에 따라 상기 복호화된 화상의 디블록킹을 수행하는 단계;
    상기 디블록킹된 복호화된 화상으로부터 디블록킹 오차를 추정하는 단계 - 상기 추정된 오차는 상기 디블록킹된 복호화된 화상을 원본 화상 데이터와 비교하는 것으로부터 결정됨 - ;
    상기 추정된 오차가 미리 정해진 임계치를 초과하는 경우에는, 복수의 벡터 차원들 각각에 대하여,
    상기 각각의 차원에서 상기 디블록킹 벡터를 전진시키고,
    상기 전진된 차원에 따라 상기 복호화된 화상을 디블록킹하고,
    상기 전진된 차원에 따라 디블록킹된 상기 복호화된 화상으로부터 디블록킹 오차를 추정하는 단계; 및
    상기 벡터 차원들의 상기 추정된 디블록킹 오차들로부터 유도된 기울기(gradient)에 따라 다음 반복을 위해 상기 디블록킹 벡터를 수정하는 단계를 포함하는, 방법.
16. 삭제
17. 제15항에 있어서, 상기 추정된 오차가 상기 임계치를 초과하지 않는 경우에는, 부호화된 화상 데이터 및 상기 디블록킹 벡터의 식별자를 복호화기에 송신하는 단계를 더 포함하는 방법.
18. 제15항에 있어서, 상기 디블록킹 오차가 미리 정해진 임계치보다 작을 때까지 상기 방법을 반복하는 단계를 더 포함하는 방법.
19. 제15항에 있어서, 상기 방법의 제2 반복에서,
    제1 반복과 상기 제2 반복 간의 추정된 오차들의 변화율을 추정하는 단계; 및
    상기 변화율이 제2 임계치보다 작은 경우에는, 부호화된 화상 데이터 및 상기 디블록킹 벡터의 식별자를 복호화기에 송신하는 단계
    를 더 포함하는 방법.
20. 제15항에 있어서, 상기 기울기의 크기가 제2 임계치보다 작은 경우에는, 부호화된 화상 데이터 및 상기 디블록킹 벡터의 식별자를 복호화기에 송신하는 단계를 더 포함하는 방법.
21. 제15항에 있어서, 상기 방법의 후속 반복에서,
    상기 수정된 디블록킹 벡터가 상기 방법의 이전 반복들에서 사용된 디블록킹 벡터와 동일한지를 판정하는 단계; 및
    그렇다면, 부호화된 화상 데이터 및 상기 디블록킹 벡터의 식별자를 복호화기에 송신하는 단계
    를 더 포함하는 방법.
22. 제15항에 있어서, 상기 전진시키는 것은 상기 각각의 차원에서 상기 디블록킹 벡터를 증가시키는(incrementing) 것을 포함하는 방법.
23. 제15항에 있어서, 상기 전진시키는 것은 이전 반복의 기울기에 의해 결정된 방향에서 상기 각각의 차원에서 상기 디블록킹 벡터를 조정하는 것을 포함하는 방법.
24. 제15항에 있어서, 상기 검색 프로세스의 제1 반복에 있어서 상기 복호화된 화상의 상기 디블록킹에서 사용되는 상기 디블록킹 벡터는 디폴트 값으로 설정되는 방법.
25. 제15항에 있어서, 상기 검색 프로세스의 제1 반복에 있어서 상기 복호화된 화상의 상기 디블록킹에서 사용되는 상기 디블록킹 벡터는 이전 화상에 대한 상기 방법의 실행에 의해 얻어진 최종 디블록킹 벡터 값으로 설정되는 방법.
26. 제15항에 있어서, 상기 검색 프로세스의 제1 반복에 있어서 상기 복호화된 화상의 상기 디블록킹에서 사용되는 상기 디블록킹 벡터는 현재 화상과 동일한 타입의 부호화 동작에 따라 부호화된 이전 화상에 대한 상기 방법의 실행에 의해 얻어진 최종 디블록킹 벡터 값으로 설정되는 방법.
27. 제15항에 있어서, 상기 검색 프로세스의 제1 반복에 있어서 상기 복호화된 화상의 상기 디블록킹에서 사용되는 상기 디블록킹 벡터는 현재 화상과 유사한 움직임 속성들을 가진 이전 화상에 대한 상기 방법의 실행에 의해 얻어진 최종 디블록킹 벡터 값으로 설정되는 방법.
28. 제15항에 있어서, 상기 디블록킹된 화상의 상기 추정된 오차는 상기 디블록킹된 복호화된 화상과 필터링되지 않은 원본 화상 데이터(source picture data)의 비교로부터 결정되는 방법.
29. 제15항에 있어서, 상기 디블록킹된 화상의 상기 추정된 오차는 상기 디블록킹된 복호화된 화상과 디블록킹된 원본 화상 데이터의 비교로부터 결정되는 방법.
30. 비디오 부호화기(video encoder)로서,
    원본 화상 및 예측 블록들에 대한 입력들을 갖는 블록 기반 부호화기(block-based coder);
    상기 블록 기반 부호화기에 연결되고,
    참조 화상들의 부호화된 블록들을 복호화하는 블록 기반 복호화기 - 상기 블록 기반 복호화기는 디블록킹 필터, 및 반복적 기울기 기반 검색 프로세스에 의해 디블록킹 파라미터들을 추정하는 제어 로직을 포함하고 상기 파라미터들은 필터 세기를 나타냄 -, 및
    디블록킹된 화상들에 대한 참조 화상 저장소
    를 포함하는 예측 유닛; 및
    부호화된 화상들의 데이터와 최종 추정된 디블록킹 파라미터들을 저장하는 송신 버퍼를 포함하고,
    상기 검색 프로세스는,
    디블록킹 벡터에 따라 상기 복호화된 화상의 디블록킹을 수행하는 단계;
    상기 디블록킹된 복호화된 화상으로부터 디블록킹 오차를 추정하는 단계 - 상기 추정된 오차는 상기 디블록킹된 복호화된 화상을 원본 화상 데이터와 비교하는 것으로부터 결정됨 - ;
    상기 추정된 오차가 미리 정해진 임계치를 초과하는 경우에는, 복수의 벡터 차원들 각각에 대하여,
    상기 각각의 차원에서 상기 디블록킹 벡터를 전진시키고,
    상기 전진된 차원에 따라 상기 복호화된 화상을 디블록킹하고,
    상기 전진된 차원에 따라 디블록킹된 상기 복호화된 화상으로부터 디블록킹 오차를 추정하는 단계; 및
    상기 벡터 차원들의 상기 추정된 디블록킹 오차들로부터 유도된 기울기(gradient)에 따라 다음 반복을 위해 상기 디블록킹 벡터를 수정하는 단계를 포함하는,
    비디오 부호화기.
31. 삭제
32. 비디오 복호화기로서,
    부호화된 화상 데이터 및 예측된 블록 데이터에 대한 입력들을 갖는 블록 기반 복호화기;
    상기 블록 기반 복호화기에 연결되어, 채널에서 수신된 움직임 벡터 데이터에 응답하여 블록 데이터를 예측하는 예측 유닛; 및
    상기 블록 기반 복호화기로부터 복원된(recovered) 블록 데이터를 수신하고, 상기 채널에서 수신된 디블록킹 벡터에 응답하여, 상기 디블록킹 벡터에 의해 식별된 파라미터들을 이용하여 디블록킹을 수행하는 디블록킹 필터 - 상기 디블록킹 벡터는 반복적 기울기 기반 검색 프로세스에 의해 생성되었고, 상기 파라미터들은 필터 세기를 나타냄 - 를 포함하고,
    상기 검색 프로세스는,
    디블록킹 벡터에 따라 상기 복호화된 화상의 디블록킹을 수행하는 단계;
    상기 디블록킹된 복호화된 화상으로부터 디블록킹 오차를 추정하는 단계 - 상기 추정된 오차는 상기 디블록킹된 복호화된 화상을 원본 화상 데이터와 비교하는 것으로부터 결정됨 - ;
    상기 추정된 오차가 미리 정해진 임계치를 초과하는 경우에는, 복수의 벡터 차원들 각각에 대하여,
    상기 각각의 차원에서 상기 디블록킹 벡터를 전진시키고,
    상기 전진된 차원에 따라 상기 복호화된 화상을 디블록킹하고,
    상기 전진된 차원에 따라 디블록킹된 상기 복호화된 화상으로부터 디블록킹 오차를 추정하는 단계; 및
    상기 벡터 차원들의 상기 추정된 디블록킹 오차들로부터 유도된 기울기(gradient)에 따라 다음 반복을 위해 상기 디블록킹 벡터를 수정하는 단계를 포함하는, 비디오 복호화기.

Images