KR20180099369A

KR20180099369A - 비디오 비트율 제어 방법, 및 이를 이용한 영상 부호화 방법 및 장치

Info

Publication number: KR20180099369A
Application number: KR1020170026759A
Authority: KR
Inventors: 김종호; 임성창; 정세윤; 김휘용; 이대열; 이주영; 최진수
Original assignee: 한국전자통신연구원
Priority date: 2017-02-28
Filing date: 2017-02-28
Publication date: 2018-09-05

Abstract

영상 부호화 처리의 비트량을 결정하는 방법 및 장치가 개시된다. 본 개시의 일 실시 예에 따른 방법은 인지 특성 요소를 사용하여 미리 정해진 제1크기 단위의 가중치를 산출하는 과정과, 산출된 상기 제1크기 단위의 가중치에 원본 블록과 예측 블록 사이의 차이값을 반영한 잔차 신호 값을 확인하는 과정과, 픽쳐 단위의 잔차 신호 값 대비 상기 제1크기 단위의 잔차 신호 값의 비율을 반영하여 상기 제1크기 단위에 대한 비트량을 할당하는 과정을 포함할 수 있다.

Description

비디오 비트율 제어 방법, 및 이를 이용한 영상 부호화 방법 및 장치{METHOD FOR VIDEO RATE CONTROL, AND VIDEO CODING METHOD AND APPARATUS THE SAME}

본 개시는 영상 부호화 방법 및 장치에 관한 것으로, 특히 비트율 제어 방법 및 장치에 관한 것이다.

최근 HD(High Definition) 영상 및 UHD(Ultra High Definition) 영상과 같은 고해상도, 고품질의 영상에 대한 수요가 다양한 응용 분야에서 증가하고 있다. 영상 데이터가 고해상도, 고품질이 될수록 기존의 영상 데이터에 비해 상대적으로 데이터 량이 증가하기 때문에 기존의 유무선 광대역 회선과 같은 매체를 이용하여 영상 데이터를 전송하거나 기존의 저장 매체를 이용해 저장하는 경우, 전송 비용과 저장 비용이 증가하게 된다. 영상 데이터가 고해상도, 고 품질화 됨에 따라 발생하는 이러한 문제들을 해결하기 위해서는 고효율의 영상 압축 기술들이 활용될 수 있다.

한편, 영상 압축 또는 부호화 과정에서, 영상 데이터의 전송 또는 저장 환경을 고려하여, 압축 또는 부호화된 데이터의 크기를 제어하는 기술이 적용될 수 있다. 일반적으로 압축 또는 부호화된 데이터의 크기를 제어하기 위하여, 영상에 포함되는 픽쳐, 슬라이스, 블록 등의 단위에 대한 비트량을 할당하는 기술이 사용되고 있다.

일반적으로 압축 또는 부호화된 데이터의 크기를 제어하는 방식은 영상에 포함되는 픽쳐, 슬라이스, 블록 등의 단위에 균등하게 비트량을 할당하거나, 또는 영상에 포함되는 픽쳐, 슬라이스, 블록 등의 단위의 잔차 신호의 크기 또는 복잡도 등을 고려하여 비트량을 할당하는 방식이 사용되고 있다.

본 개시의 기술적 과제는 사람의 인지 특성을 반영하여 비트량을 제어하는 영상 부호화 방법 및 장치를 제공하는 것이다.

본 개시의 다른 기술적 과제는 사람의 인지 특성을 반영하여 비트량을 제어함으로써, 사람의 인지하는 화질의 저하를 최소화하면서 효율적으로 비트량을 제어할 수 있는 영상 부호화 방법 및 장치를 제공하는 것이다.

본 개시의 또 다른 기술적 과제는 사람의 인지 특성을 반영하여 인지적으로 중요한 부분에 더 많은 가중치를 반영함으로써, 사람의 인지하는 화질의 저하를 최소화할 수 있는 영상 부호화 방법 및 장치를 제공하는 것이다.

본 개시에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

본 개시의 일 양상에 따르면 영상 부호화 처리의 비트량을 결정하는 방법이 제공될 수 있다. 상기 방법은 인지 특성 요소를 사용하여 미리 정해진 제1크기 단위의 가중치를 산출하는 과정과, 산출된 상기 제1크기 단위의 가중치에 원본 블록과 예측 블록 사이의 차이값을 반영한 잔차 신호 값을 확인하는 과정과, 픽쳐 단위의 잔차 신호 값 대비 상기 제1크기 단위의 잔차 신호 값의 비율을 반영하여 상기 제1크기 단위에 대한 비트량을 할당하는 과정을 포함할 수 있다.

본 개시에 대하여 위에서 간략하게 요약된 특징들은 후술하는 본 개시의 상세한 설명의 예시적인 양상일 뿐이며, 본 개시의 범위를 제한하는 것은 아니다.

본 개시에 따르면, 사람의 인지 특성을 반영하여 비트량을 제어할 수 있는 영상 부호화 방법 및 장치가 제공될 수 있다.

본 개시에 따르면, 사람의 인지하는 화질의 저하를 최소화하면서 효율적으로 비트량을 제어할 수 있는 영상 부호화 방법 및 장치가 제공될 수 있다.

본 개시에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 개시의 일 실시예에 따른 율-제어 방법이 적용되는 영상 부호화 장치의 구성을 나타내는 블록도이다.
도 2는 본 개시의 일 실시예에 따른 율-제어 방법이 적용되는 계층적 부호화 구조 및 픽쳐 단위의 비트 할당이 처리되는 동작을 예시하는 도면이다.
도 3은 본 개시의 일 실시예에 따른 율-제어 방법의 순서를 도시하는 흐름도이다.
도 4a는 공간 주파수와 대비 사이의 관계를 도시하는 도면이다.
도 4b는 공간 주파수와 대비 민감도 사이의 관계를 도시하는 그래프이다.
도 5는 본 개시의 일 실시예에 따른 율-제어 방법에 의해 대비 민감도 특성을 반영한 가중치 행렬을 예시하는 도면이다.
도 6은 본 개시의 일 실시예에 따른 율-제어 방법에 의해 휘도 적응 특성을 반영한 가중치를 예시하는 도면이다.
도 7은 본 개시의 일 실시예에 따른 율-제어 방법에 의해 대비 마스킹 특성을 반영한 가중치를 예시하는 도면이다.
도 8은 본 개시의 일 실시예에 따른 율-제어 방법에서 적용되는 돌출 맵과 가중치를 예시하는 도면이다.

이하에서는 첨부한 도면을 참고로 하여 본 개시의 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나, 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.

본 개시의 실시 예를 설명함에 있어서 공지 구성 또는 기능에 대한 구체적인 설명이 본 개시의 요지를 흐릴 수 있다고 판단되는 경우에는 그에 대한 상세한 설명은 생략한다. 그리고, 도면에서 본 개시에 대한 설명과 관계없는 부분은 생략하였으며, 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

본 개시에 있어서, 어떤 구성요소가 다른 구성요소와 "연결", "결합" 또는 "접속"되어 있다고 할 때, 이는 직접적인 연결관계뿐만 아니라, 그 중간에 또 다른 구성요소가 존재하는 간접적인 연결관계도 포함할 수 있다. 또한 어떤 구성요소가 다른 구성요소를 "포함한다" 또는 "가진다"고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 배제하는 것이 아니라 또 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

본 개시에 있어서, 제1, 제2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용되며, 특별히 언급되지 않는 한 구성요소들간의 순서 또는 중요도 등을 한정하지 않는다. 따라서, 본 개시의 범위 내에서 일 실시 예에서의 제1 구성요소는 다른 실시 예에서 제2 구성요소라고 칭할 수도 있고, 마찬가지로 일 실시 예에서의 제2 구성요소를 다른 실시 예에서 제1 구성요소라고 칭할 수도 있다.

본 개시에 있어서, 서로 구별되는 구성요소들은 각각의 특징을 명확하게 설명하기 위함이며, 구성요소들이 반드시 분리되는 것을 의미하지는 않는다. 즉, 복수의 구성요소가 통합되어 하나의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있고, 하나의 구성요소가 분산되어 복수의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있다. 따라서, 별도로 언급하지 않더라도 이와 같이 통합된 또는 분산된 실시 예도 본 개시의 범위에 포함된다.

본 개시에 있어서, 다양한 실시 예에서 설명하는 구성요소들이 반드시 필수적인 구성요소들은 의미하는 것은 아니며, 일부는 선택적인 구성요소일 수 있다. 따라서, 일 실시 예에서 설명하는 구성요소들의 부분집합으로 구성되는 실시 예도 본 개시의 범위에 포함된다. 또한, 다양한 실시 예에서 설명하는 구성요소들에 추가적으로 다른 구성요소를 포함하는 실시 예도 본 개시의 범위에 포함된다.

이하, 첨부한 도면을 참조하여 본 개시의 실시 예들에 대해서 설명한다.

도 1은 본 개시의 일 실시예에 따른 율-제어 방법이 적용되는 영상 부호화 장치의 구성을 나타내는 블록도이다.

도 1을 참조하면, 상기 영상 부호화 장치(100)는 움직임 예측부(111), 움직임 보상부(112), 인트라 예측부(120), 스위치(115), 감산기(125), 변환부(130), 양자화부(140), 엔트로피 부호화부(150), 역양자화부(160), 역변환부(170), 가산기(175), 필터부(180) 및 참조 픽쳐 버퍼(190)를 포함한다.

도 1에 나타난 각 구성부들은 영상 부호화 장치에서 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시한 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두 개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수개의 구성부로 나뉘어져 기능을 수행할 수 있고 이러한 각 구성부의 통합된 실시예 및 분리된 실시예도 본 개시의 본질에서 벗어나지 않는 한 본 개시의 권리범위에 포함된다.

또한, 일부의 구성 요소는 본 개시에서 본질적인 기능을 수행하는 필수적인 구성 요소는 아니고 단지 성능을 향상시키기 위한 선택적 구성 요소일 수 있다. 본 개시는 단지 성능 향상을 위해 사용되는 구성 요소를 제외한 본 개시의 본질을 구현하는데 필수적인 구성부 만을 포함하여 구현될 수 있고, 단지 성능 향상을 위해 사용되는 선택적 구성 요소를 제외한 필수 구성 요소만을 포함한 구조도 본 개시의 권리범위에 포함된다.

영상 부호화 장치(100)는 입력 영상을 적어도 하나의 처리 단위로 분할하여 부호화 처리를 수행할 수 있다. 이때, 처리 단위는 예측 단위(Prediction Unit: PU)일 수도 있고, 변환 단위(Transform Unit: TU)일 수도 있으며, 부호화 단위(Coding Unit: CU)일 수도 있다. 하나의 픽쳐에 대해 복수의 부호화 단위, 예측 단위 및 변환 단위의 조합으로 분할하고 소정의 기준(예를 들어, 비용 함수)으로 하나의 부호화 단위, 예측 단위 및 변환 단위 조합을 선택하여 픽쳐를 부호화 할 수 있다.

예를 들어, 하나의 픽쳐는 복수개의 부호화 단위로 분할될 수 있다. 픽쳐에서 부호화 단위를 분할하기 위해서는 쿼드 트리 구조(Quad Tree Structure)와 같은 재귀적인 트리 구조를 사용할 수 있는데 하나의 영상 또는 최대 크기 부호화 단위(largest coding unit)를 루트로 하여 다른 부호화 단위로 분할되는 부호화 유닛은 분할된 부호화 단위의 개수만큼의 자식 노드를 가지고 분할될 수 있다. 일정한 제한에 따라 더 이상 분할되지 않는 부호화 단위는 리프 노드가 된다. 즉, 하나의 코딩 유닛에 대하여 정방형 분할만이 가능하다고 가정하는 경우, 하나의 부호화 단위는 최대 4개의 다른 부호화 단위로 분할될 수 있다.

이하, 본 발명의 실시예에서는 부호화 단위는 부호화를 수행하는 단위의 의미로 사용할 수도 있고, 복호화를 수행하는 단위의 의미로 사용할 수도 있다.

예측 단위는 하나의 부호화 단위 내에서 동일한 크기의 적어도 하나의 정사각형 또는 직사각형 등의 형태를 가지고 분할된 것일 수도 있고, 하나의 부호화 단위 내에서 분할된 예측 단위 중 어느 하나의 예측 단위가 다른 하나의 예측 단위와 상이한 형태 및/또는 크기를 가지도록 분할된 것일 수도 있다.

부호화 단위를 기초로 인트라 예측을 수행하는 예측 단위를 생성시 최소 부호화 단위가 아닌 경우, 복수의 예측 단위 N×N 으로 분할하지 않고 인트라 예측을 수행할 수 있다.

영상 부호화 장치(100)는 입력 영상에 대해 인트라(intra) 모드 또는 인터(inter) 모드로 부호화를 수행하고 비트스트림을 출력할 수 있다. 인트라 모드인 경우 스위치(115)가 인트라로 전환되고, 인터 모드인 경우 스위치(115)가 인터로 전환될 수 있다. 영상 부호화 장치(100)는 입력 영상의 처리 단위에 대한 예측 블록을 생성한 후, 입력 블록과 예측 블록의 차분(residual)을 부호화할 수 있다.

인트라 모드인 경우, 인트라 예측부(120)는 현재 블록 주변의 이미 부호화된 블록의 픽셀값을 이용하여 공간적 예측을 수행하여 예측 블록을 생성할 수 있다.

인터 모드인 경우, 움직임 예측부(111)는, 움직임 예측 과정에서 참조 픽쳐 버퍼(190)에 저장되어 있는 참조 영상에서 입력 블록과 가장 매치가 잘 되는 영역을 찾아 움직임 벡터를 구할 수 있다. 움직임 보상부(112)는 움직임 벡터를 이용하여 움직임 보상을 수행함으로써 예측 블록을 생성할 수 있다.

감산기(125)는 입력 블록과 생성된 예측 블록의 차분에 의해 잔차 블록(residual block)을 생성할 수 있다.

변환부(130)는 잔차 블록에 대해 변환(transform)을 수행하여 변환 계수(transform coefficient)를 출력할 수 있다. 그리고 양자화부(140)는 입력된 변환 계수를 양자화 파라미터에 따라 양자화하여 양자화된 계수(quantized coefficient)를 출력할 수 있다.

엔트로피 부호화부(150)는, 양자화부(140)에서 산출된 값들 또는 부호화 과정에서 산출된 부호화 파라미터 값 등을 기초로 엔트로피 부호화를 수행하여 비트스트림(bit stream)을 출력할 수 있다.

엔트로피 부호화가 적용되는 경우, 높은 발생 확률을 갖는 심볼(symbol)에 적은 수의 비트가 할당되고 낮은 발생 확률을 갖는 심볼에 많은 수의 비트가 할당되어 심볼이 표현됨으로써, 부호화 대상 심볼들에 대한 비트열의 크기가 감소될 수 있다. 따라서 엔트로피 부호화를 통해서 영상 부호화의 압축 성능이 높아질 수 있다.

엔트로피 부호화부(150)는 엔트로피 부호화를 위해 지수 골룸(exponential golomb), CAVLC(Context-Adaptive Variable Length Coding), CABAC(Context-Adaptive Binary Arithmetic Coding)과 같은 부호화 방법을 사용할 수 있다.

도 1의 실시예에 따른 영상 부호화 장치는 인터 예측 부호화, 즉 화면 간 예측 부호화를 수행하므로, 현재 부호화된 영상은 참조 영상으로 사용되기 위해 복호화되어 저장될 필요가 있다. 따라서 양자화된 계수는 역양자화부(160)에서 역양자화되고 역변환부(170)에서 역변환된다. 역양자화, 역변환된 계수는 가산기(175)를 통해 예측 블록과 더해지고 복원 블록(Reconstructed Block)이 생성된다.

복원 블록은 필터부(180)를 거치고, 필터부(180)는 디블록킹 필터(deblocking filter), SAO(Sample Adaptive Offset), ALF(Adaptive Loop Filter) 중 적어도 하나 이상을 복원 블록 또는 복원 픽쳐에 적용할 수 있다. 필터부(180)는 적응적 인루프(in-loop) 필터로 불릴 수도 있다. 디블록킹 필터는 블록 간의 경계에 생긴 블록 왜곡을 제거할 수 있다. SAO는 코딩 에러를 보상하기 위해 픽셀값에 적정 오프셋(offset) 값을 더해줄 수 있다. ALF는 복원된 영상과 원래의 영상을 비교한 값을 기초로 필터링을 수행할 수 있다. 필터부(180)를 거친 복원 블록은 참조 픽쳐 버퍼(190)에 저장될 수 있다.

도 2는 본 개시의 일 실시예에 따른 율-제어 방법이 적용되는 계층적 부호화 구조 및 픽쳐 단위의 비트 할당이 처리되는 동작을 예시하는 도면이다.

도 2를 참조하면, I 픽쳐가 주기적으로 삽입된 인트라 구간(210)이 정의될 수 있다. 또한, 도 2의 실시예에 따른 계층적 부호화 구조는, 고효율 부호화 성능을 제공하기 위해, GOP(Group Of Picture) 단위(220)로 구성될 수 있다. GOP(220)는 I₀ 픽쳐(230) 또는 P₀ 픽쳐(240), B₁ 픽쳐(250), B₂ 픽쳐(260), B₃ 픽쳐(270)을 포함할 수 있다.

영상 부호화 장치는 주어진 목표 비트량을 프레임율로 나눈, 한 픽쳐에 대한 평균 비트량을 도출할 수 있다(281). 그리고 영상 부호화 장치는 GOP 내에 존재하는 픽쳐들에 대한 비트 할당을 위해, GOP 내에 존재하는 픽쳐의 개수를 고려하여, 현재 GOP에 비트량을 할당할 수 있다(282). 영상 부호화 장치는 할당된 GOP의 비트량을, 부호화되는 GOP 내의 픽쳐들에 대해 다시 할당할 수 있다(283). 이 때, 영상 부호화 장치는 버퍼 상태 및 각 시간 계층에서의 각 픽쳐에 대한 가중치를 고려하여, 각 픽쳐에 목표 비트량을 할당할 수 있다. 부호화기는 GOP 내의 픽쳐들에 대한 비트 할당을 수행함에 있어, 현재의 버퍼 상태가 목표 버퍼 상태로 도달하기 위해 필요한 비트량을 고려할 할 수 있고, 픽쳐 간의 가중치는 계층적 부호화 구조가 갖는 각 시간계층과 픽쳐 타입에 따라 달리 적용될 수 있다.

나아가, 영상 부호화 장치는 픽쳐 별로 할당된 비트량을, CTU 단위에 대해 다시 할당할 수 있다. 본 개시의 실시예에서 부호화기는 인지(Cognitive) 특성 요소를 사용하여 CTU 단위의 가중치를 결정하고, 결정된 가중치를 해당 픽쳐에 할당된 비트량에 적용(예, 곱셈 연산)하여 CTU 단위에 대한 비트량을 할당할 수 있다. 상기 인지 특성 요소는 대비 민감도 특성, 휘도 적응 특성, 대비 마스킹 특성, 돌출 맵(saliency map) 특성 중 적어도 하나를 포함할 수 있다.

도 3은 본 개시의 일 실시예에 따른 율-제어 방법의 순서를 도시하는 흐름도이다.

우선, S301 단계에서, 영상 부호화 장치는 인지 특성 요소를 사용하여 CTU 단위의 가중치를 산출한다.

우선, 본 개시의 실시예에서, 인지(認知) 특성(cognitive chracterristics)은 사람이 외부의 자극을 받아들이는 특성이며, 인지 특성 요소(cognitive chracterristic factor)는 외부의 자극에 대응되는 요소를 나타낸다.

인지 특성 요소는 대비 민감도 특성, 휘도 적응 특성, 대비 마스킹 특성, 돌출 맵(saliency map) 특성을 포함할 수 있다.

대비 민감도 특성과 관련하여, 일반적으로 사람은 영상에서 공간 주파수가 낮은 영역에서는 대비(contrast)에 대한 민감도가 높고, 공간 주파수가 높은 곳에서는 대비에 대한 민감도가 낮다(도 3 참조). 즉 사람은 영상의 주파수 공간(Frequency domain)에서 고주파 요소의 변화보다 저주파 요소의 변화를 더 민감하게 느끼는 특성이 있다. 또한, 소정의 주파수 크기 이상에서는 대비의 변화를 거의 느끼지 못한다. 이와 같은, 인지 특성을 반영한 대비 민감도 특성은 하기의 수학식 1과 같이 나타낼 수 있으며, 도 4와 같이 표시될 수 있다. 도 4에서, x축은 공간주파수 크기를 나타내며, y축은 대비 민감도를 표시한다.

수학식 1에서 w는 공간주파수 크기를 의미한다.

휘도 적응 특성과 관련하여, 일반적으로 사람은 영상에 포함된 배경의 휘도 변화에 따라 객체에 대한 인지율(또는 인지 민감도) 달라질 수 있다. 특히, 영상에서 휘도가 상대적으로 낮은 영역(즉, 어두운 영역)이나, 상대적으로 높은 영역(즉, 밝은 영역)에 존재하는 객체를 인식하는 인지율(또는 인지 민감도)은, 휘도의 중간 영역에 존재하는 객체를 인식하는 인지율(또는 인지 민감도)보다 상대적으로 낮게 나타날 수 있다. 이와 같은 인지 특성을 반영한 휘도 적응 특성은 하기의 수학식 2와 같이 나타낼 수 있다. 수학식 2는 화소의 휘도(intensity) 범위에 따른 인지율(또는 인지 민감도)를 나타내며, F_lum는 인지율(또는 인지 민감도)의 값을 지시하며, F_lum의 값이 클수록 인지율(또는 인지 민감도)가 떨어짐을 의미한다.

대비 마스킹 특성과 관련하여, 사람은 영상의 왜곡 또는 변화를 인지할 수 있으며, 일반적으로 평탄한 영역에서 왜곡의 변화를 인식하는 인지율(또는 인지 민감도)이 높고, Texture가 많은 영역에서는 왜곡의 변화를 인식하는 인지율(또는 인지 민감도)이 낮게 나타날 수 있다. 이와 같은 인지 특성을 반영한 인지 특성 요소를 대비 마스킹 특성으로 정의할 수 있다.

대비 마스킹 특성에 대한 인지율(또는 인지 민감도)를 확인하기 위하여, 소정의 블록(예, N×N 사이즈 블록)에 대해 에지(Edge) 화소 밀집도(Edge pixel density)(ρedge1)를 하기의 수학식 3과 같이 연산할 수 있으며, 하기의 수학식 4의 적용을 통해 에지 화소 밀집도를 바탕으로 블록의 타입을 결정할 수 있다. 수학식 4에서 ψ 값이 클수록 인지율(또는 인지 민감도)이 낮음을 나타낸다.

여기서 edge 화소를 판별하기 위하여, Sobel 방식, Canny 방식 등의 Edge Detection 방식이 사용될 수 있다.

돌출 맵(saliency map) 특성과 관련하여, 일반적으로 사람은 영상에 관심 객체(예, 얼굴, 윤곽선, 컬러 차이, 움직임 등)가 포함된 영역에 대해 인지율(또는 인지 민감도)이 높게 나타날 수 있으며, 관심 객체에 대한 정보, 즉 얼굴 정보(인식이나 사전정보), 윤곽선 정보, 컬러 차이, 움직임 정보 등을 반영하여 돌출 맵(saliency map)을 구성할 수 있다.

한편, S302 단계에서, 영상 부호화 장치는 S301 단계에서 산출된 CTU 단위의 가중치에 원본 블록과 예측 블록 사이의 차이값을 반영한 잔차 신호 값을 산출할 수 있다.

CTU 단위의 잔차 신호 값은 CTU 단위에 포함된 적어도 하나의 블록에 대한 잔차 신호 값을 산출하고, 적어도 하나의 블록에 대한 잔차 신호 값을 합산하여 산출할 수 있다.

다음으로, S303 단계에서, 영상 부호화 장치는 CTU에 대한 잔차신호 크기 값이 결정되면, 픽쳐 내에 포함된 전체 CTU의 잔차신호 크기 값의 합을 확인하고, 전체 CTU의 잔차신호 크기 값의 합 대비 현재 CTU의 잔차신호 크기 값으로 현재 CTU의 잔차신호 크기 값 비율을 결정할 수 있고, 이 비율에 따라 CTU 단위에 대한 비트량을 할당할 수 있다.

이하, 전술한 인지 특성 요소를 고려하여, CTU 단위의 비트량을 할당하는 방법에 대한 구체적인 방식에 대하여 구체적으로 설명한다.

1. 대비 민감도 특성을 이용한 가중치 산출

대비 민감도 특성을 고려하여, 가중치 행렬 값을 결정할 수 있다.

대비민감도 특성을 이용한 가중치 행렬은 하기의 수학식 5에 의해 산출될 수 있다.

ω_i,j는 주파수 도메인 상의 i, j 위치에서 공간 주파수 크기를 나타내고, a, b, c는 미리 정해진 값의 상수로서 a=1.33, b=0.11, c=0.18로 예시한다.

전술한 수학식 5를 통해, 8×8 가중치 행렬을 도출할 수 있으며, 도출된 가중치 행렬에서, 최대값을 갖는 최대 가중치 값을 기준으로 정규화할 수 있다. 최대 가중치 값을 반영한 정규화된 가중치 값은 도 5과 같이 예시될 수 있다.

다음으로, 영상 부호화 장치는 원본 블록과와 예측 블록을 CTU 단위의 블록(또는 미리 정해진 크기의 블록)으로 나누어 변환(Transform: DCT or Hadamard 등)을 수행한다.

본 개시의 실시예에서, CTU 단위는 64×64 화소 단위임을 예시하고, 변환을 수행할 수 있는 블록의 단위는 4×4, 8×8, 16×16, 32×32임을 예시한다. 이러한, CTU 단위는 다양하게 변경될 수 있으며, 변환을 수행하는 단위 역시 다양하게 변경될 수 있다.

대비 민감도 특성의 가중치를 반영한 CTU 단위의 잔차신호 값은 하기의 수학식 6과 같이 산출할 수 있다.

하기의 수학식 6에서는, 8×8 블록 단위로 변환을 수행하는 것을 예시한다.

변환된 원본 블록(Tr_org_8×8)과, 예측 블록(Tr_pred_8×8)의 차를 구하고 절대값을 취한 후, 전술한 수학식 5의 연산을 통해 산출된 가중치 행렬을 곱하여 8×8 블록에 대한 잔차신호 크기 값(Weighted MAD_8×8)을 산출할 수 있다.

나머지 블록에 대해서도 같은 방식으로 잔차신호 크기 값을 계산하고 8개 블록에 대한 잔차신호 크기 값의 합 또는 평균을 해당 CTU에 대한 잔차신호 크기 값(Weighted MAD_8×8)으로 결정할 수 있다.

이와 같이 결정된 CTU 단위로 결정된 잔차신호 크기 값의 비율대로 CTU 단위 비트 할당을 할 수 있다. 구체적으로, CTU 단위로 잔차신호 크기 값이 결정되면 하나의 픽쳐 내의 잔차신호 크기 값을 전체 합산하고, 합산된 전체 잔차신호 크기 값 대비 현재 CTU의 잔차신호 크기 값의 비율을 반영하여, 해당 CTU의 비트량을 할당할 수 있다.

예를 들어, 소정의 픽쳐가 4개의 CTU로 구성되어 있고, 각 CTU의 잔차신호의 크기 값을 하기의 표 1과 같이 예시하고, 픽쳐에 할당된 비트량은 1000bit임을 예시한다. 이 경우 전체 CTU의 잔차신호 크기 값의 합 대비 현재 CTU의 잔차신호 크기 값으로 현재 CTU의 잔차신호 크기 값 비율을 결정할 수 있고, 이 비율에 따라 CTU 단위에 대한 비트량을 할당할 수 있다.

CTU N.	잔차신호 크기 값	비율	CTU에 할당되는 비트
1	200	0.2	2000
2	400	0.4	4000
3	100	0.1	1000
4	300	0.3	3000

2. 휘도 적응 특성을 이용한 가중치 산출

대비 휘도 적응 특성을 이용하여 가중치 행렬값을 결정할 수 있다.

휘도 특성을 이용한 가중치 행렬은 원본 블록(또는 원본 신호)의 평균 휘도 값의 범위를 고려하여 가중치를 결정할 수 있다.

즉, 원본 블록의 평균 휘도 값의 범위가 어두운 영역이나 밝은 영역에 속할 경우 가중치를 작게 설정할 수 있다.

이를 위해 평균 휘도 범위를 설정하고, 평균 휘도보다 상대적으로 어두운 영역과, 상기 평균 휘도보다 상대적으로 밝은 영역에 대한 가중치를 설정할 수 있다.

예를 들어, 평균 휘도 범위를 전술한 수학식 2에서와 같이 60~170으로 설정할 경우, 원본 블록의 평균 휘도 값이 60보다 크고 170보다 작거나 같을 경우, 가중치(H_LA)를 1로 설정할 수 있다. 그리고, 원본 블록의 평균 휘도 값이 60보다 상대적으로 작은값을 나타낼 경우, 1-(60-I^)/150을 연산한 값을 가중치(H_LA)로 설정할 수 있고, 원본 블록의 평균 휘도 값이 170보다 상대적으로 큰 값을 나타낼 경우, 1-(I^-170)/450을 연산한 값을 가중치(H_LA)로 설정할 수 있다.

다음으로, 입력 블록의 평균 휘도 값의 범위에 의해 가중치(H_LA)가 결정되면, 결정된 가중치를 이용하여 가중치 행렬을 산출할 수 있다.

일 예로서, 입력 블록 단위에 결정된 가중치를 해당 입력 블록에 적용할 수 있다. 예컨대, 도 6에서와 같이, 제1 내지 제4입력 블록(611, 612, 613, 614)구비하는 CUT 에서, 제1 입력 블록(612)의 가중치가 1로 결정될 경우, 해당 제1입력 블록(612)에 포함된 픽셀(또는 하위 블록)에 대한 가중치 행렬(622)을 산출할 수 있다.

이와 같이, 입력 블록 단위에 대한 가중치 행렬이 결정되면, CTU에 대한 잔차신호 크기 값은 하기의 수학식 7의 연산을 통해 산출될 수 있다.

그리고, CTU에 대한 잔차신호 크기 값이 결정되면, 픽쳐 내의 전체 CTU의 잔차신호 크기 값의 합을 확인하고, 전체 CTU의 잔차신호 크기 값의 합 대비 현재 CTU의 잔차신호 크기 값으로 현재 CTU의 잔차신호 크기 값 비율을 결정할 수 있고, 이 비율에 따라 CTU 단위에 대한 비트량을 할당할 수 있다.

3. 대비 민감도 특성 및 휘도 적응 특성을 이용한 가중치 산출

전술한 대비 민감도 특성과, 휘도 적응 특성을 조합하여 가중치를 산출할 수 있다.

구체적으로, 하기의 수학식 8에 나타나는 바와 같이, 입력 블록 단위를 대상으로, 대비 민감도 특성에 의해 산출된 가중치 행렬과, 휘도 적응 특성에 의해 산출된 가중치 행렬을 곱셈 연산을 반영하여 입력 블록 단위의 잔차신호 크기 값을 산출하고, CTU에 포함된 입력 블록 단위의 잔차신호 크기 값을 합산함으로써, CTU 단위의 잔차신호 크기 값을 산출할 수 있다.

다른 예로서, 하기의 수학식 9 나타나는 바와 같이, 입력 블록 단위를 대상으로, 대비 민감도 특성에 의해 산출된 가중치 행렬과, 휘도 적응 특성에 의해 산출된 가중치 행렬의 합 연산을 반영하여 입력 블록 단위의 잔차신호 크기 값을 산출하고, CTU에 포함된 입력 블록 단위의 잔차신호 크기 값을 합산함으로써, CTU 단위의 잔차신호 크기 값을 산출할 수 있다.

4. 대비 마스킹 특성을 이용한 가중치 산출

입력 블록의 대비 마스킹 특성을 이용하여 원본 신호(혹은 블록) 상에 존재하는 엣지(Edge) 화소 밀집도에 따른 가중치를 산출할 수 있다.

즉, 원본 신호 또는 원본 블록에 텍스쳐가 많을 경우, 화질 저하나 왜곡에 대한 인지율이 상대적으로 낮은 특성을 나타낼 수 있다. 이를 고려하여, 원본 신호 또는 원본 블록의 가중치(H_CM)를 상대적으로 설정할 수 있다.

우선, 하기의 수학식 10의 연산을 통해 원본 신호 또는 원본 블록의 엣지(Edge) 화소 밀집도(ρedge)를 산출할 수 있다. 이와 같이 산출된 원본 신호 또는 원본 블록의 엣지(Edge) 화소 밀집도에 기초하여, 원본 신호 또는 원본 블록의 블록 타입을 산출할 수 있다(수학식 11 참조).

그리고, 전술한 바와 같이 산출된 블록 타입에 따라, 미리 정해진 가중치 값을 결정할 수 있다. 일 예로, 블록 타입에 따른 미리 정해진 가중치 값은 하기의 수학식 12와 같이 예시될 수 있다.

텍스쳐로 결정된 블록에서, 엣지(edge) 화소의 밀집도가 상대적으로 높을 경우, 엣지 화소가 존재하는 것으로 판단할 수 있고, 엣지(edge) 화소의 밀집도가 상대적으로 낮을 경우, 엣지 화소가 존재하지 않는 것으로 결정할 수 있다. 엣지 화소가 존재하는 블록은 엣지 화소가 존재하지 않는 블록에 비하여 상대적으로 높은 가중치를 부여할 수 있다. 다시 말해, 엣지 화소가 존재하지 않는 블록은 엣지 화소가 존재하는 블록에 비하여 상대적으로 낮은 가중치를 부여할 수 있다.

본 개시의 일 실시예에서 엣지 화소가 존재하는 것으로 판단하는 기준으로서, 엣지(edge) 화소의 밀집도를 16으로 설정하였다. 즉, 텍스쳐로 결정된 블록에서, 엣지(edge) 화소의 밀집도가 16을 초과할 경우 엣지 화소가 존재하는 것으로 판단하고, 엣지(edge) 화소의 밀집도가 16과 같거나 작을 경우 엣지 화소가 존재하지 않는 것으로 판단한다.

엣지 화소가 존재하는 것으로 판단하는 기준은 다양하게 변경할 수 있음은 물론이다.

다음으로, 블록 단위의 엣지(edge) 화소의 밀집도에 기초하여 가중치(H_CM)가 결정되면, 결정된 가중치를 이용하여 가중치 행렬을 산출할 수 있다.

일 예로서, 입력 블록 단위에 결정된 가중치를 해당 입력 블록에 적용할 수 있다. 예컨대, 도 7에서와 같이, 제1 내지 제4입력 블록(711, 712, 713, 714)구비하는 CTU 에서, 제1 입력 블록(712)의 가중치가 1로 결정될 경우, 해당 제1입력 블록(712)에 포함된 픽셀(또는 하위 블록)에 대한 가중치 행렬(722)을 산출할 수 있다.

이와 같이, 입력 블록 단위에 대한 가중치 행렬이 결정되면, CTU에 대한 잔차신호 크기 값은 하기의 수학식 13의 연산을 통해 산출될 수 있다.

5. 대비 민감도 특성 및 대비 마스킹 특성을 이용한 가중치 산출

전술한 대비 민감도 특성 및 대비 마스킹 특성을 조합하여 가중치를 산출할 수 있다.

구체적으로, 하기의 수학식 14에 나타나는 바와 같이, 입력 블록 단위를 대상으로, 대비 민감도 특성에 의해 산출된 가중치 행렬과, 대비 마스킹 특성에 의해 산출된 가중치 행렬을 곱셈 연산을 반영하여 입력 블록 단위의 잔차신호 크기 값을 산출하고, CTU에 포함된 입력 블록 단위의 잔차신호 크기 값을 합산함으로써, CTU 단위의 잔차신호 크기 값을 산출할 수 있다.

다른 예로서, 하기의 수학식 15 나타나는 바와 같이, 입력 블록 단위를 대상으로, 대비 민감도 특성에 의해 산출된 가중치 행렬과, 대비 마스킹 특성에 의해 산출된 가중치 행렬의 합 연산을 반영하여 입력 블록 단위의 잔차신호 크기 값을 산출하고, CTU에 포함된 입력 블록 단위의 잔차신호 크기 값을 합산함으로써, CTU 단위의 잔차신호 크기 값을 산출할 수 있다.

6. 휘도 적응 특성 및 대비 마스킹 특성을 이용한 가중치 산출

전술한 휘도 적응 특성 및 대비 마스킹 특성을 조합하여 가중치를 산출할 수 있다.

구체적으로, 하기의 수학식 16에 나타나는 바와 같이, 입력 블록 단위를 대상으로, 휘도 적응 특성에 의해 산출된 가중치 행렬과, 대비 마스킹 특성에 의해 산출된 가중치 행렬을 곱셈 연산을 반영하여 입력 블록 단위의 잔차신호 크기 값을 산출하고, CTU에 포함된 입력 블록 단위의 잔차신호 크기 값을 합산함으로써, CTU 단위의 잔차신호 크기 값을 산출할 수 있다.

다른 예로서, 하기의 수학식 17에 나타나는 바와 같이, 입력 블록 단위를 대상으로, 휘도 적응 특성에 의해 산출된 가중치 행렬과, 대비 마스킹 특성에 의해 산출된 가중치 행렬의 합 연산을 반영하여 입력 블록 단위의 잔차신호 크기 값을 산출하고, CTU에 포함된 입력 블록 단위의 잔차신호 크기 값을 합산함으로써, CTU 단위의 잔차신호 크기 값을 산출할 수 있다.

7. 돌출 맵(saliency map) 특성을 이용한 가중치 산출

입력 블록의 돌출 맵(saliency map) 특성에 따른 가중치를 산출할 수 있다.

사람의 집중도(관심도)에 기초하여, 소정의 맵(Map) 형태의 데이터를 구성할 수 있으며, 이와 같이 구성된 데이터를 돌출 맵(saliency map)으로 지시할 수 있다.

도 8은 본 개시의 일 실시예에 따른 율-제어 방법에서 적용되는 돌출 맵과 가중치를 예시하는 도면이다.

도 8을 참조하면, 원본 영상(810)에 사람의 집중도(관심도)를 반영한 제1돌출 맵(820)을 구성할 수 있다. 제1돌출 맵(820)에서 상대적으로 밝은 부분이 사람의 집중도(관심도)가 높은 것을 나타낼 수 있다.

또한, 제1돌출 맵(820)의 밝기 정보를 고려하여 색상을 적용한 후, 원본 영상(810)에 오버랩시킨 제2돌출 맵(830)을 구성할 수 있다. 제2돌출 맵(830)에서 붉은 부분은 상대적으로 사람의 집중도(관심도)가 높은 것을 나타내고, 제2돌출 맵(830)에서 청색 부분은 상대적으로 사람의 집중도(관심도)가 낮은 것을 나타낸다.

이와 같은 돌출 맵(saliency map)에 사람의 집중도(관심도)를 반영하여 가중치를 산출할 수 있다.

돌출 맵은 픽쳐 단위로 설정될 수 있으며, 나아가 픽쳐를 소정의 크기로 분할한 단위로 설정할 수도 있다.

돌출 맵을 구성하면서 산출된 사람의 집중도(관심도)를 반영하여 가중치를 적용할 수 있다.

돌출 맵을 구성하면서 산출된 사람의 집중도(관심도)는 화소 또는 소정의 블록 단위로 산출될 수 있다. 반면, 본 개시의 일 실시예에서, 비트량 CTU 단위로 할당될 수 있다. 따라서, 돌출 맵을 반영한 가중치는 CTU 단위로 결정될 필요가 있으므로, CTU 단위에 대한 대표 가중치를 결정할 수 있다. 상기 CTU 단위의 대표 가중치는 CTU 단위에 포함된 화소 또는 블록의 가중치의 평균 값으로 산출할 수 있다.

이와 같은 돌출 맵을 반영한 가중치는 하기의 수학식 18의 연산을 통해 산출될 수 있다.

이와 같이, 돌출 맵을 반영한 가중치가 결정되면, CTU에 대한 잔차신호 크기 값은 하기의 수학식 19의 연산을 통해 산출될 수 있다.

나아가, 돌출 맵 특성을 반영한 가중치는 대비 민감도 특성을 이용한 가중치 행렬(H_CS), 휘도 적응 특성을 이용한 가중치 행렬(H_CM), 및 대비 마스킹 특성을 이용한 가중치 행렬(H_CM) 중 적어도 하나와 조합될 수 있으며, 조합된 가중치를 사용하여 CTU 단위에 대한 비트량을 할당할 수 있다. 예를 들어, 돌출 맵 특성을 반영한 가중치와 대비 민감도 특성을 이용한 가중치 행렬(H_CS)의 곱셈 연산(또는 합의 연산)을 반영하여 입력 블록 단위의 잔차신호 크기 값을 산출하고, CTU에 포함된 입력 블록 단위의 잔차신호 크기 값을 합산함으로써, CTU 단위의 잔차신호 크기 값을 산출할 수 있다. 그리고, TU에 대한 잔차신호 크기 값이 결정되면, 픽쳐 내의 전체 CTU의 잔차신호 크기 값의 합을 확인하고, 전체 CTU의 잔차신호 크기 값의 합 대비 현재 CTU의 잔차신호 크기 값으로 현재 CTU의 잔차신호 크기 값 비율을 결정할 수 있고, 이 비율에 따라 CTU 단위에 대한 비트량을 할당할 수 있다.

마찬가지로, 돌출 맵 특성을 반영한 가중치와 휘도 적응 특성을 이용한 가중치 행렬(H_CM)의 곱셈 연산(또는 합의 연산)을 반영하여 입력 블록 단위의 잔차신호 크기 값을 산출하고, CTU에 포함된 입력 블록 단위의 잔차신호 크기 값을 합산함으로써, CTU 단위의 잔차신호 크기 값을 산출할 수 있다. 그리고, TU에 대한 잔차신호 크기 값이 결정되면, 픽쳐 내의 전체 CTU의 잔차신호 크기 값의 합을 확인하고, 전체 CTU의 잔차신호 크기 값의 합 대비 현재 CTU의 잔차신호 크기 값으로 현재 CTU의 잔차신호 크기 값 비율을 결정할 수 있고, 이 비율에 따라 CTU 단위에 대한 비트량을 할당할 수 있다.

마찬가지로, 돌출 맵 특성을 반영한 가중치와 대비 마스킹 특성을 이용한 가중치 행렬(H_CM)의 곱셈 연산(또는 합의 연산)을 반영하여 입력 블록 단위의 잔차신호 크기 값을 산출하고, CTU에 포함된 입력 블록 단위의 잔차신호 크기 값을 합산함으로써, CTU 단위의 잔차신호 크기 값을 산출할 수 있다. 그리고, TU에 대한 잔차신호 크기 값이 결정되면, 픽쳐 내의 전체 CTU의 잔차신호 크기 값의 합을 확인하고, 전체 CTU의 잔차신호 크기 값의 합 대비 현재 CTU의 잔차신호 크기 값으로 현재 CTU의 잔차신호 크기 값 비율을 결정할 수 있고, 이 비율에 따라 CTU 단위에 대한 비트량을 할당할 수 있다.

도 9는 본 개시의 일 실시예에 따른 영상 부호화 장치 및 방법이 적용되는 컴퓨팅 환경을 예시하는 도면이다.

도 9에 예시되는 컴퓨팅 환경은 영상 부호화 장치 및 방법이 실행될 수 있는 동작 환경의 예시하는 것이며, 본 개시의 용도나 기능의 범위를 한정하는 것은 아니다.

본 개시의 일 실시예에 따른 영상 부호화 장치 및 방법에 적합하게 이용될 수 있는 컴퓨팅 시스템, 환경 및/또는 구성의 예로는 퍼스널 컴퓨터, 서버 컴퓨터, 핸드-헬드 또는 랩톱 장치, 멀티프로세서 시스템, 마이크로프로세서 기반 시스템, 프로그램가능한 가전제품, 네트워크 퍼스널 컴퓨터, 미니 컴퓨터, 메인픽쳐 컴퓨터, 상기 시스템들이나 장치들 중 임의의 것을 포함하는 분산 컴퓨팅 환경 등을 포함할 수 있다.

본 개시의 일 실시예에 따른 영상 부호화 장치 및 방법은 일반적으로 하나 또는 그 이상의 컴퓨터나 기타 장치에 의해 실행되는 프로그램 모듈과 같은 컴퓨터 실행가능 명령어와 관련하여 기술될 것이다. 일반적으로, 프로그램 모듈은 특정 태스크를 수행하거나 특정 추상 데이터 유형을 구현하는 루틴, 프로그램, 객체, 컴포넌트, 데이터 구조 등을 포함할 수 있다. 통상적으로 프로그램 모듈의 기능은 여러 가지 환경에 따라 조합되거나 분산될 수 있다.

도 9를 참조하면, 컴퓨팅 장치(900)는 통상적으로 적어도 하나의 처리 유닛(902)과 메모리(904)를 포함한다.

컴퓨팅 장치의 구성과 유형에 따라서 메모리는 RAM과 같은 휘발성 메모리, ROM, 플래시 메모리 등과 같은 불휘발성 메모리나, 이들을 조합한 메모리일 수 있다. 또한, 컴퓨팅 장치(900)는 자기 또는 광학 디스크나 테이프와 같은 추가적인 (예컨대, 착탈식 및/또는 고정식) 저장 장치를 포함할 수 있다. 추가적인 저장 장치는 착탈식 저장 장치(908)와 고정식 저장 장치(910)를 포함할 수 있다.

메모리(904), 착탈식 저장 장치(908), 및 고정식 저장 장치(910)는 모두 컴퓨터 저장 매체로서 구비될 수 있으며, RAM, ROM, EEPROM, 플래시 메모리 또는 기타 메모리 기술, CD-ROM, DVD(digital versatile disk) 또는 기타 광 디스크 저장 장치, 자기 카세트, 자기 테이프, 자기 디스크 저장 장치 또는 기타 자기 저장 장치, 또는 장치(900)에 의해 액세스되고 원하는 정보를 저장할 수 있는 임의의 기타 매체를 포함할 수 있다.

컴퓨팅 장치(900)는 유무선 네트워크를 통해 다른 컴퓨팅 장치와 같은 다른 장치와 통신할 수 있도록 하는 통신부(912)를 포함할 수 있다. 통신부(912)는 통상적으로 반송파(carrier wave) 또는 기타 전송 메커니즘(transport mechanism)과 같은 피변조 데이터 신호(modulated data signal)에 컴퓨터 판독 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터 등을 구현하고 임의의 정보 전달 매체를 포함한다. "피변조 데이터 신호"라는 용어는, 신호 내에 정보를 인코딩하도록 그 신호의 특성들 중 하나 이상을 설정 또는 변경시킨 신호를 의미한다. 예로서, 통신부(912)는 유선 네트워크 또는 직접 배선 접속(direct-wired connection)과 같은 유선 매체, 그리고 음향, 무선 주파수, 적외선, 기타 무선 매체와 같은 무선 매체를 포함한할 수 있다.

컴퓨팅 장치(900)는 키보드, 마우스, 펜, 음성 입력 장치, 터치 입력 장치, 레이저 거리 측정기, 적외선 카메라, 비디오 입력 장치와 같은 입력 장치(914)를 포함할 수 있다. 또한, 컴퓨팅 장치(900)는 디스플레이, 스피커, 프린터와 같은 출력 장치(916)를 포함할 수 있다.

컴퓨팅 장치(900)에 구비된 적어도 하나의 처리 유닛(902)은 본 개시의 일 실시예에 따른 영상 부호화 장치 및 방법에 대응되는 동작을 처리할 수 있다. 특히, 본 개시의 일 실시예에 따른 컴퓨팅 장치(900)의 처리 유닛(902)은 인지 특성 요소를 사용하여 미리 정해진 제1크기 단위의 가중치를 산출하는 동작과, 산출된 상기 제1크기 단위의 가중치에 원본 블록과 예측 블록 사이의 차이값을 반영한 잔차 신호 값을 확인하는 동작과, 픽쳐 단위의 잔차 신호 값 대비 상기 제1크기 단위의 잔차 신호 값의 비율을 반영하여 상기 제1크기 단위에 대한 비트량을 할당하는 동작을 처리할 수 있다.

본 개시의 예시적인 방법들은 설명의 명확성을 위해서 동작의 시리즈로 표현되어 있지만, 이는 단계가 수행되는 순서를 제한하기 위한 것은 아니며, 필요한 경우에는 각각의 단계가 동시에 또는 상이한 순서로 수행될 수도 있다. 본 개시에 따른 방법을 구현하기 위해서, 예시하는 단계에 추가적으로 다른 단계를 포함하거나, 일부의 단계를 제외하고 나머지 단계를 포함하거나, 또는 일부의 단계를 제외하고 추가적인 다른 단계를 포함할 수도 있다.

본 개시의 다양한 실시 예는 모든 가능한 조합을 나열한 것이 아니고 본 개시의 대표적인 양상을 설명하기 위한 것이며, 다양한 실시 예에서 설명하는 사항들은 독립적으로 적용되거나 또는 둘 이상의 조합으로 적용될 수도 있다.

또한, 본 개시의 다양한 실시 예는 하드웨어, 펌웨어(firmware), 소프트웨어, 또는 그들의 결합 등에 의해 구현될 수 있다. 하드웨어에 의한 구현의 경우, 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 범용 프로세서(general processor), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.

본 개시의 범위는 다양한 실시 예의 방법에 따른 동작이 장치 또는 컴퓨터 상에서 실행되도록 하는 소프트웨어 또는 머신-실행가능한 명령들(예를 들어, 운영체제, 애플리케이션, 펌웨어(firmware), 프로그램 등), 및 이러한 소프트웨어 또는 명령 등이 저장되어 장치 또는 컴퓨터 상에서 실행 가능한 비-일시적 컴퓨터-판독가능 매체(non-transitory computer-readable medium)를 포함한다.

Claims

인지 특성 요소를 사용하여 미리 정해진 제1크기 단위의 가중치를 산출하는 과정과,
산출된 상기 제1크기 단위의 가중치에 원본 블록과 예측 블록 사이의 차이값을 반영한 잔차 신호 값을 확인하는 과정과,
픽쳐 단위의 잔차 신호 값 대비 상기 제1크기 단위의 잔차 신호 값의 비율을 반영하여 상기 제1크기 단위에 대한 비트량을 할당하는 과정을 포함하는 영상 부호화 처리의 비트량 결정 방법.