KR101585059B1 - 영상 데이터 처리 방법 및 디바이스 - Google Patents

영상 데이터 처리 방법 및 디바이스 Download PDF

Info

Publication number
KR101585059B1
KR101585059B1 KR1020140067793A KR20140067793A KR101585059B1 KR 101585059 B1 KR101585059 B1 KR 101585059B1 KR 1020140067793 A KR1020140067793 A KR 1020140067793A KR 20140067793 A KR20140067793 A KR 20140067793A KR 101585059 B1 KR101585059 B1 KR 101585059B1
Authority
KR
South Korea
Prior art keywords
motion
determined
determining
importance
value
Prior art date
Application number
KR1020140067793A
Other languages
English (en)
Other versions
KR20150088166A (ko
Inventor
곽영진
김창수
이세호
김대희
김진환
최광표
고영준
이철우
Original Assignee
삼성전자주식회사
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사, 고려대학교 산학협력단 filed Critical 삼성전자주식회사
Publication of KR20150088166A publication Critical patent/KR20150088166A/ko
Application granted granted Critical
Publication of KR101585059B1 publication Critical patent/KR101585059B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

영상 데이터를 처리하는 방법은 영상을 구성하는 배경과 객체의 움직임 차이에 대한 움직임 대조비를 결정하고, 객체의 움직임 크기를 결정하고, 움직임 대조비와 객체의 움직임 크기에 기초하여 결정된 움직임 중요도를 보정하기 위한 움직임 중요도 가중치를 결정하고, 결정된 움직임 대조비, 결정된 객체의 움직임 크기 및 결정된 움직임 중요도 가중치 중 적어도 하나를 이용하여 영상 내의 각 블록의 움직임 중요도를 결정할 수 있다.

Description

영상 데이터 처리 방법 및 디바이스{Method and device for processing image data}
개시된 하나 이상의 실시 예는 영상 데이터를 처리하는 방법 및 영상 데이터를 처리하는 디바이스에 관한 것이다.
정보통신기술이 발달함에 따라 영상 데이터를 처리하는 기술이 개선됨에 따라 휴대 단말기를 통해 영상 데이터가 디스플레이되는 경우가 증가하고 있다.
그에 따라, 휴대 단말기 등을 통해 영상 데이터를 처리할 필요성이 증가하고 있으나, 휴대 단말기를 통해 영상 데이터가 디스플레이 되는 경우 화면의 크기에 제한이 있는 상태에서 영상 데이터가 디스플레이 될 수 있다.
따라서, 휴대 단말기의 성능이나 디스플레이의 한계로 인해서 휴대 단말기의 특성을 고려하여 영상 데이터를 처리할 필요가 있다.
또한, 영상 데이터의 처리량이 증가함에 따라 영상 데이터를 전송 및 저장하기 위한 영상 데이터 압축 기술이 요구된다.
본 발명은 영상 데이터를 효율적으로 처리하는 방법을 제공할 수 있다.
본 발명에 개시된 하나 이상의 실시 예에서 디바이스는 픽셀들을 소정의 기준에 따라 분류하여 분류된 그룹을 이용하여 영상 데이터를 처리하는 방법을 제공할 수 있다.
다양한 실시 예에 따른 영상 데이터 처리 방법은 영상을 구성하는 배경과 객체의 움직임 차이에 대한 움직임 대조비를 결정하는 단계, 객체의 움직임 크기를 결정하는 단계, 움직임 대조비와 객체의 움직임 크기에 기초하여 결정된 움직임 중요도를 보정하기 위한 움직임 중요도 가중치를 결정하는 단계 및 결정된 움직임 대조비, 결정된 객체의 움직임 크기 및 결정된 움직임 중요도 가중치 중 적어도 하나를 이용하여 영상 내의 각 블록의 중요도를 결정하는 단계를 포함할 수 있다.
도 1은 다양한 실시 예에 따른 영상 데이터 처리 방법 및 디바이스를 설명하기 위한 도면이다.
도 2는 다양한 실시 예에 따라 영상 내의 각 블록의 움직임 중요도를 결정하는 방법을 설명하기 위한 흐름도이다.
도 3은 다양한 실시 예에 따라 디바이스가 움직임 대조비를 결정하는 방법을 설명하기 위한 흐름도이다.
도 4는 다양한 실시 예에 따라 디바이스가 객체의 움직임 크기를 결정하는 방법을 설명하기 위한 흐름도이다.
도 5는 다양한 실시 예에 따라 디바이스가 전역 움직임 신뢰도를 결정하는 방법을 설명하기 위한 흐름도이다.
도 6은 다양한 실시 예에 따라 디바이스가 움직임 중요도 가중치를 결정하는 방법을 설명하기 위한 흐름도이다.
도 7은 다양한 실시 예에 따라 디바이스가 중요점을 검출하는 방법을 설명하기 위한 흐름도이다.
도 8은 다양한 실시 예에 따라 디바이스가 다중 스케일 방식을 이용하는 방법을 설명하기 위한 도면이다.
도 9는 다양한 실시 예에 따라 디바이스가 움직임 중요도를 결정하는 방법을 설명하기 위한 도면이다.
도 10은 다양한 실시 예에 따라 디바이스가 움직임 중요도 가중치를 이용하여 움직임 중요도를 보정하는 방법을 설명하기 위한 도면이다.
도 11은 다양한 실시 예에 따라 디바이스가 중요점을 결정하는 방법을 설명하기 위한 도면이다.
도 12는 다양한 실시 예에 따라 디바이스의 구성을 설명하기 위한 블록도이다.
이하 본 명세서에 기재된 본 발명의 다양한 실시 예들에서, '영상'은 정지 영상 뿐만 아니라 비디오와 같은 동영상을 포함하여 포괄적으로 지칭할 수 있다.
이하 도 1 내지 도 12를 참조하여, 다양한 실시 예에 따른 영상 데이터 처리 방법 및 디바이스가 개시된다.
또한, 본 명세서에서 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
이하, 실시 예들을 첨부도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략할 수 있다.
도 1은 다양한 실시 예에 따른 영상 데이터 처리 방법 및 디바이스(110)를 설명하기 위한 도면이다.
디바이스(110)는 영상 데이터(120)를 수신할 수 있다. 디바이스(110)는 수신한 영상 데이터(120)를 처리할 수 있다.
디바이스(110)는 수신한 영상 데이터(120)를 처리하는 과정에서, 영상을 구성하는 배경과 객체의 움직임 차이에 대한 움직임 대조비, 객체의 움직임 크기, 움직임 대조비와 객체의 움직임 크기에 기초하여 결정된 움직임 중요도를 보정하기 위한 움직임 중요도 가중치를 결정할 수 있다. 또한, 디바이스(110)는 결정된 움직임 대조비, 결정된 객체의 움직임 크기 및 결정된 움직임 중요도 가중치 중 적어도 하나를 이용하여 영상 내의 각 블록의 움직임 중요도를 결정할 수 있다.
구체적인 사항은 후술한다.
도 2는 다양한 실시 예에 따라 영상 내의 각 블록의 중요도를 결정하는 방법을 설명하기 위한 흐름도이다.
영상 내에는 복수개의 블록이 포함될 수 있다.
단계 S210에서 디바이스(110)는 영상을 구성하는 배경과 객체의 움직임 차이에 대한 움직임 대조비를 결정할 수 있다.
움직임 대조비는 영상을 구성하는 배경과 객체의 움직임 차이에 대한 값을 의미할 수 있다.
또는 움직임 대조비는 주변 영역과 현재 영역과의 움직임 차이를 나타낼 수 있다. 예를 들면, 움직임 대조비는 현재 블록과 현재 블록에 인접한 블록들과의 움직임 차이를 이용하여 결정될 수 있다.
디바이스(110)는 현재 블록의 움직임과 현재 블록의 주변 블록들의 움직임 차이를 이용하여 움직임 대조비를 결정할 수 있다. 주변 블록은 현재 블록으로부터 소정의 거리 내에 위치한 블록을 의미할 수 있다.
예를 들면 디바이스(110)는 수학식(1)을 이용하여 움직임 대조비를 결정할 수 있다. Mi는 현재 블록의 움직임 대조비를 의미할 수 있다.
[수학식(1)]
Figure 112014052718765-pat00001
bi는 i번째 블록을 의미할 수 있다. Vi는 bi의 움직임 벡터를 의미할 수 있다. ∥xi-xj∥^2 은 현재 블록과 이웃한 블록과의 중심 위치 차이를 의미할 수 있다. Ni는 bi 블록의 주변에 위치하는 블록의 집합을 의미할 수 있다. σb^2은 움직임 대조비의 민감도를 결정하는 파라미터를 의미할 수 있다.
움직임 대조비는 다중 스케일 기법을 통해 보정될 수 있다. 다중 스케일 기법에 대해서는 도 8에서 후술한다.
보정된 움직임 대조비(
Figure 112014052718765-pat00002
)는 움직임 중요도를 결정할 때 이용될 수 있다.
예를 들면, 수학식 (2)에서와 같이 디바이스(110)는 전역 움직임 신뢰도(τ)에 움직임 크기(T)를 곱한 값에 보정된 움직임 대조비(
Figure 112014052718765-pat00003
)를 더하여 움직임 중요도(Et)를 결정할 수 있다.
[수학식 (2)]
Figure 112014052718765-pat00004
전역 움직임 신뢰도(τ)를 결정하는 방법은 도 5에서 후술한다.
단계 S220에서 디바이스(110)는 객체의 움직임 크기를 결정할 수 있다. 객체의 움직임 크기는 영상이 시간의 흐름에 따라 변할 때 객체의 시간당 이동 거리를 의미할 수 있다.
예를 들면, 디바이스(110)는 객체에 대응되는 블록들의 시간당 이동 거리에 대한 평균 값을 해당 객체의 움직임 크기로 결정할 수 있다. 또한, 객체는 영상에서 배경과 구별되는 대상을 의미할 수 있다.
단계 S230에서 디바이스(110)는 단계 S210에서 결정된 움직임 대조비와 단계 S220에서 결정된 객체의 움직임 크기에 기초하여 결정된 움직임 중요도를 보정하기 위한 움직임 중요도 가중치를 결정할 수 있다.
디바이스(110)는 움직임 중요도 가중치를 이용하여 움직임 중요도를 보정할 수 있다.
디바이스(110)는 단계 S210에서 결정된 움직임 대조비와 단계 S220에서 결정된 객체의 움직임 크기에 기초하여 움직임 중요도(Et)를 결정할 수 있다.
움직임 중요도 가중치는 움직임 중요도(Et)를 보정하기 위한 값을 의미할 수 있다.
디바이스(110)는 결정된 움직임 중요도(Et)를 보정하기 위한 움직임 중요도 가중치(Q)를 결정할 수 있다.
예를 들면, 수학식(3)에서와 같이 디바이스(110)는 움직임 중요도(Et)와 움직임 중요도 가중치(Q)를 곱하여 보정된 움직임 중요도(
Figure 112014052718765-pat00005
)를 결정할 수 있다.
[수학식(3)]
Figure 112014052718765-pat00006
Et(x, y)는 가로로 x번째, 세로로 y번째의 블록의 움직임 중요도를 의미할 수 있다.
Q(x, y)는 가로로 x번째, 세로로 y번째의 블록의 움직임 중요도 가중치를 의미할 수 있다.
디바이스(110)는 Et(x, y)와 Q(x, y)를 곱하여 보정된 움직임 중요도를 결정할 수 있다.
움직임 정보의 부정확성으로 인해 움직임 중요도의 정확도가 낮아질 수 있다. 움직임 정보의 부정확성은 텍스쳐가 없는 영역과 객체의 경계에서 발생할 수 있다. 따라서 디바이스(110)는 움직임 정보의 오류로 인해 발생하는 움직임 중요도의 잡음을 제거하기 위해 움직임 중요도 가중치를 이용할 수 있다.
예를 들면 디바이스(110)는 각각의 블록에 대해서 움직임 중요도 가중치를 결정하고, 결정된 움직임 중요도 가중치를 각각의 블록의 움직임 중요도와 곱하여 움직임 중요도의 잡음을 제거할 수 있다. 디바이스(110)는 현재 블록을 움직임이 적은 현재 블록의 주변 블록들과 비교하여 움직임 중요도 가중치를 결정할 수 있다. 현재 블록이 현재 블록의 주변 블록들과 픽셀 값이 유사할수록 움직임 중요도 가중치는 낮을 수 있다. 또는 현재 블록이 움직임이 적은 현재 블록의 주변 블록들과 픽셀 값이 유사할수록 움직임 중요도 가중치가 낮을 수 있다.
예를 들면, 디바이스(110)는 블록의 움직임 중요도 가중치를 수학식(4)를 이용하여 결정할 수 있다.
[수학식(4)]
Figure 112014052718765-pat00007
Sc는 블록간의 픽셀 유사도, WT(j)는 bj의 움직임 크기에 대한 가중치를 의미할 수 있다. Wg는 bi와 bj 블록간의 거리에 따른 가중치를 의미할 수 있다.
예를 들면, 디바이스(110)는 수학식(5) 내지 수학식(7)을 이용하여 Sc, WT, Wg를 결정할 수 있다.
[수학식(5)]
Figure 112014052718765-pat00008
[수학식(6)]
Figure 112014052718765-pat00009
[수학식(7)]
Figure 112014052718765-pat00010
WT(j)는 bj의 움직임 크기가 작을수록 큰 값을 가질 수 있다. 또한, Wg(i,j)는 bi, bj간의 블록간의 거리가 가까울수록 큰 값을 가질 수 있다.
단계 S240에서 디바이스(110)는 단계 S210에서 결정된 움직임 대조비, 단계 S220에서 결정된 객체의 움직임 크기 및 단계 S230에서 결정된 움직임 중요도 가중치 중 적어도 하나를 이용하여 영상 내의 각 블록의 움직임 중요도를 결정할 수 있다.
예를 들면, 디바이스(110)는 단계 S210에서 결정된 움직임 대조비, 단계 S220에서 결정된 객체의 움직임 크기 및 단계 S230에서 결정된 움직임 중요도 가중치를 모두 이용하여 영상 내의 각 블록의 움직임 중요도를 결정할 수 있다. 디바이스(110)는 상술한 바 있는 수학식(3)을 이용하여 움직임 중요도(Et)와 움직임 중요도 가중치(Q)를 곱하여 보정된 움직임 중요도(
Figure 112014052718765-pat00011
)를 결정할 수 있다. 그리고 본 실시 예에서, 디바이스(110)는 움직임 중요도(Et)는 상술한 수학식(2)를 이용하여 결정될 수 있다.
디바이스(110)는 영상을 압축할 때 중요 영역을 판별하여 중요 영역과 비중요 영역에 대해 차별적 압축을 시행할 수 있다. 중요 영역은 단계 S240에서 결정된 보정된 움직임 중요도가 소정의 기준 이상인 블록들이 영상에서 차지하는 영역을 의미할 수 있다.
디바이스(110)는 단계 S240에서 결정된 각 블록의 보정된 움직임 중요도에 기초하여 각 블록의 영상들에 대한 압축 방식을 결정할 수 있다. 중요도는 보정된 움직임 중요도를 포함할 수 있다.
디바이스(110)는 영상을 압축할 때 중요 영역을 결정하여 중요 영역과 비중요 영역에 대한 압축 파라미터를 차별화할 수 있다. 디바이스(110)는 중요 영역과 비중요 영역에 대한 압축 파라미터를 차별화 함으로써 압축 효율을 향상시킬 수 있다. 중요 영역은 중요도가 소정의 기준 이상인 블록들이 영상에서 차지하는 영역을 의미할 수 있다. 비중요 영역은 중요도가 소정의 기준 미만인 블록들이 영상에서 차지하는 영역을 의미할 수 있다.
예를 들면, 디바이스(110)는 중요도가 소정의 기준 이상인 블록들에 대한 압축을 시행할 때 압축 속도보다는 정확도에 더 중점을 둔 압축 방식을 선택하고, 중요도가 소정의 기준 미만인 블록들에 대한 압축을 시행할 때 정확도보다는 압축 속도에 더 중점을 둔 압축 방식을 선택할 수 있다.
또한, 디바이스(110)는 영상 내 중요점을 강조하여 표현할 수 있다. 영상 내 중요점을 강조하여 표현할 경우 영상의 품질이 향상될 수 있다.
예를 들면, 디바이스(110)는 단계 S240에서 결정된 중요도가 소정의 기준 이상인 블록들은 소정 비율만큼 더 밝게 디스플레이 되도록 할 수 있다.
다른 예로, 디바이스(110)는 단계 S240에서 결정된 중요도가 소정의 기준 이상인 블록들은 소정의 방식으로 강조되어 디스플레이 되도록 할 수 있다.
도 2와 관련하여 상술된 실시 예들은 하나의 실시 예들에 불과한 것이고, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다.
도 3은 다양한 실시 예에 따라 디바이스(110)가 움직임 대조비를 결정하는 방법을 설명하기 위한 흐름도이다.
단계 S310에서 디바이스(110)는 현재 블록의 움직임 값을 결정할 수 있다.
예를 들면, 디바이스(110)는 현재 프레임에서 현재 블록의 위치와 다음 프레임에서 현재 블록에 대응되는 블록의 위치를 비교하여 시간의 변화 당 현재 블록의 이동 거리를 이용하여 현재 블록의 움직임 값을 결정할 수 있다.
단계 S320에서 디바이스(110)는 현재 블록의 주변에 위치한 주변 블록들의 움직임 값을 결정할 수 있다.
예를 들면, 디바이스(110)는 상술한 바와 같은 움직임 값 결정 방법을 이용하여 현재 블록으로부터 소정의 거리 내에 위치한 블록들의 움직임 값들을 결정할 수 있다.
단계 S330에서 디바이스(110)는 단계 S310에서 결정된 현재 블록의 움직임 값과 단계 S320에서 결정된 주변 블록들의 움직임 값의 차이를 이용하여 움직임 대조비를 결정할 수 있다.
예를 들면, 움직임 대조비는 상술한 바와 같이 수학식(1)에 의해 계산될 수 있다. 또한, 움직임 대조비는 다중 스케일 기법을 통해 보정될 수 있다.
다른 예로, 움직임 대조비는 단계 S310에서 결정된 현재 블록의 움직임 값과 단계 S320에서 결정된 주변 블록들의 움직임 값들과의 차이값들의 합에 비례하도록 설정될 수 있다.
도 4는 다양한 실시 예에 따라 디바이스(110)가 객체의 움직임 크기를 결정하는 방법을 설명하기 위한 흐름도이다.
단계 S410에서 디바이스(110)는 현재 블록의 움직임 값을 결정할 수 있다.
단계 S410은 단계 S310에 대응되므로 전체적인 설명을 간단히 하기 위해 상세한 설명을 생략한다.
단계 S420에서 디바이스(110)는 영상의 전역적인 움직임에 대한 전역 움직임 값을 결정할 수 있다.
전역적인 움직임은 영상의 전체적인 움직임을 의미할 수 있다. 예를 들면, 카메라가 이동하는 경우 카메라의 이동에 대응하는 움직임 값이 전역적인 움직임 값이 될 수 있다.
디바이스(110)는 전역적인 움직임을 결정할 수 있다. 예를 들면, 디바이스(110)는 영상을 구성하는 복수개의 블록들의 평균 움직임을 전역적인 움직임으로 결정할 수 있다. 다른 예로, 디바이스(110)는 움직임 히스토그램을 구성하고 히스토그램에서 가장 높은 빈도를 보이는 움직임을 전역 움직임으로 선택할 수 있다.
단계 S430에서 디바이스(110)는 단계 S410에서 결정된 현재 블록의 움직임 값으로부터 단계 S420에서 결정된 전역 움직임 값이 배제된 객체의 움직임 크기를 결정할 수 있다.
예를 들면, 디바이스(110)는 단계 S410에서 결정된 현재 블록의 움직임 값에서 단계 S420에서 결정된 전역 움직임 값을 뺀 값을 현재 블록의 움직임 크기로 결정할 수 있다.
다른 예로, 디바이스(110)는 단계 S410에서 결정된 현재 블록의 움직임 값에서 단계 S420에서 결정된 전역 움직임 값을 뺀 값을 현재 블록에 대응되는 객체의 움직임 크기로 결정할 수 있다.
또 다른 예로, 디바이스(110)는 단계 S410에서 결정된 현재 블록의 움직임 값에서 단계 S420에서 결정된 전역 움직임 성분이 제거된 값을 현재 블록의 움직임 크기로 결정할 수 있다.
도 5는 다양한 실시 예에 따라 디바이스(110)가 전역 움직임 신뢰도를 결정하는 방법을 설명하기 위한 흐름도이다.
도 4에서 상술한 현재 블록의 움직임 값으로부터 전역 움직임 값을 배제하는 방법의 일 실시 예로 움직임 신뢰도를 이용하는 방법이 있을 수 있다.
전역 움직임 신뢰도는 전역 움직임 값이 정확한 정도를 의미할 수 있다.
움직임 크기는 각 블록의 움직임의 절대적인 크기를 의미할 수 있다. 사용자가 카메라를 이용하여 동영상을 촬영할 경우 카메라의 움직임에 의하여 전역적인 움직임이 발생할 수 있다. 따라서 움직임의 절대적인 크기를 계산하기 위해 전역 움직임을 보상해야할 수 있다. 디바이스(110)는 움직임 히스토그램을 구성하고 히스토그램에서 가장 높은 빈도를 보이는 움직임을 전역 움직임으로 선택할 수 있다. 디바이스(110)는 선택된 움직임이 영상 내에 분포하는 비율이 높을수록 전역 움직임일 확률이 높다고 판단할 수 있다. 따라서 디바이스(110)는 전역 움직임으로 선택된 움직임 값의 히스토그램 내 비율을 전역 움직임 신뢰도(τ)로 정의할 수 있다. 디바이스(110)는 움직임 맵에서 전역 움직임을 제거하여 움직임 크기(T)를 계산할 수 있다.
또한, 디바이스(110)는 움직임 대조비, 객체의 움직임 크기, 움직임 중요도 가중치 및 전역 움직임 신뢰도 중 적어도 하나를 이용하여 영상 내의 각 블록의 중요도를 결정할 수 있다.
또한, 디바이스(110)는 움직임 대조비, 객체의 움직임 크기, 움직임 중요도 가중치 및 전역 움직임 신뢰도를 이용하여 영상 내의 각 블록의 중요도를 결정할 수 있다.
도 5에서는 움직임 크기(T)를 계산할 때 이용될 수 있는 전역 움직임 신뢰도(τ)를 결정하는 방법에 대해 설명한다.
단계 S510에서 디바이스(110)는 영상을 구성하는 블록들의 움직임 크기들을 결정할 수 있다.
디바이스(110)는 영상을 구성하는 블록들의 시간의 흐름에 따른 위치 변화량에 따라 영상을 구성하는 블록들의 움직임 크기들을 결정할 수 있다.
단계 S520에서 디바이스(110)는 단계 S510에서 결정된 블록들의 움직임 크기들 중 최빈값을 전역 움직임 값으로 결정할 수 있다.
예를 들면, 디바이스(110)는 움직임 히스토그램을 구성하고 히스토그램에서 가장 높은 빈도를 보이는 움직임을 전역 움직임으로 선택할 수 있다.
다른 예로, 디바이스(110)는 영상을 구성하는 복수개의 블록들의 평균 움직임을 전역적인 움직임으로 결정할 수 있다.
단계 S530에서 디바이스(110)는 ‘단계 S510에서 결정된 블록들의 움직임 크기들’에 대한 ‘단계 S520에서 결정된 전역 움직임 값’의 비율에 대한 값인 전역 움직임 신뢰도를 결정할 수 있다.
예를 들면, 디바이스(110)는 ‘단계 S510에서 결정된 블록들의 움직임 크기들’ 중 ‘단계 S520에서 결정된 전역 움직임 값’이 차지하는 비율에 대응하는 값인 전역 움직임 신뢰도를 결정할 수 있다.
다른 예로, 디바이스(110)는 ‘단계 S510에서 결정된 블록들의 움직임 크기들’ 중 ‘단계 S520에서 결정된 전역 움직임 값’이 차지하는 비율에 비례하는 값인 전역 움직임 신뢰도를 결정할 수 있다.
도 6은 다양한 실시 예에 따라 디바이스(110)가 움직임 중요도 가중치를 결정하는 방법을 설명하기 위한 흐름도이다.
단계 S610에서 디바이스(110)는 현재 블록과 현재 블록의 주변에 위치한 주변 블록들간의 픽셀 유사도를 결정할 수 있다.
예를 들면, 디바이스(110)는 현재 블록으로부터 소정의 범위 내에 위치한 주변 블록들과 현재 블록간의 픽셀 유사도를 결정할 수 있다.
예를 들면, 현재 블록과 현재 블록의 주변 블록들이 모두 동일한 픽셀값만으로 구성된 경우 픽셀 유사도는 1일 수 있다.
다른 예로, 현재 블록의 픽셀은 흰색만으로 구성되고, 주변 블록의 픽셀은 검은색만으로 구성된 경우 픽셀 유사도는 0일 수 있다.
단계 S620에서 디바이스(110)는 주변 블록들의 움직임 크기에 대한 값인 주변 블록 움직임 가중치를 결정할 수 있다.
예를 들면, 주변 블록 움직임 가중치는 주변 블록의 움직임 크기가 움직임 중요도 가중치에 영향을 끼치는 정도를 나타내는 값일 수 있다.
단계 S630에서 디바이스(110)는 현재 블록과 주변 블록들간의 거리에 대한 값인 블록간 거리 가중치를 결정할 수 있다.
예를 들면, 디바이스(110)는 현재 블록과 주변 블록과의 거리가 클수록 블록간 거리 가중치가 낮도록 블록간 거리 가중치를 결정할 수 있다.
다른 예로, 디바이스(110)는 현재 블록과 주변 블록과의 거리가 소정의 거리에 근접할수록 블록간 거리 가중치가 높도록 블록간 거리 가중치를 결정할 수 있다.
단계 S640에서 디바이스(110)는 단계 S610에서 결정된 픽셀 유사도, 단계 S620에서 결정된 주변 블록 움직임 가중치 및 단계 S630에서 결정된 블록간 거리 가중치 중 적어도 하나를 이용하여 움직임 중요도 가중치를 결정할 수 있다.
예를 들면, 상술한 바와 같이 디바이스(110)는 수학식(4)를 이용하여 움직임 중요도 가중치를 결정할 수 있다. 구체적인 내용은 상술하였다.
다른 예로, 디바이스(110)는 픽셀 유사도에 비례하도록 움직임 중요도 가중치를 결정할 수 있다.
도 7은 다양한 실시 예에 따라 디바이스(110)가 중요점을 검출하는 방법을 설명하기 위한 흐름도이다.
단계 S710에서 디바이스(110)는 입력 영상 데이터를 수신할 수 있다.
단계 S720 내지 단계 S740에서 디바이스(110)는 움직임 중요도를 결정할 수 있다.
단계 S720에서 디바이스(110)는 영상을 구성하는 각각의 블록에 대해서 주변 블록과의 움직임 차이에 대한 움직임 대조비를 결정할 수 있다.
단계 S730에서 디바이스(110)는 영상을 구성하는 각각의 블록의 움직임 크기를 결정할 수 있다.
단계 S740에서 디바이스(110)는 영상을 구성하는 각각의 블록의 움직임 크기의 정확도에 대한 움직임 신뢰도를 결정할 수 있다.
디바이스(110)는 단계 S720에서 결정한 움직임 대조비, 단계 S730에서 결정한 움직임 크기, 단계 S740에서 결정한 움직임 신뢰도를 이용하여 영상을 구성하는 각각의 블록에 대한 움직임 중요도를 결정할 수 있다.
단계 S750에서 디바이스(110)는 영상을 구성하는 각각의 블록 또는 픽셀에 대한 공간적 중요도를 결정할 수 있다.
디바이스(110)는 수신한 영상 데이터(120)를 처리하는 과정에서 영상에 포함된 픽셀들에 대한 희귀도, 응집도 또는 중심 밀집도를 결정할 수 있다.
디바이스(110)는 수신한 영상 데이터(120)를 처리하는 과정에서 영상에 포함된 픽셀들을 하나 이상의 그룹으로 분류하여, 각각의 그룹들에 대한 희귀도, 응집도 또는 중심 밀집도를 결정할 수 있다. 디바이스(110)는 결정된 희귀도, 응집도 및 중심 밀집도 중 적어도 하나에 기초하여 각 그룹의 중요도를 결정할 수 있다.
희귀도와 관련하여, 디바이스(110)는 픽셀 단위로 각 픽셀의 밝기값이 전체 영상에서 희소한 정도를 결정할 수 있다. 또는, 디바이스(110)는 픽셀 단위로 각 픽셀의 색상값이 전체 영상에서 희소한 정도를 결정할 수 있다.
응집도와 관련하여, 디바이스(110)는 각 그룹의 픽셀들이 서로 가까운 정도인 각 그룹의 응집도를 결정할 수 있다.
중심 밀집도와 관련하여, 디바이스(110)는 각 그룹의 픽셀들이 영상의 중앙으로부터 가까운 정도인 각 그룹의 중심 밀집도를 결정할 수 있다.
디바이스(110)는 결정된 희귀도, 응집도 및 중심 밀집도 중 적어도 하나에 기초하여 각 그룹의 중요도를 결정할 수 있다. 또한 디바이스(110)는 각 그룹의 중요도에 따라 영상을 구성하는 블록 또는 픽셀의 공간적 중요도를 결정할 수 있다.
단계 S760에서 디바이스(110)는 영상 내의 블록 또는 픽셀들의 움직임 중요도 및 공간적 중요도를 이용하여 중요점을 검출할 수 있다.
예를 들면, 디바이스(110)는 영상 내의 블록 또는 픽셀들의 움직임 중요도 및 공간적 중요도를 곱한 값에 비례하도록 영상 내의 블록 또는 픽셀들에 중요도를 할당할 수 있다.
도 8은 다양한 실시 예에 따라 디바이스(110)가 다중 스케일 방식을 이용하는 방법을 설명하기 위한 도면이다.
디바이스(110)는 동영상의 움직임 정보를 추정할 수 있다. 예를 들면, 디바이스(110)는 동영상의 움직임 정보를 추정하기 위해서 계층적 블록 움직임 추정 기법을 이용할 수 있다.
계층적 블록 움직임 추정 기법은 도 8에서 도시하는 바와 같이 입력 프레임을 피라미드 형태의 다중 스케일의 영상으로 구성하고 상위 단계에서의 움직임 추정값을 상속하여 더 빠르고 정확하게 움직임을 예측하는 기법이다.
예를 들면, 디바이스(110)는 낮은 스케일에서 움직임이 있는 위치(810)를 결정할 수 있다.
그리고 디바이스(110)는 스케일을 확대하여 움직임이 있는 위치(810)에 대응하는 부분(820)의 움직임을 분석할 수 있다.
그리고 디바이스(110)는 스케일을 한번 더 확대하여 분석되는 부분(820)에 대응되는 부분(830)의 움직임을 분석할 수 있다.
도 9는 다양한 실시 예에 따라 디바이스(110)가 움직임 대조비, 움직임 크기, 움직임 중요도를 결정하는 방법을 설명하기 위한 도면이다.
도 9A는 다양한 실시 예에 따라 디바이스(110)가 수신한 영상 데이터의 이미지이다.
도 9B는 다양한 실시 예에 따라 디바이스(110)가 수신한 영상 데이터로부터 움직임 대조비를 추출한 일 실시 예이다.
디바이스(110)는 수신한 영상 데이터(120)를 이용하여 움직임 대조비를 추출할 수 있다. 디바이스(110)는 입력 영상(910)으로부터 움직임 대조비를 추출할 수 있다. 움직임 대조비 이미지(920)는 디바이스(110)에 의해 입력 영상(910)으로부터 추출될 수 있다.
도 9C는 다양한 실시 예에 따라 디바이스(110)가 수신한 영상 데이터로부터 움직임 크기를 추출한 일 실시 예이다.
디바이스(110)는 입력 영상(910)으로부터 움직임 크기 이미지(930)를 추출할 수 있다.
도 9D는 다양한 실시 예에 따라 디바이스(110)가 수신한 영상 데이터로부터 움직임 중요도를 추출한 일 실시 예이다.
예를 들면, 디바이스(110)는 움직임 대조비 이미지(920) 및 움직임 크기 이미지(930)를 이용하여 움직임 중요도 이미지(940)를 추출할 수 있다.
도 10은 다양한 실시 예에 따라 디바이스(110)가 움직임 중요도 가중치를 이용하여 움직임 중요도를 보정하는 방법을 설명하기 위한 도면이다.
도 10A는 다양한 실시 예에 따라 디바이스(110)가 영상 데이터로부터 움직임 중요도 가중치를 추출한 일 실시 예이다.
예를 들면, 디바이스(110)는 입력 영상(910)으로부터 움직임 중요도 가중치 이미지(1010)를 추출할 수 있다.
도 10B는 다양한 실시 예에 따라 디바이스(110)가 영상 데이터로부터 보정된 움직임 중요도 가중치를 추출한 일 실시 예이다.
예를 들면, 디바이스(110)는 움직임 중요도 이미지(940)를 보정하여 보정된 움직임 중요도 이미지(1020)를 결정할 수 있다.
다른 예로, 디바이스(110)는 움직임 중요도 이미지(940)와 움직임 중요도 가중치 이미지(1010)를 이용하여 보정된 움직임 중요도 이미지를 결정할 수 있다.
도 11은 다양한 실시 예에 따라 디바이스(110)가 중요점을 결정하는 방법을 설명하기 위한 도면이다.
도 11A는 다양한 실시 예에 따라 디바이스(110)가 영상 데이터로부터 공간적 중요도를 추출한 일 실시 예이다.
예를 들면, 디바이스(110)는 입력 영상(910)으로부터 공간적 중요도 이미지(1110)를 추출할 수 있다.
도 11B는 다양한 실시 예에 따라 디바이스(110)가 영상 데이터로부터 중요점을 추출한 일 실시 예이다.
예를 들면, 디바이스(110)는 공간적 중요도 이미지(1110) 및 보정된 중요도 이미지(1020)를 이용하여 중요점을 추출할 수 있다.
구체적으로, 중요점 추출 결과 이미지(1120)에는 중요도가 낮은 그룹의 픽셀들의 명암은 낮게 표시되고, 중요도가 높은 그룹의 픽셀들의 명암은 높게 표시된 것을 확인할 수 있다.
도 12는 다양한 실시 예에 따라 디바이스(110)의 구성을 설명하기 위한 블록도이다.
디바이스(110)는 상술한 영상 데이터 처리 방법을 수행할 수 있는 장치로, 상술한 영상 데이터 처리 방법을 수행하기 위한 모든 실시 예의 구현이 가능하다.
도 12에 도시된 바와 같이, 디바이스(110)는 움직임 대조비 결정부(1210), 움직임 크기 결정부(1220), 가중치 결정부(1230), 중요도 결정부(1240)를 포함할 수 있다. 그러나 도시된 구성요소보다 많은 구성요소에 의해 디바이스(110)가 구현될 수도 있고, 도시된 구성요소보다 적은 구성요소에 의해 디바이스(110)가 구현될 수도 있다.
이하 상기 구성요소들에 대해 차례로 살펴본다.
움직임 대조비 결정부(1210)는 영상을 구성하는 배경과 객체의 움직임 차이에 대한 움직임 대조비를 결정할 수 있다.
움직임 대조비는 영상을 구성하는 배경과 객체의 움직임 차이에 대한 값을 의미할 수 있다.
움직임 대조비 결정부(1210)는 현재 블록의 움직임과 현재 블록의 주변 블록들의 움직임 차이를 이용하여 움직임 대조비를 결정할 수 있다. 주변 블록은 현재 블록으로부터 소정의 거리 내에 위치한 블록을 의미할 수 있다.
예를 들면, 움직임 대조비 결정부(1210)는 상술한 수학식(1)을 이용하여 움직임 대조비를 결정할 수 있다.
움직임 대조비는 다중 스케일 기법을 통해 보정될 수 있다. 다중 스케일 기법에 대해서는 도 8에서 상술하였다.
보정된 움직임 대조비(
Figure 112014052718765-pat00012
)는 움직임 중요도를 결정할 때 이용될 수 있다.
예를 들면, 수학식 (2)에서와 같이 디바이스(110)는 전역 움직임 신뢰도(τ)에 움직임 크기(T)를 곱한 값에 보정된 움직임 대조비(
Figure 112014052718765-pat00013
)를 더하여 움직임 중요도(Et)를 결정할 수 있다.
전역 움직임 신뢰도(τ)를 결정하는 방법은 도 5에서 상술하였다.
움직임 크기 결정부(1220)는 영상을 구성하는 객체의 움직임 크기를 결정할 수 있다.
객체의 움직임 크기는 영상이 시간의 흐름에 따라 변할 때 객체의 시간당 이동 거리를 의미할 수 있다.
예를 들면, 움직임 크기 결정부(1220)는 객체에 대응되는 블록들의 시간당 이동 거리에 대한 평균 값을 해당 객체의 움직임 크기로 결정할 수 있다. 또한, 객체는 영상에서 배경과 구별되는 대상을 의미할 수 있다.
가중치 결정부(1230)는 움직임 중요도 가중치를 결정할 수 있다. 디바이스(110)는 움직임 중요도 가중치를 이용하여 움직임 중요도를 보정할 수 있다. 움직임 중요도는 움직임 대조비와 객체의 움직임 크기에 기초하여 결정될 수 있다.
디바이스(110)는 움직임 중요도 가중치를 이용하여 움직임 중요도를 보정할 수 있다.
디바이스(110)는 움직임 대조비와 객체의 움직임 크기에 기초하여 움직임 중요도(Et)를 결정할 수 있다.
움직임 중요도 가중치는 움직임 중요도(Et)를 보정하기 위한 값을 의미할 수 있다.
가중치 결정부(1230) 는 결정된 움직임 중요도(Et)를 보정하기 위한 움직임 중요도 가중치(Q)를 결정할 수 있다.
예를 들면, 상술한 수학식(3)에서와 같이 디바이스(110)는 움직임 중요도(Et)와 움직임 중요도 가중치(Q)를 곱하여 보정된 움직임 중요도(
Figure 112014052718765-pat00014
)를 결정할 수 있다.
Et(x, y)는 가로로 x번째, 세로로 y번째의 블록의 움직임 중요도를 의미할 수 있다.
Q(x, y)는 가로로 x번째, 세로로 y번째의 블록의 움직임 중요도 가중치를 의미할 수 있다.
디바이스(110)는 Et(x, y)와 Q(x, y)를 곱하여 보정된 움직임 중요도를 결정할 수 있다.
움직임 정보의 부정확성으로 인해 움직임 중요도의 정확도가 낮아질 수 있다. 움직임 정보의 부정확성은 텍스쳐가 없는 영역과 객체의 경계에서 발생할 수 있다. 따라서 디바이스(110)는 움직임 정보의 오류로 인해 발생하는 움직임 중요도의 잡음을 제거하기 위해 움직임 중요도 가중치를 이용할 수 있다.
예를 들면 디바이스(110)는 각각의 블록에 대해서 움직임 중요도 가중치를 결정하고, 결정된 움직임 중요도 가중치를 각각의 블록의 움직임 중요도와 곱하여 움직임 중요도의 잡음을 제거할 수 있다. 가중치 결정부(1230)는 현재 블록을 움직임이 적은 현재 블록의 주변 블록들과 비교하여 움직임 중요도 가중치를 결정할 수 있다. 현재 블록이 현재 블록의 주변 블록들과 픽셀 값이 유사할수록 움직임 중요도 가중치는 낮을 수 있다. 또는 현재 블록이 움직임이 적은 현재 블록의 주변 블록들과 픽셀 값이 유사할수록 움직임 중요도 가중치가 낮을 수 있다.
예를 들면, 가중치 결정부(1230)는 블록의 움직임 중요도 가중치를 상술한 수학식(4)를 이용하여 결정할 수 있다.
중요도 결정부(1240)는 움직임 대조비, 객체의 움직임 크기 및 움직임 중요도 가중치 중 적어도 하나를 이용하여 영상 내의 각 블록의 움직임 중요도를 결정할 수 있다.
또는, 중요도 결정부(1240)는 움직임 대조비, 객체의 움직임 크기 및 움직임 중요도 가중치 및 전역 움직임 신뢰도를 이용하여 영상 내의 각 블록의 움직임 중요도를 결정할 수 있다.
예를 들면, 중요도 결정부(1240)는 움직임 대조비, 객체의 움직임 크기 및 움직임 중요도 가중치를 모두 이용하여 영상 내의 각 블록의 움직임 중요도를 결정할 수 있다.
예를 들면, 중요도 결정부(1240)는 상술한 바 있는 수학식(3)을 이용하여 움직임 중요도(Et)와 움직임 중요도 가중치(Q)를 곱하여 보정된 움직임 중요도(
Figure 112014052718765-pat00015
)를 결정할 수 있다. 그리고 본 실시 예에서, 중요도 결정부(1240)는 움직임 중요도(Et)는 상술한 수학식(2)를 이용하여 결정할 수 있다.
디바이스(110)는 영상을 압축할 때 중요 영역을 판별하여 중요 영역과 비중요 영역에 대해 차별적 압축을 시행할 수 있다. 중요 영역은 결정된 보정된 움직임 중요도가 소정의 기준 이상인 블록들이 영상에서 차지하는 영역을 의미할 수 있다.
디바이스(110)는 결정된 각 블록의 보정된 움직임 중요도에 기초하여 각 블록의 영상들에 대한 압축 방식을 결정할 수 있다. 중요도는 보정된 움직임 중요도를 포함할 수 있다.
디바이스(110)는 영상을 압축할 때 중요 영역을 결정하여 중요 영역과 비중요 영역에 대한 압축 파라미터를 차별화할 수 있다. 디바이스(110)는 중요 영역과 비중요 영역에 대한 압축 파라미터를 차별화 함으로써 압축 효율을 향상시킬 수 있다. 중요 영역은 중요도가 소정의 기준 이상인 블록들이 영상에서 차지하는 영역을 의미할 수 있다. 비중요 영역은 중요도가 소정의 기준 미만인 블록들이 영상에서 차지하는 영역을 의미할 수 있다.
예를 들면, 디바이스(110)는 중요도가 소정의 기준 이상인 블록들에 대한 압축을 시행할 때 압축 속도보다는 정확도에 더 중점을 둔 압축 방식을 선택하고, 중요도가 소정의 기준 미만인 블록들에 대한 압축을 시행할 때 정확도보다는 압축 속도에 더 중점을 둔 압축 방식을 선택할 수 있다.
또한, 디바이스(110)는 영상 내 중요점을 강조하여 표현할 수 있다. 영상 내 중요점을 강조하여 표현할 경우 영상의 품질이 향상될 수 있다.
예를 들면, 디바이스(110)는 단계 S240에서 결정된 중요도가 소정의 기준 이상인 블록들은 소정 비율만큼 더 밝게 디스플레이 되도록 할 수 있다.
다른 예로, 디바이스(110)는 단계 S240에서 결정된 중요도가 소정의 기준 이상인 블록들은 소정의 방식으로 강조되어 디스플레이 되도록 할 수 있다.
도 12와 관련하여 상술된 실시 예들은 하나의 실시 예들에 불과한 것이고, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다.
이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재될 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다.
한편, 상술한 본 발명의 실시 예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (15)

  1. 영상 데이터를 처리하는 방법에 있어서,
    상기 영상을 구성하는 배경과 객체의 움직임 차이에 대한 움직임 대조비를 결정하는 단계;
    상기 객체의 움직임 크기를 결정하는 단계;
    상기 움직임 대조비와 상기 객체의 움직임 크기에 기초하여 결정된 움직임 중요도를 보정하기 위한 움직임 중요도 가중치를 현재 블록과 상기 현재 블록의 주변에 위치한 주변 블록들간의 픽셀 유사도 및 상기 주변 블록들의 움직임 크기에 대한 값인 주변 블록 움직임 가중치 중 적어도 하나를 이용하여 결정하는 단계; 및
    상기 결정된 움직임 대조비, 상기 결정된 객체의 움직임 크기 및 상기 결정된 움직임 중요도 가중치 중 적어도 하나를 이용하여 상기 영상 내의 각 블록의 움직임 중요도를 결정하는 단계를 포함하는 영상 데이터 처리 방법.
  2. 제 1 항에 있어서,
    상기 움직임 대조비를 결정하는 단계는
    현재 블록의 움직임 값을 결정하는 단계;
    상기 현재 블록의 주변에 위치한 주변 블록들의 움직임 값을 결정하는 단계; 및
    상기 결정된 현재 블록의 움직임 값과 상기 결정된 주변 블록들의 움직임 값의 차이를 이용하여 상기 움직임 대조비를 결정하는 단계를 포함하는 영상 데이터 처리 방법.
  3. 제 1 항에 있어서,
    상기 객체의 움직임 크기를 결정하는 단계는
    현재 블록의 움직임 값을 결정하는 단계;
    상기 영상의 전역적인 움직임에 대한 전역 움직임 값을 결정하는 단계; 및
    상기 결정된 현재 블록의 움직임 값으로부터 상기 결정된 전역 움직임 값이 배제된 상기 객체의 움직임 크기를 결정하는 단계를 포함하는 영상 데이터 처리 방법.
  4. 제 3 항에 있어서,
    상기 전역 움직임 값을 결정하는 단계는
    상기 영상을 구성하는 블록들의 움직임 크기들을 결정하는 단계; 및
    상기 결정된 블록들의 움직임 크기들 중 최빈값을 상기 전역 움직임 값으로 결정하는 단계를 포함하는 영상 데이터 처리 방법.
  5. 제 3 항에 있어서,
    상기 영상 내의 각 블록의 중요도를 결정하는 단계는
    상기 결정된 전역 움직임 값이 정확한 정도에 대한 전역 움직임 신뢰도를 결정하는 단계; 및
    상기 결정된 움직임 대조비, 상기 결정된 객체의 움직임 크기, 상기 결정된 움직임 중요도 가중치 및 상기 결정된 전역 움직임 신뢰도를 이용하여 상기 영상 내의 각 블록의 움직임 중요도를 결정하는 단계를 포함하는 영상 데이터 처리 방법.
  6. 제 5 항에 있어서,
    상기 전역 움직임 신뢰도를 결정하는 단계는
    상기 영상을 구성하는 블록들의 움직임 크기들을 결정하는 단계;
    상기 결정된 블록들의 움직임 크기들 중 최빈값을 상기 전역 움직임 값으로 결정하는 단계; 및
    상기 결정된 블록들의 움직임 크기들에 대한 상기 전역 움직임 값의 비율에 대한 값인 상기 전역 움직임 신뢰도를 결정하는 단계를 포함하는 영상 데이터 처리 방법.
  7. 제 1 항에 있어서,
    상기 움직임 중요도 가중치를 결정하는 단계는

    상기 픽셀 유사도, 상기 주변 블록 움직임 가중치 및 상기 현재 블록과 상기 주변 블록들간의 거리에 대한 값인 블록간 거리 가중치 중 적어도 하나를 이용하여 상기 움직임 중요도 가중치를 결정하는 영상 데이터 처리 방법.
  8. 영상 데이터를 처리하는 장치에 있어서,
    상기 영상을 구성하는 배경과 객체의 움직임 차이에 대한 움직임 대조비를 결정하는 움직임 대조비 결정부;
    상기 객체의 움직임 크기를 결정하는 움직임 크기 결정부;
    상기 움직임 대조비와 상기 객체의 움직임 크기에 기초하여 결정된 움직임 중요도를 보정하기 위한 움직임 중요도 가중치를 현재 블록과 상기 현재 블록의 주변에 위치한 주변 블록들간의 픽셀 유사도 및 상기 주변 블록들의 움직임 크기에 대한 값인 주변 블록 움직임 가중치를 이용하여 결정하는 가중치 결정부; 및
    상기 결정된 움직임 대조비, 상기 결정된 객체의 움직임 크기 및 상기 결정된 움직임 중요도 가중치 중 적어도 하나를 이용하여 상기 영상 내의 각 블록의 움직임 중요도를 결정하는 중요도 결정부를 포함하는 영상 데이터 처리 장치.
  9. 제 8 항에 있어서,
    상기 움직임 대조비 결정부는
    현재 블록의 움직임 값을 결정하고,
    상기 현재 블록의 주변에 위치한 주변 블록들의 움직임 값을 결정하고,
    상기 결정된 현재 블록의 움직임 값과 상기 결정된 주변 블록들의 움직임 값의 차이를 이용하여 상기 움직임 대조비를 결정하는 영상 데이터 처리 장치.
  10. 제 8 항에 있어서,
    상기 움직임 크기 결정부는
    현재 블록의 움직임 값을 결정하고
    상기 영상의 전역적인 움직임에 대한 전역 움직임 값을 결정하고
    상기 결정된 현재 블록의 움직임 값으로부터 상기 결정된 전역 움직임 값이 배제된 상기 객체의 움직임 크기를 결정하는 영상 데이터 처리 장치.
  11. 제 10 항에 있어서,
    상기 움직임 크기 결정부는
    상기 영상을 구성하는 블록들의 움직임 크기들을 결정하고
    상기 결정된 블록들의 움직임 크기들 중 최빈값을 상기 전역 움직임 값으로 결정하는 영상 데이터 처리 장치.
  12. 제 10 항에 있어서,
    상기 중요도 결정부는
    상기 결정된 전역 움직임 값이 정확한 정도에 대한 전역 움직임 신뢰도를 결정하고
    상기 결정된 움직임 대조비, 상기 결정된 객체의 움직임 크기, 상기 결정된 움직임 중요도 가중치 및 상기 결정된 전역 움직임 신뢰도를 이용하여 상기 영상 내의 각 블록의 움직임 중요도를 결정하는 영상 데이터 처리 장치.
  13. 제 12 항에 있어서,
    상기 중요도 결정부는
    상기 영상을 구성하는 블록들의 움직임 크기들을 결정하고,
    상기 결정된 블록들의 움직임 크기들 중 최빈값을 상기 전역 움직임 값으로 결정하고,
    상기 결정된 블록들의 움직임 크기들에 대한 상기 전역 움직임 값의 비율에 대한 값인 상기 전역 움직임 신뢰도를 결정하는 영상 데이터 처리 장치.
  14. 제 8 항에 있어서,
    상기 가중치 결정부는
    상기 픽셀 유사도, 상기 주변 블록 움직임 가중치 및 상기 현재 블록과 상기 주변 블록들간의 거리에 대한 값인 블록간 거리 가중치 중 적어도 하나를 이용하여 상기 움직임 중요도 가중치를 결정하는 영상 데이터 처리 장치.
  15. 제 1 항 내지 제 7 항 중 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020140067793A 2014-01-23 2014-06-03 영상 데이터 처리 방법 및 디바이스 KR101585059B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201461930548P 2014-01-23 2014-01-23
US61/930,548 2014-01-23

Publications (2)

Publication Number Publication Date
KR20150088166A KR20150088166A (ko) 2015-07-31
KR101585059B1 true KR101585059B1 (ko) 2016-01-13

Family

ID=53877282

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140067793A KR101585059B1 (ko) 2014-01-23 2014-06-03 영상 데이터 처리 방법 및 디바이스

Country Status (1)

Country Link
KR (1) KR101585059B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102419136B1 (ko) * 2017-06-15 2022-07-08 삼성전자주식회사 다채널 특징맵을 이용하는 영상 처리 장치 및 방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Y. Zhai, et al., "Visual attention detection in video sequences using spatiotemporal cues," Proceedings of the 14th annual ACM international conference on Multimedia. ACM, 2006.*
Zhu, Yaping, et al. "Motion-decision based spatiotemporal saliency for video sequences." Acoustics, Speech and Signal Processing (ICASSP), 2011 IEEE International Conference on. IEEE, 2011.*

Also Published As

Publication number Publication date
KR20150088166A (ko) 2015-07-31

Similar Documents

Publication Publication Date Title
JP4772839B2 (ja) 画像識別方法および撮像装置
RU2693906C2 (ru) Основанный на правилах анализ важности видео
US9619708B2 (en) Method of detecting a main subject in an image
US9251588B2 (en) Methods, apparatuses and computer program products for performing accurate pose estimation of objects
KR101747216B1 (ko) 표적 추출 장치와 그 방법 및 상기 방법을 구현하는 프로그램이 기록된 기록 매체
US8805065B2 (en) Image processing apparatus and image processing method
KR102094506B1 (ko) 피사체 추적 기법을 이용한 카메라와 피사체 사이의 거리 변화 측정방법 상기 방법을 기록한 컴퓨터 판독 가능 저장매체 및 거리 변화 측정 장치.
WO2005084036A1 (ja) 動きベクトル検出装置、および動きベクトル検出方法、並びにコンピュータ・プログラム
CN110460838B (zh) 一种镜头切换的检测方法、装置及计算机设备
JP5779089B2 (ja) エッジ検出装置、エッジ検出プログラム、およびエッジ検出方法
KR20140045854A (ko) 단일객체에 대한 기울기를 추정하는 영상을 감시하는 장치 및 방법
KR20190080388A (ko) Cnn을 이용한 영상 수평 보정 방법 및 레지듀얼 네트워크 구조
KR101833943B1 (ko) 동영상의 주요 장면을 추출 및 탐색하는 방법 및 시스템
JP6511950B2 (ja) 画像処理装置、画像処理方法及びプログラム
KR101982258B1 (ko) 오브젝트 검출 방법 및 오브젝트 검출 장치
JP5027201B2 (ja) テロップ文字領域検出方法，テロップ文字領域検出装置およびテロップ文字領域検出プログラム
CN113888509A (zh) 一种图像清晰度的评价方法、装置、设备及存储介质
US10096116B2 (en) Method and apparatus for segmentation of 3D image data
KR101585059B1 (ko) 영상 데이터 처리 방법 및 디바이스
JP2013080389A (ja) 消失点推定方法、消失点推定装置及びコンピュータプログラム
JP2011170890A (ja) 顔検出方法および装置並びにプログラム
JP2012231301A (ja) 係数学習装置および方法、画像処理装置および方法、プログラム、並びに記録媒体
CN111311584A (zh) 视频质量评估方法及装置、电子设备、可读介质
CN116980549A (zh) 视频帧处理方法、装置、计算机设备和存储介质
CN112991419B (zh) 视差数据生成方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20200106

Year of fee payment: 5