KR100575733B1 - 압축 동영상의 움직임 객체 분할 방법 - Google Patents

Abstract

본 발명은 압축 동영상의 움직임 객체 분할 방법에 관한 것으로, 종래 객체를 분할하기 위한 방법은 전체 영상을 복원한 후 움직임 정보와 컬러 정보 등을 복합해서 사용하므로 압축을 해제하는 과정에서 많은 시간을 소요하게 될 뿐만 아니라 영상 전체에 대한 처리로 인해 많은 계산량을 요구하는 문제점이 있었다. 이러한 문제점을 감안한 본 발명은 압축 동영상으로부터 특정 간격의 프레임을 디코딩해서 움직임 벡터를 추출하고 전처리를 거쳐 카메라의 움직임에 의한 움직임 벡터를 보정 처리하는 단계와; 상기 움직임 벡터의 크기가 일정 크기 이상인 영역을 움직임 블록으로 지정하고 이 움직임 블록의 외곽 블록을 추출하는 단계와; 상기 외곽 블록의 연결 방향을 고려하여 에지를 추출하고 상기 추출된 에지를 사용해서 객체의 윤곽선을 결정하는 단계와; 상기 결정된 최종 윤곽선의 내부를 디코딩하여 최종 움직임 객체를 분할하는 단계로 이루어져 특정 간격 프레임의 움직임 벡터로 움직임 객체를 결정하고 윤곽선을 결정하기 위해 움직임 블록의 일부만을 디코딩함으로써 처리 시간을 줄이는 효과가 있다.

Description

압축 동영상의 움직임 객체 분할 방법{METHOD FOR SEGMENTING MOTION OBJECT OF COMPRESSED MOTION PICTURES}

도 1은 본 발명에 따른 압축 동영상의 움직임 객체 분할 방법의 동작 흐름도.

도 2는 도 1의 동영상에서 움직임 객체를 분할하는 방법에 따라 처리되는 영상을 보인 예시도.

본 발명은 압축 동영상의 움직임 객체 분할 방법에 관한 것으로, 특히 압축된 동영상 내의 일부 정보만을 디코딩해서 움직이는 객체를 분할할 수 있게 한 압축 동영상의 움직임 객체 분할 방법에 관한 것이다.

현대인이면 누구나 영상, 음악, 영화 등 다양한 멀티미디어에 노출되어 있으며 동영상 미디어는 어디서나 쉽게 접합 수 있는 미디어가 되었다. 초고속 통신망의 보급으로 인해 다양한 멀티미디어 컨텐츠를 제공하는 서비스가 증가 추세에 있다.

일반적으로 멀티미디어 데이터는 용량이 크고 통신 대역폭은 제한되어 있으 므로 데이터 압축 방법이 필요하며 멀티미디어 데이터마다의 특성에 따라 여러 데이터 압축 방법이 제안되고 있다.

최근에는 동영상을 구성하는데 객체 단위의 여러 멀티미디어 요소를 합성하는 등 다양한 정보를 포함하는 동영상을 코딩하기에 이르렀다.

일반적으로 엠펙 4는 멀티미디어 응용에 대한 표준, 시청각 자료를 객체 단위로 부호화하는 방법이다. 상기 엠펙 4는 매우 높은 압축 효율을 얻음으로써 매우 낮은 비트율로 데이터를 전송할 수 있다.

기존의 압축 동영상 내 움직이는 객체를 분할하기 위한 방법으로 제안된 것을 살펴보면 대부분 전체 영상을 복원한 후 움직임 정보와 컬러 정보 등을 복합해서 사용한다. 그러나, 상기 방법은 압축을 해제하는 과정에서 많은 시간을 소요하게 될 뿐만 아니라 영상 전체에 대한 처리로 인해 많은 계산량을 요구하게 된다.

따라서, 이미 압축된 여러 동영상 내에서 움직이는 객체를 추출하기에는 문제점이 있다.

특히, 엠펙 4와 같은 객체 기반 코딩으로 변환하기 위해서 압축 동영상에서 객체 정보를 어떻게 얻을 수 있는지가 많은 이슈가 되고 있는 가운데 그 중 움직이는 객체의 형태를 정확히 분할해 내는 것은 어려운 문제점이 있다.

따라서, 본 발명은 상기와 같은 문제점을 감안하여 창안한 것으로, 압축 동영상에서 특정 간격의 프레임만을 디코딩해서 움직임 벡터를 추출하고 이에 대응한 움직임 객체를 분할하여 디코딩할 수 있도록 한 압축 동영상의 움직임 객체 분할 방법을 제공함에 그 목적이 있다.

상기와 같은 목적을 달성하기 위한 본 발명은, 압축 동영상으로부터 특정 간격의 프레임을 디코딩해서 움직임 벡터를 추출하고 전처리를 거쳐 카메라의 움직임에 의한 움직임 벡터를 보정 처리하는 단계와; 상기 움직임 벡터의 크기가 일정 크기 이상인 영역을 움직임 블록으로 지정하고 이 움직임 블록의 외곽 블록을 추출하는 단계와; 상기 외곽 블록의 연결 방향을 고려하여 에지를 추출하고 상기 추출된 에지를 사용해서 객체의 윤곽선을 결정하는 단계와; 상기 결정된 최종 윤곽선의 내부를 디코딩하여 최종 움직임 객체를 분할하는 단계로 이루어진 것을 특징으로 한다.

이하, 본 발명에 따른 실시 예를 첨부한 도면을 참조하여 상세히 설명하면 다음과 같다.

도 1은 본 발명에 따른 압축 동영상의 움직임 객체 분할 방법의 동작 흐름도로서, 이에 도시된 바와 같이 압축 동영상으로부터 특정 간격의 프레임을 디코딩해서 움직임 벡터를 추출하고 전처리를 거쳐 카메라의 움직임에 의한 움직임 벡터를 보정 처리하는 단계와; 상기 움직임 벡터의 크기가 일정 크기 이상인 영역을 움직임 블록으로 지정하고 이 움직임 블록의 외곽 블록을 추출하는 단계와; 상기 외곽 블록의 연결 방향을 고려하여 에지를 추출하고 상기 추출된 에지를 능동 윤곽선 모델의 초기점으로 사용해서 객체의 윤곽선을 결정하는 단계와; 상기 결정된 최종 윤곽선의 내부를 디코딩하여 최종 움직임 객체를 분할하는 단계로 이루어진다.

본 발명에서는 압축 동영상 내의 움직이는 객체를 분할 추출해서 엠펙 4 변환 코딩에 사용하기 위해 다음과 같은 과정을 거친다.

먼저, 압축 동영상에서 특정 간격의 프레임만을 디코딩해서 움직임 벡터를 추출하고 전처리를 거쳐 카메라의 움직임과 객체의 움직임을 구분하고 신뢰성을 높인다.

즉, 압축 동영상으로부터 프레임을 디코딩한 다음 움직임 벡터를 추출하고 카메라 움직임에 의한 움직임 벡터를 처리하고 보정 과정을 수행하여 움직임 벡터의 신뢰성을 높인다.

그 후 검출된 움직임 영역 중 일정 크기 이상의 로컬 움직임 블록을 객체로 삼고 외곽 블록을 결정하고 외곽 블록만의 원영상을 복원하여 블록간의 연결 관계를 기술한 후 연결 방향을 고려하여 블록의 연결 방향에 해당하는 에지를 추출한다.

블록간의 연결 관계 기술은 수직, 수평, 우상좌하대각, 좌상우하대각 등으로 기술하여 블록간의 연결을 사슬화한다.

그 다음 추출된 에지를 능동 윤곽 모델(ACM: Active Contour Model)의 초기점으로 사용해서 객체의 윤곽선에 근사화하고 최종 결정된 윤곽선을 결정하게 된다. 상기 능동 윤곽 모델은 윤곽선의 분할점의 등간격, 윤곽선의 곡률, 화소의 기울기를 고려하여 윤곽선을 찾는 방법이다.

최종 움직임 객체는 이렇게 결정된 최종 윤곽선의 내부만을 디코딩함으로써 완전한 형태의 움직임 객체로 분할된다.

이후, 움직임 객체는 엠펙 4 변환 코딩에 압축 정보로 사용된다.

도 2는 도 1의 동영상에서 움직임 객체를 분할하는 방법에 따라 처리되는 영상을 보인 예시도로서, 이에 도시된 바와 같이 제1영상은 압축 동영상으로부터 특정 프레임을 디코딩하여 얻은 영상에서 움직임이 있는 영역을 움직임 객체로 분할함을 설명한다. 상기 제1영상은 배경과 사람이 있는데 이 중 사람이 움직임 객체로 분할되어 있다.

제2영상은 움직임 객체의 외곽 블록을 추출함을 설명한다. 외곽 블록의 연결 관계로는 수직, 수평, 우상좌하대각, 좌상우하대각이 지정되고 계단 형태로 외곽 블록이 놓여짐을 설명한다.

제3영상은 외곽 블록 내에서 추출한 윤곽선을 설명한다. 윤곽선은 사람의 상체 모양을 띠고 있음을 알 수 있다.

제4영상은 윤곽선 내의 색상을 복원하여 얻은 최종 객체인 사람을 나타낸다.

상기 영상에서 움직임이 없는 배경을 제외한 사람만이 추출되어 얻어짐을 알 수 있다.

이상에서 상세히 설명한 바와 같이, 본 발명은 특정 간격 프레임의 움직임 벡터로 움직임 객체를 결정하고 윤곽선을 결정하기 위해 움직임 블록의 일부만을 디코딩함으로써 처리 시간을 줄이는 효과가 있다.

또한, 윤곽선의 정확도 면에서도 외곽 블록의 연결 방향을 고려해서 에지를 추출하므로 실제 객체에 해당하는 윤곽선을 추출하는 효과가 있다.

또한, 추출된 윤곽선 내의 블록만을 디코딩함으로써 압축 동영상으로부터 움직이는 객체를 효율적으로 분할하는 효과가 있다.

Claims (3)

1. 압축 동영상으로부터 특정 간격의 프레임을 디코딩해서 움직임 벡터를 추출하고 전처리를 거쳐 카메라의 움직임에 의한 움직임 벡터를 보정 처리하는 단계와; 상기 움직임 벡터의 크기가 일정 크기 이상인 영역을 움직임 블록으로 지정하고 이 움직임 블록의 외곽 블록을 추출하는 단계와; 상기 외곽 블록의 연결 방향을 고려하여 에지를 추출하고 상기 추출된 에지를 사용해서 객체의 윤곽선을 결정하는 단계와; 상기 결정된 최종 윤곽선의 내부를 디코딩하여 최종 움직임 객체를 분할하는 단계로 이루어진 것을 특징으로 하는 압축 동영상의 움직임 객체 분할 방법.
2. 제1항에 있어서, 상기 움직임 블록의 외곽 블록 추출은 움직임 블록의 외곽에 위치한 블록을 추출하는 단계와; 상기 추출된 블록간의 연결 관계를 수직, 수평, 우상좌하대각, 좌상우하대각 등으로 지정하여 사슬화하는 단계로 이루어진 것을 특징으로 하는 압축 동영상의 움직임 객체 분할 방법.
3. 제1항에 있어서, 상기 외곽 블록의 윤곽선 결정은 외곽 블록간의 연결 관계를 고려하여 블록의 연결 방향에 해당하는 에지를 추출하는 단계와; 상기 추출된 에지를 능동 윤곽 모델의 초기점으로 사용해서 객체의 윤곽선을 근사화하는 단계와; 상기 윤곽선의 분할점의 등간격, 윤곽선의 곡률, 화소의 기울기를 고려하여 최종 윤곽선을 결정하는 단계로 이루어진 것을 특징으로 하는 압축 동영상의 움직임 객체 분할 방법.

Images