KR100575733B1 - 압축 동영상의 움직임 객체 분할 방법 - Google Patents
압축 동영상의 움직임 객체 분할 방법 Download PDFInfo
- Publication number
- KR100575733B1 KR100575733B1 KR20030059175A KR20030059175A KR100575733B1 KR 100575733 B1 KR100575733 B1 KR 100575733B1 KR 20030059175 A KR20030059175 A KR 20030059175A KR 20030059175 A KR20030059175 A KR 20030059175A KR 100575733 B1 KR100575733 B1 KR 100575733B1
- Authority
- KR
- South Korea
- Prior art keywords
- motion
- block
- extracting
- contour
- motion vector
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/537—Motion estimation other than block-based
- H04N19/543—Motion estimation other than block-based using regions
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
본 발명은 압축 동영상의 움직임 객체 분할 방법에 관한 것으로, 종래 객체를 분할하기 위한 방법은 전체 영상을 복원한 후 움직임 정보와 컬러 정보 등을 복합해서 사용하므로 압축을 해제하는 과정에서 많은 시간을 소요하게 될 뿐만 아니라 영상 전체에 대한 처리로 인해 많은 계산량을 요구하는 문제점이 있었다. 이러한 문제점을 감안한 본 발명은 압축 동영상으로부터 특정 간격의 프레임을 디코딩해서 움직임 벡터를 추출하고 전처리를 거쳐 카메라의 움직임에 의한 움직임 벡터를 보정 처리하는 단계와; 상기 움직임 벡터의 크기가 일정 크기 이상인 영역을 움직임 블록으로 지정하고 이 움직임 블록의 외곽 블록을 추출하는 단계와; 상기 외곽 블록의 연결 방향을 고려하여 에지를 추출하고 상기 추출된 에지를 사용해서 객체의 윤곽선을 결정하는 단계와; 상기 결정된 최종 윤곽선의 내부를 디코딩하여 최종 움직임 객체를 분할하는 단계로 이루어져 특정 간격 프레임의 움직임 벡터로 움직임 객체를 결정하고 윤곽선을 결정하기 위해 움직임 블록의 일부만을 디코딩함으로써 처리 시간을 줄이는 효과가 있다.
Description
도 1은 본 발명에 따른 압축 동영상의 움직임 객체 분할 방법의 동작 흐름도.
도 2는 도 1의 동영상에서 움직임 객체를 분할하는 방법에 따라 처리되는 영상을 보인 예시도.
본 발명은 압축 동영상의 움직임 객체 분할 방법에 관한 것으로, 특히 압축된 동영상 내의 일부 정보만을 디코딩해서 움직이는 객체를 분할할 수 있게 한 압축 동영상의 움직임 객체 분할 방법에 관한 것이다.
현대인이면 누구나 영상, 음악, 영화 등 다양한 멀티미디어에 노출되어 있으며 동영상 미디어는 어디서나 쉽게 접합 수 있는 미디어가 되었다. 초고속 통신망의 보급으로 인해 다양한 멀티미디어 컨텐츠를 제공하는 서비스가 증가 추세에 있다.
일반적으로 멀티미디어 데이터는 용량이 크고 통신 대역폭은 제한되어 있으 므로 데이터 압축 방법이 필요하며 멀티미디어 데이터마다의 특성에 따라 여러 데이터 압축 방법이 제안되고 있다.
최근에는 동영상을 구성하는데 객체 단위의 여러 멀티미디어 요소를 합성하는 등 다양한 정보를 포함하는 동영상을 코딩하기에 이르렀다.
일반적으로 엠펙 4는 멀티미디어 응용에 대한 표준, 시청각 자료를 객체 단위로 부호화하는 방법이다. 상기 엠펙 4는 매우 높은 압축 효율을 얻음으로써 매우 낮은 비트율로 데이터를 전송할 수 있다.
기존의 압축 동영상 내 움직이는 객체를 분할하기 위한 방법으로 제안된 것을 살펴보면 대부분 전체 영상을 복원한 후 움직임 정보와 컬러 정보 등을 복합해서 사용한다. 그러나, 상기 방법은 압축을 해제하는 과정에서 많은 시간을 소요하게 될 뿐만 아니라 영상 전체에 대한 처리로 인해 많은 계산량을 요구하게 된다.
따라서, 이미 압축된 여러 동영상 내에서 움직이는 객체를 추출하기에는 문제점이 있다.
특히, 엠펙 4와 같은 객체 기반 코딩으로 변환하기 위해서 압축 동영상에서 객체 정보를 어떻게 얻을 수 있는지가 많은 이슈가 되고 있는 가운데 그 중 움직이는 객체의 형태를 정확히 분할해 내는 것은 어려운 문제점이 있다.
따라서, 본 발명은 상기와 같은 문제점을 감안하여 창안한 것으로, 압축 동영상에서 특정 간격의 프레임만을 디코딩해서 움직임 벡터를 추출하고 이에 대응한 움직임 객체를 분할하여 디코딩할 수 있도록 한 압축 동영상의 움직임 객체 분할 방법을 제공함에 그 목적이 있다.
상기와 같은 목적을 달성하기 위한 본 발명은, 압축 동영상으로부터 특정 간격의 프레임을 디코딩해서 움직임 벡터를 추출하고 전처리를 거쳐 카메라의 움직임에 의한 움직임 벡터를 보정 처리하는 단계와; 상기 움직임 벡터의 크기가 일정 크기 이상인 영역을 움직임 블록으로 지정하고 이 움직임 블록의 외곽 블록을 추출하는 단계와; 상기 외곽 블록의 연결 방향을 고려하여 에지를 추출하고 상기 추출된 에지를 사용해서 객체의 윤곽선을 결정하는 단계와; 상기 결정된 최종 윤곽선의 내부를 디코딩하여 최종 움직임 객체를 분할하는 단계로 이루어진 것을 특징으로 한다.
이하, 본 발명에 따른 실시 예를 첨부한 도면을 참조하여 상세히 설명하면 다음과 같다.
도 1은 본 발명에 따른 압축 동영상의 움직임 객체 분할 방법의 동작 흐름도로서, 이에 도시된 바와 같이 압축 동영상으로부터 특정 간격의 프레임을 디코딩해서 움직임 벡터를 추출하고 전처리를 거쳐 카메라의 움직임에 의한 움직임 벡터를 보정 처리하는 단계와; 상기 움직임 벡터의 크기가 일정 크기 이상인 영역을 움직임 블록으로 지정하고 이 움직임 블록의 외곽 블록을 추출하는 단계와; 상기 외곽 블록의 연결 방향을 고려하여 에지를 추출하고 상기 추출된 에지를 능동 윤곽선 모델의 초기점으로 사용해서 객체의 윤곽선을 결정하는 단계와; 상기 결정된 최종 윤곽선의 내부를 디코딩하여 최종 움직임 객체를 분할하는 단계로 이루어진다.
본 발명에서는 압축 동영상 내의 움직이는 객체를 분할 추출해서 엠펙 4 변환 코딩에 사용하기 위해 다음과 같은 과정을 거친다.
먼저, 압축 동영상에서 특정 간격의 프레임만을 디코딩해서 움직임 벡터를 추출하고 전처리를 거쳐 카메라의 움직임과 객체의 움직임을 구분하고 신뢰성을 높인다.
즉, 압축 동영상으로부터 프레임을 디코딩한 다음 움직임 벡터를 추출하고 카메라 움직임에 의한 움직임 벡터를 처리하고 보정 과정을 수행하여 움직임 벡터의 신뢰성을 높인다.
그 후 검출된 움직임 영역 중 일정 크기 이상의 로컬 움직임 블록을 객체로 삼고 외곽 블록을 결정하고 외곽 블록만의 원영상을 복원하여 블록간의 연결 관계를 기술한 후 연결 방향을 고려하여 블록의 연결 방향에 해당하는 에지를 추출한다.
블록간의 연결 관계 기술은 수직, 수평, 우상좌하대각, 좌상우하대각 등으로 기술하여 블록간의 연결을 사슬화한다.
그 다음 추출된 에지를 능동 윤곽 모델(ACM: Active Contour Model)의 초기점으로 사용해서 객체의 윤곽선에 근사화하고 최종 결정된 윤곽선을 결정하게 된다. 상기 능동 윤곽 모델은 윤곽선의 분할점의 등간격, 윤곽선의 곡률, 화소의 기울기를 고려하여 윤곽선을 찾는 방법이다.
최종 움직임 객체는 이렇게 결정된 최종 윤곽선의 내부만을 디코딩함으로써 완전한 형태의 움직임 객체로 분할된다.
이후, 움직임 객체는 엠펙 4 변환 코딩에 압축 정보로 사용된다.
도 2는 도 1의 동영상에서 움직임 객체를 분할하는 방법에 따라 처리되는 영상을 보인 예시도로서, 이에 도시된 바와 같이 제1영상은 압축 동영상으로부터 특정 프레임을 디코딩하여 얻은 영상에서 움직임이 있는 영역을 움직임 객체로 분할함을 설명한다. 상기 제1영상은 배경과 사람이 있는데 이 중 사람이 움직임 객체로 분할되어 있다.
제2영상은 움직임 객체의 외곽 블록을 추출함을 설명한다. 외곽 블록의 연결 관계로는 수직, 수평, 우상좌하대각, 좌상우하대각이 지정되고 계단 형태로 외곽 블록이 놓여짐을 설명한다.
제3영상은 외곽 블록 내에서 추출한 윤곽선을 설명한다. 윤곽선은 사람의 상체 모양을 띠고 있음을 알 수 있다.
제4영상은 윤곽선 내의 색상을 복원하여 얻은 최종 객체인 사람을 나타낸다.
상기 영상에서 움직임이 없는 배경을 제외한 사람만이 추출되어 얻어짐을 알 수 있다.
이상에서 상세히 설명한 바와 같이, 본 발명은 특정 간격 프레임의 움직임 벡터로 움직임 객체를 결정하고 윤곽선을 결정하기 위해 움직임 블록의 일부만을 디코딩함으로써 처리 시간을 줄이는 효과가 있다.
또한, 윤곽선의 정확도 면에서도 외곽 블록의 연결 방향을 고려해서 에지를 추출하므로 실제 객체에 해당하는 윤곽선을 추출하는 효과가 있다.
또한, 추출된 윤곽선 내의 블록만을 디코딩함으로써 압축 동영상으로부터 움직이는 객체를 효율적으로 분할하는 효과가 있다.
Claims (3)
- 압축 동영상으로부터 특정 간격의 프레임을 디코딩해서 움직임 벡터를 추출하고 전처리를 거쳐 카메라의 움직임에 의한 움직임 벡터를 보정 처리하는 단계와; 상기 움직임 벡터의 크기가 일정 크기 이상인 영역을 움직임 블록으로 지정하고 이 움직임 블록의 외곽 블록을 추출하는 단계와; 상기 외곽 블록의 연결 방향을 고려하여 에지를 추출하고 상기 추출된 에지를 사용해서 객체의 윤곽선을 결정하는 단계와; 상기 결정된 최종 윤곽선의 내부를 디코딩하여 최종 움직임 객체를 분할하는 단계로 이루어진 것을 특징으로 하는 압축 동영상의 움직임 객체 분할 방법.
- 제1항에 있어서, 상기 움직임 블록의 외곽 블록 추출은 움직임 블록의 외곽에 위치한 블록을 추출하는 단계와; 상기 추출된 블록간의 연결 관계를 수직, 수평, 우상좌하대각, 좌상우하대각 등으로 지정하여 사슬화하는 단계로 이루어진 것을 특징으로 하는 압축 동영상의 움직임 객체 분할 방법.
- 제1항에 있어서, 상기 외곽 블록의 윤곽선 결정은 외곽 블록간의 연결 관계를 고려하여 블록의 연결 방향에 해당하는 에지를 추출하는 단계와; 상기 추출된 에지를 능동 윤곽 모델의 초기점으로 사용해서 객체의 윤곽선을 근사화하는 단계와; 상기 윤곽선의 분할점의 등간격, 윤곽선의 곡률, 화소의 기울기를 고려하여 최종 윤곽선을 결정하는 단계로 이루어진 것을 특징으로 하는 압축 동영상의 움직임 객체 분할 방법.
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR20030059175A KR100575733B1 (ko) | 2003-08-26 | 2003-08-26 | 압축 동영상의 움직임 객체 분할 방법 |
EP20040020182 EP1511322A1 (en) | 2003-08-26 | 2004-08-25 | Method for segmenting moving object of compressed moving image |
US10/924,905 US20050047665A1 (en) | 2003-08-26 | 2004-08-25 | Method for segmenting moving object of compressed moving image |
CNB2004100644522A CN1316828C (zh) | 2003-08-26 | 2004-08-26 | 用于分割压缩的活动图像的活动对象的方法 |
JP2004247531A JP2005073280A (ja) | 2003-08-26 | 2004-08-26 | 圧縮動画像の動き客体分割方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR20030059175A KR100575733B1 (ko) | 2003-08-26 | 2003-08-26 | 압축 동영상의 움직임 객체 분할 방법 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20050021086A KR20050021086A (ko) | 2005-03-07 |
KR100575733B1 true KR100575733B1 (ko) | 2006-05-03 |
Family
ID=34101847
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR20030059175A KR100575733B1 (ko) | 2003-08-26 | 2003-08-26 | 압축 동영상의 움직임 객체 분할 방법 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20050047665A1 (ko) |
EP (1) | EP1511322A1 (ko) |
JP (1) | JP2005073280A (ko) |
KR (1) | KR100575733B1 (ko) |
CN (1) | CN1316828C (ko) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013077646A1 (en) * | 2011-11-23 | 2013-05-30 | Lg Electronics Inc. | Digital video recorder and method of tracking object using the same |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007133685A (ja) * | 2005-11-10 | 2007-05-31 | Toshiba Corp | 移動体輪郭抽出装置および方法 |
JP5826730B2 (ja) * | 2012-09-20 | 2015-12-02 | 株式会社ソニー・コンピュータエンタテインメント | 動画圧縮装置、画像処理装置、動画圧縮方法、画像処理方法、および動画圧縮ファイルのデータ構造 |
JP6599697B2 (ja) * | 2015-08-31 | 2019-10-30 | 株式会社ミツトヨ | 画像測定装置及びその制御プログラム |
WO2017037900A1 (ja) * | 2015-09-02 | 2017-03-09 | 三菱電機株式会社 | 情報処理装置及び情報処理方法及び情報処理プログラム |
CN105469361B (zh) * | 2015-12-24 | 2018-12-04 | 努比亚技术有限公司 | 一种局部图像处理方法和装置 |
KR101995411B1 (ko) * | 2017-12-14 | 2019-07-02 | 주식회사 아이미마인 | 신체 모델 생성 장치 및 방법 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3679426B2 (ja) * | 1993-03-15 | 2005-08-03 | マサチューセッツ・インスティチュート・オブ・テクノロジー | 画像データを符号化して夫々がコヒーレントな動きの領域を表わす複数の層とそれら層に付随する動きパラメータとにするシステム |
US5819035A (en) * | 1995-10-20 | 1998-10-06 | Matsushita Electric Industrial Co., Ltd. | Post-filter for removing ringing artifacts of DCT coding |
JP2000013643A (ja) * | 1998-06-18 | 2000-01-14 | Sony Corp | ノイズ低減装置および方法、映像信号処理装置、並びに動き検出方法 |
KR100301113B1 (ko) * | 1998-08-05 | 2001-09-06 | 오길록 | 윤곽선 추적에 의한 동영상 객체 분할 방법 |
US6377710B1 (en) * | 1998-11-25 | 2002-04-23 | Xerox Corporation | Method and apparatus for extracting the skeleton of a binary figure by contour-based erosion |
US6546117B1 (en) * | 1999-06-10 | 2003-04-08 | University Of Washington | Video object segmentation using active contour modelling with global relaxation |
WO2004013810A1 (en) * | 2002-07-31 | 2004-02-12 | Koninklijke Philips Electronics N.V. | System and method for segmenting |
-
2003
- 2003-08-26 KR KR20030059175A patent/KR100575733B1/ko not_active IP Right Cessation
-
2004
- 2004-08-25 US US10/924,905 patent/US20050047665A1/en not_active Abandoned
- 2004-08-25 EP EP20040020182 patent/EP1511322A1/en not_active Withdrawn
- 2004-08-26 CN CNB2004100644522A patent/CN1316828C/zh not_active Expired - Fee Related
- 2004-08-26 JP JP2004247531A patent/JP2005073280A/ja active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013077646A1 (en) * | 2011-11-23 | 2013-05-30 | Lg Electronics Inc. | Digital video recorder and method of tracking object using the same |
Also Published As
Publication number | Publication date |
---|---|
US20050047665A1 (en) | 2005-03-03 |
CN1316828C (zh) | 2007-05-16 |
CN1592420A (zh) | 2005-03-09 |
KR20050021086A (ko) | 2005-03-07 |
JP2005073280A (ja) | 2005-03-17 |
EP1511322A1 (en) | 2005-03-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7203356B2 (en) | Subject segmentation and tracking using 3D sensing technology for video compression in multimedia applications | |
US10977809B2 (en) | Detecting motion dragging artifacts for dynamic adjustment of frame rate conversion settings | |
Liu et al. | Image compression with edge-based inpainting | |
CN103002289B (zh) | 面向监控应用的视频恒定质量编码装置及其编码方法 | |
US8086076B2 (en) | Real-time face detection using temporal differences | |
KR100669837B1 (ko) | 입체 비디오 코딩을 위한 포어그라운드 정보 추출 방법 | |
EP3850579A1 (en) | A method, an apparatus and a computer program product for volumetric video | |
CN108513131B (zh) | 一种自由视点视频深度图感兴趣区域编码方法 | |
CN110944200B (zh) | 一种评估沉浸式视频转码方案的方法 | |
Hadizadeh et al. | Video error concealment using a computation-efficient low saliency prior | |
KR101704775B1 (ko) | 다중해상도 영상 처리 장치 및 영상 처리 방법 | |
CN114363623A (zh) | 图像处理方法、装置、介质及电子设备 | |
CN111432210A (zh) | 一种基于填充的点云属性压缩方法 | |
US10708601B2 (en) | Methods and apparatuses for encoding and decoding superpixel borders | |
Stoffels et al. | Object‐oriented image analysis for very‐low‐bitrate video‐coding systems using the CNN universal machine | |
KR100575733B1 (ko) | 압축 동영상의 움직임 객체 분할 방법 | |
Yuan et al. | Object shape approximation and contour adaptive depth image coding for virtual view synthesis | |
CN105635715A (zh) | 视频格式识别方法及装置 | |
US11196977B2 (en) | Unified coding of 3D objects and scenes | |
JPH1051770A (ja) | 画像符号化システム及び方法、及び画像分割システム | |
US20210092403A1 (en) | Object manipulation video conference compression | |
CN114387440A (zh) | 一种视频裁剪方法、装置及存储介质 | |
CN107509074A (zh) | 基于压缩感知的自适应3d视频编解码方法 | |
JP2828977B2 (ja) | 動画像符号化装置 | |
JPH06187455A (ja) | 動画像の顔領域抽出装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20100331 Year of fee payment: 5 |
|
LAPS | Lapse due to unpaid annual fee |