KR101050255B1 - 동영상 장면 분할 시스템 및 방법 - Google Patents

동영상 장면 분할 시스템 및 방법 Download PDF

Info

Publication number
KR101050255B1
KR101050255B1 KR1020090078545A KR20090078545A KR101050255B1 KR 101050255 B1 KR101050255 B1 KR 101050255B1 KR 1020090078545 A KR1020090078545 A KR 1020090078545A KR 20090078545 A KR20090078545 A KR 20090078545A KR 101050255 B1 KR101050255 B1 KR 101050255B1
Authority
KR
South Korea
Prior art keywords
frame
coefficient
video
frames
determining
Prior art date
Application number
KR1020090078545A
Other languages
English (en)
Other versions
KR20110021014A (ko
Inventor
이인서
전종환
조치원
이경준
Original Assignee
주식회사 노매드커넥션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 노매드커넥션 filed Critical 주식회사 노매드커넥션
Priority to KR1020090078545A priority Critical patent/KR101050255B1/ko
Publication of KR20110021014A publication Critical patent/KR20110021014A/ko
Application granted granted Critical
Publication of KR101050255B1 publication Critical patent/KR101050255B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/147—Scene change detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

개시되는 동영상 장면 분할 시스템은 분할 대상 동영상을 구성하는 프레임을 추출하는 프레임 추출부, 프레임 추출부에서 추출한 프레임의 이웃 프레임과의 에너지 차이에 따라 분할 예정 위치를 결정하는 계수 필터링부, 계수 필터링부에서 결정한 분할 예정 위치 전후 프레임 간의 연속성을 판단하는 움직임 분석부 및 움직임 분석부에서 판단한 연속성에 따라 동영상의 장면 분할 위치를 결정하는 분할 위치 결정부를 포함한다.
동영상, 장면, 분할

Description

동영상 장면 분할 시스템 및 방법{System and Method of Scene Partitioning for Moving Picture}
본 발명은 영상 처리 시스템에 관한 것으로, 보다 구체적으로는 동영상 장면 분할 시스템 및 방법에 관한 것이다.
근래 들어 DVD, HDTV, 위성 TV, 셋톱박스, 디지털 카메라 등과 같은 멀티미디어 기기의 수요가 계속적으로 증가하고 있다. 최근에는 초고속 인터넷을 이용하여 제공되는 양방향 텔레비전 서비스인 IPTV(Internet Protocol Television) 서비스가 도입되어, 시청자가 자신이 편리한 시간에 보고 싶은 프로그램을 선택하여 시청할 수 있게 되었다.
이러한 멀티미디어 기기의 발전과 함께, 동영상 데이터를 효과적으로 관리하기 위한 연구가 진행되고 있으며, 그 일 분야로 동영상 데이터를 분할하여 구조화하기 위한 연구를 들 수 있다. 동영상 데이터의 분할은 동영상 데이터를 용이하게 저장, 색인, 검색할 수 있도록 함은 물론, 동영상 중간에 광고를 삽입하기 위한 용도로도 이용된다.
예를 들어, 케이블 TV나 IPTV 서비스 등에서는 영화 등을 무료로 시청하는 대신 영화를 시청하는 도중에 광고를 시청하도록 하고 있다. 방송 중이던 영화를 일시 중지하고 광고를 시청하도록 하기 위해서는 영화의 내용이 전환되거나 출연자가 위치하는 장소가 변경되는 등 적절한 위치에서 영화를 중지시키는 것이 중요하다.
현재는 영화 등의 동영상에 대한 장면 분할을 위해 컬러 히스토그램 비교 방법, 화소 단위 비교 방법 등을 이용한다.
화소 단위 비교 방법은 동일한 장면 내에서는 화소값의 변화가 적다는 점에 착안하여, 연속하는 한 쌍의 프레임에서 대응하는 화소값을 비교하여 얼마나 많은 변화가 발생하였는지 측정한다. 이 방법은 구현은 간단하나 카메라 움직임에 민감하여, 움직임이 많은 영상에 적용할 경우 장면을 정확히 분할할 수 없는 단점이 있다.
한편, 컬러 히스토그램 비교 방법은 동일한 장면 내의 프레임들이 상호 유사한 색상 분포를 가진다는 특성을 이용하여, 인접 프레임들의 히스토그램 차이를 임계값과 비교하여 장면을 분할한다. 이 방법은 카메라의 이동에는 덜 민감하나, 빛의 영향에 민감한 단점이 있다. 즉, 갑작스런 조명 변화가 있는 경우 동일한 장면을 다른 장면으로 인식할 수 있고, 다른 장면임에도 불구하고 색상 분포가 유사하면 이를 검출하지 못하는 문제가 있다.
이와 같이, 현재는 동영상의 화소값이나 색상 분포 등 RGB값을 기초 정보로 이용하기 때문에, 카메라의 움직임이나 시간/공간적 연속성을 정확히 판단할 수 없어 동영상을 효과적으로 구조화하기 어렵다. 이에 따라, 뜻하지 않은 위치에서 광 고가 송출되는 문제가 발생할 수 있고, 이를 방지하기 위해 수작업을 통해 장면 분할의 오류를 수정하여야 하므로 작업이 번거롭고 시간이 증가하는 등의 문제가 있다.
본 발명은 상술한 단점 및 문제점을 해결하기 위해 안출된 것으로, 장면 전환 여부를 정확히 검출할 수 있는 동영상 장면 분할 시스템 및 방법을 제공하는 데 그 기술적 과제가 있다.
본 발명의 다른 기술적 과제는 하나의 동영상을 복수의 독립적인 장면으로 분할할 수 있는 동영상 장면 분할 시스템 및 방법을 제공하는 데 있다.
상술한 기술적 과제를 달성하기 위한 본 발명의 일 실시예에 의한 동영상 장면 분할 시스템은 분할 대상 동영상을 구성하는 프레임을 추출하는 프레임 추출부;
상기 프레임 추출부에서 추출한 프레임의 이웃 프레임과의 에너지 차이에 따라 분할 예정 위치를 결정하는 계수 필터링부; 상기 계수 필터링부에서 결정한 분할 예정 위치 전후 프레임 간의 연속성을 판단하는 움직임 분석부; 및 상기 움직임 분석부에서 판단한 연속성에 따라 상기 동영상의 장면 분할 위치를 결정하는 분할 위치 결정부;를 포함한다.
한편, 본 발명의 일 실시예에 의한 동영상 장면 분할 방법은 프레임 추출부, 계수 필터링부, 움직임 분석부 및 분할 위치 결정부를 포함하는 동영상 장면 분할 시스템에서의 동영상 장면 분할 방법으로서, 상기 프레임 추출부가 분할 대상 동영상을 구성하는 프레임을 추출하는 과정; 상기 추출된 프레임 각각에 대하여, 상기 계수 필터링부가 이웃 프레임 간의 에너지 차이값과 문턱값을 비교하여 분할 예정 위치를 결정하는 과정; 상기 분할 예정 위치를 참조하여, 상기 움직임 분석부가 상기 분할 예정 위치 전후의 프레임간의 시간적/공간적 연속성을 판단하는 과정; 및 상기 분할 위치 결정부가 상기 시간적/공간적 연속성이 낮은 프레임을 분할 위치로 결정하는 과정;을 포함한다.
본 발명에 의하면, 동영상을 구성하는 프레임 간의 에너지 비교를 통해 장면 분할에 의미 있는 프레임을 선택한다. 아울러, 인트라 프레임과 예측 프레임의 계수를 동시에 필터링하여 시간/공간 연속성을 동시에 판단할 수 있어 장면 분할에 소요되는 시간을 단축시킬 수 있다.
뿐만 아니라, 동영상의 배경 및 전경에 대한 움직임을 추정하여, 실제 내용상 장면이 전환되었는지의 여부를 판단한다. 이에 따라, 동영상의 장면 전환 시점을 정확하게 추출하여 장면간을 정확하게 분할할 수 있는 이점이 있다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 보다 구체적으로 설명한다.
도 1은 본 발명에 의한 동영상 장면 분할 시스템의 접속 관계를 설명하기 위한 도면이다.
도시한 것과 같이, 동영상 장면 분할 시스템(10)은 통신망(20)을 통해 복수의 콘텐츠 제공자(Contents Provider; CP) 서버(30-1~30-n)와 접속되거나, 동영상들이 저장된 데이터베이스(40)를 구비할 수 있다. 그리고, CP 서버(30-1~30-n)로 부터 전송되는 동영상, 또는 데이터베이스(40)에 저장된 동영상을 장면 별로 분할한다.
장면 분할시에는 프레임의 에너지, 카메라의 움직임 분석 및 추정이 이용되며, 도 2 내지 도 4를 참조하여 설명하면 다음과 같다.
먼저, 도 2는 본 발명의 일 실시예에 의한 동영상 장면 분할 시스템의 구성도이다.
도 2에 도시한 것과 같이, 동영상 장면 분할 시스템(10)은 전체적인 동작을 제어하는 제어부(110), 프레임 추출부(120), 계수 필터링부(130), 움직임 분석부(140), 분할 위치 결정부(150) 및 메모리(160)를 포함한다.
동영상을 구성하는 프레임은 인트라 프레임(Intra frame; I-프레임), 예측 프레임(Predictive frame; P-프레임), 양방향 프레임(Bidirectional frame; B-프레임)으로 나눌 수 있다. I-프레임은 이전 영상이나 이후 영상과 상관도가 없거나 매우 낮은 독립적인 프레임을 의미한다. P-프레임은 이전 영상에 의존하는 프레임을 의미하고, B-프레임은 이전 영상 및 이후 영상에 의존하는 프레임을 의미한다. 즉, I-프레임으로는 공간상의 상관도를 알 수 있고, P-프레임이나 B-프레임으로는 시간상의 상관도를 알 수 있다. 다만, B-프레임은 동영상의 진행 시간에 대해 과거 및 미래의 프레임으로부터 예측되는 프레임으로, 시간에 따른 카메라의 움직임을 찾을 수 없으므로 본 발명에서는 고려하지 않는다.
따라서, 프레임 추출부(120)를 이용하여 분할 대상 동영상으로부터 I-프레임 및 P-프레임을 구분해 내는 것이다.
일반적으로 P-프레임은 I-프레임에 매우 의존적이지만, 어떤 경우에는 I-프레임과 의존도가 낮은 프레임이 존재할 수 있다. 이러한 P-프레임은 독립적인 장면으로 취급될 수 있으므로, 계수 필터링부(130)는 P-프레임 중 이웃 프레임과 에너지 차이 즉, AC(Alternate Current) 계수 차이가 기 설정된 문턱값보다 높거나DC(Direct Current) 계수 차이가 기 설정된 문턱값보다 높은 프레임을 의미 있는 장면으로 선택한다. 또한, I-프레임 중에서도 이웃하는 I-프레임과 상관도가 높은 I-프레임이 존재할 수 있으며, 계수 필터링부(130)는 I-프레임 중에서 이웃 프레임과 에너지 차이 즉, AC 계수 차이가 기 설정된 문턱값보다 높거나 DC 계수 차이가 기 설정된 문턱값보다 높은 프레임을 의미 있는 장면으로 선택한다. 즉, 이웃하는 I-프레임 간의 상관도가 높은 I-프레임들은 하나의 장면으로 취급하는 것이다.
DC 계수는 하나의 프레임에 포함되는 각 블록에서 밝기 또는 색차의 평균값을 의미하고, AC 계수는 에지나 잡음에 대한 평균값을 의미한다. 프레임 간의 DC 계수의 차이가 클수록 프레임 간의 유사성이 낮아지며, 프레임 간의 AC 계수의 차이가 크다는 것은 프레임의 배경이 전환되었을 가능성이 높음을 의미한다.
따라서, 본 발명에서는 분할 대상 동영상의 I-프레임 및 P-프레임을 추출하고, 인접 I-프레임 간 AC 계수의 차이가 큰 프레임, 인접 P-프레임 간 DC 계수 차이가 큰 프레임을 분할 예정 위치로 선택하는 것이다.
이를 위해, 프레임 추출부(120)는 도 3에 도시한 것과 같이, I-프레임 추출 모듈(122) 및 P-프레임 추출 모듈(124)을 포함한다. 한편, 계수 필터링부(130)는 비교 모듈(132) 및 선택 모듈(134)을 포함한다.
분할 대상 프레임에 대하여 프레임 추출부(120)의 I-프레임 추출 모듈(122) 및 P-프레임 추출 모듈(124)에서 각각 프레임이 추출된다. 그리고, 비교 모듈(132)은 이웃 I-프레임 간 AC 계수 및 DC 계수의 차이를 각각 기 설정된 문턱값과 비교하는 한편, P-프레임 간 AC계수 및 DC 계수의 차이를 각각 기 설정된 문턱값과 비교한다. 아울러, 선택 모듈(134)은 비교 모듈(132)의 비교 결과에 따라 의미 있는 장면 전환 위치로 추정되는 프레임 즉, DC 계수 차이 또는 AC 계수 차이가 문턱값보다 높은 프레임을 분할 예정 위치로서 선택한다.
다만, 이러한 에너지의 비교만으로는 장면 전환 여부를 정확히 판단할 수 없으므로, 움직임 분석부(140)를 통해 분할 예정 위치로 결정된 프레임들에 대하여 프레임의 배경 또는 전경이 이전 프레임과 변경되었는지 확인한다.
즉, 움직임 분석부(140)는 계수 필터링부(130)의 선택 모듈(134)에서 분할 예정 위치로 선택된 프레임들을 참조하여, 이웃 프레임 간 비교를 통해 시간적/공간적 연속성을 판단한다. 시간적/공간적 연속성은 프레임의 글로벌 모션(Global motion) 분석 또는 로컬 모션(Local motion)을 분석에 의해 이루어지며, 이를 위해 움직임 분석부(140)는 도 4에 도시한 것과 같이 글로벌 모션 분석 모듈(142) 및 로컬 모션 분석 모듈(144)을 포함한다.
글로벌 모션 분석 모듈(142)은 카메라 움직임 분석을 통해 해당 프레임이 이전 프레임과 비교할 때 배경 영상이 변화되었는지 확인한다. 즉, 카메라의 패닝(Panning), 요잉(Yawing), 주밍(Zooming) 등 촬영 기법에 의한 2차원적 움직임(시간적 연속성)인지, 공간 이동에 의한 3차원적 움직임(공간적 연속성)인지 판단 한다. 이를 위해 글로벌 모션 분석 모듈(142)은 분할 예정 위치에서의 각 프레임에 대하여 잉여(residual) 계수 즉, AC 계수의 분포 패턴을 분석하며, 이로부터 프레임 간 에너지의 차이는 크나 단순한 촬영 기법에 의한 에너지 변화인지, 실제 장면 전환에 의한 에너지 변화인지를 판단할 수 있다.
로컬 모션 분석 모듈(144)은 해당 프레임이 이전 프레임과 비교할 때 전경 영상 즉, 비디오 객체가 변화되었는지 확인한다. 이는 인물 또는 인물의 모션이 변화되었는지 확인하는 것으로, 분할 예정 위치에서의 각 프레임에 대하여 비디오 객체를 분리한 후, 이웃하는 프레임 간의 잉여 계수 즉, AC 계수의 분포 패턴을 분석하여 시간적 연속성 및 공간적 연속성을 판단한다.
글로벌 모션 분석 및 로컬 모션 분석에는 다양한 특징 추출 알고리즘이 이용될 수 있으며, 예를 들어 움직임 벡터에 대한 주요 성분 분석법(Principal Component Analysis)/잉여 계수에 대한 독립 성분 분석법(Independent Component Analysis), 매칭 추적 분석법(Matching Pursuit Analysis) 등이 이용될 수 있다. 움직임 벡터에 대한 주요 성분 분석법으로부터는 카메라(배경) 또는 비디오 객체(전경)의 2차원적 움직임을 판단할 수 있고, 잉여 계수에 대한 독립 성분 분석법으로부터는 카메라 또는 비디오 객체의 3차원적 움직임을 판단할 수 있다. 아울러, 매칭 추적 분석법의 경우 시간적 특징 및 공간적 특징을 동시에 추출할 수 있는 이점이 있다.
한편, 분할 위치 결정부(150)는 움직임 분석부(140)의 분석 결과에 따라 시간적/공간적 연속성이 낮은 프레임을 분할 위치로 결정하여 동영상을 분할하고, 분 할된 동영상을 메모리(160)에 저장한다.
이와 같이, 본 발명에서는 분할 대상 동영상을 구성하는 프레임 중 이웃 프레임과 에너지 차이가 큰 프레임을 추출하여 분할 예정 위치를 결정한다. 이때, 이웃 프레임과 독립적인 I-프레임은 물론, P-프레임까지 고려하여 장면 분할의 정확도를 높인다.
그리고, 분할 예정 위치 전후의 프레임으로부터, 움직임 분석을 통해 시간적/공간적 연속성을 판단한다. 결국, 시간적/공간적 연속성이 낮은 프레임을 추출하고, 이로부터 분할 위치를 결정함으로써, 장면 전환이 이루어진 프레임 간을 정확히 구분하여 장면 분할 효율을 높일 수 있다.
따라서, 본 발명에서 동영상으로부터 최종적으로 분할된 '장면'이라 함은 동영상의 재생 시간에 따라, 카메라 또는 비디오 객체의 시간적/공간적 연속성에 기초하여 나누어진 장면으로 정의될 수 있다.
이와 같이 동영상의 장면을 최종 분할한 후, 분할 위치 결정부(150)는 각 분할된 장면 각각의 메타 데이터에 재생 시간 정보 즉, 재생 순서를 포함시킬 수 있다. 그리고, 이러한 재생 시간 정보를 이용하여 장면 단위로 스냅샷을 생성하여 동영상 전체의 내용을 한 눈에 보여 주는 등의 응용 서비스를 제공하는 것도 가능하다.
한편, 이러한 동영상 장면 분할 시스템(10)에서의 장면 분할 방법에 대하여 도 5 내지 도 7을 참조하여 설명하면 다음과 같다.
도 5는 본 발명의 일 실시예에 의한 동영상 장면 분할 방법을 설명하기 위한 흐름도이다.
동영상 장면 분할 시스템(10)은 CP 서버 또는 자체적으로 보유하고 있는 데이터베이스로부터 분할 대상 동영상을 수신한다(S10).
그리고, 프레임 추출부(120)에서 해당 동영상을 구성하는 I-프레임 및 P-프레임을 추출하고, 계수 필터링부(130)는 프레임 간의 에너지 차이값과 문턱값과의 비교를 통해 분할 예정 위치를 결정한다(S20). 본 발명의 바람직한 실시예에서, 계수 필터링부(130)는 I-프레임의 AC 계수 및 DC 계수, P-프레임의 AC 계수 및 DC 계수를 산출하고, 이웃 프레임과의 AC 계수 및 DC 계수 차이가 각각의 문턱값보다 큰 I-프레임, 이웃 프레임과의 AC 계수 및 DC 계수 차이가 각각의 문턱값보다 큰 P-프레임을 분할 예정 위치로 선택할 수 있다.
이후, 움직임 분석부(140)에서는 단계 S20에서 결정된 분할 예정 위치를 참조하여, 분할 예정 위치 전후의 프레임간 비교를 통해 시간적/공간적 연속성을 판단한다(S30). 즉, 분할 예정 위치 전후의 프레임으로부터 특징을 추출하고 비교하여 2차원적, 또는 3차원적 변화가 존재하는지 확인하는 것이다.
그리고, 단계 S30의 판단 결과에 따라, 분할 위치 결정부(150)는 시간적/공간적 연속성이 낮은 프레임을 동영상의 실제 장면 전환 위치로 판단하고(S40), 해당 위치에서 동영상을 분할한다(S50).
도 6을 참조하여 도 5에 도시한 분할 예정 위치 결정 과정을 설명하면, 먼저 프레임 추출부(120)의 I-프레임 추출 모듈(122) 및 P-프레임 추출 모듈(124)에서 각각 해당 동영상에 포함된 I/P 프레임들을 추출한다(S201).
그리고, 계수 필터링부(130)의 비교 모듈(132)은 각 프레임의 에너지 즉, AC 계수 및 DC 계수를 산출하고(S203), 프레임 간의 에너지 차이값을 기 설정된 문턱값과 비교한다(S205).
이후, 선택 모듈(134)은 단계 S205의 비교 결과 프레임 간의 에너지 차이값이 문턱값보다 큰 프레임을 분할 예정 위치로 결정한다(S207).
이와 같이 분할 예정 위치를 결정한 후에는 도 7에 도시한 것과 같이 움직임 분석 과정이 수행된다.
즉, 움직임 분석부(140)의 글로벌 모션 분석 모듈(142)에서, 분할 예정 위치 전후의 프레임 간 비교를 통해 카메라의 움직임을 분석하여(S301), 카메라의 움직임에 의한 장면 전환이 이루어졌는지, 즉 글로벌 모션인지 판단한다(S303).
글로벌 모션으로 판단된 경우에는 해당 프레임의 배경에 대한 특징을 추출하여, 이웃 프레임과의 특징 비교를 통해 시간적/공간적 연속성을 판단한다(S309). 즉, 카메라의 패닝(Panning), 요잉(Yawing), 주밍(Zooming) 등 촬영 기법에 의한 2차원적 움직임(시간적 연속성)인지, 공간 이동에 의한 3차원적 움직임(공간적 연속성)인지 판단한다. 이를 위해 글로벌 모션 분석 모듈(142)은 분할 예정 위치에서의 각 프레임에 대하여 잉여(residual) 계수 즉, AC 계수의 분포 패턴을 분석하며,이로부터, 프레임 간 에너지의 차이는 크나 단순한 촬영 기법에 의한 에너지 변화인지, 실제 장면 전환에 의한 에너지 변화인지를 판단하게 된다.
그리고, 이웃 프레임과 시간적/공간적 연속성이 낮은 프레임을 분할 위치로 결정한다(S40).
한편, 단계 S303의 판단 결과 글로벌 모션이 아닌 경우, 즉 로컬 모션인 경우에는 로컬 모션 분석 모듈(144)에서 해당 프레임으로부터 비디오 객체를 분리한 후, 이웃 프레임 간의 잉여 계수 즉, AC 계수의 분포 패턴을 분석하여 시간적/공간적 연속성을 판단한다(S309). 마찬가지로, 전경 특징에 대하여 시간적/공간적 연속성이 낮은 경우 해당 프레임을 분할 위치로 결정한다(S40)..
이와 같이, 본 발명은 이웃 프레임 간의 에너지 차이 값에 의해 1차적으로 분할 예정 위치를 선택한다. 그리고, 분할 예정 위치 전후의 프레임을 비교하여 시간적/공간적 연속성을 판단하여, 연속성이 낮은 프레임을 분할 위치로 결정한다.
따라서, 동영상의 내용상 장면 전환이 이루어지는 부분을 고속으로, 용이하게 검출할 수 있어, 장면 분할의 정확도와 신속성을 향상시킬 수 있다. 아울러, 이러한 장면 분할 기법을 광고 삽입 분야에 적용하는 경우, 적절한 위치에서 동영상의 방송을 중단하고 광고를 송출할 수 있음은 물론, 이전 전개된 내용에 합치되는 내용의 광고를 삽입할 수 있어, 광고 효과를 극대화할 수 있다.
이상에서 설명한 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
도 1은 본 발명에 의한 동영상 장면 분할 시스템의 접속 관계를 설명하기 위한 도면,
도 2는 본 발명의 일 실시예에 의한 동영상 장면 분할 시스템의 구성도,
도 3은 도 2에 도시한 프레임 추출부 및 계수 필터링부의 구성도,
도 4는 도 2에 도시한 움직임 분석부의 구성도,
도 5는 본 발명의 일 실시예에 의한 동영상 장면 분할 방법을 설명하기 위한 흐름도,
도 6은 도 5에 도시한 분할 예정 위치 결정 과정을 설명하기 위한 흐름도,
도 7은 도 5에 도시한 움직임 분석 과정을 설명하기 위한 흐름도이다.
<도면의 주요 부분에 대한 부호 설명>
10 : 동영상 장면 분할 시스템 110 : 제어부
120 : 프레임 추출부 130 : 계수 필터링부
140 : 움직임 분석부 150 : 분할 위치 결정부
160 : 메모리

Claims (16)

  1. 분할 대상 동영상을 구성하는 인트라 프레임(Intra frame; I-프레임) 및 예측 프레임(Predictive frame; P-프레임)을 추출하는 프레임 추출부;
    상기 I-프레임 및 P-프레임 각각의 에너지를 산출하고, 이웃하는 동종 프레임과의 에너지 차이를 기 설정된 문턱값과 비교하는 비교 모듈 및 상기 비교 모듈의 비교 결과 상기 에너지가 상기 문턱값보다 큰 프레임을 분할 예정 위치로 결정하는 선택 모듈을 포함하는 계수 필터링부;
    상기 계수 필터링부에서 결정한 분할 예정 위치 전후 프레임 간의 연속성을 판단하는 움직임 분석부; 및
    상기 움직임 분석부에서 판단한 연속성에 따라 상기 동영상의 장면 분할 위치를 결정하는 분할 위치 결정부;
    를 포함하는 동영상 장면 분할 시스템.
  2. 삭제
  3. 삭제
  4. 제 1 항에 있어서,
    상기 비교 모듈은, 상기 I-프레임으로부터 AC(Alternate Current) 계수 및 DC(Direct Current) 계수 중 적어도 하나를 산출하고, 인접 I-프레임과의 AC 계수 차이 및 DC 계수 차이를 각각의 문턱값과 비교하는 것을 특징으로 하는 동영상 장면 분할 시스템.
  5. 제 1 항에 있어서,
    상기 비교 모듈은, 상기 P-프레임으로부터 AC(Alternate Current) 계수 및 DC(Direct Current) 계수 중 적어도 하나를 산출하고, 인접 P-프레임과의 AC 계수 차이 및 DC 계수 차이를 각각의 문턱값과 비교하는 것을 특징으로 하는 동영상 장면 분할 시스템.
  6. 제 1 항에 있어서,
    상기 움직임 분석부는, 상기 계수 필터링부에서 결정한 분할 예정 위치 전후의 프레임 각각에 대하여, 카메라의 움직임을 분석하는 글로벌 모션 분석 모듈을 포함하는 동영상 장면 분할 시스템.
  7. 제 6 항에 있어서,
    상기 글로벌 모션 분석 모듈은, 상기 분할 예정 위치 전후의 프레임 각각에 대한 AC(Alternate Current) 계수의 차이값에 따라 카메라의 움직임을 분석하여 배경 영상이 시간적 또는 공간적으로 변화되었는지 확인하는 것을 특징으로 하는 동영상 장면 분할 시스템.
  8. 제 6 항에 있어서,
    상기 움직임 분석부는, 상기 계수 필터링부에서 결정한 분할 예정 위치 전후의 프레임 각각에 대하여 비디오 객체의 변화를 분석하는 로컬 모션 분석 모듈을 더 포함하는 동영상 장면 분할 시스템.
  9. 제 8 항에 있어서,
    상기 로컬 모션 분석 모듈은, 상기 분할 예정 위치 전후의 프레임 각각에 대한 AC(Alternate Current) 계수의 차이값에 따라 전경 영상이 시간적 또는 공간적으로 변화되었는지 확인하는 것을 특징으로 하는 동영상 장면 분할 시스템.
  10. 제 1 항에 있어서,
    상기 분할 위치 결정부는, 상기 동영상의 장면 분할 위치에 따라 동영상 장면을 분할하고, 상기 분할된 각 장면의 메타 데이터에 재생 순서 정보를 저장하는 것을 특징으로 하는 동영상 장면 분할 시스템.
  11. 프레임 추출부, 계수 필터링부, 움직임 분석부 및 분할 위치 결정부를 포함하는 동영상 장면 분할 시스템에서의 동영상 장면 분할 방법으로서,
    상기 프레임 추출부가 분할 대상 동영상으로부터 인트라 프레임(Intra frame; I-프레임) 및 예측 프레임(Predictive frame; P-프레임)을 추출하는 과정;
    상기 추출된 프레임 각각에 대하여, 상기 계수 필터링부가 이웃 프레임 간의 에너지 차이값과 문턱값을 비교하여 분할 예정 위치를 결정하는 과정;
    상기 분할 예정 위치를 참조하여, 상기 움직임 분석부가 상기 분할 예정 위치 전후의 프레임간의 시간적/공간적 연속성을 판단하는 과정; 및
    상기 분할 위치 결정부가 상기 시간적/공간적 연속성이 낮은 프레임을 분할 위치로 결정하는 과정;을 포함하고,
    상기 분할 예정 위치를 결정하는 과정은, 상기 I-프레임으로부터 AC(Alternate Current) 계수 및 DC(Direct Current) 계수 중 적어도 하나를 산출하는 단계;
    이웃 I-프레임과의 상기 AC 계수 차이값 및 DC 계수 차이값을 각각의 문턱값과 비교하는 단계;
    상기 AC 계수 차이값 및 DC 계수 차이값이 상기 각각의 문턱값보다 큰 I-프레임을 분할 예정 위치로 결정하는 단계;
    상기 P-프레임으로부터 AC(Alternate Current) 계수 및 DC(Direct Current) 계수 중 적어도 하나를 산출하는 단계;
    이웃 P-프레임간의 AC 계수 차이값 및 DC 계수 차이값을 각각의 문턱값과 비교하는 단계; 및
    상기 AC 계수 차이값 및 DC계수 차이값이 상기 각각의 문턱값보다 큰 P-프레임을 분할 예정 위치로 결정하는 단계;
    를 포함하는 동영상 장면 분할 방법.
  12. 삭제
  13. 삭제
  14. 제 11 항에 있어서,
    상기 시간적/공간적 연속성을 판단하는 과정은, 카메라의 움직임을 분석하여 배경 전환이 이루어졌는지 판단하는 단계; 및
    상기 판단 결과 배경 전환이 이루어진 경우 이웃 프레임과 특징을 비교하여 시간적/공간적 연속성을 판단하는 단계;
    를 포함하는 동영상 장면 분할 방법.
  15. 제 14 항에 있어서,
    상기 판단 결과 배경 전환이 이루어지지 않은 경우 전경 전환이 이루어졌는지 판단하는 단계; 및
    상기 전경 전환이 이루어진 경우 이웃 프레임과 특징을 비교하여 시간적/공간적 연속성을 판단하는 단계;
    를 더 포함하는 동영상 장면 분할 방법.
  16. 제 11 항에 있어서,
    상기 분할 위치를 결정하는 과정 이후, 상기 분할 위치 결정부가 상기 분할 위치에 따라 상기 동영상의 장면을 분할하는 과정; 및
    상기 분할 위치 결정부가 상기 분할된 각 장면의 메타데이터에 재생 순서 정보를 저장하는 과정;
    을 더 포함하는 동영상 장면 분할 방법.
KR1020090078545A 2009-08-25 2009-08-25 동영상 장면 분할 시스템 및 방법 KR101050255B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090078545A KR101050255B1 (ko) 2009-08-25 2009-08-25 동영상 장면 분할 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090078545A KR101050255B1 (ko) 2009-08-25 2009-08-25 동영상 장면 분할 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20110021014A KR20110021014A (ko) 2011-03-04
KR101050255B1 true KR101050255B1 (ko) 2011-07-19

Family

ID=43929989

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090078545A KR101050255B1 (ko) 2009-08-25 2009-08-25 동영상 장면 분할 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101050255B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210105126A (ko) 2020-02-18 2021-08-26 세종대학교산학협력단 객체탐지 및 집합이론을 이용한 영상의 장면 분할 장치 및 방법

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101667011B1 (ko) * 2011-11-24 2016-10-18 에스케이플래닛 주식회사 입체 영상의 장면 전환 검출 장치 및 방법
US8670649B1 (en) * 2012-10-10 2014-03-11 Hulu, LLC Scene detection using weighting function
KR101999380B1 (ko) * 2017-12-12 2019-07-11 주식회사 엔큐브 영상 분석을 통한 가상현실 시뮬레이션 방법 및 장치
CN112203092B (zh) * 2020-09-27 2024-01-30 深圳市梦网视讯有限公司 一种全局运动场景的码流分析方法、***及设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000115710A (ja) * 1998-09-30 2000-04-21 Toshiba Corp デジタル映像再生装置及びデジタル映像再生方法
KR100405818B1 (ko) * 2000-08-29 2003-11-14 한국과학기술연구원 칼라 및 모션 특징을 기반으로 하는 비디오 씬 분할 방법
KR20060064328A (ko) * 2004-12-08 2006-06-13 엘지전자 주식회사 휴대단말기의 동영상 검색장치 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000115710A (ja) * 1998-09-30 2000-04-21 Toshiba Corp デジタル映像再生装置及びデジタル映像再生方法
KR100405818B1 (ko) * 2000-08-29 2003-11-14 한국과학기술연구원 칼라 및 모션 특징을 기반으로 하는 비디오 씬 분할 방법
KR20060064328A (ko) * 2004-12-08 2006-06-13 엘지전자 주식회사 휴대단말기의 동영상 검색장치 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210105126A (ko) 2020-02-18 2021-08-26 세종대학교산학협력단 객체탐지 및 집합이론을 이용한 영상의 장면 분할 장치 및 방법

Also Published As

Publication number Publication date
KR20110021014A (ko) 2011-03-04

Similar Documents

Publication Publication Date Title
Mavlankar et al. An interactive region-of-interest video streaming system for online lecture viewing
US11763431B2 (en) Scene-based image processing method, apparatus, smart terminal and storage medium
TWI578757B (zh) 場景形式之視訊串流編碼
Gao et al. The IEEE 1857 standard: Empowering smart video surveillance systems
US8059936B2 (en) Video importance rating based on compressed domain video features
US6940910B2 (en) Method of detecting dissolve/fade in MPEG-compressed video environment
US20090052537A1 (en) Method and device for processing coded video data
KR20040018506A (ko) 비디오 데이터 스트림에서 카툰을 검출하기 위한 방법 및시스템
KR101087194B1 (ko) 동영상 인코딩 시스템 및 방법
JP2002502158A (ja) 符号化システムを改善するために付随情報を使用する装置及び方法
KR101050255B1 (ko) 동영상 장면 분할 시스템 및 방법
US8973029B2 (en) Backpropagating a virtual camera to prevent delayed virtual insertion
WO2019182834A1 (en) Content type detection in videos using multiple classifiers
Kim et al. Fast scene change detection for personal video recorder
KR101149522B1 (ko) 장면 전환 검출 시스템 및 방법
Nasreen et al. Key frame extraction from videos-A survey
US8509303B2 (en) Video descriptor generation device
TWI423167B (zh) 壓縮視訊源之多圖框移動外推技術
Lie et al. News video summarization based on spatial and motion feature analysis
Su et al. A novel source mpeg-2 video identification algorithm
JPH10112863A (ja) 動き被写体情報抽出方法及び装置
US20230401852A1 (en) Video Scene Change Detection
Dolley Shukla et al. A survey on different video scene change detection techniques
KR20020040503A (ko) 동영상 비디오 스트림의 장면전환 검출방법
Mithlesh et al. Detection of Scene Change in Video

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140710

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20150703

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20160712

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee