KR20150043962A - Apparatus and method for summarizing video - Google Patents

Apparatus and method for summarizing video Download PDF

Info

Publication number
KR20150043962A
KR20150043962A KR20140076758A KR20140076758A KR20150043962A KR 20150043962 A KR20150043962 A KR 20150043962A KR 20140076758 A KR20140076758 A KR 20140076758A KR 20140076758 A KR20140076758 A KR 20140076758A KR 20150043962 A KR20150043962 A KR 20150043962A
Authority
KR
South Korea
Prior art keywords
objects
frame sequence
summary image
characteristic
moving
Prior art date
Application number
KR20140076758A
Other languages
Korean (ko)
Inventor
심재철
김화숙
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to US14/514,929 priority Critical patent/US20150104149A1/en
Publication of KR20150043962A publication Critical patent/KR20150043962A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G06V20/47—Detecting features for summarising video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

An apparatus and a method for summarizing video are disclosed in the present invention. The apparatus for summarizing video according to an embodiment of the present invention comprises the following: an object extraction part which extracts objects by separating background from each of the original frames which forms a video of a given time; an object analysis part which analyzes the objects that have been extracted by the object extraction part based on the sequence of the original frames for identifying the time-phased characteristics of the objects; and a thumbnail image generation part which generates thumbnail images including symbols that indicate the objects for which the time-phased characteristics, which have been identified by the object analysis part, have been visualized.

Description

동영상 요약 장치 및 방법{APPARATUS AND METHOD FOR SUMMARIZING VIDEO}[0001] APPARATUS AND METHOD FOR SUMMARIZING VIDEO [0002]

본 발명은 영상 처리 기술에 관한 것으로서, 보다 구체적으로 동영상을 분석하여 요약 이미지를 생성하는 동영상 요약 장치 및 방법에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image processing technique, and more particularly, to an apparatus and method for a moving image summarizing image by analyzing a moving image to generate a summary image.

최근 들어, 전자 및 통신 기술이 급속히 발전하고, 카메라 기술의 발전과 스마트 폰의 보급으로 영상 데이터가 급격히 증가함에 따라, 이미지, 동영상 및 음성 데이터와 같이 멀티미디어 데이터로 생성되는 정보의 양이 폭발적으로 증가하고 있다. 이에 따라, 멀티미디어 데이터를 사용하는 데 있어서 사용자가 원하는 정보를 정확하고 빠르게 추출하는 기술에 대한 요구가 증가하는 추세이다.In recent years, as electronic and communication technologies have rapidly developed, image data has rapidly increased due to the development of camera technology and the spread of smart phones, the amount of information generated by multimedia data such as image, moving picture and voice data has increased explosively . Accordingly, there is a growing demand for a technology for accurately and quickly extracting information desired by a user in using multimedia data.

한편, 폐쇄회로 텔레비전(CCTV: Closed Circuit Television)은 영상의 송수신을 유선 또는 무선으로 연결하며, 수신대상 이외는 임의로 수신할 수 없도록 되어 있다. CCTV는 때로 Industrial Television의 약어인 ITV로 불리기도 하는데, 방송텔레비전 이외의 산업용, 교육용, 의료용, 교통 관제용 감시, 방재용 및 사내의 화상정보 전달용 등으로 그 용도가 다양하다. 즉, 폐쇄회로 텔레비전(CCTV: Closed Circuit Television) 시스템, 영상관리 시스템(VMS: Video Management System) 등은 카메라를 통하여 수집된 영상을 실시간으로 모니터링하거나 저장하고, 필요한 경우 재생을 통하여 영상을 확인하는 시스템으로, 영상을 통하여 능동적으로 감시 대상을 구분하고 추적할 수 있는 감시 수단으로 이용되고 있다.On the other hand, a closed circuit television (CCTV) connects a transmission / reception of a video by wire or wireless, and can not arbitrarily receive other than a reception target. CCTV is sometimes referred to as the abbreviation of Industrial Television (ITV), which is widely used for industrial, educational, medical, traffic control, disaster prevention, and in-house image information transmission. That is, a closed circuit television (CCTV) system and a video management system (VMS) are systems that monitor and / or store images collected through a camera in real time, , Which is used as a monitoring means to actively monitor and track objects through video.

그런데, 현재 대부분의 영상 감시 시스템은 오랜 시간 동안 감시자 또는 관찰자가 카메라로 들어오는 영상을 육안으로 직접 지켜봐야 하기 때문에 비용과 인력의 소모가 큰 문제점이 있다. 이러한 문제점을 해결하기 위한 방법의 하나로, 장시간 저장된 영상을 재생하여 모니터링하고 특이 상황을 판단하는 것을 효율적으로 수행하기 위하여 비디오 요약 기술이 시도되고 있다.However, most of the video surveillance systems currently have a problem that the surveillance or observer must watch the images coming into the camera directly for a long time, thereby consuming a large amount of money and manpower. As a method for solving such a problem, a video summarization technique has been attempted to efficiently reproduce and monitor a stored image for a long time and efficiently judge a specific situation.

그러나, 현재의 동영상 요약 기술은 다른 시점의 동영상을 중첩하여 축약된 동영상을 생성하는 형태로 제공되고 있어, 결국 축약된 동영상의 재생 시간 동안 영상을 육안으로 직접 지켜봐야 하는 문제점이 있고, 또한, 동시에 다수의 객체가 이동하는 동영상의 축약된 동영상은 상황에 대한 이해와 특이 상황의 파악이 어려운 문제점이 있다.However, the present video summarization technique is provided in the form of generating a reduced video by superimposing the videos at different viewpoints. As a result, there is a problem that the video must be watched directly by the naked eye during the playback time of the reduced video, There is a problem that it is difficult to understand the situation and to grasp the specific situation.

본 발명이 해결하고자 하는 하나의 과제는 상황에 대해 직관적으로 이해할 수 있는 동영상 요약 장치 및 방법을 제공하는 것이다.One object of the present invention is to provide a video summarizing apparatus and method which can intuitively understand the situation.

본 발명이 해결하고자 하는 다른 하나의 과제는 감시자 또는 관찰자가 주목해야 할 객체를 확인할 수 있는 동영상 요약 장치 및 방법을 제공하는 것이다.Another object of the present invention is to provide a moving picture summarizing apparatus and method capable of confirming an object to be watched by a monitor or an observer.

본 발명이 해결하고자 하는 또 다른 하나의 과제는 객체의 이동 경로, 이동 속도, 크기, 등장 및 소멸 등을 분석하여, 객체에 대해 감시자 또는 관찰자가 주목해야 할 이벤트를 확인할 수 있는 동영상 요약 장치 및 방법을 제공하는 것이다.Another object of the present invention is to provide a video summarizing apparatus and method capable of analyzing an object's moving path, moving speed, size, appearance and disappearance, .

본 발명이 해결하고자 하는 또 다른 하나의 과제는 요약 이미지 내의 객체의 동영상을 쉽게 탐색하여 재생할 수 있는 동영상 요약 장치 및 방법을 제공하는 것이다.It is another object of the present invention to provide an apparatus and method for a moving image summarizing apparatus capable of easily searching and reproducing a moving image of an object in a summary image.

상기한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 동영상 요약 장치는 소정 시간의 동영상을 구성하는 원본 프레임들 각각으로부터 배경을 분리하여 객체를 추출하는 객체 추출부; 상기 객체 추출부에 의하여 추출된 객체를 상기 원본 프레임 시퀀스에 따라 분석하여 상기 객체의 경시적 특징을 파악하는 객체 분석부; 및 상기 객체 분석부에 의하여 파악된 상기 경시적 특징을 가시화한 상기 객체에 대한 지시 심볼을 포함하는 요약 이미지를 생성하는 요약 이미지 생성부를 포함한다.According to an aspect of the present invention, there is provided an apparatus for extracting moving images, the apparatus comprising: an object extraction unit for extracting an object by separating a background from each of original frames constituting a moving image of a predetermined time; An object analyzing unit analyzing the object extracted by the object extracting unit according to the original frame sequence to grasp the characteristic of the object over time; And a summary image generation unit for generating a summary image including an instruction symbol for the object that visualized the temporal feature identified by the object analysis unit.

상기 실시예의 일 측면에 의하면, 상기 경시적 특징은 이동 경로, 이동 속도, 크기, 등장 및 소멸 중에서 하나 이상을 포함할 수 있다. 또는, 상기 지시 심볼은 상기 객체의 이동 경로를 지시하는 자취선; 상기 객체의 이동 방향을 지시하는 화살표; 상기 객체의 이동 속도를 지시하는 선의 두께; 및 상기 객체의 등장, 소멸 및 크기를 지시하는 도형 중에서 하나 이상을 이용하여 표현할 수 있다. 또는, 상기 요약 이미지 생성부는 상기 객체의 경시적 특징의 변화가 일어나는 시점을 상기 요약 이미지 생성을 위한 기준 시점으로 하여 요약 이미지를 생성할 수 있다.According to an aspect of the embodiment, the aging characteristic may include at least one of a moving path, a moving speed, a size, appearance and disappearance. Alternatively, the instruction symbol may include a trace line indicating a movement path of the object; An arrow indicating a moving direction of the object; A thickness of a line indicating a moving speed of the object; And a graphic indicating the appearance, extinction, and size of the object. Alternatively, the summary image generation unit may generate a summary image with a time point at which a change in the time characteristic of the object occurs, as a reference point for generating the summary image.

또한, 상기 생성된 요약 이미지 내의 상기 객체를 선택하면 상기 객체가 포함된 원본 프레임 시퀀스를 재생하는 동영상 재생부를 더 포함할 수 있다.The apparatus may further include a moving image playback unit that plays the original frame sequence including the object by selecting the object in the generated summary image.

상기 실시예의 다른 측면에 의하면, 상기 객체 추출부에 의하여 추출된 객체가 복수인 경우, 상기 복수의 객체별로 상기 복수의 객체 각각의 프레임 시퀀스를 배경의 프레임 시퀀스와 합성하여 합성 프레임 시퀀스를 생성하는 객체 프레임 시퀀스 합성부를 더 포함할 수 있고, 상기 객체 분석부는 상기 복수의 객체별로 상기 추출된 복수의 객체를 상기 원본 프레임 시퀀스 또는 상기 합성 프레임 시퀀스에 따라 분석하여 상기 복수의 객체 각각의 경시적 특징을 파악하고, 상기 요약 이미지 생성부는 상기 파악된 상기 복수의 객체 각각의 경시적 특징을 가시화한 상기 복수의 객체에 대한 지시 심볼을 함께 포함하는 요약 이미지를 생성할 수 있다. 이 경우에, 상기 경시적 특징은 상기 객체 추출부에 의하여 추출된 객체가 복수인 경우 다른 객체의 경시적 특징과 상이한 경시적 특징을 나타내는 특이 객체의 경시적 특징을 포함할 수 있다. 또는, 상기 지시 심볼은 상기 객체 추출부에 의하여 추출된 객체가 복수인 경우 상기 각각 객체의 경시적 특징의 변화가 유사하여 중첩되면 흐리게 표현할 수 있다.According to another aspect of the present invention, when the object extracted by the object extracting unit is a plurality of objects, an object for generating a composite frame sequence by combining the frame sequence of each of the plurality of objects with the background frame sequence for each of the plurality of objects The object analyzing unit may analyze the plurality of extracted objects for each of the plurality of objects according to the original frame sequence or the composite frame sequence to determine a time characteristic of each of the plurality of objects And the summary image generating unit may generate a summary image including an indication symbol for the plurality of objects that visualized the time characteristics of each of the plurality of objects identified. In this case, the aging characteristic may include a characteristic of the aging characteristic of the specific object, which indicates a aging characteristic different from the aging characteristic of another object when the object extracted by the object extracting unit is a plurality. Alternatively, if the object extracted by the object extractor is a plurality of objects, the indicator symbols may be blurred if the objects are similar in time characteristic to each other and overlapped.

또한, 상기 생성된 요약 이미지 내의 특정 객체를 선택하면 상기 특정 객체에 대하여 상기 합성 프레임 시퀀스 및 상기 객체가 포함된 원본 프레임 시퀀스 중에서 어느 하나를 재생하는 동영상 재생부를 더 포함할 수 있다.In addition, when the specific object in the generated summary image is selected, the moving image playback unit may play back any one of the composite frame sequence and the original frame sequence including the object.

상기한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 동영상 요약 방법은 (a) 소정 시간의 동영상을 구성하는 원본 프레임들 각각으로부터 배경을 분리하여 객체를 추출하는 단계; 상기 추출된 객체를 상기 원본 프레임 시퀀스에 따라 분석하여 상기 객체의 경시적 특징을 파악하는 단계; 및 (c) 상기 파악된 경시적 특징을 가시화한 상기 객체에 대한 지시 심볼을 포함하여 요약 이미지를 생성하는 단계를 포함한다.According to another aspect of the present invention, there is provided a moving picture summarizing method comprising the steps of: (a) extracting an object by separating a background from each of original frames constituting a moving picture of a predetermined time; Analyzing the extracted object according to the original frame sequence to grasp the characteristic of the object over time; And (c) generating a summary image including an instruction symbol for the object that visualizes the identified temporal feature.

상기 실시예의 일 측면에 의하면, 상기 경시적 특징은 이동 경로, 이동 속도, 크기, 등장 및 소멸 중에서 하나 이상을 포함할 수 있다. 또는, 상기 지시 심볼은 상기 객체의 이동 경로를 지시하는 자취선; 상기 객체의 이동 방향을 지시하는 화살표; 상기 객체의 이동 속도를 지시하는 선의 두께; 및 상기 객체의 등장, 소멸 및 크기를 지시하는 도형 중에서 하나 이상을 이용하여 표현할 수 있다. 또는, 상기 단계 (c)는 상기 객체의 경시적 특징의 변화가 일어나는 시점을 상기 요약 이미지 생성을 위한 기준 시점으로 하여 요약 이미지를 생성할 수 있다.According to an aspect of the embodiment, the aging characteristic may include at least one of a moving path, a moving speed, a size, appearance and disappearance. Alternatively, the instruction symbol may include a trace line indicating a movement path of the object; An arrow indicating a moving direction of the object; A thickness of a line indicating a moving speed of the object; And a graphic indicating the appearance, extinction, and size of the object. Alternatively, the step (c) may generate a summary image at a point in time when a change in the characteristic of the object changes with time, as a reference point for generating the summary image.

또한, (e) 상기 생성된 요약 이미지 내의 상기 객체를 선택하면 상기 객체가 포함된 원본 프레임 시퀀스를 재생하는 단계를 더 포함할 수 있다.The method may further include: (e) reproducing the original frame sequence including the object by selecting the object in the generated summary image.

상기 실시예의 다른 측면에 의하면, 상기 객체 추출부에 의하여 추출된 객체가 복수인 경우, (d) 상기 단계 (b) 이전에 상기 복수의 객체별로 상기 복수의 객체 각각의 프레임 시퀀스를 배경의 프레임 시퀀스와 합성하여 합성 프레임 시퀀스를 생성하는 단계를 더 포함할 수 있고, 상기 단계 (b)에서는 상기 복수의 객체별로 상기 추출된 복수의 객체를 상기 원본 프레임 시퀀스 또는 상기 합성 프레임 시퀀스에 따라 분석하여 상기 복수의 객체 각각의 경시적 특징을 파악하고, 상기 단계 (c)에서는 상기 파악된 상기 복수의 객체 각각의 경시적 특징을 가시화한 상기 복수의 객체에 대한 지시 심볼을 함께 포함하는 요약 이미지를 생성할 수 있다. 이 경우에, 상기 경시적 특징은 상기 객체 추출부에 의하여 추출된 객체가 복수인 경우 다른 객체의 경시적 특징과 상이한 경시적 특징을 나타내는 특이 객체의 경시적 특징을 포함할 수 있다. 또는, 상기 지시 심볼은 상기 객체 추출부에 의하여 추출된 객체가 복수인 경우 상기 각각 객체의 경시적 특징의 변화가 유사하여 중첩되면 흐리게 표현할 수 있다.According to another aspect of the present invention, when a plurality of objects extracted by the object extracting unit are included in the plurality of objects, (d) before the step (b), a frame sequence of each of the plurality of objects is divided into a background frame sequence (B), analyzing the extracted plurality of objects for each of the plurality of objects according to the original frame sequence or the synthesized frame sequence to generate the synthesized frame sequence, (C), a summary image including the instruction symbols for the plurality of objects that visualize the temporal characteristics of each of the plurality of objects is generated have. In this case, the aging characteristic may include a characteristic of the aging characteristic of the specific object, which indicates a aging characteristic different from the aging characteristic of another object when the object extracted by the object extracting unit is a plurality. Alternatively, if the object extracted by the object extractor is a plurality of objects, the indicator symbols may be blurred if the objects are similar in time characteristic to each other and overlapped.

또한, (e) 상기 생성된 요약 이미지 내의 특정 객체를 선택하면 상기 특정 객체에 대하여 상기 합성된 객체 프레임 시퀀스 및 상기 객체가 포함된 원본 프레임 시퀀스 중에서 어느 하나를 재생하는 단계를 더 포함할 수 있다.The method may further include: (e) reproducing one of the synthesized object frame sequence and the original frame sequence including the object, when the specific object in the generated summary image is selected.

또는, 상기 단계 (a) 이전에 특정 시간 간격 동안의 요약 이미지 생성 요청에 따라 소정의 시간이 결정되는 단계를 더 포함할 수 있다.Alternatively, the predetermined time may be determined according to a summary image generation request for a specific time interval before the step (a).

상기한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 컴퓨터 판독가능한 기록매체는 본 발명의 일 실시예에 따른 동영상 요약 방법을 컴퓨터로 실행하기 위한 프로그램이 기록된다.According to an aspect of the present invention, there is provided a computer readable recording medium storing a program for executing a moving picture summarizing method according to an exemplary embodiment of the present invention.

이상과 같이 본 발명의 일 실시 예에 따르면, 소정 시간의 동영상을 객체의 경시적 특징을 포함하는 하나의 이미지로 요약함으로써 상황에 대해 직관적으로 이해할 수 있는 효과가 있다.As described above, according to the embodiment of the present invention, there is an effect of intuitively understanding the situation by summarizing a moving image of a predetermined time into one image including a time characteristic of an object.

그리고 본 발명의 일 실시 예에 따르면, 소정 시간의 동영상을 객체의 경시적 특징을 포함하는 하나의 이미지로 요약함으로써 객체의 이동 경로, 이동 속도, 크기, 등장 및 소멸 등을 분석하여, 객체에 대해 감시자 또는 관찰자가 주목해야 할 이벤트를 확인할 수 있는 효과가 있다.According to an embodiment of the present invention, a movement path, a moving speed, a size, an appearance and a disappearance of an object are analyzed by summarizing a moving image of a predetermined time into one image including a time characteristic of the object, There is an effect that a monitor or an observer can identify an event to be noticed.

그리고 본 발명의 일 실시 예에 따르면, 소정 시간의 동영상 내의 객체가 복수인 경우 객체 간의 경시적 특성의 분석을 통하여 경시적 특성이 중첩되는 평이한 객체보다 특이한 객체를 드러나도록 표현하여 감시자 또는 관찰자가 주목해야 할 객체를 확인할 수 있는 효과가 있다.According to an embodiment of the present invention, when a plurality of objects in a moving image at a predetermined time are analyzed, a unique object is revealed rather than a plain object in which the time characteristics overlap with each other, It has the effect of confirming the object to be done.

그리고 본 발명의 일 실시 예에 따르면, 소정 시간의 동영상을 객체의 경시적 특징을 포함하는 하나의 이미지로 요약함으로써 요약 이미지 내의 객체의 동영상을 쉽게 탐색하여 재생할 수 있는 효과가 있다.According to an embodiment of the present invention, a moving image of an object in a summary image can be easily searched and reproduced by summarizing a moving image of a predetermined time into one image including a time characteristic of the object.

도 1은 본 발명의 일 실시예에 따른 CCTV 환경의 동영상 요약 시스템의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 동영상 요약 장치의 개략적인 구성을 보여주는 블록도이다.
도 3은 본 발명의 다른 실시예에 따른 동영상 요약 장치의 개략적인 구성을 보여주는 블록도이다.
도 4는 본 발명의 일 실시예에 따른 동영상 요약 방법을 보여주는 흐름도이다.
도 5는 본 발명의 다른 실시예에 따른 동영상 요약 방법을 보여주는 흐름도이다.
도 6은 본 발명의 또 다른 실시예에 따른 동영상 요약 방법을 보여주는 흐름도이다.FIG. 1 is a block diagram of a video summarizing system in a CCTV environment according to an embodiment of the present invention.
2 is a block diagram illustrating a schematic configuration of a moving picture summarizing apparatus according to an embodiment of the present invention.
3 is a block diagram showing a schematic configuration of a moving picture summarizing apparatus according to another embodiment of the present invention.
4 is a flowchart illustrating a moving picture summarizing method according to an embodiment of the present invention.
FIG. 5 is a flowchart illustrating a moving picture summarizing method according to another embodiment of the present invention.
FIG. 6 is a flowchart illustrating a moving picture summarizing method according to another embodiment of the present invention.

이하 첨부된 도면을 참조하여 본 발명을 보다 상세히 설명한다. 그러나 이러한 도면은 본 발명의 기술적 사상의 내용과 범위를 쉽게 설명하기 위한 예시일 뿐, 이에 의해 본 발명의 기술적 범위가 한정되거나 변경되는 것은 아니다. 또한 이러한 예시에 기초하여 본 발명의 기술적 사상의 범위 안에서 다양한 변형과 변경이 가능함은 통상의 기술자에게는 당연할 것이다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS The present invention will be described in detail with reference to the accompanying drawings. However, these drawings are only for illustrating the contents and scope of the technical idea of the present invention, and the technical scope of the present invention is not limited or changed. It will be apparent to those of ordinary skill in the art that various changes and modifications can be made within the scope of the technical idea of the present invention based on these examples.

또한, 본 명세서에서 사용되는 용어 및 단어들은 실시예에서의 기능을 고려하여 선택된 용어들로서, 그 용어의 의미는 발명의 의도 또는 관례 등에 따라 달라질 수 있다. 따라서 후술하는 실시예에서 사용된 용어는, 본 명세서에 구체적으로 정의된 경우에는 그 정의에 따르며, 구체적인 정의가 없는 경우는 통상의 기술자들이 일반적으로 인식하는 의미로 해석되어야 할 것이다.In addition, terms and words used in the present specification are terms selected in consideration of functions in the embodiments, and the meaning of the terms may be changed according to the intention or custom of the invention. Therefore, the terms used in the following embodiments are defined according to their definitions when they are specifically defined in this specification, and unless otherwise defined, they should be construed in a sense generally recognized by ordinary artisans.

본 명세서에서 사용되는 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 ‘포함한다(comprises)’ 및/또는 ‘포함하는(comprising)’은 언급된 구성요소는 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.
The terminology used herein is for the purpose of illustrating embodiments and is not intended to be limiting of the present invention. In the present specification, the singular form includes plural forms unless otherwise specified in the specification. The terms "comprises" and / or "comprising" used in the specification do not exclude the presence or addition of one or more other elements.

먼저, 도 1은 본 발명의 일 실시예에 따른 CCTV 환경의 동영상 요약 시스템의 구성도이다.1 is a block diagram of a video summarizing system in a CCTV environment according to an embodiment of the present invention.

본 발명의 일 실시예는 장시간 동안 획득된 영상의 특이 상황 판단을 효율적으로 수행하기 위하여 하나의 요약 이미지를 생성하는 것에 있으므로, 바람직하게는, CCTV 카메라로부터 획득된 동영상을 요약하는 것일 수 있고, 또는 영상관리 시스템(VMS: Video Management System)의 동영상을 요약하는 것일 수도 있으나, 여기에만 한정되는 것은 아니다. 예를 들어, CCTV 같은 카메라는 장시간 동안 배경이 동일한 영상을 획득하는 특징이 있다. 따라서, 동영상 요약 장치에 의해 하나의 요약 이미지를 생성함으로써 짧은 시간 내에 장시간 녹화된 CCVT 영상을 이해하고 확인할 수 있다.One embodiment of the present invention is to generate one summary image in order to efficiently perform the determination of the specific situation of the acquired image for a long period of time. Preferably, the summary image may be summarized from the CCTV camera, But may be, but not limited to, a summary of a video of a video management system (VMS). For example, a camera such as CCTV has the characteristic that the background acquires the same image for a long time. Therefore, by generating one summary image by the video summarizing device, it is possible to understand and confirm CCVT images recorded for a long time in a short time.

도 1을 참조하면, CCTV 환경의 동영상 요약 시스템(100)은 CCTV 카메라(101), 동영상 요약 장치(102), CCTV 영상 저장 장치(103) 및 CCTV 콘솔(104)를 포함하여 구성될 수 있다.Referring to FIG. 1, a moving picture summarizing system 100 of a CCTV environment may include a CCTV camera 101, a moving picture summarizing apparatus 102, a CCTV image storing apparatus 103, and a CCTV console 104.

CCTV 카메라(101)는 동영상을 획득하는 기능을 제공한다. 바람직하게는 CCTV 카메라는 장시간 동안 배경이 동일한 영상을 획득할 수 있다.The CCTV camera 101 provides a function of acquiring moving images. Preferably, the CCTV camera can acquire the same image of the background for a long time.

동영상 요약 장치(102)는 CCTV 카메라로부터 획득한 동영상의 배경과 객체를 분리하고 객체의 분석을 통해 요약 이미지를 생성하는 기능을 제공한다. 동영상 요약 장치(102)에 대해서는 뒤에서 도 2 및 도 3을 참고하여 상세히 설명한다.The video summary device 102 provides a function of separating a background and an object of a moving image acquired from a CCTV camera and generating a summary image through analysis of the object. The video summary device 102 will be described later in detail with reference to FIGS. 2 and 3.

CCTV 영상 저장 장치(103)는 CCTV 카메라로부터 획득한 동영상을 저장하거나 분석된 객체 정보를 저장하거나 또는 생성된 요약 이미지를 저장하는 기능을 제공한다. CCTV 영상 저장 장치는 CCTV 환경의 동영상 요약 시스템에서 별도의 구성요소로 구성될 수 있으나, 이하 설명하는 바와 같이 동영상 요약 장치의 일부 구성요소로 포함될 수도 있다.The CCTV image storage device 103 provides a function of storing a moving image acquired from a CCTV camera, storing the analyzed object information, or storing the generated summary image. The CCTV video storage device may be configured as a separate component in the video summary system of the CCTV environment, but may be included as a component of the video summary device as described below.

CCTV 콘솔(104)은 기본적으로 CCTV의 감시 및 관찰을 하고, 동영상 요약 장치에 의해 생성되거나 CCTV 영상 저장 장치에 저장된 요약 이미지를 출력하고 원본 동영상을 재생하는 기능을 제공한다. CCTV 콘솔은 디스플레이부를 가지고 동영상을 재생할 수 있는 모든 종류의 기기를 통칭한다.The CCTV console 104 basically monitors and observes the CCTV, provides a function of outputting a summary image generated by the video summary device or stored in the CCTV image storage device, and reproducing the original video. The CCTV console collectively refers to all kinds of devices capable of playing video with a display unit.

도 1에 도시되어 있는 동영상 요약 시스템(100)의 구성은 예시적인 것으로서, 동영상 요약 시스템(100)은 도 1에 개시되어 있는 구성의 일부만을 구비하거나 및/또는 그 동작을 위하여 필수적인 다른 구성들을 추가로 구비할 수도 있다. 이하, 도2 및 도 3을 참고하여 동영상 요약 시스템(100)의 일부를 구성하는 동영상 요약 장치(200, 300)에 대하여 자세히 설명한다.
The configuration of the moving picture summarizing system 100 shown in FIG. 1 is exemplary, and the moving picture summarizing system 100 may include only a part of the configuration disclosed in FIG. 1 and / or add other configurations that are necessary for the operation As shown in FIG. Hereinafter, the moving picture summarizing apparatuses 200 and 300 constituting a part of the moving picture summarizing system 100 will be described in detail with reference to FIG. 2 and FIG.

도 2는 본 발명의 일 실시예에 따른 동영상 요약 장치의 개략적인 구성을 보여주는 블록도이다.2 is a block diagram illustrating a schematic configuration of a moving picture summarizing apparatus according to an embodiment of the present invention.

도 2를 참조하면, 동영상 요약 장치(200)는 객체 추출부(201), 객체 분석부(202), 요약 이미지 생성부(203), 동영상 재생부(204) 및 저장부(205)를 포함하여 구성될 수 있다. 그리고, 도 2 내지 도 3에 도시되어 있는 동영상 요약 장치(200, 300)의 구성은 예시적인 것으로서, 동영상 요약 장치(200, 300)는 도 2 내지 도 3에 개시되어 있는 모듈들의 일부만을 구비하거나 및/또는 그 동작을 위하여 필수적인 다른 모듈들을 추가로 구비할 수도 있다.2, the moving picture summarizing apparatus 200 includes an object extracting unit 201, an object analyzing unit 202, a summary image generating unit 203, a moving picture reproducing unit 204, and a storage unit 205 Lt; / RTI > The configuration of the moving picture summarizing apparatuses 200 and 300 shown in FIGS. 2 to 3 is merely exemplary, and the moving picture summarizing apparatuses 200 and 300 may include only a part of the modules shown in FIGS. 2 to 3 And / or other modules essential for its operation.

객체 추출부(201)는 소정 시간의 동영상을 구성하는 원본 프레임들 각각으로부터 배경을 분리하여 객체를 추출하는 기능을 제공한다. 여기서, ‘객체’라 함은 실세계에 존재하는 사람 또는 사물로서 동영상 프레임의 구성요소가 된 것 중에서 배경이 아닌 것을 의미한다. 예를 들어, 주차장에 설치된 CCTV 카메라를 통하여 획득된 동영상 프레임에서 주차장 내부 구조물 또는 설치물 등은 배경이 될 수 있다. 그리고, 획득된 동영상 프레임 내의 차량 및 사람은 객체가 될 수 있다. 즉, 주차 또는 출차를 위하여 이동하는 차량, 주차된 차량 또는 정차하고 있는 차량 등은 객체가 될 수 있다. 그러나, 경우에 따라서 주차된 차량 또는 정차하고 있는 차량은 배경이 될 수도 있다.The object extraction unit 201 provides a function of extracting an object by separating a background from each of original frames constituting a moving picture of a predetermined time. Here, the term 'object' refers to a person or object existing in the real world, which is not a background among the constituent elements of a moving image frame. For example, in a moving image frame obtained through a CCTV camera installed in a parking lot, the interior structure of a parking lot or a fixture may be a background. Then, the vehicle and the person in the acquired moving picture frame can be objects. That is, a moving vehicle, a parked vehicle, or a stationary vehicle may be an object for parking or departure. However, in some cases a parked vehicle or a stationary vehicle may be the background.

한편, ‘객체를 추출’한다는 것은 동영상의 원본 프레임에서 객체와 배경을 파악하여 분석 대상인 객체를 선정한다는 것을 의미한다. 본 발명의 실시예에 의하면, 객체 추출 방법에는 특별한 제한이 없는데, 객체 추출을 위하여 객체 추출부는 전경 배경 분리 알고리즘 등을 이용할 수 있다. 일반적으로 배경 분리를 위해서 이전 프레임에서 획득된 영상의 화소값과 현재 프레임에서 획득된 영상의 화소값을 비교하는 방법 등이 있으나, 그 밖의 주지된 알고리즘 등을 이용할 수 있고, 여기에만 한정되는 것은 아니다.On the other hand, 'extracting objects' means selecting objects to be analyzed by grasping the objects and the background in the original frame of the video. According to the embodiment of the present invention, there is no particular limitation on the object extraction method. In order to extract an object, the object extraction unit can use a foreground background separation algorithm or the like. Generally, there is a method of comparing a pixel value of an image obtained in a previous frame and a pixel value of an image obtained in a current frame for background separation, but other well-known algorithms can be used and the present invention is not limited thereto .

객체 분석부(202)는 객체 추출부(201)에 의하여 추출된 객체를 원본 프레임 시퀀스에 따라 분석하여 객체의 경시적 특징을 파악하는 기능을 제공한다. 여기서, ‘경시적 특징’이라 함은 소정 시간 동안의 동영상 내 존재하는 객체의 정적 특징 또는 동적 특징과 같은 가시적 변화의 특징을 의미한다. 예를 들어, 경시적 특징에는 객체의 정적 특징으로 객체의 크기가 있을 수 있고, 객체의 동적 특징으로 객체의 이동 경로, 이동 속도, 객체의 등장 및 소멸 등이 있을 수 있으며, 그 외에 객체의 정적 또는 동적인 가시적 변화를 나타내는 특징들이 포함될 수 있다. 즉, 객체 분석부(202)는 추출된 객체에 대하여 원본 프레임 시퀀스 내에서 객체의 크기가 어떠한지, 이동 경로가 어느 방향인지, 이동 속도가 어느 정도인지, 객체가 등장하는지 또는 소멸하는지 등과 같은 시간의 경과에 따른 객체의 가시적 변화를 파악할 수 있다.The object analyzing unit 202 provides a function of analyzing the object extracted by the object extracting unit 201 according to the original frame sequence to grasp the characteristic of the object over time. Here, the term " temporal characteristic " means a characteristic of a visual change such as a static characteristic or a dynamic characteristic of an object existing in a moving picture for a predetermined time. For example, the aging characteristic may be the static characteristic of the object, and the dynamic characteristic of the object may include the moving path of the object, the moving speed, the appearance and disappearance of the object, and the static Or dynamic visible changes may be included. That is, the object analyzing unit 202 analyzes the extracted object with respect to the extracted object, such as the size of the object in the original frame sequence, the direction of the moving path, the moving speed, the appearance or disappearance of the object The visual change of the object according to the elapsed time can be grasped.

요약 이미지 생성부(203)는 객체 분석부(202)에 의하여 파악된 객체의 경시적 특징을 가시화한 객체에 대한 지시 심볼을 포함하는 요약 이미지를 생성하는 기능을 제공한다. 이 경우에, 객체의 경시적 특징의 변화가 일어나는 시점을 요약 이미지 생성을 위한 기준 시점으로 하여 요약 이미지를 생성할 수 있다.The summary image generation unit 203 provides a function of generating a summary image including an instruction symbol for an object that visualizes a time characteristic of the object identified by the object analysis unit 202. [ In this case, it is possible to generate a summary image at a point in time when a change in the characteristic of the object changes with time as a reference point for generating a summary image.

여기서, ‘지시 심볼’이라 함은 객체의 경시적 특징을 지시하는 소정의 도형이나 기호 등과 같은 가시적 수단을 의미한다. 예를 들어, 지시 심볼은 객체의 이동 경로를 지시하는 자취선, 객체의 이동 방향을 지시하는 화살표, 객체의 이동 속도를 지시하는 선의 두께, 객체의 등장을 지시하는 도형, 객체의 소멸을 지시하는 도형, 객체의 크기를 지시하는 도형 중에서 하나 이상을 이용하여 표현할 수 있으나, 지시 심볼을 나타내는 방법은 다양하게 표현할 수 있으며, 여기에만 한정되는 것은 아니다.Here, the 'instruction symbol' means a visible means such as a predetermined figure or symbol indicating the characteristic of the object over time. For example, the instruction symbol may include a trace line indicating a movement path of the object, an arrow indicating a movement direction of the object, a thickness of a line indicating the movement speed of the object, a graphic indicating the appearance of the object, A graphic object, and a graphic object indicating the size of the object. However, the method of representing the instruction symbol may be variously expressed, but is not limited thereto.

다시 말하면, 생성할 요약 이미지에서 객체의 이동 경로를 표현하기 위하여, 요약 이미지를 생성할 기준 시점의 객체를 기준으로 하여, 객체 그 자체의 이미지는 하나로 두고, 객체의 이동 경로는 객체로부터 출발하는 선 즉, 자취선으로 표현할 수 있다. 또한, 객체의 이동 속도가 빠른 경우 자취선의 두께를 두껍게 표현할 수 있고, 또는 객체의 이동 속도가 느린 경우 자취선의 두께를 가늘게 표현할 수 있다.In other words, in order to represent the movement path of the object in the summary image to be generated, the image of the object itself is set to be one based on the object at the reference point at which the summary image is to be generated, That is, it can be expressed by a trace line. Also, when the moving speed of the object is high, the thickness of the trace line can be expressed thickly, or when the moving speed of the object is low, the thickness of the trace line can be expressed narrowly.

그리고, 요약 이미지는 상황에 따라 객체의 이동 경로 요약, 객체의 이동 속도 요약, 객체의 등장 요약 또는 객체의 소멸 요약 등 경시적 특징의 일부 만에 대한 지시 심볼을 포함하여 요약 이미지를 생성할 수도 있다.The summary image may also generate a summary image including an instruction symbol for only a part of the temporal feature, such as a summary of the movement path of the object, a summary of the moving speed of the object, a summary of the appearance of the object, .

동영상 재생부(204)는 생성된 요약 이미지 내의 객체가 선택되면 객체가 포함된 원본 프레임 시퀀스를 재생하는 기능을 제공한다. 예를 들어, 객체가 등장하는 시점부터 객체가 소멸하는 시점까지의 동영상 원본 프레임 시퀀스를 재생할 수 있고, 또는 요약 이미지 생성의 기초가 된 소정 시간의 동영상 원본 프레임 시퀀스를 재생할 수 있다.The moving image playback unit 204 provides a function of playing back an original frame sequence including an object when an object in the generated summary image is selected. For example, it is possible to reproduce a sequence of moving picture frames from the point of appearance of the object to the point of time when the object disappears, or to reproduce a sequence of moving picture frames of a predetermined time that is the basis of the generation of a summary image.

저장부(205)는 요약 이미지 생성부(203)가 생성한 요약 이미지를 일시적으로 또는 영구적으로 저장하는 역할을 제공한다. 그리고 저장부(205)는 동영상의 원본 프레임 시퀀스를 저장하고 있을 수 있다.
The storage unit 205 provides a function of temporarily or permanently storing the summary image generated by the summary image generation unit 203. The storage unit 205 may store the original frame sequence of the moving image.

도 3은 본 발명의 다른 실시예에 따른 동영상 요약 장치의 개략적인 구성을 보여주는 블록도이다.3 is a block diagram showing a schematic configuration of a moving picture summarizing apparatus according to another embodiment of the present invention.

도 3을 참조하면, 동영상 요약 장치(300)는 객체 추출부(301), 객체 분석부(302), 요약 이미지 생성부(303), 동영상 재생부(304), 저장부(305) 및 객체 프레임 시퀀스 합성부(306)를 포함하여 구성될 수 있다.3, the moving image summarizing apparatus 300 includes an object extracting unit 301, an object analyzing unit 302, a summary image generating unit 303, a moving image reproducing unit 304, a storing unit 305, And a sequence combining unit 306. [

도 3에 도시된 동영상 요약 장치(300)는 객체 프레임 시퀀스 합성부(306)를 더 포함한다는 점에서, 객체 프레임 시퀀스 합성부(306)를 포함하지 않는 도 2에 도시된 동영상 요약 장치(200)와 차이가 있다. 이하, 도 2의 동영상 요약 장치(200)와의 차이점을 중심으로 도 3의 동영상 요약 장치(300)에 관하여 설명한다. 따라서, 도 3의 동영상 요약 장치와 관련하여 구체적으로 설명하지 않은 사항은 각 구성요소의 본질적인 특성상 적용이 불가능한 경우를 제외하고는 도 2의 동영상 요약 장치(200)와 관련하여 설명한 사항이 동일하게 적용될 수 있다.The moving picture summarizing apparatus 300 shown in FIG. 3 further includes an object frame sequence composing unit 306. The moving picture summarizing apparatus 300 shown in FIG. 2, which does not include the object frame sequence composing unit 306, . Hereinafter, the moving picture summarizing apparatus 300 of FIG. 3 will be described focusing on differences from the moving picture summarizing apparatus 200 of FIG. Therefore, the matters not described in detail with respect to the moving image summarizing apparatus of FIG. 3 are applied to the same things as described in connection with the moving image summarizing apparatus 200 of FIG. 2, except that it is impossible to apply the inherent characteristics of each constituent element .

객체 프레임 시퀀스 합성부(306)는 객체 추출부(301)에 의하여 추출된 객체가 복수인 경우, 복수의 객체별로 합성 프레임 시퀀스를 생성하는 기능을 제공한다. 여기서, ‘복수의 객체별로 합성 프레임 시퀀스를 생성’한다는 것은 객체 추출부(301)에 의하여 추출된 복수의 객체별로 복수의 객체 각각의 프레임 시퀀스를 배경의 프레임 시퀀스와 합성하는 것을 의미한다. 따라서, 복수의 객체별로 복수의 합성 프레임 시퀀스가 생성된다.The object frame sequence composing unit 306 provides a function of generating a composite frame sequence for a plurality of objects when a plurality of objects extracted by the object extracting unit 301 are included. Here, 'generating a composite frame sequence for a plurality of objects' means that a frame sequence of each of a plurality of objects is combined with a background frame sequence for each of a plurality of objects extracted by the object extraction unit 301. Accordingly, a plurality of composite frame sequences are generated for a plurality of objects.

객체 분석부(302)는 복수의 객체별로 객체 추출부(301)에 의하여 추출된 객체를 원본 프레임 시퀀스에 따라 분석하여 객체의 경시적 특징을 파악하는 기능을 제공한다. 또는, 복수의 객체별로 객체 추출부(301)에 의하여 추출된 객체를 객체 프레임 시퀀스 합성부(306)에 의하여 합성된 합성 프레임 시퀀스에 따라 분석하여 객체의 경시적 특징을 파악할 수 있다.The object analyzing unit 302 provides a function of analyzing an object extracted by the object extracting unit 301 for each of a plurality of objects according to an original frame sequence to grasp the characteristic of the object over time. Alternatively, the object extracted by the object extracting unit 301 for each of a plurality of objects may be analyzed according to a synthesized frame sequence synthesized by the object frame sequence synthesizer 306, so that the characteristics of the object can be grasped.

이 경우에, ‘경시적 특징’은 소정 시간 동안의 동영상 내 존재하는 객체의 정적 특징 또는 동적 특징과 같은 가시적 변화의 특징뿐만 아니라, 특이 객체의 경시적 특징을 포함하여 의미할 수 있다. 여기서, ‘특이 객체’라 함은 복수의 객체 중에서 다른 객체의 경시적 특징과 상이한 경시적 특징을 나타내는 객체를 의미한다. 예를 들어, 추출된 객체가 복수인 경우, 복수의 객체 중 한 객체만이 다른 객체와 상이한 경로로 이동하고 있다면, 한 객체는 특이 객체라 할 수 있다. 이 때, 한 객체가 다른 객체의 이동 경로와 상이한 이동 경로로 이동하는 것이 복수의 객체 간의 경시적 특징일 수 있다.In this case, the 'aging characteristic' may include a characteristic of a visible change such as a static characteristic or a dynamic characteristic of an object existing in a moving picture for a predetermined time, as well as a characteristic of a specific object over time. Here, the 'specific object' refers to an object that represents a time-dependent characteristic that is different from the temporal characteristic of another object among a plurality of objects. For example, if there are a plurality of extracted objects, if only one of the plurality of objects moves to a different path from the other object, one object may be a singular object. In this case, it may be a characteristic of a plurality of objects that a moving object moves to a moving path different from the moving path of another object.

요약 이미지 생성부(303)는 복수의 객체별로 객체 분석부(302)에 의하여 파악된 복수의 객체 각각의 경시적 특징을 가시화한 복수의 객체에 대한 지시 심볼을 함께 포함하는 요약 이미지를 생성하는 기능을 제공한다.The summary image generation unit 303 generates a summary image including indication symbols for a plurality of objects that visualize the temporal characteristics of each of a plurality of objects identified by the object analysis unit 302 for each of a plurality of objects .

이 경우에, ‘지시 심볼’은 객체의 이동 경로를 지시하는 자취선, 객체의 이동 방향을 지시하는 화살표, 객체의 이동 속도를 지시하는 선의 두께, 객체의 등장을 지시하는 도형, 객체의 소멸을 지시하는 도형, 객체의 크기를 지시하는 도형뿐만 아니라 복수의 객체 각각의 경시적 특징의 변화가 유사하여 중첩되는 경우 객체를 흐리게 나타내는 방법으로 표현할 수 있으나, 지시 심볼을 나타내는 방법은 다양하게 표현할 수 있으며, 여기에만 한정되는 것은 아니다. 상기 예에서, 다른 객체의 이동 경로는 유사하여 중첩되므로 다른 객체들을 흐리게 나타내는 방법으로 표현할 수 있다. 그러면, 다른 객체와 상이한 이동 경로로 이동하는 한 객체, 즉 특이 객체의 이동 경로가 명확히 나타나게 되므로 감시자 또는 관찰자가 주목해야 할 객체를 직관적으로 확인할 수 있다.In this case, the 'instruction symbol' may be a trace line indicating the movement path of the object, an arrow indicating the movement direction of the object, a thickness of the line indicating the movement speed of the object, a graphic indicating the appearance of the object, It is possible to express the direction symbols in a variety of ways. However, it is possible to express the direction symbols in a variety of ways, for example, , But is not limited thereto. In the above example, since the movement paths of other objects are similar and overlapped, they can be represented by a method of blurring other objects. Then, since the movement path of one object moving in the movement path different from that of the other object, that is, the specific object is clearly displayed, the observer or the observer can intuitively confirm the object to be noticed.

동영상 재생부(304)는 생성된 요약 이미지 내의 복수의 객체 중에서 특정 객체가 선택되면 특정 객체가 포함된 원본 프레임 시퀀스를 재생하는 기능을 제공한다. 또는, 특정 객체에 대하여 합성 프레임 시퀀스를 재생하는 기능을 제공할 수 있다. 예를 들어, 특정 객체가 등장하는 시점부터 특정 객체가 소멸하는 시점까지의 동영상 원본 프레임 시퀀스를 재생할 수 있고, 또는 요약 이미지 생성의 기초가 된 소정 시간의 동영상 원본 프레임 시퀀스를 재생할 수 있으며, 또는 특정 객체에 대하여 생성한 합성 프레임 시퀀스를 재생할 수 있다.
The moving image playback unit 304 provides a function of playing a source frame sequence including a specific object when a specific object is selected from a plurality of objects in the generated summary image. Alternatively, it is possible to provide a function of reproducing a composite frame sequence for a specific object. For example, it is possible to reproduce a moving image frame sequence from the time when a specific object appears to the time when a specific object disappears, or to reproduce a moving image frame sequence of a predetermined time that is a basis of a summary image generation, The composite frame sequence generated for the object can be reproduced.

도 4는 본 발명의 일 실시예에 따른 동영상 요약 방법을 보여주는 흐름도이다. 본 발명의 실시예를 포함하여 이하에서 설명되는 절차는 다양한 형태로 구현하는 것이 가능하다.4 is a flowchart illustrating a moving picture summarizing method according to an embodiment of the present invention. The procedures described below including embodiments of the present invention can be implemented in various forms.

도 4에 도시된 동영상 요약 방법은 도 2의 동영상 요약 장치(200) 또는 이를 구비하는 전자 기기를 이용하여 동영상을 요약하는 방법일 수 있다.The moving picture summarizing method shown in FIG. 4 may be a method of summarizing a moving picture using the moving picture summarizing apparatus 200 of FIG. 2 or an electronic apparatus having the moving picture summarizing apparatus 200 of FIG.

도 4를 참조하면, 먼저 동영상을 획득한다(S401). 이는 디지털 카메라나 캠코더 등과 같이 영상 촬영이 주된 기능인 전자 기기를 통하여 동영상을 획득할 수 있지만, 여기에만 한정되는 것은 아니다. 바람직하게는, 장시간 동안 감시 및 관찰하기 위한 CCTV(Closed Circuit Television) 카메라를 통하여 동영상을 획득할 수 있다.Referring to FIG. 4, a moving image is acquired first (S401). This can acquire a moving picture through an electronic device such as a digital camera or a camcorder, which is a main function of image photographing, but is not limited thereto. Preferably, the moving picture can be obtained through a closed circuit television (CCTV) camera for monitoring and observing for a long time.

다음으로, 소정 시간의 동영상을 구성하는 원본 프레임들 각각으로부터 배경을 분리하여 객체를 추출한다(S402). 여기서, ‘객체’와 ‘객체 추출’에 대해서는 앞에서 도 2를 참고하여 상세히 설명하였다. 또한, 본 발명의 실시예에 의하면, 객체 추출 방법에는 특별한 제한이 없는데, 객체 추출을 위하여 객체 추출부는 전경 배경 분리 알고리즘 등을 이용할 수 있다. 일반적으로 배경 분리를 위해서 이전 프레임에서 획득된 영상의 화소값과 현재 프레임에서 획득된 영상의 화소값을 비교하는 방법 등이 있으나, 그 밖의 주지된 알고리즘 등을 이용할 수 있고, 여기에만 한정되는 것은 아니다.Next, the background is separated from each of the original frames constituting the moving image of the predetermined time, and the object is extracted (S402). Here, 'object' and 'object extraction' have been described in detail with reference to FIG. In addition, according to the embodiment of the present invention, there is no particular limitation on the object extraction method. For extracting the object, the object extraction unit can use foreground background separation algorithm or the like. Generally, there is a method of comparing a pixel value of an image obtained in a previous frame and a pixel value of an image obtained in a current frame for background separation, but other well-known algorithms can be used and the present invention is not limited thereto .

다음으로, 추출된 객체를 원본 프레임 시퀀스에 따라 분석하여 객체의 경시적 특징을 파악한다(S403). 여기서, ‘경시적 특징’이라 함은 소정 시간 동안의 동영상 내 존재하는 객체의 정적 특징 또는 동적 특징과 같은 가시적 변화의 특징을 의미한다. 예를 들어, 경시적 특징에는 객체의 정적 특징으로 객체의 크기가 있을 수 있고, 객체의 동적 특징으로 객체의 이동 경로, 이동 속도, 객체의 등장 및 소멸 등이 있을 수 있으며, 그 외에 객체의 정적 또는 동적인 가시적 변화를 나타내는 특징들이 포함될 수 있다.Next, the extracted object is analyzed according to the original frame sequence to identify the characteristic of the object over time (S403). Here, the term " temporal characteristic " means a characteristic of a visual change such as a static characteristic or a dynamic characteristic of an object existing in a moving picture for a predetermined time. For example, the aging characteristic may be the static characteristic of the object, and the dynamic characteristic of the object may include the moving path of the object, the moving speed, the appearance and disappearance of the object, and the static Or dynamic visible changes may be included.

즉, 추출된 객체에 대하여 원본 프레임 시퀀스 내에서 객체의 크기가 어떠한지, 이동 경로가 어느 방향인지, 이동 속도가 어느 정도인지, 객체가 등장하는지 또는 소멸하는지 등과 같은 시간의 경과에 따른 객체의 가시적 변화를 파악할 수 있다.That is, for the extracted object, the visible change of the object over time such as the size of the object in the original frame sequence, the direction of the movement path, the moving speed, whether the object appears or disappears, .

다음으로, 파악된 경시적 특징을 가시화한 객체에 대한 지시 심볼을 포함하여 요약 이미지를 생성한다(S404). 이 경우에, 객체의 경시적 특징의 변화가 일어나는 시점을 요약 이미지 생성을 위한 기준 시점으로 하여 요약 이미지를 생성할 수 있다.Next, a summary image is generated by including an instruction symbol for an object that visualizes the identified characteristic (S404). In this case, it is possible to generate a summary image at a point in time when a change in the characteristic of the object changes with time as a reference point for generating a summary image.

여기서, ‘지시 심볼’이라 함은 객체의 경시적 특징을 지시하는 소정의 도형이나 기호 등과 같은 가시적 수단을 가리킨다. 예를 들어, 지시 심볼은 객체의 이동 경로를 지시하는 자취선, 객체의 이동 방향을 지시하는 화살표, 객체의 이동 속도를 지시하는 선의 두께, 객체의 등장을 지시하는 도형, 객체의 소멸을 지시하는 도형, 객체의 크기를 지시하는 도형 중에서 하나 이상을 이용하여 표현할 수 있으나, 지시 심볼을 나타내는 방법은 다양하게 표현할 수 있으며, 여기에만 한정되는 것은 아니다.Here, 'instruction symbol' refers to a visual means such as a predetermined figure or symbol indicating the characteristic of the object over time. For example, the instruction symbol may include a trace line indicating a movement path of the object, an arrow indicating a movement direction of the object, a thickness of a line indicating the movement speed of the object, a graphic indicating the appearance of the object, A graphic object, and a graphic object indicating the size of the object. However, the method of representing the instruction symbol may be variously expressed, but is not limited thereto.

다시 말하면, 생성할 요약 이미지에서 객체의 이동 경로를 표현하기 위하여, 요약 이미지를 생성할 기준 시점의 객체를 기준으로 하여, 객체 그 자체의 이미지는 하나로 두고, 객체의 이동 경로는 객체로부터 출발하는 선 즉, 자취선으로 표현할 수 있다. 또한, 객체의 이동 속도가 빠른 경우 선의 두께를 두껍게 표현할 수 있고, 또는 객체의 이동 속도가 느린 경우 선의 두께를 가늘게 표현할 수 있다.In other words, in order to represent the movement path of the object in the summary image to be generated, the image of the object itself is set to be one based on the object at the reference point at which the summary image is to be generated, That is, it can be expressed by a trace line. Also, when the moving speed of the object is high, the thickness of the line can be expressed thickly, or when the moving speed of the object is low, the line thickness can be expressed narrowly.

그리고, 요약 이미지는 상황에 따라 객체의 이동 경로 요약, 객체의 이동 속도 요약, 객체의 등장 요약 또는 객체의 소멸 요약 등 경시적 특징의 일부 만에 대한 지시 심볼을 포함하여 요약 이미지를 생성할 수도 있다.The summary image may also generate a summary image including an instruction symbol for only a part of the temporal feature, such as a summary of the movement path of the object, a summary of the moving speed of the object, a summary of the appearance of the object, .

다음으로, 생성된 요약 이미지를 저장한다(S405). 생성된 요약 이미지는 저장 매체 등에 일시적으로 또는 영구적으로 저장할 수 있다.
Next, the generated summary image is stored (S405). The generated summary image can be temporarily or permanently stored on a storage medium or the like.

도 5는 본 발명의 다른 실시예에 따른 동영상 요약 방법을 보여주는 흐름도이다.FIG. 5 is a flowchart illustrating a moving picture summarizing method according to another embodiment of the present invention.

도 5에 도시된 동영상 요약 방법은 도 3의 동영상 요약 장치(300) 또는 이를 구비하는 전자 기기를 이용하여 동영상을 요약하는 방법일 수 있다. 도 3에 도시된 동영상 요약 장치(300)는 객체 프레임 시퀀스 합성부(306)를 더 포함한다는 점에서, 객체 프레임 시퀀스 합성부(306)를 포함하지 않는 도 2에 도시된 동영상 요약 장치(200)와 차이가 있다. 한편, 도 4에 도시된 동영상 요약 방법은 도 2의 동영상 요약 장치(200) 또는 이를 구비하는 전자 기기를 이용하여 동영상을 요약하는 방법일 수 있으므로, 이하, 도 4의 동영상 요약 방법과의 차이점을 중심으로 도 5의 동영상 요약 방법에 관하여 설명한다. 따라서, 불필요한 반복을 피하기 위하여 도 5의 동영상 요약 방법에 관하여 간략히 설명하며, 도 2 내지 도4을 참조하여 설명한 사항이 동일하게 적용될 수 있다. 즉, 도 5는 동영상 내의 객체가 복수인 경우에 동영상 요약 방법을 보여주는 흐름도이다.The moving picture summarizing method shown in FIG. 5 may be a method of summarizing a moving picture using the moving picture summarizing apparatus 300 of FIG. 3 or an electronic apparatus having the same. The moving picture summarizing apparatus 300 shown in FIG. 3 further includes an object frame sequence composing unit 306. The moving picture summarizing apparatus 300 shown in FIG. 2, which does not include the object frame sequence composing unit 306, . 4 may be a method of summarizing a moving picture using the moving picture summarizing apparatus 200 of FIG. 2 or an electronic apparatus having the moving picture summarizing apparatus 200 shown in FIG. 2. Therefore, the difference from the moving picture summarizing method of FIG. The moving picture summarizing method of FIG. 5 will be mainly described. Therefore, in order to avoid unnecessary repetition, the moving picture summarizing method of FIG. 5 will be briefly described, and the same things as described with reference to FIG. 2 to FIG. 4 can be similarly applied. That is, FIG. 5 is a flowchart showing a moving picture summarizing method when there are a plurality of objects in a moving picture.

도 5를 참조하면, 먼저 동영상을 획득하고(S501), 소정 시간의 동영상을 구성하는 원본 프레임들 각각으로부터 배경을 분리하여 객체를 추출한다(S502).Referring to FIG. 5, first, a moving image is acquired (S501), and an object is extracted by separating a background from each of original frames constituting a moving image of a predetermined time (S502).

다음으로, 추출된 객체가 복수인지 여부를 판단한다(S503).Next, it is determined whether or not the extracted objects are plural (S503).

단계 S503에서 추출된 객체가 복수가 아닌 것으로 판단되면, 도 4를 참조하여 설명한 사항이 동일하게 적용될 수 있다. 즉, 추출된 객체를 상기 원본 프레임 시퀀스에 따라 분석하여 객체의 경시적 특징을 파악하고(S504), 다음으로, 파악된 경시적 특징을 가시화한 객체에 대한 지시 심볼을 포함하여 요약 이미지를 생성한다(S505). 다음으로, 생성된 요약 이미지를 저장한다(S506).If it is determined that the objects extracted in step S503 are not plural, the same things described with reference to FIG. 4 may be applied. That is, the extracted object is analyzed according to the original frame sequence to identify the characteristic of the object over time (S504). Next, a summary image is generated by including an instruction symbol for the object that visualizes the recognized characteristic (S505). Next, the generated summary image is stored (S506).

반면에, 단계 S503에서 추출된 객체가 복수인 것으로 판단되면, 복수의 객체별로 복수의 객체 각각의 프레임 시퀀스를 배경의 프레임 시퀀스와 합성하여 객체별 합성 프레임 시퀀스를 생성한다(S507). 여기서, ‘합성 프레임 시퀀스 생성’에 대하여는 앞에서 도 3를 참고하여 상세히 설명하였다.If it is determined in step S503 that there are a plurality of objects extracted in step S503, a frame sequence of each of a plurality of objects is synthesized with a background frame sequence to generate a synthetic frame sequence for each object in step S507. Here, the 'synthesis frame sequence generation' has been described in detail with reference to FIG.

다음으로, 복수의 객체별로 추출된 객체를 원본 프레임 시퀀스에 따라 분석하여 객체의 경시적 특징을 파악한다(S508). 또는, 복수의 객체별로 추출된 객체를 합성한 합성 프레임 시퀀스에 따라 분석하여 객체의 경시적 특징을 파악할 수 있다.Next, the object extracted for each of the plurality of objects is analyzed according to the original frame sequence to identify the characteristic of the object over time (S508). Alternatively, it is possible to analyze the characteristics of the object over time by analyzing the objects extracted by the plurality of objects according to the synthesized frame sequence.

이 경우에, ‘경시적 특징’은 소정 시간 동안의 동영상 내 존재하는 객체의 정적 특징 또는 동적 특징과 같은 가시적 변화의 특징뿐만 아니라, 특이 객체의 경시적 특징을 포함하여 의미할 수 있다. 여기서, ‘특이 객체’라 함은 복수의 객체 중에서 다른 객체의 경시적 특징과 상이한 경시적 특징을 나타내는 객체를 의미한다. 예를 들어, 추출된 객체가 복수인 경우, 복수의 객체 중 한 객체만이 다른 객체와 상이한 경로로 이동하고 있다면, 한 객체는 특이 객체라 할 수 있다. 이 때, 한 객체가 다른 객체의 이동 경로와 상이한 이동 경로로 이동하는 것이 복수의 객체 간의 경시적 특징일 수 있다.In this case, the 'aging characteristic' may include a characteristic of a visible change such as a static characteristic or a dynamic characteristic of an object existing in a moving picture for a predetermined time, as well as a characteristic of a specific object over time. Here, the 'specific object' refers to an object that represents a time-dependent characteristic that is different from the temporal characteristic of another object among a plurality of objects. For example, if there are a plurality of extracted objects, if only one of the plurality of objects moves to a different path from the other object, one object may be a singular object. In this case, it may be a characteristic of a plurality of objects that a moving object moves to a moving path different from the moving path of another object.

다음으로, 복수의 객체별로 파악된 복수의 객체 각각의 경시적 특징을 가시화한 복수의 객체에 대한 지시 심볼을 함께 포함하는 요약 이미지를 생성한다(S509). 이 경우에, ‘지시 심볼’은 객체의 이동 경로를 지시하는 자취선, 객체의 이동 방향을 지시하는 화살표, 객체의 이동 속도를 지시하는 선의 두께, 객체의 등장을 지시하는 도형, 객체의 소멸을 지시하는 도형, 객체의 크기를 지시하는 도형뿐만 아니라 복수의 객체 각각의 경시적 특징의 변화가 유사하여 중첩되는 경우 객체를 흐리게 나타내는 방법으로 표현할 수 있으나, 지시 심볼을 나타내는 방법은 다양하게 표현할 수 있으며, 여기에만 한정되는 것은 아니다. 상기 예에서, 다른 객체의 이동 경로는 유사하여 중첩되므로 다른 객체들을 흐리게 나타내는 방법으로 표현할 수 있다. 그러면, 다른 객체와 상이한 이동 경로로 이동하는 한 객체, 즉 특이 객체의 이동 경로가 명확히 나타나게 되므로 감시자 또는 관찰자가 주목해야 할 객체를 직관적으로 확인할 수 있다.Next, a summary image including indication symbols for a plurality of objects that visualize the temporal characteristics of each of the plurality of objects grasped by the plurality of objects is generated (S509). In this case, the 'instruction symbol' may be a trace line indicating the movement path of the object, an arrow indicating the movement direction of the object, a thickness of the line indicating the movement speed of the object, a graphic indicating the appearance of the object, It is possible to express the direction symbols in a variety of ways. However, it is possible to express the direction symbols in a variety of ways, for example, , But is not limited thereto. In the above example, since the movement paths of other objects are similar and overlapped, they can be represented by a method of blurring other objects. Then, since the movement path of one object moving in the movement path different from that of the other object, that is, the specific object is clearly displayed, the observer or the observer can intuitively confirm the object to be noticed.

다음으로, 생성된 요약 이미지를 저장한다(S506). 생성된 요약 이미지는 저장 매체 등에 일시적으로 또는 영구적으로 저장할 수 있다.
Next, the generated summary image is stored (S506). The generated summary image can be temporarily or permanently stored on a storage medium or the like.

도 6은 본 발명의 또 다른 실시예에 따른 동영상 요약 방법을 보여주는 흐름도이다.FIG. 6 is a flowchart illustrating a moving picture summarizing method according to another embodiment of the present invention.

도 6을 참조하면, 먼저 요약 이미지 출력 요청 메시지를 수신한다(S601). 예를 들어, 출력 요청 메시지는 요약 이미지를 생성하기 위한 소정 시간 동안의 동영상의 시작 시간과 종료 시간일 수 있다.Referring to FIG. 6, first, a summary image output request message is received (S601). For example, the output request message may be a start time and an end time of a moving picture for a predetermined time for generating a summary image.

다음으로, 출력 요청 메시지에 따라 요약 이미지를 생성할 소정 시간 동안의 동영상이 결정되면, 소정 시간 동안의 동영상을 도 4 또는 도 5에 따른 동영상 요약 방법에 따라 요약 이미지를 생성한다(S602).Next, if a moving image for a predetermined time for generating a summary image is determined according to the output request message, a summary image is generated according to the moving image summary method according to FIG. 4 or 5 (S602).

다음으로, 생성된 요약 이미지를 출력한다(S603). 이는 디지털 카메라나 캠코더 등과 같이 영상 촬영이 주된 기능인 전자 기기의 디스플레이부를 통하여 생성된 요약 이미지를 출력할 수 있지만, 여기에만 한정되는 것은 아니다. 바람직하게는, CCTV(Closed Circuit Television) 카메라의 감시 및 관찰을 위한 CCTV 콘솔에 생성된 요약 이미지를 출력할 수 있다.Next, the generated summary image is output (S603). This can output a summary image generated through a display unit of an electronic device such as a digital camera or a camcorder, which is a main function of image capturing, but is not limited thereto. Preferably, a summary image generated in a CCTV console for monitoring and observation of a closed circuit television (CCTV) camera may be output.

다음으로, 객체 선택 메시지를 수신한다(S604). 생성된 요약 이미지 내의 객체를 선택할 수 있다. 또는, 생성된 요약 이미지 내의 객체가 복수인 경우 특정 객체를 선택할 수 있다.Next, the object selection message is received (S604). You can select objects in the generated summary image. Alternatively, a specific object can be selected if there are a plurality of objects in the generated summary image.

다음으로, 객체가 선택되면, 객체가 포함된 원본 프레임 시퀀스를 재생할 수 있다. 또는, 복수의 객체 중에서 특정 객체가 선택되면, 특정 객체가 포함된 원본 프레임 시퀀스를 재생할 수 있고 또는 특정 객체에 대하여 생성된 합성 프레임 시퀀스를 재생할 수 있다(S605).
Next, when the object is selected, the original frame sequence containing the object can be reproduced. Alternatively, when a specific object among the plurality of objects is selected, the original frame sequence including the specific object can be reproduced or the composite frame sequence generated for the specific object can be reproduced (S605).

또한, 이러한 동영상 내 객체의 경시적 특징을 이용한 동영상 요약 이미지 생성 방법은 컴퓨터로 실행하기 위한 프로그램이 기록된 컴퓨터 판독가능 기록매체에 저장될 수 있다. 이때, 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 제안된 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 상기 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다. 프로그램명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 장치에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
In addition, the method of generating a moving image summary image using the temporal feature of the moving object may be stored in a computer-readable recording medium on which a program for execution by the computer is recorded. At this time, the computer-readable recording medium includes all kinds of recording apparatuses in which data that can be read by a computer system is stored. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. Program instructions to be recorded on the medium may be those specially designed and constructed for the proposed invention or may be available to those skilled in the art of computer software. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape; optical media such as CD-ROMs and DVDs; magnetic media such as floppy disks; Magneto-optical media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. The medium may be a transmission medium such as an optical or metal line, a wave guide, or the like, including a carrier wave for transmitting a signal designating a program command, a data structure, or the like. Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa. In addition, the computer-readable recording medium may be distributed to network-connected computer devices so that computer-readable codes can be stored and executed in a distributed manner.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.It will be apparent to those skilled in the art that various modifications, substitutions and substitutions are possible, without departing from the scope and spirit of the invention as disclosed in the accompanying claims. will be. Therefore, the embodiments disclosed in the present invention and the accompanying drawings are intended to illustrate and not to limit the technical spirit of the present invention, and the scope of the technical idea of the present invention is not limited by these embodiments and the accompanying drawings . The scope of protection of the present invention should be construed according to the following claims, and all technical ideas within the scope of equivalents should be construed as falling within the scope of the present invention.

200, 300 : 동영상 요약 장치
201, 301 : 객체 추출부
202, 302 : 객체 분석부
203, 303 : 요약 이미지 생성부
204, 304 : 동영상 재생부
205, 305 : 저장부
306 : 객체 프레임 시퀀스 합성부200, 300: Video summary device
201, and 301:
202 and 302:
203, and 303:
204, and 304:
205, 305:
306: object frame sequence combining unit

Claims (20)

소정 시간의 동영상을 구성하는 원본 프레임들 각각으로부터 배경을 분리하여 객체를 추출하는 객체 추출부;
상기 객체 추출부에 의하여 추출된 객체를 상기 원본 프레임 시퀀스에 따라 분석하여 상기 객체의 경시적 특징을 파악하는 객체 분석부; 및
상기 객체 분석부에 의하여 파악된 상기 경시적 특징을 가시화한 상기 객체에 대한 지시 심볼을 포함하는 요약 이미지를 생성하는 요약 이미지 생성부
를 포함하는 것을 특징으로 하는 동영상 요약 장치.An object extraction unit for extracting an object by separating a background from each of original frames constituting a moving image of a predetermined time;
An object analyzing unit analyzing the object extracted by the object extracting unit according to the original frame sequence to grasp the characteristic of the object over time; And
A summary image generation unit for generating a summary image including an instruction symbol for the object that visualized the temporal feature identified by the object analysis unit,
Wherein the moving picture summarizing apparatus comprises: 제1항에 있어서,
상기 경시적 특징은 이동 경로, 이동 속도, 크기, 등장 및 소멸 중에서 하나 이상을 포함하는 것을 특징으로 하는 동영상 요약 장치.The method according to claim 1,
Wherein the temporal characteristic includes at least one of a moving path, a moving speed, a size, appearance and disappearance. 제1항에 있어서,
상기 지시 심볼은 상기 객체의 이동 경로를 지시하는 자취선; 상기 객체의 이동 방향을 지시하는 화살표; 상기 객체의 이동 속도를 지시하는 선의 두께; 및 상기 객체의 등장, 소멸 및 크기를 지시하는 도형 중에서 하나 이상을 이용하여 표현하는 것을 특징으로 하는 동영상 요약 장치.The method according to claim 1,
Wherein the instruction symbol comprises: a trace line indicating a movement path of the object; An arrow indicating a moving direction of the object; A thickness of a line indicating a moving speed of the object; And a figure indicating the appearance, extinction, and size of the object. 제1항에 있어서,
상기 요약 이미지 생성부는 상기 객체의 경시적 특징의 변화가 일어나는 시점을 상기 요약 이미지 생성을 위한 기준 시점으로 하여 요약 이미지를 생성하는 것을 특징으로 하는 동영상 요약 장치.The method according to claim 1,
Wherein the summary image generation unit generates a summary image with a time point at which a change in the time characteristic of the object occurs as a reference point for generating the summary image. 제1항에 있어서,
상기 생성된 요약 이미지 내의 상기 객체를 선택하면 상기 객체가 포함된 원본 프레임 시퀀스를 재생하는 동영상 재생부를 더 포함하는 것을 특징으로 하는 동영상 요약 장치.The method according to claim 1,
And a moving picture playback unit for playing back the original frame sequence including the object by selecting the object in the generated summary image. 제1항에 있어서,
상기 객체 추출부에 의하여 추출된 객체가 복수인 경우,
상기 복수의 객체별로 상기 복수의 객체 각각의 프레임 시퀀스를 배경의 프레임 시퀀스와 합성하여 합성 프레임 시퀀스를 생성하는 객체 프레임 시퀀스 합성부를 더 포함하고,
상기 객체 분석부는 상기 복수의 객체별로 상기 추출된 복수의 객체를 상기 원본 프레임 시퀀스 또는 상기 합성 프레임 시퀀스에 따라 분석하여 상기 복수의 객체 각각의 경시적 특징을 파악하고,
상기 요약 이미지 생성부는 상기 파악된 상기 복수의 객체 각각의 경시적 특징을 가시화한 상기 복수의 객체에 대한 지시 심볼을 함께 포함하는 요약 이미지를 생성하는 것을 특징으로 하는 동영상 요약 장치.The method according to claim 1,
When the object extracted by the object extracting unit is a plurality of objects,
Further comprising an object frame sequence combining unit for generating a composite frame sequence by combining a frame sequence of each of the plurality of objects with a background frame sequence for each of the plurality of objects,
Wherein the object analyzing unit analyzes the plurality of extracted objects for each of the plurality of objects according to the original frame sequence or the composite frame sequence to grasp the temporal characteristics of each of the plurality of objects,
Wherein the summary image generating unit generates a summary image including an instruction symbol for the plurality of objects that visualize the temporal characteristics of each of the plurality of identified objects. 제6항에 있어서,
상기 경시적 특징은 상기 객체 추출부에 의하여 추출된 객체가 복수인 경우 다른 객체의 경시적 특징과 상이한 경시적 특징을 나타내는 특이 객체의 경시적 특징을 포함하는 것을 특징으로 하는 동영상 요약 장치.The method according to claim 6,
Wherein the temporal characteristic includes a characteristic of a specific object that indicates a temporal characteristic different from a temporal characteristic of another object when the object extracted by the object extraction unit is a plurality. 제6항에 있어서,
상기 지시 심볼은 상기 객체 추출부에 의하여 추출된 객체가 복수인 경우 상기 각각 객체의 경시적 특징의 변화가 유사하여 중첩되면 흐리게 표현하는 것을 특징으로 하는 동영상 요약 장치.The method according to claim 6,
Wherein the instruction symbol is blurred when the plurality of objects extracted by the object extraction unit are overlapped with each other in such a manner that the changes of the characteristics of the objects are similar to each other. 제6항에 있어서,
상기 생성된 요약 이미지 내의 특정 객체를 선택하면 상기 특정 객체에 대하여 상기 합성 프레임 시퀀스 및 상기 객체가 포함된 원본 프레임 시퀀스 중에서 어느 하나를 재생하는 동영상 재생부를 더 포함하는 것을 특징으로 하는 동영상 요약 장치.The method according to claim 6,
Further comprising a moving picture playback unit for playing back any one of the composite frame sequence and the original frame sequence including the object when the specific object in the generated summary image is selected. (a) 소정 시간의 동영상을 구성하는 원본 프레임들 각각으로부터 배경을 분리하여 객체를 추출하는 단계;
(b) 상기 추출된 객체를 상기 원본 프레임 시퀀스에 따라 분석하여 상기 객체의 경시적 특징을 파악하는 단계; 및
(c) 상기 파악된 경시적 특징을 가시화한 상기 객체에 대한 지시 심볼을 포함하여 요약 이미지를 생성하는 단계
를 포함하는 것을 특징으로 하는 동영상 요약 방법.(a) extracting an object by separating a background from each of original frames constituting a moving picture of a predetermined time;
(b) analyzing the extracted object according to the original frame sequence to determine a characteristic of the object over time; And
(c) generating a summary image including an instruction symbol for the object that visualizes the identified temporal feature
The method comprising the steps of: 제10항에 있어서,
상기 경시적 특징은 이동 경로, 이동 속도, 크기, 등장 및 소멸 중에서 하나 이상을 포함하는 것을 특징으로 하는 동영상 요약 방법.11. The method of claim 10,
Wherein the temporal characteristic includes at least one of a moving path, a moving speed, a size, appearance, and disappearance. 제10항에 있어서,
상기 지시 심볼은 상기 객체의 이동 경로를 지시하는 자취선; 상기 객체의 이동 방향을 지시하는 화살표; 상기 객체의 이동 속도를 지시하는 선의 두께; 및 상기 객체의 등장, 소멸 및 크기를 지시하는 도형 중에서 하나 이상을 이용하여 표현하는 것을 특징으로 하는 동영상 요약 방법.11. The method of claim 10,
Wherein the instruction symbol comprises: a trace line indicating a movement path of the object; An arrow indicating a moving direction of the object; A thickness of a line indicating a moving speed of the object; And a figure indicating the appearance, extinction, and size of the object. 제10항에 있어서,
상기 단계 (c)는 상기 객체의 경시적 특징의 변화가 일어나는 시점을 상기 요약 이미지 생성을 위한 기준 시점으로 하여 요약 이미지를 생성하는 것을 특징으로 하는 동영상 요약 방법.11. The method of claim 10,
Wherein the step (c) generates a summary image with a time point at which a change in the time characteristic of the object occurs, as a reference point for generating the summary image. 제10항에 있어서,
(e) 상기 생성된 요약 이미지 내의 상기 객체를 선택하면 상기 객체가 포함된 원본 프레임 시퀀스를 재생하는 단계를 더 포함하는 것을 특징으로 하는 동영상 요약 방법.11. The method of claim 10,
(e) selecting the object in the generated summary image to reproduce the original frame sequence including the object. 제10항에 있어서,
상기 객체 추출부에 의하여 추출된 객체가 복수인 경우,
(d) 상기 단계 (b) 이전에 상기 복수의 객체별로 상기 복수의 객체 각각의 프레임 시퀀스를 배경의 프레임 시퀀스와 합성하여 합성 프레임 시퀀스를 생성하는 단계를 더 포함하고,
상기 단계 (b)에서는 상기 복수의 객체별로 상기 추출된 복수의 객체를 상기 원본 프레임 시퀀스 또는 상기 합성 프레임 시퀀스에 따라 분석하여 상기 복수의 객체 각각의 경시적 특징을 파악하고,
상기 단계 (c)에서는 상기 파악된 상기 복수의 객체 각각의 경시적 특징을 가시화한 상기 복수의 객체에 대한 지시 심볼을 함께 포함하는 요약 이미지를 생성하는 것을 특징으로 하는 동영상 요약 방법.11. The method of claim 10,
When the object extracted by the object extracting unit is a plurality of objects,
(d) generating a composite frame sequence by combining the frame sequence of each of the plurality of objects with the background frame sequence for each of the plurality of objects before the step (b)
Wherein the step (b) analyzes the plurality of extracted objects for each of the plurality of objects in accordance with the original frame sequence or the composite frame sequence to grasp the temporal characteristics of each of the plurality of objects,
Wherein the step (c) includes generating a summary image including an instruction symbol for the plurality of objects that visualize the temporal characteristics of each of the plurality of objects identified. 제15항에 있어서,
상기 경시적 특징은 상기 객체 추출부에 의하여 추출된 객체가 복수인 경우 다른 객체의 경시적 특징과 상이한 경시적 특징을 나타내는 특이 객체의 경시적 특징을 포함하는 것을 특징으로 하는 동영상 요약 방법.16. The method of claim 15,
Wherein the temporal characteristic includes a temporal characteristic of a specific object indicating a temporal characteristic different from a temporal characteristic of another object when the object extracted by the object extraction unit is a plurality. 제15항에 있어서,
상기 지시 심볼은 상기 객체 추출부에 의하여 추출된 객체가 복수인 경우 상기 각각 객체의 경시적 특징의 변화가 유사하여 중첩되면 흐리게 표현하는 것을 특징으로 하는 동영상 요약 방법.16. The method of claim 15,
Wherein the instruction symbol is blurred when the plurality of objects extracted by the object extraction unit are overlapped with each other in such a manner that the changes of the characteristics of the objects are similar to each other. 제15항에 있어서,
(e) 상기 생성된 요약 이미지 내의 특정 객체를 선택하면 상기 특정 객체에 대하여 상기 합성된 객체 프레임 시퀀스 및 상기 객체가 포함된 원본 프레임 시퀀스 중에서 어느 하나를 재생하는 단계를 더 포함하는 것을 특징으로 하는 동영상 요약 방법.16. The method of claim 15,
(e) selecting one of the plurality of objects in the generated summary image, and reproducing the selected one of the synthesized object frame sequence and the original frame sequence including the object, with respect to the specific object Summary method. 제11항에 있어서,
상기 단계 (a) 이전에 특정 시간 간격 동안의 요약 이미지 생성 요청에 따라 소정의 시간이 결정되는 단계를 더 포함하는 것을 특징으로 하는 동영상 요약 방법.12. The method of claim 11,
Further comprising the step of determining a predetermined time according to a summary image generation request during a specific time interval before the step (a). 제10항 내지 제19항 중 어느 한 항에 따른 방법을 컴퓨터로 실행하기 위한 프로그램이 기록된 컴퓨터 판독가능 기록매체.A computer-readable recording medium on which a program for executing a method according to any one of claims 10 to 19 is recorded.
KR20140076758A 2013-10-15 2014-06-23 Apparatus and method for summarizing video KR20150043962A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/514,929 US20150104149A1 (en) 2013-10-15 2014-10-15 Video summary apparatus and method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20130122700 2013-10-15
KR1020130122700 2013-10-15

Publications (1)

Publication Number Publication Date
KR20150043962A true KR20150043962A (en) 2015-04-23

Family

ID=53036352

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20140076758A KR20150043962A (en) 2013-10-15 2014-06-23 Apparatus and method for summarizing video

Country Status (1)

Country Link
KR (1) KR20150043962A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016200085A1 (en) * 2015-06-10 2016-12-15 Samsung Electronics Co., Ltd. Electronic apparatus and method of extracting still images
WO2018008871A1 (en) * 2016-07-08 2018-01-11 한양대학교 산학협력단 Compact video generation device and method, and recording medium in which computer program is recorded
KR20180075145A (en) * 2016-12-26 2018-07-04 이정무 Method for generating and searching object data for analyzing large amounts of CCTV video

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016200085A1 (en) * 2015-06-10 2016-12-15 Samsung Electronics Co., Ltd. Electronic apparatus and method of extracting still images
US10511765B2 (en) 2015-06-10 2019-12-17 Samsung Electronics Co., Ltd Electronic apparatus and method of extracting still images
WO2018008871A1 (en) * 2016-07-08 2018-01-11 한양대학교 산학협력단 Compact video generation device and method, and recording medium in which computer program is recorded
KR20180075145A (en) * 2016-12-26 2018-07-04 이정무 Method for generating and searching object data for analyzing large amounts of CCTV video

Similar Documents

Publication Publication Date Title
US20150104149A1 (en) Video summary apparatus and method
US10043079B2 (en) Method and apparatus for providing multi-video summary
US11244488B2 (en) Video processing device, video processing system, and video processing method
JP4360905B2 (en) Multimedia data object for real-time slide presentation and system and method for recording and viewing multimedia data object
ES2611278T3 (en) System and procedure for creating an intelligent video sequence to improve research in video surveillance
US10116910B2 (en) Imaging apparatus and method of providing imaging information
CN105306899B (en) Method and device for processing monitoring video
US7483624B2 (en) System and method for indexing a video sequence
US20100328432A1 (en) Image reproducing apparatus, image capturing apparatus, and control method therefor
EP2860968B1 (en) Information processing device, information processing method, and program
US9594957B2 (en) Apparatus and method for identifying a still image contained in moving image contents
CN104335594A (en) Automatic digital curation and tagging of action videos
CN105323657B (en) Imaging apparatus and method for providing video summary
KR20180078149A (en) Method and system for playing back recorded video
EP3973446A1 (en) Forensic video exploitation and analysis tools
US20140337742A1 (en) Method, an apparatus and a computer program for determination of an audio track
EP3249651A1 (en) Generating a summary video sequence from a source video sequence
KR20150043962A (en) Apparatus and method for summarizing video
GB2482067A (en) Combination video comprising synopsis video and trajectory video
KR101033238B1 (en) Video surveillance system and recording medium recording in which video surveillance program is recorded
US9373360B2 (en) Instantaneous preview of data associated with a video
EP3484145B1 (en) Compact video generation device and method, and recording medium in which computer program is recorded
US20110083093A1 (en) Apparatus and method for displaying log information
KR20080112586A (en) Method for chasing object moving path in digital video recorder
JP2010093405A (en) Information processor, and information processing method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application