KR101909126B1 - Method and apparatus for displaying a summary video - Google Patents

Abstract

본 발명은 요약 동영상 디스플레이 방법 및 장치에 관한 것으로, 본 발명의 일 실시 예에 따른 요약 동영상 디스플레이 방법은 다양한 효과를 파일 속성에 따라 자동으로 결정하며, 다양한 효과를 갖도록 동영상을 자동으로 요약해서 디스플레이할 수 있다.The present invention relates to a method and apparatus for displaying a summary moving picture, and a summary moving picture display method according to an embodiment of the present invention automatically determines various effects according to a file property, automatically displays a summary of a moving picture .

Description

요약 동영상 디스플레이 방법 및 장치{Method and apparatus for displaying a summary video} FIELD OF THE INVENTION [0001]

본 발명은 요약 동영상 디스플레이 방법 및 장치에 관한 것이다.The present invention relates to a method and apparatus for displaying summary moving pictures.

일반적으로, 디지털 카메라 또는 캠코더를 포함하는 디지털 촬영 장치는 재생 모드에서 기록매체에 저장된 이미지 또는 동영상을 디스플레이 화면에 표시한다. 또한, 촬영한 이미지와 촬영한 동영상을 포함하는 데이터들은 서로 연관성을 갖는 경우가 많다.Generally, a digital photographing apparatus including a digital camera or a camcorder displays an image or a moving image stored on a recording medium in a playback mode on a display screen. In addition, the data including the photographed image and the photographed moving image are often correlated with each other.

한편, 대용량 멀티미디어 데이터베이스의 중가와 통신 및 디지털 미디어 처리 기술의 발달로 인하여 수많은 동영상 비디오가 출현함에 따라, 축약된 동영상 비디오의 요약 정보를 바탕으로 한 검색 서비스를 통해 사용자의 편의와 만족을 도모하기 위한 노력이 증대되고 있다. 그러나 현재까지 대부분의 비디오 축약은 사람이 직접 개입하여 적절한 장면이나, 이미지를 추려내는 과정을 통하여 이루어져 왔다.On the other hand, as a result of the increase of the mass multimedia database and the development of the communication and digital media processing technology, a lot of moving picture videos have come out, so that the convenience and satisfaction of users through a search service based on the abridged moving picture video summary information Efforts are increasing. Until now, however, most video reduction has been done through human intervention and appropriate scene or image culling process.

최근, 동영상 비디오와 관련된 다양한 형태의 상업이 전개되면서 대량의 동영상 비디오를 자동으로 분석하고자 하는 필요성이 증대되고 있으며, 이에 따라 이러한 문제를 해결하기 위한 많은 연구들이 활발하게 진행되고 있다. 동영상 비디오를 축약하는 방법에는 비디오 스키밍(Video skimming), 하이라이트(highlight)와 비디오 요약(summary) 방법이 있다. 하이라이트는 주로 특정 이벤트 중심으로 동영상의 흥미로운 일부분만 추려내어 축약한 것이다. 비디오 요약은 동영상 비디오에 대한 의미 있는 내용과 구조적인 정보를 추려내기 위한 것으로, 비디오 요약의 결과는 일반적으로 주요 정지영상(키 프레임)의 연속된 형태(sequence of key frames)로 표현되는데, 현재까지 대부분의 동영상 축약에 대한 연구는 주로 동영상 요약 정보 생성을 그 목표로 하고 있다. 키 프레임으로 표현된 비디오 요약은 비디오 전체의 내용을 한눈에 파악할 수 있게 할 뿐만 아니라, 그 키 프레임을 담고 있는 장면(scenes 또는 shot)이 창구(entries) 역할을 하게 된다. 이 때문에 비디오 요약 작업을 최적의 키 프레임 선정, 또는 최적의 키 프레임이 위치한 세그먼트 선정 작업이라고 볼 수 있으며, 보통 색상, 움직임 등 시각적으로 도드라진 특징들이 키 프레임을 선택하는 데에 중요한 요건으로 이용된다.In recent years, there has been an increasing need to automatically analyze a large amount of moving picture videos as various types of commercial related to moving picture videos are developed. Accordingly, a lot of researches are actively conducted to solve such problems. There are video skimming, highlighting and video summary methods for shrinking video videos. Highlights are mostly short cuts of interesting parts of a video centered on specific events. The video summary is intended to categorize meaningful and structured information about the video video. The result of the video summary is generally represented as a sequence of key frames of the main still image (key frame). Most of the studies on video reduction are mainly aimed at generating video summary information. A video summary represented by a key frame allows not only the contents of the entire video to be grasped at a glance, but also scenes or shots containing the key frame serve as entries. For this reason, video summaries can be viewed as an optimal keyframe selection, or segment selection where the optimal keyframe is located, and the visually dominant features such as color, motion, etc., are used as an important requirement in selecting keyframes .

본 발명의 일 실시 예는 다양한 효과를 파일 속성에 따라 자동으로 결정하며, 다양한 효과를 갖도록 동영상을 자동으로 요약해서 디스플레이해 줄 수 있는 요약 동영상 디스플레이 방법 및 장치를 제공하는 것이다. One embodiment of the present invention is to provide a method and apparatus for displaying a summary moving picture that automatically determines various effects according to a file property and automatically displays a summary of the moving picture so as to have various effects.

상기 기술적 과제를 달성하기 위한, 본 발명의 일 실시 예에 따른 요약 동영상 디스플레이 장치는 동영상 또는 이미지를 포함하는 파일을 선택받는 단계; 및 상기 선택받은 파일의 속성에 따라 서로 다른 효과가 결정되고, 상기 결정된 효과가 적용된 요약 동영상을 디스플레이하는 단계를 포함하고,According to an aspect of the present invention, there is provided a summary moving picture display device including: a file including a moving picture or an image; And displaying a summary video to which different effects are determined according to attributes of the selected file and the determined effect is applied,

상기 파일의 속성은, 상기 파일에 포함된 연관 이미지에 대한 정보인 것을 특징으로 한다.And the attribute of the file is information on an associated image included in the file.

상기 연관 이미지는, 상기 동영상의 녹화 중 촬영된 이미지인 것을 특징으로 한다.And the associated image is an image photographed during the recording of the moving image.

상기 연관 이미지에 대한 정보는, 상기 연관 이미지가 촬영된 시간 정보를 포함하는 것을 특징으로 한다.And the information on the associated image includes time information on the related image.

상기 연관 이미지에 대한 정보는, 상기 연관 이미지의 개수를 포함하는 것을 특징으로 한다.And the information on the related image includes the number of the related images.

상기 연관 이미지에 대한 정보는, 상기 동영상의 파일 헤더에 저장되는 것을 특징으로 한다.The information about the associated image is stored in a file header of the moving image.

상기 요약 동영상 디스플레이 방법은 상기 선택받은 파일이 이미지인 경우, 상기 이미지의 촬영 형태에 따라 서로 다른 효과가 적용된 요약 동영상을 생성하는 단계를 더 포함하는 것을 특징으로 한다.The summary moving picture display method may further include generating a summary moving picture to which different effects are applied according to a photographing mode of the image when the selected file is an image.

상기 촬영 형태는, 파노라마 촬영, 연사 촬영 및 고속 촬영 중 하나인 것을 특징으로 한다.The photographing mode is one of panoramic photographing, continuous photographing, and high-speed photographing.

상기 요약 동영상 디스플레이 방법은 상기 선택받은 파일이 동영상이고, 상기 동영상의 파일에 포함된 연관 이미지가 없는 경우, 상기 동영상의 재생 시간에 따라 서로 다른 효과가 적용된 요약 동영상을 생성하는 단계를 더 포함하는 것을 특징으로 한다.The method of displaying a summary moving picture may further include generating a summary moving picture to which different effects are applied according to a playback time of the moving image when the selected file is a moving image and there is no associated image included in the moving image file .

상기 선택받은 파일이 동영상이고, 상기 동영상 파일에 포함된 연관 이미지의 개수가 제1 임계값 이상이고, 최초 연관 이미지와 마지막 연관 이미지 사이의 시간 간격이 제2 임계값 이상인 경우,Wherein if the selected file is a moving picture and the number of associated images included in the moving picture file is equal to or greater than a first threshold value and a time interval between the first associated image and the last associated image is equal to or greater than a second threshold value,

상기 요약 동영상은, 디스플레이 화면의 제1 영역에 상기 동영상을 디스플레이하고, 상기 디스플레이 화면의 제2 영역에 상기 연관 이미지를 일 방향으로 슬라이딩하면서 디스플레이하도록 생성된 것을 특징으로 한다.The summary moving picture is generated to display the moving picture in a first area of a display screen and to display the moving picture while sliding the associated image in a first direction in a second area of the display screen.

상기 최초 연관 이미지와 마지막 연관 이미지 사이의 시간 간격이 상기 제2 임계값보다 작은 경우, If the time interval between the first associated image and the last associated image is less than the second threshold,

상기 요약 동영상은, 상기 디스플레이 화면에 상기 동영상을 디스플레이하고, 상기 연관 이미지가 촬영된 시간에 상기 디스플레이한 동영상에 오버랩되어 팝 업 되었다가 사라지면서 디스플레이되도록 생성된 것을 특징으로 한다.The summary video is displayed such that the video is displayed on the display screen, and the related image is overlapped with the displayed video at the time of shooting, and popped up and disappear.

상기 선택받은 파일이 동영상이고, 상기 동영상 파일에 포함된 연관 이미지의 개수가 제3 임계값이상이고, 상기 제1 임계값보다 적은 경우,If the selected file is a moving picture and the number of associated images included in the moving picture file is equal to or larger than a third threshold value and smaller than the first threshold value,

상기 요약 동영상은, 상기 디스플레이 화면에 상기 동영상을 디스플레이하고, 상기 연관 이미지가 촬영된 시간에 상기 디스플레이한 동영상에 오버랩되어 팝 업 되었다가 사라지면서 디스플레이되도록 생성된 것을 특징으로 한다.The summary video is displayed such that the video is displayed on the display screen, and the related image is overlapped with the displayed video at the time of shooting, and popped up and disappear.

상기 요약 동영상 디스플레이 방법은 상기 요약 동영상의 테마를 입력받는 단계; 및 상기 입력된 테마에 따라 미리 결정된 효과를 적용한 요약 동영상을 생성하는 단계를 더 포함하는 것을 특징으로 한다.Wherein the summary moving picture display method comprises: receiving a theme of the summary moving picture; And generating a summary moving picture to which a predetermined effect is applied according to the inputted theme.

상기 요약 동영상 디스플레이 방법은 상기 연관 이미지에 대한 정보를 기초로 상기 동영상으로부터 키 세그먼트를 추출하는 단계; 및 상기 추출한 키 세그먼트 및 상기 결정된 효과를 이용하여 상기 요약 동영상을 생성하는 단계를 더 포함하는 것을 특징으로 한다.The method comprising: extracting a key segment from the moving image based on information about the associated image; And generating the summary moving image by using the extracted key segment and the determined effect.

상기 요약 동영상 디스플레이 방법은 상기 연관 이미지들이 촬영된 각각의 시간 정보를 기초로 상기 동영상으로부터 키 세그먼트들을 추출하는 단계; 상기 연관 이미지들의 개수 및 상기 연관 이미지들 사이의 시간 간격 중 적어도 하나로부터 상기 요약 동영상에 적용할 효과를 결정하는 단계; 및 상기 추출한 키 세그먼트들 및 상기 결정한 효과를 적용한 요약 동영상을 생성하는 단계를 더 포함하는 것을 특징으로 한다.The method comprising: extracting key segments from the moving image based on respective time information of the related images; Determining an effect to be applied to the summary moving picture from at least one of the number of related images and a time interval between the related images; And generating a summary animation using the extracted key segments and the determined effect.

상기 다른 기술적 과제를 달성하기 위한, 본 발명의 다른 실시 예에 따른 요약 동영상 생성 방법은 동영상을 입력받아, 상기 입력 동영상의 동영상 파일의 속성을 해석하는 단계; 상기 속성에 따라 상기 동영상 파일로부터 키 세그먼트를 추출하는 단계; 상기 속성에 따라 서로 다른 효과를 결정하는 단계; 및 상기 추출한 키 세그먼트 및 상기 결정한 효과를 적용한 요약 동영상을 생성하는 단계를 포함하고, 상기 동영상 파일의 속성은, 상기 동영상 파일에 포함된 연관 이미지에 대한 정보인 것을 특징으로 한다.According to another aspect of the present invention, there is provided a method for generating a summary moving picture according to another embodiment of the present invention, comprising the steps of: analyzing a property of a moving picture file of the input moving picture, Extracting a key segment from the moving picture file according to the attribute; Determining different effects according to the attributes; And generating a summary movie using the extracted key segment and the determined effect, wherein the attribute of the moving image file is information on an associated image included in the moving image file.

상기 연관 이미지는, 상기 동영상의 녹화 중 촬영된 이미지인 것을 특징으로 한다.And the associated image is an image photographed during the recording of the moving image.

상기 연관 이미지에 대한 정보는, 상기 연관 이미지가 촬영된 시간 정보 및 상기 연관 이미지의 개수 중 적어도 하나를 포함하는 것을 특징으로 한다.The information on the related image includes at least one of time information on the related image and the number of the related images.

상기 연관 이미지에 대한 정보는, 상기 동영상 파일의 헤더에 저장되는 것을 특징으로 한다.The information about the associated image is stored in a header of the moving image file.

상기 또 다른 기술적 과제를 달성하기 위한, 본 발명의 또 다른 실시 예에 따른 요약 동영상 디스플레이 장치는 동영상 또는 이미지를 입력받아, 상기 입력된 동영상 또는 이미지를 포함하는 파일을 선택하는 선택부; 및 상기 선택한 파일의 속성에 따라 서로 다른 효과가 결정되고, 상기 결정된 효과가 적용된 요약 동영상을 디스플레이하는 제어부를 포함하고,According to still another aspect of the present invention, there is provided a summary moving picture display apparatus including: a selection unit for receiving a moving picture or an image and selecting a file including the input moving picture or image; And a controller for determining a different effect according to an attribute of the selected file and displaying a summary moving picture to which the determined effect is applied,

상기 파일의 속성은, 상기 동영상의 파일에 포함된 연관 이미지에 대한 정보인 것을 특징으로 한다.And the attribute of the file is information on an associated image included in the file of the moving image.

상기 연관 이미지에 대한 정보는, 상기 동영상의 파일의 헤더에 저장된 것을 특징으로 한다.The information on the associated image is stored in a header of the file of the moving image.

상기 제어부는, 상기 선택한 파일의 속성을 결정하는 파일 속성 결정부; 상기 선택한 파일이 동영상인 경우, 상기 동영상과 연관된 이미지에 대한 정보를 추출하는 추출부; 상기 결정한 파일의 속성 및 상기 연관된 이미지에 대한 정보를 기초로 상기 요약 동영상에 적용하는 효과를 결정하는 효과 결정부; 및 상기 결정한 효과에 따른 요약 동영상을 생성하는 요약 동영상 생성부를 포함하는 것을 특징으로 한다.Wherein the control unit comprises: a file attribute determination unit for determining an attribute of the selected file; An extraction unit for extracting information on an image associated with the moving image when the selected file is a moving image; An effect determining unit for determining an effect to be applied to the summary moving picture based on the determined file attribute and information about the associated image; And a summary moving picture generating unit for generating a summary moving picture according to the determined effect.

상기 추출부는, 상기 연관 이미지의 시간 정보를 기초로 상기 동영상의 키 세그먼트를 추출하는 것을 특징으로 한다.Wherein the extracting unit extracts the key segment of the moving image based on the time information of the associated image.

본 발명의 일 실시 예에 따른 요약 동영상 디스플레이 방법은 다양한 효과를 파일 속성에 따라 자동으로 결정하며, 다양한 효과를 갖도록 동영상을 자동으로 요약해서 디스플레이할 수 있다. The summary moving picture display method according to an embodiment of the present invention automatically determines various effects according to file attributes and can automatically display and summarize the moving pictures to have various effects.

도 1은 본 발명의 일 실시 예에 따른 디스플레이 장치의 일 예로서 디지털 카메라(100)의 개략 도면이다.
도 2는 도 1에 도시된 디지털 신호 처리부(200)의 개략 도면이다.
도 3은 도 2에 도시된 해석부(201)의 개략 도면이다.
도 4는 본 발명의 다른 실시 예에 따른 요약 동영상 생성 방법을 설명하기 위한 흐름도이다.
도 5는 본 발명의 또 다른 실시 예에 따른 파일 속성에 따른 효과 적용 방법을 설명하기 위한 흐름도이다.
도 6은 본 발명의 또 다른 실시 예에 따른 파일 속성에 따른 효과 적용 방법을 설명하기 위한 흐름도이다.
도 7은 본 발명의 또 다른 실시 예에 따른 파일 속성에 따른 효과 적용 방법을 설명하기 위한 흐름도이다.
도 8 및 9는 본 발명의 또 다른 실시 예에 따른 폴라로이드 효과가 적용된 요약 동영상을 설명하기 위한 예시 도면들이다.
도 10 및 11은 본 발명의 또 다른 실시 예에 따른 데일리 스토리 효과가 적용된 요약 동영상을 설명하기 위한 예시 도면들이다. 1 is a schematic view of a digital camera 100 as an example of a display device according to an embodiment of the present invention.
2 is a schematic diagram of the digital signal processing unit 200 shown in FIG.
3 is a schematic diagram of the analysis unit 201 shown in FIG.
4 is a flowchart illustrating a method of generating a summary moving picture according to another embodiment of the present invention.
5 is a flowchart illustrating a method of applying effects according to file attributes according to another embodiment of the present invention.
6 is a flowchart illustrating a method of applying effects according to file attributes according to another embodiment of the present invention.
7 is a flowchart illustrating a method of applying effects according to file attributes according to another embodiment of the present invention.
FIGS. 8 and 9 are illustrative drawings for explaining a summary video with a polaroid effect according to another embodiment of the present invention.
10 and 11 are illustrative drawings for explaining a summary moving picture to which a daily story effect according to another embodiment of the present invention is applied.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. BRIEF DESCRIPTION OF THE DRAWINGS The present invention is capable of various modifications and various embodiments, and specific embodiments are illustrated in the drawings and described in detail in the detailed description. It should be understood, however, that the invention is not intended to be limited to the particular embodiments, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, the present invention will be described in detail with reference to the accompanying drawings.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. The terms first, second, etc. may be used to describe various elements, but the elements should not be limited by terms. Terms are used only for the purpose of distinguishing one component from another.

본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used in this application is used only to describe a specific embodiment and is not intended to limit the invention. The singular expressions include plural expressions unless the context clearly dictates otherwise. In the present application, the terms "comprises" or "having" and the like are used to specify that there is a feature, a number, a step, an operation, an element, a component or a combination thereof described in the specification, But do not preclude the presence or addition of one or more other features, integers, steps, operations, elements, components, or combinations thereof.

이하, 본 발명의 실시 예를 첨부도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENT Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. Referring to the accompanying drawings, the same or corresponding components are denoted by the same reference numerals, do.

도 1은 본 발명의 일 실시 예에 따른 디스플레이 장치의 일 예로 디지털 카메라(100)의 개략적인 구조를 도시한 도면이다. 1 is a diagram illustrating a schematic structure of a digital camera 100 as an example of a display device according to an embodiment of the present invention.

본 발명의 일 실시 예에 따른 디스플레이 장치의 일 실시 예로서 디지털 카메라(100)를 설명한다. 그러나 상기 디스플레이 장치가 도 1에 도시된 디지털 카메라(100)에 한정되는 것은 아니며, 카메라폰, PDA(personal digital assistant), PMP(portable multimedia player), 캠코더 등의 휴대용 기기에도 적용될 수 있으며, 모든 콘텐츠를 디스플레이하는 디스플레이 기능을 갖는 TV, 모니터 등의 가전 기기에도 적용할 수 있음은 물론이다. The digital camera 100 will be described as an embodiment of a display device according to an embodiment of the present invention. However, the display device is not limited to the digital camera 100 shown in FIG. 1, and can be applied to portable devices such as a camera phone, a personal digital assistant (PDA), a portable multimedia player (PMP) It is needless to say that the present invention is also applicable to home appliances such as TVs and monitors having a display function for displaying the display screen.

본 발명의 일 실시 예에 따른 디지털 카메라(100)는 렌즈부(110), 렌즈부 구동부(111), 조리개(112), 조리개 구동부(113), 촬상 소자(115), 촬상 소자 제어부(116), 아날로그 신호 처리부(120), 프로그램 저장부(130), 버퍼 저장부(140), 데이터 저장부(150), 디스플레이 구동부(162), 디스플레이부(160), 디지털 신호 처리부(200), 및 조작부(170)를 포함할 수 있다. 여기서 렌즈부(110), 렌즈부 구동부(111), 조리개(112), 조리개 구동부(113), 촬상 소자(115), 촬상 소자 제어부(116), 아날로그 신호 처리부(120)는 촬상부로 지칭할 수 있다.The digital camera 100 according to an embodiment of the present invention includes a lens unit 110, a lens unit driving unit 111, a diaphragm 112, a diaphragm driving unit 113, an imaging device 115, an imaging device control unit 116, An analog signal processing unit 120, a program storage unit 130, a buffer storage unit 140, a data storage unit 150, a display driver 162, a display unit 160, a digital signal processing unit 200, (Not shown). Here, the lens unit 110, the lens unit driving unit 111, the diaphragm 112, the diaphragm driving unit 113, the imaging device 115, the imaging device control unit 116, and the analog signal processing unit 120, have.

렌즈부(lens unit, 110)는 광학 신호를 집광한다. 렌즈부(110)는 초점 거리(focal length)에 따라 화각이 좁아지거나 또는 넓어지도록 제어하는 줌 렌즈 및 피사체의 초점을 맞추는 포커스 렌즈 등을 포함하며, 줌 렌즈 및 피사체 렌즈는 각각 하나의 렌즈로 구성될 수도 있지만, 복수의 렌즈들의 군집으로 이루어질 수도 있다. 조리개(112)는 그 개폐 정도를 조절하여 입사광의 광량을 조절한다. A lens unit (110) condenses an optical signal. The lens unit 110 includes a zoom lens that controls the angle of view to be narrowed or widened according to a focal length, a focus lens that focuses the subject, and the zoom lens and the subject lens are each composed of one lens Or may be a group of a plurality of lenses. The diaphragm 112 adjusts the degree of opening and closing thereof to adjust the amount of incident light.

렌즈부 구동부(111) 및 조리개 구동부(113)는 디지털 신호 처리부(200)로부터 제어 신호를 제공받아, 각각 렌즈(110) 및 조리개(112)를 구동한다. 렌즈부 구동부(111)는 렌즈의 위치를 조절하여 초점 거리를 조절하고, 오토 포커싱, 줌 변경, 초점 변경들의 동작을 수행한다. 조리개 구동부(113)는 조리개의 개폐 정도를 조절하고, 특히 f 넘버 또는 조리개 값을 조절하여 오토 포커스, 자동 노출 보정, 초점 변경, 피사계 심도 조절 등의 동작을 수행한다. The lens unit driving unit 111 and the diaphragm driving unit 113 receive control signals from the digital signal processing unit 200 and drive the lens 110 and the diaphragm 112, respectively. The lens unit driving unit 111 adjusts the position of the lens to adjust the focal length, and performs operations of auto focusing, zoom change, and focus change. The iris driving unit 113 adjusts the degree of opening / closing of the diaphragm and adjusts the f-number or iris value to perform autofocus, automatic exposure correction, focus change, depth-of-field adjustment, and the like.

렌즈부(110)를 투과한 광학 신호는 촬상 소자(115)의 수광면에 이르러 피사체의 상을 결상한다. 상기 촬상 소자(115)는 광학 신호를 전기 신호로 변환하는 CCD(Charge Coupled Device), CIS(Complementary Metal Oxide Semiconductor Image Sensor) 또는 고속 이미지 센서 등을 사용할 수 있다. 이와 같은 촬상소자(115)는 촬상소자 제어부(116)에 의해 감도 등이 조절될 수 있다. 촬상소자 제어부(116)는 실시간으로 입력되는 영상 신호에 의해 자동으로 생성되는 제어 신호 또는 사용자의 조작에 의해 수동으로 입력되는 제어 신호에 따라 촬상 소자(115)를 제어할 수 있다. 촬상 소자(115)의 노광 시간은 셔터(미도시)로 조절된다. 셔터는 가리개의 이동하여 빛의 입사를 조절하는 기계식 셔터와, 촬상 소자(115)에 전기 신호를 공급하여 노광을 제어하는 전자식 셔터가 있다. The optical signal transmitted through the lens unit 110 arrives at the light receiving surface of the image pickup element 115 and forms an image of the object. The image pickup device 115 may be a charge coupled device (CCD), a complementary metal oxide semiconductor image sensor (CIS), or a high-speed image sensor for converting an optical signal into an electric signal. The sensitivity of the image pickup device 115 can be adjusted by the image pickup device control unit 116. The image pickup element control unit 116 can control the image pickup element 115 in accordance with a control signal automatically generated by the video signal inputted in real time or a control signal manually inputted by the user's operation. The exposure time of the imaging element 115 is adjusted by a shutter (not shown). The shutter has a mechanical shutter for moving the screen to adjust the incidence of light, and an electronic shutter for controlling exposure by supplying an electric signal to the imaging element 115.

아날로그 신호 처리부(120)는 촬상 소자(115)로부터 공급된 아날로그 신호에 대하여, 노이즈 저감 처리, 게인 조정, 파형 정형화, 아날로그-디지털 변환 처리 등을 수행한다. The analog signal processing unit 120 performs noise reduction processing, gain adjustment, waveform shaping, and analog-to-digital conversion processing on the analog signal supplied from the image pickup element 115.

조작부(170)는 사용자 등의 외부로부터의 제어 신호를 입력할 수 있는 곳이다. 상기 조작부(170)는 정해진 시간 동안 촬상 소자(115)를 빛에 노출하여 사진을 촬영하는 셔터-릴리즈 신호를 입력하는 셔터-릴리즈 버튼, 전원의 온-오프를 제어하기 위한 제어 신호를 입력하는 전원 버튼, 입력에 따라 화각을 넓어지게 하거나 화각을 좁아지게 하는 광각-줌 버튼 및 망원-줌 버튼과, 문자 입력 또는 촬영 모드, 디스플레이 모드 등의 모드 선택, 화이트 밸런스 설정 기능 선택, 노출 설정 기능 선택 등의 다양한 기능 버튼들을 포함할 수 있다. 조작부(170)는 상기와 같이 다양한 버튼의 형태를 가질 수도 있지만, 이에 한정되는 것은 아니며, 키보드, 터치 패드, 터치스크린, 원격 제어기 등과 같이 사용자가 입력할 수 있는 어떠한 형태로 구현되어도 무방하다. 본 발명의 일 실시 예에서는, 사용자가 디스플레이부(160)에 구비되어 있는 터치 패드 또는 터치 스크린을 통해 데이터 디스플레이 동작을 입력한다. The operation unit 170 is a place where a control signal from the outside of the user or the like can be input. The operation unit 170 includes a shutter-release button for inputting a shutter-release signal for photographing a photograph by exposing the image pickup device 115 to light for a predetermined time, a power source for inputting a control signal for controlling on / Button, a wide-angle zoom button and a telephoto-zoom button that enlarges the angle of view or narrows the angle of view according to the input, a mode selection such as character input, shooting mode, and display mode, a white balance setting function selection, Various function buttons of the display unit. The operation unit 170 may have various types of buttons as described above, but the present invention is not limited thereto. The operation unit 170 may be implemented in any form such as a keyboard, a touch pad, a touch screen, and a remote controller. In an embodiment of the present invention, a user inputs a data display operation through a touch pad or a touch screen provided on the display unit 160. [

본 발명의 일 실시 예에 따른 디지털 카메라(100)는 동영상 녹화 중에 정지 영상이 촬영된 시간 정보를 기초로 동영상의 키 세그먼트를 추출함으로써 요약 동영상 파일을 생성한다. 디지털 카메라(100)는 동영상 녹화 중에 정지 영상들을 촬영할 수 있다. 예를 들면, 디지털 카메라(100)에 구비된 동영상 촬영 버튼, 예를 들면 REC 버튼을 눌러 동영상 녹화를 시작하고, 녹화 도중에 정지 영상으로 기록하고자 장면을 포착한 경우, 디지털 카메라(100)에 구비된 정지 영상 촬영 버튼, 예를 들면 셔터 릴리즈 버튼을 눌러, 정지 영상을 촬영한다. 이러한 방식으로, 동영상을 녹화하면서 정지 영상을 촬영한다. 예를 들면 동영상을 1분 동안 녹화하면서 1분 동안에 정지 영상을 5장 촬영하면, 1분 동안의 동영상 파일과 5장의 정지 영상 파일을 생성한다. 예를 들면, 동영상 파일은 MP4(MPEG-4 Part 14) 파일 포맷, AVI(Audio Video Interleaved) 파일 포맷, WMV(Windows Media Audio) 파일 포맷 등 다양한 동영상 파일 포맷으로 SD(Secure Digital) 카드와 같은 기록매체에 저장되고, 정지 영상 파일은 JPEG 파일 포맷으로 기록매체에 저장된다. 본 발명의 일 실시 예에서, 요약 동영상을 생성 및 디스플레이하기 위해, 녹화된 동영상과 연관된 정지 영상의 정보들은 동영상 파일의 헤더에 저장된다. 즉, 정지 영상이 촬영된 시간 정보와 상응하는 정지 영상 파일에 대한 정보는 메타 데이터로서 동영상 파일의 헤더에 저장된다. 예를 들면, MP4 파일의 경우에는 free 태그가 사용될 수 있다. 또한, 본 발명의 일 실시 예에 따른 디지털 카메라(100)는 동영상과 정지 영상을 재생할 수 있다. 이를 위해, 동영상 디코더와 정지 영상 디코더를 구비하며, 요약 동영상을 생성하기 위한 동영상 인코더를 더 포함한다.The digital camera 100 according to an exemplary embodiment of the present invention generates a summary moving image file by extracting a key segment of the moving image based on time information of a still image captured during moving image recording. The digital camera 100 can photograph still images during motion picture recording. For example, when a moving picture photographing button provided on the digital camera 100, for example, a REC button is pressed to start a moving picture recording and a scene to be recorded as a still picture is recorded during recording, Press the still image shooting button, for example the shutter release button, to shoot a still image. In this way, a still image is captured while recording a moving image. For example, if you record 5 minutes of still images in 1 minute while recording a movie for 1 minute, it creates a 1 minute movie file and 5 still image files. For example, video files can be recorded in various video file formats such as MP4 (MPEG-4 Part 14) file format, AVI (Audio Video Interleaved) file format, WMV And the still image file is stored in the recording medium in the JPEG file format. In one embodiment of the present invention, in order to generate and display the summary movie, the still image information associated with the recorded movie is stored in the header of the movie file. That is, the information about the still image file corresponding to the time information of the still image is stored in the header of the moving image file as metadata. For example, the free tag can be used for MP4 files. In addition, the digital camera 100 according to an embodiment of the present invention can reproduce moving images and still images. To this end, the apparatus further includes a motion picture decoder and a still picture decoder, and further includes a motion picture encoder for generating a motion picture.

디지털 카메라(100)는 이를 구동하는 운영 시스템, 응용 시스템 등의 프로그램을 저장하는 프로그램 저장부(130), 연산 수행 중에 필요한 데이터 또는 결과 데이터들을 임시로 저장하는 버퍼 저장부(140), 영상 신호를 포함하는 이미지 파일을 비롯하여 프로그램에 필요한 다양한 정보들을 저장하는 데이터 저장부(150)를 포함한다. The digital camera 100 includes a program storage unit 130 for storing programs such as an operating system and an application system for driving the digital camera 100, a buffer storage unit 140 for temporarily storing data or result data necessary for the operation, And a data storage unit 150 for storing various information necessary for the program including the image file including the image file.

디지털 카메라(100)는 이의 동작 상태 또는 디지털 카메라(100)에서 촬영한 정지 영상 또는 동영상을 디스플레이하는 디스플레이부(160)를 포함한다. 디스플레이부(160)는 시각적인 정보 및 청각적인 정보를 사용자에게 제공할 수 있다. 시각적인 정보를 제공하기 위해 디스플레이부(160)는 예를 들면, 액정 디스플레이 패널(LCD), 유기 발광 디스플레이 패널(OLED) 등으로 이루어질 수 있다. 디스플레이 구동부(162)는 디스플레이부(160)에 구동 신호를 제공한다. The digital camera 100 includes a display unit 160 that displays an operation state of the digital camera 100 or a still image or a moving image captured by the digital camera 100. The display unit 160 can provide visual information and auditory information to the user. In order to provide visual information, the display unit 160 may include, for example, a liquid crystal display panel (LCD), an organic light emitting display panel (OLED), or the like. The display driver 162 provides a driving signal to the display 160.

디지털 카메라(100)는 입력되는 영상 신호를 처리하고, 이에 따라 또는 외부 입력 신호에 따라 각 구성부들을 제어하는 디지털 신호 처리부(200)(Digital signal processing, DSP)를 포함한다. 디지털 신호 처리부(200)는 입력된 영상 데이터에 대해 노이즈를 저감하고, 감마 보정(Gamma Correction), 색필터 배열보간(color filter array interpolation), 색 매트릭스(color matrix), 색보정(color correction), 색 향상(color enhancement) 등의 화질 개선을 위한 영상 신호 처리를 수행할 수 있다. 또한, 화질 개선을 위한 영상 신호 처리를 하여 생성한 영상 데이터를 압축 처리하여 영상 파일을 생성할 수 있으며, 또는 상기 영상 파일로부터 영상 데이터를 복원할 수 있다. 영상의 압축형식은 가역 형식 또는 비가역 형식을 포함한다. 압축한 데이터가 상기 데이터 저장부(150)에 저장될 수 있다. 또한, 디지털 신호 처리부(200)에서는 기능적으로 색채 처리, 블러 처리, 엣지 강조 처리, 영상 해석 처리, 영상 인식 처리, 영상 이펙트 처리 등도 행할 수 있다. 영상 인식 처리로 얼굴 인식, 장면 인식 처리 등을 행할 수 있다. 예를 들어, 휘도 레벨 조정, 색 보정, 콘트라스트 조정, 윤곽 강조 조정, 화면 분할 처리, 캐릭터 영상 등 생성 및 영상의 합성 처리 등을 행할 수 있다. The digital camera 100 includes a digital signal processing unit (DSP) 200 that processes input image signals and controls each of the components according to an external input signal. The digital signal processing unit 200 reduces noise to input image data and performs gamma correction, color filter array interpolation, color matrix, color correction, And image signal processing for improving image quality such as color enhancement can be performed. Also, the image data generated by the image signal processing for image quality improvement may be compressed to generate an image file, or the image data may be recovered from the image file. The compression format of the image includes reversible format or irreversible format. And the compressed data may be stored in the data storage unit 150. In addition, the digital signal processing unit 200 can functionally perform color processing, blur processing, edge emphasis processing, image analysis processing, image recognition processing, image effect processing, and the like. The face recognizing process, the scene recognizing process, and the like can be performed by the image recognizing process. For example, brightness level adjustment, color correction, contrast adjustment, contour enhancement adjustment, screen division processing, character image generation, and image synthesis processing can be performed.

또한, 디지털 신호 처리부(200)는 프로그램 저장부(130)에 저장된 프로그램을 실행하거나, 별도의 모듈을 구비하여, 오토 포커싱, 줌 변경, 초점 변경, 자동 노출 보정 등을 제어하기 위한 제어 신호를 생성하여, 렌즈부 구동부(111), 조리개 구동부(113), 및 촬상 소자 제어부(116)에 제공하고, 셔터, 플래시 등 디지털 카메라(100)에 구비된 구성 요소들의 동작을 총괄적으로 제어할 수 있다. 도 2 및 3을 참조하여, 도 1에 도시된 디지털 신호 처리부(200)의 구체적인 구성을 설명한다.The digital signal processing unit 200 may execute a program stored in the program storage unit 130 or may include a separate module to generate a control signal for controlling autofocus, zoom change, focus change, automatic exposure correction, To the lens unit driving unit 111, the diaphragm driving unit 113 and the imaging device control unit 116 so that the operation of the components of the digital camera 100 such as the shutter and the flash can be collectively controlled. A specific configuration of the digital signal processing unit 200 shown in FIG. 1 will be described with reference to FIGS. 2 and 3. FIG.

도 2를 참조하면, 디지털 신호 처리부(200)는 해석부(201)와 요약 동영상 생성부(202)를 포함한다. 여기서, 디지털 신호 처리부(200)는 청구범위에 사용된 제어부와 동일한 의미로 이해되어야 한다. 디지털 신호 처리부(200)는 사용자로부터 동영상 또는 이미지를 포함하는 파일을 선택받는다. 여기서, 사용자는 조작부(170)를 통해 요약하고자 하는 동영상 또는 정지 영상을 선택할 수 있다. 또한, 디지털 신호 처리부(200)는 사용자의 수동 선택이 아니라, 임의로 또는 자동으로 결정된 동영상 또는 정지 영상을 선택받을 수 있다. 디지털 신호 처리부(200)는 파일의 속성에 따라 서로 다른 효과를 결정한다. 여기서, 파일의 속성은 선택된 파일이 동영상인지, 또는 정지 영상인지를 포함한다. 또한, 동영상인 경우, 연관된 이미지가 있는지 여부, 연관된 이미지가 몇 개인지 여부, 연관된 이미지의 시간 정보를 포함한다. 또한, 연관된 이미지가 없는 경우에는 동영상 길이 또는 동영상의 재생 시간이 파일 속성일 수 있다. 여기서, 연관 이미지는 동영상 녹화 중에 촬영된 정지 영상을 의미한다. 동영상 녹화 중에 촬영된 정지 영상이 있는지, 몇 장인지, 촬영된 타이밍에 대한 정보들이 파일 속성일 수 있다. 이러한 파일 속성은 동영상 파일의 헤더에 포함된 연관 이미지에 대한 정보로부터 해석이 가능하다. Referring to FIG. 2, the digital signal processing unit 200 includes an analyzing unit 201 and a summary moving image generating unit 202. Here, the digital signal processing unit 200 should be understood to have the same meaning as the control unit used in the claims. The digital signal processing unit 200 receives a moving image or a file including an image from a user. Here, the user can select a moving image or still image to be summarized through the operation unit 170. In addition, the digital signal processor 200 can select a moving image or still image determined arbitrarily or automatically, rather than manually selecting the user. The digital signal processing unit 200 determines different effects depending on the attributes of the file. Here, the attribute of the file includes whether the selected file is a moving image or a still image. Also, in the case of a moving image, it includes whether there is an associated image, how many associated images are, and time information of an associated image. Also, in the case where there is no associated image, the length of the moving picture or the duration of the moving picture may be a file property. Here, the associated image means a still image captured during movie recording. Information about whether there are still images shot during movie recording, how many frames are recorded, and the timing at which they were shot can be file attributes. These file attributes can be interpreted from information about associated images contained in the header of the video file.

또한, 정지 영상인 경우, 파일의 속성은 정지 영상의 촬영 형태를 포함한다. 예를 들면 파노라마 촬영인지, 고속 촬영인지, 연사 촬영인지가 촬영 형태일 수 있다. 여기서, 파노라마 촬영, 고속 촬영, 연사 촬영을 예로서 설명하지만, 이에 한정되지 않고 다양한 촬영 형태를 포함할 수 있음은 물론이다. 촬영 형태에 관한 정보는 정지 영상의 사진촬영정보 또는 Exif로부터 해석이 가능하다.Also, in the case of a still image, the attribute of the file includes the shooting form of the still image. For example, it may be a panoramic photographing, a high-speed photographing, or a continuous photographing. Although the panoramic photographing, the high-speed photographing, and the continuous photographing are described as an example, it is needless to say that the present invention may include various photographing modes. Information on the photographing mode can be interpreted from the photographing information of the still image or Exif.

디지털 신호 처리부(200)는 파일의 속성을 해석하고, 파일 속성에 따라 서로 다른 효과를 적용한다. 여기서, 효과는 하이브리드 효과, 일반 동영상 효과, 파노라마 이미지 효과, 폴더 이미지 효과, 싱글 이미지 효과 등 다양한 효과일 수 있으며, 요약 동영상 효과에 대해서는 후술한다.The digital signal processing unit 200 analyzes the attributes of the file and applies different effects according to the file attributes. Here, the effect may be various effects such as a hybrid effect, a general moving image effect, a panoramic image effect, a folder image effect, a single image effect, and the summary moving image effect will be described later.

해석부(201)는 요약 동영상을 생성하기 위해, 사용자로부터 동영상, 또는 정지 영상을 선택받아, 선택된 동영상 또는 정지 영상을 해석한다. 여기서, 동영상 또는 정지 영상의 해석은 각각의 파일을 해석하는 것을 의미한다. 예를 들면 동영상의 경우, 동영상 파일의 헤더를 해석함으로써, 선택된 동영상이 연관 이미지가 있는지 여부, 연관 이미지의 개수가 몇 개인지, 연관 이미지들 중 처음 이미지와 마지막 이미지 사이의 시간 간격이 긴지 짧은지, 연관 이미지가 없다면 동영상의 재생 시간에 긴지 짧은지를 해석한다.The analyzer 201 selects a moving image or a still image from the user to generate a summary moving image, and analyzes the selected moving image or still image. Here, the interpretation of a moving image or a still image implies interpretation of each file. For example, in the case of moving pictures, by interpreting the header of the moving picture file, it is possible to determine whether the selected moving picture has an associated image, how many associated images are present, whether the time interval between the first image and the last image , And if there is no associated image, it is interpreted as long or short in the duration of the video.

도 3을 참조하면, 해석부(201)는 파일 속성 결정부(301), 추출부(302) 및 효과 결정부(303)를 포함한다.3, the analysis unit 201 includes a file attribute determination unit 301, an extraction unit 302, and an effect determination unit 303. As shown in FIG.

파일 속성 결정부(301)는 입력된 또는 선택된 동영상 또는 정지 영상의 파일 속성을 결정한다. 파일 속성은 입력된 파일의 헤더를 해석함으로써 결정될 수 있다. 파일 속성은 입력 파일이 동영상인지 정지영상인지, 동영상인 경우 연관 이미지가 있는지, 연관 이미지의 개수가 몇 개인지, 연관 이미지의 시간 정보를 포함하고, 정지영상인 경우 파노라마 촬영인지, 고속 촬영인지, 연사 촬영인지를 포함할 수 있다.The file attribute determination unit 301 determines file attributes of the input or selected moving image or still image. The file attribute can be determined by interpreting the header of the input file. The file attribute includes whether the input file is a moving image or a still image, whether the input file is a related image, whether the input file is a moving image, how many associated images are included, and time information of an associated image. And whether it is continuous shooting.

추출부(302)는 입력된 동영상과 연관 이미지에 대한 정보를 추출한다. 또한, 추출부(302)는 연관 이미지의 시간 정보를 기초로 동영상의 키 세그먼트를 추출한다. 여기서, 연관 이미지는 동영상 녹화 중 촬영된 정지 영상을 의미하고, 시간 정보는 정지 영상이 촬영된 타이밍을 포함한다. 예를 들면 10분의 동영상인 경우, 연관 이미지가 1분, 5분, 8분에 촬영되었다면, 1분에 해당하는 연관 이미지의 앞뒤로 30초씩, 즉 1분의 세그먼트를 추출하고, 5분에 해당하는 연관 이미지의 앞뒤로 30초씩, 다른 1분의 세그먼트를 추출하고, 8분에 촬영된 연관 이미지의 앞뒤로 30초씩, 또 다른 1분의 세그먼트를 추출한다. 따라서, 요약 동영상의 길이는 3분으로 요약이 가능하다. 여기서, 연관 이미지의 촬영 시간 정보를 중심으로 앞뒤로 일정 시간으로 구분하여 동영상의 세그먼트를 추출하는 것을 설명하였지만, 이에 한정되지 않고, 다른 추출 방법이 가능함은 물론이다. The extraction unit 302 extracts information on the input moving image and the associated image. In addition, the extraction unit 302 extracts the key segment of the moving image based on the time information of the associated image. Here, the associated image means a still image captured during video recording, and the time information includes a timing at which the still image is captured. For example, for a 10-minute video, if the associated image was taken at 1 minute, 5 minutes, or 8 minutes, extract 30 seconds, or 1 minute, before and after the 1-minute associative image, Extract another one minute segment by 30 seconds before and after the related image, and extract another one minute segment by 30 seconds before and after the related image taken at 8 minutes. Therefore, the length of the summary video can be summarized to three minutes. Here, it has been described that the moving image segment is extracted by dividing the photographing time information of the related image into a predetermined time back and forth, but it is needless to say that other extraction methods are possible.

효과 결정부(303)는 파일의 속성, 연관된 이미지에 대한 정보를 기초로 요약 동영상에 적용하는 효과를 결정한다. 예를 들면 효과 결정부(303)는 연관된 이미지가 있는 경우에는 하이브리드 효과, 연관된 이미지가 일정 개수 이상이고, 최초 이미지와 마지막 이미지 사이의 시간 간격이 일정 시간 이상인 경우에는 데일리 스토리 효과, 연관된 이미지가 일정 개수이상이지만, 최초 이미지와 마지막 이미지 사이의 시간 간격이 일정 시간보다 짧은 경우에는 폴라로이드 효과, 연관된 이미지가 일정 개수보다 작은 경우에도 폴라로이드 효과, 연관된 이미지가 없는 경우에는 동영상 효과로 각각 결정한다. 또한, 동영상이 아닌 경우, 정지 영상이 파노마라 촬영인 경우 파노라마 효과, 정지 영상이 고속/연사 촬영인 경우 폴더 이미지 효과, 일반 촬영인 경우, 싱글 이미지 효과로 결정한다. 여기서, 각각의 효과를 설명하였지만, 이는 예시적인 것으로 이해되어야 하며, 파일의 속성, 연관 이미지에 대한 정보에 따라 다양한 효과를 적용할 수 있음은 물론이다. The effect determining unit 303 determines the effect to be applied to the summary moving image based on the attribute of the file and the information about the associated image. For example, the effect determination unit 303 may determine whether a hybrid effect exists when there is an associated image, a daily story effect when the time interval between the first image and the last image is longer than a predetermined time, If the time interval between the first image and the last image is shorter than a certain time, it is determined as a polaroid effect, a polaroid effect even when a related image is smaller than a certain number, and a moving image effect when there is no associated image. If the still image is not a moving image, it is determined as a panorama effect when the still image is taken, a folder image effect when the still image is high-speed / continuous shooting, and a single image effect when the still image is normal shooting. Herein, although the respective effects have been described, it should be understood that they are illustrative, and it is understood that various effects can be applied according to the information of the attributes of the file and the related images.

다시 도 2를 참조하면, 요약 동영상 생성부(202)는 결정한 효과에 따른 요약 동영상을 생성한다. 요약 동영상 생성부(202)는 입력된 파일의 속성을 해석하고, 해석한 결과에 따라 서로 다른 효과가 적용된 요약 동영상을 생성한다. 여기서, 요약 동영상은 다수의 정지 영상들로 이루어지거나, 동영상의 키 세그먼트를 추출하고, 키 세그먼트들의 조합으로 생성된 동영상을 포함한다. 요약 동영상 생성부(202)는 동영상 디코더, 동영상 인코더, 정지 영상 디코더를 포함할 수 있다. 동영상 디코더는 입력된 동영상의 키 세그먼트에 대한 추출 정보로부터 동영상을 디코딩하고, 정지 영상 디코더는 입력된 정지 영상으로부터 정지 영상을 디코딩한다. 그리고 동영상 인코더는 키 세그먼트 추출 정보에 따라 디코딩된 동영상 데이터, 파일의 속성에 따라 결정된 효과 적용에 대한 효과 정보 데이터, 및/또는 디코딩된 정지 영상 데이터를 이용하여 생성된 요약 동영상 데이터를 인코딩한다. Referring again to FIG. 2, the summary moving image generating unit 202 generates a summary moving image according to the determined effect. The summary moving image generating unit 202 analyzes the attributes of the input file and generates a summary moving image having different effects according to the analyzed result. Here, the summary video includes a plurality of still images, a key segment of the moving image is extracted, and a moving image generated by a combination of key segments is included. The summary moving picture generating unit 202 may include a moving picture decoder, a moving picture encoder, and a still picture decoder. The moving picture decoder decodes the moving picture from the extracted information about the key segment of the input moving picture, and the still picture decoder decodes the still picture from the inputted still picture. The moving picture encoder encodes the moving picture data decoded according to the key segment extraction information, the effect information data on the application of the effect determined according to the attribute of the file, and / or the summary moving picture data generated using the decoded still picture data.

예를 들면, 동영상 디코더는 H.264, MPEG-4, MPEG-2 등과 같은 압축 포맷으로 인코딩된 동영상 비트 스트림을 압축되지 않은 YUV/RGB 동영상 프레임 포맷으로 디코딩한다. 동영상 인코더는 YUV/RGB 동영상 프레임 포맷을 H.264, MPEG-4, MPEG-2와 같은 압축 포맷으로 실시간 인코딩한다. 정지 영상 디코더는 인코딩된 JPEG 이미지들을 압축되지 않은 YUV/RGB 이미지로 디코딩한다. 여기서, 각각의 인코더 및 디코더가 디지털 신호 처리부(200)에서 소프트웨어적으로 구현되는 것으로 설명하였지만, 각각의 인코더 및 디코더가 하드웨어로 구현할 수 있음은 물론이다. For example, a video decoder decodes a video bitstream encoded in a compression format such as H.264, MPEG-4, MPEG-2, etc. into an uncompressed YUV / RGB video frame format. The video encoder real-time encodes the YUV / RGB video frame format into a compressed format such as H.264, MPEG-4, or MPEG-2. The still image decoder decodes the encoded JPEG images into an uncompressed YUV / RGB image. Although it has been described herein that the encoders and decoders are implemented in software in the digital signal processor 200, it is needless to say that the respective encoders and decoders can be implemented in hardware.

도 4는 본 발명의 다른 실시 예에 따른 요약 동영상 생성 방법을 설명하기 위한 흐름도이다.4 is a flowchart illustrating a method of generating a summary moving picture according to another embodiment of the present invention.

도 4를 참조하면, 단계 400에서, 이미지 및/또는 동영상을 입력받는다. 여기서, 사용자에 의해 이미지와 동영상이 함께 선택될 수 있으며, 각각 선택될 수도 있다. 또한, 복수의 이미지 또는 복수의 동영상이 선택될 수도 있다. 또한, 사용자에 의해 수동 선택에 의해 입력될 수 있으며, 자동으로 설정되어 입력될 수도 있다. Referring to FIG. 4, in step 400, an image and / or a moving image are input. Here, the image and the moving image may be selected by the user together, or may be selected by the user. Further, a plurality of images or a plurality of moving images may be selected. It can also be entered manually by the user or automatically set and entered.

단계 402에서, 입력 이미지 또는 입력 동영상의 파일을 다양한 카테고리로 분리한다. 여기서, 카테고리는 입력된 파일의 속성을 해석함으로써 분리될 수 있다. 파일 속성은 입력 파일이 동영상인지 정지영상인지, 동영상인 경우 연관 이미지가 있는지, 연관 이미지의 개수가 몇 개인지, 연관 이미지의 시간 정보를 포함하고, 정지영상인 경우 파노라마 촬영인지, 고속 촬영인지, 연사 촬영인지를 포함할 수 있다.In step 402, the input image or the file of the input moving image is divided into various categories. Here, the category can be separated by interpreting the attributes of the input file. The file attribute includes whether the input file is a moving image or a still image, whether the input file is a related image, whether the input file is a moving image, how many associated images are included, and time information of an associated image. And whether it is continuous shooting.

단계 404에서, 사용자로부터 테마를 입력받는다. 여기서, 테마는 요약하고자 하는 요약 동영상의 전체적인 분위기를 의미한다. 예를 들면 테마는 행복함, 자연스러움, 슬픔 등을 포함할 수 있다. In step 404, a theme is input from the user. Here, the theme means the overall atmosphere of the summary video to be summarized. For example, a theme can include happiness, naturalness, and sadness.

단계 406에서, 미리 설정된 효과가 선택된다. 단계 404에서, 선택된 테마에 따라 미리 결정된 테마에 어울리는 요약 동영상의 효과가 선택된다.In step 406, a preset effect is selected. At step 404, the effect of the summary video matching the predetermined theme is selected according to the selected theme.

단계 408에서, 선택된 효과에 상응하는 파일들을 매핑한다. 여기서, 선택된 효과를 적용하기 위한 동영상 또는 이미지 파일들을 정한다. In step 408, the files corresponding to the selected effect are mapped. Here, moving image or image files for applying the selected effect are determined.

여기서, 단계 404 내지 408은 요약 동영상을 생성하기 위해 테마 선택과 테마 선택에 따른 효과 적용을 디폴트로 제공하는 것으로, 제외되고 요약 동영상을 생성할 수도 있다.Here, steps 404 to 408 are provided by default to apply effects according to theme selection and theme selection in order to generate a summary video, which may be excluded and generate a summary video.

단계 410에서, 단계 400에서 입력된 파일이 동영상인지 판단한다. 동영상이 아닌 경우에는 단계 412에서, 이미지 파일에 선택된 효과를 적용한 요약 동영상을 생성한다. 여기서, 이미지 파일이 복수 개로 여러 장의 이미지들을 가지고 단계 404 내지 408에서 결정된 효과를 적용하여 요약 동영상을 생성한다. 또한, 사용자로부터 요약 동영상의 길이 또는 재생 시간, 요약 동영상의 사이즈, 예를 들면 1280×1080, 640×480, 320×240 등을 입력받아, 이를 요약 동영상 생성에 반영할 수도 있다.In step 410, it is determined whether the file input in step 400 is a moving image. If not, in step 412, a summary animation is generated by applying the selected effect to the image file. Here, the summary image is generated by applying the effect determined in steps 404 to 408 with a plurality of images of a plurality of image files. Also, the user can input the length of the summary moving image, the playback time, and the size of the summary moving image, for example, 1280 × 1080, 640 × 480, 320 × 240, and the like.

단계 410에서, 입력 파일이 동영상인 경우, 단계 414에서, 동영상의 키 세그먼트를 추출한다. 여기서, 키 세그먼트는 요약 동영상을 이루는 단위로 중요 또는 관심 부분을 의미한다. 키 세그먼트는 동영상 파일의 헤더에 포함된 연관 이미지의 시간 정보를 기초로 동영상 파일로부터 추출된다. 예를 들면 10분의 동영상인 경우, 연관 이미지가 1분, 5분, 8분에 촬영되었다면, 1분에 해당하는 연관 이미지의 앞뒤로 30초씩, 즉 1분의 세그먼트를 추출하고, 5분에 해당하는 연관 이미지의 앞뒤로 30초씩, 다른 1분의 세그먼트를 추출하고, 8분에 촬영된 연관 이미지의 앞뒤로 30초씩, 또 다른 1분의 세그먼트를 추출한다. 각각의 키 세그먼트를 합성하여 3분의 요약 동영상을 생성할 수 있다.At step 410, if the input file is a movie, at step 414, the key segment of the movie is extracted. Here, the key segment means an important or interested part in units of a summary moving picture. The key segment is extracted from the video file based on the time information of the associated image included in the header of the video file. For example, for a 10-minute video, if the associated image was taken at 1 minute, 5 minutes, or 8 minutes, extract 30 seconds, or 1 minute, before and after the 1-minute associative image, Extract another one minute segment by 30 seconds before and after the related image, and extract another one minute segment by 30 seconds before and after the related image taken at 8 minutes. Each key segment can be combined to generate a three-minute summary video.

단계 416에서, 동영상에 연관된 이미지에 대한 정보에 따라 효과를 결정한다. 예를 들면, 연관된 이미지가 있는 경우에는 하이브리드 효과, 연관된 이미지가 일정 개수 이상이고, 최초 이미지와 마지막 이미지 사이의 시간 간격이 일정 시간 이상인 경우에는 데일리 스토리 효과, 연관된 이미지가 일정 개수이상이지만, 최초 이미지와 마지막 이미지 사이의 시간 간격이 일정 시간보다 짧은 경우에는 폴라로이드 효과, 연관된 이미지가 일정 개수보다 작은 경우에도 폴라로이드 효과, 연관된 이미지가 없는 경우에는 동영상 효과로 각각 결정한다.In step 416, the effect is determined according to the information about the image associated with the moving image. For example, if there is an associated image, there are hybrid effects, a certain number of related images, and if the time interval between the first image and the last image is longer than a certain time, the daily story effect, If the time interval between the last image and the last image is shorter than a certain time, it is determined as a polaroid effect, a polaroid effect even when a related image is smaller than a certain number, and a moving image effect when there is no associated image.

단계 418에서, 단계 414에서 추출한 키 세그먼트와 단계 416에서 결정한 효과를 적용한 요약 동영상을 생성한다. In step 418, the key segment extracted in step 414 and the summary video using the effect determined in step 416 are generated.

도 5는 본 발명의 또 다른 실시 예에 따른 파일 속성에 따른 효과 적용 방법을 설명하기 위한 흐름도이다.5 is a flowchart illustrating a method of applying effects according to file attributes according to another embodiment of the present invention.

도 5를 참조하면, 단계 500에서, 동영상 및/또는 이미지를 선택받는다. 단계 502에서, 동영상인 경우, 단계 504에서, 연관된 이미지가 있는지 판단한다. 연관 이미지가 있는지에 대한 판단은 동영상 파일의 헤더에 연관 이미지의 시간 정보가 저장되어 있는지를 확인함으로써 연관 이미지의 존재를 판단할 수 있다. 여기서, 연관 이미지는 동영상 녹화 중 촬영된 이미지를 의미한다. 또한, 녹화중 촬영된 이미지뿐만 아니라, 녹화된 동영상과 관련 있는 것으로 사용자가 설정한 이미지일 수도 있다.Referring to FIG. 5, in step 500, a moving picture and / or an image are selected. In step 502, if it is a movie, in step 504, it is determined whether there is an associated image. The determination as to whether there is an associated image can be made by checking whether the time information of the associated image is stored in the header of the moving image file to determine the existence of the associated image. Here, the associated image means an image photographed during movie recording. In addition, it may be an image set by the user in association with a recorded moving image, as well as an image photographed during recording.

단계 504에서, 연관된 이미지가 있는 경우에는 단계 506에서, 연관 이미지를 획득한다. 동영상 파일의 헤더에는 연관 이미지에 대한 정보가 저장되어 있으므로, 연관 이미지 정보로부터 기록매체(미도시)에 저장된 이미지 파일을 가져올 수 있다.At step 504, if there is an associated image, at step 506, an associated image is obtained. Since the information about the associated image is stored in the header of the moving image file, the image file stored in the recording medium (not shown) can be fetched from the associated image information.

단계 508에서, 연관 이미지가 있는 경우, 단계 508에서, 하이브리드 효과로 결정하고, 단계 522로 진행한다.At step 508, if there is an associated image, at step 508, a hybrid effect is determined and step 522 is proceeded to.

단계 504에서, 연관 이미지가 없는 경우에는 단계 510에서, 동영상 효과로 결정하고, 단계 522로 진행한다.In step 504, if there is no associated image, then in step 510, a motion picture effect is determined and step 522 is proceeded to.

단계 502에서, 동영상이 아닌 경우, 단계 512에서, 파노라마 이미지인지 판단한다. 파노라마 이미지인지 여부는 이미지 파일의 EXIF 정보로부터 알 수 있다. 단계 512에서, 파노라마 이미지인 경우, 단계 514에서, 파노라마 이미지 효과로 결정하고, 단계 522로 진행한다.In step 502, if it is not a moving image, in step 512, it is determined whether it is a panoramic image. Whether or not the image is a panoramic image can be known from the EXIF information of the image file. At step 512, if it is a panoramic image, at step 514, a panoramic image effect is determined and step 522 is proceeded to.

단계 512에서, 파노라마 이미지가 아닌 경우, 단계 516에서, 연사 또는 고속 촬영 이미지인지 판단한다. 연사 또는 고속 촬영 이미지인지 여부는 이미지 파일의 EXIF 정보로부터 알 수 있다. 단계 516에서, 연사 또는 고속 촬영 이미지인 경우에는 단계 518에서, 폴더 이미지 효과로 결정하고, 단계 522로 진행한다.At step 512, if it is not a panoramic image, at step 516, it is determined whether it is a continuous shooting or a high speed shooting image. Whether the image is a continuous shot or a high-speed shot image can be known from the EXIF information of the image file. In step 516, if it is a continuous shot or high-speed shot image, in step 518, a folder image effect is determined, and the process proceeds to step 522. [

단계 516에서, 연사 또는 고속 촬영 이미지가 아닌 경우에는 단계 520에서, 싱글 이미지 효과로 결정한다.If it is determined in step 516 that the image is not a continuous shot or a high-speed shot image, in step 520, a single-image effect is determined.

단계 522에서, 마지막 파일인 경우에는 종료하고, 마지막 파일이 아닌 경우에는 단계 500으로 되돌아간다. In step 522, the process ends if the file is the last file. If the file is not the last file, the process returns to step 500.

도 6은 본 발명의 또 다른 실시 예에 따른 파일 속성에 따른 효과 적용 방법을 설명하기 위한 흐름도이다.6 is a flowchart illustrating a method of applying effects according to file attributes according to another embodiment of the present invention.

도 6을 참조하면, 단계 600에서, 동영상과 연관된 이미지에 대한 정보를 획득한다. 단계 602에서, 동영상 촬영 중 이미지들이 촬영된 시간 정보를 추출한다. 단계 604에서, 연관 이미지의 수가 4개 이상인지 판단한다. 여기서, 4개 이상인지 여부는 임의로 결정할 수 있으며, 그 숫자에 한정되는 것은 아니다. 단계 604에서, 연관 이미지의 수가 4개 이상인 경우, 단계 606에서, 최초 이미지와 마지막 이미지 사이의 시간 간격이 30초 이상인지 판단한다. 마찬가지로, 30초 이상인지 여부는 임의로 결정할 수 있으며, 그 숫자에 한정되는 것은 아니다. 단계 606에서, 30초 이상인 경우에는 단계 608로 진행하여 데일리 스토리 효과로 결정한다. 도 10 및 11을 참조하여 데일리 스토리 효과가 적용된 요약 동영상을 설명한다.Referring to FIG. 6, in step 600, information on an image associated with a moving image is obtained. In step 602, time information on which images were taken during motion picture shooting is extracted. In step 604, it is determined whether the number of associated images is four or more. Here, whether or not the number is four or more can be determined arbitrarily, and is not limited to the number. In step 604, if the number of associated images is four or more, in step 606, it is determined whether the time interval between the first image and the last image is 30 seconds or more. Likewise, whether or not it is 30 seconds or longer can be arbitrarily determined, and is not limited to that number. In step 606, if it is 30 seconds or more, the process proceeds to step 608 to determine a daily story effect. 10 and 11, a summary moving picture to which the daily story effect is applied will be described.

도 10을 참조하면, 디스플레이 화면의 제1 영역에는 동영상(1000)이 재생된다. 그리고 제2 영역, 즉 화면 상단에는 연관 이미지 1 내지 4(1010 내지 1040)가 우측에서 좌측으로 슬라이딩하면서 디스플레이된다. Referring to FIG. 10, a moving picture 1000 is reproduced in a first area of a display screen. And the associated images 1 to 4 (1010 to 1040) are displayed while sliding from the right side to the left side in the second area, that is, the top of the screen.

도 11a 내지 11f에 도시된 것처럼, 제1 영역에는 하루의 시간 변화를 느낄 있도록 요약된 동영상이 재생된다. 제2 영역에는 연관 이미지들이 촬영 타이밍 순서로 배열되어 좌측에서 우측으로 슬라이딩하면서 디스플레이된다. 여기서, 연관 이미지를 썸네일 이미지이며, 슬라이딩하는 시간은 제1 영역에 재생되는 동영상의 화면 전환 타이밍에 동기된다. As shown in Figs. 11A to 11F, a moving picture summarized so as to feel a change in time of day is reproduced in the first area. In the second area, the associated images are arranged in the order of shooting timing and displayed while sliding from left to right. Here, the associated image is a thumbnail image, and the sliding time is synchronized with the screen switching timing of the moving picture to be reproduced in the first area.

단계 606에서, 최초 이미지와 마지막 이미지 사이의 시간 간격이 30초보다 짧은 경우에는 단계 612에서, 폴라로이드 효과로 결정한다. In step 606, if the time interval between the original image and the last image is shorter than 30 seconds, then in step 612, a polaroid effect is determined.

단계 604에서, 연관 이미지의 수가 4개보다 적은 경우에는 단계 610에서, 연관 이미지의 수가 2개 이상인지 판단한다. 연관 이미지의 수가 2개 이상인 경우에는 단계 612에서, 폴라로이드 효과로 결정한다. 도 8 및 9를 참조하여 폴라로이드 효과가 적용된 요약 동영상을 설명한다.In step 604, if the number of associated images is less than four, it is determined in step 610 whether the number of associated images is two or more. If the number of associated images is two or more, the polaroid effect is determined in step 612. 8 and 9, a summary animation in which the polaroid effect is applied will be described.

도 8을 참조하면, 폴라로이드 효과가 적용된 요약 동영상이 디스플레이되어 있다. 디스플레이 화면의 제1 영역에는 동영상(800)을 재생하다가, 연관 이미지가 촬영된 타이밍에 연관 이미지(810)가 화면 중앙에 팝업되어 디스플레이된다.Referring to FIG. 8, a summary video to which the polaroid effect is applied is displayed. The moving image 800 is reproduced in the first area of the display screen and the associated image 810 is popped up at the center of the screen at the timing at which the associated image is photographed.

도 9a를 참조하면, 동영상(900)이 재생된다. 도 9b 및 9c에서, 연관 이미지(910)가 촬영된 타이밍에 연관 이미지(910)가 나타나고, 화면 중앙에 폴라로이드 사진처럼 디스플레이된다. 도 9d에서, 디스플레이된 연관 이미지(930)가 점차 사라진다. 도 9e에서, 동영상(900)이 재생된다. Referring to FIG. 9A, a moving picture 900 is reproduced. 9B and 9C, the associated image 910 appears at the timing at which the associated image 910 was taken, and is displayed as a polaroid photograph in the center of the screen. 9D, the displayed associated image 930 gradually disappears. 9E, a moving picture 900 is reproduced.

단계 610에서, 연관 이미지의 수가 2개보다 적은 경우에는 단계 614에서, 동영상 효과로 결정한다. 여기서, 동영상 효과는 노멀 동영상으로 처리하는 것을 의미하며, 하나의 연관 이미지의 촬영 타이밍을 동영상의 중간 지점으로 해서, 중간 지점을 중심으로 10초간의 키 세그먼트를 추출하여 요약 동영상을 생성한다.In step 610, if the number of associated images is less than two, then in step 614, a motion picture effect is determined. Here, the motion picture effect means processing as a normal motion picture, and a summary motion picture is generated by extracting the key segment for 10 seconds centering on the middle point, with the shooting timing of one associated image as the middle point of the motion picture.

도 7은 본 발명의 또 다른 실시 예에 따른 파일 속성에 따른 효과 적용 방법을 설명하기 위한 흐름도이다.7 is a flowchart illustrating a method of applying effects according to file attributes according to another embodiment of the present invention.

도 7을 참조하면, 단계 700에서, 동영상 파일을 획득한다. 단계 702에서, 동영상 재생 시간이 1분 이하인지 판단한다. 동영상 재생 시간이 1분 이하인 경우에는 단계 704에서, 동영상 시작부터 10초간의 동영상 데이터들을 키 세그먼트로 추출하고, 10초 건너뛰고, 10초간의 동영상 데이터들을 다른 키 세그먼트로 추출하는 방식으로 추출한다. 즉, 1분의 동영상을 30초의 요약 동영상으로 생성한다. Referring to FIG. 7, in step 700, a moving picture file is acquired. In step 702, it is determined whether the moving image playback time is one minute or less. If the moving image playback time is one minute or less, the moving image data for ten seconds from the beginning of the moving image is extracted as a key segment in step 704, skipped 10 seconds, and the moving image data for 10 seconds is extracted by another key segment. That is, one minute video is generated as a 30 second summary video.

단계 702에서, 동영상 재생 시간이 1분보다 긴 경우에는 단계 706에서, 동영상 재생 시간이 3분 이하인지 판단한다. 단계 706에서, 동영상 재생 시간이 3분보다 긴 경우에는 단계 708에서, 빨리 감기 효과로 결정한다.If it is determined in step 702 that the moving image playback time is longer than one minute, it is determined in step 706 whether the moving image playback time is less than three minutes. If it is determined in step 706 that the moving image playback time is longer than three minutes, the fast forward effect is determined in step 708.

단계 706에서, 동영상 재생 시간이 3분 이하인 경우에는 단계 710에서, 동영상을 3개의 동일한 시간의 세그먼트로 분할하고, 단계 712에서, 각각의 세그먼트로부터 10초간의 동영상 데이터들을 키 세그먼트로 추출한다. 그리고, 요약 동영상을 디스플레이하는 경우, 디스플레이 화면의 레이 아웃을 첫번째 세그먼트에서는 전체 화면으로 재생하다가, 두번째 세그먼트에 해당하는 타이밍에 화면을 반으로 분할하여 두번째 세그먼트에 해당하는 동영상을 재생하다가, 세번째 세그먼트에 해당하는 타이밍에는 화면의 절반에 세번째 세그먼트에 해당하는 동영상을 재생한다. 이때 나머지 절반에는 첫번째 및 두번째 세그먼트에 해당하는 동영상의 마지막 프레임이 멈춤 상태로 디스플레이된다. 그리고, 각각의 세그먼트는 단계 712에서, 키 세그먼트들로 요약된다.In step 706, if the moving picture playback time is less than or equal to three minutes, the moving picture is divided into three equal time segments in step 710, and 10 seconds of moving picture data from each of the segments is extracted as a key segment. When displaying the summary moving picture, the layout of the display screen is reproduced in the full screen in the first segment, the moving picture corresponding to the second segment is divided by half in the timing corresponding to the second segment, and the third segment At the corresponding timing, the moving picture corresponding to the third segment is played in half of the screen. The last half of the video corresponding to the first and second segments is displayed in a stopped state in the remaining half. And, each segment is summarized in step 712 as key segments.

본 발명에 따른 장치는 프로세서, 프로그램 데이터를 저장하고 실행하는 메모리, 디스크 드라이브와 같은 영구 저장부(permanent storage), 외부 장치와 통신하는 통신 포트, 터치 패널, 키(key), 버튼 등과 같은 사용자 인터페이스 장치 등을 포함할 수 있다. 소프트웨어 모듈 또는 알고리즘으로 구현되는 방법들은 상기 프로세서상에서 실행 가능한 컴퓨터가 읽을 수 있는 코드들 또는 프로그램 명령들로서 컴퓨터가 읽을 수 있는 기록 매체 상에 저장될 수 있다. 여기서 컴퓨터가 읽을 수 있는 기록 매체로 마그네틱 저장 매체(예컨대, ROM(read-only memory), RAM(random-access memory), 플로피 디스크, 하드 디스크 등) 및 광학적 판독 매체(예컨대, 시디롬(CD-ROM), 디브이디(DVD: Digital Versatile Disc)) 등이 있다. 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템들에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행될 수 있다. 매체는 컴퓨터에 의해 판독가능하며, 메모리에 저장되고, 프로세서에서 실행될 수 있다. An apparatus according to the present invention may include a processor, a memory for storing and executing program data, a permanent storage such as a disk drive, a communication port for communicating with an external device, a user interface such as a touch panel, a key, Devices, and the like. Methods implemented with software modules or algorithms may be stored on a computer readable recording medium as computer readable codes or program instructions executable on the processor. Here, the computer-readable recording medium may be a magnetic storage medium such as a read-only memory (ROM), a random-access memory (RAM), a floppy disk, a hard disk, ), And a DVD (Digital Versatile Disc). The computer-readable recording medium may be distributed over networked computer systems so that computer readable code can be stored and executed in a distributed manner. The medium is readable by a computer, stored in a memory, and executable on a processor.

본 발명에서 인용하는 공개 문헌, 특허 출원, 특허 등을 포함하는 모든 문헌들은 각 인용 문헌이 개별적으로 및 구체적으로 병합하여 나타내는 것 또는 본 발명에서 전체적으로 병합하여 나타낸 것과 동일하게 본 발명에 병합될 수 있다.All documents, including publications, patent applications, patents, etc., cited in the present invention may be incorporated into the present invention in the same manner as each cited document is shown individually and specifically in conjunction with one another, .

본 발명의 이해를 위하여, 도면에 도시된 바람직한 실시 예들에서 참조 부호를 기재하였으며, 본 발명의 실시 예들을 설명하기 위하여 특정 용어들을 사용하였으나, 특정 용어에 의해 본 발명이 한정되는 것은 아니며, 본 발명은 당업자에 있어서 통상적으로 생각할 수 있는 모든 구성 요소들을 포함할 수 있다. In order to facilitate understanding of the present invention, reference will be made to the preferred embodiments shown in the drawings, and specific terminology is used to describe the embodiments of the present invention. However, the present invention is not limited to the specific terminology, Lt; / RTI > may include all elements commonly conceivable by those skilled in the art.

본 발명은 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 발명은 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩 업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 본 발명에의 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있는 것과 유사하게, 본 발명은 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 발명은 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. “매커니즘”, “요소”, “수단”, “구성”과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.The present invention may be represented by functional block configurations and various processing steps. These functional blocks may be implemented in a wide variety of hardware and / or software configurations that perform particular functions. For example, the present invention may be implemented in integrated circuit configurations such as memory, processing, logic, look-up tables, etc. that may perform various functions by control of one or more microprocessors or other control devices Can be employed. Similar to the components of the present invention that may be implemented with software programming or software components, the present invention may be implemented as a combination of C, C ++, and C ++, including various algorithms implemented with data structures, processes, routines, , Java (Java), assembler, and the like. Functional aspects may be implemented with algorithms running on one or more processors. Further, the present invention can employ conventional techniques for electronic environment setting, signal processing, and / or data processing. Terms such as "mechanism", "element", "means", "configuration" may be used broadly and are not limited to mechanical and physical configurations. The term may include the meaning of a series of routines of software in conjunction with a processor or the like.

본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.The specific acts described in the present invention are, by way of example, not intended to limit the scope of the invention in any way. For brevity of description, descriptions of conventional electronic configurations, control systems, software, and other functional aspects of such systems may be omitted. Also, the connections or connecting members of the lines between the components shown in the figures are illustrative of functional connections and / or physical or circuit connections, which may be replaced or additionally provided by a variety of functional connections, physical Connection, or circuit connections. Also, unless explicitly mentioned, such as " essential ", " importantly ", etc., it may not be a necessary component for application of the present invention.

본 발명의 명세서(특히 특허청구범위에서)에서 “상기”의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 본 발명에서 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 발명의 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다. 마지막으로, 본 발명에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 본 발명이 한정되는 것은 아니다. 본 발명에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 본 발명을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 발명의 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.The use of the terms " above " and similar indication words in the specification of the present invention (particularly in the claims) may refer to both singular and plural. In addition, in the present invention, when a range is described, it includes the invention to which the individual values belonging to the above range are applied (unless there is contradiction thereto), and each individual value constituting the above range is described in the detailed description of the invention The same. Finally, the steps may be performed in any suitable order, unless explicitly stated or contrary to the description of the steps constituting the method according to the invention. The present invention is not necessarily limited to the order of description of the above steps. The use of all examples or exemplary language (e.g., etc.) in this invention is for the purpose of describing the present invention only in detail and is not to be limited by the scope of the claims, It is not. It will also be appreciated by those skilled in the art that various modifications, combinations, and alterations may be made depending on design criteria and factors within the scope of the appended claims or equivalents thereof.

100: 디지털 카메라
110: 렌즈부
200: 디지털 신호 처리부
201: 해석부
202: 요약 동영상 생성부
301: 파일 속성 결정부
302: 추출부
303: 효과 결정부100: Digital camera
110:
200: Digital signal processor
201:
202:
301: File attribute determination unit
302:
303: Effect determination unit

Claims (22)

동영상 또는 이미지를 포함하는 파일을 선택받는 단계; 및
상기 선택받은 파일의 속성에 따라 서로 다른 효과가 결정되고, 상기 결정된 효과가 적용된 요약 동영상을 디스플레이하는 단계를 포함하고,
상기 파일의 속성은,
상기 파일에 포함된 연관 이미지에 대한 정보이고,
상기 선택받은 파일이 동영상이고, 상기 동영상 파일에 포함된 연관 이미지의 개수가 제1 임계값 이상이고, 최초 연관 이미지와 마지막 연관 이미지 사이의 시간 간격이 제2 임계값 이상인 경우,
상기 요약 동영상은,
디스플레이 화면의 제1 영역에 상기 동영상을 디스플레이하고,
상기 디스플레이 화면의 제2 영역에 상기 연관 이미지를 일 방향으로 슬라이딩하면서 디스플레이하도록 생성된 것을 특징으로 하는 요약 동영상 디스플레이 방법.Selecting a file including a moving image or an image; And
And displaying a summary video to which different effects are determined according to attributes of the selected file and the determined effect is applied,
The attributes of the file include,
Information about an associated image included in the file,
Wherein if the selected file is a moving picture and the number of associated images included in the moving picture file is equal to or greater than a first threshold value and a time interval between the first associated image and the last associated image is equal to or greater than a second threshold value,
In the summary video,
Displays the moving picture in a first area of the display screen,
And displaying the associated image in a second region of the display screen while sliding the associated image in one direction. 제 1 항에 있어서,
상기 연관 이미지는,
상기 동영상의 녹화 중 촬영된 이미지인 것을 특징으로 하는 요약 동영상 디스플레이 방법.The method according to claim 1,
The associative image may include:
Wherein the moving image is an image photographed during the recording of the moving image. 제 1 항에 있어서,
상기 연관 이미지에 대한 정보는,
상기 연관 이미지가 촬영된 시간 정보를 포함하는 것을 특징으로 하는 요약 동영상 디스플레이 방법.The method according to claim 1,
The information on the associative image may include,
Wherein the associated image includes time information of the taken image. 제 1 항에 있어서,
상기 연관 이미지에 대한 정보는,
상기 연관 이미지의 개수를 포함하는 것을 특징으로 하는 요약 동영상 디스플레이 방법.The method according to claim 1,
The information on the associative image may include,
And the number of associated images. 제 1 항에 있어서,
상기 연관 이미지에 대한 정보는,
상기 동영상의 파일 헤더에 저장되는 것을 특징으로 하는 요약 동영상 디스플레이 방법.The method according to claim 1,
The information on the associative image may include,
Wherein the moving picture is stored in a file header of the moving picture. 제 1 항에 있어서,
상기 선택받은 파일이 이미지인 경우, 상기 이미지의 촬영 형태에 따라 서로 다른 효과가 적용된 요약 동영상을 생성하는 단계를 더 포함하는 것을 특징으로 하는 요약 동영상 디스플레이 방법. The method according to claim 1,
Further comprising the step of generating a summary moving picture to which different effects are applied according to a photographing mode of the image when the selected file is an image. 제 6 항에 있어서,
상기 촬영 형태는,
파노라마 촬영, 연사 촬영 및 고속 촬영 중 하나인 것을 특징으로 하는 요약 동영상 디스플레이 방법. The method according to claim 6,
In the photographing mode,
Panorama shooting, continuous shooting, and high-speed shooting. 제 1 항에 있어서,
상기 선택받은 파일이 동영상이고, 상기 동영상의 파일에 포함된 연관 이미지가 없는 경우, 상기 동영상의 재생 시간에 따라 서로 다른 효과가 적용된 요약 동영상을 생성하는 단계를 더 포함하는 것을 특징으로 하는 요약 동영상 디스플레이 방법.The method according to claim 1,
Further comprising the step of generating a summary video having different effects according to the playback time of the video if the selected file is a video and there is no associated image included in the file of the video, Way. 삭제delete 제 1항에 있어서,
상기 최초 연관 이미지와 마지막 연관 이미지 사이의 시간 간격이 상기 제2 임계값보다 작은 경우,
상기 요약 동영상은,
상기 디스플레이 화면에 상기 동영상을 디스플레이하고,
상기 연관 이미지가 촬영된 시간에 상기 디스플레이한 동영상에 오버랩되어 팝 업 되었다가 사라지면서 디스플레이되도록 생성된 것을 특징으로 하는 요약 동영상 디스플레이 방법. The method according to claim 1,
If the time interval between the first associated image and the last associated image is less than the second threshold,
In the summary video,
Displays the moving picture on the display screen,
Wherein the related image is generated so as to be overlapped and popped up and disappear when the associated image is photographed at the time of photographing. 제 1항에 있어서,
상기 선택받은 파일이 동영상이고, 상기 동영상 파일에 포함된 연관 이미지의 개수가 제3 임계값이상이고, 상기 제1 임계값보다 적은 경우,
상기 요약 동영상은,
상기 디스플레이 화면에 상기 동영상을 디스플레이하고,
상기 연관 이미지가 촬영된 시간에 상기 디스플레이한 동영상에 오버랩되어 팝 업 되었다가 사라지면서 디스플레이되도록 생성된 것을 특징으로 하는 요약 동영상 디스플레이 방법. The method according to claim 1,
If the selected file is a moving picture and the number of associated images included in the moving picture file is equal to or larger than a third threshold value and smaller than the first threshold value,
In the summary video,
Displays the moving picture on the display screen,
Wherein the related image is generated so as to be overlapped and popped up and disappear when the associated image is photographed at the time of photographing. 제 1 항에 있어서,
상기 요약 동영상의 테마를 입력받는 단계; 및
상기 입력된 테마에 따라 미리 결정된 효과를 적용한 요약 동영상을 생성하는 단계를 더 포함하는 것을 특징으로 하는 요약 동영상 디스플레이 방법.The method according to claim 1,
Receiving a theme of the summary moving picture; And
Further comprising generating a summary moving picture to which a predetermined effect is applied according to the inputted theme. 제 1 항에 있어서,
상기 연관 이미지에 대한 정보를 기초로 상기 동영상으로부터 키 세그먼트를 추출하는 단계; 및
상기 추출한 키 세그먼트 및 상기 결정된 효과를 이용하여 상기 요약 동영상을 생성하는 단계를 더 포함하는 것을 특징으로 하는 요약 동영상 디스플레이 방법.The method according to claim 1,
Extracting a key segment from the moving image based on the information about the associated image; And
Further comprising generating the summary moving picture by using the extracted key segment and the determined effect. 제 1 항에 있어서,
상기 연관 이미지들이 촬영된 각각의 시간 정보를 기초로 상기 동영상으로부터 키 세그먼트들을 추출하는 단계;
상기 연관 이미지들의 개수 및 상기 연관 이미지들 사이의 시간 간격 중 적어도 하나로부터 상기 요약 동영상에 적용할 효과를 결정하는 단계; 및
상기 추출한 키 세그먼트들 및 상기 결정한 효과를 적용한 요약 동영상을 생성하는 단계를 더 포함하는 것을 특징으로 하는 요약 동영상 디스플레이 방법.The method according to claim 1,
Extracting key segments from the moving image based on respective time information of the associated images;
Determining an effect to be applied to the summary moving picture from at least one of the number of related images and a time interval between the related images; And
Further comprising generating the extracted key segments and the summary moving picture to which the determined effect is applied. 동영상을 입력받아, 상기 입력 동영상의 동영상 파일의 속성을 해석하는 단계;
상기 속성에 따라 상기 동영상 파일로부터 키 세그먼트를 추출하는 단계;
상기 속성에 따라 서로 다른 효과를 결정하는 단계;
상기 추출한 키 세그먼트 및 상기 결정한 효과를 적용한 요약 동영상을 생성하는 단계를 포함하고,
상기 동영상 파일의 속성은,
상기 동영상 파일에 포함된 연관 이미지에 대한 정보이고,
상기 동영상 파일에 포함된 연관 이미지의 개수가 제1 임계값 이상이고, 최초 연관 이미지와 마지막 연관 이미지 사이의 시간 간격이 제2 임계값 이상인 경우,
상기 요약 동영상은,
디스플레이 화면의 제1 영역에 상기 동영상을 디스플레이하고,
상기 디스플레이 화면의 제2 영역에 상기 연관 이미지를 일 방향으로 슬라이딩하면서 디스플레이하도록 생성된 것을 특징으로 하는 요약 동영상 생성 방법.Analyzing a property of the moving picture file of the input moving picture by receiving the moving picture;
Extracting a key segment from the moving picture file according to the attribute;
Determining different effects according to the attributes;
Generating the extracted key segment and a summary moving picture to which the determined effect is applied,
The attribute of the moving picture file may be,
Information about an associated image included in the moving picture file,
If the number of associated images included in the moving picture file is equal to or greater than a first threshold and the time interval between the first associated image and the last associated image is equal to or greater than a second threshold,
In the summary video,
Displays the moving picture in a first area of the display screen,
And displaying the associated image while sliding in a first direction in a second area of the display screen. 제 15 항에 있어서,
상기 연관 이미지는,
상기 동영상의 녹화 중 촬영된 이미지인 것을 특징으로 하는 요약 동영상 생성 방법.16. The method of claim 15,
The associative image may include:
Wherein the moving image is an image photographed during the recording of the moving image. 제 15 항에 있어서,
상기 연관 이미지에 대한 정보는,
상기 연관 이미지가 촬영된 시간 정보 및 상기 연관 이미지의 개수 중 적어도 하나를 포함하는 것을 특징으로 하는 요약 동영상 생성 방법.16. The method of claim 15,
The information on the associative image may include,
Wherein the related image includes at least one of time information on the related image and the number of related images. 제 15 항에 있어서,
상기 연관 이미지에 대한 정보는,
상기 동영상 파일의 헤더에 저장되는 것을 특징으로 하는 요약 동영상 생성 방법.16. The method of claim 15,
The information on the associative image may include,
Wherein the moving picture file is stored in a header of the moving picture file. 동영상 또는 이미지를 포함하는 파일을 선택하는 선택부; 및
상기 선택한 파일의 속성에 따라 서로 다른 효과가 결정되고, 상기 결정된 효과가 적용된 요약 동영상을 디스플레이하는 제어부를 포함하고,
상기 파일의 속성은,
상기 파일에 포함된 연관 이미지에 대한 정보이고, 상기 동영상 파일에 포함된 연관 이미지의 개수가 제1 임계값 이상이고, 최초 연관 이미지와 마지막 연관 이미지 사이의 시간 간격이 제2 임계값 이상인 경우,
상기 요약 동영상은,
디스플레이 화면의 제1 영역에 상기 동영상을 디스플레이하고,
상기 디스플레이 화면의 제2 영역에 상기 연관 이미지를 일 방향으로 슬라이딩하면서 디스플레이하도록 생성된 것을 특징으로 하는 요약 동영상 디스플레이 장치.A selection unit for selecting a file including a moving image or an image; And
And a controller for determining a different effect according to an attribute of the selected file and displaying a summary video to which the determined effect is applied,
The attributes of the file include,
Wherein when the number of associated images included in the moving picture file is equal to or greater than a first threshold value and the time interval between the first associated image and the last associated image is equal to or greater than a second threshold value,
In the summary video,
Displays the moving picture in a first area of the display screen,
Wherein the display unit is configured to display the associated image while sliding in a first direction in a second area of the display screen. 제 19 항에 있어서,
상기 연관 이미지에 대한 정보는,
상기 동영상의 동영상 파일의 헤더에 저장된 것을 특징으로 하는 요약 동영상 디스플레이 장치.20. The method of claim 19,
The information on the associative image may include,
Wherein the moving picture file is stored in a header of the moving picture file of the moving picture. 제 19 항에 있어서,
상기 제어부는,
상기 선택한 파일의 속성을 결정하는 파일 속성 결정부;
상기 선택한 파일이 동영상인 경우, 상기 동영상과 연관된 이미지에 대한 정보를 추출하는 추출부;
상기 결정한 파일의 속성 및 상기 연관된 이미지에 대한 정보를 기초로 상기 요약 동영상에 적용하는 효과를 결정하는 효과 결정부; 및
상기 결정한 효과에 따른 요약 동영상을 생성하는 요약 동영상 생성부를 포함하는 것을 특징으로 하는 요약 동영상 디스플레이 장치.20. The method of claim 19,
Wherein,
A file attribute determination unit for determining an attribute of the selected file;
An extraction unit for extracting information on an image associated with the moving image when the selected file is a moving image;
An effect determining unit for determining an effect to be applied to the summary moving picture based on the determined file attribute and information about the associated image; And
And a summary moving picture generating unit for generating a summary moving picture according to the determined effect. 제 21 항에 있어서,
상기 추출부는,
상기 연관 이미지의 시간 정보를 기초로 상기 동영상의 키 세그먼트를 추출하는 것을 특징으로 하는 요약 동영상 디스플레이 장치.22. The method of claim 21,
The extracting unit extracts,
And extracts the key segment of the moving image based on the time information of the associated image.

Images