KR102372721B1 - Method, user device and recording medium for computer program - Google Patents

Method, user device and recording medium for computer program Download PDF

Info

Publication number
KR102372721B1
KR102372721B1 KR1020190144177A KR20190144177A KR102372721B1 KR 102372721 B1 KR102372721 B1 KR 102372721B1 KR 1020190144177 A KR1020190144177 A KR 1020190144177A KR 20190144177 A KR20190144177 A KR 20190144177A KR 102372721 B1 KR102372721 B1 KR 102372721B1
Authority
KR
South Korea
Prior art keywords
image
analysis
section
user device
analysis result
Prior art date
Application number
KR1020190144177A
Other languages
Korean (ko)
Other versions
KR20210057428A (en
Inventor
장혁재
Original Assignee
라인플러스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 라인플러스 주식회사 filed Critical 라인플러스 주식회사
Priority to KR1020190144177A priority Critical patent/KR102372721B1/en
Publication of KR20210057428A publication Critical patent/KR20210057428A/en
Priority to KR1020220028019A priority patent/KR102586422B1/en
Application granted granted Critical
Publication of KR102372721B1 publication Critical patent/KR102372721B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44222—Analytics of user selections, e.g. selection of programs or purchase activity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4532—Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8549—Creating video summaries, e.g. movie trailer

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

영상 분석 방법, 영상 분석 방법을 수행하는 사용자 디바이스 및 영상 분석 방법을 실행하는 컴퓨터 프로그램이 제공된다. 본 발명의 영상 분석 방법은, 메모리에 저장된 하나 이상의 영상의 분석을 수행할지 여부를 결정하는 단계, 상기 하나 이상의 영상 중 분석 대상 영상을 선택하는 단계, 상기 분석 대상 영상을 분석하는 단계 및 상기 분석 결과를 출력하는 단계를 포함할 수 있다. An image analysis method, a user device for performing the image analysis method, and a computer program for executing the image analysis method are provided. The image analysis method of the present invention includes the steps of determining whether to analyze one or more images stored in a memory, selecting an analysis target image from among the one or more images, analyzing the analysis target image, and the analysis result It may include the step of outputting.

Description

영상 분석 방법, 사용자 디바이스 및 컴퓨터 프로그램{METHOD, USER DEVICE AND RECORDING MEDIUM FOR COMPUTER PROGRAM}Image analysis method, user device and computer program

본 발명은 영상을 분석하고 분석된 결과를 출력하는 영상 분석 방법, 사용자 디바이스 및 컴퓨터 프로그램에 관한 것이다. 구체적으로, 본 발명은 영상을 분석하여 하이라이트(highlight) 구간을 식별하고, 적어도 하나의 하이라이트 구간에 관한 정보를 출력하거나, 적어도 하나의 하이라이트 구간으로 구성된 하이라이트 영상을 출력함으로써, 영상적으로 유의미한 출력용 영상을 사용자에게 제공할 수 있는 방법, 사용자 디바이스 및 그러한 방법을 실행할 수 있는 컴퓨터 판독 가능한 기록 매체에 저장된 프로그램에 관한 것이다.The present invention relates to an image analysis method for analyzing an image and outputting the analyzed result, a user device, and a computer program. Specifically, the present invention analyzes an image to identify a highlight section, outputs information about at least one highlight section, or outputs a highlight image composed of at least one highlight section, thereby providing an image for output that is meaningful It relates to a method capable of providing to a user, a user device, and a program stored in a computer-readable recording medium capable of executing such a method.

최근 인스턴트 메신저 어플리케이션, SNS(Social Network Service) 등을 통한 커뮤니케이션의 경향은 단순한 대화의 수준을 넘어 동영상 위주의 커뮤니케이션으로 변화하고 있다. 사용자는 개인적으로 촬영하거나 외부로부터 획득한 동영상을 커뮤니케이션에 바로 이용하기보다는 해당 동영상을 출력용으로 편집한 후 이용할 수 있다. 예컨대, 사용자는 획득한 동영상에서 출력하기에 적절하지 않은 부분(영상 앞의 촬영 준비 부분, 영상 뒤의 촬영 마무리 부분, 심하게 흔들리거나 잘못 촬영된 부분 등)을 제거함으로써 유의미한 출력용 영상을 생성할 수 있다. 이런 이유로 동영상 위주의 커뮤니케이션을 지원하는 대부분의 서비스는 동영상을 편집할 수 있는 기본적인 편집 기능을 제공하고 있다.Recently, the trend of communication through instant messenger applications and SNS (Social Network Service) is changing to video-oriented communication beyond the level of simple conversation. The user can edit the video for output and use it after editing the video, rather than directly using the video taken personally or obtained from outside for communication. For example, the user can generate a meaningful output image by removing the parts that are not suitable for output (the part ready for shooting before the image, the part after the image is finished, the part that shakes badly or was taken incorrectly, etc.) from the acquired video. . For this reason, most services that support video-oriented communication provide basic editing functions for video editing.

동영상을 편집하는 사용자는 동영상을 반복적으로 재생하면서 불필요한 구간을 제외하고 필요한 부분을 선택함으로써 적절한 길이의 출력용 영상을 생성한다. 그러나, 동영상을 이용한 커뮤니케이션이 점점 증가하면서, 사용자가 모든 동영상을 직접 편집하는데 한계가 존재하므로, 메모리에 저장된 동영상을 자동으로 분석하고 분석된 결과를 사용자에게 제공하는 방안이 요구된다. 또한, 동영상의 편집은 상당한 양의 디바이스의 자원을 필요로 하므로, 메모리에 저장된 동영상을 자동으로 분석하는 타이밍의 선택에 있어서도 주의가 필요하다.A user who edits a video generates an image for output of an appropriate length by repeatedly playing the video and selecting a necessary part except for an unnecessary section. However, as communication using moving pictures is increasing, there is a limit to a user's ability to directly edit all moving images. Therefore, a method for automatically analyzing the moving images stored in the memory and providing the analyzed results to the user is required. In addition, since editing of a video requires a considerable amount of device resources, it is necessary to be careful in selecting the timing for automatically analyzing the video stored in the memory.

본 발명은 영상을 분석하고 분석된 결과를 출력하는 영상 분석 방법을 제공하는 것을 목적으로 한다.An object of the present invention is to provide an image analysis method for analyzing an image and outputting the analyzed result.

또한, 본 발명은 영상을 구성하는 프레임을 분석하고, 영상을 구성하는 하이라이트 구간을 식별한 후, 식별된 하이라이트 구간의 특성에 기초하여 트림(trim) 구간에 관한 정보를 출력하거나 하이라이트 영상에 관한 정보를 출력하는 영상 분석 방법을 제공하는 것을 목적으로 한다.In addition, the present invention analyzes a frame constituting an image, identifies a highlight section constituting an image, and outputs information on a trim section or information on a highlight image based on the identified characteristics of the highlight section An object of the present invention is to provide an image analysis method that outputs

또한, 본 발명은, 본 발명에 따른 영상 분석 방법을 수행하는 영상 분석 장치로서의 사용자 디바이스를 제공하는 것을 목적을 한다.Another object of the present invention is to provide a user device as an image analysis apparatus for performing the image analysis method according to the present invention.

본 발명은, 본 발명에 따른 영상 분석 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체에 저장된 컴퓨터 프로그램을 제공하는 것을 목적으로 한다.An object of the present invention is to provide a computer program stored in a computer-readable recording medium for executing the image analysis method according to the present invention.

본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자(이하, "통상의 기술자"라 함)에게 명확하게 이해될 수 있을 것이다.The technical problems of the present invention are not limited to the technical problems mentioned above, and other technical problems not mentioned are those of ordinary skill in the technical field to which the present disclosure belongs from the description below (hereinafter, "those skilled in the art") ") will be clearly understood.

본 발명의 일 양상에 따른, 메모리 및 적어도 하나의 프로세서를 포함하는 사용자 디바이스에 의해 수행되는 영상 분석 방법은, 상기 메모리에 저장된 하나 이상의 영상의 분석을 수행할지 여부를 결정하는 단계, 상기 하나 이상의 영상 중 분석 대상 영상을 선택하는 단계, 상기 분석 대상 영상을 분석하는 단계, 및 상기 분석 대상 영상 중 적어도 하나에 대한 분석 결과를 출력하는 단계를 포함할 수 있다.According to an aspect of the present invention, an image analysis method performed by a user device including a memory and at least one processor includes determining whether to analyze one or more images stored in the memory, the one or more images It may include selecting an analysis target image from among, analyzing the analysis target image, and outputting an analysis result for at least one of the analysis target image.

본 발명에 따른 영상 분석 방법에 있어서, 상기 영상의 분석을 수행할지 여부를 결정하는 단계는, 상기 사용자 디바이스가 유휴 상태인지의 여부에 기초하여 수행될 수 있다.In the image analysis method according to the present invention, the determining whether to analyze the image may be performed based on whether the user device is in an idle state.

본 발명에 따른 영상 분석 방법에 있어서, 상기 영상의 분석을 수행할지 여부를 결정하는 단계는, 상기 사용자 디바이스의 사용 패턴에 기초하여 수행될 수 있다.In the image analysis method according to the present invention, the determining whether to analyze the image may be performed based on a usage pattern of the user device.

본 발명에 따른 영상 분석 방법에 있어서, 상기 영상의 분석을 수행할지 여부를 결정하는 단계는, 상기 사용자 디바이스가 유휴 상태이고, 상기 사용자 디바이스의 사용 패턴에 기초하여 상기 사용자 디바이스가 소정 시간 동안 사용되지 않을 것으로 판단된 경우, 상기 영상의 분석을 수행하는 것으로 결정할 수 있다.In the image analysis method according to the present invention, the determining whether to perform the image analysis includes: the user device is in an idle state, and the user device is not used for a predetermined time based on a usage pattern of the user device If it is determined not to, it may be determined to analyze the image.

본 발명에 따른 영상 분석 방법에 있어서, 상기 분석 대상 영상을 선택하는 단계는, 상기 메모리에 저장된 하나 이상의 영상 중 생성일이 가장 늦은 영상을 상기 분석 대상 영상으로 선택할 수 있다.In the image analysis method according to the present invention, in the selecting of the analysis target image, an image with the latest creation date among the one or more images stored in the memory may be selected as the analysis target image.

본 발명에 따른 영상 분석 방법에 있어서, 상기 분석 대상 영상을 분석하는 단계는, 상기 분석 대상 영상을 구성하는 복수의 프레임의 각각을 분석하는 단계, 상기 프레임의 분석 결과에 기초하여 식별된 하나 이상의 영상 구간을 하이라이트 구간과 비하이라이트(non-highlight) 구간으로 분류하는 단계, 및 상기 하이라이트 구간으로 분류된 영상 구간의 각각을 분석하는 단계를 포함할 수 있다.In the image analysis method according to the present invention, the analyzing of the analysis target image includes analyzing each of a plurality of frames constituting the analysis target image, and one or more images identified based on the analysis result of the frame It may include classifying the section into a highlight section and a non-highlight section, and analyzing each of the video sections classified into the highlight section.

본 발명에 따른 영상 분석 방법에 있어서, 상기 프레임을 분석하는 단계는, 상기 복수의 프레임의 각각을 구성하는 픽셀들의 밝기값 및 색상값, 프레임내 에지의 양 중 적어도 하나가 소정의 기준에 부합하는지 여부를 판단함으로써 출력되지 않을 프레임을 식별할 수 있다.In the image analysis method according to the present invention, the analyzing of the frame may include determining whether at least one of a brightness value and a color value of pixels constituting each of the plurality of frames, and an amount of an edge in the frame, meets a predetermined criterion. By determining whether or not the frame is not output, it is possible to identify the frame.

본 발명에 따른 영상 분석 방법에 있어서, 상기 영상 구간을 분류하는 단계는, 영상 구간의 길이가 소정의 길이 이상인 경우, 해당 영상 구간을 하이라이트 구간으로 분류하고, 영상 구간의 길이가 소정의 길이 미만인 경우, 해당 영상 구간을 비하이라이트 구간으로 분류할 수 있다.In the image analysis method according to the present invention, the step of classifying the video section includes, when the length of the video section is greater than or equal to a predetermined length, classifies the corresponding video section as a highlight section, and when the length of the video section is less than the predetermined length , the corresponding video section can be classified as a non-highlight section.

본 발명에 따른 영상 분석 방법에 있어서, 상기 영상 구간을 분석하는 단계는, 영상 구간을 구성하는 복수의 프레임의 각각에 대한 분석 결과, 프레임간 차이값, 해당 영상 구간의 길이 중 적어도 하나를 해당 영상 구간의 특성으로서 산출할 수 있다.In the image analysis method according to the present invention, the step of analyzing the video section comprises determining at least one of the analysis result of each of a plurality of frames constituting the video section, the difference value between frames, and the length of the video section of the corresponding image. It can be calculated as a characteristic of the section.

본 발명에 따른 영상 분석 방법에 있어서, 상기 분석 결과를 출력하는 단계는, 상기 영상 구간의 특성에 기초하여, 적어도 하나의 하이라이트 구간에 관한 정보를 출력할 수 있다.In the image analysis method according to the present invention, the outputting of the analysis result may include outputting information on at least one highlight section based on a characteristic of the image section.

본 발명에 따른 영상 분석 방법에 있어서, 상기 분석 결과를 출력하는 단계는, 상기 사용자 디바이스의 사용자로부터 상기 분석 대상 영상 중 적어도 하나에 대해 편집 화면 요청이 수신되면 해당 영상에 대한 분석 결과를 출력할 수 있다.In the image analysis method according to the present invention, the outputting of the analysis result may include outputting an analysis result for the image when a request for an edit screen for at least one of the analysis target images is received from the user of the user device. there is.

본 발명에 따른 영상 분석 방법에 있어서, 상기 분석 결과를 출력하는 단계는, 상기 사용자 디바이스의 사용자로부터 상기 메모리에 저장된 하나 이상의 영상 중 하나에 대한 선택을 수신하는 단계, 상기 선택된 영상에 대해 편집 화면 요청이 수신되면, 상기 선택된 영상이 상기 분석 대상 영상에 해당하여 상기 선택된 영상에 대한 분석 결과가 상기 메모리에 저장되어 있는지를 판단하는 단계, 및 상기 선택된 영상에 대한 분석 결과가 저장된 것으로 판단하는 경우, 상기 분석 결과를 출력하는 단계를 포함할 수 있다.In the image analysis method according to the present invention, the outputting of the analysis result includes: receiving a selection for one of one or more images stored in the memory from a user of the user device; requesting an edit screen for the selected image is received, determining whether the analysis result for the selected image is stored in the memory because the selected image corresponds to the analysis target image, and if it is determined that the analysis result for the selected image is stored, the It may include outputting an analysis result.

본 발명에 따른 영상 분석 방법에 있어서, 상기 선택된 영상에 대한 분석 결과가 저장된 것으로 판단하는 경우, 상기 분석 결과와 함께 상기 선택된 영상에 대한 편집 UI 요소를 표시할 수 있다.In the image analysis method according to the present invention, when it is determined that the analysis result for the selected image is stored, an editing UI element for the selected image may be displayed together with the analysis result.

본 발명의 다른 양상에 따른, 영상 분석 방법을 수행하는 사용자 디바이스는, 하나 이상의 영상을 저장하는 메모리, 및 적어도 하나의 프로세서를 포함하고, 상기 프로세서는, 상기 메모리에 저장된 하나 이상의 영상의 분석을 수행할지 여부를 결정하는 단계, 상기 하나 이상의 영상 중 분석 대상 영상을 선택하는 단계, 상기 분석 대상 영상을 분석하는 단계, 및 상기 분석 결과를 출력하는 단계를 수행할 수 있다.According to another aspect of the present invention, a user device for performing an image analysis method includes a memory for storing one or more images, and at least one processor, wherein the processor analyzes one or more images stored in the memory. Determining whether or not to do so, selecting an analysis target image from among the one or more images, analyzing the analysis target image, and outputting the analysis result may be performed.

본 발명에 따른 사용자 디바이스에 있어서, 상기 프로세서는, 상기 사용자 디바이스가 유휴 상태이고, 상기 사용자 디바이스의 사용 패턴에 기초하여 상기 사용자 디바이스가 소정 시간 동안 사용되지 않을 것으로 판단된 경우, 상기 영상의 분석을 수행하는 것으로 결정할 수 있다.In the user device according to the present invention, the processor is configured to analyze the image when it is determined that the user device is in an idle state and the user device will not be used for a predetermined time based on a usage pattern of the user device. You can decide to do it.

본 발명에 따른 사용자 디바이스에 있어서, 상기 프로세서는, 상기 분석 대상 영상을 분석하는 단계에서, 상기 분석 대상 영상을 구성하는 복수의 프레임의 각각을 분석하는 단계, 상기 프레임의 분석 결과에 기초하여 식별된 하나 이상의 영상 구간을 하이라이트 구간과 비하이라이트 구간으로 분류하는 단계, 및 상기 하이라이트 구간으로 분류된 영상 구간의 각각을 분석하는 단계를 수행할 수 있다.In the user device according to the present invention, in the step of analyzing the analysis target image, the processor analyzes each of a plurality of frames constituting the analysis target image; Classifying one or more video sections into a highlight section and a non-highlight section, and analyzing each of the video sections classified into the highlight section may be performed.

본 발명에 따른 사용자 디바이스에 있어서, 상기 프로세서는, 상기 영상 구간을 분석하는 단계에서, 상기 영상 구간을 구성하는 복수의 프레임의 각각에 대한 분석 결과, 프레임간 차이값, 해당 영상 구간의 길이 중 적어도 하나를 해당 영상 구간의 특성으로서 산출하는 단계를 수행하고, 상기 분석 결과를 출력하는 단계에서, 상기 영상 구간의 특성에 기초하여, 적어도 하나의 하이라이트 구간에 관한 정보를 출력할 수 있다.In the user device according to the present invention, in the step of analyzing the video section, the processor includes at least one of an analysis result of each of a plurality of frames constituting the video section, a difference value between frames, and a length of the corresponding video section. In the step of calculating one as a characteristic of the corresponding video section and outputting the analysis result, information on at least one highlight section may be output based on the characteristic of the video section.

본 발명에 따른 사용자 디바이스에 있어서, 상기 프로세서는, 상기 분석 결과를 출력하는 단계에서, 상기 사용자 디바이스의 사용자로부터 상기 분석 대상 영상 중 적어도 하나에 대해 편집 화면 요청이 수신되면 해당 영상에 대한 분석 결과를 출력할 수 있다.In the user device according to the present invention, in the step of outputting the analysis result, the processor, when a request for an edit screen for at least one of the analysis target images is received from the user of the user device, the analysis result for the corresponding image can be printed

본 발명에 따른 사용자 디바이스에 있어서, 상기 프로세서는, 상기 분석 결과를 출력하는 단계에서, 상기 사용자 디바이스의 사용자로부터 상기 메모리에 저장된 하나 이상의 영상 중 하나에 대한 선택을 수신하는 단계, 상기 선택된 영상에 대해 편집 화면 요청이 수신되면, 상기 선택된 영상이 상기 분석 대상 영상에 해당하여 상기 선택된 영상에 대한 분석 결과가 상기 메모리에 저장되어 있는지를 판단하는 단계, 및 상기 선택된 영상에 대한 분석 결과가 저장된 것으로 판단하는 경우, 상기 분석 결과를 출력하는 단계를 수행할 수 있다.In the user device according to the present invention, in the step of outputting the analysis result, the processor receives a selection for one of one or more images stored in the memory from a user of the user device, for the selected image When an edit screen request is received, determining whether the selected image corresponds to the analysis target image and an analysis result for the selected image is stored in the memory, and determining that the analysis result for the selected image is stored In this case, the step of outputting the analysis result may be performed.

본 발명의 또 다른 양상에 따른 컴퓨터 판독 가능 기록 매체에 저장된 프로그램은, 본 발명에 따른 영상 분석 방법을 실행하는 컴퓨터 프로그램일 수 있다.The program stored in the computer-readable recording medium according to another aspect of the present invention may be a computer program for executing the image analysis method according to the present invention.

본 개시에 대하여 위에서 간략하게 요약된 특징들은 후술하는 본 개시의 상세한 설명의 예시적인 양상일 뿐이며, 본 개시의 범위를 제한하는 것은 아니다.The features briefly summarized above with respect to the present disclosure are merely exemplary aspects of the detailed description of the present disclosure that follows, and do not limit the scope of the present disclosure.

본 발명에 따르면, 영상을 분석하고 분석된 결과를 출력하는 영상 분석 방법이 제공될 수 있다.According to the present invention, an image analysis method for analyzing an image and outputting the analyzed result may be provided.

또한, 본 발명에 따르면, 영상을 구성하는 프레임을 분석하고, 영상을 구성하는 하이라이트 구간을 식별한 후, 식별된 하이라이트 구간의 특성에 기초하여 트림 구간에 관한 정보를 출력하거나 하이라이트 영상에 관한 정보를 출력하는 영상 분석 방법이 제공될 수 있다.In addition, according to the present invention, after analyzing a frame constituting an image and identifying a highlight section constituting an image, information on a trim section is output based on the characteristics of the identified highlight section or information about a highlight image An image analysis method for outputting may be provided.

또한, 본 발명에 따르면, 본 발명에 따른 영상 분석 방법을 수행하는 영상 분석 장치로서의 사용자 디바이스가 제공될 수 있다.Also, according to the present invention, a user device as an image analysis apparatus for performing the image analysis method according to the present invention may be provided.

또한, 본 발명에 따른 영상 분석 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체에 저장된 컴퓨터 프로그램이 제공될 수 있다.In addition, a computer program stored in a computer-readable recording medium for executing the image analysis method according to the present invention may be provided.

본 개시에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.Effects obtainable in the present disclosure are not limited to the above-mentioned effects, and other effects not mentioned will be clearly understood by those skilled in the art from the following description.

도 1은 본 발명의 일 실시예에 따른 영상 분석 방법이 사용될 수 있는 시스템을 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 영상 분석 방법을 수행하는 사용자 디바이스(200)를 예시한 블록도이다.
도 3은 본 발명의 일 실시예에 따른 영상 분석 방법을 설명하기 위한 도면이다.
도 4는 본 발명에 따른 영상 분석의 일 실시예를 설명하기 위한 도면이다.
도 5는 분석 대상 영상을 구성하는 복수의 프레임을 도시한 도면이다.
도 6은 프레임 분석 후 분석 대상 영상으로부터 획득된 복수의 영상 구간을 도시한 도면이다.
도 7은 영상으로부터 트림 구간을 선택하는 방법을 설명하기 위한 도면이다.
도 8은 본 발명의 영상 분석 방법이 수행되어 생성된 하이라이트 영상을 제공하는 일 실시예를 설명하기 위한 도면이다.1 is a diagram illustrating a system in which an image analysis method according to an embodiment of the present invention can be used.
2 is a block diagram illustrating a user device 200 performing an image analysis method according to an embodiment of the present invention.
3 is a view for explaining an image analysis method according to an embodiment of the present invention.
4 is a diagram for explaining an embodiment of image analysis according to the present invention.
5 is a diagram illustrating a plurality of frames constituting an analysis target image.
6 is a diagram illustrating a plurality of image sections obtained from an analysis target image after frame analysis.
7 is a diagram for explaining a method of selecting a trim section from an image.
8 is a diagram for explaining an embodiment of providing a highlight image generated by performing the image analysis method of the present invention.

이하에서는 첨부한 도면을 참고로 하여 본 개시의 실시예에 대하여 통상의 기술자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나, 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. Hereinafter, with reference to the accompanying drawings, the embodiments of the present disclosure will be described in detail so that those skilled in the art can easily implement them. However, the present disclosure may be embodied in several different forms and is not limited to the embodiments described herein.

본 개시의 실시예를 설명함에 있어서 공지 구성 또는 기능에 대한 구체적인 설명이 본 개시의 요지를 흐릴 수 있다고 판단되는 경우에는 그에 대한 상세한 설명은 생략한다. 그리고, 도면에서 본 개시에 대한 설명과 관계없는 부분은 생략하였으며, 유사한 부분에 대해서는 유사한 도면 부호를 붙였다. In describing the embodiments of the present disclosure, if it is determined that a detailed description of a well-known configuration or function may obscure the gist of the present disclosure, a detailed description thereof will be omitted. And, in the drawings, parts not related to the description of the present disclosure are omitted, and similar reference numerals are attached to similar parts.

본 개시에 있어서, 어떤 구성요소가 다른 구성요소와 "연결", "결합" 또는 "접속"되어 있다고 할 때, 이는 직접적인 연결 관계뿐만 아니라, 그 중간에 또 다른 구성요소가 존재하는 간접적인 연결관계도 포함할 수 있다. 또한 어떤 구성요소가 다른 구성요소를 "포함한다" 또는 "가진다"고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 배제하는 것이 아니라 또 다른 구성요소를 더 포함할 수 있는 것을 의미한다. In the present disclosure, when it is said that a component is "connected", "coupled" or "connected" with another component, it is not only a direct connection relationship, but also an indirect connection relationship in which another component exists in the middle. may also include. In addition, when it is said that a component "includes" or "has" another component, it means that another component may be further included without excluding other components unless otherwise stated. .

본 개시에 있어서, 제1, 제2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용되며, 특별히 언급되지 않는 한 구성요소들간의 순서 또는 중요도 등을 한정하지 않는다. 따라서, 본 개시의 범위 내에서 일 실시예에서의 제1 구성요소는 다른 실시예에서 제2 구성요소라고 칭할 수도 있고, 마찬가지로 일 실시예에서의 제2 구성요소를 다른 실시예에서 제1 구성요소라고 칭할 수도 있다. In the present disclosure, terms such as first, second, etc. are used only for the purpose of distinguishing one component from other components, and unless otherwise specified, the order or importance between the components is not limited. Accordingly, within the scope of the present disclosure, a first component in one embodiment may be referred to as a second component in another embodiment, and similarly, a second component in one embodiment is referred to as a first component in another embodiment. can also be called

본 개시에 있어서, 서로 구별되는 구성요소들은 각각의 특징을 명확하게 설명하기 위함이며, 구성요소들이 반드시 분리되는 것을 의미하지는 않는다. 즉, 복수의 구성요소가 통합되어 하나의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있고, 하나의 구성요소가 분산되어 복수의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있다. 따라서, 별도로 언급하지 않더라도 이와 같이 통합된 또는 분산된 실시예도 본 개시의 범위에 포함된다. In the present disclosure, components that are distinguished from each other are for clearly explaining each characteristic, and do not necessarily mean that the components are separated. That is, a plurality of components may be integrated to form one hardware or software unit, or one component may be distributed to form a plurality of hardware or software units. Accordingly, even if not specifically mentioned, such integrated or dispersed embodiments are also included in the scope of the present disclosure.

본 개시에 있어서, 다양한 실시예에서 설명하는 구성요소들이 반드시 필수적인 구성요소들은 의미하는 것은 아니며, 일부는 선택적인 구성요소일 수 있다. 따라서, 일 실시예에서 설명하는 구성요소들의 부분집합으로 구성되는 실시예도 본 개시의 범위에 포함된다. 또한, 다양한 실시예에서 설명하는 구성요소들에 추가적으로 다른 구성요소를 포함하는 실시예도 본 개시의 범위에 포함된다. In the present disclosure, components described in various embodiments do not necessarily mean essential components, and some may be optional components. Accordingly, an embodiment composed of a subset of components described in one embodiment is also included in the scope of the present disclosure. In addition, embodiments including other components in addition to components described in various embodiments are also included in the scope of the present disclosure.

또한, 본 명세서에서 네트워크는 유무선 네트워크를 모두 포함하는 개념일 수 있다. 이때, 네트워크는 디바이스와 시스템 및 디바이스 상호 간의 데이터 교환이 수행될 수 있는 통신망을 의미할 수 있으며, 특정 네트워크로 한정되는 것은 아니다. Also, in the present specification, the network may be a concept including both wired and wireless networks. In this case, the network may mean a communication network in which data exchange between the device and the system and devices can be performed, and is not limited to a specific network.

또한, 본 명세서에서 디바이스는 스마트폰, 태블릿 PC, 웨어러블 디바이스 및 HMD(Head Mounted Display)와 같이 모바일 디바이스뿐만 아니라, PC나 디스플레이 기능을 구비한 가전처럼 고정된 디바이스일 수 있다. 또한, 일 예로, 디바이스는 서버로 동작 가능한 컴퓨팅 디바이스, 차량 또는 IoT (Internet of Things) 디바이스일 수 있다. 즉, 본 명세서에서 디바이스는 본 발명에 따른 영상 분석 방법을 수행할 수 있는 기기들을 지칭할 수 있으며, 특정 타입으로 한정되지 않는다.In addition, in the present specification, the device may be a mobile device such as a smart phone, a tablet PC, a wearable device, and a head mounted display (HMD), as well as a fixed device such as a PC or home appliance having a display function. Also, as an example, the device may be a computing device that can operate as a server, a vehicle, or an Internet of Things (IoT) device. That is, in the present specification, a device may refer to devices capable of performing the image analysis method according to the present invention, and is not limited to a specific type.

또한, 본 명세서에서 "영상"은 정지영상 뿐만 아니라 동영상, 스트리밍 영상 등 사용자가 디바이스에 구비된 디스플레이를 통해 시각적으로 인식할 수 있는 모든 종류의 정보를 포함할 수 있다.In addition, in the present specification, "image" may include all kinds of information that a user can visually recognize through a display provided in the device, such as moving images and streaming images as well as still images.

시스템 및 장치 구성System and device configuration

도 1은 본 발명의 일 실시예에 따른 영상 분석 방법이 사용될 수 있는 시스템을 나타낸 도면이다.1 is a diagram illustrating a system in which an image analysis method according to an embodiment of the present invention can be used.

본 발명에 따른 시스템은 네트워크(104)를 통해 연결된 하나 이상의 사용자 디바이스들(101, 102, 103)과 서버(110)를 포함할 수 있다. A system according to the present invention may include a server 110 and one or more user devices 101 , 102 , 103 connected via a network 104 .

각각의 사용자 디바이스들(101, 102, 103)은 클라이언트 또는 사용자 단말로 지칭될 수 있으며, 네트워크(104)를 통해 서버(110)에 접속하여 원하는 영상 또는 컨텐츠를 다운로드 받아 출력할 수 있다. 또한, 각각의 사용자 디바이스들(101, 102, 103)은 구비된 촬영 수단(예컨대, 스마트폰에 구비된 카메라 모듈 등)을 이용하여 영상을 획득하고 저장할 수 있다. 사용자 디바이스는 네트워크(104)를 통해 다운로드되거나 촬영 수단을 통해 획득된 영상에 대해 본 발명의 일 실시예에 따른 영상 분석 방법을 수행할 수 있다.Each of the user devices 101 , 102 , 103 may be referred to as a client or a user terminal, and may access the server 110 through the network 104 to download and output a desired image or content. In addition, each of the user devices 101 , 102 , 103 may acquire and store an image by using a photographing means (eg, a camera module provided in a smartphone). The user device may perform the image analysis method according to an embodiment of the present invention on an image downloaded through the network 104 or acquired through a photographing means.

서버(110)는 서버(110)내 저장 공간 또는 별도의 데이터베이스에 방대한 양의 영상 및 컨텐츠를 저장할 수 있다. 또한, 서버(110)는 사용자를 식별할 수 있고, 사용자에 관한 정보, 영상 및 컨텐츠에 관한 정보 등 다양한 정보를 축적 및 저장할 수 있다. The server 110 may store a vast amount of images and contents in a storage space within the server 110 or in a separate database. In addition, the server 110 may identify a user, and may accumulate and store various information such as information about the user, information about an image, and content.

또한, 서버(110)는 인스턴트 메신저 어플리케이션, SNS(social network service) 등과 같은 서비스를 제공할 수 있다. 상기 서비스를 이용하는 사용자는 사용자 디바이스를 통해 소정의 접속 정보(아이디와 패스워드)를 입력하여 상기 서비스를 제공하는 서버(110)에 접속할 수 있다. 서버(110)는 사용자 디바이스로부터 입력 받은 접속 정보를 통해 접속한 사용자를 식별할 수 있다. Also, the server 110 may provide services such as an instant messenger application and a social network service (SNS). A user using the service may access the server 110 providing the service by inputting predetermined access information (ID and password) through a user device. The server 110 may identify the connected user through the access information received from the user device.

사용자는 상기 서비스를 이용하여, 사용자 디바이스에 저장된 영상을 네트워크(104)에 연결된 다른 사용자 디바이스에 전송하거나 서버(110)내 저장 공간에 업로드할 수 있다. 이때 전송되거나 업로드되는 영상은 본 발명의 일 실시예에 따른 영상 분석 방법이 수행된 영상일 수 있다. A user may use the service to transmit an image stored in the user device to another user device connected to the network 104 or upload it to a storage space in the server 110 . In this case, the transmitted or uploaded image may be an image on which the image analysis method according to an embodiment of the present invention has been performed.

도 2는 본 발명의 일 실시예에 따른 영상 분석 방법을 수행하는 사용자 디바이스(200)를 예시한 블록도이다. 2 is a block diagram illustrating a user device 200 performing an image analysis method according to an embodiment of the present invention.

도 2를 참조하면, 사용자 디바이스(200)는 프로세서(210), 메모리(220), 송수신부(230), 입력부(240), 촬영부(250) 및 출력부(260)를 포함할 수 있다. 사용자 디바이스(200)는 디바이스의 동작 및 기능과 관련된 다른 구성을 더 포함할 수 있으며, 상술한 실시예로 한정되지 않는다.Referring to FIG. 2 , the user device 200 may include a processor 210 , a memory 220 , a transceiver 230 , an input unit 240 , a photographing unit 250 , and an output unit 260 . The user device 200 may further include other components related to the operation and function of the device, and is not limited to the above-described embodiment.

프로세서(210)는 사용자 디바이스(200) 내 다른 구성 요소들의 동작을 제어할 수 있다. 예컨대, 프로세서(210)는 입력부(240), 촬영부(250) 및 송수신부(230)를 통해 획득되는 정보를 처리할 수 있다. 또한, 프로세서(210)는 메모리(220)에 저장된 정보를 독출하여 처리할 수 있다. 프로세서(210)는 상기 처리된 정보를 출력부(260)를 통해 출력하거나 메모리(220)에 저장하거나, 송수신부(230)를 통해 외부에 전송할 수 있다. The processor 210 may control operations of other components in the user device 200 . For example, the processor 210 may process information obtained through the input unit 240 , the photographing unit 250 , and the transceiver 230 . Also, the processor 210 may read and process information stored in the memory 220 . The processor 210 may output the processed information through the output unit 260 , store it in the memory 220 , or transmit it to the outside through the transceiver 230 .

예컨대, 프로세서(210)는 촬영부(250)를 통해 촬영된 영상 또는 메모리(220)에 저장된 영상에 대해 본 발명에 따른 영상 분석 방법을 수행할 수 있다. 본 발명에 따른 영상 분석 방법을 수행한 후, 프로세서(210)는 영상 분석이 완료된 영상에 관한 정보를 메모리(220)에 저장하거나, 출력부(260)를 통해 출력하거나 송수신부(230)를 통해 외부에 전송할 수 있다.For example, the processor 210 may perform the image analysis method according to the present invention on an image captured by the photographing unit 250 or an image stored in the memory 220 . After performing the image analysis method according to the present invention, the processor 210 stores information about the image on which image analysis has been completed in the memory 220 , or outputs it through the output unit 260 , or through the transceiver 230 . It can be transmitted externally.

메모리(220)는 서버(110) 또는 다른 사용자 디바이스로부터 수신한 정보, 사용자 디바이스의 입력부(240)를 통해 획득한 정보, 사용자 디바이스의 촬영부(250)로부터 획득한 정보 등 사용자 디바이스의 외부로부터 획득한 정보를 저장할 수 있다. 또한, 메모리(220)는 사용자 디바이스(200)의 내부에서 생성된 정보를 저장할 수 있다. 예컨대, 본 발명에 따른 영상 분석 방법이 수행된 후 생성되는 영상 또는 영상에 관한 정보가 메모리(220)에 저장될 수 있다. 일 예로, 메모리(220)는 데이터베이스를 포함할 수 있다. The memory 220 is obtained from the outside of the user device, such as information received from the server 110 or another user device, information obtained through the input unit 240 of the user device, information obtained from the photographing unit 250 of the user device, etc. information can be stored. Also, the memory 220 may store information generated inside the user device 200 . For example, an image generated after the image analysis method according to the present invention is performed or information about the image may be stored in the memory 220 . As an example, the memory 220 may include a database.

송수신부(230)는 네트워크를 통해 서버(110) 또는 다른 사용자 디바이스와 데이터를 교환할 수 있다. 송수신부(230)는 외부와의 통신을 수행할 수 있는 모든 종류의 유무선 통신 모듈을 포함할 수 있다. The transceiver 230 may exchange data with the server 110 or other user devices through a network. The transceiver 230 may include all types of wired/wireless communication modules capable of communicating with the outside.

입력부(240)는 사용자 디바이스(200)에 구비된 다양한 센서를 통해 입력 정보를 획득할 수 있다. 사용자 디바이스(200)는 예컨대, 압력 감지 센서, 정전식 터치 센서, 가속도 센서, 자이로(gyro) 센서, GPS(Globap Positioning System), 음향 센서(마이크로폰), 감광 센서(조도 센서) 등의 다양한 센서와 기계식 버튼 등을 구비할 수 있다. 사용자 디바이스(200)는 상기 센서에 의해 감지된 정보 또는 기계식 버튼의 입력을 입력 정보로서 획득할 수 있다. 상기 입력 정보는 사용자가 사용자 디바이스(200)를 직접 조작하여 획득되는 사용자 입력 정보를 포함할 수 있다. 또한 상기 입력 정보는 사용자 디바이스(200)의 상태 또는 외부적인 상황에 의해 자동적으로 감지되는 디바이스 상태 정보를 포함할 수 있다. The input unit 240 may obtain input information through various sensors provided in the user device 200 . The user device 200 includes, for example, various sensors such as a pressure sensor, a capacitive touch sensor, an acceleration sensor, a gyro sensor, a GPS (Globap Positioning System), an acoustic sensor (microphone), and a photosensitive sensor (illuminance sensor). A mechanical button or the like may be provided. The user device 200 may acquire information sensed by the sensor or input of a mechanical button as input information. The input information may include user input information obtained by a user directly manipulating the user device 200 . In addition, the input information may include device state information automatically detected by the state of the user device 200 or an external situation.

촬영부(250)는 정지 영상 또는 동영상을 획득할 수 있는 모든 종류의 촬영 수단을 포함할 수 있다. 예컨대, 촬영부(250)는 스마트폰에 구비된 카메라 모듈일 수 있다.The photographing unit 250 may include all types of photographing means capable of acquiring a still image or a moving image. For example, the photographing unit 250 may be a camera module provided in a smartphone.

출력부(260)는 사용자 디바이스(200)가 획득하거나 수신한 정보, 사용자 디바이스(200)에 의해 처리된 정보 등을 외부로 출력할 수 있다. 출력부(260)는 예컨대 시각 정보를 출력하는 디스플레이, 음향 정보를 출력하는 스피커, 촉각 정보를 출력하는 바이브레이터 등을 포함할 수 있다. The output unit 260 may output information acquired or received by the user device 200 , information processed by the user device 200 , and the like to the outside. The output unit 260 may include, for example, a display that outputs visual information, a speaker that outputs sound information, and a vibrator that outputs tactile information.

영상 분석 방법Image analysis method

도 3은 본 발명의 일 실시예에 따른 영상 분석 방법을 설명하기 위한 도면이다.3 is a view for explaining an image analysis method according to an embodiment of the present invention.

본 발명의 일 실시예에 따른 영상 분석 방법은 영상 분석 수행 여부 결정 단계(S310), 분석 대상 영상 선택 단계(S320), 영상 분석 수행 단계(S330) 및 영상 분석 결과 출력 단계(S340)를 포함할 수 있다.The image analysis method according to an embodiment of the present invention may include determining whether to perform image analysis (S310), selecting an analysis target image (S320), performing image analysis (S330), and outputting an image analysis result (S340). can

사용자 디바이스의 프로세서(210)는 본 발명의 일 실시예에 따른 영상 분석을 수행할지 여부를 결정할 수 있다(S310). 영상 분석을 수행할지 여부는 사용자 디바이스의 상태, 사용자 디바이스의 사용 패턴 및/또는 소정의 조건에 기초하여 결정될 수 있다.The processor 210 of the user device may determine whether to perform image analysis according to an embodiment of the present invention (S310). Whether to perform image analysis may be determined based on a state of the user device, a usage pattern of the user device, and/or a predetermined condition.

전술한 바와 같이, 본 발명의 일 실시예에 따른 영상 분석 방법이 수행되기 위해서는 상당한 양의 리소스(메모리, 컴퓨팅 시간, 배터리 전력 등)가 필요하다. 리소스를 적절히 배분하여 사용하기 위해, 예컨대, 사용자 디바이스가 유휴 상태(idle state)인 경우에만, 영상 분석을 수행할 수 있다.As described above, a significant amount of resources (memory, computing time, battery power, etc.) are required to perform the image analysis method according to an embodiment of the present invention. In order to properly allocate and use resources, for example, image analysis may be performed only when the user device is in an idle state.

사용자 디바이스가 유휴 상태인지 여부는 다양한 방법에 의해 판단될 수 있다. 예컨대, 사용자 디바이스에 구비된 각종 센서에 의해 감지된 정보에 기초하여 사용자 디바이스가 유휴 상태인지 여부를 판단할 수 있다. 예컨대, 디스플레이가 오프(off) 상태이면 유휴 상태인 것으로 판단할 수 있다. 또는, 가속도 센서 및/또는 자이로 센서의 감지 정보 등에 기초하여 상기 사용자 디바이스가 정지 상태인지 이동 중인지의 여부가 판단될 수 있고, 상기 사용자 디바이스가 정지 상태이면 유휴 상태인 것으로 판단할 수 있다. 또는, 사용자 디바이스의 압력 센서, 정전식 터치 센서의 감지 정보, 사용자 디바이스에 구비된 버튼 입력 정보 등에 기초하여 사용자 디바이스가 사용 중인지의 여부가 판단될 수 있다. 예컨대, 사용자 입력 정보가 없는 경우, 상기 사용자 디바이스는 유휴 상태인 것으로 판단될 수 있다. 예컨대, 사용자 디바이스가 화면 잠금 상태일 때, 유휴 상태인 것으로 판단할 수 있다. 또는 감광 센서의 감지 정보에 기초하여 사용자 디바이스의 유휴 상태가 판단될 수 있다. 예컨대, 감광 센서가 감지한 빛의 세기가 임계치 이하일 경우, 상기 사용자 디바이스는 유휴 상태인 것으로 판단될 수 있다.Whether the user device is in an idle state may be determined by various methods. For example, it may be determined whether the user device is in an idle state based on information sensed by various sensors provided in the user device. For example, if the display is in an off state, it may be determined that the display is in an idle state. Alternatively, it may be determined whether the user device is in a stationary state or moving based on detection information of the acceleration sensor and/or the gyro sensor, and if the user device is in a stationary state, it may be determined that the user device is in an idle state. Alternatively, it may be determined whether the user device is in use based on the pressure sensor of the user device, sensing information of the capacitive touch sensor, button input information provided in the user device, and the like. For example, when there is no user input information, it may be determined that the user device is in an idle state. For example, when the user device is in a screen lock state, it may be determined that the user device is in an idle state. Alternatively, the idle state of the user device may be determined based on the detection information of the photosensitive sensor. For example, when the intensity of light sensed by the photosensitive sensor is less than or equal to a threshold, the user device may be determined to be in an idle state.

또한, 본 발명의 일 실시예에 따른 영상 분석을 수행할지 여부는 사용자 디바이스의 사용 패턴에 기초하여 결정될 수 있다. 본 발명의 영상 분석 방법이 수행되기 위해서는 소정 시간 이상의 분석 시간이 필요하다. 따라서, 사용자 디바이스의 사용 패턴을 분석하여 소정 시간 이상의 분석 시간이 확보될 수 있는 경우에만 영상 분석을 수행할 수 있다.Also, whether to perform image analysis according to an embodiment of the present invention may be determined based on a usage pattern of the user device. In order to perform the image analysis method of the present invention, an analysis time of a predetermined time or more is required. Accordingly, image analysis may be performed only when an analysis time longer than a predetermined time can be secured by analyzing the usage pattern of the user device.

사용자 디바이스의 사용 패턴은 지속적으로 모니터링되고 기록될 수 있다. 프로세서는 사용자 디바이스에 구비된 각종 센서가 감지한 정보, 버튼의 입력, 사용자 디바이스의 사용 시간, 사용 용도(기능) 등을 지속적으로 모니터링함으로써, 사용자 디바이스의 사용 패턴에 관한 모니터링 정보를 축적할 수 있다. 프로세서는 축적된 모니터링 정보를 기초로 확률 변수에 따른 예측을 수행함으로써, 영상 분석에 필요한 최소 시간이 확보될 수 있는지 여부를 판단할 수 있다.The usage pattern of the user device may be continuously monitored and recorded. The processor may accumulate monitoring information regarding the usage pattern of the user device by continuously monitoring information sensed by various sensors provided in the user device, button input, usage time of the user device, usage purpose (function), etc. . The processor may determine whether a minimum time required for image analysis can be secured by performing prediction according to a random variable based on the accumulated monitoring information.

예를 들어, 자정 이후부터 아침 7시까지의 취침 시간을 제외하고매시간 수차례 사용자 디바이스가 조작되는 사용 패턴을 가정하면, 상기 사용자 디바이스의 사용 패턴에 관한 모니터링 정보에 기초하여, 자정 이후부터 아침 7시까지는 해당 사용자 디바이스가 이동하지도 않고 사용되지도 않을 확률이 높게 예측될 수 있다. 또한, 그 외의 시간대에는 사용되지 않을 확률이 매우 낮게 예측될 수 있다. 사용자 디바이스가 사용되지 않을 확률은 1분 단위로 예측될 수도 있고, 수분, 1시간 또는 수시간 단위 등, 소정의 시간 단위로 예측될 수 있다. For example, assuming a usage pattern in which a user device is manipulated several times every hour except for bedtime from midnight to 7 am, based on monitoring information on the usage pattern of the user device, from midnight to 7 am It may be predicted that the probability that the corresponding user device will neither move nor be used. In addition, the probability of not being used in other time zones may be predicted to be very low. The probability that the user device will not be used may be predicted in units of one minute, or may be predicted in units of a predetermined time, such as minutes, hours, or hours.

변형예로서, 사용자 디바이스의 사용 패턴을 모니터링한 결과, 사용자 디바이스가 사용될 확률이 높은 시간대라고 하더라도, 해당 시간대에 사용자 디바이스를 사용하는 용도를 고려했을 때, 영상 분석에 필요한 리소스가 확보될 수 있다고 판단되면, 해당 시간대는 영상 분석이 수행될 수 있는 시간대로 예측될 수 있다. As a modified example, as a result of monitoring the usage pattern of the user device, it is determined that the resource required for image analysis can be secured when the purpose of using the user device in the time period is considered, even in a time period in which the user device is likely to be used. , the corresponding time period may be predicted as a time period in which image analysis can be performed.

예를 들어, 사용자 디바이스의 사용 시간 및 사용 용도를 모니터링한 결과, 저녁 10시부터 저녁 11시까지는 리소스를 많이 요구하지 않는 단순 기능만을 사용하는 사용 패턴을 가정하면, 해당 시간대는 영상 분석에 필요한 리소스가 충분한 것으로 판단하여, 영상 분석이 수행될 수 있는 것으로 예측할 수 있다.For example, as a result of monitoring the usage time and purpose of the user's device, assuming a usage pattern of using only simple functions that do not require a lot of resources from 10 pm to 11 pm, the corresponding time period is the resource required for video analysis. is determined to be sufficient, it can be predicted that image analysis can be performed.

프로세서는 사용자 디바이스의 사용 패턴을 모니터링한 정보에 기초한 예측을 수행하여 본 발명에 따른 영상 분석을 수행할지 여부를 결정할 수 있다.The processor may determine whether to perform image analysis according to the present invention by performing prediction based on monitoring information of a usage pattern of the user device.

본 발명의 일 실시예에 따른 영상 분석을 수행할지 여부는 사용자 디바이스의 상태 및/또는 사용자 디바이스의 사용 패턴에 따른 예측이 소정의 조건에 부합하는지 여부를 판단하여 결정될 수 있다.Whether to perform image analysis according to an embodiment of the present invention may be determined by determining whether prediction according to the state of the user device and/or the usage pattern of the user device meets a predetermined condition.

상기 소정의 조건은 기 설정될 수도 있고, 본 발명에 따른 영상 분석을 수행하는 사용자 디바이스의 리소스에 기초하여 적응적으로 설정될 수도 있다. 또는 사용자가 임의로 설정할 수도 있다. 사용자 디바이스가 본 발명에 따른 영상 분석을 수행하는 것으로 결정하기 위한 상기 소정의 조건은 예컨대, 사용자 디바이스가 유휴 상태이고, 소정 시간(예컨대, 2시간) 동안 사용되지 않는 조건일 수 있다.The predetermined condition may be preset or adaptively set based on a resource of a user device performing image analysis according to the present invention. Alternatively, the user may set arbitrarily. The predetermined condition for determining that the user device performs image analysis according to the present invention may be, for example, a condition that the user device is in an idle state and is not used for a predetermined time (eg, 2 hours).

프로세서는 사용자 디바이스가 유휴 상태임을 감지한 경우, 사용자 디바이스의 사용 패턴에 기초하여 사용자 디바이스가 소정 시간동안 사용되지 않을 확률을 예측할 수 있다. 프로세서는, 상기 확률이 소정의 임계치 이상인 경우, 상기 소정의 조건을 만족하는 것으로 판단하고 본 발명에 따른 영상 분석을 수행하는 것으로 결정할 수 있다.When the processor detects that the user device is in an idle state, the processor may predict a probability that the user device will not be used for a predetermined time based on a usage pattern of the user device. When the probability is greater than or equal to a predetermined threshold, the processor may determine that the predetermined condition is satisfied and determine to perform image analysis according to the present invention.

변형예로서, 프로세서는, 사용자 디바이스의 사용 패턴에 기초하여 소정 시간동안 본 발명에 따른 영상 분석에 필요한 리소스가 확보될 수 있다고 판단되는 경우, 본 발명에 따른 영상 분석을 수행하는 것으로 결정할 수 있다.As a modification, the processor may determine to perform image analysis according to the present invention when it is determined that the resources required for image analysis according to the present invention can be secured for a predetermined time based on the usage pattern of the user device.

또 다른 변형예로서, 프로세서는, 사용자 디바이스가 소정 시간 동안 사용되지 않을 확률, 소정 시간 동안 리소스가 확보될 수 있는지 여부 등을 함께 고려하여 영상 분석 수행 여부를 결정할 수도 있다. As another modification, the processor may determine whether to perform image analysis in consideration of a probability that the user device will not be used for a predetermined time, whether a resource can be secured for a predetermined time, and the like.

이 외에도, 사용자 디바이스의 잔여 배터리 전력, 잔여 메모리 용량, 배터리가 충전 중인지의 여부, 네트워크(예컨대, WiFi) 연결 여부 등이 부가적으로 고려될 수 있다.In addition, the remaining battery power of the user device, the remaining memory capacity, whether the battery is being charged, whether the network (eg, WiFi) connection, etc. may be additionally taken into consideration.

예컨대, 프로세서는, 잔여 배터리 전력이 소정의 임계치 이상인 경우, 잔여 메모리 용량이 소정의 임계치 이상인 경우, 배터리가 충전 중인 경우, 네트워크에 연결되어 있는 경우 중 적어도 하나 이상에 해당될 때, 본 발명에 따른 영상 분석을 수행하는 것으로 결정할 수 있다.For example, the processor is configured according to the present invention when at least one of the remaining battery power is greater than or equal to a predetermined threshold, the remaining memory capacity is greater than or equal to the predetermined threshold, the battery is being charged, or connected to the network. It may be decided to perform image analysis.

또 다른 변형예로서, 사용자 디바이스의 상태 및 사용 패턴과 관계없이, 사용자의 조작에 의해 영상 분석 수행 여부가 결정될 수 있다. 예컨대, 사용자가 메모리에 저장된 영상 또는 촬영부를 통해 획득한 영상을 선택하고, 영상 분석의 수행을 수동으로 지시함으로써, 사용자 디바이스의 상태 및 사용 패턴과 관계없이 본 발명에 따른 영상 분석이 수행되는 것으로 결정될 수도 있다.As another modification, regardless of the state and usage pattern of the user device, whether to perform image analysis may be determined by the user's manipulation. For example, when a user selects an image stored in a memory or an image acquired through a photographing unit and manually instructs to perform image analysis, it is determined that image analysis according to the present invention is performed regardless of the state and usage pattern of the user device. may be

단계 S310에서, 본 발명에 따른 영상 분석을 수행하는 것으로 결정된 경우, 프로세서(210)는 분석 대상 영상을 선택할 수 있다(S320). 분석 대상 영상은 촬영부에 의해 획득된 영상일 수 있다. 또는, 분석 대상 영상은 메모리에 저장된 하나 이상의 영상으로부터 사용자의 조작에 의해 선택될 수 있다. 또는, 분석 대상 영상은 소정의 선택 기준에 따라 프로세서에 의해 선택될 수 있다. 예컨대, 프로세서는 메모리에 저장된 하나 이상의 영상 중 최근에 촬영되거나 저장된 영상을 분석 대상 영상으로서 선택할 수 있다. 이때 선택된 영상은 본 발명에 따른 영상 분석이 수행되지 않은 영상일 수 있다. 만약 최근에 촬영되거나 저장된 영상이 본 발명에 따라 이미 분석된 영상인 경우, 그 다음으로 최근에 촬영되거나 저장된 영상이 분석 대상 영상으로서 선택될 수 있다. 즉, 이미 분석된 영상을 제외한 영상 중 가장 최근에 촬영되거나 저장된 영상이 분석 대상 영상으로서 선택될 수 있다.In step S310, when it is determined to perform image analysis according to the present invention, the processor 210 may select an analysis target image (S320). The analysis target image may be an image acquired by the photographing unit. Alternatively, the analysis target image may be selected by a user's manipulation from one or more images stored in the memory. Alternatively, the analysis target image may be selected by the processor according to a predetermined selection criterion. For example, the processor may select a recently captured or stored image among one or more images stored in the memory as the analysis target image. In this case, the selected image may be an image on which image analysis according to the present invention has not been performed. If the recently photographed or stored image is an image already analyzed according to the present invention, the next most recently photographed or stored image may be selected as the analysis target image. That is, the most recently photographed or stored image among images other than the already analyzed image may be selected as the analysis target image.

영상의 촬영 시점, 저장 시점 및/또는 분석 여부는 해당 영상의 메타데이터로서 해당 영상과 함께 사용자 디바이스의 메모리에 저장될 수 있다. 프로세서는 분석 대상 영상을 선택하기 위해 상기 메타데이터를 이용하여 각 영상의 촬영 시점, 저장 시점 및/또는 분석 여부를 확인할 수 있다.The shooting time, storage time, and/or whether the image is analyzed may be stored in the memory of the user device together with the image as metadata of the image. In order to select an analysis target image, the processor may use the metadata to check a shooting time, a storage time, and/or whether each image is analyzed.

단계 S320에서 분석 대상 영상이 선택되면, 프로세서(210)는 선택된 분석 대상 영상에 대해 본 발명에 따른 영상 분석을 수행할 수 있다(S330).When an analysis target image is selected in step S320, the processor 210 may perform image analysis according to the present invention on the selected analysis target image (S330).

도 4는 본 발명에 따른 영상 분석의 일 실시예를 설명하기 위한 도면이다.4 is a diagram for explaining an embodiment of image analysis according to the present invention.

도 4에 도시된 영상 분석 방법은 도 3의 단계 S330의 영상 분석의 일 실시예일 수 있다.The image analysis method illustrated in FIG. 4 may be an embodiment of image analysis in step S330 of FIG. 3 .

분석 대상 영상은 하나 이상의 정지 영상을 포함하는 동영상일 수 있다. 동영상은 소정의 프레임 레이트(frame rate)에 따라 1초에 30장 또는 60장 등의 복수의 정지 영상을 표시함으로써, 정지 영상 내의 객체의 움직임을 표현한다. 동영상을 구성하는 정지 영상은 비월 주사 방식(interlaced scanning)에서는 필드(field)로 호칭되고, 순차 주사 방식(progressive scanning)에서는 프레임(frame)으로 호칭될 수 있다. 그러나, 본 명세서에서는 동영상을 구성하는 정지 영상을 "프레임"으로 통칭한다.The analysis target image may be a moving image including one or more still images. The moving image expresses the movement of an object in the still image by displaying a plurality of still images such as 30 or 60 images per second according to a predetermined frame rate. A still image constituting a moving picture may be referred to as a field in the interlaced scanning method and may be referred to as a frame in the progressive scanning method. However, in this specification, a still image constituting a moving picture is collectively referred to as a “frame”.

동영상은 1초에 수십장의 정지 영상으로 구성되므로, 데이터의 양이 방대해 질 수 있다. 따라서, 동영상은 다양한 비디오 코덱 기술을 이용하여 효율적으로 압축되어 저장 및 전송될 수 있다. 비디오 인코더는 동영상을 부호화하여 비트스트림을 출력할 수 있다. 비트스트림은 동영상을 구성하는 복수의 프레임의 각각을 복원할 수 있는 압축 정보를 포함할 수 있다. 비디오 디코더는 비트스트림을 수신하고 이를 복호화함으로써, 동영상을 구성하는 각각의 프레임을 복원한 후, 출력부를 통해 디스플레이할 수 있다.Since a moving image is composed of several dozen still images per second, the amount of data may be enormous. Accordingly, moving images can be efficiently compressed, stored, and transmitted using various video codec technologies. The video encoder may encode a video and output a bitstream. The bitstream may include compression information capable of reconstructing each of a plurality of frames constituting a moving picture. The video decoder may receive the bitstream and decode it, restore each frame constituting the moving picture, and then display it through the output unit.

프로세서가 선택한 분석 대상 영상이 비트스트림과 같은 동영상의 부호화 데이터일 경우, 프로세서는 부호화 데이터를 복호화하여 분석 대상 영상을 구성하는 각각의 프레임을 복원한 후 본 발명에 따른 영상 분석을 수행할 수 있다.When the analysis target image selected by the processor is encoded data of a moving picture such as a bitstream, the processor may decode the encoded data to restore each frame constituting the analysis target image, and then perform image analysis according to the present invention.

도 5는 분석 대상 영상을 구성하는 복수의 프레임을 도시한 도면이다.5 is a diagram illustrating a plurality of frames constituting an analysis target image.

도 5에 도시된 바와 같이, 분석 대상 영상은 연속적으로 디스플레이되는 복수의 프레임을 포함할 수 있다. 각각의 프레임 하단의 숫자는 프레임을 식별하기 위한 식별자이다.5 , the analysis target image may include a plurality of frames that are continuously displayed. The number at the bottom of each frame is an identifier for identifying the frame.

다시 도 4를 참조하면, 본 발명에 따른 영상 분석을 수행하기 위해, 프로세서는 분석 대상 영상을 구성하는 프레임의 각각을 분석할 수 있다(S410). Referring back to FIG. 4 , in order to perform image analysis according to the present invention, the processor may analyze each of the frames constituting the analysis target image ( S410 ).

단계 S410의 프레임의 분석은 출력하기에 적절하지 않은 프레임을 식별 및/또는 제거하기 위한 단계이다. The frame analysis in step S410 is a step for identifying and/or removing frames that are not suitable for output.

예컨대, 너무 밝거나 너무 어두운 프레임은 S410의 프레임 분석 단계에서 식별 및/또는 제거될 수 있다. 이를 위해 프레임을 구성하는 픽셀들의 밝기값이 이용될 수 있다. 예컨대, 프레임을 구성하는 픽셀들의 밝기값을 이용하여 프레임의 대표 밝기값을 결정하고, 대표 밝기값과 소정의 임계치를 비교함으로써 해당 프레임이 너무 밝거나 너무 어두운지 여부를 판단할 수 있다. 대표 밝기값은 프레임을 구성하는 픽셀들의 밝기값의 평균값, 중간값, 분산, 표준편차 등의 통계값을 하나 이상 이용하여 계산될 수 있다.For example, frames that are too bright or too dark may be identified and/or removed in the frame analysis step of S410 . For this, the brightness values of pixels constituting the frame may be used. For example, it is possible to determine whether the frame is too bright or too dark by determining a representative brightness value of the frame using the brightness values of pixels constituting the frame and comparing the representative brightness value with a predetermined threshold. The representative brightness value may be calculated using one or more statistical values such as an average value, a median value, a variance, and a standard deviation of brightness values of pixels constituting a frame.

또는, 예컨대, 하나의 색상만을 포함하는 프레임은 S410의 프레임 분석 단계에서 식별 및/또는 제거될 수 있다. 이를 위해 프레임을 구성하는 픽셀들의 색상값이 이용될 수 있다. 예컨대, 프레임을 구성하는 전체 픽셀들 또는 소정 개수 이상의 픽셀들의 색상값이 소정의 색상값의 범위에 포함되는 경우, 해당 프레임은 하나의 색상만을 포함하는 것으로 판단될 수 있다.Alternatively, for example, a frame including only one color may be identified and/or removed in the frame analysis step of S410 . For this, color values of pixels constituting the frame may be used. For example, when color values of all pixels constituting a frame or a predetermined number or more of pixels are included in a range of a predetermined color value, it may be determined that the frame includes only one color.

또는, 프레임에 포함된 객체의 윤곽이 불분명할 정도로 흔들림이 심한 프레임은 식별 및/또는 제거될 수 있다. 이를 위해 다양한 에지(edge) 추출 알고리즘이나 에지 히스토그램이 이용될 수 있다. 에지 추출 알고리즘이나 에지 히스토그램을 이용하여 추출된 에지의 양이 소정의 임계치 이하인 경우, 해당 프레임은 흔들림이 심한 프레임으로 판단될 수 있다.Alternatively, a frame in which shaking is severe enough to make the outline of an object included in the frame unclear may be identified and/or removed. For this, various edge extraction algorithms or edge histograms may be used. When the amount of edges extracted using an edge extraction algorithm or an edge histogram is less than or equal to a predetermined threshold, the corresponding frame may be determined as a frame with severe shaking.

전술한 프레임 분석 방법은 하나 또는 둘 이상이 조합되어 적용될 수 있으며, 그 밖에 디스플레이하기에 적절하지 않은 프레임을 식별하는 다양한 기준 및 방법이 적용될 수 있다.One or more of the frame analysis methods described above may be applied in combination, and various other criteria and methods for identifying frames that are not suitable for display may be applied.

상기에서 소정의 임계치, 소정 개수, 소정의 색상값의 범위 등 프레임 분석의 기준이 되는 값들은 미리 설정될 수도 있고 사용자에 의해 설정될 수도 있다. 또는 프레임의 특성에 기초하여 적응적으로 설정될 수도 있다. 예컨대, 밝기값이 낮은 프레임에 대해서는 에지의 양과 비교되는 소정의 임계치가 높게 설정될 수 있다. In the above, the reference values for frame analysis, such as a predetermined threshold, a predetermined number, and a predetermined range of color values, may be preset or set by a user. Alternatively, it may be adaptively set based on the characteristics of the frame. For example, for a frame having a low brightness value, a predetermined threshold value compared with the amount of edges may be set high.

단계 S410에서 영상적으로 적절하지 않은 프레임이 식별되면, 식별된 프레임을 분석 대상 영상으로부터 제외시킴으로써 복수의 영상 구간이 획득될 수 있다.When an imagery inappropriate frame is identified in step S410, a plurality of image sections may be obtained by excluding the identified frame from the analysis target image.

도 6은 프레임 분석 후 분석 대상 영상으로부터 획득된 복수의 영상 구간을 도시한 도면이다.6 is a diagram illustrating a plurality of image sections obtained from an analysis target image after frame analysis.

예컨대, 도 5에서 프레임 1, 프레임 4, 프레임 8 및 프레임 9가 적절하지 않은 출력 프레임으로 식별되면, 이들 프레임을 분석 대상 영상으로부터 제외시킴으로써 도 6에 도시된 바와 같이, 복수의 영상 구간(영상 구간1 내지 영상 구간3)이 획득될 수 있다.For example, if frame 1, frame 4, frame 8, and frame 9 are identified as inappropriate output frames in FIG. 5, these frames are excluded from the analysis target image, so that as shown in FIG. 6, a plurality of image sections (image sections) 1 to image section 3) can be obtained.

복수의 영상 구간이 획득되면, 프로세서는 각각의 영상 구간에 대한 분류를 수행할 수 있다(S420).When a plurality of image sections are obtained, the processor may classify each image section ( S420 ).

단계 S420은 획득된 영상 구간의 각각을 하이라이트 구간과 비하이라이트 구간으로 분류하는 단계이다. 여기서 하이라이트 구간은 영상의 편집을 위해 필요할 것으로 예상되는 영상 구간을 의미하며, 비하이라이트 구간은 영상의 편집을 위해 필요가 없거나 영상적으로 의미가 없는 영상 구간을 의미할 수 있다.Step S420 is a step of classifying each of the obtained image sections into a highlight section and a non-highlight section. Here, the highlight section may mean an image section expected to be necessary for image editing, and the non-highlight section may mean an image section that is not necessary for image editing or has no visual meaning.

단계 S420의 영상 구간의 분류를 위해 각각의 영상 구간의 길이가 이용될 수 있다. 예컨대, 소정의 기준 길이 이하의 영상 구간은 영상적으로 의미가 없는 구간으로 판단되고 비하이라이트 구간으로 분류될 수 있다. 소정의 기준 길이는 미리 설정되거나 사용자에 의해 설정되거나 분석 대상 영상의 특성에 기초하여 적응적으로 설정될 수 있다. 예컨대, 분석 대상 영상의 전체 길이가 소정 길이 이상인 것으로 판단되면, 상기 소정의 기준 길이는 상대적으로 큰 값으로 설정될 수 있다. The length of each video section may be used to classify the video section in step S420 . For example, an image section shorter than a predetermined reference length may be determined as a section that has no image and may be classified as a non-highlight section. The predetermined reference length may be preset, set by a user, or adaptively set based on a characteristic of an image to be analyzed. For example, if it is determined that the total length of the analysis target image is equal to or greater than a predetermined length, the predetermined reference length may be set to a relatively large value.

상기 소정의 기준 길이는 소정 시간으로 표현될 수도 있고, 프레임의 소정 개수로 표현될 수도 있다. 예컨대, 0.5초 이하의 영상 구간이나, 소정 개수 이하의 프레임으로 구성된 영상 구간은 비하이라이트 구간으로 분류될 수 있다.The predetermined reference length may be expressed as a predetermined time or may be expressed as a predetermined number of frames. For example, an image section of 0.5 seconds or less or an image section composed of a predetermined number of frames or less may be classified as a non-highlight section.

도 6에 도시된 실시예에서, 상기 소정 개수가 2라고 가정할 때, 2개의 프레임으로 구성된 영상 구간1은 비하이라이트 구간으로 분류되고, 각각 3개 및 4개로 구성된 영상 구간2 및 영상 구간3은 하이라이트 구간으로 분류될 수 있다.In the embodiment shown in Fig. 6, assuming that the predetermined number is 2, the video section 1 composed of two frames is classified as a non-highlight section, and the video section 2 and the video section 3 composed of 3 and 4, respectively, are It may be classified as a highlight section.

하이라이트 구간으로 분류된 영상 구간에 대해서는 키 프레임(Key frame)의 추출이 수행될 수 있다. 키 프레임은 영상 구간 내에서 영상적으로 최적의 프레임을 의미할 수 있다. 키 프레임은 프레임 분석을 통해 추출될 수 있다. 예컨대, 키 프레임은 화면내 선명도(sharpness), 프레임 내 색상의 다양성 등을 기준으로 추출될 수 있다. 예컨대, 선명도와 색상의 다양성이 모두 높은 프레임을 키 프레임으로 추출할 수 있다. 또는 단계 S410의 프레임 분석 단계에서 분석된 다양한 지표의 분석 결과들이 함께 이용될 수도 있다. Extraction of a key frame may be performed for an image section classified as a highlight section. The key frame may mean an image optimally frame within an image section. Key frames can be extracted through frame analysis. For example, the key frame may be extracted based on sharpness within a screen, diversity of colors within the frame, and the like. For example, a frame having high both sharpness and color diversity may be extracted as a key frame. Alternatively, the analysis results of various indicators analyzed in the frame analysis step of step S410 may be used together.

키 프레임은 해당 영상 구간을 대표하는 프레임으로서 정지 영상으로 추출되어 저장될 수 있다. 키 프레임은 해당 영상 구간에 대한 썸네일(thumbnail) 이미지로 이용될 수도 있다.A key frame is a frame representing a corresponding image section, and may be extracted and stored as a still image. The key frame may be used as a thumbnail image for the corresponding video section.

프로세서는 단계 S420에서 분류된 하이라이트 구간의 각각에 대해 단계 S430의 영상 구간 분석을 수행할 수 있다.The processor may perform the image section analysis of step S430 for each of the highlight sections classified in step S420.

단계 S430의 영상 구간 분석은 해당 영상 구간의 특성을 산출하기 위한 단계이다. 이렇게 산출된 영상 구간의 특성은 후술하는 영상 분석 결과 출력(S340) 단계에서 이용될 수 있다. The video section analysis of step S430 is a step for calculating the characteristics of the corresponding video section. The calculated characteristics of the image section may be used in the step of outputting an image analysis result ( S340 ), which will be described later.

단계 S430의 영상 구간 분석을 통해, 해당 하이라이트 구간에 어떤 색상이 분포하는지, 화면내 구성이 복잡한지 단순한지, 움직임이 많은지 적은지 등의 구간 특성이 산출될 수 있다. 하이라이트 구간의 특성을 산출하기 위해, 하이라이트 구간에 포함된 프레임의 각각에 대한 분석 결과가 이용될 수 있다. Through the image section analysis of step S430, section characteristics such as which colors are distributed in the corresponding highlight section, whether the composition in the screen is complex or simple, and whether there is much or little movement, can be calculated. In order to calculate the characteristics of the highlight section, an analysis result of each frame included in the highlight section may be used.

예를 들어, 하이라이트 구간에 어떤 색상이 분포하는지, 색상이 다양한지 등은 하이라이트 구간에 포함된 프레임의 각각에 대한 컬러 히스토그램(color histogram)을 이용하여 산출될 수 있다. 또한, 화면내 구성이 복잡한지 단순한지, 많은 객체가 포함되어 있는지 등의 여부는 에지 히스토그램(edge histogram)을 이용하여 산출될 수 있다. For example, what colors are distributed in the highlight section, whether colors are different, etc. may be calculated using a color histogram for each frame included in the highlight section. In addition, whether the composition in the screen is complex or simple, whether many objects are included, etc. may be calculated using an edge histogram.

또한, 움직임이 많은지 적은지의 여부는 하이라이트 구간에 포함된 프레임들 사이의 차이값(frame-by-frame difference)을 이용하여 산출될 수 있다. 하이라이트 구간은 많은 수의 프레임을 포함할 수 있으므로, 프레임들 사이의 차이값은 복수개 존재할 수 있으며, 이 경우, 복수의 차이값의 평균값, 중간값, 분산, 표준 편차 등의 통계값을 하나 이상 이용하여 하이라이트 구간에 대한 특성을 산출할 수 있다.Also, whether there is much or little motion may be calculated using a frame-by-frame difference between frames included in the highlight section. Since the highlight section may include a large number of frames, a plurality of difference values between the frames may exist. In this case, one or more statistical values such as the average, median, variance, and standard deviation of the plurality of difference values are used Thus, it is possible to calculate the characteristics of the highlight section.

영상 구간의 특성은 상기 예시한 내용으로 한정되지 않으며, 해당 영상 구간에 관한 모든 정보(예컨대, 길이, 해상도, 밝기, 색상 등)가 구간 특성으로서 이용될 수 있다.The characteristics of the video section are not limited to the above-described contents, and all information (eg, length, resolution, brightness, color, etc.) about the corresponding video section may be used as the section characteristics.

다시 도 3을 참조하면, 단계 S330의 영상 분석이 수행된 후, 프로세서는 단계 S340에서 영상 분석된 결과를 출력할 수 있다. 전술한 바와 같이, 단계 S430에서 산출된 영상 구간의 특성이 단계 S340에서 이용될 수 있다. Referring back to FIG. 3 , after the image analysis in step S330 is performed, the processor may output the image analysis result in step S340 . As described above, the characteristics of the image section calculated in step S430 may be used in step S340.

단계 S340의 영상 분석 결과의 출력은 적어도 하나의 하이라이트 구간에 관한 정보의 출력일 수 있다. 이때, 단계 S340의 출력은 디스플레이를 통한 적어도 하나의 하이라이트 구간의 출력일 수 있다. 또는, 단계 S340의 출력은 적어도 하나의 하이라이트 구간에 관한 정보를 메모리(220)에 저장하는 것일 수 있다. 이때, 적어도 하나의 하이라이트 구간에 관한 정보는 해당 영상의 식별자(ID, identifier)와 함께 해당 영상의 메타데이터로서 사용자 디바이스의 메모리에 저장될 수 있다. 단계 S340의 출력의 대상인 상기 적어도 하나의 하이라이트 구간은 트림(trim) 구간 또는 하이라이트 영상일 수 있다.The output of the image analysis result of step S340 may be output of information on at least one highlight section. In this case, the output of step S340 may be an output of at least one highlight section through the display. Alternatively, the output of step S340 may be to store information on at least one highlight section in the memory 220 . In this case, information on at least one highlight section may be stored in the memory of the user device as metadata of the corresponding image together with an identifier (ID) of the corresponding image. The at least one highlight section to be output in step S340 may be a trim section or a highlight image.

트림 구간에 관한 정보의 출력 또는 하이라이트 영상 정보의 출력은 사용자에 의해 지정된 영상에 대해 편집 화면 요청이 입력되는 경우에 수행될 수 있다. 예를 들어, 사용자에 의해 SNS 상에 업로드될 영상이 선택되고 해당 영상의 편집 화면 요청 UI가 선택된 경우 선택된 영상의 트림 구간에 관한 정보 또는 하이라이트 영상 정보를 출력할 수 있다. The output of the information on the trim section or the output of the highlight image information may be performed when an edit screen request is input for an image designated by a user. For example, when an image to be uploaded to the SNS is selected by the user and an edit screen request UI of the corresponding image is selected, information about a trim section of the selected image or highlight image information may be output.

트림 구간에 관한 정보가 영상 분석의 결과로서 출력되는 경우, 하나 이상의 하이라이트 구간으로부터 선택된 하나의 영상 구간을 트림 구간으로서 출력할 수 있다. 선택된 트림 구간은 사용자가 식별할 수 있도록 디스플레이에 표시됨으로써 출력될 수 있다. 또는 선택된 트림 구간에 관한 정보가 메모리에 저장될 수 있다. When information about the trim section is output as a result of image analysis, one image section selected from one or more highlight sections may be output as the trim section. The selected trim section may be output by being displayed on the display so that the user can identify it. Alternatively, information regarding the selected trim section may be stored in the memory.

트림 구간에 관한 정보는 예를 들어, 트림 구간을 특정할 수 있는 정보로서, 트림 구간의 시작과 끝을 지시하는 정보일 수도 있고, 트림 구간의 시작과 지속 기간(duration)을 지시하는 정보일 수도 있다. 이때, 정보는 프레임 수 또는 시간으로 표현될 수 있다. 또는, 트림 구간에 해당하는 영상이 메모리에 별도로 저장될 수도 있다.The information about the trim section is, for example, information that can specify the trim section, and may be information indicating the start and end of the trim section, or information indicating the start and duration of the trim section. there is. In this case, the information may be expressed in the number of frames or time. Alternatively, the image corresponding to the trim section may be separately stored in the memory.

본 발명에 따른 영상 분석이 수행된 후, 사용자는 디스플레이를 통해 해당 영상의 트림 구간을 즉시 제공받을 수 있다. 또한 영상의 분석이 완료되어 해당 영상의 트림 구간에 관한 정보가 메모리에 저장되면, 사용자의 요청이 있을 경우, 추가적인 분석없이 해당 영상의 트림 구간이 즉시 사용자에게 제공될 수 있다. After the image analysis according to the present invention is performed, the user may be immediately provided with the trim section of the corresponding image through the display. In addition, when the analysis of the image is completed and information on the trim section of the corresponding image is stored in the memory, upon a user's request, the trim section of the corresponding image can be immediately provided to the user without additional analysis.

복수의 하이라이트 구간으로부터 트림 구간을 선택하는 기준은 미리 설정될 수도 있고, 사용자에 의해 설정될 수도 있다. 예컨대, 복수의 하이라이트 구간 중 길이가 가장 긴 구간이 트림 구간으로 선택될 수 있다. 이를 위해 각각의 하이라이트 구간의 특성으로서, 길이가 이용될 수 있다. 프로세서는 복수의 하이라이트 구간 각각의 길이를 비교한 후 가장 길이가 긴 구간을 트림 구간으로 선택할 수 있다. 예컨대, 도 6에 도시된 예에서, 트림 구간은 영상 구간3으로 선택될 수 있다.A criterion for selecting a trim section from a plurality of highlight sections may be preset or set by a user. For example, the longest section among the plurality of highlight sections may be selected as the trim section. To this end, as a characteristic of each highlight section, a length may be used. After comparing the lengths of the plurality of highlight sections, the processor may select the longest section as the trim section. For example, in the example shown in FIG. 6 , the trim section may be selected as the image section 3 .

예를 들어, 복수의 하이라이트 구간 중 소정의 길이에 가장 근접한 길이를 가진 구간이 트림 구간으로 선택될 수 있다. 상기 소정의 길이는 미리 설정되거나 사용자에 의해 설정될 수 있다. 예컨대, 동영상을 송수신하거나 업로드하는 어플리케이션의 제한에 의해 상기 소정의 길이가 설정될 수 있다.For example, a section having a length closest to a predetermined length among a plurality of highlight sections may be selected as the trim section. The predetermined length may be preset or set by a user. For example, the predetermined length may be set by a limitation of an application that transmits/receives or uploads a video.

또는 예를 들어, 복수의 하이라이트 구간 중 화면내 움직임이 가장 많은 구간 또는 가장 적은 구간이 트림 구간으로 선택될 수 있다. 이를 위해 각각의 하이라이트 구간의 특성으로서, 예컨대, 프레임들 사이의 차이값(frame-by-frame difference)을 이용하여 산출된 특성이 이용될 수 있다.Alternatively, for example, a section having the most or the least movement in the screen among the plurality of highlight sections may be selected as the trim section. For this, as a characteristic of each highlight section, for example, a characteristic calculated using a frame-by-frame difference between frames may be used.

또는 예를 들어, 복수의 하이라이트 구간 중 색 다양성이 가장 높은 구간 또는 가장 낮은 구간이 트림 구간으로 선택될 수 있다. 이를 위해 각각의 하이라이트 구간의 특성으로서, 예컨대, 컬러 히스토그램(color histogram)을 이용하여 산출된 특성이 이용될 수 있다.Alternatively, for example, a section having the highest color diversity or a section having the lowest color diversity among the plurality of highlight sections may be selected as the trim section. For this, as a characteristic of each highlight section, for example, a characteristic calculated using a color histogram may be used.

또는 예를 들어, 복수의 하이라이트 구간 중 가장 선명한 구간이 트림 구간으로 선택될 수 있다. 이를 위해 각각의 하이라이트 구간의 특성으로서, 예컨대, 에지 히스토그램(edge histogram)을 이용하여 산출된 특성이 이용될 수 있다.Alternatively, for example, the sharpest section among the plurality of highlight sections may be selected as the trim section. For this, as a characteristic of each highlight section, for example, a characteristic calculated using an edge histogram may be used.

상기 트림 구간을 선택하는 다양한 기준은 단독으로, 또는 다른 기준과 조합되어 적용될 수 있다. 둘 이상의 기준이 조합되어 적용되는 경우, 각각의 기준에 서로 다른 가중치를 부여함으로써, 기준 간의 우선 순위를 달리할 수 있다.Various criteria for selecting the trim section may be applied alone or in combination with other criteria. When two or more criteria are combined and applied, different weights are given to each criterion, so that the priority between the criteria can be different.

하나의 영상 구간이 트림 구간으로서 제공될 수도 있고, 둘 이상의 영상 구간이 제공될 수도 있다. 둘 이상의 영상 구간이 트림 구간으로서 제공되는 경우, 사용자의 입력에 기초하여 그 중 일부가 트림 구간으로서 최종 선택될 수 있다. 또 다른 예에 따르면 제공되는 트림 구간과 무관하게 사용자에 의해 해당 영상의 일부분 또는 복수개의 부분이 선택될 수 있고, 선택된 일부분 또는 복수개의 부분이 트림 구간으로서 최종 선택될 수 있다.One video section may be provided as a trim section, or two or more video sections may be provided. When two or more video sections are provided as trim sections, some of them may be finally selected as trim sections based on a user input. According to another example, a part or a plurality of parts of the corresponding image may be selected by a user regardless of a trim section provided, and the selected part or a plurality of parts may be finally selected as a trim section.

하이라이트 영상에 관한 정보가 영상 분석의 결과로서 출력되는 경우, 소정의 기준에 따라 하나 이상의 하이라이트 구간의 일부 또는 전부를 연결함으로써 하이라이트 영상을 생성할 수 있다. 생성된 하이라이트 영상은 사용자가 식별할 수 있도록 디스플레이에 표시됨으로써 출력될 수 있다. 또는 생성된 하이라이트 영상에 관한 정보가 메모리에 저장될 수 있다. 하이라이트 영상에 관한 정보는 예를 들어, 하이라이트 영상을 구성하는 하이라이트 구간의 각각을 특정할 수 있는 정보로서, 하이라이트 구간 각각의 시작과 끝을 지시하는 정보일 수도 있고, 하이라이트 구간 각각의 시작과 지속 기간(duration)을 지시하는 정보일 수도 있다. 이때, 정보는 프레임 수 또는 시간으로 표현될 수 있다. 또는, 생성된 하이라이트 영상이 메모리에 별도로 저장될 수도 있다.When information about a highlight image is output as a result of image analysis, a highlight image may be generated by linking some or all of one or more highlight sections according to a predetermined criterion. The generated highlight image may be output by being displayed on a display so that a user can identify it. Alternatively, information about the generated highlight image may be stored in the memory. The information about the highlight image is, for example, information capable of specifying each of the highlight sections constituting the highlight image, and may be information indicating the start and end of each highlight section, or the start and duration of each highlight section. It may be information indicating (duration). In this case, the information may be expressed in the number of frames or time. Alternatively, the generated highlight image may be separately stored in the memory.

하이라이트 영상을 구성하기 위해 소정의 기준에 따라 복수의 하이라이트 구간 중 일부가 선택될 수 있다. 이때 소정의 기준은 예컨대, 길이가 가장 긴 하이라이트 구간, 소정의 길이에 가장 근접한 길이를 갖는 구간, 화면내 움직임이 가장 작은 구간 또는 가장 큰 구간, 색 다양성이 가장 작은 구간 또는 가장 큰 구간, 가장 선명한 구간 또는 소정 기준 이상의 선명도를 갖는 구간 등이 적용될 수 있다. 상기 각각의 기준에 부합하는 하이라이트 구간을 선택하기 위해, 상기 트림 구간의 선택에서 전술한 방법이 유사하게 적용될 수 있다.In order to compose a highlight image, some of the plurality of highlight sections may be selected according to a predetermined criterion. In this case, the predetermined criteria are, for example, a highlight section with the longest length, a section having a length closest to the predetermined length, a section with the smallest or largest motion in the screen, a section with the smallest or greatest color diversity, and the most vivid A section or a section having a sharpness greater than or equal to a predetermined standard may be applied. In order to select a highlight section that meets the respective criteria, the above-described method may be similarly applied to the selection of the trim section.

상기 하이라이트 영상을 구성하는 하이라이트 구간을 선택하는 다양한 기준은 단독으로 또는 다른 기준과 조합되어 적용될 수 있다. 둘 이상의 기준이 조합되어 적용되는 경우, 각각의 기준에 서로 다른 가중치를 부여함으로써, 기준 간의 우선 순위를 달리할 수 있다.Various criteria for selecting a highlight section constituting the highlight image may be applied alone or in combination with other criteria. When two or more criteria are combined and applied, different weights are given to each criterion, so that the priority between the criteria can be different.

하이라이트 영상의 전체 길이 또는 하이라이트 영상을 구성하는 하이라이트 구간의 개수에 제한이 있는 경우, 이를 함께 반영하여 상기 소정의 기준에 부합하는 하이라이트 구간 중 일부 하이라이트 구간만이 우선 순위에 따라 선택될 수 있다. When there is a limit on the total length of the highlight image or the number of highlight sections constituting the highlight video, only some of the highlight sections from among the highlight sections that meet the predetermined criteria may be selected according to priority by reflecting this.

도 7은 영상으로부터 트림 구간을 선택하는 방법을 설명하기 위한 도면이다.7 is a diagram for explaining a method of selecting a trim section from an image.

도 7의 (a)에 도시된 바와 같이, 선택된 영상에 대해 영상 편집의 트림 기능을 선택한 후, 사용자 입력에 의해 트림 구간의 시작 시점과 종료 시점을 선택함으로써, 트림 구간이 수동으로 선택될 수 있다. 마지막으로 선택된 트림 구간을 확정하는 사용자 입력에 의해 트림 영상이 생성될 수 있다. 이때, 사용자 입력은 마우스 입력 또는 터치 입력을 포함할 수 있다. 또는 사용자 입력은 시작 시점과 종료 시점 또는 시작 시점과 지속 기간을 직접 입력하는 방식일 수 있다.As shown in (a) of FIG. 7 , the trim section can be manually selected by selecting the trim function of the video editing for the selected video and then selecting the start time and end time of the trim section by a user input. . A trim image may be generated by a user input for determining the last trim section selected. In this case, the user input may include a mouse input or a touch input. Alternatively, the user input may be a method of directly inputting a start time and an end time or a start time and a duration.

또는 도 7의 (b)에 도시된 바와 같이, 사용자는 사용자 디바이스에서 구동되는 어플리케이션의 셋업 메뉴를 조작하여, 본 발명에 따른 영상 분석 방법이 실행되도록 설정할 수 있다(셋팅에서 스마트 비디오 트리머를 ON으로 설정). 본 발명에 따른 영상 분석 방법이 실행되도록 설정되면, 전술한 소정의 조건에서 본 발명에 따른 영상 분석 방법이 수행되고, 트림 구간에 관한 정보가 생성되어, 해당 영상의 분석 결과로서 메모리에 저장될 수 있다. Alternatively, as shown in (b) of FIG. 7 , the user may set the image analysis method according to the present invention to be executed by manipulating the setup menu of the application running on the user device (set the smart video trimmer to ON in the setting). Set). When the image analysis method according to the present invention is set to be executed, the image analysis method according to the present invention is performed under the above-described predetermined conditions, and information about the trim section is generated and stored in the memory as the analysis result of the image. there is.

이 후, 분석이 완료된 영상이 사용자에 의해 선택되는 경우, 편집 UI 요소, 구체적으로 트림 버튼(예컨대, 도 7(b)의 디스플레이 화면의 좌측 하단에 표시된 마법봉 버튼)이 사용자에게 제공될 수 있다. 사용자가 트림 버튼을 선택하면, 메모리에 저장된 트림 구간에 관한 정보에 기초하여, 자동으로 분석된 트림 구간이 즉시 사용자에게 제공될 수 있다. 이 때, 자동으로 분석된 트림 구간에 해당하는 부분은 프레임 명도를 달리하거나 다른 색상의 필터를 이용하여 트림 구간에 해당하지 않는 부분과 구별되게 표시할 수 있다. 마지막으로 제공된 트림 구간을 확정하는 사용자 입력에 의해 트림 영상이 생성될 수 있다.After that, when the analyzed image is selected by the user, an editing UI element, specifically, a trim button (eg, a magic wand button displayed at the lower left of the display screen of FIG. 7B ) may be provided to the user. When the user selects the trim button, the trim section automatically analyzed based on the information about the trim section stored in the memory may be immediately provided to the user. In this case, the portion corresponding to the automatically analyzed trim section may be displayed to be distinguished from the portion not corresponding to the trim section by changing the frame brightness or using a filter of a different color. A trim image may be generated by a user input for determining the trim section provided last.

도 8은 본 발명의 영상 분석 방법이 수행되어 생성된 하이라이트 영상을 제공하는 일 실시예를 설명하기 위한 도면이다.8 is a diagram for explaining an embodiment of providing a highlight image generated by performing the image analysis method of the present invention.

전술한 바와 같이, 본 발명의 영상 분석 방법이 수행되면, 하이라이트 영상에 관한 정보가 영상 분석의 결과로서 출력될 수 있다. 하이라이트 영상에 관한 정보는 하이라이트 영상을 구성하는 하이라이트 구간의 시작 시점 및 종료 시점을 식별할 수 있는 정보를 포함할 수 있다. 따라서, 하이라이트 영상에 관한 정보를 이용하면 해당 분석 대상 영상에 있어서, 하이라이트 구간과 비하이라이트 구간을 용이하게 식별할 수 있다.As described above, when the image analysis method of the present invention is performed, information on a highlight image may be output as a result of image analysis. The information about the highlight image may include information for identifying a start time and an end time of a highlight section constituting the highlight image. Accordingly, by using the information on the highlight image, it is possible to easily identify a highlight section and a non-highlight section in the corresponding analysis target image.

본 발명에 따른 영상 분석이 완료된 영상을 사용자가 선택할 경우, 해당 영상의 하이라이트 구간으로만 구성된 하이라이트 영상이 사용자에게 제공될 수도 있고, 변형예로서, 도 8에 도시된 바와 같이, 해당 영상을 구성하는 하이라이트 구간은 정상 속도로 재생하고, 비하이라이트 구간은 정상 속도 이상의 속도(예컨대, 2배속)로 재생하는 방법으로 선택된 영상이 사용자에게 제공될 수도 있다.When a user selects an image on which image analysis has been completed according to the present invention, a highlight image composed only of a highlight section of the image may be provided to the user, and as a modification, as shown in FIG. 8, The selected image may be provided to the user by reproducing the highlight section at a normal speed and the non-highlight section at a speed higher than the normal speed (eg, double speed).

또는, 본 발명에 따른 영상 분석의 수행 결과로서, 동영상을 구성하는 키 프레임을 정지 영상으로서 메모리에 저장하거나 사용자에게 제공할 수 있다. 예컨대, 움직임이 많은 객체(강아지, 고양이 등)를 촬영하는 경우, 흔들림이 적은 정지 영상을 획득하기가 용이하지 않다. 이런 경우, 해당 피사체를 촬영한 동영상을 재생하면서 그 중 선명도가 높은 프레임을 정지 영상으로 캡쳐함으로써 피사체에 대한 양호한 정지 영상을 확보할 수 있다.Alternatively, as a result of image analysis according to the present invention, key frames constituting a moving image may be stored in a memory as a still image or provided to a user. For example, when photographing an object with a lot of movement (a dog, a cat, etc.), it is not easy to obtain a still image with less shaking. In this case, a good still image of the subject can be secured by capturing a frame having high sharpness as a still image while playing a moving picture of the subject.

본 발명의 영상 분석 방법에 따르면, 동영상을 구성하는 모든 프레임을 분석하게 되므로, 이 중 가장 선명도가 높은 프레임을 선택함으로써 자동으로 키 프레임을 획득할 수 있다. 구체적으로, 트림 구간 제안 요청과 유사하게 사용자에 의해 키프레임 제안 요청이 있는 경우, 본 발명의 영상 분석 방법에 따라 동영상에 포함된 프레임 중 적어도 하나를 키프레임으로 판단할 수 있다. 이 때, 키프레임을 키프레임이 아닌 프레임과 구별하여 표시함으로써 사용자에게 키프레임을 제안할 수 있다. 이에 따라, 사용자가 직접 동영상으로부터 키 프레임을 찾는 시간과 수고를 덜 수 있다.According to the image analysis method of the present invention, since all frames constituting a moving picture are analyzed, a key frame can be automatically obtained by selecting a frame with the highest sharpness among them. Specifically, when there is a keyframe suggestion request by the user similar to the trim section suggestion request, at least one of the frames included in the video may be determined as the keyframe according to the image analysis method of the present invention. In this case, the keyframe may be suggested to the user by displaying the keyframe separately from the non-keyframe frame. Accordingly, it is possible to reduce the time and effort of the user directly searching for the key frame from the moving picture.

본 발명에 따른 영상 분석 방법은, 예컨대 인스턴트 메신저 어플리케이션을 통해 동영상을 전송할 때, SNS를 통해 동영상 프로파일을 설정할 때, 원격 저장소에 동영상을 저장할 때, 인스턴트 컨텐트 쉐어링(instant content sharing; 예컨대, LINE Timeline post, LINE Timeline Story 등)에서 동영상을 선택할 때 적용될 수 있다. 이때 업로드 동영상의 길이에 제한이 있는 경우, 길이 제한에 부합하는 구간이 선택되어 제공될 수 있다. 동영상의 길이 제한은, 예컨대, 동영상 프로파일의 경우 6초, Story의 경우 15초와 같이, 어플리케이션 또는 서비스 별로 상이하게 설정될 수 있다.The video analysis method according to the present invention, for example, when transmitting a video through an instant messenger application, when setting a video profile through SNS, when storing a video in a remote storage, instant content sharing (for example, LINE Timeline post) , LINE Timeline Story, etc.) can be applied when selecting a video. In this case, if there is a limit on the length of the uploaded video, a section that meets the length limit may be selected and provided. The length limit of the video may be set differently for each application or service, for example, 6 seconds for a video profile and 15 seconds for a Story.

본 발명에 따른 영상 분석 방법의 분석 결과로서 제공되는 하이라이트 영상은 둘 이상의 분석 대상 영상에 기초하여 생성될 수도 있다. 예컨대, 동일 여행지에서 촬영된 둘 이상의 분석 대상 영상을 분석하여 하이라이트 구간을 식별하고, 식별된 하이라이트 구간을 연결함으로써 하이라이트 영상을 생성할 수 있다.The highlight image provided as an analysis result of the image analysis method according to the present invention may be generated based on two or more analysis target images. For example, a highlight section may be identified by analyzing two or more analysis target images captured in the same travel destination, and a highlight image may be generated by connecting the identified highlight sections.

본 발명에 따르면, 영상으로부터 트림 영상 또는 하이라이트 영상이 자동으로 분석 및 생성되어 사용자에게 제공될 수 있다. 사용자는 자동으로 생성된 트림 영상 또는 하이라이트 영상을 이용할 수 있으므로, 영상 편집에 소요되는 시간과 노력을 절약할 수 있다.According to the present invention, a trim image or a highlight image may be automatically analyzed and generated from an image and provided to a user. Since the user can use the automatically generated trim video or highlight video, time and effort required for video editing can be saved.

또한, 본 발명에 따른 영상 분석은 사용자 디바이스의 상태, 사용 패턴 등을 고려하여 수행되므로, 많은 리소스를 필요로 하는 영상 분석 작업을 최적의 타이밍에 수행할 수 있고, 그럼으로써 사용자 디바이스의 자원을 효율적으로 사용할 수 있다.In addition, since the image analysis according to the present invention is performed in consideration of the state of the user device, the usage pattern, etc., the image analysis operation that requires a lot of resources can be performed at the optimal timing, thereby efficiently using the resources of the user device. can be used as

본 개시의 예시적인 방법들은 설명의 명확성을 위해서 동작의 시리즈로 표현되어 있지만, 이는 단계가 수행되는 순서를 제한하기 위한 것은 아니며, 필요한 경우에는 각각의 단계가 동시에 또는 상이한 순서로 수행될 수도 있다. 본 개시에 따른 방법을 구현하기 위해서, 예시하는 단계에 추가적으로 다른 단계를 포함하거나, 일부의 단계를 제외하고 나머지 단계를 포함하거나, 또는 일부의 단계를 제외하고 추가적인 다른 단계를 포함할 수도 있다.Example methods of the present disclosure are expressed as a series of operations for clarity of description, but this is not intended to limit the order in which the steps are performed, and if necessary, each step may be performed simultaneously or in a different order. In order to implement the method according to the present disclosure, other steps may be included in addition to the illustrated steps, steps may be excluded from some steps, and/or other steps may be included except for some steps.

본 개시의 다양한 실시예는 모든 가능한 조합을 나열한 것이 아니고 본 개시의 대표적인 양상을 설명하기 위한 것이며, 다양한 실시예에서 설명하는 사항들은 독립적으로 적용되거나 또는 둘 이상의 조합으로 적용될 수도 있다. Various embodiments of the present disclosure do not list all possible combinations, but are intended to describe representative aspects of the present disclosure, and the details described in various embodiments may be applied independently or in combination of two or more.

또한, 본 발명의 일실시예에 따른 방법은 다양한 컴퓨터 장치에 의해 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 통상의 기술자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.In addition, the method according to an embodiment of the present invention may be implemented in the form of program instructions that can be executed by various computer devices and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions recorded in the medium may be specially designed and configured for the present invention, or may be known and available to those skilled in the art of computer software. Examples of the computer-readable recording medium include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floppy disks. - includes magneto-optical media, and hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.

또한, 본 개시의 다양한 실시예는 하드웨어, 펌웨어(firmware), 소프트웨어, 또는 그들의 결합 등에 의해 구현될 수 있다. 하드웨어에 의한 구현의 경우, 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 범용 프로세서(general processor), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다. In addition, various embodiments of the present disclosure may be implemented by hardware, firmware, software, or a combination thereof. For implementation by hardware, one or more Application Specific Integrated Circuits (ASICs), Digital Signal Processors (DSPs), Digital Signal Processing Devices (DSPDs), Programmable Logic Devices (PLDs), Field Programmable Gate Arrays (FPGAs), general purpose It may be implemented by a processor (general processor), a controller, a microcontroller, a microprocessor, and the like.

본 개시의 범위는 다양한 실시예의 방법에 따른 동작이 장치 또는 컴퓨터 장치 상에서 실행되도록 하는 소프트웨어 또는 머신-실행가능한 명령들(예를 들어, 운영체제, 애플리케이션, 펌웨어(firmware), 프로그램 등), 및 이러한 소프트웨어 또는 명령 등이 저장되어 장치 또는 컴퓨터 상에서 실행 가능한 비-일시적 컴퓨터-판독가능 매체(non-transitory computer-readable medium)를 포함한다. The scope of the present disclosure includes software or machine-executable instructions (eg, operating system, application, firmware, program, etc.) that cause operation according to the method of various embodiments to be executed on a device or computer device, and such software or a non-transitory computer-readable medium in which instructions and the like are stored and executed on an apparatus or computer.

Claims (20)

메모리 및 적어도 하나의 프로세서를 포함하는 사용자 디바이스에 의해 수행되는 영상 분석 방법으로서,
상기 메모리에 저장된 하나 이상의 영상의 분석을 수행할지 여부를 결정하는 단계;
상기 하나 이상의 영상 중 분석 대상 영상을 선택하는 단계;
상기 분석 대상 영상을 분석하는 단계; 및
상기 분석 대상 영상 중 적어도 하나에 대한 분석 결과를 출력하는 단계를 포함하고,
상기 분석 대상 영상을 분석하는 단계는,
상기 분석 대상 영상을 구성하는 복수의 프레임에 대해 소정의 기준에 부합하는지 여부를 분석하여 부합되는 하나의 이상의 영상 구간을 식별하는 단계와,
상기 프레임의 분석 결과에 기초하여 식별된 하나 이상의 영상 구간을 하이라이트(highlight) 구간과 비하이라이트(non-highlight) 구간으로 분류하는 단계를 포함하고,
상기 영상의 분석을 수행할지 여부를 결정하는 단계는, 상기 사용자 디바이스의 사용 패턴에 기초하여 수행되는, 영상 분석 방법.An image analysis method performed by a user device comprising a memory and at least one processor, the method comprising:
determining whether to analyze one or more images stored in the memory;
selecting an analysis target image from among the one or more images;
analyzing the analysis target image; and
outputting an analysis result for at least one of the analysis target images;
The step of analyzing the analysis target image comprises:
analyzing whether or not a plurality of frames constituting the analysis target image meet a predetermined criterion to identify one or more matching image sections;
Classifying one or more image sections identified based on the analysis result of the frame into a highlight section and a non-highlight section,
The determining whether to analyze the image is performed based on a usage pattern of the user device. 삭제delete 삭제delete 제1항에 있어서,
상기 영상의 분석을 수행할지 여부를 결정하는 단계는,
상기 사용자 디바이스가 유휴 상태이고, 상기 사용자 디바이스의 사용 패턴에 기초하여 상기 사용자 디바이스가 소정 시간 동안 사용되지 않을 것으로 판단된 경우, 상기 영상의 분석을 수행하는 것으로 결정하는 단계를 포함하는, 영상 분석 방법.The method of claim 1,
The step of determining whether to perform the analysis of the image,
When it is determined that the user device is in an idle state and it is determined that the user device will not be used for a predetermined time based on a usage pattern of the user device, determining to perform the analysis of the image . 제1항에 있어서,
상기 분석 대상 영상을 선택하는 단계는,
상기 메모리에 저장된 하나 이상의 영상 중 생성일이 가장 늦은 영상을 상기 분석 대상 영상으로 선택하는 단계를 포함하는, 영상 분석 방법.The method of claim 1,
The step of selecting the analysis target image comprises:
An image analysis method comprising the step of selecting an image with the latest creation date from among the one or more images stored in the memory as the analysis target image. 제1항에 있어서,
상기 분석 대상 영상을 분석하는 단계는,
상기 하이라이트 구간으로 분류된 영상 구간의 각각을 분석하는 단계를 더 포함하는, 영상 분석 방법.The method of claim 1,
The step of analyzing the analysis target image comprises:
Further comprising the step of analyzing each of the video sections classified as the highlight section, the image analysis method. 제1항에 있어서,
상기 프레임을 분석하는 단계는,
상기 복수의 프레임의 각각을 구성하는 픽셀들의 밝기값 및 색상값, 프레임내 에지의 양 중 적어도 하나가 상기 소정의 기준에 부합하는지 여부를 판단함으로써 출력되지 않을 프레임을 식별하는 단계를 포함하는, 영상 분석 방법.The method of claim 1,
The step of analyzing the frame,
and identifying a frame that will not be output by determining whether at least one of a brightness value and a color value of pixels constituting each of the plurality of frames, and an amount of an edge in the frame, meets the predetermined criterion. analysis method. 제1항에 있어서,
상기 영상 구간을 분류하는 단계는,
영상 구간의 길이가 소정의 길이 이상인 경우, 해당 영상 구간을 하이라이트 구간으로 분류하는 단계; 및,
영상 구간의 길이가 소정의 길이 미만인 경우, 해당 영상 구간을 비하이라이트 구간으로 분류하는 단계를 포함하는, 영상 분석 방법.The method of claim 1,
The step of classifying the video section includes:
classifying the video section as a highlight section when the length of the video section is greater than or equal to a predetermined length; and,
When the length of the video section is less than a predetermined length, classifying the corresponding video section as a non-highlight section, the image analysis method. 제6항에 있어서,
상기 영상 구간을 분석하는 단계는,
영상 구간을 구성하는 복수의 프레임의 각각에 대한 분석 결과, 프레임간 차이값, 해당 영상 구간의 길이 중 적어도 하나를 해당 영상 구간의 특성으로서 산출하는 단계를 포함하는, 영상 분석 방법.7. The method of claim 6,
The step of analyzing the video section is,
An image analysis method comprising the step of calculating at least one of an analysis result of each of a plurality of frames constituting an image section, a difference value between frames, and a length of the corresponding video section as a characteristic of the corresponding video section. 제9항에 있어서,
상기 분석 결과를 출력하는 단계는,
상기 영상 구간의 특성에 기초하여, 적어도 하나의 하이라이트 구간에 관한 정보를 출력하는 단계를 포함하는, 영상 분석 방법.10. The method of claim 9,
The step of outputting the analysis result is,
and outputting information on at least one highlight section based on the characteristics of the video section. 제1항에 있어서,
상기 분석 결과를 출력하는 단계는,
상기 사용자 디바이스의 사용자로부터 상기 분석 대상 영상 중 적어도 하나에 대해 편집 화면 요청이 수신되면 해당 영상에 대한 분석 결과를 출력하는 단계를 포함하는, 영상 분석 방법.The method of claim 1,
The step of outputting the analysis result is,
When a request for an edit screen for at least one of the analysis target images is received from the user of the user device, outputting an analysis result for the corresponding image, the image analysis method. 제1항에 있어서,
상기 분석 결과를 출력하는 단계는,
상기 사용자 디바이스의 사용자로부터 상기 메모리에 저장된 하나 이상의 영상 중 하나에 대한 선택을 수신하는 단계;
상기 선택된 영상에 대해 편집 화면 요청이 수신되면, 상기 선택된 영상이 상기 분석 대상 영상에 해당하여 상기 선택된 영상에 대한 분석 결과가 상기 메모리에 저장되어 있는지를 판단하는 단계; 및
상기 선택된 영상에 대한 분석 결과가 저장된 것으로 판단하는 경우, 상기 분석 결과를 출력하는 단계
를 포함하는, 영상 분석 방법.The method of claim 1,
The step of outputting the analysis result is,
receiving a selection for one of one or more images stored in the memory from a user of the user device;
determining whether the selected image corresponds to the analysis target image and an analysis result of the selected image is stored in the memory when an edit screen request is received for the selected image; and
outputting the analysis result when it is determined that the analysis result for the selected image is stored
Including, an image analysis method. 제12항에 있어서,
상기 선택된 영상에 대한 분석 결과가 저장된 것으로 판단하는 경우, 상기 분석 결과와 함께 상기 선택된 영상에 대한 편집 UI 요소를 표시하는, 영상 분석 방법.13. The method of claim 12,
When it is determined that the analysis result for the selected image is stored, displaying an editing UI element for the selected image together with the analysis result. 제1항, 제4항 내지 제13항 중 어느 한 항에 따른 영상 분석 방법을 컴퓨터에서 실행하기 위해 컴퓨터로 판독가능한 기록 매체에 저장된 컴퓨터 프로그램.A computer program stored in a computer-readable recording medium for executing the image analysis method according to any one of claims 1 to 13 in a computer. 영상 분석 방법을 수행하는 사용자 디바이스로서,
하나 이상의 영상을 저장하는 메모리; 및
적어도 하나의 프로세서를 포함하고,
상기 프로세서는,
상기 메모리에 저장된 하나 이상의 영상의 분석을 수행할지 여부를 결정하는 단계;
상기 하나 이상의 영상 중 분석 대상 영상을 선택하는 단계;
상기 분석 대상 영상을 분석하는 단계; 및
상기 분석 결과를 출력하는 단계를 수행하고,
상기 분석 대상 영상을 분석하는 단계는,
상기 분석 대상 영상을 구성하는 복수의 프레임에 대해 소정의 기준에 부합하는지 여부를 분석하여 부합되는 하나의 이상의 영상 구간을 식별하는 단계와,
상기 프레임의 분석 결과에 기초하여 식별된 하나 이상의 영상 구간을 하이라이트 구간과 비하이라이트 구간으로 분류하는 단계를 포함하고,
상기 영상의 분석을 수행할지 여부를 결정하는 단계는, 상기 사용자 디바이스의 사용 패턴에 기초하여 수행되는, 사용자 디바이스.A user device for performing an image analysis method, comprising:
a memory for storing one or more images; and
at least one processor;
The processor is
determining whether to analyze one or more images stored in the memory;
selecting an analysis target image from among the one or more images;
analyzing the analysis target image; and
performing the step of outputting the analysis result,
The step of analyzing the analysis target image comprises:
analyzing whether or not a plurality of frames constituting the analysis target image meet a predetermined criterion to identify one or more matching image sections;
classifying one or more image sections identified based on the analysis result of the frame into a highlight section and a non-highlight section;
The determining whether to analyze the image is performed based on a usage pattern of the user device. 제15항에 있어서,
상기 프로세서는,
상기 사용자 디바이스가 유휴 상태이고, 상기 사용자 디바이스의 사용 패턴에 기초하여 상기 사용자 디바이스가 소정 시간 동안 사용되지 않을 것으로 판단된 경우, 상기 영상의 분석을 수행하는 것으로 결정하는, 사용자 디바이스.16. The method of claim 15,
The processor is
When it is determined that the user device is in an idle state and it is determined that the user device will not be used for a predetermined time based on a usage pattern of the user device, it is determined to perform the analysis of the image. 제15항에 있어서,
상기 프로세서는, 상기 분석 대상 영상을 분석하는 단계에서,
상기 하이라이트 구간으로 분류된 영상 구간의 각각을 분석하는 단계를 더 수행하는, 사용자 디바이스.16. The method of claim 15,
The processor, in the step of analyzing the analysis target image,
Further performing the step of analyzing each of the video section classified into the highlight section, the user device. 제17항에 있어서,
상기 프로세서는, 상기 영상 구간을 분석하는 단계에서,
상기 영상 구간을 구성하는 복수의 프레임의 각각에 대한 분석 결과, 프레임간 차이값, 해당 영상 구간의 길이 중 적어도 하나를 해당 영상 구간의 특성으로서 산출하는 단계를 수행하고,
상기 분석 결과를 출력하는 단계에서,
상기 영상 구간의 특성에 기초하여, 적어도 하나의 하이라이트 구간에 관한 정보를 출력하는 단계를 수행하는, 사용자 디바이스.18. The method of claim 17,
The processor, in the step of analyzing the image section,
Calculating at least one of the analysis result of each of the plurality of frames constituting the video section, the difference between frames and the length of the video section as a characteristic of the video section,
In the step of outputting the analysis result,
and outputting information on at least one highlight section based on the characteristics of the video section. 제15항에 있어서,
상기 프로세서는, 상기 분석 결과를 출력하는 단계에서,
상기 사용자 디바이스의 사용자로부터 상기 분석 대상 영상 중 적어도 하나에 대해 편집 화면 요청이 수신되면 해당 영상에 대한 분석 결과를 출력하는 단계를 수행하는, 사용자 디바이스.16. The method of claim 15,
The processor, in the step of outputting the analysis result,
When a request for an edit screen for at least one of the analysis target images is received from a user of the user device, outputting an analysis result for the corresponding image, the user device. 제15항에 있어서,
상기 프로세서는, 상기 분석 결과를 출력하는 단계에서,
상기 사용자 디바이스의 사용자로부터 상기 메모리에 저장된 하나 이상의 영상 중 하나에 대한 선택을 수신하는 단계;
상기 선택된 영상에 대해 편집 화면 요청이 수신되면, 상기 선택된 영상이 상기 분석 대상 영상에 해당하여 상기 선택된 영상에 대한 분석 결과가 상기 메모리에 저장되어 있는지를 판단하는 단계; 및
상기 선택된 영상에 대한 분석 결과가 저장된 것으로 판단하는 경우, 상기 분석 결과를 출력하는 단계를 수행하는, 사용자 디바이스.16. The method of claim 15,
The processor, in the step of outputting the analysis result,
receiving a selection for one of one or more images stored in the memory from a user of the user device;
determining whether the selected image corresponds to the analysis target image and an analysis result of the selected image is stored in the memory when an edit screen request is received for the selected image; and
When it is determined that the analysis result for the selected image is stored, performing the step of outputting the analysis result, the user device.
KR1020190144177A 2019-11-12 2019-11-12 Method, user device and recording medium for computer program KR102372721B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190144177A KR102372721B1 (en) 2019-11-12 2019-11-12 Method, user device and recording medium for computer program
KR1020220028019A KR102586422B1 (en) 2019-11-12 2022-03-04 Method for outputting image, user device and recording medium for computer program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190144177A KR102372721B1 (en) 2019-11-12 2019-11-12 Method, user device and recording medium for computer program

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020220028019A Division KR102586422B1 (en) 2019-11-12 2022-03-04 Method for outputting image, user device and recording medium for computer program

Publications (2)

Publication Number Publication Date
KR20210057428A KR20210057428A (en) 2021-05-21
KR102372721B1 true KR102372721B1 (en) 2022-03-08

Family

ID=76157615

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020190144177A KR102372721B1 (en) 2019-11-12 2019-11-12 Method, user device and recording medium for computer program
KR1020220028019A KR102586422B1 (en) 2019-11-12 2022-03-04 Method for outputting image, user device and recording medium for computer program

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020220028019A KR102586422B1 (en) 2019-11-12 2022-03-04 Method for outputting image, user device and recording medium for computer program

Country Status (1)

Country Link
KR (2) KR102372721B1 (en)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101292523B (en) * 2005-10-27 2011-02-09 三菱电机株式会社 Video summarization device
KR101839406B1 (en) * 2011-09-27 2018-03-19 삼성전자 주식회사 Display apparatus and control method thereof
KR102157765B1 (en) * 2013-12-24 2020-09-18 주식회사 케이티 System for analyzing multi-channel image based on extraction of image transition and method thereof
US10192583B2 (en) * 2014-10-10 2019-01-29 Samsung Electronics Co., Ltd. Video editing using contextual data and content discovery using clusters

Also Published As

Publication number Publication date
KR102586422B1 (en) 2023-10-06
KR20220034754A (en) 2022-03-18
KR20210057428A (en) 2021-05-21

Similar Documents

Publication Publication Date Title
EP2710594B1 (en) Video summary including a feature of interest
US8599316B2 (en) Method for determining key video frames
JP5877895B2 (en) Video summary including a given person
US8605221B2 (en) Determining key video snippets using selection criteria to form a video summary
US9451178B2 (en) Automatic insertion of video into a photo story
CN102906816A (en) Video summary method
WO2015179460A1 (en) Automatically curating video to fit display time
US9503644B2 (en) Using image properties for processing and editing of multiple resolution images
CN102906818A (en) Storing video summary as metadata
US8619150B2 (en) Ranking key video frames using camera fixation
KR20150115617A (en) Method and apparatus for prompting based on smart glasses
CN105830429B (en) For handling the method and system for the video frame damaged by camera motion
KR101812103B1 (en) Method and program for setting thumbnail image
KR102372721B1 (en) Method, user device and recording medium for computer program
EP3855350A1 (en) Detection of action frames of a video stream

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant