KR101812103B1 - Method and program for setting thumbnail image - Google Patents

Method and program for setting thumbnail image Download PDF

Info

Publication number
KR101812103B1
KR101812103B1 KR1020160064578A KR20160064578A KR101812103B1 KR 101812103 B1 KR101812103 B1 KR 101812103B1 KR 1020160064578 A KR1020160064578 A KR 1020160064578A KR 20160064578 A KR20160064578 A KR 20160064578A KR 101812103 B1 KR101812103 B1 KR 101812103B1
Authority
KR
South Korea
Prior art keywords
group
image
frame
frames
computer
Prior art date
Application number
KR1020160064578A
Other languages
Korean (ko)
Other versions
KR20170133618A (en
Inventor
박선규
Original Assignee
데이터킹주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 데이터킹주식회사 filed Critical 데이터킹주식회사
Priority to KR1020160064578A priority Critical patent/KR101812103B1/en
Publication of KR20170133618A publication Critical patent/KR20170133618A/en
Application granted granted Critical
Publication of KR101812103B1 publication Critical patent/KR101812103B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G06V20/47—Detecting features for summarising video content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/325—Modified version of the image, e.g. part of the image, image reduced in size or resolution, thumbnail or screennail

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

본 발명은 썸네일이미지 설정방법 및 설정프로그램에 관한 것이다.
본 발명의 일실시예에 따른 썸네일이미지 설정방법은, 컴퓨터가 동영상데이터를 획득하는 단계(S100); 상기 동영상데이터에 포함된 복수의 프레임을 분석하여 하나 이상의 유사이미지그룹을 생성하는 단계(S200); 각각의 유사이미지그룹 내의 복수의 프레임 중에서 그룹대표프레임을 추출하는 단계(S300); 및 하나 이상의 그룹대표프레임 중에서 특정한 썸네일이미지를 추출하는 단계(S400);를 포함한다.
본 발명에 따르면, 컴퓨터는 특정한 동영상의 주요촬영대상 또는 특징을 파악할 수 있는 프레임을 썸네일이미지로 표시할 수 있다.The present invention relates to a thumbnail image setting method and a setting program.
A method of setting a thumbnail image according to an exemplary embodiment of the present invention includes: acquiring moving image data (S100); Analyzing a plurality of frames included in the moving image data to generate at least one similar image group (S200); Extracting a group representative frame from among a plurality of frames in each similar image group (S300); And extracting a specific thumbnail image from among the one or more group representative frames (S400).
According to the present invention, the computer can display, as a thumbnail image, a frame capable of capturing a main shooting subject or characteristic of a specific moving picture.

Description

썸네일이미지 설정방법 및 설정프로그램 {METHOD AND PROGRAM FOR SETTING THUMBNAIL IMAGE}METHOD AND PROGRAM FOR SETTING THUMBNAIL IMAGE "

본 발명은 썸네일이미지 설정방법 및 설정프로그램에 관한 것으로, 보다 자세하게는 각 동영상을 사용자가 쉽게 구별할 수 있도록 적절한 썸네일이미지를 추출하는 방법 및 프로그램에 관한 것이다.The present invention relates to a method of setting a thumbnail image and a setting program, and more particularly, to a method and a program for extracting a thumbnail image suitable for a user to easily distinguish each video.

정보 인프라의 확충과 IT 기술의 발전으로 디지털 경제의 확산, 인터넷망 대역폭의 증가와 초고속 인터넷 가입자의 급증으로 오디오, 동영상 등의 멀티미디어 정보 이용 환경이 개선, MPEG(Moving Picture Experts Group) 등의 영상 처리 기술의 발전으로 인하여 디지털 콘텐츠 산업의 중요성이 최근 들어 크게 부각되고 있다. 디지털 콘텐츠는 첨단 IT 기술을 사용하여 부호, 문자, 음성, 음향, 영상 등을 디지털 포맷으로 가공, 처리하여 정보통신망, 디지털 방송망, 디지털 저장 매체 등을 통하여 활용하는 정보를 말한다.Due to the expansion of information infrastructure and the development of IT technology, the digital economy has spread, the internet network bandwidth has increased and the number of broadband Internet subscribers has been rapidly increased, and the environment for using multimedia information such as audio and video has been improved. Due to technological advances, the importance of the digital contents industry has recently been highlighted. Digital contents refers to information that is processed and processed in digital format such as code, text, voice, sound, and image using advanced IT technology and utilized through information communication network, digital broadcasting network, digital storage medium and the like.

최근 몇 년 동안 MP3 플레이어가 휴대용 디바이스로서 대세를 이루는가 싶더니, 요즘은 PMP(Portable Multimedia Player), PVR(Personal Video Recorder), DVD 레코더 등의 출현으로 인해, 기존의 음악 등의 오디오 파일 재생 위주의 기능에 국한되었던 휴대용 디바이스가 동영상, 영화 등의 비디오 파일 재생을 지원하는 방향으로 급선회하고 있다.In recent years, MP3 players have become popular as portable devices. Nowadays, due to the emergence of PMP (Portable Multimedia Player), PVR (Personal Video Recorder) and DVD recorder, Portable devices that have been limited to functions are turning to support the playback of video files such as movies and movies.

또한, 대부분의 휴대용 디바이스들이 카메라를 구비하여 동영상 촬영을 간편하게 할 수 있다. 이에 따라 사용자들은 휴대용 디바이스를 이용하여 많은 동영상을 촬영하여 휴대용 디바이스 내부저장소 또는 클라우드 서버 내에 저장한다. 이 때, 수많은 동영상 중에서 사용자가 편집/재생/이동을 하고자 하는 동영상을 찾는데 어려움을 겪는다. 사용자가 영상을 확인할 수 있도록 제목이나 썸네일이미지를 표시하지만, 비슷한 제목(예를 들어, 촬영일자와 촬영순서만 기재되는 제목)으로 되어 있으면 제목만으로 동영상을 구별하기 어려우며, 표시되는 썸네일이미지도 동영상에서 임의로 선정된 프레임이므로 사용자가 동영상을 쉽게 구별하는데 도움을 주지 못한다.In addition, most portable devices have a camera and can easily record moving pictures. As a result, users can use portable devices to shoot many movies and store them in a portable device internal storage or cloud server. At this time, among many videos, the user has difficulty in finding a video to edit / play / move. If the title or thumbnail image is displayed so that the user can check the image, it is difficult to distinguish the title by only the title if a similar title (for example, a title that shows only the shooting date and the shooting order) Because it is a randomly selected frame, it does not help the user to easily distinguish the video.

이러한 문제점을 해결하기 위하여, 동영상 내에 포함된 복수의 프레임을 그룹화한 후 분석 수행을 통해 동영상을 대표하는 대상체를 포함하는 프레임을 썸네일이미지로 추출하여 설정하는 썸네일이미지 설정방법 및 설정프로그램을 제공하고자 한다.In order to solve such a problem, there is provided a thumbnail image setting method and a setting program for grouping a plurality of frames included in a moving image and extracting a frame including a target object representing the moving image as a thumbnail image through analysis .

본 발명의 일실시예에 따른 썸네일이미지 설정방법은, 컴퓨터가 동영상데이터를 획득하는 단계; 상기 동영상데이터에 포함된 복수의 프레임을 분석하여 하나 이상의 유사이미지그룹을 생성하는 단계; 각각의 유사이미지그룹 내의 복수의 프레임 중에서 그룹대표프레임을 추출하는 단계; 및 하나 이상의 그룹대표프레임 중에서 특정한 썸네일이미지를 추출하는 단계;를 포함하되,상기 유사이미지그룹은 시계열적으로 연속되는 프레임의 집합이다.According to another aspect of the present invention, there is provided a method of setting a thumbnail image, the method comprising: acquiring moving image data; Analyzing a plurality of frames included in the moving image data to generate at least one similar image group; Extracting a group representative frame from among a plurality of frames in each similar image group; And extracting a specific thumbnail image from among the one or more group representative frames, wherein the similar image group is a set of time series sequential frames.

또한, 상기 유사이미지그룹 생성단계는, 각각의 프레임을 동일한 방식에 따라 복수의 구획으로 분할하는 단계; 각 구획에 포함된 형상 또는 색상을 기반으로 식별정보를 부여하는 단계; 및 상기 동영상데이터에 포함된 각각의 프레임 내 식별정보 배치를 바탕으로 프레임의 유사여부를 판단하는 단계;를 포함할 수 있다.The similar image group generation step may further include: dividing each frame into a plurality of segments in the same manner; Assigning identification information based on a shape or a color included in each of the segments; And determining the similarity of the frames based on the intra-frame identification information arrangement included in the moving picture data.

또한, 상기 그룹대표프레임 추출단계는, 각각의 프레임을 동일한 방식에 따라 복수의 구획으로 분할하는 단계; 각 프레임 내에서 특징구획의 개수를 산출하되, 상기 특징구획은 특정한 대상체이미지의 특징점을 포함하는 구획인, 단계; 및 상기 특징구획의 개수가 최대인 프레임을 상기 그룹대표프레임으로 추출하는 단계;를 포함할 수 있다.The group representative frame extracting step may include: dividing each frame into a plurality of segments in the same manner; Calculating a number of feature sections within each frame, wherein the feature section is a section including feature points of a particular object image; And extracting, as the group representative frame, a frame having a maximum number of the feature sections.

또한, 상기 썸네일이미지 추출단계는, 하나 이상의 유사이미지그룹 중에서 프레임의 개수가 최대인 유사이미지그룹의 그룹대표프레임을 썸네일이미지로 추출하는 것을 특징으로 할 수 있다.The thumbnail image extracting step may extract a group representative frame of a similar image group having a maximum number of frames among at least one similar image group as a thumbnail image.

또한, 상기 썸네일이미지 추출단계는, 하나 이상의 그룹대표프레임을 하나 이상의 유사군클래스로 분류하는 단계; 유사군클래스에 매칭되는 전체 그룹의 프레임 개수를 산출하는 단계; 및 프레임개수가 최대인 유사군클래스 내에 포함되는 하나 이상의 그룹대표프레임 중에서 상기 썸네일이미지를 추출하는 단계;를 포함하되, 상기 썸네일이미지는 대상체의 크기가 최대인 그룹대표프레임 또는 특징점 개수가 최대인 그룹대표프레임일 수 있다.The thumbnail image extracting step may include classifying one or more group representative frames into one or more similar group classes; Calculating a total number of frames of the group matching the similarity class; And extracting the thumbnail image from one or more group representative frames included in the similarity class having the largest number of frames, wherein the thumbnail image includes a group representative frame having the largest object size or a group having a maximum number of feature points It may be a representative frame.

또한, 상기 썸네일이미지 추출단계는, 하나 이상의 그룹대표프레임을 화면 상에 표시하는 단계; 사용자로부터 특정한 그룹대표프레임 선택입력을 수신하는 단계; 및 상기 선택입력에 대응하는 그룹대표프레임을 썸네일이미지로 설정하는 단계;를 포함할 수 있다.The thumbnail image extracting step may include displaying at least one group representative frame on a screen; Receiving a specific group representative frame selection input from a user; And setting a group representative frame corresponding to the selection input as a thumbnail image.

또한, 각 그룹의 그룹대표프레임을 동영상 압축의 기준프레임으로 설정하는 단계; 상기 그룹 내 프레임의 차이데이터를 획득하는 단계; 및 상기 기준프레임 및 상기 차이데이터를 바탕으로, 상기 동영상데이터의 압축을 수행하는 단계;를 포함하되, 상기 차이데이터는 상기 기준프레임과 비교하여 특정한 프레임 내 대상체의 위치변경, 확대비율, 축소비율, 특정한 대상체의 추가 중 적어도 하나 이상에 대한 데이터일 수 있다.Setting a group representative frame of each group as a reference frame of moving picture compression; Obtaining difference data of the intra-group frame; And performing compression of the moving picture data based on the reference frame and the difference data, wherein the difference data includes at least one of a position change, an enlargement ratio, a reduction ratio, Or data for at least one or more additions of a particular object.

또한, 상기 차이데이터는, 상기 컴퓨터가 이동단말기인 경우, 상기 컴퓨터에 입력되는 사용자입력데이터 또는 상기 이동단말기 내의 센서에 의해 획득되는 센싱데이터를 통해 획득되는 것을 특징으로 할 수 있다.The difference data may be obtained through user input data input to the computer or sensing data obtained by a sensor in the mobile terminal when the computer is a mobile terminal.

또한, 상기 동영상을 촬영장소를 기반으로 분류하는 경우, 비교이미지 내 특징점과 썸네일이미지 내 특징점의 비교작업을 수행 또는 요청하는 단계; 및 상기 썸네일이미지에 상응하는 장소에 따라 상기 동영상데이터를 분류하는 단계;를 포함하되, 상기 비교이미지는 특정한 장소에 대한 대표이미지일 수 있다.Performing or comparing a feature point in a comparison image and a feature point in a thumbnail image when the moving image is classified based on a photographing location; And classifying the moving image data according to a location corresponding to the thumbnail image, wherein the comparison image may be a representative image for a specific place.

또한, 상기 그룹대표프레임 추출단계는, 상기 유사이미지그룹 내에 복수의 대상체가 포함된 경우, 컴퓨터가 하나 이상의 프레임에 포함된 복수의 대상체를 추출하는 단계; 상기 유사이미지그룹 내에서 각 대상체의 위치이동 또는 각 대상체의 등장시간을 산출하여 주요대상체를 결정하는 단계; 및 상기 주요대상체를 포함하는 상기 그룹대표프레임을 추출하는 단계;를 포함할 수 있다.The group representative frame extracting step may include extracting a plurality of objects included in one or more frames when the plurality of objects are included in the similar image group; Determining a main object by calculating a position shift of each object or an appearance time of each object in the similar image group; And extracting the group representative frame including the main object.

본 발명의 또 다른 일실시예에 따른 썸네일이미지 설정프로그램은, 하드웨어인 컴퓨터와 결합되어 상기 언급된 썸네일이미지 설정방법을 실행하며, 매체에 저장된다.A thumbnail image setting program according to another embodiment of the present invention is combined with a computer which is a hardware, executes the aforementioned thumbnail image setting method, and is stored in a medium.

상기와 같은 본 발명에 따르면, 컴퓨터는 특정한 동영상의 주요촬영대상 또는 특징을 파악할 수 있는 프레임을 썸네일이미지로 표시할 수 있다. 이를 통해, 사용자들은 썸네일이미지를 바탕으로 원하는 동영상을 간편하게 선택할 수 있어서, 특정한 동영상을 찾기 위해 여러 동영상의 재생하는 불편함이 발생하는 것을 방지할 수 있다.According to the present invention as described above, the computer can display, as a thumbnail image, a frame capable of capturing a main shooting subject or characteristic of a specific moving image. Accordingly, users can easily select a desired video based on the thumbnail image, thereby preventing the inconvenience of reproducing a plurality of videos to search for a specific video.

도 1은 본 발명의 일실시예에 따른 썸네일이미지 설정방법에 대한 순서도이다.
도 2는 본 발명의 일실시예에 따라 동일한 유사이미지그룹으로 판단되는 유사이미지의 예시도면이다.
도 3은 본 발명의 일실시예에 따른 유사이미지그룹을 생성하는 과정의 순서도이다.
도 4는 본 발명의 일실시예에 따라 복수의 구획으로 분할되고 식별정보가 표시된 프레임의 예시도면이다.
도 5는 본 발명의 일실시예에 따라 그룹대표프레임을 추출하는 과정의 순서도이다.
도 6은 본 발명의 일실시예에 따라 하나 이상의 그룹대표프레임을 유사군클래스로 분류하여 썸네일이미지를 추출하는 과정의 순서도이다.
도 7은 본 발명의 일실시예에 따라 사용자의 선택을 입력받아 썸네일이미지를 설정하는 과정에 대한 순서도이다.
도 8은 본 발명의 일실시예에 따라 그룹대표프레임을 기준프레임으로 설정하여 동영상을 압축하는 과정에 대한 순서도이다.
도 9는 본 발명의 일실시예에 따라 썸네일이미지의 특징점을 비교이미지의 특징점과 비교하여, 썸네일이미지에 상응하는 장소로 동영상을 분류하는 과정에 대한 순서도이다.
도 10은 본 발명의 일실시예에 따라 복수의 대상체가 등장하는 유사이미지그룹에서 주요대상체를 탐색하는 예시도면이다.1 is a flowchart illustrating a method of setting a thumbnail image according to an exemplary embodiment of the present invention.
2 is an exemplary diagram of a similar image judged to be the same group of similar images according to an embodiment of the present invention.
3 is a flowchart illustrating a process of generating a similar image group according to an exemplary embodiment of the present invention.
4 is an exemplary view of a frame divided into a plurality of segments and displaying identification information according to an embodiment of the present invention.
5 is a flowchart illustrating a process of extracting a group representative frame according to an exemplary embodiment of the present invention.
FIG. 6 is a flowchart illustrating a process of classifying at least one group representative frame into a similar group class and extracting a thumbnail image according to an exemplary embodiment of the present invention.
7 is a flowchart illustrating a process of setting a thumbnail image according to an embodiment of the present invention.
8 is a flowchart illustrating a process of compressing moving pictures by setting a group representative frame as a reference frame according to an embodiment of the present invention.
FIG. 9 is a flowchart illustrating a process of comparing a minutiae point of a thumbnail image with minutiae points of a comparison image according to an embodiment of the present invention, and classifying the moving image into a place corresponding to the thumbnail image.
10 is an exemplary diagram for explaining a main object in a similar image group in which a plurality of objects appear according to an embodiment of the present invention.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 게시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. BRIEF DESCRIPTION OF THE DRAWINGS The advantages and features of the present invention and the manner of achieving them will become apparent with reference to the embodiments described in detail below with reference to the accompanying drawings. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. Rather, these embodiments are provided so that this disclosure will be thorough and complete, and will fully convey the scope of the invention to those skilled in the art. To fully disclose the scope of the invention to those skilled in the art, and the invention is only defined by the scope of the claims. Like reference numerals refer to like elements throughout the specification.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.Unless defined otherwise, all terms (including technical and scientific terms) used herein may be used in a sense commonly understood by one of ordinary skill in the art to which this invention belongs. Also, commonly used predefined terms are not ideally or excessively interpreted unless explicitly defined otherwise.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.The terminology used herein is for the purpose of illustrating embodiments and is not intended to be limiting of the present invention. In the present specification, the singular form includes plural forms unless otherwise specified in the specification. The terms " comprises "and / or" comprising "used in the specification do not exclude the presence or addition of one or more other elements in addition to the stated element.

본 명세서에서 컴퓨터는 연산처리를 수행하여 사용자에게 결과를 제공할 수 있는 다양한 장치들이 모두 포함된다. 예를 들어, 컴퓨터는 데스크 탑 PC, 노트북(Note Book) 뿐만 아니라 스마트폰(Smart phone), 태블릿 PC, 셀룰러폰(Cellular phone), 피씨에스폰(PCS phone; Personal Communication Service phone), 동기식/비동기식 IMT-2000(International Mobile Telecommunication-2000)의 이동 단말기, 팜 PC(Palm Personal Computer), 개인용 디지털 보조기(PDA; Personal Digital Assistant) 등도 해당될 수 있다. 또한, 컴퓨터는 클라이언트로부터 요청을 수신하여 정보처리를 수행하는 서버가 해당될 수 있다.The computer herein includes all of the various devices that can perform computational processing to provide results to a user. For example, the computer may be a smart phone, a tablet PC, a cellular phone, a personal communication service phone (PCS phone), a synchronous / asynchronous A mobile terminal of IMT-2000 (International Mobile Telecommunication-2000), a Palm Personal Computer (PC), a personal digital assistant (PDA), and the like. Also, the computer may correspond to a server that receives a request from a client and performs information processing.

본 명세서에서 대상체(Object)는, 프레임 내에 포함되는 객체를 의미한다. 즉, 대상체는 동영상을 촬영함에 따라 획득되는 대상으로, 사람뿐만 아니라 특정한 물품, 건물 등을 포함할 수 있다. In this specification, an object refers to an object included in a frame. That is, the object is an object acquired by shooting a moving picture, and may include not only a person but also a specific article, a building, and the like.

본 명세서에서 동영상데이터는, 복수의 프레임을 특정한 시간간격을 가지고 연속적으로 재생되는 것을 의미한다. 동영상데이터는 초당 특정한 개수의 프레임을 포함하여 재생 시에 끊기지 않고 움직이도록 할 수 있다.In this specification, moving picture data means that a plurality of frames are continuously reproduced with a specific time interval. The moving picture data may include a specific number of frames per second so as to be able to move without interruption during reproduction.

본 명세서에서 썸네일(Thumb nail)이미지는, 특정한 동영상데이터 내에 포함된 복수의 프레임 중에서 추출된 특정한 프레임이미지를 의미한다. 상기 썸네일이미지는 동영상데이터 내의 특정한 프레임 자체일 수도 있고, 상기 프레임을 변환(예를 들어, 작은 크기로 보여주기 위하여 축소)된 이미지일 수도 있다.In this specification, a Thumb nail image means a specific frame image extracted from a plurality of frames included in specific moving image data. The thumbnail image may be a specific frame itself in the moving picture data, or it may be an image that is transformed (e.g., reduced to show a small size).

본 명세서에서 그룹대표프레임은, 동영상데이터 내에 포함된 하나 이상의 프레임이 분할되어 하나 이상의 그룹으로 분류되는 경우, 특정한 프레임 그룹을 대표하는 것으로 추출된 프레임을 의미한다.In the present specification, a group representative frame means a frame extracted as representing a specific frame group when one or more frames included in the moving image data are divided and classified into one or more groups.

이하, 도면을 참조하여 본 발명의 실시예들에 따른 썸네일이미지 설정방법 및 설정프로그램에 대해 설명하기로 한다.Hereinafter, a thumbnail image setting method and a setting program according to embodiments of the present invention will be described with reference to the drawings.

도 1은 본 발명의 일실시예에 따른 썸네일이미지 설정방법에 대한 순서도이다.1 is a flowchart illustrating a method of setting a thumbnail image according to an exemplary embodiment of the present invention.

도 1을 참조하면, 본 발명의 일실시예에 따른 썸네일이미지 설정방법은, 컴퓨터가 동영상데이터를 획득하는 단계(S100); 상기 동영상데이터에 포함된 복수의 프레임을 분석하여 하나 이상의 유사이미지그룹을 생성하는 단계(S200); 각각의 유사이미지그룹 내의 복수의 프레임 중에서 그룹대표프레임을 추출하는 단계(S300); 및 하나 이상의 그룹대표프레임 중에서 특정한 썸네일이미지를 추출하는 단계(S400);를 포함한다. 본 발명의 일 실시예에 따른 썸네일이미지 설정방법을 순서대로 설명한다.Referring to FIG. 1, a method for setting a thumbnail image according to an exemplary embodiment of the present invention includes: acquiring moving image data (S100); Analyzing a plurality of frames included in the moving image data to generate at least one similar image group (S200); Extracting a group representative frame from among a plurality of frames in each similar image group (S300); And extracting a specific thumbnail image from among the one or more group representative frames (S400). A method of setting a thumbnail image according to an embodiment of the present invention will be described in order.

컴퓨터가 동영상데이터를 획득한다(S100). 컴퓨터가 촬상부(예를 들어, 카메라)를 포함하는 장치인 경우, 직접 촬영을 통해 동영상을 획득할 수 있다. 또한, 컴퓨터는 이미 촬상되어 저장된 동영상데이터를 불러오거나 수신할 수 있다. 예를 들어, 컴퓨터가 서버 컴퓨터인 경우, 컴퓨터는 클라이언트 장치(예를 들어, 스마트폰과 같은 이동단말기)에 의해 촬상된 동영상데이터를 수신할 수 있다.The computer acquires the moving picture data (S100). When the computer is an apparatus including an image pickup section (for example, a camera), a moving image can be obtained through direct shooting. Further, the computer can read or receive the moving picture data already captured and stored. For example, if the computer is a server computer, the computer may receive video data captured by a client device (e.g., a mobile terminal, such as a smart phone).

컴퓨터가 동영상데이터에 포함된 복수의 프레임을 분석하여 하나 이상의 유사이미지그룹을 생성한다(S200). 상기 유사이미지는, 프레임 내의 주요특징이 동일한 이미지를 의미할 수 있다. 구체적으로, 유사이미지는 프레임 내의 동일한 대상체를 포함하는 이미지로서, 확대/축소(즉, 줌인(Zoom-In)/줌아웃(Zoom-Out)), 위치이동, 특정크기 이하의 피사체 추가, 대상체의 움직임 등이 발생되었으나 대상체(즉, 주요피사체)가 동일하여 특정 값 이상의 유사도를 가지는 이미지를 의미한다. 예를 들어, 도 2에서와 같이, 연속되는 두 프레임 상에서 대상체의 움직임이 있을 뿐(즉, 김연아가 이동함에 따라 각 프레임 내에서의 위치, 크기 또는 동작에 차이가 있을 뿐) 동일한 대상체를 프레임 상에 포함하므로, 컴퓨터는 두 프레임을 유사이미지로 판단할 수 있다.The computer analyzes the plurality of frames included in the moving image data to generate one or more similar image groups (S200). The similar image may mean an image in which the main features in the frame are the same. Specifically, the similar image is an image including the same object in the frame. The similar image can be enlarged / reduced (i.e., Zoom-In / Zoom-Out), position shifting, Etc., but the object (that is, the main subject) is the same, and thus has an image having a degree of similarity higher than a specific value. For example, as shown in FIG. 2, when the same object is displayed on the frame image only in the two consecutive frames (i.e., there is a difference in position, size, or motion in each frame as Kim moves) So that the computer can judge the two frames as similar images.

상기 유사이미지그룹은 시계열적으로 연속되는 프레임의 집합일 수 있다. 즉, 유사이미지그룹은 차례대로 연결되는 동영상데이터의 복수의 프레임 중에서 유사한 프레임의 그룹을 의미한다. 예를 들어, '김연아'가 등장하는 프레임 사이에 다른 대상체(예를 들어, '아사다마오')가 등장하는 하나 이상의 프레임이 포함된 경우, 김연아가 등장하는 프레임이지만 연속되지 않음에 따라 제1유사이미지그룹과 제3유사이미지그룹으로 구별될 수 있다. (즉, 다른 대상체의 프레임이 나오기 전의 '김연아'를 포함하는 하나 이상의 프레임을 제1유사이미지그룹, 다른 대상체가 포함된 하나 이상의 프레임을 제2유사이미지그룹, 다른 대상체의 프레임이 나온 후의 '김연아'를 포함하는 하나 이상의 프레임을 제3유사이미지그룹으로 분류할 수 있다.)The similar image group may be a set of time series frames. That is, the similar image group means a group of similar frames among a plurality of frames of moving image data sequentially connected. For example, if one or more frames including another object (for example, 'Asada Mao') are included between frames in which 'Kim Yu-na' appears, the frame in which Kim Yu- Image group and a third similar image group. (I.e., one or more frames including 'Kim Yeon-ah' before the frame of another object is referred to as a first similar image group, one or more frames including another object as a second similar image group, 'May be grouped into a third similar image group.)

유사이미지그룹을 시계열적으로 연속되는 프레임의 집합이므로, 컴퓨터는 이미 촬영이 완료된 동영상데이터뿐만 아니라 실시간으로 촬영되는 동영상데이터에 대해서도 유사이미지그룹 생성과정을 수행될 수 있다. 예를 들어, 컴퓨터는 실시간으로 획득되는 프레임을 직전 프레임과 비교하여 유사도가 특정 값 이하이면 직전 프레임에서 유사이미지그룹이 종료된 것으로 판단하고 다른 유사이미지그룹이 시작되는 것으로 판단할 수 있다. 이를 통해, 컴퓨터는 실시간으로 촬영을 진행하는 과정에서 동영상데이터를 복수의 유사이미지그룹으로 분할할 수 있다.Since the similar image group is a set of temporally successive frames, the computer can perform the similar image group creation process to the moving image data that is already photographed, as well as the moving image data that is photographed in real time. For example, the computer compares a frame obtained in real time with a previous frame, and if the similarity is less than a specific value, it is determined that the similar image group is terminated in the immediately preceding frame and another similar image group is determined to start. Accordingly, the computer can divide the moving image data into a plurality of similar image groups in the process of shooting in real time.

상기 유사이미지그룹 생성단계(S200)는 다양한 방식으로 프레임의 유사여부를 판단하여 복수의 유사이미지그룹으로 분할을 수행할 수 있다. 다만, 유사이미지 해당여부를 판단하여 하나 이상의 유사이미지그룹을 생성하는 방식은 이하 기재되는 방식에 한정되지 아니한다. The similar image group generation step (S200) may determine the similarity of the frames in various ways and divide the similar image group into a plurality of similar image groups. However, the method of generating one or more similar image groups by judging whether similar images are included is not limited to the method described below.

일실시예로, 각각의 프레임을 동일한 기준(또는 방식)에 따라 복수의 구획으로 분할하여, 각 프레임 내에 동일한 위치에 상응하는 구획을 상호 비교함에 따라 유사여부를 판단할 수 있다. 상기 구획은, 특정한 가로 및 세로 길이를 가지는 격자 형태로 될 수 있으나, 각각의 프레임을 분할하는 구획의 형태는 이에 한정되지 아니한다.In one embodiment, each frame may be divided into a plurality of segments according to the same criterion (or scheme), and similarity may be determined by comparing the segments corresponding to the same position within each frame. The segment may be in the form of a lattice having a specific transverse and longitudinal length, but the form of the segment dividing each frame is not limited thereto.

예를 들어, 도 3에서와 같이, 상기 유사이미지그룹 생성단계(S200)는, 각각의 프레임을 동일한 방식에 따라 복수의 구획으로 분할하는 단계(S210); 각 구획에 포함된 형상 또는 색상을 기반으로 식별정보를 부여하는 단계(S220); 및 상기 동영상데이터에 포함된 각각의 프레임 내 식별정보 배치를 바탕으로 프레임의 유사여부를 판단하는 단계(S230);를 포함할 수 있다. For example, as shown in FIG. 3, the similar image group generation step S200 includes: S210 dividing each frame into a plurality of segments in the same manner; (S220) assigning identification information based on a shape or a color included in each segment; And determining whether the frames are similar based on the intra-frame identification information arrangement included in the moving image data (S230).

먼저, 컴퓨터는 각각의 프레임을 동일한 방식에 따라 복수의 구획으로 분할할 수 있다(S210). 그 후, 컴퓨터는 각 구획에 포함된 형상 또는 색상을 기반으로 식별정보를 부여할 수 있다(S220). 예를 들어, 도 4에서와 같이, 복수의 구획(예를 들어, 16개의 격자)으로 분할된 프레임의 각 구획의 색상배치를 확인하여 식별번호를 부여한다. First, the computer can divide each frame into a plurality of segments in the same manner (S210). Thereafter, the computer may assign identification information based on the shape or color included in each compartment (S220). For example, as shown in FIG. 4, the color arrangement of each segment of a frame divided into a plurality of segments (for example, 16 grids) is identified and an identification number is assigned.

상기 식별정보는 각 구획 내의 색상 등에 의해 부여되는 숫자일 수 있다. 일실시예로, 컴퓨터는 특정한 구획 내의 색상 배치를 기반으로(예를 들어, 특정한 구획 내의 RGB 색상의 분포 비율을 기반으로) 대응하는 숫자를 부여할 수 있다. 또한, 다른 일실시예로, 컴퓨터는 각 프레임을 그레이스케일로 변환한 후에 각 구획의 진한 정도에 대응하는 숫자를 부여할 수 있다. 예를 들어, 컴퓨터는 해당 구획의 진하기가 특정값 이상에 해당하면 1로 판단하고, 특정값보다 작으면(즉, 특정값 미만에 해당하면) 0으로 판단하여 식별정보를 부여할 수 있다. 다만, 각 구획을 분류하는 방식은 이에 한정되지 아니하고, 3개 레벨(또는 단계) 이상으로 각 구획을 구별할 수도 있다.The identification information may be a number assigned by color or the like in each compartment. In one embodiment, the computer may assign a corresponding number based on the color placement within a particular compartment (e.g., based on a distribution of RGB colors within a particular compartment). Further, in another embodiment, the computer may assign a number corresponding to the degree of darkness of each segment after converting each frame to gray scale. For example, the computer may determine 1 if the corresponding zone is greater than or equal to a specific value, and may determine that the zone is less than a specific value (i.e., less than a specific value). However, the method of classifying each compartment is not limited to this, and it is possible to distinguish each compartment at three levels (or stages) or more.

컴퓨터는 동영상데이터에 포함된 각각의 프레임 내 식별정보 배치를 바탕으로 프레임의 유사여부를 판단할 수 있다(S230). 즉, 컴퓨터는 인접한 프레임(예를 들어, 연속되는 프레임)의 동일한 구획에 부여된 식별정보를 비교할 수 있다. 식별정보가 특정 비율 이상 일치하는 경우, 컴퓨터는 유사이미지로 판단하여 동일한 유사이미지그룹으로 분류할 수 있다.The computer may determine similarity of the frames based on the arrangement of the identification information in each frame included in the moving image data (S230). That is, the computer can compare the identification information assigned to the same segment of adjacent frames (e.g., consecutive frames). If the identification information coincides with a specific ratio or more, the computer may determine the similar image and classify it into the same similar image group.

또한, 컴퓨터는 프레임 간의 유사 여부 판단 시에 여러 단계로 프레임 분할 과정을 거칠 수 있다. 일실시예로, 프레임 내를 특정한 개수(예를 들어, 16개)의 제1구획으로 분할하는 것을 제1단계 분할, 제1단계 분할된 각 제1구획을 제1단계 분할과 동일한 개수로 분할하는 제2단계 분할 및 제2단계 분할을 통해 생성된 각 제2구획을 동일한 개수로 분할하여 제3구획을 생성하는 제3단계 분할을 수행할 수 있다. 이 때, 컴퓨터는 제1단계 분할부터 차례대로 수행하여 프레임 간 유사여부를 판단할 수 있다. 컴퓨터는 제1단계 분할을 통해 각 프레임을 복수의 제1구획으로 분할하고 연속되는 프레임 내 동일 위치의 구획 간 식별정보(예를 들어, 0 또는 1)을 비교하여 유사여부를 판단할 수 있다. 컴퓨터는 명확하게 식별정보 배치가 상이한, 연속되는 두 프레임을 파악하여 유사이미지그룹을 나누는 기준으로 결정할 수 있다. 그 후, 컴퓨터는 제2단계 분할을 통해 유사여부를 세부적으로 판단하여야 하는 연속되는 프레임 간의 비교를 수행할 수 있다. 또한, 세부적인 프레임 유사판단이 필요한 경우, 컴퓨터는 제3단계 분할을 통해 제3구획을 생성하여, 동일 위치의 제3구획 간 비교를 수행할 수 있다. 즉, 컴퓨터는 제2단계 분할 또는 제3단계 분할에 의해 생성되는 제2구획 또는 제3구획에 식별정보를 부여할 수 있다.컴퓨터는 연속되는 프레임의 모든 영역을 추가분할(예를 들어, 상기 제2단계 분할 또는 제3단계 분할)을 수행할 수 있고, 연속되는 프레임의 유사여부 판단을 위해 필요한 특정 구획만을 추가분할(예를 들어, 상기 제2단계 분할 또는 제3단계 분할)을 수행할 수 있다. 예를 들어, 각 구획 내에 존재하는 형상을 고려하여, 형상이 전혀 포함되지 않은 구획이 동일한 식별정보를 가지면 추가분할을 수행할 필요가 없는 구획으로 판단하고, 나머지 구획에 대해서만 추가분할할 수 있다.In addition, the computer may undergo a frame division process in several steps when determining similarity between frames. In one embodiment, dividing a frame into a first number of divisions (for example, 16) is divided into a first stage division, a first stage division of each of the divided first sections into the same number as that of the first stage division The third stage division in which each of the second sections generated through the second stage division and the second stage division is divided into the same number to generate the third section can be performed. At this time, the computer can perform the sequential steps from the first stage division to determine similarity between the frames. The computer can divide each frame into a plurality of first sections through the first stage division and compare the identification information (for example, 0 or 1) of the same position within the subsequent frame to determine whether or not they are similar. The computer can determine two frames that are consecutively different in the identification information arrangement, and determine the reference to divide a group of similar images. Thereafter, the computer can perform a comparison between consecutive frames, which should be determined in detail through the second stage division. In addition, when detailed frame similarity judgment is required, the computer can generate the third segment through the third step division, and can perform the comparison between the third segments at the same position. That is, the computer may assign the identification information to the second or third section generated by the second stage division or the third stage division. The computer may further divide all the regions of the consecutive frames into additional segments (for example, (For example, the second stage division or the third stage division), and only the specific segment necessary for judging the similarity of successive frames is further divided . For example, in consideration of the shape existing in each section, if the section having no shape at all has the same identification information, it is determined that the section need not be subjected to additional division, and the additional section can be additionally divided.

컴퓨터가 각각의 유사이미지그룹 내의 복수의 프레임 중에서 그룹대표프레임을 추출한다(S300). 즉, 컴퓨터는 각각의 유사이미지그룹을 대표할 수 있는 그룹대표프레임을 추출할 수 있다. 상기 그룹대표프레임은, 대상체가 최대로 나타나는 프레임 또는 대상체의 특징점이 최대로 포함된 프레임이 해당될 수 있다. The computer extracts a group representative frame from among a plurality of frames in each similar image group (S300). That is, the computer can extract a group representative frame that can represent each similar image group. The group representative frame may correspond to a frame in which the object appears at the maximum or a frame including the minutiae of the object at the maximum.

컴퓨터는 그룹대표프레임 추출 과정을 실시간으로 수행할 수도 있다. 예를 들어, 컴퓨터가 카메라를 통해 프레임을 연속적으로 촬영하는 경우, 다른 유사이미지그룹이 시작되는 것으로 판단되면 프레임 추가가 완료된 유사이미지그룹 내에서 그룹대표프레임 추출을 수행할 수 있다.The computer may perform the group representative frame extraction process in real time. For example, when the computer continuously photographs a frame through a camera, if it is determined that another similar image group is started, the group representative frame extraction may be performed within the similar image group in which the frame addition is completed.

구체적으로, 프레임 내에 포함된 특징점 개수를 바탕으로 그룹대표프레임을 추출하는 경우, 상기 그룹대표프레임 추출단계(S300)는, 각각의 프레임을 동일한 방식에 따라 복수의 구획으로 분할하는 단계(S310); 각 프레임 내에서 특징구획의 개수를 산출하되, 상기 특징구획은 특정한 대상체이미지의 특징점을 포함하는 구획인, 단계(S320); 및 상기 특징구획의 개수가 최대인 프레임을 상기 그룹대표프레임으로 추출하는 단계(S330);를 포함할 수 있다.Specifically, when extracting a group representative frame based on the number of feature points included in the frame, the group representative frame extracting step (S300) includes: (S310) dividing each frame into a plurality of segments in the same manner; Calculating a number of feature sections within each frame, wherein the feature section is a section including feature points of a specific object image; And extracting, as the group representative frame, a frame having the maximum number of feature sections (S330).

먼저, 컴퓨터는 각각의 프레임을 동일한 방식에 따라 복수의 구획으로 분할할 수 있다(S310). 구획은 특정한 가로 및 세로 길이를 가지는 격자 형태로 될 수 있고, 최소단위로 각각의 픽셀이 해당될 수도 있다.First, the computer can divide each frame into a plurality of segments in the same manner (S310). The segment may be in the form of a grid having a specific length and length, and each pixel may correspond to a minimum unit.

그 후, 컴퓨터는 각 프레임 내에서 특징구획의 개수를 산출할 수 있다(S320). 상기 특징구획은 특정한 대상체이미지의 특징점을 포함하는 구획을 의미할 수 있다. 컴퓨터는 다양한 방식으로 특징점을 추출하는 과정을 수행할 수 있다. 일실시예로, 구획이 최소단위인 픽셀로 이루어지는 경우, 컴퓨터는 주변의 화소값(즉, 픽셀값)을 이용하여 특징점의 방향을 산출할 수 있다. 구체적으로, 컴퓨터는 SIFT(Scale Invariant Feature Transform) 알고리즘, SURF (Speeded Up Robust Features) 알고리즘 등을 기반으로 프레임 내의 특징점을 찾아낼 수 있다. 다만, 컴퓨터는 이에 한정되지 아니하고, 다양한 종류의 이미지 특징 분류기를 이용하여 특징점을 추출할 수 있다. Thereafter, the computer can calculate the number of feature blocks in each frame (S320). The feature section may refer to a section including feature points of a specific object image. The computer can perform a process of extracting feature points in various ways. In one embodiment, when the segment is made up of pixels that are the smallest unit, the computer can calculate the direction of the feature point by using surrounding pixel values (i.e., pixel values). Specifically, the computer can find feature points in a frame based on a Scale Invariant Feature Transform (SIFT) algorithm, a SURF (Speeded Up Robust Features) algorithm, and the like. However, the computer is not limited to this, and the feature point can be extracted using various kinds of image feature classifiers.

그 후, 컴퓨터는 상기 특징구획의 개수가 최대인 프레임을 상기 그룹대표프레임으로 추출할 수 있다(S330). 특히, 구획의 단위가 픽셀인 경우 프레임 내에 포함된 특징점의 총 개수와 특징구획의 개수가 일치하므로, 컴퓨터는 특징점을 최대로 포함하는 프레임을 그룹대표프레임으로 추출할 수 있다.Thereafter, the computer may extract a frame having the maximum number of feature sections as the group representative frame (S330). In particular, when the unit of the segment is a pixel, the total number of the feature points included in the frame is equal to the number of the feature segments, so that the computer can extract the frame including the feature point at the maximum into the group representative frame.

컴퓨터가 하나 이상의 그룹대표프레임 중에서 특정한 썸네일이미지를 추출한다(S400). 일실시예로, 컴퓨터는 하나 이상의 유사이미지그룹 중에서 프레임의 개수가 최대인 유사이미지그룹의 그룹대표프레임을 썸네일이미지로 추출할 수 있다. 즉, 프레임의 개수가 가장 많은 유사이미지그룹이 동영상의 주요 재생부분에 해당할 수 있으므로, 컴퓨터는 해당 유사이미지그룹의 그룹대표프레임을 썸네일이미지로 설정할 수 있다. 썸네일이미지가 특정한 프레임이 축소된 이미지인 경우, 컴퓨터는 프레임의 개수가 가장 많은 유사이미지그룹의 그룹대표프레임을 축소하는 과정을 더 포함할 수 있다.The computer extracts a specific thumbnail image from one or more group representative frames (S400). In one embodiment, the computer may extract, as a thumbnail image, a group representative frame of a group of similar images whose number of frames is the largest among one or more similar image groups. That is, since the similar image group having the largest number of frames may correspond to the main playback portion of the moving image, the computer may set the group representative frame of the similar image group as a thumbnail image. If the thumbnail image is a reduced image of a specific frame, the computer may further include the step of reducing the group representative frame of the similar image group having the largest number of frames.

또한, 유사이미지그룹 내에 복수의 대상체가 등장하는 경우, 컴퓨터는 각 유사이미지그룹이 어떠한 대상체에 대한 것인지 분류하는 과정을 더 포함할 수 있다. 컴퓨터는 특정한 유사이미지그룹 내에 포함된 복수의 대상체가 위치이동 여부와 등장하는 시간길이를 고려할 수 있다. 즉, 컴퓨터는 유사이미지그룹 내에 등장하는 하나 이상의 대상체를 탐색한 후에 각각의 대상체의 유사이미지그룹 내 프레임에서의 위치 이동과 등장하는 시간 길이를 고려하여 해당 유사이미지그룹의 주요대상체를 파악할 수 있다. 컴퓨터는 프레임의 중심부에 위치할수록 유사이미지그룹 내의 주요대상체일 가능성이 높은 것으로 판단할 수 있고, 프레임의 특정 위치에서 다른 위치로 이동할수록 주요대상체를 촬영함에 따라 이동하였을 가능성이 높으므로 해당 대상체는 주요대상체가 아닐 가능성이 높은 것으로 판단할 수 있다(제1기준). 또한, 컴퓨터는 유사이미지그룹 내에 등장하는 시간이 길수록 해당 유사이미지그룹의 주요대상체일 가능성이 높은 것으로 판단할 수 있다(제2기준). 유사이미지그룹 내에 포함된 대상체가 많을수록, 컴퓨터는 상기 제1기준과 제2기준으로 종합하여 주요대상체를 산출할 수 있다.Further, when a plurality of objects appear in the similar image group, the computer may further include a step of classifying each similar image group for which object it belongs. The computer can consider the length of time that a plurality of objects included in a specific similar image group are moved or appear. That is, the computer may search for one or more objects appearing in the similar image group, and then determine the main object of the similar image group considering the time length of appearance of the position movement in the frame in the similar image group of each object. Since the computer is more likely to be the main object in the group of similar images as it is located in the center of the frame, it is more likely that the computer moved as the main object is photographed as the frame moves from one position to another. It can be judged that there is a high possibility that the object is not the object (first criterion). In addition, it can be determined that the computer is more likely to be the main object of the similar image group as the time appearing within the similar image group is higher (the second criterion). As the number of objects included in the similar image group increases, the computer can calculate the main object by combining the first reference and the second reference.

예를 들어, 도 10에서와 같이, 김연아와 오셔코치가 함께 등장하는 유사이미지그룹 내에서, 김연아 이미지(즉, 제1대상체)는 프레임 중심부에 위치하면서 모든 프레임 상에 존재하여 등장하는 시간의 길이가 긴 반면, 오셔 코치 이미지(제2대상체)는 시간이 흐름에 프레임의 주변부로 이동하면서 사라진다. 따라서, 컴퓨터는 오셔코치 이미지(즉, 제2대상체)가 등장하는 위치가 프레임의 주변부로 이동하고 등장하는 시간의 길이도 김연아 이미지(즉, 제1대상체)가 등장하는 시간길이보다 짧으므로, 오셔코치 이미지(즉, 제2대상체)가 주요대상체가 아니고 김연아 이미지(즉, 제1대상체)가 주요대상체임을 인식할 수 있다.For example, as shown in FIG. 10, in a similar image group in which Kim and O'Shea co-appear together, the Kim's image (i.e., the first object) has a length of time While the Osher coach image (second object) disappears over time as it moves to the periphery of the frame. Therefore, since the length of time that the position where the Oisha Coach image (i.e., the second object) appears and moves to the periphery of the frame is shorter than the time length in which the image of the Kimya image (i.e., the first object) appears, It can be recognized that the coach image (i.e., the second object) is not the main object and the image of Kim Yu-Na (i.e., the first object) is the main object.

이를 통해, 컴퓨터는 주요대상체가 차지하는 비율이 높은 프레임이나 주요대상체의 특징점 개수가 최대인 프레임을 그룹대표프레임로 추출할 수 있다.Thus, the computer can extract a frame having a high percentage of the main object or a frame having the maximum number of feature points of the main object as the group representative frame.

또한, 유사이미지그룹이 연속되는 프레임만을 포함하므로, 하나 이상의 상이한 프레임이 사이에 추가됨에 따라 실질적으로 하나의 유사이미지그룹으로 볼 수 있는 복수의 그룹이 생성될 수 있다. 따라서, 컴퓨터는 실질적으로 동일한 복수의 유사이미지그룹을 통합하여 썸네일이미지 설정을 수행할 수 있다. 예를 들어, '김연아'가 등장하는 프레임 사이에 다른 대상체(예를 들어, '아사다마오')가 등장하는 하나 이상의 프레임이 포함된 경우, 김연아가 등장하는 프레임이지만 연속되지 않음에 따라 다른 그룹으로 분류된 제1유사이미지그룹(즉, 다른 대상체의 프레임이 나오기 전의 '김연아'를 포함하는 하나 이상의 프레임 그룹)과 제3이미지그룹(다른 대상체의 프레임이 나온 후의 '김연아'를 포함하는 하나 이상의 프레임을 제3유사이미지그룹)을 통합(즉, 하나의 클래스로 분류)하여 썸네일이미지 추출을 수행할 수 있다.Further, since the similar image group includes only consecutive frames, a plurality of groups that can be viewed as one substantially similar image group can be created as one or more different frames are added in between. Thus, the computer can perform thumbnail image setting by integrating a plurality of substantially similar image groups. For example, if one or more frames in which another object (for example, 'Asada Mao') appears between frames in which 'Kim Yu-na' appears, Kim Yu- (I.e., one or more frame groups including 'Kim Yu-na' before the frame of another object) and a third image group (one or more frames including 'Kim Yu-na' after the frame of another object comes out) (I.e., a third similar image group) may be integrated (i.e., classified into one class) to perform thumbnail image extraction.

유사한 프레임으로 구성된 유사이미지를 그룹을 특정한 클래스로 분류하기 위해서, 상기 썸네일이미지 추출단계(S400)는, 도 6에서와 같이, 하나 이상의 그룹대표프레임을 하나 이상의 유사군클래스로 분류하는 단계(S410); 유사군클래스에 매칭되는 전체 그룹의 프레임 개수를 산출하는 단계(S411); 및 프레임개수가 최대인 유사군클래스 내에 포함되는 하나 이상의 그룹대표프레임 중에서 상기 썸네일이미지를 추출하는 단계(S412);를 포함할 수 있다. 먼저, 컴퓨터는 하나 이상의 그룹대표프레임을 하나 이상의 유사군클래스로 분류할 수 있다(S410). 즉, 컴퓨터는 각 유사이미지그룹의 그룹대표프레임을 비교하여 유사한 이미지에 해당하는 그룹대표프레임을 파악하여, 각각의 그룹대표프레임에 대응하는 유사이미지그룹을 유사군클래스로 통합할 수 있다. 그 후, 컴퓨터는 유사군클래스에 매칭되는 전체 그룹의 프레임 개수를 산출할 수 있다(S411). 그 후, 컴퓨터는 프레임개수가 최대인 유사군클래스 내에 포함되는 하나 이상의 그룹대표프레임 중에서 상기 썸네일이미지를 추출할 수 있다(S412). 프레임개수가 최대인 유사군클래스가 특정한 동영상의 핵심이 되는 대상체를 포함하고 있는 것이므로, 컴퓨터는 프레임개수가 최대인 유사군클래스에 포함된 특정한 프레임을 썸네일이미지로 추출할 수 있다. 예를 들어, 컴퓨터는 유사군클래스에 포함된 하나 이상의 그룹대표프레임 중에서 하나의 프레임을 선정하여 썸네일이미지로 결정할 수 있다. 특히, 컴퓨터는 특정한 유사군클래스 내에 포함되는 하나 이상의 그룹대표프레임 중에서 대상체의 크기가 최대인 그룹대표프레임 또는 특징점 개수가 최대인 그룹대표프레임을 썸네일이미지로 결정할 수 있다.In step S400, the thumbnail image extracting step S400 classifies one or more group representative frames into one or more similar group classes, as shown in FIG. 6, in order to classify similar images composed of similar frames into a specific class. ; Calculating (S411) the number of frames of the entire group matching the similarity class; And extracting the thumbnail image from at least one group representative frame included in the similarity class having the largest number of frames (S412). First, the computer may classify one or more group representative frames into one or more similar group classes (S410). That is, the computer compares the group representative frames of each similar image group, identifies the group representative frames corresponding to the similar image, and integrates the similar image groups corresponding to the respective group representative frames into the similar group class. Thereafter, the computer can calculate the total number of frames of the group matching the similar class (S411). Thereafter, the computer may extract the thumbnail image from one or more group representative frames included in the similarity class having the largest number of frames (S412). Since the similarity class having the largest number of frames includes the object that is the core of a specific moving picture, the computer can extract a specific frame included in the similarity class having the largest number of frames as a thumbnail image. For example, the computer may select one of the one or more group representative frames included in the similarity class to determine the thumbnail image. In particular, the computer may determine a group representative frame having the largest object size or a group representative frame having the maximum number of feature points as a thumbnail image among one or more group representative frames included in a specific similar group class.

또한, 도 7에서와 같이, 상기 썸네일이미지 추출단계(S400)는, 하나 이상의 그룹대표프레임을 화면 상에 표시하는 단계(S420); 사용자로부터 특정한 그룹대표프레임 선택입력을 수신하는 단계(S421); 및 상기 선택입력에 대응하는 그룹대표프레임을 썸네일이미지로 설정하는 단계(S422);를 포함할 수 있다. 즉, 컴퓨터가 복수의 그룹대표프레임을 화면에 제공하여 사용자에게 썸네일이미지로 사용할 프레임을 선택하도록 요청할 수 있다. 상기 컴퓨터가 서버컴퓨터인 경우, 컴퓨터는 클라이언트 장치로 추출된 하나 이상의 그룹대표프레임을 전송하여 클라이언트 장치가 화면상에 하나 이상의 그룹대표프레임을 표시하도록 할 수 있다. 컴퓨터가 클라이언트 장치인 경우, 컴퓨터가 자체적으로 산출한 하나 이상의 그룹대표프레임을 화면상에 제공하고, 사용자로부터 특정한 그룹대표프레임에 대한 선택입력을 수신할 수 있다.As shown in FIG. 7, the thumbnail image extracting step S400 may include displaying at least one group representative frame on the screen (S420); Receiving a specific group representative frame selection input from a user (S421); And setting a group representative frame corresponding to the selection input as a thumbnail image (S422). That is, the computer may provide a plurality of group representative frames to the screen to request the user to select a frame to be used as a thumbnail image. If the computer is a server computer, the computer may send one or more group representative frames extracted to the client device to cause the client device to display one or more group representative frames on the screen. If the computer is a client device, the computer may provide one or more self-generated group representative frames on the screen and receive selection inputs for specific group representative frames from the user.

또한, 도 8에서와 같이, 각 그룹의 그룹대표프레임을 동영상 압축의 기준프레임으로 설정하는 단계(S500); 상기 그룹 내 프레임의 차이데이터를 획득하는 단계(S600); 및 상기 기준프레임 및 상기 차이데이터를 바탕으로, 상기 동영상데이터의 압축을 수행하는 단계(S700);를 포함할 수 있다. 동영상데이터를 압축 시에 모든 프레임을 저장하면 동영상 파일의 크기가 매우 커지므로, 용량을 줄이기 위해 압축을 수행할 수 있다. 이 때, 컴퓨터는 특정한 유사이미지그룹에서 최대 개수의 특징점을 포함하는 그룹대표프레임을 압축의 기준프레임으로 활용할 수 있다(S500). 컴퓨터는 특정한 유사이미지그룹의 기준프레임 이외의 프레임이 기준프레임과 비교하여 어떠한 차이가 존재하는지 여부를 산출하여 차이데이터를 생성할 수 있다(S600). 상기 차이데이터는 상기 기준프레임과 비교하여 특정한 프레임 내 대상체의 위치변경, 확대비율, 축소비율, 특정한 대상체의 추가 중 적어도 하나 이상에 대한 데이터일 수 있다. 그 후, 컴퓨터는 기준프레임과 유사이미지그룹 내의 기준프레임 외의 각각의 프레임에 대한 차이데이터를 저장하여 압축을 수행할 수 있다(S700).In addition, as shown in FIG. 8, setting a group representative frame of each group as a reference frame of moving picture compression (S500); Obtaining difference data of the intra-group frame (S600); And compressing the moving picture data based on the reference frame and the difference data (S700). If all the frames are stored at the time of compressing the moving image data, the size of the moving image file becomes very large. Therefore, compression can be performed to reduce the capacity. At this time, the computer may utilize a group representative frame including a maximum number of feature points in a specific similar image group as a reference frame for compression (S500). The computer can generate difference data by calculating whether there is any difference between the frames other than the reference frame of the specific similar image group and the reference frame (S600). The difference data may be data for at least one of a position change, an enlargement ratio, a reduction ratio, and a specific object addition in a specific frame compared with the reference frame. Thereafter, the computer can perform compression by storing difference data for each frame other than the reference frame and the reference frame in the similar image group (S700).

또한, 상기 차이데이터는, 상기 컴퓨터가 이동단말기인 경우, 상기 컴퓨터에 입력되는 사용자입력데이터 또는 상기 이동단말기 내의 센서에 의해 획득되는 센싱데이터를 통해 획득될 수 있다. 즉, 이동단말기에 상응하는 컴퓨터로 동영상을 촬영하는 경우, 사용자는 이동단말기를 들고 이동하거나 화면 조작 등을 통해 확대/축소를 수행할 수 있다. 이동단말기(즉, 컴퓨터)는 내부에 저장된 센서(예를 들어, 관성센서, 자이로센서 등)에 의해 이동단말기의 이동 또는 회전된 정도를 획득되는 각각의 프레임에 매칭하여 저장할 수 있다. 또한, 컴퓨터는 확대/축소 등을 위해 입력되는 사용자조작(예를 들어, 확대를 위해 터치스크린에 대해 입력되는 핀치 투 줌(Pinch to Zoom) 조작) 수준을 각각의 프레임에 매칭하여 저장할 수 있다. 컴퓨터는 획득된 사용자입력데이터와 센싱데이터를 이용하여 그룹대표프레임을 기반으로 인코딩(Encoding) 또는 압축된 동영상의 디코딩(Decoding) 시에 활용할 수 있다.The difference data may be obtained through user input data input to the computer or sensing data obtained by a sensor in the mobile terminal when the computer is a mobile terminal. That is, when capturing a moving image with a computer corresponding to the mobile terminal, the user can move the mobile terminal or zoom in / out through a screen operation or the like. A mobile terminal (i.e., a computer) can store and store the degree of movement or rotation of the mobile terminal in each frame acquired by a sensor (e.g., an inertial sensor, a gyro sensor, etc.) stored therein. In addition, the computer may store the level of the user's input (e.g., Pinch to Zoom operation input to the touch screen for enlargement) matching for each frame for zooming or the like. The computer may utilize the obtained user input data and sensing data to encode based on the group representative frame or to decode the compressed moving picture.

또한, 도 9에서와 같이, 상기 동영상을 촬영장소를 기반으로 분류하는 경우, 비교이미지 내 특징점과 썸네일이미지 내 특징점의 비교작업을 수행 또는 요청하는 단계(S800); 및 상기 썸네일이미지에 상응하는 장소에 따라 상기 동영상데이터를 분류하는 단계(S900);를 포함할 수 있다. 컴퓨터는 획득되는 동영상데이터를 동영상을 대표하는 장소를 기반으로 분류할 수 있다. 이 때, 컴퓨터는 설정된 썸네일이미지에 포함된 장소를 파악하여 해당 동영상데이터가 분류될 장소를 산출할 수 있다.In addition, as shown in FIG. 9, when the moving image is classified based on the photographing location, a step (S800) of performing a comparison operation of the minutiae in the comparative image and the minutiae in the thumbnail image is performed. And classifying the moving image data according to a location corresponding to the thumbnail image (S900). The computer can classify the acquired video data based on the place where the video is represented. At this time, the computer can determine the place included in the set thumbnail image and calculate the place where the corresponding moving image data is classified.

먼저, 컴퓨터는 비교이미지 내 특징점과 썸네일이미지 내 특징점의 비교작업을 수행 또는 요청할 수 있다(S800). 상기 비교이미지는 특정한 장소에 대한 대표이미지일 수 있다. 컴퓨터가 내부저장공간(예를 들어, 비교이미지 데이터베이스)에 하나 이상의 비교이미지를 포함하는 경우, 직접 비교이미지에서 특징점을 추출하여 썸네일이미지 내 특징점과 비교를 수행할 수 있다. 컴퓨터는 다양한 종류의 이미지 특징 분류기(예를 들어, SURF(Speed Up Robust Features) 방식의 이미지 특징 분류기 등)를 이용하여 비교이미지 내의 특징점을 추출할 수 있다. 컴퓨터는 추출된 비교이미지 내의 특징점과 썸네일이미지 내의 특징점을 비교하여 유사도를 산출할 수 있다. 예를 들어, 컴퓨터는 비교이미지 및 썸네일이미지간의 유사 특징점 정보를 산출할 수 있다. 여기서, 유사 특징점 정보는 비교이미지에서 추출된 특징점에 대해서 썸네일이미지에서 추출된 특징점이 어느 정도 매칭되는지를 판단하는 정보(예: 특정 수치 값 또는 개수)일 수 있다. 컴퓨터는 내부에 저장된 하나 이상의 비교이미지 중에서 유사도가 높은 비교이미지를 추출할 수 있다.First, the computer may perform or request a comparison operation of minutiae points in the comparison image and minutiae images (S800). The comparison image may be a representative image for a specific place. If the computer includes one or more comparison images in an internal storage space (e.g., a comparison image database), the feature points may be extracted from the direct comparison image and compared with the feature points in the thumbnail image. The computer can extract feature points in the comparison image using various kinds of image feature classifiers (e.g., an image feature classifier of the SURF (Speed Up Robust Features) method, etc.). The computer can calculate the similarity by comparing the feature points in the extracted comparison image with the feature points in the thumbnail image. For example, the computer can calculate similar feature point information between the comparison image and the thumbnail image. Here, the similarity feature point information may be information (e.g., a specific numerical value or a number) for determining how much the feature points extracted from the thumbnail image are matched to the feature points extracted from the comparison image. The computer can extract a comparative image having high similarity among the one or more comparison images stored therein.

컴퓨터가 내부저장공간에 비교이미지를 저장하지 않는 경우(즉, 컴퓨터가 이동단말기와 같은 클라이언트 단말기인 경우), 컴퓨터는 하나 이상의 비교이미지를 포함하는 외부서버로 썸네일이미지를 전송하여 특징점 비교를 요청할 수 있다. If the computer does not store a comparison image in its internal storage (i.e., the computer is a client terminal such as a mobile terminal), the computer may send a thumbnail image to an external server that includes one or more comparison images to request feature point comparison have.

그 후, 컴퓨터는 상기 썸네일이미지에 상응하는 장소에 따라 상기 동영상데이터를 분류할 수 있다(S900). 즉, 컴퓨터는 썸네일이미지와 유사도가 높은 비교이미지에 상응하는 장소를 파악하고, 상기 썸네일이미지에 상응하는 동영상데이터를 상기 장소의 영상으로 분류할 수 있다.Thereafter, the computer can classify the moving image data according to a location corresponding to the thumbnail image (S900). That is, the computer can identify a place corresponding to a comparative image having a high degree of similarity to the thumbnail image, and classify the moving image data corresponding to the thumbnail image into the image of the place.

이상에서 전술한 본 발명의 일 실시예에 따른 썸네일이미지 설정방법은, 하드웨어인 컴퓨터(10)와 결합되어 실행되기 위해 프로그램(또는 어플리케이션)으로 구현되어 매체에 저장될 수 있다.The method for setting a thumbnail image according to an embodiment of the present invention may be implemented as a program (or application) to be executed in combination with the computer 10, which is hardware, and stored in the medium.

상기 전술한 프로그램은, 상기 컴퓨터가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 컴퓨터의 프로세서(CPU)가 상기 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C, C++, JAVA, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 상기 컴퓨터의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 상기 컴퓨터의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다. The above-described program may be stored in a computer-readable medium such as C, C ++, JAVA, machine language, or the like that can be read by the processor (CPU) of the computer through the device interface of the computer, And may include a code encoded in a computer language of the computer. Such code may include a functional code related to a function or the like that defines necessary functions for executing the above methods, and includes a control code related to an execution procedure necessary for the processor of the computer to execute the functions in a predetermined procedure can do. Further, such code may further include memory reference related code as to whether the additional information or media needed to cause the processor of the computer to execute the functions should be referred to at any location (address) of the internal or external memory of the computer have. Also, when the processor of the computer needs to communicate with any other computer or server that is remote to execute the functions, the code may be communicated to any other computer or server remotely using the communication module of the computer A communication-related code for determining whether to communicate, what information or media should be transmitted or received during communication, and the like.

상기 저장되는 매체는, 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상기 저장되는 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있지만, 이에 제한되지 않는다. 즉, 상기 프로그램은 상기 컴퓨터가 접속할 수 있는 다양한 서버 상의 다양한 기록매체 또는 사용자의 상기 컴퓨터상의 다양한 기록매체에 저장될 수 있다. 또한, 상기 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장될 수 있다.The medium to be stored is not a medium for storing data for a short time such as a register, a cache, a memory, etc., but means a medium that semi-permanently stores data and is capable of being read by a device. Specifically, examples of the medium to be stored include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage, and the like, but are not limited thereto. That is, the program may be stored in various recording media on various servers to which the computer can access, or on various recording media on the user's computer. In addition, the medium may be distributed to a network-connected computer system so that computer-readable codes may be stored in a distributed manner.

이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.While the present invention has been described in connection with what is presently considered to be practical exemplary embodiments, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, You will understand. It is therefore to be understood that the above-described embodiments are illustrative in all aspects and not restrictive.

Claims (11)

컴퓨터가 동영상데이터를 획득하는 단계;
상기 동영상데이터에 포함된 복수의 프레임을 분석하여 하나 이상의 유사이미지그룹을 생성하는 단계;
각각의 유사이미지그룹 내의 복수의 프레임 중에서 그룹대표프레임을 추출하는 단계; 및
하나 이상의 그룹대표프레임 중에서 특정한 썸네일이미지를 추출하는 단계;를 포함하되,
상기 썸네일이미지 추출단계는,
하나 이상의 유사이미지그룹 중에서 프레임의 개수가 최대인 유사이미지그룹의 그룹대표프레임을 썸네일이미지로 추출하는 것을 특징으로 하고,
상기 유사이미지그룹은 시계열적으로 연속되는 프레임의 집합인, 썸네일이미지 설정방법.The computer acquiring moving picture data;
Analyzing a plurality of frames included in the moving image data to generate at least one similar image group;
Extracting a group representative frame from among a plurality of frames in each similar image group; And
Extracting a specific thumbnail image from one or more group representative frames,
Wherein the thumbnail image extracting step comprises:
The group representative frame of the similar image group having the largest number of frames among the at least one similar image group is extracted as the thumbnail image,
Wherein the similar image group is a set of temporally consecutive frames. 컴퓨터가 동영상데이터를 획득하는 단계;
상기 동영상데이터에 포함된 복수의 프레임을 분석하여 하나 이상의 유사이미지그룹을 생성하는 단계;
각각의 유사이미지그룹 내의 복수의 프레임 중에서 그룹대표프레임을 추출하는 단계; 및
하나 이상의 그룹대표프레임 중에서 특정한 썸네일이미지를 추출하는 단계;를 포함하되,
상기 썸네일이미지 추출단계는,
하나 이상의 그룹대표프레임을 하나 이상의 유사군클래스로 분류하는 단계;
유사군클래스에 매칭되는 전체 그룹의 프레임 개수를 산출하는 단계; 및
프레임개수가 최대인 유사군클래스 내에 포함되는 하나 이상의 그룹대표프레임 중에서 상기 썸네일이미지를 추출하는 단계;를 포함하고,
상기 유사이미지그룹은 시계열적으로 연속되는 프레임의 집합이고,
상기 썸네일이미지는 대상체의 크기가 최대인 그룹대표프레임 또는 특징점 개수가 최대인 그룹대표프레임인, 썸네일이미지 설정방법.The computer acquiring moving picture data;
Analyzing a plurality of frames included in the moving image data to generate at least one similar image group;
Extracting a group representative frame from among a plurality of frames in each similar image group; And
Extracting a specific thumbnail image from one or more group representative frames,
Wherein the thumbnail image extracting step comprises:
Classifying the one or more group representative frames into one or more similar group classes;
Calculating a total number of frames of the group matching the similarity class; And
And extracting the thumbnail image from one or more group representative frames included in the similarity class having the largest number of frames,
Wherein the similar image group is a set of time series continuous frames,
Wherein the thumbnail image is a group representative frame having a maximum object size or a group representative frame having a maximum number of feature points. 컴퓨터가 동영상데이터를 획득하는 단계;
상기 동영상데이터에 포함된 복수의 프레임을 분석하여 하나 이상의 유사이미지그룹을 생성하는 단계;
각각의 유사이미지그룹 내의 복수의 프레임 중에서 그룹대표프레임을 추출하는 단계; 및
하나 이상의 그룹대표프레임 중에서 특정한 썸네일이미지를 추출하는 단계;
각 그룹의 그룹대표프레임을 동영상 압축의 기준프레임으로 설정하는 단계;
상기 그룹 내 프레임의 차이데이터를 획득하는 단계; 및
상기 기준프레임 및 상기 차이데이터를 바탕으로, 상기 동영상데이터의 압축을 수행하는 단계;를 포함하되,
상기 유사이미지그룹은 시계열적으로 연속되는 프레임의 집합이고,
상기 차이데이터는 상기 기준프레임과 비교하여 특정한 프레임 내 대상체의 위치변경, 확대비율, 축소비율, 특정한 대상체의 추가 중 적어도 하나 이상에 대한 데이터인, 썸네일이미지 설정방법.The computer acquiring moving picture data;
Analyzing a plurality of frames included in the moving image data to generate at least one similar image group;
Extracting a group representative frame from among a plurality of frames in each similar image group; And
Extracting a specific thumbnail image from one or more group representative frames;
Setting a group representative frame of each group as a reference frame of moving picture compression;
Obtaining difference data of the intra-group frame; And
And compressing the moving picture data based on the reference frame and the difference data,
Wherein the similar image group is a set of time series continuous frames,
Wherein the difference data is data for at least one of a position change, an enlargement ratio, a reduction ratio, and a specific object addition in a specific frame compared with the reference frame. 제3항에 있어서,
상기 차이데이터는,
상기 컴퓨터가 이동단말기인 경우,
상기 컴퓨터에 입력되는 사용자입력데이터 또는 상기 이동단말기 내의 센서에 의해 획득되는 센싱데이터를 통해 획득되는 것을 특징으로 하는, 썸네일이미지 설정방법.The method of claim 3,
Wherein the difference data comprises:
If the computer is a mobile terminal,
Wherein the thumbnail image is obtained through user input data input to the computer or through sensing data obtained by a sensor in the mobile terminal. 제1항 내지 제4항 중 어느 한 항에 있어서,
상기 유사이미지그룹 생성단계는,
각각의 프레임을 동일한 방식에 따라 복수의 구획으로 분할하는 단계;
각 구획에 포함된 형상 또는 색상을 기반으로 식별정보를 부여하는 단계; 및
상기 동영상데이터에 포함된 각각의 프레임 내 식별정보 배치를 바탕으로 프레임의 유사여부를 판단하는 단계;를 포함하는, 썸네일이미지 설정방법.5. The method according to any one of claims 1 to 4,
The similar image group generation step may include:
Dividing each frame into a plurality of sections in the same manner;
Assigning identification information based on a shape or a color included in each of the segments; And
And determining whether the frames are similar based on the arrangement of the identification information in each frame included in the moving image data. 제1항 내지 제4항 중 어느 한 항에 있어서,
상기 그룹대표프레임 추출단계는,
각각의 프레임을 동일한 방식에 따라 복수의 구획으로 분할하는 단계;
각 프레임 내에서 특징구획의 개수를 산출하되, 상기 특징구획은 특정한 대상체이미지의 특징점을 포함하는 구획인, 단계; 및
상기 특징구획의 개수가 최대인 프레임을 상기 그룹대표프레임으로 추출하는 단계;를 포함하는, 썸네일이미지 설정방법.5. The method according to any one of claims 1 to 4,
The group representative frame extracting step includes:
Dividing each frame into a plurality of sections in the same manner;
Calculating a number of feature sections within each frame, wherein the feature section is a section including feature points of a particular object image; And
And extracting, as the group representative frame, a frame having a maximum number of the feature sections. 제1항 내지 제4항 중 어느 한 항에 있어서,
상기 썸네일이미지 추출단계는,
하나 이상의 그룹대표프레임을 화면 상에 표시하는 단계;
사용자로부터 특정한 그룹대표프레임 선택입력을 수신하는 단계; 및
상기 선택입력에 대응하는 그룹대표프레임을 썸네일이미지로 설정하는 단계;를 포함하는, 썸네일이미지 설정방법.5. The method according to any one of claims 1 to 4,
Wherein the thumbnail image extracting step comprises:
Displaying one or more group representative frames on the screen;
Receiving a specific group representative frame selection input from a user; And
And setting a group representative frame corresponding to the selection input as a thumbnail image. 제1항 내지 제4항 중 어느 한 항에 있어서,
상기 동영상을 촬영장소를 기반으로 분류하는 경우,
비교이미지 내 특징점과 썸네일이미지 내 특징점의 비교작업을 수행 또는 요청하는 단계; 및
상기 썸네일이미지에 상응하는 장소에 따라 상기 동영상데이터를 분류하는 단계;를 포함하되,
상기 비교이미지는 특정한 장소에 대한 대표이미지인, 썸네일이미지 설정방법.5. The method according to any one of claims 1 to 4,
When the moving picture is classified based on the photographing place,
Performing or requesting a comparison operation of feature points in a comparison image and a feature point in a thumbnail image; And
And classifying the moving picture data according to a location corresponding to the thumbnail image,
Wherein the comparison image is a representative image of a specific place. 제1항 내지 제4항 중 어느 한 항에 있어서,
상기 그룹대표프레임 추출단계는,
상기 유사이미지그룹 내에 복수의 대상체가 포함된 경우,
컴퓨터가 하나 이상의 프레임에 포함된 복수의 대상체를 추출하는 단계;
상기 유사이미지그룹 내에서 각 대상체의 위치이동 또는 각 대상체의 등장시간을 산출하여 주요대상체를 결정하는 단계; 및
상기 주요대상체를 포함하는 상기 그룹대표프레임을 추출하는 단계;를 포함하는, 썸네일이미지 설정방법.5. The method according to any one of claims 1 to 4,
The group representative frame extracting step includes:
When a plurality of objects are included in the similar image group,
Extracting a plurality of objects included in one or more frames by a computer;
Determining a main object by calculating a position shift of each object or an appearance time of each object in the similar image group; And
And extracting the group representative frame including the main object. 삭제delete 하드웨어인 컴퓨터와 결합되어, 제1항 내지 제4항 중 어느 한 항의 방법을 실행시키기 위하여 매체에 저장된, 썸네일이미지 설정프로그램. A thumbnail image setting program stored in a medium for executing the method of any one of claims 1 to 4, in combination with a computer which is hardware.
KR1020160064578A 2016-05-26 2016-05-26 Method and program for setting thumbnail image KR101812103B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160064578A KR101812103B1 (en) 2016-05-26 2016-05-26 Method and program for setting thumbnail image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160064578A KR101812103B1 (en) 2016-05-26 2016-05-26 Method and program for setting thumbnail image

Publications (2)

Publication Number Publication Date
KR20170133618A KR20170133618A (en) 2017-12-06
KR101812103B1 true KR101812103B1 (en) 2017-12-26

Family

ID=60922031

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160064578A KR101812103B1 (en) 2016-05-26 2016-05-26 Method and program for setting thumbnail image

Country Status (1)

Country Link
KR (1) KR101812103B1 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102151668B1 (en) * 2018-07-17 2020-09-03 에스프레스토 주식회사 Apparatus of extracting highlight and method thereof
KR102360584B1 (en) 2018-12-05 2022-02-08 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. Method and apparatus for determining the position of a target video clip in a video
WO2019156543A2 (en) * 2019-04-30 2019-08-15 엘지전자 주식회사 Method for determining representative image of video, and electronic device for processing method
KR20220102418A (en) * 2021-01-13 2022-07-20 삼성전자주식회사 Apparatus and method for providing multimedia content
CN114138990A (en) * 2021-11-26 2022-03-04 中国电信集团***集成有限责任公司 Video file identification method and system based on picture group similarity matching

Also Published As

Publication number Publication date
KR20170133618A (en) 2017-12-06

Similar Documents

Publication Publication Date Title
KR101812103B1 (en) Method and program for setting thumbnail image
EP2710594B1 (en) Video summary including a feature of interest
US9013604B2 (en) Video summary including a particular person
KR102354692B1 (en) Rule-based video importance analysis
US8599316B2 (en) Method for determining key video frames
US8184947B2 (en) Electronic apparatus, content categorizing method, and program therefor
JP5768126B2 (en) Determining key video snippets using selection criteria
KR20230013243A (en) Maintain a fixed size for the target object in the frame
US11438510B2 (en) System and method for editing video contents automatically technical field
US20080260255A1 (en) Image processing apparatus, imaging apparatus, image processing method, and computer program
CN101287089B (en) Image capturing apparatus, image processing apparatus and control methods thereof
US8619150B2 (en) Ranking key video frames using camera fixation
KR101948692B1 (en) Phtographing apparatus and method for blending images
KR20130120175A (en) Apparatus, method and computer readable recording medium for generating a caricature automatically
JP6203188B2 (en) Similar image search device
JP2012105205A (en) Key frame extractor, key frame extraction program, key frame extraction method, imaging apparatus, and server device
US10924637B2 (en) Playback method, playback device and computer-readable storage medium
WO2023088029A1 (en) Cover generation method and apparatus, device, and medium
JP2009049667A (en) Information processor, and processing method and program thereof
JP2009212935A (en) Image processing device and method, and program
KR102268981B1 (en) Original image detection apparatus using feature values in 360 degree images and method thereof
CN110996173B (en) Image data processing method and device and storage medium
KR102361811B1 (en) Server for editing video contents automatically and method thereof
JP2017069596A (en) Image processing device and method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant