KR20170045920A - Apparatus and method for extracting representation image of video contents using closed caption - Google Patents
Apparatus and method for extracting representation image of video contents using closed caption Download PDFInfo
- Publication number
- KR20170045920A KR20170045920A KR1020150146019A KR20150146019A KR20170045920A KR 20170045920 A KR20170045920 A KR 20170045920A KR 1020150146019 A KR1020150146019 A KR 1020150146019A KR 20150146019 A KR20150146019 A KR 20150146019A KR 20170045920 A KR20170045920 A KR 20170045920A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- scene change
- subtitle
- representative
- representative image
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/488—Data services, e.g. news ticker
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/488—Data services, e.g. news ticker
- H04N21/4886—Data services, e.g. news ticker for displaying a ticker, e.g. scrolling banner for news, stock exchange, weather data
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Television Signal Processing For Recording (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
본 발명은 자막 정보를 이용하여 영상 콘텐츠로부터 대표성 있는 정지 영상을 추출하기 위한 장치 및 그 방법에 관한 것이다.
The present invention relates to an apparatus and method for extracting representative still images from image contents using caption information.
최근 멀티미디어 산업의 혁신적인 발달에 따라 디지털 콘텐츠 및 그 파생 시장이 급성장했으며, 여전히 고성장을 거듭하고 있다. Recently, digital content and its derivative market has been growing rapidly due to the innovative development of the multimedia industry, and it is still growing rapidly.
다양한 디지털 콘텐츠들 가운데 동영상 콘텐츠의 경우 가공을 통해 유용한 파생 데이터의 생성이 가능하다는 장점이 있으나, 가공을 위한 유의미한 데이터를 선별하기 위해서는 콘텐츠의 검색을 위해 많은 시간을 투입해야만 한다는 등의 어려움이 있다.Among various digital contents, there is an advantage that it is possible to generate derivative data useful for processing video contents, but there is a difficulty in that it takes much time to search for contents in order to select meaningful data for processing.
이에 따라, 동영상 색인 방법, 동영상의 장면 검색 방법, 동영상의 자막 관리 및 자막 검색 방법, 또는, 동영상의 자막을 키워드로 이용한 영상 검색 방법 등과 같은 다양한 관련 기술들이 제안되고 있다.Accordingly, various related technologies have been proposed such as a video indexing method, a scene search method of a moving picture, a subtitle management method of moving picture and a subtitle searching method, or an image searching method using a subtitle of a moving picture as a keyword.
하지만, 상기의 기술들은 대부분 동영상의 자막 정보 또는 키워드 정보를 이용해 이와 대응되는 동영상의 위치를 검색하거나, 또는, 검색어와 관련된 내용을 데이터베이스에 저장하기 위한 기술들로, 주로 동영상에 대한 특정 장면 검색을 위해 많이 이용되고 있다.However, most of the techniques described above are techniques for searching the position of the moving picture corresponding to the subtitle information or the keyword information of the moving picture or storing the contents related to the search word in the database. Is widely used.
따라서, 본 발명에서는, 동영상 콘텐츠에 대한 단순 장면 검색이 아닌, 의미적으로 대표성을 갖는 정지화면을 자동 생성할 수 있도록 하기 위한 새로운 방안을 제안하고자 한다.
Accordingly, the present invention proposes a new method for automatically generating a still picture having semantically representative picture, rather than a simple scene search for moving picture contents.
본 발명은 전술한 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 동영상에 포함된 자막정보(폐쇄자막/자막파일)를 이용해 의미 기반의 정지 영상을 추출하기 위한 자막 정보를 이용한 영상 콘텐츠의 대표 이미지 추출 장치 및 방법을 제공하는데 있다.
SUMMARY OF THE INVENTION The present invention has been made in order to solve the above-mentioned problems, and it is an object of the present invention to provide a method and apparatus for capturing a still image by using subtitle information (closed caption / caption file) And a method for extracting a representative image of a representative image.
전술한 목적을 달성하기 위하여 본 발명은, 특정 영상 콘텐츠의 동영상 정보 데이터에 포함된 프레임 이미지들의 화소정보를 이용하여 장면전환 시점의 타임코드 및 프레임 수를 기준으로 장면전환 구간범위를 설정하는 장면전환 기준 구간 설정부; 상기 장면전환 기준 구간 설정부로부터 설정된 각 장면전환 구간범위에 포함하는 장면전환 이미지와 자막 파일들을 그룹지어 동기화하는 장면전환 구간 자막 동기화부; 및 상기 장면전환 기준 구간 설정부로부터 설정된 각 장면전환 구간범위에 포함하는 프레임 이미지들 중에서 상기 장면전환 구간 자막 동기화부로부터 그룹지어진 자막 파일들의 정보를 이용하여 대표 이미지를 추출하는 대표 이미지 추출부;를 포함하는 자막 정보를 이용한 영상 콘텐츠의 대표 이미지 추출 장치를 제공할 수 있다.According to an aspect of the present invention, there is provided a scene change method for setting a scene change interval range based on a time code and a frame number at a scene change time using pixel information of frame images included in motion picture information data of a specific image content. A reference section setting section; A scene change section caption synchronization unit for grouping and synchronizing scene change images and caption files included in each scene change interval range set by the scene change reference interval setting unit; And a representative image extracting unit for extracting a representative image using information of subtitle files grouped from the scene change section caption synchronization unit among frame images included in each scene transition interval range set from the scene change reference interval setting unit It is possible to provide a representative image extracting apparatus for image contents using the caption information included therein.
여기서, 상기 장면전환 기준 구간 설정부는, 특정 대상 프레임 이미지와 이전 프레임 이미지의 화소값을 비교하여 기설정된 화소 변경율 이상으로 변경될 경우, 해당 특정 대상 프레임 시점을 장면전환 구간범위로 추출하도록 구성될 수 있다.Here, the scene change reference section setting unit may be configured to, when a pixel value of a specific target frame image is compared with a pixel value of a previous frame image, to extract a specific target frame time point as a scene change interval range .
또한, 상기 장면전환 구간 자막 동기화부는, 각 장면전환 구간범위에 포함하는 장면전환 이미지와 자막 파일들을 프레임 순서로 나열하고 이를 그룹지어 동기화하도록 구성될 수 있다.In addition, the scene change section caption synchronization section may arrange the scene change images and the caption files included in each scene change section range in frame order and synchronize them in a group.
그리고, 상기 대표 이미지 추출부는, 각 장면전환 구간범위에 그룹지어진 자막 파일들의 평균 자막시간에 해당하는 프레임 이미지, 각 장면전환 구간범위에 그룹지어진 자막 파일들 중 감탄사 또는 놀람의 단어가 포함된 자막 파일의 자막시간에 해당하는 프레임 이미지, 및 각 장면전환 구간범위에 그룹지어진 자막 파일들 중 문장 길이가 가장 긴 자막 파일의 자막시간에 해당하는 프레임 이미지 중 적어도 어느 하나의 프레임 이미지를 각 장면전환 구간범위의 대표 이미지로 추출할 수 있다.The representative image extracting unit may extract a frame image corresponding to the average subtitle time of the subtitle files grouped in each scene transition interval range, a subtitle file including a word of surprise or surprise among the subtitle files grouped in each scene transition interval range, And a frame image corresponding to the subtitle time of the subtitle file having the longest sentence length among the subtitle files grouped in the range of each scene transition interval, Can be extracted as the representative image of FIG.
이때, 상기 대표 이미지 추출부는, 특정 영상 콘텐츠에 대해 기준 이상의 시청률에 해당하는 시간의 프레임 이미지를 해당 장면전환 구간범위의 대표 이미지로 우선 추출하도록 구성될 수 있다.In this case, the representative image extracting unit may be configured to first extract a frame image of a time corresponding to the audience rating or more with respect to a specific image content as a representative image in the range of the scene change interval.
또한, 상기 대표 이미지 추출부는, 영상 관리자에 의해 특정 영상 콘텐츠의 메타데이터가 새로 등록될 경우, 상기 새로 등록된 메타데이터의 타임코드를 기반으로 해당 장면전환 구간범위에서 추출된 대표 이미지를 상기 새로 등록된 메타데이터의 타임코드에 해당하는 프레임 이미지로 대체하도록 구성될 수 있다.The representative image extracting unit may extract a representative image extracted in the range of the scene change interval based on the time code of the newly registered metadata when the metadata of the specific image content is newly registered by the video manager, With a frame image corresponding to the time code of the metadata.
아울러, 본 발명은, 상기 대표 이미지 추출부로부터 그룹지어 동기화된 각 장면전환 구간범위의 대표 이미지와 자막 파일들을 데이터베이스(DB)화하여 저장 및 관리하기 위한 수단이 더 구비될 수 있다.In addition, the present invention may further comprise means for storing and managing a representative image and caption files of each scene transition interval group synchronized from the representative image extraction unit in a database (DB).
그리고, 본 발명은, 상기 대표 이미지 추출부로부터 그룹지어 동기화된 각 장면전환 구간범위의 대표 이미지와 자막 파일들을 이용하여 웹 기반의 이미지-자막 조회, 게시, 다운로드 및 검색 기능 중 적어도 하나의 기능을 수행하기 위한 웹서비스 수단이 더 구비될 수 있다.Further, the present invention provides at least one of a web-based image-subtitle search, a posting, a download, and a search function using the representative image and the subtitle files in the range of each scene change interval synchronized in the group from the representative image extracting unit May be further provided.
나아가, 본 발명은, 상기 대표 이미지 추출부로부터 그룹지어 동기화된 각 장면전환 구간범위의 대표 이미지와 자막 파일들을 이용하여 웹 기반의 카툰화 이미지 파일로 제작하기 위한 수단이 더 구비될 수 있다.
Further, the present invention may further comprise means for producing a web-based cartoonized image file using representative images and subtitle files in each scene transition interval range synchronized in the group from the representative image extraction unit.
한편, 본 발명은, 특정 영상 콘텐츠의 동영상 및 자막 정보 데이터를 이용하여 영상 콘텐츠의 대표 이미지를 추출하기 위한 방법으로서, (a) 상기 특정 영상 콘텐츠의 동영상 정보 데이터에 포함된 프레임 이미지들의 화소정보를 이용하여 장면전환 시점의 타임코드 및 프레임 수를 기준으로 장면전환 구간범위를 설정하는 단계; (b) 상기 단계(a)에서 설정된 각 장면전환 구간범위에 포함하는 장면전환 이미지와 상기 단계(a)에서 변환된 자막 파일들을 그룹지어 동기화하는 단계; 및 (c) 상기 단계(a)에서 설정된 각 장면전환 구간범위에 포함하는 프레임 이미지들 중에서, 상기 단계 (b)에서 그룹지어진 자막 파일들의 정보를 이용하여 대표 이미지를 추출하는 단계를 포함하는 자막 정보를 이용한 영상 콘텐츠의 대표 이미지 추출 방법을 제공할 수 있다.According to another aspect of the present invention, there is provided a method of extracting a representative image of an image content using moving image and caption information data of a specific image content, the method comprising: (a) obtaining pixel information of frame images included in the moving image information data of the specific image content; Setting a scene change section range based on a time code and a frame number at a scene change time point; (b) grouping and synchronizing the scene change image included in the scene change interval range set in step (a) and the subtitle files converted in step (a); And (c) extracting a representative image using the information of the subtitle files grouped in the step (b) among the frame images included in the range of each scene change interval set in the step (a) Can be provided.
여기서, 상기 단계(a)는, 상기 특정 영상 콘텐츠의 동영상 정보 데이터에 저장된 프레임 이미지들 중 특정 대상 프레임 이미지와 이전 프레임 이미지의 화소값을 비교하여 기설정된 화소 변경율 이상으로 변경될 경우, 해당 특정 대상 프레임 시점을 장면전환 구간범위로 추출하도록 구성될 수 있다.In the step (a), when a pixel value of a specific target frame image is compared with a pixel value of a previous frame image among frame images stored in the moving image information data of the specific image content, And to extract the target frame viewpoint as a scene change interval range.
이때, 본 발명은, 상기 단계(a)에서 설정된 각 장면전환 구간범위에 포함하는 장면전환 이미지와 자막 파일들을 프레임 순서로 나열하고 이를 그룹지어 동기화하도록 구성될 수 있다.At this time, the present invention may be configured to arrange the scene change image and subtitle files included in the scene change interval range set in step (a) in frame order and synchronize them in a group.
그리고, 상기 단계(c)에서는, 각 장면전환 구간범위에 그룹지어진 자막 파일들의 평균 자막시간에 해당하는 프레임 이미지, 각 장면전환 구간범위에 그룹지어진 자막 파일들 중 감탄사 또는 놀람의 단어가 포함된 자막 파일의 자막시간에 해당하는 프레임 이미지, 및 각 장면전환 구간범위에 그룹지어진 자막 파일들 중 문장 길이가 가장 긴 자막 파일의 자막시간에 해당하는 프레임 이미지 중 적어도 어느 하나의 프레임 이미지를 각 장면전환 구간범위의 대표 이미지로 추출할 수 있다.In the step (c), a frame image corresponding to the average subtitle time of the subtitle files grouped in each scene transition interval range, a subtitle including the subtitle or the surprise word among the subtitle files grouped in the range of each scene transition interval A frame image corresponding to the subtitle time of the file, and a frame image corresponding to the subtitle time of the subtitle file having the longest sentence length among the subtitle files grouped in the range of each scene transition interval, Can be extracted as a representative image of a range.
또한, 상기 단계(c)는, 상기 특정 영상 콘텐츠에 대해 기준 이상의 시청률에 해당하는 시간의 프레임 이미지를 해당 장면전환 구간범위의 대표 이미지로 우선 추출하도록 구성될 수 있다.In addition, the step (c) may be configured to first extract a frame image of a time corresponding to an audience rating or more with respect to the specific image content as a representative image in the range of the scene change interval.
여기서, 본 발명은, 상기 단계(c) 이후에, 영상 관리자에 의해 특정 영상 콘텐츠의 메타데이터가 새로 등록될 경우, 상기 새로 등록된 메타데이터의 타임코드를 기반으로 해당 장면전환 구간범위에서 추출된 대표 이미지를 상기 새로 등록된 메타데이터의 타임코드에 해당하는 프레임 이미지로 대체하는 단계를 더 포함할 수 있다.Here, in the present invention, if the metadata of a specific image content is newly registered by the video manager after the step (c), the extracted metadata are extracted from the scene change interval range based on the time code of the newly registered metadata And replacing the representative image with a frame image corresponding to a time code of the newly registered metadata.
또한, 본 발명은, 상기 단계(c) 이후에, 상기 그룹지어 동기화된 각 장면전환 구간범위의 대표 이미지와 자막 파일들을 데이터베이스(DB)화하여 저장 및 관리하는 단계를 더 포함할 수 있다.In addition, the method may further include a step of, after the step (c), storing and managing representative images and subtitle files of each scene change interval range synchronized with the grouping, into a database (DB).
또한, 본 발명은, 상기 단계(c) 이후에, 상기 그룹지어 동기화된 각 장면전환 구간범위의 대표 이미지와 자막 파일들을 이용하여 웹 기반의 이미지-자막 조회, 게시, 다운로드 및 검색 기능 중 적어도 하나의 기능을 수행하는 단계를 더 포함할 수 있다.In the present invention, at least one of a web-based image-subtitle search, a posting, a download and a search function may be performed using the representative image and the subtitle files of each scene change interval range synchronized with the group- And a step of performing the function of FIG.
그리고, 본 발명은, 상기 단계(c) 이후에, 상기 그룹지어 동기화된 각 장면전환 구간범위의 대표 이미지와 자막 파일들을 이용하여 웹 기반의 카툰화 이미지 파일로 제작하는 단계를 더 포함할 수 있다.
Further, the present invention may further include a step of, after the step (c), producing a web-based cartoonized image file using the representative image and the subtitle files of the scene change interval range synchronized with the grouping .
이상에서 설명한 바와 같은 본 발명의 자막 정보를 이용한 영상 콘텐츠의 대표 이미지 추출 장치 및 방법에 따르면, 의미적으로 대표성 있는 정지 영상을 자동적으로 쉽고 빠르게 추출할 수 있으며, 이를 바탕으로 카드뉴스, 웹툰 등의 제작 시 업무 효율을 크게 향상시킬 수 있다는 등의 장점이 있다.
According to the apparatus and method for extracting representative images of the image contents using the caption information as described above, semantic representative still images can be automatically extracted quickly and easily. It is possible to greatly improve work efficiency in manufacturing.
도 1은 본 발명의 일 실시예에 따른 자막 정보를 이용한 영상 콘텐츠의 대표 이미지 추출 장치를 설명하기 위한 전체적인 블록 구성도이다.
도 2는 본 발명의 일 실시예에 따른 자막 정보를 이용한 영상 콘텐츠의 대표 이미지 추출 방법을 설명하기 위한 전체적인 흐름도이다.
도 3은 본 발명의 일 실시예에 적용된 대표 이미지 추출부를 통해 추출된 대표 이미지를 나타낸 도면이다.
도 4는 본 발명의 일 실시예에서 그룹지어 동기화된 대표 이미지와 폐쇄 자막 파일들을 나타낸 도면이다.
도 5는 본 발명의 실시예에 따라 장면전환기준 구간 내에서 키워드를 이용해 대표 이미지를 추출하는 방법을 나타낸 예시도이다.
도 6은 본 발명의 실시예에 따라 장면전환기준 구간 내에서 시청률 정보 참조를 통해 대표 이미지를 추출하는 방법을 나타낸 예시도이다.FIG. 1 is a block diagram of a representative image extracting apparatus for extracting representative images using caption information according to an exemplary embodiment of the present invention. Referring to FIG.
2 is a general flowchart for explaining a representative image extracting method of image contents using caption information according to an embodiment of the present invention.
3 is a view showing a representative image extracted through a representative image extracting unit applied to an embodiment of the present invention.
FIG. 4 is a diagram illustrating a grouped synchronized representative image and closed caption files according to an exemplary embodiment of the present invention.
5 is a diagram illustrating a method of extracting a representative image using a keyword in a scene change reference interval according to an exemplary embodiment of the present invention.
FIG. 6 is a diagram illustrating a method of extracting a representative image through viewership information reference within a scene change reference interval according to an embodiment of the present invention. Referring to FIG.
전술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되며, 이에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 상세한 설명을 생략한다.The above and other objects, features, and advantages of the present invention will become more apparent by describing in detail exemplary embodiments thereof with reference to the attached drawings, which are not intended to limit the scope of the present invention. In the following description, well-known functions or constructions are not described in detail since they would obscure the invention in unnecessary detail.
이하, 첨부 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다. 그러나, 다음에 예시하는 본 발명의 실시예는 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 다음에 상술하는 실시예에 한정되는 것은 아니다. 본 발명의 실시예는 당업계에서 통상의 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위하여 제공되어지는 것이다. 또한, 도면에서 동일한 참조부호는 동일 또는 유사한 구성요소를 가리키는 것으로 사용된다.
Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. However, the following embodiments of the present invention may be modified into various other forms, and the scope of the present invention is not limited to the following embodiments. The embodiments of the present invention are provided to enable those skilled in the art to more fully understand the present invention. In the drawings, the same reference numerals are used to denote the same or similar elements.
도 1은 본 발명의 일 실시예에 따른 자막 정보를 이용한 영상 콘텐츠의 대표 이미지 추출 장치를 설명하기 위한 전체적인 블록 구성도이다.FIG. 1 is a block diagram of a representative image extracting apparatus for extracting representative images using caption information according to an exemplary embodiment of the present invention. Referring to FIG.
도 1을 참조하면, 본 발명의 일 실시예에 따른 자막 정보를 이용한 영상 콘텐츠의 대표 이미지 추출 장치는, 크게 장면전환 기준 구간 설정부(100), 장면전환 구간 자막 동기화부(200), 대표 이미지 추출부(300) 등을 포함하여 이루어진다. Referring to FIG. 1, an apparatus for extracting representative images of image contents using subtitle information according to an exemplary embodiment of the present invention includes a scene change reference section setting unit 100, a scene change section caption synchronization unit 200, An extraction unit 300, and the like.
여기서, 장면전환 기준 구간 설정부(100)는 예컨대, 아카이브(Archives) 등에 보관된 다양한 영상 콘텐츠들 중에서 특정 영상 콘텐츠의 동영상 정보 데이터에 포함된 프레임 이미지들의 화소정보를 이용하여 장면전환 시점의 타임코드 및 프레임 수를 기준으로 장면전환 구간범위를 설정하는 기능을 수행한다.Here, the scene change reference section setting unit 100 may set the scene changeover time point to a scene change time point using, for example, pixel information of frame images included in the motion picture information data of a specific image content among various image contents stored in an archive, And a scene change interval range based on the number of frames.
이러한 장면전환 기준 구간 설정부(100)는 상기 특정 영상 콘텐츠의 동영상 정보 데이터에 포함된 프레임 이미지들 중에서 특정 대상 프레임 이미지와 이전 프레임 이미지의 화소값을 비교하여 기설정된 화소 변경율(바람직하게, 약 30％～40％ 정도) 이상으로 변경될 경우, 해당 특정 대상 프레임 시점을 장면전환 구간범위로 추출함이 바람직하다.The scene changeover interval setting unit 100 compares pixel values of a specific target frame image and a previous frame image among the frame images included in the motion picture information data of the specific image content to obtain a predetermined
또한, 장면전환 기준 구간 설정부(100)를 통해 추출된 각각의 장면전환 이미지는 프레임 수(Frame Number)와 타임코드(Time Code) 정보 등을 포함할 수 있다.Each of the scene change images extracted through the scene change reference section setting unit 100 may include a frame number and time code information.
장면전환 구간 자막 동기화부(200)는 장면전환 기준 구간 설정부(100)로부터 설정된 각 장면전환 구간범위에 포함하는 장면전환 이미지와 폐쇄 자막 등의 자막 파일들을 그룹지어 동기화하는 기능을 수행한다.The scene change section caption synchronization section 200 performs a function of grouping and synchronizing caption files such as a scene change image and a closed caption included in each scene change section range set from the scene change reference section setting section 100. [
이러한 장면전환 구간 자막 동기화부(200)는 각 장면전환 구간범위에 포함하는 장면전환 이미지와 자막 파일들을 프레임(Frame) 순서로 나열하고 이를 그룹지어 동기화함이 바람직하다.The scene change section caption synchronization section 200 may arrange the scene change image and the caption files included in each scene change section range in a frame order and synchronize them in a group.
대표 이미지 추출부(300)는 장면전환 기준 구간 설정부(100)로부터 설정된 각 장면전환 구간범위에 포함하는 프레임 이미지들 중에서 장면전환 구간 자막 동기화부(200)로부터 그룹지어진 자막 파일들의 정보를 이용하여 대표 이미지를 추출하는 기능을 수행한다.The representative image extracting unit 300 extracts representative image files from the scene changeover interval setting unit 100 using the information of the subtitle files grouped from the scene change section caption synchronization unit 200, And extracts representative images.
즉, 대표 이미지 추출부(300)는 각 장면전환 구간범위에 그룹지어진 폐쇄 자막 파일들의 평균 자막시간에 해당하는 프레임 이미지, 각 장면전환 구간범위에 그룹지어진 자막 파일들 중 감탄사 또는 놀람 등의 단어가 포함된 자막 파일의 자막시간에 해당하는 프레임 이미지, 및 각 장면전환 구간범위에 그룹지어진 자막 파일들 중 문장 길이가 가장 긴 자막 파일의 자막시간에 해당하는 프레임 이미지 중 적어도 어느 하나의 프레임 이미지를 각 장면전환 구간범위의 대표 이미지로 추출함이 바람직하다.That is, the representative image extracting unit 300 extracts a frame image corresponding to the average subtitle time of the closed caption files grouped in each scene transition interval range, a word such as an exclamation point or surprise among the caption files grouped in the scene transition interval range A frame image corresponding to the subtitle time of the included subtitle file and a frame image corresponding to the subtitle time of the subtitle file having the longest sentence length among the subtitle files grouped in the range of each scene transition interval, It is preferable to extract it as a representative image in the scene change interval range.
또한, 대표 이미지 추출부(300)는 SNS를 이용한 키워드 추출 서버(400)로부터 제공되는 키워드 정보 또는 시청률 서버(500)로부터 제공되는 동영상 시청률 정보 등에 따른 대표 이미지의 추출이 가능하도록 구성될 수 있다.The representative image extracting unit 300 may be configured to extract a representative image according to keyword information provided from the keyword extraction server 400 using the SNS or video rating information provided from the
또한, 대표 이미지 추출부(300)는 특정 영상 콘텐츠의 시청률 정보를 관리하는 서버(Server)(미도시)로부터 특정 영상 콘텐츠에 대한 시청률 정보를 제공받아 가장 높은 시청률에 해당하는 시간의 프레임 이미지 등과 같은 기준 이상의 시청률에 해당하는 시간의 프레임 이미지를 해당 장면전환 구간범위의 대표 이미지로 우선 추출할 수 있다.In addition, the representative image extracting unit 300 receives rating information on a specific image content from a server (not shown) that manages rating information of the specific image content, and receives representative information such as a frame image of a time corresponding to the highest rating The frame image of the time corresponding to the audience rating higher than the standard can be first extracted as the representative image of the scene change section range.
또한, 대표 이미지 추출부(300)는 영상 관리자에 의해 특정 영상 콘텐츠의 메타데이터(Meta Data)가 새로 등록될 경우, 상기 새로 등록된 메타데이터의 타임코드를 기반으로 해당 장면전환 구간범위에서 추출된 대표 이미지를 상기 새로 등록된 메타데이터의 타임코드에 해당하는 프레임 이미지로 대체할 수도 있다.In addition, when the metadata of the specific image content is newly registered by the video manager, the representative image extracting unit 300 extracts the extracted metadata in the range of the scene change interval based on the time code of the newly registered metadata The representative image may be replaced with a frame image corresponding to the time code of the newly registered metadata.
이와 같이 대표 이미지 추출부(300)는 동기화된 구간 내에서 대표 이미지를 추출하기 때문에 다시 폐쇄 자막 등의 자막 파일과 동기화 할 필요가 없게 된다.Since the representative image extracting unit 300 extracts the representative image within the synchronized section, it is not necessary to synchronize the representative image with the caption file of the closed caption or the like.
추가적으로, 대표 이미지 추출부(300)로부터 그룹지어 동기화된 각 장면전환 구간범위의 대표 이미지와 자막 파일들을 제공받아 이를 데이터베이스(DB)화하여 저장 및 관리하거나, 대표 이미지 추출부(300)로부터 그룹지어 동기화된 각 장면전환 구간범위의 대표 이미지와 폐쇄 자막 파일들을 이용하여 웹 기반의 이미지-폐쇄 자막 조회, 게시, 다운로드 및 검색 기능 중 적어도 하나의 기능을 수행하거나, 대표 이미지 추출부(300)로부터 그룹지어 동기화된 각 장면전환 구간범위의 대표 이미지와 폐쇄 자막 파일들을 이용하여 웹 기반의 카툰화 이미지 파일로 제작하는 기능을 수행하는 웹서비스 서버(600)가 더 구비될 수도 있다.In addition, the representative image extracting unit 300 receives the representative images and subtitle files of each scene transition interval synchronized grouped and synchronized and stores them in a database (DB), stores and manages them, The representative image extracting unit 300 may perform a function of at least one of a Web-based image-closed caption retrieval, a posting, a download and a retrieval function using the synchronized representative image in the range of the scene change interval and the closed caption files, The web service server 600 may be further provided with a function of generating a web-based cartoonized image file by using the representative image in the range of the scene change interval and the closed caption files synchronized.
이러한 웹서비스 서버(600)는 통신망을 통해 적어도 하나의 사용자 단말과 연결되어 다양한 웹서비스를 제공할 수 있으며, 웹 기반의 구간 자막 조회, 게시, 다운로드 및 검색 기능 등의 서비스를 제공할 수 있다.
The web service server 600 can be connected to at least one user terminal through a communication network to provide various web services, and can provide services such as web-based section caption retrieval, posting, downloading and searching functions.
이하에는 본 발명의 일 실시예에 따른 자막 정보를 이용한 영상 콘텐츠의 대표 이미지 추출 방법을 구체적으로 설명하기로 한다.Hereinafter, a typical image extracting method of image contents using caption information according to an embodiment of the present invention will be described in detail.
도 2는 본 발명의 일 실시예에 따른 자막 정보를 이용한 영상 콘텐츠의 대표 이미지 추출 방법을 설명하기 위한 전체적인 흐름도이고, 도 3은 본 발명의 일 실시예에 적용된 대표 이미지 추출부를 통해 추출된 대표 이미지를 나타낸 도면이고, 도 4는 본 발명의 일 실시예에서 그룹지어 동기화된 대표 이미지와 폐쇄 자막 파일들을 나타낸 도면이다.FIG. 2 is a general flowchart for explaining a representative image extracting method of image contents using caption information according to an exemplary embodiment of the present invention. FIG. 3 is a flowchart illustrating a method of extracting a representative image extracted from a representative image extracted by the representative image extracting unit according to an exemplary embodiment of the present invention. FIG. 4 is a diagram illustrating a grouped and synchronized representative image and closed caption files according to an exemplary embodiment of the present invention. Referring to FIG.
도 1 내지 도 4를 참조하면, 본 발명의 일 실시예에 따른 자막 정보를 이용한 영상 콘텐츠의 대표 이미지 추출 방법은, 먼저 장면전환 기준 구간 설정부(100)를 통해 예컨대, 아카이브(Archives) 등에 보관된 다양한 영상 콘텐츠들 중에서 특정 영상 콘텐츠의 동영상 정보 데이터에 포함된 프레임 이미지들의 화소정보를 이용하여 장면전환 시점의 타임코드 및 프레임 수를 기준으로 장면전환 구간범위를 설정(S100)한다.Referring to FIGS. 1 to 4, a method of extracting representative images of image contents using subtitle information according to an exemplary embodiment of the present invention is first stored in an archive, for example, through a scene change reference section setting unit 100 (S100) using the pixel information of the frame images included in the moving picture information data of the specific picture contents among the various picture contents, and sets the scene change interval range based on the time code and the number of frames at the scene change time point.
이때, 상기 특정 영상 콘텐츠의 동영상 정보 데이터에 포함된 프레임 이미지들 중에서 특정 대상 프레임 이미지와 이전 프레임 이미지의 화소값을 비교하여 기설정된 화소 변경율(바람직하게, 약 30％～40％ 정도) 이상으로 프레임의 화소값이 변경될 경우, 해당 특정 대상 프레임 시점을 장면전환 구간범위로 추출함이 바람직하다.At this time, a pixel value of a specific target frame image and a pixel value of a previous frame image among the frame images included in the moving image information data of the specific image content are compared with each other to obtain a pixel change rate (preferably about 30% to 40% When the pixel value of the frame is changed, it is preferable to extract the specific target frame time point as a scene change section range.
또한, 상기 단계 S100에서 추출된 각각의 장면전환 이미지는, 프레임 수(Frame Number)(pkt_pts)와 타임코드(Time Code) 정보 등을 포함할 수 있는데, 이는 오픈소스인 FFmpeg의 장면 전환 검출(Scene change detection) 기술을 이용하여 동영상 정보 데이터에서 장면전환 이미지의 프레임(frame) 정보를 획득한 후, 상기 획득된 프레임의 카운트 넘버(count number)를 타임코드로 변환하여 얻을 수 있다.In addition, each of the scene change images extracted in step S100 may include a frame number (pkt_pts) and a time code information, which may be scene change detection of an open source FFmpeg change information), and obtains the frame information of the scene change image from the moving picture information data by converting the count number of the obtained frame into a time code.
이 경우, 상기 특정 영상 콘텐츠의 자막 정보 데이터에 포함된 자막 파일들을 상기 단계 S100에서 추출된 장면전환 이미지와 상호 공통된 단위를 갖도록 하기 위하여, 상기 폐쇄 자막 파일들의 자막시간을 타임코드 및 프레임 수로 변환하는 과정이 수행될 수 있다.In this case, in order to make the caption files included in the caption information data of the specific image content have a unit common to the scene change image extracted in step S100, the caption time of the closed caption files is converted into a time code and a frame number Process can be performed.
한편, 기설정된 방송용 프레임 레이트(Frame rate)(예컨대, 29.97fps)를 이용하여 폐쇄 자막 파일들의 자막시간(즉, 폐쇄 자막이 생성된 시간 등)을 타임코드 및 프레임 수로 변환할 수 있다.On the other hand, the caption time of the closed caption files (that is, the time when the closed caption is generated, etc.) can be converted into the time code and the frame number using a predetermined broadcast frame rate (e.g., 29.97 fps).
예컨대, 방송사(SBS)의 캡션 임베딩 시스템(Caption Embedding System) 등에서 생성된 폐쇄 자막 파일들에는 폐쇄 자막이 생성된 시간(또는 자막시간)이 밀리초(millisecond) 단위로 기록되는데, 이 자막시간을 타임코드와 프레임 수로 변환하여 상호 공통된 단위를 가지게 한다. 이때, 상기 타임코드는 사람이 읽고 이해하기 편한 단위이고, 상기 프레임 수는 실제 계산하기 위한 단위로서, 이 둘은 상호 변환된다.For example, in the closed caption files created by the caption embedding system of the broadcasting company SBS, the time when the closed caption is generated (or the caption time) is recorded in units of milliseconds. Code and frame number to have mutually common units. At this time, the time code is a unit that is easy for a human to read and understand, and the number of frames is a unit for actual calculation, and the two are mutually converted.
또한, 방송사(SBS)의 캡션 임베딩 시스템(Caption Embedding System)에서는 현재 화자가 이전 화자와 다르면, 현재와 다른 색상으로 구분하여 표시(예컨대, 흰색(W) 또는 노란색(Y))하는데, 이러한 색상 정보를 폐쇄 자막 파일들과 함께 표시될 수 있다.Also, in the caption embedding system of the broadcasting company SBS, if the current speaker is different from the previous speaker, it is displayed (for example, white (W) or yellow (Y) May be displayed together with closed caption files.
그런 다음, 장면전환 구간 자막 동기화부(200)를 통해 상기 단계 S100에서 설정된 각 장면전환 구간범위에 포함하는 장면전환 이미지와 자막 파일들을 그룹지어 동기화한다(S200).Then, the scene change image and subtitle files included in each scene change interval range set in step S100 are grouped and synchronized through the scene change section caption synchronization unit 200 (S200).
한편, 상기 단계 S100에서 설정된 각 장면전환 구간범위에 포함하는 장면전환 이미지와 자막 파일들을 프레임 순서로 나열하고 이를 그룹지어 동기화함이 바람직할 수 있다.It may be preferable to arrange the scene change image and subtitle files included in each scene change interval range set in step S100 in frame order and synchronize them in a group.
예컨대, 첫 번째 장면전환 이미지의 프레임 수와 타임코드는 각각 781프레임과 00:00:26;01(26초 1프레임)이고, 이를 기준으로 설정된 장면전환 구간범위는 781프레임～1012프레임이며, 이 장면전환 구간범위에 포함되는 4～7번 폐쇄 자막 파일들을 첫 번째 장면전환 이미지와 그룹지어 동기화한다.For example, the number of frames and the time code of the first scene change image are 781 frames and 00: 00: 26; 01 (26 seconds per frame), and the range of the scene change interval set based on this is 781 to 1012 frames. The 4th to 7th closed caption files included in the scene transition range are grouped and synchronized with the first scene transition image.
그리고, 두 번째 장면전환 이미지의 프레임 수와 타임코드는 각각 1013프레임과 00:00:33;23(33초 23프레임)이고, 이를 기준으로 설정된 장면전환 구간범위는 1013프레임～1099프레임이며, 이 장면전환 구간범위에 포함되는 8～9번 자막 파일들을 두 번째 장면전환 이미지와 그룹지어 동기화한다.The frame number and the time code of the second scene change image are 1013 frames and 00: 00: 33; 23 (33 seconds and 23 frames), respectively, and the range of the scene change interval set based on this is 1013 frames to 1099 frames. Subtitles 8 to 9 included in the scene transition range are grouped and synchronized with the second scene transition image.
이후에, 대표 이미지 추출부(300)를 통해 상기 단계 S100에서 설정된 각 장면전환 구간범위에 포함하는 프레임 이미지들 중에서 상기 그룹지어진 자막 파일들의 정보를 이용하여 대표 이미지를 추출(S300)한다(도 4 참조).Subsequently, a representative image is extracted through the representative image extracting unit 300 using the information of the grouped subtitle files among the frame images included in the respective scene change interval ranges set in the step S100 (S300) Reference).
이때, 상기 단계 S300에서는 동기화된 구간 내에서 대표 이미지를 추출하기 때문에 다시 자막과 동기화 할 필요가 없게 된다.At this time, since the representative image is extracted in the synchronized interval in step S300, it is not necessary to synchronize with the subtitle again.
또한, 영상에서 화자가 말하는 시점은 시청자가 화면에 더 집중됨을 고려하여, 상기 단계 S100에서 설정된 각 장면전환 구간범위에 그룹지어진 자막 파일들의 평균 자막시간에 해당하는 프레임 이미지, 각 장면전환 구간범위에 그룹지어진 자막 파일들 중 감탄사 또는 놀람의 단어가 포함된 자막 파일의 자막시간에 해당하는 프레임 이미지, 및 각 장면전환 구간범위에 그룹지어진 자막 파일들 중 문장 길이가 가장 긴 자막 파일의 자막시간에 해당하는 프레임 이미지 중 적어도 어느 하나의 프레임 이미지를 각 장면전환 구간범위의 대표 이미지로 추출함이 바람직하다.In addition, in consideration of the fact that the viewer is more focused on the screen, the point of time when the talker speaks in the image is a frame image corresponding to the average subtitle time of the subtitle files grouped in each scene transition interval range set in the step S100, A frame image corresponding to the subtitle time of a subtitle file including words of exclamation or surprise among the grouped subtitle files and a subtitle file corresponding to the subtitle time of the subtitle file having the longest sentence length among the subtitle files grouped in each scene transition interval range And extracting a frame image of at least one of the frame images as a representative image in the range of each scene change interval.
예컨대, 도 3에 도시된 바와 같이, 상기 단계 S100에서 설정된 각 장면전환 구간범위에 그룹지어진 자막 파일들의 평균 자막시간에 해당하는 프레임 이미지를 대표 이미지로 추출하는 방식을 살펴보면, 첫 번째 장면전환 구간범위(0프레임～780프레임)에 포함되는 자막 파일들(634프레임(00:00:21;04), 684프레임(00:00:22;24) 및 719프레임(00:00:23;29))의 평균 자막시간은 679프레임(00:00:22;19)으로, 679번째 프레임 이미지가 첫 번째 장면전환 구간범위의 대표 이미지로 추출된다.For example, as shown in FIG. 3, a method of extracting a frame image corresponding to an average subtitle time of subtitle files grouped in each scene transition interval range set in step S100 as representative images, (00: 00: 21: 04), 684 frames (00: 00: 22: 24) and 719 frames (00: 00: 23: 29) included in the subtitle files (0 frame to 780 frames) The average subtitle time of the 679th frame image (00: 00: 22; 19) is extracted as the representative image of the first scene transition range range.
두 번째 장면전환 구간범위(781프레임～1012프레임)에 포함되는 자막 파일들(798프레임(00:00:26;18), 888프레임(00:00:29;18), 918프레임(00:00:30;18) 및 1007프레임(00:00:33;17))의 평균 자막시간은 902프레임(00:00:30;02)으로, 902번째 프레임 이미지가 두 번째 장면전환 구간범위의 대표 이미지로 추출된다.(008: 00: 26; 18), 888 frames (00: 00: 29: 18), 918 frames (00:00 (00: 00: 30; 02), and the 902th frame image is the representative image of the range of the second scene transition interval .
그리고, 세 번째 장면전환 구간범위(1013프레임～1099프레임)에 포함되는 자막 파일들(1037프레임(00:00:34;17) 및 1067프레임(00:00:35;17))의 평균 자막시간은 1052프레임(00:00:35;02)으로, 1052번째 프레임 이미지가 세 번째 장면전환 구간범위의 대표 이미지로 추출된다.The average subtitle time of the subtitle files (1037 frames (00: 00: 34: 17) and 1067 frames (00: 00: 35: 17) included in the third scene change interval range (1013 frame to 1099 frames) 1052 frames (00: 00: 35; 02), and the 1052nd frame image is extracted as the representative image in the third scene change interval range.
또한, 상기 단계 S300에서, 상기 특정 영상 콘텐츠의 시청률 정보를 관리하는 서버(500)로부터 특정 영상 콘텐츠에 대한 시청률 정보를 제공받아 소정의 기준 이상의 시청률에 해당하는 시간의 프레임 이미지(바람직하게는, 가장 높은 시청률에 해당하는 시간의 프레임 이미지)를 해당 장면전환 구간범위의 대표 이미지로 우선 추출할 수 있다.In addition, in step S300, the
또한, 상기 단계 S300 이후에, 영상 관리자에 의해 특정 영상 콘텐츠의 메타데이터가 새로 등록될 경우, 상기 새로 등록된 메타데이터의 타임코드를 기반으로 해당 장면전환 구간범위에서 추출된 대표 이미지를 상기 새로 등록된 메타데이터의 타임코드에 해당하는 프레임 이미지로 대체하는 단계를 더 포함할 수 있다.If the metadata of the specific image content is newly registered by the video manager after step S300, the representative image extracted in the range of the scene change interval based on the time code of the newly registered metadata is stored in the newly registered And replacing the frame image with a frame image corresponding to the time code of the metadata.
추가적으로, 상기 단계 S300 이후에, 웹서비스 서버(600)를 통해 상기 그룹지어 동기화된 각 장면전환 구간범위의 대표 이미지와 자막 파일들을 데이터베이스(DB)화하여 별도의 DB 서버에 저장 및 관리하는 단계를 더 포함할 수 있다.In addition, after step S300, a step of converting the representative image and the subtitle files of the scene changeover interval synchronized group-synchronized through the web service server 600 into a database (DB) and storing and managing them in a separate DB server .
더욱이, 상기 단계 S300 이후에, 웹서비스 서버(600)를 통해 상기 그룹지어 동기화된 각 장면전환 구간범위의 대표 이미지와 자막 파일들을 이용하여 웹 기반의 이미지-자막 조회, 게시, 다운로드 및 검색 기능 중 적어도 하나의 기능을 수행하는 단계를 더 포함할 수도 있다.Further, after step S300, the Web-based image-subtitle searching, posting, downloading and searching functions are performed using the representative images and subtitle files in the scene change interval range synchronized with the grouping through the web service server 600 The method may further include performing at least one function.
또한, 상기 단계 S300 이후에, 웹서비스 서버(600)를 통해 상기 그룹지어 동기화된 각 장면전환 구간범위의 대표 이미지와 자막 파일들을 이용하여 웹 기반의 카툰화 이미지나 카드뉴스 파일 등으로 제작하는 단계를 더 포함할 수도 있다.After step S300, a web-based cartoon image or a card news file is produced using the representative images and subtitle files of the scene change interval range synchronized by the web service server 600 As shown in FIG.
즉, 상기 단계 S200에서 그룹지어 동기화된 각 장면전환 구간범위의 대표 이미지와 자막 파일들을 제작 리소스로 다양하게 활용할 수 있는데, 대표 이미지와 자막을 웹페이지 기반으로 같이 보여주며, 각각 또는 전체를 다운로드할 수 있다. 아울러, 카툰화 자동 생성기술 등을 이용해 생성된 카툰화 이미지도 같이 보여주어 다양한 카툰화 느낌을 제공하는 등의 기능도 제공할 수 있다.That is, in step S200, the representative image and the subtitle files in the scene change section range synchronized with each other can be utilized as production resources. The representative image and the subtitle are displayed on a web page basis, and each or all of the subtitle files are downloaded . In addition, a cartoonized image generated by using the automatic generation technique of cartoons, for example, can be displayed to provide various cartoons.
또한, DB내 검색을 통해 비슷한 유형의 자막과 이미지를 모아 정렬할 수 있으며, 자막을 기준으로 검색하여 자막과 대표 이미지를 보여주거나, 대표 이미지를 기준으로 검색하여 대표 이미지와 자막을 보여줄 수 있다.In addition, it is possible to arrange similar types of subtitles and images by searching in DB, and to display subtitles and representative images by searching based on subtitles, or to display representative images and subtitles by searching based on representative images.
또한, 본 발명을 이용하는 경우, 웹 상에서 누구나 쉽고 빠르게 웹툰을 제작할 수 있는데, 웹서비스 서버(600)를 통해 사용할 대표 이미지와 자막 소재를 선택한 후, 이미지 배열 스타일을 선택하고, 이미지 순서 맞춰 자동 삽입할 수 있으며, 자막은 해당 대표 이미지에 맞춰 기본 말풍선/스타일로 자동 삽입할 수 있으며, 자막 말풍선은 사용자가 마우스로 위치/크기/스타일을 재설정할 수 있으며, 최종적으로 이미지 파일로 생성된다.
In addition, when the present invention is used, anyone can easily and quickly create a webtoon on the web. After selecting a representative image and a subtitle material to be used through the web service server 600, an image array style is selected, And subtitles can be automatically inserted into the default speech bubble / style according to the representative image, and the caption speech bubble can be reset by the user using the mouse to change the location / size / style, and finally generated as an image file.
도 5는 본 발명의 실시예에 따라 장면전환기준 구간 내에서 키워드를 이용해 대표 이미지를 추출하는 방법을 나타낸 예시도이고, 도 6은 본 발명의 실시예에 따라 장면전환기준 구간 내에서 시청률 정보 참조를 통해 대표 이미지를 추출하는 방법을 나타낸 예시도이다.FIG. 5 is a diagram illustrating a method of extracting a representative image using a keyword in a scene change reference interval according to an exemplary embodiment of the present invention. FIG. FIG. 2 is a diagram illustrating a method of extracting a representative image through FIG.
즉, 도 5의 (a)와 같이 SNS 플랫폼(도 1의 400) 화면 등을 통해 특정 키워드(예를 들어 ‘시계’)가 검색되는 경우, (b)와 같이, 폐쇄자막의 ‘시계’라는 키워드가 나타나는 시점의 대표 이미지, 다시 말해, 장면전환기준 구간 내에서 키워드를 통한 대표 이미지가 추출되어 제공될 수 있다.That is, when a specific keyword (for example, 'clock') is searched through the screen of the SNS platform (400 in FIG. 1) as shown in FIG. 5A, A representative image at the time when the keyword appears, that is, a representative image based on the keyword within the scene change reference section, may be extracted and provided.
도 6의 경우, 시청률 서버(도 1의 500)로부터 참조되는 시청률 정보를 이용하여, 일정 수준 이상의 시청률 부분의 영상을 대표 정지 영상으로 추출하는 과정을 나타낸다. 즉, 도 6은 장면전환기준 구간 내에서 시청률 정보를 이용한 대표 이미지 추출 과정을 나타내고 있다.
In the case of FIG. 6, a process of extracting an image of an audience rating part of a certain level or more into a representative still image using the audience rating information referenced from the audience rating server (500 of FIG. 1) is shown. That is, FIG. 6 shows a representative image extraction process using viewership information within a scene change reference interval.
전술한 본 발명에 따른 자막 정보를 이용한 영상 콘텐츠의 대표 이미지 추출 장치 및 방법에 대한 바람직한 실시예에 대하여 설명하였지만, 본 발명은 이에 한정되는 것이 아니고 특허청구범위와 발명의 상세한 설명 및 첨부한 도면의 범위 안에서 여러 가지로 변형하여 실시하는 것이 가능하고 이 또한 본 발명에 속한다.
The preferred embodiment of the apparatus and method for extracting the representative image of the image content using the caption information according to the present invention has been described. However, the present invention is not limited to this, It is possible to carry out various modifications within the scope and also belong to the present invention.
100 : 장면전환 기준 구간 설정부,
200 : 장면전환 구간 자막 동기화부,
300 : 대표 이미지 추출부,
600 : 웹서비스 서버100: a scene change reference section setting section,
200: a scene change section caption synchronization section,
300: representative image extracting unit,
600: Web service server
Claims (18)
상기 장면전환 기준 구간 설정부로부터 설정된 각 장면전환 구간범위에 포함하는 장면전환 이미지와 자막 파일들을 그룹지어 동기화하는 장면전환 구간 자막 동기화부; 및
상기 장면전환 기준 구간 설정부로부터 설정된 각 장면전환 구간범위에 포함하는 프레임 이미지들 중에서 상기 장면전환 구간 자막 동기화부로부터 그룹지어진 자막 파일들의 정보를 이용하여 대표 이미지를 추출하는 대표 이미지 추출부;를 포함하는 자막 정보를 이용한 영상 콘텐츠의 대표 이미지 추출 장치.
A scene change reference interval setting unit for setting a scene change interval range based on a time code and a frame number of a scene change time point using pixel information of frame images included in the motion picture information data of a specific image content;
A scene change section caption synchronization unit for grouping and synchronizing scene change images and caption files included in each scene change interval range set by the scene change reference interval setting unit; And
And a representative image extracting unit for extracting a representative image using information of subtitle files grouped from the scene change section caption synchronization unit among frame images included in each scene transition interval range set from the scene change reference interval setting unit Representative image extraction device for image contents using subtitle information.
상기 장면전환 기준 구간 설정부는,
특정 대상 프레임 이미지와 이전 프레임 이미지의 화소값을 비교하여 기설정된 화소 변경율 이상으로 변경될 경우, 해당 특정 대상 프레임 시점을 장면전환 구간범위로 추출하는 것을 특징으로 하는 자막 정보를 이용한 영상 콘텐츠의 대표 이미지 추출 장치.
The method according to claim 1,
The scene change reference section may include:
When a pixel value of a specific target frame image is compared with a pixel value of a previous frame image, and when the pixel value of the specific target frame image is changed to a predetermined pixel change rate or more, the specific target frame time point is extracted as a scene change interval range. Image extraction device.
상기 장면전환 구간 자막 동기화부는,
각 장면전환 구간범위에 포함하는 장면전환 이미지와 자막 파일들을 프레임 순서로 나열하고 이를 그룹지어 동기화하는 것을 특징으로 하는 자막 정보를 이용한 영상 콘텐츠의 대표 이미지 추출 장치.
The method according to claim 1,
The scene change section capturing section synchronizes,
Wherein the scene change image and the subtitle files included in each scene change interval range are arranged in a frame order, and are grouped and synchronized, thereby extracting a representative image of the image contents using the subtitle information.
상기 대표 이미지 추출부는,
각 장면전환 구간범위에 그룹지어진 자막 파일들의 평균 자막시간에 해당하는 프레임 이미지, 각 장면전환 구간범위에 그룹지어진 자막 파일들 중 감탄사 또는 놀람의 단어가 포함된 자막 파일의 자막시간에 해당하는 프레임 이미지, 및 각 장면전환 구간범위에 그룹지어진 자막 파일들 중 문장 길이가 가장 긴 자막 파일의 자막시간에 해당하는 프레임 이미지 중 적어도 어느 하나의 프레임 이미지를 각 장면전환 구간범위의 대표 이미지로 추출하는 것을 특징으로 하는 자막 정보를 이용한 영상 콘텐츠의 대표 이미지 추출 장치.
The method according to claim 1,
The representative image extracting unit extracts,
A frame image corresponding to an average subtitle time of the subtitle files grouped in each scene transition interval range, a frame image corresponding to a subtitle time of a subtitle file containing a word of surprise or surprise among the subtitle files grouped in each scene transition interval range And a frame image corresponding to the subtitle time of the subtitle file having the longest sentence length among the subtitle files grouped in the range of each scene transition interval as a representative image in the range of each scene transition interval A representative image extracting device for image contents using subtitle information.
상기 대표 이미지 추출부는,
특정 영상 콘텐츠에 대해 기준 이상의 시청률에 해당하는 시간의 프레임 이미지를 해당 장면전환 구간범위의 대표 이미지로 우선 추출하는 것을 특징으로 하는 자막 정보를 이용한 영상 콘텐츠의 대표 이미지 추출 장치.
The method according to claim 1,
The representative image extracting unit extracts,
Wherein the representative image extracting unit extracts first a frame image of a time corresponding to an audience rating above a reference for a specific image content as a representative image of a range of the corresponding scene change interval.
상기 대표 이미지 추출부는,
영상 관리자에 의해 특정 영상 콘텐츠의 메타데이터가 새로 등록될 경우, 상기 새로 등록된 메타데이터의 타임코드를 기반으로 해당 장면전환 구간범위에서 추출된 대표 이미지를 상기 새로 등록된 메타데이터의 타임코드에 해당하는 프레임 이미지로 대체하는 것을 특징으로 하는 자막 정보를 이용한 영상 콘텐츠의 대표 이미지 추출 장치.
The method according to claim 1,
The representative image extracting unit extracts,
When a metadata of a specific image content is newly registered by a video manager, a representative image extracted in a range of a corresponding scene change interval based on a time code of the newly registered metadata corresponds to a time code of the newly registered metadata Wherein the representative image extracting unit extracts representative images of the image contents using the subtitle information.
상기 대표 이미지 추출부로부터 그룹지어 동기화된 각 장면전환 구간범위의 대표 이미지와 자막 파일들을 데이터베이스(DB)화하여 저장 및 관리하기 위한 수단이 더 구비되는 것을 특징으로 하는 자막 정보를 이용한 영상 콘텐츠의 대표 이미지 추출 장치.
The method according to claim 1,
And means for storing and managing a representative image and caption files of each scene change interval range grouped and synchronized from the representative image extraction unit in a database (DB). Image extraction device.
상기 대표 이미지 추출부로부터 그룹지어 동기화된 각 장면전환 구간범위의 대표 이미지와 자막 파일들을 이용하여 웹 기반의 이미지-자막 조회, 게시, 다운로드 및 검색 기능 중 적어도 하나의 기능을 수행하기 위한 웹서비스 수단이 더 구비되는 것을 특징으로 하는 자막 정보를 이용한 영상 콘텐츠의 대표 이미지 추출 장치.
The method according to claim 1,
A web service means for performing at least one of a web-based image-caption inquiry, a posting, a download, and a search function by using representative images and subtitle files in each scene change interval range group- Wherein the representative image extracting unit extracts representative images of the image contents using the caption information.
상기 대표 이미지 추출부로부터 그룹지어 동기화된 각 장면전환 구간범위의 대표 이미지와 자막 파일들을 이용하여 웹 기반의 카툰화 이미지 파일로 제작하기 위한 수단이 더 구비되는 것을 특징으로 하는 자막 정보를 이용한 영상 콘텐츠의 대표 이미지 추출 장치.
The method according to claim 1,
And means for generating a web-based cartoonized image file by using representative images and caption files of each scene change interval range grouped and synchronized from the representative image extraction unit. Representative image extraction device.
(a) 상기 특정 영상 콘텐츠의 동영상 정보 데이터에 포함된 프레임 이미지들의 화소정보를 이용하여 장면전환 시점의 타임코드 및 프레임 수를 기준으로 장면전환 구간범위를 설정하는 단계;
(b) 상기 단계(a)에서 설정된 각 장면전환 구간범위에 포함하는 장면전환 이미지와 상기 단계(a)에서 변환된 자막 파일들을 그룹지어 동기화하는 단계; 및
(c) 상기 단계(a)에서 설정된 각 장면전환 구간범위에 포함하는 프레임 이미지들 중에서, 상기 단계 (b)에서 그룹지어진 자막 파일들의 정보를 이용하여 대표 이미지를 추출하는 단계를 포함하는 자막 정보를 이용한 영상 콘텐츠의 대표 이미지 추출 방법.
A method for extracting a representative image of an image content using moving image and caption information data of a specific image content,
(a) setting a scene change interval range based on a time code and a frame number of a scene change time point using pixel information of frame images included in motion picture information data of the specific image content;
(b) grouping and synchronizing the scene change image included in the scene change interval range set in the step (a) and the subtitle files converted in the step (a); And
(c) extracting a representative image using the information of the subtitle files grouped in the step (b) among the frame images included in the scene change interval range set in the step (a) A representative image extraction method of using image contents.
상기 단계(a)는, 상기 특정 영상 콘텐츠의 동영상 정보 데이터에 저장된 프레임 이미지들 중 특정 대상 프레임 이미지와 이전 프레임 이미지의 화소값을 비교하여 기설정된 화소 변경율 이상으로 변경될 경우, 해당 특정 대상 프레임 시점을 장면전환 구간범위로 추출하는 것을 특징으로 하는 자막 정보를 이용한 영상 콘텐츠의 대표 이미지 추출 방법.
11. The method of claim 10,
In the step (a), when a pixel value of a specific target frame image is compared with a pixel value of a previous frame image among frame images stored in the moving image information data of the specific image content, And extracting a viewpoint as a scene change section range.
상기 단계(a)에서 설정된 각 장면전환 구간범위에 포함하는 장면전환 이미지와 자막 파일들을 프레임 순서로 나열하고 이를 그룹지어 동기화하는 것을 특징으로 하는 자막 정보를 이용한 영상 콘텐츠의 대표 이미지 추출 방법.
11. The method of claim 10,
Wherein the scene change image and the subtitle files included in the scene change interval range set in the step (a) are arranged in a frame order, and are grouped and synchronized, thereby extracting the representative image of the image content using the subtitle information.
상기 단계(c)는, 각 장면전환 구간범위에 그룹지어진 자막 파일들의 평균 자막시간에 해당하는 프레임 이미지, 각 장면전환 구간범위에 그룹지어진 자막 파일들 중 감탄사 또는 놀람의 단어가 포함된 자막 파일의 자막시간에 해당하는 프레임 이미지, 및 각 장면전환 구간범위에 그룹지어진 자막 파일들 중 문장 길이가 가장 긴 자막 파일의 자막시간에 해당하는 프레임 이미지 중 적어도 어느 하나의 프레임 이미지를 각 장면전환 구간범위의 대표 이미지로 추출하는 것을 특징으로 하는 자막 정보를 이용한 영상 콘텐츠의 대표 이미지 추출 방법.
11. The method of claim 10,
Wherein the step (c) comprises the steps of: generating a frame image corresponding to an average subtitle time of the subtitle files grouped in each scene transition interval range, subtitle file including subtitle or surprise word among the subtitle files grouped in each scene transition interval range At least one of the frame images corresponding to the subtitle time and the frame images corresponding to the subtitle time of the subtitle file having the longest sentence length among the subtitle files grouped in the range of each scene transition interval, And extracting the representative image as a representative image.
상기 단계(c)에서, 상기 특정 영상 콘텐츠에 대해 기준 이상의 시청률에 해당하는 시간의 프레임 이미지를 해당 장면전환 구간범위의 대표 이미지로 우선 추출하는 것을 특징으로 하는 자막 정보를 이용한 영상 콘텐츠의 대표 이미지 추출 방법.
11. The method of claim 10,
And extracting a representative image of the image content using the caption information, wherein the representative image is extracted as a representative image of the range of the scene changeover interval, the frame image of the time corresponding to the audience rating of the specific image content or more in the step (c) Way.
상기 단계(c) 이후에, 영상 관리자에 의해 특정 영상 콘텐츠의 메타데이터가 새로 등록될 경우, 상기 새로 등록된 메타데이터의 타임코드를 기반으로 해당 장면전환 구간범위에서 추출된 대표 이미지를 상기 새로 등록된 메타데이터의 타임코드에 해당하는 프레임 이미지로 대체하는 단계를 더 포함하는 것을 특징으로 하는 자막 정보를 이용한 영상 콘텐츠의 대표 이미지 추출 방법.
11. The method of claim 10,
If the metadata of the specific image content is newly registered by the video manager after the step (c), the representative image extracted in the range of the scene change interval based on the time code of the newly registered metadata, And replacing the representative image with the frame image corresponding to the time code of the metadata.
상기 단계(c) 이후에, 상기 그룹지어 동기화된 각 장면전환 구간범위의 대표 이미지와 자막 파일들을 데이터베이스(DB)화하여 저장 및 관리하는 단계를 더 포함하는 것을 특징으로 하는 자막 정보를 이용한 영상 콘텐츠의 대표 이미지 추출 방법.
11. The method of claim 10,
Further comprising the step of, after the step (c), forming a database (DB) and storing and managing the representative image and subtitle files of the scene change interval range synchronized with the grouping, Representative Image Extraction Method.
상기 단계(c) 이후에, 상기 그룹지어 동기화된 각 장면전환 구간범위의 대표 이미지와 자막 파일들을 이용하여 웹 기반의 이미지-자막 조회, 게시, 다운로드 및 검색 기능 중 적어도 하나의 기능을 수행하는 단계를 더 포함하는 것을 특징으로 하는 자막 정보를 이용한 영상 콘텐츠의 대표 이미지 추출 방법.
11. The method of claim 10,
Performing at least one of a web-based image-subtitle search, a posting, a download, and a search function using the representative image and the subtitle files in each scene change interval range synchronized with the grouping after the step (c) And extracting representative images of the image contents using the subtitle information.
상기 단계(c) 이후에, 상기 그룹지어 동기화된 각 장면전환 구간범위의 대표 이미지와 자막 파일들을 이용하여 웹 기반의 카툰화 이미지 파일로 제작하는 단계를 더 포함하는 것을 특징으로 하는 자막 정보를 이용한 영상 콘텐츠의 대표 이미지 추출 방법.11. The method of claim 10,
The method of claim 1, further comprising, after step (c), producing a web-based cartoonized image file using the representative image and the subtitle files of each scene change interval range synchronized with the grouping A representative image extraction method of image contents.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020150146019A KR101749420B1 (en) | 2015-10-20 | 2015-10-20 | Apparatus and method for extracting representation image of video contents using closed caption |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020150146019A KR101749420B1 (en) | 2015-10-20 | 2015-10-20 | Apparatus and method for extracting representation image of video contents using closed caption |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20170045920A true KR20170045920A (en) | 2017-04-28 |
| KR101749420B1 KR101749420B1 (en) | 2017-06-20 |
Family
ID=58702194
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020150146019A KR101749420B1 (en) | 2015-10-20 | 2015-10-20 | Apparatus and method for extracting representation image of video contents using closed caption |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101749420B1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11128927B2 (en) | 2017-06-07 | 2021-09-21 | Naver Corporation | Content providing server, content providing terminal, and content providing method |
| WO2022006044A1 (en) * | 2020-06-30 | 2022-01-06 | Arris Enterprises Llc | Method and system for precise presentation of audiovisual content with temporary closed captions |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4000623B2 (en) | 1997-05-26 | 2007-10-31 | ソニー株式会社 | Video signal recording apparatus and video signal recording method |
| KR100411342B1 (en) | 2001-05-22 | 2003-12-18 | 엘지전자 주식회사 | Method for generating video text synthetic key frame |
| KR100828166B1 (en) | 2007-06-12 | 2008-05-08 | 고려대학교 산학협력단 | Method of extracting metadata from result of speech recognition and character recognition in video, method of searching video using metadta and record medium thereof |
-
2015
- 2015-10-20 KR KR1020150146019A patent/KR101749420B1/en active IP Right Grant
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11128927B2 (en) | 2017-06-07 | 2021-09-21 | Naver Corporation | Content providing server, content providing terminal, and content providing method |
| WO2022006044A1 (en) * | 2020-06-30 | 2022-01-06 | Arris Enterprises Llc | Method and system for precise presentation of audiovisual content with temporary closed captions |
| US11540024B2 (en) | 2020-06-30 | 2022-12-27 | Arris Enterprises Llc | Method and system for precise presentation of audiovisual content with temporary closed captions |
Also Published As
| Publication number | Publication date |
|---|---|
| KR101749420B1 (en) | 2017-06-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106686404B (en) | Video analysis platform, matching method, and method and system for accurately delivering advertisements | |
| US11463779B2 (en) | Video stream processing method and apparatus, computer device, and storage medium | |
| CN111460219B (en) | Video processing method and device and short video platform | |
| CA2924065C (en) | Content based video content segmentation | |
| JP6385447B2 (en) | Video providing method and video providing system | |
| KR101887400B1 (en) | Method for providing c0ntents editing service using synchronization in media production enviroment | |
| US20150195626A1 (en) | Augmented media service providing method, apparatus thereof, and system thereof | |
| WO2014103123A1 (en) | Device, method, and program for digest generation | |
| JP6601944B2 (en) | Content generating apparatus and program | |
| US20210264951A1 (en) | Computing System With DVE Template Selection And Video Content Item Generation Feature | |
| US20160295248A1 (en) | Aggregating media content | |
| US20170134810A1 (en) | Systems and methods for user interaction | |
| KR101927965B1 (en) | System and method for producing video including advertisement pictures | |
| CN103984778A (en) | Video retrieval method and video retrieval system | |
| KR101749420B1 (en) | Apparatus and method for extracting representation image of video contents using closed caption | |
| KR101536930B1 (en) | Method and Apparatus for Video Summarization and Video Comic Book Service using it or the method | |
| US7353451B2 (en) | Meta data creation apparatus and meta data creation method | |
| US20140010521A1 (en) | Video processing system, video processing method, video processing apparatus, control method of the apparatus, and storage medium storing control program of the apparatus | |
| WO2014103374A1 (en) | Information management device, server and control method | |
| TWI513287B (en) | Automatic media editing apparatus, editing method, broadcasting method and system for broadcasting the same | |
| KR101330524B1 (en) | Method, Terminal, Server and System for Searching Subtitle of Video | |
| KR20150023492A (en) | Synchronized movie summary | |
| KR102664295B1 (en) | Method and apparatus for providing a platform for sign language subtitles video | |
| KR101488613B1 (en) | System and method of searching scene of video | |
| US20150032718A1 (en) | Method and system for searches in digital content |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| FPAY | Annual fee payment |
Payment date: 20200302 Year of fee payment: 4 |