KR20170024440A - 미디어 데이터의 개요 정보 생성 장치 및 방법 - Google Patents

미디어 데이터의 개요 정보 생성 장치 및 방법 Download PDF

Info

Publication number
KR20170024440A
KR20170024440A KR1020150119719A KR20150119719A KR20170024440A KR 20170024440 A KR20170024440 A KR 20170024440A KR 1020150119719 A KR1020150119719 A KR 1020150119719A KR 20150119719 A KR20150119719 A KR 20150119719A KR 20170024440 A KR20170024440 A KR 20170024440A
Authority
KR
South Korea
Prior art keywords
image
feature
text
media data
data
Prior art date
Application number
KR1020150119719A
Other languages
English (en)
Inventor
최영준
오상윤
저타오 리
팅뤼 페이
진펑 자오
히루 세키야
Original Assignee
아주대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아주대학교산학협력단 filed Critical 아주대학교산학협력단
Priority to KR1020150119719A priority Critical patent/KR20170024440A/ko
Publication of KR20170024440A publication Critical patent/KR20170024440A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8549—Creating video summaries, e.g. movie trailer
    • G06F17/30017—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/232—Content retrieval operation locally within server, e.g. reading video streams from disk arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

미디어 데이터의 개요 정보 생성 장치가 개시된다. 본 발명의 일 실시예에 따른 미디어 데이터의 개요 정보 생성 장치는 미디어 데이터의 유형을 분류하는 유형 분류부; 상기 유형에 기초하여 상기 미디어 데이터로부터 상기 미디어 데이터의 특징을 각각 나타내는 텍스트 정보인 텍스트 라벨 및 이미지 정보인 특징이미지를 생성하는 특징 추출부; 상기 특징이미지 서로 간의 유사도 및 상기 모든 특징이미지와 상기 텍스트 라벨 간의 관련도에 기초하여 상기 특징이미지를 동일한 클러스터로 분류하는 클러스터링을 적어도 한 번 수행하는 클러스터링부; 및 상기 동일 클러스터에 포함되는 복수의 특징이미지에 기초하여 상기 클러스터를 식별할 수 있는 융합이미지를 생성하고, 상기 융합이미지 및 상기 융합이미지의 인덱스 정보에 기초하여 상기 미디어 데이터를 식별하는 개요 정보를 생성하는 개요 정보 생성부를 포함한다.

Description

미디어 데이터의 개요 정보 생성 장치 및 방법{APPARTUS AND METHOD OF GENERATING OUTLINED DATA OF MEDIA DATA}
본 발명의 일 실시예는 유형이 다른 복수의 미디어 데이터로부터 공통되는 특징을 포함하는 이미지 및 텍스트 형식의 개요 정보를 생성하고, 더 나아가 생성된 개요 정보를 기초로 복수의 미디어 데이터를 관리할 수 있는 미디어 데이터의 개요 정보 생성 장치 및 방법에 관한 것이다.
우리는 정보의 시대에 살고 있다. 대규모 정보가 넘쳐나고 인터넷은 매일 새로운 정보가 업데이트 되며 정보의 저장 방식도 나날이 다양해지고 있다. 현재 텍스트, 이미지, 오디오, 영상은 멀티 매체 자원의 기본 저장 방식이 되었다. 최근 멀티 유형의 매체 데이터가 혼합·공존하면서 매체 데이터의 조직 구조도 복잡하지만 다른 유형의 매체 데이터가 다른 측면에서 같은 의미를 나타낼 수 있기 때문에 정보 추출 시 매체 간 존재하는 각종 연계성에 근거하여 한 매체에서 다른 매체로 크로스 해야 할 필요가 생겼다. 이에 따라 매체 간 경계를 어떻게 뛰어넘고 멀티 매체간 잠재적 연관성을 파악하느냐가 오늘날 정보 추출이 직면한 과제가 되었다.
여러 가지 멀티 매체 형식으로 혼합·공존하는 빅데이터에 대해, 기존 방법은 주로 동일 유형 매체의 특징을 식별하는 방법에 의해 달성되고, 서로 다른 멀티 매체 간 의미의 갭을 뛰어넘기 힘들다. 가령 이미지의 시각적 특징과 오디오의 청각적 특징 사의의 특징 차원수가 다르기 때문에 이들 사이의 유사성을 직접적으로 가늠할 수가 없다. 즉, 기존의 정보 추출 방법으로는 이용자에게 직관적 축약도(또는 정보 개요)를 제공할 수 없다. 대량의 혼합 멀티 매체를 어떻게 분류하고 추출할 것인가가 정보 추출이 해결하고자 하는 핵심적 기술 난제중 하나이며 현재 활발한 연구가 진행되고 있다.
기존의 성숙한 텍스트 마이닝(Text Mining)기술, 이미지 특징 추출 알고리즘, 오디오 장면 식별, 음성 식별, 영상 장면 분할, 키프레임 추출 등을 통해 단일 매체의 의미 정보 추출이 가능해졌다. 이러한 알고리즘을 어떻게 결합하여 서로 다른 차원수의 특징 정보를 추출하고 멀티매체를 처리하는 정보 추출 시스템을 형성할 수 있을까 하는 것은 이미지라는 중간 차원수의 매체를 통해 해결한다.
본 발명의 일 실시예의 목적은 유형이 서로 다른 복수의 미디어 데이터의 특징을 나타내는 특징이미지 및 텍스트 라벨을 생성하고, 특징이미지에 대한 클러스터링을 수행하여, 이를 기초로 개요 정보를 생성한다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 관한 미디어 데이터의 개요 정보 생성 장치는 미디어 데이터의 유형을 분류하는 유형 분류부; 상기 유형에 기초하여 상기 미디어 데이터로부터 상기 미디어 데이터의 특징을 각각 나타내는 텍스트 정보인 텍스트 라벨 및 이미지 정보인 특징이미지를 생성하는 특징 추출부; 상기 특징이미지 서로 간의 유사도 및 상기 모든 특징이미지와 상기 텍스트 라벨 간의 관련도에 기초하여 상기 특징이미지를 동일한 클러스터로 분류하는 클러스터링을 적어도 한 번 수행하는 클러스터링부; 및 상기 동일 클러스터에 포함되는 복수의 특징이미지에 기초하여 상기 클러스터를 식별할 수 있는 융합이미지를 생성하고, 상기 융합이미지 및 상기 융합이미지의 인덱스 정보에 기초하여 상기 미디어 데이터를 식별하는 개요 정보를 생성하는 개요 정보 생성부를 포함한다.
바람직하게는, 상기 미디어 데이터는 텍스트 데이터, 이미지 데이터, 오디오 데이터 및 영상 데이터 중 적어도 하나를 포함할 수 있다.
바람직하게는, 상기 특징 추출부는 상기 미디어 데이터로부터 상기 특징이미지 또는 상기 텍스트 라벨 중 하나를 생성하는 미디어 정보 생성부; 상기 생성된 특징이미지 또는 텍스트 라벨에 기초하고, 샘플 데이터베이스를 참조하여, 상기 특징이미지 또는 텍스트 라벨 중 생성되지 않은 나머지 하나를 생성하는 특징 정보 생성부를 포함하고, 상기 샘플 데이터베이스는 복수의 이미지 데이터 및 상기 복수의 이미지 데이터 각각의 설명에 관한 텍스트 데이터가 서로 대응되도록 미리 저장될 수 있다.
바람직하게는, 상기 클러스터링부는 제1 특징이미지에 대한 제2 특징이미지의 유사도를 산출하는 유사도 산출부; 상기 유사도가 비슷한 상기 특징이미지끼리 동일 클러스터로 클러스트링하는 클러스터링 분석부; 상기 동일 클러스터로 분류된 상기 모든 특징이미지 각각에 대한 상기 텍스트 라벨의 관련도를 분석하여, 미리 설정된 기준치 미만의 상기 관련도를 갖는 미관련 라벨을 선정하는 미관련 라벨 선정부; 및 상기 각각의 클러스터에 포함되는 상기 미관련 라벨의 개수가 미리 설정된 임계치를 초과하는 경우, 상기 미관련 라벨에 대응되는 상기 특징이미지에 대하여 새로이 클러스터링을 수행하는 재수행부를 포함할 수 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 관한 상기 개요 정보 생성 방법은 미디어 데이터의 유형을 분류하는 단계; 상기 유형에 기초하여 상기 미디어 데이터로부터 상기 미디어 데이터의 특징을 각각 나타내는 텍스트 정보인 텍스트 라벨 및 이미지 정보인 특징이미지를 생성하는 단계; 상기 특징이미지 서로 간의 유사도 및 상기 모든 특징이미지와 상기 텍스트 라벨 간의 관련도에 기초하여 상기 특징이미지를 동일한 클러스터로 분류하는 클러스터링을 적어도 한 번 수행하는 단계; 및 상기 동일 클러스터에 포함되는 복수의 특징이미지에 기초하여 상기 클러스터를 식별할 수 있는 융합이미지를 생성하고, 상기 융합이미지 및 상기 융합이미지의 인덱스 정보에 기초하여 상기 미디어 데이터를 식별하는 개요 정보를 생성하는 단계를 포함한다.
바람직하게는, 상기 미디어 데이터는 텍스트 데이터, 이미지 데이터, 오디오 데이터 및 영상 데이터 중 적어도 하나를 포함할 수 있다.
바람직하게는, 상기 특징이미지를 생성하는 단계는 상기 미디어 데이터로부터 상기 특징이미지 또는 상기 텍스트 라벨 중 하나를 생성하는 단계; 상기 생성된 특징이미지 또는 텍스트 라벨에 기초하고, 샘플 데이터베이스를 참조하여, 상기 특징이미지 또는 텍스트 라벨 중 생성되지 않은 나머지 하나를 생성하는 단계를 포함하고, 상기 샘플 데이터베이스는 복수의 이미지 데이터 및 상기 복수의 이미지 데이터 각각의 설명에 관한 텍스트 데이터가 서로 대응되도록 미리 저장될 수 있다.
바람직하게는, 상기 클러스터링을 적어도 한 번 수행하는 단계는 제1 특징이미지에 대한 제2 특징이미지의 유사도를 산출하는 단계; 상기 유사도가 비슷한 상기 특징이미지끼리 동일 클러스터로 클러스트링하는 단계; 상기 동일 클러스터로 분류된 상기 모든 특징이미지 각각에 대한 상기 텍스트 라벨의 관련도를 분석하여, 미리 설정된 기준치 미만의 상기 관련도를 갖는 미관련 라벨을 선정하는 단계; 및 상기 각각의 클러스터에 포함되는 상기 미관련 라벨의 개수가 미리 설정된 임계치를 초과하는 경우, 상기 미관련 라벨에 대응되는 상기 특징이미지에 대하여 새로이 클러스터링을 수행하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따르면, 미디어 데이터에 포함되는 특징이미지 또는 텍스트 라벨을 기초로 클러스터링을 수행하고, 이를 기초로 생성된 개요 정보를 이용하여 서로 다른 유형을 가지면서도, 유사한 특징을 갖는 미디어 데이터를 일괄적으로 관리 및 처리할 수 있다.
도 1은 본 발명의 일 실시예에 따른 미디어 데이터의 개요 정보 생성 장치를 설명하기 위하여 도시한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 각각의 유형의 미디어 데이터로부터 텍스트 라벨 및 특징이미지를 생성하는 과정을 설명하기 위하여 도시한 블록도이다.
도 3은 본 발명의 일 실시예에 따른 클러스터링부를 설명하기 위하여 도시한 블록도이다.
도 4는 본 발명의 일 실시예에 따른 미디어 데이터의 개요 정보 생성 장치를 활용한 예시를 도시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 미디어 데이터의 개요 정보 생성 방법을 설명하기 위하여 도시한 흐름도이다.
도 6는 본 발명의 일 실시예에 따른 미디어 데이터의 개요 정보 생성 방법을 더 구체적으로 설명하기 위하여 도시한 흐름도이다.
도 7은 본 발명의 일 실시예에 따른 이미지 클러스터링 수행의 예시를 도시한 흐름도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 미디어 데이터의 개요 정보 생성 장치를 설명하기 위하여 도시한 블록도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 개요 정보 생성 장치(100)는 유형 분류부(110), 특징 추출부(120), 클러스터링부(130) 및 미디어 정보 생성부(140)를 포함한다.
유형 분류부(110)는 텍스트 데이터, 이미지 데이터, 오디오 데이터 및 영상 데이터를 포함하는 미디어 데이터의 유형을 분류한다.
미디어 데이터는 다양한 유형의 데이터를 포함할 수 있다.
특징 추출부(120)는 유형에 기초하여 미디어 데이터로부터 미디어 데이터의 특징을 각각 나타내는 텍스트 정보인 텍스트 라벨 및 이미지 정보인 특징이미지를 생성한다.
유형에 기초하여 생성한다고 함은 각각의 미디어 데이터의 유형에 따라서 텍스트 라벨 및 특징이미지를 생성하는 프로세스가 다르다는 것을 의미한다. 각각의 데이터 유형에 따른 텍스트 라벨 및 특징이미지를 생성하는 방법에 대해서는 도 2를 참조하여 후술한다.
텍스트 라벨은 각각의 미디어 데이터의 특징을 나타내는 텍스트 정보이다. 특징이미지는 각각의 미디어 데이터의 특징을 포함하는 이미지 정보이다.
더 구체적으로, 특징 추출부(120)는 미디어 데이터로부터 특징이미지 또는 텍스트 라벨 중 하나를 생성하는 미디어 정보 생성부(미도시) 및 생성된 특징이미지 또는 텍스트 라벨에 기초하고, 샘플 데이터베이스를 참조하여, 특징이미지 또는 텍스트 라벨 중 생성되지 않은 나머지 하나를 생성하는 특징 정보 생성부(미도시)를 포함할 수 있다.
샘플 데이터베이스는 복수의 이미지 데이터 및 상기 복수의 이미지 데이터 각각의 설명에 관한 텍스트 데이터가 서로 대응되어 미리 저장된 데이터베이스를 의미한다.
샘플 데이터베이스를 참조한다고 함은, 미디어 데이터로부터 이미지 데이터 즉, 특징이미지를 추출한 경우, 추출한 특징이미지와 유사한 이미지를 샘플 데이터베이스에서 참조하여 검색하고, 검색된 이미지 데이터에 대응되는 텍스트 데이터를, 추출한 특징이미지에 대응되는 텍스트 라벨로 선정함으로써 생성할 수 있다.
반대로, 미디어 데이터로부터 텍스트 정보 즉, 텍스트 라벨을 추출한 경우, 추출한 텍스트 라벨과 유사한 텍스트 데이터를 샘플 데이터베이스에서 검색하고, 검색된 텍스트 데이터에 대응되는 이미지 데이터를, 특징이미지로 선정함으로써 생성할 수 있다.
클러스터링부(130)는 특징이미지 서로 간의 유사도 및 모든 특징이미지와 텍스트 라벨 간의 관련도에 기초하여 특징이미지를 동일한 클러스터로 분류하는 클러스터링을 적어도 한 번 수행한다.
클러스터링은 서로 유사한 적어도 하나의 특징이미지를 동일한 클러스터로 그룹핑하는 과정을 의미한다. 예를 들어, 어떤 사람이 전화기로 통화하는 장면을 포함하는 서로 다른 이미지는 유사도가 높기에 '통화하는 사람'이라는 카테고리의 동일한 클러스터로 클러스터링될 수 있다.
또한, 동일한 클러스터로 클러스터링 된 특징이미지에 대응되는 텍스트 라벨과의 관련성에 기초하여 클러스터링을 수행할 수 있다. 즉, 동일한 클러스터에 포함되는 특징이미지와 관련성이 없는 텍스트라벨에 대응되는 특징이미지는 클러스터에서 제외하고, 제외된 특징이미지는 다른 클러스터로 클러스터링 되도록 클러스터링 과정을 새로 수행한다.
클러스터링부에 대한 더 자세한 구조에 대해서는 도 3을 참조하여 구체적으로 후술한다.
미디어 정보 생성부(140)는 클러스터링된 복수의 특징이미지에 기초하여 클러스터를 식별할 수 있는 융합이미지를 생성하고, 융합이미지 및 융합이미지의 인덱스 정보에 기초하여 미디어 데이터를 식별하는 개요 정보를 생성한다.
융합이미지는 상기 클러스터를 대표하는 이미지로서, 본 발명의 일 실시예에 따라 생성되는 융합이미지는, 동일 클러스터에 포함되는 특징이미지 중 적어도 하나를 선택하여 미리 설정된 알고리즘에 따라 융합할 수 있다.
도 2는 본 발명의 일 실시예에 따른 각각의 유형의 미디어 데이터로부터 텍스트 라벨 및 특징이미지를 생성하는 과정을 설명하기 위하여 도시한 블록도이다.
도 2(a)는 텍스트 데이터로부터 텍스트 라벨과 특징이미지를 생성하는 과정을 도시한 도면이다.
먼저 텍스트 데이터로부터 텍스트 마이닝 기법을 이용하여 텍스트 라벨을 추출하고, 추출한 텍스트 라벨을 샘플 데이터베이스를 참조하여 특징이미지를 생성할 수 있다.
도 2(b)는 이미지 데이터로부터 텍스트 라벨과 특징이미지를 생성하는 과정을 도시한 도면이다.
먼저 이미지 데이터로부터 핵심 영역을 두드러지게 하고, 배경을 삭제하여 특징을 강화하여 '처리한 이미지'를 생성하고, '처리한 이미지'의 크기를 변경하여 특징이미지를 추출할 수 있다. 생성된 특징이미지를 샘플 데이트베이스를 참조하여, 특징이미지에 대응되는 텍스트 라벨을 생성할 수 있다.
도 2(c)는 오디오 데이터로부터 텍스트 라벨과 특징이미지를 생성하는 과정을 도시한 도면이다.
오디오 데이터로부터 핵심이 되는 소리 영역은 강화하고, 배경되는 소리는 삭제하고, 오디오 장면, 언어의 의미 등의 특징을 추출하여 텍스트 라벨을 추출할 수 있다. 추출된 텍스트 라벨을 기초로 샘플 데이터베이스를 참조하여 특징이미지를 생성할 수 있다.
도 2(d)는 영상 데이터로부터 텍스트 라벨과 특징이미지를 생성하는 과정을 도시한 도면이다.
영상을 복수개의 장면으로 분할한 '자영상'을 생성하여, 각각의 자영상에 대응되는 키프레임을 추출한 후, 키프레임에 대한 '처리한 이미지'를 생성한 후, 이를 기초로 크기를 조절하여 특징이미지를 추출하고, 특징이미지와 샘플데이터베이스를 참조하여 텍스트 라벨을 생성할 수 있다.
도 3은 본 발명의 일 실시예에 따른 클러스터링부를 설명하기 위하여 도시한 블록도이다.
도 3을 참조하면 본 발명의 일 실시예에 따른 클러스터링부(130)는 유사도 산출부(132), 클러스터링 분석부(134), 미관련 라벨 선정부(136) 및 재수행부(138)를 포함할 수 있다.
유사도 산출부(132)는 제1 특징이미지에 대한 제2 특징이미지의 유사도를 산출할 수 있다.
클러스터링 분석부(134)는 유사도가 비슷한 특징이미지끼리 동일 클러스터로 클러스트링할 수 있다.
미관련 라벨 선정부(136)는 동일 클러스터로 분류된 모든 특징이미지 각각에 대한 텍스트 라벨의 관련도를 분석하여, 미리 설정된 기준치 미만의 관련도를 갖는 텍스트 라벨인 미관련 라벨을 선정할 수 있다.
재수행부(138)는 각각의 클러스터에 포함되는 미관련 라벨의 개수가 미리 설정된 임계치를 초과하는 경우, 미관련 라벨에 대응되는 특징이미지에 대하여 새로이 클러스터링을 수행할 수 있다.
도 4는 본 발명의 일 실시예에 따른 미디어 데이터의 개요 정보 생성 장치를 활용한 예시를 도시한 도면이다.
도 4를 참조하면, 도면 각각에 표시된 폴더는 동일한 클러스터를 의미하고, 각각에 그려진 사진은 특징이미지에 기초하여 생성된 융합이미지를 의미한다. 각각의 폴더에 기재된 'Phoning', 'PlayingGuitar', 'RidingBike'와 같은 주제 또는 카테고리를 의미한다.
사용자는 폴더(클러스터)에 도시된 융합이미지 및 융합이미지의 인덱스 정보에 기초하여 해당 미디어 데이터에 신속하게 접근할 수 있다.
도 5는 본 발명의 일 실시예에 따른 미디어 데이터의 개요 정보 생성 방법을 설명하기 위하여 도시한 흐름도이다.
도 5를 참조하면, 단계 510에서는, 개요 정보 생성 장치(100)가, 미디어 데이터의 유형을 분류한다.
단계 520에서는, 개요 정보 생성 장치(100)가, 유형에 기초하여 미디어 데이터로부터 미디어 데이터의 특징을 각각 나타내는 텍스트 정보인 텍스트 라벨 및 이미지 정보인 특징이미지를 생성한다.
단계 530에서는, 개요 정보 생성 장치(100)가, 특징이미지 서로 간의 유사도 및 모든 특징이미지와 텍스트 라벨 간의 관련도에 기초하여 특징이미지에 대하여 동일한 클러스터로 분류하는 클러스터링을 적어도 한 번 수행한다.
단계 540에서는, 개요 정보 생성 장치(100)가, 동일 클러스터에 포함되는 복수의 특징이미지에 기초하여 클러스터를 식별할 수 있는 융합이미지를 생성하고, 융합이미지 및 융합이미지의 인덱스 정보에 기초하여 미디어 데이터를 식별하는 개요 정보를 생성한다.
도 6는 본 발명의 일 실시예에 따른 미디어 데이터의 개요 정보 생성 방법을 더 구체적으로 설명하기 위하여 도시한 흐름도이다.
단계 610에서는, 개요 정보 생성 장치(100)가, 원시 멀티 매체의 데이터를 읽는다.
단계 620에서는, 개요 정보 생성 장치(100)가, 미디어 데이터를 유형별로 분류한다.
단계 630에서는, 개요 정보 생성 장치(100)가, 데이터 유형이 서로 다른 복수의 미디어 데이터인, 이종 멀티 데이터에 대한 클러스터링을 수행하고, 각각의 미디어 데이터의 텍스트 라벨을 구축한다.
단계 640에서는, 개요 정보 생성 장치(100)가, 클러스터링에 필요한 정확성에 근거하여 한계치 N 즉, 임계치를 설정하고, 모 이미지 클러스터링 알고리즘으로 클러스터링을 진행한다.
단계 650에서는, 개요 정보 생성 장치(100)가, 텍스트 라벨의 관련성을 검증하고, 검증 조건 즉, 관련성이 기준치에 미달하는 텍스트 라벨이 N보다 작은지 여부를 판단한다.
단계 660에서는, 개요 정보 생성 장치(100)가, 조건에 미달하는 텍스트 라벨이 N보다 크다면 단계 650을 다시 수행한다. 즉, 클러스터링을 다시 수행한다.
단계 670에서는, 개요 정보 생성 장치(100)가, 특징이미지를 융합하여 융합이미지를 생성한다.
단계 680에서는, 개요 정보 생성 장치(100)가, 융합이미지와 인덱스에 기초하여 개요 정보를 생성한다.
도 7은 본 발명의 일 실시예에 따른 이미지 클러스터링 수행의 예시를 도시한 흐름도이다.
도 7을 참조하면, 단계 710에서는, 개요 정보 생성 장치(100)가, 1차 클러스터링을 수행하여 특징이미지를 클러스터별로 분류한다.
단계 720에서는, 개요 정보 생성 장치(100)가, 각각의 클러스터에 해당하는 특징이미지에 대응하는 텍스트 라벨을 추출한다.
단계 730에서는, 개요 정보 생성 장치(100)가, 각각의 텍스트 라벨의 특징이미지에 대한 관련성을 검증하고, 관련성이 미리 설정된 기준치에 미달되는 텍스트 라벨의 개수를 판단한다.
단계 740에서는, 개요 정보 생성 장치(100)가, 설정 임계치 N이 1인 경우, 임계치를 벗어나는 유형 즉, 클러스터에서 관련성이 미달되는 텍스트 라벨을 삭제한다.
단계 750에서는, 개요 정보 생성 장치(100)가, 관련성이 미달되는 텍스트 라벨을 획득한다.
단계 760에서는, 개요 정보 생성 장치(100)가, 클러스터링에 실패한 즉, 관련성이 미달되어 미분류된 텍스트 라벨에 대응되는 특징이미지를 획득한다.
단계 770에서는, 개요 정보 생성 장치(100)가, 클러스터링에 실패한 특징이미지에 대하여 새로이 클러스터링을 수행한다.
단계 780에서는, 새로이 수행된 클러스터링의 결과에 대하여 관련성이 미달되는 텍스트 라벨의 개수를 다시 판단한다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (8)

  1. 미디어 데이터의 유형을 분류하는 유형 분류부;
    상기 유형에 기초하여 상기 미디어 데이터의 특징을 나타내는 텍스트 정보인 텍스트 라벨 또는 상기 미디어 데이터의 특징을 나타내는 이미지 정보인 특징이미지 중 적어도 하나를 생성하는 특징 추출부;
    상기 특징이미지 서로 간의 유사도 및 상기 모든 특징이미지와 상기 텍스트 라벨 간의 관련도에 기초하여 상기 특징이미지를 동일한 클러스터로 분류하는 클러스터링을 적어도 한 번 수행하는 클러스터링부; 및
    상기 동일 클러스터에 포함되는 복수의 특징이미지에 기초하여 상기 클러스터를 식별할 수 있는 융합이미지를 생성하고, 상기 융합이미지 및 상기 융합이미지의 인덱스 정보에 기초하여 상기 미디어 데이터를 식별하는 개요 정보를 생성하는 개요 정보 생성부를 포함하는 미디어 데이터의 개요 정보 생성 장치.
  2. 제1항에 있어서,
    상기 미디어 데이터는
    텍스트 데이터, 이미지 데이터, 오디오 데이터 및 영상 데이터 중 적어도 하나를 포함하는 개요 정보 생성 장치.
  3. 제1항에 있어서,
    상기 특징 추출부는
    상기 미디어 데이터로부터 상기 특징이미지 또는 상기 텍스트 라벨 중 하나를 생성하는 미디어 정보 생성부; 및
    상기 생성된 특징이미지 또는 텍스트 라벨에 기초하고, 샘플 데이터베이스를 참조하여, 상기 특징이미지 또는 텍스트 라벨 중 생성되지 않은 나머지 하나를 생성하는 특징 정보 생성부를 포함하고,
    상기 샘플 데이터베이스는 복수의 이미지 데이터 및 상기 복수의 이미지 데이터 각각의 설명에 관한 텍스트 데이터가 서로 대응되도록 미리 저장되는 미디어 데이터의 개요 정보 생성 장치.
  4. 제1항에 있어서,
    상기 클러스터링부는
    제1 특징이미지에 대한 제2 특징이미지의 유사도를 산출하는 유사도 산출부;
    상기 유사도가 비슷한 상기 특징이미지끼리 동일 클러스터로 클러스트링하는 클러스터링 분석부;
    상기 동일 클러스터로 분류된 상기 모든 특징이미지 각각에 대한 상기 텍스트 라벨의 관련도를 분석하여, 미리 설정된 기준치 미만의 상기 관련도를 갖는 미관련 라벨을 선정하는 미관련 라벨 선정부; 및
    상기 각각의 클러스터에 포함되는 상기 미관련 라벨의 개수가 미리 설정된 임계치를 초과하는 경우, 상기 미관련 라벨에 대응되는 상기 특징이미지에 대하여 새로이 클러스터링을 수행하는 재수행부를 포함하는 미디어 데이터의 개요 정보 생성 장치.
  5. 미디어 데이터의 유형을 분류하는 단계;
    상기 유형에 기초하여 상기 미디어 데이터로부터 상기 미디어 데이터의 특징을 각각 나타내는 텍스트 정보인 텍스트 라벨 및 이미지 정보인 특징이미지를 생성하는 단계;
    상기 특징이미지 서로 간의 유사도 및 상기 모든 특징이미지와 상기 텍스트 라벨 간의 관련도에 기초하여 상기 특징이미지를 동일한 클러스터로 분류하는 클러스터링을 적어도 한 번 수행하는 단계; 및
    상기 동일 클러스터에 포함되는 복수의 특징이미지에 기초하여 상기 클러스터를 식별할 수 있는 융합이미지를 생성하고, 상기 융합이미지 및 상기 융합이미지의 인덱스 정보에 기초하여 상기 미디어 데이터를 식별하는 개요 정보를 생성하는 단계를 포함하는 미디어 데이터의 개요 정보 생성 방법.
  6. 제5항에 있어서,
    상기 미디어 데이터는
    텍스트 데이터, 이미지 데이터, 오디오 데이터 및 영상 데이터 중 적어도 하나를 포함하는 개요 정보 생성 방법.
  7. 제1항에 있어서,
    상기 특징이미지를 생성하는 단계는
    상기 미디어 데이터로부터 상기 특징이미지 또는 상기 텍스트 라벨 중 하나를 생성하는 단계; 및
    상기 생성된 특징이미지 또는 텍스트 라벨에 기초하고, 샘플 데이터베이스를 참조하여, 상기 특징이미지 또는 텍스트 라벨 중 생성되지 않은 나머지 하나를 생성하는 단계를 포함하고,
    상기 샘플 데이터베이스는 복수의 이미지 데이터 및 상기 복수의 이미지 데이터 각각의 설명에 관한 텍스트 데이터가 서로 대응되도록 미리 저장되는 미디어 데이터의 개요 정보 생성 방법.
  8. 제1항에 있어서,
    상기 클러스터링을 적어도 한 번 수행하는 단계는
    제1 특징이미지에 대한 제2 특징이미지의 유사도를 산출하는 단계;
    상기 유사도가 비슷한 상기 특징이미지끼리 동일 클러스터로 클러스트링하는 단계;
    상기 동일 클러스터로 분류된 상기 모든 특징이미지 각각에 대한 상기 텍스트 라벨의 관련도를 분석하여, 미리 설정된 기준치 미만의 상기 관련도를 갖는 미관련 라벨을 선정하는 단계; 및
    상기 각각의 클러스터에 포함되는 상기 미관련 라벨의 개수가 미리 설정된 임계치를 초과하는 경우, 상기 미관련 라벨에 대응되는 상기 특징이미지에 대하여 새로이 클러스터링을 수행하는 단계를 포함하는 미디어 데이터의 개요 정보 생성 방법.

KR1020150119719A 2015-08-25 2015-08-25 미디어 데이터의 개요 정보 생성 장치 및 방법 KR20170024440A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150119719A KR20170024440A (ko) 2015-08-25 2015-08-25 미디어 데이터의 개요 정보 생성 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150119719A KR20170024440A (ko) 2015-08-25 2015-08-25 미디어 데이터의 개요 정보 생성 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20170024440A true KR20170024440A (ko) 2017-03-07

Family

ID=58411189

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150119719A KR20170024440A (ko) 2015-08-25 2015-08-25 미디어 데이터의 개요 정보 생성 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20170024440A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112149653A (zh) * 2020-09-16 2020-12-29 北京达佳互联信息技术有限公司 信息处理方法、装置、电子设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112149653A (zh) * 2020-09-16 2020-12-29 北京达佳互联信息技术有限公司 信息处理方法、装置、电子设备及存储介质
CN112149653B (zh) * 2020-09-16 2024-03-29 北京达佳互联信息技术有限公司 信息处理方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN108833973B (zh) 视频特征的提取方法、装置和计算机设备
CN104679902B (zh) 一种结合跨媒体融合的信息摘要提取方法
TWI553494B (zh) 基於多模態融合之智能高容錯視頻識別系統及其識別方法
KR101428715B1 (ko) 인물 별로 디지털 컨텐츠를 분류하여 저장하는 시스템 및방법
CN102663015B (zh) 基于特征袋模型和监督学习的视频语义标注方法
CN111274442B (zh) 确定视频标签的方法、服务器及存储介质
WO2020155750A1 (zh) 基于人工智能的语料收集方法、装置、设备及存储介质
Mei et al. Probabilistic multimodality fusion for event based home photo clustering
US20170351739A1 (en) Method and apparatus for identifying timeliness-oriented demands, an apparatus and non-volatile computer storage medium
CN111008321A (zh) 基于逻辑回归推荐方法、装置、计算设备、可读存储介质
CN104463177A (zh) 相似人脸图片获取方法和装置
WO2013097101A1 (zh) 分析视频文件的方法和装置
KR101696499B1 (ko) 한국어 키워드 검색문 해석 장치 및 방법
CN113992944A (zh) 视频编目方法、装置、设备、***及介质
CN104994404A (zh) 一种为视频获取关键词的方法及装置
WO2021114634A1 (zh) 文本标注方法、设备及存储介质
KR101934108B1 (ko) 이미지 군집화 및 공유 방법, 그리고 이를 구현한 시스템 및 어플리케이션
CN110888896B (zh) 数据搜寻方法及其数据搜寻***
CN111191591A (zh) 一种水印检测、视频处理方法和相关设备
CN106033417B (zh) 视频搜索系列剧的排序方法和装置
CN112307318A (zh) 一种内容发布方法、***及装置
KR20170024440A (ko) 미디어 데이터의 개요 정보 생성 장치 및 방법
CN110020078B (zh) 一种生成相关性映射字典及其验证相关性的方法和相关装置
Tang et al. Label-specific training set construction from web resource for image annotation
KR20210081308A (ko) 비디오를 처리하는 방법, 장치, 전자 기기 및 저장 매체