KR20090096158A - 동영상 스틸컷 기반의 크로스미디어 검색 시스템 및 방법 - Google Patents

동영상 스틸컷 기반의 크로스미디어 검색 시스템 및 방법 Download PDF

Info

Publication number
KR20090096158A
KR20090096158A KR1020080021572A KR20080021572A KR20090096158A KR 20090096158 A KR20090096158 A KR 20090096158A KR 1020080021572 A KR1020080021572 A KR 1020080021572A KR 20080021572 A KR20080021572 A KR 20080021572A KR 20090096158 A KR20090096158 A KR 20090096158A
Authority
KR
South Korea
Prior art keywords
video
information
image feature
web page
still cut
Prior art date
Application number
KR1020080021572A
Other languages
English (en)
Inventor
박만수
양승현
이종우
Original Assignee
주식회사 코난테크놀로지
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 코난테크놀로지 filed Critical 주식회사 코난테크놀로지
Priority to KR1020080021572A priority Critical patent/KR20090096158A/ko
Publication of KR20090096158A publication Critical patent/KR20090096158A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/732—Query formulation
    • G06F16/7328—Query by example, e.g. a complete video frame or video sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/951—Indexing; Web crawling techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 발명은 동영상 스틸컷 기반의 크로스미디어 검색 시스템 및 방법을 개시한다. 본 발명에 따른 시스템은, 웹페이지에 대한 메타 정보 및 웹페이지가 포함하고 있는 동영상 스틸컷의 프레임별 이미지 특징 정보를 수록하고 있는 웹페이지 DB; 검색의 대상이 되는 스틸컷을 분석하여 이미지 특징을 추출하는 스틸컷 특징 추출부; 및 스틸컷 특징 추출부에서 추출한 이미지 특징 정보 기반으로 웹페이지 DB에서 검색의 대상이 되는 스틸컷과 연관된 웹페이지 정보를 검색하여 검색 결과를 제공하는 웹페이지 검색부;를 포함하는 것을 특징으로 한다. 본 발명에 의하면 사용자가 찾고자 하는 동영상 콘텐츠를 검색하기 위해 텍스트 입력 없이 스틸컷 이미지 자체를 활용하여 검색할 수 있는 효과가 있다.
스틸컷, 이미지, 핑거프린트, 동영상, 웹페이지, 검색

Description

동영상 스틸컷 기반의 크로스미디어 검색 시스템 및 방법{System and Method for cross-media search based on moving video still cut}
본 발명은 동영상 및 동영상 스틸컷과 관련된 웹페이지 검색에 관한 것으로서, 보다 상세하게는 스틸컷의 이미지 특징 정보 기반으로 스틸컷과 관련된 웹페이지 및 스틸컷의 원본 동영상을 검색할 수 있는 시스템 및 그 방법에 관한 것이다.
최근 들어, 디지털 카메라/캠코더, 카메라 휴대폰, 휴대용 디지털 동영상 재생기(PMP, MP4P 등) 등의 발달로 동영상 콘텐츠의 제작과 활용이 용이해졌다. 또한, 초고속 인터넷망의 보급이 확대되면서 방송 동영상이나 일반 개인의 UCC(User Created Contents) 동영상들이 IPTV(Internet Protocol Television)나 인터넷상에서 용이하게 유통 및 공유되고 있다.
한편, 이러한 동영상들의 부가 정보가 스틸컷 이미지들을 활용하여 개인 블로그나 카페 등에서 공유되고 있다. 예를 들면, 방송 동영상 같은 경우, 연예인들이 입었던 옷, 소품, 촬영장소 등을 개인 블로그나 카페 등에서 해당 장면의 스틸컷과 함께 옷이나 소품 등의 브랜드나 가격정보, 구매방법, 촬영장소 등에 대한 정보를 공유한다. 또한, 동영상에서 일부 선호하는 연예인이나 굴욕 장면, 독특한 장 면 등의 스틸컷을 블로그 등의 웹사이트에서 공유하며 즐기기도 한다.
하지만, 현재의 인터넷 검색 서비스에서 동영상 콘텐츠에 대한 검색은 단순히 메타 정보를 기반으로 이루어지고 있는 실정이다. 즉, 사용자가 동영상 콘텐츠에 관한 정보, 예컨대 동영상의 제목 등을 키워드로 사용하여 검색을 요청하면, 검색 엔진은 메타 정보에 해당 키워드를 포함하고 있는 동영상 정보를 검색 결과로서 보여주고, 사용자는 다수의 검색 결과를 수신하여 이 중 하나를 선택하여 동영상 정보를 제공받는다.
이러한 종래의 메타 정보 기반의 검색방식은 사용자가 관심 있는 동영상 속의 여러 정보(옷, 소품, 촬영장소 등) 등을 찾고자 하거나, 웹사이트에 첨부된 스틸컷의 출처 동영상의 원본을 찾을 경우, 해당 동영상의 프로그램 제목이나 기타 정보를 본문에서 발췌하여 메타 정보 기반의 검색을 반복하여 해당 내용을 찾아야 하거나, 특정 카페나 블로그 등의 내용을 검색해야 하기 때문에 검색이 용이하지 않다는 문제점이 있다.
본 발명은 상술한 종래기술의 문제를 해결하기 위하여 창안된 것으로서, 사용자가 동영상의 스틸컷 이미지 자체를 입력하여 동영상 스틸컷과 관련된 웹페이지 및 웹페이지에 대한 정보를 검색할 수 있는 시스템 및 방법을 제공하는데 그 목적이 있다.
본 발명의 다른 목적은 동영상 스틸컷 이미지를 이용하여 스틸컷의 원본 동영상을 검색할 수 있는 시스템 및 방법을 제공하는데 그 목적이 있다.
본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
상기 기술적 과제를 달성하기 위한 본 발명의 일 측면에 따른 동영상 스틸컷 기반의 크로스미디어 검색 시스템은, 웹페이지에 대한 메타 정보 및 웹페이지가 포함하고 있는 동영상 스틸컷의 프레임별 이미지 특징 정보를 수록하고 있는 웹페이지 DB; 검색의 대상이 되는 스틸컷을 분석하여 이미지 특징을 추출하는 스틸컷 특징 추출부; 및 상기 스틸컷 특징 추출부에서 추출한 이미지 특징 정보 기반으로 상기 웹페이지 DB에서 상기 검색의 대상이 되는 스틸컷과 연관된 웹페이지 정보를 검색하여 검색 결과를 제공하는 웹페이지 검색부;를 포함하는 것을 특징으로 한다.
또한, 상기 웹페이지 DB를 구축하는 수단으로 웹페이지를 수집하는 웹페이지 수집부; 상기 수집된 웹페이지로부터 메타 정보를 추출하는 메타 정보 추출부; 상기 수집된 웹페이지에 포함된 동영상 스틸컷을 분석하여 프레임별 이미지 특징을 추출하는 이미지 특징 추출부; 및 상기 추출된 메타 정보와 이미지 특징을 매칭시켜 상기 웹페이지 DB에 저장하는 웹페이지 색인부;를 더 포함한다.
한편, 상기 기술적 과제를 달성하기 위한 본 발명의 다른 측면에 따른 동영상 스틸컷 기반의 크로스미디어 검색 시스템은, 동영상 파일, 상기 동영상 파일에 대한 메타 정보 및 동영상의 프레임별 이미지 특징 정보를 수록하고 있는 동영상 DB; 검색의 대상이 되는 스틸컷을 분석하여 이미지 특징을 추출하는 스틸컷 특징 추출부; 및 상기 스틸컷 특징 추출부에서 추출한 이미지 특징 정보 기반으로 상기 동영상 DB에서 상기 검색의 대상이 되는 스틸컷과 연관된 동영상 정보를 검색하여 검색 결과를 제공하는 동영상 검색부;를 포함하는 것을 특징으로 한다.
또한, 상기 동영상 DB를 구축하는 수단으로 동영상 파일을 수집하는 동영상 수집부; 상기 수집된 동영상 파일로부터 메타 정보를 추출하는 메타 정보 추출부; 상기 수집된 동영상 파일을 분석하여 프레임별 이미지 특징을 추출하는 이미지 특징 추출부; 및 상기 추출된 메타 정보와 이미지 특징을 매칭시켜 상기 동영상 파일과 함께 상기 동영상 DB에 저장하는 동영상 색인부;를 더 포함한다.
본 발명의 다른 기술적 과제는 상술한 동영상 스틸컷 기반의 크로스미디어 검색 시스템의 동작 방법에 의해서도 달성될 수 있다.
본 발명에 따르면, 사용자가 찾고자 하는 동영상 콘텐츠를 검색하기 위해 텍스트 입력 없이 스틸컷 이미지 자체를 활용하여 검색할 수 있는 효과가 있다.
또한, 스틸컷 이미지 자체를 활용하여 사용자가 찾고자 하는 스틸컷의 출처 동영상 원본을 검색할 수 있으며, 사용자가 관심 있는 장면의 스틸컷을 기반으로 해당 내용의 부가 정보를 포함하고 있는 웹페이지를 자동으로 검색하여 사용자에게 동영상의 내용을 제공할 수 있는 효과가 있다.
이하, 첨부된 도면을 참조로 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.
따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원 시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
도 1은 본 발명의 제 1실시예에 따른 동영상 스틸컷 기반의 크로스미디어 검색 시스템의 개략적인 구성도이다.
도 1을 참조하면, 제 1실시예에 따른 동영상 스틸컷 기반의 크로스미디어 검 색 시스템(100)은, 웹페이지 DB(110)와 웹페이지 DB(110)를 구축하기 위한 웹페이지 수집부(120), 메타 정보 추출부(124), 이미지 특징 추출부(126) 및 웹페이지 색인부(128)를 포함한다.
웹페이지 수집부(120)는 웹페이지를 수집하여 임시적으로 메모리(122)에 저장한다. 메모리(122)는 전통적인 컴퓨터 시스템에 구비되는 활성 메모리이다. 웹페이지 수집부(120)는 웹페이지 수집을 위한 인터페이스로서, 웹페이지는 유선 또는 무선 인터넷과 같은 정보 통신망을 통해 수집될 수 있다.
메타 정보 추출부(124)는 메모리(122)에 저장된 웹페이지의 메타 정보를 읽어 웹페이지 색인부(128)로 출력한다. 여기서, 웹페이지의 메타 정보는 웹페이지의 메타 태그, 웹페이지 상에서 동영상 스틸컷을 설명하고 있는 내용이나 부가정보, 동영상 스틸컷 파일 자체가 가지고 있는 태그 등이다. 여기서, 웹페이지에 포함된 동영상 스틸컷은 이미지뿐만 아니라 일정 재생시간을 가지는 동영상의 일부분도 포함할 수 있다. 좀더 구체적으로, 웹페이지 상에서 동영상 스틸컷을 설명하고 있는 내용이나 부가정보는 웹페이지가 포함하고 있는 동영상 스틸컷(이미지 또는 동영상의 일부분)을 설명하는 앵커텍스트, 제목, 본문, 답글 등이 될 수 있으며, 동영상 스틸컷 파일 자체가 가지고 있는 태그는 스틸컷의 해상도 정보, 비트레이트, 프레임레이트, 재생시간, 타이틀 정보 등이 될 수 있다. 하지만, 본 발명이 메타 정보의 종류에 의해 한정되는 것은 아니다.
이미지 특징 추출부(126)는 메모리(122)에 저장된 웹페이지에 포함된 동영상 스틸컷의 프레임별 이미지를 분석하여 이미지 특징 정보를 추출하고, 추출된 이미 지 특징 정보를 웹페이지 색인부(128)로 출력한다.
여기서, 웹페이지에 포함된 동영상 스틸컷이 동영상의 일부분일 경우, 이미지 특징 추출부(126)는 이미지 특징 정보를 추출하기에 앞서 동영상 파일로부터 비디오 데이터만을 선택적으로 분리하는 과정을 선행할 수 있다. 이미지 특징 추출부(126)는 이미지 특징 정보를 추출하기 위해 동영상 파일에서 비디오 스트림을 선택적으로 분리하고, 분리된 비디오 스트림을 디코딩하여 raw 포맷의 영상 데이터로 변환한다. 여기서, raw 포맷은 YUV(YCbCr) 포맷 또는 RGB 포맷을 의미한다. 하지만, 본 발명은 raw 포맷의 종류에 의해 한정되지 않는다. 이어서, 이미지 특징 추출부(126)는 디코딩된 영상 데이터를 구성하는 각 프레임 이미지별로 이미지 특징 정보를 추출한다.
이미지 특징 추출부(126)가 각 프레임 이미지별 특징 정보를 추출하는 과정은 다음과 같다. 먼저, 이미지 특징 추출부(126)는 프레임 이미지를 블록 단위로 분할한다. 일 예로서, 이미지의 세로축을 n 등분하고 가로축을 m 등분하여 프레임 이미지를 n×m 개의 블록으로 분할한다. 다른 예로서, 이미지의 세로축을 n 등분하여 프레임 이미지를 n 개의 블록으로 분할하고 다시 가로축을 m 등분하여 프레임 이미지를 m 개의 블록으로 분할하여 프레임 이미지를 n+m 개의 블록으로 분할한다.
이어서, 이미지 특징 추출부(126)는 분할된 블록 단위별로 각 픽셀의 영상 밝기 데이터인 Y값의 평균을 산출한 후 인접한 블록 간의 영상 밝기 평균값의 차이를 기준으로 소정 비트수(예컨대, 32비트)의 이미지 특징 정보를 생성한다.
다음 수학식 1은 하나의 프레임 이미지에 대한 이미지 특징 정보를 생성하는 데 사용될 수 있는 비트 할당 함수 'B(r, c, p)'를 예시한 것이다. 참고로, 하기 수학식 1은 하나의 프레임 이미지를 n×m 개의 블록으로 분할하였을 때를 가정한 것이다.
Figure 112008016951543-PAT00001
Figure 112008016951543-PAT00002
여기서, B(r, c, p)는 p번째 프레임 이미지의 가로축 및 세로축을 기준으로 각각 r번째 및 c번째에 위치한 블록에 대해 비트를 할당하는 함수이다. 그리고, F(r, c, p)는 p번째 프레임 이미지의 가로축 및 세로축을 기준으로 각각 r번째 및 c번째에 위치한 블록의 영상 밝기값 평균을 나타낸다.
상기 수학식 1의 F(r, c, p)에서, r은 1부터 n까지의 정수값을 갖고, c는 1부터 m-1까지의 정수값을 갖는다. 따라서 프레임 이미지가 '4×9=36' 개의 블록으로 분할되면 이미지 특징 정보는 '4×8=32' 비트의 코드열을 갖게 된다. 한편, α는 1보다 작은 수로서 적절하게 선택 가능한 상수이다. 예컨대 α는 0.95이다.
한편, 이미지 특징 추출부(126)는 영상의 밝기 데이터인 Y값 이외에도 각 픽셀의 색차 데이터인 Cb 또는 Cr값을 활용하여 이미지 특징 정보를 생성할 수 있다. Cb 또는 Cr값을 활용하여 이미지 특징 정보를 생성하는 방법은 연산 대상이 되는 데이터의 종류만이 다를 뿐 상술한 바와 실질적으로 동일할 것임은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에게 자명하다.
또한, 이미지 특징 추출부(126)는 엠펙7(MPEG-7)의 이미지 특징을 이용하여 이미지 특징 정보를 생성할 수 있다. 여기서, 엠펙7의 이미지 특징은 이미지의 색상(color), 형상(shape), 구조(texture) 등이 될 수 있다. 좀더 구체적으로, 이미지 특징 추출부(126)가 엠펙7의 이미지 특징 중에 색상을 추출하는 경우에는 색상 히스토그램(color histogram)을 활용하여 이미지 특징 정보를 생성할 수 있으며, 형상을 추출하는 경우에는 이미지 상의 에지(edge) 정보를 활용하여 이미지 특징 정보를 생성할 수 있다.
이미지 특징 추출부(126)는 각 프레임 이미지에 대한 이미지 특징 정보를 추출하고 나면, 추출된 각 이미지 특징 정보를 그룹핑함으로써 동영상 스틸컷에 대한 이미지 특징 정보의 생성을 완료한다.
한편, 본 발명은 이미지 특징을 추출하는 구체적인 방식에 의해 한정되지 않으므로, 이미지 특징을 추출할 수 있는 알고리즘이라면 어떠한 것이라도 채용 가능하다.
웹페이지 색인부(128)는 메타 정보 추출부(124)와 이미지 특징 추출부(126)로부터 각각 메타 정보와 이미지 특징 정보를 입력받은 후 메타 정보와 이미지 특징 정보를 상호 매칭시켜 웹페이지 DB(110)에 수록한다. 이때, 웹페이지 색인부(128)는 이미지 특징 정보가 수집된 웹페이지의 접속 URL 정보도 함께 웹페이지 DB(110)에 수록할 수 있음은 물론이다.
상술한 웹페이지 DB(110)의 구축 과정은 웹페이지 수집부(120)를 통해 웹페이지가 수집될 때마다 반복적으로 이루어질 것임은 자명하다.
본 발명의 제 1실시예에 따른 동영상 스틸컷 기반의 크로스미디어 검색 시스템(100)은 웹페이지 DB(110)를 이용하여 검색 서비스를 제공한다. 이를 위해, 상기 동영상 스틸컷 기반의 크로스미디어 검색 시스템(100)은 스틸컷 수신부(102), 스틸컷 특징 추출부(104) 및 웹페이지 검색부(106)를 포함한다.
스틸컷 수신부(102)는 사용자로부터 검색 대상이 되는 스틸컷을 입력받아 스틸컷 특징 추출부(104)로 출력한다. 여기서, 스틸컷 수신부(102)는 스틸컷을 사용자로부터 직접 파일 첨부를 통해 입력받을 수도 있으나, 유선 또는 무선 인터넷을 통해 사용자에게 제공된 인터페이스를 통하여 입력받는 것이 바람직하다. 인터페이스의 조작은 사용자가 동영상 시청중 마우스의 클릭 또는 마우스 오버에 의해 이벤트를 발생시켜 자동적으로 해당 재생위치 근방에서 스틸컷을 캡쳐하는 방식으로 이루어질 수 있다. 하지만, 본 발명은 인터페이스의 조작 방식에 의해 한정되지 않는다.
스틸컷 특징 추출부(104)는 스틸컷의 이미지를 분석하여 이미지 특징 정보를 추출하고, 추출된 스틸컷의 이미지 특징 정보를 웹페이지 검색부로 출력한다. 여기서, 스틸컷의 이미지를 분석하여 이미지 특징 정보를 추출하는 방법은 상술한 이미지 특징 추출부(126)와 동일하므로 이에 대한 자세한 설명은 생략한다.
웹페이지 검색부(106)는 스틸컷 특징 추출부(104)에서 스틸컷 이미지 특징 정보를 입력받아 그 이미지 특징 정보에 대응하는 웹페이지 정보를 웹페이지 DB(110)에서 검색하여 검색 결과를 사용자에게 제공한다. 좀더 구체적으로, 웹페이지 검색부(106)는 웹페이지 DB(110)에 저장된 스틸컷 이미지 특징 정보를 읽는다. 그리고 나서, 스틸컷 특징 추출부(104)에서 추출된 스틸컷 이미지 특징 정보와 일치하거나 임계치 이상의 유사도를 갖는 이미지 특징 정보를 식별하고, 식별된 이미지 특징 정보와 대응되는 웹페이지의 메타 정보를 검색하여 검색 결과를 사용자에게 제공한다. 이때, 웹페이지 검색부(106)는 검색된 웹페이지의 접속 URL 정보도 함께 제공할 수 있다.
도 2는 본 발명의 제 2실시예에 따른 동영상 스틸컷 기반의 크로스미디어 검색 시스템의 개략적인 구성도이다.
도 2를 참조하면, 제 2실시예에 따른 동영상 스틸컷 기반의 크로스미디어 검색 시스템(200)은, 동영상 DB(210)와 동영상 DB(210)를 구축하기 위한 동영상 수집부(220), 메타 정보 추출부(224), 이미지 특징 추출부(226) 및 동영상 색인부(228)을 포함한다.
동영상 수집부(220)는 동영상 파일을 수집하여 임시적으로 메모리(222)에 저장한다. 메모리(222)는 전통적인 컴퓨터 시스템에 구비되는 활성 메모리이다. 동영상 수집부(220)는 동영상 파일 수집을 위한 인터페이스로서, 동영상 파일은 유선 또는 무선 인터넷과 같은 정보 통신망을 통해 수집될 수도 있고, 하드 드라이브, CD-ROM, DVD 등의 전통적인 저장매체로부터 수집될 수도 있다. 후자의 경우, 동영상 수집부(220)는 동영상 관리자가 저장매체에 저장된 각종 동영상 파일을 검색하여 메타 정보와 이미지 특징을 추출할 대상 파일을 선별할 수 있는 사용자 인터페이스를 제공하는 것이 바람직하다.
메타 정보 추출부(224)는 메모리(222)에 저장된 동영상 파일의 메타 정보를 읽어 동영상 색인부(240)로 출력한다. 메타 정보는 동영상의 제목, 제작자, 장르, 제작일자 등이다. 하지만, 본 발명이 메타 정보의 종류에 의해 한정되는 것은 아니다. 한편, 메타 정보에는 동영상 파일의 헤더 정보가 더 포함될 수 있는 것으로 해석될 수 있음을 밝혀둔다.
이미지 특징 추출부(226)는 메모리(222)에 저장된 동영상 파일에 포함된 비디오 데이터를 분석하여 이미지 특징 정보를 추출하고, 추출된 이미지 특징 정보는 동영상 색인부(228)로 출력한다. 이미지 특징 추출부(226)가 각 프레임 이미지별 특징 정보를 추출하는 방식은 상술한 제 1실시예의 이미지 특징 추출부(126)와 동일하므로 그 상세한 설명은 생략한다.
동영상 색인부(228)는 메타 정보 추출부(224)와 이미지 특징 추출부(226)로부터 각각 메타 정보와 이미지 특징 정보를 입력받은 후 메타 정보와 이미지 특징을 상호 매칭시켜 메모리(222)에 저장된 동영상 파일과 함께 동영상 DB(210)에 수록한다.
상술한 동영상 DB(210)의 구축 과정은 동영상 수집부(220)를 통해 동영상 파일이 수집될 때마다 반복적으로 이루어질 것임은 자명하다.
본 발명의 제 2실시예에 따른 동영상 스틸컷 기반의 크로스미디어 검색 시스템(200)은 동영상 DB(210)를 이용하여 검색 서비스를 제공한다. 이를 위해, 상기 동영상 스틸컷 기반의 크로스미디어 검색 시스템(200)은 스틸컷 수신부(202), 스틸컷 특징 추출부(204) 및 동영상 검색부(206)를 포함한다.
여기서, 스틸컷 수신부(202) 및 스틸컷 특징 추출부(204)는 제 1실시예의 스 틸컷 수신부(102) 및 스틸컷 특징 추출부(104)와 동일한 기능을 수행하므로 이에 대한 상세한 설명은 생략한다.
동영상 검색부(206)는 제 1실시예의 웹페이지 검색부(106)에서 상술한 바와 같이, 스틸컷 특징 추출부(204)에서 스틸컷 이미지 특징 정보를 입력받아 그 이미지 특징 정보에 대응하는 동영상 정보를 동영상 DB(210)에서 검색하여 검색 결과를 사용자에게 제공한다. 이때, 동영상 검색부(206)가 제공하는 동영상 검색 결과는 검색이 요청된 동영상의 메타 정보와 동영상을 재생할 수 있는 링크 코드를 포함하며, 메타 정보와 링크 코드는 동영상 DB(210)로부터 참조된다. 이와 같이, 동영상 검색 결과가 제공되면, 사용자는 동영상을 클릭하여 재생할 수 있으며, 메타 정보를 통해 검색된 동영상에 대한 메타 정보를 확인할 수 있다.
도 3은 본 발명의 제 1실시예에 따른 웹페이지 DB의 구축 과정을 순차적으로 도시한 절차 흐름도이다.
먼저, 웹페이지 검색 시스템(100)의 웹페이지 수집부(120)는 웹페이지를 수집하여 메모리(122)에 웹페이지를 임시로 저장한다.(S100)
이어서, 메타 정보 추출부(124) 및 이미지 특징 추출부(126)는 메모리(122)에 저장된 웹페이지로부터 웹페이지의 메타 정보와 웹페이지에 포함된 동영상 스틸컷의 이미지 특징 정보를 추출하여 웹페이지 색인부(128)로 출력한다.(S110)
다음으로, 웹페이지 색인부(128)는 입력된 메타 정보와 이미지 특징 정보를 상호 매칭시킨다.(S120)
그리고 나서, 웹페이지 색인부(128)는 메타 정보와 이미지 특징 정보가 상호 매칭된 웹페이지 정보를 웹페이지 DB(110)에 저장한다.(S130)
도 4는 본 발명의 제 1실시예에 따른 웹페이지 검색 방법이 구현되는 과정을 순차적으로 도시한 절차 흐름도이다.
먼저, 웹페이지 검색 시스템(100)의 스틸컷 수신부(102)는 유선 또는 무선 인터넷을 통해 사용자로부터 검색 대상이 되는 스틸컷을 입력받아 스틸컷 특징 추출부(104)로 출력한다.(S200)
이어서, 스틸컷 특징 추출부(104)는 스틸컷의 이미지를 분석하여 이미지 특징 정보를 추출하고, 추출된 스틸컷의 이미지 특징 정보를 웹페이지 검색부(106)로 출력한다.(S210)
다음으로, 웹페이지 검색부(106)는 스틸컷 특징 추출부(104)에서 스틸컷 이미지 특징 정보를 입력받아 그 이미지 특징 정보에 대응하는 웹페이지 정보를 웹페이지 DB(110)에서 검색한다.(S220)
그리고 나서, 웹페이지 검색부(106)는 웹페이지 DB(110)에서 검색된 웹페이지의 메타 정보, 웹페이지의 접속 URL 등의 웹페이지 정보를 사용자에게 제공한다.(S230)
도 5은 본 발명의 제 2실시예에 따른 동영상 DB의 구축 과정을 순차적으로 도시한 절차 흐름도이다.
먼저, 동영상 검색 시스템(200)의 동영상 수집부(220)는 동영상 파일을 수집하여 메모리(222)에 동영상 파일을 임시로 저장한다.(S300)
이어서, 메타 정보 추출부(224) 및 이미지 특징 추출부(226)는 메모리(222) 에 저장된 동영상 파일로부터 동영상의 제목, 제작자, 장르, 제작일자 등의 메타 정보와 상기 동영상 파일에 이미지 특징 정보를 추출하여 동영상 색인부로(228)로 출력한다.(S310)
다음으로, 동영상 색인부(228)는 입력된 메타 정보와 이미지 특징 정보를 상호 매칭시킨다.(S320)
그리고 나서, 웹페이지 색인부(228)는 메타 정보와 이미지 특징 정보가 상호 매칭된 동영상 정보를 동영상 DB(210)에 저장한다.(S330)
도 6는 본 발명의 제 2실시예에 따른 동영상 검색 방법이 구현되는 과정을 순차적으로 도시한 절차 흐름도이다.
먼저, 동영상 검색 시스템(200)의 스틸컷 수신부(202)는 유선 또는 무선 인터넷을 통해 사용자로부터 검색 대상이 되는 스틸컷을 입력받아 스틸컷 특징 추출부(104)로 출력한다.(S400)
이어서, 스틸컷 특징 추출부(204)는 스틸컷의 이미지를 분석하여 이미지 특징 정보를 추출하고, 추출된 스틸컷의 이미지 특징 정보를 동영상 검색부(206)로 출력한다.(S410)
다음으로, 동영상 검색부(206)는 스틸컷 특징 추출부(204)에서 스틸컷 이미지 특징 정보를 입력받아 그 이미지 특징 정보에 대응하는 동영상 정보를 동영상 DB(210)에서 검색한다.(S420)
그리고 나서, 동영상 검색부(206)는 동영상 DB(210)에서 검색된 스틸컷과 연관된 동영상의 메타 정보, 동영상을 재생할 수 있는 링크 코드, 등의 동영상 정보 를 사용자에게 제공한다.(S430)
상술한 본 발명에 따른 동영상 스틸컷 기반의 크로스미디어 검색 시스템의 동작 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터에 의해 판독 가능한 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합으로 포함할 수 있다. 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 프로그램 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예로는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 상기 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급언어 코드를 포함한다. 상기한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 동작하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이, 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술분야에서 통상의 지 식을 가진 자에 의해 본 발명의 기술사상과 아래에 기재될 특허청구범위의 균등범위 내에서 다양한 수정 및 변형이 가능함은 물론이다.
본 명세서에 첨부되는 다음의 도면들은 본 발명의 바람직한 실시예를 예시하는 것이며, 전술된 발명의 상세한 설명과 함께 본 발명의 기술사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어 해석되지 않아야 한다.
도 1은 본 발명의 제 1실시예에 따른 동영상 스틸컷 기반의 크로스미디어 검색 시스템의 개략적인 구성도이다.
도 2는 본 발명의 제 2실시예에 따른 동영상 스틸컷 기반의 크로스미디어 검색 시스템의 개략적인 구성도이다.
도 3은 본 발명의 제 1실시예에 따른 웹페이지 DB의 구축 과정을 순차적으로 도시한 절차 흐름도이다.
도 4는 본 발명의 제1 실시예에 따른 웹페이지 검색 방법이 구현되는 과정을 순차적으로 도시한 절차 흐름도이다.
도 5는 본 발명의 제2 실시예에 따른 동영상 DB의 구축 과정을 순차적으로 도시한 절차 흐름도이다.
도 6는 본 발명의 제2 실시예에 따른 동영상 검색 방법이 구현되는 과정을 순차적으로 도시한 절차 흐름도이다.
<도면의 주요 참조 번호>
100 : 웹페이지 검색 서버 102, 202 : 스킬컷 수신부
104, 204 : 스틸컷 특징 추출부 106 : 웹페이지 검색부
110 : 웹페이지 DB 120 : 웹페이지 수집부
122, 222 : 메모리 124, 224 : 메타 정보 추출부
126, 226 : 이미지 특징 추출부 128 : 웹페이지 색인부
200 : 동영상 검색 서버 206 : 동영상 검색부
210 : 동영상 DB 220 : 동영상 수집부
228 : 동영상 색인부

Claims (8)

  1. 웹페이지에 대한 메타 정보 및 웹페이지가 포함하고 있는 동영상 스틸컷의 프레임별 이미지 특징 정보를 수록하고 있는 웹페이지 DB;
    검색의 대상이 되는 스틸컷을 분석하여 이미지 특징을 추출하는 스틸컷 특징 추출부; 및
    상기 스틸컷 특징 추출부에서 추출한 이미지 특징 정보 기반으로 상기 웹페이지 DB에서 상기 검색의 대상이 되는 스틸컷과 연관된 웹페이지 정보를 검색하여 검색 결과를 제공하는 웹페이지 검색부;를 포함하는 것을 특징으로 하는 동영상 스틸컷 기반의 크로스미디어 검색 시스템.
  2. 제 1항에 있어서,
    웹페이지를 수집하는 웹페이지 수집부;
    상기 수집된 웹페이지로부터 메타 정보를 추출하는 메타 정보 추출부;
    상기 수집된 웹페이지에 포함된 동영상 스틸컷을 분석하여 프레임별 이미지 특징을 추출하는 이미지 특징 추출부; 및
    상기 추출된 메타 정보와 이미지 특징을 매칭시켜 상기 웹페이지 DB에 저장하는 웹페이지 색인부;를 더 포함하는 것을 특징으로 하는 동영상 스틸컷 기반의 크로스미디어 검색 시스템.
  3. 동영상 파일, 상기 동영상 파일에 대한 메타 정보 및 동영상의 프레임별 이미지 특징 정보를 수록하고 있는 동영상 DB;
    검색의 대상이 되는 스틸컷을 분석하여 이미지 특징을 추출하는 스틸컷 특징 추출부; 및
    상기 스틸컷 특징 추출부에서 추출한 이미지 특징 정보 기반으로 상기 동영상 DB에서 상기 검색의 대상이 되는 스틸컷과 연관된 동영상 정보를 검색하여 검색 결과를 제공하는 동영상 검색부;를 포함하는 것을 특징으로 하는 동영상 스틸컷 기반의 크로스미디어 검색 시스템.
  4. 제 3항에 있어서,
    동영상 파일을 수집하는 동영상 수집부;
    상기 수집된 동영상 파일로부터 메타 정보를 추출하는 메타 정보 추출부;
    상기 수집된 동영상 파일을 분석하여 프레임별 이미지 특징을 추출하는 이미지 특징 추출부; 및
    상기 추출된 메타 정보와 이미지 특징을 매칭시켜 상기 동영상 파일과 함께 상기 동영상 DB에 저장하는 동영상 색인부;를 더 포함하는 것을 특징으로 하는 동영상 스틸컷 기반의 크로스미디어 검색 시스템.
  5. 동영상 스틸컷 기반의 크로스미디어 검색 시스템에서 이미지 특징 정보에 기초한 웹페이지 검색 방법으로서,
    (a) 검색의 대상이 되는 스틸컷을 입력받는 단계;
    (b) 상기 입력된 스틸컷을 분석하여 이미지 특징을 추출하는 단계;
    (c) 상기 추출된 이미지 특징 정보 기반으로 웹페이지에 대한 메타 정보 및 웹페이지가 포함하고 있는 동영상 스틸컷의 프레임별 이미지 특징 정보를 수록하고 있는 웹페이지 DB를 조회하여 연관된 웹페이지 정보를 검색하는 단계; 및
    (d) 상기 검색된 웹페이지 정보를 제공하는 단계;를 포함하는 것을 특징으로 하는 동영상 스틸컷 기반의 크로스미디어 검색 방법.
  6. 제 5항에 있어서, 상기 (c) 단계 이전에,
    웹페이지를 수집하는 단계;
    상기 수집된 웹페이지로부터 메타 정보 및 웹페이지에 포함된 동영상 스틸컷의 프레임별 이미지 특징을 추출하는 단계;
    상기 추출된 메타 정보와 이미지 특징을 매칭시키는 단계; 및
    상기 매칭된 메타 정보와 이미지 특징을 상기 웹페이지 DB에 저장하는 단계;를 더 포함하는 것을 특징으로 하는 동영상 스틸컷 기반의 크로스미디어 검색 방법.
  7. 동영상 스틸컷 기반의 크로스미디어 검색 시스템에서 이미지 특징 정보에 기초한 동영상 검색 방법으로서,
    (a) 검색의 대상이 되는 스틸컷을 입력받는 단계;
    (b) 상기 입력된 스틸컷을 분석하여 이미지 특징을 추출하는 단계;
    (c) 상기 추출된 이미지 특징 정보 기반으로 동영상 파일, 상기 동영상 파일에 대한 메타 정보 및 동영상의 프레임별 이미지 특징 정보를 수록하고 있는 동영상 DB를 조회하여 연관된 동영상 정보를 검색하는 단계; 및
    (d) 상기 검색된 동영상 정보를 제공하는 단계;를 포함하는 것을 특징으로 하는 동영상 스틸컷 기반의 크로스미디어 검색 방법.
  8. 제 7항에 있어서, 상기 (c) 단계 이전에,
    동영상 파일을 수집하는 단계;
    상기 수집된 동영상 파일로부터 메타 정보 및 동영상 파일을 분석하여 프레임별 이미지 특징을 추출하는 단계;
    상기 추출된 메타 정보와 이미지 특징을 매칭시키는 단계; 및
    상기 매칭된 메타 정보와 이미지 특징을 동영상 파일과 함께 상기 동영상 DB에 저장하는 단계;를 더 포함하는 것을 특징으로 하는 동영상 스틸컷 기반의 크로스미디어 검색 방법.
KR1020080021572A 2008-03-07 2008-03-07 동영상 스틸컷 기반의 크로스미디어 검색 시스템 및 방법 KR20090096158A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080021572A KR20090096158A (ko) 2008-03-07 2008-03-07 동영상 스틸컷 기반의 크로스미디어 검색 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080021572A KR20090096158A (ko) 2008-03-07 2008-03-07 동영상 스틸컷 기반의 크로스미디어 검색 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR20090096158A true KR20090096158A (ko) 2009-09-10

Family

ID=41296397

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080021572A KR20090096158A (ko) 2008-03-07 2008-03-07 동영상 스틸컷 기반의 크로스미디어 검색 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR20090096158A (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012118259A1 (ko) * 2011-03-03 2012-09-07 (주)엔써즈 이미지에 기반한 동영상 관련 서비스 제공 시스템 및 방법
WO2013165083A1 (ko) * 2012-05-03 2013-11-07 (주)엔써즈 이미지에 기반하여 동영상 서비스를 제공하는 시스템 및 방법
CN107103076A (zh) * 2017-04-25 2017-08-29 湘潭大学 一种基于类马氏相关性度量的跨媒体检索方法
KR20180064013A (ko) * 2016-12-05 2018-06-14 한국전자통신연구원 도메인 지식 온톨로지 기반의 장면 지식 온톨로지 생성 장치 및 방법

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012118259A1 (ko) * 2011-03-03 2012-09-07 (주)엔써즈 이미지에 기반한 동영상 관련 서비스 제공 시스템 및 방법
WO2013165083A1 (ko) * 2012-05-03 2013-11-07 (주)엔써즈 이미지에 기반하여 동영상 서비스를 제공하는 시스템 및 방법
KR101404596B1 (ko) * 2012-05-03 2014-06-11 (주)엔써즈 이미지에 기반하여 동영상 서비스를 제공하는 시스템 및 방법
US9307270B2 (en) 2012-05-03 2016-04-05 Enswers Co., Ltd. System and method for providing image-based video service
US10455256B2 (en) 2012-05-03 2019-10-22 Enswers Co., Ltd. System and method for providing image-based video service
US11070851B2 (en) 2012-05-03 2021-07-20 Enswers Co., Ltd. System and method for providing image-based video service
US12015807B2 (en) 2012-05-03 2024-06-18 Enswers Co., Ltd. System and method for providing image-based video service
KR20180064013A (ko) * 2016-12-05 2018-06-14 한국전자통신연구원 도메인 지식 온톨로지 기반의 장면 지식 온톨로지 생성 장치 및 방법
CN107103076A (zh) * 2017-04-25 2017-08-29 湘潭大学 一种基于类马氏相关性度量的跨媒体检索方法

Similar Documents

Publication Publication Date Title
US8750681B2 (en) Electronic apparatus, content recommendation method, and program therefor
JP4987907B2 (ja) メタデータ処理装置
JP5651231B2 (ja) コンテンツを決定し検索するためのメディアフィンガープリント
US9202523B2 (en) Method and apparatus for providing information related to broadcast programs
US8068678B2 (en) Electronic apparatus and image processing method
KR100686521B1 (ko) 비디오 및 메타데이터의 통합을 위한 비디오 멀티미디어응용 파일 형식의 인코딩/디코딩 방법 및 시스템
KR101811468B1 (ko) 톱-ｋ 처리를 이용한 의미 보강
KR100896336B1 (ko) 영상 정보 기반의 동영상 연관 검색 시스템 및 방법
WO2014103123A1 (ja) ダイジェストを生成するための装置、方法、及びプログラム
US9305215B2 (en) Apparatus, method and computer readable recording medium for analyzing video using image captured from video
KR20100108117A (ko) 동영상 콘텐츠에 대한 부가 정보 생성 장치 및 방법
KR100946694B1 (ko) 영상 정보 기반의 동영상 파일 중복 검사와 관리를 위한시스템 및 방법
KR20090096158A (ko) 동영상 스틸컷 기반의 크로스미디어 검색 시스템 및 방법
JP4732418B2 (ja) メタデータ処理方法
KR101640317B1 (ko) 오디오 및 비디오 데이터를 포함하는 영상의 저장 및 검색 장치와 저장 및 검색 방법
JP5880558B2 (ja) 映像処理システム、視聴者の嗜好判定方法、映像処理装置およびその制御方法と制御プログラム
JP5569830B2 (ja) 映像処理システム、映像処理方法、映像処理装置及びその制御方法と制御プログラム
US9224069B2 (en) Program, method and apparatus for accumulating images that have associated text information
WO2014103374A1 (ja) 情報管理装置、サーバ及び制御方法
CN114845149A (zh) 视频片段的剪辑方法、视频推荐方法、装置、设备及介质
US20140189769A1 (en) Information management device, server, and control method
KR101330524B1 (ko) 자막정보 검색 기능을 제공하는 방법, 단말기, 서버 및 시스템
JP4652389B2 (ja) メタデータ処理方法
KR102131751B1 (ko) 인식 메타 정보를 이용한 구간 구분 정보 처리 방법 및 이를 지원하는 서비스 장치
JP4731522B2 (ja) 特徴量生成装置、要約映像検出装置、及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application