KR101237229B1 - 콘텐츠 처리 장치 및 콘텐츠 처리 방법 - Google Patents

콘텐츠 처리 장치 및 콘텐츠 처리 방법 Download PDF

Info

Publication number
KR101237229B1
KR101237229B1 KR1020077001835A KR20077001835A KR101237229B1 KR 101237229 B1 KR101237229 B1 KR 101237229B1 KR 1020077001835 A KR1020077001835 A KR 1020077001835A KR 20077001835 A KR20077001835 A KR 20077001835A KR 101237229 B1 KR101237229 B1 KR 101237229B1
Authority
KR
South Korea
Prior art keywords
telop
topic
frame
detected
image
Prior art date
Application number
KR1020077001835A
Other languages
English (en)
Other versions
KR20080007424A (ko
Inventor
다까오 오꾸다
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20080007424A publication Critical patent/KR20080007424A/ko
Application granted granted Critical
Publication of KR101237229B1 publication Critical patent/KR101237229B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/74—Browsing; Visualisation therefor
    • G06F16/743—Browsing; Visualisation therefor a collection of video files or sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7834—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using audio features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G06F16/785—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using colour or luminescence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G06F16/7854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using shape
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8455—Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

영상에 포함되는 텔롭을 이용해서 영상 콘텐츠의 토픽의 절환을 검출하고, 토픽마다 콘텐츠를 분할한다. 우선, 영상 콘텐츠로부터 화상의 절환에 의해 씬이 크게 변화되는 씬 체인지 점을 검출한다. 계속해서, 씬 체인지 점의 전후 1초의 프레임의 평균 화상을 작성하고, 이 평균 화상을 이용해서 씬 체인지 점에서 텔롭이 출현하고 있는지의 여부를 고정밀도로 검출한다. 그리고, 동일한 정지 텔롭이 출현하고 있는 구간을 검출하고, 동일한 정지 텔롭이 출현하고 있는 각 구간의 시간에 관한 인덱스 정보를 작성한다.
하드 디스크, 텔롭, 토픽, 재생부, 임계값, 프레임

Description

콘텐츠 처리 장치 및 콘텐츠 처리 방법{CONTENTS PROCESSING DEVICE AND CONTENTS PROCESSING METHOD}
본 발명은, 예를 들면 텔레비전 방송의 녹화에 의해 얻어진 영상 콘텐츠에 대하여 인덱스 부여 등의 처리를 행하는 콘텐츠 처리 장치 및 콘텐츠 처리 방법, 및 컴퓨터 프로그램에 관한 것으로, 특히, 녹화한 영상 콘텐츠를 방송 프로그램 내에서 채택되어 있는 화제(즉 토픽)에 따라 씬의 절환을 판별하여 씬마다 분할 혹은 분류를 행하는 콘텐츠 처리 장치 및 콘텐츠 처리 방법, 및 컴퓨터 프로그램에 관한 것이다.
더 상세히 설명하면, 본 발명은, 영상에 포함되는 텔롭을 이용해서 영상 콘텐츠의 토픽의 절환을 검출해서 토픽마다 콘텐츠를 분할하여 인덱스 부여를 행하는 콘텐츠 처리 장치 및 콘텐츠 처리 방법, 및 컴퓨터 프로그램에 관한 것으로, 특히, 영상에 포함되는 텔롭을 이용하면서, 비교적 적은 처리량으로 토픽의 검출을 행하는 콘텐츠 처리 장치 및 콘텐츠 처리 방법, 및 컴퓨터 프로그램에 관한 것이다.
현대의 정보 문명 사회에서, 방송의 역할은 헤아릴 수 없다. 특히, 음향과 함께 영상 정보를 시청자가 있는 곳으로 직접 보내는 텔레비전 방송의 영향은 크다. 방송 기술은, 신호 처리나 그 송수신, 음성이나 영상의 정보 처리 등, 폭넓은 기술을 포함한다.
텔레비전의 보급율은 극히 높아, 거의 모든 가정 내에 설치되어 있고, 각 방송국으로부터 배신되는 방송 콘텐츠는 불특정 다수의 사람들에 의해 시청되고 있다. 또한, 방송 콘텐츠를 시청하는 다른 형태로서, 수신한 콘텐츠를 시청자측에서 일단 녹화하여 두고, 원하는 시간에 재생한다고 하는 것을 예로 든다.
최근에는 디지털 기술의 발달에 의해, 영상이나 음성으로 이루어지는 AV 데이터를 대량으로 축적하는 것이 가능해졌다. 예를 들면, 수십 내지 수백 GB의 용량을 갖는 HDD(하드 디스크 드라이브)를 비교적 염가로 입수하는 것이 가능해져서, HDD 베이스의 녹화기나, 텔레비전 방송 프로그램의 녹화/시청 기능을 가진 퍼스널 컴퓨터(PC) 등이 등장하였다. HDD는, 기록 데이터로의 랜덤 액세스가 가능한 장치이다. 따라서, 녹화 콘텐츠를 재생할 때에는, 종래의 비디오 테이프의 경우와 같이, 녹화하여 둔 방송 프로그램을 단순히 선두부터 순서대로 재생할 필요는 없고, 좋아하는 방송 프로그램(혹은, 방송 프로그램 중의 특정한 씬이나 특정한 코너)부터 직접 재생을 개시할 수 있다. 하드 디스크 장치 등의 대용량 스토리지를 탑재한 수신기(텔레비전이나 비디오 녹화 재생 장치)를 사용해서, 방송 콘텐츠를 수신하여 일단 수신기 내에 축적한 후에 재생한다고 하는 시청 형태를, 「서버형 방송」이라고 부른다. 서버형 방송 시스템에 의하면, 통상의 텔레비전 수상기처럼 리얼타임으로 시청할 필요는 없고, 유저는 자신이 편한 시간에 방송 프로그램을 시청할 수 있다.
하드 디스크의 대용량화에 수반하여, 서버형 방송 시스템에 의해 몇십시간분 이나 되는 방송 프로그램 녹화가 가능하다. 이 때문에, 녹화한 영상 콘텐츠를 유저가 전부 시청하는 것은 불가능에 가까워, 유저가 흥미를 갖는 장면만을 잘 씬 검색하여, 다이제스트 시청한다고 하는 스타일이, 보다 효율적임과 함께 녹화 콘텐츠의 유효 활용으로도 된다.
이와 같은 녹화 콘텐츠에서의 씬 검색이나 다이제스트 시청을 행하기 위해서는, 영상에 대하여 인덱스 부여를 행할 필요가 있다. 영상 인덱스 부여의 방법으로서는, 비디오 신호가 크게 변화된 프레임을 씬 체인지 점으로서 검출하여, 인덱스 부여를 행하는 방법이 널리 알려져 있다.
예를 들면, 연속한 1필드 또는 1프레임의 2매의 화면의 화상에 대하여, 화상을 구성하는 성분의 히스토그램을 각각 작성하고, 그들의 차분의 합계값을 계산하여 설정한 임계값보다도 클 때에 화상의 씬이 변화된 것을 검출하는 씬 체인지 검출 방법이 알려져 있다(예를 들면, 특허 문헌 1을 참조). 히스토그램을 작성할 때에, 해당하는 레벨과 그 양측의 인접하는 레벨에 대해 임의의 일정수를 분류하여 가산하고, 그 후 규격화함으로써 새로운 히스토그램의 결과를 산출하고, 이 새롭게 산출한 히스토그램을 이용해서 2매마다의 화면의 화상의 씬이 변화된 것을 검출함으로써, 페이드 화상에 대해서도 정확한 씬 체인지를 검출하는 것이 가능해진다.
그러나, 씬 체인지 점은 방송 프로그램 중에 매우 많이 존재한다. 일반적으로는, 방송 프로그램 내에서 동일한 화제(즉 토픽)를 취급하고 있는 기간을 한 덩어리로 해서, 영상 콘텐츠를 분할하고 분류하는 것이 다이제스트 시청에는 적합하다고 사료되지만, 동일한 화제가 계속되는 동안에도 빈번하게 씬이 절환된다. 이 때문에, 씬 체인지에만 의존한 영상 인덱스 부여 방법에서는, 유저에게 있어 바람직한 인덱스 부여를 행하는 것으로는 되지 않는다.
또한, 영상 정보를 이용해서 영상 컷트 위치를 검출함과 함께, 음향 정보를 이용해서 음향 클러스터링을 행하고, 영상 및 음향 각각의 정보를 통합해서 인덱스를 부여하고, 인덱스의 정보에 따라 콘텐츠의 편집, 검색, 선택 시청을 행하는 영상 음향 콘텐츠 편집 장치에 대해 제안이 되어 있다(예를 들면, 특허 문헌 2를 참조). 이 영상 음향 콘텐츠 편집 장치에 의하면, 음향 정보로부터 얻은 인덱스 정보(음성, 무음, 음악을 구별)와 씬 체인지 점을 관련지음으로써, 영상적으로도 음향적으로도 의미가 있는 위치를 씬으로서 검출할 수 있음과 함께, 쓸데없는 씬 체인지 점을 어느 정도는 삭제할 수 있다. 그러나, 씬 체인지 점은 방송 프로그램 중에 매우 많이 존재하기 때문에, 토픽마다 영상 콘텐츠를 분할하는 것은 무리이다.
다른 한편, 뉴스 방송 프로그램이나 버라이어티 방송 프로그램 등의 텔레비전 방송에서는, 방송 프로그램의 제작 및 편집의 방법으로서, 프레임의 네 귀퉁이에 방송 프로그램의 화제를 명시적 혹은 암시적으로 표현한 텔롭을 표시하는 것이 일반적으로 채용되고 있다. 프레임 내에서 표시되는 텔롭은, 그 표시 구간에서의 방송 프로그램의 토픽을 특정 또는 추정하기 위한 중요한 단서로 된다. 따라서, 영상 콘텐츠로부터 텔롭을 추출하고, 텔롭의 표시 내용을 1개의 지표로서 영상 인덱스 부여를 행하는 것이 가능하다고 생각된다.
예를 들면, 프레임 내의 텔롭을 특징화 부분으로서 검출하고, 텔롭만의 영상 데이터를 추출해서 방송 프로그램의 내용을 나타내는 메뉴를 자동적으로 작성하는 방송 프로그램 내용 메뉴 작성 장치에 대해 제안이 되어 있다(예를 들면, 특허 문헌 3을 참조). 프레임으로부터 텔롭을 검출하기 위해서는 통상적으로 엣지 검출을 하여야 하지만, 엣지 계산은 처리 부하가 높다. 동일 장치에서는, 모든 프레임에서 엣지 계산을 행하기 때문에, 계산량이 방대해진다고 하는 문제가 있다. 또한, 동일 장치는, 영상 데이터로부터 추출되는 각 텔롭을 이용해서 뉴스 방송 프로그램의 방송 프로그램 메뉴를 자동 작성하는 것을 주된 목적으로 하고 있고, 검출된 텔롭으로부터 방송 프로그램에서의 토픽의 변화를 특정하거나, 토픽을 이용해서 영상 인덱스 부여를 행하거나 하는 것은 아니다. 즉, 프레임으로부터 검출된 텔롭의 정보를 이용해서 어떻게 영상 인덱스 부여를 행하여야 하는지에 관한 문제를 해결하고 있지 않다.
[특허 문헌 1] 일본 특개 2004-282318호 공보
[특허 문헌 2] 일본 특개 2002-271741호 공보
[특허 문헌 3] 일본 특개 2004-364234호 공보
<발명의 개시>
<발명이 해결하고자 하는 과제>
본 발명의 목적은, 녹화한 영상 콘텐츠를 방송 프로그램 내에서 채택되어 있는 화제(즉 토픽)에 따라 씬의 절환을 판별하고 씬마다 분할 영상 인덱스 부여를 적절히 행할 수 있는, 우수한 콘텐츠 처리 장치 및 콘텐츠 처리 방법, 및 컴퓨터 프로그램을 제공하는 것에 있다.
본 발명의 다른 목적은, 영상에 포함되는 텔롭을 이용해서 영상 콘텐츠의 토픽의 절환을 검출하고, 토픽마다 콘텐츠를 분할해서 영상 인덱스 부여를 적절히 행할 수 있는, 우수한 콘텐츠 처리 장치 및 콘텐츠 처리 방법, 및 컴퓨터 프로그램을 제공하는 것에 있다.
본 발명의 또 다른 목적은, 영상에 포함되는 텔롭을 이용하면서, 비교적 적은 처리량으로 토픽의 검출을 행할 수 있는, 우수한 콘텐츠 처리 장치 및 콘텐츠 처리 방법, 및 컴퓨터 프로그램을 제공하는 것에 있다.
<과제를 해결하기 위한 수단>
본 발명은, 상기 과제를 참작해서 이루어진 것으로, 그 제1 측면은, 화상 프레임의 시계열로 이루어지는 영상 콘텐츠를 처리하는 콘텐츠 처리 장치로서, 처리 대상으로 되는 영상 콘텐츠로부터, 화상 프레임의 절환에 의해 씬이 크게 변화되는 씬 체인지 점을 검출하는 씬 체인지 검출부와, 처리 대상으로 되는 영상 콘텐츠로부터, 연속하는 복수의 화상 프레임에 걸쳐 동일한 정지 텔롭이 출현하고 있는 구간을 검출하는 토픽 검출부와, 상기 토픽 검출부가 검출한, 동일한 정지 텔롭이 출현하고 있는 각 구간의 시간에 관한 인덱스 정보를 축적하는 인덱스 축적부를 구비하는 것을 특징으로 하는 콘텐츠 처리 장치이다.
텔레비전 방송 프로그램 등의 방송 콘텐츠를 수신해서 일단 수신기 내에 축적한 후에 재생한다고 하는 시청 형태가 일반적으로 되고 있다. 여기에서, 하드 디스크의 대용량화에 수반하여, 서버형 방송 시스템에 의해 몇십 시간분이나 되는 방송 프로그램 녹화가 가능해지면, 유저가 흥미를 갖는 장면만을 잘 씬 검색하여, 다이제스트 시청한다고 하는 스타일이 유효하다. 이와 같은 녹화 콘텐츠에서의 씬 검색이나 다이제스트 시청을 행하기 위해서는, 영상에 대하여 인덱스 부여를 행할 필요가 있다.
종래, 영상 콘텐츠로부터 씬 체인지 점을 검출하여 인덱스 부여를 행하는 방법이 일반적이었지만, 씬 체인지 점은 방송 프로그램 중에 매우 많이 존재하여, 유저에게 있어서는 바람직한 인덱스 부여는 되지 않는다고 생각된다.
또한, 뉴스 방송 프로그램이나 버라이어티 방송 프로그램 등의 텔레비전 방송에서는, 프레임의 네 귀퉁이에 방송 프로그램의 토픽을 표현한 텔롭을 표시하는 경우가 많기 때문에, 영상 콘텐츠로부터 텔롭을 추출하고, 텔롭의 표시 내용을 1개의 지표로 하여 영상 인덱스 부여를 행하는 것이 가능하다. 그러나, 영상 콘텐츠로부터 텔롭을 추출하기 위해서는 프레임마다 엣지 검출 처리를 행하여야 하므로, 계산량이 방대해진다고 하는 문제가 있다.
따라서, 본 발명에 따른 콘텐츠 처리 장치에서는, 우선, 처리 대상으로 되는 영상 콘텐츠로부터 씬 체인지 점을 검출하고, 각 씬 체인지 점에서 전후하는 프레임을 이용해서, 해당 위치에서 텔롭이 출현하고 있는지의 여부를 검출한다. 그리고, 텔롭의 출현이 검출되었을 때에, 동일한 정지 텔롭이 출현하고 있는 구간을 검출하도록 하였기 때문에, 텔롭을 추출하기 위한 엣지 검출 처리의 기회를 최소한으로 억제하고, 토픽 검출을 위한 처리 부하를 경감할 수 있다.
상기 토픽 검출부는, 씬 체인지 점의 전후 예를 들면 1초간에서의 프레임의 평균 화상을 작성하고, 이 평균 화상에 대하여 텔롭 검출을 행하도록 한다. 씬 체 인지 전후로 텔롭이 계속해서 표시되고 있으면, 평균 화상을 만듦으로써, 텔롭 부분은 선명히 남고, 그 이외의 부분은 희미해지기 때문에, 텔롭 검출의 정밀도를 높일 수 있다. 이 텔롭 검출은, 예를 들면 엣지 검출에 의해 행할 수 있다.
그리고, 상기 토픽 검출부는, 텔롭이 검출된 씬 체인지 점으로부터 전방의 프레임과 텔롭 영역의 비교를 행하여, 그 텔롭 영역으로부터 텔롭이 사라진 위치를 해당 토픽의 개시 위치로서 검출한다. 마찬가지로, 텔롭이 검출된 씬 체인지 점으로부터 후방의 프레임과 텔롭 영역의 비교를 행하여, 그 텔롭 영역으로부터 텔롭이 사라진 위치를 해당 토픽의 종료 위치로서 검출한다. 텔롭 영역으로부터 텔롭이 사라졌는지의 여부는, 예를 들면, 비교 대상으로 되는 각 프레임에 대해 텔롭 영역에서의 색 요소마다의 평균색을 산출하고, 프레임 간에서 이들 평균색의 유클리드 거리가 소정의 임계값을 초과하였는지의 여부에 따라, 적은 처리 부하로 판정할 수 있다. 물론, 주지의 씬 체인지 검출과 동일한 방법을 텔롭 영역에 이용함으로써, 텔롭의 소실 위치의 검출을 더 엄밀하게 행할 수 있다.
단, 영역 내에서 평균색을 산출하면, 그 영역에 포함되는 텔롭 이외의 배경색의 영향을 받기 쉽다고 하는 문제가 있다. 따라서, 그 대체안으로서, 엣지 정보를 이용해서 텔롭의 유무를 판별하는 방법을 예로 든다. 즉, 비교 대상으로 되는 각 프레임에 대해 텔롭 영역에서의 엣지 화상을 구하고, 프레임 간에서의 텔롭 영역의 엣지 화상의 비교 결과에 기초해서 텔롭 영역에서의 텔롭의 존재를 판정한다. 구체적으로는, 비교 대상으로 되는 각 프레임에 대해 텔롭 영역에서의 엣지 화상을 구하고, 텔롭 영역에서 검출된 엣지 화상의 화소수가 급격히 감소하였을 때에 텔롭 이 사라졌다고 판정하고, 상기 화소수의 변화가 적을 때에는 동일한 텔롭이 계속해서 출현하고 있다고 판정할 수 있다. 덧붙여 말하면, 엣지 화상의 화소수가 급격히 증가하였을 때에 새로운 텔롭이 출현하였다고 판정할 수 있다.
또한, 텔롭이 변화되어도 엣지 화상의 수가 그다지 변화되지 않을 가능성도 있다. 따라서, 프레임 간에서 텔롭 영역의 엣지 화상의 화소수의 변화가 작은 경우에도, 또한 서로의 엣지 화상끼리에서 대응하는 엣지 화소마다의 논리곱(AND)을 취하고, 그 결과 화상에서의 엣지 화소의 수가 급격히 감소한 경우에는(예를 들면, 3분의 1 이하), 텔롭이 변화된, 즉 텔롭의 개시 또는 종료 위치라고 추정할 수 있다.
또한, 상기 토픽 검출부는, 검출된 텔롭 개시 위치 및 종료 위치로부터 텔롭의 출현 시간을 구하고, 이 텔롭의 출현 시간이 일정 시간 이상인 경우에만 토픽으로 판단함으로써, 오검출을 저감하도록 하여도 된다.
또한, 상기 토픽 검출부는, 프레임 내에서 텔롭이 검출된 텔롭 영역의 크기 또는 위치 정보에 기초해서 필요한 텔롭인지의 여부를 판정하도록 하여도 된다. 영상 프레임 내에서 텔롭이 출현하는 위치나 그 크기는, 방송 업계에서 대략적인 관습이 있고, 이 관습을 따라, 영상 프레임 내에서 텔롭이 출현하는 위치 정보나 크기를 고려해서 텔롭 검출을 행함으로써, 오검출을 저감할 수 있다.
또한, 본 발명의 제2 측면은, 화상 프레임의 시계열로 이루어지는 영상 콘텐츠에 관한 처리를 컴퓨터 시스템 상에서 실행하도록 컴퓨터 판독 가능 형식으로 기술된 컴퓨터 프로그램으로서, 상기 컴퓨터 시스템에 대하여, 처리 대상으로 되는 영상 콘텐츠로부터, 화상 프레임의 절환에 의해 씬이 크게 변화되는 씬 체인지 점을 검출하는 씬 체인지 검출 수순과, 상기 씬 체인지 검출 수순에서 검출된 씬 체인지 점의 전후의 프레임을 이용해서, 해당 씬 체인지 점에서 텔롭이 출현하고 있는지의 여부를 검출하여, 텔롭이 검출된 씬 체인지 점의 전후에서 연속하는 복수의 화상 프레임에 걸쳐 동일한 정지 텔롭이 출현하고 있는 구간을 검출하는 토픽 검출 수순과, 상기 토픽 검출 수순에서 검출한, 동일한 정지 텔롭이 출현하고 있는 각 구간의 시간에 관한 인덱스 정보를 축적하는 인덱스 축적 수순과, 상기 인덱스 축적 수순에서 축적된 인덱스 정보 중에서 임의의 토픽이 선택된 경우에, 해당하는 영상 콘텐츠 중 인덱스 정보로서 기술되어 있는 개시 시간으로부터 종료 시간에 이르기까지의 구간을 재생 출력하는 재생 수순을 실행시키는 것을 특징으로 하는 컴퓨터 프로그램이다.
본 발명의 제2 측면에 따른 컴퓨터 프로그램은, 컴퓨터 시스템 상에서 소정의 처리를 실현하도록 컴퓨터 판독 가능 형식으로 기술된 컴퓨터 프로그램을 정의한 것이다. 바꿔 말하면, 본 발명의 제2 측면에 따른 컴퓨터 프로그램을 컴퓨터 시스템에 인스톨함으로써, 컴퓨터 시스템 상에서는 협동적 작용이 발휘되어, 본 발명의 제1 측면에 따른 콘텐츠 처리 장치와 마찬가지의 작용 효과를 얻을 수 있다.
<발명의 효과>
본 발명에 따르면, 영상에 포함되는 텔롭을 이용해서 영상 콘텐츠의 토픽의 절환을 검출하고, 토픽마다 콘텐츠를 분할하여 영상 인덱스 부여를 적절히 행할 수 있는, 우수한 콘텐츠 처리 장치 및 콘텐츠 처리 방법, 및 컴퓨터 프로그램을 제공 할 수 있다.
또한, 본 발명에 따르면, 영상에 포함되는 텔롭을 이용하면서, 비교적 적은 처리량으로 토픽의 검출을 행할 수 있는, 우수한 콘텐츠 처리 장치 및 콘텐츠 처리 방법, 및 컴퓨터 프로그램을 제공할 수 있다.
본 발명에 따르면, 예를 들면 녹화한 텔레비전 방송 프로그램을 토픽마다 분할하는 것이 가능해진다. 텔레비전 방송 프로그램을 토픽마다 분할하여 영상 인덱스 부여함으로써, 유저는 다이제스트 시청 등의 효율적인 방송 프로그램의 시청이 가능해진다. 유저는, 녹화 콘텐츠의 재생 시에 예를 들면 토픽의 모두 부분을 보고 확인하여, 흥미가 없으면 다음 토픽으로 간단히 스킵할 수 있다. 또한, 녹화한 영상 콘텐츠를 DVD 등에 기록할 때에는, 남기고 싶은 토픽만을 잘라내는 등의 편집 작업을 간단히 행할 수 있다.
본 발명의 또 다른 목적, 특징이나 이점은, 후술하는 본 발명의 실시예나 첨부하는 도면에 기초하는 보다 상세한 설명에 의해 명백해질 것이다.
도 1은 본 발명의 일 실시예에 따른 영상 콘텐츠 처리 장치(10)의 기능적 구성을 모식적으로 도시한 도면.
도 2는 텔롭 영역을 포함한 텔레비전 방송 프로그램의 화면 구성예를 도시한 도면.
도 3은 영상 콘텐츠로부터, 동일한 정지 텔롭이 출현하고 있는 구간을 검출 하기 위한 토픽 검출 처리의 수순을 도시한 플로우차트.
도 4는 씬 체인지 점의 전후의 평균 화상으로부터 텔롭을 검출하는 구조를 설명하기 위한 도면.
도 5는 씬 체인지 점의 전후의 평균 화상으로부터 텔롭을 검출하는 구조를 설명하기 위한 도면.
도 6은 씬 체인지 점의 전후의 평균 화상으로부터 텔롭을 검출하는 구조를 설명하기 위한 도면.
도 7은 씬 체인지 점의 전후의 평균 화상으로부터 텔롭을 검출하는 구조를 설명하기 위한 도면.
도 8은 어스펙트비가 720×480픽셀로 이루어지는 영상 프레임에서의 텔롭 검출 영역의 구성예를 도시한 도면.
도 9는 프레임 시퀀스로부터 토픽의 개시 위치를 검출하는 양태를 도시한 도면.
도 10은 프레임 시퀀스로부터 토픽의 개시 위치를 검출하기 위한 처리 수순을 도시한 플로우차트.
도 11은 프레임 시퀀스로부터 토픽의 종료 위치를 검출하는 양태를 도시한 도면.
도 12는 프레임 시퀀스로부터 토픽의 종료 위치를 검출하기 위한 처리 수순을 도시한 플로우차트.
<부호의 설명>
10: 영상 콘텐츠 처리 장치
11: 영상 축적부
12: 씬 체인지 검출부
13: 토픽 검출부
14: 인덱스 축적부
15: 재생부
<발명을 실시하기 위한 최량의 형태>
이하, 도면을 참조하면서 본 발명의 실시예에 대해 상해한다.
도 1에는, 본 발명의 일 실시예에 따른 영상 콘텐츠 처리 장치(10)의 기능적 구성을 모식적으로 도시하고 있다. 도시된 영상 콘텐츠 처리 장치(10)는, 영상 축적부(11)와, 씬 체인지 검출부(12)와, 토픽 검출부(13)와, 인덱스 축적부(14)와, 재생부(15)를 구비하고 있다.
영상 축적부(11)는, 방송파를 복조하여 축적하거나, 인터넷 경유로 정보 자원으로부터 다운로드한 영상 콘텐츠를 축적하거나 한다. 예를 들면, 하드 디스크 레코더 등을 이용해서 영상 축적부(11)를 구성할 수 있다.
씬 체인지 검출부(12)는, 토픽 검출의 대상으로 되는 영상 콘텐츠를 영상 축적부(11)로부터 취출하고, 연속하는 화상 프레임에서의 씬(광경 또는 정경)을 추적하여, 화상의 절환에 의해 씬이 크게 변화되는 위치 즉 씬 체인지 점을 검출한다.
예를 들면, 본 출원인에게 이미 양도되어 있는 특허 문헌 1에 개시되어 있는 씬 체인지 검출 방법을 적용해서 씬 체인지 검출부(11)를 구성할 수 있다. 즉, 연속한 1필드 또는 1프레임의 2매의 화면의 화상에 대하여, 화상을 구성하는 성분의 히스토그램을 각각 작성하고, 그들의 차분의 합계값을 계산하여 설정한 임계값보다도 클 때에 화상의 씬이 변화됨으로써 씬 체인지 점을 검출한다. 히스토그램을 작성할 때에, 해당하는 레벨과 그 양측의 인접하는 레벨에 대하여 임의의 일정수를 분류하여 가산하고, 그 후 규격화함으로써 새로운 히스토그램의 결과를 산출하고, 이 새롭게 산출한 히스토그램을 이용해서 2매마다의 화면의 화상의 씬이 변화된 것을 검출함으로써, 페이드 화상에 대해서도 정확한 씬 체인지를 검출하는 것이 가능해진다.
토픽 검출부(12)는, 토픽 검출의 대상으로 되는 영상 콘텐츠로부터, 동일한 정지 텔롭이 출현하고 있는 구간을 검출하고, 동일 영상 콘텐츠 내에서 동일한 토픽이 계속되고 있는 구간으로서 출력한다.
뉴스 방송 프로그램이나 버라이어티 방송 프로그램 등의 텔레비전 방송에서는, 프레임 내에서 표시되는 텔롭은, 그 표시 구간에서의 방송 프로그램의 토픽을 특정 또는 추정하기 위한 중요한 단서로 된다. 그러나, 모든 프레임에 대해 엣지 검출하여 텔롭을 추출하고자 하면 계산량이 방대해지게 된다. 따라서, 본 실시예에서는, 영상 콘텐츠로부터 검출된 씬 체인지 점에 기초해서, 엣지 검출할 프레임수를 극력 억제하여, 동일한 정지 텔롭이 출현하고 있는 구간을 검출하도록 하였다. 동일한 정지 텔롭이 출현하고 있는 구간은, 방송 프로그램 내에서 동일한 토픽이 계속되고 있는 기간으로 간주할 수 있고, 한 덩어리로서 취급하는 것이 영상 콘텐츠의 분할이나 영상 인덱스 부여, 다이제스트 시청에는 적합하다고 생각된다. 토픽 검출 처리의 상세에 대해서는 후술한다.
인덱스 축적부(14)는, 토픽 검출부(11)가 검출한, 동일한 정지 텔롭이 출현하고 있는 각 구간에 관한 시간 정보를 축적한다. 아래 표 1에는, 인덱스 축적부(14)에서 축적되는 시간 정보의 구성예를 나타내고 있다. 표 1에서는, 검출된 구간마다 레코드가 설치되고, 레코드에는 해당 구간에 상당하는 토픽의 타이틀과, 구간의 개시 시간 및 종료 시간이 기록된다. 예를 들면, XML(eXtensible Markup Language)과 같은 일반적인 구조화 기술 언어를 이용해서 인덱스 정보를 기술할 수 있다. 토픽의 타이틀에는, 영상 콘텐츠(혹은 방송 프로그램)의 타이틀이나, 표시된 텔롭의 문자 정보를 이용할 수 있다.
콘텐츠명 개시 시간[sec] 종료 시간[sec]
비디오 1 20 45
60 80
비디오 2 10 25
30 45
… … …
재생부(15)는, 재생 지시된 영상 콘텐츠를 영상 축적부(11)로부터 취출하고, 이를 복호 및 복조하여 영상 및 음향 출력한다. 본 실시예에서는, 재생부(15)는, 콘텐츠 재생 시에 인덱스 축적부(14)로부터 콘텐츠명에 따라 적절한 인덱스 정보를 취득하여, 콘텐츠와 관련짓는다. 예를 들면, 인덱스 축적부(14)에서 관리되는 인덱스 정보 중에서 임의의 토픽이 선택된 경우에는, 해당하는 영상 콘텐츠를 영상 축적부(11)로부터 취출하여, 인덱스 정보로서 기술되어 있는 개시 시간으로부터 종료 시간에 이르기까지의 구간을 재생 출력한다.
계속해서, 토픽 검출부(13)에서, 영상 콘텐츠로부터, 동일한 정지 텔롭이 출현하고 있는 구간을 검출하는 토픽 검출 처리의 상세에 대해 설명한다.
본 실시예에서는, 씬 체인지 검출부(12)에 의해 검출된 각 씬 체인지 점에서 전후하는 프레임을 이용해서, 해당 위치에서 텔롭이 출현하고 있는지의 여부를 검출한다. 그리고, 텔롭의 출현이 검출되었을 때에, 동일한 정지 텔롭이 출현하고 있는 구간을 검출하도록 하였기 때문에, 텔롭을 추출하기 위한 엣지 검출 처리의 기회를 최소한으로 억제하여, 토픽 검출을 위한 처리 부하를 경감할 수 있다.
예를 들면 뉴스 방송 프로그램이나 버라이어티 방송 프로그램 등의 장르의 텔레비전 방송에서는, 시청자의 이해나 찬동을 얻거나, 혹은 흥미를 안겨준 방송 프로그램 내에 기분을 인입시키는 등의 목적으로, 텔롭을 표시하는 방법이 채용된다. 그 대부분의 경우, 도 2에 도시한 바와 같이 화면의 네 귀퉁이 중 어느 한쪽의 영역을 이용하여 정지 텔롭이 존재한다. 정지 텔롭은, 통상적으로, 이하에 도시하는 특징을 갖는다.
(1)방송 중의 방송 프로그램의 내용을 간단히 표현하고 있다(타이틀적인 것).
(2)동일한 화제의 동안에는 계속하여서 표시된다.
예를 들면 뉴스 방송 프로그램에서는, 임의의 뉴스가 방송되고 있는 동안에는, 그 뉴스의 타이틀이 계속해서 표시되고 있다. 토픽 검출부(13)에서는, 이와 같은 정지 텔롭이 출현하고 있는 구간을 검출하고, 검출된 구간을 1개의 토픽으로 하여 인덱스 부여를 행한다. 또한, 검출된 정지 텔롭을 잘라내어 썸네일화하거나, 텔롭의 표시를 문자 인식함으로써 토픽의 타이틀을 문자 정보로서 취득하는 것도 가능하다.
도 3에는, 토픽 검출부(13)에서, 영상 콘텐츠로부터, 동일한 정지 텔롭이 출현하고 있는 구간을 검출하기 위한 토픽 검출 처리의 수순을 플로우차트의 형식으로 나타내고 있다.
우선, 처리 대상으로 되는 영상 콘텐츠로부터, 최초의 씬 체인지 점에서의 프레임을 취출하고(스텝 S1), 씬 체인지 점으로부터 1초 후의 프레임과 1초 전의 프레임의 평균 화상을 작성하고(스텝 S2), 이 평균 화상에 대하여 텔롭 검출을 행한다(스텝 S3). 이는, 씬 체인지 전후로 텔롭이 계속해서 표시되고 있으면, 평균 화상을 만듦으로써, 텔롭 부분은 선명히 남고, 그 이외의 부분은 희미해지는 것을 이용하여, 텔롭 검출의 정밀도를 높이기 위해서이다. 단, 평균 화상의 작성에 이용하는 프레임은, 씬 체인지 점의 전후 1초의 프레임에 한정되는 것은 아니다. 씬 체인지 점의 전후의 프레임인 것은 중요하고, 더 많은 프레임을 이용해서 평균 화상을 작성하도록 하여도 된다.
도 4 내지 도 6에는, 씬 체인지 점의 전후의 평균 화상으로부터 텔롭을 검출하는 양태를 도해하고 있다. 씬 체인지 점의 전후의 프레임 간에서는, 씬이 크게 변화되어 있기 때문에, 평균화함으로써 서로의 이미지가 중첩되어, 마치 α블렌드 된 것처럼 희미해진다. 이에 대하여, 씬 체인지 점의 전후로도 동일한 정지 텔롭이 계속해서 출현하고 있는 경우에는, 그 텔롭 부분은 선명히 남고, 도 5에 도시하는 바와 같이, 평균화에 의해 희미해진 배경 부분에 대하여 상대적으로 강조된다. 따라서, 엣지 검출 처리에 의해, 고정밀도로 텔롭 영역을 추출할 수 있다. 다른 한편, 씬 체인지 점의 전후 중 어느 한쪽에만 텔롭 영역이 출현하는 경우(혹은 정지 텔롭이 절환되는 경우)에는, 도 6에 도시하는 바와 같이, 화상의 평균화 처리에 의해 배경 부분과 마찬가지로 텔롭 영역도 희미해지기 때문에, 텔롭을 잘못 검출하는 일은 없어진다.
일반적으로, 텔롭은 배경에 비해 휘도가 높은 특징이 있다. 따라서, 엣지 정보를 이용해서 텔롭의 검출을 행하는 방법을 적용할 수 있다. 예를 들면, 입력 화상을 YUV 변환하고, 이 중 Y성분에 대하여 엣지 계산을 행한다. 엣지 계산 기술로서, 예를 들면, 본 출원인에게 이미 양도되어 있는 특허 문헌 2에 기재되어 있는 텔롭 정보 처리 방법이나, 특허 문헌 3에 기재되어 있는 인공적 화상의 추출 방법을 적용할 수 있다.
그리고, 평균 화상으로부터 텔롭을 검출할 수 있던 경우에는(스텝 S4), 검출된 사각형 영역 중, 예를 들면 이하의 조건을 충족시키는 것을 텔롭 영역으로서 취출한다.
(1)일정 사이즈보다 크다(예를 들면, 80×30화소).
(2)텔롭이 표시되는 후보 영역(도 2를 참조) 중 복수의 영역에 걸쳐 있지 않다.
영상 프레임 내에서 텔롭이 출현하는 위치나 텔롭 문자의 크기는, 방송 업계에서 대략적인 관습이 있다. 따라서, 이 관습을 따라, 영상 프레임 내에서 텔롭이 출현하는 위치 정보나 크기를 고려해서 텔롭 검출을 행함으로써, 오검출을 저감할 수 있다. 도 8에는, 어스펙트비가 720×480픽셀로 되는 영상 프레임에서의 텔롭 검출 영역의 구성예를 도시하고 있다.
텔롭이 검출되었을 때에는, 계속해서, 텔롭이 검출된 씬 체인지 점으로부터 전방의 프레임에 대하여 순서대로 텔롭 영역의 비교를 행해 가고, 해당 텔롭 영역으로부터 텔롭이 사라진 프레임보다 시간적으로 1개 뒤의 프레임을 해당 토픽의 개시 위치로서 검출한다(스텝 S5).
도 9에는, 스텝 S5에서 프레임 시퀀스로부터 토픽의 개시 위치를 검출하는 양태를 도해하고 있다. 도 9에 도시하는 바와 같이, 스텝 S3에서 텔롭이 검출된 씬 체인지 점으로부터 전방을 향해, 1프레임마다 순서대로 거슬러 올라가 텔롭 영역의 비교를 행한다. 그리고, 텔롭 영역으로부터 텔롭이 사라진 프레임을 검출하면, 그보다 1개 뒤의 프레임을 해당 토픽의 개시 위치로서 검출한다.
또한, 도 10에는, 스텝 S5에서 프레임 시퀀스로부터 토픽의 개시 위치를 검출하기 위한 처리 수순을 플로우차트의 형식으로 도시하고 있다. 우선, 현재의 프레임 위치의 전방에 프레임이 존재하는 경우에는(스텝 S21), 그 프레임을 취득하고(스텝 S22), 프레임 간에서 텔롭 영역의 비교를 행한다(스텝 S23). 그리고, 텔롭 영역에 변화가 없으면(스텝 S24의 아니오), 텔롭이 계속해서 출현하고 있는 것으로 되기 때문에, 스텝 S21로 되돌아가, 상술한 바와 같은 처리를 반복한다. 또한, 텔롭 영역에 변화가 있으면(스텝 S24의 예), 텔롭이 소멸한 것으로 되기 때문에, 그 1개 앞의 프레임을 토픽의 개시 위치로서 출력하고, 해당 처리 루틴을 종료한다.
마찬가지로, 텔롭이 검출된 씬 체인지 점으로부터 후방의 프레임에 대하여 순서대로 텔롭 영역의 비교를 행하여, 그 텔롭 영역으로부터 텔롭이 사라진 프레임보다 시간적으로 1개 앞의 프레임을 해당 토픽의 종료 위치로서 검출한다(스텝 S6).
도 11에는, 프레임 시퀀스로부터 토픽의 종료 위치를 검출하는 양태를 도해하고 있다. 도 11에 도시하는 바와 같이, 스텝 S3에서 텔롭이 검출된 씬 체인지 점으로부터 전방을 향해, 1프레임마다 순서대로 진행하여 텔롭 영역의 비교를 행한다. 그리고, 텔롭 영역으로부터 텔롭이 사라진 프레임을 검출하면, 그보다 1개 앞의 프레임을 해당 토픽의 종료 위치로서 검출한다.
또한, 도 12에는, 스텝 S6에서 프레임 시퀀스로부터 토픽의 종료 위치를 검출하기 위한 처리 수순을 플로우차트의 형식으로 도시하고 있다. 우선, 현재의 프레임 위치의 후방에 프레임이 존재하는 경우에는(스텝 S31), 그 프레임을 취득하여(스텝 S32), 프레임 간에서 텔롭 영역의 비교를 행한다(스텝 S33). 그리고, 텔롭 영역에 변화가 없으면(스텝 S34의 아니오), 텔롭이 계속해서 출현하고 있는 것으로 되기 때문에, 스텝 S31로 되돌아가, 상술한 바와 마찬가지의 처리를 반복한다. 또한, 텔롭 영역에 변화가 있으면(스텝 S34의 예), 텔롭이 소멸한 것으로 되기 때문에, 그 1개 뒤의 프레임을 토픽의 종료 위치로서 출력하고, 해당 처리 루틴을 종료한다.
도 9 및 도 11에 도시한 바와 같이 텔롭의 소실 위치를 검출할 때에, 시간축 상에 늘어서는 프레임 시퀀스에 대해, 씬 체인지 점을 개시 위치로서의 그 전방 및 후방 각각을 향해 프레임 1매씩 텔롭 영역의 비교를 순차적으로 행함으로써, 텔롭이 사라진 위치를 엄밀하게 검출할 수 있다. 혹은, 처리를 경감하기 위해, 이하 의 방법으로 대략의 텔롭 소실 위치를 검출하도록 하여도 된다.
(1)MPEG와 같이, I픽쳐(프레임 내 부호화 화상)와 몇매의 P픽쳐(프레임간 순방향 예측 부호화 화상)가 교대로 배열된 부호화 화상의 경우에서, I픽쳐간에서 비교를 행한다.
(2)1초마다 프레임의 비교를 행한다.
텔롭 영역으로부터 텔롭이 사라졌는지의 여부는, 예를 들면, 비교 대상으로 되는 각 프레임에 대해, 텔롭 영역에서의 RGB의 각 요소의 평균색을 산출하고, 프레임 간에서 이들 평균색의 유클리드 거리가 소정의 임계값을 초과하였는지의 여부에 따라, 적은 처리 부하로 판정할 수 있다. 즉, 씬 체인지 점인 프레임의 텔롭 영역의 평균색(RGB의 각 요소의 평균)을 ROavg, G0avg, B0avg로 하고, 씬 체인지 점으로부터 n번째의 프레임의 텔롭 영역의 평균색을 Rnavg, Gnavg, Bnavg로 하면, 이하의 수학식 1을 만족하는 씬 체인지 점으로부터 전방 또는 후방의 n번째의 프레임에서 텔롭이 사라졌다고 판단한다. 임계값으로서는 예를 들면 60으로 한다.
Figure 112007007565756-pct00001
또한, 씬 체인지하지 않는 프레임 구간에서 정지 텔롭이 소실된 경우, 평균 화상을 취하면, 도 7에 도시하는 바와 같이, 배경으로 되는 씬은 선명히 남지만, 텔롭은 희미해져 보이지 않게 된다. 즉, 도 5에 도시한 결과와는 반대로 된다. 씬 체인지하지 않는 프레임 구간에서 정지 텔롭이 출현한 경우도 마찬가지이다. 또한, 텔롭의 소실 위치의 검출을 더 엄밀하게 행하고자 하는 경우에는, 특허 문헌 1에 개시되어 있는 씬 체인지 검출과 동일한 방법을 텔롭 영역에 이용할 수도 있다.
여기에서, 텔롭을 검출할 때에, 영역 내의 평균색을 산출하면, 그 영역에 포함되는 텔롭 이외의 배경색의 영향을 받기 쉬워, 검출 정밀도가 저하된다고 하는 문제가 있다. 따라서, 그 대체안으로서, 텔롭 영역의 엣지 정보를 이용해서 텔롭의 유무를 판별하는 방법을 예로 든다. 즉, 비교 대상으로 되는 각 프레임에 대해 텔롭 영역에서의 엣지 화상을 구하고, 프레임 간에서의 텔롭 영역의 엣지 화상의 비교 결과에 기초해서 텔롭 영역에서의 텔롭의 존재를 판정한다. 구체적으로는, 비교 대상으로 되는 각 프레임에 대해 텔롭 영역에서의 엣지 화상을 구하고, 텔롭 영역에서 검출된 엣지 화상의 화소수가 급격히 감소하였을 때에 텔롭이 사라졌다고 판정할 수 있다. 반대로, 화소수가 급격히 증가하였을 때에는 텔롭이 출현하였다고 판정할 수도 있다. 또한, 엣지가 상의 화소수의 변화가 적을 때에는, 동일한 텔롭이 계속해서 출현하고 있다고 판정할 수 있다.
예를 들면, 씬 체인지 점을 SC로 하고, SC에서의 텔롭 영역을 Rect, SC에서의 Rect의 엣지 화상을 EdgeImg1로 한다. 또한, SC로부터(시간축 상의 전방 혹은 후방의) n번째의 프레임의 텔롭 영역 Rect의 엣지 화상을 EdgeImgN으로 한다. 단, 엣지 화상은 적당한 임계값(예를 들면 128)으로 2치화한다. 도 10에 도시한 플로우차트 중의 스텝 S23, 및 도 12에 도시한 플로우차트 중의 스텝 S33에서는, EdgeImg1과 EdgeImgN의 엣지점의 수(화소수)를 비교해서, 엣지점의 수가 급격히 감소한 경우에는(예를 들면, 3분의 1 이하), 텔롭이 사라졌다고 추정할 수 있다(반대로 급격히 증가한 경우에는, 텔롭이 출현하였다고 추정할 수 있다).
또한, EdgeImg1과 EdgeImgN에서 엣지점의 수가 그다지 변화되어 있지 않은 경우에는, 텔롭이 계속해서 출현하고 있다고 추정할 수 있다. 단, 텔롭이 변화되어도 엣지점의 수가 그다지 변화되지 않을 가능성도 있다. 따라서, EdgeImg1과 EdgeImgN의 화소마다의 논리곱(AND)을 취하고, 그 결과 화상에서의 엣지점의 수가 급격히 감소한 경우에는(예를 들면, 3분의 1 이하), 텔롭이 변화된, 즉 텔롭의 개시 또는 종료 위치로 추정하도록 하여, 검출 정밀도를 높일 수 있다.
계속해서, 스텝 S6에서 구한 텔롭 종료 위치로부터 스텝 S5에서 구한 텔롭 개시 위치를 감산하여, 텔롭의 출현 시간을 구한다. 그리고, 이 텔롭의 출현 시간이 일정 시간 이상인 경우에만 토픽으로 판단함으로써(스텝 S7), 오검출을 저감할 수 있다. EPG(Electric Program Guide)로부터 방송 프로그램의 장르 정보를 취득하여, 장르에 따라 출현 시간의 임계값을 변경하는 것도 가능하다. 예를 들면, 뉴스의 경우에는 비교적 장시간 텔롭이 출현하고 있으므로 30초, 버라이어티의 경우에는 10초 등과 같이 할 수 있다.
스텝 S7에서, 토픽으로서 검출된 텔롭의 개시 위치 및 종료 위치는, 인덱스 정보 축적부(14)에 보존된다(스텝 S8).
그리고, 토픽 검출부(13)는 씬 체인지 검출부(12)에 조회하여, 해당 영상 콘텐츠에, 스텝 S6에서 검출된 텔롭 종료 위치 이후에 씬 체인지 점이 있는지의 여부 를 확인한다(스텝 S9). 상기 텔롭 종료 위치 이후에 씬 체인지 점이 더 이상 없는 경우에는, 본 처리 루틴 전체를 종료한다. 한편, 해당 텔롭 종료 위치 이후에 씬 체인지 점이 있는 경우에는, 다음의 씬 체인지 점의 프레임으로 이동한 후에(스텝 S10), 스텝 S2로 되돌아가, 상술한 토픽의 검출 처리를 반복해서 행한다.
또한, 스텝 S4에서, 처리 대상으로 되어 있는 씬 체인지 점에서 텔롭이 검출되지 않은 경우에는, 토픽 검출부(13)는 씬 체인지 검출부(12)에 조회하여, 해당 영상 콘텐츠에 다음의 씬 체인지 점이 있는지의 여부를 확인한다(스텝 S11). 다음 씬 체인지 점이 더 이상 없는 경우에는, 본 처리 루틴 전체를 종료한다. 한편, 다음의 씬 체인지 점이 있는 경우에는, 다음의 씬 체인지 점의 프레임으로 이동한 후에(스텝 S10), 스텝 S2로 되돌아가, 상술한 토픽의 검출 처리를 반복해서 행한다.
본 실시예에서는, 도 2에 도시한 바와 같이 텔레비전 화상 중의 네 귀퉁이에 텔롭 영역이 있다고 하는 전제로 텔롭의 검출 처리를 행하고 있다. 그런데, 이들 영역을 이용해서 항상 시각을 표시하고 있는 텔레비전 방송 프로그램도 많다. 따라서, 검출된 텔롭 영역을 문자 인식하고, 숫자를 취득할 수 있으면 텔롭은 아니라고 판단함으로써 오인식을 회피하도록 하여도 된다.
또한, 텔롭이 화면으로부터 일단 사라진 몇초 후에 동일한 텔롭이 다시 나타나는 경우가 있다. 이 대책으로서, 텔롭 표시에 도중에 끊김 즉 일시적인 중단이 발생한 경우라도 이하의 조건을 충족시키고 있으면, 텔롭이 연속되고 있다(즉 토픽이 계속되고 있다)고 취급함으로써, 쓸데없는 인덱스를 생성하지 않도록 할 수 있다.
(1)텔롭이 사라지기 전과 재출현한 후의 텔롭 영역에 대해 상기 수학식 1을 만족할 것.
(2)텔롭이 사라지기 전과 재출현한 후의 텔롭 영역에 대해, 엣지 화상의 화소수가 거의 동일하고, 또한 엣지 화상의 대응하는 픽셀마다의 논리곱을 취하여도 엣지 화상의 화소수가 거의 동일할 것.
(3)텔롭이 사라져 있는 시간이 임계값(예를 들면 5초) 이하일 것.
예를 들면, EPG로부터 텔레비전 방송 프로그램의 장르 정보를 취득하여, 뉴스, 버라이어티 등의 장르에 따라 중단 시간의 임계값을 변경하도록 하여도 된다.
이상, 특정한 실시예를 참조하면서, 본 발명에 대해 상해하였다. 그러나, 본 발명의 요지를 일탈하지 않는 범위에서 당업자가 상기 실시예의 수정이나 대용을 이룰 수 있음은 자명하다.
본 명세서에서는, 주로 텔레비전 방송 프로그램을 녹화하여 얻은 영상 콘텐츠에 대하여 인덱스 부여를 행하는 경우를 예로 들어 설명해 왔지만, 본 발명의 요지는 이에 한정되는 것은 아니다. 텔레비전 방송 이외의 용도로 제작 및 편집되고 토픽을 나타내는 텔롭 영역을 포함한 다양한 영상 콘텐츠에 대하여도, 본 발명에 따른 콘텐츠 처리 장치에 의해 적절히 인덱스 부여를 행할 수 있다.
요컨데, 예시라고 하는 형태로 본 발명을 개시해 온 것으로, 본 명세서의 기재 내용을 한정적으로 해석하여야 하는 것은 아니다. 본 발명의 요지를 판단하기 위해서는, 특허 청구의 범위를 참작하여야 한다.

Claims (22)

  1. 화상 프레임의 시계열로 이루어지는 영상 콘텐츠를 처리하는 콘텐츠 처리 장치로서,
    처리 대상으로 되는 영상 콘텐츠로부터, 화상 프레임의 절환에 의해 화상을 구성하는 성분이 소정의 임계치보다도 크게 변화하는 씬 체인지 점을 검출하는 씬 체인지 검출부와,
    처리 대상으로 되는 영상 콘텐츠로부터, 상기 씬 체인지 검출부에 의해 검출된 씬 체인지 점의 전후 프레임을 이용하여, 연속하는 복수의 화상 프레임에 걸쳐 동일한 정지 텔롭이 출현하고 있는 구간을 검출하는 토픽 검출부와,
    상기 토픽 검출부가 검출한, 동일한 정지 텔롭이 출현하고 있는 각 구간의 시간에 관한 인덱스 정보를 축적하는 인덱스 축적부
    를 구비하는 것을 특징으로 하는 콘텐츠 처리 장치.
  2. 제1항에 있어서,
    영상 콘텐츠의 재생 시에, 상기 인덱스 축적부에서 관리되는 인덱스 정보와 영상 콘텐츠의 관련지음을 행하는 재생부를 더 구비하는 것을 특징으로 하는 콘텐츠 처리 장치.
  3. 제2항에 있어서,
    상기 재생부는, 상기 인덱스 축적부에서 관리되는 인덱스 정보 중에서 임의의 토픽이 선택된 경우에는, 해당하는 영상 콘텐츠 중 인덱스 정보로서 기술되어 있는 개시 시간으로부터 종료 시간에 이르기까지의 구간을 재생 출력하는 것을 특징으로 하는 콘텐츠 처리 장치.
  4. 제1항에 있어서,
    상기 토픽 검출부는, 씬 체인지 점의 전후의 소정 기간에서의 프레임의 평균 화상을 작성하고, 그 평균 화상에 대하여 텔롭 검출을 행하는 것을 특징으로 하는 콘텐츠 처리 장치.
  5. 제4항에 있어서,
    상기 토픽 검출부는,
    텔롭이 검출된 씬 체인지 점으로부터 전방의 프레임과 텔롭 영역의 비교를 행하고, 그 텔롭 영역으로부터 텔롭이 사라진 프레임보다 1개 뒤의 프레임을 해당 토픽의 개시 위치로서 검출하고,
    텔롭이 검출된 씬 체인지 점으로부터 후방의 프레임과 텔롭 영역의 비교를 행하여, 그 텔롭 영역으로부터 텔롭이 사라진 프레임보다 1개 앞의 프레임을 해당 토픽의 종료 위치로서 검출하는 것을 특징으로 하는 콘텐츠 처리 장치.
  6. 제5항에 있어서,
    상기 토픽 검출부는, 비교 대상으로 되는 각 프레임에 대해 텔롭 영역에서의 색 요소마다의 평균색을 산출하고, 프레임 간에서 평균색의 유클리드 거리가 소정의 임계값을 초과하였는지의 여부에 따라 텔롭 영역으로부터 텔롭이 사라졌는지의 여부를 판정하는 것을 특징으로 하는 콘텐츠 처리 장치.
  7. 제5항에 있어서,
    상기 토픽 검출부는, 비교 대상으로 되는 각 프레임에 대해 텔롭 영역에서의 엣지 화상을 구하고, 프레임 간에서의 텔롭 영역의 엣지 화상의 비교 결과에 기초해서 텔롭 영역에서의 텔롭의 존재를 판정하는 것을 특징으로 하는 콘텐츠 처리 장치.
  8. 제7항에 있어서,
    상기 토픽 검출부는, 비교 대상으로 되는 각 프레임에 대해 텔롭 영역에서의 엣지 화상을 구하고, 텔롭 영역에서 검출된 엣지 화상의 화소수가 급격히 감소하였을 때에 텔롭이 사라졌다고 판정하고, 그 화소수의 변화가 적을 때에는 동일한 텔롭이 계속해서 출현하고 있다고 판정하는
    것을 특징으로 하는 콘텐츠 처리 장치.
  9. 제8항에 있어서,
    상기 토픽 검출부는, 텔롭 영역에서 검출된 엣지 화상의 화소수의 변화가 작은 경우에, 또한 서로의 엣지 화상끼리에서 대응하는 엣지 화소마다의 논리곱을 취하고, 그 결과 화상에서의 엣지 화소의 수가 급격히 감소한 경우에는 텔롭이 변화되었다고 판정하는 것을 특징으로 하는 콘텐츠 처리 장치.
  10. 제5항에 있어서,
    상기 토픽 검출부는, 검출된 텔롭 개시 위치 및 종료 위치로부터 텔롭의 출현 시간을 구하고, 그 텔롭의 출현 시간이 일정 시간 이상인 경우에만 토픽으로 판단하는 것을 특징으로 하는 콘텐츠 처리 장치.
  11. 제5항에 있어서,
    상기 토픽 검출부는, 프레임 내에서 텔롭이 검출된 텔롭 영역의 크기 또는 위치 정보에 기초해서 필요한 텔롭인지의 여부를 판정하는 것을 특징으로 하는 콘텐츠 처리 장치.
  12. 컴퓨터 상에서 구축되는 콘텐츠 처리 시스템 상에서, 화상 프레임의 시계열로 이루어지는 영상 콘텐츠를 처리하는 콘텐츠 처리 방법으로서,
    상기 컴퓨터가 구비하는 씬 체인지 수단이, 처리 대상으로 되는 영상 콘텐츠로부터, 화상 프레임의 절환에 의해 화상을 구성하는 성분이 소정의 임계치보다도 크게 변화하는 씬 체인지 점을 검출하는 씬 체인지 검출 스텝과,
    상기 컴퓨터가 구비하는 토픽 검출 수단이, 상기 씬 체인지 검출 스텝에서 검출된 씬 체인지 점의 전후의 프레임을 이용해서, 그 씬 체인지 점에서 텔롭이 출현하고 있는지의 여부를 검출하고, 텔롭이 검출된 씬 체인지 점의 전후에서 연속하는 복수의 화상 프레임에 걸쳐 동일한 정지 텔롭이 출현하고 있는 구간을 검출하는 토픽 검출 스텝과,
    상기 컴퓨터가 구비하는 인덱스 축적 수단이, 상기 토픽 검출 스텝에서 검출한, 동일한 정지 텔롭이 출현하고 있는 각 구간의 시간에 관한 인덱스 정보를 축적하는 인덱스 축적 스텝
    을 구비하는 것을 특징으로 하는 콘텐츠 처리 방법.
  13. 제12항에 있어서,
    상기 인덱스 축적 스텝에서 축적된 인덱스 정보 중에서 임의의 토픽이 선택된 경우에, 해당하는 영상 콘텐츠 중 인덱스 정보로서 기술되어 있는 개시 시간으로부터 종료 시간에 이르기까지의 구간을 재생 출력하는 재생 스텝을 더 구비하는 것을 특징으로 하는 콘텐츠 처리 방법.
  14. 제12항에 있어서,
    상기 토픽 검출 스텝에서는, 씬 체인지 점의 전후의 소정 기간에서의 프레임의 평균 화상을 작성하고, 그 평균 화상에 대하여 텔롭 검출을 행하는 것을 특징으로 하는 콘텐츠 처리 방법.
  15. 제14항에 있어서,
    상기 토픽 검출 스텝에서는,
    텔롭이 검출된 씬 체인지 점으로부터 전방의 프레임과 텔롭 영역의 비교를 행하여, 그 텔롭 영역으로부터 텔롭이 사라진 프레임보다 1개 뒤의 프레임을 해당 토픽의 개시 위치로서 검출하고,
    텔롭이 검출된 씬 체인지 점으로부터 후방의 프레임과 텔롭 영역의 비교를 행하여, 그 텔롭 영역으로부터 텔롭이 사라진 프레임보다 1개전의 프레임을 해당 토픽의 종료 위치로서 검출하는
    것을 특징으로 하는 콘텐츠 처리 방법.
  16. 제15항에 있어서,
    상기 토픽 검출 스텝에서는, 비교 대조로 되는 각 프레임에 대해 텔롭 영역에서의 색 요소마다의 평균색을 산출하고, 프레임 간에서 평균색의 유클리드 거리가 소정의 임계값을 초과하였는지의 여부에 따라 텔롭 영역으로부터 텔롭이 사라졌는지의 여부를 판정하는 것을 특징으로 하는 콘텐츠 처리 방법.
  17. 제15항에 있어서,
    상기 토픽 검출 스텝에서는, 비교 대상으로 되는 각 프레임에 대해 텔롭 영역에서의 엣지 화상을 구하고, 프레임 간에서의 텔롭 영역의 엣지 화상의 비교 결 과에 기초해서 텔롭 영역에서의 텔롭의 존재를 판정하는 것을 특징으로 하는 콘텐츠 처리 방법.
  18. 제17항에 있어서,
    상기 토픽 검출 스텝에서는, 비교 대상으로 되는 각 프레임에 대해 텔롭 영역에서의 엣지 화상을 구하고, 텔롭 영역에서 검출된 엣지 화상의 화소수가 급격히 감소하였을 때에 텔롭이 사라졌다고 판정하고, 상기 화소수의 변화가 적을 때에는 동일한 텔롭이 계속해서 출현하고 있다고 판정하는 것을 특징으로 하는 콘텐츠 처리 방법.
  19. 제18항에 있어서,
    상기 토픽 검출 스텝에서는, 텔롭 영역에서 검출된 엣지 화상의 화소수의 변화가 작은 경우에, 서로의 엣지 화상끼리에서 대응하는 엣지 화소마다의 논리곱을 더 취하고, 그 결과 화상에서의 엣지 화소의 수가 급격히 감소한 경우에는 텔롭이 변화되었다고 판정하는 것을 특징으로 하는 콘텐츠 처리 방법.
  20. 제15항에 있어서,
    상기 토픽 검출 스텝에서는, 검출된 텔롭 개시 위치 및 종료 위치로부터 텔롭의 출현 시간을 구하고, 그 텔롭의 출현 시간이 일정 시간 이상인 경우에만 토픽으로 판단하는 것을 특징으로 하는 콘텐츠 처리 방법.
  21. 제15항에 있어서,
    상기 토픽 검출 스텝에서는, 프레임 내에서 텔롭이 검출된 텔롭 영역의 크기 또는 위치 정보에 기초해서 필요한 텔롭인지의 여부를 판정하는 것을 특징으로 하는 콘텐츠 처리 방법.
  22. 삭제
KR1020077001835A 2005-05-26 2006-05-10 콘텐츠 처리 장치 및 콘텐츠 처리 방법 KR101237229B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JPJP-P-2005-00153419 2005-05-26
JP2005153419 2005-05-26
JP2006108310A JP4613867B2 (ja) 2005-05-26 2006-04-11 コンテンツ処理装置及びコンテンツ処理方法、並びにコンピュータ・プログラム
JPJP-P-2006-00108310 2006-04-11
PCT/JP2006/309378 WO2006126391A1 (ja) 2005-05-26 2006-05-10 コンテンツ処理装置及びコンテンツ処理方法、並びにコンピュータ・プログラム

Publications (2)

Publication Number Publication Date
KR20080007424A KR20080007424A (ko) 2008-01-21
KR101237229B1 true KR101237229B1 (ko) 2013-02-26

Family

ID=37451817

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020077001835A KR101237229B1 (ko) 2005-05-26 2006-05-10 콘텐츠 처리 장치 및 콘텐츠 처리 방법

Country Status (4)

Country Link
US (1) US20090066845A1 (ko)
JP (1) JP4613867B2 (ko)
KR (1) KR101237229B1 (ko)
WO (1) WO2006126391A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11184670B2 (en) 2018-12-18 2021-11-23 Samsung Electronics Co., Ltd. Display apparatus and control method thereof
US11190837B2 (en) 2018-06-25 2021-11-30 Samsung Electronics Co., Ltd. Electronic apparatus and controlling method thereof
US11575962B2 (en) 2018-05-21 2023-02-07 Samsung Electronics Co., Ltd. Electronic device and content recognition information acquisition therefor

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008166988A (ja) * 2006-12-27 2008-07-17 Sony Corp 情報処理装置および方法、並びにプログラム
JP5010292B2 (ja) 2007-01-18 2012-08-29 株式会社東芝 映像属性情報出力装置、映像要約装置、プログラムおよび映像属性情報出力方法
JP4846674B2 (ja) * 2007-08-14 2011-12-28 日本放送協会 静止画抽出装置及び静止画抽出プログラム
JP5444611B2 (ja) * 2007-12-18 2014-03-19 ソニー株式会社 信号処理装置、信号処理方法及びプログラム
JP4469905B2 (ja) 2008-06-30 2010-06-02 株式会社東芝 テロップ収集装置およびテロップ収集方法
JP2010109852A (ja) * 2008-10-31 2010-05-13 Hitachi Ltd 映像インデクシング方法、映像録画再生装置、及び映像再生装置
CN101764949B (zh) * 2008-11-10 2013-05-01 新奥特（北京）视频技术有限公司 一种基于区域划分的定时字幕的冲突检测方法
CN101764950B (zh) * 2008-11-10 2013-08-14 新奥特（北京）视频技术有限公司 一种基于区域划分的节目下字幕的冲突检测方法
JP4459292B1 (ja) * 2009-05-29 2010-04-28 株式会社東芝 テレビショッピング番組の検出方法およびこの方法を用いる映像装置
JP5675141B2 (ja) * 2010-03-29 2015-02-25 キヤノン株式会社 再生装置及び再生方法
US20130100346A1 (en) * 2011-10-19 2013-04-25 Isao Otsuka Video processing device, video display device, video recording device, video processing method, and recording medium
CN104598461B (zh) * 2013-10-30 2018-08-03 腾讯科技（深圳）有限公司 网络交互协议数据记录的方法和装置
US10065121B2 (en) 2013-10-30 2018-09-04 Tencent Technology (Shenzhen) Company Limited Method and apparatus for recording data of network interaction protocol
CN104469545B (zh) * 2014-12-22 2017-09-15 无锡天脉聚源传媒科技有限公司 一种检验视频片段切分效果的方法和装置
CN104469546B (zh) * 2014-12-22 2017-09-15 无锡天脉聚源传媒科技有限公司 一种处理视频片段的方法和装置
CN108683826B (zh) * 2018-05-15 2021-12-14 腾讯科技（深圳）有限公司 视频数据处理方法、装置、计算机设备和存储介质
JP7447422B2 (ja) 2019-10-07 2024-03-12 富士フイルムビジネスイノベーション株式会社 情報処理装置およびプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10112837A (ja) * 1996-10-07 1998-04-28 Nippon Telegr & Teleph Corp <Ntt> 映像目次生成表示方法および装置
JP2003298981A (ja) * 2002-04-03 2003-10-17 Oojisu Soken:Kk 要約画像作成装置、要約画像作成方法、要約画像作成プログラム、及び要約画像作成プログラムを記憶したコンピュータ読取可能な記憶媒体

Family Cites Families (89)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3596656A (en) * 1969-01-21 1971-08-03 Bernd B Kaute Fracture fixation device
US4040130A (en) * 1976-10-12 1977-08-09 Laure Prosthetics, Inc. Wrist joint prosthesis
US4156296A (en) * 1977-04-08 1979-05-29 Bio-Dynamics, Inc. Great (large) toe prosthesis and method of implanting
US4210317A (en) * 1979-05-01 1980-07-01 Dorothy Sherry Apparatus for supporting and positioning the arm and shoulder
CA1146301A (en) * 1980-06-13 1983-05-17 J. David Kuntz Intervertebral disc prosthesis
US4472840A (en) * 1981-09-21 1984-09-25 Jefferies Steven R Method of inducing osseous formation by implanting bone graft material
US4394370A (en) * 1981-09-21 1983-07-19 Jefferies Steven R Bone graft material for osseous defects and method of making same
US4693722A (en) * 1983-08-19 1987-09-15 Wall William H Prosthetic temporomanibular condyle utilizing a prosthetic meniscus
US4611581A (en) * 1983-12-16 1986-09-16 Acromed Corporation Apparatus for straightening spinal columns
US4805602A (en) * 1986-11-03 1989-02-21 Danninger Medical Technology Transpedicular screw and rod system
US5019081A (en) * 1986-12-10 1991-05-28 Watanabe Robert S Laminectomy surgical process
US4917701A (en) * 1988-09-12 1990-04-17 Morgan Douglas H Temporomandibular joint prostheses
DE3831657A1 (de) * 1988-09-17 1990-03-22 Boehringer Ingelheim Kg Vorrichtung zur osteosynthese und verfahren zu ihrer herstellung
CA2007210C (en) * 1989-05-10 1996-07-09 Stephen D. Kuslich Intervertebral reamer
US5015255A (en) * 1989-05-10 1991-05-14 Spine-Tech, Inc. Spinal stabilization method
US5000165A (en) * 1989-05-15 1991-03-19 Watanabe Robert S Lumbar spine rod fixation system
US5290558A (en) * 1989-09-21 1994-03-01 Osteotech, Inc. Flowable demineralized bone powder composition and its use in bone repair
US5236456A (en) * 1989-11-09 1993-08-17 Osteotech, Inc. Osteogenic composition and implant containing same
US5129900B1 (en) * 1990-07-24 1998-12-29 Acromed Corp Spinal column retaining method and apparatus
US5300073A (en) * 1990-10-05 1994-04-05 Salut, Ltd. Sacral implant system
DE69222004D1 (de) * 1991-06-25 1997-10-09 Microaire Surgical Instr Inc Prothese für ein metatarsal-phalangeales gelenk
US5603713A (en) * 1991-09-24 1997-02-18 Aust; Gilbert M. Anterior lumbar/cervical bicortical compression plate
US5314476A (en) * 1992-02-04 1994-05-24 Osteotech, Inc. Demineralized bone particles and flowable osteogenic composition containing same
US5314492A (en) * 1992-05-11 1994-05-24 Johnson & Johnson Orthopaedics, Inc. Composite prosthesis
US5312409A (en) * 1992-06-01 1994-05-17 Mclaughlin Robert E Drill alignment guide
US5501684A (en) * 1992-06-25 1996-03-26 Synthes (U.S.A.) Osteosynthetic fixation device
US5545165A (en) * 1992-10-09 1996-08-13 Biedermann Motech Gmbh Anchoring member
US6077262A (en) * 1993-06-04 2000-06-20 Synthes (U.S.A.) Posterior spinal implant
US5491882A (en) * 1993-12-28 1996-02-20 Walston; D. Kenneth Method of making joint prosthesis having PTFE cushion
US5879396A (en) * 1993-12-28 1999-03-09 Walston; D. Kenneth Joint prosthesis having PTFE cushion
US5738585A (en) * 1994-10-12 1998-04-14 Hoyt, Iii; Raymond Earl Compact flexible couplings with inside diameter belt support and lock-on features
US5609641A (en) * 1995-01-31 1997-03-11 Smith & Nephew Richards Inc. Tibial prosthesis
US5683391A (en) * 1995-06-07 1997-11-04 Danek Medical, Inc. Anterior spinal instrumentation and method for implantation and revision
US5643263A (en) * 1995-08-14 1997-07-01 Simonson; Peter Melott Spinal implant connection assembly
US5658338A (en) * 1995-09-29 1997-08-19 Tullos; Hugh S. Prosthetic modular bone fixation mantle and implant system
US5704941A (en) * 1995-11-03 1998-01-06 Osteonics Corp. Tibial preparation apparatus and method
US5766253A (en) * 1996-01-16 1998-06-16 Surgical Dynamics, Inc. Spinal fusion device
US5649930A (en) * 1996-01-26 1997-07-22 Kertzner; Richard I. Orthopedic centering tool
US5976133A (en) * 1997-04-23 1999-11-02 Trustees Of Tufts College External fixator clamp and system
FR2748387B1 (fr) * 1996-05-13 1998-10-30 Stryker France Sa Dispositif de fixation osseuse, en particulier au sacrum, en osteosynthese du rachis
MY119560A (en) * 1996-05-27 2005-06-30 Nippon Telegraph & Telephone Scheme for detecting captions in coded video data without decoding coded video data
US5811151A (en) * 1996-05-31 1998-09-22 Medtronic, Inc. Method of modifying the surface of a medical device
US5741255A (en) * 1996-06-05 1998-04-21 Acromed Corporation Spinal column retaining apparatus
US5741261A (en) * 1996-06-25 1998-04-21 Sdgi Holdings, Inc. Minimally invasive spinal surgical methods and instruments
US6019759A (en) * 1996-07-29 2000-02-01 Rogozinski; Chaim Multi-Directional fasteners or attachment devices for spinal implant elements
US5797911A (en) * 1996-09-24 1998-08-25 Sdgi Holdings, Inc. Multi-axial bone screw assembly
US5879350A (en) * 1996-09-24 1999-03-09 Sdgi Holdings, Inc. Multi-axial bone screw assembly
US5863293A (en) * 1996-10-18 1999-01-26 Spinal Innovations Spinal implant fixation assembly
JP3024574B2 (ja) * 1996-11-25 2000-03-21 松下電器産業株式会社 動画像検索装置
US6219382B1 (en) * 1996-11-25 2001-04-17 Matsushita Electric Industrial Co., Ltd. Method and apparatus for locating a caption-added frame in a moving picture signal
US5782833A (en) * 1996-12-20 1998-07-21 Haider; Thomas T. Pedicle screw system for osteosynthesis
US5776135A (en) * 1996-12-23 1998-07-07 Third Millennium Engineering, Llc Side mounted polyaxial pedicle screw
US6248105B1 (en) * 1997-05-17 2001-06-19 Synthes (U.S.A.) Device for connecting a longitudinal support with a pedicle screw
DE29710484U1 (de) * 1997-06-16 1998-10-15 Howmedica GmbH, 24232 Schönkirchen Aufnahmeteil für ein Haltebauteil eines Wirbelsäulenimplantats
US5891145A (en) * 1997-07-14 1999-04-06 Sdgi Holdings, Inc. Multi-axial screw
US6749361B2 (en) * 1997-10-06 2004-06-15 Werner Hermann Shackle element for clamping a fixation rod, a method for making a shackle element, a hook with a shackle element and a rode connector with a shackle element
FR2770767B1 (fr) * 1997-11-10 2000-03-10 Dimso Sa Implant pour vertebre
US6366699B1 (en) * 1997-12-04 2002-04-02 Nippon Telegraph And Telephone Corporation Scheme for extractions and recognitions of telop characters from video data
FR2771918B1 (fr) * 1997-12-09 2000-04-21 Dimso Sa Connecteur pour dispositif d'osteosynthese rachidienne
US6010503A (en) * 1998-04-03 2000-01-04 Spinal Innovations, Llc Locking mechanism
US6090111A (en) * 1998-06-17 2000-07-18 Surgical Dynamics, Inc. Device for securing spinal rods
US6565565B1 (en) * 1998-06-17 2003-05-20 Howmedica Osteonics Corp. Device for securing spinal rods
US6231575B1 (en) * 1998-08-27 2001-05-15 Martin H. Krag Spinal column retainer
US6214012B1 (en) * 1998-11-13 2001-04-10 Harrington Arthritis Research Center Method and apparatus for delivering material to a desired location
US6050997A (en) * 1999-01-25 2000-04-18 Mullane; Thomas S. Spinal fixation system
US6086590A (en) * 1999-02-02 2000-07-11 Pioneer Laboratories, Inc. Cable connector for orthopaedic rod
EP1164955A1 (en) * 1999-04-05 2002-01-02 Surgical Dynamics, Inc. Artificial spinal ligament
US6200322B1 (en) * 1999-08-13 2001-03-13 Sdgi Holdings, Inc. Minimal exposure posterior spinal interbody instrumentation and technique
US6811567B2 (en) * 1999-10-22 2004-11-02 Archus Orthopedics Inc. Facet arthroplasty devices and methods
US7691145B2 (en) * 1999-10-22 2010-04-06 Facet Solutions, Inc. Prostheses, systems and methods for replacement of natural facet joints with artificial facet joint surfaces
US20050027361A1 (en) * 1999-10-22 2005-02-03 Reiley Mark A. Facet arthroplasty devices and methods
US7674293B2 (en) * 2004-04-22 2010-03-09 Facet Solutions, Inc. Crossbar spinal prosthesis having a modular design and related implantation methods
ES2298675T3 (es) * 1999-10-22 2008-05-16 Archus Orthopedics Inc. Dispositivos de artroplastia facetaria.
US20040125877A1 (en) * 2000-07-17 2004-07-01 Shin-Fu Chang Method and system for indexing and content-based adaptive streaming of digital video content
US8872979B2 (en) * 2002-05-21 2014-10-28 Avaya Inc. Combined-media scene tracking for audio-video summarization
US20040230304A1 (en) * 2003-05-14 2004-11-18 Archus Orthopedics Inc. Prostheses, tools and methods for replacement of natural facet joints with artifical facet joint surfaces
JP2004343352A (ja) * 2003-05-14 2004-12-02 Sony Corp 電子機器装置及びテロップ情報処理方法
WO2005002231A1 (ja) * 2003-06-27 2005-01-06 Hitachi, Ltd. 映像編集装置
CN1816879A (zh) * 2003-07-03 2006-08-09 松下电器产业株式会社 视频处理装置、视频处理装置的ic电路、视频处理方法和视频处理程序
US7074238B2 (en) * 2003-07-08 2006-07-11 Archus Orthopedics, Inc. Prostheses, tools and methods for replacement of natural facet joints with artificial facet joint surfaces
JP2005080209A (ja) * 2003-09-03 2005-03-24 Ntt Comware Corp 動画分割方法、動画分割装置、マルチメディア用検索インデックス付与装置、および動画分割プログラム
US7051451B2 (en) * 2004-04-22 2006-05-30 Archus Orthopedics, Inc. Facet joint prosthesis measurement and implant tools
US7406775B2 (en) * 2004-04-22 2008-08-05 Archus Orthopedics, Inc. Implantable orthopedic device component selection instrument and methods
JP2008510518A (ja) * 2004-08-18 2008-04-10 アーカス・オーソペディクス・インコーポレーテッド 隣接するレベルの関節の小関節面形成装置、脊柱安定化システム及び方法
US20060041311A1 (en) * 2004-08-18 2006-02-23 Mcleer Thomas J Devices and methods for treating facet joints
US8126055B2 (en) * 2004-08-19 2012-02-28 Pioneer Corporation Telop detecting method, telop detecting program, and telop detecting device
US20060079895A1 (en) * 2004-09-30 2006-04-13 Mcleer Thomas J Methods and devices for improved bonding of devices to bone
US20060085075A1 (en) * 2004-10-04 2006-04-20 Archus Orthopedics, Inc. Polymeric joint complex and methods of use
EP1865891B1 (en) * 2005-03-22 2017-05-03 Gmedelaware 2 LLC Minimally invasive spine restoration devices

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10112837A (ja) * 1996-10-07 1998-04-28 Nippon Telegr & Teleph Corp <Ntt> 映像目次生成表示方法および装置
JP2003298981A (ja) * 2002-04-03 2003-10-17 Oojisu Soken:Kk 要約画像作成装置、要約画像作成方法、要約画像作成プログラム、及び要約画像作成プログラムを記憶したコンピュータ読取可能な記憶媒体

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11575962B2 (en) 2018-05-21 2023-02-07 Samsung Electronics Co., Ltd. Electronic device and content recognition information acquisition therefor
US11190837B2 (en) 2018-06-25 2021-11-30 Samsung Electronics Co., Ltd. Electronic apparatus and controlling method thereof
US11184670B2 (en) 2018-12-18 2021-11-23 Samsung Electronics Co., Ltd. Display apparatus and control method thereof

Also Published As

Publication number Publication date
WO2006126391A1 (ja) 2006-11-30
JP4613867B2 (ja) 2011-01-19
KR20080007424A (ko) 2008-01-21
US20090066845A1 (en) 2009-03-12
JP2007006454A (ja) 2007-01-11

Similar Documents

Publication Publication Date Title
KR101237229B1 (ko) 콘텐츠 처리 장치 및 콘텐츠 처리 방법
US7894709B2 (en) Video abstracting
US7587124B2 (en) Apparatus, method, and computer product for recognizing video contents, and for video recording
US20050264703A1 (en) Moving image processing apparatus and method
US8214368B2 (en) Device, method, and computer-readable recording medium for notifying content scene appearance
US20080044085A1 (en) Method and apparatus for playing back video, and computer program product
KR20040070269A (ko) 광고방송 및 다른 비디오 콘텐츠의 검출을 위한 패밀리히스토그램 기반으로 한 기술들
JP2003101939A (ja) 映像情報要約装置、映像情報要約方法及び映像情報要約プログラム
KR20010089770A (ko) 동적 임계치를 사용하는 비주얼 인덱싱 시스템에 대한중요 장면 검출 및 프레임 필터링
JP2010074518A (ja) 番組推奨装置
KR20060027826A (ko) 비디오 처리장치, 비디오 처리장치용 집적회로, 비디오처리방법, 및 비디오 처리 프로그램
US20090196569A1 (en) Video trailer
JP2007274154A (ja) 映像分割装置、テロップ抽出装置、方法およびプログラム
KR20030026529A (ko) 키프레임 기반 비디오 요약 시스템
US20100259688A1 (en) method of determining a starting point of a semantic unit in an audiovisual signal
EP1293914A2 (en) Apparatus, method and processing program for summarizing image information
CN100551014C (zh) 内容处理设备、处理内容的方法
KR20090089878A (ko) 개요 및 리포트를 이미 포함하는 시청각 도큐먼트의 새로운 개요를 생성하기 위한 방법 및 상기 방법을 구현할 수 있는 수신기
JP2000023062A (ja) ダイジェスト作成システム
US20080266319A1 (en) Video processing apparatus and method
JP2008153920A (ja) 動画像一覧表示装置
KR101401974B1 (ko) 녹화된 뉴스 프로그램들을 브라우징하는 방법 및 이를 위한장치
JP2006157108A (ja) 映像記録再生装置
Nakajima et al. Automatic anchorperson detection from an MPEG coded TV program
JP2007201815A (ja) 表示装置、再生装置、方法、及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee