KR20040045837A - 비디오 컨텐트로부터 이미지 추출 - Google Patents

비디오 컨텐트로부터 이미지 추출 Download PDF

Info

Publication number
KR20040045837A
KR20040045837A KR10-2004-7005578A KR20047005578A KR20040045837A KR 20040045837 A KR20040045837 A KR 20040045837A KR 20047005578 A KR20047005578 A KR 20047005578A KR 20040045837 A KR20040045837 A KR 20040045837A
Authority
KR
South Korea
Prior art keywords
template
field
broadcast program
demodulated
video
Prior art date
Application number
KR10-2004-7005578A
Other languages
English (en)
Other versions
KR100950170B1 (ko
Inventor
자네브스키앤젤
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20040045837A publication Critical patent/KR20040045837A/ko
Application granted granted Critical
Publication of KR100950170B1 publication Critical patent/KR100950170B1/ko

Links

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334—Recording operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4532—Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47214—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for content reservation or setting reminders; for requesting event notification, e.g. of sport results or stock market
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/475—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data
    • H04N21/4755—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data for defining user preferences, e.g. favourite actors or genre
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/782—Television signal recording using magnetic recording on tape

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Image Analysis (AREA)
  • Image Input (AREA)
  • Image Processing (AREA)

Abstract

이미지 템플리트들은, 유사성의 레벨을 결정시에 비교될 영역들의 공간 분배 및 컬러 특성들과, 비교시에 무시되는 예상 변화도의 화이트 영역들을 포함하는, 기록되기 원하는 비디오 컨텐트의 특성들을 규정한다. 각각의 이미지 템플리트는 계속 또는 미리 규정된 기간 동안 연관된 채널에 대한 필드들과 비교된다. 유사성의 적어도 임계 레벨을 갖는 연관된 채널 상에서 수신된 필드들은 연관된 오디오와 함께 저장된다.

Description

비디오 컨텐트로부터 이미지 추출{Image extraction from video content}
현대 텔레비전 방송 수신기들(예컨대, 텔레비전들, 위성, 지상 또는 케이블 수신기 유닛들, 셋톱 박스들, 및 심지어 비디오 카세트 레코더들 등)은 흔히, 마그네틱 디스크와 같은 인터넷 저장 디바이스, 또는 비디오 카세트 레코더(VCR)와 같은, 수신기에 의해 제어되는 외부 기록 디바이스에 수신된 컨텐트를 자동으로 기록할 수 있는 능력을 사용자에게 제공한다. 특정 기간 동안 특정 채널 상에 수신된 컨텐트를 기록하는 것 외에도, 많은 수신기들은 기록하는 동안 컨텐트 기반 제어를 허용한다.
종래의 컨텐트 기반 기록은 통상, 컨텐트 내에 삽입되거나 컨텐트와 함께 전송되는 컨텐트를 설명하는 문자 설명들 또는 제어 코드들과 같이, 컨텐트에 관한 주변 정보에 의존한다. 따라서, 예컨대 사용자는 컨텐트와 연관된 문자 설명 내의 키보드들의 존재에 기초하여, 또는 컨텐트와 함께 전송되는 미리 결정된 제어 코드들에 의해 식별된 컨텐트를 기록하기 위하여 수신기를 프로그램할 수 있다.
그러나, 그러한 메커니즘들은 컨텐트와 정확한 제어 코드들 또는 설명들의 가용성에 의해 제한된다. 컨텐트와 연관된 설명들은 사용자가 관련 매치들을 잘 식별하게 되는 키워드 검색을 분석하도록 하기 위해 충분히 상세한 설명을 포함할 수 있다. 예를 들면, 지역 뉴스 프로그램들과 연관된 설명들은 흔히, 단지 “뉴스”라고 제시하고, 광고들은 본래 설명되지 않는다. 더욱이, 설명들은 통상, 프로그램의 특정 부분이 기록되도록 하기에는 너무 일반적이다.
따라서, 본 기술 분야에서는 컨텐트와 연관된 주변 정보에만 의존하지 않는, 기록될 컨텐트의 엄격한 컨텐트 기반 식별이 필요하다.
본 발명은 일반적으로, 수신된 텔레비전 방송들로부터 선택된 컨텐트의 추출에 관한 것이며, 특히 기록될 수신된 컨텐트의 이미지 컨텐트 기반 선택(image content-based selection)을 위한 템플리트들의 사용에 관한 것이다.
도 1은 본 발명의 한 실시예에 따른 이미지 검출 및 선택적 추출을 포함하는 비디오 수신기를 도시한 도면.
도 2a 내지 도 2c는 본 발명의 한 실시예에 따른 비디오 정보 기록의 비디오 컨텐트 기반 제어에 사용하기 위한 샘플 이미지들 및 대응하는 템플리트를 도시한 도면들.
도 3은 본 발명의 한 실시예에 따른 방송 스트림으로부터 이미지 검출 및/또는 추출 처리의 고레벨 흐름도.
상술한 종래 기술의 결함들을 처리하기 위하여, 본 발명의 주목적은, 비디오 수신에 사용하기 위해, 유사성 레벨을 결정시에 비교될 영역들의 공간 분배(distribution) 및 컬러 특성들과, 비교시에 무시되는 예상 변화도의 화이트 영역들을 포함하는, 기록되기 원하는 비디오 컨텐트의 특성들을 규정하는 이미지 템플리트들을 제공하는 것이다. 각 이미지 템플리트는 계속 또는 미리 규정된 기간 동안에, 연관된 채널에 대한 필드들과 비교된다. 유사성의 적어도 임계 레벨을 갖는 연관된 채널 상에서 수신된 필드들은 연관된 오디오와 함께, 저장된다.
당업자가 다음에 오는 본 발명의 상세한 설명을 더 잘 이해할 수 있도록 본 발명의 특징들 및 기술적 이점들의 윤곽을 광범위하게 상술하였다. 본 발명의 청구항들의 주제를 구성하는 본 발명의 부가의 특징들 및 이점들은 이후에 기술될 것이다. 당업자는 본 발명의 동일 목적들을 실행하기 위해 수정하거나 다른 구조들을설계하는데 기본이 되는 개시된 특정 실시예 및 개념을 쉽게 사용할 수 있음을 인식할 것이다. 또한, 당업자는 그러한 등가의 구조들이 가장 광범위한 형태로 본 발명의 정신 및 범위를 벗어나지 않음을 알 것이다.
하기의 실시예를 시작하기 전에, 본 특허 문서 전반에 사용되는 특정 단어들 또는 구문들의 규정들을 기재하는 것이 유리할 수 있다: 용어 “포함(include 및 comprise)"뿐만 아니라 그 파생어는 제한 없는 포함을 의미하고; 용어 "또는(or)"은 및/또는 의미를 포함하고; 구문 "~와 연관된(associated with 및 associated therewith)"뿐만 아니라 그 파생어는 ~내에 포함, ~와 상호 접속, 구비, ~내에 포함, ~에 또는 ~와 접속, ~에 또는 ~와 결합, ~와 통신, ~와 합동, 인터리브, 병렬, ~에 가까운, ~에 또는 ~와 경계되는, 갖는, ~의 특성을 갖는, 등을 포함하는 의미일 수 있고; 용어 "제어기"는 임의의 디바이스, 시스템, 또는 적어도 하나의 동작을 제어하는 부분을 의미할 수 있으며, 그러한 디바이스는 하드웨어, 펌웨어, 소프트웨어 또는 그들의 적어도 두 개의 어떤 조합으로 구현된다. 임의의 특정 제어기와 연관된 기능이 국부적 또는 원격으로 집중 또는 분배될 수 있음을 주지해야 한다. 특정 단어들 및 구문들에 대한 규정들은 본 특허 문서 전체에 제공되며, 당업자는 그러한 규정들이 많이 적용되며, 대부분 그렇지 않으면, 앞의 예들뿐만 아니라 다음의 예들은 그러한 규정된 단어들 및 구문들을 사용함을 이해한다.
본 발명 및 그 이점들의 보다 완전한 이해를 위해, 첨부 도면들을 참조하여 다음의 설명들에서 참조 번호들이 만들어졌으며, 동일한 번호들은 동일한 대상들을 가리킨다.
하기에 논의되는 도 1 내지 도 3과, 본 발명의 원리들을 기술하는데 사용되는 다양한 실시예들은 단지 예시를 위한 것이며, 본 발명의 범위를 제한하도록 임의의 방식으로 구성되어서는 안 된다. 당업자는 본 발명의 원리들이 임의의 적당히 배열된 디바이스에서 구현될 수 있음을 이해한다.
도 1은 본 발명의 한 실시예에 따른 이미지 검출 및 선택적 추출을 포함하는 비디오 수신기를 도시한 것이다. 비디오 수신기(100)는 텔레비전, 셋톱 박스, 또는 디지털 비디오 케이블, 위성 또는 지상 방송 수신기이며, 이들은 수신된 방송 프로그램을 복조할 수 있는 동조기(도시되지 않음)를 포함한다. 당업자는 비디오 수신기의 전체 구조 및 동작이 본 명세서에 도시 또는 기술되지 않음을 인정할 것이다. 그러나, 본 발명은 종래의 비디오 수신기들에 관련하여 사용될 수 있으며, 본 발명의 이해를 위해서나 특이성을 위해 필요한 비디오 수신기 구조 및 동작만큼은 본명세서에 도시되고 기술된다.
비디오 수신기(100)는 펌웨어(101), 즉 비디오 수신기(100)의 동작 및 제어를 규정하는 소프트웨어와 하드웨어의 조합을 포함한다. 본 발명에서, 펌웨어(101)는 기록될 컨텐트의 컨텐트 기반 식별을 위해 사용되는 이미지 처리기(102)를 포함한다. 특히, 이미지 처리기(102)는 이미지 비교 능력들, 바람직하게는, 이미지들 중 한 이미지가 컬러 또는 선명도(sharpness)에서 왜곡을 포함하거나 다른 것에 대해 기울어지거나 오프셋되는 경우에도 이미지 매치들을 정확하게 식별할 수 있는 알고리즘을 포함한다. 이미지 매칭시에 컬러 히스토그램들 및 이미지 특징들의 공간 분배의 사용은 실질적으로 조사되어 왔고, 우수한 수행을 제공하는 알고리즘들이 개발되어 왔다. 그러한 능력들을 갖는 소프트웨어 비디오 처리 프로그램들은 상업적으로 사용 가능하다.
예시적 실시예에서의 수신기(100)는 또한, 방송 소스로부터의 비디오 정보 수신을 위한 접속(103)과, 비디오 수신기(100) 내에 포함되거나 또는 그에 결합된 비휘발성 메모리(107; 예컨대 플래시 메모리 또는 마그네틱 디스크)를 포함한다. 비휘발성 메모리(104)는 사용자에 의해 지정된 하나 이상의 템플리트들(106)과 매칭하는 수신된 비디오 정보 내의 비디오 컨텐트의 식별을 위해 이미지 처리기(102)에 의해 실행되는 프로그램(105)을 포함한다.
도 2a 내지 도 2c는 본 발명의 한 실시예에 따른 비디오 정보 기록의 비디오 컨텐트 기반 제어에 사용하기 위한 샘플 이미지들 및 대응하는 템플리트를 도시한 것이다. 도 2a 및 도 2b는 사용자가 기록하기 원하는 비디오 정보에 대한 샘플 비디오 이미지들이며, 본 예에서는 뉴스 일기 예보로부터 일기 상태들을 제공하기 위한 그래픽이다. 일기 예보를 포함하는 뉴스 프로그램을 시청할 수 없거나, 전체 예보를 시청할 수 없거나 또는 전체 뉴스 예보의 기록을 통해 고속-전송 검색(fast-forward search)할 수 없는 사용자는 그럼에도 불구하고 일기 예보를 시청하고 싶어 할 수 있다.
도 2a 및 도 2b의 이미지들(200, 201)은 대부분이 유사하며, 대응하는 이미지 템플리트(203)를 도출하는데 사용될 수 있다. 이미지 템플리트(203) 내의 화이트 영역들(204a 내지 204e)은 상이한 정보 또는 컨텐트가 나타날 수도 있는 변화도의 영역들을 나타내고, 매칭을 식별하기 위한 목적을 위해 수신된 비디오 정보와 비교하는 동안 무시된다. 예시적 실시예에서 사각형으로 도시되었지만, 204a 내지 204e로 도시된 화이트 공간들 또는 영역들은 임의의 형상일 수 있다.
이미지 템플리트(203)의 나머지(화이트 공간들 이 외)를 수신된 비디오 필드 또는 프레임과 비교함으로써 매치들이 식별된다. 수신된 필드 또는 프레임과 이미지 템플리트 사이에서 미리 결정된 유사성 정도가 검출되면, 매치는 결정된 것으로 고려된다.
특정 이미지 템플리트(203)는 공통 특성들을 식별하기 위하여 그래픽스 프로그램(도시되지 않음)을 사용하여 하나 이상 캡처링된 이미지들로부터 생성될 수 있거나, 두 개 이상 캡처링된 이미지들을 비교하는 템플리트 추출 처리를 실행하는 이미지 처리기(102)에 의해 생성될 수 있다. 프로그램 또는 프로그램들을 시청하는 동안, 사용자는 이미지 템플리트를 도출시에 캡처링 및 사용하기 위해 프로그램(들) 내의 프레임들을 지정할 수 있다.
도 2c에서의 이미지 템플리트(203)에 의해 도시된 형태인 이미지 템플리트들(106)은 유사성 정도를 위해 비교되는 영역들의 공간 분배 및 컬러 특성들을 규정한다. 도 2c의 예에서는 상대적으로 작은 화이트 영역들을 가진 전체 필드 이미지가 도시되지 않았지만, 이미지 템플리트(106)는 작은 필드의 특정 부분만을 포함할 수 있다(즉, 화이트 영역은 대부분의 필드를 커버한다). 예를 들면, 이미지 템플리트는, 스포츠 점수들, 주식 가격들, 또는 뉴스 하이라이트들의 실행 “표시기(ticker)"를 제공하는 필드의 하단을 가로지르는 바를 캡처링하도록 규정될 수 있다.
이미지 템플리트들(106)은 사용자에 의해 생성되거나, 비디오 정보가 수신되는 입력 접속(103)을 통해 비디오 수신기(100)에 전송될 수 있다. 즉, 템플리트들(106)은 원격으로 발생되어, 복조 또는 디스플레이될 비디오 프로그램과 동일한 방송 매체(즉, 케이블, 위성 또는 지상 방송, 또는 인터넷 스트리밍)를 사용하여, 또는 상이한 접속을 통하여 비디오 수신기(100)에 전송될 수 있다.
대부분의 현재 방송 매체들은 수백 개의 채널들을 포함하여, 모든 수신된 비실용적인 컨텐트와 이미지 템플리트들(106)의 비교를 하게 한다. 따라서, 프로그램(105)은 바람직하게, 채널, 시간 기간, 프로그램 이름, 설명, 및/또는 자막 키워드들(closed-caption keywords)과 같이, 기록될 컨텐트를 식별하기 위한 부가 정보를 각 템플리트(106)와 연관되어 포함한다. 그러한 부가 정보는, 대응하는 템플리트(106)가 비교되는 수신된 비디오 정보를 초기에 선택하기 위해 이미지 처리기(102)에 의해 사용된다. 외부 소스들로부터 제공된 템플리트들(106)은, 시청자들에 의해 사용 또는 수정될 수 있는 그러한 연관된 부가 정보로 묶일(bundle) 수 있다.
특정 템플리트(106)와 연관된 부가 정보는 바람직하게, 기록될 컨텐트를 포함하는 채널 및 프로그램 이름(들)을 포함하며, 이는 전자 프로그램 안내로부터 캡처링될 수도 있다. 부가 정보는 또한, 프로그램의 관련된 부분 또는 이웃하는 부분(들)으로부터 표준 고도화 텔레비전 시스템 위원회(ATSC : Advanced Television System Committee) 자막 텍스트로부터의 세그먼트 또는 키워드들을 포함할 수 있다. 예컨대, 도 2a 내지 도 2c의 예에서, 용어들 “일기” 및 “예보”는 자막 텍스트를 검색하기 위해 사용될 수 있다. 사용자가 이미지 템플리트들을 추출하기 위해 하나 이상 시청된 프로그램들의 부분들을 지정하는 경우, 자막 텍스트의 전처리는, 여러 예들에서 중지 단어들(stop-words)을 제거하고 자막 텍스트들의 교차(intersection)를 찾음으로써, 최소의 사용자 인터페이스 요구 조건들로 수동으로 처리될 수 있다.
템플리트들(108)과 연관된 부가 정보는, 대응하는 템플리트와의 비교를 위해 비디오 수신기(100)에 의해 복조되는 방송 컨텐트 또는 채널들의 선택 및 시간들을 제어하기 위해 프로그램(105)에 의해 사용된다. 자막 정보는 대응하는 템플리트와 비교되는 방송 컨텐트의 부분을 자막 텍스트 내의 키워드들의 검출 다음에 오는 미리 결정된 기간으로 또한 제한(narrow)할 수 있다.
상기 주지된 바와 같이, 템플리트들(106)은 비디오 수신기(100) 내에 생성되어, 방송 전송 또는 물리적 매체들(예컨대, CD-ROM)을 통해 가입자에게 분배되거나, 또는 다양한 소스들로부터 인터넷을 통해 다운로드될 수 있다. 예컨대, 광고자는 그 광고자에 의해 생성된 캡처 광고 방송들을 사용자에게 허용하는 템플리트들을 생성할 수 있다. 외부 비디오 수신기(100)에 의해 발생된 템플리트들은 최종 컨텐트에서 유사하지만, 큰 트레이닝 세트들로부터 도출될 수 있거나 삽입된 비디오 “키들(keys)” 또는 “워터마크들(watermarks)”(매치들의 신속한 식별을 위한 유일한 이미지 패턴들)을 가질 수도 있고, 따라서, 더 나은 정확성을 가질 수 있다.
템플리트(106), 및 비디오 수신기(100) 내에 발생한 것들뿐만 아니라 비디오 수신기(100) 외부로부터 수신된 연관된 부가 정보(채널 식별, 자막 키워드들 등)는 가입자에 의해 변경 또는 삭제될 수 있다. 이미지 템플리트들(106) 및 연관된 부과 정보 모두는 가입자에 의해 변경될 수 있다.
비디오 수신기(100)는 바람직하게, 템플리트들(106)의 저장소를 유지하고, 템플리트들과 적어도 하나의 선택된 들어오는 방송 컨텐트를 비교하기 위해 충분한 자원들(비휘발성 저장 장치, 처리기, 메모리 등)을 가질 수 있고, 수신된 방송 컨텐트로부터 추출된 매칭 이미지들을 저장한다. 비디오 수신기(100)가 유휴일 때, 이미지 처리기(102)는 하나 이상의 지정된 채널들을 스캐닝한다; 비디오 수신기(100)가 활성일 때(방송 컨텐트를 시청하기 위해 사용될 때), 이미지 처리기(102)는 적어도 시청된 채널을 스캐닝한다. 비디오 수신기(100) 내의 동조 능력들이 다중 채널들을 동시에 복조하도록 하면, 이미지 처리기(102)는 별도의 이미지 비교 처리들을 동시에 사용하여 다중 채널들을 스캐닝할 수 있다.
비디오 수신기(100) 내의 비휘발성 메모리(104)는 하드디스크 드라이브 또는 충분한 용량을 가진 다른 매체들이면, 매칭 이미지들을 포함하는 수신된 방송 프로그램은 기록된 컨텐트(107) 내에 저장된다. 그렇지 않으면, 비디오 수신기(100) 내의 유니버설 시리얼 버스(USB : universal serial bus) 포트와 같은 접속(도시되지 않음)은 비디오 카세트 레코더, 판독-기록 디지털 비디오 디스크(R-W DVD : read-write digital versatile disk) 유닛 또는 개인용 컴퓨터와 같은 외부 디바이스에 매칭 컨텐트를 보낼 수 있도록 할 수 있다.
저장된 이미지들 또는 이미지 시퀀스들(관련된 비디오 및/또는 자막 텍스트를 가진 또는 갖지 않은)은 시청할 가입자에 의해 기록된 컨텐트(107)로부터 검색될 수 있다. 그러한 이미지들은 템플리트들을 형성하기 위한 예들(포지티브 및 네거티브 모두) 로서 사용될 수 있다. 또한, 사용자는 이미지 저장소(107)의 컨텐트들을 관리할 수 있게 하여, 원하는 대로 선택된 이미지들을 저장 또는 삭제할 수도 있다. 부가적으로(또는 대안적으로), 자동 관리 기능이 제공되어 , 새로운 매치가 대응하는 템플리트에 대해 발견될 때까지 저장된 이미지(들)를 되거나, 사용자에 의해 선택된 영이 아닌 양의 정수인 N 개의 가장 최근 이미지들이 유지될 수 있다.
대안적인 실시예에서, 방송 서비스 제공기는 방송 서버측에서 가입자를 위해 이미지 추출을 수행하여, 방송 스트림 또는 인터넷과 같은 다른 분배 접속을 통해 비디오 수신기(100)에 결과 매치들을 전달할 수 있다.
도 3은 본 발명의 한 실시예에 따른 방송 스트림으로부터 이미지 검출 및/또는 추출 처리에 대한 고레벨 흐름도이다. 비디오 수신기(100) 또는 비디오 수신기(100)에 방송 프로그램을 전송하는 서버 내에서 실행될 수 있는 처리(300)는 예를 들면, 프로그램을 기록하기 위한 사용자 설정 파라미터들에 의해 기록될 컨텐트의 이미지 기반 선택의 개시로 시작한다(단계 301).
처리는 선택된 시작 시간에 도달했는지의 여부를 결정하는 선택적인 단계로 먼저 넘어갈 수 있다(단계 302). 기록을 위한 컨텐트의 이미지 기반 선택은 기록을 위한 컨텐트의 종래의 시간 기반 선택과 관련하여 사용될 수 있거나, 대안적으로, 계속 모니터링되는 하나 이상의 채널들로만 사용될 수 있다.
기록을 위한 수신된 방송 프로그램의 컨텐트 기반 선택이 개시된 후, 선택된 채널에 대해 수신된 제 1 필드(또는 프레임)가 복조되고(단계 303), 대응하는 템플리트와 비교된다(단계 304). 복조 필드와 템플리트 사이의 유사성이 미리 규정된 임계치를 초과하여, 매치가 식별된다면(단계 305), 복조 필드는 저장되거나, 아니면 사용자가 나중에 검색 및 시청하기 위해 기록된다. 그 다음, 처리는 선택된 채널에 대한 다음 필드를 복조하며, 그 처리(단계 303 내지 단계 306)는 반복된다. 템플리트와 매칭되는 것으로 발견된 다중의 연속적인 필드들은 연관된 오디오 및 선택적인 자막 텍스트와 함께, 사용자가 나중에 검색 및 시청하기 위해 비디오 클립으로 저장될 수 있다.
다중 채널들을 동시에 복조하기 위한 능력이 사용 가능하다면, 처리의 다수의 예들(단계 303 내지 단계 306)은 병렬로 실행된다. 선택적으로, 사용자 지정 종료 시간에 도달되었는지의 여부에 관련하여 복조가 이루어질 수 있으며, 사용자 지정 종료 시간에 도달되었다면, 처리는 중지된다(단계 308).
본 발명은, 컨텐트의 종래의 시간 및 채널 기반 및/또는 주변 텍스트 기반 선택 이외에 또는 그 대신에, 비디오 컨텐트에 기초하여 방송 프로그램 내의 컨텐트의 선택을 허용한다. 그러한 비디오 기반 컨텐트 선택을 위한 이미지 템플리트들은 예들로부터 도출될 수 있고, 사용자에 의해, 또는 비디오 수신기에 대한 대안적인 접속을 통하거나 방송 프로그램과 함께 템플리트들을 전송하는 외부 소스에 의해 발생된다. 매칭 프로그램은 사용자에 의해 후속 검색 및 시청하기 위해 저장된다. 프로그램의 하위 부분들(예컨대 일기 예보들)과 같이, 가입자가 특별히 선택할 수 없는 방송 프로그램의 특정 부분들은 수신된 컨텐트 내에서 식별되어 기록될 수 있다.
본 발명이 완전한 기능적 비디오 수신기에 대해 기술되었지만, 당업자는 본 발명의 메커니즘의 적어도 부분들이 다양한 형태의 명령들을 포함하는 기계 사용 가능한 매체의 형태로 분배될 수 있다는 것과, 본 발명이 실제로 분배를 실행하는데 사용되는 특정 형태의 신호 전달 매체에 상관없이 동일하게 적용된다는 것을 인식함을 주지하는 것이 중요하다. 기계 사용 가능한 매체들의 예들은, 판독 전용 메모리들(ROMs) 또는 삭제 가능한, 전기적으로 프로그램 가능한 판독 전용 메모리들(EEPROMs)과 같은 비휘발성, 하드-코딩형 매체들과, 플로피 디스크들, 하드 디스크 드라이브들 및 콤팩트 디스크 판독 전용 메모리들(CD-ROMs) 또는 디지털 비디오 디스크들(DVDs)과 같은 기록 가능형 매체들과, 디지털 및 아날로그 통신 링크들과 같은 전송형 매체들을 포함한다.
본 발명이 상세히 기술되었지만, 당업자는 본 명세서에 개시된 본 발명의 다양한 변경들, 대체들, 변형들, 향상들, 뉘앙스들, 단계적 변화들, 더 적은 형태들, 변경들, 수정들, 개선들 및 녹 오프들(knock-offs)이 가장 광범위한 형태로 본 발명의 정신 및 범위를 벗어나지 않고 이루어질 수 있음을 이해할 것이다.

Claims (10)

  1. 기록을 위한 프로그램의 비디오 컨텐트 기반 선택을 위한 시스템(100)에 있어서,
    방송 프로그램을 수신하는 접속(103); 및
    상기 수신된 방송 프로그램으로부터의 복조된 필드를, 기록되기 원하는 비디오 컨텐트의 특성들을 규정하는 템플리트(106)와 비교하고, 상기 필드와 상기 템플리트(106) 사이의 유사성의 적어도 임계 레벨을 결정하는 것에 응답하여 상기 필드를 저장하는 이미지 처리기(102)를 포함하는 비디오 컨텐트 기반 선택 시스템(100).
  2. 제 1 항에 있어서,
    상기 템플리트(106)는 유사성의 레벨을 결정하기 위해 상기 복조된 필드와 비교될 영역들의 공간 분배(distribution) 및 컬러 특성들을 규정하는, 비디오 컨텐트 기반 선택 시스템(100).
  3. 제 2 항에 있어서,
    상기 템플리트(106)는 상기 템플리트(106)를 상기 복조된 필드와 비교시에 무시되는 예상된 변화도의 화이트 영역들(204a 내지 204e)을 포함하는, 비디오 컨텐트 기반 선택 시스템(100).
  4. 제 1 항에 있어서,
    상기 이미지 처리기(102)는 선택된 채널에 대한 복조된 필드들을 상기 템플리트(106)와 계속 비교하는, 비디오 컨텐트 기반 선택 시스템(100).
  5. 제 1 항에 있어서,
    상기 이미지 처리기(102)는 미리 규정된 기간 동안 선택된 채널에 대한 복조된 필드들을 상기 템플리트(106)와 비교하는, 비디오 컨텐트 기반 선택 시스템(100).
  6. 제 1 항에 있어서,
    상기 이미지 처리기(102)는 연속적으로 복조된 필드들을 상기 템플리트(106)와 비교하고, 상기 템플리트(106)와의 유사성의 적어도 임계 레벨을 갖는 모든 복조된 필드들을 연관된 오디오와 함께 저장하는, 비디오 컨텐트 기반 선택 시스템(100).
  7. 제 1 항에 있어서,
    상기 이미지 처리기는 복수의 채널들 각각에 대한 복조된 필드들을 하나 이상의 템플리트들(106)로부터의 지정된 템플리트(106)와 비교하는, 비디오 컨텐트 기반 선택 시스템(100).
  8. 비디오 수신기(100)에 있어서,
    수신된 방송 프로그램으로부터 필드들을 복조하는 동조기;
    기록되기 원하는 비디오 컨텐트의 특성들을 규정하는 하나 이상의 템플리트들(106)을 포함하는 비휘발성 저장 장치(104); 및
    청구항 1에 따른 시스템을 포함하는 비디오 수신기(100).
  9. 기록을 위한 프로그램의 비디오 컨텐트 기반 선택 방법에 있어서,
    방송 프로그램으로부터 필드를 얻는 단계;
    상기 방송 프로그램으로부터의 필드를, 기록되기 원하는 비디오 컨텐트의 특성들을 규정하는 템플리트(106)와 비교하는 단계; 및
    상기 필드와 상기 템플리트(1060 사이의 유사성의 적어도 임계 레벨을 결정하는 것에 응답하여 상기 필드를 저장하는 단계를 포함하는 비디오 컨텐트 기반 선택 방법.
  10. 비디오 수신기(101)에서 사용하기 위한 데이터스트림에 있어서,
    선택된 방송 프로그램을 포함하는 방송 프로그램 스트림; 및
    기록되기 원하는 비디오 컨텐트의 특성들을 규정하는 적어도 하나의 템플리트(106)를 포함하고,
    상기 적어도 하나의 템플리트(106)는 상기 적어도 하나의 템플리트(106)와상기 방송 프로그램 스트림의 선택된 일부 내의 필드의 유사성에 기초하여, 기록하기 위한 상기 방송 프로그램 스트림의 일부를 선택하기 위하여 비디오 수신기(100)에 의해 사용되기에 적절한, 데이터스트림.
KR1020047005578A 2001-10-15 2002-09-23 비디오 컨텐트로부터의 이미지 추출 KR100950170B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US09/978,123 US7590333B2 (en) 2001-10-15 2001-10-15 Image extraction from video content
US09/978,123 2001-10-15
PCT/IB2002/003948 WO2003034720A2 (en) 2001-10-15 2002-09-23 Image extraction from video content

Publications (2)

Publication Number Publication Date
KR20040045837A true KR20040045837A (ko) 2004-06-02
KR100950170B1 KR100950170B1 (ko) 2010-03-30

Family

ID=25525808

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020047005578A KR100950170B1 (ko) 2001-10-15 2002-09-23 비디오 컨텐트로부터의 이미지 추출

Country Status (6)

Country Link
US (1) US7590333B2 (ko)
EP (1) EP1440572A2 (ko)
JP (1) JP2005506768A (ko)
KR (1) KR100950170B1 (ko)
CN (1) CN100469122C (ko)
WO (1) WO2003034720A2 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050012563A1 (en) * 2003-07-16 2005-01-20 Michael Kramer Method and system for the simulataneous recording and identification of audio-visual material
EP1721451A1 (en) * 2004-02-24 2006-11-15 Koninklijke Philips Electronics N.V. Video trailer
US8465365B2 (en) * 2007-06-05 2013-06-18 Game Changer, LLC Interactive multi-screen display
JP2009004872A (ja) * 2007-06-19 2009-01-08 Buffalo Inc ワンセグ放送受信装置、ワンセグ放送受信方法、およびワンセグ放送受信プログラムを記録した媒体
US10572735B2 (en) 2015-03-31 2020-02-25 Beijing Shunyuan Kaihua Technology Limited Detect sports video highlights for mobile computing devices
US10230860B2 (en) * 2016-08-08 2019-03-12 Kabushiki Kaisha Toshiba Authentication apparatus for carrying out authentication based on captured image, authentication method and server

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5901246A (en) 1995-06-06 1999-05-04 Hoffberg; Steven M. Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
US5767893A (en) * 1995-10-11 1998-06-16 International Business Machines Corporation Method and apparatus for content based downloading of video programs
JPH09149370A (ja) 1995-11-22 1997-06-06 Sigmax Kk 画像同定装置
JP2001186432A (ja) 1999-12-24 2001-07-06 Canon Inc 受信装置及び方法
US7054539B2 (en) 2000-02-09 2006-05-30 Canon Kabushiki Kaisha Image processing method and apparatus
JP2001285787A (ja) 2000-03-31 2001-10-12 Nec Corp 映像録画方法およびそのシステムとその記録媒体

Also Published As

Publication number Publication date
WO2003034720A2 (en) 2003-04-24
EP1440572A2 (en) 2004-07-28
JP2005506768A (ja) 2005-03-03
KR100950170B1 (ko) 2010-03-30
WO2003034720A3 (en) 2003-11-20
CN1568615A (zh) 2005-01-19
CN100469122C (zh) 2009-03-11
US7590333B2 (en) 2009-09-15
US20030072560A1 (en) 2003-04-17

Similar Documents

Publication Publication Date Title
US6469749B1 (en) Automatic signature-based spotting, learning and extracting of commercials and other video content
US11245952B2 (en) Apparatus, systems and methods for control of media content event recording
US6771885B1 (en) Methods and apparatus for recording programs prior to or beyond a preset recording time period
US8060609B2 (en) Systems and methods for determining attributes of media items accessed via a personal media broadcaster
US8214368B2 (en) Device, method, and computer-readable recording medium for notifying content scene appearance
US8327407B2 (en) Determination of receiving live versus time-shifted media content at a communication device
US7660514B2 (en) Video recorder and method for reserve-recording a broadcast program
US20070074097A1 (en) System and method for dynamic transrating based on content
KR20090067994A (ko) 디지털 티비 방송 제공 시스템과 디지털 티비 및 그 제어방법
JP2004528790A (ja) 番組開始及び終了区切りを検出する拡張ｅｐｇ
JP2008131413A (ja) 映像記録再生装置
KR100731379B1 (ko) 영상표시기기의 녹화정보 처리장치 및 방법
KR100950170B1 (ko) 비디오 컨텐트로부터의 이미지 추출
CN110089123B (zh) 录制方法、解码器盒及存储装置
US10104418B2 (en) Apparatus, systems and methods for control of media content event recording
KR101401974B1 (ko) 녹화된 뉴스 프로그램들을 브라우징하는 방법 및 이를 위한장치
KR101370904B1 (ko) 영상물의 녹화 방법 및 그 방법을 채용한 방송 수신기
KR100854593B1 (ko) 피브이알의 데이터 관리 방법

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
N231 Notification of change of applicant
E601 Decision to refuse application
J201 Request for trial against refusal decision
AMND Amendment
B701 Decision to grant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130304

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140228

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20150224

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20160218

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee