KR100950170B1 - 비디오 컨텐트로부터의 이미지 추출 - Google Patents

비디오 컨텐트로부터의 이미지 추출 Download PDF

Info

Publication number
KR100950170B1
KR100950170B1 KR1020047005578A KR20047005578A KR100950170B1 KR 100950170 B1 KR100950170 B1 KR 100950170B1 KR 1020047005578 A KR1020047005578 A KR 1020047005578A KR 20047005578 A KR20047005578 A KR 20047005578A KR 100950170 B1 KR100950170 B1 KR 100950170B1
Authority
KR
South Korea
Prior art keywords
template
demodulated
field
fields
regions
Prior art date
Application number
KR1020047005578A
Other languages
English (en)
Other versions
KR20040045837A (ko
Inventor
자네브스키앤젤
Original Assignee
아이피지 일렉트로닉스 503 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아이피지 일렉트로닉스 503 리미티드 filed Critical 아이피지 일렉트로닉스 503 리미티드
Publication of KR20040045837A publication Critical patent/KR20040045837A/ko
Application granted granted Critical
Publication of KR100950170B1 publication Critical patent/KR100950170B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334—Recording operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4532—Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47214—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for content reservation or setting reminders; for requesting event notification, e.g. of sport results or stock market
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/475—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data
    • H04N21/4755—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data for defining user preferences, e.g. favourite actors or genre
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/782—Television signal recording using magnetic recording on tape

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Image Analysis (AREA)
  • Image Input (AREA)
  • Image Processing (AREA)

Abstract

이미지 템플리트들은, 유사성의 레벨을 결정할 때 비교될 영역들의 공간 분배 및 컬러 특성들과, 비교시에 무시되는 예상 가변적 화이트 영역들(white regions)을 포함하는, 기록되기 원하는 비디오 컨텐트의 특성들을 규정한다. 각각의 이미지 템플리트는 계속 또는 미리 결정된 기간 동안 연관된 채널에 대한 필드들과 비교된다. 최소한 유사성의 임계 레벨을 갖는 연관된 채널 상에서 수신된 필드들은 연관된 오디오와 함께 저장된다.
이미지 추출, 비디오 컨텐트, 이미지 템플리트, 유사성, 공간 분배, 컬러 특성

Description

비디오 컨텐트로부터의 이미지 추출{Image extraction from video content}
본 발명은 일반적으로, 수신된 텔레비전 방송들로부터 선택된 컨텐트의 추출에 관한 것이며, 특히 기록될 수신된 컨텐트의 이미지 컨텐트 기반 선택(image content-based selection)을 위한 템플리트들(templates)의 사용에 관한 것이다.
현대 텔레비전 방송 수신기들(예컨대, 텔레비전들, 위성, 지상 또는 케이블 수신기 유닛들, 셋톱 박스들, 및 심지어 비디오 카세트 레코더들 등)은 흔히, 마그네틱 디스크와 같은 내부 저장 디바이스, 또는 비디오 카세트 레코더(VCR)와 같은, 수신기에 의해 제어되는 외부 기록 디바이스에 수신된 컨텐트를 자동으로 기록할 수 있는 능력을 사용자에게 제공한다. 특정 기간 동안 특정 채널 상에 수신된 컨텐트를 기록하는 것 외에도, 많은 수신기들은 기록하는 동안 컨텐트 기반 제어를 허용한다.
종래의 컨텐트 기반 기록은 통상, 컨텐트 내에 삽입되거나 컨텐트와 함께 전송되는 컨텐트를 설명하는 문자적 설명들 또는 제어 코드들과 같은, 컨텐트에 관한 주변 정보에 의존한다. 따라서, 예컨대, 사용자는 컨텐트와 연관된 문자적 설명 내의 키워드들의 존재에 기초하여, 또는 컨텐트와 함께 전송된 미리 결정된 제어 코드들에 의해 식별된 컨텐트를 기록하도록 수신기를 프로그래밍할 수 있다.
그러나, 그러한 메커니즘들은 컨텐트와 정확한 제어 코드들 또는 설명들의 가용성에 의해 제한된다. 컨텐트와 연관된 설명들은 사용자가 관련 매치들을 잘 식별하게 할 키워드 검색을 파싱(parsing)하기 위해 충분히 상세한 설명을 포함할 수 있다. 예를 들면, 흔히, 단지 "뉴스"라고 언급되는, 지역 뉴스 프로그램들 및 광고들과 연관된 설명들은 본래 절대로 설명되지 않는다. 더욱이, 설명들은 통상 프로그램의 특정 부분이 기록되도록 하기에는 너무 포괄적이다.
따라서, 본 기술 분야에서는 단지 컨텐트와 연관된 주변 정보에만 의존하지 않는, 기록될 컨텐트의 엄격한 컨텐트 기반 식별이 필요하다.
상술한 종래 기술의 결함들을 처리하기 위하여, 본 발명의 주목적은, 비디오 수신에 사용하기 위한, 비교시에 무시되는 예상되는 가변적 화이트 영역들(white regions)과 유사성의 레벨을 결정할 때 비교될 영역들의 공간 분배(spatial distribution) 및 컬러 특성들을 포함하는, 기록되기 원하는 비디오 컨텐트의 특성들을 규정하는 이미지 템플리트들을 제공하는 것이다. 각 이미지 템플리트는 계속적으로 또는 미리 결정된 기간 동안에, 연관된 채널에 대한 필드들과 비교된다. 적어도 유사성의 임계 레벨을 갖는, 연관된 채널 상에서 수신된 필드들은 연관된 오디오와 함께 저장된다.
당업자가 다음에 오는 본 발명의 상세한 설명을 더 잘 이해할 수 있도록 본 발명의 특징들 및 기술적 이점들을 광범위하게 상술하였다. 본 발명의 청구항들의 주제를 구성하는 본 발명의 부가의 특징들 및 이점들은 이후에 기술될 것이다. 당업자는 본 발명과 동일한 목적들을 실행하기 위해 다른 구조들을 수정하거나 설계하기 위해, 개시된 특정 실시예 및 개념을 기초로서 용이하게 사용할 수 있음을 인식할 것이다. 또한, 당업자는 그러한 등가의 구조들이 가장 광범위한 형태로 본 발명의 취지 및 영역을 벗어나지 않음을 알 것이다.
하기의 실시예를 시작하기 전에, 본 특허 문서 전반에 사용되는 특정 단어들 또는 구문들의 정의들을 설명하는 것이 유리할 것이다: 용어 "포함하다"뿐만 아니라 그것의 파생어는 제한이 없는 포함을 의미하고; 용어 "또는"은 및/또는 의미를 포함하고; 구문 "~와 연관된"뿐만 아니라 그것의 파생어는 ~내에 포함, ~와 상호 접속, 구비, ~내에 포함, ~에 또는 ~와 접속, ~에 또는 ~와 결합, ~와 통신, ~와 협동, 삽입, 병렬, ~에 가까운, ~에 또는 ~와 경계되는, 갖는, ~의 특성을 갖는, 등을 의미할 수 있고; 용어 "제어기"는 적어도 하나의 동작을 제어하는 임의의 디바이스, 시스템, 또는 그들의 일부분을 의미할 수 있으며, 그러한 디바이스는 하드웨어, 펌웨어, 소프트웨어 또는 그들의 적어도 두 개의 어떤 조합으로 구현된다. 임의의 특정 제어기와 연관된 기능은 국부적으로 또는 원격으로 집중화 또는 분산될 수 있음을 주지해야 한다. 특정 단어들 및 구문들에 대한 정의들은 본 특허 문서 전체에 제공되며, 당업자는 그러한 정의들이 그러한 정의된 단어들 및 구문들의 앞의 사용들뿐만 아니라 다음의 사용들에, 대부분은 아니더라도 많이 적용된다는 것을 이해할 것이다.
도 1은 본 발명의 한 실시예에 따른 이미지 검출부 및 선택적 추출부를 포함하는 비디오 수신기를 도시한 도면.
도 2a 내지 도 2c는 본 발명의 한 실시예에 따른 비디오 정보 기록의 비디오 컨텐트 기반 제어에 사용하기 위한 샘플 이미지들 및 대응하는 템플리트를 도시한 도면들.
도 3은 본 발명의 한 실시예에 따른, 방송 스트림으로부터의 이미지 검출 및/또는 추출의 처리에 대한 고레벨 흐름도.
본 발명 및 그 이점들의 보다 완벽한 이해를 위해, 첨부 도면들을 참조하여 다음의 설명들에서 참조 번호들이 만들어졌으며, 동일한 번호들이 동일한 대상들에 지정됐다.
본 특허 문서 내의 본 발명의 원리들을 설명하는데 사용되는 다양한 실시예들 및 하기에 논의되는 도 1 내지 도 3은 단지 예시이며, 본 발명의 범위를 제한하기 위한 임의의 방식으로 구성되어서는 안 된다. 당업자는 본 발명의 원리들이 임의의 적절히 구성된 디바이스에서 구현될 수 있음을 이해할 것이다.
도 1은 본 발명의 한 실시예에 따른 이미지 검출부 및 선택적 추출부를 포함하는 비디오 수신기에 대한 블럭도를 나타낸 것이다. 비디오 수신기(100)는 텔레비전, 셋톱 박스, 또는 디지털 비디오 케이블, 위성 또는 지상 방송 수신기이며, 이들은 수신된 방송 프로그래밍을 복조할 수 있는 동조기(도시되지 않음)를 포함한다. 당업자는, 비디오 수신기의 전체 구조 및 동작은 본 명세서에 도시 또는 설명되지 않음을 인식할 것이다. 그러나, 본 발명은 종래의 비디오 수신기들에 관련하여 사용될 수 있으며, 본 발명의 이해를 위해 필요하거나 본 발명에 고유한 비디오 수신기 구조 및 동작의 대부분은 본 명세서에서 도시 및 설명된다.
비디오 수신기(100)는 펌웨어(101), 즉, 비디오 수신기(100)의 동작 및 제어를 규정하는 소프트웨어와 하드웨어의 조합을 포함한다. 본 발명에서, 펌웨어(101)는 기록될 컨텐트의 컨텐트 기반 식별을 위해 사용되는 이미지 처리기(102)를 포함한다. 특히, 이미지 처리기(102)는 이미지 비교 능력들, 바람직하게는, 이미지들 중 한 이미지가 컬러 또는 선명도(sharpness)에서 왜곡을 포함하거나 다른 이미지에 대해 기울어지거나 오프셋되더라도 이미지 매칭들을 정확하게 식별해낼 수 있는 알고리즘을 포함한다. 이미지 매칭시에 이미지 특징들의 컬러 히스토그램들 및 공간 분배를 사용하는 것은 실질적으로 연구되어 왔고, 우수한 성과를 제공하는 알고리즘들이 개발되어 왔다. 그러한 능력들을 갖는 소프트웨어 비디오 처리 프로그램들은 상업적으로 사용가능하다.
예시적 실시예에서 수신기(100)는 또한 방송 소스로부터 비디오 정보를 수신하기 위한 접속부(103)와, 비디오 수신기(100) 내에 포함되거나 또는 그에 결합된 비휘발성 메모리(104; 예컨대 플래시 메모리 또는 마그네틱 디스크)를 포함한다. 비휘발성 메모리(104)는 사용자에 의해 지정된 하나 이상의 템플리트들(106)과 매칭하는 수신된 비디오 정보 내의 비디오 컨텐트의 식별을 위해 이미지 처리기(102)에 의해 실행되는 프로그램(105)을 포함한다.
도 2a 내지 도 2c는 본 발명의 한 실시예에 따른 비디오 정보 기록의 비디오 컨텐트 기반 제어에 사용하기 위한 샘플 이미지들 및 대응하는 템플리트를 도시한 것이다. 도 2a 및 도 2b는 사용자가 기록하길 원하는 비디오 정보에 대한 샘플 비디오 이미지들이며, 본 예에서는 뉴스 일기 예보로부터 일기 상태들을 제공하기 위한 그래픽이다. 일기 예보를 포함하는 뉴스 프로그램을 시청할 수 없거나, 전체 예보를 시청하는데에는 관심이 없거나, 또는 전체 뉴스 예보의 기록을 통한 고속-감기 검색(fast-forward search)에 관심이 없는 사용자라 할지라도 일기 예보를 시청하고 싶어할 수 있다.
도 2a 및 도 2b의 이미지들(200, 201)은 대부분 유사하며, 대응하는 이미지 템플리트(203)를 도출하는데 사용될 수 있다. 이미지 템플리트(203) 내의 화이트 영역들(204a 내지 204e)은 상이한 정보 또는 컨텐트가 나타날 수도 있는 가변적인 영역들을 나타내고, 매칭을 식별할 목적을 위해, 수신된 비디오 정보와 비교하는 동안 무시된다. 예시적 실시예에서 사각형으로 도시되었지만, 204a 내지 204e로 도시된 화이트 공간들 또는 영역들은 임의의 모양일 수 있다.
이미지 템플리트(203)의 나머지(화이트 공간들 이외)를 수신된 비디오 필드 또는 프레임과 비교함으로써 매칭들이 식별된다. 수신된 필드 또는 프레임과 이미지 템플리트 사이에 미리 결정된 정도의 유사성 검출되면, 매칭이 결정된 것으로 고려된다.
특정 이미지 템플리트(203)는 공통 특성들을 식별하기 위하여 그래픽스 프로그램(도시되지 않음)을 사용하여 하나 이상 캡처링된 이미지들로부터 생성될 수 있거나, 두 개 이상 캡처링된 이미지들을 비교하는 템플리트 추출 처리를 실행하는 이미지 처리기(102)에 의해 생성될 수 있다. 프로그램 또는 프로그램들을 시청하는 동안, 사용자는 이미지 템플리트의 도출시에 캡처링 및 사용하기 위한 프로그램(들) 내의 프레임들을 지정할 수 있다.
도 2c에서의 이미지 템플리트(203)에 의해 도시된 형태인 이미지 템플리트들(106)은 유사성의 정도를 위해 비교되는 영역들의 공간 분배 및 컬러 특성들을 규정한다. 도 2c의 예에서는 상대적으로 작은 화이트 영역들을 가진 전체 필드 이미지가 도시되어있지만, 이미지 템플리트(106)가 단지 작은 필드의 특정 부분만을 포함할 수도 있다(즉, 화이트 영역이 대부분의 필드를 커버함). 예를 들면, 이미지 템플리트는, 스포츠 점수들, 주가들, 또는 뉴스 하이라이트들의 동작중인 "표시기(ticker)"를 제공하는 필드의 하단에 걸친 바를 캡처링하도록 규정될 수 있다.
이미지 템플리트들(106)은 사용자에 의해 생성되거나, 비디오 정보가 수신되는 입력 접속부(103)를 통해 비디오 수신기(100)에 전송될 수 있다. 즉, 템플리트들(106)은 멀리 떨어진 곳에서 생성되어, 복조 또는 디스플레이될 비디오 프로그래밍과 동일한 방송 매체(즉, 케이블, 위성 또는 지상 방송, 또는 인터넷 스트리밍)를 사용하거나 또는 상이한 접속을 통해 비디오 수신기(100)에 전송될 수 있다.
대부분의 현재 방송 매체들은 수백 개의 채널들을 포함하여, 모든 수신된 비실용적인 컨텐트와 이미지 템플리트들(106)의 비교를 나타낸다. 따라서, 프로그램(105)은, 바람직하게, 채널, 시간 기간, 프로그램 이름 또는 설명, 및/또는 폐쇄 자막 키워드들(closed-caption keywords)과 같은 기록될 컨텐트를 식별하기 위한 부가적인 정보를 각 템플리트(106)와 연관시켜 포함한다. 그러한 부가적인 정보는, 대응하는 템플리트(106)가 비교되는 수신된 비디오 정보를 초기에 선택하기 위해 이미지 처리기(102)에 의해 사용된다. 외부 소스들로부터 제공된 템플리트들(106)은 시청자들에 의해 사용 또는 수정될 수 있는 그러한 연관된 부가 정보와 함께 묶일(bundle) 수 있다.
특정 템플리트(106)와 연관된 부가 정보는 바람직하게, 기록될 컨텐트를 포함하는 채널 및 프로그램 이름(들)을 포함하며, 이는 전자 프로그램 안내로부터 캡처링될 수도 있다. 부가 정보는 또한, 프로그램의 관련된 부분 또는 이웃하는 부분(들)으로부터 표준 ATSC(Advanced Television System Committee) 폐쇄 자막 텍스트로부터의 세그먼트 또는 키워드들을 포함할 수 있다. 예컨대, 도 2a 내지 도 2c의 예에서, "일기" 및 "예보"의 용어들이 폐쇄 자막 텍스트를 검색하기 위해 사용될 수 있다. 사용자가 이미지 템플리트들을 추출하기 위해 하나 이상 시청된 프로그램들 중 일부들을 지정하는 경우, 폐쇄 자막 텍스트의 전처리는 최소의 사용자 인터페이스 요구 조건들을 가지고 수동으로 처리되거나 불용어들(stop-words)을 제거하고 몇몇의 예들에 대한 폐쇄 자막 텍스트들의 교차(intersection)를 찾음으로써 자동으로 처리될 수 있다.
템플리트들(106)과 연관된 부가 정보는, 대응하는 템플리트와의 비교를 위해 비디오 수신기(100)에 의해 복조되는 방송 컨텐트 또는 채널들의 선택 및 타이밍들을 제어하기 위해 프로그램(105)에 의해 사용된다. 폐쇄 자막 정보는 대응하는 템플리트와 비교되는 방송 컨텐트의 부분을 폐쇄 자막 텍스트 내의 키워드들의 검출 다음에 오는 미리 결정된 기간으로 또한 제한(narrow)할 수 있다.
상기 주지된 바와 같이, 템플리트들(106)은 비디오 수신기(100) 내에 생성되어, 방송 전송 또는 물리적 매체들(예컨대, CD-ROM)을 통해 가입자에게 분배되거나, 또는 다양한 소스들로부터 인터넷을 통해 다운로드될 수 있다. 예컨대, 광고주는 그 광고주가 만든 캡처 광고 방송들(capture commerials)을 사용자에게 허용하는 템플리트들을 생성할 수 있다. 비디오 수신기(100) 외부에서 생성된 템플리트들은 최종 컨텐트에서는 유사하지만, 큰 트레이닝 세트들로부터 도출될 수 있거나 삽입된 비디오 "키들(keys)" 또는 "워터마크들(watermarks)"(매치들의 신속한 식별을 위한 고유한 이미지 패턴들)을 가질 수도 있고, 따라서, 더 나은 정확성을 가질 수 있다.
비디오 수신기(100) 내에 생성된 것들뿐만 아니라 비디오 수신기(100) 외부로부터 수신된 템플리트(106) 및 연관된 부가 정보(채널 식별, 폐쇄 자막 키워드들 등)는 가입자에 의해 변경 또는 삭제될 수 있다. 이미지 템플리트들(106) 및 연관된 부과 정보 모두는 가입자에 의해 변경될 수 있다.
비디오 수신기(100)는 바람직하게, 템플리트들(106)의 저장소를 보유하고, 템플리트들과 적어도 하나의 선택된 인입되는 방송 컨텐트를 비교하여 수신된 방송 컨텐트로부터 추출되는 매칭 이미지들을 저장하기에 충분한 자원들(비휘발성 저장 장치, 처리기, 메모리 등)을 갖는다. 비디오 수신기(100)가 유휴 상태일 때, 이미지 처리기(102)는 하나 이상의 지정된 채널들을 스캐닝하며; 비디오 수신기(100)가 활성 상태일 때(방송 컨텐트를 시청하기 위해 사용될 때), 이미지 처리기(102)는 적어도 시청되는 채널을 스캐닝한다. 비디오 수신기(100) 내의 동조 능력들이 다수의 채널들을 동시에 복조하도록 하면, 이미지 처리기(102)는 개별적인 이미지 비교 처리들을 동시에 사용하여 다수의 채널을 스캐닝할 수 있다.
비디오 수신기(100) 내의 비휘발성 메모리(104)가 충분한 용량을 가진 하드디스크 드라이브 또는 기타 매체들이면, 매칭 이미지들을 포함하는 수신된 방송 프로그래밍은 기록된 컨텐트(107) 내에 저장된다. 이와 달리, 비디오 수신기(100) 내의 유니버설 시리얼 버스(USB : universal serial bus) 포트와 같은 접속(도시되지 않음)이 비디오 카세트 레코더, 판독-기록 디지털 다기능 디스크(R-W DVD : read-write digital versatile disk) 유닛 또는 개인용 컴퓨터와 같은 외부 디바이스에 매칭 컨텐트를 보낼 수 있도록 할 수 있다.
저장된 이미지들 또는 이미지 시퀀스들(관련된 비디오 및/또는 폐쇄 자막 텍스트를 가진 또는 갖지 않은)은 가입자에 의해 시청하기 위해 기록된 컨텐트(107)로부터 검색될 수 있다. 그러한 이미지들은 템플리트들을 형성하기 위한 예들(포지티브 및 네거티브 모두)로서 사용될 수 있다. 또한, 사용자는 이미지 저장소(107)의 컨텐트들을 관리할 수 있게 되어 있어, 원하는 대로 선택된 이미지들을 저장 또는 삭제할 수도 있다. 부가적으로(또는 대안적으로), 자동 관리 기능이 제공되어, 대응하는 템플리트에 대한 새로운 매치가 발견될 때까지 저장된 이미지(들)가 남아있거나, 사용자에 의해 선택된 영이 아닌 양의 정수인 N 개의 가장 최근 이미지들이 남아있을 수 있다.
대안적인 실시예에서, 방송 서비스 공급자는 방송 서버측에서 가입자를 위해 이미지 추출을 수행하여, 방송 스트림 또는 인터넷과 같은 다른 분배 접속부를 통해 비디오 수신기(100)에 결과 매칭들을 전달할 수 있다.
도 3은 본 발명의 한 실시예에 따른, 방송 스트림으로부터의 이미지 검출 및/또는 추출 처리에 대한 고레벨 흐름도이다. 비디오 수신기(100) 또는 비디오 수신기(100)에 방송 프로그램을 전송하는 서버 내에서 실행될 수 있는 처리(300)는, 예를 들면, 프로그램을 기록하기 위한 사용자 설정 파라미터들에 의해 기록될 컨텐트의 이미지 기반 선택의 개시로 시작한다(단계 301).
처리는 선택된 시작 시간에 도달했는지의 여부를 판정하는 선택 단계로 먼저 넘어갈 수 있다(단계 302). 기록을 위한 컨텐트의 이미지 기반 선택은 기록을 위한 컨텐트의 종래의 시간 기반 선택과 관련하여 사용될 수 있거나, 대안적으로, 계속 모니터링되는 하나 이상의 채널들로만 사용될 수 있다.
기록을 위한 수신된 방송 프로그래밍의 컨텐트 기반 선택이 개시된 후, 선택된 채널에 대해 수신된 제 1 필드(또는 프레임)가 복조되고(단계 303), 대응하는 템플리트와 비교된다(단계 304). 복조된 필드와 템플리트 사이의 유사성이 미리 결정된 임계치를 초과하여 매칭이 식별된다면(단계 305), 복조된 필드는 저장되거나, 아니면 사용자가 나중에 검색 및 시청하기 위해 기록된다. 그 다음, 처리는 선택된 채널에 대한 다음 필드를 복조하고, 상기 처리(단계 303 내지 단계 306)가 반복된다. 템플리트와 매칭되는 것으로 발견된 다수의 연속적인 필드들은 연관된 오디오 및 선택적인 폐쇄 자막 텍스트와 함께, 사용자가 나중에 검색 및 시청하기 위해 비디오 클립으로 저장될 수 있다.
다수의 채널들을 동시에 복조하기 위한 능력이 사용 가능하다면, 처리의 다수의 인스턴스들(instances)(단계 303 내지 단계 306)은 병렬로 실행된다. 선택적으로, 사용자 지정 종료 시간에 도달되었는지의 여부가 판정되고, 사용자 지정 종료 시간에 도달되었다면, 처리는 중지된다(단계 308).
본 발명은, 컨텐트의 종래의 시간 및 채널 기반 및/또는 주변 텍스트 기반 선택 이외에 또는 그 대신에, 비디오 컨텐트에 기초하여 방송 프로그래밍 내의 컨텐트의 선택을 허용한다. 그러한 비디오 기반 컨텐트 선택을 위한 이미지 템플리트들은 예들로부터 도출될 수 있고, 사용자에 의해, 또는 비디오 수신기에 대한 대안적인 접속부를 통하거나 방송 프로그래밍과 함께 템플리트들을 전송하는 외부 소스에 의해 생성된다. 매칭 프로그래밍은 사용자에 의한 나중의 검색 및 시청을 위해 저장된다. 프로그램의 하위 부분들(예컨대, 일기 예보들) 또는 광고와 같이, 가입자가 달리 특별히 선택할 수 없는 방송 프로그램의 특정 부분들은 수신된 컨텐트 내에서 식별되어 기록될 수 있다.
본 발명이 완전한 기능적인(fully functional) 비디오 수신기의 문맥에서 기술되었지만, 당업자는 본 발명의 메커니즘의 적어도 일부분들이 다양한 형태의 명령들을 포함하는 기계 사용 가능한 매체의 형태로 분배될 수 있다는 것과, 본 발명이 실제로 분배를 실행하는데 사용되는 특정 형태의 신호 기록 매체에 상관없이 동일하게 적용된다는 것을 인식할 것임을 주지하는 것이 중요하다. 기계 사용 가능한 매체들의 예들은, 판독 전용 메모리들(ROMs) 또는 삭제 가능하고 전기적으로 프로그래밍 가능한 판독 전용 메모리들(EEPROMs)과 같은 비휘발성 하드-코딩형 매체들과, 플로피 디스크들, 하드 디스크 드라이브들 및 콤팩트 디스크 판독 전용 메모리들(CD-ROMs) 또는 디지털 다기능 디스크들(DVDs)과 같은 기록 가능형 매체들과, 디지털 및 아날로그 통신 링크들과 같은 전송형 매체들을 포함한다.
본 발명이 상세히 기술되었지만, 당업자는 본 명세서에 개시된 본 발명의 다양한 변경들, 대체물들, 변형들, 향상들, 뉘앙스들, 단계적 변화물들, 더 못한 형태들, 변경들, 수정들, 개선들 및 모조품들(knock-offs)이 본 발명의 취지 및 영역을 벗어나지 않고 가장 광범위한 형태로 이루어질 수 있음을 이해할 것이다.

Claims (10)

  1. 기록을 위한 프로그래밍의 비디오 컨텐트 기반 선택을 위한 시스템(100)에 있어서,
    방송 프로그래밍을 수신하기 위한 접속부(103)로서, 수신된 방송 프로그래밍은 복수의 복조된 필드들을 포함하는, 상기 접속부; 및
    상기 복수의 복조된 필드들의 복조된 필드를 기록되기 원하는 비디오 컨텐트의 특성들을 규정하는 템플리트(template)(106)와 비교하고, 상기 복조된 필드와 상기 템플리트(106) 사이의 유사성의 레벨을 결정하고, 상기 복조된 필드와 상기 템플리트(106) 사이의 상기 유사성의 레벨이 미리 결정된 임계치를 초과하면, 상기 복조된 필드를 저장하기 위한 이미지 처리기(102)를 포함하고,
    상기 템플리트(106)는
    a) 상기 복조된 필드 내의 예상되는 가변적 제 1 영역들(204a-204e); 및
    b) 2 이상의 상기 복조된 필드들 사이의 공통 특성들을 갖는 제 2 영역들을 포함하고,
    상기 제 1 영역들은 상기 템플리트(106)를 상기 복조된 필드와 비교할 때 무시되고, 상기 제 2 영역들은 상기 템플리트(106)를 상기 복조된 필드와 비교할 때 사용되는, 비디오 컨텐트 기반 선택 시스템(100).
  2. 제 1 항에 있어서,
    상기 템플리트(106)는 상기 유사성의 레벨을 결정하기 위해 상기 복조된 필드와 비교될 제 1 영역들의 공간 분배(distribution) 및 컬러 특성들을 규정하는, 비디오 컨텐트 기반 선택 시스템(100).
  3. 삭제
  4. 제 1 항에 있어서,
    상기 시스템은 상기 수신된 방송 프로그래밍에서 한 채널을 선택하기 위한 수단을 포함하고,
    상기 이미지 처리기(102)는 상기 선택된 채널에 대한 복조된 필드들을 상기 템플리트(106)와 연속적으로 비교하는, 비디오 컨텐트 기반 선택 시스템(100).
  5. 제 1 항에 있어서,
    상기 시스템은 상기 수신된 방송 프로그래밍에서 한 채널을 선택하기 위한 수단을 포함하고,
    상기 이미지 처리기(102)는 미리 결정된 기간 동안 상기 선택된 채널에 대한 복조된 필드들을 상기 템플리트(106)와 비교하는, 비디오 컨텐트 기반 선택 시스템(100).
  6. 제 1 항에 있어서,
    상기 이미지 처리기(102)는 연속적인 복조된 필드들을 상기 템플리트(106)와 비교하고, 최소한 상기 템플리트(106)와의 유사성의 임계 레벨을 갖는 모든 복조된 필드들을 연관된 오디오와 함께 저장하는, 비디오 컨텐트 기반 선택 시스템(100).
  7. 제 1 항에 있어서,
    상기 수신된 방송 프로그래밍은 복수의 채널들을 포함하고,
    상기 시스템은 복수의 템플리트들(106)을 저장하기 위한 수단을 포함하고,
    상기 이미지 처리기(102)는 상기 복수의 채널들에 대한 복조된 필드들을 상기 저장된 템플리트들(106)로부터의 지정된 템플리트들(106)과 비교하는, 비디오 컨텐트 기반 선택 시스템(100).
  8. 비디오 수신기에 있어서,
    상기 수신된 방송 프로그래밍으로부터의 필드들을 복조하기 위한 동조기(tuner);
    기록되기 원하는 비디오 컨텐트의 특성들을 규정하는 하나 이상의 템플리트들(106)을 포함하는 비휘발성 저장 장치(104); 및
    청구항 제 1 항에 따른 시스템을 포함하는, 비디오 수신기(100).
  9. 기록을 위한 프로그래밍의 비디오 컨텐트 기반 선택 방법에 있어서,
    방송 프로그래밍으로부터 필드를 얻는 단계;
    상기 방송 프로그래밍으로부터의 상기 필드와 기록되기 원하는 비디오 컨텐트의 특성들을 규정하는 템플리트(106)를 비교하는 단계;
    상기 필드와 상기 템플리트(106) 사이의 유사성의 레벨을 결정하는 단계; 및
    상기 필드와 상기 템플리트(106) 사이의 상기 유사성의 레벨이 미리 결정된 임계치를 초과하면 상기 필드를 저장하는 단계를 포함하고,
    상기 템플리트(106)는 상기 필드 내의 예상되는 가변적 제 1 영역들(204a-204e) 및 2 이상의 필드들 사이의 공통 특성들을 갖는 제 2 영역들을 포함하며, 상기 제 1 영역들(204a-204e)은 상기 템플리트(106)를 상기 필드와 비교할 때 무시되고, 상기 제 2 영역들은 상기 템플리트(106)를 상기 필드와 비교할 때 사용되는, 비디오 컨텐트 기반 선택 방법.
  10. 삭제
KR1020047005578A 2001-10-15 2002-09-23 비디오 컨텐트로부터의 이미지 추출 KR100950170B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US09/978,123 US7590333B2 (en) 2001-10-15 2001-10-15 Image extraction from video content
US09/978,123 2001-10-15
PCT/IB2002/003948 WO2003034720A2 (en) 2001-10-15 2002-09-23 Image extraction from video content

Publications (2)

Publication Number Publication Date
KR20040045837A KR20040045837A (ko) 2004-06-02
KR100950170B1 true KR100950170B1 (ko) 2010-03-30

Family

ID=25525808

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020047005578A KR100950170B1 (ko) 2001-10-15 2002-09-23 비디오 컨텐트로부터의 이미지 추출

Country Status (6)

Country Link
US (1) US7590333B2 (ko)
EP (1) EP1440572A2 (ko)
JP (1) JP2005506768A (ko)
KR (1) KR100950170B1 (ko)
CN (1) CN100469122C (ko)
WO (1) WO2003034720A2 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050012563A1 (en) * 2003-07-16 2005-01-20 Michael Kramer Method and system for the simulataneous recording and identification of audio-visual material
EP1721451A1 (en) * 2004-02-24 2006-11-15 Koninklijke Philips Electronics N.V. Video trailer
US8465365B2 (en) * 2007-06-05 2013-06-18 Game Changer, LLC Interactive multi-screen display
JP2009004872A (ja) * 2007-06-19 2009-01-08 Buffalo Inc ワンセグ放送受信装置、ワンセグ放送受信方法、およびワンセグ放送受信プログラムを記録した媒体
US10572735B2 (en) 2015-03-31 2020-02-25 Beijing Shunyuan Kaihua Technology Limited Detect sports video highlights for mobile computing devices
US10230860B2 (en) * 2016-08-08 2019-03-12 Kabushiki Kaisha Toshiba Authentication apparatus for carrying out authentication based on captured image, authentication method and server

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001186432A (ja) * 1999-12-24 2001-07-06 Canon Inc 受信装置及び方法
JP2001285787A (ja) * 2000-03-31 2001-10-12 Nec Corp 映像録画方法およびそのシステムとその記録媒体

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5901246A (en) 1995-06-06 1999-05-04 Hoffberg; Steven M. Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
US5767893A (en) * 1995-10-11 1998-06-16 International Business Machines Corporation Method and apparatus for content based downloading of video programs
JPH09149370A (ja) 1995-11-22 1997-06-06 Sigmax Kk 画像同定装置
US7054539B2 (en) 2000-02-09 2006-05-30 Canon Kabushiki Kaisha Image processing method and apparatus

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001186432A (ja) * 1999-12-24 2001-07-06 Canon Inc 受信装置及び方法
JP2001285787A (ja) * 2000-03-31 2001-10-12 Nec Corp 映像録画方法およびそのシステムとその記録媒体

Also Published As

Publication number Publication date
WO2003034720A2 (en) 2003-04-24
EP1440572A2 (en) 2004-07-28
KR20040045837A (ko) 2004-06-02
JP2005506768A (ja) 2005-03-03
WO2003034720A3 (en) 2003-11-20
CN1568615A (zh) 2005-01-19
CN100469122C (zh) 2009-03-11
US7590333B2 (en) 2009-09-15
US20030072560A1 (en) 2003-04-17

Similar Documents

Publication Publication Date Title
EP1138151B1 (en) Automatic signature-based spotting, learning and extracting of commercials and other video content
US8060609B2 (en) Systems and methods for determining attributes of media items accessed via a personal media broadcaster
US6771885B1 (en) Methods and apparatus for recording programs prior to or beyond a preset recording time period
US8661483B2 (en) Determination of receiving live versus time-shifted media content at a communication device
KR101348598B1 (ko) 디지털 티비 방송 제공 시스템과 디지털 티비 및 그 제어방법
US7707485B2 (en) System and method for dynamic transrating based on content
US8214368B2 (en) Device, method, and computer-readable recording medium for notifying content scene appearance
US7660514B2 (en) Video recorder and method for reserve-recording a broadcast program
US20070041706A1 (en) Systems and methods for generating multimedia highlight content
US20030050926A1 (en) Method of using transcript information to identifiy and learn commerical portions of a program
US20020188945A1 (en) Enhanced EPG to find program start and segments
JP2002517141A (ja) テレビジョン番組情報を自律的に決定するためのデータブロックアドレスメモリを有するテレビジョン信号処理装置
JP2008131413A (ja) 映像記録再生装置
JP2004517528A (ja) ビデオ番組が以前に記録されているかを判定するシステム及び方法
KR100988255B1 (ko) 정보 처리 장치 및 방법, 및 프로그램이 기록된 컴퓨터로 판독가능한 매체
KR100950170B1 (ko) 비디오 컨텐트로부터의 이미지 추출
JP2002354391A (ja) 番組信号の記録方法、及び記録番組制御信号の伝送方法
US10178415B2 (en) Chapter detection in multimedia streams via alignment of multiple airings
KR101370904B1 (ko) 영상물의 녹화 방법 및 그 방법을 채용한 방송 수신기
KR100854593B1 (ko) 피브이알의 데이터 관리 방법
JP2001275052A (ja) コマーシャル情報受信装置
JP2005159978A (ja) テレビジョン放送受信装置

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
N231 Notification of change of applicant
E601 Decision to refuse application
J201 Request for trial against refusal decision
AMND Amendment
B701 Decision to grant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130304

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140228

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20150224

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20160218

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee