KR20070104609A - 콘텐트 아이템을 포함한 콘텐트 스트림을 분석하는 장치 및방법 - Google Patents

콘텐트 아이템을 포함한 콘텐트 스트림을 분석하는 장치 및방법 Download PDF

Info

Publication number
KR20070104609A
KR20070104609A KR1020077018910A KR20077018910A KR20070104609A KR 20070104609 A KR20070104609 A KR 20070104609A KR 1020077018910 A KR1020077018910 A KR 1020077018910A KR 20077018910 A KR20077018910 A KR 20077018910A KR 20070104609 A KR20070104609 A KR 20070104609A
Authority
KR
South Korea
Prior art keywords
content
indicator
remote
boundary
content stream
Prior art date
Application number
KR1020077018910A
Other languages
English (en)
Inventor
얀 에이. 디. 네스바드바
드제브데트 부라저로빅
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20070104609A publication Critical patent/KR20070104609A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

본 발명은 콘텐트 아이템을 포함하는 콘텐트 스트림(201)을 분석하는 장치(300) 및 방법에 관한 것이며, 프로그래밍 가능한 장치를 가능하게 하는 컴퓨터 프로그램 제품에 관한 것이다. 장치는 콘텐트 스트림에서 콘텐트 아이템의 경계(221, 222)의 정확한 표시자를 식별하기 위한 콘텐트 분석 처리기(310)를 포함하며, 여기서 식별은 경계로부터 원격인 원격 표시자(231)를 결정하는 단계, 및 정확한 표시자를 식별하기 위해 원격 표시자로부터 시작하여 상기 경계를 향하는 콘텐트 스트림을 분석하는 단계를 포함한다.
콘텐트 아이템, 스트림, 콘텐트 분석, 원격

Description

콘텐트 아이템을 포함한 콘텐트 스트림을 분석하는 장치 및 방법{Apparatus and method for analyzing a content stream comprising a content item}
본 발명은 콘텐트 아이템을 포함하는 콘텐트 스트림을 분석하는 장치 및 방법에 관한 것이며, 프로그래밍 가능한 장치를 가능하게 하는 컴퓨터 프로그램 제품에 관한 것이다.
US2004/0078811A1은 수신기에 EPG 데이터(Electronic Program Guide)의 형태로 프로그램 시작 시간 및 프로그램 종료 시간에 관한 스케줄 데이터와 프로그램 콘텐트를 통신하기 위한 고아대역 통신 시스템을 개시한다. 프로그램이 방송된 후, 실제 프로그램의 방송 시작 및 종료 시간들은 부정확할 수 있는, EPG 데이터를 재정의하고, 방송 시스템에서의 프로그램의 실제 콘텐트를 찾기 위해 EPG 데이터와 비교된다. 실제 방송 시작 및 종료 시간들은 운용자들에 의해 수동으로 제공된다. 대안으로는, 자동화된 기술들이 실제 방송 시작 및 종료 시간들을 모니터링하기 위해 사용된다. 자동화된 기술들은 방송 시스템에서 어두워지는(fade-to-black) 프레임들의 검출을 포함한다.
실제 방송 시작 및 종료 시간들이 방송 시스템에서 여전히 신뢰성 있게 식별되지 못한다는 점이 US2004/0078811A1로부터 알려진 시스템의 문제점이다.
콘텐트 아이템을 포함하는 콘텐트 스트림을 분석하는 장치 및 방법을 제공하는 것이 바람직하며, 이것은 증가된 신뢰성을 갖는 콘텐트 아이템의 경계에 대한 정확한 표시자의 식별을 허용한다.
본 발명에 따르면, 방법은,
- 콘텐트 스트림에서 콘텐트 아이템의 경계의 정확한 표시자를 식별하기 위해 콘텐트 분석 처리기를 이용하는 단계를 포함하고, 상기 이용은,
- 상기 경계로부터 원격인 원격 표시자를 결정하는 단계, 및
- 상기 정확한 표시자를 식별하기 위해 상기 원격 표시자로부터 시작하여 상기 경계를 향하는 상기 콘텐트 스트림을 분석하기 위해 상기 콘텐트 분석 처리기를 이용하는 단계를 포함한다.
본 발명에서, 콘텐트 아이템의 경계에 대한 정확한 표시자는 초기 표시자에 기초하여 식별되며, 이것은 부정확할 수 있다. 초기 표시자, 예를 들면, EPG 데이터는 원격 표시자를 결정하고 초기 표시자의 방향으로 원격 표시자로부터의 콘텐트 스트림을 분석하는데 사용된다. 몇몇 지점에서, 콘텐트 아이템의 경계는 콘텐트 분석 처리기에 의해 발견되고 정확한 표시자가 수립된다.
초기 표시자는 콘텐트 스트림에서의 콘텐트 아이템의 경계에 대한 위치의 양호한 표시를 제공한다. 예를 들면, 원격 표시자는 콘텐트 아이템에서 초기 표시자로부터 5 또는 10분 거리라면, 콘텐트 아이템에 있다는 것은 신뢰할 만한다. 초기 표시자는 콘텐트 아이템의 시작 또는 종료를 표시할 수 있다. 예를 들면, 시작의 경우에, 원격 표시자는 원격 표시자가 콘텐트 아이템에 속하도록 초기 표시자보다 후에 있다. 그러므로, 콘텐트 스트림의 콘텐트 분석이 발견될 경계를 향하여 콘텐트 아이템 내에서 시작하는 것은 매우 신뢰할 만하다.
본 발명의 장치는,
- 상기 콘텐트 스트림에서 상기 콘텐트 아이템의 경계에 대한 정확한 표시자를 식별하고, 상기 식별은,
- 상기 경계로부터 원격인 원격 표시자를 결정하고,
- 상기 정확한 표시자를 식별하기 위해 상기 경계를 향해 상기 원격 표시자로부터 시작하는 상기 콘텐트 스트림을 분석하는 콘텐트 분석 처리기를 포함한다.
장치는 본 발명의 방법에 따라 기능한다.
본 발명의 이들 및 다른 양상들이 다음의 도면들을 참조하여, 예로서, 추가 설명 및 기술될 것이다.
도 1은 본 발명의 방법에 대한 실시예.
도 2는 콘텐트 스트림에서 콘텐트 아이템의 시간도로서, 상기 콘텐트 아이템의 경계에 대한 정확한 표시자의 검출이 콘텐트 분석 방법을 이용하여 EPG 데이터 를 기반으로 도시된다.
도 3은 본 발명에 따른 장치의 실시예에 대한 기능 블록도.
미디어 콘텐트 제공자들은 미리 콘텐트 아이템들의 방송을 스케줄링하고 콘텐트 아이템들을 방송하는 예상 시간들을 나타내는 스케줄 정보를 제공한다. 방송 시간들에서, 기대되지 않은 변화들이 스케줄에서 일어날 수 있고, 방송 콘텐트 아이템들의 수신자들은 이들 변화들을 일반적으로는 알지 못한다. 때때로, 방송 캐스터들은 예상된 방송 시간들을 정확하게 제공할 수 없다. 특정 콘텐트 아이템의 전송에서의 지연들이 또한 콘텐트 아이템의 방송 전에 트레일러 또는 광고의 최종적인 추가로 인하여 또는 축구 게임 또는 긴급 뉴스와 같은 라이브 이벤트의 콘텐트 아이템)의 지연 또는 연장으로 인하여 발생할 수 있다. 또한, 방송 캐스터가 정확한 방송 시간에 대해 수신인들에게 알리는 것은 불리할 수 있는데, 이는 예를 들면, 그 후 수신인들이 콘텐트 아이템들 간에 삽입된 광고를 더 이상 시청하지 않을 수 있기 때문이다. 그러나, 수신인들은 당연히 콘텐트 아이템들이 실제 전송되는 시간을 정확하게 알고자 한다. 콘텐트 아이템의 정확한 방송 시간, 즉 콘텐트 아이템의 정확한 시간 및 종료(경계들)를 안다면, 수신인들은 원하는 콘텐트 아이템을 포함하지 않는 콘텐트 스트림의 일부들을 레코딩 및/또는 시청하는 것을 피할 수 있다.
콘텐트 아이템은 적어도 하나의 조각, 또는 시각 정보(예로서, 비디오 이비 지들, 사진들, 그래픽들) 및 오디오 정보의 임의의 조합을 포함할 수 있다. 표현 "오디오 정보", 또는 "오디오 콘텐트"는 이후에 가청가능한 톤들, 침묵, 음성, 음악, 고요(tranquility), 외부 소음 등을 포함하는 오디오에 속하는 데이터로서 사용된다. 오디오 정보는 MPEG-1 층 II(mp3) 표준(동화상 전문가 그룹), AVI(오디오 비디오 인터리빙) 포맷, WMA(윈도우 미디어 오디오) 포맷 등과 같은 포맷들일 수 있다. 표현 "비디오 정보", 또는 "비디오 콘텐트"는 동화상, "정지 화상들", 비디오 텍스트 등과 같이 시청 가능한 데이터로서 사용된다. 비디오 데이터는 GIF(그래픽 인터체인지 포맷), JPEG(정지 화상 전문가 그룹), MPEG-4 등과 같은 포맷일 수 있다.
도 1은 본 발명의 방법에 대한 실시예를 도시하며, 여기서 콘텐트 스트림은 콘텐트 아이템의 경계들을 정확하게 검출하기 위해 분석된다. 단계 110에서, 콘텐트 스트림에서 콘텐트 아이템의 경계에 대한 초기 표시자는 예로써 방송캐스터로부터 콘텐트 아이템과 함께 또는 별도로 수신된다. 초기 표시자는 콘텐트 아이템의 대략적인 전송 시간을 나타낼 수 있다. 예를 들면, 이 기술분야에 알려져 있는 EPG(전자 프로그램 가이드) 데이터가 초기 표시자로서 사용될 수 있다. EPG 데이터는 일반적으로 TV 프로그램들의 시작 및 종료 방송 시간들에 대한 정보를 포함한다. EPG는 단지 예이며, 다른 서비스들, 즉 PDC/VPS 또는 예를 들면 인터넷상에 또는 그를 통해 이용가능한 다른 데이터베이스들로부터의 데이터가 예를 들면 시작 및 종료 시간들을 예로서 표시 또는 통신하기 위해 사용될 수 있다.
콘텐트 스트림은 임의의 방식, 예를 들면 위성, 지상, 케이블, 인터넷(스트 리밍, 주문형 비디오(Video On Demand), 피투피(peer-to-peer)) 또는 또 다른 링크를 통해 수신된 디지털 텔레비전 신호(예로서, 디지털 비디오 방송 포캣들 중 하나로)의 형태로 획득될 수 있다. 단계 120에서, 콘텐트 스트림은 초기 표시자에 기초하여 콘텐트 아이템의 경계에 대한 정확한 표시자를 식별하기 위해 콘텐트 분석 방법을 사용함으로써 분석된다. 콘텐트 분석 방법은 시작점을 결정하기 위해 초기 표시자를 이용하며, 따라서 콘텐트 스트림의 분석이 콘텐트 아이템의 경계를 신뢰성 있게 찾도록 시작되어야 한다. 콘텐트 분석 방법은 적절하게 구성된 (디지털) 처리기에 의해 수행될 수 있다.
원격 표시자는 단계 130에서 콘텐트 분석을 수행하기 위해 콘텐트 스트림에서의 시작점으로서 결정된다. 원격 표시자는 초기 표시자로부터 원격이다. 예를 들면, 콘텐트 스트림의 특정 부분은 콘텐트 아이템의 경계(즉, 초기 표시자)로서 EPG(또는 VHS 레코더들의 경우에서와 같이, 프로그램 전달 제어/비디오 프로그래밍 시스템에 의해) 데이터에 특정된 순간에 수신된다. 만일, 콘텐트 스트림의 특정 부분이 실제로 콘텐트 아이템에 속하지 않는다면, 콘텐트 아이템의 실제 경계로부터의 초기 표시자의 편차(deviation)는 예를 들면 15 초 내지 5 또는 그 이상의 분들(또는 예로서 많은 비디오 프레임들에 의해, 콘텐트 스트림의 각각의 부분)의 순서이다. (고정된 또는 가변) 임계값은 초기 표시자, 예를 들면 임계 기간 또는 비디오 프레임들의 임계 수로부터 신뢰성있는 거리를 제공하도록 설정될 수 있고, 그 후 콘텐트 스트림은 콘텐트 아이템에 속하는 것으로 간주된다. 원격 표시자는 초기 표시자에 의해 표시된 위치로부터, 임계값에 대해, 원격인 콘텐트 스트림에서의 위 치를 나타낼 수 있다. 콘텐트 아이템은 두 개의 경계들, 즉 시작 및 종료를 가지므로, 원격 표시자는 바람직하게는 (시작 및 종료) 초기 표시자에 의해 표시된 바와 같은 콘텐트 아이템의 외곽에 있지 않아야 한다. 그러므로, (고정된 또는 가변의) 임계값 후 수신된 콘텐트 스트림은 그로부터 콘텐트 분석을 시작하기 위해 신뢰할만하다.
초기 표시자는 유사성 기반 클러스터들을 발견하자마자 시작 참조로서만 사용되고, 초기 표시자는 보다 낮은 우선순위를 얻는다.
단계 140에서, 콘텐트 스트림은 분석되며, 대응하는 초기 표시자의 방향으로 원격 표시자에 의해 표시된 위치로부터 시작한다. 콘텐트 분석 방법은 콘텐트 아이템의 경계를 찾기 위해 콘텐트 스트림에 사용되며, 따라서 경계를 나타내는 정확한 표시자를 생성한다. 보통, 경계는 초기 표시자에 의해 주어진 부근에서의 콘텐트 스트림에서 발견될 것이다.
본 발명에 따르면, 엄격하게 말해서 원격 표시자를 결정하기 위해 초기 표시자를 얻는 것이 강제적이지 않다. 단계 110은 본 발명의 방법에서 선택적일 수 있고, 초기 표시자를 포함하는 EPG 데이터가 요구되지 않을 수 있다. 예를 들면, 사용자는 콘텐트 스트림에서의 위치를 수동으로 지정하게 할 수 있으며, 그것은 원격 표시자에 연관되는 것이다. 달리 말하면, 사용자는 예로서, 사용자에 따라 콘텐트 아이템이 방송될 수 있는 시간에, DVD에서의 시간을 수동으로 미리 설정함으로써 원격 표시자를 선택할 수 있다. 이러한 방식으로, 사용자는 DVD 레코더에 콘텐트 스트림이 DVD 레코더에 의해 미리 설정된 시간에 수신될 수 있음을 "알린다". DVD 레코더는 콘텐트 스트림을 분석하기 시작할 것이고, 콘텐트 아이템 경계들을 검출하기 위해 두 방향들(시간 뒤로 및 앞으로) 모두로 미리 설정된 시간(원격 표시자)에 대응하는 위치로부터 시작한다. 선택적으로, 콘텐트 스트림 방송을 실시간으로 수신하는 대신에, 콘텐트 스트림은 DVD 레코더에 의해 예로서 인터넷으로부터 미리 레코딩 및 다운로딩될 수 있다.
도 2는 예로서 EPG 데이터에서 초기 표시자에 의헤 제공된 바와 같이 콘텐트 스트림(201)에서의 콘텐트 아이템의 시작 시간(211) 및 종료 시간(212)을 나타내는 시간도이다. 콘텐트 아이템은 제 1 경계(221) 및 제 2 경계(222)를 가질 수 있으며, 각각 시작 시간(211) 및 종료 시간(212)으로부터 벗어난다. 도 2에 도시된 예에서, 콘텐트 아이템은 실제로 EPG 데이터에 미리 설정되고 표시된 것보다 다소 늦게 수신된다.
원격 표시자가 결정되기 전에, 콘텐트 스트림은 임의의 광고 시간(commercial break)이 일어나는지 여부를 확인하기 위해 시작 시간(211)에 대응하는 시작 위치로부터 종료 시간(212)에 대응하는 종료 위치로 처리될 수 있다. 이러한 확인은 또한 시작 시간 및 종료 시간의 밖에서 수행되는데, 이는 광고 시간이 시작 시감 또는 종료 시간에 가깝게 있을 수 있기 때문이다. 알려진 광고 검출 방법들은 광고 시간을 검출하는데 사용될 수 있다. 예를 들면, 광고 삽입(240)은 시작 및 종료 위치들 사이의 콘텐트 스트림에서 검출된다. 광고 삽입이 발견된 콘텐트 스트림의 일부는 실제 경계들을 검출하는 것에 대한 관심사가 아닐 수 있다. 그러므로, 광고 삽입의 일부는 추가적인 콘텐트 분석(부가적으로, 광고 삽입 주변의 특정 영역들은 추가적인 콘텐트 분석을 위해 "금지 영역들"로서 마킹될 수 있다)으로부터 배제될 수 있다. 예를 들면, 적절한 광고 검출 방법들 중 하나는, 프랑스, 안시, 지식 기반 시스템들에서의 불확실성의 처리 및 정보 처리에 관한(IPMU 2002), Proc. 9th Int에서 N. Dimitrova, S. Jeannin, J. Nesvadba, T. McGee, L. Agnihotri, G. Mekenkamp에 의해 'Real-time commercial detection using MPEG features', 페이지 481-486에서 설명된다.
원격 표시자는 초기 표시자에 의해 제공된 시작 시간 및 광고 삽입(240) 간의 콘텐트 스트림에서 수립된 것이다. 초기 표시자 및 원격 표시자 사이의 거리는 예를 들면 특정 방송캐스터의 EPG 데이터의 관찰된 평균 정확성에 기초하여 선택될 수 있는데, 즉 이것은 통계적으로 계산되거나 단지 개인의 개인 선택일 수 있다. 예를 들면, 원격 표시자(231)는 도 2에 도시된 바와 같이, 콘텐트 스트림에서의 광고 삽입(240)의 시작에 인접한다. 대안적으로, 고정된 시간 기간, 예를 들면 15초 내지 10분이 초기 표시자로부터 콘텐트 스트림에 취해질 수 있다. 또 다른 접근법에 있어서, 원격 표시자는 시작 시간(211) 및 종료 시간(212)(광고 블록 영역들을 배제하고) 사이의 중간에 있다.
더욱이, 콘텐트 스트림은 초기 표시자, 예로서 시작 시간(211)을 향해 원격 표시자(2301)에 의해 표시된 위치로부터 처리된다. 콘텐트 스트림은 콘텐트 아이템 및 다른 콘텐트 사이에서 이행(transition)이 발견되는 한 상이한 방식들로 분석될 수 있고, 콘텐트 아이템의 경계(221)가 검출된다.
본 발명의 일 실시예에서, 콘텐트 스트림은 2002년 8월 스위스, 로잔, IEEE International Conference on Multimedia and Expo, 1, pp. 89-92, Dirk Farin, Wolfgang Effelsberg, Peter H. N. de With에 의한 "Robust Clustering-Based Video-Summarization with Integration of Domain-Knowledge"로부터 알려진 샷 경계 검출(Shot Boundary Detection; SBD)를 사용함으로써 분석된다. 샷은 일반적으로 단일 카메라 동작에 의해 정의되도록 나타나는 연속하는 비디오 프레임들로 구성된다. 콘텐트 스트림에서 비디오 샷들 간의 경계들은 시각 파라미터들, 예로서 움직임 벡터들이 정지로부터 보다 흩어진 동작으로 변화하는 장소들(비디오 프레임들)로서 결정될 수 있다. 비디오 샷들의 경계들은 콘텐트 아이템의 경계를 나타낼 수 있다. 이러한 실시예에서, 콘텐트 스트림에서 시작 시간 위치(211)에 가장 가까운(가장 가까운 것들의 이웃에서), 샷들 간에 경계는 콘텐트 아이템의 (실제) 경계로서 선택될 수 있고, 따라서 정확한 표시자가 생성된다.
본 발명의 또 다른 실시예에서, 비디오 씬 경계 검출 방법은 원격 표시자(231)로부터 시작하는 콘텐트 스트림을 분석하는데 사용된다. 알려진 방법들은 씬 경계 검출에 사용될 수 있다. 예를 들면, 다음의 기사는 적절한 방법을 개시한다: 2004년 9월 13일 내지 15일, 폴란드, 포즈난, Proc. IEEE IWSSIP'04(Int. Workshop on Systems, Signals and Image Processing), pp. 235-238, J. Nesvadba, N. Louis, J. Benois-Pineau, M. Desainte-Catherine 및 M. Klein Middelink의 "Low-level cross-media statistical approach for semantic partitioning of audio-visual content in a home multimedia environment". 씬은 가능하게는 오디오에 의해 상관되는, 인접하는 비디오 샷들의 시퀀스(클러스터)에 대응할 수 있다. 씬 경계는 샷 경계의 동시 발생 및 오디오 침묵 시간(특정 기간의 오디오 침묵) 또는 임의의 다른 오디오 이행의 동시 발생으로서 검출될 수 있다. 신들 간의 경계는 정확한 표시자와 연관될 수 있다. 예를 들면, 초기 표시자 위치에 가장 가까운 씬 경계가 선택될 수 있다.
원칙적으로, 경계 및 정확한 표시자의 검출은 자동으로 수행된다. 그러나, 사용자는 비디오 샷 경계 또는 자동으로 선택된 가장 가까운 비디오 샷 또는 씬 경계와 상이한 씬 경계, 또는 (오디오 또는 비디오) 콘텐트 스트림에서의 임의의 다른 개별적인 이행을 수동으로 특정하는 것을 (입력 수단을 이용하여) 가능하게 할 것이다.
대안적으로, 가장 가까운 씬 경계 또는 가장 가까운 샷 경계를 선택하면, 샷 또는 씬 경계가 유사성 파라미터에 의해 콘텐트 아이템에 속하는지 여부가 결정된다. 예를 들면, 비디오 샷들은 만일 예로써 이들 샷들의 프레임들의 색상 히스토그램들이 유사하다면 동일한 콘텐트 아이템에 속하는 것으로 간주된다. 대안적으로, 비디오 샷들 또는 씬들은 만일 그것들이 동일한 오디오 장르 또는 일반적으로 클래스(예를 들어, 음성, 음악)의 오디오를 나타내면, 동일한 콘텐트 아이템에 속하는 것으로 간주된다. 그러므로, 원격 표시자로부터 시작하는 서로 유사한 콘텐트 블록들(즉, 콘텐트 시퀀스들, 예로서 비디오 샷들 또는 비디오 씬들)만이 동일한 콘텐트 아이템에 속하는 것으로 결정된다. 만일, 초기 표시자를 향해 원격 표시자로부터 시작한다면, 콘텐트 스트림에서의 몇몇 지점에서, 동일한 콘텐트 아이템에 속하는 콘텐트 블록들이 더 이상 검출되지 않을 것이며, 그 후 콘텐트 아이템의 경계가 그 지점에서 발견된다.
또 다른 실시예에서, 콘텐트 스트림은 초기 표시자를 향하여 원격 표시자로부터 시작하고 장르 분류 방법을 사용하여 분석하며, 장르들의 이행이 존재하는 콘텐트 스트림에서의 위치에 대응하는 콘텐트 아이템의 경계가 검출될 때까지, 콘텐트 아이템의 장르를 자동으로 결정한다. 적절한 알려진 장르 분류 방법은 예를 들면 WO03010715에 개시된 바와 같은 목적으로 사용된다. 예를 들면, 1998년, 10월 VLSI 신호 처리 시스템들에 대한 저널(멀티미디어 신호 처리에 대한 특별판) vol.20, 이슈 1-2, 페이지 61-79, Zhu Liu, Yao Wang, Tsuhan Chen에 의한 문서 "Audio feature extraction and analysis for scene segmentation and classification"은 광고들, 농구 게임들, 축구 게임들, 뉴스 리포트들, 및 날시 예보들과 같은 TV 장르를, 단지 오디오 특징들을 취하는 신경 네트워크 분류기를 이용하여 식별하는 방법을 설명한다. 오디오 및 시각 특징들 모두를 사용하는 통계 패턴 식별 방법들이 또한 사용될 수 있다.
본 발명의 일 실시예에서, 콘텐트 아이템의 경계는 본 출원인에 의해 출원된 PCT 출원 IB2004/051219에서 그 자체로 개시된 평균 비트레이트 검출기를 이용함으로써 콘텐트 스트림에서 검출될 수 있다. 평균 비트레이트가 초기 표시자를 향해 원격 표시자로부터 시작하여 계산될 수 있다. 디지털 비디오 스트림에서 콘텐트 아이템에 할당된 데이터의 레이트인, 비트레이트가 결정될 수 있다. 비트레이트는 디지털 스트림에서 부가 정보로서 표시될 수 있다. 예를 들면, 디지털 비디오 방송(DVB)에서, 특정 유형의 패킷들로 형성된 비디오, 오디오, 제어 데이터를 나르는 다수의 스트림들이 전송될 수 있다. 미리 결정된 또는 표시된 크기를 가진 패킷들에서의 비디오 데이터를 가지고, 비디오 스트림의 비트레이트를 결정하는 것이 가능하다. 평균 비트레이트는 다양한 방식으로, 예로써 간단히 연속하는 시간 기간 동안 계산될 수 있고, 대안적으로는 비트 레이트의 이동 평균이 결정될 수 있다. 물론, 시간에 걸친 비트 레이트의 값을 계산하는 다른 방식들이 관찰될 수 있다.
콘텐트 아이템의 경계는 예를 들면 미리 정해진 임계값을 초과하는 평균 비트레이트 값의 편차를 결정함으로써 평균 비트레이트의 변화를 검출하는 것에 기초하여 확인될 수 있고, 상기 평균 비트 레이트 값의 변화의 편차는 상기 값 등에 대한 특정 퍼센트를 초과한다. 평균 비트레이트 검출기는 평균 비트레이트 검출이 콘텐트 아이템의 경계를 검출하는데 있어 신뢰할 만하고 강력하다는 점에서 이점을 가진다. 시간 기간에 걸친 평균 비트레이트의 결정은 콘텐트의 유형에서의 실제 변화들을 나타내지 않는 변화들을 평활화한다.
또 다른 실시예에서, 콘텐트 아이템의 경계는 초기 표시자를 향하여 원결 표시자로부터 시작하는 콘텐트 스트림을 분석하기 위해 WO2004054256으로부터 본래 알려진 Film Mode Detector를 이용함으로써 결정된다. 검출기는 필름(프로그레시브) 모드 및 비디오(인터레이싱된) 모드 간을 구별할 수 있다. 헐리우드 피처 필름(feature film)은 필름 모드(3 대 2/2 대 2 풀 다운)에서 전체적으로 캡처될 수 있고, 필름에 인접한 삽입 아이템들이 비디오 모드(제작하는데 보다 저렴한)에서 캡처될 수 있다.
도 3은 콘텐트 아이템을 포함하는 콘텐트 스트림을 분석하기 위한 장치(300) 의 실시예를 도시한다. 장치는 콘텐트 스트림을 분석하기 위한 (디지털 데이터) 처리기(310)(즉, 콘텐트 분석 처리기), 선택적으로 수신기(320), 및 메모리 유닛(330)을 포함한다.
수신기(320)는 콘텐트 스트림, 예를 들면, 주문형 비디오 시스템들, 인터넷 무선 네트워크들 등에서 알려진 바와 같이, 인터넷으로부터 디지털 비디오 신호들 또는 디지털 텔레비전 신호들을 수신하도록 구성된다. 수신기(320)는 또한 초기 표시자를 포함하는, 데이터, 예를 들면 EPG 데이터를 획득하도록 구성된다. 메모리 유닛(330)은 처리기(310)에 액세스 가능한 콘텐트 스트림을 저장하도록 구성된다. 메모리 유닛은 알려진 RAM(랜덤 액세스 메모리) 메모리 모듈, 컴퓨터 하드 디스크 드라이버 또는 또 다른 저장 장치일 수 있다.
처리기(310)는 초기 표시자에 기초하여 원격 표시자를 결정하도록 구성된다. 원격 표시자가 결정되기 전에 수신되는 콘텐트 스트림은 메모리 유닛(330)에 버퍼링될 수 있다. 더욱이, 처리기는 정확한 표시자를 식별하기 위해 초기 표시자를 향하는 원격 표시자로부터의 콘텐트 스트림을 분석하도록 구성된다. 분석될 콘텐트 스트림은 메모리 유닛(330)으로부터 처리기(310)에 의해 액세스될 수 있다.
처리기(310)는 본 발명을 실행하도록 적절하게 구성되고 상기 방법을 참조하여 상술된 바와 같이 장치의 동작을 가능하게 하는 중앙 처리 유닛(CPU)일 수 있다. 처리기(310)는 장치의 기능을 인에이블하기 위해 적어도 하나의 명령을 메모리 유닛(330)으로부터 판독하도록 구성될 수 있다.
장치(300)는 콘텐트 스트림에서 콘텐트 아이템 경계들의 태그들을 포함하고 예를 들면 TV 세트로의 데이터 네트워크 또는 휴대용 PC를 통해 원격 클라이언트 장치(350)로 콘텐트 스트림을 재전송하도록 구성될 수 있다. 그러면, 장치는 예를 들면, 텔레비전 케이블 제공자의 서비스 제공자 장치에 포함될 수 있다.
대안적으로, 태그를 갖는 콘텐트 스트림은 장치(300)에 결합된 레코더(360)에 전달될 수 있다. 달리 말하면, 장치는 케이블을 갖는 텔레비전 세트(TV 세트), 위성 또는 다른 링크, 비디오 카세트 또는 HDD 레코더, 홈 시네마 시스템, iPronto 원격 제어 등과 같은 원격 제어 장치와 같은, 소비자 전자 장치들(또는 다목적 플랫폼/장치들) 중 임의의 하나에서 실행될 수 있다.
설명된 실시예들의 변이들 및 변경들은 본 발명의 개념의 범위 내에서 가능하다. 예를 들면, 콘텐트 스트림은 오디오 콘텐트 스트림일 수 있고, 적절한 오디오 콘텐트 분석 방법은 본 발명의 목적을 위해 이용될 수 있다.
처리기는 본 발명의 방법의 단계들의 실행을 가능하게 하는 소프트웨어 프로그램을 실행할 수 있다. 소프트웨어는 그것이 실행되는 것과 독립적으로 본 발명의 장치를 인에이블할 수 있다. 장치를 인에이블하기 위해, 처리기는 소프트웨어 프로그램을 예를 들면 다른(외부) 장치들로 전송할 수 있다. 독립적인 방법 청구항 및 컴퓨터 프로그램 제품 청구항은 소프트웨어가 소비자 전자 제품들에서 실행하기 위해 제조 또는 이용될 때 본 발명을 보호하기 위해 사용될 수 있다. 외부 장치는 블루투스, IEEE 802.1[a-g] 등과 같은 종래의 기술들을 이용하여 처리기에 연결될 수 있다. 처리기는 UPnP(Universal Plug and Play) 표준에 따른 외부 장치와 상호작용할 수 있다.
"컴퓨터 프로그램"은 플로피 디스크와 같은 컴퓨터 판독가능한 매체 상에 저장되고, 인터넷과 같은 네트워크를 통해 다운로드 가능하며, 임의의 다른 방식으로 매매가능한 임의의 소프트웨어 제품을 의미하는 것을 이해할 것이다.
다양한 프로그램 제품들이 본 발명의 시스템 및 방법의 기능들을 실행하고 하드웨어를 갖는 몇몇 방식들로 결합될 수 있으며, 또는 상이한 위치들에 위치될 수 있다. 본 발명은 몇몇 개별적인 요소들을 포함하는 하드웨어에 의해서 및 적절하게 프로그래밍된 컴퓨터에 의해 실행될 수 있다.

Claims (17)

  1. 콘텐트 아이템을 포함하는 콘텐트 스트림(201)을 분석하는 방법에 있어서,
    - 상기 콘텐트 스트림에서 상기 콘텐트 아이템의 경계(221, 222)의 정확한 표시자를 식별하기 위해 콘텐트 분석 처리기를 이용하는 단계를 포함하고, 상기 표시자 식별을 위한 콘텐트 분석 처리기 이용 단계는,
    - 상기 경계로부터 원격인 원격 표시자(231)를 결정하는 단계, 및
    - 상기 정확한 표시자를 식별하기 위해 상기 경계를 향하여 상기 원격 표시자로부터 시작하는 상기 콘텐트 스트림을 분석하기 위해 상기 콘텐트 분석 처리기를 이용하는 단계를 포함하는, 콘텐트 스트림 분석 방법.
  2. 제 1 항에 있어서,
    상기 원격 표시자는 사용자에 의해 선택가능한, 콘텐트 스트림 분석 방법.
  3. 제 1 항에 있어서,
    - 상기 콘텐트 스트림에서 상기 콘텐트 아이템의 상기 경계에 대한 초기 표시자(211, 212)를 수신하는 단계를 더 포함하는, 콘텐트 스트림 분석 방법.
  4. 제 3 항에 있어서,
    상기 원격 표시자는 상기 원격 표시자가 상기 초기 표시자로부터 원격이도록 상기 초기 표시자에 기초하여 결정되는, 콘텐트 스트림 분석 방법.
  5. 제 4 항에 있어서,
    상기 콘텐트 스트림은 분석되고, 상기 초기 표시자를 향하여 상기 원격 표시자로부터 시작하는, 콘텐트 스트림 분석 방법.
  6. 제 3 항에 있어서,
    상기 초기 표시자는 EPG 데이터인, 콘텐트 스트림 분석 방법.
  7. 제 3 항에 있어서,
    상기 초기 표시자는 사용자에 의해 선택가능한, 콘텐트 스트림 분석 방법.
  8. 제 1 항에 있어서,
    상기 콘텐트 분석 처리기는 상기 콘텐트 스트림의 장르를 자동으로 결정하고 상기 콘텐트 스트림에서 장르들의 변이를 검출하도록 구성되는, 콘텐트 스트림 분석 방법.
  9. 제 1 항에 있어서,
    상기 콘텐트 분석 처리기는,
    - 상기 콘텐트 스트림에서 콘텐트 블록들을 식별하고,
    - 상기 콘텐트 아이템에 속한다면 상기 콘텐트 블록들을 클러스터링하고,
    - 상기 콘텐트 아이템에 속하는 더 이상의 블록들이 확인되지 않는다면 상기 정확한 표시자와 경계 콘텐트 블록을 연관시키도록 구성된, 콘텐트 스트림 분석 방법.
  10. 제 3 항에 있어서,
    상기 정확한 표시자는 상기 콘텐트 스트림에서의 콘텐트 블록들 중 각각의 것에 대한 경계와 연관되고, 상기 경계는 상기 초기 표시자에 가장 가까운, 콘텐트 스트림 분석 방법.
  11. 제 9 항 또는 제 10 항에 있어서,
    상기 콘텐트 스트림은 비디오 스트림이고, 각각의 콘텐트 블록은 각각의 비디오 씬 또는 각각의 비디오 샷에 속하는, 콘텐트 스트림 분석 방법.
  12. 콘텐트 아이템을 포함하는 콘텐트 스트림(201)을 분석하기 위한 장치(300)에 있어서,
    상기 장치는,
    - 상기 콘텐트 스트림에서 상기 콘텐트 아이템의 경계(221, 222)에 대한 정확한 표시자를 식별하기 위한 콘텐트 분석 처리기(310)를 포함하고, 상기 식별은,
    - 상기 경계로부터 원격인 원격 표시자(231)를 결정하고,
    - 상기 정확한 표시자를 식별하기 위해 상기 경계를 향하여 상기 원격 표시자로부터 시작하는 상기 콘텐트 스트림을 분석하는 것을 포함하는, 콘텐트 스트림 분석 장치.
  13. 제 12 항에 있어서,
    상기 원격 표시자는 사용자에 의해 선택가능한, 콘텐트 스트림 분석 장치.
  14. 제 12 항에 있어서,
    상기 콘텐트 분석 처리기는 상기 콘텐트 스트림에서 상기 콘텐트 아이템의 상기 경계에 대한 초기 표시자(211, 212)를 수신하도록 구성되는, 콘텐트 스트림 분석 장치.
  15. 제 14 항에 있어서,
    상기 콘텐트 분석 처리기는 상기 원격 표시자가 상기 초기 표시자로부터 원격이도록 상기 초기 표시자에 기초하여 상기 원격 표시자를 결정하도록 구성되는,콘텐트 스트림 분석 장치.
  16. 제 15 항에 있어서,
    상기 콘텐트 분석 처리기는 상기 초기 표시자를 향하여 상기 원격 표시자로부터 시작하는 상기 콘텐트 스트림을 분석하도록 구성되는, 콘텐트 스트림 분석 장 치.
  17. 프로그래밍 가능한 장치를 인에이블하는 컴퓨터 프로그램 제품에 있어서,
    상기 제품의 컴퓨터 프로그램을 실행할 때, 제 1 항 내지 제 11 항 중 어느 한 항의 방법을 실행하는, 컴퓨터 프로그램 제품.
KR1020077018910A 2005-01-19 2006-01-17 콘텐트 아이템을 포함한 콘텐트 스트림을 분석하는 장치 및방법 KR20070104609A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP05100296 2005-01-19
EP05100296.2 2005-01-19

Publications (1)

Publication Number Publication Date
KR20070104609A true KR20070104609A (ko) 2007-10-26

Family

ID=36692609

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020077018910A KR20070104609A (ko) 2005-01-19 2006-01-17 콘텐트 아이템을 포함한 콘텐트 스트림을 분석하는 장치 및방법

Country Status (6)

Country Link
US (1) US20080189753A1 (ko)
EP (1) EP1842374A2 (ko)
JP (1) JP2008527940A (ko)
KR (1) KR20070104609A (ko)
CN (1) CN101107851B (ko)
WO (1) WO2006077533A2 (ko)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100094953A1 (en) * 2008-10-09 2010-04-15 Samsung Electronics Co., Ltd. Method and apparatus for transmitting/receiving broadcast data through peer-to-peer network
US8682145B2 (en) 2009-12-04 2014-03-25 Tivo Inc. Recording system based on multimedia content fingerprints
CN101964886A (zh) * 2010-09-03 2011-02-02 深圳创维数字技术股份有限公司 一种基于用户操作日志的epg校准***及方法
US8695054B2 (en) * 2010-09-29 2014-04-08 Verizon Patent And Licensing Inc. Ingesting heterogeneous video content to provide a unified video provisioning service
US9672688B2 (en) 2011-10-14 2017-06-06 Bally Gaming, Inc. System and method for cross platform persistent gaming sessions using a mobile device
US9767642B2 (en) 2011-10-14 2017-09-19 Bally Gaming, Inc. System and method for cross platform persistent gaming sessions using a mobile device
US20130097220A1 (en) * 2011-10-14 2013-04-18 Bally Gaming, Inc. Streaming bitrate control and management
US9659437B2 (en) 2012-09-28 2017-05-23 Bally Gaming, Inc. System and method for cross platform persistent gaming sessions using a mobile device
US20130237317A1 (en) * 2012-03-12 2013-09-12 Samsung Electronics Co., Ltd. Method and apparatus for determining content type of video content
EP2919510A1 (en) * 2014-03-10 2015-09-16 Telefonaktiebolaget L M Ericsson (publ) Technique for controlling bandwidth usage of an application using a radio access bearer on a transport network
US10091263B2 (en) 2014-05-21 2018-10-02 Audible Magic Corporation Media stream cue point creation with automated content recognition
US9621935B2 (en) * 2015-04-01 2017-04-11 Tribune Broadcasting Company, Llc Using bitrate data to output an alert indicating a functional state of back-up media-broadcast system
US9843837B2 (en) 2015-08-03 2017-12-12 At&T Intellectual Property I, L.P. Cross-platform analysis
US11863844B2 (en) * 2019-03-29 2024-01-02 Intel Corporation On-demand generation and personalization of video content

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0127329B1 (ko) * 1993-08-14 1997-12-29 구자홍 디씨티기반의 인트라프레임 동영상 압축을 위한 버퍼 제어장치
US6819863B2 (en) * 1998-01-13 2004-11-16 Koninklijke Philips Electronics N.V. System and method for locating program boundaries and commercial boundaries using audio categories
US6771885B1 (en) * 2000-02-07 2004-08-03 Koninklijke Philips Electronics N.V. Methods and apparatus for recording programs prior to or beyond a preset recording time period
JP2001291295A (ja) * 2000-04-04 2001-10-19 Toshiba Corp 映像録画装置及び映像録画再生装置
US7013477B2 (en) * 2000-05-25 2006-03-14 Fujitsu Limited Broadcast receiver, broadcast control method, and computer readable recording medium
US7035526B2 (en) * 2001-02-09 2006-04-25 Microsoft Corporation Advancing playback of video data based on parameter values of video data
US6714594B2 (en) * 2001-05-14 2004-03-30 Koninklijke Philips Electronics N.V. Video content detection method and system leveraging data-compression constructs
US20020188945A1 (en) * 2001-06-06 2002-12-12 Mcgee Tom Enhanced EPG to find program start and segments
US6901603B2 (en) * 2001-07-10 2005-05-31 General Instrument Corportion Methods and apparatus for advanced recording options on a personal versatile recorder
US7107608B2 (en) * 2001-10-01 2006-09-12 Microsoft Corporation Remote task scheduling for a set top box
US7904936B2 (en) * 2002-10-18 2011-03-08 Time Warner Interactive Video Group, Inc. Technique for resegmenting assets containing programming content delivered through a communications network
US20060158513A1 (en) * 2002-12-12 2006-07-20 Riemens Abraham K Recognizing film and video occurring in parallel in television fields
JP3952966B2 (ja) * 2003-02-25 2007-08-01 ソニー株式会社 情報処理システム、情報処理装置および方法、記録媒体、並びにプログラム
WO2004090752A1 (en) * 2003-04-14 2004-10-21 Koninklijke Philips Electronics N.V. Method and apparatus for summarizing a music video using content analysis
JP4003697B2 (ja) * 2003-05-28 2007-11-07 船井電機株式会社 映像再生装置
CN1206847C (zh) * 2003-06-30 2005-06-15 北京大学计算机科学技术研究所 一种基于内容的视频片段检索方法

Also Published As

Publication number Publication date
WO2006077533A3 (en) 2007-01-11
CN101107851A (zh) 2008-01-16
JP2008527940A (ja) 2008-07-24
US20080189753A1 (en) 2008-08-07
WO2006077533A2 (en) 2006-07-27
EP1842374A2 (en) 2007-10-10
CN101107851B (zh) 2010-12-15

Similar Documents

Publication Publication Date Title
KR20070104609A (ko) 콘텐트 아이템을 포함한 콘텐트 스트림을 분석하는 장치 및방법
US20240205373A1 (en) Program Segmentation of Linear Transmission
US10200748B2 (en) System and method for commercial detection in digital media environments
US8453179B2 (en) Linking real time media context to related applications and services
US20080276266A1 (en) Characterizing content for identification of advertising
CN108293140B (zh) 公共媒体段的检测
US20090249387A1 (en) Personalized Event Notification Using Real-Time Video Analysis
US11418858B2 (en) Interactive content when the secondary content is server stitched
US8214368B2 (en) Device, method, and computer-readable recording medium for notifying content scene appearance
US10297287B2 (en) Dynamic media recording
US9445144B2 (en) Apparatus, systems and methods for quick speed presentation of media content
KR20030031961A (ko) 데이터 압축 파라미터들을 레버레이징하는 비디오 컨텐트분석 방법 및 시스템
JP2006523403A (ja) 番組画像のコンテンツを介した暗黙的なｔｖ推薦の生成
US20100259688A1 (en) method of determining a starting point of a semantic unit in an audiovisual signal
US20080256576A1 (en) Method and Apparatus for Detecting Content Item Boundaries
EP2840801B1 (en) Video stream segmentation and classification to skip advertisements.
US20170134810A1 (en) Systems and methods for user interaction
EP3306948A1 (en) Method and system for displaying the content of a video or audio broadcast signal to a user and method and system for storing timestamps in a database
US20140226956A1 (en) Method and apparatus for changing the recording of digital content
WO2013135976A1 (fr) Procédé de télétransmission d'un ensemble de données depuis un dispositif émetteur à destination d'au moins un dispositif destinataire, dispositifs émetteur et destinataire associés
FR2988255A1 (fr) Procede de teletransmission d'un ensemble de donnees depuis un dispositif emetteur a destination d'au moins un dispositif destinataire, dispositifs emetteur et destinataire associes.

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
NORF Unpaid initial registration fee