KR20090086951A

KR20090086951A - 비디오 콘텐츠 내의 관심 영역을 생성하기 위한 방법, 장치 및 시스템

Info

Publication number: KR20090086951A
Application number: KR1020097007924A
Authority: KR
Inventors: 슈 린; 이자트 헤크마트 이자트
Original assignee: 톰슨 라이센싱
Priority date: 2006-10-20
Filing date: 2006-10-20
Publication date: 2009-08-14
Also published as: BRPI0622048A2; US20100034425A1; CN101529467A; KR101334699B1; BRPI0622048B1; JP5591538B2; CN101529467B; WO2008048268A1; EP2074588A1; JP2010507327A

Abstract

비디오 콘텐츠 내의 관심 영역들을 생성하기 위한 방법, 장치 및 시스템은 수신된 비디오 콘텐츠의 프로그램을 식별하는 단계, 식별된 프로그램 콘텐츠의 장면 콘텐츠를 분류하는 단계 및 장면들 내의 관심 위치 및 대상 중 적어도 하나를 식별하는 단계에 의해, 특성화 된(characterized) 장면들 중 적어도 한 장면에서 관심 영역을 한정하는 단계를 포함한다. 본 발명의 한 실시예에서 관심 영역은 식별된 프로그램 콘텐츠 및 분류된 장면 콘텐츠에 대한 사용자 선호도 정보를 이용하여 한정된다.

Description

비디오 콘텐츠 내의 관심 영역을 생성하기 위한 방법, 장치 및 시스템{METHOD, APPARATUS AND SYSTEM FOR GENERATING REGIONS OF INTEREST IN VIDEO CONTENT}

본 발명은 일반적으로 비디오 처리(video processing)와 관련이 있으며, 특히, 비디오 재생 디바이스를 위한, 더욱 특히, 비디오 콘텐츠(video content) 내의 관심 영역(ROI: region of interest)을 생성하기 위한 시스템 및 방법과 관련이 있다.

비디오 디스플레이를 갖는 이동 및 핸드헬드(handheld) 디바이스들은 최근 매우 인기를 얻었다. 그러나, 그 디바이스들의 작은 크기로 인해 대부분의 핸드헬드 디바이스들은 고해상도의 비디오 또는 이미지들을 디스플레이 하지 못한다. 통상적으로, 핸드헬드 디바이스가 방송 표준 선명도(SD: standard definition) 또는 고 선명도(HD: high definition) 등으로부터 비디오 신호를 수신한 후, 그 비디오는 핸드헬드 디바이스 스크린 해상도의 크기로, 또는 일반 중간 포맷(CIF: Common Intermediate Format)으로, 또는 심지어 1/4 일반 중간 포맷(QCIF: quarter common intermediate format)으로 까지 하향 샘플링(down sampled) 되어야 한다. 일반적으로, CIF는 의도되는 비디오 시스템의 '완전한(full)' 해상도의 1/4로 정의된다.

그러한 축소의 결과로서, 때로는 그 비디오의 가장 관심이 있는 부분이 손실된다(lost). 예컨대, 축구, 테니스 등과 같은 스포츠 비디오들에서 공(ball)들은 보이지 않게 될 수 있다. 이와 같이, 보통의 하향 샘플링은 그러한 경우에 그러한 디바이스와 잘 동작하지 않는다. 또한, 관심 영역은 자주 이동하며, 또한 카메라가 패닝(panning) 또는 주밍(zooming) 될 수 있으므로, 이미지의 단순한 자르기(cropping)는 실행 가능하지 않다.

몇몇 노력들{예컨대 Xinding Sun 등에 의한, "Region of Interest Extraction and Virtual Camera Control Based on Panoramic Video Capturing(파노라믹 비디오 캡춰링을 기반으로 하는 관심 영역 추출 및 가상 카메라 제어)", IEEE Trans. Multimedia, Vol 7 No. 5, pp. 981-990, October 11, 2005}이 인코더(encoder) 편에서의 관심 영역 생성을 위해 이루어졌다. 예컨대, ROI는 상식에 따라서 또는 시각적 주의 모델(visual attention model)을 기초로 하여 생성될 수 있다. 그러한 경우들에서, ROI의 메타데이터(metadata)가 디코더(decoder)로 송신될 것이 요구된다. 디코더는 ROI 내의 비디오를 재생하기 위해 그러한 정보를 사용한다.

그러나, 이러한 접근방법에는 다수의 불이익들이 존재한다. 첫 번째로, 상이한 사람들이 어떠한 것을 시청을 위한 관심 영역으로 고려하는지에 대한 상이한 취향들을 가지고 있음에도, 모든 수신기들은 동일한 ROI를 얻는다. 두 번째로, ROI는 자동으로 생성되므로, 만일 무언가가 잘못되면 모든 사람들은, 수신기에서 더 이상 수정될 수 없는, 잘못된 정보를 수신하게 된다. 세 번째로, 메타데이터가 비디오 신호와 함께 송신될 것이 요구되며, 따라서 이는 비트 레이트를 증가시킨다. 따라서 종래 기술의 제한들 및 결함들을 피하는, 비디오 내의 관심 영역을 생성하기 위한 시스템 및 방법이 매우 바람직하다.

본 발명의 다양한 실시예들에 따른 방법, 장치 및 시스템은, 한 실시예에서, 예컨대, 수신자 편에서의, 사용자 선호도(들){preference(s)}를(을) 기초로 하는 관심 영역(ROI) 검출(detection) 및 생성(generation)을 제공함으로써 종래 기술의 결함을 역점을 두어 다룬다.

본 발명의 한 실시예에서, 비디오 콘텐츠 내의 관심 영역을 생성하기 위한 방법은, 비디오 콘텐츠 내의 적어도 하나의 프로그래밍 유형(programming type)을 식별하는 단계(identifying), 비디오 콘텐츠의 프로그래밍 유형들의 장면(scene)들을 분류하는 단계(categorizing), 그리고 장면들의 관심 위치(location)와 대상(object) 중 적어도 하나를 식별하는 단계에 의해, 분류된 장면들의 적어도 한 장면에서 적어도 하나의 관심 영역을 한정하는 단계(defining)를 포함한다. 본 발명의 한 실시예에서, 한 관심 영역은 식별된 프로그램 콘텐츠 및 특징적인 장면 콘텐츠에 대한 사용자 선호도 정보를 이용하여 한정된다.

본 발명의 한 대안적 실시예에서, 비디오 콘텐츠 내의 관심 영역을 생성하기 위한 장치는 비디오 콘텐츠의 적어도 하나의 프로그래밍 유형을 식별하는 단계, 프로그래밍 유형들 중 적어도 하나의 유형의 장면들을 분류하는 단계, 그리고, 장면들 내의 관심 위치와 대상 중 적어도 하나를 식별하는 단계에 의해, 장면들 중 적어도 한 장면에서 적어도 하나의 관심 영역을 한정하는 단계를 수행하도록 구성되는 처리 모듈을 포함한다. 본 발명의 한 실시예에서, 그러한 장치는 비디오 콘텐츠 내의 식별된 프로그래밍 유형들 및 분류된 장면들을 저장하기 위한 메모리 및, 비디오 콘텐츠의 식별된 프로그래밍 유형들과 분류된 장면들에서 관심 영역을 한정하기 위해, 사용자가 선호도들을 식별하는 것을 가능하게 하기 위한 사용자 인터페이스를 포함한다.

본 발명의 한 대안적인 실시예에서, 비디오 콘텐츠 내의 관심 영역을 생성하기 위한 시스템은 비디오 콘텐츠를 방송하기 위한 콘텐츠 소스(source), 비디오 콘텐츠를 수신하고, 수신된 비디오 콘텐츠를 디스플레이를 위해 구성하기 위한, 수신 디바이스, 수신 디바이스로부터 비디오 콘텐츠를 디스플레이 하기 위한 디스플레이 디바이스, 그리고 비디오 콘텐츠의 적어도 하나의 프로그래밍 유형을 식별하는 단계, 적어도 하나의 프로그래밍 유형들의 장면들을 분류하는 단계 및, 장면들 중의 관심 위치와 대상 중 적어도 하나를 식별하는 단계에 의해, 상기 분류된 장면들의 적어도 한 장면에서 적어도 하나의 관심 영역을 한정하는 단계를 수행하도록 구성되는 처리 모듈을 포함한다. 본 발명의 한 실시예에서, 처리 모듈은 수신 디바이스 내에 위치하며 수신 디바이스는 비디오 콘텐츠의 식별된 프로그래밍 유형 및 분류된 장면들을 저장하기 위한 메모리를 포함한다. 그러한 한 실시예에서, 수신 디바이스는 비디오 콘텐츠의 식별된 프로그래밍 유형들 및 분류된 장면들에서의 관심 영역들을 한정하기 위해, 사용자가 선호도를 식별하는 것을 가능하게 하기 위한 사용자 인터페이스를 더 포함할 수 있다. 한 대안적인 실시예에서, 처리 모듈은 콘텐츠 소스 내에 위치하며 콘텐츠 소스는 비디오 콘텐츠의 식별된 프로그래밍 유형들 및 분류된 장면들을 저장하기 위한 메모리를 포함한다. 그러한 한 실시예에서, 콘텐츠 소스는 비디오 콘텐츠의 식별된 프로그래밍 유형들 및 분류된 장면들에서의 관심 영역을 한정하기 위해, 사용자가 선호도를 식별하는 것을 가능하게 하기 위한 사용자 인터페이스를 더 포함할 수 있다.

동반하는 도면들과 연결된 다음의 자세한 설명에 주의를 기울임으로써 본 발명의 가르침(teaching)들은 즉시 이해될 수 있다.

도 1은 본 발명의 한 실시예에 따른, 관심 영역을 한정하고 생성하기 위한 수신기의 높은 수준의 블록도(high level block diagram).

도 2는 본 발명의 한 실시예에 따른, 관심 영역을 한정하고 생성하기 위한 시스템의 높은 수준의 블록도.

도 3은 본 발명의 한 실시예에 따른, 도 1 및 도 2의 수신기에서 사용하기에 적합한 사용자 인터페이스의 높은 수준의 블록도.

도 4는 본 발명의 한 실시예에 따른, 본 발명의 방법의 순서도.

도 5는 본 발명의 한 실시예에 따른, 사용자 입력을 기반으로 하는 관심 영역을 한정하기 위한 방법의 순서도.

상기 도면들은 본 발명의 개념들의 설명의 목적을 위한 것이며, 본 발명을 설명하기 위해 유일하게(only) 가능한 구성일 필요는 없다는 것이 이해되어야 한 다. 이해를 돕기 위해, 동일한 참조 번호들은, 가능한 곳에서, 상기 도면들에 공통적인 동일한 요소들을 지시하기 위해 사용되었다.

본 발명은 이롭게 비디오 콘텐츠 내의 관심 영역(ROI: regions of interest)을 생성하기 위한 방법, 장치 및 시스템을 제공한다. 본 발명이 주로 방송 비디오 환경 및 수신기 디바이스의 맥락에서 설명될 지라도, 본 발명의 특정 실시예들은 본 발명의 범위를 제한하는 것으로서 취급되어서는 안 된다. 본 발명의 개념들은 이롭게 비디오 콘텐츠 내의 관심 영역(ROI)을 생성하기 위한 어느 임의의 환경 및/또는 수신 및 송신 디바이스에 적용될 수 있다는 것이 당업자에 의해 인식될 것이며 본 발명의 가르침들에 의해 알려질 것이다. 예컨대, 본 발명의 개념들은, 휴대용 핸드헬드 비디오 재생 디바이스, 핸드헬드 TV, PDA, AV 기능이 있는 휴대 전화기, 휴대용 컴퓨터, 송신기, 서버 및, 이와 유사한, 비디오 콘텐츠를 수신/처리/디스플레이/송신하도록 구성되는 어느 임의의 디바이스 내에서 구현될 수 있다.

도면들에 도시된 다양한 요소들의 기능들은 전용 하드웨어(dedicated hardware) 및, 적합한 소프트웨어와 결합된, 소프트웨어를 실행시킬 수 있는 하드웨어의 사용을 통해 제공될 수 있다. 프로세서에 의해 제공될 때, 기능들은 단일 전용 프로세서, 단일 공유 프로세서, 또는, 그 중 일부는 공유되었을 수 있는 복수의 개별적인 프로세서에 의해 제공될 수 있다. 또한, "프로세서(processor)" 또는 "제어기(controller)"라는 용어의 명시적 사용은 소프트웨어를 실행할 수 있는 하드웨어를 배타적으로(exclusively) 언급하는 것으로 해석되어서는 안되며, 상기 용어들은 함축적으로(implicitly), 제한 없이, 디지털 신호 프로세서(digital signal processor)("DSP") 하드웨어, 소프트웨어를 저장하기 위한 읽기 전용 메모리(read-only memory)("ROM"), 랜덤 액세스 메모리(random access memory)("RAM"), 그리고 비 휘발성 저장소(non-volatile storage)를 포함할 수 있다. 또한, 본 발명의 원리들, 양상들 및 실시예들, 및 이들의 특정 예시들을 상술하는(reciting) 본 명세서의 모든 진술들(statement)은 그들의 구조적 그리고 기능적 등가물들(equivalents)을 모두 포함하기 위해 의도되었다. 또한, 그러한 등가물들은 현재 알려진 등가물들뿐만 아니라 미래에 개발되는 등가물들 모두(즉, 구조에 관계없이, 동일한 기능을 수행하도록 개발되는 어느 임의의 요소들)를 포함하도록 의도된다.

그러므로, 예컨대, 본 명세서에서 제공되는 블록도들은, 본 발명의 원리들을 구체화하는, 실례의 시스템 구성요소들 및/또는 회로물(circuitry)들의 개념적 개관들을 나타낸다는 것이 당업자에 의해 인식될 것이다. 유사하게, 어느 임의의 순서도, 흐름도, 상태 전이도, 의사코드(pseudocode), 및 이와 유사한 것들은 다양한 처리들을 나타내며, 이들은 실질적으로 컴퓨터 판독 가능한(computer readable) 매체 내에서 나타날 수도 있고, 따라서, 컴퓨터 또는 프로세서가 명시적으로 도시되어있든지 또는 그렇지 않든지, 컴퓨터 및 프로세서에 의해 실행될 수도 있는 것이 이해될 것이다.

본 발명의 다양한 실시예들에 따라서, 비디오 콘텐츠 내의 관심 영역(ROI)을 생성하기 위한 방법, 장치 및 시스템은 프로그램 라이브러리(program library), 장면 라이브러리(scene library) 및 대상/위치 라이브러리(object/location library)를 제공하며, 그리고 라이브러리들과 통신하는 관심 영역 모듈(region of interest module)을 포함하고, 상기 모듈은 라이브러리들 및 사용자 선호도들로부터의 데이터를 기초로 하여, 수신된 비디오 콘텐츠 내의 맞춤화된(customized) 관심 영역들을 생성하도록 구성된다. 다양한 실시예들에서, 사용자들은, 예컨대, 그 사용자들이 비디오 내의 어떠한 영역/대상을, 시청을 위한 ROI로 선택하고 싶은가와 관련된, 그들의 선호도(들)를(을) 한정하는 것이 가능해진다. 한 서버가 다수의 수신기들로 비디오 콘텐츠를 방송하는, 본 발명의 한 실시예에서, 만일 한 로컬(local) 수신기에서 무언가 잘못되면, 오류는 오직 한 수신기에만 영향을 미치며, 쉽게 교정될(corrected) 수 있다. 따라서, 본 발명의 원리들에 따른 시스템은 종래의 사용 가능한 시스템들 보다 더욱 견고하며, 사용자가, 이전에 사용 가능했던 것 보다 상대적으로 높은 해상도를 갖는, 비디오 콘텐츠 내의 관심 영역 또는 대상을 제어하고 시청하는 것을 가능하게 한다.

예컨대, 도 1은 본 발명의 한 실시예에 따른, 관심 영역을 한정하고 생성하기 위한 수신기를 도시한다. 도 1의 수신기(100)는, 도시된 것과 같이, 메모리 수단(101), 사용자 인터페이스(109) 및 디코더(111)를 포함한다. 도 1의 수신기(100)는, 도시된 것과 같이, 데이터베이스(103) 및 관심 영역(ROI) 모듈(105)을 포함한다. 도 1의 수신기(100)의 데이터베이스(103)는, 도시된 것과 같이, 프로그램 라이브러리(107), 장면 라이브러리(102) 및 대상/위치 라이브러리(104)를 포함한다. 본 발명의 한 실시예에서, 프로그램 라이브러리(107), 장면 라이브러리(102) 및 대상 라이브러리(104)는, 아래에서 훨씬 자세하게 설명될 것과 같이, 다양한 분류된 프로그램 유형들, 장면 유형들 및 대상 유형들을 각각 저장하도록 구성된다. 도 1의 수신기(100)의 ROI 모듈(105)은 시청자 입력 및/또는 프로그램 라이브러리(107), 장면 라이브러리(102) 및 대상 라이브러리(104) 내의 미리 저장된(pre-stored) 정보에 따라서, 수신된 비디오 콘텐츠 내의 관심 영역(들)을 만들도록(create) 구성될 수 있다. 즉, 시청자는 사용자 인터페이스(109)를 통해 수신기(100)로 입력을 제공할 수 있으며, 결과적인 관심 영역(들)은 디스플레이 상에서 시청자에게 디스플레이 된다.

예컨대, 도 2는 본 발명의 한 실시예에 따른, 관심 영역을 한정하고 생성하기 위한 시스템의 높은 수준의 블록도를 도시한다. 도 2의 시스템(200)은, 도시된 것과 같이, 본 발명의 수신기(100)로 비디오 콘텐츠를 제공하기 위한 비디오 콘텐츠 소스(서버로 도시됨)(206)를 포함한다. 수신기는, 위에서 설명된 대로, 사용자 인터페이스(109)를 통해 입력되는 시청자 입력들 및/또는 프로그램 라이브러리(107), 장면 라이브러리(102) 및 대상 라이브러리(104) 내에 미리 저장된 정보에 따라서, 수신된 비디오 콘텐츠 내의 관심 영역(들)을 만들도록 구성될 수 있다. 만들어지는 결과적 관심 영역(들)은 그 후 시스템(200)의 디스플레이 상에서 시청자에게 디스플레이 된다. 도 1에서 수신기(100)가 실례로서 사용자 인터페이스(109) 및 디코더(111)를 포함하는 것으로 도시되었을 지라도, 본 발명의 대안적인 실시예들에서, 사용자 인터페이스(109) 및/또는 디코더(111)는 수신기(100)와 통신하는 분리된 구성요소들을 포함할 수 있다. 또한, 도 2의 시스템(200)에서 데이터베이스(103) 및 ROI 모듈(105)이 실례로서 수신기(100) 내에 위치하는 것으로 도시되었을 지라도, 본 발명의 대안적 실시예들에서, 수신기(100) 내의 데이터베이스 및 ROI 모듈 대신 또는 그에 추가적으로, 본 발명의 데이터베이스 및 ROI 모듈은 서버(206) 내에 포함될 수 있다. 본 발명의 그러한 실시예들에서, 비디오 콘텐츠 내의 관심 영역 선택은 서버(206)에서 수행될 수 있으며, 이와 같이, 수신기는 관심 영역들이 이미 지정된(assigned) 비디오 콘텐츠를 수신한다. 이와 같이, 수신기 내의 ROI 모듈은 서버에 의해 한정되는 관심 영역들(ROI)을 검출할 것이며 비디오 콘텐츠 내의 그러한 관심 영역들(ROI)이 디스플레이 되도록 적용할 것이다. 또한, 본 발명의 그러한 실시예들에서, 본 발명의 데이터베이스 및 ROI 모듈을 포함하는 서버는, 본 발명에 따른 관심 영역들을 만들기 위한 사용자 입력들을 제공하기 위해 사용자 인터페이스를 더 포함할 수 있다.

도 3은 본 발명의 한 실시예에 따른, 도 1 및 도 2의 수신기(100)에서의 사용에 적합한 사용자 인터페이스(109)의 높은 수준의 블록도를 도시한다. 위에서 설명된 대로, 본 발명의 한 실시예에 따라서, 사용자 인터페이스(109)는, 수신된 비디오 콘텐츠 내의 관심영역을 만들기 위한 시청자 입력을 전달하기 위해 제공된다. 사용자 인터페이스(109)는 스크린 또는 디스플레이(302)를 갖는 제어판(300)을 포함할 수 있으며, 또는 그래피컬 유저 인터페이스(graphical user interface)로서 소프트웨어 내에서 구현될 수 있다. 사용자 인터페이스(109)의 구현에 의존하여, 조종장치(310-326)는 실제의 노브/스틱(knobs/sticks)(310), 키패드/키보드(324), 버튼들(318-322), 가상의 노브/스틱 및/또는 버튼, 마우스(326), 조이스틱(330) 및 이와 유사한 것들을 포함할 수 있다.

도 2의 본 발명의 실시예에서, 서버(206)는 비디오 콘텐츠를 수신기(100)로 전달한다. 수신기(100)에서, 수신된 비디오 콘텐츠가 인코딩 되었는지, 그리고 디코딩 되어야 할 필요가 있는지를 결정한다. 만일 그렇다면, 비디오 콘텐츠는 디코더(111)에 의해 디코딩 된다. 비디오 콘텐츠를 디코딩 한 후에, 비디오 콘텐츠의 프로그래밍이 식별된다. 즉, 본 발명의 한 실시예에서, 비디오 콘텐츠 소스(예컨대, 송신기)(206)로부터 얻어지는 정보{예컨대, 전자 프로그램 가이드 정보(electronic program guide information)}는 수신된 비디오 콘텐츠 내의 프로그램 유형들을 식별하기 위해 사용될 수 있다. 비디오 콘텐츠 소스(206)로부터의 그러한 정보는 수신기(100) 내의, 예컨대 프로그램 라이브러리(107)에 저장될 수 있다. 본 발명의 대안적 실시예들에서, 예컨대, 사용자 인터페이스(109)로부터의 사용자 입력들은 수신된 비디오 콘텐츠의 프로그래밍을 식별하기 위해 사용될 수 있다. 즉, 한 실시예에서, 사용자는, 예컨대, 디스플레이(207)를 이용하여 비디오 콘텐츠를 미리 볼(preview)수 있으며, 디스플레이(207) 내의 상이한 프로그램 유형들을 이름(name) 또는 제목(title)에 의해 식별할 수 있다. 사용자 입력을 통해 식별되는 비디오 콘텐츠의 프로그래밍의 다양한 유형들의 제목 또는 식별자(identifier)는 수신기(100)의 메모리 수단(101) 내에, 예컨대 프로그램 라이브러리(107)에 저장될 수 있다. 본 발명의 또 다른 대안적 실시예들에서, 콘텐츠 소스(206)로부터 수신된 정보와 사용자 인터페이스(109)로부터의 사용자 입력들 모두의 조합은, 수신된 비디오 콘텐츠의 프로그래밍을 식별하기 위해 사용될 수 있다.

본 발명의 다양한 실시예들에서, 미리 저장된 정보 및/또는 사용자 입력들을 이용하여 정확히 분류될 수 없는 프로그램 유형들은, 새로운 유형의 프로그램으로 간주될 수 있으며, 따라서 프로그램 라이브러리(107)에 추가될 수 있다. 아래의 표 1은 몇몇의 예시적 프로그램 유형들을 묘사한다.

[표 1]

프로그램 유형들

축구

자동차 경주

농구

테니스

토크 쇼

디즈니 영화

뉴스

서부극

...

일반

비디오 콘텐츠 내의 프로그램 유형들을 식별한 후에, 프로그램 유형들의 장면들은 분류된다. 이것은 프로그램 유형들을 식별하는 단계와 유사하며, 본 발명의 한 실시예에서, 비디오 콘텐츠 소스(예컨대, 송신기)(206)로부터 얻어지는 정보(예컨대, 전자 프로그램 가이드 정보)는 식별된 프로그램 유형들의 장면들을 분류하기 위해 사용될 수 있다. 비디오 콘텐츠 소스(206)로부터의 그러한 정보는 수신기(100) 내에, 예컨대 장면 라이브러리(102) 내에 저장될 수 있다. 본 발명의 대안적 실시예들에서, 예컨대, 사용자 인터페이스(109)로부터의 사용자 입력들은 식별된 프로그램 유형들의 장면들을 분류하기 위해 사용될 수 있다. 이것은 프로그램 유형들을 식별하는 단계와 유사하며, 사용자는, 예컨대, 디스플레이(207)를 이용하여 비디오 콘텐츠를 미리 볼 수 있으며, 디스플레이(207) 내의 프로그램 유형들의 상이한 장면 분류들(scene categories)을 이름 또는 제목에 의해 식별할 수 있다. 사용자 입력을 통해 식별되는 다양한 장면 분류들의 제목 또는 식별자는 수신기(100) 내의 메모리 수단(101) 내에, 예컨대 장면 라이브러리(102)에 저장될 수 있다. 본 발명의 또 다른 대안적 실시예들에서, 컨텐츠 소스(206)로부터 수신되는 정보 및 사용자 인터페이스(109)로부터의 사용자 입력 모두의 조합은 비디오 콘텐츠의 식별된 프로그램 유형들의 장면들을 분류하기 위해 사용될 수 있다.

본 발명의 다양한 실시예들에서, 미리 저장된 정보 및/또는 사용자 입력들을 이용하여 정확히 분류될 수 없는 장면들은, 새로운 유형의 장면으로 간주될 수 있으며, 따라서 장면 라이브러리(102)에 추가될 수 있다. 표 2는 본 발명에 따른 몇몇 예시적 장면 분류들을 묘사한다.

[표 2]

장면 분류들

축구 - 가까운 거리

축구 - 중간 거리

축구 - 먼 거리

축구 - 경기장

축구 - 관중

축구 - 많은 선수들

축구 - 골

축구 - 옆줄

...

일반

비디오 콘텐츠 내의 장면 분류들 및 프로그램 유형들을 식별한 후에, 이전에 분류된 필드(field)들(예컨대, 프로그램 유형들과 장면 분류들) 내의 관심 위치(들) 및/또는 대상(들)이 한정될 수 있다. 본 발명의 한 실시예에서, 사용자는 대상들 및/또는 위치들을 대상/위치 라이브러리(104)에 자동으로 추가하도록, 또는 대상들/위치들이 추후에 추가되거나 또는 폐기될 수 있는 임시 메모리(도시되지 않음)에 저장되도록 본 발명의 시스템을 구성할 수 있다. 또한, 본 발명의 다양한 실시예들에서, 비디오 콘텐츠 소스(예컨대, 송신기)(206)로부터 얻어지는 정보는 관심 대상(들) 및 위치(들)를(을) 한정하기 위해 이용될 수 있다. 비디오 콘텐츠 소 스(206)로부터의 그러한 정보는 수신기(100) 내에, 예컨대 대상/위치 라이브러리(104)에 저장될 수 있다. 비디오 콘텐츠 소스로부터의 그러한 정보는 수신기 위치에 있는 사용자에 의해 생성될 수 있다. 즉, 본 발명의 다양한 실시예들에서, 비디오 콘텐츠 소스(206)는 다수의 버전(version)의 소스 콘텐츠를 제공할 수 있으며, 각각의 소스 콘텐츠는 다양한 버전들과 결합되어 달라지는 관심 영역들을 가지며, 이들 중 임의의 버전이 수신기 위치에 있는 사용자에 의해 선택될 수 있다. 소스 콘텐츠의 한 사용 가능한 버전을 선택하는 사용자에 응하여, 결합된 관심 영역들은 수신기 위치에서의 처리를 위해 수신기로 전달될 수 있다. 그러나, 본 발명의 한 대안적 실시예에서, 소스 콘텐츠의 한 사용 가능한 버전을 사용자가 선택하는 것에 응답하여, 결합된 관심 영역들과 결합된(associated with the associated regions of interest) 비디오만을 담고있는 비디오 콘텐츠가 수신기로 전달된다.

본 발명의 대안적 실시예들에서, 예컨대, 사용자 인터페이스(109)로부터의 사용자 입력들은 식별된 프로그램 유형들 및 분류된 장면들 내의 관심 영역들을 선택하기 위해 사용될 수 있다. 이것은 프로그램 유형들을 식별하는 단계 및 장면들을 분류하는 단계와 유사하며, 사용자는, 예컨대, 디스플레이(207)를 이용하여 비디오 콘텐츠를 미리 볼 수 있으며, 디스플레이(207) 내의 상이한 관심 영역들을 대상 및/또는 위치별로 한정할 수 있다. 본 발명의 다양한 실시예들에서, 그러한 사용자 선택들은 비디오 콘텐츠 소스에서 또는 수신기에서 이루어질 수 있다. 사용자 입력을 통해 한정되는 다양한 관심 영역들의 제목 또는 식별자는 수신기(100) 내의 메모리 수단(101)에, 예컨대 대상/위치 라이브러리(104)에 저장될 수 있다. 본 발 명의 또 다른 대안적 실시예들에서, 비디오 콘텐츠 소스(206)로부터 수신되는 정보와 사용자 인터페이스(109)로부터의 사용자 입력들 모두의 조합은 비디오 콘텐츠 내의 관심 영역들을 한정하기 위해 사용될 수 있다. 본 발명에 따라서, 사용자는, 시청하기를 희망하는 대상들 및/또는 위치들을 수동으로(manually) 선택할 수 있으며, 또는 대안적으로 모든 프로그래밍 내에서 특정 대상(들), 대상 유형들 및/또는 위치들을, 시청하기를 희망하는 관심 영역으로 설정할 수 있다.

예시적 대상 유형들이, 축구 프로그래밍을 담고있는, 수신된 비디오 콘텐츠와 관련된 표 3에 묘사된다.

[표 3]

대상들	설명
축구 - 선수 1	이름, 팀, ...
축구 - 선수 2	이름, 팀, ...
축구 - 선수 3	이름, 팀, ...
축구 - 선수 4	이름, 팀, ...
축구 - 코치 1	이름, 팀, ...
축구공
...
일반

위의 표 3에서 묘사된 대로, 클로즈 업(close up) 축구 장면에서, 축구공, 선수들과 같은 대상은 관심 대상으로 한정될 수 있다. 주제(subject) 비디오 콘텐츠에 대한 관심 영역을 한정한 후에, 비디오 콘텐츠의 선택된 관심 영역들은, 예컨대, 디스플레이(207)에서 디스플레이 될 수 있다.

도 4는 본 발명의 한 실시예에 따른, 본 발명의 방법의 순서도를 도시한다. 방법(400)은 단계(401)에서 시작하며, 단계(401)에서 본 발명의 수신기는 비디오 프로그램 및/또는 비디오 콘텐츠를 포함하는 시청각(AV: audiovisual) 신호를 수신 한다. 방법(400)은 그 후 단계(403)로 진행한다.

단계(403)에서, 프로그램/AV 신호가 인코딩 되었는지, 그리고 디코딩 되어야할 필요가 있는지 결정된다. 만일 신호가 인코딩 되었으며 디코딩 될 필요가 있다면, 방법(400)은 단계(405)로 진행한다. 만일 신호가 디코딩 될 필요가 없다면, 방법(400)은 단계(407)로 건너뛴다.

단계(405)에서, 신호는 디코딩 된다. 방법은 그 후 단계(407)로 진행한다.

단계(407)에서, 관심 영역(들)(ROI)이 한정된다. 방법(400)은 그 후 단계(409)로 진행한다.

단계(409)에서, 한정된 관심 영역들이 디스플레이 될 수 있다. 즉, 단계(409)에서, 비디오 신호의 대응하는 영역들은, 선택되고 한정된 관심 영역들에 의해 한정된 대로, 디스플레이 되거나 또는 디스플레이를 위해 송신된다. 방법(400)은 그 후 종료된다.

도 5는 도 4의 방법(400)의 단계(407)에서 상술된 대로 관심 영역을 한정하는 방법의 순서도를 도시한다. 방법(500)은, 비디오 콘텐츠가, 예컨대, 본 발명의 ROI 모듈에 의해 수신되는, 단계(501)에서 시작한다. 방법은 그 후 단계(503)로 진행한다.

단계(503)에서, 수신되는 비디오 콘텐츠의 프로그래밍이 식별된다. 즉, 단계(503)에서, 비디오 콘텐츠 소스(예컨대, 송신기)(206) 및/또는, 예컨대, 사용자 인터페이스(106)로부터의 사용자 입력들로부터 얻어지는 정보(예컨대, 전자 프로그램 가이드 정보)는, 수신된 비디오 콘텐츠의 프로그래밍 유형들을 식별하기 위해 사용될 수 있다. 프로그래밍의 유형이 식별된 후에 방법(500)은 단계(505)로 진행한다.

단계(505)에서, 장면 분류 및 장면 변화 검출(scene change detection)이 결정될 수 있다. 즉, 그리고 위에서 설명된 대로, 장면 분류의 과정에서 저장되며 돕기 위해 사용 가능한(available to assist), 미리 결정된 장면 유형들을 갖는 장면 라이브러리를 포함하는, 미리 저장된 정보(504)를 갖는 데이터베이스가 제공될 수 있다. 본 발명의 다양한 실시예들에서, 미리 저장된 정보(504) 및/또는 사용자 입력들을 사용하여 정확하게 분류될 수 없는 장면들은, 새로운 유형의 장면으로 간주되며, 따라서 데이터베이스에 추가될 수 있다. 주제 장면들이 분류된 후에, 방법(500)은 단계(507)로 진행한다.

단계(507)에서, 이전에 분류된 필드들(예컨대, 프로그램 유형들 및 장면 분류들) 내의 관심 대상(들)이 식별될 수 있다. 예컨대 본 발명의 한 실시예에서, 클로즈 업 축구 장면에서, 축구공, 선수들과 같은 대상들이 관심 대상으로 식별될 수 있다. 관심 대상(들)이 식별된 후, 방법(500)은 단계(509)로 진행한다.

단계(509)에서, 맞춤화된 관심 영역(ROI)은, 단계(507)에서 한정되는 특정 대상(들) 주위에 만들어진다. 방법은 그 후 단계(511)에서 종료된다.

본 발명의 대안적 실시예들에서, 시청자 습관들 또는, 예컨대, 좋아하는 선수, 좋아하는 위치 등과 같은, 미리 지정된 선호되는 대상(object) '기호들(favorites)'에 따르는 본 발명에 따라서 ROI는 또한 자동으로 만들어질 수 있다. 본 발명에 따라서, 관심 영역(들)이 한정된 후, 희망하는 관심 대상(들) 또는 위치(들)가(이) 프레임으로부터 프레임으로 추적(tracked)될 수 있으며 따라서 시청자에게 디스플레이 될 수 있다. 지정된 수의 기호 대상들 및/또는 그 대상들의 위치들에 의존하여, ROI의 크기는 재생 중에 항상 바뀔 수 있다는 것을 주의해야 한다.

본 발명에 따라서, 사용자는 다수의 수준(level) 또는 크기(size)의 ROI를 한정할 수 있다. 이와 같이, ROI는, 사용자가 ROI의 다수의 수준들 또는 크기 중 어느 것을 희망하는지 지정하도록, 사용자에 의해 다듬어질(refined) 수 있다. 이와 같이, 그리고 본 발명의 실시예들에 따라서, 사용자의 필요 또는 선호도를 충족시키기 위해, ROI 모듈은 특별한 또는 맞춤화된 수준/크기의 ROI를 만들 수 있다. 본 발명의 다양한 실시예들에서, 디폴트(default) 수준/크기는, 예컨대, 하나의 가장 자주 사용되는 ROI의 수준/크기를 포함할 수 있다.

위의 도 4와 도 5의 방법들(400, 500)이 이롭게 본 발명의 원리들의 실시예에 따라는 수신기 디바이스로 완전하게(in full) 송신되는 비디오 콘텐츠에서의 응용에 대해 설명되었지만, 본 발명의 대안적인 실시예들에서, 콘텐츠 소스(예컨대, 송신기/서버)는 본 발명의 적어도 하나의 ROI 모듈을 포함할 수 있다. 그러한 소스 ROI 모듈은 본 발명의 수신기 내에 위치하는 ROI 모듈에 추가되거나 또는 그를 대신할 수 있다.

예컨대, 비디오 콘텐츠가 오직 하나의 수신기로만 전달되는, 본 발명의 한 실시예에서, 수신기는 소스(예컨대, 송신기)로 사용자 선호도를 전달할 수 있으며 송신기는 그에 따라서 관심 영역(들)을 생성할 수 있다. 그러한 실시예들에서, 수 신기로 송신되는 비디오 콘텐츠의 양(amount)은 줄어들며 따라서 수신기로의 콘텐츠의 송신을 위해 요구되는 대역폭을 감소시키고, 수신기에서의 필요한 처리 양은 또한 감소된다{서버/송신기가 더욱 높은 처리 능력(processing power)을 가지므로 이는 특히 이롭다}.

본 발명의 한 대안적 실시예에서, 다양한 ROI들이 소스 편(예컨대, 서버/수신기 편)에서 제공될 수 있으며 수신기 편에서의 사용자에 의한 선택에 대해 제공된다. 즉, 송신자(서버)는 다양한 선호되는 관심 영역들을 생성하고 각각의 ROI를 분리된 멀티캐스트(multicast) 채널 상에서 송신할 수 있다. 이와 같이, 사용자는 선호되는 ROI를 갖는 채널을 선택하거나 그 채널에 가입할 수 있다. 그러한 실시예들은 이롭게 처리 시간과 송신기/서버로부터 송신되는 비트들의 수를 감소시킨다.

본 발명의 또 다른 대안적 실시예에서, 본 발명의 ROI는, 인기 있는(popular) 사용자 선호도들에 따라서, 송신기/송신자에서 생성될 수 있다. 더욱 특정하게, 각각의 ROI들은, 각각의 수신기들의 인기 있는 선택들에 따라서, 각각의 수신기들에 대해 미리 결정될 수 있으며, 이와 같이, 미리 결정된 ROI들은 각각의 수신기들로 송신될 수 있다. 본 발명에 따른, 송신기 편에서의 ROI 처리를 수반하는, 위에서 언급된 대안적 실시예들은 처리/송신 수용능력(capacity)이 논쟁점(issue)인 상황에서 특히 유용할 수 있다는 점이 주목할 만 하다.

(실례가 되도록 의도되었으며 제한하도록 의도되지 않은) 비디오 콘텐츠 내의 관심 영역들을 생성하기 위한 방법, 장치 및 시스템에 대한 선호되는 실시예들이 설명되었지만, 위의 가르침들에 비추어 볼 때, 당업자에 의해 수 정(modification) 및 변형(variation)이 이루어질 수 있다는 것을 주의해야 한다. 그러므로, 첨부된 청구항들에 의해 개관된(outlined) 대로 본 발명의 범위 및 사상 내에 있는, 개시된 본 발명의 특정 실시예들에서 변화들이 이루어질 수 있다는 것이 이해되어야 한다. 앞의 내용들은 본 발명의 다양한 실시예들로 유도되지만(directed), 본 발명의 다른 그리고 그 이상의 실시예들이 본 발명의 기본 범위로부터 벗어나지 않으면서 고안될 수 있다.

본 발명은 일반적으로 비디오 처리에 이용 가능하며, 특히, 비디오 재생 디바이스를 위한, 더욱 특히, 비디오 콘텐츠 내의 관심 영역(ROI: region of interest)을 생성하기 위한 시스템 및 방법에 이용 가능하다.

Claims

비디오 콘텐츠 내의 관심 영역을 생성하기 위한 방법으로서,

상기 비디오 콘텐츠의 적어도 하나의 프로그래밍 유형을 식별하는 단계;

상기 프로그래밍 유형들 중 적어도 하나의 유형의 장면들을 분류하는 단계; 그리고

상기 장면들 내의 관심 위치 및 대상 중 적어도 하나를 식별하여, 상기 장면들 중 적어도 한 장면에서 적어도 하나의 관심 영역을 한정하는 단계

를 포함하는, 비디오 콘텐츠 내의 관심 영역을 생성하기 위한 방법.
제1항에 있어서, 상기 적어도 하나의 관심 영역은 사용자 입력을 통해 한정되는, 비디오 콘텐츠 내의 관심 영역을 생성하기 위한 방법.
제1항에 있어서, 상기 적어도 하나의 관심 영역은 상기 장면들 내의 미리 결정된 관심 위치 및 대상 중 적어도 하나를 적용하여 한정되는, 비디오 콘텐츠 내의 관심 영역을 생성하기 위한 방법.
제1항에 있어서, 상기 적어도 하나의 관심 영역은 상기 장면들 내의 미리 결정된 관심 위치와 대상 중의 적어도 하나와 사용자 입력의 조합을 통해 한정되는, 비디오 콘텐츠 내의 관심 영역을 생성하기 위한 방법.
제1항에 있어서, 상기 적어도 하나의 관심 영역은 이전의 사용자 선택들을 적용하는 단계에 의해 한정되는, 비디오 콘텐츠 내의 관심 영역을 생성하기 위한 방법.
제1항에 있어서, 상기 적어도 하나의 관심 영역은 원격 소스(remote source)로부터 수신된 정보를 적용하는 단계에 의해 한정되는, 비디오 콘텐츠 내의 관심 영역을 생성하기 위한 방법.
제6항에 있어서, 상기 원격 소스로부터 수신된 정보는 사용자 선택들 및 상기 원격 소스에서 결정된 관심 위치 및 대상 중 적어도 하나를 포함하는, 비디오 콘텐츠 내의 관심 영역을 생성하기 위한 방법.
제1항에 있어서, 상기 적어도 하나의 한정된 관심 영역은 수신기에서 결정되는, 비디오 콘텐츠 내의 관심 영역을 생성하기 위한 방법.
제1항에 있어서, 상기 적어도 하나의 한정된 관심 영역은 비디오 콘텐츠 소스에서 결정되며 원격 수신기(remote receiver)로 전달되는, 비디오 콘텐츠 내의 관심 영역을 생성하기 위한 방법.
제1항에 있어서, 상기 적어도 하나의 프로그래밍 유형 및 상기 장면들은 수신된 정보를 이용하여 식별되며 분류되는, 비디오 콘텐츠 내의 관심 영역을 생성하기 위한 방법.
제10항에 있어서, 상기 적어도 하나의 프로그래밍 유형 및 상기 장면들을 식별하고 분류하기 위한 정보는 상기 비디오 콘텐츠의 원격 소스로부터 수신되는, 비디오 콘텐츠 내의 관심 영역을 생성하기 위한 방법.
비디오 콘텐츠 내의 관심 영역을 생성하기 위한 장치로서,

상기 비디오 콘텐츠의 적어도 하나의 프로그래밍 유형을 식별하는 단계;

상기 프로그래밍 유형들 중 적어도 하나의 유형의 장면들을 분류하는 단계; 그리고

상기 장면들 내의 관심 위치 및 대상 중 적어도 하나를 식별하여 상기 장면들의 적어도 한 장면에서 적어도 하나의 관심 영역을 한정하는 단계를

수행하도록 구성되는 처리 모듈을 포함하는, 비디오 콘텐츠 내의 관심 영역을 생성하기 위한 장치.
제12항에 있어서,

수신된 인코딩 된 비디오 콘텐츠를 디코딩 하기 위한 디코더를 더 포함하는,

비디오 콘텐츠 내의 관심 영역을 생성하기 위한 장치.
제12항에 있어서, 상기 비디오 콘텐츠의 식별된 프로그래밍 유형들 및 분류된 장면들을 저장하기 위한 메모리를 더 포함하는, 비디오 콘텐츠 내의 관심 영역을 생성하기 위한 장치.
제14항에 있어서, 상기 메모리 내에 저장되는 상기 식별된 프로그래밍 유형들은 프로그래밍 라이브러리를 포함하는, 비디오 콘텐츠 내의 관심 영역을 생성하기 위한 장치.
제14항에 있어서, 상기 메모리 내에 저장되는 상기 분류된 장면들은 장면 라이브러리를 포함하는, 비디오 콘텐츠 내의 관심 영역을 생성하기 위한 장치.
제14항에 있어서, 상기 식별된 관심 위치들 및 대상들은 상기 메모리 내에 저장되며 대상 라이브러리를 포함하는, 비디오 콘텐츠 내의 관심 영역을 생성하기 위한 장치.
제12항에 있어서, 관심 영역을 한정하기 위해, 사용자가 선호도를 식별하게 하는 것을 가능하게 하기 위한 사용자 인터페이스를 더 포함하는, 비디오 콘텐츠 내의 관심 영역을 생성하기 위한 장치.
제18항에 있어서, 상기 사용자 인터페이스는 무선 원격 조종장치, 마우스 또는 트랙볼과 같은 지시 디바이스(pointing device), 음성 인식 시스템, 터치 스크린, 스크린 상의 메뉴들(on screen menus), 버튼들 그리고 노브들(knobs) 중 적어도 하나를 포함하는, 비디오 콘텐츠 내의 관심 영역을 생성하기 위한 장치.
제12항에 있어서, 상기 장치는 재생 디바이스를 포함하는, 비디오 콘텐츠 내의 관심 영역을 생성하기 위한 장치.
제12항에 있어서, 상기 장치는 수신기를 포함하는, 비디오 콘텐츠 내의 관심 영역을 생성하기 위한 장치.
제12항에 있어서, 상기 장치는 송신기 디바이스를 포함하는, 비디오 콘텐츠 내의 관심 영역을 생성하기 위한 장치.
비디오 콘텐츠 내의 관심 영역을 생성하기 위한 시스템으로서, 상기 시스템은,

상기 비디오 콘텐츠를 방송하기 위한 콘텐츠 소스;

상기 비디오 콘텐츠를 수신하고, 디스플레이를 위해, 상기 수신된 비디오 콘텐츠를 구성하기 위한 수신 디바이스;

상기 수신 디바이스로부터 상기 비디오 콘텐츠를 디스플레이 하기 위한 디스 플레이 디바이스;

처리 모듈로서,

상기 비디오 콘텐츠의 적어도 하나의 프로그래밍 유형을 식별하는 단계;

상기 프로그래밍 유형들 중 적어도 하나의 유형의 장면들을 분류하는 단계; 그리고

상기 장면들 내의 관심 위치와 대상 중 적어도 하나를 식별하여 상기 장면들의 적어도 한 장면에서 적어도 하나의 관심 영역을 한정하는 단계를

수행하도록 구성되는 처리 모듈

을 포함하는, 비디오 콘텐츠 내의 관심 영역을 생성하기 위한 시스템.
제23항에 있어서, 상기 처리 모듈은 상기 수신 디바이스 내에 위치하며 상기 수신 디바이스는 상기 비디오 콘텐츠의 식별된 프로그래밍 유형들 및 분류된 장면들을 저장하기 위한 메모리를 포함하는, 비디오 콘텐츠 내의 관심 영역을 생성하기 위한 시스템.
제24항에 있어서, 상기 수신 디바이스는 관심 영역을 한정하기 위해, 사용자가 선호도를 식별하는 것을 가능하게 하기 위한 사용자 인터페이스를 더 포함하는, 비디오 콘텐츠 내의 관심 영역을 생성하기 위한 시스템.
제23항에 있어서, 상기 처리 모듈은 상기 콘텐츠 소스 내에 위치하며 상기 콘텐츠 소스는 상기 비디오 콘텐츠의 식별된 프로그래밍 유형들 및 분류된 장면들을 저장하기 위한 메모리를 포함하는, 비디오 콘텐츠 내의 관심 영역을 생성하기 위한 시스템.
제26항에 있어서, 상기 콘텐츠 소스는 관심 영역을 한정하기 위해, 사용자가 선호도를 식별하는 것을 가능하게 하기 위한 사용자 인터페이스를 더 포함하는, 비디오 콘텐츠 내의 관심 영역을 생성하기 위한 시스템.
제23항에 있어서, 상기 수신 디바이스는 비디오/오디오 재생 디바이스를 포함하는, 비디오 콘텐츠 내의 관심 영역을 생성하기 위한 시스템.
제23항에 있어서, 상기 콘텐츠 소스는 서버를 포함하는, 비디오 콘텐츠 내의 관심 영역을 생성하기 위한 시스템.