KR20080048308A - 기본 장치와 확장 장치의 연동 장치 및 방법 - Google Patents

기본 장치와 확장 장치의 연동 장치 및 방법 Download PDF

Info

Publication number
KR20080048308A
KR20080048308A KR1020060118549A KR20060118549A KR20080048308A KR 20080048308 A KR20080048308 A KR 20080048308A KR 1020060118549 A KR1020060118549 A KR 1020060118549A KR 20060118549 A KR20060118549 A KR 20060118549A KR 20080048308 A KR20080048308 A KR 20080048308A
Authority
KR
South Korea
Prior art keywords
metadata
basic
scene
interlocking operation
scene descriptor
Prior art date
Application number
KR1020060118549A
Other languages
English (en)
Inventor
김종화
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020060118549A priority Critical patent/KR20080048308A/ko
Priority to EP07121500A priority patent/EP1928148A1/en
Priority to CNA200710307155XA priority patent/CN101193200A/zh
Priority to US11/946,274 priority patent/US20080133604A1/en
Publication of KR20080048308A publication Critical patent/KR20080048308A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1101—Session protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/08—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1083—In-session procedures
    • H04L65/1094—Inter-user-equipment sessions transfer or sharing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/613—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for the control of the source by the destination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/764—Media network packet handling at the destination 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4131—Peripherals receiving signals from specially adapted client devices home appliance, e.g. lighting, air conditioning system, metering devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43632—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wired protocol, e.g. IEEE 1394
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Automation & Control Theory (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명은 기본 장치와 확장 장치의 연동 장치 및 방법 그리고 그 멀티폼 리치 미디어 서비스에 관한 것이다. 그 중 본 발명에 의한 멀티폼 리치 미디아 서비스 시스템은 멀티미디어 스트림을 이용하여 동영상을 재생하거나 멀티미디어 스트림으로부터 메타데이터를 추출하는 기본 장치; 상기 메타데이터를 확장 장치에 전송하기 위한 인터커넥션 레이어; 및 상기 메타데이터를 이용하여 연동 동작을 수행하는 확장 장치를 포함하는 하는 것을 특징으로 한다.
본 발명은 멀티미디어 스트림에 포함된 메타데이터를 이용하여 기본 장치와 다양한 전자 기기를 연동함으로써 사용자의 오감을 만족시킬 수 있는 멀티폼 리치 미디아 서비스를 제공한다.

Description

기본 장치와 확장 장치의 연동 장치 및 방법{Apparatus and Method for linking a basic device and extended devices}
도 1은 본 발명에 의한 기본 장치와 확장 장치의 연동에 관한 시나리오를 보여 준다.
도 2는 본 발명에 의한 장면 디스크립터(Scene Descriptor 또는 SD)의 그래프(tree graph)를 보여준다.
도 3은 본 발명에 의한 기본 장치와 확장 장치를 연동하기 위한 연동 시스템의 구성을 보여주는 기능 블록도이다.
도 4 본 발명에 의한 기본 장치(TV)와 확장 장치(PMP)의 연동 방법의 일실시예를 보여주는 흐름도이다.
도 5는 도 4의 확장 장치의 연동 단계(단계 50)의 구체적인 내용을 보여주는 흐름도이다.
도 6은 본 발명에 의한 기본 장치와 확장 장치의 연동 방법의 또 다른 실시예이다.
본 발명은 전자 기기의 연동에 관한 것으로, 특히 멀티미디어 스트림에 포함된 메타데이터를 이용하여 기본 장치와 확장 장치를 연동하기 위한 장치 및 방법에 관한 것이다.
종래의 멀티미디어 재생 장치(예:디지털 TV)는 단순히 영상 및 음성 콘텐츠만을 재생하므로 사용자들의 시각 및 청각을 자극하는 데 그치고 있다. 그러나 사용자는 시각 및 청각은 물론 더 나아가 후각, 촉각, 미각 등의 감각까지도 만족시킬 수 있는 새로운 형태의 멀티미디어 서비스를 기대하고 있다. 또한 장래에는 디지털 멀티미디어 서비스는 복수의 멀티미디어 콘텐츠를 포함하는 멀티미디어 스트림(embedded and divergent visual/audio stream)을 제공할 수도 있다. 이럴 경우 하나의 멀티미디어 스트림을 이용하여 동시에 복수의 멀티미디어 재생 장치에서 서로 다른 영상 및 음성 콘텐츠를 제공할 수도 있을 것이다. 더 나아가 디지털 멀티미디어 스트림을 이용하여 멀티미디어 재생 장치와 다양한 전자 기기들을 연동시켜 사용자의 오감을 만족시킬 수 있는 입체적인 멀티미디어 재생이 가능할 것이다.
본 발명이 이루고자하는 기술적 과제는 상기한 종래 기술의 한계를 극복하고 사용자의 오감을 만족시킬 수 있는 멀티폼 리치 미디어 서비스(Multiform Rich Media Service)를 제공하기 위해 기본 장치와 확장 장치를 연동하는 장치 및 방법을 제공하는 것이다.
상기한 기술적 과제를 이루기 위한 본 발명에 의한 기본 장치는
기본 장치와 확장 장치를 연동하는데 있어서,
확장 장면 디스크립터를 파싱하기 위한 확장 장면 디스크립션 매니저; 및
상기 파싱한 결과를 이용하여 멀티미디어 스트림으로부터 메타데이터를 추출하여 확장 장치로 전송하는 메타데이터 전송 매니저를 포함하는 것을 특징으로 한다.
상기한 또 다른 기술적 과제를 이루기 위한 본 발명에 의한 확장 장치는
기본 장치로부터 메타데이터를 수신하는 메타데이터 수신부;
상기 수신한 메타데이터를 해석하기 위한 메타데이터 해석부; 및
상기 메타데이터의 해석 결과를 이용하여 연동 동작을 수행하는 제어부를 포함하는 것을 특징으로 한다.
상기한 또 다른 기술적 과제를 이루기 위한 본 발명에 의한 멀티폼 리치 미디아 서비스 시스템은
멀티미디어 스트림을 이용하여 동영상을 재생하거나 멀티미디어 스트림으로부터 메타데이터를 추출하는 기본 장치;
상기 메타데이터를 확장 장치에 전송하기 위한 인터커넥션 레이어; 및
상기 메타데이터를 이용하여 연동 동작을 수행하는 확장 장치를 포함하는 하는 것을 특징으로 한다.
상기한 또 다른 기술적 과제를 이루기 위한 본 발명에 의한 확장 장치의 연동 방법은
기본 장치와 확장 장치를 연동하는데 있어서,
확장 장면 디스크립터를 파싱하는 단계:
상기 파싱 단계에서 얻은 결과를 이용하여 멀티미디어 스트림으로부터 메타데이터를 추출하는 단계;
상기 추출된 메타데이터를 확장 장치로 전송하는 단계; 및
확장 장치의 연동 동작을 수행하는 단계를 포함하는 것을 특징으로 한다.
상기한 또 다른 기술적 과제를 이루기 위한 본 발명에 의한 저장매체는
일반 장면 디스크립터; 및
메타 데이터에 관련된 객체 디스크립터의 ID를 포함하는 확장 장면 디스크립터로 구성되는 장면 디스크립터를 포함하는 스트림을 저장하는 것을 특징으로 한다.
상기한 또 다른 기술적 과제를 이루기 위한 본 발명에 의한 또 다른 저장 매체는
기본 장치와 확장 장치를 연동하는데 있어서,
확장 장면 디스크립터를 파싱하는 단계:
상기 파싱 단계에서 얻은 결과를 이용하여 멀티미디어 스트림으로부터 메타데이터를 추출하는 단계;
상기 추출된 메타데이터를 확장 장치로 전송하는 단계; 및
확장 장치의 연동 동작을 수행하는 단계를 컴퓨터상에서 실행하기 위한 컴퓨터 프로그램을 저장하는 하는 것을 특징으로 한다.
이하, 첨부된 도면을 참조하여 본 발명에 의한 실시예를 구체적으로 설명한 다.
도 1은 본 발명에 의한 기본 장치와 확장 장치의 연동에 관한 시나리오를 보여주기 위한 도면이다.
본 발명에 의한 멀티폼 리치 미디아 서비스(Multiform Rich Media Service)의 시스템은 기본 장치(11) 및 확장 장치(12 내지 16)를 포함한다. 상기 예에서는 디지털 TV가 기본 장치로 행동한다. 확장 장치를 카테고리(category) 별로 나누어 보면 조명 장치(12), 공기 및 온도 제어장치(13), 비디오 재생 장치(14), 오디오 재생 장치(15), 진동 장치, 향기 제어 장치, 위치 제어 장치 등이 있다.
지금 사용자가 TV를 통해 영화를 보고 있다고 가정하자. 시청하고 있는 영화 장면이 밤을 배경으로 하고 있다면 영화 장면(또는 TV)에 연동하여 실내의 조명 장치의 밝기 또는 색상을 어둡게 함으로써 시청자가 영화를 보다 실감나게 볼 수 있을 것이다. 또한 만약 사용자가 스포츠 경기를 시청중이라고 한다면 오디오 재생 장치를 경기 장면에 연동하여 경기장 관중석의 소리를 동시에 재생함으로써 시청자가 마치 관중석에 앉아 있는 듯한 느낌을 줄 수 있을 것이다.
위에선 디지털 TV를 기본 장치의 예로 하였으나 본 발명에 의한 다른 실시예에서는 모바일 TV, PVR(Personal Video Recorder) 기타 멀티미디어 플레이어를 기본 장치로 채택할 수 있다.
도 2는 본 발명에 의한 장면 디스크립터(Scene Descriptor 또는 SD)의 트리 그래프(tree graph)를 보여준다. 본 발명에 의한 장면 디스크립터는 크게 기본 장면 디스크립터(Basic Scene Descriptor)(a)와 확장 장면 디스크립터(Extended Scene Descriptor)(b)로 나뉘어진다. 본 발명의 일 실시예에서 기본 장면 디스크립터로서 멀티미디어 데이터 코딩에 관한 세계적 규격의 하나인 MPEG-4의 규준에 의한 장면 디스크립터를 채택할 수 있다. 본 발명에 의한 장면 디스크립터는 BIFS, LASeR, MORE 등의 언어에 의해 작성될 수 있다.
기본 장면 디스크립터(a)는 오디오/비디오 객체의 표시 방법과 특성을 지정하기 위한 것으로서 트리 구조(tree structure)를 가지며 복수의 노드를 포함한다. 상기 트리 구조 중 제 2 계급의 노드(21)는 합성할 콘텐츠를 표시하는 것으로 가령 영화, 스포츠, 뉴스, 드라마 등이 될 수 있다. 제 3 계급의 노드(22)는 오디오, 비디오 및 데이터에 관한 객체 디스크립터의 ID(Object Descryptor ID 또는 OD_ID)에 해당한다. 객체의 ID는 상기 OD_ID로부터 얻을 수 있으며 상기 객체의 ID를 이용해 방송 스트림(24)으로부터 필요한 객체를 추출한다.
확장 장면 디스크립터(b)는 확장 장치를 기본 장치와 연동시키는데 필요한 정보를 제공한다. 확장 장면 디스크립터는 기본 장면 디스크립터에 추가되어 장면 디스크립터를 형성한다. 제 2계급의 노드들(26, 27 등)은 특정 장면과 관련된 메타데이터에 대응하는 OD_ID를 포함하며 각각의 노드(26, 27)는 서로 다른 확장 장치에 관한 것이다. 가령 노드 26은 조명 장치의 메타데이터에 대응하는 OD_ID를 가지며 노드 27은 공기/온도 조절 장치의 메타데이터에 대응하는 OD_ID를 가진다. 메타데이터의 ID는 객체 디스크립터(Object Descriptor)(28)로부터 얻을 수 있다. 상기 메타데이터의 ID를 이용하여 방송 스트림으로부터 메타데이터(29)를 추출한다. 상기 메타데이터는 확장 장치의 종류, 연동 동작의 내용, 연동 동작을 수행할 시간 등에 관한 정보를 포함하고 있다.
도 3은 본 발명에 의한 기본 장치와 확장 장치를 연동하기 위한 멀티폼 리치 미디아 서비스(Multiform Rich Media Service) 시스템의 구성을 보여주는 기능 블록도이다. 상기 시스템은 크게 기본 장치(예:디지털 TV)(33), 확장 장치(31) 및 이들을 전기적으로 상호 접속시키기 위한 인터커넥션 레이어(interconnection layer)(32)를 포함한다.
상기 기본 장치(33), 가령 디지털 TV,는 그 고유 기능인 방송을 위해 방송 신호를 수신하거나 출력하기 위한 구성요소를 포함한다(도시되지 않음). 그 이외에도 기본 장치는 확장 장치와의 연동을 위해 장면 디스크립터 파서(scene descriptor parser)(34), 장면 합성 매니저(scene composition manager)(35), 확장 장면 디스크립터 매니저(extended scene descriptor manager)(36), 메타데이터 전송 매니저(metadata delivery manager)(37) 등을 더 포함한다.
장면 디스크립터 파서(34)는 장면 디스크립터의 파싱(parsing)을 위한 것이다. 기본 장치인 디지털 TV는 유/무선 채널을 통해 방송 스트림을 수신한다. 상기 방송 스트림(또는 멀티미디어 스트림)에는 장면 디스크립터 스트림이 포함되어 있다. 장면 디스크립터 파서는 상기 장면 디스크립터를 구성하는 기본 장면 디스크립터만을 파싱 한다.
장면 합성 매니저(35)는 디코더(decoder), 버퍼(buffer), 합성기(compositor) 등을 포함한다. 장면 합성 매니저는 장면 디스크리터 파서로부터 얻은 파싱 결과와 오디오 스트림, 비디오 스트림 및 데이터 스트림(정지영상, 제어 신호 포함)을 이용하여 동영상을 합성한다. 또한 장면 합성 매니저는 확장 장치와의 연동을 제어하는 등 시스템의 전체적인 운영을 담당한다.
확장 장면 디스크립터 매니저(36)는 장면 디스크립터에 포함된 확장 장면 디스크립터를 파싱하고 특정 장면에 관련된 메타데이터에 대응하는 객체 디스크립터 ID(Object Descryptor ID 또는 OD_ID)를 획득한다.
메타데이터 전송 매니저(37)는 상기 확장 장면 디스크립터 매니저에 의해 획득된 상기 OD_ID를 이용해 대응하는 메타데이터를 방송 스트림으로부터 추출한다. 그런 후 상기 추출된 메타 데이터를 확장 장치로 전송한다.
상기 확장 장치(31)를 카테고리(category) 별로 나누어 보면 공기 및 습도 조절장치, 온도 조절장치, 멀티미디어 디스플레이 장치, 오디오 출력 장치, 조명 장치, 진동 장치, 향기 제어 장치, 위치 제어 장치 등이 있다. 이들 중 최소 하나 이상이 상기 기본 장치에 전기적으로 연결되고 연동하게 된다.
각각의 확장 장치(31)는 추가적으로 메타데이터 수신부, 메타데이터 해석부, 센서, 제어부 등을 포함한다(도시되지 않음). 메타데이터 수신부는 기본 장치로부터 메타데이터를 수신한다. 메타데이터 해석부는 수신한 메타데이터를 해석하기 위한 것이며 제어부는 메타데이터의 해석 결과를 이용하여 확장 장치의 연동 동작을 수행한다.
상기 인터커텍션 레이어(32)의 예로는 1394 OVER IP, PLC(Power Line Communication), USB(Universal Serial Bus), 무선 IP(wireless Internet Protocol), UWB 등이 있다.
도 4 본 발명에 의한 기본 장치(TV)와 확장 장치(가전제품)의 연동 방법의 일실시예를 보여주는 흐름도이다.
단계 41은 장면 디스크립터(scene descriptor)를 수신하는 단계이다. 장면 디스크립터 파서(scene descriptor )가 장면 디스크립터를 수신한다. 장면 디스크립터는 방송 스트림을 역다중화하여 얻은 장면 디스크립터 스트림으로부터 얻는다.
단계 42에서는 장면 디스크립터를 파싱하는 단계이다. 이 단계에서는 장면 디스크립터 중 기본 장면 디스크립터에 해당하는 부분만을 파싱(parsing)한다. 이 단계에서는 장면을 구성하는 오디오/비디오/이미지 객체, 객체의 표시 방법, 객체의 특성 등을 해석한다.
단계 43는 기본 장면 디스크립터(SD) 및 객체 디스크립터 ID(OD_ID)를 처리한다. 이 단계에서는 단계 42에서의 해석 결과를 토대로 동영상 합성에 필요한 객체들을 추출한다.
단계 44는 멀티미디어 스트림에 포함된 데이터를 디코딩하는 단계이다. 기본 장치가 수신한 오디오 스트림, 비디오 스트림 및 데이터 스트림은 압축 상태(compressed)이므로 이들은 신장(decomprss)하기 위한 디코딩을 수행한다.
단계 45는 동영상을 합성하고 출력하는 단계이다. 상기 단계 43에서 얻은 해석 결과에 근거하여 상기 단계 44에서 디코딩된 멀티미디어 데이터들을 합성한 후 기본 장치의 디스플레이나 스피커 등을 통해 출력한다.
단계 46은 확장 장치의 연동 요청이 있는지 판단하는 단계이다. 만약 판단 결과 사용자로부터 확장 장치의 연동 요청이 없는 경우에는 절차는 종료된다.
반면, 사용자가 확장 장치 연동 요청을 하였다면 장면 디스크립터 파서는 확장 장면 디스크립터를 파싱한다(단계 47).
단계 48은 객체 디스크립터의 ID를 검색하는 단계이다. 이 단계에서는 연동할 장면에 관련된 메타데이터에 대한 OD_ID 를 검색하는 단계이다.
단계 49는 메타데이터를 검색하고 전송하는 단계이다. 상기 단계 48에서 검출한 OD-ID를 이용하여 메타데이터를 방송 스트림으로부터 추출한 후, 추출된 메타데이터를 기본 장치에 연결된 확장 장치들로 전송한다.
단계 50은 확장 장치가 연동하는 단계이다. 이 단계에서의 동작은 추후 도 5를 참조하여 자세히 설명하기로 한다.
도 5는 도 4의 확장 장치의 연동 단계(단계 50)의 구체적인 내용을 보여주는 흐름도이다.
단계 51은 메타데이터를 수신하는 단계이다. 확장 장치는 기본 장치로부터 링크 레이어(link layer)를 통해 메타데이터를 수신한다.
단계 52는 메타데이터를 수신한 확장 장치는 메타데이터를 해석하여 연동 동작의 내용(연동 동작의 수행 여부, 연동 동작의 종류 등)을 조사한다. 즉 연동 동작을 수행할 확장 장치가 조명 장치인지 아니면 공기/온도 제어 장치인지 조사하고 만약 공기/온도 제어 장치가 연동 동작을 수행해야 한다면 공기 흐름의 세기나 방향 또는 온도 등을 조사한다.
단계 53은 메타데이터를 수신한 확장 장치는 메타데이터를 해석하여 연동 동작을 수행할 시간을 조사한다. 또한 확장 장치의 연동 동작과 기본 장치의 동작을 동기(synchronization) 시킬 것인가도 판단한다.
단계 54는 단계 52 및 단계 53에서 조사된 내용에 따라 확장 장치의 연동 동작을 수행하는 단계이다. 확장 장치의 연동 동작은 기본 장치의 동작에 동기화될 수도 있고 비동기화될 수도 있다.
도 6은 본 발명에 의한 기본 장치와 확장 장치의 연동 방법의 또 다른 실시예이다. 기본 장치로 디지털 TV가 채택되었고 확장 장치로 PMP(Personal Multimedia Player)가 채택되었다.
지금 사용자가 TV의 화면(61)를 통해 축구 경기를 시청하고 있다. 이 때 사용자가 TV 화면의 우측 상단의 "스타트" 버튼(63)을 선택하면(도 6의 a), TV의 각종 부가 기능을 가리키는 버튼(또는 아이콘)들이 TV 디스플레이(61)에 표시된다.
상기 버튼 중 "커넥트" 버튼(64)을 누르면 확장 장치의 연동을 위한 절차가 시작된다(도 6의 b). 먼저 디스플레이의 좌측 부분에 TV와 연동할 수 있는 확장 장치들의 카테고리들을 가리키는 버튼들이 표시된다.
만약 사용자가 상기 버튼들 중 비디오 재생 장치(Add Video)(64)를 선택한 경우 다시 TV 디스플레이의 중앙에 비디오 재생 장치의 구체적인 예를 가리키는 아이콘들이 표시된다(도 6의 c). 사용자가 PMP(65)를 선택하기 위해 가운데 아이콘을 선택하면(도 6의 d) 비로서 TV와 PMP와의 연동 절차(도 4의 단계 47 내지 단계 50)가 시작된다.(도 6의 e). 축구 경기의 장면을 방송하는 TV에 연동된 PMP(66)에서는 해설가들이 축구 경기를 해설하는 모습을 출력된다(도 6의 f).
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 하드 디스크, 플로피 디스크, 플래쉬 메모리, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드로서 저장되고 실행될 수 있다.
이제까지 본 발명에 대하여 그 바람직한 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
본 발명은 멀티미디어 스트림에 포함된 메타데이터를 이용하여 기본 장치와 다양한 전자 기기를 연동함으로써 사용자의 오감을 만족시킬 수 있는 멀티폼 리치 미디아 서비스를 제공한다.

Claims (24)

  1. 기본 장치와 확장 장치를 연동하는데 있어서,
    확장 장면 디스크립터를 파싱하기 위한 확장 장면 디스크립션 매니저; 및
    상기 파싱한 결과를 이용하여 멀티미디어 스트림으로부터 메타데이터를 추출하여 확장 장치로 전송하는 메타데이터 전송 매니저를 포함하는 기본 장치.
  2. 제 1항에 있어서, 상기 기본 장치는 기본 장면 디스크립터를 파싱하기 위한 장면 디스크립터 파서 및 동영상 합성을 위한 장면 합성 매니저를 더 포함하는 기본 장치.
  3. 제 1항에 있어서, 상기 메타데이터는 연동할 확장 장치의 종류 및 연동 동작의 내용에 관한 데이터인 기본 장치.
  4. 제 1항에 있어서, 상기 멀티미디어 스트림은 오디오 스트림, 비디오 스트림 및 데이터 스트림을 포함하는 기본장치.
  5. 제 1항에 있어서, 상기 기본 장치는 멀티미디어 재생 장치인 것을 특징으로 하는 기본 장치.
  6. 제 5항에 있어서, 상기 멀티미디어 재생 장치는 디지털 TV인 기본 장치.
  7. 기본 장치로부터 메타데이터를 수신하는 메타데이터 수신부;
    상기 수신한 메타데이터를 해석하기 위한 메타데이터 해석부; 및
    상기 메타데이터의 해석 결과를 이용하여 연동 동작을 수행하는 제어부를 포함하는 확장 장치.
  8. 제 7항에 있어서, 상기 확장 장치는 공기 및 습도 조절장치, 온도 조절장치, 멀티미디어 디스플레이 장치, 오디오 출력 장치 및 조명 장치 중 어느 하나 이상을 포함하는 확장장치.
  9. 제 7항에 있어서, 상기 메타데이터는 연동할 확장 장치의 종류 및 연동 동작의 내용에 관한 데이터인 것을 특징으로 하는 확장 장치.
  10. 멀티미디어 스트림을 이용하여 동영상을 재생하거나 멀티미디어 스트림으로부터 메타데이터를 추출하는 기본 장치;
    상기 메타데이터를 확장 장치에 전송하기 위한 인터커넥션 레이어; 및
    상기 메타데이터를 이용하여 연동 동작을 수행하는 확장 장치를 포함하는 멀티폼 리치 미디아 서비스 시스템
  11. 제 10항에 있어서, 상기 인터커텍션 레이어는 1394 OVER IP, PLC(Power Line Communication), USB(Universal Serial Bus), 무선 IP(wireless Internet Protocol) 및 UWB 중 어느 하나인 멀티폼 리치 미디아 서비스 시스템.
  12. 기본 장치와 확장 장치를 연동하는데 있어서,
    확장 장면 디스크립터를 파싱하는 단계:
    상기 파싱 단계에서 얻은 결과를 이용하여 멀티미디어 스트림으로부터 메타데이터를 추출하는 단계;
    상기 추출된 메타데이터를 확장 장치로 전송하는 단계; 및
    확장 장치의 연동 동작을 수행하는 단계를 포함하는 확장 장치의 연동 방법.
  13. 제 12항에 있어서, 상기 메타데이터는 연동할 확장 장치의 종류 및 연동 동작의 내용에 관한 데이터인 것을 특징으로 하는 확장 장치의 연동 방법.
  14. 제 12항에 있어서, 상기 확장 장면 디스크립터는 메타데이터 추출에 필요한 객체 디스크립터 ID를 포함하는 것을 특징으로 하는 확장 장치의 연동 방법.
  15. 제 12항에 있어서. 상기 확장 장치의 연동 방법은 사용자로부터 확장 장치의 연동 요청이 있었는지 판단하는 단계를 더 포함하는 확장 장치의 연동 방법.
  16. 제 12항에 있어서. 상기 확장 장치가 공기/온도 제어 장치이고 상기 연동 동작은 공기 흐름의 세기, 방향 및 온도 중 어느 하나 이상의 조절인 것인 확장 장치의 연동 방법.
  17. 제 12항에 있어서. 상기 확장 장치가 조명 장치이고 상기 연동 동작은 전등의 밝기 및 색상 중 어느 하나 이상을 조절하는 것인 확장 장치의 연동 방법.
  18. 제 12항에 있어서, 상기 확장 장치의 연동 동작을 수행하는 단계는
    기본 장치로부터 메타 데이터를 수신하는 단계;
    상기 메타데이터를 해석하여 확장 장치의 연동 동작의 내용을 조사하는 단계; 및
    상기 조사된 연동 동작의 내용에 따라 연동 동작을 수행하는 단계를 포함하는 확장 장치 연동 방법.
  19. 제 12항에 있어서, 확장 장치의 연동 동작은 기본 장치의 동작에 동기화되는 것을 특징으로하는 확장 장치 연동 방법.
  20. 제 19항에 있어서, 상기 기본 장치의 동작은 동영상을 재생하는 것이고 상기 확장 장치의 연동 동작은 상기 동영상의 장면에 관련된 다른 동영상이나 오디오를 재생하는 확장 장치의 연동 방법.
  21. 일반 장면 디스크립터; 및
    메타 데이터에 관련된 객체 디스크립터의 ID를 포함하는 확장 장면 디스크립터로 구성되는 장면 디스크립터를 포함하는 스트림을 저장하는 저장매체.
  22. 제 21항에 있어서, 상기 저장 매체는 연동 동작할 확장 장치의 종류나 연동 동작의 내용에 관한 데이터를 포함하는 메타데이터를 더 저장하고 있는 저장매체.
  23. 기본 장치와 확장 장치를 연동하는데 있어서,
    확장 장면 디스크립터를 파싱하는 단계:
    상기 파싱 단계에서 얻은 결과를 이용하여 멀티미디어 스트림으로부터 메타데이터를 추출하는 단계;
    상기 추출된 메타데이터를 확장 장치로 전송하는 단계; 및
    확장 장치의 연동 동작을 수행하는 단계를 컴퓨터상에서 실행하기 위한 컴퓨터 프로그램을 저장하는 저장 매체.
  24. 기본 장치로부터 메타 데이터를 수신하는 단계;
    상기 메타데이터를 해석하여 확장 장치의 연동 동작의 내용을 조사하는 단계; 및
    상기 조사된 연동 동작의 내용에 따라 연동 동작을 수행하는 단계를 컴퓨터 상에서 실행하기 위한 컴퓨터 프로그램을 저장하는 저장매체.
KR1020060118549A 2006-11-28 2006-11-28 기본 장치와 확장 장치의 연동 장치 및 방법 KR20080048308A (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020060118549A KR20080048308A (ko) 2006-11-28 2006-11-28 기본 장치와 확장 장치의 연동 장치 및 방법
EP07121500A EP1928148A1 (en) 2006-11-28 2007-11-26 Apparatus and method for linking basic device and extended devices
CNA200710307155XA CN101193200A (zh) 2006-11-28 2007-11-27 用于关联基本装置和扩展装置的设备和方法
US11/946,274 US20080133604A1 (en) 2006-11-28 2007-11-28 Apparatus and method for linking basic device and extended devices

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060118549A KR20080048308A (ko) 2006-11-28 2006-11-28 기본 장치와 확장 장치의 연동 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20080048308A true KR20080048308A (ko) 2008-06-02

Family

ID=39259643

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060118549A KR20080048308A (ko) 2006-11-28 2006-11-28 기본 장치와 확장 장치의 연동 장치 및 방법

Country Status (4)

Country Link
US (1) US20080133604A1 (ko)
EP (1) EP1928148A1 (ko)
KR (1) KR20080048308A (ko)
CN (1) CN101193200A (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100929871B1 (ko) * 2008-06-13 2009-12-04 한국전자통신연구원 확장형 미디어 파싱 장치 및 방법
KR100934690B1 (ko) * 2007-12-03 2009-12-31 한국전자통신연구원 단일 미디어 다중 디바이스 기반 유비쿼터스 홈 미디어재현 방법 및서비스 방법
KR100989079B1 (ko) * 2008-10-28 2010-10-25 한국전자통신연구원 오케스트라 미디어 서비스 시스템 및 방법
US8266094B2 (en) 2008-06-13 2012-09-11 Electronics And Telecommunications Research Institute Apparatus and method for parsing of extensible media
CN110536162A (zh) * 2013-03-15 2019-12-03 意美森公司 产生来自视频内容分析的触觉反馈的方法和设备

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8327266B2 (en) * 2006-07-11 2012-12-04 Napo Enterprises, Llc Graphical user interface system for allowing management of a media item playlist based on a preference scoring system
US8873933B2 (en) * 2008-10-09 2014-10-28 Samsung Electronics Co., Ltd Method for operating additional information of video using visible light communication and apparatus for the same
CN101742159A (zh) * 2008-11-17 2010-06-16 深圳Tcl新技术有限公司 操作电子设备的方法以及电子设备
KR101635567B1 (ko) * 2009-11-12 2016-07-01 엘지전자 주식회사 영상표시장치 및 그 동작방법
JP5553668B2 (ja) * 2010-04-14 2014-07-16 株式会社ソニー・コンピュータエンタテインメント 情報検索方法、情報検索サーバ、および情報検索システム
US8849715B2 (en) 2012-10-24 2014-09-30 Causam Energy, Inc. System, method, and apparatus for settlement for participation in an electric power grid
US9513648B2 (en) 2012-07-31 2016-12-06 Causam Energy, Inc. System, method, and apparatus for electric power grid and network management of grid elements
US8983669B2 (en) 2012-07-31 2015-03-17 Causam Energy, Inc. System, method, and data packets for messaging for electric power grid elements over a secure internet protocol network
US10861112B2 (en) 2012-07-31 2020-12-08 Causam Energy, Inc. Systems and methods for advanced energy settlements, network-based messaging, and applications supporting the same on a blockchain platform
US10475138B2 (en) 2015-09-23 2019-11-12 Causam Energy, Inc. Systems and methods for advanced energy network
KR102071576B1 (ko) 2012-12-21 2020-03-02 삼성전자주식회사 콘텐트 재생 방법 및 이를 위한 단말
CN103596044A (zh) * 2013-11-22 2014-02-19 深圳创维数字技术股份有限公司 一种视频文件的处理及播放方法、装置及***
US10116560B2 (en) 2014-10-20 2018-10-30 Causam Energy, Inc. Systems, methods, and apparatus for communicating messages of distributed private networks over multiple public communication networks
CN105072483A (zh) * 2015-08-28 2015-11-18 深圳创维－Rgb电子有限公司 基于智能电视视频场景的智能家居设备互动方法及***

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5026152A (en) * 1989-02-15 1991-06-25 Sharkey Steven D Enhanced cinema system
US5316480A (en) * 1993-02-10 1994-05-31 Ellsworth Thayne N Portable multiple module simulator apparatus
US6426778B1 (en) * 1998-04-03 2002-07-30 Avid Technology, Inc. System and method for providing interactive components in motion video
US6564108B1 (en) * 2000-06-07 2003-05-13 The Delfin Project, Inc. Method and system of auxiliary illumination for enhancing a scene during a multimedia presentation
US20020116471A1 (en) * 2001-02-20 2002-08-22 Koninklijke Philips Electronics N.V. Broadcast and processing of meta-information associated with content material
KR20030084948A (ko) * 2001-02-26 2003-11-01 월드스테이지, 엘엘씨 통합형의 변형 가능한 영화관, 클럽 및 멀티플렉스
US20030145338A1 (en) * 2002-01-31 2003-07-31 Actv, Inc. System and process for incorporating, retrieving and displaying an enhanced flash movie
EP1361577A1 (en) * 2002-05-08 2003-11-12 Deutsche Thomson-Brandt Gmbh Appliance-guided edit-operations in advanced digital video recording systems
US7369903B2 (en) * 2002-07-04 2008-05-06 Koninklijke Philips Electronics N.V. Method of and system for controlling an ambient light and lighting unit
KR100587324B1 (ko) * 2003-06-14 2006-06-08 엘지전자 주식회사 디지털 멀티미디어 방송 서비스 방법, 송/수신기, 및 데이터 구조
US20050091279A1 (en) * 2003-09-29 2005-04-28 Rising Hawley K.Iii Use of transform technology in construction of semantic descriptions
EP1877897B1 (en) * 2005-04-26 2010-02-24 Alterface S.A. Interactive multimedia applications device
EP1758398A1 (en) * 2005-08-23 2007-02-28 Syneola SA Multilevel semiotic and fuzzy logic user and metadata interface means for interactive multimedia system having cognitive adaptive capability
US7793206B2 (en) * 2005-11-02 2010-09-07 Creative Technology Ltd System for downloading digital content published in a media channel
US20070174773A1 (en) * 2006-01-26 2007-07-26 International Business Machines Corporation System and method for controlling lighting in a digital video stream

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100934690B1 (ko) * 2007-12-03 2009-12-31 한국전자통신연구원 단일 미디어 다중 디바이스 기반 유비쿼터스 홈 미디어재현 방법 및서비스 방법
KR100929871B1 (ko) * 2008-06-13 2009-12-04 한국전자통신연구원 확장형 미디어 파싱 장치 및 방법
US8266094B2 (en) 2008-06-13 2012-09-11 Electronics And Telecommunications Research Institute Apparatus and method for parsing of extensible media
KR100989079B1 (ko) * 2008-10-28 2010-10-25 한국전자통신연구원 오케스트라 미디어 서비스 시스템 및 방법
CN110536162A (zh) * 2013-03-15 2019-12-03 意美森公司 产生来自视频内容分析的触觉反馈的方法和设备

Also Published As

Publication number Publication date
US20080133604A1 (en) 2008-06-05
CN101193200A (zh) 2008-06-04
EP1928148A1 (en) 2008-06-04

Similar Documents

Publication Publication Date Title
KR20080048308A (ko) 기본 장치와 확장 장치의 연동 장치 및 방법
US11503345B2 (en) Apparatus, systems and methods for control of sporting event presentation based on viewer engagement
US11468917B2 (en) Providing enhanced content
US8914820B2 (en) Systems and methods for memorializing a viewers viewing experience with captured viewer images
US8880720B2 (en) Method and device for delivering supplemental content associated with audio/visual content to a user
KR100782835B1 (ko) 캡션 정보의 출력시점 및 출력 우선순위를 조절하는 방법및 그 장치
US7266288B2 (en) Video/audio playback apparatus and video/audio playback method
CN1256583A (zh) 与视频/音频播放协同的视频/音频及图形演示***
JP2002525925A (ja) 複数相手に向けた一方向データ・ストリームに対する二方向接続性のシミュレーション
JPH0965300A (ja) 情報送受信システムとこのシステムに用いられる送信情報生成装置及び受信情報再生装置
KR101472013B1 (ko) 부가 데이터를 포함하는 음원 스트리밍을 제공하는 서버 및 방법, 그리고 디바이스
US20150040165A1 (en) Multi-source video navigation
JP2001101190A (ja) 受信装置および受信方法
KR20050004216A (ko) 프리젠테이션 합성기
JP2002218433A (ja) デジタルビデオシステム、ビデオ画像にリンクされた情報の取得方法、双方向視聴システム、双方向視聴装置、デコード装置、伝達媒体ならびに記録媒体。
KR20130050464A (ko) 증강 콘텐츠 생성 장치 및 방법, 증강 방송 송신 장치 및 방법, 및 증강 방송 수신 장치 및 방법
JP2006303938A (ja) 放送番組受信装置および放送番組送信装置、並びに、放送番組受信プログラムおよび放送番組送信プログラム
US20080059999A1 (en) Multi-function display controller
KR20130103931A (ko) 메타데이터 우선제공 증강방송 장치 및 방법
JP3882208B2 (ja) 送信装置および受信装置
KR101710452B1 (ko) 멀티미디어 전송 시스템에서 서비스 발견 정보를 송수신하는 방법 및 장치와 이를 위한 파일 구조
KR20050116916A (ko) 환경 정보를 포함하는 콘텐츠를 생성하고 재생하는 방법과그 재생 장치
JP2009100163A (ja) コンテンツ再生装置、コンテンツ再生システム、コンテンツ再生方法、およびプログラム
JPH0946305A (ja) Ｉｓｄｂ用送信装置およびその受信装置
CN114390048A (zh) 一种云vr投屏***和方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application