KR101959820B1 - 멀티미디어 통신 시스템에서 구성 정보 송수신 방법 및 장치 - Google Patents

멀티미디어 통신 시스템에서 구성 정보 송수신 방법 및 장치 Download PDF

Info

Publication number
KR101959820B1
KR101959820B1 KR1020120113841A KR20120113841A KR101959820B1 KR 101959820 B1 KR101959820 B1 KR 101959820B1 KR 1020120113841 A KR1020120113841 A KR 1020120113841A KR 20120113841 A KR20120113841 A KR 20120113841A KR 101959820 B1 KR101959820 B1 KR 101959820B1
Authority
KR
South Korea
Prior art keywords
screen
area
region
displayed
value
Prior art date
Application number
KR1020120113841A
Other languages
English (en)
Other versions
KR20140047482A (ko
Inventor
류영선
김규헌
조민우
송재연
유성열
박광훈
서덕영
Original Assignee
삼성전자주식회사
경희대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to KR1020120113841A priority Critical patent/KR101959820B1/ko
Application filed by 삼성전자주식회사, 경희대학교 산학협력단 filed Critical 삼성전자주식회사
Priority to AU2013330543A priority patent/AU2013330543B2/en
Priority to CA2888004A priority patent/CA2888004C/en
Priority to RU2015117516A priority patent/RU2627032C2/ru
Priority to MX2015004602A priority patent/MX352888B/es
Priority to PCT/KR2013/009150 priority patent/WO2014058284A1/en
Priority to CN201380053379.6A priority patent/CN104737544B/zh
Priority to ES13846199T priority patent/ES2749691T3/es
Priority to JP2015536719A priority patent/JP6516675B2/ja
Priority to EP13846199.1A priority patent/EP2907314B1/en
Priority to US14/054,293 priority patent/US20140104367A1/en
Publication of KR20140047482A publication Critical patent/KR20140047482A/ko
Priority to US14/944,595 priority patent/US10271011B2/en
Application granted granted Critical
Publication of KR101959820B1 publication Critical patent/KR101959820B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2387—Stream processing in response to a playback request from an end-user, e.g. for trick-play
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43079—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of additional data with content streams on multiple devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H04N21/8355—Generation of protective data, e.g. certificates involving usage data, e.g. number of copies or viewings allowed
    • H04N21/83555—Generation of protective data, e.g. certificates involving usage data, e.g. number of copies or viewings allowed using a structured language for describing usage rules of the content, e.g. REL
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8543—Content authoring using a description language, e.g. Multimedia and Hypermedia information coding Expert Group [MHEG], eXtensible Markup Language [XML]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

멀티미디어 통신 시스템에서 제1디바이스가 장면(view) 엘리먼트를 포함하는 구성 정보(composition information: CI)를 획득하고, 상기 장면 엘리먼트에 포함된 하나 이상의 영역(area)들 각각에 대한 엘리먼트를 확인하고, 상기 하나 이상의 영역들 각각에 대한 엘리먼트에 의해 제공되는 상기 하나 이상의 영역들 각각의 시간 및 공간 정보를 기반으로 상기 제1디바이스의 제1화면(screen) 상에 상기 하나 이상의 영역들을 포함하는 장면을 프리젠테이션하며, 상기 하나 이상의 영역들 각각은 하나 이상의 미디어 엘리먼트들과 관련된 공간 영역을 나타내고, 상기 하나 이상의 영역들 중 제1영역에 대한 엘리먼트에 포함되는 속성(attribute)이 제1값을 포함하는 경우, 상기 제1화면 및 제2디바이스의 제2화면 모두에 상기 제1영역이 표시되며, 상기 제1값은 상기 제1영역이 멀티스크린 프리젠테이션을 위해 사용되는 것이 허용되고, 상기 제1영역이 상기 제1화면과 상기 제2화면에 모두 표시됨을 나타냄을 특징으로 한다.

Description

멀티미디어 통신 시스템에서 구성 정보 송수신 방법 및 장치{METHOD AND APPARATUS FOR TRANSMITTING AND RECEIVING COMPOSITION INFORMATION IN MULTIMEDIA COMMUNICATION SYSTEM}
본 발명은 멀티미디어 통신 시스템에서 구성 정보 송수신 방법 및 장치에 관한 것이다.
최근 스마트폰의 확산과 함께 태블릿 PC가 등장하였고 스마트 TV까지 가세하여 스마트 미디어 환경이 조성되고 있다. 스마트폰을 필두로 시작된 스마트 기기의 발전은 기존의 TV와 모바일로 이어지던 3-스크린 환경에서 스마트 TV와 태블릿 PC, 클라우딩 컴퓨팅 등의 스크린의 변화로 멀티스크린(multi-screen) 이용을 활성화시키면서 크로스 미디어 환경을 실현하였다. 스마트 미디어의 성장과 클라우드 컴퓨팅의 본격화와 통신 환경의 변화로 본격적인 멀티스크린 서비스가 시작될 전망이다.
멀티스크린 서비스란, 하나 이상의 미디어를 스마트폰, PC, 스마트 TV, 태블릿 PC 등 다양한 디바이스들에서 교환할 수 있는 차세대 컴퓨팅ㆍ네트워크 서비스를 말한다. 이러한 멀티스크린 서비스는 장소에 구애 받지 않고 미디어를 사용할 수 있도록 할 뿐만 아니라, 다수의 디바이스들을 이용하여 다양한 미디어를 동시에 사용할 수 있도록 한다.
이와 같은 멀티스크린 서비스는 다수의 미디어를 다수의 디바이스들이 동시에 사용한다는 점, 공유된 미디어에 대한 스크린 상의 배치가 필요하다는 점을 고려해 볼 때 장면에 관한 구성 정보와 함께 멀티스크린 서비스를 위한 디바이스들 간 미디어 교환 방법을 제공하는 것이 필요하다.
장면에 관한 구성 정보와 멀티스크린 정보를 각각 제공한다는 것은 두 서비스가 서로 다른 어플리케이션을 통해 제공된다는 것을 의미하며, 이는 다음과 같은 두 가지 문제점을 초래할 수 있다. 첫째로 서로 다른 서비스를 동시에 제공함으로써 디바이스에 부하를 초래할 수 있다. 둘째로 하나의 화면에 표시되는 두 개의 서비스를 사용자가 시청하는 경우, 미디어의 부조화는 서비스의 질과 사용자 경험을 저하 시킬 수 있다.
본 발명은 멀티미디어 통신 시스템에서 구성 정보 송수신 방법 및 장치를 제안한다.
그리고 본 발명은 구성 정보를 사용한 디바이스들 간 미디어 송수신 방법 및 장치를 제안한다.
또한 본 발명은 다수의 디바이스들이 장면에 관한 정보가 포함된 구성 정보를 기반으로 효과적으로 화면을 구성할 수 있도록 하는 방법 및 장치를 제안한다.
본 개시의 일 실시 예에 따른 방법은; 멀티미디어 통신 시스템에서 제1디바이스의 방법에 있어서, 장면(view) 엘리먼트를 포함하는 구성 정보(composition information: CI)를 획득하는 과정과, 상기 장면 엘리먼트에 포함된 하나 이상의 영역(area)들 각각에 대한 엘리먼트를 확인하는 과정과, 상기 하나 이상의 영역들 각각에 대한 엘리먼트에 의해 제공되는 상기 하나 이상의 영역들 각각의 시간 및 공간 정보를 기반으로 상기 제1디바이스의 제1화면(screen) 상에 상기 하나 이상의 영역들을 포함하는 장면을 프리젠테이션하는 과정을 포함하며, 상기 하나 이상의 영역들 각각은 하나 이상의 미디어 엘리먼트들과 관련된 공간 영역을 나타내고, 상기 하나 이상의 영역들 중 제1영역에 대한 엘리먼트에 포함되는 속성(attribute)이 제1값을 포함하는 경우, 상기 제1화면 및 제2디바이스의 제2화면 모두에 상기 제1영역이 표시되며, 상기 제1값은 상기 제1영역이 멀티스크린 프리젠테이션을 위해 사용되는 것이 허용되고, 상기 제1영역이 상기 제1화면과 상기 제2화면에 모두 표시됨을 나타냄을 특징으로 한다.
본 개시의 일 실시 예에 따른 다른 방법은; 멀티미디어 통신 시스템에서 제2디바이스의 방법에 있어서, 제1영역(area)에 관한 정보를 수신하는 과정과, 상기 수신된 정보를 기반으로 상기 제1영역을 상기 제2디바이스의 제2화면(screen) 상에 프리젠테이션하는 과정을 포함하며, 상기 제1영역은 제1디바이스의 제1화면 상에 프리젠테이션된 장면(view)에 포함되는 하나 이상의 영역들 중 하나와 동일하며, 상기 하나 이상의 영역들 각각은 하나 이상의 미디어 엘리먼트들과 관련된 공간 영역을 나타내고, 상기 제1영역은 상기 제1영역에 대한 엘리먼트에 포함되는 속성(attribute)이 제1값을 포함하는 경우 수신되며, 상기 제1영역에 대한 엘리먼트는 구성 정보(composition information: CI)에 포함된 장면 엘리먼트에 포함되고, 상기 제1값은 상기 제1영역이 멀티스크린 프리젠테이션을 위해 사용되는 것이 허용되고, 상기 제1영역이 상기 제1화면과 상기 제2화면에 모두 표시됨을 나타냄을 특징으로 한다.
본 개시의 일 실시 예에 따른 장치는; 멀티미디어 통신 시스템에서 제1디바이스에 있어서, 디스플레이부와, 장면(view) 엘리먼트를 포함하는 구성 정보(composition information: CI)를 획득하고, 상기 장면 엘리먼트에 포함된 하나 이상의 영역(area)들 각각에 대한 엘리먼트를 확인하고, 상기 하나 이상의 영역들 각각에 대한 엘리먼트에 의해 제공되는 상기 하나 이상의 영역들 각각의 시간 및 공간 정보를 기반으로 상기 제1디바이스의 제1화면(screen) 상에 상기 하나 이상의 영역들을 포함하는 장면을 프레젠테이션 하도록 상기 디스플레이부를 제어하는 제어부를 포함하며, 상기 하나 이상의 영역들 각각은 하나 이상의 미디어 엘리먼트들과 관련된 공간 영역을 나타내고, 상기 하나 이상의 영역들 중 제1영역에 대한 엘리먼트에 포함되는 속성(attribute)이 제1값을 포함하는 경우, 상기 제1화면 및 제2디바이스의 제2화면 모두에 상기 제1영역이 표시되며, 상기 제1값은 상기 제1영역이 멀티스크린 프리젠테이션을 위해 사용되는 것이 허용되고, 상기 제1영역이 상기 제1화면과 상기 제2화면에 모두 표시됨을 나타냄을 특징으로 한다.
본 개시의 일 실시 예에 따른 다른 장치는; 멀티미디어 통신 시스템에서 제2디바이스에 있어서, 디스플레이부와, 제1영역(area)에 관한 정보를 수신하는 수신부와, 상기 수신된 정보를 기반으로 상기 제1영역을 상기 제2디바이스의 제2화면(screen) 상에 프리젠테이션하도록 상기 디스플레이부를 제어하는 제어부를 포함하며, 상기 제1영역은 제1디바이스의 제1화면 상에 프리젠테이션된 장면(view)에 포함되는 하나 이상의 영역들 중 하나와 동일하며, 상기 하나 이상의 영역들 각각은 하나 이상의 미디어 엘리먼트들과 관련된 공간 영역을 나타내고, 상기 제1영역은 상기 제1영역에 대한 엘리먼트에 포함되는 속성(attribute)이 제1값을 포함하는 경우 수신되며, 상기 제1영역에 대한 엘리먼트는 구성 정보(composition information: CI)에 포함된 장면 엘리먼트에 포함되고, 상기 제1값은 상기 제1영역이 멀티스크린 프리젠테이션을 위해 사용되는 것이 허용되고, 상기 제1영역이 상기 제1화면과 상기 제2화면에 모두 표시됨을 나타냄을 특징으로 한다.
본 발명에 따른 구성 정보를 사용하여 디바이스들 간 미디어 교환을 위해 필요한 정보를 제공하는 기술은 장면 구성 서비스와 멀티스크린 서비스를 하나의 어플리케이션으로 제공할 수 있는 기반이 되며, 두 서비스 사이에 중첩되는 기능 들의 중복된 사용을 줄이는데 유용하게 사용될 수 있다.
도 1은 본 발명의 실시 예에 따른 CI에 따른 화면상의 Area의 배치를 나타낸 도면,
도 2는 본 발명의 실시 예에 따른 secondary device에 대한 특정 미디어의 재생을 제한하기 위한 primary device의 동작을 나타낸 순서도,
도 3은 본 발명의 실시 예에 따른 특정 미디어의 재생이 제한된 secondary device의 동작을 나타낸 순서도,
도 4는 본 발명의 실시 예에 따른 특정 미디어가 secondary device에서 재생되는 예를 보인 도면,
도 5는 본 발명의 실시 예에 따른 secondary device에 특정 미디어를 재생시키기 위한 primary device의 동작을 나타낸 순서도,
도 6은 본 발명의 실시 예에 따른 특정 미디어를 재생하는 secondary device의 동작을 나타낸 순서도,
도 7은 본 발명의 실시 예에 따른 primary device와 secondary device에서 동일한 미디어를 재생하는 예를 보인 도면,
도 8은 본 발명의 실시 예에 따른 secondary device와 동일한 미디어를 재생하기 위한 primary device의 동작을 나타낸 순서도,
도 9는 본 발명의 실시 예에 따른 primary device와 동일한 미디어를 재생하기 위한 secondary device의 동작을 나타낸 순서도,
도 10은 본 발명의 실시 예에 따른 primary device에서 재생되던 미디어가 secondary device로 전달되어 재생되는 예를 보인 도면,
도 11은 본 발명의 실시 예에 따른 secondary device에 미디어를 전달하는 primary device의 동작을 나타낸 순서도,
도 12는 본 발명의 실시 예에 따른 primary device로부터 미디어를 전달받아 재생하는 secondary device의 동작을 나타낸 순서도,
도 13은 본 발명의 실시 예에 따른 primary device에 추가 미디어 전달시 화면이 재구성되는 예를 보인 도면,
도 14는 본 발명의 실시 예에 따른 미디어 교환에 따라 화면을 구성을 변경하는 primary device의 동작을 나타낸 순서도,
도 15a 및 도 15b는 본 발명의 실시 예에 따른 CI를 이용한 디바이스들 간 미디어 교환에 따른 서비스 수행 과정을 나타낸 도면,
도 16은 본 발명의 실시 예에 따른 디바이스의 블록 구성도.
이하 첨부된 도면을 참조하여 본 발명의 동작 원리를 상세히 설명한다. 하기에서 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
본 명세서에서는 멀티미디어 통신 시스템에서 구성 정보(composition information) 송수신 방법 및 장치를 기술한다. 구체적으로, 본 명세서에서는 하나 이상의 미디어를 타 단말에서 재생하기 위해 미디어 교환과 관련된 속성을 구성 정보를 사용하여 제공하는 방법과, 미디어 획득 및 반환 시점을 제공하기 위한 이벤트를 정의하는 방법과, 미디어의 자원 정보 및 구성 정보를 전달하는 방법 및 그와 관련된 장치를 기술한다.
본 발명의 실시 예에서는 구성 정보를 사용한 미디어 서비스에 대해 설명한다. 하지만, 본 발명의 실시 예는 구성 정보를 사용하는 미디어 서비스에만 한정되어 사용될 필요는 없고, 다양한 멀티미디어를 복합적으로 구성하여 서비스를 제공하는 모든 분야에 적용될 수 있다.
본 발명의 실시 예에서 제안하는 구성 정보는 다양한 미디어의 시공간 정보와 요소들 간의 연관 관계를 설명하기 위한 정보 등을 포함할 수 있다. 그리고 상기 구성 요소는 XML(eXtensible Markup Language)을 사용하여 생성될 수 있는데, 이하에서는 상기 구성 정보 및 상기 구성 정보와 관련된 정보를 다음 표 1에 나타난 바와 같이 정의하여 설명하기로 한다.
정보 정의
CI(Composition Information) 구성 정보 (혹은 장면 구성 정보)
Asset 하나의 미디어(XML상에서 미디어의 종류에 따라 video, audio, img 등으로 표시)
LoA(List of Asset) 다수의 Asset 각각의 속성 정보에 대한 리스트
AI(Asset Information) Asset 의 속성 정보
src Asset의 자원 정보
view 장면
Area 하나 이상의 Asset을 시공간에 관하여 독립적으로 구성한 Asset들의 집합 (XML상에서 div로 표시)
divLocation 하나의 Area를 화면에 배치하기 위한 view의 일부 영역
head LoA, AI, view 및 divLocation 관련 정보의 집합
body Area 관련 정보의 집합
width(너비), height(높이),
left(좌측여백), top(상단여백), z-index(공간상의 중첩 시, 재생 우선순위)		 Asset, view, Area 및 divLocation에 대한 공간 정보
begin(재생시작시간), end(재생중단시간), dur(재생기간) Asset, view, Area 및 divLocation에 대한 시간 정보

이하 본 발명의 실시 예를 구체적으로 설명하기로 한다.
멀티미디어 통신 시스템에서 다수의 디바이스들이 존재할 경우 디바이스들 간 미디어 교환이 수행될 수 있다. 즉, 하나의 디바이스가 다른 디바이스에게 미디어를 제공할 수 있으며, 상기 다른 디바이스는 상기 미디어를 제공받아 재생할 수 있다.
이하 상기 미디어를 상기 다른 디바이스에게 전달하는 디바이스를 제1디바이스(이하 'primary device'라 칭함)로 정의하고, 미디어를 타 디바이스로부터 전달받는 디바이스를 제2디바이스(이하 'secondary device'라 칭함)로 정의하기로 한다.
상기 primary device 또는 secondary device는 일 예로 다음 표 2에 나타난 바와 같은 CI를 사용하여 화면을 구성할 수 있다.
삭제
삭제
하기 표 2는 primary device를 위한 CI의 일 예를 나타낸 표이다.
Figure 112012083231510-pat00001
상기 표 2에서 <body> 부분을 참조하면,"video 1", "video 2" 및 "video 3"의 3개의 비디오 Asset이 존재하며, 상기 3개의 비디오 Asset은 서로 다른 공간 정보를 갖는 "Area 1", "Area 2"및 "Area 3"에 각각 배치될 수 있음을 알 수 있다. 상기 3개의 비디오 Asset은 <head>의 <LoA> 부분에 나타난 바와 같은 자원 정보 및 미디어 형태로 나타날 수 있으며, 상기 3개의 비디오 Asset 중 "video 1" 및 "video 2" 는 <Div>의 2개의 divLocation을 기반으로 view에 배치될 수 있다. 상기 표 2에 나타난 CI에 따른 화면은 도 1에 나타난 바와 같이 구성될 수 있다.
도 1은 본 발명의 실시 예에 따른 CI에 따른 화면상의 Area의 배치를 나타낸 도면이다.
도 1을 참조하면, 상기 표 2의 CI에 따라, 3개의 비디오 Asset 중 "video 1"을 포함하는 Area 1(100)과 "video 2"를 포함하는 Area 2 (120)가 화면 상의 해당 영역에 배치된다.
한편, 다수개의 디바이스들이 존재하는 경우, 일 예로 상기 primary device와 secondary device 가 존재하는 경우, 상기 primary device와 secondary device 는 CI에 따른 다양한 형태의 화면을 구성하여 미디어를 재생할 수 있다. 상기 CI는 미디어 서버에 의해 상기 primary device와 secondary device 각각으로 제공되거나, 상기 primary device에 의해 상기 secondary device로 제공될 수 있는데, 이하에서는 상기 CI가 상기 primary device에 의해 상기 secondary device로 제공되는 경우를 일 예로 설명하기로 한다.
본 발명의 실시 예에서는 상기 primary device와 secondary device 에서 다양한 형태의 화면 구성으로 미디어를 재생할 수 있도록 하는 방법을 제안한다. 구체적으로 본 발명의 실시 예에서는 일 예로서 (1) secondary device에 대한 특정 미디어의 재생을 제한하는 방법, (2) secondary device에 특정 미디어를 재생시키는 방법, (3) primary device와 secondary device에서 동일한 미디어를 재생하는 방법, (4) secondary device에 미디어를 전달하여 재생하는 방법 및 (5) 미디어 교환에 따라 화면을 재구성하는 방법 등을 포함한다.
이하 상기 5가지 방법 각각에 대하여 구체적으로 설명하기로 한다.
(1) secondary device에 대한 특정 미디어의 재생을 제한하는 방법
상기 secondary device에서 특정 미디어의 재생을 제한하기 위하여 하기 표 3과 같은 CI가 사용될 수 있다.
삭제
Figure 112012083231510-pat00002
상기 표 3은 상기 표 2의 CI에 상기 secondary device에 의한 재생을 제한하기 위한 정보(이하 '재생 제한 정보'라 칭함)(plungeOut="disable")가 추가된 예를 보이고 있다. 상기 표 3의 CI에서 plungeOut="disable"은 상기 "divL1"의 divLocation이 지시하는 Area1에 포함되는"video1"이 상기 secondary device에 의한 재생이 제한됨을 나타낸다.
Area는 하나 이상의 Asset을 묶을 수 있어 secondary device에 다수의 Asset을 전달하는데 용이하다. 따라서, Area는 Asset의 전달 단위로 사용될 수 있다. 그리고 divLocation은 Area를 화면상에 배치할 때 특성을 제공하므로 미디어 교환에 대한 정보 즉, 상기와 같은 재생 제한 정보 등도 함께 제공할 수 있다. 상기와 같은 방법에 따른 primary device 및 secondary device의 동작은 각각 도 2 및 도 3에 나타난 바와 같다.
도 2는 본 발명의 실시 예에 따른 secondary device에 대한 특정 미디어의 재생을 제한하기 위한 primary device의 동작을 나타낸 순서도이다.
도 2를 참조하면, 상기 primary device는 200 단계에서 다수의 미디어 중 secondary device에 의한 재생을 제한할 적어도 하나의 미디어를 선택한다. 상기 적어도 하나의 미디어를 선택하는 과정은 사용자의 입력 또는 별도의 제어에 따라 수행될 수 있다.
상기 primary device는 202 단계에서 상기 선택된 적어도 하나의 미디어의 재생이 제한됨을 나타내는 재생 제한 정보(plungeOut="disable")를 CI에 추가한다. 그리고 상기 primary device는 204 단계에서 상기 재생 제한 정보가 포함된 CI를 상기 secondary device로 송신한다.
이어 상기 primary device는 206 단계에서 상기 CI에 따라 해당 미디어를 재생한다. 여기서 상기 primary device는 상기 secondary device에서 재생이 제한된 상기 적어도 하나의 미디어를 재생할 수 있다.
도 3은 본 발명의 실시 예에 따른 특정 미디어의 재생이 제한된 secondary device의 동작을 나타낸 순서도이다.
도 3을 참조하면, 상기 secondary device는 300 단계에서 상기 primary device로부터 CI를 수신한다. 그리고 상기 secondary device는 302 단계에서 상기 CI에 상기 재생 제한 정보가 포함되었는지 여부를 판단한다.
상기 secondary device는 상기 재생 제한 정보가 포함되지 않은 경우, 308 단계로 진행하여 CI에 따른 해당 미디어를 재생한다. 그리고, 상기 secondary device는 상기 재생 제한 정보가 포함된 경우, 304 단계에서 상기 재생 제한 정보에 따른 적어도 하나의 미디어를 검출한다. 이어 상기 secondary device는 306 단계에서 상기 검출된 적어도 하나의 미디어를 제외한 다른 미디어를 재생한다.
(2) secondary device에 특정 미디어를 재생시키는 방법
도 4는 본 발명의 실시 예에 따른 특정 미디어가 secondary device에서 재생되는 예를 보인 도면이다.
도 4의 (a)를 참조하면, 상기 primary device는 도 1에 나타난 바와 마찬가지로, Area 1(100)의 "video 1"과 Area 2 (120)의 "video 2"를 재생하여 화면에 표시할 수 있다. 그리고 상기 secondary device가 존재하면, 상기 primary device는 도 2의 (b)에 나타난 바와 같이, 상기 primary device에서 재생되지 않은 미디어를 상기 secondary device에서 재생시키기 위해 하기 표 4와 같은 CI를 사용할 수 있다.
삭제
Figure 112012083231510-pat00003
상기 표 4는 상기 표 2의 CI에 secondary device에 대한 재생을 허용하는 정보(이하 '재생 허용 정보'라 칭함)(plungeOut="complementary")가 추가된 예를 보이고 있다. 상기 표 4의 CI에서 plungeOut="complementary"는 divLocation 에 미디어 교환에 대한 정보로서 제공되며, 존재하였으나 divLocation에 의해 view에 나타나지 않았던 Area3(400)의 "video 3"가 상기 primary device에서의 재생은 제한되나 상기 secondary device에서의 재생은 허용됨을 나타낸다.
상기와 같은 방법에 따른 primary device 및 secondary device의 동작은 각각 도 5 및 도 6에 나타난 바와 같다.
도 5는 본 발명의 실시 예에 따른 secondary device에 특정 미디어를 재생시키기 위한 primary device의 동작을 나타낸 순서도이다.
도 5를 참조하면, 상기 primary device는 500 단계에서 다수의 미디어 중 secondary device에서 재생할 적어도 하나의 미디어를 선택한다. 상기 적어도 하나의 미디어를 선택하는 과정은 사용자의 입력 또는 별도의 제어에 따라 수행될 수 있다.
그리고 상기 primary device는 502 단계에서 상기 선택된 적어도 하나의 미디어의 재생을 지시하는 재생 허용 정보(plungeOut="complementary")를 상기 선택된 적어도 하나의 미디어에 대한 자원 정보 등과 함께 CI에 추가한다.
이어 상기 primary device는 504 단계에서 상기 CI를 상기 secondary device로 송신하고, 506 단계에서 상기 CI에 따라 해당 미디어를 재생한다. 여기서 상기 primary device는 상기 secondary device에서 재생이 허용된 상기 적어도 하나의 미디어를 제외한 나머지 미디어를 재생한다.
도 6은 본 발명의 실시 예에 따른 특정 미디어를 재생하는 secondary device의 동작을 나타낸 순서도이다.
도 6을 참조하면, 상기 secondary device는 600 단계에서 상기 primary device로부터 CI를 수신한다. 그리고 상기 secondary device는 602 단계에서 상기 CI에 상기 재생 허용 정보가 포함되었는지 여부를 판단한다.
상기 secondary device는 상기 재생 허용 정보가 포함된 경우, 604 단계에서 상기 CI로부터 상기 재생 허용 정보에 따른 적어도 하나의 미디어를 검출한다. 그리고 상기 secondary device는 606 단계에서 상기 CI에 포함된 적어도 하나의 미디어의 자원 정보를 기반으로 상기 적어도 하나의 미디어를 재생한다.
한편, 상기 secondary device는 상기 재생 허용 정보가 포함되지 않은 경우 모든 과정을 종료할 수 있다.
(3) primary device와 secondary device에서 동일한 미디어를 재생하는 방법
도 7은 본 발명의 실시 예에 따른 primary device와 secondary device에서 동일한 미디어를 재생하는 예를 보인 도면이다.
도 7의 (a)를 참조하면, 상기 primary device는 도 1에 나타난 바와 마찬가지로, Area 1(100)의 "video 1"과 Area 2 (120)의 "video 2"를 재생하여 화면에 표시할 수 있다. 그리고 상기 secondary device가 존재하면, 도 7의 (b)에 나타난 바와 같이 상기 primary device에서 재생되는 미디어는 secondary device에서도 함께 재생될 수 있다. 도 7의 (b)에서는 상기 primary device의 Area 2(120)와 상기 secondary device의 Area 2(700)에서 각각 "video 2"가 동시에 재생되는 것을 일 예로 나타내고 있다.
상기와 같은 미디어 재생을 위해 하기 표 5에 나타난 바와 같은 CI가 사용될 수 있다.
Figure 112017100374917-pat00004
상기 표 5는 상기 표 2의 CI에 primary device와 secondary device에서 동시 재생을 허용하는 정보(이하 '동시 재생 허용 정보'라 칭함)(plungeOut="sharable")가 추가된 예를 보이고 있다. 상기 표 5의 CI에서plungeOut= "sharable"는 divLocation에 미디어 교환에 대한 정보로서 제공되며, 상기 primary device(Area 2(120))와 secondary device(Area 2(700))에서 "video 2"가 동시에 재생되는 것이 허용됨을 나타낸다.
상기와 같은 방법에 따른 primary device 및 secondary device의 동작은 각각 도 8 및 도 9에 나타난 바와 같다.
도 8은 본 발명의 실시 예에 따른 secondary device와 동일한 미디어를 재생하기 위한 primary device의 동작을 나타낸 순서도이다.
도 8을 참조하면, 상기 primary device는 800 단계에서 다수의 미디어 중 secondary device와 동시에 재생할 적어도 하나의 미디어를 선택한다. 상기 적어도 하나의 미디어를 선택하는 과정은 사용자의 입력 또는 별도의 제어에 따라 수행될 수 있다.
그리고 상기 primary device는 802 단계에서 상기 선택된 적어도 하나의 미디어를 동시에 재생할 것을 지시하는 동시 재생 허용 정보(plungeOut="sharable")를 상기 선택된 적어도 하나의 미디어에 대한 자원 정보 등과 함께 CI에 추가한다.
그리고 상기 primary device는 804 단계에서 상기 CI를 상기 secondary device로 송신하고, 806 단계에서 상기 CI에 따라 해당 미디어를 재생한다. 여기서 상기 primary device는 상기 secondary device와 동일한 미디어를 제생할 수 있다.
도 9는 본 발명의 실시 예에 따른 primary device와 동일한 미디어를 재생하기 위한 secondary device의 동작을 나타낸 순서도이다.
도 9를 참조하면, 상기 secondary device는 900 단계에서 상기 primary device로부터 CI를 수신한다. 그리고 상기 secondary device는 902 단계에서 상기 CI에 상기 동시 재생 허용 정보가 포함되었는지 여부를 판단한다.
상기 secondary device는 상기 재생 허용 정보가 포함된 경우, 904 단계에서 상기 동시 재생 허용 정보에 따른 적어도 하나의 미디어를 검출한다. 그리고 상기 secondary device는 906 단계에서 상기 CI에 포함된 적어도 하나의 미디어의 자원 정보를 기반으로 상기 적어도 하나의 미디어를 재생한다.
한편, 상기 secondary device는 상기 동시 재생 허용 정보가 포함되지 않은 경우, 모든 과정을 종료할 수 있다.
(4) secondary device에 미디어를 전달하여 재생하는 방법
도 10은 본 발명의 실시 예에 따른 primary device에서 재생되던 미디어가 secondary device로 전달되어 재생되는 예를 보인 도면이다.
도 10의 (a)를 참조하면, 상기 primary device는 도 1에 나타난 바와 마찬가지로, Area 1(100)의 "video 1"과 Area 2 (120)의 "video 2"를 재생하여 화면에 표시할 수 있다. 그리고 상기 secondary device가 존재하면, 도 10의 (b)에 나타난 바와 같이 상기 primary device의 Area 2(120)에서 재생되던 video 2는 상기 secondary device의 Area 2(1020)에서 재생될 수 있다. 여기서, 상기 video 2가 상기 secondary device의 Area 2(1020)에서 재생되는 경우, 상기 primary device에 남겨진 Area 1(100)은 새로운 공간 정보를 통해 새로운 위치(1000)에 재배치 될 수 있다.
상기 primary device에 남겨진 Area 1(100)에 새로운 공간 정보를 할당하기 위해 디바이스들 간 미디어 교환이 발생한 시점 정보가 필요하다. 이러한 정보를 제공하기 위해 디바이스들 간 미디어 교환 시, 미디어의 획득과 반환 시점에 대한 이벤트가 다음 표 6에 나타난 바와 같은 CI에 정의될 수 있다.
삭제
삭제
Figure 112012083231510-pat00005
상기 표 6을 참조하면, "divL1"의 divLocation에 추가된 정보(begin = "0s AreaBack"end ="divL2.AreaOut")는 도 10 의 (a)에 나타난 Area 1(100)에서의 재생 시작 시간 및 종료 시간을 나타내는 것으로서, 상기 Area 1(100)에서의 video 1에 대한 재생이 0초부터 시작되어 video 2가 secondary device에서 재생되기 위해 Area 2(120)를 벗어나는 경우 종료됨을 나타낸다.
그리고 "divL2"의 divLocation에 추가된 정보(plungeOut="dynamic")는 상기 video 2가 재생되는 위치가 동적임(즉, secondary device에 전달되어 재생될 수 있음)을 나타낸다.
또한 "divL3"의 divLocation에 추가된 정보(begin = "divL2.AreaOut"end ="AreaBack")는 도 10 의 (b)에 나타난 Area 1(1000)에서의 재생 시작 시간 및 종료 시간을 나타내는 것으로서, 상기 Area 1(1000)에서의 상기 video 1에 대한 재생이 상기 video 2가 상기 secondary device에서 재생되기 위해 Area 2(120)를 벗어나는 경우 시작되며, 상기 video 2가 다시 Area 2(120)에서 재생되는 경우 종료됨을 나타낸다.
상기와 같은 방법에 따른 primary device 및 secondary device의 동작은 각각 도 11 및 도 12에 나타난 바와 같다.
도 11은 본 발명의 실시 예에 따른 secondary device에 미디어를 전달하는 primary device의 동작을 나타낸 순서도이다.
도 11을 참조하면, 상기 primary device는 1100 단계에서 재생 중인 미디어 중 secondary device에서 재생할 적어도 하나의 미디어를 선택한다. 상기 적어도 하나의 미디어를 선택하는 과정은 사용자의 입력 또는 별도의 제어에 따라 수행될 수 있다.
그리고 상기 primary device는 1102 단계에서 적어도 하나의 미디어의 전달 및 반환에 따른 재생 위치 정보 및 재생 시간 정보를 결정한다. 여기서 상기 재생 위치 정보는 상기 적어도 하나의 미디어가 상기 primary device에서 재생되는 경우, 상기 재생 중인 미디어 중 나머지 미디어에 대한 화면 상의 위치 정보와, 상기 적어도 하나의 미디어가 상기 secondary device에서 재생되는 경우, 상기 나머지 미디어에 대한 화면 상의 위치 정보 등을 포함할 수 있다.
그리고 상기 재생 시간 정보는 상기 적어도 하나의 미디어가 상기 primary device에서 재생되는 경우의 상기 나머지 미디어에 대한 재생 시작 시간 및 재생 종료 시간과, 상기 적어도 하나의 미디어가 상기 secondary device에서 재생되는 경우의 상기 나머지 미디어에 대한 재생 시작 시간 및 재생 종료 시간 등을 포함할 수 있다.
상기 primary device는 1104 단계에서 상기 선택된 적어도 하나의 미디어에 대한 자원 정보를 CI에 추가하고, 상기 CI를 상기 secondary device로 송신한다. 상기 CI에는 상기 재생 위치 정보 및 재생 시간 정보가 추가될 수 있으나, 상기 재생 위치 정보 및 재생 시간 정보는 상기 secondary device로 송신되는 CI에는 포함되지 않을 수도 있다.
상기 primary device는 1106 단계에서 상기 CI에 따라 상기 재생 위치 정보 및 재생 시간 정보에 따라 상기 나머지 미디어를 재생한다. 이어 상기 primary device는 1108 단계에서 사용자의 선택에 따라 상기 secondary device로부터 상기 적어도 하나의 미디어가 반환되는지 여부(즉, 상기 적어도 하나의 미디어를 primary device에서 재생할 것이 지시되는지 여부)를 판단한다.
상기 primary device는 상기 적어도 하나의 미디어가 반환되는 경우, 1110 단계에서 상기 미디어 반환에 따른 재생 위치 정보 및 재생 시간 정보에 따라 상기 나머지 미디어를 재생한다.
도 12는 본 발명의 실시 예에 따른 primary device로부터 미디어를 전달받아 재생하는 secondary device의 동작을 나타낸 순서도이다.
도 12를 참조하면, 상기 secondary device는 1200 단계에서 상기 primary device로부터 CI를 수신한다. 그리고 상기 secondary device는 1202 단계에서 상기 CI로부터 적어도 하나의 미디어에 대한 자원 정보를 검출하고, 1204 단계에서 상기 검출된 자원 정보를 기반으로 적어도 하나의 미디어를 재생한다.
이어 상기 secondary device는 1206 단계에서 사용자의 선택에 따라 상기 적어도 하나의 미디어를 상기 primary device로 반환한다. 여기서, 상기 secondary device는 특정 메시지를 사용하여 상기 primary device로 상기 적어도 하나의 미디어를 재생할 것을 요청하거나 상기 적어도 하나의 미디어에 대한 자원 정보를 송신하는 등의 방법으로 상기 적어도 하나의 미디어를 상기 primary device로 반환할 수 있다.
(5) 미디어 교환에 따라 화면을 재구성하는 방법
삭제
도 13은 본 발명의 실시 예에 따른 primary device에 추가 미디어 전달시 화면이 재구성되는 예를 보인 도면이다.
도 13의 (a)에 나타난 바와 같이, 상기 primary device에서 CI에 따라 Area 1(1300)을 표시하고 있는 상황에서 두 개의 미디어가 포함된 Area가 상기 primary device에 전달된 경우, 도 13의 (b)에 나타난 바와 같이 화면이 재배치될 수 있다. 즉, 상기 전달된 두 개의 Area는 상기 primary device의 특정 위치에 표시되며(수신된 순서에 따라 The 1st received Area (1340) 및 The second received Area(1360)에 각각 표시될 수 있음), 기존에 존재하던 Area 1(1300)은 새로운 공간 정보를 기반으로 새로운 위치(1320)에 재배치 될 수 있다.
이를 위해 다음 표 7에 나타난 바와 같은 CI가 primary device에서 일 예로 사용될 수 있다.
Figure 112012083231510-pat00006
상기 표 7을 참조하면, View1에 추가된 정보(begin="0s divL3.AreaOut AreasOut"end="AreaIn(1)")는 Area1(1300)의 표시가 0초부터 시작되거나 Area1(1300)에 다른 Area가 존재하지 않는 경우 시작되고, 상기 Area1(1300)에 추가적으로 다른 Area가 존재하는 경우 종료됨을 나타낸다(즉, View1은 상기 Area1(1300)만이 존재하는 경우 표시되는 장면을 나타냄).
그리고 View2에 추가된 정보(begin ="AreaIn(1)" end = divL3.AreaOut AreasOut")는 상기 Area1(1300)의 표시가 상기 Area1(1300)에 추가적으로 다른 Area가 존재하는 경우 시작되고, 상기 다른 Area가 존재하지 않는 경우 종료됨을 나타낸다(즉, View2는 상기 Area1(1300)과 추가적인 Area가 존재하는 경우 표시되는 장면을 나타냄).
또한, 상기 View2에 추가된 정보(plungeIn="1"및 plungeIn="2")는 수신된 Area들이 배치되어야 할 화면 상의 위치를 지시하기 위한 것으로서, 각각 첫 번째 수신된 Area가 배치되는 위치 및 두 번째 수신된 Area가 배치되는 위치를 지시한다.
상기와 같은 표 7의 CI에 따르면, 도 13의 (a)에 나타난 바와 같이 Area1(1300)은 View1의 divLocation에 의해 0초부터 재생이 시작된다. 그리고 미디어 교환을 통해 Area 정보가 전달되면, 이벤트에 의해 도 13의 (b)에 나타난 바와 같이 상기 View1의 표시는 종료되고 View2가 표시된다. 상기 View2의 "divL2"의 divLocation에 의해 Area1은 새로운 위치(1320)에서 계속 재생된다.
상기 View2의 "divL3"의 divLocation은 미디어 교환에 대한 정보로 추가된 속성을 통해 빈(empty) Area(1340)로 결정되며 속성의 값(plungeIn="1")에 따라 첫 번째로 전달된 Area가 재생되는 영역이 된다. 상기 View2의 "divL4"의 divLocation 또한 빈 Area(1360)로 결정되며, 속성의 값(plungeIn="2")에 따라 두 번째로 전달된 Area가 재생되는 영역이 된다.
상기 View2는 "divL3"에서 재생되는 Area가 반환되거나, 전달된 모든 Area가 반환되는 경우 종료 이벤트에 의해 재생이 중단되며, 상기 View1은 시작 이벤트에 의해 다시 재생된다.
상기와 같은 방법에 따른 primary device의 동작은 도 14 에 나타난 바와 같다.
도 14는 본 발명의 실시 예에 따른 미디어 교환에 따라 화면을 구성을 변경하는 primary device의 동작을 나타낸 순서도이다.
도 14를 참조하면, 상기 primary device는 1400 단계에서 CI에 따라 해당 Area를 화면에 표시하여 제1화면을 구성한다. 그리고 상기 primary device는 1402 단계에서 상기 secondary device로부터 미디어가 포함된 Area가 수신되는지 여부를 판단한다.
상기 primary device는 상기 Area가 수신된 경우, 1404 단계에서 화면 재배치를 통해 제2화면을 구성하여 상기 수신된 Area를 할당할 추가 재생 영역(빈 Area)를 생성한다. 그리고 상기 primary device는 1406 단계에서 상기 생성된 추가 재생 영역에 상기 수신된 Area를 할당한다.
여기서, 상기 primary device는 상기 secondary device로부터 다수개의 Area를 수신할 수 있으며, 상기 추가 재생 영역 역시 다수개 생성하는 것이 가능하다. 그리고 상기 primary device는 미리 설정된 기준에 따라 상기 다수개의 Area를 상기 다수개의 추가 재생 영역에 각각 할당할 수 있다. 예를 들어, 상기 primary device는 수신된 순서에 따라 지시되는 영역에 해당 Area를 할당할 수 있다.
한편 상기 primary device는 1408 단계에서 상기 수신된 Area가 반환된 것으로 판단된 경우, 1410 단계로 진행하여 상기 추가 재생 영역을 해제하고 상기 제1화면으로 복귀한다.
한편, 도 14에서는 상기 primary device의 동작에 대해 설명하였으나, 도 14에 도시된 동작은 secondary device에서도 수행되는 것도 가능하다.
다음 표 8은 디바이스들 간의 미디어 교환에서 primary device가 secondary device에 전달하는 Area 정보의 일 예를 나타낸 표이다.
Figure 112012083231510-pat00007
상기 표 8을 참조하면, 초기에 제공되어야 할 정보는 Area의 공간정보와 Area 내 Asset들의 src정보, 공간정보와 Asset의 현재까지 재생된 시간정보를 포함하며, 이후에 제공되어야 할 정보는 Asset 간의 동기화를 제공하기 위해 각 Asset의 재생 시간 정보를 포함함을 알 수 있다.
도 15a 및 도 15b는 본 발명의 실시 예에 따른 CI를 이용한 디바이스들 간 미디어 교환에 따른 서비스 수행 과정을 나타낸 도면이다.
먼저, 도 15a를 참조하면, 1500 단계에서는 primary device와 secondary device는 각각 CI에 따른 미디어 재생을 시작한다. 예를 들어, 상기 primary device는 Area 1 및 Area 1-2의 재생을 시작하고, 상기 secondary device는 Area 2의 재생을 시작한다.
그리고 1502 단계에서 사용자에 의해 Area1-2에 대한 미디어 교환(즉, 상기 primary device에서 재생 중인 Area1-2를 상기 secondary device에서 재생할 것)이 요청되면, 상기 primary device는 1504 단계에서 상기 secondary device에게 상기 Area1-2의 자원 정보 및 장면 구성 정보(즉, CI)를 전달한다. 그리고 1506 단계에서 상기 primary device는 상기 Area1-2의 재생을 종료한다.
1508 단계에서는 Area 교환에 의해 발생한 이벤트에 따라 상기 primary device에는 새 장면 구성이 적용된다. 그리고 1510 단계에서 상기 secondary device에는 Area 교환에 의해 발생한 이벤트에 따라 새 장면 구성이 적용된다. 예를 들어, 상기 primary device에서 재생 중인 Area1-1과 상기 secondary device에서 재생 중인 Area2는 새로운 위치에 재배치될 수 있다.
상기 secondary device는 1512 단계에서 Area1-2의 재생을 시작한다. 상기 Area1-2는 상기 primary device로부터 수신한 Area 정보와 CI 내 빈 Area 정보에 따른 위치에서 재생될 수 있다. 도 15a는 상기 Area2의 우측 위치에서 상기 Area1-2가 재생됨을 일 예로 보이고 있다.
도 15a의 "A"는 도 15a의 1512 단계와 도 15b의 1514 단계가 연결됨을 나타내기 위해 도시된 것으로, 도 15a의 1512 단계에 이후 수행되는 내용을 도 15b를 참조하여 설명하기로 한다.
도 15b를 참조하면, 1514 단계에서 상기 Area1-2의 동기화된 재생을 유지하기 위해 상기 primary device는 상기 secondary device에게 각 Asset의 시간 정보를 주기적으로 전송한다. 그리고 1516 단계에서 사용자에 의해 상기 Area1-2에 대한 미디어 반환(즉, 상기 Area1-2를 다시 상기 primary device에서 재생할 것)이 요청되면, 상기 secondary device는 1518 단계에서 상기 Area1-2의 재생을 종료한다.
이어 상기 secondary device는 상기 미디어 반환에 의해 발생된 이벤트에 따라 1520 단계에서 기존의 장면 구성으로 회귀한다. 또한 1522 단계에서 primary device 또한 미디어 반환에 의해 발생한 이벤트에 따라 기존의 장면 구성으로 회귀한다. 그리고 상기 primary device는 1524 단계에서 상기 Area1-2의 재생을 재개한다.
도 16은 본 발명의 실시 예에 따른 디바이스의 블록 구성도이다.
도 16에 도시된 디바이스의 내부 구성은 상기 primary device 또는 상기 secondary device의 내부 구성이 될 수 있다.
도 16을 참조하면, 디바이스는 제어부(1600), 송신부(1602), 수신부(1604) 및 메모리(1606)를 포함한다.
상기 제어부(1600)는 상기 송신부(1602), 수신부(1604) 및 메모리(1606)를 제어하고, 상기 디바이스의 전반적인 동작을 제어한다. 특히, 상기 제어부(1600)는 앞서 설명한 본 발명의 실시 예에 따른 5가지 방법과 관련된 primary device 또는 secondary device에 대응되는 동작을 수행한다.
상기 송신부(1602) 및 수신부(1604)는 디바이스의 무선 통신을 수행하기 위한 구성부로서, 디바이스들 간의 통신을 위한 별도의 구성부를 포함할 수 있다.
상기 메모리(1606)는 상기 디바이스의 동작에 의해 생성되는 데이터 및 정보, 미디어 등을 저장한다.
본 명세서와 도면에 개시된 본 발명의 실시 예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것 일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가지는 자에게 자명한 것이다.

Claims (28)

  1. 멀티미디어 통신 시스템에서 제1디바이스의 방법에 있어서,
    장면(view) 엘리먼트를 포함하는 구성 정보(composition information: CI)를 획득하는 과정과,
    상기 장면 엘리먼트에 포함된 하나 이상의 영역(area)들 각각에 대한 엘리먼트를 확인하는 과정과,
    상기 하나 이상의 영역들 각각에 대한 엘리먼트에 의해 제공되는 상기 하나 이상의 영역들 각각의 시간 및 공간 정보를 기반으로 상기 제1디바이스의 제1화면(screen) 상에 상기 하나 이상의 영역들을 포함하는 장면을 프리젠테이션하는 과정을 포함하며,
    상기 하나 이상의 영역들 각각은 하나 이상의 미디어 엘리먼트들과 관련된 공간 영역을 나타내고, 상기 하나 이상의 영역들 중 제1영역에 대한 엘리먼트에 포함되는 속성(attribute)이 제1값을 포함하는 경우, 상기 제1화면 및 제2디바이스의 제2화면 모두에 상기 제1영역이 표시되며,
    상기 제1값은 상기 제1영역이 멀티스크린 프리젠테이션을 위해 사용되는 것이 허용되고, 상기 제1영역이 상기 제1화면과 상기 제2화면에 모두 표시됨을 나타냄을 특징으로 하는 제1디바이스의 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 하나 이상의 영역들 중 제2영역에 대한 엘리먼트에 포함된 속성이 제2값을 포함하는 경우, 상기 제1화면에 상기 제2영역이 표시되며,
    상기 제2값은 상기 제2영역이 상기 멀티스크린 프리젠테이션을 위해 사용되는 것이 허용되지 않음을 나타냄을 특징으로 하는 제1디바이스의 방법.
  4. 제1항에 있어서,
    상기 장면 엘리먼트는 상기 하나 이상의 영역들과 상이한 제3영역에 대한 엘리먼트를 더 포함하고, 상기 제3영역에 대한 엘리먼트에 포함된 속성이 제3값을 포함하는 경우, 상기 제2화면에 상기 제3영역이 표시되며,
    상기 제3값은 상기 제3영역이 상기 멀티스크린 프리젠테이션을 위해 사용되는 것이 허용되고 상기 제2화면에 표시됨을 나타냄을 특징으로 하는 제1디바이스의 방법.
  5. 제1항에 있어서,
    상기 장면 엘리먼트는 상기 하나 이상의 영역들과 상이한 제4영역에 대한 엘리먼트를 더 포함하고, 상기 제4영역에 대한 엘리먼트에 포함된 속성이 제4값을 포함하는 경우, 상기 제2화면에 상기 제4영역이 표시되며,
    상기 제4값은 상기 제4영역이 상기 멀티스크린 프리젠테이션을 위해 사용되는 것이 허용되고 상기 제2화면에 표시되며, 상기 멀티스크린 프리젠테이션이 시작되기 전에 상기 제4영역이 상기 제1화면에서 보여지지 않음을 나타냄을 특징으로 하는 제1디바이스의 방법.
  6. 제1항에 있어서,
    상기 CI는 미디어 엘리먼트들의 리스트를 포함하는 소스 리스트 엘리먼트를 더 포함함을 특징으로 하는 제1디바이스의 방법.
  7. 제6항에 있어서,
    상기 소스 리스트 엘리먼트는 상기 미디어 엘리먼트들 각각과 관련된 주소를 나타내는 속성을 포함함을 특징으로 하는 제1디바이스의 방법.
  8. 멀티미디어 통신 시스템에서 제2디바이스의 방법에 있어서,
    제1영역(area)에 관한 정보를 수신하는 과정과,
    상기 수신된 정보를 기반으로 상기 제1영역을 상기 제2디바이스의 제2화면(screen) 상에 프리젠테이션하는 과정을 포함하며,
    상기 제1영역은 제1디바이스의 제1화면 상에 프리젠테이션된 장면(view)에 포함되는 하나 이상의 영역들 중 하나와 동일하며, 상기 하나 이상의 영역들 각각은 하나 이상의 미디어 엘리먼트들과 관련된 공간 영역을 나타내고,
    상기 제1영역은 상기 제1영역에 대한 엘리먼트에 포함되는 속성(attribute)이 제1값을 포함하는 경우 수신되며, 상기 제1영역에 대한 엘리먼트는 구성 정보(composition information: CI)에 포함된 장면 엘리먼트에 포함되고,
    상기 제1값은 상기 제1영역이 멀티스크린 프리젠테이션을 위해 사용되는 것이 허용되고, 상기 제1영역이 상기 제1화면과 상기 제2화면에 모두 표시됨을 나타냄을 특징으로 하는 제2디바이스의 방법.
  9. 삭제
  10. 제8항에 있어서,
    상기 하나 이상의 영역들 중 제2영역에 대한 엘리먼트에 포함된 속성이 제2값을 포함하는 경우, 상기 제1화면에 상기 제2영역이 표시되며,
    상기 제2값은 상기 제2영역이 상기 멀티스크린 프리젠테이션을 위해 사용되는 것이 허용되지 않음을 나타냄을 특징으로 하는 제2디바이스의 방법.
  11. 제8항에 있어서,
    상기 장면 엘리먼트는 상기 하나 이상의 영역들과 상이한 제3영역에 대한 엘리먼트를 더 포함하고, 상기 제3영역에 대한 엘리먼트에 포함된 속성이 제3값을 포함하는 경우, 상기 제2화면에 상기 제3영역이 표시되며,
    상기 제3값은 상기 제3영역이 상기 멀티스크린 프리젠테이션을 위해 사용되는 것이 허용되고 상기 제2화면에 표시됨을 나타냄을 특징으로 하는 제2디바이스의 방법.
  12. 제8항에 있어서,
    상기 장면 엘리먼트는 상기 하나 이상의 영역들과 상이한 제4영역에 대한 엘리먼트를 더 포함하고, 상기 제4영역에 대한 엘리먼트에 포함된 속성이 제4값을 포함하는 경우, 상기 제2화면에 상기 제4영역이 표시되며,
    상기 제4값은 상기 제4영역이 상기 멀티스크린 프리젠테이션을 위해 사용되는 것이 허용되고 상기 제2화면에 표시되며, 상기 멀티스크린 프리젠테이션이 시작되기 전에 상기 제4영역이 상기 제1화면에서 보여지지 않음을 나타냄을 특징으로 하는 제2디바이스의 방법.
  13. 제8항에 있어서,
    상기 CI는 미디어 엘리먼트들의 리스트를 포함하는 소스 리스트 엘리먼트를 더 포함함을 특징으로 하는 제2디바이스의 방법.
  14. 제13항에 있어서,
    상기 소스 리스트 엘리먼트는 상기 미디어 엘리먼트들 각각과 관련된 주소를 나타내는 속성을 포함함을 특징으로 하는 제2디바이스의 방법.
  15. 멀티미디어 통신 시스템에서 제1디바이스에 있어서,
    디스플레이부와,
    장면(view) 엘리먼트를 포함하는 구성 정보(composition information: CI)를 획득하고, 상기 장면 엘리먼트에 포함된 하나 이상의 영역(area)들 각각에 대한 엘리먼트를 확인하고, 상기 하나 이상의 영역들 각각에 대한 엘리먼트에 의해 제공되는 상기 하나 이상의 영역들 각각의 시간 및 공간 정보를 기반으로 상기 제1디바이스의 제1화면(screen) 상에 상기 하나 이상의 영역들을 포함하는 장면을 프레젠테이션 하도록 상기 디스플레이부를 제어하는 제어부를 포함하며,
    상기 하나 이상의 영역들 각각은 하나 이상의 미디어 엘리먼트들과 관련된 공간 영역을 나타내고, 상기 하나 이상의 영역들 중 제1영역에 대한 엘리먼트에 포함되는 속성(attribute)이 제1값을 포함하는 경우, 상기 제1화면 및 제2디바이스의 제2화면 모두에 상기 제1영역이 표시되며,
    상기 제1값은 상기 제1영역이 멀티스크린 프리젠테이션을 위해 사용되는 것이 허용되고, 상기 제1영역이 상기 제1화면과 상기 제2화면에 모두 표시됨을 나타냄을 특징으로 하는 제1디바이스.
  16. 삭제
  17. 제15항에 있어서,
    상기 하나 이상의 영역들 중 제2영역에 대한 엘리먼트에 포함된 속성이 제2값을 포함하는 경우, 상기 제1화면에 상기 제2영역이 표시되며,
    상기 제2값은 상기 제2영역이 상기 멀티스크린 프리젠테이션을 위해 사용되는 것이 허용되지 않음을 나타냄을 특징으로 하는 제1디바이스.
  18. 제15항에 있어서,
    상기 장면 엘리먼트는 상기 하나 이상의 영역들과 상이한 제3영역에 대한 엘리먼트를 더 포함하고, 상기 제3영역에 대한 엘리먼트에 포함된 속성이 제3값을 포함하는 경우, 상기 제2화면에 상기 제3영역이 표시되며,
    상기 제3값은 상기 제3영역이 상기 멀티스크린 프리젠테이션을 위해 사용되는 것이 허용되고 상기 제2화면에 표시됨을 나타냄을 특징으로 하는 제1디바이스.
  19. 제15항에 있어서,
    상기 장면 엘리먼트는 상기 하나 이상의 영역들과 상이한 제4영역에 대한 엘리먼트를 더 포함하고, 상기 제4영역에 대한 엘리먼트에 포함된 속성이 제4값을 포함하는 경우, 상기 제2화면에 상기 제4영역이 표시되며,
    상기 제4값은 상기 제4영역이 상기 멀티스크린 프리젠테이션을 위해 사용되는 것이 허용되고 상기 제2화면에 표시되며, 상기 멀티스크린 프리젠테이션이 시작되기 전에 상기 제4영역이 상기 제1화면에서 보여지지 않음을 나타냄을 특징으로 하는 제1디바이스.
  20. 제15항에 있어서,
    상기 CI는 미디어 엘리먼트들의 리스트를 포함하는 소스 리스트 엘리먼트를 더 포함함을 특징으로 하는 제1디바이스.
  21. 제20항에 있어서,
    상기 소스 리스트 엘리먼트는 상기 미디어 엘리먼트들 각각과 관련된 주소를 나타내는 속성을 포함함을 특징으로 하는 제1디바이스.
  22. 멀티미디어 통신 시스템에서 제2디바이스에 있어서,
    디스플레이부와,
    제1영역(area)에 관한 정보를 수신하는 수신부와,
    상기 수신된 정보를 기반으로 상기 제1영역을 상기 제2디바이스의 제2화면(screen) 상에 프리젠테이션하도록 상기 디스플레이부를 제어하는 제어부를 포함하며,
    상기 제1영역은 제1디바이스의 제1화면 상에 프리젠테이션된 장면(view)에 포함되는 하나 이상의 영역들 중 하나와 동일하며, 상기 하나 이상의 영역들 각각은 하나 이상의 미디어 엘리먼트들과 관련된 공간 영역을 나타내고,
    상기 제1영역은 상기 제1영역에 대한 엘리먼트에 포함되는 속성(attribute)이 제1값을 포함하는 경우 수신되며, 상기 제1영역에 대한 엘리먼트는 구성 정보(composition information: CI)에 포함된 장면 엘리먼트에 포함되고,
    상기 제1값은 상기 제1영역이 멀티스크린 프리젠테이션을 위해 사용되는 것이 허용되고, 상기 제1영역이 상기 제1화면과 상기 제2화면에 모두 표시됨을 나타냄을 특징으로 하는 제2디바이스.
  23. 삭제
  24. 제22항에 있어서,
    상기 하나 이상의 영역들 중 제2영역에 대한 엘리먼트에 포함된 속성이 제2값을 포함하는 경우, 상기 제1화면에 상기 제2영역이 표시되며,
    상기 제2값은 상기 제2영역이 상기 멀티스크린 프리젠테이션을 위해 사용되는 것이 허용되지 않음을 나타냄을 특징으로 하는 제2디바이스.
  25. 제22항에 있어서,
    상기 장면 엘리먼트는 상기 하나 이상의 영역들과 상이한 제3영역에 대한 엘리먼트를 더 포함하고, 상기 제3영역에 대한 엘리먼트에 포함된 속성이 제3값을 포함하는 경우, 상기 제2화면에 상기 제3영역이 표시되며,
    상기 제3값은 상기 제3영역이 상기 멀티스크린 프리젠테이션을 위해 사용되는 것이 허용되고 상기 제2화면에 표시됨을 나타냄을 특징으로 하는 제2디바이스.
  26. 제22항에 있어서,
    상기 장면 엘리먼트는 상기 하나 이상의 영역들과 상이한 제4영역에 대한 엘리먼트를 더 포함하고, 상기 제4영역에 대한 엘리먼트에 포함된 속성이 제4값을 포함하는 경우, 상기 제2화면에 상기 제4영역이 표시되며,
    상기 제4값은 상기 제4영역이 상기 멀티스크린 프리젠테이션을 위해 사용되는 것이 허용되고 상기 제2화면에 표시되며, 상기 멀티스크린 프리젠테이션이 시작되기 전에 상기 제4영역이 상기 제1화면에서 보여지지 않음을 나타냄을 특징으로 하는 제2디바이스.
  27. 제22항에 있어서,
    상기 CI는 미디어 엘리먼트들의 리스트를 포함하는 소스 리스트 엘리먼트를 더 포함함을 특징으로 하는 제2디바이스.
  28. 제27항에 있어서,
    상기 소스 리스트 엘리먼트는 상기 미디어 엘리먼트들 각각과 관련된 주소를 나타내는 속성을 포함함을 특징으로 하는 제2디바이스.
KR1020120113841A 2012-10-12 2012-10-12 멀티미디어 통신 시스템에서 구성 정보 송수신 방법 및 장치 KR101959820B1 (ko)

Priority Applications (12)

Application Number Priority Date Filing Date Title
KR1020120113841A KR101959820B1 (ko) 2012-10-12 2012-10-12 멀티미디어 통신 시스템에서 구성 정보 송수신 방법 및 장치
JP2015536719A JP6516675B2 (ja) 2012-10-12 2013-10-14 マルチメディア通信システムにおけるメディア情報送受信方法及び装置
RU2015117516A RU2627032C2 (ru) 2012-10-12 2013-10-14 Способ и устройство для передачи информации о мультимедийных элементах в системе передачи мультимедиа
MX2015004602A MX352888B (es) 2012-10-12 2013-10-14 Método y aparato para comunicar información de medios en un sistema de comunicación de multimedios.
PCT/KR2013/009150 WO2014058284A1 (en) 2012-10-12 2013-10-14 Method and apparatus for communicating media information in multimedia communication system
CN201380053379.6A CN104737544B (zh) 2012-10-12 2013-10-14 用于在多媒体通信***中传送媒体信息的方法和装置
AU2013330543A AU2013330543B2 (en) 2012-10-12 2013-10-14 Method and apparatus for communicating media information in multimedia communication system
CA2888004A CA2888004C (en) 2012-10-12 2013-10-14 Method and apparatus for communicating media information in multimedia communication system
EP13846199.1A EP2907314B1 (en) 2012-10-12 2013-10-14 Method and apparatus for communicating media information in multimedia communication system
ES13846199T ES2749691T3 (es) 2012-10-12 2013-10-14 Procedimiento y aparato para comunicar información de medios en sistema de comunicación multimedia
US14/054,293 US20140104367A1 (en) 2012-10-12 2013-10-15 Method and apparatus for communicating media information in multimedia communication system
US14/944,595 US10271011B2 (en) 2012-10-12 2015-11-18 Method and apparatus for communicating media information in multimedia communication system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120113841A KR101959820B1 (ko) 2012-10-12 2012-10-12 멀티미디어 통신 시스템에서 구성 정보 송수신 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20140047482A KR20140047482A (ko) 2014-04-22
KR101959820B1 true KR101959820B1 (ko) 2019-03-20

Family

ID=50474979

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120113841A KR101959820B1 (ko) 2012-10-12 2012-10-12 멀티미디어 통신 시스템에서 구성 정보 송수신 방법 및 장치

Country Status (11)

Country Link
US (2) US20140104367A1 (ko)
EP (1) EP2907314B1 (ko)
JP (1) JP6516675B2 (ko)
KR (1) KR101959820B1 (ko)
CN (1) CN104737544B (ko)
AU (1) AU2013330543B2 (ko)
CA (1) CA2888004C (ko)
ES (1) ES2749691T3 (ko)
MX (1) MX352888B (ko)
RU (1) RU2627032C2 (ko)
WO (1) WO2014058284A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105094737B (zh) * 2015-08-07 2018-07-31 北京橙鑫数据科技有限公司 多媒体信息显示方法及装置
CN109069461A (zh) 2016-01-11 2018-12-21 洛克菲勒大学 与髓源性抑制细胞相关的病症的治疗方法
CN106507171B (zh) * 2016-10-13 2019-10-18 深圳市创易联合科技有限公司 多媒体播放方法及多媒体播放器
US10380493B2 (en) * 2017-04-17 2019-08-13 Essential Products, Inc. System and method for generating machine-curated scenes
CN109672845B (zh) * 2018-12-29 2020-11-03 维沃移动通信有限公司 一种视频通话的方法、装置以及移动终端

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080066103A1 (en) 2006-08-24 2008-03-13 Guideworks, Llc Systems and methods for providing blackout support in video mosaic environments
US20110299832A1 (en) 2010-06-02 2011-12-08 Microsoft Corporation Adaptive video zoom
US20110304686A1 (en) 2010-06-10 2011-12-15 Microsoft Corporation Unified communication based multi-screen video system
US20120011544A1 (en) 2005-01-27 2012-01-12 Arthur Vaysman Viewer-customized interactive displays including dynamic video mosaic elements

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5706290A (en) 1994-12-15 1998-01-06 Shaw; Venson Method and apparatus including system architecture for multimedia communication
EP1018840A3 (en) * 1998-12-08 2005-12-21 Canon Kabushiki Kaisha Digital receiving apparatus and method
US7103906B1 (en) * 2000-09-29 2006-09-05 International Business Machines Corporation User controlled multi-device media-on-demand system
US8255791B2 (en) * 2000-11-29 2012-08-28 Dov Koren Collaborative, flexible, interactive real-time displays
JP4114421B2 (ja) * 2002-07-22 2008-07-09 ソニー株式会社 電子機器装置、サーバ装置、レイアウト記述文書の提供方法
JP4449359B2 (ja) * 2003-07-23 2010-04-14 ソニー株式会社 電子機器及び情報視聴方法、並びに情報視聴システム
KR100533675B1 (ko) * 2003-07-24 2005-12-05 삼성전자주식회사 구조화된 데이터 포맷을 이용한 원격 제어 장치 및 제어방법
KR100982517B1 (ko) * 2004-02-02 2010-09-16 삼성전자주식회사 이벤트 정보가 포함된 동영상 데이터가 기록된 저장 매체 및 재생 장치
CN101036385B (zh) * 2004-08-30 2012-12-12 意大利电信股份公司 在数字电视中提供交互式服务的方法和***
JP4738805B2 (ja) * 2004-12-16 2011-08-03 株式会社リコー 画面共有システム、画面共有方法、画面共有プログラム
US20080094415A1 (en) * 2005-08-05 2008-04-24 Samsung Electronics Co., Ltd. Method and apparatus for identifying application in multiscreen environment
US8191098B2 (en) * 2005-12-22 2012-05-29 Verimatrix, Inc. Multi-source bridge content distribution system and method
US20080072139A1 (en) * 2006-08-20 2008-03-20 Robert Salinas Mobilizing Webpages by Selecting, Arranging, Adapting, Substituting and/or Supplementing Content for Mobile and/or other Electronic Devices; and Optimizing Content for Mobile and/or other Electronic Devices; and Enhancing Usability of Mobile Devices
US8490126B2 (en) * 2006-10-02 2013-07-16 AT&T Intellecutal Property I, LP System and method of restricting access to video content
US20080085682A1 (en) * 2006-10-04 2008-04-10 Bindu Rama Rao Mobile device sharing pictures, streaming media and calls locally with other devices
JP5151211B2 (ja) * 2007-03-30 2013-02-27 ソニー株式会社 多画面同期再生システム、表示制御端末、多画面同期再生方法、及びプログラム
JP2009123178A (ja) * 2007-11-12 2009-06-04 Masakazu Morisato ネットワークコンピュータシステム及び画面共有システム
US8301618B2 (en) * 2008-02-26 2012-10-30 Microsoft Corporation Techniques to consume content and metadata
JP5078152B2 (ja) * 2008-04-09 2012-11-21 シャープ株式会社 通信端末装置、その制御方法、及びコンピュータプログラム
KR100979909B1 (ko) * 2008-04-10 2010-09-03 드리머 디지털 방송의 데이터 애플리케이션 제공 방법 및 이를실현시키기 위한 프로그램을 기록한 컴퓨터로 판독 가능한기록 매체
CN101803398B (zh) * 2008-04-17 2013-04-24 夏普株式会社 操作对象装置及其控制方法、许可输入装置、操作装置对象数据提供装置、远程操作***
JP5512657B2 (ja) * 2008-04-21 2014-06-04 サムスン エレクトロニクス カンパニー リミテッド リッチメディアサービスのための端末のユーザインターフェース装置及び方法
US20110222676A1 (en) * 2008-11-20 2011-09-15 Panasonic Corporation Image display apparatus, teleconferencing device, and image display method
JPWO2010150505A1 (ja) * 2009-06-26 2012-12-06 パナソニック株式会社 通信装置
KR101555063B1 (ko) * 2009-07-07 2015-09-23 삼성전자주식회사 이동단말기의 다중 화면 서비스를 위한 시스템 및 방법
CN102577361B (zh) 2009-09-29 2015-07-01 夏普株式会社 周边设备信息显示***、显示装置及周边设备
CN102378046A (zh) * 2010-08-13 2012-03-14 国基电子（上海）有限公司 服务器及利用其实现机顶盒影音节目共享的方法
JP5723586B2 (ja) * 2010-12-14 2015-05-27 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ ポインタ制御方法、システム、およびそのプログラム。
JP5254411B2 (ja) * 2011-08-31 2013-08-07 株式会社東芝 受信装置、受信方法及び外部装置連携システム
WO2013055164A1 (ko) * 2011-10-13 2013-04-18 삼성전자 주식회사 콘텐츠 디스플레이 방법, 콘텐츠 동기화 방법, 방송 콘텐츠 디스플레이 방법 및 디스플레이 장치
KR101903443B1 (ko) * 2012-02-02 2018-10-02 삼성전자주식회사 멀티미디어 통신 시스템에서 장면 구성 정보 송수신 장치 및 방법
JP2014049884A (ja) * 2012-08-30 2014-03-17 Toshiba Corp シーン情報出力装置、シーン情報出力プログラム、及びシーン情報出力方法
US9213515B2 (en) * 2012-09-24 2015-12-15 At&T Intellectual Property I, L.P. On-demand multi-screen computing
US20140298157A1 (en) * 2013-03-26 2014-10-02 Samsung Electronics Co., Ltd Apparatus and method for presenting html page

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120011544A1 (en) 2005-01-27 2012-01-12 Arthur Vaysman Viewer-customized interactive displays including dynamic video mosaic elements
US20080066103A1 (en) 2006-08-24 2008-03-13 Guideworks, Llc Systems and methods for providing blackout support in video mosaic environments
US20110299832A1 (en) 2010-06-02 2011-12-08 Microsoft Corporation Adaptive video zoom
US20110304686A1 (en) 2010-06-10 2011-12-15 Microsoft Corporation Unified communication based multi-screen video system

Also Published As

Publication number Publication date
EP2907314A1 (en) 2015-08-19
CA2888004C (en) 2021-08-31
CA2888004A1 (en) 2014-04-17
AU2013330543B2 (en) 2017-08-24
WO2014058284A1 (en) 2014-04-17
JP2015534797A (ja) 2015-12-03
MX2015004602A (es) 2015-10-09
US20140104367A1 (en) 2014-04-17
ES2749691T3 (es) 2020-03-23
CN104737544A (zh) 2015-06-24
KR20140047482A (ko) 2014-04-22
EP2907314A4 (en) 2016-04-27
US10271011B2 (en) 2019-04-23
RU2015117516A (ru) 2016-11-27
MX352888B (es) 2017-12-13
EP2907314B1 (en) 2019-07-17
JP6516675B2 (ja) 2019-05-22
CN104737544B (zh) 2019-01-04
RU2627032C2 (ru) 2017-08-03
AU2013330543A1 (en) 2015-05-28
US20160073053A1 (en) 2016-03-10

Similar Documents

Publication Publication Date Title
KR101959820B1 (ko) 멀티미디어 통신 시스템에서 구성 정보 송수신 방법 및 장치
US10114522B2 (en) Method of controlling display of display device by mobile terminal and mobile terminal for the same
CN108924582B (zh) 视频录制方法、计算机可读存储介质及录播***
US8819746B2 (en) Network device for a home entertainment network
WO2017154406A1 (ja) 広告配信サーバ、番組配信サーバ及び再生端末、並びに映像配信システム
US20160249108A1 (en) Method and apparatus for providing a customized viewing experience
CN102630039A (zh) 基于多个装置的因特网协议电视(iptv)云的记录和回放
WO2017168582A1 (ja) 画像受信再生装置、画像生成送信装置、表示システム、画像受信再生方法、画像生成送信方法、画像受信再生プログラム及び画像生成送信プログラム
US20080240670A1 (en) Picture recording system and picture recording and reproducing method
JP4449359B2 (ja) 電子機器及び情報視聴方法、並びに情報視聴システム
CN104469414A (zh) 基于多屏互动的信息***及信息投放方法、iptv***
US10306276B2 (en) Information device
JP7442302B2 (ja) データ処理装置およびその制御方法、プログラム
JP4285015B2 (ja) ネットワーク放送システム、コンテンツ配信方法、及び番組提供装置
KR20180062621A (ko) 복수의 콘텐츠 지원 디바이스를 이용하여 콘텐츠를 제공하기 위한 방법, 그리고 상기 방법이 실현되도록 하기 위한 콘텐츠 지원 디바이스
JP7319228B2 (ja) 画像配信装置、画像生成装置及びプログラム
JP6083536B2 (ja) 情報表示装置
JP2007043440A (ja) コンテンツ視聴システム及び携帯情報端末装置
US20140301189A1 (en) Information providing apparatus and wireless communication apparatus
KR101797522B1 (ko) 믹스 미디어 제공 시스템 및 방법
WO2011118498A1 (ja) コンテンツ配信システム、コンテンツ配信方法及びコンテンツ配信プログラム
CN105009571A (zh) 双遥现机顶盒
KR20140053554A (ko) 디스플레이 공유방법
TW201939964A (zh) 資訊處理裝置及方法
KR20100063848A (ko) 네트워크를 형성하는 디스플레이 시스템 및 데이터 수신 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant