KR20050085753A - Clipping of media data transmitted in a network - Google Patents

Clipping of media data transmitted in a network Download PDF

Info

Publication number
KR20050085753A
KR20050085753A KR1020057011305A KR20057011305A KR20050085753A KR 20050085753 A KR20050085753 A KR 20050085753A KR 1020057011305 A KR1020057011305 A KR 1020057011305A KR 20057011305 A KR20057011305 A KR 20057011305A KR 20050085753 A KR20050085753 A KR 20050085753A
Authority
KR
South Korea
Prior art keywords
media data
window
clipping
data stream
information
Prior art date
Application number
KR1020057011305A
Other languages
Korean (ko)
Inventor
페트루스 디. 브이. 반 데르 스톡
미헤일러 반 데르 스카르
크리스티안 헨트첼
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20050085753A publication Critical patent/KR20050085753A/en

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/12—Arrangements for remote connection or disconnection of substations or of equipment thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M7/00—Arrangements for interconnection between switching centres
    • H04M7/08—Arrangements for interconnection between switching centres for phantom working
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Computer Hardware Design (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Digital Computer Display Output (AREA)

Abstract

The invention discloses an apparatus and a method for receiving multiple media data streams, which are displayed in separate windows of a multi-window display. Clipping information relating to an area of one of the windows being covered by the other window is transmitted to a source device providing the media data being covered when displayed. As a viewer may not see the covered area, the media data relating to the covered area is not needed by the destination device. Therefore, the source device based on the clipping information does not transmit any media data needed for processing of the covered area to the destination device, which does not have to process all media data relating to the covered area.

Description

네트워크에서 전송된 미디어 데이터의 클리핑{Clipping of media data transmitted in a network}Clipping of media data transmitted in a network

본 발명은 네트워크에서 전송된 미디어 데이터의 클리핑, 및 특히 다중-윈도 디스플레이(multi-window display)에서 소스 디바이스로부터 목적지 디바이스(destination device)로 렌더링을 위해 네트워크에서 전송된 두 개의 미디어 데이터 스트림들 중 적어도 하나의 클리핑을 위한 방법 및 장치에 관한 것이다. The invention relates to at least two media data streams transmitted in a network for clipping of media data transmitted in the network, and in particular for rendering from a source device to a destination device in a multi-window display. A method and apparatus for one clipping.

오디오/비디오 데이터와 같은 미디어 데이터는 소스 디바이스로부터 목적지 디비이스로 전송될 수 있고, 미디어 데이터는 스크린에 디스플레이되도록 처리된다. 그러나, 홈 네트워크와 같은 로컬 영역 네트워크에서 미디어 데이터 스트림을 제공할 수 있는 비디오 재생기, 디지털 비디오 디스크(DVD) 재생기, 개인 컴퓨터(PC) 등과 같은 상호 접속하는 다른 전자 장치가 점점 일반적이 되고 있다. 로컬 영역 네트워크는 미디어 데이터 스트림들을 제공하는 더 많은 소스 디바이스들이 선택적으로 접속된 넓은 영역 네트워크에 차례로 선택적으로 접속될 수 있다. Media data such as audio / video data can be transferred from the source device to the destination device, and the media data is processed to be displayed on the screen. However, other interconnecting electronic devices such as video players, digital video disc (DVD) players, personal computers (PCs), etc., capable of providing media data streams in local area networks such as home networks are becoming more common. The local area network may in turn be selectively connected to a wide area network to which more source devices providing media data streams are selectively connected.

네트워크에서 상호 접속하는 소스 디바이스들 및 적어도 하나의 목적지 디바이스는 목적지 디바이스로 선택적으로 접속된 단일 다중-윈도 디스플레이의 다른 윈도들에서 다수의 미디어 데이터 스트림들을 디스플레이하기 위한 가능성을 제공한다. 제 1 미디어 데이터 스트림은 예를 들면 비디오 레코더에 의해 제공되고 제 2 미디어 데이터 스트림은 PC에 의해 제공된다. 제 1 미디어 데이터 스트림은 완전한 디스플레이 영역을 커버링하는 주 이미지로서 제 1 윈도에 디스플레이되고, 제 2 미디어 데이터 스트림은 제 1 윈도의 부분들을 커버링하는 픽쳐(PiP) 윈도에서 픽쳐로서 제 2 윈도에 디스플레이된다. 따라서, 제 2 윈도에 의해 오버랩핑되는 제 1 윈도의 그들 부분들은 시청자에게 보이지 않는다. 또한, 목적지 디바이스가 다중 미디어 데이터 스트림들을 수신하는 경우, 이는 다중-윈도 디스플레이에 수 개의 디스플레이된 관련된 윈도들에 대해 발생할 수 있다. Source devices and at least one destination device interconnecting in the network offer the possibility for displaying multiple media data streams in other windows of a single multi-window display selectively connected to the destination device. The first media data stream is for example provided by a video recorder and the second media data stream is provided by a PC. The first media data stream is displayed in the first window as a main image covering the complete display area, and the second media data stream is displayed in the second window as a picture in the Picture (PiP) window covering the portions of the first window. . Thus, those portions of the first window overlapped by the second window are not visible to the viewer. Also, if the destination device receives multiple media data streams, this may occur for several displayed related windows in the multi-window display.

네트워크에서, 데이터를 전송하는 이용가능한 용량 또는 대역폭은 제한된다. 수 개의 미디어 데이터 스트림들을 하나 또는 수 개의 소스 디바이스들로부터 목적지 디바이스로 전송하는 것은 특정량의 대역폭을 요구한다. 그러나, 소량의 디스플레이된 미디어 데이터 스트림이 다른 윈도들 대역폭이 소모됨에 의해 커버링된 윈도 영역에 디스플레이 되는 경우, 윈도의 커버링된 영역은 보이지 않는다. 그러므로, 다중-윈도 디스플레이에 디스플레이될 미디어 데이터 스트림들을 더 효과적으로 전달하는 방법 및 장치에 대한 필요가 있다. In a network, the available capacity or bandwidth for transmitting data is limited. Sending several media data streams from one or several source devices to a destination device requires a certain amount of bandwidth. However, if a small amount of displayed media data stream is displayed in the covered window area due to the consumption of other windows bandwidth, the covered area of the window is not visible. Therefore, there is a need for a method and apparatus for more effectively delivering media data streams to be displayed in a multi-window display.

도 1은 네트워크를 통해 목적지 디바이스에 접속된 다수의 소스 디바이스들을 도시한 도면.1 illustrates a number of source devices connected to a destination device via a network.

도 2는 본 발명을 실행하기 위한 목적지 디바이스의 하나의 실시예를 도시하는 도면.2 illustrates one embodiment of a destination device for practicing the present invention.

도 3은 본 발명을 실행하기 위한 소스 디바이스의 하나의 실시예를 도시하는 도면.3 illustrates one embodiment of a source device for practicing the present invention.

도 4는 두 개의 PiP 윈도들에 의해 부분적으로 커버링된 주 윈도를 도시하는 도면.4 shows a main window partially covered by two PiP windows.

도 5는 윈도의 출력 픽셀을 처리하기 위해 포함되는 픽셀들을 도시하는 도면.5 illustrates the pixels included to process the output pixels of the window.

도 6은 본 발명에 따른 제 1 방법의 순서도.6 is a flow chart of a first method according to the present invention.

도 7은 본 발명에 따른 제 2 방법의 순서도.7 is a flow chart of a second method in accordance with the present invention.

본 발명의 목적은 다중 미디어 데이터 스트림들이 하나 또는 수 개의 디바이스들로부터 적어도 하나의 디바이스로 전송될 때 네트워크에서 대역폭을 저장하는 것이며, 상기 미디어 데이터 스트림들은 다중-윈도 디스플레이의 다른 윈도들로 렌더링된다. It is an object of the present invention to store bandwidth in a network when multiple media data streams are transmitted from one or several devices to at least one device, wherein the media data streams are rendered in different windows of a multi-window display.

상기 목적은 목적지 디바이스의 다중-윈도 디스플레이의 다른 윈도들에 디스플레이되는 다중 미디어 데이터 스트림들을 수신하는 방법 및 장치에 의해 달성된다. 상기 방법에 따라서, 다중-윈도 디스플레이의 제 1 윈도에 디스플레이될 때 적어도 부분적으로 커버링되는 적어도 하나의 수신된 미디어 데이터 스트림들의 클리핑 정보는 목적지 디바이스에 의해 계산된다. 제 2 미디어 데이터 스트림을 디스플레이하는 제 2 윈도는 제 1 윈도를 커버링한다. 따라서, 어느 윈도의 커버링된 부분은 시청자에 의해 보여질 수 없기 때문에, 커버링된 부분에 관련하는 미디어 데이터는 목적지 디바이스에서 필요로 되지 않는다. 그러므로, 클리핑 정보는 적어도 부분적으로 커버링된 윈도에 디스플레이된 미디어 데이터 스트림을 제공하는 소스 디바이스로 전송된다. 소스 디바이스가 클리핑 정보에 기초하여 미디어 데이터 스트림이 클리핑하고 가능하게는 이미지 처리 정보를 저장했을 때, 목적지 디바이스는 제 1 윈도에 디스플레이되는 클리핑된 미디어 데이터 스트림을 수신한다. This object is achieved by a method and apparatus for receiving multiple media data streams displayed in other windows of a multi-window display of a destination device. According to the method, the clipping information of the at least one received media data streams at least partially covered when displayed in the first window of the multi-window display is calculated by the destination device. The second window displaying the second media data stream covers the first window. Thus, since the covered portion of any window cannot be viewed by the viewer, no media data related to the covered portion is needed at the destination device. Therefore, the clipping information is transmitted to the source device providing the media data stream displayed in the at least partially covered window. When the source device has clipped the media data stream based on the clipping information and possibly stored the image processing information, the destination device receives the clipped media data stream displayed in the first window.

미디어 데이터를 목적지 디바이스로 전송하는 방법 및 장치는 상기 목적을 또한 달성한다. 본 발명에 따라서, 소스 디바이스와 같은 장치는 미디어 데이터 스트림을 디스플레이하는 적어도 하나의 목적지 디바이스에 의해 제공된 클리핑 정보를 수신한다. 소스 디바이스는 미디어 데이터가 목적지 디바이스에 의해 필요로 되지 않는 윈도 영역을 계산하도록 구성되며, 상기 영역은 다른 윈도에 의해 커버링되는 다중-윈도 디스플레이의 제 1 윈도의 한 부분이다. 장치는 또한 계산된 영역에 관련하는 어느 미디어 데이터를 목적지 디바이스로 제공하지 않도록 구성되며, 클리핑된 미디어 데이터 스트림만 목적지 디바이스에 제공된다.A method and apparatus for transmitting media data to a destination device also achieves the above object. In accordance with the present invention, an apparatus, such as a source device, receives clipping information provided by at least one destination device displaying a media data stream. The source device is configured to calculate a window area in which media data is not needed by the destination device, which area is part of the first window of the multi-window display covered by another window. The apparatus is also configured not to provide any media data relating to the calculated area to the destination device, and only the clipped media data stream is provided to the destination device.

본 발명의 이들 및 다른 양태들은 여기에 설명된 실시예들과 관련하여 명백해지고 명료해질 것이다. These and other aspects of the invention will be apparent and evident in connection with the embodiments described herein.

본 발명은 첨부하는 도면들과 관련하여 예로써 여기에 설명될 것이다. The invention will be described herein by way of example in conjunction with the accompanying drawings.

디지털 오디오/비디오 데이터와 같은 미디어 데이터를 처리하는 것은 이미지 처리로 잘 알려졌다. 미디어 데이터 스트림은 네트워크에 선택적으로 접속된 수 개의 소스 디바이스로부터 전송될 수 있으며, 상기 미디어 데이터 스트림들은 네트워크로 선택적으로 결합된 하나 또는 수 개의 목적지 디바이스들에 의해 수신된다. 네트워크는 인터넷과 같은 광역 네트워크(wide area network)에 차례로 접속된 홈 네트워크와 같은 로컬 영역 네트워크일 수 있다. 각 수신된 미디어 데이터 스트림은 다중-윈도 디스플레이의 개별적인 윈도에서 디스플레이되는 경우, 하나의 윈도는 다른 것을 오버랩핑할 수 있다. 본 발명에 따라서, 다중-윈도 디스플레이의 윈도에 디스플레이될 때 커버링된 적어도 미디어 데이터의 부분들은 소스 디바이스에 의해 목적지 디바이스로 전송되지 않을 필요가 있다. 이는 미디어 데이터 알고리즘들이 보통 마지막 디스플레이상에서 그들의 외형과는 무관하게 처리되기 때문에 가능하다. 다중-윈도 환경에서, 이는 숨겨진 영역들의 많은 불필요한 처리를 일으킨다. 본 발명에 따른 방법을 이용함으로써, 렌더링되지 않은 미디어 데이터를 전송하고 처리하는 것이 방지된다. Processing media data such as digital audio / video data is well known as image processing. The media data stream may be sent from several source devices selectively connected to the network, wherein the media data streams are received by one or several destination devices selectively coupled to the network. The network may be a local area network, such as a home network, which in turn is connected to a wide area network, such as the Internet. When each received media data stream is displayed in a separate window of a multi-window display, one window may overlap the other. According to the invention, at least the portions of the media data covered when displayed in a window of a multi-window display need not be transmitted by the source device to the destination device. This is possible because media data algorithms are usually processed independently of their appearance on the last display. In a multi-window environment, this causes many unnecessary processing of hidden areas. By using the method according to the invention, the transmission and processing of unrendered media data is prevented.

도 1은 다수의 소스 디바이스들(101, 102)을 적어도 하나의 목적지 디바이스(103)로 선택적으로 접속하는 로컬 영역 네트워크(LAN)(100)의 개략도이다. 도 1에서 단지 두 개의 소스 디바이스들이 도시된다. 그러나, 수 개의 소스 디바이스들(101, 102)이 네트워크에 접속될 수 있다. 소스 디바이스들(101, 102)은 예를 들면, DVD 재생기들, 개인용 컴퓨터들, 미디어 서버들 및/또는 비디오 재생기들을 포함하며, 셋 톱 박스와 같은 목적지 디바이스(103), 또는 퍼스털 컴퓨터에 의해 수신된 비디오 스트림과 같은 다른 미디어 데이터 스트림을 각각 제공한다. 로컬 영역 네트워크(100)는 인터넷과 같은 광역 네트워크(WAN)(104)에 선택적으로 접속될 수 있고, 미디어 데이터 스트림들에 대한 다른 소스 디바이스들은 선택적으로 접속될 수 있다. 대안적인 실시예에서, LAN(100)은 제공되지 않고, 목적지 디바이스(103)는 WAN(104)에 접속된 소스 디바이스들에만 접속된다. 1 is a schematic diagram of a local area network (LAN) 100 that selectively connects a number of source devices 101, 102 to at least one destination device 103. In FIG. 1 only two source devices are shown. However, several source devices 101 and 102 may be connected to the network. Source devices 101, 102 include, for example, DVD players, personal computers, media servers and / or video players, and may be accessed by destination device 103, such as a set top box, or by a personal computer. Each provides a different media data stream, such as a received video stream. Local area network 100 may be selectively connected to a wide area network (WAN) 104, such as the Internet, and other source devices for media data streams may be selectively connected. In an alternative embodiment, the LAN 100 is not provided and the destination device 103 is connected only to source devices connected to the WAN 104.

도 2는 본 발명에 따른 목적지 디바이스(103)의 하나의 실시예의 블록도이다. 목적지 디바이스는 하나 또는 수 개의 소스 디바이스들(101, 102)로부터 다중 미디어 데이터 스트림들을 수신하기 위해 구성된다. 목적지 디바이스는 LAN(100) 및/또는 WAN(104)를 통해 하나 또는 수 개의 디바이스들(101, 102)로부터 미디어 데이터 스트림들을 수신하도록 구성된 수신기(105)를 포함한다. 또한, 목적지 디바이스(103)는 다음에 더 설명될 것과 같이, 클리핑 정보를 미디어 데이터 스트림들을 제공하는 소스 디바이스들(101, 102)로 전송하는 LAN(100) 및/또는 WAN(104)에 선택적으로 접속되는 송신기(106)를 포함한다. 복호기 블록(107)은 수신기(105)로 선택적으로 접속된다. 복호기 블록(107)은 MPEG-4FGS(Moving Pictures Experts Group 4 Fine Grain Scalability), DCT(Discrete Cosine transform), 및 웨이블렛 코딩(wavelet coding)과 같은 비디오 코딩 구성들을 사용하는 미디어 데이터 스트림을 복호화하도록 구성된다. 그러나, 본 발명의 범위 내에 다른 비디오 코딩 구성들을 사용하는 것이 똑같이 가능하다. 복호기 블록(107)은 다수의 이미지 처리기들에 선택적으로 접속된다. 도 2에 도시된 실시예에서, 목적지 디바이스(103)는 각각 제 1, 제 2, 및 제 3 미디어 데이터 스트림을 처리하기 위해 구성된 제 1, 제 2, 및 제 3 이미지 처리기(108, 109, 110)를 포함한다. 그러나, 목적지 디바이스(103)는 적어도 두 개의 다른 미디어 데이터 스트림들을 처리할 수 있는 수 개의 이미지 처리기들을 포함할 수 있고 단지 예시하는 목적들을 위해 도시된 수로 제한되지 않는다. 각 이미지 처리기(108, 109, 110)는 목적지 디바이스(103)의 중앙 처리 장치(CPU; central processing unit)과 같은 시스템 제어기(112)에 차례대로 선택적으로 접속된 윈도 제어기(111)에 선택적으로 접속된다. 이미지 처리기(108, 109, 110)는 제 1, 제 2, 및 제 3 이미지 처리기(108, 109, 110)에 의해 제공된 처리된 미디어 데이터 스트림들에 기초하여 다중-윈도 이미지를 포함하는 출력 미디어 데이터 스트림을 생성시키도록 구성된 스위처(113;switcher)에 선택적으로 접속된다. 또한, 윈도 제어기(111)은 다음에 또한 설명될 것과 같이 디스플레이 좌표들을 추출하고 클리핑 정보를 제공하는 스위처(113)에 또한 선택적으로 접속된다. 윈도 제어기(111)는 대안적인 실시예에서 스위처(113)의 완전체로서 제공될 수 있다. 2 is a block diagram of one embodiment of a destination device 103 in accordance with the present invention. The destination device is configured to receive multiple media data streams from one or several source devices 101, 102. The destination device includes a receiver 105 configured to receive media data streams from one or several devices 101, 102 via the LAN 100 and / or WAN 104. In addition, the destination device 103 may optionally optionally transmit the clipping information to the LAN 100 and / or WAN 104 which transmits clipping information to the source devices 101, 102 providing the media data streams. And a transmitter 106 to which it is connected. Decoder block 107 is optionally connected to receiver 105. Decoder block 107 is configured to decode a media data stream using video coding schemes such as Moving Pictures Experts Group 4 Fine Grain Scalability (MPEG-4FGS), Discrete Cosine transform (DCT), and wavelet coding. . However, it is equally possible to use other video coding schemes within the scope of the present invention. Decoder block 107 is selectively connected to a plurality of image processors. In the embodiment shown in FIG. 2, the destination device 103 is configured to process first, second, and third media data streams, respectively, first, second, and third image processors 108, 109, 110. ). However, destination device 103 may include several image processors capable of processing at least two different media data streams and is not limited to the number shown for illustrative purposes only. Each image processor 108, 109, 110 selectively connects to a window controller 111, which in turn is selectively connected to a system controller 112, such as a central processing unit (CPU) of the destination device 103. do. Image processor 108, 109, 110 outputs media data including a multi-window image based on processed media data streams provided by first, second, and third image processors 108, 109, 110. It is optionally connected to a switcher 113 configured to generate a stream. In addition, the window controller 111 is also selectively connected to a switcher 113 which extracts display coordinates and provides clipping information, as will also be described next. The window controller 111 may be provided as an integral part of the switcher 113 in alternative embodiments.

도 3은 본 발명을 수행하기 위해 포함되는 소스 디바이스(101, 102)의 구성들의 블록도이다. 이해되는 바와 같이, 예시하는 소스 디바이스는 도 3에 도시된 구성 요소들에 제한되지 않지만, 또한 다른 구성 요소들을 포함할 수 있다. 소스 디바이스(101, 102)는 적어도 하나의 목적지 디바이스(103)로부터 클리핑 정보를 수신하기 위해 구성되는 수신기(120)를 포함한다. 또한, 소스 디바이스는 부호화된 미디어 데이터 스트림을 목적지 디바이스(103)로 전송하는 송신기(121)를 포함한다. 송신기(121)는 MPEG-4FGS(Moving Pictures Experts Group 4 Fine Grain Scalability), DCT(Discrete Cosine transform), 및 웨이블렛 코딩(wavelet coding)과 같은 비디오 코딩 방식들에 따른 부호화된 미디어 데이터로 구성된 부호기 블록(122)에 선택적으로 접속된다. 부호기 블록(122)은 수 개의 목적지 디바이스들로부터 수신된 클리핑 정보를 조정하기 위해 구성되는 네트워크 좌표에 선택적으로 접속된다. 또한, 네트워크 좌표는 수신된 클리핑 정보 및 저장된 이미지 처리 정보를 기초하여 계산하기 위해 구성되며, 미디어 정보는 적어도 하나의 목적지 디바이스(103)에 의해 필요로 되지 않고, 따라서 적어도 하나의 미디어 데이터 스트림을 클리핑하도록 구성된다. 본 발명의 방법에 따른 단계들을 수행하기 위해 저장된 이미지 처리 정보를 가지는 처리기는 네트워크 조정자(123;network coordinator)를 수행하기 위해 이용될 수 있다. 네트워크 조정자(123)는 미디어 데이터를 저장하기 위해 구성되는 미디어 데이터 저장소(124; media data repository)로 선택적으로 접속된다. 미디어 데이터 저장소(124)는 예로서, 미디어 데이트 스트림과 같은 목적지 디바이스들(103)에서 처리되고 전송되는 미디어 데이터를 포함하는 하드 디스크, 광 디스크, 비디오 테이프, 자기 테이프, 또는 자기 디스크와 같은 메모리로서 수행될 수 있다. 3 is a block diagram of the components of source devices 101 and 102 included to carry out the present invention. As will be appreciated, the example source device is not limited to the components shown in FIG. 3, but may also include other components. Source devices 101 and 102 include a receiver 120 configured to receive clipping information from at least one destination device 103. The source device also includes a transmitter 121 for transmitting the encoded media data stream to the destination device 103. The transmitter 121 is an encoder block composed of encoded media data according to video coding schemes such as Moving Pictures Experts Group 4 Fine Grain Scalability (MPEG-4FGS), Discrete Cosine transform (DCT), and wavelet coding. 122). Encoder block 122 is selectively connected to network coordinates that are configured to coordinate clipping information received from several destination devices. In addition, the network coordinates are configured to calculate based on the received clipping information and the stored image processing information, wherein the media information is not needed by at least one destination device 103, thus clipping at least one media data stream. It is configured to. A processor with stored image processing information to perform the steps according to the method of the present invention can be used to perform a network coordinator. The network coordinator 123 is selectively connected to a media data repository 124 that is configured to store media data. Media data storage 124 is, for example, a hard disk, an optical disk, a video tape, a magnetic tape, or a memory, such as a magnetic disk, containing media data processed and transmitted at destination devices 103 such as a media data stream. Can be performed.

대안적인 실시예에서, 소스 디바이스(101, 102)는 네트워크 조정자(123) 및 부호기 블록(122)에 선택적으로 접속된 스위처(125)를 또한 포함한다. 스위처(125)는 클리핑된 미디어 데이터 스트림을 적어도 제 2 미디어 데이터 스트림과 결합시키도록 적어도 두 개의 윈도들을 포함하는 다중-윈도 이미지로 구성된다. 다중-윈도의 각 윈도의 디스플레이 좌표들은 목적지 디바이스(103)으로부터 수신된다. In an alternative embodiment, source device 101, 102 also includes switcher 125 optionally connected to network coordinator 123 and encoder block 122. Switcher 125 consists of a multi-window image comprising at least two windows to combine the clipped media data stream with at least the second media data stream. Display coordinates of each window of the multi-window are received from the destination device 103.

본 발명은 수 개의 예시하는 실시예들에 관련하여 또한 여기서 설명될 것이다. 다중 미디어 데이터 스트림들은 하나 및 수 개의 소스 디바이스들(101, 102)로부터 하나 및 수 개의 목적지 디바이스들(103)로 전송된다. 각 미디어 데이터 스트림은 목적지 디바이스(103)의 수신기에 의해 수신되고, 복호기 블록(107)에 의해 복호되고, 개별적인 이미지 처리기들(108, 109, 110)로 포워딩되며, 개별적인 이미지 처리기들은 다른 윈도들로 다중-윈도 디스플레이상에 디스플레이된 스위처(113)에 의해 결합된 이미지들을 생성시킬 것이다. The invention will also be described herein in connection with several illustrative embodiments. Multiple media data streams are sent from one and several source devices 101, 102 to one and several destination devices 103. Each media data stream is received by the receiver of the destination device 103, decoded by the decoder block 107, forwarded to individual image processors 108, 109, 110, and the individual image processors are routed to other windows. It will generate the images combined by the switcher 113 displayed on the multi-window display.

도 4는 예를 들면, 제 1 이미지 처리기(101)에 의해 처리된 미디어 데이터 스트림을 렌더링하는 주 윈도(201)를 포함하는 다중-윈도 디스플레이를 도시한다. 또한, 다중-윈도 디스플레이는 주 윈도(201)를 오버랩핑하는 픽쳐(PiP) 윈도들(202, 203)내에 제 1 및 제 2 픽쳐를 포함한다. 제 2 PiP 윈도(203)는 또한 도 4에서 크로스-해치된 구역으로 표시되는 것과 같이 제 1 PiP 윈도(202)를 부분적으로 오버랩핑할 수 있거나, 또는 그 반대이다. 제 2 미디어 데이터 스트림은 예를 들면 제 2 이미지 처리기(109)에 의해 처리되고, 제 1 PiP 윈도(202)에서 보여진다. 또한, 예를 들면 제 3 이미지 처리기(110)에 의해 처리된 제 3 미디어 데이터 스트림은 제 2 PiP 윈도(203)로 보여진다. 동일 또는 다른 소스 디바이스들(101, 102)는 각 미디어 데이터 스트림을 전송할 수 있다. 4 shows, for example, a multi-window display comprising a main window 201 that renders a media data stream processed by the first image processor 101. The multi-window display also includes first and second pictures in picture (PiP) windows 202 and 203 that overlap the main window 201. The second PiP window 203 may also partially overlap the first PiP window 202, as indicated by the cross-hatched region in FIG. 4, or vice versa. The second media data stream is processed by, for example, the second image processor 109 and viewed in the first PiP window 202. Also, for example, the third media data stream processed by the third image processor 110 is viewed as a second PiP window 203. The same or different source devices 101, 102 may transmit each media data stream.

도 4에서 도시된 것과 같이, 제 1 및 제 2 PiP 윈도들(202, 203)은 주 윈도(201)의 커버링 부분들이다. 그러므로, 본 발명에 따라 커버링되지 않은 주 윈도의 그들의 영역들에 대한 모든 미디어 데이터를 처리하기 위해 제 1 이미지 처리기(108)에 대한 필요가 없다. 또한, 제 2 PiP 윈도(203)는 제 1 PiP 윈도(202)의 부분들을 커버링한다. As shown in FIG. 4, the first and second PiP windows 202, 203 are covering portions of the main window 201. Therefore, there is no need for the first image processor 108 to process all media data for their regions of the main window that are not covered according to the present invention. In addition, the second PiP window 203 covers portions of the first PiP window 202.

도 5는 주 윈도(201) 및 제 1 PiP 윈도(202)를 도시한다. 특정 픽셀의 디스플레이로 미디어 데이터를 보기 위해, 이미지에서 픽셀들 사이의 관계들을 고려할 필요가 있을 수 있다. 도 5에서 도시된 바와 같이, 픽셀들 a1,1-a3,5의 메트릭스는 크로스-해치된(cross-hatched) 중심 픽셀 a2,3을 처리하기 위해 포함될 수 있다. 따라서, 비록 픽셀들 a2,4, a2,5, a3,4 및 a3,5은 PiP 윈도(202)에 의해 커버링될지라도, 이 경우 상기 커버링된 픽셀들에 대한 미디어 데이터 정보를 전송 및 처리 모두를 위해 필요하다. 그러나, 셰이딩된 영역(204)와 같은 가시의 픽셀의 처리에서 포함되지 않는 픽셀에 관련하는 수 개의 미디어 데이터는 목적지 디바이스(103)에 의해 필요로 되지 않는다. 대안적인 실시예에서, 이웃하는 픽셀들 사이의 관계가 없을 수 있으며, 수 개의 커버링된 영역에 대한 미디어 데이터는 목적지 디바이스(103)에 의해 필요로 되지 않는다. 본 발명에 따른 하나의 실시예에서, 미디어 데이터는 기저층 및 확장층으로 전송된다. 확장층에서, 픽셀 a2,3의 계산에 대하여 미디어 데이터는 a2,3에 대하여만 필요된다. 그러나, 기저층에서 픽셀 a2,3의 계산에 대하여, 미디어 데이터는 a1,1부터 a3,5까지 모든 픽셀들을 위하여 필요된다.5 shows a main window 201 and a first PiP window 202. In order to view media data with a display of a particular pixel, it may be necessary to consider the relationships between the pixels in the image. Also, the pixels in a matrix of 1,1 3,5 -a] As shown in the cross-5 can be included to handle the hatch (cross-hatched) a center pixel 2,3. Thus, although pixels a 2,4 , Although a 2,5 , a 3,4 and a 3,5 are covered by the PiP window 202, in this case they are necessary for both transmitting and processing media data information for the covered pixels. However, several media data related to pixels not included in the processing of visible pixels such as shaded area 204 are not needed by the destination device 103. In alternative embodiments, there may be no relationship between neighboring pixels, and media data for several covered areas is not needed by the destination device 103. In one embodiment according to the invention, the media data is transmitted to the base layer and the enhancement layer. In the enhancement layer, for the calculation of pixels a 2,3 media data is only needed for a 2,3 . However, for the calculation of pixels a 2,3 in the base layer, media data is needed for all pixels from a 1,1 to a 3,5 .

관련 클리핑 정보를 특정 소스 디바이스(101, 102)에 제공하기 위해, 다중-윈도 디스플레이 오버랩이 발생한 경우, 즉 관련된 디스플레이 좌표들을 아는 것이 필요하다. 주 윈도(210) 및 PiP 윈도들(202, 203)에서 표현된 이미지들의 시청자는 예를 들면 원격 제어 또는 마우스를 사용하여 예를 들면, 목적지 디바이스(103)의 시스템 제어기(112)로 메시지를 전송함에 의해 다중-윈도 디스플레이상에 각 PiP 윈도의 크기 및 위치를 결정할 수 있다. 하나의 실시예에서, 시스템 제어기(112)는 각 윈도에 대하여 요구된 디스플레이 좌표들을 발생시키며, 그것은 가능하게는 윈도 제어기(111)을 통해 스위처(113)으로 전송된다. 스위처는 예를 들면 제 1 이미지 처리기(108)에 의해 발생된 주 윈도(201) 및 제 2 및 제 3 이미지 처리기들(109, 110)에 의해 발생된 PiP 윈도들(202, 203)을 각각 결합하기 위해 구성된다. 시스템 제어기(112)는 어느 윈도들(201, 202, 203) 사이에 오버랩핑하는지 여부를 윈도 제어기(111)에 의하여 검증하며, 윈도 제어기(111)는 오버랩핑된 영역(들)의 디스플레이 좌표들을 추출하고, 상기 좌표는 이미지 처리기들(108, 109, 110)로 전송된다. 또한, 이미지 처리기들(108, 109, 110)은 어느 이웃하는 픽셀들이 출력 픽셀의 처리에 포함되는지의 여부의 이미지 처리 정보를 가진다. 이 처리 정보는 목적지 디바이스(103)에 의해 공지되거나, 또는 소스 디바이스(101, 102)로부터 시스템 제어기(112)까지 통신된다. 처리 정보는 예를 들면 시스템 제어기(112)의 레지스터에 저장된다. 따라서, 이미지 처리기들(108, 109, 110)은 미디어 데이터의 처리가 실행되지 않고, 미디어 데이터가 필요하지 않은 경우 픽셀들을 결정할 수 있다. 또한, 오버랩핑된 영역(들)의 디스플레이 좌표들은 윈도(201, 202, 203)에 디스플레이될 때 오버랩핑된 미디어 데이터를 제공하는 각 소스 디바이스(101, 102)로 송신기(106)에 의해 또한 전송된다. In order to provide the relevant clipping information to the particular source device 101, 102, it is necessary to know when the multi-window display overlap has occurred, ie the associated display coordinates. The viewer of the images represented in the main window 210 and the PiP windows 202, 203 sends a message to the system controller 112 of the destination device 103, for example using a remote control or a mouse. To determine the size and position of each PiP window on the multi-window display. In one embodiment, the system controller 112 generates the required display coordinates for each window, which is possibly sent to the switcher 113 via the window controller 111. The switcher combines, for example, the PiP windows 202 and 203 generated by the main window 201 and the second and third image processors 109 and 110 generated by the first image processor 108, respectively. It is configured to. The system controller 112 verifies by the window controller 111 which windows 201, 202, 203 overlap between which window controller 111 displays the display coordinates of the overlapped area (s). The coordinates are sent to image processors 108, 109, 110. The image processors 108, 109, 110 also have image processing information of which neighboring pixels are involved in the processing of the output pixel. This processing information is known by the destination device 103 or communicated from the source device 101, 102 to the system controller 112. The processing information is stored in a register of the system controller 112, for example. Thus, the image processors 108, 109, 110 may determine the pixels if the processing of the media data is not performed and media data is not needed. In addition, the display coordinates of the overlapped area (s) are also transmitted by the transmitter 106 to each source device 101, 102 which provides overlapped media data when displayed in windows 201, 202, 203. do.

대안적인 실시예에서, 커버링된 영역(들)의 원래의 또는 이전의 윈도 좌표들은 오버헤드 영역들, 즉 도시된 픽셀을 처리하는데 포함되지만 그 자체에 포함되지 않는 영역들을 고려하여 윈도 제어기(111)로써 조정된다. 그 후, 셰이딩된 영역(204)과 같은 커버링된 영역(들)의 조정된 윈도 좌표들은 송신기(106)를 통해 소스 디바이스(101, 102)로 전송된다.In an alternative embodiment, the original or previous window coordinates of the covered area (s) are window controllers 111 in view of the overhead areas, ie areas included in processing the illustrated pixel but not included in itself. Is adjusted. Then, the adjusted window coordinates of the covered area (s), such as the shaded area 204, are transmitted via the transmitter 106 to the source device 101, 102.

도 4의 예에서 도시될 수 있는 바와 같이, 주 이미지(201) 및 제 1 PiP 이미지(202) 모두는 특정량에 대해 커버링된다. 그러므로, 클리핑 정보는 주 이미지(201) 및 제 1 PiP 이미지(202)에 각각 디스플레이된 미디어 데이터 스트림들을 제공하는 소스 디바이스로 전송되는 각 미디어 데이터 스트림으로부터 발생될 것이다. 이해되는 바와 같이, 본 발명은 하나의 주 윈도(201) 및 두 개의 PiP 윈도들(202, 203)로 제한되지 않지만, 각각 다른 및 주 윈도(201)를 특정량으로 오버랩핑하는 수 개의 PiP 윈도들(202, 203)은 본 발명의 범위 내에서 가능하다. As can be seen in the example of FIG. 4, both main image 201 and first PiP image 202 are covered for a particular amount. Therefore, the clipping information will be generated from each media data stream sent to the source device providing the media data streams displayed in the main image 201 and the first PiP image 202 respectively. As will be appreciated, the invention is not limited to one main window 201 and two PiP windows 202, 203, but several PiP windows each overlapping a different amount of the other and main window 201. 202 and 203 are possible within the scope of the present invention.

목적지 디바이스(103)의 사용자는 윈도(201, 202, 203)를 이동하거나, 또는 상기 윈도의 크기를 변경시킬 때마다, 새로운 영역들은 오버랩핑되고 다른 것들은 커버링되지 않을 것이며, 새로운 클리핑 정보는 소스 디바이스들(101, 102), 및 관련된 이미지 처리기들(108, 109, 110)로 재-계산되고 전송된다. 바람직하게는, 클리핑 정보는 수 백 밀리세컨드의 최대 시간 간격내에서 관련된 소스 디바이스(101, 102)에 발생되고 전송시킨다. 클리핑 정보가 아주 충분한 주파수로 공급되는 경우, 목적지 디바이스(103)의 소스 디바이스들(101, 102) 및 이미지 처리기들(108, 109) 모두는 윈도 좌표들을 가지고 모두는 커버링된 영역들이 좌표를 계산할 수 있기 때문에, 소스 디바이스(101, 102) 및 목적지 디바이스(113) 사이의 동기화 문제들이 일어나지 않을 것이다. 따라서, 소스 디바이스(101, 102)에 의해 커버링된 영역의 계산은 목적지 디바이스(103)에서 실제로 커버링된 영역의 뒤로 지체되지 않을 것이다. Whenever the user of the destination device 103 moves windows 201, 202, 203, or changes the size of the window, new areas will overlap and others will not be covered, and new clipping information will be added to the source device. Re-calculated and sent to the devices 101, 102, and associated image processors 108, 109, 110. Preferably, the clipping information is generated and transmitted to the associated source device 101, 102 within a maximum time interval of several hundred milliseconds. When the clipping information is supplied at a very sufficient frequency, both the source devices 101 and 102 and the image processors 108 and 109 of the destination device 103 have window coordinates and all the covered areas can calculate the coordinates. As such, synchronization problems between the source device 101, 102 and the destination device 113 will not occur. Thus, the calculation of the area covered by the source device 101, 102 will not be delayed behind the area actually covered at the destination device 103.

대안적인 실시예에서, 소스 디바이스(101, 102), 및 목적지 디바이스(103) 사이의 동기화 문제들은 클리핑 정보가 상기 언급된 간격내에 생성되거나 전송되지 않을 지라도 방지될 수 있다. 이 실시예에서, 클리핑 정보는 상기에 설명된 것과 같이 목적지 디바이스(103)에 의해 우선 발생되고, 소스 디바이스(101, 102)로 전송된다. 클리핑 정보는 이 실시예에서 클리핑 정보가 소스 디바이스(101, 102)에 의해 적용된 승인(acknowledgement)이 수신될 때까지 새로운 클리핑 정보를 적용하지 않도록 설정되는 이미지 처리기들(108, 109, 110)로 또한 전송된다. 이미지 처리기들(108, 109, 110)은 승인이 수신될 때까지 기다릴 것이다. 소스 디바이스(101, 102)가 클리핑 정보를 수신할 때, 그것은 다음에 언급되는 바와 같이 상기 클리핑 정보에 작용할 것이다. 따라서, 소스 디바이스(101, 102)는 클리핑된 미디어 데이터 스트림과 함께 승인을 관련된 목적지 디바이스(103)로 준비하고 전송할 것이다. 하나의 실시예에서, 클리핑 정보는 승인으로써 동작할 것이다. 대안적으로는, 클리핑 정보가 수신되고 적용되는 개별적인 승인은 발생되고 전송될 수 있다. 목적지 디바이스(103)가 승인을 수신했을 때, 이미지 처리기들(108, 109, 110)은 새로운 클리핑 정보를 적용하는 것을 시작할 수 있다. In an alternative embodiment, synchronization problems between the source device 101, 102, and the destination device 103 can be avoided even if clipping information is not generated or transmitted within the aforementioned intervals. In this embodiment, the clipping information is first generated by the destination device 103 as described above and transmitted to the source devices 101, 102. The clipping information is also passed to the image processors 108, 109, 110 which in this embodiment are set to not apply the new clipping information until an acknowledgment to which the clipping information has been applied by the source device 101, 102 is received. Is sent. Image processors 108, 109, 110 will wait until an acknowledgment is received. When source device 101, 102 receives clipping information, it will act on the clipping information as mentioned below. Thus, source devices 101 and 102 will prepare and send the acknowledgment to the associated destination device 103 along with the clipped media data stream. In one embodiment, the clipping information will act as an acknowledgment. Alternatively, individual acknowledgments to which clipping information is received and applied may be generated and transmitted. When the destination device 103 receives the approval, the image processors 108, 109, 110 can begin to apply the new clipping information.

특정 소스 디바이스(101, 102)는 미디어 데이터 스트림들을 멀티캐스팅 또는 유니캐스팅(unicasting)함에 의해 하나 또는 수 개의 목적지 디바이스들을 서브할 수 있다. 멀티캐스팅이 제공될 때, 소스 디바이스(101, 102)는 상기된 바와 같은 상기 소스 디바이스로부터 적어도 하나의 미디어 데이터 스트림을 수신하는 각 목적지 디바이스로부터 클리핑 정보를 수신할 수 있다. 멀티캐스팅 환경에서, 소스 디바이스(101, 102)의 네트워크 조정자(123)는 모든 목적지 디바이스들을 커버링하는 윈도의 영역을 계산하고 따라서 목적지 디바이스들 중 어느 하나에 의해 필요로 되지 않는 미디어 데이터 스트림의 그들의 부분들을 클리핑하는 각각 선택적으로 접속된 목적지 디바이스(103)으로부터 수신되는 클리핑 정보를 결합시킨다. 따라서, 멀티캐스팅 환경에서, 네트워크 조정자는 미디어 데이터를 미디어 데이터 저장소(124)로부터 검색하고 미디어 데이터 스트림을 각각 접속된 목적지 디바이스(103)에 전송하기 전에 결합된 클리핑 정보를 사용하여 상기 미디어 데이터를 클립핑한다. 이해되는 바와 같이, 하나의 소스 디바이스(101, 102)는 수 개의 미디어 데이터 스트림들을 제공할 수 있고, 그것은 제공된 각각의 미디어 데이터 스트림에 관련하는 하나 또는 수 개의 목적지 디바이스들로부터 클리핑 정보를 수신하도록 구성된다. The particular source device 101, 102 may serve one or several destination devices by multicasting or unicasting the media data streams. When multicasting is provided, source devices 101 and 102 may receive clipping information from each destination device that receives at least one media data stream from the source device as described above. In a multicasting environment, the network coordinator 123 of the source devices 101 and 102 calculates the area of the window covering all destination devices and thus their portion of the media data stream that is not needed by any of the destination devices. Combine clipping information received from each selectively connected destination device 103 for clipping them. Thus, in a multicasting environment, the network coordinator clips the media data using the combined clipping information before retrieving the media data from the media data store 124 and transmitting the media data stream to each connected destination device 103. do. As will be appreciated, one source device 101, 102 may provide several media data streams, which is configured to receive clipping information from one or several destination devices associated with each provided media data stream. do.

유니캐스팅 환경에서, 소스 디바이스(101, 102)는 그 목적지 디바이스로부터 수신된 클리핑 정보에 따라서와 다르게 특정 목적지 디바이스(103)로 전송된 각 미디어 데이터 스트림을 클리핑하기 위해 구성된다. 따라서, 유니캐스팅 환경에서 네트워크 조정자(123)는 다른 목적지 디바이스들(103)로부터 수신된 클리핑 정보를 결합하게 하지 않는다. 미디어 데이터 저장소(124)로부터 검색된 미디어 데이터 스트림은 특정 목적지 디바이스(103)로부터 수신된 클리핑 정보에 따라 클리핑만된다. In a unicasting environment, source devices 101 and 102 are configured to clip each media data stream sent to a particular destination device 103 differently depending on the clipping information received from that destination device. Thus, in the unicasting environment the network coordinator 123 does not allow combining clipping information received from other destination devices 103. The media data stream retrieved from the media data store 124 is only clipped according to the clipping information received from the particular destination device 103.

소스 디바이스들(101, 102)은 예를 들면, 목적지 디바이스(103)로 전송된 미디어 데이터 스트림의 미디어 데이터 패킷들로부터 네트워크 조정자(123)에 의해 계산된 영역에 관련하는 데이터를 제거함에 의해 클리핑 정보에 작용할 것이다. 본 발명의 바람직한 실시예에서, 기저층의 완전한 전송이 제공된다. 그러나, 목적지 디바이스(103)에 의해 필요로 되지 않는 미디어 데이터에 관련하는 확장층의 확장 미디어 데이터 블록들은 목적지 디바이스로 전송되지 않을 것이다. 전송되지 않는 미디어 데이터 블록들은 상기된 네트워크 조정자(123)에 의해 제공되는 계산에 기초하여 추출된다. 다른 실시예로, 소스 디바이스(101)의 부호기 블록(122)은 예를 들면 네트워크 조정자(123)로 계산되는, 목적지 디바이스에 의해 필요로 되지 않는 미디어 데이터에 관련하는 확장층의 확장 미디어 데이터 블록들을 부호화하고 전송하지 않도록 설정될 수 있다. The source devices 101, 102 are for example clipping information by removing data relating to the area calculated by the network coordinator 123 from the media data packets of the media data stream sent to the destination device 103. Will function. In a preferred embodiment of the present invention, complete transmission of the base layer is provided. However, enhancement layer data blocks of the enhancement layer related to the media data not required by the destination device 103 will not be transmitted to the destination device. Media data blocks that are not transmitted are extracted based on the calculation provided by the network coordinator 123 described above. In another embodiment, the encoder block 122 of the source device 101 may store enhancement media data blocks of the enhancement layer that relate to media data that is not needed by the destination device, for example calculated by the network coordinator 123. Can be set to encode and not transmit.

도 6은 클리핑 정보를 소스 디바이스(101, 102)로 제공하고, 클리핑된 미디어 데이터를 수신하기 위해 목적지 디바이스(103)에서 실행되는 발명 방법의 단계들의 하나의 실시예를 포함한다. 제 1 단계(300)에서, 시스템은 클리핑 정보의 계산의 개시(initiation)를 기다린다. 이는 스위처(113)가 다중-윈도 디스플레이에서 다른 오버랩핑된 적어도 하나의 윈도가 있거나 또는 수 개의 윈도들 중 하나의 움직임이 시작된 것을 검증하는 것으로 초기화된다. 단계 301에서, 각각 오버랩핑한 영역에 대하여 디스플레이 좌표들은 윈도 제어기(111)에 의해 계산된다. 오버랩핑한 영역의 디스플레이 좌표들은 예를 들면 관련 디스플레이 좌표들을 포함하는 함수 f(x,y)이다. 이 단계는 다른 윈도에 의해 적어도 부분적으로 오버랩핑된 모든 윈도들에 대해 반복된다. 단계 302에서, 클리핑 정보는 관련된 소스 디바이스로 전송된다. 단계 303에서, 클리핑된 미디어 데이터 스트림은 소스 디바이스(101, 102)로부터 수신되고, 스트림은 처리되지 않는 영역을 포함하는 이미지를 제공하기 위해 저장된 처리 정보 및 클리핑 정보를 이용함으로써 처리된다. 6 includes one embodiment of the steps of the inventive method for providing clipping information to source devices 101, 102 and executed at destination device 103 to receive clipped media data. In a first step 300, the system waits for initiation of the calculation of the clipping information. This is initiated by the switcher 113 verifying that there is at least one overlapping window in the multi-window display or that the movement of one of several windows has begun. In step 301, display coordinates are calculated by the window controller 111 for each overlapping area. The display coordinates of the overlapping area are, for example, a function f (x, y) containing the relevant display coordinates. This step is repeated for all windows that are at least partially overlapped by other windows. In step 302, the clipping information is sent to the associated source device. In step 303, the clipped media data stream is received from source devices 101 and 102, and the stream is processed by using stored processing information and clipping information to provide an image that includes an unprocessed area.

클리핑된 미디어 데이터 스트림이 목적지 디바이스(103)에 의해 수신될 때, 미디어 데이터 스트림은 복호화되고 픽셀들은 스위처(113)로 공급된 출력 데이터 스트림을 얻기 위해 처리되지 않도록 결정된다. 이후, 클리핑된 미디어 데이터 스트림은 다중-윈도 이미지를 포함하는 출력 미디어 스트림을 생성하는 스위처(113)로 처리될 수 있고 출력될 수 있다. 그러나, 소스 디바이스(101, 102)가 완전한 다중-윈도 이미지를 제공하는 경우, 클리핑된 미디어-데이터 스트림들은 목적지 디바이스에 의해 처리되지 않고, 상기 수신된 클리핑된 미디어 데이트 스트림은 단지 출력 미디어 데이터 스트림으로서 출력되기 전에 복호되어야 한다. 실시예에서, 소스 디바이스(101, 102)는 다중-윈도 이미지를 준비하고, 목적지 디바이스는 수 개의 이미지 처리기들(108, 109, 110)을 포함할 수 없다. When the clipped media data stream is received by the destination device 103, the media data stream is decoded and the pixels are determined not to be processed to obtain the output data stream supplied to the switcher 113. The clipped media data stream can then be processed and output with the switcher 113 generating an output media stream comprising the multi-window image. However, if the source device 101, 102 provides a full multi-window image, the clipped media-data streams are not processed by the destination device and the received clipped media data stream is merely an output media data stream. It must be decoded before output. In an embodiment, the source device 101, 102 prepares a multi-window image, and the destination device may not include several image processors 108, 109, 110.

도 7은 클리핑 정보를 처리하고 클리핑된 미디어 데이터 스트림을 제공하기 위해 소스 디바이스(101, 102)에 의해 실행된 일 실시예에 따른 단계들을 도시한다. 단계 400에서, 소스 디바이스(101, 102)는 미디어 데이터 스트림의 클리핑을 시작하는 클리핑 정보를 수신한다. 단계 401에서, 클리핑 정보가 다중 목적지 디바이스들로부터 수신되는지의 여부가 결정된다. 단계 401에서 응답이 긍정인 경우, 모든 수신된 클리핑 정보는 단계 402에서 결합된 클리핑 정보와 결합된다. 그러나, 유니캐스팅이 제공되는 경우, 이 단계는 폐기될 수 있다. 새로운 클리핑 정보, 또는 업데이팅된 클리핑 정보는 하나 또는 수 개의 접속된 목적지 디바이스들로부터 수신되는 경우, 새로운 클리핑 정보는 이미 다른 목적지 디바이스로부터 수신된 저장된 클리핑 정보와 결합된다. 또한, 응답이 부정인 경우, 단계 403에서, 저장된 이미지 처리 정보 및 결합된 클리핑 정보, 또는 각 클리핑 정보는 목적지 디바이스들에 의해 필요로 되지 않는 미디어 데이터를 계산하기 위해 사용되고, 따라서 목적지 디바이스(103)에 전송되게 하지 않는다. 7 illustrates steps in accordance with one embodiment performed by source device 101, 102 to process clipping information and provide a clipped media data stream. In step 400, the source devices 101 and 102 receive clipping information to begin clipping the media data stream. In step 401, it is determined whether clipping information is received from multiple destination devices. If the response is affirmative in step 401, all received clipping information is combined with the clipping information combined in step 402. However, if unicasting is provided, this step may be discarded. When new clipping information, or updated clipping information, is received from one or several connected destination devices, the new clipping information is already combined with stored clipping information received from another destination device. Further, if the response is negative, in step 403, the stored image processing information and combined clipping information, or each clipping information, is used to calculate media data that is not needed by the destination devices, and thus the destination device 103 Do not send to.

일 실시예로, 단계 404에서 미디어 데이터 스트림은 목적지 디바이스에 의해 필요로 되지 않는 미디어 데이터에 관련하는 데이터 블록들이 목적지 디바이스(103)로 전송되는 미디어 데이터 스트림으로부터 제거됨으로 클리핑된다. 다른 실시예로, 단계 404에서 미디어 데이터 스트림은 부호기 블록(122)가 상기 필요로 되지 않는 미디어 데이터에 관련하는 블록들을 부호화하지 않도록 명령됨으로 클리핑된다. 최종적으로 단계 405에서, 클리핑된 미디어 데이터 스트림은 미디어 데이터 스트림을 클리핑하기 위해 이용되는 클리핑 정보를 제공하는 목적지 디바이스(103), 또는 멀티캐스팅 환경에서 각각 결합된 목적지 디바이스로 전송되고 부호화된다. In one embodiment, in step 404 the media data stream is clipped as data blocks associated with the media data that are not needed by the destination device are removed from the media data stream sent to the destination device 103. In another embodiment, in step 404 the media data stream is clipped as the encoder block 122 is instructed not to encode blocks associated with the media data that is not needed. Finally, in step 405, the clipped media data stream is transmitted and encoded to a destination device 103 that provides the clipping information used to clip the media data stream, or each combined destination device in a multicasting environment.

실시예에서, 하나의 소스 디바이스(101, 102)는 미리 처리된 클리핑된 다중-윈도 이미지를 제공하며, 네트워크 조정자(123)는 수신된 클리핑 정보에 기초하여 그 중 적어도 하나가 클리핑되는 수 개의 미디어 데이터 스트림들이 제공된다. 이후, 클리핑된 미디어 데이터 스트림 및 적어도 하나의 다른 미디어 데이터 스트림은 단계 405에서 전송되고 부호화되는 다중-윈도 이미지에 결합된다. In an embodiment, one source device (101, 102) provides a preprocessed clipped multi-window image, and the network coordinator (123) is responsible for several media, at least one of which is clipped based on the received clipping information. Data streams are provided. The clipped media data stream and at least one other media data stream are then combined into a multi-window image that is transmitted and encoded in step 405.

본 발명의 다른 실시예들은 본 발명의 전체 동작에 영향을 미침이 없이 상호변경될 수 있기 때문에 상기된 단계들의 정확한 순서로 제한되지 않는다는 것이 이해될 것이다. 또한, 용어 "포함하는"은 다른 요소들 또는 단계들을 제외하지 않으며, 용어 "a" 및 "an"은 복수를 제외하지 않고, 단일 처리기 또는 다른 유닛은 청구항들에서 인용된 수 개의 유닛들 또는 회로들의 기능들을 실행할 수 있다. It will be appreciated that other embodiments of the invention are not limited to the exact order of steps described above since they may be interchanged without affecting the overall operation of the invention. Further, the term "comprising" does not exclude other elements or steps, the terms "a" and "an" do not exclude a plurality, and a single processor or other unit is not limited to several units or circuits cited in the claims. Can execute their functions.

Claims (24)

목적지 디바이스(destination device)의 다중-윈도 디스플레이(multi-window display)의 개별적인 윈도들에서 디스플레이될 다중 미디어 데이터 스트림들(multiple media data stream)을 수신하는 방법에 있어서,A method of receiving multiple media data streams to be displayed in separate windows of a multi-window display of a destination device, the method comprising: 다중-윈도 디스플레이의 제 1 윈도의 커버링된 영역의 클리핑 정보(clipping information)를 제공하는 단계로서, 상기 제 1 윈도는 상기 미디어 다중-윈도의 적어도 제 2 윈도에 의해서 적어도 부분적으로 커버링된, 상기 클리핑 정보를 제공하는 단계;Providing clipping information of a covered area of a first window of a multi-window display, wherein the first window is at least partially covered by at least a second window of the media multi-window. Providing information; 상기 제 1 윈도로 렌더링되는 제 1 미디어 데이터 스트림을 제공하는 소스 디바이스에 상기 클리핑 정보를 전송하는 단계; 및Transmitting the clipping information to a source device that provides a first media data stream rendered to the first window; And 상기 제 1 윈도의 커버링되지 않는 영역에 대한 미디어 데이터를 포함하는 클리핑된 미디어 데이터 스트림을 수신하는 단계를 포함하는, 수신 방법.Receiving a clipped media data stream comprising media data for an uncovered area of the first window. 제 1 항에 있어서, 상기 클리핑 정보는 상기 제 2 윈도의 적어도 디스플레이 좌표들을 포함하는, 수신 방법.The method of claim 1, wherein the clipping information comprises at least display coordinates of the second window. 제 1 항에 있어서, 상기 제공 단계는 상기 다중-윈도 디스플레이의 적어도 상기 제 2 윈도의 디스플레이 좌표들을 추출하는 단계를 더 포함하는, 수신 방법.The method of claim 1, wherein the providing step further comprises extracting display coordinates of at least the second window of the multi-window display. 제 1 항에 있어서, The method of claim 1, 상기 제 1 또는 상기 적어도 제 2 윈도의 크기의 변화 및 이동에 응답하여 상기 클리핑 정보를 재-계산하는 단계; 및Re-calculating the clipping information in response to a change and movement of the size of the first or at least second window; And 상기 재-계산된 클리핑 정보를 전송하는 단계를 더 포함하는, 수신 방법.Transmitting the re-calculated clipping information. 제 1 항에 있어서, 상기 수신된 클리핑된 미디어 데이터 스트림은 완전한 미디어 데이터 기저층 및 클리핑된 미디어 데이터 확장층을 포함하고, 상기 미디어 데이터 확장층은 상기 제 1 윈도의 상기 커버링되지 않은 영역을 처리하기 위해 필요로 되는 미디어 데이터 블록들만을 포함하는, 수신 방법.2. The method of claim 1, wherein the received clipped media data stream comprises a complete media data base layer and a clipped media data enhancement layer, the media data enhancement layer for processing the uncovered area of the first window. A method comprising only media data blocks needed. 제 1 항에 있어서, The method of claim 1, 상기 수신된 클리핑된 미디어 데이터 스트림을 복호하는 단계;Decoding the received clipped media data stream; 상기 클리핑 정보 및 저장된 처리 정보에 기초하여 상기 클리핑된 미디어 데이터를 처리하는 단계를 더 포함하는, 수신 방법.Processing the clipped media data based on the clipping information and stored processing information. 제 1 항에 있어서, 상기 수신된 클리핑된 미디어 데이터 스트림은 클리핑된 미리 처리된 다중-윈도 이미지를 포함하는, 수신 방법.2. The method of claim 1 wherein the received clipped media data stream comprises a clipped preprocessed multi-window image. 제 1 항에 있어서, 상기 클리핑 정보를 제공하는 단계는,The method of claim 1, wherein providing the clipping information comprises: 적어도 하나의 이미지 처리기를 상기 클리핑 정보가 상기 소스 디바이스에 의해 적용된 승인(acknowledgement)을 기다리도록 설정하는 추가 단계를 포함하고;Setting at least one image processor to wait for an acknowledgment that the clipping information has been applied by the source device; 클리핑된 미디어 데이터 스트림을 상기 수신하는 단계는,Receiving the clipped media data stream comprises: - 상기 클리핑 정보가 적용되는 승인을 수신하는 추가 단계를 포함하는, 수신 방법.Receiving an acknowledgment to which the clipping information is applied. 제 1 항에 있어서, 상기 미디어 데이터 스트림은 오디오/비디오 데이터 블록들을 포함하는, 수신 방법.The method of claim 1, wherein the media data stream comprises audio / video data blocks. 소스 디바이스로부터 적어도 하나의 목적지 디바이스로 미디어 데이터 스트림을 전송하는 방법에 있어서, A method of transmitting a media data stream from a source device to at least one destination device, the method comprising: 적어도 하나의 목적지 디바이스로부터 클리핑 정보를 수신하는 단계;Receiving clipping information from at least one destination device; 상기 수신된 클리핑에 기초하여, 미디어 데이터가 상기 적어도 하나의 목적지 디바이스에 의해 필요로 되지 않는 윈도 영역을 계산하는 단계;Based on the received clipping, calculating a window area in which media data is not needed by the at least one destination device; 클리핑된 미디어 데이터 스트림을 제공하기 위해 상기 계산된 영역에 따라 상기 미디어 데이터 스트림을 클리핑하는 단계; 및Clipping the media data stream in accordance with the calculated region to provide a clipped media data stream; And 상기 클리핑된 미디어 데이터 스트림을 상기 적어도 하나의 목적지 디바이스에 전송하는 단계를 포함하는, 미디어 데이터 스트림 전송 방법.Transmitting the clipped media data stream to the at least one destination device. 제 10 항에 있어서, 상기 클리핑 정보는 다중-윈도 디스플레이에서 다른 윈도를 커버링하는 적어도 하나의 윈도의 디스플레이 좌표들을 포함하는, 미디어 데이터 스트림 전송 방법.11. The method of claim 10, wherein the clipping information comprises display coordinates of at least one window covering another window in the multi-window display. 제 10 항에 있어서, 상기 계산하는 단계는, The method of claim 10, wherein the calculating step, 미디어 데이터가 수 개의 목적지 디바이스들 중 어느 것에 의해서도 필요로 되지 않는 윈도 영역을 계산하는 단계를 더 포함하는, 미디어 데이터 스트림 전송 방법.Calculating a window area in which media data is not needed by any of several destination devices. 제 10 항에 있어서, 다중 목적지 디바이스들로부터 수신된 클리핑 정보는 개별적으로 처리되는, 미디어 데이터 스트림 전송 방법.11. The method of claim 10, wherein the clipping information received from multiple destination devices is processed separately. 제 10 항에 있어서, 상기 클리핑하는 단계는,The method of claim 10, wherein the clipping step: 상기 계산된 윈도 영역과 관련된 확장층의 확장 미디어 데이터 블록들을 상기 미디어 데이터 스트림로부터 제거하는 단계를 더 포함하는, 미디어 데이터 스트림 전송 방법.Removing extended media data blocks of the enhancement layer associated with the calculated window area from the media data stream. 제 10 항에 있어서, 상기 클리핑하는 단계는,The method of claim 10, wherein the clipping step: 상기 계산된 윈도 영역과 관련된 확장층의 확장 미디어 데이터 블록들을 부호화하지 않도록 부호기를 설정하는 단계를 더 포함하는, 미디어 데이터 스트림 전송 방법.And setting an encoder to not encode extended media data blocks of the enhancement layer related to the calculated window region. 제 10 항에 있어서, 상기 클리핑하는 단계는,The method of claim 10, wherein the clipping step: 제 1 클리핑된 미디어 스트림 및 적어도 제 2 미디어 데이터 스트림을 다중-윈도 이미지에 결합하는 단계를 더 포함하는, 미디어 데이터 스트림 전송 방법.Combining the first clipped media stream and at least the second media data stream into a multi-window image. 제 10 항에 있어서, 상기 전송하는 단계는, The method of claim 10, wherein the transmitting step, 상기 수신된 클리핑 정보가 적용되는 승인을 준비하는 단계; 및Preparing an approval to which the received clipping information is applied; And 상기 승인을 관련된 상기 목적지 디바이스로 전송하는 단계를 더 포함하는, 미디어 데이터 스트림 전송 방법.Sending the grant to the associated destination device. 제 17 항에 있어서, 상기 승인은 상기 수신된 클리핑 정보인, 미디어 데이터 스트림 전송 방법.18. The method of claim 17 wherein the grant is the received clipping information. 제 10 항에 있어서, 상기 미디어 데이터 스트림은 오디오/비디오 데이터 블록들을 포함하는, 미디어 데이터 스트림 전송 방법.11. The method of claim 10, wherein the media data stream comprises audio / video data blocks. 미디어 데이터를 수신하는 장치에 있어서, An apparatus for receiving media data, the apparatus comprising: 다중-윈도 디스플레이의 적어도 두 개의 개별적인 윈도들에 디스플레이될 다중 미디어 데이터 스트림들을 수신하는 수단;Means for receiving multiple media data streams to be displayed in at least two separate windows of the multi-window display; 상기 적어도 두 개의 윈도들 중 적어도 다른 하나에 의해 커버링되는 상기 적어도 두 개의 윈도들 중 적어도 하나의 커버링된 영역과 관련된 정보를 포함하는 클리핑 정보를 제공하는 수단; 및Means for providing clipping information including information related to a covered area of at least one of the at least two windows covered by at least another one of the at least two windows; And 상기 클리핑 정보를 적어도 하나의 소스 디바이스로 전송하는 수단을 포함하고, 상기 전송하는 수단은 상기 제공하는 수단에 동작 가능하게 접속되는, 미디어 데이터 수신 장치.Means for transmitting the clipping information to at least one source device, the means for transmitting being operatively connected to the providing means. 제 20 항에 있어서, The method of claim 20, 상기 수신하는 수단에 동작 가능하게 접속된 적어도 두 개의 미디어 데이터 스트림들을 처리 하는 수단; 및Means for processing at least two media data streams operably connected to the receiving means; And 상기 다중-윈도 디스플레이로 렌더링하기 위해 상기 적어도 두 개의 처리된 미디어 데이터 스트림들을 출력 미디어 데이터 스트림과 결합하는 수단으로서, 상기 결합하는 수단은 동작 가능하게 상기 처리 수단에 접속되는, 상기 결합 수단을 더 포함하는, 미디어 데이터 수신 장치.Means for combining the at least two processed media data streams with an output media data stream for rendering into the multi-window display, wherein the combining means is further operatively connected to the processing means. Media data receiving device. 제 21 항에 있어서, 상기 처리하는 수단은 저장된 이미지 처리 정보에 따라, 그리고 유도하는 수단에 의해 유도된 상기 클리핑 정보에 따라, 상기 미디어 데이터 스트림들을 처리하도록 구성된 적어도 하나의 이미지 처리기인, 미디어 데이터 수신 장치.22. The media data reception of claim 21 wherein the means for processing is at least one image processor configured to process the media data streams according to stored image processing information and according to the clipping information derived by the deriving means. Device. 적어도 하나의 목적지 디바이스로 미디어 데이터 스트림을 전송하는 장치에 있어서, An apparatus for transmitting a media data stream to at least one destination device, the apparatus comprising: 적어도 하나의 목적지 디바이스로부터 클리핑 정보를 수신하는 수단;Means for receiving clipping information from at least one destination device; 상기 수신된 크리핑 정보에 기초하여 상기 미디어 데이터 스트림을 클리핑하는 수단으로서, 상기 수신하는 수단에 동작 가능하게 접속되는, 상기 클리핑하는 수단; 및Means for clipping the media data stream based on the received creeping information, the means for clipping being operatively connected to the receiving means; And 상기 클리핑된 미디어 데이터를 적어도 하나의 목적지 디바이스에 전송하는 수단을 포함하는, 미디어 데이터 스트림 전송 장치.Means for transmitting the clipped media data to at least one destination device. 제 23 항에 있어서, 상기 클리핑된 미디어 데이터 스트림을 부호화하는 수단을 더 포함하는, 미디어 데이터 스트림 전송 장치.24. The apparatus of claim 23, further comprising means for encoding the clipped media data stream.
KR1020057011305A 2002-12-18 2003-11-18 Clipping of media data transmitted in a network KR20050085753A (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP02080363.1 2002-12-18
EP02080363 2002-12-18

Publications (1)

Publication Number Publication Date
KR20050085753A true KR20050085753A (en) 2005-08-29

Family

ID=32524048

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020057011305A KR20050085753A (en) 2002-12-18 2003-11-18 Clipping of media data transmitted in a network

Country Status (7)

Country Link
US (1) US20060203001A1 (en)
EP (1) EP1576575A2 (en)
JP (1) JP2006510963A (en)
KR (1) KR20050085753A (en)
CN (1) CN1726530A (en)
AU (1) AU2003280127A1 (en)
WO (1) WO2004056078A2 (en)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007027010A1 (en) * 2005-07-15 2007-03-08 Samsung Electronics Co., Ltd. Apparatus and method of encoding video and apparatus and method of decoding encoded video
CN1997160A (en) * 2006-01-06 2007-07-11 腾讯科技（深圳）有限公司 A multi-channel program receiving and displaying system and method
WO2007138429A2 (en) 2006-05-25 2007-12-06 Shuki Binyamin Method and system for efficient remote application provision
TWI397899B (en) 2007-04-30 2013-06-01 Mstar Semiconductor Inc Display controller for displaying multiple windows and method for the same
US8520687B2 (en) * 2007-07-06 2013-08-27 Alcatel Lucent Method and apparatus for internet protocol multimedia bearer path optimization through a succession of border gateways
US20090235177A1 (en) * 2008-03-14 2009-09-17 Microsoft Corporation Multi-monitor remote desktop environment user interface
WO2009147795A1 (en) * 2008-06-05 2009-12-10 パナソニック株式会社 Video processing system
US9392437B2 (en) 2008-10-17 2016-07-12 Alcatel Lucent Method and system for IP multimedia bearer path optimization through a succession of border gateways
JP5455042B2 (en) * 2009-01-14 2014-03-26 群創光電股▲ふん▼有限公司 Multi-view display device
WO2013145580A1 (en) * 2012-03-28 2013-10-03 パナソニック株式会社 Information display device
US9124911B2 (en) 2013-02-15 2015-09-01 Cox Communications, Inc. Storage optimization in a cloud-enabled network-based digital video recorder
US10778663B2 (en) 2013-03-15 2020-09-15 Cox Communications, Inc. Network token authentication scheme
US10477260B2 (en) 2014-10-17 2019-11-12 Cox Communications, Inc. Network based digital video recorder playback adapter
CN111427523B (en) * 2020-01-19 2022-08-02 杭州海康威视数字技术股份有限公司 Window overlapping display processing method and device and electronic equipment

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1994014155A1 (en) * 1992-12-17 1994-06-23 Seiko Epson Corporation Graphics control planes for windowing and other display operations
US5561755A (en) * 1994-07-26 1996-10-01 Ingersoll-Rand Company Method for multiplexing video information
WO1996013026A1 (en) * 1994-10-25 1996-05-02 Taligent, Inc. Object-oriented system for servicing windows
US5751979A (en) * 1995-05-31 1998-05-12 Unisys Corporation Video hardware for protected, multiprocessing systems
US6292834B1 (en) * 1997-03-14 2001-09-18 Microsoft Corporation Dynamic bandwidth selection for efficient transmission of multimedia streams in a computer network
US6025841A (en) * 1997-07-15 2000-02-15 Microsoft Corporation Method for managing simultaneous display of multiple windows in a graphical user interface
JP3509060B2 (en) * 1998-05-28 2004-03-22 松下電器産業株式会社 Display control device and method
US7260826B2 (en) * 2000-05-31 2007-08-21 Microsoft Corporation Resource allocation in multi-stream IP network for optimized quality of service
US7286140B2 (en) * 2002-07-26 2007-10-23 Sun Microsystems, Inc. Hardware acceleration of display data clipping
US7002599B2 (en) * 2002-07-26 2006-02-21 Sun Microsystems, Inc. Method and apparatus for hardware acceleration of clipping and graphical fill in display systems

Also Published As

Publication number Publication date
US20060203001A1 (en) 2006-09-14
JP2006510963A (en) 2006-03-30
CN1726530A (en) 2006-01-25
EP1576575A2 (en) 2005-09-21
AU2003280127A8 (en) 2004-07-09
AU2003280127A1 (en) 2004-07-09
WO2004056078A2 (en) 2004-07-01
WO2004056078A3 (en) 2005-05-19

Similar Documents

Publication Publication Date Title
US9904503B1 (en) Method and system for application broadcast
US7474700B2 (en) Audio/video system with auxiliary data
US7847755B1 (en) Method and apparatus for the identification and selective encoding of changed host display information
US6067119A (en) Hierarchical low latency video compression
EP2232858B1 (en) Changing visual content communication
JP5326234B2 (en) Image transmitting apparatus, image transmitting method, and image transmitting system
US20020021353A1 (en) Streaming panoramic video
KR20050085753A (en) Clipping of media data transmitted in a network
MXPA01000893A (en) Remote computer access.
US20040109014A1 (en) Method and system for displaying superimposed non-rectangular motion-video images in a windows user interface environment
JP2002330440A (en) Image transmission method, program for the image transmission method, recording medium for recording the program for the image transmission method, and image transmitter
Gül et al. Cloud rendering-based volumetric video streaming system for mixed reality services
EP1043707A2 (en) Method and apparatus for providing distributed clip-list management
WO2024037137A1 (en) Data processing method and apparatus for immersive media, and device, medium and product
US9226003B2 (en) Method for transmitting video signals from an application on a server over an IP network to a client device
WO2010114512A1 (en) System and method of transmitting display data to a remote display
US20080276289A1 (en) System for video presentations with adjustable display elements
US6654414B1 (en) Video conferencing using camera environment panoramas
US20020158895A1 (en) Method of and a system for distributing interactive audiovisual works in a server and client system
JP2004040351A (en) Image distribution system and image distribution reproducing system
US5990959A (en) Method, system and product for direct rendering of video images to a video data stream
WO2000062553A1 (en) Improved recognition of a pre-defined region on a transmitted image
JP4939131B2 (en) Remote display system and method
US20030179216A1 (en) Multi-resolution video-caching scheme for interactive and immersive videos
JP2006129190A (en) Image distribution system, image distributing device, and image distributing method and program

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid