KR100486713B1

KR100486713B1 - 멀티미디어 스트리밍 장치 및 방법

Info

Publication number: KR100486713B1
Application number: KR10-2002-0056487A
Authority: KR
Inventors: 조대성; 김미영; 김상욱; 이상조
Original assignee: 삼성전자주식회사
Priority date: 2002-09-17
Filing date: 2002-09-17
Publication date: 2005-05-03
Also published as: JP3957666B2; DE10344017A1; CN1490980A; DE10344017B4; JP2004112789A; US20050076136A1; KR20040025994A; CN100382499C

Abstract

네트워크의 상태에 따라 멀티미디어 데이터를 적응적으로 전송하는 멀티미디어 스트리밍 장치 및 방법이 개시된다. 상기 멀티미디어 스트리밍 장치는, 서비스하고자 하는 멀티미디어 데이터에 대응되는 메타 데이터의 분석 결과와, 상기 멀티미디어 데이터를 받아들이는 클라이언트에 의해 측정된 네트워크 대역폭 정보에 응답해서, 소정의 서비스 품질 레벨에 해당되는 멀티미디어 데이터를 스트리밍한다. 그 결과, 서버에 부담을 주지 않으면서 네트워크 대역폭 변화에 따른 적응적 멀티미디어 스트리밍을 수행할 수 있다.

Description

멀티미디어 스트리밍 장치 및 방법{Apparatus and method for streaming multimedia data}

본 발명은 멀티미디어 데이터의 전송에 관한 것으로, 특히 네트워크의 상태에 따라 멀티미디어 데이터를 적응적으로 전송하는 멀티미디어 스트리밍 장치 및 방법에 관한 것이다.

스트리밍(streaming)은 전송되는 데이터를 마치 끊임없고 지속적인 물의 흐름처럼 처리할 수 있는 기술을 의미한다. 스트리밍 기술은 인터넷의 성장과 함께 더욱 더 중요해지고 있는데, 그 이유는 대부분의 사용자가 대용량 멀티미디어 파일들을 즉시 다운로드 할 만큼 빠른 접속회선을 가지고 있지 못하기 때문이다. 스트리밍 기술을 이용하면, 파일이 모두 전송되기 전에라도 클라이언트 브라우저 또는 플러그인이 데이터의 표현을 시작할 수 있다.

그러나, 스트리밍 환경에서 네트워크의 상태는 항상 일정한 상태를 유지하지 않는다. 일반적으로, 초기 네트워크 대역폭에 맞게 멀티미디어 스트리밍 서비스를 하더라도 서비스 대상이 많아지면 대역폭이 감소하게 되고 더 심할 경우 네트워크 혼잡(Congestion)상태가 발생하게 되어 안정된 서비스를 보장할 수 없게 된다. 따라서, 네트워크 변화에 따라 전송률을 변화시키는 스트리밍 서비스가 필요하다.

적응적 스트리밍은 네트워크의 상태 변화에 따라 전송량을 적절하게 조절하는 기술로서, 이를 구현하는 예는 다음과 같다.

2000년 1월, Aharoni 등에 의해 취득된 U.S. Pat. No. 6,014,694, "SYSTEM FOR ADAPTIVE VIDEO/AUDIO TRANSPORT OVER A NETWORK"에는 예상되는 비트율을 몇 단계로 나누고 각 비트율에 해당하는 멀티미디어 스트림을 각각 만들어 함께 저장하는 다중 비트 스트림 서비스가 개시된다. 이 방법은 한 프레임씩 해당 스트림을 저장하거나 각 비트율 레벨에 해당되는 스트림을 따로 따로 저장한 후, 각 서버에서 해당 스트림을 선택적으로 스트리밍한다. 그러나, 이 방법은 하나의 멀티미디어 컨텐츠를 서비스하기 위한 저장 스트림의 크기가 큰 단점이 있다.

2000년 7월, Guetz 등에 의해 취득된 U.S. Pat. No. 6,091,777, "CONTINUOUSLY ADAPTIVE DIGITAL VIDEO COMPRESSION SYSTEM AND METHOD FOR A WEB STREAMER"에는 채널 대역폭과 클라이언트의 리소스 상태를 고려하여 전송시 영상의 압축률을 조절하여 부호화하는 방법이 개시된다. 그러나, 이 방법은 매 프레임마다 현재 대역폭과 이전 프레임의 압축률을 비교하여 다음 프레임의 압축률을 조절하기 때문에, 계산량이 많고, 서버에서의 오버헤드가 큰 단점이 있다.

2001년 1월, Zhang 등에 의해 취득된 U.S. Pat. No. 6,181,711, "SYSTEM AND METHOD FOR TRANSPORTING A COMPRESSED VIDEO AND DATA BIT STREAM OVER A COMMUNICATION CHANNEL"에는 미리 압축된 데이터의 비트율을 변환하여 네트워크의 대역폭에 맞게 재 부호화하여 전송하는 방법이 개시된다. 상기 비트율 변환은 복호화 과정, 비트율 변환과정, 및 부호화 과정을 포함하는데, 상기 방법에 의하면 네트워크의 대역폭이 변할 때마다 상기 과정을 거쳐 비트율 변환 수행해야 하므로 서버의 부담이 증가하는 단점을 가진다. 그리고 실시간 부호화가 충분히 이루어지지 않으면 안정적인 서비스를 보장할 수 없는 단점이 있다.

본 발명이 이루고자 하는 기술적 과제는, 서버에 부담을 주지 않으면서 네트워크 대역폭의 변화에 따라 적응적으로 전송률을 변화시켜 최적의 멀티미디어 스트리밍 서비스를 제공하는 멀티미디어 스트리밍 장치 및 방법을 제공하는데 있다.

상기의 과제를 이루기 위하여 본 발명에 의한 멀티미디어 스트리밍 장치는, 크게 멀티미디어 스트리밍 서버와 멀티미디어 스트리밍 클라이언트로 구성된다. 멀티미디어 스트리밍 서버는 서비스하고자 하는 멀티미디어 데이터에 대응되는 메타 데이터의 분석 결과와 외부로부터 입력된 네트워크 대역폭 정보에 응답해서, 소정의 서비스 품질 레벨에 해당되는 멀티미디어 데이터를 스트리밍 한다. 그리고, 멀티미디어 스트리밍 클라이언트는, 멀티미디어 데이터를 수신한 시간과 상기 멀티미디어 데이터의 크기 정보를 이용하여 상기 서버가 연결된 네트워크의 대역폭을 측정하고, 측정된 상기 대역폭 정보를 상기 서버에게 전송한다.

상기의 과제를 이루기 위하여 본 발명에 의한 멀티미디어 스트리밍 서버는, 데이터 저장부, 메타데이터 분석부, 메시지 수신부, 서비스 품질(QoS) 처리부, 버퍼, 패킷 생성부, 및 패킷 전송부를 포함한다. 데이터 저장부는 서비스하고자 하는 멀티미디어 데이터와, 상기 멀티미디어 데이터와 관련된 메타 데이터를 저장한다. 메타데이터 분석부는 상기 메타 데이터를 분석하고, 분석 결과를 디스크립터 형태로 출력한다. 메시지 수신부는 상기 클라이언트로부터 네트워크 대역폭 정보를 받아들인다. 서비스 품질(QoS) 처리부는 상기 디스크립터 정보와 상기 네트워크 대역폭 정보에 응답해서 서비스 가능한 서비스 품질 레벨을 선택하고, 선택된 상기 서비스 품질 레벨에 해당되는 멀티미디어 데이터를 상기 데이터 저장부로부터 추출한다. 버퍼는 상기 추출된 데이터를 저장한다. 패킷 생성부는 상기 버퍼에 저장된 데이터를 패킷화 한다. 패킷 전송부는 상기 버퍼에 저장된 데이터를 일정한 시간 간격으로 상기 클라이언트에게 전송한다.

상기의 과제를 이루기 위하여 본 발명에 의한 멀티미디어 스트리밍 클라이언트는, 패킷 수신부, 버퍼, 멀티미디어 디코더, 대역폭 측정부, 및 메시지 전송부를 포함한다. 패킷 수신부는 상기 서버로부터 상기 멀티미디어 데이터를 받아들인다. 버퍼는 수신된 상기 멀티미디어 데이터를 저장한다. 멀티미디어 디코더는 상기 버퍼에 저장된 데이터를 재생한다. 대역폭 측정부는 상기 패킷 수신부에서 상기 멀티미디어 데이터를 수신한 시간과 상기 데이터의 크기 정보를 이용하여 네트워크 대역폭을 측정한다. 메시지 전송부는 상기 네트워크 대역폭에 따라 상기 서버로부터 전송되는 상기 멀티미디어 데이터의 전송률이 조절될 수 있도록, 측정된 상기 네트워크 대역폭을 상기 서버에게 전송한다.

상기의 과제를 이루기 위하여 본 발명에 의한 멀티미디어 스트리밍 방법은, (a) 클라이언트가 서버에게 서비스 요청 메시지 및 세션 연결 요청 메시지를 전송하는 단계; (b) 상기 요청 메시지에 대한 서비스 확인 메시지 및 더미 패킷 쌍을 상기 클라이언트에게 전송하는 단계; (c) 상기 서버로부터 입력되는 상기 패킷 쌍에 응답해서 상기 네트워크의 초기 대역폭 값을 결정하고, 결정된 상기 초기 대역폭 값을 상기 서버에게 전송하는 단계; (d) 상기 클라이언트로부터 전송된 상기 초기 대역폭 정보와 메타 데이터의 분석결과 얻어진 디스크립터 정보를 비교하여 적절한 서비스 품질 레벨을 정하고, 상기 서비스 품질 레벨에 대응되는 전송률에 따라 멀티미디어 스트리밍 서비스를 시작하는 단계; (e) 상기 서버의 스트리밍 서비스를 통해 수신된 패킷 정보에 응답해서 상기 네트워크 대역폭을 주기적으로 측정하고, 측정된 상기 대역폭 값을 상기 서버에게 전송하는 단계; 및 (f) 상기 클라이언트로부터 전송된 상기 네트워크 대역폭 값에 따라 소정의 멀티미디어 스트림을 추출하고, 추출된 상기 멀티미디어 스트림을 상기 클라이언트에게 전송하는 단계를 포함하는 것을 특징으로 한다.

상기의 과제를 이루기 위하여 본 발명에 의한 멀티미디어 스트리밍 방법은, (a) 클라이언트로부터 네트워크의 대역폭을 수신하는 단계; (b) 서비스하고자 하는 멀티미디어 데이터에 대응되는 메타 데이터의 분석 결과로 얻어진 디스크립터를 근거로 하여 현재의 타임 세그먼트를 선택하는 단계; (c) 선택된 상기 세그먼트에 대해 상기 디스크립터에 정의되어 있는 목표 비트율과 상기 네트워크 대역폭을 비교하여 서비스 가능한 서비스 품질 레벨을 선택하는 단계; 및 (d) 선택된 상기 서비스 품질 레벨에 해당되는 프레임들을 추출하여 일정 시간마다 상기 클라이언트에게 전송하는 단계를 포함하는 것을 특징으로 한다.

상기의 과제를 이루기 위하여 본 발명에 의한 네트워크 대역폭 측정 방법은, (a) 누적 패킷 크기 값을 0으로 세팅하는 단계; (b) 상기 서버로부터 패킷을 수신하기 시작하는 단계; (c) 첫 번째 패킷이 수신된 시간을 T1로 설정하는 단계; (d) 상기 패킷이 입력된 후 마지막 패킷이 입력될 때까지 매 패킷이 입력될 때마다 상기 누적 패킷 크기 값에 해당 패킷의 크기 값을 누적해서 더하는 단계; (e) 마지막 패킷이 입력되면 상기 마지막 패킷이 수신된 시간을 T2로 설정하는 단계; (f) 을 계산하여 상기 네트워크 대역폭을 측정하는 단계; 및 (g) 상기 측정된 네트워크 대역폭 정보를 상기 서버에게 피드백 하는 단계를 포함하는 것을 특징으로 한다.

이하에서, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세히 설명한다.

도 1은 가변적인 네트워크 환경에서 적응적 멀티미디어 스트리밍 서비스를 제공하는, 본 발명의 바람직한 실시예에 따른 멀티미디어 스트리밍 서버(100)의 블록도이다. 도 1을 참조하면, 본 발명에 따른 멀티미디어 스트리밍 서버(100)는 데이터 저장부(101), 메타데이터(metadata) 분석부(110), 서비스 품질(Quality of Service, 이하 QoS라 칭함) 처리부(130), 메시지 수신부(160), 버퍼(170), 패킷 생성부(180), 및 패킷 전송부(190)를 포함한다. 그리고, QoS 처리부(130)는 서비스 레벨 선택부(140)와 프레임 선택부(150)를 포함한다.

데이터 저장부(101)는 서비스하고자 하는 압축 멀티미디어 데이터와, 상기 멀티미디어 데이터와 관련된 메타 데이터를 저장한다. 여기서, 멀티미디어 데이터는 오디오 데이터, 비디오 데이터와 같은 동영상 데이터, 정지 영상 데이터, 텍스트 데이터, 및 그래픽 데이터 중 어느 하나의 형태로 저장된다. 그리고, 상기 멀티미디어 데이터는, 공간상 스케일러블 기능, 품질 스케일러블 기능, 시간상 스케일러블 기능, 및 FGS(fine grain scalable) 기능 중 어느 하나를 갖는 비트 스트림으로 구성된다. 메타데이터 분석부(110)는 메타 데이터를 분석하고, 분석 결과를 디스크립터(descriptor) 형태로 출력한다. QoS 처리부(130)는 메타 데이터의 디스크립터 정보와 네트워크 대역폭 정보에 응답해서 QoS 처리를 수행한다. 메시지 수신부(160)는 서버는 클라이언트로부터 네트워크(1)의 상태 정보(즉, 네트워크 대역폭 정보)를 받아들인다. 버퍼(170)는 2개의 버퍼로 구성되며, 상기 버퍼들은 패킷을 저장하기 위한 패킷 저장 버퍼와 패킷을 전송하기 위한 패킷 전송 버퍼로 구분된다. 패킷 생성부(180)는 패킷 전송용 버퍼에 저장된 데이터를 패킷화 하는 기능을 수행하고, 패킷 전송부(190)는 버퍼(103)에 저장된 데이터를 일정한 시간 간격으로 네트워크(1)로 전송한다.

QoS 처리부(130)의 QoS 처리 과정은 다음과 같다. 먼저, 서비스 레벨 선택부(140)는 메시지 수신부(160)로부터 네트워크 대역폭 값을 입력받아, 디스크립터에 미리 정의되어 있는 QoS 레벨별 목표 비트율과 상기 대역폭을 비교하여 서비스 가능한 QoS 레벨을 선택한다. 그리고, 멀티미디어 데이터(10)로부터 현재의 QoS 레벨에 해당되는 프레임들을 추출하여 버퍼(170)에 저장한다.

메타 데이터(20)에는 각 레벨에 해당하는 프레임들의 포인터 정보가 저장되어 있어, 버퍼(170)에 저장되어 있는 파일에서 직접 접근이 가능하다. 패킷 생성부(180)는 버퍼(170)에 저장된 데이터를 일정한 크기로 잘라 패킷화 하고, 패킷 전송부(190)는 버퍼(103)에 저장된 데이터를 일정한 시간마다 네트워크(1)로 전송한다. 패킷 전송부(190)는 데이터 전송시 패킷을 동일한 간격으로 보내어, 클라이언트(도 6의 300)에서 대역폭 측정이 정확하게 수행될 수 있도록 한다. 패킷 전송 간격과 패킷의 크기는 서비스하는 데이터의 평균 비트율에 따라 조정된다.

메타 데이터(20)는 XML(eXtensible Markup Language)을 기반으로 하여 정의되며, XML이 가지는 장점인 확장성과 호환성을 가진다. 메타 데이터(20)는, 서버(100)와 클라이언트 사이에 스트리밍 서비스 요청이 이루어지면, 메타 데이터 분석부(110)에 의해 분석(parsing)되고, 서버(100) 내에서 내부적으로 사용될 수 있도록 디스크립터 형태로 저장된다.

도 2는 본 발명의 바람직한 실시예에 따른 메타 데이터의 구조를 보여주는 도면이다. 도 2에서 사각형으로 표시된 부분들(21-26)은 노드 객체를 나타내고, 노드간에 연결된 선은 노드들(21-26)간의 상하 연결 관계를 나타낸다. 그리고, 선 연결 부분에 표시된 숫자는 하나의 노드에 대해 객체들이 얼마나 많이 관여하는가를 보여주는 카디널리티(cardinality)를 나타낸다. 여기서, 선 연결 부분에 표시된 숫자 "1.1"은 두 연결 관계가 최대, 최소 각각 하나임을 나타내고 "0, *"은 두 연결 관계가 최소 0, 최대 무한대임을 각각 나타낸다. 그리고 "1, *" 는 두 연결 관계가 최소 1, 최대 무한대임을 각각 나타낸다.

예를 들어, "1, 1"로 표시된 STREAMING HINT 노드(21)와 HEADER GROUP HINT 노드(22) 사이의 관계는, STREAMING HINT 노드(21)의 하위에 HEADER GROUP HINT 노드(22)가 반드시 하나만 존재하고, 2개 이상 존재할 수 없음을 나타낸다. 그리고 "1, *"로 표시된 STREAMING HINT 노드(21)와 SEGMENT GROUP HINT 노드(24) 사이의 관계는, STREAMING HINT 노드(21) 하위에 반드시 1개 이상의 SEGMENT GROUP HINT 노드(24)가 존재해야 하며, 존재하는 SEGMENT GROUP HINT 노드(24)의 개수는 제한이 없음을 나타낸다.

도 2에서, STREAMING HINT 노드(21)는 최상위 노드로서, 메타 데이터(20)의 컨트롤 타입(control)과 노드의 계층 구조 타입(Hierarchy)을 명시해주는 속성 값을 가진다. STREAMING HINT 노드(21)에 명기된 컨트롤 타입에는 targetBitrateControl, targetQualityControl, targetComplexityControl, targetProfileControl, targetSpeedControl, targetDirectionControl, 및 targetDeviceControl이 포함된다.

targetBitrateControl은 네트워크 대역폭의 변화에 따라 전송 비트율을 조절하기 위한 속성 값이고, targetQualityControl은 서비스할 멀티미디어 데이터의 목표 품질을 조절하기 위한 속성 값이다. targetComplexityControl은 클라이언트의 리소스 상태에 따라서 차별화된 서비스를 지원하기 위한 속성 값이고, targetProfileControl은 멀티미디어 데이터의 압축 포맷에 따라 차별화된 서비스를 지원하기 위한 속성 값이며, targetSpeedControl은 클라이언트에서의 재생 속도 조절 요청에 따라 서비스 속도를 조절하기 위한 속성 값이다. 그리고, targetDirectionControl은 클라이언트에서의 재생 방향 조절 요청에 따라 서비스 방향을 조절하기 위한 속성 값이고, targetDeviceControl은 클라이언트 단말기의 종류에 따라 차별화된 서비스들을 지원하기 위한 속성 값이다. 이외에도, STREAMING HINT 노드(21)에는 상기와 같은 컨트롤 타입 외에도 QoS를 위한 컨트롤 타입들이 추가적으로 정의될 수 있다. 이 같은 STREAMING HINT 노드(21)의 컨트롤 속성 값에 따라서 메타 데이터의 속성이 다르게 기술된다.

STREAMING HINT 노드(21)의 계층 구조 타입은 독립형(Independent)과 의존형(Dependent)으로 구분되며, 이에 따라 타입에 따라 하위 노드의 구조가 달라진다. 특히, MEDIA SEGMENT HINT 노드(25)는, 그것의 구조에 따라 독립형 메타데이터 또는 의존형 메타 데이터를 구성할 수 있다.

도 3은 본 발명의 일 실시예에 따른 독립형 메타 데이터의 구조를 나타내는 도면이고, 도 4는 본 발명의 일 실시예에 따른 의존형 메타 데이터의 구조를 나타내는 도면이다.

도 3을 참조하면, 각각의 MEDIA SEGMENT HINT 노드(2511, 2512, 2513)는 서로에 대해 각각 독립적인 연결 관계를 갖는다. 반면 도 4를 참조하면, 제 2 MEDIA SEGMENT HINT 노드(2522)는 제 1 MEDIA SEGMENT HINT 노드(2521)에 대해 종속적인 연결 관계를 갖는 것을 알 수 있다. 여기서, 독립형 메타 데이터는 상위 노드에 대한 참조나 재사용 없이 각각의 노드들이 서비스 레벨에 해당하는 멀티미디어 데이터의 프레임 정보를 가지는 반면, 의존형 메타 데이터는 각 레벨별로 중복되는 정보를 상위 노드에서 참조하고 하위 노드에서는 추가 정보만 기술하는 차이점을 갖는다.

다시 도 2를 참조하면, STREAMING HINT 노드(21)는 헤더 정보를 가지는 HEADER GROUP HINT 노드(22)와, 멀티미디어를 시간 단위인 세그먼트로 나눌 때 각 세그먼트 정보를 구성하는 SEGMENT GROUP HINT 노드(24)로 구분된다.

HEADER GROUP HINT 노드(22)는 서비스하는 멀티미디어 객체의 개수만큼 FRAME HEADER HINT 노드(23)를 가지며, 각각의 FRAME HEADER HINT 노드(23)는 각 노드의 고유 정보를 나타내는 속성 값을 가진다.

FRAME HEADER HINT 노드(23)의 속성 값에는 streamID, streamType, scalability, sourceLocator, frameRate, avgBitrate 등이 있다. 이들 중 streamID는 각 멀티미디어 데이터를 구별하기 위한 고유 아이디이고, streamType은 멀티미디어 타입을 나타내는 속성 값으로서 visual/audio/other 타입으로 구분된다. scalability는 스케일러블 기능의 종류를 나타내는 속성 값으로서, spatial/temporal/snr/fgs(fine grain scalability) 타입으로 구분된다. spatial은 공간상의 스케일러블(scalable) 속성 값을 나타내고, temporal은 시간상의 스케일러블 속성 값을 나타내며, 그리고 snr은 품질상의 스케일러블 속성 값을 각각 나타낸다. sourceLocator는 서버(100)의 데이터 저장부(101)에 저장되어 있는 멀티미디어 데이터의 위치 정보를 나타낸다. 그리고 frameRate은 멀티미디어 데이터의 프레임율을, avgBitrate은 멀티미디어 데이터의 평균 비트율을 각각 나타낸다.

SEGMENT GROUP HINT 노드(24)는 전체 멀티미디어 스트림을 일정한 시간 간격으로 나눌 때, 매 시간 단위의 멀티미디어 스트림을 세그먼트로 정의한다. 그리고, 각 세그먼트에 대해 QoS 레벨의 수만큼 MEDIA SEGMENT HINT 노드(25)를 가진다. QoS 레벨이 커지게 되면 MEDIA SEGMENT HINT 노드(25)의 수가 증가하여 메타 데이터(20)의 크기가 증가하게 되지만, 더욱 세분화된 서비스가 가능해 진다.

MEDIA SEGMENT HINT 노드(25)는, QoS 레벨 인덱스를 나타내는 레벨 속성과 해당 QoS 레벨에서 서비스되는 프레임의 전체 수를 나타내는 numofFrames 속성 값과, 해당 QoS 레벨의 프레임을 서비스 할 때의 평균 비트율을 나타내는 targetBitarate 속성 값을 갖는다. MEDIA SEGMENT HINT 노드(25)는 실제 전송될 멀티미디어 프레임 정보를 가지는 적어도 하나 이상의 MEDIA FRAME HINT 노드들(26)을 포함하며, MEDIA SEGMENT HINT 노드(25)는 numofFrames 속성 값에 해당되는 개수만큼 MEDIA FRAME HINT 노드(26)를 갖는다.

MEDIA FRAME HINT 노드(26)는 streamID, CTS, DTS, CodingType, frameOffset, frameLength, frameNo 등의 속성 값을 가진다. streamID는 여러 개의 멀티미디어 객체가 동시에 서비스 될 경우 각 멀티미디어 스트림을 구분하기 위한 고유 아이디로서, FRAME HEADER HINT 노드(23)의 streamID와 동일한 값을 가진다. DTS와 CTS는 프레임의 디코딩 시간 정보와 재생 시간 정보를 각각 나타낸다. CodingType은 프레임 코딩시 프레임 참조 방식에 따라 각 프레임을 I 프레임/P 프레임/B 프레임으로 구분한다. 그리고 frameOffset은 데이터 저장부(101)에 저장되어 있는 멀티미디어 데이터의 프레임별 위치 정보를 나타내고, frameLegnth는 해당 프레임의 크기를 나타낸다. 그리고, frameNo는 해당 프레임의 번호를 나타낸다.

MEDIA FRAME HINT 노드(26)의 이러한 속성 값은 데이터 저장부(101)에 저장되어 있는 멀티미디어 데이터(10)에 대한 직접 접근을 가능케 한다. 이와 같은 메타 데이터의 자료 구조를 이용하게 되면, 복수 개의 멀티미디어 스트림을 동시에 서비스 할 경우에도 적응적인 멀티미디어 스트리밍이 가능하게 된다.

도 5는 네트워크의 대역폭 변화에 맞게 전송 비트율을 조절하여 비디오 스트림과 오디오 스트림을 동시에 스트리밍하기 위한, 본 발명의 일 실시예에 따른 메타 데이터의 구조를 보여주는 도면이다.

도 5를 참조하면, 단위 세그먼트에 대한 각각의 QoS 레벨에 해당되는 MEDIA SEGMENT HINT 노드들(2531, 2532, …)은 비디오와 오디오 스트림의 프레임 정보를 함께 가지고 있으며, MEDIA FRAME HINT 노드(2631, …, 263n)의 streamID 속성 값을 이용하여 각 멀티미디어 데이터의 스트림을 구분하여 접근한다. 예를 들어, streamID 0이 비디오 데이터 스트림으로 정의되고, streamID 1이 오디오 데이터 스트림으로 정의된 경우, MEDIA FRAME HINT 노드(26)의 streamID 속성 값이 streamID 0을 나타내는가, 또는 streamID 1을 나타내는가에 따라서 해당 멀티미디어 데이터에 접근하게 된다. 이와 같이, 복수 개의 스트림을 동시에 서비스 할 경우, 메타 데이터에 서비스 될 멀티미디어 프레임을 함께 정의해 주게 되면, 대역폭에 맞게 전송률도 조절할 수 있고 멀티미디어 간 동기화 문제도 해결 할 수 있게 된다.

도 6은 서버(100)에서 전송된 멀티미디어 패킷을 처리하는 본 발명의 바람직한 실시예에 따른 멀티미디어 스트리밍 클라이언트(300)의 블록도이다. 도 6을 참조하면, 본 발명에 따른 멀티미디어 스트리밍 클라이언트(300)는, 패킷 수신부(310), 버퍼(320), 멀티미디어 디코더(330), 대역폭 측정부(340) 및 메시지 전송부(350)를 포함한다.

패킷 수신부(310)는 서버(100)로부터 멀티미디어 스트림을 받아들이고, 버퍼(320)는 수신된 멀티미디어 스트림 데이터를 저장한다. 멀티미디어 디코더(330)는 버퍼(320)에 저장된 데이터를 재생하고, 대역폭 측정부(340)는 패킷 수신부(310)에서 멀티미디어 패킷을 수신한 시간과 패킷의 크기 정보를 이용하여 네트워크 대역폭을 측정한다.

서버(100)는 데이터 전송시 일정 시간 간격으로 버퍼(170)에 있는 모든 패킷을 패킷 그룹 단위로 전송하는데, 패킷 전송시 패킷 번호도 함께 전송한다. 패킷 수신부(310)는 서버(100)로부터 전송된 패킷 번호를 이용하여 패킷 그룹의 첫 번째 패킷과 마지막 패킷을 구분한다. 첫 번째 패킷을 받은 시간을 t1, 마지막 패킷을 받은 시간을 t2라 정의하고, 패킷 그룹의 데이터 크기를 Sp라 정의하면, 네트워크의 대역폭은 [수학식 1]에 의해 구해질 수 있다.

이 때, 시간의 단위는 ms(millisecond), 데이터 크기 단위는 바이트(byte), 대역폭의 측정 단위는 bps(bits per second)가 각각 사용된다. 그리고, 측정된 대역폭은 대역폭의 변화가 있을 때마다 메시지 전송부(350)에서 서버(100)로 주기적으로 피드백 된다.

도 7은 도 1 및 도 6에 도시된 서버(100) 및 클라이언트(300) 사이에서 수행되는 멀티미디어 스트리밍 동작을 설명하기 위한 도면이다. 도 7을 참조하면, 본 발명에 따른 적응적 멀티미디어 스트리밍 방법은, 메타 데이터를 이용하여 데이터 전송시 네트워크의 대역폭에 맞게 서버(100)와 클라이언트(300) 사이의 데이터 전송률을 조절한다. 이를 위해 클라이언트(300)는 먼저 서버(100)에게 서비스 요청과 세션 연결 요청 메시지를 전송한다(참조번호 ⑴ 참조). 서버(100)는 클라이언트(300)로부터의 서비스 요청을 확인하고(참조번호 ⑵ 참조), 서비스 확인 메시지와 더불어 더미(dummy) 패킷 쌍을 클라이언트(300)에게 전송한다(참조번호 ⑶ 참조).

클라이언트(300)는 서버(100)로부터 입력되는 패킷 쌍에 응답해서 초기 대역폭을 측정한다(참조번호 ⑷ 참조). 서버(100)로부터 전송되는 두 패킷의 크기는 서버(100)의 패킷 생성부(180)에서 멀티미디어 데이터를 패킷화할 때 패킷을 자르는 단위 크기와 동일하게 설정되고, 패킷의 전송 간격 또한 멀티미디어 데이터의 전송 간격과 동일하게 설정된다. 서버(100)로부터 더미 패킷 쌍을 받아들인 클라이언트(300)는 [수학식 1]을 이용하여 초기 대역폭 값을 결정하고, 이를 서버(100)에게 전송한다(참조번호 ⑸ 참조).

클라이언트(300)에서 초기 대역폭을 측정하여 전송하게 되면, 서버(100)는 메타 데이터를 분석(parsing)하여 디스크립터 형태로 저장하고, 초기 대역폭과 디스크립터 정보를 비교하여 적절한 QoS 레벨을 정하여 멀티미디어 스트리밍 서비스를 시작하게 된다(참조번호 ⑹ 참조). 클라이언트(300)는 서버(100)로부터 전송 받은 패킷 정보를 이용하여 주기적으로 네트워크 대역폭을 측정하고(참조번호 ⑺ 참조), 측정된 대역폭 값을 서버(100)에게 전송한다(참조번호 ⑻ 참조). 서버(100)는 클라이언트(300)로부터 전송된 대역폭 값에 따라 소정의 멀티미디어 스트림을 추출하고(참조번호 ⑼ 참조), 추출된 멀티미디어 스트림을 클라이언트에게 전송한다(참조번호 ⑽ 참조). 이 때, 멀티미디어 스트리밍 서버(100)와 클라이언트(300) 사이에서 수행되는 데이터 전송 과정은 다음과 같다.

앞에서 설명한 바와 같이, 버퍼(170)는 그것의 용도에 따라서 패킷을 저장하기 위한 패킷 저장 버퍼와, 패킷을 전송하기 위한 패킷 전송 버퍼로 구분된다. QoS 처리부(130)는 패킷 전송부(190)가 패킷 전송 버퍼에 저장된 패킷을 전송하는 동안 QoS 레벨에 해당하는 프레임들을 패킷 저장 버퍼에 저장한다. 이 때, 수행되는 패킷 전송은 일정한 시간 간격으로 이루어진다. 패킷을 전송하고 소정의 시간이 경과한 후 다음 패킷을 전송할 시간이 되면, 패킷 전송부(190)는 이전의 패킷 저장 버퍼를 현재 패킷을 전송하기 위한 패킷 전송 버퍼로 사용하고, 전송 후 비어 있는 이전의 패킷 전송 버퍼를 패킷을 저장하기 위한 패킷 저장 버퍼로 사용한다. 이와 같은 버퍼(170)의 반복적인(recursive) 운용에 따르면, 네트워크 상태의 변화를 최소화하면서도 연속적인 스트리밍을 수행할 수 있다.

패킷 전송부(190)는 일정한 시간 간격마다 패킷 전송 버퍼에 저장된 패킷들을 모두 전송하는데, 이 때 전송되는 패킷들을 패킷 그룹이라 정의한다. 패킷 그룹 단위의 패킷들은 전송 시 패킷의 순서를 나타내는 패킷 번호를 가진다. 클라이언트(300)는 이 같은 패킷 번호에 의해서 패킷의 순서와 패킷 그룹의 시작과 끝을 결정하며, 패킷 그룹 단위로 대역폭을 측정한다. 클라이언트에서 대역폭을 측정하는 과정은 다음과 같다.

도 8은 도 6에 도시된 클라이언트의 패킷 수신부(310)에서 수행되는 네트워크 대역폭 측정 방법을 보여주는 흐름도이다.

도 8을 참조하면, 패킷 수신부(310)는 수신한 패킷의 전체 크기를 나타내는 누적 패킷 크기 값을 0으로 초기화한 후(3110 단계), 패킷을 수신한다(3120 단계). 패킷 수신부(310)에서는 패킷이 수신되면 패킷에서 헤더와 데이터를 분리하고, 헤더로부터 패킷 번호를 알아낸다. 그리고, 패킷 번호를 이용하여 수신된 패킷이 첫 번째 패킷인지 여부를 판별한다(3130 단계).

3130 단계에의 판별 결과, 수신된 패킷이 첫 번째 패킷이면 첫 번째 수신 패킷의 수신 시간을 TS1로 설정하고(3140 단계), 3120 단계로 되돌아가서 패킷을 계속 수신한다. 이어서, 수신된 패킷이 첫 번째 패킷인지 여부를 판별하고(3130 단계), 수신된 패킷이 첫 번째 패킷이 아니면, 상기 패킷이 마지막 패킷인지 여부를 판별한다(3150 단계).

3150 단계에서의 판별 결과, 수신된 패킷이 마지막 패킷이 아니면 기존의 누적 패킷 크기 값에 현재 패킷의 크기 값을 누적해서 더해주고, 3120 단계로 되돌아가서 패킷을 계속 수신한다. 이어서, 수신된 패킷이 첫 번째 패킷인지 여부를 판별하고(3130 단계), 수신된 패킷이 첫 번째 패킷이 아니면, 상기 패킷이 마지막 패킷인지 여부를 다시 판별한다(3150 단계).

3150 단계에서의 판별 결과, 수신된 패킷이 마지막 패킷이면 마지막 수신 패킷의 수신 시간을 TS2로 설정하고(3170 단계), 첫 번째 패킷의 수신 시간 TS1과, 마지막 패킷의 수신 시간 TS2, 및 누적 패킷 크기 값을 [수학식 1]에 대입해서, 즉 을 계산해서 네트워크의 대역폭을 측정한다(3180 단계).

도 9는 도 1에 도시된 서버(100)에서 수행되는 멀티미디어 스트리밍 서비스 과정을 보여주는 흐름도이다. 도 9를 참조하면, 먼저 서버(100)는 클라이언트(300)로부터 네트워크의 대역폭을 수신하고(1100 단계), 메타 데이터에서 만들어진 디스크립터로부터 현재의 타임 세그먼트를 선택한다(1200 단계). 그리고, 선택된 세그먼트에 대해 디스크립터에 정의되어 있는 목표 비트율과 대역폭을 비교하여 서비스 가능한 QoS 레벨을 선택한다(1400 단계). QoS 레벨의 수는 메타 데이터를 정의할 때 결정하고, 각 레벨의 목표 비트율은 멀티미디어 데이터의 평균 비트율을 기준으로 하여 결정한다. 메타 데이터에는 각 레벨마다 해당 프레임들의 정보가 포함되므로, QoS 레벨이 결정되면 그 레벨에 해당하는 프레임들만 추출하여(1500 단계) 버퍼에 저장한다(1700 단계). 그리고, 패킷 전송부(190)를 통해 버퍼(170)에 저장된 데이터를 일정 시간마다 클라이언트(300)에게 전송한다.

도 10은 네트워크의 대역폭 변화에 맞게 전송 비트율을 조절하여 멀티미디어 데이터에 대한 스트리밍 서비스를 적응적으로 제공하는 일 예를 보여주는 도면이다.

도 10을 참조하면, 예를 들어 클라이언트(300)에 의해 검출된 현재 네트워크의 대역폭이 400kbps일 경우, 서버(100)는 메타 데이터로부터 적절한 QoS 레벨을 선택하게 된다. 도 10에서 알 수 있는 바와 같이, 네트워크의 대역폭이 400kbps인 경우 QoS 레벨은 3 단계로 구성되며, 이 때 각각의 MEDIA SEGMENT HINT 노드(2541-2543)들은 QoS 레벨을 나타내게 된다. 예를 들어, MEDIA SEGMENT HINT 노드(2541-2543)의 속성 중 하나인 targetBitarate 값이 레벨 1의 경우 192kbps로 설정되고, 레벨 2의 경우 356 kbps로 설정되고, 레벨 3의 경우 689 kbps로 설정된다면, 현재 대역폭(즉, 400 kbps)과 가장 근접한 목표 비트율 값을 가진 레벨 2가 서비스 레벨로 선택된다.

MEDIA SEGMENT HINT 노드(2541-2543)는 해당 노드의 하위에 MEDIA FRAME HINT 노드들(2641, 2642, …, 264m)을 가지며, 각각의 MEDIA FRAME HINT 노드(2641, 2642, …, 264m)에는 해당 목표 비트율을 지원할 수 있는 프레임들의 정보가 저장된다. 이 경우, 네트워크의 대역폭은 400kbps로 고정되지 않고 달라질 수 있는데, 네트워크의 대역폭이 달라지게 되면, 그에 따라 선택되는 QoS 레벨 또한 달라지게 된다. 따라서, 서버(100)가 현재 네트워크의 대역폭에 대응되는 QoS 레벨(예를 들면, QoS 레벨 2)에 해당하는 프레임들을 선택해서 전송하게 되면, 데이터 전송률이 현재 네트워크의 대역폭에 맞게 조절되므로, 적응적 스트리밍이 가능하게 된다.

도 11은 QoS 레벨을 3으로 둔 경우, 본 발명에 따른 적응적 스트리밍 방법에 의한 멀티미디어 스트림의 비트율 변화를 보여주는 도면이다. 도 11에 도시된 그래프는, 352×288 크기의 CIF(Common Intermediate Format) 사이즈, 30 fps의 프레임율(frame rate), 및 658 kbps의 평균 비트율을 갖는 시퀀스 데이터를 이용한 적응적 스트리밍 결과이다. 이는 QoS 레벨을 세 개로 구분 할 때, 시간의 흐름에 따른 네트워크 대역폭(net_bw)과 변형 전 비트율(org_bitrate), 본 발명에 의해 변형된 데이터의 비트율(adt_bitrate)의 변화를 각각 나타낸다.

도 11을 참조하면, 네트워크 대역폭(net_bw)은 A 구간에서 점차 감소하고, B 구간에서는 최저가 되며, C 구간에서 다시 회복하는 형태로 변화한다. 이 때, A 구간에서 변형 전의 원래 데이터의 비트율(org_bitrate)은 네트워크 대역폭(net_bw) 보다 작으므로, QoS 레벨에 의한 비트율 변형은 발생하지 않는다. 그리고, C 구간에서도 마찬가지로 원래 데이터의 비트율(org_bitrate)이 네트워크 대역폭(net_bw) 보다 작으므로, QoS 레벨에 의한 비트율 변형은 발생하지 않는다. 그러나, B 구간에서는 네트워크 대역폭(net_bw) 보다 전송되는 데이터의 비트율(org_bitrate)이 크므로, 이 상태가 오래 지속 될 경우 네트워크 혼잡(Network Congestion)이 발생하게 되고, 전송 중 패킷의 손실이 발생하게 된다. 따라서, 본 발명에서는 B 구간에 대해서 QoS 레벨에 따라 네트워크의 대역폭(net_bw)에 맞게 비트율을 조절하여, 네트워크 전송시 발생될 수 있는 패킷 손실을 방지한다.

도 12는 도 11과 같이 QoS 레벨을 3으로 둔 경우에 대한 PSNR(Peak Signal to Noise Ratio) 값의 변화를 보여주는 도면이다.

PSNR은 아래의 [수학식 2]와 [수학식 3]을 이용하여 계산한다.

[수학식 2]는 원래 영상에 대한 복호화 된 영상의 RMSE(Root Mean Square Error)를 계산하는 식이다. 여기서, f(i,j)는 원래 영상의 픽셀 값을 의미하고, 는 복호화 된 영상의 픽셀 값을 의미한다. 그리고, M 및 N은 원래 영상의 픽셀 개수 및 복호화 된 영상의 픽셀 개수를 각각 의미한다.

[수학식 2]에 의해 원래 영상에 대한 복호화 된 영상의 RMSE가 구해지고 나면, 아래와 같이 PSNR 값이 계산된다.

도 12의 그래프에서 PSNR 값이 극심하게 떨어지는 부분은, 비트율 변환을 위해 프레임 손실(frame drop)이 발생되는 부분을 나타내며, 이 때의 평균 PSNR은 34.87dB 값을 가진다.

도 13은 QoS 레벨을 5로 둔 경우, 본 발명에 따른 적응적 스트리밍 방법에 의한 멀티미디어 스트림의 비트율 변화를 보여주는 도면이고, 도 14는 도 13과 같이 QoS 레벨을 5로 둔 경우에 대한 PSNR 값의 변화를 보여주는 도면이다. 도 13 및 도 14에 도시된 그래프는 도 11 및 도 12와 동일한 조건 하에서 구해진 실험 결과들이다.

도 13을 참조하면, QoS 레벨을 5로 둔 경우의 변형된 데이터의 비트율(adt_bitrate)은, QoS 레벨을 3으로 둔 도 11의 경우에 비해 네트워크 대역폭(net_bw) 변화에 좀 더 근접하여 서비스된다. 그러므로, 프레임 손실율과 평균 비트율에 있어서, QoS 레벨을 3으로 둔 경우보다 좀 더 향상된 결과를 얻게 된다.

이어서 도 14를 참조하면, 도 14의 그래프는 도 12의 그래프에 비해 PSNR 값이 극심하게 떨어지는 부분이 줄어듦을 알 수 있다. 이는, 프레임 손실이 발생되는 부분이 줄어듦을 의미한다. 도 14와 같이 QoS 레벨을 5로 둔 경우의 평균 PSNR은 35.57dB 값을 가진다.

도 15는 QoS 레벨을 7로 둔 경우, 본 발명에 따른 적응적 스트리밍 방법에 의한 멀티미디어 스트림의 비트율 변화를 보여주는 도면이고, 도 16은 도 15와 같이 QoS 레벨을 7로 둔 경우에 대한 PSNR 값의 변화를 보여주는 도면이다. 도 15 및 도 16에 도시된 그래프는 도 11 및 도 12와 동일한 조건 하에서 구해진 실험 결과들이다.

도 15를 참조하면, QoS 레벨을 7로 둔 경우의 변형된 데이터의 비트율(adt_bitrate)은, QoS 레벨을 3 또는 5로 둔 경우에 비해 네트워크 대역폭(net_bw) 변화에 더욱 근접하여 서비스된다. 그러므로, 프레임 손실율과 평균 비트율에 있어서, QoS 레벨을 3 또는 5로 둔 경우보다 좀 더 향상된 결과를 얻게 된다.

이어서 도 16을 참조하면, 도 16의 그래프는 도 12 및 도 14의 그래프에 비해 PSNR 값이 극심하게 떨어지는 부분이 현저히 줄어듦을 알 수 있다. 이는, 프레임 손실이 발생되는 부분이 현저하게 줄어듦을 의미한다. 도 16과 같이 QoS 레벨을 7로 둔 경우의 평균 PSNR은 35.89dB 값을 가진다.

도 11 내지 도 16에서 얻어진 결과들을 표로 정리하면 다음과 같다.

QoS 레벨 개수	프레임 손실율(%)	평균비트율(bps)	평균 PSNR(dB)
3	19.3	583.596	34.87
5	12.7	608.964	35.57
7	9.6	621.112	35.89

[표 1] 및 도 11 내지 도 16에서 알 수 있는 바와 같이, 본 발명은 QoS 레벨 개수가 증가할수록(즉, QoS 레벨이 세분화 될 수록) 네트워크 변화에 좀 더 근접하여 서비스할 수 있으며, QoS 레벨 개수가 증가할수록 프레임 손실율이 줄어들고, 평균 비트율과 평균 PSNR이 증가하게 된다. 따라서, QoS 레벨 개수가 증가할수록 보다 섬세한 전송률 제어가 가능해 진다.

이와 같은 본 발명에 따른 적응적 스트리밍 장치 및 방법은, 네트워크의 상태와 서비스를 받는 터미널의 종류에 상관없이 최적의 멀티미디어 스트리밍 서비스가 가능하다. 그리고, 멀티미디어 데이터와 함께 메타 데이터만 기술해 주기만 하면, 서비스하는 컨텐츠의 포맷에 관계없이 적용이 가능하고, 기존의 방법에 비해 스트리밍시 서버의 부담이 줄어들게 된다. 또한, 본 발명은 유선 통신망은 물론, 무선 통신망에서의 데이터 스트리밍에도 적용 가능하다.

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드로 저장되고 실행될 수 있다.

이상에 설명한 바와 같이, 본 발명에 의한 멀티미디어 스트리밍 장치 및 방법에 의하면, 메타 데이터를 이용하여 네트워크의 대역폭에 맞게 전송 데이터의 비트율을 조절함으로써, 서버에 부담을 주지 않으면서 네트워크 대역폭 변화에 따라 적응적으로 멀티미디어 스트리밍 서비스를 제공할 수 있다.

도 1은 가변적인 네트워크 환경에서 적응적 멀티미디어 스트리밍 서비스를 제공하는, 본 발명의 바람직한 실시예에 따른 멀티미디어 스트리밍 서버의 블록도이다.

도 2는 본 발명의 바람직한 실시예에 따른 메타 데이터의 구조를 보여주는 도면이다.

도 3은 본 발명의 일 실시예에 따른 독립형 메타 데이터의 구조를 나타내는 도면이다.

도 4는 본 발명의 일 실시예에 따른 의존형 메타 데이터의 구조를 나타내는 도면이다.

도 6은 서버에서 전송된 멀티미디어 패킷을 처리하는 본 발명의 바람직한 실시예에 따른 멀티미디어 스트리밍 클라이언트의 블록도이다.

도 7은 도 1 및 도 6에 도시된 서버 및 클라이언트 사이에서 수행되는 멀티미디어 스트리밍 동작을 개략적으로 보여주는 도면이다.

도 8은 도 6에 도시된 클라이언트에서 수행되는 네트워크 대역폭 측정 방법을 보여주는 흐름도이다.

도 9는 도 1에 도시된 서버에서 수행되는 멀티미디어 스트리밍 서비스 과정을 보여주는 흐름도이다.

도 11은 QoS 레벨을 3으로 둔 경우, 본 발명에 따른 적응적 스트리밍 방법에 의한 멀티미디어 스트림의 비트율 변화를 보여주는 도면이다.

도 13은 QoS 레벨을 5로 둔 경우, 본 발명에 따른 적응적 스트리밍 방법에 의한 멀티미디어 스트림의 비트율 변화를 보여주는 도면이다.

도 14는 도 13과 같이 QoS 레벨을 5로 둔 경우에 대한 PSNR 값의 변화를 보여주는 도면이다.

도 15는 QoS 레벨을 7로 둔 경우, 본 발명에 따른 적응적 스트리밍 방법에 의한 멀티미디어 스트림의 비트율 변화를 보여주는 도면이다.

도 16은 도 15와 같이 QoS 레벨을 7로 둔 경우에 대한 PSNR 값의 변화를 보여주는 도면이다.

< 도면의 주요 부분에 대한 부호의 설명 >

1 : 네트워크 10 : 멀티미디어 데이터

20 : 메타 데이터 100 : 멀티미디어 스트리밍 서버

300 : 멀티미디어 스트리밍 클라이언트

Claims

삭제
서비스하고자 하는 멀티미디어 데이터에 대응되는 메타 데이터의 분석 결과와 외부로부터 입력된 네트워크 대역폭 정보에 응답해서, 소정의 서비스 품질 레벨에 해당되는 멀티미디어 데이터를 스트리밍하는 멀티미디어 스트리밍 서버; 및

멀티미디어 데이터를 수신한 시간과 상기 멀티미디어 데이터의 크기 정보를 이용하여 상기 서버가 연결된 네트워크의 대역폭을 측정하고, 측정된 상기 대역폭 정보를 상기 서버에게 전송하는 멀티미디어 스트리밍 클라이언트를 포함하며,

상기 멀티미디어 스트리밍 서버는

서비스하고자 하는 멀티미디어 데이터와, 상기 멀티미디어 데이터와 관련된 메타 데이터를 저장하는 데이터 저장부;

상기 메타 데이터를 분석하고, 분석 결과를 디스크립터 형태로 출력하는 메타데이터 분석부;

상기 클라이언트로부터 네트워크 대역폭 정보를 받아들이는 메시지 수신부;

상기 디스크립터 정보와 상기 네트워크 대역폭 정보에 응답해서 서비스 가능한 서비스 품질 레벨을 선택하고, 선택된 상기 서비스 품질 레벨에 해당되는 멀티미디어 데이터를 상기 데이터 저장부로부터 추출하는 서비스 품질(QoS) 처리부;

상기 추출된 데이터를 저장하는 버퍼;

상기 버퍼에 저장된 데이터를 패킷화 하는 패킷 생성부; 및

상기 버퍼에 저장된 데이터를 일정한 시간 간격으로 상기 클라이언트에게 전송하는 패킷 전송부를 포함하는 것을 특징으로 하는 멀티미디어 스트리밍 장치.
제 2 항에 있어서, 상기 서비스 품질 처리부는,

상기 디스크립터에 정의되어 있는 서비스 품질 레벨별 목표 비트율과 상기 대역폭을 비교하여 소정의 서비스 품질 레벨을 선택하는 서비스 레벨 선택부; 및

상기 데이터 저장부에 저장되어 있는 상기 멀티미디어 데이터 중 상기 서비스 품질 레벨에 해당되는 프레임들을 추출하여 상기 버퍼에 저장하는 프레임 선택부를 포함하는 것을 특징으로 하는 멀티미디어 스트리밍 장치.
제 2 항에 있어서, 상기 버퍼는,

상기 패킷을 저장하기 위한 패킷 저장 버퍼; 및

상기 패킷을 전송하기 위한 패킷 전송 버퍼를 포함하는 것을 특징으로 하는 멀티미디어 스트리밍 장치.
제 2 항에 있어서,

상기 멀티미디어 데이터는, 오디오 데이터, 동영상 데이터, 정지 영상 데이터, 텍스트 데이터, 및 그래픽 데이터 중 어느 하나의 형태를 가지는 것을 특징으로 하는 멀티미디어 스트리밍 장치.
제 2 항에 있어서,

상기 멀티미디어 데이터는, 공간상 스케일러블 기능, 품질 스케일러블 기능, 시간상 스케일러블 기능, 및 FGS(fine grain scalable) 기능 중 어느 하나를 갖는 비트 스트림으로 구성되는 것을 특징으로 하는 멀티미디어 스트리밍 장치.
제 2 항에 있어서,

상기 메타 데이터는 XML(eXtensible Markup Language)을 기반으로 하여 정의되는 것을 특징으로 하는 멀티미디어 스트리밍 장치.
제 2 항에 있어서,

상기 메타 데이터는 상기 멀티미디어 데이터 및 스트리밍 관련 정보를 갖는 트리(tree) 형태의 계층 구조를 가지는 것을 특징으로 하는 멀티미디어 스트리밍 장치.
제 8 항에 있어서, 상기 메타 데이터는

상기 메타 데이터의 컨트롤 타입과 노드의 계층 구조 타입을 명시해주는 스트리밍 힌트(STREAMING HINT) 노드;

상기 스트리밍 힌트 노드 하위에 연결되어, 상기 멀티미디어 데이터의 헤더 정보를 갖는 헤더 그룹 힌트(HEADER GROUP HINT) 노드;

상기 스트리밍 힌트 노드 하위에 연결되어, 상기 멀티미디어를 일정시간 간격의 세그먼트로 나눌 때 각 세그먼트의 정보를 갖는 적어도 하나 이상의 세그먼트 그룹 힌트(SEGMENT GROUP HINT) 노드;

상기 헤더 그룹 힌트 노드 하위에 연결되어, 상기 노드 각각의 고유 정보를 나타내는 속성 값을 갖는 적어도 하나 이상의 프레임 헤더 힌트(FRAME HEADER HINT) 노드;

상기 세그먼트 그룹 힌트 노드 하위에 연결되어, 상기 서비스 품질 레벨 각각에 대한 속성 정보를 갖는 적어도 하나 이상의 미디어 세그먼트 힌트(MEDIA SEGMENT HINT) 노드; 및

상기 미디어 세그먼트 힌트 노드 하위에 연결되어, 실제 전송될 멀티미디어 프레임 정보를 갖는 적어도 하나 이상의 미디어 프레임 힌트(MEDIA FRAME HINT) 노드를 포함하는 것을 특징으로 하는 멀티미디어 스트리밍 장치.
제 9 항에 있어서, 상기 스트리밍 힌트 노드는,

상기 네트워크 대역폭의 변화에 따라 전송 비트율을 조절하기 위한 타겟 비트율 조절자;

서비스할 멀티미디어 데이터의 서비스 품질을 조절하기 위한 타겟 품질 제어 조절자;

상기 클라이언트의 리소스 복잡도에 따라서 차별화된 서비스를 지원하기 위한 타겟 복잡도 조절자;

상기 멀티미디어 데이터의 압축 포맷에 따라 차별화된 서비스를 지원하기 위한 타겟 프로파일 조절자;

상기 클라이언트에서의 재생 속도 조절 요청에 따라 서비스 속도를 조절하기 위한 타겟 속도 조절자;

상기 클라이언트에서의 재생 방향 조절 요청에 따라 서비스 방향을 조절하기 위한 타겟 방향 조절자; 및

상기 클라이언트의 단말기 종류에 따라 차별화된 서비스들을 지원하기 위한 타겟 디바이스 조절자를 포함하는 것을 특징으로 하는 멀티미디어 스트리밍 장치.
제 9 항에 있어서, 상기 헤더 그룹 힌트 노드는

복수 개의 멀티미디어 객체가 동시에 서비스 될 경우, 각각의 멀티미디어 스트림을 구별하기 위한 스트림 식별자;

상기 멀티미디어 데이터의 종류를 구분하기 위한 스트림 타입 식별자;

상기 멀티미디어 데이터에 대한 스케일러블 기능의 종류를 구분하기 위한 스케일러블 기능 식별자;

상기 데이터 저장부에 저장되어 있는 상기 멀티미디어 데이터의 위치 정보를 나타내는 소오스 위치 식별자;

상기 멀티미디어 데이터의 프레임율을 나타내는 프레임율 식별자; 및

상기 멀티미디어 데이터의 평균 비트율을 나타내는 평균 비트율 식별자를 포함하는 것을 특징으로 하는 멀티미디어 스트리밍 장치.
제 9 항에 있어서,

상기 헤더 그룹 힌트 노드는 서비스하는 멀티미디어 객체 수만큼 프레임 헤더 힌트 노드를 포함하는 것을 특징으로 하는 멀티미디어 스트리밍 장치.
제 9 항에 있어서,

상기 세그먼트 그룹 힌트 노드는 상기 서비스 품질 레벨의 개수만큼 상기 미디어 세그먼트 힌트 노드를 포함하는 것을 특징으로 하는 멀티미디어 스트리밍 장치.
제 9 항에 있어서,

상기 미디어 세그먼트 힌트 노드는 각각의 서비스 품질 레벨에서 서비스되는 프레임의 전체 개수만큼 미디어 프레임 힌트 노드를 포함하는 것을 특징으로 하는 멀티미디어 스트리밍 장치.
제 9 항에 있어서, 상기 미디어 프레임 힌트 노드는

복수 개의 멀티미디어 객체가 동시에 서비스 될 경우, 각각의 멀티미디어 스트림을 구별하기 위한 스트림 식별자;

프레임의 디코딩 시간 정보와 재생 시간 정보를 각각 나타내는 디코딩/재생시간 식별자;

프레임 코딩시 상기 프레임이 참조된 방식에 따라 각 프레임을 I 프레임/P 프레임/B 프레임으로 구분하는 코딩 타입 식별자;

상기 데이터 저장부에 저장되어 있는 상기 멀티미디어 데이터의 프레임별 위치 정보를 나타내는 프레임 오프셋 식별자;

해당 프레임의 크기를 나타내는 프레임 길이 식별자; 및

해당 프레임의 번호를 나타내는 프레임 번호 식별자를 포함하는 것을 특징으로 하는 멀티미디어 스트리밍 장치.
제 9 항에 있어서,

상기 메타 데이터는 상기 미디어 세그먼트 힌트 노드의 속성에 따라 독립형 메타데이터와 의존형 메타데이터로 구분되는 것을 특징으로 하는 멀티미디어 스트리밍 장치.
제 16 항에 있어서,

상기 독립형 메타 데이터의 각 노드들은 상위 노드에 대한 참조나 재사용 없이 각각의 서비스 품질 레벨에 해당되는 멀티미디어 데이터의 프레임 정보를 포함하는 것을 특징으로 하는 멀티미디어 스트리밍 장치.
제 16 항에 있어서,

상기 의존형 메타 데이터의 각 노드들은 서비스 품질 레벨별로 중복되는 정보는 해당 노드의 상위 노드에서 참조하고, 상기 노드들의 하위 노드에서는 추가 정보만 기술하는 것을 특징으로 하는 멀티미디어 스트리밍 장치.
제 2 항에 있어서,

상기 서비스 품질 레벨의 개수가 증가하게 되면, 상기 멀티미디어 스트리밍 서버의 프레임 손실율은 점차 줄어들고, 평균 비트율과 평균 PSNR(Peak Signal to Noise Ratio) 값은 점차 증가하는 것을 특징으로 하는 멀티미디어 스트리밍 장치.
제 2 항에 있어서, 상기 멀티미디어 스트리밍 클라이언트는

상기 서버로부터 상기 멀티미디어 데이터를 받아들이는 패킷 수신부;

수신된 상기 멀티미디어 데이터를 저장하는 버퍼;

상기 버퍼에 저장된 데이터를 재생하는 멀티미디어 디코더;

상기 패킷 수신부에서 상기 멀티미디어 데이터를 수신한 시간과 상기 데이터의 크기 정보를 이용하여 네트워크 대역폭을 측정하는 대역폭 측정부; 및

상기 네트워크 대역폭에 따라 상기 서버로부터 전송되는 상기 멀티미디어 데이터의 전송률이 조절될 수 있도록, 측정된 상기 네트워크 대역폭을 상기 서버에게 전송하는 메시지 전송부를 포함하는 것을 특징으로 하는 멀티미디어 스트리밍 장치.
제 20 항에 있어서,

상기 패킷 수신부는 수신된 상기 멀티미디어 데이터의 패킷 번호를 참조하여 각 패킷 그룹의 첫 번째 패킷과 마지막 패킷을 구분하는 것을 특징으로 하는 멀티미디어 스트리밍 장치.
제 21 항에 있어서,

상기 네트워크 대역폭은, 상기 첫 번째 패킷이 수신된 시간이 t1, 상기 마지막 패킷이 수신된 시간이 t2, 그리고 상기 패킷 그룹 데이터의 크기가 Sp일 때,

의 값을 가지는 것을 특징으로 하는 멀티미디어 스트리밍 장치.
제 20 항에 있어서,

상기 대역폭 측정부는 상기 네트워크 대역폭의 변화가 있을 때마다 상기 네트워크 대역폭 정보를 상기 메시지 전송부를 통해 상기 서버에게 피드백 하는 것을 특징으로 하는 멀티미디어 스트리밍 장치.
서비스하고자 하는 멀티미디어 데이터와, 상기 멀티미디어 데이터와 관련된 메타 데이터를 저장하는 데이터 저장부;

상기 메타 데이터를 분석하고, 분석 결과를 디스크립터 형태로 출력하는 메타데이터 분석부;

네트워크 상에 연결된 클라이언트로부터 네트워크 대역폭 정보를 받아들이는 메시지 수신부;

상기 디스크립터 정보와 상기 네트워크 대역폭 정보에 응답해서 서비스 가능한 서비스 품질 레벨을 선택하고, 선택된 상기 서비스 품질 레벨에 해당되는 멀티미디어 데이터를 상기 데이터 저장부로부터 추출하는 서비스 품질(QoS) 처리부;

상기 추출된 데이터를 저장하는 버퍼;

상기 버퍼에 저장된 데이터를 패킷화 하는 패킷 생성부; 및

상기 버퍼에 저장된 데이터를 일정한 시간 간격으로 상기 클라이언트에게 전송하는 패킷 전송부를 포함하는 것을 특징으로 하는 멀티미디어 스트리밍 서버.
제 24 항에 있어서, 상기 서비스 품질 처리부는,

상기 디스크립터에 정의되어 있는 서비스 품질 레벨별 목표 비트율과 상기 대역폭을 비교하여 소정의 서비스 품질 레벨을 선택하는 서비스 레벨 선택부; 및

상기 데이터 저장부에 저장되어 있는 상기 멀티미디어 데이터 중 상기 서비스 품질 레벨에 해당되는 프레임들을 추출하여 상기 버퍼에 저장하는 프레임 선택부를 포함하는 것을 특징으로 하는 멀티미디어 스트리밍 서버.
제 24 항에 있어서, 상기 버퍼는,

상기 패킷을 저장하기 위한 패킷 저장 버퍼; 및

상기 패킷을 전송하기 위한 패킷 전송 버퍼를 포함하는 것을 특징으로 하는 멀티미디어 스트리밍 서버.
제 24 항에 있어서,

상기 멀티미디어 데이터는, 오디오 데이터, 동영상 데이터, 정지 영상 데이터, 텍스트 데이터, 및 그래픽 데이터 중 어느 하나의 형태를 가지는 것을 특징으로 하는 멀티미디어 스트리밍 서버.
제 24 항에 있어서,

상기 멀티미디어 데이터는, 공간상 스케일러블 기능, 품질 스케일러블 기능, 시간상 스케일러블 기능, 및 FGS(fine grain scalable) 기능 중 어느 하나를 갖는 비트 스트림으로 구성되는 것을 특징으로 하는 멀티미디어 스트리밍 서버.
제 24 항에 있어서,

상기 메타 데이터는 XML(eXtensible Markup Language)을 기반으로 하여 정의되는 것을 특징으로 하는 멀티미디어 스트리밍 서버.
제 24 항에 있어서,

상기 메타 데이터는 상기 멀티미디어 데이터 및 스트리밍 관련 정보를 갖는 트리(tree) 형태의 계층 구조를 가지는 것을 특징으로 하는 멀티미디어 스트리밍 서버.
제 30 항에 있어서, 상기 메타 데이터는

상기 메타 데이터의 컨트롤 타입과 노드의 계층 구조 타입을 명시해주는 스트리밍 힌트(STREAMING HINT) 노드;

상기 스트리밍 힌트 노드 하위에 연결되어, 상기 멀티미디어 데이터의 헤더 정보를 갖는 헤더 그룹 힌트(HEADER GROUP HINT) 노드;

상기 스트리밍 힌트 노드 하위에 연결되어, 상기 멀티미디어를 일정시간 간격의 세그먼트로 나눌 때 각 세그먼트의 정보를 갖는 적어도 하나 이상의 세그먼트 그룹 힌트(SEGMENT GROUP HINT) 노드;

상기 헤더 그룹 힌트 노드 하위에 연결되어, 상기 노드 각각의 고유 정보를 나타내는 속성 값을 갖는 적어도 하나 이상의 프레임 헤더 힌트(FRAME HEADER HINT) 노드;

상기 세그먼트 그룹 힌트 노드 하위에 연결되어, 상기 서비스 품질 레벨 각각에 대한 속성 정보를 갖는 적어도 하나 이상의 미디어 세그먼트 힌트(MEDIA SEGMENT HINT) 노드; 및

상기 미디어 세그먼트 힌트 노드 하위에 연결되어, 실제 전송될 멀티미디어 프레임 정보를 갖는 적어도 하나 이상의 미디어 프레임 힌트(MEDIA FRAME HINT) 노드를 포함하는 것을 특징으로 하는 멀티미디어 스트리밍 서버.
제 31 항에 있어서, 상기 스트리밍 힌트 노드는,

상기 네트워크 대역폭의 변화에 따라 전송 비트율을 조절하기 위한 타겟 비트율 조절자;

서비스할 멀티미디어 데이터의 서비스 품질을 조절하기 위한 타겟 품질 제어 조절자;

상기 클라이언트의 리소스 복잡도에 따라서 차별화된 서비스를 지원하기 위한 타겟 복잡도 조절자;

상기 멀티미디어 데이터의 압축 포맷에 따라 차별화된 서비스를 지원하기 위한 타겟 프로파일 조절자;

상기 클라이언트에서의 재생 속도 조절 요청에 따라 서비스 속도를 조절하기 위한 타겟 속도 조절자;

상기 클라이언트에서의 재생 방향 조절 요청에 따라 서비스 방향을 조절하기 위한 타겟 방향 조절자; 및

상기 클라이언트의 단말기 종류에 따라 차별화된 서비스들을 지원하기 위한 타겟 디바이스 조절자를 포함하는 것을 특징으로 하는 멀티미디어 스트리밍 서버.
제 31 항에 있어서, 상기 헤더 그룹 힌트 노드는

복수 개의 멀티미디어 객체가 동시에 서비스 될 경우, 각각의 멀티미디어 스트림을 구별하기 위한 스트림 식별자;

상기 멀티미디어 데이터의 종류를 구분하기 위한 스트림 타입 식별자;

상기 멀티미디어 데이터에 대한 스케일러블 기능의 종류를 구분하기 위한 스케일러블 기능 식별자;

상기 데이터 저장부에 저장되어 있는 상기 멀티미디어 데이터의 위치 정보를 나타내는 소오스 위치 식별자;

상기 멀티미디어 데이터의 프레임율을 나타내는 프레임율 식별자; 및

상기 멀티미디어 데이터의 평균 비트율을 나타내는 평균 비트율 식별자를 포함하는 것을 특징으로 하는 멀티미디어 스트리밍 서버.
제 31 항에 있어서,

상기 헤더 그룹 힌트 노드는 서비스하는 멀티미디어 객체 수만큼 프레임 헤더 힌트 노드를 포함하는 것을 특징으로 하는 멀티미디어 스트리밍 서버.
제 31 항에 있어서,

상기 세그먼트 그룹 힌트 노드는 상기 서비스 품질 레벨의 개수만큼 상기 미디어 세그먼트 힌트 노드를 포함하는 것을 특징으로 하는 멀티미디어 스트리밍 서버.
제 31 항에 있어서,

상기 미디어 세그먼트 힌트 노드는 각각의 서비스 품질 레벨에서 서비스되는 프레임의 전체 개수만큼 미디어 프레임 힌트 노드를 포함하는 것을 특징으로 하는 멀티미디어 스트리밍 서버.
제 31 항에 있어서, 상기 미디어 프레임 힌트 노드는

복수 개의 멀티미디어 객체가 동시에 서비스 될 경우, 각각의 멀티미디어 스트림을 구별하기 위한 스트림 식별자;

프레임의 디코딩 시간 정보와 재생 시간 정보를 각각 나타내는 디코딩/재생시간 식별자;

프레임 코딩시 상기 프레임이 참조된 방식에 따라 각 프레임을 I 프레임/P 프레임/B 프레임으로 구분하는 코딩 타입 식별자;

상기 데이터 저장부에 저장되어 있는 상기 멀티미디어 데이터의 프레임별 위치 정보를 나타내는 프레임 오프셋 식별자;

해당 프레임의 크기를 나타내는 프레임 길이 식별자; 및

해당 프레임의 번호를 나타내는 프레임 번호 식별자를 포함하는 것을 특징으로 하는 멀티미디어 스트리밍 서버.
제 31 항에 있어서,

상기 메타 데이터는 상기 미디어 세그먼트 힌트 노드의 속성에 따라 독립형 메타데이터와 의존형 메타데이터로 구분되는 것을 특징으로 하는 멀티미디어 스트리밍 서버.
제 38 항에 있어서,

상기 독립형 메타 데이터의 각 노드들은 상위 노드에 대한 참조나 재사용 없이 각각의 서비스 품질 레벨에 해당되는 멀티미디어 데이터의 프레임 정보를 포함하는 것을 특징으로 하는 멀티미디어 스트리밍 서버.
제 38 항에 있어서,

상기 의존형 메타 데이터의 각 노드들은 서비스 품질 레벨별로 중복되는 정보는 해당 노드의 상위 노드에서 참조하고, 상기 노드들의 하위 노드에서는 추가 정보만 기술하는 것을 특징으로 하는 멀티미디어 스트리밍 서버.
제 24 항에 있어서,

상기 서비스 품질 레벨의 개수가 증가하게 되면, 상기 멀티미디어 스트리밍 서버의 프레임 손실율은 점차 줄어들고, 평균 비트율과 평균 PSNR(Peak Signal to Noise Ratio) 값은 점차 증가하는 것을 특징으로 하는 멀티미디어 스트리밍 서버.
네트워크 상에 연결된 서버로부터 멀티미디어 데이터를 받아들이는 패킷 수신부;

수신된 상기 멀티미디어 데이터를 저장하는 버퍼;

상기 버퍼에 저장된 데이터를 재생하는 멀티미디어 디코더;

상기 패킷 수신부에서 상기 멀티미디어 데이터를 수신한 시간과 상기 데이터의 크기 정보를 이용하여 네트워크 대역폭을 측정하는 대역폭 측정부; 및

상기 네트워크 대역폭에 따라 상기 서버로부터 전송되는 상기 멀티미디어 데이터의 전송률이 조절될 수 있도록, 측정된 상기 네트워크 대역폭을 상기 서버에게 전송하는 메시지 전송부를 포함하며,

상기 대역폭 측정부는 상기 네트워크 대역폭의 변화가 있을 때마다 상기 네트워크 대역폭 정보를 상기 메시지 전송부를 통해 상기 서버에게 피드백 하는 것을 특징으로 하는 멀티미디어 스트리밍 클라이언트.
제 42 항에 있어서,

상기 패킷 수신부는 수신된 상기 멀티미디어 데이터의 패킷 번호를 참조하여 각 패킷 그룹의 첫 번째 패킷과 마지막 패킷을 구분하는 것을 특징으로 하는 멀티미디어 스트리밍 클라이언트.
제 43 항에 있어서,

상기 네트워크 대역폭은, 상기 첫 번째 패킷이 수신된 시간이 t1, 상기 마지막 패킷이 수신된 시간이 t2, 그리고 상기 패킷 그룹 데이터의 크기가 Sp일 때,

의 값을 가지는 것을 특징으로 하는 멀티미디어 스트리밍 클라이언트.
삭제
네트워크를 통해 연결된 서버와 클라이언트간에 수행되는 멀티미디어 스트리밍 방법에 있어서:

(a) 상기 클라이언트가 상기 서버에게 서비스 요청 메시지 및 세션 연결 요청 메시지를 전송하는 단계;

(b) 상기 요청 메시지에 대한 서비스 확인 메시지 및 더미 패킷 쌍을 상기 클라이언트에게 전송하는 단계;

(c) 상기 서버로부터 입력되는 상기 패킷 쌍에 응답해서 상기 네트워크의 초기 대역폭 값을 결정하고, 결정된 상기 초기 대역폭 값을 상기 서버에게 전송하는 단계;

(d) 상기 클라이언트로부터 전송된 상기 초기 대역폭 정보와 메타 데이터의 분석결과 얻어진 디스크립터 정보를 비교하여 적절한 서비스 품질 레벨을 정하고, 상기 서비스 품질 레벨에 대응되는 전송률에 따라 멀티미디어 스트리밍 서비스를 시작하는 단계;

(e) 상기 서버의 스트리밍 서비스를 통해 수신된 패킷 정보에 응답해서 상기 네트워크 대역폭을 주기적으로 측정하고, 측정된 상기 대역폭 값을 상기 서버에게 전송하는 단계; 및

(f) 상기 클라이언트로부터 전송된 상기 네트워크 대역폭 값에 따라 소정의 멀티미디어 스트림을 추출하고, 추출된 상기 멀티미디어 스트림을 상기 클라이언트에게 전송하는 단계를 포함하며,

상기 (e) 단계는

(e-1) 누적 패킷 크기 값을 0으로 세팅하는 단계;

(e-2) 상기 서버로부터 패킷을 수신하기 시작하는 단계;

(e-3) 첫 번째 패킷이 수신된 시간을 T1로 설정하는 단계;

(e-4) 상기 패킷이 입력된 후 마지막 패킷이 입력될 때까지 매 패킷이 입력될 때마다 상기 누적 패킷 크기 값에 해당 패킷의 크기 값을 누적해서 더하는 단계;

(e-5) 마지막 패킷이 입력되면 상기 마지막 패킷이 수신된 시간을 T2로 설정하는 단계;

(e-6) 을 계산하여 상기 네트워크 대역폭을 측정하는 단계; 및

(e-7) 상기 측정된 네트워크 대역폭 정보를 상기 서버에게 피드백 하는 단계를 포함하는 것을 특징으로 하는 멀티미디어 스트리밍 방법.
삭제
네트워크를 통해 클라이언트와 연결된 서버의 스트리밍 방법에 있어서:

(a) 상기 클라이언트로부터 상기 네트워크의 대역폭을 수신하는 단계;

(b) 서비스하고자 하는 멀티미디어 데이터에 대응되는 메타 데이터의 분석 결과로 얻어진 디스크립터를 근거로 하여 현재의 타임 세그먼트를 선택하는 단계;

(c) 선택된 상기 세그먼트에 대해 상기 디스크립터에 정의되어 있는 목표 비트율과 상기 네트워크 대역폭을 비교하여 서비스 가능한 서비스 품질 레벨을 선택하는 단계; 및

(d) 선택된 상기 서비스 품질 레벨에 해당되는 프레임들을 추출하여 일정 시간마다 상기 클라이언트에게 전송하는 단계를 포함하는 것을 특징으로 하는 멀티미디어 스트리밍 방법.
제 46 항 또는 제 48 항에 있어서,

상기 멀티미디어 데이터는, 오디오 데이터, 동영상 데이터, 정지 영상 데이터, 텍스트 데이터, 및 그래픽 데이터 중 어느 하나의 형태를 가지는 것을 특징으로 하는 멀티미디어 스트리밍 방법.
제 49 항에 있어서,

상기 멀티미디어 데이터는, 공간상 스케일러블 기능, 품질 스케일러블 기능, 시간상 스케일러블 기능, 및 FGS(fine grain scalable) 기능 중 어느 하나를 갖는 비트 스트림으로 구성되는 것을 특징으로 하는 멀티미디어 스트리밍 방법.
제 46 항 또는 제 48 항에 있어서,

상기 메타 데이터는 XML(eXtensible Markup Language)을 기반으로 하여 정의되는 것을 특징으로 하는 멀티미디어 스트리밍 방법.
제 51 항에 있어서,

상기 메타 데이터는 상기 멀티미디어 데이터 및 스트리밍 관련 정보를 갖는 트리(tree) 형태의 계층 구조를 가지는 것을 특징으로 하는 멀티미디어 스트리밍 방법.
제 46 항 또는 제 48 항에 있어서,

상기 서비스 품질 레벨의 개수가 증가하게 되면, 상기 서버의 프레임 손실율은 점차 줄어들고, 평균 비트율과 평균 PSNR(Peak Signal to Noise Ratio) 값은 점차 증가하는 것을 특징으로 하는 멀티미디어 스트리밍 방법.
네트워크를 통해 서버로부터 멀티미디어 데이터를 받아들이는 클라이언트의 네트워크 대역폭 측정 방법에 있어서:

(a) 누적 패킷 크기 값을 0으로 세팅하는 단계;

(b) 상기 서버로부터 패킷을 수신하기 시작하는 단계;

(c) 첫 번째 패킷이 수신된 시간을 T1로 설정하는 단계;

(d) 상기 패킷이 입력된 후 마지막 패킷이 입력될 때까지 매 패킷이 입력될 때마다 상기 누적 패킷 크기 값에 해당 패킷의 크기 값을 누적해서 더하는 단계;

(e) 마지막 패킷이 입력되면 상기 마지막 패킷이 수신된 시간을 T2로 설정하는 단계;

(f) 을 계산하여 상기 네트워크 대역폭을 측정하는 단계; 및

(g) 상기 측정된 네트워크 대역폭 정보를 상기 서버에게 피드백 하는 단계를 포함하는 것을 특징으로 하는 네트워크 대역폭 측정 방법.
제 46 항 또는 제 54 항 중 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.