DE10344017A1

DE10344017A1 - Server, Client, Vorrichtung und Verfahren zum Streamen von Multimediadaten und Netzwerkbandbreitenmessverfahren

Info

Publication number: DE10344017A1
Application number: DE2003144017
Authority: DE
Inventors: Dae-Sung Cho; Mi-Young Kim; Sang-Wook Kim; Sang-jo Suwon Lee
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2002-09-17
Filing date: 2003-09-15
Publication date: 2004-03-25
Anticipated expiration: 2023-09-16
Also published as: KR20040025994A; CN1490980A; US20050076136A1; JP2004112789A; KR100486713B1; DE10344017B4; JP3957666B2; CN100382499C

Abstract

Die Erfindung bezieht sich auf einen Server, einen Client, eine Vorrichtung und ein Verfahren zum Streamen von Multimediadaten sowie auf ein Verfahren zur Netzwerkbandbreitenmessung eines Client und auf ein zugehöriges computerlesbares Speichermedium. DOLLAR A Erfindungsgemäß beinhaltet die Multimediastreamingvorrichtung einen Multimediastreamingserver (100), der zu einer vorbestimmten Dienstqualitätsebene gehörende Multimediadaten in Abhängigkeit eines Analyseergebnisses von Metadaten (20), die sich auf Multimediadaten (10) beziehen, die für einen Dienst zur Verfügung gestellt werden sollen, und Netzwerkbandbreiteninformation überträgt, die von außen eingegeben wird, und einen Multimediastreamingclient, der die Bandbreite eines Netzwerkes (1), an welches der Server angeschlossen ist, durch Verwendung einer Zeit, wenn Multimediadaten empfangen werden, und Informationen über die Größe der Multimediadaten misst und die gemessene Bandbreiteninformation an den Server überträgt. DOLLAR A Verwendung in der Multimediadaten-Streamingtechnologie.

Description

Die Erfindung bezieht sich auf einen Server, einen Client, eine Vorrichtung und ein Verfahren zum Streamen von Multimediadaten sowie auf ein Verfahren zur Netzwerkbandbreitenmessung eines Client und auf ein zugehöriges computerlesbares Speichermedium.
Streaming ist eine Technologie, bei der zu übertragende Daten so verarbeitet werden können, dass die Datenübertragung endlos und kontinuierlich stattfinden kann. Die Streaming-Technologie nimmt mit dem Wachstum des Internet an Bedeutung zu. Dies liegt daran, dass die meisten Benutzer nicht über Internet-Zugangsverbindungen verfügen, die schnell genug sind, um voluminöse Multimedia-Dateien schnell herunterzuladen. Wenn die Streaming-Technologie verwendet wird, können die Daten durch einen Browser oder durch ein Plug-in des Client dargestellt werden, selbst wenn eine Datei noch nicht vollständig übertragen wurde.
Jedoch sind die Bedingungen, unter denen ein Netzwerk arbeitet, in einer Streaming-Umgebung nicht immer konstant. Obwohl ein Multimedia-Streamingdienst in Abhängigkeit von einer anfänglichen Bandbreite eines Netzwerkes bereitgestellt wird, nimmt die Bandbreite im allgemeinen ab, wenn die Anzahl der Dienst-Empfänger zunimmt, und in einem noch schlechteren Fall kann eine Verstopfung des Netzwerks auftreten, so dass ein stabiler Dienst nicht garantiert werden kann. Folglich wird ein Streaming-Dienst benötigt, der die Übertragungsrate in Abhängigkeit von den Veränderungen innerhalb des Netzwerks verändert.
Adaptives Streaming ist eine Technologie, welche die Menge von Übertragungsdaten geeignet an die Bedingungen anpasst, unter denen ein Netzwerk arbeitet. Implementierungsbeispiele von adaptivem Streaming finden sich in folgenden Druckschriften.

Die Patentschrift US 6.014.694 offenbart einen Vielfach-Bit-Stream-Dienst, bei dem erwartete Bitraten in eine Vielzahl von Ebenen aufgeteilt und Multimedia-Streams, die zu einer jeweiligen Bitrate gehören, gemeinsam erzeugt und gespeichert werden. Gemäß diesem Verfahren wird ein Stream für jeden Rahmen gespeichert oder ein Stream, der zu einer jeweiligen Bitratenebene gehört, wird getrennt gespeichert und jeder Server überträgt selektiv einen zugehörigen Stream. Dieses Verfahren hat jedoch das Problem, dass ein Speicher-Stream zur Bereitstellung eines Multimedia-Inhalts relativ groß ist.

Die Patentschrift US 6.091.777 offenbart ein Verfahren zur Kodierung von Daten durch Einstellen der Kompressionsrate eines Bildes bei der Datenübertragung unter Berücksichtigung der Bandbreite eines Kanals und des Zustands von Ressourcen eines Client. Jedoch stellt dieses Verfahren die Kompressionsrate eines nächsten Rahmens durch Vergleichen der momentanen Bandbreite mit der Kompressionsrate des vorherigen Rahmens für jeden Rahmen ein, so dass der Rechenaufwand beträchtlich und der Aufwand eines Servers groß ist.

Die Patentschrift US 6.181.711 offenbart ein Verfahren, bei dem die Bitrate von vorkomprimierten Daten umgewandelt wird und die Daten erneut entsprechend der Bandbreite eines Netzwerks kodiert und dann übertragen werden. Die Bitratenumwandlung beinhaltet einen Dekodierungsvorgang, einen Bitratenumwandlungsvorgang und einen Kodierungsvorgang. Gemäß diesem Verfahren sollte die Bitratenumwandlung durch den obigen Prozess durchgeführt werden, wenn sich die Bandbreite des Netzwerks verändert, wodurch die Last eines Servers erhöht wird. Zusätzlich kann kein stabiler Dienst garantiert werden, wenn keine zufriedenstellende Kodierung in Echtzeit erzielt wird.

Der Erfindung liegt als technisches Problem die Bereitstellung eines Servers, eines Client, einer Vorrichtung und eines Verfahrens für ein optimiertes Datenstreaming mit relativ geringer Serverbelastung sowie eines zugehörigen Verfahrens zur Netzwerkbankbreitenmessung und eines zugehörigen computerlesbaren Speichermediums zugrunde.

Die Erfindung löst dieses Problem durch die Bereitstellung eines Multimediastreamingservers mit den Merkmalen des Anspruchs 1, eines Multimediastreamingclient mit den Merkmalen des Anspruchs 19, einer Multimediastreamingvorrichtung mit den Merkmalen des Anspruchs 23, eines Streamingverfahrens mit den Merkmalen des Anspruchs 25 oder 32, eines Verfahrens zur Netzwerkbandbreitenmessung eines Client mit den Merkmalen des Anspruchs 38 sowie eines computerlesbaren Speichermediums mit den Merkmalen des Anspruchs 39.

Vorteilhafte Weiterbildungen der Erfindung sind in den Unteransprüchen angegeben.

Die vorliegende Erfindung stellt eine Vorrichtung und ein Verfahren für Multimediastreaming zur Verfügung, durch die ein optimaler Multimediastreamingdienst durch adaptive Veränderung der Übertragungsrate in Abhängigkeit von der Bandbreitenänderung eines Netzwerks bereitgestellt wird, ohne einen Server zu belasten.

Vorteilhafte Ausführungsformen der Erfindung sind in den Zeichnungen dargestellt und werden nachfolgend beschrieben. Hierbei zeigen:

1 ein Blockschaltbild eines Multimediastreamingservers, welcher einen adaptiven Multimediastreamingdienst in einer variablen Netzwerkumgebung zur Verfügung stellt,

2 ein Blockdiagramm einer vorteilhaften Struktur von Metadaten,

3 ein Blockdiagramm einer vorteilhaften Struktur von typunabhängigen Metadaten,

4 ein Blockdiagramm einer vorteilhaften Struktur von typabhängigen Metadaten,

5 ein Blockdiagramm einer vorteilhaften Struktur von Metadaten für die gleichzeitige Übertragung eines Video-Streams und eines Audio-Streams durch Anpassen einer Übertragungsbitrate an die Bandbreitenänderung eines Netzwerks,

6 ein Blockschaltbild eines Multimediastreamingclient, welcher ein durch einen Server übertragenes Multimedia-Paket verarbeitet,

7 ein schematisches Diagramm einer Multimediastreamingoperation, die zwischen dem Server von 1 und dem Client von 6 ausgeführt wird,

8 ein Flussdiagramm eines Verfahren zur Messung der Netzwerkbandbreite, welches in dem in 6 gezeigten Client ausgeführt wird,

9 ein Flussdiagramm eines Multimediastreamingdienstprozesses, der in dem in 1 gezeigten Server ausgeführt wird,

10 ein Blockdiagramm eines Beispiels zur adaptiven Bereitstellung eines Streamingdienstes für Multimediadaten durch Anpassen einer Übertragungsrate an die Bandbreitenänderung eines Netzwerks,

11 ein Diagramm der Bitratenänderung eines Multimediastreams durch ein adaptives Streamingverfahren, wenn die Ebene einer Dienstqualität (QoS) auf drei gesetzt ist,

12 ein Diagramm der Änderung eines Signal/Rauschabstand-Spitzenwerts (PSNR-Wert), wenn die QoS-Ebene wie in 11 auf drei gesetzt ist,

13 ein Diagramm der Bitratenänderung eines Multimediastreams durch ein adaptives Streamingverfahren, wenn die QoS-Ebene auf fünf gesetzt ist,

14 ein Diagramm der Änderung eines PSNR-Werts, wenn der QoS-Wert wie in 13 auf fünf gesetzt ist,

15 ein Diagramm der Bitratenänderung eines Multimediastreams durch ein adaptives Streamingverfahren, wenn die QoS-Ebene auf sieben gesetzt ist, und
16 ein Diagramm der Änderung eines PSNR-Werts, wenn der QoS-Wert wie in 15 auf sieben gesetzt ist.
Bezugnehmend auf 1 umfasst ein Multimediastreamingserver 100 gemäß der vorliegenden Erfindung eine Datenspeichereinheit 101, eine Metadatenanalyseeinheit 110, eine Dienstqualität(QoS)-Verarbeitungseinheit 130, eine Nachrichtenempfangseinheit 160, einen Puffer 170, eine Paketerzeugungseinheit 180 und eine Paketübertragungseinheit 190.
Die Datenspeichereinheit 101 speichert komprimierte Multimediadaten 10, die für einen Dienst zur Verfügung gestellt werden sollen, und Metadaten 20, die sich auf die Multimediadaten beziehen. Hierbei werden Multimediadaten in einer beliebigen Form von Audiodaten, Daten von bewegten Bildern wie Videodaten, Standbilddaten, Textdaten und graphischen Daten gespeichert. Die Multimediadaten werden mit einem Bitstrom gebildet, der eine räumlich skalierbare Funktion, eine qualitätsskalierbare Funktion, eine zeitlich skalierbare Funktion und eine Feinauflösungsskalier(FGS)-Funktion aufweisen kann. Die Metadatenanalyseeinheit 110 analysiert die Metadaten 20 und gibt das Analyse- bzw. Parsingergebnis in Form eines Deskriptors aus. Die QoS-Verarbeitungseinheit 130 führt eine QoS-Verarbeitung in Abhängigkeit von der Deskriptorinformation der Metadaten und einer Netzwerkbandbreiteninformation aus. Die Nachrichtenempfangseinheit 160 empfängt Informationen über den Zustand eines Netzwerks 1 (d.h. Netzwerkbandbreiteninformation) von einem Client. Der Puffer 170 umfasst zwei Puffereinheiten, einen Paketspeicherpuffer zur Speicherung eines Pakets und einen Paketübertragungspuffer zur Übertragung eines Pakets. Die Paketerzeugungseinheit 180 bildet Pakete aus den im Paketübertragungspuffer gespeicherten Daten und die Paketübertragungseinheit 190 überträgt im Puffer 170 gespeicherte Daten zum Netzwerk 1 in einem vorbestimmten Zeitintervall.
Im Folgenden wird die QoS-Verarbeitung durch die QoS-Verarbeitungseinheit 130 erläutert. Zuerst empfängt eine Dienstebenenauswahleinheit 140 einen Netzwerkbandbreitenwert von der Nachrichtenempfangseinheit 160, vergleicht die Bandbreite mit einer Zielbitrate in jeder QoS-Ebene, die zuvor im Deskriptor definiert wurde, und selektiert eine verfügbare QoS-Ebene. Dann extrahiert die QoS-Verarbeitungseinheit 130 Rahmen gemäß der momentanen QoS-Ebene und speichert die Rahmen im Puffer 170.
In den Metadaten 20 sind Zeigerinformationen von Rahmen gespeichert, die zu den jeweiligen Ebenen gehören, so dass eine im Puffer 170 gespeicherte Datei direkt auf die Metadaten 20 zugreifen kann. Die Paketerzeugungseinheit 180 erzeugt Pakete aus den im Puffer 170 gespeicherten Daten durch Auftrennen der Daten in Pakete einer vorbestimmten Größe und die Paketübertragungseinheit 190 überträgt die im Puffer gespeicherten Daten zum Netzwerk 1 in jedem vorbestimmten Zeitintervall. Wenn sie Daten überträgt, überträgt die Paketübertragungseinheit 190 Pakete innerhalb identischer Intervalle, so dass die Messung der Bandbreite im Client, wie in einem Client 300 in 6, genau durchgeführt werden kann. Ein Intervall einer Paketübertragung und die Größe eines Pakets werden an die durchschnittliche Bitrate der für einen Dienst zur Verfügung gestellten Daten angepasst.
Die Metadaten 20 werden basierend auf der Extensible-Markup-Language (XML) definiert und sind gemäß den Vorteilen von XML skalierbar und kompatibel. Wenn eine Streaming-Dienstanfrage zwischen dem Server 100 und einem Client gemacht wird, werden die Metadaten 20 durch die Metadatenanalyseeinheit 110 analysiert und in Form des Deskriptors gespeichert, so dass der Deskriptor intern im Server 100 verwendet werden kann.
2 ist ein Blockdiagramm der Struktur der Metadaten 20 gemäß einer bevorzugten Ausführungsform der Erfindung. In 2 bezeichnen Kästchen 21 bis 26 Knotenobjekte und jede Linie, die die Knoten 21 bis 26 verbindet, bezeichnet eine hierarchische Verbindungsbeziehung. Die Zahl neben jeder Verbindungslinie bezeichnet eine Kardinalität, die aufzeigt, wie viele Knoten zu diesem Knoten in Beziehung stehen. Hierbei bezeichnet eine Zahl "1, 1" neben einer Verbindungslinie, dass die maximale Anzahl und die minimale Anzahl in der Verbindungsbeziehung der beiden Knoten jeweils 1 sind, die Zahl "0, *" sagt aus, dass die maximale Anzahl und die minimale Anzahl in der Verbindungsbeziehung 0 bzw. unendlich sind, und die Zahl "1, *" sagt aus, dass die maximale Anzahl und die minimale Anzahl in der Verbindungsbeziehung 1 bzw. unendlich sind.
Beispielsweise sagt die als "1, 1" bezeichnete Beziehung zwischen einem Streaminghinweisknoten 21 und einem Headergruppenhinweisknoten 22 aus, dass unterhalb des Streaminghinweisknotens 21 lediglich ein Headergruppenhinweisknoten 22 und nicht zwei oder mehr Knoten sein sollten. Die Beziehung zwischen dem Streaminghinweisknoten und einem Segmentgruppenhinweisknoten 24, die als „1, *" dargestellt ist, sagt aus, dass unterhalb des Streaminghinweisknotens 21 ein oder mehrere Segmentgruppenhinweisknoten 24 sein sollten und dass es keine Grenze bezüglich der Anzahl der Segmentgruppenhinweisknoten 24 gibt.
In 2 ist der Streaminghinweisknoten 21 ein Knoten der höchsten Ebene mit Attributwerten, die Steuertypen der Metadaten 20 und einen hierarchischen Typ des Knotens spezifizieren. Die im Streaminghinweisknoten 21 spezifizierten Steuertypen umfassen die Typen target-BitrateControl, targetQualityControl, targetComplexityControl, targetProfileControl, targetSpeedControl, targetDirectionControl und targetDeviceControl.
Die targetBitrateControl ist ein Attributwert zur Anpassung einer Übertragungsbitrate an die Bandbreitenänderung eines Netzwerks, die targetQualityControl ist ein Attributwert zur Anpassung einer Zielqualität von Multimediadaten, die zur Verfügung gestellt werden sollen, die targetComplexityControl ist ein Attributwert zur Unterstützung differenzierter Dienste gemäß den Zuständen von Ressourcen eines Client, die targetProfileControl ist ein Attributwert zur Unterstützung differenzierter Dienste gemäß einem Kompressionsformat von Multimediadaten, die targetSpeedControl ist ein Attributwert zur Anpassung einer Dienstgeschwindigkeit gemäß einer Anfrage eines Client zur Anpassung einer Reproduktionsgeschwindigkeit, die targetDirectionControl ist ein Attribut zur Anpassung einer Dienstrichtung gemäß einer Anfrage eines Client zur Anpassung einer Reproduktionsrichtung und die targetDeviceControl ist ein Attribut zur Unterstützung differenzierter Dienste gemäß dem Typ eines Client-Terminals. Zusätzlich können in dem Streaminghinweisknoten 21 andere Steuertypen bezüglich QoS statt dieser Steuertypen definiert werden. Gemäß der Steuerattributwerte des Streaminghinweisknotens 21 werden die Attribute der Metadaten unterschiedlich spezifiziert.
Der Hierarchietyp des Streaminghinweisknotens 21 wird in einen unabhängigen Typ und einen abhängigen Typ unterteilt und die Struktur der Knoten niedrigerer Ebenen variiert gemäß dieser Typen. Speziell kann ein Mediensegmenthinweisknoten 25 typunabhängige oder typabhängige Metadaten gemäß seiner Struktur erzeugen.
3 ist ein Blockdiagramm der Struktur von typunabhängigen Metadaten gemäß einer bevorzugten Ausführungsform der Erfindung. 4 ist ein Blockdiagramm der Struktur von typabhängigen Metadaten gemäß einer bevorzugten Ausführungsform der Erfindung.
Bezugnehmend auf 3 weisen Mediensegmenthinweisknoten 2511 bis 2513 jeweils Verbindungsbeziehungen auf, die unabhängig voneinander sind. 4 zeigt, dass ein zweiter Mediensegmenthinweisknoten 2522 eine Verbindungsbeziehung aufweist, die abhängig von einem ersten Mediensegmenthinweisknoten 2521 ist. Hierbei weist in der typunabhängigen Metadatenstruktur jeder Knoten eine Rahmeninformation von Multimediadaten auf, die zu einer Dienstebene ohne Referenz bezüglich eines darüber liegenden Knotens oder Wiederverwendung gehören, während in der typabhängigen Metadatenstruktur eine darüber liegender Knoten referenziert wird, um Informationen auf jeder Ebene zu teilen, und ein tieferer Knoten spezifiziert ausschließlich zusätzliche Informationen.
Erneut Bezugnehmend auf 2 wird der Streaminghinweisknoten 21 in den Headergruppenhinweisknoten 22 mit Headerinformationen und den Segmentgruppenhinweisknoten 24 aufgeteilt, der die jeweilige Segmentinformation bildet, wenn Multimediadaten in Zeiteinheiten aufgeteilt werden, d.h. in Segmente.
Der Headergruppenhinweisknoten 22 weist eine Anzahl von Rahmenheaderhinweisknoten 23 auf, die gleich der Anzahl der zur Verfügung zu stellenden Multimediaobjekte ist, und jeder Rahmenheaderhinweisknoten 23 weist einen Attributwert auf, der eine eindeutige Information des Knotens anzeigt.
Attributwerte des Rahmenheaderhinweisknotens 23 umfassen die Attribute streamed, streamType, scalability, frameRate und avgBitrate. Von diesen Werten ist streamed eine geeignete ID zur Identifizierung der Multimediadaten und streamType ist ein Attributwert, der den Multimediatyp anzeigt, und ist aufgeteilt in den Typ sichtbar, audio und andere Typen. Der Attributwert scalability ist ein solcher, der die Typen skalierbarer Funktionen anzeigt, und wird in die Typen räumlich, zeitlich, snr und fgs (fine grain scalability) aufgeteilt. Der Attributwert spatial ist ein räumlich skalierbarer, temporal zeigt einen zeitlich skalierbaren Attributwert an und snr zeigt einen Attributwert von qualitativer Skalierbarkeit an. Ein sourceLocator zeigt Ortsinformationen der in der Datenspeichereinheit 101 des Servers gespeicherten Multimediadaten an. Der Attributwert frameRate zeigt die Rahmenrate der Multimediadaten und avgBitrate zeigt die durchschnittliche Bitrate der Multimediadaten an.
Der Segmentgruppenhinweisknoten 24 definiert einen aufgeteilten Multimediastream in jeder Zeiteinheit als ein Segment, wenn ein vollständiger Multimediastream in vorbestimmte Zeitintervalle aufgeteilt wird. Der Segmentgruppenhinweisknoten 24 weist eine Anzahl von Mediensegmenthinweisknoten 25 auf, die gleich der Anzahl von QoS-Ebenen für jedes Segment ist. Wenn die Anzahl der QoS-Ebenen zunimmt, nimmt die Anzahl der Mediensegmenthinweisknoten 25 zu, so dass die Größe der Metadaten 20 zunimmt, wodurch detailliertere Dienste zur Verfügung gestellt werden können.
Der Mediensegmenthinweisknoten 25 umfasst ein Ebenenattribut, welches einen QoS-Ebenenindex anzeigt, einen numofFrames-Attributwert, der die Anzahl von vollständigen Rahmen anzeigt, die in dieser QoS-Ebene zur Verfügung gestellt werden, und einen targetBitrate-Attributwert, der eine durchschnittliche Bitrate anzeigt, wenn ein Rahmen der QoS-Ebene zur Verfügung gestellt wird. Der Mediensegmenthinweisknoten 25 umfasst mindestens einen Medienrahmenhinweisknoten 26, der Multimediarahmeninformationen beinhaltet, die momentan übertragen werden sollen, wobei die Anzahl der Medienrahmenhinweisknoten gleich dem numofFrames-Attributwert ist.
Der Medienrahmenhinweisknoten 26 weist Attributwerte wie streamed, CTS, DTS, CodingType, frameOffset, frameLength und frameNo auf. Dabei ist streamID eine geeignete ID zur Identifizierung eines Multime diastreams, wenn mehrere Multimediaobjekte für einen Dienst zur Verfügung gestellt werden, und weist denselben Wert auf wie die streamID des Rahmenheaderhinweisknotens 23. DTS und CTS bezeichnen Decodierzeitinformation bzw. Reproduktionszeitinformation eines Rahmens. Gemäß einem Verfahren zur Referenzierung eines Rahmens werden Rahmen bei der Codierung in Rahmen vom I-Typ, P-Typ und B-Typ aufgeteilt und CodingType zeigt den Typ eines Rahmens an. Des weiteren bezeichnet frameOffset Ortsinformationen der in der Datenspeichereinheit 101 gespeicherten Multimediadaten und frameLength bezeichnet die Größe des Rahmens, während frameNo die Nummer des Rahmens bezeichnet.
Diese Attributwerte des Medienrahmenhinweisknotens 26 ermöglichen einen direkten Zugriff auf die in der Datenspeichereinheit 101 gespeicherten Multimediadaten 10. Wenn die Datenstruktur dieser Metadaten verwendet wird, ist ein adaptives Multimediastreaming möglich, selbst wenn mehrere Multimediastreams zur gleichen Zeit für einen Dienst zur Verfügung gestellt werden sollen.
5 ist ein Diagramm der Struktur von Metadaten gemäß einer bevorzugten Ausführungsform der Erfindung zur gleichzeitigen Streaming-Übertragung eines Video-Streams und eines Audio-Streams durch Anpassung einer Übertragungsbitrate an die Bandbreitenänderung eines Netzwerks.
Bezugnehmend auf 5 weist jeder von mehreren Mediensegmenthinweisknoten 2531 bis 2533, die zu entsprechenden QoS-Ebenen einer Segmenteinheit gehören, Rahmeninformationen sowohl von Video- als auch von Audio-Streams auf und unterscheidet und greift auf einen jeweiligen Multimediadatenstream durch Verwendung von streamID-Attributwerten von Medienrahmenhinweisknoten 2631 bis 263n zu. Wenn beispielsweise streamID 0 als ein Videodaten-Stream und stream-ID 1 als ein Audiodaten-Stream definiert ist, wird auf jeden der Multimediadatenstreams in Abhängigkeit davon zugegriffen, ob der streamID-Attributwert des Medienrahmenhinweisknotens 26 den streamID-Wert 0 oder den streamID-Wert 1 aufweist. Wenn folglich mehrere Streams zur gleichen Zeit zur Verfügung gestellt werden und wenn ein Multimediarahmen, der für einen Dienst zur Verfügung gestellt werden soll, ebenfalls in den Metadaten definiert ist, kann eine Übertragungsrate an die Bandbreite angepasst werden und eine Synchronisation zwischen Multimediadaten kann erfolgreich durchgeführt werden.
6 ist ein Blockdiagramm eines Multimediastreamingclient 300 gemäß einer bevorzugten Ausführungsform der Erfindung, welcher ein durch den Server 100 gesendetes Multimediapaket verarbeitet. Bezugnehmend auf 6 umfasst der Multimediastreamingclient 300 gemäß der Erfindung eine Paketempfangseinheit 310, einen Puffer 320, einen Multimediadecoder 330, eine Bandbreitenmesseinheit 340 und eine Nachrichtenübertragungseinheit 350.
Die Paketempfangseinheit 310 empfängt einen Multimediastream von dem Server 100 und der Puffer 320 speichert die empfangenen Daten des Multimediastreams. Der Multimediadecoder 330 reproduziert die im Puffer 320 gespeicherten Daten und die Bandbreitenmesseinheit 340 misst eine Netzwerkbandbreite durch Verwendung der Zeitdauer, wenn die Paketempfangseinheit 310 ein Multimediapaket empfängt, und von Informationen über die Größe eines Pakets.
Wenn der Server 100 Daten überträgt, überträgt er alle Pakete im Puffer 170 in Einheiten von Paketgruppen in einem vorbestimmten Zeitintervall und zusammen mit dem Paket wird eine Paketnummer übertragen. Die Paketempfangseinheit 310 unterscheidet das erste Paket und das letzte Paket in einer Paketgruppe durch Verwendung der Paketnummern, die durch den Server 100 übertragen werden. Unter der Annahme, dass ei ne Zeit, wenn ein erstes Paket empfangen wird, t1 ist, eine Zeit, wenn das letzte Paket empfangen wird, t2 ist und die Datengröße einer Paketgruppe Sp ist, kann die Bandbreite eines Netzwerks durch die folgende Gleichung 1 bestimmt werden:
Hierbei ist die Zeiteinheit Millisekunden (ms), die Einheit der Datengröße ist ein Byte und die Maßeinheit der Bandbreite ist Bits pro Sekunde (bps). Eine gemessene Bandbreite wird periodisch von der Nachrichtenübertragungseinheit 350 immer dann an den Server 100 zurückgekoppelt, wenn sich die Bandbreite ändert.
7 ist ein schematisches Diagramm zur Erläuterung einer Multimediastreamingoperation, die zwischen dem in 1 gezeigten Server 100 und dem in 6 gezeigten Client 300 ausgeführt wird. Bezugnehmend auf 7 wird bei dem adaptiven Multimediastreamingverfahren gemäß der Erfindung eine Datenübertragungsrate zwischen dem Server 100 und dem Client 300 an die Bandbreite des Netzwerks durch Verwendung von Metadaten eingestellt, wenn Daten übertragen werden. Hierzu überträgt der Client 300 zuerst eine Dienstanfrage und eine Sitzungsverbindungsanfrage an den Server 100 (Bezugszeichennummer 1). Der Server 100 bestätigt die Dienstanfrage des Client 300 (Bezugszeichennummer 2) und überträgt eine Dienstbestätigungsnachricht und ein Paar von Pseudopaketen an den Client 300 (Bezugszeichennummer 3).
Der Client misst eine initiale Bandbreite (Bezugszeichennummer 4) in Abhängigkeit von dem durch den Server 100 übertragenen Paketpaar. Die Größen der durch den Server 100 übertragenen zwei Pakete werden der Größe einer Paketeinheit gleichgesetzt, in die Multimediadaten in Pakete aufgeteilt werden, wenn die Paketerzeugungseinheit 180 des Servers 100 aus den Multimediadaten Pakete erzeugt. Das Übertragungsintervall der zwei Pakete wird ebenfalls dem Übertragungsintervall der Multimediadaten gleichgesetzt. Nach Empfang des Pseudopaketpaars vom Server 100 bestimmt der Client 300 einen initialen Bandbreitenwert unter Verwendung der Gleichung 1 und überträgt den Wert an den Server 100 (Bezugszeichennummer 5).
Wenn der Client 300 die initiale Bandbreite misst und überträgt, analysiert der Server 100 Metadaten, speichert das Analyseergebnis in Form des Deskriptors, vergleicht die initiale Bandbreite mit der Deskriptorinformation, bestimmt eine geeignete QoS-Ebene und beginnt mit der Bereitstellung eines Multimediastreamingdienstes (Referenznummer 6). Unter Verwendung der durch den Server 100 übertragenen Paketinformation misst der Client 300 periodisch die Bandbreite des Netzwerks (Bezugszeichennummer 7) und überträgt den gemessenen Bandbreitenwert an den Server 100 (Bezugszeichennummer 8). Der Server 100 extrahiert einen vorbestimmten Multimediastream gemäß dem durch den Client 300 übertragenen Bandbreitenwert (Bezugszeichennummer 9) und überträgt den extrahierten Multimediastream an den Client 300 (Bezugszeichennummer 10). Ein Datenübertragungsprozess, der zwischen dem Multimediastreamingserver 100 und dem Client 300 zu diesem Zeitpunkt durchgeführt wird, wird nachfolgend erläutert.
Wie oben beschrieben, wird der Puffer 170, entsprechend dem Zweck eines Puffers, in den Paketspeicherpuffer zur Speicherung eines Pakets und den Paketübertragungspuffer zur Übertragung eines Pakets aufgespaltet. Während die Paketübertragungseinheit 190 Pakete überträgt, die in dem Paketübertragungspufter gespeichert sind, speichert die QoS-Verarbeitungseinheit 130 Rahmen entsprechend der QoS-Ebene in dem Paketspeicherpuffer. Hierbei wird die Paketübertragung in jedem vorbestimmten Zeitintervall durchgeführt. Wenn es Zeit ist, ein nächstes Paket zu übertragen, nachdem ein Paket übertragen wurde und eine vorbestimmte Zeit abgelaufen ist, verwendet die Paketübertragungseinheit 190 den vorherigen Paketspeicherpuffer als einen Paketübertragungspuffer zur Übertragung eines momentanen Pakets und verwendet den vorherigen Paketübertragungspuffer, der nach der Übertragung des vorherigen Pakets leer ist, als einen Paketspeicherpuffer zur Speicherung eines Pakets. Gemäß dieser rekursiven Verwaltung des Puffers 170 kann ein fortlaufendes Streaming durchgeführt werden, während Änderungen der Netzwerksbedingungen minimiert werden.
Die Paketübertragungseinheit 190 überträgt alle im Paketübertragungspuffer gespeicherten Pakete in jedem vorbestimmten Zeitintervall und die hierbei übertragenen Pakete werden als eine Paketgruppe definiert. Pakete in der Paketgruppeneinheit weisen Paketnummern auf, die die Ordnung der Pakete innerhalb der Übertragung bezeichnen. Der Client 300 bestimmt auf Basis der Paketnummern die Ordnung der Pakete und den Anfang und das Ende der Paketgruppe und misst die Bandbreite in Einheiten von Paketgruppen. Der Prozess zur Messung einer Bandbreite im Client 300 wird nachfolgend erläutert.
8 ist ein Flussdiagramm, welches ein Verfahren zur Messung einer Netzwerksbandbreite zeigt, das in der Paketempfangseinheit 310 des in 6 gezeigten Client 300 durchgeführt wird.
Bezugnehmend auf 8 initialisiert die Paketempfangseinheit 310 einen akkumulierten Paketgrößenwert, der die vollständige Größe eines empfangenen Pakets anzeigt, durch Setzen des Werts auf 0 in einem Schritt 3110 und empfängt ein Paket in einem Schritt 3120. Wenn die Paketempfangseinheit 310 ein Paket empfängt, wird ein Header von den Daten in dem Paket separiert und aus dem Header wird die Paketnummer bestimmt. Unter Verwendung der Paketnummer wird in einem Schritt 3130 bestimmt, ob das empfangene Paket das erste Paket ist oder nicht.
Wenn das Ergebnis der Bestimmung im Schritt 3130 anzeigt, dass das empfangene Paket das erste Paket ist, wird die Empfangszeit des ersten Pakets in einem Schritt 3140 als TS1 gesetzt und der Schritt 3120 wird erneut ausgeführt, um kontinuierlich ein Paket zu empfangen. Dann wird im Schritt 3130 bestimmt, ob das empfangene Paket das erste Paket ist oder nicht, und wenn das Ergebnis der Bestimmung anzeigt, dass das empfangene Paket nicht das erste Paket ist, wird in einem Schritt 3150 bestimmt, ob das Paket das letzte Paket ist oder nicht.
Wenn das Ergebnis der Bestimmung im Schritt 3150 anzeigt, dass das empfangene Paket nicht das letzte Paket ist, wird in einem Schritt 3160 der Größenwert des momentanen Pakets zu dem Größenwert des bestehenden akkumulierten Pakets akkumuliert und der Schritt 3120 wird erneut ausgeführt, um kontinuierlich ein Paket zu empfangen. Dann wird im Schritt 3130 bestimmt, ob das empfangene Paket das erste Paket ist oder nicht, und wenn das Ergebnis der Bestimmung anzeigt, dass das empfangene Paket nicht das erste Paket ist, wird im Schritt 3150 erneut bestimmt, ob das Paket das letzte Paket ist oder nicht.
Wenn das Ergebnis der Bestimmung im Schritt 3150 anzeigt, dass das empfangene Paket das letzte Paket ist, wird die Empfangszeit des letzten Pakets in einem Schritt 3170 als TS2 gesetzt. Dann wird in einem Schritt 3180 durch Einsetzen der Empfangszeit des ersten Pakets TS1, der Empfangszeit des letzten Pakets TS2 und des Größenwerts des akkumulierten Pakets in Gleichung 1, d.h. durch Berechnen von
die Bandbreite des Netzwerks gemessen.
9 ist ein Flussdiagramm, welches einen Multimediastreamingdienstprozess zeigt, der in dem in 1 gezeigten Server 100 ausgeführt wird. Bezugnehmend auf 9 empfängt der Server 100 zuerst die Bandbreite des Netzwerks vom Client 300 in einem Schritt 1100 und selektiert in einem Schritt 1200 ein momentanes Zeitsegment aus dem Deskriptor, der basierend auf den Metadaten erzeugt wurde. Dann selektiert der Server 100 in einem Schritt 1400 durch Vergleichen der Bandbreite mit einer Zielbitrate, die in dem Deskriptor des selektierten Segments definiert ist, eine QoS-Ebene, die für den Dienst verfügbar ist. Die Anzahl der QoS-Ebenen wird bestimmt, wenn die Metadaten definiert werden, und die Zielbitrate jeder Ebene wird auf Basis einer durchschnittlichen Bitrate der Multimediadaten bestimmt. Da die Metadaten Informationen über Rahmen enthalten, die zu der jeweiligen Ebene gehören, werden, wenn die QoS-Ebene bestimmt ist, in einem Schritt 1500 nur diejenigen Rahmen extrahiert, die zu der selektierten Ebene gehören, und in einem Schritt 1700 im Puffer gespeichert. Dann werden in einem Schritt 1900 durch die Paketübertragungseinheit 190 die im Puffer 170 gespeicherten Daten in jedem vorbestimmten Zeitintervall an den Client 300 übertragen.
10 ist ein Blockdiagramm, das ein Beispiel einer adaptiven Bereitstellung eines Streamingdienstes für Multimediadaten durch Anpassung einer Übertragungsbitrate an die Bandbreitenänderung eines Netzwerks zeigt.
Bezugnehmend auf 10 selektiert der Server 100 eine geeignete QoS-Ebene aus den Metadaten, wenn die momentane Bandbreite des Netzwerks, die durch den Client 300 detektiert wird, beispielsweise 400 kbps beträgt. Wenn, wie in 10 gezeigt, die Bandbreite des Netzwerks 400 kbps beträgt, wird die QoS-Ebene durch drei Klassen gebildet und hierbei bezeichnen Mediensegmenthinweisknoten 2541 bis 2543 jeweils eine QoS-Ebene. Nimmt man beispielsweise an, dass der tar getBitrate-Wert, d.h. eines der Attribute der Mediensegmenthinweisknoten 2541 bis 2543, Ebene 1 entspricht, wird die Bitrate auf 192 kbps gesetzt, wenn der Wert Ebene 2 entspricht, wird die Bitrate auf 356 kbps gesetzt, und wenn der Wert Ebene 3 entspricht, wird die Bitrate auf 689 kbps gesetzt. Ebene 2, die einen Zielbitratenwert aufweist, der am dichtesten bei der momentanen Bandbreite (400 kbps) liegt, wird als die QoS-Ebene gewählt.
Die Mediensegmenthinweisknoten 2541 bis 2543 umfassen Medienrahmenhinweisknoten 2641, 2642, ..., 264n in jeweils untergeordneten Ebenen und jeder der Medienrahmenhinweisknoten 2641, 2642, ..., 264n speichert Informationen über Rahmen, welche die zugehörige Zielbitrate unterstützen können. In diesem Fall ist es nicht notwendig, die Bandbreite des Netzwerkes auf 400 kbps zu fixieren, sondern sie kann sich verändern. Wenn sich die Bandbreite verändert, verändert sich die zu selektierende QoS-Ebene entsprechend. Folglich wird die Datenübertragungsrate an die Bandbreite des momentanen Netzwerks angepasst, wenn der Server 100 Rahmen gemäß der QoS-Ebene (beispielsweise QoS-Ebene 2) entsprechend der Bandbreite des momentanen Netzwerks selektiert und die Rahmen überträgt, so dass adaptives Streaming erzielt werden kann.
11 ist ein Diagramm der Bitratenänderung eines Multimediastreams durch ein adaptives Streamingverfahren gemäß der Erfindung, wenn die QoS-Ebene auf 3 gesetzt ist. Die in 11 dargestellten Kennlinien sind das Ergebnis adaptiven Streamings, wenn Sequenzdaten mit einer Common-Intermediate-Format(CIF)-Größe von 352×288, einer Rahmenrate von 30 fps und einer durchschnittlichen Bitrate von 658 kbps verwendet werden. Die Kennlinien zeigen die Bandbreite des Netzwerks (net_bw), die Bitrate vor der Anpassung (org_bitrate) und die angepasste Bitrate (adt_bitrate) gemäß der Erfindung über der Zeit, wenn die QoS-Ebene in drei Klassen aufgeteilt ist.
Bezugnehmend auf 11 nimmt die Netzwerkbandbreite (net bw) in einem Intervall A graduell ab, erreicht in einem Intervall B ein Minimum und steigt in einem Intervall C wieder an. Hierbei findet keine Bitratenanpassung im Intervall A anhand der QoS-Ebene statt, da dort die ursprüngliche Bitrate (org_bitrate) der Daten vor der Anpassung kleiner als die Netzwerkbandbreite (net_bw) ist. Entsprechend findet im Intervall C keine Bitratenanpassung anhand der QoS-Ebene statt, da im Intervall C dort die ursprüngliche Bitrate (org_bitrate) vor der Anpassung kleiner als die Netzwerkbandbreite (net bw) ist. Jedoch tritt im Intervall B, da dort die ursprüngliche Bitrate (org_Bitrate) der Daten vor der Anpassung größer als die Netzwerkbandbreite (net_bw) ist, eine Netzwerkverstopfung auf, wenn dieser Zustand für eine lange Zeit andauert, und Pakete können während der Übertragung verloren gehen. Deshalb wird in der vorliegenden Erfindung die Bitrate an die Netzwerkbandbreite (net_bw) gemäß der QoS-Ebene im Intervall B angepasst, so dass ein Paketverlust, der ansonsten während der Übertragung auftreten kann, verhindert werden kann.
12 ist ein Diagramm des Signal/Rauschverhältnis-Spitzenwerts (PSNR-Wert), wenn die QoS-Ebene wie in 11 auf 3 gesetzt ist.
Der PSNR-Wert wird durch die folgenden Gleichungen 2 und 3 bestimmt, wobei zunächst die Gleichung 2
ursprünglich eine Gleichung zur Berechnung der Standardabweichung (RMSE) eines decodierten Bildes für ein originales Bild ist. Hierbei bezeichnet f(i, j) den Pixelwert des Originalbildes und f(i, j) bezeichnet den Pixelwert des decodierten Bildes. M und N bezeichnen die Anzahl der Pixel des originalen Bildes bzw. des decodierten Bildes.
Wenn der RMSE-Wert des decodierten Bildes für das originale Bild gemäß Gleichung 2 bestimmt wird, wird der PSNR-Wert durch die folgende Gleichung 3 bestimmt:
Der Bereich, in dem der PSNR-Wert im Diagramm von 12 dramatisch abnimmt, bezeichnet den Bereich, in dem ein Rahmenverlust zur Anpassung der Bitrate auftritt. Hierbei ist der durchschnittliche PSNR-Wert 34,87 dB.
13 ist ein Diagramm der Bitratenänderung eines Multimediastreams durch ein adaptives Streamingverfahren gemäß der Erfindung, wenn die QoS-Ebene auf 5 gesetzt ist. 14 ist ein Diagramm der Änderung des PSNR-Wertes, wenn der QoS-Wert wie in 13 auf 5 gesetzt ist. Die Diagramme von 13 und 14 zeigen die Ergebnisse von Versuchen, die unter den gleichen Bedingungen wie die Versuche von 11 und 12 durchgeführt wurden.
Bezugnehmend auf 13 wird die angepasste Bitrate (adt Bitrate) der Daten geeigneter bezüglich der Änderung der Netzwerkbandbreite (net_bw) zur Verfügung gestellt, wenn die QoS-Ebene auf 5 gesetzt ist, im Vergleich zu 11, bei der die QoS-Ebene auf 3 gesetzt ist. Folglich können bezüglich der Rahmenverlustrate und der durchschnittlichen Bitrate mit einer angepassten Bitrate, wenn die QoS-Ebene auf 5 gesetzt ist, bessere Ergebnisse erzielt werden als mit einer angepassten Bitrate, wenn die QoS-Ebene auf 3 gesetzt ist.
Nachfolgend wird unter Bezugnahme auf 14 gezeigt, dass der Bereich, in dem der PSNR-Wert dramatisch abnimmt, im Diagramm von 14 im Vergleich zu dem Bereich von 12 abnimmt. Dies bedeutet, dass der Bereich kleiner wird, in dem Rahmenverlust auftritt. Wenn die QoS-Ebene wie in 14 auf 5 gesetzt ist, beträgt der durchschnittliche PSNR-Wert 35,57 dB.
15 ist ein Diagramm der Bitratenänderung eines Multimediastreams durch ein adaptives Streamingverfahren gemäß der Erfindung, wenn die QoS-Ebene auf 7 gesetzt ist, und 16 ist ein Diagramm der Änderung des PSNR-Werts, wenn die QoS-Ebene wie in 15 auf 7 gesetzt ist. Die Diagramme von 15 und 16 zeigen die Ergebnisse von Versuchen, die unter den gleichen Bedingungen wie die Versuche von 11 und 12 durchgeführt wurden.
Bezugnehmend auf 15 wird, wenn die QoS-Ebene auf 7 gesetzt ist, die angepasste Bitrate (adt_bitrate) der Daten geeigneter bezüglich der Änderung der Netzwerkbandbreite (net_bw) zur Verfügung gestellt, verglichen damit, wenn die QoS-Ebene auf 3 oder 5 gesetzt ist. Folglich können bezüglich der Rahmenverlustrate und der durchschnittlichen Bitrate mit einer angepassten Bitrate, wenn die QoS-Ebene auf 7 gesetzt ist, bessere Ergebnisse erzielt werden als mit einer angepassten Bitrate, wenn die QoS-Ebene auf 3 oder 5 gesetzt ist.
Nachfolgend wird bezugnehmend auf 16 gezeigt, dass der Bereich, in dem der PSNR-Wert dramatisch abnimmt, im Diagramm von 16 im Vergleich zu den Bereichen von 12 und 14 noch kleiner ist. Dies bedeutet, dass der Bereich, in dem Rahmenverluste auftreten, stark verringert ist. Wenn die QoS-Ebene wie in 16 auf 7 gesetzt ist, beträgt der durchschnittliche PSNR-Wert 35,89 dB.
Die in den 11 bis 16 erhaltenen Ergebnisse können in der folgenden Tabelle 1 zusammengefasst werden:
Tabelle 1 Wie in Tabelle 1 und den 11 bis 16 gezeigt, stellt die Erfindung Dienste zur Verfügung, die mit zunehmender Anzahl an QoS-Ebenen geeigneter an die Veränderung der Netzwerkbandbreite angepasst sind (d.h. mit feinerer QoS-Bereichsunterteilung). Mit zunehmender Anzahl von QoS-Ebenen nimmt die Rahmenverlustrate ab und die durchschnittliche Bitrate und der durchschnittliche PSNR-Wert nehmen zu. Entsprechend wird mit zunehmender Anzahl an QoS-Ebenen eine detailliertere Steuerung der Übertragungsbitrate ermöglicht. Folglich stellen die Vorrichtung zum Multimediastreaming und das entsprechende Verfahren gemäß der Erfindung einen Multimediastreamingdienst zur Verfügung, der sich an die Veränderung der Netzwerkbandbreite anpasst, ohne den Server zu belasten.
Wie oben beschrieben, können die Vorrichtung zum adaptiven Streaming und das zugehörige Verfahren gemäß der Erfindung einen optimalen Streamingdienst zur Verfügung stellen, unabhängig vom Zustand eines Netzwerks und des Typs von Terminal, das die Dienste empfängt. Vorausgesetzt, dass Metadaten gemeinsam mit Multimediadaten spezifiziert werden, können die Vorrichtung und das Verfahren unabhängig vom Format von Inhalten, die geliefert werden sollen, angewendet wer den und verglichen mit herkömmlichen Verfahren nimmt die Last des Servers beim Streamen ab. Die Erfindung kann auf das Streamen von Daten in einem drahtlosen Kommunikationsnetzwerk ebenso wie in einem drahtgebundenen Netzwerk angewendet werden.
Die Erfindung kann durch einen Code realisiert sein, der auf einem computerlesbaren Speichermedium gespeichert ist und durch einen Computer gelesen werden kann. Das computerlesbare Speichermedium umfasst alle Arten von Aufzeichnungsvorrichtungen, auf denen computerlesbare Daten gespeichert werden.
Das computerlesbare Speichermedium umfasst Speichermedien wie magnetische Speichermedien (beispielsweise ROMs, Disketten, Festplatten, etc.), optische Speichermedien (beispielsweise CD-ROMs, DVDs etc.) und Trägerwellen (beispielsweise Übertragungen über das Internet). Das computerlesbare Speichermedium kann auch über Computersysteme verwendet werden, die über ein Netzwerk verbunden sind, und kann in einer verteilten Betriebsart gespeichert und ausgeführt werden.

Claims

Multimediastreamingserver mit: - einer Datenspeichereinheit (101), welche Multimediadaten, die für einen Dienst zur Verfügung gestellt werden sollen, und Metadaten, die sich auf die Multimediadaten beziehen, speichert, - einer Metadatenanalyseeinheit (110), welche die Metadaten analysiert und das Analyseergebnis in Form eines Deskriptors ausgibt, - einer Nachrichtenempfangseinheit (160), welche Netzwerkbandbreiteninformation von einem Client empfängt, - einer Dienstqualität(QoS)-Verarbeitungseinheit (130), welche eine QoS-Ebene in Abhängigkeit von der Deskriptorinformation und der Netzwerkbandbreiteninformation selektiert und Multimediadaten aus der Datenspeichereinheit extrahiert, die zu der selektierten QoS-Ebene gehören, - einem Puffer (170), der die extrahierten Daten speichert, - einer Paketerzeugungseinheit (180), welche aus den im Puffer gespeicherten Daten Pakete erzeugt, und - einer Paketübertragungseinheit (190), welche die Paketdaten an den Client jeweils in einem vorbestimmten Zeitintervall überträgt.
Multimediastreamingserver nach Anspruch 1, wobei die QoS-Verarbeitungseinheit umfasst: - eine Dienstebenenauswahleinheit, welche eine Zielbitrate für jede QoS-Ebene mit der Bandbreite vergleicht und eine vorbestimmte QoS-Ebene selektiert, und - eine Rahmenauswahleinheit, welche Rahmen aus den in der Datenspeichereinheit gespeicherten Multimediadaten auswählt, die zu der QoS-Ebene gehören, und die extrahierten Rahmen im Puffer speichert.
Multimediastreamingserver nach Anspruch 1 oder 2, wobei der Puffer umfasst: - einen Paketspeicherpuffer, der die durch die Paketerzeugungseinheit erzeugten Paketdaten speichert, und - einen Paketübertragungspuffer, der die Paketdaten überträgt.
Multimediastreamingserver nach einem der Ansprüche 1 bis 3, wobei die Multimediadaten in Form von Audiodaten, Daten bewegter Bilder, Standbilddaten, Textdaten und/oder graphischen Daten vorliegen.
Multimediastreamingserver nach einem der Ansprüche 1 bis 4, wobei die Multimediadaten mit einem Bitstrom gebildet werden, der eine räumlich skalierbare Funktion, eine qualitätsskalierbare Funktion, eine zeitlich skalierbare Funktion und/oder eine Feinauflösungsskalier(FGS)-Funktion aufweist.
Multimediastreamingserver nach einem der Ansprüche 1 bis 5, wobei die Metadaten basierend auf der Extensible-Markup-Language (XML) definiert sind.
Multimediastreamingserver nach einem der Ansprüche 1 bis 6, wobei die Metadaten eine hierarchische Baumstruktur mit Informationen bezüglich der Multimediadaten und bezüglich des Streamings aufweisen.
Multimediastreamingserver nach Anspruch 7, wobei die Metadaten umfassen: - einen Streaminghinweisknoten, der einen Steuertyp der Metadaten und den Typ der hierarchischen Struktur eines Knotens spezifiziert, - einen Headergruppenhinweisknoten, der mit dem Streaminghinweisknoten als ein untergeordneter Knoten des Streaminghinweisknotens verbunden ist und Headerinformationen der Multimediadaten beinhaltet, - einen oder mehrere Segmentgruppenhinweisknoten, der oder die jeweils mit dem Streaminghinweisknoten als ein untergeordneter Knoten des Streaminghinweisknotens verbunden sind und Segmentinformationen enthalten, wenn die Multimediadaten in Segmente eines vorbestimmten Zeitintervalls aufgeteilt sind, - einen oder mehrere Rahmenheaderhinweisknoten, der oder die jeweils mit dem Headergruppenhinweisknoten als ein untergeordneter Knoten des Headergruppenhinweisknotens verbunden sind und einen Attributwert enthalten, der eine eindeutige Information jedes Knotens anzeigt, - einen oder mehrere Mediensegmenthinweisknoten, der oder die jeweils mit dem Segmentgruppenhinweisknoten als ein untergeordneter Knoten des Segmentgruppenhinweisknotens verbunden sind und Attributinformation bezüglich jeder QoS-Ebene enthalten, und - einen oder mehrere Medienrahmenhinweisknoten, der oder die jeweils mit dem Mediensegmenthinweisknoten als ein untergeordneter Knoten des Mediensegmenthinweisknotens verbunden sind und Multimediarahmeninformationen enthalten, die aktuell übertragen werden sollen.
Multimediastreamingserver nach Anspruch 8, wobei der Streaminghinweisknoten umfasst: - einen Zielbitratenanpasser, der eine Übertragungsbitrate an eine Änderung der Netzwerkbandbreite anpasst, - einen Zielqualitätsanpasser, der eine QoS von Multimediadaten anpasst, die für einen Dienst zur Verfügung gestellt werden sollen, - einen Zielkomplexitätsanpasser, der differenzierte Dienste gemäß einer Ressourcenkomplexität des Clients unterstützt, - einen Zielprofilanpasser, der differenzierte Dienste gemäß des Kompressionsformats der Multimediadaten unterstützt, - einen Zielgeschwindigkeitsanpasser, der eine Dienstgeschwindigkeit gemäß einer Reproduktionsgeschwindigkeitsanpassungsanfrage vom Client anpasst, - einen Zielrichtungsanpasser, der eine Dienstrichtung gemäß einer Reproduktionsrichtungsanpassungsanfrage vom Client anpasst, und - einen Zielgeräteanpasser, der differenzierte Dienste gemäß des Typs eines Client-Terminals anpasst.
Multimediastreamingserver nach Anspruch 8 oder 9, wobei der Headergruppenhinweisknoten umfasst: - einen Streamidentifizierer, der einen jeweiligen Multimediastream unterscheidet, wenn mehrere Multimediaobjekte zur gleichen Zeit für einen Dienst zur Verfügung gestellt werden, - einen Streamtypidentifizierer, der den Typ der Multimediadaten unterscheidet, - einen Skalierbare-Funktion-Identifizieren, der den Typ einer skalierbaren Funktion für die Multimediadaten unterscheidet, - einen Quellenortidentifizierer, der Ortsinformationen von in der Datenspeichereinheit gespeicherten Multimediadaten anzeigt, - einen Rahmenratenidentifizierer, der die Rahmenrate der Multimediadaten anzeigt, und - einen Durchschnittliche-Bitrate-Identifizieren, der die durchschnittliche Bitrate der Multimediadaten anzeigt.
Multimediastreamingserver nach einem der Ansprüche 8 bis 10, wobei der Headergruppenhinweisknoten die gleiche Anzahl von Rahmenheaderhinweisknoten wie die Anzahl von Multimediaob jekten beinhaltet, die für einen Dienst zur Verfügung gestellt werden sollen.
Multimediastreamingserver nach einem der Ansprüche 8 bis 11, wobei der Segmentgruppenhinweisknoten die gleiche Anzahl von Mediensegmenthinweisknoten wie die Anzahl von QoS-Ebenen umfasst.
Multimediastreamingserver nach einem der Ansprüche 8 bis 12, wobei der Mediensegmenthinweisknoten die gleiche Anzahl von Medienrahmenhinweisknoten wie die Anzahl von vollständigen Rahmen umfasst, die in jeder QoS-Ebene für einen Dienst zur Verfügung gestellt werden sollen.
Multimediastreamingserver nach einem der Ansprüche 8 bis 13, wobei der Medienrahmenhinweisknoten umfasst: - einen Streamidentifizierer, der die jeweiligen Multimediastreams unterscheidet, wenn mehrere Multimediaobjekte zur gleichen Zeit für einen Dienst zur Verfügung gestellt werden, - einen Decodier-/Reproduktionszeit-Identifizieren, der eine Decodierzeitinformation und eine Reproduktionszeitinformation eines Rahmens anzeigt, - einen Codiertypidentifizierer, der eine Einteilung der Rahmen in I-Rahmen, P-Rahmen und B-Rahmen gemäß eines Verfahrens zur Referenzierung eines Rahmens bei seiner Codierung vornimmt, - einen Rahmenoffset-Identifizierer, der Ortsinformationen jedes Rahmens der in der Datenspeichereinheit gespeicherten Multimediadaten anzeigt, - einen Rahmenlängenidentifizierer, der die Größe eines zugehörigen Rahmens anzeigt, und - einen Rahmennummernidentifizierer, der die Nummer eines zugehörigen Rahmens anzeigt.
Multimediastreamingserver nach einem der Ansprüche 8 bis 14, wobei die Metadaten in typunabhängige Metadaten und typabhängige Metadaten gemäß eines Attributs des Mediensegmenthinweisknotens aufgespaltet werden.
Multimediastreamingserver nach Anspruch 15, wobei jeder Knoten der typunabhängigen Metadaten Rahmeninformationen von Multimediadaten enthält, die zu einer Dienstebene ohne Referenz auf einen oberen Knoten oder Wiederverwendung gehören.
Multimediastreamingserver nach Anspruch 15 oder 16, wobei jeder Knoten der typabhängigen Metadaten sich auf einen oberen Knoten bezüglich Informationen, die zwischen mehreren QoS-Ebenen geteilt werden, bezieht, und lediglich zusätzliche Information in einem tieferen Knoten spezifiziert wird.
Multimediastreamingserver nach einem der Ansprüche 1 bis 17, wobei, wenn die Anzahl der QoS-Ebenen zunimmt, die Rahmenverlustrate des Multimediastreamingservers graduell abnimmt und die durchschnittliche Bitrate und ein durchschnittlicher Signal/Rauschverhältnis-Spitzenwert graduell zunimmt.
Multimediastreamingclient mit: - einer Paketempfangseinheit (310), welche Multimediadaten von einem mit ihm über ein Netzwerk verbundenen Server empfängt, - einem Puffer (320), der die empfangenen Multimediadaten speichert, - einem Multimediadecoder (330), der die im Puffer gespeicherten Daten reproduziert, - einer Bandbreitenmesseinheit (340), die eine Netzwerkbandbreite unter Verwendung der Zeit, wenn die Multimediadaten in der Pa ketempfangseinheit empfangen werden, und einer Größeninformation der Daten misst, und - einer Nachrichtenübertragungseinheit (350), welche die gemessene Netzwerkdatenbreite an den Server überträgt, so dass die Übertragungsrate der vom Server übertragenen Multimediadaten an die Netzwerksbandbreite angepasst wird.
Multimediastreamingclient nach Anspruch 19, wobei die Paketempfangseinheit ein erstes und ein letztes Paket von jeder Paketgruppe durch Bezugnahme auf die Paketnummer der empfangenen Multimediadaten unterscheidet.
Multimediastreamingclient nach Anspruch 20, wobei die Netzwerkbandbreite unter der Annahme, dass eine Zeit, wenn das erste Paket empfangen wird, t1 ist, eine Zeit, wenn das letzte Paket empfangen wird, t2 ist und die Größe der Paketgruppendaten Sp ist, durch die folgende Gleichung berechnet wird:
Multimediastreamingclient nach einem der Ansprüche 19 bis 21, wobei die Bandbreitenmesseinheit die Netzwerkbandbreiteninformation an den Server durch die Nachrichtenübertragungseinheit zurückkoppelt, wenn sich die Netzwerkbandbreite ändert.
Multimediastreamingvorrichtung mit: - einem Multimediastreamingserver (100), der zu einer vorbestimmten Dienstqualitäts(QoS)-Ebene gehörende Multimediadaten in Abhängigkeit von einem Analyseergebnis von Metadaten, die sich auf Multimediadaten beziehen, die für einen Dienst zur Verfügung gestellt werden sollen, und von Netzwerkbandbreiteninformation, die von außen eingegeben wird, überträgt und - einem Multimediastreamingclient, der die Bandbreite eines Netzwerkes, an welches der Server angeschlossen ist, durch Verwendung einer Zeit, wenn Multimediadaten empfangen werden, und von Informationen über die Größe der Multimediadaten misst und die gemessene Bandbreiteninformation an den Server überträgt.
Multimediastreamingvorrichtung nach Anspruch 23, weiter dadurch gekennzeichnet, dass der Multimediastreamingserver ein solcher nach einem der Ansprüche 1 bis 18 ist und/oder der Multimediastreamingclient ein solcher nach einem der Ansprüche 19 bis 22 ist.
Multimediastreamingverfahren, das zwischen einem Server und einem Client ausgeführt wird, die durch ein Netzwerk verbunden sind, mit den Schritten: a) Übertragen einer Dienstanfragenachricht und einer Sitzungsverbindungsanfragenachricht durch den Client an den Server, b) Übertragen einer Dienstbestätigungsnachricht auf die Anfragenachricht und ein Paar von Pseudopaketen an den Client, c) Bestimmen eines initialen Bandbreitenwertes des Netzwerks in Abhängigkeit von dem durch den Server übertragenen Paketpaar und Übertragen des bestimmten initialen Bandbreitenwertes an den Server, d) Vergleichen der durch den Client übertragenen initialen Bandbreiteninformation mit einer Deskriptorinformation, die durch Analyse von Metadaten erhalten wurde, Bestimmen einer entsprechenden QoS-Ebene und Beginnen mit einer Bereitstellung eines Multimediastreamingdienstes gemäß einer Übertragungsrate, die zu der QoS-Ebene gehört, e) periodisches Messen der Netzwerkbandbreite in Abhängigkeit von Paketinformation, die durch den Streamingdienst des Servers übertragen wird, und Übertragen des gemessenen Bandbreitenwerts an den Server und f) Extrahieren eines vorbestimmten Multimediastreams gemäß dem durch den Client übertragenen Netzwerkbandbreitenwert und Übertragen des extrahierten Multimediastreams an den Client.
Multimediastreamingverfahren nach Anspruch 25, wobei der Schritt e) umfasst: e-1) Setzen eines Größenwerts eines akkumulierten Paketes auf 0, e-2) Beginn des Empfangs eines Pakets vom Server, e-3) Setzen der Zeit, wenn ein erstes Paket empfangen wird, als T1, e-4) Akkumulieren des Größenwerts eines Pakets zu der Größe des akkumulierten Pakets immer wenn ein Paket eingegeben wird, nachdem das erste Paket eingegeben wurde und bis ein letztes Paket eingegeben wird, e-5) wenn das letzte Paket eingegeben wird, setzen dieser Zeit als T2, e-6) Messen der Netzwerkbandbreite durch die Beziehung
und e-7) Zurückkoppeln der gemessenen Netzwerkbandbreiteninformation an den Server.
Multimediastreamingverfahren nach Anspruch 25 oder 26, wobei die Multimediadaten in Form von Audiodaten, Daten bewegter Bilder, Standbilddaten, Textdaten und/oder graphischen Daten vorliegen.
Multimediastreamingverfahren nach einem der Ansprüche 25 bis 27, wobei die Multimediadaten mit einem Bitstrom gebildet werden, der eine räumlich skalierbare Funktion, eine qualitätsskalier bare Funktion, eine zeitlich skalierbare Funktion und/oder eine Feinauflösungsskalier(FGS)-Funktion aufweist.
Multimediastreamingverfahren nach einem der Ansprüche 25 bis 28, wobei die Metadaten basierend auf der Extensible-Markup-Language (XML) definiert sind.
Multimediastreamingverfahren nach einem der Ansprüche 25 bis 29, wobei die Metadaten eine hierarchische Baumstruktur mit Informationen bezüglich der Multimediadaten und bezüglich des Streamings aufweisen.
Multimediastreamingverfahren nach einem der Ansprüche 25 bis 30, wobei, wenn die Anzahl der QoS-Ebenen zunimmt, die Rahmenverlustrate des Multimediastreamingservers graduell abnimmt und die durchschnittliche Bitrate und ein durchschnittlicher Signal/Rauschverhältnis-Spitzenwert graduell zunimmt.
Streamingverfahren eines Servers, der mit einem Client durch ein Netzwerk verbunden ist, mit den Schritten: a) Empfangen einer Information über die Bandbreite des Netzwerks vom Client, b) Auswählen eines momentanen Zeitsegments basierend auf einem Deskriptor, der als Ergebnis einer Analyse von Metadaten erhalten wurde, die zu Multimediadaten gehören, die für einen Dienst zur Verfügung gestellt werden sollen, c) Vergleichen einer Zielbitrate, die in dem Deskriptor für ein selektiertes Segment definiert ist, mit der Netzwerkbandbreite, Selektieren einer QoS-Ebene, die für den Dienst verfügbar ist, und d) Extrahieren von Rahmen, die zu der selektierten QoS-Ebene gehören, und Übertragen der Rahmen an den Client in jedem vorbestimmten Zeitintervall.
Streamingverfahren nach Anspruch 32, wobei die Multimediadaten in Form von Audiodaten, Daten bewegter Bilder, Standbilddaten, Textdaten und/oder graphischen Daten vorliegen.
Streamingverfahren nach Anspruch 32 oder 33, wobei die Multimediadaten mit einem Bitstrom gebildet werden, der eine räumlich skalierbare Funktion, eine qualitätsskalierbare Funktion, eine zeitlich skalierbare Funktion und/oder eine Feinauflösungsskalier(FGS)-Funktion aufweist.
Streamingverfahren nach einem der Ansprüche 32 bis 34, wobei die Metadaten basierend auf der Extensible-Markup-Language (XML) definiert sind.
Streamingverfahren nach einem der Ansprüche 32 bis 35, wobei die Metadaten eine hierarchische Baumstruktur mit Informationen bezüglich der Multimediadaten und bezüglich des Streamings aufweisen.
Streamingverfahren nach einem der Ansprüche 32 bis 36, wobei, wenn die Anzahl der QoS-Ebenen zunimmt, die Rahmenverlustrate des Multimediastreamingservers graduell abnimmt und die durchschnittliche Bitrate und ein durchschnittlicher Signal/Rauschverhältnis-Spitzenwert graduell zunimmt.
Verfahren zur Messung einer Netzwerkbandbreite eines Client, der Multimediadaten von einem Server über ein Netzwerk empfängt, mit den Schritten: a) Setzen eines Größenwerts eines akkumulierten Paketes auf 0, b) Beginn des Empfangs eines Pakets vom Server, c) Setzen der Zeit, wenn ein erstes Paket empfangen wird, als T1, d) Akkumulieren des Größenwerts eines Pakets zu der Größe des akkumulierten Pakets immer wenn ein Paket eingegeben wird, nachdem das erste Paket eingegeben wurde und bis ein letztes Paket eingegeben wird, e) wenn das letzte Paket eingegeben wird, setzen dieser Zeit als T2, f) Messen der Netzwerkbandbreite durch die Beziehung
und g) Zurückkoppeln der gemessenen Netzwerkbandbreiteninformation an den Server.
Computerlesbares Speichermedium mit einem Programm zur Durchführung des Verfahrens nach den einem der Ansprüche 25 bis 38.