-
Die
vorliegende Erfindung bezieht sich auf das Gebiet von Streaming-Mediadaten, insbesondere
auf skalierbar codierte Daten. Insbesondere bezieht sich die vorliegende
Erfindung auf den Schutz derartiger Daten.
-
Videoübertragung
oder Videostreaming innerhalb Kommunikationsnetzwerke, wie ISDN
Netzwerke oder im Internet ist eine wichtige Applikation derartiger
Kommunikationsnetzwerke geworden. Künftig werden paketorientierte
mobile Netzwerke, wie GPRS ("General
Packet Radio Service")
und UMTS (Universal Mobile Telecommunications Standard/System") allgemein üblich sein
zum Verbinden mobiler Benutzer mit festen Kommunikationsnetzwerken,
wie den oben genannten ISDN Netzwerken oder dem Internet. Deswegen
ist es von großer
Bedeutung, effiziente und intelligente Unterstützung von Videostreaming hoher
Qualität
in drahtlose Funknetzwerke zu benutzen.
-
Das
Problem der Fehlerverschleierung in Videokommunikationen wird immer
wichtiger, wegen des wachsenden Interesses in der Lieferung von komprimiertem
Video über
drahtlose Kanäle.
Es wurden bereits viele paketorientierte Übertragungsmoden vorgeschlagen
für drahtlose
Standards wie EGPRS ("Enhanced
General Packet Radio Service") oder
UMTS der nächsten
Generation, die meistens auf demselben Prinzip basiert sind: lange
Nachrichtenblöcke,
typische IP Pakete, die in den drahtlosen Teil des Netzwerkes eintreten,
werden in Segmente einer gewünschten
Länge aufgeteilt,
die zu Kopplungsschichtpaketen einer festen Größe gemultiplext werden können. Die
Pakete werden danach sequentiell über die drahtlose Verbindung übertragen,
neu zusammengesetzt und dem nächsten
Netzwerkelement zugeführt.
Im Vergleich aber mit den ziemlich freundlichen Kanalcharakteristiken
der heutigen festen oder Drahtnetzwerken leiden drahtlose Verbindungen
an starkem Schwund, Rauschen und Interferenzumständen im Allgemeinen, was nach
Detektion und Decodierung zu einer relativ hohen Restbitfehlerrate
führt.
-
Es
werden meistens zwei Typen von Fehlerbehebungsverfahren angewandt
um Videostreaming über
verdrahtete und drahtlose Netzwerke zu unterstützen: Neuübertragung und Vorwärts-Fehlerkorrektur
(FEC). FEC Codierung ist eine durchaus bekannte Technik zum Erreichen
einer Fehlerkorrektur und Detektion in Datenkommunikation. FEC hat
den Nachteil zunehmender Übertragungsgesamtkosten und
folglich einer Reduktion verwendbarer Bandbreite für die Lastdaten.
Auf diese Weise wird diese Technik im Allgemeinen vernünftig in
Videodiensten angewandt, da Videodienste sehr anspruchsvoll in Bandbreite
sind, aber einen gewissen Grad an Verlust gestallten können. Das
Neuübertragungsverfahren
hat den Vorteil von hoher Bandbreitenbenutzung, leidet aber an lange
Behebungsverzögerungen,
die nicht tolerierbar sind für
Applikationen mit strikten Verzögerungsbegrenzungen.
-
In
der Vergangenheit gab es eine bestimmte Linie zwischen der Anwendung
des einen oder des anderen Verfahrens. Ein Applikationsentwurf wählt entweder
Neuübtragung
oder FEC. Aber IP basierte Netzwerke sind heterogen und in der Entwicklung.
Es ist vorstellbar, dass Applikationen in völlig verschiedenen Umgebungen
arbeiten können,
wodurch es schwer wird, Netzwerkumstände vorherzusagen. Diese Situation
macht es schwierig das richtige Fehlerbehebungsverfahren für alle möglichen
Arbeitsszenarien zu wählen.
-
Eine
ideale Lösung
von Fehlerbehebung wäre
eine Kombination von Neuübertragung
und FEC, um dadurch eine Applikation zu ermöglichen um auf dynamische Weise
das eine oder das andere zu wählen,
oder noch besser sie in Echtzeit entsprechend erkannten Netzwerkumständen zu
kombinieren.
-
Hybrid
ARQ und adaptive FEC sind zwei Methoden, welche die starken Seiten
von Neuübertragung
und FEC kombinieren. In Hybrid ARQ werden die Videodaten mit Hilfe
eines FEC Codierungsverfahrens, wie ein Reed-Solomon-Codierungsschema, vorcodiert,
und danach benutzen der Sender und der Empfänger ein speziell entworfenes
ARQ-artiges Protokoll zum Durchführen
des Schutzes. In adaptivem FEC werden die FEC Daten von den ursprünglichen
Mediaströmen
getrennt, und es werden "Beitreten"/"Verlassen" Befehle benutzt um einen adaptiven Schutz
zu erreichen. Adaptiver FEC ist aber auf zweierlei Weise begrenzt.
Erstens benutzt er IGMP ("Internet
Group Management Protocol")
zum Signalisieren des Beitritt/Verlassvorgangs, was eine sehr lange Latenz
in den Signalisierungsprozess einführen kann, was ggf. den Schutzzweck,
wie Neuübertragung,
ablehnt. Zweitens benötigt
er, während
er den FEC Codierungsalgorithmus betont, eine Architektur und Protokolle
um die Ziele von adaptivem FEC zu verwirklichen. WO 97/33402-A1
beschreibt ein System zum Übertragen
eines Datenstroms über
ein Netzwerk, wobei unter Anwendung einer Kanalcodierungstechnik
ein Schutzbitstrom aus dem Datenstrom erzeugt wird.
-
Es
wäre ein
Vorteil eine realistische Architektur zu schaffen, die die Protokolle
spezifiziert, die notwendig sind zum Durchführen eines adaptiven und effizienten
Schutzes, wobei Applikationen erlaubt sind um zwischen verschiedenen
Schutzstrategien dynamisch umzuschalten.
-
Nach
bestimmten Aspekten der vorliegenden Erfindung werden Verfahren
und Systeme geschaffen, die es ermöglichen, dass eine Empfangsanordnung
(ein Kunde) dynamisch wählt,
Schutzdaten zu empfangen und den Typ der zu empfangenden Schutzdaten
bestimmt.
-
Nach
bestimmten Ausführungsbeispielen der
vorliegenden Erfindung wird beispielsweise ein Verfahren geschaffen
zur Anwendung in einem Server und eine entsprechende Empfangsanordnung
in Kommunikation mit dem Server. Das Verfahren umfasst die nachfolgenden
Vorgänge:
einen ersten Codierungsvorgang zum Erzeugen einer codieren Basisschicht
aus dem Bitstrom unter Anwendung einer Frameprädiktionscodierungstechnik,
einen zweiten Codierungsvorgang zum Erzeugen einer codierten Verbesserungsschicht
aus dem Bitstrom unter Anwendung einer feinkörnigen skalierbaren Codierungstechnik
(FGS); einen ersten Erzeugungsvorgang zum Erzeugen wenigstens eines
Schutzbitstroms; einen zweiten Erzeugungsvorgang zum Erzeugen eines
ersten Basisschichtandeutungsbitstroms; einen dritten Erzeugungsvorgang
zum Erzeugen einer ersten Verbesserungsschichtandeutungsbitstroms;
und einen vierten Erzeugungsvorgang zum Erzeugen eines ersten Schutzandeutungsbitstroms.
-
Nach
einem anderen Aspekt ist die vorliegende Erfindung ein System, das
Folgendes umfasst: Mittel zum Erzeugen einer codieren Basisschicht
aus dem Bitstrom unter Anwendung einer Frameprädiktionscodierungstechnik;
Mittel zum Erzeugen einer codierten Verbesserungsschicht aus dem
Bitstrom unter Anwendung einer feinkörnigen skalierbaren Codierungstechnik
(FGS); Mittel zum Erzeugen wenigstens eines Schutzbitstroms; Mittel zum
Erzeugen einer ersten Basisschichtandeutungsbitstroms; Mittel zum
Erzeugen eines ersten Verbesserungsschichtandeutungsbitstroms; und
Mittel zum Erzeugen eines ersten Schutzandeutungsbitstroms.
-
Das
vorgeschlagene Fehlerschutzverfahren und -system, nachstehend als
Schutz auf Anforderung bezeichnet, schafft eine Anzahl Vorteile
gegenüber
dem Stand der Technik, und zwar Folgendes: (1) Das Verfahren kann
auf vorteilhafte Weise in eine gesamte FGS Streaming-Architektur
eingepasst werden; (2) Das Verfahren unterstützt Multi cast- und Unicast-Applikationen;
(3) Das Verfahren nutzt den Vorteil des MPEG-4 Datenformats, wodurch
es ermöglicht
wird, dass ein Allzweck-MPEG-4 Server adaptive Fehlerschutz an Streaming-Applikationen
durchführt;
(4) Schutzdaten werden von geschützten
Daten getrennt. Auf diese Weise kann eine Änderung der Schutzdaten den
Schutzpegel oder die Strategie ändern,
aber die Schutzprozeduren bleiben die gleichen; (5) Das Verfahren
ermöglicht
es, dass Applikationen dynamisch zwischen Neuübertragungsartigem Schutz oder
FEC-artigem Schutz oder Hybrid-ARQ wählen, wodurch eine bessere
Schutzleistung erzielt wird; (6) Das Verfahren benutzt das Echtzeit-Transportprotokoll
(RTSP) statt des Internetgruppenverwaltungsprotokolls (IGMP), was
einen schnelleren Schutz ergeben kann und Applikationen mehr Flexibilität bietet.
-
Die
vorliegende Erfindung ist in dem Hauptanspruch 1 und in dem Hauptanspruch
11 definiert.
-
Ausführungsbeispiele
der vorliegenden Erfindung sind in der Zeichnung dargestellt und
werden im Folgenden näher
beschrieben. Es zeigen:
-
1 ein
Beispiel eines Netzwerkes zum Durchführen einer End-zu-End-Übertragung von Streaming Media,
wobei die vorliegende Erfindung in das Netzwerk einverleibt sein
kann; und
-
2 ein
Beispiel einer Architektur und assoziierter Protokolle zum Implementieren
des Schutzschemas der vorliegenden Erfindung.
-
Zum
besseren Verständnis
der vorliegenden Erfindung werden die nachfolgenden Terme definiert:
- – Streaming
Media – im
Wesentlichen mittlere Echtzeitlieferung oder nahezu-Echtzeitlieferung kritischen
Inhalts (beispielsweise Audio und/oder Videodaten) zu einer Kundenanordnung
oder zu Kundenanordnungen eines abonnierten Benutzers. Die Kundenanordnung(en)
machen streamed media auf eine Art und Weise, die für die Kundenanordnung
und die Media geeignet ist.
- – RTP
Protokoll – dieses
wird als das Standard Echtzeitbasierte Paketierungsprotokoll in
vielen Umgebungen angewandt und befindet sich unmittelbar über Transportschichten
in einem Protokollstapel, wie UDP ("User Datagram Protocol)/IP("Internet Protocol"). Im Allgemeinen
ist RTP eine Transportprotokoll für Echtzeitdaten, und schafft
eine Zeitmarkierung, eine Sequenznummer, Datenverlustdetektion,
Sicherheit, Contentidentifikation und andere Daten, die für Echtzeitdatenlieferung
relevant sind. RTP kann in einem Unicast- oder Multicast-Kontext angewandt werden.
- – RTSP
Protokoll – ein
Applikationspegelprotokoll, das steht für "Real Time Session Protocol", das auch entwickelt
worden ist um Sessionsunterhandlungs- und Contentbeschreibungsmechanismen
zu bieten. RTSP beschreibt, wie der Content von einem Server zu
einem Kunden strömen
soll. Streaming umfasst das Zerteilen von Content in Pakete mit
einer zugänglichen
Größe (gegenüber Zwischennetzwerkcharakteristiken)
zur Übertragung
zwischen dem Server und dem Kunden.
- – FEC – "Forward error correction" ist eine durchaus
bekannte Fehlerkorrekturtechnik, die einen Mechanismus schafft,
durch den eine sendende Anordnung einer empfangenden Anordnung mit zusätzlichen
FEC Daten versieht, die danach von der empfangenden Anordnung zum
Detektieren und zum Korrigieren von Fehlern in den empfangenen Daten
verwendet werden können.
Auf diese Weise umfasst zum Unterstützen von FEC die sendende Anordnung
typischerweise einen FEC Codieret und die empfangende Anordnung
umfasst typischerweise einen FEC Decoder. FEC ermöglicht es,
dass auf verschiedenen Pegeln codiert werden kann. Die verschiedenen
Codierungspegel können
durch ein Dichtenverhältnis auf
Basis des Betrags an FEC Daten ausgedrückt werden, wobei diese Daten
für einen
bestimmten Betrag an Daten erzeugt worden sind. Auf diese Weise,
kann beispielsweise in bestimmten Systemen der FEC Codierungspegel "hoch" sein, wenn es ein
Verhältnis
gibt von einem FEC Paket für
jedes Datenpaket. In anderen Systemen kann der FEC Codierungspegel "niedriger" sein, so dass es dort
ein Verhältnis
gibt von einem FEC Paket zu jeweils vier Datenpaketen.
-
In
der nachfolgenden Beschreibung werden zur Erläuterung statt zur Begrenzung
spezifische Einzelheiten beschrieben, wie die spezielle Architektur, Schnittstellen,
Techniken usw., zum Schaffen eines guten Verständnisses der vorliegenden Erfindung. Der
Einfachheit und der Deutlichkeit halber ist auf eine detaillierte
Beschreibung durchaus bekannter Anordnungen, Schaltungsanordnungen
und Verfahren verzichtet, damit die Beschreibung der vorliegenden
Erfindung nicht durch unnötige
Einzelheiten vernebelt wird.
-
Es
wird vorausgesetzt, dass das RTP Protokoll und das RTSP Protokoll
der Lieferung von Content zu dem Kunden zugrunde liegen, da diese
Protokolle durchaus bekannt sind. Es dürfte dem Fachmann einleuchten,
dass diese Protokolle nur als Beispiel hier beschrieben werden und
dass jedes Protokoll, das die Signalisierungskennzeichen liefert,
auf die man sich verlassen kann, angewandt werden kann.
-
In
einem Aspekt bezieht sich die vorliegende Erfindung auf ein System
und auf assoziierte Verfahren zum Schaffen wenigstens eines Mediadatenschutzstreams,
unabhängig
von einem assoziierten Mediadatenstream, und weiterhin zum Schaffen
wenigstens einer Mediadatenandeutungsspur zum Erleichtern der Übertragung
des Mediadatenstreams über
ein Netzwerk und wenigstens eines Schutzdatenstreams zum Erleichtern
der Übertragung
wenigstens eines Mediadatenschutzstreams über da Netzwerk.
-
In
einem damit zusammenhängenden
Aspekt bezieht sich die vorliegende Erfindung auf ein System und
auf assoziierte Verfahren um einer Applikation die Freiheit zu gewähren ein
Fehlerschutzschema auf Antrag dynamisch zu wählen.
-
Obschon
Untenstehendes insbesondere auf MPEG-4 FGS gerichtet ist, dürfte es
dem Fachmann einleuchten, dass die vorliegende Erfindung auf vorteilhafte
Weise auf jedes skalierbare Codierungsschema angewandt werden kann.
-
Die
Grundlagen der Wirkungsweise und des Systems zum Schaffen eines
Fehlerschutzschemas gegenüber
einem IP Netzwerk kann anhand der Zeichnung und der beiliegenden
Beschreibung besser verstanden werden.
-
1 und 2,
wie nachstehend beschrieben, und die jeweiligen Ausführungsformen,
die zum beschreiben der Grundlagen der vorliegenden Erfindung in
diesem Patentdokument benutzt werden sind nur als Beispiel und sollen
nicht als den Rahmen der vorliegenden Erfindung begrenzend betrachtet
werden. Dem Fachmann dürfte
es einleuchten, dass die Grundlagen der vorliegenden Erfindung in
jedem beliebigen auf geeignete Art und Weise implementierten Videocodierer
und -decoder implementiert werden kann.
-
Die
vorliegende Erfindung schafft eine neue Architektur und spezifische
Protokolle zum Schaffen einer Fähigkeit
zum Schaffen eines adaptiven und effizienten Fehlerschutzschemas,
zur Anwendung in einem Netzwerk, wie in 1 dargestellt,
wodurch es ermöglicht
wird, dass Applikationen dynamisch in verschiedene Fehlerschutzstrategien
eingeschaltet werden können,
was noch näher
beschrieben wird.
-
1 zeigt
eine vereinfachte Darstellung einer Ausführungsform eines Systems 100,
das die vorliegende Erfindung verkörpert. Wie dargestellt sind
ein Kunde 130 und ein Server 118 über ein
Netzwerk 120 miteinander in Kommunikation. Das System 100 ist
nur ein Beispiel eines geeigneten Systems und soll nicht den Rahmen
der Verwendung oder der Funktionalität der verbesserten Verfahren und
Anordnungen, wie hier beschrieben, begrenzen.
-
Zur
Illustration wird in der nachfolgenden Beschreibung vorausgesetzt,
dass ein Audio- oder Videosignal in einen digitalen Datenstrom (einen
Mediastream) umgewandelt worden ist und in einem Netzwerk von einem
Quellenknoten 110 über
einen Server 118 zu einem Zielknoten (d.h. Kunden) 130 übertragen
werden. In der Beschreibung wird weiterhin beispielsweise vorausgesetzt,
dass der digitale Datenstrom oder Ladung in eine Sequenz von Frames oder
Ladungspaketen aufgeteilt worden ist. Nach der Ausführungsform
der vorliegenden Erfindung umfasst der Videocodierer (Quellenknoten) 110 eine
Videoframequelle 112, einen Videocodierer mit einem Basisschichtcodierer 114a und
einem Verbesserungsschichtcodierer 114b und einen Codiererpuffer 116.
Die Videoframequelle 112 kann jede beliebige Anordnung
sein, die imstande ist, eine Sequenz nicht komprimierter Videoframes
zu erzeugen, beispielsweise eine Fernsehantennen- und Empfängereinheit, einen
Videokassettenspieler, eine Videokamera, eine Diskspeicheranordnung,
die imstande ist, einen "unbearbeiteten" Videoclip zu speichern,
und dergleichen. Die nicht komprimierten Videoframes, herrührend von
einer Videoframequelle 112, gehen in den Videocodierer 114 mit
einer bestimmten Bildrate (oder "Streamingrate") hinein und werden
entsprechend einem bekannten Kompressionsalgorithmus oder einer
derartigen Anordnung, wie einem MPEG-4 Codierer komprimiert. Der
Videocodierer 114 überträgt die komprimierten
Videoframes zu dem Codiererpuffer 116 zum Puffern in Vorbereitung
auf die Übertragung über das
Datennetzwerk 120 über
den Server 118. Es sei bemerkt, dass der Videocodierer 110 entweder
extern oder in einem Allzweckserver 118 die Codierung durchführen kann.
-
Das
Datennetzwerk 120 kann jedes beliebige geeignete Netzwerk
sein und kann Teile von öffentlichen
Datennetzwerken, wie Internet, und privaten Datennetzwerken, wie
LAN, MAN oder WAN enthalten.
-
Je
nach der Applikation, kann der Zielknoten (Kunde) 130,
der Streaming Media empfängt,
verschiedenartig verkörpert
werden, als Computer, als Hand-Unterhaltungsanordnung, als Settopbox,
als Fernseher, als ASIC usw. Der Zielknoten (Kunde) 130 umfasst
einen Decoderpuffer 132, einen Videodecoder 134 und
eine Video-Wiedergabeanordnung 136.
-
2 zeigt
als Beispiel eine Architektur und assoziierte Protokolle zur Implementierung
des Schutzschemas der vorliegenden Erfindung mit ACTs 1–5, dargestellt
als A1–A5.
-
ACT1:
-
Ein
FGS codierter .mp4 Datensatz ist bei Vorgang 1 nach 2 dargestellt.
Der .mp4 Datensatz kann mit dem Videocodierer 112 codiert
werden (siehe 1), und zwar unter Anwendung
von FGS Techniken, wobei ein Teil der Videodaten zunächst zum
Erzeugen einer Basisschicht (BL) 202 verwendet wird. Eine
Verbesserungsschicht (EL) 204 wird danach erzeugt, und
zwar unter Verwendung der bewegungskompensierten Restbilder. Bewegungskompensierte
Restbilder werden danach aus der Videodaten- und Basisschicht (BL) 202 erzeugt,
und zwar unter Anwendung einer feinkörnigen Codierungstechnik. Wie
in dem Stand der Technik bekannt, stellt die FGS Codierung einen
Videoskalierbarkeitstyp dar. Bilder, codiert mit diesem Skalierbarkeitstyp
können
progressiv decodiert werden. Mit anderen Worten der Decoder kann
das Bild decodieren und Wiedergeben ohne die Notwendigkeit, dass
er alle Daten empfängt,
die zum Codieren dieses Bildes verwendet wurden. Je mehr Daten empfangen
werden, wird die Qualität
des decodierten Bildes progressiv verbessert, bis die komplette
Information empfangen, decodiert du wiedergegeben wird.
-
Nebst
der Erzeugung der FGS Basisschicht 202 und der Verbesserungsschicht 204 werden
nach den Grundlagen der vorliegenden Erfindung viele Schutzdatenströme erzeugt,
die je von dem Kunden auf Antrag dynamisch selektierbar sind. Es
sind einzelne und unabhängige
Schutzdatenströme
dargestellt, je assoziiert mit dem .mp4 Datensatz. Eine erste Schutzspur
(EP1) 206 kann Basis-Elektrode entsprechend den Grundlagen
des FEC Fehlerschutzes konstruiert werden. Eine zweite Schutzspur
(EP2) 208 kann beispielsweise entsprechend den Grundlagen
von Neuübertragungsfehlerschutz
konstruiert werden. Eine dritte Schutzspur (EP3) 210 kann
beispielsweise entsprechend einem Hybridschema konstruiert werden,
das Merkmale des FEC Fehlerschutzes und des Neuübertragungsfehlerschutzes verkörpert. Diese
drei Schutzschemen sind alle von einem Kunden auf Antrag selektierbar.
-
ACT2:
-
Die
Grundlagen von Mehrspurenandeutung werden in der ebenfalls eingereichten
US Patentanmeldung Ser. Nr. 60/451.916, eingereicht am 4. März 2003
mit dem Titel: "System
and Method for transmitting scalable video over an IP network". Nach den Grundlagen
der hier beschriebenen Mehrspurenandeutung macht ein Verarbeitungsverfahren,
hier als Mehrspurenandeutung bezeichnet, rückwärts kompatibel mit dem aktuellen
MPEG-4 Media Dateiformatstandard, es möglich, einen Allzweck MPEG-4 Streaming-Server zum effizienten
Streamen von geschichtetem Video entsprechend sich ändernder
Kanalcharakteristiken, Komplexitätsbeschränkungen und
Benutzervorzügen
zu verwenden. Das heißt,
der Server ist ohne große Änderungen
imstande, automatisch mehrere Kanäle zu verwendet (d.h. RTP Verbindungen),
wodurch dem Streaming-System die Flexibilität geboten wird um sich an Netzwerkumstände anzupassen
(beispielsweise verfügbare
Bandbreite) durch Einstellung der Anzahl skalierbarer zu übertragender
Schichten. Wenn die verfügbare
Netzwerkbandbreite abnimmt, sind weniger Andeutungsspuren beim Server
erforderlich weil ein kleinerer Teil des Videostroms skalierbar übertragen
wird entsprechend der verringerten Bandbreite.
-
Wie
in 2 dargestellt, erzeugt ein Andeutungsmodul 214 eine
Andeutungsspur (d.h. Andeutung 1) 216a um die Übertragung
der FGS codierten Basisschicht 202 über ein Datennetzwerk, wie
beispielsweise das Datennetzwerk 120, zu übertragen. Außerdem erzeugt
das Andeutungsmodul 214 eine Anzahl Andeutungsspuren, d.h.
die Andeutungsspuren 2–5) 216b–e, die
je mit der Verbesserungsschicht (EL) 204 assoziiert sind.
-
Ein
Merkmal der vorliegenden Erfindung ist, dass jede der Schutzspuren,
d.h. EP1, EP2 und EP3 auf vorteilhafte Art und Weise die Grundlagen
des Mehrspurenandeutungsverfahrens benutzen kann um dadurch Fehlerschutz
entsprechend den herrschenden Netzwerkumständen zu schaffen. Das heißt, es können viele
Andeutungsspuren verwendet werden um die Schutzspur über viele
RTP Verbindungen zu streamen wie für die .mp4 ursprüngliche Datei
durchgeführt,
wie in der oben genannten ebenfalls eingereichten Patentanmeldung
60/451.916 beschrieben. Diese Flexibilität im Streamen der Schutzspur über ein
Netzwerk ist als Beispiel in 2 dargestellt,
wobei viele Andeutungsspuren dargestellt sind, die mit jeder der
Schutzspuren, beispielsweise EP1–3, assoziiert ist. Insbesondere
erzeugt für
die erste Schutzspur EP1 206 der Andeuter 214 Andeutungsspuren
6 und 7, durch 216f und 216g bezeichnet. Für die Schutzspur
EP2 208 erzeugt der Andeuter 214 Andeutungsspuren
8, 9 und 10, durch 216h, 216i bzw. 216j bezeichnet.
Assoziiert mit der Schutzspur EP3 210 erzeugt der Andeuter 214 eine
einzige Andeutungsspur 11, 216k.
-
In
dem vorliegenden Kontext bleiben die Lehren der oben genannten ebenfalls
eingereichten Patentanmeldung 60/451.916 die gleichen, aber außerdem werden
Andeutungsspuren verwendet um Schutzspuren zum Schützen von
Datenströmen,
die über
ein Netzwerk übertragen
werden, zu übertragen.
Insbesondere können
die Schutzdatenströme skalierbar über das
Netzwerk übertragen
werden, und zwar entsprechend einem gemessenen Netzwerkzustand.
Aber der Netzwerkzustand des Knotens in dem vorliegenden Kontext
ist nicht die Bandbreite, was für
den Videodatenstrom gilt, sondern vielmehr die gemessene Paketverlustrate.
Da die Paketverlustrate derart bestimmt wird, dass diese zunimmt,
gibt es ein Bedürfnis
nach einem größeren Fehlerschutz.
Auf entsprechende Weise werden zusätzliche Andeutungsspuren über die
Anzahl, die anfangs benutzt wurde zum Ermöglichen der Übertragung
der Schutzdatenströme
verwendet um die gemessene Zunahme der Paketverlustrate zu kompensieren.
-
Als
spezifisches Beispiel sei auf das Beispiel der Schutzspur EP2 208 verwiesen,
mit der drei Andeutungsspuren 8–10, 216h–j assoziiert
sind, die gleichzeitig mit EP2 208 erzeugt wurden. Wenn
nun vorausgesetzt wird, dass die anfangs gemessene Paketverlustrate
derart ist, dass ein Subsatz von drei Andeutungsspuren zunächst erforderlich
sind um den skalierbaren Teil des Schutzdatenstroms EP2 208,
notwendig zum Befriedigen einer vorbestimmten Paketverlustschwelle,
beispielsweise Andeutungsspur 9 216h zu ermöglichen.
Es wird nun vorausgesetzt, dass die Paketverlustrate an einer bestimmten
Stelle zunimmt. Dann kann es nötig
sein, eine oder mehrere zusätzliche
Andeutungsspuren assoziiert mit dem Schutzdatenstrom EP2 208 zum Kompensieren
des degradierten Netzwerkzustandes zu benutzen (d.h. Zunahme in
der Paketverlustrate). So kann es beispielsweise an einer bestimmten
Stelle erforderlich sein, alle drei Andeutungsspuren 8–10 216h–j zu benutzen
um dadurch den höchsten
skalierbaren Teil des Schutzdatenstroms EP2 208 zu schaffen.
-
Die
oben stehende Beschreibung dient zur Erläuterung eines einzigen Merkmals
der vorliegenden Erfindung. Da das der Fall ist, können die
neuen Schutzdatenströme
skalierbar über
das Netzwerk übertragen
werden, und zwar auf dieselbe Art und Weise wie der entsprechende
Datenstrom, wobei der Unterschied ist, dass der entsprechende Videostrom skalierbar
modifiziert ist, und zwar entsprechend einer gemessenen Änderung
in der Netzwerkbandbreite, während
die Schutzdatenströme
skalierbar modifiziert sind entsprechend der gemessenen Änderung in
der Paketverlustrate. In dem ersten Fall sind, wenn die Band breite
verringert ist, weniger Andeutungsspuren erforderlich. Auf gleiche
Weise, und in dem letzteren Fall sind, wenn die Paketverlustrate
verringert ist, weniger Andeutungsspuren erforderlich.
-
ACT 3:
-
Entsprechend
den Grundlagen der vorliegenden Erfindung kann der Kunde 130 zu
jedem beliebigen Zeitpunkt sich dynamisch abonnieren oder den Empfang
eines Schutzkanals abbestellen. Auf entsprechende Weise braucht
der Kunde 130 die Empfangsqualität zu überwachen und aktiv den Schutzkanal
auszulösen,
wenn dies für
notwendig angesehen wird. Zum Auslösen von Fehlerschutz nach dem
Verfahren der vorliegenden Erfindung muss ein Kunde zunächst auf
den in dem Server verfügbaren
Typ des Fehlerschutzes hingewiesen werden. An sich ist ein Mechanismus
erforderlich zum Informieren der Kunden über die Verfügbarkeit
und der Beschreibung der Fehlerschutztypen, die vom Server aus verfügbar sind.
Dieser Mechanismus wird vorzugsweise dadurch durchgeführt, dass
zunächst
ein SDP Protokoll zwischen dem Kunden und dem Server durchgeführt wird.
-
Im
Allgemeinen ist SDP ein Protokoll, vorgesehen zur Beschreibung von
Multimediasessionen zur Sessionsankündigung, zur Sessionseinladung und
für andere
Formen von Multimediasessionseinladung. Es wird ebenfalls beibehalten
durch IETF und weitere Information in Bezug auf SDP befindet sich im
Internet auf www.ietf.org im Allgemeinen und auf www.ietf.org/rfc/rfc2327.txt
insbesondere. Die vorliegende Erfindung erweitert die Funktionalität von SDP um
Protokolle zu umfassen, die zusätzliche
Information zu dem Kunden schicken, und zwar in Bezug auf die Verfügbarkeit
und die Charakteristiken des im Server verfügbaren Fehlerschutzes.
-
Im
Betrieb wird das SDP Protokoll zwischen Kunde und Server durchgeführt, und
zwar vor der Beantragung eines Abos für eine Videodatei, beispielsweise
eine .mp4 Datei. Die SDP Protokollsession liefert dem Kunden Information über die
Session. Das Wichtigste dabei ist, dass der Kunde aufmerksam gemacht
wird über
welche Optionen in Bezug auf Fehlerschutz verfügbar sind. Und zwar die verfügbaren Fehlerschutztypen,
die Spurnummern usw. Der Kunde speichert diese Information, die
dann später
verwendet werden kann, wenn der Kunde während der Übertragung der Videoquellendatei
an einer bestimmten Stelle ermitteln soll, dass Fehlerschutz gewährleistet
wird.
-
In
dem Fall, dass der Kunde ermittelt, dass Fehlerschutz berechtigt
ist, beantragt der Kunde Fehlerschutz dadurch, dass er zunächst bei
dem Server eine Abo beantragt, und zwar unter Anwendung des RTSP
Protokolls. Wie oben beschrieben, ist das RTSP Protokoll ein Protokoll
auf Applikationspegel, das eine Sessionsunterhandlung und einen
Inhaltsbeschreibungsmechanismus bietet. Das heißt, das RTSP Protokoll beschreibt,
wie Content von einem Server zu einem Kunden streamen soll. Der
Antrag wird über
das Ip Netzwerk 120 unter Anwendung einer allgemeinen IP
basierten Paketumschalttechnologie, wie TCP ("Transmission Control Protocol") übertragen.
Wie in dem betreffenden technischen Bereich durchaus bekannt, ist
das TCP Protokoll ein Netzwerkprotokollsystem, das von dem Computer- oder
Netzwerkbetriebssystem und von Architekturunterschieden unabhängig ist.
Wenn nun vorausgesetzt wird, dass es zwischen dem Kunden und dem
Server keinen vorher bestehenden Kommunikationskanal gibt, empfängt ein
Server eine Abo-Beantragung
von dem Kunden. Ein Beispiel einer Abo-Beantragung eines Kunden
kann die nachfolgende Form haben:
-
Kunde → Server
-
- 1. SET_PARAMETER rtsp://130.140.67.83/sample.mp4
RTSP/1.0
- 2. CSeq: 32
- 3. Session: 3453643
- 4. Content-length: 35
- 5. Content-type:text/bool/integer
- 6. Track: 11:1 .//the 11th track Informationssignal set
to be 1 (ACTIVE)
- 7. Range: 34521–34570
//50 packets are required, (start seq. # – end seq. #)//
-
Von
besonderer Bedeutung in der oben stehenden Abo-Beantragung sind
die Zeilen 6 und 7. Insbesondere soll der Kunde eine Abo-Beantragung machen
zum Aktivieren der Schutzspur 11 für den Bereich von Paketen,
die durch die Paketidentifizierer 34521–34570 bezeichnet sind. Das
heißt,
der Kunde hat einen Beschluss gefasst, dass der betreffende Bereich
bestimmter Pakete zerstört
oder fallen gelassen worden ist und wünscht sie über den Schutzkanal 11 wiederzugewinnen.
Der Schutzkanal 11 kann zu jeder beliebigen Anzahl Fehlerschutzschemen,
einschließlich
des FEC Fehlerschutz-, des Neuübertragungsfehlerschutz-
oder des Hybridschemas, die von dem Server geliefert werden, synchron sein.
-
Unter
Bezugnahme der 2 kann der Schutzkanal 11 beispielsweise
synchron zu der Schutzspur EP1 oder EP2 oder aber EP3 sein.
-
In
Reaktion auf die kundenbasierte Abo-Beantragung kann der Server
mit einer Bestätigung
auf den Kunden antworten, wobei diese Bestätigung die nachfolgende Form
haben kann:
-
Server → Kunde
-
- 1. RTSP/1.0 200OK
- 2. Cseq: 32
- 3. Date: 28 Jan 2002 15:33:10 GMT
-
Wie
in der Zeile 6 der oben stehenden Abo-Beantragung betont, sei es
bemerkt, dass ein Merkmal der vorliegenden Erfindung die Flexibilität ist, die
dadurch geboten wird, dass einem Kunden die Möglichkeit geboten wird, aus
den vielen in dem Server verfügbaren
Fehlerschutzschemen ein Schutzschema dynamisch zu selektieren. Diese
Flexibilität steht
im Kontrast zu den bekannten Annäherungen, die
einen Kunden darauf beschränkten,
nur ein einziges unveränderliches
Fehlerschutzverfahren zu selektieren, beispielsweise entweder Neuübertragung FEC
Schutz. Auf vorteilhafte Weise werden durch Beibehaltung des Schutzkanals
bzw. der Schutzkanäle
als separate einzelne Datenströme
nebst dem entsprechenden Datenstrom, viele Fehlerschutzoptionen
dem Kunden auf Antrag zur Verfügung
gestellt. Weiterhin kann durch Trennung von Schutzdaten von geschützten Daten
eine Änderung
der Schutzdaten den Schutzpegel oder die Schutzstrategie ändern, aber
die Schutzprozeduren bleiben die gleichen.
-
Nachstehend
wird detailliert beschrieben, wie ein Kunde ein Schutzschema aus
den Schutzschemen selektiert, die in dem Server verfügbar sind.
-
Nach
einer Ausführungsform
kann ein Schutzschema vom Kunden über den Bereichsparameter selektiert
werden (siehe oben Zeile 7, beispielsweise Bereich: 34521–34570).
Das heißt,
wenn die Endsequenznummer in dem Bereich, beispielsweise 34570,
als unendlich als Teil des Antrags spezifizieret ist, kann der Server
annehmen, dass der Kunde beispielsweise eine Fehlerschutzform vom FEC
Typ wünscht.
Auf alternative Weise kann, wenn die Endsequenznummer der Anfangssequenznummer
+ 1 entspricht, angenommen werden, dass der Kunde eine Schutzart
vom Neuübertragungstyp wünscht. Wenn
keine der beiden Optionen selektiert wird, wird angenommen, dass
der Kunde eine Hybridübertragungsmode
wünscht
(beispielsweise eine Kombination von FEC und Neuübertragung), wie in dem oben
stehenden Beispiel angegeben (beispielsweise Endsequenznummer > 1 + Startsequenznummer
und nicht gleich unendlich).
-
Andere
Moden zum Selektieren eines Schutzschemas, an dieser Stelle nicht
explizit genannt, liegen ebenfalls im Rahmen der vorliegenden Erfindung.
-
Unter
abermalige Bezugnahme auf 2 ladet
nach der Sendung der Bestätigung
in Antwort auf den Abo-Antrag des Kunden der Server die betreffenden
Andeutungsspuren und schafft eine RTP Verbindung für jede Andeutungsspur.
In dem dargestellten Beispiel wird die RTP Verbindung 218a für die Andeutungsspur
1, 216a geschaffen, die RTP Verbindungen 218b–e werden
für die
Andeutungsspuren 216b–e
geschaffen. Es wird nun vorausgesetzt, dass zur Erläuterung
diese Schutzspur EP1 von dem Kunden 130 selektiert wird,
in dem Fall werden die Andeutungsspuren 6 und 7, 216f bzw. 216g,
geladen und die RTP Verbindungen 218f und 218g werden geschaffen.
Es dürfte
einleuchten, dass zusätzliche zugeordnete
RTP Verbindungen, beispielsweise 218f und 218g geschaffen
werden zum Ermöglichen der Übertragung
von Schutzdaten.
-
ACT 4:
-
In
dem Vorgang 4 schafft der Kunde 130 eine entsprechende
RTP Verbindung mit denjenigen, die oben in dem Vorgang 3 beschrieben
wurden um die Übertragung
der Videodaten und der entsprechenden Schutzspurdaten zu ermöglichen.
-
ACT 5:
-
In
dem Vorgang 5 werden die übertragenen FSG
codierten Videodatenströme,
d.h. BL 202 und EL 204 decodiert und wiedergegeben.
-
Die
oben stehenden Beschreibungen von spezifischen Ausführungsformen
der vorliegenden Erfindung sind zur Erläuterung und zur Beschreibung gegeben
worden. Sie bezwecken nicht die vorliegende Erfindung zu erschöpfen oder
auf die beschriebenen genauen Formen zu begrenzen, und offensichtlich
sind viele Modifikationen und Abwandlungen im Lichte der oben stehenden
Lehre möglich.
Die Ausführungsformen
wurden derart gewählt
und beschrieben, dass die Grundlagen der vorliegenden Erfindung
und die praktische Anwendung derselben am besten erläutert wurden,
damit andere Fachleute die vorliegende Erfindung und viele Abwandlungen
mit mehreren Modifikationen am besten be nutzen können. Es wird beabsichtigt,
dass der Rahmen der vorliegenden Erfindung durch die beiliegenden
Patentansprüche
definiert wird.