DE102014207607B4

DE102014207607B4 - System und Verfahren zur Verarbeitung von Videodaten

Info

Publication number: DE102014207607B4
Application number: DE102014207607.2A
Authority: DE
Inventors: Wade Keith Wan; Darren Duane Neuman; Jason William Herrick
Original assignee: Avago Technologies International Sales Pte Ltd
Current assignee: Avago Technologies International Sales Pte Ltd
Priority date: 2013-04-25
Filing date: 2014-04-23
Publication date: 2019-09-19
Anticipated expiration: 2034-04-24
Also published as: CN104125501A; DE102014207607A1; CN110139107A

Abstract

Verfahren zur Videoverarbeitung, wobei das Verfahren aufweist:
Empfangen eines ersten Videostreams, der Videorahmen mit einer ersten Auflösung aufweist, wobei zumindest einer der Videorahmen mit einer ersten Auflösung definiert ist, um eine Vielzahl von Videorahmen mit einer zweiten Auflösung aufzuweisen;
Zuschneiden der Vielzahl von Videorahmen mit einer zweiten Auflösung von dem Videorahmen mit einer ersten Auflösung; und
Erzeugen eines zweiten Videostreams basierend auf den Videorahmen mit einer zweiten Auflösung der Videorahmen mit einer ersten Auflösung.

Description

Technisches Gebiet
Die vorliegende Offenbarung betrifft allgemein ein System und ein Verfahren zum Verarbeiten von Videodaten und genauer ein System und ein Verfahren zum Verarbeiten von Videodaten, die Videodaten mit niedrigerer Auflösung, die in Videodaten mit höherer Auflösung eingebettet sind, umfassen.
Hintergrund
Moderne Videosysteme verschieben weiterhin die Grenzen von Videoauflösung. Jedoch werden moderne Videosysteme nicht immer mit Videos versorgt, die eine Auflösung aufweisen, die deren maximal unterstützter Auflösung entsprechen. Oft werden dem System Videos bereitgestellt, die niedriger sind als die maximal unterstützte Auflösung. Mit dem Speicher und der Hardware, um das Videoformat mit höherer Auflösung zu unterstützen, wird das System nicht effektiv ausgenutzt wenn Videostreams von älteren Standards mit niedrigerer Auflösung unterstützt werden.
EP 0 578 201 B1 beschreibt ein Verfahren zur Übertragung eines Videosignals, wobei eine Vielzahl von TV-Signalen niedriger Auflösung, eingegeben von entsprechenden Eingabeanschlüssen, mit Hilfe einer Synthetisierungseinrichtung konvertiert werden, um ein zusammengesetztes Vielkanal-TV-Signal hoher Auflösung zu generieren.
US 2010/0091181 A1 beschreibt ein System und ein Verfahren zur mehrstufigen Frameratenkonvertierung, wobei das Verfahren das Empfangen eines eingehenden Rahmens mit einer ersten Rahmenrate und das Bestimmen, ob ein Fehlerzustand vorliegt, umfasst.
Es eine Aufgabe der vorliegenden Erfindung, ein verbessertes System und Verfahren zum Verarbeiten von Videodaten bereitzustellen, welche Videodaten mit niedrigerer Auflösung, die in Videodaten mit höherer Auflösung eingebettet sind, umfassen.
Diese Aufgabe wird erfindungsgemäß durch ein Verfahren zur Videoverarbeitung mit den Merkmalen des Anspruchs 1, durch ein System zum Codieren von Videodaten mit den Merkmalen des Anspruchs 9 und durch eine Vorrichtung zum Verarbeiten von Videodaten mit den Merkmalen des Anspruchs 15 gelöst.
Figurenliste

1 ist ein Diagramm eines Videorahmens mit einer ersten Auflösung, der eine Vielzahl von Videorahmen mit einer zweiten Auflösung umfasst;
2 ist ein Blockdiagramm eines Systems zum Codieren eines Videorahmens einer ersten Auflösung, der eine Vielzahl von Videorahmen einer zweiten Auflösung umfasst;
3 ist ein System zum Decodieren eines Videorahmens einer ersten Auflösung, der eine Vielzahl von Videorahmen einer zweiten Auflösung umfasst;
4 ist ein Blockdiagramm, das eine Vielzahl von Betriebsarten für das in 3 vorgestellte System demonstriert;
5 ist ein Ablaufdiagramm eines Verfahrens zum Decodieren eines Videostreams einer ersten Auflösung, der Videoinhalt einer zweiten Auflösung umfasst;
6 ist ein Diagramm eines Videorahmens einer ersten Auflösung, der eine Vielzahl von Videorahmen einer zweiten Auflösung umfasst, der dreidimensionalen Inhalt enthält;
7 ist ei Blockdiagramm eines Systems zum Decodieren eines Videostreams, der dreidimensionalen Videoinhalt umfasst;
8 ist ein Ablaufdiagramm eines Verfahrens zum Decodieren eines Videostreams, der dreidimensionalen Videoinhalt umfasst;
9 ist ein Diagramm eines Videorahmens einer ersten Auflösung, der eine Vielzahl von Videorahmen mit einer erhöhten Rahmenrate umfasst; und
10 ist ein System zum Decodieren eines Videorahmens einer ersten Auflösung, der eine Vielzahl von Videorahmen mit einer erhöhten Rahmenrate und einer zweiten Auflösung umfasst; und
11 ist ein Diagramm eines Videorahmens mit einer ersten Bittiefe gemäß den Lehren der Offenbarung.

DETAILLIERTE BESCHREIBUNG
Bezug nehmend auf 1 wird ein Diagramm eines Videorahmens bereitgestellt. Der Videorahmen kann eine erste Auflösung aufweisen und eine Vielzahl von Videorahmen mit einer zweiten Auflösung umfassen. In dieser Implementierung kann der Videorahmen mit der ersten Auflösung einen Videorahmen mit höherer Auflösung bzw. einen höher auflösenden Videorahmen 102 definieren und der Videorahmen mit der zweiten Auflösung kann Videorahmen mit niedrigerer Auflösung bzw. niedriger auflösende Videorahmen 104 definieren. Die Videorahmen mit niedrigerer Auflösung 102 können kombiniert einen kombinierten Rahmen mit höherer Auflösung 106 bilden. Der Videorahmen mit höherer Auflösung 102 kann eine Pixelauflösung von 3840x2160 aufweisen, was allgemein als 4kx2k-Auflösung oder Ultra-HD-Auflösung bekannt ist. In manchen Ausführungsbeispielen kann die Rahmenrate des Videorahmens mit höherer Auflösung zum Beispiel gleich 120 Hz sein. Es ist jedoch zu verstehen, dass die Rahmenrate irgendeine andere Videorahmenrate sein kann (zum Beispiel 60 Hz, 240 Hz, 480 Hz, usw.). Die kombinierten Rahmen höherer Auflösung 106 können ebenso eine Gesamtauflösung von 3840x2160 aufweisen. Die kombinierten Rahmen höherer Auflösung 106 können weiterhin eine Vielzahl von Videorahmen mit niedrigerer Auflösung umfassen, wie etwa 1080p-Auflösung (das heißt, jeweils mit einer Pixelauflösung von 1920x1080).
In diesem Beispiel kann der kombinierte Rahmen mit höherer Auflösung 106 eine Vielzahl von Abschnitten oder Sektionen aufweisen, die entsprechenden Videoinhalt beinhalten. In einem oder mehreren Ausführungsbeispielen entsprechen diese einem ersten Rahmenquadranten 108, einem zweiten Rahmenquadranten 110, einem dritten Rahmenquadranten 112 und einem vierten Rahmenquadranten 114. Die vier unterschiedlichen Programme können in jedem der Rahmenquadranten 108, 110, 112, 114 angezeigt werden. Weiterhin kann jeder der Rahmenquadranten 108, 110, 112, 114 eine 1080p-Auflösung aufweisen.
Obwohl in dieser Implementierung die Auflösungen von 1080p und 4kx2k beschrieben sind, können andere Videoauflösungen entsprechend dieser Offenbarung angewendet werden, zum Beispiel 720x480, 1280x720, 8kx4k sowie andere Standard- und Nichtstandardvideoauflösungen. In manchen Implementierungen kann die Vielzahl von Rahmen irgendeine Anzahl von Rahmen aufweisen, die in einer Vielzahl von Regionen eines kombinierten Rahmens mit höherer Auflösung lokalisiert sind. Zum Beispiel kann die Vielzahl von Rahmen zwei bis zehn Rahmen aufweisen, die in einer entsprechenden Anzahl von Regionen in einem kombinierten Rahmen mit höherer Auflösung lokalisiert sind. Die Vielzahl von Rahmen kann weiterhin innerhalb eines einzelnen kombinierten Rahmens mit höherer Auflösung hinsichtlich einer Auflösung variieren. Zum Beispiel kann ein kombinierter Rahmen mit höherer Auflösung drei 1080p-Rahmen, einen 1280×720-Rahmen und einen 640x360-Rahmen aufweisen.
Die Ausdrücke, Programme und der Videoinhalt, die hierin angewendet werden, können sich auf eine Vielzahl von Formen von Videostreams, Videoinhalt, Kamerawinkeln, Videos, die über Softwareprogramme aufgenommen werden, Computerprogramme, dreidimensionalen Videoinhalt und andere Arten von Video beziehen. In dieser Implementierung können Rahmen von vier unabhängigen Videostreams in dem kombinierten Rahmen mit höherer Auflösung 106 eingebettet werden. Zum Beispiel können vier 1080p-Videostreams gleichzeitig in einem einzelnen 4kx2k-Videostream geliefert werden. Die Ausdrücke höhere Auflösung und niedrigere Auflösung, wie hierin verwendet, werden verwendet, um die relative Auflösung einer ersten Auflösung und einer zweiten Auflösung zu vergleichen und sollten nicht als die Offenbarung beschränkend betrachtet werden. Allgemein kann sich der Ausdruck Auflösung auf eine Pixelauflösung eines Videorahmens beziehen. In zumindest einer Implementierung kann sich die Auflösung jedoch auf eine Pixeltiefe, Bittiefe oder Farbtiefe beziehen, wie nachstehend diskutiert wird.
Bezug nehmend auf 2 ist ein Blockdiagramm eines Systems 202 zum Codieren eines Videorahmens mit einer ersten Auflösung gemäß den Lehren der Offenbarung gezeigt. Der Videorahmen mit der ersten Auflösung kann weiterhin eine Vielzahl von Videorahmen mit einer zweiten Auflösung umfassen. Das System kann allgemein einen Rahmenprozessor 204, einen Speicher 206, einen Videorahmenkompilierer 208 und einen Codierer 210 umfassen. Der Speicher in diesem System 202 und den anderen Systemen, die in dieser Offenbarung hindurch beschrieben werden, kann verschiedene Formen von Speichern, zum Beispiel Zufallszugriffsspeicher (RAM), dynamischer RAM (DRAM), synchroner DRAM (SDRAM) und andere Arten von Speichern, die zum Speichern von digitalen Informationen konfiguriert sind, umfassen.
In dieser bestimmten Implementierung kann der Rahmenprozessor 204 dazu konfiguriert sein, individuelle Videorahmen mit niedrigerer Auflösung abzurufen und jeden Videorahmen in dem Speicher 206, zum Beispiel einen DRAM, zwischenzuspeichern. Der Speicher 206 kann eine ausreichende Kapazität zum Speichern einer Vielzahl von zwischengespeicherten Videorahmen entsprechend zumindest einem Videorahmen mit höherer Auflösung aufweisen. In dieser Implementierung können die Videorahmen mit niedrigerer Auflösung 214a, 214b, 214c und 214d 1080p-Videorahmen sein und der Videorahmen mit höherer Auflösung kann ein 4kx2k-Videorahmen sein. Der Videorahmenkompilierer 208 kann individuelle Videorahmen mit niedrigerer Auflösung abrufen und die Rahmen kombinieren, um einen einzelnen Videorahmen mit höherer Auflösung (zum Beispiel 4kx2k) zu bilden. Sobald der Videorahmen mit höherer Auflösung kompiliert wurde, kann ein Codierer jeden Videorahmen mit höherer Auflösung abrufen. Der Codierer kann dann jeden Videorahmen codieren, um einen Ausgabevideostream mit hoher Auflösung in einer komprimierten Form zu erzeugen. Der Ausgabevideostream kann später durch einen Decodierer als Teil einer Videozuspielung verarbeitet und dekomprimiert werden.
Bezug nehmend nun auf 1 und 2 kann der Kompilierer die Rahmen mit niedrigerer Auflösung 104 in einer Vielzahl von Anordnungen und Sequenzen gruppieren. Die bestimmte Anordnung der Videorahmen mit niedrigerer Auflösung sowie andere Charakteristika von jedem der Rahmen können durch den Kompilierer gesammelt und in Metadaten durch den Codierer eingebettet werden. Die Metadaten können allgemein Informationen umfassen, die das Vorhandensein und die Anordnung der Rahmen mit niedrigerer Auflösung 104 in dem kombinierten Rahmen mit höherer Auflösung 106 angeben. Die Metadaten können weiterhin andere charakteristische Informationen über die Rahmen mit hoher und niedriger Auflösung umfassen, zum Beispiel die Auflösung, Komprimierungsdaten, Rahmenrate, Farbtiefe und irgendwelche Informationen, die die Videorahmen mit niedrigerer Auflösung mit den Videorahmen mit höherer Auflösung in Beziehung bringen. Der Ausdruck Metadaten kann sich auf verschiedene Formen von Daten beziehen, zum Beispiel Header-Informationen, Daten-Token, Datenpakete oder andere identifizierende Informationen, die in dem Videostream empfangen werden können.
Bezug nehmend nun auf 3 wird ein System zum Decodieren eines Videorahmens mit einer ersten Auflösung gemäß den Lehren der Offenbarung gezeigt. Der Videorahmen mit der ersten Auflösung kann weiterhin eine Vielzahl von Videorahmen mit einer zweiten Auflösung umfassen. Das Decodierungssystem 302 kann allgemein einen Decodierer 304, eine Speichereinheit 306, zum Beispiel in der Form eines DRAM, einen Videoskalierer 308 und einen Videosetzer 310 umfassen. Als Antwort auf das Empfangen eines eingehenden Videostreams kann das System 302 einen oder mehrere Videorahmen des Videostreams mit hoher Auflösung in der Speichereinheit 306 zwischenspeichern. Der Decodierer 304 kann auf Metadaten des Rahmens in der Speichereinheit 306 zugreifen, um die Charakteristika des eingehenden Videostreams mit hoher Auflösung zu bestimmen. Der Decodierer 304 kann dann die Metadaten entsprechend einem oder mehreren Videorahmen mit höherer Auflösung des Videostreams mit hoher Auflösung interpretieren, um identifizierende Informationen über jeden Videorahmen mit höherer Auflösung zu bestimmen. Die identifizierenden Informationen können angeben, dass der eingehende Videostream mit hoher Auflösung herkömmliche Videodaten, zum Beispiel einen einzelnen Rahmen von Videodaten für ein einzelnes Programm, umfasst oder dass innerhalb jedes Videorahmens mit höherer Auflösung eine Vielzahl von Videorahmen mit niedrigerer Auflösung eingebettet sind. Die Charakteristika des eingehenden Videostreams mit hoher Auflösung können dann in dem gesamten Decodierungssystem angewendet werden, um eine Vielzahl von Videorahmen mit niedrigerer Auflösung für eine Anzeige zu verarbeiten.
Da der Decodierer 304 jedes Video mit höherer Auflösung von dem Videostream dekomprimiert, kann jeder Videorahmen mit höherer Auflösung in der Speichereinheit 306 gespeichert werden. Ein Videozuspieler 312 kann dann einen oder mehrere Videorahmen mit höherer Auflösung abrufen und jeden Videorahmen mit höherer Auflösung einem Videoskalierer 308 bereitstellen. Der Videoskalierer 308 kann dann jeden der Videorahmen mit niedriger Auflösung zuschneiden und anordnen, wie durch die Metadaten, eine Steuerung, oder eine Benutzereingabe angewiesen ist. Nach einer Dekomprimierung kann die Vielzahl von Videorahmen vier 1080p-Videostreams (zum Beispiel 1080p-Programme) bei 120 Hz, die als ein 4kx2k-Videorahmen bei 120 Hz empfangen werden, entsprechen.
Die skalierten Videorahmen von dem Videoskalierer 308 können dann durch eine Rahmenaufnahme- bzw. Rahmenerfassungseinheit 316 aufgenommen bzw. erfasst werden. Die Rahmenerfassungseinheit 316 kann die Skalierung und Position von jedem Videorahmen mit niedrigerer Auflösung zur Anzeige in einem einzelnen Videorahmen mit höherer Auflösung aufnehmen bzw. erfassen. Nach einer Rahmenerfassung kann ein kombinierter Videorahmen mit höherer Auflösung, der eine Vielzahl von Videorahmen mit niedrigerer Auflösung umfasst, dem Videosetzer 310 zugeführt werden. Der Videosetzer 310 kann dann jeden Rahmen in einem finalen Videoformat zusammensetzen, um zusätzlich gerenderte Graphiken und Verbesserungen hinzuzufügen. Das finale Format des kombinierten Videorahmens mit höherer Auflösung kann dann von dem Setzer an eine Anzeigeeinheit ausgegeben werden. Um eine flexible Betrachtungserfahrung bereitzustellen, kann das System 302 weiterhin eine Benutzereingabe vorsehen, die dazu konfiguriert ist, Betrachtungsbetriebsarten zu ändern, wie in 4 demonstriert ist.
Bezug nehmend auf 4 ist eine Blockdiagrammdarstellung von Videobetriebsarten, die über das Decodierungssystem 302 ausgegeben werden können, gemäß den Lehren der Offenbarung gezeigt. In einer ersten Betriebsart 402 kann ein Videoskalierer vier Videorahmen mit niedrigerer Auflösung abrufen. Jeder der Videorahmen mit niedrigerer Auflösung kann durch einen Videoskalierer 404 zugeschnitten und skaliert werden. Der Videoskalierer 404 ermöglicht eine Anzeige der Videorahmen mit niedrigerer Auflösung in einem einzelnen Rahmen mit höherer Auflösung. Eine Rahmenerfassung des einzelnen Rahmens mit höherer Auflösung kann dann durch eine Rahmenerfassungseinheit 406 vervollständigt werden. Jedes der Programme kann durch einen Setzer 405 und ein Ausgabemodul 407 zur Ausgabe an einen Anzeigebildschirm 408 verarbeitet werden. Die Videorahmen mit niedrigerer Auflösung können gleichzeitig angezeigt werden, wie durch Programm 1, Programm 2, Programm 3 und Programm 4 gezeigt ist, oder in irgendeiner Variation der gezeigten Positionen. In der ersten Betriebsart 402 werden vier unabhängige Videobildschirme mit niedrigerer Auflösung gleichzeitig auf einer Anzeige mit hoher Auflösung 408 gezeigt. In diesem Beispiel kann jeder individuelle Rahmen mit niedrigerer Auflösung einen 1080p-Rahmen umfassen, der innerhalb eines 4kx2k-Rahmens mit hoher Auflösung bereitgestellt ist.
In einer zweiten Betriebsart 410 kann ein Benutzer es vorziehen, ein einzelnes Programm, zum Beispiel Programm 1, auf dem gesamten Bildschirm anzuschauen. Der Benutzer kann anfordern, dass diese Betriebsart aktiviert wird, so dass Programm 1 im Vollbild auf der Anzeige 412 gezeigt wird. In diesem Fall kann der Videoskalierer 414 jeden Rahmen von Programm 1 zuschneiden und hochskalieren. Zusätzlich kann die Rahmenerfassungseinheit 416 jeden Rahmen von Programm 1 für eine Vollbildanzeige erfassen. Der Videorahmen kann durch den Setzer 415 und das Ausgabemodul 417 für eine Vollbildausgabe auf der Anzeige 412 verarbeitet werden. Ein Benutzer kann dann Programm 1 in einem herkömmlichen Betrachtungsformat anschauen.
Eine dritte Betriebsart 418 kann ähnlich der zweiten Betriebsart 410 durch Abrufen und Hochskalieren eines einzelnen Rahmens entsprechend Programm 2 aktiviert werden. Der Videoskalierer 422 kann den einzelnen Videorahmen entsprechend Programm 2 dann hochskalieren. Weiterhin kann die Rahmenerfassungseinheit 424 den Rahmen mit höherer Auflösung für Programm 2 erfassen. Der Videorahmen kann durch den Setzer 425 und das Ausgabemodul 427 verarbeitet werden. Dann kann Programm 2 in einem hochskalierten Format mit höherer Auflösung auf der Anzeige 420 angezeigt werden. Andere Betriebsarten können ebenso für ein drittes Programm und ein viertes Programm ähnlich den Betriebsarten 410 und 418 angewendet werden. Andere Implementierungen können weiterhin vorsehen, dass eine Vielzahl von Videorahmen mit niedrigerer Auflösung in einem einzelnen Videorahmen mit höherer Auflösung gespeichert werden und können weiterhin Unterrahmen der vier Rahmen, die in 408 gezeigt sind, oder Teilabschnitte entsprechend irgendeiner Auflösung oder einer Vielzahl von Auflösungen, die in einem einzelnen Videorahmen mit höherer Auflösung angeordnet oder in diesen übertragen werden können, umfassen. Zum Beispiel können mehrere Rahmen mit Auflösungen von 1080p, 720p und 480p (DVD-Auflösung) in einem einzelnen größeren 1080p-, 4kx2k- oder 8kx4k-Videorahmen kombiniert werden. Andere Standard- und Nichtstandardvideoauflösungen können in Übereinstimmung mit der Offenbarung ebenso angewendet werden.
Der Ausdruck Programm kann in dieser Offenbarung generisch verwendet werden, um einen breiten Bereich von Videoinhalt zu beschreiben. In manchen Implementierungen können die Rahmen mit niedrigerer Auflösung eine Vielzahl von Kamerawinkeln umfassen, die einer Live-Rundsendung oder einer im Voraus aufgezeichneten Rundsendung entsprechen. Zum Beispiel kann eine Vielzahl von Kameraansichten eines Sportereignisses als Programme 1, 2, 3 und 4 angezeigt werden. In anderen Implementierungen kann eine Vielzahl von unabhängigen Videoinhalten als Programme 1, 2, 3 und 4 angezeigt werden. Andere Beispiele von Implementierungen für Programme können weiterhin zumindest eines der Programme umfassen, die gerenderten Videoinhalt in der Form von Werbung, Videohighlights, Wettervorhersagen, Wertungen, Punkten oder irgendeinem anderen Videoinhalt umfassen. Bei der Implementierung mit mehreren Kameraansichten kann der Benutzer anfordern, dass das System zwischen den Kameraansichten in einer Vollbildbetriebsart umschaltet (siehe 412 und 420) oder die Kamerawinkel gleichzeitig anzeigt 408.
In einer weiteren Implementierung kann zumindest eines der Programme einen zielgerichteten Videostream, der zielgerichteten Marketinginhalt für einen bestimmten Betrachter umfasst, aufweisen. In dieser Implementierung kann der Inhalt gleichzeitig für eines oder mehrere Programme, wie in 408 gezeigt ist, bereitgestellt werden. Zusätzlich kann der Inhalt als Reaktion auf Metadaten, die in einem eingehenden Videostream empfangen werden, oder eine Benutzeranforderung, umgeschaltet werden, um als Vollbild angezeigt zu werden, wie in Blöcken 412 und 420 gezeigt ist. Andere Beispiele von Programmen können Computersoftwarevideoinhalt und andere computeranwendungsbezogenen Inhalt aufweisen. In diesen Implementierungen kann eine Anzeigepräferenz durch Metadaten, die in dem Videostream empfangen werden, identifiziert werden und kann ebenso durch eine Benutzerpräferenz identifiziert werden. Die Metadaten können Regeln umfassen, die angeben, dass die Werbung für eine geforderte Zeitperiode angezeigt wird, bevor ein Benutzer zu einem ausgewählten Programm zurückkehren kann.
Bezug nehmend auf 5 ist ein Ablaufdiagramm 502 eines Verfahrens zum Decodieren eines Videostreams bereitgestellt. Der Videostream kann bei einer ersten Auflösung codiert und übertragen werden. Der Videostream kann gemäß den Lehren dieser Offenbarung jedoch Videoinhalt, der eine zweite Auflösung umfasst, aufweisen. Das System 302 von 3 kann weiterhin angewendet werden, um Videoinhalt bei einer hohen Auflösung anzuzeigen, der über eine gesamte Videoanzeige angezeigt wird. Das System 302 kann ebenso wahlweise mehrere Videorahmen mit niedrigerer Auflösung in jedem einzelnen Videorahmen mit höherer Auflösung als Reaktion auf den Inhalt eines eingehenden Videostreams anzeigen. Dementsprechend kann ein codierter Videostream durch das System empfangen werden (504). Als Antwort auf den Empfang eines eingehenden Videostreams können Videorahmen des eingehenden Videostreams in einem Speicher, wie etwa dem DRAM, zwischengespeichert werden (506). Ein Videorahmen kann durch den Decodierer abgerufen werden (508). Der Decodierer kann konfiguriert sein, um Metadaten entsprechend jedem Videorahmen (510) zu entpacken. Basierend auf den Metadaten kann das System identifizieren, ob der eingehende Videostream eingebettete Videorahmen mit niedrigerer Auflösung umfasst (512).
Obwohl hierin auf Metadaten Bezug genommen wird, können identifizierende Informationen entsprechend einem oder mehreren Rahmen des eingehenden Videostreams verschiedene Formen aufweisen, inklusive zum Beispiel Header-Dateien, Markern oder anderer identifizierenden Informationen, die mit oder innerhalb eines Videostreams empfangen werden. Die Metadaten können ebenso parallel durch einen Interpretierer, eine interne oder externe Steuerung, einen zusätzlichen Prozessor oder andere Schaltkreise interpretiert werden, die dazu konfiguriert sind, Eigenschaften eines eingehenden Videostreams zu identifizieren. Der Decodierer kann dann die Eigenschaften anwenden, um den eingehenden Videostream zu decodieren und anzuzeigen. In dieser Implementierung können die Metadaten jeden Rahmen des eingehenden Videostreams derart kennzeichnen, dass dieser einen einzelnen Rahmen enthält, der für eine Anzeige gedacht ist, ähnlich zu herkömmlichen Videos (zum Beispiel ein einzelner Videostream, der über eine gesamte Anzeige angezeigt wird).
Wenn der eingehende Videostream einen einzelnen Rahmen aufweist, wird der einzelne Videorahmen mit höherer Auflösung decodiert (514) und in einem Speicher gespeichert. Das Video mit höherer Auflösung wird dann von dem Speicher abgerufen (518). Das Video mit höherer Auflösung wird, wenn nötig, skaliert (520). Der Rahmen mit höherer Auflösung wird dann erfasst (524). Zusätzlich wird dann, zum Beispiel durch einen Setzer, Inhalt kombiniert (526). Das Video mit höherer Auflösung wird dann dem Ausgabevideozuspieler bereitgestellt (528).
Die Metadaten können ebenso kennzeichnen, dass ein einzelner Rahmen mehrere Videorahmen mit niedrigerer Auflösung umfasst, die innerhalb von Abschnitten von Videorahmen mit höherer Auflösung (zum Beispiel in unterschiedlichen Quadranten) eingebettet sind. Wenn bestimmt ist, dass ein Videorahmen, der mehrere Rahmen mit niedrigerer Auflösung umfasst, empfangen wurde, wird der Videorahmen mit höherer Auflösung, der die Videorahmen mit niedrigerer Auflösung aufweist, decodiert (536) und in einem Speicher gespeichert. Das Verfahren kann ein Abrufen von jedem Videorahmen mit niedrigerer Auflösung von dem Speicher fortsetzen (538). Die Rahmen mit niedrigerer Auflösung von jedem Rahmen mit höherer Auflösung können dann skaliert und zugeschnitten werden (542). Die Rahmen mit niedrigerer Auflösung können dann in einen finalen Videorahmen aufgenommen bzw. erfasst werden (544). Nach der Erfassung von jedem Videorahmen für eine Anzeige kann zusätzlicher gerendeter Inhalt durch einen Setzer hinzugefügt werden (546). Der Setzer kann die mehreren Videos mit niedrigerer Auflösung eingebettet in einem einzelnen Video mit höherer Auflösung an eine Anzeige ausgeben (528).
Bezug nehmend auf 6 ist nun ein Diagramm eines Videorahmens mit einer ersten Auflösung bereitgestellt. Der Videorahmen mit einer ersten Auflösung kann ein erstes Auflösungsformat aufweisen. Weiterhin kann der Videorahmen mit einer ersten Auflösung mit dem ersten Videoformat eine Vielzahl von Videorahmen in einem zweiten Auflösungsformat umfassen. Die Vielzahl von Videorahmen kann dreidimensionalen Inhalt gemäß den Lehren der Offenbarung enthalten. In dieser Implementierung kann ein einzelner Videorahmen mit höherer Auflösung 602 implementiert werden, um mehrere Rahmen mit niedrigerer Auflösung anzuzeigen, die kombiniert werden können, um dreidimensionalen Inhalt zu erzeugen. Jeder der Videorahmen mit niedrigerer Auflösung kann entsprechende Videodaten entsprechend einem einzelnen dreidimensionalen Videorahmen mit niedrigerer Auflösung umfassen.
Die Videorahmen mit niedrigerer Auflösung können Videoschichten 604 umfassen. Die Videoschichten 604 können zwei zweidimensionale (2D-) Videorahmenkomponenten 606 umfassen. Weiterhin können die zwei Videoschichten 604 dreidimensionale (3D-) Erweiterungsschichtvideokomponenten 608 (Erweiterungsschichten) umfassen. Wie dargestellt ist, können die Videoschichten 604 sowohl zwei 2D-Videorahmenkomponenten 606 als auch zwei 3D-Erweiterungsschichtkomponenten 608 umfassen, die kombiniert werden können, um einen einzelnen 3D-Videorahmen zu erzeugen. Genauer kann der 2D-Videorahmen 606 ein linkes Stereobild 610 und ein rechtes Stereobild 612 umfassen. Die 3D-Erweiterungsschichten 608 können eine linke Erweiterungsschichttiefenübersicht 614 und eine rechte Erweiterungsschichttiefenübersicht 616 umfassen. Jede der Schichten mit niedrigerer Auflösung 604 kann kombiniert werden, um einen einzelnen Videorahmen mit niedrigerer Auflösung zu erzeugen, der 3D-Tiefeninhalt umfasst. In einem Beispiel kann die niedrigere Auflösung gleich 1080p und die höhere Auflösung gleich 4kx2k sein; jedoch können gemäß den Lehren der Offenbarung andere Auflösungen angewendet werden.
Bezug nehmend auf 7 wird ein Blockdiagramm eines Systems zum Decodieren eines Videostreams, der 3D-Videoinhalt umfasst, gemäß den Lehren der Offenbarung gezeigt. Ähnlich dem System von 3 kann das System 702 einen eingehenden Videostream mit hoher Auflösung in einem Decodierer 704 empfangen. Der Decodierer 704 kann den eingehenden Videostream mit hoher Auflösung decodieren und eine Vielzahl von Videorahmen von jedem Rahmen des Videostreams mit hoher Auflösung in einem Speicher 706 zwischenspeichern. Metadaten entsprechend der Vielzahl von Videorahmen können interpretiert werden, um Eigenschaften oder Charakteristika des Videostreams zu identifizieren. Wenn bestimmt ist, dass der eingehende Videostream Videoschichten entsprechend 3D-Inhalt umfasst, kann ein Videozuspieler 708 einen Rahmen mit höherer Auflösung, der die Videoschichten 710 umfasst, abrufen. Von dem Videozuspieler 708 kann der Videoskalierer 711 jede der Videoschichten mit niedrigerer Auflösung zuschneiden, erneut anordnen und skalieren. Eine 3D-Rendermaschine 712 kann dann einen einzelnen 3D-Kombinationsrahmen von den kombinierten Videoschichten mit niedrigerer Auflösung 710 aufnehmen bzw. erfassen. Die 3D-Kombinationsrahmen können als ein ausgehender 3D-Videostream durch einen Videozuspieler 708 gestreamt werden. Der Videozuspieler 708 kann die Geschwindigkeit des Videostreams bei der in den Metadaten identifizierten Rahmenrate steuern. Der 3D-Videostream kann in einem Setzer 716 für eine Anzeige 718 mit gerenderten Graphiken kombiniert werden.
In dieser Implementierung werden vier Videoschichten (710a, 710b, 710c, 710d) in einem einzelnen Videorahmen mit höherer Auflösung zugeführt. Die vier Videoschichten können kombiniert werden, um einen einzelnen 3D-Videorahmen mit niedrigerer Auflösung zu produzieren. Wenn diese nacheinander produziert werden, können die 3D-Videorahmen mit niedrigerer Auflösung einen 3D-Videostream mit niedrigerer Auflösung bilden. Die hierin offenbarten Verfahren und Systeme können eine Vielzahl von Videoinhalt mit niedrigerer Auflösung in einem einzelnen Videorahmen mit höherer Auflösung kombinieren. Beispiele von Inhalt mit niedrigerer Auflösung können eine Vielzahl von Videoinhalten, Programmen, Erweiterungsschichten, interaktiven Marketinginformationen und mehrere Kameraansichten umfassen.
Bezug nehmend nun auf 8 ist ein Ablaufdiagramm eines Verfahrens zum Decodieren eines Videostreams, der 3D-Videoinhalt umfasst, gemäß den Lehren der Offenbarung gezeigt (802). Das Verfahren kann durch Empfangen eines codierten Videostreams mit hoher Auflösung initialisiert werden (804). Jeder Rahmen des Videostreams kann in einem Speicher zwischengespeichert werden, zum Beispiel in dem DRAM (806). Sobald zumindest ein Videorahmen mit höherer Auflösung in dem Speicher zwischengespeichert wurde, kann der Videorahmen mit höherer Auflösung von dem Speicher abgerufen werden (808). Die Metadaten können dann entpackt werden, um Eigenschaften des empfangenen Videorahmens zu identifizieren (810). Von den Metadaten kann der Decodierer identifizieren, dass der Videorahmen mit höherer Auflösung 3D-Videorahmen enthält. Der Rahmen mit höherer Auflösung kann dann decodiert (812) und in einem Speicher gespeichert werden. Nach einer Decodierung kann ein Videozuspieler die Videorahmen von dem Speicher abrufen (814). Die Videorahmen können dann durch einen Videoskalierer skaliert werden (816). Die Videorahmen können dann in einer 3D-Rendermaschine kombiniert werden, um einen einzelnen 3D-Videorahmen mit niedrigerer Auflösung zu erzeugen (818). Der 3D-Videorahmen kann dann mit zusätzlichen gerenderten Graphiken kombiniert werden, zum Beispiel in einem Setzer (820). Der 3D-Videorahmen kann an eine Anzeige als eine 3D-Videozuspielung mit niedrigerer Auflösung ausgegeben werden (822).
Bezug nehmend auf 9 ist ein Diagramm eines Videorahmens gemäß den Lehren der Offenbarung bereitgestellt. Der Videorahmen besitzt eine erste Auflösung und kann bei einer ersten Rahmenrate bereitgestellt werden. Der Videorahmen der ersten Auflösung kann eine Vielzahl von Videorahmen mit einer zweiten Auflösung und einer zweiten Rahmenrate aufweisen. In einer Implementierung besitzt ein Videorahmen mit höherer Auflösung 902 eine Vielzahl von Rahmen mit niedrigerer Auflösung, die in diesem eingebettet sind. Der Videorahmen mit höherer Auflösung 902 kann eine Auflösung von 4kx2k und eine Rahmenrate von 60 Hz aufweisen. Die Vielzahl von Videorahmen mit niedrigerer Auflösung 904 können vier aufeinanderfolgende 1080p-Rahmen des gleichen Videoprogramms aufweisen, wobei jeder Rahmen eine Rahmenrate von 240 Hz aufweist. Die Rahmenrate von jedem Rahmen mit niedrigerer Auflösung kann viermal größer sein als die Rahmenrate des Rahmens mit höherer Auflösung, während die Auflösung viermal niedriger sein kann.
In dieser Implementierung kann ein einzelnes Programm, als Programm 1 bezeichnet, vier aufeinanderfolgende Rahmen, einen ersten Rahmen 906, einen zweiten Rahmen 908, einen dritten Rahmen 910 und einen vierten Rahmen 912 aufweisen. Durch Speichern von vier Rahmen mit niedrigerer Auflösung 904 in dem Rahmen mit höherer Auflösung kann ein Videostream, der Videorahmen mit höherer Auflösung aufweist, dazu konfiguriert sein, eine Videozuspielung mit niedrigerer Auflösung mit einer Rahmenrate, die viermal höher ist als die des Videostreams mit hoher Auflösung, bereitzustellen. In manchen Implementierungen kann der Videorahmen mit höherer Auflösung 902 eine Auflösung von 4kx2k aufweisen und kann der Videorahmen mit niedrigerer Auflösung 904 eine Auflösung von 1080p aufweisen. In anderen Implementierungen kann jeder Rahmen mit höherer Auflösung und jeder Rahmen mit niedrigerer Auflösung eine unterschiedlich hohe und niedrige Rahmenauflösung aufweisen. Ein anderes Beispiel eines Rahmens mit höherer Auflösung kann ein 7680×4320-Pixelrahmen (8k) mit sechzehn 1080p-Rahmen, die innerhalb des 8k-Rahmens eingebettet sind, sein. Ein weiteres Beispiel kann vier 4kx2k-Rahmen aufweisen, die in dem 8k-Rahmen eingebettet sind.
Bei den Rahmen mit niedrigerer Auflösung 904 in dieser Implementierung sind der erste Rahmen 906 in dem oberen linken Quadranten, der zweite Rahmen 908 in dem oberen rechten Quadranten, der dritte Rahmen 910 in dem unteren linken Quadranten und der vierte Rahmen 912 in dem unteren rechten Quadranten angeordnet. Diese Anordnung wird weiterhin durch die Pfeile angegeben, die die Rahmensequenz darstellen. In manchen Implementierungen kann jeder der Rahmen mit niedrigerer Auflösung in unterschiedlichen Quadranten des Rahmens mit höherer Auflösung 902 gespeichert werden. Zum Beispiel können der erste Rahmen 906 in dem oberen linken Quadranten, der zweite Rahmen 908 in dem unteren linken Quadranten, der dritte Rahmen 910 in dem oberen rechten Quadranten und der vierte Rahmen 912 in dem unteren rechten Quadranten liegen. Eine weitere Implementierung kann den ersten Rahmen 906 in dem oberen linken Quadranten, den zweiten Rahmen 908 in dem oberen rechten Quadranten, den dritten Rahmen 910 in dem unteren rechten Quadranten und den vierten Quadranten 912 in dem unteren linken Quadranten aufweisen. Die Anordnungen der Rahmen mit niedrigerer Auflösung 904, die hinsichtlich dieser Implementierung diskutiert werden, können allgemein auf irgendwelche Implementierungen, die in dieser Offenbarung diskutiert werden, angewendet werden.
Bezug nehmend nun auf 10 ist ein System 1002 zum Decodieren eines Videorahmens mit einer ersten Auflösung gezeigt. Der Videorahmen mit einer ersten Auflösung kann eine Vielzahl von Videorahmen mit einer zweiten Auflösung und einer erhöhten Rahmenrate aufweisen. Das System 1002 kann allgemein einen Decodierer 1004, eine Speichereinheit 1006, einen Videoskalierer 1008 und einen Setzer 1010 aufweisen. Ähnlich zu den anderen diskutierten Implementierungen kann der Decodierer als Reaktion auf einen eingehenden Videostream aktiviert werden. Der Decodierer 1004 kann dann zumindest einen Rahmen des eingehenden Videostreams in dem Speicher 1006, zum Beispiel dem DRAM, zwischenspeichern. In dieser Implementierung kann der eingehende Videostream eine Vielzahl von Videorahmen mit höherer Auflösung aufweisen, wobei jeder Videorahmen mit höherer Auflösung vier Videorahmen mit niedrigerer Auflösung aufweist.
Während zumindest ein Videorahmen mit höherer Auflösung in dem Speicher 1006 zwischengespeichert ist, kann der Decodierer Header-Informationen für den Videorahmen mit höherer Auflösung entpacken und die Eigenschaften der eingebetteten Videorahmen mit niedrigerer Auflösung bestimmen. Die vier Videorahmen mit niedrigerer Auflösung können vier 1080p-Rahmen bei 240 Hz aufweisen, wie mit Bezug auf 9 diskutiert ist. Jeder der Videorahmen mit niedrigerer Auflösung kann durch den Decodierer 1004 identifiziert und decodiert werden. Die Videorahmen mit niedrigerer Auflösung können durch einen Videozuspieler 1012 von dem Speicher 1006 abgerufen werden und an den Videoskalierer 1008 zugeführt werden. In dem Videoskalierer 1008 können die vier individuellen Rahmen des einzelnen Rahmens mit höherer Auflösung auf eine Sollanzeigeauflösung zugeschnitten und skaliert werden. Eine Rahmenerfassungseinheit 1014 kann dann die individuellen Rahmen erfassen und einen Videostream mit niedrigerer Auflösung bei der erhöhten Rahmenrate erzeugen. Der Setzer 1010 kann dann zusätzlichen Videorahmeninhalt hinzufügen und den Videostream an eine Anzeige 1018 ausgeben.
Sobald der Videoskalierer 1008 die ersten vier Rahmen zugeschnitten und skaliert hat, können die folgenden vier Rahmen des nächsten Videorahmens mit höherer Auflösung abgerufen werden. Dieser Prozess kann sich fortsetzen, während der eingehende Videostream verarbeitet wird. Das System 1002 kann Anweisungen für die Reihenfolge der Rahmen mit niedrigerer Auflösung innerhalb jedes Rahmens mit höherer Auflösung von den Metadaten, die in dem Videostream bereitgestellt sind, folgen. Der von der Anzeige 1018 ausgehende Videostream kann jeden der Videorahmen mit niedrigerer Auflösung aufweisen, die nacheinander angezeigt werden, um erweiterte bzw. verbesserte Bewegungsdaten in niedrigerer Auflösung bereitzustellen. Ähnlich zu den anderen offenbarten Implementierungen kann die Rahmenrate der Videorahmen mit niedrigerer Auflösung und höherer Auflösung variieren. Manche Beispiele von Kombinationen von Rahmenraten, die ähnlich angewendet werden können, können 30 Hz und 120 Hz, 50 Hz und 100 Hz, 120 Hz und, 120 Hz und 480 Hz usw. aufweisen.
Bezug nehmend auf 11 ist ein Diagramm eines Videorahmens 1102 mit einer ersten Bittiefe gemäß den Lehren der Offenbarung gezeigt. Die Bittiefe kann die Anzahl von Bits angeben, die verwendet wird, um die Farbe eines einzelnen Pixels anzugeben, und kann eine Farbtiefe definieren. In dieser Implementierung kann der Videorahmen 1102 eine erste Farbtiefe aufweisen und kann eine hohe Auflösung haben (zum Beispiel 4kx2k). Der Videorahmen 1102 kann weiterhin eine Vielzahl von Videorahmen 1104 mit einer zweiten Farbtiefe aufweisen. Die Vielzahl von Videorahmen 1104 kann vier Videorahmen mit niedrigerer Auflösung aufweisen (zum Beispiel 1080p). In manchen Implementierungen kann die erste Farbtiefe eine niedrigere Farbtiefenpräzision als die zweite Farbtiefe definieren. In diesem Beispiel kann die erste Farbtiefe gleich 12 Bits sein und die zweite Farbtiefe gleich 24 Bits sein. Die Farbtiefe kann die Anzahl von Bits definieren, die verwendet wird, um die Farbe von jedem Pixel eines Videorahmens anzugeben.
Obwohl in dieser Implementierung eine Farbtiefe diskutiert wird, kann die Bittiefe andere Rahmen- und Pixeleigenschaften definieren. Bittiefe kann sich auf die Präzision von Pixelkomponentendaten und Pixelfarbkomponenten beziehen. In manchen Fällen kann sich die Bittiefe auf die Luminanz oder Chrominanz eines Pixels beziehen. Pixelkomponentendaten können durch eine Vielzahl von Unterabtastungsverfahren, die 4:2:0, 4:2:2, 4:2:1, 4:1:1, 4:1:0, 4:4:4 aufweisen können, und andere Unterabtastschemata kommuniziert werden. In manchen Implementierungen kann sich die Bittiefe auf eine Pixelintensität beziehen, die weiter zusätzliche Pixeldaten definieren kann. Die verschiedenen offenbarten Implementierungen können weiterhin kombiniert werden, um eine Vielzahl von partiellen Videorahmen zu definieren, die jegliche Kombination von Rahmen- und Pixeleigenschaften aufweisen.
Die Vielzahl von Videorahmen 1104 kann weiterhin einen ersten partiellen Videorahmen 1106 definieren, der die am meisten signifikanten bzw. höchstwertigen Bits der zweiten Farbtiefe aufweist, und einen zweiten partiellen Videorahmen 1108, der die am wenigsten signifikanten bzw. niedrigstwertigen Bits der zweiten Farbtiefe aufweist. In diesem Beispiel kann der erste partielle Videorahmen 1106 die zwölf am meisten signifikanten bzw. höchstwertigen Bits der Farbtiefe von jedem Pixel des ersten Videorahmens aufweisen. Der zweite partielle Videorahmen 1108 kann die zwölf am wenigsten signifikanten bzw. niedrigstwertigen Bits der Farbtiefe von jedem Pixel des zweiten Videorahmens aufweisen. Der erste partielle Videorahmen 1106 und der zweite partielle Videorahmen 1108 können kombiniert werden, um einen ersten Videorahmen 1110 mit der zweiten Farbtiefe zu bilden.
Die Vielzahl von Videorahmen 1104 kann weiterhin einen dritten partiellen Videorahmen 1112 definieren, der die am meisten signifikanten bzw. höchstwertigen Bits der zweiten Farbtiefe aufweist, und einen vierten partiellen Videorahmen 1114, der die am wenigstens signifikanten bzw. niedrigstwertigen Bits der zweiten Farbtiefe aufweist. Ähnlich dem ersten partiellen Videorahmen 1106 kann der dritte partielle Videorahmen 1114 die zwölf am meisten signifikanten bzw. höchstwertigen Bits der Farbtiefe von jedem Pixel des ersten Videorahmens aufweisen. Weiterhin kann der zweite partielle Videorahmen 1108 ähnlich dem dritten partiellen Videorahmen mit den zwölf am wenigsten signifikanten bzw. niedrigstwertigen Bits der Farbtiefe von jedem Pixel des Videorahmens sein. Der dritte partielle Videorahmen 1112 und der vierte partielle Videorahmen 1114 können ebenso kombiniert werden, um einen zweiten Videorahmen 1116 mit der zweiten Farbtiefe zu bilden, zum Beispiel eine Präzision von 24 Bits oder zweimal die erste Farbtiefe.
Wenn der erste Videorahmen 1110 und der zweite Videorahmen beide mit deren entsprechenden partiellen Videorahmen kombiniert werden, können der erste Videorahmen 1110 und der zweite Videorahmen 1116 weiterhin eine Sequenz von Videorahmen mit niedrigerer Auflösung 1118 definieren. Die Sequenz von Videorahmen mit niedrigerer Auflösung 1118 kann aufeinanderfolgenden Rahmen in einem Videostream mit niedriger Pixelauflösung mit der zweiten Farbtiefe entsprechen. Die Sequenz von Videorahmen mit niedrigerer Auflösung 1118 kann in einem System, das ähnlich dem hierin offenbarten ist, durch Kombinieren der partiellen Videorahmen 1106 bis 1108 und 1110 bis 1112 gestreamt werden, um die Sequenz von Videorahmen mit niedrigerer Auflösung 1118 mit der zweiten Farbtiefe zu bilden.
Obwohl in diesem Beispiel die erste Farbtiefe und die zweite Farbtiefe entsprechend gleich 12 Bit und 24 Bit sind, können andere Kombinationen von Farbtiefen ähnlich angewendet werden. Andere Beispiele von Farbtiefenkombinationen können 8 Bit- und 16 Bit-, 6 Bit- und 12 Bit-, 4 Bit- und 8 Bit-Farbtiefen umfassen. Der Videorahmen 1102 mit der ersten Farbtiefe und die Vielzahl von Videorahmen 1104 mit der zweiten Farbtiefe können ebenso hinsichtlich derer Pixelauflösung variieren. In einer Implementierung kann der Videorahmen mit einer ersten Farbtiefe eine Auflösung von 8k aufweisen und kann die Vielzahl von Videorahmen mit einer zweiten Auflösung eine Auflösung von 1080p aufweisen. In dieser Implementierung kann die Vielzahl von Videorahmen mit einer zweiten Auflösung acht partielle Videorahmen aufweisen. Die acht partiellen Videorahmen können kombiniert werden, um vier Videorahmen mit niedrigerer Auflösung mit einer zweiten Farbtiefe zu bilden. Andere Kombinationen von Farbtiefe und Auflösung können ebenso gemäß dieser Offenbarung angewendet werden.
Ähnlich zu anderen Prozessen, die in, dieser Offenbarung eingeführt werden, kann der Videostream mit niedrigerer Auflösung mit der zweiten Farbtiefe in einem Videostream mit hoher Auflösung mit der ersten Farbtiefe geliefert werden. Wenn jeder Rahmen des Videostreams mit hoher Auflösung empfangen wird, kann jeder Rahmen in einer Speichereinheit zwischengespeichert werden. Ein Decodierer kann dann einen Rahmen des Streams mit hoher Auflösung dekomprimieren. Metadaten, die den Rahmen des Videostreams mit hoher Auflösung begleiten, können dann interpretiert werden, um zu identifizieren, dass der Rahmen des Videostreams mit hoher Auflösung eine Vielzahl von partiellen Videorahmen mit einer niedrigeren Auflösung aufweist. Die partiellen Videorahmen mit einer niedrigeren Auflösung können in einem Skalierer zugeschnitten und kombiniert werden, um eine Vielzahl von Videorahmen mit niedrigerer Auflösung mit der zweiten Farbtiefe zu bilden. Jeder der Videorahmen mit niedrigerer Auflösung mit der zweiten Farbtiefe kann dann in einer Rahmenerfassungseinheit erfasst und zur Anzeige ausgegeben werden.
Es sei angemerkt, dass die verschiedenen Module und/oder Schaltkreise (zum Beispiel Codierungsmodule und/oder -Schaltkreise, Decodierungsmodule und/oder -Schaltkreise, Codiererratenanpassungsmodule und/oder -Schaltkreise, usw.), die hierin beschrieben sind, eine einzelne Verarbeitungseinrichtung oder eine Vielzahl von Verarbeitungseinrichtungen sein können. Solch eine Verarbeitungseinrichtung kann ein Mikroprozessor, ein Mikrocontroller, ein digitaler Signalprozessor, ein Mikrocomputer, eine zentrale Verarbeitungseinheit, ein feldprogrammierbares Gate-Array, eine programmierbare Logikeinrichtung, eine Zustandsmaschine, ein Logikschaltkreis, ein analoger Schaltkreis, ein digitaler Schaltkreis und/oder irgendeine Einrichtung sein, die Signale (analog und/oder digital) basierend auf Betriebsanweisungen manipulieren kann. Die Betriebsanweisung kann in einem Speicher gespeichert werden. Der Speicher kann eine einzelne Speichereinrichtung oder eine Vielzahl von Speichereinrichtungen sein. Solch eine Speichereinrichtung kann ein Festwertspeicher (ROM), ein Zufallszugriffsspeicher (RAM), ein flüchtiger Speicher, ein nichtflüchtiger Speicher, ein statischer Speicher, ein dynamischer Speicher, ein Flash-Speicher und/oder irgendeine andere Einrichtung, die digitale Informationen speichert, sein. Es ist ebenso angemerkt, dass wenn das Verarbeitungsmodul eine oder mehrere seiner Funktionen über eine Zustandsmaschine, einen analogen Schaltkreis, digitalen Schaltkreis und/oder Logikschaltkreis implementiert, der Speicher, der die entsprechenden Betriebsanweisungen speichert, in dem Schaltkreis, der die Zustandsmaschine, den analogen Schaltkreis, den digitalen Schaltkreis und/oder den Logikschaltkreis umfasst, eingebettet werden kann. In solch einem Ausführungsbeispiel werden Betriebsanweisungen entsprechend zumindest manchen der Schritte und/oder Funktionen, die hierin dargestellt und/oder beschrieben wurden, in einem Speicher gespeichert und in einem Verarbeitungsmodul, das mit diesem gekoppelt ist, ausgeführt.
Verschiedene Aspekte der vorliegenden Offenbarung wurden vorstehend mit Hilfe von funktionalen Gestaltungsblöcken beschrieben, die die Leistungsfähigkeit von bestimmten signifikanten Funktionen darstellen. Die Grenzen dieser funktionalen Gestaltungsblöcke wurden der Einfachheit halber beliebig definiert. Alternative Grenzen können definiert werden, solange die bestimmten signifikanten Funktionen angemessen durchgeführt werden. Ähnlich wurden Ablaufdiagramme beliebig hierin definiert, um bestimmte signifikante Funktionalität darzustellen. Zu dem verwendeten Ausmaß könnten die Ablaufdiagrammgrenzen und Abfolgen anderweitig definiert werden und immer noch die bestimmte signifikante Funktionalität durchführen. Solche alternativen Definitionen von sowohl funktionalen Gestaltungsblöcken als auch Ablaufdiagrammblöcken und Abläufen liegen somit innerhalb des Umfangs und Geistes der beanspruchten Offenbarung.
Der Fachmann wird anerkennen, dass die vorstehende Beschreibung als eine Darstellung der Prinzipien dieser Offenbarung gedacht ist. Die Beschreibung ist nicht dazu gedacht, den Umfang oder die Anwendung dieser Offenbarung zu beschränken, so dass die Offenbarung modifiziert, variiert oder geändert werden kann, ohne sich vom Geist dieser Offenbarung, der in den folgenden Ansprüchen definiert ist, zu entfernen.
Ein System und ein Verfahren für eine Videoverarbeitung werden bereitgestellt. Das System und Verfahren verarbeiten einen Videostream mit einem Videorahmen mit einer ersten Auflösung, wobei der Videorahmen mit einer ersten Auflösung eine Vielzahl von Videorahmen mit einer zweiten Auflösung aufweist.

Claims

Verfahren zur Videoverarbeitung, wobei das Verfahren aufweist: Empfangen eines ersten Videostreams, der Videorahmen mit einer ersten Auflösung aufweist, wobei zumindest einer der Videorahmen mit einer ersten Auflösung definiert ist, um eine Vielzahl von Videorahmen mit einer zweiten Auflösung aufzuweisen; Zuschneiden der Vielzahl von Videorahmen mit einer zweiten Auflösung von dem Videorahmen mit einer ersten Auflösung; und Erzeugen eines zweiten Videostreams basierend auf den Videorahmen mit einer zweiten Auflösung der Videorahmen mit einer ersten Auflösung.
Verfahren gemäß Anspruch 1, wobei der Videorahmen mit einer ersten Auflösung eine erste Rahmenrate aufweist und die Vielzahl von Videorahmen mit einer zweiten Auflösung eine zweite Rahmenrate aufweisen.
Verfahren gemäß Anspruch 2, wobei die zweite Rahmenrate höher ist als die erste Rahmenrate.
Verfahren gemäß Anspruch 1, wobei die erste und zweite Auflösung eine Bittiefe sind.
Verfahren gemäß Anspruch 4, wobei die Vielzahl von Videorahmen mit einer zweiten Auflösung einen ersten Rahmen mit den am meisten signifikanten Bits der Bittiefe und einen zweiten Rahmen mit den am wenigsten signifikanten Bits der Bittiefe aufweisen.
Verfahren gemäß Anspruch 1, wobei die erste Auflösung eine höhere Auflösung aufweist als die zweite Auflösung.
Verfahren gemäß Anspruch 1, weiterhin mit einem Empfangen des Rahmens mit einer ersten Auflösung in einem Video-Codec.
Verfahren gemäß Anspruch 1, weiterhin mit einem Erzeugen eines Videostreams mit einer zweiten Auflösung von den Videorahmen mit einer zweiten Auflösung.
System zum Codieren von Videodaten, wobei das System aufweist: eine Speichereinheit; eine Rahmenverarbeitungseinheit, die betriebsbereit mit der Speichereinheit gekoppelt ist, wobei die Rahmenverarbeitungseinheit dazu konfiguriert ist, eine Vielzahl von Videorahmen mit niedrigerer Auflösung aus einem Videorahmen mit höherer Auflösung abzurufen, die Videorahmen mit niedrigerer Auflösung in einem Videorahmen mit höherer Auflösung zu kombinieren und die Videorahmen mit höherer Auflösung in der Speichereinheit zu speichern; einen Codierer, der betriebsfähig mit der Speichereinheit gekoppelt ist, wobei der Codierer zumindest ein Modul aufweist, das dazu konfiguriert ist, den Videorahmen mit höherer Auflösung in einem codierten Bitstream zu komprimieren.
System gemäß Anspruch 9, wobei der Videorahmen mit höherer Auflösung eine niedrigere Rahmenrate als die Videorahmen mit niedrigerer Auflösung definiert.
System gemäß Anspruch 9, wobei jeder Rahmen der Vielzahl von Videorahmen mit niedrigerer Auflösung in einem Bereich des Videorahmens mit höherer Auflösung lokalisiert ist.
System gemäß Anspruch 9, wobei jeder Rahmen der Vielzahl von Videorahmen mit niedrigerer Auflösung einen Komponentenrahmen eines dreidimensionalen Videorahmens aufweist.
System gemäß Anspruch 12, wobei zumindest ein Rahmen der Vielzahl von Videorahmen mit niedrigerer Auflösung zweidimensionalen Videoinhalt aufweist.
System gemäß Anspruch 12, wobei zumindest ein entsprechender Rahmen der Vielzahl von Videorahmen mit niedrigerer Auflösung dreidimensionalen Tiefenschichtinhalt aufweist.
Vorrichtung zum Verarbeiten von Videodaten, die Videodaten mit niedrigerer Auflösung aufweisen, die in Videodaten mit hoher Auflösung eingebettet sind, wobei die Vorrichtung aufweist: eine Speichereinheit; einen Prozessor, der betriebsbereit mit der Speichereinheit gekoppelt ist, wobei der Prozessor zumindest ein Modul aufweist, das dazu konfiguriert ist, um: einen Videorahmen mit höherer Auflösung in der Speichereinheit zwischenzuspeichern; eine Vielzahl von Videorahmen mit niedrigerer Auflösung von dem Videorahmen mit höherer Auflösung zuzuschneiden; die Vielzahl von Videorahmen mit niedrigerer Auflösung zu rendern, um einen Videostream mit niedrigerer Auflösung zu erzeugen.
Vorrichtung gemäß Anspruch 15, wobei der Videorahmen mit höherer Auflösung vier Videorahmen mit niedrigerer Auflösung aufweist.
Vorrichtung gemäß Anspruch 15, wobei die Vielzahl von Videorahmen mit niedrigerer Auflösung eine Vielzahl von Kamerawinkeln einer Video-Rundsendung aufweist.
Vorrichtung gemäß Anspruch 15, wobei jeder Rahmen der Vielzahl von Videorahmen mit niedriger Definition ein unterschiedliches Programm aufweist.
Vorrichtung gemäß Anspruch 15, wobei die Vielzahl von Videorahmen mit niedriger Definition eine Vielzahl von Videostreams aufweist und zumindest ein Videostream der Vielzahl von Videostreams gezielten Marketinginhalt für einen bestimmten Benutzer aufweist.