DE69736537T2 - Ratenregelung für stereoskopische digitale Videokodierung - Google Patents

Ratenregelung für stereoskopische digitale Videokodierung Download PDF

Info

Publication number
DE69736537T2
DE69736537T2 DE69736537T DE69736537T DE69736537T2 DE 69736537 T2 DE69736537 T2 DE 69736537T2 DE 69736537 T DE69736537 T DE 69736537T DE 69736537 T DE69736537 T DE 69736537T DE 69736537 T2 DE69736537 T2 DE 69736537T2
Authority
DE
Germany
Prior art keywords
image
bits
picture
current
pictures
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
DE69736537T
Other languages
English (en)
Other versions
DE69736537D1 (de
Inventor
Xuemin San Diego Chen
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Arris Technology Inc
Original Assignee
Arris Technology Inc
General Instrument Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Arris Technology Inc, General Instrument Corp filed Critical Arris Technology Inc
Application granted granted Critical
Publication of DE69736537D1 publication Critical patent/DE69736537D1/de
Publication of DE69736537T2 publication Critical patent/DE69736537T2/de
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/15—Processing image signals for colour aspects of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/167—Synchronising or controlling image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0085—Motion estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

  • ALLGEMEINER STAND DER TECHNIK
  • Die vorliegende Erfindung betrifft das Codieren digitaler Videosignale. Insbesondere werden ein Verfahren und eine Vorrichtung zum Codieren von stereoskopischen digitalen Videosignalen zum Optimieren der Bildqualität unter Beibehaltung der Bandbreitenbegrenzungen vorgestellt. Ein Verfahren und eine Vorrichtung zum Verbessern der Bildqualität bei dem Aufruf von Bearbeitungsfunktionen wie Schnellvorlauf und -rücklauf werden ebenfalls vorgestellt.
  • Die Digitaltechnologie hat die Bereitstellung von Video- und Audiodiensten an Kunden revolutioniert, da sie Signale von weit höherer Qualität bereitstellen kann als analoge Verfahren, und zusätzliche Funktionen bieten kann, die zuvor nicht verfügbar waren. Digitalsysteme sind besonders vorteilhaft für Signale, die über ein Kabelfernsehnetzwerk oder über Satellit an Kabelfernsehpartner und/oder direkt an Satellitenfernsehempfänger übertragen werden. Bei solchen Systemen empfängt ein Teilnehmer den Digitaldatenstrom über einen Empfänger/Entschlüssler, der die Daten dekomprimiert und decodiert, um die ursprünglichen Video- und Audiosignale zu rekonstruieren. Der Digitalempfänger enthält einen Mikrocomputer und Speicherelemente zur Benutzung in diesem Prozess.
  • Allerdings macht es die Notwendigkeit, Empfänger unter Beibehaltung einer hohen Video- und Audioqualität kostengünstig anzubieten, erforderlich, die Menge der verarbeiteten Daten zu begrenzen. Außerdem kann auch die verfügbare Bandbreite für die Übertragung des Digitalsignals durch physikalische Beschränkungen, existierende Kommunikationsprotokolle und behördliche Auflagen begrenzt sein. Deshalb wurden verschiedene Vollbild-interne Verfahren zur Datenkomprimierung entwickelt, welche die räumliche Korrelation zwischen benachbarten Pixeln in einem jeweiligen Videobild (z.B. Vollbild) ausnutzen.
  • Außerdem nutzen Vollbild-interne Komprimierungsverfahren zeitliche Korrelationen zwischen einander entsprechenden Regionen aufeinander folgender Vollbilder aus, indem Bewegungsausgleichsdaten und Bewegungseinschätzungsalgorithmen mit Blockzuordnung benutzt werden. In diesem Fall wird ein Bewegungsvektor für jeden Block in einem aktuellen Bild einer Darstellung bestimmt, indem ein Block in einem vorhergehenden Bild identifiziert wird, der dem jeweiligen aktuellen Block am ähnlichsten ist. Das gesamte aktuelle Bild kann dann an einem Decodierer rekonstruiert werden, indem Daten gesendet werden, welche die Differenz zwischen den einander entsprechenden Blockpaaren darstellen, zusammen mit den Bewegungsvektoren, die benötigt werden, um die entsprechenden Paare zu identifizieren.
  • Bewegungseinschätzungsalgorithmen mit Blockzuordnung sind besonders effektiv, wenn sie mit blockbasierten räumlichen Komprimierungsverfahren wie z.B. der diskreten Cosinus-Transformation (DCT) kombiniert werden.
  • Allerdings stellen die vorgestellten stereoskopischen Übertragungsformate wie z.B. das MPEG-2-Multi-View-Profil-(MVP)-System der Motion Picture Experts Group (MPEG), beschrieben im Dokument ISO/IEC JTC1/SC29/WG11 N1088 namens „Proposed Draft Amendment No. 3 to 13818–2 (Multi-view Profile)", November 1995, eine noch größere Herausforderung dar. Eine stereoskopische Videodarstellung stellt leicht verschobene Ansichten desselben Bilds bereit, um ein kombiniertes Bild mit größerer Tiefe zu erzeugen, wodurch ein dreidimensionaler (3-D) Effekt erzielt wird. Bei einem solchen System können zwei Kameras mit etwa zwei Zoll Abstand zueinander angeordnet sein, um einen Vorgang mit zwei separaten Videosignalen aufzuzeichnen. Die Beabstandung der Kameras ist dem Abstand zwischen dem linken und dem rechten menschlichen Auge angenähert. Bei einigen stereoskopischen Videocamcordern sind die zwei Linsen in einen Camcorder-Kopf eingebaut und bewegen sich deshalb synchron, beispielsweise beim Schwenken über ein Bild. Die zwei Videosignale können übertragen und an einem Empfänger neu kombiniert werden, um ein Bild zu erzeugen, das eine Tiefenschärfe aufweist, die dem normalen menschlichen Sehvermögen entspricht. Andere Spezialeffekte können ebenfalls bereitgestellt werden.
  • Das MPEG-MVP-System enthält zwei Videoschichten, die in einem gemultiplexten Signal übertragen werden. Erstens stellt eine Basisschicht eine linke Ansicht eines dreidimensionalen Objekts dar. Zweitens stellt eine Anreicherungs-(z.B. Hilfs-)schicht eine rechte Ansicht des Objekts dar. Da die rechte und die linke Ansicht von demselben Objekt stammen und nur leicht zueinander verschoben sind, liegt normalerweise eine starke Korrelation zwischen den Videobildern der Basis- und der Anreicherungsschicht vor. Diese Korrelation kann benutzt werden, um die Anreicherungsschicht im Verhältnis zu der Basisschicht zu komprimieren, wodurch die Datenmenge gesenkt wird, die in der Anreicherungsschicht übertragen werden muss, um eine bestimmte Bildqualität beizubehalten. Die Bildqualität entspricht im Allgemeinen der Quantisierungsstufe der Videodaten.
  • Das MPEG-MVP-System umfasst drei Typen von Videobildern; nämlich das intracodierte Bild (I-Bild), das prädiktiv codierte Bild (P-Bild) und das bidirektional prädiktiv codierte Bild (B-Bild). Außerdem weist die Anreicherungsschicht nur eine Vollbildstruktur auf, während die Basisschicht entweder eine Vollbild- oder eine Halbbildstruktur aufweist. Ein I-Bild beschreibt schlichtweg ein einzelnes Videobild ohne Bezug auf ein anderes Bild. Zur verbesserten Fehlerverschleierung können in einem I-Bild Bewegungsvektoren enthalten sein. Ein Fehler in einem I-Bild weist das Potential für eine größere Auswirkung auf die Videodarstellung auf, da sowohl P-Bilder als auch B-Bilder in der Basisschicht anhand der I-Bilder vorhergesagt werden. Außerdem können Bilder in der Anreicherungsschicht von Bildern in der Basisschicht in einem schichtübergreifenden Vorhersageprozess vorhergesagt werden, der als Disparitätsvorhersage bekannt ist. Die Vorhersage von einem Vollbild zum nächsten in einer Schicht ist als zeitliche Vorhersage bekannt.
  • In der Basisschicht werden P-Bilder anhand vorangegangener I- oder P-Bilder vorhergesagt. Der Bezug wird von einem früheren I- oder P-Bild zu einem zukünftigen P-Bild hergestellt, und ist als Vorwärtsvorhersage bekannt. B-Bilder werden anhand des nächsten früheren I- oder P-Bilds und des nächsten folgenden I- oder P-Bilds vorhergesagt.
  • In der Anreicherungsschicht kann ein P-Bild unabhängig vom Bildtyp aus dem zuletzt decodierten Bild der Anreicherungsschicht vorhergesagt werden, oder, unabhängig vom Bildtyp, aus dem letzten Basisschichtbild in der Darstellungsabfolge. Außerdem ist das Vorwärtsbezugsbild bei einem B-Bild in der Anreicherungsschicht das zuletzt decodierte Bild in der Anreicherungsschicht, und das Rückwärtsbezugsbild das in der Darstellungsabfolge neueste Bild in der Basisschicht. Da B-Bilder in der Anreicherungsschicht Bezugsbilder für andere Bilder in der Anreicherungsschicht sein können, muss die Bitzuteilung für die P- und B-Bilder in der Anreicherungsschicht anhand der Komplexität (z.B. Bewegung) der Darstellungen in den Bildern angepasst werden. In einer optiomalen Konfigurierung weist die Anreicherungsschicht nur P- und B-Bilder, aber keine I-Bilder auf.
  • Die Bezugnahme auf ein zukünftiges Bild (d.h. eins, das noch nicht angezeigt wurde), wird als Rückwärtsvorhersage bezeichnet. Es gibt Situationen, in denen die Rückwärtsvorhersage sehr nützlich zur Erhöhung der Komprimierungsrate ist. Beispielsweise kann das aktuelle Bild in einer Szene, in der sich eine Tür öffnet, anhand eines zukünftigen Bilds, in dem die Tür bereits offen ist, vorhersagen, was sich hinter der Tür befindet.
  • B-Bilder ergeben die stärkste Komprimierung, enthalten aber auch die meisten Fehler. Um die Fortpflanzung von Fehlern zu eliminieren, dürfen B-Bilder niemals anhand anderer B-Bilder in der Basisschicht vorhergesagt werden. P-Bilder ergeben weniger Fehler und eine geringere Komprimierung. I-Bilder ergeben die geringste Komprimierung, erlauben jedoch einen direkten Zugriff.
  • Um also in der Basisschicht P-Bilder zu decodieren, muss das vorherige I-Bild oder P-Bild verfügbar sein. Ebenso müssen zum Decodieren von B-Bildern das vorherige P- oder I-Bild und das zukünftige P- oder I-Bild verfügbar sein. Deshalb werden die Videobilder in einer Abhängigkeitsabfolge codiert und übertragen, so dass alle Bilder, die zur Vorhersage benutzt werden, codiert werden, bevor die Bilder daraus vorhergesagt werden. Wenn das codierte Signal an einem Decodierer empfangen wird, werden die Videobilder decodiert und zur Wiedergabe umgeordnet. Entsprechend werden Zwischenspeicherelemente benötigt, um die Daten vor der Wiedergabe zwischenzuspeichern.
  • Der MPEG-2-Standard für nicht stereoskopische Videosignale legt keine bestimmte Verteilung fest, die I-Bilder, P-Bilder und B-Bilder in einer Abfolge in einer Schicht einnehmen müssen, sondern erlaubt verschiedene Verteilungen, um verschiedene Komprimierungsgrade und einen direkten Zugriff bereitzustellen. Die übliche Verteilung in der Basisschicht sieht zwei B-Bilder zwischen aufeinander folgenden I- oder P-Bildern vor. Die Abfolge der Bilder kann beispielsweise I1, B1, B2, P1, B3, B4, I2, B5, B6, P2, B7, B8, I3 usw. sein. In der Anreicherungsschicht kann ein P-Bild von drei B-Bildern gefolgt sein, wobei ein I-Bild für jeweils 12 P- und B-Bilder vorgesehen ist, beispielsweise in der Abfolge I1, B1, B2, P1, B3, B4, P2, B5, B6, P3, B7, B8, I2. Weitere Details des MPEG-2-Standards können dem Dokument ISO/IEC JTC1/SC29/WG11 N0702 namens „Information Technology – Generic Coding of Moving Pictures and Associated Audio, Recommendation H.262", 25. März 1994 entnommen werden.
  • 1 zeigt ein übliches zeitliches und Disparitätsvorhersageverfahren für ein Videobild des MPEG-MVP-Systems. Die Pfeilköpfe zeigen die Vorhersagerichtung an, so dass das Bild, auf das der Pfeilkopf zeigt, anhand des Bildes vorhergesagt wird, das mit dem Ende des Pfeils verbunden ist. Bei einer Abfolge 150 der Basisschicht (linke Ansicht) von Ib 155, Bb1 160, Bb2 165, Pb 170, wobei der tief gestellte Index „b" die Basisschicht anzeigt, findet eine zeitliche Vorhersage wie dargestellt statt. Genauer ausgedrückt, wird Bb1 160 durch Ib 155 und Pb 170 vorhergesagt, Bb2 165 wird durch Ib 155 und Pb 170 vorhergesagt, und Pb 170 wird durch Ib 155 vorhergesagt. Bei einer Abfolge 100 der Anreicherungsschicht (rechte Ansicht) von Pe 105, Be1 110, Be2 115 und Be3 120, wobei der tief gestellte Index „e" die Anreicherungsschicht bezeichnet, findet eine zeitliche und/oder Disparitätsvorhersage statt. Genauer ausgedrückt, findet eine Disparitätsvorhersage von Pe 105 durch Ib 155 statt. Für Be1 110 findet sowohl eine zeitliche Vorhersage durch Pe 105 als auch eine Disparitätsvorhersage durch Bb1 160 statt. Für Be2 115 findet durch Be1 110 eine zeitliche Vorhersage und durch Bb2 165 eine Disparitätsvorhersage statt. Be3 120 wird durch Be2 115 zeitlich vorhergesagt, und durch Pb 170 findet eine Disparitätsvorhersage statt.
  • Im Allgemeinen ist die Basisschicht im MPEG-MVP-System gemäß dem Hauptprofil-(Main Profile – MP)-Protokoll codiert, während die Anreicherungsschicht gemäß den Werkzeugen zur zeitlichen Skalierbarkeit von MPEG-2 codiert ist.
  • Für stereoskopische Dienste mit festgelegter Bandbreite darf der Ausgangsbitstrom, der das Multiplex der Basis- und der Anreicherungsschicht enthält, nicht eine bestimmte Bitrate oder entsprechende Bandbreite übersteigen. Dieses Ergebnis kann mit verschiedenen Ratenregelungssystemen in der Basis- und Anreicherungsschicht erzielt werden, so dass die Bitrate für jede Schicht einen bestimmten Schwellenwert nicht überschreitet, und die Summe der zwei Bitraten die Bandbreitenanforderungen insgesamt erfüllt. Alternativ kann zugelassen werden, dass die Bitrate jeder Schicht so lange variiert, bis die kombinierte Bitrate die Bandbreitenanforderungen insgesamt erfüllt.
  • Außerdem sollte das Ratenregelungsverfahren auch eine relativ konstante Videosignalqualität für alle Bildtypen (z.B. I-, P- und B-Bilder) in der Anreicherungsschicht bereitstellen, und mit dem VBV-(Video Buffering Verifier)-Modell des MPEG-MVP-Systems übereinstimmen. Das VBV ist ein hypothetischer Decodierer, der konzeptuell mit dem Ausgang eines Codierers verbunden ist. Codierte Daten werden mit der konstanten Bitrate, die verwendet wird, in dem Puffer angeordnet, und werden abhängig davon, welche Daten über den längsten Zeitraum in dem Puffer verweilt haben, wieder entfernt. Es ist erforderlich, dass der von einem Codierer oder Editor erzeugte Bitstrom nicht zu einem Überlaufen oder Unterlaufen des VBV führt.
  • Bei üblichen Systemen kann die Qualität eines P-Bildes in der Anreicherungsschicht abhängig davon schwanken, ob eine zeitliche oder eine Disparitätsvorhersage dafür stattfindet. Bei einer Szene beispielsweise, bei der Kameras mit einer. konstanten Quantisierungsstufe nach rechts schwenken, kann ein P-Bild, das zeitlich durch ein B-Bild in der Anreicherungsschicht vorhergesagt wird, von niedrigerer Qualität sein als für den Fall, dass es durch Disparität anhand eines I-Bildes in der Basisschicht vorhergesagt wurde. Der Grund dafür ist, dass, wie erwähnt, B-Bilder die stärkste Komprimierung liefern, aber auch die meisten Fehler enthalten. Im Gegensatz dazu wird die Qualität eines P-Bildes der Basisschicht beibehalten, da ein B-Bild in der Basisschicht nicht als ein Bezugsbild benutzt werden darf. Die Qualität der P-Bilddarstellung entspricht der mittleren Quantisierungsschrittgröße der P-Bilddaten.
  • Außerdem können Bearbeitungsoperationen wie Schnellvorlauf oder Schnellrücklauf an einem Decodierungsendgerät in Reaktion auf Befehle durchgeführt werden, die von einem Konsumenten bereitgestellt werden. Solche Bearbeitungsoperationen können zu einem Codierungsfehler führen, da die GOP- (Group of Picture-Bildgruppe) oder die Bildwiederholperioden-Vollbilder in der Basis- und der Anreicherungsschicht unterschiedlich sein können, und ihre jeweiligen Startpunkte zeitlich verschoben sein können. Die GOP besteht aus einem oder mehreren aufeinander folgenden Bildern. Die Abfolge, in der die Bilder wiedergegeben werden, unterscheidet sich normalerweise von der Abfolge, in der die codierten Versionen in dem Bitstrom erscheinen. In einem Bitstrom ist das erste Vollbild in einer GOP stets ein I-Bild. In der Wiedergabereihenfolge ist jedoch das erste Bild in einer GOP entweder ein I-Bild, oder das erste B-Bild der aufeinander folgenden Serie von B-Bildern, das dem ersten I-Bild unmittelbar vorangeht. Außerdem ist in der Wiedergabereihenfolge das letzte Bild in einer GOP stets ein I- oder P-Bild.
  • Außerdem wird ein GOP-Header unmittelbar vor einem codierten I-Vollbild in dem Bitstrom benutzt, um dem Decodierer anzuzeigen, ob die ersten aufeinander folgenden B-Bilder, die unmittelbar auf das codierte I-Vollbild in dem Bitstrom folgen, im Fall eines direkten Zugriffs richtig rekonstruiert werden können, wobei das I-Vollbild nicht zur Benutzung als ein Referenzvollbild zur Verfügung steht. Auch wenn das I-Vollbild nicht verfügbar ist, können die B-Bilder möglicherweise allein durch Rückwärtsvorhersage anhand eines nachfolgenden I- oder P-Vollbilds rekonstruiert werden.
  • Wenn es erforderlich ist, ein Vollbild wiederzugeben, das nicht unmittelbar auf den GOP-Header folgt, wie z.B. bei Bearbeitungsoperationen, kann die Synchronisation zwischen den Vollbildern der Basis- und der Anreicherungsschicht zerstört werden. Dies kann zu einer Diskontinuität führen, die zu einem Einfrieren eines Vollbilds oder zu einer anderen Beeinträchtigung des resultierenden Videobilds führen kann.
  • Deshalb wäre es vorteilhaft, ein Ratenregelungsverfahren für ein stereoskopisches Videosystem wie z.B. das MPEG-MVP-System bereitzustellen, das die Quantisierungsstufe von P-Bildern in der Anreicherungsschicht in Abhängigkeit davon anpasst, ob das Bild zeitlich oder durch Disparität vorhergesagt wird. Das Verfahren sollte außerdem die Komplexitätsstufe des codierten Bildes und des Bezugsvollbilds berücksichtigen. Das Verfahren sollte auch die Anforderungen an die Datenrate während möglicher Bearbeitungsoperationen berücksichtigen, während es eine gleich bleibende Bildqualität bereitstellt und ein Einfrieren von Vollbildern vermeidet. Die vorliegende Erfindung stellt die genannten sowie weitere Vorteile bereit.
  • KURZDARSTELLUNG DER ERFINDUNG
  • Gemäß der vorliegenden Erfindung sind ein Verfahren und eine Vorrichtung zur Ratenregelung zur Benutzung in einem Codierer auf der Senderseite eines stereoskopischen digitalen Videokommunikationssystems bereitgestellt, um die Quantisierungsstufe von P- oder B-Vollbilddaten in der Anreicherungsschicht in Abhängigkeit davon zu modifizieren, ob das Vollbild zeitlich (von derselben Schicht) vorhergesagt wird, oder durch Disparität (von der entgegengesetzten Schicht) vorhergesagt wird. Die Erfindung kann eine gleich bleibende Bildqualität aufrechterhalten, indem zusätzliche Quantisierungsbits für disparitätsvorhergesagte P-Bilder bereitgestellt werden, wobei beispielsweise ein P-Vollbild durch ein B-Vollbild in der Basisschicht codiert werden kann. Die ausgewählte Quantisierungsstufe entspricht einer Gesamtbitratenanforderung der Anreicherungsschicht, richtige Bitrate, und einem virtuellen Pufferfüllungsparameter Vr.
  • In vielen Anwendungen ist es außerdem nötig, decodierte Daten für Bearbeitungsmodi wie z.B. Schnellvorlauf oder Schnellrücklauf erneut zu codieren. Gemäß der vorliegenden Erfindung wird, wenn das Bezugsvollbild in der Basisschicht das erste Vollbild einer GOP ist, das entsprechende Vollbild der Anreicherungsschicht als ein I- oder P-Vollbild codiert, um die Bildqualität zu verbessern, und um eine Fehlerfortpflanzung während solcher potentiellen Bearbeitungsmodi zu eliminieren. Wenn beispielsweise das fragliche Vollbild der Anreicherungsschicht mit Hilfe eines üblichen Bildverteilungsverfahrens als B-Vollbild codiert würde, verändert sich der Bildtyp stattdessen zu einem P- oder I-Bild. Auch die Ratenregelungsberechnungen am Sender berücksichtigen diese Möglichkeit, indem für das aktuelle Bild in der Anreicherungsschicht weniger Bits zugeteilt werden, um ein mögliches Überlaufen des virtuellen Puffers an dem Codierer zu vermeiden.
  • Außerdem wird für disparitätsvorhergesagte P-Vollbilder die Quantisierungsschrittgröße gemäß der Bewegungsstufe des Vollbilds, das in der Anreicherungsschicht codiert ist, oder des Bezugsvollbilds in der Basisschicht modifiziert, je nachdem, welche höher ist.
  • KURZE BESCHREIBUNG DER FIGUREN
  • 1 zeigt das übliche zeitliche und auf Disparität beruhende Vorhersageverfahren des MPEG-MVP-Systems.
  • 2 zeigt das erste GOP- oder Bildwiederholperioden-Unterprogramm gemäß der vorliegenden Erfindung.
  • 3 zeigt die Bildschichttaktung für die Anreicherungsschichtabfolge gemäß der vorliegenden Erfindung.
  • 4 zeigt das Unterprogramm für die Vorverarbeitung des aktuellen Bildes gemäß der vorliegenden Erfindung.
  • 5 zeigt das Unterprogramm für die Nachverarbeitung des vorherigen Bildes gemäß der vorliegenden Erfindung.
  • 6 zeigt eine Bildverteilungskonfigurierung gemäß der vorliegenden Erfindung.
  • GENAUE BESCHREIBUNG DER ERFINDUNG
  • Das Ratenregelungsverfahren der vorliegenden Erfindung umfasst sieben Prozesse, nämlich Parameterinitialisierung, Initialisierung für die Anreicherungsschicht, Initialisierung und Aktualisierung für die Bildwiederholperiode oder die Bildergruppe (Group of Pictures – GOP), Vorverarbeitung des aktuellen Bilds, Nachverarbeitung des vorherigen Bilds, Makroblock-Aufgaben- und Scheibenaufgaben-Ratenregelungsverarbeitung, und adaptive Quantisierungsverarbeitung.
  • Zu den Parametern, die zur späteren Benutzung initialisiert werden, zählt die minimal zugeteilte Anzahl von Bits Trmin für die Vollbilder, die einer GOP oder einer Bildwiederholperiode der Anreicherungsschicht entsprechen. Trmin wird bestimmt durch
    Figure 00120001
    wobei Richtige Bitrate die maximal zugeteilte Bitrate für die Anreicherungsschicht ist, und Bildrate die Bildrate des stereoskopischen Signals ist, beispielsweise 30 Bilder/Sekunde für NTSC-Video, und 25 Bilder/Sekunde für PAL-Video.
  • Außerdem wird dem aktuellen Bild in der Anreicherungsschicht ein anfänglicher Komplexitätswert Kx zugeteilt. Die gewählte Quantisierungsstufe des aktuellen Bildes entspricht der Komplexitätsstufe, so dass eine kleinere Quantisierungsschrittgröße für ein komplexeres Bild benutzt wird, wodurch sich mehr codierte Datenbits ergeben. Die anfängliche Komplexitätsstufe wird je nach Bildtyp zugeteilt. Ein I-Bild wird als ein Bezugsbild für direkten Zugriff benutzt, und sollte deshalb in relativ kleinen Schritten quantisiert werden. So weist also ein I-Bild eine relativ höhere Komplexitätsstufe auf. P- und B-Bildern wird ein niedrigerer Anfangswert der Komplexität zugeteilt, und sie sind deshalb gröber quantisiert. Außerdem kann die Komplexität eines jeweiligen Bildes entweder im räumlichen Bereich oder im Transformationsbereich bestimmt werden. Repräsentative Werte sind KxI = 1,39, KxDP = 0,52, KxTP = 0,37, und KxB = 0,37, wobei der tief gestellte Index „I" ein I-Bild, „DP" ein P-Disparitätsprädiktionsbild, "TP" ein zeitlich vorhergesagtes P-Bild, und „B" ein B-Bild bezeichnet. Außerdem sollen hier die Ausdrücke PD und PT benutzt werden, um ein disparitätsvorhergesagtes P-Bild und ein zeitlich vorhergesagtes P-Bild zu bezeichnen. Die Komplexitätsparameter sollten das Verhältnis KxI > KxDP ≥ KxTP ≥ KxB erfüllen.
  • Für einen jeweiligen Bildtyp ist der Komplexitätswert Kx anpassbar. Ein hochkomplexes Bild weist beispielsweise größere Variationen der Pixel-Leuchtdichte oder der Chrominanzwerte auf. Um eine jeweilige Bildqualität (z.B. Auflösung) aufrechtzuerhalten, muss das hochkomplexe Bild im Vergleich zu einem weniger komplexen Bild mit Hilfe zusätzlicher Bits codiert werden. Deshalb kann der Komplexitätswert eines jeweiligen Bildes erhöht oder gesenkt werden, je nachdem, ob das Bild komplexer oder weniger komplex ist als andere Bilder desselben Typs.
  • KrDP, KrTP KrB sind Parameter für die anfängliche virtuelle Pufferfüllung für die prädiktiv codierten Vollbilder (z.B. PD-, PT- und B-Vollbilder). Beispielsweise sind KrDP = 1,0, KrTP = 1,4, KrB = 1,4 geeignet. Diese Parameter sind anpassbar und sollten KrDP < KrTP ≤ KxB erfüllen. XrDP, XrDP, und XrB sind die jeweiligen Komplexitäten für PD-, PT- bzw. B-Bilder, und werden anfangs jeweils anhand der Komplexitätsparameter KxDP, KxTP bzw. KxB bestimmt. Genauer ausgedrückt, ist bei Benutzung der minimal zugeteilten Anzahl von Bits für die Anreicherungsschicht, Richtige Bitrate, die gewünschte Bitrate für I-Bilder XrI = KxI·Richtige_Bitrate. Für PD-Bilder XrDP = KxDP·Richtige_Bitrate. Für PT- Bilder XrTP = KxTP·Richtige_Bitrate. Für B-Bilder XrB = KxB·Richtige_Bitrate. Außerdem kann für den Fall, dass keine I-Vollbilder in der Anreicherungsschicht vorhanden sind, die zugeteilte Bitrate für die disparitätsvorhergesagten P-Bilder durch den Ausdruck XrI/NI erhöht werden, wobei NI = max{Nr/GOP_Länge_der_linken_Ansicht, 1}. Nr ist die Bildwiederholperiode der Anreicherungsschicht, wie erwähnt, und GOP_Länge_der_linken_Ansicht ist die Anzahl der Vollbilder in einer Bildergruppe in der Basisschicht. In diesem Fall XrDP = KxDP·Richtige_Bitrate + XrI/NI. Hinsichtlich GOP_Länge_der_linken_Ansicht ist ein übliches Bildverteilungsschema in der Basisschicht von I1, B1, B2, P1, B3, B4, I2, B5, B6, P2, B7, B8 zu berücksichtigen. In diesem Fall ist GOP_Länge_der_linken_Ansichit = 12.
  • Als nächstes wird der aktuelle Bildtyp in der Anreicherungsschicht bestimmt. Wenn das aktuelle Bild ein I-Bild ist, ist der Füllungsgrad des virtuellen Puffers VrI = 10·RPr/31. Wenn das aktuelle Bild ein disparitätsvorhergesagtes P-Bild ist, ist der Füllungsgrad des virtuellen Puffers VrDF = 10·RPr·KrD P/31. Für ein zeitlich vorhergesagtes P-Bild ist der Füllungsgrad des virtuellen Puffers VrTP10·RPr·KrT P/31. Für ein B-Bild ist der Füllungsgrad des virtuellen Puffers VrB = VrTP = 10·RPr·KrB/31, da KrTP = KrB. Der Reaktionsparameter RPr ist definiert als RPr = 2·Richtige_Bitratel/Bildrate.
  • Nun soll die Initialisierung für die Anreicherungsschicht beschrieben werden. 2 zeigt das anfängliche GOP- oder Bildwiederholperioden-Unterprogramm gemäß der vorliegenden Erfindung. Das Programm beginnt an Block 200. An Block 210 werden die Werte Nr, NI und MI abgerufen. Nr ist die Anzahl der Bilder (z.B. Länge) in der Bildwiederholperiode oder GOP der Anreicherungsschicht (rechte Ansicht). NI ist die GOP-Länge der Basisschicht (linke Ansicht), und MI bezeichnet die Konfigurierung von Bildtypen in der Basisschicht. Genauer ausgedrückt weist für MI = 1 die Basisschicht nur I- und P-Bilder auf. Für MI = 2 weist die Basisschicht I-, P- und B-Bilder auf, wobei ein B-Bild zwischen I- oder P-Bildern angeordnet ist. Für MI = 3 weist die Basisschicht I-, P- und B-Bilder auf, wobei zwei aufeinander folgende B-Bilder zwischen I- und P-Bildern angeordnet sind.
  • An Block 220 wird der Anfangswert der Anzahl von I-, P- und B-Bildern in der Bildwiederholperiode oder GOP der Anreicherungsschicht berechnet. NrI ist die Anzahl von I-Vollbildern, NrDP ist die Anzahl von disparitätsvorhergesagten P-Vollbildern, NrTP ist die Anzahl von zeitlich vorhergesagten P-Vollbildern, und NrB ist die Anzahl von B-Vollbildern.
  • An Block 230 wird der Anfangswert der verbleibenden Anzahl von Bits, Gr, in der Bildwiederholperiode oder GOP der Anreicherungsschicht bestimmt durch
    Figure 00150001
  • An Block 240 wird Rr, die verbleibende Anzahl von Bits, die zum Codieren der verbleibenden Bilder in der Bildwiederholperiode oder GOP vorhanden ist, abgerufen. Rr ist eine laufende Bilanz, die nach der Codierung jedes Bilds in der Anreicherungsschicht aktualisiert wird. Der Anfangswert der verbleibenden Anzahl von Bits ist Rr = 0. An Block 250 wird Rr auf Rr = Rr + Gr aktualisiert.
  • An Block 260 werden andere Parameter initialisiert, wie zuvor erörtert, darunter Trmin, Kx, Kr, Xr, und Vr. An Block 270 endet das Programm.
  • Die Initialisierung und Aktualisierung für die Bildwiederholperiode oder die Bildergruppe (GOP) soll im Folgenden beschrieben werden. In der Basisschicht ist die Bildwiederholperiode das Intervall zwischen aufeinander folgenden I-Bildern in der Abfolge codierter Videovollbilder, und definiert dieselben Bilder wie die GOP. In der Anreicherungsschicht ist die Bildwiederholperiode das Intervall zwischen aufeinander folgenden I-Bildern, wenn diese vorhanden sind, oder zwischen zwei zuvor zugewiesenen disparitätsvorhergesagten P-Bildern (z.B. PD-Bildern).
  • Zuvor zugewiesen bedeutet, dass der Bildtyp in der Anreicherungsschicht eingestellt wird, bevor die Konfigurierung der Basisschicht überprüft wird. Gemäß der vorliegenden Erfindung kann ein zuvor zugewiesener Bildtyp vor der Codierung in einen anderen Bildtyp umgeändert werden. In der Basisschicht, und, wenn I-Vollbilder benutzt werden, in der Anreicherungsschicht, geht der GOP-Header unmittelbar einem codierten I-Vollbild in dem paketierten Video-Bitstrom voraus, um anzuzeigen, ob die ersten aufeinander folgenden B-Bilder, die unmittelbar auf das codierte I-Vollbild folgen, für den Fall eines direkten Zugriffs richtig rekonstruiert werden können. Diese Situation kann beispielsweise während der Bearbeitung einer Abfolge von Videovollbildern an einem Decodierer eintreten. Wenn keine I-Vollbilder in der Anreicherungsschicht benutzt werden, liegt entsprechend keine GOP vor. Außerdem weisen die GOP oder die Bildwiederholperiode, die in der Basis- und der Anreicherungsschicht benutzt werden, normalerweise zeitlich versetzte Start- und Endpunkte auf. Das heißt, das erste Vollbild einer GOP in der Basisschicht stimmt nicht unbedingt mit dem ersten Vollbild der Bildwiederholperiode der Anreicherungsschicht überein. Ebenso variiert die Länge von GOP oder Bildwiederholperiode (z.B. die Anzahl von Vollbildern) normalerweise zwischen Basis- und Anreicherungsschicht.
  • Die Tatsache, dass die Basis- und die Anreicherungsschicht versetzt sein und eine unterschiedliche Länge aufweisen können, kann in Bearbeitungsmodi wie dem Schnellvorlauf und dem Schnellrücklauf zu Problemen führen. Bearbeitungsoperationen können sogar zu einem Verlust der Anreicherungsschicht oder anderen optischen Beeinträchtigungen führen. Protokolle wie MPEG-2 stellen eine syntaktische Hierarchie in dem codierten Bitstrom bereit, die derartige Bearbeitungsfunktionen zulässt. Beispielsweise kann der Bitstrom mit verschiedenen Zugriffspunkten codiert werden, welche das Verarbeiten und Bearbeiten entsprechender Abschnitte der Basisschicht zulassen, ohne dass das gesamte Video decodiert werden muss.
  • Solche Zugriffspunkte in der Basisschicht entsprechen jedoch nicht unbedingt akzeptablen Zugriffspunkten in der Anreicherungsschicht. Beispielsweise ist ein Zugriffspunkt normalerweise dort in der Basisschicht vorgesehen, wo sich ein I-Bild befindet. Da ein I-Vollbild ein in sich geschlossenes Videovollbild bereitstellt, können nachfolgende Vollbilder in der Basisschicht anhand des I-Vollbilds vorhergesagt werden. Allerdings kann das I-Vollbild in der Basisschicht mit einem B-Vollbild in der Anreicherungsschicht übereinstimmen. In diesem Fall können nachfolgende Bilder nicht genau anhand des B-Vollbilds in der Anreicherungsschicht vorhergesagt werden, da ein B-Vollbild nicht die Daten von einem vollständigen Videovollbild enthält.
  • Gemäß der vorliegenden Erfindung wird stattdessen ein Anreicherungsschichtbild, das als ein B-Bild vordefiniert ist, als ein PD-Bild codiert, wenn ermittelt wird, dass das Bild mit dem ersten I-Bild einer GOP der Basisschicht übereinstimmt. Das heißt, der Bildtyp ist vertauscht. So kann für den Fall, dass ein direkter Zugriff in der Basisschicht erforderlich ist, das entsprechende P-Bild in der Anreicherungsschicht mit Hilfe des I-Vollbilds der Basisschicht disparitätsvorhergesagt werden, um die Information bereitzustellen, um das Bild der Anreicherungsschicht zu rekonstruieren. Alternativ kann das Bild der Anreicherungsschicht als ein I-Bild codiert werden, wenn ausreichend Bits zur Verfügung stehen, wodurch ein synchronisierter direkter Zugriff sowohl für die Basis- als auch für die Anreicherungsschicht bereitgestellt wird.
  • Außerdem können sich aufgrund von Quantisierungs- und anderen Fehlern an dem Decodierer Fehler in Vollbildern fortpflanzen, die anhand anderer Vollbilder vorhergesagt wurden. Deshalb ist es nötig, regelmäßig ein neues Vollbild bereitzustellen, das in sich geschlossen ist, und nicht von einem anderen Vollbild abhängt (wie z.B. ein I-Vollbild in der Basisschicht), oder das direkt anhand eines I-Vollbilds vorhergesagt wird (wie z.B. ein disparitätsvorhergesagtes P-Vollbild in der Anreicherungsschicht). Wenn ein solches Vollbild bereitgestellt wird, wird der Datenstrom als aufgefrischt bezeichnet, da fortgepflanzte Fehler eliminiert oder reduziert wurden, und eine neue Grundlinie gelegt wurde. Bei einer Vollbildrate von beispielsweise 30 Vollbildern/Sekunde, wobei jedes achte Bild in der Basisschicht ein I-Bild ist, beträgt die Bildwiederholperiode 8/30 Sekunden. Von den Vollbildern, die sich auf einen GOP-Header beziehen, wird gesagt, dass sie die Bildwiederholperiode umspannen.
  • 3 zeigt die Bildschichttaktung für die Anreicherungsschichtabfolge gemäß der vorliegenden Erfindung. Die Anreicherungsschicht enthält in der gezeigten vollständigen GOP die Abfolge der Vollbilder I1, B1, PD1 PT1, B3, B4, PT2, B5, PD2, PT3, B7, B8. Die Bilder PD1 und PD2 haben B2 bzw. B6 (nicht dargestellt) ersetzt. Ein Rücksetzsignal 310 zeigt den Anfang der Codierungssequenz mit einem Impuls 315. Ein Impuls-Sync-(PSYNC)-Signal 320 stellt eine Impulsabfolge bereit. Impuls 325 zeigt das letzte Vollbild (das als ein B-Bild gezeigt ist) in der vorhergehenden GOP oder Bildwiederholperiode an. Impuls 330 zeigt das erste Vollbild in der nächsten GOP oder Bildwiederholperiode an. Wie erwähnt, ist die GOP definiert, wenn in der Anreicherungsschicht I-Bilder benutzt werden. Anderenfalls definiert die Bildwiederholperiode die Gruppe von Bildern, die mit der zugeteilten Anzahl von Bits zu codieren sind. Die Bilder der Bildwiederholperiode sind also auch dann gruppiert, wenn keine GOP vorliegt. Die Impulse 330 bis 390 entsprechen jeweils den Bildern I1, B1, PD1 PT1, B3, B4, PT2, B5, B6, PT3, B7, B8, bzw. I2.
  • Impuls 390 zeigt den Anfang einer anderen Gruppe von Bildern oder Bildwiederholperiode in der Anreicherungsschicht an. In dem dargestellten Beispiel ist das erste Vollbild, das in der GOP oder Bildwiederholperiode zu codieren ist, jeweils entweder ein I-Bild bzw. ein PD-Bild. Das nächste Vollbild, angezeigt durch Impuls 335, ist ein B-Bild. Gemäß der vorliegenden Erfindung wurde jedoch das nächste Vollbild, das durch Impuls 340 angezeigt ist, von einem B-Bild (z.B. B2) in ein PD-Bild umgeändert. Ebenso hat PD2, das durch Impuls 370 angezeigt wird, ein weiteres B-Bild, B6 (nicht dargestellt), ersetzt. Die letzten beiden Vollbilder der GOP oder Bildwiederholperiode sind B7 und B8, angezeigt durch die Impulse 380 bzw. 385. Nach dem Rücksetzsignalimpuls 317 beginnt eine weitere GOP oder Bildwiederholperiode, wie angezeigt durch Impuls 390, mit einem weiteren I-Bild oder PD-Bild. Impuls 395 zeigt ein erstes B-Bild dieser GOP an, usw.
  • Außerdem zeigt jeder der Impulse 330 bis 385 das Auftreten einer Nachverarbeitung eines vorhergehenden Bildes, und einer Vorverarbeitung des aktuellen Bildes an. Angenommen beispielsweise, dass in der Anreicherungsschicht keine I-Bilder vorliegen. Der Impuls 330 zeigt also an, dass die Vorverarbeitung des aktuellen Vollbilds beginnt, das als ein PD-Bild codiert werden soll. Zu diesem Zeitpunkt setzt auch die Nachverarbeitung des B-Bilds ein, die durch Impuls 325 angezeigt wird. Ebenso zeigt Impuls 335 an, dass die Vorverarbeitung des aktuellen Vollbilds, B1, beginnt, und die Nachverarbeitung des durch Impuls 330 angezeigten PD-Bilds beginnt. Die Schritte der Vorverarbeitung und Nachverarbeitung sollen im Folgenden beschrieben werden.
  • 4 zeigt das Unterprogramm zur Vorverarbeitung des aktuellen Bilds gemäß der vorliegenden Erfindung. Das Programm beginnt an Block 400. An Block 405 werden die Parameter Rr, Trmin, NrI, NrDP, NrTP, NrB, KrDP, KrTP, KrB, XrDP, XrB und XrTP abgerufen. Rr ist die verbleibende Zahl von Bits, die für die Vollbilder einer GOP oder Bildwiederholperiode der Anreicherungsschicht zugeteilt werden kann. Trmin ist die minimal zugeteilte Anzahl von Bits für ein Vollbild.
  • NrI, NrDP, NrTP und NrB sind jeweils die Anzahl von I-, PD-, PT- bzw. B-Bildern, die in einer GOP oder Bildwiederholperiode der Anreicherungsschicht gemäß der vorliegenden Erfindung bereitgestellt sind. Bei einem stereoskopischen Videosignal sollte, wenn das codierte Vollbild der Basisschicht das erste Vollbild der GOP ist, das entsprechende Vollbild in der Anreicherungsschicht entweder als ein I- oder ein P-Vollbild codiert werden, wobei das Vollbild der Basisschicht als das Bezugsvollbild benutzt wird. Dieser Faktor sollte auch bei den Berechnungen zur Ratenregelung berücksichtigt werden, um sicherzustellen, dass die Bildwiederholperiode richtig konfiguriert wird.
  • Zum Beispiel zeigt 6 eine Bildverteilungskonfigurierung gemäß der vorliegenden Erfindung. Man wird verstehen, dass das gezeigte Beispiel nur eine von vielen Bildverteilungskonfigurierungen ist. Bilder 602 bis 626 befinden sich in der Anreicherungsschicht 600, und Bilder 652 bis 676 befinden sich in der Basisschicht. Der Bildtyp ist in dem Bild angezeigt. Der tief gestellte Index „e" zeigt, wenn er benutzt wird, die Anreicherungsschicht an, und der tief gestellte Index „b" die Basisschicht, und der numerische tief gestellte Index ist ein Abfolgeindikator. Beispielsweise ist Bild Be4 616 das vierte B-Bild von den Bildern der Anreicherungsschicht, die dargestellt sind. PD und PT zeigen jeweils ein disparitätsvorhergesagtes P-Bild bzw. ein zeitlich vorhergesagtes P-Bild an. Es ist zu beachten, dass die Bilder in der Reihenfolge gezeigt sind, in der sie in dem Bitstrom übertragen werden, welche sich normalerweise von der Wiedergabereihenfolge unterscheidet.
  • Außerdem zeigen die dargestellten Pfeile, die auf jeweilige Bilder in der Anreicherungsschicht zeigen, den Typ der Codierung an, der für das Bild benutzt wird. Ein durchgezogener Pfeil zeigt an, dass das Bild, auf welches gezeigt wird, mit dem Bild am Ende des Pfeils als Bezugsbild codiert wird. Beispielsweise wird Be1 604 unter Benutzung sowohl von Ie1 602 in der Anreicherungsschicht als auch Bb2 654 in der Basisschicht codiert. Ein gestrichelter Pfeil zeigt eine Codierungsoption an. Beispielsweise kann Bild 608 durch Bild PD1 606 in der Anreicherungsschicht codiert werden, wobei das Bild in diesem Fall PT1 ist, oder Bild 608 kann durch Bild Bb3 658 in der Basisschicht codiert werden, wobei das Bild in diesem Fall PD ist. Gemäß der vorliegenden Erfindung kann die Option ausgewählt werden, die ein bestimmtes Kriterium erfüllt. Dieses Kriterium kann beispielsweise einen minimierten Vorhersagefehler, oder eine gewünschte Bitzuteilung oder Bildqualität widerspiegeln. In jedem Fall berücksichtigt das Ratenregelungsverfahren der vorliegenden Erfindung den ausgewählten Bildtyp.
  • Es ist auch zu beachten, dass, während ein Bild des P-Typs nur ein Bezugsvollbild aufweist, ein B-Bild üblicherweise Makroblöcke aufweist, die durch Vollbilder in beiden Schichten in einem Mittelungsprozess vorhergesagt werden. Beispielsweise wird Be3 612 sowohl durch Be2 610 als auch durch Pb1 662 vorhergesagt. Vorhersagemodi in der Basisschicht sind nicht dargestellt, da sie wie üblich sind.
  • Bei der Konfigurierung des Bildverteilungs- und -vorhersagemodus aus 6 enthält die Anreicherungsschicht I-Bilder Ie1 602 und Ie2 626. Also enthält eine GOP der Anreicherungsschicht die zwölf Bilder 602 bis 624. Eine andere GOP der Anreicherungsschicht beginnt bei Ie2 626, ist jedoch nicht vollständig gezeigt. Eine GOP der Basisschicht enthält Bilder Ib1 656 bis Bb6 666. Eine weitere GOP der Basisschicht beginnt bei Bild Ib2 668, ist jedoch nicht vollständig gezeigt. Es ist zu beachten, dass die zwölf Bilder Bb1 652 bis Pb2 674 in der Basisschicht der GOP der Anreicherungsschicht entsprechen. In der Basisschichtabfolge von zwölf Bildern sind zwei I-Bilder am Beginn der Basisschicht-GOPs vorhanden. Gemäß der vorliegenden Erfindung werden die Bilder in der Anreicherungsschicht, die diesen I-Bildern der Basisschicht entsprechen, zum Codieren in einen anderen Bildtyp umgewandelt. Genauer ausgedrückt, wurde Bild PD1 606, das dem Bild Ib1 656 in der Basisschicht entspricht, umgewandelt. Ebenso wurde Bild PD2 618 umgewandelt, das dem Bild Ib2 668 in der Basisschicht entspricht. Zuvor waren bei einem üblichen Bildverteilungsschema die Bilder PD1 606 und PD2 618 B-Bilder. In einer alternativen Ausführungsform können die Bilder der Anreicherungsschicht, die dem Beginn von GOP-Bildern in der Basisschicht entsprechen, in I-Bilder umgeändert werden. Das Umändern eines B-Bilds in ein P- oder ein I-Bild in der Anreicherungsschicht, wie es offenbart ist, stellt in den Bearbeitungsmodi Vorteile bereit, wenn ein direkter Zugriff in der Basis- und der Anreicherungsschicht notwendig sein kann.
  • Also ist in dem Beispiel aus 6, NrI = 1, NrDP = 2, NrTP = 3, und NrB = 6 in der GOP in der Anreicherungsschicht, die die Bilder Ie1 602 bis Be6 624 umspannt. Außerdem ist Nr = 12, da zwölf Bilder in der GOP der Anreicherungsschicht (rechts) vorhanden sind, NI = 6, da sechs Bilder in der GOP der Basisschicht (links) vorhanden sind, und MI = 3, da zwei aufeinander folgende B-Bilder zwischen I- oder P-Bildern in der Basisschicht vorhanden sind.
  • Zurückkehrend zu 4, wird an Block 410 der aktuelle Bildtyp in der Anreicherungsschicht bestimmt. Je nach Bildtyp wird eine der vier verschiedenen Abzweigungen in 4 eingeschlagen. Wenn das aktuelle Bild ein I-Bild ist, wird an Block 415 der Füllungsgrad des virtuellen Puffers VrI bestimmt. Wenn das aktuelle Bild ein P-Bild ist, wird an Block 412 der Typ des P-Bilds bestimmt. Bei einem disparitätsvorhergesagten P-Bild wird an Block 435 der Füllungsgrad des virtuellen Puffers VrDP bestimmt. Bei einem zeitlich vorhergesagten P-Bild wird an Block 455 der Füllungsgrad des virtuellen Puffers VrTP bestimmt. Bei einem B-Bild wird an Block 475 der Füllungsgrad des virtuellen Puffers VrB bestimmt.
  • Als nächstes wird das aktuelle Bild in der Anreicherungsschicht, das codiert wird, vorverarbeitet, um eine „Ziel"-Bitzuteilung Tr zu bestimmen, wobei es sich um die geschätzte Anzahl von Bits handelt, die verfügbar ist, um das nächste Bild zu codieren. Außerdem erfolgt die Bitzuteilung für eine Anzahl von Vollbildern, die von der GOP oder Bildwiederholperiode definiert werden. Entsprechend muss auch bekannt sein, wie viele Vollbilder, und welchen Typ, die GOP oder die Bildwiederholperiode umfassen. Insbesondere, wenn das neu codierte Vollbild ein I-Bild ist, an Block 420,
    Figure 00230001
  • Für ein disparitätsvorhergesagtes P-Bild an Block 440,
    Figure 00230002
  • Für ein zeitlich vorhergesagtes P-Bild, an Block 460,
    Figure 00230003
  • Für ein B-Bild an Block 480,
    Figure 00240001
  • Wenn das aktuelle Vollbild als ein bestimmter Bildtyp codiert wird, kann die Anzahl der verbleibenden Bilder dieses Typs, die in der Anreicherungsschicht benötigt wird, um eins reduziert werden. Für I-Bilder wird also an Block 425 NrI um eins gesenkt und gespeichert. Entsprechende Aktionen erfolgen jeweils für NrDP, NrTP und NrB an den Blöcken 445, 465 bzw. 485.
  • Wenn das aktuelle Bild ein PD-Bild ist, wird gemäß der vorliegenden Erfindung eine neue mittlere Bewegungsstufe mittl_Bew'' an Block 450 definiert. mittl_Bew zeigt die mittlere Bewegung des vorangehenden Vollbilds in der Anreicherungsschicht an, und kann entweder im räumlichen Definitionsbereich bestimmt werden, wie bei dem System MPEG-Testmodell 5, oder im Transformationsdefinitionsbereich, wie bei einigen MPEG-2-Systemen. Weitere Details zu Testmodell 5 sind in dem Dokument ISO/IEC JTC1/SC29/WG11, AVC-491, Version 1, namens „Test Model 5", April 1993 zu finden, das hiermit durch Querverweis zitiert wird.
  • Üblicherweise wird die Quantisierungsstufe eines codierten Vollbildes anhand der Bewegungsstufe allein des Referenzvollbilds bestimmt. Allerdings kann dies zu einer verringerten Bildqualität führen, wenn das aktuelle Vollbild eine höhere Bewegungsstufe aufweist als das Bezugsvollbild. Bei einem PD-Bild läge das Bezugsvollbild in der Basisschicht (links), mit einer mittleren Bewegung von mittl_Bew_1. Gemäß der vorliegenden Erfindung wird für PD-Bilder das Maximum der mittleren Bewegungsstufen des vorhergehenden Vollbilds und des Bezugsbilds benutzt. Auf diese Weise ist die neue mittlere Bewegungsstufe mittl_Bew'' = max{mittl_Bew, mittl_Bew_1}.
  • Alternativ, wenn das System Vollbildpuffer aufweist, kann mittl_Bew eines codierten Vollbilds in der Anreicherungsschicht vorberechnet und gespeichert werden. Das heißt, für das aktuelle Vollbild, das gerade codiert wird, kann die mittlere Bewegung anhand des aktuellen Bildes selbst berechnet werden.
  • Für I-, PT- und B-Bilder ist an Blöcken 430, 470 bzw. 487 die mittlere Bewegungsstufe mittl_Bew'' = mittl_Bew.
  • An Block 489 wird der aktuelle Bildtyp zum späteren Wiederaufrufen während der Nachverarbeitung des vorhergehenden Bildes gespeichert. An 490 erfolgt eine Bestimmung, ob eine lineare oder eine nicht-lineare Quantisierung zu benutzen ist. Bei der linearen Quantisierung wird die anfängliche Quantisierungsschrittgröße, die zum Quantisieren sowohl der skalierten DC- als auch AC-Koeffizienten in dem aktuellen Vollbild benutzt wird, aus dem Makroblock-Quantisierungsparameter, MQUANT, hergeleitet, der an Block 492 als
    Figure 00250001
    bestimmt wird. Wie erörtert, ist Vr der Füllungsgrad des virtuellen Puffers, und RPr ist der Reaktionsparameter. Für eine nicht-lineare Quantisierungsskala ist an Block 494
    Figure 00250002
    wobei nicht_lineare_mquant_Tabelle die Ausgabe einer Suchtabelle mit einer Eingabe von Vr·31/RPr ist.
  • Das Programm endet an Block 496.
  • 5 zeigt das Unterprogramm zur Nachverarbeitung des vorhergehenden Bildes gemäß der vorliegenden Erfindung. An Block 505 werden die Parameter Rr, MBr, Sr, Tr, TQr und Vr abgerufen. Rr ist die verbleibende Anzahl von Bits, die für die Vollbilder einer GOP oder Bildwiederholperiode in der Anreicherungsschicht zugeteilt werden kann, nachdem das aktuelle Vollbild codiert wurde. MBr ist die Anzahl der Makroblöcke in einem Vollbild. Sr ist die Anzahl von Bits in einem vorhergehenden Bild in der Anreicherungsschicht, und umfasst keine Stuff-Bits, bei denen es sich um Scheinbits handelt, die vor einem Startcode in den Datenstrom eingefügt werden. Tr ist die Anzahl von Bits, die zum Codieren des aktuellen Vollbilds zugeteilt wird. TQr ist die Akkumulation von MQUANT für das vorhergehende Bild. Vr ist der Füllungsgrad des virtuellen Puffers.
  • An Block 510 wird der mittlere Quantisierungsparameter Qr berechnet. Wenn das nächste Bild ein PD-Bild ist, QrDP = TQrDP/MBr. Anderenfalls Qr = TQr/MBr.
  • An Block 515 wird eine globale Komplexitätsstufe Xr bestimmt. Wenn das nächste Bild ein PD-Bild ist, ist die globale Komplexität Xr = SrDP·QrDP. Anderenfalls gilt Xr = Sr·Qr.
  • An Block 520 wird der Füllungsgrad des virtuellen Puffers Vr aktualisiert, indem zu dem vorherigen Füllungsgrad des virtuellen Puffers die Anzahl der Bits in dem vorhergehenden Bild, Sr, hinzuaddiert wird, und die Anzahl von Bits subtrahiert wird, die dem aktuellen Bild Tr zugeteilt ist.
  • An Block 525 wird der Typ des vorhergehenden Bildes abgerufen. Wenn das vorhergehende Bild in der Anreicherungsschicht ein I-Bild ist, werden an Block 535 XrI und VrI eingestellt und gespeichert. Wenn das vorhergehende Bild ein PD-Bild ist, wie in Block 555 bestimmt, werden an Block 545 XrDP und VrDP eingestellt und gespeichert. Wenn das vorhergehende Bild ein PT-Bild ist, wie an Block 555 bestimmt, werden an Block 560 XrTP und VrTP eingestellt und gespeichert. Wenn das vorhergehende Bild ein B-Bild ist, werden an Block 570 XrB und VrB eingestellt und gespeichert.
  • Als nächstes wird die mittlere Bewegung berechnet und jeweils für die I-, PD-, PT- und B-Bilder an den Blöcken 540, 550, 565 bzw. 575 gespeichert, wie im Zusammenhang mit den Blöcken 430, 450, 470 und 487 aus 4 erläutert.
  • Als nächstes wird an Block 580 die verbleibende Anzahl von Bits, die für die Vollbilder der GOP oder Bildwiederholperiode der Anreicherungsschicht zugeteilt werden können, durch Subtrahieren der Anzahl von Bits in dem vorhergehenden Bild in der Anreicherungsschicht, Sr, aktualisiert.
  • Das Programm endet an Block 585.
  • Im Folgenden sollen Ratenregelungsverarbeitungen der Makroblock-Aufgaben und der Scheiben aufgaben erörtert werden. In dem MPEG-2-System basiert die Ratenregelung teilweise auf der Makroblockebene und der Scheibenebene eines Videovollbilds. Bei einem NTSC-Format beispielsweise kann ein Videovollbild in dreißig Scheiben unterteilt sein, von denen jede vierundvierzig Makroblöcke aufweist. Auf diese Weise umfasst ein gesamtes NTSC-Vollbild 1.320 Makroblöcke. Bei einem PAL-Format sind es 1.584 Makroblöcke.
  • Bei der makroblockbasierten Ratenregelung soll Bm(j) für die Anzahl von Bits in dem j-ten Makroblock in dem aktuellen Bild stehen, für j = 1 zu 1.320. Abm(j) ist die Anzahl von akkumulierten Bits bis zu dem j-ten Makroblock in dem aktuellen Bild. MBr ist die Anzahl der Makroblöcke in dem Bild.
  • Eine Diskrepanz zwischen Makroblock und virtuellem Puffer d(j) wird bestimmt durch
    Figure 00280001
    Der Bezugsquantisierungsparameter für den j-ten Makroblock ist
  • Figure 00280002
  • Für die Ratenregelung der Scheibenebene ist Bs(j) die Anzahl von Bits in der j-ten Scheibe in dem aktuellen Bild, für j = 1 zu 30. Abs(j) ist die akkumulierte Anzahl von Bits bis zu der j-ten Scheibe in dem aktuellen Bild. Num Scheibe ist die Anzahl von Scheiben in dem Bild. Die Diskrepanz zwischen Scheibe und virtuellem Puffer ist ds(j), wobei
    Figure 00280003
    Der Bezugsquantisierungsparameter für die j-te Scheibe ist
    Figure 00280004
  • Im Folgenden soll eine adaptive Quantisierungsverarbeitung beschrieben werden. Zunächst wird die Bewegung des j-ten Makroblocks Bew(j) berechnet. Wenn das aktuelle Bild ein P-Bild im Disparitätsvorhersagemodus ist, wird die normierte Bewegung des j-ten Makroblocks, N_Bew(j) berechnet als
    Figure 00280005
  • Für andere Typen von P-Bildern
  • Figure 00280006
  • Bei der Ratenregelung auf Makroblockebene wird die Quantisierungsschrittgröße für den j-ten Makroblock wie folgt berechnet.
  • Für eine lineare Q-Skala, MQUANT(j) = max{2,min{Q(j)·N_Bew(j),62}}.
  • Für eine nicht-lineare Quantisierungsskala, MQUANT(j) = max{1,min{nicht_lineare_mquant_Tabelle[Q(j)·N_Bew(j)],112}},wobei nicht_lineare_mquant_Tabelle die Ausgabe einer Suchtabelle mit einer Eingabe von Q(j)·N_Bew(j) ist.
  • Bei der Ratenregelung auf Scheibenebene wird Q(j) durch Qs(j) ersetzt, so dass für eine lineare Q-Skala, MQUANT(j) = max{2,min{Qs(j)·N_Bew(j),62}},und für eine nicht-lineare Quantisierungsskala, MQUANT(j) = max{1,min{nicht_lineare_mquant_Tabelle[Qs(j)·N_Bew(j)],112}},wobei nicht_lineare_mquant_Tabelle die Ausgabe einer Suchtabelle mit einer Eingabe von Qs(j)·N_Bew(j) ist.
  • Entsprechend wird deutlich, dass die vorliegende Erfindung ein Ratenregelungsverfahren für ein stereoskopisches digitales Videokommunikationssystem bereitstellt, das die Quantisierungsstufe von P- oder B-Vollbilddaten in der Anreicherungsschicht abhängig davon modifiziert, ob das Vollbild zeitlich vorhergesagt wird (aus derselben Schicht) oder disparitätsvorhergesagt wird (aus der entgegengesetzten Schicht). Außerdem wird die Quantisierungsschrittgröße gemäß der Bewegungsstufe des in der Anreicherungsschicht codierten Vollbilds oder des Bezugsvollbilds in der Basisschicht modifiziert, je nachdem, welche größer ist. Außerdem wird die Bildqualität verbessert, und ein Einfrieren von Vollbildern während Bearbeitungsmodi wird durch Codieren des Anreicherungsschichtvollbilds als ein I- oder P-Vollbild verhindert, wenn das Bezugsvollbild in der Basisschicht das erste Vollbild einer Bildergruppe (GOP) ist.
  • Obwohl die Erfindung im Zusammenhang mit verschiedenen spezifischen Ausführungsformen erörtert wurde, werden Fachleute verstehen, dass zahlreiche Adaptionen und Modifikationen daran vorgenommen werden können, ohne von dem Umfang der Erfindung abzuweichen, wie er in den Ansprüchen dargelegt ist.

Claims (18)

  1. Ein Verfahren zum Codieren aufeinanderfolgender Bilder von Videodaten in einer Anreicherungsschicht eines stereoskopischen digitalen Datensignals, wobei das Verfahren die folgenden Schritte beinhaltet: Bereitstellen eines Bezugsbildes zur Verwendung bei der Codierung eines aktuellen Bildes einer Gruppierung der Bilder; wobei: falls das Bezugsbild in der Anreicherungsschicht vorhanden ist, zumindest ein Teil des aktuellen Bildes unter Verwendung einer ersten Anzahl Bits codiert wird; und falls das Bezugsbild in einer Basisschicht des stereoskopischen Signals vorhanden ist, der Teil des aktuellen Bildes unter Verwendung einer zweiten Anzahl Bits, die sich von der ersten Anzahl Bits unterscheidet, codiert wird.
  2. Verfahren gemäß Anspruch 1, das folgende weitere Schritte beinhaltet: Zuordnen einer anfänglichen Anzahl Bits zum Codieren der Gruppierung der Bilder; und Beibehalten einer laufenden Summe restlicher verfügbarer Bits, während jedes der Bilder in der Gruppierung codiert wird, wobei zumindest eine erste und zweite Anzahl Bits gemäß dieser laufenden Summe modifiziert wird.
  3. Verfahren gemäß Anspruch 1 oder 2, wobei die erste und zweite Anzahl Bits für jeweilige erste und zweite Quantisierungsschrittgrößen zur Codierung des Teils des aktuellen Bildes bestimmend sind.
  4. Verfahren gemäß einem der vorhergehenden Ansprüche, wobei die erste und zweite Anzahl Bits mit einer erwünschten Datenrate des stereoskopischen Signals verknüpft sind.
  5. Verfahren gemäß einem der vorhergehenden Ansprüche, wobei das aktuelle Bild ein Disparitätsprädiktionsbild (PD-Bild) ist, das den folgenden weiteren Schritt beinhaltet: Erhöhen entweder der ersten oder der zweiten Anzahl Bits, wenn in der Anreicherungsschicht keine intracodierte Bilder (I-Bilder) sind, bezüglich eines Falles, wenn intracodierte Bilder (I-Bilder) in der Anreicherungsschicht sind.
  6. Verfahren gemäß einem der Ansprüche 1 bis 5, wobei das Bezugsbild in der Basisschicht bereitgestellt ist, das folgende weitere Schritte beinhaltet: Bestimmen einer ersten Bewegungsstufe von zumindest einem Teil eines Bildes, das dem aktuellen Bild in der Anreicherungsschicht vorangeht; Bestimmen einer zweiten Bewegungsstufe von zumindest einem Teil des Bezugsbildes; und Ableiten entweder der ersten oder der zweiten Anzahl Bits von der höheren ersten und zweiten Bewegungsstufe.
  7. Verfahren gemäß einem der Ansprüche 1 bis 5, wobei das Bezugsbild in der Basisschicht bereitgestellt ist, das folgende weitere Schritte beinhaltet: Bestimmen einer ersten Bewegungsstufe von zumindest einem Teil eines Bildes, das dem aktuellen Bild in der Anreicherungsschicht vorangeht; Bestimmen einer zweiten Bewegungsstufe von zumindest einem Teil des Bezugsbildes; und Ableiten entweder der ersten oder der zweiten Anzahl Bits von einem Mittelwert der ersten und zweiten Bewegungsstufe.
  8. Verfahren gemäß einem der Ansprüche 1 bis 5, das folgende weitere Schritte beinhaltet: Vorberechnen und Speichern eines Wertes, der eine erste Bewegungsstufe angibt, welche die Bewegungsstufe von zumindest einem Teil des aktuellen Bildes vor einem Zeitpunkt, zu dem das aktuelle Bild codiert werden soll, ist; Wiedergewinnen des Wertes zur Verwendung beim Codieren des aktuellen Bildes; Bestimmen einer zweiten Bewegungsstufe, die eine Bewegungsstufe von zumindest einem Teil des Bezugsbildes ist; und Ableiten der Anzahl Bits, die verwendet werden, um das aktuelle Bild unter Verwendung der höheren ersten und zweiten Bewegungsstufe zu codieren.
  9. Verfahren gemäß einem der Ansprüche 1 bis 5, das folgende weitere Schritte beinhaltet: Vorberechnen und Speichern eines Wertes, der eine erste Bewegungsstufe angibt, welche die Bewegungsstufe von zumindest einem Teil des aktuellen Bildes vor einem Zeitpunkt, zu dem das aktuelle Bild codiert werden soll, ist; Wiedergewinnen des Wertes zur Verwendung beim Codieren des aktuellen Bildes; Bestimmen einer zweiten Bewegungsstufe, die eine Bewegungsstufe von zumindest einem Teil des Bezugsbildes ist; und Ableiten der Anzahl Bits, die verwendet werden, um das aktuelle Bild unter Verwendung eines Mittelwertes der ersten und zweiten Bewegungsstufe zu codieren.
  10. Eine Vorrichtung zum Codieren aufeinanderfolgender Bilder von Videodaten in einer Anreicherungsschicht eines stereoskopischen digitalen Datensignals, die Folgendes beinhaltet: ein Mittel zur Bereitstellung eines Bezugsbildes zur Verwendung bei der Codierung eines aktuellen Bildes einer Gruppierung der Bilder; wobei: falls das Bezugsbild in der Anreicherungsschicht vorhanden ist, zumindest ein Teil des aktuellen Bildes unter Verwendung einer ersten Anzahl Bits codiert wird; und falls das Bezugsbild in einer Basisschicht des stereoskopischen Signals vorhanden ist, der Teil des aktuellen Bildes unter Verwendung einer zweiten Anzahl Bits, die sich von der ersten Anzahl Bits unterscheidet, codiert wird.
  11. Vorrichtung gemäß Anspruch 10, die Folgendes beinhaltet: ein Mittel zur Zuordnung einer anfänglichen Anzahl Bits zur Codierung der Gruppierung der Bilder; und ein Mittel zur Beibehaltung einer laufenden Summe restlicher verfügbarer Bits, während jedes der Bilder in der Gruppierung codiert wird, wobei zumindest eine erste und zweite Anzahl Bits gemäß dieser laufenden Summe modifiziert wird.
  12. Vorrichtung gemäß einem der Ansprüche 10 bis 11, die ferner Folgendes beinhaltet: ein Mittel zur Bestimmung jeweiliger erster und zweiter Quantisierungsschrittgrößen gemäß der ersten und zweiten Anzahl Bits zur Codierung des Teils des aktuellen Bildes.
  13. Vorrichtung gemäß einem der Ansprüche 10 bis 12, wobei die erste und zweite Anzahl Bits mit einer erwünschten Datenrate des stereoskopischen Signals verknüpft sind.
  14. Vorrichtung gemäß einem der Ansprüche 10 bis 13, wobei das aktuelle Bild ein Disparitätsprädiktionsbild (PD-Bild) ist, die Folgendes beinhaltet: ein Mittel zur Erhöhung entweder der ersten oder der zweiten Anzahl Bits, wenn in der Anreicherungsschicht keine intracodierten Bilder (I-Bilder) sind, bezüglich eines Falles, wenn intracodierte Bilder (I-Bilder) in der Anreicherungsschicht sind.
  15. Vorrichtung gemäß einem der Ansprüche 10 bis 14, wobei das Bezugsbild in der Basisschicht bereitgestellt ist, die Folgendes beinhaltet: ein Mittel zur Bestimmung einer ersten Bewegungsstufe von zumindest einem Teil eines Bildes, das dem aktuellen Bild in der Anreicherungsschicht vorangeht; ein Mittel zur Bestimmung einer zweiten Bewegungsstufe von zumindest einem Teil des Bezugsbildes; und ein Mittel zur Ableitung entweder der ersten oder der zweiten Anzahl Bits von der höheren ersten und zweiten Bewegungsstufe.
  16. Vorrichtung gemäß einem der Ansprüche 10 bis 14, wobei das Bezugsbild in der Basisschicht bereitgestellt ist, die Folgendes beinhaltet: ein Mittel zur Bestimmung einer ersten Bewegungsstufe von zumindest einem Teil eines Bildes, das dem aktuellen Bild in der Anreicherungsschicht vorangeht; ein Mittel zur Bestimmung einer zweiten Bewegungsstufe von zumindest einem Teil des Bezugsbildes; und ein Mittel zur Ableitung entweder der ersten oder der zweiten Anzahl Bits von einem Mittelwert der ersten und zweiten Bewegungsstufe.
  17. Vorrichtung gemäß einem der Ansprüche 10 bis 14, die Folgendes beinhaltet: ein Mittel zur Vorberechnung und Speicherung eines Wertes, der eine erste Bewegungsstufe angibt, welche die Bewegungsstufe von zumindest einem Teil des aktuellen Bildes vor einem Zeitpunkt, zu dem das aktuelle Bild codiert werden soll, ist; ein Mittel zur Wiedergewinnung des Wertes zur Verwendung beim Codieren des aktuellen Bildes; ein Mittel zur Bestimmung einer zweiten Bewegungsstufe, die eine Bewegungsstufe von zumindest einem Teil des Bezugsbildes ist; und ein Mittel zur Ableitung der Anzahl Bits, die verwendet werden, um das aktuelle Bild unter Verwendung der höheren ersten und zweiten Bewegungsstufe zu codieren.
  18. Vorrichtung gemäß einem der Ansprüche 10 bis 14, die Folgendes beinhaltet: ein Mittel zur Vorberechnung und Speicherung eines Wertes, der eine erste Bewegungsstufe angibt, welche die Bewegungsstufe von zumindest einem Teil des aktuellen Bildes vor einem Zeitpunkt, zu dem das aktuelle Bild codiert werden soll, ist; ein Mittel zur Wiedergewinnung des Wertes zur Verwendung beim Codieren des aktuellen Bildes; ein Mittel zur Bestimmung einer zweiten Bewegungsstufe, die eine Bewegungsstufe von zumindest einem Teil des Bezugsbildes ist; und ein Mittel zur Ableitung der Anzahl Bits, die verwendet werden, um das aktuelle Bild unter Verwendung eines Mittelwertes der ersten und zweiten Bewegungsstufe zu codieren.
DE69736537T 1996-07-03 1997-07-02 Ratenregelung für stereoskopische digitale Videokodierung Expired - Lifetime DE69736537T2 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US67485996A 1996-07-03 1996-07-03
US674859 1996-07-03

Publications (2)

Publication Number Publication Date
DE69736537D1 DE69736537D1 (de) 2006-10-05
DE69736537T2 true DE69736537T2 (de) 2007-08-23

Family

ID=24708179

Family Applications (1)

Application Number Title Priority Date Filing Date
DE69736537T Expired - Lifetime DE69736537T2 (de) 1996-07-03 1997-07-02 Ratenregelung für stereoskopische digitale Videokodierung

Country Status (8)

Country Link
US (1) US6072831A (de)
EP (1) EP0817493B1 (de)
JP (1) JPH10174110A (de)
KR (1) KR980011300A (de)
CN (2) CN1190974C (de)
CA (1) CA2208950A1 (de)
DE (1) DE69736537T2 (de)
NO (1) NO316250B1 (de)

Families Citing this family (122)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2208950A1 (en) * 1996-07-03 1998-01-03 Xuemin Chen Rate control for stereoscopic digital video encoding
US6233356B1 (en) * 1997-07-08 2001-05-15 At&T Corp. Generalized scalability for video coder based on video objects
JP4240554B2 (ja) * 1997-07-11 2009-03-18 ソニー株式会社 画像符号化装置および画像符号化方法、並びに画像復号化装置および画像復号化方法
WO1999005864A1 (fr) * 1997-07-25 1999-02-04 Sony Corporation Dispositif d'edition, procede d'edition, dispositif d'epissage, procede d'epissage, dispositif de codage et procede de codage
WO1999040728A1 (en) * 1998-02-03 1999-08-12 Koninklijke Philips Electronics N.V. Method of switching of coded video sequences and corresponding device
JP2000013790A (ja) * 1998-06-19 2000-01-14 Sony Corp 画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、並びに提供媒体
US6275253B1 (en) 1998-07-09 2001-08-14 Canon Kabushiki Kaisha Stereographic image compression with image moment normalization
US6215825B1 (en) * 1998-07-09 2001-04-10 Canon Kabushiki Kaisha Stereographic image compression with image difference generation and lossy compression
JP3185763B2 (ja) * 1998-07-13 2001-07-11 日本電気株式会社 動画像符号化装置
JP4021998B2 (ja) * 1998-08-07 2007-12-12 松下電器産業株式会社 データ伝送制御システム及びデータ伝送制御方法
US6963608B1 (en) 1998-10-02 2005-11-08 General Instrument Corporation Method and apparatus for providing rate control in a video encoder
US6151362A (en) * 1998-10-30 2000-11-21 Motorola, Inc. Joint rate control for stereoscopic video coding
EP1061750A3 (de) * 1999-06-18 2010-05-05 THOMSON multimedia Bildkompressionsverfahren, insbesondere vom Typ MPEG2
US7245663B2 (en) * 1999-07-06 2007-07-17 Koninklijke Philips Electronis N.V. Method and apparatus for improved efficiency in transmission of fine granular scalable selective enhanced images
US6765962B1 (en) * 1999-12-02 2004-07-20 Sarnoff Corporation Adaptive selection of quantization scales for video encoding
US6614936B1 (en) * 1999-12-03 2003-09-02 Microsoft Corporation System and method for robust video coding using progressive fine-granularity scalable (PFGS) coding
WO2001048537A2 (en) * 1999-12-28 2001-07-05 Vrex, Inc. Stereoscopic camera
US7865306B2 (en) 2000-09-28 2011-01-04 Michael Mays Devices, methods, and systems for managing route-related information
US6351710B1 (en) * 2000-09-28 2002-02-26 Michael F. Mays Method and system for visual addressing
US6907070B2 (en) * 2000-12-15 2005-06-14 Microsoft Corporation Drifting reduction and macroblock-based control in progressive fine granularity scalable video coding
JP2002271788A (ja) * 2001-03-08 2002-09-20 Monolith Co Ltd 画像符号化方法と装置および画像復号方法および装置
US7010043B2 (en) * 2001-07-05 2006-03-07 Sharp Laboratories Of America, Inc. Resolution scalable video coder for low latency
FR2832271A1 (fr) * 2001-11-13 2003-05-16 Koninkl Philips Electronics Nv Tuner comprenant un convertisseur de tension
DE10157111A1 (de) * 2001-11-21 2003-06-05 Deutsche Telekom Ag Begrenzung der Bitrate für die Übermittlung von Videosignalen mit zeitlich variablen Datenmengen im ATM-Netz
US7027982B2 (en) * 2001-12-14 2006-04-11 Microsoft Corporation Quality and rate control strategy for digital audio
FI114527B (fi) * 2002-01-23 2004-10-29 Nokia Corp Kuvakehysten ryhmittely videokoodauksessa
BR0306958A (pt) * 2002-01-23 2004-11-03 Nokia Corp Método e aparelho para codificar os quadros de vìdeo, método e aparelho para decodificar uma sequência de vìdeo compactada escalavelmente, programa de computador, e, sinal de vìdeo
US7319720B2 (en) * 2002-01-28 2008-01-15 Microsoft Corporation Stereoscopic video
US6980695B2 (en) * 2002-06-28 2005-12-27 Microsoft Corporation Rate allocation for mixed content video
CN101232616B (zh) * 2002-07-16 2015-07-22 诺基亚有限公司 用于在视频编码中随机存取和逐步更新图像的方法
KR100751422B1 (ko) 2002-12-27 2007-08-23 한국전자통신연구원 스테레오스코픽 비디오 부호화 및 복호화 방법, 부호화 및복호화 장치
US8824553B2 (en) * 2003-05-12 2014-09-02 Google Inc. Video compression method
US7383180B2 (en) * 2003-07-18 2008-06-03 Microsoft Corporation Constant bitrate media encoding techniques
US7343291B2 (en) 2003-07-18 2008-03-11 Microsoft Corporation Multi-pass variable bitrate media encoding
US7580584B2 (en) * 2003-07-18 2009-08-25 Microsoft Corporation Adaptive multiple quantization
US7738554B2 (en) 2003-07-18 2010-06-15 Microsoft Corporation DC coefficient signaling at small quantization step sizes
US7602851B2 (en) * 2003-07-18 2009-10-13 Microsoft Corporation Intelligent differential quantization of video coding
US8218624B2 (en) * 2003-07-18 2012-07-10 Microsoft Corporation Fractional quantization step sizes for high bit rates
US10554985B2 (en) 2003-07-18 2020-02-04 Microsoft Technology Licensing, Llc DC coefficient signaling at small quantization step sizes
US8582659B2 (en) * 2003-09-07 2013-11-12 Microsoft Corporation Determining a decoding time stamp from buffer fullness
US8345754B2 (en) * 2003-09-07 2013-01-01 Microsoft Corporation Signaling buffer fullness
JP4632049B2 (ja) * 2003-12-25 2011-02-16 日本電気株式会社 動画像符号化方法及び装置
US7675970B2 (en) * 2004-01-12 2010-03-09 General Instrument Corporation Method and apparatus for processing a bitstream in a digital video transcoder
CN1926576A (zh) * 2004-02-27 2007-03-07 Td视觉有限公司 用于数字编码3d立体视频图像的方法和***
CA2557534A1 (en) * 2004-02-27 2005-09-09 Td Vision Corporation S.A. De C.V. Method and system for digital decoding 3d stereoscopic video images
US7801383B2 (en) * 2004-05-15 2010-09-21 Microsoft Corporation Embedded scalar quantizers with arbitrary dead-zone ratios
US7848428B2 (en) * 2004-06-17 2010-12-07 Broadcom Corporation System and method for reducing visible artifacts in video coding using multiple reference pictures
CN100581245C (zh) * 2004-07-08 2010-01-13 高通股份有限公司 用于视频编码的有效速率控制技术
US7710462B2 (en) * 2004-12-17 2010-05-04 Mitsubishi Electric Research Laboratories, Inc. Method for randomly accessing multiview videos
US20060156363A1 (en) * 2005-01-07 2006-07-13 Microsoft Corporation File storage for scalable media
KR100779875B1 (ko) * 2005-01-14 2007-11-27 주식회사 휴맥스 다-시점 코딩을 위한 참조 프레임 순서 설정 방법 및 그방법을 기록한 기록매체
US7403562B2 (en) * 2005-03-09 2008-07-22 Eg Technology, Inc. Model based rate control for predictive video encoder
KR100732961B1 (ko) * 2005-04-01 2007-06-27 경희대학교 산학협력단 다시점 영상의 스케일러블 부호화, 복호화 방법 및 장치
WO2006110007A1 (en) * 2005-04-13 2006-10-19 Industry-Academic Cooperation Foundation, Yonsei University Method for coding in multiview video coding/decoding system
KR100643291B1 (ko) 2005-04-14 2006-11-10 삼성전자주식회사 랜덤 엑세스의 지연을 최소화하는 비디오 복부호화 장치 및방법
US7974341B2 (en) * 2005-05-03 2011-07-05 Qualcomm, Incorporated Rate control for multi-layer video design
US8422546B2 (en) 2005-05-25 2013-04-16 Microsoft Corporation Adaptive video encoding using a perceptual model
US8139642B2 (en) * 2005-08-29 2012-03-20 Stmicroelectronics S.R.L. Method for encoding signals, related systems and program product therefor
CN100448297C (zh) * 2005-11-08 2008-12-31 上海广电（集团）有限公司中央研究院 一种码率控制方法
FR2895172A1 (fr) * 2005-12-20 2007-06-22 Canon Kk Procede et dispositif de codage d'un flux video code suivant un codage hierarchique, flux de donnees, procede et dispositif de decodage associes
US8059721B2 (en) 2006-04-07 2011-11-15 Microsoft Corporation Estimating sample-domain distortion in the transform domain with rounding compensation
US8130828B2 (en) 2006-04-07 2012-03-06 Microsoft Corporation Adjusting quantization to preserve non-zero AC coefficients
US7974340B2 (en) 2006-04-07 2011-07-05 Microsoft Corporation Adaptive B-picture quantization control
US7995649B2 (en) 2006-04-07 2011-08-09 Microsoft Corporation Quantization adjustment based on texture level
US8503536B2 (en) 2006-04-07 2013-08-06 Microsoft Corporation Quantization adjustments for DC shift artifacts
US8711925B2 (en) 2006-05-05 2014-04-29 Microsoft Corporation Flexible quantization
RU2480942C2 (ru) * 2006-07-06 2013-04-27 Томсон Лайсенсинг Способ и устройство для отделения номера кадра и/или счетчика очередности изображения (рос) для мультивидового видеокодирования и видеодекодирования
CN100425077C (zh) * 2006-08-07 2008-10-08 浙江大学 采用帧目标比特数不平均分配的视频压缩码率控制方法
US8238424B2 (en) 2007-02-09 2012-08-07 Microsoft Corporation Complexity-based adaptive preprocessing for multiple-pass video compression
US8594180B2 (en) * 2007-02-21 2013-11-26 Qualcomm Incorporated 3D video encoding
US8498335B2 (en) 2007-03-26 2013-07-30 Microsoft Corporation Adaptive deadzone size adjustment in quantization
US8243797B2 (en) 2007-03-30 2012-08-14 Microsoft Corporation Regions of interest for quality adjustments
US8442337B2 (en) 2007-04-18 2013-05-14 Microsoft Corporation Encoding adjustments for animation content
DE102007022955A1 (de) * 2007-05-16 2008-11-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Qualitätsskalierbares Videosignal, Verfahren zu dessen Erzeugung, Codierer und Decodierer
US8331438B2 (en) 2007-06-05 2012-12-11 Microsoft Corporation Adaptive selection of picture-level quantization parameters for predicted video pictures
KR101345295B1 (ko) * 2007-06-11 2013-12-27 삼성전자주식회사 인트라 픽처만을 이용한 동영상 시퀀스의 부호화시의비트율 제어 방법 및 장치
EP2393301A1 (de) * 2007-06-11 2011-12-07 Samsung Electronics Co., Ltd. Verfahren und Vorrichtung zur Erzeugung von Kopfzeileninformationen eines stereoskopischen Bildes
US20080303832A1 (en) * 2007-06-11 2008-12-11 Samsung Electronics Co., Ltd. Method of generating two-dimensional/three-dimensional convertible stereoscopic image bitstream and method and apparatus for displaying the same
US8254455B2 (en) 2007-06-30 2012-08-28 Microsoft Corporation Computing collocated macroblock information for direct mode macroblocks
JP5646994B2 (ja) * 2007-08-15 2014-12-24 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ 多視点符号化ビデオにおける領域視差ベクトルを使用したモーションスキップモードのための方法及び装置
CN101415114B (zh) * 2007-10-17 2010-08-25 华为终端有限公司 视频编解码方法和装置以及视频编解码器
CN101420609B (zh) * 2007-10-24 2010-08-25 华为终端有限公司 视频编码、解码方法及视频编码器、解码器
JP2009135686A (ja) 2007-11-29 2009-06-18 Mitsubishi Electric Corp 立体映像記録方法、立体映像記録媒体、立体映像再生方法、立体映像記録装置、立体映像再生装置
CN100563338C (zh) * 2007-12-13 2009-11-25 上海广电（集团）有限公司中央研究院 一种恒定码率的控制方法
US8189933B2 (en) 2008-03-31 2012-05-29 Microsoft Corporation Classifying and controlling encoding quality for textured, dark smooth and smooth video content
US8325800B2 (en) 2008-05-07 2012-12-04 Microsoft Corporation Encoding streaming media as a high bit rate layer, a low bit rate layer, and one or more intermediate bit rate layers
US8379851B2 (en) 2008-05-12 2013-02-19 Microsoft Corporation Optimized client side rate control and indexed file layout for streaming media
KR101591085B1 (ko) * 2008-05-19 2016-02-02 삼성전자주식회사 영상 파일 생성 및 재생 장치 및 방법
US7949775B2 (en) 2008-05-30 2011-05-24 Microsoft Corporation Stream selection for enhanced media streaming
US8897359B2 (en) 2008-06-03 2014-11-25 Microsoft Corporation Adaptive quantization for enhancement layer video coding
US8265140B2 (en) 2008-09-30 2012-09-11 Microsoft Corporation Fine-grained client-side control of scalable media delivery
US8189666B2 (en) 2009-02-02 2012-05-29 Microsoft Corporation Local picture identifier and computation of co-located information
BRPI1004210A2 (pt) * 2009-02-27 2016-02-23 Panasonic Corp meio de gravação, dispositivo e reprodução, e circuito integrado
WO2010100875A1 (ja) * 2009-03-02 2010-09-10 パナソニック株式会社 記録媒体、再生装置、及び集積回路
JP5627860B2 (ja) 2009-04-27 2014-11-19 三菱電機株式会社 立体映像配信システム、立体映像配信方法、立体映像配信装置、立体映像視聴システム、立体映像視聴方法、立体映像視聴装置
JP5274359B2 (ja) 2009-04-27 2013-08-28 三菱電機株式会社 立体映像および音声記録方法、立体映像および音声再生方法、立体映像および音声記録装置、立体映像および音声再生装置、立体映像および音声記録媒体
US9286709B2 (en) * 2009-07-27 2016-03-15 Dreamworks Animation Llc Variable frame rate rendering and projection
US9414080B2 (en) * 2009-08-21 2016-08-09 Broadcom Corporation Method and system for asymmetrical rate control for 3D video compression
US8428122B2 (en) 2009-09-16 2013-04-23 Broadcom Corporation Method and system for frame buffer compression and memory resource reduction for 3D video
JP2011082683A (ja) * 2009-10-05 2011-04-21 Sony Corp 画像処理装置、画像処理方法、及び、プログラム
US9578325B2 (en) * 2010-01-13 2017-02-21 Texas Instruments Incorporated Drift reduction for quality scalable video coding
JP5667773B2 (ja) * 2010-03-18 2015-02-12 キヤノン株式会社 情報作成装置及びその制御方法
JP2013526795A (ja) * 2010-05-10 2013-06-24 サムスン エレクトロニクス カンパニー リミテッド レイヤーコーディングビデオを送受信する方法及び装置
JP5768332B2 (ja) * 2010-06-24 2015-08-26 ソニー株式会社 送信機、受信機及び通信システム
JP2012034352A (ja) * 2010-06-30 2012-02-16 Panasonic Corp ステレオ動画像符号化装置及びステレオ動画像符号化方法
US9398308B2 (en) 2010-07-28 2016-07-19 Qualcomm Incorporated Coding motion prediction direction in video coding
KR101620151B1 (ko) * 2010-10-05 2016-05-12 텔레폰악티에볼라겟엘엠에릭슨(펍) 클라이언트와, 콘텐트 생성기 엔티티 및 미디어 스트리밍을 위한 이들의 방법
US9066102B2 (en) 2010-11-17 2015-06-23 Qualcomm Incorporated Reference picture list construction for generalized P/B frames in video coding
US8873627B2 (en) * 2010-12-07 2014-10-28 Mediatek Inc Method and apparatus of video coding using picture structure with low-delay hierarchical B group
JP5377589B2 (ja) * 2011-07-07 2013-12-25 三菱電機株式会社 再生方法、再生装置、光ディスク
JP5383833B2 (ja) * 2012-01-20 2014-01-08 三菱電機株式会社 映像情報記録方法、映像情報再生方法、映像情報記録装置、映像情報再生装置、光ディスク
WO2014003379A1 (ko) * 2012-06-24 2014-01-03 엘지전자 주식회사 영상 디코딩 방법 및 이를 이용하는 장치
US20150139310A1 (en) * 2012-06-29 2015-05-21 Sony Corporation Image processing apparatus and image processing method
US20150085915A1 (en) * 2013-09-25 2015-03-26 Jay C.-C. Kuo Method and system for automatically encoding video with uniform throughput
JP2014042308A (ja) * 2013-10-03 2014-03-06 Mitsubishi Electric Corp 映像再生方法、映像再生装置、光ディスク
KR102274747B1 (ko) 2014-11-24 2021-07-07 삼성전자주식회사 코덱과 이를 포함하는 시스템 온 칩, 및 상기 시스템 온 칩을 포함하는 데이터 처리 시스템
US10218981B2 (en) * 2015-02-11 2019-02-26 Wowza Media Systems, LLC Clip generation based on multiple encodings of a media stream
US10412412B1 (en) 2016-09-30 2019-09-10 Amazon Technologies, Inc. Using reference-only decoding of non-viewed sections of a projected video
US10553029B1 (en) 2016-09-30 2020-02-04 Amazon Technologies, Inc. Using reference-only decoding of non-viewed sections of a projected video
US10609356B1 (en) * 2017-01-23 2020-03-31 Amazon Technologies, Inc. Using a temporal enhancement layer to encode and decode stereoscopic video content
EP3474548A1 (de) 2017-10-18 2019-04-24 Axis AB Verfahren und codierer zur codierung eines videostreams in einem videocodeformat-frame, der zusätzliche frames unterstützt
EP3796652B1 (de) * 2019-09-23 2022-05-18 Axis AB Videocodierungsverfahren und verfahren zur verringerung der dateigrösse codierter videos

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL83752A (en) * 1987-09-02 1992-03-29 Ibm Israel Method and apparatus for transmitting and receiving 3-dimensional video images
GB9022326D0 (en) * 1990-10-15 1990-11-28 British Telecomm Signal coding
GB9102220D0 (en) * 1991-02-01 1991-03-20 British Telecomm Method and apparatus for decoding video signals
US5467136A (en) * 1991-05-31 1995-11-14 Kabushiki Kaisha Toshiba Video decoder for determining a motion vector from a scaled vector and a difference vector
US5179441A (en) * 1991-12-18 1993-01-12 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Near real-time stereo vision system
NL9201593A (nl) * 1992-09-14 1994-04-05 Nederland Ptt Systeem omvattende een eerste encoder voor het coderen van een eerste digitaal signaal, een tweede encoder voor het coderen van een tweede digitaal signaal en ten minste één decoder voor het decoderen van gecodeerde digitale signalen, en encoder en decoder voor toepassing in het systeem.
JPH0698312A (ja) * 1992-09-16 1994-04-08 Fujitsu Ltd 画像高能率符号化方式
EP0639031A3 (de) * 1993-07-09 1995-04-05 Rca Thomson Licensing Corp Verfahren und Vorrichtung zur Kodierung von Stereobildsignalen.
US5515377A (en) * 1993-09-02 1996-05-07 At&T Corp. Adaptive video encoder for two-layer encoding of video signals on ATM (asynchronous transfer mode) networks
JPH07123447A (ja) * 1993-10-22 1995-05-12 Sony Corp 画像信号記録方法および画像信号記録装置、画像信号再生方法および画像信号再生装置、画像信号符号化方法および画像信号符号化装置、画像信号復号化方法および画像信号復号化装置、ならびに画像信号記録媒体
JPH08126033A (ja) * 1994-10-24 1996-05-17 Sanyo Electric Co Ltd 立体動画像符号化方法
JPH0951538A (ja) * 1995-08-07 1997-02-18 Hitachi Ltd 画像信号の符号化方法
CA2208950A1 (en) * 1996-07-03 1998-01-03 Xuemin Chen Rate control for stereoscopic digital video encoding

Also Published As

Publication number Publication date
NO973060D0 (no) 1997-07-01
EP0817493B1 (de) 2006-08-23
NO973060L (no) 1998-01-05
CN1175859A (zh) 1998-03-11
EP0817493A3 (de) 2001-06-27
CN1190974C (zh) 2005-02-23
US6072831A (en) 2000-06-06
KR980011300A (ko) 1998-04-30
CA2208950A1 (en) 1998-01-03
JPH10174110A (ja) 1998-06-26
NO316250B1 (no) 2003-12-29
CN1496133A (zh) 2004-05-12
EP0817493A2 (de) 1998-01-07
DE69736537D1 (de) 2006-10-05

Similar Documents

Publication Publication Date Title
DE69736537T2 (de) Ratenregelung für stereoskopische digitale Videokodierung
DE69722556T2 (de) Synchronisierung einer stereoskopischen Videosequenz
DE69829931T2 (de) Schätzung von Sichtverschiebungen zur Kodierung stereoskopischer Videobilder
DE69814642T2 (de) Verarbeitung codierter videodaten
DE69535553T2 (de) Videokompression
DE60023576T2 (de) Verfahren und Vorrichtung zur Bewegtbilddatentranscodierung
EP0682454B1 (de) Verfahren und Vorrichtung zur Transcodierung von Bitströmen mit Videodaten
DE69730419T2 (de) System zur Verteilung komprimierter Videosignale, mit statistischem Multiplexer mit Transkodierern
DE112011103365B4 (de) Tonwertumsetzung von Videosignalen mit hohem Dynamikumfang
DE69735756T2 (de) Dynamische steuerung der kodierrate in einem blockbasierten videokodierungssystem
DE60026241T2 (de) Umschalten zwischen bitratenreduzierten Signalen
DE69838869T2 (de) Vorrichtung und Verfahren zum Spleißen von codierten Datenströmen sowie Vorrichtung und Verfahren zur Erzeugung von codierten Datenströmen
DE69921108T2 (de) Verfahren und vorrichtung zur adaptiven codierung eines videodatenstroms
DE69726508T2 (de) Optimale Disparitätsschätzung zur Kodierung stereoskopischer Videosignale
DE69630173T2 (de) Übertragungssystem und -einrichtung für sich bewegende Bilder
DE69834902T2 (de) Bewegungskompensierte prädiktive bildkodierung und -dekodierung
DE60003636T2 (de) Verfahren zür erfassung und verhinderung von bandbreiteüberlauf in einem statistischen multiplexer
DE60020243T2 (de) Videokodierung
DE69435000T2 (de) Bildkodierungsvorrichtung
DE69816875T2 (de) Sequenzadaptive bit-zuordnung zur codierung von bildern
DE60032841T2 (de) Signalprozessor zum nahtlosen Zusammenfügen von MPEG-2 Bitströmen in einem Videokoder
CA2037444C (en) Video signal hybrid-coding systems
EP1711019A2 (de) Rauschverminderungsvorverarbeitung für digitale Videodaten beruhend auf Bewegungskompensierte zeitliche Filterung
EP1025708B1 (de) Verfahren und vorrichtung zur verarbeitung eines digitalisierten bildes
DE602005005321T2 (de) Verfahren und vorrichtung zur codierung einer bildsequenz unter verwendung von vorhergesagten und nicht vorhergesagten bildern, die jeweils mehrere makroblöcke enthalten

Legal Events

Date Code Title Description
8364 No opposition during term of opposition