DE69835388T2

DE69835388T2 - Bildkodiergerät und Bilddekodiergerät

Info

Publication number: DE69835388T2
Application number: DE69835388T
Authority: DE
Inventors: Tsukasa Shinagawa-ku Hashino; Fumihiro Shinagawa-ku Nagasawa; Tomoo Shinagawa-ku HAYAKAWA; Hiroshi Shinagawa-ku Takiduka
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1997-03-17
Filing date: 1998-03-13
Publication date: 2007-07-19
Anticipated expiration: 2018-03-14
Also published as: CN1198044A; US6195390B1; EP0866624A1; CN1143438C; EP0866624B1; DE69835388D1

Description

Die vorliegende Erfindung bezieht sich auf eine Bildsignal-Codiervorrichtung zum Kompressions-Codieren von Bildsignalen und auf eine Bildsignal-Decodiervorrichtung zum Expansions-Decodieren kompressions-codierter Bildsignale.
Ein digitaler Videobandrekorder (VTR) wird als Einrichtung zum Aufzeichnen/Wiedergeben von Bildsignalen eines Fernseh-Rundfunk-Programms oder dgl. verwendet. Es gibt mehrere Formate des digitalen VTR, beispielsweise den D1-Standard zur Programmproduktion und den D2-Standard für Sendestationen. In Bezug auf diesen digitalen VTR zur Programmherstellung oder für Sendestationen ist es, da extrem hohe Qualität von Bildern, die aufgezeichnet/wiedergegeben werden sollen, erforderlich ist, normal, dass Bildsignale, welche auf einem Magnetband aufgezeichnet werden sollen, nicht komprimiert sind oder dass eine relativ niedrige Kompressionsrate zum Komprimieren der Datenmenge auf ungefähr 1/2 verwendet wird.
In der Zwischenzeit wird der digitale VTR für kommerzielle Verwendung immer mehr breit verwendet. Der digitale VTR zur kommerziellen Verwendung muss in der Lage sein, eine Langzeitaufzeichnung unter Verwendung eines Kompaktkassetten-Bands durchzuführen, obwohl das Erfordernis der Bildqualität niedriger ist als das des digitalen VTR für gewerbliche Verwendung. Daher wird ein Kompressionsformat zum Durchführen von Bandkompression mit einer relativ hohen Kompressionsrate zum Komprimieren der Bilddatenmenge auf ungefähr 1/5 verwendet. Das Kompressionsformat des digitalen VTRs für kommerzielle Verwendung liefert hohe Bildqualität und wird daher auch für Videogeräte für Rundfunkanstalten verwendet. Das hochwirksame Kompressionsverfahren, welches hier verwendet wird, nützt die Tatsache, dass die menschliche Sehcharakteristik weniger empfindlich für Farbdifferenzinformation als für Luminanzinformation eines Bilds ist, so dass daher die Informationsmenge der Farbdifferenzsignale reduziert wird. Dieses Bilddaten-Kompressionsverfahren wird später beschrieben.
Gemäß dem oben beschriebenen D1-Standard als digitaler VTR-Standard zur Programmproduktion oder für Rundfunkstationen werden digitale Bilddaten, welche auf einem Magnetband aufgezeichnet werden sollen, nicht komprimiert, und ein Luminanzsignal Y und Farbdifferenzsignale Cr, Cb werden separat aufgezeichnet. Die Farbdifferenzsignale sind Sig nale, welche durch Entfernen des Luminanzsignals Y von den drei Primärfarben R, G und B erlangt werden. Als Farbdifferenzsignale werden die beiden Signale Cr = R-Y und Cb = B-Y verwendet. Beispielsweise beträgt die Abtastfrequenz des Luminanzsignals Y gleich 13,5 MHz, und die Abtastfrequenz der Farbdifferenzsignale Cb, Cr beträgt jeweils 6,75 MHz. Daher ist das Verhältnis der Abtastfrequenz dieser Signale 4:2:2.
Dagegen wird in Bezug auf Bilddaten gemäß dem oben beschriebenen digitalen VTR-Standard zur kommerziellen Verwendung das Abtastfrequenzverhältnis des Luminanzsignals Y und der Farbdifferenzsignale Cb, Cr ausgedrückt als 4:1:1 beim NTSC-System (mit 525 Zeilen) oder als 4:2:0 beim PAL-System (mit 625 Zeilen). In der EP 692 915 ist ein Verfahren zur MPEG-Formatumsetzung von 4:2:2 auf 4:2:0 offenbart, bei dem das Chromasignal des 4:2:2-Formatsignals vertikal hilfsabgetastet wird, um das 4:2:0-Formatsignal zu erzeugen. Chromadaten werden bei dem Verfahren verloren. In der EP 692 915 ist außerdem ein Verfahren zum Umsetzen des 4:2:0-Formats auf das 4:2:2-Format offenbart, bei dem Chromadaten von den Daten im 4:2:0-Formatsignal interpoliert werden.
Durch Reduzieren der Abtastfrequenz des Luminanzsignals wird die Informationsmenge von Bilddaten, welche auf einem Magnetband aufgezeichnet werden sollen, reduziert. Gemäß dem digitalen VTR-Standard für kommerzielle Nutzung wird ein Signal erzeugt, so dass das Band eines Chromasignals eines Basisbandsignals verengt wird, und digitale Kompression durch Intra-Rahmen-DCT wird ausgeführt, um die Bilddatenmenge auf ungefähr 1/5 zum Aufzeichnen zu komprimieren.
Wie oben beschrieben werden die Bilddaten-Kompressionssysteme (Formate), die voneinander verschieden sind, für den digitalen VTR verwendet. Wenn beispielsweise komprimierte Bilddaten von 4:1:1 und komprimierte Bilddaten von 4:2:2 wie oben beschrieben editiert werden sollen, muss der Editierbetrieb ausgeführt werden, nachdem eines der komprimierten Bilddatenelemente zeitlich expandiert ist, wobei eine Verschlechterung der Bildqualität, die beim Zurück-Komprimieren der editierten Bilddaten erzeugt wird, nicht vermieden werden kann.
Außerdem ist in Bezug auf den digitalen VTR für Rundfunkanstalten, bei dem hohe Bildqualität erforderlich ist, eine höhere Bildqualität, welche die Leistung des herkömmlichen digitalen VTRs übersteigt, in einigen Fällen erforderlich. Beispielsweise ist ein Basisband von 4:2:2 erforderlich, oder ein Bild, welches geringeres Kompressionsrauschen hat, ist erforderlich. Außerdem wird in Bezug auf den digitalen VTR für kommerzielle Verwendung die Einführung eines Standards für höhere Bildqualität erwartet.
Gemäß einem Merkmal der vorliegenden Erfindung wird eine Bildsignal-Codiervorrichtung bereitgestellt, die aufweist:
eine Umsetzungseinrichtung zum Umsetzen eines Bildsignals, welches ein Luminanzsignal und zwei Farbdifferenzsignale des Formats 4:2:2 hat, in ein umgesetztes Bildsignal des Formats 4:1:1 oder 4:2:0; und
eine Einrichtung zum Kompressions-Codieren des umgesetzten Bildsignals, um ein kompressions-codiertes Bildsignal zu erzeugen, welches einen reduzierten Informationsinhalt im Vergleich zu dem Bildsignal hat, wobei der reduzierte Informationsinhalt Daten entspricht, welche vom Bildsignal verloren wurden;
gekennzeichnet durch eine Einrichtung zum Erzeugen eines komprimierten Restsignals, welches die Daten zeigt, die vom Bildsignal verloren wurden.
Bei einer Ausführungsform der Erfindung weist die Restsignal-Erzeugungseinrichtung eine Restsignal-Extraktionseinrichtung auf, um ein Restsignal zu erzeugen, welches die Differenz zwischen (a) einer dekomprimierten Version des kompressions-codierten umgesetzten Bildsignals und (b) dem Bildsignal oder dem umgesetzten Bildsignal zeigt; und außerdem eine Einrichtung zum Komprimieren des Restsignals.
Somit liefert die vorliegende Erfindung einen Codierer, der – für ein Signal des Formats 4:2:2 – ein Signal des Formats 4:1:1 oder 4:2:0 zusammen mit einem Restsignal erzeugt, welches Daten zeigt, die im Umsetzungsprozess verloren wurden, zeigt.
Gemäß einem anderen Merkmal der vorliegenden Erfindung wird eine Bildsignal-Decodiervorrichtung bereitgestellt, um ein Bildsignal, welches ein kompressions-codiertes Bildsignal des Formats 4:1:1 oder 4:2:0 hat, und ein kompressions-codiertes Restsignal zu decodieren, welches zumindest Daten zeigt, welche beim Komprimieren des Bildsignals verloren wurden; wobei die erste Decodiereinrichtung aufweist: eine erste Decodiereinrichtung zum Decodieren des kompressions-codierten Bildsignals des Formats 4:1:1 oder 4:2:0; eine zweite Decodiereinrichtung zum Decodieren des kompressions-codierten Restsignals; und eine Einrichtung zum Kombinieren des decodierten Bildsignals und des decodierten Restsignals, um ein Signal des Formats 4:2:2 zu erzeugen.
Somit stellt die vorliegende Erfindung einen Codierer bereit, der – für ein Signal des Formats 4:2:2 – ein Signal des Formats 4:1:1 oder 4:2:0 zusammen mit einem Restsignal erzeugt, welches Daten zeigt, die im Umsetzungsprozess verloren wurden.
Ausführungsformen der Erfindung werden nun lediglich beispielhaft mit Hilfe der beiliegenden Zeichnungen beschrieben, in denen:
1 ein Blockdiagramm ist, welches den Aufbau einer ersten Codiereinrichtung der vorliegenden Erfindung zum Codieren von Basisdaten zeigt;
2 ein Blockdiagramm ist, welches den Aufbau einer gesamten Bildsignal-Codiervorrichtung als eine Ausführungsform der vorliegenden Erfindung zeigt;
3 eine Ansicht ist, um den Aufbau von komprimierten digitalen Bilddaten zu erläutern, welche durch die Bildsignal-Codiervorrichtung der vorliegenden Erfindung erzeugt werden;
4 ein Blockdiagramm ist, welches den Aufbau einer ersten Bildsignal-Decodiervorrichtung der vorliegenden Erfindung zum Decodieren von Basisdaten zeigt;
5 ein Blockdiagramm ist, welches den Aufbau einer gesamten Bildsignal-Decodiervorrichtung als eine Ausführungsform der vorliegenden Erfindung zeigt;
6 ein Blockdiagramm ist, welches eine Modifikation des Aufbaus der Bildsignal-Decodiereinrichtung als Ausführungsform der vorliegenden Erfindung zeigt;
7 ein Blockdiagramm ist, welches eine weitere Modifikation der Bildsignal-Decodiereinrichtung als Ausführungsform der vorliegenden Erfindung zeigt;
8 ein Blockdiagramm ist, welches eine erste Ausführungsform der Bildsignal-Codiervorrichtung der vorliegenden Erfindung zeigt;
9 ein Blockdiagramm ist, welches eine erste Ausführungsform der Bildsignal-Decodiervorrichtung der vorliegenden Erfindung zeigt;
10 ein Blockdiagramm ist, welches eine zweite Ausführungsform der Bildsignal-Codiervorrichtung der vorliegenden Erfindung zeigt;
11 ein Blockdiagramm ist, welches eine zweite Ausführungsform der Bildsignal-Decodiervorrichtung der vorliegenden Erfindung zeigt;
12 ein Blockdiagramm ist, welches eine dritte Ausführungsform der Bildsignal-Codiervorrichtung der vorliegenden Erfindung zeigt; und
13 ein Blockdiagramm ist, welches eine dritte Ausführungsform der Bildsignal-Decodiervorrichtung der vorliegenden Erfindung zeigt.
Bevorzugte Ausführungsformen der Bildsignal-Codiervorrichtung und der Bildsignal-Decodiervorrichtung nach der vorliegenden Erfindung werden nun ausführlich mit Hilfe der Zeichnungen beschrieben.
1 ist ein Blockdiagramm, welches den Basisaufbau einer herkömmlichen digitalen VTR-Codiereinrichtung und einer ersten Kompressionscodiereinrichtung in der Bildsignal-Decodiervorrichtung gemäß der vorliegenden Erfindung zeigt. Ein Luminanzsignal Y von ursprünglichen Bildsignalen als erweiterte Daten von 4:2:2, die von einem Eingangsanschluss 110 geliefert werden, wird zu einem Blockbildungsabschnitt 111 geliefert. Die beiden Farbdifferenzsignale Cr, Cb der Chromasignale C der ursprünglichen Bildsignale, welche von einem Eingangsanschluss 120 zugeführt werden, werden über ein Tiefpassfilter (LPF) 116 zu einem Abwärtsumsetzer 117 geliefert, wo die Farbdifferenzsignale auf die Hälfte der anfänglichen Abtastfrequenz nach unten umgesetzt werden und dann zum Blockbildungsabschnitt 111 geliefert werden.
Der Blockbildungsabschnitt 111 bildet Blöcke des Luminanzsignals Y vom Eingangsanschluss 110 und der beiden abwärts-umgesetzten Farbdifferenzsignale vom Abwärtsumsetzer 117 auf Makroblockbasis (anschließend als MB bezeichnet). Das verblockte Bildsignal wird in einen DCT-Koeffizienten durch einen DCT-Abschnitt (diskrete Kosinustransformation) 112 umgesetzt, durch einen Quantisierer 113 quantisiert, durch variable Längencodierung durch einen VLC-Abschnitt (variable Längencodierung) 114 codiert und dann durch einen Rahmenbildungsabschnitt 115 gerahmt. Danach werden die gerahmten Daten von einem Ausgangsanschluss 210 als komprimierte digitale Bilddaten beim NTSC-System von 4:1:1 oder als komprimierte digitale Bilddaten von 4:2:0 beim PAL-System ausgegeben.
2 ist ein Blockdiagramm, welches den Aufbau einer gesamten Bildsignal-Codiervorrichtung zeigt, welche die erste Kompressionscodiereinrichtung zum Erzeugen von Basisdaten aufweist, wie in 1 gezeigt ist, und eine zweite Kompressionscodiereinrichtung zum Extrahieren eines Codierrestes vom Ausgangssignal der ersten Kompressionscodiereinrichtung und der ursprünglichen Bildsignale von 4:2:2, um verbesserte Daten zu erzeugen.
Bei dieser Bildsignal-Codiervorrichtung wird Kompression durch Begrenzen des Bands der ursprünglichen Bildsignale durchgeführt, die ein Abtastfrequenzverhältnis des Luminanzsignals Y und der Chrominanzsignale C von 4:2:2 aufweisen, um somit Basisdaten zu erzeugen, und verbesserte Daten, die Daten sind, welche beim Kompressions-Codieren verloren wurden (hier anschließend als Codierrestdaten bezeichnet), werden aus dem Differenzwert zwischen den kompressions-codierten Daten und den ursprünglichen Bilddaten erzeugt.
Das Luminanzsignal Y des ursprünglichen Bildsignals von 4:2:2, welches vom Eingangsanschluss 110 geliefert wird, wird dem Blockbildungsabschnitt 111 zugeführt. Diesem Blockbildungsabschnitt 111 werden außerdem die Chromasignale C, welche vom Eingangsanschluss 120 zugeführt werden, über das Tiefpassfilter (LPF) 116 und den Abwärtsumsetzer 117 zugeführt.
Unter Verwendung des Luminanzsignals Y der zugeführten ursprünglichen Signale und der Chromasignale (wobei das Abtastfrequenzverhältnis von Y und der beiden Farb differenzsignale Cr, Cb der Chromasignale 4:1:1 (oder 4:2:0 im Fall des PAL-Systems ist)), die umgesetzt wurden, um eine niedrigere Abtastfrequenz als die Chromasignale C der ursprünglichen Bildsignale zu haben (wobei das Abtastfrequenzverhältnis Y und der beiden Farbdifferenzsignale Cr, Cb von C 4:2:2 ist), wird ein Rahmen von Bilddaten in Makroblöcke (8 Pixel × 8 Zeilen) als DCT-Transformations-Basiseinheiten unterteilt. Da das Farbdifferenzsignal lediglich einen Block (eine Abtastung) für vier Blöcke (vier Abtastungen des Luminanzsignals hat, entspricht ein DCT-Block des Farbdifferenzsignals 4 DCT-Blöcken der Luminanzsignale.
Der Abwärtsumsetzer 117 ist ausgebildet, die Abtastfrequenz der beiden Farbdifferenzsignale, Cr, Cb, welche über das LPF 116 geliefert werden, in eine niedrigere Frequenz umzusetzen (abwärts-umzusetzen). Insbesondere setzt der Abwärtsumsetzer 117 die Abtastfrequenz auf 1/2 der Anfangsfrequenz nach unten um.
Das LPF 116 ist ausgebildet, Bandbegrenzung der Farbdifferenzsignale auszuführen, um die Erzeugung von Überlagerungsrauschen beim Abtasten im Abwärtsumsetzer 117 in der nachfolgenden Stufe zu vermeiden.
Der DCT-Abschnitt 112 führt die DCT (diskrete Kosinus-Transformation) als eine Art orthogonaler Transformation in Bezug auf den DCT-Block durch, der durch den Blockbildungsabschnitt 111 gebildet ist. Der Pixelwert der Bilddaten ist nicht-korrelativ gemacht und auf einen Wert auf der Frequenzachse umgesetzt. Die Makroblöcke, welche durch die diskrete Kosinus-Transformation transformiert werden, werden vorübergehend in einem Puffer, der nicht gezeigt ist, auf Segmentbasis gespeichert, der fünf Makroblöcke als eine Einheit verwendet, und dann zum Quantisierer 113 geliefert.
Der Quantisierer 113 unterteilt den DCT-Koeffizienten mit einem bestimmten Divisor (Quantisierungsschritt) in Bezug auf jeden Makroblock und rundet den Bruch ab, um Quantisierung auszuführen. In diesem Zeitpunkt wird adaptive Quantisierung unter Verwendung verschiedener Quantisierungsschritte in Abwägung der menschlichen Sehcharakteristik ausgeführt. Die Sehcharakteristik, welche in diesem Zeitpunkt betrachtet wird, ist so, dass die Quantisierungsverzerrung in einem Bereich, der hohe Genauigkeit hat, auf dem Bildschirm nicht auffallend ist, sogar dann, wenn eine grobe Quantisierung ausgeführt wird, während es wahrscheinlich ist, dass die Quantisierungsverzerrung in einem allmählich sich ändernden Bereich auffallend ist.
Die oben beschriebene adaptive Quantisierung wird beispielsweise durch Klassifizierung jedes Blocks in das Segment der Bilddaten in vier Klassen ausgeführt, und dann durch Zuteilen unterschiedlicher Quantisierungsschritte, welche den Quantisierer bilden, ge mäß den Klassennummern. Somit kann durch Vergrößern von Bitzuteilung zu dem Block, wo Verschlechterung der Sehbildqualität auf dem Bildschirm auffallend ist, die Bildqualität verbessert werden. Die somit quantisierten Bilddaten (DCT-Koeffizient) werden zum VLC-Abschnitt (variable Längencodierung) 114 und zum Codierrest-Extraktionsabschnitt 123 geliefert, wie später beschrieben wird.
Der VLC-Abschnitt 114 führt variable Längencodierung durch, beispielsweise die zweidimensionale Huffman-Codierung. Wenn insbesondere eine Quantisierungszahl (QNo.) auf Basis der geschätzten Datenmenge ausgewählt wird, wird das Bilddatensegment, welches im oben beschriebenen Puffer gespeichert ist, durch den Quantisierer quantisiert, der diese QNo. hat und durch variable Längencodierung codiert.
Der Rahmenbildungsabschnitt 115 führt Verarbeitung, die als Rahmung bezeichnet wird, durch, um jedem Segment der Bilddaten, welche durch die variable Längencodierung durch den VLC-Abschnitt 114 codiert wurden, 77 Bytes zuzuteilen. In Bezug auf einen Makroblock, der eine Datenmenge hat, die 77 Bytes übersteigt, werden unter den oben beschriebenen 5 Makroblöcken werden Überlaufdaten zugeteilt und auf einem freien Bereich eines anderen Makroblocks gepackt. Somit wird die Datenmenge der Makroblöcke ausgeglichen, und Basisbilddaten (Basisdaten), welche eine Abtastfrequenz des Luminanzsignals Y und der Farbdifferenzsignale Cr, Cb von 4:1:1 oder 4:2:0 haben, werden vom Ausgangsanschluss 210 mit einer Rate von 25 Mbps ausgegeben. Diese Basisdaten sind kompressionscodierte digitale Bilddaten gemäß dem Format (DV-Format) der herkömmlichen digitalen Bilddaten, wie oben beschrieben.
Der Codierrest-Extraktionsabschnitt 123 wird mit dem Luminanzsignal Y der ursprünglichen Signale von 4:2:2, welches vom Eingangsanschluss 110 zugeführt wird, dem Chromasignal C der Ursprungssignale, welches vom Eingangsanschluss 120 zugeführt wird, und den quantisierten Bilddaten vom Quantisierer 113 beliefert. Der Codierrest-Extraktionsabschnitt 123 extrahiert dann einen Codierrest.
Der Codierrest, der hier extrahiert wird, wird beispielsweise unter Verwendung der ursprünglichen Bilddaten extrahiert, die das Abtastfrequenzverhältnis des Luminanzsignals Y und der beiden Farbdifferenzsignale Cr, Cb von 4:2:2 haben, und des DCT-Koeffizienten der komprimierten Bilddaten (Basisdaten), die vom Chromasignal nach unten umgesetzt wurden, in einer Weise, dass das Abtastfrequenzverhältnis zu 4:1:1 oder 4:2:0 wird. Das heißt, der Codierrest, d.h., Daten, welche bei der Quantisierung verloren wurden, werden unter Verwendung der ursprünglichen Bilddaten und des DCT-Koeffizienten, der durch die erste Kompressionseinrichtung quantisiert wurde, extrahiert.
Ein Codierrestcodierer 124 codiert die Bilddaten, welche der Codierrest sind, welche durch den Codierrest-Extraktionsabschnitt 123 extrahiert wurden. In diesem Fall können verschiedene Codierverfahren angewandt werden, beispielsweise DCT (diskrete Kosinus-Transformation) oder Subband-Codierung.
Ein Rahmenbildungsabschnitt 125 führt die Rahmenbildung des Codierrests durch, der durch den Codierrestcodierer 124 codiert wurde und gibt den gerahmten Codierrest als Verbesserungsdaten von einem Ausgangsanschluss 220 aus. Die Rate (α Mbps) der Verbesserungsdaten kann vorher gemäß dem Erfordernis festgelegt werden. Wenn beispielsweise α = 25 Mbps, werden erweiterte Bilddaten von 4:2:2 zusammen mit den Basisdaten mit 50 Mbps codiert.
Die Verbesserungsdaten sind Bilddaten einschließlich Hochfrequenzkomponenten des Luminanzsignals Y und des Chromasignals C, welche nicht in den Basisdaten enthalten sind, jedoch notwendig sind, Details des Bilds auszudrücken. Durch Anhängen der Verbesserungsdaten an die Basisdaten können erweiterte Bilddaten, welche hochqualitative Bilddaten von 4:2:2 sind, für den digitalen VTR für Anstaltsverwendung gebildet werden. Die Details dafür werden später beschrieben.
In der folgenden Beschreibung wird das DCT-Codieren als ein Codierverfahren durch den Codierrestcodierer 124 als zweite Kompressionscodiereinrichtung verwendet. Die Bildsignal-Codiervorrichtung der vorliegenden Erfindung ist jedoch nicht auf das DCT-Codieren beschränkt, sondern es können verschiedene Codierverfahren angewandt werden, beispielsweise Wavelet-Transformation, Subband-Codierung und DPCM (differentielle Pulscodemodulation) d.h., ein beliebiges Codierverfahren zum Codieren des Rests kann als zweite Kompressionscodiereinrichtung verwendet werden.
Auch in der folgenden Beschreibung werden Ausführungsformen beschrieben, bei denen verschiedene Verfahren zur Extraktion des Codierrests durch den Codierrest-Extraktionsabschnitt 123 angewandt werden, um durch den Codierrestcodierer 124 codiert zu werden.
3 ist eine Ansicht, welche schematisch den Aufbau der digitalen Bilddaten zeigt, welche durch Kompressions-Codierung des Bildsignals durch die oben beschriebene Bildsignal-Codiervorrichtung der vorliegenden Erfindung erzeugt werden. Insbesondere werden die kompressions-codierten Daten, welche durch die Bildsignal-Codiervorrichtung nach der vorliegenden Erfindung erzeugt werden, durch Anhängen von Verbesserungsdaten einschließlich Hochfrequenzkomponenten des Luminanzsignals Y und des Chromasignals C an die Basisdaten als Basisbild von 4:1:1 gebildet sind (im NTSC-System) oder 4:2:0 (im PAL-System).
Die Basisdaten sind Bilddaten gemäß dem Kompressionsformat der herkömmlichen digitalen Bilddaten. Die Übertragungsrate dieser Basisdaten beträgt normalerweise 25 Mbps. Die Übertragungsrate (α Mbps) der Verbesserungsdaten wird gemäß dem Erfordernis geeignet festgelegt. In dem Fall beispielsweise, wo erweiterte Bilddaten von 4:2:2 bei 50 Mbps durch Anhängen dieser Verbesserungsdaten an die Basisdaten gebildet werden, beträgt die Übertragungsrate der Verbesserungsdaten 25 Mbps (α = 25).
Mit einem derartigen Datenaufbau reicht es, lediglich die Basisdaten zu verwenden, wenn Kompatibilität mit dem Format der herkömmlichen digitalen Bilddaten notwendig ist, d.h., wenn die Bilddaten von 4:1:1 oder 4:2:0 notwendig sind. Um höhere Bildqualität zu erlangen, können außerdem die erweiterten Bilddaten im Wesentlichen aus 4:2:2 durch Anhängen von Verbesserungsdaten einschließlich Hochfrequenzkomponenten des Luminanzsignals Y und des Chromasignals C an die Basisdaten gebildet werden. Das heißt, die Basisdaten und die Verbesserungsdaten werden einem Multiplexer, der nicht gezeigt ist, zugeführt, wo die beiden Datenelemente gemultiplext werden, um die erweiterten Bilddaten auszugeben. Die erweiterten Bilddaten können zu einer vorher festgelegten Übertragungsleitung übertragen werden oder auf einen vorher festgelegten Aufzeichnungsträger aufgezeichnet werden. Wenn die erweiterten Bilddaten zur Übertragungsleitung übertragen werden, werden die erweiterten Bilddaten in das Übertragungsformat der Übertragungsleitung umgesetzt, beispielsweise in das ATM-Format im Fall einer ATM-Übertragungsleitung. Natürlich können die Basisdaten und die Verbesserungsdaten auch zu einer vorher festgelegten Übertragungsleitung oder einem vorher festgelegten Aufzeichnungsträger übertragen werden, ohne durch den Multiplexer gemultiplext zu werden.
Eine Bildsignal-Decodiervorrichtung nach der vorliegenden Erfindung wird nun beschrieben.
In 4 ist ein Blockdiagramm, welches dem Basisaufbau einer herkömmlichen digitalen VTR-Decodiereinrichtung und einer ersten Expansions-Decodiereinrichtung zum Decodieren von Basisdaten, die von der ersten Kompressionscodiereinrichtung in der Bildsignal-Codiervorrichtung ausgegeben werden, zeigt. Die komprimierten digitalen Bilddaten aus 4:1:1 oder 4:2:0, welche von einem Eingangsanschluss 130 zugeführt werden, werden durch einen Entrahmungsabschnitt 131 entrahmt, durch einen VLC-Decoder (variable Längecodierung) 132 decodiert, durch einen Dequantisierer 133 dequantisiert und durch inverse DCT-Transformation durch einen inversen DCT-Abschnitt 134 transformiert. Die transformierten Daten werden durch einen Entblockungsabschnitt 136 entblockt.
Das Luminanzsignal Y vom Entblockungsabschnitt 136 wird von einem Ausgangsanschluss 230 ausgegeben, und das Chromasignal C wird über einen Aufwärtsumsetzer 152 und ein Tiefpassfilter (LPF) 153 übertragen und von einem Ausgangsanschluss 240 ausgegeben.
5 bis 7 sind Blockdiagramme, welche den Aufbau einer gesamten Decodiervorrichtung nach der vorliegenden Erfindung zeigen, welche die erste Expansionsdecodiereinrichtung zum Decodieren von Basisdaten hat, wie in 4 gezeigt ist, und eine zweite Expansionsdecodiereinrichtung zum Decodieren von Verbesserungsdaten.
Die Decodiervorrichtung nach der vorliegenden Erfindung besitzt einen anderen Aufbau, wie in 5 bis 7 gezeigt ist, da sich das Decodieren leicht in Abhängigkeit vom Extraktionsverfahren des Codierrests durch den Codierrest-Extraktionsabschnitt 123 nach der vorliegenden Erfindung unterscheidet, wie in 2 gezeigt ist.
Insbesondere hat die in 5 gezeigte Decodiervorrichtung einen Aufbau entsprechend einer Codiervorrichtung, bei der Verbesserungsdaten durch Extrahieren eines Codierrests von der Differenz zwischen einem 4:2:2-Originalbild und (lokal-decodierten) Daten ausgegeben werden, welche durch Expandieren abwärts-umgesetzter, DCT-transformierter und quantisierter Kompressionsdaten erzeugt werden.
Die in 6 gezeigte Decodiervorrichtung hat einen Aufbau entsprechend einer Codiervorrichtung, bei der Verbesserungsdaten ausgegeben werden, indem ein Codierrest von der Differenz zwischen Daten, die durch Abwärtsumsetzung eines Ursprungsbilds auf 4:1:1 und durch Blockbildung der abwärts-umgesetzten Daten in Makroblöcke erzeugt wurden, und den oben beschriebenen lokal-decodierten Daten extrahiert wird.
Die in 7 gezeigte Decodiervorrichtung hat einen Aufbau, der einer Codiervorrichtung entspricht, bei der Verbesserungsdaten durch Extrahieren eines Codierrests von der Differenz zwischen den Daten, welche durch Abwärtsumsetzen eines Ursprungsbilds auf 4:1:1 und durch Ausführen von DCT-Transformation und Quantisieren der abwärts-umgesetzten Daten erzeugt werden, und den lokal-decodierten Daten ausgegeben werden.
Der Aufbau der Codiervorrichtung einschließlich des speziellen Aufbaus des Codierrest-Extraktionsabschnitts 123 zum Extrahieren des Codierrests wird später ausführlich beschrieben.
Der Aufbau von 5 wird zunächst beschrieben.
Basisdaten (25 Mbps) als komprimierte Bilddaten, welche ein Abtastfrequenzverhältnis von 4:1:1 oder 4:2:0 haben, werden dem Eingangsanschluss 130 zugeführt. Verbesserungsdaten (α Mbps) werden einem Eingangsanschluss 140 zugeführt.
Der Entrahmungsabschnitt 131 führt Verarbeitung durch, die als Entrahmen bezeichnet wird, was der inverse Betrieb der Rahmenbildung durch den Rahmenbildungsabschnitt 115 der Bildsignal-Codiervorrichtung von 2 ist, in Bezug auf Basisdaten, die vom Eingangsanschluss 130 zugeführt werden, um somit die Rahmenbildung zu löschen. Somit werden die Daten auf die DCT-Koeffizientendaten zurückgebracht, welche durch variable Längencodierung codiert sind.
Der VLC-Decoder (variable Längencodierung) 132 ist ausgebildet, den inversen Betrieb der Codierung durch den VLC-Abschnitt (variable Längencodierung) 114 der Bildsignal-Codiervorrichtung von 2 auszuführen. Der VLC-Decoder 132 führt das Decodieren aus, beispielsweise die zweidimensionale Huffman-Codierung, um somit die Daten, welche durch variable Längencodierung codiert wurden, zu decodieren.
Der Dequantisierer 133 führt den inversen Betrieb der Quantisierung durch den Quantisierer 113 der Bildsignal-Codiervorrichtung von 2 durch. Das heißt, der Dequantisierer 133 multipliziert jeden DCT-Koeffizienten mit einem Quantisierungsschritt auf Basis des oben beschriebenen (8 × 8)-Pixelblocks.
Der inverse DCT-Abschnitt (inverse diskrete Kosinus-Transformation) 134 führt die inverse diskrete Kosinus-Transformation (inverse DCT) durch, welche die inverse Transformation der diskreten Kosinus-Transformation (DCT) ist, auf Basis des dequantisierten Blocks. Das Ausgangssignal des inversen DCT-Abschnitts 134 wird dem Entblockungsabschnitt 136 zugeführt, wo die inverse Verarbeitung der Verarbeitung des Blockbildungsabschnitts 111 von 2 ausgeführt wird, womit die Blockbildung der DCT-Blockdaten gelöscht wird. Das Ausgangssignal des Entblockungsabschnitts 136 wird an einen Datensyntheseabschnitt 150 ausgegeben.
Dagegen führt ein Entrahmungsabschnitt 141 das Entrahmen der Verbesserungsdaten durch, welche vom Eingangsanschluss 140 zugeführt werden.
Ein Codierrestdecoder 149 decodiert die Verbesserungsdaten, in welchem der Codierrest codiert wurde, durch die inverse Prozedur des Codierens durch den Codierrestcodierer 124 der Bildsignal-Codiervorrichtung von 2. Dann löscht ein Entblockungsabschnitt 146 die Blockbildung der DCT-Blockdaten. Das Ausgangssignal des Entblockungsabschnitts 146 wird zum Datensyntheseabschnitt 150 geliefert.
Der Datensyntheseabschnitt 150 stellt die decodierten Basisdaten vom inversen DCT-Abschnitt 134 und die decodierten Verbesserungsdaten vom Codierrestdecoder 149 künstlich her, und die künstlich hergestellten Daten werden als Wiedergabebildsignal 4:2:2 von einem Ausgangsanschluss 250 ausgegeben.
Die oben beschriebene Bildsignal-Decodiervorrichtung entspricht einer Codiervorrichtung, bei der ein Codierrest extrahiert wird, um Verbesserungsdaten unter Verwendung der ursprünglichen Bilddaten von 4:2:2 und lokal-decodierter Daten auszugeben, welche durch vorübergehendes Expandieren komprimierter Daten erzeugt werden, während Basisdaten ausgegeben werden.
6 zeigt den Aufbau der Bildsignal-Decodiervorrichtung für den Fall, wo der Differenzwert zwischen den Daten, welche durch Abwärtsumsetzen eines Ursprungsbilds auf 4:1:1 und Blockbildung des abwärts-umgesetzten Bilds in Makroblöcke erzeugt werden, und lokal-decodierter Daten, als ein Codierrest durch den Codierrest-Extraktionsabschnitt 123 der Bildsignal-Codiervorrichtung, die in 2 gezeigt ist, extrahiert wird, wie oben beschrieben. Da in diesem Fall das gleiche Blockbildungsverfahren für die Basisdaten und die Verbesserungsdaten verwendet wird, wird das Entblocken durch einen gemeinsamen Entblockungsabschnitt durchgeführt, der im Datensyntheseabschnitt 150 vorgesehen ist. Daher unterscheidet sich der Aufbau von 6 gegenüber dem von 5 dahingehend, dass die Entblockungsabschnitte 136, 146 im Datensyntheseabschnitt 150 enthalten sind.
7 zeigt den Aufbau der Bildsignal-Decodiervorrichtung für den Fall, wo der Differenzwert zwischen Daten, welche durch Abwärtsumsetzen eines Ursprungsbilds, dann durch Makroblockbildung des abwärts-umgesetzten Bilds und Ausführen von DCT-Transformation und Quantisierung erzeugt werden, und lokal-decodierter Daten als ein Codierrest in der Bildsignal-Codiervorrichtung extrahiert werden, die in 2 ist, wie oben beschrieben. In diesem Fall unterscheidet sich der Aufbau von 7 gegenüber denjenigen von 5 und 6 dahingehend, dass, nachdem Daten, die durch Dequantisieren der Basisdaten erzeugt werden, und Daten, die durch Decodieren des Codierrests erzeugt werden, künstlich hergestellt werden, die Daten durch inverse DCT-Transformation durch den inversen DCT-Abschnitt 134 transformiert werden und durch den Entblockungsabschnitt 136 entblockt werden.
Das Verfahren zum Extrahieren des Codierrests in der Bildsignal-Codiervorrichtung kann durch ein Verfahren veranschaulicht werden, bei dem die Differenz (Differenzbild) zwischen einem Ursprungsbild und einem Bild, welches durch (lokales) Decodieren abwärts-umgesetzter Bilddaten erzeugt wird, durch ein Verfahren, bei dem die Differenz (Koeffizientendifferenz) zwischen dem DCT-Koeffizienten eines ursprünglichen Bildsignals und dem DCT-Koeffizienten von Bilddaten, die durch Ausführen von Quantisierung und Dequantisierung nach Abwärtsumsetzung erzeugt werden, verwendet wird, und ein Verfahren, bei dem ein Bandteilungsfilter verwendet wird, beispielsweise Subbänder, um Bandteilung eines Bild signals durchzuführen, und ein Bandsynthesefilter, um das band-unterteilte Bildsignal wie oben beschrieben zu rekonstruieren.
Der spezielle Aufbau der Decodiervorrichtung entsprechend der Codiervorrichtung einschließlich des speziellen Aufbaus des Codierrests-Extraktionsabschnitts 123 zum Extrahieren des Codierrests wird nun ausführlich mit Hilfe von 8 bis 13 beschrieben.
8 zeigt die Codiervorrichtung für den Fall, wo der Differenzwert zwischen einem Ursprungsbild von 4:2:2 und lokal-decodierten Daten als ein Codierrest extrahiert wird. 9 zeigt den ausführlichen Aufbau der Decodiervorrichtung entsprechend 8 (d.h., Details von 5).
10 zeigt den ausführlichen Aufbau der Codiervorrichtung für den Fall, wo ein Codierrest von der Differenz zwischen Makroblöcken, welche durch Blockbildung auf 4:1:1 erzeugt werden, und lokal-decodierten Daten extrahiert wird. 11 zeigt den ausführlichen Aufbau der Decodiervorrichtung entsprechend 10 (d.h., Details von 6).
12 zeigt den speziellen Aufbau der Codiervorrichtung für den Fall, wo ein Codierrest von der Differenz zwischen dem DCT-Koeffizienten und lokal-decodierten Daten extrahiert wird. 13 zeigt den ausführlichen Aufbau der Decodiervorrichtung entsprechend 12 (d.h., Details von 7).
Diese Bildsignal-Codiervorrichtung ist ausgebildet, um Verbesserungsdaten unter Verwendung des Differenzwerts (Differenzbilds) zwischen einem Ursprungsbild von 4:2:2 und einem lokal-decodierten Bild zu erzeugen.
Bei dieser Bildsignal-Codiervorrichtung sind ein LPF 116, ein Abwärtsumsetzer 117, ein Blockbildungsabschnitt 111, ein DCT-Abschnitt 112, ein Quantisierer 113, ein VLC-Abschnitt 114 und ein Rahmenbildungsabschnitt 115 Abschnitte zum Erzeugen von Basisdaten. Der Aufbau und die Funktion dieser Abschnitte ist ähnlich denjenigen bei der oben beschriebenen Bildsignal-Codiervorrichtung, die in 2 gezeigt ist, und werden daher nicht weiter ausführlich beschrieben. Die Abschnitte zum Erzeugen von Verbesserungsdaten werden hier hauptsächlich beschrieben. Die Abschnitte, die mit denjenigen der oben beschriebenen Bildsignal-Codiervorrichtung gemeinsam sind, werden mit den gleichen Bezugszeichen wie in 8 bezeichnet und werden nicht weiter ausführlich beschrieben.
Bei dieser Bildsignal-Codiervorrichtung wird ein Signal, welches durch Abwärtsumsetzen der Abtastfrequenz eines Chromasignals C eines ursprünglichen Bildsignals von 4:2:2 auf 1/2 erzeugt wird, einem Luminanzsignal Y des ursprünglichen Bildsignals hinzugefügt, um somit ein Bildsignal von 4:1:1 oder 4:2:0 zu erzeugen. Die Abtastfrequenz des Chromasignals C eines Signals, welches durch lokales Decodieren des Bildsignals 4:1:1 oder 4:2:0 erzeugt wird, wird wiederum auf das Zweifache der abwärts-umgesetzten Abtastfrequenz nach oben umgesetzt, und dann wird der Differenzwert zwischen dem aufwärtsumgesetzten Signal und dem ursprünglichen Bildsignal als ein Codierrest extrahiert.
Der Abschnitt zum Extrahieren des Codierrests in der Bildsignal-Codiervorrichtung von 8 weist einen Dequantisierer 118, einen inversen DCT-Abschnitt 119, einen Entblockungsabschnitt 126, einen LPF-Abschnitt 127, einen Aufwärtsumsetzer 128 und einen Addierer 129 auf. Das heißt, der Abschnitt entspricht dem Restextraktionsabschnitt 123 der Bildsignal-Codiervorrichtung, welche in 2 gezeigt ist.
Der Dequantisierer 118 dequantisiert den quantisierten DCT-Koeffizienten als Basisdaten und sendet den dequantisierten DCT-Koeffizienten zum inversen DCT-Abschnitt 119.
Der inverse DCT-Abschnitt 119 führt inverse DCT (inverse diskrete Kosinus-Transformation) des DCT-Koeffizienten der Bilddaten 4:1:1 oder 4:2:0 aus, welche durch den Dequantisierer 118 dequantisiert wurden und sendet den transformierten DCT-Koeffizienten zum Entblockungsabschnitt 126.
Das Chromasignal C des lokal-decodierten Bildsignals 4:1:1 oder 4:2:0 wird zum Aufwärtsumsetzer 128 und zum LPF 127 geliefert, um so aufwärts-umgesetzt zu werden. Das aufwärts-umgesetzte Chromasignal C wird dem Luminanzsignal Y des lokal-decodierten Bildsignals hinzugefügt und dann als ein inverses Eingangssignal dem Addierer 129 zugeführt.
Der Aufwärtsumsetzer 128 vergrößert die Abtastfrequenz des Chromasignals C des lokal-decodierten Bildsignals 4:1:1 auf das Zweifache, so dass die Differenz zwischen dem Ursprungsbild 4:2:2 und dem lokal-decodierten Bildsignal von 4:1:1 oder 4:2:0 durch den Addierer 129 berechnet wird.
Der Addierer 129 extrahiert die lokal-decodierten Bilddaten vom Chromasignal C des ursprünglichen Bildsignals 4:2:2, welches vom Eingangsanschluss 120 zugeführt wird, und extrahiert den Differenzwert als einen Codierrest. Der extrahierte Codierrest wird einem Blockbildungsabschnitt 124a hinzugeführt.
Der Codierrest, der durch den Addierer 129 extrahiert wird, wird codiert und als Verbesserungsdaten von einem Ausgangsanschluss 220 ausgegeben. Die Bildsignal-Codiervorrichtung von 8 hat den Aufbau für den Fall, wo der Codierrest unter Verwendung von DCT codiert ist. Bei dieser Bildsignal-Codiervorrichtung weist der Abschnitt zum Codieren des Codierrests den Blockbildungsabschnitt 124a, einen DCT-Abschnitt 124b, einen Quanti sierer 124c, einen VLC-Abschnitt 124d und einen Rahmenbildungsabschnitt 125 auf. Dieser Abschnitt entspricht dem Codierrestcodierer 124 der Bildsignal-Codiervorrichtung von 2.
Der Blockbildungsabschnitt 124a bis zum Rahmenbildungsabschnitt 125 sind ähnlich dem Blockbildungsabschnitt 111 bis zum Rahmenbildungsabschnitt 115 von 2, so dass diese nicht weiter ausführlich erläutert werden.
9 ist ein Blockdiagramm, welches den Aufbau der Bildsignal-Decodiervorrichtung entsprechend der ersten Ausführungsform der Bildsignal-Codiervorrichtung nach der vorliegenden Erfindung zeigt, die in 8 gezeigt ist.
Die Abschnitte, die mit denjenigen in der Bildsignal-Decodiervorrichtung von 5 gemeinsam sind, sind mit den gleichen Bezugszeichen in 9 bezeichnet. Bei dieser Bildsignal-Decodiervorrichtung haben der Abschnitt von einem Entrahmung 131 bis zu einem inversen DCT-Abschnitt 134 und der Abschnitt von einem Entrahmungsabschnitt 141 bis zu einem inversen DCT-Abschnitt 144, die zum expansions-decodieren von Basisdaten ausgebildet sind, die von einem Eingangsanschluss 130 zugeführt werden, den gleichen Aufbau wie in der Bildsignal-Decodiervorrichtung von 5, so dass diese nicht weiter ausführlich beschrieben werden.
Die Basisdaten, welche vom Eingangsanschluss 130 zugeführt werden, werden über den Entrahmungsabschnitt 131, einen VLC-Decoder 132, einem Dequantisierer 133, den inversen DCT-Abschnitt 134, einen Entblockungsabschnitt 136, einen Aufwärtsumsetzer 152 und ein LPF 153 expansions-decodiert.
Dagegen werden die Verbesserungsdaten, welche von einem Eingangsanschluss 140 zugeführt werden, decodiert und zu einem differentiellen Signal über den Entrahmungsabschnitt 141, einen VLC-Decoder 142, einen Dequantisierer 143, einen inversen DCT-Abschnitt 144 und einen Entblockungsabschnitt 146 zurückgebracht.
Das Luminanzsignal Y der decodierten Basisdaten vom Entblockungsabschnitt 136 wird unmittelbar zu einem Addierer 155 geliefert. Das Chromasignal C der Basisdaten wird über den Aufwärtsumsetzer 152 und das LPF 153 übertragen und dann zum Luminanzsignal Y addiert. Somit wird ein Wiedergabebildsignal von Basisdaten, die auf 4:2:2 aufwärts-umgesetzt sind, zum Addierer 155 geliefert.
Der Aufwärtsumsetzer 152 und das LPF 153 vergrößern die Abtastfrequenz des lokal-decodierten Bildsignals auf das Zweifache, so dass das ursprüngliche Bildsignal 4:2:2 und das lokal-decodierte Bildsignal 4:1:1 durch den Addierer 155 addiert werden.
Der Addierer 155 addiert die Basisdaten vom Entblockungsabschnitt 136, die decodiert und auf 4:2:2 aufwärts-umgesetzt wurden, zu den decodierten Verbesserungsdaten vom Entblockungsabschnitt 146. Das Bildsignal vom Addierer 155 wird als Wiedergabebildsignal von einem Ausgangsanschluss 250 ausgegeben.
Eine zweite Ausführungsform der Bildsignal-Codiervorrichtung und Bildsignal-Decodiervorrichtung nach der vorliegenden Erfindung wird nun beschrieben.
10 zeigt den Aufbau der Bildsignal-Codiervorrichtung für den Fall, wo ein Codierrest unter Verwendung eines differentiellen Bilds und eines Bandteilungsfilters extrahiert wird, um somit Verbesserungsdaten zu erzeugen.
Ein Chromasignal C eines ursprünglichen Signals von 4:2:2, welches von einem Eingangsanschluss 120 zugeführt wird, wird in zwei Frequenzbänder durch ein LPF (Tiefpassfilter) 116 und ein HPF (Hochpassfilter) 216 unterteilt, die Bandteilungsfilter sind, um das Frequenzband zu unterteilen. Da Niedrigfrequenzkomponenten des Chromasignals, welche vom LPF 116 ausgegeben werden, das gleiche Band wie das Band eines Chromasignals der digitalen Bilddaten sind, welche als Basisdaten ausgegeben werden, werden die Niedrigfrequenzkomponenten zusammen mit dem Luminanzsignal Y codiert, welches von einem Eingangsanschluss 110 zugeführt wird, um somit als Basisdaten 4:1:1 oder 4:2:0 von einem Ausgangsanschluss 210 ausgegeben zu werden. Anders ausgedrückt werden Hochfrequenzkomponenten des Chromasignals C, die nicht in den Basisdaten enthalten sind, als Rest auf Seiten des HPF 216 der Bandteilungsfilter extrahiert.
Ein Addierer 129 extrahiert als einen Codierrest den Differenzwert zwischen einem Bild 4:1:1 oder 4:2:0 von einem Blockbildungsabschnitt 111 und einem Bild, welches durch DCT-Codieren des Bildsignals 4:1:1 oder 4:2:0 und durch lokales Decodieren des DCT-codierten Bildsignals über einen Dequantisierer 118 und einen inversen DCT-Abschnitt 119 erzeugt wird. Der extrahierte Codierrest ist der Differenzwert zwischen dem Luminanzsignal Y und den Niedrigfrequenzkomponenten des Chromasignals C des Bildsignals.
Der extrahierte Codierrest vom Addierer 129 wird durch einen DCT-Abschnitt 124a als zweite Kompressions-Codiereinrichtung DCT-codiert und dann zu einem Quantisierer 124c geliefert.
Dagegen werden die Hochfrequenzkomponenten des Chromasignals C, welche vom HPF 216 ausgegeben werden, durch einen Abwärtsumsetzer 217 nach unten umgesetzt. Die nach unten umgesetzten Hochfrequenzkomponenten werden durch einen Blockbildungsabschnitt 211 verblockt, dann durch einen DCT-Abschnitt 212 DCT-codiert und dann zum Quantisierer 124c geliefert.
Der DCT-Koeffizient des Rests zwischen dem Luminanzsignal Y und den Niedrigfrequenzkomponenten des Chromasignals C von DCT-Abschnitt 124a und der DCT-Koef fizient der Hochfrequenzkomponenten des Chromasignals C vom DCT-Abschnitt 212 werden durch den Quantisierer 124c quantisiert, dann durch variables Längencodieren durch einen VLC-Abschnitt 124d codiert, dann durch einen Rahmenbildungsabschnitt 125 gerahmt und als Verbesserungsdaten von einem Ausgangsanschluss 220 ausgegeben.
11 ist ein Blockdiagramm, welches den Aufbau der Bildsignal-Decodiervorrichtung gemäß der zweiten Ausführungsform der Bildsignal-Codiervorrichtung der vorliegenden Erfindung, die in 10 gezeigt ist, zeigt.
Die Basisdaten, welche von einem Eingangsanschluss 130 zugeführt werden, werden über einen Entrahmungsabschnitt 131, einen VLC-Decoder 132, einen Dequantisierer 133 und einen inversen DCT-Abschnitt 134 decodiert. Nachdem der DCT-Koeffizient vom inversen DCT-Abschnitt 134 und der Differenzwert zwischen dem Luminanzsignal und den Niedrigfrequenzkomponenten des Chromasignals als Teil der Verbesserungsdaten, welche zu dem Codierrest über einen Entrahmungsabschnitt 141, einen VLC-Decoder 142, einen Dequantisierer 143 und einen inversen DCT-Abschnitt 144 zurückgebracht sind, durch einen Addierer addiert wird, wird das addierte Signal durch einen Entblockungsabschnitt 136 entblockt und wird zu einem Ausgangswiedergabesignal des Luminanzsignals Y von einem Ausgangsanschluss 230. Dagegen werden die Niedrigfrequenzkomponenten des Chromasignals C durch einen Aufwärtsumsetzer 152 und ein LPF 153 nach oben umgesetzt und dann mit den Hochfrequenzkomponenten des Chromasignals C als Teil der Verbesserungsdaten künstlich hergestellt, welche vom inversen DCT-Abschnitt 144 ausgegeben werden und über eine Entblockungsschaltung 146, einen Aufwärtsumsetzer 162 und ein HPF 163 übertragen, um so als Chromasignal C von einem Ausgangsanschluss 240 ausgegeben zu werden.
Somit werden hochqualitative Bilddaten 4:2:2 von den Basisdaten und den Verbesserungsdaten reproduziert.
Eine dritte Ausführungsform der Bildsignal-Decodiervorrichtung der vorliegenden Erfindung wird nun beschrieben.
12 zeigt den Aufbau der Bildsignal-Codiervorrichtung für den Fall, wenn ein Codierrest unter Verwendung einer Koeffizientendifferenz und eines Bandteilungsfilters extrahiert wird, um so Verbesserungsdaten zu erzeugen.
Diese Bildsignal-Codiervorrichtung unterscheidet sich gegenüber der Bildsignal-Codiervorrichtung von 10 dahingehend, dass der Differenzwert auf dem DCT-Koeffizientenpegel zwischen dem DCT-Koeffizienten eines ursprünglichen Bildsignals und Basisdaten als Codierrest zum Erzeugen von Verbesserungsdaten verwendet wird, anstelle den Dif ferenzwert zwischen dem ursprünglichen Bildsignal und dem Bildsignal, welches durch lokales Decodieren der Basisdaten erzeugt wird, zu verwenden.
Bei dieser Bildsignal-Codiervorrichtung ist der Abschnitt von einem Blockbildungsabschnitt 111 zu einem Rahmenbildungsabschnitt 115 zum Erzeugen von Basisdaten ähnlich der Einrichtung, um Basisdaten in der Bildsignal-Codiervorrichtung zu erzeugen, die in 10 gezeigt ist, und wird daher nicht weiter ausführlich beschrieben. Lediglich der Abschnitt zum Erzeugen der Verbesserungsdaten wird hier beschrieben.
Ein Chromasignal C eines ursprünglichen Signals 4:2:2, welches von einem Eingangsanschluss 120 zugeführt wird, wird in zwei Frequenzbänder durch ein Tiefpassfilter (LPF) 116 und ein Hochpassfilter (HPF) 216 unterteilt, welche Frequenzteilungsfilter sind, um das Frequenzband zu unterteilen. Da Niedrigfrequenzkomponenten des Chromasignals C, welche vom LPF 116 ausgegeben werden, das gleiche Band wie das Band des Chromasignals C der digitalen Bilddaten haben, die als Basisdaten 4:1:1 oder 4:2:0 ausgegeben werden, werden die Niedrigfrequenzkomponenten zusammen mit dem Luminanzsignal Y codiert, welches von einem Eingangsanschluss 110 zugeführt wird, um somit als Basisdaten 4:1:1 oder 4:2:0 von einem Ausgangsanschluss 210 ausgegeben zu werden.
Ein Addierer 129 extrahiert als Codierrest den DCT-Koeffizientendifferenzwert zwischen dem DCT-Koeffizienten eines Bilds 4:1:1 oder 4:2:0, welches durch einen Blockbildungsabschnitt 111 verblockt ist und durch einen DCT-Abschnitt 112 DCT-transformiert ist, und dem DCT-Koeffizienten, der durch Bilden des DCT-Koeffizienten des Bildsignals 4:1:1 oder 4:2:0 und durch Dequantisieren des DCT-Koeffizienten über einen Dequantisierer 118 gebildet wird. Der extrahierte Codierrest wird zu einem Quantisierer 124c geliefert.
Dagegen werden die Hochfrequenzkomponenten des Chromasignals C, welche vom HPF 216 ausgegeben werden, durch einen Abwärtsumsetzer 217 abwärts-umgesetzt. Die abwärts-umgesetzten Hochfrequenzkomponenten werden durch einen Blockbildungsabschnitt 211 verblockt, dann durch einen DCT-Abschnitt 212 DCT-codiert und dann zum Quantisierer 124c geliefert.
Der DCT-Koeffizient vom Addierer 129 und der DCT-Koeffizient vom DCT-Abschnitt 212 werden durch den Quantisierer 124c quantisiert, dann durch variable Längecodierung durch einen VLC-Abschnitt 124d codiert, dann durch einen Rahmenbildungsabschnitt 125 gerahmt und als Verbesserungsdaten von einem Ausgangsanschluss 220 ausgegeben.
13 ist ein Blockdiagramm, welches den Aufbau der Bildsignal-Decodiervorrichtung nach der dritten Ausführungsform der Bildsignal-Codiervorrichtung der vorliegenden Erfindung zeigt, die in 12 gezeigt ist.
Die Basisdaten 4:1:1 oder 4:2:0, welche von einem Eingangsanschluss 130 zugeführt werden, werden zum DCR-Koeffizienten über einen Entrahmungsabschnitt 131, einen VLC-Decoder 132 und einen Dequantisierer 133 zurückgebracht. Ähnlich werden die Verbesserungsdaten, welche von einem Eingangsanschluss 140 zugeführt werden, zum DCT-Koeffizienten über einen Entrahmungsabschnitt 141, einen VLC-Decoder und einen Dequantisierer 143 zurückgebracht. Der DCT-Koeffizient vom Dequantisierer 133 und der DCT-Koeffizient vom Dequantisierer 143 werden durch einen Addierer 154 addiert und zu einem inversen DCT-Abschnitt 134 geliefert. Dann wird das resultierende Signal durch einen Entblockungsabschnitt 136 entblockt und als Luminanzsignal Y von einem Ausgangsanschluss 230 ausgegeben.
Das Syntheseausgangssignal vom Addierer 154 wird durch Decodieren des Differenzwerts zwischen dem Luminanzsignal Y des ursprünglichen Bildsignals und den Niedrigfrequenzkomponenten des Chromasignals erzeugt.
Das Ausgangssignal vom Entblockungsabschnitt 136 wird über einen Aufwärtsumsetzer 152 und ein LPF 153 nach oben umgesetzt, und das Signal von dem Entblockungsabschnitt 146 wird nach oben über einen Aufwärtsumsetzer 162 und ein HPF 163 umgesetzt. Dann werden die nach oben umgesetzten Signale durch einen Addierer 155 addiert und als Chromawiedergabesignal C von einem Ausgangsanschluss 240 ausgegeben.
Somit werden erweiterte Bilddaten 4:2:2 wiedergegeben.
Bei den oben beschriebenen Ausführungsformen werden die Verbesserungsdaten einschließlich des Luminanzsignals Y und den Hochfrequenzkomponenten des Chromasignals C an die Basisdaten 4:1:1 oder 4:2:0 angehängt, um somit hochqualitative erweiterte Bilddaten 4:2:2 zu bilden. Das Abtastfrequenzverhältnis der hochqualitativen Bilddaten ist jedoch nicht auf 4:2:2 beschränkt und kann beispielsweise 4:4:4 sein. In diesem Fall sind die Frequenzkomponenten der Verbesserungsdaten, die an die Basisdaten angehängt sind, höher als die Abtastfrequenz, die bei den Ausführungsformen verwendet wird.
Bei der Bildsignal-Codiervorrichtung und der Bildsignal-Decodiervorrichtung gemäß der vorliegenden Erfindung werden Basisdaten, welche durch Kompressionscodieren von Basisbilddaten erzeugt werden, welche ein Abtastfrequenzverhältnis eines Luminanzsignals Y und von zwei Farbdifferenzsignalen von Chromasignalen C der Bildsignale von 4:1:1 oder 4:2:0 haben, an Verbesserungsdaten einschließlich Hochfrequenzkomponenten des Chromasignals C angehängt, um dadurch komprimierte Bilddaten zu bilden, welche ein Abtastfrequenzverhältnis haben, welche im Wesentlichen gleich 4:2:2 ist. Mit diesem Datenaufbau reicht es aus, lediglich die Basisdaten zu übertragen, wenn Kompatibilität mit Bildsigna len gemäß dem Format von 4:1:1 oder 4:2:0 der herkömmlichen digitalen Bilddaten erforderlich ist. Wenn dagegen erweiterte Bilddaten 4:2:2, die eine Realisierung eines hochgenauen Bilds ermöglichen, erforderlich ist, können die Verbesserungsdaten an die Basisdaten angehängt werden. Damit können hochqualitative Bilddaten, welche Kompatibilität zwischen diesen digitalen Bilddaten unterschiedlicher Kompressionsformate haben, bereitgestellt werden.

Claims

Bildsignal-Codiervorrichtung, die aufweist: eine Umsetzungseinrichtung (116, 117, 111) zum Umsetzen eines Bildsignals, welches ein Luminanzsignal und zwei Farbdifferenzsignale des 4:2:2 Formats hat, in ein umgesetztes Bildsignal des Formats 4:1:1 oder 4:2:0; und eine Einrichtung (112, 113, 114, 115) zum Kompressions-Codieren des umgesetzten Bildsignals, um ein kompressions-codiertes Bildsignal zu erzeugen, welches einen reduzierten Informationshalt im Vergleich zum Bildsignal hat, gekennzeichnet durch eine Restsignal-Extrahiereinrichtung (129, 118, 119, 126) zum Erzeugen eines Restsignals, welches die Differenz zwischen (a) einer dekomprimierten Version des kompressions-codierten umgesetzten Bildsignals und (b) dem Bildsignal wiedergibt; und eine weitere Einrichtung (124, 125) zum Komprimieren des Restsignals.
Vorrichtung nach Anspruch 1, wobei das Restsignal die Differenz zwischen der dekomprimierten Version des kompressions-codierten umgesetzten Bildsignals und dem Bildsignal des 4:2:2-Formats zeigt.
Vorrichtung nach Anspruch 1, wobei die Restsignal-Extrahiereinrichtung aufweist: eine Einrichtung (129) zum Erzeugen eines Restsignals, welches die Differenz zwischen (a) dem umgesetzten Bildsignal im Transformationsbereich und (b) einer quantisierten und nachfolgend dequantisierten Version des umgesetzten Bildsignals im Transformationsbereich zeigt; und eine Einrichtung (124c, 124d, 125) zum Komprimieren des Restsignals.
Vorrichtung nach Anspruch 1 oder 3, welche außerdem eine Bandteilungs-Filtereinrichtung (116, 216) zum Unterteilen der Farbdifferenzsignale des Bildsignals in unterschiedliche Frequenzbänder aufweist.
Vorrichtung nach Anspruch 4, wobei die Bandunterteilungs-Filtereinrichtung (116, 216) das Farbdifferenzsignal in ein Niedrig- und ein Hoch-Frequenzband unterteilt, und die Umsetzungseinrichtung (217, 117) das Farbdifferenzsignal nach unten umsetzt, und die Umsetzungseinrichtung (217, 117) und die Restsignal-Extraktionseinrichtung (129, 112, 113, 114, 118, 119) das Farbdifferenzsignal im Niedrigfrequenzband verarbeiten, um das komprimierte Restsignal zu erzeugen.
Vorrichtung nach Anspruch 5, welche eine Einrichtung (212, 124c, 124d) zum Komprimieren des Farbdifferenzsignals im Hochfrequenzband aufweist.
Vorrichtung nach Anspruch 6, wobei das komprimierte Farbdifferenzsignal im Hochfrequenzband gemeinsam mit dem komprimierten Restsignal ausgegeben wird.
Vorrichtung nach Anspruch 1, wobei die Restsignal-Extraktionseinrichtung (129, 118, 119, 126, 127, 128) aufweist: eine Decodiereinrichtung (118, 119, 126, 127, 128) zum Decodieren des kompressionscodierten Bildsignals, und eine Recheneinrichtung zum Erzeugen des Restsignals, welches die Differenz zwischen dem decodierten kompressions-codierten Bildsignal und dem Bildsignal zeigt.
Vorrichtung nach Anspruch 1, wobei die Restsignal-Extraktionseinrichtung (129, 118, 119, 126–128) eine Decodiereinrichtung (118, 119, 126–128) aufweist, um das kompressions-codierte Bildsignal zu decodieren, und eine Recheneinrichtung, um das Restsignal zu erzeugen, welches die Differenz zwischen dem codierten kompressions-codierten Bildsignal und dem umgesetzten Bildsignal zeigt.
Vorrichtung nach einem der vorhergehenden Ansprüche, wobei die Einrichtung (112, 113, 114, 115) zum Kompressions-Codieren des umgesetzten Bildsignals eine Einrichtung zum Ausführen einer Diskreten-Kosinus-Transformation aufweist.
Vorrichtung nach einem der Ansprüche 1 bis 9, wobei die Einrichtung zum Kompressions-Codieren des umgesetzten Bildsignals eine Einrichtung zum Ausführen einer Wavelet-Transformation oder einer Subband-Codierung aufweist.
Vorrichtung nach Anspruch 1 und Anspruch 10, wobei die Einrichtung zum Komprimieren des Restsignals eine Einrichtung zum Ausführen einer Diskreten-Kosinus-Transformation aufweist.
Vorrichtung nach Anspruch 3 und 10, wobei die Einrichtung zum Komprimieren des Restsignals eine Einrichtung zum Ausführen einer Diskreten-Kosinus-Transformation aufweist.
Vorrichtung nach Anspruch 1 und 11, wobei die Einrichtung zum Komprimieren des Restsignals eine Einrichtung zum Ausführen einer Wavelet-Transformation oder Subband-Codierung aufweist.
Vorrichtung nach Anspruch 3 und 11, wobei die Einrichtung zum Komprimieren des Restsignals eine Einrichtung zum Ausführen einer Wavelet-Transformation oder Subband-Codierung aufweist.
Vorrichtung nach einem der vorhergehenden Ansprüche, wobei das Bildsignal ein NTSC-Signal ist.
Vorrichtung nach einem der vorhergehenden Ansprüche 1 bis 16, wobei das Bildsignal ein PAL-Signal ist.
Bildsignal-Decodiervorrichtung zum Decodieren eines Bildsignals, welches ein kompressions-codiertes Bildsignal des Formats 4:1:1 oder 4:2:0 und ein kompressions-codiertes Restsignal hat, welches Daten zeigt, welche bei Kompression des Bildsignals verloren wurden; wobei die Decodiervorrichtung aufweist: eine erste Decodiereinrichtung (131–136) zum Decodieren des kompressionscodierten Bildsignals des Formats 4:1:1 oder 4:2:0; eine zweite Decodiereinrichtung (149, 146, 141–144) zum Decodieren des kompressionscodierten Restsignals; und eine Einrichtung zum Kombinieren des decodierten Bildsignals und des decodierten Restsignals, um ein Signal des Formats 4:2:2 zu erzeugen.
Decodiervorrichtung nach Anspruch 18, wobei die erste Decodiereinrichtung (131–136) eine inverse Transformationsstufe (134) aufweist.
Decodiervorrichtung nach Anspruch 18, wobei die erste Decodiereinrichtung (131–133) ein decodiertes Signal im Transformationsbereich erzeugt.
Decodiervorrichtung nach Anspruch 19, wobei die zweite Decodiereinrichtung eine inverse Transformationsstufe (149) aufweist.
Decodiervorrichtung nach Anspruch 20, wobei die zweite Decodiereinrichtung ein decodiertes Signal im Transformationsbereich erzeugt.
Decodiervorrichtung nach Anspruch 22, welche eine inverse Transformationsstufe (134) zum Anwenden einer inversen Transformation an das kombinierte decodierte Bildsignal und Restsignal aufweist.
Decodiervorrichtung nach Anspruch 19, 21 oder 23, wobei die inverse Transformationsstufe eine inverse diskrete Kosinus-Transformation ausführt.
Decodiervorrichtung nach Anspruch 19, 21 oder 23, wobei die inverse Transformationsstufe eine inverse Wavelet-Transformation oder Subband-Synthese ausführt.
Decodiervorrichtung nach Anspruch 18, welche eine Einrichtung (152) zum Aufwärtsumsetzen der Abtastfrequenz eines Farbdifferenzsignals des decodierten Bildsignals aufweist.
Decodiervorrichtung nach Anspruch 18, welche eine Einrichtung (162) zum Aufwärtsumsetzen der Abtastfrequenz einer Farbdifferenzkomponente des Restsignals aufweist.
Decodiervorrichtung nach einem der Ansprüche 18 bis 25, welche ein Bandsynthesefilter (153, 155, 163) aufweist, um Farbdifferenzsignale, welche durch die erste und zweite Decodiereinrichtung decodiert wurden, künstlich herzustellen.
Decodiervorrichtung nach einem der Ansprüche 18 bis 21, wobei die Bildsignale NTSC Signale sind.
Decodiervorrichtung nach einem der Ansprüche 18 bis 28, wobei die Bildsignale PAL Signale sind.