DE69733007T2

DE69733007T2 - Vorrichtung zur codierung und decodierung von bewegtbildern

Info

Publication number: DE69733007T2
Application number: DE69733007T
Authority: DE
Inventors: Hiroyuki Chiba-shi Katata; Norio Chiba-shi Ito; Tomoko Chiba-shi AONO; Hiroshi Chiba-shi Kusao; Shuichi Chiba-shi WATANABE
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 1996-02-07
Filing date: 1997-02-05
Publication date: 2006-02-16
Anticipated expiration: 2017-02-06
Also published as: US6148030A; EP0880286A4; EP1343328A8; EP0880286B1; WO1997029595A1; US6678326B2; DE69733007D1; US6324215B1; US6466622B2; EP0880286A1; ES2241034T3; US20010026586A1; EP1343328A2; EP1343328A3; US20030007557A1

Description

TECHNISCHES GEBIET
Die vorliegende Erfindung betrifft eine Bewegtbild-Codier- und -Decodiervorrichtung zum Codieren und Decodieren von Bewegtbild- oder Bilddaten, die in digitaler Form dargestellt sind. Insbesondere betrifft die vorliegende Erfindung eine Bewegtbild-Codier- und -Decodiervorrichtung ohne Bildverschlechterung.
HINTERGRUND
In der Bildcodierung wurde ein Verfahren zum Überlagern von unterschiedlichen Einzelbildsequenzen untersucht. In einem Artikel mit dem Titel "An Image Coding Scheme Using Layered Representation and Multiple Templates" (Technical Report of IEICE, IE 94–159, S. 99–106 (1995)) ist ein Verfahren zur Bildung einer neuen Folge durch Überlagern einer Bewegtbildfolge als Hintergrund und einer Bewegtbildfolge eines Einzelbewegtbilds oder Bilds als Vordergrund (z.B. das Videobild eines Buchstabens oder Fischs, die mittels der Chromakey-Technik ausgeschnitten wurden) offenbart.
Ein Artikel "Temporal Scalability Based on Image Content", ISO/IEC/JTC1/SC29/WG11 MPEG 95/211(1995) offenbart ein Verfahren zur Bildung einer neuen Sequenz durch Überlagern einer Bewegtbildsequenz von Einzelbewegtbildern, die eine hohe Vollbildrate aufweist, mit einer Bewegtbildsequenz, die eine niedrige Vollbildrate aufweist.
Gemäß dieses Verfahrens wird unter Bezugnahme auf 27 ein prädiktives Codieren bei einer niedrigen Vollbildrate in einer unteren Schicht durchgeführt und ein prädiktives Codieren bei einer hohen Vollbildrate lediglich in einem ausgewählten Bereich (schraffierter Bereich) einer oberen Schicht durchgeführt. Ein in der unteren Schicht codiertes Vollbild wird jedoch nicht in der oberen Schicht codiert, sondern ein decodiertes Bild der unteren Schicht wird kopiert und so wie es ist verwendet. Es wird angenommen, dass ein Bereich, dem ein Betrachter Aufmerksamkeit schenkt, wie z.B. eine Figur oder ein Zeichen, als ausgewählter Bereich ausgewählt wird.
26 ist ein Blockschaltbild, das einen Hauptbereich einer konventionellen Bewegtbild-Codier- und -Decodiervorrichtung zeigt. Unter Bezugnahme auf die linke Seite von 26 dünnen in einer Codiervorrichtung des konventionellen Bewegtbilds und der Codiervorrichtung erste und zweite Überspringeinheiten 801 und 802 die Vollbilder der eingegebenen Bewegtbilddaten aus. Die Eingabebilddaten weisen so eine niedrigere Vollbildrate auf und dienen als Eingabe für die Codiereinheiten der oberen Schicht 803 bzw. der unteren Schicht 804. Es wird angenommen, dass die Vollbildrate für die obere Schicht nicht geringer als die Vollbildrate der unteren Schicht ist.
Das Eingabebewegtbild als Ganzes wird in der Codiereinheit der unteren Schicht 804 codiert. International standardisierte Verfahren der Bewegtbild-Codierung wie z.B. MPEG oder H.261 werden als Codierverfahren verwendet. Ein decodiertes Bild der unteren Schicht wird in der Codiereinheit der unteren Schicht 804 gebildet, wobei das Bild für das prädiktive Codieren verwendet und gleichzeitig in eine Überlagerungseinheit 805 eingegeben wird.
Nur der ausgewählte Bereich des Eingabebewegtbilds wird in der Codiereinheit der oberen Schicht 803 aus 26 codiert. Die internationalen standardisierten Verfahren der Bewegtbild-Codierung wie z.B. MPEG oder H.261 werden ebenfalls hier verwendet. Lediglich der ausgewählte Bereich wird codiert, jedoch basierend auf Bereichsformdaten. Ein Vollbild, das bereits in der unteren Schicht codiert wurde, wird in der oberen Schicht nicht codiert. Die Bereichsformdaten stehen für die Form des ausgewählten Bereichs wie z.B. eines Figurenabschnitts, und sind ein Binärbild, das den Wert 1 an der Stelle des ausgewählten Bereichs und den Wert 0 an anderen Stellen annimmt. Nur der ausgewählte Bereich des Bewegtbilds wird in der Codiereinheit der oberen Schicht 803 codiert, und dient als Eingabedaten für die Überlagerungseinheit 805.
Die Bereichsform wird unter Verwendung eines 8-direktionalen Quantisierungscodes in einer Bereichsformcodiereinheit 806 codiert. 25 zeigt den 8-direktionalen Quantisierungscode. Wie aus der Abbildung ersichtlich stellt der 8-direktionale Quantisierungscode eine Richtung zu einem nächsten Punkt durch einen numerischen Wert dar, der allgemein zur Darstellung einer digitalen Figur verwendet wird.
An einer Vollbildposition, wo ein Vollbild der unteren Schicht codiert wurde, gibt die Überlagerungseinheit 805 ein decodiertes Bild der unteren Schicht aus. An einer Vollbildposition, wo das Vollbild der unteren Schicht nicht codiert wurde, bildet die Überlagerungseinheit ein Bild durch Verwendung der codierten Bilder der beiden vorangehenden und nachfolgenden codierten unteren Schicht des betreffenden Vollbildes und eines decodierten Bildes der oberen Schicht des selben Zeitpunkts, und gibt das entstandene Bild aus. Das hier entstandene Bild dient als Eingangsdaten der Codiereinheit der oberen Schicht 803 und wird für das prädiktive Codieren verwendet. Das Verfahren der Entstehung des Bildes in der Überlagerungseinheit 805 ist wie folgt.
Zuerst wird ein interpoliertes Bild von zwei unteren Schichten gebildet. Ein decodiertes Bild einer unteren Schicht zu einem Zeitpunkt t wird durch B(x, y, t) dargestellt. Hier sind x und y die Koordinaten, die die Pixelposition in einem Raum darstellen. Wenn wir die Zeitpunkte der beiden unteren Schichten als t1 und t2 und den Zeitpunkt für die obere Schicht als t3 darstellen (wobei t1 ≤ t3 ≤ t2), wird das interpolierte Bild I(x, y, t3) zum Zeitpunkt t3 wie folgt berechnet. I(x, y, t3) = [(t2 – t3)B(x, y, t1) + (t3 – t1)B(x, y, t2)]/(t2 – t1) (1)
Danach wird ein decodiertes Bild E der oberen Schicht mit dem wie oben berechneten interpolierten Bild I überlagert. Zu diesem Zweck wird Gewichtungsinformation W(x, y, t) zum Überlagern aus Bereichsformdaten M(x, y, t) gebildet, und man erhält ein überlagertes Bild S gemäß der folgenden Gleichung. S(x, y, t) = [1 – W(x, y, t)]I(x, y, t) + E(x, y, t)W(x, y, t) (2)
Die Bereichsformdaten M(x, y, t) sind ein Binärbild, das den Wert 1 im ausgewählten Bereich und den Wert 0 außerhalb des ausgewählten Bereichs annimmt. Das mehrmals durch einen Tiefpassfilter geführte Bild bildet die Gewichtungsinformation W(x, y, t).
Insbesondere nimmt die Gewichtungsinformation W(x, y, t) den Wert 1 im ausgewählten Bereich, 0 außerhalb des ausgewählten Bereichs und einen Wert zwischen 0 und 1 an einer Grenze des ausgewählten Bereichs an. Die Funktion der Überlagerungseinheit 805 ist wie oben beschrieben.
Die codierten Daten, die durch die Codiereinheit der unteren Schicht 804, die Codiereinheit der oberen Schicht 803 und die Bereichsformcodiereinheit 806 codiert wurden, werden durch eine nicht dargestellte Integrationseinheit für codierte Daten integriert und übertragen oder gespeichert.
Das Decodierverfahren in der konventionellen Vorrichtung wird im Nachfolgenden beschrieben. Unter Bezugnahme auf die rechte Seite von 26 werden in der Decodiervorrichtung die codierten Daten von einer nicht dargestellten Zerlegeeinheit für codierte Daten in codierte Daten für die untere Schicht, codierte Daten für die obere Schicht und codierte Daten für die Bereichsform zerlegt. Die codierten Daten werden durch eine Decodiereinheit der unteren Schicht 808, einer Decodiereinheit der oberen Schicht 807 und einer Bereichsform-Decodiereinheit 809, wie in 26 gezeigt, decodiert. Eine Überlagerungseinheit 810 der Decodiervorrichtung ist ähnlich zu der Überlagerungseinheit 805 der Codiervorrichtung. Unter Verwendung des decodierten Bildes der unteren Schicht und des decodierten Bildes der oberen Schicht werden die Bilder mittels desselben Verfahrens überlagert, das bezüglich der Codierseite beschrieben wurde. Das überlagerte Bewegtbild wird auf einer Anzeige angezeigt und in eine Decodiereinheit 807 der oberen Schicht eingegeben, um für die Prädiktion der oberen Schicht verwendet zu werden.
Obwohl eine Decodiervorrichtung zum Decodieren sowohl der unteren als auch der oberen Schicht beschrieben wurde, sind in einer Decodiervorrichtung, die lediglich eine Einheit zum Decodieren der unteren Schicht aufweist, die Decodiereinheit der oberen Schicht 807 und die Überlagerungseinheit 810 nicht erforderlich. Demgemäß kann ein Teil der codierten Daten in einem kleineren Hardwareumfang reproduziert werden.
Nach konventioneller Technik wird, wie durch Gleichung (1) dargestellt, wenn ein Ausgabebild aus zwei decodierten Bildern der unteren Schicht und einem decodierten Bild der oberen Schicht ermittelt werden soll, eine Interpolation zwischen den beiden unteren Schichten durchgeführt. Demgemäß ergäbe sich, wenn sich eine Position des ausgewählten Bereiches mit der Zeit ändert, eine erhebliche Verzerrung um den ausgewählten Bereich herum, was die Bildqualität stark verschlechtert.
Die 28A bis 28C sind Veranschaulichungen des Problems. Unter Bezugnahme auf 28A stellen die Bilder A und C zwei decodierte Bilder der unteren Schicht dar und das Bild B ist ein decodiertes Bild der oberen Schicht, und die Anzeigeabfolge ist in der Reihenfolge A, B und C. Hier sind die ausgewählten Bereiche schraffiert dargestellt. In der oberen Schicht ist nur der ausgewählte Bereich codiert, und deshalb sind die außerhalb des ausgewählten Bereichs liegenden Bereiche durch gepunktete Linien dargestellt. Wenn der ausgewählte Bereich sich bewegt, weist ein aus den Bildern A und C erhaltenes interpoliertes Bild zwei ausgewählte Bereiche auf, die wie durch den gerasterten Bereich von 28B dargestellt überlagert sind.
Wenn das Bild B unter Verwendung der Gewichtungsinformation überlagert wird, weist das Ausgangsbild drei ausgewählte Bereiche auf, die wie in 28C dargestellt überlagert sind. Insbesondere erscheinen um den ausgewählten Bereich der oberen Schicht herum (außen) die ausgewählten Bereiche der unteren Schichten wie Nachbilder, die die Bildqualität erheblich verschlechtern. Wenn nur die untere Schicht alleine angezeigt wird, gibt es keine zuvor erwähnte Verzerrung im Bewegtbild als Ganzes, und wenn das überlagerte Bild der oberen und unteren Schichten angezeigt wird, erscheint die zuvor erwähnte Verzerrung, und deshalb wird eine flimmerartige Verzerrung im Bewegtbild erzeugt, was eine extrem schwerwiegende Verschlechterung der Bildqualität verursacht.
Die internationale Standardisierung (ISO/IECMPEG4) des Bewegtbild-Codierverfahrens schlägt das Codieren, Decodieren und Synthetisieren (Aufbauen) von Bildern mit einer Vielzahl von Bestandteilen durch eine Codiervorrichtung und eine Decodiervorrichtung vor, die hierarchische Strukturen wie in 29 dargestellt aufweisen. Hier bezeichnet ein Einzelbild ein Bild, das als Bestandteil ausgeschnitten wurde, wie z.B. ein Zeichen oder ein Objekt im Bewegtbild. Das gesamte Bewegtbild selbst wird ebenfalls als eines der Einzelbilder behandelt. Im Allgemeinen werden innerhalb der codierten Daten die Kennzeichnungsnummern der entsprechenden Einzelbilder codiert, und auf der Decodierseite werden die Kennzeichnungsnummern deco diert und basierend auf den decodierten Kennzeichnungsnummern werden die codierten Daten, die den gewünschten Einzelbildern entsprechen, ausgewählt.
Die 30A bis 30E zeigen schematisch die Einzelbilder und die Art und Weise des Aufbaus der Bilder. Das Einzelbild 1 ist aus 30A ist ein einfaches Bewegtbild, das Hintergrund darstellt, und das Einzelbild 2 aus 30B ist ein durch Ausschneiden von lediglich einer Figur erhaltenes Bewegtbild. Das Einzelbild 3 aus 30C ist ein Bewegtbild, das durch Ausschneiden von nur einem Auto erhalten wurde. Wenn nur das Einzelbild 1 innerhalb der codierten Daten decodiert wird, erhält man ein Bild des Hintergrunds, das nur der 30A entspricht. Wenn die Einzelbilder 1 und 2 decodiert und zusammengesetzt werden, wird ein Bild wie das in 30D gezeigte reproduziert. Wenn das Einzelbild 3 decodiert und diese drei Einzelbilder zusammengesetzt werden, wird ein Bild wie das in 30E dargestellte reproduziert. Hier wird solch eine hierarchische Art als Hierarchie von Einzelbildern bezeichnet.
Die herkömmlichen Codier- und Decodiervorrichtungen mit hierarchischer Struktur wie oben beschrieben weisen keine Funktion des hierarchischen Codierens und Decodierens der Bildqualität jedes Einzelbildes auf. Hier bezeichnet die Bildqualität die räumliche Auflösung des Einzelbildes, die Anzahl der Quantisierungsstufen, die Vollbildrate usw.
OFFENBARUNG DER ERFINDUNG
Aspekte der Erfindung sind in den beigefügten Ansprüchen dargelegt.
KURZE BESCHREIBUNG DER FIGUREN
1 ist ein Blockschaltbild, das einen Hauptabschnitt einer Bildcodier- und -Decodiervorrichtung gemäß eines ersten Beispiels zeigt.
2 ist ein Blockschaltbild, das einen Hauptabschnitt einer Bildcodier- und -Decodiervorrichtung gemäß eines zweiten Beispiels zeigt.
3 ist eine Veranschaulichung bezüglich eines ersten Merkers der vorliegenden Erfindung.
4 ist ein Blockschaltbild, das einen Ablauf zeigt, wenn eine Bereichsform unter Verwendung von decodierten Daten einer unteren Schicht extrahiert wird.
5 ist ein Blockschaltbild, das einen Hauptabschnitt zeigt, wenn eine Bereichsform unter Verwendung einer Bereichsform einer oberen Schicht extrahiert wird.
6 ist eine Veranschaulichung eines dritten Beispiels.
7 ist eine Veranschaulichung, die eine Abänderung des dritten Beispiels darstellt.
8A u. 8B sind Darstellungen, die die Wirkung des ersten Beispiels zeigen.
9 ist eine Darstellung, die die Extraktion einer Bereichsform unter Verwendung einer Bereichsform einer oberen Schicht abbildet.
10 ist ein Blockschaltbild, das einen Hauptabschnitt einer Bildcodier- und -Decodiervorrichtung zeigt.
11 ist ein Blockschaltbild, das das erste Beispiel zeigt.
12 ist ein Blockschaltbild, das das zweite Beispiel darstellt.
13 ist ein Blockschaltbild, das ein Beispiel einer Anordnung einer Codiereinheit der oberen Schicht zeigt.
14 ist ein Blockschaltbild, das ein Beispiel einer Anordnung einer Decodiereinheit der oberen Schicht darstellt.
15 ist ein Blockschaltbild, das einen Hauptabschnitt der Bildcodier- und -Decodiervorrichtung gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
16–18 sind Darstellungen, die die Anordnung einer Einzelbild-Codiereinheit gemäß der Ausführungsform zeigen.
19–21 sind Blockschaltbilder, die die Anordnung der Einzelbild-Decodiereinheit gemäß der Ausführungsform zeigen.
22 ist ein Blockschaltbild, das eine Anordnung einer Referenzbild-Kennzeichnungsnummer-Erzeugungseinheit darstellt.
23 ist eine Darstellung, die die Referenzbeziehung zwischen Einzelbildern und deren Bewegungskompensations-Prädiktion zeigt.
24 zeigt ein Beispiel eines beliebigen Formbereichs von Pixeln und Bereichsformdaten (8-direktionaler Quantisierungscode).
25 ist eine Darstellung, die den 8-direktionalen Quantisierungscode zeigt.
26 ist ein Blockschaltbild, das herkömmliche Codier- und Decodierverfahren veranschaulicht.
27 zeigt das Verarbeitungskonzept in der konventionellen Bildcodier- und -Decodiervorrichtung.
28A–28C sind Darstellungen von auf die herkömmliche Bildcodier- und -Decodiervorrichtung bezogenen Problemen.
29 ist ein Blockschaltbild, das eine Anordnung eines Hauptabschnitts der herkömmlichen Bildcodier- und Decodiervorrichtung zeigt.
30A–30E stellen das Konzept der Einzelbilder und des Aufbaus von Einzelbildern dar.
BESTE AUSFÜHRUNGSFORM DER ERFINDUNG
(1) Erstes Beispiel
10 ist ein Blockschaltbild, das eine schematische Anordnung der Bildcodier- und -Decodiervorrichtung gemäß des ersten Beispiels zeigt, das dem in 26 entspricht, die den Stand der Technik zeigt. Unter Bezugnahme auf 10 umfasst eine Codiervorrichtung 11, die die Bildcodier- und Decodiervorrichtung bildet, erste und zweite Sprungeinheiten 1401 und 1402, in die Bewegtbilder eingegeben werden, und eine Codiereinheit der oberen Schicht 1403A, die mit der ersten Sprungeinheit 1401 verbunden ist, und in die übersprungene Bilddaten und Bildformdaten eingegeben werden, eine Codiereinheit der unteren Schicht 1404, die mit der zweiten Sprungeinheit 1402 verbunden ist, in die übersprungene Daten eingegeben werden, und eine Überlagerungseinheit 1405A, die mit der Codiereinheit der oberen Schicht 1403A und der Codiereinheit der unteren Schicht 1404 verbunden ist, zum Überlagern der Bilder dieser Schichten. Eine Decodiervorrichtung 21 umfasst eine Decodiereinheit der oberen Schicht 1406, die die von der Codiervorrichtung 11 übertragenen oder gespeicherte Daten empfängt, eine Decodiereinheit der unteren Schicht 1407 und eine Überlagerungseinheit 1408, die mit der Decodiereinheit der oberen Schicht 1406 und der Decodiereinheit der unteren Schicht 1407 zum Überlagern der entsprechenden decodierten Daten verbunden ist. Das überlagerte Bild des decodierten Bildes der unteren Schicht und des decodierten Bildes der oberen Schicht, die in der Überlagerungseinheit 1408 überlagert werden, wird an einen nächsten Schritt weitergeleitet. Das in der Decodiereinheit der unteren Schicht 1407 decodierte Bild der unteren Schicht wird ebenfalls an den nächsten Schritt weitergeleitet.
In der Codiervorrichtung 11 sind die Abläufe der Abschnitte außer denen der Codiereinheit der oberen Schicht 1403A, der Überlagerungseinheit 1405A, der Decodiereinheit der oberen Schicht 1406 und der Überlagerungseinheit 1408 dieselben wie die des Standes der Technik, die unter Bezugnahme auf 26 beschrieben wurden, und deshalb wird deren Beschreibung nicht wiederholt.
Unter Bezugnahme auf 1 werden die Details der Codiereinheit der oberen Schicht 1403A und der Überlagerungseinheit 1405A beschrieben, die Hauptabschnitte der Codiervorrichtung 11 gemäß des ersten Beispiels sind. Die Codiereinheit der oberen Schicht 1403A umfasst eine Pixeldatencodiereinheit 102, die als Eingang Pixeldaten über einen Schalter 101 empfängt, eine Bereichsformcodiereinheit 103, die Bereichsformdaten empfängt, eine Multiplexereinheit 106, die Bilddaten aus der Pixeldatencodiereinheit 102 und der Bereichsformcodiereinheit 103 empfängt, eine Bereichsformdecodiereinheit 105, die mit der Bereichsformcodiereinheit 103 zum Decodieren der Bereichsform verbunden ist und eine Pixeldatendecodiereinheit 104, die mit der Pixeldatencodiereinheit 102 zum Decodieren der Pixeldaten verbunden ist.
Die Überlagerungseinheit 1405A umfasst eine erste Verzögerungseinheit 107, die mit der Bereichsformdecodiereinheit 105 verbunden ist, erste und zweite Bereichsextraktionseinheiten 109 und 110, eine zweite Verzögerungseinheit 108, die mit der ersten Verzögerungseinheit 107 verbunden ist, eine Steuereinrichtung 111, die mit der ersten und der zweiten Bereichsextraktionseinheit 109 und 110 verbunden ist, eine dritte Verzögerungseinheit 115, die mit der Pixeldatendecodiereinheit 104 verbunden ist, und eine Gewichtungsdurchschnittseinheit 114, die mit einem Schalter 112 verbunden ist, Daten von der ersten Verzögerungseinheit 107 und zur dritten Verzögerungseinheit 115. Eine Ausgabe von der Gewichtungsdurchschnittseinheit 114 wird zur Codiereinheit der oberen Schicht 1403 übertragen.
Die Überlagerungseinheit 1405A umfasst weiterhin eine vierte Verzögerungseinheit 116, die Bilder von der Codiereinheit der unteren Schicht 1404 empfängt, und eine Interpolationsbildgebungseinheit 113. Ein Ausgangssignal der vierten Verzögerungseinheit 116, das Ausgangssignal der Codiereinheit der unteren Schicht 1404 und das Ausgangssignal der Interpolationsbildgebungseinheit 113 werden durch den Schalter 112 geschaltet und mit der Gewichtungsdurchschnittseinheit 114 verbunden. Die Steuereinrichtung 111 steuert, mit welchem Ausgangssignal der Schalter 112 zu verbinden ist. Die Überlagerungseinheit 1408 der Decodiervorrichtung 21 weist die gleiche Anordnung wie die Überlagerungseinheit 1405A der Codiervorrichtung 11 auf und wirkt in der gleichen Art und Weise. Das Ausgangssignal der Gewichtungsdurchschnittseinheit 114 ist jedoch das Eingangssignal der Decodiereinheit der oberen Schicht und wird z.B. auf einer Anzeige angezeigt.
Der Betrieb des ersten Beispiels wird unter Bezugnahme auf 1 beschrieben.
Der Schalter 101 der Codiereinheit der oberen Schicht 1403A schaltet zwischen den Modi für das Codieren und Nicht-Codieren von Pixelwerten einer oberen Schicht unter der Steuerung einer nicht dargestellten Steuereinrichtung. Insbesondere wird, wenn ein unteres Vollbild, das derselben Vollbildposition wie die obere Schicht entspricht, codiert wird, der Schalter als ausgeschaltet gesteuert, so dass die Pixelwerte der oberen Schicht nicht codiert werden. Wenn das Vollbild der unteren Schicht, das derselben Vollbildposition wie die obere Schicht entspricht, nicht codiert wird, wird der Schalter als angeschaltet gesteuert, so dass die Pixelwerte der oberen Schicht codiert werden.
Wenn der Schalter 101 an ist, codiert die Pixeldatencodiereinheit 102 die Pixeldaten der oberen Schicht. Als Codierverfahren werden international standardisierte Verfahren wie z.B. MPEG oder H.261 verwendet. Zum Zeitpunkt der Codierung werden jedoch Bereichsformdaten über eine nicht dargestellte Signalleitung aus der Bereichsformdecodiereinheit 105 eingegeben, und nur die Pixeldaten in dem Bereich werden codiert. Die Bereichsformcodiereinheit 103 codiert die Bereichsform mittels der ähnlichen Funktion wie die Bereichsformcodiereinheit 806 aus 26, die unter Bezugnahme auf den Stand der Technik beschrieben wurde.
Die Pixeldatendecodiereinheit 104 decodiert die durch die Pixeldatencodiereinheit 102 codierten Pixeldaten. Hier werden wiederum Bereichsformdaten über eine nicht dargestellte Signalleitung von der Bereichsformdecodiereinheit 105 eingegeben, und eine Decodierung wird basierend auf den Daten durchgeführt. Die decodierten Pixeldaten werden in die dritte Verzögerungseinheit 115 eingegeben und über eine nicht dargestellte Signalleitung an die Pixeldatencodiereinheit zurückgeführt und für die Prädiktion verwendet.
Die Bereichsformdecodiereinheit 105 decodiert die Bereichsformdaten, die durch die Bereichsformcodiereinheit 103 codiert wurden, und gibt die decodierten Daten an die erste Verzögerungseinheit 107 aus.
Wie oben bei der Codiereinheit der oberen Schicht gemäß der vorliegenden Ausführungsform beschrieben, wird durch den Schalter 101 gesteuert, ob die obere Schicht codiert wird oder nicht.
Die Überlagerungseinheit 1405A des vorliegenden Beispiels wird im Nachfolgenden beschrieben. Die erste Verzögerungseinheit 107 verzögert die Bereichsformdaten um a Vollbilder. Die verzögerten Bereichsformdaten werden in die Gewichtungsdurchschnittseinheit 114 eingegeben. Die zweite Verzögerungseinheit 108 verzögert die Bereichsformdaten noch weiter um b Vollbilder. Die verzögerten Bereichsformdaten werden an die erste Bereichsextraktionseinheit 109 und die zweite Bereichsextraktionseinheit 110 eingegeben. Die nicht verzögerten Bereichsformdaten werden ebenfalls gleichzeitig in diese Schaltungen eingegeben. Hier stellen die Bezugszeichen t + a, t, t – b auf der Signalleitung Zeitpunkte der entsprechenden Vollbilder dar. Hier bedeuten t, a und b ganze Zahlen.
Die erste Bereichsextraktionseinheit 109 extrahiert einen zweiten Bereich und nicht einen ersten Bereich, basierend auf ersten und zweiten Bereichsdaten. Dieser Zustand wird unter Bezugnahme auf die 8A und 8B beschrieben. 8A zeigt die die Lage betreffende Beziehung der ersten und zweiten Bereichsformen, wobei die Bereichsformen gemäß der Bereichsformdaten decodiert sind. Die erste Bereichsextraktionseinheit 109 extrahiert den gerasterten Abschnitt 109A aus 8A. Die zweite Bereichsextraktionseinheit 110 extrahiert den Bereich, der dem ersten Bereich und nicht dem zweiten Bereich entspricht, basierend auf der ersten Bereichsinformation und der zweiten Bereichsinformation. In 8A wird der schraffierte Bereich 110A extrahiert.
Die Steuereinrichtung 111 steuert den Schalter 112 auf Grundlage der Ausgangssignale der ersten Bereichsextraktionseinheit 109 und der zweiten Bereichsextraktionseinheit 110. Insbesondere ist der Schalter 112, wenn die Position eines interessierenden Pixels sich nur im ersten Bereich befindet, mit der Seite des decodierten Bildes zum Vollbildzeitpunkt (t + a) verbunden, wenn die Position des interessierenden Pixels sich nur in dem zweiten Bereich befindet, ist der Schalter 112 mit der Decodierseite zum Vollbildzeitpunkt (t – b) verbunden, und ansonsten ist der Schalter 112 mit einem Ausgangssignal der Interpolationsbildgebungseinheit 113 verbunden.
Die dritte Verzögerungseinheit 115 verzögert die decodierten Bilddaten der oberen Schicht um a Vollbilder und gibt die decodierten Bilddaten zum Zeitpunkt t in die Gewichtungsdurchschnittseinheit 114 ein. Die vierte Verzögerungseinheit 116 verzögert die decodierten Bilddaten in der unteren Schicht um (a + b) Vollbilder und gibt das decodierte Bild in der Interpolationsbildgebungseinheit 113 zum Zeitpunkt (t – b) ein.
Die Interpolationsbildgebungseinheit 113 berechnet ein interpoliertes Bild aus dem decodierten Bild zum Vollbildzeitpunkt (t – b) der unteren Schicht und dem decodierten Bild zum Zeitpunkt (t + a) der unteren Schicht gemäß der Gleichung (1), die bezüglich des Standes der Technik beschrieben wurde. In der Gleichung (1) bedeutet B(x, y, t1) ein erstes decodiertes Bild, B(x, y, t2) das zweite decodierte Bild und I(x, y, t3) das interpolierte Bild. Die Bezugszeichen t1, t2 und t3 stehen für Zeitpunkte des ersten und zweiten decodierten Bildes bzw. des interpolierten Bildes. Damit gilt, wenn die Bezugszeichen aus 1 verwendet werden, t1 = t – b, t2 = t + a und t3 = t.
Wie oben beschrieben wird das Zusammensetzen der unteren Schicht durch Schalten des Schalters 112 durchgeführt. Demgemäß wird im Beispiel von 8A das zweite decodierte Bild (Vollbildzeitpunkt t + a) für den schraffierten Abschnitt verwendet, und deshalb erscheinen die Hintergrundpixel außerhalb des ausgewählten Bereichs. Für den gerasterten Abschnitt wird das erste decodierte Bild (Vollbildzeitpunkt t – b) verwendet, und deshalb erscheinen die Hintergrundpixel außerhalb des ausgewählten Bereichs. Bei anderen Abschnitten erscheint das interpolierte Bild der ersten und zweiten decodierten Bilder. Da das decodierte Bild der oberen Schicht durch die Gewichtungsdurchschnittseinheit 114 aus 1 auf der auf diese Weise zusammengesetzten unteren Schicht überlagert ist, weist das überlagerte Bild kein Nachbild um den ausgewählten Bereich herum (schraffierter Abschnitt) wie in 8B dargestellt auf, und deshalb erhält man ein Bild, das nahezu frei von jeglicher Verzerrung ist. Die in 1 dargestellte Gewichtungsdurchschnittseinheit 114 überlagert mittels Gewichtungsdurchschnitt das oben beschriebene interpolierte Bild und das decodierte Bild der oberen Schicht. Das Überlagerungsverfahren ist ähnlich zu dem Inhalt, der mit Bezug auf die Hintergrundtechnik beschrieben wurde, und deshalb wird eine Beschreibung davon nicht wiederholt.
11 ist ein Blockschaltbild, das Bestandteile der die Decodiereinheit der oberen Schicht 1406 bildenden Bestandteile der Decodiervorrichtung 21 zeigt, die in 10 dargestellt ist. Unter Bezugnahme auf 11 umfasst die Decodiereinheit der oberen Schicht 1406 eine Aufteileinheit 1501, eine Pixeldatendecodiereinheit 1502, die mit der Aufteileinheit 1501 über einen Schalter 1504 verbunden ist, und eine Bereichsformdecodiereinheit 1503, die mit der Aufteileinheit 1501 verbunden ist. Die Aufteileinheit 1501 teilt die codierten Daten der oberen Schicht in codierte Pixeldaten und in codierte Bereichsformdaten auf. Der Schalter 1504 wird bei einer Vollbildposition ausgeschaltet, wo nur die untere Schicht codiert wird, und bei einer Vollbildposition eingeschaltet, wo nur die obere Schicht codiert wird. Die Pixeldatendecodiereinheit 1502 decodiert die Pixeldaten der oberen Schicht und gibt die decodierten Pixel an die Überlagerungseinheit 1408 aus. Die Bereichsformdecodiereinheit 1503A decodiert die codierten Bereichsformdaten und gibt die decodierten Pixel an die Überlagerungseinheit 1408 aus. Die Überlagerungseinheit 1408 überlagert die obere Schicht mit der unteren Schicht mittels derselben Funktion wie die Überlagerungseinheit 1405.
(2) Zweites Beispiel
Das zweite Beispiel wird im Nachfolgenden beschrieben. Im vorliegenden Beispiel wird ein Modus vorgestellt, bei dem die Bereichsform nicht durch die Codiereinheit der oberen Schicht codiert wird, um so die Bitanzahl zum Codieren zu reduzieren. Wenn sich die Bereichsform überhaupt nicht oder kaum mit der Zeit ändert, kann die Bitanzahl signifikant reduziert werden, wenn das Verfahren des zweiten Beispiels verwendet wird.
Das zweite Beispiel ist in den 2, 10 und 12 abgebildet. 10, die unter Bezugnahme auf, das erste Beispiel verwendet wird, ist auch auf das zweite Beispiel anwendbar. Im zweiten Beispiel wird die Bildcodier- und Decodiervorrichtung durch die Codiervorrichtung 12 und die Decodiervorrichtung 22 gebildet. Die Funktionen der Codiereinheit der oberen Schicht 1403B, der Decodiereinheit 1406B, der Überlagerungseinheit 1405B und der Überlagerungseinheit 1408B aus 10 sind anders als die Funktion aus dem ersten Beispiel. Die Funktionsunterschiede werden im Nachfolgenden beschrieben.
2 ist ein Blockschaltbild, das die Anordnungen der Codiereinheit der oberen Schicht 1403B und der Überlagerungseinheit 1405B des zweiten Beispiels darstellt. Ein Schalter 201 ist Teil der Codiereinheit der oberen Schicht 1403B, eine Pixeldatencodiereinheit 203, eine Bereichsformcodiereinheit 204, eine Pixeldatendecodiereinheit 205, eine Bereichsformdecodiereinheit 206 und eine Multiplexereinheit 207 sind ähnlich zu denen der ersten Ausführungsform, und deshalb wird deren Beschreibung nicht wiederholt.
Die Schalter 202 und 208 werden durch eine nicht dargestellte Steuereinrichtung gesteuert, so dass die Schalter gleichzeitig an- und ausschalten. Wenn ein Vollbild der unteren Schicht, das derselben Vollbildposition wie die obere Schicht entspricht, codiert wird, schalten die Schalter auf an und die Bereichform der oberen Schicht wird codiert. Wenn das Vollbild der unteren Schicht, das derselben Vollbildposition wie die obere Schicht entspricht, nicht codiert wird, schalten die Schalter ab, und die Bereichsform der oberen Schicht wird nicht codiert.
Die erste Bereichsformextraktionseinheit 209 extrahiert eine erste Bereichsform basierend auf den in der Codiervorrichtung 22 erhaltenen Daten. In ähnlicher Weise extrahiert die zweite Bereichsformextraktionseinheit 210 eine zweite Bereichsform basierend auf den in der Decodiervorrichtung 22 erhaltenen Daten. Die durch die Decodiervorrichtung 22 erhaltenen Daten umfassen das decodierte Bild der unteren Schicht und die Bereichsform der oberen Schicht, wenn der Bereichsformcodiermodus an ist (Schalter 202 und 208 sind an). Obwohl in 2 nicht explizit dargestellt, werden die Daten in jede der Bereichsformextraktionseinheiten 209 und 210 eingegeben und zum Extrahieren der Bereichsform verwendet.
Die erste Bereichsextraktionseinheit 211, die zweite Bereichsextraktionseinheit 212, die Steuereinrichtung 203, der Schalter 214, die Interpolationsbildgebungseinheit 215 und die Gewichtungsdurchschnittseinheit 216 arbeiten auf ähnliche Art und Weise wie die im ersten Beispiel beschriebenen, und deshalb wird deren Beschreibung nicht wiederholt. Die Verzögerungseinheit 210 arbeitet ähnlich der vierten Verzögerungseinheit 216 aus 1.
12 ist ein Blockschaltbild, das Bestandteile der Decodiereinheit der oberen Schicht entsprechend des zweiten Beispiels zeigt. Unter Bezugnahme auf die Figur umfasst die Decodiereinheit der oberen Schicht 1406B eine Aufteileinheit 1601, in die die codierten Daten der oberen Schicht eingegeben werden, und die Pixeldatendecodiereinheit 1602 und die Bereichsformdecodiereinheit 1603, die mit der Aufteileinheit 1601 über die Schalter 1604 bzw. 1605 verbunden sind. Der Unterschied zwischen den 11 und 12 ist, dass bei der Anordnung in 12 ein Schalter 1605 vorgesehen ist. Der Schalter 1605 ist aus, wenn es keine codierten Daten des Vollbilds der unteren Schicht gibt, das derselben Vollbildposition zum Zeitpunkt des Decodierens der oberen Schicht entspricht. Weiterhin ist der Schalter 1605 einge schaltet, wenn die Vollbildposition zum Decodieren von Pixeldaten der oberen Schicht ist.
Wie oben im zweiten Beispiel beschrieben werden, wenn das Vollbild der unteren Schicht, das derselben Vollbildposition wie die obere Schicht entspricht, nicht in der Codiereinheit der oberen Schicht codiert wird, die Schalter 202 und 208 abgeschaltet, so dass die Bereichsform der oberen Schicht nicht codiert wird. Dadurch kann die Codemenge reduziert werden.
In den oben beschriebenen ersten und zweiten Beispielen wird das An-/Ausschalten der Codierung von Pixeldaten durch die Schalter 101 oder 201 geschaltet. Das Schalten wird abhängig davon durchgeführt, ob das Vollbild der unteren Schicht, das derselben Vollbildposition wie der oberen Schicht entspricht, gesteuert wird oder nicht, bestimmt durch eine in den 1 und 2 nicht dargestellte Steuereinrichtung. Die Bestimmung kann in den Codiervorrichtungen 11, 12 und Decodiervorrichtungen 21, 22 gleichzeitig durchgeführt werden. Zumindest in den Decodiervorrichtungen 21 und 22 können die Schalter jedoch geschaltet werden, ohne die Steuereinrichtung zu verwenden, die eine solche Bestimmung durchführt. Das Verfahren wird unter Bezugnahme auf 3 beschrieben.
3 ist ein Blockschaltbild, das einen Teil der Bildcodier- und -Decodiervorrichtung zeigt, in der ein Schalter geschaltet wird, ohne eine Steuereinrichtung zu verwenden. Unter Bezugnahme auf 3 umfasst eine Codiervorrichtung 12A eine erste Merkererzeugungseinheit 301 und eine erste Merkercodiereinheit 302. Ein Schalter in der Codiereinheit der oberen Schicht 303 kann in Abhängigkeit des Merkers geschaltet werden.
Die Merkererzeugungseinheit 301 bestimmt, ob das Vollbild der unteren Schicht, das derselben Vollbildposition wie die obere Schicht entspricht, codiert wird oder nicht, und erzeugt einen Merker. Die erste Merkercodiereinheit 302 codiert den ersten Merker, und die codierten Daten werden auf die codierten Daten in einer nicht dargestellten Multiplexereinheit gebündelt, um übertragen oder gespeichert zu werden. Als Codierverfahren des Merkers werden Codierung mit fester Länge, Codierung mit variabler Länge oder dergleichen verwendet.
Die erste Merkerdecodiereinheit 304 der Decodiervorrichtung 22A decodiert den ersten Merker aus den codierten Daten und gibt an die Decodiereinheit der oberen Schicht 305 aus. Zum Schalten der in der Decodiereinheit der oberen Schicht umfassten Schalter 1504 und 1604 wird die oben beschriebene Bestimmung der Schaltung nicht durchgeführt, sondern die Schalter werden gemäß des decodierten ersten Merkers geschaltet.
Die Bereichsformextraktionseinheit im zweiten Beispiel wird nun beschrieben. Hier werden die Bereichsdaten basierend auf den in der Decodiervorrichtung 22 erhaltenen Daten extrahiert. Die in der Decodiervorrichtung 22 erhaltenen Daten umfassen die decodierten Daten der unteren Schicht und die decodierten Bereichsformdaten der oberen Schicht.
4 ist ein Blockschaltbild, das eine Anordnung der Überlagerungseinheit 1408 zeigt, wenn die Bereichsform unter Verwendung der decodierten Daten der unteren Schicht extrahiert wird. In die erste Bereichsformextraktionseinheit 402 wird ein erstes decodiertes Bild der unteren Schicht eingegeben, das durch die Verzögerungseinheit 401 verzögert wird, und in die zweite Bereichsformextraktionseinheit 403 wird das decodierte Bild der unteren Schicht ohne Verzögerung eingegeben. Die Bereichsformextraktionseinheiten teilen jeweils die Bereiche der eingegebenen decodierten Bilder auf, um die Bereichsauswahl herauszuschneiden, und extrahieren Bereichsformen. Als Verfahren der Bereichsaufteilung wird ein Kantenerfassungsverfahren verwendet, das Differentialverfahren, morphologische Segmentierung oder dergleichen verwendet. Andere Abschnitte aus. 4 arbeiten in ähnlicher Weise wie in 2. Deshalb wird deren Beschreibung nicht wiederholt.
5 ist ein Blockschaltbild, das Bestandteile der Überlagerungseinheit 1408 zeigt, wenn die decodierte Bereichsform der oberen Schicht als von der Decodiervorrichtung ermittelte Daten verwendet wird. Unter Bezugnahme auf 5 umfasst die Überlagerungseinheit 1408 erste und zweite Bereichsformextraktionseinheiten 502 und 503, in die die decodierten Bereichsformen eingegeben werden, erste und zweite Bereichsextraktionseinheiten 504 und 505, die mit den ersten und zweiten Bereichsformextraktionseinheiten 502 und 503 verbunden sind, eine Steuereinrichtung 506, die mit den ersten und zweiten Bereichsextraktionseinheiten 504, 505 verbunden ist, eine Verzögerungseinheit 501 zum Verzögern des decodierten Bildes der unteren Schicht, sowie eine Interpolationsbildgebungseinheit 508, die mit der Verzögerungseinheit 501 verbunden ist. Die Überlagerungseinheit umfasst weiterhin eine Gewichtungsdurchschnittseinheit 509. Die Gewichtungsdurchschnittseinheit 509 empfängt als Eingangssignale die decodierten Bilddaten der oberen Schicht und die decodierten Bereichsformdaten und überlagert das decodierte Bild der unteren Schicht, das durch die Verzögerungseinheit 501 verzögert ist, das nicht verzögerte decodierte Bild der unteren Schicht oder das durch die Interpolationsbildgebungseinheit gebildete interpolierte Bild durch Schalten des Schalters 507 unter der Steuerung der Steuereinrichtung 506 mit den Bilddaten der oberen Schicht.
Wenn unter Bezugnahme auf 5 die Bereichsform der oberen Schicht codiert wird, werden die decodierten Daten in die ersten und zweiten Bereichsformextraktionseinheiten 502 und 503 eingegeben. Jede der Bereichsformextraktionseinheiten 502 und 503 speichert die decodierte Bereichsform und extrahiert die Bereichsform, die dem Vollbild der unteren Schicht entspricht. Unter Bezugnahme auf 9 ist z.B. ein Verfahren möglich, bei dem die Bereichsform der Vollbildposition der unteren Schicht durch affine Transformation extrahiert wird, die durch Translation, Rotation, Vergrößerung und Verkleinerung aus den decodierten Bereichsformen 1 und 2 der oberen Schichten verkörpert wird, die dem Vollbild der unteren Schicht vorangehen und nachfolgen.
Zu diesem Zweck wird zuerst eine affine Transformation von der Bereichsform 1 zur Bereichsform 2 berechnet. Insbesondere wird ein affiner Transformationsparameter, der die Bereichsform 2 durch Transformation der Bereichsform 1 annähert, berechnet. Danach wird eine affine Transformation von der Bereichsform 1 auf das Vollbild der unteren Schicht durch lineare Interpolation des Transformationskoeffizienten berechnet. Durch Verwendung der affinen Transformation kann die Bereichsform des Vollbilds der unteren Schicht berechnet werden. Anders als die affine Transformation kann die Prädiktion aus der Bereichsform 1 zur Bereichsform 2 mittels Blockabgleich durchgeführt werden, und die Bereichsform auf dem Vollbild der unteren Schicht kann durch lineare Interpolation das Ergebnis berechnet werden. Alternativ ist es möglich, die Bereichsform 1 oder 2 ohne Änderung als Bereichsform auf dem Vollbild der unteren Schicht zu verwenden.
Im zweiten Beispiel wird der Schalter 202 aus 2 für das Vollbild abgeschaltet, bei dem die untere Schicht nicht codiert wird, und der Schalter 202 wird an einer Vollbildposition angeschaltet, wo die Pixeldaten der oberen Schicht codiert werden. Eine andere Steuerung ist jedoch möglich. Zum Beispiel kann die zeitliche Veränderung der Bereichsform untersucht werden und der Schalter 202 kann ausgeschaltet werden, wenn es kaum eine Ver änderung gibt, und die Schalter können im anderen Fall angeschaltet werden. Wenn der Schalter aus ist, kann eine Kopie der Bereichsformdaten, die unmittelbar vorher codiert und decodiert wurden, als decodierte Bereichsformdaten verwendet werden.
(3) Drittes Beispiel
Das dritte Beispiel wird nun beschrieben. Im dritten Beispiel ist ein Modus vorgesehen, bei dem das Zusammensetzen der unteren Schicht, das in den ersten und zweiten Beispielen beschrieben wurde, nicht durchgeführt wird, wenn es keine decodierten Daten der unteren Schicht gibt, die der Vollbildposition der oberen Schicht zum Zeitpunkt des Decodierens der oberen Schicht entsprechen. Wenn sich z.B. die Bereichsform nicht zeitlich stark ändert, ist das bei der Hintergrundtechnik beschriebene Problem vernachlässigbar, und deshalb ist das synthetische Zusammensetzen des Vollbilds der unteren Schicht nicht notwendig. Auch wenn sich die Bereichsform signifikant ändert, kann der Modus ausgewählt werden, bei dem das synthetische Zusammensetzen der unteren Schicht nicht durchgeführt wird, um die Verarbeitungsmenge der Codiervorrichtung 13 und der Decodiervorrichtung 23, die die Bildcodier- und Decodiervorrichtung des dritten Beispiels bilden, nicht zu erhöhen. Zu diesem Zweck sind eine zweite Merkererzeugungseinheit 601 und eine zweite Merkercodiereinheit 602 bei der wie in 6 dargestellten Bildcodiervorrichtung 13 vorgesehen, und eine zweite Merkerdecodiereinheit 604 ist in der Bilddecodiervorrichtung 23 vorgesehen. In 6 sind die Bestandteile 1401, 1402, 1403, 1404, 1406 und 1407 ähnlich zu den in 10 dargestellten.
Die zweite Merkererzeugungseinheit 601 in 6 erzeugt einen Merker, der anzeigt, ob das Vollbild der unteren Schicht aufzubauen ist. Die Überlagerungseinheit 603 schaltet die Funktion zum Aufbauen und nicht Aufbauen des Vollbilds der unteren Schicht entsprechend des zweiten Merkers. Die zweite Merkercodiereinheit 603 codiert den zweiten Merker, wobei die codierten Daten mit den codierten Daten in einer nicht dargestellten Multiplexereinheit gebündelt werden, um übertragen oder gespeichert zu werden. Bezüglich des Codierverfahrens des Merkers können die Codierung mit fester Länge, die Codierung mit variabler Länge oder dergleichen verwendet werden.
Die zweite Merkerdecodiereinheit 604 in der Decodiervorrichtung 23 decodiert den zweiten Merker aus den codierten Daten und gibt an die Überlagerungseinheit 605 aus. In der Überlagerungseinheit 605 wird das Schalten entsprechend dem decodierten zweiten Merker durchgeführt, ob die untere Schicht aufzubauen ist oder nicht.
Wenn der Aufbau der unteren Schicht nicht im dritten Beispiel durchgeführt wird, wird eines des vorangehenden oder nachfolgenden Vollbilder der unteren Schicht, die in der unteren Schicht codiert und decodiert wurden, anstatt des aufgebauten Vollbildes der unteren Schicht verwendet. Die Schaltungskonfiguration in diesem Fall ist in 7 dargestellt. 7 ist ein Blockschaltbild, das einen Hauptabschnitt der Überlagerungseinheit 605 in dieser Situation zeigt. Unter Bezugnahme auf 7 umfasst die Überlagerungseinheit 605 eine Pixeldatencodiereinheit 703, die Pixeldaten über einen Schalter 701 empfängt, eine Bereichsformcodiereinheit 704, die Bereichsdaten über einen Schalter 702 empfängt, eine Pixeldatendecodiereinheit 705, die mit der Pixeldatencodiereinheit 703 und der Bereichsformcodiereinheit 704 verbunden ist, eine Multiplexereinheit 707, eine Bereichsformdecodiereinheit 706 und eine Gewichtungsdurchschnittseinheit 711, die mit der Pixeldatendecodiereinheit 705 und der Bereichsformdecodiereinheit 706 verbunden ist. Entweder die decodierten Bilddaten der unteren Schicht oder die Daten der Aufbaueinheit der unteren Schicht 709 werden über einen Schalter 710 an die Gewichtungsdurchschnittseinheit 711 eingegeben.
Die Funktion der in 7 dargestellten Schaltung wird nachfolgend beschrieben. Zuerst wird das decodierte Bild der unteren Schicht oder die durch die Aufbaueinheit der unteren Schicht 709 zusammengesetzten Vollbilder der unteren Schicht durch den Schalter 710 geschaltet und in die Gewichtungsdurchschnittseinheit 711 eingegeben. In der Aufbaueinheit der unteren Schicht 709 aus 7 wird das Vollbild der unteren Schicht gemäß dem in den ersten und zweiten Beispielen beschriebenen Verfahren zusammengesetzt. Insbesondere findet der Aufbau der unteren Schicht statt, der durch den Abschnitt durchgeführt wird, der in 1 von der strichpunktierten Linie umgeben ist. Der Schalter 710 wird auf die untere Seite geschaltet, wenn der Aufbau der unteren Schicht an ist, und wird auf die obere Seite geschaltet, wenn er aus ist, entsprechend dem zweiten Merker, der unter Bezugnahem auf 6 beschrieben wurde.
Als Codierverfahren der Bereichsform, das zum Aufbau der unteren Schicht im dritten Beispiel verwendet wird, kann das nachfolgende dienen. Insbesondere werden an der Vollbildposition der oberen Schicht, an der der Aufbau der unteren Schicht durchgeführt werden soll, Bereichsformen der unteren Schicht bei vorangehenden und nachfolgenden Vollbildpositionen an der aktuellen Vollbildposition codiert. Eine Anordnung einer Codiereinheit der oberen Schicht 606, die dieses Verfahren verwendet, ist in 13 dargestellt, und eine Anordnung der Decodiereinheit der oberen Schicht 607 ist in 14 dargestellt.
Unter Bezugnahme auf 13 umfasst die Codiereinheit der oberen Schicht 606 eine Pixeldatencodiereinheit 1701, die Pixeldaten als Eingang empfängt, eine Pixeldatendecodiereinheit 1702, die mit der Pixeldatencodiereinheit 1701 verbunden ist, eine erste Verzögerungseinheit 1703, die als Eingangdaten die Bereichsformdaten empfängt, eine zweite Verzögerungseinheit 1704, eine Bereichsformcodiereinheit 1707, die mit den ersten und zweiten Verzögerungseinheiten 1703 und 1704 verbunden ist, und eine Bereichsformdecodiereinheit 1708, die mit der Bereichsformcodiereinheit 1707 verbunden ist. Die Codiereinheit der oberen Schicht umfasst weiterhin eine dritte Merkererzeugungseinheit 1709, eine vierte Merkererzeugungseinheit 1710, eine dritte Merkercodiereinheit 1711, die Information von diesen Einheiten empfängt, eine vierte Merkercodiereinheit 1712, eine Steuereinrichtung und eine Multiplexereinheit 1714, die Daten von der Bereichsformcodiereinheit 1707 der dritten Merkercodiereinheit 1711 und der vierten Merkercodiereinheit 1712 empfängt.
Mit Bezugnahme auf 13 arbeiten die Pixeldatencodiereinheit 1701 und die Pixeldatendecodiereinheit 1702 auf die gleiche Weise wie diese des ersten Beispiels, und deshalb wird deren Beschreibung nicht wiederholt. In 13 werden die Bereichsformdaten um a Vollbilder in der ersten Verzögerungseinheit 1703 verzögert und weiterhin um b Vollbilder in der zweiten Verzögerungseinheit 1704 verzögert.
Die dritte Merkererzeugungseinheit 1709 und die vierte Merkererzeugungseinheit 1710 erzeugen die dritten bzw. vierten Merker. Der dritte Merker zeigt an, ob die Bereichsform (mit Bereichsform 2 bezeichnet) zum Vollbildzeitpunkt t + a zu codieren ist. Der vierte Merker zeigt an, ob die Bereichsform (hierin nachfolgend mit Bereichsform 1 bezeichnet) zum Vollbildzeitpunkt t – b zu codieren ist oder nicht. Die Steuereinrichtung 1713 steuert die Schalter 1705 und 1706 je nach den Eingangssignalen der dritten und vierten Merker.
Insbesondere wird, wenn der dritte Merker das Codieren der Bereichsform anzeigt, der Schalter 1705 angeschaltet, und andernfalls wird der Schalter 1705 abgeschaltet. Wenn der vierte Merker das Codieren der Bereichsform anzeigt, wird der Schalter 1706 eingeschaltet und sonst wird der Schalter 1706 abgeschaltet. Die dritten und vierten Merkercodiereinheiten führen die Codierung der dritten bzw. vierten Merker durch. Bezüglich der Merkercodierverfahren kann eine Codierung mit fester Länge, Codierung mit variabler Länge oder dergleichen verwendet werden.
Die Bereichsformcodiereinheit 1707 codiert die Bereichsform zu einem Vollbildzeitpunkt, wenn die Bereichsform eingegeben wird, und gibt codierte Daten aus. Die Bereichsformdecodiereinheit 1708 decodiert die codierten Daten der Bereichsform und überträgt die decodierte Bereichsform zur Überlagerungseinheit. Hier wird eine Anordnung für die Überlagerungseinheit verwendet, wie sie in 1 dargstellt ist. Die ersten und zweiten Verzögerungseinheiten 107 und 108 aus 8 werden jedoch nicht verwendet. Die decodierten Daten der Bereichsform 1 werden in die erste und zweite Bereichsextraktionseinheiten 109 und 110 der Überlagerungseinheit eingegeben und in gleicher Weise werden die decodierten Daten der Bereichsform 2 in die ersten. und zweiten Bereichsextraktionseinheiten 109 und 110 eingegeben. Im Gegensatz dazu werden die decodierten Daten der Bereichsform, die dem Vollbildzeitpunkt t entsprechen, in die Gewichtungsdurchschnittseinheit 114 eingegeben.
Die Schalter 1705 und 1706 werden gesteuert, um die folgenden drei Kombinationen zu erzielen. Und zwar beide Schalter auf an, beide Schalter auf aus und Schalter 1705 an und 1706 aus. Wenn der Aufbau der unteren Schicht zum ersten Mal durchgeführt werden soll, wird die Steuerung derart durchgeführt, dass beide Schalter angeschaltet werden, wodurch die Bereichsformen zu den vorangehenden und nachfolgenden Vollbildpositionen, d.h. Bereichsformen 1 und 2 codiert/decodiert werden, wobei die decodierten Bereichsformen in die ersten und zweiten Bereichsextraktionseinheiten 109 und 110 eingegeben werden. Wenn die Bereichsformen, die dieselben sind wie die, die für den vorherigen Aufbau der unteren Schicht verwendet wurden, als Bereichsformen 1 und 2 verwendet werden sollen, wird die Steuerung so durchgeführt, dass beide Schalter abgeschaltet sind. In dem Fall werden die Bereichsformen 1 und 2, die für den Aufbau der unteren Schicht verwendet wurden, in die ersten und zweiten Bereichsextraktionseinheiten 109 und 110 aus einem nicht dargestellten Speicher eingegeben.
Wenn die Bereichsform 2, die für den letzten Aufbau der unteren Schicht verwendet wurde, als Bereichsform 1 für den aktuellen Aufbau der unteren Schicht verwendet werden soll und die neue Bereichsform als Bereichsform 2 für den aktuellen Aufbau verwendet werden soll, wird die Steuerung durchgeführt, so dass Schalter 1705 an- und 1706 ausgeschaltet ist. In diesem Fall wird die Bereichsform 2, die für den letzten Aufbau der unteren Schicht verwendet wurde, als Bereichsform für den aktuellen Aufbau aus einem nicht dargestellten Speicher in die ersten und zweiten Bereichsextraktionseinheiten 109 und 110 eingegeben. Die dieses Mal neu codierte/decodierte Bereichsform 2 wird in die ersten und zweiten Bereichsextraktionseinheiten 109 und 110 eingegeben.
Die Pixeldaten zum Vollbildzeitpunkt t + a, die durch die Pixeldatendecodiereinheit 1702 aus 13 decodiert wurden, werden um a Vollbilder bei der dritten Verzögerungseinheit 115 in der Überlagerungseinheit 1405A aus 1 verzögert, und anschließend in die Gewichtungsdurchschnittseinheit 114 eingegeben. Die Multiplexereinheit 1714 aus 13 bündelt die Bereichsformdaten und die codierten Daten der dritten bzw. der vierten Merker und gibt sie als codierte Daten der oberen Schicht, aus.
Die Decodiereinheit der oberen Schicht 607 zum Decodieren der oben beschriebenen codierten Daten der oberen Schicht wird im Nachfolgenden. unter Bezugnahme auf 14 beschrieben. Mit Bezugnahem auf 14 umfasst die Decodiereinheit der oberen Schicht 607 eine Aufteileinheit 1801, in die die codierten Daten der oberen Schicht eingegeben werden, eine Pixeldatendecodiereinheit 1802, die mit der Aufteileinheit 1801 verbunden ist und die Daten von der Aufteileinheit 1802 empfängt, eine Bereichsformdecodiereinheit 1803, dritte und vierte Merkerdecodiereinheiten 1804 und 1805, eine erste Verzögerungseinheit 1806, die mit der Bereichsformdecodiereinheit 1803 verbunden ist, eine Steuereinrichtung 1810 zum Steuern der Schalter 1808 und 1809 basierend auf den Daten aus den dritten und vierten Merkerdecodiereinheiten 1804 und 1805, sowie eine zweite Verzögerungseinheit 1807, die mit der ersten Verzögerungseinheit 1806 verbunden ist.
Bezug nehmend auf 14 teilt die Aufteileinheit 1801 die codierten Daten der oberen Schicht in codierte Daten der Pixeldaten, der Bereichsform und der dritten und vierten Merker auf. Die Pixeldatendecodiereinheit 1802, die Bereichsformdecodiereinheit 1803, die erste Verzögerungseinheit 1806, die zweite Verzögerungseinheit 1807 und die Schalter 1808 und 1809 funktionieren auf die gleiche Weise wie die in 13 dargestellten, und deshalb wird deren Beschreibung hier nicht wiederholt.
Die dritten und vierten Merkerdecodiereinheiten aus 14 decodieren die dritten bzw. vierten Merker und liefern diese an die Steuereinrichtung 1810. Die Steuereinrichtung 1810 steuert die beiden Schalter auf gleiche Weise wie die Steuereinrichtung 1713 aus 13, und steuert zusätzlich die Aufteileinheit 1801 und die Aufnahme der decodierten Daten der Bereichsformen. Insbesondere steuert, wenn der dritte Merker anzeigt, dass die Bereichsform 1 codiert worden ist, die Steuereinrichtung derart, dass die Daten der Bereichsform 1 von den codierten Daten der oberen Schicht abgetrennt werden, und dass andernfalls die Daten der Bereichsform 1 nicht von den codierten Daten der oberen Schicht abgetrennt werden, da es keine Daten der Bereichsform 1 gibt.
Die gleiche Steuerung wird in der Aufteileinheit 1801 hinsichtlich des vierten Merkers durchgeführt. Es gibt drei Kombinationen der Aus-/Anschaltung der beiden Schalter, wie in der Codiereinheit der oberen Schicht 606 aus 13. Die Funktionen für die entsprechenden Kombinationen sind die gleichen wie die unter Bezugnahme auf 13 beschriebenen.
Auf diese Weise können im dritten Beispiel als ein Codierverfahren von Bereichsformen, die zum Aufbau der unteren Schicht verwendet werden, an einer Vollbildposition der oberen Schicht, wo der Aufbau der unteren Schicht durchgeführt werden soll, Bereichsformen der unteren Schicht der vorangehenden und nachfolgenden Vollbildpositionen bei der aktuellen Vollbildposition codiert werden.
In den oben beschriebenen Beispielen wird das Bild, das durch Überlagern des Vollbilds der unteren Schicht mit dem Vollbild der oberen Schicht vorbereitet wurde, zurück zur Codiereinheit der oberen Schicht wie in 10 der Codiervorrichtung dargestellt zurückgeführt und zum prädiktiven Codieren der oberen Schicht verwendet. In der Bilddecodiervorrichtung wird es zum prädiktiven Codieren der oberen Schicht verwendet und zusätzlich auf einer Anzeige angezeigt. Das überlagerte Bild kann jedoch ausschließlich zur Anzeige verwendet werden.
Insbesondere ist in der Codiervorrichtung die Überlagerungseinheit des vorliegenden Beispiels nicht vorgesehen, und das decodierte Bild der oberen Schicht wird direkt in die Codiereinheit der oberen Schicht zurückgeführt, um für das prädiktive Codieren verwendet zu werden. In der Decodiervorrichtung wird das decodierte Bild der oberen Schicht direkt in die Decodiereinheit der oberen Schicht zurückgeführt, um für die Prädiktion verwendet zu werden und darüber hinaus als Eingangssignal in die Überlagerungseinheit, wobei das Ausgangssignal der Überlagerungseinheit beispielsweise auf einer Anzeige angezeigt wird.
In den oben beschriebenen Beispielen wurde das Codieren der Bereichsform beschrieben, das einen 8-direktionalen Quantisierungscode verwendet. Es können jedoch andere Formcodierungsverfahren verwendet werden.
(4) Erste Ausführungsform
15 ist ein Blockschaltbild, das einen Hauptabschnitt der Bildcodiervorrichtung und der Decodiervorrichtung gemäß der ersten Ausführungsform zeigt. In der Ausführungsform wird eine Vielzahl von Einzelbildern verarbeitet. Unter Bezugnahme auf 15 werden decodierte Bilddaten zwischen einer Vielzahl von Einzelbildcodiereinheiten ausgetauscht. Z.B. ist es für die zweite Einzelbildcodiereinheit 152 möglich, decodierte Bilddaten der ersten Einzelbildcodiereinheit 151 zu verwenden. In gleicher Weise ist es für die dritte Einzelbildcodiereinheit 153 möglich, die decodierten Bilddaten der zweiten Einzelbildcodiereinheit zu verwenden. Der Einfachheit halber sind in 15 die decodierten Bilddaten als Referenz lediglich durch angrenzende Einzelbildcodiereinheiten dargestellt. Es ist jedoch eigentlich möglich, sich auf die Daten von entfernt liegenden Einzelbildcodiereinheiten zu beziehen.
Eine Referenzbild-Kennzeichnungsnummer-Erzeugungseinheit 154 aus 15 erzeugt ein Signal, das auf einen Kennzeichnungsnummer r des zu bezeichnenden Einzelbildes hinweist. Dieses kann automatisch erzeugt werden oder durch eine Benutzerangabe.
22 zeigt ein Beispiel der Anordnung der Referenzbild-Kennzeichnungsnummer-Erzeugungseinheit. Eine Vollbildnummer- Vergleichereinheit 1001 liest eine Einzelbildnummer und eine in einem Speicher 1002 gespeicherte Vollbildnummer ein und vergleicht mit einer eingegebenen Vollbildnummer, um die Referenzbild-Kennzeichnungsnummer zu erzeugen.
In der Vollbildnummer-Vergleichereinheit 1001 wird die Vollbildnummer des eingegebenen Bildes mit der Vollbildnummer jedes der Einzelbilder verglichen, die bereits codiert wurden, und die Einzelbildnummer, zu der ein mit einem nächsten Schlüssel codiertes Vollbild gehört, wird als Referenzbild-Kennzeichnungsnummer r ausgegeben. Wenn eine Vielzahl von mit dem nächsten Schlüssel codierten Vollbildern vorliegt, wird das mit der größeren Einzelbildnummer als Referenzbild-Kennzeichnungsnummer r ausgegeben. Es wird die Funktion beschrieben, die die Referenzbild-Kennzeichnungsnummer verwendet. 23 zeigt Einzelbilder und die Abbildungsbeziehung ihrer Bewegungsprädiktion. Tabelle 1 zeigt die Beziehung zwischen den Einzelbildnummern, Vollbildnummern und den Referenzbild-Kennzeichnungsnummern r. Unter Bezugnahme auf 23 ist ein Bild mit der Einzelbildnummer 1 (Einzelbild 1) ein Bewegtbild einschließlich eines Objekts (gerasterter Bereich) und eines Hintergrunds. Ein Bild mit der Einzelbildnummer 2 (Einzelbild 2) ist ein Bewegtbild von beliebiger Form, das lediglich den Objektbereich des Einzelbildes 1 enthält. Mit Bezug auf 23 werden die Vollbildnummern 1, 10, 20, ... des Einzelbilds 1 codiert, während die Vollbildnummern 1, 3, 10, 13, 15, ... des Einzelbilds 2 codiert werden. Die Pfeile stellen die Abbildungsbeziehung für die Bewegungskompensationsprädiktion dar.
Tabelle 1 zeigt Beispiele der Referenzbild-Kennzeichnungsnummer r, wenn das Vollbild jedes Einzelbilds codiert wird. Für die Codierung des Einzelbildes 1 gibt es kein anderes Einzelbild, das bereits codiert wurde, und deshalb ist die Referenzbildnummer immer die Nummer des Einzelbilds, das codiert wird, d.h. 1. Hier ist Vollbild 1 (Kopfvollbild) der Codierung innerhalb des Vollbilds ausgesetzt, und deshalb wird r nicht erzeugt. Die Einzelbildnummer und die Vollbildnummer werden im Speicher 1002 gespeichert.
Für das Einzelbild 2, wird 1 oder 2 als Referenzbildnummer r verwendet. Wenn das Vollbild 1 des Einzelbilds 2 eingegeben wird, vergleicht die Vollbildnummer-Vergleichereinheit 1001 die aus dem Speicher 1002 gelesene Vollbildnummer mit der aktuellen Vollbildnummer und betrachtet das Vollbild 1 des Einzelbilds 1, dass das nächste Vollbild ist, als Referenzbild zur Prädiktion. Demgemäß gibt die Vollbildnummer-Vergleichereinheit 1001 die Einzelbildnummer 1 des Einzelbilds 1 als Referenzbild-Kennzeichnungsnummer aus. Der Speicher 1002 speichert die Einzelbildnummer 2 und die Vollbildnummer 1.
Wenn das Vollbild 3 des Einzelbilds 2 eingegeben wird, vergleicht die Vollbildnummer-Vergleichereinheit 1001 die Vollbildnummer 1 (Einzelbild 1), die vom Speicher 1002 gelesen wurde, mit der Vollbildnummer 1 (Einzelbildnummer 2). Da die Vollbildnummer des Einzelbilds 2 dieselbe ist wie die Vollbildnummer des Einzelbilds 1, wird 2 als Referenzbild-Kennzeichnungsnummer r ausgegeben. Für das Vollbild 10 werden die Vollbildnummer 10 (Einzelbild 1) und die Vollbildnummer 3 (Einzelbild 2) verglichen, und da die Vollbildnummer 10 (Einzelbild 1) näher am Vollbild 10 liegt, wird 1 als Referenzbild-Kennzeichnungsnummer r ausgegeben. Danach werden die Referenzbild-Kennzeichnungsnummern r wie in Tabelle 1 dargestellt auf die gleiche Art und Weise ausgegeben.
Tabelle 1
Eine ausführliche Beschreibung wird im Nachfolgenden angegeben. Beispielsweise wird unter der Annahme, dass das Einzelbild 1 ein Hintergrundbild ist und wenn dieses unabhängig zu codieren ist, die Referenzbild-Kennzeichnungsnummer r auf 1 gesetzt. Mit anderen Worten wird als Referenzbild für das prädiktive Codieren ein Bild verwendet, das bereits aus demselben Einzelbild codiert und decodiert wurde. In gleicher Weise ist das Einzelbild 2 ein Einzelfigurenbild (Einzelbild, in dem nur die Figur ausgeschnitten ist) von geringer Bildqualität, und wenn dies unabhängig codiert werden soll, wird die Referenzbild-Kennzeichnungsnummer r auf 2 gesetzt. Das Einzelbild 3 ist ein Figurenbild von hoher Qualität, und wenn dieses während der Prädiktion basierend auf dem Bild unter Verwendung der decodierten Pixel des Einzelbilds 2 zu codieren ist, wird dann die Referenzbild-Kennzeichnungsnummer r auf 2 gesetzt. Diese Kennzeichnungsnummern werden in der Einzelbildcodiereinheit 151, 152, ... codiert.
Im oben erwähnten Beispiel wird das Einzelbild 2 als ein Figurenbild von geringer Bildqualität bezeichnet und das Einzelbild 3 ist ein Figurenbild von hoher Bildqualität. Die Bildqualität bedeutet hier räumliche Auflösung, Anzahl der Quantisierungsstufen, Vollbildrate usw. des Einzelbildes. Obwohl die Einzelbilder 2 und 3 im Kontext dieselben sind, weisen die Bilder unterschiedliche Bildqualitäten auf wie z.B. unterschiedliche Vollbildrate oder unterschiedliche räumliche Auflösung. Deshalb werden, wenn Einzelbild 1 und Einzelbild 2 decodiert werden, ein Hintergrund und ein Figurenbild von geringer Bildqualität abgebildet. Hier weist das Figurenbild eine geringe Auflösung mit groben Kanten auf oder es kann eine niedrige Vollbildrate mit seltsamer Bewegung aufweisen. Es kann jedoch von ausreichender Bildqualität sein, um in einem Verarbeitungsschritt der Videobildbearbeitung verwendet zu werden. Wenn Einzelbild 3 zu decodieren ist, wird das Einzelbild 3 von hoher Bildqualität decodiert, wobei man sich auf das decodierte Bild des Einzelbilds 2 bezieht, auf das mit dem Kennzeichnungssignal hingewiesen wird. Demgemäß wird die räumliche Auflösung des Figurenbildes z.B. verbessert, wobei der Kantenabschnitt geglättet wird oder die Vollbildrate erhöht wird und die Bewegung der Figur verbessert wird, um glatt zu wirken.
In der vorliegenden Ausführungsform weist das Einzelbild als Ganzes des Figurenbildes eine Bildqualitätshierarchie auf. Lediglich ein Teil des Einzelbildes kann jedoch die Bildqualitätshierarchie aufweisen. Z.B. ist es möglich, solch eine hierarchische Eigenschaft bereitzustellen, die die Bildqualität lediglich des Kopfbereichs eines Figurenbildes verbessert.
Im Nachfolgenden wird die Multiplexereinheit 155 beschrieben. Die Multiplexereinheit 155 führt einen Vorgang zum Korrigieren einer Vielzahl von codierten Datenmengen, die getrennt durch die erste Einzelbildcodiereinheit 151, die zweite Einzelbildcodiereinheit 153, die dritte Einzelbildcodiereinheit 153, ... gebildet wurden, in eine einzige codierte Datenmenge durch. Die in der Multiplexereinheit 155 zu einer Datenmenge zusammengefügten codierten Daten werden der Decodiervorrichtung 24 zugeführt und durch die Demultiplexereinheit 156 aus 15 in getrennte codierte Daten aufgeteilt (die codierten Daten des ersten Teilbildes, die codierten Daten des zweiten Teilbildes, die codierten Daten des dritten Teilbildes, ...). In der zweiten Einzelbilddecodiereinheit 158 wird beispielsweise der Decodierprozess unter Verwendung der decodierten Bilddaten der ersten Teilbilddecodiereinheit 157 durchgeführt. In gleicher Weise wird in der dritten Teilbilddecodiereinheit 159 der Decodierprozess unter Verwendung der decodierten Bilddaten der zweiten Einzelbilddecodiereinheit 158 durchgeführt.
Der Einfachheit halber wird in 15 die Beschreibung gegeben, da die codierten Bilddaten durch angrenzende Einzelbilddecodiereinheiten gekennzeichnet sind. Eigentlich können wie in der Einzelbildcodiereinheit die Daten von entfernt liegenden Einzelbilddecodiereinheiten gekennzeichnet sein. Die Vielzahl von hier decodierten Einzelbildern wird hier durch eine nicht dargestellte Aufbaueinheit entsprechend der Bildqualität gemäß der Anforderung des Benutzers zusammengesetzt und als ein reproduziertes Bild angezeigt. Dadurch kann der Benutzer durch Verändern der zu kombinierenden Einzelbilder die Bildqualität des anzuzeigenden reproduzierten Bildes verändern.
16 ist ein Blockschaltbild, das Bestandteile z.B. der ersten Einzelbildcodiereinheit 151 zeigt, innerhalb der ersten bis dritten Einzelbildcodiereinheiten 151 bis 153. Die Einzelbildcodiereinheit 151 führt eine Codierung unter Verwendung einer Bewegungskompensationsprädiktion und einer orthogonalen Transformation durch, die sehr allgemein als Codierverfahren verwendet werden. Das Merkmal der Ausführungsform der vorliegenden Erfindung liegt darin, dass die decodierten Bilder einer Vielzahl von unterschiedlichen Einzelbildern in einer Vielzahl von Vollbildspeichern gespeichert werden und dass das Referenzbild zur Bewegungskompensationsprädiktion gemäß der Kennzeichnungsnummer geschaltet wird.
Die Funktionsweise der Einzelbildcodiereinheit 151 wird im Detail unter Bezugnahme auf 16 beschrieben. Ein Eingangseinzelbild wird von einem Prädiktionsbild abgezogen, das ein Ausgangssignal einer Bewegungskompensationsprädiktionseinheit 251 ist, und wird in eine orthogonale Transformationseinheit 252 eingegeben. Für die orthogonale Transformation werden die diskrete Cosinustransformation (DCT), die diskrete Fouriertransformation oder dergleichen verwendet. Ein Transformationskoeffizient, der ein Ausgangssignal von der orthogonalen Transformationseinheit 252 ist, wird in einer Quantisierungseinheit 253 eingegeben, quantisiert und einer Codier einheit vom Typ variable Länge zugeführt und in eine inverse Quantisierungseinheit 254 eingegeben.
Der Transformationskoeffizient, der in der inversen Quantisierungseinheit 254 der inversen Quantisierung unterzogen wird, wird in einer inversen orthogonalen Transformationseinheit 255 in Differenzdaten transformiert. Durch Mittlung der Summe der Differenzdaten und der Prädiktionsdaten erhält man das decodierte Bild. Das decodierte Bild wird in einem ersten Vollbildspeicher 258 gespeichert und für die nächste Prädiktion verwendet.
Der zweite Vollbildspeicher 259 bis zum N-ten Vollbildspeicher 260 speichern die decodierten Bilder der anderen Einzelbilder. Hier ist N eine natürliche Zahl nicht kleiner als 2. Eine Referenzbild-Kennzeichnungsnummer-Codiereinheit 256 codiert die Kennzeichnungsnummer r, die durch die Referenzbild-Kennzeichnungsnummer-Erzeugungseinheit 154 erzeugt wurde. Die codierten Daten werden in einem nicht dargestellten Datenaufbauabschnitt in die codierten Daten eingebracht zusammen mit den Daten, die der Codierung mit variabler Länge unterworfen sind.
Hier kann hinsichtlich des Codierverfahrens der Referenzbild-Kennzeichnungsnummer r r ständig unter der Verwendung von Codierung mit fester Länge, variabler Länge oder dergleichen codiert werden.
Als weiteres Codierverfahren der Referenzbild-Kennzeichnungsnummer r ist ein Verfahren möglich, bei dem nur ein 1-Bit-Signal s codiert wird, das angibt, ob das Einzelbild unabhängig zu codieren ist oder nicht, wenn die Kennzeichnungsnummer r die Nummer des Einzelbilds darstellt, das momentan codiert wird, und andernfalls werden sowohl das 1-Bit-Signal s und die Kennzeichnungsnummer r codiert.
Wenn z.B. das Teilbild 1 ein Hintergrundbild ist und es unabhängig zu codieren ist, wird das Signal s zu 0 codiert, und die Kennzeichnungsnummer r wird nicht codiert. In gleicher Weise wird, wenn das Teilbild 2 ein Figurenbild von geringer Bildqualität ist und es nicht unabhängig zu codieren ist, das Signal s zu 0 codiert, und die Kennzeichnungsnummer r wird nicht codiert. Als nächstes wird, wenn das Teilbild 3 ein Figurenbild von hoher Bildqualität und während der Prädiktion basierend auf dem decodierten Bild des Teilbilds 2 zu codieren ist, das Signal s zu 1 codiert und die Kennzeichnungsnummer r wird zu 2 codiert.
17 ist ein Blockschaltbild, das eine Anordnung eines Einzelbildcodiermerkergenerators 271 zum Erzeugen eines Merkers darstellt, der zum Codieren anzeigt, ob das zuvor erwähnte Einzelbild unabhängig zu codieren ist. Es soll an die Stelle der Kennzeichnungsnummer-Codiereinheit 256 des Referenzbilds, dargestellt in 16, treten. Unter Bezugnahme auf 17 umfasst der Einzelbildcodiermerkergenerator 271 eine Vergleichereinheit 351, die die Referenzbild-Kennzeichnungsnummer und eine Kennzeichnungsnummer eines Einzelbilds empfängt, das gerade codiert wird, einen Merkergenerator 352, der mit der Vergleichereinheit 351 verbunden ist, und eine Merkercodier- und Referenzbild-Kennzeichnungsnummer-Codiereinheit 353, die als Eingangssignal die Referenzbild-Kennzeichnungsnummer und das Ausgangssignal der Merkergeneratoreinheit 352 empfängt. Die Vergleichereinheit 351 vergleicht die Kennzeichnungsnummer des Einzelbilds, das gerade codiert wird, mit der Kennzeichnungsnummer des Referenzbildes. Der Merkergenerator 352 gibt einen Aus-Merker aus, wenn die Kennzeichnungsnummern des Teilbildes, das gerade codiert wird, dieselbe ist wie die Kennzeichnungsnummer des Referenzbildes, und gibt einen An-Merker aus, wenn die Kennzeichnungsnummern unterschiedlich sind, basierend auf dem Ergebnis des Vergleichs der Vergleichereinheit 351. Die Merkercodier- und Referenzbild-Kennzeichnungsnummer-Codiereinheit 353 codiert den vom Merkergenerator 352 ausgegebenen Merker und die Referenzbild-Kennzeichnungsnummer. In der Merkercodier- und Referenzbild-Kennzeichnungsnummer-Codiereinheit 353 wird, wenn der Merker auf aus steht, nur der Merker codiert, und wenn der Merker auf an steht, werden sowohl der Merker als auch die Referenzbild-Kennzeichnungsnummer codiert. Das Codieren der Referenzbild-Kennzeichnungsnummer wird auf die gleiche Art und Weise wie in der Referenzbild-Kennzeichnungsnummer-Codiereinheit 256 durchgeführt, die unter Bezugnahme auf 16 beschrieben wurde.
Als weiteres Codierverfahren der Referenzbild-Kennzeichnungsnummer r wird, wenn die Kennzeichnungsnummer r sich gegenüber dem vorherigen Vollbild nicht ändert, ein 1-Bit-Signal t auf 0 codiert, und anderenfalls wird das 1-Bit-Signal t auf 1 und die Kennzeichnungsnummer r codiert. Hier zeigt das Signal t an, ob die Kennzeichnungsnummer r sich gegenüber dem vorherigen Vollbild geändert hat. Wenn das erste Vollbild jedes Einzelbildes zu codieren ist, wird die Nummer des Einzelbildes auf die Referenz-Kennzeichnungsnummer des vorherigen Vollbildes eingestellt. Auf diese Wei se wird, wenn die Kennzeichnungsnummer r sich in einer Folge von Einzelbildern nicht ändert, das zu codierende immer das 1-Bit-Signal t sein und dadurch wird ein effizientes Codieren möglich.
18 ist ein Blockschaltbild, das eine Anordnung eines Referenzbild-Kennzeichnungsnummern-Transformations-Merkergenerators 272 zum Generieren und Codieren eines Flags zeigt, der anzeigt, ob die zuvor erwähnte Änderung der Referenzbild-Kennzeichnungsnummer vorliegt. Dieser dient ebenfalls dazu, die Referenzbild-Kennzeichnungsnummer-Codiereinheit 256, dargestellt in 16, zu ersetzen. Unter Bezugnahme auf 18 umfasst der Merkergenerator 272, der das Vorhandensein/Nicht-Vorhandensein der Änderung der Referenzbild-Kennzeichnungsnummer anzeigt, eine Vergleichereinheit 451 und einen Speicher 454, in die die Referenzbild-Kennzeichnungsnummer eingegeben wird, eine Merkergeneratoreinheit 452, die mit der Vergleichereinheit 451 verbunden ist sowie eine Merkercodier- und Referenzbild-Kennzeichnungsnummer-Codiereinheit 453, in die das Ausgangssignal der Merkergeneratoreinheit 452 und die Referenzbild-Kennzeichnungsnummer eingegeben werden.
Der Speicher 454 speichert die Referenzbild-Kennzeichnungsnummer. Die Vergleichereinheit 451 vergleicht die Referenzbild-Kennzeichnungsnummer des vorliegenden Vollbilds mit der Kennzeichnungsnummer des Referenzbilds des vorangehenden Vollbilds. Die Merkergeneratoreinheit 452 gibt einen Aus-Merker aus, wenn die Kennzeichnungsnummern des vorliegenden Vollbilds und des vorhergehenden Vollbild identisch sind, und gibt einen An-Merker aus, wenn die Kennzeichnungsnummern basierend auf dem Ergebnis der Vergleichereinheit 451 unterschiedlich sind. Die Merkercodier- und Referenzbild-Kennzeichnungsnummer-Codiereinheit 453 codiert den durch die Merkergeneratoreinheit 452 erhaltenen Merker und die Referenzbild-Kennzeichnungsnummer.
In der Merkercodier- und Referenzbild-Kennzeichnungsnummer-Codiereinheit 453 wird, wenn der Merker auf aus steht, lediglich der Merker codiert, und wenn der Merker auf an steht, werden sowohl der Merker als auch die Referenzbild-Kennzeichnungsnummer codiert. Was das Codieren der Referenzbild-Kennzeichnungsnummer betrifft, wird es in ähnlicher Weise wie in der Referenzbild-Kennzeichnungsnummercodiereinheit 256 durchgeführt, die oben unter Bezugnahme auf 16 beschrieben wurde.
In 16 steuert die Steuereinrichtung 257 einen Schalter 263 zur Auswahl eines Vollbildspeichers basierend auf der Referenzbild-Kennzeichnungsnummer r. Die Bewegungskompensationsprädiktionseinheit 251 bildet ein Prädiktionsbild aus dem Referenzbild. Z.B. wird durch Blockabgleich der Bewegungsvektor für jeden Block detektiert und durch den detektierten Bewegungsvektor wird die Bewegungskompensation durchgeführt.
Wenn das Einzelbild einer Codierung innerhalb des Vollbilds unterzogen werden soll, wird die Differenz zwischen dem Eingangssignalbild und dem Prädiktionsbild nicht durch einen Subtrahierer 261 ermittelt, und die Summe des Ausgangs der inversen orthogonalen Transformationseinheit 255 und dem Vorhersagebild wird auch nicht in einem Addierer 262 ermittelt. Obwohl in 16 nicht explizit dargestellt, werden die Daten, die Form, Position usw. des Einzelbilds darstellen, getrennt codiert.
Die Form oder Position des Einzelbilds wird durch Darstellung von Konturpixeln der Form beispielsweise mittels eines Kettencodes codiert. 24 zeigt ein Beispiel. Hier stellt der schraffierte Bereich einen Einzelbildbereich dar und der Pfeil stellt einen Verzögerungscode dar, der ein Konturpixel der Form anzeigt. Die Position des Einzelbildes wird durch die Positionskoordinaten eines Pixels (hier das Pixel mit den Koordinaten (4, 1)), das den Startpunkt eines Kettencodes bildet. Der Kettencode wird durch Zuweisen der Werte 0 bis 7 auf die in 25 dargestellten Pfeile in acht Richtungen codiert.
19 ist ein Blockschaltbild, das ein Beispiel der Einzelbilddecodiereinheiten 157, 158, ... zeigt. Die Bewegungskompensationsprädiktionseinheit 551, die inverse Quantisierungseinheit 552, die inverse orthogonale Transformationseinheit 553, die Steuereinrichtung 555, ein erster Vollbildspeicher 556, der zweite Vollbildspeicher 557 bis zum N-ten Vollbildspeicher 558, der Addierer 559 und der Schalter 560 funktionieren auf die gleiche Art und Weise wie die in 16 dargestellten.
Die codierten Daten werden in die mit variabler Länge codierten Daten des orthogonalen Transformationskoeffizienten, die codierten Daten der Referenzbild-Kennzeichnungsnummer usw. in einer nicht dargestellten Datenaufteileinheit aufgeteilt. Die orthogonalen Transformationskoeffizientendaten, die in einer Decodiereinheit mit variabler Länge decodiert wurden, werden der inversen Quantisierung in der inversen Quantisierungseinheit 552 unterzogen. Der Transformationskoeffizient, der der inversen Quantisierung unterzogen wurde, wird der inversen orthogonalen Transformation in der inversen orthogonalen Transformationseinheit 553 unterzogen.
Die Daten, die der inversen orthogonalen Transformation unterzogen wurden, werden zur Vorhersagebildausgabe der Bewegungskompensationsprädiktionseinheit 551 bei einer Addierereinheit 559 addiert, und das decodierte Bild wird gebildet. Das decodierte Bild wird in dem ersten Vollbildspeicher 556 gespeichert, um für die nächste Vorhersage verwendet zu werden und ausgegeben, um mit anderen decodierten Einzelbildern aufgebaut und z.B. auf einer Anzeige angezeigt zu werden.
Die Referenzbild-Kennzeichnungsnummer-Decodiereinheit 554 decodiert die Referenzbild-Kennzeichnungsnummer r und gibt die Kennzeichnungsnummer r in die Steuereinrichtung 555 ein. Die Steuereinrichtung 555 steuert den Schalter 560 zur Auswahl eines Vollbildspeichers basierend auf der Kennzeichnungsnummer r. Die decodierten Bilder von anderen Einzelbildern werden im zweiten Vollbildspeicher 557 bis zum N-ten Vollbildspeicher 558 gespeichert.
Die Funktion der Referenzbild-Kennzeichnungsnummer-Decodiereinheit 554 wird nun beschrieben. In der Decodiervorrichtung wird die Kennzeichnungsnummer r, wenn die Kennzeichnungsnummer r immer codiert wird, z.B. mittels Codieren mit variabler Länge decodiert. Wenn die Kennzeichnungsnummer r in der Codiervorrichtung zusammen mit dem 1-Bit-Signal s codiert wird, das anzeigt, ob das Einzelbild unabhängig zu codieren ist oder nicht, dann wird zuerst das Signal s decodiert. Wenn das Signal s 0 ist, wird angenommen, dass das Einzelbild unabhängig codiert ist, ungeachtet anderer Einzelbilder. Wenn das Signal s 1 ist, wird die Kennzeichnungsnummer r auf die Nummer des Einzelbilds eingestellt, das momentan decodiert wird. Andernfalls wird die Kennzeichnungsnummer r decodiert, die auf das Signal s folgend codiert wurde.
20 ist ein Blockschaltbild, das eine Decodierverarbeitungseinheit 571 zur Durchführung des Decodierprozesses zeigt, wenn sowohl der Merker als auch die Kennzeichnungsnummer in der oben beschriebenen Codiervorrichtung codiert wurden, und sie soll anstelle der in 19 dargestellten Referenzbild-Kennzeichnungsnummer-Decodiereinheit 554 treten. Unter Bezugnahme auf 20 umfasst die Decodierverarbeitungseinheit 571 eine Merkerdecodiereinheit 651, die als Eingangssignal decodierten Daten des Merkers und der Referenzbild-Kennzeichnungsnummer erhält, eine Referenzbild-Kennzeichnungsnummer-Decodiereinheit 652, die mit der Merkerdecodiereinheit 651 über einen Schalter 653 verbunden ist, sowie einen Schalter 654 zum Zuführen an eine Steuereinrichtung entweder eines Signals, das die Kennzeichnungsnummer des Einzelbilds anzeigt, das codiert wird, oder des Signals von der Referenzbild-Kennzeichnungsnummer-Decodiereinheit 652.
Wenn der Decodiermerker auf an steht, wird der Schalter 653 angeschaltet und der Schalter 654 auf die Seite der Referenzbild-Kennzeichnungsnummer-Decodiereinheit 652 geschaltet, um den Decodierprozess der Kennzeichnungsnummer durchzuführen, und eine neue Referenzbild-Kennzeichnungsnummer wird für die Kennzeichnungsnummer eingesetzt, die durch die Referenzbild-Kennzeichnungsnummer-Decodiereinheit 652 decodiert wurde. Wenn der Decodiermerker auf aus steht, wird der Schalter 653 ausgeschaltet und der Schalter 654 wird auf die der Referenzbild-Kennzeichnungsnummer-Decodiereinheit 652 gegenüberliegende Seite geschaltet, und eine neue Referenzbild-Kennzeichnungsnummer wird für die Kennzeichnungsnummer des Einzelbilds, das gerade codiert wird, eingesetzt.
Wenn die Kennzeichnungsnummer r zusammen mit dem 1-Bit-Signal t codiert wurde, das die Änderung vom vorhergehenden Vollbild in der Codiervorrichtung anzeigt, wird zuerst das Signal t decodiert. Wenn das Signal t0 ist, zeigt es an, dass die Kennzeichnungsnummer r gegenüber dem vorhergehenden Vollbild nicht verändert wurde, und deshalb wird das Kennzeichnungssignal des vorhergehenden Vollbilds ohne Änderung verwendet. Wenn das Signal t1 ist, wird die codierte Kennzeichnungsnummer r fortlaufend decodiert. Hier wird angenommen, dass der Initialwert der Referenzbild-Kennzeichnungsnummer die Nummer des Einzelbildes ist, das gerade decodiert wird.
21 ist ein Blockschaltbild, das eine weitere Decodierverarbeitungseinheit 570 zur Durchführung des Decodierprozesses zeigt, wenn sowohl der Merker als auch die Kennzeichnungsnummer durch die oben beschriebene Codiervorrichtung codiert wurden, und sie soll an die Stelle der in 19 dargestellten Referenzbild-Kennzeichnungsnummer-Decodiereinheit 554 treten. Unter Bezugnahme auf 21 umfasst die Decodierverarbeitungseinheit 570 eine Merkerdecodiereinheit 751, die als Eingangssignale die codier ten Daten des Merkers und der Referenzbild-Kennzeichnungsnummer empfängt, eine Referenzbild-Kennzeichnungsnummer-Decodiereinheit 752, die mit der Merkerdecodiereinheit 751 über einen Schalter 753 verbunden ist, einen Speicher 755, der mit der Referenzbild-Kennzeichnungsnummer-Decodiereinheit 752 verbunden ist sowie einen Schalter 754 zum Zuführen eines Signals an eine Steuereinrichtung von der Referenzbild-Kennzeichnungsnummer-Decodiereinheit 752 oder vom Speicher 755.
Wenn der Decodiermerker auf an steht, wird der Schalter 753 angeschaltet und der Schalter 754 wird auf die Seite der Referenzbild-Kennzeichnungsnummer-Decodiereinheit 752 geschaltet, um den Decodierprozess der Kennzeichnungsnummer durchzuführen, und eine neue Referenzbild-Kennzeichnungsnummer wird für die Kennzeichnungsnummer eingesetzt, die durch die Referenzbild-Kennzeichnungsnummer-Decodiereinheit 752 decodiert wurde. Wenn der Decodiermerker auf aus steht, wird der Schalter 753 ausgeschaltet und der Schalter 754 wird auf die Seite des Speichers 755 geschaltet, und eine neue Referenzbild-Kennzeichnungsnummer wird aus dem Speicher 755 gelesen und für die Referenzbild-Kennzeichnungsnummer des vorhergehenden Vollbilds eingesetzt.
In der oben beschriebenen Ausführungsform der vorliegenden Erfindung wurden drei verschiedene Verfahren als Codierverfahren der Referenzbild-Kennzeichnungsnummer beschrieben. Verschiedene andere Verfahren sind möglich. Z.B. kann ein Signal s, das anzeigt, ob das Einzelbild unabhängig codiert wurde oder nicht, codiert und decodiert werden. In diesem Fall sollte, wenn das Einzelbild nicht unabhängig codiert wurde, das Einzelbild mit der Nummer, die um 1 kleiner ist als die Einzelbildnummer, das gerade codiert oder decodiert wird, immer als Referenzbild verwendet werden.
Bezüglich der Codierung der Referenzbild-Kennzeichnungsnummer kann die Codierung desselben Einzelbildes Vollbild für Vollbild durchgeführt werden, oder die Codierung kann nur für das erste Vollbild durchgeführt werden. Ersteres ist vorzuziehen, wenn die als Referenzbild verwendete Einzelbildnummer Vollbild für Vollbild geändert werden soll.
INDUSTRIELLE ANWENDBARKEIT
Wie oben beschrieben gibt es gemäß der Bewegtbildcodier- und -Decodiervorrichtung gemäß der vorliegenden Erfindung, auch wenn sich die Be reichsform mit der Zeit ändert, keine Verzerrung im erhaltenen Bild durch Überlagerung von unteren und oberen Schichten, und man erhält ein gutes Bild. Damit ist sie für das Codieren und Decodieren von Bewegtbildern geeignet.

Claims

Bewegtbild-Codiervorrichtung zum prädiktiven Codieren von Bewegtbilddaten in der Form einer Vielzahl von Einzelbewegtbildern, wobei jedes der Einzelbewegtbilder eine Vielzahl von Vollbildern aufweist, enthaltend: Referenzbild-Kennzeichnungsinformations-Codiermittel (256, 271) zum Codieren von Kennzeichnungsinformationen eines Referenzbildes, die ein Referenzbewegtbild zum prädiktiven Codieren kennzeichnen; Referenzbild-Auswahlmittel (257, 263) zum Auswählen des Referenzbewegtbildes aus der Vielzahl von Einzelbewegtbildern entsprechend den Kennzeichnungsinformationen des Referenzbildes; und Einzelbewegtbild-Codiermittel (151, 152, 153) zum prädiktiven Codieren jedes der Einzelbewegtbilder unter Verwendung des ausgewählten Referenzbewegtbildes.
Bewegtbild-Codiervorrichtung nach Anspruch 1, enthaltend: Merker-Codiermittel (353) zum Codieren eines Merkers, der anzeigt, ob ein Einzelbewegtbild unabhängig unter Verwendung von Vollbildern als Referenzvollbilder für das prädiktive Codieren codiert ist, die bereits im selben Einzelbewegtbild codiert und decodiert wurden; wobei die Referenzbild-Kennzeichnungsinformations-Codiermittel (271) die Kennzeichnungsinformationen des Referenzbildes, die das Referenz-Einzelbild zum prädiktiven Codieren kennzeichnen, nur codieren, wenn das Einzelbewegtbild nicht unabhängig zu codieren ist; und wobei die Referenzbild-Auswahlmittel (257, 263) zum Auswählen des Referenzbewegtbildes aus der Vielzahl von Einzelbewegtbildern entsprechend dem Merker oder den Kennzeichnungsinformationen des Referenzbildes dienen.
Bewegtbild-Decodiervorrichtung zum prädiktiven Decodieren von Bewegtbilddaten in der Form einer Vielzahl von Einzelbewegtbildern, wobei jedes der Einzelbewegtbilder eine Vielzahl von Vollbildern aufweist, enthaltend: Referenzbild-Kennzeichnungsinformations-Decodiermittel (554, 571) zum Decodieren von Kennzeichnungsinformationen eines Referenzbildes, die ein Referenzbewegtbild zum prädiktiven Decodieren kennzeichnen; Referenzbild-Auswahlmittel (555, 560) zum Auswählen des Referenzbewegtbildes aus der Vielzahl von Einzelbewegtbildern entsprechend den Kennzeichnungsinformationen des Referenzbildes; und Einzelbewegtbilddecodiermittel (157, 158, 159) zum prädiktiven Decodieren jedes der Einzelbewegtbilder unter Verwendung des ausgewählten Referenzbewegtbildes.
Bewegtbild-Decodiervorrichtung nach Anspruch 3, enthaltend: Merker-Decodiermittel (651) zum Decodieren eines Merkers, der anzeigt, ob ein Einzelbewegtbild unabhängig unter Verwendung von Vollbildern als Referenzvollbilder zum prädiktiven Decodieren decodiert ist, die bereits im selben Einzelbewegtbild decodiert wurden; wobei die Referenzbild-Kennzeichnungsinformations-Decodiermittel (571) die Kennzeichnungsinformationen eines Referenzbildes, die das Referenzbewegtbild zum prädiktiven Decodieren kennzeichnen, nur decodieren, wenn das Einzelbewegtbild nicht unabhängig zu decodieren ist; und wobei die Referenzbild-Auswahlmittel (555, 560) zum Auswählen des Referenzbewegtbildes aus der Vielzahl von Einzelbewegtbildern entsprechend dem Merker oder den Kennzeichnungsinformationen des Referenzbildes dienen.