-
Die Erfindung betrifft ein Verfahren
zur Bearbeitung eines Bildes basierend auf Bildbereichen und ein Gerät, das der
Kodierung von Bildern oder zwischen Bildern zugeordnet ist.
-
BESCHREIBUNG
DES STANDES DER TECHNIK
-
Bezugnehmend auf 1 ist eine grafische Darstellung eines
Verfahrens zum Bezeichnen von Bildregionen durch ein Segmentierungsverfahren
angegeben. Wie dargestellt, ist ein Originalbild 1 in Regionen
A bis D, die für
vier Gegenstände
repräsentativ
sind, und deren Hintergrundregionen E bis G unterteilt. Das Segmentierungsverfahren
kann beispielsweise ein Verfahren zur Klusterbildung oder zur Regionentwicklung
sein. Es ist jedoch möglich,
irgendein Verfahren zu verwenden.
-
Das Bild wird unter Verwendung einer
kleinen Menge von Daten kodiert, um die Positionen und die Inhalte
der Bereiche A bis G zu definieren. Die Definition der Positionen
wird üblicherweise
durch Ziehen einer Umfangslinie jedes Bereiches und durch Beschreiben
der Koordinaten der Pixel, die die Linie bilden, gegeben. In der 1 ist die Umfangslinie jedes
Bereiches durch eine Linie angegeben, die einen Pfeil hat.
-
[Probleme]
-
Durch die vorstehende Kodierung wird
es möglich,
jeden Bereich durch seine Umfangslinie als eine Ebene zu definieren.
Der Grund liegt darin, dass die Bereiche und die Umfangslinien zueinander
eins zu eins korreliert sind, wobei jede Region in einer geschlosse nen
Art und Weise ohne Ausnahme durch die Umfangslinie beschrieben wird.
Bei diesem Verfahren ist jedoch Raum für die Verbesserung der folgenden
Aspekte.
-
(1) Kodiereffizienz
-
Es sind zwei Umfangslinien gezeigt,
die sich mit einem kleinen Abstand zueinander parallel erstrecken,
wodurch es möglich
wird, dass die Grenze zwischen den Bereichen insgesamt zweimal definiert
wird. Die würde
zu einer schwachen Kodiereffizienz führen.
-
Ein Verfahren zum Kodieren von Umfangslinien
von Bildbereichen ohne zweifache Kodierung der Grenze zwischen den
Bereichen ist in der EP-0 592 029 offenbart. Das Verfahren verlässt sich
jedoch immer noch auf die Kodierung von Umfangslinien von Bildbereichen.
-
Die EP-A-0 164 825 offenbart ein
Bildsignalkodiersystem, bei dem ein Bild, basierend auf den Farben der
Bereiche, in Bereiche segmentiert wird.
-
Die US-A-4 189 711 offenbart ein
Verfahren zum Kodieren und Speichern von grafischer Information, bei
welchem auf der Basis von homogenen Bereichen und Konturbereichen
eine Diskriminierung durch Helligkeit oder Farben erfolgt.
-
Die IEE Proceedings-I 140 (1993),
Seite 36 bis 45 offenbart eine Bildsegmentierung in gleichförmig farbige
Bereiche auf der Basis des Farbabstandes, wobei eine gewichtete
konturierte Grafik errichtet wird, die klassifizierte Konturen hat,
bei der jede Kontur einer spezifizierten Signifikanz zugeordnet
ist.
-
(2) Antwort auf die Bewegung
von Bereichen
-
Wenn der Bereich A sich bewegt, ist
es natürlich,
dass die Formen und Flächen
der Bereiche B und der anderen anschließenden Bereiche sich ebenfalls
verändern.
Für den
Fall, dass versucht wird, die Bewegungen und die Änderungen
der Bereiche auf einer Bereichs basis zu repräsentieren, kann jedoch die
Schwierigkeit auftreten, dass ein Ort, der zuvor von einem so bewegten
Bereich abgedeckt worden ist, unerwarteterweise zu einem vakanten
Bereich führt,
was zu einem Fehlen von Information führt, oder dass die benachbarten
Bereiche zueinander verschoben werden oder einander überlappen.
-
ZUSAMMENFASSUNG
DER ERFINDUNG
-
Es ist daher eine Aufgabe der vorliegenden
Erfindung, ein Verfahren zum Kodieren von Bildbereichen ohne die
Verwendung von Information bezüglich
der Umfangslinien zu schaffen. Ferner ist ein Bildkodiergerät offenbart,
das die Tatsache verwendet, dass dieses Verfahren eine starke Affinität zu der
aktuellen Bildverarbeitungs-Hardware hat. Durch eine derartige Offenbarung
ist beispielsweise eine Technik geschaffen, die für MPEG 4
erforderlich ist, welche ein zukünftiger
Standard sein kann, anders ausgedrückt, eine Basistechnik zum
Kodieren von dynamischen Bildern mit einer niedrigeren Bitrate in
Echtzeit.
-
Diese Aufgabe wird durch ein Verfahren
zum Bearbeiten von Bildern wie im Anspruch 1 definiert und ein Bildverarbeitungsgerät wie im
Anspruch 10 definiert, gelöst.
-
Das Bildkodierverfahren gemäß dieser
Erfindung ist dadurch gekennzeichnet, dass die Bildbereiche in Übereinstimmung
mit der Information der Grenzlinien zwischen Bereichen anstatt der
Umfangslinieninformation für
jeden Bereich kodiert werden.
-
Genauer gesagt, hat dieses Verfahren
beispielsweise einem Schritt Abtasten eines Bildes in einer gegebenen
Richtung, einen Schritt Detektieren von Punkten, die eine Grenze
zwischen Bereichen bilden und auf deren Abtastlinien liegen, und
einen Schritt Verbinden der detektierten Grenzpunkte zum Erzeugen
einer Grenzlinie. In diesem Fall repräsentiert "Grenze zwischen Bereichen" beispielsweise eine
Grenze zwischen den Bereichen A und B in
1 und umfasst alle Grenzen zwischen den
Bereichen, die durch Teilen des Bildes durch irgendein Verfahren
gebildet worden sind. Das Teilen kann durch Schwerpunkt (c.g.),
Farbinformation oder Bewegungsinformation durchgeführt werden.
Ein Verfahren zum Teilen eines Bildes in Einheiten von Regionen,
die analoge Farben haben, ist in der zugehörigen Patentanmeldung
EP 95 115 151.3 derselben
Anmelderin, die unter EP-A-0 705 027 veröffentlicht ist, offenbart.
Es ist zu ersehen, dass, da das Bild ursprünglich durch Bereichsinformation
gebildet werden kann, wie ein animiertes Bild, diese Ausführungsform
nicht notwendigerweise bei einem Bild angewendet werden kann, das
einer Segmentation unterzogen worden ist.
-
Ein Bild wird als erstes abgetastet,
um Grenzpunkte zwischen Bereichen zu finden. Diese Grenzpunkte werden
dann in der Folge verbunden, um eine Grenzlinie zu erzeugen. Zu
diesem Zeitpunkt ist es wünschenswert,
aufzuzeichnen, zu welchen Bereichen die Original-Grenzpunkte gehören. Beispielsweise unterscheidet
sich eine Grenzlinie, die zwischen den Bereichen A und B definiert
ist von einer Grenzlinie, die zwischen den Bereichen A und C definiert
ist, und die Grenzpunkte, welche diese beiden Grenzlinien bilden,
sollen nicht durcheinander gebracht werden.
-
Weiterhin ist in dieser Erfindung
ins Auge gefasst, dass die Grenzpunkte in Abhängigkeit von der Signifikanz
klassifiziert werden, so dass die Grenzpunkte, die eine vorbestimmte
Signifikanz haben, die Grenzlinie repräsentieren können, wodurch die Information
an der Grenzlinie komprimiert wird. Die Signifikanz kann auf der
Basis von einigen Merkmalen bestimmt werden. Beispielsweise kann
ein Grenzpunkt mit einem geometrischen Merkmal an einer Grenzlinie
(im nachfolgenden als "Merkmalspunkt" bezeichnet) eine
größere Signifikanz
haben. Ein Beispiel des Merkmalpunktes sind die zwei Endpunkte der
Grenzlinie. Dies würde
es ermöglichen,
dass eine Grenzlinie durch nur zwei Punkte definiert ist und die
Notwendigkeit eliminieren, dass andere Punkte an der Grenzlinie
definiert werden, wodurch es möglich
wird, dass die Information auf diese zwei Punkte komprimiert wird.
-
Es ist in dieser Erfindung denkbar,
dass der Bereich auf der Basis von Farbinformation (Farbnummer, Luminanz,
Helligkeit, etc. in einem Farbraum) unterteilt wird, und dass die
Grenzlinie durch Verbinden von Punkten erzeugt wird, an welchen
sich die Farbinformation ändert.
In diesem Fall wird die Grenzlinieninformation beispielsweise Positionsinformation
an der Grenzlinie sowie auch Farbinformation an den Bereichen, die an
den beiden Seiten der Grenzlinie liegen, enthalten. Diese Farbinformation
wird es ermöglichen,
dass der Original-Bildbereich dekodiert wird.
-
In dieser Erfindung wird ferner beabsichtigt,
dass die Grenzlinien in Übereinstimmung
mit der Signifikanz klassifiziert werden, um in der Lage zu sein,
die Information an den Grenzlinien, welche weniger Signifikanz haben,
zu integrieren. Es ist insbesondere anzumerken, dass das hier verwendete "Integration" die Kompression
von Information mit der Beschränkung
der tatsächlichen
Anzahl von Grenzlinien wird repräsentiert und
dass dies sich von der reinen Kompression unterscheidet, die durchgeführt wird,
während
die Anzahl der Grenzlinien aufrechterhalten wird. "Signifikanz" bedeutet beispielsweise
einen Grad der starken Beeinflussung der Qualität von Bildern, wenn Bilder
dekodiert werden, und es ist vorstellbar, dass, wenn die Grenzlinie
eine gerade Linie ist, die Grenzlinie eine umso größere Signifikanz
erlangt, je länger
sie ist. Demgemäß bedeutet integriert
hierbei, dass die Grenzlinieninformation weniger einflussreich auf
die Qualität
der Bilder ist.
-
Weiterhin kann bei dieser Erfindung
die Anordnung so sein, dass, wenn Farben der Bereiche, die an beiden
Seiten der Grenzlinie vorhanden sind, analog sind, diese Bereiche
im voraus für
die nachfolgende Kodierung integriert werden. Es ist anzugeben,
dass das hier bezeichnete "Integration" sich auf die Kompression von
Information mit der Beschränkung
der tatsächlichen
Anzahl der Bereiche bezieht, und dass sie sich von der reinen Kompression
unterscheidet, die durchgeführt
wird, während
die Anzahl der Bereiche aufrechterhalten wird. "Einander nahe Farben" repräsentiert beispielsweise den
Zustand, bei dem eine Farbdifferenz nicht größer als ein gewisser Wert ist
sowie auch den Zustand, bei dem die relativen Positionen in dem
HVC-Farbraum innerhalb eines gegebenen Abstandes liegen. Vorausgesetzt,
dass beispielsweise die Farbe des Bereichs A nahe der des Bereiches
B in 1 ist, werden die
zwei Bereiche zu einem Bereich A + B integriert.
-
Zu diesem Zeitpunkt können beispielsweise
die Farben der Bereiche, die an den beiden Seiten der Grenzlinie
liegen, als Durchschnittsfarben der entsprechenden Bereiche definiert
werden (oder Mittelwerte der Pixel). Einander nähere Durchschnittsfarben würden es
ermöglichen,
dass die zwei Bereiche integriert werden.
-
Gemäß einem anderen Aspekt können die
Farben der Bereiche an den beiden Seiten der Grenzlinie auf der
Basis der Farben von Punkten entschieden werden, die in der Nähe der Grenzlinie
verbleiben. Dies ist deshalb der Fall, weil, selbst wenn die Durchschnittsfarben
der zwei Bereiche sich stark voneinander unterscheiden, die Integration
der zwei Bereiche möglicherweise
natürlich
sein kann, solange als die Farben in der Nähe der Grenzlinie sich fließend verändern. Die
Punkte in der Nähe
der Grenzlinie können
beispielsweise eine Anzahl von repräsentativen Punkten sein, die
entlang der Grenzlinie in gewissen Abständen liegen, und in diesem
Fall kann die Durchschnittsfarbe (ein mittlerer Wert) dieser Punkte
verwendet werden.
-
Wenn zwei Bereiche so integriert
worden sind, kann die Erfindung die Integration einer Anzahl von Grenzlinien,
welche integriert werden können,
zulassen. In Fall des vorstehenden Beispiels wird eine Grenzlinie,
die zwischen den Bereichen A und B definiert ist, als erstes verschwinden.
Zu diesem Zeitpunkt bleibt separat eine Grenzlinie, die zwischen
den Bereichen A und D definiert ist und eine Grenzlinie, die zwischen
den Bereichen B und D definiert ist, aber diese beiden Grenzlinien
können
zu einer einzigen Grenzlinie integriert werden. Die so erhaltene
einzige Grenzlinie könnte
der vorstehend beschriebenen Kompression durch die Merkmalspunkte
unterzogen werden, wodurch es möglich
gemacht wird, die Menge der Information weiter zu beschränken.
-
Das Bildkodiergerät gemäß dieser Erfindung andererseits
hat Mittel zum Eingeben von Bildern; Mittel zum Abtasten dieser
eingegebenen Bilder in einer vorbestimmten Richtung; Mittel zum
Detektieren von Grenzpunkten der Bildbereiche auf der Abtastzeile
und Mittel zum Erzeugen von Grenzlinien durch Verbinden der detektierten
Grenzpunkte. Die Bilder, welche beispielsweise durch den Empfänger empfangen
worden sind, werden in der Reihenfolge des Empfangs abgetastet,
wodurch Grenzpunkte beispielsweise für jede Zeile gefunden werden.
Danach werden die Grenzpunkte miteinander verbunden, um Grenzlinien
zu bilden. In Antwort auf die so erzeugte Grenzlinieninformation
wird die Bereichsinformation des Bildes kodiert.
-
1 ist
eine schematische Darstellung eines Verfahrens zum Spezifizieren
von Bildbereichen durch ein Segmentierungsverfahren;
-
2 ist
eine schematische Darstellung der Farbzahlen der Pixel, die auf
den Zeilen L1 bis L3 eines eingegebenen Bildes liegen;
-
3 veranschaulicht
den Zustand ohne Verarbeitung von Diagrammen, die die Verarbeitung
durch entsprechende Reihen einer zweiten Ausführungsform zeigen;
-
4 veranschaulicht
das Ergebnis der Verarbeitung der zweiten Ausführungsform von Rang 0;
-
5 veranschaulicht
das Ergebnis der Verarbeitung der zweiten Ausführungsform von Rang 1;
-
6 veranschaulicht
das Ergebnis der Verarbeitung der zweiten Ausführungsform von Rang 2;
-
7 veranschaulicht
das Ergebnis der Verarbeitung der zweiten Ausführungsform von Rang 3;
-
8 ist
eine schematische Darstellung der Beziehung zwischen einer vorläufigen Integration
der Bereiche und der Reihenverarbeitung;
-
9 ist
eine schematische Darstellung der Reihen der Grenzlinien und des
Zustandes der Integration, in welchen eine Anzahl von Grenzlinien
HI, IJ, etc., miteinander verbunden sind, um allgemein eine Zickzacklinie
zu präsentieren;
-
10 ist
eine schematische Darstellung der Reihen der Grenzlinien und des
Zustandes der Integration, insbesondere die Aufzeichnung des Zustandes
nach der Integration der Grenzlinien der Reihe Y;
-
11 ist
eine schematische Darstellung, die den Zustand eines dekodierten
Bildes für
den Fall der Löschung
von Information an der Grenzlinie NO darstellt;
-
12 ist
eine schematische Darstellung, die eine schematische Konfiguration
eines Gerätes
gemäß einer
vierten Ausführungsform
darstellt;
-
13 ist
eine Ansicht eines Graustufenbildes an einer Anzeigevorrichtung,
das das Ergebnis der Kodierung mittels eines Bildkodierverfahrens
gemäß der vierten
Ausführungsform
zeigt; und
-
14 ist
eine Ansicht eines Graustufenbildes, das an der Anzeigevorrichtung
erscheint, welches das Ergebnis der Kodierung durch das Bildkodierverfahren
gemäß der vierten
Ausführungsform
zeigt.
-
BESCHREIBUNG
DER BEVORZUGTEN AUSFÜHRUNGSFORMEN
-
Ausführungsform 1
-
Dieses Bildkodierverfahren arbeitet
bei Bildern gut, die bis zu einem gewissen Grad einer Segmentierung
unterzogen worden sind. In Form eines Beispiels ist der Gegenstand
das Endbild oder das Zwischenbild, welches durch das Verfahren erhalten
wird, das in der vorstehend genannten Patentanmeldung
EP 95 115 151 offenbart ist.
1 zeigt beispielsweise ein
so erhaltenes Bild. Im folgenden wird der Verarbeitungsvorgang für ein derartiges
Bild (im nachfolgenden als "Eingangsbild" bezeichnet) beschrieben.
-
[1] Scannen
-
Die Eingangsdaten werden in einer
gegebenen Richtung gescannt. Eine "gegebene Richtung" umfasst eine horizontale, vertikale
oder irgendeine andere Richtung. In diesem Fall würde unter
der Annahme, dass die Bilddaten als Zeileneinheiten seriell eingegeben
werden, dies die Horizontalrichtung sein. Das Scannen der Eingangsdaten
in der Reihenfolge, mit der die Daten eingegeben worden sind, würde die
Hardware-Konfiguration vereinfachen, was wiederum einen größeren Gesamtdurchsatz
schaffen würde.
Da die Eingangsbilder bereits durch Farbzahlen beschrieben worden
sind, werden die Farbzahlen in der Reihenfolge vom Anfang der Zeileneinheiten
abgelesen und werden dann durch Software verfolgt.
-
[2] Detektion der Grenzpunkte
-
Wird ein Pixel detektiert, dessen
Farbzahl variiert, wird das Pixel als ein Grenzpunkt definiert.
Es wird von dem Software-Design abhängen, welches Pixel, d. h.
direkt vor oder direkt nach der Änderung
als der Grenzpunkt betrachtet werden sollte.
-
Bezugnehmend auf 2 zeigt diese Farbzahlen der Pixel, die
zu den Zeilen L0 bis L2 des Eingangsbildes gehören. Diese Pixel tragen jeweils
eine Farbzahl a, b oder c. In diesem Fall sind die Grenzpunkte Pixel, welche
direkt nach der Änderung
liegen, die schraffiert ist. unter der Annahme, dass die Koordinaten
eines Pixels im allgemeinen in der Form (Zeile, Spalte) repräsentiert
sind, werden die Grenzpunkte wie (0, 4), (1, 3), etc. geschrieben.
-
[3] Erzeugung der Grenzlinien
-
Grenzlinien werden durch Verbinden
der so aufeinanderfolgend detektierten Grenzpunkte erzeugt.
-
Wie aus der 2 zu ersehen ist, sind zwei Grenzlinien
erzeugt, d. h.
eine Grenzlinie BL1, die (0, 4), (1, 3), (2,
3) und
eine Grenzlinie BL2, die (0, 10), (1, 10), (2, 9) enthält.
-
Zu diesem Zeitpunkt ist eine Überprüfung erforderlich,
um jegliches Durcheinanderbringen der Grenzpunkte, die zu unterschiedlichen
Grenzlinien gehören,
zu vermeiden. Es sollte auf die folgenden zwei Punkte geachtet werden.
-
1. Änderungen
der Farbzahlen
-
Bei BL1 variieren die Farbzahlen
von a nach b. Wenn im Gegensatz hierzu eine andere Änderung
als diese auftritt, wird dieser Grenzpunkt nicht zu BL1 gehören und
darf daher nicht zu BL1 zugeordnet werden.
-
2. Wechselseitige
Positionen der Grenzpunkte
-
Sollte ein Grenzpunkt angeben, dass
die Änderung
von a nach b existiert, muss der Grenzpunkt zurückgewiesen werden, es sei denn,
er liegt an einer Position, die BL1 bilden kann. Genauer gesagt,
können die
Grenzpunkte nur dann zur gleichen Grenzlinie gehörig betrachtet werden, wenn
die Spalten, welche die Grenzpunkte enthalten, miteinander übereinstimmen
oder in den benachbarten Zeilen ausreichend nahe zueinander liegen.
In der 2 ist die Differenz
der Spalten zwischen (0, 4) und (1, 3) lediglich 1, und (1, 3) und (2,
3) liegen auf der gleichen Spalte. Angesichts von Rauschen oder
dergleichen der Eingangsbilder könnten diese
Grenzpunkte nur dann als zu gleichen Grenzlinie gehörig betrachtet
werden, wenn die Differenz beispielsweise nicht größer als
3 ist.
-
[4] Kodierung von Bildinformation
-
Zu dem Zeitpunkt, zu welchem jede
Grenzlinie definiert worden ist, wird die Grenzlinieninformation
als eine Bildkodierinformation verwendet. Ein Format der Information
kann beispielsweise wie folgt gegeben werden.
-
-
Eine Grenzlinie kann durch Koordinaten
der Grenzpunkte, welche die Grenzlinie konstituieren (im nachfolgenden
als "konstituierende
Grenzpunkte" bezeichnet)
und zwei Farbzahlen, die an der Grenzlinie variieren (in der Scan-Richtung
fluchtend) repräsentiert
werden. Anzumerken ist, dass BL1 beispielsweise durch einen Kettenkode
mit dem Startpunkt (0, 4) definiert sein kann. Dies ist ein Verfahren,
bei dem die Richtung des folgenden Punktes, von einem gewissen Punkt
aus betrachtet, numerisch repräsentiert
ist.
-
Wenn beispielsweise
spezifiziert sind, dann wird
BL1 beginnend von (0, 4) in Richtung auf (3, 4, ...) kettenkodiert.
-
Gemäß dieser Ausführungsform
wird die doppelte Definition eines Grenzteils, die ein Problem bei
der Kodierung unter Verwendung der herkömmlichen Umfangslinieninformation
war, eliminiert. Da die Bereichsbewegung ebenfalls in Form der Grenzlinienbewegung
repräsentiert
ist, wäre
es im Prinzip unmöglich,
ein Auftreten eines vakanten Bereiches unter den Bereichen oder
eine Verschiebung oder Überlappung
zwischen den Bereichen zuzulassen.
-
Es ist vorstellbar, dass diese Ausführungsform
die folgende Anwendung oder Modifikation zuläßt.
-
(1) Bildkonfiguration
-
Obwohl bisher ein Fall beschrieben
worden ist, bei dem das Eingangsbild im voraus einer Bereichsunterteilung
unterzogen worden ist, würde
diese Ausführungsform
ungeachtet der Unterteilung effektiv sein, wenn Bilder, die ursprünglich aus
Bereichsinformation zusammengesetzt sind, wie beispielsweise animierte Bilder,
betrachtet werden.
-
(2) Bildeingabemodus
-
Obwohl hier angenommen worden ist,
dass die Eingabe jedes Pixels nach der Transformation in die Farbzahl
durchgeführt
wird, könnte
das Originalbild ganz eingegeben werden. In diesem Fall könnte ein
optischer Scanner für
das Scannen des Originalbildes verwendet werden und um eine Grenzinformation
zu erwerben, die hauptsächlich
der Farbinformation zugeordnet ist.
-
(3) Pixelrepräsentations-Modus
-
Jedes Pixel könnte durch andere Attribute
als die Farbzahl repräsentiert
werden. Es wurden Luminanz, Helligkeit und dergleichen zur Verfügung stehen.
-
(4) Vorbereitende Integration
der Bereiche
-
Bei näheren Farbzahlen, mit denen
die Bereiche beaufschlagt sind, die an den beiden Seiten der Grenzlinie
liegen, könnten
diese Bereiche vor dem Kodieren integriert werden. Wenn im Fall
der 2 der Wert von |a – b| innerhalb
eines vorbestimmten Bereiches liegt, nämlich, wenn die Farbdifferenz
klein ist, könnten
diese Bereiche integriert werden und die Farbzahlen aller Pixel
innerhalb des Bereiches könnten
durch a, b oder |a – b|/2
substituiert werden. Die darauf folgende Erzeugung der Grenzlinie
würde nicht
mehr das Auftauchen der Grenzlinie BL1 zulassen, was zu einer verbesserten
Kodiereffizienz beitragen wird.
-
Ausführungsform 2
-
Bei der zweiten Ausführungsform
wird die Grenzlinieninformation, die bei der ersten Ausführungsform erhalten
worden ist, weiter komprimiert. Obwohl bei der ersten Ausführungsform
die Grenzlinie durch alle konstituierende Grenzpunkte beschrieben
worden ist, werden bei der zweiten Ausführungsform die Merkmalspunkte
aus diesen Grenzpunkten zur Klassifikation gewählt, so dass die Grenzlinie
nur durch die erforderlichen Merkmalspunkte repräsentiert ist. Die Merkmalspunkte
können
sein:
- (0) beide Anschluss-Enden eines Liniensegmentes
sind in der Grenzlinie enthalten und haben eine Länge kleiner
als ein vorbestimmter Wert;
- (1) beide Anschlussenden eines Liniensegmentes sind in der Grenzlinie
enthalten und haben eine Länge, die
einen vorbestimmten Wert überschreitet;
- (2) Punkte, an welchen sich das Vorzeichen des Gradienten der
Grenzlinie ändert;
und
- (3) beide Endpunkte der Grenzlinie.
-
Durch diese Klassifikation sind vier
Ränge der
Verarbeitung wie im folgenden angegeben definiert.
[Rang 0]
Die Grenzlinie ist durch alle Merkmalspunkte beschrieben, die durch
das Vorstehende (0) bis (3) gegeben sind;
[Rang 1] Die Grenzlinie
ist durch die Merkmalspunkte beschrieben, die durch das Vorstehende
(1) bis (3) gegeben sind;
[Rang 2] Die Grenzlinie ist durch
die Merkmalspunkte beschrieben, die durch das Vorstehende (2) und
(3) gegeben sind; und
[Rang 3] Die Grenzlinie ist nur durch
die Merkmalspunkte beschrieben, die durch das Vorstehende (3) gegeben sind.
-
Der Grad der Komprimierung wird in
absteigender Rangreihenfolge erhöht.
-
Bezugnehmend auf die 3 bis 7 wird
die Verarbeitung durchgeführt,
die durch die jeweiligen Ränge dargestellt
ist. 3 zeigt den Fall
keiner Rangverarbeitung und die 4 bis 7 zeigen jeweils den Fall
den Verarbeitung des Ranges 0 oder darunter. In den Diagrammen sind
Pixel durch Quadrate repräsentiert,
wobei eine Reihe von Pixelzahlen am Rand zur Erläuterung gegeben ist. Schraffierte
Pixel bezeichnen Pixel, die nach der entsprechenden Verarbeitung
verbleiben. Jede Rangbearbeitung wird in ansteigender Rangreihenfolge beschrieben.
-
[Rang 3]
-
Wie aus der 7 zu ersehen ist, verbleiben nur die
Pixel 1 und 17. Die Grenzlinieninformation ist durch die Koordinaten
dieser zwei Pixel und die Farbzahlen der zwei Bereiche, die jeweils
den zwei Pixeln zugeordnet sind, repräsentiert. Das Dekodieren würde es erlauben,
dass eine Grenzlinie als eine gerade Linie resultiert, die die zwei
Endpunkte verbindet.
-
[Rang 2]
-
Wie in der 6 gezeigt, bleiben auch die Pixel 2,
8 und 16. Der Gradient der Grenzlinie ist hierbei für die Vertikalrichtung
in dem Diagramm mit 0 definiert, positiv für eine nach rechts aufsteigende
Richtung und negativ für
eine nach rechts absteigende Richtung. Der Gradient zwischen den
Bildern 1 und 2 ist negativ und der Gradient zwischen den Bildern
2 und 3 ist positiv, mit dem Ergebnis, dass das Pixel 2 ein zu findender Punkt
ist. Das gleiche gilt für
die Pixel 8 und 16. Das Dekodieren würde es erlauben, dass eine
Grenzlinie resultiert, die in der Folge die Pixel 1, 2, 8, 16 und
17 in dieser Reihenfolge verbindet. Anzumerken ist, dass die Definition
des Gradienten nicht auf dieses Beispiel begrenzt ist. In Abhängigkeit
von dem zu bearbeitenden Bild könnte
eine zweckmäßige Richtung
als der Gradient 0 definiert werden.
-
[Rang 1]
-
Eine vorbestimmte Länge soll
vier Pixel sein. Wie aus der 5 klar
zu ersehen ist, werden infolge der Anwesenheit von fünf Pixeln
für die
Pixel 9 bis 13 und die vier Pixel in einem Winkel von 45° für die Pixel 13
bis 16, die Pixel 9 und 13 zusätzlich
bestehen bleiben. Das Pixel 13 liegt an einem Schnittpunkt von zwei Liniensegmenten
und wird daher zweimal gewählt.
Das Pixel 16 wird in dem Rang 2 bzw. 1 zweimal gewählt.
-
[Rang 0]
-
Wie aus der 4 zu ersehen ist, werden die beiden Enden
von zwei verbleibenden Liniensegmenten, d. h. die Pixel 3, 5, 6
und 7 zusätzlich
bleiben.
-
Die Verwendung des Ranges 3 würde es zulassen,
dass die Original-17-Pixel-Information nur durch zwei Pixel repräsentiert
wird, und würde
damit die Kompressionsrate erhöhen.
Der Rang kann unter Berücksichtigung
des Ausgleichs zwischen der Kompressionsrate und der Qualität der beim
Dekodieren erhaltenen Bilder bestimmt werden. Im Prinzip ist es
zweckmäßig, ein
langes gerades Liniensegment zu extrahieren, um eine hohe Kompressionsrate
zuzulassen. Beispielsweise haben die Pixel 4 bis 8 in der 3 eine Regelmäßigkeit
für jeden
Anstieg von zwei Pixeln, es tritt eine Verschiebung nach links von
einem Pixel auf, was als eine gerade Linie betrachtet werden könnte. Anzumerken
ist, dass die Richtung der geraden Linie nicht auf eine Vertikale,
Horizontale oder eine Neigung von 45° begrenzt ist, und dass die
Breite, die als gerade Linie betrachtet wird, auch ausreichend größer als
die Breite von einem Pixel sein könnte. Es ist vorstellbar, dass
in irgendeinem Fall Liniensegmente auch in dem Originalbild bedeutende
charakteristische Teile sind, und daher wäre es signifikant, eine Informationskompression
in der Richtung der Aufmerksamkeit auf diese Teile durchzuführen.
-
Die Vorstehende ist die Kompression
der Grenzlinieninformation unter Verwendung der zweiten Ausführungsform.
Anzumerken ist bei dieser Ausführungsform,
dass es notwendig wäre,
den Einfluss der vorab durchgeführten
Integration der Bereiche, die in der ersten Ausführungsform beschrieben worden
ist, zu berücksichtigen.
-
Bezugnehmend auf 8 zeigt diese die Beziehung zwischen
einer vorab durchgeführten
Bereichsintegration und der Rangverarbeitung. In der 8 sind drei Bereiche A,
B und C enthalten, die unter Verwendung der Grenzpunkte P bis S,
der Grenzlinien zwischen den Bereichen A und B, B und C, und C und
A jeweils durch gekrümmte
Linie PS, QS und RS repräsentiert
sind. Unter einer derartigen Bedingung würde die Durchführung der
Verar beitung von beispielsweise Rang 3 es erlauben, dass die entsprechenden
Grenzlinien zu gestrichelten Linien PS, QS und RS führen.
-
Unter der Annahme, dass die Bereiche
A und C zuvor miteinander integriert worden sind, ist es möglich, dass
die Grenzlinien nur zwischen einem Bereich (A + C) und dem Bereich
B verbleiben, was zu den Kurven PS und SQ führt. Zu diesem Zeitpunkt besteht
keine Notwendigkeit, zwischen dem Bereich (A + C) und dem Bereich
B zwei Grenzlinien zu belassen, so dass die zwei Grenzlinien zu
einer einzigen frischen Grenzlinie, d. h. der Kurve PSQ, integriert
sind. Darauf folgend wird die Rang-3-Verarbeitung durchgeführt, die
es erlauben würde,
dass die Grenzlinie zu einer strichpunktierten Linie PQ führt, wie
dies in der 8 gezeigt
ist. Anzumerken ist, dass für
die Durchführung
der zweiten Ausführungsform
die vorab durchgeführte
Integration der Bereiche es möglich
machen würde,
dass die Grenzlinieninformation weiter komprimiert und integriert
werden kann.
-
Ausführungsform 3
-
Die zweite Ausführungsform hatte das Ziel der
Komprimierung der Grenzlinieninformation durch sozusagen eine Rangbildung
der einzelnen Grenzpunkte. In der dritten Ausführungsform werden die Grenzlinien selbst
gemäß der Signifikanz
in ihrem Rang eingeteilt, was die Integration einer niederrangigen
Grenzlinieninformation erlaubt. Anzumerken ist, dass diese Integration
die Beschränkung
der tatsächlichen
Anzahl von Grenzlinien zur Folge hat, was sich von der Kompression
unterscheidet, die bei der zweiten Ausführungsform durchgeführt worden
ist.
-
Die dritte Ausführungsform verwendet die Länge jeder
Grenzlinie als Signifikanz. Abhängig
davon, ob die Länge
nicht weniger oder weniger als ein vorbestimmter Wert ist, werden
die Grenzlinien in zwei Rangeinteilungen gruppiert, d. h. den Rang
X für die
höhere
Signifikanz und dem Rang Y für
die geringere Signifikanz.
-
Bezugnehmend auf die 9 und 10 sind
die Grenzlinienrangeinteilungen und der Zustand der Integration
dargestellt. In der 9 sind
eine Anzahl von Grenzlinien HI, IJ, etc. miteinander verbunden,
um im allgemeinen eine Zickzacklinie zu bilden. 10 veranschaulicht den Zustand nach der
Integration der Grenzlinien der Rangeinteilung Y. Wie klar zu erkennen
ist, teilen die Anzahl von Grenzlinien die Gesamtbereiche der 9 und 10 in obere und untere Bereiche.
-
In der 9 ist
zu sehen, dass, ungeachtet der Anwesenheit von nur zwei Bereichen,
die Grenzlinien aus einer Anzahl von separaten Grenzssegmenten anstatt
einer einzigen kontinuierlichen Linie bestehen, die sich von H bis
O erstreckt. Dies ist deshalb der Fall, weil bei Detektieren der
Grenzlinien in einer gegebenen Richtung durchgeführt wird, und nach rechts steigende
Grenzen (beispielsweise der Teil HI) und nach rechts abfallende
Grenzen (beispielsweise der Teil IJ) als separate Grenzlinien erzeugt
werden. Es wird nun angenommen, dass IJ, KL und NO dieser Grenzlinien
unter die Rangeinteilung Y fallen, während die anderen unter die
Rangeinteilung X fallen.
-
[Bearbeitung der Grenzlinie
IJ]
-
Wenn nun beabsichtigt ist, dass die
Rang-Y-Information integriert (oder gelöscht) werden sollte, wird die
Information an den Grenzpunkten, die auf der Grenzlinie IJ liegen,
gelöscht.
Da im Gegensatz hierzu die Information auf der Grenzlinie JK erhalten
bleiben sollte, wird unter der Annahme, dass die Information wiederverwendet
werden könnte,
es unerwünscht
sein, I mit K einfach durch eine Linie zu verbinden.
-
In diesem Fall wird lediglich die
Information auf der Grenzlinie IJ gelöscht. Dies würde sicherstellen, dass
die Eigenart der Scan-Zeile implizit dazu verwendet wird einen Ausgang
zu erhalten, der ein solches Erscheinungsbild gibt, dass der Punkt
J zum Punkt J' bewegt
wird (die Richtung der Grenzlinie IJ' wird mit der Scan-Richtung übereinstimmen).
-
Die Richtung der Grenzlinie IJ' stimmt mit der Scan-Richtung überein.
Wenn der Punkt J an den Position des Punktes J' von Anfang an existiert hätte, würde dieser
Punkt nicht als ein Grenzpunkt detektiert worden sein, wenn die
Grenzdetektion gemäß dieser
Ausführungsform
verwendet wird. Dies liegt daran, dass, in der Scan-Richtung gesehen,
der Punkt I dem Punkt J' überlagert
ist, wobei der zuletzt genannte durch den ersteren verborgen ist.
Daher könnte
die Grenzlinie J'K
als eine Linie definiert werden, die durch Verbinden des Punktes K
mit einem Punkt (als J" bezeichnet),
der auf der Grenzlinie J'K
verbunden worden ist und um eine Zeile gegenüber dem Punkt J' in Richtung auf
den Punkt K verschoben worden ist. Diese Definition wäre notwendig und
ausreichend. Die vorliegende Ausführungsform benötigt nicht
die Information auf der Grenzlinie IJ'. Umgekehrt würde das ledigliche Löschen der
Information auf der Grenzlinie IJ es zulassen, dass der Punkt J
automatisch zum Punkt J' bewegt
wird. Somit werden die folgenden zwei Effekte erzielt.
-
1. Kein Rechenschritt
-
Die automatische Bewegung des Punktes
J in den Punkt J' wird
keinen Rechenschritt erfordern.
-
Dies rührt von dem Löschen der
Information auf der Grenzlinie IJ her. Die Repräsentation der Information unter
Verwendung der Grenzlinien und der Eigenart der Scan-Zeile wird
ein Ansteigen des Kompressionseffektes ergeben.
-
Das Vorstehende ist die Verarbeitung
für die
Grenzlinie IJ. Tatsache ist, dass, selbst wenn nur zwei Bereiche
vorhanden sind, wie dies in der 9 gezeigt
ist, mehrere Grenzlinien vorhanden sind, was bedeutet, dass es extrem
wünschenswert
wäre, die
Grenzlinien zu löschen.
-
Die Grenzlinie KL könnte dergleichen
Verarbeitung unterzogen werden, während die Grenzlinie NO keine
spezielle Berücksichtigung
benötigt.
Der Grund hierfür
liegt darin, dass der Punkt O keinen Punkt hat, der dem Punkt J" für den Punkt
J entspricht. 11 ist
eine Ansicht des Zustandes eines dekodierten Bildes für den Fall,
bei dem die Information auf der Grenzlinie NO gelöscht worden
ist, die zeigt, dass die ledigliche Löschung der Information ein
Problem hervorrufen könnte.
Das Entfernen der Grenzlinie NO führt zu der Bildung von zwei
Horizontal-Linien, die sich von den Punkten N und O bis zu der rechts liegenden
Kante des Bildes erstrecken, woraus folgt, dass der Originalbereich
sich in den so gebildeten neuen Bereich erstrecken kann.
-
Um dieses Problem zu überwinden,
wird beim Löschen
einer Grenzlinie n, die in einer Grenzlinie BL enthalten ist, bei
der dritten Ausführungsform
entschieden, dass die Löschung
möglich
ist, wenn (1) die Übertragung
der Grenzlinie n in der Scan-Richtung erfolgt (2) die ganze Grenzlinie
n wiederum die Grenzlinie BL schneidet. Es ist sicher, dass die
Grenzlinie n, die obwohl gelöscht
solche Bedingungen erfüllt,
es zulässt,
dass die Grenzlinie an der Position, die die Grenzlinie BL wiederum
schneidet, erfolgreich geschlossen wird, wodurch das vorstehende
Problem überwunden
werden kann. In Übereinstimmung
mit der 11 kann dieses Entscheidungsverfahren
wie folgt beschrieben werden. Von der horizontal links von der rechts
liegenden Kante des Bildes aus gesehen, werden sichtbare Grenzlinien,
selbst partielle, nicht gelöscht,
während
es möglich
ist, andere Grenzlinien zu löschen.
-
Ausführungsform 4
-
Die ersten bis dritten vorstehend
beschriebenen Ausführungsformen
lassen auch die Umrisse eines Bildkodiergerätes gemäß dieser Ausführungsform
erkennen.
-
Bezugnehmend auf 12 zeigt diese die Konfiguration dieses
Gerätes
in schematischer Form, welches aufweist:
- (1)
einen Hauptrechner 200 zur Durchführung des Hauptanteils der
Verarbeitung;
- (2) ein Eingabegerät 202 zum
Eingeben von zu verarbeitenden Bildern, wobei das Gerät eine Kamera,
ein Bildwiedergabegerät,
einen Bildempfänger
oder eine Speichervorrichtung, in welcher die Bilder bereits gespeichert
worden sind, aufweist;
- (3) ein Programm 204 zum Scannen der eingegebenen Bilder
oder ein Scanner; und
- (4) ein Programm 206 zum Detektieren der Grenzen der
Bildbereiche zum Erzeugen der Grenzlinien.
-
Die Funktionsweise wird im wesentlichen
die gleiche wie bei den ersten bis dritten Ausführungsformen beschrieben sein.
-
Zum Schluss, bezugnehmend auf die 13 und 14, zeigen diese fotografische Bilder,
die die Ergebnisse der Verarbeitung gemäß dieser Ausführungsform
zeigen. Unter den Versuchsbedingungen, dass die Anzahl der geteilten
Bereiche des Eingangsbildes 2000 ist, zeigen die 13 und 14 Bilder,
die nach der Bearbeitung durch den Rang 0 bzw. Rang 3 der zweiten
Ausführungsformen
bearbeitet worden sind.
-
Bei einer Pixelanzahl des Originalbildes
von 21.684 war die Anzahl der Grenzpunkte, die als Ergebnis der
Bearbeitung gemäß Rang 0
verblieben waren, 9.026, und die Anzahl der verbleibenden Grenzpunkte
beim Rang 3 betrug 8.808. Verglichen mit dem Fall, dass alle Grenzpunkte
als Information belassen wären,
kann bereits in der Stufe des Ranges 0 eine Kompression von mehreren
10% realisiert werden. Zu diesem Zeitpunkt wurde herausgefunden,
dass die Verschlechterung der Bildqualität nicht besonders zu bemerken
ist. Natürlich wird
das Senken der Anzahl der unterteilten Bereiche zu einer Erhöhung der
Kompressionseffizienz führen.
