DE68923648T2

DE68923648T2 - Komprimierung und Dekomprimierung von digitalen statistisch kodierten Farbvideodaten.

Info

Publication number: DE68923648T2
Application number: DE68923648T
Authority: DE
Inventors: John Music; Gordon H Smith; James L Thomas
Original assignee: BIL FAR EAST HOLDINGS Ltd A HO
Current assignee: BIL FAR EAST HOLDINGS Ltd A HO
Priority date: 1988-04-27
Filing date: 1989-04-26
Publication date: 1996-01-25
Anticipated expiration: 2009-04-27
Also published as: EP0339948A3; BR8906930A; MX166127B; KR950015103B1; AU3354289A; WO1989010673A1; EP0339948B1; DE68923648D1; JPH04507034A; JP2583627B2; FI896255A0; AU616006B2; ATE125995T1; KR900701128A; NZ228808A; EP0339948A2

Description

Die Erfindung betrifft allgemein die Informationssignalverarbeitung und insbesondere das Gebiet der Verarbeitung zeitsequentieller Informationssignale, wie beispielsweise Videosignale, zum Zweck der Reduzierung der von einer Codierstelle zu einer Decodierstelle zu übertragenden Informationsmenge. Eine spezielle Verwendung der Erfindung liegt im Austausch von Farbvideodaten über Telefonleitungen.
Die Codierung digitaler Fernsehsignale erfordert gewöhnlich eine Übertragungsrate von ungefähr 200 Mbit/sec. Neuere Entwicklungen bei Codiersystemen haben es ermöglicht, die Übertragungsrate auf weniger als 2 MBit/sec zu drücken. Codiersysteme, die eine blockorientierte Analyse der Videohalb- bzw. vollbilder und eine Verarbeitung mittels eines Koeffizienten einer herkömmlichen, hybriden diskreten Kosinustransformation (DCT) verwenden, ermöglichen eine Übertragung mit Raten zwischen 64 kBit/sec und 384 kBit/sec. Ein solches System ist beschrieben in Gerken und Schiller: "A Low Bit- Rate Image Sequence Coder Combining A Progressive DPCM On Interleaved Rasters With A Hybrid DCT Technique", IEEE Journal on Selected Areas in Communications, Band SAC-5, Nr. 7, August 1987. Auf eine derartige DCT-Verarbeitung angewendete, adaptive Codierverfahren haben eine Videodatenübertragung mit Raten erlaubt, die so gering sind wie 1 bis 2 Bit pro Pixel, wie beschrieben in Chen und Smith: "Adaptive Coding of Monochrome and Color Images", IEEE Transactions on Communications, Band COM-25, Nr. 11, 19. November 1977. Bei derart niedrigen Datenraten übertragene Informationen wirken sich jedoch ernsthaft auf die Fähigkeit aus, eine ausreichende Zahl von Bildern pro Sekunde zu rekonstruieren, so daß ein Echtzeitbild für einen Betrachter akzeptabel ist. Es stehen Telefonleitungen hoher Kapazität zur Verfügung, die Übertragungen mit einer Rate von bis zu 1,544 MBit/sec schaffen; solche Leitungen sind aber extrem teuer bei einer Zwecknutzungsrate ("dedicated use rate") und immer noch ziemlich teuer bei einer Plannutzungsrate ("scheduled use rate"). Es stehen Telefonleitungen geringerer Kapazität zur Verfügung, die eine Übertragung mit Raten von bis zu 56 kBit/sec und 64 kBit/sec erlauben. Es sind relativ teure digitale und codierende Videovorrichtungen kommerziell erhältlich, die ein Videosignal mit 56.000 Bit/sec übertragen, so daß es notwendig ist, eine Kombination einer Vorrichtung dieser Art mit der 1,544 MBit/sec-Hochkapazitätstelefonleitung zu benutzen, um eine Bildgeschwindigkeit zu erlauben, die viel schneller als etwa ein Bild pro Sekunde ist. Die gegenwärtige Grenze der Übertragungsrate üblicher Telefonleitungen liegt bei 18.000 Bit/sec, so daß die Übertragung einer Echtzeit-Abfolge von Videobildern über übliche Telefonleitungen beim Stand der Technik als nicht möglich angesehen wurde.
Es wurden verschiedene Ansätze angewendet, um die Redundanzmenge der in einem digitalen Videosignal zu übertragenden Information zu reduzieren. Eine Methode ist, eine Kamera mit langsamer Abtastung zu benutzen; eine andere Methode ist, jede n-te Abtastzeile für jedes Bild zu übertragen. Eine weitere Methode beinhaltet das Senden von nur den Teilen eines Bilds, die für wichtig gehalten werden oder die sich in gewisser signifikanter Weise geändert zu haben scheinen, indem das Bild in eine Anzahl von Segmenten oder Blöcken aufgeteilt wird, die typischerweise Gruppen von 3 x 3 oder 4 x 4 Pixeln sind, und der Inhalt dieser Blöcke analysiert wird. Diese Methoden neigen dazu, auch die Auflösung des Videobilds zu reduzieren.
Eine weitere Methode zur Reduzierung der Übertragungszeit, die die Auflösung eines übertragenen Bilds nicht reduziert, ist die Lauflängencodierung. Bei der Lauflängencodierung werden die Abastzeilen eines Bilds als ein Wert des Farbinhalts einer Reihe von Pixeln und als Länge der Folge von Pixeln, die diesen Wert oder Wertebereich haben, codiert. Die Werte können ein Maß für die Amplitude eines Videosignals oder für andere Eigenschaften solcher Videosignale sein, wie beispielsweise die Luminanz oder Chrominanz. Ein Beispiel eines Systems, das die Lauflängencodierung der Amplitude von Videosignalen verwendet, ist das U.S.-Patent Nr. 3,609,244 (Mounts). Bei diesem System bestimmt ein Bildspeicher auch Unterschiede von Bild zu Bild, so daß nur diese Unterschiede von einem Bild zum nächsten übertragen werden müssen. Ein weiteres Beispiel eines Verfahrens zur Übertragung von Videosignalen als komprimierte Lauflängenwerte, das zusätzlich die statistische Codierung häufiger Werte benutzt, um die Anzahl der zur Datendarstellung erforderlichen Bits zu reduzieren, ist das U.S.-Patent US-A-4,420,771 (Pirsch).
Idealerweise wäre eine Komprimierung der Farbvideoinformation wünschenswert, die eine Echtzeit-Abfolge von Bildern in einem Bereich von bis zu 15 Bilder pro Sekunde und mit Bit-Raten so niedrig wie 11.500 Bit/sec erlaubt, um den Austausch von Farbvideodaten über gewöhnliche Telefonleitungen zuzulassen. Außerdem wäre ein Videodatenkompressionssystem wünschenswert, das gleichwertige Datenübertragungsraten wie Systeme schaffen kann, welche höherwertige Telefonleitungen verwenden, mit einer leistungsfähigeren und weniger kostspieligen Ausstattung, als sie gegenwärtig zur Verfügung steht.
Nach einem Aspekt sieht die vorliegende Erfindung ein Verfahren zum Komprimieren digitaler Farbvideodaten in einem Videosystem vor, welches Mittel aufweist, um ein Farbvideosignal für eine Mehrzahl von Videobildern bereit zustellen, wobei jedes Bild eine Mehrzahl von Abtastzeilen umfaßt, die aus einer Mehrzahl von Pixeln aufgebaut sind, und ein digitalisiertes Farbvideosignal mit drei digitalen Farbkomponenten benutzt,
wobei das Videosystem umfaßt:
- Mittel, um eine Luminanzfunktion für jedes Pixel zu bestimmen,
- Mittel, um auf Grundlage der Luminanzfunktion zu bestimmen, welche Pixel auf jeder Abtastzeile Entscheidungspunkte darstellen, wobei jeder Entscheidungspunkt das Ende einer Lauflänge und den Anfang einer anderen Lauflänge festlegt, und
- Mittel, um zumindest einen Teil der Mehrzahl von Pixeln in jeder Abtastzeile als eine Mehrzahl von Kombinationen der Lauflängen und zugeordnet er dreier digitaler Farbkomponenten zu kodieren, wobei die Lauflängen jeweils eine erste Digitalwortgröße haben und die drei digitalen Farbkomponenten eine zweite, dritte bzw. vierte Digitalwortgröße haben,
wobei das Verfahren die Schritte umfaßt:
a) Kodieren aller digitalen Farbkomponenten in dem Bild gemäß einer Tabelle in einem Speichermittel von digital komprimierten Farbcodes der visuell signifikantesten Farbkombinationen einer fünften Digitalwortgröße, welche kleiner als die Summe der zweiten, dritten und vierten Digitalwortgröße ist, und
b) Kombinieren jeder der Lauflängen mit einem zugeordneten digital komprimierten Farbcode, um zumindest einen Teil des Bilds in dem Speichermittel darzustellen.
Nach einem weiteren Aspekt sieht die vorliegende Erfindung ein System zum Komprimieren digitaler Farbvideodaten in einem Videosystem vor, welches Mittel aufweist, um ein Farbvideosignal für eine Mehrzahl von Videobildern bereitzustellen, wobei jedes Bild eine Mehrzahl von Abtastzeilen umfaßt, die aus einer Mehrzahl von Pixeln aufgebaut sind, und ein digitalisiertes Farbvideosignal mit drei digitalen Farbkomponenten benutzt,
wobei das Videosystem umfaßt:
- Mittel, um eine Luminanzfunktion für jedes Pixel zu bestimmen,
- Mittel, um auf Grundlage der Luminanzfunktion zu bestimmen, welche Pixel auf jeder Abtastzeile Entscheidungspunkte darstellen, wobei jeder Entscheidungspunkt das Ende einer Lauflänge und den Anfang einer anderen Lauflänge festlegt, und
- Mittel, um zumindest einen Teil der Mehrzahl von Pixeln in jeder Abtastzeile als eine Mehrzahl von Kombinationen der Lauflängen und zugeordneter dreier digitaler Farbkomponenten zu kodieren, wobei die Lauflängen jeweils eine erste Digitalwortgröße besitzen und die drei digitalen Farbkomponenten eine zweite, dritte bzw. vierte Digitalwortgröße besitzen, wobei das System zum Komprimieren von digitalen Farbvideodaten umfaßt:
a) Mittel zum Kodieren aller digitalen Farbkomponenten in dem Bild gemäß einer Tabelle in einem Speichermittel von digital komprimierten Farbcodes der visuell signifikantesten Farbkombinationen einer fünften Digitalwortgröße, welche kleiner als die Summe der zweiten, dritten und vierten Digitalwortgröße ist, und
b) Mittel zum Kombinieren jeder der Lauflängen mit zugeordneten digital komprimierten Farbcodes, um zumindest einen Teil des Bilds in dem Speichermittel darzustellen.
Nach einem weiteren Aspekt sieht die vorliegende Erfindung ein Verfahren zum Dekomprimieren von digitalen Farbvideodaten vor, die in einem Videosystem komprimiert wurden, welches eine Mehrzahl von digitalisierten Signalen verwendet, die eine Mehrzahl von Kombinationen einer Lauflänge einer ersten Digitalwortgröße - wobei die Lauflänge auf Grundlage einer Luminanzfunktion der Pixeldaten der ursprünglichen, nicht komprimierten Farbvideodaten bestimmt wird - und eines zugeordneten digital komprimierten Farbcodes einer zweiten Digitalwortgröße für zumindest einen Teil einer Mehrzahl von Abtastzeilen eines Videobilds darstellen, und eine Tabelle der digital komprimierten Farbcodes für die visuell signifikantesten Farbkombinationen dreier entsprechender digitaler Farbkomponenten verwendet,
wobei das Verfahren die Schritte umfaßt:
a) Aufteilen jeder der Kombinationen in eine Lauflänge und einen zugeordneten digital komprimierten Farbcode,
b) Dekodieren der digital komprimierten Farbcodes gemäß der Tabelle, um in einem Speichermittel eine Tabelle der drei digitalen Farbkomponenten für jede Lauflänge zu bilden, wobei die drei digitalen Farbkomponenten eine dritte, vierte bzw. fünfte Digitalwortgröße haben, deren Summe größer als die zweite Digitalwortgröße ist, und
c) Speichern zumindest eines Teils der Lauflänge und entsprechenden digitalen Farbkomponenten in einem Feld in einem Pufferspeichermittel von Lauflängen- und Digitale-Farbkomponenten-Daten, welche die Mejrzahl von Abtastzeilen in dem Videobild darstellen.
Nach noch einem weiteren Aspekt sieht die vorliegende Erfindung ein System zum Dekomprimieren von digitalen Farbvideodaten in einem Videosystem vor, welches eine Mehrzahl von digitalisierten Signalen verwendet, die eine Mehrzahl von Kombinationen einer Lauflänge und eines zugeordneten digital komprimierten Farbcodes für zumindest einen Teil einer Mehrzahl von Abtastzeilen eines Videobilds darstellen, und eine Tabelle der digital komprimierten Farbcodes für die visuell signifikantesten Farbkombinationen dreier entsprechender digitaler Farbkomponenten verwendet, wobei die Lauflänge von einer ersten Digitalwortgröße ist und auf Grundlage einer Luminanzfunktion der Pixeldaten der ursprünglichen, nicht komprimierten Farbvideodaten bestimmt wird und wobei die digital komprimierten Farbcodes jeweils von einer zweiten Digitalwortgröße sind,
wobei das System umfaßt:
a) Mittel zum Aufteilen jeder der Kombinationen in eine Lauflänge und einer zugeordneten digital komprimierten Farbcode,
b) Mittel zum Dekodieren der digital komprimierten Farbcodes gemäß der Tabelle, um in einem Speichermittel eine Tabelle der drei digitalen Farbkomponenten für jede Lauflänge zu bilden, wobei die drei dekodierten Farbkomponenten eine dritte, vierte bzw. fünfte Digitalwortgröße haben, deren Summe größer als die zweite Digitalwortgröße ist, und
c) Mittel zum Speichern zumindest eines Teils der Lauflänge und der entsprechenden digitalen Farbkomponenten in einem Feld in einem Pufferspeicher von Lauflängen- und Farbkomponenten-Daten, welche die Mehrzahl von Abtastzeilen in dem Videobild darstellen.
Bei einer bevorzugten Ausführungsform werden benachbarte Lauflängen auf jeder Abtastzeile, für die die benachbarten Lauflängen zugeordnete Farbkomponenten haben, welche um weniger als einen vorbestimmten Betrag variieren, zu einer sechsten Digitalwortgröße verknüpft, die größer als die erste Digitalwortgröße der Lauflängen sein kann. Der Lauflängenabschnitt und/oder der den komprimierten Farbkomponentencode enthaltende Abschnitt der Kombinationen von Lauflänge und komprimiertem Farbcode werden vorzugsweise statistisch codiert, indem die Häufigkeit des Vorkommens von Werten eines oder beider Abschnitte bestimmt wird. Eine Mehrzahl verschiedener Codetabellen wird bereitgestellt. Das häufigste Vorkommen von Werten in einem Abschnitt wird in einer ersten Codetabelle durch ein Digitalwort der Größe ein Bit statistisch codiert. Die drei nächsthäufigsten Vorkommen werden ausgewählt und in einer zweiten Codetabelle durch ein Digitalwort der Größe zwei Bit codiert; alle anderen Werte werden in ähnlicher Weise in wengistens einer zusätzlichen Codetabelle mittels einer Digitalwortgröße codiert, die größer als zwei Bit ist. Es werden auch Vorkehrungen getroffen, um optional Unterschiede von Zeile zu Zeile und Unterschiede von Bild zu Bild zu codieren und eine Bewegung unverwechselbarer bzw. unterscheidender Ränder von Folgen von Kombinationen aus Lauf länge und komprimiertem Farbcode von Bild zu Bild zu erfassen und zu codieren.
Weitere Gesichtspunkte und Vorteile der Erfindung werden aus der folgenden detaillierten Beschreibung und den beigefügten Zeichnungen ersichtlich werden, welche beispielhaft die Merkmale der Erfindung veranschaulichen.
Figur 1 ist ein schematisches Diagramm des Systems und Verfahrens zum Komprimieren von Farbvideodaten in einem Videokommunikationssystem;
Figur 2 ist eine Luminanzdarstellung über eine Abtastzeile in einem Videobild;
Figur 3 zeigt eine Lauflängendarstellung von Merkmalen in einer Videoabtastzeile;
Figur 4 zeigt eine Lauflängendarstellung von Übergängen um Steigungsentscheidungspunkte einer Videoabtastzeile;
Figur 5 zeigt eine Darstellung der rekonstruierten Videoabtastzeile zur Sichtanzeige;
Figur 6 zeigt eine Darstellung, wie die Lauflängendaten in Sichtanzeigedaten mit Übergängen zwischen Läufen umgewandelt werden;
Figur 7 ist ein schematisches Diagramm eines Verfahrens und Systems zum Dekomprimieren von Farbvideodaten in einem Videokommunikationssystem;
Figur 8 zeigt das System und Verfahren zum Komprimieren von Farbvideodaten in einem Videokommunikationssystem, welches ein zusätzliches Prozessorsubsystem umfaßt;
Figur 9 ist ein detaillierteres schematisches Diagramm einer kombinierten Ein/Ausgabe-Steuersektion, einer Prozessorsektion sowie einer Eingabekonstruktionsmaschine und einer Rekonstruktionsmaschine;
Figur 10 ist ein Ablaufdiagramm, das die Komprimierung der Digitalwortgrößen von Lauflänge und Farbkomponenten darstellt;
Figur 11 ist ein Ablaufplan, der die zusätzliche Signalverarbeitung von Farbvideodaten darstellt;
Figur 12 zeigt das System und Verfahren zum Dekomprimieren der Farbvideodaten in einem Videokommunikationssystem, welches ein zusätzliches Prozessorsubsystem umfaßt;
Figur 13 ist ein Ablaufdiagramm der Decodierung der zusätzlichen Datenkompressionsverarbeitung von Figur 11;
Figur 14 ist ein Ablaufdiagramm, das die Dekomprimierung der verarbeiteten Digitalworte für Lauflänge und Farbkomponenten der Figur 10 darstellt; und
Figur 15 ist eine Darstellung eines dreidimensionalen Farbwürfels.
Wie in den Zeichnungen dargestellt, ist bei einer bevorzugten Ausführung der Erfindung das Videokommunikationssystem in der Lage, ein Farbvideobild mit einer RGB-Videokamera zu erstellen, welche ein analoges RGB-Signal mit den üblichen 60 Halbbildern ("fields") pro Sekunde erzeugt, wobei jedes Halbbild die Hälfte des Bilds in einem Zeilensprungmodus darstellt. Das von der Kamera 10 erzeugte Signal für die Videobilder wird von einem Analog/Digital-Wandler 12 empfangen, welcher die analogen Rot-,Grün- und Blau-Komponenten (RGB) in digitale RGB-Komponenten wandelt, die jeweils als Digitalworte von 6 Bit digitalisiert werden, unter Bildung von 18 Bit langen Bitpaketen für die RGB-Komponenten für jedes Pixel des Farbvideobilds.
Die Art der zur Erzeugung des quellenseitigen Farbvideobilds verwendeten Vorrichtung ist nicht entscheidend für die Erfindung, da eine Kamera, die ein standardmäßiges NTSC-Kompositsignal erzeugt, das in ein digitales RGB-Ausgangssignal umgewandelt wird, ebenso geeignet sein würde wie eine Kamera, die eine andere Halbbildrate verwendet als die 60/sec-Rate einer NTSC-Kamera. Auch der Ausgang der Kamera muß nicht notwendigerweise RGB sein, da andere Gruppen dreier Farbkomponenten verwendet werden können, um Farbvideobilder zu erzeugen und zu übertragen. Die drei digitalen Farbkomponentensignale können beispielsweise CyaQ, Magenta und Gelb sein, Farbton, Sättigung und Intensität oder sogar zwei verschiedene Farben und ein dritter, auf dem gesamten Videosignal basierender Parameter, wie beispielsweise Farbton, Sättigung oder Intensität eines ursprünglichen analogen Videosignals, so daß man eine gewisse automatische Gewichtung der von der Kamera erzeugten Farbinformation hätle.
Es ist auch nicht wesentlich, daß die drei Farbkomponenten durch die gleiche Anzahl von Bits dargestellt werden, da es in der Fernsehindustrie bekannt ist, daß gewisse Farbbereiche nicht gleichermaßen leicht vom menschlichen Auge wahrgenommen werden. Eine derartige Gewichtung der Information könnte z.B. eine Reduzierung der Zahl von Bits beinhalten, die bei einem RGB-Schema für die Rot-Komponente verwendet werden, wodurch die Übertragung von mehr tatsächlich wahrnehmbaren Abstufungen der restlichen Farbinformation möglich ist.
Außerdem kann die Quelle der zu komprimierenden Farbvideobilder ein Speichermittel sein, wie beispielsweise eine Bildplatte, ein Speichermedium für Computerdateien, ein Videoband oder dergleichen, von dem aus die Farbvideoinformation verarbeitet werden kann, um sie in das Farbvideodatenkompressionssystem der Erfindung einzugeben.
Das digitalisierte RGB-Signal wird von dem Übergangsmaschinenteil 14 der Bilderfassungsmaschine 16 empfangen, welche vorzugsweise integrierte Schaltungsmittel und zugeordnete Speichermittel umfaßt. Der erste Hauptteil der Bilderfassungsmaschine ist die Übergangsmaschine, die Schaltkreise zur Bestimmung einer Luminanzfunktion au Basis des die drei Farbkomponenten beinhaltenden Videosignals für jedes Bildelement - oder Pixel - jeder Abtastzeile in der von der analogen Eingangsstufe des Systems ezeugten Folge von Videobildern umfaßt. Bei dem bevorzugten Modus summiert der Luminanzkonverter 18 für jedes Pixel in den Abtastzeilen des Videobilds die Bits jeder der drei digitalen Farbkomponten, um einen Luminanzwert (oder Intensitätswert) zu erhalten, und führt eine weitere Verarbeitung der erhaltenen Daten durch. Bei dem System der vorliegenden Erfindung enthält jede Abtastzeile vorzugsweise 480 Pixel, was der Auflösung der Kamera entspricht und für eine bessere Auflösung sorgt, als sie typischerweise beim Stand der Technik erreichbar ist, bei dem allgemein nur 256 Pixel pro Abtastzeile verwendet werden. Zur Aufstellung der Luminanzfunktion kann die Luminanz der drei Farbkomponenten gewichtet werden, um einer Farbe oder zwei Farben eine größere Bedeutung zu geben; sie kann auch zum Teil auf einem ursprünglichen analogen Quellenvideosignal basieren. Vorzugsweise basiert die Luminanzfunktion jedoch zum Teil zumindest auf der Summe der drei digitalen Farbkomponenten. Die aus der Summe der drei Farbkomponenten von 6 Bit abgeleitete Luminanzfunktion weist daher eine Digitalwortgröße von 8 Bit auf. Diese Luminanzfunktion für jedes Pixel wird in der Eingabeerfassungsmaschine benutzt, um einen oder mehr Entscheidungsparameter auf Basis der Luminanzfunktion zur Bestimmung solcher Pixel zu berechnen, die als Entscheidungspunkte dienen, bei denen der eine oder mehr Entscheidungsparameter als von einem voreingespeicherten Satz von Schwellwerten abweichend befunden wird.
Die Luminanzfunktion ist eine exzellente Anzeige für Farbänderungen im Bild oder Bewegungen von Objekten im Bild. In der Bilderfassungsmaschine können der auf der Luminanzfunktion basierende eine oder mehr Entscheidungsparameter auch als Basis verwendet werden zur Bestimmung von Unterschieden von Zeile zu Zeile und von unterscheidenden bzw. auffälligen Pixelfolgen, welche Ränder bzw. Kanten von Objekten festlegen, die als sich von Bild zu Bild bewegend festgestellt werden können. Im allgemeinen unterliegt die Luminanz oder eine andere Kombination von Farbkomponenten, welche die Luminanzfunktion umfaßt, signifikanten Änderungen dort, wo sich die Eigenschaften des Bilds ändern.
Bedingt durch Rauschen in der Farbschaltauflösung ("color sampling resolution") bringt die Kamera auch Anomalien oder Artefakte in das Videobild ein, die idealerweise eliminiert werden sollten, um die zu übertragende Datenmenge zu reduzieren, da sie nichts nützliches zu dem Bild beitragen. Wenn das Bild mit einem neuen Halbbild zu jedem sechzigsten Teil einer Sekunde angezeigt wird, wird die Wirkung solcher Anomalien durch das menschliche Auge herausgemittelt. Bereiche, die gleichmäßig erscheinen und wenige echte Details haben, scheinen bei naher Betrachtung zu "kriechen". Diese Erscheinung ist auch als "Moskito-Effekt" bekannt. Wenn ein Bild eingefroren wird, so daß nur ein Halb- oder Vollbild untersucht wird, nimmt das Bild ein körniges, gesprenkeltes Aussehen an. Auf die Luminanzdaten wirkt sich das Rauschen in Form sehr kleiner Anderungen in der berechneten Luminanz aus. Wenn das Bild digitalisiert wird, wandelt der Digitalisierungsprozeß auch alle diese Artefakte in digitale Darstellungen um, obwohl sie eigentlich kein Bilddetail darstellen. Die Luminanzverarbeitung in der Bilderfassungsmaschine arbeitet dahingehend, solche bedeutungslosen Details zu eliminieren.
Eine bevorzugte Methode zur Eliminierung der durch Rauschen in den Luminanzdaten hervorgerufenen, unwesentlichen Details ist, die Punkte der Änderung wenigstens teilweise auf Basis der Luminanzfunktion für Pixel in den Abtastzeilen fest zustellen, indem Unterschiede in einem oder mehreren Entscheidungsparametern mit entsprechenden adaptiven Schwellen verglichen werden. Vorzugsweise setzen sich die Entscheidungsparameter zusammen aus Differenzen der Luminanzfunktion zwischen Pixeln, die zwischen nahegelegenen, n+1, n+2 oder auch weiter entfernten Pixeln (Diff-1) in einer Abtastzeile festgestellt werden, wobei n die Position des auf Luminanzänderungen hin untersuchten Pixels auf einer Abtastzeile ist, aus Differenzen zwischen benachbarten ersten Differenzen (Diff-2) und einem kumulativen Parameter (Cum-diff), welcher eine Summe der einzelnen Differenzfunktionen Diff-1 und Diff-2 ist. Jeder Entscheidungsparameter weist seine eigene entsprechende adaptive Schwelle auf, welche einen Voreinstellungswert hat, der Modifikationen durch das System in Antwort auf Bediener- oder Prozessoreinstellungen zugänglich ist. Vorzugsweise weist die adaptive Schwelle einen Voreinstellungswert auf, der durch die Eingabeerfassungsmaschine ansprechend auf bedienerseitige Auswahlen für die Auflösung eingestellt werden kann. Die Wahl der Schwellenparameter für die Bestimmung entweder der Merkmals- oder der Übergangsentscheidungspunkte ist eher subjektiv. Die Wahl der Parameter bestimmt die Zahl der zur Bilddefinition erforderlichen Datenpunkte und bestimmt letzendlich auch die Wahrnehmungsqualität des Bilds.
Typischerweise werden für die Merkmalslauflängenbestimmung zwei Schwellen verwendet. Eine ist die kumulative Änderung der Luminanz seit dem letzten Entscheidungspunkt, Cumdiff. Cumdiff setzt einen Entscheidungspunkt, wenn es größer als 6 war und die Anzahl der Pixel seit dem letzten Entscheidungspunkt mehr als 5 betrug. Ein weiterer Entscheidungsparameter ist die Summe zweier benachbarter Differenzwerte, Diff2 (dies ist das gleiche wie die Differenz zwischen Luminanzwerten, welche zwei Pixel voneinander entfernt sind) . Wenn die Berechnung des Diff2-Werts ergibt, daß er größer als typischerweise 32 ist, gibt die Logik zu erkennen, daß die Zeile einen einen Entscheidungspunkt identifizierenden Rand erreicht, und behält die Rand-Charakteristik bei, bis der Diff2-Wert unter 20 fällt. Wenn der Rand-Modus angeregt ist, wird die Farbe des nächsten Pixels auf dasjenige Pixel zurückgeführt, an dem die Feststellung des Beginns des Rands getroffen wurde. Wenn außerdem Diff2 das Vorzeichen wechselt, bedeutet dies einen neuen Entscheidungspunkt. Eine Änderung der Werte für die Cumdiff-Schwellen beeinflußt in hohem Maße die Qualität und Datenkomplexität des Bilds.
Bei der Steigungsbestimmung von Entscheidungspunkten (Scheitelpunkten) werden drei allgemeine Bedingungen verwendet. An dem Entscheidungspunkt wird eine Anfangssteigung bestimmt, und alle Messungen basieren auf dieser Steigung. Die Anfangssteigung, INITS, wird bestimmt, indem die folgende, NDIFF2 genannte Funktion berechnet wird:
NDIFF2 = (Luminanz(i+2) - Luminanz(i))/2
INITS ist der Wert von NDIFF2 unmittelbar nach dem Entscheidungspunkt.
CUMDIFF ist im Steigungsfall in der folgenden Weise definiert:
CUMDIFF(i) = CUMDIFF(i-1) + NDIFF2(i)
Wenn der Absolutwert von CUMDIFF typischerweise größer als 20 ist und die Zahl der Pixel in der Lauf länge typischerweise größer als 10 ist, wird ein Entscheidungspunkt ausgelöst. In ähnlicher Weise wird, wenn der Absolutwert von NDIFF2 kleiner oder gleich typischerweise 4 ist und die Lauflänge typischerweise größer als 5 ist, ein Entscheidungspunkt ausgelöst, sofern nicht auch der letzte Entscheidungspunkt in dieser Weise ausgelöst wurde. Auch der dritte Entscheidungsparameter basiert auf NDIFF2:
TRIGVAL(i) = NDIFF2(i) - INITS
Die Schwelle für TRIGVAL wird üblicherweise im Bereich von 4 bis 10 festgelegt und löst einen Entscheidungspunkt jedesmal dann aus, wenn der Absolutwert den festgelegten Wert erreicht oder übersteigt und die Lauflänge wenigstens zwei Pixel beträgt. Andere Methoden können verwendet werden; diese scheinen aber bei einer akzeptablen Zahl von Datenpunkten Bilder mit guter Qualität zu ergeben.
Eine graphische Darstellung eines typischen Verlaufs der Luminanz über eine Zeile eines Videobilds ist in Figur 2 gezeigt. Die Luminanzfunktion der von der Abtastzeile 36 gekreuzten Pixel ist durch die Linie 38 graphisch dargestellt. Wie in Figur 3 gezeigt, resultiert ein Graph der auf einem Vergleich eines der Entscheidungsparameter mit der entsprechenden adaptiven Differenzschwelle bei einer Merkmalscodiertechnik basierenden Entscheidungspunkte in einer Stufenlinie 40, einer Folge horizontaler gerader Linien längs des Luminanzmusters. Jede horizontale Linie stellt eine gesonderte Länge einer speziellen Farbe dar.
Ein zweiter Weg, der zur Eliminierung der unwesentlichen Details verwendet werden kann, ist eine Übergangs- oder Steigungscodiertechnik, die in Figur 4 veranschaulicht ist. Bei dieser Technik wird die Änderungsrate der Differenzen in dem Entscheidungsparameter zwischen Pixeln bestimmt, und die Änderungsraten dieser Differenzen werden mit einer adaptiven, voreingespeicherten Differenzänderungsratenschwelle verglichen, um Entscheidungspunkte oder Scheitelpunkte zu bestimmen. Diese Änderungspunkte oder Entscheidungspunkte sind als X auf der Linie 39 angezeigt. Sie geben den Ort des nächsten Scheitelpunkts an. Sowohl für die Merkmalscodier-, als auch für die Steigungscodiertechnik ist eine "Lauflänge" als die Pixeldistanz zwischen Entscheidungspunkten definiert. Nach der Übergangs- oder Steigungscodiertechnik resultieren die Luminanzdaten in einer Linie 42, welche eine Reihe von Scheitelpunkten oder Steigungsentscheidungspunkten darstellt, die verwendet werden können, um die Farbsegmente zwischen Entscheidungspunkten zu steuern. Eine Zeichenmaschine kann einen weichen Übergang von Farbwerten für die Lauflänge zwischen Entscheidungspunkten schaffen, wenn die codierte Information wiedergewonnen werden soll. Bei dieser Methode wird für jede Abtastzeile eine Anfangsfarbe übertragen, gefolgt von so vielen Folgen von Lauflänge und Farbwerten, wie zur Darstellung des Bildinhalts notwendig sind. Bei jeder Implementierung wird die Information als Reihe von Steigungen angezeigt. Für die lauflängencodierten Daten werden künstliche Farbsteigungen in die Anzeigezeile eingefügt, wie in Figur 5 gezeigt. In diesem Fall werden die Steigungen als Funktion der Luminanzverschiebung zwischen Läufen und der Länge der benachbarten Läufe erzeugt, wie in Figur 6 gezeigt.
In der Bilderfassungsmaschine der Figur 1 kann der Entscheidungspunktdetektor 26 zur Bestimmung von Entscheidungspunkten alternativ in der Lage sein, jede dieser Methoden zur Festlegung der Entscheidungspunkte in der Farbe der Pixel im Bild zu benutzen, da jede Methode ihre jeweiligen Vor- und Nachteile hat. Die Merkmalscodiertechnik ist typischerweise eher für Bilder mit einer Komplexität an Objekten mit unterscheidungskräftigen Rändern oder Linien geeignet. Auf der anderen Seite eignet sich die Steigungscodiertechnik am meisten für die Codierung langsamer Übergänge in der Schattierung oder langsamer Farbwechsel, kann jedoch eine zusätzliche Codierung erfordern, um komplexe Bilder mit Figuren darzustellen, welche viele Ränder und Linien aufweisen. Bei der bevorzugten Implementierung der Steigungscodiertechnik wird eine Folge von Schwellen mit Entscheidungsparametern verglichen, und es werden bei der Bestimmung von Entscheidungspunkten auch der kumulative Parameter (Cum-diff) und eine adaptive kumulative Schwelle benutzt, um jenen langsamen, allmählichen Änderungsraten der Luminanz Rechnung zu tragen, die noch in einer akkumulierten Luminanzänderung resultieren würden, welche signifikant genug ist, um die Identifizierung eines Entscheidungspunkts zu verdienen.
In dem Lauflängenprozessor 28 wird auf die Dreikomponenten- Farbcodes so eingewirkt, daß die zwei niedrigstwertigen Bits der 6 Bit Werte für die Farbkomponenten fallengelassen werden, was jede der Farbkomponenten bei der bevorzugten Arbeitsweise auf Digitalworte von vier Bit reduziert. Alternativ kann bei einer bevorzugten Ausführungsform die Übergangsmaschine auch eine vorbestimmte Farbkartendarstellung von Dreikomponenten-Farben enthalten, wobei ein Code von n Bit einer bestimmten Farbkombination entspricht. Die Figurenfarben werden hier so nah wie möglich in Entsprechung zu den Farben in der Farbkarte gebracht. Als weitere Alternative können die Farbcodes auch gerundet werden. Diese abgeschnittenen oder reduzierten digitalen Farbkomponenten werden dann mit den Lauflängen zwischen Entscheidungspunkten im Lauflängenprozessor 28 codiert. Obowohl die bevorzugte Bitgröße für die reduzierten Farbkomponenten 4 Bit ist, können die reduzierten digitalen Farbkomponenten verschiedener Größen sein, genauso wie auch die Eingabedigitalwortgröße für die Farbkomponenten vom Analogeingang her zur Variierung des Informationsgehalts von unterschiedlichen Größen sein kann. Eine spezielle Kombination von Digitalwortgrößen für Farbkomponenten kann eine reduzierte Größe für die Rot-Komponente wegen der in der Industrie erkannten reduzierten Wahrnehmbarkeit dieser Komponente beinhalten.
Die Merkmals- und Steigungscodiertechniken erlauben es, eine variable Anzahl von Bits zur Darstellung eines Anfangsbildes und dann von Änderungen in nachfolgenden Bildern zu verwenden, um die minimale Zahl von Bits für jedes Bild zu codieren. Dies ist eine wesentliche Verbesserung gegenüber dem Stand der Technik, der typischerweise einen Block von 4 x 4 oder 3 x 3 Pixeln analysiert, um die Information in einem solchen Block zu komprimieren, was stets in der gleichen Anzahl zur Darstellung des Informationsgehalts in dem Bild benutzter Bits resultiert, egal ob Änderungen außerhalb des Segments aufgetreten sind oder nicht.
Der zweite Hauptteil der Bilderfassungsmaschine ist der Erfassungspufferspeicher (CBM) 29, der die codierten Lauflängen und reduzierten Farbkomponenten empfängt, welche etwa 200 Datenzeilen von dem Bild darstellen. Alternativ können kleinere Anzahlen von Abtastzeilen gespeichert werden, beispielsweise 150 oder 100 Zeilen, wenn die benötigte Datenrate zu hoch wird, um Bilder mit der gewünschten Geschwindigkeit zu senden. Die Lauflängen- und Farbkomponenteninformation in dem Erfassungspufferspeicher wird dann zum Videodatenprozessor 30 übertragen, welcher mittels einer Zugriffssteuerung 35 auf die Lauflängen- und Farbdaten in dem Erfassungspufferspeicher zugreift und als Schnittstelle arbeitet, um die Videoinformation in ein zur Übertragung durch das Modem 32, das an das Telefon 34 angeschlossen ist, geeignetes Format zu transformieren und umzuwandeln, und der Mittel zur weiteren Komprimierung der Videodaten - bei 33 - umfassen kann. Die Videodaten können auch mit einem in einem Altbildspeicher 31 gespeicherten, früheren Bild verglichen werden.
In einem Vereinfachungsprozessor 33 eines Videodatenprozessors 30 ist es möglich, den Unterschied zwischen Farbwerten von Pixeln weiter zu analysieren, nachdem die Farbcodes zur Vorsehung der reduzierten Farbkomponentencodes gekürzt worden sind, und Lauflängen von solchen reduzierten Farbkomponentencodes zu verknüpfen, die um weniger als einen gegebenen Schwellenwert variieren, oder Lauflängen der reduzierten Farbcodes auf Basis der Abweichung eines oder mehrerer der Entscheidungsparameter bezüglich einer entsprechenden Schwelle weiter zu verknüpfen. Da der Lauflängencode typischerweise maximal 4 Bit lang ist, um mit Lauflängen- und Farbcode- Kombinationen von 16 Bit - bei Computerbussen von 16 Bit in der momentanen Implementierung - kompatibel zu sein, würde die Verknüpfung einer Folge von Pixeln für jede Lauflänge der Erwartung nach die Codierung von bis zu 16 Pixeln pro Lauflänge ermöglichen. Allerdings werden bei der momentanen Implementierung die Werte 0 bis 15 verwendet, um Lauflängen von 2 bis 17 Pixel darzustellen, da Lauflängen von 0 und 1 bedeutungslos sind. Alternativ können zu Anfang auch längere Lauflängen festgelegt werden, wie sie mit Computerbussen anderer Kapazität kompatibel sein können, um Lauflängen von mehr als 4 Bit und Lauflängen-Farbcode-Kombinationen von mehr als 16 Bit zu ermöglichen.
Wie zuvor erwähnt, werden die Grenzen der Komprimierung, die zur adäquaten Glättung der Information bei einer Echtzeit- Abfolge der Videobilder in der Telekommunikation erforderlich sind, bei etwa 15 Bildern pro Sekunde für die Übertragung über herkömmliche Telefonleitungen erwartet. Es wäre möglich, ein Modem mit 1200 bps (Bit pro Sekunde) zu verwenden; dies würde aber die in dem Kommunikationssystem mögliche Zahl von Bildern pro Sekunde erheblich herabsetzen. Idealerweise ist das System für einen Halbduplex-Modus ausgelegt; bei einer Auslegung für Vollduplex-Modus würde man erwarten, daß zwei Telefonleitungen erforderlich sind. Idealerweise ist das zu verwendende Modem eines, das die größtmögliche Bandbreite ausnutzt; es kann ein konventionelles Modem mit 2400 bps oder 9600 bps sein oder es können spezielle Modems verwendet werden, die höhere Bitraten bereitstellen.
Mit Bezug auf Figur 7 empfängt bei der bevorzugten Ausführungsform ein Telefon 43 ein übertragenes Signal von einem Sender-Modem über gewöhnliche Telefonleitungen; das Empfänger-Modem 44 wandelt diese Signale in ein von einem Videodatenprozessor 46 empfangbares, elektronisch digitalisiertes Format um. Der Videodatenprozessor paßt die digitalisierten Signale, die die codierte Lauflängen- und Farb-Information darstellen, an ein Format an, das zum Empfang durch die Zeichenmaschine 62 geeignet ist. Die Zeichenmaschine der Rekonstruktionsmaschine 48 wandelt die Lauflängendaten in Steigungsform um und präsentiert sie Pixel für Pixel dem Digital/Analog-Wandler zur Verwendung durch den Monitor. Alternativ könnte die Videoprozessorschnittstelle dazu ausgelegt sein, die komprimierten Farbvideodaten von einem Computersystem 66 zu empfangen, das die Information von magnetischen Medien, beispielsweise einer Festplatte oder Disketten hoher Kapazität, oder von einem Bildplattenabspielgerät bezieht, um eine viel längere Reihe von Videobildern - in einer Form wie beispielsweise für einen Videofilm - anzuzeigen. Der Videodatenprozessor umfaßt vorzugsweise Mikroprozessormittel und zugehörige Speichermittel (nicht gezeigt), welche zur Ausführung verschiedener Funktionen programmiert sind. Eine bevorzugte Funktion ist, eine Gesamtdarstellung der Bilddaten mit Lauflängen und Farbcodes aus einem Altbildspeicher 52 der letzten Bilddaten und einem Feld derjenigen Lauflängen und Farbcodes zu rekonstruieren, welche sich gegenüber dem letzten Bild geändert haben. Diese Differenzrekonstruktionsfunktion 45 präpariert Bilddaten zur Lauflängenrekonstruktion bei 50 und Farbcoderekonstruktion 56 unter Verwendung von Steuersignaien, welche in die Lauflängen- und Farb-Daten eingebettet sind.
Wenn die Lauflängen- und Farbinformation von dem Videodatenprozessor 46 der Rekonstruktionsmaschine 48 empfangen wird, besitzen die digitalisierten Signale typischerweise eine Digitalwortgröße von 16 Bit. Die Zahl kann abhängig von der verwendeten Art der statistischen Codierung variieren. Als Alternative kann ein Farbcode (der 4 bis 8 Bit lang sein kann) verwendet werden, um spezielle Farben aus einer Karte oder Palette auszuwählen, so daß weniger Bits gesendet werden müssen. Von einer Eingabekonstruktionsmaschine komprimiert und codiert, wie zuvor beschrieben, würde die Digitalwortgröße des tatsächlich verarbeiteten Lauflängenabschnitts typischerweise 4 Bit sein und die Digitalwortgröße des Farbcodeabschnitts 12 Bit sein. Wie zuvor erwähnt, ist die bevorzugte Aufteilung der Bitgrößen der Codes für die drei Farbkomponenten derart, daß jede digitale Farbcodekomponente eine Digitalwortgröße von 4 Bit hat. Wie dem auch sei, können nur kleine Teile des Bilds, die sich tatsächlich geändert haben, tatsächlich codiert sein, wobei geeignete Steuerdaten zum Überspringen von Lauflängen, die sich nicht geändert haben, in die übertragene Information eingebettet sind. Die Lauflängenrekonstruktions- oder -decoderfunktion 50 des Videodatenprozessors wirkt dahingehend, den Lauflängenabschnitt von dem digitalisierten Signal zu trennen, und die Farbcoderekonstruktionsfunktion 56 des Videodatenprozessors - zum Decodieren der Farbcodes - kann die digitalen Farbkomponenten von den eingehenden digitalisierten Signalen trennen. Eine höhere bzw. fortschrittliche Signalverarbeitung und Datenkomprimierung kann jedoch auch die Verknüpfung von Lauflängen zu einer Digitalwortgröße von 8 oder 9 Bit beinhalten, so daß die Lauflängendecoderfunktion dann auch dahingehend arbeiten würde, die Digitalwortgröße von 8 oder 9 Bit in Digitalwortabschnitte von 4 Bit zu trennen. In dem Fall, daß die Lauflängencodes zu einer Digitalwortgröße von 8 oder 9 Bit verknüpft werden, würde auch der Farbcodeabschnitt fortschrittlichen Datenkompressionstechniken unterworfen worden sein, um die drei digitalen Farbcodes von jeweils 4 Bit auf einen kombinierten Farbcodeabschnitt zu reduzieren, welcher eine Digitalwortgröße von 8 Bit aufweist. Die Farbrekonstruktionsfunktion 56 würde dann auch dahingehend wirken, die digitalen Farbcodes von 8 Bit in drei digitale Farbcodes der Digitalwortgröße 4 Bit zu wandeln.
Von dem Lauflängendecoder und den Farbcodesektionen der Rekonstruktionsmaschine wird die Lauflängen- und Farbcodeinformation von dem Videodatenprozessor über die Zugriffsund Zeitsteuerungsschaltung 54 in der Zeichenmaschine 62 zu einem Zeichenmaschinenanzeigepufferspeicher 57 übertragen, welcher idealerweise Doppelspeicherpuffer - Pingpong A 58 und Pingpong B 60 - umfaßt. Die Zugriffs- und Zeitsteuerung 54 sendet unter Leitung des Videoprozessors die rekonstruierte Lauflängen- und Farbinformation zur Speicherung in einem der Pingpong-Pufferspeicherabschnitte, bis die Information für ein einzelnes Bild vollständig ist; dieses Bild wird dann angezeigt, während die nächste, von dem System empfangene sequentielle Bildinformation gesendet und in ähnlicher Weise in dem zweiten Abschnitt des Anzeigepufferspeichers gespeichert wird. Jeder Block des Anzeigepufferspeichers muß eine ausreichende Kapazität haben, um ein Überlaufen des Speichers durch die Lauflängen- und Farbcodeinformation zu vermeiden; es hat sich herausgestellt, daß ein Direktzugriffsspeicher bzw. RAM einer Kapazität von 32 K 16 Bit Digitalworten für die Bildrekonstruktion geeignet ist.
Die Zeichenmaschine 62 umfaßt einen Pixelgenerator 61 zum Umwandeln der in den einzelnen Pingpong-Speichern gespeicherten Lauflängen und Farbcodes in einzelne Punkte zur Anzeige auf einem Monitor 64. Die Zugriffs- und Zeitsteuerung 54 der Zeichenmaschine ist verantwortlich für den gesamten Anzeigezeitablauf und die Steuerung für den Pixelgenerator. Die Zeichenmaschine erzeugt einen Schreibtaktimpuls, um die Läufe von Farbinformation in die Reihe von Punkten zu schreiben, die zur Anzeige von digital nach analog zu wandeln sind.
Bei der bevorzugten Ausführungsform zur Pixelerzeugung aus merkmalscodierten Lauflängendaten wird jedes Ende einer Lauflänge einer bestimmten Farbkombination wesentlich abgeschwächt, um einen weichen Farbübergang von einer Lauflänge zu einer anderen vorzusehen. Die resultierende, geglättete rekonstruierte Videozeile 41 ist in Figur 6 dargestellt. Wenn eine Lauflänge kurz ist, ist dies üblicherweise ein Hinweis darauf, daß sich das Farbniveau schnell ändert. Wenn die Lauflänge lang ist, zeigt dies üblicherweise an, daß sich das Farbniveau langsam ändert. Wenn die Anderung der Luminanzfunktion - durch einen der Entscheidungsparameter gegeben - groß ist, zeigt dies üblicherweise eine hohe Wahrscheinlichkeit für einen Rand bzw. eine Kante in einem Bild an; wenn dagegen die Änderung klein ist, ist dies wahrscheinlich ein Hinweis auf einen Schattierungseffekt. Auf Basis der Lauflängen und eines oder mehrerer Entscheidungsparameter bestimmt der Pixelgenerator, wo Zwischenentscheidungspunkte gesetzt werden sollen und interpoliert weiche Farbübergänge für jede der RGB-Farbkomponenten von einem Zwischenentscheidungspunkt zum nächsten. Die Enden jeder Abtastzeile machen in ähnlicher Weise einen Übergang durch, wenn sie mit einer anderen Farbe in Berührung stehen, so daß der Beginn und das Ende einer Abtastzeile dem Ende benachbart einen einzelnen Zwischenentscheidungspunkt haben können, um einen relativ scharfen Übergang vom Rand des Bilds zur benachbarten Farbe zu definieren. Die Interpolation wird vorzugsweise linear durchgeführt, kann alternativ aber auch so gestaltet sein, daß gekrümmte Flächen getreuer dargestellt werden. Wenn das Bild steigungscodiert ist, erzeugt das Pixel einen weichen Übergang von einem Scheitelpunkt zum nächsten, ohne einen Zwischenentscheidungspunkt einzufügen.
Der Pixelgenerator der Zeichenmaschine umfaßt alle notwendigen funktionalen Sektionen, um die Farbinterpolation zwischen Paaren von durch die Lauflängen bezeichneten Punkten aus zuführen, und wandelt bevorzugt die Farbkomponenten von 4 Bit in drei separaten Kanälen - einen für jede der RGB-Komponenten - in Digitalworte von entweder 6 oder 8 Bit für eine Genauigkeit von 6 oder 8 Bit um. Eine Erhöhung der Bitgröße erlaubt es dem Pixelgenerator, weichere Abstufungen der Farbübergänge zwischen Pixeln unterschiedlicher Farben zu erzeugen. Obwohl beispielsweise Digitalwortgrößen von 4 Bit bis zu 4096 Farbkombinationen von Rot-, Grün- und Blau-Komponenten erlauben, wären nur bis zu 16 Abstufungen jeder der Farbkomponenten möglich. Eine Erhöhung der Bitgröße auf 6 läßt bis zu 64 Abstufungen jeder einzelnen Komponente und bis zu 262.144 Gesamtkombinationen zu. Eine Digitalwortgröße von 8 Bit ermöglicht einen noch größeren Bereich der Abstufungen für eine einzelne Komponente. Wie zuvor erörtert, müssen die vollen Digitalwortgrößen für die Farbkomponenten jedoch nicht gleich sein; tatsächlich können sie so ausgelegt sein, daß sie einen weiteren Farbbereich für eine oder zwei der Farbkomponenten erlauben, auf Kosten einer der Farbkomponenten, die nur eine kleinere Digitalwortgröße erfordern würde, um ihrer Wahrnehmbarkeit Rechnung zu tragen. Der Pixelgenerator erzeugt daher dynamisch eine vollständige digitale Darstellung der Pixel eines anzuzeigenden Bilds auf einer Pixel-für- Pixel-Basis; diese Information wird auf drei RGB-Kanälen von dem Pixelgenerator zu dem Digital/Analog-Wandler 63 übertragen, welcher das Videosignal zur Anzeige auf dem Monitor 64 in analoge Form umwandelt.
Bezugnehmend auf die Figuren 1 - 9 entsprechen Elemente, die die Bezugsziffern 110 bis 134 tragen, den die Bezugsziffern 10 bis 34 tragenden Elementen. Figur 8 zeigt eine weitere Ausführungsform mit einer Bilderfassungsmaschine 116, welche einen Videoprozessor 130 aufweist, der dahingehend wirkt, die Daten von der Übergangsmaschine 114 weiter zu vereinfachen und zu komprimieren. Die Ausgabe vom Erfassungspufferspeicher 129 wird von dem Prozessorsubsystem 130 empfangen, das eine standardmäßige Eingabe und Ausgabe und Steuerung 166 aufweist. Die Standard-Ein/Ausgabe 166 kann typischerweise eine Tastatur, eine Diskettensteuerung, einen Datums- und Zeittakt sowie einen Monitorausgang und eine Monitorsteuerung umfassen. Der Ausgang vom Prozessorsubsystem ist typischerweise mit einem Modem 132 verbunden, das wiederum mit einem Telefon 134 zu Übertragung der komprimierten Information über gewöhnliche Telefonleitungen verbunden ist. Es kann mehr als ein Modem verwendet werden, um schnellere Bildanzeigeraten oder höherwertige Farbbilder vorzusehen.
Mit Bezug auf Figur 9 ist das Videodaten-Prozessorsubsystem 168, das die nachfolgend weiter zu erläuterenden Komprimierungs- und Dekomprimierungsfunktionen des Videoprozessors 130 und des Videoprozessors 146 ausführt, höchst vorzugsweise dazu ausgelegt, sowohl mit einer Bilderfassungsmaschine (I.C.E.), als auch einer Rekonstruktionsmaschine (R.C.E.) zur Verwendung bei der Komprimierung und Dekomprimierung von Videofarbdaten in einem dialogfähigen Kommunikationssystem verbunden zu werden. Wo jedoch das Prozessorsubsystem zur Komprimierung der Farbvideoinformation verwendet wird, sollte es einleuchtend sein, daß die Rekonstruktionsmaschine nicht mit dem gleichen Prozessorsubsystem verbunden sein muß, wie es mit der Eingabekonstruktionsmaschine verbunden ist. Wenn ein Videokommunikationssystem so aufgebaut ist, daß die Schaltung für das Bilderfassungssystem Teil einer Kamera ist und die Schaltung für die Rekonstruktionsmaschine Teil eines Anzeigemonitors ist, würden von der Bilderfassungsmaschine und der Rekonstruktionsmaschine im allgemeinen verschiedene Prozessorsubsysteme 130 und 146 benutzt werden.
Wie in Figur 9 dargestellt ist, empfängt das gemeinschaftliche Videodaten-Prozessorsubsystem eine Eingabe von einem gemeinschaftlichen Erfassungsspeicherpuffer 170 zum Empfang einer Eingabe von der Bilderfassungsmaschine und sendet vorzugsweise auch eine Ausgabe an einen gemeinschaftlichen Anzeigespeicherpuffer 172, welcher Sektionen 154, 158 und 160 der Zeichenmaschine enthält, zur Ausgabe an die Rekonstruktionsmaschine. Jeder dieser Speicherpuffer benötigt ausreichende Kapazität, um ein Überlaufen der codierten Information zu vermeiden; in der Praxis hat sich herausgestellt, daß ein Speicherplatz von 32 K mal 16 Bit für diese Zwecke adäquat ist. Vorzugsweise wird der Speicherpuffer 170 auch zur Eingabe und Ausgabe zwischen der Bilderfassungsmaschine und dem Videodatenprozessor gemeinsam benutzt; der Speicherpuffer 172 mit seiner Doppel-Pingpong-Speichersektion wird in ähnlicher Weise zur Eingabe und Ausgabe zwischen der Rekonstruktionsmaschine und dem Videodatenprozessor gemeinsam benutzt. Das Prozessorsubsystem umfaßt zwei Mikroprozessoren, welche vorzugsweise Motorola 68020 32 Bit Prozessoren sind, nämlich einen Prozessor "A" 174 und einen Prozessor "B" 176. Da der Prozessor "A" typischerweise die meisten der Verarbeitungsfunktionen des Prozessorsubsystems ausführt, ist er mit einem eigenen Datenspeicher "A" 178 von 512 K Byte versehen. Der Prozessor "A" ist mit einer geringeren Speichermenge in einem Speicher "B" 180 von 256 K Byte versehen. Zwischen dem Prozessor "A" und dem Prozessor "B" ist zur Kommunikation zwischen den Prozessoren auch ein Dual-Port-RAM 182 von 16 K Byte vorgesehen. Zusätzlich sind Dual-Port-RAMs 184 und 186 von 32 K Byte als Puffer zwischen den Prozessoren "A" und "B" und der Ein/Ausgabe-Prozessorsektion 166 vorgesehen.
Der Mikroprozessor "C" 188 für die Ein/Ausgabe-Steuersektion 166 ist vorzugsweise ein Intel 80286 mit DRAM-Auffrischung und einem Direktspeicherzugriff 190 zur Diskettensteuerung und einem DRAM 192 von 512 K Byte. Eingabe/Ausgabe-Ports 194 sind allgemein für die Standard-Ein/Ausgabe bestimmt, die Plattenlaufwerke, eine Tastatur, einen Monitor u.dgl. umfassen können.
Die Arbeitsweise der Bilderfassungsmaschine und des Prozessorsubsystems 130 mit Vereinfachungs- und Komprimierungsfunktion wird mit, Bezug auf die Figuren 8, 10 und 11 beschrieben. Die Lauflängen 200 einer Folge von Pixeln in einer Abtastzeile mit ähnlichen Farbwerten werden als Digitalworte von 9 Bit bestimmt, welche in der Bilderfassungsmaschine zu Digitalworten 201 von 4 Bit geteilt werden. Die zur Bestimmung der Luminanzfunktionen in der Sektion 118 verwendeten RGB-Farbkomponenten 202a, b, c sind Digitalworte von 6 Bit, die zur Bestimmung von Entscheidungspunkten für Lauflängen in der Entscheidungspunktlogik 126 verwendet werden. Diese Farben werden gekürzt, indem die zwei niedrigstwertigen Bits von jedem 6 Bit Wort in der Farbcodekürzungsschaltung 120 entfernt werden, um Digitalworte 204a, b, c von 4 Bit zu bilden. Der Lauflängencodierer 128 bildet eine Reihe von Lauflängen- und RGB-Farbcode-Kombinationen 205 in den Erfassungspufferspeicher 129 ab, als Vorbereitung der weiteren Verarbeitung des Prozessorsubsystems 130. Bei der bevorzugten Ausführungsform der Erfindung bildet eine vorbestimmte Voreinstellungsfarbkarte 214 in der Farbcodesektion 120, die aus einer Nachschlagetabelle einzelner Kombinationen der drei Farbkomponenten, beispielsweise RGB-Werten, und entsprechender 8 Bit Codes besteht, 256 der visuell signifikantesten Farbkombinationen aus 4096 möglichen ab, die aus den drei gekürzten RGB-Codes von 4 Bit erhalten werden. Vorzugsweise ist die Farbkarte durch das Videodaten-Prozessorsubsystem veränderbar.
Die 256 in die Farbkarte aufzunehmenden Farbcodekombinationen werden auf der folgenden Grundlage bestimmt. Unter der Annahme, daß jede RGB-Farbkomponente als 4 Bit Code dargestellt ist, ist ein Bereich von 16 Abstufungen jeder Farbkomponente möglich. In der Praxis treten in von einer Videokamera einfangenen Bildern die Farben an den Rändern jedes Abstufungsbereichs jedoch selten auf. Statistische Auswertungen einer breiten Vielfalt von Videokameras eingefangener Szenen lassen eine gemeinsame Verteilung der Farben erkennen. Um diese Verteilung zu veranschaulichen, ergibt eine zweidimensionale Darstellung eines Grün-Bereichs von 0 bis 16 längs einer vertikalen Achse nach unten - bei einem Blau-Bereich von 0 bis 16 auf einer horizontalen Achse nach rechts - ein ovalförmiges Muster in der Mitte entlang einer Achse von 0,0 bis 15,15. Wenn man eine dritte Rot-Dimension hinzufügt, ergibt sich eine wurstförmige Verteilung der visuell signifikantesten Farbkombinationen aus einer breiten Vielfalt möglicher Szenen und Bilder. Eine aus einem Randbereich dieser wurstförmigen Verteilung ausgewählte Kombination hat sich als praktisch nicht unterscheidbar von einer Farbkombination an einem nahegelegenen Randbereich des dreidimensionalen Farbblocks herausgestellt; und innerhalb der wurstförmigen Verteilung sind nahe beieinanderliegende Farbkombinationen ebenfalls praktisch ununterscheidbar. Durch sorgfältige Auswahl von 256 repräsentativen Farbkombinationen aus Blöcken innerhalb dieser wurstförmigen Verteilung kann somit eine Farbkarte der visuell signifikantesten Farbkombinationen aufgestellt werden, auf die man wahrscheinlich stößt. In der Praxis hat sich herausgestellt, daß ein RGB-Verhältnis von 4:3:2 Farben in den Hauttonbereichen erzeugt; diese Information kann verwendet werden, um die Farbverhältnisverteilung auszubalancieren, wobei der primäre Faktor die subjektive Erscheinung ist.
Der Farbabbildungsprozeß macht Verwendung von der Beobachtung, daß die meisten in der Natur vorkommenden Farben nicht sehr rein sind. Figur 15 zeigt einen Farbwürfel mit keiner Farbe - Schwarz - in der vorderen unteren linken Ecke und Weiß, das maximales Rot, Grün und Blau ist, in der oberen rechten hinteren Ecke. Grün nimmt vom Schwarz-Ursprung, wo alles Null ist, nach rechts zu. Blau nimmt von Schwarz in Richtung zur unteren linken hinteren Ecke hin zu und Rot ist durch eine Anzahl von Ebenen dargestellt, welche konstante Rot-Niveaus repräsentieren. Rot nimmt in Richtung zur Oberseite des Würfels zu. Auf diese Weise können alle möglichen Farben in dem Würfel bis zu einer Genauigkeit dargestellt werden, die von der Zahl der Bits abhängt, die jeder Farbkomponente zugeordnet sind. Jede spezielle Farbe kann durch die Koordinaten eines Punkts innerhalb des Würfels dargestellt werden.
Alle realen Farben scheinen in starkem Maße längs einer Wurstgestalt gebündelt zu sein, welche von der Schwarz-Ecke in einem Aufwärtsbogen zur Weiß-Ecke verläuft. Da die Farben konzentriert sind, wobei keine natürlichen Farben in den reinen Rot-, Grün-, Blau-, Magenta-, Cyan- oder Gelb-Ecken auftreten, ist es möglich, die Anzahl der Farbcodes von den 4096 möglichen und durch jeweils 4 Bit für Rot, Grün und Blau dargestellten zu reduzieren. Die durch 206 dargestellten Ovale identifizieren diejenigen Bereiche, die mit einiger Präzision wiedergegeben werden müssen, weil sich hier die realen Farben konzentrieren.
Es ist tatsächlich nur notwendig, für Fleischtöne eine getreue Wiedergabe zu haben, wobei geringe Fehlfarben in anderen Bereichen eher akzeptabel sind, weil die Personen auf der Empfangsseite nicht genau wissen, welche Farben auf der Sendeseite des Systems vorhanden waren, obwohl ein Korrekturprozeß Anwendung finden kann, falls dies wichtig ist. Der Weg zur Erzeugung der Farbkarte war, feine Farbabstufungen in den Fleischtönen festzulegen, bei umso gröberen Abstufungen, je weiter die erfaßte Farbe von der zentralen "Wurst" weg ist. Die Karte wurde empirisch aus einer Untersuchung der Farbverteilungen bei einer großen Anzahl von Bildern und einer Anpassung der Kartenparameter zur Erzielung akzeptabler Ergebnisse hergeleitet. Der Korrekturprozeß besteht darin, die aktuellen Farben, die in jedem der Kartenbereiche auftreten, zu analysieren und das Kartensegment zu korrigieren, so daß es die detektierten Farben in der Szene getreuer repräsentiert. Der Prozeß ist durchaus subjektiv, scheint aber gut zu funktionieren.
Im Prozessorsubsystem wird ein Histogramm der RGB-Farbcodes 212 für sämtliche Lauflängenkombinationen statistisch verarbeitet, um die als Nachschlagetabelle zu verwendende Farbkarte 214 zu aktualisieren. Selbst mit den 4 Bit Farbcodes für jede der RGB-Komponenten würden theoretisch bis zu 4096 verschiedene Farbkombinationen erreichbar sein. In der Praxis hat sich herausgestellt, daß eine Gruppe von 256 sorgfältig ausgewählten Farbkombinationen durchaus genügt, um als Scheitelfarben für die Zeichenmaschine zu dienen, um das Bild mit bis zu 262.144 Farben bei einer 6 Bit Farbrekonstruktion jeder der drei Farbkomponenten aufzubauen. Alternativ sind weitere Abstufungen möglich, indem jede der drei Farbkomponenten als 8 Bit Code rekonstruiert wird. Daher kann das Histogramm der 256 häufigsten RGB-Farbkombinationen verwendet werden, um die als Reihe von 8 Bit Digitalworten codierten Farben in der Farbcode-Nachschlagetabelle oder Farbkarte 214 zu modifizieren. Da jede Farbkombination in der Farbkarte einen Block von Farbbereichen darstellt, kann das Farbhäufigkeitshistogramm verwendet werden, um zur getreueren Farbwiedergabe eine häufiger auftretende Farbkombination innerhalb ihres Farbblocks als repräsentative Farbkombination zu substituieren. Da diese repräsentativen Farben innerhalb des Farbblocks für diese Farben liegen, sind die von dem System bcstimmten substituierten Farben visuell signifikant und sind nicht lediglich nach der Häufigkeit des Auftretens im Bild ausgewählt.
Das Erfordernis der RGB-Farbinformation nach 12 Bits zur Darstellung des Maxmimums von 4096 Farben ist so auf eine Tabelle von 256 Digitalworten von 8 Bit reduziert, um die 256 visuell signifikantesten Farben darzustellen. Weniger häufig auftretende Farben, die jenseits der Grenze von 256 Farben liegen können, können außerdem zwangsweise in Übereinstimmung mit der gleichen Färbung wie die nächste Farbcodekombination in der Farbkarte gebracht werden, ohne die Genauigkeit der Farben in dem zu übertragenden Bild wesentlich zu verringern. Sobald die Farbcodes in Form von 8 Bit Digitalworten 206 vorliegen, welche mit dem 4 Bit Lauflängenabschnitt 207 kombiniert werden können, k&nn der 4 Bit Lauflängencode, der bei der bevorzugten Ausführung der Lauflängencodierung tatsächlich eine Lauflänge von 2 bis 17 Pixeln darstellt, statistisch verarbeitet werden, um ein Digitalwort 208 variabler Länge vorzusehen, das in der schließlich vollständig verarbeiteten Lauflängen-Farbcode-Kombination 210 zusammenzutragen ist. Die Lauflängencodes können von einem Bit für häufigste Längen bis zu 8 oder 10 für selten auftretende Längen variieren. Somit kann die Lauflänge 2 bis 257 Pixel darstellen, was theoretisch ausreichen würde, um eine ganze Abtastzeile von 512 Pixeln in zwei Lauflängen-Farbcode-Kombinationen darzustellen. Somit werden die Lauflängen von 4 Bit - wo möglich - bei 216 verknüpft, bevor schließlich die Lauflängen- und Farbcode-Kombinationen bei 218 codiert werden. Um der Codierung der 8 Bit RGB-Farbkomponenten in den Lauflängenkombinationen Rechnung zu tragen, ist es außerdem notwendig, die Farbcode-Nachschlagetabelle 214 als eine Tabelle von 256 einzelnen Farbcodes von 4 Bit für jede der RGB-Komponenten zu konstruieren und zu codieren, die mit den Farbcode-Lauflängen-Kombinationen übertragen werden würde, um einem Empfänger oder Übersetzer der Bildinformation die Decodierung der komprimierten Farbinformation zu ermöglichen.
Eine höhere Verarbeitung und Komprimierung der Lauflängen- Farbcode-Kombinationen kann zusätzlich in der Sektion 220 für höhere Verarbeitung stattfinden. Ähnlich der Differenzierung und dem Vergleich von Pixel zu Pixel zur Bestimmung der Entscheidungspunkte in der Eingabekonstruktionsmaschine können benachbarte Abtastzeilen verglichen werden, um eine Tabelle von Abtastzeilen aufzustellen, welche sich von der vorherigen Abtastzeile in Richtung der Abtastung nicht unterscheiden, so daß die Zeilen oder Zeilenabschnitte lediglich dupliziert werden können. Dies würde eine weitere Komprimierung der Lauflängen- und Farbcode-Kombinationen 210 als Differenzentabelle 222 erlauben. Eine weitere, Subbildverarbeitung genannte Technik kann verwendet werden, um die Datenmenge zu reduzieren, welche gesendet werden muß, um auf der Empfangsseite eines Systems ein neues Bild zu aktualisieren. Diese Subbildverarbeitungstechnik fragt jede n-te Zeile ab und setzt für jedes Bild die Verarbeitung nur mit diesen Zeilen fort. Unterscheidungskräftige Segmente von Lauflängen- Kombinationen, die eine Kante bzw. einen Rand zu bilden scheinen, können in einem Rand-Detektor 224 erfaßt werden, um die Verschiebung solcher Segmente von Bild zu Bild mittels einer Bewegungsanalyse 226 zu überwachen, die vorzugsweise die Bewegung solcher Abtastzeilensegmente in Gruppen von Abtastzeilensegmenten verfolgen kann gemäß jeder Horizontalverschiebung, jedem Schrumpfen, jedem Wachsen oder jeder Vertikalverlagerung solcher Segmente oder nahezu jeder Kombination solcher Bewegungen. Ein weiteres Niveau der Komprimierung beinhaltet die Differenzierung von Bild zu Bild durch Vergleich der in den Lauflängen- und Farbcode-Kombinationen enthaltenen Information vom letzten Bild mit dem momentanen Bild und Decodierung eines Sprungcodes, um jene Bereiche zu identifizieren, die sich nicht geändert haben, so daß nur diejenigen Lauflängen- und Farbcodekombinationen bei 228 codiert werden, die sich geändert haben.
Schließlich codiert das Prozessorsubsystem vorzugsweise auch die vom Prozessorsubsystem zu übertragenden Lauflängen- und Farbcode-Kombinationen durch Bestimmung eines Histogramms des Auftretens der Lauflängen- und Farbcode-Kombinationen. Die bevorzugte Form der statistischen Codierung in dieser Phase ist der Huffman-Codierung ähnlich und beinhaltet die Zuordnung der am häufigsten vorkommenden Kombination zu einer Tabelle von 1 Bit Digitalworten bei 230. Diese Tabelle ist auf der Empfangsseite des Systems zu benutzen, indem man sich auf einen oder den anderen der Bitzustände des 1 Bit Digitalworts bezieht, um diese am häufigsten vorkommende Lauflängen- Kombination in einer entsprechenden Lauflängen-Farbcode- Tabelle einzutragen. Wenn beispielsweise die Tabelle eine binäre Eins anzeigt, würde in die Empfangstabelle die Lauflängen-Farbcode-Kombination eingetragen werden und sie ansonsten mit einer Null-Markierung belassen bleiben, die anzeigt, daß die Stelle in der Tabelle später einzutragen war. Die drei nächsthäuf igsten Kombinationen werden dann als Digitalworte der Länge 2 Bit dargestellt, wobei einer der binären Bitzustände wiederum anzeigt, daß die Empfangstabellenposition später zu füllen war, und die drei am nächsthäufigsten auftretenden Kombinationen werden an ihren jeweiligen Positionen in die entsprechende Empfangstabelle eingetragen. Eine Tabelle für 3 Bit Digitaiworte kann dann in ähnlicher Weise konstruiert werden, um die sieben am nächsthäufigsten auftretenden Werte zu bezeichnen, wobei einer der binären Bitzustände später einzutragende Werte darstellt, usw., bei einer Digitajwortgröße von am Ende 8 Bit, die zur Darstellung der verbleibenden Farbcodekombinationen verwendet wird. Dieser Prozeß kann auf andere Gruppierungen als die vorbeschriebenen 1, 2, 3, n Bit Gruppierungsfolgen angewendet werden. Höchstvorzugsweise wird diese statistische Codierung der komprimierten Lauflängen-Farbcode-Information zumindest einzeln für die Farbcodes durchgeführt, wobei die Lauflängenabschnitte dann als separate Liste bzw. Tabelle von 8 Bit Digitalworten codiert und empfangen werden; es ist aber auch möglich, die Lauflängenabschnitte von 8 Bit in ähnlicher Weise gesondert statistisch zu codieren und eine separate, statistisch codierte Tabelle für die Lauflängen-Anteile der Lauflängen- Farbcode-Kombinationen zu übertragen. Als Alternative können auch andere ähnliche Wege der statistischen Codierung geeignet sein.
Bezugnehmend auf Figur 12, in der die Elemente 143 bis 166 im wesentlichen identisch zu jenen sind, die vorher beschrieben wurden und die Bezugsziffern 43 bis 66 tragen, empfängt beim bevorzugten Modus der Erfindung das Telefon 143 die digitalisierten Audiosignale vom Sendermodem über gewöhnliche Telefonleitungen, das wiederum von dem Empfangsmodem 144 und dem Videodatenprozessor 146 empfangen wird, welcher das digitalisierte Videosignal in eine Form und ein Format aufbereitet, die zum Empfang durch die Zeichenmaschine 162 geeignet sind. Der Videodatenprozessor 146 ist mit der Eingabe/Ausgabe- und Steuersektion 166 verbunden. Die Architektur des Prozessorsubsystems ist im allgemeinen so, wie sie beschrieben und in Figur 9 dargestellt worden ist. Das digitalisierte Signal, das Kombinationen einer Vielzahl von Lauflängen einer ersten Digitalwortgröße und eines digital komprimierten Farbkomponentencodes von zumindest einem Teil einer Vielzahl von Abtastzeilen eines Videobilds darstellt, sowie eine Nachschlagetabelle der digital komprimierten Farbkomponentencodes werden der Decodierung der Farbkomponentencodes gemäß der Nachschlagetabelle unterworfen, um in dem Speicher der Prozessorfarbrekonstruktion bei 156 eine Liste der drei digitalen Farbkomponenten zu bilden; die Lauflänge und die Farbkomponenten werden zum Anzeigepufferspeicher 157 geschickt, welcher den Doppelspeicherraum 172, die Zugriffszeiteinstellung und -steuerung 154 und die zwei Pingpong-Puffer 158 und 160 umfaßt.
Wie bei dem durch die Rekonstruktionsmaschine, die mit Bezug auf Figur 7 erläutert wurde, verarbeiteten Signal empfängt der Lauflängen-Decoder 150 die dekomprimierte Lauflängeninformation zur Decodierung der Lauflängeninformation, und die Farbkomponenteninformation wird in 156 rekonstruiert. Die Farb- und Längeninformation wird mit dem vorherigen Bild 152 zur Abbildung bei 150 und 156 in den Anzeigepufferspeicher 157 verglichen, welcher den Pingpong-Speicher "A" 158 und den Pingpong-Speicher "B" 160 umfaßt. Der Pixelgenerator 161 wird durch den Anzeigepufferspeicher 157 abwechselnd von den Pingpong-Speichern in Anspruch genommen, um die Abtastzeilen des übertragenen Bilds Pixel für Pixel zu rekonstruieren, die dann von digitaler Form in analoge Form in dem Digital/Analog-Wandler 163 zur Anzeige auf dem Monitor 164 umgewandelt werden.
Mit Bezug auf die Figuren 13 und 14 wird bei der bevorzugten Ausführungsform des Prozessorsubsystems 146 der Erfindung vor der im Videodatenprozessor stattfindenden Differenzrekonstruktion die statistische Codierung bei 232 und gegebenenfalls auch bei 234 decodiert durch Aufstellung einer Tabelle im Speicher des Prozessorsubsystems der Lauflänge und zugehörigen Farbcodes, die bei 156 entsprechend der Nachschlagetabelle zu füllen ist, wie zuvor erläutert. Bei den höheren Differenzrekonstruktionsoperationen 145 werden die Tabellen für die Differenzen von Bild zu Bild und die Differenzen von Zeile zu Zeile bei 234 decodiert, um die Differenzen von Bild zu Bild bei 236 oder Änderungen von Zeile zu Zeile bei 238 unter Berücksichtigung des Altbildspeichers 152 zu decodieren. Im Rahmen der Differenzrekonstruktionsoperation werden auch die die Ränder und Bewegungen darstellenden Tabellen bei 240 und 242 decodiert, wobei die Bildinformation zwischen den Rändern durch Interpolation konstruiert wird. Die Aufteilung der Lauflängen der verknüpften Digitalwortgröße in Lauflängen einer 4 Bit Digitalwortgröße bei 246 erfolgt bei der Lauflängenrekonstruktionsoperation 150. Die Decodierung der komprimierten Farbcodes bei der Farbrekonstruktionsoperation 156 gemäß der Nachschlagetabelle erfolgt bei 248, was die Zuordnung der Farbkomponentencodes von 4 Bit, 6 Bit oder 8 Bit zu den Lauflängen zur Speicherung bei 250 im Anzeigepufferspeicher 157 erlaubt.
Somit sind mit Bezug auf Figur 14 bei der statistischen Decodierung des vollständig komprimierten digitalisierten Signals die rekonstruktierten Tabellen diejenigen der Lauflänge 256 der Digitalwortgröße 4 Bit und des komprimierten RGB-Farbcodes 254 der Digitalwortgröße 8 Bit. Der Lauflängen- Farb-Decoder behandelt den Lauflängenabschnitt separat, um den Lauflängenabschnitt 256 der Digitalwortgröße 4 Bit vorzusehen; die komprimierten RGB-Farbcodes der Digitalwortgröße 8 Bit werden decodiert, um die einzelnen RGB-Komponenten 256a, 256b und 256c der Digitalwortgröße 4 Bit vorzusehen. Die Lauflänge von 4 Bit und die digitalen RGB-Farbcodes von 4 Bit werden in den Pufferspeicher zur Verarbeitung durch die Rekonstruktionsmaschine und Übertragung zum Pixelgenerator abgebildet, wo die digitalen Farbkomponenten von 4 Bit als Interpolation von digitalen RGB-Komponenten 258a, 258b und 258c von 6 Bit für einzelne Pixel zwischen Start- und Stop- Punkten ausgedrückt werden, welche die Lauflänge darstellen.
Obwohl die Erfindung im Zusammenhang mit einem Videotelefonkonferenzsystem beschrieben wurde, kann die Erfindung auch zur Verwendung bei der Dekomprimierung von Farbvideodaten von magnetischen Medien, wie beispielsweise Festplatten oder magnetischen 3 1/2 Zoll Floppy-Disks hoher Kapazität, welche bei der Speicherung und beim Austausch solcher Daten über Computersysteme verwendet werden können, oder von Videoplatten für Videoplattenabspielgeräte, welche die Information in Form eines Videofilms übertragen können, ausgelegt werden.
Bei der vorangehenden Beschreibung wurde demonstriert, daß das Verfahren und System der Erfindung die Komprimierung und Wiedergewinnung von Farbvideodaten durch Abschneiden am wenigsten signifikanter Information von den Farbkomponentencodes und statistisches Codieren der visuell signifikantesten Farbcodekombinationen ermöglichen. Die Erfindung gestattet auch die Komprimierung und Wiedergewinnung von Videofarbdaten nach einer weiteren Verarbeitung der Farbvideodaten durch weitere Komprimierung der Daten, indem verknüpfte Lauflängen, Differenzen von Zeile zu Zeile, eine Bewegung von Bildsegmenten und solche Bildteile, die sich geändert haben, codiert werden, um die zu codierende Informationsmenge auf die minimale Menge zu reduzieren. Die Erfindung sieht ferner die zusätzliche Codierung und Decodierung von Daten gemäß einer Form einer statistischen Codierung vor, die eine weitere Reduzierung der durch das System zu übertragenden Informationsmenge ermöglicht.

Claims

1. Verfahren zum Komprimieren digitaler Farbvideodaten in einem Videosystem, welches Mittel (10, 11; 110, 112) aufweist, um ein Farbvideosignal für eine Mehrzahl von Videobildern bereitzustellen, wobei jedes Bild eine Mehrzahl von Abtastzeilen umfaßt, die aus einer Mehrzahl von Pixeln aufgebaut sind, und ein digitalisiertes Farbvideosignal mit drei digitalen Farbkomponenten benutzt,

wobei das Videosystem umfaßt:

- Mittel (18; 118), um eine Luminanzfunktion für jedes Pixel zu bestimmen,

- Mittel (26; 126), um auf Grundlage der Luminanzfunktion zu bestimmen, welche Pixel auf jeder Abtastzeile Entscheidungspunkte darstellen, wobei jeder Entscheidungspunkt das Ende einer Lauflänge und den Anfang einer anderen Lauflänge festlegt, und

- Mittel (28, 29; 128, 129) , um zumindest einen Teil der Mehrzahl von Pixeln in jeder Abtastzeile als eine Mehrzahl von Kombinationen der Lauflängen und zugeordneter dreier digitaler Farbkomponenten zu kodieren, wobei die Lauflängen jeweils eine erste Digitalwortgröße haben und die drei digitalen Farbkomponenten eine zweite, dritte bzw. vierte Digitalwortgröße haben,

wobei das Verfahren die Schritte umfaßt:

a) Kodieren aller digitalen Farbkomponenten in dem Bild gemäß einer Tabelle (24) in einem Speichermittel von digital komprimierten Farbcodes der visuell signifikantesten Farbkombinationen einer fünften Digitalwortgröße, welche kleiner als die Summe der zweiten, dritten und vierten Digitalwortgröße ist, und

b) Kombinieren jeder der Lauflängen mit einem zugeordneten digital komprimierten Farbcode, um zumindest einen Teil des Bilds in dem Speichermittel darzustellen.

2. Verfahren nach Anspruch 1, ferner umfassend den Schritt:

Modifizieren der Tabelle (214), indem bis hin zu einer vorbestimmten Anzahl die visuell signifikantesten Farbkombinationen der digitalen Farbkomponenten in wenigstens einem Teil des Bilds bestimmt und wenigstens eine der vorbestimmten Anzahl der visuell signifikantesten Farbkombinationen der digitalen Farbkomponenten gegen wenigstens eine entsprechende vorhandene Farbkombination in der Tabelle ersetzt werden.

3. Verfahren nach Anspruch 1, ferner umfassend den Schritt:

Verknüpfen benachbarter Lauflängen auf jeder Abtastzeile, für die die benachbarten Lauflängen zugeordnete digital komprimierte Farbcodes aufweisen, welche um weniger als eine vorbestimmte Farbdifferenzschwelle variieren, zu einer sechsten Digitalwortgröße, die größer als die erste Digitalwortgröße ist.

4. Verfahren nach Anspruch 1, ferner umfassend den Schritt:

Statistisches Kodieren in dem Speichermittel der Lauflängen und/oder des zugeordneten digital komprimierten Farbcodes der Kombinationen von Lauflänge und zugeordnetem digital komprimierten Farbcode, indem die Häufigkeit des Vorkommens von Werten der Lauflänge und/oder des digital komprimierten Farbcodes bestimmt wird, eine Mehrzahl von Codetabellen bereitgestellt wird, das häufigste Vorkommen ausgewählt wird, das häufigste Vorkommen in einer ersten Codetabelle durch ein Digitalwort der Größe ein Bit dargestellt wird, die drei nächsthäufigsten Vorkommen ausgewählt werden, die drei nächsthäufigsten Vorkommen in einer zweiten Codetabelle durch ein Digitalwort der Größe zwei Bit dargestellt werden und alle anderen Vorkommenshäufigkeiten in wenigstens einer zusätzlichen Codetabelle durch eine Digitalwortgröße dargestellt werden, die größer als zwei Bit ist.

5. Verfahren nach Anspruch 1, ferner umfassend den Schritt:

Bestimmen von unterscheidenden Rändern einer Folge der Kombinationen von Lauflänge und zugeordnetem digital komprimierten Farbcode in wenigstens einer Abtastzeile für jedes Bild und Kodieren einer Tabelle von Änderungen in den Folgen zwischen den unterscheidenden Rändern als eine Tabelle in dem Speichermittel, die eine Bewegung der Folge nacheinander von einem Bild zu einem anderen Bild darstellt.

6. System zum Komprimieren digitaler Farbvideodaten in einem Videosystem, welches Mittel (10, 12; 110, 112) aufweist, um ein Farbvideosignal für eine Mehrzahl von Videobildern bereitzustellen, wobei jedes Bild eine Mehrzahl von Abtastzeilen umfaßt, die aus einer Mehrzahl von Pixeln aufgebaut sind, und ein digitalisiertes Farbvideosignal mit drei digitalen Farbkomponenten benutzt,

wobei das Videosystem umfaßt:

- Mittel (18; 118), um eine Luminanzfunktion für jedes Pixel zu bestimmen,

- Mittel (28, 29; 128, 129), um zumindest einen Teil der Mehrzahl von Fixein in jeder Abtastzeile als eine Mehrzahl von Kombinationen der Lauflängen und zugeordneter dreier digitaler Farbkomponenten zu kodieren, wobei die Lauflängen jeweils eine erste Digitalwortgröße besitzen und die drei digitalen Farbkomponenten eine zweite, dritte bzw. vierte Digitalwortgröße besitzen,

wobei das System zum Komprimieren von digitalen Farbvideodaten umfaßt:

a) Mittel (212, 214) zum Kodieren aller digitalen Farbkomponenten in dem Bild gemäß einer Tabelle (214) in einem Speichermittel von digital komprimierten Farbcodes der visuell signifikantesten Farbkombinationen einer fünften Digitalwortgröße, welche kleiner als die Summe der zweiten, dritten und vierten Digitalwortgröße ist, und

b) Mittel (28, 29; 128; 129) zum Kombinieren jeder der Lauflängen mit zugeordneten digital komprimierten Farbcodes, um zumindest einen Teil des Bilds in dem Speichermittel darzustellen.

7. System nach Anspruch 6, ferner umfassend Mittel (212) zum Modifizieren der Tabelle (214), indem bis hin zu einer vorbestimmten Anzahl die visuell signifikantesten Farbkombinationen der digitalen Farbkomponenten in wenigstens einem Teil des Bilds bestimmt werden, und zum Ersetzen wenigstens einer der vorbestimmten Anzahl der visuell signifikantesten Farbkombinationen der digitalen Farbkomponenten gegen wenigstens eine entsprechende vorhandene Farbkombination in der Tabelle (214).

8. System nach Anspruch 6, ferner umfassend Mittel (216) zum Verknüpfen benachbarter Lauflängen auf jeder Abtastzeile, für die die benachbarten Lauflängen zugeordnete digital komprimierte Farbcodes aufweisen, welche um weniger als eine vorbestimmte Farbdifferenzschwelle variieren, zu einer sechsten Digitalwortgröße, die größer als die erste Digitalwortgröße ist.

9. System nach Anspruch 6, ferner umfassend Mittel (230) zum statistischen Kodieren in dem Speichermittel der Lauflängen und/oder des zugeordneten digital komprimierten Farbcodes der Kombinationen von Lauflänge und zugeordnetem digital komprimierten Farbcode, indem die Häufigkeit des Vorkommens von Werten der Lauflänge und/oder des zugeordneten digital komprimierten Farbcodes bestimmt wird, zum Bereitstellen einer Mehrzahl von Codetabellen, zum Auswählen des häufigsten Vorkommens, zum Darstellen des häufigsten Vorkommens in einer ersten Codetabelle durch ein Digitalwort der Größe ein Bit, zum Auswählen der drei nächsthäufigsten Vorkommen, zum Darstellen der drei nächsthäufigsten Vorkommen in einer zweiten Codetabelle durch eine Digitalwortgröße von zwei Bit und zum Darstellen aller anderen Vorkommenshäufigkeiten in wenigstens einer zusätzlichen Codetabelle durch eine Digitalwortgröße, die größer als zwei Bit ist.

10. System nach Anspruch 6, ferner umfassend Mittel (224) zum Bestimmen von unterscheidenden Rändern einer Folge der Kombinationen von Lauflänge und zugeordnetem digital komprimierten Farbcode in wenigstens einer Abtastzeile für jedes Bild und zum Kodieren einer Tabelle in dem Speichermittel von Änderungen in den Folgen zwischen den unterscheidenden Rändern als eine Tabelle in dem Speichermittel, die eine Bewegung der Folge nacheinander von einem Bild zu einem anderen Bild darstellt.

11. Verfahren zum Dekomprimieren von digitalen Farbvideodaten, die in einem Videosystem komprimiert wurden, welches eine Mehrzahl von digitalisierten Signalen verwendet, die eine Mehrzahl von Kombinationen einer Lauflänge einer ersten Digitalwortgröße - wobei die Lauflänge auf Grundlage einer Luminanzfunktion der Pixeldaten der ursprünglichen, nicht komprimierten Farbvideodaten bestimmt wird - und eines zugeordneten digital komprimierten Farbcodes einer zweiten Digitalwortgröße für zumindest einen Teil einer Mehrzahl von Abtastzeilen eines Videobilds darstellen, und eine Tabelle (248) der digital komprimierten Farbcodes für die visuell signifikantesten Farbkombinationen dreier entsprechender digitaler Farbkomponenten verwendet,

wobei das Verfahren die Schritte umfaßt:

a) Aufteilen jeder der Kombinationen in eine Lauflänge und einen zugeordneten digital komprimierten Farbcode,

b) Dekodieren der digital komprimierten Farbcodes gemäß der Tabelle (248), um in einem Speichermittel eine Tabelle der drei digitalen Farbkomponenten für jede Lauflänge zu bilden, wobei die drei digitalen Farbkomponenten eine dritte, vierte bzw. fünfte Digitalwortgröße haben, deren Summe größer als die zweite Digitalwortgröße ist, und

c) Speichern zumindest eines Teils der Lauflänge und entsprechenden digitalen Farbkomponenten in einem Feld in einem Pufferspeichermittel (57) von Lauflängen- und Digitale-Farbkomponenten-Daten, welche die Mehrzahl von Abtastzeilen in dem Videobild darstellen.

12. Verfahren nach Anspruch 11, bei dem die Lauflänge der Kombinationen verknüpfte Lauflängen umfaßt, wobei das Verfahren ferner den Schritt umfaßt:

Aufteilen der verknüpften Lauflänge und entsprechenden digitalen Farbkomponenten in eine Mehrzahl von unverknüpften Lauflängen und entsprechenden digitalen Farbkomponenten mit einem Lauflängen-Teil einer sechsten Digitalwortgröße, welche kleiner als die erste Digitalwortgröße ist.

13. Verfahren nach Anspruch 11, bei dem die Mehrzahl von digitalisierten Signalen, die eine Mehrzahl von Kombinationen von Lauflänge und zugeordnetem digital komprimierten Farbcode darstellen, mit Bezug auf eine Mehrzahl von Codetabellen gemäß der Haufigkeit des Vorkommens der digital komprimierten Farbcodes statistisch kodiert worden sind, wobei das Verfahren ferner die Schritte umfaßt:

Dekodieren der statistisch kodierten Kombinationen von Lauflänge und zugeordnetem digital komprimierten Farbcode, indem das häufigste Vorkommen der Werte auf ein Feld gemäß einer Tabelle von digitalen Worten der Größe ein Bit abgebildet wird, Abbilden der drei nächsthäufigsten Vorkommen der Werte gemäß einer Codetabelle, die eine Digitalwortgröße von zwei Bit für jeden Wert in dem Feld umfaßt, und Abbilden aller anderen Werte in dem Feld gemäß einer Tabelle von Werten mit einer Digitalwortgröße, die größer als zwei Bit ist.

14. Verfahren nach Anspruch 11, bei dem unterscheidende Ränder eines Bildsegments, dargestellt durch Kombinationen von Lauflänge und zugeordnetem digital komprimierten Farbcode in wenigstens einer Abtastzeile, in einer Tabelle für jedes Bild kodiert worden sind, welche Änderungen in den Folgen als Bewegung des Bildsegments nacheinander von einem Bild zu einem anderen Bild darstellt,

wobei das Verfahren ferner den Schritt umfaßt:

Speichern der Änderungen in dem Bildsegment von Kombinationen der Lauflänge und zugeordnetem digital komprimierten Farbcode in dem Feld.

15. System zum Dekomprimieren von digitalen Farbvideodaten in einem Videosystem, welches eine Mehrzahl von digitalisierten Signalen verwendet, die eine Mehrzahl von Kombinationen einer Lauflänge und eines zugeordneten digital komprimierten Farbcodes für zumindest einen Teil einer Mehrzahl von Abtastzeilen eines Videobilds darstellen, und eine Tabelle (248) der digital komprimierten Farbcodes für die visuell signifikantesten Farbkombinationen dreier entsprechender digitaler Farbkomponenten verwendet, wobei die Lauflänge von einer ersten Digitalwortgröße ist und auf Grundlage einer Luminanzfunktion der Pixeldaten der ursprünglichen, nicht komprimierten Farbvideodaten bestimmt wird und wobei die digital komprimierten Farbcodes jeweils von einer zweiten Digitalwortgröße sind,

wobei das System umfaßt:

a) Mittel (45; 145) zum Aufteilen jeder der Kombinationen in eine Lauflänge und einen zugeordneten digital komprimierten Farbcode,

b) Mittel (156) zum Dekodieren der digital komprimierten Farbcodes gemäß der Tabelle (248), um in einem Speichermittel eine Tabelle der drei digitalen Farbkomponenten für jede Lauflänge zu bilden, wobei die drei dekodierten Farbkomponenten eine dritte, vierte bzw. fünfte Digitalwortgröße haben, deren Summe größer als die zweite Digitalwortgröße ist, und

c) Mittel (154) zum Speichern zumindest eines Teils der Lauflänge und der entsprechenden digitalen Farbkomponenten in einem Feld in einem Pufferspeicher (57) von Lauflängen- und Farbkomponenten-Daten, welche die Mehrzahl von Abtastzeilen in dem Videobild darstellen.

16. System nach Anspruch 15, bei dem die Lauflängen der Kombinationen verknüpfte Lauflängen umfassen, wobei das System ferner umfaßt:

Mittel (150,246) zum Aufteilen der verknüpften Lauflänge und entsprechende digitalen Farbkomponenten in eine Mehrzahl von umverknüpften Lauflängen und entsprechenden digitalen Farbkomponenten mit einem Lauflänger-Teil einer sechsten Digitalwortgröße, welche kleiner als die erste Digitalwortgröße ist.

17. System nach Anspruch 15, bei dem die Mehrzahl von digitalisierten Signalen, die eine Mehrzahl von Kombinationen von Lauflänge und zugeordnetem digital komprimierten Farbcode darstellen, mit Bezug auf eine Mehrzahl von Codetabellen gemäß der Haufigkeit des Vorkommens der digital komprimierten Farbcodes statistisch kodiert worden sind, wobei das System ferner umfaßt:

Mittel (232) zum Dekodieren der statistisch kodierten Kombinationen von Lauflänge und zugeordnetem digital komprimierten Farbcode, indem das häufigste Vorkommen der Werte auf das Feld gemäß einer Tabelle von digitalen Worten der Größe ein Bit abgebildet wird, die drei nächsthäufigsten Vorkommen der Werte gemäß einer Codetabelle, die eine Digitalwortgröße von zwei Bit für jeden Wert in dem Feld umfaßt, abgebildet werden und alle anderen Werte in dem Feld gemäß einer Tabelle von Werten mit einer Digitalwortgröße abgebildet werden, die größer als zwei Bit ist.

18. System nach Anspruch 15, bei dem unterscheidende Ränder eines Bildsegments, dargestellt durch Kombinationen von Lauflänge und zugeordnetem digital komprimierten Farbcode in wenigstens einer Abtastzeile, in einer Tabelle für jedes Bild kodiert worden sind, welche Änderungen in den Kombinationen als Bewegung des Bildsegments nacheinander von einem Bild zu einem anderen Bild darstellt,

wobei das System ferner umfaßt:

Mittel (145, 234) zum Speichern der Änderungen in dem Bildsegment von Kombinationen der Lauflänge und zugeordnetem digital komprimierten Farbcode in dem Feld.