DE69315285T2 - Vorrichtung zum Verarbeiten eines Bildsignals - Google Patents
Vorrichtung zum Verarbeiten eines BildsignalsInfo
- Publication number
- DE69315285T2 DE69315285T2 DE69315285T DE69315285T DE69315285T2 DE 69315285 T2 DE69315285 T2 DE 69315285T2 DE 69315285 T DE69315285 T DE 69315285T DE 69315285 T DE69315285 T DE 69315285T DE 69315285 T2 DE69315285 T2 DE 69315285T2
- Authority
- DE
- Germany
- Prior art keywords
- white balance
- color difference
- correction
- coefficient
- color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012937 correction Methods 0.000 claims description 213
- 239000011159 matrix material Substances 0.000 claims description 49
- 230000004044 response Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000010276 construction Methods 0.000 description 4
- 238000000926 separation method Methods 0.000 description 4
- 238000000034 method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/643—Hue control means, e.g. flesh tone control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Processing Of Color Television Signals (AREA)
Description
- Die vorliegende Erfindung betrifft eine Bildsignalverarbeitungsvorrichtung zum Korrigieren des Weißabgleichs unter Verwendung eines Luminanzsignals und Farbdifferenzsignalen.
- Üblicherweise kann das in der Fernsehtechnik benutzte Triniskop, welches drei getrennte Kathoden für die roten, grünen und blauen Bilder verwendet, den Weißabgleich des Bildes halten, indem es sich selbst mit einem für die Farbtemperatur an der Lichtquelle geeigneten Farbfilter abdeckt. Wenn das Abdecken mit dem Filter den Weißabgleich des Bildes nicht zufriedenstellend korrigiert, wird eine weitere Weißabgleichkorrektur durch Manipulieren der RGB-Signalkomponenten mit jeweil igen Weißabgleichkoeffizienten bereitgestellt. Genauer ausgedrückt, die Summe der mit jeweiligen Weißabgleichkoeffizienten manipulierten RGB-Signalkomponenten wird eins sein, wenn ein weißes Papier aufgenommen wird. Auf diese Weise wird ein Schlupf in dem Weißabgleich des Farbbildes in seinen RGB-Signalkomponenten festgestellt und kann durch Manipulieren derselben mit geeigneten Weißabgleichkoeffizienten aufgehoben werden. Eine derartige Weißabgleichkorrektur hat sich als äußerst genau erwiesen.
- Dieses Weißabgleichkorrekturverfahren kann jedoch nur auf die Bildsignalverarbeitungsvorrichtung, die RGB-Signale verarbeitet, angewandt werden. Andererseits verarbeitet die optische Anzeigeeinheit, die einen Bildsensor, z.B. ein CCD (ladungsgekoppeltes Bauelememt), besitzt, im allgemeinen das Luminanzsignal und die Farbdifferenzsignale anstelle der RGB-Signale, so daß die obige wirksame Weißabgleichkorrektur nicht direkt darauf angewandt werden kann. Herkömmlich werden das Luminanzsignal und die Farbdifferenzsignale in RGB-Signale umgewandelt, bevor die Weißabgleichkorrektur darauf angewandt wird. Formel 1 zeigt die auf das Luminanzsignal und die Farbdifferenzsignale angewandte Weißabgleichkorrektur. In Formel 1 ist Y das Luminanzsignal, R-Y und B-Y sind die Farbdifferenzsignale, und Kr, Kg, Kb sind Amplitudenwerte des R-Signals, des G-Signals bzw. des B-Signals. [Formel 1]
- Eine in der Mitte der rechten Seite liegende Matrix wandelt das Luminanzsignal und die Farbdifferenzsignale in die RGB-Signale um, und eine am linken Ende der rechten Seite liegende Matrix zeigt auf das RGB-Signal anzuwendende Weißabgleichkoeffizienten. Wie in Formel 2 gezeigt, stehen Kr, Kg, Kb in Beziehung zueinander, so daß sich der Luminanzpegel des eingegebenen Farbbildsignals nach der Weißabgleichkorrektur nicht ändern wird, und Formel 3 wird durch Einsetzen von Formel 2 in Formel 1 erhalten.
- 0.59Kg = 1-0.3Kr-0.11Kb [Formel 3]
- Die obige Weißabgleichkorrektur hat den Nachteil, daß die Schaltung, die diese implementiert, sehr kompliziert und teuer ist. Sie ist daher für ein handliches und einfaches Bildverarbeitungsgerät, wie z.B. eine Gebrauchs-Videokamera, nicht geeignet.
- Üblicherweise korrigiert eine Gebrauchs-Videokamera den Weißabgleich mit einer Farbregelschaltung, die die Weißabgleichkorrektur in Formel 3 nicht verwendet. Fig. 1 ist ein Blockschaltbild, das den Hauptteil der Bildsignalverarbeitungsvorrichtung mit einer solchen Farbregelschaltung zeigt. Diese Bildsignalverarbeitungsvorrichtung umfaßt einen Farb-CCD-Bildsensor 91, eine Farbregelschaltung 92, eine Gammakorrekturschaltung 93 und einen Codierer 94. Der CCD-Bildsensor 91 gibt das Luminanzsignal Y und die Farbdifferenzsignale R-Y und B-Y als Reaktion auf ein eingegebenes Farbbild aus, die Farbregelschaltung 92 empfängt das Luminanzsignal Y und die Farbdifferenzsignale R-Y, B-Y von dem Farb-CCD-Bildsensor 91 und wendet eine Weißabgleichkorrektur auf diese Signale an, die Gammakorrekturschaltung 93 wendet eine Gammakorrektur auf den Ausgang der Farbregelschaltung 92 an, und der Codierer 94 wandelt den Ausgang der Gammakorrekturschaltung 93 in ein NTSC- (National Television Standard Committee) Signal um.
- Bei dieser Konstruktion läßt die Bildsignalverarbeitungsvorrichtung die Farbregelschaltung 92 den Weißabgleich des eingegebenen Bildes in bezug auf Formel 4 korrigieren. In der Formel bezeichnen Kr und und Kb Weißabgleichkoeffizienten. [Formel 4]
- Gemäß der Weißabgleichkorrektur in der Formel werden die Farbdifferenzkoordinaten (R-Y, B-Y) des eingegebenen Farbbildsignals parallel übertragen. Bei dieser Korrektur kann die am Ursprung liegende weiße Farbe in die gewünschte Farbe korrigiert werden, aber andere Farben können nicht in die gewünschten Farben korrigiert werden. Das heißt, je weiter die Koordinaten des eingegebenen Bildsignals vom Ursprung entfernt sind, mit anderen Worten, das Bildsignal mit höherem Farbsättigungspegel, um so weniger wirksam wird die Weißabgleichkorrektur. Ergebnisse einer solchen Korrektur werden in Tabelle 1-1 gezeigt. In der Tabelle werden ideale Luminanz- und Farbdifferenzsignale mit den in Formel 4 erhaltenen Luminanz- und Farbdifferenzsignalen verglichen, und der Fehler wird vermieden, indem die Weißabgleichkoeffizienten Kr und Kb als 0.03 bzw. 0.07 für Eingänge von R=G=B=0.5 festgelegt werden. Wie aus der Tabelle ersichtlich ist, stimmen das korrigierte Luminanzsignal und die korrigierten Farbdifferenzsignale nicht mit den idealen Signalen überein; insbesondere weicht das Signal B-Y für die Eingangssignale R=0, G=O.2, B=0 um bis zu 50% von dem idealen Signal ab. Ein solcher Unterschied in den Signalen wird ein korrigiertes Farbbild zur Folge haben, das sich von dem gewünschten Farbbild bedeutsam unterscheidet.
- Auch werden in Tabelle 1-1 die Luminanz- und Farbdifferenzsignale in die RGB-Signale umgewandelt, um in der 256-Abstufung ausgedrückt zu werden. Tabelle 1-2 zeigt die in der 256-Abstufung ausgedrückten Korrekturergebnisse. Wie in der Tabelle gezeigt, ist es offensichtlich, daß die korrigierten RGB-Signale bedeutsam von den idealen RGB- Signalen abweichen. Das heißt, was in Tabelle 1-1 herausgefunden wird, wird in Tabelle 1-2 bestätigt. Tabelle 1-1 Vergleich der erfundenen Weißabgleichkorrektur mit der herkömmlichen Weißabgleichkorrektur in der 256-Abstufung. (R:G:B=0.95:1:1.14, Lichtquelle: Glühlampe) Tabelle 1-2 Vergleich der erfundenen Weißabgleichkorrektur mit der herkömmlichen Weißabgleichkorrektur. (R:G:B=0.95:1:1.14, Lichtquelle: Glühlampe)
- Es ist folglich eine Aufgabe der vorliegenden Erfindung, eine Bildverarbeitungsvorrichtung zur Verfügung zu stellen, die die Weißabgleichkorrektur von Luminanz- und Farbdifferenzsignalen mit einer einfachen und kompakten Schaltung implementieren kann.
- Es ist eine andere Aufgabe der vorliegenden Erfindung, eine Bildverarbeitungsvorrichtung zur Verfügung zu stellen, die zur Weißabgleichkorrektur imstande ist, ohne von dem eingegebenen Farbbild mit hohem Sättigungspegel, dessen Koordinaten vom Ursprung der weißen Farbe entfernt sind, abzuweichen.
- Es ist eine weitere Aufgabe der vorliegenden Erfindung, die herkömmliche Bildverarbeitungsvorrichtung für die Weißabgleichkorrektur, die die Formel 3 verwirklicht, zu vereinfachen und eine Weißabgleichkorrektur, die der herkömmlichen gleichwertig ist, mit einer solchen vereinfachten Bildverarbeitungsvorrichtung zu implementieren.
- Es ist eine weitere Aufgabe der vorliegenden Erfindung, eine Bildverarbeitungsvorrichtung zur Verfügung zu stellen, die es möglich macht, sowohl den Farbtonpegel und den Farbsättigungspegel zu steuern als auch den Weißabgleich des eingegebenen Farbbildes zu korrigieren.
- Die obige Aufgabe kann durch eine Bildverarbeitungsvorrichtung erfüllt werden, die eine Farbjustierung, einschließlich der Weißabgleichkorrektur, auf das Lumlnanzsignal und die zwei Farbdifferenzsignale des eingegebenen Farbbildes anwendet, wobei die Bildverarbeitungsvorrichtung umfaßt:
- eine Korrekturkoeffizienten-Erzeugungseinheit zum Erzeugen einer zweireihigen einspaltigen Matrix und einer zweireihigen zweispaltigen Matrix, wobei die zweireihige einspaltige Matrix aus zwei auf das Luminanzsignal anzuwendenden Korrekturkoeffizienten besteht und die zweireihige zweispaltige Matrix aus vier auf die zwei Farbdifferenzsignale anzuwendenden Koeffizienten besteht,
- einen ersten Multiplizierer zum Multiplizieren des Luminanzsignals mit der zweireihigen einspaltigen Matrix,
- einen zweiten Multiplizierer zum Multiplizieren einer zweireihigen einspaltigen Matrix, die die zwei Farbdifferenzsignale enthält, mit der zweireihigen zweispaltigen Matrix und
- einen Addierer zum Erlangen von Korrekturwerten für die zwei Farbdifferenzsignale durch Handhaben einer zweireihigen einspaltigen Matrix, die aus dem Multiplikationsergebnis des ersten Multiplizierers und dem Multiplikationsergebnis des zweiten Multiplizierers besteht.
- Die von der Korrekturkoeffizienten-Erzeugungseinheit erzeugte zweireihige einspaltige Matrix kann
- sein, und die von der Korrekturkoeffizienten-Erzeugungseinheit erzeugte zweireihige zweispaltige Matrix kann
- sein, worin Kr und Kb die Amplitude eines R-Signals bzw. die Amplitude eines B-Signals bezeichnen.
- Die obige Konstruktion ist viel einfacher als die Schaltung, die die Formel 3 für die auf das Luminanzsignal und die Farbdifferenzsignale anzwendende herkömmliche Weißabgleichkorrektur verwirklicht. Außerdem ist die durch die obige Konstruktion verwirklichte Weißabgleichkorrektur ebenso wirksam wie die Formel 3, da sie die Wirkung des Luminanzsignals auf die Weißabgleichkorrektur einfach ignoriert.
- Obwohl sich die Genauigkeit der Weißabgleichkorrektur geringfügig verschlechtert, kann eine weitere Vereinfachung der Schaltung durch die Bildverarbeitungsvorrichtung erzielt werden, wobei die von der Korrekturkoeffizienten-Erzeugungseinheit erzeugte zweireihige einspaltige Matrix
- ist und die von der Korrekturkoeffizienten-Erzeugungseinheit erzeugte zweireihige zweispaltige Matrix eine Einheitsmatrix ist, in der Kr und Kb die Amplitude eines R-Signals bzw. die Amplitude eines B-Signals angeben.
- Außerdem kann die von der Korrekturkoeffizienten-Erzeugungseinheit erzeugte zweireihige einspaltige Matrix
- sein, und die zweireihige zweispaltige Matrix kann
- sein, wobei Kr und Kb die Amplitude eines R-Signals bzw. die Amplitude eines B-Signals sind, S ein Farbsättigungskorrekturwert ist und θ ein Farbtonkorrekturwert ist.
- Die diesen Aufbau besitzende Schaltung kann neben dem Durchführen der genauen Weißabgleichkorrektur den Farbton und den Sättigungspegel des Farbbildes steuern. Außerdem wird eine solche Schaltung einfacher sein als die herkömmliche Schaltung, die die Formel 3 verwirklicht.
- Diese und andere Aufgaben, Vorteile und Merkmale der Erfindung werden aus ihrer folgenden Beschreibung in Verbindung mit den begleitenden Zeichnungen ersichtlich, die eine spezifische Ausführung der Erfindung veranschaulichen.
- Fig. 1 ist ein Blockschaltbild, das eine herkömmliche Bildsignalverarbeitungsvorrichtung zeigt.
- Fig. 2 ist ein Blockschaltbild, das einen Hauptteil einer Bildsignalverarbeitungsvorrichtung in einer ersten Ausführung der vorliegenden Erfindung zeigt.
- Fig. 3 ist ein Blockschaltbild, das eine Bildsignalverarbeitungsvorrichtung in einer zweiten Ausführung der vorliegenden Erfindung zeigt.
- Fig. 4 ist ein Blockschaltbild, das den Hauptteil eines Druckers in einer dritten Ausführung zeigt, die die Bildsignalverarbeitungsvorrichtung in der zweiten Ausführung verwendet.
- Fig. 5 ist ein Blockschaltbild, das eine Weißabgleich/Farbregelschaltung zeigt.
- Fig. 6 zeigt die Änderung in den RGB-Signalen nach Maßgabe der Farbtonregelung und der Farbsättigungsregelung.
- Eine Bildsignalverarbeitungsvorrichtung in einer ersten Ausführung wird mit Verweis auf Fig. 2 beschrieben. Wie in der Abbildung gezeigt, umfaßt die Bildsignalverarbeitungsvorrichtung eine Weißabgleichkoeffizienten-Einstelleinrichtung 11, eine Weißabgleichkorrekturkoeffizienten-Bestimmungseinrichtung 12, ein erstes Register 13, ein zweites Register 14, einen ersten Multiplizierer 15, einen zweiten Multiplizierer 16, ein drittes Register 18, ein viertes Register 19, ein fünftes Register 20, ein sechstes Register 21, einen dritten Multiplizierer 22, einen vierten Multiplizierer 23, einen fünften Multiplizierer 24, einen sechsten Multiplizierer 25, einen R-Addierer 26, einen B-Addierer 27, einen ersten Addierer 29 und einen zweiten Addierer 30. Das erste Register 13, das zweite Register 14, der erste Multiplizierer 15 und der zweite Multiplizierer 16 bilden eine Luminanzsignal-Operationseinrichtung 32, und das dritte Register 18, das vierte Register 19, das fünfte Register 20, das sechste Register 21, der dritte Multiplizierer 22, der vierte Multiplizierer 23, der fünfte Multiplizierer 24, der sechste Multiplizierer 25, der R-Addierer 26 und der B-Addierer 27 bilden eine Matrix-Operationseinrichtung 33.
- Die Weißabgleichkoeffizienten-Einstelleinrichtung 11 bestimmt ein Verhältnis von Amplituden in Rot- (R), Grün- (G) und Blau- (B) Signalen, das in Weißabgleichkoeffizienten Kr, Kg bzw. Kb widergespiegelt wird. Genauer gesagt, die Weißabgleichkoeffizienten können von Hand mit einem veränderbaren Widerstand (nicht gezeigt) eingestellt werden; ansonsten können sie automatisch als Reaktion auf die Eingangssignale eingestellt werden. Wie in Formel 2 beschrieben wurde, stehen die Weißabgleichkoeffizienten Kr, Kg und Kb miteinander in Beziehung. Daher werden nur die Weißabgleichkoeffizienten Kr und Kg von der Weißabgleichkoeffizienten-Einstelleinrichtung 11 ausgegeben.
- Die Weißabgleichkorrekturkoeffizienten-Bestimmungseinrichtung 12 bestimmt Weißabgleichkorrekturkoeffizienten A1, A2, die in einer ersten Weißabgleichkorrekturkoeffizientengruppe enthalten sind, sowie B1, B2, B3 und B4, die in einer zweiten Weißabgleichkorrekturkoeffizientengruppe enthalten sind, als Reaktion auf die von der Weißabgleichkoeffizienten-Einstelleinrichtung 11 empfangenen Weißabgleichkoeffizienten Kr und Kg. Diese Bestimmung wird in den Formeln 5-10 gezeigt. Die erste Weißabgleichkorrekturkoeffizientengruppe wird auf das Luminanzsignal Y angewandt, und die zweite Weißabgleichkorrekturkoeffizientengruppe wird auf die Farbdifferenzsignale R-Y und B-Y angewandt.
- A1 = Kr-1
- A2 = Kb-1
- B1 = 0.3+0.7Kr
- B2 = 0.3-0.3Kr
- B3 = 0.11-0.11Kb
- B4 = 0.11+0.89Kb
- Das erste Register 13 wird mit dem in der Weißabgleichkorrekturkoeffizienten-Bestimmungseinrichtung 12 erhaltenen Weißabgleichkorrekturkoeffizienten A1 versehen.
- Das zweite Register 14 wird mit dem in der Weißabgleichkorrekturkoeffizienten-Bestimmungseinrichtung 12 erhaltenen Weißabgleichkorrekturkoeffizienten A2 versehen.
- Der erste Multiplizierer 15 multipliziert den Eingang des Luminanzsignals Y mit dem in das erste Register 13 gesetzten Koeffizienten A1.
- Der zweite Multiplizierer 16 multipliziert den Eingang des Luminanzsignals Y mit dem in das zweite Register 14 gesetzten Koeffizienten A2.
- Das dritte Register 18 wird mit dem in der Weißabgleichkorrekturkoeffizienten-Bestimmungseinrichtung 12 erhaltenen Weißabgleichkorrekturkoeffizienten B1 versehen.
- Das vierte Register 19 wird mit dem in der Weißabgleichkorrekturkoeffizienten-Bestimmungseinrichtung 12 erhaltenen Weißabgleichkorrekturkoeffizienten B2 versehen.
- Das fünfte Register 20 wird mit dem in der Weißabgleichkorrekturkoeffizienten-Bestimmungseinrichtung 12 erhaltenen Weißabgleichkorrekturkoeffizienten B3 versehen.
- Das sechste Register 21 wird mit dem in der Weißabgleichkorrekturkoeffizienten-Bestimmungseinrichtung 12 erhaltenen Weißabgleichkorrekturkoeffizienten B4 versehen.
- Der dritte Multiplizierer 22 multipliziert den Eingang des Farbdifferenzsignals R-Y mit dem in das dritte Register 18 gesetzten Koeffizienten B1.
- Der vierte Multiplizierer 23 multipliziert den Eingang des Farbdifferenzsignals R-Y mit dem in das vierte Register 19 gesetzten Koeffizienten B2.
- Der fünfte Multiplizierer 24 multipliziert den Eingang des Farbdifferenzsignals B-Y mit dem in das fünfte Register 20 gesetzten Koeffizienten B3.
- Der sechste Multiplizierer 25 multipliziert den Eingang des Farbdifferenzsignals B-Y mit dem in das sechste Register 21 gesetzten Koeffizienten B4.
- Der R-Addierer 26 addiert das Multiplikationsergebnis des dritten Multiplizierers 22 zu dem Multiplikationsergebnis des fünften Multiplizierers 24.
- Der B-Addierer 27 addiert das Multiplikationsergebnis des vierten Multiplizierers 23 zu dem Multiplikationsergebnis des sechsten Multiplizierers 25.
- Der erste Addierer 29 addiert das Multiplikationsergebnis des ersten Multiplizierers 15 zu dem Additionsergebnis des R-Addierers 26.
- Der zweite Addierer 30 addiert das Multiplikationsergebnis des zweiten Multiplizierers 16 zu dem Additionsergebnis des B-Addierers 27.
- Korrigierte Farbdifferenzsignale (R-Y)', (B-Y)', die von Operationen in den Addierern 26, 27, 29, 30 sowie in den Multiplizierern 15, 16, 22-25 erhalten werden, werden in Formel 11 gezeigt. In der Formel werden der Eingang des Luminanzsignals Y und der Eingang der ursprünglichen Farbdifferenzsignale R-Y und B-Y verwendet. [Formel 11]
- Aus dieser Formel ist ersichtlich, daß die korrigierten Farbdifferenzsignale (R-Y)', (B-Y)' das Additionsergebnis des Luminanzsignals Y und der ursprünglichen Farbdifferenzsignale R-Y, B-Y sind.
- Vergleicht man diese Formel mit der Formel 3 für die herkömmliche Weißabgleichkorrektur, zeigt sich, daß die in Formel 11 verwirklichte Korrektur Teil der Formel 3 ist. Genauer gesagt, es wird nur das Erlangen der korrigierten Farbdifferenzsignale (R-Y)', (B-Y)' verwirklicht, und das Erlangen des korrigierten Luminanzsignals Y' in Formel 3 fehlt darin. Das Luminanzsignal Y beeinflußt kaum die Weißabgleichkorrektur, während dies für die Farbdifferenzsignale R-Y, B-Y zutrifft. Folglich wird erwartet, daß das Luminanzsignal Y in der Weißabgleichkorrektur vernachlässigt werden kann, wenngleich die Farbdifferenzsignale R-Y, B-Y nicht vernachlässigt werden können, um eine wirksame Weißabgleichkorrektur zu verwirklichen.
- Ein geringer Einfluß des Luminanzsignals Y auf die Weißabgleichkorrektur wurde bestätigt, als Formel 11 sehr genau verwirklicht wurde. Verschiedene Eingangssignale werden in die Formeln 3 und 11 eingegeben, und Ergebnisse davon für dieselben Eingangssignale werden in Tabelle 2-1 miteinander verglichen. Wie aus der Tabelle ersichtlich ist, stimmt das Ergebnis von Formel 11 nahezu mit Formel 3 überein, wobei die größte Abweichung dazwischen nur 0.01-0.02 beträgt. Daraus ergibt sich, daß die Weißabgleichkorrektur in Formel 11 ebenso wirksam ist wie die Weißabgleichkorrektur in Formel 3. Außerdem reichen sechs Multiplizierer und vier Addierer aus, um Formel 11 zu implementieren. Diese Schaltung wird daher viel einfacher sein als die Schaltung, die Formel 3 verwirklicht.
- Das Luminanzsignal und die Farbdifferenzsignale in Fig. 2-1 werden in RGB-Signale umgewandelt, um in 256er Abstufung ausgedrückt zu werden. Tabelle 2-2 zeigt die in 256er Abstufung ausgedrückten Korrekturergebnisse. Wie in der Tabelle gezeigt, ist ersichtlich, daß die korrigierten RGB-Signale den idealen RGB-Signalen recht ähnlich sind. Das heißt, in dieser Tabelle wird bestätigt, daß die hochgenaue Weißabgleichkorrektur in Formel 11 sehr genau ist. Tabelle 2-1 Vergleich der ersten Ausführung mit der herkömmlichen Weißabgleichkorrektur (R:G:B = 0.95:1:1.14, Lichtquelle: Glühlampe) Tabelle 2-2 Vergleich der ersten Ausführung mit der herkömmlichen Weißabgleichkorrektur in 256-Abstufung (R:G:B = 0.95:1:1.14, Lichtquelle: Glühlampe)
- In einer zweiten Ausführung wird die Schaltung, die die Weißabgleichkorrektur verwirklicht, weiter vereinfacht und diese umfaßt eine Weißabgleichkoeffizienten-Einstelleinrichtung 51, eine Weißabgleichkorrekturkoeffizienten-Bestimmungseinrichtung 52, ein erstes Register 53, ein zweites Register 54, einen ersten Multiplizierer 55, einen zweiten Multiplizierer 56, einen ersten Addierer 57 und einen zweiten Addierer 58.
- Das erste Register 53, das zweite Register 54, der erste Multiplizierer 55 und der zweite Multiplizierer 56 bilden eine Luminanzsignal- Operationseinrichtung 59.
- Die Weißabgleichkoeffizienten-Einstelleinrichtung 51 bestimmt ein Verhältnis von Amplituden in Rot- (R), Grün- (G) und Blau- (B) Signalen, das in Weißabgleichkoeffizienten Kr, Kg bzw. Kb widergespiegelt werden wird.
- Die Weißabgleichkorrekturkoeffizienten-Bestimmungseinrichtung 52 bestimmt die Weißabgleichkorrekturkoeffizienten A1 und A2, die den in der Weißabgleich-Einstelleinrichtung eingestellten Weißabgleichkoeffizienten Kr, Kb entsprechen. Die hierin verwendeten Weißabgleichkorrekturkoeffizienten sind dieselben wie in der ersten Ausführung und werden auf das Luminanzsignal Y angewandt.
- Das erste Register 53 wird mit dem in der Weißabgleichkorrekturkoeffizienten-Bestimmungseinrichtung 52 erhaltenen Weißabgleichkorrekturkoeffizienten A1 versehen.
- Das zweite Register 54 wird mit dem in der Weißabgleichkorrekturkoeffizienten-Bestimmungseinrichtung 52 erhaltenen Weißabgleichkorrekturkoeffizienten A2 versehen.
- Der erste Multiplizierer 55 multipliziert die Eingabe des Luminanzsignals Y mit dem in das erste Register 53 gesetzten Koeffizienten A1.
- Der zweite Multiplizierer 56 multipliziert die Eingabe des Luminanzsignals Y mit dem in das zweite Register 54 gesetzten Koeffizienten A2.
- Der erste Addierer 57 addiert das Multiplikationsergebnis des ersten Multiplizierers 55 zu der Eingabe des Farbdifferenzsignals R-Y.
- Der zweite Addierer 58 addiert das Multiplikationsergebnis des zweiten Multiplizierers 56 zu der Eingabe des Farbdifferenzsignals B-Y.
- Das Erlangen der korrigierten Farbdifferenzsignale (R-Y)', (B-Y)' in den Multiplizierern 55, 56 und den Addierern 57, 58 wird in Formel 12 gezeigt, worin die Eingabe des Luminanzsignals Y und die Eingabe der ursprünglichen Farbdifferenzsignale R-Y und B-Y verwendet werden. [Formel 12]
- Aus der Formel ist ersichtlich, daß die korrigierten Farbdifferenzsignale (R-Y)', (B-Y)' das Additionsergebnis von Eingangssignalen sind, die das ursprüngliche Luminanzsignal Y und die ursprünglichen Farbdifferenzsignale R-Y, B-Y umfassen. Vergleicht man diese Formel mit Formel 11, wird herausgefunden, daß diese Formel durch Ersetzen der Koeffizienten der Eingangssignale R-Y, B-Y in Formel 11 durch 1 erlangt wird. Ergebnisse der Weißabgleichkorrektur in Formel 12 werden in Tabelle 3-1 gezeigt. In der Tabelle sind das ideale Luminanzsignal und die idealen korrigierten Farbdifferenzsignale dieselben wie in Tabelle 2-1, das heißt, die aus Formel 3 erhaltenen werden als ideale Signale betrachtet.
- Wie in der Tabelle gezeigt, liegt die Abweichung zwischen den idealen Signalen und den erhaltenen korrigierten Signalen innerhalb 0.01-0.02 für die meisten der Eingangssignale außer für die größte Abweichung von 0.07 zwischen dem korrigierten B-Y-Signal als Reaktion auf die Eingabe von R=G=0 und B=0.6. Die Abweichungen zwischen den korrigierten Signalen und den idealen Signalen sind demnach klein genug, um vernachlässigt zu werden, und das von den korrigierten Signalen wiedergegebene Farbbild wird ziemlich genau dem eingegebenen Farbbild entsprechen. Das Luminanzsignal und die Farbdifferenzsignale in Tabelle 3-1 werden in RGB-Signale umgewandelt, um in 256er Abstufung ausgedrückt zu werden, die in Tabelle 3-2 gezeigt werden. Tabelle 3-1 Vergleich der zweiten Ausführung mit der herkömmlichen Weißabgleichkorrektur (R:G:B = 0.95:1:1.14, Lichtquelle: Glühlampe) Tabelle 3-2 Vergleich der zweiten Ausführung mit der herkömmlichen Weißabgleichkorrektur in 256-Abstufung (R:G:B = 0.95:1:1.14, Lichtquelle: Glühlampe)
- Ein mit der Bildsignalverarbeitungsvorrichtung ausgestatteter Drucker wird in der dritten Ausführung verwendet. Ein solcher Drucker wird in Fig. 4 gezeigt. Der gezeigte Drucker umfaßt eine YC-Separationsschaltung 61, einen Decoder 62, einen A/D-Umsetzer 63, einen Rahmenspeicher 64, eine Farbton/Farbsättigung-Korrekturwerteinstelleinrichtung 65, eine Weißabgleichkoeffizienten-Einstelleinrichtung 66, eine Weißabgleich/Bildfarben-Regelschaltung 67, eine Bildverarbeitungsschaltung 68, eine Kopftreiberschaltung 69, einen Thermokopf 70, einen D/A-Umsetzer 71, einen Codierer 72 und eine Mischerschaltung 73.
- Die YC-Separationsschaltung 61 teilt das eingegebene NTSC-Signal in ein Luminanzsignal Y und ein Chromasignal C.
- Der Decoder 62 wandelt das von der YC-Separationsschaltung 61 empfangene Chromasignal C in Farbdifferenzsignale R-Y und B-Y um.
- Der A/D-Umsetzer 63 digitalisiert die vom Decoder 62 bereitgestellten Farbdifferenzsignale R-Y und B-Y.
- Der Rahmenspeicher 64 hält das Luminanzsignal Y und die Farbdifferenzsignale R-Y und B-Y für ein Einrahmenbild.
- Die Farbton/Farbsättigung-Korrekturwerteinstelleinrichtung 65 bestimmt einen Korrekturwert, um Farbton- und Sättigungspegel des in dem Rahmenspeicher 64 gespeicherten Einrahmenbildes zu korrigieren.
- Die Weißabgleichkoeffizienten-Einstelleinrichtung 66 bestimmt ein Verhältnis von Amplituden in Bildsignalen Rot (R), Grün (G) und Blau (B), das in Weißabgleichkoeffizienten Kr, Kg und Kb widergespiegelt wird. Diese Weißabgleichkoeffizienten Kr, Kg und Kb sind dieselben wie in der ersten und zweiten Ausführung.
- Die Weißabgleich/Bildfarben-Regelschaltung 67 korrigiert den Weißabgleich und das Chroma des eingegebenen Bildes nach Maßgabe der Weißabgleichkoeffizienten in der Weißabgleichkoeffizienten-Einstelleinrichtung 66 und des Korrekturwertes in der Farbton/Farbsättigung-Korrekturwerteinstelleinrichtung 65.
- Die Bildverarbeitungsschaltung 68 liefert die Kantenbetonungsverarbeitung, die Farbkorrektur, die Farbumwandlung und dergleichen, als Reaktion auf den Ausgang der Weißabgleich/Bildfarben-Regelschaltung 67 und gibt Signale Ye, Mg, Cy aus, die den Primärfarbenkomponenten Gelb, Magenta und Cyan des verarbeiteten Bildes entsprechen.
- Die Kopftreiberschaltung 69 druckt ein Bild nach Maßgabe der von der Bildverarbeitungsschaltung 68 empfangenen Signale Ye, Mg, Cy sowie eines Ausgangssignals des Thermokopfes 70.
- Der D/A-Umsetzer 71 empfängt das Luminanzsignal Y und die korrigierten Farbdifferenzsignale (R-Y)', (B-Y)', die von der Weißabgleichkorrektur und der Farbton/Farbsättigung-Korrektur in der Weißabgleich/Bildfarben-Regelschaltung 67 erhalten werden, und wandelt sie von der digitalen Form in die analoge Form um. Das Luminanzsignal Y und die korrigierten Farbdifferenzsignale (R-Y)', (B-Y)' sind dieselben wie der Signaleingang der Bildverarbeitungsschaltung 68.
- Der Codierer 72 wandelt die vom D/A-Umsetzer 71 in ihrer analogen Form empfangenen korrigierten Farbdifferenzsignale (R-Y)' und (B-Y)' in das Chromasignal C um.
- Die Mischerschaltung 73 erzeugt das NTSC-Signal durch Kombinieren des vom D/A-Umsetzer 71 empfangenen Luminanzsignals Y und des vom Codierer 72 empfangenen Chromasignals C. Das erzeugte NTSC-Signal wird in eine CRT (Kathodenstrahl röhre) eingegeben.
- Details der Weißabgleich/Bildfarben-Regelschaltung 67 werden in Fig. 5 gezeigt und umfassen eine MPU (Mikroprozessoreinheit), ein erstes Register 102, ein zweites Register 103, einen ersten Multiplizierer 104, einen zweiten Multiplizierer 105, ein drittes Register 107, ein viertes Register 108, ein fünftes Register 109, ein sechstes Register 110, einen dritten Multiplizierer 111, einen vierten Multiplizierer 112, einen fünften Multiplizierer 113, einen sechsten Multiplizierer 114, einen R-Addierer 115, einen B-Addierer 116, einen ersten Addierer 118 und einen zweiten Addierer 119.
- Das erste Register 102, das zweite Register 103, der erste Multiplizierer 104 und der zweite Multiplizierer 105 bilden eine Luminanzsignal-Operationseinrichtung 201, und das dritte Register 107, das vierte Register 108, das fünfte Register 109, das sechste Register 110, der dritte Multiplizierer 111, der vierte Multiplizierer 112, der fünfte Multiplizierer 113, der sechste Multiplizierer 114, der R-Addierer 115 und der B-Addierer 116 bilden eine Matrix-Operationseinrichtung 202.
- Die MPU 101, die einen Einchip-Mikrocomputer und dergleichen umfaßt, erlangt Korrekturwerte C1, C2, die in einer ersten Farbdifferenzkorrekturkoeffizientengruppe enthalten sind, und Korrekturwerte D1, D2, D3, D4, die in einer zweiten Farbdifferenzkorrekturkoeffizientengruppe enthalten sind, nach Maßgabe der Amplituden des R-Signals und des B- Signals. Die Amplituden der Signale R und B werden in den Weißabgleichkoeffizienten Kr bzw. Kb widergespiegelt. Die MPU 101 liefert dann die erlangten Werte C1, C2, D1-D4 an die Register 102, 103, 107- 110. Die Formeln 13-18 zeigen das Erlangen von C1, C2, D1-D4.
- C1 = Scosθ (Kr-1)+Ssinθ (Kb-1)
- C2 = -Ssinθ (Kr-1)+Scosθ (Kb-1)
- D1 = Scosθ (0.3+0.7Kr)+Ssinθ (0.3-0.3Kr)
- D2 = -Ssinθ (0.3+0.7Kr)+Scosθ (0.3-0.3Kr)
- D3 = Scosθ (0.11-0.11Kb)+Ssinθ (0.11+0.89Kb)
- D4 = Ssinθ (0.11-0.11Kb)+Scosθ (0.11+0.89Kb)
- Operationen der Multiplizierer 104, 105, 111-114 und der Addierer 115, 116, 118, 119 werden in Formel 19 gezeigt. [Formel 19]
- In dieser Formel werden die Koeffizienten C1, C2, D1-D4 durch die in den Formeln 13-18 erlangten Werte ersetzt. Die Formel 19 kann in die Formel 20 umgeschrieben werden. [Formel 20]
- Diese Formel zeigt an, daß der von der Weißabgleichkorrektur in der ersten Ausführung erhaltene Wert in Grad eines Farbtonkorrekturwertes θ gedreht und um einem Farbsättigungskorrekturwert S vergrößert werden wird.
- Die Funktion des Druckers in Fig. 4 wird nun beschrieben. Wenn das NTSC-Signal in den Drucker eingegeben wird, wird es in der YC-Separationsschaltung 61 in das Luminanzsignal Y und das Chromasignal C geteilt. Das Luminanzsignal Y wird in den A/D-Umsetzer 63 eingegeben, und das Chromasignal C wird in den Decoder 62 eingegeben. Das Chromasignal C wird in die Farbdifferenzsignale R-Y, B-Y decodiert, die in den A/D-Umsetzer 63 eingegeben werden. Das Luminanzsignal Y und die Farbdifferenzsignale R-Y, B-Y werden dann vom A/D-Umsetzer 63 an den Bildspeicher 64 gesandt. Das Luminanzsignal Y und die Farbdifferenzsignale R-Y, B-Y für ein einzelnes Bild werden in dem Bildspeicher 64 gespeichert. Die Verwendung des Druckers liefert die Weißabgleichkoeffizienten Kr, Kb an die Weißabgleichkoeffizienten-Einstelleinrichtung 66 und den Farbtonkorrekturwert θ und den Farbsättigungsregelwert S an die Farbton/Farbsättigung-Korrekturwerteinstelleinrichtung 65. Die Farbdifferenzsignalkorrekturkoeffizienten C1, C2, D1-D4 werden in der MPU 101 berechnet, und jeder der erlangten Farbdifferenzsignalkorrekturkoeffizienten C1, C2, D1-D4 wird an das erste Register 102, das zweite Register 103, das dritte Register 107, das vierte Register 108, das fünfte Register 109 bzw. das sechste Register 110 gegeben. Das von dem Bildspeicher 64 empfangene Luminanzsignal Y wird mit dem vom ersten Register 102 bereitgestellten Koeffienten C1 im ersten Multiplizierer 104 multipliziert und wird mit dem durch das zweite Register bereitsgestellten Koeffizienten C2 im zweiten Multiplizierer 105 multipliziert. Das ebenfalls vom Bildspeicher 64 empfangene Farbdifferenzsignal R-Y wird mit dem von dem dritten Register 107 empfangenen Koeffizienten D1 im dritten Multiplizierer multipliziert und wird mit dem vom vierten Register 108 empfangenen Koeffizienten D2 im vierten Multiplizierer 108 multipliziert. Das vom Bildspeicher 64 empfangene Farbdifferenzsignal B-Y wird mit dem vom fünften Register 109 empfangenen Koeffizienten D3 im fünften Multiplizierer 113 multipliziert und wird mit dem von sechsten Register 110 empfangenen Koeffizienten D4 im sechsten Multiplizierer 114 multipliziert. Das Multiplikationsergebnis des dritten Multiplizierers 111 und das Multiplikationsergebnis des fünften Multiplizierers 113 werden im R-Addierer 115 addiert, und das Multiplikationsergebnis des vierten Multiplizierers 112 und das Multiplikationsergebnis des sechsten Multiplizierers 114 werden im B-Addierer 116 addiert. Das korrigierte Farbdifferenzsignal (R-Y)' wird im ersten Addierer 118 erlangt, indem das Multiplikationsergebnis des ersten Multiplizierers 104 und das Additionsergebnis des R-Addierers 115 addiert werden, und das Signal (R-Y)' wird an die Bildverarbeitungsschaltung 68 und den D/A-Umsetzer 71 angelegt. Das korrigierte Farbdifferenzsignal (B-Y)' wird im zweiten Addierer 119 erlangt, indem das Multiplikationsergebnis des zweiten Multiplizierers 105 und das Additionsergebnis des B- Addierers 116 addiert werden, und das Signal (B-Y)' wird an die Bildverarbeitungsschaltung 68 und den D/A-Umsetzer 71 angelegt. Mithin werden beide korrigierten Farbdifferenzsignale (R-Y)' und (B-Y)' erlangt und an den D/A-Umsetzer 71 angelegt.
- In der Bildverarbeitungsschaltung 68 werden die Kantenbetonungsverarbeitung, die Farbkorrektur, die Farbumwandlung und dergleichen für die korrigierten Farbdifferenzsignale (R-Y)' und (B-Y)' und für das ursprüngliche Luminanzsignal Y durchgeführt, und Signale Ye, Mg und Cy werden gemäß den Primärfarbenkomponenten Gelb, Magenta und Cyan des Eingangsbildes erzeugt. Die Signale Ye, Mg und Cy werden dann an die Kopftreiberschaltung 69 gesandt. In der Kopftreiberschaltung 69 werden die Signale Ye, Mg und Cy in Pulssignale umgewandelt, und die Pulssignale werden an den Thermokopf 70 gesandt. Folglich werden die Pulssignale aus den aus der Weißabgleichkorrektur erlangten korrigierten Signalen erzeugt. Ihre Farbkorrektur, einschließlich der Weißabgleichkorrektur, ist daher beendet, wenn das Farbbild nach Maßgabe dieser Pulssignale wiedergegeben wird.
- Im D/A-Umsetzer 71 werden weitere korrigierte Farbdifferenzsignale (R-Y)' und (B-Y)' und das ursprüngliche Luminanzsignal Y D/A-umgewandelt, die analogen Farbdifferenzsignale (R-Y)' und (B-Y)' und das analoge Luminanzsignal Y werden an den Codierer 72 angelegt, die analogen Farbdifferenzsignale (R-Y)' und (B-Y)' werden im Codierer 72 in das Chromasignal C umgewandelt, und das Chromasignal C wird and die Mischerschaltung 73 gesandt. In der Mischerschaltung 73 werden das Chromasignal C und das Luminanzsignal y kombiniert, um das NTSC-Signal zu erzeugen, und das NTSC-Signal wird in die CRT (nicht gezeigt) eingegeben. Von dem NTSC-Signal wird ein Bild reproduziert und auf der CRT dargestellt. Dieses Bild ist fast dasselbe wie das mit dem Thermokopf 70 gedruckte Bild.
- Die Bildverarbeitungsvorrichtung der vorliegenden Erfindung umfaßt somit die Weißabgleichkoeffizienten-Einstelleinrichtung 66 zum Einstellen der Weißabgleichkoeffizienten Kr, Kb; die von der MPU 101 getriebene Weißabgleichkorrekturkoeffizienten-Bestimmungseinrichtung zum Bestimmen der Koeffizienten A1, A2, die in der auf das Luminanzsignal Y anzuwendenden ersten Weißabgleichkoeffizientengruppe enthalten sind, und der Koeffizienten D1-D4, die in der auf die Farbdifferenzsignale R-Y, B-Y anzuwendenden zweiten Weißabgleichkoeffizientengruppe enthalten sind; die von einem Teil der Farbton/Farbsättigung-Korrekturwerteinstel leinrichtung 65 getriebene Farbtonregelwerteinstelleinrichtung zum Bestimmen des Farbtonkorrekturwertes θ, der den Farbton des Bildsignals korrigiert; die von einem Teil der Farbton/Farbsättigung-Korrekturwerteinstelleinrichtung 65 getriebene Farbsättigungskorrekturwerteinstelleinrichtung zum Bestimmen des Farbsättigungskorrekturwertes S, der die Farbsättigung des Bildsignals korrigiert; die von der MPU 101 getriebene Farbkorrekturkoeffizientenbestimmungseinrichtung, um vier Farbkorrekturkoeffizienten, die in der auf die Farbdifferenzsignale R-Y, B-Y anzuwendenden Farbkorrekturkoeffizientengruppe enthalten sind, mit Bezug auf den Farbtonkorrekturwert θ und den Farbsättigungskorrekturwert S zu bestimmen; die von der MPU 101 getriebene erste Operationseinrichtung, um zwei Farbdifferenzsignalkorrekturkoeffizienten C1, C2, die in der auf das Luminanzsignal Y anzuwendenden ersten Farbdifferenzsignalkorrekturkoeffizientengruppe enthalten sind, als Reaktion auf die in der Weißabgleichkorrekturkoeffizientenbestimmungseinrichtung festgelegten ersten Weißabgleichkorrekturkoeffizientengruppe A1, A2 und die in der Farbkorrekturkoeffizientenbestimmungseinrichtung festgelegten Farbkorrekturkoeffizentengruppe neu zu bestimmen; die von der MPU 101 getriebene zweite Operationseinrichtung, um vier Farbdifferenzsignalkorrekturkoeffizienten D1, D2, D3, D4, die in der auf die Farbdifferenzsignale R-Y, B-Y anzuwendenden zweiten Farbdifferenzsignalkorrekturkoeffizientengruppe enthalten sind, als Reaktion auf die in der Weißabgleichkorrekturkoeffizientenbestimmungseinrichtung festgelegten zweiten Weißabgleichkorrekturkoeffizientengruppe B1, B2, B3, B4 und die in der Farbkorrekturkoeffizientenbestimmungseinrichtung festgelegten Farbkorrekturkoeffizientengruppe neu zu bestimmen; die Luminanzsignal-Operationseinrichtung 201 zum Erlangen von zwei Ausgangssignalen durch Multiplizieren des Luminanzsignals Y mit jedem der Farbdifferenzsignalkorrekturkoeffizienten C1, C2, die in der in der ersten Koeffizienten- Operationseinrichtung bestimmten ersten Farbdifferenzsignalkorrekturkoeffizientengruppe enthalten sind; die Matrix-Operationseinrichtung 202 zum Erlangen von zwei Ausgangssignalen durch Handhaben einer zweireihigen zweispaltigen Matrix, die aus den Farbdifferenzsignalkorrekturkoeffizienten D1, D2, D3, D4, die in der in der zweiten Koeffizienten-Operationseinrichtung bestimmten zweiten Farbdifferenzsignalkorrekturkoeffizientengruppe enthalten sind, und den Farbdifferenzsignalen R-Y, B-Y besteht; den ersten Addierer 118 zum Addieren eines der zwei Ausgangssignale der Luminanzsignal-Operationseinrichtung 201 und eines der zwei Ausgangssignale der Matrix-Operationseinrichtung 202 sowie den zweiten Addierer 119 zum Addieren des anderen Ausgangssignals der Luminanzsignal-Operationseinrichtung 201 und des anderen Ausgangssignals der Matrix-Operationseinrichtung 202. Bei dieser Anordnung wird die Weißabgleichkorrektur auf das Bildsignal angewandt. Dieses korrigierte Bildsignal wird dann zur weiteren Farbkorrektur verwendet. Die Weißabgleichkorrektur erzeugt folglich fast das gewünschte korrigierte Bild auch von der ursprünglichen Farbe mit einem hohen Sättigungsgrad. Ferner wird, wie beschrieben wurde, der Farbkorrekturkeoffizient in dem Koeffizienten für das Luminanzsignal und in den Koeffizienten für die Farbdifferenzsignale widergespiegelt. Folglich kann der Drucker, der eine wirksame Farbkorrektur ermöglicht, auch in vereinfachter Konstruktion verwirklicht werden, wobei die effektive Farbkorrektur der Weißabgleichkorrektur eines Bildsignals und weiterer Farbregelung des korrigierten Bildsignals gleichwertig ist. Wenn die Farbkorrekturkoeffizienten nicht in dem Koeffizienten für das Luminanzsignal widergespiegelt werden würden, würde die Farbkorrektur zuerst auf das unkorrigierte Bildsignal angewandt werden, und dann würde die Weißabgleichkorrektur darauf angewandt werden. Eine derartige Weißabgleichkorrektur wird niemals wirkungsvoll sein.
- Die meisten der jetzt erhältllichen Drucker sind mit der Matrix-Operationseinrichtung ausgestattet. Daher können sowohl die genaue Weißabgleichkorrektur als auch die genaue Farbkorrektur in Formel 19 implementiert werden, indem einfach die Weißabgleichkoeffizenten-Einstelleinrichtung 66, die Luminanzsignal-Operationseinrichtung 201 und der erste und zweite Addierer 118, 119 hinzugefügt werden.
- Der Weißabgleich der eingegebenen RGB-Signale (0.6,0,0)(0,0.6,0)(0,0, 0.6) wird in der Bildverarbeitungsvorrichtung in der ersten Ausführung korrigiert. Dann werden der Farbtonpegel e des Luminanzsignals Y und die Farbdifferenzsignale R-Y, B-Y um ±10º gedreht, während sein Sättigungspegel 5 um 0.5mal und 1.5mal erhöht wird. Das Luminanzsignal Y, die Farbdifferenzsignale und die aus der obigen Farbtonregelung und der Farbsättigungsregelung erlangten Signale werden in Tabelle 4-1 gezeigt. Ferner werden in Tabelle 4-2 die Signale in 4-1 in die RGB- Signale umgewandelt, um in 256er Abstufung ausgedrückt zu werden. Außerdem werden in Fig. 6 die Signale in Tabelle 4-1 auf Plankoordinaten von B-Y, R-Y geplottet. In den Tabellen und in der Abbildung wird bestätigt, daß die Regelung des Farbtonpegels und des Farbsättigungspegels angewandt werden kann, ohne von der Weißabgleichkorrektur abzuweichen. Tabelle 4-1 Tabelle 4-2
- Der Weißabgleichkoeffizient kann durch eine Fuzzy-Interferenz und der gleichen nach Maßgabe der eingegebenen Bildinformation automatisch bestimmt und eingestellt werden, obwohl er im Obigen durch den Benutzer des Druckers bestimmt wird.
- Die Weißabgleichkorrekturkoeffizienten-Bestimmungseinrichtung, die Farbregelkoeffizienten-Bestimmungseinrichtung und die erste und zweite Koeffizienten-Operationseinrichtung, die im Obigen alle durch die MPU 101 getrieben werden, können unabhängig arbeiten.
- In der dritten Ausführung werden die Farbtonkorrektur und die Farbsättigungskorrektur auf die in der ersten Ausführung erlangten korrigierten Farbdifferenzsignale angewandt. Solche Korrekturen können jedoch auf die in der zweiten Ausführung erlangten korrigierten Farbdifferenzsignale angewandt werden. Wenn die Weißabgleichkorrektur in der zweiten Ausführung anstelle der ersten Ausführung in der dritten Ausführung verwendet wird, wird die Schaltung vereinfacht.
- Obwohl die vorliegende Erfindung auf dem Wege von Beispielen mit Verweis auf die begleitenden Zeichnungen vollständig beschrieben worden ist, ist anzumerken, daß verschiedene Änderungen und Modifikationen für die Fachleute in der Technik ersichtlich sein werden. Sofern solche Änderungen und Modifikation nicht anderweitig vom Umfang der vorliegenden Erfindung abweichen, sollten sie daher als darin eingeschlossen betrachtet werden.
Claims (7)
1. Bildverarbeitungsvorrichtung, die eine Farbjustierung,
einschließlich einer Weißabgleichkorrektur, auf ein Luminanzsignal und zwei
Farbdifferenzsignale eines eingegebenen Farbbildes anwendet, wobei die
Bildverarbeitungsvorrichtung umfaßt:
eine Korrekturkoeffizienten-Erzeugungseinrichtung zum Erzeugen einer
zweireihigen einspaltigen Matrix und einer zweireihigen zweispaltigen
Matrix, wobei die zweireihige einspaltige Matrix aus zwei auf das
Luminanzsignal anzuwendenden Korrekturkoeffizienten besteht und die
zweireihige zweispaltige Matrix aus vier auf die zwei
Farbdifferenzsignale anzuwendenden Koeffizienten besteht;
einen ersten Multiplizierer zum Multiplizieren des Luminanzsignals mit
der zweireihigen einspaltigen Matrix;
einen zweiten Multiplizierer zum Multiplizieren einer zweireihigen
einspaltigen Matrix, die die zwei Farbdifferenzsignale enthält, mit
der zweireihigen zweispaltigen Matrix und
einen Addierer zum Erlangen von Korrekturwerten für die zwei
Farbdifferenzsignale durch Handhaben einer zweireihigen einspaltigen Matrix,
die aus dem Multiplikationsergebnis des ersten Multiplizierers und
dem Multiplikationsergebnis des zweiten Multiplizierers besteht.
2. Bildverarbeitungsvorrichtung nach Anspruch 1, bei der die durch die
Korrekturkoeffizienten-Erzeugungseinrichtung erzeugte zweireihige
einspaltige Matrix
ist und die durch die Korrekturkoeffizienten-Erzeugungseinrichtung
erzeugte zweireihige zweispaltige Matrix
ist, worin Kr und Kb die Amplitude eines R-Signals bzw. die Amplitude
eines B-Signals bezeichnen.
3. Bildverarbeitungsvorrichtung nach Anspruch 1, bei der die durch die
Korrekturkoeffizienten-Erzeugungseinrichtung erzeugte zweireihige
einspaltige Matrix
ist und die durch die Korrekturkoeffizienten-Erzeugungseinrichtung
erzeugte zweireihige zweispaltige Matrix eine Einheitsmatrix ist, in der
Kr und Kb die Amplitude eines R-Signals bzw. die Amplitude eines B-
Signals bezeichnen.
4. Bildverarbeitungsvorrichtung nach Anspruch 1, bei der die durch die
Korrekturkoeffizienten-Erzeugungseinrichtung erzeugte zweireihige
einspaltige Matrix
ist und die zweireihige zweispaltige Matrix
ist, wobei Kr und Kb die Amplitude eines R-Signals bzw. die
Amplitude eines B-Signals sind, S ein Farbsättigungskorrekturwert ist und
θ ein Farbtonkorrekturwert ist.
5. Bildverarbeitungsvorrichtung, die den Weißabgleich von zwei
Farbdifferenzsignalen korrigiert, umfassend:
eine Weißabgleichkoeffizienten-Einstelleinrichtung zum Einstellen
eines Weißabgleichkoeffizienten für ein Bildsignal;
eine Weißabgleichkorrekturkoeffizienten-Bestimmungseinrichtung zum
Bestimmen von zwei Weißabgleichkorrekturkoeffizienten, die auf ein in
dem Bildsignal enthaltenes Luminanzsignal anzuwenden sind, nach
Maßgabe des in der Weißabgleichkoeffizienten-Einstelleinrichtung
eingestellten Weißabgleichkoeffizienten;
eine Luminanzsignal-Operationseinrichtung zum Multiplizieren des
Luminanzsignals mit jedem der zwei Weißabgleichkorrekturkoeffizienten,
so daß zwei Ausgangssignale, die Multiplikationsergebnisse sind,
erlangt werden;
einen ersten Addierer zum Addieren eines der zwei durch die
Luminanzsignal-Operationseinrichtung erlangten Ausgangssignale und eines
ersten Farbdifferenzsignals von zwei in dem Bildsignal enthaltenen
Farbdifferenzsignalen;
einen zweiten Addierer zum Addieren des anderen der zwei durch die
Luminanzsignal-Operationseinrichtung erlangten Ausgangssignale und eines
zweiten Farbdifferenzsignals von zwei in dem Bildsignal enthaltenen
Farbdifferenzsignalen;
eine erste Ausgabeeinrichtung zum Ausgeben des Additionsergebnisses
des ersten Addierers als der Weißabgleichkoeffizient für das erste
Farbdifferenzsignal und
eine zweite Ausgabeeinrichtung zum Ausgeben des Additionsergebnisses
des zweiten Addierers als der Weißabgleichkoeffizient für das zweite
Farbdifferenzsignal.
6. Bildverarbeitungsvorrichtung, die den Weißabgleich von zwei
Farbdifferenzsignalen korrigiert, umfassend:
eine Weißabgleichkoeffizienten-Einstelleinrichtung zum Einstellen
eines Weißabgleichkoeffizienten für ein Bildsignal;
eine Weißabgleichkorrekturkoeffizienten-Bestimmungseinrichtung zum
Bestimmen von sechs Weißabgleichkorrekturkoeffizienten nach Maßgabe des
Weißabgleichkoeffizienten, wobei zwei der
Weißabgleichkorrekturkoeffizienten eine erste auf ein Luminanzsignal anzuwendende
Weißabgleichkorrekturkoeffizientengruppe verkörpern und die anderen vier der
Weißabgleichkorrekturkoeffizienten
eine zweite auf die zwei
Farbdifferenzsignale anzuwendende Weißabgleichkorrekturkoeffizientengruppe
verkörpern;
eine Luminanzsignal-Operationseinrichtung zum Multiplizieren des
Luminanzsignals mit jedem der zwei in der ersten
Weißabgleichkorrekturkoeffizientengruppe enthaltenen Weißabgleichkorrekturkoeffizienten,
so daß zwei Ausgangssignals, die Ergebnisse der Multiplikation sind,
erlangt werden;
eine Matrix-Operationseinrichtung zum Handhaben einer zweireihigen
zweispaltigen Matrix, die aus den zwei Farbdifferenzsignalen und den
vier in der zweiten Weißabgleichkorrekturkoeffizientengruppe
enthaltenen Weißabgleichkorrekturkoeffizienten besteht, so daß zwei
Ausgangssignale, die Operationsergebnisse der zweireihigen zweispaltigen
Matrix sind, erlangt werden;
einen ersten Addierer zum Addieren eines der Ausgangssignale der
Luminanzsignal-Operationseinrichtung und eines der Ausgangssignale der
Matrix-Operationseinrichtung;
einen zweiten Addierer zum Addieren des anderen der Ausgangssignale
der Luminanzsignal-Operationseinrichtung und des anderen der
Ausgangssignale der Matrix-Operationseinrichtung;
eine erste Ausgabeeinrichtung zum Ausgeben des Additionsergebnisses
des ersten Addierers als der Weißabgleichkoeffizient für eines der
zwei Farbdifferenzsignale und
eine zweite Ausgabeeinrichtung zum Ausgeben des Additionsergebnisses
des zweiten Addierers als der Weißabgleichkoeffizient für das andere
der zwei Farbdifferenzsignale.
7. Bildverarbeitungsvorrichtung zum Anwenden einer
Weißabgleichkorrektur, einer Farbtonkorrektur und einer Farbsättigungskorrektur auf
zwei Farbdifferenzsignale, wobei die Bildverarbeitungsvorrichtung um-
eine Weißabgleichkoeffizienten-Einstelleinrichtung zum Einstellen
eines Weißabgleichkoeffizienten für ein Bildsignal;
eine Weißabgleichkorrekturkoeffizienten-Bestimmungseinrichtung zum
Bestimmen von sechs Weißabgleichkorrekturkoeffizienten nach Maßgabe des
Weißabgleichkoeffizienten, wobei zwei der
Weißabgleichkorrekturkoeffizienten eine erste auf ein Luminanzsignal anzuwendende
Weißabgleichkorrekturkoeffizientengruppe verkörpern und die anderen vier der
Weißabgleichkorrekturkoeffizienten eine zweite auf die zwei
Farbdifferenzsignale anzuwendende Weißabgleichkorrekturkoeffizientengruppe
verkörpern;
eine Farbtonkorrekturwert-Einstelleinrichtung zum Einstellen eines
Farbtonkorrekturwertes, der den Farbtongrad des Bildsignals
korrigiert;
eine Farbsättigungskorrekturwert-Einstelleinrichtung zum Einstellen
eines Farbsättigungskorrekturwertes, der den Farbsättigungsgrad des
Bildsignals korrigiert;
eine Farbkorrekturkoeffizienten-Bestimmungseinrichtung zum Bestimmen
einer auf die zwei Farbdifferenzsignale anzuwendenden
Farbkorrekturkoeffizientengruppe nach Maßgabe des durch die Farbtonkorrekturwert-
Einstelleinrichtung eingestellten Farbtonkorrekturwertes und des durch
die Farbsättigungskorrekturwert-Einstelleinrichtung eingestellten
Farbsättigungskorrekturwertes, wobei die
Farbkorrekturkoeffizientengruppe vier Farbkorrekturkoeffizienten umfaßt;
eine erste Koeffizienten-Operationseinrichtung zum Bestimmen einer
ersten auf das Luminanzsignal anzuwendenden
Farbdifferenzkoeffizientengruppe nach Maßgabe der ersten durch die
Weißabgleichkorrekturkoeffizienten-Bestimmungseinrichtung bestimmten
Weißabgleichkorrekturkoeffizientengruppe und der durch die
Farbkorrekturkoeffizienten-Bestimmungseinrichtung bestimmten Farbkorrekturkoeffizientengruppe, wobei
die erste Farbdifferenzkoeffizientengruppe zwei
Farbdifferenzkorrekturkoeffizienten umfaßt;
eine zweite Koeffizienten-Operationseinrichtung zum Bestimmen einer
zweiten auf die zwei Farbdifferenzsignale anzuwendenden
Farbdifferenzkoeffizientengruppe nach Maßgabe der zweiten durch die
Weißabgleichkorrekturkoeffizienten-Bestimmungseinrichtung bestimmten
Weißabgleichkorrekturkoeffizientengruppe und der durch die
Farbkorrekturkoeffizienten-Bestimmungseinrichtung bestimmten
Farbkorrekturkoeffizientengruppe;
eine Luminanzsignal-Operationseinrichtung zum Multiplizieren des
Luminanzsignals mit jedem der zwei in der ersten
Farbdifferenzkoeffizientengruppe
enthaltenen Farbdifferenzkorrekturkoeffizienten, so daß
zwei Ausgänge aus Ergebnissen der Multiplikation bestehen werden;
eine Matrix-Operationseinrichtung zum Handhaben einer zweireihigen
zweispaltigen Matrix, die aus den zwei Farbdifferenzsignalen und den
vier in der zweiten Weißabgleichkorrekturkoeffizientengruppe
enthaltenen Weißabgleichkorrekturkoeffizienten besteht, so daß zwei
Ausgangssignale, die Operationsergebnisse der zweireihigen zweispaltigen
Matrix sind, erlangt werden;
einen ersten Addierer zum Addieren eines der Ausgangssignale der Lumi-.
nanzsignal-Operationseinrichtung und eines der Ausgangssignale der
Matrix-Operationseinrichtung;
einen zweiten Addierer zum Addieren des anderen der Ausgangssignale
der Luminanzsignal-Operationseinrichtung und des anderen der
Ausgangssignale der Matrix-Operationseinrichtung;
eine erste Ausgabeeinrichtung zum Ausgeben des Additionsergebnisses
des ersten Addierers als der Weißabgleichkoeffizient für eines der
zwei Farbdifferenzsignale und
eine zweite Ausgabeeinrichtung zum Ausgeben des Additionsergebnisses
des zweiten Addierers als der Weißabgleichkoeffizient für das andere
der zwei Farbdifferenzsignale.
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP23476592 | 1992-09-02 |
Publications (2)
Publication Number | Publication Date |
---|---|
DE69315285D1 DE69315285D1 (de) | 1998-01-02 |
DE69315285T2 true DE69315285T2 (de) | 1998-05-28 |
Family
ID=16976012
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE69315285T Expired - Fee Related DE69315285T2 (de) | 1992-09-02 | 1993-08-27 | Vorrichtung zum Verarbeiten eines Bildsignals |
Country Status (3)
Country | Link |
---|---|
US (1) | US5461429A (de) |
EP (1) | EP0586204B1 (de) |
DE (1) | DE69315285T2 (de) |
Families Citing this family (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100194933B1 (ko) * | 1996-06-29 | 1999-06-15 | 윤종용 | 디지탈 영상기기의 칼라 필터 장치 및 방법 |
JP2830871B2 (ja) * | 1996-11-18 | 1998-12-02 | 日本電気株式会社 | 画像の色補正装置及び色補正プログラムを記録した記録媒体 |
JP2000515350A (ja) * | 1997-05-22 | 2000-11-14 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 白バランス制御 |
JPH10327328A (ja) * | 1997-05-23 | 1998-12-08 | Asahi Optical Co Ltd | 画像読取装置 |
US5973734A (en) | 1997-07-09 | 1999-10-26 | Flashpoint Technology, Inc. | Method and apparatus for correcting aspect ratio in a camera graphical user interface |
JP3490888B2 (ja) * | 1998-03-10 | 2004-01-26 | 三洋電機株式会社 | 色抑圧回路 |
US6201530B1 (en) * | 1998-05-29 | 2001-03-13 | Flashpoint Technology, Inc. | Method and system of optimizing a digital imaging processing chain |
KR100333333B1 (ko) * | 1998-12-22 | 2002-06-20 | 윤종용 | 영상신호 처리 시스템의 색신호 처리장치 |
US6317141B1 (en) | 1998-12-31 | 2001-11-13 | Flashpoint Technology, Inc. | Method and apparatus for editing heterogeneous media objects in a digital imaging device |
JP3702699B2 (ja) * | 1999-03-26 | 2005-10-05 | 三菱電機株式会社 | カラー画像表示装置 |
JP3663973B2 (ja) * | 1999-05-06 | 2005-06-22 | 日本電気株式会社 | 画像信号処理装置および画像信号処理方法 |
JP3841989B2 (ja) * | 1999-10-26 | 2006-11-08 | 富士写真フイルム株式会社 | 液晶表示装置およびその制御方法 |
US7184066B2 (en) | 2001-05-09 | 2007-02-27 | Clairvoyante, Inc | Methods and systems for sub-pixel rendering with adaptive filtering |
EP1435729B1 (de) * | 2001-10-11 | 2008-09-24 | Mitsubishi Denki Kabushiki Kaisha | Farbumsetzeinrichtung und farbumsetzverfahren |
US20030111533A1 (en) * | 2001-12-19 | 2003-06-19 | Koninklijke Philips Electronics N.V. | RGB led based white light control system with quasi-uniform color metric |
JP3808788B2 (ja) * | 2002-03-12 | 2006-08-16 | 株式会社東芝 | 液晶表示方法 |
CN1781318A (zh) * | 2003-04-28 | 2006-05-31 | 皇家飞利浦电子股份有限公司 | 具有提高的彩色精度的液晶投影仪 |
US7126644B2 (en) * | 2003-07-07 | 2006-10-24 | Destiny Technology Corporation | Rapid white balance method for color digital images |
US7580061B2 (en) * | 2004-01-26 | 2009-08-25 | Olympus Corporation | Image sensing apparatus which determines white balance correction information before photographing |
JP4533156B2 (ja) * | 2004-02-02 | 2010-09-01 | キヤノン株式会社 | 調整回路及び方法 |
US9224145B1 (en) | 2006-08-30 | 2015-12-29 | Qurio Holdings, Inc. | Venue based digital rights using capture device with digital watermarking capability |
TWI387319B (zh) * | 2009-06-02 | 2013-02-21 | Novatek Microelectronics Corp | 影像處理電路及方法 |
JP6320440B2 (ja) | 2015-08-04 | 2018-05-09 | ドルビー ラボラトリーズ ライセンシング コーポレイション | ハイダイナミックレンジ信号のための信号再構成 |
CN110891166B (zh) * | 2019-11-19 | 2021-06-11 | 上海开放大学 | 一种图像色彩增强的方法和存储介质 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4739393A (en) * | 1985-11-05 | 1988-04-19 | Sanyo Electric Co., Ltd. | Circuit for performing white balance correction using two color temperature sensors |
US4879591A (en) * | 1986-01-31 | 1989-11-07 | Canon Kabushiki Kaisha | Image pickup apparatus compensating an image signal for variations in color temperature |
JPS63177681A (ja) * | 1987-01-19 | 1988-07-21 | Matsushita Electric Ind Co Ltd | 白バランス補正回路 |
JPH0824375B2 (ja) * | 1988-01-20 | 1996-03-06 | 松下電器産業株式会社 | 白バランス補正回路 |
JPH0246086A (ja) * | 1988-08-08 | 1990-02-15 | Canon Inc | 色補正回路 |
US4998162A (en) * | 1988-08-22 | 1991-03-05 | Sony Corporation | Video camera |
US5068718A (en) * | 1988-11-04 | 1991-11-26 | Fuji Photo Film Co., Ltd. | Image quality correcting system for use with an imaging apparatus |
US5198890A (en) * | 1989-03-30 | 1993-03-30 | Canon Kabushiki Kaisha | White balance correcting device for an image sensing |
US5329362A (en) * | 1989-05-12 | 1994-07-12 | Canon Kabushiki Kaisha | Color video camera using common white balance control circuitry in negative and postive image photoimaging modes |
JP3057255B2 (ja) * | 1989-08-15 | 2000-06-26 | ソニー株式会社 | 画像処理装置及び画像処理方法 |
KR930006900B1 (ko) * | 1989-12-31 | 1993-07-24 | 삼성전자 주식회사 | 자동화이트밸런스 및 자동블랙밸런스 공용회로 및 방법 |
JP3263924B2 (ja) * | 1990-09-14 | 2002-03-11 | ソニー株式会社 | カラー撮像装置 |
-
1993
- 1993-08-27 DE DE69315285T patent/DE69315285T2/de not_active Expired - Fee Related
- 1993-08-27 EP EP93306822A patent/EP0586204B1/de not_active Expired - Lifetime
- 1993-08-31 US US08/114,644 patent/US5461429A/en not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
US5461429A (en) | 1995-10-24 |
EP0586204B1 (de) | 1997-11-19 |
EP0586204A1 (de) | 1994-03-09 |
DE69315285D1 (de) | 1998-01-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE69315285T2 (de) | Vorrichtung zum Verarbeiten eines Bildsignals | |
DE3687476T2 (de) | Abstimmung von papierfarben auf bildschirmfarben. | |
DE4305693C2 (de) | Verfahren zur Farbkalibrierung | |
EP0723728B1 (de) | Verfahren und einrichtung zur umsetzung von farbwerten | |
DE69520303T2 (de) | Bildabhängige Farbsättigungskorrektur für Bilddarstellungen natürlicher Szenen | |
DE3808818C2 (de) | ||
DE4310727C2 (de) | Verfahren und Einrichtung zur Analyse von Bildvorlagen | |
EP0020494B1 (de) | Verfahren zur reproduktion von originalvorlagen welche bezüglich ihres farbgehaltes nach einem dreibereichtsverfahren abgetastet werden | |
DE69510710T2 (de) | Farbdruck mit erweitertem Dichteumfang | |
DE3629403C2 (de) | Verfahren zur Korrektur der Farbsättigung bei der elektronischen Bildverarbeitung | |
DE3751412T2 (de) | Verfahren und Vorrichtung zur Bildverarbeitung mit Gradationskorrektur des Bildsignals. | |
EP0145801B1 (de) | Verfahren und Schaltungsanordnung zur selektiven Korrektur von Farbtönen und Farben | |
DE69123233T2 (de) | Farbkorrektionsvorrichtung in einem Gerät für Farbbildwiedergabe | |
DE3919726A1 (de) | Verfahren und anordnung zur erzeugung von farbbild-reproduktionen | |
EP0144463B1 (de) | Verfahren und Einrichtung zur Herstellung von Farbauszügen für den Einzelfarbendruck | |
DE3447682A1 (de) | Verfahren zur farbkorrektur | |
DE1916690C3 (de) | Farbcodiermatrix | |
EP0144462B1 (de) | Verfahren und Einrichtung zur Herstellung von Farbauszügen für den Einzelfarbendruck | |
DE3511890A1 (de) | Verfahren und vorrichtung zur herstellung von farbauszuegen | |
DE1597771C3 (de) | Verfahren zur Herstellung von korrigierten Farbauszugssignalen und Farbauszügen | |
DE69120589T2 (de) | Farbtrennungsverfahren | |
DE4104022A1 (de) | Farbdruckverfahren fuer die reproduktion von computerbildern | |
DE2600901B2 (de) | Farbwertkorrektureinrichtung | |
DE102018106875A1 (de) | Bestimmen von Farbkorrekturparametern | |
DE3619663C2 (de) | Verfahren und Anordnung zur Korrektur eines Luninanzsignals |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
8364 | No opposition during term of opposition | ||
8339 | Ceased/non-payment of the annual fee |